郡王府是六进六出的宅子，从南面正门进入后，先是一个挡煞的影壁，绕过影壁便算是第一进院了。
住在第一进院的，大多是王府的下人，北边的正房住着的是王府管家，其他侧房耳房，则是家丁丫环厨子等。
第二三进院，原本住着潘家旁系，潘子骞世袭郡王后，并未像他的父亲潘元正那样，打压其余几位兄弟，反而对他们以礼相待，让他们继续住在潘府。
不过另外两位世子究竟是脸皮薄了些，们心自问，如果最后得权的是他们，必定不会轻易放过这位弟弟，所以二人在府中住了一段时间后，还是提出了搬走的请求。
潘子骞也没勉强，见他们拖家带口的，还给了不少银钱。
再之后的第四进院，原本是为客人准备的，因为老太爷潘屹的过世，尚未过门的郡王妃便暂且住在北侧正房，两旁耳房则各住有丫环两人，与主子仅有一墙之隔，随时等待吩咐。
再之后的五进六进则分别是潘子骞和家中几位长辈的住处，这两处院落还设有会客厅、书房、乘凉房、火炭房等。
几位老人家上了年纪，腿脚不利索冬季还怕冷，因此平时都是从北侧大门进出，冬日还要专门为他们预备上充足的木炭。
王柄权随潘