府邸坐落在东城主街上，占地面积横跨两条大街，大门面朝主街，后门却在北边的另一条大街上，南北纵深达里许之深。高达两丈的青石垒砌的院墙，墙顶四角建有小型角楼，墙体上方还有凹凸型垛口，看上去就像一座城中之城，坚不可摧的一座石头堡垒。
安府周围被清理出大片的空地，禁止建有房舍店铺等建筑物，也禁止栽种树木。这种建筑的格局显然是为了安全考虑，但凡想接近安府之人，必先在这周围的空旷地带无所遁形。站在安府之外看整个府邸，就像一只巨大的石头怪兽盘踞在城东的主街之侧，看不到府内的树木建筑，听不到任何动静，就像是巨大围墙围起来的一片空无一物的地方。
但其实，这座巨大府邸的内部却绝非同外表看的那般空无一物，而是个极为复杂庞大的各色建筑的集合体。四进十六开的大宅子，再加上周围附属的各种院子庭院，还有正厅后方的一座两层类此殿宇模样的建筑都昭显着这座府邸的庞大和不伦不类。
长廊如蛛网般连接着各处院落，一道道围墙隔绝着前后进之间的空间。各色风格的庭院五花八门，有松柏满院的幽静庭院，有假山游廊小桥流水的南方园林，有以牛毡房为主的北地游牧人习惯居住的庭院，还有富丽堂皇如长安大户人家居住