进行加建和修改，并对原建筑多作改动，其中规念大的一次是在日期间由日本工程师藤村正一在中央加建一座塔楼，屋顶亦由欧洲式改为日本式
关于礼宾府的建筑民间一直有各种的著名的是指礼宾府有一条秘密的地下通道可连接中环的汇丰银行总部和金钟的添马舰海军基地事实上这是一条二战时用作防空的地道，于1940年11月兴建，通往当时的布政司署，其长度比传言中的短通道的入口原设计在港督府的花园，但当时的港督葛量洪对这个设计不满意，遂将地道入口改在地牢的一个储物室内
另外一个就是寻宝的故事：前立法局和行政局非官守议员著名商人遮打爵士收藏了一批极具价值的画作及瓷器，该批si人珍藏在他去世后捐赠予香港政府，大部分的画作摆放在港督府内年，在香港沦陷前夕，港府计划将部分遮打藏品匿藏年12月8日，港督副官巴蒂史密斯上校秘密约见负责藏品修复工作的匈牙利专家冯7科布扎及工务司署的托马斯7哈门g，负责匿藏该批画作
有档案资料显示，贵重的画作被卸去画框，经处理过后再放进密封的锡罐内，并埋在港督府的花园里不过，负责匿藏画作的巴蒂史密斯冯7科布扎及哈门g三人在日据时期相继去世，画作的确实位置成为秘密