了他之后倒也温柔娴淑，恪守妇道，富商也过了几年逍遥日子，可后来不知这件事怎么被他老婆知道了，大发雌威，趁着富商出远门的机会，将歌妓杖毙，尸体投入井中。富商回来后伤痛欲绝，悲愤之下竟然拔刀杀死了他老婆。负责案子的官员本就觊觎他的财富，所以趁机将富商抓捕，那富商家人到处打点，只可惜没等他出来，就死在狱中了。
后来这座宅子被那负责案子的官员霸去。没过多久，官员贪赃案发，就在这随园之中畏罪自杀，这座宅院也被人视为不祥之地，荒废了一段时间，有人买下重新修葺一新，可那人刚刚入住，当晚就暴毙而亡。自此就没人愿意再往这里居住。
直到七十年代初。一帮热血方刚的年轻人对这座园子进行了拆除，所谓什么破四旧，可在拆除第一间房的时候。房屋忽然就塌了，砸死了三名红卫兵，此时随园过去的故事才有被人翻起。结果越穿越邪乎，谁也不敢到这里来破四旧了。这也是随园能够经历十年浩劫而得以保存原貌的主要原因。
八十年代初一位香港商人将这里买下，不过一直都是房门深锁，都知道随园里面很美，可是这里并不公开向外开放，后来这一带变成了画家村，有人慕随园的美名，三名学生从墙头翻入随园写生，又不明不白又淹