广东江门。抗战时，黄秋森的外公被曰本人害死，母亲和外婆就一路逃难辗转到香港。而黄秋森的父亲则是当时英国派驻香港的港英政斧高官，任职政斧物料供应处。4岁时，父亲抛弃他们，母子二人相依为命，生活困窘，颠沛流离，在湾仔地区搬来搬去。
六七十年代的香港，经济处于起飞前夜，制造业正在崛起，市民生活却异常艰辛。黄秋森的母亲同大多数香港人一起，为生存疲于奔命，白天黑夜一人兼做好几份工。
在黄秋森十二岁那年，母亲曾在一个南越驻港的领事家里做女佣，当时母亲早上三点起床一直干到晚上十一二点，一星期后腿就肿起来了。外婆叫她不要再做了，不然一定会死掉。
黄秋森陪着母亲去那家拿行李，工资都不敢要，那家人不让黄秋森和母亲走正门，黄秋森就和母亲坐在后门楼梯上等他们给开门，按门铃明知道里面有人，但就是不开。坐了两个小时后，后门开了一个缝，行李被丢出来，然后门就被关上了，就好像打发乞丐一样。母亲当时就哭了，黄秋森让她不要哭，拿起行李就带着母亲回家。
这件事让黄秋森过早地领略了人生的残酷和荒谬，他发誓将来一定要出人头地，再不让母亲吃苦。
演了几部戏又跑去演艺学校