元霸最终被杨家接纳下来，不过他的接纳和不接纳没有什么区别，他没有享受到半点杨家主人的福利，没有自己的房间，没有人伺候，也没有下人恭恭敬敬叫他公子。
元霸后来才知道，杨素虽然一时喜欢他，却没有真把他放在心上，他有几十个孙辈，偶然想起才问一问，他的心思都在朝廷权力斗争和繁琐的政务之上。
元霸才三岁，当然不能自食其力，杨玄感找了一名乳母专门照顾他，但为向父亲交代，这个乳母又有点与众不同，乳母姓沈，长得姿容秀丽，温柔贤惠，是江南吴兴大户人家的女儿。
沈氏名叫沈晚秋，大家都称她为秋娘，她丈夫是陈朝大将张忠肃，因战败被天武大将所杀，她作为战俘被皇帝一并赏给了杨素，只是杨素府上的美女太多，她又带一个出生没多久的女儿，杨素便没有纳她为侍妾，而且赏给儿子杨玄感，杨玄感惧内，不敢收她，便打发她去内厨房做事。
杨玄感知道她心灵手巧，能写诗作赋，做厨娘可惜了，他有点怜香惜玉，只是一直没有找到机会重新安置她，正好元霸来了，杨玄感便决定让她来收养元霸，这样也可以向父亲交代。
下午，沈秋娘便将元霸领到自己的新住处，她原来只有一间屋，和女儿住在一起，