据说有一次秦始皇设宴招待群臣，让儿子们也参加，胡亥也遵命赴宴，但他不愿和大臣们循规蹈矩地在父亲面前喝酒，早早吃饱了便借故退席了。
在殿门外整齐地排列着群臣的鞋子，因为按照当时秦的规定，大臣进入宫殿时必须将鞋子脱下放在殿门外。
参加酒宴的群臣的鞋子摆放得整整齐齐，这却成了胡亥胡闹的道具，他借着酒劲，边走边随意地将群臣的鞋子踢得横七竖八。
人的言行是一致的，后来胡亥做皇帝治理天下，结果就像他原来踢鞋一样把国家"踢"得乱七八糟，最后乱得连自己的性命也搭进去了。
胡亥的公子哥的形象加上赵高的教唆，使他在邪路上渐渐地越走越远，赵高本是宫中的一个太监，但他也有一些才干，如精通刑法，不但身高力气大，字也写得很好，深得秦始皇的宠信，一直提拔他做了车府令，负责皇帝的车马仪仗。
为了巴结胡亥，赵高经常教胡亥书法和如何断案，加上赵高的三寸不烂之舌，将胡亥牢牢地控制住，一切听他指挥，这是以后赵高鼓动胡亥篡位的基础。
秦始皇最后一次出巡时，胡亥也随行，当时他二十来岁，仍是个公子哥。秦始皇病死后，受到赵高的蛊惑，和赵高、李斯一起改了秦始皇立