是世家子弟出身，即便不是世家子弟，那也必然有着很好的背.景关系，而柳绩的背.景也不小，因为他和太子李亨是连襟。太子正妃韦氏是韦坚的妹妹，但太子并非只有一个老婆，太子的次妃称为良娣，是东宫属官杜有邻的小女儿，人称杜良娣。而柳绩的夫人便是杜良娣的长姐。若真正论起来，柳绩也算是能沾得上皇亲国戚的身份。
柳绩是个性格豪放的人，喜欢喝酒吹牛结交四方的朋友，这一点时长成为他老丈人诟病的原因。杜有邻谨慎持重，不喜欢自己这个大女婿四处招摇，很多次痛斥柳绩的放浪形骸，柳绩对这个老丈人头疼的不行。
直到今年年初的时候，韦坚和皇甫惟明案发，牵扯到太子身上，导致太子连正妃韦氏都休了，东宫之中的压抑气氛可想而知。然而柳绩却不懂收敛，依旧吆五喝六呼朋唤友的在京中招摇，这可急坏了老丈人杜有邻。于是杜有邻私下里跟李亨提出自己的担忧，生恐柳绩会闹出事情来，于是便一了百了想了办法，将柳绩弄出京城在外为官。
恰好北海太守李邕回京拜见太子，而李邕和柳绩又是同一类喜欢招摇之人，颇有些意气相投之意，于是李邕建议将柳绩弄到北海郡自己的属下当二把手。于是乎柳绩便心不甘情不愿的离开了长安，来到远在山