的父亲开始，就在南越任国相，和周边百越各部族也大多联系密切，在百越手眼通天，便是国主赵婴齐也对他多有倚重。
要是按照历史线，吕嘉未来还会成为南越国的太傅。
而赵婴齐死后，王后樛氏感觉到吕嘉虎视眈眈，想要归汉求稳，保全自己和儿子赵兴的性命。
当时樛氏卖弄风情，和汉朝来使勾勾搭搭，被吕嘉发现后，借口废了刚登基的国主赵兴，杀樛氏和汉使，扶持赵婴齐在去长安之前和当地女子婚配生下的长子赵建德继位，宣告叛出大汉独立。
吕嘉不想归汉，是因为归汉就要归权。他吕氏满门的荣华富贵，他在南越多年的经营就没了。
所以他向来坚定反对归汉。
此时南越国主赵婴齐听说霍去病要来，吃惊不小：
“那霍去病少时我便认识，不是个好相与的。这两年大汉的皇帝把他放出去打仗，那可真是猛虎见了血，要吃人的啊。”
吕嘉笑道：“国主莫慌。他再厉害，也威风不到我南越头上。
秦汉以来，名将辈出，有哪个能真正胜我南越？中原的兵马南来，即便能一时占优，总归难以奈何我们。
这是天然的地利优势，那霍去病便是有些兵锋，我们也不怕他。