送走了陆贾，汉越再一次和睦共处，不再兵戎相见，这是汉文帝也是赵佗最愿意看到的事情。对南越国而言，它为岭南社会的稳定发展打下了坚实的基础；对汉廷而言，处理好中央和边缘地区的关系也有利于国家的长期稳定。因此，赵佗是对中国历史有功之人。
除了上述的政治需求之外，汉廷对南越在经济上的需求仅放在次要位置，但对南方的奇珍异宝的需求量却非常之大。据《淮南子》记载，秦始皇进攻岭南的目的是为了南方的犀角、象牙、翡翠等。赵佗深知这一点，所以他回报给汉文帝的除了作为外交礼仪的必需品“白璧一双”之外，其他的都是土特产，计有“翠鸟千，犀角十，紫贝五百，桂蠧一器，生翠四十双，孔雀二双”。其中紫贝是一种紫色黑斑的珍贵的大贝，桂蠧是一种可以去痰的药用食品，翠是交州产的一种鹬鸟。
但是，赵佗是否真正放弃了帝号呢？汉廷对此是否听之任之呢？从史书的记载看，陆贾出使之后，南越国在名义上又成了汉的诸侯国，这对国力尚待恢复的汉中央来说，已经足够了。但在南越国内，赵佗仍以武帝自居，“窃如故号”。不仅如此，其孙第二代王赵眜，即1983年发现的广州象岗南越王墓的墓主也僭称“文帝”。此外，从考古的出土文物看，赵佗在宫室制度方面也极力仿效汉中央。广州汉墓、南越王墓、南越国宫署遗址先后出土有“长秋居室”、“长乐宫器”、“华音宫”、“未央”等戳印的陶器或陶片，据此我们可以知道南越国的宫殿至少有四个名称，即长乐宫、未央宫、长秋宫和华音宫，而前三个宫殿的命名就是仿效汉中央，华音宫则是独自命名的。华音，似乎是华夏之音的意思，说明赵佗并未放弃对回归中原的夙愿。此外，赵佗还专门筑有朝汉台，以示归汉的决心。所有这些，都说明赵佗在称帝和归汉两条轨道间决定着自己的政治行为，他似乎是这种重大抉择的矛盾的统一体。他告诫儿孙说：“对中原来的使者官吏，态度要谦恭，要作出归汉的姿态，但人一定不能离开岭南北上，否则就要亡国啊。”由此可见，赵佗的称帝和朝汉是有内在联系的，他在政治上的反复，因此也就可以理解了。
汉武帝建元四年（前137），赵佗辞世，享寿达一百余岁，在位六十七年。其次孙赵眜（史载为赵胡）继位，继续使用帝号，号曰“文帝”。赵眜在位约十六年，他是一个性格柔弱，缺乏雄心和胆略的人，各种药物伴随其一生，享年四十三岁左右，死后葬在广州象岗山腹心深处，就是1983年发掘的象岗大墓。该墓发掘后在原址辟建了博物馆。
赵眜继王位的第三年（前135），闽粤王郢发兵攻打南越。赵眜诉诸汉廷，汉武帝派遣两将军征讨闽粤，兵未逾岭，闽粤王弟余善杀郢降汉。汉罢兵。汉武帝使庄助谕意南越以汉击闽粤之功。赵眜当即表示要报答谢恩，令太子婴齐随庄助入宿卫，自己也准备稍后朝见汉武帝。庄助去后，南越大臣进谏赵眜千万不要北上。他们说：“入见则不得复归，亡国之势也。”于是赵眜称病，不去朝见汉武帝。十余年后，赵眜卒，太子婴齐继王位。婴齐在长安娶邯郸樛氏女，生子赵兴。婴齐立樛氏为王后，兴为太子。这时，汉武帝数次遣使劝谕婴齐朝见天子，要求南越国使用中央法律，行事规矩参照内地的诸侯。婴齐和其父一样，称病不行。婴齐死后，其子赵兴继位。赵兴的母亲未为婴齐妻时，曾与安国少季私通。元鼎四年（前113），汉武帝两次派遣安国少季出使南越，辩士终军、勇士魏臣随行，宣谕赵兴和王太后入朝。为稳妥起见，汉武帝命令路博德屯兵桂阳，等待消息。安国少季到了南越国，又与王太后私通。越人上下都知道这件事，于是多不服王太后。王太后想依赖汉威，劝赵兴及群臣内属。赵兴于是上书汉武帝，“请比内郡诸侯，三岁一朝，除边关”。汉武帝同意了他的要求，并赐丞相、内史、中尉、太傅印绶，“除其故黥、劓刑，用汉法，比内郡诸侯”。
随后赵兴与王太后准备北上朝见武帝。丞相吕嘉几次进谏，赵兴不听。吕嘉连相南越三王，宗族势力庞大，做高级官吏的族人多达七十余人，其男娶王女，其女嫁王子，势力大，耳目多，“得众心愈于王”。吕嘉进谏无效，便欲叛乱，称病不见汉使。汉使欲诛杀吕嘉，但慑于其势力，未敢轻动。赵兴与王太后怕吕嘉发难，想借招待汉使者之机谋杀吕嘉。于是设置酒宴。王太后向南而坐，赵兴向北而坐，吕嘉及大臣向西而坐。吕嘉的弟弟将士兵安排在宫外。席间，王太后质问吕嘉说：“南越内属，是有利于国家的，而你却偏偏反对，这是为什么？”她以这席话激怒使者。汉使想杀吕嘉，却又犹豫不决。吕嘉见势不妙，马上离开了酒席。王太后想击杀他，赵兴劝阻了。吕嘉逃出之后，决心进行叛乱。
吕嘉叛乱的消息传到京师，汉武帝以为使者优柔寡断，又以为吕嘉之乱不足为患，便遣将韩千秋带兵两千进入南越地界，行至距番禺四十里的地方，汉军大败。汉武帝这时才意识到问题的严重性，于元鼎五年（前112），先后发兵十万，分五路进击南越，开始了平定南越的战争。
五路大军的将领和进军路线分别如下：
卫尉路博德被封为伏波将军，率军从桂阳出发，下湟水，直达四会县，再顺流过石门，到番禺。这是平南越的主力军。
都尉杨仆为楼船将军，从豫章郡下横浦关，顺北江而下，直捣番禺。这也是五军中的一支主力。
第三、四路军的将领都是归降汉朝的越将，一名是归义侯郑严，一名是归义侯田甲，分别被封为戈船将军和下濑将军。他们率部从湖南零陵出发，一路走漓水，一路走贺水，然后取道西江，直逼番禺城下。
第五路是降汉后被封为弛义侯的越将何遗率领的巴蜀罪人以及夜郎兵马，他们沿江直抵番禺。这条水路是番阳令唐蒙到岭南“风指晓南越”时在番禺城吃到巴蜀枸酱后发现的，可以说是一支奇兵。不料后来西南地区“且兰”君长不愿率军远征，发动了叛乱，使弛义侯这一路贻误军机，没能及时赶到番禺。
这场战争十分激烈，持续了一年多，到元鼎六年（前111）秋天，楼船将军杨仆才率精兵攻陷寻峡（今清远中宿峡），击败驻守洭口关和万人城的南越军。接着攻陷由南越精兵固守的石门，大大地挫败了南越军的士气，并且掳掠了一大批南越军的运粮船和粮食，使汉军的给养得到了补充。石门之战打开了进攻番禺的通道，杨仆乘势率数万军队向前推进，然后扎营等候伏波将军路博德的到来。不久，伏波将军路博德率领的军队也赶到了，两军会师后，向番禺城进击。杨仆的部队在前，先抵番禺，驻扎在城的东南面。随后到达的路博德之军居后，扎营在城的西北面。汉军四面合围，猛攻番禺城。这时赵建德和吕嘉均在城中固守。战至黄昏，杨仆杀败越军后心生一计，派人放火烧城。火借风势，越烧越旺，人凭火势，汉军趁机攻入城中。南越守军早已听闻路博德将军大名，又不知他究竟有多少兵力。路博德知道南越军将士的心理，于是在军中设立营帐，派人招降守军，来降者即时赏赐印绶，并让他们再去招降其他人。这时城中大火冲天，被烧的守军纷纷向路博德投降。到次日黎明，番禺城陷落。
赵建德和吕嘉见大势已去，半夜就偷偷地带上数百名随从从围城逃出，乘船到城南百里之外吕嘉的故乡，想凭借元鼎五年在此建筑的石瓮、金斗二城负隅顽抗。此时杨仆的军队已按兵不动，伏波将军路博德派遣军队穷追，造桥渡过阻隔石瓮、金斗两城的护城河，攻陷二城。吕嘉和赵建德只好各自带上亲信连夜出逃。路博德询问新投降的赵建德、吕嘉身边的官吏，得知赵建德和吕嘉乘船逃入大海向东而去，想得到东越王余善的接应，于是立即派人分道追寻，结果赵建德被降汉的越将校尉司马擒获，吕嘉被降汉的越国郎官都稽截获，并斩首献给汉天子。其他南越国的王侯官吏纷纷投降。
至公元前111年秋，南越王宫在火海中化为一片焦土瓦砾，南越王赵建德的头颅也被汉武帝悬挂在长安城的北阙上，以向匈奴示威。
至此，南越国历五世共九十三年而亡。
秦始皇派来的将军赵佗做了南越国王，促成了岭南地区全面的、跨越式的发展。汉武帝派来的将军消灭了想独立和对抗的南越王，使岭南地区变成汉朝的九郡。称帝称王的南越国正是秦汉时代中国从战争走向和平再到强盛的一个见证。
