據說他在世的最後幾十年裡，一直在周密安排死後之事，為防死後墳墓遭盜，派重臣于都城番禺城外廣闊的山嶺之中開鑿疑冢幾十座。趙佗之孫趙胡即位後，做的第一件事情便是為他舉辦了一場充滿隱秘而聲勢浩大的國葬。
首先派人駐守番禺四圍山嶺，然後由完全相同的4支送葬隊伍高舉幡旗，護送著一模一樣的四方靈柩從番禺城四門出發，到達不同的安葬地點。這種空前絕後的送葬方式果然迷惑了眾人之眼，再加上趙佗生前的幾十處疑冢，沒有人知道偉大的國君到底葬在何處，更不知道那些豐厚的陪葬珍寶藏在何方，從此留下了中國歷史上最為傳奇的墓葬之謎。
在隨後2000多年的時間裡，南越王墓一直是民間盜墓者關注的焦點之一，甚至還經歷了在某些朝代被舉國尋覓的不堪往事。三國時期的吳王孫權為了謀求傳說中的鉅額殉葬財寶，曾命令大將軍呂瑜率軍5000人，在嶺南地區遍地搜尋，目標直指南越王墓。但是歷經半年卻毫無結果，呂瑜帶領精兵在山野之中挖地三尺，僅僅找到了南越王趙佗的曾孫趙嬰齊的墓葬。雖然隨葬品並不足以讓世人震驚，但以此呈給孫權，掘墓鬧劇才得以草草收場。隨後嶺南各地盜墓者蜂擁而起，搜盡各種線索，最終皆無功而返。
根據番禺當地縣誌記載，趙佗死之前曾經建造墓地多處，死後他的送喪葬車從番禺城四門出發，沒有人知道確切的墓地所在。在葛蒲澗附近，曾經有人說“山掩何年墓，川流幾代人。遠同金驃裹，近似石麒麟”，由此可見，趙佗之墓可能就在附近。如今葛蒲澗南側有荒墳幾千座，有人推測這些可能就是趙佗的疑冢。而葛蒲澗位於廣州市白雲山，這樣一來趙佗之墓的位置便增加了一處可能。後來考古隊曾經針對這一說法在白雲山地區展開調查，但是除了發現幾處明清墓葬外，並未找到西漢時期的遺蹟。
除此之外，傳說最多的地點當屬越秀山了。此山是廣州白雲山餘脈，東西長約1500米，是市區主要山峰。根據越秀山志記載，越秀山下臨萬井，中鋒正脈對應越王宮殿。因為這座山的主峰高度僅有75米左右，周圍又分佈著蟠龍崗、鯉魚崗等更加矮小的山坡，地理環境優越，前臨珠江，可將番禺城一覽無餘，風景秀麗，一直是廣州的名勝。根據史料記載，當年漢文帝的使者陸賈前來說服趙佗，趙佗便攜其前往此處遊覽，並在山上大擺宴席，山上還留下了越王臺。另外在象崗發現的南越王墓所在之地，便是越秀山的分支。
由於南越國墓葬一直具有合族而葬的特點，因此從象崗墓葬獨佔一崗的情況來看，趙佗之墓很可能也是獨佔一處，而且非常可能就在越秀山主峰之下。還有人參考了漢代陵墓特點，漢惠帝的安陵位於漢高祖長陵右側，參照的範本是《禮記》，而南越國在各種制度上均沿襲漢制，因此可以判定，象崗墓葬應該在趙佗墓葬的右側，那麼趙佗之墓應該在越秀山主峰越井崗之下。然而此地現在是中山紀念碑所在地，其下是否存在墓冢，誰也無從知曉了。
