历史上秦始皇陵曾屡遭劫难。史载第一个光顾始皇陵的名人就是“力拔山兮气盖世”的西楚霸王项羽。《史记·高祖本纪》记载有楚汉相争之时，刘邦曾列项羽十大罪状，其中第四项是“项羽烧秦宫室，掘始皇帝冢，私收其物”。《水经注·渭水》中说得更是详尽：“项羽入关发之，以三十万人，三十日运物不能穷。关东盗贼销椁取铜，牧人寻羊烧之，火延九十日不能灭。”同时，在刘向写给汉成帝的一篇谏书中也有记载，“项籍燔其宫室营宇，往者咸见发掘。其后牧儿亡羊，羊人其凿，牧者持火照求羊，失火烧其臧椁。”关于这方面的史料，刘泽华等在《中国古代史》一书中也说项羽“挖了秦始皇的坟，放火焚烧咸阳”。从这些记载看，秦始皇陵不仅被盗过，而且地宫中的物品似乎也荡然无存了。

但仔细推敲这些记载又很难让人相信。刘邦说项羽盗发始皇陵显然是为了攻击项羽的政治需要。刘向谏书由于它是一篇论说性的谏书，作者的主观意图是显而易见的，至于秦始皇陵是被盗还是被烧就很难澄清了。至于《水经注》的记载，显然是从原来的记载演化而来，秦始皇陵地宫内埋藏的珍宝虽多，怎么可能如《水经注》所说用30万人搬运30天还搬不完？这仅是一种文学性的修辞方式，极言藏品之多。

秦始皇陵的修建，尤其是地宫采用了最好的建筑材料，使用了最优秀的工匠，应用了当时最先进的技术，地宫中又有防盗的“机弩矢”和大量的水银。另外，秦始皇死后，秦二世为防止泄露墓内的秘密，还把参与地宫工程的工匠，也都活埋在墓道内。而且水银蒸发后有剧毒，对盗墓者有生命威胁。可见始皇陵的安全防盗措施是非常周密的，可谓万无一失。同时，宋人卢氏注张华《博物志》说：“秦氏奢侈，自知葬用珍宝多，故高作陵园山麓，从难也。高则难上，固则难攻。项羽争衡之时，发其陵，未详甚至棺否。”事实上，始皇陵封土的高度达76米（或以为46米，因始皇陵所在的位置是南高北低的坡地，测点不同，高度也不同），像一座山一样；而封土下还有墓坑，据记载墓坑“穿三泉”，既然是穿过了三层泉水，应该是相当深的，结合商周时期墓葬的情况，其深度当在20米以上，也有人认为可能要达到40米。要挖掘近百米深的盗洞，不要说古代，就是现在也不是件容易的事。

为比较确切地了解始皇陵封土及地官的情况，考古人员在陵冢及其周围打了4万多个探孔，等于对地宫及其周围地区作了一次严密的扫描。钻探结果表明，夯土层次清晰规整，既没有大规模掘开与焚烧的痕迹，也没有发现接近地宫的盗洞或盗扰痕迹，仅仅在陵冢东西两侧发现两个深不到9米、直径约1米的盗洞。它们均在远离地宫墙外就废弃了，地宫的宫墙也没有被破坏的痕迹，更没有对地官造成任何威胁。另外，据社科院考古所李毓芳的研究，原来一直认为被项羽焚烧的阿房宫根本就没有建成，现场也未发现大火焚烧的痕迹，项羽烧阿房宫根本就是子虚乌有。既然火烧阿房宫是没有的事，那同时被指责的“掘始皇帝冢”也大可怀疑。

不过，始皇陵园范围很大，虽然其可能无法挖掘地宫，但并不表示项羽没有破坏陵园的其他部分，最明显的例子就是兵马俑陪葬坑有明显的被焚烧的痕迹。因此，项羽盗发始皇陵的传闻可能仅仅是烧毁了陵园的地上建筑如陵寝、陪葬俑坑等。