在民间有许多说法。一种说法是石人成妖，糟蹋到附近农民家里去说这些石人晚上成精，把所有粮食都糟蹋粮食，被百姓打碎了，这种说法显然不能成立。

一种说法称，唐代初年，北方有位突撅族可汗名叫阿史那元庆，文稻武略，智勇双全，深受部落民族爱戴，不知何故，有人雕刻了他的石像立于乾陵，他的儿子阿史那石明得知后，极为不满，于是便扮作喇嘛来到乾陵，一看果然如此，顿时怒从心中起，举起石块就要砸碎石像，却被护陵人发现，毒打一顿赶出陵园，他因此怀恨在心，便想出借刀杀人之计。一天，趁夜黑窜人石像附近的农田大肆践踏庄稼，却造谣说是石像作祟，只有砸掉他的头，才能免除祸殃。老百姓信以为真，纷纷冲上乾陵，砸碎了石像头。阿史那石明趁机捡回了父亲的石像头，用包袱裹着背回家，从此乾陵上的壬宾像就成了无头石像。

另一种说法认为是八国联军侵华时，看见唐乾陵前立有外国使臣的群像，感到有辱洋人的脸面，于是把石人的头砍掉了。但据历史学家考证，八国联军当时并没有到过乾陵。

传说毕竟是传说，但由此不难看出，这些石像的丢失与损坏无不与人的有意或无意的破坏有关。从有关资料分析，蕃臣像的破坏有自然的原因，也有人为的因素。

明嘉靖34年，也就是公元1555年1月23日，陕西华县一带发生了强烈地震，震级达到8至11级。由于地震发生在子夜，人们还在熟睡中，致使80多万人死于这次大地震。华县距乾陵只有100多公里，属于震中地带，乾陵也因此遭受到了毁灭性的打击。这就是历史上著名的关中大地震。专家们推断，关中大地震是造成番臣像头部断裂的主要原因之一。因为不仅是番臣像，乾陵许多石像石马毁坏的部分恰好也都是头部。专家分析:除了石像颈部脆弱之外，还有一个重要的原因就是石像的材质。因为当时雕刻采用的石料有一些石瑕，即从石料上可以看到的一些浅色的线条。石头受损时，最容易从这些地方开裂。

研究人员推断:61尊番臣像一部分毁于那次大地震。其余的石像很可能毁于距今五六百年前的明末清初的屡次战争。

虽然，这61尊雕像的头像已不知所踪，但是那紧身窄袖的衣服，宽宽的腰带，短简的皮靴，双足并立，两手前拱，栩栩如生的形象，仍然为我们展现了朝堂上蕃臣侍立的场景，留给我们对大唐盛世的无限遐想。