因此在这个角度判断，有人认为这处船台最初为到达番禺的秦军在此修建造船基地，主要为这场持续多年的统一战争，赶制运输急需的船只，这样就是一件很自然的事。因而，这个造船工场始建于秦代统一岭南时期；到了西汉初年的文景之际，即南越赵佗割据称帝之后不再需要，慢慢废弃填覆的。
但以上的关于遗迹始建于秦代的论断，大抵都是建立在推想的基础上的，并没有找到更加确切的线索，也证明不了一处可以营造宫室的土地上修建船台的必要性，这就为后来的思辨争论埋下伏笔。似乎在某一天，原先言之凿凿的发现者们不知为何，开始不遗余力地推翻先前的研究结论，并且越是资深、专业的考古专家，都会在深入研究后得出惊人统一的反驳观点！
根据后来的记述，1976年3月在发掘现场召开的遗址性质鉴定会上，曾经负责发掘的华南工学院的老教授就代表发言，极力言明这里是南越国的建筑遗址，应为南越王台或离宫，并提请地理学者确认此处是番禺山还是海滩，避免对于这处地下五米遗迹的深层次破坏，尽量保证古迹完整性。
舆论风向转变得很快，沸沸扬扬的船台考古逐渐变成了船台与宫室之争，考古工作也被迫停止了下来。
1980年，华南师范学院地理系的一位资深教授在一篇论述广州历史地理的文章中，进一步提出了有力的质疑。
他指出“造船工场”一带地势偏高，“其后又是怎样从‘造船场’变为‘越王宫殿’的一角，这个疑问，并未得到解答”。进而“怀疑不是造船工场遗址，而更有可能是与古番禺城或古广州城有关的建筑遗址”。
等到了1997年，广东省博物馆一位研究员研究多年后也发表文章《广州“造船工场”实为建筑遗存》，认为“船台说”不符合史实，应为干栏楼居建筑，进一步发掘毫无意义，只会破坏原本的宝贵遗迹。
但是船台的说法仍旧存在，挖掘申请也如雪花般飘到了文物部门手中。2000年4—5月，中国社会科学院考古研究所研究员、建筑考古学家在《中国文物报》上连载《南越王宫殿辨——与“船台说”商榷》一文，详列22条理由，对“船台说”进行辩驳，认为这一遗址不可能是船台，而是宫殿遗址的木构建筑基础。
针对反对者的驳议文章，杨教授于8月再发答复文章，认为南越王宫署遗址应定名为宫苑遗址，船台遗址实为一座观景兼具生活起居功能的大型殿堂遗存，所有提出反对意见意图破坏文物的，“都应当承担彻彻底底
…。。