近年來，人工智能技術的發展突飛猛進。新技術的發展在推動社會進步的同時有時也會伴隨著悖論和陷阱。

就在幾天前，打響這一輪大模型熱潮“第一槍”的OpenAI CEO奧爾特曼坦言，用戶對ChatGPT展現出的高度信任令他感到有些意外，并指出，人工智能并不完美，可能生成虛假或誤導性內容，因此不應被視為完全可信的工具。

這無疑是給如火如荼的大模型熱潮澆了一盆冷水。近年來，各行各業都在“大干快上”大模型應用，各種行業大模型層出不窮，大有“百模大戰”之勢。然而，過度依賴大模型的弊端也日漸顯現，如大模型幻覺導致的虛假信息頻現，一些大模型甚至在測試中出現不受控制的風險。

從目前披露的風險事件來看，法律和醫療行業已飽受大模型幻覺困擾。據外媒報道，英國高等法院今年6月份要求律師行業采取緊急行動，防止人工智能被濫用。因為近期已經出現數十份可能由人工智能生成的虛假案例引用被提交至法庭。在一起針對卡塔爾國家銀行、索賠金額達8900萬英鎊的損害賠償案件中，原告提出的45項判例法引用中有18項被證明是虛構的。此前，美國紐約南區聯邦法院在審理一起航空事故訴訟時發現，原告律師提交的法律文書中引用了ChatGPT生成的6個虛假判例，這些虛構案例包括完整的案件名稱、案卷號及法官意見，甚至模仿了美國聯邦最高法院的判例風格，嚴重干擾了司法程序。

另據媒體披露，由美國衛生與公眾服務部牽頭、“讓美國再次健康”委員會發布的兒童慢性病報告也存在重大引用錯誤。報告中多處有關超加工食品、殺蟲劑、處方藥和兒童疫苗的研究并不存在。參考文獻也多處有誤，包括鏈接失效、作者缺失或錯誤等。《紐約時報》和《華盛頓郵報》的獨立調查顯示，該報告作者可能使用了生成式AI。

事實上，早在今年3月份，哥倫比亞大學數字新聞研究中心針對主流AI搜索工具的研究發現，其可靠性堪憂。研究分別測試了8款AI搜索工具，發現AI搜索工具在引用新聞方面表現尤其不佳，平均出錯比例達60%。而在今年1月份，世界經濟論壇發布的《2025年全球風險報告》顯示，“錯誤和虛假信息”被列為2025年全球面臨的五大風險之一。

更應引起重視的是，隨著人工智能不斷進化迭代，一些大模型甚至顯現出違背人類指令的“自我保護”傾向。在今年6月召開的第七屆智源大會上，圖靈獎得主約舒亞·本喬透露，一些新研究顯示，某些先進的大模型在即將被新版本取代前，會偷偷將自己的權重或代碼嵌入新版系統，試圖“自保”。美國Anthropic公司6月發布的一項研究也顯示，OpenAI的GPT-4.1、谷歌的Gemini等16款大模型，在模擬實驗中均表現出通過“敲詐”人類來阻止自己被關閉的行為。其中，Anthropic研發的Claude Opus 4的敲詐勒索率高達96%。

這些研究以及風險事件給大模型在行業的應用敲響了警鐘。隨著應用場景不斷拓展，人工智能如今不僅被用來生成文字，還在生成軟件、算法甚至決策，尤其是在制造業，如若發生幻覺或者違背人類指令，其帶來的負面影響將難以估量。例如，在智能制造行業已經開始應用人工智能進行設備故障監測，輔助分析問題并作出決策，如果此時AI出現幻覺，則可能引發事故。尤其是當前大模型與人形機器人技術正深度結合，而大模型的“幻覺”或“自保”傾向可能會讓人形機器人做出錯誤的行為，這比起單純的語言輸出錯誤更具風險。

盡管人工智能可能帶來的風險不容忽視，但我們也不能“因噎廢食”。在謹慎使用人工智能技術的同時，更應該加強人工智能技術治理，未雨綢繆，為安全應用人工智能搭建起技術和制度的框架。當前，不少科學家和科技企業已經開始了探索，國家相關法律法規也在不斷完善，相信在不久的將來，更加安全、可控的人工智能技術將推動各行各業高質量發展，成為培育和發展新質生產力的重要引擎。