大模型幻覺這一問題，在先前已經(jīng)有不少人討論過，而最近，OpenAI科學(xué)家Andrej Karpathy關(guān)于大模型幻覺的解釋再次引起了人們的爭論。Andrej Karpathy提出了怎樣的看法呢？不妨來看看本文的講述和分析。

幻覺，早已成為LLM老生常談的問題。

然而，OpenAI科學(xué)家Andrej Karpathy關(guān)于大模型幻覺的解釋，觀點驚人，掀起非常激烈的討論。

在Karpathy看來：

從某種意義上說，大語言模型的全部工作恰恰就是制造幻覺，大模型就是「造夢機(jī)」。

另外，Karpathy的另一句話，更是被許多人奉為經(jīng)典。他認(rèn)為，與大模型相對的另一個極端，便是搜索引擎。

「大模型100%在做夢，因此存在幻覺問題。搜索引擎則是完全不做夢，因此存在創(chuàng)造力問題」。

總而言之，LLM不存在「幻覺問題」。而且幻覺不是錯誤，而是LLM最大的特點。只有大模型助手存在幻覺問題。

對此，英偉達(dá)高級科學(xué)家Jim Fan分享了自己的看法，「令人著迷的是，最好的LLM可以通過切換到『工具使用模式』來『決定』何時做夢，何時不做夢。網(wǎng)絡(luò)搜索是一種工具。LLM可以動態(tài)調(diào)整自己的『dream% 超參數(shù)』。GPT-4試圖做到這一點，但遠(yuǎn)非完美」。

亞利桑那州立大學(xué)的教授Subbarao Kambhampati也跟帖回復(fù)了Karpathy：

LLM一直在產(chǎn)生幻覺，只是有時他們的幻覺碰巧和你的現(xiàn)實一致而已。

而提問者是否能夠讓幻覺和自己的現(xiàn)實一致，很大程度取決于提問者自己對產(chǎn)生內(nèi)容的檢查能力。

基于這個認(rèn)知，他認(rèn)為，所有想要將LLM的能力擬人化的嘗試都只是人類的一廂情愿，將思考、想法、推理和自我批評等擬人化概念強(qiáng)加在LLM上都是徒勞的。

人類應(yīng)該在認(rèn)清LLM能力的本質(zhì)基礎(chǔ)之上，將它當(dāng)作一個「補充人類認(rèn)知的矯正器」，而不是潛在的替代人類智能的工具。

當(dāng)然，討論這種問題的場合永遠(yuǎn)少不了馬老板的身影：「人生不過就是一場夢」。

感覺下一句他就要說，我們也只是生活在矩陣模擬之中????

一、Karpathy：LLM不存在「幻覺問題」，LLM助手才有

對于大模型飽受詬病的幻覺問題，Karpathy具體是如何看的呢？

我們用「提示」來引導(dǎo)這些「夢」，也正是「提示」開啟了夢境，而大語言模型依據(jù)對其訓(xùn)練文檔的模糊記憶，大部分情況下都能引導(dǎo)夢境走向有價值的方向。

只有當(dāng)這些夢境進(jìn)入被認(rèn)為與事實不符的領(lǐng)域時，我們才會將其稱為「幻覺」。這看起來像是一個錯誤，但其實只是LLM本就擅長的事情。

再來看一個極端的例子：搜索引擎。它根據(jù)輸入的提示，直接返回其數(shù)據(jù)庫中最相似的「訓(xùn)練文檔」，一字不差?？梢哉f，這個搜索引擎存在「創(chuàng)造力問題」，即它永遠(yuǎn)不會提供新的回應(yīng)。

「大模型100%在做夢，因此存在幻覺問題。搜索引擎則是完全不做夢，因此存在創(chuàng)造力問題」。

說了這么多，我明白人們「真正」關(guān)心的是，不希望LLM助手（ChatGPT等產(chǎn)品）產(chǎn)生幻覺。大語言模型助手遠(yuǎn)比單純的語言模型復(fù)雜得多，即使語言模型是其核心。

有很多方法可以減輕AI系統(tǒng)的幻覺：使用檢索增強(qiáng)生成（RAG），通過上下文學(xué)些將做夢更準(zhǔn)確回溯在真實數(shù)據(jù)上，這可能是最常見的一種方法。另外，多個樣本之間的不一致性、反思、驗證鏈；從激活狀態(tài)中解碼不確定性；工具使用等等，都是熱門且有趣的研究領(lǐng)域。

總之，雖然可能有些吹毛求疵，，但LLM本身不存在「幻覺問題」?；糜X并非是缺陷，而是LLM最大的特點。真正需要解決幻覺問題的是大語言模型助手，而我們也應(yīng)該著手解決這一問題。

二、LLM是造夢機(jī)，請停止一廂情愿的「擬人化」

來自亞利桑那州立大學(xué)的AI科學(xué)家Subbarao Kambhampati教授，把自己的研究總結(jié)成了一篇X上的長文。

他認(rèn)為產(chǎn)生不同的認(rèn)知（包括幻覺）就是LLM本質(zhì)能力，所以不應(yīng)該對于LLM產(chǎn)生過于理想化的期待。

鏈接地址：https://twitter.com/rao2z/status/1718714731052384262

在他看來，人類應(yīng)該將LLM視為強(qiáng)大的認(rèn)知「模擬器」，而不是人類智能的替代品。

LLM本質(zhì)上是一個令人驚嘆的巨大的外部非真實記憶庫，如果使用得當(dāng)，可以作為人類強(qiáng)大的認(rèn)知「模擬器」。

而對于人類來說，想要發(fā)揮LLM的作用，關(guān)鍵是如何有效地利用LLM，而不是在這個過程中不斷用擬人化的企圖來自欺欺人。

人類對于LLM最大的錯覺就是我們不斷地將LLM與人類智能相混淆，努力地將思考、想法、推理和自我批評等擬人化概念套在LLM之上。

這種擬人化是相當(dāng)徒勞的——而且，正如很多研究中展現(xiàn)的那樣——甚至?xí)m得其反并具有誤導(dǎo)性。

而從另一個角度說，如果我們不將「通過LLM開發(fā)出達(dá)到人類水平的AI系統(tǒng)」設(shè)定為唯一目標(biāo)，就不用天天批判自回歸LLM非常差勁（比如LeCun教授）。

LLM是可以非常有效地補充認(rèn)知的「模擬器」，并沒有天然包含人類的智力。

LLM在某些事情上能比人類做得好太多了，比如快速概括，歸納總結(jié)。

但是在做很多其他事情的能力上比人類又差太多了，比如規(guī)劃、推理、自我批評等。

人類真正需要的也許是：

1. 充分利用LLM的優(yōu)勢。這可以在LLM產(chǎn)品架構(gòu)中加入人類或者其他具有推理能力的工具來強(qiáng)化LLM的優(yōu)勢。
2. 在某種程度上，人類水平的智能仍然是目前值得追尋的圣杯，保持開放的研究途徑，而不是僅僅是堆疊算力，擴(kuò)大自回歸架構(gòu)。

三、大模型幻覺，究竟從何來

前段時間，一個名為Vectara的機(jī)構(gòu)，在GitHub推出了一個大模型幻覺排行榜。

結(jié)果顯示，在總結(jié)短文檔方面，GPT-4的表現(xiàn)最為優(yōu)異，而Google PaLM的兩款模型直接墊。

其中，GPT-4的準(zhǔn)確率為97.0%，幻覺率為3.0%，回答率為100.0%。Palm-Chat 2的準(zhǔn)確率為72.8%，幻覺率高達(dá)27.2%，回答率為88.8%。

不過，這個榜單一出來，受到了許多業(yè)內(nèi)人士的質(zhì)疑。

OpenAI聯(lián)合創(chuàng)始人兼研究員John Schulman曾在一次演講——「RL和Truthfulness – Towards TruthGPT」，探討了幻覺問題。

根據(jù)Schulman的說法，幻覺大致可以分為兩種類型：

1. 模型猜測錯誤。
2. 模式完成行為：語言模型無法表達(dá)自己的不確定性，無法質(zhì)疑提示中的前提，或者繼續(xù)之前犯的錯誤。

語言模型代表一種知識圖譜，其中包含來自其自身網(wǎng)絡(luò)中訓(xùn)練數(shù)據(jù)的事實，因此「微調(diào)」可以理解為學(xué)習(xí)一個函數(shù)，該函數(shù)在該知識圖譜上運行并輸出token預(yù)測。

舉個例子，微調(diào)數(shù)據(jù)集可能包含「星球大戰(zhàn)屬于什么類型影片」這個問題，以及答案「科幻」。

如果這些信息已經(jīng)在原始訓(xùn)練數(shù)據(jù)中，即它是知識圖譜的一部分，那么模型不會學(xué)習(xí)新信息，而是學(xué)習(xí)一種行為——輸出正確答案。這種微調(diào)也被稱為「行為克隆」。

但是，如果答案不是原始訓(xùn)練數(shù)據(jù)集的一部分（也不是知識圖譜的一部分），即使網(wǎng)絡(luò)不知道答案，它便會學(xué)習(xí)回答。

使用實際上正確但不在知識圖譜中的答案進(jìn)行微調(diào)，從而教會網(wǎng)絡(luò)編造答案——即產(chǎn)生「幻覺」。相反，用不正確的答案進(jìn)行訓(xùn)練會導(dǎo)致網(wǎng)絡(luò)隱瞞信息。

四、網(wǎng)友激烈探討

「LLM 是一個造夢機(jī)」。多么美妙的一句話。如果我們?nèi)祟愐采钤诟呔S度創(chuàng)造者構(gòu)造的夢境中，那么LLM將來是否也能遞歸地創(chuàng)造出做夢的機(jī)器？

另一位網(wǎng)友分享了他要求ChatGPT給自己的回復(fù)進(jìn)行置信度評分時，ChatGPT給了90%，并且解釋了原因：

我在回復(fù)末尾提供的置信度是一個估計值，反映了根據(jù)我所掌握的上下文和信息，我認(rèn)為回復(fù)與您的詢問的吻合程度。它不是通過精確的算法或公式計算出來的，而是根據(jù)問題的復(fù)雜性、所提供信息的清晰度以及我對所能獲取信息的準(zhǔn)確性和相關(guān)性的編程進(jìn)行的主觀評估。

其實對于幻覺的討論本質(zhì)上就是對于「真理」的討論，也許并沒有什么東西是絕對客觀的「真理」。

當(dāng)所需數(shù)據(jù)已經(jīng)存可用時，并不總是需要搜索事實。然而，LLM面臨的挑戰(zhàn)在于其學(xué)習(xí)過程，這通常涉及一種「破壞性」數(shù)據(jù)壓縮。解決這個問題——減少數(shù)據(jù)丟失，不僅能緩解幻覺問題，還能減少對大量訓(xùn)練數(shù)據(jù)集的需求。

事實上，我們的最終目標(biāo)不僅僅是創(chuàng)造更多的LLM，而是實現(xiàn)真正的智能。雖然LLM通過語言理解提供了一瞥，但它們的根本缺陷是學(xué)習(xí)過程損害了數(shù)據(jù)完整性。理想的架構(gòu)應(yīng)該是在學(xué)習(xí)過程中保留數(shù)據(jù)，保持對原始信息的忠實，同時還能讓模型發(fā)展和完善其智能。我假設(shè)這樣的架構(gòu)可能涉及復(fù)制數(shù)據(jù)而不是壓縮數(shù)據(jù)。

每個LLM都是一個不可靠的敘述者，就其架構(gòu)的本質(zhì)而言，它是不可逆轉(zhuǎn)的。

對于大模型幻覺問題的解釋，你贊同Karpathy的看法嗎？

參考資料：

https://twitter.com/karpathy/status/1733299213503787018

https://twitter.com/DrJimFan/status/1733308471523627089

為我投票

我在參加人人都是產(chǎn)品經(jīng)理2023年度評選，希望喜歡我的文章的朋友都能來支持我一下~

點擊下方鏈接進(jìn)入我的個人參選頁面，點擊紅心即可為我投票。

每人每天最多可投30票，投票即可獲得抽獎機(jī)會，抽取書籍、人人都是產(chǎn)品經(jīng)理紀(jì)念周邊&起點課堂會員等好禮哦！

投票傳送門：https://996.pm/z4Knm