ChatGPT是OpenAI研發(fā)的一款基于GPT-3.5架構(gòu)的聊天機(jī)器人程序，能夠基于預(yù)訓(xùn)練模式和統(tǒng)計(jì)規(guī)律，生成回答和互動(dòng)，還能完成各種文本任務(wù)，但大家了解ChatGPT實(shí)際上是如何工作的嗎？下面這篇文章筆者講述關(guān)于這個(gè)的內(nèi)容，大家一起來(lái)看看吧！

我們深入研究了廣受歡迎的人工智能聊天機(jī)器人 ChatGPT 的內(nèi)部工作原理，才能更好的去開發(fā)和使用它。

Google、Wolfram Alpha 和ChatGPT都通過(guò)單行文本輸入字段與用戶交互并提供文本結(jié)果。谷歌返回搜索結(jié)果、網(wǎng)頁(yè)和文章列表（希望）提供與搜索查詢相關(guān)的信息。Wolfram Alpha 通常提供與數(shù)學(xué)和數(shù)據(jù)分析相關(guān)的答案。

相比之下，ChatGPT 根據(jù)用戶問(wèn)題背后的上下文和意圖提供響應(yīng)。例如，你不能要求 Google 寫一個(gè)故事或要求 Wolfram Alpha 編寫一個(gè)代碼模塊，但 ChatGPT 可以做這些事情。

從根本上來(lái)說(shuō)，Google 的強(qiáng)大之處在于能夠進(jìn)行大量數(shù)據(jù)庫(kù)查找并提供一系列匹配。Wolfram Alpha 的強(qiáng)大之處在于能夠解析與數(shù)據(jù)相關(guān)的問(wèn)題并根據(jù)這些問(wèn)題執(zhí)行計(jì)算。

ChatGPT 的強(qiáng)大之處在于能夠根據(jù)世界上大多數(shù)可數(shù)字訪問(wèn)的基于文本的信息（至少是 2021 年之前訓(xùn)練時(shí)存在的信息）解析查詢并生成完全充實(shí)的答案和結(jié)果。

在本文中，我們將了解 ChatGPT 操作的主要階段。

一、ChatGPT 操作的兩個(gè)主要階段

我們?cè)儆霉雀鑱?lái)打個(gè)比方。當(dāng)你要求谷歌查找某些內(nèi)容時(shí)，它不會(huì)在你提出要求的那一刻去搜索整個(gè)網(wǎng)絡(luò)來(lái)尋找答案。它只會(huì)會(huì)在其數(shù)據(jù)庫(kù)中搜索與該請(qǐng)求匹配的頁(yè)面。Google 實(shí)際上有兩個(gè)主要階段：蜘蛛抓取和數(shù)據(jù)收集階段，以及用戶交互/查找階段。

如何定义B端产品及B端产品经理方法论

相较于C端产品，B端产品最大的特点是：面向特定领域用户，且数量少得多，但更注重对用户专业领域操作流程的深度挖掘——也就是专业性更强，与业务的结合更紧密。

查看详情 >

粗略地說(shuō)，ChatGPT 的工作原理是相同的。數(shù)據(jù)收集階段稱為預(yù)訓(xùn)練，而用戶響應(yīng)階段稱為推理。生成式人工智能背后的魔力及其突然爆發(fā)的原因是預(yù)訓(xùn)練的工作方式突然被證明具有巨大的可擴(kuò)展性。這種可擴(kuò)展性是通過(guò)最近在經(jīng)濟(jì)實(shí)惠的硬件技術(shù)和云計(jì)算方面的創(chuàng)新而實(shí)現(xiàn)的。

二、人工智能預(yù)訓(xùn)練的工作原理

一般來(lái)說(shuō)，人工智能使用兩種主要方法進(jìn)行預(yù)訓(xùn)練：監(jiān)督和非監(jiān)督。對(duì)于大多數(shù)人工智能項(xiàng)目，直到當(dāng)前的生成式人工智能系統(tǒng)（如 ChatGPT），都使用了監(jiān)督方法。

監(jiān)督預(yù)訓(xùn)練是在標(biāo)記數(shù)據(jù)集上訓(xùn)練模型的過(guò)程，其中每個(gè)輸入都與相應(yīng)的輸出相關(guān)聯(lián)。

例如，人工智能可以在客戶服務(wù)對(duì)話數(shù)據(jù)集上進(jìn)行訓(xùn)練，其中用戶的問(wèn)題和投訴被標(biāo)記為客戶服務(wù)代表的適當(dāng)答復(fù)。為了訓(xùn)練人工智能，需要提出諸如“如何重置密碼？”之類的問(wèn)題。將作為用戶輸入提供，并且諸如“你可以通過(guò)訪問(wèn)我們網(wǎng)站上的帳戶設(shè)置頁(yè)面并按照提示操作來(lái)重置密碼”之類的答案將作為輸出提供。

在監(jiān)督訓(xùn)練方法中，整個(gè)模型被訓(xùn)練以學(xué)習(xí)可以準(zhǔn)確地將輸入映射到輸出的映射函數(shù)。該過(guò)程通常用于監(jiān)督學(xué)習(xí)任務(wù)，例如分類、回歸和序列標(biāo)記。

但是其擴(kuò)展方式是有限的。人類培訓(xùn)師必須花很大力氣來(lái)預(yù)測(cè)所有的輸入和輸出。培訓(xùn)可能需要很長(zhǎng)時(shí)間，并且主題專業(yè)知識(shí)有限。

但正如我們所知，ChatGPT 在主題專業(yè)知識(shí)方面幾乎沒有限制。你可以讓它為《星際迷航》中的邁爾斯·奧布萊恩酋長(zhǎng)寫一份簡(jiǎn)歷，讓它解釋量子物理，寫一段代碼，寫一篇短篇小說(shuō)，并比較美國(guó)前總統(tǒng)的執(zhí)政風(fēng)格狀態(tài)。

不可能預(yù)測(cè)所有會(huì)被問(wèn)到的問(wèn)題，因此 ChatGPT 確實(shí)不可能用監(jiān)督模型進(jìn)行訓(xùn)練。相反，ChatGPT 使用無(wú)監(jiān)督預(yù)訓(xùn)練——這就是游戲規(guī)則的改變者。

無(wú)監(jiān)督預(yù)訓(xùn)練是根據(jù)數(shù)據(jù)訓(xùn)練模型的過(guò)程，其中每個(gè)輸入都沒有關(guān)聯(lián)特定的輸出。相反，模型經(jīng)過(guò)訓(xùn)練來(lái)學(xué)習(xí)輸入數(shù)據(jù)中的底層結(jié)構(gòu)和模式，而無(wú)需考慮任何特定任務(wù)。該過(guò)程通常用于無(wú)監(jiān)督學(xué)習(xí)任務(wù)，例如聚類、異常檢測(cè)和降維。在語(yǔ)言建模的背景下，無(wú)監(jiān)督預(yù)訓(xùn)練可用于訓(xùn)練模型理解自然語(yǔ)言的語(yǔ)法和語(yǔ)義，使其能夠在會(huì)話上下文中生成連貫且有意義的文本。

在這里，ChatGPT 看似無(wú)限的知識(shí)成為可能。因?yàn)殚_發(fā)人員不需要知道輸入的輸出，所以他們所要做的就是將越來(lái)越多的信息轉(zhuǎn)儲(chǔ)到 ChatGPT 預(yù)訓(xùn)練機(jī)制中，這稱為基于 Transformer 的語(yǔ)言建模。

三、Transformer架構(gòu)

Transformer架構(gòu)是一種用于處理自然語(yǔ)言數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)通過(guò)互連節(jié)點(diǎn)層處理信息來(lái)模擬人腦的工作方式。將神經(jīng)網(wǎng)絡(luò)想象成一個(gè)曲棍球隊(duì)：每個(gè)球員都有一個(gè)角色，但他們?cè)诰哂刑囟ń巧那騿T之間來(lái)回傳遞冰球，所有人一起努力得分。

Transformer 架構(gòu)在進(jìn)行預(yù)測(cè)時(shí)，通過(guò)使用“自注意力”來(lái)權(quán)衡序列中不同單詞的重要性來(lái)處理單詞序列。自我注意力類似于讀者回顧前一個(gè)句子或段落以了解理解書中新單詞所需的上下文的方式。轉(zhuǎn)換器查看序列中的所有單詞，以了解上下文以及單詞之間的關(guān)系。

在訓(xùn)練期間，Transformer會(huì)獲得輸入數(shù)據(jù)（例如句子），并被要求根據(jù)該輸入進(jìn)行預(yù)測(cè)。該模型根據(jù)其預(yù)測(cè)與實(shí)際輸出的匹配程度進(jìn)行更新。通過(guò)這個(gè)過(guò)程，Transformer學(xué)習(xí)理解序列中單詞之間的上下文和關(guān)系，使其成為自然語(yǔ)言處理任務(wù)（例如語(yǔ)言翻譯和文本生成）的強(qiáng)大工具。

但是這些模型可能會(huì)生成有害或有偏見的內(nèi)容，因?yàn)樗鼈兛赡軙?huì)學(xué)習(xí)訓(xùn)練數(shù)據(jù)中存在的模式和偏見。實(shí)施這些模型的公司正在嘗試提供“護(hù)欄”，但這些護(hù)欄本身可能會(huì)引起問(wèn)題。這是因?yàn)椴煌娜擞胁煌挠^點(diǎn)，而試圖防止基于一種思想流派的偏見可能會(huì)被另一種思想流派聲稱為偏見?？紤]到整個(gè)社會(huì)的復(fù)雜性，這使得通用聊天機(jī)器人的設(shè)計(jì)變得困難。

我們首先討論輸入 ChatGPT 的數(shù)據(jù)，然后看看 ChatGPT 和自然語(yǔ)言的用戶交互階段。

四、ChatGPT 的訓(xùn)練數(shù)據(jù)集

用于訓(xùn)練 ChatGPT 的數(shù)據(jù)集非常龐大。ChatGPT 基于GPT-3（生成式預(yù)訓(xùn)練 Transformer 3）架構(gòu)。ChatGPT 的免費(fèi)版本是在 CPT-3 上進(jìn)行訓(xùn)練的。如果你每月支付 20 美元購(gòu)買 ChatGPT Plus，可以選擇使用GPT-3 訓(xùn)練數(shù)據(jù)集或更廣泛的 GPT-4 數(shù)據(jù)集。

如此大量的數(shù)據(jù)使 ChatGPT 能夠以前所未有的規(guī)模學(xué)習(xí)自然語(yǔ)言中單詞和短語(yǔ)之間的模式和關(guān)系，這也是它能夠如此有效地為用戶查詢生成連貫且上下文相關(guān)的響應(yīng)的原因之一。

雖然 ChatGPT 基于 GPT-3 架構(gòu)，但它已在不同的數(shù)據(jù)集上進(jìn)行了微調(diào)，并針對(duì)對(duì)話用例進(jìn)行了優(yōu)化。這使得它能夠?yàn)橥ㄟ^(guò)聊天界面與其交互的用戶提供更加個(gè)性化和引人入勝的體驗(yàn)。

例如，OpenAI發(fā)布了一個(gè)名為Persona-Chat 的數(shù)據(jù)集，專門用于訓(xùn)練 ChatGPT 等會(huì)話式 AI 模型。該數(shù)據(jù)集由兩個(gè)人類參與者之間的超過(guò) 160,000 條對(duì)話組成，每個(gè)參與者都被分配了一個(gè)獨(dú)特的角色來(lái)描述他們的背景、興趣和個(gè)性。這使得 ChatGPT 能夠?qū)W習(xí)如何生成個(gè)性化且與對(duì)話的特定上下文相關(guān)的響應(yīng)。

除了 Persona-Chat 之外，還有許多其他對(duì)話數(shù)據(jù)集用于微調(diào) ChatGPT：

• 康奈爾電影對(duì)話語(yǔ)料庫(kù)：包含電影腳本中角色之間對(duì)話的數(shù)據(jù)集。它包含 10,000 多個(gè)電影角色對(duì)之間的 200,000 多次對(duì)話，涵蓋各種主題和類型。
• Ubuntu 對(duì)話語(yǔ)料庫(kù)：尋求技術(shù)支持的用戶與 Ubuntu 社區(qū)支持團(tuán)隊(duì)之間多輪對(duì)話的集合。它包含超過(guò) 100 萬(wàn)個(gè)對(duì)話，使其成為用于對(duì)話系統(tǒng)研究的最大的公開數(shù)據(jù)集之一。
• DailyDialog：各種主題的人與人對(duì)話的集合，從日常生活對(duì)話到有關(guān)社會(huì)問(wèn)題的討論。數(shù)據(jù)集中的每個(gè)對(duì)話都由幾個(gè)回合組成，并標(biāo)有一組情感、情緒和主題信息。

除了這些數(shù)據(jù)集之外，ChatGPT 還接受了互聯(lián)網(wǎng)上大量非結(jié)構(gòu)化數(shù)據(jù)的訓(xùn)練，包括網(wǎng)站、書籍和其他文本源。這使得 ChatGPT 能夠從更一般的意義上了解語(yǔ)言的結(jié)構(gòu)和模式，然后可以針對(duì)對(duì)話管理或情感分析等特定應(yīng)用進(jìn)行微調(diào)。

總體而言，用于微調(diào) ChatGPT 的訓(xùn)練數(shù)據(jù)本質(zhì)上通常是對(duì)話性的，并且專門包含人類之間的對(duì)話，這使得 ChatGPT 能夠?qū)W習(xí)如何以對(duì)話格式生成自然且引人入勝的響應(yīng)。

以這種方式思考 ChatGPT 的無(wú)監(jiān)督訓(xùn)練：它被輸入大量數(shù)據(jù)，并留給自己的設(shè)備來(lái)尋找模式并理解這一切。這就是新的生成式人工智能系統(tǒng)能夠如此迅速擴(kuò)展的機(jī)制。

雖然 ChatGPT 生成式人工智能的繁重工作是通過(guò)預(yù)訓(xùn)練完成的，但它還必須能夠理解問(wèn)題并從所有數(shù)據(jù)中構(gòu)建答案。這是由自然語(yǔ)言處理和對(duì)話管理組成的推理階段完成的。

五、自然語(yǔ)言處理

自然語(yǔ)言處理（NLP）專注于使計(jì)算機(jī)能夠理解、解釋和生成人類語(yǔ)言。隨著數(shù)字?jǐn)?shù)據(jù)的指數(shù)級(jí)增長(zhǎng)和自然語(yǔ)言界面的日益使用，NLP 已成為許多企業(yè)的關(guān)鍵技術(shù)。

NLP 技術(shù)可用于廣泛的應(yīng)用，包括情感分析、聊天機(jī)器人、語(yǔ)音識(shí)別和翻譯。通過(guò)利用 NLP，企業(yè)可以自動(dòng)化任務(wù)、改善客戶服務(wù)，并從客戶反饋和社交媒體帖子中獲得有價(jià)值的見解。

實(shí)施 NLP 的關(guān)鍵挑戰(zhàn)之一是處理人類語(yǔ)言的復(fù)雜性和歧義性。NLP 算法需要接受大量數(shù)據(jù)的訓(xùn)練，才能識(shí)別模式并學(xué)習(xí)語(yǔ)言的細(xì)微差別。它們還需要不斷完善和更新，以跟上語(yǔ)言使用和上下文的變化。

該技術(shù)的工作原理是將語(yǔ)言輸入（例如句子或段落）分解為更小的組件，并分析它們的含義和關(guān)系以生成見解或響應(yīng)。NLP 技術(shù)結(jié)合使用統(tǒng)計(jì)建模、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)來(lái)識(shí)別模式并從大量數(shù)據(jù)中學(xué)習(xí)，以便準(zhǔn)確地解釋和生成語(yǔ)言。

六、對(duì)話管理

ChatGPT 可以提出后續(xù)問(wèn)題來(lái)更好地了解你的需求，并提供對(duì)于整個(gè)對(duì)話歷史記錄的個(gè)性化響應(yīng)。

這就是 ChatGPT 能夠以自然且有吸引力的方式與用戶進(jìn)行多輪對(duì)話的方式。它涉及使用算法和機(jī)器學(xué)習(xí)技術(shù)來(lái)理解對(duì)話的上下文并在與用戶的多次交流中維護(hù)它。

對(duì)話管理是自然語(yǔ)言處理的一個(gè)重要方面，因?yàn)樗试S計(jì)算機(jī)程序以一種感覺更像對(duì)話而不是一系列一次性交互的方式與人交互。這有助于與用戶建立信任和互動(dòng)，并最終為用戶和使用該程序的組織帶來(lái)更好的結(jié)果。

當(dāng)然，營(yíng)銷人員希望擴(kuò)大信任的建立方式，但這也是一個(gè)可能令人恐懼的領(lǐng)域，因?yàn)檫@是人工智能可能操縱其使用者的一種方式。