在OpenAI開(kāi)發(fā)者日當(dāng)天，除了奧特曼的開(kāi)幕演講外，還有許多分組討論的內(nèi)容也同樣精彩，其中包括ChatGPT背后的產(chǎn)品和研發(fā)團(tuán)隊(duì)如何協(xié)作、模型應(yīng)用如何從原型走向成熟等內(nèi)容的分享。這篇文章里，作者做了總結(jié)，一起來(lái)看。

ChatGPT產(chǎn)品打造的細(xì)節(jié)，現(xiàn)在OpenAI自己交了個(gè)底。

并且這波干貨分享真是信息量滿滿，包括但不限于：

• ChatGPT背后的產(chǎn)品和研發(fā)團(tuán)隊(duì)如何協(xié)作
• 大模型應(yīng)用如何從原型走向成熟
• OpenAI如何優(yōu)化大模型性能……

以上信息，依然來(lái)自今年的新晉“科技春晚”——OpenAI開(kāi)發(fā)者日。

除了奧特曼驚艷全球的開(kāi)幕演講，當(dāng)天還有更多分組討論，視頻也陸續(xù)被官方上傳到了油管。

而這也算得上是OpenAI驚天抓馬之前，其團(tuán)隊(duì)“內(nèi)幕”的一次展示。

值得借鑒學(xué)習(xí)之處，我們已經(jīng)整理好筆記，一起來(lái)看~

一、產(chǎn)品與研究團(tuán)隊(duì)合作“前所未有”

把時(shí)間拉回到2022年10月，OpenAI的研究團(tuán)隊(duì)和產(chǎn)品團(tuán)隊(duì)開(kāi)始圍繞一個(gè)idea進(jìn)行討論：為他們的基礎(chǔ)大模型，制作一個(gè)對(duì)話界面。

彼時(shí)還處在ChatGPT的早期階段，但研究團(tuán)隊(duì)和產(chǎn)品團(tuán)隊(duì)的緊密協(xié)作已然開(kāi)始，它們之間相互的影響程度更是獨(dú)樹(shù)一幟。

或許這種團(tuán)隊(duì)合作模式，可以成為其他公司參考借鑒的樣本。

一款产品无到有，产品经理需要做些什么？

在一个产品从无到有的过程中，要做好产品经理这个角色实在是不容易，除了大家都知道的写需求、写需求、写需求，要做的事多着呢。产品经理不是你眼中的只会找你麻烦，提要求..

查看详情 >

用OpenAI模型行為產(chǎn)品負(fù)責(zé)人Joanne Jang的話說(shuō)：

在OpenAI，研究團(tuán)隊(duì)和產(chǎn)品團(tuán)隊(duì)之間的相互影響，在業(yè)內(nèi)已經(jīng)達(dá)到了前所未有的程度。

ChatGPT本身，就是最明顯的例子。

OpenAI Post-Training團(tuán)隊(duì)負(fù)責(zé)人Barret Zoph和Joanne共同分享了兩支團(tuán)隊(duì)在ChatGPT開(kāi)發(fā)和完善過(guò)程中的一些協(xié)作細(xì)節(jié)。

Barret團(tuán)隊(duì)的主要職責(zé)，是在模型能力被加入到ChatGPT和API之前，對(duì)其進(jìn)行調(diào)整。具體來(lái)說(shuō)，ChatGPT后期增加的聯(lián)網(wǎng)、分析文件等功能，都是由Post-Training團(tuán)隊(duì)負(fù)責(zé)的。

Barret重點(diǎn)提到的是，正是產(chǎn)品團(tuán)隊(duì)的種種設(shè)計(jì)，讓研究團(tuán)隊(duì)能夠及時(shí)get到什么樣的模型響應(yīng)，對(duì)于現(xiàn)實(shí)世界中的用戶和開(kāi)發(fā)人員是真正有用的。

比如ChatGPT的點(diǎn)贊點(diǎn)踩按鈕，就給研究本身帶來(lái)了很多價(jià)值：

我們可以根據(jù)這樣的反饋調(diào)整正在做的事情，了解哪些工作做得好，哪些做得不好，這樣一來(lái)，我們就能讓模型響應(yīng)越來(lái)越適合用戶。

在研究中，我們通常用離線評(píng)估指標(biāo)和基準(zhǔn)去衡量模型的進(jìn)展，但有時(shí)候這并非人們真正使用模型的方式。產(chǎn)品團(tuán)隊(duì)的幫助，使得我們能夠確保自己正走在構(gòu)建通用、強(qiáng)大系統(tǒng)的方向上。

而站在產(chǎn)品團(tuán)隊(duì)的角度，Joanne同樣認(rèn)為，OpenAI產(chǎn)品經(jīng)理扮演的角色有獨(dú)特之處：

首先，在OpenAI做產(chǎn)品的目標(biāo)不是收入、參與度、增長(zhǎng)等傳統(tǒng)產(chǎn)品指標(biāo)，而是打造造福全人類的通用人工智能。

其次，OpenAI的產(chǎn)品經(jīng)理往往是從技術(shù)而非用戶問(wèn)題的角度出發(fā)，去設(shè)計(jì)產(chǎn)品功能的。

最后，OpenAI研究團(tuán)隊(duì)和產(chǎn)品團(tuán)隊(duì)相互影響的程度非常之高，在業(yè)內(nèi)可以說(shuō)達(dá)到了前所未有的程度。

還是以ChatGPT誕生的過(guò)程為例。從GPT-3，到InstructGPT，再到ChatGPT，研究團(tuán)隊(duì)發(fā)現(xiàn)，直接在多輪對(duì)話上訓(xùn)練模型，能讓教導(dǎo)模型新的行為這件事變得更加有效。

而具體教導(dǎo)（設(shè)計(jì)）模型行為的工作，就是靠產(chǎn)品團(tuán)隊(duì)來(lái)參與完成的：比如說(shuō)，當(dāng)用戶告訴ChatGPT“你現(xiàn)在是一只貓”，ChatGPT應(yīng)該表現(xiàn)出怎樣的默認(rèn)行為？

產(chǎn)品團(tuán)隊(duì)對(duì)此進(jìn)行了大量的實(shí)驗(yàn)，以找出適合大多數(shù)用戶的默認(rèn)模式。

（p.s. 不過(guò)Joanne也提到，對(duì)于用戶而言，最好的模型是個(gè)性化的模型，這也是他們對(duì)未來(lái)大模型發(fā)展方向的預(yù)判之一。）

二、非線性策略優(yōu)化大模型性能

講完協(xié)同“內(nèi)幕”，再來(lái)看技術(shù)細(xì)節(jié)。

在開(kāi)發(fā)者日上，OpenAI的技術(shù)人員分享了GPT-4中使用的大模型優(yōu)化技術(shù)。

劃重點(diǎn)就是，采用非線性策略，具體包括兩個(gè)維度和四個(gè)象限。

OpenAI提出了一個(gè)多層次的非線性優(yōu)化框架，涉及到了提示工程、搜索增強(qiáng)生成（RAG）和微調(diào)這三種技術(shù)。

傳統(tǒng)的模型優(yōu)化方式往往以線性方式運(yùn)用這三項(xiàng)技術(shù)，在OpenAI看來(lái)這種模式無(wú)法解決“真正需要解決的問(wèn)題”。

OpenAI認(rèn)為，大模型表現(xiàn)優(yōu)化分為兩個(gè)維度，一個(gè)是其本身的表現(xiàn)，一個(gè)是上下文。

根據(jù)這兩個(gè)維度需求程度的不同，就形成了四個(gè)象限。

具體來(lái)說(shuō)，這兩個(gè)優(yōu)化方向的起點(diǎn)都是提示工程，但接下來(lái)要用RAG還是微調(diào)（或兩者兼用）則需要根據(jù)實(shí)際情況來(lái)選擇。

通過(guò)詳細(xì)比較這三項(xiàng)技術(shù)各自的優(yōu)勢(shì)，OpenAI的兩名技術(shù)人員分別做了具體解釋。

首先是提示工程，它被看作大模型優(yōu)化的起始點(diǎn)，通過(guò)設(shè)計(jì)提示詞來(lái)增強(qiáng)模型性能，可以測(cè)試和快速迭代。

具體的策略包括，將提示詞設(shè)計(jì)得更清晰、將復(fù)雜任務(wù)拆解，以及提供示例文本或調(diào)用外部工具等。

但對(duì)于讓模型學(xué)習(xí)新信息，或者復(fù)刻一種復(fù)雜的方法（如學(xué)習(xí)新的編程語(yǔ)言），則超出了提示工程的能力范疇。

此外，任務(wù)的細(xì)化也會(huì)帶來(lái)token的增加，所以提示工程對(duì)于減少token消耗來(lái)說(shuō)也是不利的。

RAG和微調(diào)解決的問(wèn)題則存在一些相似之處，二者的主要區(qū)別在于，RAG更適用于讓模型從給定信息中獲取答案（短期記憶），而微調(diào)的重點(diǎn)是模型的長(zhǎng)期記憶。

RAG的核心優(yōu)勢(shì)是利用知識(shí)庫(kù)為模型提供上下文信息，從而減少模型幻覺(jué)。

但是這種知識(shí)信息通常局限于十分具體的領(lǐng)域，但對(duì)于寬泛的領(lǐng)域（如“法律”“醫(yī)學(xué)”等）作用并不明顯。

同時(shí)，提供大量上下文信息會(huì)帶來(lái)比提示工程更多的token消耗，對(duì)節(jié)約token同樣不利。

此外，過(guò)度應(yīng)用RAG也有可能帶來(lái)反效果，比如有用戶要求GPT只利用文檔中的信息，然后發(fā)現(xiàn)模型出現(xiàn)了“幻覺(jué)”。

但事后分析發(fā)現(xiàn)，這并非是模型的幻覺(jué)現(xiàn)象，而是用戶提供的信息本身就存在錯(cuò)誤。

而微調(diào)則是通過(guò)在小數(shù)據(jù)集上訓(xùn)練模型，來(lái)提高性能和效率，或者修改輸出結(jié)構(gòu)。

相比RAG，微調(diào)更側(cè)重于強(qiáng)調(diào)模型已有的知識(shí)，并提供復(fù)雜的任務(wù)指導(dǎo)，對(duì)于學(xué)習(xí)新知識(shí)或迭代到新用例則不是好的選擇。

總結(jié)下來(lái)就是，基于這些策略的特點(diǎn)和使用領(lǐng)域，根據(jù)實(shí)際需求有的放矢地選擇優(yōu)化策略。

這也是OpenAI調(diào)教GPT-4的法寶，具體到應(yīng)用層面，OpenAI也為一眾創(chuàng)業(yè)者獻(xiàn)上了一份大禮。

三、為創(chuàng)業(yè)者送上“大禮包”

OpenAI工程負(fù)責(zé)人和Applied團(tuán)隊(duì)成員分享了如何將基于OpenAI模型搭建的應(yīng)用從原型走向完整產(chǎn)品。

如果你也有興趣基于OpenAI的API搞一些應(yīng)用創(chuàng)新，以下是官方分享的一些工程實(shí)踐經(jīng)驗(yàn)：

第一，打造以人為本的用戶體驗(yàn)，即減少模型不確定性，增強(qiáng)模型的安全性和可控性。

第二，提供一致性體驗(yàn)。比如利用知識(shí)庫(kù)等工具來(lái)減少模型的不一致性。工程師們提到，OpenAI通過(guò)控制seed來(lái)控制結(jié)果的可重現(xiàn)性，并且提供了當(dāng)前系統(tǒng)的“指紋”來(lái)代表整個(gè)系統(tǒng)的狀態(tài)。

第三，重視性能評(píng)估。并且OpenAI發(fā)現(xiàn)，用大模型來(lái)代替人工進(jìn)行性能評(píng)估效果顯著。

第四，管理延遲和成本。主要策略有兩種：首先是加入語(yǔ)義緩存，來(lái)減少真實(shí)API的訪問(wèn)；其次是使用更便宜的模型，比如不直接使用GPT-4，而是用GPT-4的輸出來(lái)微調(diào)GPT-3.5 Turbo。

而具體到產(chǎn)品更新，新版API也值得關(guān)注，OpenAI的廣告詞是可以“在開(kāi)發(fā)的應(yīng)用中直接構(gòu)建世界級(jí)的助手”。

新版API支持調(diào)用代碼解釋器和外部知識(shí)，OpenAI的API工程主管Michelle進(jìn)行了現(xiàn)場(chǎng)演示。

此外，在函數(shù)（第三方API）調(diào)用方面也進(jìn)行了改進(jìn)，新增了JSON輸出模式，并允許同時(shí)調(diào)用多個(gè)函數(shù)。

四、One More Thing

順便提一嘴，開(kāi)發(fā)者大會(huì)的開(kāi)幕式上，OpenAI現(xiàn)場(chǎng)給每個(gè)人發(fā)放了500美元的賬戶余額，讓線下觀眾紛紛投來(lái)羨慕的目光。

不過(guò)實(shí)際上他們只賺了50，因?yàn)檫€要花450美元買門票。

按照最新的定價(jià)，50美元可以通過(guò)API處理500萬(wàn)輸入token或166.6萬(wàn)輸出token。

那么，今日份的干貨筆記就分享到這里了，想了解更多詳細(xì)內(nèi)容，可以到官方回放中一睹為快。