本文來(lái)自HumanloopCEORazaHabib對(duì)OpenAICEOSamAltman的最新訪談，Sam在這次訪談里非常坦誠(chéng)的談?wù)摿岁P(guān)于目前困境、GPU資源限制、Conetxt長(zhǎng)度、多模態(tài)以及開(kāi)源等問(wèn)題，甚至還提到了Plugin上線后表現(xiàn)并不理想，人們更多希望將大模型集成到自己的應(yīng)用中，而非在ChatGPT內(nèi)部來(lái)調(diào)用其他軟件。很多內(nèi)容對(duì)AI創(chuàng)業(yè)者應(yīng)該會(huì)有不少幫助，筆者在此借助GPT-4快速翻譯了這篇文章，希望能夠給大家也帶來(lái)最新的思考和啟發(fā)。

上周Humanloop CEO Raza Habib有幸與Sam Altman和其他20位開(kāi)發(fā)人員坐下來(lái)，討論OpenAI的API和他們的產(chǎn)品計(jì)劃。Sam非常坦誠(chéng)。討論涉及到開(kāi)發(fā)者實(shí)際問(wèn)題以及與OpenAI的使命和AI的社會(huì)影響相關(guān)的更大的問(wèn)題。以下是主要的關(guān)鍵點(diǎn)：

01?目前OpenAI嚴(yán)重依賴GPU

在整個(gè)討論中，一個(gè)常見(jiàn)的主題是，目前OpenAI極度依賴GPU，這已經(jīng)推遲了他們?cè)S多短期計(jì)劃。最大的客戶抱怨是關(guān)于API的可靠性和速度。Sam承認(rèn)了他們的擔(dān)憂，并解釋說(shuō)，大部分問(wèn)題是由于GPU短缺引起的。

更長(zhǎng)的32k上下文還不能推廣給更多人。OpenAI尚未克服O(n^2)的關(guān)注度規(guī)模，因此雖然他們可能很快就會(huì)有100k – 1M個(gè)標(biāo)記的上下文窗口（今年），但任何更大的窗口都需要一個(gè)研究突破。

微調(diào)API也被GPU可用性限制。他們尚未使用如Adapters或LoRa等高效的微調(diào)方法，因此微調(diào)運(yùn)行和管理都非常耗費(fèi)計(jì)算資源。未來(lái)會(huì)有更好的微調(diào)支持。他們甚至可能主辦一個(gè)由社區(qū)貢獻(xiàn)模型的市場(chǎng)。

專用容量供應(yīng)受到GPU可用性的限制。OpenAI還提供專用容量，這為客戶提供了模型的私人副本。要使用此服務(wù)，客戶必須愿意提前承諾花費(fèi)10萬(wàn)美元。

02?OpenAI的短期路線圖

2023年：

1. 更便宜、更快的GPT-4——這是他們的首要任務(wù)?？傮w來(lái)說(shuō)，OpenAI的目標(biāo)是將”智能的成本”降低到最低，因此他們將努力繼續(xù)降低API的成本。
2. 更長(zhǎng)的上下文窗口——在不久的將來(lái)，高達(dá)一百萬(wàn)個(gè)tokens的上下文窗口是可能的。
3. 微調(diào)API——微調(diào)API將擴(kuò)展到最新的模型，但其具體形式將由開(kāi)發(fā)人員表明他們真正想要的。
4. 有狀態(tài)的API（A stateful API）——當(dāng)你今天調(diào)用聊天API時(shí)，你必須反復(fù)傳遞同樣的對(duì)話歷史并再次支付相同的tokens費(fèi)用。未來(lái)的API版本將記住對(duì)話歷史。

2024年：

多模態(tài)性——這是作為GPT-4發(fā)布的一部分進(jìn)行演示的，但無(wú)法在更多的GPU上線后擴(kuò)展到所有人。

03?Plugin”沒(méi)有實(shí)現(xiàn)PMF”，可能不會(huì)很快出現(xiàn)在API上

許多開(kāi)發(fā)人員對(duì)通過(guò)API在外部調(diào)用ChatGPT Plugin感興趣，但Sam說(shuō)他認(rèn)為他們不會(huì)很快發(fā)布這一功能。就Plugin目前的使用情況，除了browsing功能之外，其他的使用情況表明它們還沒(méi)有達(dá)到PMF。他說(shuō)很多人以為他們想要的是應(yīng)用程序在ChatGPT內(nèi)被使用，但實(shí)際上人們真正想要的是他們自己的應(yīng)用程序中有ChatGPT的能力。

04?OpenAI會(huì)避免與他們的客戶競(jìng)爭(zhēng)——除了ChatGPT

很多開(kāi)發(fā)者表示，他們擔(dān)心使用OpenAI的API構(gòu)建應(yīng)用，因?yàn)镺penAI可能發(fā)布與他們競(jìng)爭(zhēng)的產(chǎn)品的時(shí)候。但Sam說(shuō)，OpenAI不會(huì)發(fā)布除了ChatGPT以外的更多產(chǎn)品。他說(shuō)，一個(gè)偉大的平臺(tái)公司會(huì)有一個(gè)殺手級(jí)應(yīng)用，而ChatGPT將允許他們通過(guò)成為自己產(chǎn)品的客戶來(lái)提高API的質(zhì)量。ChatGPT的愿景是成為工作中的超級(jí)智能助手，但OpenAI不會(huì)觸及到更多其他GPT的用例。

05?需要監(jiān)管，但也需要開(kāi)源

盡管Sam正在呼吁對(duì)未來(lái)模型進(jìn)行監(jiān)管，但他不認(rèn)為現(xiàn)有模型是危險(xiǎn)的，認(rèn)為對(duì)它們進(jìn)行監(jiān)管或禁止是一個(gè)大錯(cuò)誤。他重申了他對(duì)開(kāi)源的重要性，并表示OpenAI正在考慮開(kāi)源GPT-3。他們尚未開(kāi)源的部分原因是他對(duì)有多少個(gè)人和公司有能力托管和提供大模型表示懷疑。

06?縮放法則（Scaling laws）仍然有效

最近有許多文章聲稱“大模型的時(shí)代已經(jīng)結(jié)束”。這并不準(zhǔn)確地反映了原意。

OpenAI的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則仍然有效，使模型變大將繼續(xù)產(chǎn)生性能?？s放率的確不能維持，因?yàn)镺penAI在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬(wàn)倍，未來(lái)繼續(xù)這樣做是不可持續(xù)的。這并不意味著OpenAI不會(huì)繼續(xù)嘗試使模型變大，只是意味著他們可能每年只會(huì)增加一倍或兩倍，而不是增加許多個(gè)數(shù)量級(jí)。

縮放繼續(xù)有效的事實(shí)對(duì)AGI開(kāi)發(fā)時(shí)間線有重要影響?？s放假設(shè)是我們可能已經(jīng)擁有構(gòu)建AGI所需的大部分部件，而剩下的大部分工作將是將現(xiàn)有方法擴(kuò)大到更大的模型和更大的數(shù)據(jù)集。如果縮放的時(shí)代結(jié)束了，我們可能應(yīng)該預(yù)期AGI還有很長(zhǎng)的路要走?？s放法則繼續(xù)有效強(qiáng)烈地表明了實(shí)現(xiàn)AGI的時(shí)間線較短。

07 結(jié)尾

從Sam Altman透露的這些計(jì)劃來(lái)說(shuō)，對(duì)于AI創(chuàng)業(yè)者應(yīng)該是個(gè)好消息，OpenAI是有邊界的，而且Sam也承認(rèn)根據(jù)市場(chǎng)實(shí)際表現(xiàn)來(lái)看，Plugin也并沒(méi)有實(shí)現(xiàn)之前很多人預(yù)期的那樣，讓ChatGPT成為一個(gè)超級(jí)入口+平臺(tái)。更多人還是想要在自己的應(yīng)用中去加入并使用大模型的AI能力，并且Sam也明確表示了OpenAI是有邊界的，同時(shí)受限于GPU，今年內(nèi)多模態(tài)也不會(huì)上線。

關(guān)于更多Plugin和AI生態(tài)的分析，可以參考我之前的文章——AGI要來(lái)了？AI Paradigm的新階段和新趨勢(shì)。

參考材料：

[1]https://humanloop.com/blog/openai-plans