前幾天 OpenAI 發(fā)布 "草莓" 系列模型，包括 o1-preview 和 o1-mini，本文詳細(xì)分析了這些模型的效果、特性、價(jià)格策略和實(shí)現(xiàn)原理，并提出了一些關(guān)于其性能和實(shí)用性的判斷。

實(shí)際測(cè)試 OpenAI 新發(fā)布的「草莓」后，發(fā)現(xiàn)問(wèn)題很多。

在本篇中，我將分幾個(gè)章節(jié)，來(lái)進(jìn)行全面解讀，包括：

• 效果與特性
• 價(jià)格與限制
• 實(shí)現(xiàn)原理
• 一些判斷

長(zhǎng)話短說(shuō)

中國(guó)時(shí)間 9 月 13 日凌晨，OpenAI 發(fā)布了 o1 系列模型，包括 o1-preview 和 o1-mini，官方稱其為「草莓」。

從 OpenAI 公布的數(shù)據(jù)來(lái)看，o1 在 STEM（理工科）領(lǐng)域進(jìn)行了特別優(yōu)化，在回答之前會(huì)進(jìn)行思考。在物理、生物和化學(xué)問(wèn)題（GPQA）的基準(zhǔn)測(cè)試中超越了人類博士水平的準(zhǔn)確性。

Plus 和 Team 的用戶可在 ChatGPT 中訪問(wèn)，o1-preview 限制在了 30 條/周，o1-mini 限制在了 50 條/周

T5 級(jí)別的開(kāi)發(fā)者可以訪問(wèn)其 API，每分鐘最多20并發(fā)，且價(jià)格昂貴。

目前，這個(gè)模型還是個(gè)半成品，并沒(méi)有工程化完整：在 ChatGPT 里不支持聯(lián)網(wǎng)、畫(huà)圖等功能；在 API 里不支持 system、tool 等字段和 json mode、結(jié)構(gòu)化輸出等方法。

同時(shí)，這個(gè)模型有坑 – 你可能會(huì)被百倍計(jì)費(fèi)：從 pricing table 上看，o1 的價(jià)格是 4o 的 6 倍，但這是有迷惑性的！o1 計(jì)費(fèi)并不按最終輸出，其中間思考過(guò)程所消耗的 token，并被視作 output tokens，這意味著 100 tokens 的內(nèi)容輸出，可能會(huì)被按 10000 tokens 計(jì)費(fèi)。

這個(gè)模型說(shuō)是有 32k/64k 的最大輸出，但真實(shí)輸出遠(yuǎn)沒(méi)有這么多。

從實(shí)際測(cè)試的角度，發(fā)現(xiàn) o1 與其說(shuō)是一個(gè)模型，不如說(shuō)是基于 gpt-4o 的 agent，并且做的并不好。

進(jìn)行 structured 輸出時(shí)，400 報(bào)錯(cuò)

一、效果與特性

首先，o1 模型是 OpenAI 官方認(rèn)定的「草莓??」

其次，奧特曼對(duì)此很滿意：

在其測(cè)試結(jié)果中，o1 在絕大多數(shù)重推理任務(wù)中顯著優(yōu)于 GPT-4o，相關(guān)評(píng)估如下：

結(jié)果上看，顯著優(yōu)于 gpt-4o：

在 MMLU 的多絕大多數(shù)子類別中，優(yōu)于 gpt-4o。

同時(shí)，根據(jù)官方報(bào)告，在許多需要推理的測(cè)試中，o1 的表現(xiàn)已經(jīng)達(dá)到了人類專家的水平。因?yàn)樽罱恍┠Ｐ驮?MATH 和 GSM8K 測(cè)試中表現(xiàn)得非常出色，這些測(cè)試已經(jīng)不足以有效地區(qū)分它們的優(yōu)劣。為了更嚴(yán)謹(jǐn)?shù)卦u(píng)估模型的數(shù)學(xué)能力，選擇了 AIME（美國(guó)數(shù)學(xué)邀請(qǐng)賽），這是一項(xiàng)專門(mén)為美國(guó)頂尖高中數(shù)學(xué)學(xué)生設(shè)立的挑戰(zhàn)性考試。

在 2024 年的 AIME 考試中，GPT-4o 的平均成績(jī)只有 12%（1.8/15），而 o1 的平均得分卻達(dá)到了 74%（11.1/15）。在只用一個(gè)答案的情況下，o1 在 64 個(gè)樣本上的平均正確率達(dá)到了 83%（12.5/15）。當(dāng)使用學(xué)習(xí)算法對(duì) 1000 個(gè)樣本進(jìn)行優(yōu)化排序后，o1 的得分進(jìn)一步提高到 93%（13.9/15）。這個(gè)成績(jī)相當(dāng)于進(jìn)入全國(guó)前 500 名學(xué)生的水平，甚至超過(guò)了美國(guó)數(shù)學(xué)奧林匹克的入圍標(biāo)準(zhǔn)。

二、價(jià)格與限制

目前 o1 系列模型可通過(guò) ChatGPT 網(wǎng)頁(yè)版，或者是 API 進(jìn)行訪問(wèn)：

1）o1-preview

• 128k 上下文
• 32k 最大輸出
• 旨在解決各個(gè)領(lǐng)域復(fù)雜問(wèn)題的推理模型
• 訓(xùn)練數(shù)據(jù)截止于 23 年 10 月

2）o1-mini：

• 128k 上下文
• 64k 最大輸出
• 一種更快速、更經(jīng)濟(jì)的推理模型，特別擅長(zhǎng)編程、數(shù)學(xué)和科學(xué)
• 訓(xùn)練數(shù)據(jù)截止于 23 年 10 月

對(duì)于 ChatGPT 網(wǎng)頁(yè)版，目前僅 Plus 和 Team 用戶目前已經(jīng)可以訪問(wèn)了。對(duì)于 Enterprise 以及 Edu 的用戶，還需要再等一周：

• o1-preview：30 條/周
• o1-mini：50 條/周

對(duì)于 API 用戶，如果你的等級(jí)在 Tire5 （支付金額>1000 美金），目前已經(jīng)可以通過(guò)接口進(jìn)行調(diào)用：

• o1-preview：20 RPM，30,000,000 TPM
• o1-mini：20 RPM，150,000,000 TPM

需要注意：

經(jīng)測(cè)試，o1 模型不支持以下內(nèi)容，并報(bào)錯(cuò)：

• system 字段：400 報(bào)錯(cuò)
• tools 字段：400 報(bào)錯(cuò)
• 圖片輸入：400 報(bào)錯(cuò)
• json_object 輸出：500 報(bào)錯(cuò)
• structured 輸出：400 報(bào)錯(cuò)
• logprobs 輸出：403 報(bào)錯(cuò)
• stream 輸出：400 報(bào)錯(cuò)
• o1系列：20 RPM，150,000,000 TPM，很低，隨時(shí)429報(bào)錯(cuò)
• 其他：temperature, top_p and n 被固定為1；presence_penalty 和 frequency_penalty 被固定為 0.

進(jìn)行 structured 輸出時(shí)，400 報(bào)錯(cuò)

更需要注意：

對(duì)于 api，文檔說(shuō) o1 可以輸出 64k，但實(shí)測(cè)遠(yuǎn)非如此

如：我的 prompt 為「寫(xiě)一部「黑神話悟空」的同人小說(shuō)，不少于2萬(wàn)字」，但返回的內(nèi)容只有 1000+字

“謹(jǐn)防電信詐騙”

三、實(shí)現(xiàn)原理

簡(jiǎn)而言之，o1 系列模型，在回答的過(guò)程中，本身經(jīng)歷了多次對(duì)話，并根據(jù)對(duì)對(duì)話的評(píng)估，進(jìn)行后續(xù)生成。

他會(huì)先思考，然后總結(jié)輸出

思考可能不止一步，最長(zhǎng)思考步驟為 128k，具體步驟如下：

他會(huì)先思考，然后總結(jié)輸出

需要注意：在 api 調(diào)用的過(guò)程中，并不會(huì)返回中間的思考，比如相同的問(wèn)題「安徽牛肉板面，為什么是石家莊特產(chǎn)？」，api 側(cè)的返回如下：

我把 id 等信息給 *** 了

這個(gè)時(shí)候，你會(huì)發(fā)現(xiàn)一個(gè)嚴(yán)重問(wèn)題：此處產(chǎn)生了 896 tokens 作為推理。

換個(gè)例子，當(dāng)問(wèn)題是很簡(jiǎn)短的「你好」時(shí)，其返回如下：

輸出 471 tokens，其中 448 tokens 為推理，23 tokens為真實(shí)輸出

同樣的問(wèn)題，問(wèn) 4o：

輸出為 9 tokens

要知道，o1 模型的價(jià)格，時(shí) 4o-0806 的 6 倍。再加上對(duì)推理的消耗（額外n倍），以及這個(gè)模型里，token 計(jì)算可能比 4o 要多（猜測(cè)），api 開(kāi)支可能會(huì)炸！

以「你好」為例，4o-0806 的費(fèi)用為 ($10*9+$2.5*8)*10^(-6) = 110 * 10^(-6)美金；而 o1 模型中，費(fèi)用則為 ($60*471+$15*10)*10^(-6) = 28410*10^(-6)美金。在這個(gè)案例中，完成相同的任務(wù)，o1 比 4o 貴了足足 258 倍！??！

對(duì)于非極端問(wèn)題，且在 prompt 較短的情況下，比如「安徽牛肉板面，為什么是石家莊特產(chǎn)？」，4o-0806 的開(kāi)銷為2192.5 * 10^(-6)美金，而 o1 的開(kāi)銷為 86835 * 10^(-6) 美金。在這個(gè)案例中，完成相同的任務(wù)，o1 比 4o 貴了 40 倍?。。?/p>

有理由認(rèn)為：在正常使用中，o1 的開(kāi)銷，會(huì)比 4o 貴百倍！

四、一些判斷

首先，我保持一個(gè)觀點(diǎn)：這次的「草莓」，與其說(shuō)是模型優(yōu)化，不如說(shuō)是工程優(yōu)化。

從訓(xùn)練數(shù)據(jù)，以及訓(xùn)練時(shí)間來(lái)看，o1-preview，o1-mini，4o，4o-mini 的訓(xùn)練數(shù)據(jù)，都是截止到 2023 年 10 月（而更早的 gpt-4-0125 和 gpt-4-turbo 則是截止到 2023 年 12 月）。

在拋去 CoT 行為后，可以發(fā)現(xiàn) o1 和 4o 的行為/語(yǔ)言風(fēng)格高度相似，甚至可以猜測(cè)：這次的「草莓」o1 有可能是 gpt-4o 在進(jìn)行一些微調(diào)/對(duì)齊后的 agent。

當(dāng)我詢問(wèn)「我的貓為什么不會(huì)汪汪叫」的時(shí)候，出現(xiàn)了典型的「意圖識(shí)別」。

同時(shí)，這個(gè) Agent 做得并不好，甚至不能算是及格。當(dāng)我用 o1-mini 進(jìn)行「完整輸出千字文」的時(shí)候，無(wú)論是語(yǔ)言識(shí)別、意圖識(shí)別還是指令遵循，都非常的不盡如人意：

o1-mini

即便是換用所謂更強(qiáng)的 o1-preview，結(jié)果也不盡如人意（選中文字是錯(cuò)的），并且輸出也不全。

o1-preview

五、綜上

這個(gè)版本的草莓，遠(yuǎn)低于預(yù)期，甚至不如民間的工程化。

作為 AI 從業(yè)者，有種難以言表的傷感：我們會(huì)喜歡看 OpenAI 的樂(lè)子，但絕對(duì)不希望看到 OpenAI 塌…