隨著人工智能技術(shù)的飛速發(fā)展，Agent（智能代理）作為一類(lèi)具有自主決策能力的AI系統(tǒng)，正在從理論走向?qū)嶋H應(yīng)用。然而，Agent的廣泛應(yīng)用也帶來(lái)了新的挑戰(zhàn)和風(fēng)險(xiǎn)，尤其是在其自主性和人類(lèi)控制權(quán)之間的平衡問(wèn)題上。本文從OpenAI關(guān)于管理自主AI系統(tǒng)的討論出發(fā)，深入探討了Agent在實(shí)際落地過(guò)程中面臨的七大難點(diǎn)問(wèn)題，供大家參考。

之前參加了一場(chǎng) OpenAI 的活動(dòng)，主題是管理「自主 AI 系統(tǒng)」（Agentic Systems）。

那時(shí)聊了很多有關(guān) Agent 的問(wèn)題，恰是當(dāng)下各種 Agent 項(xiàng)目正需面對(duì)的。

討論多是基于論文《Practices for Governing Agentic AI Systems》，地址是：https://openai.com/research/practices-for-governing-agentic-ai-systems

明確一下：

OpenAI 會(huì)面對(duì)這些挑戰(zhàn)，并非是其水平不行，而是更早的開(kāi)始探索邊界。

— 大家都將會(huì)遇到

有關(guān) Agent

Agent 的定義，目前已經(jīng)嚴(yán)重泛化了：兩個(gè)人在討論「Agent」，他們討論的可能都不是同一種東西。

按當(dāng)前的語(yǔ)境，我們會(huì)把 ChatGPT 就是看成一種 AI 應(yīng)用，它能理解你的問(wèn)題并給出回答。而會(huì)把 GPTs 這種訂制后的、能調(diào)用外部功能的、能夠自己處理復(fù)雜任務(wù)的產(chǎn)品，叫做 Agent。

Agent 和 AI 應(yīng)用（如ChatGPT）之間的區(qū)別和聯(lián)系主要體現(xiàn)在“代理性”（agenticness）。如果一個(gè)AI系統(tǒng)，能夠在沒(méi)有直接人類(lèi)監(jiān)督的情況下運(yùn)作，其自主性越高，我們稱(chēng)之為代理性越強(qiáng)。這是一個(gè)連續(xù)體，不是非黑即白的判斷，而是根據(jù)它在特定環(huán)境中的表現(xiàn)來(lái)評(píng)估其代理性的程度。

如何定义B端产品及B端产品经理方法论

相较于C端产品，B端产品最大的特点是：面向特定领域用户，且数量少得多，但更注重对用户专业领域操作流程的深度挖掘——也就是专业性更强，与业务的结合更紧密。

查看详情 >

在這種定義下，正統(tǒng) Agent 不僅能回答問(wèn)題，還能自己決定做什么，它能夠通過(guò)生成文本來(lái)“思考”，然后做出一些操作，甚至能創(chuàng)造出更多的 AI 幫手來(lái)幫幫忙，就比如下面這個(gè)圖。（仔細(xì)看這個(gè) Twitter 圖，時(shí)間是 2 年前）

（再補(bǔ)一張2年前， 時(shí)任 OpenAI Dev Rel 的 Logan 的發(fā)言）

但我們發(fā)現(xiàn)，盡管 Agent 看起來(lái)很美好，但在實(shí)際落地的場(chǎng)景中，也是困難重重，風(fēng)險(xiǎn)多多，出現(xiàn)了問(wèn)題，責(zé)任劃分也很麻煩。比如這里：如果我希望讓某個(gè) Agent 幫我微信收款，但它給別人展示的是付款碼，那么這里誰(shuí)背鍋？

這些問(wèn)題，也將會(huì)是 o1 在真正行業(yè)落地時(shí)，所要面對(duì)的。

落地難點(diǎn)

由于會(huì)上的 PPT 不便分享，我便在自己吸收后，重新制作了一份 PPT，安心食用

01 執(zhí)行效果評(píng)估

在商業(yè)環(huán)境中，確保任何工具的可靠性是基本要求。

然而，AI Agent 的復(fù)雜性在于其工作場(chǎng)景和任務(wù)的不確定性。例如，一個(gè)在模擬環(huán)境中表現(xiàn)優(yōu)異的自動(dòng)駕駛車(chē)輛，可能因現(xiàn)實(shí)世界中不可預(yù)測(cè)的變量（如天氣變化和道路條件）而表現(xiàn)不穩(wěn)定。

我們尚缺乏有效的方法，來(lái)準(zhǔn)確評(píng)估 AI Agent 在實(shí)際環(huán)境中的性能。

02 危險(xiǎn)行為界定

AI Agent 在執(zhí)行高風(fēng)險(xiǎn)操作之前需要獲得用戶(hù)的明確批準(zhǔn)。例如，在金融領(lǐng)域，AI 執(zhí)行大額轉(zhuǎn)賬前必須得到用戶(hù)同意。

但需要注意，頻繁的審批請(qǐng)求可能導(dǎo)致用戶(hù)出現(xiàn)審批疲勞，從而可能無(wú)視風(fēng)險(xiǎn)盲目批準(zhǔn)操作，這既削弱了批準(zhǔn)機(jī)制的效果，也可能增加操作風(fēng)險(xiǎn)。

03 默認(rèn)行為確定

當(dāng) AI Agent 遇到執(zhí)行錯(cuò)誤或不確定的情形時(shí)，是要有一個(gè)默認(rèn)行為的。例如，如果一個(gè)客服機(jī)器人在不確定用戶(hù)需求時(shí)，其默認(rèn)行為是請(qǐng)求更多信息以避免錯(cuò)誤操作。

然而，頻繁的請(qǐng)求可能會(huì)影響用戶(hù)體驗(yàn)，因此在保障系統(tǒng)安全性與保持用戶(hù)體驗(yàn)之間需要找到平衡。

04 推理透明展示

為了保證 AI Agent 決策的透明性，系統(tǒng)需要向用戶(hù)清晰展示其推理過(guò)程。舉例來(lái)說(shuō)，一個(gè)健康咨詢(xún)機(jī)器人應(yīng)詳細(xì)解釋其提出特定醫(yī)療建議的邏輯。

但如果推理過(guò)程太復(fù)雜，普通用戶(hù)可能難以理解，這就需要在確保透明性和易理解性之間找到平衡。

05 Agent 行為監(jiān)控

假設(shè)一個(gè) AI 系統(tǒng)用于監(jiān)控倉(cāng)庫(kù)庫(kù)存，如果監(jiān)控系統(tǒng)誤報(bào)，誤認(rèn)為某項(xiàng)商品缺貨，進(jìn)而不斷的進(jìn)貨，那么可能導(dǎo)致庫(kù)存的嚴(yán)重積壓，并造成極大損失。

于是，我們思考：是否需要另一個(gè) Agent 來(lái)監(jiān)控這個(gè) Agent？成本賬怎么算？

06 Agent 作惡追責(zé)

考慮一個(gè)匿名發(fā)布內(nèi)容的 AI Agent，如果其發(fā)布了違規(guī)內(nèi)容，要追蹤到具體負(fù)責(zé)的人或機(jī)構(gòu)可能極其困難。這種情況下，建立一個(gè)能夠確保責(zé)任可追溯的系統(tǒng)尤為關(guān)鍵，同時(shí)還需要平衡隱私保護(hù)和責(zé)任追究的需求。

07 嚴(yán)重事故叫停

想象一個(gè)用于自動(dòng)化工廠管理的 AI Agent，在系統(tǒng)檢測(cè)到嚴(yán)重故障需要立即停機(jī)時(shí)，不僅需要停止主控系統(tǒng)，還要同步關(guān)閉所有從屬設(shè)備和流程。如何設(shè)計(jì)一個(gè)能夠迅速且全面響應(yīng)的緊急停止機(jī)制，以防止故障擴(kuò)散或造成更大損失，是一項(xiàng)技術(shù)和策略上的復(fù)雜挑戰(zhàn)。