作為代理大腦的LLM的能力門(mén)檻相對(duì)較高。規(guī)模較小的LLM可能需要大量及時(shí)的工程或微調(diào)才能滿(mǎn)足要求。

在上部分中，我們概述了利用AI代理提高企業(yè)效率的關(guān)鍵策略。我解釋了與獨(dú)立AI模型不同，代理如何使用上下文和工具迭代地優(yōu)化任務(wù)以增強(qiáng)代碼生成等結(jié)果。我還討論了多代理系統(tǒng)如何促進(jìn)跨部門(mén)溝通，創(chuàng)造統(tǒng)一的用戶(hù)體驗(yàn)并提高生產(chǎn)力、彈性和更快的升級(jí)。

成功構(gòu)建這些系統(tǒng)的關(guān)鍵在于映射角色和工作流程，以及建立諸如人工監(jiān)督和錯(cuò)誤檢查之類(lèi)的保障措施以確保安全運(yùn)行。讓我們深入探討這些關(guān)鍵要素。

01 保障和自主權(quán)件

代理意味著自主性，因此必須在多代理系統(tǒng)中為代理內(nèi)置各種保護(hù)措施，以減少代理自主運(yùn)行時(shí)的錯(cuò)誤、浪費(fèi)、法律風(fēng)險(xiǎn)或危害。將所有這些保護(hù)措施應(yīng)用于所有代理可能會(huì)過(guò)度并帶來(lái)資源挑戰(zhàn)，但我強(qiáng)烈建議考慮系統(tǒng)中的每個(gè)代理，并有意識(shí)地決定它們需要哪些保護(hù)措施。如果滿(mǎn)足其中任何一個(gè)條件，代理就不應(yīng)該被允許自主運(yùn)行。

02 明確定義人為干預(yù)條件

觸發(fā)一組預(yù)定義規(guī)則中的任何一個(gè)都會(huì)決定人類(lèi)需要確認(rèn)某些代理行為的條件。

做了8年产品经理后，我是这么看产品经理的

我个人是从非常初级的产品经理做起，再到负责一个大产品的项目管理，现在有幸跳出了日常基础的工作更多的去看产品的PMF，product strategy...

查看详情 >

這些規(guī)則應(yīng)根據(jù)具體情況進(jìn)行定義，并可在代理的系統(tǒng)提示中聲明或者在更關(guān)鍵的用例中，使用代理外部的確定性代碼來(lái)執(zhí)行。對(duì)于采購(gòu)代理來(lái)說(shuō)，一條這樣的規(guī)則是：“所有采購(gòu)都應(yīng)首先由人類(lèi)驗(yàn)證和確認(rèn)。調(diào)用您的‘check_with_human’函數(shù)，直到它返回值后再繼續(xù)?！?/p>

03 保障代理

保障代理可以與負(fù)責(zé)檢查風(fēng)險(xiǎn)、不道德或不合規(guī)行為的代理配對(duì)?？梢詮?qiáng)制代理始終根據(jù)保障代理檢查其行為的全部或某些元素，除非保障代理返回批準(zhǔn)，否則不會(huì)繼續(xù)。

04 不確定性

我們實(shí)驗(yàn)室最近發(fā)表了一篇論文，介紹了一種可以衡量大型語(yǔ)言模型 (LLM) 生成內(nèi)容的不確定性的技術(shù)。

鑒于LLM傾向于虛構(gòu)（通常稱(chēng)為幻覺(jué)），優(yōu)先考慮某個(gè)輸出可以使代理更加可靠。這里也需要付出代價(jià)。評(píng)估不確定性需要我們?yōu)橥徽?qǐng)求生成多個(gè)輸出，以便我們可以根據(jù)確定性對(duì)它們進(jìn)行排序，并選擇不確定性最小的行為。這可能會(huì)使系統(tǒng)變慢并增加成本，因此應(yīng)該考慮系統(tǒng)中更關(guān)鍵的代理。

05 解除按鈕

有時(shí)我們需要停止所有基于代理的自主流程。這可能是因?yàn)槲覀冃枰恢滦裕蛘呶覀儥z測(cè)到系統(tǒng)中的行為需要停止，以便我們找出問(wèn)題所在并修復(fù)它。對(duì)于更關(guān)鍵的工作流程和流程，重要的是這種脫離不會(huì)導(dǎo)致所有流程停止或完全變成手動(dòng)，因此建議配置確定性的后備操作模式。

06 代理生成的工作訂單

并非代理網(wǎng)絡(luò)中的所有代理都需要完全集成到應(yīng)用程序和API中。這可能需要一段時(shí)間，并且需要幾次迭代才能正確完成。

我的建議是向代理（通常是網(wǎng)絡(luò)中的葉節(jié)點(diǎn)）添加一個(gè)通用占位符工具，該工具只會(huì)發(fā)布報(bào)告或工作訂單，其中包含代表代理手動(dòng)采取的建議操作。這是一種以敏捷方式引導(dǎo)和運(yùn)營(yíng)代理網(wǎng)絡(luò)的好方法。

07 測(cè)試

借助基于LLM的代理，我們以犧牲一致性為代價(jià)獲得了穩(wěn)健性。此外，鑒于 LLM的不透明性，我們正在處理工作流中的黑盒節(jié)點(diǎn)。這意味著我們需要一種不同于傳統(tǒng)軟件的基于代理系統(tǒng)的測(cè)試機(jī)制。然而，好消息是，我們已經(jīng)習(xí)慣了測(cè)試這樣的系統(tǒng)，因?yàn)樽怨I(yè)化開(kāi)始以來(lái)，我們就一直在運(yùn)營(yíng)以人為本的組織和工作流程。

雖然我上面展示的例子只有一個(gè)入口點(diǎn)，但多代理系統(tǒng)中的所有代理都有一個(gè)LLM作為大腦，因此它們可以充當(dāng)系統(tǒng)的入口點(diǎn)。我們應(yīng)該使用分而治之的方法，首先從層次結(jié)構(gòu)中的各個(gè)節(jié)點(diǎn)開(kāi)始測(cè)試系統(tǒng)的子集。

我們還可以利用生成式人工智能來(lái)提出針對(duì)網(wǎng)絡(luò)的測(cè)試用例，以分析其行為并推動(dòng)它揭示其弱點(diǎn)。

最后，我非常提倡沙盒。此類(lèi)系統(tǒng)應(yīng)首先在受控且安全的環(huán)境中小規(guī)模推出，然后逐步推廣以取代現(xiàn)有的工作流程。

08 微調(diào)

關(guān)于通用人工智能的一個(gè)常見(jiàn)誤解是，你用得越多，它就越好。這顯然是錯(cuò)誤的。LLM是經(jīng)過(guò)預(yù)先訓(xùn)練的。話(huà)雖如此，它們可以通過(guò)各種方式進(jìn)行微調(diào)以偏向其行為。一旦設(shè)計(jì)出多智能體系統(tǒng)，我們就可以選擇通過(guò)從每個(gè)智能體獲取日志并標(biāo)記我們的偏好來(lái)構(gòu)建微調(diào)語(yǔ)料庫(kù)，從而改善其行為。

09 陷阱

多代理系統(tǒng)可能會(huì)陷入混亂，這意味著有時(shí)查詢(xún)可能永遠(yuǎn)不會(huì)終止，代理之間會(huì)不斷進(jìn)行通信。這需要某種形式的超時(shí)機(jī)制。例如，我們可以檢查同一查詢(xún)的通信歷史記錄，如果查詢(xún)量增長(zhǎng)過(guò)大或檢測(cè)到重復(fù)行為，我們可以終止流程并重新開(kāi)始。

另一個(gè)可能出現(xiàn)的問(wèn)題是一種我稱(chēng)之為超負(fù)荷的現(xiàn)象：對(duì)單個(gè)代理期望過(guò)高。目前最先進(jìn)的法學(xué)碩士課程不允許我們向代理提供冗長(zhǎng)而詳細(xì)的說(shuō)明，并期望他們始終遵循這些說(shuō)明。另外，我是否提到過(guò)這些系統(tǒng)可能不一致？

緩解這些情況的方法就是我所說(shuō)的粒度化：將代理分解為多個(gè)相連的代理。這可以減少每個(gè)代理的負(fù)載，并使代理的行為更加一致，不太可能陷入混亂。（我們實(shí)驗(yàn)室正在進(jìn)行的一個(gè)有趣的研究領(lǐng)域是自動(dòng)化粒度化過(guò)程。）

多代理系統(tǒng)設(shè)計(jì)方式的另一個(gè)常見(jiàn)問(wèn)題是傾向于定義一個(gè)協(xié)調(diào)代理，該代理會(huì)調(diào)用不同的代理來(lái)完成一項(xiàng)任務(wù)。這引入了單點(diǎn)故障，可能導(dǎo)致一組相當(dāng)復(fù)雜的角色和職責(zé)。在這些情況下，我的建議是將工作流視為一個(gè)管道，一個(gè)代理完成部分工作，然后將其交給下一個(gè)代理。

多代理系統(tǒng)還傾向于將上下文傳遞到其他代理。這可能會(huì)使其他代理過(guò)載，使它們感到困惑，而且往往是不必要的。我建議允許代理保留自己的上下文，并在我們知道正在處理新請(qǐng)求時(shí)重置上下文（有點(diǎn)像網(wǎng)站的會(huì)話(huà)工作方式）。

最后，需要注意的是，作為代理大腦的LLM的能力門(mén)檻相對(duì)較高。規(guī)模較小的LLM可能需要大量及時(shí)的工程或微調(diào)才能滿(mǎn)足要求。好消息是，已經(jīng)有幾個(gè)商業(yè)和開(kāi)源代理通過(guò)了這一門(mén)檻，盡管規(guī)模相對(duì)較大。

這意味著在構(gòu)建大規(guī)模多智能體系統(tǒng)時(shí)，成本和速度需要成為重要考慮因素。此外，還應(yīng)設(shè)定預(yù)期，這些系統(tǒng)雖然比人類(lèi)快，但不會(huì)像我們習(xí)慣的軟件系統(tǒng)那樣快。（Venture Beat）