大模型出現(xiàn)之后，許多企業(yè)看到了提效的新方向。那么，企業(yè)內(nèi)部可以如何快速應用大模型、Agent等技術來實現(xiàn)提效？這篇文章里，作者結合自己的思考做出了一定梳理，一起來看。

企業(yè)內(nèi)部使用大模型，底線是在安全允許的范圍內(nèi)，……

模型本身是不直接產(chǎn)生價值的，基于基礎大模型開發(fā)出來的應用才是模型存在的意義。本文作者從8個方面簡析企業(yè)內(nèi)部如何快速應用大模型、Agent等技術來提效，希望對你有所幫助。

一、如何用好大模型，讓它發(fā)揮最大價值？

兩條路子，finetune、prompt。代理傳統(tǒng)Bert類模型的微調(diào)訓練的方式，使用更為高效的Prompt來指導LLM（即Prompt Engineer 又稱為 In-Context Prompt），使其產(chǎn)生出期望的結果，無需改變模型的權重。

二、大模型應用領域

當前看大模型冷啟動成本較低，泛化能力強，而小模型的可解釋性和準確性勝出（行業(yè)發(fā)展非常之快，這一點在某些領域可以已經(jīng)反轉(zhuǎn)，受限于筆者的學識，難免局限，還望批評指正）。

各應用場景對可解釋性，準確性要求較高，現(xiàn)階段大、小模型結合落地的主流方式有兩種。

第一種為將大模型與小模型進行級聯(lián)。例如使用大模型從復雜數(shù)據(jù)源中抓取客戶歷史交易記錄，溝通信息等，對數(shù)據(jù)進行自動打標，并輸出結構化數(shù)據(jù)，用以豐富小模型數(shù)據(jù)集，提高小模型預測效果。

第二種為使用大模型作為小模型解決問題的中樞大腦。例如，利用大模型將復雜問題拆解為解決步驟，并在各步驟調(diào)用小模型能力，最后通過大模型進行總結性輸出。

應用場景：匯集智慧、喚醒沉睡知識、眾創(chuàng)數(shù)據(jù)價值、數(shù)字分身等。

三、在什么條件下，大模型才能更好地發(fā)揮價值？

大模型應用走得較快的企業(yè)，有三個共同點：

其一，是技術上的積累達標（可以讓大模型run起來）。

其二，數(shù)字化建設方面做得比較扎實。在數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)服務、數(shù)據(jù)安全管控、數(shù)智融合架構等方面，有較為扎實的基礎。

大模型訓練80%的時間都花在數(shù)據(jù)準備上。如果能打通數(shù)據(jù)和AI孤島，讓大模型直接在數(shù)據(jù)/信息（結構化、非結構化or半結構化）所在的集群上運行，無需搬運，就可以節(jié)省大量的時間和資源。其次，是業(yè)務流程清晰、明確。已經(jīng)梳理、甚至是優(yōu)化成標準的業(yè)務流程、規(guī)范。如果再有可衡量的指標作為check標尺，就更為加分。

其三，也是最關鍵的，需要有一群先驅(qū)，能起到帶領、試驗、示范的作用，快速試錯、探路子，進而帶動企業(yè)內(nèi)部更多的人參與進來。實現(xiàn)從點、到線、到面、到空間的立體式多渠道的突破。

當一個新事物出現(xiàn)時，往往有下圖的5類人出現(xiàn)。他們會依次接受新技術的變更。當灰色的謹慎派、遲鈍派群體過大時，想推進下去是非常難得。特別是當反對派的聲音占據(jù)優(yōu)勢時，甚至會抹殺掉先驅(qū)創(chuàng)造的一點點領先優(yōu)勢～。面對大模型，我們自問，我是誰？

四、大模型固有的問題/短板有哪些？

1. 信息高效過濾。
2. 抑制幻覺問題，準確性問題，絕對不能出錯。
3. 專業(yè)任務適配。
4. 交互定制。
5. 推理答案需要一定時間，而語音通話場景對延時要求較小，大模型無法滿足。
6. 工業(yè)、金融領域大模型還面臨著關鍵性任務和動態(tài)適應性、個性化要求和隱私保護、群體智能與安全可信和基礎設施的能力四大難題待解決。

相信隨著大模型領域的高速發(fā)展，如上這些問題正在日新月異的被突破，每天的晨報都能給我們帶來令人欣喜的消息。

五、在哪些場景下，更適合讓大模型發(fā)揮作用？

六、企業(yè)應用大模型的五個階段

企業(yè)用戶對大模型的應用，可以分為5個層級：

1. 簡單對話；
2. PROMT做角色定向問答；
3. 基于公司內(nèi)的知識做專業(yè)問答；
4. 拓展GPT，使用插件，讓大模型反饋更精準的信息、做推理，做簡單的Agent；
5. Agent簇，讓Agent組成一支隊伍，完全代替人執(zhí)行。

七、使用大模型的工作流程

1. 業(yè)務痛點梳理。

2. 明確模型、知識等基礎組件。

3. 安全評估。

4. 搭建Agent，以查詢（Query）模式為例：

• Step1.自然語言提問（ChatBot）
• Step 2.Al智能實時查詢（Text to Query）
• Step3.數(shù)據(jù)處理（Data Format）
• Step 4.數(shù)據(jù)組合（Template Render）生成報告（Data to Report Agent）
• Step 5.生成回答（ChatBot）
• Step 6.追問（LangChain ->Function Chaining）

5. 灰度上線運營。

6. 上線后效果評估（AB），持續(xù)優(yōu)化。

八、企業(yè)內(nèi)部要建設LLM應用平臺嗎？

如何讓企業(yè)內(nèi)部快速的把大模型用起來呢？有三條路子可以走：

1. 針對有一定資源（技術儲備、人才儲備、現(xiàn)金儲備等），可以企業(yè)內(nèi)部快速搭建GPT應用平臺。賦能業(yè)務和運營，全員擁抱大模型時代，尋找應用突破口，類似紅衣教主、類似百度內(nèi)部的做法。
2. 或者購買第三方的服務，比如百度、字節(jié)、阿里、科大訊飛、商湯等產(chǎn)品。
3. 再小范圍的，買微軟的Copilot賬號（包月），最小范圍的讓研發(fā)同學用起來，讓聽得到炮火的人，先跑起來。

關鍵詞：Agent、Chat GPT、生成式AI、AIGC、LLM、AGI、SQL、大模型應用。