Agent開發(fā)平臺數(shù)據(jù)運營體系:企業(yè)如何衡量大模型投入產(chǎn)出比ROI?

shucay
0 評論 1077 瀏覽 4 收藏 6 分鐘

大模型到底為公司帶來了多大的好處?為應(yīng)用大模型,采購了第三方的AgentBuilder平臺,或者自研搭建了大模型應(yīng)用平臺,效果咋樣?企業(yè)內(nèi)部的員工會用了嗎?還是依賴外部的第三方提供解決方案呢?用大模型時,需要考慮信息安全相關(guān)的事兒,權(quán)限粒度能滿足要求嗎?違規(guī)碰觸攔得住嗎?……一連串的問題,讓數(shù)據(jù)來回答……

1.大模型落地stakeholders&成本

企業(yè)都想在這波技術(shù)生產(chǎn)力變革中,不被落下,無論是自動駕駛、具身智能、機器人還是內(nèi)部的IT系統(tǒng),迎來了“換腦子”的機會。都想干,怎么入手呢?一般大模型落地需要五個角色的人彼此協(xié)作。如果是外采第三方MaaS平臺,那么3、4、5就由第三方公司出人。

2.Agent開發(fā)平臺產(chǎn)品功能MAP

要評估自建、還是外采,那么先來看下,Agent開發(fā)平臺,應(yīng)該有哪些必備的“能力”。搭建這樣一個平臺,貴公司需要多久?投入多少成本/資源?

3.Agent平臺數(shù)據(jù)運營

3.1 ROI

ROI=W/(XorY+Z+M+N+O)

3.2 平臺運營:有數(shù)據(jù)可用

節(jié)約成本:每個月做數(shù)據(jù)清洗、數(shù)據(jù)查詢、口徑對齊、取數(shù)等工作,2*15=30人天/月

3.3 平臺運營:需要的數(shù)據(jù)

有了這些數(shù)據(jù),可以回答下面一系列問題:

  1. 高層可以了解,各層級部門應(yīng)用大模型的進展C
  2. 高層可以了解,當(dāng)前員工用大模型的情況F

還可以了解:

  1. 昨天,員工跟大模型交流對話了多少輪?消耗多少token(需要花多少錢)?大模型回復(fù)了多少token(代替人回答問題)?大模型累計服務(wù)時長是多少?X/8小時,相當(dāng)于一天里,有多少名虛擬數(shù)字員工在代替人干活~~
  2. 上周,營銷Agent,一共生產(chǎn)多少篇營銷圖文/視頻等,投放到各個渠道的效果怎么樣,熱度、用戶回復(fù)、傳播效果與大上周、或者與人工產(chǎn)出文案同環(huán)比,為小程序、APP拉新、促活引流效果如何……
  3. 7月,銷售助手Agent,累計應(yīng)答多少次銷售問詢,以更好的給用戶做售前解答。售后服務(wù)Agent,累計應(yīng)答多少次售后服務(wù)同學(xué),以更快捷的協(xié)助用戶解決問題……
  4. 7月,零件Agent,累計應(yīng)答多少次零件在庫問詢/同類零件可替代問詢,發(fā)出多少個零件的庫存紅線采購預(yù)警,以確保供應(yīng)鏈最優(yōu),成本最優(yōu)……
  5. Q2,輿情監(jiān)控Agent,一共搜集到多少個外部渠道的用戶呼聲,其中有多少是正面輿情,多少是負(fù)面輿情。有多少做了即時回復(fù),有多少通過人工處理~~

所有的環(huán)節(jié),數(shù)字化+智能化的協(xié)作是大模型讓企業(yè)動起來的表征……

4.舉例:大模型安全識別、攔截、放行數(shù)據(jù)分析漏斗圖

計算公式:

1.輸入攔截率=輸入攔截次數(shù)/用戶輸入總量=5+(4+X2)/1

2.輸出攔截率=輸出攔截次數(shù)/大模型輸出總量=11+(X2+10)/1

3.漏攔截率=漏攔截次數(shù)/(攔截次數(shù)-誤攔截次數(shù)+漏攔截次數(shù))=4+X2+10/(5+11-6-X1-12+4+X2+10)

4.誤攔截率=誤攔截次數(shù)/攔截次數(shù)=(6+X1+12)/5+11

受作者領(lǐng)域認(rèn)知深度所限及技術(shù)無時無刻不在更新迭代,業(yè)界對LLM、AGI、Agent、GPT……的衍生應(yīng)用必定是珠零錦粲。無法在一篇中盡現(xiàn)全貌,未來可能會徹底推翻當(dāng)下的種種嘗試而不得知。能為大家?guī)ヒ稽c點新的啟發(fā),以深感欣慰。文中難免有紕漏或不準(zhǔn)確的地方,歡迎大家批評指正。撰寫中參考網(wǎng)絡(luò)上各位同仁的最新觀點,拿來主義未打招呼,還望見諒。若有任何建議或意見,歡迎聯(lián)系作者探討。

作者:shucay、佳琪、小正

本文由@shucay 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!
专题
16507人已学习12篇文章
本专题的文章分享了支付体系的设计指南。
专题
17895人已学习13篇文章
用户等级体系是产品的底层基础之一,也是用户成长激励体系之一。本专题的文章分享了如何搭建用户等级体系。
专题
16820人已学习12篇文章
如何搞懂财务和业务之间的关系,并推进业务系统财务模块的建设呢?本专题的文章分享了财务系统的设计指南。
专题
12902人已学习11篇文章
内容管理系统是一种位于WEB 前端(Web 服务器)和后端办公系统或流程(内容创作、编辑)之间的软件系统。本专题的文章分享了内容管理系统(CMS)的设计指南。
专题
15992人已学习12篇文章
数据中台是处于业务前台和技术后台的中间层。本专题的文章分享了如何搭建数据中台。
专题
45230人已学习12篇文章
产品经理和运营都要懂一点的推荐算法基础和进阶知识