Agent開發(fā)平臺數(shù)據(jù)運營體系:企業(yè)如何衡量大模型投入產(chǎn)出比ROI?
大模型到底為公司帶來了多大的好處?為應(yīng)用大模型,采購了第三方的AgentBuilder平臺,或者自研搭建了大模型應(yīng)用平臺,效果咋樣?企業(yè)內(nèi)部的員工會用了嗎?還是依賴外部的第三方提供解決方案呢?用大模型時,需要考慮信息安全相關(guān)的事兒,權(quán)限粒度能滿足要求嗎?違規(guī)碰觸攔得住嗎?……一連串的問題,讓數(shù)據(jù)來回答……
1.大模型落地stakeholders&成本
企業(yè)都想在這波技術(shù)生產(chǎn)力變革中,不被落下,無論是自動駕駛、具身智能、機器人還是內(nèi)部的IT系統(tǒng),迎來了“換腦子”的機會。都想干,怎么入手呢?一般大模型落地需要五個角色的人彼此協(xié)作。如果是外采第三方MaaS平臺,那么3、4、5就由第三方公司出人。
2.Agent開發(fā)平臺產(chǎn)品功能MAP
要評估自建、還是外采,那么先來看下,Agent開發(fā)平臺,應(yīng)該有哪些必備的“能力”。搭建這樣一個平臺,貴公司需要多久?投入多少成本/資源?
3.Agent平臺數(shù)據(jù)運營
3.1 ROI
ROI=W/(XorY+Z+M+N+O)
3.2 平臺運營:有數(shù)據(jù)可用
節(jié)約成本:每個月做數(shù)據(jù)清洗、數(shù)據(jù)查詢、口徑對齊、取數(shù)等工作,2*15=30人天/月
3.3 平臺運營:需要的數(shù)據(jù)
有了這些數(shù)據(jù),可以回答下面一系列問題:
- 高層可以了解,各層級部門應(yīng)用大模型的進展C
- 高層可以了解,當(dāng)前員工用大模型的情況F
還可以了解:
- 昨天,員工跟大模型交流對話了多少輪?消耗多少token(需要花多少錢)?大模型回復(fù)了多少token(代替人回答問題)?大模型累計服務(wù)時長是多少?X/8小時,相當(dāng)于一天里,有多少名虛擬數(shù)字員工在代替人干活~~
- 上周,營銷Agent,一共生產(chǎn)多少篇營銷圖文/視頻等,投放到各個渠道的效果怎么樣,熱度、用戶回復(fù)、傳播效果與大上周、或者與人工產(chǎn)出文案同環(huán)比,為小程序、APP拉新、促活引流效果如何……
- 7月,銷售助手Agent,累計應(yīng)答多少次銷售問詢,以更好的給用戶做售前解答。售后服務(wù)Agent,累計應(yīng)答多少次售后服務(wù)同學(xué),以更快捷的協(xié)助用戶解決問題……
- 7月,零件Agent,累計應(yīng)答多少次零件在庫問詢/同類零件可替代問詢,發(fā)出多少個零件的庫存紅線采購預(yù)警,以確保供應(yīng)鏈最優(yōu),成本最優(yōu)……
- Q2,輿情監(jiān)控Agent,一共搜集到多少個外部渠道的用戶呼聲,其中有多少是正面輿情,多少是負(fù)面輿情。有多少做了即時回復(fù),有多少通過人工處理~~
所有的環(huán)節(jié),數(shù)字化+智能化的協(xié)作是大模型讓企業(yè)動起來的表征……
4.舉例:大模型安全識別、攔截、放行數(shù)據(jù)分析漏斗圖
計算公式:
1.輸入攔截率=輸入攔截次數(shù)/用戶輸入總量=5+(4+X2)/1
2.輸出攔截率=輸出攔截次數(shù)/大模型輸出總量=11+(X2+10)/1
3.漏攔截率=漏攔截次數(shù)/(攔截次數(shù)-誤攔截次數(shù)+漏攔截次數(shù))=4+X2+10/(5+11-6-X1-12+4+X2+10)
4.誤攔截率=誤攔截次數(shù)/攔截次數(shù)=(6+X1+12)/5+11
受作者領(lǐng)域認(rèn)知深度所限及技術(shù)無時無刻不在更新迭代,業(yè)界對LLM、AGI、Agent、GPT……的衍生應(yīng)用必定是珠零錦粲。無法在一篇中盡現(xiàn)全貌,未來可能會徹底推翻當(dāng)下的種種嘗試而不得知。能為大家?guī)ヒ稽c點新的啟發(fā),以深感欣慰。文中難免有紕漏或不準(zhǔn)確的地方,歡迎大家批評指正。撰寫中參考網(wǎng)絡(luò)上各位同仁的最新觀點,拿來主義未打招呼,還望見諒。若有任何建議或意見,歡迎聯(lián)系作者探討。
作者:shucay、佳琪、小正
本文由@shucay 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!