KnowHow與RAG:你的工作數(shù)據(jù)正在訓(xùn)練替代你的AI

葉小釵
0 評(píng)論 829 瀏覽 6 收藏 19 分鐘
🔗 产品经理的不可取代的价值是能够准确发现和满足用户需求,把需求转化为产品,并协调资源推动产品落地,创造商业价值。

在人工智能飛速發(fā)展的當(dāng)下,AI正在深刻改變我們的工作方式,甚至有可能替代部分人類的工作。然而,AI的訓(xùn)練和發(fā)展并非孤立存在,它背后依賴的是大量的行業(yè)知識(shí)(KnowHow)和數(shù)據(jù)。本文將深入探討如何通過RAG(Retrieval-Augmented Generation,檢索增強(qiáng)生成)技術(shù),將行業(yè)經(jīng)驗(yàn)與AI相結(jié)合,實(shí)現(xiàn)知識(shí)的可信化和結(jié)構(gòu)化沉淀。

對(duì)AI項(xiàng)目有理解的同學(xué)會(huì)有深刻認(rèn)知,當(dāng)前AI應(yīng)用的核心其實(shí)全部在圍繞幻覺與模型增強(qiáng)兩點(diǎn)做展開。

而這在積累層面的核心是行業(yè)KnowHow,其最終體現(xiàn)為公司的結(jié)構(gòu)化數(shù)據(jù);在技術(shù)方面以RAG與模型訓(xùn)練為主。

并且公司會(huì)“樂此不?!钡淖鲞@方面的調(diào)優(yōu),因?yàn)閺哪P蛯用鎭碚f,這些工程應(yīng)用的細(xì)節(jié),基座模型很難兼顧處理。

而數(shù)據(jù)一塊非一朝一夕之事,所以很多公司的關(guān)注點(diǎn)全部放在了RAG技術(shù)的平臺(tái)化或者做延伸,阿里的KAG框架就是這類產(chǎn)物。

后續(xù)我們會(huì)持續(xù)討論類似這種RAG框架,包括DeepSearch、LazyGraphRAG等。而今天我們先來說說think的問題。

一、think變成習(xí)慣

由于實(shí)際效果或者行業(yè)教育,人們已經(jīng)習(xí)慣看到界面中出現(xiàn)長(zhǎng)篇大論的“思考內(nèi)容了”,甚至他們會(huì)主動(dòng)去學(xué)習(xí)這個(gè)內(nèi)容,覺得是一種進(jìn)步或享受。

之前AI聚會(huì)明叔就一再強(qiáng)調(diào)think是非常好的創(chuàng)新,但宜博會(huì)站在技術(shù)實(shí)現(xiàn)角度認(rèn)為他是一種工程優(yōu)化或者工程創(chuàng)新,真實(shí)情況也如宜博所述,DeepSeek與4o的例子:

請(qǐng)按以下格式回答問題:

##思考過程##

1. 分析需求:首先我會(huì)理解用戶的核心訴求是…(拆解隱藏需求)

2. 知識(shí)檢索:關(guān)于這個(gè)問題,我需要調(diào)用的知識(shí)包括…(列出相關(guān)領(lǐng)域)

3. 邏輯推演:可能的解決路徑有: – 方案A(優(yōu)勢(shì)/劣勢(shì)) – 方案B(適用條件分析)

4. 風(fēng)險(xiǎn)評(píng)估:特別注意…可能存在…認(rèn)知偏差

5. 自我驗(yàn)證:通過…方法可以驗(yàn)證結(jié)論的可靠性

##最終答案##

(經(jīng)過上述思考后的最佳方案)

問題:管理的本質(zhì)是什么

從大模型特性來說,通過提示詞的方式雖然能達(dá)成目的,但沒有大量高質(zhì)量數(shù)據(jù)微調(diào)后達(dá)成的效果(主要體現(xiàn)在泛化與學(xué)習(xí)這個(gè)維度)。

二、RAG的切入

當(dāng)然以上僅僅是非常淺顯的描述,實(shí)際在使用過程中,差距很大,比如我這里給出一段法律用于強(qiáng)化學(xué)習(xí)的片段:

為什么會(huì)著重介紹這些內(nèi)容呢,因?yàn)闊o論是對(duì)大模型直接的使用還是微調(diào)都是無法溯源的,而無法溯源的東西,都會(huì)被懷疑成不可信,于是RAG的含金量還在上升,特別在think里面具備溯源的信息,表明對(duì)哪些信息的引用。

比如以下文字就特別讓人安心:

根據(jù)《勞動(dòng)合同法》第三十條規(guī)定,“用人單位未按照約定支付勞動(dòng)報(bào)酬,勞動(dòng)者可以解除勞動(dòng)合同。” 同時(shí),根據(jù)最高人民法院的相關(guān)判例[2020]XX法判字第999號(hào)案件,法院認(rèn)定雇員在工資未按時(shí)支付的情況下有權(quán)解除合同,并獲得補(bǔ)償。 因此,依據(jù)這些法律條文和相關(guān)司法解釋,雇員可以依法解除勞動(dòng)合同,并要求支付相應(yīng)的補(bǔ)償。

在推理大模型的框架下,R1越發(fā)期待用戶提示詞的手法能像描述需求一樣,不僅舉報(bào)指令,還有完整的上下文,不僅提供問題還要提供問題的背景信息,這個(gè)拆解過程與5W2H很是類似,如果再加上權(quán)威引用,那就更妙了!

三、RAG本質(zhì):可信化解構(gòu)

邏輯上以下四個(gè)問題,模型都無法解決,越是大的模型越難解決:

  1. 領(lǐng)域內(nèi)部知識(shí)庫,比如公司、醫(yī)院內(nèi)部知識(shí)庫如何AI化;
  2. 信息過時(shí),雖然模型信息更新迅速,但其信息依舊有一些滯后性,這對(duì)于被抖音教育的各位,顯然是不夠的。雖然有網(wǎng)頁搜索功能但其成本和質(zhì)量還需要做技術(shù)突破;
  3. 幻覺,這應(yīng)該是模型最難的問題,特別是參數(shù)量大的問題,在不同領(lǐng)域之間源數(shù)據(jù)就可能產(chǎn)生邏輯層面的沖突,暫時(shí)看來能避免、難以根治,比如領(lǐng)域知識(shí)的模糊泛化(法律條文誤讀風(fēng)險(xiǎn)達(dá)37%)、決策過程的不可追溯(醫(yī)療診斷錯(cuò)誤無法溯源);
  4. 安全,因?yàn)槟P秃A繑?shù)據(jù)來源于網(wǎng)絡(luò),那一定會(huì)有傾向性,比如R1模型在男性傾向性上就很大,如果做心理類咨詢,多半是不能直接使用的;

RAG通過動(dòng)態(tài)知識(shí)注入+向量檢索+溯源標(biāo)記構(gòu)建三重防線以解決上述問題,其目的只有一個(gè):用用戶相信我的回答,并且讓自己相信產(chǎn)品的回答!以法律場(chǎng)景為例:

A[用戶提問] –> B(法條向量庫)
B –> C{相似度閾值>0.82}
C –>|是| D[返回民法典第1073條]
C –>|否| E[觸發(fā)人工審核]
D –> F[生成帶條款編號(hào)的解析]

而RAG技術(shù)在每個(gè)公司都有一個(gè)持續(xù)增進(jìn)的過程,大概是這樣的:

以下是傳統(tǒng)提示詞工程 與 結(jié)構(gòu)化Think框架的一些對(duì)比:

# 傳統(tǒng)方式
prompt = f”請(qǐng)?jiān)敿?xì)解釋管理的本質(zhì),需要包含經(jīng)典理論案例”

# Think框架
think_template = {
“分析需求”: “識(shí)別用戶的知識(shí)層級(jí)(學(xué)生/管理者)”,
“知識(shí)圖譜”: [
“德魯克MBO理論”,
“明茨伯格管理角色”,
“華為鐵三角案例”
],
“推理約束”: “避免混淆領(lǐng)導(dǎo)與管理的區(qū)別”,
“溯源要求”: “標(biāo)注理論出處與案例來源年份”
}

其實(shí)所謂可信度也就是一個(gè)感覺罷了,不過是一個(gè)評(píng)價(jià)指標(biāo),我隨便都可以胡謅幾個(gè)玄的:

  • 時(shí)空錨點(diǎn):法律條文需標(biāo)注”2023年修訂版《民事訴訟法》第58條”;
  • 置信度標(biāo)注:醫(yī)療建議注明”基于2024年NEJM論文,置信度89.7%”;
  • 反事實(shí)校驗(yàn):”如果采用泰勒科學(xué)管理理論,可能產(chǎn)生哪些現(xiàn)代管理沖突?”;

這里的核心依舊是行業(yè)KnowHow的數(shù)字化沉淀。

四、數(shù)字化沉淀

其實(shí)所有的RAG本質(zhì)都是結(jié)構(gòu)化的數(shù)據(jù)庫,只不過這個(gè)庫能到什么程度端看行業(yè)認(rèn)知以及持續(xù)建設(shè)情況,一般來說有四個(gè)評(píng)價(jià)維度:

1. 基礎(chǔ)圖譜

比如醫(yī)療領(lǐng)域基于ICD所做的疾病關(guān)系,很多CDSS的底層就是圖譜;

金融領(lǐng)域也有FIN-NLP金融術(shù)語體系;

2. 流程規(guī)則

與其說流程規(guī)則不如說SOP,比如:化療方案決策樹、信貸審批流程圖等。

邏輯上,只要能SOP就能數(shù)字化,能夠數(shù)字化就一定能夠AI化。

3. 數(shù)據(jù)更新

基礎(chǔ)圖譜只是第一步,更重要的是持續(xù)的更新,比如如何用專家會(huì)診記錄、操盤手交易日志分析等數(shù)據(jù)去持續(xù)自動(dòng)化更新基礎(chǔ)庫,這是關(guān)鍵。

4. 異常處理

一定會(huì)有跳出圖譜框架、SOP框架的行為,我們這里稱之為AI意圖溢出Case,這種Case要有專業(yè)的預(yù)案,要么放給大模型處理,嚴(yán)謹(jǐn)點(diǎn)就不處理。

其本質(zhì)是黑天鵝事件,這種Case是系統(tǒng)升級(jí)的關(guān)鍵。

為了幫助各位理解,這里做更深入點(diǎn)的介紹:

5. 基礎(chǔ)庫案例

比如常見CDSS案例:ICD-11疾病分類本體

# ICD-11本體片段示例
class 疾病實(shí)體: def __init__(self):
self.名稱 = “冠狀動(dòng)脈粥樣硬化性心臟病”
self.編碼 = “BA41.0”
self.父節(jié)點(diǎn) = [
“心血管疾病”,
“慢性病”
]
self.關(guān)聯(lián)癥狀 = [
“胸痛”,
“呼吸困難”
]
self.診斷標(biāo)準(zhǔn) = {
“必要條件”: [
“心電圖ST段改變”,
“心肌酶升高”
],
“排除條件”: [
“應(yīng)激性心肌病”
]
}

這種是最理想的RAG數(shù)據(jù)源,比如:當(dāng)AI處理”患者主訴胸痛”時(shí),能自動(dòng)關(guān)聯(lián)到冠心病診斷路徑,而非停留在字面理解。

再列舉個(gè)金融案例,F(xiàn)IN-NLP金融術(shù)語體系,會(huì)有很多黑話:

  • 銀行語境:收益互換 = 利率風(fēng)險(xiǎn)管理工具;
  • 投行語境:收益互換 = 結(jié)構(gòu)化衍生品;
  • 監(jiān)管文件:收益互換 = 需備案的場(chǎng)外交易;

其底層依舊是數(shù)據(jù)庫的結(jié)構(gòu)化和后續(xù)的檢索。

6. 流程規(guī)則

醫(yī)療案例:化療方案決策樹

傳統(tǒng)依賴大模型跟醫(yī)生靠自覺沒什么兩樣,但如果遵循一套SOP,其下限就能得到充分保障:

graph TD A[患者特征] –> B{癌癥類型}
B –>|乳腺癌| C[檢測(cè)HER2表達(dá)]
C –>|陽性| D[曲妥珠單抗方案]
C –>|陰性| E[評(píng)估化療敏感性]
E –>|敏感| F[AC-T方案]
E –>|耐藥| G[基因檢測(cè)驅(qū)動(dòng)]

這里的SOP還能多樣化,可以是協(xié)和醫(yī)院頂級(jí)專家的決策模式、也可以是華西的決策邏輯,其本質(zhì)都是可復(fù)用的算法。

信貸審批流程圖也是同樣,其規(guī)則是很簡(jiǎn)單的:

  1. 1.0時(shí)代:收入證明 > 2萬 → 通過;
  2. 2.0時(shí)代:多頭借貸數(shù)據(jù) + 手機(jī)行為分析 → 風(fēng)險(xiǎn)評(píng)分;
  3. 3.0時(shí)代:供應(yīng)鏈數(shù)據(jù)交叉驗(yàn)證 + 工商信息動(dòng)態(tài)監(jiān)控;

我的一個(gè)咨詢客戶通過分析企業(yè)主抖音賬號(hào)經(jīng)營數(shù)據(jù)(非結(jié)構(gòu)化→結(jié)構(gòu)化),發(fā)現(xiàn)隱性經(jīng)營能力證據(jù)。

7. 飛輪系統(tǒng)的雛形

AI產(chǎn)品在使用過程中會(huì)產(chǎn)生各種數(shù)據(jù),而這些數(shù)據(jù)都應(yīng)該反哺系統(tǒng)本身。

比如傳統(tǒng)專家的會(huì)診意見以自由文本形式散落在病歷系統(tǒng)中,我們應(yīng)該將其結(jié)構(gòu)化:

{
“病例ID”: “C202405001”,
“爭(zhēng)議點(diǎn)”: “肺部結(jié)節(jié)性質(zhì)判定”,
“張?jiān)菏恳庖?#8221;: {
“觀察維度”: [
“CT值變化曲線”,
“血管穿透特征”
],
“推理邏輯”: “雖體積<1cm但分葉征明顯→建議PET-CT”,
“反共識(shí)說明”: “不同于指南但符合個(gè)人200例類似病例經(jīng)驗(yàn)”
},
“知識(shí)標(biāo)簽”: [
“影像學(xué)特征”,
“診斷決策邊界”
]
}

類似這種數(shù)據(jù)如果有個(gè)1000份,便會(huì)有巨大意義,李飛飛的1000個(gè)微調(diào)數(shù)據(jù)樣本,其實(shí)也是精挑細(xì)選出來的。

再比如快遞員配送日志分析:

# 數(shù)據(jù)庫原始字段
delivery_log = {
“運(yùn)單號(hào)”: “SF123456”,
“配送員”: “王師傅”,
“派件時(shí)間”: “2024-03-15 14:30”,
“包裹重量”: 3.2, # 公斤
“簽收狀態(tài)”: “已簽收”
}

備注文本 = “客戶電話要求放菜鳥驛站,因家中老人住院需陪護(hù)”

# NLP解析結(jié)果
deep_info = {
“需求類型”: “變更收貨地址”,
“原因分類”: “家庭突發(fā)事件”,
“客戶畫像標(biāo)簽”: [
“家有老人”,
“醫(yī)療相關(guān)”
]
}

def 挖掘暗模式(配送記錄):
# 關(guān)聯(lián)外部數(shù)據(jù)源
天氣數(shù)據(jù) = 查詢氣象局API(配送記錄[“時(shí)間”])
交通數(shù)據(jù) = 獲取交警事故通報(bào)(配送區(qū)域)
社區(qū)公告 = 爬取街道辦公眾號(hào)(日期)

# 構(gòu)建關(guān)聯(lián)模型
if 天氣數(shù)據(jù)[“降雨量”] > 50mm:
return “極端天氣影響系數(shù)”
elif “道路施工” in 社區(qū)公告:
return “基礎(chǔ)設(shè)施變更預(yù)警”
elif 配送延遲 and 交通數(shù)據(jù)[“事故數(shù)”]激增:
return “突發(fā)交通事件響應(yīng)”

# 輸出示例 暗知識(shí)標(biāo)簽 = “03-15暴雨紅色預(yù)警期間,繞行導(dǎo)致平均配送時(shí)長(zhǎng)增加22分鐘”

最終業(yè)務(wù)場(chǎng)景應(yīng)用:

A[新訂單] –> B{解析地址}
B –> C[歷史配送記錄]
C –> D[天氣預(yù)警數(shù)據(jù)]
D –> E{生成策略}
E –>|晴天| F[常規(guī)路線]
E –>|暴雨| G[自動(dòng)切換防澇路線]
E –>|社區(qū)施工| H[推送物業(yè)聯(lián)絡(luò)人電話]

這個(gè)案例通過層級(jí)化數(shù)據(jù)分析,結(jié)合天氣、交通等外部因素,優(yōu)化配送路徑、提升客戶體驗(yàn)和資源調(diào)度,能有效降低延誤風(fēng)險(xiǎn)和提高服務(wù)效率。

總之,可以看出,所有的這些都是業(yè)務(wù)的規(guī)則理解后的實(shí)踐,都是工程層面的優(yōu)化,其本質(zhì)是行業(yè)KnowHow。

最后是超出AI試圖識(shí)別的其他處理,大家自己思考吧…

五、結(jié)語

AI項(xiàng)目,本質(zhì)是一場(chǎng)對(duì)抗幻覺/輸出增強(qiáng)的持久戰(zhàn)。當(dāng)前這場(chǎng)戰(zhàn)役的主戰(zhàn)場(chǎng),正從“大模型軍備競(jìng)賽”轉(zhuǎn)向“行業(yè)KnowHow的數(shù)字化深潛”。

誰能將行業(yè)經(jīng)驗(yàn)編碼為可檢索的知識(shí)圖譜,比如將法律條文的微妙解釋轉(zhuǎn)化為可溯源的推理鏈條,誰就能在AI落地的“百團(tuán)大戰(zhàn)”中搶占先機(jī)。

RAG的技術(shù)其實(shí)很簡(jiǎn)單,其意義在于打開AI黑盒,讓知識(shí)可以溯源。

比如當(dāng)《勞動(dòng)合同法》第三十條與字節(jié)跳動(dòng)的OKR系統(tǒng)在同一向量空間出現(xiàn),當(dāng)?shù)卖斂说墓芾碇腔弁ㄟ^Think框架的推演不停的以分身的形式出現(xiàn),其意義可不僅是技術(shù)迭代,他帶來的可能是認(rèn)知范式的升維!

隨著RAG類技術(shù)在各行各業(yè)中的應(yīng)用加深,我們正在見證從“泛化的模型”向“行業(yè)定制化模型”轉(zhuǎn)型的過程。

從醫(yī)療領(lǐng)域的個(gè)性化診療方案,到金融領(lǐng)域的風(fēng)險(xiǎn)控制決策,再到法律行業(yè)中對(duì)條文的精準(zhǔn)解讀,AI在行業(yè)中的應(yīng)用將不再是單一的信息處理工具,而是深入行業(yè)骨髓,成為決策支持的核心動(dòng)力。

但技術(shù)的背后,依然是行業(yè)KnowHow的深度挖掘與沉淀。如何將行業(yè)的精髓轉(zhuǎn)化為可持續(xù)發(fā)展的數(shù)字資產(chǎn)?如何構(gòu)建起具備自我迭代能力的知識(shí)圖譜,并確保其隨著行業(yè)發(fā)展不斷更新和完善?這些問題不僅挑戰(zhàn)著技術(shù)的實(shí)現(xiàn),也考驗(yàn)著行業(yè)參與者的眼光與耐心……

本文由人人都是產(chǎn)品經(jīng)理作者【葉小釵】,微信公眾號(hào):【葉小釵】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!
专题
48699人已学习16篇文章
看看别人家的PM是怎么做产品测试的。
专题
11549人已学习12篇文章
任何理论都有它的局限性和前提条件,没有一种方法论是永远有效的。品牌方法论一直处在变化阶段,它随着时代发展的变化而变化。本专题的文章分享了品牌方法论。
专题
12945人已学习13篇文章
数据可视化需要利用大屏这一工具实现,若想让数据展示变得更加生动,可视化大屏的艺术性设计便不可缺少,而这需要结合许多设计技巧。本专题的文章可视化大屏设计。
专题
20477人已学习15篇文章
商品管理系统属于电商产品中最基础、最核心的系统,是支撑整个电商产品的核心。本专题的文章提供了商品管理设计指南。
专题
12556人已学习13篇文章
通过仪表盘,用户可以查看并分析产品的数据和图表,还可以通过控件来控制数据的显示、过滤等功能。本专题的文章分享了仪表盘设计指南。
专题
145478人已学习15篇文章
作为产品经理,你多多少少得懂点技术。