大模型現(xiàn)在已經(jīng)在各行各業(yè)都有廣泛的應(yīng)用，但是其幻覺問題一直困擾著大家。一方面是廠家在想辦法消除幻覺問題，另一方面，在流程和方法上，我們也可以掌握一些技巧。

現(xiàn)在大模型to C的場景，在chat bot的場景上還是非常不錯(cuò)的，從PC應(yīng)用、web、還是移動端來看，使用率和用戶的反饋還是不錯(cuò)的。

在現(xiàn)在這個(gè)時(shí)機(jī)，能選擇開始使用大模型應(yīng)用的用戶，這個(gè)場景就能過濾掉了非常多普通用戶，基本上是“學(xué)習(xí)能力強(qiáng)”“思考力強(qiáng)”的用戶，并且大部分使用者，是有“大模型有幻覺”的意識的。

所以在此時(shí)的大模型產(chǎn)品開發(fā)者對輸出的準(zhǔn)確率不做強(qiáng)負(fù)責(zé)，默認(rèn)用戶會有一定的分辨能力。

然而，如果是for企業(yè)內(nèi)部的應(yīng)用場景，如何解決準(zhǔn)確率的問題，還有如何讓用戶（員工）用起來的動力。

作為企業(yè)應(yīng)用，有一個(gè)核心的問題是，“好多事情和大家的績效掛鉤”

（如果你找到了一個(gè)真人，請教一些事情，不論是否有答復(fù)，或者說是這個(gè)答復(fù)是對是錯(cuò)，都沒問題，有責(zé)任人，我甩鍋也算是有對象。

但是如果在很多“培訓(xùn)”“咨詢”的場景，引入“大模型的助手”，很容易出現(xiàn)，沒有人對結(jié)果負(fù)責(zé)，

鍋沒地兒甩了，總不能讓提問的人來甩吧

所以抵抗幻覺，做好準(zhǔn)確率這事，現(xiàn)在就很蛋疼。

但是話說回來，對于已經(jīng)工作的人來說，讓人對回復(fù)多看兩眼，做好風(fēng)險(xiǎn)提示，也算是說的過去。

一、拆解一下企業(yè)內(nèi)部的場景

現(xiàn)在來看，landing比較絲滑的場景，仍然是問答。

并且，這種場景的復(fù)用性也是高的，作為產(chǎn)品經(jīng)理也是愿意干這個(gè)的，我在A企業(yè)做完，去B企業(yè)可以有經(jīng)驗(yàn)再來一遍。

所以，在大模型的內(nèi)部應(yīng)用來看，我也在引導(dǎo)業(yè)務(wù)通過這樣的方式來實(shí)現(xiàn)。

最近的調(diào)研下來來看，基本上是通過【prompt角色扮演+RAG知識庫+強(qiáng)限制】來實(shí)現(xiàn)的。

prompt工程來看，這個(gè)是好解決的，無外乎，修改測試驗(yàn)證

但是后兩者是難點(diǎn)，

知識庫的吞吐流程

1）知識庫里的“知識”

首先是知識本身的準(zhǔn)確率，在一些企業(yè)，存檔做的還不錯(cuò)，這個(gè)也算是能提供

但是如何讓我們的能夠讀明白的文檔，讓大模型本身也讀的明白，

Excel、圖標(biāo)的ppt、流程圖、腦圖等等不同形式的文檔信息，如何“一鍵向量化”

這可太難了。

所以我們的解決方案，就是運(yùn)營同學(xué)或者各類目文檔的維護(hù)人員按照識別效果還不錯(cuò)的格式，整理一遍。

* 其實(shí)這里是有強(qiáng)管理動作在的，管理知識的人不需要問，所以關(guān)于這個(gè)繁雜的工作如何讓人愿意做，在企業(yè)內(nèi)部也是需要耗費(fèi)精力去做的。

整理完畢文檔之后，我們上傳大模型平臺，

不管直接的知識庫產(chǎn)品工具，還是自建的知識庫能力。

2）知識的切片

都會進(jìn)入切片的場景，這里就有一個(gè)切的準(zhǔn)不準(zhǔn)，有沒有切開的問題。

現(xiàn)在常見的知識庫切片邏輯：

按照格式、標(biāo)點(diǎn)居多。

再或者“適當(dāng)”的字?jǐn)?shù)，根據(jù)語意切的不多見。

切的這個(gè)步驟，基本在圖片和表格的信息，就不太能用了。

對了插一句，現(xiàn)在豆包對圖片的識別能力來看，

3）如何通過query找到知識

大模型的邏輯是，先把query語意理解了，然后找到關(guān)聯(lián)度最高的知識庫知識，

4）大模型輸出的答案：

然后把這些知識和問題按照prompt進(jìn)行總結(jié)輸出。

這里是關(guān)于通話大模型進(jìn)行問答的信息。

所以每個(gè)步驟都有不小的風(fēng)險(xiǎn)，一定需要產(chǎn)品親自做測試驗(yàn)證的。

但是，預(yù)防針是，就算每個(gè)步驟都參與設(shè)定配置，也一定會有偶爾的抽風(fēng)。

再來一步，作為產(chǎn)品，也需要解決這些抽風(fēng)問題

提供幾個(gè)思路

1. 提供一個(gè)“最終解釋權(quán)歸屬人”，得讓這個(gè)大模型助手又機(jī)靈又死板，給自己整個(gè)免責(zé)聲明。

大模型助手os：“我可以給出答案，但是答案不是我說的”

比如輸出的答案：

-輸入：“如何客戶退款20元的問題？

-輸出：小王在《如何處理客戶投訴問題》內(nèi)提到：“處理投訴的原文……”

或者，在xxx系統(tǒng)查詢到的xxxx

根據(jù)以上查詢的知識，建議方案：…..

(嗯這樣，把整個(gè)鍋給提問者找來了，真出問題就能甩了）

2. 讓大模型助手的服務(wù)態(tài)度好一點(diǎn)

企業(yè)內(nèi)部還有一個(gè)痛點(diǎn)是，大家都挺忙的，無法解決的問題，也是讓你A找B，再找C，然后拉個(gè)群等等。

所以咱們大模型助手遇到不知道的問題，不妨服務(wù)態(tài)度好一點(diǎn)，不要直接回復(fù)“我不知道”，可以拉滿情緒價(jià)值，給打工人一些安慰劑。

就算提問的用戶想要給你個(gè)差評，畢竟咱小助手服務(wù)態(tài)度好，提前不好意思了。

3. 讓專家教教小助手，小助手再教新人

通過上面兩個(gè)，

對大模型助手能回答的和不能回答的問題有了一個(gè)buffer

但是如何小助手如何成長的機(jī)制還沒有建立，

專家對輸出信息的準(zhǔn)出進(jìn)行“調(diào)教”

設(shè)定一些敏感信息的指定回答方案。并且定期review知識本身的數(shù)據(jù)

如何解決讓用戶/員工用起來的問題

作為平級部門，我們做了個(gè)一個(gè)很好用的工具，能幫你解決80%的dirty work，你會用嗎

如果公司內(nèi)部有強(qiáng)有力的1號位把這個(gè)AI工具提到了戰(zhàn)略層級，通過管理手段讓用戶用起來是好的，

但是就算這種情況大概率工具會面臨“甩鍋”的問題，做提效工具的反而被背刺

但是，如果發(fā)現(xiàn)這里有一個(gè)助手收錄了行業(yè)的關(guān)鍵詞條（哪怕是互聯(lián)網(wǎng)的），并且收錄了公司的各種文檔，還有更多的sop，那么作為提問人，去找這個(gè)不是人的人問一下，會不會降低一下提問人的羞恥感呢

或者說，有業(yè)務(wù)要向產(chǎn)品提需求，總是被diss沒想清楚，方案不成熟，

那用戶是否有機(jī)會和這個(gè)大模型助手先描述一遍你要實(shí)現(xiàn)什么場景呢，（其實(shí)這個(gè)倒是很簡單了，提供一個(gè)需求分析的prompt給大模型助手即可）

所以這里就又推理出了一個(gè)方案，

提供一些角色扮演

（類似公司的崗位，通過prompt讓他具備這個(gè)行業(yè)的一些基礎(chǔ)能力）

集成在大模型助手內(nèi)，讓他具備一些個(gè)新場景。

除此之外，就是和上文的知識庫類似，

找到owner為知識庫負(fù)責(zé)。