一直以來，和大模型的交流都是用文本來完成，如果裝上傳感器，給大模型帶上不同的數(shù)據(jù)，效果會不會不一樣？這篇文章，作者提出了給大模型帶上“眼睛”的效果，一起來看看。

現(xiàn)有的AI大模型已裝備“聰明的大腦”，“大腦”在被“投喂”足夠的數(shù)據(jù)語料后能夠通過AI大模型固有的深度學(xué)習(xí)算法快速自動化分類、匯總等將信息轉(zhuǎn)化為知識，構(gòu)建形成向量知識庫，并準(zhǔn)備被隨時調(diào)用。此邏輯能夠真正起作用的前提是人工將整理的語料數(shù)據(jù)“投喂”到AI大模型。類似于智能自動駕駛：AI智能先學(xué)習(xí)過往司機(jī)駕駛汽車經(jīng)驗并轉(zhuǎn)化為知識，然后在新的自動駕駛期間，AI智能從周圍環(huán)境中實時接收信息并進(jìn)入到AI大模型，比對已有知識輸出應(yīng)執(zhí)行動作，從而實現(xiàn)對汽車的合理操控。但大量語料信息的整理相比較業(yè)務(wù)實操的執(zhí)行時機(jī)具有滯后性。

在運維前臺化產(chǎn)品設(shè)計中我提到了可以引入智能化自主運維的設(shè)想（見文章：一站式自助業(yè)務(wù)運維平臺設(shè)計，http://m.22none.com/share/6099987.html）。業(yè)務(wù)運維本身存在問題繁雜、單個業(yè)務(wù)運維問題需跨系統(tǒng)協(xié)同解決等特點，如果按照AI大模型的要求（需要人工整理海量語料信息并“投喂”到大模型學(xué)習(xí)的策略）會對業(yè)務(wù)運維需求方及支持方造成極大的知識整理壓力。業(yè)務(wù)實操動作在實時發(fā)生，并沒有已成型的知識可用于直接“喂養(yǎng)”AI大模型，此種情況下如何快速訓(xùn)練出合格的AI大模型以服務(wù)于業(yè)務(wù)實操的效率提升呢？是不是有其他更好的方式來實現(xiàn)業(yè)務(wù)運維與AI大模型的融合呢？

人類小孩剛出生時除了本能的一些動作行為外不具備像成年人那樣執(zhí)行直立、行走、說話、計算等動作，但小孩會對周圍一切都保持好奇，在好奇的驅(qū)使下小孩觀察、模仿大人說話、行動，在學(xué)校內(nèi)還會在老師的教導(dǎo)下，學(xué)習(xí)發(fā)音，學(xué)習(xí)詞語，學(xué)習(xí)句子。孩子通過觀察別人如何做：第一步做什么，第二步做什么，有什么樣的結(jié)果，然后自己去思考、去模仿、去修正、去嘗試逐步構(gòu)建、完善自己的知識庫，成為獨立的可自主決策的主體。此時“知識”的形成是通過主動的自學(xué)習(xí)、自積累而形成的。那如果AI大模型具備能夠?qū)崟r自主積累語料庫呢？

比如業(yè)務(wù)運維實操，從信息源接收到數(shù)據(jù)，然后人工解析成可用信息，在基于可用信息再在其他系統(tǒng)或菜單中進(jìn)行對應(yīng)操作，循環(huán)往復(fù)，直到獲取得到想要的結(jié)果。這全部流程的操作，都是在同一臺電腦上操作但需要在不同的軟件中切換。例如：從公司內(nèi)部溝通軟件上獲取到業(yè)務(wù)方需要查詢訂單明細(xì)信息，然后對接人接收到此信息后，切換到訂單管理平臺鍵入訂單編碼信息查詢訂單信息，然后，粘貼或?qū)С鏊樵兊慕Y(jié)果信息后通過內(nèi)部溝通軟件返回到用戶。此過程中全部信息如果通過人工來梳理，可落地性會很差，AI大模型如果能夠自動梳理業(yè)務(wù)實操信息，實現(xiàn)業(yè)務(wù)實操信息積累的同時同步學(xué)習(xí)，就像給AI大模型裝備了“眼睛”，不僅能夠思考，而且能夠在自主獲取合適信息的情況下思考，加速學(xué)習(xí)的效用的轉(zhuǎn)化。

我始終踐行“AI大模型是工具”，AI大模型存在的價值是更好地服務(wù)于人類各種應(yīng)用場景。AI大模型學(xué)習(xí)的源頭由人工梳理的語料庫轉(zhuǎn)化為實時監(jiān)控實操業(yè)務(wù)流程，自生成向量知識庫，然后向量知識庫服務(wù)用戶，并在服務(wù)用戶過程中繼續(xù)學(xué)習(xí)新的業(yè)務(wù)實操流程，更新向量知識庫，更好服務(wù)用戶，那么所產(chǎn)生的效用是巨大的。（見圖1）

圖1 AI大模型是否具備“眼睛”的能力對比

新的模式對AI大模型技術(shù)提出了新的要求：AI大模型不僅需要具備跨系統(tǒng)平臺的信息監(jiān)控能力，而且能夠運用捕獲到的信息進(jìn)行科學(xué)解析，更關(guān)鍵的是能夠?qū)π畔⒃跇I(yè)務(wù)實操中節(jié)點邏輯性進(jìn)行判定。當(dāng)然，還可以基于新的模式發(fā)展新的場景應(yīng)用，具體分析如下：

• 跨平臺數(shù)據(jù)監(jiān)控：在電腦上用戶需要在不同的軟件上操作一個業(yè)務(wù)流程中的某幾個步驟，由于涉及到不同的軟件平臺，為完成全流程數(shù)據(jù)學(xué)習(xí)，AI大模型應(yīng)將所涉及到的各步驟軟件都納入到監(jiān)控范圍。
• 多平臺數(shù)據(jù)聯(lián)動：被AI大模型收集到的數(shù)據(jù)如果要真正起作用，很關(guān)鍵的是將數(shù)據(jù)信息按照業(yè)務(wù)流程串聯(lián)，根據(jù)業(yè)務(wù)節(jié)點邏輯來組合、整理所監(jiān)控到的數(shù)據(jù)語料信息。
• 智能介入能力設(shè)計：在學(xué)習(xí)業(yè)務(wù)實操流程數(shù)據(jù)中，針對AI大模型不能理解的節(jié)點涵義，支持AI大模型及時向操作用戶提問，用戶可有針對性地反饋額外信息，在源頭就以更理解用戶的姿態(tài)來構(gòu)建向量知識庫。
• 閉環(huán)能力搭建：AI大模型不僅可以監(jiān)控用戶業(yè)務(wù)實操，并且能夠監(jiān)控自身所承接及解決業(yè)務(wù)運維問題的過程，并將全部信息納入到語料庫構(gòu)建中，實現(xiàn)語料信息數(shù)量自動化增長。
• 智能化RPA構(gòu)思：基于向量知識庫構(gòu)建用戶自主運維能力，即時甚至提前發(fā)現(xiàn)用戶業(yè)務(wù)運維問題，并根據(jù)既定規(guī)則實現(xiàn)業(yè)務(wù)自動化運維。

如上設(shè)計的已裝備“大腦”和“眼睛”的AI大模型不僅可以用于業(yè)務(wù)運維場景，而且可以用于其他類似智能化場景。用戶在產(chǎn)品設(shè)計中實際運用哪種先進(jìn)技術(shù)不重要，重要的是堅持“以用戶為中心，以服務(wù)用戶為核心，以解決用戶痛點為重心”，關(guān)鍵構(gòu)建出真正服務(wù)于用戶的產(chǎn)品能力。共勉~