自從ChatGPT之類的大模型爆火之后，AI產(chǎn)品經(jīng)理也開始水漲船高受到更多人的青睞，不少同學都想轉(zhuǎn)去做AI產(chǎn)品。那你知道其工作流程是怎樣的嗎？這篇文章，我們就來分享一下。

一、AI產(chǎn)品經(jīng)理工作全流程概覽

AI產(chǎn)品經(jīng)理工作全流程中與普通產(chǎn)品經(jīng)理的區(qū)別主要是多了算法模型部分，包括模型預研、數(shù)據(jù)準備、模型構建、模型宣講、模型驗收，協(xié)作的對象相對普通產(chǎn)品經(jīng)理也多了算法工程師。

二、需求定義

需求定義主要要定義清楚以下幾點：

• 做什么?
• 為什么要做，有什么收益和價值？
• 業(yè)務預期目標、上線期限？

為了方便理解，我們以開發(fā)一套篩選薅羊毛用戶的產(chǎn)品進行舉例說明。

1、項目背景

團隊發(fā)現(xiàn)負責的項目數(shù)據(jù)統(tǒng)計有些異常，細查之后，發(fā)現(xiàn)存在夜間偷數(shù)據(jù)的情況，大致行為路徑如下：

1. 淘寶上買一批手機號，注冊新賬號。
2. 通過自動薅羊毛的方式（新手禮包、每日簽到、周任務等），獲取免費券等資源。
3. 夜深人靜的時候，使用免費券或積分批量下載數(shù)據(jù)。

亡羊補牢，猶未晚矣。我們決定開發(fā)一套篩選薅羊毛用戶的產(chǎn)品，徹底堵住這個缺口。

2、做什么？

開發(fā)一套篩選薅羊毛用戶的產(chǎn)品。具體設計大概思路如下：

1. 在領取新手禮包或周任務獎勵時，需要用戶綁定手機號（薅羊毛時簡單卡一下，以免影響正常的用戶體驗）。
2. 在使用券進行下載操作時，判斷是薅羊毛用戶的概率，并根據(jù)概率高低分成 正常、疑似、高危 三類。
3. 針對“疑似”用戶，就觸發(fā) 極驗 或 驗證碼校驗 等邏輯。針對高危用戶，就鎖定賬號，并在激活時要求綁定微信，避免再出現(xiàn)大量偷數(shù)據(jù)的情況。

3、為什么要做，有什么收益和價值？

減少公司做活動發(fā)放福利時被薅羊毛，讓福利觸達給有效的用戶。

4、業(yè)務預期目標、上線期限？

1. 離線/實時模式：支持實時判斷，所以應該定義為實時模型。
2. 覆蓋率：期望該模型的覆蓋率為100%，面向所有用戶。
3. 傾向：盡可能找出所有羊毛黨，追求高“召回率”，可以接受一定程度的誤報。寧可錯殺一千，不可放過一個。
4. 上線期限：雙十一前得上線，離現(xiàn)在還有半年時間。

三、模型預研

AI產(chǎn)品經(jīng)理把需求同步給算法工程師，算法工程師需判斷目前積累的數(shù)據(jù)和沉淀的算法是否可以達到業(yè)務需求。

如果現(xiàn)有數(shù)據(jù)不滿足需求，要么增加埋點補齊數(shù)據(jù)，要么想辦法獲取目標數(shù)據(jù)，要么替換成其他類似數(shù)據(jù)。

如果算法支持度不夠，可能需要調(diào)整需求內(nèi)容，以便達到更適配的效果。以該項目為例，實時模式的話，可能會對原業(yè)務的響應速度有一定影響，所以最后調(diào)整為離線模型，每天定時處理前一天的用戶數(shù)據(jù)。

四、數(shù)據(jù)準備

對于算法同學而言，他只能根據(jù)現(xiàn)有的數(shù)據(jù)分析哪些特征對于模型有用，但是，AI產(chǎn)品經(jīng)理對業(yè)務理解更深，通過判斷哪些數(shù)據(jù)、哪些特征對模型提升有幫助，把自己想到的要點和技術溝通，得到更完善的數(shù)據(jù)集，再動手去獲取數(shù)據(jù)。

比如該用戶是否主要在夜間活動？操作頻率是否過高？短時間內(nèi)同一臺終端是否登錄過多個用戶？用戶是否觸發(fā)過新手引導？

盡可能準確的找到羊毛黨用戶的特征，對模型質(zhì)量的提升會有極大的幫助。

獲取數(shù)據(jù)時，主要分為以下三類（有時也可與其他公司聯(lián)合建模）：

1、內(nèi)部業(yè)務數(shù)據(jù)

如果以前業(yè)務有相關數(shù)據(jù)，那么我們可以從以前業(yè)務保留的數(shù)據(jù)中選取使用；如果當前沒有相關數(shù)據(jù)，而我們有相關業(yè)務可以獲得數(shù)據(jù)，我們通過增加埋點的方式將數(shù)據(jù)留存。

2、跨部門數(shù)據(jù)

其他部門數(shù)據(jù)或統(tǒng)一的中臺數(shù)據(jù)，這些數(shù)據(jù)需要我們根據(jù)公司的數(shù)據(jù)管理規(guī)范流程提取，在數(shù)據(jù)提取的時候注意篩選有效數(shù)據(jù)。

3、外采數(shù)據(jù)

根據(jù)我們的需求向外部公司購買數(shù)據(jù)。我們需要了解市場上不同公司都可以提供什么數(shù)據(jù)，比如：極光、友盟提供的是開發(fā)者服務，所以他們可以提供一些和App相關的用戶畫像，比如運營商可以提供上網(wǎng)流量、話費等相關數(shù)據(jù)。

進行外采數(shù)據(jù)需要注意兩點：外采公司的資質(zhì)審核、采集數(shù)據(jù)的合法性（需要考慮數(shù)據(jù)安全和消費者隱私保護）。

五、模型構建

模型構建的具體流程如下：

1、模型設計

模型設計階段，我們需要考慮該選擇什么樣的算法，目標變量應該怎么設置、數(shù)據(jù)源應該有哪些、數(shù)據(jù)樣本如何獲取，是隨機抽取還是分層抽樣。

a.算法選擇

于其需求定義，模型需要計算出用戶是薅羊毛用戶的概率，并根據(jù)概率高低分為正常、疑似、高危三類，最終技術同學決定采用邏輯回歸算法來實現(xiàn)該需求。

邏輯回歸算法具有計算速度快、可解釋性強的優(yōu)點，適用于解決需求中的多分類問題，而且還可以對用戶“為什么封號”的質(zhì)疑，有較強的解釋性。

b.定義目標變量及抽取樣本

在模型設計階段最重要的就是定義模型目標變量，以及抽取數(shù)據(jù)樣本。

不同的目標變量，決定了這個模型應用的場景，以及能達到的業(yè)務預期。

樣本是用來做模型的基礎。在選取樣本的時候，你需要根據(jù)模型的目標、業(yè)務的實際場景來選擇合適的樣本。必須要考慮季節(jié)性和周期性的影響。另外，還要考慮時間跨度的問題。建議你選擇近期的數(shù)據(jù)，并結(jié)合跨時間樣本的抽取，來降低抽樣的樣本不能描述總體的這種風險。

2、特征工程

所有模型的輸入都是數(shù)量化的信息（用向量、矩陣或者張量的形式表示的信息），所以我們需要通過某種方式，把各種類型的數(shù)據(jù)轉(zhuǎn)化成數(shù)量化的信息，這個過程就是特征工程。

特征工程是模型構建過程中最重要的部分，如果我們可以挑選到足夠優(yōu)質(zhì)的特征，不僅可以提升模型性能，還能降低模型的復雜度，（當選擇了優(yōu)質(zhì)的特征之后，即使你的模型參數(shù)不是最優(yōu)的，也能得到不錯的模型性能，你也就不需要花費大量時間去尋找最優(yōu)參數(shù)了，從而降低了模型實現(xiàn)的復雜度。）大幅簡化構建過程。

數(shù)據(jù)和特征決定了模型的上限，而模型和算法只是逼近這個上限而已。

以薅羊毛項目為例，我們可以通過用戶是否在夜間活動、操作頻率、歷史訂單、完成活動速度、同一臺終端是否登錄多個賬號等一系列特征，來表達是薅羊毛用戶的可能性，這就是建立了薅羊毛用戶的特征工程。我們可以通過這些特征來判斷用戶的可疑程度。

特征過程包括以下四個流程：

1）數(shù)據(jù)清洗

數(shù)據(jù)清洗主要是算法工程師要做的工作，主要是對數(shù)據(jù)進行重新審查和校驗，解決數(shù)據(jù)可能存在的數(shù)據(jù)缺失、有異常值或無效值、數(shù)據(jù)不均衡（比如前面部分數(shù)據(jù)表現(xiàn)好，后面部分數(shù)據(jù)表現(xiàn)不好）、單位不一致等問題。

對數(shù)據(jù)缺失，算法工程師可以通過刪除缺失值或者補充缺失值的手段來解決它。

對于數(shù)據(jù)不均衡的問題，因為數(shù)據(jù)偏差可能導致后面訓練的模型過擬合或者欠擬合，所以算法工程師取數(shù)據(jù)時需要考慮均衡問題。

2）特征提取

從原始數(shù)據(jù)中提取有用的特征，將其轉(zhuǎn)化為一組更具代表性和可解釋性的特征。特征提取的目的是減少原始數(shù)據(jù)的維度，提高數(shù)據(jù)的表達能力，幫助算法進行更好的完成任務。

一般提取出的特征會有 4 類常見的形式，分別是數(shù)值型特征數(shù)據(jù)、標簽或者描述類數(shù)據(jù)、非結(jié)構化數(shù)據(jù)、關系型數(shù)據(jù)。

1. 數(shù)值型特征：如消費金額、好友人數(shù)、瀏覽頁面次數(shù)等（相關的業(yè)務操作數(shù)據(jù)、運營數(shù)據(jù)）。一般來說，會首先提取主體特征，再提取其他維度特征。
2. 標簽或描述類特征：如有房、有車、高付費，用來打標簽。
3. 非結(jié)構化特征：如內(nèi)容評論，需要判斷是否有負面情緒。非結(jié)構化數(shù)據(jù)一般存在于 UGC（User Generated Content，用戶生成內(nèi)容）內(nèi)容數(shù)據(jù)中。提取非結(jié)構化特征的一般做法就是，對文本數(shù)據(jù)做清洗和挖掘，挖掘出在一定程度上反映用戶屬性的特征。
4. 關系型數(shù)據(jù)特征：如通訊錄、收獲地址、商品分享（一般分享給親朋）、LBS位置信息 等維度數(shù)據(jù)。比如說，在京東購物時，你和一個人在同一收貨地址上，如果這個收貨地址是家庭地址，那你們很可能就是家人。

3）特征選擇

特征在選擇時主要有覆蓋度、IV 值（信息價值）、穩(wěn)定性等指標。

LV值指的是表示特征對目標預測的貢獻程度，LV值有限定條件，一是面向的任務必須是有監(jiān)督的任務；二是預測的模型必須是二分類模型。

4）生成測試集與訓練集

算法同學為了給模型訓練做最后的準備，需要把數(shù)據(jù)分成訓練集和測試集，他們會使用訓練集來進行模型訓練，會使用測試集驗證模型效果，

3. 模型訓練

模型訓練是通過不斷訓練、驗證和調(diào)優(yōu)，讓模型達到最優(yōu)的過程。就是要找到一個劃分條件（決策邊界），使得準確率（擬合）最高的同時兼顧穩(wěn)定性（泛化性能）。這里涉及幾個名詞需要理解：

a、決策邊界

那么怎么達到最優(yōu)呢？就是要繪制一條比較好的決策邊界。

決策邊界：就是在符合某種條件做出某種選擇的條件，根據(jù)這個條件可以將結(jié)果進行劃分。比如說：下午6：00不寫完這篇博客我不吃飯，那么寫完了就去吃，沒寫完就不吃。這個條件就是我們說的決策邊界。

決策邊界分為：線性決策邊界和非線性決策邊界。下圖中，圖1為線性決策邊界，圖2、圖3為非線性決策邊界。

決策邊界曲線的平滑程度和算法訓練出來的模型能力息息相關。曲線越陡峭模型的測試精度越準確（可以理解為不是一刀切），但是越陡峭的曲線模型越不穩(wěn)定。

b、擬合與泛化

模型的“最優(yōu)”，指的是模型擬合能力和泛化能力的平衡點。

1. 擬合能力：模型在已知數(shù)據(jù)上（訓練集）表現(xiàn)的好壞
2. 泛化能力：模型在未知數(shù)據(jù)上（測試集）表現(xiàn)的好

如果想讓模型有足夠好的擬合能力，就需要構建一個復雜的模型對訓練集進行訓練，但是模型越復雜就會越依賴訓練集的數(shù)據(jù)，就越可能出現(xiàn)訓練集的表現(xiàn)很好，但在測試集上表現(xiàn)差的情況，泛化能力比較差，這種情況叫做“過擬合”。

如果想讓提高模型的泛化能力，就要降低模型復雜度，減少對訓練集的依賴，但如果過度降低復雜度，又可能導致“欠擬合”的情況。

1. 過擬合：模型把數(shù)據(jù)學習的太徹底，甚至把噪聲數(shù)據(jù)的特征也學習到了，就導致不能很好的識別未知數(shù)據(jù)，模型泛化能力下降。訓練集表現(xiàn)很好，但是測試集很差。讀的是“死書”，并沒有真正掌握書里的精髓，自然就無法很好的應用了。產(chǎn)生過擬合的原因一般有：特征過多，模型復雜度過高，樣本數(shù)據(jù)無法代表預定的分類，樣本噪音干擾過大等。
2. 欠擬合：模型不能很好的捕捉數(shù)據(jù)特征，不能很好的擬合數(shù)據(jù)。在訓練集的表現(xiàn)就很差，需要繼續(xù)努力“學習”。產(chǎn)生欠擬合的原因一般有：模型復雜度過低、特征量過少等。

c、交叉驗證

算法工程師就這樣不斷的調(diào)整模型參數(shù)、訓練，再用交叉驗證的方式，逐漸找到擬合能力和泛化能力的平衡點，這個平衡點就是我們訓練模型的目標。

交叉驗證：一種評估機器學習模型性能的有效方法，可以用于選擇最佳模型參數(shù)、模型選擇以及避免過擬合等問題。包括簡單交叉驗證、留出交叉驗證、自助交叉驗證等方法。如把測試數(shù)據(jù)進行進行封箱處理，后隨機對一些分箱測試結(jié)果取平均值。

4、模型驗證

經(jīng)過復雜的模型訓練，我們終于得到了一個所謂的“最優(yōu)解”，但是怎么證明這個最優(yōu)解就是真正的最優(yōu)解呢？我們需要模型驗證階段來確認這個“最優(yōu)解”的真假。

模型驗證一般通過模型的性能指標和穩(wěn)定性指標來評估。

模型性能，就是模型預測的準確性。

分類模型性能評估：分類模型的預測結(jié)果是具體的分類，一般使用召回率、F1、KS、AUC等評估指標，來判斷分類模型的性能。

回歸模型性能評估：回歸模型的預測結(jié)果是連續(xù)值，一般使用方差和MSE等評估指標，來判斷回歸模型的性能。

模型穩(wěn)定性，指的是模型性能可以持續(xù)多久，一般使用PSI指標來評估模型的穩(wěn)定性。

PSI指標，指模型穩(wěn)定性指標（或稱為客情穩(wěn)定性指標），PSI越小越好，如果PSI>0.25說明穩(wěn)定性很差。

綜上：模型驗收環(huán)節(jié)，AI產(chǎn)品經(jīng)理需要知道常用的性能指標與穩(wěn)定性指標，并且知道其合理的范圍。AI產(chǎn)品經(jīng)理對模型驗證環(huán)節(jié)格外關注，需要深入理解評估指標、計算邏輯，并能根據(jù)指標的數(shù)據(jù)判斷模型效果是否達標。

5、模型融合

為了提升模型的準確率和穩(wěn)定性，有時會同時構建多個模型，再把這些模型集成在一起，確保模型有更優(yōu)的整體表現(xiàn)。

比如薅羊毛項目這種分類模型，可以用最簡單的投票方法來融合，票數(shù)最多的類別就是最終的結(jié)果。

回歸模型的融合主要用算術平均或加權平均。

分類模型的融合，主要是取數(shù)據(jù)值最大的，如Blending和stacking,bagging和bossting。

模型融合的一些基本方法如下，感興趣可進一步查資料了解。

在模型融合的過程中，產(chǎn)品經(jīng)理需要考慮好成本問題。

五、模型宣講與驗收

模型構建完成后，產(chǎn)品經(jīng)理需要組織技術宣講訓練好的模型，介紹內(nèi)容如下：

1. 使用的什么算法？為什么選這個算法？
2. 選用了哪些特征。
3. 訓練集、測試集的大致情況。
4. 模型的測試結(jié)果。
5. 是否達到了預期？哪些指標未達預期？未達預期的原因是什么。

宣講之后，產(chǎn)品經(jīng)理需要對模型進行評估和驗收，該環(huán)節(jié)也非常重要，至于如何選擇合適的評估指標，后續(xù)章節(jié)會詳細介紹。

六、業(yè)務開發(fā)并上線

驗收通過之后，技術會把模型部署到線上，并按之前和業(yè)務開發(fā)同事約定的接口提供能力。

業(yè)務開發(fā)完成相應功能后，和模型接口聯(lián)調(diào)通過，就可以進入常規(guī)的走查、測試、上線流程了。

需要注意的是，模型上線后，還需要持續(xù)監(jiān)控模型的效果，若運行一段時間后，發(fā)現(xiàn)模型效果有明顯衰減，就需要分析原因，并針對性的升級模型。

參考文檔：

一文讀懂：機器學習模型構建全流程-人人都是產(chǎn)品經(jīng)理-AI小當家

拒絕薅羊毛行為：AI產(chǎn)品經(jīng)理的工作全流程揭秘–人人都是產(chǎn)品經(jīng)理-AI小當家

成為AI產(chǎn)品經(jīng)理——AI產(chǎn)品經(jīng)理工作全流程-CSDN-愛學習的時小糖

成為AI產(chǎn)品經(jīng)理——模型構建流程（下）–CSDN-愛學習的時小糖

AI模型構建的過程-模型設計&特征工程