本文想要分享當(dāng)引入生成式AI創(chuàng)建新產(chǎn)品或升級(jí)原有產(chǎn)品的時(shí)候，項(xiàng)目流程會(huì)有哪些變化。

當(dāng)公司想要引入生成式AI創(chuàng)建新產(chǎn)品或升級(jí)原有產(chǎn)品的時(shí)候，整個(gè)項(xiàng)目周期是怎么樣的呢？這其中有哪些地方和原來沒有相比沒有變化，又有哪些地方因?yàn)橐肷墒紸I而需要變化呢？

一、確定項(xiàng)目目標(biāo)及范圍

第一步依舊需要決定我們要做什么，就像在之前的文章AI時(shí)代下，產(chǎn)品經(jīng)理的“變”與“不變”中分享的觀點(diǎn)，本質(zhì)上來說，我們就是要讓機(jī)器找一個(gè)函數(shù)，這不是一個(gè)技術(shù)的問題，而是你要做什么樣的應(yīng)用，滿足什么樣的需求，解決了一個(gè)什么問題。

當(dāng)我們找到這個(gè)函數(shù)之后，我們需要思考并明確這個(gè)項(xiàng)目的目標(biāo)，以及什么范圍包含在這個(gè)項(xiàng)目中，什么范圍不包含在這個(gè)項(xiàng)目中，為什么這個(gè)范圍可以幫助我們達(dá)成這個(gè)項(xiàng)目目標(biāo)。

在這一步中，作為產(chǎn)品經(jīng)理，需要過濾需求里的場(chǎng)景是否適合引入AI，如果不適合的話則需要把相應(yīng)的場(chǎng)景過濾以避免投入產(chǎn)出比產(chǎn)生問題。

例如，當(dāng)我們想要做一個(gè)企業(yè)內(nèi)部的問答產(chǎn)品，以提高前臺(tái)部門應(yīng)對(duì)客戶問題的質(zhì)量及效率。那我們需要了解前臺(tái)有哪些部門，這些部門通常會(huì)應(yīng)對(duì)客戶哪些問題（例如新產(chǎn)品介紹，產(chǎn)品方案問題，產(chǎn)品操作疑問等等），他們之前是如何應(yīng)對(duì)的，客戶不滿意的點(diǎn)在哪里等等。最終定義出這個(gè)項(xiàng)目的合適的范圍。

二、快速構(gòu)建并迭代這個(gè)產(chǎn)品

這一步就進(jìn)入了產(chǎn)品細(xì)節(jié)設(shè)計(jì)和研發(fā)流程，大家都會(huì)非常熟悉。但是筆者認(rèn)為，在這個(gè)過程中，引入AI后的產(chǎn)品和普通的數(shù)字化產(chǎn)品有三個(gè)最大的不同

1）引入AI的產(chǎn)品搭建一個(gè)初始的版本會(huì)相當(dāng)快，更多的時(shí)間是在調(diào)整引入模型和我們期待它達(dá)到我們要求的GAP。

2）需要更加詳細(xì)的定義驗(yàn)收標(biāo)準(zhǔn)，通常這個(gè)驗(yàn)收標(biāo)準(zhǔn)會(huì)包括

• 內(nèi)容驗(yàn)收維度的定義
• 什么樣的條件才可以被判定為Good Case
• 最終Good Case占比多少才算驗(yàn)收通過

3）需要和測(cè)試一起定義測(cè)試集，確保我們選擇的測(cè)試集是可以匹配上我們的驗(yàn)收標(biāo)準(zhǔn)，通常包括

• 建立標(biāo)準(zhǔn)
• 測(cè)試集的覆蓋要求 & 數(shù)量要求
• 自造數(shù)據(jù)/真實(shí)數(shù)據(jù)的權(quán)重比

例如，假設(shè)在第一步我們的范圍是前臺(tái)的項(xiàng)目負(fù)責(zé)人可以使用這個(gè)助手快速的解決客戶在操作產(chǎn)品過程中的疑問。

其實(shí)我們會(huì)發(fā)現(xiàn)，當(dāng)我們利用LLM+RAG就可以快速的構(gòu)建這個(gè)產(chǎn)品，可能一周之后產(chǎn)品的雛形已經(jīng)出來了。而針對(duì)這樣的產(chǎn)品和原本的功能產(chǎn)品不同，產(chǎn)品經(jīng)理需要花比較多的時(shí)間和相關(guān)的專家去整理這個(gè)私有知識(shí)庫，并確定這些知識(shí)的分類，定義及示例。從而幫助后續(xù)和開發(fā)測(cè)試溝通的過程中更快速的互相理解。

其次，產(chǎn)品經(jīng)理需要定義驗(yàn)收維度，比如在這個(gè)例子中，我們可能會(huì)定義正確性、相關(guān)性、合規(guī)性等驗(yàn)收維度。并且需要定義有90%的Good Case才能代表驗(yàn)收通過。

最后，我們需要從知識(shí)的分類、定義維度出發(fā)去建立測(cè)試集的標(biāo)準(zhǔn)，并明確測(cè)試集的覆蓋和數(shù)量的要求。這些步驟都是在一個(gè)引入AI產(chǎn)品后必要的步驟，這可以幫助我們?cè)谶@個(gè)過程中和開發(fā)測(cè)試人員快速迭代產(chǎn)品最終完成這個(gè)產(chǎn)品。

三、內(nèi)部評(píng)估

這一步在傳統(tǒng)數(shù)字化產(chǎn)品可能會(huì)非常簡(jiǎn)單，大致就是上線前讓相關(guān)的Stakeholder做一下簡(jiǎn)單的驗(yàn)收。但是在引入AI的項(xiàng)目中，這一步至關(guān)重要。

為什么這么說？我們?cè)?a href="http://m.22none.com/ai/6144889.html">數(shù)據(jù)漂移（Data Drift）：AI+產(chǎn)品的隱形風(fēng)險(xiǎn)這篇文章中有提到，AI+產(chǎn)品有個(gè)很典型的隱形分享，就是“數(shù)據(jù)漂移”。這種情況在自造數(shù)據(jù)比重高的新項(xiàng)目中特別容易發(fā)生。

所以在這個(gè)步驟中，我們通常會(huì)要求所有的內(nèi)部團(tuán)隊(duì)人員都參與到這個(gè)內(nèi)部評(píng)估中。

例如，假設(shè)在第一步我們的范圍是前臺(tái)的項(xiàng)目負(fù)責(zé)人可以使用這個(gè)助手快速的解決客戶在操作產(chǎn)品過程中的疑問。那么我們會(huì)讓所有的內(nèi)部團(tuán)隊(duì)成員每人寫指定個(gè)數(shù)的操作疑問，從而去測(cè)試產(chǎn)品給出正確反饋的比例是否依舊符合我們預(yù)期。如果不符合我們的預(yù)期，則需要重新回到第二步。

這個(gè)步驟可以很好的規(guī)避上線前由于自造數(shù)據(jù)權(quán)重較高而產(chǎn)生的風(fēng)險(xiǎn)。很多時(shí)候，這個(gè)步驟產(chǎn)生出來的Bad Case是一個(gè)很好的分析步驟，幫助我們重新調(diào)整步驟二中驗(yàn)收標(biāo)準(zhǔn)定義和數(shù)據(jù)集定義。

四、產(chǎn)品上線并持續(xù)監(jiān)控

經(jīng)過充分的內(nèi)部評(píng)估，我們會(huì)部署產(chǎn)品上線，并持續(xù)監(jiān)控。

在傳統(tǒng)數(shù)字化產(chǎn)品中，我們可能會(huì)監(jiān)控這個(gè)功能上線有沒有人使用，使用率如何，使用反饋如何，使用過程中產(chǎn)生的Bug需要及時(shí)修復(fù)。而在引入AI的項(xiàng)目中，除了這些常規(guī)監(jiān)控，我們更需要監(jiān)控真實(shí)用戶在使用這個(gè)產(chǎn)品的過程中是否依舊存在數(shù)據(jù)漂移。根據(jù)我們的項(xiàng)目經(jīng)驗(yàn)，大多數(shù)時(shí)候，真實(shí)用戶的數(shù)據(jù)和自造數(shù)據(jù)，無論在問法，復(fù)雜度等都有可能發(fā)生變化。

我們需要定期監(jiān)控用戶的反饋，并回到“內(nèi)部評(píng)估”做進(jìn)一步的分析，是不是針對(duì)某一類問題表現(xiàn)的不夠好，甚至需要回到“迭代產(chǎn)品”重新調(diào)整某些定義。

總結(jié)來說，構(gòu)建AI+產(chǎn)品的項(xiàng)目是一個(gè)高度實(shí)驗(yàn)性的過程，這意味著這類項(xiàng)目需要我們快速的反復(fù)嘗試，發(fā)現(xiàn)并修復(fù)錯(cuò)誤。而在整個(gè)項(xiàng)目周期中這些“變化”的步驟，都在為這個(gè)實(shí)驗(yàn)更好的服務(wù)，幫助我們可以更快速，更準(zhǔn)確的做出我們想要的AI+產(chǎn)品。