大模型背后，大多需要數(shù)據(jù)標注甚至人工標注的支持，那么，怎么理解數(shù)據(jù)標注呢？這篇文章里，作者主要從業(yè)務(wù)角度出發(fā)，介紹標注規(guī)則的細則構(gòu)建、標注團隊培養(yǎng)與管理的具體方法，一起來看。

如今的人工智能已是大模型的天下，但再強的智能，再大的模型，也需要人工標注的支持。上篇文章主要介紹了數(shù)據(jù)標注的分類、標注規(guī)則制定的原則，本篇文章主要從業(yè)務(wù)角度出發(fā)，介紹標注規(guī)則的細則構(gòu)建、標注團隊培養(yǎng)與管理的具體方法。

一、標注規(guī)則構(gòu)建

為了便于大家理解，本模塊主要參考王陽明先生“格物致知”的邏輯去展開，說明標注體系的搭建過程，就是一個“悟道”的過程，當然自己才疏學淺，如有運用不當?shù)牡胤?，希望大家多多包涵?/p>

1. 單因子拆解標注——析物

上篇文章講了標注規(guī)則的三步法：單因子標注、多維因子排列組合、綜合策略評分，其中最基礎(chǔ)也是最重要的一環(huán)就是第一步：單因子標注，就是將所有影響標注結(jié)果的因素依次列舉，對每個影響因素單獨標注。

例如，標注簡歷與職位的匹配度，即模擬HR招人的思路給推薦的簡歷打分，首先要將影響HR招人的因素全部列出來，例如工作地點、行業(yè)類別、薪資水平、學歷要求、專業(yè)要求等。

然后分別對每個因素進行標注打分，打分時要將行業(yè)的一些通用規(guī)則考慮進去，例如，某職位要求學歷是本科，這里的本科大概率是指全日制統(tǒng)招本科，而不是花點錢就能上，或者根本不需要學習就能獲得證書的成考或自考本科。

那么問題來了，如何識別統(tǒng)招學歷呢？什么樣的學歷屬于全日制的呢？哪些院校是統(tǒng)招的呢？野雞大學算不算統(tǒng)招的呢？有沒有識別野雞大學的方法？

僅學歷一個因素標注細則就很多，識別邏輯也很復雜，我們要將十幾項因子里的每一項，都進行多維度深度思考與分析，并給出可衡量的標注規(guī)則與指標。這一層的核心是“析物”，即深入剖析每一個因子，直到剖到每個因子的根部，程頤認為，凡一物上有一理，須窮致其理。

2. 多因子排列組合——量物

在上篇文章就講到，多因子排列組合不是單純的給每個因子賦予固定的權(quán)重，而是將每個因子結(jié)合具體場景，分析各因子在具體場景中的的重要程度，因為場景不同，標注細則就不同。

那么有哪些具體場景呢？

什么是B端产品经理？和C端产品经理有什么区别？

B端产品经理中的B是Business，商业的意思，B端产品经理首先就要理解这个职位的重要性，要设计出更适合这个项目需求的产品方案，B最终产品经理在日常工作中...

查看详情 >

第一，標注對象不同，標注細則就不同，在招聘業(yè)務(wù)中，標注對象是職位，職位類型不同標注的關(guān)注點就不同，比如，招聘銷售類崗位關(guān)注行業(yè)經(jīng)驗、業(yè)績能力、客戶群體等，招聘藍領(lǐng)崗位只要候選人愿意做、身體健康即可，招聘財務(wù)類崗位則會要求資格證書。

第二，各影響因子的程度不同，標注細則也不同，比如要招聘一位初級文員，但是候選人年齡超過了50歲，再比如要招聘一名銷售員，但是候選人五年前做過銷售，現(xiàn)在早就不做銷售了，而且也不想再做銷售了，類似這種情況可能因為這一個因子，總分就可能給到0分。

所以標注細則的場景數(shù)量，是標注對象類型與影響因子的乘積，但在招聘業(yè)務(wù)場景中，標注對象類型有1000多種，影響因子有十多種，所以標注細則是一萬多條嗎？在實際操作中不可能列出所有場景，并給出所有的標注細則，這些場景需要標注員基于實際業(yè)務(wù)靈活運用規(guī)則。這一層的核心是“量物”，即衡量所有標注對象，并將其與影響因子融會貫通，活學活用，找到那個平衡的度。

3. 各因子融會貫通——悟物

在第二步中講到標注細則的場景數(shù)量，是標注對象類型與影響因子的乘積，這個數(shù)量級太大了，在實際業(yè)務(wù)中需要融會貫通，但是怎么能做到融會貫通呢？有沒有一些歸類方法，或針對不同場景的指導思想呢？

答案是肯定的，首先，影響因子可以按照對最終結(jié)果的重要程度分為三類：重要因子，時而重要因子，弱項影響加減分的因子，其次，職位類別可以按照對專業(yè)技能的強弱分為四類：強技能類職位，較強技能職位，弱技能職位，無技能職位，最后，根據(jù)此等分類，我們得到了12種場景，此時我們可以針對這12種場景做細節(jié)的標注規(guī)則了。

分類之后是匯總，就是所謂的融會貫通，不管是規(guī)則制定者還是標注員，到這一階段都要到達一種境界，就是忘掉之前的細節(jié)規(guī)則，從良知出發(fā)評估簡歷與職位的匹配度，是非常匹配，還是比較匹配，還是不太匹配，還是非常不匹配，也就是王陽明先生所謂的“致良知”。

完成最終評分后，不要忘記將不匹配的原因以標簽的形式固定下來，這樣便于后面的問題分析與策略優(yōu)化。

二、標注團隊管理

1. 新人培訓與管理

無規(guī)矩不成方圓，可見規(guī)矩是形成方圓的關(guān)鍵，但是方圓之內(nèi)要有田地苗木，才是一塊好的方圓之地，標注規(guī)則就是這規(guī)矩，而標注所依賴的領(lǐng)域知識就是其中的田地苗木，所以新人入職首先要學習標注規(guī)則，但同時也要學習領(lǐng)域知識，尤其是專業(yè)性比較強的領(lǐng)域，如此兩條腿走路，才能學好整個標注體系。

在學習的前提下，標注練習是必不可少的，首先可以做單因子標注的練習，合格之后再進行綜合評分的練習，此時的練習，最好是有正確答案的，這樣可以隨時監(jiān)督新人練習的進度和質(zhì)量，也可以制定一套新人培訓學習體系，里面不僅要包括要學的內(nèi)容，還要列清楚練習期間的任務(wù)數(shù)量，以及每個階段所要達成的質(zhì)量指標，以此來評判新人培訓期間的成績。

2. 質(zhì)量把控與管理

相信做過標注工作的同學都明白，低質(zhì)量的標注數(shù)據(jù)會直接影響模型的訓練效果，所以數(shù)據(jù)質(zhì)量是標注工作的重中之重。保證標注質(zhì)量的前提是做好任務(wù)的培訓，明確標注需求、標注方法和驗收標準。數(shù)據(jù)驗收環(huán)節(jié)一般會采用自檢、交叉檢驗，或者按任務(wù)進行分類檢驗的方式進行檢驗，甚至大一些的標注團隊會設(shè)置專門的質(zhì)檢小組，對標注員的標注結(jié)果進行抽檢或全檢。

本文重點介紹另外一種質(zhì)檢方式，即提前插入正確樣本，以檢驗標注質(zhì)量的方式，此種方式可以節(jié)約一定的成本，因為不用進行雙驗或多驗了，還能時刻檢驗標注員的工作態(tài)度，以及對任務(wù)是否真的理解，能否達到要求的質(zhì)量標準，如果發(fā)現(xiàn)質(zhì)量不合格，則可以立刻更換標注員或進行再次培訓。

此種方式主要適用于結(jié)構(gòu)化且需要長期標注的項目，要提前設(shè)置好正確樣本，建任務(wù)時插入樣本，至于插入的比例，可以根據(jù)具體任務(wù)需求，或不同標注人群進行設(shè)置。

需要注意的是，一組正確樣本如果長期使用，可能標注員都記住哪些是樣本了，所以一定要經(jīng)常更換正確樣本，以達到“混淆視聽”的效果，此外還需要保證正確樣本的質(zhì)量，不能出現(xiàn)正確樣本不正確的情況。標注質(zhì)量把控是一項非常重要，也非常有難度的事情，后續(xù)可能會單獨寫一篇質(zhì)量把控相關(guān)的文章，請大家多多關(guān)注。

至此，整個標注體系的重點工作或原則都講完了，如有不足或錯誤的地方，還希望大家能不吝賜教，指正出來。開篇就說到，如今的人工智能已是大模型的天下了，那么下篇文章會重點講講大模型標注那些事，請大家多多關(guān)注。