推薦，猜你喜歡，個(gè)性歌單，熱搜榜……這些我們常見(jiàn)的其實(shí)都是推薦系統(tǒng)輸出的內(nèi)容，一個(gè)推薦系統(tǒng)的好壞實(shí)實(shí)在在影響著用戶使用產(chǎn)品的感受。

在沒(méi)找到工作的間隙，開(kāi)始從原理層面了解機(jī)器學(xué)習(xí)，做畢設(shè)的時(shí)候是關(guān)于圖片學(xué)習(xí)的，啃完paper擼好論文后的我，不久前我終于能夠暢游互聯(lián)網(wǎng)的海洋了。抓緊時(shí)間體驗(yàn)和使用了國(guó)外的一大批社區(qū)和vedio后，對(duì)其有了一些思考。這里閑扯兩句，也算是拋磚引玉。

推薦系統(tǒng)到底是個(gè)啥

這個(gè)問(wèn)題，不同的人有不同的答案，如果你是網(wǎng)購(gòu)達(dá)人，那么對(duì)于你可能是這樣的：

如果你是音樂(lè)發(fā)燒友，那么就是這樣的：

如果你是知識(shí)青年，應(yīng)該是這樣的：

如果你是八卦狂魔，那么就是這樣的啦：

推薦，猜你喜歡，個(gè)性歌單，熱搜榜，這些都是推薦系統(tǒng)輸出的內(nèi)容，我們從這些就可以總結(jié)出，推薦系統(tǒng)到底干了啥了？

1. 幫助用戶找到他們感興趣的東西（商品，內(nèi)容），發(fā)掘長(zhǎng)尾

幫用戶找到想要的東西，談何容易。商品茫茫多，甚至是我們自己，也經(jīng)常點(diǎn)開(kāi)淘寶，面對(duì)眼花繚亂的打折活動(dòng)，滿減促銷。陷入無(wú)限的選擇困難癥，在經(jīng)濟(jì)學(xué)中，有一個(gè)著名理論叫長(zhǎng)尾理論（The Long Tail）。

套用在互聯(lián)網(wǎng)領(lǐng)域中，指的就是最熱的那一小部分資源和掌握它們的頭部用戶將得到絕大部分的關(guān)注，而剩下的很大一部分資源卻鮮少有人問(wèn)津。這不僅造成了資源利用上的浪費(fèi)，也讓很多的中部和尾部的內(nèi)容輸出者沒(méi)有公平的曝光機(jī)會(huì)。

2. 降低信息過(guò)載

如今的互聯(lián)網(wǎng)無(wú)論是信息量還是熱點(diǎn)量都處于overload的狀態(tài)，若是將所有的內(nèi)容都放在首頁(yè)，那么用戶將是無(wú)從閱讀的，信息的利用率將會(huì)非常低下，因此需要推薦系統(tǒng)來(lái)幫助用戶篩選過(guò)濾信息。

3. 提升用戶黏性，增加用戶的轉(zhuǎn)化率和點(diǎn)擊率

一個(gè)優(yōu)秀的推薦系統(tǒng)不僅能讓用戶更頻繁的訪問(wèn)某一個(gè)板塊/站點(diǎn)，而且總是能夠幫助用戶找出他需要的商品和內(nèi)容，提升其消費(fèi)的動(dòng)力。

4. 為用戶創(chuàng)建專屬的用戶畫(huà)像，為用戶提供私人訂制的個(gè)性化服務(wù)

每當(dāng)系統(tǒng)成功推薦了一個(gè)用戶感興趣的內(nèi)容后，我們對(duì)該用戶的興趣愛(ài)好等維度上的形象是越來(lái)越清晰的。當(dāng)我們能夠精確描繪出每個(gè)用戶的形象之后，就可以為他們定制一系列服務(wù)，讓擁有各種需求的用戶都能在我們的平臺(tái)上得到滿足。

5. 深度關(guān)聯(lián)使用場(chǎng)景，為消費(fèi)創(chuàng)造新的窗口

試想如果在你需要太陽(yáng)鏡的時(shí)候能夠根據(jù)你瀏覽頁(yè)面的歷史記錄來(lái)給你個(gè)性化推薦太陽(yáng)鏡，豈不是很爽？這不僅解決了你的消費(fèi)需求，也為商家提供了個(gè)性化售賣的窗口。

你或許跟我感覺(jué)是一樣的，推薦系統(tǒng)就是如果A，那么B的一個(gè)系統(tǒng)。其關(guān)鍵就在于如何確定A與B的映射關(guān)系。目前常用的有協(xié)同過(guò)濾、Logistic Regression、DNN、GBDT等。

詳情抄送：http://neuralnetworksanddeeplearning.com/

一個(gè)推薦系統(tǒng)對(duì)用戶有什么影響

我們先來(lái)看看，一個(gè)聊勝于無(wú)的推薦系統(tǒng)是什么樣子的。前兩天刷知乎，timeline上出現(xiàn)了一個(gè)問(wèn)題：為什么知乎的推薦系統(tǒng)為何這么差？

知乎用戶吳大官人是這樣回答的：

其實(shí)縱觀這幾年來(lái)國(guó)內(nèi)的APP，無(wú)論是知乎、今日頭條等信息資訊類app，還是網(wǎng)易云、抖音這些泛娛樂(lè)app。都在嘗試用推薦算法來(lái)過(guò)濾內(nèi)容，推薦用戶可能更感興趣、更具有吸引力的內(nèi)容以期讓用戶能更久的駐留在自己的生態(tài)里。

但是，這真的是個(gè)有效且好用的方式嗎？

筆者持保留意見(jiàn)。我是個(gè)年輕人，我想看看更大的世界，不需要你喂養(yǎng)的千篇一律的內(nèi)容。

這里要尬吹一下奈飛神一般的推薦系統(tǒng)了

Netflix的推薦技術(shù)本質(zhì)上回答了兩個(gè)問(wèn)題：

1. 如何提升用戶觀看體驗(yàn)？

2. 如何在內(nèi)容上投用戶所好？

奈飛在每次啟動(dòng)的時(shí)候都會(huì)咨詢：是誰(shuí)在觀看影片？

一個(gè)典型的 Netflix 用戶會(huì)在 60-90 秒的瀏覽后失去興趣，這個(gè)過(guò)程中大概能看到 10-20 部作品，仔細(xì)看過(guò)其中 3 部左右，滑動(dòng)不超過(guò)兩屏。在這之后用戶要么就是找到了自己想要的作品，要么就徹底流失掉。所以推薦系統(tǒng)要做到的就是針對(duì)不同的用戶在這兩屏里，找到自己感興趣的作品，從而留住用戶。

用戶的觀看體驗(yàn)可能收到多方面因素的影響，觀看入口，操作步驟，海報(bào)內(nèi)容等等都有可能對(duì)用戶的觀看體驗(yàn)造成影響，奈飛通過(guò)為每個(gè)用戶建立用戶畫(huà)像，可以迅速定位到觀看的用戶的性別，年齡，過(guò)去看過(guò)的影片，好友信息等內(nèi)容，從而產(chǎn)生一個(gè)stream主頁(yè)，根據(jù)用戶畫(huà)像構(gòu)建了一個(gè)復(fù)雜的推薦系統(tǒng)來(lái)為用戶推薦合乎口味的影片和電視劇。這個(gè)推薦系統(tǒng)的方法包括：

PVR – Personal Video Ranker：記錄你的影片風(fēng)格的偏好，同時(shí)結(jié)合時(shí)下流行來(lái)進(jìn)行推薦以達(dá)到最好的推薦效果。

Top-N Video Ranker：根據(jù)用戶的個(gè)性化推薦計(jì)算出得分最高的條目來(lái)進(jìn)行推薦，和PVR有所不同。PVR是先進(jìn)性優(yōu)先分類，然后再進(jìn)行的個(gè)性化推薦。

Trending Now：當(dāng)前熱點(diǎn)，可以解決以下的三種場(chǎng)景：

• 周期性的觀影需求，比如節(jié)假日或者是特殊的紀(jì)念日。
• 一些突發(fā)事件，類似于時(shí)政要聞。
• 一些熱點(diǎn)事件，諸如碧昂斯劈腿了（大霧）。

Continue Watching：上次沒(méi)看完，這次接著看唄。算法本身也會(huì)做一些預(yù)測(cè)，是真的沒(méi)看完，在追。還是對(duì)這個(gè)節(jié)目不感興趣而直接棄劇?？梢詮挠^影時(shí)間，結(jié)束觀看的時(shí)間戳來(lái)進(jìn)行推薦。

Video-Video Similarity：根據(jù)你觀看的某部電影的相似度來(lái)進(jìn)行計(jì)算，只是基于電影本身的內(nèi)容推薦，但是展示到瀑布流中會(huì)進(jìn)行個(gè)性化篩選。

推薦頁(yè)面最終排序及生成：上面提到的 5 種算法推薦出的過(guò)千個(gè)模塊，會(huì)進(jìn)行統(tǒng)一的排序最終展示給用戶。奈飛使用的算法中針對(duì)不同用戶的使用習(xí)慣做了定制化的方案，不再采用固定的模塊排序。

Evidence：Netflix推薦系統(tǒng)中一個(gè)非常重要的特性就是“evidence”，它的覆蓋面很廣，比如獲得什么獎(jiǎng)項(xiàng)、演員是誰(shuí)、封面圖要放什么。在拿到所有的 evidence 后，Netflix 會(huì)根據(jù)不同的電影和用戶，選擇不同的 evidence 推出去說(shuō)服用戶接受這部電影。這個(gè)舉措不但會(huì)給用戶帶來(lái)信任感，還會(huì)鼓勵(lì)他們更積極地參與到推薦互動(dòng)中來(lái)，給予更多有效反饋。

推薦算法的優(yōu)化

想要在一個(gè)非常大的、復(fù)雜的推薦系統(tǒng)中優(yōu)化算法是一件非常困難的事情，尤其是當(dāng)你想調(diào)成某個(gè)item時(shí)候經(jīng)常會(huì)不知所措，由于?Netflix 幾乎所有收入都來(lái)自于每月用戶的訂閱費(fèi)，而觀看時(shí)間與次月留存也被證明了是正相關(guān)的，因此多種算法和參數(shù)在競(jìng)爭(zhēng)時(shí)都會(huì)以觀看時(shí)長(zhǎng)以及留存率作為比較指標(biāo)。

Netflix 的 A/B test

最初的時(shí)候隨機(jī)選擇部分用戶的推薦算法更換為與當(dāng)前使用的算法不同的另一套算法，這個(gè)過(guò)程會(huì)持續(xù) 2-6 個(gè)月。

回收統(tǒng)計(jì)結(jié)果，制作以下的問(wèn)卷：

• 改動(dòng)后的算法是否激勵(lì)用戶看了更多的電影？
• 算法改動(dòng)后的用戶群體相比傳統(tǒng)用戶整體上是否看了更多的電影？
• 算法改動(dòng)是否提升了續(xù)費(fèi)的比例？

測(cè)試組的大小如何決定？

• 測(cè)試組要選多少用戶進(jìn)來(lái)才具有代表性？比如測(cè)試組留存 50.05%，對(duì)照組留存 49.95%，提升了 0.1%，那我到底需要多少用戶來(lái)實(shí)驗(yàn)才能說(shuō)明這個(gè)提升是真正的提升，而不是選擇的樣本波動(dòng)呢？
• 這里采用了一個(gè)概率模型，假設(shè)留存率和置信區(qū)間存在關(guān)系，比如你現(xiàn)在計(jì)算出的留存是 50%，那么可以在概率模型中找到留存率為50%的位置，如果說(shuō)測(cè)試組和對(duì)照組的差是 0.1%，就往 Y 軸上去查找 0.1%，發(fā)現(xiàn)對(duì)應(yīng)的值是 2000K，這就意味著如果要驗(yàn)證這個(gè)結(jié)果有效，測(cè)試組和對(duì)照組的用戶量級(jí)都必須是 2000K 才可以

Netflix 的 AB test 會(huì)在老用戶及新用戶兩個(gè)群體里分別進(jìn)行。老用戶的好處是量足夠多，可以跑很多實(shí)驗(yàn)。但老用戶已經(jīng)有自己的使用習(xí)慣了，突然換上新的算法，并不能完全體現(xiàn)新算法的實(shí)際表現(xiàn)，因?yàn)橛脩魰?huì)按照自己的歷史經(jīng)驗(yàn)來(lái)使用產(chǎn)品。

因此在新用戶群體中做實(shí)驗(yàn)其實(shí)更好，但問(wèn)題就是新用戶沒(méi)那么多，而且新用戶第一個(gè)月還是免費(fèi)的，那么他們多半不會(huì)在免費(fèi)期去關(guān)閉他們的帳號(hào)。這就意味著面向新用戶的測(cè)試，得在一個(gè)月后，讓他們實(shí)際續(xù)費(fèi)時(shí)，才能得出續(xù)費(fèi)率的統(tǒng)計(jì)結(jié)果。

但整體上來(lái)看，這樣的實(shí)驗(yàn)手段還是太慢了，即使每次實(shí)驗(yàn)都是多種算法多種參數(shù)的組合，但還是慢到他們自己也不太能接受。因此他們用上了 offline experimentation：

舉個(gè)例子，利用一個(gè)用戶兩天之前的所有觀看數(shù)據(jù)，讓各種算法來(lái)計(jì)算接下來(lái)應(yīng)該給該用戶推薦什么電影，然后再去查看這兩天該用戶實(shí)際看了什么電影。計(jì)算這兩者間的重合度，從而去評(píng)判不同算法之間的好壞。

這樣的操作完全依賴歷史數(shù)據(jù)，不用等待，可以不斷的迭代，增刪參數(shù)，改變算法本身。因此運(yùn)作起來(lái)速度很快。

但這種方法也有它的壞處，就是假設(shè)用戶在接受新的推薦后，還是會(huì)去點(diǎn)之前看的那些電影。這個(gè)假設(shè)偶爾成立，但很多場(chǎng)景下也是不成立的。

不過(guò) offline experimentation 還是有它的價(jià)值，就是可以幫助我們快速驗(yàn)證想法，以及發(fā)現(xiàn)一些新的推薦機(jī)會(huì)。

（而且我注意到似乎對(duì)于同一部影片，奈飛推薦給不同的人的stream流都是使用的不同的海報(bào)?？赡芩麄儗?duì)海報(bào)也做了標(biāo)簽吧。

而且，不僅是強(qiáng)大的推薦系統(tǒng)，奈飛的內(nèi)容精細(xì)化程度也很大程度上為其做了質(zhì)量背書(shū)。作為一個(gè)20年高齡，在快餐信息和內(nèi)容為王的時(shí)代依舊屹立不倒的視頻網(wǎng)站，其前瞻性的自制劇的投拍功不可沒(méi)。

本文由 @leon 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于CC0協(xié)議