在逛電商平臺(tái)時(shí)，你是否有遇到過這樣的場(chǎng)景：搜索了某款商品，退出搜索頁面后發(fā)現(xiàn)信息流推薦的都是類似或相同類目的商品，基于這一場(chǎng)景，于是有了相似圖/同類目過濾打散策略，來保證呈現(xiàn)準(zhǔn)確與豐富的頁面。一起來學(xué)習(xí)這個(gè)策略吧。

今天接著寫流量體驗(yàn)策略文章系列，這個(gè)系列主要是圍繞消費(fèi)者C端在媒體流量端來介紹的對(duì)應(yīng)策略，我們已經(jīng)講完已購買和負(fù)反饋過濾豁免策略，今天來講講相似圖與同類目打散策略，這個(gè)策略是從消費(fèi)者C端直觀視覺角度出發(fā)優(yōu)化瀏覽體驗(yàn)的重要策略；如果有幫助到大家辛苦幫忙點(diǎn)贊、收藏以及評(píng)論一下，感謝大家對(duì)連續(xù)更新的支持；

目錄：

1、相似圖/同類目過濾策略問題背景

2、相似圖/同類目過濾策略問題設(shè)計(jì)思路

3、對(duì)于相似圖/相似圖打散策略的總結(jié)

一、相似圖/同類目過濾策略問題背景

1.1相似圖/同類目過濾策略問題場(chǎng)景

老規(guī)矩，介紹相似圖/同類目策略定義之前，不知道大家是否在淘寶、京東中遇到過以下場(chǎng)景：

“Arthur今天看中了一雙鞋，就在京東搜索了一下該鞋的款式，等到退出搜索結(jié)果頁面的時(shí)候發(fā)現(xiàn)在我的信息流推薦位滿屏都是該款鞋，無論是圖片的樣式還是款式都是同一款，讓我覺得推薦缺少了那么些多樣性，雖然我知道我目前感興趣，但是也不用對(duì)我進(jìn)行信息轟炸吧，這樣體驗(yàn)太差”，不光是圖片相似，由上述場(chǎng)景還可以延伸到相同的類目上，我搜索了心相印衛(wèi)生紙，就滿屏給我推薦清風(fēng)、品諾等等品牌的衛(wèi)生紙、卷紙以及餐巾紙……

推薦位全屏熊貓dunk鞋

基于以上場(chǎng)景，相似圖/同類目過濾打散策略應(yīng)運(yùn)而生，所以從這個(gè)場(chǎng)景我們了解到，雖然推薦系統(tǒng)對(duì)于召回、排序預(yù)估大部分的樣本來源都來自于用戶的行為樣本，但是我們不能因?yàn)槎虝r(shí)興趣行為序列attention帶來的pCTR偏高，導(dǎo)致推薦喪失了多樣性了，推薦相關(guān)性很重要，但是同時(shí)平衡“推薦多樣性”同樣很重要，這也是前文關(guān)于“新品item冷啟動(dòng)”一文介紹關(guān)于E&E的文章目的，探索消費(fèi)者用戶的興趣多樣也是非常重要的點(diǎn)；

定義：相似圖/同類目打散過濾策略是基于（自然/廣告）推薦結(jié)果在精排環(huán)節(jié)eCPM /rankscore確認(rèn)的情況下，在重排序環(huán)節(jié)對(duì)最終排序結(jié)果實(shí)現(xiàn)打散過濾的策略行為，保證最終在客戶端APP（京東/淘寶）最終準(zhǔn)確與豐富的多樣平衡的策略；

二、相似圖/同類目過濾策略問題設(shè)計(jì)思路

2.1 相似圖/同類目過濾策略總體概述

詳細(xì)策略：

相似圖/同類目過濾策略同樣是在自然推薦/廣告推薦系統(tǒng)在【重排序】環(huán)節(jié)，為什么是重排序環(huán)節(jié)呢？

因?yàn)樗械呐判蚪Y(jié)果將在前端給到用戶進(jìn)行呈現(xiàn)，前面的召回、粗排的結(jié)果都不是最終呈現(xiàn)給到用戶面前item排序的結(jié)果，只有精排結(jié)束之后才能保證無論是廣告排序eCPM/自然推薦排序rank的結(jié)果，所以最終的同相似圖/同類目過濾策略都會(huì)發(fā)生在重排序的環(huán)節(jié)。

2.2 相似圖過濾策略

還是拿上述case舉例，我需要過濾相似圖，我肯定是要找到具體的某個(gè)item前后左右坑位下圖片相似性Similarity，然后把所謂的圖片相似性可量化，最后把高于某個(gè)“閾值”相似的圖片給過濾掉，例如我右上角出了Nike的這雙球鞋圖片那么我應(yīng)該過濾掉后面的這個(gè)sku_id，我們?cè)谂判虍?dāng)中一般會(huì)把排在后面坑的item商品過濾掉，滿足排序貪心算法最優(yōu)解的原則；

問題：由于人類主觀視覺很容易從圖像中抽取出結(jié)構(gòu)信息，計(jì)算兩幅圖像結(jié)構(gòu)信息的相似性就可以用來作為一種檢測(cè)圖像質(zhì)量的好壞；但是模型算法不能直接判別，因此我們就需要用到一些機(jī)器學(xué)習(xí)中對(duì)于相似圖識(shí)別的處理方法來計(jì)算（類似的算法常用于指紋識(shí)別、面部識(shí)別打卡等場(chǎng)景）

常見的相似圖方案有以下幾種：

1）余弦相似度計(jì)算：將圖片進(jìn)行向量化vector處理，通過計(jì)算向量之間的余弦距離來表征兩張圖片的相似度；這種方式比較好理解，就是把相同尺寸的圖片RGB通道數(shù)值化，然后去計(jì)算每個(gè)像素點(diǎn)位的三通道相似值，最后構(gòu)建整體圖片的距離；

2）直方圖計(jì)算圖片的相似度：利用直方圖計(jì)算圖片的相似度時(shí)，是按照顏色的全局分布情況來看待的，無法對(duì)局部的色彩進(jìn)行分析，先吧兩張圖片如果轉(zhuǎn)化成為灰度圖，再計(jì)算其直方圖時(shí)差距，然后在計(jì)算圖片的相似度。

3）SSIM（結(jié)構(gòu)相似度度量）計(jì)算圖片的相似度：SSIM取值范圍[0, 1]，值越大，表示圖像失真越小。在實(shí)際應(yīng)用中，可以利用滑動(dòng)窗將圖像分塊，令分塊總數(shù)為N，考慮到窗口形狀對(duì)分塊的影響，采用高斯加權(quán)計(jì)算每一窗口的均值、方差以及協(xié)方差，然后計(jì)算對(duì)應(yīng)塊的結(jié)構(gòu)相似度SSIM，最后將平均值作為兩圖像的結(jié)構(gòu)相似性度量，即平均結(jié)構(gòu)相似性SSIM。

4）深度學(xué)習(xí)方法：《基于2-channel network的圖片相似度判別》、《圖像檢索、深度感知測(cè)量方法》，其核心思想為深度特征提取+特征向量相似度計(jì)算；深度學(xué)習(xí)的方法更多是從圖片特征語義進(jìn)行解析，例如前景圖是否同為鋼筆/Nike鞋子，背景是否為純色/戶外，來理解兩幅圖片是否相似，而不是簡單的通過圖片的HSV或者RGB通道來判定，目前現(xiàn)在各家大廠都是用的深度學(xué)習(xí)方法來做相似圖判定，準(zhǔn)確率相對(duì)來說會(huì)更高一點(diǎn)；

得到相似圖結(jié)果之后，策略產(chǎn)品需要與算法協(xié)定并實(shí)驗(yàn)【相似度閾值】實(shí)驗(yàn)，可以看上述圖片中的Nike 熊貓dunk鞋子，右上角的圖2和左下角的圖3明顯就更為相似，那么兩圖之間的相似值SSIM就更高一點(diǎn)，而圖2和圖4雖然也都是Nike dunk的鞋子，但是明顯不如圖3相似；因此相似度閾值門檻定在多高其實(shí)也就確定了平臺(tái)對(duì)于相似圖過濾的嚴(yán)苛程度，如果相似圖定的閾值比較低，就會(huì)有大量主體item被誤殺的風(fēng)險(xiǎn)，廣告eCPM排序的最終結(jié)果大量被過濾掉，帶來廣告收入整體的下降；所以閾值定在多少，定什么合適是需要策略產(chǎn)品通過流量AB分桶的方式，確定廣告CPM、CTR以及廣告參競(jìng)率、消耗cost等指標(biāo)得來的結(jié)果，做到效果平衡；

2.3 同類目過濾策略

同類目過濾策略相對(duì)于同圖過濾策略就比較的簡單，屬于在重排序環(huán)節(jié)對(duì)商品信息表進(jìn)行內(nèi)容讀取，其中包含商品一二三級(jí)類目的value值信息，策略產(chǎn)品需要和算法通過重排序過濾實(shí)驗(yàn)，確認(rèn)一個(gè)展示商品隊(duì)列同一三級(jí)類目最多展示數(shù)量，例如當(dāng)同一個(gè)隊(duì)列中超出3個(gè)則過濾掉排序靠后的商品主體item，最終重排序結(jié)束展示到C端用戶面前。

三、對(duì)于相似圖/相同類目打散過濾策略的總結(jié)

相似圖/相同類目打散過略策略在核心作用上是希望豐富推薦系統(tǒng)的多樣性指標(biāo)（雖然CTR相關(guān)性很重要），讓推薦系統(tǒng)的推薦內(nèi)容讓消費(fèi)者C端用戶有逛下去的欲望，提高整個(gè)推薦位的人群曝光坑位數(shù)，探索用戶推薦興趣；一旦推薦系統(tǒng)最終結(jié)果不進(jìn)行打散，為用戶呈現(xiàn)重復(fù)單一的內(nèi)容，就失去了推薦系統(tǒng)秉持著“猜你喜歡”的定位了，既然需要去探索，就需要平衡相關(guān)性與多樣性；這就是做相似圖/相同類目打散策略的出發(fā)點(diǎn)與核心目標(biāo)。