文章通過(guò)教學(xué)爬取招聘數(shù)據(jù)的方式，詳細(xì)剖析了當(dāng)今AI產(chǎn)品經(jīng)理的崗位需求和企業(yè)招聘情況。

商業(yè)情報(bào)領(lǐng)域，有一個(gè)被稱(chēng)為奧地利學(xué)派的理論，他們主要關(guān)注不能量化的信息，而非公式化的信息，認(rèn)為這類(lèi)信息才是高利潤(rùn)的來(lái)源，并且指出商業(yè)情報(bào)工作的重點(diǎn)，應(yīng)該是不能用數(shù)據(jù)或統(tǒng)計(jì)分析方法解決的問(wèn)題。

我個(gè)人其實(shí)很欣賞這個(gè)理論，如果能夠通過(guò)數(shù)據(jù)的統(tǒng)計(jì)分析能夠發(fā)現(xiàn)需求的話(huà)，那么產(chǎn)品經(jīng)理的價(jià)值和意義怎么去體現(xiàn)，產(chǎn)品經(jīng)理真正的價(jià)值應(yīng)該是體現(xiàn)在：用數(shù)據(jù)和統(tǒng)計(jì)分析方法無(wú)法直觀(guān)體現(xiàn)和挖掘需求的數(shù)據(jù)上。

John：

好久不見(jiàn)，我是Kevin。近期也想從產(chǎn)品經(jīng)理轉(zhuǎn)行成為一名AI產(chǎn)品經(jīng)理，我需要做什么樣的準(zhǔn)備呢？

??????????????????????????????????????????????????????????? Kevin

???????????????????????????????????????????????? 2018年9月8日

Kevin:

已經(jīng)收到你的來(lái)信，的確好久不見(jiàn)！既然你想成為一名AI產(chǎn)品經(jīng)理，那我今天先給你說(shuō)一下企業(yè)對(duì)于AI產(chǎn)品經(jīng)理有怎樣的要求吧？

一、爬取招聘數(shù)據(jù)

我們從拉勾上爬取有關(guān)AI產(chǎn)品經(jīng)理的招聘數(shù)據(jù)：

完整的代碼下載地址：

鏈接:https://pan.baidu.com/s/1kZU1vPr49ymazoMrh80ulg? 密碼:b5dz

在范冰的《增長(zhǎng)黑客》一書(shū)中，提到增長(zhǎng)黑客使用的各種方法，包括：A/B 測(cè)試、數(shù)據(jù)抓取、排隊(duì)機(jī)制、提供有損服務(wù)等。由于今天我們的任務(wù)主要是基于數(shù)據(jù)分析的，我們就來(lái)簡(jiǎn)單的了解一下數(shù)據(jù)抓取。

作為產(chǎn)品經(jīng)理、增長(zhǎng)黑客、亦或AI產(chǎn)品經(jīng)理，難免會(huì)在日常工作中需要使用和分析第三方的數(shù)據(jù)，比如百度API Store，聚合數(shù)據(jù)等公開(kāi)的第三方數(shù)據(jù)服務(wù)提供商，從事淘寶客產(chǎn)品的伙伴，可能需要分析淘寶的商品數(shù)據(jù)。

不管是哪一種類(lèi)型的產(chǎn)品經(jīng)理，遇到問(wèn)題的第一時(shí)間，想到的并不是需要用寫(xiě)代碼去解決問(wèn)題(請(qǐng)記住我們是產(chǎn)品經(jīng)理，我們不是負(fù)責(zé)開(kāi)發(fā)的伙伴)，而是利用現(xiàn)有的工具，數(shù)據(jù)的抓取工作也是同樣的道理?，F(xiàn)有的第三方工具，比如八爪魚(yú)(http://www.bazhuayu.com)。

如果現(xiàn)有第三方工具不能滿(mǎn)足需要的情況，例如John的尷尬情況，因?yàn)榘俗︳~(yú)只提供Windows的版本，我的Mac無(wú)法運(yùn)行，所以我選了用Python編寫(xiě)爬蟲(chóng)。而產(chǎn)品經(jīng)理涉及相關(guān)的爬蟲(chóng)工作，我們只需要了解基礎(chǔ)的爬蟲(chóng)程序就可以了，如果要從事比較深入的工作，好吧你可以轉(zhuǎn)行從事開(kāi)發(fā)的工作了，少年！

我們先寫(xiě)一個(gè)最基本的爬蟲(chóng)小程序。

工作：Python2.7

目的：第一個(gè)爬蟲(chóng)程序

第一行代碼是：

# -*- coding:UTF-8 -*-

如果我們是使用的Python工具，第一行代碼一定先寫(xiě)下這句，這是為了使我們?cè)诰帉?xiě)代碼時(shí)，能夠使用中文的注釋或者一些中文字符。

OK我們導(dǎo)入requests庫(kù)，requests庫(kù)的開(kāi)發(fā)者為我們提供了詳細(xì)的中文教程，查詢(xún)起來(lái)很方便，萬(wàn)事請(qǐng)問(wèn)度娘。如果我們需要使用Python進(jìn)行網(wǎng)絡(luò)請(qǐng)求，requests將是我們十分常用的庫(kù)。

import requests

讓我們看下requests.get()方法，它用于向服務(wù)器發(fā)起GET請(qǐng)求，不了解GET請(qǐng)求沒(méi)有關(guān)系。我們可以這樣理解：get的中文意思是得到、抓住，那這個(gè)requests.get()方法就是從服務(wù)器得到、抓住數(shù)據(jù)，也就是獲取數(shù)據(jù)。我們就以百度為例：

if __name__ == ‘__main__’:

target = ‘https://www.baidu.com’

req = requests.get(url=target)

print(req.text)

運(yùn)行程序，我們看到以下結(jié)果：

我們已經(jīng)完成了我們的第一個(gè)小程序。大家可以把鏈接換成其他的鏈接，嘗試一下爬取我們感興趣的內(nèi)容。

再者，我們來(lái)說(shuō)一下比較深入一點(diǎn)的爬蟲(chóng)抓取工程，通常思路：

1. 找到我們目標(biāo)數(shù)據(jù)的API；
2. Python模擬GET請(qǐng)求獲取數(shù)據(jù)；
3. 保存數(shù)據(jù)，等待我們?nèi)ソ议_(kāi)他的神秘面紗。

我們以本次爬取拉勾的招聘數(shù)據(jù)為例，筆者首先找到招聘數(shù)據(jù)的API：

具體的實(shí)現(xiàn)過(guò)程，可以從百度網(wǎng)盤(pán)中下載源碼。

程序運(yùn)行完之后，數(shù)據(jù)如下圖所示：

二、數(shù)據(jù)分析及理解

我們開(kāi)始對(duì)獲取到的數(shù)據(jù)進(jìn)行分析和理解:

鏈接:https://pan.baidu.com/s/1kZU1vPr49ymazoMrh80ulg ?密碼:b5dz

給大家分享一個(gè)模板，我們基礎(chǔ)的數(shù)據(jù)分析和理解工作，也可以參考該模板：

# 1. 準(zhǔn)備

1. # a) 導(dǎo)入類(lèi)庫(kù)
2. # b) 導(dǎo)入數(shù)據(jù)集
3. # c) 初步描述性統(tǒng)計(jì)

# 2. 預(yù)處理數(shù)據(jù)

1. # a) 數(shù)據(jù)清洗
2. # b) 特征選擇
3. # c) 數(shù)據(jù)轉(zhuǎn)換

# 3. 概述數(shù)據(jù)

1. # a) 描述性統(tǒng)計(jì)
2. # b) 數(shù)據(jù)可視化

2.1 導(dǎo)入數(shù)據(jù)

通過(guò)Pandas導(dǎo)入CSV文件，CSV 文件是用逗號(hào)（,）分隔的文本文件。

我們導(dǎo)入數(shù)據(jù)后，可以通過(guò)head方法查看一下我們的數(shù)據(jù)是否正常導(dǎo)入。

Data.head()

我們數(shù)據(jù)已經(jīng)正常導(dǎo)入。

2.2 初步描述性統(tǒng)計(jì)數(shù)據(jù)

我們的數(shù)據(jù)維度：共有450行，11列數(shù)據(jù)。這說(shuō)明我們總共抓取到450條招聘信息，而11列說(shuō)明我們?cè)O(shè)定爬取的參數(shù)時(shí)，設(shè)定了11個(gè)參數(shù)或指標(biāo)。

我們查看數(shù)據(jù)概述數(shù)據(jù)，如果數(shù)據(jù)大部分為數(shù)字或者全是數(shù)值型數(shù)據(jù)的話(huà)，通過(guò)data.describe()方法查看數(shù)據(jù)，能夠幫我們直觀(guān)的看到數(shù)據(jù)的整體情況，比如最大值、最小值、中位數(shù)等數(shù)據(jù)。

由于我們此次抓取的數(shù)據(jù)都是對(duì)象，所以呈現(xiàn)了上述的情況，不過(guò)我們依然可以看到數(shù)據(jù)共有450條，招聘的公司總數(shù)有308條，開(kāi)出的工資條件總共有71種薪水范圍。

數(shù)據(jù)類(lèi)型：

查看數(shù)據(jù)類(lèi)型的重要一點(diǎn)，就是我們需不需要對(duì)數(shù)據(jù)類(lèi)型進(jìn)行轉(zhuǎn)換。

2.3 數(shù)據(jù)清洗

我們進(jìn)行數(shù)據(jù)清洗，通常采用的方式：

1. 刪除空值數(shù)據(jù)；
2. 去除重復(fù)值數(shù)據(jù)；
3. 刪除異常值數(shù)據(jù)；
4. 刪除包含某個(gè)關(guān)鍵詞的數(shù)據(jù)或者不包含某個(gè)關(guān)鍵詞的數(shù)據(jù)。

我們此次采取的是刪除包含某個(gè)關(guān)鍵詞的數(shù)據(jù)：

2.4 對(duì)數(shù)據(jù)進(jìn)行可視化理解

通常我們的數(shù)據(jù)可視化包含：

1. 分布直方圖
2. 箱線(xiàn)圖
3. 線(xiàn)性圖
4. 餅圖
5. 詞云

matplotlib包含了豐富的圖表，大家可以到官網(wǎng)上去選擇自己需要用到的圖表。（matplotlib: https://matplotlib.org）

我們此次用到的首先是餅圖，查看全國(guó)主要城市，對(duì)于AI產(chǎn)品經(jīng)理的招聘情況：

① 全國(guó)主要城市AI產(chǎn)品經(jīng)理的招聘情況：

城市：

• 上海????? 82
• 東莞?????? 1
• 佛山?????? 1
• 北京???? 153
• 南京????? 12
• 南寧?????? 1
• 廈門(mén)????? 11
• 合肥?????? 5
• 天津?????? 3
• 寧波?????? 2
• 常州?????? 1
• 廣州????? 51
• 成都?????? 3
• 杭州????? 64
• 武漢????? 12
• 濟(jì)南?????? 2
• 深圳????? 14
• 珠海?????? 2
• 石家莊????? 1
• 蘇州????? 11
• 西安?????? 4
• 貴陽(yáng)?????? 1
• 鄭州?????? 4
• 重慶?????? 3
• 長(zhǎng)沙?????? 5

從數(shù)據(jù)來(lái)看：北京AI產(chǎn)品經(jīng)理招聘崗位153個(gè)，上海82個(gè)，杭州64個(gè)，廣州51個(gè)。通過(guò)地理分布來(lái)看，AI產(chǎn)品經(jīng)理作為一個(gè)新的產(chǎn)品經(jīng)理品種，仍是集中在北上杭廣三大地區(qū)。

② AI產(chǎn)品產(chǎn)品經(jīng)理工資情況：

AI產(chǎn)品經(jīng)理工資平均數(shù)為16K，25%的伙伴能拿到19K，最高是55K，而最低僅有3K，平均工資在16K左右。由此來(lái)看，AI產(chǎn)品經(jīng)理是產(chǎn)品經(jīng)理這個(gè)種群中高收入的人群，產(chǎn)品經(jīng)理雖然散步在互聯(lián)網(wǎng)行業(yè)的各個(gè)角落，但是AI產(chǎn)品經(jīng)理目前主要分布在并且集中在使用大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、智能家居、車(chē)聯(lián)網(wǎng)等與前沿技術(shù)相關(guān)聯(lián)的公司。雖然技術(shù)的發(fā)展，AI產(chǎn)品將是一個(gè)新的增長(zhǎng)極。

從工資的分布直方圖來(lái)看，主要工資集中在15-20K左右居多，其次為10K-15K左右。從抓取的數(shù)據(jù)來(lái)看，多數(shù)工資的構(gòu)成仍然是普通產(chǎn)品經(jīng)理崗位的工資，10K-15K左右為數(shù)據(jù)產(chǎn)品經(jīng)理的薪資范圍，15-20K是真正屬于AI產(chǎn)品經(jīng)理的崗位薪資。

③ 職位福利：

我們將職位福利這一列的數(shù)據(jù)匯總，按照詞頻生成詞云?？梢?jiàn)五險(xiǎn)一金在職位福利里出現(xiàn)的頻率最高，其次是平臺(tái)，工作氛圍、年終獎(jiǎng)、期權(quán)等。

④ 學(xué)歷要求：

從數(shù)據(jù)來(lái)看，R-squared的值為0.185，說(shuō)明工作經(jīng)驗(yàn)和學(xué)歷僅僅解釋了工資變異性的18.5%。

這一點(diǎn)其實(shí)比較好理解，因?yàn)槲覀冏ト〉臄?shù)據(jù)中，title其實(shí)主要仍然是普通產(chǎn)品經(jīng)理的崗位工作，普通產(chǎn)品經(jīng)理的崗位工作、數(shù)據(jù)產(chǎn)品經(jīng)理，AI產(chǎn)品經(jīng)理的實(shí)際工作內(nèi)容差異還是比較大的。

普通產(chǎn)品經(jīng)理主要仍然是進(jìn)行產(chǎn)品原型設(shè)計(jì)和完成三大文檔的工作；數(shù)據(jù)行產(chǎn)品經(jīng)理可能會(huì)經(jīng)常使用Python、R等工具進(jìn)行工作；AI產(chǎn)品經(jīng)理將設(shè)計(jì)NLP、MPL等方面的工作。另外，各個(gè)公司的規(guī)模和它愿意開(kāi)出的工資也不盡相同。

從這次數(shù)據(jù)分析來(lái)看，Kevin是不是對(duì)去從事AI產(chǎn)品經(jīng)理充滿(mǎn)了信心呢？

Kevin，我們今天看了AI產(chǎn)品經(jīng)理的崗位需求和企業(yè)招聘情況，我們下次聊聊關(guān)于AI產(chǎn)品經(jīng)理在思維上和普通產(chǎn)品經(jīng)理崗位有著怎樣的不同。

相關(guān)閱讀

產(chǎn)品經(jīng)理AI指北（二）：AI產(chǎn)品經(jīng)理思維6頂思考帽

作者：John_Ren，微信公眾號(hào)：產(chǎn)品經(jīng)理與增長(zhǎng)黑客，id: pmgrowth

本文由 @John_Ren 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash，基于 CC0 協(xié)議