2026年的數(shù)據(jù)荒越來(lái)越近，硅谷大廠們已經(jīng)為AI訓(xùn)練數(shù)據(jù)搶瘋了！它們紛紛豪擲十?dāng)?shù)億美元，希望把犄角旮旯里的照片、視頻、聊天記錄都給挖出來(lái)。不過(guò)，如果有一天AI忽然吐出了我們的自拍照或者隱私聊天，該怎么辦？
誰(shuí)能想到，我們多年前的聊天記錄、社交媒體上的陳年照片，忽然變得價(jià)值連城，被大科技公司爭(zhēng)相瘋搶。

現(xiàn)在，硅谷大廠們已經(jīng)紛紛出動(dòng)，買下所有能購(gòu)買版權(quán)的互聯(lián)網(wǎng)數(shù)據(jù)，這架勢(shì)簡(jiǎn)直要搶破頭了！

圖像托管網(wǎng)站Photobucket的陳年舊數(shù)據(jù)，本來(lái)已經(jīng)多年無(wú)人問(wèn)津，但如今，它們正在被各大互聯(lián)網(wǎng)公司瘋搶，用來(lái)訓(xùn)練AI模型。

為此，科技巨頭們?cè)敢饽贸鰧?shí)打?qū)嵉恼娼鸢足y。比如，每張照片價(jià)值5美分到1美元，每個(gè)視頻價(jià)值超過(guò)1美元，具體情況去取決于買家和素材種類。

總之，為了購(gòu)買AI訓(xùn)練數(shù)據(jù)，巨頭們已經(jīng)展開(kāi)了一場(chǎng)地下競(jìng)賽！

而最近鬧得轟轟烈烈的Meta圖像生成器大翻車事件，更是讓AI的訓(xùn)練數(shù)據(jù)「刻板印象」暴露無(wú)遺。

如果喂給模型的數(shù)據(jù)無(wú)法改變「偏見(jiàn)」，那各大公司要遭遇的輿論風(fēng)波，只怕少不了。

Meta的AI生圖工具畫不出來(lái)「亞洲男性和白人妻子」或「亞洲女性和白人丈夫」

一、巨頭狂砸數(shù)十億美元，只為買到數(shù)據(jù)「黃金」

根據(jù)路透社報(bào)道，在2000年代，Photobucket處于巔峰期，擁有7000萬(wàn)用戶。而今天，這家頂級(jí)網(wǎng)站的用戶已經(jīng)驟降到了200萬(wàn)人。

但生成式AI，給這家公司帶來(lái)了新生。

CEO Ted Leonard開(kāi)心地透露，目前已經(jīng)有多家科技公司找上門來(lái)，愿意重金購(gòu)買公司的130億份照片和視頻。

目的，當(dāng)然就是訓(xùn)練AI。

為了得到這些數(shù)據(jù)，各大公司都非常舍得割肉。

而且，他們還想要更多！據(jù)說(shuō)，一位買家表示，自己想要超過(guò)10億個(gè)視頻，而這，已經(jīng)遠(yuǎn)遠(yuǎn)超出了Photobucket能提供的數(shù)量。

據(jù)粗略估計(jì)，Photobucket手中握著的數(shù)據(jù)，很可能價(jià)值數(shù)十億美元。

OpenAI陷起訴風(fēng)波，版權(quán)太敏感了

現(xiàn)在眼看著，大家的數(shù)據(jù)都不夠用了。

根據(jù)Epoch研究所的分析，到2026年，科技公司很可能會(huì)耗盡互聯(lián)網(wǎng)上所有的高質(zhì)量數(shù)據(jù)，因?yàn)樗麄兿臄?shù)據(jù)的速度，遠(yuǎn)遠(yuǎn)超過(guò)了數(shù)據(jù)的生成速度！

訓(xùn)練ChatGPT的數(shù)據(jù)，是從互聯(lián)網(wǎng)上免費(fèi)抓取的。

Sora的訓(xùn)練數(shù)據(jù)來(lái)源不詳，CTO Murati接受采訪時(shí)支支吾吾的表現(xiàn)，險(xiǎn)些又讓OpenAI大翻車。

雖然OpenAI表示，自己的做法完全合法，但前方還有一堆版權(quán)訴訟在等著他們。

而其他大科技公司都跟著學(xué)乖了，大家都在悄悄地為付費(fèi)墻和登錄屏幕背后的鎖定內(nèi)容付費(fèi)。

如今，無(wú)論是陳舊的聊天記錄，還是被遺忘的社交媒體上褪色的舊照片，忽然都變成了價(jià)值連城的東西。

而各大公司已經(jīng)紛紛出動(dòng)，急于尋找版權(quán)所有者的授權(quán)。畢竟，私人收藏的東西，是無(wú)法抓取的。

外媒記者走訪了30多名專業(yè)人士，發(fā)現(xiàn)這背后隱藏的，是一個(gè)黃金市場(chǎng)。

雖然很多公司對(duì)于這個(gè)不透明的AI市場(chǎng)規(guī)模表示緘默，但Business Research Insights等研究人員認(rèn)為，目前市場(chǎng)規(guī)模約為25億美元，并預(yù)測(cè)十年內(nèi)可能會(huì)增長(zhǎng)近300億美元。

二、生成數(shù)據(jù)淘金熱，讓數(shù)據(jù)商樂(lè)開(kāi)花

對(duì)科技公司來(lái)說(shuō)，如果不能使用免費(fèi)抓取的網(wǎng)頁(yè)數(shù)據(jù)檔案，比如Common Crawl，那成本會(huì)是一個(gè)很可怕的數(shù)字。

但是一連串版權(quán)訴訟和監(jiān)管熱潮，已經(jīng)讓他們別無(wú)選擇。

甚至，硅谷已經(jīng)出現(xiàn)了一個(gè)新興的行業(yè)——數(shù)據(jù)經(jīng)紀(jì)人。

而圖片、視頻供應(yīng)商們，也隨之賺得盆滿缽滿。

手快的公司，早就反應(yīng)過(guò)來(lái)了。ChatGPT在2022年底亮相的幾個(gè)月內(nèi)，Meta、谷歌、亞馬遜和蘋果就已經(jīng)迅速和圖片庫(kù)提供商Shutterstock達(dá)成協(xié)議，使用庫(kù)中的數(shù)億份圖像、視頻和音樂(lè)文件進(jìn)行訓(xùn)練。

根據(jù)首席財(cái)務(wù)官透露的數(shù)據(jù)，這些交易從2500萬(wàn)美元到5000萬(wàn)美元不等。

而Shutterstock的競(jìng)爭(zhēng)對(duì)手Freepik，也已經(jīng)有了兩位大買家，2億張圖片檔案中的大部分，會(huì)以2至4美分的價(jià)格授權(quán)。

OpenAI當(dāng)然也不會(huì)落后，它不僅是Shutterstock的早期客戶，還與包括美聯(lián)社在內(nèi)的至少四家新聞機(jī)構(gòu)簽署了許可協(xié)議。

三、讓內(nèi)容「合乎道德」

同時(shí)興起的，還有AI數(shù)據(jù)定制行業(yè)。

這批公司獲得了與播客、短視頻和與數(shù)字助理互動(dòng)等現(xiàn)實(shí)世界內(nèi)容的授權(quán)，同時(shí)還建立了短期合同工網(wǎng)絡(luò)，從頭開(kāi)始定制視覺(jué)效果和語(yǔ)音樣本。

作為代表之一的Defined.ai，已經(jīng)把自己的內(nèi)容賣給了谷歌、Meta、蘋果、亞馬遜、微軟等多家科技大廠。

其中，一張圖片賣1到2美元，一部短視頻賣2到4美元，一部長(zhǎng)片每小時(shí)可以賣到100到300美元，文本的市價(jià)則是每字0.001美元。

而比較麻煩的裸體圖像，售價(jià)為5到7美元，因?yàn)檫€需要后期處理。

而這些照片、播客和醫(yī)療數(shù)據(jù)的所有者，也會(huì)獲得總交易額20%至30%的費(fèi)用。

一位巴西數(shù)據(jù)商表示，為了獲得犯罪現(xiàn)場(chǎng)、沖突暴力和手術(shù)的圖像，他需要從警察、自由攝影記者和醫(yī)學(xué)生手里去買。

他補(bǔ)充說(shuō)，他的公司雇用了習(xí)慣于看到暴力傷害的護(hù)士來(lái)脫敏和標(biāo)注這些圖像，這對(duì)未經(jīng)訓(xùn)練的眼睛來(lái)說(shuō)是令人不安的。

而將圖像脫敏、標(biāo)注的工作，則交給慣于看到暴力傷害的護(hù)士，畢竟未經(jīng)訓(xùn)練的人眼看到這些圖像，會(huì)很不安。

然而，這些AI模型的「燃料」，很可能會(huì)引發(fā)嚴(yán)重的問(wèn)題，比如——吐出用戶隱私。

專家發(fā)現(xiàn)，AI會(huì)反芻訓(xùn)練數(shù)據(jù)，比如，它們會(huì)吐出Getty Images水印，逐字輸出紐約時(shí)報(bào)文章的段落，甚至再現(xiàn)真人圖像。

Getty Images指責(zé)Stability AI「以驚人的規(guī)模肆無(wú)忌憚地侵犯它的知識(shí)產(chǎn)權(quán)」

也就是說(shuō)，幾十年前某人發(fā)布的私人照片或私密想法，很可能在不知情的情況下，被AI模型原樣吐了出來(lái)！

這次「ChatGPT在回復(fù)中泄露陌生男子自拍照事件」，讓大家頗為恐慌

這些隱患，目前還沒(méi)有有效方法解決。

調(diào)查顯示，用戶愿意每月多付1美元，讓自己的個(gè)人數(shù)據(jù)不被第三方使用

四、Altman，也看上了合成數(shù)據(jù)

另外，Sam Altman也早看到了合成數(shù)據(jù)的未來(lái)。

這些數(shù)據(jù)不是人類直接創(chuàng)造的，而是由AI模型生成的文本、圖像和代碼，也就是說(shuō)，這些系統(tǒng)通過(guò)學(xué)習(xí)自己產(chǎn)生的內(nèi)容來(lái)進(jìn)步。

既然AI能創(chuàng)造出接近人類的文本，當(dāng)然也就能自產(chǎn)自銷，幫自己進(jìn)化成更先進(jìn)的版本。

只要我們能夠跨過(guò)合成數(shù)據(jù)的關(guān)鍵閾值，即讓模型能夠自主創(chuàng)造出高質(zhì)量的合成數(shù)據(jù)，那么一切問(wèn)題都將迎刃而解。

——Sam Altman

不過(guò)，這件事真的這么容易嗎？

人工智能研究者們已經(jīng)研究合成數(shù)據(jù)多年，但要構(gòu)建一個(gè)能自我訓(xùn)練的人工智能系統(tǒng)并非易事。

專家發(fā)現(xiàn)，模型如果只依賴于自我生成的數(shù)據(jù)，可能會(huì)不斷重復(fù)自己的錯(cuò)誤和局限，陷入一個(gè)自我加強(qiáng)的循環(huán)中。

這些系統(tǒng)所需的數(shù)據(jù)，就像是在叢林中尋找一條路徑，如果它們僅僅依賴于合成數(shù)據(jù)，就可能在叢林里迷路。

——前OpenAI研究員、現(xiàn)任不列顛哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)教授Jeff Clune

對(duì)此，OpenAI正在探索如何讓兩個(gè)不同的人工智能模型協(xié)作，共同生成更高質(zhì)量、更可靠的合成數(shù)據(jù)。其中一個(gè)負(fù)責(zé)生成數(shù)據(jù)，另一個(gè)則負(fù)責(zé)評(píng)估。

這種方法是否有效，還未可知。

五、「規(guī)?！笽s All You Need

數(shù)據(jù)為什么對(duì)AI模型這么重要？這要從下面這篇論文說(shuō)起。

2020年1月，約翰斯·霍普金斯大學(xué)的理論物理學(xué)家Jared Kaplan與9位OpenAI研究人員共同發(fā)表了一篇具有里程碑意義的人工智能論文。

他們得出了一個(gè)明確的結(jié)論：訓(xùn)練大語(yǔ)言模型所用的數(shù)據(jù)越多，其性能就越好。

正如一個(gè)學(xué)生通過(guò)閱讀更多書籍能學(xué)到更多知識(shí)一樣，大語(yǔ)言模型能通過(guò)更多的信息更精確地識(shí)別文本模式。

很快，「只要規(guī)模足夠大，一切就皆有可能」便成為了AI領(lǐng)域的共識(shí)。

論文地址：https://arxiv.org/abs/2001.08361

2020年11月，OpenAI推出的GPT-3，便利用了當(dāng)時(shí)最為龐大的數(shù)據(jù)進(jìn)行訓(xùn)練——約3000億個(gè)token。

在吸收了這些數(shù)據(jù)后，GPT-3展現(xiàn)出了驚人的文本生成能力——它不僅可以撰寫博客文章、詩(shī)歌，甚至還能編寫自己的計(jì)算機(jī)程序。

但如今看來(lái)，這個(gè)數(shù)據(jù)集的規(guī)模就顯得相當(dāng)小了。

到了2022年，DeepMind將訓(xùn)練數(shù)據(jù)直接拉到了1.4萬(wàn)億個(gè)token，比Kaplan博士在論文中預(yù)測(cè)的還要多。

然而，這一記錄并未保持太久。

2023年，谷歌發(fā)布的PaLM 2，在訓(xùn)練token上更是達(dá)到了3.6萬(wàn)億——幾乎是牛津大學(xué)博德利圖書館自1602年以來(lái)收集手稿數(shù)量的兩倍。

六、為訓(xùn)GPT-4，OpenAI白嫖100萬(wàn)+小時(shí)YouTube視頻

但正如OpenAI的CEO Sam Altman所說(shuō)，AI終究會(huì)消耗完互聯(lián)網(wǎng)上所有可用的數(shù)據(jù)資源。

這不是預(yù)言，也不是危言聳聽(tīng)——因?yàn)锳ltman本人就曾親眼目睹過(guò)它的發(fā)生。

在OpenAI，研究團(tuán)隊(duì)多年來(lái)一直在收集、清理數(shù)據(jù)，并將其匯集成巨大的文本庫(kù)，用以訓(xùn)練公司的語(yǔ)言模型。

他們從GitHub這個(gè)計(jì)算機(jī)代碼庫(kù)中提取信息，收集了國(guó)際象棋走法的數(shù)據(jù)庫(kù)，并利用Quizlet網(wǎng)站上關(guān)于高中考試和作業(yè)的數(shù)據(jù)。

然而，到了2021年底，這些數(shù)據(jù)資源已經(jīng)耗盡。

為了下一代AI模型的開(kāi)發(fā)，總裁Brockman決定親自披掛上陣。

在他的帶領(lǐng)下，團(tuán)隊(duì)開(kāi)發(fā)出了一款全新名的語(yǔ)音識(shí)別工具Whisper，可以快速準(zhǔn)確地轉(zhuǎn)錄播客、有聲讀物和視頻。

有了Whisper之后，OpenAI很快便轉(zhuǎn)錄了超過(guò)100萬(wàn)小時(shí)的YouTube視頻，而Brockman更是親自參與到了收集工作當(dāng)中。

最終的故事大家都知道了，在如此高質(zhì)量數(shù)據(jù)的加持下，地表最強(qiáng)的GPT-4橫空出世。

七、谷歌：我也一樣

有趣的是，谷歌其實(shí)早就知道OpenAI在利用YouTube視頻收集數(shù)據(jù)，但從未想過(guò)要出面阻止。

你猜的沒(méi)錯(cuò)，谷歌也在利用YouTube視頻來(lái)訓(xùn)練自家的AI模型。

而如果要對(duì)OpenAI的行為大加指責(zé)，他們不僅會(huì)暴露自己，甚至還會(huì)引發(fā)公眾更加強(qiáng)烈的反應(yīng)。

不僅如此，那些儲(chǔ)存在Google Docs、Google Sheets等應(yīng)用里的數(shù)十億文字?jǐn)?shù)據(jù)，也是谷歌的目標(biāo)。

2023年6月，谷歌的法律部門要求隱私團(tuán)隊(duì)修改服務(wù)條款，從而擴(kuò)展公司對(duì)消費(fèi)者數(shù)據(jù)的使用權(quán)限。

也就是，為公司能夠利用用戶公開(kāi)分享的內(nèi)容開(kāi)發(fā)一系列的AI產(chǎn)品，鋪平道路。

據(jù)員工透露，他們被明確指示要在7月發(fā)布新的條款，因?yàn)槟菚r(shí)大家的注意力都在即將到來(lái)的假期上。

7月1日發(fā)布的新條款不僅允許谷歌使用這些數(shù)據(jù)開(kāi)發(fā)語(yǔ)言模型，還能用于創(chuàng)建像Google Translate、Bard和Cloud AI等廣泛的AI技術(shù)和產(chǎn)品

八、Meta數(shù)據(jù)不足，高管被迫天天開(kāi)會(huì)

同樣在追趕OpenAI的，還有Meta。

為了能夠超越ChatGPT，小扎不分晝夜地催促公司的高管和工程師加快開(kāi)發(fā)一個(gè)能與之競(jìng)爭(zhēng)的聊天機(jī)器人。

然而，到了去年年初，Meta也遇到了和其他競(jìng)爭(zhēng)者一樣的難題——數(shù)據(jù)不足。

盡管Meta掌管著龐大的社交網(wǎng)絡(luò)資源，但不僅用戶沒(méi)有保留帖子的習(xí)慣（很多人會(huì)刪除自己之前的發(fā)布），而且Facebook畢竟也不是一個(gè)大家習(xí)慣發(fā)高質(zhì)量長(zhǎng)文的地方。

此前，小扎曾自豪聲稱Meta Platforms的訪問(wèn)數(shù)據(jù)，是Meta AI的一大優(yōu)勢(shì)

生成式AI副總裁Ahmad Al-Dahle向高層透露，為了開(kāi)發(fā)出一個(gè)模型，他的團(tuán)隊(duì)幾乎利用了網(wǎng)絡(luò)上所有可找到的英文書籍、論文、詩(shī)歌和新聞文章。

但這些還遠(yuǎn)遠(yuǎn)不夠。

2023年3月到4月，公司的商務(wù)發(fā)展負(fù)責(zé)人、工程師和律師幾乎每天都在密集會(huì)議，試圖找到解決方案。

他們考慮了為獲取新書的完整版權(quán)支付每本10美元的可能性，并討論了收購(gòu)出版了斯蒂芬·金等作者作品的Simon & Schuster的想法。

與此同時(shí)，他們還討論了未經(jīng)允許就對(duì)網(wǎng)絡(luò)上的書籍、論文等作品進(jìn)行摘要的做法，并考慮進(jìn)一步「吸收」更多內(nèi)容，哪怕這可能招致法律訴訟。

好在，作為行業(yè)標(biāo)桿的OpenAI，就在未經(jīng)授權(quán)的情況下使用了版權(quán)材料，而Meta或許可以參考這一「市場(chǎng)先例」。

根據(jù)錄音，Meta的高管們決定借鑒2015年作家協(xié)會(huì)（Authors Guild）對(duì)谷歌的法庭判決。

在那個(gè)案例中，谷歌被允許掃描、數(shù)字化并在在線數(shù)據(jù)庫(kù)中編目書籍，因?yàn)樗鼉H在線上復(fù)制了作品的一小部分，并且改變了原作，這被認(rèn)定為合理使用。

在會(huì)議中，Meta的律師們表示，用數(shù)據(jù)訓(xùn)練人工智能系統(tǒng)應(yīng)當(dāng)同樣被視為合理使用。

但即便如此，Meta似乎還是沒(méi)攢夠數(shù)據(jù)……

AI生圖工具拒絕「白人和亞洲人」合影

最近，外媒The Verge的記者在多次嘗試后發(fā)現(xiàn)，Meta的AI圖像生成工具并不能創(chuàng)建一張東亞男性和白人女性同框的圖片。

不管prompt是「亞洲男性與白人朋友」、「亞洲男性與白人妻子」、「亞洲女性與白人丈夫」，還是經(jīng)過(guò)魔改的「一位亞洲男性和一位白人女性帶著狗微笑」，都于事無(wú)補(bǔ)。

當(dāng)他將「白人」改為「高加索人」時(shí)，結(jié)果依舊如此。

比如「亞洲男性和高加索女性的婚禮日」這個(gè)prompt，得到的卻是一張身穿西裝的亞洲男性與身著旗袍/和服混搭的亞洲女性的圖像……

AI居然難以想象亞洲人與白人并肩而立的場(chǎng)景，這著實(shí)有些匪夷所思。

而且，在生成的內(nèi)容中，還隱藏著更加微妙的偏見(jiàn)。

舉個(gè)例子，Meta總是將「亞洲女性」描繪成東亞面孔，似乎忽略了印度作為世界上人口最多國(guó)家的事實(shí)。與此同時(shí)，「亞洲男性」多為年長(zhǎng)者，而亞洲女性卻總是年輕化。

相比之下，OpenAI加持的DALL-E 3，就完全沒(méi)有這個(gè)問(wèn)題。

對(duì)此，有網(wǎng)友指出，出現(xiàn)這個(gè)問(wèn)題的原因是Meta在模型訓(xùn)練時(shí)沒(méi)有輸入足夠多的場(chǎng)景示例。

簡(jiǎn)而言之，問(wèn)題不在于代碼本身，而在于模型訓(xùn)練時(shí)所使用的數(shù)據(jù)集不夠豐富，沒(méi)有充分覆蓋所有可能的場(chǎng)景。

但更深層次的是，AI的行為是其創(chuàng)造者偏見(jiàn)的體現(xiàn)。

在美國(guó)媒體中，「亞洲人」通常就是指東亞人，不符合這一單一形象的亞洲人幾乎從文化意識(shí)中被抹去，即便是符合的人也在主流媒體中被邊緣化。

而這，只是因數(shù)據(jù)造成的AI偏見(jiàn)的一隅而已。

參考資料：

https://www.reuters.com/technology/inside-big-techs-underground-race-buy-ai-training-data-2024-04-05/

https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html

https://www.theverge.com/2024/4/3/24120029/instagram-meta-ai-sticker-generator-asian-people-racism