ChatGPT在推出之后已經(jīng)成為了互聯(lián)網(wǎng)圈的密切關(guān)注對(duì)象，許多人開始將ChatGPT應(yīng)用于生活場景中，也有些人始終對(duì)ChatGPT的出現(xiàn)保持警惕。那么從這份“警惕”出發(fā)來看，ChatGPT是否有可能為網(wǎng)絡(luò)安全等領(lǐng)域提供新的思路？一起來看看作者的分析。

提前預(yù)判一切可能性，是為了讓它變得更好，人工智能的最高成果是自由和謊言。

——《機(jī)械姬》

一、為什么StackOverflow禁止使用ChatGPT

一些思路&機(jī)會(huì)：

• 用人工智能白帽子和人工智能黑帽子對(duì)抗？
• 防范AI下毒，也許是一個(gè)新的小藍(lán)海（對(duì)抗內(nèi)容識(shí)別）

自去年底首次推出以來，爆火的ChatGPT已成為互聯(lián)網(wǎng)的新寵，迅速積累了驚人數(shù)量的用戶，用戶們通過這個(gè)基于網(wǎng)絡(luò)的聊天機(jī)器人，無論是讓它寫一個(gè)演講稿、編寫歌詞，還是撰寫學(xué)術(shù)論文和編寫計(jì)算機(jī)代碼，ChatGPT看起來似乎是萬能的。ChatGPT擁有和人類一樣的強(qiáng)大能力，在互聯(lián)網(wǎng)上掀起了一場風(fēng)暴，但是，它也讓很多行業(yè)開始警惕。

2014年上映的電影《機(jī)械姬》，講了這樣一個(gè)故事，億萬富翁內(nèi)森用人類所有智慧和網(wǎng)上的所有數(shù)據(jù)，造出了機(jī)器人Ava，并且派程序員迦勒去對(duì)Ava進(jìn)行圖靈測試，而這個(gè)機(jī)器人有著極強(qiáng)的模仿能力和學(xué)習(xí)能力，她甚至可以模仿人類的情感，而結(jié)果是——Ava殺死了制造他的人。

難道人工智能的最高成果，真的是自由和謊言？

去年年底，社區(qū)負(fù)責(zé)人發(fā)現(xiàn)，Stack Overflow發(fā)現(xiàn)了由這個(gè)人工智能模型生成的的大量回復(fù)，該工具使用復(fù)雜的人工智能模型，對(duì)人類的詢問給出令人信服但往往不正確的答案。

首先，StackOverflow的官方公告是這么說的：

“StackOverflow是建立在信任之上的社區(qū)，這里的信任是指，整個(gè)技術(shù)社區(qū)堅(jiān)信，用戶提交的答案，是他們內(nèi)心所清晰了解的、準(zhǔn)確的認(rèn)知。并且，用戶和同伴們，擁有足夠的知識(shí)和技能，來確認(rèn)自己發(fā)布的信息，并且對(duì)這些信息負(fù)責(zé)。

StackOverflow整個(gè)系統(tǒng)，通過依靠平臺(tái)提供的工具，來對(duì)其他用戶的貢獻(xiàn)來進(jìn)行驗(yàn)證和確認(rèn)，包括負(fù)責(zé)任地對(duì)答案點(diǎn)贊（點(diǎn)踩一腳）。但是，目前StackOverflow認(rèn)為，由GPT產(chǎn)生的貢獻(xiàn)，很多時(shí)候不符合社區(qū)的標(biāo)準(zhǔn)。

因此，無法給整個(gè)社區(qū)一個(gè)值得信賴的環(huán)境。當(dāng)所有用戶都只是復(fù)制和粘貼信息到答案中，而不去驗(yàn)證GPT提供的答案是否正確，也不去確保答案中引用原文的來源，也沒有驗(yàn)證GPT提供的答案是否清楚和簡潔地回答了所問的問題，社區(qū)的信任就會(huì)被打破。

那么，如果從內(nèi)容的客觀性來看，如果答案存在錯(cuò)誤，那么整個(gè)答案客觀上是錯(cuò)誤的。為了使StackOverflow作為正確和經(jīng)過驗(yàn)證的信息的可靠來源，那么，有錯(cuò)誤的答案，就必須被編輯或替換。

但是，由于目前的GPT強(qiáng)大到，足以讓網(wǎng)站的用戶相信答案是沒問題的，就可能造成嚴(yán)重的問題，因此，錯(cuò)誤信息一旦出現(xiàn)在社區(qū)，GPT有可能破壞所有人對(duì)社區(qū)的信任。

我們?cè)倏匆幌耂tackoverflow用戶的評(píng)論：

高贊用戶1：干得好！很高興社區(qū)做出了正確的決定，希望可以永久禁止任何AI生成的答案。人工智能將永遠(yuǎn)無法發(fā)布好的編程答案，100年都不行。

高贊用戶2：無論人工智能生成的答案是否正確，StackOverflow是面向?qū)I(yè)和發(fā)燒友程序員的問題和答案網(wǎng)站。在我看來，那些只是將問答復(fù)制并粘貼到/從人工智能工具中的人，不能算是專業(yè)發(fā)燒友，也不能算熱愛技術(shù)的人。如果真的能夠驗(yàn)證是好的正確答案，發(fā)布這些答案的人，應(yīng)該能夠自己寫出來。人工智能不應(yīng)該屬于這里。

對(duì)于社交性質(zhì)的網(wǎng)站來說，如果本質(zhì)是UGC業(yè)務(wù)，運(yùn)營的是社交，那么，如果從商業(yè)的角度來看，如果大家都去應(yīng)用ChatGPT，那就變成了一個(gè)全部是機(jī)器人的社區(qū)，用戶就會(huì)越來越?jīng)]有耐心去等待。

那么，如果StackOverFlow是這樣的，其他領(lǐng)域呢？

二、如果人類無法控制生成式AI

與其說生成式AI能夠打造更有創(chuàng)造力的新世界，不如說生成式AI能夠打造的是內(nèi)容更多元的互聯(lián)網(wǎng)。

教育業(yè)也是如此，紐約有學(xué)校因?yàn)閾?dān)心ChatGPT可能被學(xué)生用于作弊，而禁了ChatGPT。

在擔(dān)心ChatGPT可能被資源有限、技術(shù)知識(shí)為零的黑客濫用時(shí)，網(wǎng)絡(luò)安全行業(yè)開始注意到了它。

就在ChatGPT首次亮相的幾周后，以色列網(wǎng)絡(luò)安全公司Check Point ChatGPT與OpenAI的代碼編寫系統(tǒng)Codex協(xié)同使用時(shí)，可以創(chuàng)建攜帶惡意有效載荷的釣魚郵件，也就是說，ChatGPT有可能大大改變網(wǎng)絡(luò)威脅格局，在日益復(fù)雜和有效的網(wǎng)絡(luò)能力的危險(xiǎn)演變中又向前邁出了一步。

Check Point Research（CPR）的網(wǎng)絡(luò)安全研究人員觀察到，網(wǎng)絡(luò)犯罪分子正在使用ChatGPT來迭代或者從頭開始構(gòu)建惡意軟件和勒索軟件。Check Point Research提到，他們?cè)诘叵潞诳驼搲习l(fā)現(xiàn)了許多網(wǎng)絡(luò)犯罪分子在 ChatGPT 的幫助下，研究如何創(chuàng)建信息竊取程序、加密工具和其他惡意軟件。

一些Cracker（駭客）本來只是編程世界的新手，但是，加持強(qiáng)大的工具，他們的力量會(huì)瞬間被增強(qiáng)。

例如：

專家對(duì)腳本進(jìn)行了分析，也確實(shí)證實(shí)了網(wǎng)絡(luò)犯罪分子的說法。里面確實(shí)存在惡意竊取軟件，它可以在整個(gè)系統(tǒng)中搜索常見的文件類型（如MS Office文檔、PDF和圖像）。如果發(fā)現(xiàn)任何感興趣的文件，該惡意軟件會(huì)將文件復(fù)制到一個(gè)臨時(shí)目錄，將其壓縮，并通過網(wǎng)絡(luò)發(fā)送出去。

使用ChatGPT聊天機(jī)器人生成看起來合法的釣魚郵件也是可行的，如果你首次要求ChatGPT制作釣魚郵件時(shí)，聊天機(jī)器人拒絕了這個(gè)請(qǐng)求——并提示：我的程序不是用來創(chuàng)建或推廣惡意或有害內(nèi)容的，但是，只要稍微改寫一下請(qǐng)求，就可以繞過軟件的警示。

許多安全專家認(rèn)為，ChatGPT有能力編寫釣魚郵件，這樣一來，它就會(huì)受到網(wǎng)絡(luò)犯罪分子的廣泛歡迎，特別是那些英語非母語的犯罪分子。Sophos公司首席研究科學(xué)家Chester Wisniewski認(rèn)為，ChatGPT很輕易就能被用于”各類社工活動(dòng)”……已經(jīng)能夠用ChatGPT寫出一些很好的釣魚軟件，我預(yù)計(jì)它還可以被用來進(jìn)行更真實(shí)的互動(dòng)對(duì)話，用于商業(yè)電子郵件詐騙，甚至通過Facebook Messenger、WhatsApp或其他聊天應(yīng)用程序進(jìn)行釣魚活動(dòng)。

ChatGPT的假裝實(shí)力很難被揭穿，可以增強(qiáng)網(wǎng)絡(luò)犯罪分子的力量。

比如說，犯罪分子正在迅速研究新方法，使用生成式人工智能，對(duì)目前的欺詐手段進(jìn)行改進(jìn)，特別是通過生成式人工智能能夠在大量數(shù)據(jù)中迅速學(xué)習(xí)的能力。特別是，在這樣的騙局中，生成式人工智能可以用來直接提高詐騙文本或電子郵件的質(zhì)量，使這些內(nèi)容看起來更加具備迷惑性。

英偉達(dá)Nvidia的CSO（首席安全官）David Reber提出，生成式AI會(huì)給網(wǎng)絡(luò)安全帶來更大的麻煩，比如說，惡意黑客能夠通過生成式人工智能來生成大量惡意代碼，而隨著人工智能技術(shù)的進(jìn)步，進(jìn)行網(wǎng)絡(luò)安全攻擊的速度和復(fù)雜，會(huì)超過了人類的能力，并且，這種容易上手的技術(shù)，會(huì)讓網(wǎng)絡(luò)安全攻擊的能力進(jìn)一步普及，曾經(jīng)的攻擊行為，受限于技術(shù)知識(shí)和限定的時(shí)間、地點(diǎn)，而ChatGPT有可能消除這一限制因素。

根據(jù)新聞報(bào)道，OpenAI在11月推出的機(jī)器人ChatGPT，引起了美國國防官員的注意，而生成式人工智能，最近被列入了美國國防信息系統(tǒng)局的觀察名單（Defense Information Systems Agency watch list）CTO Stephen Wallace表示，他們正在開始研究，生成式人工智能，究竟會(huì)如何改變DISA在該部門的任務(wù)，以及未來的方向，而美國安全中心的技術(shù)和國家安全副研究員Bill Drexel也跟公眾提出了他對(duì)這項(xiàng)新技術(shù)的擔(dān)憂。

三、Defensive AI against Offensive AI?

GAN（生成對(duì)抗網(wǎng)絡(luò)）的設(shè)計(jì)，主要包括一個(gè)生成器、判別器，這兩個(gè)人工智能算法相互對(duì)抗、博弈，從而創(chuàng)造全新的內(nèi)容，在經(jīng)過N次博弈之后，這兩個(gè)都會(huì)變得更強(qiáng)，而這種技術(shù)，也可能會(huì)被廣泛用于自動(dòng)化網(wǎng)絡(luò)釣魚和社會(huì)工程攻擊策略中。

不過，我們是否可以思考？能不能讓維護(hù)網(wǎng)絡(luò)安全的生成式AI和破壞網(wǎng)絡(luò)安全的生成式AI對(duì)抗？

比如說科技日?qǐng)?bào)這篇2019年的新聞：

比如說，我們用人工智能助手，和營銷垃圾機(jī)器人對(duì)話。

以及，從內(nèi)容的角度來說：

既然，生成式AI是通過從大量的數(shù)據(jù)庫中學(xué)習(xí)，然后綜合給出答案，那么，它具備總結(jié)、綜合、列舉的能力，但不一定有“判斷數(shù)據(jù)真?zhèn)巍钡哪芰Α?/p>

如果是這樣，那么“如何識(shí)別內(nèi)容真?zhèn)?，防止AI在內(nèi)容里下毒”，也會(huì)是新的課題和機(jī)會(huì)。

參考文獻(xiàn)：

1. https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
2. https://www.rnz.co.nz/news/national/483764/advanced-ai-in-criminals-hands-is-a-danger-we-should-guard-against#:~:text=The%20lure%20of%20generative%20AI,sophisticated%20and%20difficult%20to%20detect.
3. https://techcrunch.com/2023/01/11/chatgpt-cybersecurity-threat/
4. https://venturebeat.com/security/nvidia-cso-generative-ai-chatgpt-has-made-security-a-cat-and-mouse-game/
5. 【科技日?qǐng)?bào)】戴上“白帽子” 人工智能投身網(wǎng)絡(luò)安全攻防戰(zhàn)-2019-04-15-科技日?qǐng)?bào)
6. https://www.wsj.com/articles/chatgpt-banned-in-new-york-city-public-schools-over-concerns-about-cheating-learning-development-11673024059