奢望AI寫作文?先把校對(duì)干好再說

3 評(píng)論 6115 瀏覽 4 收藏 17 分鐘

在高考作文題目出來之后,許多網(wǎng)友都用AI大模型做起了測(cè)試。那么如果讓AI大模型做簡(jiǎn)單的校對(duì)工作,它們能做好嗎?在本篇文章里,作者就嘗試?yán)肁I大模型進(jìn)行了測(cè)評(píng)對(duì)比,一起來看看本文的測(cè)評(píng)反饋。

連高考作文都能寫,面對(duì)更簡(jiǎn)單的校對(duì)工作,AI大模型能做好嗎?

高考開始后,除了考生之外,最忙碌的可能就是AI大模型們了,有人測(cè)試它寫高考作文,有人測(cè)試它解數(shù)學(xué)應(yīng)用,各家AI大模型,這幾天很忙。

十項(xiàng)全能的AI大模型,連高考考場(chǎng)都敢上,對(duì)于相對(duì)簡(jiǎn)單的校對(duì)工作,是不是更不在話下?對(duì)此,不同的使用人群,有著不一樣的反饋。

今天,潘哥準(zhǔn)備進(jìn)行AI大比武,選取科大訊飛的訊飛星火、百度的文心一言、阿里的通義千問、360的360智腦、以及OpenAI的GPT4,看看同一文本下,這五家AI大模型,誰(shuí)的校對(duì)能力最好。

一場(chǎng)碳基與硅基生物的較量,以及硅基生物之間的較量,即將在這里上演。

一、字詞校對(duì)可以嗎?

對(duì)于AI大模型來說,校對(duì)時(shí)最主要的工作,似乎就是發(fā)現(xiàn)錯(cuò)別字。

對(duì)此,潘哥使用例句:“洛陽(yáng)親友如相問,就說我在岳陽(yáng)樓?!睂ⅰ跋鄦枴惫室忮e(cuò)拼成“翔問”,看看這個(gè)明顯錯(cuò)誤,AI能不能發(fā)覺。

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

潘哥發(fā)現(xiàn),在第一輪測(cè)試中,訊飛星火、文心一言、通義千問、GPT4,都準(zhǔn)確無誤地完成了工作;只有360智腦,潘哥對(duì)它連問兩次,都沒有發(fā)現(xiàn)其中錯(cuò)誤。

在第二輪測(cè)試中,潘哥利用人們鍵盤打字時(shí),容易拼錯(cuò)、選錯(cuò)的失誤,再次給AI挖了個(gè)坑。

潘哥的座右銘詩(shī)句:“我自橫刀向天笑,笑完我就去睡覺。睡醒我再拿起刀,我又橫刀向天笑?!睂ⅰ八选逼闯伞八选?,看看AI能不能校對(duì)出來?

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

這一輪,勝出者只有GPT4;訊飛星火將“水醒”變成了“水星醒”,文心一言一字未改,通義千問和360智腦,都大幅改動(dòng)了原句,其中360智腦的畫風(fēng)略驚悚。

鍵盤拼寫時(shí)出現(xiàn)的錯(cuò)別字,已經(jīng)讓有些AI難以應(yīng)付,對(duì)于博大精深的成語(yǔ),AI能否識(shí)別呢?

為此,潘哥選擇了一句發(fā)瘋文學(xué):“每天上班早起,都有種魂飛魄散的感覺?!睂⑵渲械某烧Z(yǔ)“魂飛魄散”,故意寫作“魂飛魂散”,等著AI跳坑。

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

潘哥發(fā)現(xiàn),這一輪測(cè)試,360智腦、GPT4校對(duì)成功;訊飛星火將“魂飛魂散”,改成了“神游物外”;文心一言兩輪校對(duì),都將前半句改成“每天早上都要早起上班”,可見其對(duì)上班怨念之深,后半句也給潘哥換了成語(yǔ);通義千問兩輪校對(duì)中,則出現(xiàn)了精神分裂,第一次“如釋重負(fù)”,第二次卻“疲憊不堪”。

到這里,潘哥想給AI增加難度,將易拼錯(cuò)、易寫錯(cuò)、四字成語(yǔ)疊加在一起,看看AI如何應(yīng)對(duì)?

為此,潘哥使用喪氣文學(xué):“有錢人終成眷屬,沒錢人親眼目睹,我獨(dú)自坐在路邊,看得清清楚楚?!睂ⅰ扒迩宄备某伞扒嗲宄?,

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

這輪測(cè)試中,訊飛星火、文心一言、GPT4,都輕松完成了工作;通義千問雖然改對(duì)了“清清楚楚”,但固執(zhí)地要把“親眼目睹”改成“只有干瞪眼”;360智腦則認(rèn)為句子無誤。

二、語(yǔ)病能否被發(fā)現(xiàn)?

僅僅讓AI發(fā)現(xiàn)錯(cuò)別字,難度似乎還不夠,一個(gè)合格的校對(duì)人員,還應(yīng)看出文本中的語(yǔ)病。

眾所周知,漢字語(yǔ)序顛倒,有時(shí)并不影響閱讀。因此,潘哥選擇詩(shī)詞新作:“眾里尋他千百度,驀然回首,那人卻在床上穿秋褲。”將后半句語(yǔ)序打亂,變成“那人床上卻在穿秋褲”,看看AI能發(fā)現(xiàn)其中蹊蹺嗎?

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

可以看出,這輪的勝出者,只有GPT4一家;訊飛星火、文心一言都沒有發(fā)現(xiàn)任何錯(cuò)誤;通義千問改對(duì)了語(yǔ)序,卻把“穿秋褲”的人放在了枕上,玩起了高難度動(dòng)作;360智腦同樣改對(duì)了語(yǔ)序,卻畫蛇添足地加了一個(gè)“在”字,生成了另一個(gè)病句。

除了語(yǔ)序錯(cuò)誤之外,文本校對(duì)過程中,還有些更為隱蔽的語(yǔ)病,沒看過《五年高考三年模擬》的AI,對(duì)此會(huì)怎么解?

為此,潘哥自創(chuàng)病句:“去年畢業(yè)的他,現(xiàn)在就職于一家公司的舔狗工作。”看看這道難題,AI大模型能做對(duì)嗎?

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

在這輪測(cè)試中,除了GPT4之外,另外四家AI全部折戟,文心一言更是把“舔狗”直接改成了“助理”;GPT4首輪似乎認(rèn)為“舔狗”二字不合規(guī),被潘哥改成了“助理”之后,成功修改了語(yǔ)病。

具有明顯語(yǔ)病的句子,已經(jīng)讓AI感到吃力;對(duì)于帶有歧義的句子,AI能否辨別出來呢?

為此,潘哥寫下:“在床上‘葛優(yōu)癱’了一天,他突然想起來了?!笨纯催@句帶有歧義的話,AI大模型能校對(duì)出來嗎?

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

這一輪測(cè)試,除了GPT4發(fā)現(xiàn)了其中歧義,其他四家AI再次校對(duì)失?。挥嶏w星火、360智腦對(duì)此表示無誤;文心一言將整個(gè)句子,重新改寫了一遍;通義千問則刪除了“葛優(yōu)”二字。

讓AI大模型在校對(duì)時(shí),主動(dòng)識(shí)別歧義句,潘哥覺得有難度有點(diǎn)大,如果讓AI直接判斷是否具有歧義,效果又會(huì)如何呢?

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

可以看出,在潘哥直接發(fā)問下,文心一言、通義千問、360智腦,都表示句子沒有歧義;訊飛星火指出了解讀歧義,但搞錯(cuò)了造成歧義的原因;而濃眉大眼的GPT4,這次卻臨陣叛變,表示:“這句話沒有明顯的歧義”。

三、AI校對(duì)哪家強(qiáng)?

進(jìn)行了八輪測(cè)試后,潘哥發(fā)現(xiàn),一些AI大模型,總喜歡在校對(duì)時(shí),幫你改寫句子,比如在第三輪測(cè)試中,很多AI開始了自我發(fā)揮。

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

可以看出,除了GPT4之外,另外四家AI大模型,都對(duì)“魂飛魂散”這個(gè)錯(cuò)字成語(yǔ),進(jìn)行了替換。

對(duì)此,潘哥提示大家,在校對(duì)文本過程中,最好在下達(dá)命令前,就告訴AI大模型,不許對(duì)文本進(jìn)行改動(dòng);否則,AI很可能會(huì)放飛自我。

另一邊,AI校對(duì)出現(xiàn)錯(cuò)誤后,如果我們對(duì)其進(jìn)行指正,對(duì)方能虛心接受嗎?對(duì)此,潘哥繼續(xù)采用第三輪測(cè)試文本,和AI進(jìn)行了對(duì)話。

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

奢望AI寫作文?先把校對(duì)干好再說

潘哥發(fā)現(xiàn),訊飛星火和GPT4,立刻接受了指正,文心一言先把話題岔開,對(duì)潘哥打起了感情牌,后來才改正了句子;通義千問和360智腦,雖然承認(rèn)了錯(cuò)誤,但仍然沒有理解潘哥意思。

潘哥發(fā)現(xiàn),OpenAI的GPT4,不僅能夠發(fā)現(xiàn)錯(cuò)別字,還能發(fā)現(xiàn)語(yǔ)病甚至歧義句;不過,對(duì)于文本內(nèi)容的過度敏感,可能會(huì)讓其“罷工”,影響校對(duì)的效率。

另一邊,訊飛星火和文心一言,也能發(fā)現(xiàn)簡(jiǎn)單的錯(cuò)別字,并且能夠?qū)W習(xí)校對(duì)知識(shí),如果持續(xù)訓(xùn)練一段時(shí)間,效果可能會(huì)有所提升。

通義千問和360智腦,在文本校對(duì)過程中,容易替用戶做主,出現(xiàn)修改句子的行為;同時(shí),兩者都比較固執(zhí)己見,如果想用其進(jìn)行校對(duì),恐怕還要再訓(xùn)練一段時(shí)間。

如今的AI大模型,在校對(duì)方面還有很多不足,一些復(fù)雜文本的校對(duì)工作,完全交給AI的話,可能并不讓人放心。

不過,各家AI大模型,都具有持續(xù)學(xué)習(xí)的能力,在不斷的升級(jí)迭代后,AI將會(huì)引起怎樣的變革,誰(shuí)也不敢妄下斷言。

作者:潘哥 ;編輯:三火

來源公眾號(hào):智商稅研究中心(ID:gh_c55b3561ece1),塵世套路深,我替你踩坑!

本文由人人都是產(chǎn)品經(jīng)理合作媒體 @智商稅研究中心 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Unsplash,基于 CC0 協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 牛人

    來自北京 回復(fù)
  2. HAHAHA ,看得我笑噴了,可以考慮弄個(gè)檢測(cè)大模型的題庫(kù)啊

    來自北京 回復(fù)
  3. 你這毫無意義阿,大語(yǔ)言模型本來對(duì)中文的語(yǔ)義理解就比較難處理,本身邏輯能力不是很強(qiáng),所以會(huì)要求你寫好prompt。舉個(gè)例子,你高速AI“10個(gè)”它可能會(huì)理解偉“1”和“0”。這本來就是計(jì)算機(jī) 的缺陷,沒必要犟。

    來自廣東 回復(fù)