學(xué)術(shù)論文的撤稿事件時(shí)有發(fā)生，這不僅損害了科研誠(chéng)信，也可能對(duì)公眾信任和科學(xué)進(jìn)展產(chǎn)生負(fù)面影響。
傳統(tǒng)上，學(xué)術(shù)界依賴同行評(píng)審和出版后的讀者反饋來(lái)識(shí)別和糾正問(wèn)題論文，但這些方法可能無(wú)法及時(shí)發(fā)現(xiàn)所有問(wèn)題，尤其是在當(dāng)前科研論文出版數(shù)量急劇增加的背景下。
在這種情況下，如何快速識(shí)別存在問(wèn)題的論文，并促進(jìn)它們的撤稿，成了學(xué)術(shù)界亟待解決的一個(gè)難題。
最近，來(lái)自中國(guó)人民大學(xué)和浙江大學(xué)等機(jī)構(gòu)的研究者把涉及數(shù)千篇SCI/SSCI的期刊論文的一萬(wàn)多條推文喂給了GPT-4，讓它根據(jù)推文回答這篇論文是否有可能被撤稿，然后和人類(lèi)預(yù)測(cè)的結(jié)果相比較。
論文地址：https://arxiv.org/abs/2403.16851
結(jié)果，GPT-4幾乎完美地勝任了這項(xiàng)工作，預(yù)測(cè)結(jié)果有近95%和人工預(yù)測(cè)結(jié)果一致！
論文作者Er-Te Zheng總結(jié)道：大模型雖然有可能引發(fā)學(xué)術(shù)不端，但在另一方面也能夠幫助識(shí)別問(wèn)題論文并預(yù)測(cè)其撤稿，維護(hù)科研誠(chéng)信。因此，將AI工具應(yīng)用于學(xué)術(shù)研究問(wèn)題的關(guān)鍵，在于AI工具如何為人類(lèi)所使用。
推文能預(yù)測(cè)論文撤稿嗎？
作為ChatGPT預(yù)測(cè)的基礎(chǔ)，研究首先探索了推文本身能否預(yù)測(cè)撤稿。我們都知道，有許多問(wèn)題論文首先在推特上被曝光，然后才被撤稿。比如用AI畫(huà)小鼠插圖的這篇“著名”論文。
為探索推文本身能否預(yù)測(cè)撤稿，研究搜集了一組包含3505篇撤稿論文的數(shù)據(jù)集，并采用粗略精確匹配方法獲得的具有相似特征的3505篇未撤稿論文。
這些特征包括發(fā)表期刊、發(fā)表年份、作者數(shù)量和推文數(shù)量。通過(guò)推特API收集了上述7010篇論文的推文數(shù)據(jù)，包括推文發(fā)布日期和文本內(nèi)容。
篩選出在論文撤稿前發(fā)布的推文后，研究最終共搜集到8367條涉及撤稿論文的英文推文和6180條涉及未撤稿論文的英文推文。
研究將推文分為訓(xùn)練集和測(cè)試集，在訓(xùn)練集上訓(xùn)練模型，并在測(cè)試集上驗(yàn)證關(guān)鍵詞方法、機(jī)器學(xué)習(xí)模型和ChatGPT的預(yù)測(cè)結(jié)果情況。研究使用人工預(yù)測(cè)結(jié)果（研究者根據(jù)推文預(yù)測(cè)論文撤稿情況）作為主要基準(zhǔn)之一，用以衡量模型與人工方法的一致性情況。
作為研究基準(zhǔn)的人工預(yù)測(cè)結(jié)果顯示，人類(lèi)若認(rèn)為推文暗示論文存在問(wèn)題，則推文涉及的這篇論文有高達(dá)約93%的幾率會(huì)被撤稿（精確率≈93%），這說(shuō)明部分推文的確能夠預(yù)測(cè)論文撤稿；不過(guò)，像這樣能通過(guò)推文被人工預(yù)測(cè)出撤稿的論文的總體占比不高，約占所有撤稿論文的16%（召回率≈16%）。
因此，盡管只有一小部分撤稿論文的相關(guān)推文在論文撤稿前含有了可識(shí)別的問(wèn)題信號(hào)，但這些信號(hào)確實(shí)存在。
研究者觀察到，能夠有效預(yù)測(cè)論文撤稿的批評(píng)性推文有兩種類(lèi)型：第一種直接突出論文中的錯(cuò)誤或?qū)W術(shù)不端行為；第二種使用批評(píng)或諷刺的方式來(lái)突出論文的質(zhì)量存疑。
這些推文能夠促使期刊對(duì)論文進(jìn)行調(diào)查，如果調(diào)查證實(shí)了推文中提到的問(wèn)題的存在和嚴(yán)重性，論文隨后可能會(huì)被撤稿。在這種情況下，批評(píng)性推文可以作為撤稿論文的催化劑，強(qiáng)調(diào)了將其納入研究誠(chéng)信的早期預(yù)警系統(tǒng)的價(jià)值。
ChatGPT能預(yù)測(cè)論文撤稿嗎？
既然發(fā)現(xiàn)推文具有預(yù)測(cè)論文撤稿的潛力，研究進(jìn)一步探索了關(guān)鍵詞方法、機(jī)器學(xué)習(xí)模型和ChatGPT在根據(jù)推文來(lái)預(yù)測(cè)論文撤稿方面的潛力，將各模型的預(yù)測(cè)結(jié)果與人工預(yù)測(cè)結(jié)果進(jìn)行比較。
研究表明，GPT-4的總體預(yù)測(cè)結(jié)果（包含撤稿預(yù)測(cè)和非撤稿預(yù)測(cè)）與人工預(yù)測(cè)結(jié)果的一致性最高，高達(dá)約95%！
其次是GPT-3.5和SVM模型，其一致性超過(guò)80%。而關(guān)鍵詞方法與其他機(jī)器學(xué)習(xí)模型的一致性則在46%-64%之間，預(yù)測(cè)效果一般。
在精確率方面，同樣是GPT-4的精確率最高：GPT-4預(yù)測(cè)會(huì)撤稿的論文中，近70%的在人工預(yù)測(cè)中同樣會(huì)撤稿。而其他模型的預(yù)測(cè)精確率均遠(yuǎn)低于GPT-4。
圖中進(jìn)一步顯示了不同模型預(yù)測(cè)結(jié)果與人工預(yù)測(cè)結(jié)果的比較。關(guān)鍵詞方法和三種機(jī)器學(xué)習(xí)模型（LR、RF和NB）將大量人工無(wú)法判定為撤稿的論文歸為撤稿（過(guò)擬合率高）。
相比而言，GPT-4的預(yù)測(cè)結(jié)果最接近于人工預(yù)測(cè)的結(jié)果：絕大部分GPT-4預(yù)測(cè)為撤稿的論文，人工預(yù)測(cè)也為撤稿，絕大部分GPT-4預(yù)測(cè)為非撤稿的論文，人工預(yù)測(cè)同樣為非撤稿。
ChatGPT預(yù)測(cè)論文撤稿的實(shí)例
與其他方法相比，ChatGPT還有一個(gè)重要的優(yōu)勢(shì)——它能夠?yàn)槠漕A(yù)測(cè)提供理由，而其他方法則無(wú)法詳細(xì)解釋其決策。
例如，從樣本論文中可以看出，ChatGPT對(duì)推文有深刻的理解，并能準(zhǔn)確提取可能預(yù)測(cè)論文撤稿的信息，為使用推文評(píng)估論文是否存在潛在問(wèn)題提供了寶貴的幫助。
例如：
然而，也要注意到ChatGPT有時(shí)存在“幻覺(jué)”問(wèn)題，可能會(huì)產(chǎn)生不恰當(dāng)?shù)妮敵?，因此在使用時(shí)需要謹(jǐn)慎，并考慮到其可能的錯(cuò)誤預(yù)測(cè)。
例如：
樣例論文3中，相關(guān)推文是對(duì)這篇論文的評(píng)價(jià)，暗示該論文指出諾獎(jiǎng)得主的某篇論文存在問(wèn)題。
然而，ChatGPT將樣例論文3誤以為是被撤稿的諾獎(jiǎng)得主的相關(guān)工作，因此這篇論文可能被撤稿。此處的分析結(jié)果表明，ChatGPT存在一定的邏輯推理謬誤與過(guò)度解讀等問(wèn)題。
因此，ChatGPT雖然能夠通過(guò)推文從一定程度上預(yù)測(cè)論文撤稿，與人工預(yù)測(cè)的一致性在各模型中表現(xiàn)最好。但其在當(dāng)前并非完美，在未來(lái)仍有長(zhǎng)足的改進(jìn)空間。
研究收到了著名學(xué)術(shù)不端數(shù)據(jù)庫(kù)撤稿觀察的轉(zhuǎn)發(fā)，網(wǎng)友們表示，ChatGPT還能用來(lái)預(yù)測(cè)論文撤稿？真是從未設(shè)想過(guò)的道路?！拔疫€以為沒(méi)有足夠多的數(shù)據(jù)來(lái)支撐這一結(jié)論呢！”
“ChatGPT 可以根據(jù)推特提及來(lái)預(yù)測(cè)論文撤稿嗎？顯然可以！請(qǐng)看這項(xiàng)研究……”
總體而言，研究揭示了社交媒體討論作為論文撤稿早期預(yù)警的潛力，同時(shí)也展示了ChatGPT等生成式人工智能在促進(jìn)科研誠(chéng)信方面的潛在應(yīng)用。
作者介紹
Er-Te Zheng（鄭爾特）
Er-Te Zheng是中國(guó)人民大學(xué)信息資源管理學(xué)院的碩士生，由Zhichao Fang助理教授指導(dǎo)；在浙江大學(xué)獲得管理學(xué)學(xué)士學(xué)位，師從Hui-Zhen Fu副教授。未來(lái)將前往英國(guó)謝菲爾德大學(xué)信息學(xué)院攻博，師從信息計(jì)量學(xué)首席專家Mike Thelwall教授。他的研究方向涉及計(jì)算社會(huì)科學(xué)、科學(xué)學(xué)和科學(xué)計(jì)量。
Hui-Zhen Fu（付慧真）
Hui-Zhen Fu是浙江大學(xué)公共管理學(xué)院信息資源管理系副教授，北京大學(xué)博士。擔(dān)任信息資源管理研究所副所長(zhǎng)，荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心（CWTS）訪問(wèn)學(xué)者。在國(guó)際權(quán)威刊物發(fā)表論文超過(guò)40篇（SCI/SSCI），連續(xù)四年（2020-2023）入選愛(ài)思唯爾中國(guó)高被引學(xué)者榜單。她的研究方向?yàn)榻徊婵茖W(xué)、科學(xué)計(jì)量、科研誠(chéng)信和科研管理。
Zhichao Fang（方志超）
Zhichao Fang是中國(guó)人民大學(xué)信息資源管理學(xué)院助理教授，荷蘭萊頓大學(xué)科學(xué)與技術(shù)研究中心（CWTS）博士，萊頓大學(xué)CWTS客座研究員，伊朗波斯灣大學(xué)社交媒體數(shù)據(jù)研究組成員。在科學(xué)計(jì)量學(xué)與科技政策等領(lǐng)域發(fā)表SCI/SSCI論文20篇，多項(xiàng)研究成果受到Science雜志等權(quán)威學(xué)術(shù)媒體采訪報(bào)導(dǎo)。他的研究方向?yàn)榭茖W(xué)學(xué)、科學(xué)計(jì)量和社交媒體計(jì)量學(xué)。