Lancet 讀者投書爭議有感 / 用 AI 該注意的事

 

 

 

 

作者:蔡依橙

 

最近熱議的那篇 Lancet 讀者投書,整個過程實在很令人感慨。

 

跟學術比較不相關的討論,我這邊就跳過了。我能理解,剛起步的研究者,希望自己名字登上頂尖期刊的心情。但這個案例剛好可以說明,刊登出來白紙黑字後,是會被全世界檢驗的,包括自己的本國同行,大家連 supplementary materials 都會去看。

 

 

AI 的建議用法與注意事項

 

這讓我想到的是,最近有越來越多的新手同學開始使用 AI 工具,包括萃取資料、文獻引用等等,簡單下個指令都能瞬間噴出大量文字與資料,但我個人對這些進階的應用領域比較保守。

 

我認為,目前 AI 工具最可靠的是翻譯,但即使是翻譯,之後我一定會全文自己仔細看過。偶爾還是會有錯,而那些錯通常來自於給 AI 的中文就已經不精確。這個領域的可靠度,可以到 99% 左右。

 

但直接請 AI 去做文獻引用,這個正確率雖然最近有提升,但大概就是從全部亂講,到四成亂講的程度。也就是 60% 左右的準確性。

 

而 PDF 萃取資訊的能力,更是慘不忍睹。雖然網路上總有一些很成功的案例,但你真的去嘗試過,就知道那相當不可靠,我們自己同事還遇過,你給他這篇 PDF 請他介紹內容,結果 AI 生出了與 PDF 內容完全無關的細節。

 

糟到這種程度,你每次都要手動檢查,還不如一開始自己讀摘要,自己去看看圖表找數據。

 

 

水能載舟,亦能覆舟。

 

這幾年,是 AI 最紅的時候,所以如果有人說,AI 什麼什麼做不到,就會被人打臉,說「應該怎樣怎樣用」才對。「是你不會用,不是 AI 做不到。」

 

但事實是,你如果真的去怎樣怎樣用,例如自己寫程式串接 API,或者使用進階推理功能,這些所花掉的時間還不如自己看。而且用 API 或進階推理生出來的東西,也沒辦法保證正確,你還是得要自己檢查一次。

 

只要是壓上自己名字的作品,稿件中的每一個字跟數字,所有的文獻查核、數據查核,都得要自己手動處理過。

 

如果,資訊是錯誤的,又幸運登上頂尖期刊,那才真是麻煩的開始。就像過去一週的風波一樣。壓上名字的是「你」(不是 AI 或其他人),全世界批評的是你(不是 AI 或其他人)。

 

 

學會正確使用工具的重要性

 

像這次造成這樣的風波,建議可以找位資深研究者,瞭解學術界習慣且對文獻資訊引用很細膩小心的長輩,協助確認並擔任 correction 的指導,應能把這次風波有效平息。而該醫師所屬醫院,也在事發後快速發表正式聲明,正式致函期刊社要求撤稿。

 

認識正確的資料萃取法、統計法、研究論文書寫方法,很重要。

 

只有如此,那麼多的工具,才能為你所用。而不是被工具搞砸自己的名聲。

 

 

近期課程

 

 

本篇發表於 醫學研究 並標籤為 AI, AI寫論文, AI工具, lancet, 文獻引用, 期刊, 統計法, 蔡依橙, 論文寫作, 論文書寫。將永久鏈結加入書籤。