選單

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

機器之心報道

作者:張倩

自己參與的論文得到頂會審稿人的讚賞本是一件值得開心的事,但 Reddit 上的一位網友卻表示,ta 怎麼都開心不起來。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

這位網友在帖子中寫道:

我與另一個機構某研究小組提交的一篇 ICML 論文有直接關係。在經過最初的審閱後,我意識到論文所依據的基本定理存在客觀的數學錯誤。

對於這一子領域的任一研究者來說,找到違反這一定理的一個反例都毫不費力。但令人意外的是,居然沒有一個審稿人發現這個錯誤,甚至還給出了極高的評分(大機率是接收了)。

由於我只在研究初期參與了這篇論文(比如構建思路和路線圖),所以在論文提交之前,我一直沒有仔細看。

論文中的證明部分利用了新、舊文獻中某個概念兩種定義之間的細微差別。此外,最終版的論文還用到了浮誇的數學符號,使得錯誤難以被發現。在我看來,這種數學寫作風格和矛盾定義的使用似乎是故意為之。

但問題是,如果我現在出面干預,論文的 PI 和負責證明的博士生都會很生氣,前者只讀過摘要,後者有眾所周知的自戀傾向。我不想用自己的職業生涯冒險,因為 PI 是這個領域的大牛,那個博士生與 FANG 公司中的一家有著密切聯絡(該公司的一個 top-5 研究員是 ta「最好的朋友」)。

我在想,如果我什麼也不做,最壞的情況就是被其他人發現這個錯誤,並寫一篇「相反」的論文來反駁我們的錯誤。

我覺得我可能不是唯一一個面臨這一困境的人。大家有人遇到過這種情況嗎?有什麼經驗可以分享嗎?

自己參與的論文有問題,但礙於種種原因不知道該不該發聲,這種情況到底該怎麼辦?很多網友在帖子下面給出了自己的建議。

袖手旁觀肯定是不行的,但行動也要講究方式方法

根據發帖者的描述,他有可能是論文的作者之一,因此,袖手旁觀對於他本人也是有害的。有位網友表示,「如果我發現一篇論文有嚴重錯誤,我不會因為某個作者排在中間而放過他。因為從理論上來說,每個人都要為論文的正確性負責。」

既然不能袖手旁觀,那現在的問題就變成了:「如何指出問題?在此之前要注意什麼?」

對於普通研究者來說,寫出一篇能被頂會接收的論文著實不易。因此,對於該論文的指控也要更加謹慎,首先要確定別人是不是真的錯了。如果自己不太把握,還可以找一個信得過的朋友一起討論。如果大家都認為問題確實存在,再採取下一步行動。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

當然,這一過程也可以和論文主要作者一起完成:你把你發現的反例提供給作者,讓他們就此提供一個說明,看看是你錯了還是他們錯了。提出該建議的網友認為,「這是開啟討論的一種體面方式,不會讓當事人覺得自己受到了侮辱、挑戰或指責。」

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

是否「體面」也取決於方式方法,高情商的人往往會採取比較委婉的方式,比如:「我不確定我對這個定理的理解對不對。你能幫我看看這個方程嗎?」一般來說,不會有人因為別人提出了一個問題就氣急敗壞。如果論文主要作者不是故意犯錯,他們在發現問題之後很有可能會自己修改或撤回論文。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

但這麼做有一個問題:如果作者是明知故犯呢?

如果真的是這樣,溫和的方式可能無法解決問題,還會讓發帖者很尷尬或得罪人。

因此,有網友提供了另一種做法:直接給領域主席寫匿名信。此舉也得到了不少人的支援。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

這本不該是一個兩難問題

由於發帖者提供的資訊著實有限,我們也很難判斷論文作者究竟屬於哪種情況,適用哪種做法。但不可否認的一點是:這種連指出錯誤都需要小心翼翼的學術環境是不正常的,證明 ML 社群確實存在一些問題。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

在帖子中,作者指出了一個問題:論文中採用了一些浮誇的數學符號以及令人迷惑的寫作風格,因此錯誤不易被發現。其實,這一問題在 ML 社群非常常見,有人甚至給它起了個名字,叫「數學牆 」。

「數學牆」指的是論文作者透過堆砌不必要的數學公式讓論文看上去更加「深奧」,以此來提高論文被接收的機率。一位 ML 社群之外的研究者曾批評說,「(數學牆中的)有些定理其實並不適用…… 從這些錯綜複雜的數學定理中唯一獲得的東西就是一些微弱的直覺,這些直覺還可能會被立刻推翻。」

為什麼「數學牆」那麼好用呢?這就需要站在審稿人的位置來思考一下了。近年來,由於頂會論文出現爆炸式增長,ML 社群的審稿人面臨人手短缺、精力透支等各種問題。有人猜測說,一個不太專業的審稿人可能會拒絕自己看不懂的想法,因為 ta 不喜歡這個想法。但在看到「數學牆」之後,ta 可能會給出更加嚴謹的審稿結果,如「弱接收(Weak Accept)」或「弱拒稿(Weak Reject)」。即使審稿人能看懂裡面的數學證明,他八成也沒有時間驗證,從而給出錯誤的接收結果。喜歡用「數學牆」矇混過關的研究者就是利用了這些 bug。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

一位網友表示,自己還因為拒絕使用「數學牆」而吃過虧。為了讓審稿人看懂,他們千方百計地簡化了論文中的證明,但卻被審稿人以「突破性、新穎性不足」為由拒了稿。在 ta 看來,審稿人似乎格外青睞那些複雜但模糊的論文。

參與的論文即將中頂會,但我發現了數學錯誤,到底該不該說?

如今,ML 社群的「數學牆」問題似乎變得越來越嚴重,如果任由其「劣幣驅逐良幣」,原本不願同流合汙的研究者也要被拖下水了。

在這個帖子的下面,還有不少網友給出了自己的看法和建議。如果你有更好的做法,歡迎在評論區與我們分享。

參考連結:

https://www。reddit。com/r/MachineLearning/comments/mdpb6v/d_dilemma_mathematically_wrong_icml_submission/

中文NLP:2021海華AI挑戰賽火熱報名中!

由海華研究院與清華大學交叉資訊研究院聯合主辦的“2021海華AI挑戰賽·中文閱讀理解”正在進行,上屆決賽答辯儀式,姚期智院士為大家深情致辭,所有獲獎選手也都收到了姚先生親筆簽名的證書。