在過去的幾年裡，AI 語言模型已經可以非常出色的處理一些特定任務。其中，最值得注意的是，它們擅長預測文字字串中的下一個單詞。以搜尋引擎和簡訊應用為例，這項技術可以輔助它們進行預測，以獲取你準備輸入的下一個單詞。
最新一代的預測語言模型似乎也學會了一些語言的潛在含義。讓人驚歎的是，這些模型不僅可以預測下一個單詞，還可以執行似乎需要一定理解才能完成的任務，如問答、文件摘要和故事續寫。
這些模型旨在最佳化預測文字的特定功能，而非試圖模仿人類大腦如何執行這項任務或理解語言。但 MIT 神經科學家的一項新研究表明，這些模型的潛在功能類似於人類大腦中的語言處理中心的功能。
這篇論文寫道：“我們的研究結果表明，預測性人工神經網路可作為預測語言處理如何在人類神經組織中實施的可行候選假設。這些網路為一個有前途的研究方向奠定了關鍵基礎，即在整合逆向工程的良性迴圈中將自然語言處理的高效能模型與人類語言理解的大規模神經和行為測量相結合，包括測試模型預測神經和行為的能力，剖析表現最佳的模型以瞭解哪些元件對高大腦預測性至關重要，利用這些知識開發更好的模型，並收集新資料以挑戰和限制未來幾代神經上合理的語言處理模型”。
在其他型別的語言任務中，表現良好的計算機模型並未展示出與人類大腦的這種相似性，這為人腦可能會使用下一個單詞預測來驅動語言處理提供了證據。
認知神經科學的 Walter A。 Rosenblith 教授 Nancy Kanwisher 說，“模型預測下一個單詞的能力越強，就越符合人類的大腦”。他是 MIT 麥戈文腦科學研究所和大腦、心智和機器中心（CBMM， Brain Research and Center for Brains， Minds， and Machines）的成員，也是這項新研究的作者之一。
“令人驚訝的是，這些模型擬合得如此之好，這也有力地暗示出，也許人類語言系統正在做的就是預測接下來會發生什麼。”
該研究論文題為“The neural architecture of language： Integrative modeling converges on predictive processing”，已發表在Proceedings of the National Academy of Sciences上。
語言處理的人工神經網路模型與人類語言處理的比較。實驗測試了不同模型的效果預測人類神經活動（fMRI 和 ECoG）的測量值和語言理解過程中的行為。候選模型範圍從簡單將模型嵌入到更復雜的迴圈和變壓器網路中。刺激範圍從句子到段落再到故事，並且被輸入到模型，以及呈現給人類參與者（視覺或聽覺）。模型的內部表徵在三個主要維度上進行評估：預測人類神經表徵的能力；以閱讀時間的形式預測人類行為的能力；執行下一個詞預測等任務的計算能力。
做預測任務
這種新的、高效能的預測下一個單詞的模型屬於深度神經網路模型的範疇。這些網路包含計算“節點”，它們形成不同強度的連線，以及以規定的方式在彼此之間傳遞資訊的層。
在過去的十年裡，科學家們用深度神經網路建立了視覺模型，可以像靈長類大腦一樣識別物體。MIT 的研究也表明，視覺物體識別模型的潛在功能與靈長類視覺皮層的組織相匹配，儘管這些計算機模型並不是專為模仿大腦而設計的。
在這項新研究中，MIT 研究團隊採用了類似的方法，以比較人腦中的語言處理中心和語言處理模型。
他們分析了 43 種不同的語言模型，涵蓋一些對單詞進行預測最佳化的模型。其中包括 GPT-3（生成式預訓練 Transformer 3），它可以依據給出的提示，生成與人類手動生成相類似的文字。而其他的模型則旨在執行不同的語言任務，比如在句子中填空。
由於每個模型都有一串單詞，研究人員測量了構成網路節點的活動。
然後者的然後，他們將這些模式與人類大腦中的活動進行了比較，並對執行三種語言任務的受試者進行了測量：聽故事、一次讀一個句子，以及每次讀一個單詞的句子。這些人體資料集包括功能性磁共振成像（fMRI， functional magnetic resonance imaging）資料和接受癲癇腦手術患者的顱內皮層腦電圖測量。
結果表明，效能最好的單詞預測模型的活動模式與人腦中的活動模式非常相似。這些相同模型中的活動與人類行為指標高度相關，例如，人們閱讀文字的速度。
Schrimpf 說，“我們發現，能夠很好地預測神經反應的模型也傾向於以閱讀時間的形式最好地預測人類的行為反應。然後透過下一個單詞預測的模型效能來解釋這兩個問題。這個三角形真的把一切聯絡在一起。”
改變遊戲規則
預測模型（如 GPT-3）的關鍵計算特性之一，是一個稱為正向單向預測 transformer 的元件。這種 transformer 能夠根據之前的序列預測接下來會發生什麼。它的顯著特徵在於，可以基於文字中篇幅較大的上下文（數百個單詞）進行預測，而不僅僅是最後幾個單詞。
Tenenbaum 說，科學家還沒有發現任何與這種處理方式相對應的大腦回路或學習機制。不過，新的發現與先前提出的假設保持著高度一致，即預測是語言處理的關鍵功能之一。
“語言處理的挑戰之一是它的實時性，”他強調到。“語言輸入進來後，你必須跟上它的節奏，並且能夠實時理解它的含義。”
研究人員現在計劃構建這些語言處理模型的變體，以瞭解其結構的微小變化是如何影響效能表現和適應人類神經資料的能力的。
“對我來說，這個結果改變了遊戲規則，” Fedorenko 說道。“這完全改變了我的研究專案，因為我沒有預料到，在我有生之年，會得到這些計算清晰的模型。這些模型能夠捕捉到足夠多的大腦資訊，這樣我們就可以真正利用它們來理解大腦的工作原理。”
研究人員還計劃嘗試將這些高效能語言模型與 Tenenbaum 實驗室先前開發的一些計算機模型相結合，這些模型可以執行一些其他型別的任務，比如，構建物理世界的感知表徵等。
Tenenbaum 說，“如果我們能夠理解這些語言模型的作用，以及它們如何與那些更像是做感知和思考的模型相聯絡，那麼，我們很可能會得到更多關於大腦如何工作的綜合性模型。這可能會讓我們構建出更完善的、效能更佳的 AI 模型。當然，我們也可以更多地瞭解大腦究竟如何工作，以及通用智慧是如何出現的，以豐富過去的知識盲區。”
版權申明：凡本公眾號內容註明【原創】的，內容版權歸本作者所有，未標註【原創】的圖片與文字內容均轉載自網路，版權歸原創者所有，圖片和文字如有侵權煩請告知我們，我們會立即刪除。謝謝！
