金磊 詹士 發自 凹非寺
量子位 報道 ｜公眾號 QbitAI
最近認識了一個“網友”，不是東北人，東北話理解力卻滿分。
或許你會說，這些對話看起來很日常啊。
其實，他不是人，而是來自百度的AI對話機器人。
之所以能跟人類聊天如此絲滑，靠的是全球首個百億引數中英文預訓練對話生成模型——PLATO-XL。
效果之驚豔，連外媒都趕著來報道：
加大難度，能hold住嗎？
有第三方關注報道當然不夠，為檢驗這個AI是不是假把式，我決定增加對話難度，考考他。
就問問他一些名人吧，例如劉天王。
萬萬沒想到，它不僅認識劉天王，還能自行列舉更多港星：
可以可以，是個品位不錯的AI了。
繼續加大難度——
粵語走起。
竟然粵語也能輕鬆駕馭？
而且和普通話切換也如此自如，有夠驚豔的了，確實還沒見過這麼「會聊天」的AI。
絲滑對話，是怎麼做到的？
看完上面我與AI的對話，一個大大的疑惑或許已經在你的腦中產生：
到底是怎麼做到的？
背後的殺手鐧，正是PLATO-XL。
正如剛才提到的，它是全球首個百億引數預訓練對話生成模型。
百億引數規模，可以說是讓這個AI能夠流暢對話的關鍵之一。
簡單來說，就好比增加了大腦中的神經元數量，會讓腦子更聰明，更能理解你說的話。
結構方面，PLATO-XL一個非常鮮明的特點，就是將Transformer結構做了一個統一。
如此一來，就可以同時對“對話理解”和“回覆生成”進行建模，引數效率會更高。
除此之外，在多輪對話中，往往還會存在不一致性問題。
這是因為訓練資料是從社交媒體中收集，會摻雜不同人的想法。
而學習到的模型往往會混合來自上下文中多個參與者的資訊，從而難以產生一致的回覆。
為了解決這一問題，PLATO-XL引入了多角色感知的預訓練，這有助於模型區分上下文中的資訊，並在對話生成中保持一致性。
以上便是與百度PLATO對話能夠如此絲滑的原因了。
在與其它模型橫向比較過程中，不僅是中文，英文對話的表現也是較為突出。
而且在剛剛落下帷幕的對話系統技術挑戰賽DSTC10（全球人工智慧頂級學術競賽之一）中，百度PLATO的表現也是格外亮眼。
要知道，為了更接近真實場景，這次競賽題目專門加入ASR識別錯誤干擾資料。
簡單來說，就是拿一些錯誤，甚至不精準地表達，難為AI。我們以小度智慧音箱的互動為例。比如對話中要求AI：「小度，播放周杰倫那個氣球歌」，其實背後的需求是要聽《告白氣球》。
更拉高實現門檻的是，競賽中主辦方還不提供任何相關的訓練資料。
為應對上面真實且複雜的要求，百度團隊提出了一種叫做多層級資料和知識增強框架。
同時依託PLATO對話預訓練模型的能力，進行對話狀態追蹤任務的端到端建模，根據多輪對話上文生成意圖和槽位。
還透過對已有對話進行實體替換、基於對話動作隨機遊走、口語模擬增強，構造得到了數十萬的多輪口語對話，解決了訓練資料匱乏的難題。
此外，百度還創新地提出了知識增強的對話策略。先透過精確識別對話意圖與相關的知識需求，然後利用知識召回模型從大規模知識庫中召回知識，最後模型結合上下文整合知識生成答覆。
如同人在回答一些不瞭解的專業問題也需要查閱資料，知識增強的方法使對話系統具備了“臨時查閱”的能力，能夠更加專業、更加精準地回答問題。
還是以小度智慧音箱的具體使用場景為例：
-“小度小度，我想聽大夢一場空。”
-“好的，一首徐海俏的《空》送給你。”
當其他人還在搜尋“大夢一場空是什麼歌”的時候，小度已經為你播放了出來；
正是精準高效地完成主辦方提出的技術挑戰，百度團隊在對話狀態追蹤任務中的聯合目標準確率（Joint Goal Accuracy）達到0。4616，超越第二名十個百分點。
但其實，百度團隊在PLATO-XL之前，便已經在人機對話方面取得了較好的表現。
例如更早的PLATO-2，相關論文被ACL 2021收錄，這時候的人機對話就已經沒有那麼得“尬”了。
而此次在引數規模更大、架構方法更優的情況下，就會讓人和AI得聊天更加絲滑、無障礙。
開放領域對話，為什麼這麼重要？
其實除了百度，全球各家科技巨頭，都在不遺餘力的在開放領域對話中發力。
像微軟、谷歌、Facebook等，均在這兩年推出了自家的大模型，例如DialoGPT、Meena、Blender等。
這是因為讓機器具備與人交流的能力，是人工智慧領域長久以來的一項重要工作，同時也是一項極具挑戰的任務。
早在1951年，圖靈在《計算機與智慧》一文中便提出了大名鼎鼎的圖靈測試，提出用人機對話來測試機器智慧水平。
此後，學者們也是嘗試著各種方法研究建立對話系統。
不同於特定領域對話，開放領域對話，沒有像客服、車載助手那些場景的限制，其定位在於：讓機器擁有更擬人的有知識、有邏輯、有情感的對話能力。
隨著技術趨勢的變化，開放領域對話的發展也呈現出了不一樣的方向。
例如深度學習興起後，業界前後陸續提出了基於卷積神經網路、迴圈神經網路、注意力機制等各種對話方法。
而這兩年，大規模預訓練模型又成為了技術的一種風向標，全球範圍內都發力於此。隨著引數的不斷龐大，AI也越發的智慧化，直接會在人機對話中有所體現，也就是我們經常說的不“尬聊”，此次百度公佈的PLATO-XL，正是該趨勢的一個註腳。
儘管隨著大模型預訓練技術在智慧對話上的應用，對話效果取得顯著進步，但仍然有繼續改進可能，涵蓋：偏見、資訊誤差、不能進行連續學習等方向。
更應看到的是，百度PLATO-XL以超百億引數的規模，無論引數量還是效果比較，在全球範圍仍處較優地位——
不難預見，此類語言模型絕不僅僅能大幅最佳化智慧客服、語音識別等既有功能，更在養老助老、幼兒早教、心理輔導等種種摻雜「模糊表述」、「潛臺詞」、「高語境」表達的場景下，釋放AI技術的更多潛能。
最後，百度PLATO對話AI已經上線，感興趣的友友們可以親測試玩了！
