選單

雷軍:小愛同學5.0背後的人工智慧

在月初舉辦的MIDC開發者大會上,我們釋出了最新一代的小愛同學——小愛同學5。0。全新的小愛同學帶來了

五大升級

,覆蓋了囊括影音娛樂、生活服務、資訊查詢、出行路況等

8大領域1400+技能

,成為大家生活中離不開的

智慧生活助手

從2017年3月21日,“小愛同學”第一次與大家見面,到現在僅僅4年時間,

小愛同學啟用的裝置數已經達到達2.28億,月活已經達到7840

萬,累計喚醒617億次,

小愛同學也成為目前行業內

唯一一個擁有大規模落地場景的語音助手

雷軍:小愛同學5.0背後的人工智慧

新一代小愛同學

全新五大升級

新一代小愛同學的5大升級包括:

全場景智慧協同、對話式主動智慧、定製化情感聲音、多模態融合互動和智慧學習好助手。

小愛同學5.0

全場景智慧協同

目前,擁有5件及以上連線小米AIoT平臺的裝置使用者已達560萬。

隨著使用者家中的智慧裝置越來越多,使用和操作也變得更加複雜。全場景智慧協同就是讓小愛同學5。0成為控制家中眾多IoT裝置的大腦,當你發出一條需求指令時,小愛同學會進行統一決策,家中多個裝置進行協同配合,

達到“再多裝置,都能化繁為簡”的效果,是當之無愧的“智慧生活助手”。

雷軍:小愛同學5.0背後的人工智慧

想要達到智慧協同,這其中需要解決的問題非常複雜。不僅要根據裝置距離、活躍狀態、形態等綜合條件判斷,自主選擇出裝置能力最能滿足當前語義需求的裝置,

甚至還需要預測使用者潛在的裝置控制需求

適時主動的作出提醒和建議

截止2020年6月,使用協同喚醒的總使用者數已達94.4萬,同時喚醒的攔截次數已達9.4億。

小愛同學5.0

對話式主動智慧

有別於傳統移動網際網路APP或資訊流被動猜測使用者的形式,對話式主動智慧產品形態是小愛同學以自己的方式和節奏與使用者互動溝通,像人一樣發起問題來增進對使用者的瞭解。

雷軍:小愛同學5.0背後的人工智慧

主動對話本身就是高階智慧的體現,它意味著人工智慧不僅僅存在於與使用者互動的短暫過程中,而是在更長的時間內不斷的進行思考和計算,需要像人一樣,擁有“記憶”。

小愛同學5。0透過強大的自然語言處理技術,主動學習其中關於使用者的知識,從而建立記憶。

這有賴於小米自然語言處理技術(MiNLP)的深厚積累,MiNLP目前已迭代到3.0版本,支援30多個業務場景,日呼叫次數達80億

在記憶的儲存方面,

小愛同學雲端大腦會為使用者建立多維度的個人畫像,實現全裝置個人資訊互聯互通

。小愛同學的所有功能,會對內共享這些關於使用者的“記憶”,每次互動結合個人畫像進行計算,產生出面向使用者個人的個性化結果。

雷軍:小愛同學5.0背後的人工智慧

小愛同學5.0

定製化情感聲音

為了滿足使用者提出的,可以跨越地理、時間阻礙,隨時隨地就可以得到陪伴感的

“情感訴求”

,小愛同學定製聲音專案應運而生。

定製化情感聲音的實現,不是僅依靠常規聲音處理技術就可以做到的。首先需要能夠對使用者音訊資料進行預處理。然後是提取關鍵聲學特徵,區別不同音色在頻譜上的表現。最後是透過定製合成音庫訓練的基礎模型,進行自適應學習,最終才能可實現

只需少量的使用者錄音,就能取得很好的合成效果。

雷軍:小愛同學5.0背後的人工智慧

除了定製聲音功能以外,小愛同學5。0針對粵語也進行了深度的最佳化,並在8月份開啟了粵語在音箱上的內測。本月中旬,我們已正式啟動在手機及電視上小愛同學粵語功能的內測,預計在月內,小愛同學粵語功能將陸續開放到部分音箱上。

雷軍:小愛同學5.0背後的人工智慧

小愛同學5.0

智慧學習好助手

小愛同學5。0將學習作為一個重要的升級模組,整合了

海量的優質的K12網課資源,精選1000+網課影片資源,與讀書郎、義方教育等35家優質資源方達成了合作

,並拉通了電視/音箱/手機教育會員同步。

雷軍:小愛同學5.0背後的人工智慧

課程表是學生學習中最基本的一個工具類需求。我們把課程表與小愛同學結合在一起,打造了一個擁有

國內首發AI拍照匯入課程功能等先進人工智慧技術加持的AI課程表

另外一大工具,就是翻譯。為了讓翻譯更高效、更精準,小愛同學團隊在

文字前處理模組進行了最佳化,包括基於語言規則和模型的文字順滑技術、融合上文內容的實時文字糾錯演算法、基於多語言預訓練模型的實時語義斷句演算法等。

雷軍:小愛同學5.0背後的人工智慧

小愛同學5.0

多模態融合互動

為了讓小愛同學與使用者之間進行更自然的溝通,我們做了更智慧的多模態融合互動,可以透過聲音、肢體語言、資訊載體(文字、圖片、音訊、影片)、環境等多種方式與智慧裝置進行交流。

打破了傳統PC式的鍵盤輸入和智慧手機的點觸式互動

,定義了下一代智慧產品和人的專屬互動模式。

雷軍:小愛同學5.0背後的人工智慧

新一代小愛同學背後

是小米AI能力的長期積累

小米集團擁有非常豐富的業務線,包含了硬體產品、電商和新零售以及網際網路業務。小米的人工智慧不僅僅體現在小愛同學上,還擁有非常廣泛的應用領域,比如計算機視覺技術、計算機語音技術和機器學習技術等。

雷軍:小愛同學5.0背後的人工智慧

經過這幾年的努力,我們的AI已經建立了比較完整的能力圖譜和小米的AI能力平臺,在此基礎上打造了小米的相關應用,包括智慧相機、小愛同學、機器翻譯等等。強大的智慧硬體生態為AI能力的快速提升建立了基礎,同時AI能力又反過來,全面賦能了小米各個業務線。

雷軍:小愛同學5.0背後的人工智慧

比如在計算機視覺技術方面,我們做了大量的工作,包括超級解析度、文件模式/OCR、魔法換天、魔法分身等。今年,我們的HDR(高動態範圍拍照)也助力

小米10 Pro/至尊紀念版相機成功獲得DXOMARK評測世界第一。

雷軍:小愛同學5.0背後的人工智慧

我們在計算機語音、機器學習等很多方面也都做了大量的工作,整個集團在人工智慧領域的投入,可能遠遠超過大家的想象。截止2019年12月31日,小米集團共提交專利申請33000餘件,其中

AI

領域專利申請數量已進入全球網際網路企業第一陣營。

包括端到端語音識別、就近喚醒、分散式放音、離線翻譯等在內的

多項技術處於行業一流水平。

同時,我們也在積極引入全球頂尖的研發人才,比如我們成功邀請到了人工智慧領域的頂尖專家Daniel Povey加入小米。

雷軍:小愛同學5.0背後的人工智慧

未來,小米的人工智慧會進一步打造核心技術,推進各項AI技術的業務落地,給使用者打造更好的體驗。同時,也會更加的開放,繼續加強和高等院校科研院及其企業的合作,將更多更好的AI技術開放給社會,

為每一個人帶來更美好的和智慧的生活。