僅做學術分享，如有侵權，聯絡刪除 轉載於 ：專知
【導讀】ACM SIGKDD（國際資料探勘與知識發現大會，簡稱 KDD）是世界資料探勘領域的最高級別的學術會議，由 ACM 的資料探勘及知識發現專委會（SIGKDD）主辦，被中國計算機協會推薦為 A 類會議。自 1995 年以來，KDD 已經連續舉辦了26屆，今年將於2021年8月14日至18日舉辦，今年的會議主辦地在新加坡。
來自deakin大學的研究人員在KDD2021上將給出關於深度學習推理的教程，非常值得關注！
大資料和大計算的興起給數字生活的許多領域帶來了現代神經網路，這要歸功於構建與現實世界相適應的大型模型相對容易。Transformers的成功和對海量資料的自監督預訓練讓一些人相信，只要我們有資料和計算資源，深度神經網路幾乎可以做任何事情。然而，情況可能並非如此。雖然神經網路可以快速地利用表面統計，但它們在泛化到新的任務上卻失敗得很糟糕。目前的神經網路並不執行刻意推理——即從上下文資料中有意地推匯出新知識的能力
。本教程回顧了最近的發展，將神經網路的能力擴充套件到從資料“學習推理”，其中的任務是確定資料是否包含一個結論。
這種能力開闢了新的途徑，透過使用自然語言進行任意查詢，從資料中生成見解，而不需要預先定義一組狹義的任務。
本教程由三個主要部分組成。
A部分涵蓋了學習-推理框架，解釋了神經網路如何透過繫結、注意力和動態計算圖等自然操作作為推理的強大支柱。我們還將展示神經網路如何學習執行組合演算法。第二部分將更詳細地介紹神經網路如何在非結構化和結構化資料上進行推理，以及跨多種模態。將解釋集合、關係、圖和時間的推理。C部分回顧了更高階的主題，包括帶有外部記憶的神經網路，學習用有限的標籤進行推理，以及用心智理論進行遞迴推理。我們將特別關注神經記憶作為支援實體、關係甚至神經程式推理的基本機制。如有可能，將提供文字理解和視覺問答方面的個案研究。
https：//truyentran。github。io/kdd2021-tute。html
目錄:
Part A： 推理學習框架 Learning to reason framework （60 mins）
Reasoning as a prediction skill that can be learnt from data。
Question answering as zero-shot learning。
Neural network operations for learning to reason：
Concept-object binding。
Attention & transformers。
Dynamic neural networks， conditional computation & differentiable programming。
Reasoning as iterative representation refinement & query-driven program synthesis and execution。
Compositional attention networks。
Neural module networks。
Combinatorics reasoning。
Part B： 結構化與非結構化資料推理 Reasoning over unstructured and structured data （60 mins）
Cross-modality reasoning， the case of vision-language integration。
Reasoning as set-set interaction。
Query processing。
Context processing。
Dual-attention。
Conditional set functions。
Relational reasoning
Query-conditioned dynamic graph constructions
Reasoning over knowledge graphs。
Graph embedding。
Graph convolutional networks。
Graph attention。
Message passing。
Relation networks
Graph neural networks
Temporal reasoning
Video question answering。
Part C： 高階主題 Advanced topics （60 mins）
Reasoning with external memories
Memory of entities – memory-augmented neural networks
Memory of relations with tensors and graphs
Memory of programs & neural program construction。
Learning to reason with less labels：
Data augmentation with analogical and counterfactual examples
Question generation
Self-supervised learning for question answering
Learning with external knowledge graphs
Recursive reasoning with neural theory of mind。
講者
參考文獻
Jacob Andreas， Marcus Rohrbach， Trevor Darrell， and Dan Klein。 “Neural module networks”。 In CVPR， pages 39–48， 2016。
Dzmitry Bahdanau， Shikhar Murty， Michael Noukhovitch， Thien Huu Nguyen， Harm de Vries， and Aaron Courville。 “Systematic generalization： what is required and can it be learned？”， In ICLR， 2019。
Bottou， Léon。 “From machine learning to machine reasoning”。 Machine learning 94。2 （2014）： 133-149。
————-♥————-
