超引數調優河伯、組合最佳化器CompBO，華為諾亞開源貝葉斯最佳化庫

機器之心報道

編輯：陳萍、杜偉

華為諾亞開源了一個貝葉斯最佳化的庫，該庫包含三個部分：河伯、T-LBO、CompBO。

貝葉斯最佳化可以說是一種黑盒最佳化演算法，該演算法用於求解表示式未知函式的極值問題。因其具有極強的樣本有效性，近年來被廣泛使用，研究者只需較少地迭代次數，即可得到一個較好的結果，因此可用於機器學習模型演算法調參。

近日，華為諾亞開源了一個新的關於貝葉斯最佳化的庫，該庫可用於低維和高維領域的貝葉斯最佳化，主要包含：

河伯（Heteroscedastic Evolutionary Bayesian Optimization，HEBO）：異方差演化貝葉斯最佳化，可用於超引數調優，華為諾亞憑藉該演算法贏得 NeurIPS BBO 競賽冠軍；

T-LBO：一種將深度度量學習與潛在空間貝葉斯最佳化相結合以實現高維最佳化的演算法，該演算法可以減少 97% 的資料需求；

CompBO：使用組合最佳化器進行貝葉斯最佳化。

專案地址：https：//github。com/huawei-noah/HEBO

河伯

河伯演算法是華為諾亞方舟決策與推理（DMnR）實驗室開發的貝葉斯最佳化庫。該演算法擊敗了 NVIDIA、IBM、Jetbrain 等，以 93。519 得分贏得了 AI 國際頂會 NeurIPS 2020 的黑盒最佳化競賽冠軍。

HEBO 是與前 5 名競爭對手之間差異最大的演算法，以非常大的優勢獲勝。下面是比賽結果的截圖：

完整榜單：https：//bbochallenge。com/leaderboard/

T-LBO 演算法

該演算法出自論文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》，全篇 42 頁，研究者來自華為諾亞方舟實驗室。

論文地址：https：//arxiv。org/pdf/2106。03609。pdf

研究者提出了一種基於深度度量學習的方法，以使用變分自編碼器（VAE）在高維結構化空間中執行貝葉斯最佳化。透過擴充套件監督深度度量學習的想法，他們解決了高維 VAE 貝葉斯最佳化中長期存在的一個問題，即如何將判別式隱空間作為歸納偏置來執行。重要的是，研究者僅使用以往工作的 1% 的標記資料就實現了這種歸納偏置，顯示出了所提方法面向樣本的高效性。

在實驗中，研究者展示了在真實世界高維黑盒最佳化問題（包括屬性引導的分子生成）上的 SOTA 結果。他們希望，本文展示的結果可以作為實現高效高維貝葉斯最佳化的指導原則。

利用組合最佳化器做貝葉斯最佳化（CompBO）

這是一篇發表在機器學習研究雜誌 JMLR 2021 上的論文，標題為《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation？》，全篇共 78 頁。研究者來自華為英國研發中心。

論文地址：https：//www。jmlr。org/papers/volume22/20-1422/20-1422。pdf

專案地址 https：//github。com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO

貝葉斯最佳化為全域性最佳化提供了一種面向樣本高效的方法。在這個框架內，採集函式（acquisition function）的最大化是決定效能的關鍵因素。但是，由於採集函式往往是非凸的，因此不容易最佳化，導致其最大化變得複雜。

華為的這篇論文對最大化採集函式的方法進行了全面的實證研究。此外，透過為流行的採集函式推匯出全新但數學上等效的組合形式，研究者將採集函式的最大化任務重新定義為組合最佳化問題，從而能夠從領域大量文獻中獲益。他們特別強調了 3，958 個單獨實驗中採集函式最大化組合方法的實證優勢，這些實驗包括組合最佳化任務和貝葉斯任務。

鑑於採集函式最大化方法的通用性，研究者認為採用組合最佳化器有可能在當前貝葉斯最佳化應用的所有領域內實現效能提升。