高熲，字昭玄，又名敏，渤海脩，（今河北省景縣南）人。他的父親高原賓之前是在齊國任職的，之後被調到了周。聽說高熲小時候便是一個聰明的孩子，為人處世很有分寸、和度量，對以前的歷史類書籍，也略知一二，他最擅長的是詞令。在楊堅輔政時，他對楊堅派來聯絡的楊惠表達了自己願意追隨楊堅的意願和決心，他說：“我願受差遣。即使令公大事不成，熲亦不辭滅族。”他把自己的身家性命和家族的命運都同楊堅的事業聯絡起來了。楊堅把高看作自己得力的親信，無論平定尉遲迥的反叛，還是處置突厥的進攻，高熲都傾心竭力地為楊堅和隋王朝服務。在平定江南、統全國的大業中，他不僅向隋文帝推薦了名將賀若弼、韓擒虎，還為平陳戰爭出謀劃策。
隋文帝曾問高熲取陳之策，高熲提出了削弱陳朝的策略。他對隋文帝說：
“長江以北，天氣比較寒冷，莊稼成熟相對晚點，在江南地區收穫的時候，我們發少量士兵，傳言要去掩襲陳國，陳一定會屯兵守禦，這樣，我們就可以使陳國耽誤收割，貽誤農時。陳只要把士兵集合起來防禦我們，我們就可以把士兵撤回原處如此者再三，陳國會以為這是平常之事，防備自然懈怠，後，我們再集中軍隊，在陳國猶豫的時候，以大兵渡江，登陸作戰，會使士氣倍增。另外，江南地方土質薄，許多住宅是用竹茅所築，江南的積儲不像北方藏於地窖，而是用竹屯圍，我們可以秘密派人過江，借風力放火，燒掉他們的糧食儲備，等他們重修之後，再去焚燒，不要幾年，陳的財富就消耗掉了。”這種消耗陳國經濟實力的策略，隋文帝採納和實行了，果然使陳朝日益敝憊。
開皇七年四月，隋文帝下令在揚州開山陽瀆，以通漕運，為進攻陳朝作了運輸、後勤上的準備。八月又讓在江陵的附庸梁國君主蕭琮到長安，九月便廢掉梁國拔去了滅陳統一的一個障礙。
開皇八年三月，隋文帝下詔揭露陳後主叔寶的罪惡２０條，廣為抄寫，散發大江南北３０萬紙，把滅陳戰爭描繪為除暴救民、替天行道的正義事業，動搖陳朝君臣的守志，並向江南廣大人民作了宣傳，製造了平陳輿論。十月，隋文帝置淮南行臺省於壽春，以第二子晉王楊廣為尚書令，隨後即命晉王楊廣、秦王楊俊、清河公楊素伐陳，計總管９０人，士兵５１萬８千人，均受晉王楊廣節度，而以高熲為晉王府元帥長史，這時晉王楊廣年剛２０歲，所以“三軍諮稟，皆取斷於熲”。高熲當時為朝中左僕射，即當朝宰相，以宰相身分充晉王元帥長史，可知隋文帝之本意是讓高熲扶助兒子負實際指揮平陳戰爭的責任。高熲也確實盡心協助楊廣，指揮了平定江南、統一全國的戰爭。
指揮５０萬大軍、９０個總管，殊非易事，但高穎“區處支度，無所凝滯。”十月二十八日命將帥出師伐陳，十一月初二隋文帝親為將士餞行，初十隋文帝行至定城，這裡離潼關僅３０裡，楊廣、高熲率大軍在這裡宣誓伐陳。十二月軍隊到長江邊。開皇九年正月初一渡江，不到２０天就攻佔建康，活捉了陳後主叔寶。
高熲在隋軍攻入建康後，先於楊廣進入建康，處置各項軍政事務。陳後主的寵妃張麗華，據說是當時的絕色美人，其髮長七尺，光顏可鑑，又為人聰慧，不僅寵冠後宮，而且多決國政。楊廣想留下張麗華，便讓任晉王記室的高熲之子高德弘趕往建康，向高熲傳達楊廣留下張麗華的意思。高熲認為，張麗華對陳後主的腐敗政治起了催化作用，是損害國家的女子，就像商紂王身邊的妲己，所以他決意斬殺張麗華，以免再危害隋朝的晉王。他對兒子高德弘說：“武王滅紂，戮妲己。今平陳國，不宜取麗華。”楊廣知張麗華被殺以後，十分不快，他怨恨地對高德弘說：“古人說過，無德不報，我以後一定會報答你父親的。”從此記恨高熲。
晉王楊廣進入建康之後，與高熲處置了平陳的善後事務。陳朝的佞臣施文慶、重賦厚斂的沈客卿，以及慧朗、徐析、暨慧等為害百姓的官吏，都被斬於右闕之下，以示對於這些民蠹的痛恨。同時，高熲還同裴矩接收了陳朝的書籍，封好陳朝的府庫，其中資財無所取，這為楊廣在全國樹立了良好的形象，以至“天下稱賢”。
隋軍平陳得三十州、一百郡、四百縣。自此，西晉末年以來近三百年的分裂割據狀態結束了。高熲在平陳中建有大功，但他從不自誇。高熲回到長安後，隋文帝對他說：“公伐陳後，人言公反，朕已斬之。”高熲以平陳之功，加授上柱國，進爵齊國公，賜物九千段，定食千乘縣一千五百戶。高熲要求辭去左僕射之職，隋文帝下詔挽留：“高見識通達而遠大，才幹謀略高深，這次平定陳國之役，國家委以心腹之任。自從我楊堅受天命為皇帝以來，你高熲一直掌管機密和樞要，對國家竭力盡忠，你的心跡全在於此。真是上天降下這樣的好輔佐給我，協助我治理天下，你不要再費文墨了。”他讓高熲繼續擔任左僕射，處理隋朝的政務。
一次，隋文帝讓高熲與賀若弼談論平陳之事，高熲說“賀若弼先獻十策，後於蔣山（即鐘山）苦戰破賊。臣文吏耳，不敢與大將軍論功勞！”對高熲的謙讓，隋文帝讚賞不已。
