衛青首戰告捷，武帝興高彩烈，特賜衛青關內侯的爵位。朝中文武由此信服武帝知人善用。
第二年春天，衛子夫生下一子，漢武帝大喜，遂立衛子夫為皇后，其子為皇太子。衛青也貴為國舅。
這年秋天，匈奴乘草肥馬壯之際，驅兵進犯，殺死遼西（今遼寧義縣西）太守，掠奪吏民二千餘人漢武帝又命衛青率領三萬騎兵出雁門關，對匈奴進行反擊。在向北進軍的途中，漢軍與匈奴大隊騎兵相遇。衛青身先士卒，出師神速，殲敵數千，又取得了重大勝利。
漢武帝在衛青兩擊匈奴成功之後，認為大規模反擊匈奴的條件已經成熟，便決計由戰略防禦轉為戰略進攻；而進攻的第一個目標，就是收復河南。漢時“河南”，即今河套及伊克昭地區。它東鄰定襄、雲中，北靠陰山，南距西漢京都長安九百餘里，土地肥沃，水草豐美。秦時，大將蒙恬曾在此築城立塞，以逐匈奴。秦末漢初，匈奴乘中原戰亂，無暇北顧之機，佔領了河南地區，並把它作為攻漢基地。漢興以來，河南地區一直被匈奴霸佔。
元朔二年（公元前127年）春，匈奴留少量兵力鎮守河南，以大部兵力繼續東攻漢朝上谷、漁陽地區。漢武帝抓住“胡騎東進”的機會，採取避實擊虛的戰法，派衛青和李息率騎兵出雲中，對盤據河南地區的匈奴樓煩王、白羊王軍進行突襲，以攻取河南這塊戰略要地。
衛青接受任務後，率軍從雲中出塞，沿黃河秘密西進，對樓煩王和白羊王軍隊營帳突然發起攻擊樓煩王和白羊王軍隊被打得措手不及，很快潰敗下去。衛青指揮大軍乘勝追擊，進至高闕要塞（今內蒙古自治區杭錦後旗黃河西北岸），然後沿黃河折而南下，直抵隴右，多有斬獲除樓煩王、白羊王率少數親騎倉惶逃脫外，其餘部眾和輜重畜產都被漢軍繳獲。
河南地區被收復：在這次戰役中衛青所領騎兵幾乎沒有受到什麼損失，“全甲兵而還武帝對衛青此次作戰一分滿意為了表彰衛青，加封衛青三千戶，並賜予長平侯的爵位。隨衛青出征的蘇建、張次公等校尉也都分別封了侯河南之役勝利結束後，武帝在河南設定了朔方郡（郡治在今內蒙古烏拉特前旗東南）和五原郡（郡治在今內蒙古包頭市西北），耗費巨資興建了朔方城（今內蒙古自治區杭錦旗）重修了秦代新築的舊長城，並移到朔方，以增強邊防力量。從此，匈奴從西北方面對西漢京都長安的威脅得以解除。朔方郡和五原郡成為漢朝出擊匈奴的重要基地，在以後抗擊匈奴的戰爭中發揮了重要作用。
匈奴不甘心在河南的失敗，對朔方郡和漢朝的其它邊塞地區進行了報復性進攻。元朔三年（元前126年），匈奴派遣數萬騎兵攻入代郡，殺死太守。這年秋天，匈奴又攻入雁門。元朔四年（公元前125年）夏季匈奴發九萬騎兵，分三路進攻漢朝邊關：一路入代郡，一路攻定，一路進上郡元朔五年（公元前124年）春天，匈奴右賢王又數次進擾朔方，企圖奪回河南地區。
為了確保朔方等地區的安全，漢武帝決定發兵十餘萬，從兩個方向對匈奴軍發起反擊。主要方向，以衛青為統帥，率領三萬騎兵，出高闕；同時指揮遊騎將軍蘇建、強弩將軍李沮、騎將軍公孫賀、輕車將軍李蔡出朔方。作戰的主要目標是消滅匈奴右賢王王庭。在次要方向以李息、張次公為將軍，率兵從右北平（郡治在今遼寧凌源縣）出發，其任務是牽制右賢王，策應衛青等部的進攻。衛青受命以後，立即出征。
當時，右賢王是匈奴單于麾下實力最強的部落之一。其王庭設定在離高闕很遠的今蒙古人民共和國南部。衛青針對右賢王麻痺輕敵的弱點，命令部隊馬不停蹄、兵不卸甲，長途奔襲六七百里，乘著茫茫夜色，突然包圍了右賢王王庭。當右賢王在醉夢中驚起時，他的軍隊已在漢軍的襲擊下潰散。右賢王無計可施，慌忙帶著一名愛妾和幾百名騎兵，突圍逃走漢軍追殺數百里方回。這次戰鬥，雖然沒有活捉右賢王，但是俘獲了匈奴裨王（即小王）十餘人，俘虜右賢王部眾一萬五千餘人，奪得牲畜數十萬頭。
衛青打掃完戰場，便率領軍隊，滿載著戰利品，奏凱而還。大軍行至塞下，遇上武帝從長安派來的使者。使者捧著大將軍的印璽，代表武帝，在軍帳中拜衛青為大將軍。這年四月，武帝為了表彰衛青，又賜衛青食邑八千七百戶，他的三子尚在襁褓，也被封為列侯。
匈奴單于不甘心於右賢敗，於同年秋天，派一萬多騎兵進攻代郡，殺害了漢朝都尉朱英等。衛青聞訊後，十分憤慨，決心再次出塞，打擊匈奴。元朔六年（公元前123年）二月，衛青接受武帝命令，率十多萬騎兵，從定襄出塞，北擊匈奴。此役中，衛青率全軍深入漠南數百里，殲滅匈奴騎兵數千人。獲勝後，衛青率全軍返回定襄、雲中、雁門休整。同年四月，衛青又率大軍二次出定襄，與匈奴主力軍展開了激烈的爭奪戰。戰鬥中，雙方各有傷亡。漢軍方面，蘇建和趙信所率三千騎兵與匈奴單于主力遭遇，損失殆盡，蘇建拚死突破重圍，單騎逃回。趙信原是匈奴降將，作戰失利後，又率其餘部八百餘騎投降匈奴。漢軍雖然損失，但是匈奴的損失更大，其主力軍有一萬餘人被漢軍殲滅。
