魏明帝太和二年（公元228年）春，蜀漢丞相諸葛亮為了興復漢室，還與舊都，發動了北伐中原（長安）的戰爭。結果被魏將張郃大破馬謖於街亭，只好返回漢中。
同年冬，諸葛亮出散關，包圍陳倉，攻打了二十多天未攻破，結果魏援軍趕到，不得已諸葛亮又退回漢中。
太和三年，諸葛亮第三次北伐，出兵攻魏，並佔據武都、陽平二郡。
太和四年，魏明帝曹睿決定興師伐蜀。升司馬懿任大將軍、加大都督、假黃鉞，與大司馬曹真一起伐蜀。
青龍二年（公元234年），諸葛亮率軍在五丈原與司馬懿相持百餘日僵持不下。諸葛亮數次挑戰，司馬懿都堅持“堅壁據守，以逸待勞”的原則，就是不出戰。即使諸葛亮給送來婦人頭巾和首飾之類的東西，都沒有激之出戰。但是屬下和士兵的不滿情緒日盛，為了不影響士氣，司馬懿就給皇帝上表請戰，結果皇帝不許，還派了耿直的辛毗持天子符節以軍師的身份來節制魏軍的行動。不久，諸葛亮派使者來求戰，司馬懿問使者：“諸葛公起居飲食如何，一頓能吃多少米？”使者回答：“可食三四升。”然後又問了些處理政事的情況，使者說：“打二十軍棍以上的處罰，都是諸葛公自己閱批。”這使者也是挺實在的，等他走後，司馬懿對人說：“諸葛孔明恐怕活不了多久了！”果然，諸葛亮於當月病故於五丈原軍中。蜀將率軍撤退。
青龍三年，司馬懿升任太尉，多次增加封地。
魏明帝景初元年（公元237年），原遼東太守公孫恭被自己的侄子公孫淵篡奪了官位，還將自己囚禁了起來。公孫淵背叛魏國，自立為燕王，置百官，定都襄平。將苦諫的將軍綸直、賈範等殺死，派使者聯絡孫權，又誘使鮮卑，侵擾北方。
景初二年正月，魏明帝召回司馬懿，命他率兵討伐公孫淵。魏明帝問司馬懿：“往還需要多少時間？”司馬懿說：“去百日，回百日，攻戰百日，六十天休息，一年時間足夠了。”於是，已經60歲的司馬懿率牛金、胡遵等步騎四萬，從京師出發，經孤竹、碣石，六月，到了遼水。公孫淵派大將卑衍、楊祚等人率步騎數萬築堅壁高壘阻擊魏軍。司馬懿指揮魏軍，三戰三捷，乘勝包圍了襄平。
當初，公孫淵聽說魏軍來攻，向孫權求救，孫權也出兵在南方表示聲援，並寫信給公孫淵：“司馬公善用兵，變化若神，所向無敵，此役我深為弟擔憂。”孫權的話無疑是告訴公孫淵：“你要玩完了，我是想幫你，但遠水解不了近渴，愛莫能助啊！”
適逢連日大雨，平地水深數尺，三軍恐慌，想轉移營地。司馬懿下令軍中敢言轉移者，斬。都督令史張靜違犯命令，被殺，軍中這才安定。不久雨停，包圍圈合攏，開始攻城，晝夜不停地攻擊。城內糧盡，死了很多人，其將楊祚也投降了。當時有一顆流星從襄平城西南流向東北，墜於梁水附近，城中震動而恐慌，公孫淵也很驚恐。於是便派相國王建、御史大夫柳甫請求投降，請魏軍解圍。司馬懿斬殺了使者，併發布檄文：“昔日楚和鄭是並列的國家，鄭伯尚且肉袒牽羊而迎楚軍。孤家為王者大臣，位在上公，而王建等要我解圍退兵，如楚鄭一樣同列相待。二人年老胡塗，必是傳話不符原意，已經將他們斬首。若還有話要說，可再派年少明智果決的人來。”
公孫淵又派侍中衛演乞求限期送來人質。司馬懿對衛演說：“作戰有五種選擇，能戰應當戰，不能戰應當守，不能守應當走，其餘兩條就是投降與死了。你不肯自縛請罪，這就是決心要尋死了，不須送人質。”公孫淵打算從南面出擊突圍，結果被司馬懿縱兵擊敗，殺死於流星墜落的梁水邊上。
入城後，司馬懿將十五歲以上的男子七千餘人全部殺死，集中屍首修建了一座高大的墳墓。把公孫淵所任公卿以下二千餘人全部殺掉，收編百姓四萬戶，三十餘萬人。司馬懿也是夠狠的，簡直就是一個殺人狂魔。不過他釋放了公孫恭，為綸直等人修了墳墓，還提拔表彰了他們的後代。在原定一年的期限內，司馬懿勝利班師回朝。魏明帝派使者到薊去犒勞部隊，增司馬懿食昆陽縣，前後共二縣。曹魏數十年來的遼東問題終於徹底得到了解決。
景初三年（公元239年），魏明帝曹睿病逝於洛陽，時年36歲。其養子齊王曹芳年僅8歲繼位。司馬懿與大將軍曹爽一起接受遺詔輔助少主，任侍中、持節、都督中外諸軍事、錄尚書事，與曹爽各統兵三千人，共執朝政，輪流在殿中值勤，乘轎入殿。曹睿居然選自己的養子繼位，而不選自己的侄子或兄弟，而且是一個8歲的小孩。還讓兩個都有野心的權臣輔佐，不知是怎麼想的。這為以後司馬氏篡權奠定了很好的基礎。
曹爽打算排擠司馬懿，想讓尚書奏事先透過自己，以便專權，隨向天子提議，改任司馬懿為大司馬。朝臣們認為前後兩任大司馬都死在任上，不吉利，於是任命司馬懿為沒有實權的太傅，入殿不趨走，參拜天子時不提自己的名字，帶劍穿履上殿，如漢朝蕭何一樣。嫁娶喪葬的費用由官家供給，以世子司馬師為散騎常侍，子弟中三人為列侯，四人為騎都尉。司馬懿堅決辭讓了子弟們的官爵。司馬懿最擅長的就是隱忍，這個時候更需要低調。
正始六年（公元245年）八月，曹爽廢置中壘、中堅營，把兩營兵眾交他的弟弟曹羲率領，司馬懿援引先帝舊例制止，曹爽不聽。
正始八年，曹爽用心腹何晏、鄧颺、丁謐之謀，把郭太后遷到永寧宮，獨攬朝政，兄弟一起掌管禁兵，多培植親黨，屢次改變制度。當時有人編歌謠說：“何、鄧、丁，亂京城。”司馬懿無法制止他們，與曹爽產生磨擦。於是，當年五月偽裝生病，不問政事。
正始九年三月，黃門張當私自將宮中才人石英等十一人調出，給曹爽當伎人。曹爽、何晏認為司馬懿病重，遂生篡奪君位之心，與張當密謀，企圖顛覆社稷，日期已經商定。這時，曹爽及其同黨也擔心司馬懿是裝病，於是趁河南尹李勝要到荊州任刺史，前去拜望司馬懿探查一下究竟。司馬懿可是裝病的能手，假裝病重且神情恍惚騙過了李勝。曹爽對司馬懿未加防備。
司馬懿表面裝病，暗中佈置，準備消滅曹爽勢力。
嘉平元年（公元249年）正月，魏帝曹芳離開洛陽去祭掃魏明帝的墳墓高平陵，大將軍曹爽、中領軍曹羲、武衛將軍曹訓均從行。司馬懿乘機上奏郭太后，請廢曹爽兄弟。當時，司馬師為中護軍，率兵屯司馬門，控制京都。司馬懿召司徒高柔假節行大將軍職責，統領曹爽軍營，召太僕王觀行中領軍職責，統領曹羲軍營。
司馬懿親率太尉蔣濟等布勒軍隊出迎天子，屯兵於洛水浮橋。派人上奏章給皇帝陳述曹爽之罪。曹爽扣住奏章，把曹芳留在伊水之南，砍伐樹木建成鹿角，徵發屯兵數千人以自守。大司農桓範勸曹爽挾持皇帝到許昌去，發文書徵調天下兵馬勤王。曹爽不從其計，反而派侍中許允、尚書陳泰去見司馬懿，探聽動靜。司馬懿乘機數說曹爽的過失，讓他早來服罪。接著又派曹爽的親信殿中校尉尹大目去對他說，朝廷只是免他的官職，並以洛水為誓。
於是，曹爽請免職，隨曹芳回京。曹爽兄弟一回府，即被司馬懿派兵包圍。在曹爽府宅四角修高樓，派人在樓上密切監視著。不久，司馬懿以謀反的罪名，殺曹爽及其黨羽何晏、丁謐、鄧颺、畢軌、李勝、桓範等，並滅三族。但對曹爽門下的二流人物，司馬懿特別寬大處理，如魯芝，辛敞，王沈等人，後來還有人成為晉朝新貴。
同年二月，曹芳任命司馬懿為丞相，增繁昌、鄢陵、新汲、父城為其封邑，前後其計八縣，食邑二萬戶，特許奏事時不提自己的名字。司馬懿堅決辭丞相之職不受。
十二月，加九錫之禮，朝會時不下拜。司馬懿又辭讓了九錫禮。
嘉平三年（公元251年），司馬懿在平叛了東漢司徒王允侄子王凌的謀反叛亂之後，曹芳策命司馬懿為相國，封安平郡公，孫及兄子各一人為列侯，前後食邑五萬戶，封侯者十九人。司馬懿辭相國、郡公之位不受。
同年八月，司馬懿在洛陽去世，享年七十三歲。
