太和二年(228年)五月，吴鄱阳太守周鲂派人送亲笔信给曹休，谎称受到吴王责难，打算弃吴降魏，请求派兵接应。曹休未辨真伪，即率步、骑兵10万人，去皖城(今安徽潜山)接应。明帝也(治晋阳，今太原西南)命司马懿率军向江陵(今湖北江陵)，与曹休相策应。八月，曹休为吴军大败，残部幸得贾逵接应，方得生还。
太和三年(227年)，蜀丞相诸葛亮第三次出兵攻魏，并占据武都、阴平二郡。太和四年(230年)，魏明帝决定兴师伐蜀。升司马懿任大将军、加大都督、假黄钺，与大司马曹真一起伐蜀。
八月，魏明帝命曹真率主力由长安入子午谷，左将军张郃出斜谷，司马懿自荆州溯汉水出西城(今陕西安康西北)，将兵分三路会攻汉中。司马懿从西城开拓道路，水陆并进，沿著沔水逆流而上，直达朐腮，攻克新丰县，驻军丹口，后遇雨班师。
太和五年(231年)，二月，蜀汉丞相诸葛亮率军第四出进攻魏，包围祁山(今甘肃东南部山地)贾嗣、魏平部，并以木牛流马运输粮草。明帝对司马懿说：“西方有事，非君莫可付者”(《晋书·宣帝纪》)，派他西驻长安，都督左将军张郃、雍州刺史郭淮等防御蜀军。司马懿留部将费曜、戴陵率4000人守邽(今甘肃天水)，自率主力西救祁山。张郃劝司马懿分兵驻扎雍、郿两地，以作大军后镇。司马懿不同意，他说：“料前军独能当之者，将军言是也。若不能当，而分为前后，此楚之三军所以为黥布禽也。”于是挺进喻麋。
诸葛亮闻魏大军将至，亦分兵一部继攻祁山，自率主力迎击司马懿。郭淮及费曜等部袭击蜀军，被诸葛亮击破。便亲率蜀军乘势抢先收割熟麦，获得军粮。
至此，史书上对今后的作战却有了两种截然不同的记载。
《晋书·宣帝纪》记载如下：……亮闻大军且至，乃自帅众将芟上邽之麦。诸将皆惧，帝曰：“吾倍道疲劳，此晓兵者之所贪也。亮不敢据渭水，此易与耳。”进次汉阳，与亮相遇，帝列阵以待之。使将牛金轻骑饵之，兵才接而亮退，追至祁山。亮屯卤城(今甘肃天水南)，据南北二山，断水为重围。帝攻拔其围，亮宵遁。追击，破之，俘斩万计。
《资治通鉴·卷第七十二》记载如下：……郭淮、费曜等徼亮，亮破之，因大芟刈其麦，与懿遇于上邽之东。懿敛军依险，兵不得交，亮引还。懿等寻亮后至于卤城。张郃曰：“彼远来逆我，请战不得，谓我利不在战，欲以长计制之也。且祁山知大军已在近，人情自固，可止屯于此，分为奇兵，示出其后，不宜进前而不敢逼，坐失民望也。今亮孤军食少，亦行去矣。”懿不从，故寻亮。既至，又登山掘营，不肯战。贾诩、魏平数请战，因曰：“公畏蜀如虎，奈天下笑何！”懿病之。诸将咸请战。夏，五月，辛已，懿乃使张郃攻无当监何平于南围，自案中道向亮。亮使魏延、高翔、吴班逆战，魏兵大败，汉人获甲著三千，懿还保营。六月，亮以粮尽退军，司马懿遣张郃追之。郃进至木门(今甘肃天水西南)，与亮战，蜀人乘高布伏，弓弩乱发，飞矢中郃右膝而卒。
可以看出，前者说司马懿大胜，后者则说司马懿大败。而《三国志》中诸葛亮、张郃、郭淮等人的传记中，对此都一带而过。而且前者对司马懿让张郃去追击蜀之避而不谈。相对而言，还是后者可信度高些。现在的军事工具书也都以后者记载为准。
蜀军退军后，军师杜袭、督军薛悌都估计诸葛亮明年麦熟时还会入侵，建议趁冬天调运粮草，解决陇右粮少问题。司马懿认为：“亮再出祁山，一攻陈仓，挫衄而反。纵其后出，不复攻城，当求野战，必在陇东，不在西也。亮每以粮少为恨，归必积谷，以吾料之，非三稔不能动矣”(《晋书·宣帝纪》)。
青龙二年(234年)二月，蜀丞相诸葛亮率军10万出斜谷攻魏，四月，诸葛亮至郿县(今陕西眉县北)，进驻渭水之南。魏大将军司马懿率军渡渭水，背水筑垒阻击。诸将想在渭北与诸葛亮隔水相持，司马懿说：“百姓积聚皆在渭南，此必争之地也”(《晋书·宣帝纪》)。遂渡渭背水扎营。司马懿分析形势后，对诸将说：“亮若勇者，当出武功依山而东，若西上五丈原(今陕西眉县西南)，则诸军无事矣”(《晋书·宣帝纪》)。
诸葛亮果然上五丈原。魏诸将皆喜，唯独雍州刺史郭淮深以为忧，他说：“亮必争北原，宜先据之”(《资治通鉴·卷第七十二》)，诸将多不以为然。郭淮说：“若亮跨渭登原，连兵北山，隔绝陇道，摇荡民、夷，此非国之利也”(《三国志·魏书·郭淮传》)。司马懿这才意识到北原的重要性，命郭淮等率兵移屯北原。堑垒尚未成，蜀军果至，攻而未克，两军遂成对峙状态。
五月，吴军10万三路攻魏，以配合蜀军作战。魏明帝派秦郎率2万人援司马懿，自率主力反攻吴军。七月，吴军撤走。
诸葛亮东进的道路受阻于司马懿，从渭水前进，又有郭淮阻挡，乃移军攻取散关，陇城等地，然后回师进攻司马懿。
八月，司马懿遵照明帝“坚壁拒守，以逸待劳”的指示，与诸葛亮相持百余日。诸葛亮数次挑战，司马懿均坚壁不出，欲待蜀军粮尽，相机反攻。诸葛亮便派人给司马懿送来“巾帼妇人之饰”(《晋书·宣帝纪》)羞辱之，欲激司马懿出战，司马懿仍不出战。为平息部属不满情绪，故意装怒，上表请战。明帝不许，并派骨鲠之臣辛毗杖节来做司马懿的军师，以节制他的行动。后诸葛亮一来挑战，司马懿就要带兵出击，辛毗杖节立于军门，司马懿便不出兵。
辛毗到时，蜀将姜维就对诸葛亮说：“辛毗杖节而至，贼不复出矣。”诸葛亮则说：“彼本无战心，所以固请者，以示武于其众耳。将在军，君命有所不受，苟能制吾，岂千里而请战邪”(《晋书·宣帝纪》)！诸葛亮遂分兵屯田，做长久屯驻之准备。
司马懿的弟弟司马孚来信问前线军情，司马懿回信说：“亮志大而不见机，多谋而少决，好兵而无权，虽提卒十万，已堕吾画中，破之必矣”(《晋书·宣帝纪》)。
不久，诸葛亮遣使求战，司马懿不谈军事，问使者：“诸葛公起居何如，食可几米？”使者说：“三四升。”然后对问政事，使者说：“二十罚已上皆自省览。”经过一番不经意的询问，司马懿对人说：“诸葛孔明其能久乎”(《晋书·宣帝纪》)！果然，诸葛亮于当月病故于五丈原军中。
蜀将秘不发丧，整军后退。当地百姓见蜀军撤走，向司马懿报告，司马懿出兵追击。蜀将杨仪返旗鸣鼓，做出回击的样子，司马懿以为中计，急忙收军退回。第二天，司马懿到诸葛亮营垒巡视，“观其遗事，获其图书、粮谷甚众”(《晋书·宣帝纪》)。司马懿据此断定诸葛亮已死，并赞诸葛亮“天下奇才也”(《晋书·宣帝纪》)。
辛毗认为诸葛亮死否尚不可知，司马懿说：“军家所重，军书密计、兵马粮谷，今皆弃之，岂有人捐其五藏而可以生乎？宜急追之”(《晋书·宣帝纪》)。于是，率兵急追。关中地多蒺藜，司马懿派三千士兵脚穿软材料做成的平底木屐，在大军前行走，蒺藜都刺在木屐上，然后大军马步并进。一直追到赤岸，这才得到诸葛亮的确切死讯。当时人有谚语说：“死诸葛走生仲达”，司马懿笑著说：“吾便料生，不便料死故也”(《晋书·宣帝纪》)。
历时七年的诸葛亮攻魏之战至此结束。诸葛亮不顾战略上的失策，以一州之地强攻中原之魏，纵使竭忠尽智，终因实力悬殊而难以实现其战略目的。而魏国则在司马懿等人的人正确指挥下，以优势兵力采取防御战略，最终不战不退蜀军，取得了最后的胜利。
蜀将杨仪、魏延在撤军后争权，杨仪杀死魏延。司马懿想乘机攻蜀，明帝没批准，作罢。
青龙三年(235年)，司马懿升任太尉。
东汉末年军阀混战时，公孙度据有辽东。这个割据势力对曹魏政权虚与委蛇，时叛时降，保持著半独立的地位。公孙渊继为辽东太守后，对魏更加不逊。景初元年(237年)，原魏辽东太守公孙渊背叛魏国，自立为燕王，置列百官，定都襄平(今辽宁辽阳)。
景初二年(238年)正月，魏明帝召司马懿回京，命他率兵讨伐。明帝说：“此不足以劳君，事欲必克，故以相烦耳。君度其行何计？”司马懿说：“弃城预走，上计也。据辽水以距大军，次计也。坐守襄平，此成擒耳。”明帝又问：“其计将安出？”司马懿回答：“惟明者能深度彼己，豫有所弃，此非其所及也。今悬军远征，将谓不能持久，必先距辽水而后守，此中下计也。”明帝问：“往还几时？”司马懿说：“往百日，还百日，攻百日，以六十日为休息，一年足矣”(《晋书·宣帝纪》)。
当时朝廷大修宫室，加上军用物资，以至百姓饥弊。司马懿出征前，劝阻明帝说：“昔周公营洛邑，萧何造未央，今宫室未备，臣之责也。然自河以北，百姓困穷，外内有役，势不并兴，宜假绝内务，以救时急”(《晋书·宣帝纪》)。
正月，司马懿率牛金、胡遵等步骑四万，从京师出发，经孤竹，越碣石，六月，进至辽水。公孙渊果然急令大将军卑衍、杨祚等人率步骑数万，依辽水围堑20余里，坚壁高垒，阻击魏军。
司马懿采用声东击西之计，先在南线多张旗帜，佯攻围堑，吸引敌军主力，而以主力隐蔽渡过辽水，逼进敌营。接著，不攻敌营，却挥师直取公孙渊根据地襄平(辽东郡治所，今辽宁辽阳)。部将不解其意，说：“不攻贼而作围，非所以示众也。”司马懿解释说：“贼坚营高垒，欲以老吾兵也。攻之，正入其计，此王邑所以耻过昆阳也。古人曰，敌虽高垒，不得不与我战者，攻其所必救也。贼大众在此，则巢窟虚矣。我直指襄平，则人怀内惧，惧而求战，破之必矣”(《晋书·宣帝纪》)。遂迫使敌军放弃围堑回军救援襄平。司马懿督军回首山(今辽宁辽阳西南)，迎战敌援军，并对诸将说：“所以不攻其营，正欲致此，不可失也”(《晋书·宣帝纪》)。魏军迎击，三战皆捷，遂乘胜进围襄平。
当初公孙渊闻魏军来攻，求救于孙权，孙权也出兵为其声援，并给公孙渊写信：“司马公善用兵，变化若神，所向无前，深为弟忧之”(《晋书·宣帝纪》)。
适逢连降大雨，辽水暴涨，平地数尺，魏军恐惧，诸将思欲迁营。司马懿下令有敢言迁营者斩，都督令史张静违令被斩，军心始安。公孙渊军乘雨出城，打柴牧马，安然自若。魏将领请求出击，司马懿不予采纳。司马陈圭曰问司马懿：“昔攻上庸，八部并进，昼夜不息，故能一旬之半，拔坚城，斩孟达。今者远来而更安缓，愚窃惑焉。”司马懿说：“帝曰：“孟达众少而食支一年，吾将士四倍于达而粮不淹月，以一月图一年，安可不速？以四击一，正令半解，犹当为之。是以不计死伤，与粮竞也。今贼众我寡，贼饥我饱，水雨乃尔，功力不设，虽当促之，亦何所为。自发京师，不忧贼攻，但恐贼走。今贼粮垂尽，而围落未合，掠其牛马，抄其樵采，此故驱之走也。夫兵者诡道，善因事变。贼凭众恃雨，故虽饥困，未肯束手，当示无能以安之。取小利以惊之，非计也”(《晋书·宣帝纪》)。