汉朝以其地设立郡，子孙就在此安家了。自司马印起第八代。
生征西将军司马钧，字叔平。司马钧生豫章（今江西南昌）太守司马量，字公度。司马量生颍川（治所在河南禹州）太守司马侑，字元异。司马儁生京兆（治所在今陕西西安）尹司马防，字建公。司马懿就是司马防的第二个儿子。年轻时有奇异的气节，聪明多有谋略，知识渊博，见多识广，钦慕儒教。汉末天下大乱，司马懿常常感慨有忧天下之心。南阳太守同郡杨俊是著名的能鉴察人的品行、才能的人，见到司马懿时未满二十岁，认为他是一个不同寻常的人物。尚书清河崔琰与司马懿的哥哥司马朗友好，也对司马朗说：“您的弟弟聪慧明察，严明恰当，刚毅果断，英俊特异，不是你所能赶得上的。”
汉献帝建安六年（公元201年），郡里推荐上计掾（古代佐理州郡上计事务的官吏）。魏武帝曹操任司空，听到后要征召他。司马懿知道汉代国运将亡，不想屈节事奉曹操，以患风痹病（因风寒潮湿侵袭而引起的肢节疼痛或麻木），饮食不能自理为由加以辞谢。曹操派人夜里秘密刺探他，司马懿躺在那里一动不动。到了曹操任丞相，又征召他任文学掾，命令使者说：“如果再犹豫，就拘捕他。”司马懿畏惧而前去赴任。于是令他与魏太子曹丕交游，升任黄门侍郎，调任议郎、丞相东曹掾，不久又调任主簿。
司马懿跟随曹操讨伐张鲁出谋划策，很受曹操赏识。
曹操称魏王，司马懿升任太子中庶子。每参加谋划大事，则有奇策，为太子所信任倚重，与陈群、吴质、朱铄成为四友。
到了魏文帝接受汉献帝的禅让时，司马懿为尚书。不久，调任督军、御史中丞，封安国乡侯。
黄初二年（公元221年），督军官职被罢免，升任侍中、尚书右仆射。
黄初五年（公元224年），魏文帝去南方巡视，在吴地显示武力。司马懿留下镇守许昌，改封向乡侯，调任抚军，持节可杀中级以下官吏，领兵5000人，加给事中、录尚书事。
司马懿坚决辞而不就。魏文帝说：“我于各种政务，夜以继日，没有一小会儿安宁，给你这些封爵并不是让你荣耀，而是要你为我分忧呢。”
黄初六年（公元225年），魏文帝又大兴水军征讨吴国，命司马懿留守，内镇守百姓，外供应军资。于是司马懿留下镇守许昌。
魏文帝病重，司马懿与曹真、陈群等见于崇华殿的南堂，一同受临终遗命辅政。文帝给太子下达命令说：“有诽谤此三公者，千万不要怀疑他们。”明帝曹叡即位，改封司马懿为舞阳侯。
明帝太和元年（公元227年）六月，天子下令司马懿驻军于宛，加督都荆、豫二州诸军事。
太和四年（公元230年），司马懿升任大将军，加大都督、假黄钺，与曹真共同讨伐蜀国。司马懿从西城凿山开道，水陆并进，沿沔水逆流而上，到达朐（治所在今四川云阳西），攻下蜀国的新丰县。军队驻扎在丹口，碰上下雨。撤回军队。
第二年（公元231年），诸葛亮入侵天水（治所在今甘肃天水），在祁山（今甘肃礼县东）围困魏国将领贾嗣、魏平。
明帝说：“西方有战事，非您不能应付。”就派司马懿向西驻军长安（今陕西西安），统帅雍、梁二州各种军事工作，率领车骑将军张郃、后将军费曜、征蜀护军戴凌、雍州刺史郭淮等讨伐诸葛亮。张合郃劝司马懿分兵住守雍州、郿县为兵镇，司马懿说：“预料前军能独力抵挡敌军，将军的话是对的。如果不能抵挡，而把部队分为前后两部分，这就是楚霸王的三军之所以被黥布所擒的原因。”于是进军隃麋（今陕西千阳东）。
诸葛亮听说魏国大将将到，就亲自率领众将割上郏（治所在今甘肃天水）的麦子。众将领都畏惧，司马懿说：“诸葛亮考虑得多决断的少，肯定会安营自保，然后割麦，我只要两天日夜兼行就够了。”于是卷起甲杖日夜前往，诸葛亮望见尘土飞扬就逃走了。司马懿说：“我军加倍赶路疲劳，这是懂得兵法的人所渴求的。诸葛亮不敢据守渭水，这就好对付了。”前进驻军在汉水之北，与诸葛亮军相遇，司马懿列阵来等待诸葛亮。司马懿派将军牛金轻骑引诱蜀军，两军刚交火而诸葛亮就退走了，追到祁山。诸葛亮驻军卤城（今陕西蒲城南），占据南北二山，阻断河水，层层围护。司马懿率军攻破了他的设防，诸葛亮率军夜里逃走，追击并打败了他，俘虏斩杀数以万计。明帝派使者尉劳部队，增加司马懿的封邑。
明帝青龙元年（公元233年），挖郑国渠，筑临晋陂，灌溉农田数千顷，国家粮食充足了。
青龙二年（公元234年），诸葛亮又率领十余万大军出斜谷（在今陕西眉县西南），筑防于郿县的渭水南原。司马懿忧虑这件事，派征蜀护军秦朗督率步兵、骑兵二万，由明帝直接指挥。将领们想住在渭河北岸等待诸葛亮，明帝说：“百姓聚居都在渭河南岸，这是两军必定要争夺的地方。”于是率军渡过渭水，背靠渭水安营扎寨。因告诉将领们说：“诸葛亮如果勇敢，应该出武功（今陕西扶风东南），顺着山势向东走。
如果西上五丈原（在今陕西眉县西南斜谷口西侧），那么各军就没有事了。”诸葛亮果然上了五丈原，将要北渡渭水，司马懿派将军周当驻军阳遂来引诱他。数日，诸葛亮按兵不动。
当时诸葛亮率军远征，利在速战。诸葛亮数次挑战，司马懿都不出战，因而赠送给司马懿妇女的服装和装饰。司马懿发怒。上奏章请求出战，明帝不允许，就派遣刚直的臣子卫尉辛毗拿着天子赐的符节作军师来制止他。后来诸葛亮又来挑战，司马懿将要出兵应战，辛毗手持符节立在军营门口，司马懿才停止。
司马懿的弟弟司马孚写信询问战争情况，司马懿回信说：“诸葛亮把握不住机会，谋划很多而决断很少，好打仗而不知权变，虽率军10万，已落在我的谋划当中，打败他是肯定的。”与诸葛亮对阵一百多天，恰遇诸葛亮去世，各位将领烧毁阵地逃走，百姓奔走相告，司马懿出兵追赶。诸葛亮的长史杨仪倒转军旗敲响战鼓，好像要抵抗司马懿。因为蜀军是穷途末路的敌人，司马懿不逼近他们，于是杨仪列成队形而去。过了一天，司马懿才走到蜀军阵地，观察蜀军阵地，获得蜀国图书、粮食。司马懿预料诸葛亮一定死了，说：“天下奇才呀！”辛毗以为尚未可知。司马懿说：“军事家所看重的，军书密计、兵马粮谷，现在都丢掉了，难道人的五脏没有了还能活吗？应当赶紧追击。”关隘之中多蒺，司马懿派2000名士兵脚穿软木底木屐走在前面，蒺都扎在了木屐上，然后骑兵、步兵齐进。追到赤岸泽（今陕西大荔西南），才得知诸葛亮已死的确切消息。当时百姓编了句谚语说：“死诸葛吓跑生仲达。”司马懿听到后笑着说：“这是我只会预料生，不会预料死的原因。”
青龙四年（公元236年），司马懿猎获一只白鹿，献给魏明帝。皇帝说：“从前周公姬旦辅佐成王，贡献过一只白野雉。现在你镇守陕西，又献上白鹿，难道不是忠诚相符，千年相合，安全国家，永绝奸邪！”
景初二年（公元238年），司马懿率领牛金、胡遵等步兵和骑兵4万人，从京都出发。皇帝亲自送出西明门，下诏令其弟司马孚、子司马师送过温县，赏赐丝绸牛酒，下令郡太守、典农以下官员都去迎接。司马懿会见父老乡亲和老朋友，连日宴饮。司马懿叹息，失意不乐，很有感慨，作歌说：“天地开辟，日有重光。遭遇际会，尽力远方。将扫群秽，还过故乡。肃清万里，整齐八荒。功成归老，待罪舞阳。”于是进军，经过孤竹（今河北卢龙南），越过碣石（在今河北昌黎），驻扎在辽水。公孙文懿果然派步兵和骑兵共数万人，在辽隧（今辽宁海城西）阻挡，凭着堡垒坚守，南北六七十里，来抵抗司马懿。司马懿派大量部队多打旗帜攻其阵地南侧，敌人的全部精锐部队都赶了过去。司马懿于是令部队暗暗乘船渡过辽河出现在敌阵地北面，与敌军逼近，沉掉船只，烧断桥梁，依辽水修筑长长的阵地转而直攻襄平。将领们说：“不进攻敌人而修筑防御工事，这不是炫耀我军的力量。”司马懿说：“敌人修筑坚固的堡垒，想和我军打持久战而困疲我军。
进攻他，正中了他的计策，这是王邑在昆明失败的原因。古人说：敌人虽修筑坚固堡垒，不得不与我交战，攻他所敌人一定要回师救援。敌人的大部队都在这里，那么他的老巢就空了。我军直指襄平，他们就心里害怕，害怕来和我军交战，打败他是肯定的。”于是排列军阵而过。敌人见魏国部队出现在他们后面，果然攻打。司马懿告诉将领们说：“我们之所以不攻他们的营垒，正是造成这种态势，机不可失。”于是下令迎击，大败敌军，三战三胜。
正始二年（公元241年）夏季五月间，吴国将领全综侵入芍陂（在今安徽寿县南），朱然、孙伦围攻樊城，诸葛瑾、步骘抢掠柤中（今河北沮水上游一带），齐王想亲自率军讨伐。朝世议论说，敌人远来围攻樊城，不可能马上攻破。使敌人在坚固的城防下受挫，有自败之势，需要有长久的策略来对付他。齐王说：“边城被敌人包围而我却安坐朝中，战场骚动，众心疑惑，是国家大的忧患。”
六月，司马懿率军南征。司马懿因南方天热潮湿，不宜持久，派轻骑兵向敌人挑战，朱然不敢动。于是命令士兵休整，选拔精锐之士，申明号令，做出必定进攻的样子。吴军乘夜逃走，追到三州口，杀死和俘虏一万多人，收拾其丢下的船只和军用物资而还。天子派侍中常侍到宛城慰劳部队。
秋季七月间，司马懿增加封邑郾城、监颍，合并从前封给他的四个县，食邑一万户，子弟十一人都封为侯爵。司马懿的功劳和德行越来越大，而却更加谦虚恭谨。同乡旧友常林，见到他每每下拜。常告诫子弟说：“强盛满盈是道家所忌的，四季还有变化，我有什么德行能受常盛。减少再减少，差不多可以免灾！”
正始三年（公元242年）春天，天子追赠司马懿的父亲司马防为舞阳成侯。
正始四年（公元243年）秋季九月间，司马懿统领各军进攻诸葛恪，天子送出津阳门。部队驻扎在舒县（今安徽庐江西南），诸葛恪焚烧积聚的粮草，弃城逃走。
司马懿认为消灭敌人的要领，在于积聚谷物，于是大力屯田守卫，加宽淮阳、百尺二渠，又修颍河南北的池塘湖泊万余顷。从此淮北一带粮库相望，寿阳（今安徽寿县）至京城屯田士兵接连不断。
正始八年（公元247年）夏季四月问，司马懿的夫人张氏去世。
五月，司马懿佯称有病不参与政事。
齐王嘉平元年（公元249年）春季正月初六日，天子拜祭高平陵，曹爽兄弟都随从。这天，太白星袭击月亮。司马懿于是上奏水宁宫太后废除曹爽兄弟。当时司马师为中护军，带兵驻扎在司马门。司马懿列阵在皇宫下，经过曹爽把守的门。曹操帐下督严世上城楼，张弩弓射司马懿，孙谦制止他说：“事情还不可知。”‘三次欲射三次被制止。大司农桓范出城找曹爽，蒋济对司马懿说：“智囊去了。”司马懿说：“曹爽与桓范内里疏远，而智谋又赶不上桓范，肯定不会用他。于是使司徒高柔持符节，代理大将军事务，领曹爽的兵营，告诉高柔说：“你就是周勃了。”命令太仆王观代理中领军，管曹羲军营。司马懿亲自率领太尉蒋济等指挥部队出城迎接天子，驻扎在洛水浮桥，上奏说：“先帝握着臣子我的手臂说‘深以后事为念’。现在大将军曹爽背弃先帝临终遗命，败乱国家法令，暗中超越职分安插他的亲信，盘根错节，放纵恣肆一天比一天厉害。又用黄门张当任都监，相互勾结，窥测帝位，人怀危惧。陛下便是坐在皇位上，岂能长久安全？这不是先帝的本意。臣虽老迈，岂敢忘记前言。从前赵高恣意妄为，秦朝因此灭亡；吕后、霍光早日决断，汉代国统永远延长。这是陛下的殷鉴，臣子我效命的时候了。公卿群臣都认为曹爽有篡位的野心，他的兄弟不应该掌管卫戍部队；上奏皇太后，皇太后下令按奏报执行。臣则下令将主谋者及黄门令罢免曹爽、曹羲、曹训兵权，各以本来职务在府第等候发落。如果胁迫天子停留，按军法从事。臣则尽快率兵到洛水浮桥，侦察非常事件的发生。”曹爽不向天子通报，住伊水南，伐树设置鹿角（用带枝的树木削尖埋在军营周围阻止敌人），调数千名驻军来防守。桓范果然劝天子亲临许昌（今河南许昌），发布文征召天下兵。曹爽不采纳他的计策，而连夜派侍中许允、尚书陈泰访司马懿。观望君主的意图。司马懿陈述曹爽的过失，事情至免官为止。陈泰回来报告曹爽，劝他向天子报告。司马懿又派曹爽所信任的殿中校尉尹大目告诉曹爽，指着洛水发誓，曹爽信之。桓范等援引古今，劝谏万端。始终不能听从，于是说：“司马公正要夺我的权呢。
我能以侯爵回家，不失为一个富贵老头。”桓范拍着胸膛说：“因为你，灭我的家族了！”于是向齐王通报。不久主管部门弹劾黄门张当，并揭发曹爽与何晏等人谋反的事，于是收捕曹爽兄弟及其党羽与何晏、丁谧、邓飏、毕轨、李胜、桓范等杀之。蒋济说：“曹真的功勋，不能不祭祀。”司马懿不听。
嘉平二年（公元250年）正月间，天子命令司马懿在京城洛阳建立祖庙，设立左右长史，增加掾属，舍人满十人，每年推荐掾属任御史、秀才各一人，增加国家骑兵百人，鼓吹十四人，封他的儿子司马肜为平乐亭侯，司马伦为安乐亭侯。司马懿因久病不能朝见天子，每有大事，天子亲临府第咨询访问。
兖州刺史令狐愚、太尉王凌与司马懿有二心，谋划策立楚王曹彪。
嘉平三年（公元251年）正月，王凌欺骗说吴人堵塞涂水，请求发兵讨伐他。司马懿暗中知道这是他的计策，不听从。
夏季四月间，司马懿自己率领中军，泛舟沿流，九日到甘城。王凌想不出计策，于是在武丘（在今河南沈丘东南），背绑双手在水边投降，说：“我王凌如果有罪，您应该折半之简召我，何必您亲自来呢！”司马懿说：“因为你不是折简能召来的客人。”即带着王凌回京。途经贾逵庙，王凌大叫道：
“贾梁道，王凌是大魏的忠臣，只有你有灵知之。”到项城（今河南沈丘），饮毒而死。拘捕他的余党，都诛灭三族，并杀死曹彪。全部将魏各位王爷登记造册并将他们安置在邺城，命令有关部门监察，不得互相交结。
天子派侍中韦诞持符节在五池慰劳部队。司马懿从甘城回京，天子又令他兼任大鸿胪、大仆庾嶷持符节，以策书封司马懿为相国，封为安平郡公，孙子和哥哥的儿子各封侯爵，前后食邑共五万户，被封侯爵的有十九人。
六月，司马懿卧病，梦见贾逵、王凌作祟，非常厌恶他们。秋季八月初五日，在京城去世，时年七十三岁。天子身穿白服亲临灵堂吊丧，丧葬威仪依汉代霍光旧例，追赠相国、郡公。
九月十八日，葬于河阴（今河南洛阳市东北），谥号叫文，后改谥号为宣文。在此以前，司马懿预先做临死的打算，在首阳山（今河南偃师西北）土葬，不筑坟，不植树，作《顾命》三篇，身穿平时衣服入敛，不设冥器，后死的妻妾不得合葬。一如遗命，晋国初建，追尊叫宣王。晋武帝司马炎接受魏文帝曹奂禅让，上尊号叫宣皇帝，陵墓叫高原，庙号称高祖。
【毛泽东评点】
此司马懿敌孔明之智也。
——《读（三国志集解）卷五十八（吴书·陆逊传）批语》，《毛泽东读文史古籍批语集》，第161一162页，中央文献出版社1993年版。