公元249年，司馬懿發動了高平陵之變，不僅除掉了曹爽及其黨羽，也篡奪了曹魏的大權。自此之后，雖然曹魏東線的多位將領起兵反抗司馬懿家族，但是，曹魏其他地區的武將大多保持沉默。

而這，顯然和司馬懿的部下遍布各地存在直接的關系。其中，就筆者今天要說的胡遵，就曾跟隨司馬懿抵御諸葛亮北伐，并協助司馬氏平定叛亂。

具體來說，胡遵（？～256年），安定臨涇人。胡遵出身安定胡氏，早年由歷任雍、涼二州刺史的張既以禮征辟而進入仕途。當然，胡遵一開始在曹魏的雍涼地區任職，所以沒有什麼名氣。

青龍元年（233年）九月，安定郡的保塞匈奴大人胡薄居姿職發動叛亂，胡遵在司馬懿指揮下追擊，成功迫使胡薄居姿職投降而平叛。經過這場戰役后，胡遵得到了司馬懿的賞識，從而獲得了重用。青龍二年（234年），蜀漢丞相諸葛亮北伐，胡遵在司馬懿指揮下與雍州刺史郭淮共同在陽遂防守，在積石遭遇諸葛亮的蜀漢軍隊，雙方緊鄰五丈原開戰，諸葛亮不能前進而退回五丈原。

同年秋天，諸葛亮病逝于五丈原，這意味著蜀漢北伐告一段落。當然，作為司馬懿的部下，胡遵又來到了新的戰場。

景初元年（237年），割據遼東的公孫淵背叛曹魏，也即不再聽從魏明帝曹叡的號令。于是，次年（238年）六月，曹叡命令司馬懿前去討伐。在這場戰役中，胡遵在司馬懿指揮下擊破公孫淵將領卑衍、楊祚，最終平定公孫淵叛亂。

公元249年，司馬懿發動高平陵之變，除掉了曹爽及其黨羽。雖然胡遵沒有直接參加這場兵變，但是，他沒有進行聲討，已經表明他站到司馬懿這一邊了。于是，司馬懿將胡遵晉升為征東將軍，這可以說是封疆大吏了。

嘉平四年（252年）四月，吳大帝孫權去世。時任征東將軍的胡遵與征南大將軍王昶、鎮南將軍毌丘儉同時上疏獻策，請求征討東吳，但三人獻策各不相同。

當年十一月，王昶、胡遵、毌丘儉奉命分三路征吳。

在東興之戰中，胡遵與鎮東將軍諸葛誕等率兵七萬攻打東興濡須水上的東吳筑堤，命令各軍作浮橋渡水，陳兵于大堤之上，分兵攻打吳軍在大堤左右依山而建的兩座城堡，因城在高峻險要之處而不能很快攻破。同年十二月，曹魏大軍被吳將諸葛恪擊敗。

最后，盡管吃到了敗仗，但是，胡遵依然受到了司馬懿父子的任用。正元二年（255年）正月，因為司馬師廢掉曹芳，改立曹髦為皇帝。于是，毌丘儉、文欽在淮南發動叛亂。得知這一消息后，司馬師親自率軍討伐。并且，胡遵奉命督青州、徐州的軍隊出于譙、宋之間，斷絕叛軍歸路。當年七月，在毌丘儉、文欽之亂被平定后，胡遵升任衛將軍。

甘露元年（256年）秋七月己卯，胡遵去世。追贈車騎將軍，爵至陰密侯。值得注意的是，胡遵有六個兒子，最著名者是胡奮，他在晉武帝時屢立戰功，官做到尚書仆射、鎮南大將軍、開府儀同三司。胡遵的孫女胡芳是晉武帝司馬炎的貴嬪，也即胡遵所在的家族成為外戚，從而在西晉初期權勢更加顯赫。