将其葬于蒋陵。很快有密探得知此事，将消息报到洛阳。司马师听说孙权已死，便商议起兵讨伐东吴。尚书傅嘏说：“吴国有长江天险，先帝屡次征伐，都未能如愿，不如各自守住边疆，这才是上策。”司马师说：“天道三十年一变，难道三国会一直鼎立下去吗？我想要讨伐吴国。”司马昭说：“如今孙权刚刚去世，孙亮年幼懦弱，正是可乘之机。”
于是司马师命令征南大将军王昶率领十万兵马攻打南郡，征东将军胡遵率领十万兵马攻打东兴，镇南都督毋丘俭率领十万兵马攻打武昌，兵分三路进发。又派弟弟司马昭担任大都督，总领三路军马。这一年冬十二月，司马昭的兵马抵达东吴边界，驻扎下来。他把王昶、胡遵、毋丘俭召到营帐中商议说：“东吴最关键的地方，就是东兴郡。如今他们筑起了大堤，左右又修筑了两座城，用来防备从巢湖后面发起的攻击，诸位一定要小心。”于是命令王昶、毋丘俭各率领一万兵马，分别列在左右，“暂且不要进发，等夺取了东兴郡，再一起进兵。”王昶、毋丘俭二人领命而去。司马昭又命令胡遵担任先锋，总领三路兵马前去，“先搭建浮桥，夺取东兴大堤，如果能夺得左右两座城，便是大功一件。”胡遵领命去搭建浮桥。
东吴太傅诸葛恪得知魏兵分三路来袭，便召集众人商议对策。平北将军丁奉说：“东兴是东吴的紧要之地，如果失守，那么南郡、武昌就危险了。”诸葛恪说：“你的看法正合我意。你可以带领三千水兵从江面上过去，我随后命令吕据、唐咨、留赞各率领一万马步兵，分三路前来接应。只要听到连珠炮响，就一起进兵。我亲自率领大军随后赶到。”丁奉领命，立即带领三千水兵，分乘三十只战船，向东兴进发。
胡遵渡过浮桥后，把军队驻扎在堤上，派桓嘉、韩综攻打左右两座城。左城由吴将全端把守，右城由吴将留略把守。这两座城高大险峻，十分坚固，一时难以攻打下来。全端、留略二人见魏兵势力强大，不敢出城迎战，只能死守城池。胡遵在徐塘扎下营寨。当时正值严寒，天降大雪，胡遵与众将设下宴席，开怀畅饮。忽然有人报告说，水上有三十只战船驶来。胡遵出营查看，见战船即将靠岸，每只船上大约有一百人。他回到营帐中，对众将说：“不过三千人罢了，有什么可害怕的！”只命令部将