杨皇后去世两年后，武帝忽然想起杨皇后临终前，曾请求他将杨骏的女儿封为皇后。于是派内使打听，得知此女相貌出众，便在初冬之日举行册封大典，同时大赦天下。新皇后入宫正位，武帝特下旨赐宴。左贵妃下笔如神，写成一篇颂文，武帝一看，大赞：“好！好文章！中宫有你，增色不少啊。”
武帝继后杨氏，名芷，字李兰，小名男胤，年方十八，性情温婉，颇有姿色。杨氏入主中宫后，与武帝很是恩爱。皇后的父亲杨骏曾是镇军将军，此时得以官拜车骑将军，封为临晋侯。杨骏的弟弟杨珧任职卫将军，他上疏说道：“自古以来，一门之中出现两位皇后，往往不能保全宗族。何况臣家功德微薄，只怕难以承受如此圣恩。请陛下将臣的表文留在宗庙中，日后若果有不测，也可借此请求赦免。”武帝准奏。自此，杨骏自恃是皇亲国戚日渐骄横。尚书郭奕等人上表弹劾杨骏，武帝爱屋及乌，不予理睬。镇军将军胡奋直言奉劝杨骏道：“从古至今，与帝王结亲而遭受灭门之灾的例子太多了。你不多加谨慎，反而如此骄奢，只怕会引来祸端。”杨骏反驳道：“你女儿不也嫁入后宫了吗，你何必说这些话来恐吓我？”胡奋说：“我的女儿只配做你女儿的奴婢，她们二人人如何能相提并论？你门第显赫，更容易招来祸患，望你深思。”杨骏不以为然，反而认为胡奋是嫉妒自己。
不久，卫将军杨珧等人上疏：“封立王侯本意是为了防止王室的冲突。如今王公们都聚集在京都，实在不利于江山社稷。陛下应当派遣王公们驻守边疆，让他们监督边疆的异姓将领。”于是武帝核定国制，以人口的多少将城郡划分为三个等级。命令大城安置三路军队，以五千人为限；中等之城安置两路军队，以三千人为限；小城安置一路军队，以一千五百人为限。改封扶风王司马亮为汝南王，任镇南大将军，负责豫州军事；琅玡王司马伦为赵王，兼领任城守事；渤海王司马辅为太原王，督管并州军事；东莞王司马伷为琅玡王，汝阴王司马骏为扶风王，同时封太原王司马颙为河间王，改封河间王司马威为章武王。武帝命令各王公离开京都前往封地。不久武帝立皇子司马玮为始平王，司马允为濮阳王，司马该为新都王，司马遐为清河王。因为这几个儿子年龄还小，就让他们暂时留在京都。
征南大将军羊祜一直镇守襄阳，开垦田地八百多顷，兵强粮足。襄阳与吴国接壤，吴主孙皓是孙权的长孙，性情残暴，骄奢淫逸。吴国左丞相陆凯治国有方，很有威望，羊祜因此不敢贸然发兵。陆凯病死后，羊祜请奏攻打吴国。偏偏当时益州发生兵变，不得不将攻吴之事搁置下来。羊祜派参军王浚出任广汉太守，讨伐益州乱兵。不久叛乱就被扫平，王浚被封为益州刺史。因为他重信用、有威望，武帝打算任命王浚为大司农。羊祜想留下王浚一起征讨东吴，就上疏说：“王浚适合领兵作战，不宜内用。”武帝于是加封王浚为龙骧将军，让他负责梁、益二州军事。
当时吴国有首歌谣唱道：“阿童复阿童，衔刀浮渡江。不畏岸上兽，但畏水中龙。”王浚原籍弘农，小名阿童，年少时就胸怀大志。燕地的徐邈有一个女儿，聪慧美丽，年已十五，尚未出嫁。徐邈钟爱女儿，允许她自己选择夫君。恰巧徐邈出守河东，王浚任从事，徐邈见他年少英奇，心中颇为赏识。一天，徐邈大宴官吏，安排女儿坐在帷帘后面，女儿指着王浚说，此人日后必定不同凡响。徐邈就将女儿嫁给王浚。王浚夫妻二人琴瑟和谐，很是恩爱。后来王浚投入羊祜旗下，羊祜对他特别优待。羊祜的哥哥的儿子羊暨曾对羊祜说：“王浚经常大言不惭，日后恐怕会惹上事端！”羊祜笑着说：“你有所不知，王浚有大才，时机一到，必会建立丰功伟业，你可别轻视他！”
羊祜打算举兵灭吴，请朝廷令王浚秘密造船，武帝准奏。王浚立刻建造战船，船长达一百二十步，可容纳两千多人，船上采用木头建楼，四面有门，可以骑马。王浚日夜不休地赶工，木头竹屑顺着江水东下。吴国建平县太守吾彦看见江心的大量竹木，猜测上流必定在造船，立即捞取少量竹木呈报孙皓，说：晋国正在密谋攻打吴国，应该立即加强建平的防备。吴主孙皓正在兴建昭明宫，一门心思都在纵欲享乐上，哪有心思顾虑外敌？吾彦的奏表，吴主孙皓看完，随手搁在一边，并不在意。吾彦无法，只好命工人冶铁为锁，将水路横断，以此作为江防。
吴国西陵督军步阐畏罪降晋，吴国大司马陆抗领兵前去攻打，羊祜奉诏支援。到了江陵，羊祜另外派遣荆州刺史杨肇攻打陆抗。陆抗分军抵御，击败杨肇。羊祜听说杨肇战败而归，打算亲自前去督战，无奈西陵已被陆抗攻下，步阐也被杀害，羊祜只好率兵回到镇地。武帝将杨肇罢免。自此，羊祜开始以怀柔之术对待吴人。有时行军到吴境，军队如果割谷为粮，羊祜必定送去布匹补偿；在晋境狩猎，遇到从吴境跑来的受伤的禽兽，羊祜必定送还；吴人入晋境抢夺财物被晋军所杀，羊祜也厚加殡殓，并将他们的尸首送还；吴国的士兵被晋兵活捉了，不论是想投降晋国还是想回家，羊祜全部允准，不杀一个吴国人。因此，吴国人没有不信服羊祜的。
羊祜还派使者前往吴国与陆抗通好，互赠礼物。陆抗送酒给羊祜，羊祜当着使者的面喝下，丝毫不起疑心。陆抗生病了，羊祜送药给他，陆抗也是拿了药就服。部下从旁劝阻，陆抗摇头说：“羊祜怎么可能毒害我？”还告诫部下说：“他行德，我就不能行暴。如今只求各守边界，不求细利。”吴主孙皓却起了疑心，责骂陆抗私交羊祜。陆抗上书辩驳，并阐明十二条保国策略，吴主毫不理会。孙皓听信术士刁元的谗言，刁元说：“在东南方出现了黄旗紫盖，陛下应该前往荆扬之地，才能坐稳江山。”孙皓听后，便领着士兵西行，后宫数千人全部随行。走到华里，春雪下个不停，天气异常寒冷，士兵们忍受不了寒冷，都悄悄地说：“如果今日敌人来袭，我们定当战败。”孙皓听了这话，就领兵返回京都。陆抗忧国忧民，抑郁成疾，镇守西陵五年就去世了。遗言说，西陵建平地处吴国上游，务必要加强此地的防守。吴主命陆抗的三个儿子统领军队。陆抗的长子叫陆元景，次子叫陆元机，三子叫陆云。陆元机、陆云擅长作文章，颇具盛名，但不懂得领兵之道。
术士尚广为吴主卜卦，孙皓问天下是否有大难。尚广迎合孙皓的心意说：“不久洛阳当有大难临头。”吴主大喜。没多久，临平湖忽然通畅了，朝廷大臣都说是祥兆。临平湖从汉末以来就一直堵塞，相传，“湖塞天下乱，湖开天下平”。吴主孙皓以为洛阳大难就在此时，于是问询都尉陈顺，陈顺回答说：“我只懂得看相，不懂得看湖的开和堵。”孙皓便让他回去了。陈顺出来后，对密友说：“青盖入洛，恐怕是衔璧的预兆。如今临平湖无缘无故地通畅了，怎么可能是吉兆呢？”不久，历阳长官上奏说历阳山出现吉兆，预示着天下太平。孙皓派遣使者前去祭祀，封山神为王，改元天纪。东吴上下一片欢腾，西晋那边羊祜却在修缮装备、训练士兵，上表奏请攻打吴国。
武帝看到表文后，立即召群臣商议此事。贾充、荀勖、冯沈力言不可，其他大臣同声附和，认为秦、凉之地还没有平定，不应该在东南方再起战事。于是，武帝令羊祜暂缓行军。羊祜再次上表说：“攻下吴国，胡寇自当平定，应当立即举兵东伐，建立大业。”武帝被廷议所阻，不同意进军吴国。羊祜长叹：“当断不断，反受其乱。如此良机，只怕日后难有啊。”不久，武帝封羊祜为南城郡侯爷，羊祜婉辞谢绝。通常，奖赏谋士必须先焚草上报朝廷，而羊祜任用谋士时却不让那人知道是自己引荐的。有人说羊祜心思太过缜密，羊祜感慨道：“美人归属于君王，古之常训。至于推荐贤能是为人臣子的职责。拜爵于朝廷，谢恩于私室，这不是我的作风。”羊祜曾写信给堂弟羊琇，说：“待边境之事完成，我将激流勇退，归隐山林。前人疏广就是我的师傅啊。”
咸宁四年春季，羊祜身患重病，带病进京。到了京都，羊祜仍然请求伐吴，说：“臣死在旦夕，故特地前来觐见陛下，希望实现大志。”武帝好言劝慰，答应了他。羊祜于是在洛阳住了下来。武帝不忍让羊祜太过劳累，经常派中书令张华前去探望。羊祜对张华说：“陛下自登基以来，还没有广施恩德。如今吴主不仁，正可替天行道，一统天下。如果孙皓早死，吴国人册立了新主，到时即使雄兵百万也不能轻易越过长江，后患无穷啊。”张华连声赞成。羊祜叹息道：“只怕我是等不到灭吴那天了，将来只有你能实现我的理想。”张华唯唯受教，回去报告武帝。武帝让张华转达羊祜，让羊祜率兵灭吴。羊祜答道：“灭吴不一定需要老臣亲自前往。只是灭吴之后，就要多劳皇上费心了，如果事情没有完结，老臣定当前往，皇上审择就行了。”不久，羊祜病重，他举荐杜预接替自己。杜预当时已是度支尚书，因羊祜的举荐，官拜镇南大将军，负责荆州军事。杜预还没离开京都，羊祜就病死家中，享年五十八岁。武帝素服临丧，痛哭不已，当时天寒地冻，眼泪沾在胡须、鬓发上，转眼就结成了冰。武帝回宫后，特赐羊祜东园秘器、朝服、三十万钱、百匹布，追封羊祜为太傅，赐谥号成。
羊祜是南城人，家族九代都以德行名闻天下。羊祜镇守襄阳时，起居饮食非常简朴，禄俸不是分给亲戚就是奖赏军士，从来不积蓄闲财，临终之际，还嘱咐葬礼一切从简。襄阳的百姓得知羊祜去世，痛哭不已。因为羊祜喜欢登岘山，百姓便在岘山脚下建立祠堂和石碑以纪念羊祜。百姓经过此碑，想起羊祜，就泪流不已。杜预称此碑为堕泪碑。
