羊祜終究還是病了，而且病的挺嚴重，所以向司馬炎請求回洛陽。當車馬進入洛陽城內，羊祜看到滿城舉孝，才想起姐姐羊徽瑜，當今弘訓太后出殯的日子正在這幾天，不禁悲從中來，不可斷絕。因為抱病入朝，司馬炎特意下詔羊祜可以乘坐車輦進殿，並且不用下拜。羊祜當面向司馬炎陳述伐吳的計策，伐吳之事對晉朝來說乃是舉國之事，單單舉兵向南之前的種種籌劃，並非一朝一夕可以講完。司馬炎體諒羊祜身體原因不方便經常入宮前來議事，就派遣侍中張華時常去拜訪羊祜。羊祜向張華闡明伐吳的迫切性，如今主上有接受禪讓，造福百姓的美譽，然而於國於民，還可以有更大的功德。吳主孫皓不施行仁政，暴虐成性，東吳民怨沸騰，如果此時攻打，可以不戰而勝。然後晉朝統一天下，推行教化，此等行為是效仿先賢堯舜的美跡，是萬世不朽的功業，我們做臣子的也能如同周朝之祖后稷和商朝之祖子契一般，成為輔佐聖王的名臣。
這些無論對主上還是我們自身都是無上的榮耀，能流芳百世，成為後代楷模。如果不抓住時機，假如孫皓不幸去世，東吳換了新皇帝，很有可能會產生變數，那時候長江天險也許就不像現在那般容易渡過，而東吳也將成為晉朝長久的禍患。張華對羊祜的擔憂非常贊同，表示一定會將羊祜的話原原本本的告知皇帝司馬炎。羊祜預感到自己可能無法親眼看到東吳覆滅了，對張華感慨的說，我此生就剩下這一個志願，還望你能盡力成全。張華看著病床上羊祜越發憔悴容顏，強忍著淚水，抱拳深深施禮。隨著羊祜病重，司馬炎伐吳的決心愈發堅定。鑑於羊祜久鎮襄陽，對南方最為熟悉，同時為了成全羊祜的遺憾，雖然知道羊祜現在臥病在床，司馬炎仍希望羊祜能夠躺在病床上主持南方事宜。羊祜自感時日無多，只能拒絕司馬炎的好意。羊祜說道，伐吳之事諸多方面差不多已經準備完畢，所以不必非得臣來主持。只是功成之後，需要陛下顧慮的事情還有很多。臣並不在意伐吳的功勞，臣也許時日不多了，現在更需要做的，是選擇一位能臣接替，臣願意為陛下仔細挑選，舉薦一人。
最後，羊祜舉薦了杜預。羊祜去世那天特別寒冷，司馬炎哀痛萬分，淚水流出來粘到鬍子上一會就凍成了冰。南方的老百姓驟然聽聞羊祜沒了，本來當天是趕集的日子，結果大家誰也不出攤兒了，街頭巷尾的號啕痛哭。甚至東吳的守邊將士，聽說羊公的訊息，都會偷偷的抹上一把眼淚。羊祜一生清廉，從不為家族置辦產業。平時俸祿賞賜，除了自家所需，常常接濟困難的族人或者直接分發給軍士。羊祜的女婿曾經勸過羊祜可以為家族考慮，羊祜當時默不應聲，等回到家後，告誡家中後輩，經營私業就會耽誤公事，這是糊塗的做法，你們一定不能如此。而且羊祜早就表示過，等到平定南方，就會辭官歸故里，不以盛名處世。這一點頗具老子之道，就像西漢張良一般，功成身退，是為臣之道，如此不重名利，才可以保全自身。羊祜不僅是這樣說，也正是這樣做的。在司馬炎接受禪讓開創晉朝的時候，羊祜就應該被封為公爵，羊祜堅決推辭不接受，最後爵位由原來的鉅平子升為鉅平侯。
後來因為鎮守荊州的功勞，司馬炎又要把泰山以南的五個縣劃為南城郡，想封羊祜為南城侯，而且封國內可以設定國相。司馬炎之所以這樣，是怕羊祜不願意接受公爵，於是變相的封個侯爵，實際上和公爵差不多。然而羊祜依然死活不肯接受，理由是漢初張良受封的時候，漢高祖劉邦本來想給張良更多封地更高爵位，而張良只接受了留侯爵位，要了一萬戶作為封地。漢高祖也同意了張良的請求。臣在先帝的時候，已經有鉅平這個地方的封地，現在怎麼可以接受更重的爵位和封地，引起朝廷的非議呢。司馬炎無奈只好答應。臨終前，羊祜告訴妻子，一定不要用南城侯的印綬隨葬。齊王司馬攸過繼給司馬師，所以得稱呼羊祜一聲舅舅。外甥司馬攸上表羊祜的遺願，司馬炎再次稱讚羊祜生前身後從始至終謙讓的品質，尊從了羊祜的遺願，不以南城侯印綬入葬。羊祜生前喜好風景山水，鎮守襄陽的時候，經常登上城外的峴（音現）山，飲酒談論。
