洪武十八年（1385年），有人告發李存義父子為胡惟庸的黨羽。這個時候李善長已經是一位71歲的老人，他和胡惟庸又是親家。李存義又是他的弟弟，對於李善長來說，這一次朱元璋表現了他的“寬宏大量”。
第一個錯誤
洪武二十三年（1390年），李善長已經七十七歲的高齡了。他已經不是當年身居高位的丞相了，李善長家裡需要修房子，自己年齡大了，又不能修了，他就想到了帶兵的湯和，他就向湯和借兵。《明史·李善長傳》：又五年，善長年已七十有七，耄不檢下。嘗欲營第，從信國公湯和假衛卒三百人，和密以聞。
第二個錯誤
同年，四月李善長的親信丁斌因為犯法被流放。李善長卻多次請求朱元璋，赦免丁斌。這一次卻惹怒了朱元璋，他下令不在流放丁斌，而是把他關在監獄裡面日夜拷打。朱元璋相信丁斌一定知道，李善長身上的秘密。
胡惟庸便親自勸說李善長，李善長依然沒有同意。過了一段時間後，胡惟庸又派李存義去勸說。李善長卻說出了那句，讓全家70多人被斬的話。《明史·李善長傳》：“吾老矣。吾死，汝等自為之！”（我已經老了，我死了之後，你們好自為之）。
人時運背了，喝涼水都塞牙。當時欽天監，主要負責天文曆法的官員向朱元璋奏報。《明史·李善長傳》：會有言星變，其佔當移大臣。遂並其妻女弟侄家口七十餘人誅之。
朱元璋之所以殺七十七歲的李善長有三點原因。
第一點，李善長是個兩面派
李善長沒有聽李存義、楊文裕的勸說，但是他也沒有告訴朱元璋。這是什麼行為，這是兩面派。從這裡可以看出，李善長在觀望，他看看到底誰能勝利，這是朱元璋不能容忍的。
第二點，李善長侍寵自縱，目空一切
李善長當了左丞相以後，為了樹立自己的威信，對大臣們非常嚴格。有一次朱元璋生病，讓他處理朝政。他有的事情，都不像朱元璋彙報，更讓朱元璋不能容忍的，朱元璋生病他都不去問候一下。
第三點，為朱標掃清障礙
朱元璋對太子朱標的感情非常深厚，然而朱標卻是一位仁慈的人。他敢於堅持原則，朱元璋害怕自己辛苦打下的江山，會拱手讓人。為了幫助朱標順利繼位，只好殺掉大批功臣，李善長就是其中的一位。
總結：從李善長生命的最後幾年來看，李善長並沒有什麼大罪。但是李善長卻沒有弄明白，朱元璋需要的是，對他言聽計從的人。而李善長做的事情，屢屢做不到朱元璋心裡去，讓朱元璋對他有了反感，導致李善長最後被殺。
