胡惟庸是定遠人，與朱元璋、徐達、李善長等人是同鄉，是明初淮西勳舊勢力中的重要官員。
元至正十五年（公元1355年），朱元璋在和州當總兵官時，胡惟庸前來投奔，被封為元帥府奏差，不久成為宣使。
元至正十七年（公元1357年），朱元璋攻佔寧國後，胡惟庸被封為寧國主簿，後來升為寧國知縣，正七品。
元至正二十四年（公元1364年），胡惟庸調任吉安通判，正六品。
元至正二十六年（公元1366年），胡惟庸被擢升為湖廣僉事，正五品。
吳元年（公元1367年），胡惟庸在李善長的推薦下，調入應天府，被封為太常少卿，正四品，後來升為太常寺卿，正三品。
後來根據李善長家奴盧仲謙等人的揭發，胡惟庸送給李善長三百兩黃金作為酬謝。
當時連年戰亂，經濟凋敝，朱元璋攻入應天后，為緩解資金壓力，撥付給文官職田，招佃農耕種，以田租作為文官的俸祿。胡惟庸在地方為官多年，收入微薄，卻拿出三百金賄賂上司，他這筆鉅款從何而來呢？
明朝洪武三年（公元1370）年，胡惟庸被調入中書省，被封為參知政事，從二品。
明朝洪武四年（公元1371）年正月，朱元璋任命以中書右丞汪廣洋為中書右丞相，胡惟庸為中書左丞，正二品。
明朝洪武六年（公元1373）年正月，汪廣洋被貶為廣東行省參政，朱元璋一時難以找到合適的人選，很久都沒有任命丞相，胡惟庸以左丞的身份執掌中書省。
同年七月，胡惟庸被任命為中書省右丞相，正一品。
自從楊憲明朝洪武三年（公元1370）年被誅後，朱元璋認為胡惟庸是個人才，對他寵信有加。胡惟庸也自我勉勵，追求上進，小心謹慎地迎合上意，恩寵日盛。
明朝洪武十年（公元1377）年九月，朱元璋提升胡惟庸為中書省左丞相。
胡惟庸獨自為相多年，隨著權勢的擴大，日益擅權跋扈、獨斷專行，很多涉及生殺罷黜升遷的大事，不經過請示，便自行決定。
各機構上呈的密封奏章，胡惟庸必先開啟查閱，對自己不利的便隱匿不報。
急於獲得功名的人和失去職位的功臣武將，爭相投奔胡惟庸，送給他金帛、名馬、玩好，多到數不過來。
為鞏固自己的權勢，胡惟庸極力拉攏淮西大臣，與李善長結親，把女兒嫁給李善長的侄子李佑。後來又試圖和徐達結交，徐達看不上胡惟庸的為人，沒理他，並且向朱元璋說了自己對胡惟庸的看法。胡惟庸膽大妄為，竟然去賄賂徐達的看門人福壽，想害徐達，福壽於是把事情告訴了徐達。徐達聽後也沒細問，只是時常提醒朱元璋不可對胡惟庸委以重任。
吉安侯陸仲亨從陝西回到京師，擅自乘坐驛站的馬車，朱元璋知道後十分生氣，說：中原飽受戰亂之苦，百姓剛開始恢復生產，生活十分艱苦，假使人人都像你這般，百姓賣了子女，也無力供給。於是罰陸仲亨到代縣捉拿盜賊。
朱元璋令平諒侯費聚到蘇州安撫軍民，卻整日耽於酒色，不務正業。朱元璋罰他到西北招降蒙古部落，卻又未建功績，再次遭到朱元璋的嚴厲斥責。
陸仲亨和費聚心裡惴惴不安，胡惟庸趁機暗中以權勢威逼利誘二人，二人本就沒什麼心計，見胡惟庸正掌權，便和他來往密切。有一次，在胡惟庸家喝酒，酒酣飯飽之際，胡惟庸屏退左右，對二人說：“吾等所為多不法，一旦事覺，如何？”（《明太祖實錄》）
二人聽後惶恐不安，不知如何是好，於是胡惟庸把自己的想法向兩人和盤托出，令他們在外面招兵買馬，二人從命。
明朝初期，軍隊冊籍由大都督府掌管，其他部門無權調閱，而中書省與大都督府平級，中書省主管行政，大都督府主管軍事，兩個機構的最高長官都是正一品。
可是，胡惟庸卻偷偷取出軍隊冊籍，與御史大夫陳寧在中書省查閱，如果不是想圖謀不軌，為何會有這樣的舉動？
此外，胡惟庸還令都督毛驤把衛士劉遇賢、亡命之徒魏文進收為心腹。
明朝洪武十一年（公元1378）年三月，朱元璋下令官員上奏事情無需告知中書省。
這是否表明朱元璋將要撤銷中書省呢？如果中書省被撤銷，自己的丞相官職必然保不住，苦心經營多年的權勢地位也將喪失，胡惟庸陷入焦慮。
可是，胡惟庸的煩心事一樁接著一樁。
明朝洪武十二年（公元1379）年，胡惟庸的兒子在街上策馬疾馳，卻意外墜馬，死於車下，胡惟庸處死駕車之人。朱元璋大怒，令胡惟庸償命。胡惟庸請求用錢財了事，朱元璋不准許。
胡惟庸十分害怕，於是和御史大夫陳寧、中丞塗節等人密謀起事，並暗中告訴自己的追隨者，做好準備。
同年九月，占城使者前來朝貢，胡惟庸卻沒有及時上報。宮內宦官見到後上奏給朱元璋。朱元璋大怒，斥責中書省官員。胡惟庸與汪廣洋雖然磕頭謝罪，卻把責任推卸給禮部，而禮部又歸咎於中書省。朱元璋更加生氣，把相關大臣全部關押起來，下令徹查。
同年十二月，塗傑向朱元璋告發胡惟庸謀反，次年正月，朱元璋下令死胡惟庸、陳寧、塗傑等人。
