東漢朝廷又徵召有軍事才能的人入朝為官，棄官回家的蓋勳被任命為武都太守。
漢靈帝對蓋勳非常器重，詔令何進、蹇碩等，到城外為他送行，參加了送行儀式的洛陽官員都以此為榮。
蓋勳走到半路，又被徵召為討虜校尉，返回洛陽。
這一年，天下的形勢更為混亂。
有法術家預言，京城洛陽將有兵災，南北兩宮會發生流血事件。
大將軍司馬許涼、假司馬伍宕對大將軍何進說：“《太公六韜》裡記載有天子閱兵一事，可以威鎮四方。”
何進覺得有理，入朝向漢靈帝提出閱兵的建議。
漢靈帝害怕法術家的預言應驗，決定以舉辦閱兵來化解，於是在全國各地徵調大批的軍隊，在平樂觀下舉行盛大的閱兵儀式。
他命人修築了一個大壇，上面建十二層五彩華蓋，十丈高，壇的東北建小壇，再建九層華蓋，九丈高。
又集結幾萬步兵、騎兵，結為陣營。
漢靈帝站在大華蓋之下，親自閱兵，大將軍何進站在小傘蓋之下。
漢靈帝親自披戴甲冑，騎上有護甲的戰馬，自稱“無上將軍”，繞軍陣巡視三圈後返回，將武器授予何進。
閱完兵，漢靈帝特意召見蓋勳，問他：“天下為何有那麼多叛亂？”
蓋勳毫不客氣地回答說：“還不是陛下寵信的那些人極其子弟做的好事。”
當時蹇碩也在座，漢靈帝轉身問他，他見話題扯到自己頭上，恐懼得不知道如何回答是好，嘴上支支吾吾，心中十分怨恨蓋勳。
漢靈帝又問蓋勳：“我已在平樂觀閱兵，又把西園的財物拿出很多，都散發給了將士們。你覺得怎樣？”
蓋勳回答說：“我聽說以前那些聖明的君王只顯示恩德，不炫耀武力。如今，賊寇都在遠地，陛下卻在京城閱兵，這並不能顯示消滅敵人的決心，反倒給人窮兵黷武的印象。”
漢靈帝點頭稱是，誇獎說：“你的看法很對，可惜我們相見恨晚。當初，我提出這個方案時，群臣就沒有一個人講過這樣的話。”
蓋勳後來對宗正劉虞、佐軍校尉袁紹說：“陛下是非常聰明的人，只是被左右寵信的宦官矇蔽了。如果我們合力清除這些奸邪之徒，提拔清廉能幹之人，必使漢室興旺。到時我們功成身退，豈不是一件快意的事？”
劉虞、袁紹認同，於是與其結為同謀。
不久，司隸校尉張溫上表舉薦蓋勳為京兆尹，漢靈帝雖然捨不得蓋勳離開洛陽，但蹇碩等人巴不得他離開，都極力贊同，於是遷蓋勳為京兆尹。
長安縣令楊黨，仗著父親是中常侍，貪汙腐敗，為非作歹。
蓋勳到任後，核實楊黨貪汙上千萬，上書彈劾。
很多權貴為楊黨求情，蓋勳不理。
漢靈帝劉宏下詔將楊黨和其父革職查辦，蓋勳因此威震京師。
小黃門高望兼任尚藥監，頗得皇子劉辯的信任。
蹇碩受劉辯的旨意，向蓋勳建議舉薦高望之子為孝廉，蓋勳拒絕。
有人勸蓋勳說：“劉辯是未來的皇帝，蹇碩是陛下的寵臣，你都違背了他們的意願，恐怕三怨成府，引來禍害啊。”
蓋勳回答說：“選舉賢良的人為官是為了報效國家。不是賢良的人，我是不會舉薦的，死又何悔。”
蓋勳雖然在長安為官，但深得漢靈帝劉宏的信任，每逢有軍國大事，都會下手詔向他請教對策，並多次賞賜他，非常榮耀。
此時，長安城只有官兵五千人，為了對抗涼州叛軍，蓋勳向朝廷奏請徵募士兵，湊齊一萬人，並表奏徵辟士孫瑞為鷹鷂都尉，魏傑為破敵都尉，杜楷為威虜都尉，楊儒為鳥擊都尉，第五儁為清寇都尉。
這五人都是非常有名的將領，全部歸屬蓋勳統領。
