準確地說，嘉靖並不是因為呂芳被人稱作老祖宗才大發雷霆的，而是因為呂芳為求後路接近裕王，加上他的子孫們辦事不力，導致他丟了顏面、壞了名聲。嘉靖對呂芳不滿，陳洪故意裝作看不懂，還喊了一句老祖宗，讓嘉靖更加冒火。而呂芳自始至終都是波瀾不驚的樣子，就算是說奴婢甘願領罪之時也是不卑不亢。
在嘉靖的帝王平衡術之上，呂芳是他伸出去的一隻手，代表的是他。剩下的兩方，很明顯一個是徐階的清流，一個是嚴家父子了。嘉靖最為安心的時候就是這三方都在制衡、穩定的時候。在嚴家倒臺之後，嘉靖的理想狀態是兩者對立，控制好局面。
呂芳應該是無條件忠於嘉靖皇帝的，原則上不可以偏向另外兩方，但這個時候已經向裕王、徐階靠攏，讓馮保去給世子當大伴。嘉靖疑心病重，當然會對呂芳的做法十分不滿。然發火歸發火，嘉靖帝對呂芳的忠心其實是非常明白的，他知道即使這麼多人喊呂芳老祖宗，呂芳依舊把自己當做他的奴才。
嘉靖對人們叫呂芳老祖宗的事情難道不知曉嗎？他告誡過呂芳：你本來沒有兒子，但兒子是最多的。有這麼多兒子累不累？死了的人才被後人叫老祖宗，你被人叫老祖宗有什麼好得意的。這些話有譴責呂芳的意思在，但是細聽之下，其實是怪呂芳認兒子就算了，為兒子周全使了那麼大勁，吃力不討好，還敗壞了他的名聲。嘉靖氣憤之時罵道：這深宮之中到處都是“芳草”，就連我的兒孫處都是。嘉靖對呂芳靠攏清流，打他的兒孫的主意是十分介意的。
另外，嘉靖也對未來用人有了打算，嚴嵩倒臺之後，他需要一個絕對心狠手辣的人來做事，這個人必是橫死，呂芳做不到完全沒有底線，陳洪就是嘉靖的最佳人選，況且陳也急著上位。嘉靖知道自己沒有多少日子了，他死後朝廷肯定會有劇變，呂芳這個老祖宗在他手下尚無性命之憂，但是他死了之後，很多人會覺得呂芳擋住他們的去路。
所以嘉靖將呂芳送走也是為了保他，是對呂芳功成身退之後做出的最好的安排。他送給呂芳符紙的時候，背對著呂芳躺在床上潸然淚下。後來黃錦給他搓腳的時候，嘉靖說自己父母死得早，就呂芳跟他貼心。嘉靖在整部電視劇之中都是陰謀家的形象，在對呂芳的感情處理上，卻有一絲溫情。
