赵文华、欧阳必进的相继被罢免，显示严嵩已渐渐失去了嘉靖皇帝的宠信。正所谓“屋漏偏逢连夜雨！”此时的严嵩大已有八十多岁，年纪太大了，脑袋不再象年轻时那么清醒了，自己也做错了几件事，狠狠地得罪了嘉靖皇帝。
原来，嘉靖皇帝在没有决定太子之位的情况下，安排裕王朱载垕、景王朱载圳在各自府里进行婚事；这本是皇室的内部事务，严嵩却掺合了进来，他对嘉靖皇帝道：“此虽是昔年旧例，但臣等思得府第浅窄，出府未免与外人易于相接，在亲王则可。今日事体不同，臣等再三计之，实有未安，似俱留在内成婚，亦于保护为便。”
裕王朱载垕、景王朱载圳虽是嘉靖皇帝的骨肉，但嘉靖皇帝平日里很少见他们两人，嘉靖皇帝听到严嵩这么说，心里不禁颇为恼怒，”劈头盖脸“地训斥严嵩道：“出府之不可，是害及二王，是害及朕，卿等明说来。”
严嵩沉思片刻后答道：“储贰名分未正，而又出居于外，虽应得者亦怀危疑。府第连接，仅隔一墙。从人众多，情各为主，易生嫌隙。此在二王不可不虑者也。先朝有太后在上，有中官、东宫，体势增重，主上尊安。今列后不在，至亲惟有二王，却俱出外，此在圣躬不可不虑者也。”
严嵩稍顿后又进言道：“自古帝王莫不以豫建太子为首务。臣叩奏密对，屡以为请，圣衷渊邃，久未施行。中外臣民引颈颙望，谓此大事，置而不讲，臣等何以辞其责！请及开岁之首则告举行。“
自秦始皇创造皇帝制度以来，历代帝王对立太子一事，一向”讳莫如深“，最忌讳的就是臣子参与到立储的事件上，嘉靖皇帝听到严嵩主动提起立太子的事，心里自然不高兴。
后来又发生了一件事，也让嘉靖皇帝对严嵩越来越看不顺眼；原来嘉靖皇帝常年居往在西苑万寿宫，因发生了火灾，受灾的情况很严重，嘉靖皇帝于是暂时居住在玉熙宫，玉熙宫自然不如万寿宫往的舒服；嘉靖皇帝因为休息不好，于是非常烦燥，嘉靖皇帝向严嵩问计，严嵩劝皇上还是回到大内去居住。这个建议可触动了嘉靖帝的忌讳。
原来嘉靖皇帝至今还清楚，嘉靖二十一年（公元一千五百四十二年）十月二十一日的晚上，嘉靖皇帝本人在大内宫中熟睡的时侯，差点被宫女们用细料仪仗花绳给勒死，后来参与此事的宫女陈芙蓉中途变卦，向方皇后告密，这才救回嘉靖皇帝的性命。在嘉靖皇帝昏迷的时侯，方皇后借此千载难逢的良机铲除情敌道：”这群逆婢，并曹氏（端妃）、王氏（宁嫔）合谋弑于卧所，凶恶悖乱，罪及当死，你们既已打问明白，不分首从，都依律凌迟处死。其族属，如参与其中，逐一查出，着锦衣卫拿送法司，依律处决，没收其财产，收入国库。陈芙蓉虽系逆婢，阻拦免究。钦此钦遵。”
嘉靖皇帝后来苏醒了过来，他知道方皇后是在假传圣旨，曹氏（端妃）、王氏（宁嫔）都是冤枉的，可是人死不能复生，于是嘉靖皇帝就此不想呆在大内，只在西苑居住；严嵩这个建议，正触动了嘉靖皇帝心中的伤痛；严嵩似乎也知道自己失言，接着又建议嘉靖皇帝居于南苑，严嵩的这个建议让嘉靖帝更愤怒，原来南苑是明英宗回京城后被软禁的地方，那个地方既残破、又荒废，历朝的帝王从来没有人愿意居往。