正当人们高呼收复失地时，嘉靖皇帝来了个一百八十度大转弯，极力反对进攻河套的军事行动。因为口号喊完了，朱厚熜过热的大脑也冷却了。就凭目前的军力、国力，就想收复河套，打败强悍的蒙古人，简直是痴人说梦。真要开打，明军大概率是失败的，到时候嘉靖皇帝的面子一定挂不住。所以他的态度就变了，开始斥责曾铣。严嵩仔细揣摩朱厚熜的意图，极力主张不应该收复河套。夏言看出了严嵩的意图，吐槽道：之前你对收复河套没有任何异议，现在突然把锅都砸在了我的头上。嘉靖皇帝认为这是在暗讽他反复无常，勃然大怒，下令罢免夏言的官职，勒令其退休。夏言这回又可以回家抱孙子了，恐怕他自己都数不清是第几次被贬了。
严嵩再一次击退政敌，当然是很高兴的，可他不想就此罢手。他对朱厚熜的反复无常算是彻底怕了，万一哪天皇帝又想起夏言的好，念及旧情，又把他给启用了，不是又要花时间把他给斗倒？最根本的办法，应该是杀掉夏言，斩草除根。当时大街小巷有许多流言蜚语，说夏言临走的时候，对皇帝多有抱怨，不满意朱厚熜的处理结果，这些话传到了宫廷，让皇帝知道了。严嵩联合曾经被曾铣处罚的将领仇鸾，上疏弹劾夏言，说夏言的岳父苏纲，与曾铣来往甚密。以前曾铣打了败仗，为了掩盖罪行，通过苏纲牵线搭桥，贿赂夏言，最终免于处罚，还克扣了上万军饷。