他满脸阴云地对徐阶说：“您当年救我是身为内阁首辅的职责，首辅不拯救忠臣，那就是奸贼。而我现在要您退地，也是我的职责。如果我对您家二十四万亩的土地置若罔闻，我也不是好官，连好人都算不上。”
虎父无犬子，徐阶还未开口，长子徐璠阴阳怪气地说道：“海大人真是明察秋毫啊，连我徐家有多少亩地都查得一清二楚。不过如果不是家父，您这颗会数数的脑袋恐怕早就搬家了吧。”
海瑞猛地站起来，咆哮道：“少废话，你们现在只有两条路：一、退地；二、跟我去大牢!”
徐阶的次子问：“你让我们退地，可有官方条文？”
海瑞又咆哮道：“你们那些地是劳动所得吗？你们心知肚明!找你们贪赃的证据就像是和尚头顶找虱子!”
徐阶意识到了，海瑞是个油盐不进的臭石头，跟他说话纯是浪费生命，他摆手示意送客。海瑞走到门口，停下来转身道：“我还会来的。”
海瑞说到做到，从此每天都来。大门不开，他就拼命地敲；徐阶在卧室不出，他就在客厅一坐一天，好像那是他的家。
徐阶唉声叹气，三个儿子决定为老爹排忧解难，于是写信给张居正。张居正当时日子也不太好过，高拱虽未回来，可赵贞吉在内阁嚣张跋扈。他只好回信安慰徐家三位少爷：“我抽空给海瑞写封信，希望能让他适可而止。你们现在最应做的有两件事：第一，停止一切生意(徐家在松江府有很多官商勾结的生意)；第二，用心照顾你们的爹，徐老师年纪大了，经不起折腾。”