彭城王石遵走到河内，接到石虎丧讯，这时，姚弋仲、蒲洪、刘宁及征虏将军石闵、武卫将军王鸾等讨伐梁犊还师，与石遵在李城相遇，一起建议石遵说：“殿下年长，并且贤能，先帝也有意以殿下为嗣；只是因为晚年昏聩，为张豺所误。如今女主临朝，奸臣用事，与上白相持不下，京师宿卫空虚，殿下如果声讨张豺之罪，击鼓进军，讨伐张豺，谁不开门倒戈而迎殿下！”石遵听从。
五月，石遵在李城举兵，挥师向邺城进发，洛州刺史刘国率洛阳部队前往会师。檄文到了邺城，张豺大惧，飞驰召回包围上白的军队。
五月十一日，石遵驻军于荡阴，戎卒九万，石闵为前锋。张豺将出城拒战，父老故旧、羯族战士们都说：“彭城王来奔丧，我们当出城迎接，不能为张豺守城！”纷纷翻越城墙而出。张豺斩杀阻止，也挡不住。张离率龙腾武士二千人，斩开城门，迎接石遵。刘氏惧，召张豺进宫，对他悲哭说：“先帝灵柩还未下葬，而祸难至此！如今嗣子年幼，托付给将军，将军准备怎么办？我想要给石遵加以重位，能消弭灾祸不？”张豺惶怖，不知所为，只是嘴里念叨：“唯唯。”于是刘皇后下诏，任命石遵为丞相，领大司马、大都督、督中外诸军，录尚书事，加黄钺、九锡。