当时朱元璋部下的家眷都在和州,元朝大将蛮子海牙偷袭占据了采石,切断了和州和太平之间的联系。朱元璋怕影响军心,立刻率军去攻打元军,派常遇春多设疑兵以分散元军兵力。战斗开始后,常遇春驾驶小船拼命往前冲,把元军的船队分为两截,朱元璋再率领大部队从左右冲锋,大败元军。常遇春在攻打集庆和对陈友谅的战役中也立了大功,还救过朱元璋的命。他虽然不是最早一批跟随朱元璋的将领,但他治军严明,对朱元璋忠心耿耿,屡建奇功,所以很受信任。
当时朱元璋手下最厉害的三员大将分别是邵荣、徐达和常遇春。其中邵荣是老将,特别善于打仗,但他却居功自傲,心有不轨,企图叛变。事情败露后,朱元璋看在邵荣以前的功劳上想免他一死。常遇春却对朱元璋说:“大臣企图谋反,还有什么可宽恕的?反正我是绝对不会和他一起活着的。”朱元璋没有办法,只好请邵荣喝酒,流着眼泪把他杀掉了。从此朱元璋更加器重常遇春了。