当时朱元璋部下的家眷都在和州，元朝大将蛮子海牙偷袭占据了采石，切断了和州和太平之间的联系。朱元璋怕影响军心，立刻率军去攻打元军，派常遇春多设疑兵以分散元军兵力。战斗开始后，常遇春驾驶小船拼命往前冲，把元军的船队分为两截，朱元璋再率领大部队从左右冲锋，大败元军。常遇春在攻打集庆和对陈友谅的战役中也立了大功，还救过朱元璋的命。他虽然不是最早一批跟随朱元璋的将领，但他治军严明，对朱元璋忠心耿耿，屡建奇功，所以很受信任。
当时朱元璋手下最厉害的三员大将分别是邵荣、徐达和常遇春。其中邵荣是老将，特别善于打仗，但他却居功自傲，心有不轨，企图叛变。事情败露后，朱元璋看在邵荣以前的功劳上想免他一死。常遇春却对朱元璋说：“大臣企图谋反，还有什么可宽恕的？反正我是绝对不会和他一起活着的。”朱元璋没有办法，只好请邵荣喝酒，流着眼泪把他杀掉了。从此朱元璋更加器重常遇春了。