当时，瑟斯顿的想法很简单，就是带乔伊去体育馆练拳击。乔伊抱着支离破碎的小提琴跟瑟斯顿来到了体育馆。“我可以先把旧鞋和拳击手套借给你，”瑟斯顿说，“不过，你得先租个衣箱。”租衣箱一周要50美分，乔伊口袋里只有妈妈给他这周学琴的50美分，不过琴已经坏了，也不可能马上修好，更别说去上课了。乔伊狠狠心租下衣箱，把小提琴放了进去。
开头几天，瑟斯顿只教了乔伊几个简单的动作，让他反复练习。一个礼拜快结束时，瑟斯顿让乔伊到拳击台上来，试着跟他对打。没想到，才第三个回合，乔伊一个简单的直拳就把“金手套”瑟斯顿击倒了。爬起来后，瑟斯顿的第一句话就是：“小子，把你的琴扔了！”
乔伊没有扔掉小提琴，但他发现自己更喜欢拳击，每周50美分的小提琴课学费成了拳击课的学费，巴罗斯太太懊恼了一阵后，也只好听之任之。不久乔伊开始参加比赛，渐渐崭露头角。为了不让妈妈为他担心，乔伊悄悄把名字从“乔伊·巴罗斯”改成了“乔·路易斯”。
5年以后，23岁的乔已经成为重量级世界拳王。1938年，他击败了德国拳手施姆林，当时德国在纳粹统治之下，因此乔的胜利意义更加重大，他成了反法西斯者心中的英雄。但巴罗斯太太一直不知道人们说的那个黑人英雄就是自己“不成器”的儿子。