而假释部门也没有重视这件事，并且将盖西以往的定罪记录封存起来。在1971年10月，盖西恢复了自由人的身份，直到FBI与警方由于谋杀案而对其展开调查，才发现他之前的犯罪事实。
后来，盖西与母亲搬到了伊利诺伊州的库克县。而在这里，他开始了自己残暴的杀人行径。
1971年，他与一个带着两个女儿的女人结了婚。婚后，他开始做起了建筑生意，比如室内设计、安装和环境美化等，几年下来，公司渐渐有了起色，规模也日益壮大起来。
但在1972年1月2日，盖西第一次杀人。他在公共汽车站发现一个15岁的名叫蒂莫西·麦科伊的年轻人到芝加哥旅游。于是，他将麦科伊哄骗到家中，并称第二天会将他送到车站。但第二天早上，麦科伊拿着菜刀站在了盖西床前，盖西以为他要杀自己，在纠缠的过程中，盖西用菜刀杀死了麦科伊。
后来盖西走到厨房才得知，麦科伊已经做好了早餐，他可能无意中将菜刀带入了卧室。虽然知道了事实真相，但盖西并不后悔，他冷静地将麦科伊的尸体埋在地板下，为了防止家人闻到尸体的腐烂味道，他还在地板上面涂上了一层水泥。
在1974年1月，盖西再次杀害了一名身份不明的青年。那名青年是被盖西勒死的，随后，他将其埋在自家的后院中。
而在他所住的社区中，邻居们都认为盖西是一个乐于助人的人，因为他时常帮助他人，而且喜欢做公益，因为无偿为小区提供服务而受到奖励。另外，他还经常将自己打扮成为小丑，定期举办筹款活动，并去医院慰问住院的儿童。可是，这都是他用来伪装自己的“面具”。