1921年，伏罗希洛夫当选为俄共十大中央委员，率领大会部分代表参加平息喀琅施塔得反革命叛乱，因指挥作战有功，而荣获红旗勋章。
1921－1941年，伏罗希洛夫先后担任北高加索军区司令、莫斯科军区司令、陆海军人民委员、苏联革命军事委员会主席、苏联国防人民委员，苏联人民委员会副主席。苏联人民委员会防御委员会主席等职，积极参加1925年苏联军事改革，重视苏联红军武器装备现代化，扩建中高级军事院校网络，大力培养指挥人才，亲自组织修改和拟定陆、海、空三军条例和条令，为苏军军事人才培养、军事体制改革、技术装备的改进和战斗力的提高做出了突出贡献。1935年11月20日，根据苏联中央执行委员会和苏联人民委员会的决定，首批为五名苏军将领授予元帅称号，伏罗希洛夫就是这五名苏联最早的元帅之一。
苏联伟大卫国战争爆发后，伏罗希洛夫直接参加了抗击德国侵略军的组织领导工作。1941年7月10日至8月31日，伏罗希洛夫先后担任国防委员会委员，最高统帅部大本营成员，西北方向军总司令。1942年9月6日-11月19日，伏罗希洛夫又出任游击运动总司令，积极参加了苏联人民游击斗争的组织领导工作，亲自训练游击队指挥员，使游击队密切配合正规部队作战。1943年1月，伏罗希洛夫作为最高统帅部大本营代表，在突破德军对列宁格勒封锁的作战中，协调了列宁格勒方面军和沃尔霍夫方面军的战役行动。同年12月，伏罗希洛夫被派往滨海集团军，参加拟制解放克里木半岛的战役计划，协调乌克兰第4方面军、独立滨海集团军与黑海舰队和亚速海区舰队的作战行动，为解放克里木做出了重大贡献。卫国战争期间，伏罗希洛夫于1941年出席过苏、美、英三国莫斯科会议，1943年又出席过苏、美、英三国领导人德黑兰会议。联共中央和苏联政府为表彰伏罗希洛夫在卫国战争中的丰功伟绩，授予他苏沃洛夫一级勋章。