李聚奎1904年12月31日出生于湖南省安化（今涟源市）西坪村的一个农民家庭。7岁读书，后务农。1926年9月参加了国民革命军，在唐生智部任士兵、班长，参加了北伐战争。1928年7月，李聚奎同志参加了彭德怀同志领导的平江起义，任班长、排长，同年8月加入中国共产党。

1929年任红5军中队长、大队长。同年12月，在军长彭德怀、党代表滕代远统一指挥下，进军井冈山，与毛泽东、朱德领导的红4军在宁冈会师。参加了攻打文家市、长沙、演陂桥等战斗。在守卫井冈山和湘鄂赣边区武装斗争中，指挥果断，英勇善战。1930年调入红3军任大队长、红3军9师团长。率部参加了第一、二、三次反“围剿”，在指挥作战中，出生入死，两次负伤，表现了一个指挥员舍生忘死的战斗作风。1931年任8师师长。指挥部队参加了第四次反“围剿”，夺取了黄狮渡、浒湾战役的胜利，在大龙坪战斗中，活捉敌师长李明，受到中央革命军事委员会的表彰，荣获二等红星奖章。1933年任红一军团一师师长，参加了第五次反“围剿”，为保卫中央苏区进行了艰苦的斗争。

1934年参加长征，他率领红一师担负先遣任务，突破乌江，攻占遵义城，四渡赤水河，强渡大渡河，为掩护中央机关，屡建奇功。1935年8月调任红四方面军第31军参谋长，后任第9军参谋长，协助军长王树声克服战争中极为严重的困难，对张国焘在红四方面军搞分裂活动进行了坚决抵制。

1936年北上途中，参加了土城、永昌、黎元口等战斗。西路军失败后，他千里跋涉，历尽艰险，历时近两个月，1937年2月终于找到了党中央。

抗日战争爆发后，任八路军第129师386旅参谋长。协助旅长陈赓率部向华北开进，奔赴抗日前线。以袭击、伏击、阻击等战法，先后在长生口、神头岭、响堂铺、武乡重创日军，粉碎了日军“六路围攻”。1938年4月率386旅参加了长乐村战斗，歼灭大批日军，迫使其它各路回窜，从而粉碎了日军对晋东南地区“九路围攻”的阴谋，进一步巩固和扩大了晋冀豫边区抗日根据地。1938年春任129师青年纵队政治委员，后任鲁西北先遣纵队司令员兼政治委员。在抗日力量十分薄弱的情况下，发动群众，破袭铁路，建立组织，壮大了队伍。1939年2月，指挥并夺取了莘县战斗的胜利，对巩固和扩大鲁西北抗日根据地起到了重要作用。

1941年春任山西青年抗敌决死队第1纵队副司令员。1942年决死队1纵队改称1旅，任旅长兼第一军分区司令员，在薄一波同志领导下，进行了开辟太岳抗日根据地的斗争，组织部队和地方民兵开展游击战争。1942年和1943年，率决1旅并组织县区民兵共13个游击集团，齐心协力反“扫荡”，参加了“百团大战”，粉碎了日寇“围困沁源”的阴谋。延安《解放日报》连续发表通讯和社论称赞：“模范的沁源，坚强不屈的沁源，是太岳抗日根据地的一面旗帜。”