薄一波开始工作后，征得阎同意，对牺盟会进行了改组，成立了新的工作班子。改组后的牺盟会，７名常委中，有６名是共产党员，２２名执委中，共产党员和进步分子亦占百分之八十以上。但阎锡山仍是会长，梁化之仍是总干事。薄一波叫负责人，实际主持工作。牺盟会实际上成为共产党领导的特殊形式的抗日民族统一战线组织。薄一波把这种特殊的工作方式，叫作“用阎锡山的面袋完全装我们的面”。

牺盟会改组之后，薄一波等充分利用这一公开的组织形式，训练和派遣特派员到各县开展抗日救亡运动。到１９３８年初，山西全省１０５个县中就有７０个县的县长由牺盟会特派员和决死队的干部担任，其中大部分是共产党员。牺盟会极大地推动了三晋大地群众性的抗日救亡运动，并对全国的抗战都产生了重大的影响。

１９３７年７月底，日军占领平津，然后集结主力准备西犯山西，阎锡山慌了手脚，找薄一波帮忙。

薄一波说：看来仅仅依靠旧军是不行了，有必要赶快组织一支新军。

阎锡山说：你说的正合我意，这件事就交给你来办，先搞一个青年抗敌决死队(团)，试试看。
薄一波随即向刘少奇报告。

刘少奇说：要去!不要说一个团，就是一个营、一个连也要去。你赶紧回去，把牺盟会的日常工作委托给合适的人，除了重大问题你过问一下外，全部的精力都要投在组建新军的工作上。
薄一波全力以赴地抓新军的组建工作。此前，牺盟会举办了军政训练班、民训干部教练团、国民兵军官教导团等，使全省牺盟会员发展到七八十万人。在此基础上，于１９３７年８月，组建了第一支山西青年抗敌决死队，薄一波任政委。

不久，薄一波率青年抗敌决死总队，到五台山地区准备建立抗日根据地。行军到盂县时，遇到朱德。朱总司令对他说：晋东北地区已有八路军１１５师，你就不要去了，我建议你到晋东南去。朱德还说：毛主席说，我们跟日本打的是持久战，要有根据地，而且必须是多块根据地。和下围棋一样，只有一个“眼”不行，那还是死棋，要做几个“活眼”。晋东南地区也是毛主席选定的一个“眼”，战略地位十分重要。

遵照朱德的指示，薄一波命令部队向晋东南上党地区转移，自己则到太和岭口(阎前线指挥所驻地)去见阎锡山。他向阎提出：“上党地区是军事重地，我要求率部队到那里去，建立一个抗战的立脚点。”

阎锡山马上同意了薄一波的要求，并任命薄为地处晋东南的山西省第三行政区政治主任(后改为山西第三区专员公署专员)。

１９３７年１１月，太原失陷。阎锡山的旧军在日本人的进攻面前，除少数进行了较顽强的抵抗外，大部分是一触即溃，闻风而逃，一败涂地，１０多万军队损失将近五分之一。沦陷区的政权全部瓦解，尚未沦陷的地区也是一幅溃败混乱的场面。“十月山西人人忙，富人搬家忙，穷人心惶惶，军官扔部属，小兵扔大枪”，就是时局的真实写照。

中共中央敏锐地抓住这个宝贵的时机。那时，在华北广大的地区，到处是要求抗日的民众，到处是溃兵扔下的枪支，人与枪结合起来，加上共产党的领导，立刻就变成抗击日寇的武装力量。在正确路线指引下，在一年多的时间内，山西新军不断发展壮大，有正式番号、列入正式编制的有５０个团，主力部队约５万人。加上地方党委领导的分布于晋东南、晋西北和晋西南的地方武装，总数达到近１０万，实际兵力和武器数量都超过了山西旧军，成为山西土地上一支举足轻重的宣传、贯彻共产党抗日救国纲领主张，坚决抗日、反对内战的武装力量。

对此，毛泽东赞扬有加。在延安，他在同薄一波的谈话中说：“你们几个人搞了个大局面”，是“我们党统一战线政策的一个成功例证”。

１９４５年，薄一波在延安参加了中共七大，并当选为中央委员。
 
从襄助刘邓到主持华北

抗日战争刚刚结束，为了适应新的形势，中共中央决定成立晋冀鲁豫中央局和晋冀鲁豫军区，刘伯承担任军区司令员，邓小平任中央局书记和军区政委，薄一波是中央局副书记和军区副政委。为此，任弼时曾找薄一波谈话。他说：中央决定调动你的工作，毛主席要我来跟你谈谈。毛主席和中央对你的要求是协助刘邓做好工作，重要的是协助刘邓做好各方面的团结工作。
薄一波表示：我在小平、伯承同志直接和间接领导下工作已经多年了，据我了解，刘邓历来十分注意团结工作并且做得很好。决死一纵队归１２９师建制后，我就倍感亲切。有中央的方针政策，又有刘邓的领导，团结一定能搞得更好。