乔让两个没带刑具的犯人把开监房门的看守拉住，连劝带威胁，让其把五六十个带刑具的刑具砸开，由乔带二三十个年轻力壮的犯人冲在前边，其余200多犯人紧随其后。到狱门后，两个守卫的警察还没弄清咋回事就被缴了械。然后冲到警察班宿舍，抢了十多支步枪及子弹、手榴弹等，冲出了监狱，在乔的指挥下，众犯安全逃出浑源县城。当晚，众犯人同宿城西一小村庄，由村长安排了饮食招待。经过商量，有6人愿随乔到应县成立部队，有7人表示先回家探亲然后再到应县。至此，乔已拉起有14杆枪和7人的队伍了。翌日，大家各奔西东。

乔日成回到家乡时，地方上已是一片混乱，老百姓惶惶不可终日。他们既怕日军来了烧杀，又怕散兵土匪来抢劫骚扰。下社村民见到乔日成回来，并带有十几支枪，非常高兴，一致拥护乔当队长，即日成立保家队，雇用30多名青壮年，搜集起30多支步枪、冲锋枪，还有2挺轻机枪和一些弹药交乔使用（这些武器都是溃兵遗弃的）。乔组织了4个班的一支武装部队，指挥所就设在他家。

乔父听说儿子越狱回来，还带有人、枪，觉得无颜相见，遂跑到村外跳井自杀。但井水不深，未被淹死，村人发现后将他捞出，并报告了乔日成。乔日成说:“他既自寻无常，就让他痛痛快快去吧。”当即派从浑源跟来的6人带上铁锹，在村外井旁挖了个坑，将自己的亲生父亲给活埋了。

当时，乔已30多岁，而次淑贞仅十七八岁，故乔如获至宝，夜夜合欢乔的保家队迅速扩大。1937年8月，日军侵占应县城。乔日成初时不愿投敌，后日军派伪县长王相（乔念高小时的校长）亲与游说，乔乃于1937年12月间接受伪职队长，改为南乡保甲队，武器弹药由日军补充，粮饷服装就地自筹，受日军节制。

乔的野心是很大的，他明里降日当了伪军，暗里又投靠了国民党察省主席张盛生，张给乔挺进纵队番号，委乔为纵队司令，令乔发展势力。

乔毕竟入过军校并在部队干过，因而对带兵是不陌生的。他对部属既能严格要求，又能与之同甘共苦，这为其部队的巩固和迅速发展奠定了基础。他不断收编散兵游勇，吞并其他小股武装，加之他乡的保家队主动投归，到1939年上半年时，其部队已发展到2500余众。

为利用乔的势力对付雁北的八路军，1938年间，日军特加封乔为“雁北剿匪司令”。于是，乔借机组织司令部，下设军法、军医、副官、参谋、秘书、稽查、军械、军需等八大处，将部队改编为4个大队和1个特务连，一时称雄雁北，乔队也改称乔军了。乔虽接受了日军加封，但受编不受调。

应县南河种村有一美貌女子，名次淑贞，15岁时即长成如花似玉的大姑娘，加之读过三年小学，略通文墨，聪慧伶俐，令人见之倾心。后由父作主，嫁给应县城一名医之子田俊为妻。婚后二年，抗战爆发，田俊远去南方参加抗战工作。淑贞在家独居，空房寂寞，春心萌动。日军占据应县城后，随军翻译孔仲文与次淑贞结为露水夫妻。一次乔到县城开会，在老相识周焕家遇次淑贞。乔一见倾心，并提出娶之为妾。在次回家时，乔即尾随其后，后二人同居。当时，乔已30多岁，而次仅十七八岁，故乔如获至宝，夜夜合欢。孔翻译后知此事，但惧乔威势，也只好退避三舍，忍痛割爱了。会议结束后，乔即带次到下社村，终日形影不离，正式纳次为妾。

1938年，日伪政府下令雁北各村农民种植罂粟，这给乔日成提供了一个发财的机会。他凭借自己的实力，逐渐控制了应县的乡村政权，除向农民征收烟税外，还大做烟土生意，聚财甚多。乔利用搜刮来的钱财，除进一步扩充兵源，增加实力外，还开办了兵工厂、修械厂、木器厂、铸铁厂、被服厂等小型工厂。

王震旅长命令七一七团突袭下社新堡，激战整夜亦终未攻入堡内，因返延安时间紧迫，所以便撤围西去

乔日成独霸应县乡村政权后，将这一带视为一己之天下，既抗拒日伪政府插足，又阻碍破坏抗日政权的建设。

乔军司令部驻地新堡常驻一个大队和特务连的兵力，约计700余人。下社村南5里许的小石口村，亦常驻一个大队互为犄角。乔军在新堡构筑有防御工事，构成上中下三层防御体系和交叉火力网，易守难攻。

1939年7月，八路军三五九旅奉命由河北调回延安，途经应县时，应晋察冀边区政府之请求，同意攻打新堡，拔掉乔日成这颗钉子。王震旅长命令七一七团突袭下社新堡，激战整夜亦终未攻入堡内，因返延安时间紧迫，所以便撤围西去。雁北支队亦未攻克小石口，复上南山。自此，乔日成便与八路军完全敌对了。

此日战斗结束后，乔日成将战报报到大同日军师团部，并有驻防应县日军连夜发去的电报证明，乔日成再次得到日酋的赞赏和重视。乔日成设计将抗日失利来投的结拜兄弟王天存杀死，吞并其队伍，并电告日军。

大同日军师团长派来汽车拉走王的尸体验证后，又转送张家口日军军团司令部验明正身。日军对乔此举再次大加奖赏，将乔的“雁北保甲队”队长升为“晋北挺进军长城南境剿共总司令”。