1924年冬，杨杰以第一名的成绩从日本陆军大学毕业。他拒绝了日本当局和好友的挽留，毅然回到了魂牵梦萦的祖国。当时正值国共第一次合作，杨杰遂到南方投奔程潜领导的国民革命军第六军，先后担任总参议、第十七师师长，并率部参加了北伐战争。1927年初，程潜被蒋介石等人从南京挤走，所部被蒋介石先改番号为暂编第六军，后又改编为第十八军，杨杰均出任军长。南京政府成立后，杨杰率部参加了南京方面与北洋军阀孙传芳部在南京郊外龙潭车站的大规模会战，帮助蒋介石肃清了孙传芳残部。

杨杰卓越的军事才能得到蒋介石的赏识，龙潭战役后不久就被任命为南京国民政府军事委员会委员。1928年4月，杨杰被第一次“下野”后复出的蒋介石委以重任，以第一集团军总参谋长的身份随蒋介石参加了“第二次北伐”。5月，军队到达济南时，遭到日本军队的阻挠。日本害怕国民党统一全国后会妨碍其在华利益，便以保护其侨民为借口，对济南发动武装攻击。蒋介石畏惧日军的势力，竟然要求第一集团军全面撤退。杨杰见此情景，耐心地向蒋介石分析当时的形势，劝说蒋介石不可中了日军的诡计，并当即打开地图对蒋介石说:“这件事早在估量之中，可令未渡黄河的部队，改道渡河；已经到达济南的部队，迅速离开济南往北推进，以收北伐全功。”蒋介石依计而行，部队顺利进驻北京，奉系军阀张作霖被迫率部退往关外。

6月15日，南京国民政府宣告完成政权的统一。北京遂被易名为北平，杨杰先后被蒋介石任命为总司令部的北平行营主任、陆海空军总司令行营总参谋长。

1929年5月，蒋介石与冯玉祥之间的战争爆发，杨杰被任命为南路军总参谋长，具体负责对冯部作战。10月，冯系将领宋哲元等通电反蒋，并率部东出潼关，对蒋军发起强大攻势，使蒋军的整个战局告急:登封不守，密县将陷，临汝城被围。在此关头，杨杰决定，以一部阻止冯军，封锁临汝城之咽喉，一部侧击登封，以解临汝城之围。在杨杰的指挥下，蒋军一举击溃冯军，扭转了整个战局。11月，冯军退回陕西。

1930年5月至10月，中国现代史上规模最大的军阀混战——中原大战爆发。战争的一方是蒋介石的军队，另一方是阎锡山、冯玉祥和李宗仁、李济深的联军。在这场战争中，杨杰多次为蒋介石立下大功。

有一段时间，蒋、冯、阎三支军队曾胶着于陇海路中段郑州——开封——兰封——考城一线。蒋介石无法挽回劣势，心急如焚，多次电邀时任第二炮兵集团指挥官的杨杰南下问计。杨杰南下后，陇海线吃紧，双方混战正急。蒋介石总部驻扎柳河车站，大部分军队已派往第一线，留在身边仅一个特务营。此时，侦察机突然来电:“敌军一个骑兵大集团正在向车站急进。”蒋介石顿时十分惊慌，因为根本无法调回军队支援，以己方一个营的兵力对付一个骑兵大集团，无异于以卵击石。他急忙问计于杨杰。杨杰急中生智，说:“现在情况紧急，我没有时间解释，你可以立即告诉站上，将列车的两头各安一个车头。”蒋介石马上又照办。这样，当敌军大举进攻车站的时候，杨杰令列车向北急驶，等开出二三十里地后，马上又向南急驶。敌军被吸引跟着列车跑来跑去，很快筋疲力尽。对方指挥官见这样不是办法，于是改变行军路线，派兵去烧附近的机场。杨杰了解到:此前，空军有些轰炸机因找不到目标，没有投弹，刚刚返回机场。按当时规定，如重磅炸弹未使用完，不得留在机场降落，以免发生爆炸。现在事态紧急，杨杰当机立断，下令飞机马上降落机场，但不准卸下炸弹。如此一来，敌军火烧机场时，重型炸弹先后爆破，震耳欲聋。敌军以为中了埋伏，赶紧撤退。杨杰抓住机会下令特务营乘机冲出，迅速打退了敌骑兵集团。蒋军此次以少胜多，多亏了杨杰的指挥。蒋介石事后对杨杰说:“耿光！不是你在此，我们一定当了俘虏了。”