战争进行到8月上旬，冯玉祥以徐州为目标，兵分7路，沿陇海线向蒋介石的部队发动全面进攻。当时，蒋介石的主力部队都在陇海路一线，身边没有预备队，形势非常危急，蒋介石准备从陇海正面及归德以南地区退却，缩短战线。杨杰却指出，敌军攻势正在猛烈之时，如果退却，必定引起全线崩溃，这对战局的影响极为不利，必须苦撑几日。并建议蒋介石采用“拖冯打阎、联张缓图桂系”的计策:利用冯军偏重稳打不敢轻率冒进的特点，以少量兵力拖住它；令十九路军沿胶济铁路直取济南，切断阎锡山的后路；派人劝说张学良出兵保定、石家庄一带，切断冯、阎的联系；尔后再诱敌深入，以平汉、陇海两面包抄的口袋战术各个击破敌人。蒋介石采纳了杨杰的意见，当即任命杨杰为总司令部参谋长，协助自己指挥这一战役。结果，阎锡山部向天津退却，冯部独不能支，也向郑州、潼关溃退，整个战争形势发生了根本性转折。等到张学良于9月18日发出拥蒋通电并派兵入关后，阎冯李联军节节败退，已经难以挽救战场上的颓势了。中原大战最后以冯军被全部消灭、阎军又龟缩到山西、桂系仍退回广西、蒋军大获全胜而告终。

这样，蒋介石仅用3年的时间便解除了肘腋之患，建立了国民党的全国统一政权。杨杰也因此获得“智囊”之称，一度深得蒋介石的信任和器重。

与蒋生隙:军事天才无用武之地

中原大战一结束，蒋介石立即腾出手来，调集重兵，向共产党领导的革命根据地发动进攻。当时，日本军国主义对中国觊觎已久，正在积极策划侵略中国。为此，杨杰力劝蒋介石不要把力量用去打共产党，而应赶快集中力量进行国防建设，加强国家抵御外侮的力量。后来，他见不能说服蒋介石，感到自己的抱负难以实现，心里非常痛苦，便找借口离开部队，一度避居上海。

1931年，在国民党第四次全国代表大会上，杨杰当选为中央执行委员。1934年，出任国民党中央陆军大学校长，苦心孤诣地为蒋介石培养了不少军事人才。1937年，晋升为陆军上将。

杨杰在短期内屡屡升迁，引起国民党内各派权贵的嫉妒，加上他性格率直，不肯曲意迎合，许多人在蒋介石面前诋毁他。蒋介石用人的政策历来是用之防之，功高震主、权倾朝野的人他是绝不允许的。因此，杨杰逐渐为蒋介石所冷落。

1933年3月，杨杰被蒋介石派往北平任古北口方向的总指挥，率部狙击向长城一线的喜峰口、冷口和古北口等军事要地进攻的日军。在居仁堂军事会议上，他提出“后退配备”的抗日战略，主张把古北口以南的南天门阵地向后撤退到密云县以东地区，诱敌深入，而在两侧配备两个军同时出击，以歼灭敌人的主力，改变被动挨打的局面，并以前方敌军不断增加为由，要求增援。时任军政部长的何应钦是个亲日派，与杨杰向来不睦，遂恶人先告状，向蒋介石电告说杨杰谎报军情。蒋介石偏听偏信，以谎报军情罪撤销了杨杰总指挥的职务。