杨杰被撤职后不久，受蒋介石派遣，出国赴欧美“考察”。在此后近一年的时间里，杨杰到过29个国家。在苏联，斯大林多次接见他，称他为“战略专家”。在英国，他在与国防大臣谈论第一次世界大战前后的情况时，国防大臣以一份伪造的国防计划来试探杨杰的军事才能。杨杰稍加考虑后，说这份国防计划不可能是真的，并提出了修改意见，结果与英国真的国防计划大同小异。国防大臣对此甚为惊讶，赞叹他为“军学泰斗”。从此，他的军事、外交才能也闻名于世。

杨杰回国后，写出《欧洲各国军事考察报告》，向蒋介石建议:要赶快进行重工业建设，进行以国防工业为重心的军工建设，克服依赖外国武器的弊端，力求自强，建设独立自主的兵工业，不然，等到对日战争一开始，日军封锁各出海口，军火就不能得到保障。但是蒋介石没有采纳他的建议，反而将杨杰重新打发到陆军大学任教育长去了。

杨杰真正由亲蒋转为离蒋是在1935年初。当时，杨杰改任南京国民政府军事委员会参谋次长、代理总参谋长兼南京城防司令，他力主大购飞机，扩建空军，但购机钱款多为权贵中饱，遂愤而直接面谒蒋介石揭露此事。不料，事情牵涉到蒋介石的亲信宋美龄、何应钦、陈立夫兄弟，杨杰告状未成，反被诬告贪污修建南京城防工事的公款。蒋介石随即逮捕并枪毙了杨杰城防司令部的军需处长，并将杨杰撤职。从此，杨杰开始与蒋介石貌合神离。

抗战开始后，杨杰鉴于民族危机日益加重，多次向蒋介石提出对日作战计划，明确提出了“利用空间，争取时间，逐步削弱敌人，使我转弱为强，最后战胜敌人”的战略战术。但是，他的主张与蒋介石的主张相去甚远，均没被蒋介石采纳。

1937年8月，杨杰被蒋介石特派为赴苏军事考察团团长，前往苏联进行军事考察和争取军事物资援助。1938年9月，杨杰出任驻苏联大使，他为争取苏联对华援助做了许多努力，也颇有成效，如后来保卫武汉时的一支国际空军部队，就是由苏联空军人员组成的。但由于他对苏联的政治、经济等方面有积极评价，引起了国民党内亲美派的不满，1941年被免职回国。

回国后，杨杰因主张改革内政，实行对苏友好政策，引起蒋介石的不满，没有被安排任何实际职务，只保留了军事委员会顾问的名誉头衔，在重庆“中央训练团”施教。蒋介石还派人对他进行秘密监视。杨杰郁郁不展，闲居重庆，一头扎进军事国防理论的研究中，先后写下了《国防新论》、《军事与国防》、《苏联的国防政策》等大部头的军事理论著作，主张外联苏联，内联各党派一道抗日。他的主张，深得国民党内正直人士的赞同。

分道扬镳:民主急先锋为反蒋鼓与呼

与蒋介石共事多年，杨杰渐渐看清了蒋介石的独 裁面目以及国民党内部的腐败堕落。早在抗日战争期间，杨杰就开始经常发表一些针砭时弊、指责专制独 裁的言论。比如有一次，有个黄埔学生问起他与蒋介石的关系，他直言不讳地说:“蒋介石这个人，不足与之共事。他不是按总理‘天下为公’那样办事。恰恰相反，他私心太重。就拿你们黄埔学生来说，虽同是黄埔生，但浙江籍的黄埔生与非浙江籍的黄埔生就是不一样。至于黄埔与非黄埔，那就更不待言了。”