蒋介石为加强对二十军的控制，命令郭汝栋彻底“清共”，并派亲蒋的黄埔生来主持其事。一向为人圆滑的郭汝栋，抢先对一些自认为是共产党员的军官以礼相送。郭汝瑰和傅秉勋虽然不承认是共产党员，但郭汝栋也不敢再留，而是劝他们去日本士官学校读书。郭汝瑰此时与党组织已失去联系，心想:去日本躲避一下也无妨，到日本去学点真本领，将来对革命的贡献可能更大。郭汝瑰晚年回忆起这段经历时说:“当时还自以为得计，岂知这成了我政治生活中的一个转折点，此后走了十几年的弯路。”

郭汝瑰和傅秉勋于1930年11月到达日本，经过半年的语言学习，于1931年4月考进日本士官学校。在日本，他既受到了严格的军事技术的教育和训练，提高了作为一个职业军人的素质；同时，作为一个中国人，也身受了日本当局的歧视和侮辱。特别是每逢一些关键性的军事技术和新式武器，日本教官总是想尽办法阻挠中国留学生学习和使用。一些日本小孩受家庭教育的影响，看到郭汝瑰这些中国留学生就嚷:支那人脏！” 日本人对中国人的种种歧视，像一把利剑，深深地刺痛了郭汝瑰。他还是咬紧牙关，奋发学习，希望为振兴祖国多学一些本领。但是时隔不久，就发生日本侵占中国东北三省的九一八事变。东京的中国留学生群情激愤。在士官学校留学的中国学生，也自发地结队去日本陆军省申请退学回国。日本宪兵前来驱赶，中国大使馆也派人来劝郭汝瑰等回校。中国留学生坚持不走，日本陆军省无奈，派人出来宣布:“你们可以退学，但退了就不能再入学了。”郭汝瑰等众多学生齐声高喊:“亡国奴才再回来。”

在抗日战争中崭露头角受到陈诚的青睐

郭汝瑰等一批从日本士官学校退学的学生，于1931年底回到上海，即推选出郭汝瑰等四名代表，去南京训练总监部，要求报考中国陆军大学，继续深造。想不到竟以“不听命令，擅自退学”为由，遭到拒绝。经再三求情，这些学生才获准去中央军校（即原黄埔军校）八、九期继续学习。郭汝瑰毕业于黄埔军校五期，当然不愿意重返黄埔，也不愿意重返已经公开反共的郭汝栋部。恰在这时，郭汝栋保送到陆军大学的一名学员因学历不合格，被取消复试资格，郭汝瑰得以顶替这个学员参加复试，并被录取，进入陆军大学第十期学习。

中国陆军大学是培养高级指挥和参谋人员的高等学府，每期只招收几十名学员，郭汝瑰进校时，校长为曾任国民党陆海空军总司令部总参谋长、思想比较开明的杨杰；不久，蒋介石自任陆大校长，杨杰改任教育长。郭汝瑰继黄埔军校之后，又一次成为“天子门生”。郭汝瑰入陆军大学不久，即因成绩优异、见解独到，受到杨杰的器重。他在陆大学习三年，以第一名的成绩毕业，因不愿到军队任职成为反共的帮凶，被杨杰推荐进入陆大研究院继续深造，并担任战史学教官。