从1927年底到1928年初，随着海陆丰起义和广州起义的相继失败，为躲避国民党政府的追捕，大批中共党员不得不转移到时为英属殖民地的南洋（即今天的马来西亚、新加坡一带），在这里他们与组织上重新取得了联系，建立了中共南洋临时党支部，后改名为中共南洋临时工作委员会，简称中共南洋临委。为团结当地各族人民开展革命斗争，中共南洋临委后又改名为南洋共产党临时委员会，1930年4月30日在现马来西亚森美兰州瓜拉庇劳附近的一个橡胶园里，马来亚共产党正式宣布成立，胡志明以共产国际代表的身分出席了马共的成立大会。

马共成立之后就迅速渗透到个矿山、橡胶园，大力领导工人活动，开展反帝反殖运动，因此深受英殖民主义者的仇视。为此，英殖民当局在1933年成立政治部以对付马共。在1931－1935期间，仅新加坡一地，英警总共对马共采取了432次突袭行动，拘留了226名被嫌疑为马共成员者。这些被拘留者由于大部分都是中国籍，过后多数被遣送回中国。

就在马共日益受到打压，生存空间日渐恶劣之时，国际政治局势却在这个时候起了根本的变化。1941年12月8日，日军在泰国及马来亚登陆。超过10万英军，在3万日军的进攻下，竟然在未经大规模的抵抗和战斗的情况下，节节败退，并在九个星期之后，即1942年2月15日向日军投降。

此时，由于中国的抗日战争早已全面爆发，大部分由华人组成的马共随即组织了马来亚人民抗日军展开了抗日游击斗争。具有讽刺意味的是，马共游击队的大部分武器，竟然是从英军在战败逃亡时，所遗弃的武器中拾来的！游击队活动迅速蔓延到马来亚各地。

在日本统治三年零八个月的时间内，虽然马共中央屡遭破坏，大批高级干部被捕遇害，但仍与敌人进行过345次战斗，其中主动进攻敌人240余次，共毙伤敌人5500余人。到1945年日本无条件投降之时，马来亚人民抗日军已发展成为一支拥有上万人的队伍。在马来亚四分之三的地区建立了人民政权。

然而，就在1945年8月日军投降、到英军9月底重新登陆这一政权真空时期，马共中央总书记张红（即莱特）不但不去建立全国政权，反而以共产国际的命令为由，将已经到手的革命果实拱手相让，宣布解散将人民抗日军，并将已经建立的各级人民政权全部移交给重新登陆的英军。

1946年底，共产国际代表来到新、马地区。而一直声称自己是共产国际派来马来亚的代表的张红在这时携款潜逃。原来这位总书记居然是法国、英国、日本的三重间谍！1947年3月马共召开中委会议，委任陈平接任总书记。

张红后来在1947年8、9月间在曼谷街头被几位原为中共南洋党支部的华侨党员偶遇，随即他们试图抓住张红，在搏斗中，张红被掐死。可是损失却是无法挽回了。英殖当局此时已经控制住了局势。为了打击马共，英殖当局于1948年6月20日颁布了“特别紧急条例”，疯狂镇压马共前抗日人员及其他左派进步人士。由于之前马共还处于合法状态，因此大批公开身份的马共成员来不及转移而被逮捕。对此，马共中央决定转入地下，重新进行武装斗争，并于1949年2月1日建立了马来亚人民解放军。

当时的马共在华人社会及工人中仍然享有极高的威望。马共不断组织工人罢工，并破坏橡胶种植园和矿山，同时，游击队员不断发动零星攻击，甚至在1951年10月5日，在福隆港那场击毙了英国驻马最高专员葛尼。可是马共始终没能建立起自己的解放区。一度被宣布为第一个，也是马共历史中唯一的解放区——话望生（Gua Musang），仅仅在五天后，就重新落入英军的手中。葛尼被击毙后，邓普勒中将被任命为英国驻马最高专员，他上任之后，加大对马共武装的打击力度，同时实行毕礼斯计划以截断马共同其群众基础的联系。