阎锡山在与蒋介石电报论战的同时，还加紧了对反蒋联合阵线的组织。在这方面，他首先从政治上着手，来否定蒋介石南京中央政府的合法性，阎锡山为此把目光盯在了“改组派”身上。这个“改组派”是国民党二届四中全会上，蒋介石借口广州起义指责汪精卫是“的尾巴”，排斥了汪精卫、陈公薄、顾孟余、甘乃光出席会议后，汪精卫这一派在1928年成立的一个组织“中国国民党改组同志会”，简称“改组派”。国民党第三次全国代表大会上，改组派主要领导人被开除，或被警告，从此处在了蒋介石的对立面。阎锡山虽然不喜欢改组派，但是由于改组派在政治上主张以一、二两次全国代表大会的精神恢复国民党“民众运动，组织纪律、反帝、党内民主”的“革命精神”，反对“恶化腐化势力，唤醒并组织社会上一切民主势力”的建党宗旨，实现国家外交、军事、政治、财政各个方面的统一。这些政治主张适应当时民众希望和平、民主建国的心理，也非常适合资产阶级改良主义者的口味，所以，汪精卫虽然手无寸铁，但他在国民党内仍有很高的威望和号召力，在1929年的反蒋浪潮中也一时成为各反蒋派“护党救国”的精神领袖，因此阎锡山极力想将汪精卫拉在自己一边。这样不仅利于各派反蒋实力的团结，而且一但倒蒋成功后也利于自己通过“党人治党，国人治国”的口号把握局势。而改组派自其中央负责人王乐平和潘行健在上海被杀害后，在蒋介石的巨大压力下，已难在南方立足，便将总部移至北平，也正需要与北方反蒋实力派相联络。阎锡山竖起反蒋旗帜，陈公薄、王法勤等改组派头面人物很快到平津与阎锡山的重要将领天津警备司令傅作义、北平警备司令李服赝、市长张荫梧、师长王靖国等人取得联系，双方逐步形成了“以阎锡山为首主持军政大计，以改组派的‘二届中央’为号召，集合全国反蒋的地方实力派，组成反蒋联合阵线”的共识。受蒋介石压制打击的国民党老右派“西山会议”的首领邹鲁、谢持、傅汝霖、覃振等人也来到天津，策动阎锡山反蒋。

其次，就是在军事上加强了与各反蒋实力派的联络。从军事实力上而言，反蒋实力派中，要数冯玉祥的第二集团军最强，当初阎锡山把冯玉祥接到山西就是出于这样的考虑，但由于中间受蒋介石利诱，他却又把冯玉祥软禁起来，这不能不引起西北军将领的愤怒，于是遂有了1929年12月鹿钟麟等人策划的西北军向蒋介石输诚，石友三准备进攻太原，借以从阎锡山手中解救冯玉祥的军事行动。冯玉祥事先已知鹿钟麟等策动的这一行动，但他是坚定的反蒋派，因而，乘此时机，冯玉祥派代表向阎锡山作了三点声明：一、石友三进兵之事冯完全不知；二、冯要同阎合作到底反蒋；三、事态紧急，请阎让冯速回军中，说服鹿、韩、石退兵，并以冯玉祥的名义保证决不做背信弃义之人。阎锡山这时也感到当初软禁冯玉祥是不明智的，现在在政治上的筹划已基本就绪，在军事上若不把冯玉祥联合在一起，就很难以倒蒋。于是，他决定放冯玉祥，对此，赵戴文坚决反对，因为他清楚如今阎蒋矛盾已经加深，大有兵戎相见之势，若放冯玉祥回去，大战很快就可能爆发，而阎锡山则认为“不放他二集团就跑了”。阎锡山决定后，即率领一干人马到五台县建安村去见冯玉祥，“同冯玉祥又抱头痛哭一番，彼此表示：‘同生死，共患难，反蒋到底’，并歃血为盟”（凌勉之：《中原大战前的冯玉祥》，《文史资料选辑》第52辑，第122页）。3月8日，冯玉祥在太原与阎锡山话别，他不但拿到了与阎锡山一致反蒋的协议，而且还得到了阎锡山赠送的现款50万元、花筒手提机枪200挺、面粉2000袋。在反蒋的共同前提下，阎、冯再度携手合作。