所谓“府院之争”，就是袁世凯死后，继任大总统的黎元洪的总统府与当选国务院总理的段祺瑞的国务院之间的明争暗斗。黎元洪虽然名为国家元首，但并无实力，而北京政府的实权却掌握在段祺瑞手中。黎元洪遂想利用直系首领、副总统冯国璋排斥段祺瑞，因而，直皖两系间的政争，逐渐演变成了“府院之争”。在“府院之争”中，阎锡山一直站在段祺瑞一边，特别是1914年第一次世界大战爆发后，在中国是否参战的问题上，阎锡山一改袁世凯在世时那种唯唯诺诺的态度，始终表示支持段祺瑞。1917年2月，美国参加世界大战后，以美元为诱饵，极力怂恿其所支持的黎元洪政治集团和直系军阀冯国璋参战。随之日本为扩大其在华权益，也以日元为诱饵，怂恿他所支持的皖系军阀段祺瑞参战。美国见自己怂恿黎元洪参战为日本所利用，便转而唆使黎元洪出面反对段祺瑞提出的“参战案”。于是“府院之争”愈演愈烈。4月25日，段祺瑞以国务院总理的身份召集各省督军及督统在北京开会。会上，阎锡山与河南、山东、江西、湖北、吉林、直隶的督军赵倜、张怀芝、李纯、王占元、孟思远、曹锟、安徽省长倪嗣冲、察哈尔督统田中玉等及其他各省代表，都表示支持段的主张，一致同意对德宣战。阎锡山是4月12日应召到北京的，在会议召开之前，他是否受段祺瑞之命，暗中活动，联络各方，求得支持，不得而知，但在这次会上的态度是明确的。由于有这么多的省份支持，所以段祺瑞决定参战，并强令黎元洪在“参战案”上副署。接着，5月10日，段又在国会审议“参战案”时，以军警包围国会，强迫议员通过。在议员拒绝通过“参战案”后，黎元洪便下令免去段祺瑞的国务总理。段祺瑞不得已，返回天津，在这里，他唆使各省督军提出解散国会，脱离中央。在5月18日由北京发出的各省督军响应段祺瑞号召，要求解散国会的电文上，阎锡山又署了名。5月23日，当安徽省长倪嗣冲首先宣告与中央脱离关系，奉、黑、直、鲁、陕、豫、浙、闽等省随即相继响应。皖、豫、鲁各军北上，奉军入关，阎锡山宣布山西独立，脱离北京中央政府。同时，为对黎元洪进行武力威胁，命令第一旅旅长商震率晋中部队进驻石家庄，并借故下令逼迫黎元洪集团委任之山西省长孙发绪离职。阎锡山的这一系列举动，尤其是其派军队进驻石家庄，不能不引起世人的关注和担忧。因而，北洋元老王士珍致电阎锡山，告诉他已“委张绍轩（张勋）以磋议调停之责”，并要他“转饬已动之队，暂驻现至之地，未动之队仍行驻扎原处”。在此情况下，阎锡山遂先后派参谋台寿民、参事李庆芳赴京接洽，并于6月7日致电段祺瑞，谓“大局纠纷，国事方急，保持统一，全仗我公”（《阎锡山年谱》（一），第210页），明确表示了对段的拥戴。在段祺瑞的一手导演威逼下，黎元洪迫于情势，不得不于6月13日下令解散国会，各省始相继取消独立。其后，国务总理一席，虽然各省督军仍意在拥段，但由于事态尚未完全平息，作为过渡，以温和派王士珍暂先组阁。在这期间，阎锡山又致电各省：“国会宪法未竞事宜，尽可公诸全国，从长计议。但俟阁揆定日，应即行恢复原状”。这里所谓的“恢复原状”，其实就是还由段祺瑞来当国务总理。

正因为阎锡山对段祺瑞如此亦步亦趋，竭力效劳，所以，段祺瑞对他这位门生呵护有加，格外关照。然而，却也正是由于他对段氏如此拥戴，引起了黎元洪对他的不满，想出调虎离山之计，要端了他的老窝。只是由于段祺瑞把得到的消息透露给了阎锡山，才使他免遭孔庚、黄国梁与黎元洪的暗算，逢凶化吉，逃过一劫。