阎锡山与段祺瑞打交道还算早，那就是1911年11月7日，吴禄贞在石家庄被害后的第二天，清政府派段祺瑞前往查办的过程中，阎锡山致段祺瑞一书，派常樾和与段祺瑞有师生关系的贾德懋，前去石家庄送与段，劝其能“一张吾义帜而媲美于古英”，但遭段拒绝。还有一次，是阎锡山率北路军返至忻州后，段祺瑞继袁世凯又给阎发来“勿攻太原”的电报。虽然如此，可他与段从未谋过面。只是到了民国初年，阎锡山才与段祺瑞见了面，并且直接交往的次数也逐渐增多。原来，段祺瑞进入北洋军之后，经多年之经营，全国督军、师、旅长，半数以上都是他的门生故吏，段祺瑞为此也曾十分自豪得意。阎锡山抓住了段祺瑞“好为人师”的这一心理，在段祺瑞出任北京政府陆军总长后，便于1913年奉袁世凯之命进京谒见袁时，首先具了门生帖子，拜见段祺瑞，三跪九叩行了拜师大礼。在谈话中一个一个老师，极尽恭维。阎锡山既作了自己的门生，段祺瑞就给予了阎不少照顾。在袁世凯面前替阎锡山说了不少好话。袁世凯对于与同盟会有瓜葛的各省都督都视为眼中钉肉中刺，必欲拔之而后快，对阎锡山自然也不例外，而段祺瑞则向袁说：阎锡山虽然参加过同盟会，但是绝对靠得住的。阎锡山能保得住山西都督一职，固然与他对袁的逢迎讨好有着很大关系，而段祺瑞对他的力保，则是很重要的一个原因。因此，段祺瑞的得势，显然对阎锡山是颇为有利的。

袁世凯在世时，阎锡山对袁相当畏惧，1913年袁世凯传见阎锡山，要对阎考察，阎接电后即偕赵戴文、张树帜等一同进京。在谒见袁之前，他曾对从随说：“此次去见，凶多吉少，如我进去时间太长，你们要小心探问”。这次谒见，阎锡山十分紧张，应对袁的提问时，曾汗流浃背。返回住所后，当赵戴文等问他对袁的印象如何时，他说：“真是可怕”。他“气色严厉，态度凶恶”。从这里，不难看出阎锡山对袁世凯是多么的畏惧。但是，袁世凯一死，阎锡山便觉得再也没有畏惧之人了，改变了他过去韬光养晦、明哲保身，睡大觉的做法，准备发奋称雄，励精图治起来，想把山西的军政大权集中在自己手里。

首先他从金永头上开刀。阎锡山对金永的胡作非为，早就忍无可忍，只是碍于金永有袁世凯作靠山，表面上隐忍不发，而袁世凯死后的次日，阎锡山便派亲信周玳带队去抓金永，双方竞兵戎相见，几乎大动干戈。阎锡山所在的将军府附近之鼓楼街与金永所在的皇华馆巡按署，都架起了大炮准备开火。太原城内居民见战端即开，惊慌不安，后经解荣辂诸人奔走调停，才未酿成大祸。金永虽作挣扎，但见自己的靠山已倒，势难再在山西立足，只好离去，阎锡山知道金永与徐世昌关系密切，为给自己以后在政治上留有余地，还派人护金离晋。

接着，又将沈铭昌、孙发绪相继赶走。当山西巡按使金永离去后，总统黎元洪又恢复旧制，改“将军”为督军，改“巡按使”为省长。阎锡山一直想由自己兼长民政，以使军政大权集于自己手中，可是，北京政府却委任了个沈铭昌来任山西省长。袁世凯在世时，按法律规定，各省“民政长由大总统任命”，阎锡山也无可奈何，而袁世凯一死，阎已无所顾忌，所以，北京政府对沈铭昌的任命一出，他便指使山西民意机关省议会炮制提案，极力反对沈铭昌署理山西省长。在阎锡山的排挤下，不数日沈铭昌就被迫离开山西。1916年10月7日，北京政府不得不改任孙发绪为山西省长。阎锡山自然很不甘心，于是，他凭借已经掌握了省议会议员中的多数，以及议长杜上化的支持这一有利形势，利用督军团会议中一个对孙发绪不利的材料，大做文章，借故攻击，因此，上任仅半年多，1917年6月5日，孙发绪也被迫离职。当时，正值“府院之争”激烈之际，乘北京政府无暇顾及山西之机，阎锡山便以护理（代理）名义，擅刻印信，自兼了山西省长。