十几万“客军”对山西地方的滋扰，已使当地官民不堪其苦，怨声载道，而他们企图长期对山西的占领，对复出后的阎锡山对山西的统治，更造成了严重威胁。因而阎锡山一就任太原绥靖公署主任，便抓紧了“清退客军”的工作。为此，他一面以客军经费山西已“难再筹垫”为由，向当时的华北军政负责人张学良提出了予以解决的要求；一方面利用徐永昌的特殊身份，向各方游说。徐永昌对宋哲元说：不要困死山西，应把目光放远大，要设法向外发展，否则是不会有什么前途的。并建议宋哲元不妨走孔祥熙的路子，注意向孔拉拢。同时，徐又以同乡身份游说孔祥熙，说“山西遭受杂牌军的灾害，我们都是山西人，应关心山西地方”，还建议孔要抓住机会，培植自己的军事力量。不仅如此，徐永昌甚至直接向蒋介石反映山西的“客军”问题。他在晤见蒋介石时，就说：“现在晋民所苦，首在少数不守纪律之客军，鲍刚、张人杰两部尤为地方人民所痛恶，但又不便迫其解散，最好能设法调开”（赵正楷：《徐永昌传》第209页）。徐的建议得到了蒋介石的允诺。客军陆续从山西境内开走。1932年7月19日，日军进犯热河。8月14日，国民党中央任宋哲元为察哈尔省主席，宋军大部及庞炳勋先后由晋赴察，次年初，“鲍刚、张人杰、孙殿英等部亦离晋北上。5月28日，在泰山养病的冯玉祥下山赴察，通电抗日，组织‘民众抗日同盟军’，于是，方振武、鲍刚、张人杰、孙良诚、吉鸿昌、刘桂堂、孙殿英等皆归之。此时驻晋客军，只留宋哲元部之张自忠师尚驻平定阳泉一带。待二十三年（1934年）三月，北平军分会令调张部开察后，山西全省已无客军在晋”。在此之前，1933年春，冯玉祥部大部和手枪团、炮兵团、军官学校亦开往张家口附近，“但留有手枪团300余人，迟迟不动。山西方面即由晋绥军第71师207旅旅长温玉如率兵一部，前往包围缴械。缴械后，对晋籍官兵发给川资，令各回原籍；对外籍官兵，则集中押送到榆次车站，上了火车才发给路费令行”，予以遣散（《阎锡山统治山西史实》第173—174页）。

在“清退客军”的同时，阎锡山还把连队空名予以剔除，以防部队主官吃空额。并为缩减军费开支，裁汰了一部分老弱官兵，又召集了一批失业的闲散军官，编为优待失业军人的屯垦队，派遣到绥远西部从事开垦。第70、72、73师的老弱残病士兵，亦同时前往，在包头设立了办公署，阎锡山自兼督办，由七十师师长王靖国任会办，代理阎的督办。屯垦队对外说是阎主任“决心造产救国，并遵孙总理垦荒遗教，实行屯垦，为海内倡”，但实际上，这支屯垦队是在绥西种植鸦片的。原来，阎锡山为了解决其财政困难，即把种植鸦片作为了一条生财之道，他借口为修筑同蒲铁路筹措巨款，把鸦片烟制成“戒烟药饼”，实行官卖，令“禁烟考核处”承办专卖，每县设一“禁烟”委员会，监督县长推销药饼。这些制造药饼的原料鸦片烟，除一部分是从农民手中低价收缴、禁烟考核事物所没收，以及从甘肃、青海、宁夏等地采买者外，其余大部分主要是绥远“屯垦处”所种的鸦片。如屯垦处原计划种3万亩，第一年即1932年种了6000亩，预计产烟土60万两。而当年共没收烟膏20余万两，连同“禁烟考核事物所”存储以前没收的烟土10余万两，总共才30余万两。从1932年8月开始发售药饼，到1937年抗战爆发停止售卖，六年中即共获利2000万元（《阎锡山统治山西史实》第175页，第192—193页）。阎锡山是坚决反对人民吸食鸦片的，可是他却以“寓种于禁”的办法，大量种植鸦片，大肆销售所谓的“戒烟药饼”，荼毒人民，这不能说不是其阶级本性使然。但是，阎锡山此举，对于缓解山西的财政困难，开办“公营事业”，也确实起到了一定的作用。