此后不久，6月13日，原来担任中央中原局书记的徐向前（因病未到职，由副书记郑位三代理）被任命为晋冀鲁豫军区第一副司令员。但他到任不久，6月底，刘伯承、邓小平又率12万大军突破黄河天险，挺进大别山，到敌纵深内开辟新的根据地。晋冀鲁豫军区军事实力大减。在此情况下，徐向前为了配合打到外线去的解放军主力部队作战，决定“在内线打，拔‘钉子’，把山西从阎锡山手里解放出来”，为此，他郑重地向薄一波说：“一波，各纵队都出去了，剩下的部队没有多少了，你看能不能再组织点部队”。薄一波当即表示同意，说这是我们的共同任务。报经中央批准，他们迅速地重建和充实了第8纵队，辖3个旅：太岳军区独立旅为第23旅；太岳军区19、20、21军分区部队合遍为第24旅；调冀鲁豫军区独立旅为第22旅。随后，将太行军区及原新4军5师的一些部队编为太行纵队（后改称第13纵），辖第37、38、39三个旅；将太岳军区余下的地方部队编为太岳纵队（后改称第15纵），辖第43、44、45三个旅，另外还组建了3个独立旅。以上部队均由徐向前统率。不久又组建了14纵队（后来为70军）。朱德总司令（在西柏坡，任中央工委副书记）积极支持向前率军解放山西（薄一波：《七十年奋斗与思考》（上卷），党史出版社1996年版，第424页）。

在迅速组建晋冀鲁豫军区部队的同时，徐向前等还指挥所部在晋南积极展开反攻。7月12日，第8纵队第24旅旅长王墉率太岳第三军分区两个团，在平陆西北之张村、庙底一线，将掩护从安邑、运城地区撤出，企图突围南窜的国民党青年军第206师的第83旅248两个营包围歼灭，毙伤敌人118人，俘获营长3人，以下官兵1403人，王墉部仅伤亡30人，创建了解放军伤亡1﹕15的歼敌记录。14日，太岳纵队第23旅解放夏县。30日，太岳第二军分区地方武装又攻克被临汾之敌于12日抢占的襄陵县城。此战，又创造了解放军与敌损失0﹕180的歼敌新记录，并恢复了汾河以西广大地区。8月7日，太岳第三军分区部队再度收复了5月27日被敌占领的解县城。从而使困守安邑、运城之敌更加孤立。9月上旬，太岳部队再克被敌占领的临晋、猗氏、襄陵三城。反攻作战的一系列胜利，为解放运城创造了有利条件。虽然8月上旬，由晋冀鲁豫野战军太行部队组成的9纵队（司令员秦基伟，政委黄镇），太岳部队组成的陈（赓）谢（富治）兵团，也由晋南渡过黄河，挺进豫西地区，但徐向前仍决定再打运城。9月13日中央军委批准了徐的建议。