到6月底，晋中平原的大部分地区已经落入大汉军之手。慕容垂的势力范围被压缩到了太原周边的一小片区域。然而，最艰难的战斗还在后面。
太原作为慕容垂在山西的行宫，有着坚固的防御工事，还集中了慕容垂最精锐的部队。徐数深知，攻克太原将是一场艰苦卓绝的战斗。
324年7月初，徐数召集各部队指挥官开会，制定了攻克太原的详细计划。他决定采取围城打援的策略，先围而不攻，引诱慕容垂的援军上钩，然后逐步蚕食敌军的有生力量。
7月5日，大汉军开始对太原实施全面包围。慕容垂见状，立即向其在河北中山的朝廷求援。太子慕容宝深知太原的战略重要性，决定派出精锐部队驰援。他命令慕容德的第一军和慕容麟的骑兵军向太原方向进发。
徐数早已预料到这一点。他命令一部分部队继续围困太原，同时派出主力部队在太原外围设下重重埋伏，静候敌军援军的到来。
7月10日，慕容德的第一军先头部队进入晋中地区。他们刚一进入预设战场，就遭到了大汉军的猛烈打击。大汉军采取了小分队游击和大部队运动战相结合的战术，打得敌军措手不及。
在一次关键的遭遇战中，大汉军第3师设下了一个巧妙的陷阱。他们故意在一个山口处露出破绽，引诱敌军深入。当敌军主力进入山谷后，埋伏在两侧的大汉军突然发起猛攻。敌军腹背受敌，损失惨重。
这场战斗中，慕容德的警卫团被全歼，慕容德本人也险些被俘。据后来被俘的敌军士兵回忆，慕容德是在警卫员的掩护下，冒着枪林弹雨才勉强突围而出。
紧随其后的慕容麟骑兵军也遭遇了类似的命运。大汉军充分利用地形优势，在狭窄的山道上设置路障，有效地限制了骑兵的机动性。同时，大汉军的神枪手对敌军骑兵进行精确打击，造成了敌军的混乱。
在一次关键的遭遇战中，慕容麟的骑兵军在一个峡谷中遭到了大汉军的伏击。大汉军先是用炮火封锁了峡谷的出口，然后从两侧的高地上对谷中的敌军进行狙击。骑兵在狭窄的峡谷中无法展开，伤亡惨重。
随后，关盛的骑兵二师从高地呼啸而下，马步枪和三棱砍刀杀得敌人哭爹喊娘。
这两支援军的失利，使得太原的局势更加危急。正当我军靠近太原城郊，积极战备之时，慕容垂部为破坏我军战役准备，抢粮抓丁，实行所谓“秋季护征计划”。于7月11日以7个师的兵力，分左、中、右三路沿汾河以东，同蒲路以西向南进犯。
至13日，敌军已攻占小店、南畔、巩家堡一线，并继续向狄村、西温庄等地发动猛烈进攻，以巩固武宿。
徐数审时度势，决心乘敌军脱离防御阵地之隙，提前发动太原战役，以运动战歼敌有生力量。
7月15日拂晓，第8、第13旅迅速由南向北出击，分别包围小店、南黑窑之敌，第15旅由东向西直插武宿、岗头一线，第7旅和晋中军区独立第5旅东渡汾河，直插小店以北，以东西夹击之势切断敌军退路，并阻击敌之援军。
经一日激战，重创敌军，歼敌两师甚慰。
战至16日，我军占领城南武宿，控制城北新城镇，断敌退路。并攻占石咀子、凤阁梁等重要据点。突破太原城南、北地区第一道防线。歼敌2个师、3个团又7个营。共毙伤俘敌军1.2万余人，我军首战告捷。
慕容垂见援军无望，开始动摇。徐数抓住这个机会，加大了对太原的攻势。
徐数决定调整原定以城东南为主攻方向的作战方案。他说：“城东南地势开阔，虽然利于部队机动，但敌人的工事坚固，重兵把守，很难得手，即使得手后也难于形成对太原的致命威胁。
从地形地貌和敌人的防御重点看，打太原必须攻破城东的群山防线。
在C国历史上，有两次攻陷太原的战例，一次是明末农民起义军李自成部于1642年攻克太原，另一次是1937年11月日军攻打太原，两次都是以东山为突破口，但他们都是先攻东山的主峰，抢占制高点，再向西平推，这样耗时太长。
我们必须寻找新的突破口，因此，我主张由南、北两个方向，夹攻直插东山，首先攻克牛驼塞、小窑头、淖马、山头四大要塞。这四大要塞居高临下，俯瞰全城，是太原的主要屏障。
攻克了这四大要塞，就等于把太原与东山主峰拦腰切断。慕容垂自己有个比喻，他说：‘太原形势像人样，东山好比人的头，手是南北场镇，两脚伸在汾河西，太原城内是五脏。’
那么，我们首先攻下东山，就等于切断了他的咽喉，既可以奠定攻取太原的基础，又可以打通后方人民群众支援我们的作战道路。
目前，我军在城南城北发起猛攻，敌人正集中力量在这里顽抗。我们要乘敌不备，出其不意，采取突然袭击的方法，迅速发起东山战斗，一举拿下四大要塞。”
因此，初战获胜后，我军决定乘胜追击，夺取东山要塞，为攻城创造有利条件。东山是太原的咽喉，是解放太原必争之地。