两个月的见习工作结束后，董振堂等军官学校毕业生面临着再一次的抉择。此时，他们的出路有两条，一条路是到西北军上层当教官或参谋，一条路是到西北军连队当下级军官。很显然，选择第一条路就是选择了高官厚禄，选择第二条路就是选择了吃苦耐劳。这一次，董振堂的选择依旧让人大吃一惊。凭他的出色表现，到西北军上层担任参谋不算难事，可他偏偏选择了去炮兵连当排长。

西北军下层军官的生活是艰苦的。董振堂一连好几个月都发不了薪饷，可他从不抱怨。每天，他和战士们一块吃大锅饭，一块训练长达十小时以上，闲下来的时候还参加修路、植树等勤杂劳动。这样艰苦的生活，不仅磨炼了董振堂的意志，更是让他得到了战士们的尊敬和冯玉祥的赞赏。

1924年10月下旬，冯玉祥发动“北京政变”。董振堂随冯玉祥参加了推翻贿选总统曹锟、打倒直系军阀吴佩孚、欢迎孙中山先生到京等活动。随后，冯玉祥部被编为国民第一军，董振堂被提升为炮机教导队大队长和陆炮营营长。1926年9月17日，董振堂参加五原誓师，被冯玉祥提升为国民军联军第四师第十二旅旅长。1927年5月上旬，为策应武汉方面北伐军作战，国民联军改名为国民革命军第二集团军，分两路出紫荆关和潼关。董振堂被编入右路军，率部在互亭镇和竹获铺力克敌军。战斗结束后，董振堂升任国民革命军第二集团军第三十六师师长。

在国民党军队里，董振堂被大家称呼为“不爱钱将军”和“傻司令”。当时，军阀部队的高级官员都过着奢靡的生活，唯独董振堂不与他们同流合污。当了师长的董振堂，每月的薪饷是两百多元，可他依然过着简朴的生活，每顿饭都是馒头和简单的两菜一汤。不过，他虽然自己过得清苦，却时常对下级军官和士兵慷慨解囊。

领导宁都起义

1930年9月，蒋、冯、阎军阀在中原地区发生混战。结果，冯玉祥的西北军失败，他本人离开了部队。第二年年初，蒋介石拨了巨款给孙连仲，让他把吃了败仗的西北军改编为国民革命军第二十六路军。董振堂所在的原十三师改编为二十五师七十三旅，由董振堂担任旅长。

1931年，蒋介石调第二十六路南下江西“围剿”红军。可是，第二十六路军的大多数官兵是北方人，鉴于以往“剿匪”部队的失败经历和南方水土不服的可能性，他们都不愿意南下与红军作战。董振堂不愿意依靠蒋介石，奈何冯玉祥又指望不上，以后的路该何去何从呢？一时间，他陷入了深深的苦闷和彷徨中。

蒋介石发动的第三次“围剿”失败后，命令二十六路军固守宁都城。到宁都后不久，二十六军中许多士兵都因水土不服患上了重病。蒋介石对这支非嫡系部队爱答不理，所以很多人都病死了。“九·一八”事变后，东北三省沦陷，华北危急。二十六路军的广大官兵纷纷要求北上抗日，离开宁都，可是依旧遭到了蒋介石的阻拦。之后，孙连仲丢开部队跑到了上海，日常军务转交给参谋长赵博生来处理。

处在苦闷、困顿中的董振堂想到了之前离开部队的共产党员刘伯坚，他派人四处打听他的消息，可始终杳无音讯。事实上，在二十六路军中已经有共产党的地下组织，只是他们一直处于绝密活动状态，董振堂不得而知罢了。中共潜伏在国民革命军第二十六路军中的党代表是七十三旅尉参谋刘振亚，在他的坚持努力下，已经在部队中发展了几名党员，其中之一就是参谋长赵博生。赵博生与董振堂同为河北老乡，又是多年亲密无间的老战友。在赵博生的影响和带动下，董振堂的心慢慢靠近了中国工农红军。此刻，他觉得长期以来困在他心头的阴霾一下子消失了，未来的路一下子清晰可见了。