1927年，段德昌抵达公安县后，举行了公安暴动，并组建了公安游击队。随后，他率领公安游击队进入洪湖开展工作。年底，中国工农红军洪湖游击大队成立，段德昌任大队长。他带领游击队为洪湖根据地的建立开始了艰难的斗争过程。两年后，鄂西游击总队成立，段德昌任参谋长，后继任总队长。为了加强部队的精神建设，段德昌还特意写了一首《红军纪念歌》，旨在教导红军遵纪爱民，其歌词为：“大马刀，红缨枪，我到红军把兵当。革命纪律要遵守，共产党教导记心头，行动听指挥，团结又友爱，官兵同甘苦，平等来互助，吃苦抢在前，享受在后头。大马刀，红缨枪，找到红军把兵当。革命纪律要遵守，共产党教导记心头，爱护老百姓，处处受欢迎，遇事问群众，买卖讲公平，一针和一线，不差半毫分。”此外，他还根据以往的斗争经验，总结了游击队的一套作战方法，即“敌来我‘飞’，敌去我归；人多则跑，人少则搞”。这些对于洪湖地区和湘鄂西的游击战争，都起到了重要的指导作用。

1929年底，鄂西特委根据中央指示，将鄂西游击总队扩编为中国工农红军独立第一师，由段德昌担任师长。次年2月，独立第一师扩编为中国工农红军第六军，段德昌任副军长。6月，红六军人数扩充至一万多人，根据地范围扩大到汉水流域荆江两岸的10多个县。至此，洪湖革

命根据地基本形成。7月，段德昌带领红六军南渡长江，顺利进入公安，与贺龙率领的红四军胜利会师。两军会师后，根据中共中央的决定，红四军改称红二军，与红六军合编为红二军团，由贺龙担任军团长，段德昌任红六军政委兼副军长。从此，段德昌在贺龙的领导下，屡立战功，声名赫赫。两人也因此而结下了深厚的革命友谊和战友情谊。

红二军团在洪湖根据地扎下根后，军团委决定先消灭当地最大的一个反革命地主武装组织，攻占有敌人重兵把守的监利县城。当时，驻守在监利县城和城外的敌人共有三千多人。他们在县城外围修筑了密集的深沟浅壑，布置了多重铁丝网。敌人本以为他们的城防固若金汤，便气焰嚣张地扬言不怕红军来攻城。

段德昌和贺龙侦查了监利县城的地形和敌人兵防的情况后，决定以红六军作为主力攻城，红二军担任攻城的第二梯队，阻止城外敌人的救援。段德昌接受命令后，先派人潜入城内，与城内的地下党员取得联系，然后派人联系监利的游击队前来助阵。一切准备工作完成后，攻城战斗打响了。一开始，他命令部队佯攻西城，等敌人把兵力全部调往城西后，采用“火牛阵”冲进敌人的阵地。与此同时，监利地区的游击队配合红六军作战，吓得敌人六神无主、弃械逃亡。红二军团胜利攻克监利县城。随后，红二军团又连克龙湾、熊口、潜江、天门等重镇，消灭了大批敌人，也壮大了自身的队伍。此时，洪湖根据地处于极盛时期。

1930年9月，红二军团受中央“左”倾错误思想的影响，在沙市、武汉两地接连受挫。9月12日，邓中夏受党中央委托，来到湘鄂西地区担任党和红军的最高领导人，继续执行“左”倾冒险主义路线。红二军团在邓中夏的领导下，离开洪湖苏区，攻打大城市长沙。结果，这次战斗不仅造成了红二军团军事上的失利，还造成洪湖地区兵力空虚、后方根据地大减。

在此期间，段德昌、贺龙与邓中夏的军事路线存在着很大分歧。段德昌劝告邓中夏将部队带回洪湖根据地，恢复和发展根据地，以准备应对敌人即将发动的“围剿”战斗。哪知，邓中夏一意孤行，坚持攻打大城市。段德昌与邓中夏据理力争后，却被邓中夏撤了职。

12月17日，敌人以优势兵力攻打红二军团，由于红二军、红六军战线拉得过长，背腹受敌，经过一天的激战，部队人数就从三万人锐减到一万人。第二年3月，红二军团奉党中央命令，改编为红三军，由贺龙任军长，邓中夏任政委，并于四月北上巴东一带，开辟鄂西北根据地。