1926年冬考入中央军事政治学校武汉分校学习。1927年5月随军校师生参加讨伐夏斗寅部叛乱的作战，不久加入中国共产党。7月军校改编为第二方面军教导团，随团南下广州。同年12月参加广州起义。起义失败后返回家乡，秘密发展党的组织，组织农民武装。
　　1928年1月参加鄂中农民起义，领导建立石首游击队，任队长。率游击队游击于石首、江陵、监利等县。1929年3月任鄂西红军游击大队第一中队队长，6月任鄂西游击总队第二大队大队长。同年12月成立中国工农红军中央独立师，任第二纵队司令员(纵队长)。在周逸群领导下率部参加创建洪湖革命根据地的斗争，是洪湖红军和革命根据地创建人之一。
　　1930年2月成立中国工农红军第六军，任第二纵队司令员、中共红六军前敌委员会委员。率部同一纵队一起转战江陵、监利等地扩大革命根据地，连克潜江、石首、调弦口等城镇。7月后调到鄂西联县政府，负责领导组训地方武装。9月成立石(首)华(容)联县指挥部，任指挥长。同年11月将石首、华容、公安、南县等县地方武装统一组成江右军(亦称江南军)，任指挥。
　　1931年春，率江右军积极出击，协同段德昌指挥的江左军，粉碎国民党军对洪湖根据地的第一次“围剿”。4月指挥所部掩护万余群众突围转至洞庭湖地区。5月所部改编为湘鄂西警卫第二团，任团长。6月该团改为红三军(原红二军团)第九师二十五团，仍任团长。同年秋在红三军主力远在鄂西北时，他率二十五团采取灵活机动的战术，挫败国民党军对洪湖根据地的第三次“围剿”，保卫了中心根据地。十月改任第二十四团团长，在贺龙直接指挥下作战。  
　　1932年1月组建红三军第八师，担任师长。3月至4月奉命率部参加瓦庙集阻击战，由于夏曦命令八师强攻敌人阵地未克，部队受到严重损失。5月因反对“左”倾冒险主义错误被捕。同年8月因肃反扩大化在瞿家湾被错杀。1945年中共七大追认他为革命烈士。1957年国务院决定为段玉林等烈士在洪湖建立革命纪念碑。