清朝的正规军——绿营兵有六十多万，在太平军的冲击下损失惨重，集结在南京城外的江南大营、江北大营也只能采取守势.这样，清政府不得不把挽救危局的希望，寄托在地主武装——团练身上.曾国藩就是在这一背景下起家发迹的.
曾国藩是湖南湘乡人，道光年间考中进士，在京城做到了礼部侍郎，二品高官.公元1852年，他因母亲去世回乡守孝，不久咸丰帝就下达了要求各地在籍官员督办团练的诏令.曾国藩的做法与其他大臣不同，他的目的不在于组织地方性的民团，而是着手于建立一支新军.这支军队全由湖南人组成，湖南简称湘，所以被称为“湘军”.
曾国藩以他的亲友、师生、同乡为骨干，招募朴实、也都缺乏社会经验的农民当兵.湘军的饷银比绿营兵高出一倍，内部实行家长式管理，下一级由上一级挑选和指挥，最后听命于曾国藩一人.曾国藩利用团练大臣的地位，取得了脱离于地方的司法权，在组织和整肃湘军的过程中，就擅自处决了二百多人，被人称为“曾剃头”.他借着督办团练的机会，截留朝廷过往的赋税、饷银，私自卖官、开征，用来购买了一千多门洋炮，置办了三百余艘战船.一年之间，湘军陆营、水营兵力达到一万七千余人.
在太平军西征部队的进击下，绿营兵节节败退，清政府一再下令湘军增援.老谋深算的曾国藩不愿轻易冒险，一边抗旨拖延，一边加紧了湘军的军事训练.公元1853年底，太平军攻克湖北黄州，咸丰帝不得不亲笔写信给曾国藩，说，已经火烧眉毛了，要他“激发天良”，出兵打太平天国.曾国藩感到军事准备已经完成，这才同意出境作战.从此后，湘军就成了太平军最主要和最凶恶的敌手.
湘军虽然挽回了局部战场的颓势，但也受到了太平军沉重的打击.公元1854年4月，太平军在长沙附近的靖港大败湘军，曾国藩羞愤之下投水自杀，被部下救起.一年后在江西湖口，石达开又沉重打击湘军水师，曾国藩眼看将被俘虏，又一次投水自尽，被捞起后逃回南昌城中，还特地写了遗嘱.只因西征军取胜后，奉调回师天京参加攻打江南大营的作战，才使曾国藩避免了全军覆灭的命运.
然而，太平军在大好的军事形势下，却爆发了一场可怕的内讧.公元1856年，东王杨秀清利用“代天父传言”的特权，令洪秀全下跪，逼他加封自己同为“万岁”.洪秀全秘密召回韦昌辉包围东王府，杀了杨秀清，韦昌辉后来又被洪秀全诛杀.在这场自相残杀的“天京之变”中，有两万名太平军战士死去.石达开在全家被害、又处处受到排挤的情况下，负气带领主力部队十万人出走西南，先后转战七省，终被清军消灭.
“天京之变”不仅给了湘军喘息和重整的机会，而且改变了各战场的力量对比.曾国藩乘势攻占了安庆，打开了通往天京的门户.他让弟弟曾国荃沿长江东下进攻天京，左宗棠由江西进入浙江，李鸿章从上海进犯苏南，三面合击，围困天京达两年之久.公元1864年7月，湘军用炸药炸开城墙，攻入天京.守城的太平军虽然因为长期饥饿而奄奄一息，仍然与清军展开了激烈的巷战.天京沦陷后，太平天国的余部还在江南各省坚持斗争达四年之久.
曾国藩镇压了太平天国革命，被誉为“中兴名臣”，博得清朝和帝国主义者一片赞赏声.他深知“功高震主”的历史教训，为了避免朝廷疑忌，于是主动将十二万人的湘军逐步遣散，由旗兵南下接防.但他的势力和影响，已经非常大.仅仅在他的幕僚中，担任总督、巡抚以上高官的就有二十六人，其中包括李鸿章、左宗棠这样的重臣.“湘军系”成为清朝统治阶层中的一个重要政治集团.