“忠君爱国”“杀贼保民”之道，甚至用理学语录教化士兵，如“君子喻于义，小人喻于利，汝等为义而战，虽死犹荣”。他还亲自编写《爱民歌》，以通俗语言教士兵“不拿百姓一个钱”“不踩百姓田苗”，并规定“扰民者斩立决”。这种精神教育，使湘军纪律远胜绿营，民间有“湘军过，民不闭户”的说法。
不过湘军初建时，也并非一帆风顺。咸丰三年（1853年），曾国藩率湘军在长沙镇压会党起义，因执法过严（斩杀溃兵、严惩扰民者），与湖南巡抚骆秉章、绿营将领鲍起豹发生冲突，甚至被绿营士兵围攻官署，险些丧命。他在给朝廷的奏折中无奈写道：“长沙之役，吾与地方官绅龃龉（意见不合），终至不能相容。”次年，他被迫将湘军基地迁至衡阳，专心编练水师。
咸丰四年正月，湘军初具规模：陆师13营6500人，水师10营5000人，合计1.7万余人。曾国藩发布《讨粤匪檄》，痛斥太平军“焚荡孔庙，毁坏神像，灭绝人伦”，号召“读书识字者”“乡绅耆老”共讨之。这篇檄文避开了清廷与太平军的政治矛盾，转而以“卫道”（保卫儒家文化）为旗帜，迅速争取到士绅阶层的支持，“两湖士民闻檄而起，投军者日以百计”（《湘军记》）。
同年二月，湘军首次出省作战，目标是被太平军占领的武昌。初期进展顺利，连克岳州、湘潭，但随即在靖港遭遇惨败。当时曾国藩亲率水师进攻靖港，太平军以逸待劳，“乘风纵火，湘军战船被焚数十艘，士兵弃船而逃，曾国藩羞愤欲投水自尽，被幕僚救起”（《清史稿·曾国藩传》）。他在给朝廷的奏折中自请处分：“臣调度无方，致有靖港之败，请旨治罪。”
靖港之败后，曾国藩痛定思痛，重整军纪，斩杀溃兵数十人。而此时塔齐布、罗泽南率领的另一路湘军在湘潭大败太平军，“毙贼万余，焚船数百艘，太平军精锐损失惨重”（《湘军志》）。湘潭之战是湘军的转折点，清廷谕旨嘉奖：“曾国藩所练湘军，初经战阵，即能克敌，实属可嘉。”此后，湘军乘胜收复岳州、武昌，于咸丰四年十月兵临九江城下，与太平军形成对峙。
湘军的崛起离不开地方士绅的支持。湖南乡绅胡林翼（后任湖北巡抚）、刘蓉等不仅捐钱捐粮，还亲自参与军务；甚至普通百姓也“输纳粮草，支援湘军”，如湘乡士绅王錱“散尽家财，募勇千人，随曾国藩征战”。这种“官绅一体”的动员模式，使湘军获得了稳固的后方补给，这是绿营无法比拟的优势。
湘军的兴起，绝非简单的“团练成军”，而是标志着晚清军事体系的根本变革——由“中央军（绿营、八旗）为主”转向“地方军为主”，由“世兵制”转向“募兵制”。
在此之前，清廷的军事力量牢牢控制在中央手中，地方不得私设军队。但湘军“兵为将有”的体制，使军队成为将领的私人势力——士兵只知有将领，不知有朝廷；将领只知有曾国藩，不知有皇帝。这种格局，在镇压太平天国后进一步强化，李鸿章的淮军、袁世凯的新军皆循此例，最终导致晚清“军阀割据”的局面。
从政治层面看，湘军将领多出身士绅，立功后纷纷进入官场：曾国藩官至两江总督、直隶总督，胡林翼任湖北巡抚，左宗棠任闽浙总督，刘长佑任广西巡抚……形成了“湘军集团”，取代了传统的“满蒙权贵”与“科举官僚”，成为晚清政治的核心力量。他们不仅掌握军权，还推动洋务运动（如曾国藩办安庆内军械所），深刻影响了中国近代化进程。
民间对湘军的评价则褒贬不一。支持湘军者称其“荡平发匪，复我孔教”，如王闿运在《湘军志》中赞：“湘军之兴，挽清室于既倒，存华夏之文脉。”批评者则斥其“屠城掠地，残暴不仁”，如太平天国忠王李秀成在《自述》中写道：“湘军攻安庆，三日不封刀，男女老幼死者十余万，实为酷虐。”而曾国藩“屡败屡战”的坚韧、“修身齐家”的自律，更成为后世士人的精神偶像，毛泽东曾评价：“予于近人，独服曾文正。”
咸丰六年（1856年），天京事变爆发，太平天国由盛转衰，
