曾国藩虽被称为湘军的创始人，但他所指挥的湘军其实最早来自罗泽南。

罗泽南很早就已应湘乡知县所邀，投笔从戎，开始编组团练。他募勇的标准和曾国藩相似，主要也是从左邻右舍的农民中进行挑选。这些农民一开始哪里知道什么军纪不军纪，即使行军，喉咙还是哇哇哇的，跟高音喇叭一样，罗泽南便让他的门下弟子们起带头作用，每天给这些农民士兵示范，什么叫坐有坐相，站有站相，以及如何进退行止。

湘军初建时有三派，一是江忠源的楚军，二是罗泽南的湘军，三是王錱的楚军。楚军创立最早，曾在湘军中开风气之先，可惜衰弱的也最快。王錱是罗泽南的弟子，但他在建军营制方面不用曾国藩的办法，且不服从曾国藩的调遣，所以只有罗泽南的湘军才是曾国藩建军的基干队伍。很多人认为，湘军实由罗泽南所缔造，这支军队身上也确实有着鲜明的罗泽南印记，所谓“无泽南，无湘军”，说他是湘军之父也不为过。

在把自己编练的湘军交给曾国藩全面掌握后，罗泽南又成为曾国藩的重要助手，他把军队变成了课堂，白天打仗训练，晚上还组织大家读书。

湘军的新兵很多是一字不识的文盲，罗泽南客串老师的角色，从开蒙起步，教他们断文识字。当然不可能让农民们读很深奥的哲学文章，罗泽南只讲最浅显的，比如他会从《四书》《孝经》里择出片断，用来阐述做人处事的道理，以及宣讲精忠报国这些老百姓能够接受和理解的东西。

罗泽南有丰富的教学经验，讲课深入浅出，声情并茂，到动情处时，甚至有听者被打动得潸然泪下。

这就叫以理学治兵。与此同时，罗泽南还主张“以兵卫民”，坚持打仗以不扰民为本。在湘军三派中，曾国藩、罗泽南系的湘军不仅战斗力最强，而且军纪也保持得最好。

罗泽南虽然会拳棒，但毕竟是个读书人，没有实战经验。可以说在湘军创建之初，他和曾国藩对湘军未来究竟能取得多大成就，其实都心中无数。

直到江忠源保卫南昌那一年，曾国藩派罗泽南带着湘军前去援救，实际上也是要试一下水。现实是很惨痛的，由于当地官军没有按约定进行接应，湘军遭到了太平军的伏击，从而受到重创，战死八十人，其中包括四名营管，皆罗泽南一手培养的学生。

这毫无疑问是个败仗，可是却展现了湘军的潜力。他们不像官军一样贪生怕死，即使在遭到伏击且无友军相援的情况下，仍誓死不退。在援救南昌的过程中，虽然湘军战死了八十人，但也同时杀死太平军达两百余人，经过此役，湘军“勇敢之名已大震”，可谓虽败犹荣。曾国藩据此认为湘军“果可用”，更坚定了在衡阳练兵的决心。

曾国藩对罗泽南抱有信心，但有一个人却对罗泽南没信心，这个人就是塔齐布。

作为职业军人，塔齐布从来不认可什么儒将不儒将的说法，他认为罗泽南之辈不过是些在学堂里夸夸其谈的书生而已，不懂得什么打仗，最多也就只能去对付对付会党之类，若要打大阵仗，还得靠他们这些人。

改变塔齐布这一印象的，是岳州之战。

曾天养退守城陵矶后，湘军进入了岳州。在讨论如何防守时，塔齐布说当然是驻军城内，以城设防，罗泽南则提出异议：“岳州四面环水，只有一座大桥可以相通，因此守城不如守桥。”他还愿意亲率湘军两营抢占要隘，扼守大桥。

塔齐布虽不以为然，但罗泽南年纪比曾国藩都大，又肯亲自担纲，他自然也不便加以阻挠。

不久太平军再次对岳州发动反攻，果然首先将大桥作为了攻击焦点。他们在距大桥十里处扎下九座大营，投入进攻的兵力达上万人，而罗泽南用以抵御的湘军不过两营，才一千人，十对一的比率，数量上相差十分悬殊。

这时候连塔齐布都慌了，但在大桥上负责指挥的“儒将”则异常从容镇定。