没想到奏疏正待发出之时，好友郭嵩焘受湖南巡抚张亮基委托，从省城长沙匆匆赶赴曾家，力劝曾国藩出山：“今不乘时而出，拘于古礼，何益于君父？且墨绖从戎，古之制也。”曾国藩“本有澄清天下之志”，郭嵩焘的一番话也对他触动很大，但奏疏已拟，碍于面子，一时难以改变主意。郭嵩焘见他犹豫不决，又搬动其父曾麟书出面劝说。如此一来，曾国潘心头的所有疑虑涣然冰释——既可保全桑梓，又属遵循父命，可谓忠孝两全也。
中国近代历史的汹涌河流，也因曾国藩这一人生的重大转折，拐了一个大弯。
曾国藩在京任官13年，不仅“饱更世故”，且视野自比一般人更为开阔，谋略也高于当时的普通政客。出任湖南团练大臣后，他认为必须对团练进行大刀阔斧的改革，将过去不离家园、不离生产、不食于官的地主武装改编为离开故园、脱离生产、“粮饷取诸公家”的职业兵，才有可能收到与太平军一决雌雄的效果。在巡抚张亮基的支持下，曾国藩将湖南各地的团练齐聚长沙，改为官勇，统一管理，完成了“募勇成军”的第一步设想。
第二步，便是“练勇为兵”，将仓促召集在一起的农民，练成一支真正的能打硬仗的军队。他认为一支军队是否具有战斗力，将领的选任至关重要：“今日将欲灭贼，必先诸将一心，万众一气而后可以言战。”他规定的选将制度十分严格，将“忠义血性”放在第一位，然后是“廉明为用，简默朴实，智略才识，坚韧耐劳”。为此，曾国藩一反古代兵家论将、选将之法，大量提拔书生为将。湘军将领中，有名有姓可以考证的书生出身者占58%。在纪律方面，曾国藩下决心改变过去“兵不如匪”的形象，强调义理教育，严肃军纪，并亲自创作了一首白话诗体的《爱民歌》：“三军个个仔细听，行军先要爱百姓。贼匪害了百姓们，全靠官兵来救人。百姓被贼吃了苦，全靠官兵来做主。第一扎营不贪懒，莫走人家取门板。莫拆民房搬砖头，莫踹禾苗坏田产。莫打民间鸭和鸡，莫借民间锅和碗。莫派民伕来挖壕，莫到民家去打馆……”
曾国藩的远见卓识，还在于他初创陆师之后，又大力筹办水师。清廷固然也有水师，但久已废弛，根本不能进行任何水战。太平军在益阳、岳州获得大批民船后，便建立起一支强大的太平军水营。定都南京后，则完全控制了千里长江的水营权。有鉴于此，曾国藩认识到非创办一支力量强大的水师不可。可他一无资金、二无技术、三无人才，真是伤透了脑筋。而没有水师，要想与太平军争雄，不过是一句自欺欺人的空话而已。最终，曾国藩硬是凭着一股韧劲，一步步顽强地施行自己的计划：先是购买钓钩之类的民船进行改造；后奏请到一笔四万两的饷银设立制造总厂，自造战船；然后花重金从广东购置大批洋炮，最终建立起一支拥有大小战船361艘、大小火炮470门、在技术与装备上大大超过太平军的内河水师，真可谓“赤地立军，别开生面”。