杨载福从那次王衙坪回来，曾国藩又派人把王世全接到桑园街住了一天。王世全把彭玉麟的情况详详细细地告诉曾国藩。当然，王世全不知道彭玉麟至今单身的真正原因，而曾国藩却更佩服玉麟“匈奴未灭，无以家为”的志气，认为是当今少有的奇男子。他对世全说：“一旦彭玉麟到了你家，你就派人告诉我，我要亲到贵府去拜访他。”
恰巧这时上月派往江西了解军情的郭嵩焘，从江西带着江忠源的信，来到了衡州桑园街。江忠源鉴于太平军水师的强大，力劝曾国藩在衡州训练水师，并答应向朝廷上奏。郭嵩焘也把在前线所看到的太平军炮船，在江上往来如飞的威风告诉曾国藩。曾国藩愈想早一点见到彭玉麟。
彭玉麟来到王衙坪的第二天下午，曾国藩就来了。玉麟见曾国藩亲自来看他，十分感动，有点局促不安地说：“曾大人，玉麟渣江街上一落魄书生而已，岂敢劳大人屈尊降贵前来，这实在是万万担当不起的。”
曾国藩双手拉着玉麟的手，仔细端详着这位早几年才进学的秀才，果然长身玉立，英迈娴雅，在清秀的眉目之间透露出一股卓尔不群的勇武气概来。他突然在脑子里浮现出由秀才而封王的郑成功的形象，心中喜不自已，笑道：“听世全先生介绍，雪琴兄是时下罕见的奇男子，国藩心仪已久，今日有幸结识，实为三生缘分。”
一股相见恨晚的诚意深深感动了彭玉麟。他激动地说：“大人言重了。大人以朝中卿贰之贵，在衡州训练虎旅雄师，为衡州大壮声威。大人文武兼资，一身担天下重任，大人您才是真正的奇男子。”
曾国藩哈哈一笑：“衡州是国藩的老家，况且今日还谈不上壮声威，即使壮了声威，也是应该的。”
“雪琴知道大人要办水师，极愿为大人效力。”王世全说。
曾国藩对彭玉麟说：“早就知足下深通周瑜水师战法，是国家栋梁之材。国藩欲请足下先筹建水师第一营，待足下将此营建好后，拟以此营为榜样，再建九营，共建十营水师。”
“玉麟其实只是一个书生，虽读过周公瑾的水师法，但毕竟是纸上谈兵。大人将这副重担交给我，玉麟如临深履薄，深恐日后折足覆餗。”
“足下不必谦逊。国藩深知兄台机警勇敢，道光末年，亲擒反贼李沅发，实儒林中少见之英雄。”
“后来衡州协为雪琴请功，总督裕泰公以为擒李沅发者必为武人，于是拔雪琴为临武营外委，赏蓝翎。雪琴一笑置之，竟不受赏，辞归渣江。”世全笑道。
“此事真可载儒林趣谈。去年足下在耒阳当机立断，发主人质库数百万钱募勇制旗守城。这种魄力，国藩深佩不已。”
玉麟淡然一笑：“这也是仓促之间，无可奈何。那时县令请饷，竟无一应，只得以此应急，也顾不得主人肯不肯了。”
“将在外，君命有所不受。就凭这一件事，足可以看出雪琴兄的将材。”
大家都笑起来。曾国藩说：“军事殷急，不容闲暇。请雪琴兄明日就搬到桑园街去，立即着手筹建水营。不过，有一事我想劝足下一句。”
“请大人赐教。”
“听说足下至今尚单身一人，要等功成名就后再成家，志气虽可佳，但窃以为不必如此固执。古人说，不孝有三，无后为大。不娶妻生子，怎能慰老母之心？且今后从军打仗，兵凶战危，生死难以逆料，更不能没有子嗣。望足下听某一言，在大军离开衡州之前，一定成家。”国藩叫亲兵抬来一盒银子，指着盒子说，“军中饷银匮缺，又乏珍稀，这八百两银子不是聘足下之礼，只是作为足下的安家之费。待得足下成家之后，水师训练好了，再浮江北下，为朝廷分忧。”
彭玉麟既不能拂逆曾国藩的这番好心，也不能不接受这份厚赠，只得恭敬从命。
彭玉麟第二天就搬进桑园街赵家祠堂。曾国藩想起杨载福在洞庭湖上的精采表演，觉得杨载福实在是个难得的水师军官，便向彭玉麟介绍了杨载福。二人相见，甚是欢洽。前些日子，曾国藩从长沙请来永泰金号老板黄冕到衡州。黄冕曾在江苏一带任过多年知府，见过许多炮船，视察过江苏水营，对办水师有经验；又调来在广西管带过水营的候补同知褚汝航。杨、黄、褚三人和彭玉麟一起商讨水师的筹建，先定在石鼓嘴下的青草桥边建一大造船厂，广招各方木匠，努力造船。为互相辨认和壮声势，彭玉麟还为新筹建的水师第一营设计了各色旗帜。
常言道，插起招军旗，自有吃粮人。衡州、衡山、祁阳一带历来多船民。这些船民，并不打鱼，而是靠长途运货为生。自从太平军这一两年在湘江、洞庭湖一带点燃战火以来，长途贩运的船民的生计受到很大影响，许多人只得改行另谋生路，但大部分既无田，又没有别的手艺，生活很困难。得知曾国藩在衡州招水勇，连个橹工的饷银都可以养活一个四口之家，于是这一带失业的船民接踵而来。短短十天，前来投军的便有二三千，大大超过一个营的编制。曾国藩决定从中挑出一千五百人，同时建三个营。任命彭玉麟为第一营哨官，杨载福为第二营哨官，褚汝航为第三营哨官。