水军的建设更是重中之重。甘宁被任命为水军都督后，立刻在江夏夏口扩建船厂，征调工匠三千余人，日夜赶造战船。数月之间，便新造楼船二十艘——此船高十余丈，分三层，每层皆可容纳士兵百人，船头装有铁制撞角，可撞毁敌方战船；斗舰五十艘——船体狭长，航速极快，船舷两侧配有弩机二十余架，可远程射杀敌军；另有走舸八十艘——轻捷灵活，专为突袭、侦察所用；加上此前接管的黄祖旧部战船，荆州水师共拥有各类战船两百三十余艘，规模堪称长江流域之冠。
兵力配置上，甘宁从江夏、长沙两郡征召青壮男子，挑选精壮者编为水军，加上原有部众，共凑齐水军三万余人。其中，楼船兵五千人，皆配备环首刀与强弩，负责正面攻坚；斗舰兵一万五千人，多为擅长水战的渔户子弟，精通划船、潜水之术；走舸兵一万人，以轻装步兵为主，主打突袭与支援。更难得的是，九江蒋钦、周泰，庐江丁奉、陈武，琅琊徐盛等将才听闻甘宁在荆州操练水师，皆慕名来投——蒋钦熟知长江水文，被任命为楼船营校尉；周泰勇猛过人，统领斗舰营前锋；丁奉、陈武擅长近战，分任走舸营左、右部督；徐盛精通阵法，负责水军操练与战术推演。甘宁将这五人皆留在军中担任要职，让荆州水师的指挥体系愈发完善。
对于此前贪腐的张允，刘表采取“明升暗降”之策，将其封为水军副都督，却只让其负责战船修补、粮草运输等后勤事务，彻底剥夺实际兵权。同时，任命颍川名士徐庶代替张允为军司马，徐庶到任后，不仅重新制定水军训练章程——每日清晨操练阵法，午后演练弩箭射击与接舷作战，傍晚则教授士兵水战战术——还亲自监督兵甲打造，数月内便为水军配备环首刀两万柄、强弩五千张、铁箭十万支，让荆州水军的战力更上一层。每当清晨时分，江夏江面便战船列阵，鼓声震天，三万水军演练阵法，船帆遮天蔽日，气势恢宏，连江东的孙策都曾派人暗中观察，对荆州水师的实力暗自忌惮。