，还有“黄龙舰”，可容纳士兵百人，船体轻便灵活，适合快速突击；“平乘舰”“舴艋舰”则体型更小，适合侦察与短途作战。
在训练士兵方面，杨素更是严苛。他挑选士兵时，不仅要求体格健壮，更注重水性与战术素养，每日亲自督导训练，从水上列阵、战船协同，到登船作战、近身搏杀，无一不细致讲解。对于训练中表现优异者，他会给予丰厚赏赐；对于懈怠者，则严厉惩处，绝不姑息。《隋书》中记载，杨素治军“军令严肃，有犯必诛”，但他也深知士兵疾苦，时常体恤下属，故麾下士兵皆愿为其效死，水师战斗力日益强盛。
经过三年的准备，隋朝水师已初具规模，伐陈的时机也逐渐成熟。开皇八年（公元588年）十月，隋文帝任命晋王杨广、秦王杨俊、清河公杨素为行军元帅，兵分八路，共计五十一万大军，水陆并进，正式发动伐陈之战。其中，杨素率领的水师，便是西路军的核心力量，负责从永安出发，顺江而下，突破陈朝长江防线，牵制陈朝水师主力，为东路军进攻建康创造条件。
杨素率领水师东进的第一站，便是陈朝驻守的狼尾滩（今湖北宜昌西）。狼尾滩地势险要，滩多水急，陈朝将领戚昕率领青龙舰百余艘，驻守于此，并在滩头设置栅栏，妄图凭借天险阻挡隋军。杨素率军抵达狼尾滩后，并未急于进攻，而是亲自勘察地形，分析陈军部署。他对麾下将领说：“狼尾滩滩险水急，若白天强攻，我军战船难以操控，必遭陈军阻击；且陈军依仗天险，防备必然松懈，不如趁夜袭之，必能一举破敌。”
当晚，杨素亲自率领数千艘黄龙舰，借助夜色掩护，悄悄逆流而上，逼近陈军大营。同时，他派部将王长袭率领步兵，从陆路绕至陈军背后，准备突袭；派部将刘仁恩率领骑兵，沿长江南岸疾行，截断陈军退路。三更时分，隋军发起总攻，王长袭率领的步兵突然冲入陈军大营，刘仁恩的骑兵也及时赶到，截断陈军后路，杨素则率领水师从正面猛攻。陈军毫无防备，顿时大乱，士兵四散奔逃，戚昕见大势已去，只得率领残部弃船逃走。
狼尾滩一战，隋军大获全胜，不仅击溃了陈朝的第一道长江防线，更缴获了大量战船与粮草，极大地提振了隋军士气。战后，杨素率领水师继续东进，沿途发布檄文，历数陈后主的荒淫无道，劝谕江南百姓归附隋朝。江南百姓本就对陈后主不满，见隋军纪律严明，秋毫无犯，纷纷归附，杨素的水师一路势如破竹，很快便抵达了陈朝的第二道防线——歧亭（今湖北宜昌西北）。
歧亭乃是长江中游的重要关隘，陈朝将领吕忠肃率领三万大军驻守于此。吕忠肃深知歧亭的重要性，为阻挡隋军东进，他在长江两岸修筑了坚固的营寨，又用粗大的铁索横截江面，将数十艘战船连接起来，形成一道“铁索横江”的防线，同时在铁索两侧设置栅栏，派士兵日夜看守，妄图将隋军阻挡在长江上游。
杨素率领水师抵达歧亭后，见陈军防线坚固，便召集将领商议对策。部将们大多认为，应先集中兵力攻破两岸营寨，再破坏铁索，方可继续东进。但杨素却摇了摇头，说道：“吕忠肃此人，虽有勇无谋，却极为顽固，若强攻两岸营寨，我军必然伤亡惨重；且铁索未破，即便攻破营寨，战船仍无法东进，此事需另寻良策。”
随后，杨素再次亲自勘察江面，发现陈军虽然在铁索附近布置了防守，但夜间防守相对薄弱，且江水湍急，陈军难以察觉水下动静。于是，他心生一计，决定派士兵乘夜潜入江中，破坏铁索与栅栏。当晚，杨素挑选了数百名水性极佳的士兵，让他们携带斧头与锯子，乘坐小型舴艋舰，悄悄靠近铁索。士兵们潜入江中后，凭借娴熟的水性，避开陈军的巡逻，迅速用斧头与锯子砍断铁索，破坏栅栏。
天快亮时，铁索与栅栏已被破坏殆尽。杨素见时机成熟，立即下令发起总攻。他亲自率领五牙舰冲在最前面，利用拍竿砸击陈军战船，陈军战船失去铁索连接，首尾不能相顾，很快便被隋军战船撞碎或拍沉。吕忠肃见状，亲自率军登上隋军战船，与隋军展开近身搏杀。杨素身先士卒，手持长矛，斩杀数十名
