家休养一阵再说。
不过人算不如天算，公元559年六月，王琳的老对手陈霸先去世，其侄陈蒨（陈文帝）即位。
南陈不服陈蒨的人很多，内部不合。这是上天给王琳一个绝佳的机会。
王琳听说陈霸先病死后大喜，便命少府卿孙瑒总揽留守事宜，自己则拥奉萧庄出兵屯驻濡须口，准备灭陈。
北齐也派扬州道行台慕容俨率军众逼近长江，为其声援。
十一月，王琳进犯大雷，陈蒨命侯瑱、侯安都与徐度率军抵御。陈朝安州刺史吴明彻溯流而上，乘夜袭击湓城，王琳派巴陵太守任忠率军进击，大破吴明彻，吴明彻只身脱逃。王琳乘势引兵东下，南陈岌岌可危。
如果没有后面的事情，王琳无论是裂土封王，还是打下建康，南北朝的历史都会是另外一番景象。
然而在大好形势下，王琳却是阴沟里翻船了。
天启三年（公元560年）二月，王琳率军抵达栅口，侯瑱等屯驻于芜湖，两军相持一百多天。
东关一带春季水位高涨，可以供船舰通航，王琳便率合肥、漅湖一带的部众，乘兵船沿江排列而下，舳舻首尾相连，军势强盛。
侯瑱跟王琳几回合较量，互有损失，不过多半都是毁在天气上。
然而这时北周听说王琳东下灭陈的消息，派荆州刺史史宁率军数万乘虚袭击郢州，守将孙瑒绕城固守。
王琳闻讯后，担忧因军心不稳而溃散，只得便加紧率领水师东下，直到离芜湖十里地才停泊下来，军中敲击木柝报时示警的声音，一直传到侯瑱军中。
而北齐派仪同三司刘伯球率军一万余人支援王琳，行台慕容恃德的儿子慕容子会率两千名铁骑屯驻在芜湖西岸，以声援王琳。（事后证明北齐的这一招完全是一通操作猛如虎，事后效果二百五）
同月十四日，侯瑱率军防备王琳进犯。当时西南风刮得又急又猛，王琳认为得了天助，打算直取扬州，侯瑱等慢慢从芜湖出来跟在他后面。
等到交战时，西南风反被侯瑱利用，王琳让士兵往侯瑱的船上扔火炬（史书上这么说，但王琳一辈子几乎都在打水战，不会犯这样的低级错误，极有可能是他手下私自行动），因为逆风，反而将自己的兵船全部烧毁。
侯瑱趁机大破王琳军，军士溺水而死的有十分之二、三，其余的都弃船上岸，被侯瑱军队斩杀殆尽。
王琳败得虽然莫名其妙，但终究是败了，被侯瑱捡了个大便宜。