吴郡（今江苏苏州）太守李希言发公文诘问李璘擅自引兵东下的意图，很可能是这纸公文措辞过于生硬，惹恼了李璘。李璘随即分派将领浑惟明袭击吴郡，季广琛袭击广陵（江苏扬州）。
李璘进至当涂（今安徽马鞍山），李希言所部将领元景曜与丹徒太守阎敬之出兵阻拒，广陵长史李成式也派将领李承庆前来会合。
双方在江面展开激战，李璘招募的这些士卒战斗力很强，竟一举击败唐军，斩杀了阎敬之，元景曜、李承庆战败归降。
消息一经传出，引发江、淮震动。高适、来瑱、韦陟三人在安陆（今湖北孝感安陆）集会，签订盟约共同出兵讨伐李璘。
说起高适、来瑱与韦陟这三人，哪一个都不简单！
高适是唐初名将高侃之孙，着名的边塞诗人。他虽没有直接指挥过战争，但曾长年游历于边防一线，特别是做过名将哥舒翰的幕僚，参与过进击吐蕃的战争，对于打仗并不陌生，称得上半个行家。
来瑱的父亲是右领军大将军来曜，名声相对小些。但来瑱在抗击安史之乱时表现的异常神勇，屡次击败叛军，人送绰号“来嚼铁”，称的上是员猛将。
至于韦陟，他的父亲韦安石是武周时期的宰相。韦陟本人也是着名的文人、书法家，还曾差点当选宰相。只不过因替左拾遗杜甫讲了两句公道话，遭到具有疑心病的肃宗弃用。
有了这三个人坐镇指挥，李璘想不败都很难！
至德二载（757年）二月，广陵长史李成式、河北招讨判官李铣，合兵攻打位于当涂的李璘。
李铣带着数千人屯驻扬子县（今江苏仪征市），李成式所部判官裴茂率三千人屯驻瓜步（今南京长江大桥附近）。
两人采用疑兵之计，在长江渡口遍插旗帜，造成一种兵力众多的假象。李璘与儿子李玚登城观望，面露惧色。季广琛暗中对众将领说：“我辈跟随永王到达这里，天命没有见到，战败却近在眼前。还不如趁着战斗没有打响，早点找好退路。如果死在刀箭之下，那可就永远无法洗清逆臣恶名了！”
众人深以为然，于是季广深带领麾下投奔广陵（今江苏扬州），浑惟明投奔江宁（今南京境），冯季康投奔白沙（今湖北孝感市孝昌县），将领们