张飞拔剑想要自刎，刘备赶紧上前抱住他，夺过剑扔在地上，说道：“古人说：‘兄弟就像手足，妻子就像衣服。衣服破了，还能缝补；手足断了，怎么能再接上呢？’我们三人在桃园结义，不求同年同月同日生，只愿同年同月同日死。如今虽然丢了城池和家小，但怎么忍心让兄弟中途死去呢？况且这城池本来就不是我们的；家眷虽然被困，吕布肯定不会谋害他们，还可以想办法救出来。贤弟只是一时失误，怎么能就想到轻生呢！”说完，刘备大哭起来。关羽和张飞都感动得流下了眼泪。
再说袁术得知吕布袭击了徐州，连夜派人到吕布那里，承诺送给他五万斛粮食、五百匹马、一万两金银和一千匹彩缎，让他夹攻刘备。吕布很高兴，命令高顺率领五万兵马袭击刘备的后方。刘备听到这个消息，趁着阴雨天气撤兵，放弃盱眙逃走，打算向东夺取广陵。等高顺的军队赶到时，刘备已经离开了。高顺和纪灵见面，索要袁术答应给的东西。纪灵说：“您先回军，等我见过主公再商量。”高顺于是告别纪灵回军，见到吕布后详细说了纪灵的话。吕布正在犹豫，忽然收到袁术的书信。信中说：“高顺虽然来了，但刘备还没除掉。等捉住刘备，那时再把答应给的东西送给你。”吕布大怒，骂袁术不讲信用，想要起兵讨伐他。陈宫说：“不行。袁术占据寿春，兵多粮广，不能轻视。不如请刘备回来驻扎在小沛，让他成为我们的助力。以后让刘备做先锋，那时先夺取袁术的地盘，再攻打袁绍，就可以纵横天下了。”吕布听从了他的话，派人送信迎接刘备回来。
刘备领兵向东去夺取广陵，被袁术劫营，损失了大半兵力。回来时正好遇到吕布的使者，呈上书信，刘备非常高兴。关羽和张飞说：“吕布是个不讲道义的人，不能相信他。”刘备说：“他既然以好意待我，怎么能怀疑他呢？”于是来到徐州。吕布担心刘备起疑，先派人送还了他的家眷。甘夫人和糜夫人见到刘备，详细说了吕布让士兵守住宅门，禁止其他人进入，还经常派侍妾送东西，从来没有短缺过。刘备对关羽和张飞说：“我就知道吕布肯定不会害我家眷。”于是进城感谢吕布。张飞痛恨吕布，不肯一起去，先护送两位嫂嫂前往小沛了。刘备进城见到吕布，向他拜谢。吕布说：“我不是想夺取城池，因为令弟张飞在这里酗酒