白牡丹乃是颜洞宾之事，与吕祖不相关。上面我们说了，吕祖的宝剑最重要就是“断烦恼、贪嗔、色欲”的心中之剑。他哪里会干这等到处留情的事情？吕祖自己还写有一篇《警世》诗道：“二八佳人体似酥，腰间仗剑斩凡夫。虽然不见人头落，暗里教君骨髓枯。”又说过：“息精息气养精神，精养丹田气养身。有人学得这般术，便是长生不死人。”吕祖如果尘心不断，好色如命，又哪里能练就一身的神通？不过吕洞宾经常流连于酒肆妓院等处也可能是有的，所以这些绯闻也被编排到他的身上。但吕洞宾经常逛妓院并非好色滥淫，而是开导劝化这些风尘女子们。据说吕洞宾曾在广陵妓院的屏风上题下这样二首诗，使得当地的一个名妓弃暗投明，悉心学道：嫫母西施共此身，可怜老少隔千春。
他年鹤发鸡皮媪，今日玉颜花貌人。
花开花落两悲欢，花与人还事一般。
开在枝间妨客折，落来地上请谁看。吕洞宾好酒，这个却是不假，道家对于酒并不排斥，好多得道高人、仙人经常都醉醺醺的。所谓“醉里乾坤大，壶中日月长”，大概酒中之趣就颇似道家真义。沉醉之中，物我皆忘，倒真有点万物一也，天地齐也的意思。吕洞宾自己有诗道：世上何人会此言，休将名利挂心田。
他时功满归何处，直驾云车入洞天。诗中豪兴，真似太白之风。“等闲倒尽十分酒，遇兴高吟一百篇”之句尤为精彩。
吕祖好酒，有时喝多了也“出事”。有一次吕洞宾大醉，行走在巴陵市的街头，遇上了当地太守的车驾，这狗官不识吕洞宾，便吆喝左右的衙役们要拿下吕祖问罪，吕祖笑呵呵地说，等我酒醒了再说吧。说罢依旧酣睡，这狗官大怒，正要喝令左右行刑拷打，吕祖却突然不见，只听空中有人吟诗道：暂别蓬莱海上游，偶逢太守问根由。
身居北斗星杓下，剑挂南宫月角头。
道我醉来真个醉，不知愁是怎生愁。
相逢何事不相认，却驾白云归去休。吕祖性格诙谐，度人不倦。说来吕祖和一些远离尘世清高自许的仙人不大一样，他常游戏人间，据说他曾发大誓愿道：“必须度尽天下众生，方愿上升也。”但是正如吕祖诗中所说：“四海皆忙几个闲，时人口内说尘缘。”寻常俗人，度他们恐怕要比骆