从容的说：“我现在正在紧急征调各路军队讨伐叛贼，急需用钱。军队没钱就打不了仗，你讨厌第五琦可以，但是你能告诉我到哪里可以弄到钱呢？”房琯无言以对。
房琯对第五琦的直接领导，北海太守贺兰进明也持有看法。肃宗因贺兰进明联合平原太守颜真卿，攻下信都（今河北冀州）立有战功，将他升任南海太守（治广州），兼任御史大夫、岭南节度使，交代房琯下旨传令。房琯却耍了个滑，擅自把“兼任御史大夫”改成了“代理御史大夫”。
贺兰进明入朝谢恩，肃宗见与自己所下命令不同，感到有些奇怪。贺兰进明心胸不大，品行修为一般，当初就曾贪占过颜真卿的功劳，听肃宗问起，借机狠狠摆了房琯一道：
“当初晋朝重用王衍，他崇尚浮华，热衷找几个笔杆子耍弄‘嘴炮’，结果把中原搞的动荡不安，沦入五胡之手。如今房琯就会说些大而无用的空话，所用之人也全是些眼高手低的废柴，简直就是第二个王衍！陛下您用他做宰相，恐怕不是江山社稷之福。而且他在成都辅佐过太上皇，让陛下与各位亲王分任各道节度使，还把陛下放到了朔方这样的苦寒之地，又派亲信分别赴各道任职执掌权柄。看他的意思，无非是想不管太上皇哪个儿子继位，他都不会失去富贵。这样的做法，哪里是忠臣应有行径！”
贺兰进明的话很有杀伤力，一下戳中了肃宗的痛点，肃宗由此开始疏远房琯。
房琯志向颇为远大，又过于想证明自己，便上疏向肃宗请命，由自己担任元帅领兵收复长安、洛阳两京。
肃宗一直急于光复大业，只是苦于援军未至，见到房琯积极性这么高，便痛快批准了他的请求。加封他特进职称，任命为招讨西京兼防御蒲漳两关兵马节度使，允许他自行挑选幕佐。
房琯大权在手，便让经常与他一起神侃的御史中丞邓景山做副节度，户部侍郎李揖为行军司马，给事中刘秩为参谋。
从这三人所任官职就可看出，全是文官出身，从没有过军中任职履历。并不是说文官打不了仗，张巡也是进士及第的文官，在雍丘（河南开封杞县）以少击多照样打的有声有色，关键是少数个例代表不了多数群体！
临行前，也不知谁给提的建议，房琯又挑了兵部尚书王思礼