”但最终拍板的李隆基并没有批准，却为示皇恩，将安禄山释放了。
还是这一年，李隆基欲为朔方节度使牛仙客加实封，并让他兼领尚书，张九龄认为牛仙客学识不高，因而极力劝阻，这引起李隆基的不悦。去年已拜为拜为礼部尚书、同中书门下三品的李林甫，私下与李隆基言道：“只要有才识，何必满腹经纶，天子用人，有何不可。”意思直指张九龄干涉太多，李隆基深以为然，以结党为由于十一月份罢免了张九龄、裴耀卿的宰相之职，然后任命李林甫、牛仙客为宰相。这一年李林甫替代了张九龄，被授中书令，没有了忠诚之相张九龄的牵制，牛仙客怎么可能是李林甫的对手？大唐朝廷的宰相之权，逐步落于李林甫一人之手。
有些决策在当时看似无关痛痒，但可怕之处便是随着时间的推移，这些决策都可能将改变未来的历史走势，开元二十四年发生的这几件大事，都将影响李嗣业等人的命运，影响大唐所有人的命运。
从某种意义来说，开元二十四年，是李隆基从英明神武向昏庸怠政转变。