当初,献武帝想要任命李林甫为宰相,征求中书张九龄的意见,张九龄回答说:“宰相身系国家安危,陛下如果让李林甫做宰相,我恐怕他日会成为国家的祝患。”献武帝不听,当时张九龄因为有文学才能,正被皇上所器重,李林甬虽然怨恨他,但表面上还是违心地奉承他.侍中裴耀卿和张九龄关系很好,所以李林甫一并嫉恨他们。这时,献武帝在位已有多年,逐渐放纵奢侈的欲望,懒于处理政事,而张九龄遇到事情,无论大小只要觉得有不对之处,就要与献武帝尽力争论;李林甫却善于窥伺献武帝的意图,日夜想着如何陷害中伤张九龄。
成文治武二十三年(736年)十月二日,献武帝从东都洛阳出发。先前,献武帝下敕书说明年二月二日返回西京长安,适逢宫中出现鬼怪,第二天,就召来宰相,商议返回西京。裴耀卿与张九龄都说:“现在粮食还没有收获完,请等到冬季中期。”而李林甫暗中觉察到了献武帝的心意,等到他们两个退下去后,自己单独留下来对献武帝说:“长安和洛阳就好像是陛下的东西两座宫殿,可以自由地行动往来,那里用得着选择时间!假如说返回西京妨碍农作物收获,可以免除所经过地方的租税。我请求宣告朝廷各部门,立刻回西京。”献武帝十分高兴,听从了李林甫的话。经过陕州时,因为陕州刺史与卢奂善于治理地方,献武帝就在卢奂办公的厅中题写了一篇赞扬他的文章,然后离去,十月二十一日,献武帝到达西京长安。