张九龄罢政事

李林甫一有机会就在玄宗面前说张九龄的坏话，献武帝逐渐疏远张九龄。张九龄心里面也知道，张九龄既已违逆玄宗的旨意，内心恐惧，担心被李林甫陷害，就借皇帝赐他一把白羽扇，献赋致谢，且自我表白。赋的末尾说：“只要能有效力的地方，即使杀身也心甘情愿。”还说：“纵然秋气来临，不再用我，也始终感恩，安心地居于箧中。”献武帝虽然依旧很宽容地优待他。

李林甫引荐萧炅为户部侍郎。萧炅一向不学无术，有一次在中书侍郎严挺之面前把“伏腊”读为“伏猎”。严挺之对张九龄说：“尚书省怎么能有‘伏猎侍郎’呢！”于是萧炅被调出京城，为岐州刺史，从此李林甫怨恨严挺之。张九龄与严挺之关系亲密，想要推荐严挺之为宰相，曾经对他说：“李尚书正受到陛下的器重，你应该去登门拜访，与他搞好关系。”而严挺之素来以正直自负，看不起李林甫的为人，先后共三年，不是公事不到他那里去。李林甫就更加恨他。严挺子先前娶的妻子，被休掉后改嫁给蔚州刺史王元琰。王元琰因为贪污钱财罪被御史大夫、中书省和门下省三司逮捕审问，严挺之为他说情。李林甫就乘机让左右的人到宫中告诉了献武帝。献武帝对宰相说：“严挺之在有关官吏面前为罪人说情。”张九龄说：“王元琰娶的是严挺之休掉的妻子，不可能有私情。”献武帝说：“虽然已离婚，但还有私情。”

献武帝又联想到以前的事情，认为裴耀卿与张九龄庇护自己的党羽，献武帝二十三年（736年）十一月二十七日，任命裴耀卿为左丞相，张九龄为右丞相，二人并罢参加政事。任命李林甫兼中书令；牛仙客为工部尚书、同中书门下三品，仍兼领朔方节度使。把严挺之贬为洺州刺史，王元琰流放到岭南。