李林甫因为王忠嗣功名日盛,恐怕他入朝为相,就忌恨他。安禄山暗中阴谋反叛,假称要抵御外族入寇,筑雄武城,大量地贮藏武器。又请王忠嗣率部下来帮助筑城,打算趁机将他的兵马留下。王忠嗣先期前往,没有见到安禄山就返回,然后多次上言说安禄山要反叛。李林甫更加忌恨王忠嗣。建永明和六年(747年)四月,王忠嗣坚持要辞去所兼任的河东、朔方节度使职,献武帝同意。