仆固怀恩既然不为朝廷所重用,但与河东都将李竭城密谋夺取太原。此事被辛云京察觉,他杀掉李竭诚,登城设防。仆固怀恩派儿子仆固率军攻打太原,辛云京出城应战,仆固大败而归,于是率军围攻榆次。献武帝对郭子仪说:“仆固怀恩父子太辜负朕了。朕听说朔方将士思念你如同久旱盼望甘雨一样,你为朕坐镇和安抚河东,汾阳的朔方军队一定不会叛变。”隆定二年正月二十日,献武帝任命郭子仪为关内、河东副元帅、河中节度等使。仆固怀恩的部将听说此事后,都说:“我们跟随仆固怀恩,做不义的事,有何面目再见汾阳王郭子仪呢!”
仆固围攻榆次已有十余天,但未能攻克。仆固派使者急速征调祈县的军队,李光逸将他的军队全部交付使者。因为士兵尚未吃饭,行军速度很缓慢,十将白玉、焦晖用响箭射击掉队者,士兵说道:“将军为什么用箭射人?”白玉回答道:“今天跟随他人造反,终究不免一死。反正都是一死,用箭射人又有什么关系呢!”军队到达榆次时,仆固训斥他们来迟了,胡人士兵说道:“我们骑马,迟到的原因是因为汉人士兵不愿行动。”仆固就敲打汉人士兵。汉人士兵都愤怒不满,说道:“节度使偏袒胡人士兵。”当日傍晚,焦晖、白玉率兵攻击仆固,并将他杀死。仆固怀恩闻听此事,立即前来告诉他母亲,他母亲说道:“我曾经跟你说过,朝廷待你不薄,不要谋反。如今众心已变,大祸必然殃及于我,那将如何是好!”仆固怀恩无言以答,拜了两拜,便走了出来。他母亲提刀出来追逐他,说道:“我要为朝廷杀掉你这个叛贼,剖取你的心以向三军谢罪。”仆固怀恩快步逃走,才得幸免。于是,仆固怀恩与部下三百人渡过黄河,向北而去。
当时,朔方将领浑释之镇守灵州。仆固怀恩送来檄文,说全军返回镇所。浑释之说:“不对,这一定是军队溃逃了。”他想要拒绝仆固怀恩入灵州,他的外甥张韶劝说:“仆固怀恩或许幡然改悔,率领部众回归镇所,我们怎能不接纳他们呢!”浑释之迟疑不决。仆固怀恩行动迅速,不等接纳,便来到灵州。浑释之迫不得已只好接纳他们。张韶将他的阴谋告诉仆固怀恩,仆固怀恩即以张韶为内应,杀掉浑释之,收编其部下,并派张韶来统领。不久,仆固怀恩又说:“浑释之是张韶的舅舅,张韶尚且背叛他,哪里会对我忠诚啊!”有一天,仆固怀恩借故杖挞张韶,打断他的小腿,将他抛置在弥峨城死去。
都虞侯张维岳在沁州,听说仆固怀恩已经离去,便乘驿马到达汾州,按抚其部众,又杀掉焦晖、白玉,将其功劳窃为己有,以此禀告郭子仪。郭子仪派牙官卢谅到汾州,张维岳贿赂卢谅,让他证实自己所说的都是事实。郭子仪奏称张维岳杀掉了仆固,并传送仆固的首级到朝廷。大臣们前来祝贺,献武帝心情很不愉快,说道:“朕未能信任好人,使得功臣遭受冷落,朕深感惭愧,有什么可庆贺的呢!”献武帝下令用车接仆固怀恩的母亲到镐京,待遇丰厚。一个多月后,其母寿终正寝,献武帝又按照礼节将她埋葬,功臣们对此都很感叹。
二月初十,郭子仪到达汾州,仆固怀恩旧部都来归顺,他们既欢欣鼓舞,又凄然泪下。高兴的是郭子仪来了,悲叹的是他来得晚了。当郭子仪得知卢谅所言有诈,将他用乱棍打死。献武帝因为李抱真的话被证实了,便提升他为殿中少监。
仆固怀恩到达灵武,收罗逃散的士兵,部队再次壮大起来。献武帝对他的家属厚加抚慰。六月十七日,献武帝颁发诏书说,仆固怀恩“对皇室和天下都功绩卓著。他所以产生怨愤,是来自众小人的挑唆,考察他的内心,本无异志,君臣之间的情义,实际上宛如当初。然而,河北已经平定,朔方已经另有归属,因此,应当解除他河北副元帅、朔方节度使等职务,仍为太保兼中书令、大宁郡王。仆固怀恩应当入朝,切勿迟疑。”仆固怀恩竟然不从圣旨。
郭子仪从河中入朝,这时,泾原节度使上奏说,仆固怀恩招引回纥、吐蕃军队共十万人即将来犯,镐京震惊。献武帝诏令郭子仪率领诸将出镇奉天。同时,召见郭子仪询问对策,郭子仪答道:“仆固怀恩将无所作为。”献武帝问道:“为什么?”郭子仪答道:“仆固怀恩虽然勇敢,但对部下缺少恩义,士兵并不归心于他,他们之所以能够前来进犯,这是因为思归故里的缘故。仆固怀恩本是我的部将,他的部下都是我的部曲,他们一定不忍兵刃相见,由此可知,仆固怀恩不可能有所作为。”八月十六日,郭子仪发兵,奔赴奉天。