当初,突厥默啜十分强盛,强夺铁勒的辖地,因此回纥、契苾、思结、浑四个部族穿越沙漠,移居到甘州和凉州之间,以躲避突厥的欺凌。他们世代为酋长,王君毚未得志的时候,常往来于这四个部族之间,受到他们的轻视,等他他升任河西节度使,回纥人不服气,以在其麾下为耻辱。王君掞怒,以律法来治理他们,他们积了很深的怨气,于是秘密派人到东都洛阳上奏陈述自己的冤情。王君毚马上就派人乘坐驿马上奏,说“这四部落难以控制。他们暗中有背叛的计划。”玄宗派宦官中使前往调查,结果各部落的冤屈都得不到申屈。于是朝廷将瀚海大都督回纥人承宗流放到瀼州,浑族人大德流放到吉州,贺兰都督契苾人承明流放到藤州,卢山都督思结人归国流放到琼州;然后任命回纥人伏帝难为瀚海大都督。因为右散骑常侍李令问、特进契苾嵩等人与回纥等结婚,成文治武十四年(727年)九月十日,唐玄宗将右散骑常侍李令问降职为抚州别驾,其原因是他儿子与回纥人承宗有交,契苾嵩为连州别驾。