有一次献武帝问李林甫:“严挺之现在在哪里任官?此人可以重用。”严挺之当时为降州刺史。李林甫退朝后,即召严挺之的弟弟严损之,告诉他说:“陛下十分器重你的哥哥,你们为何不乘此机会,上奏说得了风疾,请求回京师治病。”严挺之就听从了李林甫的话。李林甫又因严挺之的奏言对献武帝说:“严挺之衰老中风,应该授以散官,便于治病养身。”献武帝听后,感叹不已。建永明和元年(742年)四月二十八日,任命严挺之为詹事。又任命汴州刺史、河南采访使齐浣为少詹事,二人都是员外同正,一道在东京养病。齐浣也是因为在朝中素有名望,所以遭到李林甫的猜忌。
严挺之郁郁不得志,终于成疾,自己写好墓志,遗令薄葬,大殓时就用平日穿的衣服。
严挺之看重朋友交往,且生死不变。曾为旧友的孤女几十人安排出嫁,为当时人称道。但后来沉溺于佛,与僧人惠义友善,惠义死,严挺之竟着孝服为他送葬。后来遗嘱将自己葬在惠义塔之左侧。此举,君子以为有偏。