上官桀、上官安以及桑弘羊，这些人就与燕王刘旦一同设谋，假装让人替燕王向昭帝上书，控诉霍光“专权自恣，疑有非常”。上官桀打算从宫内直接发下其事，桑弘羊就和其他大臣一起将霍光拘捕并解除他的职务。
不料，此计被昭帝识破，昭帝表示完全信任霍光，认为燕王不会知晓朝廷近事，且即便霍光要做非法的事，也不需要增加自己幕府的校尉这种方式。这时候，汉昭帝年仅十四岁，尚书以及左右的大臣都很吃惊，而呈送书信的人果然逃走了，官府开始紧急搜捕。上官桀等人感到害怕了，就对皇上说这只是一件小事，不值得穷追究竟，皇上没有听从。
后来，上官桀的党羽凡有说霍光的坏话的，昭帝就发怒道：“大将军是忠臣，先帝所托付来辅佐朕的，敢有诽谤他的人就判他的罪。”
从这以后，上官桀等人就不敢再说霍光的坏话了，他们就密谋让鄂邑长公主摆酒席请霍光赴宴，准备埋伏士兵击杀他，乘机再废除昭帝，迎立燕王为天子。
事情被发觉，霍光就将上官桀、上官安、桑弘羊、丁外人等人及家族全都诛杀了，燕王、鄂邑长公主也都自杀。