西汉时期，大将军霍去病的同父异母兄弟霍光被任命为光禄大夫，每当皇帝出行，霍光总跟随左右。他出入皇宫总是处处小心，事事谨慎，从不出任何差错。汉武帝十分宠信他，封他为大司马。汉武帝死后，他与御史大夫桑弘羊辅佐汉昭帝刘弗陵执政。