隋炀帝杨广登基后，他指派重臣薛道衡对全国的官员进行了详尽的考察。薛道衡在评价卫州司马敬肃时，称他“心如铁石，老而弥坚”，意即他的心肠如铁石般坚硬，且行事愈发稳健老练。这一评价给隋炀帝留下了极为深刻的印象。
然而，随着时光的推移，隋炀帝逐渐沉溺于奢华享乐之中，对朝政事务置若罔闻。这时，京都的大将宇文述趁机掌握大权，并试图将敬肃拉拢至自己麾下，但均遭到了敬肃的拒绝。在此期间，宇文述的亲友们依仗其权势，对百姓进行肆无忌惮的欺压。百姓们忍无可忍，纷纷向司马敬肃投诉。敬肃在查实情况后，不顾这些人与宇文述的亲密关系，将他们一一捉拿归案，并依法予以严惩。
宇文述得知此事后，对敬肃心生怨恨，不断在隋炀帝面前诋毁他。敬肃深感隋朝气数已尽，于是决定辞官归乡。
