在秦汉时代，“上方”是专门负责制造皇帝御用剑的少府属官，皇帝的剑因此被称为“上方剑”。西汉成帝时期，有位名叫张禹的人，他曾经是皇帝的老师，因而变得傲慢自大，沉迷于奢侈生活，拥有大量地产和财富，最终成为丞相。

那时，槐里令朱云以直言敢谏著称。他向成帝上奏，指控张禹的罪行，并请求皇帝赐予他上方剑，以便处决张禹这样的奸臣。成帝得知后勃然大怒，以朱云“在下诋毁上级，在朝堂上侮辱师傅”为由，判处朱云死刑。所幸左将军辛庆忌为朱云求情，朱云才逃过一死。

自此之后，“上方宝剑”或“尚方宝剑”这一成语便用来象征至高无上的权力。