这个成语的渊源可追溯至明代陈汝元的戏曲佳作《金莲记》，其中写道：“人人骂我做衣冠禽兽，个个识我是文物穿窬。”故事是这样的：

在这部作品的第七出中，有一个名叫贾儒的人。他外表看似文质彬彬，经常以学者的装扮示人，仿佛是个满腹经纶的读书人，但实际上，他的品行却大相径庭，行为卑劣至极，各种恶行无所不为。他的虚伪和邪恶使得人们纷纷谴责他为“衣冠禽兽”。

“衣冠禽兽”原指文官官服上的飞禽和武官官服上的走兽，象征着威严和荣耀，现多用以形容道德败坏、行为像畜生的人。