相传当年秦始皇“焚书坑儒”时，一位名叫伏胜的朝廷博士官，冒险从咸阳偷运出千余卷珍贵的书简，辗转跋涉，藏于二酉洞中，使先秦文化典籍得以流传后世。成语“学富五车，书通二酉”出于此。这些书简在秦灭汉兴时献给汉高祖刘邦，刘邦在获得伏胜所献大量秦前书简时大喜，亲自将二酉藏书洞封为“文化圣洞”，将二酉山立为“天下名山”。从此后，二酉山二酉洞就成为天下圣迹，成为读书人毕生向往和追求的地方。以后历朝历代文人墨客，前往二酉拜谒更是络绎不绝，留下了大量的诗词文章。山上一度建院立阁，修堂造亭，香火旺盛。为纪念伏胜修建的伏胜宫和为保护二酉洞修建的藏书阁就是典型的建筑代表。在山半石洞下方，留有京师大学堂总监督即北京大学第四任校长、湖南督学使者张亨嘉于清光绪六年（1890年）二月所立的榜书碑刻“古藏书处”四个大字。