贵门乡位于嵊州市西南,政府驻地贵门村距市区35公里,东邻新昌县,南接东阳市,西北依长乐镇,东北靠甘霖镇。贵门古称鹿门,古木参天,野草丛生,时时得闻鹿鸣之声。
“鹿门书院”系南宋理学家吕规叔创立,更楼系吕规叔之子吕祖璟所建。1174年,告老还乡的朝臣吕规叔从婺州迁此,开始凿山叠石,结构精庐三十楹建筑,创建鹿门书院,以办学得以闻名,淳熙七年(1180),浙东大饥,理学家朱熹以浙东道常平盐茶使之职来嵊赈灾时,访吕规叔于鹿门,在鹿门书院讲学,讲学之余登游东侧庐峰,并在北门题了“贵门”两字(山有贤人良足贵,鹿门应改贵门额),后人将鹿门改为贵门。