學山書院遺址位于淳溪鎮教師進修學校內,又稱“夫子廟”。據《學山書院記碑》記載:建于明弘治十二年(1499),位于縣城通賢門外的學山。書院總面積約為4.82萬平方米。中軸線上有大成殿,明倫堂,文昌宮,尊經閣等各五間,均為重檐歇山頂,兩側建有亭、閣繞廊。欞星門為三間四柱的沖天式石坊。門外建有泮池、照壁,兩側宮墻開券門,左書《育英》,右書《集賢》。今書院已毀,僅存有建筑石刻構件散落。