講堂為清代柳江書院遺跡，門聯(lián)曰：道兮儒兮佛兮于斯探者；天也地也人也由此知之。 書院于康熙五十三年（1714）始建，乾隆七年（1742）諸生在柳候祠就讀，后在祠旁建講堂、齋舍，嘉慶七年（1802）、道光三年（1823）先后重修。