豸山古寺位于县城东南沱水之畔，明公历四年（1576年）依岩势建寺于其间，前后三进，依次有观音阁、吕祖阁、文昌阁、明远楼等，寺门外有六角亭设于渡口。同治八年（1869年）江华抗法名将王德榜捐资独修凌云塔于豸山之巅，集佛教、道教、伊斯兰教建筑风格于一体，七级八方四门，顶置铁刹，直插云霄，号称“凌云塔”。