香山寺，位于江口县城三星路南面红庙岩西侧县图书馆前面，座东向西，原叫观音庙，建筑年代不详，于清道光二十二年十月（1883年11月）更名为香山寺。

香山寺分前后两进和数栋厢房，包括空地，总面积约11000平方米，是一个寺庙建筑群。第一进为大佛殿，大殿是连三间大木房，面阔15.3米，每间5.1米，进深13米，中堂两列为五柱十一瓜借瓜冲顶，两山两列为八柱八瓜。中央供奉观音菩萨像，是僧尼从事佛事活动的场所；第二进和两边厢房为禅房，是僧尼平时读经和生活的地方。前后两进四周以6米多的高墙围绕，与外界隔开。高墙的左右两侧均开有门，通往外面的厢房。正殿两边的数栋厢房，主要用来接待客僧及餐饮起居。

香山寺不仅是建立较早的一个寺庙，在佛教传入梵净山的初期，也曾是这一地区的主要寺庙。据梵净山多数寺庙的墓塔和碑碣记载，梵净山地区寺庙许多禅师都曾到“香山授法”，在香山寺受戒为僧。一些碑文中写到：“香山嗣法”。例如《海阔禅师塔铭》文称：“香山授法，日月同全”。又如，天庆寺（天庆堂）的福图满禅师，护国寺（天池院）的慧惺禅师等都是香山寺圣符道樾禅师的嗣法弟子。《梵净山纪略·梵净山佛教考》有更加详细的阐述：“明清之际，在梵净山区域的寺院中，江口香山寺曾一度为拥有授戒资格的寺院，政府认可的授戒师为圣符道樾等禅师。其它寺院，诸如天庆寺、护国寺、坝梅寺，规模皆较小，戒师不足十人，无传戒资格。后来，坝梅寺兴隆起来，传教资格由香山寺转到坝梅寺”。禅房侧的石门上有对联一副：“要成法界开源处，此是禅宗第一关”。这也说明了香山寺在梵净山寺庙中的地位。从上述史料可以证实，在较早的某一时期，香山寺是梵净山区域传授佛法、为僧授戒、传临济宗的中枢寺院。当地老百姓也有这样的传说：香山寺内供观音大士和八大金刚等像，是传经授戒之地。后来佛教向梵净山深处发展，授戒点转到坝梅寺，这里才专门作为尼姑修行的地方，从此更名为香山寺。这一传说也许有它的真实性。香山寺因战乱和时代的变迁也曾作改作它用。1936年红六军团长征转战江口，部队曾在寺内驻过；1939年8月国立三中分校驻江时，以此为主要教室，当时进步学生在寺中干墙入门右侧的粉墙上题有“全国不做汉奸和敌人的顺民”及“励迈进”十五个朱书繁体大字（这堵墙和字现还保留）；1947年江口县佛教协会设在寺内。新中国成立后，寺庙为双江粮站仓库、面条加工场所，保存较好。2005年建香山花园大楼，将三栋厢房拆掉，现只剩下佛殿和禅房。