桂香庵由清屈启贤创建。清代汝州进士屈启贤晚年致仕在家，热心公益。雍正五年，孝感贡生武锡彤任汝州知州，重振教风。屈启贤体恤贫困学子入仕艰难，与风穴寺方丈颖石禅师商议，在该寺建庶学堂。由屈募建场所并置地产，作学子日常开销，得禅师赞同及资助。遂在寺北凤凰崖创建桂香庵。碑载桂香庵乃为独院，处凤凰崖南山坳，四周悬崖峭壁。西崖壁有“攀桂梯”“攀桂桥”与风穴寺后院相通。相通处有小门，与攀桂桥连为一体。攀桂乃“攀折桂枝”，隐喻科举登第之意。 桂香庵建筑以窑洞为主，砖石装饰，避寒祛湿。大殿三楹，实为习教室。庵内设文昌祠外，别出心裁设达摩、吴公二洞祠。供奉禅宗初祖达摩、宋代汝州进士吴几复。创始者认为，二人皆在洞中面壁成才，理应为僧俗榜样。