丹霞寺始建于唐代贞元年间(785—804),是石头和尚弟子丹霞禅师所建,故以丹霞名寺。丹霞又名天然,故又名天然禅寺。清初衡永副使彭而述作《丹霞寺》诗,记述了该寺的沿革,摘录如下:
丹霞本是南阳山,如何移作南岳寺。
寺中遗僧为我言,南阳始祖开此地。
此人姓邓名天然,长安谒主良不第。
担簦裹粮过洞庭,卜地南岳栖神智。
曾于脚底踏圣僧,更向水佛烧舍利。
自从祝发住空山,至今石塔犹赑屃。
后来归去老丹霞,此间犹挂丹霞寺。
后,住持僧醒悟于民国24年(1935)重建,有山门、正殿、后殿、两进房共25间,石墙铁瓦,山坊上刻有“丹霞寺”,为衡阳蒋铨衡书。现在的丹霞寺,依次为山门、五岳圣帝殿、后殿,正门下临空旷,可以眺远,门额曰“丹霞寺”是民国年间新刻。清末,寺僧玉洁塑了五岳圣帝神像于前殿,千斤铜佛迁到后殿的“七一遗址”。前殿侧开一门临登山大路,而于门额题曰:“五岳殿”,以招来朝圣的香客,由是八月香期,香客们均入殿朝拜五岳圣帝,香火也就旺盛起来了。现在五岳圣帝像和后殿的佛像都是80年代落实宗教政策后新塑的。后殿为“七一遗址”,相传丹霞在此地与其友、居士会晤,相见时,庞就地画个“七”字,丹霞即于下画个“一”字,因曰:“因七见一,见一忘七。”故名“七一遗址”。现“七一遗址”,原碑尚嵌于殿壁。