高台寺在圆明洞上，上封寺下，始创于宋，明嘉靖25年（1546）楚石和尚重建，清乾隆10年（1746）向盛世捐资重修。光绪年间，曾国荃捐资大修。寺舍原来建筑在圆明洞上，临空架构，势颇奇险，明代移于今址。民国年间，在旧址上重建。1983年，南岳管理局改建为两层楼房。“古高台寺”额石一方嵌正中门楣上，给人一种古寺翻新的印象。寺在高台，居高临下，南天门是它的屏障，四周群山拥簇，峰回路转，松杉献翠。台下深壑，岩泉奔泻。路口有开云亭，依峰临壑。头顶上祝融峰耸峙云天。此去峰顶只两华里，寺后有石磴数百级的捷径，可直通不语岩、会仙桥、罗汉洞、祝融峰、望日台。宋以后，有几个著名的诗僧在这里作住持，与文人学士相往还，结下了翰墨因缘，使高台寺名重一时。
宋乾道间（1165—1173）僧人了性住此，很有诗名。张拭游南岳时，下榻于此，他为了性诗集题诗曰：“萧然僧榻碧云端，细读群诗夜未阑。门外苍松风雪里，比君住处让高寒。”评价颇高。
明嘉靖24年（1545），江西罗念庵与诗僧楚石结为方外交。同在寺下的观音岩计书论道。11年后，嘉靖35年（1556），江西人胡直又来至高台寺，与楚石和尚的弟子园宁结为方外交，借高台寺的西楼，招引东南数省的好友张居下、耿定向、邹善等十余人结文社于此，名曰“衡庐心缔”。其后，代有文人墨客来高台寺游览凭吊，啸咏吟哦。清魏源并将楚石禅师的11首诗收入自己的诗集，以表其倾心之意。现寺侧有古松数株，为罗念庵手植，故名“念庵松”。因山高、风大、石多，冰冻期长，松干粗大低矮，虬枝平出伸展，态势苍劲，很为奇特。松下有观音岩、圆明洞、冠石等。松石交错。洞壑嶙峋，风物奇险，游人多在此选景拍照留念。离寺出开云亭，即登山公路，公路侧石壁有多处石刻。
