相传，远古时候五台山沟无清水，坡无绿草，黄土滚滚，满目荒凉，是文殊菩萨使用法力，才使这里气候大为改观。
    一天，东海龙王邀请文殊菩萨到龙宫讲经说法。讲经毕，龙王为表示谢意，说：“龙宫所有的奇珍异宝，菩萨喜欢什么，我就当即奉送。”不料，文殊菩萨对别的珍宝都不感兴趣，只要檐下放置的一块黑石头。这块石头长有一丈五尺，宽有八尺，厚有六尺。你只要走近它，就会顿觉清凉异常。龙王连忙解释说：“对不起，这是一块清凉石。小龙出去布雨回来，大汗淋漓，只要躺在歇龙石上滚一滚，疲累燥热立刻消除。菩萨要什么
都行，这石头嘛……”文殊菩萨见龙王面有难色，没有强求，便说：“既然龙王难舍，佛家不该讨施。我就此告辞了!”龙王深怕得罪文殊，就放了个大度说：“菩萨若能拿得动，就请拿去吧!”文殊菩萨走到这块黑石头前，默念几句咒语，忽然用手一指，偌大的石头变成指头大小，将其揣人袍袖后，便跨上青狮，立即返回了五台山。

    文殊菩萨将带同的清凉石放置在中台下面的一片谷地，口念咒语，恢复了原形。清凉石立即散发出沁人心脾的清凉气息，五台山从此就成了理想的清凉胜境。

    如果你想亲眼目睹这块清凉石，就要去清凉寺。它就放置在清凉谷的清凉寺里。它还有一个神奇的名号“文殊菩萨说法船”，上面可以同时站40多人，人在其上，悠悠晃晃，那感觉真的像在听文殊说法，又像坐船行于水上，神秘而奇特。

    清凉寺是五台山最早兴建的寺庙之一，佛教典籍中记载，寺为北魏孝文帝所建。大隋开运，佛教重兴，凡是伽蓝，并任复修。清凉寺也在文、炀二帝的扶持下得到修复，恢复了正常的佛事活动。唐代时，清凉寺成为替国行道的镇国道场，获得皇家的护持。长安二年(702年)，女皇武则大自称神游五顶，敕命重建清凉寺。经过一年多的修建，清凉寺落成典礼，德感法师奉女皇之命率领100多名僧人，到清凉寺举办法会。当日祥云缭绕，五云佛手、天仙白鹿在空中显形。地方官员奏报女皇，则天皇帝非常高兴，封德感法师为昌平县开国公，食邑一千户，住清凉寺。同年，女皇命左庶子侯知一、御史大夫魏元忠，请工匠雕刻玉文殊像，到五台山礼拜菩萨，第二年，送到清凉寺安置。在亲笔手书中，武则天表达了自己对弘扬佛道的赤诚以及不能亲自拜会圣境的遗感。她还令德感法师住持清凉寺，主管全国僧尼事。女皇对清凉寺的宠遇，引发全国乃至外国僧俗效仿，纷纷到五台山弘法传教，瞻礼灵迹。

  开元二十八年(740年)，唐玄宗长女永穆公主，皈依佛门，出家五台山，将自己平生所蓄钱财悉数拿出，请来全国的能工巧匠，在清凉寺造了诸般佛像，同时用金银铜三金融铸，金、银、玻璃、琉璃、珊瑚、玛瑙、砗磲七种珍宝镶嵌，铸造一口铜钟，安置在清凉寺中。

    天宝七年(748年)，杨贵妃的再从兄杨舌为玄宗皇帝书写《大藏经》5048卷，《般若经》、《天台疏论》2000卷供于清凉寺，为镇寺之宝。同时奉命对清凉寺进行了重修与扩建。其时清凉寺有上座昙财，寺主申庆，都维那智诜，大德忠翰、智空、昙开、如岸，高僧清超、净法、元光、庭观等，真是鸾风比德，龙象群集。

    唐玄宗之孙李豫在“安史之乱”中，以兵马元帅的头衔收复两京，认为是佛菩萨的佑护之力，对“五台山佛教十分尊崇，宝应元年(762年)即位史称代宗，永泰元年(765年)命人重修了清凉寺等6所寺院和6处普通供养舍，每寺度僧21名，常转《护国仁王经》和《密严经》，为围行道，把金阁寺和清凉寺作为了大唐帝同的镇创道场。从此，清凉寺由弹宗丛林和净土道场变成了密宗道场。

    会昌五年(845年)，唐武宗灭法，这是佛教史上著名的四次法难之一，规模大，范围广，天下寺宇，大多招致毁废，僧人或逃奔他乡，或还俗，清凉寺在这一次浩劫中成为一片废墟。

    历史的发展有时有一种戏剧性的反差。与无情地戕灭佛事的武宗迥然不同的是，继位的唐宣宗恰恰因种种原因当过一阵子佛门沙弥，他即位之后的宰相裴休又是一位吃斋念佛、精通佛典、护持佛教的信徒，君臣二人齐心协力，复兴佛教。大中二年(848年)，宣宗“敕五台山诸寺，度五千僧，”五台山主要寺庙得到恢复，清凉寺便在其中。

  大唐诸帝的重视与崇建，使清凉寺星楼月殿，凭林跨谷；香窟花堂，枕峰卧岭．成了妙高峰上的一座梵宇琳宫。
    入宋以后，太宗、仁宗，眷想灵峰，流光五顶，先后敕送佛经手迹共计340轴到五台山，“清凉之兴，于时为盛”。当时，清凉寺设置僧正司，管理着五台山及代州的佛寺。到仁宗时，善住院有一位和希法师，道行和威望赫赫有名，仁宗授予其僧统，加号慈懿大师，住清凉寺。僧统是僧界之皇，统监全国僧尼事务，自唐代德感、清凉两位国师担任僧统以来，五台山僧人第三次荣任此职，恩宠非凡，使清凉寺成了北宋佛教的重要寺
院。

    元朝皇帝出身于蒙古贵族，信仰佛教，尤其尊奉喇嘛。至元二年(1265年)，元世祖下诏重建清凉寺，寺内殿宇堂舍焕然一新。

    明太祖朱元璋于执朝期间，在清凉寺设置僧会司，掌管僧教事务，并将佛光寺、藏头寺纳入管理范畴，扩大了清凉寺的范围。万历三十四年(1606年)，皇帝命人铸造九级铜质千佛塔，上刻“清凉攫授”印文和“清凉之印”铜印，置清凉寺。中有文殊像，旁有清凉石．又有千佛塔，尊崇至极。远远望去，一座金碧辉煌的宫殿点缀在清凉谷的山岩间，如同一幅绝美的图画。

    清顺治十七年(1660年)，世祖派老藏丹贝到五台山清凉寺，管理汉藏佛教事宜。他先后五上五台山，每次都拜清凉寺。康熙二十八年(1689年)八月，圣祖为清凉寺题写了“水晶域”和“心会真如”的匾额。康熙四十一年(1702年)二月，圣祖带着四子胤稹等第四次巡游五台山时，于初十日到达清凉寺，参观寺容，礼拜菩萨，瞻谒清凉石。当时随同参观，后作了雍正皇帝的胤稹曾为清凉寺作诗二首：

一
光寒如镜卧深云，
半是云斑半藓纹。
谁识方方一片里，
古今容尽屐交纷。
二
体本清凉自解烦，
天然秀色蓄云根。
曼殊说法今何在，
参客空寻趺坐痕。

   乾隆十五年(1750年)二月，春回大地，冰融雪化，乾隆沿着松林中的山路行来，耳边有阵阵松涛，头顶有潆漾细雨，清凉泉潺潺流于清凉谷，汇注为清清一潭，如禅机满注。天子灵感顿来，脱口吟道：
莲宇台西麓，榛蹊一往寻。
石潭空禅性，松籁发仙音。
春转喧迎谷，冰融雨坠林。
清凉名独占，分别不生心。

    此后40年间，他又四次来到清凉寺游山巡视，题匾作诗，拜佛参禅，为清凉寺增添几多风雅、几多尊崇，至今为人们津津乐道。乾隆五十七年(1792年)农历二月，皇帝第六次至五台山，再朝清凉寺，这已是他第五次来清凉寺。其时，这位7l岁高龄的老人，仍然精神矍铄。但他深知这可能是他最后一次朝台了，毕竟岁月不饶人。乾隆皇帝细细地把清凉寺的景点看了个遍，想把这方外世界深深铭记于心，英雄暮年的情绪让他不由地回顾少年时指点江山的豪气，写下了《寄咏清凉石》的五言诗：
山本清凉山，寺即清凉寺。
石亦号清凉，一以含三暨。
忆我辛巳年，跋马曾偶至。
见石如卧牛，番僧陈其义。
秉诚可转动，即命彼为试。
颓然略弗摇，面赧僧徒愧。
笑而谓之言，弗动乃佳事。
是诚真清凉，默契第一谛。
岩溪阻且幽，弗往诗权寄。

    尔后，他恋恋不舍地离开了清凉寺，离开了五台山。
  其时，清凉寺规模宏大，建筑整齐，有山门三楹，钟鼓楼各一，枋一、亭一，前殿三楹，正殿三楹，前后配殿二十四楹。寺旁有精舍正殿三楹，配庑轩亭十八楹，为五台山一座重要的古刹精蓝。

    虽然文殊给了清凉寺珍贵的法宝和无边的权力，仍然逃不了“文化大革命”的破坏，清凉寺横遭劫难，建筑、佛像被毁，所有殿宇几乎荡然无存，仅存清凉石。

    上世纪末，香港华康大厦的黄惠卿女士朝拜五台山，瞻礼文殊菩萨，目睹清凉废寺，感慨万端，当即发心，捐资200万元，为清凉寺彩画大殿、重建天王殿、山门、钟鼓二楼，并请山西省文物局工艺美术大师胡颖玉亲自承建，喜钜法师监工、演明住持积极协助，当场定案，尽早兴工。从此，清凉寺演明法师就带领着8名常住僧人，除了进行早晚功课和一些必要的法事活动外，全身心整修寺庙、兴建殿堂。当时五台山圆照寺僧
医释妙空，为了振兴文殊道场，从缅甸请回20尊大型汉白玉佛菩萨像和五百罗汉像供奉寺中。经过几年修葺，清凉寺再放光华。

    出清凉寺，沿着蜿蜒曲折的山道缓缓而下，过溪流，再沿着山路回山腰攀登，有古清凉寺，供奉“华严三圣”及给孤独长者。寺内有一碑，碑文已磨损模糊，为明万历四十四年(1616年)所立。

    在古清凉寺西侧200余米处，有一避风向阳、靠崖临壑、恬静幽雅、宜于静修的山洞，叫罗汉洞。洞内有清凉甘美之清凉泉，深不可测，可消热恼。元代真觉和尚有《清凉泉》诗日：“进珠鸣玉下危巅，上有清凉没底泉。涓滴尚能消热恼，百川虚作浪滔天。”洞口供奉四尊石雕罗汉，高约30厘米，造型粗犷，工艺简朴，传说为文殊菩萨的四个徒弟坐化而成。佛教徒认为，登上清凉寺就犹如达到了上乘所臻之涅—境界，足见清凉寺的神圣地位。