深山古刹，环境清幽，这是我国建造寺院遵循的法则。只有这样，人们才能超脱凡俗去修行。可是五台山金阁寺这座寺院为什么建在大路旁边呢？（解放前，山门前既是大路。）在当地有如下的传闻。
   唐开元二十四年（736），杭州一个很有名气的僧人叫道义和尚，去五台山礼佛。当他归来走到现今金阁寺东南百余步这个地方时，突然狂风大作，把大团大团的沙石扬起来，搅得天昏地暗，使他寸步难行。道义和尚立即闭目合十向前方朝拜，口念“南无阿弥陀佛”。念着念着，忽见一个童子，口称奉师命前来请他去喝茶。道义和尚跟随童子向西北方走了百余步，就是现今金阁寺这个地方，在他跟前出现了一座规模宏大的寺院，殿堂僧舍都是黄澄澄的，闪着耀眼的金光。道义和尚由童子引路在寺内参观了所有的殿堂。接着，引路童子又把他带入客堂里，道义和尚环视一眼客堂，这是一间陈设简单、古色古香的客堂，迎面炕上满铺金黄色的绸子，炕桌摆在炕的中间，一位鹤发童颜的老僧坐在炕头上闭目养神。道义和尚面对老僧双手合十道：“贫僧这厢有礼了。”老僧双目微睁答曰：“请坐，赐茶！”道义和尚落座后，童子递上茶来。道义喝了一口，顿觉清香醇厚，非世间之味。老僧向他讲《般若波罗蜜多经》。讲罢，老僧送道义和尚走出客堂，走了几步，道义和尚想回头对老僧说：“请止步，贫僧告辞了。”可是当他回首时，老僧不见了，规模宏大的寺院也没有了，风住沙停，天空又变得像原来一样晴朗。他向四下一望，眼前除了一株高五丈余的大树外，四周空荡荡的再无他物。道义和尚意识到这是文殊菩萨显圣，要他在此处建造佛寺，于是他把参观游览过的这座寺院描绘下来，送给唐玄宗，请求朝廷按图建寺。当时的唐玄宗，由于沉迷于声色之中，所以根本没把建寺这件事放在心上。再加上工程浩大，之后又发生“安史之乱”，建寺的事便被搁置下来了。《中国佛教》载：“不空（注）晚年（唐代宗大历元年，即公元766年）使弟子含光到五台山造金阁寺。”含光按照道义和尚所绘的图纸，从大历二年（767）开始，用了四年时间于大历五年（770）终于建成了举世闻名的金阁寺。——就这样，这座寺院建在路边上。在建寺过程中，唐代宗曾瞎诏命令全国十节度使都要为建金阁寺慷慨捐助。由于唐代宗对创建金阁寺有功，故殿内有唐代宗李豫的塑像。由于道义和尚献图有功，故殿内也有道义和尚的塑像。