罗睺寺位于五台山台怀镇显通寺和十方堂之间，始建于唐代。唐代时，罗睺寺是大华严寺（今显通寺）的十二院之一，名为善住阁院。

罗睺寺，1492年（明弘治五年）重建。明万历年间，李彦妃为祈子登基许愿，拨款重修。1792年（清乾隆五十七年）再经修葺。
罗睺寺是五台山保存完好的十大黄庙之一和五大禅寺之一，寺内两幢木构小楼以接待十方客人而闻名。