南北朝時代は元弘2年（1332年）のこと、後醍醐天皇が隠岐へと流されたとき、16歳であった天皇の皇女・瓊子内親王(たまこないしんのう)は父を追って伯耆国に入ります。しかし、隠岐へと渡る願いは遂にかなえられず、安養尼と名乗ってこのお寺を開かれ、24歳の生涯をこの地で過ごされました。
寺門の瓦などに刻まれた菊の御紋が、皇族墓所としてのたたずまいを偲ばせています。