齋尾廢寺遺跡為奈良時代初期（白鳳時代）的寺院遺跡，是山陰地區唯一採用法隆寺式伽藍配置的國家指定特別史跡。遺跡占地東西長160公尺、南北寬250公尺，現存塔基、金堂、講堂、中門、迴廊與土壕的殘跡，可由基壇與礎石追憶往昔的風貌。在金堂遺址周邊曾出土大量塑像殘片（現藏於琴浦町歷史民俗資料館），其中包括一尊丈六佛像與小型塑像，推測原為金堂內供奉之物。其中一尊佛頭僅高14公分，體型小巧、面容優雅慈祥，原件現收藏於京都國立博物館。