龜福山光德寺原屬於天台宗，最初位於現址以南一里處的田野地區。室町時代永享元年（1429年），退休寺（位於大山町）第三代住持無餘空圓禪師將寺院遷移至現今的公文龜谷，並改宗為曹洞宗。當時出雲守護代尼子持久皈依空圓禪師，並於永享5年（1433年）捐建本堂與庫房，將此光德寺作為尼子家族的祈願寺。之後，尼子持久之子尼子清定又於嘉吉3年（1443年）捐建了開山堂、鐘樓及此座山門。