根據舊赤碕町山川池山家的記載，豐榮神社之創立可追溯至嘉永2年7月（1849年），當時大森大明神（現大森神社）之神職人員的次子池田吉之凾祀奉大森大明神的分靈，在西山建立了新的神社。此西山之神社亦名為大森大明神，為下以西鄉六村的總氏神。明治元年（1868年）改名為西山神社，並於明治4年升格為村社。昭和2年（1927年）5月，西山神社與另四間神社（東井手上神社、水口神社、大石神社、上田神社）合祀，並於同年10月將社號改為「豐榮神社」。神社矗立於村落南側、視野開闊的田園之中，社殿四周環繞著鎮守之森，古樸雅緻。