創立は、旧赤碕町山川の池山家記録によると、嘉永2年7月大森大明神の神職の次男池田吉之凾が大森大明神の分霊を奉じて、新社を西山に建てたとあります。この西山神社は大森大明神と称して下以西郷六村の総氏神でした。明治元年西山神社と改称、明治4年に村社となり、昭和2年5月四社(東井手上神社・水口神社・大石神社・上田神社)を合祀し、同年10月に社号を豊榮神社と改めました。集落の南側、見通しの良い田畑の中に鎮守の森を構える趣のある神社です。