Tuy nhiên, trước tác động của thiên nhiên, đặc biệt là tình trạng biển xâm thực, khu vực này ngày càng bị sóng biển lấn sâu, đe dọa trực tiếp đến sự tồn tại của công trình. Để bảo vệ nơi sinh hoạt tín ngưỡng, các giáo dân trong vùng đã ba lần di chuyển nhà thờ vào sâu trong đất liền. Đến năm 1996, công trình cũ chính thức bị bỏ hoang.