Nhà thờ Thánh Joseph được xây dựng vào năm 1890 theo phong cách kiến trúc Roman bởi những nhà truyền giáo đặt chân đến Hồng Kông. Những nhà truyền giáo này đã xây dựng mối quan hệ bền chặt với tộc người Hakka (Hẹ). Trước khi chuyển sang thế kỷ mới, phần lớn người Hakka đã theo đạo Công giáo dưới ảnh hưởng của linh mục Công giáo La Mã Joseph Freinademetz. Vài năm sau, toàn bộ ngôi làng đều tham gia lễ rửa tội. Nhà thờ được xây dựng dành riêng cho vị thánh bảo trợ của hòn đảo. Kể từ đó, tên của vị thánh được lấy để đặt cho di sản được UNESCO công nhận này như một lời nhắc nhở về ảnh hưởng của Thánh Joseph đối với dân làng.