Dinh thự được Toàn quyền Đông Dương Pafquiere xây dựng năm 1928 theo kiến trúc Pháp làm nơi tiếp, chiêu đãi khách. Năm 1933, dinh thự được nhượng lại cho vua Bảo Đại để làm nơi làm việc, nghỉ ngơi mỗi khi cùng gia đình ra Bắc (1933-1954).
Tháng 5/1955, dinh thự do Bộ Quốc phòng quản lý. Năm 1984, Bộ Quốc phòng giao Công ty du lịch Hải Phòng (nay là Công ty CP du lịch Đồ Sơn) quản lý, tu sửa theo mô hình kiến trúc Pháp và mở cửa đón khách tham quan từ năm 1997.