Trong ngôi nhà của mình tại thành phố Nam Định (tỉnh Nam Định), ông Dũng dành một phần diện tích lớn để lưu giữ những tờ báo đã sưu tầm được. Tất cả tập báo sưu tầm được ông Dũng xếp trên những chiếc giá cao ngút đầu. Trong phòng lưu trữ ít dùng đồ gỗ để tránh mối mọt.
Một số tờ báo chính thống được chủ nhân đóng thành quyển để bảo quản tốt hơn. Những tờ báo đặc biệt quý hiếm còn được ông Dũng bọc ni lông, cẩn thận xếp trong tủ kính. Trong phòng được lắp thiết bị hút ẩm, máy điều hòa với nhiệt độ 22 độ C để bảo quản báo.
Gần đây, một đoàn cán bộ của Cục Văn thư và Lưu trữ Nhà nước, Trung tâm Lưu trữ Quốc gia III đã đến tham quan phòng sưu tầm báo chí của ông Nguyễn Phi Dũng. Mọi người ấn tượng với số lượng báo chí mà ông Dũng đã sưu tầm được, và nhận xét đối với tư nhân, chế độ bảo quản tư liệu như vậy là bảo đảm.
Trong bộ sưu tập của mình, ông Dũng đặc biệt gìn giữ những tờ báo quý hiếm của cách mạng mà ông đã dày công sưu tầm. Đó là những tờ báo xuất bản trước năm 1945 như Tin tức (Cơ quan Mặt trận Dân chủ) xuất bản năm 1938, Cờ Giải Phóng (Cơ quan tuyên truyền cổ động Trung ương của Đảng Cộng sản Đông Dương) số 1, ra ngày 10/10/1942, Báo Cứu Quốc (Cơ quan cổ động của Việt Minh toàn quốc) số 5 ra ngày 23/9/1942, và số báo đặc biệt (báo Xuân) xuất bản ngày 9/2/1943 (tức mùng 5/1 âm lịch năm Quý Mùi).
Ngoài ra còn có một số tờ báo của các tỉnh như Việt Nam Độc Lập (Cơ quan của Mặt trận Liên Việt tỉnh Cao Bằng), Xung Phong (Cơ quan Cổ động của Việt Minh tỉnh Bắc Giang)…
Báo Tin tức (Cơ quan Mặt trận Dân chủ) xuất bản năm 1938.
Báo Cờ Giải Phóng số 1, xuất bản ngày 10/10/1942.
Báo Độc Lập số 1, ra ngày 4/9/1945.
Báo Độc Lập số 2, ra ngày 7/9/1945, đăng toàn văn Tuyên ngôn Độc lập.
Báo Việt Nam Độc Lập (Cơ quan của Mặt trận Liên Việt tỉnh Cao Bằng).
Báo Xung Phong (Cơ quan Cổ động của Việt Minh tỉnh Bắc Giang).
Báo Vui Sống (Cơ quan Truyền bá vệ sinh và Y học của Quân Y cục Bộ Quốc Phòng).
Tháng 2, tại cuộc toạ đàm Chia sẻ ký ức, phát huy di sản do Cục Văn thư và Lưu trữ Nhà nước tổ chức, ông Nguyễn Phi Dũng đã chia sẻ: “Mỗi tờ báo như thư ký lịch sử, ghi lại chính xác những sự kiện diễn ra tại thời điểm đó. Thế nên, nếu muốn biết một điều gì đó đã qua, việc căn cứ trên những tờ báo cũ là nguồn tin rất có giá trị, mà đôi khi những phương tiện khác không thể đáp ứng được”.
Để chứng minh điều này, ông Dũng đưa ra tờ báo Độc Lập (số 1 và 2) đã sưu tầm được và nói: “Sau này, nếu muốn mô tả về Lễ Quốc khánh 2/9 đã diễn ra như thế nào, có thể dựa vào những thông tin tường thuật tại thời điểm đó của những số báo này là rất đáng tin cậy”.
Mỗi khi có những cuộc triển lãm liên quan đến báo chí, ông Dũng thường sẵn lòng cho mượn những tờ báo mình sưu tầm được để trưng bày. Có bảo tàng cần bản sao một tờ báo “độc bản” mà ông đã sưu tầm được, ông Dũng sẵn sàng scan tờ báo đó để gửi tặng.
Một số người, khi cần tìm hiểu thông tin qua báo chí đã tìm đến ông Dũng và luôn được ông nhiệt tình đáp ứng.
Tại cuộc tọa đàm Chia sẻ ký ức, phát huy di sản, nhà sử học Dương Trung Quốc đã nói: “Chia sẻ ký ức là cách tốt nhất để phát huy giá trị của di sản, nâng cao trách nhiệm của mỗi người trong việc phát huy di sản”. Điều này đúng với những cá nhân như ông Dũng, khi những tờ báo mà ông sưu tầm được cũng là một phần của ký ức. Và việc ông muốn chia sẻ những ký ức đó cũng là để phát huy giá trị của di sản, di sản báo chí.