Về mối tình đầu với người vợ cả, được biết, sau khi xuất ngũ, ông Huỳnh Uy Dũng (Huỳnh Phi Dũng) vào sinh sống ở Bình Dương và kết hôn với bà Trần Thị Tuyết, lớn hơn 6 tuổi là con gái ông Ba Thu, Giám đốc Sở Nông nghiệp tỉnh Sông Bé bấy giờ.
Sau đám cưới, tài sản duy nhất của vợ chồng ông Dũng lúc đó là chiếc xe máy cũ trị giá ba chỉ rưỡi vàng của bố mẹ vợ cho con gái làm của hồi môn. Ông bố vợ xin cho con rể vào làm nhân viên ở Phòng tổ chức cán bộ Công an tỉnh Bình Dương, một thời gian sau Dũng được chuyển qua phòng hậu cần.
Ông Dũng và bà Tuyết có hai con trai và con gái út. Tuy nhiên, cuộc hôn nhân này đã kết thúc sau ngày lễ mừng thọ linh đình 10.000 khách mời của mẹ ông Dũng không lâu. Người quyết định chấm dứt kết thúc cuộc hôn nhân này được cho là đại gia Dũng.
Bà mẹ và các em ông Dũng không một ai đồng tình với việc này, ông Dũng tuyên bố từ bỏ tất. Để chấm dứt bi kịch đó, bà Tuyết đã chấp nhân ly hôn sau mấy lần không đồng ý.
Bà Tuyết và ba đứa con yêu cầu tài sản chia làm ba phần, ông Dũng một phần, bà Tuyết một phần, ba người con một phần, trước khi chia nhờ một cơ quan kiểm toán độc lập, xác định rõ tài sản, công nợ. Ông Dũng khi đó đã đề nghị tòa không can thiệp việc phân chia tài sản, mà để hai bên tự giải quyết.
Trong số 3 người con với bà Tuyết, người con trai đầu tên là Huỳnh Trần Phi Long từng được ông Dũng giao cho vị trí Tổng Giám đốc Công ty Đại Nam sau khi công ty Thanh Lễ (thành lập năm 1996) sau đổi tên thành công ty Đại Nam. Có thể nhận thấy, Phi Long từng nhận được sự yêu quý rất lớn của người cha khi vị đại gia này đã quyết định lấy tên con đặt tên cho một công ty do ông thành lập - công ty Phi Long.
Sau khi tuyên bố ly hôn với bà Tuyết, ông Huỳnh Phi Dũng đã kết hôn với bà Nguyễn Phương Hằng (tên thật là Nguyễn Thị Thanh Tuyền, biệt danh Hằng Canada)
Trước khi kết hôn với ông Dũng, bà Hằng là vợ của ông Trần Văn Thìn. Hai người đã đăng ký kết hôn tháng 10/2006 và có một con gái chung. Tuy nhiên ngày 10/1/2008 TAND Q.Tân Bình có quyết định công nhận sự thuận tình ly hôn giữa ông Thìn và bà, giao bà Hằng được trực tiếp nuôi con chung, về tài sản chung hai bên tự thỏa thuận.
Sau khi ly hôn, vốn kinh nghiệm kinh doanh từ năm 25 tuổi, bà Hằng tập trung điều hành công ty chuyên kinh doanh về lĩnh vực bất động sản, trồng cao su và siêu thị thời trang.
Vào thời điểm tháng 9/2007, khi đại gia Dũng bắt tay vào xây dựng khu du lịch Đại Nam cũng là lúc 2 người quen và nảy sinh tình cảm với nhau. Ông Dũng đã phải vượt qua bao điều tiếng của dư luận khi bị cho rằng ông Dũng bỏ mặc người vợ đầu tiên đồng cam cộng khổ để tìm vui duyên mới quyết định tiến tới hôn nhân.
Ngày 08/06/2010, bà Hằng tổ chức đám cưới với ông Huỳnh Uy Dũng, ông chủ của khu du lịch tâm linh lớn nhất Việt Nam- Khu du lịch Đại Nam. Lễ cưới chính thức được diễn ra tại Thành Đại Nam. Đám cưới quy mô, hoành tráng và vô cùng xa xỉ khiến ai cũng phải thán phục.
Cũng tại thời điểm này, ông Dũng gặp khá nhiều khó khăn và áp lực khi mục tiêu biến Đại Nam trở thành khu du lịch lớn nhất Đông Nam Á với diện tích 700ha bị rơi vào tâm điểm của những cuộc tranh luận liên quan đến tâm linh. Thậm chí ông còn bị mang tiếng “điên khùng” khi có ý định đầu tư 5.000 tỷ đồng và huy động 2.000 nhân công xây dựng khu du lịch này.
Chính nhờ có bà Nguyễn Phương Hằng trợ giúp trong việc kinh doanh mà đại gia Dũng đã tháo gỡ được 3 điều, mà sau này ông từng tâm sự với báo giới: "Điều thứ nhất, dẹp được chuyện mê tín của tôi. Điều thứ hai, khai trương Đại Nam. Nếu để đến năm 2012 thì chắc chắn Đại Nam sẽ chỉ là một đống sắt vụn trong bối cảnh tình hình kinh tế suy thoái như hiện nay. Điều thứ ba, xóa hết nợ nần, sống trong thanh thản và danh dự”.
Bà Hằng luôn tự hào đã được ở cạnh người đàn ông giàu có bậc nhất Việt Nam nhưng vẫn luôn khẳng định, bà ở bên cạnh ông không phải vì tiền. Với bà, đại gia Dũng "lò vôi" luôn là một một đấng trượng phu, một nửa của bà, một người tri kỷ mà bà khẳng định chỉ có cái chết mới chia lìa.
Kết quả của tình yêu sóng gió, bà Hằng sinh được cậu bé Huỳnh Hằng Hữu có khuôn mặt giống ông Dũng như đúc từ khuôn ra, nhìn khôi ngô và rất thông minh.
Trong tiệc thôi nôi mừng bé 1 tuổi, ông Dũng và vợ tuyên bố chính thức trao khối tài sản khổng lồ của mình cho cậu bé, gồm: Khu du lịch Đại Nam, Khu công nghiệp Sóng Thần 2, Khu dân cư Dĩ An, Khu công nghiệp và dân cư Sóng Thần 3 (tỉnh Bình Dương), Khu dân cư Bình Phước.
Để tránh chuyện "khẩu thuyết vô bằng" (lời nói không có chứng thực), ông Dũng còn có thêm động thái xác tín bằng cách lập di chúc trao quyền thừa kế cho bé Hữu. Lý giải chuyện này, ông Dũng cho biết, "Tôi đã làm việc rất chăm chỉ bằng cả trí tuệ và thể xác để có ngày hôm nay với bao nhiêu vinh - nhục - tủi hờn lẫn mất mát. Với tuổi đời 54, tôi cảm thấy mình không còn sức nữa. Điều hạnh phúc nhất là tôi đã tìm thấy một niềm tin cao cả nhất mà vợ chồng tôi đã thành tâm cầu xin sự hiển linh của trời Phật, tổ tiên, ông bà, cửu huyền thất tổ cho tôi xin một đứa con trai để thay tôi thực hiện được ước nguyện - tâm nguyện và thiện nguyện cho đời".
Theo những gì ông Dũng chia sẻ, thì vào đúng thời khắc cậu bé Hữu 18 tuổi ông sẽ trao toàn bộ khối tài sản của ông cho con. Còn hiện tại, vợ chồng ông và Hội đồng giám sát sẽ "canh chừng" khối tài sản này cho con trai ông.
Tuy nhiên hiện tại chuyện kinh doanh của đại gia Dũng đang gặp khó khăn, khu du lịch Đại Nam đang tạm thời đóng cửa do ông Dũng phải chịu sức ép từ quyết định thu hồi lại giấy phép cấp thời hạn sử dụng đất lâu dài của UBND tỉnh Bình Dương.
Trong khoảng thời gian khó khăn này, hơn ai hết đại gia Dũng "lò vôi" cần sự hậu thuẫn của người vợ thông minh và giỏi giang cùng ông vượt sóng gió một thời.