Ông Long được bổ nhiệm làm Phó chánh thanh tra tỉnh Kiên Giang vào tháng 3/2004. Khi bổ nhiệm, Ban tổ chức Tỉnh ủy cho ông Long nợ bằng đại học.
Tuy nhiên, qua hai nhiệm kỳ làm phó chánh thanh tra, ông Long vẫn chưa có tấm bằng đại học nào, dù ông từng tham gia học 2 lớp đại học tại chức luật và học viện hành chính.
Ông Long cũng từng học qua lớp cao cấp chính trị, tuy nhiên vẫn chưa được cấp bằng.