Ông Huỳnh Kim Phú bên căn nhà của tri huyện, giờ dùng làm từ đường của dòng tộc, sáng 24/7.
Theo ông Phú, khi mới nhậm chức, khoảng năm 1885 Huyện Huynh mua ngôi nhà này của một người giàu ở địa phương, lúc ấy đang xây dang dở. Vị quan cũng giữ lại toàn bộ thợ thuyền đến từ miền Trung để tiếp tục dựng nhà và hoàn tất năm 1900.
Ông quan huyện Gò Đen thuộc tầng lớp giàu có trong vùng, đất đai rộng bạt ngàn. Ông Huyện Huynh giao đất cho tá điền trồng lúa và thu thuế. Con rạch nhỏ nằm gần vẫn còn tồn tại đến ngày nay cũng là nơi khi xưa hàng loạt ghe của tá điền cập bến đong lúa.