Tứ đại phú “Nhất Sỹ, nhì Phương, tam Xường, tứ Trạch”.

Bắt tay với Pháp, Đỗ Hữu Phương được cất nhắc dần lên các chức vụ. Khi có địa vị và quyền lực, ông ta bắt đầu làm giàu bằng những ơn huệ, bổng lộc do Pháp ban, rồi sau đó gia nhập quốc tịch Pháp.Tác giả sách Sài Gòn vang bóng cho biết, khi quân Pháp tiến đánh Gia Định (năm 1859), các nghĩa quân nổi lên, Đỗ Hữu Phương sợ bị giết nên đã chạy lên khu Bà Điểm (Hóc Môn) lánh thân và chờ thời. Đến khi thành Chí Hòa thất thủ (1861) quân Pháp làm chủ cả Sài Gòn - Chợ Lớn - Gia Định, ông ta tìm cách ra hợp tác với người Pháp. Lúc đó, Phương nhờ cai tổng Phước ở Bình Điền đưa ra trình diện tham biện hạt Chợ Lớn Francis Garnier và được nhận làm cộng sự.Sau khi đã phá được đồn Chí Hòa, người Pháp đã tuyên bố Sài Gòn là cảng tự do mở cửa buôn bán với thế giới bên ngoài. Thương mại người Hoa ở Chợ Lớn đã bột phát giúp cộng đồng người Hoa và Minh Hương ở Sài Gòn - Chợ Lớn hồ hởi tham gia vào tình hình kinh tế mới.Trong năm 1861 đầy biến động này, Đỗ Hữu Phương thấy được cơ hội mới, ông đã tiếp xúc và làm việc với người Pháp đang chân ướt chân ráo cố gắng tuyển dụng người nhằm thiết lập một nền hành chính rất sơ khai ở Sài Gòn - Chợ Lớn. Ông được phong ngay chức trưởng khu Chợ Lớn (chef de quartier Cholon), sau thành huyện Chợ Lớn. Sau đó, ông tiếp tục được phong làm Đốc Phủ tỉnh Chợ Lớn (1872).nhờ chức này nên Đỗ Hữu Phương dễ dàng làm giàu bằng cách cấp môn bài buôn bán cho người Hoa và ưu tiên cho một số người Hoa xuất nhập cảng thực phẩm vào Nam Kỳ để bán với giá cắt cổ cho người Việt.Mặt khác, Đỗ Hữu Phương còn có người vợ khôn lanh, biết giao thiệp rộng nên khách khứa tây, ta thuộc giới thượng lưu giàu có thường lui tới nhà ông ta dự tiệc tùng để bàn chuyện thương mại.Nói về người vợ này của Đỗ Hữu Phương trong cuốn Sài Gòn năm xưa cụ Vương Hồng Sển viết: “Sự nghiệp của ông Phương trở nên đồ sộ nhứt nhì trong xứ, phần lớn do tay phu nhân Trần thị gây dựng. Bà giỏi tài đảm đang nội trợ, một tay quán xuyến trong ngoài, làm của đẻ thêm ra mãi”.Nói về độ giàu có của Đỗ Hữu Phương, Lý Nhân Phan Thứ Lang cho biết ông ta có trong tay 2.223 mẫu tây ruộng ở Miền Tây. Dinh thự của ông ở dọc kinh Xếp, tráng lệ bậc nhất Sài Gòn, nhìn bề ngoài kiến trúc kiểu Tây, bên trong là phong cách Á Đông, bên trong dinh thự còn có cả nhà hát…Theo nhà nghiên cứu Nguyễn Đức Hiệp, Đỗ Hữu Phương đã đi qua Pháp 4 lần, viếng các thủ đô ở Âu châu và đi chuyến vòng quanh thế giới vào năm 1884. Trong danh sách các hành khách đi tàu Anadyr từ Sài Gòn đến Marseille ngày 29/4/1889, có tên ông cùng hai người con.Mặc dù bị người đời chê trách làm việc cho Pháp, nhưng Đỗ Hữu Phương cũng có một vài hoạt động mà tác giả Lý Nhân Phan Thứ Lang gọi là “coi được”. Đó là ông đề nghị Pháp xây dựng Trường nữ sinh bản xứ và một trường trung học dành cho nam…Ông về hưu năm 1897 và qua đời năm 1914. Pháp đã lấy tên ông đặt tên cho con đường lớn chỗ ông ở (nay là đường Châu Văn Liêm).