Chiến tranh Đông Dương lần 2 (1954-1975)

Sau trận Điện Biên Phủ, tháng 9 năm 1954 ông được đề bạt giữ chức Đại đoàn phó kiêm Tham mưu trưởng Đại đoàn 312. Cuối năm 1954, ông được cử giữ chức Đại đoàn trưởng kiêm Chính ủy thay cho ông Lê Trọng Tấn và Trần Độ.

Sau 1954, Đại đoàn 312 được cải tổ phiên chế thành Sư đoàn 312 và ông trở thành Sư đoàn trưởng. Tháng 8 năm 1958, ông được phong quân hàm Thượng tá trong đợt phong quân hàm chính quy đầu tiên. Tháng 11 năm 1960, ông được thăng quân hàm Đại tá. Trong thời gian này ông là Học viên Học viện quân sự Bắc Kinh.

Năm 1964, ông được cử vào Nam, nhận chức vụ Sư đoàn trưởng Sư đoàn 9, sư đoàn chủ lực của Quân Giải phóng. Sau đó, ông lần lượt giữ chức Phái viên Tác chiến Bộ chỉ huy quân sự Miền; Phó tư lệnh kiêm Tham mưu trưởng Quân Giải phóng miền Nam, dưới quyền Trung tướng Tư lệnh Trần Văn Trà. Ông làm chỉ huy ở bộ tư lệnh Miền suốt thời gian lực lượng bộ đội chủ lực Miền đóng ở Nam bộ, rồi Campuchia, tham gia chiến dịch Nguyễn Huệ năm 1972, giữ chức Tư lệnh trong một số chiến dịch ở miền Đông Nam Bộ.

Từ tháng 9 năm 1972 đến tháng 12 năm 1974, ông là Chỉ huy phó Bộ chỉ huy quân sự Miền phụ trách Chỉ huy trưởng Đoàn 301 tại chiến trường Nam Bộ và cực Nam Trung Bộ (B2).

Ngày 20 tháng 7 năm 1974, Quân đoàn 4 (còn gọi là Binh đoàn Cửu Long) được thành lập trên cơ sở của Đoàn 301, ông được cử làm Tư lệnh đầu tiên.

Trong chiến dịch Hồ Chí Minh, ông là Tư lệnh Quân đoàn 4, chỉ huy Quân đoàn đánh vào Xuân Lộc, khai thông con đường phía đông cho Quân đoàn 2 tiến vào, chịu trách nhiệm tiếp quản Dinh Độc Lập cùng nội các Tổng thống Dương Văn Minh của Việt Nam Cộng Hòa.[3] Sau khi Ủy ban quân quản Sài Gòn được thành lập, ông được cử làm Phó chủ tịch Ủy ban quân quản,