Sau Cần Vương
Năm 1888, một cận vệ người Mường của Hàm Nghi là Trương Quang Ngọc đã phản bội ông,[42] dẫn đến việc vị hoàng đế này bị quân Pháp bắt và đày sang Algeria.[43][44][45] Phan Đình Phùng và Cao Thắng đã chiến đấu ở miền núi Hà Tĩnh, Nghệ An và Thanh Hóa. 15 cứ điểm khác được xây dựng dọc theo núi để bổ sung cho sở chỉ huy ở núi Vũ Quang. Mỗi căn cứ có một chỉ huy cấp dưới chỉ huy các đơn vị có quân số từ 100 đến 500 người (1 thứ quân).[10] Mọi hoạt động của nghĩa quân đều được người dân địa phương, họ quyên góp kim loại để sản xuất vũ khí.[41]
Sau khi từ miền Bắc trở về vào năm 1889, việc đầu tiên Phan Đình Phùng làm là phát lệnh truy tìm kẻ phản bội Trương Quang Ngọc.[41] Khi tìm được, ông đã đích thân xử tử Ngọc tại Tuyên Hóa.[32] Sau đó, ông mở hàng loạt cuộc tấn công du kích vào các cơ sở của quân Pháp trong suốt mùa hè năm 1890, nhưng những cuộc tấn công này lại tỏ ra thiếu quyết đoán.
Năm 1893 Cao Thắng tử trận khiến Phan Đình Phùng bị mất đi một cộng sự đắc lực. Năm 1895 Pháp điều Nguyễn Thân đến phối hợp với công sứ Nghệ An là Duvillier đem 3.000 lính đi đàn áp cuộc khởi nghĩa Hương Khê. Quân chủ lực của Phan Đình Phùng bị đối phương bít đường tiếp vận, nên vũ khí, lương thực, quân số thảy đều thiếu thốn, khó bù đắp. Mỗi lần đối phương tấn công, nghĩa quân chỉ có thể chạy quanh từ núi Quạt rồi trở về núi Vũ Quang, và không thể ở đây lâu quá 3 ngày.
Ngày 17 tháng 10 năm 1894, Phan Đình Phùng đã tập hợp lực lượng, đánh thắng một trận lớn, đối phương mất nhiều vũ khí và bị giết chết rất nhiều. Ban đầu, ông cho quân lên tận nguồn sông chặt cây đóng kè chặn nước lại, đồng thời chuẩn bị sẵn nhiều khúc gỗ lớn. Khi quân Pháp và quân triều thân Pháp đến giữa dòng sông, thì ông cho phá kè trên nguồn và tuôn cây xuống. Đối phương phần bị nước cuốn, phần bị cây lao vào người, lại bị nghĩa quân ở hai bên bờ xông ra đánh nên bị thương vong rất nhiều. Theo Phạm Văn Sơn thì sau trận này, phía Pháp ngoài số quân trang và đạn dược bị mất mát, còn có ba sĩ quan và trên trăm lính bị tiêu diệt.[46]
Đây là trận thắng cuối cùng, vì gần 3.000 quân do Nguyễn Thân cầm đầu ngày càng xiết chặt vòng vây. Trong một trận giao tranh ác liệt, Phan Đình Phùng bị thương nặng rồi hy sinh vào ngày 28 tháng 12 năm 1895.[47]
Mười hai ngày sau khi thủ lĩnh Phan Đình Phùng hy sinh, Nguyễn Thân mới tới được núi Vũ Quang và núi Quạt.
Sau đó, chính quyền Pháp và quan chức triều đình nhà Nguyễn đã cho đem quan tài Phan Đình Phùng về thôn Đông Thái quê ông để kiểm nghiệm. Sau khi các hào cựu lẫn thuộc tộc Phan Đình Phùng tại thôn Đông Thái đã khẳng định thi hài trong quan tài là Phan Đình Phùng, thi hài Phan Đình Phùng được hỏa táng.[48] Tên ông trên văn bia Tiến sĩ ở Huế cũng bị đục bỏ.
Sang đầu năm 1896, một số chỉ huy lần lượt mất vì ở lâu nơi rừng sâu nước độc, một số bị tử trận hoặc bị bắt,[49] một số khác thì rút qua Xiêm La[50] hoặc ra hàng... Cuộc khởi nghĩa Hương Khê mà Phan Đình Phùng cùng các cộng sự đã dày công xây dựng đến đây là kết thúc.
