Trần Quang Khải sinh tháng 10 năm Tân Sửu 1241, quê làng Tức Mạc, phủ Thiên Trường (nay thuộc TP Nam Định, Nam Định), là con của thứ ba của vua Trần Thái Tông, mẹ là công chúa Thuận Thiên. Ông cùng mẹ với thái tử Trần Hoảng, tức vua Trần Thánh Tông.
Theo sách Những danh tướng chống ngoại xâm thời Trần, tuy mới sinh ra đã đau ốm, hoàng tử Quang Khải vẫn cho thấy sự khôi ngô với cặp mắt tinh anh. Sau khoa thi Tam khôi chọn trạng nguyên, bảng nhãn, thám hoa năm 1247, vua Trần Thái Tông giữ bảng nhãn Lê Văn Hưu ở lại cung dạy dỗ hoàng tử Quang Khải.
Cậu bé Khải khi đó được học chữ nghĩa trong sách thánh hiền, lịch sử nước nhà, nhất là chuyện chống xâm lăng, chuyện vua giỏi tôi hiền và cả chuyện giành giật cướp ngôi báu trong chốn cung đình dẫn đến sự sụp đổ của những triều vua trước. Nhờ tư chất thông minh lại say mê học hỏi, cậu được trang bị đầy đủ kiến thức về văn chương lẫn võ bị binh thư, được vua cha yêu mến.
Năm 1258, sau khi vua Trần Thái Tông truyền ngôi cho hoàng thái tử Hoảng, tức vua Trần Thánh Tông, vua đã phong tước cho Trần Quang Khải làm Chiêu Minh đại vương. Khi đó, ông mới 17 tuổi, chưa tham gia nhiều vào công cuộc của đất nước. Nhưng chỉ ba năm sau, Quang Khải trở thành chàng trai đầy bản lĩnh, được phong làm Thái úy, sau được cử đi cai quản vùng đất Hoan Diễn (Nghệ An, Hà Tĩnh ngày nay) - cứ địa quan trọng của Đại Việt.
Về việc này, sách Đại Việt sử ký toàn thư viết: "Bấy giờ anh vua là Quốc Khang tuổi lớn hơn, nhưng tài đức tầm thường cho nên cho Quang Khải làm tướng".
Ở xa chốn kinh thành, hàng ngày ngoài công việc nơi phủ đệ, Trần Quang Khải có thói quen đi xuống các phiên trấn, tiếp xúc với người dân tộc thiểu số, tìm hiểu ngôn ngữ, sinh hoạt của họ để biết cách cai quản, ứng xử. Nhờ đó, ông thông thạo tiếng nói của khá nhiều phiên tộc.
Đầu năm 1271, Trần Quang Khải được phong làm Tướng quốc thái úy, trở thành đại thần đầu triều nắm giữ việc nước. Ông trở lại kinh thành để nhận trọng trách.
Tranh minh họa sử dụng trong bài phân tích tác phẩm "Tụng giá hoàn kinh sư" của Trần Quang Khải.
Năm 1278, vua Trần Thánh Tông nhường ngôi cho con là Trần Khâm. Trần Khâm lên ngôi lấy hiệu là Nhân Tông hoàng đế. Thời điểm đó, quan hệ bang giao giữa Đại Việt và nhà Nguyên không tốt do quân Nguyên muốn thôn tính Đại Việt.
Mượn cớ vua Trần không sang chầu, nhà Nguyên cử phái đoàn do người đứng đầu bộ Lễ là Sài Thung sang "răn đe" Đại Việt. Trần Quang Khải, khi đó 37 tuổi, được giao nhiệm vụ đón đoàn sứ giả nhà Nguyên ở bờ sông Hồng. Trước một Sài Thung ngạo mạn, mưu mô, ông đã tỏ ra là nhà ngoại giao tài ba.
Đoàn sứ nhà Nguyên có bốn người, được Trần Quang Khải gọi là "mang bốn ông bạn hiền mở lòng yêu mến, che chở sinh linh dân Việt", còn với người đứng đầu là Sài Thung, Trần Quang Khải tặng hẳn bài thơ "Ông về, tôi tiễn dạ không yên/ Hướng cũ, xăm xăm ngựa ruổi liền/ Nam, Bắc tìm theo cờ sứ cuốn/ Khách - nhà ly biệt rượu đầy thâm/ Nói cười chốc đã chia đôi ngả/ Xướng họa giường kê trống một bên/ Chẳng biết bao giờ còn gặp lại/ Cầm tay trao đổi chuyện hàn huyên".
Sự khôn khéo, mềm dẻo của Trần Quang Khải khiến Sài Thung chưa thể lấy cớ gì để đem quân sang xâm lược Đại Việt.
Năm 1281, vua Nguyên lại cử Sài Thung sang Đại Việt lần thứ hai. Mượn cớ vua Trần không sang chầu, vua Nguyên phong cho Trần Di Ái làm "An Nam Quốc vương" và giao Sài Thung đem hàng nghìn quân sang hộ tống Trần Di Ái. Để đối phó, một mặt Trần Quang Khải cho lực lượng ban đêm bất ngờ tập kích toán quân bảo vệ Trần Di Ái, mặt khác khi Sài Thung đến Thăng Long, ông đã tiếp đãi không cho sứ giả này có cớ vu cáo.
Hai lần thất bại trước vua tôi nhà Trần trong việc thực hiện âm mưu thôn tính Đại Việt đã làm cho vua Nguyên tức giận. Quan hệ bang giao giữa Đại Việt và nhà Nguyên đã đến lúc không thể hòa hoãn. Biết không thể tránh khỏi cuộc chiến tranh xâm lược của quân Nguyên, vua tôi nhà Trần cùng tướng lĩnh họp vào tháng 10/1282 để bàn quyết sách. Vua nhà Trần đã phong cho Trần Quang Khải làm Thượng tướng Thái sư.
Đầu năm 1285, 500.000 quân Nguyên do Thoát Hoan chỉ huy, chia làm nhiều mũi tiến vào Đại Việt. Lúc này, vua Trần đã phong cho Hưng Đạo vương Trần Quốc Tuấn chức Quốc công tiết chế để thống lĩnh quân dân Đại Việt. Như vậy Trần Quang Khải cũng phải chịu sự điều động của Trần Quốc Tuấn. Trước đó, hai người từng có mối bất hòa, nhưng trước nguy cơ mất nước, hai ông chủ động xóa bỏ hiềm khích.
Lực lượng nhà Trần do Trần Quốc Tuấn tổng chỉ huy chia lực lượng ngăn chặn địch. Ở cuộc chiến này, vị tướng tài Trần Quang Khải góp nhiều công lớn. Ông được giao chỉ huy đánh lui quân của Toa Đô từ Chiêm Thành theo đường bộ kéo ra và quân của Ô Mã Nhi theo đường biển tiếp ứng.
Tiếp đó, sau chiến thắng A Lỗ do Hưng Đạo Vương chỉ huy, tiêu diệt được cứ điểm đầu tiên của quân Nguyên trên phòng tuyến sông Hồng và chiến thắng Hàm Tử do Trần Nhật Duật chỉ huy, Trần Quang Khải đã cùng với các tướng lĩnh khác như Trần Quốc Toản, Nguyễn Khả Lạp, Nguyễn Truyền mở cuộc tấn công đánh bại địch ở bến Chương Dương (thuộc huyện Thường Tín, Hà Nội bây giờ). Đây cũng là một trong những căn cứ quan trọng của địch.
Trận đánh của Trần Quang Khải là trận lớn vào bậc nhất, sau đó quân nhà Trần thừa thế tấn công, giải phóng kinh đô Thăng Long và giành nhiều thắng lợi liên tiếp như chém đầu Toa Đô, bắn chết Lý Hằng, quét sạch quân xâm lược Nguyên - Mông khỏi đất nước.
Sau chiến thắng, Thái sư Trần Quang Khải cùng vua và các tướng lĩnh trở về Thăng Long. Cảm kích trước chiến thắng hào hùng của cả dân tộc, ông đã sáng tác bài thơ bất hủ, đến nay nhiều người vẫn thuộc. Bài thơ mang tên "Tụng giá hoàn kinh sư" với bốn câu là "Chương Dương cướp giáo giặc /Hàm Tử bắt quân thù/ Thái bình nên gắng sức/ Non nước ấy ngàn thu".
Ở cuộc kháng chiến chống Nguyên - Mông vào năm 1288, Trần Quang Khải theo bảo vệ vua Trần Nhân Tông và thượng hoàng Trần Thánh Tông. Ông cũng góp phần to lớn vào việc đập tan toàn bộ đạo quân hùng hậu và thiện chiến của nhà Nguyên do tướng Ô Mã Nhi cầm đầu.
Không chỉ giỏi việc đánh giặc, Trần Quang Khải còn có tài làm thơ. Điều này được thể hiện rất rõ qua những bài thơ sáng tác khi tiếp đón sứ giả nước Nguyên hay khi chiến thắng quân Nguyên - Mông, trở về kinh thành Thăng Long.
Khi đất nước hoàn toàn sạch bóng quân thù, Trần Quang Khải không được khỏe. Ông xin về tĩnh dưỡng ở Phúc Hưng viên, nơi quê hương Thiên Trường, Nam Định. Hàng ngày, ông lấy đọc sách, ngâm thơ, tưới cây, ươm hoa làm vui. Ông sáng tác tập thơ "Lạc Đạo" (Đạo vui) nhưng đến nay chỉ còn mấy bài. Thơ của ông phảng phất những hoài niệm về một giai đoạn chống ngoại xâm đầy hào hùng của dân tộc mà trong thời trai trẻ, ông đã có những đóng góp lớn lao.
Tháng 7/1294, dưới thời vua Trần Anh Tông, Trần Quang Khải qua đời vì bệnh, hưởng dương 54 tuổi. Sách Khâm định việt sử thông giám cương mục viết: "Trần Quang Khải lúc làm tướng võ, khi thì làm tướng văn, giúp vương nghiệp nhà Trần, uy danh sánh ngang với Quốc Tuấn". Phan Huy Chú viết về Trần Quang Khải trong Lịch triều hiến chương loại chí: "Công lao thu phục được nước, ông đứng thứ nhất".
Nhân dân lập đền thờ ông ở nhiều nơi, đặc biệt ở Nam Định. Tên của ông cũng được dùng làm tên đường ở một số tỉnh thành trên cả nước.