Vua Tống y theo và lập tức cho chuẩn bị. Sai Thẩm Khải, Lưu Di đến trị nhậm Quế Châu (nay là Quế Lâm - Quảng Tây), một mặt kích động các bôï tộc thiểu số ở trên đất ĐaÏi Việt nổi loạn, mặt khác, điều quân các nơi về tập trung huấn luyện, cả đánh thủy lẫn đánh bộ, rồ tích trưc lương thực, khí giới, thuyền bè, xe cộ ...
Nạn xâm lược đã rành rành ra ở trước mặt rồi! Vua Nhân tông lúc ấy mới trong 10 tuổi, quyền phụ chính ở bà Linh Nhân Hoàng thái hậu.
Bà Linh Nhân tuy là người quyền biến, có tài trị quốc (đã thử thách qua lần nhiếp chính khi Ý Thánh tông đi đánh Chiêm Thành ), nhưng không thể bị quần thần và dân chúng dị nghị, mất lòng tin, qua vụ sát hại Dương thái hậu cùng 76 cung nữ và hạ bệ Thái sư tông thất Lý Đạo Thành, vừa mới cùng xảy ra 2 năm về trước.
Tuy bà đã kịp sữa chữa sai lầm (và cả tội lỗi!) bằng cách hết sức lấy lòng các quan đại thần (như ở đoạn trước đã nói) rồi đưa về Kinh đô và thăng lại cho Lý Đạo Thành từ Tổng trấn lên Thái phó để lo việc quân cơ ("Thái phó bình chương quân quốc trọng sự"), nhưng dẫu sao bà cũng không thể thay đổi được thực chất tình hình nếu như không dựa hẳn vào Lý Thường Kiệt.
Quan Phụ chính Thái phó, thượng tướng Lý Thường Kiệt, sau khi từ biên giới phía Nam trở về, liền được phong ngay vào Thái úy, tức là chính thức đứng đầu hàng các quan võ tướng trong triều.
Như đã nói, đối với Lý Thái úy, chỉ có việc nước, dù to dù nhỏ thế nào,thì từ trước đến nay, Ngài đều không hề bận tâm, ham hố. Đối với Ngài, đó chỉ là trách nhiệm và bổn phận, không hơn. Và phải nói, chính đức độ và tài năng của Ngài, trong tình hình triều chính lúc bấy giờ và trong hoàn cảnh đất nước ở hai đầu biên giới như vậy, đã là ngọn cờ, là tấm gương để mọi người, từ dân chúng, binh lính đến quan lại nhìn váo mà đoàn kết, cùng nhau đưa hết sức lực ra gánh các vác công việc chung. Ngài là vị tướng văn võ song toàn.
Lý Thái úy cho rằng ngồi chờ giặc đến rồi mới đánh trả lại, là hạ sách. Chi bằng lúc chúng đang chuẩn bị lực lượng ở gần biên giới, mọi thứ hãy còn dở dang, mà đem quân đánh trước tốt hơn cả. Đánh như thế là đánh trên thế mạnh và đánh đúng thời cơ. Chúng tưởng ta nội tình lục đục, trên dưới không một lòng là chúng lầm to. Chúng tưởng ta hao tổn lực lượng và sa lầy ở Chiêm Thành là chúng cũng lầm to nốt. Đánh một kẻ chủ quan thiếu phòng bị lại chưa đủ long đủ cánh như thế như thế là rõ ràng chắc thắng hơn, dẫu rằng đường đất đi có xa và điều kiện tác chiến tuy có khó hơn. Lời bàn của Lý Thái úy lập tức được cả triều đình tán thưởng. Và không phải ai khác, chính Ngài sẽ thống lĩnh đại binh, cùng với phó tướng là Tông Đản, đi đánh quân Tống ở bên kia biên giới. Thế là, đầu mùa đông năm ấy, tháng 10 - 1075, tức là sau khi từ Chiêm Thành trở về, Ngài đem hơn 10 vạn quân, bằng cả hai dường thủy, bộ tiến đánh Châu Khâm và Châu Liêm (thuộc quảng Đông - Trung quốc). Sau trận chiến đấu ngắn, hai viên chi châu này rút vào cố thủ . Ngài lập tức cho quân ta bao vây. Vua Tống Lệnh cho đô giám Quảng Tây là Trương Thủ Tiết đến cứu ứng. Tuy ở đông đất nước người nhưng Lý Thái úy nghiên cứu địa hình địa chất rất kỹ. Ngài cho đặt phục ninh tai điểâm yếu trên con đường từ Quảng Tây tới, mà quân của trương thủ tiết nhất định phải đi qua. Đó là cửa ải Côn Lôn tai Nam Ninh. Một mặt, vẫn cho quân vây hãm hai Châu Khâm, Liêm; mặt khác, Ngài rút một lực lượng mạnh và bố trí saÜn thời gian tai Côn Lôn. Khi toàn bộquân của Trương Thủ Tiết rơi vào trận địa, quân của ta từ hai bên nhất loạt dùng cung tên bắn ra. Lúc bấy giờ, quân ta từ bốn phía mới xông vào đánh quân Tống tan tành. Trương Thủ Tiết bị chém đầu tại trận.
Sau khi nghe tin quân cứu viện bị đánh tan tành, hai viên tri châu Khâm, Liêm đều kéo cờ trắng ra hàng (tháng 11). Quân ta vào thành, tịch thu lương thực khí giới rồi rồi tiếp tục tiến đánh châu Ung (tháng 1 - 1076).
Tri châu Tô Giam đốc xuất binh mã cố thủ đến hơn một tháng sau mà không nao núng. Lý Thái úy cũng quyết tâm hạt thành cho bằng được. Sau khi đi quan sát kỹ bốn mặt thành về, Ngài cho quân lính chuẩn bị thật nhiều bao đất. Trong đêm tối, từ nhiều hướng phụ, Ngài sai đốt đuóc tiến công để thu hút lực lượng địch, còn tại các hướng chính, Ngài cho quân lính mang bao đất áp sát chân thành, đắp thành ụ mà trèo lên. Quân ta từ đó vào được thành, đánh địch từ nhiều phía. Tô Giam thế cùng lực kiệt, phải cho quyến thuộc 36 người uống thuốc độc, còn mình cũng tự sát theo. Quân ta toàn thắng.
Mười vạn quân với ba trận thắng liên tiếp, vang dội, đủ để cho triều đình nhà Tống biết thế nào là sức mạnh Đại Việt rồi. Lý Thái úy cho rút binh ngay.
Quả nhiên, tháng ba năm ấy, nhà Tống đốc xuất 30 vạn binh mã từ Quảng Đông, Quảng Tây do Quách Quì, Triệu Tiết chỉ huy, ồ ạt kéo sang. Ở biên giới phía Nam, nhà Tống cũng xúi dục hai nước Chiêm Thành, Chân Lạp cùng đem quân tiến đánh.
Không hề nao núng, triều đình Đại Việt chia binh ra hai ngã tiếp chiến. 10 vạn quân ở mặt trận phía bắc do Lý Thái úy chỉ huy. Thấy quân giặc đông, quân ta ít, Ngài cho củng cố tuyến phòng ngự kiên cố ở phía bắc sông Như Nguyệt (sông Cầu). Quân Tống kéo đến, vấp phải lực lượng đề kháng mạnh mẽ, đã không tiến thêm được nữa.
Để cổ vũ tinh thần chiến đấu của ba quân, trong đêm tối, Lý Thái úy cho mọt viên tướng thật tốt giọng, cầm loa quả bầu khô, đứng ở sông Nam Quận ngay trước cửa đền Trương Hát, đọc một bài thơ như sau:
Nam quốc sơn hà Nam đế cư
Tuyệt nhiên định phâïn tại thiên thư
Như hà nghịch lỗ lai xâm phạm
Nhữ đẳng hành khang thủ bại hư.
Nghĩa:
Sông núi nước Nam thì do vua Nam ở
Rành rành ranh giới đã phân định tại sách trời
Cớ sao lũ giặc kia dám kéo đến xâm phạm?
Chúng bay xem: rồi sẽ chuốc lấy bại vong.
