13,5 triệu phiên. Đó là số lần GitHub Copilot được gọi trong nghiên cứu mới nhất của Microsoft. Không phải benchmark. Không phải sandbox. Là production data.
Con số này không nằm trong một bài báo về mô hình ngôn ngữ mới. Nó nằm trong một nghiên cứu về tầng hạ tầng suy luận — nơi mà Microsoft phát hiện ra một sự thật khó chịu: phần lớn chi phí AI của họ đang bốc hơi qua ba lỗ hổng.
Cache bỏ lỡ. Retry xếp tầng. Idle time kéo dài.
Trong 7 ngày qua, nếu bạn nhìn vào bất kỳ giao thức DeFi nào đang chảy máu LP, bạn sẽ thấy cùng một mô hình. Không phải sản phẩm không hoạt động. Vấn đề là nền kinh tế đơn vị đang phá sản. Microsoft vừa công bố một bản báo cáo tài chính chi tiết nhất cho ngành AI infrastructure.
Không trade tin, trade thanh khoản.
Hãy để tôi giải thích lý do tại sao nghiên cứu này không phải là một bài báo học thuật, mà là một tín hiệu thị trường lớn hơn nhiều.
Bối cảnh: Cuộc chiến không nằm ở mô hình
Kể từ năm 2023, câu chuyện AI luôn xoay quanh benchmark mới, tham số lớn hơn, khả năng suy luận tốt hơn. Nhưng bất kỳ ai vận hành hệ thống ở quy mô đều biết: model chỉ là một phần nhỏ của phương trình.
Chi phí suy luận tăng tuyến tính với số lượng người dùng. Không có "vòng cung kỳ diệu" nào ở đó. Mỗi request bổ sung là một chi phí biên bổ sung. Và với GitHub Copilot — hơn 1 triệu người dùng trả phí, mức giá 10–19 đô la mỗi tháng — mỗi giây GPU nhàn rỗi đều được phản ánh trực tiếp vào biên lợi nhuận.
Microsoft đã làm điều mà các nhà đầu tư crypto thường làm khi thị trường giảm: họ mở sổ ra và kiểm tra từng dòng tiền.
13,5 triệu phiên hội thoại. Đó là một bức tranh chụp X-quang về cách một sản phẩm AI thực sự được sử dụng. Không có gì để lý tưởng hóa. Chỉ có dữ liệu.
Và dữ liệu đó phơi bày ba lỗ hổng khiến chi phí vận hành AI tăng vọt.
Phân tích kỹ thuật: Ba lỗ hổng trong pipeline
Cache hiệu quả: Vấn đề là prompt không tái sử dụng được
Trong crypto, chúng tôi gọi đó là broadcast giao dịch trùng lặp — cùng một dữ liệu được gửi đi nhiều lần mà không có sự dàn xếp. Trong AI inference, vấn đề tương tự được gọi là cache miss.
Mỗi lần Copilot xử lý một yêu cầu, nó phải tính toán lại phần prefix của prompt. Nếu hai yêu cầu liên tiếp từ cùng một người dùng chia sẻ 80% phần đầu, thì việc không tái sử dụng kết quả từ lần trước là một dạng lãng phí thanh khoản — bạn xử lý một khối lượng công việc gấp 5 lần nhưng chỉ nhận được kết quả cho một phần nhỏ.
Nghiên cứu của Microsoft cho thấy: đây không phải một vấn đề nhỏ. Trong môi trường đa người dùng, các pattern như framework boilerplate, thư viện thông dụng, cấu trúc lặp lại chiếm một tỷ lệ lớn. Chúng ta không nói về 5% hay 10%. Chúng ta đang nói về một phần đáng kể trong tổng chi phí.
Việc tối ưu hóa cache không phải là một cải tiến gia tăng. Nó là một đòn bẩy thay đổi cơ cấu chi phí.
Nhưng đây mới là phần thú vị: trong nghiên cứu này, Microsoft không nói về việc cải thiện chính sách cache. Họ đang nói về việc thiết kế lại kiến trúc để tối ưu hóa cho cache. Sự khác biệt này rất quan trọng. Một bên là tối ưu hóa hệ thống hiện tại; bên kia là xây dựng lại hệ thống với một vũ trụ ràng buộc mới.
Retry cascades: Hiệu ứng domino của sự cố
Trong tài chính truyền thống, khi một ngân hàng gặp sự cố thanh khoản, các ngân hàng khác bắt đầu rút tiền. Điều này tạo ra một vòng xoáy. Hãy tưởng tượng trường hợp tương tự trong một hệ thống gọi API.
Một yêu cầu bị timeout. Hệ thống tự động thử lại. Nếu cổng API chưa hết hạn chế, nó thử lại một lần nữa. Và một lần nữa. Kết quả: khi hệ thống bắt đầu chậm lại, số lượng yêu cầu không hề giảm — chúng tăng lên.
Nghiên cứu của Microsoft phát hiện trung bình mỗi phiên có khoảng 1,2 yêu cầu thử lại. Nghe có vẻ không nhiều. Nhưng vào thời điểm cao điểm, điều đó tương đương với việc tăng 300–500% lưu lượng qua cổng API. Trong một hệ thống xử lý hàng triệu yêu cầu, điều này không chỉ gây ra độ trễ — nó còn kéo theo chi phí GPU phát sinh.
Không trade tin, trade thanh khoản. Retry cascade là một dạng thanh khoản âm: thay vì giải phóng tài nguyên, nó tiêu thụ thêm tài nguyên trong lúc hệ thống đang căng thẳng nhất.
Giải pháp mà Microsoft đề xuất — exponential backoff pha trộn với jitter — là một kỹ thuật quen thuộc với bất kỳ ai đã từng vận hành bot trading dưới thời điểm network congestion. Bạn không gửi lệnh lại ngay lập tức khi nó bị từ chối. Bạn chờ đợi. Bạn làm choáng hệ thống bằng độ trễ ngẫu nhiên, thay vì đồng loạt dồn vào một thời điểm.
Idle time: GPU đang làm việc hay đang đốt tiền?
Trong một phiên Copilot điển hình, khoảng cách giữa các yêu cầu là 5,8 giây. Con số này đã được ghi lại. Kết quả: GPU phải duy trì trạng thái sẵn sàng, nhưng không có việc để làm, trong 40–70% thời gian.
Hãy hình dung bạn đang giữ một vị thế lớn trong một altcoin. Giá đi ngang. Không có chất xúc tác. Không có khối lượng giao dịch. Nhưng bạn vẫn phải trả chi phí vốn.
Đó chính là idle time của GPU. Bạn vẫn phải trả tiền cho phần cứng, vì vậy bạn vẫn phải trả tiền cho phần dự trữ năng lực.
Microsoft không nói rõ họ sẽ giải quyết vấn đề này như thế nào trong bài nghiên cứu, nhưng họ đã gợi ý về việc sử dụng continuous batching và speculative prefill. Điều quan trọng ở đây không phải là kỹ thuật cụ thể, mà là hướng đi: biến GPU idle thành GPU hữu ích.
Góc nhìn phản trực giác: Không phải cuộc đua mô hình, mà là cuộc đua chi phí
Thị trường hiện tại bị ám ảnh bởi benchmark giữa các mô hình AI. Nhưng nếu nhìn vào nghiên cứu này, có thể nhận ra một sự dịch chuyển lớn hơn: cuộc cạnh tranh giữa các công ty AI không còn nằm ở việc ai xây dựng được mô hình thông minh hơn, mà là ai có thể vận hành hệ thống của mình với chi phí thấp hơn.
Đây giống như những gì đã xảy ra trong crypto năm 2022. Sau khi thị trường sụp đổ, không phải những dự án có tokenomics hoành tráng nhất sống sót. Mà là những dự án có chi phí hoạt động thấp nhất, có thể tồn tại qua mùa đông dài.
Nghiên cứu này là tín hiệu xác nhận rằng Microsoft đang hiểu rõ điều đó. Với hơn 100 triệu đô la doanh thu hàng năm từ Copilot, mỗi điểm phần trăm cải thiện hiệu suất đều tương đương với việc cải thiện biên lợi nhuận.
Và đây là điều mà hầu hết các nhà đầu tư bỏ lỡ: nghiên cứu này không chỉ là về Copilot. Nó nói về Azure. Nó nói về việc tạo ra một nền tảng hạ tầng AI có thể chứng minh rằng: chúng tôi không chỉ có mô hình tốt, chúng tôi còn có thể vận hành chúng với chi phí thấp nhất.
Điều này có ý nghĩa gì đối với các đối thủ? Hãy nhìn vào Cursor, một trong những công cụ lập trình AI phát triển nhanh nhất. Cursor không vận hành hạ tầng riêng, mà dựa vào các API của bên thứ ba. Microsoft với nghiên cứu này có thể giảm chi phí vận hành xuống 30–50%, tạo ra một khoảng cách chi phí mà các đối thủ sử dụng hạ tầng ngoài khó có thể chạy theo.
Đây không phải là chiến thắng về công nghệ. Đây là chiến thắng về thanh khoản. Không trade tin, trade thanh khoản.
Ẩn họa: Cache, quyền riêng tư và rủi ro hệ thống
Khi chúng ta nói về tối ưu hóa cache trong AI, hầu hết mọi người nghĩ đến lợi ích về chi phí. Có một khía cạnh khác ít được nhắc đến: bảo mật.
Nếu cache được chia sẻ giữa nhiều người dùng trong môi trường nhiều khách thuê, thì dữ liệu của một công ty có thể bị lộ ra ngoài thông qua cache hit. Trong một ngành mà code là tài sản trí tuệ — chứa API key, thuật toán độc quyền, logic nghiệp vụ — thì việc này không chỉ là rủi ro. Nó là một lỗ hổng có thể khai thác.
Microsoft không công bố tuyến phòng thủ nào của họ trong vấn đề này. Họ cũng không nói về cách giải quyết bài toán đánh đổi giữa cache hit rate và khả năng cô lập dữ liệu. Đây là một điểm mù đáng chú ý.
Và còn một điểm mù nữa: khi mọi người tập trung vào tối ưu hóa cache, họ sẽ cùng nhau thiết kế các ứng dụng AI dễ tối ưu hóa cache hơn — tức là tiêu chuẩn hóa các mẫu prompt và giảm tính đa dạng trong cách tương tác. Điều này có thể dẫn đến một thế giới AI đồng nhất hơn, kém sáng tạo hơn, nơi mọi thứ đều được tối ưu hóa cho các thước đo hiệu quả — giống như một thị trường chỉ có các nhà tạo lập thanh khoản mà không có cá voi chấp nhận rủi ro.
Tầm nhìn dài hạn: AI infrastructure sẽ là tài sản lớn nhất
Nghiên cứu này không tạo ra một mô hình AI mới. Nó tạo ra một điều còn giá trị hơn: một bản đồ về nơi mà giá trị trong ngành AI đang thực sự được tạo ra.
Trong crypto, chúng ta đã chứng kiến điều tương tự. Năm 2020–2021, mọi người đổ xô vào các ứng dụng DeFi — các giao thức cho vay, sàn giao dịch phi tập trung, máy nông nghiệp lợi nhuận. Rồi thị trường sụp đổ, và những gì còn lại không phải là các ứng dụng, mà là các lớp hạ tầng — các giao thức thanh khoản, các tiêu chuẩn tương tác, các lớp thanh toán.
AI đang ở giai đoạn tương tự như DeFi năm 2021. Mọi người đang chạy theo các ứng dụng. Nhưng giá trị bền vững sẽ thuộc về lớp hạ tầng có khả năng vận hành với chi phí thấp.
Microsoft không nói điều này một cách trực tiếp. Nhưng việc họ bỏ công sức để phân tích 13,5 triệu phiên Copilot — một con số mà không một phòng thí nghiệm AI nào khác từng công bố — là một thông điệp rất rõ ràng.
Tương lai của AI không thuộc về người có mô hình lớn nhất. Cũng giống như tương lai của crypto không thuộc về người có câu chuyện hay nhất. Tương lai thuộc về những người có thể vận hành hệ thống của mình qua các chu kỳ thị trường khác nhau — mà không phá sản.
Trong thị trường giá giảm này, đó là câu hỏi lớn nhất: nền tảng của bạn có thể chịu được bao nhiêu áp lực trước khi nó vỡ? Với Microsoft, câu trả lời đang nằm trong những con số. Với những dự án AI khác, câu trả lời vẫn còn bỏ ngỏ.