Dự đoán token tiếp theo giải thích được và không giải thích được điều gì?
Theo dõi bảng xác suất nhỏ để hiểu mô hình tự hồi quy, xác suất chuỗi, cách giải mã và lý do câu trả lời trôi chảy vẫn cần bằng chứng.

Mô hình ngôn ngữ được huấn luyện để dự đoán token tiếp theo ước lượng xác suất của từng token có thể xuất hiện, dựa trên các token đã có. Lặp lại thao tác đó tạo thành một chuỗi. Cơ chế này giải thích cách mô hình tự hồi quy sinh văn bản; nó không chứng minh văn bản đúng sự thật, hữu ích hoặc được phép kích hoạt một hành động.
Nếu bạn là lập trình viên mới chuyển sang AI, một bảng xác suất là điểm bắt đầu dễ kiểm tra. Bạn có thể đọc bảng mà chưa cần huấn luyện mô hình hay hiểu chi tiết GPU. Nó cũng giúp nhận ra những nhầm lẫn thường bị che khuất bởi một giao diện trò chuyện có vẻ thuyết phục.
Theo dõi một phân phối nhỏ
Giả sử một mô hình có bộ từ vựng nhỏ để minh họa nhưng vẫn lớn hơn bốn lựa chọn trong bảng. Sau tiền tố The parcel is, bốn lựa chọn này chiếm toàn bộ xác suất của bước hiện tại; các token khác trong bộ từ vựng có xác suất bằng không ở phân phối minh họa này:
| Token tiếp theo | Xác suất | Ý nghĩa trong ví dụ |
|---|---|---|
| delayed | 0.50 | Token có xác suất cao nhất |
| arriving | 0.30 | Một lựa chọn khác có vẻ hợp lý |
| missing | 0.15 | Một lựa chọn ít có khả năng hơn |
| blue | 0.05 | Có thể ghép về ngữ pháp nhưng lạ trong ngữ cảnh |
Tổng xác suất bằng một. Bộ giải mã tham lam (greedy decoder) chọn delayed. Bộ giải mã lấy mẫu có thể chọn bất kỳ token nào trong bảng theo quy tắc lấy mẫu của nó. Cả hai thao tác đều không kiểm tra cơ sở dữ liệu giao hàng. Mô hình đang dự đoán văn bản từ ngữ cảnh, chưa xác minh kiện hàng.
Tiếp theo, thêm delayed vào ngữ cảnh rồi lấy phân phối mới. Giả sử xác suất của today lúc này là 0.20. Xác suất có điều kiện của phần tiếp nối hai token delayed today là 0.50 × 0.20 = 0.10. Ở nhánh khác, xác suất của tomorrow sau arriving có thể là 0.80, nên arriving tomorrow có xác suất 0.30 × 0.80 = 0.24.
Bước chọn tham lam đầu tiên đã đi vào nhánh có phần tiếp nối hai token với xác suất thấp hơn trong ví dụ. Giải mã tham lam tối ưu lựa chọn cục bộ; nhìn chung nó không tìm được toàn bộ chuỗi có xác suất cao nhất. Tìm kiếm thêm nhánh làm thay đổi thủ tục giải mã, còn các phân phối có điều kiện của mô hình vẫn là đầu vào của thủ tục đó.
Các số trong hình là xác suất minh họa, không phải kết quả đo từ một mô hình cụ thể. Phép nhân giả định xác suất token thứ hai được tính với điều kiện token thứ nhất đã được chọn. Nhân hai xác suất không điều kiện sẽ mô tả một mô hình khác.
Mục tiêu huấn luyện và mục tiêu sản phẩm
Khi huấn luyện tự hồi quy, mô hình nhận các chuỗi token và học cách gán xác suất cho phần tiếp nối quan sát được. Một mục tiêu phổ biến là cộng âm logarit xác suất của các token đích. Gán xác suất 0.8 cho token đích tạo tổn thất thấp hơn gán xác suất 0.1. Bài báo GPT-3 mô tả mô hình tự hồi quy và đánh giá nó trên các tác vụ với ví dụ được cung cấp trong ngữ cảnh.
Nhóm sản phẩm thường cần một điều cụ thể hơn: trợ lý phải trả đúng trạng thái giao hàng hiện tại, dẫn đúng chính sách hoặc tạo tham số mà công cụ có thể kiểm tra. Những yêu cầu đó liên quan tới chất lượng mô hình nhưng cần phép kiểm tra riêng. Một câu có thể là phần tiếp nối hợp lý về ngôn ngữ dù đang mô tả kiện hàng chưa từng tồn tại.
Với trợ lý giao hàng, ứng dụng có thể gọi dịch vụ theo dõi bằng mã đơn đã được xác thực quyền truy cập. Sau đó ứng dụng đưa trạng thái nhận được vào ngữ cảnh và yêu cầu mô hình giải thích ngắn gọn. Ứng dụng vẫn phải kiểm tra rằng câu trả lời không tự thêm ngày giao hàng thiếu căn cứ. Bằng chứng cung cấp ngữ cảnh hữu ích; nó không tự biến mọi câu được sinh ra thành sự thật trong cơ sở dữ liệu.
Tính tổn thất mà không nhầm với độ tin cậy
Ta cũng có thể so sánh hai phần tiếp nối bằng âm logarit độ hợp lý. Dùng logarit tự nhiên, chuỗi đầu có tổn thất xấp xỉ 2.303, chuỗi sau xấp xỉ 1.427. Đoạn mã cộng tổn thất từng token; kết quả tương đương âm logarit của tích các xác suất có điều kiện.
from math import log, isclose
paths = {
"delayed today": [0.50, 0.20],
"arriving tomorrow": [0.30, 0.80],
}
losses = {text: -sum(log(p) for p in probabilities)
for text, probabilities in paths.items()}
assert isclose(losses["delayed today"], -log(0.10))
assert losses["arriving tomorrow"] < losses["delayed today"]
Cả hai ví dụ đều có hai token. So sánh xác suất chuỗi thô giữa các độ dài khác nhau cần thêm sự cẩn thận: mỗi thừa số xác suất không lớn hơn một, nên nhân thêm thừa số có thể làm tích nhỏ đi. Phương pháp giải mã hoặc đánh giá phải nói rõ cách xử lý độ dài và kết thúc chuỗi. Ví dụ hai bước này chưa mô hình hóa việc kết thúc chuỗi; một quy trình sinh hoàn chỉnh vẫn cần quy tắc dừng.
Đừng hiểu 0.24 là xác suất 24 phần trăm kiện hàng sẽ tới vào ngày mai. Đó là xác suất mà mô hình gán cho chuỗi token trong ngữ cảnh giả định. Muốn ước lượng khả năng đúng sự thật, bạn cần tác vụ có nhãn, định nghĩa rõ thế nào là đúng và bằng chứng cho thấy đại lượng độ tin cậy đề xuất hoạt động hợp lý trên tác vụ đó. Việc lặp lại một câu quả quyết hoặc chọn cách diễn đạt có xác suất cao hơn không tự cung cấp những điều này.
minGPT của Andrej Karpathy, được đọc ngày 20 tháng 9 năm 2026, là cầu nối mang tính giáo dục từ bảng xác suất sang mã nguồn. Phần giới thiệu mô tả các chỉ số token đi vào transformer và phân phối trên chỉ số tiếp theo đi ra. README cũng ghi trạng thái gần như lưu trữ từ tháng 1 năm 2023. Hãy dùng nó để học giao diện tính toán đó, không coi các thư viện phụ thuộc hay cách huấn luyện trong kho là đại diện cho hệ thống sản xuất hiện tại.
Attention đóng góp điều gì?
Transformer tính biểu diễn token bằng attention cùng các phép toán khác. Attention cho phép biểu diễn ở một vị trí phụ thuộc vào các vị trí trước đó phù hợp với tính toán. Trong bộ giải mã dùng mặt nạ nhân quả, một vị trí không được chú ý tới token tương lai vốn chưa có khi sinh văn bản. Bài báo transformer định nghĩa attention tích vô hướng có điều chỉnh tỷ lệ và cách che vị trí trong bộ giải mã.
Điều này có ý nghĩa khi kết quả theo dõi được đặt gần cuối prompt: mô hình có cơ chế sử dụng kết quả đó khi dự đoán câu trả lời. Có cơ chế không chứng minh mô hình đã dùng đúng câu liên quan. Bạn vẫn cần kiểm thử hành vi, chẳng hạn chỉ thay trạng thái giao hàng rồi kiểm tra câu trả lời có thay đổi tương ứng hay không.
Mục tiêu huấn luyện cũng không biến mô hình thành một bảng cụm từ đã học thuộc đơn giản. Các tham số có thể hỗ trợ khái quát hóa giữa những mẫu khác nhau, và mô hình có thể sinh tổ hợp chưa từng gặp nguyên văn. Đồng thời, việc sinh ra văn bản không phải bằng chứng rằng đã có một quy trình kiểm chứng sự thật độc lập. Hai nhận xét này đều phù hợp với cơ chế dự đoán token tiếp theo.
Một phép kiểm tra ứng dụng có ích
Tạo bộ dữ liệu kiểm thử nhỏ gồm hai phản hồi theo dõi. Trường hợp đầu báo chậm nhưng không có ngày dự kiến. Trường hợp sau có lịch giao cho một ngày xác định. Hỏi trợ lý cùng một câu trong cả hai trường hợp. Chỉ chấp nhận câu trả lời giữ được khác biệt giữa ngày đã có căn cứ và ngày chưa biết.
Bạn có thể ghi các thuộc tính mong đợi mà không ép một cách diễn đạt duy nhất:
{
"case": "delayed_without_estimate",
"tracking_state": "delayed",
"estimated_delivery": null,
"required": ["mentions delay", "does not invent a date"],
"forbidden": ["claims delivery is guaranteed"]
}
Các nhãn trong dữ liệu kiểm thử giữ nguyên để hai bản ngôn ngữ dùng chung hợp đồng: phải nhắc việc giao chậm, không bịa ngày và không cam kết chắc chắn sẽ giao. Bộ dữ liệu này kiểm tra một yêu cầu sản phẩm. Nó không chứng minh trợ lý luôn đúng với mọi ngôn ngữ, hội thoại dài hoặc lỗi dịch vụ theo dõi. Hãy mở rộng khi những điều kiện đó thuộc phạm vi sản phẩm. Kết quả ban đầu hẹp hơn: phần tiếp nối trôi chảy chỉ trở thành câu trả lời của ứng dụng khi đáp ứng yêu cầu về bằng chứng và hành vi.
Bảng giúp kiểm tra sự phân biệt đó mà không yêu cầu một câu văn cố định. Thêm trường hợp thứ ba khi dịch vụ theo dõi hết thời gian chờ. Câu trả lời không được tự nhận ngày dự kiến của hôm qua là thông tin hiện tại chỉ vì tin nhắn trước có nhắc tới. Ghi tuổi và nguồn của kết quả được giữ lại, rồi xác định sản phẩm có cho phép trình bày nó dưới dạng thông tin lịch sử hay không.
Bài tập: viết một câu trả lời chấp nhận được và một câu không chấp nhận được cho mỗi hàng trước khi gọi mô hình. Sau đó đổi mã đơn và ngôn ngữ người dùng trong khi giữ nguyên bằng chứng. Nếu bộ đánh giá chỉ tìm từ “chậm”, câu “đang chậm nhưng chắc chắn tới ngày mai” có thể vượt qua sai. Hãy kiểm tra riêng phát biểu được hỗ trợ và phần thêm bị cấm, rồi đọc lại những trường hợp đánh giá bất đồng. Phép kiểm tra nhỏ này bao phủ hợp đồng trả lời về giao hàng; nó không nói nhiều về tác vụ suy luận khác hay quyền hoàn tiền một đơn hàng.