Kỳ vọng và phương sai của tổn thất qua một phân phối nhỏ
Tính kỳ vọng, phương sai và phân phối của trung bình hai quan sát, rồi kiểm tra ảnh hưởng của dữ liệu sao chép và những lỗi hiếm nhưng lớn.
Tổn thất kỳ vọng là trung bình của giá trị mất mát mà mô hình tạo ra trên một phân phối đã xác định. Phương sai mô tả mức dao động quanh trung bình ấy. Hai mô hình có thể có cùng tổn thất kỳ vọng nhưng hành xử rất khác nhau ở từng trường hợp. Vì vậy, chỉ báo cáo trung bình có thể bỏ qua vấn đề quan trọng khi một sai sót lớn gây chi phí cao.
Nếu đang chọn chỉ số đánh giá, bạn cần phân biệt hai đại lượng này để biết trung bình sẽ che khuất loại thất bại nào.
Bài viết dùng một phân phối rời rạc giả lập và chỉ cần các phép cộng có trọng số. Cùng sự phân biệt xuất hiện trong bảng đánh giá, hàm mục tiêu huấn luyện và quyết định về những lỗi nghiêm trọng của mô hình. Tổn thất ở đây có đơn vị trừu tượng, không phải xác suất và cũng không phải kết quả đo hiệu năng thực tế.
Hai mô hình có cùng trung bình
Mô hình A chịu tổn thất 2 trong mọi trường hợp. Mô hình B chịu tổn thất 0 với xác suất 0,9 và tổn thất 20 với xác suất 0,1. Kỳ vọng của một biến ngẫu nhiên rời rạc là tổng của từng giá trị nhân với xác suất tương ứng.
E[L_A] = 2 × 1 = 2
E[L_B] = 0 × 0.9 + 20 × 0.1 = 2Trong ví dụ giả định này, nếu mục tiêu chỉ là giảm tổn thất kỳ vọng và các phân phối được biết chính xác, hai mô hình hòa nhau. Chọn B vì nó hoàn hảo trong 90% trường hợp đã thêm một ưu tiên ngoài mục tiêu trung bình ban đầu. Chọn A vì tổn thất dễ dự đoán cũng thêm một ưu tiên khác. Cả hai lựa chọn đều có thể hợp lý, nhưng quy tắc đánh giá cần thể hiện rõ ưu tiên đó.
Bảng mô tả toàn bộ phân phối giả định. Nó không khẳng định rằng mười trường hợp quan sát sẽ luôn có đúng một lỗi gây tổn thất lớn. Xác suất chi phối việc lấy mẫu lặp lại; một mẫu hữu hạn cụ thể có thể khác đáng kể.
Tính độ phân tán và giữ đúng đơn vị
Phương sai là E[(L - E[L])²]. Với A, mọi độ lệch khỏi trung bình đều bằng không nên phương sai bằng không. Với B, tổn thất hoặc thấp hơn trung bình 2 đơn vị, hoặc cao hơn trung bình 18 đơn vị.
Var(L_B) = 0.9 × (0 - 2)² + 0.1 × (20 - 2)²
= 0.9 × 4 + 0.1 × 324
= 36
SD(L_B) = sqrt(36) = 6Đơn vị phương sai là bình phương đơn vị tổn thất. Độ lệch chuẩn đưa kết quả về đơn vị ban đầu. Đẳng thức tương đương Var(L) = E[L²] - E[L]² cho 40 - 4 = 36 đối với B, thuận tiện để kiểm tra phép tính. Chương xác suất của Deep Learning trình bày những định nghĩa này và phân biệt phương sai với các cách mô tả phân phối khác.
Độ lệch chuẩn không cho biết độ lệch lớn nằm về phía nào. Phân phối của B bất đối xứng: nhiều số không và một số ít tổn thất dương lớn. Biểu đồ tần số hoặc bảng đầy đủ giữ được thông tin đó. Báo cáo độ lệch chuẩn cùng trung bình có ích, nhưng hai con số ấy không khôi phục được phần đuôi phân phối.
Trung bình quan sát cũng có độ bất định
Nếu đánh giá B trên n trường hợp độc lập từ cùng phân phối, phương sai của trung bình mẫu là 36 / n. Với một trăm trường hợp độc lập, độ lệch chuẩn của trung bình là 0,6. Với mười nghìn trường hợp, nó là 0,06. Những đại lượng này mô tả độ bất định khi ước lượng trung bình, khác với độ phân tán của tổn thất từng trường hợp, vốn vẫn có độ lệch chuẩn 6.
Giả định độc lập rất quan trọng. Các khung hình lặp lại trong cùng một video có thể gặp cùng kiểu lỗi. Coi chúng là các trường hợp độc lập sẽ làm trung bình trông được ước lượng chính xác hơn thực tế. Hãy xác định đơn vị lấy mẫu là khung hình, video hay người dùng trước khi áp dụng quy tắc giảm phương sai theo 1 / n.
Một mẫu nhỏ còn có khả năng khá lớn không gặp trường hợp tổn thất cao nào. Với mười trường hợp độc lập của B, xác suất đó là 0.9^10, khoảng 34,9%. Một bản trình diễn mười trường hợp vì thế có thể ghi nhận tổn thất bằng không dù tổn thất kỳ vọng thực sự của mô hình là 2. Điều này không làm kiểm tra nhỏ trở nên vô ích; nó xác định giới hạn của bằng chứng mà kiểm tra ấy cung cấp.
Tính đầy đủ phân phối của trung bình hai trường hợp
Công thức của trung bình sẽ dễ hiểu hơn nếu liệt kê một trường hợp nhỏ. Lấy hai tổn thất độc lập từ mô hình B rồi tính trung bình. Có bốn kết quả có thứ tự: cả hai bằng không, chỉ kết quả thứ nhất bằng hai mươi, chỉ kết quả thứ hai bằng hai mươi, hoặc cả hai bằng hai mươi. Tính độc lập cho phép nhân hai xác suất riêng để được xác suất của từng cặp.
| Tổn thất thứ nhất | Tổn thất thứ hai | Xác suất đồng thời | Tổn thất trung bình |
|---|---|---|---|
| 0 | 0 | 0,81 | 0 |
| 0 | 20 | 0,09 | 10 |
| 20 | 0 | 0,09 | 10 |
| 20 | 20 | 0,01 | 20 |
Gộp hai dòng giữa cho xác suất 0,81, 0,18 và 0,01 tương ứng với trung bình bằng không, mười và hai mươi. Kỳ vọng của trung bình vẫn là hai. Mômen bậc hai, tức kỳ vọng bình phương của trung bình, là 0.18 × 100 + 0.01 × 400 = 22. Trừ bình phương kỳ vọng được phương sai 18. Trung bình hai quan sát độc lập làm phương sai ban đầu 36 giảm một nửa.
Bây giờ chỉ lấy một tổn thất rồi sao chép vào cả hai dòng. Xét riêng từng dòng, chúng vẫn có phân phối của B, nhưng cặp này phụ thuộc hoàn toàn. Trung bình bằng không với xác suất 0,9 và bằng hai mươi với xác suất 0,1, giống hệt một quan sát. Phương sai vẫn là 36. Số dòng tăng gấp đôi mà thông tin độc lập không tăng.
Hình thứ hai so sánh phân phối của một trung bình, không phải phân phối của từng dự đoán. Nó cho thấy vì sao nhân bản bản ghi hoặc đo hai khung hình gần như giống nhau không tự động làm ước lượng chính xác hơn. Tính độc lập phụ thuộc vào cách quan sát được tạo ra, chứ không xuất hiện chỉ vì ta đặt dữ liệu ở hai dòng riêng.
Công thức tổng quát cho hai biến có thêm hiệp phương sai: phương sai của trung bình bằng một phần tư của tổng hai phương sai cộng hai lần hiệp phương sai. Trong ví dụ này, kết quả là 18 + 0.5 Cov(L1,L2). Hai tổn thất độc lập có hiệp phương sai bằng không; hai bản sao có hiệp phương sai 36. Hiệp phương sai bằng không đủ để có mức giảm phương sai nói trên, nhưng nhìn chung không chứng minh được tính độc lập.
Tính tuyến tính của kỳ vọng cần ít điều kiện hơn. Kỳ vọng tổng hai tổn thất vẫn là bốn khi chúng phụ thuộc nhau, miễn kỳ vọng riêng của từng biến tồn tại. Điều này tách hai câu hỏi thường bị trộn lẫn: tổng tổn thất kỳ vọng là bao nhiêu, và tổng đó hoặc trung bình của nó bất định đến mức nào. Kỳ vọng có thể vẫn đúng trong khi ước lượng độ bất định dựa trên độc lập lại quá lạc quan.
Đơn vị và phép biến đổi tổn thất làm đổi phép so sánh
Nhân mọi tổn thất với một hằng số dương sẽ nhân kỳ vọng và độ lệch chuẩn với hằng số đó, còn phương sai được nhân với bình phương hằng số. Đổi đơn vị tiền từ đô la sang cent làm phương sai tăng mười nghìn lần. Cộng cùng một chi phí xử lý cố định vào mọi trường hợp làm đổi kỳ vọng nhưng không đổi phương sai. Bài giảng phương sai của Marco Taboga phát triển các tính chất này từ định nghĩa bình phương độ lệch.
Đổi hàm mất mát là một việc khác với đổi đơn vị. Bình phương tổn thất phạt giá trị lớn mạnh hơn. Trong ví dụ này, kỳ vọng tổn thất bình phương là bốn cho A và bốn mươi cho B. Mục tiêu mới ưu tiên A dù tổn thất kỳ vọng ban đầu của hai mô hình bằng nhau. Không nên đổi hàm mất mát sau khi nhìn kết quả rồi mô tả ưu tiên mới như thể nó đã là quy tắc đánh giá từ đầu.
Thử một lỗi hiếm hơn nhưng lớn hơn
Tạo mô hình C có tổn thất không với xác suất 0,98 và tổn thất một trăm với xác suất 0,02. Hãy tính kỳ vọng, phương sai và độ lệch chuẩn trước khi so sánh với A và B. Kỳ vọng là hai, mômen bậc hai là hai trăm, phương sai là 196 và độ lệch chuẩn là mười bốn. Cùng một trung bình giờ đi kèm độ phân tán lớn hơn nhiều.
Với mười trường hợp độc lập, xác suất không quan sát thấy tổn thất khác không của C là 0.98^10, khoảng 81,7%. Mẫu rất nhỏ vì thế còn dễ bỏ lỡ tổn thất hiếm của C hơn của B, dù hai mô hình có cùng kỳ vọng. Nếu lấy mẫu độc lập, độ lệch chuẩn của trung bình một trăm trường hợp từ C là 1,4.
So sánh hai yêu cầu giả định. Xác suất tổn thất vượt mười của C thấp hơn B, nhưng mỗi lần vượt của C lớn hơn nhiều. Xác suất tổn thất vượt năm mươi bằng không với B và bằng 0,02 với C. Nếu chỉ chọn một ngưỡng vượt để đánh giá, bạn cần giải thích vì sao nó thể hiện đúng hậu quả cần quan tâm. Giữ bảng tổn thất đầy đủ trong tài liệu đánh giá để quyết định sau có thể xét ngưỡng khác, thay vì cố suy ra thông tin không có từ một trung bình.
Chọn cách đánh giá theo quyết định cần đưa ra
Giả sử hệ thống có giới hạn nghiêm ngặt là tổn thất mỗi trường hợp không được vượt 10 đơn vị. A luôn đáp ứng, còn B vi phạm với xác suất 0,1. Báo cáo trực tiếp tỷ lệ vượt P(L > 10) trả lời đúng yêu cầu đó. Một mục tiêu nhạy với rủi ro có thể kết hợp tổn thất kỳ vọng với mức phạt khi vượt ngưỡng, nhưng trọng số của mức phạt cần có ý nghĩa thực tế.
Phân vị cũng có thể hữu ích, nhưng phải nêu quy ước phân vị cho phân phối rời rạc. Với B, xác suất tích lũy đạt 0,9 tại không rồi nhảy lên một tại hai mươi. Giá trị đúng chỗ nhảy có thể được các quy ước phần mềm xử lý khác nhau. Bảng hai điểm đầy đủ thường rõ ràng hơn việc tranh luận về một phân vị nội suy.
Trước khi so sánh mô hình, hãy ghi hàm mất mát và quần thể dùng để lấy trung bình. Sai số bình phương, sai số tuyệt đối và chi phí tiền tệ tạo những phân phối khác nhau ngay cả trên cùng dự đoán. Sau đó chọn thống kê bổ sung thể hiện loại thất bại mà bạn sẽ hành động để xử lý. Trong ví dụ này, kỳ vọng mô tả chi phí tổng hợp thường xuyên, còn tỷ lệ tổn thất vượt mười mô tả ràng buộc vận hành.