Vì sao lấy trung bình các trung bình nhóm làm đổi kết quả
Phân biệt trung bình theo nhóm, trung bình theo quan sát và ảnh hưởng cơ cấu bằng ví dụ SQL có trọng số, giá trị thiếu và so sánh theo tuần.

Để tính trung bình trên toàn bộ quan sát từ các trung bình nhóm, bạn cần gán trọng số cho mỗi nhóm bằng số quan sát đã tham gia vào trung bình của nhóm đó. Lấy trung bình các trung bình mà không có trọng số sẽ cho mỗi nhóm sức ảnh hưởng ngang nhau. Đó có thể là câu hỏi bạn muốn trả lời, nhưng khác với trung bình trên mọi người hoặc bản ghi.
Giả sử bạn đang ghép báo cáo điểm thi của các lớp. Lớp có hai học sinh đạt trung bình 90, còn lớp có tám học sinh đạt trung bình 60. Trung bình của các lớp là 75. Trung bình trên học sinh là 66 vì lớp lớn đóng góp số học sinh gấp bốn lần.
Khôi phục các tổng phía sau trung bình
Đây là toàn bộ dữ liệu giả lập của hai lớp:
CREATE TEMP TABLE scores (class_id TEXT, score INTEGER);
INSERT INTO scores VALUES
('A', 80), ('A', 100),
('B', 40), ('B', 50), ('B', 50), ('B', 60),
('B', 60), ('B', 70), ('B', 70), ('B', 80);
WITH classes AS (
SELECT class_id, COUNT(score) AS students, AVG(score) AS mean_score
FROM scores
GROUP BY class_id
)
SELECT AVG(mean_score) AS equal_class_mean,
SUM(students * mean_score) / SUM(students) AS pooled_mean
FROM classes;
SELECT AVG(score) AS direct_mean FROM scores;
SQLite 3.45.1 trả về 75 cho trung bình coi mỗi lớp như nhau, 66 cho trung bình gộp và 66 cho trung bình trực tiếp. Biểu thức có trọng số khôi phục tổng điểm của từng lớp trước khi chia cho tổng số học sinh có điểm.
Có thể kiểm tra phép tính ngay bằng tay. Lớp A đóng góp 180 điểm, lớp B đóng góp 480 điểm. Tổng 660 điểm chia cho mười học sinh bằng 66. Cộng 90 với 60 rồi chia hai trả lời câu hỏi lớp học trung bình đạt kết quả thế nào khi mỗi lớp có trọng số bằng nhau.
Hình đặt quy mô nhóm cạnh trung bình vì thông thường không thể gộp chính xác một trung bình không có mẫu số. Hai báo cáo có thể hiện cùng trung bình nhưng đại diện cho lượng dữ liệu quan sát rất khác nhau.
Giữ đủ thông tin trong bảng tổng hợp
Bảng phân tích chỉ lưu trung bình đã làm tròn sẽ mất thông tin cần thiết để ghép chính xác. Với chỉ số phù hợp, hãy lưu tổng đóng góp và số lượng đóng góp. Truy vấn phía sau có thể tính trung bình gộp bằng cách cộng các thành phần đó.
Chẳng hạn, trung bình làm tròn đến một chữ số thập phân có thể không còn tái tạo được tổng ban đầu khi nhân với số quan sát của nhóm. Ghép nhiều lần các trung bình đã làm tròn có thể tích lũy sai lệch. Giữ đủ độ chính xác trong giá trị lưu trữ và chỉ làm tròn khi trình bày.
Tài liệu hàm tổng hợp PostgreSQL nêu rằng phép lấy trung bình thông thường dùng các giá trị đầu vào khác null. Vì vậy, số đếm đi kèm phải là số điểm khác null. Đếm toàn bộ học sinh ghi danh, kể cả người chưa có điểm, sẽ đổi mẫu số và không còn khôi phục trung bình của các điểm quan sát được.
Nếu lớp A có thêm một học sinh chưa được chấm điểm biểu diễn bằng null, trung bình quan sát vẫn dùng hai điểm. Nhân trung bình đó với ba sẽ tự tạo phần đóng góp từ điểm đang thiếu. Báo cáo trên học sinh ghi danh có thể cần chính sách xử lý điểm thiếu, nhưng chính sách ấy phải được nêu riêng với phép tính tổng hợp.
Có thể chủ ý cho các nhóm trọng số bằng nhau
Trọng số theo số quan sát trong ví dụ là các số nguyên không âm. Nếu một khảo sát riêng cung cấp trọng số mở rộng có phần thập phân, chúng mô tả thiết kế lấy mẫu chứ không phải quy mô lớp. Công thức có trọng số vẫn có ý nghĩa số học, nhưng diễn giải về tổng thể phụ thuộc vào thiết kế đó. Đừng trộn trọng số khảo sát với số đếm quan sát trong một cột chỉ vì cả hai đều được gọi là trọng số. Giữ định nghĩa trọng số cùng chỉ số.
Có những lý do hợp lý để mỗi nhóm có một tiếng nói. Một học khu có thể muốn mô tả lớp học điển hình thay vì học sinh điển hình. Một phép so sánh dịch vụ có thể muốn coi mỗi tổ chức khách hàng như nhau để tổ chức lớn không lấn át kết quả.
Đó là thay đổi đơn vị được lấy trung bình. Thay đổi này phải thể hiện trong tên và mô tả chỉ số. “Trung bình các điểm trung bình lớp” rõ nghĩa hơn “điểm trung bình” khi các lớp có trọng số ngang nhau. Một bảng điều khiển có thể hiển thị cả hai vì chúng cho thấy hai khía cạnh khác nhau của tập đối tượng.
Cần cẩn thận khi thành phần nhóm thay đổi theo thời gian. Trung bình toàn bộ học sinh có thể tăng vì có nhiều học sinh hơn ở lớp đạt điểm cao, dù không lớp nào tiến bộ. So sánh đồng thời trung bình và quy mô từng nhóm giúp tách thay đổi cơ cấu khỏi thay đổi bên trong nhóm. Bản thân phép tính không xác lập nguyên nhân của bất kỳ thay đổi nào.
Tỷ lệ cần đúng các đại lượng cấu thành của nó
Nguyên tắc tương tự áp dụng cho tỷ lệ, nhưng trọng số phải khớp mẫu số của tỷ lệ. Để ghép tỷ lệ chuyển đổi, cộng số lượt chuyển đổi và số lượt truy cập đủ điều kiện rồi mới chia. Để ghép giá trị đơn hàng trung bình, cộng doanh thu và số đơn hàng đủ điều kiện. Số khách hàng là trọng số sai cho tỷ lệ tính theo lượt truy cập, trừ khi mỗi khách hàng đóng góp đúng một lượt.
Không phải chỉ số nào cũng ghép được chỉ bằng trung bình và số đếm. Trung vị của các trung vị hằng ngày thường không phải trung vị của toàn bộ quan sát. Phân vị cần thêm thông tin về phân phối, các giá trị gốc được giữ lại hoặc một phép xấp xỉ có thể hợp nhất với mô hình sai số được nêu rõ. Đừng khái quát đẳng thức trung bình có trọng số sang mọi thống kê tóm tắt.
Ngay cả trung bình số học cũng cần kiểm tra ý nghĩa chuyên môn. Ghép điểm từ các bài thi có thang đo khác nhau là không hợp lệ cho đến khi chúng có cách diễn giải chung có cơ sở. Tỷ lệ đúng của một bài ngắn, dễ và tỷ lệ đúng của một bài khó không mặc nhiên là các quan sát thay thế được cho nhau.
Trước khi dùng bảng tổng hợp, hãy kiểm tra mẫu số, quy tắc giá trị thiếu, định danh nhóm và độ chính xác đã lưu. Sau đó tái lập kết quả gộp từ một bộ dữ liệu thô nhỏ. Trong ví dụ trên, truy vấn không khôi phục được 66 đã thay đổi đơn vị phân tích hoặc làm mất một thành phần cần thiết để bảo toàn phép tính.
Trung bình gộp có thể tăng trong khi mọi nhóm đều giảm
Để tách ảnh hưởng cơ cấu khỏi kết quả bên trong nhóm, hãy mở rộng ví dụ thành hai bản trích xuất theo tuần. Đây là các bảng tổng hợp giả lập của điểm đã quan sát, trong đó các bản ghi học sinh không trùng nhau trong mỗi tuần. Tuần một giữ nguyên quy mô và tổng điểm của ví dụ đầu. Sang tuần hai, lớp A có tám điểm quan sát đạt trung bình 85, còn lớp B có hai điểm đạt trung bình 55. Cả hai trung bình lớp giảm năm điểm, đồng thời nhiều quan sát hơn thuộc lớp có điểm cao.
CREATE TEMP TABLE weekly_scores (
week INTEGER, class_id TEXT,
score_sum INTEGER, scored_students INTEGER,
PRIMARY KEY (week, class_id)
);
INSERT INTO weekly_scores VALUES
(1, 'A', 180, 2), (1, 'B', 480, 8),
(2, 'A', 680, 8), (2, 'B', 110, 2);
SELECT week, SUM(score_sum) * 1.0 / SUM(scored_students) AS pooled_mean
FROM weekly_scores GROUP BY week ORDER BY week;
WITH base_weights AS (
SELECT class_id, scored_students AS base_count
FROM weekly_scores WHERE week = 1
)
SELECT w.week,
SUM((w.score_sum * 1.0 / w.scored_students) * b.base_count)
/ SUM(b.base_count) AS fixed_composition_mean
FROM weekly_scores AS w JOIN base_weights AS b USING (class_id)
GROUP BY w.week ORDER BY w.week;
Trung bình gộp tăng từ 66 lên 79. Kết quả giữ cơ cấu cố định giảm từ 66 xuống 61 vì giữ trọng số A ở hai và B ở tám cho cả hai tuần. Phép tính tuần hai là (85 × 2 + 55 × 8) / 10. Đây là trường hợp đảo chiều được dựng bằng cách thay đổi tỷ trọng nhóm. Nó không cho thấy từng học sinh tiến bộ, giảm điểm hay chuyển lớp; các dòng tổng hợp không định danh học sinh xuyên suốt hai tuần.
Hai chuỗi số trả lời hai câu hỏi. Chuỗi gộp mô tả những học sinh được quan sát trong từng tuần. Chuỗi chuẩn hóa mô tả kết quả mà các trung bình lớp tạo ra dưới cơ cấu tham chiếu đã chọn. Gọi chuỗi thứ hai là “đã điều chỉnh” không khiến nó trở thành ước lượng nhân quả. Nó chỉ kiểm soát khác biệt trọng số được mã hóa trong hai nhãn lớp này, đồng thời giữ nguyên mọi khác biệt bên trong mỗi lớp.
Truy vấn giả định mỗi lớp tham chiếu có số điểm quan sát dương trong mọi tuần được so sánh. Nếu thiếu một lớp, phép nối trong âm thầm bỏ trọng số tham chiếu của lớp đó. Báo cáo thực tế trước tiên cần so sánh tập mã lớp dự kiến với các tổng hợp hiện có và báo mức bao phủ chưa đầy đủ. Đừng chuẩn hóa lại các trọng số còn lại rồi giữ nguyên nhãn cũ, trừ khi việc đổi tập đối tượng đích là chủ ý. Số quan sát bằng không cũng khiến trung bình lớp không xác định; gán bằng không sẽ tự tạo điểm số.
Với bài tập, dựng lại dữ liệu, đổi số quan sát tuần hai thành A có hai và B có tám, đồng thời đổi tổng điểm thành 170 và 440. Cả trung bình gộp lẫn trung bình giữ cơ cấu cố định của tuần hai đều trở thành 61. Sau đó khôi phục dữ liệu gốc và xóa dòng lớp B của tuần hai. Truy vấn đang trình bày trả về 85 cho tuần đó. Đây là một kết quả bộ phận cố ý gây hiểu nhầm nếu được công bố như cùng chỉ số chuẩn hóa của hai lớp. Cách xử lý đúng là báo không đủ mức bao phủ hoặc đặt nhãn cho phạm vi hẹp hơn một cách rõ ràng, không đoán điểm của lớp thiếu.
Khi xu hướng tổng hợp gây bất ngờ, hãy giữ kết quả gộp quan sát được, trình bày số lượng và trung bình từng nhóm, đồng thời nêu trọng số tham chiếu dùng để so sánh. Cách này bảo toàn tập đối tượng đã quan sát và giúp kiểm tra cách diễn giải nhạy với cơ cấu. Nó cũng cung cấp đủ thông tin để người phân tích tiếp theo tái lập kết quả mà không phải tin vào một nhãn đã làm tròn trên bảng điều khiển.