Chuyển đến nội dung
MINH VO Ghi chép từ công việc
của một kỹ sư tại Việt Nam
Cơ bản13 phút đọc

Phân biệt thời gian sự kiện và thời gian xử lý

Gán sáu quan sát đến chậm theo hai đồng hồ; kiểm tra xử lý lại, độ lệch thời gian, điểm biên và phản ví dụ bất đồng đồng hồ.

Biểu đồ phân tán, biểu đồ tần suất và bảng dữ liệu trên bàn màu be

Một chiếc điện thoại ghi nhận thao tác chạm khi mất mạng rồi tải sự kiện lên sau khi kết nối lại. Biểu đồ hoạt động buổi sáng của người dùng thường cần đặt thao tác ấy vào thời điểm xảy ra được báo cáo. Biểu đồ lượng công việc mà một toán tử tiếp nhận đã xử lý cần đặt nó vào lúc toán tử xử lý bản ghi. Cả hai biểu đồ có thể đúng nhưng cho số lượng khác nhau trong cùng khoảng năm phút.

Bài viết dành cho lập trình viên hoặc kỹ sư dữ liệu đang học thuật ngữ xử lý luồng. Bạn cần biết phép nhóm SQL cơ bản và hiểu độ lệch múi giờ so với UTC. Chúng ta sẽ dùng SQLite 3.45.1 để gán sáu quan sát được tạo cho ví dụ vào các cửa sổ, rồi xem một lịch xử lý lại giả định và một giá trị đồng hồ đáng ngờ. Đây là các truy vấn SQL đã chạy trên thời gian giả lập, không phải pipeline Beam hay Flink đang hoạt động, dấu vết thiết bị hoặc phép đo mạng thực tế.

Gọi đúng tên đồng hồ và điểm xử lý

Thời gian sự kiện là lúc sự kiện xảy ra tại nguồn. Trong pipeline dữ liệu, hệ thống thường biểu diễn nó bằng dấu thời gian nằm trong bản ghi. Thời gian xử lý đến từ đồng hồ của máy đang thực hiện một thao tác cụ thể. Tài liệu khái niệm thời gian của Flink mô tả cả hai và giải thích vì sao hành vi theo thời gian xử lý phụ thuộc vào tốc độ dữ liệu đến, tiến độ toán tử và những lần gián đoạn.

Thao tác cụ thể đó rất quan trọng. Broker nhận thông điệp, hàm xử lý ứng dụng bắt đầu công việc và toán tử tổng hợp phía sau xử lý bản ghi là những điểm khác nhau. Một trường tên received_at không tự động trở thành thời gian xử lý của mọi toán tử về sau. Trong ví dụ, processed_at là thời gian tại một điểm xử lý đã quy ước. Nó được cung cấp dưới dạng dữ liệu giả lập để có thể xem phép gán mà không phải chờ đồng hồ thật.

Trường sự kiện được chủ đích đặt tên là reported_event_at. Dấu thời gian thiết bị là một lời khai về thời điểm xảy ra; sự tồn tại của nó không chứng minh đồng hồ thiết bị chính xác. Cần phân biệt thời điểm mà trường biểu diễn với bằng chứng hỗ trợ thời điểm ấy. Phản ví dụ cuối bài sẽ làm rõ khác biệt này.

Sáu quan sát được tạo cho ví dụ, có thời gian sự kiện được báo cáo và thời gian xử lý riêng trên cùng trục UTCMở ảnh kích thước đầy đủ ↗

Các điểm là dấu thời gian được cung cấp. Đường nối cho thấy chênh lệch giữa chúng, không phải phép đo phân rã độ trễ mạng, hàng đợi hay thực thi.

Chuẩn hóa thời điểm trước khi so sánh

Chạy năm khối SQL theo thứ tự trong một cơ sở dữ liệu SQLite mới. Mỗi mã sự kiện xuất hiện một lần. Ví dụ dùng số giây Unix dương, dấu thời gian có độ chính xác tới giây và cửa sổ UTC cố định dài năm phút, được neo tại mốc Unix epoch. Nó không triển khai ngày lịch địa phương, quy tắc đổi giờ mùa hè, chính sách phần lẻ của giây hay xử lý bản giao trùng.

CREATE TABLE observations (
  event_id TEXT PRIMARY KEY,
  reported_event_at TEXT NOT NULL,
  processed_at TEXT NOT NULL
);
INSERT INTO observations VALUES
 ('e1', '2026-04-05T10:00:40Z',      '2026-04-05T10:00:50Z'),
 ('e2', '2026-04-05T10:02:10Z',      '2026-04-05T10:02:12Z'),
 ('e3', '2026-04-05T10:00:20Z',      '2026-04-05T10:05:00Z'),
 ('e4', '2026-04-05T10:05:00Z',      '2026-04-05T10:05:01Z'),
 ('e5', '2026-04-05T17:04:59+07:00', '2026-04-05T10:06:10Z'),
 ('e6', '2026-04-05T10:01:30Z',      '2026-04-05T10:07:00Z');
CREATE VIEW normalized AS
SELECT event_id, unixepoch(reported_event_at) AS event_s,
       unixepoch(processed_at) AS processing_s
FROM observations;
SELECT COUNT(*) AS unparseable_rows FROM normalized
WHERE event_s IS NULL OR processing_s IS NULL;

Kết quả đầu tiên là không có hàng nào không phân tích được thời gian. Tài liệu ngày giờ của SQLite định nghĩa unixepoch là số giây từ 00:00:00 UTC ngày 1 tháng 1 năm 1970 và giải thích cách chuyển độ lệch tường minh. Vì vậy, giá trị +07:00 của e5 biểu diễn 10:04:59 UTC, không phải 17:04:59 UTC. So sánh trực tiếp các chuỗi như nhãn đồng hồ địa phương sẽ đặt sai quan sát đó.

Kiểm tra phân tích chỉ xác nhận sáu giá trị được cung cấp tạo ra số. Nó không phải bộ xác thực dấu thời gian cho sản phẩm, cũng không chứng minh thiết bị đã báo đúng thời điểm. Hợp đồng thực tế cần định nghĩa cú pháp được nhận, độ chính xác, yêu cầu độ lệch và cách xử lý bản ghi không diễn giải được. Âm thầm bỏ các phép chuyển đổi thất bại sẽ làm đổi tập dữ liệu ngay trước khi so sánh hai đồng hồ.

Theo dõi một quan sát đến chậm qua hai phép gán

Với số giây nguyên không âm trong bộ thử, phép chia nguyên cho 300 chọn một cửa sổ năm phút; nhân lại với 300 trả về thời điểm bắt đầu. Mỗi khoảng chứa đầu mút trái và không chứa đầu mút phải. Do đó, 10:04:59 thuộc khoảng bắt đầu lúc 10:00, còn đúng 10:05:00 thuộc khoảng kế tiếp.

SELECT event_id,
       datetime(event_s, 'unixepoch') AS reported_event_utc,
       datetime(processing_s, 'unixepoch') AS processing_utc,
       processing_s - event_s AS apparent_gap_s,
       time((event_s / 300) * 300, 'unixepoch') AS event_window,
       time((processing_s / 300) * 300, 'unixepoch') AS processing_window
FROM normalized
ORDER BY processing_s, event_id;

Hãy đọc kỹ e3. Thời gian sự kiện được báo cáo là 10:00:20, nhưng thời gian xử lý đã quy ước là 10:05:00. Nó đóng góp vào cửa sổ sự kiện 10:00 và cửa sổ xử lý 10:05. Chênh lệch tính được là 280 giây. Hàng này phù hợp với tình huống tải lên sau khi mất mạng, nhưng riêng hai dấu thời gian không chứng minh cách giải thích đó, cũng không xác định bao lâu là mất mạng, truyền dữ liệu hay chờ trong hàng đợi.

e4 làm rõ ranh giới: thời gian sự kiện đúng 10:05:00 nên cả hai phép gán đều dùng cửa sổ sau. e6 đến điểm xử lý này sau các hàng khác, dù thời điểm xảy ra được báo cáo đứng trước e2. Vì vậy, sắp xếp theo thời gian xử lý không đồng nghĩa sắp xếp theo thời gian sự kiện. Hướng dẫn lập trình Beam nêu rõ các bản ghi không nhất thiết xuất hiện theo thứ tự mà sự kiện được tạo ra.

Các cột cửa sổ trên bảng chỉ hiển thị giờ để bảng một ngày này gọn hơn. Truy vấn nhóm bên dưới giữ đầy đủ ngày. Khóa dùng trong sản phẩm không được vô tình gộp 10:00 của những ngày khác nhau chỉ vì nhãn biểu đồ đã bỏ phần ngày.

Đầu ra SQLite thực tế với thời gian đã chuẩn hóa, chênh lệch biểu kiến và hai phép gán cửa sổ cho đủ sáu hàngMở ảnh kích thước đầy đủ ↗

Bảng đọc là ảnh chụp trình duyệt thật của đầu ra SQLite đã ghi. Truy vấn chạy cục bộ; sáu dấu thời gian đầu vào vẫn là ví dụ được tạo ra.

Xác định câu hỏi trước khi chọn số đếm

Truy vấn tiếp theo gán mỗi sự kiện vào một cửa sổ theo từng đồng hồ, rồi nhóm riêng hai cách nhìn. UNION ALL giữ cả hai góc phân tích; nó không có nghĩa đã xảy ra mười hai sự kiện người dùng khác nhau.

WITH memberships AS (
  SELECT 'event' AS clock, event_id, (event_s / 300) * 300 AS start_s
  FROM normalized
  UNION ALL
  SELECT 'processing', event_id, (processing_s / 300) * 300
  FROM normalized
)
SELECT clock, datetime(start_s, 'unixepoch') AS window_start_utc,
       COUNT(*) AS events
FROM memberships
GROUP BY clock, start_s
ORDER BY clock, start_s;

Theo thời gian sự kiện, số lượng là năm ở cửa sổ 10:00 và một ở cửa sổ 10:05. Theo thời gian xử lý, các số tương ứng là hai và bốn. Mỗi cách nhìn đều tính đủ sáu mã sự kiện. Khác biệt nằm ở việc chúng thuộc khoảng nào, không phải bị mất hàng hay dùng tổng thể khác.

Chọn cách nhìn đầu cho câu hỏi như “Những hành động người dùng được báo cáo này xảy ra lúc nào?”. Chọn cách nhìn sau cho “Toán tử này đã xử lý những bản ghi ấy lúc nào?”. Khảo sát năng lực xử lý có thể cần ranh giới thứ hai ngay cả khi báo cáo hoạt động người dùng dùng ranh giới thứ nhất. Hãy ghi rõ đồng hồ trong tên hoặc định nghĩa chỉ số, thay vì gọi cả hai đầu ra là “sự kiện mỗi năm phút”.

Số lượng tính được theo hai đồng hồ, rồi cùng phép so sánh khi thời gian xử lý được dịch thêm mười phútMở ảnh kích thước đầy đủ ↗

Mỗi cách nhìn đếm sáu hàng. Lịch xử lý lại giả định làm đổi cửa sổ xử lý trong khi giữ nguyên dấu thời gian sự kiện được báo cáo.

Xử lý lại làm đổi một đồng hồ, chưa chắc đổi đồng hồ còn lại

Truy vấn xử lý lại cộng 600 giây vào mọi dấu thời gian xử lý nhưng giữ thời gian sự kiện được báo cáo. Đây là lịch thay thế được tạo cho ví dụ, không phải lần chờ thật mười phút hay dịch vụ xử lý lại đang chạy.

WITH replay AS (
  SELECT event_id, event_s, processing_s + 600 AS processing_s
  FROM normalized
), memberships AS (
  SELECT 'event' AS clock, event_id, (event_s / 300) * 300 AS start_s
  FROM replay
  UNION ALL
  SELECT 'processing', event_id, (processing_s / 300) * 300
  FROM replay
)
SELECT clock, datetime(start_s, 'unixepoch') AS window_start_utc,
       COUNT(*) AS events
FROM memberships
GROUP BY clock, start_s
ORDER BY clock, start_s;

Số đếm theo thời gian sự kiện vẫn là năm và một trong các cửa sổ cũ. Số đếm theo thời gian xử lý chuyển sang 10:10 và 10:15, vẫn là hai và bốn. Điều này giúp hiểu tính tái lập: các nhãn thời điểm xảy ra ban đầu có thể tồn tại qua một lịch xử lý khác, còn việc thuộc cửa sổ xử lý đi theo lịch mới.

Sự ổn định này có điều kiện. Ta giữ cùng sáu bản ghi, mã định danh, thời gian sự kiện và quy tắc gán. Đổi cách lấy thời gian sự kiện, mất một hàng, đếm một lần giao hai lần hoặc áp dụng chính sách lưu giữ khác đều có thể đổi kết quả. Phần giải thích của Flink nêu rõ điều kiện mọi dữ liệu đã đến khi nói về kết quả thời gian sự kiện nhất quán. Chọn một dấu thời gian sự kiện không tự cung cấp tính đầy đủ, loại trùng hay chính sách chốt kết quả.

Nếu việc xử lý lại giữ cột processed_at cũ, cột đó mô tả quan sát xử lý trước đây. Nó không trở thành đồng hồ hiện tại của toán tử xử lý lại chỉ vì toán tử đọc nó. Khi cần cả hai, hãy đặt tên riêng cho quan sát ban đầu và quan sát của lần thử mới.

Thuộc cửa sổ nào khác với biết đáp án cuối cùng

Tại mốc xử lý giả lập 10:03, chỉ hai sự kiện đã được ghi đóng góp vào cửa sổ sự kiện 10:00. Sau khi quan sát đủ sáu hàng, có năm sự kiện đóng góp. Quy tắc gán không đổi; bằng chứng hiện có đã tăng lên.

SELECT 'first observation' AS view_name, COUNT(*) AS event_window_count
FROM normalized
WHERE event_s >= unixepoch('2026-04-05T10:00:00Z')
  AND event_s < unixepoch('2026-04-05T10:05:00Z')
  AND processing_s <= unixepoch('2026-04-05T10:03:00Z')
UNION ALL
SELECT 'all six recorded events', COUNT(*)
FROM normalized
WHERE event_s >= unixepoch('2026-04-05T10:00:00Z')
  AND event_s < unixepoch('2026-04-05T10:05:00Z');

WITH suspect(event_s, processing_s) AS (
 VALUES (unixepoch('2026-04-05T10:10:00Z'),
         unixepoch('2026-04-05T10:06:00Z'))
)
SELECT processing_s - event_s AS apparent_gap_s,
       time((event_s / 300) * 300, 'unixepoch') AS event_window,
       time((processing_s / 300) * 300, 'unixepoch') AS processing_window
FROM suspect;

Truy vấn đầu trả về hai và năm. Nó không xác nhận năm là tổng cuối cùng của một luồng vô hạn ngoài thực tế. Bộ thử hữu hạn kết thúc ở sáu bản ghi được cung cấp; hệ thống đang chạy cần chính sách riêng về tiến độ, bản ghi đến chậm và cập nhật kết quả. Không thể suy ra những quyết định đó từ biểu thức chia cửa sổ năm phút.

Truy vấn cuối thêm một quan sát đáng ngờ riêng. Thời gian sự kiện được báo cáo là 10:10, còn thời gian xử lý là 10:06. Phép trừ trả về âm 240 giây và hai cửa sổ khác nhau. Điều này không chứng minh độ trễ mạng âm. Đồng hồ nguồn chạy nhanh, đồng hồ xử lý không chính xác hoặc phép biến đổi dấu thời gian sai đều có thể tạo bản ghi như vậy. Riêng cặp giá trị không xác định được cách giải thích nào đúng.

Phản ví dụ bất đồng đồng hồ với cùng cặp giá trị được báo cáo dưới hai giả thuyết sai lệch đồng hồMở ảnh kích thước đầy đủ ↗

Các cách giải thích là giả thuyết, không phải chẩn đoán đã đo. Giữ giá trị gốc và thu thập thêm bằng chứng đồng hồ hoặc pipeline trước khi sửa chúng.

Ép chênh lệch âm về số không có thể làm bảng theo dõi trông gọn hơn nhưng che mất sự bất đồng. Thay thời gian sự kiện bằng thời gian xử lý sẽ đổi câu hỏi và chuyển sự kiện sang khoảng khác. Một phản ứng vận hành hữu ích là đánh dấu bản ghi theo chính sách chất lượng dấu thời gian đã công bố, giữ các trường gốc và điều tra bằng bằng chứng bổ sung. Bài này không triển khai chính sách đó.

Kiểm tra ranh giới bằng thay đổi nhỏ

Trong một bản sao mới của bộ thử, chỉ đổi thời gian xử lý của e3 thành 10:04:59. Việc thuộc cửa sổ sự kiện phải giữ nguyên ở 10:00, còn cửa sổ xử lý chuyển từ khoảng sau về khoảng trước. Số đếm xử lý thành ba và ba; số đếm sự kiện vẫn là năm và một.

Tiếp theo, đổi e5 từ 17:04:59+07:00 sang cách viết tương đương 10:04:59Z. Mọi giá trị chuẩn hóa và số đếm phải giữ nguyên. Cuối cùng, lùi thời gian sự kiện được báo cáo của e4 một giây mà không đổi thời gian xử lý. Số đếm sự kiện thành sáu ở khoảng trước và không có hàng cho khoảng sau đang rỗng. Truy vấn báo những nhóm đã quan sát; nó không tự sinh hàng lịch có số đếm bằng không.

Những thay đổi này kiểm tra ba quyết định khác nhau: đồng hồ nào quyết định sự kiện thuộc khoảng nào, các độ lệch có mô tả cùng thời điểm hay không, và phía nào nhận đúng điểm biên. Khi làm rõ chúng, báo cáo thời gian sự kiện và báo cáo thời gian xử lý vận hành có thể cùng tồn tại mà không âm thầm trả lời câu hỏi của nhau.

Nguồn tham khảo & đọc thêm

  1. Apache Flink: Time concepts
  2. Apache Beam: Watermarks and late data
  3. SQLite: Date and time functions
← Về trang bài viết

Hình minh họa

100%