Chuyển đến nội dung
MINH VO Ghi chép từ công việc
của một kỹ sư tại Việt Nam
Cơ bản11 phút đọc

Chỉ đưa tổ hợp có chủ đích vào ma trận kiểm thử

Khai triển ma trận GitHub Actions, phân biệt thêm metadata với thêm job và kiểm tra đúng tập tổ hợp sau include và exclude.

Mô hình dây chuyền băng tải với ba trạm và một nhánh vòng bên cạnh

Ma trận kiểm thử chạy một job trên các tổ hợp đầu vào được khai báo. Dùng nó để biểu diễn các tổ hợp mà dự án hỗ trợ, rồi kiểm tra tập sau khai triển. Thêm mọi runtime và hệ điều hành có sẵn có thể tốn thời gian runner và tạo tuyên bố tương thích mà dự án chưa từng định duy trì.

Với lập trình viên rà soát workflow, câu hỏi hữu ích đầu tiên rất cụ thể: cấu hình này thực sự tạo những job nào? Các chiều ma trận nhân với nhau, còn quy tắc include và exclude có thể thay đổi kết quả.

Khai triển tích các chiều ban đầu

Giả sử dự án kiểm thử hai hệ điều hành và hai phiên bản runtime. Tích ban đầu có bốn cặp. Job dưới bỏ một cặp không hỗ trợ và gắn metadata vào một cặp khác:

jobs:
  compatibility:
    runs-on: ${{ matrix.os }}
    strategy:
      fail-fast: false
      matrix:
        os: [ubuntu-24.04, windows-2022]
        runtime: [20, 22]
        exclude:
          - os: windows-2022
            runtime: 20
        include:
          - os: ubuntu-24.04
            runtime: 22
            experimental: true
    steps:
      - shell: bash
        run: |
          printf 'os=%s runtime=%s\n' \
            '${{ matrix.os }}' '${{ matrix.runtime }}'

Đây là đoạn job để đặt trong workflow. Các giá trị ma trận do người viết workflow cố định và bước chạy chỉ in chúng. Nó không cài những runtime ấy hay kiểm thử ứng dụng. Job kiểm tra tương thích thật phải thiết lập runtime đã chọn và chạy kiểm tra của dự án.

Các cặp dự kiến là Ubuntu với runtime hai mươi, Ubuntu với hai mươi hai và Windows với hai mươi hai. Mục include thêm trường experimental vào cặp Ubuntu khớp; nó không thêm job thứ tư trong ví dụ này.

Ma trận hai hệ điều hành với hai runtime bỏ Windows hai mươi và gắn cờ experimental cho Ubuntu hai mươi hai, còn ba job.Mở ảnh kích thước đầy đủ ↗

Cặp có màu khác bị loại. Cờ experimental thêm metadata vào tổ hợp có sẵn thay vì tạo cặp hệ điều hành/runtime khác.

Include không phải lúc nào cũng thêm job

Đối tượng include có thể bổ sung tổ hợp có sẵn khi các giá trị thêm vào không ghi đè giá trị ma trận ban đầu. Nếu không thể gộp vào tổ hợp ban đầu nào theo quy tắc có tài liệu, nó có thể tạo tổ hợp khác. Vì vậy cần rà soát từng mục include.

Tài liệu cú pháp workflow đưa ví dụ include và exclude. Hãy xem chúng là quy tắc khai triển, không phải phép gộp tổng quát các đối tượng YAML tùy ý. Trường do include trước thêm vào có thể tương tác khác với trường thuộc tích ban đầu.

Với chính sách hỗ trợ phức tạp, danh sách chỉ có include đôi khi dễ đọc hơn nhiều chiều rồi hàng loạt ngoại lệ. Cách biểu diễn tốt là cách người bảo trì đối chiếu trực tiếp được với bảng nền tảng hỗ trợ.

Tính chi phí trước khi thêm chiều

Tích ba hệ điều hành, bốn runtime và hai phiên bản cơ sở dữ liệu có hai mươi bốn tổ hợp trước khi lọc. Nếu mỗi job build cùng phụ thuộc đắt, chi phí runner tăng nhanh. Chạy song song chỉ giảm thời gian chờ khi có đủ tài nguyên runner.

Thiết lập chiến lược max-parallel giới hạn số job ma trận chạy đồng thời, không giảm tổng tổ hợp. Giới hạn đồng thời nhỏ có thể bảo vệ phụ thuộc kiểm thử dùng chung hoặc phù hợp ngân sách runner, nhưng cũng kéo dài thời gian nhận đủ kết quả.

Tách kiểm tra tương thích rẻ khỏi kiểm tra tích hợp tốn kém khi chúng trả lời câu hỏi khác nhau. Chẳng hạn kiểm tra cú pháp hoặc unit test có thể chạy trên mọi runtime được hỗ trợ, còn tích hợp nhắm các nền tảng ứng dụng thực sự triển khai. Ghi phạm vi đó thay vì trình bày tập tích hợp nhỏ hơn như bao phủ đầy đủ mọi chiều.

Chính sách lỗi thay đổi bằng chứng còn lại

Fail-fast của ma trận có thể hủy job còn lại sau một lỗi thuộc diện kích hoạt hủy. Nó tiết kiệm công việc khi một lỗi đã đủ chặn thay đổi, nhưng cũng che việc nền tảng khác có lỗi cùng nguyên nhân hay không, khiến điều tra tương thích ban đầu chậm hơn.

Tắt fail-fast hữu ích khi muốn thu đủ mẫu lỗi. Đoạn minh họa đặt rõ điều này. Thiết lập ấy không biến job lỗi thành thành công; nó thay cách hủy công việc.

Có thể cho phép một tổ hợp thử nghiệm thất bại bằng chính sách job tường minh khi phù hợp. Chỉ thêm trường tên experimental chưa thực thi hành vi đó. Workflow phải dùng trường trong điều kiện liên quan và chính sách trạng thái cần khớp tuyên bố hỗ trợ của dự án.

Giữ từng tổ hợp nhận diện được

Dùng giá trị ma trận trong tên job hiển thị và metadata báo cáo kiểm thử. Kết quả chỉ ghi tests failed khó truy nguyên khi nhiều hệ điều hành/runtime chạy cùng lệnh. Ghi phiên bản thực sự được cài vì giá trị chuyển cho công cụ thiết lập mới là ý định cho tới khi công cụ hoàn thành.

Tên artifact cũng cần phân biệt tổ hợp khi phải giữ đầu ra riêng. Nhiều job tải lên cùng tên artifact có thể xung đột hoặc vi phạm quy tắc của action. Đưa nền tảng, runtime và định danh lượt workflow cần thiết cho bên nhận vào tên hoặc hồ sơ đi kèm.

Ma trận là chương trình gọn sinh ra job. Rà soát khai triển như dữ liệu, gồm tổ hợp không hỗ trợ và thử nghiệm, rồi xác minh từng job thực sự cấu hình đúng tổ hợp nó tuyên bố kiểm tra. Bảng hỗ trợ ba dòng thường là phần đi kèm rõ nhất cho ma trận mà nếu không, mọi người chỉ diễn giải sau khi phát hành lỗi trên một nền tảng.

Theo dõi chiều ban đầu riêng với metadata thêm sau

Khác biệt hữu ích khi duyệt include là trường có thuộc tích ban đầu không. Giữ hai hệ điều hành và hai runtime, cùng loại trừ Windows hai mươi. Bây giờ xét bốn include: thêm chế độ chẩn đoán brief cho mọi tổ hợp còn lại, đổi chế độ thêm sau ấy thành full cho Ubuntu hai mươi hai, khôi phục Windows hai mươi tường minh và thêm Windows hai mươi bốn làm phép thăm dò mới.

Include đầu bổ sung cả ba job còn lại vì trường chẩn đoán không ghi đè chiều gốc. Include thứ hai thay trường chẩn đoán đã thêm trên dòng Ubuntu khớp. Nó vẫn không được đổi runtime gốc hai mươi thành hai mươi hai. Dòng Windows được khôi phục và dòng runtime hai mươi bốn mỗi dòng trở thành tổ hợp thêm. Tổng cuối là năm, không phải bảy, vì hai thao tác đầu chỉ đổi metadata.

Mô hình Python độc lập sau giúp kiểm tra phép đếm. Nó cố ý chỉ xử lý chiều vô hướng phẳng, loại trừ khớp một phần và đối tượng include dùng ở đây; nó không triển khai biểu thức GitHub, giá trị ma trận lồng hay bộ lập lịch runner. Các chiều ban đầu được giữ riêng để cập nhật metadata không đổi các giá trị gốc mà include được phép khớp.

from itertools import product

axes = {'os': ['ubuntu-24.04', 'windows-2022'], 'runtime': [20, 22]}
exclude = [{'os': 'windows-2022', 'runtime': 20}]
include = [
    {'diagnostics': 'brief'},
    {'os': 'ubuntu-24.04', 'runtime': 22, 'diagnostics': 'full'},
    {'os': 'windows-2022', 'runtime': 20, 'diagnostics': 'restored'},
    {'os': 'windows-2022', 'runtime': 24, 'diagnostics': 'probe'},
]
base = [dict(zip(axes, values)) for values in product(*axes.values())]
original = [row for row in base
            if not any(all(row.get(k) == v for k, v in rule.items())
                       for rule in exclude)]
rows = [row.copy() for row in original]
for extra in include:
    matches = [i for i, row in enumerate(original)
               if all(k not in row or row[k] == v for k, v in extra.items())]
    if matches:
        for i in matches:
            rows[i].update(extra)
    else:
        rows.append(extra.copy())
print('base:', len(base), 'after exclusion:', len(original), 'final:', len(rows))
for row in rows:
    print(row['os'], row['runtime'], row['diagnostics'])

Các dòng là Ubuntu hai mươi với chẩn đoán brief, Ubuntu hai mươi hai với full, Windows hai mươi hai với brief, Windows hai mươi với nhãn restored và Windows hai mươi bốn với probe. Mô hình in theo thứ tự tạo để kiểm tra, không dự đoán thứ tự runner bắt đầu hoặc kết thúc job.

Bốn thao tác include lần lượt để lại ba, ba, bốn và năm job: thêm metadata, thay metadata, khôi phục cặp bị loại và thêm cặp runtime mới.Mở ảnh kích thước đầy đủ ↗

Tài liệu cú pháp nói exclude được xử lý trước include và mục loại trừ có thể chỉ khớp một phần. Vì vậy exclude chỉ chứa hệ điều hành Windows sẽ loại cả hai runtime Windows gốc. Include tường minh về sau vẫn có thể thêm tổ hợp Windows trở lại. Exclude là quy tắc khai triển, không phải lệnh cấm vĩnh viễn mọi dòng có các giá trị ấy.

Dòng mới được thêm còn phải cấp những trường job sử dụng sau đó. Hai mục cuối ghi rõ cả hệ điều hành và runtime. Thiếu trường có thể khiến job không chọn được runner hoặc không cấu hình đúng công cụ. Đối chiếu dữ liệu sinh ra với đầu vào bắt buộc của job thay vì chỉ xem bộ phân tích YAML chấp nhận tệp hay không.

Kiểm tra tuyên bố hỗ trợ cùng số dòng

Chỉ đếm không phát hiện được năm job sai tổ hợp. So tập cặp hệ điều hành/runtime thực tế với bảng hỗ trợ dự kiến, rồi so trường chính sách riêng. Một cặp có thể tồn tại nhưng vô tình được gán trạng thái thử nghiệm hoặc tùy chọn, làm đổi việc lỗi có chặn thay đổi không. Ngược lại, nhãn probe không có tác dụng nếu workflow không dùng nó.

Sửa loại trừ của mô hình để chỉ chứa hệ điều hành Windows. Khi đó còn hai dòng gốc, rồi Windows hai mươi được khôi phục và Windows hai mươi bốn được thêm, tổng bốn job. Windows hai mươi hai vắng mặt. Nếu thay vào đó bỏ include khôi phục nhưng giữ loại trừ một cặp ban đầu, cũng có bốn job nhưng là tập khác. Hai cấu hình cùng số lượng cung cấp bằng chứng tương thích khác nhau.

Tiếp theo chỉ xóa include runtime hai mươi bốn. Cấu hình hai mươi được khôi phục vẫn quay lại, nên còn bốn job. Nếu hai mươi từng bị loại vì phụ thuộc thực sự không hỗ trợ, việc khôi phục tường minh cần quyết định chính sách hỗ trợ; quy tắc khai triển cho phép không có nghĩa ứng dụng tương thích. Job chỉ in giá trị không trả lời được câu hỏi ấy.

Với ví dụ năm dòng, giới hạn chạy đồng thời bằng hai vẫn giữ đủ năm dòng. Nếu thêm giả định năm job có cùng thời lượng, đều đủ điều kiện bắt đầu ngay, có hai runner và không có phần thời gian phụ, chúng cần ba đợt lập lịch lý tưởng. Thời lượng khác nhau, runner khả dụng và hủy job thực tế có thể phá vỡ mô hình đợt đơn giản. Tách tổng job sinh ra, số job được chạy đồng thời và bằng chứng đã hoàn tất thành các đại lượng khác nhau.

Cuối cùng xác định bài thực hành kiểm tra khai triển cấu hình, tương thích runtime hay điều kiện phát hành. Mô hình cục bộ xác lập phần đầu. Toolchain đã cấu hình và kiểm thử ứng dụng thật cung cấp bằng chứng cho phần hai. Chính sách lỗi, hủy và phê duyệt quyết định bằng chứng ấy đóng góp thế nào cho phần ba. Gọi đúng câu hỏi ngăn đầu ra ma trận thành công biến thành tuyên bố chưa được hỗ trợ rằng dự án chạy trên mọi nền tảng được liệt kê.

Nguồn tham khảo & đọc thêm

  1. GitHub Actions workflow syntax
← Về trang bài viết

Hình minh họa

100%