Các nguyên tắc triển khai

Mã có thể đúng, benchmark có thể xuất sắc, nhưng hệ thống vẫn có thể thất bại. Phần IV chuyển từ môi trường kiểm soát sang môi trường sản xuất, nơi các hệ thống machine learning đối mặt thêm mối nguy suy giảm âm thầm. Một hệ thống machine learning có thể tiếp tục tạo ra các kết quả tự tin, trình bày chuẩn, nhưng sai, khi thế giới dần lệch khỏi phân phối dữ liệu huấn luyện của nó. Khi triển khai, môi trường dữ liệu vượt khỏi tầm kiểm soát của kỹ sư và có thể gây áp lực lên thuật toán đã huấn luyện cũng như máy phục vụ (serving) theo những cách mà không bộ kiểm thử nào lường trước. Vì vậy, độ tin cậy là một vòng lặp điều khiển liên tục của việc thiết kế phối hợp D·A·M, chứ không phải một lần phát hành rồi thôi. Các nguyên tắc ở đây sẽ xác định các yêu cầu và mô hình chẩn đoán cho độ tin cậy đó.

Principle 9: Khoảng trống xác minh

Bất biến: Xác minh thống kê chỉ có hiệu lực trên một quần thể triển khai xác định \(P_{\text{deploy}}\), khoảng cách tác vụ \(d\), dung sai \(\tau\) và sai số mục tiêu \(\epsilon\), được ước tính bằng một thủ tục lấy mẫu hữu hạn tại mức tin cậy đã nêu: \[ \Pr_{(x,y)\sim P_{\text{deploy}}}\!\left[d(f(x),y) \leq \tau\right] \geq 1-\epsilon \] Hàm ý: Triển khai không phải là một quá trình chuyển giao một chiều, mà là một vòng lặp điều khiển. Vì không có bộ kiểm thử nào có thể bao quát hết mọi đầu vào có thể có trong thế giới thực, các hệ thống sản xuất cần tự giám sát mức độ không chắc chắn của mình và có cơ chế dừng hoạt động một cách an toàn (fail gracefully) khi chúng vượt ra ngoài giới hạn hiệu suất đã biết.

Khoảng trống xác minh có nghĩa là đánh giá hữu hạn chỉ có thể ước tính hành vi trên một quần thể xác định, kèm theo mức độ không chắc chắn. Các giới hạn này có thể bị bào mòn khi dữ liệu sản xuất dần khác đi so với dữ liệu dùng để thiết lập chúng.

Principle 10: Chẩn đoán trôi dạt thống kê

Bất biến: Sự khác biệt giữa phân phối dữ liệu sản xuất và phân phối dữ liệu cơ sở không tự nó quyết định liệu độ chính xác có thay đổi hay không. Trong một phạm vi triển khai đã đo được, các kết quả có gắn nhãn có thể tuân theo một mối quan hệ tuyến tính cục bộ: \[ \text{Accuracy}(t) \approx \text{Accuracy}_0 - \lambda \cdot \mathcal{D}(P_t \lVert P_0) \] trong đó \(P_0\) là phân phối gốc (baseline), \(\text{Accuracy}_0\) là hiệu suất của mô hình trên \(P_0\), \(\mathcal{D}(P_t \lVert P_0)\) là phân kỳ thống kê giữa phân phối hiện tại và phân phối gốc, và \(\lambda\) được ước lượng từ các kết quả có nhãn thay vì suy ra chỉ từ mức phân kỳ. Hãy xét một mô hình chấm điểm tín dụng được huấn luyện trên hành vi người vay năm 2020. Hai năm sau, lạm phát tăng, lãi suất thay đổi và chính sách cho vay dịch chuyển. Hệ thống vẫn tạo điểm, nhưng mối quan hệ thống kê giữa đầu vào và đầu ra có thể đã đổi khác; giám sát kết quả có nhãn sẽ xác định liệu độ chính xác thực tế có giảm, ngay cả khi nhật ký lỗi thông thường không báo gì. Khác với nhiều lỗi phần mềm truyền thống thường lộ diện qua crash, ngoại lệ, hoặc tín hiệu sức khỏe dịch vụ rõ ràng, hệ thống ML có thể âm thầm thất bại vì môi trường thay đổi dù mã và hạ tầng không đổi. Xấp xỉ tuyến tính bậc nhất này chỉ áp dụng trong phạm vi đã đo; quan hệ đó phụ thuộc vào mô hình và có thể phi tuyến khi mức trôi lớn.

Hàm ý: Khả năng quan sát cần mở rộng vượt ra ngoài các chỉ số hệ thống (độ trễ, lỗi) để kết hợp cả tín hiệu về trôi dạt thống kê với các kết quả có nhãn. Một hệ thống có thể vẫn vận hành trong khi chất lượng dự đoán thay đổi, nhưng chỉ giám sát trôi dạt thì không đủ để khẳng định có suy giảm.

Độ trôi bên ngoài không phải mối đe dọa duy nhất. Ngay cả khi thế giới đứng yên, pipeline phục vụ (serving) vẫn có thể lệch so với mô hình đã được kiểm định ngoại tuyến.

Principle 11: Chẩn đoán độ lệch huấn luyện–phục vụ (serving)

Bất biến: Các đường dẫn mã ở pha huấn luyện và phục vụ (serving) có thể khác nhau ngay cả khi nhận cùng một đầu vào, và có thể đo được sự khác biệt đó mà không cần nhãn. Với các điểm số mô hình dạng vô hướng, độ lệch huấn luyện–phục vụ được định nghĩa là kỳ vọng của sai khác tuyệt đối giữa hai hàm trên một phân phối đầu vào đối chiếu đã nêu rõ: \[ S_{\text{skew}} = \mathbb{E}[|f_{\text{serve}}(x) - f_{\text{train}}(x)|] \] Mối quan hệ chính xác giữa \(S_{\text{skew}}\) và độ chính xác phụ thuộc vào hàm mất mát, hình học của biên quyết định và phân phối trong sản xuất. Độ lệch không rõ nguyên nhân làm suy yếu giả định rằng kiểm định ngoại tuyến có thể ước tính hành vi trong môi trường sản xuất và có thể gây mất độ chính xác một cách thầm lặng, nhưng \(S_{\text{skew}}\) không phải là một phương trình suy hao độ chính xác dùng cho mọi trường hợp. Độ lệch này có thể xuất phát từ logic tiền xử lý không nhất quán, các triển khai thư viện khác nhau, giá trị đặc trưng bị lỗi thời, hoặc thay đổi trạng thái môi trường giữa hai đường dẫn mã.

Hàm ý: Tính nhất quán của các đặc trưng là một yêu cầu ở cấp kiến trúc, không chỉ là “thực hành tốt”. Kho đặc trưng không chỉ là cache; chúng có thể giảm sai lệch bằng cách tập trung hóa định nghĩa và cách truy xuất đặc trưng. Nhóm vẫn cần kiểm tra để đảm bảo các yếu tố như độ tươi mới, tính đúng theo thời điểm, tiền xử lý, tính tương đồng giữa mô hình và runtime, và sự tương đồng trong hậu xử lý. Ngay cả những khác biệt nhỏ (resize bằng PIL so với OpenCV, chuẩn hóa FP64 so với FP32) cũng có thể tích lũy, gây suy giảm độ chính xác một cách thầm lặng mà các hệ thống giám sát tiêu chuẩn có thể không phát hiện.

Đằng sau tất cả những lo ngại về độ tin cậy là một ràng buộc không thể thỏa hiệp: thời gian. Một hệ thống chụp ảnh y tế phát hiện khối u với độ chính xác 99 phần trăm nhưng mất 30 giây mỗi lần quét có thể bỏ lỡ thời hạn của quy trình làm việc. Một mô hình nhận thức trên xe tự hành phân loại chướng ngại vật chính xác nhưng phản hồi trong 200 ms thay vì 50 ms có thể bỏ lỡ thời hạn phanh. Một kết quả đúng có thể không có giá trị vận hành nếu nó đến quá muộn. Các mô hình được triển khai nhạy cảm với độ trễ hoạt động dưới một thời hạn, và vượt quá thời hạn đó có thể tương đương về mặt chức năng với việc không trả về bất kỳ dự đoán nào.

Principle 12: Nguyên tắc ngân sách độ trễ

Bất biến: Theo cách tính đường dẫn yêu cầu tuần tự, độ trễ đầu cuối là tổng của độ trễ mạng, tiền xử lý, suy luận, hậu xử lý và thời gian xếp hàng, và một triển khai chỉ đáp ứng thời hạn của nó tại một phân vị hoàn thành đã định: \[ L_{\text{lat,total}} = L_{\text{lat,net}} + L_{\text{lat,pre}} + L_{\text{lat,infer}} + L_{\text{lat,post}} + L_{\text{lat,queue}}, \qquad \Pr[L_{\text{lat,total}} \leq D] \geq q \] Hàm ý: Trong phục vụ (serving) nhạy cảm với độ trễ, sản phẩm chọn thời hạn và phân vị hoàn thành chấp nhận được, ví dụ 0.95, 0.99 hoặc 0.999, và thông lượng được tối ưu hóa trong ràng buộc đó. Hệ thống phục vụ phải triển khai cơ chế kiểm soát độ trễ đuôi (ví dụ: batching động với độ trễ giới hạn hoặc yêu cầu dự phòng (hedged requests)). Hệ thống phục vụ phải sẵn sàng hy sinh thông lượng tổng thể để đáp ứng thời hạn độ trễ của yêu cầu cũ nhất trong hàng đợi.

Một hệ thống có thể đáp ứng các SLO về độ trễ, phát hiện dịch chuyển phân phối đã đo được và duy trì tính nhất quán giữa huấn luyện và phục vụ (serving), nhưng vẫn gây hại có hệ thống. Các nguyên tắc trước giải quyết lỗi thầm lặng về tính đúng đắn và chất lượng dịch vụ; nguyên tắc này nhắm tới các lỗi làm suy giảm sự công bằng thông qua khuếch đại thầm lặng.

Principle 13: Mô hình phản hồi độ chệch (bias)

Bất biến: Khi đầu ra ảnh hưởng đến đầu vào trong tương lai, sự chênh lệch hôm nay trở thành đầu vào cho chu kỳ huấn luyện kế tiếp, nên nó tiến hóa như một hệ động lực thay vì giữ nguyên. Gọi \(\Delta_g(k) \geq 0\) là độ lớn chênh lệch cho nhóm \(g\) so với một nhóm tham chiếu cụ thể sau \(k\) khoảng thời gian phản hồi cố định. Nếu không có can thiệp hiệu quả và hệ số phản hồi không thứ nguyên \(\alpha_{\text{fb}} > 0\) xấp xỉ hằng, sự chênh lệch có thể tiến hóa như sau: \[ \Delta_g(k) \approx \Delta_g(0) \cdot \alpha_{\text{fb}}^k \] trong đó \(\Delta_g(0)\) là độ lớn chênh lệch ban đầu so với nhóm tham chiếu đó và \(\alpha_{\text{fb}}\) được hiệu chỉnh theo từng khoảng thời gian phản hồi. Hãy xem xét một mô hình phê duyệt khoản vay từ chối cấp tín dụng với tỷ lệ cao hơn đối với các ứng viên từ những cộng đồng vốn bị thiệt thòi trong lịch sử. Ứng viên bị từ chối không thể xây dựng lịch sử tín dụng, khiến các đơn đăng ký sau này yếu hơn, từ đó làm tăng tỷ lệ bị từ chối trong tương lai. Độ chính xác của mô hình trên phân phối dữ liệu huấn luyện của nó vẫn ổn định, nhưng cộng đồng mà nó phục vụ đã bị chính các quyết định của mô hình tái định hình. Khi \(\alpha_{\text{fb}} > 1\) theo các giả định này, vòng lặp phản hồi tự củng cố; khi \(\alpha_{\text{fb}} \leq 1\), động lực được mô hình hóa là ổn định hoặc tắt dần. Các triển khai thực tế cũng có thể phi tuyến tính, bão hòa hoặc thay đổi do can thiệp.

Hàm ý: Sự công bằng không phải là một cuộc kiểm toán sau triển khai; đó là một ràng buộc ổn định lên vòng lặp kiểm soát triển khai. Khi tác động đủ hệ trọng và việc thu thập hoặc sử dụng các thuộc tính theo nhóm là hợp pháp và có cơ sở, hệ thống phải giám sát các chỉ số hiệu suất phân tách theo các nhóm nhân khẩu học liên quan với mức độ chặt chẽ tương đương như khi áp dụng cho các phân vị độ trễ. Bởi vì một sự thoái lùi về độ chệch (bias) có thể không hiện ra ở độ chính xác tổng thể, giống như một vi phạm độ trễ ở phân vị cao có thể không hiện ra ở độ trễ trung bình.

Cùng nhau, năm nguyên tắc này xác định một vòng lặp kiểm soát triển khai: thiết lập những gì bằng chứng ủng hộ, quan sát hệ thống và môi trường đang vận hành, chỉ hành động khi một lỗi đo được cần can thiệp, và đánh giá lại các tiêu chí dịch vụ, dự đoán hoặc tiêu chí nhóm con liên quan. Chúng tách biệt chẩn đoán khỏi phản ứng. Một tín hiệu giúp thu hẹp phạm vi điều tra nhưng không chỉ định tự động can thiệp, cũng không chứng minh rằng chất lượng đã thực sự suy giảm.

Phần IV cụ thể hóa vòng lặp kiểm soát đó. Phục vụ (serving) mô hình xây dựng hạ tầng đáp ứng ngân sách độ trễ, ngay cả khi lưu lượng truy cập biến động. Vận hành ML (ML Operations) phát hiện các hiện tượng trôi dạt và lệch, đồng thời lưu giữ các bằng chứng cần thiết để chẩn đoán và ứng phó. Kỹ thuật có trách nhiệm xem xét sự công bằng và phản hồi như những khía cạnh động có thể đo lường được trong quá trình triển khai, thay vì chỉ là một lần kiểm tra tuân thủ. Tập sách này kết thúc bằng cách liên kết các biện pháp kiểm soát trong môi trường sản xuất này với các giới hạn định lượng và các mô hình đã được phát triển ở các phần trước.