Lựa chọn dữ liệu

Mục đích

Làm sao một tập con được chọn kỹ có thể giữ lại phần lớn giá trị của một tập dữ liệu lớn hơn nhiều?

Trong huấn luyện, ta phải trả chi phí để thu thập, gán nhãn, chấm điểm, di chuyển và xử lý các ví dụ, dù giá trị học tập của chúng không đồng đều. Các tập dữ liệu lớn thường có mẫu dư thừa, nhiễu hoặc lệch mục tiêu, còn những vùng khan hiếm lại thiếu đúng các trường hợp mà mô hình cần. Chọn dữ liệu biến sự không đồng nhất đó thành một bài toán tối ưu hệ thống. Nó có thể loại bỏ công việc tránh được trước khi huấn luyện, hướng việc gán nhãn và các bước huấn luyện vào những trường hợp giàu thông tin hơn khi quá trình học diễn ra, hoặc tạo thêm ví dụ còn thiếu khi nút thắt là sự khan hiếm. Cách làm này cũng cho phép đầu tư một lần vào học biểu diễn có thể tái sử dụng, khi chi phí đó có thể được phân bổ cho nhiều tác vụ hạ lưu. Vì vậy, mục tiêu không phải là có tập dữ liệu nhỏ nhất, mà là đạt chất lượng mục tiêu với chi phí đầu-cuối thấp nhất, đồng thời không bỏ sót các trường hợp hiếm, các nhóm thiếu đại diện, hay phạm vi bao phủ liên quan đến triển khai. Mỗi chiến lược đều có chi phí phụ của riêng nó: các ví dụ cần được chấm điểm, tạo ra, xáo trộn, lưu trữ hoặc xác thực, và những chi phí này có thể xóa sạch phần tiết kiệm mà chúng hứa hẹn. Phải đánh giá từ đầu đến cuối, vì lợi ích ở khâu gán nhãn hay huấn luyện có thể bị xóa bởi độ trễ của bước chọn lọc, truy cập lưu trữ, hoặc phối hợp phân tán. Một phương pháp chỉ xứng đáng khi lượng học mà nó bảo toàn hoặc tạo ra vượt quá công sức để áp dụng. Sự phân biệt này đặc biệt quan trọng trong các thí nghiệm lặp lại, nơi những giảm tải hữu ích có thể tích lũy, và trong quá trình thích nghi, nơi giá trị của một ví dụ thay đổi theo mô hình và phân phối mục tiêu. Kỹ thuật dữ liệu đã khẳng định rằng dữ liệu là mã nguồn của các hệ thống ML; chọn dữ liệu đặt câu hỏi: bằng chứng nào hữu ích lúc này và bằng chứng nào còn thiếu? Theo thuật ngữ D·A·M, đó là đồng thiết kế dữ liệu-thuật toán: định hình tín hiệu huấn luyện để mỗi đơn vị công việc của máy mang lại nhiều học hữu ích hơn.

Learning Objectives

Giải thích chọn dữ liệu như một quá trình đồng thiết kế dữ liệu-thuật toán, nhằm giảm tổng khối lượng công việc trước khi huấn luyện bắt đầu.
Tính toán tỷ lệ giữa thông tin và tài nguyên tính toán để quyết định liệu việc thêm các ví dụ có giúp cải thiện hiệu quả học tập trên mỗi FLOP hay không.
So sánh các phương pháp như loại bỏ trùng lặp, chọn tập lõi (coreset selection), và tỉa (pruning) dựa trên chất lượng nhằm giảm bớt dữ liệu tiền huấn luyện dư thừa.
Thiết kế các chiến lược curriculum, active learning, hoặc dùng dữ liệu tổng hợp để thay đổi giá trị của dữ liệu trong khi huấn luyện.
Áp dụng bất đẳng thức chọn lọc để kiểm tra xem chi phí phụ của chọn lọc có thấp hơn chi phí huấn luyện trên toàn bộ tập dữ liệu hay không.
Đánh giá các pipeline chọn lọc phân tán theo các ràng buộc về tính cục bộ lưu trữ, tính nhất quán và mức độ sử dụng GPU.
Chọn khoản đầu tư cho chọn dữ liệu dựa trên ROI, khấu hao và các chẩn đoán về đường biên tối ưu tính toán.

Kiến thức nền tảng về chọn dữ liệu

Trong quá trình huấn luyện, hệ thống phải trả chi phí theo quy luật sắt cho mỗi ví dụ mà nó xử lý, nhưng không phải ví dụ nào cũng mang lại tín hiệu học tập xứng đáng với chi phí đó. Chọn dữ liệu trao cho một tập dữ liệu sạch, được xây dựng tốt một mục tiêu ở cấp hệ thống: giữ lại những ví dụ đóng góp nhiều tín hiệu học tập nhất trên mỗi đơn vị tính toán. Kỹ thuật dữ liệu giúp tập dữ liệu đáng tin cậy nhờ nhãn chính xác, lược đồ nhất quán và các bản ghi được quản lý. Chọn dữ liệu tối ưu hóa giá trị của tập dữ liệu bằng cách rút ra lượng học tập tối đa từ số mẫu tối thiểu, qua đó trực tiếp làm nhỏ đi hạng mục tổng số thao tác $(O)$ trong quy luật sắt (nguyên tắc 3). Sự khác biệt này rất quan trọng: chất lượng hỏi dữ liệu có đúng không, còn giá trị hỏi liệu dữ liệu đúng có xứng đáng với tài nguyên tính toán bỏ ra để xử lý hay không.

Nguồn cung tính toán có thể vượt quá nguồn cung dữ liệu chất lượng cao.

¹ Các quy luật mở rộng: Jared Kaplan và các đồng nghiệp tại Johns Hopkins và OpenAI đã chứng minh thực nghiệm vào năm 2020 rằng độ lỗi của mô hình ngôn ngữ tuân theo các quan hệ theo luật lũy thừa với kích thước mô hình, kích thước tập dữ liệu và ngân sách tính toán trong các điều kiện họ nghiên cứu (Kaplan et al. 2020). Số mũ dữ liệu mà họ khớp được xấp xỉ $\alpha = 0.095$ trong $\mathcal{L} \propto D^{-\alpha}$. Giá trị này không phổ quát, nhưng dạng hiệu quả giảm dần giúp ta suy luận khi nào việc chọn lọc trở nên hiệu quả về chi phí hơn so với việc thu thập.

Kaplan, J., S. McCandlish, T. Henighan, T. B. Brown, B. Chess, R. Child, S. Gray, A. Radford, J. Wu, and D. Amodei. 2020. “Scaling Laws for Neural Language Models.” ArXiv Preprint abs/2001.08361.

² Bức tường dữ liệu: Khác với khả năng tính toán (có thể mở rộng bằng cách đầu tư vốn) hay thuật toán (có thể cải thiện nhờ nghiên cứu), kho văn bản chất lượng cao do con người tạo ra tăng trưởng chậm. Các dự báo cập nhật của Epoch AI ước tính rằng, theo các giả định về mức tiêu thụ được mô tả trong bài báo, các mô hình có thể sử dụng các tập dữ liệu có kích thước xấp xỉ bằng tổng lượng văn bản công khai do con người tạo ra trong giai đoạn 2026–2032 (Villalobos et al. 2022). Điều quan trọng đối với thiết kế hệ thống không phải là một mốc thời gian cố định; vấn đề là dữ liệu có thể trở thành một ràng buộc về nguồn cung chứ không chỉ đơn thuần là bài toán kinh tế. Ràng buộc này tác động trực tiếp đến tổng số phép toán $(O)$: khi dữ liệu chất lượng trở nên khan hiếm, thêm compute sẽ cho hiệu quả giảm dần, bất kể thông lượng phần cứng.

Villalobos, Pablo, Anson Ho, Jaime Sevilla, Tamay Besiroglu, Lennart Heim, and Marius Hobbhahn. 2022. “Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data.” arXiv Preprint arXiv:2211.04325.

Việc tăng lượng dữ liệu huấn luyện từ lâu đã là cách chuẩn để cải thiện mô hình. Các quy luật mở rộng (scaling laws)¹ (Kaplan et al. 2020; Hoffmann et al. 2022) định lượng mức độ hiệu suất mô hình có thể cải thiện theo kích thước tập dữ liệu, và các nhóm đã đáp lại bằng cách thu thập, tạo thêm nhiều ví dụ. Tuy nhiên, các cụm bộ tăng tốc có thể mở rộng năng lực tính toán khả dụng nhanh hơn nguồn cung văn bản và hình ảnh mới, chất lượng cao do con người tạo ra. Phần lớn nội dung công khai, dễ tiếp cận trên web đã được đưa vào các tập dữ liệu huấn luyện lớn, và năng lực gán nhãn của chuyên gia tăng trưởng chậm. Sự bất đối xứng này chính là bức tường dữ liệu,² và nó chuyển sự chú ý từ việc thu thập thêm dữ liệu sang việc khai thác nhiều giá trị hơn từ dữ liệu hiện có. Các phần sau sẽ trình bày các phương pháp chọn lọc và mô hình chi phí cần thiết để đưa ra lựa chọn đó.

Table 1 sử dụng một kịch bản tăng trưởng minh họa, trong đó năng lực tính toán của GPU tăng 10× mỗi 3 years, trong khi dữ liệu chất lượng cao có thể tiếp cận được lại tăng chậm hơn. Đây là các tham số đầu vào của kịch bản, không phải các tốc độ phổ quát đã được đo lường.

Table 1: Bất đối xứng về khả năng mở rộng trong tài nguyên ML: Trong kịch bản mở rộng được minh họa, năng lực tính toán tăng nhanh hơn nguồn cung dữ liệu chất lượng cao, tạo ra sự mất cân bằng giữa tính toán và dữ liệu, khiến việc lựa chọn dữ liệu trở nên có giá trị.

Tài nguyên	Tốc độ tăng trưởng	Hàm ý
Tính toán GPU	~10× / 3 years	Thông lượng phần cứng có thể tăng nhanh trong một kỷ nguyên nhất định
Dữ liệu huấn luyện (Web)	~2× / 5 years	Văn bản web chất lượng cao là hữu hạn; phần lớn đã được thu thập
Dữ liệu được gán nhãn	~1.5× / 5 years	Thông lượng chú thích của con người vốn dĩ bị giới hạn
Dữ liệu tổng hợp	Có khả năng lớn	Bị giới hạn bởi chất lượng của bộ tạo (các mô hình được huấn luyện trên dữ liệu do mô hình tạo ra có thể suy giảm chất lượng)

Việc mở rộng kích thước tập dữ liệu cuối cùng sẽ chạm trần nguồn cung hữu hạn của lời nói và văn bản chất lượng cao do con người tạo ra. Hãy theo dõi quỹ đạo trên thang log trong Tăng trưởng tập dữ liệu tiếp cận giới hạn để thấy yêu cầu huấn luyện của mô hình nền tảng tiến gần đến giới hạn trên ước tính của dữ liệu công khai sẵn có như thế nào.

Vì vậy, khoảng cách giữa những gì compute có thể xử lý và những gì dữ liệu chất lượng cao có thể truy cập hỗ trợ được là một biến số của hệ thống, không phải một quy luật cố định. Trong kịch bản minh họa ở table 1, nguồn cung compute tăng nhanh hơn dữ liệu chất lượng cao có thể truy cập, nên ngân sách cho bộ tăng tốc có thể vượt xa kho ngữ liệu, khiến hệ thống dồi dào compute nhưng bị hạn chế bởi dữ liệu. Để duy trì tính phù hợp của mô hình, cần liên tục làm mới kho ngữ liệu huấn luyện theo thời gian khi thế giới thay đổi; và khi chất lượng dữ liệu chứ không phải thời gian bộ tăng tốc trở thành nút thắt, việc lựa chọn dữ liệu thông minh là then chốt.

::: {#fig-running-out-of-human-data fig-env=“figure” fig-pos=“htb” fig-cap=“Tăng trưởng tập dữ liệu tiếp cận giới hạn: Một số tập dữ liệu của mô hình nền tảng đã tăng trưởng đến mức gần bằng ước tính tổng lượng văn bản công khai chất lượng cao. Dự báo này nên được hiểu là một kịch bản ràng buộc theo mốc thời gian, không phải một dự báo cố định: lựa chọn dữ liệu, tạo dữ liệu tổng hợp, học đa phương thức, cấp phép và chính sách lọc đều có thể làm thay đổi nguồn cung khả dụng.” fig-alt=“Biểu đồ đường theo thang logarit thể hiện kích thước tập dữ liệu từ 100 triệu đến 1 triệu tỷ token theo từng năm, từ 2012 đến 2028. Một đường xu hướng màu xanh dương đi lên, với các mốc đánh dấu cho GPT-3, Chinchilla, Llama 2 và Llama 3. Một dải màu cam từ 100 nghìn tỷ đến 1 triệu tỷ token được gắn nhãn High-Quality Public Text Stock, và một chú thích màu đỏ Public Data Exhaustion chỉ về phía đường xu hướng.”Kho văn bản công khai chất lượng cao”, và một chú thích màu đỏ “Cạn kiệt dữ liệu công khai” chỉ vào đường xu hướng.”}

:::

Bất đối xứng giữa compute và dữ liệu có thể đảo ngược thứ tự ưu tiên tối ưu hóa. Khi dữ liệu dồi dào còn compute khan hiếm, các thuật toán hiệu quả có thể rút thêm độ chính xác từ số chu kỳ GPU hạn chế. Khi compute dồi dào nhưng dữ liệu chất lượng khan hiếm, lựa chọn dữ liệu có thể giúp học được nhiều hơn từ mỗi mẫu. Lựa chọn dữ liệu diễn ra ở thượng nguồn, trước các tối ưu hóa về mô hình và máy. Bằng cách tỉa (pruning) phần dư thừa và chọn các mẫu có giá trị cao, khối lượng công việc (workload) được giảm ngay trước khi đi vào mô hình hoặc tới phần cứng, trực tiếp thu nhỏ hạng mục tổng số phép toán $(O)$ trong “quy luật sắt”. Đó là lý do cách nhìn hệ thống xem lựa chọn dữ liệu là giảm khối lượng công việc ở thượng nguồn, thay vì một heuristic trong mô hình hóa. Với các nhóm mà ngân sách bộ tăng tốc vượt quá kho ngữ liệu đã tuyển chọn, nút thắt cổ chai chuyển từ quyền truy cập GPU sang chất lượng, tính hợp pháp và độ đa dạng của dữ liệu huấn luyện.

Bộ công cụ kỹ thuật cho lựa chọn dữ liệu thông minh tuân theo một thứ tự tối ưu hóa có chủ đích: trước hết hỏi liệu một mẫu có đáng để xử lý không, rồi mới hỏi cách xử lý phần khối lượng công việc (workload) còn lại cho hiệu quả. Lựa chọn dữ liệu hiện thực hóa nguyên tắc “ưu tiên lợi ích lớn nhất” bằng cách tìm việc có thể tránh trước, rồi mới đơn giản hóa hoặc tăng tốc phần việc còn lại. Tỉa tĩnh (static pruning) loại bỏ các mẫu ít giá trị trước khi tính bất kỳ gradient nào. Lựa chọn động (dynamic selection) điều chỉnh “khẩu phần” dữ liệu trong quá trình huấn luyện thông qua curriculum learning và active learning. Tạo dữ liệu tổng hợp (synthetic generation) tạo mẫu giá trị cao bằng tăng cường (augmentation), mô phỏng, hoặc các ví dụ do “giáo viên” tạo khi dữ liệu thực tế trở nên khan hiếm.

Mỗi giai đoạn có thể tăng mật độ thông tin của dữ liệu đi vào mô hình, miễn là các cải thiện chất lượng đo được đủ bù chi phí phát sinh. Cả ba giai đoạn này tạo thành một bộ công cụ bổ trợ nhau: tỉa (pruning) giảm những gì pipeline chứa, lựa chọn tập trung vào cách pipeline sử dụng chúng, còn tổng hợp mở rộng những gì pipeline có thể truy cập. Để so sánh các kỹ thuật này, chúng ta cần một định nghĩa lựa chọn dữ liệu theo góc nhìn hệ thống, cùng với một cách đo lường hiệu quả của nó.

Định nghĩa lựa chọn dữ liệu

pipeline ba giai đoạn cần một thước đo để kỹ sư so sánh các mẫu trước khi tiêu tốn thời gian của bộ tăng tốc cho chúng. Một hình ảnh trùng lặp, một bản ghi sai nhãn, và một trường hợp biên hiếm có thể tốn cùng một lượng tính toán cho lượt truyền xuôi và truyền ngược, nhưng không mang lại cùng mức tín hiệu học tập. Vì vậy, lựa chọn dữ liệu bắt đầu bằng cách nêu rõ giá trị của từng mẫu so với chi phí tính toán. Tỷ lệ thông tin-tính toán (information-compute ratio) đo giá trị này dưới dạng tín hiệu học tập thu được trên mỗi đơn vị tính toán trong quá trình huấn luyện, được trình bày trong section 1.1.3.

Definition 1.1: Lựa chọn dữ liệu

Lựa chọn dữ liệu là quá trình tối đa hóa tỷ lệ thông tin-tính toán (ICR) của một tập dữ liệu huấn luyện.

Ý nghĩa: Kỹ thuật này giúp xác định dữ liệu đáng giữ lại, cần ưu tiên hoặc cần tạo mới cho mục tiêu đặt ra, đồng thời giảm tổng số phép toán $(O)$ khi có thể loại bỏ các mẫu dư thừa hoặc nhiễu mà vẫn giữ đủ độ bao phủ cần thiết.
Điểm khác biệt: Không giống data engineering vốn tập trung vào độ sạch và tính nhất quán của dữ liệu, lựa chọn dữ liệu chú trọng vào mức độ cung cấp thông tin và sự đa dạng của các mẫu.
Cạm bẫy thường gặp: Một ngộ nhận phổ biến là càng nhiều dữ liệu càng tốt. Thêm dữ liệu chất lượng thấp có thể kém hiệu quả hơn nhiều so với một tập nhỏ nhưng được chọn lọc kỹ. Vì vậy, khối lượng dữ liệu giữ lại phải được đánh giá cùng với độ bao phủ và chất lượng mục tiêu.

Để cụ thể, hãy xét việc huấn luyện một mô hình ngôn ngữ tự hồi quy thuộc họ lighthouse như GPT-2/Llama, được nêu trong Danh sách các mô hình tiêu biểu: Tiểu sử mô hình. Kịch bản này dùng một mô hình 70 tỷ tham số để làm rõ khoảng cách giữa tính toán và dữ liệu ở quy mô lớn.

Ngân sách tính toán (sử dụng 10,000 GPU H100 trong 3 months) tương đương khoảng $86.4M theo mức giá huấn luyện trên đám mây của chương này. Ngân sách này có thể xử lý khoảng 73.2T token ở mức 40 percent hiệu suất sử dụng FLOPs của mô hình duy trì. Ước tính lượng văn bản công khai do con người tạo ra, đã điều chỉnh về chất lượng và độ lặp, vào khoảng 300T token, lớn hơn nhiều so với một tập web đã tuyển chọn duy nhất. Tuy vậy, nút thắt thực tế hẹp hơn: bao nhiêu trong số đó thực sự có thể truy cập, sử dụng hợp pháp, chất lượng cao, đã khử trùng lặp và hữu ích cho phân phối mục tiêu. Nếu một nhóm chỉ có sẵn một tập dữ liệu đã lọc (5T) để dùng ngay, thì ngân sách tính toán này đã có thể xử lý tập đó khoảng 14.6× lần. Khi đó, nhóm có ba lựa chọn:

Lặp lại epoch: Nhóm có thể huấn luyện trên cùng dữ liệu qua nhiều epoch, nhưng hiệu quả sẽ giảm dần khi ví dụ bị dùng lại; số epoch hữu ích phụ thuộc vào khối lượng công việc (workload).
Hạ thấp ngưỡng chất lượng: Nhóm có thể đưa thêm dữ liệu vào, nhưng các token chất lượng thấp có thể làm giảm chất lượng mô hình.
Đầu tư vào lựa chọn dữ liệu: Nhóm có thể cải thiện lọc dữ liệu, thiết kế chương trình học và tăng cường dữ liệu tổng hợp để học được nhiều hơn từ mỗi token.

Theo những giả định này, tiêu chí quyết định nghiêng về chọn lọc dữ liệu hơn là mua thêm thời gian dùng bộ tăng tốc.

Cơ hội này áp dụng cho nhiều kiến trúc mô hình, dù nút thắt và mức giảm an toàn khác nhau. Không giống ngọn hải đăng ResNet-50 bị giới hạn bởi khả năng tính toán, các mô hình GPT-2/Llama có thể bị giới hạn bởi băng thông bộ nhớ trong suy luận và bị giới hạn bởi khả năng tính toán trong huấn luyện. Khi một phương pháp chọn lọc đã được kiểm chứng loại bỏ ví dụ hoặc token mà không thêm các bước bù đắp, ít mẫu hơn sẽ đồng nghĩa với ít FLOPs huấn luyện hơn. Vì vậy, cách đặt vấn đề phù hợp là theo hệ thống, không chỉ thuần thống kê.

Góc nhìn hệ thống

Bức tường dữ liệu cho thấy tại sao việc chọn lọc dữ liệu quan trọng; còn góc nhìn hệ thống chỉ ra cách tiếp cận hiệu quả. Khung tư duy ML truyền thống tập trung đạt cùng mức độ chính xác với ít mẫu hơn, xoay quanh độ phức tạp mẫu thống kê và lý thuyết khái quát hóa. Dù đúng, cách nhìn đó vẫn bỏ lỡ bức tranh lớn.

Ngược lại, một khung tư duy hệ thống cho việc chọn lọc dữ liệu đặt câu hỏi làm thế nào để giảm tổng chi phí để đạt hiệu suất mục tiêu trong toàn bộ vòng đời ML. Sự dịch chuyển này đưa trọng tâm từ các đường cong độ chính xác sang tiêu thụ tài nguyên, như table 2 minh họa.

Table 2: Góc nhìn ML so với Hệ thống về Lựa chọn Dữ liệu: Khung tư duy ML tối ưu hóa độ phức tạp mẫu; khung tư duy hệ thống tối ưu hóa tổng chi phí tài nguyên trên toàn bộ pipeline.

Khung nhìn machine learning	Khung nhìn hệ thống
“Ít mẫu hơn để đạt cùng độ chính xác”	“Ít FLOPs hơn để đạt cùng độ chính xác”
“Khả năng tổng quát hóa tốt hơn”	“Chi phí huấn luyện thấp hơn (thời gian, tiền bạc, năng lượng)”
“Giới hạn độ phức tạp của mẫu”	“Hiệu quả tài nguyên từ đầu đến cuối”
“Lý thuyết học máy”	“Kỹ thuật chi phí”

Khung tư duy hệ thống hé lộ các cơ hội tối ưu hóa mà khung tư duy ML không thấy. Để hiểu tại sao, hãy xem cách việc chọn lọc dữ liệu tương tác với định luật sắt đã được giới thiệu trong Định luật sắt của hệ thống ML.

Systems Perspective 1.1: Chọn lọc dữ liệu và định luật sắt

Trong định luật sắt của hệ thống ML $(T = \frac{D_{\text{vol}}}{\text{BW}} + \frac{O}{R_{\text{peak}} \cdot \eta_{\text{hw}}} + L_{\text{lat}})$, chọn lọc dữ liệu làm giảm số lượng ví dụ hoặc token đi vào khối lượng công việc (workload). Các tối ưu hóa ở cấp độ mô hình sau đó làm giảm số phép toán trên mỗi lần truyền thuận/ngược, và các tối ưu hóa ở cấp độ máy làm tăng $R_{\text{peak}}$ (thông lượng đỉnh) và $\eta_{\text{hw}}$ (mức sử dụng). Việc chọn lọc dữ liệu loại bỏ phần việc trước khi các tối ưu hóa ở các bước sau phải thực hiện.

Điều này khiến chọn lọc dữ liệu mang giá trị theo hệ số nhân trong định luật sắt: khi cả ba lớp tối ưu hóa cùng tác động vào cùng một điểm nghẽn, giảm kích thước tập dữ liệu 2× lần, cùng với số phép toán trên mỗi mẫu ít hơn 2× lần và thông lượng hiệu quả cao hơn 2× lần, sẽ mang lại tổng mức giảm chi phí 8× lần, chứ không phải 6×.

Hãy xét bài toán giảm chi phí huấn luyện. Khi số epoch, kích thước batch và lượng công việc trên mỗi mẫu giữ nguyên, việc giảm kích thước tập dữ liệu đi 50 percent sẽ giúp giảm một nửa số lần truyền xuôi (forward pass), truyền ngược (backward pass) và cập nhật gradient. Với kịch bản $100M dùng ở đây, điều đó tương ứng với mức tiết kiệm tính toán $50M. Các lịch trình thêm epoch hoặc tăng số bước sẽ làm giảm mức tiết kiệm này.

Khoản tiết kiệm tính toán sẽ lan sang toàn bộ ngăn xếp hạ tầng. Các tập dữ liệu lớn tiêu tốn hàng petabyte lưu trữ và bão hòa băng thông mạng trong huấn luyện phân tán; khử trùng lặp và lựa chọn coreset giúp giảm chi phí lưu trữ, đồng thời loại bỏ các nút thắt I/O có thể khiến các cụm GPU đắt tiền bị nhàn rỗi. Khoản tiết kiệm còn mở rộng sang bài toán chi phí gán nhãn: gán nhãn bởi chuyên gia có thể còn tốn hơn chi phí tính toán, và học chủ động cùng các phương pháp bán giám sát có thể giảm đáng kể ngân sách gán nhãn trong những bối cảnh thuận lợi. Tác động môi trường cũng cộng dồn thêm: với các lần huấn luyện chi phối bởi tính toán, giảm số lượng ví dụ sẽ giảm tiêu thụ năng lượng tỷ lệ với phần công việc được cắt giảm, miễn là tập con được chọn vẫn giữ nguyên độ chính xác. Các tập dữ liệu được tuyển chọn nhỏ hơn cũng giúp tăng tốc độ lặp. Một nhóm có thể lặp trong vài giờ thay vì vài ngày sẽ có lợi thế tích lũy rõ rệt trong phát triển mô hình.

Những lợi ích dây chuyền này cho thấy một điểm rộng hơn: nhà nghiên cứu ML thường đóng khung vấn đề dưới góc độ độ phức tạp mẫu (sample complexity), còn kỹ sư hệ thống lại nhìn thành chi phí trên mỗi điểm độ chính xác (cost-per-accuracy-point) trên toàn bộ pipeline, từ thu thập dữ liệu đến triển khai. Bộ công cụ của kỹ sư hệ thống cho bài toán này gồm các kỹ thuật để tối thiểu hóa tổng chi phí, các chỉ số để định lượng hiệu quả, và các mẫu kiến trúc để hiện thực hóa lựa chọn dữ liệu ở quy mô lớn.

Tỷ lệ thông tin - tính toán

Khung hệ thống trong section 1.1.2 đòi hỏi một thước đo định lượng. Việc lựa chọn dữ liệu tạo ra một ranh giới giữa độ chính xác và chi phí: giữ tất cả ví dụ sẽ tối đa hóa độ bao phủ nhưng lãng phí tài nguyên tính toán vì dư thừa, còn tỉa (pruning) quá mạnh thì tiết kiệm tính toán nhưng mất tín hiệu. Chúng ta cần một cách đo lường vị trí của từng mẫu trên ranh giới đó. Thước đo là lượng thông tin mỗi mẫu đóng góp cho quá trình huấn luyện của mô hình, tính trên mỗi đơn vị tài nguyên tính toán. Chúng ta chính thức hóa nó thành tỷ lệ thông tin-tính toán.

Figure 1 trình bày lại phân loại D·A·M dưới dạng một bản đồ tối ưu hóa, trong đó lựa chọn dữ liệu đóng vai trò tối ưu hóa đầu vào: giảm tổng khối lượng công việc (workload) trước khi dữ liệu đi vào mô hình hoặc phần cứng. Phía mô hình hỏi mỗi ví dụ cần bao nhiêu phép toán. Phía máy hỏi phần cứng thực thi các phép toán đó nhanh đến mức nào. Phía dữ liệu hỏi liệu ví dụ đó có nên được xử lý hay không. Ba edge của tam giác thể hiện các nút thắt cổ chai chính: compute bound mô tả các hệ thống bị giới hạn bởi thông lượng tính toán, I/O bound mô tả các hệ thống bị giới hạn bởi việc di chuyển dữ liệu, và sample efficiency mô tả các hệ thống bị giới hạn bởi lượng thông tin trong dữ liệu huấn luyện.

Figure 1: **Phân loại D·A·M dưới dạng Bản đồ Tối ưu hóa**: Hiệu suất machine learning được tổ chức quanh Thuật toán (Mô hình), Lựa chọn Dữ liệu và Máy (phần cứng). Các edge của tam giác gắn nhãn mối quan hệ compute-bound, I/O-bound và sample-efficiency, trong khi lựa chọn dữ liệu giúp giảm khối lượng công việc (workload) trước khi mô hình hoặc phần cứng thực thi.

Chúng ta có thể chính thức hóa điều này thành ICR, trong đó $I$ là nội dung thông tin: \[\text{ICR} = \frac{\Delta I}{\Delta \text{FLOPs}}\]

ICR càng cao thì mỗi FLOP dùng cho huấn luyện càng mang lại nhiều hiệu quả học hơn; nâng ICR là mục tiêu của mọi kỹ thuật trong chương này. Tử số của ICR không thể quan sát trực tiếp trong môi trường triển khai, nên các kỹ sư ước tính thông qua các chỉ báo gián tiếp: mức cải thiện trên tập kiểm định (validation) cho mỗi đơn vị tính toán, diện tích dưới đường cong học tập, mức giảm loss trên dữ liệu giữ lại (held-out data), điểm số mẫu dựa trên độ bất định hoặc gradient, và kiểm tra độ bao phủ trên các lát cắt liên quan đến triển khai. Những chỉ báo này không hoàn hảo, nhưng chúng giúp câu hỏi về hệ thống trở nên đo được trước khi một lượt huấn luyện tiêu hết ngân sách.

Ranh giới ICR: Khi dữ liệu trở thành một khoản thuế

Khi vượt qua ranh giới này, dữ liệu trở thành một khoản thuế: chi phí tính toán tăng lên, nhưng khả năng học hỏi lại bị đình trệ.

Tỷ lệ thông tin-tính toán (ICR) không cố định; nó tuân theo quy luật lợi suất giảm dần. Ranh giới ICR là điểm mà tín hiệu học tập cận biên từ dữ liệu bổ sung giảm dần về gần bằng không.

Để minh họa quy luật lợi suất giảm dần, ta đặt $I(D)$ là lượng thông tin của một tập dữ liệu có kích thước $D$ và giả sử $I(D) \propto \log D$. Đây là một mô hình phân tích đơn giản hóa, không phải là một định luật phổ quát. Nếu chi phí tính toán tỷ lệ tuyến tính với số phép toán trên mỗi mẫu $O_{\text{sample}}$, tức $C(D) = O_{\text{sample}} \cdot D$, thì ICR tương ứng sẽ tuân theo equation 1: \[\text{ICR}(D) = \frac{\frac{d}{dD} I(D)}{\frac{d}{dD} C(D)} \approx \frac{1/D}{O_{\text{sample}}} = \frac{1}{O_{\text{sample}} \cdot D} \tag{1}\]

Theo mô hình minh họa này, sự suy giảm theo $1/(O_{\text{sample}} \cdot D)$ tạo ra bức tường dữ liệu. Vượt quá một ranh giới phụ thuộc vào khối lượng công việc (workload), dữ liệu bổ sung có thể mang lại rất ít học thêm nhưng vẫn làm tăng chi phí tính toán. Khi đó, dữ liệu trở thành một thuế dữ liệu làm phình số hạng $O$ trong định luật sắt mà không đem lại cải thiện tương xứng cho tử số (độ chính xác) của RoC (lợi tức trên tính toán, xem Lợi tức trên tính toán (RoC) như một lăng kính kinh tế). Điểm uốn ở đây là một sự đánh đổi thực tế giữa hiệu suất mục tiêu và chi phí cận biên, chứ không phải là giá trị ICR tối đa về mặt toán học trong mô hình này.

Việc lựa chọn dữ liệu biến hạng mục tổng số phép toán $(O)$ trong định luật iron law từ một hằng số cố định thành một biến số. Khi ICR đo được tăng gấp 2 (2$\times$), số FLOPs cần để đạt cùng mức cải thiện đo được sẽ giảm còn một nửa. Điều này chỉ mang lại mức giảm thời gian lý tưởng tương đương với việc tăng thông lượng gấp 2 (2$\times$) khi khối lượng công việc (workload) bị giới hạn bởi tính toán và phần công việc tiết kiệm nằm trên đường găng. ICR tập trung riêng vào phần tính toán; framework mô hình hóa chi phí trong section 1.8 mở rộng cùng lập luận này sang chi phí thu thập, gán nhãn và lưu trữ dữ liệu.

Một batch dữ liệu thô ngẫu nhiên có thể có ICR thấp nếu chứa ví dụ dư thừa, nhiễu hoặc những ví dụ mà mô hình đã học thành thạo. Các pipeline dữ liệu hiệu suất cao (figure 2) có thể cải thiện ICR qua ba giai đoạn: tỉa (pruning) tĩnh trước khi huấn luyện, lựa chọn động trong quá trình huấn luyện và tạo dữ liệu tổng hợp theo yêu cầu. Để minh họa, hãy xét việc tính ICR trên một tác vụ cụ thể là lựa chọn coreset: một tập con được chọn có chủ đích nhằm giữ lại tín hiệu học của toàn bộ tập dữ liệu. Section 1.2.2 định nghĩa các phương pháp chấm điểm EL2N và GraNd dùng để xây dựng các tập con này, và section 1.11 cung cấp framework đo lường hoàn chỉnh để đánh giá các cải thiện hiệu suất này, bao gồm một công cụ chẩn đoán ranh giới tối ưu về tính toán có thể gợi ý liệu quá trình huấn luyện đang bị giới hạn bởi dữ liệu hay bởi tính toán.

Figure 2: **The Data Selection Pipeline**: Một cách tiếp cận có cấu trúc để tăng giá trị dữ liệu. Dữ liệu thô trước hết được tỉa (pruning) (Tỉa Tĩnh), sau đó được chọn trong quá trình huấn luyện (Lựa chọn Động), và cuối cùng được tổng hợp (Tạo Dữ liệu Tổng hợp). Mỗi giai đoạn có thể tăng Information-Compute Ratio (ICR) nếu mức cải thiện chất lượng xứng đáng với chi phí tính toán bỏ ra.

Checkpoint 1.1: Hiệu suất lựa chọn dữ liệu

Mục tiêu của lựa chọn dữ liệu là tối đa hóa ICR.

Kiểm tra chỉ số:

Ứng dụng ICR: với hai lần chạy huấn luyện có mức tăng độ chính xác như nhau nhưng ngân sách tính toán khác nhau, bạn có xác định được lần chạy nào có ICR cao hơn không?
Hiệu suất dữ liệu: theo một giao thức đánh giá cố định, bạn có thể giải thích khi nào một tập dữ liệu nhỏ hơn 50 phần trăm nhưng có ICR cao hơn 2$\times$ sẽ cho cùng mức tăng đo được trong khi chỉ tốn một nửa FLOPs huấn luyện không?

Kiểm tra pipeline:

Ba giai đoạn: bạn có thể liên hệ tỉa (pruning) tĩnh, lựa chọn động và tạo tổng hợp với vòng đời huấn luyện không?

Câu hỏi thực tế là khoảng cách hiệu suất có thể lớn đến mức nào trong một khối lượng công việc (workload) nơi kích thước tập dữ liệu, chi phí mô hình và chiến lược lựa chọn tương tác với các ngân sách FLOP cụ thể. Kịch bản ResNet-50 quy mô ImageNet dưới đây sử dụng các mức tăng độ chính xác giả định để minh họa phép tính; đây không phải là kết quả EL2N đã được báo cáo.

Napkin Math 1.1: Tính toán ICR: Coresets

Bài toán: Huấn luyện mô hình ResNet-50 lighthouse từ Danh sách các mô hình tiêu biểu: Tiểu sử mô hình trên ImageNet trong một epoch tiêu tốn 3.15 × 10¹⁶ FLOPs. Với các mức tăng độ chính xác giả định của kịch bản, việc giữ lại 50 percent của dữ liệu sẽ làm thay đổi tỷ lệ thông tin-tính toán như thế nào? Phép tính này giả định công việc xử lý mỗi mẫu là cố định và không tính chi phí lựa chọn.

Thiết lập:

Tập dữ liệu: ImageNet (1.28M)
Mô hình: ResNet-50 lighthouse (~8.2 GFLOP mỗi lượt truyền xuôi, xấp xỉ 24.6 GFLOP cho một bước huấn luyện bao gồm truyền xuôi và truyền ngược, tùy thuộc vào cách triển khai)
Một epoch: 1.28M $\times$ 24.6 GFLOP = 3.15 × 10¹⁶ FLOPs
Cải thiện độ chính xác giả định mỗi epoch (trong giai đoạn huấn luyện ban đầu): 5 percentage points

Lựa chọn ngẫu nhiên (đường cơ sở):

Xử lý tất cả 1.28M mẫu một cách đồng đều
Mức tăng độ chính xác: 5 percentage points
$\text{ICR}_{\text{random}}$ = 5 percentage points / (3.15 × 10¹⁶ FLOPs) = $1.6 \times 10^{-16}$ trên mỗi FLOP

EL2N Coreset (Error L2-Norm, một điểm số động lực huấn luyện được phát triển trong section 1.2.2; sử dụng 50 percent dữ liệu):

Xử lý 640.6K mẫu được chọn
Mức tăng độ chính xác giả định: 4.5 percentage points (tương đương 90 percent so với mức tăng của toàn bộ dữ liệu)
Tính toán: 640.6K $\times$ 24.6 GFLOP = 1.6 × 10¹⁶ FLOPs
$\text{ICR}_{\text{coreset}}$ = 4.5 percentage points / (1.6 × 10¹⁶ FLOPs) = $2.9 \times 10^{-16}$ trên mỗi FLOP

Nhận định từ góc nhìn hệ thống: Theo các giả định này, tập con được chọn đạt ICR cao hơn 1.8× trong khi mức tăng độ chính xác nhỏ hơn 0.5 percentage points. Một quyết định thực tế cần các mức tăng đo được, chi phí lựa chọn và kiểm tra độ bao phủ.

pipeline tối ưu hóa ba giai đoạn (tỉa (pruning) tĩnh, lựa chọn động và tạo tổng hợp) cung cấp các kỹ thuật cụ thể để cải thiện ICR. Tỉa (pruning) tĩnh, giai đoạn đầu tiên, loại bỏ các ví dụ trước khi huấn luyện bắt đầu; mức giảm an toàn phụ thuộc vào tập dữ liệu, mô hình, phương pháp lựa chọn và chỉ số mục tiêu.

Self-Check: Question

In an ML infrastructure scaling scenario where available GPU compute grows by approximately $10\times$ every 3 years while high-quality web data grows by only $2\times$ every 5 years, what primary systems regime emerges, and what is the appropriate systems response?
1. A compute-rich, data-constrained Data Wall regime where intelligent data selection and curation must maximize the learning signal extracted per token
2. A memory bandwidth-bound regime where model parallel sharding must replace data parallelism across all training clusters
3. An I/O ingestion bottleneck where disk read bandwidth must be quadrupled to keep GPUs saturated
4. A compute-starved regime where synthetic data generation should be eliminated to avoid wasting accelerator cycles
Under the illustrative analytical model where dataset information content scales logarithmically as $I(D) \propto \log D$ and training compute scales linearly with per-sample operations $C(D) = O_{\text{sample}} \cdot D$, how does the marginal Information-Compute Ratio $\text{ICR}(D)$ scale with dataset size $D$?
1. It remains constant at $\mathcal{O}(1)$ because additional compute scales proportionally with dataset size
2. It decays as $\mathcal{O}(1 / (O_{\text{sample}} \cdot D))$, turning additional unselected data into a data tax that consumes compute with minimal learning progress
3. It grows logarithmically as $\mathcal{O}(\log D / O_{\text{sample}})$ due to power-law parameter scaling
4. It decays exponentially as $\mathcal{O}(\exp(-D))$ once the training corpus exceeds accelerator memory capacity
Explain why a dataset where $100\%$ of the sample labels are verifiably correct can still exhibit a very low Information-Compute Ratio (ICR).
True or False: Because deep learning models benefit from large-scale training, collecting and training on twice as much raw, deduplicated web data will always double the total information learned by the model.
Order the three primary stages of the high-efficiency data selection pipeline according to their execution in an ML system lifecycle: (1) Dynamic Selection, (2) Static Pruning, (3) Synthetic Data Generation.

See Answers →

Tỉa (pruning) tĩnh

Giai đoạn đầu tiên của pipeline diễn ra hoàn toàn trước khi huấn luyện bắt đầu, loại bỏ các mẫu giá trị thấp để ít mẫu hơn đi đến mô hình. Tỉa (pruning) tĩnh và lọc trước huấn luyện (pretraining filtration) có thể giảm tổng khối lượng tính toán mà không cần sửa đổi vòng lặp huấn luyện hoặc kiến trúc mô hình, nhưng tác động của chúng tới chất lượng cuối cùng phải được đo lường.

Lập luận ủng hộ các tập dữ liệu nhỏ hơn

Các nghiên cứu chọn dữ liệu cho thấy một số tập dữ liệu có thể giảm bớt mà không làm giảm độ chính xác đo được. Nhiều dữ liệu hơn có thể cải thiện hiệu suất, nhưng các tập dữ liệu lớn cũng có thể chứa lượng dư thừa đáng kể. Các nghiên cứu thực nghiệm về chọn coreset và tỉa dữ liệu (data pruning) đã chứng minh hiệu ứng này trên một số benchmark tiêu chuẩn.

Trên CIFAR-10, Paul et al. (2021) báo cáo rằng EL2N tỉa (pruning) có thể loại bỏ một nửa dữ liệu huấn luyện mà không làm giảm độ chính xác. Trên ImageNet-1K, Sorscher et al. (2022) cho thấy một thước đo nguyên mẫu tự giám sát loại bỏ 20% dữ liệu mà không làm suy giảm hiệu suất. Xu hướng này cũng xuất hiện ở mô hình ngôn ngữ: các kho ngữ liệu thu thập từ web như The Pile³ và C4⁴ chứa đủ nội dung trùng lặp và theo mẫu đến mức khử trùng lặp trở thành một vấn đề ở cấp hệ thống. Trong các tập dữ liệu được Lee et al. (2022) nghiên cứu, việc loại bỏ các bản gần trùng lặp ảnh hưởng đến 3.04% của C4 và 13.63% của RealNews, và huấn luyện với dữ liệu đã khử trùng lặp giúp giảm hiện tượng ghi nhớ trong khi vẫn giữ nguyên hoặc cải thiện perplexity.

Sorscher, Ben, Robert Geirhos, Shashank Shekhar, Surya Ganguli, and Ari S. Morcos. 2022. “Beyond Neural Scaling Laws: Beating Power Law Scaling via Data Pruning.” Advances in Neural Information Processing Systems (NeurIPS) 35: 19523–36. https://doi.org/10.52202/068431-1419.

³ The Pile: Một kho ngữ liệu tiếng Anh khoảng 886 GB (nguồn báo cáo là 825 gibibytes), tổng hợp từ 22 tập dữ liệu con, gồm PubMed, ArXiv, GitHub, Project Gutenberg, Common Crawl, Stack Exchange, Wikipedia và bằng sáng chế USPTO (Gao et al. 2020). Thiết kế đa nguồn khiến đây là ví dụ điển hình về đa dạng dữ liệu: mỗi nhóm nguồn có mức độ trùng lặp, chất lượng và phạm vi bao phủ miền khác nhau, nên các pipeline chọn lọc phải giữ được phạm vi bao phủ đồng thời loại bỏ văn bản dư thừa.

Gao, Leo, Stella Biderman, Sid Black, Laurence Golding, Travis Hoppe, Charles Foster, Jason Phang, et al. 2020. “The Pile: An 800GB Dataset of Diverse Text for Language Modeling.” arXiv Preprint arXiv:2101.00027.

⁴ C4 (Colossal Clean Crawled Corpus): C4 áp dụng lọc trên dữ liệu Common Crawl, gồm phát hiện ngôn ngữ, khử trùng lặp các đoạn ba câu bị lặp và loại bỏ các trang không vượt qua kiểm tra chất lượng theo heuristic, tạo ra khoảng 750 GB văn bản tiếng Anh đã được làm sạch (Raffel et al. 2020). Việc lọc có chi phí tính toán riêng và có thể loại bỏ cả tài liệu hữu ích, nên cần đo lường ROI và tác động đến chất lượng thay vì suy luận chỉ từ kích thước kho ngữ liệu.

Raffel, C., N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, and P. J. Liu. 2020. “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.” Journal of Machine Learning Research 21 (140): 1–67.

Các lợi ích được báo cáo phụ thuộc vào từng benchmark. Hiệu quả tỉa (pruning) phụ thuộc vào mức dư thừa vốn có của tập dữ liệu, thuật toán chọn lọc và kiến trúc mô hình; hãy xác thực kết quả trên tác vụ cụ thể trước khi áp dụng tỉa (pruning) mạnh mẽ trong môi trường sản phẩm.

Các điểm dữ liệu riêng lẻ không nhất thiết có giá trị như nhau cho quá trình huấn luyện. Sự không đồng nhất này một phần đến từ cách các bộ phân loại học các đường biên quyết định. Nhiều mẫu nằm xa đường biên: một bức ảnh một con chó trong điều kiện ánh sáng tốt có thể trở nên dễ với mô hình sau khi nó học được các đặc trưng chính, trong khi các trường hợp mơ hồ hoặc ít được đại diện vẫn mang tính thông tin. Chất lượng nhãn cũng ảnh hưởng đến yêu cầu về dữ liệu. Trong một mô hình nhiễu đối xứng nhị phân đơn giản, tỷ lệ lật nhãn $\rho$ sẽ làm giảm hệ số kích thước mẫu hiệu quả xuống còn $(1 - 2\rho)^2$; ở $\rho = 10\%$, để đạt được giới hạn như dữ liệu sạch, cần khoảng $1/(1-2\rho)^2 \approx 1.56\times$ số mẫu. Notebook dưới đây dùng một mô hình đường cong học tập khác để minh họa một hệ số nhân chất lượng dữ liệu khác; lưu ý rằng không có hệ số nhân nào mang tính phổ quát.

Napkin Math 1.2: Hệ số nhân chất lượng dữ liệu

Vấn đề: Cần thêm bao nhiêu dữ liệu nhiễu để đạt cùng mức lỗi mục tiêu như dữ liệu sạch?

Toán học: Trong mô hình minh họa này, lỗi dữ liệu sạch tỷ lệ $\mathcal{O}(1/D)$, vì vậy $D_{\text{clean}} \propto 1/\epsilon$. Lỗi dữ liệu nhiễu tỷ lệ $\mathcal{O}(1/\sqrt{D})$, nên $D_{\text{noisy}} \propto 1/\epsilon^2$. Đối với lỗi mục tiêu $\epsilon$ = 0.01 (1 percent):

$D_{\text{clean}}$ ≈ 100
$D_{\text{noisy}}$ ≈ 10,000

Kết quả: Theo các giả định này, dữ liệu nhiễu cần số mẫu gấp 100× lần ở mức lỗi mục tiêu.

Thông tin chuyên sâu về hệ thống: Ở đây, việc làm sạch dữ liệu đóng vai trò như một bộ tăng tốc tính toán với hiệu quả gấp 100× lần; hệ số nhân thực tế phụ thuộc vào khối lượng công việc (workload).

Thuật toán chọn coreset

Câu hỏi thực tế tiếp theo là làm sao xác định nên giữ những mẫu nào. Chọn coreset⁵ biến quyết định tỉa (pruning) tĩnh thành một bài toán độ phủ: giữ lại tập con nhỏ nhất nhưng vẫn bảo toàn các thuộc tính thống kê của toàn bộ tập dữ liệu.

⁵ Coreset (tập lõi): Trong hình học tính toán, một tập con nhỏ có thể xấp xỉ một mục tiêu hình học cụ thể trong một mức sai số được kiểm soát (Agarwal et al. 2005). Trong machine learning, ý tưởng này được dùng như một nguyên tắc chọn mẫu, nhưng việc bảo đảm cho một embedding và mục tiêu về khoảng cách không tự khẳng định độ chính xác của mạng nơ-ron. Tập con được giữ lại vẫn cần được kiểm chứng trên tác vụ mục tiêu.

Agarwal, Pankaj K., Sariel Har-Peled, and Kasturi R. Varadarajan. 2005. “Geometric Approximation via Coresets.” In Combinatorial and Computational Geometry, edited by Jacob E. Goodman, János Pach, and Emo Welzl, vol. 52. MSRI Publications. Cambridge University Press. https://doi.org/10.1017/9781009701259.002.

Hệ thống phải quyết định phân bổ ngân sách chọn mẫu vào đâu: vào các độ đo độ phủ rẻ giúp giữ cấu trúc phân phối, hay vào các điểm số dựa trên động lực huấn luyện tốn kém hơn nhưng nhắm tốt hơn vào ranh giới quyết định. Quyết định này cũng cần một hàng rào bảo vệ trước khi áp dụng bất kỳ điểm số nào: các lớp, nhóm nhân khẩu học, khoảng thời gian và các chế độ lỗi hiếm gặp nhưng quan trọng khi triển khai đều cần có mức đại diện tối thiểu, vì ngay cả tập con có ICR trung bình cao nhất vẫn có thể loại bỏ những ví dụ định nghĩa rủi ro trong môi trường sản xuất.

Các phương pháp dựa trên hình học chọn các mẫu để bao phủ một biểu diễn đã chọn mà không cần huấn luyện mô hình mục tiêu. Thuật toán $k$-Center,⁶ với mục tiêu kiểu định vị cơ sở, chọn các mẫu sao cho khoảng cách tối đa từ mọi điểm đến tâm được chọn gần nhất (theo embedding và metric đã chọn) được giảm xuống.

⁶ thuật toán k-center: Chiến lược tham lam của thuật toán này lặp lại việc chọn điểm xa nhất so với các tâm hiện có, theo embedding và metric đã chọn. Sener và Savarese dùng khung tập lõi này cho học chủ động với mạng nơ-ron tích chập (Sener and Savarese 2018). Giới hạn bao phủ thu được áp dụng cho mục tiêu hình học đó, chứ không trực tiếp cho độ chính xác ở các tác vụ tiếp theo hay việc bảo toàn các lớp hiếm.

Sener, Ozan, and Silvio Savarese. 2018. “Active Learning for Convolutional Neural Networks: A Core-Set Approach.” International Conference on Learning Representations (ICLR).

Welling, Max. 2009. “Herding Dynamical Weights to Learn.” Proceedings of the 26th Annual International Conference on Machine Learning, 1121–28. https://doi.org/10.1145/1553374.1553517.

Herding đi theo một hướng khác. Quy trình gốc của Welling lặp lại việc xây dựng các mẫu giả đại diện sao cho thống kê đặc trưng của chúng xấp xỉ các moment quan sát được (Welling 2009). Các mục tiêu khớp moment liên quan có thể dẫn dắt việc chọn tập con từ một tập cố định. Các phương pháp này hấp dẫn về mặt tính toán vì chúng hoạt động trên các biểu diễn đặc trưng, nhưng điểm số của chúng vốn dĩ không nhận biết nhãn.

Các phương pháp dựa trên diễn biến huấn luyện dùng một mô hình proxy để nhận diện những ví dụ có thể quan trọng. GraNd (Gradient Normed) và EL2N (chuẩn L2 của lỗi)⁷ chấm điểm các mẫu theo độ lớn gradient hoặc lỗi dự đoán ngay từ giai đoạn đầu huấn luyện (Paul et al. 2021). Điểm cao thường chỉ ra những ví dụ mô hình proxy thấy khó, nhưng cũng có thể là nhiễu hoặc không đại diện, nên cần kiểm tra độ bao phủ và chất lượng. Cùng nghiên cứu này còn cho thấy điểm số có thể chuyển giao hiệu quả giữa nhiều kiến trúc, giúp lựa chọn dữ liệu dựa trên mô hình proxy bớt tốn kém. Các sự kiện quên⁸ theo dõi tần suất một mẫu được phân loại đúng rồi sau đó lại bị phân loại sai trong quá trình huấn luyện (Toneva et al. 2019).

⁷ EL2N (chuẩn L2 của lỗi) và GraNd (gradient normed): Các phương pháp này chấm điểm các mẫu dựa trên sai số hoặc chuẩn gradient ngay ở giai đoạn đầu huấn luyện, nhằm nhận diện những mẫu mà mô hình thấy khó nhất. Tính khả thi của cách tiếp cận này phụ thuộc vào khả năng chuyển giao, nghĩa là điểm số từ một mô hình proxy nhỏ có thể dùng để hướng dẫn chọn dữ liệu cho một mô hình mục tiêu lớn hơn nhiều. Ví dụ, một mô hình proxy được huấn luyện trong năm epoch có thể tạo điểm số để tuyển chọn một tập dữ liệu cho một lần chạy huấn luyện sản xuất đủ 90 epoch (Paul et al. 2021).

Paul, Mansheej, Surya Ganguli, and Gintare Karolina Dziugaite. 2021. “Deep Learning on a Data Diet: Finding Important Examples Early in Training.” Advances in Neural Information Processing Systems (NeurIPS) 34: 20596–607.

⁸ Các sự kiện quên: Phương pháp này nhận diện các ví dụ giá trị bằng cách theo dõi khi nào mô hình “quên” chúng—tức chuyển từ phân loại đúng sang phân loại sai trong quá trình huấn luyện. Đổi lại, chi phí phân tích rất cao vì cần một lần huấn luyện đầy đủ. Tuy vậy, các điểm số quan trọng thu được có thể chuyển giao đáng tin cậy từ các mô hình proxy nhỏ sang các mô hình mục tiêu lớn (ví dụ, ResNet-18 sang ResNet-50), và đây chính là yếu tố khiến chiến lược “lựa chọn dựa trên mô hình proxy với chi phí thấp” khả thi (Toneva et al. 2019).

Toneva, Mariya, Alessandro Sordoni, Remi Tachet des Combes, Adam Trischler, Yoshua Bengio, and Geoffrey J Gordon. 2019. “An Empirical Study of Example Forgetting During Deep Neural Network Learning.” International Conference on Learning Representations (ICLR).

Các phương pháp dựa trên hình học và dựa trên động lực huấn luyện tối ưu các đại lượng thay thế khác nhau, nên thứ hạng chất lượng của chúng phụ thuộc vào tập dữ liệu, cách biểu diễn, mô hình mục tiêu và ngân sách tính điểm. Hãy đọc phép so sánh này như một bảng ngân sách lựa chọn: một điểm số chỉ hữu ích khi mức tăng chất lượng mục tiêu mà nó mang lại xứng đáng với chi phí để tính điểm đó.

Mỗi thuật toán trong table 3 nằm ở một điểm khác nhau trong bài toán đánh đổi giữa tài nguyên tính toán và thông tin của framework ICR. Figure 3 minh họa một chiến lược dựa trên độ bất định, chứ không phải mọi phương pháp tập lõi. Lấy mẫu ngẫu nhiên xuất hiện ở bên trái; còn biểu đồ bên phải dồn ngân sách lựa chọn về gần ranh giới quyết định được minh họa. Các phương pháp dựa trên hình học có thể thay vào đó ưu tiên phủ đều khắp không gian embedding.

Table 3: So sánh Thuật toán Lựa chọn Tập Lõi: $D =$ kích thước tập dữ liệu, $K =$ kích thước tập lõi. Các phương pháp dựa trên hình học và dựa trên động lực huấn luyện tối ưu các đại lượng thay thế khác nhau, nên thứ hạng chất lượng của chúng phụ thuộc vào tập dữ liệu, cách biểu diễn, mô hình mục tiêu và ngân sách tính điểm.

Phương pháp	Chi phí tính toán	Yêu cầu huấn luyện	Tốt nhất cho	Hạn chế
k-Center	$\mathcal{O}(D^2)$ or $\mathcal{O}(DK)$	Không	Độ bao phủ, khám phá	Bỏ qua thông tin nhãn
Herding	$\mathcal{O}(DK)$	Không	Khớp phân phối	Giả định giống Gaussian
GraNd	$\mathcal{O}(\text{epochs} \times D)$	Có (vài epoch)	Đường biên quyết định	Yêu cầu huấn luyện proxy
Quên	$\mathcal{O}(\text{full training})$	Có (đầy đủ)	Các ví dụ khó	Tốn kém để tính toán
EL2N	$\mathcal{O}(\text{epochs} \times D)$	Có (vài epoch)	Lấy mẫu dựa trên sự không chắc chắn	Tốt nhất với mô hình proxy

Figure 3: **Lựa chọn Dựa trên Độ Bất Định (Minh họa)**: Cả hai biểu đồ đều chọn năm mẫu, chỉ thay đổi cách phân bổ chứ không thay đổi ngân sách. Lấy mẫu ngẫu nhiên phân bố các lựa chọn đó khắp không gian đặc trưng; chiến lược dựa trên độ bất định minh họa thì dồn chúng vào dải tô bóng quanh ranh giới quyết định hiện tại.

EL2N kết hợp với một mô hình proxy nhỏ mang lại sự cân bằng thực tế giữa chi phí chấm điểm và chất lượng lựa chọn. Cách làm là huấn luyện một mô hình nhẹ trong vài epoch, tính điểm EL2N, rồi chọn một tập con đáp ứng các kiểm tra về độ bao phủ và chất lượng. Mô hình proxy phải đưa ra các xếp hạng có thể chuyển giao sang mô hình mục tiêu, và khoản đầu tư này chỉ đáng giá khi mức tiết kiệm ở bước huấn luyện phía sau vượt chi phí lựa chọn ban đầu. Một kịch bản cụ thể sẽ minh họa quy trình này, mà không khẳng định rằng tập con 10 phần trăm sẽ giữ nguyên độ chính xác.

Example 1.1: Lựa chọn tập lõi trong thực tế

Kịch bản: Một nhóm kỹ thuật đặt mục tiêu chọn một tập lõi 100,000 (10 percent) từ 1 million ảnh huấn luyện để tăng tốc vòng lặp phát triển mô hình.

Chẩn đoán: Lấy mẫu ngẫu nhiên đơn giản dễ làm rơi các lớp hiếm và các ví dụ ở ranh giới quyết định. Huấn luyện một mô hình proxy nhẹ trong 5 epoch để tính điểm lỗi EL2N, nhờ đó giữ lại các mẫu có độ bất định cao, tức những mẫu gần ranh giới quyết định.

Bài học về hệ thống: Chọn coreset dựa trên mô hình proxy thay thế một số lần duyệt toàn bộ dữ liệu bằng tính điểm có mục tiêu. Cách này chỉ giúp tăng tốc huấn luyện mô hình chính khi xếp hạng từ proxy chuyển giao được và các kiểm tra độ bao phủ giữ lại các lớp hiếm cùng các trường hợp edge.

Listing 1 minh họa cách tính điểm EL2N và chọn một coreset bằng một mô hình proxy nhẹ. Cơ chế này dùng một lượng nhỏ tài nguyên tính toán để thăm dò nhằm xác định các mẫu có độ bất định cao gần ranh giới quyết định. Sau đó, mô hình chính được huấn luyện trên tập con đã giữ lại, thay vì trên các ví dụ dễ và dư thừa. Lưu ý ví dụ này yêu cầu một dataloader không xáo trộn để mỗi vị trí điểm số luôn khớp với chỉ mục tương ứng trong tập dữ liệu.

Việc tính điểm bằng proxy biến độ bất định thành các chỉ mục mẫu có thể tái sử dụng: compute_el2n_scores đo xem những mẫu nào vẫn khiến một mô hình mới huấn luyện ngắn bị nhầm lẫn, và select_coreset giữ lại các ví dụ giàu thông tin đó cho toàn bộ quá trình huấn luyện.

Listing 1: EL2N-Based Coreset Selection: The compute_el2n_scores function trains a proxy model for a few epochs, then measures prediction error via L2 distance from one-hot labels. High scores identify samples the proxy finds difficult, including potentially noisy examples. The select_coreset function illustrates ranking by this score; production use also requires coverage, noise, and target-quality validation.

def compute_el2n_scores(model, dataloader, num_epochs=5):
    """Compute EL2N scores.

    Returns L2 norm of (prediction - one_hot_label).
    """
    # Train proxy model for a few epochs to get meaningful predictions
    train_proxy(model, dataloader, num_epochs)

    scores = []
    model.eval()
    for x, y in dataloader:
        logits = model(x)
        probs = softmax(logits, dim=1)
        # One-hot encode labels
        one_hot = zeros_like(probs).scatter_(1, y.unsqueeze(1), 1)
        # EL2N score = L2 distance from confident prediction
        el2n = (probs - one_hot).norm(dim=1)  # High = uncertain
        scores.extend(el2n.tolist())
    return scores


def select_coreset(scores, dataset, fraction=0.1):
    """Select top-k highest-scoring (most uncertain) samples."""
    k = int(len(dataset) * fraction)
    # Sort by score descending (highest uncertainty first)
    indices = argsort(scores, descending=True)[:k]
    return Subset(dataset, indices)


# Illustrative 10% subset; validate accuracy and coverage before use
scores = compute_el2n_scores(proxy_model, full_loader)
coreset = select_coreset(scores, full_dataset, fraction=0.1)
train_full_model(model, coreset)

Khử trùng lặp dữ liệu

Trong khi chọn coreset tập trung giữ lại các mẫu có nhiều thông tin, một cách tiếp cận bổ trợ nhắm vào các mẫu trùng lặp — những mẫu làm tăng chi phí tính toán nhưng không thêm tín hiệu học. Khử trùng lặp có thể mang lại hiệu quả ngay tức thì, đặc biệt với các bản sao chính xác hoặc gần giống, và không cần huấn luyện mô hình. Điều này khiến nó trở thành một trong những tối ưu dễ áp dụng nhất trong lựa chọn dữ liệu. Tuy nhiên, cần kiểm định các ngưỡng gần trùng lặp để pipeline không loại bỏ các tín hiệu về phân phối hữu ích.

Hình thức khử trùng lặp đơn giản nhất (đã được giới thiệu như một giai đoạn trong pipeline kỹ thuật dữ liệu tại Xử lý dữ liệu có hệ thống, và ở đây được xem như một đòn bẩy tối ưu hóa) dùng các phương pháp dựa trên hàm băm để tìm trùng khớp chính xác. Bằng cách tính một hàm băm mật mã (MD5 hoặc SHA-256) cho mỗi mẫu và loại bỏ những mẫu có hàm băm giống hệt, ta có thể loại bỏ các bản sao giống hệt từng byte, vốn thường tích lũy trong các tập dữ liệu lớn thu thập từ web. Quá trình này có chi phí tính toán thấp, tăng tuyến tính theo kích thước tập dữ liệu và có thể dễ dàng chạy song song.

Phát hiện gần trùng lặp dùng để xử lý nội dung khác nhau ở cấp độ byte nhưng vẫn có mức chồng lấp đáng kể theo token hoặc shingle ký tự. Với văn bản, MinHash⁹ kết hợp Locality-Sensitive Hashing¹⁰ (LSH) ước lượng hiệu quả độ tương đồng Jaccard¹¹. Cách này phát hiện nội dung chỉnh sửa nhẹ nhưng có độ chồng lấp cao, tuy nhiên không xác lập được sự tương đương ngữ nghĩa giữa các diễn đạt khác nhau.

⁹ MinHash: Thuật toán này do Broder (1997) đề xuất để phát hiện các trang web trùng lặp cho AltaVista. Nó tạo các chữ ký gọn bằng các hàm băm ngẫu nhiên sao cho các tài liệu tương tự sẽ cho ra các chữ ký giống nhau với xác suất cao. Mỗi chữ ký nén một tài liệu thành một sketch kích thước cố định, cho phép ước lượng độ tương đồng theo cặp trong thời gian $\mathcal{O}(s)$ với $s$ là kích thước sketch.

Broder, A. Z. 1997. “On the Resemblance and Containment of Documents.” Proceedings. Compression and Complexity of SEQUENCES 1997 (Cat. No.97TB100171), 21–29. https://doi.org/10.1109/sequen.1997.666900.

¹⁰ Băm nhạy cảm cục bộ (LSH): LSH băm các chữ ký MinHash vào các bucket sao cho các chữ ký tương tự dễ đụng nhau hơn. Khâu tạo ứng viên giúp tránh phải so sánh mọi cặp, còn runtime và bộ nhớ phụ thuộc vào độ rộng chữ ký, cách chia theo dải (banding), kích thước bucket, và số lượng ứng viên cần xác minh.

¹¹ Độ tương đồng Jaccard: Được định nghĩa là $|A \cap B| / |A \cup B|$, có giá trị từ 0 (không giao) đến 1 (giống hệt). Trong khử trùng lặp, chỉ số này so sánh các tập shingle giữa những tài liệu có độ dài khác nhau. Cần hiệu chỉnh ngưỡng theo định nghĩa shingle, kho ngữ liệu (corpus) và chất lượng downstream, vì không có một ngưỡng chung nào tách bạch hoàn toàn giữa bản sao và các tài liệu liên quan hợp lệ.

¹² CLIP (Contrastive Language-Image Pretraining): Được huấn luyện trên 400 triệu cặp hình ảnh–văn bản, CLIP ánh xạ các hình ảnh và văn bản liên quan về ngữ nghĩa vào cùng một không gian embedding (Radford et al. 2021). Embedding có thể dùng để truy hồi các ứng viên cần rà soát, nhưng sự gần gũi về ngữ nghĩa không phải là bằng chứng cho thấy hai mẫu là bản sao trùng lặp. Việc tạo embedding cũng tốn kém đáng kể hơn so với tính toán băm nhận thức, với tỷ lệ chi phí phụ thuộc vào mô hình và phần cứng.

Radford, Alec, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, et al. 2021. “Learning Transferable Visual Models from Natural Language Supervision.” International Conference on Machine Learning (ICML), 8748–63.

Đối với hình ảnh, băm nhận thức tạo các chữ ký bền trước những biến đổi nhỏ như đổi kích thước và nén, giúp nhận diện các ứng viên tương tự về mặt thị giác dù được lưu ở các định dạng khác nhau. Tính tương đồng dựa trên embedding có thể tìm các ứng viên lân cận về ngữ nghĩa bằng cách tính các biểu diễn đậm đặc (CLIP¹² (Radford et al. 2021) cho hình ảnh, sentence transformers cho văn bản). Tuy nhiên, mức độ gần gũi này không tự chứng minh đó là bản sao trùng lặp, và cách làm này cũng tốn kém hơn về mặt tính toán.

Khử trùng lặp có thể giảm việc mô hình ghi nhớ nội dung lặp lại và tránh tiêu tốn FLOPs cho các bản sao trùng khít hoặc gần giống. Nó cũng có thể làm thay đổi trọng số thực nghiệm có chủ đích của tập dữ liệu, nên cần xác thực các ngưỡng và chất lượng ở các bước sau, thay vì mặc định rằng mọi bản sao đều có hại.

Bối cảnh khử trùng lặp cũng khác khi các ví dụ được giữ lại dùng để lập chỉ mục một biểu diễn có trạng thái, thay vì chỉ thuộc về tập dữ liệu huấn luyện.

Lighthouse 1.1: DLRM và khử trùng lặp embedding

Mô hình DLRM tiêu biểu của chúng tôi từ Danh sách các mô hình tiêu biểu: Tiểu sử mô hình bị giới hạn bởi dung lượng bộ nhớ, với các bảng embedding tiêu tốn hàng terabyte lưu trữ cho hàng tỷ ID người dùng/mục. Phần lớn dung lượng này bị lãng phí vào các embedding lạnh (cold embeddings) – tức là các ID hiếm khi xuất hiện trong dữ liệu huấn luyện.

Việc lựa chọn dữ liệu cho DLRM có thể bao gồm khử trùng lặp tương tác và tỉa (pruning) embedding đối với các ID lạnh. Việc loại bỏ các tương tác lặp lại giúp giảm số lượng ví dụ huấn luyện, nhưng chỉ thu nhỏ bảng embedding khi các ID biến mất, hoặc khi chính sách cấp phát, băm (hashing) hay chia sẻ thay đổi.

Tỉa (pruning) dữ liệu theo chất lượng

Khử trùng lặp loại bỏ các mẫu dư thừa, nhưng vẫn còn một nhóm dữ liệu có vấn đề thứ ba: các mẫu gây hại trực tiếp cho quá trình huấn luyện. Tỉa (pruning) dựa trên chất lượng loại bỏ các mẫu không đóng góp tín hiệu có ý nghĩa hoặc đưa vào thông tin mâu thuẫn khiến quá trình tối ưu hóa bị nhiễu loạn.

Phát hiện lỗi nhãn có thể là một hình thức tỉa (pruning) theo chất lượng có tác động lớn. Các công cụ như Cleanlab xác định các mẫu mà nhãn được gán có thể không chính xác dựa trên các đặc điểm về độ tin cậy của mô hình trong suốt quá trình huấn luyện. Một mẫu mà mô hình luôn dự đoán là lớp A nhưng được gán nhãn lớp B có thể là trường hợp biên khó, sự dịch chuyển phân phối, điểm mù của mô hình hoặc lỗi chú thích. Điểm số này nên kích hoạt việc xem xét thay vì xóa tự động; các lỗi đã xác nhận sau đó có thể được sửa hoặc loại bỏ.

Loại bỏ điểm ngoại lệ xử lý một dạng bệnh lý khác: các mẫu nằm xa mọi tâm cụm trong không gian đặc trưng. Những điểm như vậy có thể báo hiệu nhiễu, lỗi gán nhãn hoặc hỏng hóc, nhưng cũng có thể là các trường hợp edge hiếm gặp định hình rủi ro khi triển khai. Mấu chốt là phân biệt các ngoại lệ có giá trị thông tin với các mẫu không hợp lệ, dùng ngưỡng bảo thủ và xem xét ở cấp độ slice trước khi loại bỏ.

Lọc mẫu ít thông tin áp dụng các quy tắc theo miền để loại bỏ những mẫu không đủ tín hiệu cho việc học. Với tập văn bản, điều này thường là loại bỏ văn bản lộn xộn có độ phức tạp cao (độ phức tạp là thước đo của mô hình ngôn ngữ về mức độ bất ngờ của văn bản, nên giá trị cao báo hiệu chuỗi không mạch lạc) và, trong một số pipeline, cả văn bản rập khuôn hoặc lặp lại có độ phức tạp thấp. Với các tập dữ liệu hình ảnh, việc lọc nhắm vào các mẫu mờ, hỏng hoặc gần như đồng nhất vì chúng cung cấp rất ít thông tin trực quan.

Cùng nhau, ba kỹ thuật tỉa (pruning) tĩnh—lựa chọn coreset, loại bỏ trùng lặp và lọc chất lượng—có thể giảm khối lượng công việc trước khi huấn luyện. Khi số lượng epoch, kích thước batch và khối lượng công việc trên mỗi mẫu được giữ cố định, giảm tập dữ liệu 50 phần trăm đồng nghĩa với việc giảm 50 phần trăm số lần truyền xuôi, truyền ngược và cập nhật gradient. Các lịch huấn luyện thêm epoch hoặc bước để bù trừ sẽ làm giảm mức tiết kiệm đó.

Tỉa (pruning) tĩnh trả lời câu hỏi nên giữ lại những gì, nhưng xem câu trả lời là cố định. Một khi tập dữ liệu đã tỉa được chốt, mỗi epoch sẽ huấn luyện trên đúng tập con đó. Tuy nhiên, độ hữu ích của một mẫu có thể thay đổi khi mô hình học: những ví dụ thách thức một mô hình còn non có thể trở nên dễ sau đủ lần cập nhật gradient. Các kỹ thuật lựa chọn động khắc phục hạn chế này bằng cách điều chỉnh dữ liệu huấn luyện ở từng giai đoạn, dựa trên những gì mô hình đã nắm vững.

Self-Check: Question

A team wants to select a coreset of size $K$ from a dataset of size $D$ before training a large production model. They need a method that accounts for model uncertainty near decision boundaries but cannot afford a full target-model training run for scoring. Which method and systems trade-off best fits their requirement?
1. $k$-Center clustering on raw pixel inputs, because it guarantees zero-cost label-aware boundary identification
2. Forgetting Events scoring on the full production model, because it requires no proxy architecture and computes in $\mathcal{O}(1)$ time
3. EL2N (Error L2-Norm) scoring using an inexpensive proxy model trained for a few epochs, leveraging proxy score transferability
4. Herding on Gaussian-distributed features, because it completely avoids computing feature representations
Why is Locality-Sensitive Hashing (LSH) with MinHash preferred over exhaustive pairwise Jaccard similarity comparison for large-scale text deduplication?
1. MinHash LSH guarantees $100\%$ precision in detecting semantic paraphrases across different natural languages
2. MinHash eliminates the need to tokenize or shingle input documents before hashing
3. Exhaustive pairwise Jaccard comparison requires training a deep neural network, whereas LSH is purely rule-based
4. Exhaustive pairwise comparison requires $\mathcal{O}(D^2)$ document comparisons, whereas MinHash LSH hashes compact signatures into sublinear candidate collision buckets
In recommendation systems like DLRM where embedding tables consume terabytes of memory, how does interaction deduplication differ in systems impact from cold embedding pruning?
True or False: Removing near-duplicate documents with MinHash LSH always improves model accuracy because duplicate data has zero statistical value in all training regimes.
The training-dynamics coreset metric that measures the Euclidean norm of the difference between predicted class probabilities and the one-hot target vector early in training is known as ____.

See Answers →

Lựa chọn động

Ở giai đoạn đầu huấn luyện, mô hình hưởng lợi từ phạm vi bao phủ rộng với nhiều ví dụ dễ để xây dựng các biểu diễn đặc trưng ổn định. Về sau, chính những ví dụ đó tạo ra ít tín hiệu gradient mới, trong khi các mẫu khó hơn, nằm gần ranh giới quyết định, lại giá trị hơn cho việc tinh chỉnh. Lựa chọn động khai thác sự thay đổi trong tỷ lệ thông tin/tính toán này bằng cách điều chỉnh dữ liệu đưa vào sao cho phù hợp với trạng thái hiện tại của mô hình.

Học theo chương trình (Curriculum learning): Từ dễ đến khó

Kỹ thuật lựa chọn động đầu tiên, học theo chương trình (curriculum learning)¹³ (Bengio et al. 2009; Soviany et al. 2022), sắp xếp thứ tự mà dữ liệu được trình bày cho mô hình. Thay vì xáo trộn ngẫu nhiên, kỹ thuật này bắt đầu với các ví dụ đơn giản và dần dần đưa vào các ví dụ phức tạp hơn, phản ánh cách con người học: nắm vững kiến thức cơ bản trước khi bước sang phần khó hơn.

¹³ Học theo chương trình (Curriculum learning): Từ tiếng Latin currere (“chạy”), ban đầu có nghĩa là “lộ trình cần hoàn thành”—một phép ẩn dụ rất phù hợp với kỹ thuật này: dữ liệu huấn luyện giống như một lộ trình được thực hiện theo thứ tự có chủ ý, bắt đầu từ những phần dễ. Học theo chương trình có thể đóng vai trò như một phương pháp tiếp nối trong tối ưu hóa phi lồi: các ví dụ dễ hơn sẽ định hình quỹ đạo tối ưu hóa ở giai đoạn đầu, trước khi các ví dụ khó hơn được đưa vào. Từ góc độ hệ thống, ICR của một mẫu có thể thay đổi trong quá trình huấn luyện, qua đó thúc đẩy việc thay đổi cách pha trộn các ví dụ theo thời gian.

Bengio, Yoshua, Jérôme Louradour, Ronan Collobert, and Jason Weston. 2009. “Curriculum Learning.” Proceedings of the 26th Annual International Conference on Machine Learning, 41–48. https://doi.org/10.1145/1553374.1553380.

Soviany, Petru, Radu Tudor Ionescu, Paolo Rota, and Nicu Sebe. 2022. “Curriculum Learning: A Survey.” International Journal of Computer Vision 130 (6): 1526–65. https://doi.org/10.1007/s11263-022-01611-x.

Curriculum learning có thể thay đổi quỹ đạo tối ưu hóa bằng cách kiểm soát những gradient nào chiếm ưu thế ở mỗi giai đoạn. Các ví dụ dễ có thể cung cấp tín hiệu ổn định sớm, trong khi các ví dụ được chấm là khó có thể chứa thông tin ranh giới hữu ích, nhiễu nhãn hoặc các điểm ngoại lệ. Lịch trình từ dễ đến khó có thể làm cho quá trình huấn luyện mượt hơn với một số khối lượng công việc (workload), nhưng lợi ích còn tùy thuộc vào điểm đánh giá độ khó, quy tắc điều chỉnh tốc độ, mô hình và dữ liệu; vì vậy, table 5 coi các con số tiết kiệm chỉ mang tính minh họa chứ không phải là đảm bảo.

Để triển khai học theo chương trình, cần hai thành phần: một bộ chấm điểm độ khó để xếp hạng các mẫu, và một hàm điều chỉnh tốc độ để kiểm soát tốc độ đưa các mẫu khó vào. Một lựa chọn phổ biến là điều chỉnh tốc độ tuyến tính: \[ \text{samples}_{n_{\text{epoch}}} = \texttt{sort\_by\_difficulty}[:D \cdot \min(1, n_{\text{epoch}}/N_{\text{warmup}})] \] trong đó $n_{\text{epoch}}$ là số epoch hiện tại, $D$ là kích thước đầy đủ của tập dữ liệu, và $N_{\text{warmup}}$ là số epoch khởi động trước khi toàn bộ tập dữ liệu được sử dụng. Trong các epoch đầu, việc huấn luyện chỉ diễn ra trên phần dễ nhất của dữ liệu, với kích thước $D \cdot (n_{\text{epoch}}/N_{\text{warmup}})$. Sau giai đoạn khởi động, quá trình huấn luyện tiếp tục trên toàn bộ tập dữ liệu.

Bộ chấm điểm độ khó là một lựa chọn ở tầng hệ thống, vì nó đánh đổi chi phí tính toán để thăm dò với chất lượng sắp thứ tự, như table 4 cho thấy. Chấm điểm theo loss và độ tin cậy cho thứ tự tốt hơn nhưng phải chạy suy luận thêm; các heuristic tránh tính toán nhưng đòi hỏi kiến thức miền; còn self-paced đưa việc thích ứng vào ngay vòng lặp huấn luyện.

Table 4: Chiến lược chấm điểm độ khó cho học tập theo chương trình (Curriculum Learning): Các hàng trong bảng so sánh nguồn tín hiệu của từng bộ chấm điểm với các yêu cầu hệ thống hoặc sự đánh đổi mà nó mang lại.

Chiến lược	Điểm độ khó	Tốt nhất cho
Dựa trên hàm mất mát	Hàm mất mát từ mô hình thăm dò (thấp = dễ)	Đa năng; yêu cầu huấn luyện mô hình thăm dò
Dựa trên độ tin cậy	Độ tin cậy của mô hình Teacher (cao = dễ)	Khi mô hình Teacher có sẵn; distillation setups
Các phương pháp heuristic theo miền	Độ dài câu, độ phức tạp của hình ảnh	Không cần tính toán bổ sung; yêu cầu kiến thức miền
Tự điều chỉnh tốc độ	Hàm mất mát của mô hình hiện tại (cập nhật mỗi epoch)	Thích ứng; không cần mô hình thăm dò

Table 5 sử dụng số lượng epoch giả định để minh họa cách tính toán mức tiết kiệm có thể đạt được khi áp dụng học theo chương trình trên các khối lượng công việc (workload) khác nhau. Các giá trị này chỉ mang tính minh họa, không phải là kết quả đo lường thực tế từ các nghiên cứu về học theo chương trình đã được trích dẫn.

Table 5: Minh họa giảm số epoch trong học tập theo chương trình: Bảng này áp dụng một quy tắc độ chính xác mục tiêu cho số lượng epoch giả định của cả phương pháp cơ sở và phương pháp học theo chương trình. Nó chỉ minh họa phép tính, chứ không nhằm xếp hạng các tập dữ liệu hay phương pháp.

Tập dữ liệu	Mô hình	Chiến lược điều chỉnh tốc độ	Số epoch để đạt độ chính xác mục tiêu	Giảm số epoch
CIFAR-10	ResNet-18	Khởi động tuyến tính	115 so với 150 baseline	23.3% ít epoch hơn
CIFAR-100	ResNet-32	Tự điều chỉnh tốc độ	180 so với 220 baseline	18.2% ít epoch hơn
ImageNet	ResNet-50	Dựa trên hàm mất mát	80 so với 90 baseline	11.1% ít epoch hơn
ImageNet	ResNet-50	Đã học (nhãn nhiễu)	70 so với 90 đường cơ sở	22.2% ít epoch hơn

Tình huống này cho thấy rằng những cải thiện hữu ích từ việc sắp xếp chương trình học cần được đo lường dựa trên một chỉ số mục tiêu cố định. Thứ tự sắp xếp này phụ thuộc vào từng tác vụ cụ thể: anti-curriculum sẽ đưa các ví dụ khó lên trước, trong khi học tập tự điều chỉnh (self-paced learning) điều chỉnh độ khó dựa trên loss hiện tại của mô hình. Không có thứ tự nào luôn vượt trội trong mọi tình huống.

Học tập tích cực (Active learning): Con người trong vòng lặp

Học tập theo chương trình tối ưu hóa thứ tự đưa mẫu vào huấn luyện, nhưng giả định mọi mẫu đều đã có nhãn. Giả định này không còn đúng trong các lĩnh vực chuyên biệt, nơi việc gán nhãn đòi hỏi nhiều chuyên môn, thời gian hoặc chi phí. Thay vì gán nhãn hết ngay từ đầu, học tập tích cực (active learning)¹⁴ (Settles 2012; Ren et al. 2021) chuyển mục tiêu tối ưu hóa: từ chọn các mẫu đã có nhãn để huấn luyện sang chọn những mẫu chưa có nhãn đáng để gán nhãn.

¹⁴ Học tập tích cực (Active learning): Thành phần “tích cực” ở đây chính là thuật toán tự chọn ra các mẫu chưa có nhãn mà chuyên gia cần gán nhãn tiếp theo. Điều này chuyển vấn đề từ tối ưu hóa tính toán (huấn luyện trên dữ liệu có sẵn) sang một bài toán tài chính: tối đa hóa mức cải thiện của mô hình trên mỗi đô la chi cho việc gán nhãn bởi chuyên gia. Việc truy vấn các ví dụ mang lại nhiều thông tin nhất có thể giảm đáng kể nhu cầu gán nhãn so với lấy mẫu ngẫu nhiên, nhưng hiệu quả này phụ thuộc vào tác vụ, mô hình và oracle.

Học tập tích cực biến việc thu thập dữ liệu từ một hoạt động tĩnh thành một quy trình truy vấn lặp. Hãy lần theo vòng lặp trong figure 4, để thấy cách các chỉ số về độ không chắc chắn của mô hình chọn ra các mẫu chưa có nhãn có giá trị cao để chuyên gia gán nhãn.

Hiệu quả của học tập tích cực phụ thuộc rất nhiều vào chiến lược truy vấn được dùng để chọn mẫu cần gán nhãn (Settles 2009, 2012; Ren et al. 2021). Cách tiếp cận đơn giản nhất là lấy mẫu dựa trên độ không chắc chắn (uncertainty sampling). Kỹ thuật này chọn những mẫu mà mô hình kém tự tin nhất, ví dụ, các dự đoán có xác suất gần 0.5 đối với bài toán phân loại nhị phân. Cách này không tốn nhiều tài nguyên tính toán khi chỉ dùng một mô hình, nhưng có thể khiến các truy vấn tập trung quá mức vào một vùng dữ liệu mơ hồ. Kỹ thuật truy vấn theo ủy ban (Query-by-committee) mở rộng ý tưởng này bằng cách huấn luyện nhiều mô hình và chọn những mẫu mà các mô hình này bất đồng nhiều nhất, nhờ đó nắm bắt được sự không chắc chắn về mặt nhận thức (epistemic uncertainty) mà một mô hình đơn lẻ có thể bỏ qua.

Settles, Burr. 2009. Active Learning Literature Survey. Computer Sciences Technical Report 1648. University of Wisconsin-Madison.

Settles, Burr. 2012. Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Springer Cham. https://doi.org/10.1007/978-3-031-01560-1.

Ren, Pengzhen, Yun Xiao, Xiaojun Chang, Po-Yao Huang, Zhihui Li, Brij B. Gupta, Xiaojiang Chen, and Xin Wang. 2021. “A Survey of Deep Active Learning.” ACM Computing Surveys 54 (9): 1–40. https://doi.org/10.1145/3472291.

Với những ai sẵn sàng đầu tư nhiều tài nguyên tính toán hơn, kỹ thuật thay đổi mô hình dự kiến (expected model change) sẽ chọn các mẫu mà nếu được gán nhãn, sẽ tạo ra cập nhật gradient lớn nhất cho mô hình. Đây là một lựa chọn thay thế có cơ sở lý thuyết vững chắc nhưng đòi hỏi chi phí tính toán cao. Kỹ thuật lấy mẫu đa dạng (diversity sampling) bổ trợ cho các phương pháp dựa trên độ không chắc chắn bằng cách chọn những mẫu khác biệt với dữ liệu đã gán nhãn hiện có, nhằm tăng độ bao phủ thay vì dồn mọi truy vấn quanh cùng một vùng mơ hồ.

Học chủ động đặc biệt hữu ích trong các lĩnh vực cần chuyên môn để gán nhãn. Ví dụ, trong chẩn đoán hình ảnh, một hệ thống AI đọc X-quang có thể tự tin với các bệnh phổ biến nhưng lại thiếu chắc chắn ở những ca hiếm. Bằng cách tập trung gán nhãn của con người vào các trường hợp mơ hồ này, học chủ động giúp tận dụng hiệu quả thời gian chuyên gia vốn tốn kém, đồng thời tăng tốc cải thiện mô hình.

Figure 4: **Vòng lặp kín của học chủ động**: Chu trình lựa chọn này đánh đổi tài nguyên tính toán để chấm điểm proxy lấy các truy vấn được chọn từ tập chưa gán nhãn đưa cho *oracle* (chuyên gia) gán nhãn. Các tiêu chí về độ không chắc chắn, đa dạng và độ bao phủ nhằm thu được nhiều thông tin hơn trên mỗi lần gán nhãn so với việc lấy mẫu không chủ đích.

Tác động kinh tế có thể rất lớn trong các lĩnh vực chuyên môn, nơi chi phí gán nhãn và thời gian xử lý có thể vượt trội so với chi phí tính toán dùng để chấm điểm các ứng viên. Các chiến lược truy vấn này điều khiển từng vòng lặp học chủ động trong figure 4, và một so sánh ngân sách đơn giản cho thấy học chủ động có thể giảm chi phí gán nhãn và khối lượng huấn luyện với các giả định đã nêu.

Napkin Math 1.3: Lợi tức đầu tư (ROI) của học chủ động

Vấn đề: Một nhóm bệnh viện có 1 Million ảnh quét chưa có nhãn, chi phí gán nhãn bởi chuyên gia là $5/label, ngân sách $500,000 và thời hạn 1 month. Lấy mẫu theo độ không chắc chắn ảnh hưởng đến chi phí gán nhãn và khối lượng huấn luyện trên mỗi epoch ra sao so với ngưỡng cơ sở ngẫu nhiên khớp ngân sách?

Kịch bản A: Gán nhãn đơn giản

Chi phí: Gán nhãn tất cả 1 Million ảnh quét sẽ tiêu tốn $5,000,000 (vượt quá ngân sách 10× lần).
Ngưỡng cơ sở tương ứng với ngân sách: $\$500,000 \div \$5/\text{label} = 100,000$ ảnh quét ngẫu nhiên.
Kết quả gán nhãn đơn giản: Lựa chọn ngẫu nhiên không đảm bảo bao phủ các bệnh lý hiếm gặp.

Kịch bản B: Học chủ động

Chiến lược: Lấy mẫu theo độ không chắc chắn chọn 50,000 ảnh quét để chuyên gia gán nhãn.
Chi phí: $50,000 \times \$5/\text{label} = \$250,000$ (50 percent dưới mức ngân sách).
Công sức huấn luyện: Ít hơn $100,000 \div 50,000 = 2×$ ví dụ mỗi epoch so với đường cơ sở ngẫu nhiên có cùng ngân sách.
Kết quả học chủ động: Việc đạt mức tương đương với 100,000 ảnh quét ngẫu nhiên cần được kiểm chứng thực nghiệm.

Góc nhìn hệ thống: So với đường cơ sở ngẫu nhiên có cùng ngân sách, việc chọn mẫu giúp tiết kiệm $\$500,000 - \$250,000 = \$250,000$; độ chính xác vẫn cần được kiểm chứng thực nghiệm.

Việc chọn mẫu có mục tiêu có thể giảm khối lượng gán nhãn cần thiết để đạt một chỉ số mong muốn. Hãy so sánh hai đường cong độ chính xác minh họa trong figure 5, chú ý khoảng cách theo chiều ngang giữa phương pháp lấy mẫu theo độ không chắc chắn chủ động và đường cơ sở chọn ngẫu nhiên khi số lượng mẫu tăng.

Figure 5: **Hệ số nhân của Học chủ động**: Độ chính xác của **mô hình** được biểu diễn theo số lượng mẫu có **nhãn** trên trục logarit. Trong kịch bản minh họa này, học chủ động (đường màu xanh lá cây liền nét) đạt độ chính xác tương đương nhưng cần ít **nhãn** hơn so với lấy mẫu ngẫu nhiên (đường màu xám nét đứt); mũi tên cho thấy chênh lệch hiệu quả về **nhãn** khoảng 4$\times$ khi độ chính xác gần 90%.

Hình này theo dõi một trục khác so với phép tính trong phần tính toán sơ bộ 1.3. Nó minh họa hiệu quả về nhãn, còn ô chú thích tính toán chi phí gán nhãn theo các giả định khác. Học chủ động cũng phát sinh chi phí chấm điểm, thu thập và huấn luyện lại mô hình nhiều lần, nên tiết kiệm tổng thể đầu-cuối có thể nhỏ hơn khoảng cách về số lượng nhãn.

Học chủ động không chỉ giúp tiết kiệm chi phí gán nhãn: một quy tắc truy vấn phù hợp có thể tập trung rà soát vào các ví dụ mô hình còn không chắc chắn, các ví dụ đa dạng, hoặc các ví dụ liên quan đến lỗi.

Example 1.2: Khai thác mẫu âm khó trong chuông cửa thông minh

Kịch bản: Một bộ phát hiện thị giác trên chuông cửa thông minh nhận liên tục các luồng video, trong đó chủ yếu là cảnh nền trống (âm tính dễ) và các tư thế người đi bộ thông thường.

Chẩn đoán: Việc lấy mẫu khung hình ngẫu nhiên có thể bỏ sót những dương tính giả hiếm gặp như tượng, đống quần áo hay bóng có hình người. Học chủ động sẽ chuyển các dự đoán không chắc chắn (“Người: 51%”) và các lỗi trong vận hành được chọn mẫu đến người đánh giá để họ gán nhãn một cách có trọng tâm.

Bài học hệ thống: Khai thác âm tính khó có thể cải thiện hiệu quả gán nhãn bằng cách dành công sức xem xét cho các dương tính giả bị nghi ngờ và các âm tính khó khác. Luồng truy vấn vẫn cần được kiểm tra về tính đa dạng và độ bao phủ để không loại trừ những trường hợp mà mô hình rất tự tin nhưng lại sai có hệ thống.

Học bán giám sát: Sử dụng dữ liệu không có nhãn

Hãy xem xét một kịch bản minh họa trong lĩnh vực hình ảnh y tế: có tổng cộng 50,000 ảnh X-quang ngực. Trong số đó, 500 ảnh đã được các bác sĩ X-quang xem xét và gán nhãn¹⁵, đạt tỷ lệ gán nhãn là 1 percent. Tập khởi tạo đó có đủ hay không tùy thuộc vào nhiệm vụ và phân phối. Học bán giám sát có thể tận dụng 49,500 hình ảnh còn lại, miễn là tập chưa có nhãn này khớp với phân phối mục tiêu và phương pháp được xác thực trên dữ liệu đã gán nhãn.

¹⁵ Kinh tế học gán nhãn lâm sàng minh họa: Các khoảng tốc độ xem xét và mức trả theo giờ là giả định cho kịch bản này, không phải số liệu thực tế được báo cáo. Với các giả định đó, gán nhãn 500 ảnh sẽ cần 7–10 hours thời gian và tốn $1,000–3,000; còn gán nhãn toàn bộ 50,000 ảnh sẽ tốn $94,000–300,000. Phép tính này minh họa vì sao học bán giám sát có thể hấp dẫn khi nhãn chuyên gia đắt đỏ, nhưng thời gian xem xét thực tế, quá trình phân xử, tỷ lệ hiện mắc và các yêu cầu xác thực vẫn phải được đo lường.

Học chủ động (active learning) tối ưu hóa việc chọn mẫu cần gán nhãn, nhưng vẫn đòi hỏi con người chú thích từng ví dụ được chọn. Học bán giám sát mạnh tay hơn: khai thác tín hiệu học từ dữ liệu chưa có nhãn. Nó dùng một tập con đã gán nhãn để dẫn dắt việc học trên một kho dữ liệu chưa có nhãn lớn hơn, và có thể đạt độ chính xác gần như học có giám sát hoàn toàn với số nhãn ít hơn đáng kể; dù vậy, kết quả còn tùy vào nhiệm vụ, phân phối và phương pháp.

Ý tưởng cốt lõi của học bán giám sát là: dữ liệu chưa có nhãn tuy không thể trực tiếp dạy phép ánh xạ từ đầu vào sang đầu ra, nhưng chứa thông tin cấu trúc về phân phối đầu vào $p(x)$, giúp thu hẹp không gian giả thuyết. Với các giả định về tính trơn và cấu trúc cụm, một ranh giới quyết định cắt qua vùng mật độ dày sẽ gán nhãn khác nhau cho các đầu vào ở gần nhau và kém hợp lý hơn một ranh giới nằm trong vùng mật độ thấp. Các phương pháp bán giám sát tận dụng những giả định này, và cần đối chiếu chúng với nhiệm vụ mục tiêu.

Ba kỹ thuật chính hiện thực hóa ý tưởng này. Kỹ thuật gán nhãn giả (Pseudo-labeling)¹⁶ là cách trực tiếp nhất: huấn luyện mô hình trên dữ liệu đã gán nhãn, dùng chính mô hình để tạo “nhãn giả” cho những dự đoán không nhãn có độ tin cậy cao, rồi huấn luyện lại trên cả hai. Ngưỡng tin cậy là then chốt: đặt quá thấp sẽ đưa nhiễu nhãn vào và làm suy giảm việc học, còn đặt quá cao sẽ lãng phí những dữ liệu tiềm ẩn hữu ích.

¹⁶ Gán nhãn giả (Pseudo-labeling): Kỹ thuật này sử dụng các dự đoán có độ tin cậy cao của chính mô hình đã huấn luyện làm nhãn chuẩn cho dữ liệu chưa có nhãn; hiệu quả của kỹ thuật này dựa vào một vòng lặp thuận lợi: các dự đoán chính xác trên các ví dụ chưa có nhãn dễ mở rộng tập huấn luyện, cải thiện mô hình, từ đó cho phép dự đoán chính xác hơn trên các ví dụ khó hơn. Ngược lại, khi thất bại cũng tự củng cố theo chiều hướng xấu: các nhãn giả sai củng cố lỗi thông qua độ chệch xác nhận (confirmation bias), khiến ngưỡng tin cậy trở thành một tham số hệ thống trọng yếu. Đặt quá thấp sẽ tích lũy nhiễu nhãn qua các vòng huấn luyện; đặt quá cao sẽ lãng phí dữ liệu chưa có nhãn vốn có thể đóng góp tín hiệu học.

¹⁷ Điều chuẩn nhất quán (Consistency regularization): Phương pháp này dựa trên giả định về độ trơn: nếu hai đầu vào $x_1$ và $x_2$ gần nhau trong không gian đầu vào, thì nhãn của chúng cũng nên gần nhau. Mục tiêu huấn luyện là giảm thiểu độ lệch giữa dự đoán của mô hình trên một đầu vào và trên phiên bản đã được tăng cường của đầu vào đó. Về mặt khái niệm, điều này khác với tăng cường dữ liệu (vốn chỉ tạo thêm ví dụ huấn luyện) ở chỗ nó ràng buộc tính nhất quán của dự đoán như một thành phần trong hàm mất mát, ngay cả với dữ liệu không nhãn khi nhãn “đúng” chưa biết. Hệ quả ở cấp hệ thống là cần thêm tính toán để tạo và so sánh các dự đoán dưới nhiều biến đổi khác nhau, một sự đánh đổi có lợi trong bối cảnh giàu tài nguyên tính toán nhưng thiếu nhãn.

¹⁸ FixMatch: Phương pháp này tạo nhãn giả bằng cách dùng một hình ảnh được tăng cường yếu, rồi huấn luyện mô hình để dự đoán cùng nhãn đó cho một phiên bản tăng cường mạnh của hình ảnh. Việc huấn luyện dựa trên tính nhất quán này được kiểm soát bởi một ngưỡng độ tin cậy: chỉ dùng nhãn giả nếu dự đoán của mô hình trên bản tăng cường yếu có độ tin cậy rất cao (ví dụ, >0.95) (Sohn et al. 2020). Điều này thể hiện sự đánh đổi trực tiếp ở cấp hệ thống giữa việc tăng chi phí tính toán cho huấn luyện và giảm số lượng nhãn thủ công cần có; mức độ đánh đổi phụ thuộc vào mô hình cơ sở và mô hình chi phí.

Sohn, Kihyuk, David Berthelot, Nicholas Carlini, Zizhao Zhang, Han Zhang, Colin A Raffel, Ekin Dogus Cubuk, Alexey Kurakin, and Chun-Liang Li. 2020. “FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence.” Advances in Neural Information Processing Systems (NeurIPS) 33: 596–608.

Kỹ thuật điều chuẩn nhất quán (Consistency regularization)¹⁷ tiếp cận từ một hướng khác: buộc mô hình tạo ra các dự đoán tương tự cho những phiên bản đã được tăng cường của cùng một đầu vào. Một bộ phân loại vững nên bất biến trước các biến đổi thực tế như cắt xén, xoay hoặc thay đổi màu sắc. Các phương pháp như FixMatch¹⁸ kết hợp cả hai cách tiếp cận: chỉ gán nhãn giả cho các mẫu mà dự đoán trên bản không tăng cường đủ tự tin, đồng thời huấn luyện mô hình để dự đoán các nhãn này trên những phiên bản được tăng cường mạnh của cùng hình ảnh.

Lan truyền nhãn (Label propagation) là một cách tiếp cận thứ ba dựa trên suy luận đồ thị: xây dựng một đồ thị tương đồng trên tất cả mẫu và lan truyền nhãn từ các nút đã có nhãn sang các nút lân cận. Phương pháp này đặc biệt hiệu quả khi không gian đặc trưng có cấu trúc cụm rõ ràng.

Example 1.3: FixMatch trên CIFAR-10

Kịch bản: Một pipeline phân loại hình ảnh bán giám sát được huấn luyện trên tập dữ liệu CIFAR-10, chỉ sử dụng 250 mẫu có nhãn (25 mỗi lớp) cùng với dữ liệu không nhãn (Sohn et al. 2020).

Chẩn đoán: Tập dữ liệu huấn luyện CIFAR-10 được gán nhãn đầy đủ chứa 50K nhãn. FixMatch tạo các nhãn giả có độ tin cậy cao (ngưỡng >0.95) trên các ảnh không nhãn được tăng cường yếu và buộc tính nhất quán trên các biến thể tăng cường mạnh, đạt độ chính xác 94.9 percent trong thí nghiệm được trích dẫn.

Bài học hệ thống: Học bán giám sát là một sự đánh đổi: chấp nhận tốn thêm tài nguyên tính toán cho quá trình huấn luyện để giảm số nhãn thủ công cần tạo. Dựa trên các giả định về chi phí gán nhãn trong chương này, kịch bản FixMatch giúp giảm chi phí chuẩn bị tập dữ liệu xuống 8.1× lần; mức tiết kiệm tổng thể còn phụ thuộc vào chi phí dữ liệu không nhãn và chi phí tính toán.

Trong học bán giám sát, sự đánh đổi về hệ thống là thay công gán nhãn bằng việc tăng tính toán trên cả mẫu có nhãn và không nhãn. Có thể tiệm cận độ chính xác của học có giám sát đầy đủ với ít nhãn hơn, nhưng mức giảm nhãn và mức tăng tính toán không mang tính phổ quát. Một so sánh trên CIFAR-10 minh họa cụ thể sự đánh đổi này (table 6).

Hiệu quả đạt được là rất lớn, nhưng học bán giám sát không phải lúc nào cũng áp dụng được. Kỹ thuật này giả định dữ liệu chưa có nhãn cùng phân phối với dữ liệu đã có nhãn, và sẽ gặp khó khi: dữ liệu chưa có nhãn chứa mẫu ngoài phân phối (mô hình tự tin gán nhãn sai); mất cân bằng lớp nghiêm trọng (nhãn giả khuếch đại độ chệch (bias) của lớp đa số); hoặc tập dữ liệu đã gán nhãn không bao phủ đủ mọi lớp (không thể lan truyền nhãn tới các lớp chưa xuất hiện). Hãy luôn đánh giá trên một tập giữ lại (held-out set) có nhãn thật để phát hiện sự lệch phân phối.

Table 6: Hiệu quả nhãn của FixMatch trên CIFAR-10: Với 250 nhãn (chiếm 0.5 percent của tập dữ liệu), FixMatch đạt độ chính xác 94.9 percent trong khi dùng ít nhãn hơn 200× lần so với toàn bộ tập huấn luyện.

Ngân sách nhãn	Phương pháp	Độ chính xác	Hiệu quả nhãn
50,000 (100%)	Tập huấn luyện đầy đủ	—	Tham chiếu số lượng nhãn
4,000 (8%)	FixMatch	95.7%	12.5× hiệu quả hơn
250 (0.5%)	FixMatch	94.9%	200× hiệu quả hơn
40 (0.08%)	FixMatch	88.6%	1250× hiệu quả hơn

Mặc dù có những hạn chế trên, học bán giám sát có thể giảm nhu cầu về nhãn mà vẫn giữ độ chính xác trên các tác vụ phù hợp. Giữa các kỹ thuật, chọn coreset và khử trùng lặp (deduplication) giúp loại bớt các mẫu ít giá trị trước khi huấn luyện; học theo chương trình (curriculum learning) thay đổi thứ tự đưa dữ liệu vào; học chủ động (active learning) chọn những mẫu cần con người gán nhãn; và học bán giám sát trích xuất thêm tín hiệu từ một kho dữ liệu chưa có nhãn. Mỗi kỹ thuật đều có thể giảm phụ thuộc vào nhãn đặc thù của tác vụ, nhưng không kỹ thuật nào loại bỏ nhu cầu đánh giá dựa trên nhãn. Tiến trình này gợi mở một khả năng liên quan: nhãn đặc thù tác vụ có thể không cần thiết cho giai đoạn tiền huấn luyện. Chính cấu trúc của dữ liệu—chẳng hạn hình ảnh mèo giống các hình ảnh mèo khác, và các câu mạch lạc tuân theo quy tắc ngữ pháp—có thể cung cấp tín hiệu giám sát, trong khi chất lượng ở giai đoạn sau vẫn cần được đánh giá phù hợp với tác vụ.

Self-Check: Question

In curriculum learning, an engineer implements an ‘easy-to-hard’ pacing schedule that controls the fraction of the sorted training pool available to the model at training step $t$. What is the primary systems and statistical objective of this pacing strategy?
1. To guide optimization through stable early gradient trajectories using low-variance samples before exposing the model to high-variance boundary cases
2. To eliminate the need for backward passes during the first half of training
3. To maximize GPU memory bandwidth utilization by sorting tensors strictly by length in bytes
4. To replace human labelers with an automated oracle during the late stages of training
An active learning pipeline chooses unlabeled examples for costly radiologist annotation. The team notices that simple uncertainty sampling repeatedly selects images from a single ambiguous artifact class, starving other disease categories. Which query strategy should they adopt to resolve this pathology?
1. Least-confidence sampling, because it strictly selects the lowest top-1 probability prediction
2. Diversity sampling or hybrid uncertainty-diversity sampling (such as BADGE), which balances uncertainty near decision boundaries with feature-space coverage
3. Random undersampling of the entire unlabeled pool to reduce dataset size before scoring
4. Uniform zero-shot pseudo-labeling without confidence thresholds
Explain the mechanism of confirmation bias in semi-supervised pseudo-labeling, and specify how confidence thresholding mitigates it.
True or False: Consistency regularization methods such as FixMatch rely on the smoothness assumption, asserting that realistic perturbations of an input sample should not change the model’s predicted class distribution.
Order the steps in an active learning closed-loop iteration: (1) Select top query samples via query strategy, (2) Acquire expert annotations from the oracle, (3) Score unlabeled pool using current model, (4) Retrain or update model on expanded dataset, (5) Add newly labeled samples to the training set.

See Answers →

Học tự giám sát

GPT được huấn luyện để dự đoán token kế tiếp trong một chuỗi. BERT được huấn luyện để điền các token bị che (masked token). Cả hai mục tiêu tiền huấn luyện này đều không cần nhãn thủ công gắn với từng tác vụ. Học tự giám sát¹⁹ tổng quát hóa nhận định đó: bằng cách thiết kế các tác vụ tiền đề (pretext task) khai thác cấu trúc của dữ liệu để tự tạo tín hiệu giám sát, các mô hình có thể học các biểu diễn có thể tái sử dụng từ dữ liệu chưa có nhãn ở quy mô lớn. Trong khi học chủ động (active learning) và học bán giám sát (semi-supervised learning) giúp giảm nhu cầu về nhãn, SSL đổi cách tiếp cận bằng việc coi chính cấu trúc chưa có nhãn là tín hiệu tiền huấn luyện. Trong sơ đồ ba giai đoạn, điều này khiến SSL không phải là một giai đoạn lựa chọn thứ tư, mà là sự mở rộng của nguồn dữ liệu sẵn có: câu hỏi chuyển từ việc chọn những mẫu đã gán nhãn nào để huấn luyện sang cách các mẫu chưa gán nhãn có thể hỗ trợ tiền huấn luyện. Nó giải quyết một khía cạnh của thách thức về dữ liệu trong section 1.1.4 bằng cách mở rộng điều gì được tính là tín hiệu huấn luyện, đồng thời vẫn giữ nguyên các yêu cầu về chất lượng tập dữ liệu, cấp phép, phạm vi bao phủ và đánh giá bằng nhãn.

¹⁹ Học tự giám sát: Tác vụ tiền đề (pretext task), chẳng hạn như dự đoán token tiếp theo hoặc token bị che, cung cấp tín hiệu giám sát được lấy từ chính dữ liệu. Điều này giúp giảm sự phụ thuộc vào nhãn của con người dành riêng cho tác vụ nhưng có thể đòi hỏi lượng tính toán tiền huấn luyện đáng kể. Việc phân bổ chi phí (amortization) phụ thuộc vào mức độ mô hình được tái sử dụng rộng rãi.

Nhãn là một dạng giám sát; một tác vụ tiền đề (pretext task) cũng có thể rút ra tín hiệu để học từ cấu trúc của dữ liệu, như table 7 tóm tắt.

Table 7: Các tác vụ tiền đề tự giám sát theo loại hình: Mỗi tác vụ lấy tín hiệu giám sát từ cấu trúc dữ liệu thay vì nhãn của con người, cho phép tiền huấn luyện trên các tập dữ liệu lớn chưa gán nhãn.

Phương thức	Tác vụ tự giám sát	Tín hiệu giám sát
Văn bản	Mô hình hóa ngôn ngữ được che giấu	Dự đoán [MASK] từ ngữ cảnh
Văn bản	Dự đoán token tiếp theo	Dự đoán token tiếp theo trong chuỗi
Hình ảnh	Học tương phản	Cùng một hình ảnh (được tăng cường) so với các hình ảnh khác nhau
Hình ảnh	Tự mã hóa được che giấu	Tái tạo các patch được che giấu
Đa phương thức	Căn chỉnh kiểu CLIP	Ghép nối các cặp hình ảnh-văn bản

Các tác vụ tiền đề (pretext task) tự động tạo tín hiệu giám sát. Mục tiêu masked-token có thể khuyến khích mô hình học cấu trúc ngữ pháp và ngữ nghĩa; dự đoán token tiếp theo dạy cấu trúc tiếp nối; và các mục tiêu ảnh tương phản khuyến khích các đặc trưng thị giác bất biến với những phép biến đổi đã chọn. Các cách tiếp cận này dựa trên các họ mạng nơ-ron tích chập và transformer trong Kiến trúc mạng, nhưng cách tính chi phí trong hệ thống mới là điều quan trọng: học tự giám sát loại bỏ phần chú thích đặc thù tác vụ khỏi khâu tiền huấn luyện, chứ không loại bỏ chi phí dữ liệu. Tiền huấn luyện có thể bắt đầu trên các tập dữ liệu chưa gán nhãn mà không phải chờ nhãn ở cấp ví dụ, nhưng các khâu thu thập, lọc, cấp phép, lưu trữ và xử lý vẫn phải thực hiện. Việc tách tiền huấn luyện khỏi khâu gán nhãn hạ nguồn tái định hình kinh tế của machine learning khi biểu diễn có thể chuyển giao giữa các tác vụ; phần thích ứng và đánh giá dành riêng cho từng tác vụ vẫn có yêu cầu dữ liệu riêng.

Kinh tế học của việc phân bổ chi phí

Để hiểu tại sao học tự giám sát trở thành trung tâm của nhiều quy trình làm việc với mô hình nền tảng (foundation model), chúng ta cần xem xét cấu trúc kinh tế của nó. Mô hình nền tảng là một mô hình cơ sở được tiền huấn luyện trên phạm vi rộng, có thể tái sử dụng và thích ứng với nhiều tác vụ hạ nguồn thông qua tinh chỉnh (fine-tuning). Sự chuyển dịch này mang lại tiết kiệm chi phí cụ thể nhờ phân bổ chi phí, trong đó phần tiền huấn luyện tốn kém được thực hiện một lần rồi dùng lại cho nhiều ứng dụng khác nhau (table 8).

Table 8: Minh họa phân bổ chi phí của mô hình nền tảng: Các phạm vi về nhãn và tài nguyên tính toán ở đây là giả định cho kịch bản này. Chúng cho thấy vì sao việc tái sử dụng có thể làm giảm chi phí biên cho mỗi tác vụ khi có thể chuyển giao biểu diễn, chứ không phải một tỷ lệ tinh chỉnh (fine-tuning) áp dụng chung cho mọi trường hợp.

Phương pháp	Nhãn mỗi tác vụ	Tính toán mỗi tác vụ	Thu thập dữ liệu
Huấn luyện từ đầu	100K–1M được gán nhãn	100% huấn luyện đầy đủ	Thu thập cụ thể cho tác vụ
Tinh chỉnh mô hình nền tảng	100–1K được gán nhãn	1–5% của huấn luyện đầy đủ	Tái sử dụng corpus tiền huấn luyện

Để minh họa sự chuyển đổi kinh tế này, hãy xem xét một công ty đang xây dựng 10 bộ phân loại chuyên biệt. Theo các giả định của kịch bản, mỗi tác vụ nếu huấn luyện từ đầu sẽ cần 100,000 nhãn, với chi phí $1 cho mỗi nhãn, tổng chi phí nhãn cho tất cả các tác vụ là $1M. Gánh nặng tính toán được mô phỏng là 10,000 GPU-hours.

Trong kịch bản tinh chỉnh (fine-tuning), công ty chi 10,000 GPU-hours một lần cho huấn luyện trước. Sau đó, mỗi tác vụ được gán 1,000 nhãn và cần 50 GPU-hours chi phí tính toán. Trên tổng 10 tác vụ, chi phí nhãn cho tinh chỉnh (fine-tuning) là $10K.

Với các đầu vào này, chi phí gán nhãn giảm 100× lần, và chi phí tính toán cận biên cho mỗi tác vụ giảm 20× lần. Đây là hệ quả của các giá trị kịch bản đã chọn, trong khi tổng chi phí tính toán chỉ trở nên có lợi sau khi đủ tác vụ hạ nguồn để khấu hao chi phí huấn luyện trước.

Cấu trúc chi phí này cho thấy tinh chỉnh (fine-tuning) có thể kinh tế khi một mô hình đã huấn luyện trước được chuyển giao cho nhiều ứng dụng hạ nguồn. Kết quả phụ thuộc vào chi phí huấn luyện trước, số lần tái sử dụng và yêu cầu thích ứng của từng tác vụ.

Đầu tư vào huấn luyện trước mô hình nền tảng làm thay đổi căn bản kinh tế của các tác vụ hạ nguồn. Hãy so sánh các biểu đồ cột chi phí đặt cạnh nhau trong figure 6: bên trái là chi phí huấn luyện lại từ đầu lặp đi lặp lại, còn bên phải là chi phí huấn luyện trước đã được khấu hao kèm tinh chỉnh (fine-tuning) chi phí thấp.

Figure 6: **Khấu hao chi phí trong mô hình nền tảng**: Huấn luyện từ đầu (bên trái) cần 1,000 GPU-hours cho mỗi tác vụ (tổng 10,000 GPU-hours cho 10 tác vụ). Cách tiếp cận mô hình nền tảng (bên phải) trả trước 10,000 GPU-hours để tiền huấn luyện, nhưng đưa chi phí cho mỗi tác vụ tiếp theo xuống còn 50 GPU-hours. Ở 10 tác vụ, tổng chi phí của hai phương pháp là tương đương (10,000 GPU-hours so với 10,500 GPU-hours), nhưng chi phí biên trên mỗi tác vụ giảm 20× lần, và điểm giao nơi mô hình nền tảng bắt đầu có lợi hơn rơi vào khoảng 10.5 tác vụ. Vì vậy, ảnh chụp tại mốc 10 tác vụ vẫn nằm ngay dưới điểm hòa vốn.

Cách tiếp cận mô hình nền tảng

Xét về khấu hao chi phí, học tự giám sát có thể được lợi, dù mỗi phương pháp SSL lại nằm ở một điểm khác nhau trên đường biên chi phí–hiệu quả. Các thí nghiệm SimCLR gốc (Chen et al. 2020) đạt hiệu quả cao với batch lớn tới 4.096. Trong khi đó, MoCo (He et al. 2020) dùng một “từ điển” dựa trên hàng đợi và bộ mã hóa động lượng để tách số lượng mẫu âm khỏi kích thước mini-batch. Các phương pháp masked modeling có những đánh đổi riêng giữa bộ nhớ và số bước. Tiền huấn luyện sinh tuân theo quy luật lũy thừa thực nghiệm theo dữ liệu, tham số và tài nguyên tính toán, nên trở nên hấp dẫn khi chi phí được phân bổ cho nhiều tác vụ hạ nguồn. Các phương pháp này dựa trên các họ kiến trúc được giới thiệu trong Kiến trúc mạng. Điều quan trọng với lựa chọn dữ liệu là tiền huấn luyện tự giám sát có thể tăng giá trị của lượng dữ liệu có nhãn hạn chế khi biểu diễn học được chuyển giao tốt.

Chen, Ting, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020. “A Simple Framework for Contrastive Learning of Visual Representations.” Proceedings of the 37th International Conference on Machine Learning, ICML’20, vol. 119: 1597–607.

He, Kaiming, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. 2020. “Momentum Contrast for Unsupervised Visual Representation Learning.” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 9726–35. https://doi.org/10.1109/cvpr42600.2020.00975.

²⁰ Mô hình nền tảng: Tên gọi này nhấn mạnh rằng các mô hình này là nền chung cho nhiều tác vụ hạ nguồn, nhưng cũng tạo ra một điểm lỗi duy nhất. Các khiếm khuyết trong dữ liệu tiền huấn luyện của mô hình nền tảng (độ chệch (bias), lỗi thực tế, nội dung riêng tư bị ghi nhớ) sẽ lan sang mọi ứng dụng xây dựng dựa trên nó. Từ góc nhìn hệ thống, rủi ro đồng nhất này khiến chất lượng khâu chọn dữ liệu trong tiền huấn luyện có phạm vi ảnh hưởng cực lớn: một lỗi chọn lọc mà trong cách huấn luyện từ đầu (train-from-scratch paradigm) chỉ ảnh hưởng một tác vụ, nay có thể ảnh hưởng đến hàng nghìn triển khai hạ nguồn.

Bommasani, Rishi, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, et al. 2021. “On the Opportunities and Risks of Foundation Models.” arXiv Preprint arXiv:2108.07258.

Khi chi phí tiền huấn luyện được tái sử dụng cho nhiều tác vụ, học tự giám sát (SSL) hỗ trợ khuôn mẫu mô hình nền tảng²⁰ (Bommasani et al. 2021). Các nguyên tắc lựa chọn dữ liệu đã thảo luận trong chương này (như lựa chọn coreset, học theo chương trình, học chủ động) vẫn phù hợp trong khuôn mẫu này. Việc tuyển chọn tập dữ liệu tiền huấn luyện áp dụng các kỹ thuật khử trùng lặp và lọc chất lượng tương tự ở quy mô web, và lựa chọn dữ liệu để tinh chỉnh (fine-tuning) sẽ quyết định những ví dụ có nhãn nào giúp tối đa hóa hiệu suất của tác vụ hạ nguồn.

Một lỗi trong tập dữ liệu tiền huấn luyện sẽ lan sang nhiều tác vụ hạ nguồn.

Học tự giám sát giải quyết nút thắt nhãn bằng cách học từ cấu trúc dữ liệu thay vì dựa vào gán nhãn thủ công, nhưng bản thân nó không thể giải quyết tình trạng khan hiếm dữ liệu. Các lớp hiếm có thể có quá ít ví dụ, edge cases có thể không bao giờ xuất hiện ngoài thực tế, và các ràng buộc về quyền riêng tư có thể ngăn việc thu thập mẫu dữ liệu thực. Giai đoạn thứ ba của pipeline chọn dữ liệu lấp khoảng trống này bằng cách tạo dữ liệu mới theo nhu cầu, thay vì chọn hoặc biên tập dữ liệu sẵn có.

Self-Check: Question

In the economics of foundation models, an organization invests $C_{\text{pretrain}} = 10{,}000$ GPU-hours in self-supervised pretraining. Each downstream task fine-tuning costs $C_{\text{finetune}} = 50$ GPU-hours. Training each task from scratch would cost $C_{\text{scratch}} = 1{,}000$ GPU-hours. What is the minimum number of downstream tasks $N^*$ required to break even on the pretraining investment?
1. $N^* = 5$ downstream tasks
2. $N^* = 8$ downstream tasks
3. $N^* = 11$ downstream tasks ($10{,}000 + 11 \times 50 = 10{,}550 < 11 \times 1{,}000 = 11{,}000$)
4. $N^* = 50$ downstream tasks
How does the MoCo (Momentum Contrast) framework reduce the hardware and memory constraints of contrastive self-supervised learning compared to naive SimCLR?
1. By replacing convolutional backbones with rule-based lookup tables to avoid backpropagation
2. By requiring fully supervised class labels to filter out false negative pairs
3. By using a dynamic queue of negative keys and a slowly updating momentum encoder, decoupling negative dictionary size from mini-batch size
4. By computing exact pairwise Jaccard similarities on raw byte sequences rather than latent embeddings
What is the systems-level ‘homogenization risk’ (or blast radius) of pretraining a shared foundation model on an uncurated dataset?
True or False: Because self-supervised pretraining learns general representations from unlabeled data, it completely eliminates the need for data selection or quality filtering during the pretraining stage.
An unsupervised learning approach where the model solves an auxiliary task constructed directly from the structure of unlabeled data (such as masked token prediction or contrastive instance discrimination) is called a ____ task.

See Answers →

Tạo dữ liệu tổng hợp

Một đội robot có thể cần các ví dụ va chạm hiếm gặp, một mô hình y tế có thể cần các ca mà bệnh viện không thể chia sẻ, và một mô hình nhận diện từ khóa (wake-word) có thể cần hàng nghìn nhà bếp ồn ào trước khi sản phẩm ra đời. Kỹ thuật tỉa (pruning) tĩnh loại bỏ dư thừa trước khi huấn luyện. Chọn lọc động tập trung tài nguyên tính toán vào các mẫu nhiều thông tin nhất trong quá trình huấn luyện, và tiền huấn luyện tự giám sát đưa yêu cầu về nhãn xuống 0, định nghĩa lại cái gì được xem là dữ liệu huấn luyện thay vì thêm một giai đoạn mới. Giai đoạn thứ ba, cũng là cuối cùng, của pipeline chọn dữ liệu — tạo dữ liệu tổng hợp — đi theo hướng ngược lại: thay vì bớt đi hay chọn từ dữ liệu sẵn có, nó tạo ra các mẫu mới giá trị cao khi dữ liệu thực khan hiếm, đắt đỏ, hoặc thiếu đa dạng. Chiến lược này chuyển từ curation sang creation.

Tăng cường dữ liệu: Tổng hợp dựa trên biến đổi

Tăng cường dữ liệu là hình thức tạo dữ liệu tổng hợp chi phí thấp nhất: nó mở rộng một tập dữ liệu bằng cách áp dụng các phép biến đổi lên các mẫu hiện có. Vì nhiều phép biến đổi giữ nguyên ý nghĩa của nhãn trong khi tạo đầu vào mới, nên việc tăng cường dữ liệu hiệu quả nhân lên độ đa dạng của tập huấn luyện mà không cần thu thập thêm dữ liệu.

Đối với dữ liệu hình ảnh, việc tăng cường dữ liệu cần phù hợp với các tính bất biến mà mô hình triển khai phải học (Shorten and Khoshgoftaar 2019). Các phép biến đổi hình học như xoay, lật, cắt và thay đổi tỷ lệ tạo ra biến thiên không gian, giúp mô hình vững vàng hơn trước các thay đổi về góc nhìn. Các phép biến đổi quang học điều chỉnh độ sáng, độ tương phản, độ bão hòa và sắc độ để mô phỏng các điều kiện ánh sáng và đặc điểm máy ảnh khác nhau. Các kỹ thuật tiên tiến hơn như Cutout²¹ (áp dụng các mặt nạ hình chữ nhật ngẫu nhiên), MixUp (Zhang et al. 2018) (trộn hai hình ảnh và nhãn của chúng), và CutMix²² (dán các mảnh giữa các ảnh) đẩy việc tăng cường đi xa hơn bằng cách tạo ra các ví dụ huấn luyện hoàn toàn tổng hợp, giúp điều hòa quá trình học của mô hình.

Shorten, Connor, and Taghi M. Khoshgoftaar. 2019. “A Survey on Image Data Augmentation for Deep Learning.” Journal of Big Data 6 (1): 1–48. https://doi.org/10.1186/s40537-019-0197-0.

²¹ Cutout: Ngẫu nhiên che các vùng hình vuông trên ảnh đầu vào trong quá trình huấn luyện, buộc mô hình nhận diện đối tượng từ thông tin một phần thay vì dựa vào một vùng phân biệt duy nhất (DeVries and Taylor 2017). Khác với dropout (vốn đặt các neuron về 0 trong không gian đặc trưng), Cutout hoạt động trong không gian đầu vào. Các thử nghiệm Cutout ban đầu cho thấy mức tăng 0.3–2.0 điểm phần trăm trên các bộ dữ liệu CIFAR-10/100 và SVHN với chi phí tính toán không đáng kể, biến đây thành một kỹ thuật tăng cường có ICR cao khi tính bất biến kiểu bị che khuất phù hợp với bài toán: cung cấp nhiều thông tin hơn trên mỗi mẫu với chi phí gần như bằng 0 cho pipeline.

DeVries, Terrance, and Graham W. Taylor. 2017. “Improved Regularization of Convolutional Neural Networks with Cutout.” arXiv Preprint arXiv:1708.04552.

Zhang, Hongyi, Moustapha Cisse, Yann N. Dauphin, and David Lopez-Paz. 2018. mixup: Beyond Empirical Risk Minimization. OpenReview.net.

²² CutMix: Thay thế vùng bị đặt về 0 trong Cutout bằng một miếng từ một ảnh huấn luyện khác, đồng thời trộn nhãn theo tỷ lệ diện tích của miếng đó (ví dụ, nếu 30 phần trăm ảnh A được thay bằng ảnh B thì nhãn sẽ là 70/30) (Yun et al. 2019). Cách làm này khắc phục điểm yếu của Cutout: các vùng đặt về 0 làm lãng phí thông tin pixel vốn có thể chứa tín hiệu học. Bài báo về CutMix báo cáo cải thiện top-1 trên ImageNet thêm 2.28 điểm phần trăm với ResNet-50 và 1.70 điểm phần trăm với ResNet-101, đồng thời cải thiện cả khả năng định vị. Phương pháp này mang lại regular hóa mạnh hơn so với chỉ dùng riêng lẻ Cutout hoặc MixUp, trong khi gần như không làm tăng chi phí cho pipeline dữ liệu.

Yun, Sangdoo, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. 2019. “CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features.” 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 6023–32. https://doi.org/10.1109/ICCV.2019.00612.

²³ Dịch ngược: Trong phương pháp được mô tả bởi Sennrich et al. (2016), văn bản đơn ngữ của ngôn ngữ đích được dịch sang ngôn ngữ nguồn, và nguồn tổng hợp này được ghép với đích gốc (không đổi) để huấn luyện dịch máy. Sự đánh đổi của hệ thống là độ trễ, vì mỗi nguồn tổng hợp đều cần suy luận mô hình dịch. Các pipeline có thể tiền tính các ví dụ này ngoại tuyến, thay vì tạo trực tiếp trong bộ nạp dữ liệu.

Sennrich, Rico, Barry Haddow, and Alexandra Birch. 2016. “Improving Neural Machine Translation Models with Monolingual Data.” Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 86–96. https://doi.org/10.18653/v1/P16-1009.

Tăng cường văn bản có những thách thức khác vì ngôn ngữ là rời rạc chứ không liên tục. Dịch ngược²³ là một giải pháp cho dịch máy: dịch văn bản đơn ngữ ở ngôn ngữ đích sang ngôn ngữ nguồn rồi ghép cặp nguồn tổng hợp này với đích gốc. Các cách đơn giản hơn gồm thay thế từ đồng nghĩa và chèn hoặc xóa ngẫu nhiên, nhưng các biến đổi này có thể làm đổi nghĩa nên phải được kiểm chứng theo từng tác vụ.

Thay vì tự thiết kế các chính sách tăng cường dữ liệu, AutoAugment²⁴ dùng học tăng cường để tìm ra chiến lược tăng cường phù hợp với từng tập dữ liệu, còn RandAugment²⁵ đơn giản hóa bằng cách lấy mẫu từ một tập biến đổi cố định. Sự đánh đổi giữa chi phí tính toán và chất lượng phụ thuộc vào cả kiến trúc mục tiêu lẫn các bất biến cần có khi triển khai.

²⁴ AutoAugment: Xem việc thiết kế chính sách tăng cường dữ liệu như một bài toán tìm kiếm trong học tăng cường: một bộ điều khiển chọn các phép toán (xoay, tịnh tiến, biến dạng xiên, cân bằng), độ lớn của chúng và xác suất áp dụng để tối đa hóa độ chính xác trên tập xác thực (Cubuk et al. 2019). Cuộc tìm kiếm ban đầu trên ImageNet tốn khoảng 15.000 giờ GPU, từ đó thôi thúc các phương pháp sau này thu hẹp không gian tìm kiếm.

Cubuk, Ekin D., Barret Zoph, Dandelion Mané, Vijay Vasudevan, and Quoc V. Le. 2019. “AutoAugment: Learning Augmentation Strategies from Data.” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 113–23. https://doi.org/10.1109/cvpr.2019.00020.

²⁵ RandAugment: Thu gọn quá trình tìm kiếm chính sách của AutoAugment thành hai siêu tham số: số phép biến đổi $N$ và độ lớn dùng chung $M$ (Cubuk et al. 2020). Với không gian tìm kiếm nhỏ này, RandAugment đạt hiệu suất tương đương hoặc vượt AutoAugment trên các benchmark đã công bố với chi phí tìm kiếm thấp hơn nhiều, nên thực tế hơn khi không thể biện minh cho 15.000 giờ GPU để tìm kiếm chính sách.

Cubuk, Ekin D., Barret Zoph, Jonathon Shlens, and Quoc V. Le. 2020. “Randaugment: Practical Automated Data Augmentation with a Reduced Search Space.” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 3008–17. https://doi.org/10.1109/cvprw50498.2020.00359.

Lighthouse 1.2: MobileNetV2 và tăng cường dữ liệu mạnh

Mô hình MobileNetV2 lighthouse của chúng ta trong Danh sách các mô hình tiêu biểu: Tiểu sử mô hình cho thấy tăng cường dữ liệu có thể bổ trợ tốt cho một kiến trúc bị giới hạn tài nguyên. Các phép tích chập phân tách theo chiều sâu (depthwise separable convolution) giúp giảm đáng kể chi phí tính toán và số tham số so với các tích chập tiêu chuẩn tương đương, trong khi tăng cường dữ liệu có thể cải thiện khả năng tổng quát hóa khi tập dữ liệu huấn luyện còn hạn chế.

Mức độ tăng cường phù hợp phụ thuộc vào tập dữ liệu, mô hình và các bất biến cần thiết khi triển khai. Các kỹ thuật như cắt ảnh (cropping) và RandAugment có thể tăng độ đa dạng khi huấn luyện mà không làm tăng năng lực mô hình ở thời gian suy luận, nhưng cần đo lường độ mạnh của chúng và độ chính xác đạt được cho khối lượng công việc (workload) mục tiêu.

Tổng hợp sinh tạo: Tạo ra các mẫu mới

Tăng cường dữ liệu chỉ biến đổi các mẫu có sẵn; còn tạo dữ liệu tổng hợp đi xa hơn bằng cách tạo ví dụ mới bằng các mô hình sinh tạo hoặc trình mô phỏng. Cách làm này hữu ích trong ba tình huống phổ biến:

Dữ liệu nhạy cảm về quyền riêng tư: Các ví dụ tổng hợp có thể giảm tiếp xúc trực tiếp với dữ liệu thực, nhưng vẫn cần kiểm tra quyền riêng tư để tránh hiện tượng ghi nhớ hoặc rò rỉ thông tin.
Các trường hợp hiếm gặp (edge cases): Các ví dụ tổng hợp có thể bao quát các tình huống lỗi, như các kịch bản lái xe tự hành, vốn cần được kiểm tra nhưng hiếm khi xuất hiện tự nhiên.
Thu thập tốn kém: Các ví dụ tổng hợp có thể bổ sung cho các lĩnh vực như robot học hoặc thí nghiệm khoa học, nơi mỗi mẫu dữ liệu thực đòi hỏi tài nguyên vật lý.

Sơ đồ phân phối trong figure 7 cho thấy rủi ro cốt lõi của chiến lược này: các ví dụ tổng hợp có thể rất nhiều nhưng vẫn không khớp với dữ liệu khi triển khai.

Figure 7: **Vấn đề Khoảng cách Miền (Domain Gap)**: Dữ liệu tổng hợp (màu xanh) và dữ liệu thực (màu cam) có các phân phối đặc trưng bị dịch chuyển. Đường biên tổng hợp màu đỏ nét đứt và đường biên dữ liệu thực màu xanh lá cây nét chấm minh họa rằng một đường biên được học từ phân phối này có thể không phù hợp với phân phối kia.

Việc lựa chọn giữa các phương pháp tạo sinh là một đánh đổi giữa chi phí và độ chân thực. Mạng đối kháng tạo sinh (GANs) huấn luyện một bộ tạo sinh đối kháng với một bộ phân biệt trong thiết lập huấn luyện đối kháng, tạo ra hình ảnh chân thực thông qua sự cạnh tranh; ví dụ, StyleGAN tạo ra các khuôn mặt chân thực như ảnh, giúp mở rộng các tập dữ liệu nhận dạng khuôn mặt. Các mô hình khuếch tán sử dụng khử nhiễu lặp để tạo ra hình ảnh chất lượng cao; các hệ thống như Stable Diffusion²⁶ hỗ trợ tạo các ví dụ huấn luyện theo mục tiêu từ mô tả ngôn ngữ tự nhiên thông qua tổng hợp văn bản thành hình ảnh. Cuối cùng, các công cụ mô phỏng như CARLA cho xe tự lái hoặc Unity và Unreal cho robot cung cấp kết xuất dựa trên vật lý, có thể tạo ra số lượng lớn các kịch bản có nhãn với trạng thái trình mô phỏng đã biết, nên đặc biệt hữu ích cho các ứng dụng an toàn quan trọng, nơi cần bao quát các trường hợp edge.

²⁶ Stable Diffusion: Thực hiện khử nhiễu lặp trong không gian tiềm ẩn đã nén, cho phép tạo các ví dụ chuyển văn bản thành hình ảnh theo mục tiêu (Rombach et al. 2022). Vì quá trình tạo sinh lặp của nó tốn nhiều tài nguyên tính toán hơn đáng kể so với các phép biến đổi hình học, nên phù hợp với những trường hợp mà tính mới lạ quan trọng hơn thông lượng trên mỗi mẫu.

Rombach, Robin, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Bjorn Ommer. 2022. “High-Resolution Image Synthesis with Latent Diffusion Models.” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10674–85. https://doi.org/10.1109/cvpr52688.2022.01042.

Thu hẹp khoảng cách miền

Việc dựa vào tạo dữ liệu tổng hợp tiềm ẩn những rủi ro nghiêm trọng về sự khớp phân phối.²⁷ Hãy xem xét ánh xạ trong không gian đặc trưng tại figure 7, và lưu ý cách các đường biên quyết định được huấn luyện trên dữ liệu tổng hợp bị dịch chuyển ra xa các cụm trong triển khai thực tế.

²⁷ Khoảng cách miền: Là sự khác biệt thống kê giữa các phân phối dữ liệu tổng hợp và dữ liệu thực, có thể đo lường bằng các chỉ số như độ lệch trung bình tối đa (MMD) hoặc Khoảng cách Frechet Inception (FID). Trong các hệ thống ML, khoảng cách này biểu hiện thành độ lệch huấn luyện-phục vụ (training-serving skew): một mô hình được huấn luyện bằng trình mô phỏng có thể kiểm chứng tốt trên dữ liệu tổng hợp, nhưng lại âm thầm thất bại khi gặp dữ liệu triển khai thực tế.

²⁸ Ngẫu nhiên hóa miền (Domain randomization): Tạo ra dữ liệu tổng hợp đa dạng có chủ đích bằng cách ngẫu nhiên hóa kết cấu, màu sắc, ánh sáng và các thuộc tính vật lý. Mục tiêu không phải là photorealism; chỉ cần đủ mức đa dạng để tăng độ bao phủ các điều kiện triển khai, chuyển nút thắt cổ chai chi phí từ độ trung thực kết xuất sang độ bao phủ.

Hai chiến lược bổ sung được dùng để giải quyết sự không khớp phân phối này. Ngẫu nhiên hóa miền (Domain randomization)²⁸ là một cách tiếp cận mạnh: thay vì cố gắng khớp chính xác với thế giới thực, nó huấn luyện trên dữ liệu tổng hợp rất đa dạng bằng cách ngẫu nhiên hóa ánh sáng, kết cấu, nền và các tham số camera trong quá trình tạo.

Mục tiêu là để các điều kiện triển khai rơi vào phạm vi biến thiên đã thấy trong quá trình huấn luyện, nhưng chỉ ngẫu nhiên hóa thôi thì không bao giờ đảm bảo được độ bao phủ. Phương pháp này có thể hiệu quả trong robot học và xe tự hành khi trình mô phỏng bao quát các yếu tố vật lý và thị giác liên quan, và kết quả được xác thực trên dữ liệu thực.

Thích nghi miền đi theo hướng ngược lại: căn chỉnh rõ ràng các phân phối dữ liệu tổng hợp và thực. Các phương pháp căn chỉnh đặc trưng vừa huấn luyện trên dữ liệu tổng hợp, vừa giảm thiểu khoảng cách giữa các phân phối đặc trưng tổng hợp và thực, thường dùng huấn luyện đối kháng để học các biểu diễn bất biến theo miền. Tinh chỉnh (fine-tuning) là con đường đơn giản hơn: huấn luyện trước trên lượng dữ liệu tổng hợp dồi dào để học các đặc trưng tổng quát, rồi tinh chỉnh (fine-tuning) trên một tập dữ liệu thực nhỏ để thích nghi với điều kiện triển khai. Tự huấn luyện kết hợp các ý tưởng này bằng cách dùng một mô hình đã huấn luyện bằng dữ liệu tổng hợp để gán nhãn giả cho dữ liệu thực chưa có nhãn, rồi huấn luyện lại trên tập dữ liệu gộp đã có nhãn.

Trong thực tế, trộn dữ liệu tổng hợp với dữ liệu thực giúp có một điểm neo từ dữ liệu thực, đồng thời vẫn giữ được phần nào độ bao phủ của dữ liệu tổng hợp. Tuy nhiên, tỷ lệ trộn tốt nhất sẽ phụ thuộc vào khối lượng công việc (workload). Table 9 tóm tắt các đánh đổi giữa những tỷ lệ trộn khác nhau.

Table 9: Tỷ lệ trộn dữ liệu tổng hợp với dữ liệu thực: Dữ liệu tổng hợp thuần túy có thể bị lệch phân phối, còn dữ liệu thực thuần túy thì rất đắt. Tỷ lệ tối ưu sẽ thay đổi tùy theo lĩnh vực, độ chân thực của bộ mô phỏng, họ mô hình và quy trình kiểm định. Vì vậy, hãy xem bảng này như một khung kịch bản tham khảo, chứ không phải một công thức áp dụng cho mọi trường hợp.

Tỷ lệ tổng hợp	Kết quả đại diện
100% tổng hợp	Không có điểm neo dữ liệu thực; xác thực khoảng cách miền
80% tổng hợp + 20% thực	Nhu cầu dữ liệu thực thấp hơn; xác thực trên dữ liệu triển khai
50% tổng hợp + 50% thực	Nhiều điểm neo dữ liệu thực hơn; chi phí thu thập cao hơn
100% thực	Không có khoảng cách từ tổng hợp đến thực; chi phí thu thập cao nhất

Example 1.4: Lựa chọn dữ liệu KWS

Kịch bản: Một hệ thống phát hiện từ khóa (KWS) nhúng được thiết kế để triển khai trên vi điều khiển SRAM 256 KB, yêu cầu 10,000+ mẫu âm thanh.

Chẩn đoán: Việc ghi âm thủ công 10,000 phát ngôn thực từ nhiều người nói và trong các môi trường âm thanh đa dạng sẽ tốn $20K–50K. Để mở rộng quy mô tập dữ liệu từ 500 mẫu ban đầu, ta có thể thiết lập một pipeline 5 giai đoạn: bản ghi ban đầu $\to$ tăng cường dữ liệu $\to$ thêm nhiễu $\to$ khai thác âm tính khó $\to$ mô phỏng TTS.

Bài học hệ thống: Các chiến lược dữ liệu theo lớp có thể giúp giảm chi phí thu thập cho các hệ thống ML triển khai trên edge với tài nguyên hạn chế. Trong kịch bản này, tăng cường dữ liệu và thêm nhiễu đã giảm chi phí thu thập trực tiếp xuống còn 5 percent so với ước tính ghi âm đầy đủ; tuy vậy, độ chính xác mục tiêu và độ bao phủ âm học vẫn cần được kiểm định.

Kịch bản phát hiện từ khóa cho thấy tăng cường dữ liệu, thêm nhiễu và mô phỏng có thể mở rộng một tập hạt giống nhỏ, nhưng cùng chiến lược này sẽ rủi ro hơn khi mẫu đến từ các mô hình sinh đã được huấn luyện. Trong huấn luyện đệ quy, suy sụp mô hình²⁹ có thể khuếch đại lỗi và làm giảm đa dạng qua các thế hệ. Vì vậy, dữ liệu tổng hợp cần có nguồn gốc rõ ràng, được kiểm soát tỷ lệ pha trộn và phải được kiểm chứng đối chiếu với dữ liệu triển khai thực tế, thay vì mặc định rằng cứ tạo thêm mẫu là tốt.

²⁹ Suy sụp mô hình: Được Shumailov et al. (2024) phân tích chính thức, hiện tượng này xảy ra vì các mô hình sinh có xu hướng thể hiện thiếu các phân phối đuôi — tức các mẫu hiếm nhưng quan trọng, ít khi xuất hiện trong dữ liệu huấn luyện. Khi thế hệ $n+1$ được huấn luyện trên đầu ra của thế hệ $n$, mỗi thế hệ kế tiếp lại nén các đuôi mạnh hơn, khiến dữ liệu ngày càng đồng nhất. Sự suy giảm có thể diễn ra rất nhanh trong thiết lập huấn luyện đệ quy, nên phần Sai lầm của chương này cảnh báo không nên huấn luyện hoàn toàn bằng dữ liệu tổng hợp.

Shumailov, Ilia, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, and Yarin Gal. 2024. “AI Models Collapse When Trained on Recursively Generated Data.” Nature 631 (8022): 755–59. https://doi.org/10.1038/s41586-024-07566-y.

Chưng cất tri thức: Nén thông tin

Trong khi tăng cường dữ liệu (section 1.5.1) và tổng hợp bằng mô hình sinh (section 1.5.2) tạo ra các mẫu đầu vào mới, thì một dạng tổng hợp khác tạo ra các mục tiêu do mô hình thầy tạo. Chưng cất tri thức³⁰ (Hinton et al. 2015; Gou et al. 2021) huấn luyện một mô hình học trò bằng đầu ra của mô hình thầy, cùng với hoặc thay cho các nhãn cứng. Các mục tiêu mềm có thể bộc lộ xác suất tương đối giữa các lớp mà nhãn one-hot bỏ qua, dù giá trị của chúng còn phụ thuộc vào chất lượng mô hình thầy, nhiệt độ và mức độ phù hợp với nhiệm vụ.

³⁰ Chưng cất tri thức: Các xác suất mềm từ mô hình thầy có thể hé lộ những mối quan hệ giữa các lớp mà nhãn one-hot bỏ qua. Tham số nhiệt độ kiểm soát mức độ “mềm” của các xác suất này; cần được tinh chỉnh vì làm mịn quá mức có thể xóa đi những khác biệt hữu ích. Chưng cất tri thức thêm một lượt suy luận của mô hình thầy và không đảm bảo chỉ số ICR cao hơn, trừ khi tín hiệu được truyền giúp cải thiện mô hình học trò đủ để bù đắp chi phí đó.

Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. 2015. “Distilling the Knowledge in a Neural Network.” arXiv Preprint.

Gou, Jianping, Baosheng Yu, Stephen J. Maybank, and Dacheng Tao. 2021. “Knowledge Distillation: A Survey.” International Journal of Computer Vision 129 (6): 1789–819. https://doi.org/10.1007/s11263-021-01453-z.

Một dự đoán của mô hình thầy, chẳng hạn [0.7, 0.2, 0.1], cho thấy các ưu tiên tương đối mà một nhãn one-hot [1, 0, 0] bỏ qua. Mô hình học trò có thể hưởng lợi từ tín hiệu này khi mô hình thầy chính xác và phù hợp với phân phối mục tiêu. Ở quy mô lớn, các mục tiêu do mô hình thầy tạo ra sẽ thêm một lượt suy luận và đòi hỏi kiểm soát chất lượng; mọi lợi thế về chi phí hoặc chất lượng của mô hình học trò đều phải được cân đối với chi phí phát sinh để tạo ra các mục tiêu đó.

Tổng hợp lại, tăng cường dữ liệu, tạo sinh dữ liệu và chưng cất tri thức hoàn thành giai đoạn thứ ba của pipeline lựa chọn dữ liệu. Trong khi tỉa (pruning) tĩnh loại bỏ dữ liệu dư thừa và lựa chọn động tập trung tài nguyên tính toán vào các mẫu có giá trị cao, thì tạo sinh dữ liệu lấp đầy khoảng trống bằng cách tạo ra những mẫu chưa từng tồn tại. Để chọn đúng sự kết hợp kỹ thuật từ ba giai đoạn pipeline này, chúng ta cần một framework quyết định có cấu trúc.

Self-Check: Question

What causes the phenomenon of ‘model collapse’ (or the autophagous loop) when generative models are trained recursively on synthetic data generated by earlier model iterations?
1. GPU memory fragmentation caused by variable-length synthetic sequences during distributed training
2. Overfitting to floating-point rounding errors during fp16 mixed-precision matrix multiplication
3. A failure of the I/O storage subsystem to deliver synthetic batches at line rate
4. Systematic underrepresentation and progressive pruning of the tail distributions of the true data distribution across successive generations
In knowledge distillation, what is the primary role of the temperature parameter $T$ when computing soft targets from a teacher model’s logits $z_i$ ($p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$)?
1. To soften the output probability distribution, exposing the relative probability structure (‘dark knowledge’) over non-target classes to the student
2. To clamp gradients to prevent numerical overflow in the student’s backward pass
3. To dynamically increase learning rate when the student loss plateaus
4. To randomly drop connections in the student network like dropout
Why is training exclusively on $100\%$ synthetic data from a simulation engine often suboptimal for real-world deployment, and how does synthetic-to-real data mixing bridge this gap?
True or False: Using a high-capacity diffusion model or state-of-the-art LLM to generate synthetic training data guarantees that the resulting training set will be completely free of distribution shift relative to the real deployment environment.
Order the stages in a multi-tier audio dataset expansion pipeline starting from a small seed recording: (1) Hard-negative mining, (2) Acoustic noise injection, (3) Seed recordings collection, (4) TTS simulation, (5) Geometric/Transformation-based audio augmentation.

See Answers →

Framework quyết định

Khi ngân sách gán nhãn, dữ liệu dư thừa, các lớp hiếm, quyền riêng tư và tốc độ hội tụ đều quan trọng cùng lúc, người thực hành trước tiên cần xác định ràng buộc nào đang chi phối. Mỗi giai đoạn có thể nâng tỉ lệ thông tin-tính toán nếu lợi ích chất lượng đo được xứng đáng với chi phí: tỉa (pruning) loại bỏ các mẫu ít giá trị trước khi huấn luyện, lựa chọn động tập trung tài nguyên tính toán vào các mẫu có giá trị cao trong quá trình huấn luyện, và tạo sinh tạo ra các mẫu giá trị cao mới khi cần (table 10).

Table 10: pipeline lựa chọn dữ liệu ba giai đoạn: Các khoảng giá trị này chỉ minh họa các kết quả có thể đạt được, chứ không phải là những kỳ vọng có thể áp dụng chung. Lợi ích thực tế sẽ phụ thuộc vào tập dữ liệu, mô hình, phương pháp lựa chọn và chỉ số mục tiêu cụ thể.

Giai đoạn	Thời điểm áp dụng	Kỹ thuật	Kết quả minh họa
Tỉa (pruning) tĩnh	Trước khi huấn luyện	Lựa chọn Coreset, Loại bỏ trùng lặp, Lọc chất lượng	Giảm tập dữ liệu 30–50%
Lựa chọn động	Trong quá trình huấn luyện	Curriculum Learning, Active Learning, Bán giám sát	Curricula nhanh hơn 10–30%; nhãn ít hơn 2–100$\times$
Tạo tổng hợp	Theo yêu cầu	Tăng cường, Mô hình sinh tạo, Chưng cất	Mở rộng dữ liệu hiệu quả 2–10$\times$

Khi ràng buộc chi phối đã được xác định, table 11 so sánh kỹ thuật nào thay đổi ràng buộc đó và vì sao.

Table 11: Hướng dẫn lựa chọn kỹ thuật theo ràng buộc chính: Các kỹ thuật lựa chọn dữ liệu tiềm năng được đối chiếu với ràng buộc tài nguyên chi phối trong pipeline ML. Bảng này là bước khởi đầu để chẩn đoán; các điều kiện tiên quyết và ROI (lợi tức đầu tư) đo được sẽ quyết định lựa chọn cuối cùng.

Ràng buộc	Kỹ thuật tiềm năng	Lý do
Ngân sách gán nhãn hạn chế	Active Learning	Tối đa hóa ROI nhãn bằng cách chọn các mẫu thông tin
Dư thừa cao trong dữ liệu	Loại bỏ trùng lặp + Coreset	Loại bỏ lãng phí trước khi huấn luyện bắt đầu
Các lớp hiếm hoặc các trường hợp biên	Tạo tổng hợp	Tạo ra các mẫu không tồn tại trong dữ liệu thô
Hội tụ chậm	Curriculum Learning	Cải thiện chất lượng gradient trong giai đoạn huấn luyện ban đầu
Yêu cầu về quyền riêng tư	Tổng hợp được kiểm toán quyền riêng tư	Giảm sử dụng trực tiếp các bản ghi thực; xác minh rò rỉ
Mô hình lớn, tập dữ liệu nhỏ	Knowledge Distillation	Sử dụng kiến thức của mô hình “giáo viên” làm “dữ liệu”

Table 11 đối chiếu từng ràng buộc với các kỹ thuật tương ứng, nhưng trên thực tế, các dự án thường phải đối mặt với nhiều ràng buộc cùng lúc. Cây quyết định trong Cây quyết định lựa chọn dữ liệu giúp cấu trúc quá trình lựa chọn một cách có thứ bậc: bạn bắt đầu bằng cách xác định nút thắt cổ chai chính, sau đó đi theo các nhánh để thu hẹp phạm vi lựa chọn.

::: {#fig-technique-decision-tree fig-pos=“htb” fig-cap=“Cây quyết định lựa chọn dữ liệu: Cây bắt đầu từ nút thắt cổ chai chính—chi phí gán nhãn, chi phí tính toán hoặc khan hiếm dữ liệu—và thu hẹp từng nhánh dựa trên các pool sẵn có, oracle, dữ liệu dư thừa, giáo viên hoặc bộ mô phỏng. Các lá của cây nêu ra các kỹ thuật ứng viên; những dự án có nhiều ràng buộc chặt có thể cần theo hơn một nhánh.”giáo viên” (teachers) hoặc các bộ mô phỏng. Các nút lá của cây sẽ chỉ ra các kỹ thuật tiềm năng; những dự án có nhiều ràng buộc cùng lúc có thể cần áp dụng nhiều hơn một nhánh.” fig-alt=“Cây quyết định này bắt đầu từ nút thắt cổ chai chính, với các nhánh tương ứng là chi phí gán nhãn, chi phí tính toán và khan hiếm dữ liệu. Nhánh chi phí gán nhãn sẽ dẫn đến học tự giám sát, học chủ động hoặc học bán giám sát, tùy thuộc vào việc có sẵn pool và oracle hay không. Nhánh chi phí tính toán, thông qua dữ liệu dư thừa, sẽ dẫn đến các giải pháp như loại bỏ trùng lặp, chọn coreset hoặc học theo chương trình (curriculum learning). Nhánh khan hiếm dữ liệu, tùy thuộc vào việc có giáo viên hoặc bộ mô phỏng, sẽ dẫn đến các kỹ thuật như chưng cất tri thức, tạo dữ liệu tổng hợp hoặc tăng cường dữ liệu.”}

:::

Quy trình ra quyết định

Mỗi lộ trình đòi hỏi một đánh giá có cấu trúc, vì cùng một biểu hiện trên tập dữ liệu có thể chỉ ra các nút thắt cổ chai khác nhau. Việc lựa chọn kỹ thuật bắt đầu bằng cách xác định ràng buộc chính, sau đó kiểm tra xem dữ liệu, nhãn và cơ sở hạ tầng cần thiết cho phương pháp đã chọn có sẵn hay không.

Bước 1: Đánh giá nút thắt cổ chai

Xác định ràng buộc tài nguyên nào đang hạn chế nghiêm trọng nhất pipeline huấn luyện:

Chi phí gán nhãn: Các kỹ thuật tăng hiệu quả sử dụng nhãn như học chủ động, học bán giám sát và học tự giám sát giúp tối đa hóa giá trị thu được từ mỗi lượt gán nhãn thủ công.
Chi phí tính toán: Việc chọn coreset và loại bỏ trùng lặp có thể giảm số lượng mẫu cần xử lý, trong khi một lộ trình huấn luyện đã được kiểm chứng có thể giảm số bước cần thiết để đạt được chỉ số mong muốn.
Khan hiếm dữ liệu: Các phương pháp tạo dữ liệu như tăng cường, tổng hợp và chưng cất giúp mở rộng tập huấn luyện hiệu dụng, vượt xa những gì việc thu thập thô có thể cung cấp.

Bước chẩn đoán này giúp việc chọn kỹ thuật bám sát ràng buộc tài nguyên then chốt, thay vì chạy theo thuật toán quen thuộc nhất.

Bước 2: Kiểm tra các điều kiện tiên quyết

Sau khi xác định nút thắt cổ chai, hãy kiểm tra xem các kỹ thuật tương ứng có khả thi với cơ sở hạ tầng và dữ liệu hiện có hay không. Mỗi phương pháp đều có những yêu cầu cụ thể cần được đáp ứng trước khi triển khai (table 12).

Table 12: Các điều kiện tiên quyết của kỹ thuật: Mỗi kỹ thuật đều có các yêu cầu cụ thể về cơ sở hạ tầng và dữ liệu cần được xác minh trước khi triển khai. Một kỹ thuật dù có lợi ích lý thuyết rất lớn nhưng không đáp ứng các điều kiện tiên quyết sẽ thất bại trong thực tế. Do đó, danh sách kiểm tra này là bước đầu tiên trong việc lựa chọn kỹ thuật.

Kỹ thuật	Điều kiện tiên quyết
Active Learning	Truy cập vào oracle, tập dữ liệu chưa được gán nhãn, cơ sở hạ tầng huấn luyện lại
Coreset selection	Mô hình proxy hoặc bộ trích xuất embedding, tập dữ liệu đầy đủ có thể truy cập
Curriculum Learning	Phương pháp chấm điểm độ khó, lịch trình điều chỉnh tốc độ
Bán giám sát	Một số dữ liệu đã được gán nhãn, dữ liệu chưa được gán nhãn từ cùng phân phối
Tự giám sát	Kho ngữ liệu lớn chưa được gán nhãn, ngân sách tính toán cho pretraining
Tăng cường	Kiến thức miền về các bất biến, thư viện tăng cường
Tạo tổng hợp	Mô hình tạo sinh hoặc trình mô phỏng, giảm thiểu khoảng cách miền

Bước 3: Ước tính ROI

Trước khi phân bổ nguồn lực kỹ thuật, hãy ước tính lợi tức đầu tư (ROI) của từng kỹ thuật ứng viên: \[ \text{ROI} = \frac{\text{(Baseline Cost)} - \text{(Technique Cost + Implementation Cost)}}{\text{Technique Cost + Implementation Cost}} \]

Một kỹ thuật dù có lợi ích lý thuyết cao nhưng chi phí triển khai lớn có thể mang lại ROI thấp hơn so với một phương pháp đơn giản hơn. Khử trùng lặp chính xác thường là một lựa chọn ban đầu tiết kiệm chi phí, vì việc băm rất đơn giản và dễ xác định các byte lặp lại. Tuy nhiên, lợi ích về sau vẫn phụ thuộc vào mức độ dư thừa của corpus và việc gán trọng số mẫu có chủ đích. Học chủ động đòi hỏi quyền truy cập oracle, cơ sở hạ tầng để huấn luyện lại và phát triển thuật toán lựa chọn, nên ROI của nó phụ thuộc nhiều vào có bao nhiêu chu kỳ gán nhãn để khấu hao khoản đầu tư đó.

Bước 4: Kết hợp các kỹ thuật

Các kỹ thuật trong chương này không loại trừ lẫn nhau, nhưng việc kết hợp chúng không đảm bảo sẽ mang lại lợi ích cộng dồn. Một quy trình làm việc khả thi có thể là: khử trùng lặp corpus thô, áp dụng phương pháp coreset nhận biết độ bao phủ, sắp xếp các mẫu đã chọn theo một chương trình học đã được kiểm chứng, và tăng cường chúng tại runtime. Một biểu diễn được huấn luyện trước có thể cung cấp một điểm khởi đầu khác so với khởi tạo ngẫu nhiên. Mỗi bước bổ sung đều phải chứng minh được hiệu quả của nó, vì các bộ lọc chồng chéo có thể loại bỏ cùng một ví dụ, trong khi chi phí phụ trợ của chúng vẫn tiếp tục cộng dồn.

Các giai đoạn có thể cộng dồn hiệu quả khi tác động của chúng không chồng chéo và chi phí phụ trợ vẫn nhỏ; mức tiết kiệm tổng hợp phải được đo lường, không nên chỉ giả định.

Framework ra quyết định này trả lời câu hỏi cái gì trong chọn dữ liệu: loại bớt mẫu nào, khi nào nên chọn động, và làm thế nào để tổng hợp dữ liệu mới. Hiểu các lựa chọn thuật toán là cần thiết, nhưng chỉ có thuật toán thì không tự động làm huấn luyện nhanh hơn. Một thuật toán coreset được thiết kế hoàn hảo nhưng mất 10 giờ để chọn mẫu cho một phiên huấn luyện chỉ kéo dài hai giờ thì không mang lại lợi ích thực tế. Tương tự, một chiến lược curriculum learning yêu cầu quét toàn bộ tập dữ liệu để xác định thứ hạng độ khó có thể khiến GPU nhàn rỗi trong khi CPU tính điểm. Cách triển khai quan trọng không kém cái gì trong lựa chọn thuật toán.

Khoảng cách giữa sự tinh gọn của thuật toán và giá trị thực tế đặt ra nhiều thách thức hệ thống: ngăn chi phí chọn mẫu làm triệt tiêu lợi ích lý thuyết, xử lý các kiểu I/O không tuần tự khiến logic nạp trước (prefetch) bị rối, và phối hợp các quyết định chọn mẫu giữa các worker phân tán mà không tạo ra nút thắt đồng bộ. Các mẫu kỹ thuật dưới đây sẽ nối liền khoảng cách giữa lý thuyết chọn dữ liệu và thực tiễn sản xuất.

Self-Check: Question

According to the chapter’s decision framework, if an ML team has an abundant pool of unlabeled domain data, very limited annotation budget, and access to human domain experts for selective queries, which technique branch is recommended?
1. Pure transformation-based data augmentation without labeling
2. Active learning (human-in-the-loop selective query) or semi-supervised learning
3. Generative self-instruct synthesis to replace all human annotators entirely
4. Exhaustive pairwise Jaccard deduplication across all unlabeled samples
When deciding between static coreset pruning and dynamic online active selection for a production pipeline, what role does the expected number of training runs ($N$) play in the architectural choice?
Order the decision steps when triaging a data pipeline bottleneck using the chapter’s decision framework: (1) Evaluate simulator and domain synthesizer availability, (2) Identify the primary constraint (label scarcity vs. compute limits vs. data scarcity), (3) Select the specific algorithmic technique (e.g. SSL, Active Learning, Coreset Pruning, or Generative Synthesis), (4) Assess human oracle availability and budget.

See Answers →

Kỹ thuật chọn dữ liệu

Một vòng lặp active learning ngây thơ, mỗi epoch lại quét toàn bộ tập dữ liệu để chọn các mẫu “tốt” nhất, có thể biến một bài huấn luyện vốn bị giới hạn bởi tính toán thành nút thắt cổ chai do I/O. Kỹ thuật chọn dữ liệu bắt đầu từ nơi framework ra quyết định kết thúc: sau khi xác định sẽ áp dụng những thuật toán nào, phần kỹ thuật phải đảm bảo chúng mang lại tốc độ như đã hứa trên phần cứng và các pipeline dữ liệu thực tế. Các mẫu kiến trúc ngăn thất bại này chính là cách triển khai chọn dữ liệu trong môi trường sản xuất.

Nút thắt cổ chai do chọn dữ liệu

Lựa chọn dữ liệu động tạo ra một nút thắt cổ chai mới: độ trễ khi chọn. Một bộ nạp (loader) thông thường tuân theo kế hoạch lấy mẫu cố định, trong khi active learning hoặc giáo trình thích ứng có thể phải đánh giá hàm chọn $f(x)$ trên một tập ứng viên lớn trước khi tạo các batch tiếp theo. Cụ thể, việc chấm điểm một tập dữ liệu 1M bằng một mô hình lớn có thể mất 2.8 hours, dễ làm mất lợi ích tiết kiệm từ một coreset 10 percent nếu không dùng một mô hình proxy nhỏ hơn. Bài toán đánh đổi ở cấp hệ thống yêu cầu chi phí lựa chọn phải thấp hơn khối lượng công việc (workload) huấn luyện mà tập con giúp tiết kiệm; nếu không, số mẫu giảm nhưng tổng chi phí đầu-cuối lại tăng.

Với một chỉ số mục tiêu cố định, tổng chi phí cho phần lựa chọn và huấn luyện trên tập con phải thấp hơn huấn luyện trên toàn bộ dữ liệu. Gọi $T_{\text{selection}}$ là thời gian wall-clock dùng để chấm điểm tập ứng viên, $T_{\text{train}}(D)$ là thời gian huấn luyện wall-clock cho một tập dữ liệu kích thước $D$, và $D_{\text{subset}}$, $D_{\text{total}}$ lần lượt là số mẫu giữ lại và tổng số mẫu. Equation 2 thể hiện điều kiện hòa vốn này, còn gọi là bất đẳng thức chọn mẫu. \[ T_{\text{selection}} + T_{\text{train}}(D_{\text{subset}}) < T_{\text{train}}(D_{\text{total}}) \tag{2}\]

Nếu $f(x)$ liên tục chấm điểm tập ứng viên bằng một mô hình lớn, việc chấm lại nhiều lần và phối hợp có thể ăn hết phần tiết kiệm từ huấn luyện và dẫn tới ROI âm. Một kịch bản cụ thể sẽ minh họa sự đánh đổi này.

Tương đương, ta có thể tách phần phụ trội cho phép của bước lựa chọn: $T_{\text{selection}} < T_{\text{train}}(D_{\text{total}}) - T_{\text{train}}(D_{\text{subset}})$. Phần phụ trội cho phép vì thế phụ thuộc vào mức khối lượng công việc (workload) huấn luyện mà tập con tiết kiệm được; không có một tỷ lệ cố định áp dụng cho mọi khối lượng công việc.

Example 1.5: Bất đẳng thức chọn mẫu trong thực tế

Kịch bản: Một nhóm thị giác máy tính chọn một coreset 100K (10 percent) từ 1M ảnh để giảm thời gian huấn luyện trên một cụm bộ tăng tốc.

Chẩn đoán: Chấm điểm bằng mô hình đầy đủ (Tùy chọn A: ResNet-50) thêm 2.8 h chi phí chọn mẫu, làm giảm khoản tiết kiệm ròng xuống còn 247.2 h. Chấm điểm bằng mô hình proxy (Tùy chọn B: ResNet-18) giảm chi phí chọn mẫu xuống 0.6 h, tiết kiệm tổng cộng 249.4 h giờ thực tế.

Bài học về hệ thống: Chọn coreset chỉ giúp giảm độ trễ huấn luyện khi chi phí chọn mẫu nhỏ hơn khoản tiết kiệm khi so với huấn luyện trên toàn bộ tập dữ liệu. Chấm điểm bằng mô hình proxy giúp bảo toàn khoản tiết kiệm FLOP ròng bằng cách giữ chi phí chấm điểm mẫu thấp hơn nhiều so với chi phí truyền xuôi của mô hình đầy đủ.

Việc chọn dữ liệu chỉ cải thiện hiệu quả đầu cuối nếu chi phí của nó nhỏ hơn thời gian huấn luyện được tiết kiệm trên tập dữ liệu rút gọn. Hãy so sánh ba thanh thời gian xếp chồng minh họa trong figure 8, và bạn sẽ thấy một hàm chọn mẫu đắt đỏ có thể tiêu tốn hết mọi khoản tiết kiệm có được từ việc huấn luyện trên tập con.

Figure 8: **Bất đẳng thức chọn mẫu**: Việc chọn dữ liệu chỉ cải thiện hiệu quả đầu cuối nếu tổng chi phí chọn mẫu cộng với huấn luyện trên tập con nhỏ hơn việc huấn luyện trên toàn bộ tập dữ liệu. Một hàm chọn mẫu nhẹ (ví dụ: mô hình proxy, embedding đã được cache) giữ chi phí chọn mẫu thấp; ngược lại, một hàm chọn mẫu đắt đỏ (ví dụ: truyền xuôi bằng mô hình đầy đủ) có thể xóa sạch khoản tiết kiệm.

Hệ quả trong figure 8 là rất rõ ràng. Chi phí chọn mẫu có thể làm mất lợi ích của việc huấn luyện trên một tập con nhỏ hơn. Chi phí này còn đội lên khi việc chọn mẫu chạy ở mỗi epoch thay vì chỉ một lần; nếu việc chấm điểm mỗi epoch tiến sát khối lượng công việc huấn luyện được tiết kiệm nhờ tập con, lợi thế ròng sẽ biến mất.

Thấu hiểu phần cứng: Cái giá của truy cập ngẫu nhiên

Bất đẳng thức lựa chọn giải quyết phần chi phí tính toán, nhưng một số chiến lược lựa chọn cũng làm thay đổi kiểu I/O. Lấy mẫu dựa trên chỉ mục có thể biến các lượt đọc shard tuần tự lớn thành các lượt đọc phân tán nhỏ hơn, làm giảm hiệu quả của đọc trước và batching. Tác động này phụ thuộc vào kích thước bản ghi, độ sâu hàng đợi, trạng thái cache, tầng lưu trữ và thiết kế bộ tải dữ liệu. Table 13 minh họa một phép so sánh 4 KB trên một thiết bị duy nhất, chứ không phải một benchmark cho pipeline huấn luyện. Vì vậy, chi phí lựa chọn bao gồm cả kiểu truy cập mà nó gây ra. Các tập con có cùng kích thước có thể mang lại mức tiết kiệm thời gian thực tế khác nhau, tùy thuộc vào việc chúng giữ được các lượt đọc tuần tự hay làm chúng bị phân mảnh.

Các hệ thống có thể giảm nhẹ bất lợi này bằng mô hình proxy, embedding được cache và truy xuất có sử dụng chỉ mục. Một proxy nhỏ hơn chỉ có thể giảm chi phí chấm điểm nếu thứ hạng của nó chuyển giao được sang mô hình mục tiêu. Suy luận với độ chính xác thấp hơn có thể tiếp tục giảm chi phí đó khi runtime, mô hình và mức độ trung thực thứ hạng yêu cầu cho phép. Các chỉ mục embedding như FAISS³¹ thay thế một số lượt quét toàn bộ bằng truy xuất chính xác hoặc xấp xỉ; chi phí và độ thu hồi của truy xuất này phụ thuộc vào cấu hình chỉ mục. Những cách tiếp cận này tách quá trình lựa chọn khỏi quá trình huấn luyện mô hình mục tiêu để mỗi phần có thể được đo lường độc lập.

³¹ FAISS (Facebook AI Similarity Search): Cung cấp khả năng tìm kiếm độ tương đồng được tăng tốc bằng GPU, sử dụng các thiết kế chỉ mục chính xác, xấp xỉ và trong miền nén (Johnson et al. 2019). Johnson, Douze và Jegou báo cáo việc xây dựng đồ thị gồm hàng tỷ vector trên nhiều GPU, cho thấy vì sao hạ tầng chỉ mục vector lại quan trọng đối với lựa chọn ở quy mô web. Đối với các pipeline lựa chọn dữ liệu, lập chỉ mục kiểu FAISS hỗ trợ truy xuất $k$-láng giềng gần nhất cho việc lựa chọn coreset, khử trùng lặp dựa trên embedding và phân cụm phân tầng để lấy mẫu cân bằng. Nếu không có hạ tầng này, lựa chọn dựa trên embedding thường sẽ phải quay về các lượt quét toàn bộ corpus tốn kém.

Johnson, Jeff, Matthijs Douze, and Hervé Jégou. 2019. “Billion-Scale Similarity Search with GPUs.” IEEE Transactions on Big Data 7 (3): 535–47. https://doi.org/10.1109/tbdata.2019.2921572.

Table 13: Minh họa về độ phạt khi đọc nhỏ: Các mốc thiết bị Registry so sánh băng thông tuần tự với các lượt đọc ngẫu nhiên 4 KB theo phép quy đổi IOPS đơn giản hóa. Thông lượng thực tế còn phụ thuộc vào kích thước yêu cầu, độ sâu hàng đợi, mức độ đồng thời, cơ chế cache và cấu hình dịch vụ; dòng đám mây trong bảng chỉ là một kịch bản mang tính định tính.

Bậc lưu trữ	Thông lượng tuần tự	I/O ngẫu nhiên (IOPS)	Thông lượng ngẫu nhiên (xấp xỉ)	Phạt ngẫu nhiên
HDD (7.2k)	~150 MB/s	~100 IOPS	~0.4 MB/s	375×
SATA SSD	~550 MB/s	~10K IOPS	~40 MB/s	13.8×
NVMe SSD	~3,500 MB/s	~500K IOPS	~2,000 MB/s	1.75×
Đám mây (S3)	Phụ thuộc vào cấu hình	Không thể so sánh bằng IOPS	Phụ thuộc vào cấu hình	Có khả năng cực đoan

Bộ tải dữ liệu cũng cần điều chỉnh kiến trúc. Các định dạng tập dữ liệu phân mảnh đóng gói nhiều mẫu thành các khối có thể đọc tuần tự; WebDataset và FFCV là những ví dụ cụ thể. Bộ đệm xáo trộn là một thiết kế đồng bộ giữa dữ liệu và hệ thống: bộ tải đọc các phân mảnh tuần tự lớn vào bộ nhớ, rồi lấy mẫu ngẫu nhiên trong bộ đệm, vừa giữ được thông lượng I/O tuần tự vừa đạt lợi ích thống kê của lấy mẫu ngẫu nhiên. Trong huấn luyện đa bộ tăng tốc, mỗi worker duy trì bộ đệm xáo trộn riêng trên một phân mảnh không chồng chéo, nên việc ngẫu nhiên hóa là cục bộ thay vì toàn cục; các lớp hiếm hoặc trường hợp biên chỉ xuất hiện trong vài phân mảnh sẽ được bao phủ không đồng đều giữa các worker, trừ khi coreset được phân tầng trước và các phân mảnh được cân bằng trước khi phân phối.

Checkpoint 1.2: Bất đẳng thức lựa chọn

Lựa chọn dữ liệu không miễn phí. Nó đưa thêm một hạng mới vào định luật sắt và một chi phí I/O mới.

Kiểm tra phương trình:

Chi phí lựa chọn: bạn có thể giải thích tại sao $T_{\text{selection}} + T_{\text{train}}(\text{subset})$ phải nhỏ hơn $T_{\text{train}}(\text{full})$ để kỹ thuật này giảm thời gian huấn luyện đầu cuối?
Quản lý chi phí phát sinh: các mô hình proxy và embedding đã được cache giữ $T_{\text{selection}}$ thấp như thế nào?

Hệ quả về hệ thống:

Các mẫu I/O: tại sao truy cập không tuần tự cho lựa chọn động có thể giảm thông lượng của bộ tải dữ liệu so với đọc tuần tự?

Lặp lại dữ liệu (Data echoing): Phân bổ dần chi phí I/O

Các tối ưu hóa chúng ta đã bàn chủ yếu giải quyết vấn đề băng thông I/O. Tuy nhiên, các pipeline lựa chọn dữ liệu hiện đại lại tạo thêm một nút thắt khác: sức mạnh tính toán của CPU. Việc tạo dữ liệu tổng hợp và tăng cường mạnh đã chuyển giới hạn từ tốc độ đọc ghi đĩa sang thông lượng của bước tăng cường. Các phép tăng cường nặng như xoay 3D, MixUp, hoặc tổng hợp sinh tức thì (on-the-fly generative synthesis) có thể khiến GPU nhàn rỗi nếu CPU không kịp tạo mẫu. Khi pipeline dữ liệu tạo mẫu chậm hơn tốc độ GPU có thể tiêu thụ, mức sử dụng GPU giảm và thời gian huấn luyện kéo dài, làm mất đi các lợi ích hiệu suất từ việc lựa chọn dữ liệu thông minh hơn.

Kỹ thuật lặp lại dữ liệu (Data echoing)³² (Choi et al. 2019) sử dụng lại dữ liệu nhiều lần trước khi lấy các mẫu mới, đánh đổi tính mới của dữ liệu để tăng mức sử dụng bộ tăng tốc khi pipeline đầu vào chậm hơn quá trình huấn luyện. Nếu lặp trước bước tăng cường ngẫu nhiên, mỗi lần lặp có thể tạo ra các đầu vào biến đổi khác nhau, trong khi lặp ở các bước sau trong pipeline có thể lặp lại đúng các tensor.

³² Lặp lại dữ liệu (Data echoing): Điều quan trọng là chèn điểm lặp ở đâu trong pipeline. Lặp trước bước tăng cường (lặp ở phần đầu pipeline) cho phép áp dụng các phép tăng cường ngẫu nhiên khác nhau ở mỗi lượt lặp, còn lặp sau bước tăng cường sẽ đưa các tensor giống hệt nhau vào bộ tăng tốc. Hệ số lặp hữu ích và mức tăng tốc đạt được phụ thuộc vào khối lượng công việc (workload), kích thước batch, điểm chèn và chính sách xáo trộn (Choi et al. 2019).

Choi, Dami, Alexandre Passos, Christopher J. Shallue, and George E. Dahl. 2019. “Faster Neural Network Training with Data Echoing.” arXiv Preprint, ahead of print. https://doi.org/10.48550/arXiv.1907.05550.

Hệ số lặp lại tối ưu phụ thuộc vào tỷ lệ $R$ giữa thời gian xử lý ở các bước đầu pipeline và thời gian huấn luyện ở các bước sau: \[ R = \frac{T_{\text{data pipeline}}}{T_{\text{GPU training}}} \]

Nếu $R > 1$ (pipeline dữ liệu là nút thắt), một hệ số lặp $e < R$ có thể khôi phục một phần chu kỳ nhàn rỗi của GPU, còn $e \geq R$ có thể tận dụng hết công suất GPU nếu các mẫu lặp vẫn hữu ích về mặt thống kê. Tăng $e$ vượt $R$ không cải thiện mức sử dụng và có thể làm giảm độ đa dạng mẫu. Nếu $R < 1$ (GPU là nút thắt), lặp lại dữ liệu không mang lại lợi ích. Một kịch bản thực tế sẽ minh họa rõ các đánh đổi này.

Mức sử dụng pipeline bão hòa khi tiến gần ngưỡng tỉ lệ; giá trị thống kê vẫn phụ thuộc vào khối lượng công việc (workload).

Napkin Math 1.4: Ví dụ tính toán: ROI của data echoing

Tình huống: Huấn luyện ResNet-50 trên ImageNet với tăng cường mạnh (RandAugment + MixUp).

Các phép đo:

Thông lượng pipeline dữ liệu: 300 images/s (đọc, giải mã, tăng cường trên CPU)
Thông lượng huấn luyện trên GPU: 800 images/s (forward + backward pass)
Tỷ lệ $R = T_{\text{pipeline}} / T_{\text{GPU}}$ = (1/300 images/s) / (1/800 images/s) = 800 images/s/300 images/s ≈ 2.67 (GPU chờ 62.5 percent thời gian)

Không có echoing:

Thông lượng thực tế: 300 images/s (bị giới hạn bởi pipeline dữ liệu)
Thời gian huấn luyện cho 90 epochs là: $90 \times 1.28\text{M}$ / 300 images/s = 384,350 seconds (106.8 hours)
Mức sử dụng GPU: 37.5 percent

Với hệ số echo: $e$ = 2.

Mỗi batch được xử lý hai lần với các kỹ thuật tăng cường dữ liệu khác nhau
Thông lượng thực tế: 600 images/s (vẫn chưa đạt đến khả năng tối đa của GPU)
Số lượng ảnh duy nhất được xử lý mỗi giây: 300 images/s (không thay đổi)
Thời gian huấn luyện: $90 \times 1.28\text{M}$ / 600 images/s = 192,175 seconds (53.4 hours) nếu dữ liệu echoing có giá trị tương đương

Đánh đổi: Cần lưu ý rằng các mẫu lặp lại không nhất thiết hữu ích bằng các mẫu mới. Bài báo về data echoing đánh giá các yếu tố như hệ số echo, điểm chèn và cách xáo trộn, vì những lựa chọn này quyết định liệu việc tái sử dụng có giữ được hiệu suất dự đoán của mô hình hay không. Cụ thể, trong một cấu hình ResNet-50/ImageNet nhận dữ liệu qua mạng, Choi et al. (2019) báo cáo giảm 3.25$\times$ thời gian thực (wall-clock) để đạt được chỉ số mục tiêu.

Góc nhìn hệ thống: Data echoing có thể đánh đổi độ đa dạng mẫu lấy mức tận dụng bộ tăng tốc khi pipeline đầu vào là nút thắt cổ chai. Cần đo lường hệ số echo phù hợp cho từng khối lượng công việc (workload), vì nó phụ thuộc vào kích thước batch, điểm chèn, tăng cường dữ liệu, xáo trộn và chỉ số mục tiêu.

Echoing có thể tạo ra các mối tương quan khi cùng một ví dụ xuất hiện trong hoặc giữa các batch gần nhau, nên khi triển khai phải giữ mức xáo trộn đủ tốt và xác nhận chỉ số mục tiêu. Choi et al. (2019) không quan sát thấy tương tác tiêu cực với chuẩn hóa batch trong các thí nghiệm ResNet-50 và Single Shot MultiBox Detector (SSD), nhưng kết quả đó không đảm bảo mọi khối lượng công việc (workload) đều có hành vi giống nhau.

Các mẫu thiết kế trong phần này giúp việc lựa chọn dữ liệu có thể triển khai được. Lựa chọn proxy có thể giảm chi phí chấm điểm khi thứ hạng của nó chuyển giao được sang mô hình mục tiêu. Các định dạng phân mảnh và bộ đệm xáo trộn dung hòa giữa lấy mẫu ngẫu nhiên và truy cập lưu trữ tuần tự, trong khi data echoing có thể tận dụng thời gian nhàn rỗi của bộ tăng tốc khi khâu đầu vào là nút thắt cổ chai. Mỗi mẫu tác động đến một phần khác nhau của pipeline, và mỗi mẫu vẫn cần đo lường theo workload về chất lượng và thời gian end-to-end.

Các mẫu kỹ thuật giải quyết câu hỏi làm thế nào, nhưng vẫn còn một câu hỏi cơ bản: có nên đầu tư vào lựa chọn dữ liệu hay không. Ví dụ, một pipeline loại bỏ dữ liệu trùng lặp tốn 50.000 đô la để xây dựng nhưng chỉ tiết kiệm 10.000 đô la cho mỗi lần huấn luyện sẽ cần một mô hình chi phí để biện minh.

Self-Check: Question

A training team reduces a dataset from $1{,}000{,}000$ to $100{,}000$ images (a $10\times$ coreset). Training on the full dataset takes 10 hours ($T_{\text{train}}(\text{full}) = 10\text{ hr}$), while training on the coreset takes 1 hour ($T_{\text{train}}(\text{subset}) = 1\text{ hr}$). However, scoring the $1\text{M}$ pool with the full production model takes 12 hours ($T_{\text{selection}} = 12\text{ hr}$). Does this configuration satisfy the Selection Inequality, and what engineering change restores positive ROI?
1. Yes, because the dataset was reduced by $90\%$; no engineering change is needed
2. Yes, because $10\text{ hr} - 1\text{ hr} = 9\text{ hr}$ of savings outweighs the scoring cost; increase GPU count by $2\times$
3. No, because $T_{\text{selection}} + T_{\text{train}}(\text{subset}) = 13\text{ hr} > 10\text{ hr}$; replace full-model scoring with a lightweight proxy model or cached embeddings
4. No, because coreset training always increases memory bandwidth consumption; switch from NVMe SSDs to HDDs
Why do naive random sample lookups across non-contiguous indices in large un-sharded dataset files severely degrade I/O throughput on storage hardware, and how do shuffle buffers mitigate this?
1. Random lookups bypass host CPU caches, forcing floating-point registers to re-encode all labels
2. Random lookups violate PCIe parity checks, causing GPU kernel timeouts during backward passes
3. Random lookups trigger hash collisions in the Python garbage collector, halting dataloading threads
4. Random 4 KB reads achieve only a tiny fraction of peak sequential storage bandwidth due to IOPS limits, whereas shuffle buffers read large sequential chunks and randomize locally in memory
Contrast upstream data echoing (echoing before data augmentation) with downstream data echoing (echoing after augmentation) in terms of computational overhead and sample diversity.
True or False: If the GPU training step takes 20 ms and the CPU data loading/augmentation pipeline takes 10 ms ($R = T_{\text{pipeline}} / T_{\text{GPU}} = 0.5$), applying a data echoing factor of $e = 2$ will double the end-to-end training throughput.
The pipeline optimization technique that reuses intermediate data samples multiple times before fetching new batches to keep accelerators saturated when CPU data processing or I/O is the bottleneck is called data ____.

See Answers →

Mô hình hóa chi phí

Quyết định đầu tư như vậy đòi hỏi mô hình hóa chi phí và các câu trả lời định lượng. Người thực hành phải xác định nên gán nhãn thêm 10.000 mẫu hay mua thêm giờ GPU, khi nào active learning tự bù chi phí, và khoản đầu tư vào hạ tầng khử trùng lặp dữ liệu mang lại ROI ra sao.

Định lượng chi phí dữ liệu và ROI

Để trả lời những câu hỏi này, chúng ta cần hiểu rõ chi phí của dữ liệu huấn luyện. Tổng chi phí dữ liệu bao trùm toàn bộ vòng đời từ thu thập, chuẩn bị đến sử dụng dữ liệu, vượt xa phạm vi phí lưu trữ. Table 14 phân tách bốn thành phần chi phí. Gán nhãn thường là thành phần mà lựa chọn dữ liệu có thể tác động trực tiếp nhất, trong khi lưu trữ và xử lý thường tăng mang tính cơ học theo dung lượng giữ lại và số lượt huấn luyện. \[ C_{\text{total}} = C_{\text{acquire}} + C_{\text{label}} + C_{\text{store}} + C_{\text{process}} \]

Table 14: Tổng chi phí dữ liệu huấn luyện: Bốn thành phần chi phí này bao phủ toàn bộ vòng đời dữ liệu. Cụ thể, $D$ là tổng số mẫu, $D_{\text{labeled}}$ là tập con đã gán nhãn, $D_{\text{vol,store}}$ là dung lượng dữ liệu lưu trữ (tính bằng byte), $T_{\text{months}}$ là thời gian lưu giữ (tháng), $N_{\text{epochs}}$ là số epoch, và $O_{\text{sample}}$ là khối lượng công việc huấn luyện trên mỗi mẫu. Các khoảng giá trị này là mốc tham chiếu theo kịch bản, không phải mức giá thị trường chung.

Thành phần	Công thức	Phạm vi minh họa
$C_{\text{acquire}}$	$D \times c_{\text{sample}}$	$0.001–$10/mẫu (cào web so với được cấp phép) \| \| $C_{}$

Sự kết hợp của bốn thành phần chi phí này trở nên cụ thể khi đánh giá một lần chạy huấn luyện mô hình thị giác ở quy mô ImageNet.

Napkin Math 1.5: Phân tích chi phí: Huấn luyện mô hình quy mô ImageNet

Table 15 liệt kê chi tiết một kịch bản minh họa về chi phí thu thập, gán nhãn, lưu trữ và tính toán ở quy mô ImageNet. Tỷ lệ thu được dựa trên các giả định đã nêu về cấp phép, chú thích, lưu trữ, runtime và chi phí tính toán; đây không phải tỷ lệ điển hình cho mọi khối lượng công việc (workload) có giám sát.

Table 15: Phân tích chi phí minh họa quy mô ImageNet: Chi phí thu thập, gán nhãn, lưu trữ và tính toán được liệt kê theo các giả định kịch bản đã nêu. Mỗi khoản được tính từ mức giá hiển thị bên cạnh, sử dụng các mức giá gán nhãn đám đông, lưu trữ đối tượng và cloud-GPU được công bố trong sách. Trong phép tính này, chi phí dữ liệu chiếm ưu thế vì đã bao gồm cấp phép và chú thích, trong khi lần chạy huấn luyện tương đối ngắn.

Thành phần chi phí	Tính toán	Số lượng
Dữ liệu thô (1.2M images)	Tập dữ liệu được cấp phép, phí cố định	$50,000
Nhãn (chú thích cộng đồng)	1.2M $\times$ $0.05/label	$60,000
Lưu trữ (kho đối tượng đám mây)	150 GB $\times$ $0.02/GB/month $\times$ 12 months	$36
Chiến dịch huấn luyện (30 runs, mỗi 100 epochs trong 24 h trên 8 A100s)	5,760 GPU-hours $\times$ $4/GPU-hour	$23,040
Tổng cộng		$133,076
Tỷ lệ Dữ liệu so với Tính toán		82.7% dữ liệu, 17.3% tính toán

Góc nhìn hệ thống: Trong các khối lượng công việc (workload) thị giác có giám sát, chi phí thu thập và gán nhãn dữ liệu có thể áp đảo chi phí tính toán, như dưới các giả định này. Con số chi phí tính toán ở đây là cho cả chiến dịch huấn luyện, không chỉ một lần chạy: mô hình được công bố thường là kết quả của nhiều lượt quét (sweeps), khởi động lại và thử nghiệm loại bỏ (ablations). Nếu chỉ tính chi phí cho một lần chạy, bạn sẽ đánh giá thiếu chi phí tính toán khoảng 30 lần. Dù vậy, chi phí thu thập và gán nhãn vẫn chiếm phần lớn. Số lần chạy cũng chỉ là một giả định như các giả định khác, nên một phép tính ROI đầy đủ phải nêu rõ giả định này và định giá cả hai loại chi phí, thay vì mặc định bên nào chiếm ưu thế.

Framework ROI cho các kỹ thuật lựa chọn dữ liệu

Hiểu rõ tổng chi phí giúp chúng ta ra quyết định hợp lý về việc nên đầu tư vào kỹ thuật tăng hiệu quả nào. Mỗi kỹ thuật đều có cả chi phí (công sức triển khai, chi phí tính toán phát sinh) và lợi ích (giảm yêu cầu dữ liệu, huấn luyện nhanh hơn). Để so sánh những đánh đổi này, chúng ta cần một framework chung: Lợi tức đầu tư (ROI). \[ \text{ROI} = \frac{\text{Savings} - \text{Investment}}{\text{Investment}} \times 100\% \]

Thách thức là định lượng chính xác cả hai phía. Table 16 tóm tắt các hạng mục chi phí và lợi ích cần đo lường; thứ hạng của chúng phụ thuộc vào tập dữ liệu, tác vụ và hạ tầng hiện có.

Table 16: Hồ sơ ROI cho các kỹ thuật chọn dữ liệu: Bảng này chỉ ra chi phí và các khoản tiết kiệm có thể có. Không kỹ thuật nào đảm bảo ROI dương; mỗi kỹ thuật phải thỏa mãn bất đẳng thức lựa chọn trong điều kiện khối lượng công việc (workload) được đo lường.

Kỹ thuật	Đầu tư (Chi phí)	Tiết kiệm (Lợi ích)
Loại bỏ trùng lặp	Tính toán một lần để băm + cơ sở hạ tầng	Giảm lưu trữ và xử lý mẫu lặp lại
Lựa chọn Coreset	Huấn luyện mô hình proxy + tính toán lựa chọn	Ít mẫu được giữ lại hơn nếu chất lượng và độ bao phủ mục tiêu được duy trì
Active Learning	Suy luận trên tập dữ liệu chưa được gán nhãn + độ trễ human-in-the-loop	Nhu cầu gán nhãn thấp hơn khi lựa chọn truy vấn được chuyển giao
Tăng cường dữ liệu	Chu kỳ CPU/GPU cho các phép biến đổi	Tăng kích thước tập dữ liệu hiệu quả mà không cần thu thập dữ liệu mới

Phân tích điểm hòa vốn

Các phép tính ROI giả định rằng kỹ thuật đạt được lợi ích như kỳ vọng, nhưng kết quả thực tế có thể khác. Với bất kỳ kỹ thuật nào, tồn tại một điểm hòa vốn nơi chi phí đầu tư bằng với khoản tiết kiệm. Dưới ngưỡng này, kỹ thuật tốn nhiều hơn mức nó tiết kiệm; trên ngưỡng này, kỹ thuật tạo ra giá trị. Xác định ngưỡng này giúp quyết định liệu một kỹ thuật có phù hợp cho dự án cụ thể hay không.

Giả sử chi phí gắn nhãn là $10/sample, học chủ động bắt đầu từ 1,000 mẫu đã gắn nhãn ($10,000), thực hiện 100 queries truy vấn mỗi vòng với chi phí suy luận $50. Trong khi đó, baseline gắn nhãn ngẫu nhiên cần 5,000 mẫu để đạt độ chính xác mục tiêu. Nếu học chủ động đạt độ chính xác mục tiêu chỉ với 2,000 mẫu đã gắn nhãn, ROI được suy ra bằng cách so sánh chi phí gắn nhãn và chi phí tính toán. \[\begin{gather*} \text{Random labeling cost} = \text{5,000} \times \text{\$10/sample} = \text{\$50,000} \\ \text{Active learning cost} = \text{2,000} \times \text{\$10/sample} + \text{10 rounds} \times \text{\$50} = \text{\$20,500} \\ \text{ROI} = \frac{\text{\$50,000} - \text{\$20,500}}{\text{\$20,500}}= \text{$143.9\%$} \end{gather*}\]

Điểm hòa vốn đạt được khi chi phí nhãn tiết kiệm được bằng với chi phí bổ sung cho việc lựa chọn. Giảm 20% khối lượng gắn nhãn vẫn có thể dẫn đến ROI âm nếu việc chấm điểm và huấn luyện lại tốn kém.

Phân bổ chi phí qua nhiều lần huấn luyện

Phân tích điểm hòa vốn chỉ phản ánh tại một thời điểm, nhưng nhiều khoản đầu tư vào việc lựa chọn dữ liệu thường kéo dài qua nhiều dự án. Các kỹ thuật có chi phí ban đầu cao sẽ mang lại lợi ích đáng kể khi lợi ích của chúng được cộng dồn qua nhiều lần huấn luyện lặp lại. Lợi tức đầu tư phân bổ (ROI) xem xét yếu tố thời gian này, như table 17 và table 18 minh họa cho một pipeline loại bỏ dữ liệu trùng lặp: \[ \text{Amortized ROI} = \frac{N_{\text{runs}} \times \text{Per-Run Savings} - \text{One-Time Investment}}{\text{One-Time Investment}} \times 100\% \]

Table 17: Các thành phần chi phí cơ sở hạ tầng cho việc loại bỏ dữ liệu trùng lặp: Khoản đầu tư một lần bao gồm công sức kỹ thuật và tài nguyên tính toán ban đầu; khoản tiết kiệm trên mỗi lần chạy sẽ tích lũy dần theo mỗi lần huấn luyện tiếp theo trên dữ liệu đã được loại bỏ trùng lặp.

Thành phần	Chi phí
Xây dựng pipeline loại bỏ trùng lặp	$50,000 (thời gian kỹ thuật)
Tính toán chữ ký MinHash (một lần)	$5,000
Tiết kiệm trên mỗi lần chạy	$10,000/run

Xu hướng ROI trong table 18 cho thấy những trường hợp nào nên ưu tiên đầu tư vào cơ sở hạ tầng. Ba điều kiện sau đây thường giúp tăng lợi nhuận từ các khoản đầu tư vào việc lựa chọn dữ liệu:

Các lần huấn luyện lặp lại: Việc tìm kiếm siêu tham số, các lần lặp mô hình và huấn luyện lại theo lịch trình đều tái sử dụng cùng một cơ sở hạ tầng lựa chọn dữ liệu nhiều lần.
Tập dữ liệu được chia sẻ: Một tập dữ liệu đã được làm sạch hoặc loại bỏ dữ liệu trùng lặp có thể hỗ trợ nhiều nhóm hoặc nhiều kiến trúc mô hình.
Các kỹ thuật có thể tái sử dụng rộng rãi: Các phương pháp như loại bỏ dữ liệu trùng lặp có thể áp dụng cho nhiều mô hình, trong khi các coreset chuyên biệt cho từng tác vụ thì có thể không.

Table 18: ROI phân bổ qua nhiều lần huấn luyện: Với mức chi phí và tiết kiệm trong kịch bản này, một pipeline khử trùng lặp có thể bị lỗ ở lần dùng đầu tiên nhưng sẽ có lãi khi được tái sử dụng đủ nhiều lần chạy. Các khoản đầu tư hạ tầng nên được đánh giá theo vòng đời kỳ vọng của chúng, thay vì chỉ nhìn vào một lần sử dụng.

Số lần chạy	ROI được khấu hao
1 lần chạy	-81.8% (lỗ ròng)
5 lần chạy	-9.1% (gần hòa vốn)
10 lần chạy	+81.8% (dương)
50 lần chạy	+809.1% (lợi nhuận cao)

Khử trùng lặp có thể là một khoản đầu tư có tính chuyển giao cao, vì mọi mô hình dùng cùng tập dữ liệu sẽ kế thừa các thay đổi về lưu trữ và nội dung lặp lại, dù tác động chất lượng vẫn có thể khác theo từng tác vụ. Các coreset chuyên cho từng tác vụ có thể kém ổn định hơn khi chuyển giữa các kiến trúc, hạn chế khả năng phân bổ chi phí của chúng. Với các lần chạy một lần, những kỹ thuật đơn giản như lấy mẫu ngẫu nhiên hoặc tăng cường dữ liệu cơ bản có thể mang lại ROI tốt hơn so với các phương pháp đòi hỏi nhiều hạ tầng.

Vì vậy, quyết định đầu tư quy về việc tách thực tế giữa các quy trình có khả năng tái sử dụng cao nhưng bị giới hạn dữ liệu và các quy trình dùng một lần đã được tuyển chọn sẵn.

Tất cả các phép tính ROI này đều giả định một máy duy nhất. Trong sản xuất, huấn luyện ML phân tán dữ liệu cho nhiều worker, kéo theo chi phí điều phối có thể làm giảm hoặc khuếch đại lợi nhuận đó: một thuật toán coreset thiết kế cho một GPU có thể hành xử khác khi tập dữ liệu của nó được chia nhỏ cho hàng trăm worker.

Self-Check: Question

A company invests $C_{\text{select}} = \$30{,}000$ to compute a high-quality coreset. Training on the full dataset costs $C_{\text{train}}(D) = \$10{,}000$ per run, whereas training on the coreset costs $C_{\text{train}}(S) = \$4{,}000$ per run. What is the break-even number of training runs $N^*$ required to justify this static selection investment, and what is the ROI after 10 training runs?
1. $N^* = 5$ runs, and $\text{ROI} = 100\%$ after 10 runs (Net savings = $\$30{,}000$ on a $\$30{,}000$ investment)
2. $N^* = 3$ runs, and $\text{ROI} = 300\%$ after 10 runs
3. $N^* = 8$ runs, and $\text{ROI} = 50\%$ after 10 runs
4. $N^* = 10$ runs, and $\text{ROI} = 0\%$ after 10 runs
In the full lifecycle cost equation for machine learning data systems ($C_{\text{total}} = C_{\text{acquire}} + C_{\text{label}} + C_{\text{filter}} + C_{\text{train}} + C_{\text{eval}}$), which scenario demonstrates the most effective use of upstream data filtering to minimize total expenditure?
1. Spending $\$0$ on filtering to ensure maximum raw token count reaches the final evaluation cluster
2. Spending $\$5{,}000$ on automated heuristic filtering to discard $60\%$ of corrupt samples before paying $\$100{,}000$ in human labeling and training fees
3. Doubling human labeling rates to manually review every web-scraped token before filtering
4. Eliminating model evaluation to offset the compute cost of running unpruned training runs
Explain why calculating Return on Investment (ROI) for data selection requires tracking engineering implementation and pipeline maintenance costs in addition to raw accelerator compute hours.
True or False: In a production setting where a single model will be trained exactly once ($N=1$) with no hyperparameter tuning or future refreshes, spending 50 GPU-hours to compute static EL2N coreset scores that save 30 GPU-hours of training time is an economically sound decision.
The metric defined as $\text{ROI} = \frac{N \cdot \Delta C_{\text{train}} - C_{\text{select}}}{C_{\text{select}}}$, which measures the net financial or compute return generated by a data selection technique over $N$ training runs, is known as Return on ____.

See Answers →

Lựa chọn phân tán

Các phần trước trong chương này đã sử dụng cách tiếp cận tập trung, trong đó một tiến trình có thể thấy toàn bộ tập dữ liệu, tính các thống kê tổng thể và điều phối việc lựa chọn. Cách trừu tượng hóa này cho phép các phương pháp coreset xếp hạng tất cả các mẫu, các chương trình học (curricula) thiết lập một thứ tự chung, và học chủ động so sánh một nhóm ứng viên chung. Huấn luyện phân tán phá vỡ trừu tượng này khi dữ liệu được chia thành nhiều phần và điểm số được cập nhật ở các trạng thái mô hình khác nhau. Hai vấn đề khó nảy sinh: xấp xỉ một lựa chọn toàn cục từ các góc nhìn cục bộ, và giữ cho các xếp hạng trong thời gian huấn luyện có thể so sánh được khi mô hình thay đổi.

Việc lựa chọn phân tán có giữ trung thực với tập dữ liệu toàn cục hay trượt thành các heuristic cục bộ trên từng phân mảnh phụ thuộc vào mức phối hợp giữa các worker mà mỗi kỹ thuật đòi hỏi, so với băng thông sẵn có để duy trì phối hợp đó. Vì vậy, cần đánh giá bài toán lựa chọn ở ranh giới nơi giá trị thống kê gặp cách chia shard và tính cục bộ.

Đây là hai yêu cầu độc lập. Một coreset có thể vẫn đại diện nhưng chi phí điều phối quá cao; ngược lại, một phương pháp cục bộ theo shard, dù rẻ và dễ mở rộng, có thể bỏ sót có hệ thống các nhóm hiếm chỉ thấy ở toàn bộ tập dữ liệu (global corpus). Do đó, một thiết kế phân tán cần hai tiêu chí đánh giá (acceptance tests): thứ nhất, so sánh chất lượng dữ liệu được chọn với một tham chiếu tập trung hoặc có thể kiểm chứng (auditable reference); thứ hai, so sánh chi phí lựa chọn với tổng thời gian huấn luyện mà nó giúp tiết kiệm. Chỉ đạt một trong hai tiêu chí là không đủ.

Chiến lược lựa chọn phân tán

Trong một bố trí song song dữ liệu cơ bản, mỗi worker xử lý một shard riêng và việc đồng bộ hóa mô hình được xử lý tách biệt. Việc lựa chọn dữ liệu có thể thêm các phụ thuộc giữa các shard đó (table 19).

Các phụ thuộc lựa chọn này có thể được giải bằng nhiều kiến trúc, mỗi kiến trúc chọn một điểm khác nhau trong không gian đánh đổi giữa tính nhất quán và khả năng mở rộng. Cách trực tiếp nhất là tập trung khâu lựa chọn, còn huấn luyện thì phân tán. Một nút điều phối thực hiện lựa chọn trên toàn bộ tập dữ liệu, rồi phân phát các chỉ mục đã chọn cho các worker. Cách này giữ chất lượng lựa chọn nhưng tạo ra một nút thắt cổ chai duy nhất:

Coordinator: score_all_samples() → selected_indices
Broadcast: selected_indices → all workers
Workers: train on subset(local_shard, selected_indices)

Table 19: Các Phụ thuộc Lựa chọn trong Huấn luyện Phân tán: Bảng này bắt đầu từ cách tiếp cận tập trung phổ biến của từng kỹ thuật, sau đó chỉ ra vấn đề phối hợp phát sinh khi dữ liệu bị phân mảnh. Các phiên bản phân tán có thể chấp nhận một mức độ sai khác nhất định, thay vì phải tái tạo chính xác kết quả như khi thực hiện tập trung.

Kỹ thuật	Giả định một Node	Thách thức phân tán
Lựa chọn Coreset	Chế độ xem toàn cầu của tập dữ liệu	Mỗi worker chỉ thấy shard của nó
Active Learning	Chấm điểm sự không chắc chắn tập trung	Chấm điểm yêu cầu đồng bộ hóa mô hình
Curriculum Learning	Sắp xếp độ khó toàn cầu	Các worker có thể có các mẫu “khó nhất” khác nhau
Loại bỏ trùng lặp	Bảng băm (Hash table) vừa trong bộ nhớ	Các bảng băm phân tán (Distributed hash tables) làm tăng độ trễ

Ngữ nghĩa vẫn rõ ràng, nhưng nút điều phối trở thành điểm lỗi duy nhất và có thể gây nghẽn băng thông. Chi phí đó có chấp nhận được hay không phụ thuộc vào khối lượng lựa chọn, tần suất làm mới, đường truyền mạng và kích thước cụm.

Để giải quyết hạn chế về khả năng mở rộng này, phương pháp lựa chọn phân cấp phân tán luôn việc tính toán lựa chọn. Mỗi worker thực hiện lựa chọn cục bộ trên shard của mình, rồi một bộ điều phối gộp kết quả:

Workers: local_selected = select_top_k(local_shard)
Coordinator: global_selected = merge_and_rerank(all local_selected)
Broadcast: final_indices → all workers

Lựa chọn cục bộ theo shard giúp giảm tải cho bộ điều phối, nhưng phải đánh đổi về chất lượng: hạn ngạch cục bộ và phân bố điểm có thể không giữ được xếp hạng toàn cục hoặc bỏ sót các nhóm hiếm phân tán không đều giữa các shard. Vì vậy, bước hợp nhất cần có chuẩn hóa, ràng buộc độ bao phủ, hoặc một lượt xử lý toàn cục thứ hai.

Khi ngay cả các phương pháp phân cấp cũng trở nên quá tốn kém, lựa chọn toàn cục xấp xỉ là phương án dự phòng. Các phương pháp này đánh đổi độ chính xác để đạt khả năng mở rộng, bằng các thuật toán xấp xỉ phân tán. Ví dụ, MinHash phân tán cho phép khử trùng lặp bằng cách để mỗi worker tự tính chữ ký MinHash; sau đó các chữ ký được tổng hợp để tìm các bản ghi gần trùng giữa các shard mà không cần bất kỳ nút đơn lẻ nào phải thấy toàn bộ dữ liệu. Tương tự, lấy mẫu theo độ bất định phân tán cho phép các worker tính điểm bất định cục bộ, còn ngưỡng toàn cục được xác định dựa trên thống kê phân phối điểm thay vì xếp hạng chính xác.

Những thách thức về tính nhất quán trong học chủ động

Các chiến lược lựa chọn xấp xỉ giả định tiêu chí lựa chọn là tĩnh, nhưng học chủ động lại thêm một phức tạp: mô hình thay đổi ngay trong quá trình lựa chọn. Hãy hình dung khi Worker A chấm điểm các mẫu bằng mô hình ở bước $t$, trong khi Worker B đồng thời cập nhật mô hình lên bước $t+1$. Lúc này, điểm của Worker A đã cũ và có thể chọn những mẫu mà mô hình đã cập nhật sẽ xếp hạng khác đi.

Vì vậy, lịch chấm điểm không chỉ quyết định chi phí của một truy vấn mà còn định nghĩa ý nghĩa của nó. Một hệ thống có thể tái lập sẽ phiên bản hóa đồng bộ checkpoint của mô hình, snapshot của tập ứng viên, quy tắc chấm điểm và các chỉ mục đã chọn. Nhờ đó, hệ thống có thể đo được mức độ đồng thuận trong xếp hạng suy giảm theo tuổi của checkpoint và chọn khoảng thời gian làm mới dựa trên bằng chứng đó, thay vì một số bước tùy tiện.

Có một số chiến lược để giảm thiểu vấn đề lỗi thời này, mỗi chiến lược có đặc tính chi phí phụ trội khác nhau:

Chấm điểm đồng bộ: Tất cả các worker tạm dừng huấn luyện và chấm điểm đồng thời. Cách này đảm bảo tính nhất quán nhưng phải trả giá lớn về mức sử dụng GPU.
Làm mới điểm định kỳ: Các worker chấm điểm lại sau mỗi $k$ epoch thay vì sau mỗi batch, đánh đổi độ mới của điểm để giảm chi phí phụ trội.
Lựa chọn vững với checkpoint: Hệ thống chọn các mẫu có độ không chắc chắn cao khi xét trên nhiều checkpoint của mô hình, giúp các quyết định lựa chọn vẫn hợp lệ khi mô hình tiếp tục thay đổi.

Một kịch bản minh họa với cụm GPU 8 nút cho thấy cách các chiến lược làm mới này tương tác với băng thông lưu trữ và hiệu suất tính toán.

Example 1.6: Lựa chọn coreset phân tán

Kịch bản: Một cụm GPU A100 8 nút chọn một coreset 10 percent từ tập dữ liệu ImageNet (1.3M ảnh) thông qua các worker phân tán.

Chẩn đoán: Chấm điểm coreset tập trung trên một nút đơn tạo ra nút thắt cổ chai về bộ nhớ và tính toán. Dàn dựng pipeline phân tán (embedding cục bộ theo phân mảnh $\to$ loại bỏ trùng lặp song song $\to$ chấm điểm EL2N cục bộ $\to$ hợp nhất top-$k$ tập trung) xử lý việc chọn tập dữ liệu trong 67 minutes.

Bài học về hệ thống: Lựa chọn coreset phân tán có thể loại bỏ giới hạn chấm điểm do bộ nhớ của một nút đơn, như minh họa trong figure 9. Phân mảnh embedding và chấm điểm giúp dàn đều công việc trên toàn cụm, trong khi hợp nhất tập trung vẫn là chi phí phối hợp và phải tuân thủ bất đẳng thức lựa chọn.

Figure 9: **Kiến trúc Lựa chọn Coreset Phân tán**: Chấm điểm cục bộ song song theo từng phân đoạn giúp giảm khối lượng công việc cho bộ điều phối hợp nhất thứ hạng tập trung. Các worker gửi điểm EL2N cục bộ lên trên; bộ điều phối hợp nhất các điểm này và phát đi các chỉ số coreset cuối cùng. Thiết kế này chỉ có lợi khi chi phí phối hợp thấp hơn thời gian huấn luyện tiết kiệm được nhờ coreset.

ROI dương có thể nhanh chóng bị bào mòn khi các worker phải phối hợp thường xuyên trong quá trình huấn luyện. Lựa chọn phân tán tạo ra một chi phí phối hợp, mức độ của nó phụ thuộc vào nội dung đồng bộ và tần suất đồng bộ. Chi phí này phải nhỏ hơn thời gian huấn luyện tiết kiệm được; nếu tiến sát ngưỡng, hãy đơn giản hóa chiến lược hoặc tăng khoảng thời gian làm mới.

Một ràng buộc khác xuất phát từ cấu trúc liên kết mạng của cụm. Việc đồng bộ gradient có thể dùng các phép collective trên bộ tăng tốc qua các liên kết chuyên dụng, trong khi vector embedding, mảng điểm và chỉ số coreset có thể đi theo đường dẫn qua host hoặc lưu trữ. Đường đi thực tế phụ thuộc vào kiến trúc hệ thống. Vì vậy, lưu lượng phục vụ lựa chọn có thể bộc lộ các nút thắt cổ chai ở CPU, card giao diện mạng, lưu trữ, hoặc mạng collective mà chỉ riêng profile huấn luyện không cho thấy.

Các hệ thống ML thực tế kết hợp đồng thời lựa chọn dữ liệu với hiệu quả ở cấp mô hình, thông lượng ở cấp máy, và huấn luyện phân tán. Những tối ưu hóa này tương tác theo những cách có thể khuếch đại hoặc làm suy yếu lẫn nhau, và hiểu rõ các tương tác đó là điều thiết yếu để thiết kế pipeline đầu cuối hiệu quả.

Self-Check: Question

In a distributed training environment with hundreds of data-parallel worker nodes, why does standard centralized coreset selection fail to scale, and what trade-off does hierarchical selection introduce?
1. Centralized selection requires all workers to share a single GPU; hierarchical selection distributes weights across SSDs
2. Centralized selection fails because sharding prevents network cards from transmitting floating-point values
3. Centralized selection creates a communication and memory bottleneck at the coordinator node; hierarchical selection prunes locally per shard, risking loss of globally rare samples across shards
4. Centralized selection eliminates gradient synchronization; hierarchical selection disables local backpropagation
In distributed active learning, Worker A scores candidate pool samples using model checkpoint step $t$, while asynchronous Worker B updates the shared model parameters to step $t+100$. What consistency challenge arises, and what is the systems remedy?
1. Worker A encounters deadlock in CUDA streams; the remedy is disabling PyTorch autograd
2. Worker B overwrites Worker A’s local storage; the remedy is mounting read-only NFS drives
3. Worker A’s GPU runs out of memory; the remedy is reducing batch size to 1
4. Worker A scores samples against a stale model state, producing invalid uncertainty rankings; the remedy is checkpoint versioning or periodic synchronized score refreshes
Explain why performing independent, shard-local coreset pruning on an unstratified, partitioned dataset can cause minority class collapse during distributed training.
Order the execution phases of a distributed coreset selection workflow across a GPU cluster: (1) Compute shard-local embeddings and perform local near-deduplication, (2) Aggregate local candidate indices at the central coordinator, (3) Perform global proxy scoring and thresholding to produce final indices, (4) Broadcast final coreset index list to all worker nodes.

See Answers →

Tương tác xuyên lớp

Lựa chọn dữ liệu không tồn tại tách biệt. Một mô hình được huấn luyện bằng coreset có thể được đơn giản hóa để triển khai sau này. Một pipeline học theo lộ trình sẽ chạy trên các bộ tăng tốc chuyên dụng. Một tập dữ liệu học chủ động sẽ đi vào huấn luyện phân tán. Những tương tác xuyên lớp này có thể gia tăng lợi ích hoặc tạo ra các xung đột bất ngờ. Hiểu các tương tác này giúp người làm thực tế thiết kế hệ thống hiệu quả đầu cuối thay vì tối ưu các thành phần một cách riêng lẻ.

Hiệu quả cấp mô hình

Hiệu quả cấp mô hình giảm kích thước hoặc chi phí tính toán của mô hình đã huấn luyện nhờ các kỹ thuật như tỉa (pruning), biểu diễn độ chính xác thấp hơn, và chưng cất. Tập dữ liệu huấn luyện có thể ảnh hưởng đến biểu diễn đã học, từ đó ảnh hưởng đến kết quả nén về sau; tuy vậy, một tập dữ liệu nhỏ hơn hoặc được chọn lọc không đảm bảo mô hình sẽ dễ nén hơn. Nén mô hình và Tăng tốc phần cứng sẽ quay lại bàn về các hệ quả phần cứng của việc đơn giản hóa mô hình.

Systems Perspective 1.2: Bẫy độ trễ vì tính thưa

Bối cảnh: Lợi thế về khả năng nén nhờ chọn lọc dữ liệu thường được tính bằng số phép toán số học. Tuy nhiên, nghiên cứu về nén mô hình liên tục cho thấy tỉa (pruning) dễ làm giảm số phép toán hơn nhiều so với việc giảm thời gian thực thi.

Chế độ lỗi: Số lượng FLOPs có thể giảm mạnh, nhưng độ trễ suy luận vẫn giữ nguyên hoặc thậm chí tăng. Phần cứng nhân ma trận dày đặc hoạt động hiệu quả với bố cục dữ liệu đều đặn và khả năng tái sử dụng cao, trong khi ma trận thưa yêu cầu truy cập bộ nhớ không tuần tự, kiểm tra siêu dữ liệu và nhảy địa chỉ. Nếu mẫu thưa không khớp với nền tảng thực thi, chi phí quản lý tính thưa có thể lớn hơn lợi ích từ việc giảm phép toán.

Hiểu biết về hệ thống: FLOPs không phải là độ trễ. Giảm 99% số phép toán có thể không giảm thời gian nếu các phép toán còn lại bị giới hạn bởi băng thông bộ nhớ hoặc sử dụng cache kém hiệu quả. Cần tối ưu hóa đúng nút thắt cổ chai của phần cứng, thay vì chỉ dựa vào một chỉ số trừu tượng (Hoefler et al. 2021).

Hoefler, Torsten, Dan Alistarh, Tal Ben-Nun, Nikoli Dryden, and Alexandra Peste. 2021. “Sparsity in Deep Learning: Pruning and Growth for Efficient Inference and Training in Neural Networks.” Journal of Machine Learning Research 22 (241): 1–124.

Cơ chế này liên quan đến cách mô hình mã hóa thông tin. Một mô hình được huấn luyện trên dữ liệu lặp lại có thể học các đặc trưng dư thừa mà quá trình tỉa (pruning) sẽ loại bỏ sau này. Chi phí tính toán để học các đặc trưng đó đã bị lãng phí, rồi lại bị loại bỏ trong quá trình nén. Ngược lại, một mô hình được huấn luyện trên các mẫu đa dạng, giàu thông tin có thể học các biểu diễn gọn, không dư thừa ngay từ đầu, giúp việc nén về sau dễ đánh giá và đôi khi dễ áp dụng hơn. Hãy coi đây là một giả thuyết kỹ thuật cần đo lường sau khi tuyển chọn, chứ không phải là đặc tính chắc chắn đúng cho mọi tập dữ liệu đã chọn. Lựa chọn dữ liệu và hiệu quả cấp mô hình là các công cụ bổ trợ, nhưng cần đánh giá tương tác của chúng một cách đồng thời bằng cách so sánh chất lượng nén và hiệu suất triển khai sau khi tuyển chọn, thay vì mặc định có một thứ tự ưu tiên.

Thông lượng cấp máy

Trong khi hiệu quả cấp mô hình quyết định phần công việc còn lại sau huấn luyện, thì thông lượng cấp máy quyết định mức độ hiệu quả của chính quá trình huấn luyện. Các bộ tăng tốc chuyên dụng, tối ưu hóa kernel và thực thi song song giúp tăng thông lượng hiệu quả. Lựa chọn dữ liệu ảnh hưởng đến việc nút thắt cổ chai nào của máy trở nên chi phối, và mối quan hệ này tinh tế hơn nhiều so với những phép tính tăng tốc đơn giản gợi ý, như table 20 minh họa.

Table 20: Chẩn đoán nút thắt sau khi chọn dữ liệu: Việc thay đổi tập dữ liệu và cách thức truy cập có thể làm lộ một nút thắt khác, nhưng chỉ riêng kích thước tập dữ liệu không quyết định tài nguyên giới hạn. Hãy profile lại pipeline và chọn cách xử lý phù hợp với tình trạng đo được.

Điều kiện quan sát được	Nút thắt cổ chai (Bottleneck) có thể xảy ra	Phản hồi ứng cử viên
Tốc độ đầu vào thấp hơn nhu cầu của bộ tăng tốc	Lưu trữ, giải mã hoặc liên kết máy chủ	Sharding, tìm nạp trước, giải mã song song
Các kernel huấn luyện cường độ thấp	Băng thông bộ nhớ của bộ tăng tốc	Fusion, giảm lưu lượng, độ chính xác thấp hơn
Chấm điểm động chiếm ưu thế trong lần lặp	Tính toán lựa chọn hoặc I/O chỉ mục	Các mô hình proxy, điểm được lưu vào cache hoặc embeddings

Vì vậy, việc chọn dữ liệu có thể đẩy hệ thống từ một vùng nút thắt này sang vùng nút thắt khác. Một kỹ thuật giảm kích thước tập dữ liệu đi 80% có thể làm lộ ra độ trễ của pipeline đầu vào, chi phí tính toán cho khâu chọn lọc, hoặc khả năng tính toán thực sự của GPU là nút thắt tiếp theo; mỗi trường hợp sẽ cần các tối ưu hóa khác nhau. Trước khi áp dụng các biện pháp giảm dữ liệu mạnh, hãy profile hệ thống để hiểu rõ đang nhắm tới nút thắt nào.

Huấn luyện phân tán

Phân tích nút thắt phần cứng trong section 1.10.2 giả định huấn luyện trên một máy đơn. Khi mở rộng ra nhiều máy, các tương tác trở nên phức tạp hơn, vì việc lựa chọn dữ liệu ảnh hưởng tới các chiến lược song song khác nhau theo những cách riêng biệt.

Khi số lượng worker, kích thước batch và số epoch cố định, giữ lại ít mẫu hơn đồng nghĩa với ít lần đồng bộ gradient hơn và giảm trao đổi dữ liệu trong suốt quá trình chạy. Tuy nhiên, các lịch theo bước hoặc bù số epoch có thể làm mất lợi ích này. Các shard nhỏ hơn cho mỗi worker cũng có thể cải thiện tính cục bộ, dù hiệu ứng I/O thực tế còn phụ thuộc vào thứ tự truy cập, kích thước bản ghi, dung lượng cache và cách sharding.

Cần cân nhắc các lợi ích này với những thách thức của lựa chọn dữ liệu phân tán đã nêu trong section 1.9. Một kỹ thuật hiệu quả trên một GPU có thể phát sinh chi phí điều phối quá lớn khi áp dụng trên 1.000 worker, làm mất đi các lợi ích về hiệu quả.

Ngăn xếp tối ưu hóa

Các tiểu mục trước phân tích các tương tác cặp, nhưng hệ thống sản xuất áp dụng tất cả các tối ưu hóa này cùng lúc. Hãy theo dõi toàn bộ ngăn xếp tối ưu hóa trong figure 10, từ dữ liệu đến triển khai: mỗi giai đoạn trong pipeline có thể khuếch đại hoặc làm suy yếu tác động của các giai đoạn khác.

Pipeline trong figure 10 cho thấy vì sao việc lựa chọn dữ liệu giữ vị trí chiến lược ở đầu ngăn xếp tối ưu hóa. Khi lịch huấn luyện được giữ cố định, giảm 50% tập dữ liệu có thể giảm một nửa khối lượng huấn luyện ở cấp độ mẫu. Tuy nhiên, bản thân việc này không làm thu nhỏ mô hình đã huấn luyện, đơn giản hóa nén, hay nới lỏng yêu cầu về phần cứng phục vụ (serving). Mỗi giai đoạn hạ nguồn sẽ thừa hưởng mọi lợi ích về hiệu quả hoặc tổn thất về chất lượng từ các quyết định ở thượng nguồn, và lựa chọn kém có thể buộc phải bù đắp bằng cách huấn luyện lâu hơn hoặc đơn giản hóa mô hình ít quyết liệt hơn.

Để định lượng hiệu ứng nhân này, cần xác định xem giảm 50% tập dữ liệu có thực sự mang lại 50% tiết kiệm tính toán hay không, hay liệu nó đã vô tình làm giảm chất lượng mô hình theo những cách chỉ bộc lộ khi vận hành thực tế. Trả lời câu hỏi này đòi hỏi một measurement framework chặt chẽ: các chỉ số phải nắm bắt được cả lợi ích về hiệu suất và chi phí về chất lượng của các quyết định lựa chọn dữ liệu.

Self-Check: Question

In the D·A·M optimization stack (Data Selection, Algorithm/Model Compression, Machine Hardware Optimization), an ML team achieves a $2\times$ reduction in dataset size via coreset pruning, a $2\times$ reduction in operations per sample via model pruning/quantization, and a $2\times$ increase in hardware arithmetic throughput via kernel optimization. What is the total combined speedup factor for training?
1. An $8\times$ total speedup, because optimizations across distinct layers of the ML systems stack compound multiplicatively ($2 \times 2 \times 2 = 8$)
2. A $6\times$ total speedup, because speedup factors add linearly across layers ($2 + 2 + 2 = 6$)
3. A $2\times$ total speedup, because the lowest-layer optimization bottleneck dominates all others (Amdahl’s law min-factor)
4. A $4\times$ total speedup, because data selection cancels out model compression gains
Why are upstream data selection (Workload layer) and downstream model compression (Algorithm layer) fundamentally complementary rather than interchangeable techniques in system design?
1. Model compression can only be applied to computer vision models, whereas data selection is restricted to NLP
2. Data selection eliminates backward passes entirely, whereas model compression eliminates forward passes
3. Data selection optimizes inference latency on edge devices, whereas model compression only affects training time
4. Data selection reduces the total number of training samples processed ($N_{\text{samples}}$), whereas model compression reduces the compute and memory cost per individual sample forward/backward pass ($O_{\text{sample}}$)
A training pipeline aggressively reduces dataset size with a $10\times$ coreset. However, the engineering team observes that the end-to-end training job speedup is only $2\times$ instead of the expected $10\times$. Using systems principles, diagnose the likely bottleneck shift.
Explain how data selection operates upstream of all algorithm- and hardware-level optimizations in the D·A·M optimization stack.

See Answers →

Measurement Framework

Ngăn xếp đa lớp khiến một measurement framework là điều bắt buộc: mọi kỹ thuật lựa chọn dữ liệu đều tuyên bố cải thiện hiệu quả, nhưng chỉ đo lường chặt chẽ mới tách bạch được tiết kiệm thực sự khỏi chi phí bị dịch chuyển hoặc tổn thất chất lượng ẩn. Các chỉ số cốt lõi trong section 1.11.1 liên kết việc giảm số lượng mẫu với độ chính xác, chi phí và phạm vi triển khai, nhờ đó một tập dữ liệu nhỏ hơn được đánh giá dựa trên những gì nó giữ lại, chứ không chỉ dựa trên những gì nó loại bỏ.

Các chỉ số cốt lõi

Các chỉ số cốt lõi liên hệ việc giảm số lượng mẫu với chất lượng mô hình, thay vì chỉ báo cáo riêng độ chính xác. Chúng đo lường khả năng học trên mỗi mẫu, hiệu suất trên mỗi dữ liệu và mức độ nén ở độ chính xác mục tiêu.

Hiệu suất trên mỗi dữ liệu

Chỉ số trực tiếp nhất, hiệu suất trên mỗi dữ liệu (PPD), đo mức tăng độ chính xác trên mỗi mẫu: \[ \text{PPD}(n) = \frac{\text{Accuracy}(n) - \text{Accuracy}(0)}{n} \] trong đó $n$ là số lượng mẫu huấn luyện. PPD cao hơn cho thấy mức cải thiện trung bình lớn hơn trên mỗi mẫu trong khoảng thời gian đã nêu. Cần đo hình dạng của đường cong này vì lợi suất giảm dần và thời điểm chúng bắt đầu đều phụ thuộc vào khối lượng công việc (workload).

Diện tích dưới đường cong học tập

Thay vì so sánh tại một điểm duy nhất, diện tích dưới đường cong học tập (AULC) tích hợp hiệu suất trên tất cả các kích thước tập dữ liệu: \[ \text{AULC} = \int_0^D \text{Accuracy}(n) \, dn \] trong đó $n$ là kích thước tập dữ liệu và $D$ là tổng kích thước tập dữ liệu.

Với cùng một chỉ số và cùng phạm vi tích hợp, AULC cao hơn nghĩa là chiến lược đạt hiệu suất tốt hơn với ít mẫu hơn. Khi so sánh, phải dùng cùng giới hạn trên $D$ hoặc chuẩn hóa tích phân.

Tỷ lệ nén dữ liệu

Với các phương pháp coreset, tỷ lệ nén dữ liệu (DCR) đo mức độ giảm dữ liệu đạt được ở độ chính xác mục tiêu: \[ \text{DCR} = \frac{D_{\text{full}}}{D_{\text{coreset}}} \text{ at } \text{Accuracy}_{\text{target}} \]

DCR là 5$\times$ nghĩa là coreset đạt độ chính xác mục tiêu với 20% dữ liệu.

Biên tối ưu tính toán

Trong khi các chỉ số cốt lõi ở section 1.11.1 dùng để đánh giá từng kỹ thuật riêng lẻ, chúng ta cũng cần một phép chẩn đoán ở cấp cao hơn để kiểm tra xem chiến lược huấn luyện tổng thể bị giới hạn bởi dữ liệu hay bởi năng lực tính toán. Các thí nghiệm về luật tỉ lệ của mạng nơ-ron (Kaplan et al. 2020; Hoffmann et al. 2022) đã khớp các mối quan hệ theo luật lũy thừa cho những họ mô hình, tập dữ liệu và phạm vi tính toán cụ thể. Các phép quét có kiểm soát có thể dùng các mối quan hệ đã khớp đó để so sánh cách phân bổ mô hình và dữ liệu, nhưng không có một tỉ lệ duy nhất nào có thể chẩn đoán mọi lần chạy huấn luyện.

³³ Chinchilla: Chinchilla là một mô hình ngôn ngữ 70 tỷ tham số, được huấn luyện trên 1,4 nghìn tỷ token. Trong các thí nghiệm do Hoffmann et al. (2022) báo cáo, nó vượt trội hơn GPT-3 (lớn hơn) trên hầu hết các tác vụ được đánh giá, với ngân sách tính toán huấn luyện tương đương. Phép phân bổ tối ưu theo tính toán được khớp trong nghiên cứu này cho thấy số tham số và số token được tăng với tốc độ gần như ngang nhau trong phạm vi thí nghiệm; đây không phải là một chỉ dẫn phổ quát áp dụng cho mọi kiến trúc, tập dữ liệu hoặc quy trình huấn luyện.

Hoffmann, Jordan, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, et al. 2022. “Training Compute-Optimal Large Language Models.” Advances in Neural Information Processing Systems (NeurIPS) 35: 30016–30. https://doi.org/10.52202/068431-2176.

Nghiên cứu Chinchilla³³ (Hoffmann et al. 2022) đã khớp một cân bằng tối ưu theo tính toán giữa kích thước mô hình và dữ liệu huấn luyện trong phạm vi thí nghiệm của họ. Các cách phân bổ lệch khỏi cân bằng đã khớp đó sử dụng ngân sách tính toán của nghiên cứu kém hiệu quả hơn.

Sự cân bằng tối ưu xác định một biên tối ưu tính toán: mức hiệu suất tốt nhất có thể đạt được ở mỗi ngân sách tính toán khi dữ liệu và kích thước mô hình được cân bằng hợp lý. Figure 11 phác thảo phép chẩn đoán này như một biên khái niệm, không phải kết quả khớp từ Chinchilla.

Figure 11: **Biên tối ưu tính toán minh họa**: Đường cong màu xanh lá cây là một biên khái niệm dựa trên compute đã chuẩn hóa, không phải kết quả khớp từ Chinchilla. Các điểm nằm bên dưới đường cong này minh họa những phép phân bổ mà một phép quét có kiểm soát theo kích thước mô hình và số token có thể xác định là bị giới hạn bởi dữ liệu hoặc tính toán.

Khi so sánh với một đường biên được khớp từ các phép quét có kiểm soát, vị trí của mỗi điểm có thể gợi ý thí nghiệm tiếp theo. Một phép phân bổ bị giới hạn bởi dữ liệu sẽ thúc đẩy kiểm tra chất lượng, độ bao phủ hoặc cách chọn tập dữ liệu; một phép phân bổ bị giới hạn bởi tính toán sẽ thúc đẩy kiểm tra thông lượng hiệu quả, thời lượng, hoặc kích thước mô hình. Các điểm mang tính khái niệm trong figure 11 không tự chẩn đoán được một lần chạy thực tế, và các điểm gần một đường biên đã khớp vẫn phụ thuộc vào họ mô hình, dữ liệu, mục tiêu, và dải compute dùng để ước tính đường biên đó.

Diễn giải kết quả Chinchilla

Trong miền Chinchilla đã được khớp thực nghiệm, số tham số mô hình tối ưu theo chi phí tính toán và số token huấn luyện tăng lên với tốc độ xấp xỉ ngang nhau.³⁴ Kết hợp kết quả thực nghiệm đó với phép xấp xỉ chi phí tính toán của transformer dày đặc, ta suy ra $D_{\text{opt}} \propto \sqrt{C}$. Vì vậy, khi tăng gấp đôi chi phí tính toán, số token sẽ tăng thêm khoảng $\sqrt{2} - 1$, tức 41.4 percent, theo các giả định này. Tỷ lệ 20 token trên mỗi tham số thường được trích dẫn như một mốc tham chiếu hữu ích từ nghiên cứu đó, chứ không phải một tối ưu phổ quát.

³⁴ Token trên mỗi tham số: Tỷ lệ $D/P$ so sánh số token huấn luyện với số tham số mô hình; GPT-3 sử dụng khoảng 1.7 token trên mỗi tham số (Brown et al. 2020), trong khi Llama 2 70B sử dụng khoảng 28.6 (Touvron et al. 2023). Các tỷ lệ mang tính mô tả này không cho biết liệu một trong hai lần chạy có tối ưu về chi phí tính toán dưới một kiến trúc, tập dữ liệu, mục tiêu, hoặc ngân sách phần cứng khác hay không. Để chẩn đoán điều đó, cần thực hiện các thử nghiệm quét có kiểm soát về kích thước mô hình và số token.

Brown, Tom B., Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. “Language Models Are Few-Shot Learners.” Advances in Neural Information Processing Systems 33: 1877–901. https://doi.org/10.48550/arxiv.2005.14165.

Touvron, Hugo, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, et al. 2023. “Llama 2: Open Foundation and Fine-Tuned Chat Models.” arXiv Preprint arXiv:2307.09288.

Áp dụng chẩn đoán

Nếu một lần huấn luyện kém hơn kỳ vọng, kéo dài cùng một lần chạy có thể cho thấy các bước tối ưu hóa bổ sung còn hữu ích hay không, nhưng một điểm bão hòa tự thân không cho biết có thiếu dữ liệu. Lịch tốc độ học, giới hạn của thuật toán tối ưu, dung lượng mô hình và chất lượng dữ liệu đều có thể tạo ra bão hòa. Một chẩn đoán đáng tin cậy cần so sánh các lần chạy được kiểm soát, trong đó thay đổi kích thước mô hình, số token và phân bổ chi phí tính toán, đồng thời giữ cố định giao thức đánh giá.

Trong figure 12, hai đường cong tách nhau: một chiến lược chọn mẫu hiệu quả về dữ liệu (màu xanh lam) đạt đến điểm bão hòa hiệu suất với ít mẫu hơn so với lấy mẫu ngẫu nhiên (màu xám). Khoảng cách theo chiều ngang thể hiện mức giảm số mẫu và có thể chuyển thành tiết kiệm chi phí tính toán nếu khối lượng công việc trên mỗi mẫu và lịch huấn luyện giữ cố định; khoảng cách theo chiều dọc, được đánh dấu bằng mũi tên đỏ, thể hiện mức hiệu suất tăng thêm tại một kích thước tập dữ liệu cố định.

Figure 12: **Minh họa lợi ích giảm dần của dữ liệu**: Đường cong hiệu quả dữ liệu tổng hợp (màu xanh lam) đạt cùng mức bão hòa với ít mẫu hơn so với lấy mẫu ngẫu nhiên (màu xám). Mũi tên đỏ theo chiều dọc đánh dấu khoảng cách hiệu suất được mô hình hóa tại một kích thước tập dữ liệu cố định; các đường cong đo đạc thực tế không nhất thiết có hình dạng này.

Với người thực hành, các chỉ số trong phần này trả lời câu hỏi rất thực tế: khi nào nên dừng thu thập dữ liệu để chuyển sang tuyển chọn, và khi nào việc thêm mẫu chỉ lãng phí tài nguyên tính toán thay vì cải thiện độ chính xác. Tuy nhiên, biết rằng một chiến lược hiệu quả không đồng nghĩa với việc xác nhận rằng tập dữ liệu đã được tuyển chọn vẫn giữ được chất lượng mô hình.

Các kỹ thuật chọn dữ liệu ngầm xếp hạng giá trị của từng mẫu, và để xác nhận rằng một tập dữ liệu đã tuyển chọn vẫn giữ được chất lượng mô hình, cần benchmark có hệ thống theo ba chiều. Các chỉ số về độ bao phủ xác nhận rằng chọn tập lõi vẫn bảo toàn tính đại diện cho các lớp và các nhóm nhân khẩu học. Các chỉ số căn chỉnh phân phối (như KL divergence và population stability index, được định nghĩa tại Đo lường sự trôi dạt (phân kỳ)) phát hiện liệu tập huấn luyện đã tuyển chọn có lệch khỏi phân phối ở môi trường triển khai hay không. Các chỉ số chất lượng nhãn (inter-annotator agreement, confident learning) xác nhận rằng active learning không đưa vào các lỗi gán nhãn mang tính hệ thống. Việc giảm 50% tập dữ liệu chỉ có ý nghĩa nếu benchmark xác nhận mô hình vẫn đạt mục tiêu về độ chính xác, hiệu chỉnh và độ bền vững. Benchmarking sau đó khái quát các ý này thành các giao thức đánh giá mô hình và dữ liệu rộng hơn; ở đây, ý hẹp hơn: một tập dữ liệu đã tuyển chọn phải được kiểm chứng đối với phân phối của tác vụ, chứ không chỉ dựa vào tỷ lệ giảm kích thước.

Bản thân mục tiêu xác thực cũng có thể không đáng tin cậy. Một nghiên cứu tái lập được trích dẫn nhiều đã cho thấy độ chính xác benchmark có thể đánh giá quá cao những gì một mô hình đã học. Đây là lý do tại sao tập đánh giá cũng cần được soi xét kỹ như tập huấn luyện đã được tuyển chọn.

Example 1.7: Khoảng cách tái lập benchmark

Tình huống: Khi được đánh giá trên các tập kiểm thử mới thu thập, các bộ phân loại đã ghi nhận mức giảm độ chính xác từ 3 đến 15 điểm phần trăm trên CIFAR-10 và từ 11 đến 14 điểm trên ImageNet (Recht et al. 2019).

Chẩn đoán: Tập dữ liệu được tái lập chứa các hình ảnh khó hơn một chút so với các tập kiểm thử gốc. Nghiên cứu cho thấy tính thích nghi theo benchmark không lý giải được khoảng cách này, dù việc lặp lại sử dụng một tập kiểm thử cố định vẫn là rủi ro chung trong đánh giá.

Bài học về hệ thống: Cách xây dựng tập đánh giá ảnh hưởng đến khả năng tổng quát hóa đo được. Các pipeline lựa chọn dữ liệu nên xác thực các tập con đã được tuyển chọn bằng các tập kiểm thử được thu thập độc lập và phù hợp với môi trường triển khai, thay vì chỉ tin vào một benchmark đã bị dùng đi dùng lại quá lâu.

Recht, Benjamin, Rebecca Roelofs, Ludwig Schmidt, and Vaishaal Shankar. 2019. “Do ImageNet Classifiers Generalize to ImageNet?” Proceedings of the 36th International Conference on Machine Learning (ICML), 5389–400.

Bài học này áp dụng trực tiếp cho lựa chọn dữ liệu: lợi ích hiệu quả đo trên một benchmark duy nhất có thể tan biến khi áp dụng cho dữ liệu mới thu thập. Vì vậy, một tập con được tuyển chọn phải trụ vững trên nhiều phân phối kiểm thử độc lập trước khi có thể tin cậy vào tỷ lệ giảm kích thước của nó.

Lighthouse 1.3: Lựa chọn dữ liệu Lighthouse

Các nguyên tắc lựa chọn dữ liệu áp dụng cho cả năm mô hình lighthouse, nhưng ràng buộc chính sẽ quyết định kỹ thuật dùng. Table 21 gán cho mỗi khối lượng công việc (workload) một mức độ ưu tiên: ví dụ, ResNet-50, vốn bị giới hạn bởi tính toán, hưởng lợi từ chọn coreset; GPT-2/Llama, bị giới hạn bởi bộ nhớ, hưởng lợi từ loại bỏ dữ liệu trùng lặp; còn mô hình KWS nhỏ thì hưởng lợi từ tăng cường và tổng hợp dữ liệu.

Table 21: Ưu tiên lựa chọn dữ liệu theo Lighthouse: Nút thắt chính và mức độ ưu tiên lựa chọn dữ liệu được đề xuất cho mỗi khối lượng công việc (workload) lighthouse. Sự kết hợp này gợi ý một giả thuyết cần được kiểm tra; chỉ riêng ràng buộc tài nguyên chính không đảm bảo rằng một kỹ thuật sẽ hiệu quả.

Hải đăng	Nút thắt cổ chai (Bottleneck) chính	Ưu tiên lựa chọn dữ liệu
ResNet-50	Tính toán	Lựa chọn coreset trực tiếp giảm FLOPs huấn luyện
GPT-2/Llama	Băng thông bộ nhớ	Loại bỏ trùng lặp giảm kích thước kho ngữ liệu; curriculum learning cải thiện hiệu quả token
MobileNetV2	Độ trễ/Công suất	Xác thực augmentation so với mô hình mục tiêu và các tính bất biến khi triển khai
DLRM	Dung lượng bộ nhớ	Loại bỏ trùng lặp tương tác và tỉa (pruning) embedding giảm kích thước bảng
Phát hiện từ khóa (Keyword Spotting)	Các ràng buộc cực đoan	Augmentation và tổng hợp tạo ra các tập dữ liệu từ các hạt giống tối thiểu

Với các mô hình này, lựa chọn dữ liệu không phải một kỹ thuật đơn lẻ mà là tối ưu hóa hệ thống, được điều chỉnh theo tài nguyên nào đang bị hạn chế nhất.

Các công cụ đo lường và các ví dụ lighthouse cho thấy lựa chọn dữ liệu, khi áp dụng đúng, có thể đạt được điều gì. Tuy vậy, các kỹ thuật này đi kèm những đánh đổi phản trực giác, và người thực hành thường rơi vào những cái bẫy dễ đoán trước.

Self-Check: Question

Match the data-selection efficiency metric with its precise definition: A team wants to measure the ratio of full dataset size to selected subset size ($\text{DCR} = |D| / |S|$), and the ratio of final accuracy achieved on the subset versus the full dataset ($\text{ARR} = \text{Acc}(S) / \text{Acc}(D)$). What do DCR and ARR stand for?
1. Data Curation Rate and Accuracy Reduction Ratio
2. Data Compression Ratio and Accuracy Retention Ratio
3. Dynamic Checkpoint Rate and Active Retention Rate
4. Data Convergence Ratio and Amortized Risk Ratio
An ML systems diagnostic plot maps normalized training compute (FLOPs) on the horizontal log-axis against model performance on the vertical axis. A training run with 10M parameters sits significantly below the green compute-optimal frontier, and increasing token count yields no accuracy improvement while scaling model parameters to 100M immediately restores optimal frontier scaling. What was the diagnosis of the original operating point?
1. Data-starved regime
2. I/O bandwidth-saturated regime
3. Compute-starved (capacity-limited) regime
4. Over-echoing regime
Why is Area Under the Learning Curve (AULC) a more informative metric than single-point final validation accuracy when evaluating dynamic data selection and curriculum learning algorithms?
True or False: If two training runs (Run A on a raw dataset and Run B on a coreset) reach the exact same validation loss plateau, they must have processed identical amounts of informative tokens.
The Pareto frontier that defines the maximum achievable model accuracy or minimum loss for every given training compute budget (FLOPs) under balanced parameter and token allocation is known as the compute-____ frontier.

See Answers →

Ngụy biện và Cạm bẫy

Lựa chọn dữ liệu có các lợi suất giảm dần mang tính phản trực giác, đi ngược lại trực giác “càng nhiều càng tốt” trong machine learning truyền thống. Các lỗi sau thuộc ba nhóm: các ngụy biện về mặt khái niệm về những gì lựa chọn dữ liệu có thể đạt được; các cạm bẫy triển khai phát sinh khi chiến lược đúng đắn chạm vào thực tế kỹ thuật; và các lỗi chuyển giao xảy ra khi kết quả benchmark được áp dụng một cách thiếu cân nhắc sang các miền mới.

Ngụy biện: Dữ liệu là dầu mỏ mới, vì vậy càng nhiều càng tốt.

Nhiều dữ liệu hơn không đồng nghĩa với mức tăng độ chính xác tỷ lệ thuận, vì các đường cong học tập thường cho thấy lợi suất giảm dần. So sánh số trong phần này chỉ mang tính minh họa, không phải số đo thực tế: giả định chuyển từ 1M lên 10M mẫu chỉ thu được 4 percentage points độ chính xác tăng thêm. Table 1 cũng dùng các tốc độ tăng trưởng theo kịch bản. Các nhóm nên tự đo đường cong học tập và chi phí tính toán biên cho dữ liệu của mình, thay vì suy diễn từ các giá trị ví dụ này.

Cạm bẫy: Thay việc kiểm định trên dữ liệu thực bằng việc chỉ dùng dữ liệu huấn luyện tổng hợp.

Các kỹ sư thường cho rằng các mô hình sinh (generative models) có thể thay thế việc thu thập dữ liệu bằng vô số ví dụ được tạo ra với chi phí cận biên rất thấp. Việc chỉ huấn luyện bằng dữ liệu tổng hợp có thể thất bại theo hai cơ chế. Thứ nhất, section 1.5.3 và table 9 cho thấy vấn đề chênh lệch miền (domain gap): dữ liệu được tạo có thể lệch khỏi phân phối thực tế khi triển khai, khiến ranh giới quyết định mà mô hình học được (minh họa trong figure 7) phân loại sai đầu vào ngoài đời thực. Thứ hai, huấn luyện lặp trên dữ liệu do chính mô hình tạo ra có thể dẫn đến hiện tượng sụp đổ mô hình (model collapse) (Shumailov et al. 2024): trong ví dụ minh họa này, độ chính xác giảm từ 95 percent xuống 78 percent sau năm thế hệ, tức giảm 17 percentage-point điểm phần trăm. Khoảng tỷ lệ dữ liệu tổng hợp tối ưu minh họa (50–80 percent) phụ thuộc vào khối lượng công việc (workload) cụ thể và phải được kiểm chứng bằng dữ liệu triển khai thực tế.

Việc huấn luyện lặp đi lặp lại bằng dữ liệu tổng hợp làm giảm dần độ chính xác qua các thế hệ.

Ngụy biện: Lựa chọn dữ liệu chỉ đơn thuần là làm sạch dữ liệu.

Các kỹ sư đôi khi nhầm lẫn giữa chất lượng dữ liệu (bao gồm loại bỏ lỗi) và giá trị của dữ liệu đối với một tác vụ và quy trình huấn luyện cụ thể. Hình Figure 3 minh họa một chiến lược dựa trên độ không chắc chắn, trong khi section 1.2.2 cũng trình bày các mục tiêu hình học. Khác biệt ICR 1.8× trong kịch bản này là một trường hợp minh họa, không phải kết quả tổng quát cho EL2N hay GraNd. Làm sạch nhằm xử lý khiếm khuyết dữ liệu; còn lựa chọn dữ liệu đánh giá giá trị học tập và chi phí của các ví dụ được giữ lại.

Cạm bẫy: Coi lựa chọn dữ liệu chỉ là một chiến thuật dựa vào ngân sách.

Người thực hành có thể xem việc chọn lọc dữ liệu chỉ liên quan đến TinyML hoặc các nhóm bị giới hạn ngân sách. Thực ra, nó áp dụng ở mọi nơi mà chất lượng của các ví dụ, chứ không phải khối lượng dữ liệu thô, mới là yếu tố hạn chế việc học. Một mức tăng hiệu quả 10 percent trong một lần chạy huấn luyện tốn $100M sẽ tiết kiệm $10M theo các giả định của kịch bản này. Bức tường dữ liệu (Tăng trưởng tập dữ liệu tiếp cận giới hạn) đặc biệt dễ thấy ở quy mô lớn, khi năng lực tính toán vượt xa lượng dữ liệu có thể truy cập, hợp pháp và liên quan đến mục tiêu. Section 1.8.4 cho thấy vì sao việc tái sử dụng có thể khiến hạ tầng chọn lọc trở nên kinh tế, ngay cả với các nhóm được tài trợ tốt.

Những ngộ nhận về khái niệm thường dẫn đến các chiến lược sai lệch. Gây hại không kém là những cạm bẫy triển khai nảy sinh khi chiến lược đúng phải đối mặt với hiện thực kỹ thuật lộn xộn.

Ngụy biện: Chi phí chọn lọc quá nhỏ để làm thay đổi hiệu quả kinh tế của quá trình huấn luyện.

Xét một kịch bản: toàn bộ lần chạy mất 8 hours, còn huấn luyện trên coreset mất 2-hour, nên chi phí chọn lọc phải được bù từ số giờ tiết kiệm. Nếu một thuật toán coreset phức tạp cần 10 hours để chọn lọc, thì chi phí này bằng 5× lần thời gian chạy huấn luyện trên coreset mà nó cho phép, và còn vượt cả thời gian của lần chạy đầy đủ vốn muốn tránh, dẫn đến ROI âm. Equation 2 xác định ranh giới. Hãy dùng các mô hình proxy gọn nhẹ hoặc embeddings đã được cache khi chúng vẫn giữ được chất lượng chọn lọc. Trong so sánh minh họa, việc chấm điểm EL2N dựa trên proxy hoàn tất trong 30 minutes, tức 6.2 percent so với mốc lần chạy đầy đủ, và thỏa mãn bất đẳng thức.

Cạm bẫy: Tỉa (pruning) các lớp hiếm đến mức chúng biến mất hoàn toàn.

Việc chọn lọc quá tay mà không có ràng buộc theo nhóm có thể loại bỏ các lớp hiếm, vì mục tiêu tối ưu hóa theo tổn thất trung bình thường gán trọng số thấp cho chúng. Trong một tập dữ liệu 1M với 0.1 percent mẫu thuộc lớp hiếm (1,000 ví dụ), một tập con 10 percent không phân tầng chỉ kỳ vọng giữ lại 100 ví dụ như vậy, thấp hơn mục tiêu 150 mẫu của kịch bản. Importance sampling có thể gán lại trọng số cho các mẫu hiếm, nhưng trọng số lớn có thể làm tăng phương sai của gradient. Section 1.2.2 vì vậy khuyến nghị đảm bảo số lượng tối thiểu theo lớp hoặc theo các phân đoạn liên quan đến triển khai trước khi tối ưu hóa phần ngân sách chọn lọc còn lại.

Ngụy biện: Việc loại bỏ trùng lặp dữ liệu huấn luyện là đủ để làm cho đánh giá đáng tin cậy.

Một số tập dữ liệu mô hình ngôn ngữ tiêu chuẩn có trùng lặp train-test ở mức đo được; một nghiên cứu về loại bỏ trùng lặp cho thấy hơn 4% ví dụ trong tập xác thực của các tập dữ liệu được đánh giá bị ảnh hưởng (Lee et al. 2022). Vì vậy, chỉ khử trùng lặp dữ liệu huấn luyện là chưa đủ: các tập đánh giá cũng phải được đối chiếu với kho dữ liệu huấn luyện. Điều này mở rộng nguyên tắc hiệu chỉnh ngưỡng trong section 1.2.3 sang toàn bộ các phần tách của tập dữ liệu. Các nhóm nên kiểm chứng tác động vì cả ngưỡng gần trùng lặp và phân bố theo miền đều quan trọng.

Lee, Katherine, Daphne Ippolito, Andrew Nystrom, Chiyuan Zhang, Douglas Eck, Chris Callison-Burch, and Nicholas Carlini. 2022. “Deduplicating Training Data Makes Language Models Better.” Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 8424–45. https://doi.org/10.18653/v1/2022.acl-long.577.

Cạm bẫy: Học chủ động mà không xem xét độ trễ chú thích.

Các phân tích học chủ động thường trừu tượng hóa và bỏ qua thời gian phản hồi của oracle. Trong các quy trình chú thích thực tế, thời gian xử lý có thể ảnh hưởng đến mức hữu ích của một batch truy vấn. Độ trễ 14-day và kích thước batch trong phần chú thích này chỉ mang tính minh họa; kích thước batch phù hợp phụ thuộc vào năng lực chú thích đo được, nhịp cập nhật mô hình và yêu cầu đa dạng. Vì vậy, ROI của học chủ động phụ thuộc cả vào chi phí nhãn và thời gian hoàn thành.

Ngụy biện: Nếu một kỹ thuật hoạt động tốt trên ImageNet, nó sẽ hoạt động tốt trên tập dữ liệu của tôi.

Hiệu quả lựa chọn dữ liệu phụ thuộc vào độ dư thừa của tập dữ liệu, tính đại diện, mô hình và chỉ số mục tiêu. Kết quả từ CIFAR-10 hoặc ImageNet không xác định được một tỉ lệ tỉa (pruning) an toàn cho dữ liệu y tế, vệ tinh hay các dữ liệu theo miền khác; đồng thời cũng không thể giả định rằng những tập dữ liệu theo miền này có dư thừa gần bằng không. Hãy bắt đầu với một mức chuẩn đã đo lường, thay đổi tỉ lệ phần dữ liệu được giữ lại, và đánh giá chất lượng cả tổng thể lẫn theo từng lát cắt (slice) trước khi cắt giảm mạnh.

Cạm bẫy: Tối ưu hóa các chỉ số lựa chọn dữ liệu thay vì các chỉ số triển khai.

Một kịch bản thất bại minh họa là dùng coreset 10 percent, vốn hoạt động tốt với các lớp chiếm đa số nhưng kém trên các nhóm con hiếm. Section 1.11.1 định nghĩa các chỉ số hiệu quả, còn section 1.11 yêu cầu đánh giá theo phân tầng. Việc lựa chọn phải bảo toàn các nhóm nhân khẩu học, các lớp hiếm và các kiểu lỗi trong triển khai, ngay cả khi điều đó làm giảm PPD trung bình.

Self-Check: Question

A research paper reports that an EL2N coreset selection method successfully pruned $50\%$ of CIFAR-10 with $0\%$ loss in accuracy. A medical imaging team applies the exact same $50\%$ pruning ratio to a rare tumor detection dataset and suffers a disastrous $28\%$ drop in recall. What fallacy explains this failure?
1. The team failed to use GPU acceleration during the inference pass
2. The team used float32 precision instead of bfloat16 mixed precision
3. CIFAR-10 contains more total classes than medical imaging datasets
4. Assuming that benchmark coreset pruning ratios transfer directly to specialized, highly imbalanced production domains with rare failure modes
A team implements an elaborate multi-stage active learning pipeline that reduces training dataset size by $40\%$. However, the continuous clustering, proxy scoring, and cross-worker all-gather synchronization take 3 times longer than the GPU time saved during training. Which pitfall does this represent?
1. Violating the Selection Inequality by incurring selection overheads that exceed downstream training savings ($T_{\text{selection}} > \Delta T_{\text{train}}$)
2. Encountering model collapse due to recursive generator loops
3. Failing to implement 4 KB small-read alignment on host NVMe storage
4. Violating the smoothness assumption in semi-supervised consistency regularization
Why is evaluating a data selection strategy solely on aggregate validation accuracy a dangerous pitfall when dealing with imbalanced datasets?
True or False: Because modern high-capacity generative models produce photorealistic images and fluent text, a model trained on $100\%$ recursively generated synthetic data will never suffer from performance degradation.

See Answers →

Tóm tắt

Những ngộ nhận và cạm bẫy này xuất hiện khi người làm machine learning coi lựa chọn dữ liệu chỉ là một bài toán thuật toán, tách khỏi bối cảnh hệ thống nơi nó vận hành. Đôi khi các tập dữ liệu nhỏ, được tuyển chọn kỹ, lại cho kết quả tốt hơn các tập dữ liệu khổng lồ, vì lựa chọn dữ liệu là một vấn đề thuộc về hệ thống, không chỉ là vấn đề thống kê. Cách tiếp cận này giải quyết câu hỏi đầu tiên trong trật tự tối ưu bằng cách giảm khối lượng công việc ngay từ đầu. Trong machine learning truyền thống, bài toán được đặt là cần bao nhiêu mẫu để đạt độ chính xác mục tiêu; còn theo góc nhìn hệ thống, mục tiêu là tối thiểu hóa tổng chi phí trên toàn bộ pipeline.

Khung tư duy hệ thống này trở nên khả thi nhờ chỉ số ICR, bất đẳng thức lựa chọn và framework mô hình chi phí. Mục tiêu là giảm thiểu tổng chi phí về tính toán, lưu trữ, gán nhãn, năng lượng và thời gian, thay vì chỉ tối đa hóa độ chính xác.

pipeline tối ưu hóa ba giai đoạn xử lý các pha khác nhau của bài toán chi phí này: tỉa (pruning) tĩnh loại bỏ dữ liệu dư thừa trước khi huấn luyện bằng cách chọn coreset và loại bỏ trùng lặp; lựa chọn động ưu tiên các ví dụ giàu thông tin trong quá trình huấn luyện thông qua học theo chương trình (curriculum learning) và học chủ động (active learning); và tạo dữ liệu tổng hợp (synthetic generation) để tạo ra dữ liệu khi không có dữ liệu gốc, bằng các kỹ thuật tăng cường (augmentation), mô phỏng (simulation) và chưng cất (distillation). Gộp lại, các chiến lược này giúp vượt qua “bức tường dữ liệu” (data wall) – sự bất cân xứng giữa năng lực tính toán tăng rất nhanh và tốc độ tăng của dữ liệu chất lượng cao thì chậm.

Học tự giám sát nằm ở một đầu của phổ lựa chọn dữ liệu: tiền huấn luyện chuyển nhiều tín hiệu học vào một mô hình có thể tái sử dụng, nhờ đó các tác vụ hạ nguồn thường cần ít nhãn đặc thù hơn. Hiệu quả kinh tế được cải thiện khi chi phí tiền huấn luyện được phân bổ cho đủ nhiều tác vụ.

Đưa các kỹ thuật này vào sản xuất đòi hỏi kỹ thuật hệ thống: bất đẳng thức lựa chọn trong equation 2 đóng vai trò điều kiện gác cổng cho mọi kỹ thuật; các mô hình proxy và bộ nạp dữ liệu phân đoạn (shard-based data loaders) giúp dung hòa thuật toán lựa chọn với phần cứng lưu trữ; còn data echoing có thể tận dụng các chu kỳ GPU nhàn rỗi khi dịch vụ đầu vào là nút thắt. framework mô hình hóa chi phí (gồm tổng chi phí dữ liệu, phân tích ROI và ngưỡng hòa vốn) cung cấp công cụ định lượng để đánh giá kỹ thuật nào đáng đầu tư cho một khối lượng công việc (workload) nhất định, trong khi các chỉ số cốt lõi (PPD, AULC, DCR) cùng một biên giới tối ưu tính toán (compute-optimal frontier) đã được fit giúp người thực hành kiểm tra xem huấn luyện đang bị giới hạn bởi dữ liệu hay bởi tính toán.

Key Takeaways: Tuyển chọn, đừng tích lũy

Lựa chọn tối ưu hóa chi phí hệ thống: Mục tiêu là giảm tổng chi phí trên toàn bộ pipeline (tính toán, lưu trữ, gán nhãn, năng lượng), chứ không chỉ đơn thuần là “ít mẫu hơn nhưng vẫn giữ nguyên độ chính xác”. Tỷ lệ thông tin-tính toán định lượng lượng học thu được trên mỗi FLOP tiêu tốn. Lợi ích về thời gian của chỉ số này chỉ tương đương với cải thiện thông lượng khi thỏa các giả định tương ứng bị giới hạn bởi tính toán (compute-bound).
Bắt đầu với loại bỏ trùng lặp: Loại bỏ trùng lặp chính xác thường là kỹ thuật khởi đầu có rủi ro thấp nhất vì nó xóa các byte lặp lại mà không cần một bước chấm điểm đã được huấn luyện. Chỉ áp dụng loại bỏ trùng lặp gần giống và loại bỏ trùng lặp ngữ nghĩa sau khi đã xác thực ngưỡng dựa trên các chỉ số chất lượng hạ nguồn.
Bất đẳng thức lựa chọn chi phối mọi kỹ thuật: $T_{\text{selection}} + T_{\text{train}}(\text{tập con}) < T_{\text{train}}(\text{toàn bộ})$. Chi phí lựa chọn phải thấp hơn thời gian huấn luyện tiết kiệm được nhờ tập con. Mô hình proxy và embedding được cache có thể giữ $T_{\text{selection}}$ thấp; ngược lại, các thuật toán lựa chọn đắt đỏ có thể “ăn” hết phần tiết kiệm mà chúng hứa hẹn.
Lựa chọn động điều chỉnh “khẩu phần dữ liệu” khi mô hình học: Curriculum learning thay đổi thứ tự trình bày, còn active learning thay đổi mẫu nào được gán nhãn. Cả hai có thể cải thiện hiệu quả nếu quy tắc chấm điểm, độ bao phủ và chi phí làm mới của chúng được xác thực.
Huấn luyện trước tự giám sát có thể dàn trải chi phí thích nghi: Huấn luyện trước một lần rồi tinh chỉnh (fine-tuning) nhiều lần sẽ dàn trải chi phí huấn luyện trước cho các tác vụ tiếp theo. Kịch bản minh họa giả định giảm nhãn 100$\times$ và giảm 20$\times$ chi phí tính toán biên; mức tiết kiệm thực tế phụ thuộc vào chất lượng chuyển giao và mức độ tái sử dụng.
Dữ liệu tổng hợp là phần bổ sung, không phải thay thế: Tỷ lệ 50–80% dữ liệu tổng hợp chỉ mang tính minh họa và phụ thuộc vào khối lượng công việc (workload) cụ thể, không phải mức tối ưu chung. Huấn luyện chỉ bằng dữ liệu tổng hợp có nguy cơ làm sập mô hình và suy giảm chất lượng do khoảng cách miền (domain gap).
Giảm khối lượng công việc (workload) được xác thực sẽ mang lại lợi ích tích lũy về sau: Khi việc chọn lọc loại bỏ an toàn các ví dụ hoặc token mà không cần thêm bước bù trừ, thì những phần việc đó sẽ không còn xuất hiện ở các bước tối ưu hóa mô hình hoặc hệ thống sau này. Chấm điểm động và tổng hợp cũng phát sinh chi phí riêng, nên tổng mức tiết kiệm phải được đo lường chứ không nên mặc định.

Các kỹ thuật được trình bày trong chương này (loại bỏ trùng lặp, chọn coreset, curriculum learning, active learning và tạo dữ liệu tổng hợp) là bộ công cụ để vượt qua “bức tường dữ liệu”. Khi được kiểm chứng cho khối lượng công việc (workload) cụ thể, chúng có thể giảm chi phí gán nhãn, số vòng lặp, lưu trữ hoặc huấn luyện, đồng thời vẫn duy trì độ bao phủ cần thiết cho khả năng tổng quát hóa.

Câu trả lời cho câu hỏi mở đầu chương là: các ví dụ có thể khác nhau đáng kể về giá trị học tập. Một số tập dữ liệu benchmark có thể loại bỏ một nửa số ví dụ mà không ghi nhận mất mát nào, nếu áp dụng phương pháp chọn lọc đã được thẩm định. Trong khi đó, cách tỉa (pruning) mạnh tay hơn thường đánh đổi thêm mức tiết kiệm lấy một phần suy giảm chất lượng. Chọn lọc dữ liệu là phương pháp luận nhằm phân biệt các ví dụ giàu thông tin, có tính đại diện với những ví dụ dư thừa hoặc gây hại, đồng thời không loại bỏ các trường hợp hiếm nhưng quan trọng khi triển khai. Thông qua D·A·M, đây là đồng thiết kế dữ liệu-thuật toán diễn ra ở giai đoạn đầu, trước mọi thứ khác, vì khi loại bỏ an toàn một mẫu khỏi huấn luyện, sẽ không còn tối ưu hoá hạ nguồn nào phải gánh khoản chi phí đó.

What’s Next: Từ dữ liệu đến thuật toán

Việc chọn lọc dữ liệu thay đổi những gì hệ thống học từ; ngay cả dữ liệu tốt nhất cũng không thể làm cho một mô hình kém hiệu quả chạy nhanh trên phần cứng bị hạn chế. Nén mô hình chuyển trọng tâm sang cách hệ thống biểu diễn những gì nó học, bằng cách áp dụng tỉa (pruning), lượng tử hoá (quantization) và chưng cất tri thức (knowledge distillation) để giảm chi phí tính toán của chính tạo phẩm của mô hình.

Self-Check: Question

Which summary statement best captures the central systems principle of data selection established throughout this chapter?
1. Data selection is an offline heuristic that only applies to small academic image classification benchmarks
2. Data selection is the highest-leverage input optimization layer because it eliminates FLOPs, memory traffic, and communication before model or hardware execution begins
3. Data selection replaces all algorithm-level model compression and hardware acceleration optimizations
4. Data selection is strictly bounded by the requirement that datasets must grow linearly with GPU cluster node counts
In one integrated explanation, relate the Information-Compute Ratio (ICR), the Selection Inequality, and the three-stage data selection pipeline.
How does workload-level data selection interact with the broader D·A·M optimization stack to maximize end-to-end training efficiency?

See Answers →

Self-Check Answers

Self-Check: Answer

In an ML infrastructure scaling scenario where available GPU compute grows by approximately $10\times$ every 3 years while high-quality web data grows by only $2\times$ every 5 years, what primary systems regime emerges, and what is the appropriate systems response?
1. A compute-rich, data-constrained Data Wall regime where intelligent data selection and curation must maximize the learning signal extracted per token
2. A memory bandwidth-bound regime where model parallel sharding must replace data parallelism across all training clusters
3. An I/O ingestion bottleneck where disk read bandwidth must be quadrupled to keep GPUs saturated
4. A compute-starved regime where synthetic data generation should be eliminated to avoid wasting accelerator cycles
Answer: The correct answer is A. Compute throughput growing faster than accessible high-quality human data creates a compute-to-data imbalance known as the Data Wall. In this regime, additional raw compute yields diminishing returns on uncurated corpora, making data selection essential to maximize the Information-Compute Ratio (ICR). Shifting model parallelism addresses parameter memory limits rather than data scarcity, scaling disk bandwidth solves I/O stalls rather than token information quality, and eliminating synthetic generation ignores a key strategy for expanding scarce data pools.

Learning Objective: Analyze the systems implications of the compute-to-data scaling asymmetry and diagnose the Data Wall regime.
Under the illustrative analytical model where dataset information content scales logarithmically as $I(D) \propto \log D$ and training compute scales linearly with per-sample operations $C(D) = O_{\text{sample}} \cdot D$, how does the marginal Information-Compute Ratio $\text{ICR}(D)$ scale with dataset size $D$?
1. It remains constant at $\mathcal{O}(1)$ because additional compute scales proportionally with dataset size
2. It decays as $\mathcal{O}(1 / (O_{\text{sample}} \cdot D))$, turning additional unselected data into a data tax that consumes compute with minimal learning progress
3. It grows logarithmically as $\mathcal{O}(\log D / O_{\text{sample}})$ due to power-law parameter scaling
4. It decays exponentially as $\mathcal{O}(\exp(-D))$ once the training corpus exceeds accelerator memory capacity
Answer: The correct answer is B. Taking the derivative of dataset information content D$ with respect to dataset size $ gives /D$, and differentiating compute cost = O_{ ext{sample}} \cdot D$ gives { ext{sample}}$. The marginal ICR is their ratio, $ ext{ICR} pprox 1 / (O_{ ext{sample}} D)$. As $ grows large, ICR drops toward zero, meaning marginal tokens consume compute without providing new learning signal—acting as a data tax. Constant scaling ignores the diminishing returns of information content, logarithmic growth incorrectly treats marginal signal as expanding, and exponential decay overstates the rate of informational saturation.

Learning Objective: Calculate the scaling behavior of the Information-Compute Ratio (ICR) under logarithmic information gain.
Explain why a dataset where $100\%$ of the sample labels are verifiably correct can still exhibit a very low Information-Compute Ratio (ICR).

Answer: Label correctness measures ground-truth accuracy, whereas ICR measures the marginal learning signal contributed per unit of compute. A dataset of completely correct examples will have near-zero ICR if the samples are redundant, easily classified by the current model state, or already mastered, because processing them consumes forward and backward FLOPs without updating model parameters meaningfully.

Learning Objective: Compare data correctness with data value in the Information-Compute Ratio framework.
True or False: Because deep learning models benefit from large-scale training, collecting and training on twice as much raw, deduplicated web data will always double the total information learned by the model.

Answer: False. Marginal information gain follows diminishing returns (e.g., $I(D) \propto \log D$) rather than linear scaling. Doubling raw data volume increases compute linearly while marginal information content per sample decays, eventually hitting the ICR frontier where redundant or uninformative tokens act as a compute tax.

Learning Objective: Evaluate the misconception that data information value scales linearly with raw corpus volume.
Order the three primary stages of the high-efficiency data selection pipeline according to their execution in an ML system lifecycle: (1) Dynamic Selection, (2) Static Pruning, (3) Synthetic Data Generation.

Answer: The correct order is: (2) Static Pruning, (1) Dynamic Selection, (3) Synthetic Data Generation. Static pruning is performed offline prior to training (filtering and deduplication), dynamic selection adapts the data stream during training (curriculum and active learning), and synthetic data generation produces targeted samples on demand to fill remaining domain gaps.

Learning Objective: Explain the sequential structure and purpose of the three-stage data selection pipeline.

← Back to Questions

Self-Check: Answer

A team wants to select a coreset of size $K$ from a dataset of size $D$ before training a large production model. They need a method that accounts for model uncertainty near decision boundaries but cannot afford a full target-model training run for scoring. Which method and systems trade-off best fits their requirement?
1. $k$-Center clustering on raw pixel inputs, because it guarantees zero-cost label-aware boundary identification
2. Forgetting Events scoring on the full production model, because it requires no proxy architecture and computes in $\mathcal{O}(1)$ time
3. EL2N (Error L2-Norm) scoring using an inexpensive proxy model trained for a few epochs, leveraging proxy score transferability
4. Herding on Gaussian-distributed features, because it completely avoids computing feature representations
Answer: The correct answer is C. EL2N calculates the error L2-norm early in training ($\mathcal{O}(\text{epochs} \times D)$). Crucially, EL2N scores computed from an inexpensive, small proxy model transfer reliably to large target models, enabling boundary-focused coreset selection without paying the full target model training cost. The $k$-Center approach operates on geometry and ignores label information, Forgetting Events requires an expensive full training run on the model, and Herding still requires feature embeddings and assumes specific moment distributions.

Learning Objective: Compare coreset selection algorithms across compute complexity, training dependencies, and scoring proxy trade-offs.
Why is Locality-Sensitive Hashing (LSH) with MinHash preferred over exhaustive pairwise Jaccard similarity comparison for large-scale text deduplication?
1. MinHash LSH guarantees $100\%$ precision in detecting semantic paraphrases across different natural languages
2. MinHash eliminates the need to tokenize or shingle input documents before hashing
3. Exhaustive pairwise Jaccard comparison requires training a deep neural network, whereas LSH is purely rule-based
4. Exhaustive pairwise comparison requires $\mathcal{O}(D^2)$ document comparisons, whereas MinHash LSH hashes compact signatures into sublinear candidate collision buckets
Answer: The correct answer is D. Comparing all pairs in a dataset of $D$ documents requires $\mathcal{O}(D^2)$ comparisons, which is computationally intractable for web-scale datasets ($D \ge 10^7$). MinHash compresses documents into fixed-size sketches where collision probability equals Jaccard similarity, and LSH bands these sketches into hash buckets so only candidate pairs colliding in a bucket are compared. MinHash LSH does not detect cross-lingual semantic paraphrases, still requires shingling/tokenization, and pairwise Jaccard comparison is an exact set operation rather than a deep learning method.

Learning Objective: Analyze the computational scaling benefits of MinHash and Locality-Sensitive Hashing for web-scale deduplication.
In recommendation systems like DLRM where embedding tables consume terabytes of memory, how does interaction deduplication differ in systems impact from cold embedding pruning?

Answer: Interaction deduplication removes duplicate user-item interaction records, reducing training sample count, forward/backward FLOPs, and I/O bandwidth without changing the embedding table capacity. Cold embedding pruning removes rarely accessed entity IDs from the embedding table, directly reducing memory capacity and memory-bandwidth footprints on the host or accelerator.

Learning Objective: Compare the systems effects of interaction deduplication versus cold embedding pruning in recommendation models.
True or False: Removing near-duplicate documents with MinHash LSH always improves model accuracy because duplicate data has zero statistical value in all training regimes.

Answer: False. While deduplication reduces redundant computation and memorization risk, in some domains duplicate frequency reflects natural empirical data distributions or intentional weighting. Aggressive deduplication with miscalibrated thresholds can prune legitimate variations or distort class priors, necessitating empirical validation on downstream accuracy.

Learning Objective: Evaluate the systems and statistical trade-offs of aggressive near-duplicate filtering.
The training-dynamics coreset metric that measures the Euclidean norm of the difference between predicted class probabilities and the one-hot target vector early in training is known as ____.

Answer: EL2N (or Error L2-Norm). EL2N measures $\|p(x) - y\|_2$ early in training, capturing sample difficulty and transferring effectively from small proxy models to large production architectures.

Learning Objective: Explain the definition and purpose of EL2N as a proxy-based coreset scoring metric.

← Back to Questions

Self-Check: Answer

In curriculum learning, an engineer implements an ‘easy-to-hard’ pacing schedule that controls the fraction of the sorted training pool available to the model at training step $t$. What is the primary systems and statistical objective of this pacing strategy?
1. To guide optimization through stable early gradient trajectories using low-variance samples before exposing the model to high-variance boundary cases
2. To eliminate the need for backward passes during the first half of training
3. To maximize GPU memory bandwidth utilization by sorting tensors strictly by length in bytes
4. To replace human labelers with an automated oracle during the late stages of training
Answer: The correct answer is A. Curriculum learning presents easy (low-noise, canonical) examples early to establish stable feature representations and prevent gradient divergence, gradually introducing harder and noisier examples as the model matures. Curriculum pacing does not eliminate backward passes, does not sort tensors merely for memory bandwidth alignment, and does not replace human labelers in supervised pipelines.

Learning Objective: Analyze the optimization and statistical mechanisms of curriculum learning pacing schedules.
An active learning pipeline chooses unlabeled examples for costly radiologist annotation. The team notices that simple uncertainty sampling repeatedly selects images from a single ambiguous artifact class, starving other disease categories. Which query strategy should they adopt to resolve this pathology?
1. Least-confidence sampling, because it strictly selects the lowest top-1 probability prediction
2. Diversity sampling or hybrid uncertainty-diversity sampling (such as BADGE), which balances uncertainty near decision boundaries with feature-space coverage
3. Random undersampling of the entire unlabeled pool to reduce dataset size before scoring
4. Uniform zero-shot pseudo-labeling without confidence thresholds
Answer: The correct answer is B. Pure uncertainty sampling often suffers from sampling bias by selecting clustered points near a single ambiguous boundary region. Diversity sampling (or hybrid strategies like BADGE that incorporate gradient embeddings) ensures that selected queries span diverse clusters across the feature space while still targeting model uncertainty. Least-confidence sampling exacerbates the clustering issue, random undersampling discards informative candidates arbitrarily, and unthresholded pseudo-labeling introduces catastrophic label noise.

Learning Objective: Compare active learning query strategies to mitigate sampling bias and redundancy.
Explain the mechanism of confirmation bias in semi-supervised pseudo-labeling, and specify how confidence thresholding mitigates it.

Answer: Confirmation bias occurs when a model makes confident but incorrect predictions on unlabeled data, converts them into ground-truth pseudo-labels, and retrains on them, reinforcing its own errors across subsequent iterations. Setting a high confidence threshold ($\tau$) ensures that only predictions with high posterior probability receive pseudo-labels, filtering out uncertain and error-prone samples before they corrupt the training distribution.

Learning Objective: Explain confirmation bias in semi-supervised pseudo-labeling and the role of confidence thresholds.
True or False: Consistency regularization methods such as FixMatch rely on the smoothness assumption, asserting that realistic perturbations of an input sample should not change the model’s predicted class distribution.

Answer: True. Consistency regularization enforces that if two inputs $x$ and $x'$ are close in input space (e.g. through weak and strong data augmentations), their model predictions should also be close, thereby driving decision boundaries into low-density regions.

Learning Objective: Evaluate the foundational distributional assumptions underlying consistency regularization.
Order the steps in an active learning closed-loop iteration: (1) Select top query samples via query strategy, (2) Acquire expert annotations from the oracle, (3) Score unlabeled pool using current model, (4) Retrain or update model on expanded dataset, (5) Add newly labeled samples to the training set.

Answer: The correct order is: (3) Score unlabeled pool using current model, (1) Select top query samples via query strategy, (2) Acquire expert annotations from the oracle, (5) Add newly labeled samples to the training set, (4) Retrain or update model on expanded dataset. The cycle begins with proxy or model scoring over the candidate pool, selecting candidate queries, querying the human oracle, incorporating verified labels into the dataset, and updating the model.

Learning Objective: Design the closed-loop workflow of an iterative active learning system.

← Back to Questions

Self-Check: Answer

In the economics of foundation models, an organization invests $C_{\text{pretrain}} = 10{,}000$ GPU-hours in self-supervised pretraining. Each downstream task fine-tuning costs $C_{\text{finetune}} = 50$ GPU-hours. Training each task from scratch would cost $C_{\text{scratch}} = 1{,}000$ GPU-hours. What is the minimum number of downstream tasks $N^*$ required to break even on the pretraining investment?
1. $N^* = 5$ downstream tasks
2. $N^* = 8$ downstream tasks
3. $N^* = 11$ downstream tasks ($10{,}000 + 11 \times 50 = 10{,}550 < 11 \times 1{,}000 = 11{,}000$)
4. $N^* = 50$ downstream tasks
Answer: The correct answer is C. The break-even condition is $C_{\text{pretrain}} + N \cdot C_{\text{finetune}} \le N \cdot C_{\text{scratch}}$, which gives $10{,}000 + 50N \le 1000N$, or $950N \ge 10{,}000$. Solving for $N$ yields $N \ge 10{,}000 / 950 \approx 10.53$. Thus, at least 11 downstream tasks are required for the self-supervised foundation model investment to be cheaper than training from scratch. At 10 tasks, scratch training costs $10{,}000$ hours while the foundation model costs $10{,}500$ hours. At 11 tasks, scratch training costs $11{,}000$ hours while the foundation model costs $10{,}550$ hours.

Learning Objective: Calculate the break-even threshold for amortizing self-supervised pretraining across downstream tasks.
How does the MoCo (Momentum Contrast) framework reduce the hardware and memory constraints of contrastive self-supervised learning compared to naive SimCLR?
1. By replacing convolutional backbones with rule-based lookup tables to avoid backpropagation
2. By requiring fully supervised class labels to filter out false negative pairs
3. By using a dynamic queue of negative keys and a slowly updating momentum encoder, decoupling negative dictionary size from mini-batch size
4. By computing exact pairwise Jaccard similarities on raw byte sequences rather than latent embeddings
Answer: The correct answer is C. Contrastive learning requires large sets of negative examples for effective representation learning. While SimCLR scales the mini-batch size (requiring massive GPU memory across many accelerators, e.g. batch size 4096), MoCo decouples the dictionary size from the mini-batch size by maintaining a memory queue of negative keys updated with a momentum-averaged teacher encoder. MoCo still uses neural backbones and backpropagation, operates in an unsupervised manner without human labels, and computes cosine similarities in latent space rather than raw byte Jaccard comparisons.

Learning Objective: Compare contrastive self-supervised learning architectures and their memory-compute scaling trade-offs.
What is the systems-level ‘homogenization risk’ (or blast radius) of pretraining a shared foundation model on an uncurated dataset?

Answer: Because a single foundation model serves as the common upstream base for dozens or thousands of downstream applications, any flaw, bias, toxic pattern, or memorized sensitive data in the pretraining corpus propagates universally into every downstream fine-tuned model, multiplying the blast radius of upstream curation errors.

Learning Objective: Evaluate the blast radius and homogenization risk associated with foundation model pretraining corpora.
True or False: Because self-supervised pretraining learns general representations from unlabeled data, it completely eliminates the need for data selection or quality filtering during the pretraining stage.

Answer: False. Self-supervised pretraining at web scale remains highly sensitive to pretraining data quality; uncurated corpora containing boilerplate, corrupted text, toxic samples, or pervasive duplicates degrade representation quality and inflate training FLOPs without improving downstream transfer.

Learning Objective: Evaluate the misconception that self-supervised learning eliminates data curation requirements.
An unsupervised learning approach where the model solves an auxiliary task constructed directly from the structure of unlabeled data (such as masked token prediction or contrastive instance discrimination) is called a ____ task.

Answer: pretext (or self-supervised pretext). Pretext tasks generate supervision signals directly from input structure without manual annotations, enabling representation pretraining.

Learning Objective: Explain the concept and role of pretext tasks in self-supervised learning.

← Back to Questions

Self-Check: Answer

What causes the phenomenon of ‘model collapse’ (or the autophagous loop) when generative models are trained recursively on synthetic data generated by earlier model iterations?
1. GPU memory fragmentation caused by variable-length synthetic sequences during distributed training
2. Overfitting to floating-point rounding errors during fp16 mixed-precision matrix multiplication
3. A failure of the I/O storage subsystem to deliver synthetic batches at line rate
4. Systematic underrepresentation and progressive pruning of the tail distributions of the true data distribution across successive generations
Answer: The correct answer is D. Generative models sample with higher probability from the mode of their learned distribution, inherently underrepresenting rare tail events. When generation $n+1$ trains on outputs from generation $n$, the tails of the distribution are progressively truncated and compressed, causing the generated data to lose diversity and collapse into homogeneous, degraded outputs. GPU memory fragmentation, fp16 rounding, and storage I/O bottlenecks are systems execution issues, not the statistical cause of model collapse.

Learning Objective: Analyze the mathematical and statistical causes of model collapse in recursive synthetic training.
In knowledge distillation, what is the primary role of the temperature parameter $T$ when computing soft targets from a teacher model’s logits $z_i$ ($p_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$)?
1. To soften the output probability distribution, exposing the relative probability structure (‘dark knowledge’) over non-target classes to the student
2. To clamp gradients to prevent numerical overflow in the student’s backward pass
3. To dynamically increase learning rate when the student loss plateaus
4. To randomly drop connections in the student network like dropout
Answer: The correct answer is A. Higher temperature $T > 1$ softens the softmax distribution over logits, revealing the rich relative similarities between incorrect classes (the teacher’s ‘dark knowledge’) that are hidden by standard hard argmax or sharp low-temperature one-hot predictions. Temperature scaling is not gradient clipping, does not adjust the optimizer learning rate, and is distinct from dropout regularization.

Learning Objective: Explain the purpose of temperature scaling in knowledge distillation for information transfer.
Why is training exclusively on $100\%$ synthetic data from a simulation engine often suboptimal for real-world deployment, and how does synthetic-to-real data mixing bridge this gap?

Answer: Simulation engines have an inherent domain gap ($\mathcal{D}_{\text{synth}} \ne \mathcal{D}_{\text{real}}$) caused by simplified physics, missing sensor artifacts, and unmodeled environmental noise. Mixing synthetic data with a curated set of real-world examples anchors the model to real feature distributions while using synthetic samples to expand volume, cover edge cases, and balance rare classes.

Learning Objective: Analyze domain gap challenges and justify synthetic-to-real mixing ratios.
True or False: Using a high-capacity diffusion model or state-of-the-art LLM to generate synthetic training data guarantees that the resulting training set will be completely free of distribution shift relative to the real deployment environment.

Answer: False. Generator quality does not eliminate domain gap. Synthetic generators can amplify subtle distribution shifts, introduce generator-specific artifacts, and omit edge cases present in real-world deployment environments, requiring domain validation against real ground truth.

Learning Objective: Evaluate the misconception that advanced generative models eliminate domain shift.
Order the stages in a multi-tier audio dataset expansion pipeline starting from a small seed recording: (1) Hard-negative mining, (2) Acoustic noise injection, (3) Seed recordings collection, (4) TTS simulation, (5) Geometric/Transformation-based audio augmentation.

Answer: The correct order is: (3) Seed recordings collection, (5) Geometric/Transformation-based audio augmentation, (2) Acoustic noise injection, (1) Hard-negative mining, (4) TTS simulation. The pipeline starts with high-quality seed utterances, applies transformation augmentations (pitch/speed shifts), injects background noise environments, mines hard negatives that confuse the baseline model, and uses TTS simulation to generate missing vocabulary and speaker variations.

Learning Objective: Design a tiered data expansion pipeline combining real seed collection, augmentation, noise injection, and synthetic simulation.

← Back to Questions

Self-Check: Answer

According to the chapter’s decision framework, if an ML team has an abundant pool of unlabeled domain data, very limited annotation budget, and access to human domain experts for selective queries, which technique branch is recommended?
1. Pure transformation-based data augmentation without labeling
2. Active learning (human-in-the-loop selective query) or semi-supervised learning
3. Generative self-instruct synthesis to replace all human annotators entirely
4. Exhaustive pairwise Jaccard deduplication across all unlabeled samples
Answer: The correct answer is B. When the primary bottleneck is labeling cost, the decision framework routes based on oracle availability: if a human oracle is available, active learning queries the most informative samples; when combined with unlabeled data, semi-supervised learning leverages structural priors. Pure augmentation does not provide ground truth for novel concepts, generative self-instruct cannot replace domain experts where ground-truth verification is required, and pairwise deduplication is a pruning step rather than a labeling strategy.

Learning Objective: Apply the data selection decision framework to match operational constraints with appropriate selection paradigms.
When deciding between static coreset pruning and dynamic online active selection for a production pipeline, what role does the expected number of training runs ($N$) play in the architectural choice?

Answer: Static coreset pruning incurs an upfront scoring and curation cost that amortizes across all subsequent training runs ($N \gg 1$), making it highly cost-effective for hyperparameter sweeps, architecture searches, and repeated model retraining. For a one-off single training run ($N=1$), expensive static scoring cannot be amortized, favoring lightweight dynamic selection or random sampling to avoid violating the Selection Inequality.

Learning Objective: Compare static coreset pruning and dynamic active selection based on training run amortization.
Order the decision steps when triaging a data pipeline bottleneck using the chapter’s decision framework: (1) Evaluate simulator and domain synthesizer availability, (2) Identify the primary constraint (label scarcity vs. compute limits vs. data scarcity), (3) Select the specific algorithmic technique (e.g. SSL, Active Learning, Coreset Pruning, or Generative Synthesis), (4) Assess human oracle availability and budget.

Answer: The correct order is: (2) Identify the primary constraint (label scarcity vs. compute limits vs. data scarcity), (4) Assess human oracle availability and budget, (1) Evaluate simulator and domain synthesizer availability, (3) Select the specific algorithmic technique (e.g. SSL, Active Learning, Coreset Pruning, or Generative Synthesis). The decision tree begins by establishing the primary system bottleneck, branches through resource availability (human oracles or simulators), and concludes with selecting the matching algorithmic technique.

Learning Objective: Design a systematic triage procedure using the data selection decision framework.

← Back to Questions

Self-Check: Answer

A training team reduces a dataset from $1{,}000{,}000$ to $100{,}000$ images (a $10\times$ coreset). Training on the full dataset takes 10 hours ($T_{\text{train}}(\text{full}) = 10\text{ hr}$), while training on the coreset takes 1 hour ($T_{\text{train}}(\text{subset}) = 1\text{ hr}$). However, scoring the $1\text{M}$ pool with the full production model takes 12 hours ($T_{\text{selection}} = 12\text{ hr}$). Does this configuration satisfy the Selection Inequality, and what engineering change restores positive ROI?
1. Yes, because the dataset was reduced by $90\%$; no engineering change is needed
2. Yes, because $10\text{ hr} - 1\text{ hr} = 9\text{ hr}$ of savings outweighs the scoring cost; increase GPU count by $2\times$
3. No, because $T_{\text{selection}} + T_{\text{train}}(\text{subset}) = 13\text{ hr} > 10\text{ hr}$; replace full-model scoring with a lightweight proxy model or cached embeddings
4. No, because coreset training always increases memory bandwidth consumption; switch from NVMe SSDs to HDDs
Answer: The correct answer is C. The Selection Inequality states $T_{\text{selection}} + T_{\text{train}}(D_{\text{subset}}) < T_{\text{train}}(D_{\text{total}})$. Here, $12\text{ hr} + 1\text{ hr} = 13\text{ hr} > 10\text{ hr}$, resulting in a net wall-clock loss of 3 hours despite a $90\%$ sample reduction. Using a fast proxy model or precomputed embeddings to score the candidate pool drops $T_{\text{selection}}$ to a fraction of an hour, satisfying the inequality. Sample reduction percentage alone does not guarantee net savings, and switching to HDDs worsens I/O latency.

Learning Objective: Calculate and evaluate the Selection Inequality to identify selection latency bottlenecks.
Why do naive random sample lookups across non-contiguous indices in large un-sharded dataset files severely degrade I/O throughput on storage hardware, and how do shuffle buffers mitigate this?
1. Random lookups bypass host CPU caches, forcing floating-point registers to re-encode all labels
2. Random lookups violate PCIe parity checks, causing GPU kernel timeouts during backward passes
3. Random lookups trigger hash collisions in the Python garbage collector, halting dataloading threads
4. Random 4 KB reads achieve only a tiny fraction of peak sequential storage bandwidth due to IOPS limits, whereas shuffle buffers read large sequential chunks and randomize locally in memory
Answer: The correct answer is D. Storage devices (HDDs, SATA SSDs, NVMe SSDs, and cloud object stores) provide peak throughput under large, contiguous sequential reads. Non-contiguous random reads drop realized bandwidth dramatically (e.g. from gigabytes/sec to megabytes/sec on SSDs, or hundreds of times worse on HDDs). Shuffle buffers co-design data loading by reading large sequential shards into host RAM and performing pseudo-random shuffling locally within memory, preserving peak sequential disk bandwidth. The other choices describe fictitious hardware or software failures.

Learning Objective: Analyze the hardware empathy principles governing storage I/O and shuffle buffer design.
Contrast upstream data echoing (echoing before data augmentation) with downstream data echoing (echoing after augmentation) in terms of computational overhead and sample diversity.

Answer: Upstream data echoing re-reads raw samples once from storage and applies different randomized augmentations on each repeated pass, maximizing gradient diversity while amortizing I/O load. Downstream data echoing repeats the identical post-augmented tensor to the accelerator, eliminating both I/O and CPU augmentation compute at the cost of zero intra-sample diversity.

Learning Objective: Compare upstream versus downstream data echoing architectures and their systems trade-offs.
True or False: If the GPU training step takes 20 ms and the CPU data loading/augmentation pipeline takes 10 ms ($R = T_{\text{pipeline}} / T_{\text{GPU}} = 0.5$), applying a data echoing factor of $e = 2$ will double the end-to-end training throughput.

Answer: False. When $R < 1$, the training job is accelerator-bound (the data pipeline is already faster than the GPU), so the GPU is never starved for data. Applying data echoing in this regime provides zero throughput gain and merely feeds duplicate or stale data to the accelerator.

Learning Objective: Evaluate pipeline balance conditions under which data echoing provides zero throughput improvement.
The pipeline optimization technique that reuses intermediate data samples multiple times before fetching new batches to keep accelerators saturated when CPU data processing or I/O is the bottleneck is called data ____.

Answer: echoing. Data echoing amortizes upstream I/O and CPU transformation overhead by repeating samples through downstream pipeline stages.

Learning Objective: Explain the definition and purpose of data echoing in ML data pipelines.

← Back to Questions

Self-Check: Answer

A company invests $C_{\text{select}} = \$30{,}000$ to compute a high-quality coreset. Training on the full dataset costs $C_{\text{train}}(D) = \$10{,}000$ per run, whereas training on the coreset costs $C_{\text{train}}(S) = \$4{,}000$ per run. What is the break-even number of training runs $N^*$ required to justify this static selection investment, and what is the ROI after 10 training runs?
1. $N^* = 5$ runs, and $\text{ROI} = 100\%$ after 10 runs (Net savings = $\$30{,}000$ on a $\$30{,}000$ investment)
2. $N^* = 3$ runs, and $\text{ROI} = 300\%$ after 10 runs
3. $N^* = 8$ runs, and $\text{ROI} = 50\%$ after 10 runs
4. $N^* = 10$ runs, and $\text{ROI} = 0\%$ after 10 runs
Answer: The correct answer is A. Per-run training savings is $\Delta C = C_{ ext{train,full}} - C_{ ext{train,subset}} = \{,}000 - \{,}000 = \{,}000$. The break-even number of runs is ^* = C_{ ext{select}} / C = {,}000 / {,}000 = 5$ runs. After = 10$ runs, total gross training savings is imes {,}000 = {,}000$. Net savings is $\{,}000 - \{,}000 = \{,}000$. Return on Investment is $ ext{ROI} = ext{Net Savings} / C_{ ext{select}} = {,}000 / {,}000 = 1.0$, or \%$. The alternative choices miscalculate either the per-run savings difference or the ROI denominator.

Learning Objective: Calculate break-even training runs and Return on Investment (ROI) for static data selection.
In the full lifecycle cost equation for machine learning data systems ($C_{\text{total}} = C_{\text{acquire}} + C_{\text{label}} + C_{\text{filter}} + C_{\text{train}} + C_{\text{eval}}$), which scenario demonstrates the most effective use of upstream data filtering to minimize total expenditure?
1. Spending $\$0$ on filtering to ensure maximum raw token count reaches the final evaluation cluster
2. Spending $\$5{,}000$ on automated heuristic filtering to discard $60\%$ of corrupt samples before paying $\$100{,}000$ in human labeling and training fees
3. Doubling human labeling rates to manually review every web-scraped token before filtering
4. Eliminating model evaluation to offset the compute cost of running unpruned training runs
Answer: The correct answer is B. Spending a small amount ($C_{\text{filter}} = \$5{,}000$) on automated heuristic filtering upstream prevents wasting large labeling ($C_{\text{label}}$) and training ($C_{\text{train}}$) expenditures on corrupt or uninformative data. Spending zero on filtering shifts massive costs downstream, manual review of all raw web text is economically unfeasible, and eliminating evaluation destroys model quality verification.

Learning Objective: Analyze the lifecycle cost components of data systems to optimize pipeline investments.
Explain why calculating Return on Investment (ROI) for data selection requires tracking engineering implementation and pipeline maintenance costs in addition to raw accelerator compute hours.

Answer: A data selection method that saves GPU training hours may require custom storage infrastructure, indexing services, proxy model scoring pipelines, and human maintenance. If these engineering overheads exceed the cloud compute savings, the net systems ROI is negative despite apparent model FLOP reductions.

Learning Objective: Evaluate non-compute engineering overheads in the data selection ROI equation.
True or False: In a production setting where a single model will be trained exactly once ($N=1$) with no hyperparameter tuning or future refreshes, spending 50 GPU-hours to compute static EL2N coreset scores that save 30 GPU-hours of training time is an economically sound decision.

Answer: False. For $N=1$, the selection cost (50 GPU-hours) exceeds the training savings (30 GPU-hours), resulting in a net loss of 20 GPU-hours ($C_{\text{select}} + C_{\text{train}}(S) = 50 + C_{\text{train}}(S) > C_{\text{train}}(D)$), directly violating the Selection Inequality.

Learning Objective: Evaluate the Selection Inequality under single-run versus multi-run amortization regimes.
The metric defined as $\text{ROI} = \frac{N \cdot \Delta C_{\text{train}} - C_{\text{select}}}{C_{\text{select}}}$, which measures the net financial or compute return generated by a data selection technique over $N$ training runs, is known as Return on ____.

Answer: Investment (or ROI). Return on Investment quantifies the proportional gain of selection expenditures relative to training cost reductions.

Learning Objective: Explain the Return on Investment metric for amortized data selection techniques.

← Back to Questions

Self-Check: Answer

In a distributed training environment with hundreds of data-parallel worker nodes, why does standard centralized coreset selection fail to scale, and what trade-off does hierarchical selection introduce?
1. Centralized selection requires all workers to share a single GPU; hierarchical selection distributes weights across SSDs
2. Centralized selection fails because sharding prevents network cards from transmitting floating-point values
3. Centralized selection creates a communication and memory bottleneck at the coordinator node; hierarchical selection prunes locally per shard, risking loss of globally rare samples across shards
4. Centralized selection eliminates gradient synchronization; hierarchical selection disables local backpropagation
Answer: The correct answer is C. Centralized selection requires routing all candidate scores or embeddings to a single coordinator, creating severe network bandwidth and memory bottlenecks at scale. Hierarchical selection distributes selection by having workers select local coresets on their shards before merging at the coordinator; however, this shard-local pruning can introduce distribution skew if rare classes or boundary cases are unevenly distributed across shards. The other choices state incorrect network, hardware, or backpropagation limitations.

Learning Objective: Compare centralized, shard-local, and hierarchical architectures for distributed coreset selection.
In distributed active learning, Worker A scores candidate pool samples using model checkpoint step $t$, while asynchronous Worker B updates the shared model parameters to step $t+100$. What consistency challenge arises, and what is the systems remedy?
1. Worker A encounters deadlock in CUDA streams; the remedy is disabling PyTorch autograd
2. Worker B overwrites Worker A’s local storage; the remedy is mounting read-only NFS drives
3. Worker A’s GPU runs out of memory; the remedy is reducing batch size to 1
4. Worker A scores samples against a stale model state, producing invalid uncertainty rankings; the remedy is checkpoint versioning or periodic synchronized score refreshes
Answer: The correct answer is D. Active learning relies on current model uncertainty to query valuable samples. When workers score against stale checkpoints while training progresses asynchronously, the uncertainty scores become misaligned with the active model’s true error distribution. Checkpoint versioning and periodic score refresh intervals guarantee score consistency across distributed workers without stalling pipelines every step. The other choices misdiagnose software deadlocks, NFS overwrites, or OOM issues.

Learning Objective: Analyze consistency challenges and staleness mitigation strategies in distributed active learning.
Explain why performing independent, shard-local coreset pruning on an unstratified, partitioned dataset can cause minority class collapse during distributed training.

Answer: When a dataset is sharded across workers without stratification, rare minority classes may appear in very few shards. If each worker independently selects its top-$k$ coreset based on local metrics, workers with only a few minority samples may discard them as outliers, systematically erasing the minority class from the global training corpus.

Learning Objective: Explain how unstratified data sharding leads to minority class loss during distributed pruning.
Order the execution phases of a distributed coreset selection workflow across a GPU cluster: (1) Compute shard-local embeddings and perform local near-deduplication, (2) Aggregate local candidate indices at the central coordinator, (3) Perform global proxy scoring and thresholding to produce final indices, (4) Broadcast final coreset index list to all worker nodes.

Answer: The correct order is: (1) Compute shard-local embeddings and perform local near-deduplication, (2) Aggregate local candidate indices at the central coordinator, (3) Perform global proxy scoring and thresholding to produce final indices, (4) Broadcast final coreset index list to all worker nodes. The workflow begins with parallelized local feature extraction and deduplication on each worker, aggregates candidates, runs global scoring/selection at the coordinator, and broadcasts the finalized index partition.

Learning Objective: Design the execution sequence of a distributed coreset selection pipeline.

← Back to Questions

Self-Check: Answer

In the D·A·M optimization stack (Data Selection, Algorithm/Model Compression, Machine Hardware Optimization), an ML team achieves a $2\times$ reduction in dataset size via coreset pruning, a $2\times$ reduction in operations per sample via model pruning/quantization, and a $2\times$ increase in hardware arithmetic throughput via kernel optimization. What is the total combined speedup factor for training?
1. An $8\times$ total speedup, because optimizations across distinct layers of the ML systems stack compound multiplicatively ($2 \times 2 \times 2 = 8$)
2. A $6\times$ total speedup, because speedup factors add linearly across layers ($2 + 2 + 2 = 6$)
3. A $2\times$ total speedup, because the lowest-layer optimization bottleneck dominates all others (Amdahl’s law min-factor)
4. A $4\times$ total speedup, because data selection cancels out model compression gains
Answer: The correct answer is A. The Iron Law of ML Systems demonstrates that optimizations at different layers (Workload/Data $\times$ Algorithm/Model $\times$ Machine/Hardware) multiply together when acting on the same execution path. Reducing samples by $2\times$, model operations by $2\times$, and boosting hardware throughput by $2\times$ yields a total speedup of $2 \times 2 \times 2 = 8\times$, far exceeding the additive sum of 6. Optimizations do not cancel each other out, nor do they collapse to the minimum factor when applied across sequential stages.

Learning Objective: Calculate the multiplicative compounding effects across data, algorithm, and machine optimization layers.
Why are upstream data selection (Workload layer) and downstream model compression (Algorithm layer) fundamentally complementary rather than interchangeable techniques in system design?
1. Model compression can only be applied to computer vision models, whereas data selection is restricted to NLP
2. Data selection eliminates backward passes entirely, whereas model compression eliminates forward passes
3. Data selection optimizes inference latency on edge devices, whereas model compression only affects training time
4. Data selection reduces the total number of training samples processed ($N_{\text{samples}}$), whereas model compression reduces the compute and memory cost per individual sample forward/backward pass ($O_{\text{sample}}$)
Answer: The correct answer is D. Upstream data selection determines which samples enter the workload (reducing sample count $N_{\text{samples}}$), while model compression determines how much compute each sample requires (reducing operations per pass $O_{\text{sample}}$ and memory footprint). Applying both multiplies total efficiency. Neither technique is restricted by modality, both affect forward and backward execution, and model compression is widely used for edge inference while data selection optimizes training workloads.

Learning Objective: Compare the architectural roles of workload-layer data selection and algorithm-layer model compression.
A training pipeline aggressively reduces dataset size with a $10\times$ coreset. However, the engineering team observes that the end-to-end training job speedup is only $2\times$ instead of the expected $10\times$. Using systems principles, diagnose the likely bottleneck shift.

Answer: Aggressively shrinking the dataset by $10\times$ reduces compute time tenfold, shifting the primary bottleneck from GPU compute to fixed overheads such as un-amortized framework initialization, model checkpointing, distributed barrier synchronization, or I/O data loader startup latency, capping overall speedup per Amdahl’s Law.

Learning Objective: Analyze bottleneck shifts caused by aggressive dataset pruning.
Explain how data selection operates upstream of all algorithm- and hardware-level optimizations in the D·A·M optimization stack.

Answer: Data selection operates at the Workload layer by pruning uninformative or duplicate samples before they enter the training pipeline. Because an eliminated sample requires zero forward passes, zero backward passes, zero optimizer steps, and zero communication across nodes, data selection prevents downstream compute and memory operations from ever executing.

Learning Objective: Explain how data selection acts as an upstream workload filter in the optimization stack.

← Back to Questions

Self-Check: Answer

Match the data-selection efficiency metric with its precise definition: A team wants to measure the ratio of full dataset size to selected subset size ($\text{DCR} = |D| / |S|$), and the ratio of final accuracy achieved on the subset versus the full dataset ($\text{ARR} = \text{Acc}(S) / \text{Acc}(D)$). What do DCR and ARR stand for?
1. Data Curation Rate and Accuracy Reduction Ratio
2. Data Compression Ratio and Accuracy Retention Ratio
3. Dynamic Checkpoint Rate and Active Retention Rate
4. Data Convergence Ratio and Amortized Risk Ratio
Answer: The correct answer is B. DCR is the Data Compression Ratio ($|D_{ ext{full}}| / |D_{ ext{subset}}|$), quantifying how many times smaller the training subset is relative to the original pool. ARR is the Accuracy Retention Ratio ($ ext{Acc}{ ext{subset}} / ext{Acc}{ ext{full}}$), measuring what proportion of the baseline full-data accuracy is preserved by the selected subset. The other terms are incorrect nomenclature.

Learning Objective: Classify and define the core metrics of the data selection measurement framework.
An ML systems diagnostic plot maps normalized training compute (FLOPs) on the horizontal log-axis against model performance on the vertical axis. A training run with 10M parameters sits significantly below the green compute-optimal frontier, and increasing token count yields no accuracy improvement while scaling model parameters to 100M immediately restores optimal frontier scaling. What was the diagnosis of the original operating point?
1. Data-starved regime
2. I/O bandwidth-saturated regime
3. Compute-starved (capacity-limited) regime
4. Over-echoing regime
Answer: The correct answer is C. The run was compute-starved (or parameter capacity-limited): the 10M model lacked the representational capacity to absorb more data, causing performance to plateau below the frontier. Increasing model capacity to 100M allowed the system to utilize the compute budget efficiently and move up to the compute-optimal frontier. In a data-starved regime, the model has excess capacity but lacks high-quality tokens, which would be resolved by adding data or improving selection, not merely increasing parameter count.

Learning Objective: Analyze operating points on the compute-optimal frontier to diagnose compute-starved versus data-starved training regimes.
Why is Area Under the Learning Curve (AULC) a more informative metric than single-point final validation accuracy when evaluating dynamic data selection and curriculum learning algorithms?

Answer: Single-point final accuracy evaluates model capability only at the end of training, ignoring the rate of learning progress. AULC integrates accuracy across all intermediate compute steps or epochs, rewarding methods that achieve high accuracy rapidly and reach target performance with fewer FLOPs.

Learning Objective: Justify using Area Under the Learning Curve (AULC) over single-point final accuracy.
True or False: If two training runs (Run A on a raw dataset and Run B on a coreset) reach the exact same validation loss plateau, they must have processed identical amounts of informative tokens.

Answer: False. Run A on the raw dataset may have processed a large volume of redundant and uninformative tokens, wasting compute to reach the plateau. Run B on the coreset concentrated compute on high-ICR boundary samples, reaching the same loss plateau with a fraction of the total tokens and FLOPs.

Learning Objective: Evaluate loss curve plateaus to distinguish compute efficiency from raw sample volume.
The Pareto frontier that defines the maximum achievable model accuracy or minimum loss for every given training compute budget (FLOPs) under balanced parameter and token allocation is known as the compute-____ frontier.

Answer: optimal (or compute-optimal frontier). The compute-optimal frontier represents the theoretical efficiency boundary where model size and dataset size are optimally balanced.

Learning Objective: Explain the concept and significance of the compute-optimal frontier.

← Back to Questions

Self-Check: Answer

A research paper reports that an EL2N coreset selection method successfully pruned $50\%$ of CIFAR-10 with $0\%$ loss in accuracy. A medical imaging team applies the exact same $50\%$ pruning ratio to a rare tumor detection dataset and suffers a disastrous $28\%$ drop in recall. What fallacy explains this failure?
1. The team failed to use GPU acceleration during the inference pass
2. The team used float32 precision instead of bfloat16 mixed precision
3. CIFAR-10 contains more total classes than medical imaging datasets
4. Assuming that benchmark coreset pruning ratios transfer directly to specialized, highly imbalanced production domains with rare failure modes
Answer: The correct answer is D. Pruning ratios calibrated on balanced, homogeneous academic benchmarks like CIFAR-10 rarely transfer to specialized production domains like medical imaging. In domains with extreme class imbalance or subtle pathological features, a $50\%$ global prune disproportionately discards rare minority samples and critical edge cases, causing severe domain-specific performance drops. Hardware precision and class counts are irrelevant to this transfer fallacy.

Learning Objective: Analyze why benchmark data pruning ratios fail to transfer to specialized production domains.
A team implements an elaborate multi-stage active learning pipeline that reduces training dataset size by $40\%$. However, the continuous clustering, proxy scoring, and cross-worker all-gather synchronization take 3 times longer than the GPU time saved during training. Which pitfall does this represent?
1. Violating the Selection Inequality by incurring selection overheads that exceed downstream training savings ($T_{\text{selection}} > \Delta T_{\text{train}}$)
2. Encountering model collapse due to recursive generator loops
3. Failing to implement 4 KB small-read alignment on host NVMe storage
4. Violating the smoothness assumption in semi-supervised consistency regularization
Answer: The correct answer is A. This is the canonical violation of the Selection Inequality: an engineering team designs a selection algorithm that successfully reduces sample count, but the computational and synchronization overhead of scoring and filtering ($T_{\text{selection}}$) exceeds the training time saved on the reduced subset, leading to a net increase in total wall-clock time. Model collapse relates to recursive generative training, NVMe alignment relates to I/O access patterns, and the smoothness assumption belongs to semi-supervised learning.

Learning Objective: Analyze violations of the Selection Inequality in complex data selection architectures.
Why is evaluating a data selection strategy solely on aggregate validation accuracy a dangerous pitfall when dealing with imbalanced datasets?

Answer: In imbalanced datasets, aggregate accuracy is heavily dominated by majority classes. A data pruning algorithm could discard $90\%$ of rare minority or safety-critical examples to optimize overall compute while aggregate accuracy appears unchanged, completely compromising model performance on rare real-world failure modes.

Learning Objective: Evaluate the pitfall of aggregate metric optimization under severe class imbalance.
True or False: Because modern high-capacity generative models produce photorealistic images and fluent text, a model trained on $100\%$ recursively generated synthetic data will never suffer from performance degradation.

Answer: False. Recursive training on synthetic data inevitably triggers model collapse and distribution tail erosion, as generative models progressively drop rare modes and compound statistical errors across generations, severely degrading model capability.

Learning Objective: Evaluate the fallacy that high generative fidelity prevents model collapse in synthetic data training.

← Back to Questions

Self-Check: Answer

Which summary statement best captures the central systems principle of data selection established throughout this chapter?
1. Data selection is an offline heuristic that only applies to small academic image classification benchmarks
2. Data selection is the highest-leverage input optimization layer because it eliminates FLOPs, memory traffic, and communication before model or hardware execution begins
3. Data selection replaces all algorithm-level model compression and hardware acceleration optimizations
4. Data selection is strictly bounded by the requirement that datasets must grow linearly with GPU cluster node counts
Answer: The correct answer is B. Data selection operates as the first and highest-leverage optimization layer in the ML systems hierarchy: by identifying and retaining only high-ICR tokens and samples, it eliminates forward passes, backward passes, memory bandwidth consumption, and gradient communications upstream. Data selection does not replace downstream model compression or hardware optimizations (it compounds multiplicatively with them) and is not an academic heuristic.

Learning Objective: Explain the overarching systems role of data selection in the optimization hierarchy.
In one integrated explanation, relate the Information-Compute Ratio (ICR), the Selection Inequality, and the three-stage data selection pipeline.

Answer: ICR provides the theoretical optimization metric (maximizing learning progress per unit of compute), the Selection Inequality defines the practical feasibility constraint ($C_{\text{select}} + C_{\text{train}}(S) < C_{\text{train}}(D)$), and the three-stage pipeline (static pruning, dynamic selection, synthetic generation) provides the architectural framework to achieve high ICR while satisfying the selection inequality.

Learning Objective: Compare the roles of ICR, the Selection Inequality, and the three-stage data selection pipeline.
How does workload-level data selection interact with the broader D·A·M optimization stack to maximize end-to-end training efficiency?

Answer: Workload-level data selection reduces the number of samples ($N_{\text{samples}}$) entering the system, which compounds multiplicatively with algorithm-level reductions in operations per sample ($O_{\text{sample}}$) and machine-level increases in hardware throughput ($R_{\text{peak}} \cdot \eta_{\text{hw}}$), maximizing end-to-end efficiency across the entire training stack.

Learning Objective: Explain how data selection compounds with algorithmic and hardware optimizations in the D·A·M stack.

← Back to Questions