Bảng thuật ngữ

Bảng thuật ngữ này định nghĩa các thuật ngữ chính dùng trong sách, tổng hợp lại thành một tài liệu tham khảo ngắn gọn. Các thuật ngữ được sắp xếp theo thứ tự bảng chữ cái để bạn tiện tra cứu khi đọc các chương.

3

3DMark: Bộ benchmark hiệu năng đồ họa dùng để đánh giá khả năng kết xuất 3D thời gian thực. Nó đo thông lượng tam giác, tốc độ điền texture (texture fill rate) và các tính năng hiện đại như ray tracing và hiệu năng DLSS.

A

A/B testing: Một phương pháp thử nghiệm có kiểm soát để so sánh hai phiên bản của một hệ thống hoặc mô hình bằng cách chia ngẫu nhiên người dùng thành các nhóm và đo lường chênh lệch hiệu suất giữa các biến thể.
ablation study: Một thử nghiệm loại bỏ, vô hiệu hóa hoặc cô lập từng thành phần một để đo lường đóng góp của nó vào hành vi của mô hình hoặc hệ thống.
activation-based pruning: Một phương pháp tỉa (pruning) đánh giá giá trị activation trung bình của các nơ-ron hoặc bộ lọc trên một tập dữ liệu để xác định và loại bỏ những nơ-ron liên tục cho activation thấp, vốn đóng góp ít thông tin vào quá trình ra quyết định của mạng nơ-ron.
activation checkpointing: Một kỹ thuật tối ưu hóa bộ nhớ giúp giảm mức sử dụng bộ nhớ trong quá trình lan truyền ngược bằng cách chọn lọc loại bỏ và tính toán lại các activation thay vì lưu trữ tất cả kết quả trung gian.
activation function: Một hàm toán học được áp dụng cho tổng có trọng số của các đầu vào trong một nơ-ron của mạng nơ-ron để đưa vào tính phi tuyến, cho phép mạng học các mẫu phức tạp vượt ra ngoài những tổ hợp tuyến tính đơn giản.
activation memory: Bộ nhớ dùng để lưu trữ đầu ra của các lớp trung gian, cần thiết cho việc tính toán gradient trong quá trình huấn luyện. Dung lượng bộ nhớ này tăng theo kích thước batch, độ dài chuỗi và độ sâu mô hình.
active learning: Một cách tiếp cận chọn lọc thông minh các ví dụ mang tính thông tin nhất để con người chú thích dựa trên mức độ không chắc chắn của mô hình, qua đó giảm lượng dữ liệu gán nhãn cần thiết cho huấn luyện hiệu quả.
Adam optimization: Một thuật toán tối ưu hóa learning rate thích ứng kết hợp momentum và RMSprop bằng cách duy trì các giá trị trung bình suy giảm theo cấp số nhân của cả gradient và gradient bình phương cho mỗi tham số.
AdamW: Một biến thể của Adam tách weight decay khỏi cập nhật gradient thích ứng, cải thiện hiệu quả regularization trong khi vẫn giữ các moment thích ứng của optimizer.
AI Triad: Một framework mô hình hóa hệ thống ML thành ba thành phần phụ thuộc lẫn nhau: dữ liệu định hướng hành vi, thuật toán học các mẫu, và hạ tầng tính toán cho phép huấn luyện và suy luận. Bất kỳ giới hạn nào ở một thành phần cũng sẽ giới hạn khả năng của các thành phần còn lại.
alerting: Hệ thống thông báo tự động cho biết khi các chỉ số vượt ngưỡng định sẵn hoặc khi phát hiện bất thường trong các hệ thống ML đang chạy production.
AlexNet: Một kiến trúc mạng nơ-ron tích chập mang tính bước ngoặt đã giành chiến thắng trong thử thách ImageNet năm 2012, giúp giảm tỷ lệ lỗi từ 26% xuống 16% và khơi dậy sự phục hưng của deep learning.
AllReduce: Một thao tác giao tiếp tập thể trong điện toán phân tán, nơi mỗi tiến trình đóng góp dữ liệu và tất cả các tiến trình đều nhận được kết quả tổng hợp. Thao tác này thường được dùng để tổng hợp gradient trong huấn luyện phân tán.
all-to-all communication: Một kiểu giao tiếp mà mọi thiết bị hoặc tiến trình đều trao đổi dữ liệu với tất cả các thiết bị hoặc tiến trình khác. Kiểu giao tiếp này phổ biến trong các khối lượng công việc (workload) như embedding phân mảnh và song song chuyên gia.
AlphaFold: Một hệ thống AI mang tính bước ngoặt do DeepMind phát triển, có khả năng dự đoán cấu trúc ba chiều của nhiều protein từ chuỗi axit amin của chúng. Hệ thống này đạt được độ chính xác đột phá mà không cần giải quyết mọi vấn đề gấp nếp (folding problem) và cho thấy các hệ thống ML quy mô lớn có thể thúc đẩy khám phá khoa học. Tuy nhiên, các dự đoán của nó vẫn cần được diễn giải độ tin cậy và, đối với nhiều trường hợp sử dụng, cần xác nhận thực nghiệm.
Amdahl’s Law: Một định luật về giới hạn tăng tốc, chỉ ra rằng hiệu suất tổng thể bị giới hạn bởi phần khối lượng công việc (workload) hoặc pipeline vẫn còn xử lý tuần tự hoặc chưa được tối ưu hóa.
AOT compilation: Biên dịch trước thời gian (Ahead-of-time compilation) là quá trình chuyển một mô hình, đồ thị hoặc chương trình thành mã thực thi đã được tối ưu hóa trước khi triển khai hoặc thực thi, đổi lại phải hy sinh bớt tính linh hoạt để giảm chi phí runtime.
Apache Kafka: Một nền tảng streaming phân tán chuyên xử lý các luồng dữ liệu thời gian thực bằng hệ thống nhắn tin publish-subscribe. Nền tảng này thường được dùng để xây dựng các pipeline dữ liệu ML với thông lượng cao và khả năng chịu lỗi.
Apache Spark: Một framework điện toán phân tán mã nguồn mở, cho phép xử lý dữ liệu quy mô lớn trên các cụm máy tính. Nó đã cách mạng hóa các hoạt động ETL nhờ khả năng điện toán trong bộ nhớ.

application-specific integrated circuit (ASIC): Chip tùy biến được thiết kế cho các tác vụ tính toán cụ thể. Nhờ đánh đổi tính linh hoạt của bộ xử lý đa năng, chúng đạt hiệu năng cao và tiết kiệm năng lượng vượt trội. Ví dụ: các TPU của Google, Cerebras Wafer-Scale Engine và các ASIC dùng để khai thác Bitcoin.

architectural efficiency: Một khía cạnh tối ưu hóa mô hình, tập trung vào cách thực thi phép tính hiệu quả trong huấn luyện và suy luận. Cách tiếp cận gồm khai thác độ thưa, phân rã các thành phần lớn và điều chỉnh lượng tính toán linh hoạt theo độ phức tạp của đầu vào.
arithmetic intensity: Tỷ lệ số phép toán dấu phẩy động so với số byte bộ nhớ được truy cập (FLOP/byte). Chỉ số này dùng trong phân tích roofline để xác định xem khối lượng công việc (workload) bị giới hạn bởi bộ nhớ hay bởi tính toán, từ đó định hướng ưu tiên tối ưu hóa.
artificial general intelligence: Các hệ thống AI nhằm đạt hiệu suất ngang tầm con người trên dải rộng các tác vụ nhận thức. Thuật ngữ này không có một ngưỡng khả năng được chấp nhận rộng rãi và cũng không hàm ý một kiến trúc cụ thể nào.
artificial intelligence: Lĩnh vực khoa học máy tính tập trung vào việc tạo ra các hệ thống có khả năng thực hiện những tác vụ thường đòi hỏi trí thông minh của con người, ví dụ như nhận thức, suy luận, học hỏi và ra quyết định.
artificial neural network: Một mô hình tính toán lấy cảm hứng từ các mạng nơ-ron sinh học. Nó gồm các nút (nơ-ron) kết nối với nhau, tổ chức thành các lớp, có khả năng học các mẫu từ dữ liệu thông qua các trọng số và độ chệch (bias) có thể điều chỉnh.
artificial neurons: Các đơn vị tính toán cơ bản trong mạng nơ-ron, mô phỏng nơ-ron sinh học. Chúng nhận nhiều đầu vào, áp dụng các trọng số và độ chệch (bias), rồi tạo ra tín hiệu đầu ra thông qua một hàm activation.
attention mechanism: Một thành phần của mạng nơ-ron, tính toán các kết nối có trọng số giữa các phần tử dựa trên nội dung của chúng. Điều này cho phép mô hình tập trung linh hoạt vào những phần liên quan của đầu vào, thay vì phụ thuộc vào các kết nối cố định theo kiến trúc.
AUC: Diện tích dưới đường cong ROC. Đây là một chỉ số phân loại không phụ thuộc vào ngưỡng, dùng để so sánh tỷ lệ dương tính thật và tỷ lệ dương tính giả trên các ngưỡng quyết định khác nhau.
audit trail: Là một bản ghi chỉ thêm, lưu lại chi tiết ai đã truy cập hoặc thay đổi dữ liệu, mô hình hay các tạo phẩm của hệ thống và vào thời điểm nào. Bản ghi này hỗ trợ việc giải trình, gỡ lỗi và tuân thủ các quy định.
autograd tape: Là một bản ghi tạm thời về các phép toán và các giá trị được lưu trong khi thực thi lượt truyền xuôi, để kỹ thuật đạo hàm tự động ở chế độ ngược có thể tính toán gradient trong lượt truyền ngược.

automatic differentiation là một kỹ thuật tính toán tự động tính toán đạo hàm chính xác của các hàm được cài đặt dưới dạng chương trình máy tính. Kỹ thuật này hoạt động bằng cách áp dụng một cách có hệ thống quy tắc chuỗi ở cấp độ các phép toán cơ bản, và rất cần thiết để huấn luyện mạng nơ-ron thông qua tối ưu hóa dựa trên gradient.

automatic mixed precision là một kỹ thuật huấn luyện tự động điều chỉnh việc sử dụng các độ chính xác số khác nhau (FP16, FP32). Mục đích là để tối ưu hóa việc sử dụng bộ nhớ và tốc độ tính toán mà vẫn duy trì được độ chính xác của mô hình.

AutoML là lĩnh vực machine learning tự động hóa các quyết định thiết kế mô hình. Các quyết định này bao gồm tìm kiếm kiến trúc, tối ưu hóa siêu tham số và lựa chọn đặc trưng, với mục tiêu giảm thiểu công sức thủ công.

autoscaling là việc điều chỉnh động các tài nguyên tính toán dựa trên nhu cầu khối lượng công việc (workload). Hệ thống sẽ tự động mở rộng quy mô khi sử dụng cao điểm và thu nhỏ quy mô khi sử dụng thấp điểm, nhằm tối ưu hóa chi phí và hiệu suất.

B

lan truyền ngược là một thuật toán dùng để tính toán gradient của hàm mất mát đối với các trọng số của mạng nơ-ron. Thuật toán này lan truyền tín hiệu lỗi ngược qua các lớp của mạng, từ đó cho phép cập nhật trọng số một cách có hệ thống trong quá trình huấn luyện.

lượt truyền ngược là giai đoạn trong quá trình huấn luyện mà gradient được lan truyền ngược từ hàm mất mát qua toàn bộ mạng để tính toán gradient của các tham số, đi kèm với lượt truyền xuôi.

băng thông là tốc độ truyền dữ liệu tối đa qua một kênh truyền thông hoặc giao diện bộ nhớ. Nó thường được đo bằng byte trên giây và rất quan trọng để tối ưu hóa việc di chuyển dữ liệu trong các bộ tăng tốc AI.

suy luận theo batch là quá trình thực hiện suy luận trên một tập dữ liệu lớn cùng lúc (theo batch), thường dưới dạng một tác vụ được lên lịch, khác với suy luận thời gian thực trên từng yêu cầu riêng lẻ. Suy luận theo batch giúp đạt thông lượng cao hơn bằng cách phân bổ chi phí chung cho nhiều đầu vào.

nạp dữ liệu theo batch là một mẫu xử lý dữ liệu, trong đó dữ liệu được thu thập và xử lý theo nhóm (batch) theo lịch định kỳ. Cách làm này phù hợp khi không cần xử lý theo thời gian thực.

chuẩn hóa batch là kỹ thuật chuẩn hóa đầu vào của mỗi lớp về giá trị trung bình 0 và phương sai 1, giúp ổn định quá trình huấn luyện, thường cho phép dùng tốc độ học cao hơn và hội tụ nhanh hơn. Sau đó, kỹ thuật này áp dụng các hệ số nhân và dịch có thể học để giữ nguyên khả năng biểu diễn.

Kỹ thuật xử lý nhiều mẫu dữ liệu cùng lúc để phân bổ chi phí tính toán và truy cập bộ nhớ, từ đó cải thiện thông lượng tổng thể trong quá trình huấn luyện và suy luận mạng nơ-ron.

Số lượng ví dụ huấn luyện được xử lý đồng thời trong một lần lặp của quá trình huấn luyện mạng nơ-ron. Kích thước batch ảnh hưởng đến cả hiệu quả tính toán và chất lượng ước tính gradient.

Các kỹ thuật nhằm tối đa hóa số lượng mẫu được xử lý trong một đơn vị thời gian khi xử lý nhiều đầu vào cùng lúc, bằng cách tận dụng song song hóa và hiệu quả của batching.

Các phép tính ma trận xử lý nhiều đầu vào đồng thời, chuyển các phép toán ma trận–vector thành các phép toán ma trận–ma trận hiệu quả hơn để cải thiện mức độ tận dụng phần cứng.

Việc thiết kế và phát triển có hệ thống các framework đánh giá hiệu suất, bao gồm tạo bộ công cụ kiểm thử, lựa chọn chỉ số và xây dựng phương pháp diễn giải kết quả.

Một thành phần hạ tầng có hệ thống, chịu trách nhiệm kiểm soát việc thực thi kiểm thử, quản lý cung cấp đầu vào và thu thập các phép đo hiệu suất trong điều kiện được kiểm soát, nhằm đảm bảo đánh giá có thể tái tạo.

Việc đánh giá có hệ thống hiệu suất tính toán, hiệu quả thuật toán và chất lượng dữ liệu trong các hệ thống machine learning, nhằm tối ưu hóa hiệu suất trên các khối lượng công việc (workload) đa dạng và đảm bảo khả năng tái tạo.

Viết tắt của Bidirectional Encoder Representations from Transformers. Đây là một mô hình ngôn ngữ dựa trên transformer do Google giới thiệu vào năm 2018, đã làm thay đổi lĩnh vực xử lý ngôn ngữ tự nhiên thông qua kỹ thuật tiền huấn luyện mô hình ngôn ngữ che mặt.

Một định dạng số dấu phẩy động 16-bit do Google Brain phát triển, có cùng dải động với FP32 nhưng độ chính xác thấp hơn, nên đặc biệt phù hợp cho huấn luyện deep learning.

Một tham số học được gọi là độ chệch (bias) được cộng vào tổng trọng số ở mỗi nơ-ron. Nó dịch chuyển hàm activation, cho phép nơ-ron vẫn kích hoạt ngay cả khi mọi đầu vào bằng 0, và tăng thêm sự linh hoạt để mạng khớp các mẫu phức tạp.

Một kỹ thuật lượng tử hoá ở mức cực đoan, đưa trọng số, activation, hoặc cả hai của mạng nơ-ron về các giá trị nhị phân (thường là -1 và +1). Kỹ thuật này đạt mức nén tối đa nhưng thường cần các quy trình huấn luyện chuyên biệt và hỗ trợ từ phần cứng.

Một tế bào trong hệ thần kinh tiếp nhận, xử lý và truyền thông tin thông qua các tín hiệu điện và hoá học, là nguồn cảm hứng cho các mạng nơ-ron nhân tạo.

Quan sát năm 2019 của Richard Sutton rằng các phương pháp tổng quát dựa trên tính toán nhất quán vượt trội hơn các cách tiếp cận nhúng kiến thức chuyên gia của con người, gợi ý rằng kỹ thuật hệ thống cho phép mở rộng quy mô tính toán là trung tâm của tiến bộ AI.

hộp đen: Một hệ thống mà ta có thể quan sát đầu vào và đầu ra, nhưng cách thức vận hành bên trong thì không thể tiếp cận hoặc mờ mịt. Sự thiếu minh bạch này đặc biệt gây vấn đề khi hệ thống đưa ra các quyết định quan trọng mà không giải thích được lý do.
BLAS: Basic Linear Algebra Subprograms (Các chương trình con Đại số Tuyến tính Cơ bản), là một đặc tả cho các chương trình con cấp thấp thực hiện các phép toán đại số tuyến tính phổ biến như cộng vectơ, nhân vô hướng, tích vô hướng và các phép toán ma trận. BLAS tạo thành nền tảng tính toán của các framework ML hiện đại.
ma trận thưa khối: Một ma trận thưa mà các giá trị khác 0 xuất hiện thành các khối dày đặc thay vì các phần tử rời rạc, nhờ đó giữ được cấu trúc mà các nhân phần cứng có thể khai thác hiệu quả.
triển khai blue-green: Một chiến lược triển khai sử dụng hai môi trường sản xuất, cho phép chuyển lưu lượng truy cập sang phiên bản mới đã được kiểm định, trong khi phiên bản cũ vẫn được giữ lại để có thể khôi phục (rollback) khi cần.
hộp giới hạn: Một chú thích hình chữ nhật dùng để xác định vị trí các đối tượng trong ảnh bằng cách vẽ một hộp quanh mỗi đối tượng cần quan tâm. Hộp giới hạn thường được sử dụng trong các tập dữ liệu huấn luyện của thị giác máy tính.
tính dễ vỡ: Khuynh hướng của các hệ thống AI dựa trên quy tắc là thất bại hoàn toàn khi gặp các đầu vào nằm ngoài những kịch bản đã lập trình, dù các đầu vào đó có thể rất giống với những gì hệ thống được thiết kế để xử lý.

C

bộ nhớ đệm: Kỹ thuật lưu trữ dữ liệu được truy cập thường xuyên vào các hệ thống lưu trữ tốc độ cao, giúp giảm độ trễ truy xuất và cải thiện hiệu suất trong các pipeline machine learning.
bộ cấp phát bộ nhớ đệm: Trình quản lý bộ nhớ của framework, tái sử dụng các khối bộ nhớ trên thiết bị thay vì gọi bộ cấp phát phần cứng cho từng tensor, qua đó giảm độ trễ cấp phát và hạn chế phân mảnh bộ nhớ.
hiệu chuẩn: Quá trình trong lượng tử hoá sau huấn luyện, phân tích một tập dữ liệu đại diện để xác định các tham số lượng tử hoá tối ưu (gồm hệ số tỷ lệ và điểm 0), nhằm giảm thiểu mất mát độ chính xác khi chuyển từ độ chính xác cao xuống thấp.
triển khai Canary: Chiến lược triển khai trong đó phiên bản mô hình mới chỉ nhận một tỷ lệ nhỏ lưu lượng truy cập thực tế để kiểm chứng hành vi trước khi mở rộng toàn bộ, giúp phát hiện sớm vấn đề với ảnh hưởng tối thiểu tới người dùng.
định lý CAP: Nguyên lý của hệ thống phân tán nêu rằng, khi xảy ra phân vùng mạng, một kho dữ liệu không thể đồng thời đảm bảo cả tính nhất quán tuyến tính (linearizable consistency) và tính khả dụng cho mọi yêu cầu.
dấu chân carbon: Tổng lượng khí nhà kính, thường đo bằng CO\(_2\) tương đương, được phát thải trực tiếp và gián tiếp bởi quá trình huấn luyện và vận hành một hệ thống machine learning.
cường độ carbon: Lượng khí thải trên mỗi đơn vị năng lượng (thường đo bằng kg CO₂e trên mỗi kWh), dùng để quy đổi mức tiêu thụ năng lượng của machine learning thành tác động carbon.
Cerebras Wafer-Scale Engine: Trong thế hệ CS-2, đây là bộ xử lý trên một tấm wafer duy nhất, chứa 2,6 nghìn tỷ bóng bán dẫn và 850.000 lõi, được thiết kế để loại bỏ nút thắt giao tiếp giữa các thiết bị trong huấn luyện machine learning quy mô lớn.
quy tắc chuỗi: Quy tắc trong giải tích cho phép tính đạo hàm của các hàm hợp, là nền tảng của lan truyền ngược.
lượng tử hoá theo kênh: Cách tiếp cận về mức độ chi tiết trong đó mỗi kênh của một lớp dùng bộ tham số lượng tử hoá riêng; so với lượng tử hoá theo lớp, cách này biểu diễn chính xác hơn mà vẫn giữ hiệu quả phần cứng.
pipeline CI/CD: Các quy trình tự động cho Tích hợp liên tục (Continuous Integration) và Triển khai liên tục (Continuous Delivery), giúp tinh gọn phát triển mô hình bằng cách tích hợp các bước kiểm thử, xác thực và triển khai.
mẫu ngắt mạch: Một mẫu tăng khả năng phục hồi: sau khi gặp nhiều lỗi liên tiếp, nó dừng hoặc chuyển hướng các lệnh gọi tới dịch vụ đang gặp sự cố để ngăn lỗi dây chuyền và cho phép dùng phương án dự phòng.
nhãn phân loại: Các chú thích dạng danh mục dùng để gán nhãn hoặc hạng mục cụ thể cho các ví dụ dữ liệu; đây là hình thức chú thích cơ bản nhất trong học có giám sát.
CloudSuite: Bộ benchmark được phát triển tại EPFL, chuyên đánh giá các khối lượng công việc (workload) trong trung tâm dữ liệu hiện đại, bao gồm tìm kiếm web, phân tích dữ liệu và truyền phát đa phương tiện. Nó đo lường hiệu suất đầu cuối trên các khía cạnh mạng, lưu trữ và tính toán.
hiệu suất khởi động lạnh: Thời gian cần để hệ thống chuyển từ trạng thái nhàn rỗi sang trạng thái hoạt động, đặc biệt quan trọng trong các môi trường phi máy chủ (serverless) nơi các mô hình được tải theo yêu cầu.
lọc cộng tác: Kỹ thuật dùng trong hệ thống khuyến nghị để dự đoán sở thích người dùng bằng cách nhận diện các mẫu tương tác từ nhiều người dùng, dựa vào hành vi tập thể thay vì chỉ dựa vào thuộc tính của từng món đồ.
chi phí giao tiếp: Mức giảm hiệu suất trong các hệ thống phân tán do chi phí về độ trễ và băng thông khi đồng bộ hóa trạng thái giữa các nút.
hệ thống AI phức hợp: Các kiến trúc AI kết hợp nhiều mô hình và thành phần chuyên biệt cùng hoạt động, thay vì dựa vào một mô hình nguyên khối duy nhất, giúp tăng tính mô-đun, chuyên môn hóa và cải thiện khả năng giải thích.
định dạng hàng thưa nén (CSR): Một định dạng lưu trữ tiết kiệm bộ nhớ cho ma trận thưa, dùng ba mảng (giá trị, chỉ số cột, con trỏ hàng) để chỉ lưu các phần tử khác 0, nhờ đó giảm bộ nhớ từ \(\mathcal{O}(N^2)\) (đối với ma trận \(N{\times}N\)) xuống \(\mathcal{O}(K + N)\), với \(K\) là số phần tử khác 0.
đồ thị tính toán: Đồ thị có hướng biểu diễn chuỗi các phép toán trong quá trình tính toán của mạng nơ-ron, cho phép (hỗ trợ) vi phân tự động.
kỹ thuật máy tính: Ngành kỹ thuật xuất hiện vào cuối những năm 1960 để giải quyết sự phức tạp ngày càng tăng khi tích hợp hệ thống phần cứng và phần mềm, kết hợp chuyên môn từ kỹ thuật điện và khoa học máy tính để thiết kế, xây dựng các hệ thống máy tính phức tạp.
trôi khái niệm: Hiện tượng mối quan hệ thống kê giữa đầu vào và mục tiêu, biểu diễn bởi \(P(Y\mid X)\), thay đổi theo thời gian. Nó khác với trôi dữ liệu trong \(P(X)\). Trôi khái niệm có thể, nhưng không nhất thiết, làm giảm hiệu suất của một mô hình cố định. Việc phát hiện thường cần có nhãn, vì chỉ thấy trôi ở đầu vào chưa đủ để khẳng định có thay đổi có điều kiện.
conditional computation: Kỹ thuật tối ưu hóa động, trong đó các phần khác nhau của mạng nơ-ron được kích hoạt có chọn lọc dựa trên đặc điểm của đầu vào, nhờ đó giảm tải tính toán bằng cách bỏ qua những phép tính không cần thiết cho từng đầu vào cụ thể.
consensus labeling: Phương pháp kiểm soát chất lượng thu thập nhiều chú thích cho cùng một điểm dữ liệu để nhận diện các trường hợp gây tranh cãi và nâng cao độ tin cậy của nhãn thông qua mức độ đồng thuận giữa những người chú thích.
containerization: Quá trình đóng gói ứng dụng cùng các phụ thuộc của chúng vào các container di động, cô lập bằng các công cụ như Docker, nhằm đảm bảo ứng dụng chạy nhất quán trên nhiều môi trường khác nhau.
continuous batching: Kỹ thuật phục vụ (serving) LLM cho phép thêm và bớt yêu cầu vào/ra khỏi một batch suy luận giữa các bước sinh token, khi các chuỗi bắt đầu và kết thúc.
continuous integration: Phương pháp phát triển phần mềm trong đó các thay đổi mã được tự động tích hợp, kiểm thử và xác thực nhiều lần mỗi ngày để phát hiện sớm vấn đề trong chu trình phát triển.
convolution: Phép toán trượt một bộ lọc (kernel) trên dữ liệu đầu vào để trích xuất các đặc trưng như cạnh, kết cấu hoặc mẫu. Tích chập là nền tảng của mạng nơ-ron tích chập và đặc biệt hiệu quả khi xử lý hình ảnh và dữ liệu không gian.
convolutional neural network: Kiến trúc mạng nơ-ron chuyên biệt để xử lý dữ liệu dạng lưới như hình ảnh, sử dụng các lớp tích chập áp dụng bộ lọc để phát hiện các đặc trưng cục bộ.
coreset: Một tập con nhỏ của tập dữ liệu, được chọn để bảo toàn các thuộc tính thống kê hoặc huấn luyện quan trọng của tập dữ liệu đầy đủ, đồng thời giảm chi phí huấn luyện hoặc đánh giá.
correction cascade: Một dạng nợ kỹ thuật trong ML, nơi việc sửa một thành phần tạo ra lỗi mới hoặc yêu cầu thiết kế lại ở nơi khác, do các phụ thuộc về dữ liệu và mô hình lan truyền trong hệ thống.
covariate shift: Một dạng dịch chuyển phân phối, trong đó phân phối các đặc trưng đầu vào thay đổi, nhưng mối quan hệ giữa các đặc trưng và nhãn vẫn ổn định.
CP decomposition: Phân rã CANDECOMP/PARAFAC, biểu diễn một tensor thành tổng các thành phần hạng-1; kỹ thuật này được dùng để nén các lớp mạng nơ-ron bằng cách giảm số lượng tham số mà vẫn giữ nguyên chức năng tính toán.
credit assignment problem: Thách thức trong việc xác định những trọng số nào trong một mạng nhiều lớp đã gây ra lỗi dự đoán.
CRISP-DM: Quy trình tiêu chuẩn công nghiệp chéo cho khai phá dữ liệu (Cross-Industry Standard Process for Data Mining). Đây là một phương pháp luận có cấu trúc, được phát triển vào năm 1996, xác định sáu giai đoạn cho các dự án dữ liệu: hiểu nghiệp vụ, hiểu dữ liệu, chuẩn bị dữ liệu, xây dựng mô hình, đánh giá và triển khai.
critical batch size: Kích thước batch mà khi vượt quá ngưỡng này, các batch lớn hơn mang lại lợi ích tối ưu hóa giảm dần và có thể làm giảm khả năng tổng quát hóa, đồng thời hạn chế việc mở rộng tốc độ học theo tuyến tính.
cross-entropy loss: Một hàm mất mát thường dùng trong các tác vụ phân loại, đo lường sự khác biệt giữa phân phối xác suất dự đoán và nhãn lớp thực tế, từ đó cung cấp các gradient mạnh giúp việc học hiệu quả.
crowdsourcing: Một phương pháp thu thập dữ liệu hợp tác, huy động các cá nhân phân tán qua internet để thực hiện các tác vụ chú thích, giúp tạo ra các tập dữ liệu có thể mở rộng thông qua các nền tảng như Amazon Mechanical Turk.
cuBLAS: Thư viện CUDA Basic Linear Algebra Subprograms của NVIDIA, cung cấp các phép toán đại số tuyến tính tiêu chuẩn được tăng tốc bằng GPU, cho phép thực hiện các phép tính ma trận hiệu suất cao trên các GPU của NVIDIA.
CUDA (Compute Unified Device Architecture): Nền tảng điện toán song song và mô hình lập trình của NVIDIA, cho phép thực hiện các tác vụ điện toán đa năng trên GPU. Điều này giúp các framework machine learning tận dụng khả năng song song hóa mạnh mẽ để tăng tốc các phép toán tensor.
CUDA stream: Một hàng đợi có thứ tự các công việc trên GPU, dùng để lên lịch kernel, truyền dữ liệu giữa bộ nhớ và các sự kiện đồng bộ hóa, cho phép các hoạt động độc lập chạy chồng lấp.

D

D·A·M taxonomy: Một framework chẩn đoán phân tích các nút thắt cổ chai của hệ thống machine learning qua ba trục tương tác: Dữ liệu (luồng thông tin, bị giới hạn bởi băng thông), Thuật toán (logic toán học, bị giới hạn bởi tổng số phép toán) và Máy (thực thi vật lý, bị giới hạn bởi thông lượng đỉnh).
Dartmouth conference: Hội thảo 8 tuần huyền thoại tại Đại học Dartmouth vào năm 1956, nơi AI chính thức ra đời. Hội thảo do John McCarthy, Marvin Minsky, Nathaniel Rochester và Claude Shannon tổ chức, dựa trên đề xuất năm 1955 của họ, và đã giới thiệu thuật ngữ trí tuệ nhân tạo.
data as source code: Nguyên tắc của Software 2.0 cho rằng dữ liệu huấn luyện định nghĩa hành vi của hệ thống machine learning, nên những thay đổi trong tập dữ liệu cũng giống như thay đổi mã nguồn làm thay đổi hành vi hệ thống.
data augmentation: Quá trình mở rộng tập dữ liệu huấn luyện một cách nhân tạo bằng cách tạo các phiên bản đã chỉnh sửa của dữ liệu hiện có thông qua các phép biến đổi như xoay, thay đổi tỉ lệ hoặc thêm nhiễu.
data cascades: Các lỗi có tính hệ thống, khi các vấn đề chất lượng dữ liệu tích tụ theo thời gian và gây ra hậu quả tiêu cực ở các khâu phía sau, như lỗi mô hình, phải xây dựng lại tốn kém, hoặc chấm dứt dự án.
trung tâm dữ liệu: Một cơ sở chứa các hệ thống máy tính và các thành phần liên quan như hệ thống viễn thông và lưu trữ, thường có hàng nghìn máy chủ phục vụ các hoạt động điện toán đám mây.
data-centric approach: Một cách tiếp cận machine learning ưu tiên cải thiện chất lượng, độ đa dạng và tuyển chọn dữ liệu, thay vì chỉ tập trung vào việc cải tiến kiến trúc mô hình để đạt hiệu suất tốt hơn.
data-centric computing: Các hệ thống được tối ưu để thu nạp dữ liệu hiệu quả và tinh chỉnh lặp đi lặp lại các tham số của mô hình, trong đó công việc của lập trình viên là tuyển chọn dữ liệu.
data contracts: Các thỏa thuận rõ ràng giữa bên sản xuất và bên tiêu thụ dữ liệu, xác định lược đồ, kỳ vọng về chất lượng và mức độ dịch vụ nhằm ngăn ngừa các trục trặc ở các khâu phía sau.
tuyển chọn dữ liệu: Quá trình chọn lọc, tổ chức và duy trì các tập dữ liệu chất lượng cao bằng cách loại bỏ thông tin không liên quan, sửa lỗi, và đảm bảo dữ liệu đáp ứng các tiêu chuẩn cụ thể cho các ứng dụng machine learning.
nợ dữ liệu: Các gánh nặng tích lũy về chất lượng dữ liệu, tài liệu, lược đồ, nguồn gốc hoặc độ tươi mới, ngày càng chồng chất theo thời gian và làm suy giảm hành vi của mô hình.
trôi dữ liệu: Hiện tượng phân phối đầu vào \(P(X)\) thay đổi theo thời gian dù mã nguồn không đổi; điều này có thể ảnh hưởng đến hiệu suất mô hình nhưng không chắc chắn dẫn đến suy giảm. Có thể giám sát hiện tượng này mà không cần nhãn, nhưng cần nhãn để đo tác động của nó lên chất lượng.
lặp lại dữ liệu: Một kỹ thuật trong pipeline đầu vào khi huấn luyện, tái sử dụng các batch (thường kèm các phép tăng cường mới) khi bước chuẩn bị dữ liệu chậm hơn tốc độ tiêu thụ của bộ tăng tốc.
quản trị dữ liệu: Một framework gồm các chính sách, quy trình và công nghệ nhằm đảm bảo an ninh, quyền riêng tư, tuân thủ và sử dụng dữ liệu có đạo đức trong suốt pipeline machine learning.
lực hút dữ liệu: Hiệu ứng kiến trúc do khối lượng dữ liệu lớn, thời gian truyền tải, giới hạn băng thông và chi phí thoát dữ liệu tạo ra, khiến việc tính toán có xu hướng dịch chuyển về gần dữ liệu.
thu nạp dữ liệu: Quá trình thu thập và nhập dữ liệu thô từ nhiều nguồn vào một hệ thống, nơi dữ liệu được lưu trữ, xử lý và chuẩn bị cho các ứng dụng machine learning.
hồ dữ liệu: Một kho lưu trữ chứa dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc ở định dạng gốc, áp dụng cách tiếp cận schema-on-read để phân tích dữ liệu linh hoạt.
data lakehouse: Một kiến trúc lưu trữ kết hợp tính linh hoạt của data lake với ngữ nghĩa truy vấn kiểu kho dữ liệu (warehouse-style query semantics), khả năng quản lý lược đồ và các đảm bảo giao dịch.
nguồn gốc dữ liệu: Việc ghi chép và theo dõi cách dữ liệu luân chuyển qua các phép biến đổi và quy trình, giúp thấy rõ nguồn gốc và các thay đổi của dữ liệu để phục vụ mục đích tuân thủ và gỡ lỗi.
tính cục bộ của dữ liệu: Nguyên tắc cho rằng dữ liệu và phép tính nên được đặt cùng một vị trí khi độ trễ truyền tải, băng thông hoặc chi phí chi phối so với xử lý từ xa.
song song dữ liệu: Một chiến lược huấn luyện phân tán chia tập dữ liệu cho nhiều thiết bị, trong khi mỗi thiết bị giữ một bản sao đầy đủ của mô hình, cho phép tính toán gradient song song.
pipeline dữ liệu: Cơ sở hạ tầng và các luồng công việc tự động hóa việc di chuyển và biến đổi dữ liệu từ các nguồn, qua các giai đoạn xử lý, đến nơi lưu trữ hoặc tiêu thụ cuối.
chất lượng dữ liệu: Mức độ dữ liệu đáp ứng yêu cầu về độ chính xác, tính đầy đủ, tính nhất quán và tính kịp thời, tác động trực tiếp đến hiệu suất của mô hình machine learning.
hệ số nhân chất lượng dữ liệu: Ý tưởng cho rằng cải thiện chất lượng dữ liệu sẽ khuếch đại lợi ích từ các thay đổi ở mô hình và hệ thống, vì mọi giai đoạn phía sau đều phụ thuộc vào dữ liệu.
xác thực dữ liệu: Quá trình kiểm tra có hệ thống để đảm bảo dữ liệu thu thập đáp ứng các tiêu chuẩn chất lượng, có định dạng đúng và chứa thông tin phù hợp cho việc huấn luyện và đánh giá mô hình machine learning.
quản lý phiên bản dữ liệu: Việc theo dõi và quản lý các phiên bản khác nhau của tập dữ liệu theo thời gian, tương tự quản lý phiên bản mã nguồn, nhằm đảm bảo khả năng tái tạo và cho phép quay lại các trạng thái dữ liệu trước đó khi cần.
kho dữ liệu: Kho lưu trữ tập trung được tối ưu hóa cho các truy vấn phân tích (OLAP), lưu trữ dữ liệu tích hợp, có cấu trúc từ nhiều nguồn theo một lược đồ chuẩn hóa.
kiến trúc luồng dữ liệu: Kiến trúc tính toán chuyên biệt, trong đó việc thực thi lệnh được quyết định bởi sự sẵn có của dữ liệu thay vì bộ đếm chương trình, cho phép xử lý song song ở mức cao các phép toán của mạng nơ-ron.
thách thức luồng dữ liệu: Các khó khăn kỹ thuật khi quản lý việc di chuyển dữ liệu và các phụ thuộc trong các bộ tăng tốc phần cứng, bao gồm giới hạn băng thông bộ nhớ và yêu cầu đồng bộ hóa.
tài liệu mô tả tập dữ liệu: Tài liệu cho dữ liệu huấn luyện, ghi lại nguồn gốc, phương pháp thu thập, thành phần nhân khẩu học và các hạn chế đã biết có thể ảnh hưởng đến hành vi của mô hình.
hàng đợi thư chết: Cơ chế lưu trữ riêng cho dữ liệu bị lỗi xử lý, cho phép phân tích sau và có thể xử lý lại dữ liệu có vấn đề mà không làm tắc nghẽn pipeline chính.
khử trùng lặp: Quá trình loại bỏ các mẫu trùng lặp hoàn toàn, gần trùng lặp hoặc dư thừa về mặt ngữ nghĩa khỏi một tập dữ liệu, nhằm giảm lưu trữ, chi phí tính toán khi huấn luyện và rủi ro rò rỉ.
deep learning: Lĩnh vực con của machine learning sử dụng các mạng nơ-ron nhân tạo với nhiều lớp để tự động học các biểu diễn phân cấp từ dữ liệu, mà không cần thiết kế đặc trưng thủ công.
bình đẳng nhân khẩu học: Tiêu chí công bằng yêu cầu xác suất nhận được một dự đoán tích cực là độc lập với việc cá nhân thuộc nhóm nào, xét trên các thuộc tính được bảo vệ.
Định luật Dennard: Quan sát cho thấy khi bóng bán dẫn thu nhỏ, mật độ công suất vẫn giữ nguyên, nhờ đó có thể đạt hiệu năng cao hơn trong cùng mức công suất. Sự sụp đổ của xu hướng này vào khoảng năm 2005 đã chấm dứt kỷ nguyên tăng tần số miễn phí.
lớp kết nối đầy đủ: Một lớp trong mạng nơ-ron mà mỗi nơ-ron nhận đầu vào từ tất cả các nơ-ron ở lớp trước, giúp tích hợp thông tin toàn diện từ các đặc trưng.
ràng buộc triển khai: Các hạn chế trong quá trình vận hành, ví dụ như tài nguyên phần cứng, kết nối mạng, yêu cầu pháp lý và yêu cầu tích hợp. Những yếu tố này ảnh hưởng đến cách các mô hình machine learning được triển khai trong môi trường sản xuất.
mô hình triển khai: Một cách tiếp cận riêng để lưu trữ và chạy các mô hình ML, được đặc trưng bởi các ràng buộc về tài nguyên và các thuộc tính vận hành cụ thể. Ví dụ: Cloud ML, Edge ML, Mobile ML, hoặc TinyML.
tích chập tách sâu: Một cách phân tách tích chập, trong đó lọc theo không gian được áp dụng độc lập cho từng kênh, sau đó trộn các kênh bằng một tích chập điểm để giảm khối lượng tính toán.
DevOps: Phương pháp phát triển phần mềm kết hợp các đội ngũ phát triển và vận hành nhằm rút ngắn chu kỳ phát triển và cung cấp phần mềm chất lượng cao thông qua tự động hóa và cộng tác.
Dhrystone: Một benchmark dựa trên các phép toán số nguyên, được giới thiệu vào năm 1984. Nó đo hiệu năng các phép toán số nguyên và chuỗi bằng đơn vị DMIPS (Dhrystone MIPS), nhằm bổ sung cho các benchmark dấu phẩy động bằng cách sử dụng các cấu trúc lập trình phổ biến.
bệnh võng mạc tiểu đường: Một biến chứng của bệnh tiểu đường gây tổn thương các mạch máu trong võng mạc. Đây là nguyên nhân hàng đầu gây mù lòa có thể phòng ngừa và là một lĩnh vực ứng dụng quan trọng cho các hệ thống sàng lọc AI y tế.
quyền riêng tư vi phân (differential privacy): Một framework toán học để định lượng và giới hạn mức độ mất riêng tư khi công bố thông tin thống kê từ các tập dữ liệu, bằng cách đặt giới hạn cho mức độ thay đổi của phân phối đầu ra khi dữ liệu của một cá nhân bất kỳ được thêm vào hoặc bị loại bỏ.
truy cập bộ nhớ trực tiếp (DMA): Cơ chế cho phép thiết bị di chuyển dữ liệu vào hoặc ra khỏi bộ nhớ mà không cần CPU quản lý việc sao chép cho từng lần truyền, giúp chồng lấp (overlap) thao tác và giảm tải cho CPU (host).

đánh giá phân tách (disaggregated evaluation): Thực hành tách các chỉ số hiệu suất của mô hình theo nhóm nhân khẩu học hoặc các yếu tố khác để làm lộ những chênh lệch có thể bị số liệu tổng hợp che khuất.

chi phí điều phối (dispatch tax): Chi phí trong runtime do phải khởi chạy và điều phối nhiều phép toán nhỏ qua framework phía host, thay vì thực thi các vùng đồ thị đã hợp nhất hoặc đã được biên dịch.

điện toán phân tán: Cách tiếp cận xử lý dữ liệu đồng thời trên nhiều máy hoặc bộ xử lý, cho phép mở rộng để xử lý các tập dữ liệu lớn, thông qua các framework như Apache Spark.

trí tuệ phân tán: Bố trí năng lực tính toán trên nhiều thiết bị và địa điểm thay vì dựa vào một hệ thống tập trung duy nhất, cho phép xử lý và ra quyết định tại chỗ (cục bộ).

huấn luyện phân tán: Một phương pháp huấn luyện các mô hình machine learning bằng cách sử dụng nhiều máy hoặc thiết bị, nhằm xử lý các tập dữ liệu và mô hình có kích thước lớn, vượt quá khả năng tính toán hoặc dung lượng bộ nhớ của một thiết bị đơn lẻ.

dịch chuyển phân phối (distribution shift): Sự thay đổi trong các thuộc tính thống kê của dữ liệu giữa giai đoạn huấn luyện và triển khai, hoặc theo thời gian trong quá trình triển khai. Các loại phổ biến gồm covariate shift (phân phối đầu vào thay đổi), label shift (phân phối đầu ra thay đổi) và concept drift (mối quan hệ giữa đầu vào và đầu ra thay đổi).

DLRM: (Deep Learning Recommendation Model) là một kiến trúc do Meta phát triển, kết hợp các embedding phân loại với một perceptron đa lớp (MLP) ở phần dưới và một MLP ở phần trên, nhằm xử lý quy mô lớn và tính thưa của các khối lượng công việc (workload) trong hệ thống khuyến nghị.

kiến trúc chuyên biệt theo miền (domain-specific architecture): Các thiết kế phần cứng được tùy chỉnh để tối ưu hóa các khối lượng công việc (workload) tính toán cụ thể, đánh đổi tính linh hoạt để đạt hiệu suất và hiệu quả năng lượng cao hơn so với các bộ xử lý đa năng.

dropout: Một kỹ thuật điều chuẩn đặt ngẫu nhiên một phần các đơn vị đầu vào về 0 trong quá trình huấn luyện để ngăn overfitting và cải thiện khả năng tổng quát hóa của mô hình.

vấn đề ReLU chết (dying ReLU problem): Một chế độ lỗi khi các nơ-ron ReLU trở nên không hoạt động vĩnh viễn và luôn cho ra giá trị 0 cho mọi đầu vào, khiến chúng không còn đóng góp vào việc học khi các đầu vào có trọng số liên tục tạo ra các giá trị trước activation âm.

dynamic batching: Một kỹ thuật phục vụ (serving) chờ trong thời gian ngắn để gom các yêu cầu độc lập thành một batch, giúp tăng thông lượng đồng thời thêm một độ trễ tạo batch ở mức kiểm soát.
dynamic graph: Một đồ thị tính toán được xây dựng và thay đổi trong khi chương trình chạy, cho phép kiến trúc mô hình linh hoạt hơn và gỡ lỗi dễ hơn, nhưng có thể hạn chế cơ hội tối ưu hóa so với đồ thị tĩnh.
dynamic pruning: Một phương pháp tỉa (pruning) thay đổi những tham số hoặc đơn vị nào không hoạt động theo dữ liệu đầu vào hoặc động lực trong quá trình huấn luyện, thay vì chỉ dựa vào một quyết định tỉa (pruning) cố định.
dynamic quantization: Quá trình lưu trữ trọng số của mạng nơ-ron ở độ chính xác thấp hơn và xác định các tham số lượng tử hoá cho activation trong runtime, giúp giảm sử dụng bộ nhớ nhưng cần các kernel độ chính xác thấp được hỗ trợ để tăng tốc.
dynamic random-access memory (DRAM): Một loại bộ nhớ volatile lưu trữ dữ liệu trong các tụ điện và cần được làm mới định kỳ, thường dùng làm bộ nhớ chính trong hệ thống máy tính.
dynamic voltage and frequency scaling (DVFS): Kỹ thuật quản lý công suất điều chỉnh điện áp và tần số xung nhịp của bộ xử lý theo nhu cầu của khối lượng công việc (workload) để tối ưu hóa mức tiêu thụ năng lượng trong khi vẫn duy trì hiệu suất.

E

eager execution: Một chế độ thực thi trong đó các phép toán được đánh giá ngay khi được gọi trong mã, mang lại trải nghiệm phát triển và gỡ lỗi trực quan nhưng có thể bỏ lỡ một số cơ hội tối ưu hóa của thực thi dựa trên đồ thị.
early exit architectures: Các thiết kế mạng nơ-ron có nhiều đầu dự đoán ở các độ sâu khác nhau, cho phép mẫu thoát sớm khi có thể đưa ra dự đoán đủ tin cậy, qua đó giảm chi phí tính toán trung bình cho mỗi suy luận.
edge computing: Mô hình điện toán phân tán đưa tính toán và lưu trữ dữ liệu đến gần hơn các nguồn dữ liệu, giúp giảm độ trễ và mức sử dụng băng thông.
edge deployment: Chiến lược triển khai trong đó các mô hình machine learning chạy cục bộ trên các thiết bị ở edge thay vì trên các máy chủ đám mây tập trung, giúp giảm độ trễ và cho phép vận hành mà không cần kết nối internet liên tục.
efficiency frontier: Đường cong thể hiện sự đánh đổi tối ưu giữa độ chính xác và chi phí tính toán (độ trễ, năng lượng hoặc bộ nhớ), nơi không có mô hình nào vừa chính xác hơn vừa hiệu quả hơn.
EfficientNet: Một họ kiến trúc mạng nơ-ron được tìm ra bằng tìm kiếm kiến trúc nơ-ron, đạt cân bằng tốt hơn giữa độ chính xác và hiệu quả nhờ dùng compound scaling để cân đối đồng thời độ sâu, độ rộng mạng và độ phân giải đầu vào.
EL2N (Error L2-Norm): Một phương pháp chấm điểm mẫu, xếp hạng các ví dụ theo lỗi dự đoán sớm (thường dùng một mô hình thay thế) để xác định các trường hợp biên giàu thông tin cho việc lựa chọn dữ liệu.
ELIZA: Một trong những chatbot đầu tiên, được Joseph Weizenbaum của MIT tạo ra vào năm 1966. ELIZA có thể mô phỏng cuộc trò chuyện của con người thông qua khớp mẫu và thay thế. Điều đáng chú ý là nhiều người đã bắt đầu có sự gắn bó cảm xúc với chương trình đơn giản này.
hệ thống nhúng: Các hệ thống máy tính có chức năng chuyên biệt, được tích hợp vào các hệ thống cơ khí hoặc điện lớn hơn. Chúng thường được thiết kế cho các tác vụ cụ thể với các ràng buộc tính toán thời gian thực.
phân mảnh embedding: Việc chia nhỏ các bảng embedding lớn và phân tán chúng trên nhiều thiết bị hoặc nút để vừa với tổng bộ nhớ, đồng thời bổ sung cơ chế giao tiếp để thu thập các embedding cho mỗi batch.
bảng embedding: Một bảng tra cứu dùng để ánh xạ các ID hoặc token rời rạc thành các vector dày đặc. Bảng này thường chiếm phần lớn bộ nhớ trong các mô hình khuyến nghị và khi làm việc với các bộ từ vựng lớn.
hành vi nổi lên: Các mẫu hoặc đặc điểm toàn hệ thống không được kỳ vọng trước, phát sinh từ sự tương tác của các thành phần riêng lẻ. Những hành vi này thường chỉ trở nên rõ ràng khi các hệ thống hoạt động ở quy mô lớn hoặc trong điều kiện thực tế.
bộ mã hóa-giải mã: Một mẫu kiến trúc trong đó bộ mã hóa xử lý đầu vào thành một biểu diễn trung gian, sau đó bộ giải mã tạo đầu ra từ biểu diễn này. Kiến trúc này thường được sử dụng trong các tác vụ tuần tự-sang-tuần tự.
benchmark đầu cuối: Phương pháp đánh giá toàn diện, dùng để kiểm tra toàn bộ các pipeline của một hệ thống AI. Nó bao gồm việc đánh giá quá trình xử lý dữ liệu, thực thi mô hình, xử lý hậu kỳ và các thành phần cơ sở hạ tầng.
hiệu quả năng lượng: Thước đo lượng công việc tính toán thực hiện được trên mỗi đơn vị năng lượng tiêu thụ, thường được biểu diễn bằng số phép toán trên mỗi joule. Đây là yếu tố rất quan trọng đối với các triển khai chạy bằng pin và trong trung tâm dữ liệu.
năng lượng trên mỗi suy luận: Tổng năng lượng tiêu thụ để tạo ra một dự đoán của mô hình, bao gồm cả quá trình thực thi mô hình và các chi phí hệ thống liên quan.
epoch: Một lượt hoàn chỉnh đi qua toàn bộ tập dữ liệu huấn luyện trong quá trình huấn luyện mạng nơ-ron, gồm nhiều lần lặp batch tùy theo kích thước tập dữ liệu và kích thước batch.
cơ hội bình đẳng: Một tiêu chí công bằng, yêu cầu tỷ lệ dương tính thật phải bằng nhau giữa các nhóm nhân khẩu học khác nhau.
tỷ lệ cân bằng: Một tiêu chí công bằng, yêu cầu cả tỷ lệ dương tính thật và tỷ lệ dương tính giả phải bằng nhau giữa các nhóm nhân khẩu học khác nhau.
lỗi hiệu chuẩn kỳ vọng (ECE): Một chỉ số đo khoảng cách giữa độ tin cậy dự đoán và độ chính xác quan sát được qua các khoảng tin cậy, dùng để đánh giá mức độ hiệu chuẩn xác suất.
theo dõi thí nghiệm: Việc ghi lại và quản lý có hệ thống các thí nghiệm machine learning, bao gồm các siêu tham số, phiên bản mô hình, dữ liệu huấn luyện và các chỉ số hiệu suất, nhằm hỗ trợ so sánh và tái lập kết quả.
hệ thống chuyên gia: Các hệ thống AI xuất hiện từ giữa thập niên 1960, thu nhận kiến thức của chuyên gia con người trong các lĩnh vực cụ thể; ví dụ tiêu biểu là MYCIN cho chẩn đoán nhiễm trùng máu. Đây là bước chuyển từ AI tổng quát sang các ứng dụng theo lĩnh vực.
trích xuất, tải, biến đổi (ELT): Một mô hình xử lý dữ liệu trong đó dữ liệu thô được tải vào hệ thống đích trước, rồi mới áp dụng các biến đổi, giúp linh hoạt trước nhu cầu phân tích luôn thay đổi.
trích xuất, biến đổi, tải (ETL): Một mô hình xử lý dữ liệu truyền thống, trong đó dữ liệu được biến đổi trước khi tải vào kho dữ liệu, cho ra dữ liệu đã định dạng sẵn sàng để truy vấn.

F

rửa trôi công bằng: Một dạng lỗi khi loại bỏ các thuộc tính được bảo vệ một cách rõ ràng khiến hệ thống có vẻ tuân thủ, nhưng các biến proxy tương quan vẫn tái tạo kết quả mang tính phân biệt đối xử.
tỷ lệ dương tính giả (FPR): Tỷ lệ các trường hợp âm tính thực tế bị phân loại sai thành dương tính, tính bằng số dương tính giả chia cho tổng của dương tính giả cộng với âm tính thật.
FarmBeats: Một dự án của Microsoft Research áp dụng machine learning và công nghệ IoT vào nông nghiệp, sử dụng edge computing để thu thập dữ liệu thời gian thực về điều kiện đất và sức khỏe cây trồng, đồng thời minh chứng khả năng của các hệ thống AI phân tán trong những môi trường thực tế đầy thách thức.
kỹ thuật đặc trưng: Quá trình thiết kế và trích xuất thủ công các đặc trưng liên quan từ dữ liệu thô để cải thiện hiệu suất của mô hình machine learning. Trong các hệ thống deep learning, quá trình này phần lớn đã được tự động hóa.
bản đồ đặc trưng: Đầu ra của một lớp tích chập, biểu diễn phản ứng của các bộ lọc đã học tại những vị trí không gian khác nhau trong đầu vào, qua đó ghi nhận các đặc trưng được phát hiện ở nhiều vị trí.
kho đặc trưng: Hệ thống lưu trữ dữ liệu chuyên biệt, cung cấp các đặc trưng chuẩn hóa và có thể tái sử dụng cho machine learning, cho phép chia sẻ đặc trưng giữa nhiều mô hình và nhóm.
học liên kết: Phương pháp machine learning huấn luyện các thuật toán trên nhiều thiết bị edge hoặc máy chủ phi tập trung lưu trữ dữ liệu cục bộ, trong đó quá trình huấn luyện diễn ra mà không cần trao đổi dữ liệu thô.
vòng lặp phản hồi: Quá trình tuần hoàn mà đầu ra ảnh hưởng đến các đầu vào tương lai. Trong machine learning, có thể có vòng lặp hữu ích (đầu ra của mô hình giúp cải thiện hệ thống) và vòng lặp gây hại (dự đoán của mô hình ảnh hưởng đến dữ liệu huấn luyện tương lai của chính nó, từ đó có thể củng cố và khuếch đại độ chệch (bias) ban đầu theo thời gian).
mạng truyền thẳng: Kiến trúc mạng nơ-ron trong đó thông tin chỉ đi theo một chiều từ các lớp đầu vào đến các lớp đầu ra, không có vòng lặp. Kiến trúc này là nền tảng cho nhiều mô hình deep learning.
mảng cổng lập trình được tại hiện trường (FPGA): Một loại mạch tích hợp có thể cấu hình lại; FPGA có thể được lập trình sau khi sản xuất để thực hiện các mạch số tùy chỉnh và các phép tính chuyên biệt, mang lại mức linh hoạt nằm giữa bộ xử lý đa năng và ASIC.
tinh chỉnh (fine-tuning): Điều chỉnh một mô hình đã được huấn luyện trước cho một tác vụ hoặc miền mục tiêu bằng cách tiếp tục huấn luyện trên dữ liệu cụ thể của tác vụ.
Khung năm trụ cột: Cấu trúc tổ chức cho kỹ thuật hệ thống ML gồm năm lĩnh vực liên kết chặt chẽ: Kỹ thuật Dữ liệu, Hệ thống Huấn luyện, Cơ sở hạ tầng Triển khai, Vận hành và Giám sát, và Đạo đức và Quản trị.
FlashAttention: Thuật toán attention nhận biết IO, chia nhỏ phép tính thành các khối để tránh phải lưu trữ toàn bộ ma trận attention trong bộ nhớ có băng thông cao, nhờ đó giảm lưu lượng bộ nhớ và cho phép xử lý các chuỗi dài hơn.
đơn vị dấu phẩy động (FPU): Một thành phần chuyên biệt trong bộ xử lý, được thiết kế để thực hiện các phép toán trên số dấu phẩy động với độ chính xác và hiệu quả cao.
FLOP/s: Viết tắt của Floating-Point Operations per Second (Số phép toán dấu phẩy động mỗi giây). Đây là một thước đo thông lượng tính toán, cho biết số lượng phép toán dấu phẩy động mà một hệ thống có thể thực hiện trong một giây.
sự kiện quên (forgetting events): Những sự kiện mà một mô hình ban đầu phân loại đúng một ví dụ, nhưng sau đó lại phân loại sai ví dụ đó trong quá trình huấn luyện. Những sự kiện này thường đánh dấu các mẫu dữ liệu khó hoặc giàu thông tin.
lan truyền xuôi (forward pass): Quá trình tính toán dự đoán của mạng nơ-ron bằng cách đưa dữ liệu đầu vào qua các lớp liên tiếp, áp dụng các trọng số, độ chệch (bias) và hàm activation ở mỗi bước để tạo ra đầu ra. Còn gọi là forward propagation.
mô hình nền tảng (foundation model): Các mô hình machine learning quy mô lớn, được huấn luyện trên dữ liệu rộng và đa dạng, có thể điều chỉnh để giải quyết nhiều tác vụ phía sau, đóng vai trò nền tảng cho các ứng dụng chuyên biệt.
khung bốn trụ cột (four pillars framework): Một framework kỹ thuật dữ liệu tổ chức các mối quan tâm thành Chất lượng, Độ tin cậy, Khả năng mở rộng và Quản trị để quản lý vòng đời dữ liệu.
FP16: Biểu diễn số dấu phẩy động 16-bit giúp giảm sử dụng bộ nhớ và tăng tốc tính toán trên các bộ tăng tốc phần cứng hiện đại, đồng thời vẫn duy trì độ chính xác chấp nhận được cho nhiều ứng dụng machine learning.
FP32: Biểu diễn số dấu phẩy động 32-bit cung cấp độ chính xác tiêu chuẩn cho các phép tính toán học nhưng yêu cầu nhiều bộ nhớ và tài nguyên tính toán hơn so với các định dạng độ chính xác thấp hơn.
FP32 to INT8: Một phép biến đổi lượng tử hoá phổ biến, chuyển trọng số và activation dấu phẩy động 32-bit sang số nguyên 8-bit, giúp giảm bộ nhớ khoảng 4\(\times\) mà vẫn duy trì độ chính xác chấp nhận được cho nhiều mô hình.
FP8: Một họ định dạng dấu phẩy động 8-bit được dùng trên các bộ tăng tốc mới hơn để huấn luyện và suy luận thông lượng cao, đòi hỏi điều chỉnh tỉ lệ cẩn thận do độ chính xác và dải giá trị hạn chế.
phân rã framework (framework decomposition): Việc phân rã có hệ thống các framework mạng nơ-ron thành các thành phần có thể ánh xạ lên phần cứng, cho phép phân phối hiệu quả các phép toán trên các phần tử xử lý.

G

GEMM: Các phép nhân ma trận tổng quát theo công thức \(C = \alpha AB + \beta C\), là nhân tính toán cốt lõi làm nền tảng cho hầu hết phép toán trong mạng nơ-ron, bao gồm các lớp kết nối đầy đủ và các lớp tích chập.
GEMV: Các phép nhân ma trận–vector tổng quát tính tích của một ma trận với một vector, thường dùng trong tính toán của mạng nơ-ron và cần được tối ưu kỹ lưỡng về mẫu truy cập bộ nhớ.
khả năng khái quát hóa (generalization): Khả năng của một mô hình machine learning hoạt động tốt trên dữ liệu mới khác với tập huấn luyện, thường được cải thiện nhờ dữ liệu huấn luyện đa dạng và chất lượng cao.
khoảng cách khái quát hóa (generalization gap): Sự khác biệt giữa hiệu suất của mô hình trên dữ liệu huấn luyện và trên dữ liệu giữ lại/kiểm tra. Khoảng cách lớn có thể cho thấy mô hình bị overfitting vào dữ liệu huấn luyện.
AI tạo sinh (generative AI): Hệ thống trí tuệ nhân tạo có khả năng tạo nội dung mới như văn bản, hình ảnh, âm thanh hoặc video, dựa trên các mẫu đã học từ dữ liệu huấn luyện.
Goodhart’s Law: Quan sát rằng khi một thước đo trở thành mục tiêu tối ưu hóa, nó có thể không còn đại diện đúng cho mục tiêu gốc.
GPT-2: Một mô hình ngôn ngữ tự hồi quy với 1,5 tỷ tham số, do OpenAI phát hành năm 2019, đóng vai trò mô hình tham chiếu chính để phân tích các giới hạn về băng thông bộ nhớ trong quá trình suy luận của kiến trúc transformer.
graceful degradation: Nguyên tắc thiết kế hệ thống trong đó dịch vụ vẫn tiếp tục hoạt động với chức năng giảm bớt khi xảy ra lỗi cục bộ hoặc khi dữ liệu không sẵn có.
tích lũy gradient (gradient accumulation): Kỹ thuật giả lập kích thước batch lớn hơn bằng cách tích lũy gradient từ nhiều batch nhỏ trước khi cập nhật tham số mô hình, cho phép huấn luyện khi bộ nhớ hạn chế.
tỉa (pruning) dựa trên gradient (gradient-based pruning): Phương pháp tỉa (pruning) sử dụng thông tin gradient để xếp hạng tham số, nơ-ron hoặc bộ lọc nhằm chọn các thành phần cần loại bỏ.
cắt gradient (gradient clipping): Kỹ thuật tối ưu hóa nhằm giảm hiện tượng gradient bùng nổ bằng cách giới hạn độ lớn của chúng trong quá trình lan truyền ngược, thường bằng cách điều chỉnh tỷ lệ gradient khi chuẩn của chúng vượt quá một ngưỡng nhất định.

nén gradient (gradient compression): Là một kỹ thuật được sử dụng trong huấn luyện phân tán để giảm chi phí giao tiếp bằng cách nén thông tin gradient được trao đổi giữa các nút tính toán.

gradient descent : Là một thuật toán tối ưu hóa, điều chỉnh lặp đi lặp lại các tham số của mạng nơ-ron theo hướng làm giảm hàm mất mát. Thuật toán này sử dụng gradient để xác định hướng và độ lớn của các bước cập nhật.

đồng bộ hóa gradient (gradient synchronization): Là quá trình trong huấn luyện phân tán, nơi các gradient được tính toán cục bộ sẽ được tổng hợp từ các thiết bị khác nhau, nhằm đảm bảo tất cả các thiết bị cập nhật tham số của chúng một cách nhất quán.

GraNd (Gradient Normed): Là một điểm số dùng để lựa chọn dữ liệu, dựa trên chuẩn của gradient của một ví dụ trong giai đoạn đầu của quá trình huấn luyện. Điểm số này giúp xác định các mẫu có tín hiệu học tập mạnh hơn.

ngắt đồ thị (graph break): Là một điểm mà trình biên dịch không thể ghi nhận một phần chương trình vào đồ thị và phải chuyển sang chế độ thực thi tức thì (eager execution), khiến các vùng đồ thị đã được tối ưu hóa bị tách ra.

graphics processing unit (GPU) : Là một bộ xử lý chuyên dụng, ban đầu được thiết kế để kết xuất đồ họa. GPU cung cấp khả năng xử lý song song mạnh mẽ, rất cần thiết cho việc tính toán, huấn luyện và suy luận mạng nơ-ron một cách hiệu quả.

Green AI : Một phong trào trong nghiên cứu và thực hành AI, ưu tiên hiệu quả tính toán và mức tiêu thụ năng lượng như các chỉ số chính, bên cạnh các chỉ số hiệu suất truyền thống như độ chính xác.

Green500 : Một hệ thống xếp hạng dùng để đánh giá các siêu máy tính mạnh nhất thế giới. Hệ thống này dựa trên hiệu quả năng lượng (được đo bằng FLOP/s trên mỗi watt), thay vì chỉ dựa vào hiệu suất tính toán thô.

ground truth : Là mục tiêu tham chiếu được xem là đúng, dùng để huấn luyện hoặc đánh giá. Nó thường được suy ra từ các phép đo hoặc chú thích, và do đó không nhất thiết phải hoàn toàn giống với thực tế khách quan.

GRU : Gated Recurrent Unit, là một biến thể đơn giản hóa của LSTM. Nó sử dụng ít cổng hơn nhưng vẫn giữ được khả năng nắm bắt các phụ thuộc dài hạn trong dữ liệu tuần tự.

H

trừu tượng hóa phần cứng : Là một lớp trong các framework machine learning, cung cấp giao diện thống nhất cho nhiều loại phần cứng tính toán khác nhau (CPU, GPU, TPU, bộ tăng tốc). Lớp này đồng thời xử lý các tối ưu hóa dành riêng cho từng thiết bị và quản lý bộ nhớ một cách tự động, ẩn đi khỏi người dùng.

tăng tốc phần cứng : Là việc sử dụng phần cứng tính toán chuyên dụng để thực hiện các phép toán cụ thể nhanh hơn và hiệu quả hơn so với phần mềm chạy trên các bộ xử lý đa năng.

bộ tăng tốc phần cứng: Phần cứng tính toán chuyên dụng, được thiết kế để thực thi hiệu quả các phép tính cụ thể; ví dụ GPU cho xử lý song song hoặc TPU cho khối lượng công việc (workload) machine learning.
thiết kế nhận biết phần cứng: Thiết kế kiến trúc mạng nơ-ron được tối ưu hóa cho nền tảng phần cứng mục tiêu, có xét đến các yếu tố như hệ thống phân cấp bộ nhớ, các đơn vị tính toán và cách dữ liệu di chuyển, nhằm tối đa hóa hiệu quả.
lớp ẩn: Lớp trung gian trong mạng nơ-ron, nằm giữa lớp đầu vào và lớp đầu ra, học các biểu diễn trừu tượng bằng cách biến đổi dữ liệu thông qua các trọng số đã học và hàm activation.
trạng thái ẩn: Bộ nhớ nội bộ của mạng nơ-ron hồi quy, mang thông tin từ các bước thời gian trước đó, giúp mạng duy trì ngữ cảnh qua các đầu vào tuần tự.
xử lý phân cấp: Kiến trúc hệ thống đa tầng, trong đó dữ liệu và trí tuệ luân chuyển giữa các cấp của ngăn xếp tính toán, từ cảm biến đến thiết bị edge rồi đến hệ thống đám mây.
bộ nhớ băng thông cao (HBM): Công nghệ bộ nhớ tiên tiến cung cấp băng thông cao hơn nhiều so với DRAM truyền thống nhờ xếp chồng 3D và giao diện rộng; HBM đặc biệt quan trọng với các khối lượng công việc AI đòi hỏi nhiều dữ liệu.
mở rộng theo chiều ngang: Tăng dung lượng hệ thống bằng cách thêm nhiều máy hoặc instance mới thay vì nâng cấp phần cứng hiện có, giúp tăng khả năng chịu lỗi và phân phối tải tốt hơn.
machine learning lai: Sự kết hợp nhiều cách tiếp cận machine learning như đám mây, edge, thiết bị di động và TinyML để tạo nên hệ thống phân tán thống nhất, tận dụng các ưu điểm bổ sung của từng phần.
song song hóa lai: Cách tiếp cận huấn luyện phân tán kết hợp song song dữ liệu và song song mô hình để tận dụng ưu điểm của cả hai chiến lược khi huấn luyện các mô hình rất lớn.
siêu tham số: Cài đặt cấu hình kiểm soát quá trình học của mô hình nhưng không được học từ dữ liệu, ví dụ: tốc độ học, kích thước batch hoặc lựa chọn kiến trúc mạng.
trung tâm dữ liệu siêu quy mô: Cơ sở trung tâm dữ liệu rất lớn chứa hàng nghìn máy chủ và chiếm diện tích sàn rộng, được thiết kế để hỗ trợ hiệu quả các khối lượng công việc tính toán khổng lồ.

I

nút thắt I/O: Là giới hạn hiệu suất xảy ra khi lưu trữ, giải mã, tiền xử lý hoặc truyền dữ liệu không thể cung cấp dữ liệu đủ nhanh để giữ cho tài nguyên tính toán luôn hoạt động hiệu quả.
biến đổi idempotent: Là phép biến đổi dữ liệu mà khi áp dụng nhiều lần cũng cho kết quả như khi áp dụng một lần, hỗ trợ việc thử lại và xử lý lại một cách an toàn.
im2col: Là kỹ thuật convolution-lowering biến các vùng ảnh thành các cột của ma trận để phép tích chập có thể thực thi dưới dạng phép nhân ma trận tổng quát (GEMM).
ImageNet: Là một cơ sở dữ liệu hình ảnh khổng lồ, chứa hơn 14 triệu hình ảnh được gán nhãn thuộc hơn 20.000 danh mục. Cơ sở dữ liệu này được phát triển bởi một nhóm do Fei-Fei Li dẫn đầu và ra mắt vào năm 2009. Thử thách thường niên của ImageNet đã đóng vai trò quan trọng trong việc thúc đẩy những tiến bộ đột phá trong lĩnh vực thị giác máy tính.
lập trình mệnh lệnh: Là mô hình lập trình trong đó chương trình chỉ định các chuỗi lệnh để cập nhật trạng thái và điều khiển luồng thực thi; điều này khác với việc các phép toán được thực thi ngay lập tức (eagerly) hay được sắp xếp để thực thi sau.
độ chệch (bias) quy nạp: Là giả định có tính cấu trúc được tích hợp vào một mô hình hoặc kiến trúc, qua đó hạn chế các hàm mà mô hình có thể học một cách hiệu quả; ví dụ, tính cục bộ trong các CNN.
suy luận: Là giai đoạn vận hành khi các mạng nơ-ron đã được huấn luyện đưa ra dự đoán trên dữ liệu mới, sử dụng các tham số cố định mà không cập nhật trọng số.
InfiniBand: Là công nghệ mạng có thông lượng cao và độ trễ thấp, thường dùng cho các cụm bộ tăng tốc đa nút và trong huấn luyện phân tán.
tỷ lệ thông tin-tính toán (ICR): Là chỉ số định lượng hiệu quả của việc chọn dữ liệu, được định nghĩa là tỷ lệ giữa mức tăng hiệu suất của mô hình và chi phí tính toán (FLOPs) để đạt được mức tăng đó. Tối đa hóa ICR là mục tiêu chính của các chiến lược chọn dữ liệu.
cơ sở hạ tầng dưới dạng mã: Thực hành quản lý và cấp phát cơ sở hạ tầng tính toán bằng các tệp cấu hình mà máy có thể đọc, thay vì làm thủ công, qua đó hỗ trợ kiểm soát phiên bản và tự động hóa.
INT8: Là dạng biểu diễn số nguyên có dấu 8 bit, dùng để lượng tử hoá trọng số, activation hoặc cả hai. Mỗi giá trị INT8 chỉ chiếm một phần tư dung lượng lưu trữ so với FP32, và phần cứng hỗ trợ có thể tăng tốc các phép toán phù hợp; độ chính xác phụ thuộc vào lược đồ lượng tử hoá được dùng.
biểu diễn trung gian (IR): Một biểu diễn nội bộ của trình biên dịch, nằm giữa mã mô hình ở phía frontend và bước tạo mã cho phần cứng ở phía backend, được các framework ML dùng để tối ưu hóa và đảm bảo tính di động.
internet vạn vật: Mạng lưới các đối tượng vật lý được gắn cảm biến, phần mềm và công nghệ khác, kết nối và trao đổi dữ liệu với thiết bị và hệ thống khác qua internet.
phân tích giao thoa: Cách đánh giá xem xét các tổ hợp thuộc tính nhân khẩu học (ví dụ: chủng tộc và giới tính cùng lúc) để phát hiện những tác hại tập trung mà phân tích đơn yếu tố không thấy được.
IOPS: Viết tắt của Input/Output Operations Per Second; một chỉ số hiệu suất lưu trữ đo số thao tác đọc/ghi mà thiết bị xử lý mỗi giây, đặc biệt quan trọng với các khối lượng công việc (workload) truy cập ngẫu nhiên như tải dữ liệu huấn luyện.
Định luật Sắt của Hệ thống ML: Một khuôn khổ định lượng phân tách hiệu suất hệ thống ML thành ba thành phần: Dữ liệu (giới hạn bởi băng thông), Tính toán (giới hạn bởi FLOP/s), và Độ trễ (giới hạn bởi overhead). Được phát biểu: \(T = D_{\text{vol}}/\text{BW} + O/(R_{\text{peak}} \cdot \eta_{\text{hw}}) + L_{\text{lat}}\).

tỉa lặp lại (iterative pruning): Là một chiến lược tỉa (pruning) dần dần, loại bỏ các tham số qua nhiều giai đoạn, đồng thời thực hiện tinh chỉnh (fine-tuning) giữa mỗi giai đoạn. Điều này giúp mô hình thích nghi với dung lượng đã giảm và thường đạt độ chính xác tốt hơn so với phương pháp tỉa một lần (one-shot pruning).

J

JAX: Một thư viện tính toán số do Google Research phát triển, kết hợp API của NumPy với các phép biến đổi lập trình hàm như đạo hàm tự động, biên dịch just-in-time, và vector hóa tự động, phục vụ nghiên cứu machine learning hiệu suất cao.
biên dịch JIT (JIT compilation): Quá trình biên dịch Just-In-Time, phân tích và tối ưu hóa mã ngay tại thời điểm runtime. Kỹ thuật này giúp các framework cân bằng sự linh hoạt của thực thi eager execution với lợi ích hiệu suất từ tối ưu hóa đồ thị bằng cách biên dịch các hàm được dùng thường xuyên.

K

k-ẩn danh (k-anonymity): Kỹ thuật bảo mật đảm bảo mỗi bản ghi trong một tập dữ liệu không thể phân biệt với ít nhất k-1 bản ghi khác bằng cách tổng quát hóa các định danh giả (quasi-identifiers).
kernel: Một ma trận nhỏ chứa các trọng số có thể học được, dùng trong các lớp tích chập để phát hiện các đặc trưng cụ thể thông qua phép tích chập. Nó còn được gọi là bộ lọc. Trong lập trình GPU, thuật ngữ này cũng chỉ một hàm được khởi chạy để thực thi song song bởi một lưới các luồng.
kernel fusion: Một kỹ thuật tối ưu hóa kết hợp nhiều phép tính thành một kernel duy nhất, nhằm giảm việc truyền dữ liệu qua bộ nhớ và cải thiện hiệu suất trên các bộ xử lý song song.
keyword spotting (KWS): Một công nghệ phát hiện các từ khóa hoặc cụm từ đánh thức cụ thể trong luồng âm thanh. Công nghệ này thường được dùng trong các thiết bị kích hoạt bằng giọng nói, với các ràng buộc về công suất và độ trễ.
knowledge distillation: Một kỹ thuật nén mô hình, trong đó một mạng “học sinh” nhỏ hơn học cách bắt chước hành vi của một mạng “giáo viên” lớn hơn bằng cách được huấn luyện trên các xác suất đầu ra mềm của mạng giáo viên, thay vì chỉ dựa vào các nhãn cứng.
Kolmogorov-Smirnov test (K-S test): Một kiểm định phi tham số dùng để đo khoảng cách lớn nhất giữa hai phân phối tích lũy. Kiểm định này thường được sử dụng để so sánh các phân phối đặc trưng nhằm phát hiện sự trôi lệch (drift).
Kullback-Leibler divergence (KL divergence): Một độ đo lý thuyết thông tin bất đối xứng, dùng để đánh giá mức độ khác biệt của một phân phối xác suất so với một phân phối khác. Nó được sử dụng trong việc giám sát và phân tích sự trôi lệch (drift).
KV cache: Cache lưu trữ các tensor key và value từ các token transformer trước đó, được dùng trong quá trình suy luận tự hồi quy (autoregressive inference) để tránh phải tính toán lại lịch sử attention.

L

L0 norm: Số lượng các phần tử khác 0 trong một vector hoặc tensor, được dùng trong kỹ thuật tỉa (pruning) để biểu diễn độ thưa thớt hoặc ngân sách mục tiêu cho các trọng số còn lại của mô hình.
label quality drift: Sự suy giảm về độ tin cậy hoặc tính nhất quán của các nhãn theo thời gian, ngay cả khi phân phối đầu vào cơ bản vẫn ổn định.
label shift: Một dạng lệch phân bố, trong đó tần suất của các nhãn thay đổi, nhưng các mẫu đặc trưng (khi đã biết nhãn) vẫn giữ nguyên.
LAPACK: Một gói thư viện đại số tuyến tính, mở rộng BLAS với các phép toán đại số tuyến tính cấp cao hơn, bao gồm phân rã ma trận, các bài toán giá trị riêng và giải hệ phương trình tuyến tính, cung cấp nền tảng toán học thiết yếu cho các tính toán trong machine learning.
độ trễ: Khoảng thời gian từ khi một yêu cầu hoặc sự kiện xảy ra cho đến khi nhận được phản hồi hoặc hoàn thành tương ứng. Đây là yếu tố rất quan trọng trong các ứng dụng thời gian thực, nơi đòi hỏi phản hồi nhanh chóng.
ràng buộc độ trễ: Các yêu cầu thời gian thực đặt giới hạn độ trễ tối đa chấp nhận được cho quá trình suy luận của mô hình, từ đó chi phối các quyết định tối ưu hóa trong các kịch bản triển khai, nơi thời gian phản hồi là rất quan trọng.
chuẩn hóa theo lớp: Một kỹ thuật chuẩn hóa, trong đó đầu vào được chuẩn hóa theo chiều đặc trưng cho từng mẫu dữ liệu. Kỹ thuật này thường được sử dụng trong các kiến trúc transformer để ổn định quá trình huấn luyện.
lượng tử hoá theo lớp: Một mức độ chi tiết của lượng tử hoá, trong đó tất cả các tham số trong một lớp đơn lẻ chia sẻ cùng một bộ tham số lượng tử hoá. Cách này mang lại hiệu quả tính toán nhưng có thể hạn chế độ chính xác biểu diễn so với các phương pháp chi tiết hơn.
tốc độ học: Một siêu tham số quyết định kích thước bước để cập nhật các trọng số trong quá trình tối ưu hóa bằng gradient descent. Siêu tham số này ảnh hưởng lớn đến sự ổn định của quá trình huấn luyện và tốc độ hội tụ.
lập lịch tốc độ học: Việc điều chỉnh tốc độ học một cách có hệ thống trong quá trình huấn luyện, sử dụng các chiến lược như giảm theo bước (step decay), giảm theo hàm mũ (exponential decay) hoặc làm nguội theo cosine (cosine annealing) nhằm cải thiện sự hội tụ và hiệu suất cuối cùng của mô hình.
tính nhất quán vòng đời: Nguyên tắc rằng tất cả các giai đoạn phát triển ML phải phù hợp với các mục tiêu tổng thể của hệ thống, duy trì sự nhất quán trong việc xử lý dữ liệu, kiến trúc mô hình và tiêu chí đánh giá.
thất bại mở rộng tuyến tính: Hiện tượng khi tăng tài nguyên tính toán (ví dụ, tăng gấp đôi số bộ tăng tốc) lại chỉ mang lại mức tăng hiệu suất dưới mức tuyến tính, nguyên nhân là do chi phí giao tiếp và chi phí đồng bộ hóa.
LINPACK: Một benchmark được phát triển tại Phòng thí nghiệm Quốc gia Argonne, dùng để đo lường hiệu suất hệ thống bằng cách giải các hệ phương trình tuyến tính dày đặc. Benchmark này nổi tiếng vì được sử dụng trong bảng xếp hạng siêu máy tính TOP500.
Định luật Little: Một mối quan hệ trong lý thuyết hàng đợi, phát biểu rằng số lượng công việc trung bình trong hệ thống bằng tốc độ đến nhân với thời gian trung bình một công việc ở trong hệ thống. Định luật này liên kết thông lượng, độ trễ và dung lượng.
Llama: Viết tắt của Large Language Model Meta AI. Đây là một họ các mô hình nền tảng mở đã phổ biến các lựa chọn kiến trúc hiệu quả như RMSNorm và SwiGLU, trở thành một điểm tham chiếu hiện đại cho hiệu suất của các mô hình transformer quy mô lớn.
load balancing: Phân phối các yêu cầu đến nhiều phiên bản máy chủ để tránh nút thắt cổ chai, cải thiện thời gian phản hồi và đảm bảo tính sẵn sàng cao.
locality-sensitive hashing (LSH): Một họ hàm băm ánh xạ các mục tương tự vào cùng một bucket với xác suất cao, cho phép tìm kiếm độ tương đồng gần đúng ở quy mô lớn.
logits: Các giá trị điểm thô, chưa được chuẩn hóa, do lớp cuối cùng của một mạng nơ-ron xuất ra trước khi hàm activation (như softmax) chuyển chúng thành xác suất.
hàm mất mát: Một hàm toán học đo lường mức độ đầu ra của mô hình đáp ứng mục tiêu huấn luyện, đồng thời cung cấp mục tiêu để thuật toán huấn luyện tối thiểu hóa.
loss scaling: Một kỹ thuật dùng trong huấn luyện độ chính xác hỗn hợp, nhân hàm mất mát với một hệ số lớn trước khi lan truyền ngược để ngăn hiện tượng tràn số dưới (underflow) của gradient khi dùng các định dạng độ chính xác thấp.
Lottery Ticket Hypothesis: Lý thuyết cho rằng các mạng nơ-ron lớn chứa những mạng con thưa. Khi được huấn luyện riêng từ một khởi tạo thích hợp, các mạng con này có thể đạt độ chính xác tương đương mạng đầy đủ nhưng nhỏ hơn đáng kể.
low-rank factorization: Một kỹ thuật phân rã ma trận, trong đó các ma trận trọng số lớn được xấp xỉ bằng tích của các ma trận nhỏ hơn, giúp giảm số lượng tham số và phép tính cần thiết cho các lớp của mạng nơ-ron.
LSTM: Viết tắt của Long Short-Term Memory, một loại kiến trúc mạng nơ-ron hồi quy được thiết kế để xử lý các phụ thuộc dài hạn thông qua các cơ chế cổng (gating mechanisms) kiểm soát luồng thông tin.

M

machine learning: Một nhánh của trí tuệ nhân tạo cho phép các hệ thống tự động cải thiện hiệu suất trên các tác vụ thông qua kinh nghiệm và dữ liệu, thay vì phải lập trình tường minh.
machine learning framework: Một nền tảng phần mềm cung cấp các công cụ và lớp trừu tượng để thiết kế, huấn luyện và triển khai các mô hình machine learning, kết nối ứng dụng người dùng với cơ sở hạ tầng thông qua đồ thị tính toán, tối ưu hóa phần cứng và điều phối quy trình làm việc. Ví dụ: TensorFlow, PyTorch và JAX.
machine learning lifecycle: Một quy trình có cấu trúc và lặp, bao trùm mọi giai đoạn liên quan đến phát triển, triển khai và vận hành các hệ thống machine learning, từ định nghĩa vấn đề đến giám sát và cải tiến liên tục.

MLOps là một lĩnh vực kỹ thuật và tập hợp công cụ tập trung vào việc đưa các mô hình machine learning vào vận hành thông qua tự động hóa, giám sát và quản lý toàn bộ pipeline ML, từ giai đoạn phát triển đến môi trường sản xuất.

Là một lĩnh vực kỹ thuật tập trung xây dựng các hệ thống AI đáng tin cậy, hiệu quả và có khả năng mở rộng trên nhiều nền tảng tính toán, bao quát toàn bộ vòng đời AI từ thu thập dữ liệu đến triển khai và vận hành, với trọng tâm vào sử dụng tài nguyên hiệu quả và tối ưu hóa ở cấp độ hệ thống.

Phương pháp đánh giá toàn bộ mô hình machine learning nhằm hiểu cách các lựa chọn kiến trúc và sự tương tác giữa các thành phần ảnh hưởng đến hành vi và hiệu năng tổng thể của hệ thống.

Phương pháp tỉa (pruning) phổ biến nhất. Nó loại bỏ các tham số có giá trị tuyệt đối nhỏ nhất, dựa trên giả định rằng các trọng số có độ lớn nhỏ hơn đóng góp ít hơn vào đầu ra của mô hình.

Kỹ thuật ẩn danh nhằm thay đổi hoặc làm mờ các giá trị nhạy cảm để chúng không thể bị truy ngược trực tiếp về chủ thể dữ liệu gốc.

Một kiểu tấn công quyền riêng tư nhằm xác định xem một bản ghi cụ thể có nằm trong tập dữ liệu huấn luyện của mô hình hay không.

Tốc độ đọc hoặc ghi dữ liệu vào bộ nhớ, đo bằng byte mỗi giây; đây thường là nút thắt cổ chai trong các khối lượng công việc (workload) machine learning đòi hỏi nhiều bộ nhớ.

Cách tổ chức bộ nhớ theo hệ thống phân cấp với các tốc độ truy cập và dung lượng khác nhau, từ cache nhanh trên chip đến bộ nhớ chính chậm hơn ngoài chip.

Khoảng cách hiệu năng ngày càng lớn giữa tốc độ bộ xử lý và băng thông bộ nhớ, khi năng lực tính toán vượt quá tốc độ cung cấp dữ liệu cho bộ xử lý, trở thành nút thắt cổ chai chính đối với các mô hình ML lớn.

Thông tin mô tả về các tập dữ liệu, bao gồm cách thu thập dữ liệu, các chỉ số chất lượng, trạng thái xác thực và các thông tin ngữ cảnh khác cần thiết cho quản lý dữ liệu.

Một phần nhỏ hơn của một batch hiệu quả, được xử lý tuần tự để tích lũy gradient hoặc thực hiện song song hóa pipeline, nhằm giảm mức sử dụng bộ nhớ đỉnh.

Các công cụ đánh giá chuyên biệt dùng để đo lường các thành phần riêng lẻ hoặc các phép toán cụ thể trong hệ thống machine learning, ví dụ như các phép toán tensor hay các lớp mạng nơ-ron.

Một máy tính nhỏ gọn trên một vi mạch tích hợp duy nhất, chứa lõi xử lý, bộ nhớ và các ngõ vào/ra có thể lập trình; thường dùng trong các hệ thống nhúng.

MinHash: Một phương pháp sketching giúp ước tính độ tương đồng giữa các tập hợp bằng các chữ ký nhỏ gọn, thường dùng để phát hiện các bản sao gần giống ở quy mô lớn.
mini-batch gradient descent: Một phương pháp huấn luyện tính toán gradient và cập nhật trọng số bằng cách dùng một tập con nhỏ các ví dụ huấn luyện cùng lúc. Cách này giúp cân bằng giữa hiệu quả tính toán và chất lượng ước lượng gradient.
mini-batch processing: Một phương pháp tối ưu hóa tính toán gradient trên các batch nhỏ của tập ví dụ, cân bằng giữa hiệu quả tính toán của xử lý theo batch và các ràng buộc bộ nhớ của các phương pháp ngẫu nhiên.
mixed-precision computing: Một kỹ thuật sử dụng các độ chính xác số khác nhau ở từng giai đoạn tính toán. Ví dụ, dùng FP16 cho nhân ma trận và FP32 cho tích lũy.
mixed-precision training: Một phương pháp huấn luyện kết hợp các độ chính xác số khác nhau (thường là FP16 và FP32) nhằm tối ưu hóa việc sử dụng bộ nhớ và tốc độ tính toán, đồng thời duy trì sự ổn định trong quá trình huấn luyện.
ML node: Một ứng dụng machine learning thực tế được xem như một đơn vị vận hành độc lập. Nó bao gồm các pipeline dữ liệu, tính toán đặc trưng, huấn luyện mô hình, cơ sở hạ tầng phục vụ (serving) và giám sát.
ML systems: Các hệ thống tính toán tích hợp gồm ba thành phần cốt lõi: dữ liệu định hướng hành vi của thuật toán, các thuật toán học trích xuất các mẫu từ dữ liệu, và cơ sở hạ tầng tính toán hỗ trợ cả quá trình huấn luyện và suy luận.
ML systems spectrum: Phạm vi triển khai hệ thống machine learning, từ các hệ thống dựa trên đám mây với tài nguyên dồi dào cho đến các thiết bị nhúng nhỏ với những ràng buộc nghiêm ngặt. Mỗi loại hệ thống này đòi hỏi các chiến lược tối ưu hóa và sự đánh đổi khác nhau.
ML Test Score: Một tiêu chí đánh giá mức độ sẵn sàng triển khai vào môi trường sản xuất cho các hệ thống machine learning. Tiêu chí này xem xét các kiểm thử về dữ liệu, mô hình, cơ sở hạ tầng và giám sát.
MLCommons: Tổ chức phát triển và duy trì các benchmark tiêu chuẩn ngành cho các hệ thống machine learning, bao gồm bộ MLPerf để đánh giá huấn luyện và suy luận.
MLPerf: Bộ benchmark tiêu chuẩn ngành cung cấp các bài kiểm tra tiêu chuẩn hóa cho huấn luyện và suy luận trên nhiều khối lượng công việc (workload) deep learning khác nhau, cho phép so sánh công bằng các hệ thống machine learning.
MLPerf execution scenarios: Các kịch bản lưu lượng suy luận MLPerf tiêu chuẩn mô phỏng các khối lượng công việc (workload) tuần tự, đồng bộ, kiểu máy chủ, batch và tương tác, với các yêu cầu độ trễ và thông lượng khác nhau.
MLPerf Inference: Một benchmark framework dùng để đánh giá hiệu suất suy luận của machine learning trên nhiều môi trường triển khai khác nhau, từ các trung tâm dữ liệu đám mây cho đến thiết bị di động và hệ thống nhúng.
MLPerf Mobile: Một benchmark chuyên biệt, mở rộng việc đánh giá của MLPerf sang điện thoại thông minh và các thiết bị di động, nhằm đo lường độ trễ và khả năng phản hồi dưới các ràng buộc chặt chẽ về công suất và bộ nhớ.
MLPerf Power: Một phương pháp của MLPerf để đo công suất và hiệu quả năng lượng của các khối lượng công việc (workload) machine learning song song với hiệu suất.
MLPerf Tiny: Một benchmark được thiết kế cho các hệ thống AI nhúng và có công suất cực thấp, ví dụ như các thiết bị IoT, thiết bị đeo và vi điều khiển, vốn hoạt động với khả năng xử lý tối thiểu.
MLPerf Training: Một benchmark tiêu chuẩn hóa dùng để đánh giá hiệu suất huấn luyện machine learning, bằng cách đo thời gian cần thiết để đạt độ chính xác mong muốn, thông lượng và mức độ sử dụng tài nguyên trên các nền tảng phần cứng khác nhau.
mobile machine learning: Việc thực thi các mô hình machine learning trực tiếp trên các thiết bị di động chạy bằng pin, như điện thoại thông minh và máy tính bảng, cho phép các ứng dụng mang tính cá nhân hóa và phản hồi nhanh.
thẻ mô hình: Một định dạng tiêu chuẩn hóa dùng để tài liệu hóa các mô hình machine learning, ghi lại những thông tin cần thiết cho việc triển khai có trách nhiệm, bao gồm mục đích sử dụng, các yếu tố ảnh hưởng đến hiệu suất và những cân nhắc về đạo đức.
AI lấy mô hình làm trung tâm: Một cách tiếp cận nghiên cứu, trong đó tập dữ liệu được xem là cố định và nỗ lực kỹ thuật tập trung vào tối ưu hóa kiến trúc mô hình.
nén mô hình: Các kỹ thuật dùng để giảm kích thước và yêu cầu tính toán của các mô hình machine learning, đồng thời vẫn cố gắng giữ nguyên độ chính xác, giúp triển khai mô hình trên các thiết bị có tài nguyên hạn chế.
triển khai mô hình: Quá trình tích hợp các mô hình machine learning đã huấn luyện vào các hệ thống sản xuất, tại đó chúng có thể đưa ra dự đoán trên dữ liệu mới và mang lại giá trị cho người dùng cuối.
trôi mô hình: Sự suy giảm hiệu suất của mô hình machine learning theo thời gian do thay đổi trong mẫu dữ liệu, hành vi người dùng hoặc điều kiện môi trường so với điều kiện huấn luyện ban đầu.
đánh giá mô hình: Là việc đánh giá có hệ thống hiệu năng của mô hình machine learning bằng nhiều số liệu và kỹ thuật xác thực, nhằm xác định mô hình có đáp ứng yêu cầu và sẵn sàng triển khai hay chưa.
mức độ sử dụng FLOPs của mô hình (MFU): Là tỷ lệ giữa số FLOPs mỗi giây của mô hình (suy ra từ thông lượng quan sát được) và số FLOPs đỉnh lý thuyết mỗi giây của phần cứng. Chỉ số này đo mức độ một khối lượng công việc (workload) tận dụng hiệu quả tài nguyên tính toán sẵn có cho các phép tính của mô hình.
tối ưu hoá mô hình: Là quá trình tinh chỉnh có hệ thống các mô hình machine learning để cải thiện hiệu năng trong khi vẫn đảm bảo hiệu quả, đồng thời cân bằng các đánh đổi giữa độ chính xác, chi phí tính toán, mức sử dụng bộ nhớ, độ trễ và hiệu quả năng lượng.
song song hoá mô hình: Một chiến lược huấn luyện phân tán, trong đó mô hình mạng nơ-ron được chia thành nhiều phần và phân bổ trên nhiều thiết bị. Mỗi thiết bị chịu trách nhiệm tính toán một phần của mạng.
lượng tử hoá mô hình: Là quá trình giảm độ chính xác số học trong các mô hình machine learning, thường từ FP32 xuống INT8, để giảm kích thước mô hình và lưu lượng truy cập bộ nhớ. Tốc độ xử lý chỉ tăng khi có các kernel độ chính xác thấp hiệu quả.
kho lưu trữ mô hình: Kho tập trung để lưu, quản lý phiên bản và quản trị các mô hình machine learning đã huấn luyện cùng với siêu dữ liệu đi kèm, giúp việc quản trị và triển khai mô hình dễ dàng hơn.
phục vụ (serving) mô hình: Là cơ sở hạ tầng và hệ thống giúp các mô hình machine learning đã triển khai có thể truy cập thông qua API, nhằm xử lý các yêu cầu dự đoán ở quy mô lớn với độ trễ và thông lượng phù hợp.
huấn luyện mô hình: Là quá trình sử dụng các thuật toán machine learning để học các mẫu từ dữ liệu huấn luyện, điều chỉnh các tham số của mô hình nhằm giảm thiểu lỗi dự đoán và xây dựng một hệ thống dự đoán hoạt động hiệu quả.
xác thực mô hình: Là quá trình kiểm thử các mô hình machine learning trên các tập dữ liệu độc lập để đánh giá khả năng khái quát hoá và đảm bảo mô hình hoạt động đáng tin cậy trên dữ liệu chưa từng thấy.
quản lý phiên bản mô hình: Là quá trình theo dõi và quản lý có hệ thống các phiên bản khác nhau của mô hình machine learning, bao gồm tham số, dữ liệu huấn luyện và số liệu hiệu năng của từng phiên bản, nhằm phục vụ so sánh và khả năng quay lại phiên bản trước.
momentum: Là một kỹ thuật tối ưu hóa tích lũy một vector vận tốc qua các lần lặp. Điều này giúp gradient descent vượt qua các cực tiểu cục bộ và tăng tốc hội tụ theo các hướng gradient nhất quán.
giám sát: Quá trình quan sát và đo lường liên tục hiệu suất của hệ thống machine learning, chất lượng dữ liệu và các số liệu vận hành trong môi trường sản xuất để phát hiện vấn đề và kích hoạt các hành động bảo trì.
multi-head attention: Một cơ chế attention sử dụng nhiều đầu attention hoạt động song song. Mỗi đầu tập trung vào một khía cạnh khác nhau của dữ liệu đầu vào, giúp nắm bắt đồng thời nhiều loại mối quan hệ đa dạng.
perceptron đa lớp (MLP): Một mạng nơ-ron truyền thẳng với một hoặc nhiều lớp ẩn nằm giữa lớp đầu vào và lớp đầu ra, có khả năng học các ánh xạ phi tuyến tính thông qua các kết nối dày đặc và các hàm activation.
nhân-tích lũy (MAC): Phép nhân hai giá trị rồi cộng dồn kết quả vào một tổng đang được tính; đây là phép toán chủ đạo trong các lớp tuyến tính và các đường dẫn dữ liệu của bộ tăng tốc.
MYCIN: Một trong những hệ thống chuyên gia quy mô lớn đầu tiên, được phát triển tại Stanford từ năm 1972 để chẩn đoán nhiễm trùng máu, thể hiện sự chuyển dịch sang việc thu thập kiến thức chuyên gia của con người trong các lĩnh vực cụ thể thay vì theo đuổi trí tuệ nhân tạo tổng quát.

N

Độ thưa thớt N:M: Một mẫu thưa thớt có cấu trúc, trong đó chính xác N trên mỗi M giá trị là khác không, cung cấp cho phần cứng các mẫu số 0 đều đặn hơn để khai thác.
Tìm kiếm kiến trúc mạng nơ-ron: Một phương pháp tự động tìm kiếm các tổ hợp khả thi của các lớp, kết nối và siêu tham số kiến trúc để tìm ra các kiến trúc mạng nơ-ron hoạt động tốt theo các mục tiêu và ràng buộc đã định.
Mạng nơ-ron: Một mô hình tính toán gồm các nút được kết nối với nhau và sắp xếp thành các lớp, có khả năng học cách ánh xạ dữ liệu đầu vào thành đầu ra thông qua các trọng số kết nối có thể điều chỉnh.
Đơn vị xử lý nơ-ron (NPU): Các bộ xử lý chuyên dụng được thiết kế để tăng tốc các phép toán mạng nơ-ron và các phép tính machine learning, được tối ưu hóa cho xử lý song song các khối lượng công việc (workload) AI.
Điện toán mô phỏng thần kinh: Một cách tiếp cận điện toán mô phỏng cấu trúc và chức năng của các mạng nơ-ron sinh học, có tiềm năng mang lại khả năng xử lý tiết kiệm năng lượng hơn cho các ứng dụng AI.

NoSQL: Một nhóm hệ thống cơ sở dữ liệu được thiết kế để xử lý khối lượng lớn dữ liệu phi cấu trúc hoặc bán cấu trúc với schema linh hoạt, thường dùng trong các ứng dụng dữ liệu lớn.

numerical precision optimization: Một khía cạnh của tối ưu hoá mô hình, tập trung vào cách các giá trị số được biểu diễn và xử lý, bao gồm các kỹ thuật lượng tử hoá để ánh xạ các giá trị độ chính xác cao sang biểu diễn số bit thấp hơn.

NVLink: Liên kết GPU băng thông cao của NVIDIA cho truyền thông trong cùng một nút, hữu ích cho đồng bộ gradient và truyền activation trong song song hoá theo mô hình.

O

observability: Cách tiếp cận giám sát toàn diện, cung cấp cái nhìn về hành vi hệ thống thông qua metrics, logs và traces, giúp suy ra trạng thái bên trong từ các đầu ra bên ngoài.

on-chip memory: Bộ nhớ tốc độ cao được tích hợp trực tiếp trên chip xử lý, bao gồm cache và bộ nhớ scratchpad, cho phép truy cập dữ liệu với băng thông lớn và độ trễ thấp.

on-device learning: Khả năng để các mô hình machine learning tự thích nghi và học trực tiếp trên các thiết bị edge mà không cần truyền dữ liệu về máy chủ bên ngoài.

one-hot encoding: Cách biểu diễn trong đó các nhãn phân loại được chuyển thành các vector, mỗi vector chỉ có một giá trị là 1 và các giá trị còn lại là 0.

one-shot pruning: Chiến lược tỉa (pruning) trong đó một phần lớn tham số được loại bỏ chỉ trong một bước; sau đó mô hình thường được tinh chỉnh (fine-tuning) để khôi phục độ chính xác. Cách làm này đơn giản nhưng có thể đòi hỏi tinh chỉnh (fine-tuning) mạnh hơn.

online analytical processing (OLAP): Cách tiếp cận cơ sở dữ liệu được tối ưu cho các truy vấn phân tích phức tạp trên các tập dữ liệu lớn, thường dùng trong kho dữ liệu phục vụ business intelligence.

online inference: Phục vụ (serving) dự đoán theo thời gian thực, xử lý từng yêu cầu riêng lẻ với độ trễ thấp, phù hợp với các ứng dụng tương tác cần phản hồi ngay.

online transaction processing (OLTP): Cách tiếp cận cơ sở dữ liệu được tối ưu cho các giao dịch ngắn, diễn ra thường xuyên và được xử lý theo thời gian thực, thường dùng trong các ứng dụng vận hành.

ONNX: Open Neural Network Exchange, một định dạng chuẩn hoá để biểu diễn các mô hình machine learning, cho phép tương thích giữa các framework khác nhau, nhờ đó mô hình được huấn luyện bằng framework này có thể triển khai bằng framework khác.

ONNX Runtime: Công cụ suy luận đa nền tảng, tối ưu hóa các mô hình machine learning bằng các kỹ thuật như hợp nhất toán tử (operator fusion) và tinh chỉnh kernel để tăng tốc suy luận và giảm chi phí tính toán.
optimizer: Thuật toán điều chỉnh tham số của mô hình trong quá trình huấn luyện nhằm giảm thiểu hàm mất mát. Các optimizer phổ biến gồm SGD (Stochastic Gradient Descent), Adam và RMSprop, mỗi loại có chiến lược cập nhật tham số khác nhau.
optimizer state: Các giá trị phụ trợ mà một optimizer duy trì, bên cạnh các tham số của mô hình; chẳng hạn như các tensor động lượng và phương sai của Adam. Với các mô hình lớn, optimizer state thường chiếm phần lớn bộ nhớ khi huấn luyện.
orchestration: Việc phối hợp và quản lý các quy trình công việc phức tạp cùng các tác vụ tính toán phân tán, thường dùng các nền tảng như Kubernetes để quản lý container.
outlier detection: Quá trình xác định những điểm dữ liệu lệch đáng kể so với các mẫu thông thường; chúng có thể là lỗi, điểm bất thường hoặc các sự kiện hiếm có giá trị.
overfitting: Hiện tượng mô hình học quá kỹ các chi tiết cụ thể của dữ liệu huấn luyện đến mức không thể tổng quát hóa cho các ví dụ mới, chưa từng thấy. Thường biểu hiện qua độ chính xác khi huấn luyện cao nhưng hiệu suất khi xác thực kém.

P

padding: Kỹ thuật trong mạng tích chập, thêm các giá trị (thường là 0) xung quanh biên của đầu vào để kiểm soát kích thước không gian của bản đồ đặc trưng đầu ra.
PagedAttention: Một kỹ thuật quản lý bộ nhớ KV-cache, lưu trữ ngữ cảnh attention trong các trang có kích thước cố định thay vì các khối liền kề dành riêng cho từng yêu cầu, nhằm giảm phân mảnh bộ nhớ.
paradigm shift: Sự thay đổi căn bản trong phương pháp khoa học, ví dụ chuyển từ suy luận biểu tượng sang học thống kê trong AI vào thập niên 1990, và từ học nông sang deep learning vào thập niên 2010; điều này buộc các nhà nghiên cứu phải bỏ các phương pháp đã quen dùng để áp dụng những cách tiếp cận khác hẳn.
parallelism: Việc thực thi đồng thời nhiều tác vụ hoặc phép toán, là nền tảng để đạt hiệu suất cao trong xử lý mạng nơ-ron.
parameter: Thành phần có thể học được của mạng nơ-ron, bao gồm trọng số và độ chệch (bias), được điều chỉnh trong quá trình huấn luyện để tối thiểu hóa hàm mất mát.
Biên Pareto: Tập hợp các cấu hình mà ở đó việc cải thiện một mục tiêu sẽ buộc phải làm xấu đi mục tiêu khác. Khái niệm này dùng để phân tích các đánh đổi giữa độ chính xác, độ trễ, bộ nhớ và năng lượng.
Phân vùng: Một kỹ thuật trong cơ sở dữ liệu, chia các tập dữ liệu lớn thành các phần nhỏ hơn, dễ quản lý hơn dựa trên các tiêu chí cụ thể, nhằm cải thiện hiệu suất truy vấn và khả năng mở rộng của hệ thống.
Perceptron: Khối xây dựng cơ bản của mạng nơ-ron, bao gồm các đầu vào có trọng số, một thành phần độ chệch (bias), và một hàm activation tạo ra một đầu ra duy nhất.
thông tin chi tiết về hiệu suất: Các quan sát phân tích thu được từ việc giám sát các hệ thống machine learning trong môi trường sản xuất, cho thấy các cơ hội để cải thiện độ chính xác của mô hình, hiệu quả của hệ thống hoặc trải nghiệm người dùng.
hiệu suất trên mỗi mẫu dữ liệu (PPD): Chỉ số đo mức tăng độ chính xác đạt được trên mỗi mẫu huấn luyện, dùng để đánh giá chất lượng của một tập dữ liệu hoặc chiến lược chọn mẫu. PPD cao cho thấy tập dữ liệu giàu thông tin và ít dư thừa.
bộ nhớ được ghim: Bộ nhớ host bị khóa trang, cho phép truyền dữ liệu trực tiếp, không đồng bộ giữa CPU và GPU, giúp cải thiện thông lượng tải dữ liệu nhưng phải dành riêng một phần bộ nhớ hệ thống.
rừng pipeline: Một phản mô hình (anti-pattern) chỉ tình trạng các pipeline xử lý dữ liệu trở nên quá phức tạp và phụ thuộc lẫn nhau, khiến việc bảo trì, gỡ lỗi và sửa đổi trở nên khó khăn. Tình trạng này thường dẫn đến nợ kỹ thuật và làm tăng độ phức tạp trong vận hành.
song song hóa pipeline: Là một dạng song song hóa mô hình, trong đó các lớp khác nhau của một mô hình được đặt trên các thiết bị khác nhau. Dữ liệu luân chuyển qua các lớp này theo kiểu pipeline, cho phép xử lý nhiều batch cùng lúc.
tính đúng đắn tại thời điểm cụ thể: Đây là sự đảm bảo rằng các ví dụ huấn luyện chỉ sử dụng các giá trị đặc trưng đã có sẵn tại thời điểm dự đoán trong quá khứ, nhằm ngăn chặn rò rỉ dữ liệu (data leakage).
gộp: Một phép toán giảm mẫu (downsampling) trong mạng tích chập, giúp giảm kích thước không gian trong khi vẫn giữ lại các đặc trưng quan trọng. Phép toán này thường dùng thao tác lấy cực đại (max) hoặc trung bình (average) trên các vùng cục bộ.
chỉ số ổn định dân số (PSI): Một chỉ số đo lường sự dịch chuyển phân phối theo nhóm (binned distribution-shift metric), dùng để so sánh các phân phối đặc trưng hiện tại với một đường cơ sở nhằm phát hiện sự trôi dạt dân số (population drift).
mã hoá vị trí: Phương pháp trong kiến trúc transformer để đưa thông tin về vị trí của các token trong chuỗi, vì transformer không xử lý tuần tự theo bản chất.
lượng tử hoá sau huấn luyện: Phương pháp lượng tử hoá áp dụng cho các mô hình đã huấn luyện mà không cần thay đổi quy trình huấn luyện, thường bao gồm hiệu chuẩn (calibration) trên dữ liệu đại diện để xác định các tham số lượng tử hoá tối ưu.
hiệu quả sử dụng công suất (PUE): Chỉ số dùng trong các trung tâm dữ liệu để đo hiệu quả năng lượng, được tính bằng tỷ lệ giữa tổng công suất tiêu thụ của toàn cơ sở và công suất tiêu thụ của thiết bị CNTT.
bức tường công suất: Rào cản công nghệ xuất hiện khoảng năm 2005, khi tăng tần số bộ xử lý không còn mang lại hiệu năng cao hơn nếu không chấp nhận mật độ công suất và nhiệt tạo ra ở mức không bền vững, buộc ngành chuyển sang các kiến trúc song song và chuyên biệt.
độ chính xác: Trong tính toán số, là số bit hoặc chữ số có nghĩa dùng để biểu diễn giá trị; yếu tố này ảnh hưởng đến độ chính xác tính toán và tài nguyên cần thiết trong các hệ thống machine learning.
nạp trước: Kỹ thuật tối ưu hoá hệ thống tải dữ liệu vào bộ nhớ trước khi cần, chồng lấp việc tải dữ liệu với tính toán để giảm thời gian rỗi và cải thiện thông lượng huấn luyện.
định nghĩa bài toán: Giai đoạn đầu của phát triển machine learning, trong đó cần nêu rõ mục tiêu, ràng buộc, tiêu chí thành công và yêu cầu vận hành để định hướng mọi quyết định phát triển tiếp theo.
phần tử xử lý (PE): Khối cấu phần lặp lại của bộ tăng tốc, chứa các đơn vị tính toán và bộ nhớ cục bộ; mảng các PE cho phép thực thi tensor song song.
bộ điều khiển logic khả trình (PLC): Hệ thống điều khiển công nghiệp dùng trong sản xuất và môi trường IoT, có thể tích hợp với các mô hình machine learning để tự động ra quyết định trong các hệ thống công nghệ vận hành.
bài toán gập protein: Thách thức khoa học về dự đoán cấu trúc ba chiều và động lực học của protein từ trình tự axit amin và môi trường của chúng; đây là bài toán lâu năm mà các hệ thống như AlphaFold đã đạt độ chính xác đột phá, dù chưa giải quyết mọi câu hỏi về gập protein.
biến đại diện: Một đặc trưng gián tiếp mang tín hiệu về một thuộc tính nhạy cảm hoặc cần được bảo vệ, ngay cả khi thuộc tính đó đã bị loại bỏ.
giả danh hoá: Là một kỹ thuật bảo vệ quyền riêng tư, thay thế các định danh trực tiếp bằng các định danh giả, nhưng vẫn giữ được khả năng truy vết các bản ghi để phục vụ mục đích phân tích.
PyTorch: Là một framework deep learning do phòng thí nghiệm AI Research của Facebook phát triển. PyTorch nổi bật với đồ thị tính toán động, cơ chế thực thi tức thì (eager execution) và khả năng tích hợp Python trực quan, đặc biệt phổ biến trong giới nghiên cứu và thử nghiệm.

Q

lượng tử hoá: Là một kỹ thuật nén mô hình, trong đó các tham số hoặc activation được biểu diễn ở độ chính xác thấp hơn (ví dụ như chuyển từ FP32 sang INT8). Kỹ thuật này giúp giảm dung lượng lưu trữ và lượng dữ liệu cần di chuyển, mà không giảm số lượng phép toán; để tăng tốc, cần có phần cứng và kernel hỗ trợ.
huấn luyện nhận biết lượng tử hoá: Là một phương pháp huấn luyện trong đó các hiệu ứng của lượng tử hoá được mô phỏng ngay trong quá trình huấn luyện, giúp mô hình thích nghi với độ chính xác thấp hơn và thường đạt độ chính xác tốt hơn so với lượng tử hoá sau huấn luyện (post-training quantization).
độ hạt lượng tử hoá: Mức độ áp dụng các tham số lượng tử hoá, từ cấp độ mỗi tensor (thô nhất) đến mỗi kênh hoặc mỗi nhóm (mịn hơn). Độ hạt càng mịn thì thường giữ được độ chính xác cao hơn nhưng cần nhiều bộ nhớ hơn.
số truy vấn mỗi giây (QPS): Một chỉ số hiệu suất đo lường số yêu cầu suy luận mà một hệ thống có thể xử lý trong một giây, thường dùng để đánh giá thông lượng trong các hệ thống triển khai thực tế.
truy vấn-khóa-giá trị: Ba thành phần chính của cơ chế attention, trong đó truy vấn (query) xác định cần tìm gì, khóa (key) đại diện cho những gì có sẵn, và giá trị (value) chứa thông tin sẽ được gán trọng số và kết hợp.

R

xử lý thời gian thực: Xử lý dữ liệu ngay khi nó xuất hiện theo các ràng buộc thời gian của ứng dụng. Hệ thống thời gian thực cứng (hard real-time) đảm bảo đáp ứng hạn chót ngay cả trong trường hợp xấu nhất, còn hệ thống thời gian thực mềm (soft real-time) chấp nhận đôi khi lỡ hạn.
trường tiếp nhận: Vùng của dữ liệu đầu vào ảnh hưởng đến đầu ra của một nơ-ron cụ thể, qua đó xác định phạm vi không gian của các mẫu mà nơ-ron đó có thể phát hiện.
mạng nơ-ron hồi tiếp (recurrent neural network): Một loại mạng nơ-ron được thiết kế để xử lý dữ liệu tuần tự, với các kết nối tạo thành vòng lặp cho phép thông tin duy trì qua các bước thời gian.
Red AI: Hướng nghiên cứu và phát triển AI ưu tiên tối đa hóa độ chính xác hoặc hiệu suất, mà không xét tới các chi phí tính toán và chi phí môi trường ngày càng tăng cần thiết để đạt được điều đó.
regularization: Các kỹ thuật dùng để ngăn overfitting trong mạng nơ-ron bằng cách thêm các ràng buộc hoặc hình phạt, chẳng hạn như dropout, suy giảm trọng số (weight decay) và tăng cường dữ liệu (data augmentation).
ReLU: Là hàm activation Rectified Linear Unit, được định nghĩa là \(f(x) = \max(0, x)\). Hàm này giúp tạo ra tính phi tuyến cho mô hình, đồng thời duy trì hiệu quả tính toán và giảm thiểu vấn đề vanishing gradients đối với các đầu vào dương.
kết nối residual: Một dạng kết nối bỏ qua (skip connection) cho phép cộng trực tiếp đầu vào của một lớp vào đầu ra của chính lớp đó, giúp giảm thiểu vấn đề vanishing gradient và cho phép huấn luyện các mạng nơ-ron rất sâu.
ResNet: Viết tắt của Residual Network (Mạng Residual). Đây là một kiến trúc tích chập sâu, được xây dựng từ các khối residual có kết nối bỏ qua. Nhờ đó, ResNet có thể huấn luyện các mạng sâu với hàng trăm lớp và đạt được hiệu suất đột phá.
ResNet-50: Một biến thể 50 lớp cụ thể của kiến trúc Mạng Residual. Nó được xem là mô hình tham chiếu tiêu chuẩn cho các khối lượng công việc (workload) bị giới hạn bởi tính toán, giúp cân bằng giữa độ sâu của mạng và chi phí tính toán trong các benchmark về thị giác máy tính.

ảnh đáy mắt (retinal fundus photographs): Hình ảnh y tế chụp bề mặt bên trong của mắt, bao gồm võng mạc, đĩa thị giác và các mạch máu. Chúng thường được dùng để chẩn đoán bệnh về mắt và huấn luyện các hệ thống AI y tế.

vi phân ngược (reverse-mode differentiation): Một kỹ thuật vi phân tự động tính gradient bằng cách duyệt đồ thị tính toán theo thứ tự ngược. Kỹ thuật này rất hiệu quả cho các hàm có nhiều đầu vào nhưng ít đầu ra, nên rất lý tưởng để huấn luyện mạng nơ-ron.

điểm đỉnh (ridge point): Cường độ số học tại đó một khối lượng công việc (workload) chuyển từ bị giới hạn bởi bộ nhớ sang bị giới hạn bởi tính toán trên một nền tảng phần cứng cụ thể. Nó được tính bằng cách lấy FLOP/s đỉnh chia cho băng thông bộ nhớ. Đây chính là điểm uốn trên biểu đồ Mô hình Roofline.

Ring AllReduce: Một thuật toán AllReduce hiệu quả về băng thông, trong đó các thiết bị truyền các khối dữ liệu quanh một vòng và tích lũy kết quả để đồng bộ hóa gradient phân tán.

RMSprop: Một thuật toán tối ưu hoá với tốc độ học thích nghi. Nó duy trì một trung bình trượt của bình phương gradient để tự động điều chỉnh tốc độ học cho từng tham số trong quá trình huấn luyện.

kiểm soát truy cập dựa trên vai trò (RBAC): Một mô hình kiểm soát truy cập cấp quyền theo vai trò của người dùng, dịch vụ hoặc nhóm, thay vì các cấp quyền riêng lẻ ad hoc.

rollback: Quá trình quay về phiên bản ổn định trước đó của một mô hình hoặc hệ thống khi phát hiện vấn đề trong môi trường sản xuất, nhằm bảo đảm dịch vụ không gián đoạn.

phân tích roofline: Một kỹ thuật mô hình hoá hiệu năng vẽ biểu đồ hiệu năng đạt được theo cường độ thao tác, với các trần do hiệu năng tính toán đỉnh và băng thông tạo thành, để xác định hệ thống bị giới hạn bởi bộ nhớ hay bởi tính toán.

S

khả năng mở rộng: Khả năng của các hệ thống machine learning xử lý lượng dữ liệu, người dùng hoặc yêu cầu tính toán ngày càng tăng mà không làm giảm đáng kể hiệu suất hoặc trải nghiệm người dùng.

scale và zero-point: Các tham số lượng tử hoá ánh xạ các tensor giá trị thực sang giá trị số nguyên và ngược lại, trong đó scale kiểm soát kích thước bước và zero-point ánh xạ số 0 thực vào phạm vi lượng tử hoá.

schema: Định nghĩa cấu trúc và định dạng của dữ liệu, chỉ rõ các kiểu dữ liệu, tên trường và mối quan hệ; rất quan trọng để xác thực dữ liệu và bảo đảm tính nhất quán trong xử lý.

schema evolution: Quá trình sửa đổi schema dữ liệu theo thời gian đồng thời duy trì khả năng tương thích ngược và bảo đảm các hệ thống, ứng dụng phụ thuộc tiếp tục hoạt động.

schema-on-read: Một phương pháp dùng trong data lake, theo đó cấu trúc dữ liệu được định nghĩa và áp dụng tại thời điểm đọc thay vì lúc lưu trữ, giúp linh hoạt hơn với nhiều kiểu dữ liệu khác nhau.

bộ nhớ scratchpad: Bộ nhớ cục bộ tốc độ cao do phần mềm quản lý. Các bộ tăng tốc dùng bộ nhớ này để dàn sẵn việc di chuyển dữ liệu có thể dự đoán, dưới sự kiểm soát của trình biên dịch hoặc runtime.

bản đồ phân đoạn (segmentation maps): Các chú thích chi tiết phân loại đối tượng ở cấp độ pixel, cung cấp thông tin nhãn chi tiết nhất nhưng đòi hỏi nhiều tài nguyên lưu trữ và xử lý hơn đáng kể.

self-attention: Một cơ chế attention trong đó các truy vấn (queries), khoá (keys) và giá trị (values) đều xuất phát từ cùng một chuỗi, cho phép mỗi vị trí trong chuỗi chú ý đến tất cả các vị trí khác, bao gồm cả chính nó.

học bán giám sát (semi-supervised learning): Một cách tiếp cận machine learning sử dụng cả dữ liệu có nhãn và không có nhãn để huấn luyện, dựa trên các giả định về cấu trúc để cải thiện hiệu suất mô hình khi số lượng nhãn hạn chế.

độ nhạy (sensitivity): Tỷ lệ các trường hợp dương tính thực sự được mô hình phân loại xác định đúng. Còn gọi là tỷ lệ dương tính thật (true positive rate) hoặc độ thu hồi (recall); đặc biệt quan trọng trong ứng dụng y tế, nơi bỏ sót ca dương tính có thể gây hậu quả nghiêm trọng.

serverless: Mô hình điện toán đám mây trong đó cơ sở hạ tầng được nhà cung cấp tự động quản lý, cho phép thực thi mã mà không phải lo việc quản lý máy chủ.

thỏa thuận mức dịch vụ (SLA): Hợp đồng chính thức với bên ngoài quy định các cam kết dịch vụ (thường thông qua một hoặc nhiều SLO) và các hậu quả hoặc chế tài nếu không tuân thủ.

mục tiêu mức dịch vụ (SLO): Mục tiêu nội bộ có thể đo lường cho một chỉ số mức dịch vụ (ví dụ: độ trễ, tỷ lệ lỗi hoặc khả năng sẵn sàng), dùng để định hướng vận hành và có thể là cơ sở cho một SLA bên ngoài.

triển khai bóng (shadow deployment): Chiến lược triển khai trong đó một mô hình mới chạy song song với mô hình đang hoạt động (production model), tạo ra các dự đoán được ghi lại nhưng không phục vụ người dùng, giúp xác thực mô hình mà không ảnh hưởng đến người dùng.

học nông (shallow learning): Các phương pháp machine learning dùng thuật toán có độ phức tạp hạn chế, như máy vector hỗ trợ (support vector machines) và cây quyết định (decision trees). Các phương pháp này cần đặc trưng được thiết kế cẩn thận và không thể tự động khám phá các biểu diễn phân cấp như các phương pháp deep learning.

Giá trị SHAP: Các điểm quy thuộc đóng góp của đặc trưng, dựa trên giá trị Shapley, ước tính mức đóng góp của từng đặc trưng vào một dự đoán của mô hình.

sigmoid: Một activation function ánh xạ giá trị đầu vào về khoảng 0 đến 1; từng rất phổ biến nhưng dễ gặp vấn đề vanishing gradient (gradient biến mất) trong các mạng nơ-ron sâu.
độ chệch (bias) tiềm ẩn: Sự không công bằng của mô hình tạo ra kết quả trông có vẻ hợp lệ nhưng mang tính phân biệt đối xử, thường vượt qua các cơ chế giám sát lỗi truyền thống và cần đánh giá phân tách (disaggregated evaluation) để phát hiện.
suy giảm tiềm ẩn: Sự suy giảm dần dần hiệu suất của hệ thống machine learning (ML) mà không kích hoạt lỗi, ngoại lệ hoặc cảnh báo. Một hệ thống ML có thể tiếp tục vận hành trong khi đưa ra các dự đoán ngày càng kém chính xác.
lỗi im lặng: Một dạng lỗi hệ thống khi mô hình học máy vẫn tạo ra các đầu ra trông có vẻ hợp lý nhưng ngày càng kém chính xác hoặc kém liên quan ngữ cảnh, mà không kích hoạt các cảnh báo lỗi thông thường.
SIMD (Single Instruction, Multiple Data): Một kiến trúc tính toán song song áp dụng cùng một phép toán lên nhiều phần tử dữ liệu cùng lúc, hiệu quả cho các phép tính dữ liệu song song đều đặn.
SIMT (Single Instruction, Multiple Threads): Phần mở rộng của SIMD, cho phép thực thi song song trên nhiều luồng (thread) độc lập; mỗi luồng có trạng thái và bộ đếm chương trình riêng.
phân rã giá trị kỳ dị: Một kỹ thuật phân rã ma trận, tách một ma trận thành tích của ba ma trận. Thường dùng trong các phép xấp xỉ hạng thấp để nén các lớp mạng nơ-ron bằng cách chỉ giữ lại các giá trị kỳ dị quan trọng nhất.
kết nối bỏ qua: Kết nối trực tiếp bỏ qua một hoặc nhiều lớp, giúp gradient lan truyền dễ hơn qua các mạng nơ-ron sâu, nhờ đó huấn luyện tốt hơn các kiến trúc rất sâu.
mục tiêu mềm: Các phân phối xác suất từ mô hình giáo viên, được dùng làm tín hiệu giám sát trong quá trình chưng cất tri thức (knowledge distillation). Chúng mang thông tin về sự tương đồng giữa các lớp, vượt xa các nhãn cứng (hard labels) thông thường.
softmax: Một activation function chuyển đổi logit thành một phân phối xác suất mà tổng các giá trị đầu ra bằng 1. Hàm này thường được dùng trong các bài toán phân loại đa lớp.
Tensor Core thưa thớt: Biến thể của Tensor Core tăng tốc các mẫu thưa thớt có cấu trúc (structured sparsity patterns) được hỗ trợ, như thưa thớt 2:4, bằng cách bỏ qua các giá trị 0 bị ràng buộc (constrained zero values).
độ thưa thớt: Thuộc tính của tensor khi nhiều giá trị bằng đúng 0. Điều này có thể cải thiện hiệu quả tính toán khi các giá trị 0 có cấu trúc phù hợp và được các kernel thưa thớt chuyên biệt hoặc phần cứng hỗ trợ; các giá trị gần 0 chỉ được xem là 0 sau khi tỉa (pruning).
SPEC CPU: Bộ benchmark tiêu chuẩn hóa do System Performance Evaluation Cooperative phát triển, đo hiệu suất bộ xử lý bằng các ứng dụng thực tế thay vì các bài kiểm tra tổng hợp.
đơn vị hàm đặc biệt (SFU): Phần cứng chuyên dụng cho các phép như hàm mũ, nghịch đảo, căn bậc hai, và một số phép cơ bản của activation function, vốn không phù hợp để thực hiện trên các đơn vị số học thông thường hay đơn vị nhân ma trận.
độ đặc hiệu: Là tỷ lệ các trường hợp âm tính thực tế được một mô hình phân loại xác định đúng, còn gọi là tỷ lệ âm tính đúng (true negative rate). Chỉ số này quan trọng để tránh làm quá tải các hệ thống chuyển tuyến (ví dụ: hệ thống chẩn đoán y tế) với quá nhiều kết quả dương tính giả.
SPECpower: Benchmark đo lường hiệu quả năng lượng của máy chủ trên các mức khối lượng công việc (workload) khác nhau, cho phép so sánh trực tiếp các đánh đổi giữa công suất và hiệu năng trong các hệ thống tính toán.
giải mã suy đoán: Một kỹ thuật tối ưu hoá cho các mô hình ngôn ngữ tự hồi quy, trong đó một mô hình nhỏ hơn tạo các token nháp và một mô hình lớn hơn xác minh chúng, giúp tăng tốc suy luận mà vẫn duy trì chất lượng.
tốc độ ánh sáng (độ trễ): Giới hạn tốc độ vật lý của truyền tải thông tin (khoảng 200.000 km/s trong cáp quang), tạo ra một giới hạn dưới không thể giảm được đối với độ trễ mạng. Điều này đòi hỏi phải dùng edge computing cho các ứng dụng cần thời gian phản hồi dưới 10 ms trên khoảng cách dài.
state dict: Một ánh xạ (serialization) trong framework, liên kết tên của các module hoặc optimizer với các tensor. Được dùng để lưu, tải và tạo checkpoint cho trạng thái của mô hình và optimizer.
đồ thị tĩnh: Một đồ thị tính toán được định nghĩa hoàn chỉnh trước khi thực thi. Cách này cho phép tối ưu hoá toàn diện và triển khai hiệu quả, nhưng yêu cầu mọi phép toán phải được chỉ định trước, nên hạn chế tính linh hoạt của runtime.
lượng tử hoá tĩnh: Một phương pháp lượng tử hoá trong đó các tham số lượng tử hoá được xác định một lần trong quá trình hiệu chuẩn và giữ nguyên trong quá trình suy luận. Phương pháp này mang lại hiệu quả tính toán cao nhưng kém linh hoạt hơn so với các phương pháp động.
học thống kê: Kỷ nguyên machine learning xuất hiện vào những năm 1990, chuyển trọng tâm từ AI biểu tượng dựa trên quy tắc sang các thuật toán có khả năng học các mẫu từ dữ liệu, đặt nền móng cho các phương pháp trí tuệ nhân tạo dựa trên dữ liệu hiện đại.
stochastic gradient descent: Một biến thể của gradient descent, trong đó gradient được ước tính dựa trên từng ví dụ huấn luyện riêng lẻ hoặc các batch nhỏ thay vì dùng toàn bộ tập dữ liệu. Cách này giúp giảm yêu cầu bộ nhớ và cho phép học trực tuyến.
Straight-Through Estimator (STE): Một phương pháp xấp xỉ gradient cho phép quá trình huấn luyện truyền gradient qua các phép toán không khả vi (ví dụ: làm tròn), thường được dùng trong huấn luyện nhận biết lượng tử hoá.
tiếp nhận luồng dữ liệu: Một mẫu xử lý dữ liệu cho phép xử lý theo thời gian thực ngay khi dữ liệu đến; thiết yếu cho các ứng dụng cần xử lý tức thì và phản hồi có độ trễ thấp.
xử lý luồng dữ liệu: Một phương pháp xử lý dữ liệu theo thời gian thực, xử lý các luồng dữ liệu liên tục ngay khi chúng đến, giúp hệ thống phản ứng tức thì với các sự kiện và phát hiện mẫu.
bước nhảy (stride): Kích thước bước mà bộ lọc tích chập di chuyển trên đầu vào; tham số này kiểm soát kích thước không gian của đầu ra và mức độ chồng lấp giữa các lần áp dụng bộ lọc.
tỉa (pruning) có cấu trúc: Một phương pháp tỉa (pruning) loại bỏ trọn các đơn vị tính toán như nơ-ron, kênh hoặc lớp, tạo ra các mô hình dày đặc nhỏ gọn, thân thiện với phần cứng hơn so với các ma trận thưa do tỉa (pruning) không cấu trúc tạo ra.
Học có giám sát: Một phương pháp machine learning trong đó các mô hình học từ các ví dụ huấn luyện đã được gán nhãn để dự đoán trên dữ liệu mới chưa có nhãn.
AI biểu tượng: Một cách tiếp cận trí tuệ nhân tạo sử dụng các biểu diễn bằng ký hiệu ở mức cao cho bài toán, logic và thuật toán tìm kiếm; từng chiếm ưu thế trước cuộc cách mạng deep learning và đặc trưng bởi các hệ thống chuyên gia cùng suy luận dựa trên luật.
Benchmark tổng hợp: Một chương trình kiểm thử nhân tạo được thiết kế để đo lường các khía cạnh cụ thể của hiệu suất hệ thống, khác với các benchmark dựa trên ứng dụng và khối lượng công việc (workload) thực tế.
Dữ liệu tổng hợp: Dữ liệu được tạo ra một cách nhân tạo bằng thuật toán, mô phỏng hoặc các mô hình sinh để bổ sung cho các tập dữ liệu thực tế, nhằm giải quyết các hạn chế về tính sẵn có của dữ liệu hoặc lo ngại về quyền riêng tư.
Entropy hệ thống: Xu hướng các hệ thống machine learning suy giảm theo thời gian khi thế giới thay đổi (drift) hoặc khi các phụ thuộc ẩn tích lũy (nợ kỹ thuật), đòi hỏi duy trì năng lượng vận hành (ops) để giữ trật tự.
Hệ thống trên chip (SoC): Một mạch tích hợp chứa hầu hết hoặc tất cả các thành phần của một máy tính hoặc hệ thống điện tử, bao gồm CPU, GPU, bộ nhớ và các bộ xử lý chuyên dụng, trên một chip duy nhất. SoC thường được dùng trong các thiết bị di động và hệ thống nhúng để tiết kiệm không gian và công suất.
Đồng thiết kế hệ thống: Quá trình thiết kế phối hợp các thuật toán, phần mềm và phần cứng để cấu trúc mô hình và cách thức thực thi phù hợp với khả năng và các ràng buộc vật lý.
Tích hợp hệ thống: Là quá trình kết hợp các thành phần và hệ thống con khác nhau thành một hệ thống thống nhất, vận hành hiệu quả và tin cậy.
Tư duy hệ thống: Cách tiếp cận để hiểu các hệ thống phức tạp bằng cách xem xét các thành phần riêng lẻ tương tác và ảnh hưởng tới toàn bộ hệ thống ra sao. Điều này đặc biệt quan trọng trong ML, nơi dữ liệu, thuật toán, phần cứng và môi trường triển khai cần phối hợp nhịp nhàng.
Mảng systolic: Một kiến trúc phần cứng chuyên biệt giúp thực hiện hiệu quả các phép toán ma trận bằng cách luân chuyển dữ liệu qua một lưới các phần tử xử lý, từ đó giảm việc di chuyển dữ liệu và tiêu thụ năng lượng.

T

Độ trễ đuôi: Thời gian phản hồi ở các phân vị cao trong một hệ thống, thường được đo bằng độ trễ P95 hoặc P99. Nó quan trọng để mô tả các yêu cầu chậm dưới tải cao điểm, nhưng không đồng nghĩa với trường hợp xấu nhất tuyệt đối. Độ trễ đuôi bổ sung cho độ trễ trung vị và trung bình, chứ không thay thế chúng.
Benchmark suy luận tùy chỉnh: Các kiểm thử hiệu suất chuyên biệt, được thiết kế cho những môi trường triển khai hoặc trường hợp sử dụng cụ thể, có tính đến các ràng buộc và yêu cầu tối ưu hóa riêng.
tanh: Hàm activation hyperbolic tangent, ánh xạ đầu vào vào khoảng (-1, 1) và cho đầu ra có tâm bằng 0.
Nợ kỹ thuật: Chi phí bảo trì dài hạn tích lũy từ những quyết định thiết kế mang tính tạm thời trong quá trình phát triển. Điều này đặc biệt gây vấn đề trong các hệ thống ML do phụ thuộc vào dữ liệu và độ phức tạp của mô hình.
Đo từ xa: Quá trình tự động thu thập và truyền dữ liệu hiệu suất cùng các chỉ số từ các hệ thống phân tán, cho phép giám sát và phân tích từ xa.
tensor: Một mảng đa chiều dùng để biểu diễn dữ liệu trong mạng nơ-ron, là dạng tổng quát của đại lượng vô hướng (0D), vector (1D) và ma trận (2D) lên các chiều cao hơn.
Tensor Core: Một đơn vị ma trận chuyên dụng trên GPU, được thiết kế để tăng tốc các phép toán nhân-tích lũy với độ chính xác hỗn hợp trên các khối tensor.
Phân tách tensor: Mở rộng của phân rã ma trận sang các tensor bậc cao hơn, dùng để nén các lớp mạng nơ-ron bằng cách biểu diễn các tensor trọng số như sự kết hợp của các tensor nhỏ hơn với ít tham số hơn.
Song song hoá tensor: Là một chiến lược song song hoá mô hình, trong đó các phép toán tensor riêng lẻ (như nhân ma trận) được chia nhỏ và phân bổ trên nhiều thiết bị. Cách này giảm lượng bộ nhớ trên mỗi thiết bị và có thể giảm độ trễ ở các lớp lớn, khi phần thời gian tính toán tiết kiệm được lớn hơn chi phí giao tiếp bổ sung.
Bộ xử lý tensor (TPU): Là mạch tích hợp chuyên dụng (ASIC) tuỳ chỉnh của Google, được thiết kế riêng cho các khối lượng công việc (workload) machine learning. TPU được tối ưu hoá cho các phép toán ma trận và có kiến trúc mảng systolic.
TensorFlow: Là một framework machine learning toàn diện do Google phát triển. Nó cung cấp các công cụ cho toàn bộ pipeline ML, từ nghiên cứu đến sản xuất, nổi bật với cả chế độ thực thi tức thời (eager execution) và tính toán dựa trên đồ thị, cùng hệ sinh thái hỗ trợ phong phú.
TensorRT: Là thư viện tối ưu hoá suy luận của NVIDIA. Nó áp dụng các kỹ thuật như hợp nhất toán tử và giảm độ chính xác để tăng tốc suy luận deep learning trên phần cứng GPU.
Lượng tử hoá ba giá trị: Là một kỹ thuật lượng tử hoá cực đoan, giới hạn các trọng số ở ba giá trị (thường là -1, 0, +1). Kỹ thuật này mang lại khả năng nén đáng kể, đồng thời vẫn giữ được khả năng biểu diễn tốt hơn so với lượng tử hoá nhị phân.
Công suất thiết kế nhiệt (TDP): Là mức công suất và nhiệt lượng duy trì mà một thiết bị hoặc hệ thống làm mát được thiết kế để tản ra khi hoạt động dưới khối lượng công việc (workload) tối đa thông thường.
Điều tiết nhiệt: Là cơ chế bảo vệ trong các thiết bị di động và nhúng, giảm xung nhịp và hiệu năng của bộ xử lý để tránh quá nhiệt. Cơ chế này thường hạn chế hiệu năng duy trì của suy luận ML trên thiết bị.
Thông lượng: Là tốc độ một hệ thống xử lý dữ liệu hoặc hoàn thành các thao tác, thường được đo bằng số hoạt động mỗi giây và đặc biệt quan trọng khi huấn luyện các mô hình lớn.
Thời gian trên mỗi token đầu ra (TPOT): Là độ trễ trên mỗi token trong giai đoạn giải mã tự hồi quy sau token đầu tiên, phản ánh thông lượng giải mã và các giới hạn về băng thông bộ nhớ.
Thời gian đạt độ chính xác: Là thời gian thực tế cần để huấn luyện một mô hình đạt mức độ chính xác xác thực được chỉ định.
Thời gian đến token đầu tiên (TTFT): Là khoảng thời gian từ khi yêu cầu đến cho đến khi token đầu tiên được tạo ra trong quá trình phục vụ (serving) LLM dạng phát trực tuyến, bao gồm bước điền trước (prefill), lập lịch và độ trễ phản hồi ban đầu.
TinyML: Một lĩnh vực tập trung vào việc triển khai các mô hình machine learning trên các thiết bị nhúng cực kỳ hạn chế như vi điều khiển và cảm biến. Các thiết bị này hoạt động trong dải công suất từ milliwatt đến dưới watt và có những hạn chế nghiêm trọng về bộ nhớ, công suất cũng như khả năng tính toán. TinyML còn được gọi là tiny machine learning.
TOPS: Viết tắt của Tera Operations Per Second (Tera phép tính mỗi giây), là một đơn vị đo tốc độ hoạt động, cho biết một hệ thống có thể thực hiện bao nhiêu nghìn tỷ phép toán trong một giây. Chỉ số này thường được báo cáo cho các khối lượng công việc (workload) số nguyên có độ chính xác thấp, nên cần nêu rõ loại phép toán và độ chính xác.
tổng chi phí sở hữu (TCO): Một chỉ số tài chính toàn diện cho các hệ thống machine learning bao gồm chi phí huấn luyện, suy luận và vận hành trong toàn bộ vòng đời của hệ thống.
phân tách huấn luyện-phục vụ: Một mô hình kiến trúc lai trong đó quá trình huấn luyện mô hình chuyên sâu về tính toán diễn ra trên hạ tầng đám mây mạnh mẽ, trong khi mô hình đã huấn luyện được tối ưu hóa và triển khai để suy luận trên các thiết bị edge hoặc di động bị hạn chế tài nguyên.
huấn luyện: Quá trình điều chỉnh các tham số của mạng nơ-ron bằng cách sử dụng dữ liệu hoặc kinh nghiệm tương tác và một quy trình tối ưu hóa để giảm thiểu hàm mất mát hoặc tối đa hóa phần thưởng.
độ lệch huấn luyện-phục vụ: Sự không khớp giữa cách các đặc trưng hoặc dữ liệu được tính toán trong quá trình huấn luyện mô hình so với phục vụ (serving) trong môi trường sản xuất, điều này có thể làm giảm hiệu suất mô hình. Các nguyên nhân phổ biến bao gồm các pipeline tiền xử lý khác nhau, thời điểm tính toán đặc trưng hoặc nguồn dữ liệu khác nhau giữa huấn luyện và suy luận.
học chuyển giao: Một kỹ thuật machine learning sử dụng kiến thức thu được từ các mô hình đã được huấn luyện trước trên các tác vụ liên quan, cho phép huấn luyện nhanh hơn và hiệu suất tốt hơn trên các tác vụ mới với dữ liệu hạn chế bằng cách tái sử dụng các đặc trưng và biểu diễn đã học.
transformer: Một kiến trúc mạng nơ-ron được xây dựng từ cơ chế attention, các khối truyền thẳng, kết nối dư và chuẩn hóa; thiết kế ban đầu loại bỏ tính đệ quy và tích chập, mặc dù các biến thể sau này có thể tích hợp chúng.
tính tương biến tịnh tiến: Một thuộc tính trong đó việc dịch chuyển đầu vào gây ra một dịch chuyển tương ứng trong bản đồ đặc trưng đầu ra, khác biệt với tính bất biến (invariance) vốn bỏ qua vị trí.
tính bất biến tịnh tiến: Thuộc tính mà đầu ra của mô hình không đổi khi đầu vào bị dịch chuyển. Tích chập là tương biến theo dịch chuyển; gộp (pooling) hoặc tổng hợp toàn cục có thể tạo ra tính bất biến xấp xỉ.
phân tách Tucker: Một phương pháp phân tách tensor tổng quát hoá phân rã giá trị suy biến (singular value decomposition) cho các tensor bậc cao, sử dụng một tensor lõi và các ma trận nhân tố; thường dùng để nén các lớp tích chập trong mạng nơ-ron.
khoảng trắng tần số TV: Các tần số phát sóng chưa được sử dụng có thể tái dùng cho kết nối internet. Ví dụ, các hệ thống như FarmBeats dùng chúng để mở rộng truy cập mạng cho cảm biến nông nghiệp và thiết bị IoT ở vùng xa.

U

lượng tử hoá đều: Cách lượng tử hoá chia dải giá trị thành các khoảng cách đều nhau. Dễ triển khai nhưng có thể không tối ưu khi phân bố giá trị không đều.
định lý xấp xỉ phổ quát: Kết quả lý thuyết cho thấy mạng nơ-ron với độ rộng đủ lớn và một hàm activation phi tuyến thích hợp có thể xấp xỉ bất kỳ hàm liên tục nào trên một miền compact với độ chính xác tuỳ ý.
hiệu quả phi lý của dữ liệu: Quan sát thực nghiệm rằng với nhiều bài toán, thêm dữ liệu thường hiệu quả hơn cải tiến thuật toán, từ đó thúc đẩy cách tiếp cận AI lấy dữ liệu làm trọng tâm.
tỉa (pruning) không cấu trúc: Phương pháp tỉa loại bỏ từng trọng số nhưng vẫn giữ nguyên kiến trúc mạng, tạo ra các ma trận trọng số thưa và cần phần cứng chuyên biệt để thu được lợi ích tính toán.
độ thưa thớt không cấu trúc: Dạng thưa của mô hình khi các trọng số riêng lẻ được đặt về 0 mà không theo mẫu cụ thể, tạo ra các mẫu thưa không đều và cần phần cứng chuyên biệt để đạt lợi ích tính toán.

V

các vấn đề xác thực: Những vấn đề phát hiện trong quá trình kiểm thử mô hình, cho thấy hiệu năng kém, overfitting, chất lượng dữ liệu kém, hoặc các lỗi khác cần được khắc phục trước khi triển khai.
vấn đề gradient biến mất: Vấn đề trong các mạng nơ-ron sâu khi gradient giảm dần theo cấp số nhân trong quá trình lan truyền ngược qua các lớp, khiến các lớp đầu khó học hiệu quả.
các phép toán vector: Các phép toán xử lý đồng thời nhiều phần tử dữ liệu, cho phép thực thi song song hiệu quả các biến đổi theo phần tử trong mạng nơ-ron.
khoảng cách xác minh: Sự lệch giữa độ bao phủ hữu hạn của tập kiểm thử và không gian đầu vào lớn hơn nhiều mà một hệ thống machine learning có thể gặp phải khi vận hành ngoài thực tế.
quản lý phiên bản: Thực hành theo dõi các thay đổi của tập dữ liệu, mô hình và pipeline theo thời gian, giúp hệ thống machine learning có khả năng tái hiện kết quả, quay về phiên bản trước và cung cấp truy vết kiểm toán.
vòng tuần hoàn tích cực: Một quá trình tự tăng cường trong deep learning, nơi những cải tiến về dữ liệu sẵn có, thuật toán và khả năng tính toán sẽ thúc đẩy các tiến bộ hơn nữa trong các lĩnh vực còn lại, từ đó đẩy nhanh sự phát triển chung.
nút thắt cổ chai Von Neumann: Giới hạn về hiệu năng do bus dùng chung giữa bộ xử lý và bộ nhớ trong các kiến trúc máy tính truyền thống gây ra, khiến việc di chuyển dữ liệu trở nên tốn kém hơn so với việc tính toán.

W

máy tính quy mô nhà kho (WSC): Một trung tâm dữ liệu được vận hành như một máy tính lập trình duy nhất, coi tài nguyên tính toán, lưu trữ, mạng và cả các sự cố là tài nguyên ở cấp độ hệ thống.
warp: Một nhóm gồm 32 luồng trên GPU của NVIDIA, trong đó các luồng đang hoạt động cùng thực thi một lệnh tại một thời điểm; đây là đơn vị cơ bản trong việc lập lịch luồng trên các GPU của NVIDIA.
Waymo: Một công ty con của Alphabet Inc., là ví dụ hàng đầu về việc triển khai các hệ thống machine learning trong công nghệ xe tự lái. Nó minh họa cách các hệ thống machine learning có thể mở rộng từ hệ thống nhúng đến hạ tầng đám mây trong các môi trường đòi hỏi an toàn cao.
giám sát yếu: Một phương pháp sử dụng các nhãn có chất lượng thấp hơn nhưng được tạo ra hiệu quả hơn, thông qua các phương pháp heuristic, giám sát từ xa hoặc lập trình, thay vì phải gán nhãn thủ công bởi chuyên gia.
cào dữ liệu web (web scraping): Một kỹ thuật tự động để trích xuất dữ liệu từ các trang web nhằm xây dựng các tập dữ liệu tùy chỉnh. Kỹ thuật này đòi hỏi phải cân nhắc kỹ các ràng buộc pháp lý, đạo đức và kỹ thuật.
trọng số: Một tham số có thể học, dùng để xác định độ mạnh của kết nối giữa các nơ-ron trong các lớp khác nhau. Trọng số được điều chỉnh trong quá trình huấn luyện nhằm tối thiểu hóa hàm mất mát.
ma trận trọng số: Một tập hợp có tổ chức các trọng số, dùng để kết nối một lớp với lớp khác trong một mạng nơ-ron. Nó cho phép tính toán hiệu quả thông qua các phép toán ma trận.
chia sẻ trọng số: Việc sử dụng cùng các tham số trên các vị trí không gian khác nhau, ví dụ như trong mạng tích chập. Điều này giúp giảm số lượng tham số mà vẫn duy trì được khả năng phát hiện mẫu.
Whetstone: Một benchmark ra đời sớm do Curnow và Wichmann phát triển tại Phòng thí nghiệm Vật lý Quốc gia Vương quốc Anh. Lần đầu được công bố dưới dạng chương trình ALGOL 60 vào năm 1972, sau đó là phiên bản FORTRAN chuẩn mực vào năm 1976. Whetstone đo hiệu năng các phép toán dấu phẩy động bằng đơn vị MWIPS (millions of Whetstone instructions per second) và trở thành một trong những bài kiểm tra hiệu năng chuẩn hóa đầu tiên được dùng rộng rãi.
điều phối quy trình làm việc: Tự động phối hợp và quản lý các chuỗi pipeline ML phức tạp, bảo đảm đúng thứ tự thực thi, quản lý các phụ thuộc và xử lý lỗi trên các hệ thống phân tán.

X

XLA: Viết tắt của Accelerated Linear Algebra (Đại số tuyến tính tăng tốc). Đây là một trình biên dịch chuyên biệt cho các phép toán đại số tuyến tính, tối ưu hóa các tính toán của TensorFlow và JAX bằng cách tạo ra mã hiệu quả cho nhiều nền tảng phần cứng khác nhau, bao gồm CPU, GPU và TPU.