Lời nói đầu

David A. Patterson
Giáo sư danh dự Khoa học Máy tính Pardee
Đại học California, Berkeley
Kỹ sư Ưu tú, Google
Người đoạt Giải thưởng A.M. Turing của ACM
Berkeley, California

Tôi đã dành cả sự nghiệp của mình để nghiên cứu và cải tiến những nền tảng cốt lõi mà máy tính vận hành dựa trên đó – từ các kiến trúc tập lệnh định nghĩa bộ xử lý cho đến các hệ thống lưu trữ dữ liệu. Tôi đã tận mắt chứng kiến rằng những bước tiến vượt bậc hiếm khi đến từ một ý tưởng xuất sắc đơn lẻ, mà thường là sự tích hợp hài hòa nhiều ý tưởng thành một hệ thống mạnh mẽ, hiệu quả và đáng tin cậy.

Ngày nay, chúng ta đang đứng trước một thời điểm then chốt khác. machine learning (ML) đã vượt khỏi phạm vi tò mò khoa học để trở thành một lực tác động mạnh mẽ, định hình lại các ngành công nghiệp, thúc đẩy đổi mới và chuyển đổi đời sống hàng ngày của chúng ta. Sức mạnh trí tuệ của các thuật toán, những cải thiện về độ chính xác, và những khả năng tưởng như phép màu mà chúng mở ra đã hoàn toàn chinh phục trí tưởng tượng của thế giới.

Một điều đáng lo là phần lớn những tiến bộ này được tạo ra bởi một cộng đồng mà, dù không phải lỗi của họ, chưa từng được dạy cách tư duy theo hướng hệ thống về những gì mình đang xây dựng. Có những kỹ sư có thể gọi model.fit() nhưng không giải thích được vì sao quá trình huấn luyện lại chậm. Có những nhà nghiên cứu tinh chỉnh siêu tham số mà không hiểu các ràng buộc về băng thông bộ nhớ khiến một số lựa chọn trở nên không thực tế. Có những người triển khai mô hình vào môi trường sản xuất mà không có một framework để lập luận về độ trễ, thông lượng hoặc các chế độ lỗi.

Một thuật toán xuất sắc, nếu không có một hệ thống được thiết kế tốt để hỗ trợ, giống như một động cơ mạnh mẽ không có khung gầm và phanh. Nó sẽ không đưa bạn đi xa, và chắc chắn cũng không đưa bạn đến nơi một cách đáng tin cậy.

Khoảng cách này không phải là thiếu tài năng. Đó là thiếu chương trình giảng dạy. Lĩnh vực này đơn giản là chưa có những cuốn sách giáo khoa xứng đáng. Cuốn sách này, Giới thiệu về Hệ thống machine learning, ra đời đúng lúc để soi sáng khía cạnh quan trọng – và thường bị bỏ qua – của cuộc cách mạng ML.

Vì sao tư duy hệ thống quan trọng

Sự nghiệp của tôi dựa vào sức mạnh của tư duy hệ thống. Hãy xác định các nút thắt, hiểu cách các thành phần tương tác, và thiết kế để đạt hiệu suất, độ tin cậy, hiệu quả chi phí và dễ dùng trên toàn bộ hệ thống. Bạn không thể đi đến kết luận chỉ từ các nguyên lý đầu tiên. Bạn phải nghĩ về hệ thống.

Các hệ thống ML đòi hỏi kỷ luật y như vậy. Một mạng nơ-ron không phải là một khái niệm toán học trừu tượng thoát ly khỏi các ràng buộc vật lý. Đó là một phép tính phải chạy trên silicon với băng thông bộ nhớ hữu hạn, công suất hữu hạn và khả năng truyền thông hữu hạn. Cường độ số học, Mô hình Roofline và tác động của hệ thống phân cấp bộ nhớ không phải là những chủ đề nâng cao để học sau khi nắm vững căn bản. Chúng chính là căn bản.

Vì sao các hệ thống ML xứng đáng được trình bày nghiêm túc trong sách giáo khoa

Mục đích của sách giáo khoa không chỉ là liệt kê tuyến đầu hiện tại. Nó còn cung cấp khung khái niệm giúp sinh viên hiểu được tuyến đầu ấy và tự mình đẩy nó tiến xa. Các kiến trúc mạng nơ-ron được đề cập trong những trang này sẽ tiếp tục tiến hoá. Các bộ tăng tốc phần cứng được mô tả sẽ bị thay thế. Nhưng một số nguyên tắc cơ bản sẽ không đổi. Chúng ta vẫn sẽ có hệ thống phân cấp bộ nhớ, và cường độ số học vẫn là một thước đo then chốt. Các nguyên lý về pipelining, về đánh đổi giữa độ trễ và thông lượng, về lượng tử hoá và độ chính xác phản ánh những thực tế vật lý và toán học không lỗi thời. Ai thực sự hiểu chúng sẽ có thể suy luận về bất kỳ hệ thống mới nào mà lĩnh vực này tạo ra vào năm sau hay mười năm nữa.

Tôi cũng ấn tượng với phạm vi mà cuốn sách này hướng tới. Không chỉ dừng ở việc giải thích cách huấn luyện mô hình, ta còn phải bàn về kỹ thuật dữ liệu, tối ưu hoá mô hình, bộ tăng tốc phần cứng, triển khai, benchmark, AI có trách nhiệm và tính bền vững. Đây không phải là những chủ đề rời rạc ghép lại cho đủ. Chúng là những khía cạnh gắn bó của một ngành kỹ thuật thống nhất. Một quyết định ở lớp dữ liệu sẽ kéo theo hệ quả cho hành vi của mô hình, từ đó ảnh hưởng đến độ trễ suy luận, kéo theo chi phí triển khai, và cuối cùng quyết định những cộng đồng nào có hoặc không thể tiếp cận hệ thống tạo ra. Cuốn sách đã đúng khi coi sự tích hợp này là một mối quan tâm hàng đầu.

Tôi đặc biệt vui khi thấy phương pháp định lượng xuyên suốt từng chương. Mọi khẳng định đều có đo đạc làm bằng chứng. Các đánh đổi được lượng hóa bằng con số. Sinh viên được dạy cách ước tính, đo lường và kiểm chứng, thay vì dựa vào cảm tính. Sự khác biệt giữa kỹ sư và người nghiệp dư chính là năng lực lý luận chặt chẽ, dựa trên đo lường.

Vì sao truy cập mở quan trọng với thế hệ tiếp theo

Tôi hoan nghênh quyết định phát hành miễn phí nguồn tài liệu vô giá này.

Khi tôi cùng John Hennessy đồng tác giả Computer Architecture: A Quantitative Approach, chúng tôi bàn cách làm cho tài liệu dễ tiếp cận nhất có thể. Chúng tôi vận động nhà xuất bản giữ giá thấp, thậm chí phát hành một ấn bản sinh viên quốc tế giá rẻ cho thị trường ngoài Bắc Mỹ. Những băn khoăn ấy nay càng cấp bách hơn khi ML đã trở thành hạ tầng — có tầm ảnh hưởng với thế giới hiện đại như lưới điện hay internet.

Quyết định phát hành cuốn sách này như một tài nguyên giáo dục miễn phí không phải là thỏa hiệp. Đó là tuyên bố về giá trị. Các hệ thống ML đang được triển khai ở mọi lĩnh vực, mọi nền kinh tế, trên khắp các châu lục. Các kỹ sư xây dựng và vận hành chúng sẽ đến từ khắp nơi. Nếu giáo dục nền tảng cần thiết để làm công việc này một cách có trách nhiệm chỉ dành cho sinh viên ở các cơ sở dồi dào nguồn lực, chúng ta sẽ góp phần tạo ra một khoảng cách chuyên môn phản ánh đúng những lo ngại của xã hội: ai hưởng lợi từ AI và ai gánh chi phí của nó.

Điều làm tôi ấn tượng hơn là dự án này không dừng ở truy cập mở cho một văn bản tĩnh. Hệ sinh thái đi kèm — các phòng thí nghiệm tương tác, một framework xây từ đầu trên TinyTorch, bộ kit triển khai phần cứng, tài liệu cho giảng viên, mạng lưới toàn cầu các trường đại học áp dụng — phản ánh một châm ngôn giáo dục quen thuộc: “Tôi nghe và tôi quên. Tôi thấy và tôi nhớ. Tôi làm và tôi hiểu.”

Mô hình mã nguồn mở cũng giúp chương trình học tốt hơn. Lỗi được sửa. Ví dụ được trau chuốt. Các chương mới ra đời để đáp ứng những gì lĩnh vực này thực sự cần. Như chúng tôi rút ra từ Computer Architecture: A Quantitative Approach, một cộng đồng người đóng góp hình thành quanh một cuốn sách có thể mang lại một dạng bảo đảm chất lượng mà không nhóm tác giả đơn lẻ nào, dù chuyên môn đến đâu, có thể sánh kịp.

Lời kết

Lĩnh vực kiến trúc máy tính có một truyền thống mà tôi rất tự hào: chúng tôi xây dựng, đo lường một cách trung thực, chia sẻ điều mình học được và điều chỉnh quan điểm khi số liệu yêu cầu. Chúng tôi không lấy sự phức tạp của hệ thống làm cái cớ để né tránh trách nhiệm về việc chúng có thực sự hoạt động hay không. Chúng tôi không đánh đồng cái mới với tiến bộ. Chúng tôi tranh luận nghiêm túc về điều gì quan trọng và vì sao.

Hy vọng kỹ thuật hệ thống cho machine learning sẽ nối tiếp truyền thống này. Lĩnh vực này cần thói quen tư duy khi xem hệ thống là trọng tâm: nghĩ về các tương tác, đo lường ở đúng mức độ trừu tượng, trung thực về các đánh đổi, và tự chịu trách nhiệm trước hiệu suất ngoài đời thực thay vì dựa vào những giai thoại về benchmark. Cuốn sách này thấm nhuần những thói quen đó.

Introduction to Machine Learning Systems không chỉ là một cuốn sách giáo khoa; đó là lời kêu gọi rõ ràng về tư duy hệ thống trong thời đại AI, là hướng dẫn để xây dựng các ứng dụng ML vững chắc, và là minh chứng cho công suất của giáo dục mở.

Chúng ta đang ở một thời khắc phi thường. Trong suốt sự nghiệp của tôi, cứ mỗi thập kỷ lại có một bước đột phá lớn: bộ vi xử lý vào những năm 1970, máy tính cá nhân vào những năm 1980, Internet vào những năm 1990, điện thoại thông minh vào những năm 2000, và AI vào những năm 2010. Bốn phát minh đầu tiên đã thay đổi kinh doanh và xã hội, nhưng AI nhiều khả năng sẽ có tác động lớn nhất trong số đó.

Các hệ thống đang được xây dựng ngày nay sẽ định hình cách trí tuệ được triển khai, ai được hưởng lợi, và cái giá phải trả — bằng tiền, năng lượng, và dấu chân carbon. Chúng ta cần những kỹ sư xây dựng các hệ thống đó sở hữu kỹ năng hệ thống ở mức tốt nhất có thể.

Cuốn sách này là một bước tiến quan trọng để bất kỳ ai cũng có thể học được những kỹ năng đó.

David A. Patterson