Trang này chứa các thuật ngữ trong bảng chú giải của Google Cloud. Để xem tất cả các thuật ngữ trong bảng chú giải, hãy nhấp vào đây.
A
khối tăng tốc
Một danh mục các thành phần phần cứng chuyên dụng được thiết kế để thực hiện các phép tính chính cần thiết cho các thuật toán học sâu.
Các chip tăng tốc (hoặc chỉ là bộ tăng tốc) có thể tăng đáng kể tốc độ và hiệu quả của các tác vụ huấn luyện và suy luận so với CPU đa năng. Chúng là lựa chọn lý tưởng để huấn luyện mạng nơ-ron và các tác vụ tương tự cần nhiều sức mạnh tính toán.
Sau đây là một số ví dụ về chip tăng tốc:
- Bộ xử lý Tensor (TPU) của Google với phần cứng chuyên dụng để học sâu.
- GPU của NVIDIA, mặc dù ban đầu được thiết kế để xử lý đồ hoạ, nhưng được thiết kế để cho phép xử lý song song, có thể tăng đáng kể tốc độ xử lý.
B
suy luận theo lô
Quy trình suy luận dự đoán trên nhiều ví dụ chưa được gắn nhãn được chia thành các tập hợp con nhỏ hơn ("lô").
Suy luận theo lô có thể tận dụng các tính năng song song hoá của các chip tăng tốc. Tức là nhiều bộ tăng tốc có thể đồng thời suy luận dự đoán trên nhiều lô ví dụ chưa được gắn nhãn, giúp tăng đáng kể số lượng suy luận mỗi giây.
Hãy xem bài viết Hệ thống học máy trong sản xuất: Suy luận tĩnh so với suy luận động trong Khoá học cấp tốc về học máy để biết thêm thông tin.
C
Cloud TPU
Một bộ tăng tốc phần cứng chuyên dụng được thiết kế để tăng tốc các tải công việc học máy trên Google Cloud.
D
thiết bị
Một thuật ngữ có nhiều nghĩa với 2 định nghĩa có thể có như sau:
- Một danh mục phần cứng có thể chạy một phiên TensorFlow, bao gồm CPU, GPU và TPU.
- Khi huấn luyện một mô hình học máy trên các chip tăng tốc (GPU hoặc TPU), phần của hệ thống thực sự thao tác với các tensor và các mục nhúng. Thiết bị chạy trên các chip tăng tốc. Ngược lại, máy chủ thường chạy trên CPU.
Cao
người tổ chức
Khi huấn luyện một mô hình học máy trên các chip tăng tốc (GPU hoặc TPU), phần của hệ thống sẽ kiểm soát cả hai điều sau:
- Luồng tổng thể của mã.
- Việc trích xuất và chuyển đổi quy trình đầu vào.
Thông thường, máy chủ lưu trữ chạy trên CPU, chứ không phải trên chip tăng tốc; thiết bị thao tác các tensor trên chip tăng tốc.
M
lưới
Trong lập trình song song ML, đây là một thuật ngữ liên quan đến việc chỉ định dữ liệu và mô hình cho các chip TPU, đồng thời xác định cách các giá trị này sẽ được phân đoạn hoặc sao chép.
Mesh là một thuật ngữ có nhiều nghĩa, có thể là một trong hai nghĩa sau:
- Bố cục thực tế của các chip TPU.
- Một cấu trúc logic trừu tượng để lập bản đồ dữ liệu và mô hình cho các chip TPU.
Trong cả hai trường hợp, một lưới được chỉ định là một hình dạng.
S
phân đoạn
Một phép chia logic của tập huấn luyện hoặc mô hình. Thông thường, một số quy trình sẽ tạo các phân đoạn bằng cách chia ví dụ hoặc tham số thành các khối có kích thước bằng nhau (thường là như vậy). Sau đó, mỗi phân đoạn sẽ được chỉ định cho một máy khác.
Phân đoạn một mô hình được gọi là tính song song của mô hình; phân đoạn dữ liệu được gọi là tính song song của dữ liệu.
T
Tensor Processing Unit (TPU)
Một mạch tích hợp dành riêng cho ứng dụng (ASIC) giúp tối ưu hoá hiệu suất của khối lượng công việc học máy. Các ASIC này được triển khai dưới dạng nhiều chip TPU trên một thiết bị TPU.
TPU
Viết tắt của Tensor Processing Unit (Đơn vị xử lý tensor).
Chip TPU
Một bộ tăng tốc đại số tuyến tính có thể lập trình với bộ nhớ băng thông cao trên chip được tối ưu hoá cho khối lượng công việc học máy. Nhiều chip TPU được triển khai trên một thiết bị TPU.
Thiết bị TPU
Một bảng mạch in (PCB) có nhiều chip TPU, giao diện mạng có băng thông cao và phần cứng làm mát hệ thống.
Nút TPU
Một tài nguyên TPU trên Google Cloud có một loại TPU cụ thể. Nút TPU kết nối với Mạng VPC của bạn từ mạng VPC ngang hàng. Nút TPU là một tài nguyên được xác định trong API Cloud TPU.
Nhóm TPU
Một cấu hình cụ thể của thiết bị TPU trong một trung tâm dữ liệu của Google. Tất cả các thiết bị trong một Nhóm TPU đều được kết nối với nhau thông qua một mạng chuyên dụng tốc độ cao. Nhóm TPU là cấu hình lớn nhất của thiết bị TPU có sẵn cho một phiên bản TPU cụ thể.
Tài nguyên TPU
Một thực thể TPU trên Google Cloud mà bạn tạo, quản lý hoặc sử dụng. Ví dụ: nút TPU và các loại TPU là các tài nguyên TPU.
Lát TPU
Lát TPU là một phần nhỏ của thiết bị TPU trong một TPU Pod. Tất cả các thiết bị trong một lát TPU đều được kết nối với nhau qua một mạng tốc độ cao chuyên dụng.
Loại TPU
Một cấu hình của một hoặc nhiều thiết bị TPU có phiên bản phần cứng TPU cụ thể. Bạn chọn một loại TPU khi tạo một nút TPU trên Google Cloud. Ví dụ: loại v2-8TPU là một thiết bị TPU phiên bản 2 duy nhất có 8 lõi. Một loại TPU v3-2048 có 256 thiết bị TPU phiên bản 3 được kết nối mạng và tổng cộng 2048 lõi. Các loại TPU là một tài nguyên được xác định trong API Cloud TPU.
Trình chạy TPU
Một quy trình chạy trên máy chủ và thực thi các chương trình học máy trên thiết bị TPU.