Trang này chứa các thuật ngữ trong từ điển của Google Cloud. Để xem tất cả các thuật ngữ trong từ điển, hãy nhấp vào đây.
A
khối tăng tốc
Một danh mục các thành phần phần cứng chuyên biệt được thiết kế để thực hiện các phép tính chính cần thiết cho thuật toán học sâu.
Các khối tăng tốc (viết tắt là bộ tăng tốc) có thể tăng đáng kể tốc độ và hiệu quả của các tác vụ huấn luyện và suy luận so với CPU đa năng. Đây là lựa chọn lý tưởng để huấn luyện mạng nơron và các tác vụ có tính toán chuyên sâu tương tự.
Sau đây là một số ví dụ về chip tăng tốc:
- Bộ xử lý tensor (TPU) của Google có phần cứng chuyên dụng cho việc học sâu.
- Các GPU của NVIDIA, mặc dù ban đầu được thiết kế để xử lý đồ hoạ, nhưng được thiết kế để cho phép xử lý song song, nhờ đó có thể tăng đáng kể tốc độ xử lý.
B
suy luận hàng loạt
Quá trình xác định các dự đoán trên nhiều ví dụ chưa được gắn nhãn được chia thành các tập hợp con nhỏ hơn ("lô").
Suy luận hàng loạt có thể tận dụng các tính năng song song của chip tăng tốc. Tức là nhiều trình tăng tốc có thể đồng thời suy luận các dự đoán trên nhiều lô ví dụ chưa được gắn nhãn, làm tăng đáng kể số lượng suy luận mỗi giây.
Hãy xem phần Hệ thống ML thương mại: Suy luận tĩnh so với động trong khoá học cấp tốc về học máy để biết thêm thông tin.
C
Cloud TPU
Một trình tăng tốc phần cứng chuyên biệt được thiết kế để tăng tốc khối lượng công việc của máy học trên Google Cloud.
D
thiết bị
Một thuật ngữ nạp chồng có thể có hai định nghĩa sau:
- Một danh mục phần cứng có thể chạy phiên TensorFlow, bao gồm CPU, GPU và TPU.
- Khi huấn luyện mô hình học máy trên chip tăng tốc (GPU hoặc TPU), phần hệ thống thực sự thao tác với tensor và nội dung nhúng. Thiết bị chạy trên các chip tăng tốc. Ngược lại, máy chủ thường chạy trên CPU.
Cao
người tổ chức
Khi huấn luyện mô hình học máy trên chip tăng tốc (GPU hoặc TPU), phần hệ thống sẽ kiểm soát cả hai yếu tố sau:
- Luồng tổng thể của mã.
- Quá trình trích xuất và chuyển đổi quy trình đầu vào.
Máy chủ lưu trữ thường chạy trên CPU chứ không phải trên chip tăng tốc; thiết bị thao tác với tensor trên chip tăng tốc.
M
lưới
Trong lập trình song song cho học máy, một thuật ngữ liên quan đến việc chỉ định dữ liệu và mô hình cho các khối TPU, đồng thời xác định cách các giá trị này sẽ được phân đoạn hoặc sao chép.
Lưới là một thuật ngữ nạp chồng có thể có nghĩa là một trong những nội dung sau:
- Bố cục thực của các khối TPU.
- Một cấu trúc logic trừu tượng để liên kết dữ liệu và mô hình với chip TPU.
Trong cả hai trường hợp, lưới được chỉ định là một hình dạng.
S
mảnh
Một phần hợp lý của tập huấn luyện hoặc mô hình. Thông thường, một số quy trình tạo phân mảnh bằng cách chia ví dụ hoặc tham số thành các phần có kích thước bằng nhau (thường là). Sau đó, mỗi phân mảnh sẽ được chỉ định cho một máy khác nhau.
Việc phân đoạn mô hình được gọi là song song mô hình; còn việc phân đoạn dữ liệu được gọi là song song dữ liệu.
T
Bộ xử lý tensor (TPU)
Một mạch tích hợp (ASIC) dành riêng cho ứng dụng giúp tối ưu hoá hiệu suất của khối lượng công việc học máy. Các ASIC này được triển khai dưới dạng nhiều chip TPU trên một thiết bị TPU.
TPU
Viết tắt của Bộ xử lý tensor.
Khối TPU
Một bộ tăng tốc đại số tuyến tính có thể lập trình với bộ nhớ băng thông cao trên chip được tối ưu hoá cho khối lượng công việc học máy. Nhiều khối TPU được triển khai trên một thiết bị TPU.
Thiết bị TPU
Một bảng mạch in (PCB) có nhiều chip TPU, giao diện mạng băng thông cao và phần cứng làm mát hệ thống.
TPU chính
Quy trình điều phối trung tâm chạy trên máy chủ gửi và nhận dữ liệu, kết quả, chương trình, hiệu suất và thông tin về tình trạng hệ thống cho worker TPU. Máy chủ TPU cũng quản lý việc thiết lập và tắt thiết bị TPU.
Nút TPU
Tài nguyên TPU trên Google Cloud có một loại TPU cụ thể. Nút TPU kết nối với Mạng VPC của bạn từ một mạng VPC ngang hàng. Nút TPU là một tài nguyên được xác định trong API Cloud TPU.
Viên TPU
Cấu hình cụ thể của thiết bị TPU trong trung tâm dữ liệu của Google. Tất cả các thiết bị trong một Vùng chứa TPU đều kết nối với nhau qua một mạng tốc độ cao chuyên dụng. Vùng chứa TPU là cấu hình lớn nhất của thiết bị TPU có sẵn cho một phiên bản TPU cụ thể.
Tài nguyên TPU
Một thực thể TPU trên Google Cloud mà bạn tạo, quản lý hoặc sử dụng. Ví dụ: các nút TPU và các loại TPU là tài nguyên TPU.
Lát TPU
Lát cắt TPU là một phần nhỏ của thiết bị TPU trong một Vùng chứa TPU. Tất cả các thiết bị trong một lát cắt TPU đều được kết nối với nhau qua một mạng tốc độ cao chuyên dụng.
Loại TPU
Cấu hình của một hoặc nhiều thiết bị TPU với một phiên bản phần cứng TPU cụ thể. Bạn chọn một loại TPU khi tạo nút TPU trên Google Cloud. Ví dụ: loại TPU v2-8 là một thiết bị TPU v2 đơn có 8 lõi. Loại TPU v3-2048 có 256 thiết bị TPU v3 nối mạng và tổng cộng 2048 lõi. Loại TPU là một tài nguyên được xác định trong API Cloud TPU.
Worker TPU
Một quy trình chạy trên máy chủ và thực thi các chương trình học máy trên thiết bị TPU.