이 페이지에는 Google Cloud 용어집 용어가 포함되어 있습니다. 모든 용어집 용어를 보려면 여기를 클릭하세요.
A
가속기 칩
딥 러닝 알고리즘에 필요한 주요 계산을 실행하도록 설계된 특수 하드웨어 구성요소 카테고리입니다.
가속기 칩 (또는 간단히 가속기)은 범용 CPU에 비해 학습 및 추론 작업의 속도와 효율성을 크게 향상시킬 수 있습니다. 신경망 및 컴퓨팅 집약적인 유사 작업을 학습시키는 데 이상적입니다.
가속기 칩의 예는 다음과 같습니다.
- 딥 러닝 전용 하드웨어를 갖춘 Google의 Tensor Processing Unit (TPU)
- NVIDIA의 GPU는 처음에 그래픽 처리용으로 설계되었지만 병렬 처리가 가능해 처리 속도를 크게 높일 수 있습니다.
B
일괄 추론
라벨이 없는 여러 예에서 더 작은 하위 집합 ('배치')으로 나눈 여러 개의 예측을 추론하는 프로세스입니다.
일괄 추론은 가속기 칩의 동시 로드 기능을 활용할 수 있습니다. 즉, 여러 액셀러레이터가 라벨이 지정되지 않은 예의 서로 다른 배치에서 예측을 동시에 추론할 수 있어 초당 추론 횟수가 급격히 증가합니다.
C
Cloud TPU
Google Cloud에서 머신러닝 워크로드의 속도를 높이도록 설계된 특수 하드웨어 가속기입니다
D
기기
다음과 같은 두 가지 정의가 있는 중복으로 정의된 용어입니다.
- CPU, GPU, TPU 등 TensorFlow 세션을 실행할 수 있는 하드웨어 카테고리입니다.
- 가속기 칩(GPU 또는 TPU)에서 ML 모델을 학습시킬 때, 이는 시스템에서 텐서와 임베딩을 실제로 조작하는 부분입니다. 기기가 가속기 칩에서 실행됩니다. 반면에 호스트는 일반적으로 CPU에서 실행됩니다.
H
호스트
가속기 칩(GPU 또는 TPU)에서 ML 모델을 학습시킬 때 시스템에서 다음 두 가지를 모두 제어하는 부분입니다.
- 코드의 전체 흐름
- 입력 파이프라인의 추출 및 변환
호스트는 일반적으로 가속기 칩이 아닌 CPU에서 실행됩니다. 기기는 가속기 칩의 텐서를 조작합니다.
월
메시
ML 병렬 프로그래밍에서 데이터와 모델을 TPU 칩에 할당하고 이러한 값의 샤딩 또는 복제 방법을 정의하는 것과 관련된 용어입니다.
메시는 오버로드된 용어로, 다음 중 하나를 의미할 수 있습니다.
- TPU 칩의 실제 레이아웃
- 데이터와 모델을 TPU 칩에 매핑하기 위한 추상 논리 구조입니다.
두 경우 모두 메시는 도형으로 지정됩니다.
S
샤드
학습 세트 또는 모델의 논리적 분할입니다. 일반적으로 일부 프로세스는 예시 또는 매개변수를 일반적으로 동일한 크기의 청크로 나누어 샤드를 만듭니다. 그런 다음 각 샤드는 다른 머신에 할당됩니다.
모델을 샤딩하는 것을 모델 동시 로드라고 하고, 데이터 샤딩을 데이터 동시 로드라고 합니다.
T
Tensor Processing Unit(TPU)
머신러닝 워크로드의 성능을 최적화하는 ASIC (Application-Specific Integrated Circuit)입니다. 이러한 ASIC는 TPU 기기에 여러 TPU 칩으로 배포됩니다.
TPU
Tensor Processing Unit의 약어입니다.
TPU 칩
머신러닝 워크로드에 최적화된 온칩 고대역폭 메모리를 갖춘 프로그래밍 가능한 선형 대수학 가속기입니다. 여러 TPU 칩이 TPU 기기에 배포됩니다.
TPU 기기
여러 TPU 칩, 고대역폭 네트워크 인터페이스, 시스템 냉각 하드웨어가 포함된 인쇄 회로 기판 (PCB)
TPU 마스터
데이터, 결과, 프로그램, 성능, 시스템 상태 정보를 TPU 작업자와 주고받는 호스트 머신에서 실행되는 중앙 조정 프로세스입니다. TPU 마스터는 또한 TPU 기기의 설정 및 종료를 관리합니다.
TPU 노드
특정 TPU 유형을 사용하는 Google Cloud의 TPU 리소스 TPU 노드는 피어 VPC 네트워크에서 VPC 네트워크에 연결됩니다. TPU 노드는 Cloud TPU API에 정의된 리소스입니다.
TPU Pod
Google 데이터 센터에 있는 TPU 기기의 특정 구성입니다. TPU Pod의 모든 기기는 전용 고속 네트워크를 통해 서로 연결됩니다. TPU Pod는 특정 TPU 버전에 사용할 수 있는 TPU 기기의 최대 구성입니다.
TPU 리소스
사용자가 만들거나 관리하거나 사용하는 Google Cloud의 TPU 항목입니다. 예를 들어 TPU 노드 및 TPU 유형은 TPU 리소스입니다.
TPU 슬라이스
TPU 슬라이스는 TPU Pod에 있는 TPU 기기의 일부분입니다. TPU 슬라이스의 모든 기기는 전용 고속 네트워크를 통해 서로 연결됩니다.
TPU 유형
특정 TPU 하드웨어 버전이 있는 하나 이상의 TPU 기기 구성입니다. Google Cloud에서 TPU 노드를 만들 때 TPU 유형을 선택합니다. 예를 들어 v2-8 TPU 유형은 코어가 8개인 단일 TPU v2 기기입니다. v3-2048 TPU 유형에는 256개의 네트워킹된 TPU v3 기기와 총 2,048개의 코어가 있습니다. TPU 유형은 Cloud TPU API에 정의된 리소스입니다.
TPU 워커
호스트 머신에서 실행되고 TPU 기기에서 머신러닝 프로그램을 실행하는 프로세스입니다.