Zero Redundancy Optimizer

ZRO

8개 레벨

이러한 최적화 기법은 모델 훈련 중 데이터의 중복을 줄여 효율성을 높여줘요. 이를 통해 더 적은 리소스로 빠른 학습이 가능하게 해줘요. 결과적으로, 대규모 딥러닝 모델 훈련이 용이해져요.

ZRO 스킬 여정을 시작하세요

8개의 레벨을 통해 체계적으로 학습하고, 커리어 성장의 기반을 다지세요.

8 레벨 로드맵

단계별 역량 인증

학습 로드맵

8개 레벨

전체 8

Lv 1. 병렬 컴퓨팅 기본 개념을 알아요

1. 병렬 컴퓨팅 개념
2. 분산 시스템 개념
3. GPU 아키텍처 기초
4. CUDA 기본 개념

연습 문제

1.
Python multiprocessing으로 병렬 프로세스 실행해보기
2.
CUDA 벡터 덧셈 샘플을 컴파일하고 실행해보기

Lv 2. PyTorch 분산 학습 기본을 활용할 수 있어요

Lv 3. 모델 메모리 사용을 프로파일링하고 최적화할 수 있어요

Lv 4. ZeRO의 기본 원리를 설명할 수 있어요

로그인하고 더 많은 레벨을 확인하세요

Lv 5. Stage1과 Stage2 동작을 구성할 수 있어요

Lv 6. Stage3와 CPU/NVMe 오프로드를 구성할 수 있어요

Lv 7. DeepSpeed로 최적화된 분산 학습 파이프라인을 구축할 수 있어요

Lv 8. 실제 프로젝트에 ZeRO를 적용해 대규모 모델을 학습할 수 있어요

이 스킬로 지원할 수 있는 채용공고

해당되는 공고가 없어요.