FairScale

페어스케일

7개 레벨

분산 훈련과 메모리 최적화를 지원하는 라이브러리에요. 대규모 모델을 효율적으로 학습할 수 있도록 도와줘요. 사용자가 통합된 API로 손쉽게 확장할 수 있게 설계되었어요.

공식 웹사이트

페어스케일 스킬 여정을 시작하세요

7개의 레벨을 통해 체계적으로 학습하고, 커리어 성장의 기반을 다지세요.

7 레벨 로드맵

단계별 역량 인증

학습 로드맵

7개 레벨

전체 7

Lv 1. FairScale 설치하고 기본 DDP 코드를 실행할 수 있어요

1. FairScale 설치
2. FairScale 문서 구조 이해
3. PyTorch Distributed 기초

연습 문제

1.
간단한 DDP 예제 스크립트 실행해보기
2.
FairScale 설치 및 버전 확인 코드 실행

Lv 2. FSDP를 적용해 대규모 모델을 학습할 수 있어요

Lv 3. Pipe 모듈로 모델을 파이프라인 병렬화할 수 있어요

Lv 4. OSS로 옵티마이저 상태를 샤딩해 메모리 절약할 수 있어요

로그인하고 더 많은 레벨을 확인하세요

Lv 5. AMP와 그라디언트 누적으로 효율적인 학습을 할 수 있어요

Lv 6. 체크포인트와 액티베이션 체크포인트를 적용할 수 있어요

Lv 7. 프로파일링과 모니터링으로 학습 성능을 분석할 수 있어요

이 스킬로 지원할 수 있는 채용공고

해당되는 공고가 없어요.