일반 개발자가 AI·ML 엔지니어로 전환하는 현실 로드맵 (6~12개월 단계별)

"AI 시대인데 나도 ML 엔지니어로 가야 할까?"

요즘 백엔드·풀스택 개발자분들이 가장 많이 하시는 고민이에요. 막상 카카오·토스·쿠팡 ML 엔지니어 공고를 열어보면 PyTorch, MLOps, LLM Fine-tuning, RAG, Knowledge Distillation 같은 키워드가 한 번에 쏟아져서 "이걸 다 어디서부터 채워야 하지" 하고 막막해지죠^[4][8].

그런데 좋은 소식이 하나 있어요. 지금까지 쌓아온 소프트웨어 엔지니어링 경험은 ML 엔지니어로 갈 때 가장 큰 무기예요. ML 분야의 한 시니어는 "Most MLEs have prior experience as a software engineer"^[2]라고 말할 정도니까요.

이 글에서는 다음 7가지를 한 번에 정리했어요.

1. AI/ML 직무 4가지 (DS·MLE·RS·MLOps) 차이

2. 일반 개발자의 무기와 채워야 할 갭

3. 핵심 스킬셋 (산업 점유율 기준)

4. 6~12개월 전환 로드맵

5. 채용 공고 트렌드 — LLM 응용 vs 전통 ML

6. 면접 단골 주제

7. 한국 시장 현실 (학위·연봉)

본인의 출발점에서 갭만 채우면 되는 가장 빠른 길을 찾아보세요. 커리어 탐색에서 ML 엔지니어 경로를 미리 그려두면 학습 우선순위를 잡기 더 쉬워요.

이미지 placeholder — alt: "백엔드 개발자가 PyTorch·MLOps·LLM 키워드가 적힌 다리를 건너 ML 엔지니어 직무로 향하는 일러스트"

1. AI/ML 직무는 한 덩어리가 아니에요

"ML 엔지니어로 가고 싶어요"라고 말씀하시는 분들 대부분은 사실 MLE(Machine Learning Engineer)를 말씀하시는 거예요. 그런데 같은 ML 분야 안에 다음 4가지가 따로 있어요^[1][2].

Eugene Yan(전 Amazon Senior ML)은 MLE를 한 줄로 정리해요. "Build infra and platforms to grow capabilities."^[2] 모델 자체보다 모델이 안정적으로 돌아가게 만드는 시스템이 MLE의 본질이에요.

국내 현직자도 같은 시각이에요. "머신러닝과 관련된 문제를 엔지니어링 관점으로 푸는 것"^[5]이라고 정의하셨어요. MLOps 프레임워크상 ML 코드는 일부일 뿐, 데이터 파이프라인·모델 서빙·인프라까지 폭넓은 이해가 필요하다고 강조하세요^[5].

→ 일반 개발자가 가장 빠르게 갈 수 있는 길은 MLE 또는 MLOps Engineer예요.

2. 일반 개발자의 무기 vs 채워야 할 갭

이미 가지고 있는 무기

소프트웨어 엔지니어로 일하면서 자연스럽게 쌓인 것들이 ML 엔지니어 직무에서 그대로 무기가 돼요.

• 시스템 설계 / API / DB 운영 — MLE의 일은 모델을 시스템에 얹는 일이에요. 모델만 잘 만드는 사람보다 운영 가능한 시스템을 설계할 수 있는 사람이 더 귀해요^[2].

• Git / CI/CD / 코드 리뷰 문화 — MLOps 도구들(MLflow, Kubeflow)도 결국 CI/CD의 ML 버전이에요. 일반 개발자가 MLOps 진입에 유리한 이유예요^[5].

• 트래픽·장애 대응 경험 — 추론 서버는 일반 API 서버처럼 죽고, 느려져요. 운영 경험이 그대로 쓰여요.

이게 왜 중요하냐면, "Most MLEs have prior experience as a software engineer"^[2]가 그냥 통계가 아니라 MLE 직무의 본질이 소프트웨어 엔지니어링이기 때문이에요.

채워야 할 갭

3. 핵심 스킬셋 한눈에 보기

JetBrains Python Developers Survey 2024에 따르면, ML을 사용하는 Python 개발자 중 라이브러리 점유율은 다음과 같아요^[3].

JetBrains 보고서는 직접 "more than two thirds use scikit-learn and PyTorch"^[3]라고 표현해요. 즉 Python + scikit-learn + PyTorch 3종이 필수 기본기예요.

여기에 LLM 시대가 되면서 Hugging Face Transformers가 빠르게 표준이 됐어요. JetBrains는 이 라이브러리를 "the most popular library for working with openly licensed large language models such as Llama"^[3]라고 평가했어요.

배포·운영 단으로 넘어가면 MLflow, Kubeflow, Docker/Kubernetes, 그리고 클라우드 ML 플랫폼(SageMaker, Vertex AI) 이 추가로 필요해져요^[5].

4. 6~12개월 전환 로드맵

Andrew Ng은 ML 학습에서 "체계적으로 정리된 강의가 가장 시간 효율이 높다"^[7]고 강조해요. 그리고 "Everyone who's great at machine learning is a lifelong learner"^[7]라며 매주 조금씩 꾸준히가 핵심이라고 말씀하세요. 이걸 일반 개발자 출발점에 맞춰 단계로 풀면 이렇게 돼요.

1~2개월: ML 기초

• Coursera Andrew Ng의 Machine Learning Specialization 또는 fast.ai로 ML 전반 한 바퀴

• 동시에 Python NumPy/Pandas/scikit-learn 핸즈온

• 수학은 선형대수·확률·통계·기초 미적분을 ML 맥락에서만 채움^[7]

3~4개월: 딥러닝 프레임워크 + 토이 프로젝트

• PyTorch로 이미지 분류 → NLP 분류 → 시퀀스 모델 순서로 1~2개 프로젝트

• Hugging Face Transformers로 사전학습 모델 fine-tuning 경험^[3]

5~6개월: MLOps 도구로 모델 배포

• MLflow로 실험 트래킹, Docker로 추론 서버 컨테이너화

• 가능하면 회사 내부 시스템에 작은 ML 기능 하나라도 붙이세요 — 현직 MLE도 "엔지니어링 관점으로 문제 푸는 능력"^[5]을 가장 강조해요

7~9개월: 사이드 프로젝트 1개를 깊게

• 가능하면 LLM 응용 한 개 — RAG 파이프라인, fine-tuning, 평가까지 풀스택

• 카카오도 "LLM을 서비스에 적용하기 위한 개발", "Fine-tuning을 통한 시스템 구축"을 직접 명시^[8]

10~12개월: 이력서 정리 + 지원

• 프로젝트는 STAR 구조로, 정량 결과 위주로 정리

• 경험 관리로 그동안 쌓은 ML 토이 프로젝트와 운영 경험을 모아두면, JD별 매칭 이력서를 만들 때 시간이 크게 줄어요

5. 채용 공고 트렌드 — LLM 응용이 어디까지 왔을까요?

"이제 다 LLM이라 전통 ML은 끝났다"는 말 들어보신 적 있을 거예요. 그런데 현실은 둘 다 살아있어요.

카카오 채용 사이트만 봐도 같은 시기에 다음 포지션이 동시에 열려 있어요^[8].

• Machine Learning Engineer (LLM / Search) — "LLM 기반 서비스 모델 연구·분석, Fine-tuning을 통한 시스템 구축, 데이터 파이프라인 구축"

• LLM Research Engineer

• Multimodal LLM Research Engineer

• 추천 시스템 연구/개발

LLM 응용은 빠르게 늘고 있지만, 추천·검색 같은 전통 ML 직군은 그대로예요. 한 현직자는 "1년 전 대비 채용 공고가 더 구체적으로 변했다"^[4]고 표현하셨어요. 막연한 'ML 관심자'가 아니라 'Knowledge Distillation 구현', 'Graph Neural Network 경험' 같은 구체 스킬을 보는 흐름이에요.

→ LLM도 한 트랙, 전통 ML도 한 트랙. 본인이 더 끌리는 쪽으로 깊이 한 가지를 파는 편이 유리해요.

6. 면접 단골 주제

현직 MLE의 이직 후기에 따르면, ML 엔지니어 면접의 영역과 우선순위는 이렇게 정리돼요^[4].

"이력서 > ML 지식 > CS 지식"^[4]

각 영역에서 자주 나오는 주제를 정리하면:

1. 이력서 프로젝트 — 어떤 문제였는지, 어떻게 접근했는지, 결과는 어떻게 측정했는지. 면접의 출발점이자 후속 질문의 뿌리.

2. ML 기초 — Bias-Variance, Overfitting, Cross-validation, Precision/Recall/F1/AUC 같은 평가지표

3. CS 기초 — 자료구조, 네트워크, OS — 일반 개발자라면 이미 강점인 영역^[4]

4. ML 시스템 디자인 — 피처 스토어, 온라인/오프라인 추론, 모델 모니터링 — MLOps 맥락^[5]

5. LLM 시대 추가 주제 — RAG 파이프라인 설계, 임베딩 검색, 토큰 비용·지연시간 트레이드오프 (LLM 포지션에서 점점 단골이 되는 중^[8])

일반 개발자분이라면 3번(CS 기초)은 이미 강하기 때문에, 2번(ML 기초)과 4번(시스템 디자인)을 채우는 데 집중하시면 효율이 가장 좋아요.

7. 한국 시장 현실 — 학위·연봉

학위가 꼭 필요할까요?

결론부터 말씀드리면 MLE는 학사+경력으로 충분하지만, RS·일부 R&D 포지션은 석사 이상이 사실상 요구돼요.

직접적인 증거가 카카오 채용 공고에 있어요^[8].

• 카카오 본사 ML Engineer (LLM/Search): 자격요건 "경력 3년 이상, 학력 무관"^[8]

• 카카오VX AI개발팀: "석사 이상" 별도 명시^[8]

같은 회사 안에서도 포지션 성격에 따라 학위 요구가 갈려요. 새 알고리즘·논문이 본업인 RS는 사실상 박사 트랙이고^[2], 모델을 시스템에 올리는 MLE는 학사+경험으로 충분히 가능한 게 한국 시장 패턴이에요.

연봉은 어느 정도 될까요?

Levels.fyi 기준 한국 ML Engineer median 총 보상은 다음과 같아요^[6].

같은 ML 엔지니어인데도 Coupang과 Krafton 사이에 약 3배 차이가 나요^[6]. 직무 자체보다 회사 선택이 연봉을 가장 크게 좌우한다는 뜻이에요. 이직 타이밍에 회사군을 어떻게 잡느냐가 결정적이에요.

마무리

ML 엔지니어 전환에서 가장 무서운 건 "수학부터 다시 해야 하나"라는 막막함이에요. 그런데 정리해보면 길이 보여요.

• MLE는 본질적으로 소프트웨어 엔지니어링 직무예요^[2]. 일반 개발자 경험은 갈아엎어야 할 자산이 아니라 그대로 살리는 자산이에요.

• 3종 기본기 (Python + scikit-learn + PyTorch) 위에 MLOps 도구 + LLM 응용 한 가지만 단단히 쌓으면 시작점이 돼요^[3].

• 6~12개월 단계 학습 + 작은 사이드 프로젝트 1개가 가장 검증된 경로예요. Andrew Ng도 "매주 조금씩 꾸준히가 가장 큰 차이를 만든다"^[7]는 점을 반복해서 강조해요.

• 한국 시장은 MLE는 학사+경력으로 가능, 회사 선택이 연봉 격차 3배를 만들어요^[6][8].

본인이 어떤 갭을 채워야 하는지 명확해졌다면, 다음은 그 스킬을 어떤 순서로 단단히 쌓아가는지가 중요해요. 트리업의 스킬 관리 기능으로 보유한 스킬과 부족한 스킬을 구분해 학습 우선순위를 잡아보세요.

작은 프로젝트 하나, 한 줄의 이력서 업데이트가 모여서 결국 ML 엔지니어로서의 첫 면접까지 데려가요. 꾸준히 쌓아가시면 충분히 도달할 수 있어요.