요즘 데이터 분석가 커뮤니티나 채용 공고를 보다 보면 Polars라는 이름이 심심찮게 눈에 띄어요. "북극곰(Polars)이 판다(Pandas)를 이긴다"는 식의 자극적인 제목도 자주 보이고요. Pandas로 데이터 전처리와 분석을 잘 해오고 계셨다면 이런 생각이 드실 수 있어요. "나만 뒤처지는 건가? 지금이라도 Polars를 배워야 하나?"
이미 데이터 전처리, groupby, merge 같은 Pandas 기본기를 갖추고 계신 분이라면 더 헷갈리실 수 있어요. "지금 쓰는 방식이 구식이 되는 건 아닐까" 하는 불안감과, "그렇다고 또 새 도구를 익힐 시간이 있을까" 하는 현실적인 고민이 동시에 드니까요.
결론부터 말씀드리면, 무조건 갈아타야 하는 상황은 아니에요. 다만 언제 Polars가 유리하고, 채용 시장은 실제로 무엇을 요구하는지는 데이터로 확인해볼 필요가 있어요. 이번 글에서는 성능 벤치마크, 문법 차이, 채용 시장 데이터를 근거로 "지금 뭘 배워야 할지" 판단 기준을 정리해볼게요.
Pandas와 Polars, 뭐가 다른가요?
둘 다 표(DataFrame) 형태의 데이터를 다루는 라이브러리지만, 내부 구조는 근본적으로 달라요.
Pandas는 Python의 NumPy 배열을 기반으로 만들어졌고, 연산을 하나씩 순차적으로 처리하는 싱글스레드 구조예요[2]. 코드를 작성한 순서 그대로 즉시 실행되는 eager(즉시 실행) 방식만 지원해요.
Polars는 Rust로 작성됐고, Apache Arrow의 컬럼 기반 메모리 모델을 사용해요[2][3]. 가장 큰 차이는 컴퓨터의 모든 CPU 코어를 동시에 활용하는 멀티스레드 구조라는 점, 그리고 eager 방식뿐 아니라 lazy(지연 실행) 방식을 지원한다는 점이에요[2]. Lazy 모드에서는 코드를 바로 실행하지 않고 먼저 전체 연산 계획을 세운 뒤, 불필요한 열을 미리 걸러내거나 필터 조건을 앞당겨 적용하는 식으로 최적화를 거쳐 실행해요[3].
문법도 꽤 달라져요. Pandas의 .loc[], .iloc[] 인덱싱은 Polars에서 .select()(열 선택), .filter()(행 조건)로 바뀌고, .assign()으로 새 컬럼을 만들던 방식은 .with_columns()로 바뀌어요[3]. 그리고 Polars에는 아예 인덱스(index) 개념이 없어요. 모든 행은 정수 위치로만 다뤄지는데, 이건 "더 명시적이고 실수하기 어려운 코드"를 지향하는 설계 철학이에요[3].
예를 들어 Pandas에서 df[df["age"] > 30].groupby("city")["salary"].mean()처럼 조건 필터링과 groupby를 연달아 쓰던 코드는, Polars에서는 df.filter(pl.col("age") > 30).group_by("city").agg(pl.col("salary").mean())처럼 메서드 체이닝(method chaining) 형태로 이어져요[3][7]. 읽는 흐름 자체는 비슷하지만, 괄호 안에 조건식을 넣는 pandas의 마스킹(masking) 방식과 달리 Polars는 pl.col()이라는 표현식(expression)을 조합하는 방식이라는 점이 가장 큰 습관 차이예요.
실제로 얼마나 빠른가요?
여기서부터가 진짜 궁금하실 부분이죠. 성능 차이를 볼 때 중요한 건 "몇 배 빠르다"는 숫자 하나가 아니라, 어떤 조건에서 측정된 숫자인지예요.
Polars 팀이 2025년 5월 공개한 자체 벤치마크(TPC-H를 변형한 PDS-H 벤치마크, 96코어 서버 기준)에서는 약 10GB 규모 데이터에 대한 조인·집계 위주 쿼리 세트를 처리하는 데 Polars(스트리밍 모드)는 3.89초, Pandas는 365.71초가 걸렸어요. 이 조건에서는 약 94배 차이가 난 셈이에요[1]. 참고로 이 테스트에서 Pandas는 최신 최적화 옵션(PyArrow dtype, copy-on-write)을 켠 상태였는데도 이 정도 차이가 났어요. 데이터 규모를 100GB로 키운 테스트에서는 Pandas가 메모리 부족(OOM)으로 아예 완주하지 못한 반면, Polars는 같은 조건에서 전체 쿼리를 끝까지 처리했어요[1]. 원인은 Pandas의 조인(join) 연산이 싱글스레드인 반면, Polars는 병렬 해시 조인과 쿼리 최적화기를 쓰기 때문이에요[1].
다만 이 수치는 Polars 팀이 자체적으로 발표한 벤치마크라는 점은 알아두시는 게 좋아요. 좀 더 일반적인 관점에서 JetBrains 블로그는 "일반적인 작업에서는 5~10배, 일부 벤치마크에서는 10~100배" 정도의 차이를 보인다고 설명해요[2]. 즉 정확한 배수는 데이터 크기와 연산 종류에 따라 크게 달라지고, 수백~수천 행 수준의 작은 데이터에서는 체감 차이가 거의 없을 수도 있어요.
항목 | Pandas | Polars |
|---|---|---|
개발 언어 | Python (NumPy 기반) | Rust (Apache Arrow 기반) |
실행 방식 | Eager(즉시 실행)만 지원 | Eager + Lazy(지연 실행) 지원 |
스레드 | 싱글스레드 | 멀티스레드(전 코어 활용) |
대용량 데이터 처리 | 메모리·속도 한계 뚜렷 | 상대적으로 강함[1] |
생태계 호환성 | scikit-learn, 시각화 라이브러리 등과 폭넓게 호환 | 아직 일부 라이브러리는 pandas 변환 필요[2] |
학습 난이도 | 낮음(문서·예제 풍부) | |
채용 시장 요구 | 사실상 기본 전제 |
채용 시장은 뭘 원하나요?
성능이 좋다고 실무에서 바로 쓰이는 건 아니죠. 실제로 시장이 뭘 요구하는지가 더 중요해요.
JetBrains와 Python Software Foundation이 2023년 11월부터 2024년 2월까지 25,000명 이상의 Python 개발자를 대상으로 진행한 설문에서, 데이터 탐색·처리 업무를 한다고 답한 응답자 중 77%가 Pandas를, 10%가 Polars를 사용한다고 답했어요[4]. 둘 다 쓸 수 있는 중복 응답이라는 점을 감안해도, Pandas가 여전히 압도적인 기본 도구라는 걸 알 수 있어요. 2025년 발표된 후속 설문에서도 Pandas와 NumPy가 데이터 탐색·처리 영역에서 가장 많이 쓰이는 도구로 다시 확인됐고, Polars는 "주목받는 신흥 도구" 정도로 언급됐어요[8].
국내 채용 공고 상황도 비슷한 패턴이에요. 원티드에서 실제로 찾은 한 데이터 분석가(3년 이상 경력) 채용 공고에는 "Python, Pandas, Polars 등의 분석 도구를 사용해 심도 있는 분석을 하실 수 있는 분"이라는 자격 요건이 있었어요[6]. 여기서 눈여겨볼 점은 Polars가 Pandas를 대체하는 필수 스킬이 아니라, Pandas와 나란히 언급되는 "추가로 알면 좋은 도구"로 등장한다는 거예요. 국내 채용 공고에서 Polars를 정확히 몇 퍼센트가 요구하는지 집계할 수 있는 신뢰할 만한 공개 데이터는 찾지 못했지만, 위 사례와 설문 데이터를 종합하면 "Pandas는 기본 전제, Polars는 가끔 나오는 우대 사항"이라는 방향성은 뚜렷해요.
실무에서 대용량 데이터를 다루는 국내 엔지니어들의 후기도 비슷한 결을 보여요. 한 국내 기술 블로그는 약 3천만 행 규모의 CSV 데이터를 필터링·집계하는 작업에서 Polars가 눈에 띄게 빠르다고 소개하면서, PySpark나 Dask 같은 분산 처리 프레임워크 없이도 단일 머신에서 대용량 전처리를 할 수 있는 대안으로 Polars를 제시했어요[7].
그래서 지금 뭘 배워야 하나요?
정리하면 이래요.
Pandas는 여전히 기본기예요. 채용 시장의 압도적 다수가 Pandas를 전제로 하고 있고[4], 생태계 호환성(시각화, 머신러닝 라이브러리 연동)도 Pandas가 훨씬 넓어요[2]. 아직 Pandas가 익숙하지 않다면 이걸 먼저 탄탄히 하는 게 우선이에요.
데이터 규모가 커지고 속도가 실제 병목이 될 때 Polars를 검토하세요. 수백만~수천만 행 단위의 조인·집계 작업에서 Pandas가 느리다고 체감된다면, 그때가 Polars를 배울 타이밍이에요[1][7].
전환 비용은 생각보다 크지 않아요. DataFrame이라는 기본 개념 자체는 동일하고,
.filter(),.select(),.with_columns()같은 문법을 새로 익히는 수준이에요[3]. 다만 인덱스가 없다는 점[3]과 lazy API에 적응하는 데는 약간의 학습 곡선이 있어요[2].
실무에서 판단할 때 체크리스트
[ ] 지금 다루는 데이터가 수백만 행을 넘어가나요?
[ ] groupby, join, 집계 연산이 실행 시간의 병목이 되고 있나요?
[ ] 팀 내 다른 사람들도 결과 코드를 읽고 유지보수해야 하나요? (그렇다면 아직 익숙한 Pandas가 유리할 수 있어요)
[ ] 지원하려는 회사의 채용 공고나 기술 스택에 Polars가 명시되어 있나요?
위 항목 중 앞의 두 개에 "네"라고 답하셨다면 Polars를 학습 리스트에 올릴 타이밍이에요. 그렇지 않다면 아직은 Pandas 기본기를 다지는 데 시간을 쓰는 게 더 효율적이에요.
이력서나 포트폴리오에 굳이 Polars를 넣어야 압박감을 느끼실 필요는 없어요. 오히려 Pandas로 데이터를 다루면서 겪은 구체적인 문제(처리 속도, 메모리 이슈)와 그걸 어떻게 해결했는지를 보여주는 게 더 설득력 있는 경험이 될 수 있어요. 트리업의 기술 가이드에서 Python 생태계 로드맵을 확인하면서, 지금 내게 필요한 다음 단계가 무엇인지 점검해보는 것도 좋은 방법이에요.
작은 도구 하나를 더 안다고 커리어가 크게 달라지지는 않아요. 지금 다루는 데이터와 문제에 맞는 도구를 정확히 아는 것, 그게 더 중요해요.
