데이터를 분류하거나 회귀 분석을 위해 의사결정 규칙을 나무 형태로 구성하는 방법이에요. 각 분기점에서 특징에 따라 데이터를 나누며, 최종적으로 예측 결과를 도출해요. 시각적으로 이해하기 쉬워 많은 분야에서 활용되고 있어요.
이 방법은 약한 학습기를 순차적으로 결합해 강력한 예측 모델을 만드는 기법이에요. 각 단계에서 이전 모델의 오차를 줄이도록 교육해요. 결과적으로 높은 예측 정확도를 가져오게 되죠.
Gradient Boosting Decision Tree
확률 모델을 기반으로 하는 분류 기법이에요. 주어진 데이터를 독립적인 특성으로 가정하고, 각각의 특성이 주어진 클래스 조건에서 발생할 확률을 계산해요. 간단하고 빠르며, 텍스트 분류와 같은 애플리케이션에 자주 사용돼요.
퍼셉트론은 선형 분류 알고리즘이에요. 입력 가중치를 조정하며 학습해요. 이진 분류 문제에 적합해요.
여러 개의 결정 트리를 조합하여 예측을 수행하는 기법이에요. 각 트리는 일부 데이터의 서브셋을 사용해 훈련되며, 최종 예측은 개별 트리의 결과를 평균 내거나 다수결로 결정해요. 이 방법은 과적합을 방지하고 정확성을 높이는 데 유리하다고 알려져 있어요.