하이퍼볼릭 탄젠트는 비선형 함수로, 입력 값을 -1에서 1 사이로 변환해요. 주로 신경망에서 사용되며, 출력이 중심이 0으로 형성되어 학습이 용이해요. 그러나 기울기 소실 문제에 더 취약할 수 있어요.
ReLU는 음수 값을 0으로 변환하고, 양수 값은 그대로 유지해요. 이 함수는 계산이 간단하고, 학습 속도를 높여주는 장점이 있어요. 하지만, 일부 뉴런이 항상 비활성화되는 '죽은 ReLU' 문제도 발생할 수 있어요.
비선형 변환을 제공해요. 출력값은 0과 1 사이로 제한되어요. 주로 이진 분류 문제에 사용돼요.