[단단한 머신러닝 - 연습문제 참고 답안]Chapter5 - 의사결정 트리 5.1

참고답안:

 

선형 함수를 활성화 함수로 사용하게 되면 은닉층이든 출력층이든 (몇개의 층을 더하던지) 해당 유닛값은 입력 x의 선형 결합이 되는데, 이때 신경망은 사실상 로지스틱 회귀와 같아집니다. 만약 출력층에서도 선형 함수를 활성화 함수로 사용한다면 선형 회귀와 같게 됩니다.

 

다시 정리하면, 신경망에는 반드시 비선형 활성화 함수를 사용해야 합니다. 위 선형 함수를 신경망 활성화 함수로 사용하면 몇 개의 층을 사용하던지 결국 선형회귀가 되어버립니다. 그냥 단순히 복잡한 선형회귀 말이죠.