[단단한 머신러닝 - 연습문제 참고 답안]Chapter5 - 의사결정 트리 5.6

동적 조정 방법은 여러가지가 있습니다. RMSProm, Adam, NAdam 등등...

수동으로 하려면 

와 같은 지수 감수 함수를 설정하고 하이퍼파라미터인 r을 조정해주면 됩니다.

 

구현된 코드는 온라인상에 많으니, 여러가지를 실험해보시길 바랍니다.

여기서는 Adam을 예제로 사용합니다.

https://github.com/han1057578619/MachineLearning_Zhouzhihua_ProblemSets/tree/master/ch5--%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/5.5-5.6

GitHub - han1057578619/MachineLearning_Zhouzhihua_ProblemSets: Exercises answers to the book "machine-learning" written by Zhou

Github링크를 참조해주세요~ (참고용으로만 사용하시고, adam, RMSProp 등에 대한 코드는 많으니 원하는 코드를 검색해 사용하길 추천합니다)

 

Sklearn의 Iris 데이터로 실험한 결과입니다. 동일한 학습률을 사용할 때 양자(SGD vs ADAM)의 손실함수 변화는 다음과 같습니다:

아담의 수렴속도가 빠르다는 것을 알 수 있습니다.

 

 

추가로 하용호 님의 슬라이드 쉐어를 참조하면 도움이 될거에요^^

https://www.slideshare.net/yongho/ss-79607172

자습해도 모르겠던 딥러닝, 머리속에 인스톨 시켜드립니다.