Image 초보의 개발 공부

Activation Function을 쓰는 이유 Neural Network가 진행되면 각 노드에 이전 노드에서 계산된 값들 또는 bias가 입력된다. 계산된 값은 노드에서 합해지며 다음 노드로 넘어간다. 이때 다음 노드로 전해지며 활성화 함수가 사용된다. 그렇다면 굳이 활성화 함수를 사용해서 다음 노드로 넘기는 이유가 무엇일까? 그 이유를 쉽게 말하면 모델을 복잡하게 만들기 위함이다. 다시 말해 hidden layer를 더 쌓기 위함이다. 이는 비선형(non linear)문제를 해결하는데 중요한 역할을 한다. 비선형 문제를 해결하기 위해 단층 퍼셉트론을 쌓는 방법을 이용했는데 hidden layer를 무작정 쌓는다고 비선형문제를 해결할 수는 없다. 하지만 활성화 함수를 이용하면 선형 분류기를 비선형 분류..