딥러닝

출력층, 은닉층 
은닉층으로 가중치와, 바이어스 값을 반영해서 다음 은닉층, 은닉층으로 계속 넘겨서 최종 출력층으로 답을 도출
출력층의 결과가 실제 값과 맞는지 확인 후 오류가 있으면 역으로 가중치와 바이어스를 수정해서 최초 입력으로 전달을 함
여러개의 가중치와 바이어스가 있기에 편미분을 통해서 전달 함.
편미분할때, 시그모이드 경사 하강법에 적용하면 값이 계속 소실이 됨 이러한 소실을 방지하고자 렐루 함수를 적용함
렐루 함수의 발전은 탄젠트,소프트맥스가 있음.
렐루 함수를 적용한 편미분은 최초 입력층의 가중치에 1의 값을 전달을 할 수 있어서 계속 반복을 하다보면 모든 가중치에 1이 전달되어
최종 출력층의 오차에 대한 보정 값을 반영 할 수 있음.
가중치가 많은 경우 모든 가중치들에 대해서 일일이 값을 수정해서 다시 은닉층을 거쳐 최종 출력값까지 전달해서 결과가 맞는지 모두 체크하기에는
비용과 시간이 많이 소모되어 수정할 가중치들에 대해서 어떤 가중치를 특정 방법으로 수정을 할 때 더 빠르게 출력 결과가 잘 나오는지
확인이 가능하다는 것을 알 수 있고 이러한 특정 방법이 대표적으로 아담이 있다.