역전파 알고리즘의 배경과 역사

프로젝트 빌리칠드

부모의 역할 모범 사례

[배경]

ü인공신경망은 입력층과 여러 층의 은닉층, 출력층으로 구성됨.

ü순전파는 입력층에서 출력층으로 계산하면서 오차를 최소화하기 위해
가중치, 바이어스 등 파라미터를 갱신함.

ü순전파의 겨우, 출력 관점에서 가까운 쪽에 있는 층으로부터 받는 영향력이 커짐.
입력층과 가까운 층의 영향력이 미미해지는 현상 발생

ü전체 은닉층의 파라미터(가중치, 바이어스 등)가 출력에 유사한 영향력을 미칠 때 더 좋은 학습효과를 나타내므로,
매 학습 시에 출력의 오차를 반대방향으로 되돌려 각 은닉층의 파라미터를 적정하게 갱신할 필요가 있음.

[역사]

1)Kelly(1960년), Bryson & Ho(1969년) 등이 제어이론에서 동적 시스템 최적화 문제를 풀기 위해
유사한 역전파 기법을 사용함.

2)Paul Werbos가 박사학위 논문에서 신경망 학습을 위한 일반적인 역전파 알고리즘을 최초로 제안
: "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences" (Harvard University, 1974)

3)Rumelhart, Hinton, Williams가 논문 ‘Learning representations by back-propagating errors’를 발표하면서 역전파 알고리즘이 대중화됨.
: 은닉층의 가중치까지 효율적으로 학습할 수 있음을 증명