심층 신뢰 신경망(DBN, Deep Belief Network) 배경과 원리

 

주요 문제	세부 내용	비고
기울기 소실 문제	•신경망이 깊어질수록, 출력층의 오차가 입력층까지 전달될 때 미분 값이 점점 작아져 가중치가 거의 갱신되지 않는 현상 •결과적으로 깊은 층의 뉴런은 학습이 거의 이뤄지지 않아, 네트워크가 복잡한 패턴을 학습할 수 없음.
학습 초기화의 어려움	•무작위로 가중치를 초기화하면, 깊은 네트워크에서는 출력이 0 또는 포화 영역으로 몰려 학습이 정체됨.
대규모 데이터와 연산자원 부족	•2000년대 초반까지 데이터가 상대적으로 적고 GPU 연산이 일반적이지 않았음. •깊은 신경망 학습에 현실적인 어려움이 있었음.	Graphic Processing Unit