Connecting HW and SW

주요 문제세부 내용비고기울기 소실 문제신경망이 깊어질수록, 출력층의 오차가 입력층까지 전달될 때 미분 값이 점점 작아져 가중치가 거의 갱신되지 않는 현상결과적으로 깊은 층의 뉴런은 학습이 거의 이뤄지지 않아, 네트워크가 복잡한 패턴을 학습할 수 없음.학습 초기화의 어려움무작위로 가중치를 초기화하면, 깊은 네트워크에서는 출력이 0 또는 포화 영역으로 몰려 학습이 정체됨.대규모 데이터와 연산자원 부족2000년대 초반까지 데이터가 상대적으로 적고GPU 연산이 일반적이지 않았음.깊은 신경망 학습에 현실적인 어려움이 있었음.Graphic Processing Unit

주요 문제세부 내용비고기울기 소실 문제•신경망이 깊어질수록, 출력층의 오차가 입력층까지 전달될 때 미분 값이 점점 작아져 가중치가 거의 갱신되지 않는 현상•결과적으로 깊은 층의 뉴런은 학습이 거의 이뤄지지 않아, 네트워크가 복잡한 패턴을 학습할 수 없음.학습 초기화의 어려움•무작위로 가중치를 초기화하면, 깊은 네트워크에서는 출력이 0 또는 포화 영역으로 몰려 학습이 정체됨.대규모 데이터와 연산자원 부족•2000년대 초반까지 데이터가 상대적으로 적고GPU 연산이 일반적이지 않았음.•깊은 신경망 학습에 현실적인 어려움이 있었음.Graphic Processing Unit