자연어 처리(Natural Language Processing) 원리

항목세부 내용비고1텍스트 전처리•토큰화 : 문장을 단어나 형태소와 같은 작은 단위(토큰)로 분리•불용어 제거 : “이/가“, “을/를”, “the/a“ 등 제거•정규화/표제어(“달린다”, “달리고“à＂달리다) 추출•품사 태깅 : 명사, 동사, 형용사 등 품사 식별•2특징 추출 및 임베딩•단어를 컴퓨터가 계산할 수 있는 벡터(Numerical vector)로 변환•의미적, 문맥적 유사성을 고려하여 벡터 공간 반영•Word2Vec, GolVe, FastText 등 3모델링 및 학습•전처리되고 임베딩된 데이터를 기반으로,•특정 NLP 과제를 수행할 수 있는 머신러닝 또는 딥러닝 모델을 학습•초기에는 규칙 기반 시스템 또는 통계적 모델(HMM, CRF 등) 주로 사용•최근에는 심층신경망(DNN) 특히, 순환신경..
Innovation&Hurdles/BiliChild(빌리칠드) 2026. 3. 27. 05:30
1