상세정보

빠르게 발전하는 자연어 처리 기술들에 대한 기본적인 원리를 설명하고 파이썬 코드로 구현된 예제들을 통해 현실의 문제에 직접 적용할 수 있도록 설계되었다. 최근까지 한국어 자연어 처리 기법은 활발히 연구되어오지 못했었다. 다행히도 인공지능 시대에 언어 모델에 대한 관심이 많아졌고 다양한 한국어 자연어 처리 기법들이 개발되고 있다.

자연어 처리(NLP: Natural Language Processing)는 앞으로 인공지능(AI)이 인간의 언어와 행동을 이해하는 방식에 영향을 주는 방향으로 발전해 갈 것이며, 이 자연어 처리의 비약적인 발전에는 딥러닝이 핵심 역할을 하고 있다. 언어란 고도로 구체적이고 단어 자체의 의미 외에도 문맥이라는 상황 정의 안에서 작동한다. 즉, 특정 언어를 사용한 창작자와 그 언어를 소비한 독자는 어휘, 단어의 선택, 구문, 철자 및 구두법에서 서로 다른 의미로 이해하고 해석할 수 있다. 언어는 시간이 지나면서 진화하고, 격식을 갖춘 문서에서 쓰는 언어와 온라인에서 사용하는 언어가 다르기 때문에 확장성이 떨어진다. NLP 영역에서의 이런 문제를 인공지능 기술이 해결할 수 있다. 인공지능을 통해 단어나 구문이 문단 내에서 어떻게 사용되고 있는지 직접 관찰하는 방식으로 그 의미를 학습할 수 있다. 그 결과, 미리 확인된 문맥을 입력하거나 사람이 개입하여 의미를 밝히고 관계를 정의하는 대신, 인공지능이 단어 또는 구문의 의미와 관계를 원문을 통해서 바로 학습할 수 있게 됐다.
이처럼 NLP를 통해 누릴 수 있는 이점이 많은 것은 분명하지만, 아직 보완해야 할 부분도 있다. 특히 설명 생성과 같은 기능이 미흡하다고 할 수 있다. 그럼에도 불구하고 향후 개발될 딥러닝 기반 NLP는 인간의 개입을 점점 덜 필요한 방향으로 개선될 것으로 예측된다.
본 책은 빠르게 발전하는 자연어 처리 기술들에 대한 기본적인 원리를 설명하고 파이썬 코드로 구현된 예제들을 통해 현실의 문제에 직접 적용할 수 있도록 설계되었다. 최근까지 한국어 자연어 처리 기법은 활발히 연구되어오지 못했었다. 아마, 한국어는 교착어가 가진 독특함 때문에 어간에 접사가 붙어 단어의 의미와 문법적 기능이 구체화되고, 어순의 중요성이 상대적으로 낮은 특징을 가지고 있기 때문에 영어와 같은 고립어에 비해 한국어 자연어 처리 기법 개발이 더 어려웠을 것이라고 스스로 위안을 가져본다. 다행히도 인공지능 시대에 언어 모델에 대한 관심이 많아졌고 다양한 한국어 자연어 처리 기법들이 개발되고 있다. 바라건대, 저자는 본 책이 이런 시대적 요구에 부응하고 한국어 자연어 처리 생태계의 발전에 이바지할 수 있다면 더할 나위 없이 기쁠 것이다.

정보제공 :

Chapter 01 서론

1. Microsoft Visual Studio 설치

2. 파이썬 설치

3. 파이참 설치



Chapter 02 텍스트 표상 모듈

1. 텍스트 전처리 개요

2. 텍스트 전처리 기법



Chapter 03 나무 구조

1. 구문 분석 개요

2. 구문 분석기

3. 한국어 구문 분석



Chapter 04 핵심어 추출

1. 핵심어 추출 개요

2. 비지도 학습 핵심어 추출 기법

3. 지도 학습 핵심어 추출 기법



Chapter 05 동시 출현 단어(co-word) 분석

1. 동시 출현 단어 분석 개요

2. 동시 출현 단어 계산법

3. Gephi 이용 가이드



Chapter 06 클러스터링

1. 벡터 공간 모델

2. 유사도 계산 방법론

3. 군집 분석 방법: K-Means



Chapter 07 토픽 모델링

1. 토픽 모델링 개요

2. 토픽 모델링 기법



Chapter 08 자동 분류

1. 문헌 분류 개요

2. 지니계수와 엔트로피

3. 문헌 분류 방법론



Chapter 09 감성 분석

1. 감성 분석 개요

2. 감성 분석 방법론



Chapter 10 워드 임베딩

1. 워드 임베딩 개요

2. 위드 임베딩 방법론



Chapter 11 문헌 임베딩

1. 문헌 임베딩 개요

2. Doc2Vec

3. Node2Vec



Chapter 12 Transformer

1. Seq2seq RNN 모델 개요

2. 어텐션(attention)

3. BERT



Chapter 13 NER(개체명 인식)

1. Information Extraction

2. NER 개요

3. NER 방법론



Chapter 14 기계 번역

1. 기계 번역 개요

2. 시퀀스(sequence) 기반 방법론

3. 어텐션(attention) 기반 방법론



Chapter 15 Question Answering

1. Question Answering 개요

2. 정보 검색 기반 방법론

3. 딥러닝 기반 방법론



Chapter 16 Conversational AI

1. Conversational AI 개요

2. Conversation AI 방법론

정보제공 :