상세정보

acorn+PACKT 시리즈. 파이썬을 활용해 대표적인 Scikit-learn 오픈소스 라이브러리로 실제 기계 학습 시스템을 구현하는 방법을 보여주는 책이다. 일반적인 CSV 데이터가 아닌 독자들이 실제로 해 보고 싶었던 문제인 위키피디아의 주제별 분류, 트위터의 감성 분류, 영화 추천, 사진의 범주적 분류, MP3의 음악 장르 분류 등을 기계 학습을 통해 구현하며 각 기법을 평가한다.

또한, 빅 데이터 시대에 맞춰 대량의 데이터를 빠르게 처리하는 기계 학습환경을 구축해 본다. 파이썬과 NumPy, SciPy, scikit-learn 등 다양한 라이브러리를 사용하여 파이썬의 생태계를 이해할 수 있으며 파이썬 언어를 좀더 깊이 이해할 수 있다.

텍스트, 이미지, 사운드를 적용하는 분류 시스템 개발, 파이썬 오픈소스 라이브러리 Scikit-learn, 이미지 처리와 컴퓨터 비전을 위한 mahotas 라이브러리, 위키피디아 전체를 모델로 하는 주제 모델링, 장바구니 분석을 사용해 추천 준비 등을 다루고 있다.

이 책은 오픈소스 라이브러리를 사용해 기계 학습을 수행하는 방법을 배우고자 하는 파이썬 프로그래머를 대상으로 한다. 현실적인 예제를 기반으로 기계 학습의 기본 방식을 둘러본다. 또한 파이썬을 사용해 시스템을 만들기 시작하려는 기계 학습자도 대상으로 한다.

★ 요약 ★

파이썬을 활용해 대표적인 Scikit-learn 오픈소스 라이브러리로 실제 기계 학습 시스템을 구현하는 방법을 보여주는 책이다. 일반적인 CSV 데이터가 아닌 독자들이 실제로 해 보고 싶었던 문제인 위키피디아의 주제별 분류, 트위터의 감성 분류, 영화 추천, 사진의 범주적 분류, MP3의 음악 장르 분류 등을 기계 학습을 통해 구현하며 각 기법을 평가한다. 또한, 빅 데이터 시대에 맞춰 대량의 데이터를 빠르게 처리하는 기계 학습환경을 구축해 본다. 파이썬과 NumPy, SciPy, scikit-learn 등 다양한 라이브러리를 사용하여 파이썬의 생태계를 이해할 수 있으며 파이썬 언어를 좀더 깊이 이해할 수 있다.

★ 이 책에서 다루는 내용 ★

■ 텍스트, 이미지, 사운드를 적용하는 분류 시스템 개발
■ 파이썬 오픈소스 라이브러리 Scikit-learn
■ 이미지 처리와 컴퓨터 비전을 위한 mahotas 라이브러리
■ 위키피디아 전체를 모델로 하는 주제 모델링
■ 장바구니 분석을 사용해 추천 준비
■ 데이터 분석을 위한 jug 패키지
■ 클라우드에서 분석을 실행하고자 아마존 웹 서비스 활용
■ 과거 구매를 기반으로 사용자에게 제품 추천하기

★ 이 책의 대상 독자 ★

이 책은 오픈소스 라이브러리를 사용해 기계 학습을 수행하는 방법을 배우고자 하는 파이썬 프로그래머를 대상으로 한다. 현실적인 예제를 기반으로 기계 학습의 기본 방식을 둘러본다.
이 책은 또한 파이썬을 사용해 시스템을 만들기 시작하려는 기계 학습자도 대상으로 한다. 파이썬은 빠른 프로토타이핑을 위한 유연한 언어다. 반면 기본적인 알고리즘 모두는 C나 C++로 최적화해 작성됐다. 그러므로 결과 코드는 제품에 사용하기에 충분히 빠르고 강건하다.

★ 이 책의 구성 ★

1장, 기계 학습 파이썬으로 시작하기 매우 단순한 예제로 기계 학습의 기본적인 개념을 소개한다. 단순하지만 과적합(overfitting)의 위험을 제기한다.
2장, 실제 예제를 이용한 분류법 학습 분류에 대해 배울 실제 데이터를 설명하고 꽃의 범주를 구별할 수 있도록 컴퓨터를 훈련한다.
3장, 군집화: 관련된 게시물 찾기 단어 주머니(bag-of-words) 접근법이 게시물에 대한 이해 없이 유사한 게시물 찾기에 적용할 때 얼마나 뛰어난지 설명한다.
4장, 주제 모델링 각 게시물을 하나의 군집으로 배정하는 것을 넘어, 실제 텍스트가 여러 주제에 속하듯이 게시물이 몇몇 주제에 어떻게 배정되는지 보여준다.
5장, 분류 I: 형편없는 답변 감지 질문에 대한 사용자의 답변이 좋은지 나쁜지를 판단하기 위한 로지스틱 회귀(logistic regression)의 사용법을 설명한다. 이와 더불어, 기계 학습 모델을 분석하기 위해 편향(bias)과 변화량(variance)의 균형을 어떻게 사용하는지도 배운다.
6장, 분류II: 감성 분석 나이브 베이즈(Naive Bayes)가 어떻게 작동하는지 소개하고, 트윗이 긍정적인지 부정적인지를 분류하는 데 나이브 베이즈를 어떻게 사용하는지 알아본다.
7장, 회귀: 추천 데이터를 다루는 고전적인 주제를 이야기한다. 그러나 이 고전적인 주제는 오늘날까지도 적절하다. 추천 시스템을 만들기 위해 이를 사용하고자 한다. 이 시스템은 새로운 제품을 추천하기 위해 좋고 싫음에 대해 사용자의 입력을 받는다.
8장, 회귀: 향상된 추천 동시에 여러 가지 기법을 사용해 추천을 향상시킨다. 평점 데이터(사용자가 항상 제공하진 않는다) 없이 쇼핑 데이터로부터 추천을 어떻게 만드는지 알아본다.
9장, 분류III: 음악 장르 분류 무작위의 수많은 노래를 기계 학습기가 분류할 수 있는 방법을 알아본다. 우리 스스로 속성을 만들기보다는 누군가의 전문 지식을 믿는 편이 더 괜찮을 때도 있음을 보여준다.
10장, 컴퓨터 비전: 패턴 인식 이미지를 다루는 구체적인 영역인 패턴 인식 분야에서 분류를 어떻게 적용하는지 설명한다.
11장, 차원 수 줄이기 기계 학습 알고리즘에 잘 적용할 수 있도록 데이터의 크기를 줄이는 그 밖의 기법들을 알아본다.
12장, (조금 더 큰) 빅데이터 데이터 크기가 어떻게 점점 커지는지를 설명하고 이런 점이 분석에서 자주 문제가 되는 이유를 설명한다. 이 장에서는 멀티코어와 컴퓨팅 클러스터의 장점을 활용해 좀 더 큰 데이터를 다루는 기법들을 살펴본다. 클라우드 컴퓨팅을 사용해 소개한다(클라우드 제공자로서 아마존의 웹 서비스를 사용한다).
부록, 기계 학습에 대한 보충 자료 기계 학습에 대한 훌륭한 리소스 목록이 실려 있다.

★ 저자 서문 ★

이 책을 만난 건 좋은 인연이다. 무엇보다, 수많은 독자가 읽는 수백만 권의 책이 매년 출판되는 와중에 여러분은 이 책을 읽고 있다. 몇몇 기계 학습 알고리즘이 여러분을 이 책으로 이끄는 중요한 역할을 했을 수도 있다. 그리고 우리 저자들은 여러분이 방법(how)과 이유(why)를 좀 더 이해하고자 한다는 사실에 행복하다.
이 책의 대부분은 방법을 다룬다. 기계 학습 알고리즘이 데이터를 최대한 잘 활용하기 위해서는 데이터를 어떻게 다뤄야 할까? 어떻게 문제에 즉시 적용할 수 있는 적합한 알고리즘을 선택할 수 있을까?
가끔은 이유도 다룬다. 왜 정확하게 측정하는 일이 중요한가? 왜 주어진 시나리오에서 어떤 알고리즘은 다른 알고리즘보다 좋은 성능을 내는가?
이 분야에서 전문가가 되려면 배워야 할 내용이 훨씬 많다. 여기서 다루는 '어떻게'와 '왜'는 그중 일부일 뿐이지만, 결국에는 이 혼이 여러분이 가능한 한 빨리 전문가가 되는 밑거름이 되길 바란다.

정보제공 :

목차
지은이 소개 = 7
기술 감수자 소개 = 9
옮긴이 소개 = 11
옮긴이의 말 = 13
들어가며 = 23
1장 기계 학습 파이썬으로 시작하기 = 29
 기계 학습과 파이썬: 꿈의 조합 = 30
 이 책이 알려주는 내용(과 알려주지 않는 내용) = 31
 정체됐을 때 해야 할 작업 = 33
 시작 = 34
  NumPy, SciPy, Matplotlib 소개 = 34
  파이썬 설치 = 35
  NumPy와 효과적으로, SciPy와 지능적으로 적용하기 쉬운 데이터 만들기 = 35
  NumPy 배우기 = 36
   인덱싱 = 38
   존재하지 않는 값 처리 = 39
   실행 시간 비교 = 39
  SciPy 배우기 = 40
 첫 번째 기계 학습 애플리케이션 = 42
  데이터 읽기 = 42
  데이터 정리와 전처리 = 43
  적절한 모델과 학습 알고리즘 선택 = 45
   모델을 만들기에 앞서 = 45
   단순한 직선으로 시작하기 = 46
   좀 더 복잡한 모델 = 48
   일보후퇴, 이보전진: 데이터 다시 보기 = 50
   훈련과 테스트 = 53
   최초 질문에 대답하기 = 54
 정리 = 55
2장 실제 예제를 이용한 분류법 학습 = 57
 아이리스 데이터셋 = 57
  첫 번째 단계, 시각화 = 58
  첫 번째 분류 모델 만들기 = 60
   평가: 홀드아웃 데이터와 교차 검증 = 62
 좀 더 복잡한 분류기 만들기 = 66
 좀 더 복잡한 데이터셋과 분류기 = 67
  씨앗 데이터셋의 학습 = 67
  속성과 속성 엔지니어링 = 68
  최근접 이웃 분류 = 69
 이진 분류와 다중 범주 분류 = 73
 정리 = 74
3장 군집화: 관련된 게시물 찾기 = 77
 게시물의 관련도 측정 = 78
  어떻게 하지 말아야 하는가 = 78
  어떻게 해야 하는가 = 79
 전처리: 공통 단어의 유사한 개수로서 측정된 유사도 = 80
  원시 텍스트를 단어 주머니로 변환 = 80
  단어 세기 = 81
  단어 카운트 벡터 정규화 = 85
  덜 중요한 단어의 삭제 = 85
  어근 추출 = 86
   NLTK 설치와 사용 = 87
   NLTK와 벡터라이저 확장 = 88
   강화된 불용어 = 89
   우리의 성취와 목표 = 91
 군집화 = 92
  K평균 = 92
  우리의 발상을 평가하기 위한 테스트 데이터 얻기 = 95
  게시물 군집화 = 97
 초기 도전과제 해결 = 98
  노이즈의 또 다른 시각 = 101
 매개변수 변경 = 103
 정리 = 103
4장 주제 모델링 = 105
 잠재 디리클레 할당(LDA) = 105
  주제 모델 만들기 = 107
 주제 공간에서의 유사성 비교 = 111
  위키피디아 전체의 모델링 = 114
 주제의 개수 고르기 = 118
 정리 = 119
5장 분류 Ⅰ: 형편없는 답변 감지 = 121
 큰 그림 그리기 = 122
 세련된 답변 구별법 학습 = 122
  인스턴스 개선 = 122
  분류기 개선 = 123
 데이터 가져오기 = 123
  데이터를 의미 있는 뭉치로 잘라내기 = 124
  속성의 사전 선택과 처리 = 125
  좋은 답변의 정의 = 126
 첫 번째 분류기 만들기 = 127
  k-최근접 이웃 알고리즘으로 시작하기 = 127
  속성 개선 = 128
  분류기 훈련 = 130
  분류기의 성능 측정 = 130
  더 많은 속성 디자인하기 = 131
 개선법 결정 = 134
  편향과 변화량의 균형 = 135
  고편향 고치기 = 135
  고변화량 고치기 = 136
  고편향 또는 저편향 = 136
 로지스틱 회귀 = 139
  간단한 예제와 약간의 수학 = 139
  로지스틱 회귀를 게시물 분류에 적용하기 = 141
 정확도 좀 더 보기: 정밀도와 재현율 = 143
 분류기 살 빼기 = 146
 배포 = 147
 정리 = 148
6장 분류 Ⅱ: 감성 분석 = 149
 큰 그림 그리기 = 149
 트위터 데이터 가져오기 = 150
 나이브 베이즈 분류기 소개 = 151
  베이즈 정리 = 151
  순박한 것 = 152
  나이브 베이즈를 사용한 분류 = 153
  못 보던 단어에 대한 해명과 기타 특이점 = 156
  산술 언더플로 설명 = 157
 첫 번째 분류기 만들고 조절하기 = 160
  쉬운 문제 먼저 해결하기 = 160
  모든 범주 사용 = 163
  분류기의 매개변수 조절 = 166
 트윗 정리 = 170
 단어의 종류 고려 = 172
  단어의 종류 판단 = 172
  SentiWordNet을 이용한 성공적인 편법 = 175
  첫 번째 에스터메이터 = 177
  모두 합하기 = 179
 정리 = 181
7장 회귀: 추천 = 183
 회귀를 이용한 주택 가격 예상 = 183
  다차원 회귀 = 187
  회귀를 위한 교차 검증 = 187
 벌점화 회귀 = 189
  L1과 L2 벌칙 = 189
  Scikit-learn에서 라소 또는 일래스틱 넷 사용 = 190
 P가 N보다 큰 시나리오 = 191
  텍스트 기반의 예제 = 192
  영리한 방법으로 하이퍼 매개변수 설정하기 = 194
  예측과 추천의 평점 = 196
 정리 = 200
8장 회귀: 향상된 추천 = 203
 추천 향상 = 203
  추천 이진 매트릭스 사용 = 204
  영화의 이웃 보기 = 206
  여러 기법의 결합 = 208
 장바구니 분석 = 211
  유용한 예측 얻기 = 212
  슈퍼마켓 쇼핑 장바구니 분석 = 213
  연관 룰 마이닝 = 215
  좀 더 발전된 장바구니 분석 = 218
 정리 = 219
9장 분류 Ⅲ: 음악 장르 분류 = 221
 큰 그림 그리기 = 221
 음악 데이터 가져오기 = 222
  WAV 형태로 변환 = 222
 음악 살펴보기 = 223
  음악을 사인 곡선 요소로 분해하기 = 224
 FFT를 사용해 첫 번째 분류기 만들기 = 226
  실험 기민성 증가 = 227
  분류기 훈련 = 228
  다중 범주 문제의 정확도 측정을 위한 혼돈 매트릭스 = 228
  수용자 반응 특성을 이용한 분류기 성능 측정 대안 = 231
 멜 주파수 켑스트럴 계수와 분류 성능 향상 = 233
 정리 = 239
10장 컴퓨터 비전: 패턴 인식 = 241
 이미지 처리 소개 = 241
 이미지 로딩과 출력 = 242
  기본 이미지 처리 = 244
   경계 짓기 = 245
   가우시안 블러링 = 248
   다른 효과를 위한 필터링 = 249
  소금과 후추 노이즈 추가 = 250
   중앙에 초점 맞추기 = 251
  패턴 인식 = 253
  이미지로부터 속성 계산 = 254
  속성 작성 = 255
 좀 더 어려운 데이터셋의 분류 = 258
 지역 속성 표현 = 259
 정리 = 263
11장 차원 수 줄이기 = 265
 큰 그림 그리기 = 266
 속성 선택 = 266
  필터를 사용해 중복된 속성 탐지하기 = 267
   상관 관계 = 267
   상호 정보 = 269
  래퍼를 사용해 속성에 대한 모델 묻기 = 274
 그 밖의 속성 선택 기법 = 276
 속성 추출 = 277
  주요 구성요소 분석(PCA) = 277
   PCA 훑어보기 = 278
   PCA 적용하기 = 278
  PCA의 한계와 LDA의 도움 = 280
 다차원 축적(MDS) = 282
 정리 = 285
12장 (조금 더 큰) 빅데이터 = 287
 빅데이터 배우기 = 288
 파이프라인을 작업으로 나누기 위한 jug 사용 = 288
  작업에 대해 = 289
  부분 결과 재사용 = 292
  작업장 내부 보기 = 292
  데이터 분석을 위한 jug 사용 = 293
 아마존 웹 서비스(AWS) 사용 = 295
  첫 번째 기계 만들기 = 297
   아마존 리눅스에 파이썬 패키지 설치 = 301
   클라우드 머신에서 jug 실행 = 301
  startcluster로 클러스터 생성 자동화 = 303
 정리 = 306
부록 : 기계 학습에 대한 보충 자료 = 309
 온라인 강좌 = 309
 책 = 309
  Q＆A 사이트 = 310
  블로그 = 310
  데이터 소스 = 311
  경쟁 = 311
 남겨진 것 = 312
 정리 = 312
찾아보기 = 313