상세정보

카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 직접 저술한 카프카 구축과 운영 핵심 실무서. 카프카를 이해하기 위해 반드시 알아야 할 내용이 가득한 실용적인 안내서이며, 카프카의 아키텍처 및 내부 프로세스에 대한 전반적인 내용을 다루고 있다.

또한 카프카의 API를 사용하는 애플리케이션 개발자와 카프카를 설치, 구성, 튜닝 및 모니터링하는 개발자를 위한 책이기도 하므로, 카프카를 처음 접하는 분들에게 정말로 도움이 많이 될 것이다.

카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 직접 저술한 카프카 구축과 운영 핵심 실무서!

모든 기업의 애플리케이션은 데이터를 생성하며, 데이터는 로그 메시지, 메트릭, 사용자 액티비티 등 여러 가지가 있다. 그리고 이런 모든 데이터를 이동시키는 방법이 데이터 자체만큼이나 중요하다. 만약 여러분이 실시간 데이터 전달을 처리하는 스트리밍 플랫폼인 아파치 카프카를 처음 접하는 개발자라면, 이 책이 여러분을 초보자에서 전문가로 이끌어 줄 것이다.

이 책은 아파치 카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 저술하였으며, 아파치 카프카를 실제 업무에 사용하는 데 필요한 모든 핵심 사항을 알려준다. 따라서 이 책의 내용을 잘 숙지하며 학습하다 보면, 어느덧 데이터 파이프라인/스트리밍 분야의 전문가가 되어 있는 자신을 발견할 것이다.

이 책의 주요 내용
■ 데이터 파이프라인 시스템 및 카프카의 핵심 개념을 이해하고, 카프카를 설치하고 구성하는
방법을 배운다.
■ 카프카 프로듀서와 컨슈머를 생성하고 구성하는 데 필요한 핵심 개념과 방법을 배운다.
■ 카프카의 원활한 실무 사용에 도움이 될 핵심적인 내부 메커니즘을 이해한다.
■ 카프카로 데이터 파이프라인/통합 시스템을 구축하는 데 필요한 핵심 개념과 카프카 커넥트
의 사용법을 배운다.
■ 카프카로 데이터 미러링을 구현하는 방법을 배운다.
■ 카프카 시스템을 운영 및 관리하는 방법을 배운다.
■ 카프카 시스템의 메트릭을 이해하고 모니터링하는 방법을 배운다.
■ 스트림 프로세싱 시스템의 핵심 개념과 카프카 스트림을 사용해서 구현하는 방법을 배운다.

정보제공 :

CHAPTER 1 카프카 훑어보기 __1 
메시지 발행과 구독하기 ...... 2 
카프카 살펴보기 ...... 4 
카프카를 사용하는 이유 ...... 10 
데이터 생태계 ...... 12 
카프카의 기원 ...... 15 
카프카 시작하기 ...... 17 

CHAPTER 2 카프카 설치와 구성하기 __ 19 
제일 먼저 할 일 ...... 19 
카프카 브로커 설치하기 ...... 23 
브로커 구성 ...... 25 
하드웨어 선택 ...... 31 
클라우드에서 카프카 사용하기 ...... 33 
카프카 클러스터 ...... 34 
실제 업무 사용 시 고려사항 ...... 40 
요약 ...... 43 

CHAPTER 3 카프카 프로듀서: 카프카에 메시지 쓰기 __ 45 
프로듀서 개요 ...... 46 
카프카 프로듀서 구성하기 ...... 48 
카프카에 메시지 전송하기 ...... 51 
프로듀서 구성하기 ...... 54 
직렬처리기 ...... 58 
파티션 ...... 66 
구버전의 프로듀서 API들 ...... 69 
요약 ...... 69 

CHAPTER 4 카프카 컨슈머: 카프카에서 데이터 읽기 __ 71 
카프카 컨슈머의 중요 개념 ...... 71 
카프카 컨슈머 생성하기 ...... 77 
토픽 구독하기 ...... 78 
폴링 루프 ...... 79 
컨슈머 구성하기 ...... 81 
커밋과 오프셋 ...... 85 
리밸런싱 리스너 ...... 92 
특정 오프셋을 사용해서 레코드 소비하기 ...... 95 
어떻게 폴링 루프를 벗어나야 할까? ...... 98 
역직렬처리기 ...... 100 
독자 실행 컨슈머: 그룹 없이 하나의 컨슈머만 사용하는 이유와 방법 ...... 104 
구버전의 컨슈머 API들 ...... 105 
요약 ...... 106 

CHAPTER 5 카프카 내부 메커니즘 __ 107 
클러스터 멤버십 ...... 107 
컨트롤러 ...... 109 
복제 ...... 110 
요청 처리 ...... 112 
스토리지 ...... 120 
요약 ...... 128 

CHAPTER 6 신뢰성 있는 데이터 전달 __ 129 
신뢰성 보장 ...... 130 
복제 ...... 131 
브로커 구성 ...... 132 
신뢰성 있는 시스템에서 프로듀서 사용하기 ...... 137 
신뢰성 있는 시스템에서 컨슈머 사용하기 ...... 141 
시스템 신뢰성 검사하기 ...... 146 
요약 ...... 149 

CHAPTER 7 데이터 파이프라인 구축하기 __ 151 
데이터 파이프라인 구축 시 고려사항 ...... 152 
카프카 커넥트 vs. 프로듀서/컨슈머 ...... 158 
카프카 커넥트 ...... 159 
카프카 커넥트의 대안 ...... 175 
요약 ...... 176 

CHAPTER 8 크로스 클러스터 데이터 미러링 __ 179 
크로스 클러스터 미러링의 이용 사례 ...... 180 
다중 클러스터 아키텍처 ...... 181 
아파치 카프카의 미러메이커 ...... 194 
다른 크로스 클러스터 미러링 솔루션 ...... 204 
요약 ...... 207 

CHAPTER 9 카프카 관리하기 __ 209 
토픽 작업 ...... 209 
컨슈머 그룹 ...... 215 
동적 구성 변경 ...... 220 
파티션 관리 ...... 224 
메시지 읽기와 쓰기 도구 ...... 233 
클라이언트 ACL ...... 240 
안전하지 않은 작업 ...... 
요약 ...... 243 

CHAPTER 10 카프카 모니터링 __ 245 
메트릭 개요 ...... 245 
카프카 브로커 메트릭 ...... 248 
클라이언트 모니터링 ...... 270 
지연 모니터링 ...... 278 
End-to-End 모니터링 ...... 279 
요약 ...... 280 

CHAPTER 11 스트림 프로세싱 __ 281 
스트림 프로세싱이란? ...... 282 
스트림 프로세싱 개념 ...... 285 
스트림 프로세싱 디자인 패턴 ...... 291 
카프카 스트림즈 사용 예 ...... 300 
카프카 스트림즈: 아키텍처 오버뷰 ...... 309 
스트림 프로세싱 이용 사례 ...... 313 
스트림 프로세싱 프레임워크 선택하기 ...... 315 
요약 ...... 316 

APPENDIX 다른 운영체제에 카프카 설치하기 __ 317 
윈도우 시스템에 설치하기 ...... 317 
맥OS에 설치하기 ...... 322