기술 블로그

PS C:\Users\park7\Downloads> tar -xvzf C:\Users\park7\Downloads\kafka_2.12-2.5.0.tgz -C C:\kafka x kafka_2.12-2.5.0/ x kafka_2.12-2.5.0/LICENSE x kafka_2.12-2.5.0/NOTICE x kafka_2.12-2.5.0/bin/ x kafka_2.12-2.5.0/bin/kafka-delete-records.sh x kafka_2.12-2.5.0/bin/trogdor.sh x kafka_2.12-2.5.0/bin/kafka-preferred-replica-election.sh x kafka_2.12-2.5.0/bin/connect-mirror-maker.sh x kafka_2.12-2.5...

1. 카프카에서 제공하는 카프카 커맨드 라인 툴(command-line tool)들은 카프카를 운영할 때, 가장 많이 접하는 도구 2. 커맨드 라인 툴을 통해 카프카 브로커 운영에 필요한 다양한 명령을 내릴 수 있다. 3. 커맨드 라인 툴을 통해 토픽 관련 명령을 실행할 때 필수 옵션과 선택 옵션이 있다. * 선택 옵션 : 지정하지 않을 시 브로커에 설정된 기본 설정값 또는 커맨드 라인 툴의 기본값으로 대체되어 설정된다. 그러므로, 커맨드 라인 툴을 사용하기 전에 현재 브로커에 옵션이 어떻게 설정되어 있는지 확인한 후에 사용하면, 커맨드 라인 툴 사용시 실수할 확률이 줄어든다.

1) 컨플루언트 플랫폼은 클라우드에서 제공하는 SaaS형 카프카이다. X → 컨플루언트 플랫폼은 온프레미스에서 서버를 가지고 있으면, 이 서버에 설치하는 용도이다. 클라우드에서 제공하는 SaaS형 카프카는 컨플루언트 클라우드이다. 2) SaaS를 사용하면 비용이 반드시 절감된다. X → 단점 중 하나 3) SaaS형 카프카를 사용하더라도 주키퍼는 사용자가 운영해야 한다. X → 위임해서 협력업체가 운영할 수도 있음. 4) AWS MSK는 컨플루언트의 대표적인 클라우드 서비스이다. X → AWS MSK는 AWS에서 제공하는 서비스. 5) SaaS형 카프카를 사용하면, 카프카에 대한 깊은 지식이 없어도 무방하다. X

◎ 클라우드 서비스 - 컨플루언트 컨플루언트는 카프카에 대한 개념을 최초로 생각하고, 아키텍처를 제안, 개발한 인물인 제이 크랩스와 그의 동료들이 설립한 회사 컨플루언트는 50억 달러의 가치를 지녔음. 한화로 6조원. 컨플루언트에서 오픈소스로 공객하고 관리하고 있는 스키마 레지스트리, ksqlDB 등과 같은 소스코드들은 카프카를 활용하는 생태계의 범위를 점차 늘려나가고 있음. ◎ 컨플루언트 클라우드, 컨플루언트 플랫폼 컨플루언트 클라우드 컨플루언트 플랫폼 - 클라운드 기반 카프카 클러스터 - 요구사항에 따라 자동으로 늘려주는 클러스터 리소스 제공 - GCP, AWS 등 클러스터 설치 위치 지정(리전 단위) 가능 - 120개가 넘는 커넥터, ksqlDB, 스키마 레지스트리 서비스 제공 - 99.95% SL..

◎ 카프카 클러스터를 운영하는 방법 아파치 카프카 클러스터를 서버에 직접 설치하고 운영하는 것은 갖아 전통적이고 기본적인 방법 하지만 이 방법은 각종 보안 설정이나 모니터링 도구를 선택하고 설치, 운영할 때는 수많은 선택지 때문에 어려울 수 있다. 이러한 운영상 시행착오를 줄이면서, 최고의 카프카 클러스터를 빠르게 설치하여, 안전하게 운영하기 위해 SaaS를 도입할 수 있다. ◎ 운영 방법에 따른 서비스 형태들 SaaS란 클라우드 서비스 제공업체가 소프트웨어와 인프라를 관리하면서 플랫폼을 제공하는 것을 뜻한다. 사용자는 웹 대시보드나 CLI(Command Line Interface)를 통해 플랫폼의 세부 설정을 간편하게 할 수 있고, 네트워크, 스토리지, 가상화 등 다양한 종류의 운영상 이슈는 업체에서 ..

1) 컨슈머가 가져간 데이터는 파티션에서 삭제된다. X → compact와 delete 정책을 따라서 log 세그먼트 단위로 삭제된다. 2) 카프카에서 데이터 복제의 단위는 토픽이다. X → 카프카에서 데이터 복제의 단위는 파티션이다. → 리더, 팔로워 등 3) 파티션은 1개의 리더 파티션과 1개 이상의 팔로워 파티션으로 이루어져 있다. X → 파티션은 1개의 리더 파티션과 0개 이상의 팔로워 파티션으로 이루어져 있다. → 리더 파티션만 존재할 수 있음. 4) 프로듀서와 컨슈머는 팔로워 파티션과 통신하여 데이터 처리량을 늘릴 수 있다. X → 프로듀서와 컨슈머는 반드시 리더 파티션과 통신해야 한다. 5) 레코드는 타임스탬프, 메시지 키, 메시지 값, 오프셋으로 이루어져 있다. X → 헤더도 있다.(헤더의..

카프카 클러스트는 브로커들의 묶음. 클러스터는 1대 이상의 브로커로 이루어져 있다. 카프카 브로커를 실행하기 위해서는 주키퍼가 필수(3.0.0부터는 제외 가능) 프로듀서에서 전송된 데이터는 디렉토리에 저장 브로커는 복제, 컨트롤러, 데이터 삭제, 오프셋 저장, 코디네이터 역할 수행 1개의 주키퍼에는 여러 카프카 클러스터를 운영할 수 있음 토픽은 1개 이상의 파티션으로 구성되어 있음 파티션은 FIFO구조 이지만, 컨슈머가 데이터를 가져가더라도 바로 삭제되지 않음 컨슈머의 처리량을 늘리기 위해 파티션의 개수를 늘릴 수 있음

◎ 클라이언트 메타데이터 카프카 클라이언트는 통신하고자 하는 리더 파티션의 위치를 알기 위해 데이터를 주고(프로듀서) 받기(컨슈머) 전에 메타데이터를 브로커로부터 전달받는다. 메타데이터는 다음과 같은 옵션을 통해 리프레쉬된다. 카프카 프로듀서 메타데이터 옵션 1) metadata.max.age.ms : 메타데이터를 강제로 리프레쉬하는 간격. 기본값은 5분. 2) metadata.max.idle.ms : 프로듀서가 유휴 상태일 경우 메타데이터를 캐시에 유지하는 기간. 예를 들어, 프로듀서가 특정 토픽으로 데이터를 보낸 이후 지정한 시간이 지나고 나면 장제로 메타데이터를 리프레쉬. 기본값은 5분. ◎ 클라이언트 메타데이터가 이슈가 발생한 경우 카프카 클라이언트는 반드시 리더 파티션과 통신해야 한다. 만약 메..