기술 블로그

PS C:\Users\park7\Downloads> tar -xvzf C:\Users\park7\Downloads\kafka_2.12-2.5.0.tgz -C C:\kafka x kafka_2.12-2.5.0/ x kafka_2.12-2.5.0/LICENSE x kafka_2.12-2.5.0/NOTICE x kafka_2.12-2.5.0/bin/ x kafka_2.12-2.5.0/bin/kafka-delete-records.sh x kafka_2.12-2.5.0/bin/trogdor.sh x kafka_2.12-2.5.0/bin/kafka-preferred-replica-election.sh x kafka_2.12-2.5.0/bin/connect-mirror-maker.sh x kafka_2.12-2.5...

1. 카프카에서 제공하는 카프카 커맨드 라인 툴(command-line tool)들은 카프카를 운영할 때, 가장 많이 접하는 도구 2. 커맨드 라인 툴을 통해 카프카 브로커 운영에 필요한 다양한 명령을 내릴 수 있다. 3. 커맨드 라인 툴을 통해 토픽 관련 명령을 실행할 때 필수 옵션과 선택 옵션이 있다. * 선택 옵션 : 지정하지 않을 시 브로커에 설정된 기본 설정값 또는 커맨드 라인 툴의 기본값으로 대체되어 설정된다. 그러므로, 커맨드 라인 툴을 사용하기 전에 현재 브로커에 옵션이 어떻게 설정되어 있는지 확인한 후에 사용하면, 커맨드 라인 툴 사용시 실수할 확률이 줄어든다.

1) 컨플루언트 플랫폼은 클라우드에서 제공하는 SaaS형 카프카이다. X → 컨플루언트 플랫폼은 온프레미스에서 서버를 가지고 있으면, 이 서버에 설치하는 용도이다. 클라우드에서 제공하는 SaaS형 카프카는 컨플루언트 클라우드이다. 2) SaaS를 사용하면 비용이 반드시 절감된다. X → 단점 중 하나 3) SaaS형 카프카를 사용하더라도 주키퍼는 사용자가 운영해야 한다. X → 위임해서 협력업체가 운영할 수도 있음. 4) AWS MSK는 컨플루언트의 대표적인 클라우드 서비스이다. X → AWS MSK는 AWS에서 제공하는 서비스. 5) SaaS형 카프카를 사용하면, 카프카에 대한 깊은 지식이 없어도 무방하다. X

아파치 카프카는 직접 설치하거나 SaaS형으로 운영하는 방법이 있다. 서비스 운영 형태는 온프레미스, IaaS, PaaS, SaaS가 있다. 온프레미스 또는 IaaS에서 오픈소스 카프카를 설치하거나 기업용 설치형 카프카를 사용할 수 있다. 대표적인 카프카 클러스터 SaaS 서비스로 AWS MSK와 컨플루언트 클라우드가 있다. SaaS로 운영할 경우 인프라 관리 효율화, 모니터링 대시보드 제공, 기본 보안 설정과 같은 장점이 있다. 단점은 서비스 사용 비용, 커스터 마이징 제한, 종속성이 있다.

◎ 장점 인프라 관리의 효율화 : 카프카 클러스터를 상용 환경에서 최소 3대 이상의 서버로 운영한다. 3대 이상의 서버를 모니터링해야하는데 SaaS를 사용할 경우 인프라 운영 관련 역할에서 자유롭다. 모니터링 대시보드 제공 : 브로커들이 제공하는 지표들을 수집하고 적재하고 대시보드화하여 데이터를 시각화 해야 카프카 클러스터를 효과적으로 운영할 수 있는데, SaaS형 카프카에서는 자동화되어 만들어진 클러스터로부터 운영에 필요한 지표들을 수집하고 그래프로 보여주는 옵션이 제공. 보안 설정 ◎ 단점 서비스 사용 비용 커스터 마이징 제한 : SaaS 서비스들은 인프라부터 애플리케이션 설치까지 모든 부분이 자동화 및 업체에서 설정한 아키텍처를 따라감. 클라우드 종속성 : SaaS형 카프카를 구축하기 위해서는 클라..

◎ 클라우드 서비스 - 컨플루언트 컨플루언트는 카프카에 대한 개념을 최초로 생각하고, 아키텍처를 제안, 개발한 인물인 제이 크랩스와 그의 동료들이 설립한 회사 컨플루언트는 50억 달러의 가치를 지녔음. 한화로 6조원. 컨플루언트에서 오픈소스로 공객하고 관리하고 있는 스키마 레지스트리, ksqlDB 등과 같은 소스코드들은 카프카를 활용하는 생태계의 범위를 점차 늘려나가고 있음. ◎ 컨플루언트 클라우드, 컨플루언트 플랫폼 컨플루언트 클라우드 컨플루언트 플랫폼 - 클라운드 기반 카프카 클러스터 - 요구사항에 따라 자동으로 늘려주는 클러스터 리소스 제공 - GCP, AWS 등 클러스터 설치 위치 지정(리전 단위) 가능 - 120개가 넘는 커넥터, ksqlDB, 스키마 레지스트리 서비스 제공 - 99.95% SL..

◎ 카프카 클러스터를 운영하는 방법 아파치 카프카 클러스터를 서버에 직접 설치하고 운영하는 것은 갖아 전통적이고 기본적인 방법 하지만 이 방법은 각종 보안 설정이나 모니터링 도구를 선택하고 설치, 운영할 때는 수많은 선택지 때문에 어려울 수 있다. 이러한 운영상 시행착오를 줄이면서, 최고의 카프카 클러스터를 빠르게 설치하여, 안전하게 운영하기 위해 SaaS를 도입할 수 있다. ◎ 운영 방법에 따른 서비스 형태들 SaaS란 클라우드 서비스 제공업체가 소프트웨어와 인프라를 관리하면서 플랫폼을 제공하는 것을 뜻한다. 사용자는 웹 대시보드나 CLI(Command Line Interface)를 통해 플랫폼의 세부 설정을 간편하게 할 수 있고, 네트워크, 스토리지, 가상화 등 다양한 종류의 운영상 이슈는 업체에서 ..

1) 컨슈머가 가져간 데이터는 파티션에서 삭제된다. X → compact와 delete 정책을 따라서 log 세그먼트 단위로 삭제된다. 2) 카프카에서 데이터 복제의 단위는 토픽이다. X → 카프카에서 데이터 복제의 단위는 파티션이다. → 리더, 팔로워 등 3) 파티션은 1개의 리더 파티션과 1개 이상의 팔로워 파티션으로 이루어져 있다. X → 파티션은 1개의 리더 파티션과 0개 이상의 팔로워 파티션으로 이루어져 있다. → 리더 파티션만 존재할 수 있음. 4) 프로듀서와 컨슈머는 팔로워 파티션과 통신하여 데이터 처리량을 늘릴 수 있다. X → 프로듀서와 컨슈머는 반드시 리더 파티션과 통신해야 한다. 5) 레코드는 타임스탬프, 메시지 키, 메시지 값, 오프셋으로 이루어져 있다. X → 헤더도 있다.(헤더의..