기술 블로그

1. 카프카 생태계 프로듀서, 컨슈머, 스트림즈 → Java 기반 커넥트(소스) : 프로듀서의 역할 커넥트(싱크) : 컨슈머의 역할 2. 브로커, 클러스터, 주키퍼 브로커 : 카프카 클라이언트와 데이터를 주고받기 위해 사용하는 주체이자, 데이터를 분산 저장하여 장애가 발생하더라도 안전하게 사용할 수 있도록 도와주는 애플리케이션 하나의 서버에는 한 개의 카프카 브로커 프로세스가 실행된다. 3대 이상의 브로커 서버를 1개의 클러스터로 묶어서 운영해야한다. 3. 여러개의 카프카 클러스터가 연결된 주키퍼 카프카 클러스터로 실행하기 위해서는 주키퍼가 필요함 주키퍼의 서로 다른 znode에 클러스터를 지정하면 됨 root znode에 각 클러스터별 znode를 생성하고, 클러스터 실행시 root가 아닌 하위 zno..

1. 카프카의 탄생 시간이 지날수록 아키텍처는 거대해졌고, 소스 애플리케이션과 타겟 애플리케이션의 개수가 점점 많아지면서 문제가 생김. 이를 해결하기 위해, 링크드인 데이터팀에서는 데이터 파이프라인의 파편화를 개선하려고 하였지만, 데이터 파이프라인의 복잡도를 낮춰주는 아키텍처가 되지는 못함. 결국 링크드인의 데이터팀은 신규 시스템을 만들기로 결정했고, 그 결과물이 바로 아파치 카프카다. 링크드인의 내부 데이터 흐름을 개선하기 위해 개발한 것이 카프카다. 2. 메시지 큐 구조를 그대로 살린 카프카 내부 구조 기존에 1:1 매칭으로 개발하고 운영하던 데이터 파이프라인의 커플링으로 인해 한 쪽의 이슈가 다른 한 쪽의 애플리케이션에 영향을 미치곤 했지만, 카프카는 이러한 의존도를 타파하였음. 어느 타깃 애플리케..