아파치 카프카 클러스터를 운영하는 방법

◎ 카프카 클러스터를 운영하는 방법

• 아파치 카프카 클러스터를 서버에 직접 설치하고 운영하는 것은 갖아 전통적이고 기본적인 방법
• 하지만 이 방법은 각종 보안 설정이나 모니터링 도구를 선택하고 설치, 운영할 때는 수많은 선택지 때문에 어려울 수 있다.
• 이러한 운영상 시행착오를 줄이면서, 최고의 카프카 클러스터를 빠르게 설치하여, 안전하게 운영하기 위해 SaaS를 도입할 수 있다.

 

◎ 운영 방법에 따른 서비스 형태들

• SaaS란 클라우드 서비스 제공업체가 소프트웨어와 인프라를 관리하면서 플랫폼을 제공하는 것을 뜻한다.
• 사용자는 웹 대시보드나 CLI(Command Line Interface)를 통해 플랫폼의 세부 설정을 간편하게 할 수 있고, 네트워크, 스토리지, 가상화 등 다양한 종류의 운영상 이슈는 업체에서 관리하기 때문에 매우 편리하게 사용할 수 있다.

 

◎ 설치 방법별 서비스 형태 종류 및 서비스 형태별 카프카 운영 방법

서비스 종류	특징	카프카 운영 방법
온프레미스(on-premise)	사용자가 자체적으로 보유한 전산실 서버에 직접 설치해 운영. 기업 상황에 맞게 하드웨어를 커스터마이징 구성 가능. 초기 도입 비용, 운영 및 관리를 위한 유지보수 비용 발생	물리장비(서버)를 구매, 네트워크 설치 구성 수행. 물리장비 운영체제 설치 수행. 오픈소스 카프카를 설치, 운영. 또는 기업용 카프카(컨플루언트 플랫폼 등) 설치, 운영.
IaaS(Infrastructure-as-a-Service)	물리/가상 컴퓨팅 리소스를 발급받아서 사용. 온라인 스토리지, 데이터베이스 등도 포함됨. 사용자가 운영체제, 애플리케이션 등을 직접 설정, 배포, 운영.	AWS, GCP와 같은 클라우드 서비스를 통해 물리/가상 컴퓨팅 리소스를 발급. 컴퓨팅 리소스에 오픈소스 카프카 설치, 운영. 또는 기업용 카프카(컨플루언트 플랫폼 등) 설치, 운영.
PaaS(Platform-as-a-Service)	애플리케이션 개발 및 실행 환경 제공. 사용자는 컴퓨팅 리소스 관리를 신경쓰지 않아도 됨.
SaaS(Software-as-a-Service)	소프트웨어의 배포, 실행을 업체에서 관리하고 기능을 제공. 소프트웨어 관리를 업체에 위임하고 기능만 사용할 때 유용.	컨플루언트 클라우드 또는 AWS MSK는 대표적인 SaaS. 다양한 주변 생태계(ksqlDB, 모니터링 도구 등)를 옵션으로 제공.

 

 

◎ 오픈 소스 카프카를 직접 설치하여, 운영하는 경우

• IaaS 또는 온프레미스 환경에서 카프카 클러스터를 설치하여, 운영하는 것이 가장 흔한 운영 방식.
• 카프카는 전송된 데이터를 모두 파일 시스템에 저장하고, 대규모 데이터 통신이 일어나기 때문에 고성능의 하드웨어를 사용해야함.
•