Confluent
Confluent는 Apache Kafka를 기반으로 하는 상용 데이터 스트리밍 플랫폼 및 해당 플랫폼을 개발한 소프트웨어 기업을 지칭한다. 링크드인(LinkedIn)에서 오픈 소스 Kafka를 처음 설계하고 개발한 제이 크렙스(Jay Kreps), 네하 나르케데(Neha Narkhede), 준 라오(Jun Rao)가 설립했다. 기업이 실시간 이벤트 스트리밍 데이터를 더 쉽게 구축하고 운영할 수 있도록 도구를 제공하는 데 목적이 있다.
주요 제품 및 구성 요소
- Confluent Cloud: 인프라 관리 및 유지보수 부담을 제거한 완전 관리형(Fully Managed) 클라우드 네이티브 서비스다. AWS, Google Cloud, Azure 환경에서 제공된다.
- Confluent Platform: 온프레미스(On-Premise) 또는 사용자의 자체 클라우드 인프라에 직접 설치하여 운영하는 엔터프라이즈급 소프트웨어다.
- Schema Registry: Apache Avro, Protobuf, JSON Schema 기반의 데이터 스키마를 중앙 집중식으로 저장, 관리하고 데이터 호환성을 강제하는 서비스다.
- ksqlDB: 별도의 애플리케이션 개발 없이 SQL 문법을 사용하여 실시간으로 스트리밍 데이터를 쿼리하고 처리할 수 있는 이벤트 스트리밍 데이터베이스다.
- 사전 구축된 커넥터(Pre-built Connectors): 기존 데이터베이스, 클라우드 스토리지(S3 등), 검색 엔진(Elasticsearch 등)과 데이터를 연결하기 위해 즉시 사용 가능한 수십 개의 플러그인을 제공한다.
- Control Center: Kafka 클러스터의 상태, 데이터 흐름, 토픽 등을 시각적으로 모니터링하고 관리할 수 있는 웹 기반 그래픽 사용자 인터페이스(GUI)다.
플랫폼 비교
데이터 스트리밍 아키텍처 구축 시 주로 고려되는 상용 Confluent 솔루션과 오픈 소스 Apache Kafka의 비교는 다음과 같다.
| 특징 | Confluent | 오픈 소스 Apache Kafka |
|---|---|---|
| 인프라 및 운영 | 완전 관리형 클라우드 서비스(SaaS) 제공 | 사용자가 직접 서버 구성, 설치, 운영, 패치 수행 |
| 모니터링 및 GUI | Control Center를 통한 시각적 대시보드 기본 제공 | 기본 UI 없음 (CLI 명령어 또는 서드파티 툴 사용) |
| 스키마 관리 | Schema Registry 기본 통합 및 지원 | 미제공 (사용자가 별도로 연동하거나 구축해야 함) |
| 데이터 연동(Connect) | 120개 이상의 검증된 커넥터 사전 제공 | Kafka Connect 프레임워크만 제공 (커넥터 개별 확보 필요) |
| 실시간 데이터 처리 | ksqlDB 및 Kafka Streams 통합 지원 | Kafka Streams 라이브러리 제공 (ksqlDB는 미포함) |
| 기술 지원 및 보안 | 서비스 수준 협약(SLA), 엔터프라이즈 기술 지원, RBAC(역할 기반 접근 제어) 제공 | 오픈 소스 커뮤니티 의존, 기본적인 보안 기능만 내장 |
출처
- Confluent, “Confluent Documentation” (docs.confluent.io).
- Gwen Shapira, Todd Palino, Rajini Sivaram, Kriti Pramod, Kafka: The Definitive Guide, O’Reilly Media. (Sections detailing the broader Kafka ecosystem and Confluent enhancements).
- Ben Stopford, Designing Event-Driven Systems, O’Reilly Media.