Confluent란

The Complete Event Streaming Platform for Apache Kafka®

 

 

이벤트 스트리밍

 

데이터량이 급격히 증가하면서 빅데이터 처리 기술이 매우 중요해졌습니다.
기존의 데이터 처리방식은 시스템 A가 데이터를 DB나 파일에 저장하면, 다른 시스템 B,C,D가 그 파일을 읽는 순서 였지만
전송속도 증가와 빅데이터 처리기술의 고도화로 파일 저장과 동시에 읽을수 있게 되었으며,
이런 기술을 "이벤트 스트리밍" 서비스라고 부릅니다..

 

기존 정지되어 있는 데이터(Relational DB)가 움직이는 데이터(Event Streaming)로 바뀌고
Static, Slow, Batch Processing이 Realtime Event Processing 으로 바뀌고 있습니다.

 

 

 

 

아파치 카프카

 

아파치 카프카는 'LinkedIn'에서 개발 후 2010년 오픈소스화한 "이벤트 스트리밍 플랫폼"이며,
특정한 이벤트 전송통로(파이프라인)를 통해 여러 시스템간의 연결을 통합,관리하는 프로그램 입니다.

 

즉, 이벤트 전송(Pubilsh & Subscribe), 이벤트 저장, 이벤트 처리분석 등 대량의 데이터를 분산관리하는 시스템입니다.
높은 처리량(High throughput), 낮은 지연(Low latency), 실시간처리(realtime processing) 가 장점입니다.

 

 

컨플루언트 플랫폼 주요 기능

 

컨플루언트는 아파치 카프카의 창시자들에 의해 만들어진 Event streaming 솔루션이며,
리스크 제거, Time to market 가속화 등 아파치 카프카를 기업용으로 확장한 소프트웨어 입니다.

개발자 측면

Java 뿐 아니라 다양한 랭귀지(C, .Net, Python)로 개발 가능하며,
REST Proxy 통해 모든 어플리케이션 연결과 MQTT Proxy 통해 IoT 데이터 소스 연결이 가능합니다.
100+ Pre-built Connectors 이용 가능하고, 표준 Schema 통한 개발로 운영 복잡성을 제거했습니다.
익숙한 SQL Syntax (ksqlDB) 사용하여 개발이 용이하고, 아키텍처를 단순화 시켰습니다.

운영자 측면

GUI 기반의 Confluent Control Center 제공하여 중앙에서 전체 모니터링 및 운영관리가 가능합니다.
kubernates 위에 설치가 가능하고 ansible playbooks 등 DevOps 를 통한 운영 자동화를 제공됩니다.
Auto Data Balancer로 전체 브로커들의 처리량을 dynamic하게 최적화하고,
Tier Storage 통한 스토리지 비용 효율화를 제공합니다.

아키텍트 측면

Role based Access Control, Secret Protection 등 기밀 및 규정을 준수합니다.
Replicator를 통한 Multi-region 클러스터로 단순화된 재해복구체계 구현하여 빠른 복구가 가능합니다.

 

 

 

 

 

Confluent Connectors

 

컨플루언트는 100개 이상의 데이터 소스와 즉시 연결 가능한 커넥터를 제공합니다

https://www.confluent.io/hub