SQL 문으로 실시간 데이터 스트림을 즉시 처리

 

스트림 처리를 사용하면 데이터 스트림에서 즉각적인 통찰력을 얻을 수 있지만 이를 지원하기 위한 인프라를 설정하는 것은 복잡할 수 있습니다. 이것이 Confluent 가 스트림 처리 애플리케이션을 위해 특별히 구축된 데이터베이스인 ksqlDB를 개발한 이유 입니다.

 

KSQL은 streaming SQL 엔진으로서 SQL문법으로 real time application을 작성할 수 있다.

Kafka용 SQL엔진인 KSQL을 사용하면 실시간으로 데이터 스트림을 분석하는 SQL 쿼리를 작성할 수 있다.

KSQL은 Kafka Streams 기반이라 쿼리를 제출하면이 쿼리가 구문 분석되고 Kafka Streams 토폴로지가 빌드되고 실행된다. 이는 KSQL이 Kafka Streams가 제공하는 것과 유사한 개념을 제공하지만 모두 SQL 언어 (스트림 ( KStreams ), 테이블 ( KTables ), 조인, 윈도우 기능 등)로 제공한다. 

 

 

스트림 처리 아키텍처 간소화

ksqlDB는 데이터 스트림을 수집하고 강화하며 새로운 파생 스트림 및 테이블에 대한 쿼리를 제공하기 위한 단일 솔루션을 제공합니다. 즉, 배포, 유지 관리, 확장 및 보안을 위한 인프라가 줄어듭니다. 데이터 아키텍처에서 덜 움직이는 부분을 사용하면 정말 중요한 것인 혁신에 집중할 수 있습니다.

 

간단한 SQL 구문으로 실시간 애플리케이션 구축

친숙하고 가벼운 SQL 구문을 통해 관계형 데이터베이스에서 기존 앱을 구축할 때와 마찬가지로 쉽고 친숙하게 실시간 애플리케이션을 구축할 수 있습니다. Kafka Streams는 ksqlDB와 어떻게 비교됩니까? 잘. ksqlDB는 실시간 데이터 스트림을 강화, 변환 및 처리하기 위한 가볍고 강력한 Java 라이브러리인 Kafka Streams를 기반으로 구축되었습니다. 핵심 에 Kafka Streams 가 있다는 것은 ksqlDB가 잘 설계되고 쉽게 이해할 수 있는 추상화 계층을 기반으로 구축되었음을 의미합니다. 이제 초보자와 전문가 모두 재미있고 접근 가능한 방식으로 Kafka의 힘을 쉽게 잠금 해제하고 완전히 활용할 수 있습니다.

 

도커로 ksqlDB 설치하기

 

도커로 ksqlDB 설치하기

1. 독립 실행형 ksqlDB 가져오기 ksqlDB는 Apache Kafka®에서 실행되므로 Kafka가 실행되고 있어야 합니다. 본 문서에서는 zookeeper, kafka broker는 설치되었다고 가정하고 ksqlDB 설치에 대해서만 설명합니다..

yooloo.tistory.com

ksqlDB - Events

 

ksqlDB - Events

이벤트란? ksqlDB는 스트림 처리 애플리케이션을 위해 만들어진 데이터베이스입니다. 스트림 처리의 주요 초점은 이벤트의 무제한 스트림에 대한 계산을 모델링하는 것입니다. 발생하고 기록된

yooloo.tistory.com

ksqlDB - stream vs table

 

ksqlDB - stream vs table

스트림과 테이블이란 무엇입니까? 스트림과 테이블은 모두 연속 데이터가 있는 Kafka topic의 래퍼입니다. 스트림은 세상에서 발생하는 이벤트를 캡처한 데이터를 나타내며 다음과 같은 특징이 있

yooloo.tistory.com

ksqlDB - Stream Processing

 

ksqlDB - Stream Processing

스트림 처리  Apache Kafka® 주제에 대해 스키마를 사용하여 컬렉션을 만드는 것은 유용하지만, 애플리케이션을 만드는 것 자체로는 유용성이 제한됩니다. 컬렉션을 선언하면 현재 형식의 이벤트

yooloo.tistory.com

 

 

'ksqlDB' 카테고리의 다른 글

ksql - Materialized Views  (0) 2022.01.12
ksqlDB - stream vs table  (0) 2022.01.12
ksqlDB - Stream Processing  (0) 2022.01.12
도커로 ksqlDB 설치하기  (0) 2022.01.11
ksqlDB - Events  (0) 2022.01.11

+ Recent posts