kafka connector - nginx access log 연결

구성환경

• WSL2(Ubuntu 20.04.3 LTS)
• zookeeper
• kafka broker
• kafka connect

 

nginx 설치

## install nginx
sudo atp intall nginx

## start nginx
sudo service nginx start

config 파일 : /etc/nginx/nginx.conf

access log 파일 : /var/log/nginx/access.log

 

source properties 설정

nginx-accesslog.properties 파일 내용

name=nginx-accesslog-source
connector.class=FileStreamSource
tasks.max=1
file=/var/log/nginx/access.log
topic=nginx-accesslog

connector 생성 및 worker 기동

timestamp+incrementing mode의 worker를 실행합니다.

bin/connect-standalone.sh config/connect-standalone.properties nginx-accesslog.properties

consumer 메시지 수신 확인

bin/kafka-console-consumer.sh --bootstrap-server 172.24.118.82:9092 --topic nginx-accesslog

access log 데이터 추가

브라우저로 http://localhost 에 접속합니다.

consumer 추가 메시지 확인

consumer 창에서 accesslog 메시지가 출력되는지 확인합니다.

sink porperties 설정

name=nginx-accesslog-sink
connector.class=FileStreamSink
tasks.max=1
file=/var/log/nginx/access.log.sink
topics=nginx-accesslog