[Kafka] 카프카 옵션 셋팅

추천 설정

log.retention.hours = default 168시간 (1주일)

데이터를 저장하는 기간

=> 디스크 풀이 쉽게 날 수 있음

=> 72시간 추천 (3일)  토일월!!

 

delete.topic.enable

토픽 삭제를 허용하는지 여부

=> 디스크 풀이 났을 때 급하게 토픽을 지우는 상황이 올 수 있음

=> true로 설정해 놔야 바로 지워짐

 

allow.auto.create.topics

프로듀서가 해당 토픽이 없을 시 클러스터에 토픽을 생성

=> 사용 상 오류 방지를 위해 disable 추천

=> 지워하 하는 토픽인데 계속 생성될 수 있음

 

log.dirs = default tmp로 되어 있음

카프카 데이터 저장 디렉토리

=> 별도 디렉토리로 운영할 것

 

프로듀서

Ack = 0 빠른 전송, 메시지 손실 가능성 => 카프카가 받았는지 확인하지 않음(0.29ms)

Ack = 1 빠른 전송, 약간의 메시지 손실 가능성 => 카프카가 받았는지 확인(1.05ms)

Acl = All 느린 전송, 메시지 손실 없음 => 팔로워가 받았는지까지 확인 (2.05ms)

 

프로듀서 설정

buffer.memory

batch.size

linger.ms

메시지 사이즈 또는 목적에 따라 적절한 튜닝 필요

 

어떤 지표를 우선순위로 하는지에 따라 다른 설정 값

Throughput

batch.size->increase, linger.ms->increase, compression.type -> sappy, lz4, acks ->1

 

Latency

compression.type -> none

linger.ms->0, acks->0

 

Durability

batch.size -> increate, linger.ms -> increase, acks->all

 

 

참고

[IBM Developer Day 2019] 카프카, 어떻게 하면 더 효율적으로 사용할까?_고승범/카카오