해당 문서는 2023년 7월에 작성된 문서입니다.
kafka.common.InconsistentClusterIdException은 Apache Kafka에서 발생하는 클러스터 ID 불일치해서 발생한 오류입니다. 이 오류는 일반적으로 Kafka 브로커에 설정된 클러스터 ID와 실제 클러스터 ID가 일치하지 않을 때 발생합니다. 클러스터 ID는 Kafka 클러스터의 고유 식별자이며, 모든 브로커가 동일한 클러스터 ID를 가지고 있어야 합니다. 여기서 대표적인 2가지 해결 방법에 대해서 정리하였습니다.
Error Message
[2023-06-28 01:42:38,833] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID Ap0xMkY_TIyx9Ntyq565Pg doesn't match stored clusterId Some(LwpqAcZKQXCPnInmC0w2sw) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong
해결방법 1 : Cluster ID 일치 시키기
먼저 Kafka 클러스터에 속한 모든 브로커의 클러스터 ID를 확인합니다. 브로커의 설정 파일 (server.properties)을 열고 cluster.id 항목을 찾아 현재 클러스터 ID를 확인합니다. 모든 브로커가 동일한 클러스터 ID를 가져야 합니다. 각각의 브로커의 meta.properties 파일에 cluster id를 통일시킨 후 카프카를 재시작한다.
해결방법 2 : meta.properties 파일 삭제
1번 방법으로 해결이 안 될 경우 각각의 브로커에서 meta.properties 파일을 삭제하고 재시작합니다.
rm -f (log.dirs명시한 경로)/meta.properties마지막으로
위 2가지 해결 방안은 일시적인 해결책입니다. 즉 해당 Exception이 또 발생할 가능성이 있습니다. 좀 더 카프카에 대해 배워서 해당 문제가 또 발생하지 않는 방법을 찾아야 될 것 같습니다. 보다 더 좋은 해결책을 아신다면 공유 부탁드립니다.