Search/Kafka
원본 글 보기

[Zookeeper] Zookeeper란? 3.8 설치와 앙상블 구성, Znode

1. Zookeeper 란?

분산 시스템을 위한 분산 코디네이션 이다.

쉽게 말해 분산 시스템에서 중요한 점은 분산된 시스템 간 정보 공유, 클러스터 내 서버의 상태, 서버 간 동기화 작업 등이 있는데, 주키퍼가 이를 관리해주는 것이다.

2 Zookeeper 의 주요 기능과 특징

1) ZNodes

ZooKeeper는 파일 시스템과 유사하게 구성된 ZNodes 를 통해 분산 프로세스가 서로 상호 작용할 수 있다.

znodes 라는 저장공간으로 구성되어 있는데, 파일 시스템의 디렉터리 구조와 유사하다.

(ZooKeeper 데이터는 메모리에서 처리하기 때문에, 일반 파일 시스템보다 빠르다.)

네임스페이스의 각 znode 에 저장된 데이터는 atomic read/write를 수행한다.

read는 znode 와 연결된 모든 데이터를 가져오고, write는 모든 데이터를 덮어쓴다. 각 znode 에는 작업을 제한하는 ACL 이 있다.

2) 클러스터링

주키퍼는 홀수로 구성된 클러스터로 구성한다. 클러스터의 과반수 이상이 정상적으로 동작하면, 주키퍼는 정상적으로 작동하여 SPOF(single point of failure)가 발생하지 않도록 설계되었다.

3) 데이터베이스 : 주키퍼는 키-값 기반의 데이터베이스를 제공한다.. 주키퍼는 데이터베이스를 사용하여 분산 시스템의 구성, 동기화, 상태 관리등을 수행한다.

4) 복제 : 주키퍼는 데이터베이스의 모든 데이터를 복제한다. 그래서 주키퍼 클러스터의 일부 서버가 장애가 발생하더라고, 데이터 손실 없이 시스템을 유지할 수 있다.

주키퍼 클러스터를 구성하는 모든 서버들은 서로서로 같은 데이터를 복제한 것을 가지고 있고, 이렇게 서로 복제된 것을 가진 ZooKeeper 에서는 앙상블(ensemble)로 이루어져있다. (Leader 1대와 N개의 Follower로 구성)

클러스터를 구성하는 서버들 중 과반수(quorum) 이상이 유지된다면, 장애 상황에도 주키퍼 서비스는 유지된다.

클라이언트가 연결된 서버에 대한 TCP 연결이 끊어지면 Cluster 내 다른 서버에 연결한다.

3. 주키퍼가 사용되는 곳

보통 카프카의 브로커의 상태 관리를 위해 주키퍼를 사용한다.

Producer와 Consumer는 카프카의 브로커 정보를 가지고 있다.

만약 서버가 스케일 아웃 되는 등 동적으로 브로커의 상태가 변경되는 경우, 이를 주키퍼가 Producer와 Consumer 에게 알려준다. 일반적으로 카프카 메시지 브로커와 Zookeeper는 1:1로 구성되며 만약 Producer가 특정 카프카 브로커로 메시지를 생산했을 때 이를 실패하면 주키퍼가 다른 정상 서버로 Producer와 Consumer에게 브로커를 알리는 방식으로 운영된다.

4. 주키퍼 설치

보안 이슈로 인해 zookeeper 3.8 이상의 버전 설치를 추천한다.

주키퍼 1대 설치, 주키퍼 앙상블 설치 둘 다 아래 가이드를 참고하면 된다.



useradd -m -s /bin/bash moa
sudo passwd moa
cat /etc/passwd

java 설치



apt install openjdk-8-jre-headless

zookeeper 3.8 설치



wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz

tar xvzf apache-zookeeper-3.8.4-bin.tar.gz

혹시 404 뜨면 다음 페이지에서 3.8 버전 이상의 주키퍼를 설치하면 됩니다,

https://dlcdn.apache.org/zookeeper/

설치 후, 설치된 경로에서 zookeeper 파일 안의 conf 파일 안으로 이동하고

예시 설정 파일인 zoo_sample.cfg 파일을 복사하여 설정파일 생성.



cp ./zoo_sample.cfg ./zoo.cfg

설정파일 내용 편집



vi ./zoo.cfg



dataDir=/var/lib/zookeeper
...생략...
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true

datadir 에 명시할 경로가 없다면 mkdir 로 생성해야 한다.

앙상블 설치라면, zoo.cfg 파일에 (위치 상관없지만 가장 마지막 줄이 읽기 쉽습니다) 다음처럼 각 서버 ip 와 포트번호를 기입한다.



server.1=$host:${서버1IP}:2181
server.2=$host:${서버1IP}:2181
server.3=$host:${서버1IP}:2181

이때 host 는 zookeeper 서버에서 검색/접근이 가능한 hostname 또는 IP주소여야만 한다.

그리고 자신의 dataDir 하위에 있는 myid 파일에 server number 를 기록해야한다. (앙상블 설정일 경우에만)

첫번째 서버에 1, 두번째 서버에 2, 세번째 서버에 3 을 입력 하면 된다.

주키퍼 실행



{주키퍼 설치 경로}/bin/zkServer.sh start {주키퍼 설치 경로}/conf/zoo.cfg

정상 동작 확인을 위해

ps -ef 혹은 netstat 로 2181 포트 리슨 중인지 확인한다.

현재 zookeeper 버전 확인



{주키퍼설치 경로}/bin/zkServer.sh version


Zookeeper 설정 파일 옵션

참고: https://zookeeper.apache.org/doc/r3.8.4/index.html

주키퍼 설정 파일에 이런 저런 옵션이 많은데,

zookeeper 3.4.0 이상에서는 오래된 스냅샷 및 트랜잭션 로그를 자동으로 삭제 할 수 있는 옵션이 있다.

  • autopurge.snapRetainCount : (No Java system property) 가지고 있을 스냅샷과 트랜잭션로그의 갯수. 디폴트3, 최소3

  • autopurge.purgeInterval : (No Java system property) purge 할 시간. 디폴트0. 1 이상의 양의정수로 설정 할 경우 해당 숫자의 시간 단위로 실행.

재기동을 하지 않으면 해당 설정은 적용되지 않는다.

주요 Zookeeper CLI

znode 생성



create /rootnode
create /rootnode/node

node 에 hello 라는 내용 쓰기



set /rootnode/node hello

znode 읽기



get /rootnode/node

znode ls



ls