Cloud/Kubernetes
원본 글 보기

[Kafka] 쿠버네티스에 Kafka 설치하기

[Kafka] 쿠버네티스에 Kafka 설치하기

Kubernetes 카프카 설치

쿠버네티스에 카프카 설치

OS 우분투(Ubuntu 20.04)

*카프카 :

bin packing(1개 가상/물리 장비에서 여러 application을 돌리는 것)을 통해 리소스 관리 효율화

1. Helm apt-get으로 설치

& 기본 Repository 추가

Apt로 Helm Install 하기



curl https://baltocdn.com/helm/signing.asc | sudo apt-key add -
sudo apt-get install apt-transport-https --yes
echo "deb https://baltocdn.com/helm/stable/debian/ all main" | sudo tee /etc/apt/sources.list.d/helm-stable-debian.list
sudo apt-get update
sudo apt-get install helm


기본 Repository 추가

명령어를 실행하여 repository를 추가한다.



helm repo add incubator https://charts.helm.sh/incubator

helm의 설치 관리자를 위한 사용자 시스템을 생성한다.

설치가 완료되면 helm 을 초기화하고 tiller를 설치할건데, 그전에 tiller 서비스 account를 생성하고 cluster-admin role을 부여한다.(계정에 역할 부여)



kubectl --namespace kube-system create sa tiller




kubectl create clusterrolebinding tiller --clusterrole cluster-admin --serviceaccount=kube-system:tiller

설치 완료 !

helm의 repository를 추가한다.



helm repo add incubator https://charts.helm.sh/stable

repository를 update



helm repo update

kubernetes에 kafka라는 namespace를 생성한다.



kubectl create ns kafka

여기까지 helm 설치 및 업데이트 완료.

2. kafka 설치

helm으로 kafka를 설치한다.



helm install my-kafka --namespace kafka incubator/kafka

kafka namespace를 조회하여 정상 설치됐음을 확인한다.



kubectl get all -n kafka


이제 위에서 생성한 kafka를 외부 LoadBalancer로 변경한다.

위에서 생성한 kafka를 외부 LoadBalancer로 변경한다.

my-kafka 파일 수정.



kubectl -n kafka edit svc my-kafka

type을 ClsuterIP 에서 LoadBalancer로 변경한다.

이후 저장 버튼을 눌러 수정을 완료한다.

kafka pod 올리기

위에서 설치한 kafka와 별도로, 내 프로젝트를 중개할 kafka를 pod로 올려야 한다.

다음과 같은 yaml 파일을 생성한다.



minjikafka.yaml (이름은 자기 맘대로!)
apiVersion: v1
kind: Pod
metadata:
name: minjikafka
  namespace: kafka
spec:
containers:
- name: kafka
    image: confluentinc/cp-kafka:5.0.1
command:
- sh
     - -c
     - "exec tail -f /dev/null"

위 파일 생성 후, cmd에서 위 파일이 있는 위치에서 다음 명령어를 수행한다.



kubectl -n kafka create -f [파일명].yaml
ex) kubectl -n kafka create -f minjikafka.yaml

kubectl 의 kafka라는 namespace에 minjikafka 이름으로 pod가 생성된다.

kubectl get pod -n kafka 명령어로 확인 해보자.

kafka 올리기 완료!

📍 Pending error

내 클러스터의 경우에는 PVC/PV 설정이 되어 있지 않아,

minjikafka가 pending되는 문제가 있었다.

이 경우 PVC/PV를 추가 해주거나

(나의 경우 이 방법으로 해결! 해결 과정은 아래 포스팅 참고)

https://blog.naver.com/ghdalswl77/222407557527

또는 helm chart 설치 시, emptydir을 사용하도록 설정을 바꿔 주면 된다.