Kubernetes 카프카 설치
쿠버네티스에 카프카 설치
OS 우분투(Ubuntu 20.04)
*카프카 :
bin packing(1개 가상/물리 장비에서 여러 application을 돌리는 것)을 통해 리소스 관리 효율화
1. Helm apt-get으로 설치
& 기본 Repository 추가
curl https://baltocdn.com/helm/signing.asc | sudo apt-key add -
sudo apt-get install apt-transport-https --yes
echo "deb https://baltocdn.com/helm/stable/debian/ all main" | sudo tee /etc/apt/sources.list.d/helm-stable-debian.list
sudo apt-get update
sudo apt-get install helm
기본 Repository 추가
명령어를 실행하여 repository를 추가한다.
helm repo add incubator https://charts.helm.sh/incubator
helm의 설치 관리자를 위한 사용자 시스템을 생성한다.
설치가 완료되면 helm 을 초기화하고 tiller를 설치할건데, 그전에 tiller 서비스 account를 생성하고 cluster-admin role을 부여한다.(계정에 역할 부여)
kubectl --namespace kube-system create sa tiller
kubectl create clusterrolebinding tiller --clusterrole cluster-admin --serviceaccount=kube-system:tiller
설치 완료 !
helm의 repository를 추가한다.
helm repo add incubator https://charts.helm.sh/stable
repository를 update
helm repo update
kubernetes에 kafka라는 namespace를 생성한다.
kubectl create ns kafka
여기까지 helm 설치 및 업데이트 완료.
2. kafka 설치
helm으로 kafka를 설치한다.
helm install my-kafka --namespace kafka incubator/kafka
kafka namespace를 조회하여 정상 설치됐음을 확인한다.
kubectl get all -n kafka
이제 위에서 생성한 kafka를 외부 LoadBalancer로 변경한다.
위에서 생성한 kafka를 외부 LoadBalancer로 변경한다.
my-kafka 파일 수정.
kubectl -n kafka edit svc my-kafka
type을 ClsuterIP 에서 LoadBalancer로 변경한다.
이후 저장 버튼을 눌러 수정을 완료한다.
kafka pod 올리기
위에서 설치한 kafka와 별도로, 내 프로젝트를 중개할 kafka를 pod로 올려야 한다.
다음과 같은 yaml 파일을 생성한다.
minjikafka.yaml (이름은 자기 맘대로!)
apiVersion: v1
kind: Pod
metadata:
name: minjikafka
namespace: kafka
spec:
containers:
- name: kafka
image: confluentinc/cp-kafka:5.0.1
command:
- sh
- -c
- "exec tail -f /dev/null"
위 파일 생성 후, cmd에서 위 파일이 있는 위치에서 다음 명령어를 수행한다.
kubectl -n kafka create -f [파일명].yaml
ex) kubectl -n kafka create -f minjikafka.yaml
kubectl 의 kafka라는 namespace에 minjikafka 이름으로 pod가 생성된다.
kubectl get pod -n kafka 명령어로 확인 해보자.
kafka 올리기 완료!
📍 Pending error
내 클러스터의 경우에는 PVC/PV 설정이 되어 있지 않아,
minjikafka가 pending되는 문제가 있었다.
이 경우 PVC/PV를 추가 해주거나
(나의 경우 이 방법으로 해결! 해결 과정은 아래 포스팅 참고)
또는 helm chart 설치 시, emptydir을 사용하도록 설정을 바꿔 주면 된다.
![[Kafka] 쿠버네티스에 Kafka 설치하기](/posts/kafka-install-kubernetes/images/image_1.jpg)