Cloud/OpenStack
원본 글 보기

[OpenStack] Octavia 수동 설치 시 Amphora 로드 밸런서 에러 해결

[OpenStack] Octavia 수동 설치 시 Amphora 로드 밸런서 에러 해결

[OpenStack - Octavia]

오픈스택 로드밸런스

-

Amphora 로드밸런서

기존 Neutron 로드밸런서는 Neutron 자체의 프로세스로 존재하였지만

Octavia에서는 Amphora라고 불리는 로드밸런서를 인스턴스 형태로 배포.

(1) DB 생성

[1] controller



mysql -u root -p
create database octavia;
grant all privileges on octavia.* to octavia@'localhost' identified by '비밀번호'; 
grant all privileges on octavia.* to octavia@'%' identified by '비밀번호'; 

(2) 사용자 및 엔드포인트 생성

[1] controller



penstack user create --domain default --project service --password 비민번호 octavia

openstack role add --project service --user octavia admin

openstack service create --name octavia --description "OpenStack LBaaS" load-balancer

export octavia_api=[네트워크 노드 IP]

openstack endpoint create --region RegionOne load-balancer public http://$octavia_api:9876
	
openstack endpoint create --region RegionOne load-balancer internal http://$octavia_api:9876

openstack endpoint create --region RegionOne load-balancer admin http://$octavia_api:9876

(3) 옥타비아 설치

[3] network



dnf -y install epel-release
dnf --enablerepo=centos-openstack-victoria,powertools -y install openstack-octavia-api openstack-octavia-health-manager openstack-octavia-housekeeping openstack-octavia-worker

ssl 인증서 다운 !

(4) 인증서 설정

[3] network



mkdir -p /etc/octavia/certs/private
mkdir ~/work
cd ~/work
git clone https://opendev.org/openstack/octavia.git
cd octavia/bin



./create_dual_intermediate_CA.sh
cp -p ./dual_ca/etc/octavia/certs/server_ca.cert.pem /etc/octavia/certs
cp -p ./dual_ca/etc/octavia/certs/server_ca-chain.cert.pem /etc/octavia/certs
cp -p ./dual_ca/etc/octavia/certs/server_ca.key.pem /etc/octavia/certs/private
cp -p ./dual_ca/etc/octavia/certs/client_ca.cert.pem /etc/octavia/certs
cp -p ./dual_ca/etc/octavia/certs/client.cert-and-key.pem /etc/octavia/certs/private
chown -R octavia /etc/octavia/certs

(5) 옥타비아 설정

[3] network



mv /etc/octavia/octavia.conf /etc/octavia/octavia.conf.org

vi /etc/octavia/octavia.conf



[DEFAULT]
transport_url = rabbit://openstack:비번@컨트롤러IP
[api_settings]
bind_host = 네트워크노드IP
bind_port = 9876
auth_strategy = keystone
api_base_uri = http://네트워크노드I:9876
[database]
connection = mysql+pymysql://octavia:qwer1234@컨트롤러IP/octavia

[health_manager]
bind_ip = 0.0.0.0
bind_port = 5555
[keystone_authtoken]
www_authenticate_uri = http://컨트롤러IP:5000
auth_url = http://컨트롤러IP:5000
memcached_servers = 컨트롤러IP:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = octavia
password = qwer1234

[certificates]
ca_private_key = /etc/octavia/certs/private/server_ca.key.pem
ca_certificate = /etc/octavia/certs/server_ca.cert.pem
server_certs_key_passphrase = insecure-key-do-not-use-this-key
ca_private_key_passphrase = not-secure-passphrase


[haproxy_amphora]
server_ca = /etc/octavia/certs/server_ca-chain.cert.pem
client_cert = /etc/octavia/certs/private/client.cert-and-key.pem


[controller_worker]
client_ca = /etc/octavia/certs/client_ca.cert.pem

[oslo_messaging]
topic = octavia_prov

[service_auth]
auth_url = http://컨트롤러IP:5000
memcached_servers = 컨트롤러IP:11211
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = octavia
password = 옥타비아 비번



chmod 640 /etc/octavia/octavia.conf
chgrp octavia /etc/octavia/octavia.conf



su -s /bin/bash octavia -c "octavia-db-manage --config-file /etc/octavia/octavia.conf upgrade head"



systemctl enable octavia-api octavia-health-manager octavia-housekeeping octavia-worker
systemctl restart octavia-api octavia-health-manager octavia-housekeeping octavia-worker

(6) 로드밸런스 이미지 생성

어디서 하든 상관 없지만,

여기서는 이미지 서비스가 컨트롤러에 설치 되어 있기 때문에 컨트롤러에서 이미지를 만들고 등록하는게 빠름.

[1] controller



dnf --enablerepo=centos-openstack-victoria,powertools,epel -y install openstack-octavia-diskimage-create debootstrap python3-octaviaclient



mkdir ~/image
cd ~/image
octavia-diskimage-create.sh -r 비번 -g stable/victoria

(7) 이미지 등록



source ~/keystone_admin



openstack image create "Amphora" --tag "Amphora" --file amphora-x64-haproxy.qcow2 --disk-format qcow2 --container-format bare --private --project service

(8) flavor 등록



openstack flavor create --id 100 --vcpus 1 --ram 1024 --disk 5 m1.octavia --private --project service


(9) 보안 그룹 생성



stack security group create lb-mgmt-sec-group --project service
openstack security group rule create --protocol icmp --ingress lb-mgmt-sec-group
openstack security group rule create --protocol tcp --dst-port 22:22 lb-mgmt-sec-group
openstack security group rule create --protocol tcp --dst-port 80:80 lb-mgmt-sec-group
openstack security group rule create --protocol tcp --dst-port 443:443 lb-mgmt-sec-group
openstack security group rule create --protocol tcp --dst-port 9443:9443 lb-mgmt-sec-group

(10) 네트워크 생성



openstack network create --project service --share --provider-network-type flat --external --provider-physical-network extnet external
openstack subnet create external-subnet --network external --project service --subnet-range 192.168.1.0/24 --allocation-pool start=192.168.1.104,end=192.168.1.109 --gateway 192.168.1.1 --dns-nameserver 8.8.8.8

openstack network create --project service --share --provider-network-type vxlan internal
openstack subnet create internal-subnet --network internal --project service --subnet-range 100.100.100.0/24 --allocation-pool start=100.100.100.10,end=100.100.100.250 --gateway 100.100.100.1 --dns-nameserver 8.8.8.8
openstack router create router --project service

openstack router add subnet router internal-subnet		
openstack router set router --external-gateway external

방금 만든 네트워크는 바로 대시보드에서 확인되지 않는다.

아래 데시보드 설정을 해서, 네트워크를 보이게 하자.

(11) 데시보드 설정

1.

인증 -> 역할 -> 역할 생성 -> _member_ 입력 후 생성.

인증 -> 프로젝트 -> service 프로젝트의 멤버 관리 -> admin을 service 프로젝트에 추가 -> admin 계정에 admin 열할 추가 -> 저장.

2. 왼쪽 위에 admin 프로젝트를 service 프로젝트로 변경

프로젝트 -> 네트워크 -> 네트워크 토폴로지에서 확인

(12) 옥타비아 설정

(생성한 네트워크 밑 보안 그룹 등 적용)

[3] network



vi /etc/octavia/octavia.conf



[controller_worker]
client_ca = /etc/octavia/certs/client_ca.cert.pem

# 아래의 내용 추가
amp_image_tag = Amphora
amp_flavor_id = 100
amp_secgroup_list = [시큐리티 그룹의 ID]   👉🏻방금 생성한 그룹
amp_boot_network_list = [internal 네트워크의 ID]
network_driver = allowed_address_pairs_driver
compute_driver = compute_nova_driver
amphora_driver = amphora_haproxy_rest_driver 



systemctl restart octavia-api octavia-health-manager octavia-housekeeping octavia-worker

(13) 인스턴스 생성 대기 시간 변경

오픈스택에서 인스턴스 생성 시간이 길어지면 에러처리를 하는데,

인스턴스 생성이 좀 오래 걸려서 인스턴스 생성 대기 시간을 변경해 준다.

controller, compute 에서 진행한다.



vi /etc/nova/nova.conf

[DEFAULT] 섹션에 다음을 추가.



instance_build_timeout = 3600
block_device_allocate_retries=1200
block_device_allocate_retries_interval=3

[ controller ]



systemctl restart openstack-nova-api.service openstack-nova-novncproxy.service openstack-nova-scheduler.service openstack-nova-conductor.service

[ compute ]



systemctl restart openstack-nova-compute.service

(14) 환경변수 설정 파일 변경



vi ~/keystone_admin

위 파일에서 export OS_PROJECT_NAME=admin 을 다음과 같이 변경.



export OS_PROJECT_NAME=service

변경 후 저장하고 나가서



source ~/keystone_admin

(15) 로드밸런스 생성

방금 만든 이미지로 (볼륨과) 인스턴스 생성.



openstack loadbalancer create --name lb01 --vip-subnet-id internal-subnet --project service

(16) 확인



openstack loadbalancer list

상태가 active 인 것 체크.

# PENDING_CREATE 상태로 꽤 오래 기다려야 한다. . .

에러 ::

오픈스택 Octavia 수동설치시, Amphora 로드밸런스 서비스 에러

에러 메시지는 다음과 같다,

2021-05-26 15:26:58.430 2904 ERROR

octavia.controller.worker.v1.tasks.amphora_driver_tasks [-]

octavia.amphorae.driver_exceptions.exceptions.TimeOutException: contacting the amphora timed out.

Amphora compute instance failed to become reachable. This either means the compute driver failed to fully boot the instance inside the timeout interval or the instance is not reachable via the lb-mgmt-net.: octavia.amphorae.driver_exceptions.exceptions.TimeOutException: contacting the amphora timed out.

Amphora 컴퓨팅 인스턴스에 연결할 수 없습니다. 이는 컴퓨팅 드라이버가 시간 초과 간격 내에 인스턴스를 완전히 부팅하지 못했거나 lb-mgmt-net을 통해 인스턴스에 연결할 수 없음을 의미합니다.

고칠 수 없는 듯 한 버그같다. . .

그래서 Rocky 버전 수동 설치하여 다시 시도해 봤지만 여전히 뭔가 이상함.

수동 설치 시 여러가지 프로그램들의 버전이 달라 뭔가 꼬이는 것으로 추정.

결국 Rocky 버전 팩스택 설치하여 로드밸런스 서비스 정상 작동.

그래서 Rocky 버전 팩스택 설치부터 다시 포스팅 하였습니다..😢