Cloud/OpenStack
원본 글 보기

[OpenStack] 클라우드 오케스트레이션이란? Heat, Ceilometer, Gnocchi, Aodh

[OpenStack] 클라우드 오케스트레이션이란? Heat, Ceilometer, Gnocchi, Aodh

-

클라우드 오케스트레이션에 대한 개념과,

오픈스택 오케스트레이션,

오픈스택 오케스트레이션 관련 프로그램

(Heat, Ceilometer, Gnocchi, Aodh)의 개념에 대해 다루는 글.

-

1. 클라우드 오케스트레이션 ?

오케스트라(orchestra): 프랑스어 ensemble, 전체적인 어울림이나 통일. ‘조화’로 순화한다는 의미.

음악에서 2인 이상이 하는 노래나 연주를 말하며, 화음을 넣는 등 분위기를 돋구는 역할.

클라우드 오케스트레이션은 서버 여러대를 자동으로 늘리고 줄이고 하는 운영방식 중 하나이며,

인스턴스 자원 관리, 배치, 정렬을 자동화한다는 의미이다.

클라우드 컴퓨팅 서비스에서 인스턴스 하나를 생성하려면 여러 과정이 필요하다. 인증 키를 발급받아야 하고, 네트워크가 생성되었는지 확인해야 하며, 보안 롤(Role)도 미리 생성해야 한다. 이런 일련의 과정이 끝나야만 인스턴스 하나를 생성할 수 있다.

그런데..

이 인스턴스(서버)의 수가 10개, 100개를 넘어서 점점 많아지게 되면?

생성은 물론, 관리와 운영하기도 배로 복잡하고 어려워진다.🤯

클라우드의 장점이 관리자가 따로 하나하나 관리하지 않아도, 이런 인스턴스들이 자동으로 늘어나고 줄어드는 유연한 운영방식인데, 클라우드 오케스트레이션이 각각의 서버(인스턴스)를 연결하고 관리하고 확장하면서 요소들 전체가 하나로 실행되도록 할 수 있도록 조율해 주는 것이다.

🎻 오케스트레이션은 단순히 생성이 아니라,배치가 핵심. 정말 오케스트라처럼 서버들이 조율을 이루는 것.

🎸 컴퓨터 시스템과 애플리케이션, 서비스의 자동화된 설정, 관리, 조정을 의미.

2. OpenStack 오케스트레이션 관련 프로그램

Heat, Ceilometer, Gnocchi, Aodh

#Heat

(오픈스택 오케스트레이션 서비스) 오픈스택 클라우드의 자원을 자동화 시켜주는 서비스.

#OpenStack Ceilometer

: 가상머신의 CPU나 메모리나 HDD 등의 자원 상태를 호스트 PC가 조회할 수 있도록 해주는 서비스.

(자원 정보 및 사용율을 수집하는 서비스)

* OpenStack에서 메트릭 수집 및 처리를 담당하는 구성 요소. 원래 모든 기본 원격 측정 기능(telemetry 서비스)을 제공하는 유일한 OpenStack 구성 요소였는데, 결국 Ceilometer의 기능을 여러 제품으로 분리함. 아래 사진은 아래에서 좀 더 자세히 설명.

오픈스택 Ceilometer 프로세스

#Ceilometer (데이터 수집)

#gnocchi (데이터 집계 및 저장) 🥟

: 자원의 사용률을 수집하는 서비스.

#Aodh (경고 및 트리거) 🚨

: 자원 사용율과 평가룰을 비교하고 '알람'을 발생시키는 서비스

2. Heat

오픈스택 클라우드 자원 자동화-🧞‍♂️

OpenStack 오케스트레이션 'Heat' 서비스는,

heat orchestration template(hot)을 사용하여 클라우드 자원을 생성/관리하고, 오케스트레이션 서비스는 실행 중인 애플리케이션을 생성하기 위해 OpenStack API를 호출하여 템플릿 기반의 오케스트레이션을 제공한다.

(1) Heat 구조

1. 사용자는 API를 직접 호출하여 오케스트레이션 서비스를 요청하거나 CLI(Command Line Interface)를 통해 동일한 작업을 수행할 수 있다. 이때 CLI 역시 사용자 명령을 API로 변환하여 처리하게 된다.

2. 수신된 API 서버는 AMQP(Advanced Message Queueing Protocol)규격 기반의 메시지 통신을 통해 Heat Engine으로 이를 전달.

3. Heat Engine은 수신한 템플릿과 API의 파라미터에 포함된 사용자 요청 데이터를 기반으로 인프라 및 클라우드 애플리케이션을 생성하기 위하여 Nova API, Neutron API 등과 같은 오픈스택 프로젝트들의 API를 호출한다.

• heat-api

RPC Heat 엔진에 전송해서 요청된 API를 처리하는 REST API를 제공.

• heat-api-cfn

AWS CloudFormation과 호환되는 AWS 타입의 Query API를 제공.

• heat-engine

템플릿을 생성하고, Consumer(API를 사용하려고 접근하는 애플리케이션이나 서비스) API를 다시 이벤트로 제공하는 오케스트레이션의 주 작업을 수행.

(2) Heat Orchestartion Template

yml,yaml 파일

Heat는 템플릿 기반의 오케스트레이션 서비스를 제공하는 프로젝트로, 사용자가 구성하고자 할 가상 자원들을 템플릿에 명시하도록 한다.

템플릿은 JSON(Java-Script Object Notation)이나 YAML(YAML Ain't Mark-up Language)과 같이 사람이 쉽게 읽고 작성할 수 있는 텍스트 기반의 데이터 인코딩 방식을 이용한다.

YAML 방식이 JSON 방식에 비해 파싱(parsing)의 부하가 좀 더 크지만 JSON과 달리 멀티라인 스트링을 지원하고 주석 처리가 용이하다는 장점을 가지고 있다.

(3) Heat 실습

3. Ceilometer

(1) Ceilometer 프로세스

1. 오픈스택에는 인스턴스와 같은 다양한 리소스들이 존재함.

2. 이런 리소스 정보들은 Collector에 의해 Metric 정보와 함께 모두 수집이 되어, MongoDB와 같은 데이터베이스에 저장된다.

3. 이때, Evaluator는 관리자가 사전에 정의해 놓은 평가 룰에 의해 수집된 정보와 평가 룰을 비교한다.

4. 비교된 정보가 평가 룰에 해당하면 Notifier에 의해 로그와 Web-hook URL에 의해 사용자에게 알람을 보낸다.

그리고 OpenStack Ceilometer 프로세스의 각 요소들은 Gnocchi, Ceilometer,Aodh와 같은 서비스에서 프로젝트화 되어 관리되어 진다.

(2) Ceilometer 구조

(3) Ceilometer 구성

주요 Ceilometer 구성 파일은 다음과 같다.

- ceilometer.conf

Ceilometer의 모든 기본 매개 변수 (로깅, 메시지 대기열 사용, 인증, Ceilometer 프로세스 조정 등) 설정 파일.

- pipeline.yaml

수집 할 정보와 위치 설정. (yaml 파일 직접 작성 해야함.)

- gnocchi_resources.yaml

Ceilometer와 Gnocchi 개체 간의 관계 설정.

4. Gnocchi

자원의 사용률을 수집하는 서비스.

로고 귀여움ㅠㅠ

Gnocchi는 멀티테넌트 시계열, 메트릭, 리소스 데이터베이스다.

데이터 관리에 HTTP REST 인터페이스를 제공하며, 대용량 메트릭을 저장할 수 있게 설계되어 있다.

(1) gnocchi 구조

뇨키는 두 가지 주요 구성 요소로 구성된다.

# API : 데이터 (수동으로 입력하거나 Ceilometer와 같은 프로그램에서 수집)를 저장하고 업데이트하고 집계 데이터를 수신.

# Metricd: 최근 수신 된 데이터와 아직 정렬되지 않은 데이터를 처리 한 다음 적절한 형식으로 사용자 정의 저장소 ( Ceph , Redis , OpenStack Swift 또는 로컬 파일 시스템)에 저장하는 데몬.

5. Aodh

자원 사용율과 평가룰을 비교하고, 알람을 발생시키는 서비스.

알람 서비스.

서버 자원 사용량에 대한 알람을 설정해 두어, 알람이 울릴 시 어떠한 대처를 할 수 있음.

Aodh의 구조