Search/Elasticsearch
원본 글 보기

[Elasticsearch] 클러스터 상태가 yellow일 때 원인과 해결

[Elasticsearch] 클러스터 상태가 yellow일 때 원인과 해결

1. Elasticsearch 클러스터 상태가 yellow

Elasticsearch 클러스터 상태 3가지

1. Green: 모든 샤드의 복제본이 있고 클러스터가 정상적으로 작동함

2. Yellow: 모든 primary 샤드는 사용 가능하지만, 일부 복제본 샤드가 누락되어 클러스터의 내구성이 약화됨

3. Red: 일부 또는 모든 primary 샤드가 사용 불가능하여 클러스터가 제대로 작동하지 않음

클러스터 상태가 yellow 인 이유는 다양하지만, 크게 분류 하자면

1. 샤드 복제 지연: Elasticsearch의 인덱스 샤드 복제가 지연되면 샤드들의 복제본이 충분하지 않은 경우

2. 샤드 손실: Elasticsearch 클러스터에서 노드 장애 또는 다른 이유로 샤드가 손실된 경우

2. Unassigned shards

'Unassigned shards'란, Elasticsearch 클러스터에서 발생하는 샤드 할당 문제를 나타내는 단어이다.

Elasticsearch는 색인된 데이터를 처리하기 위해 인덱스를 여러 샤드로 분할한다.

인덱스와 샤드

인덱스 (Index)

샤드 (Shard)

Elasticsearch에서 데이터를 저장하는 논리적인 컨테이너

인덱스를 여러 개의 물리적인 조각으로 나누어 저장하는 단위

DB의 테이블과 유사한 개념. 문서(Documents)의 모음

(각 인덱스는 고유한 이름을 가지며, 일련의 문서들을 하나의 '인덱스'에 저장한다.)

각 인덱스는 하나 이상의 샤드로 구성되며,

샤드는 노드에 분산하여 저장

인덱스는 문서의 유형(Type)과 매핑(Mapping)과 함께 정의.

데이터의 수평적 분산과 확장;

검색 요청을 여러 노드에 분산하여 처리하여 성능을 향상시킨다.

데이터를 적절하게 분산 저장하고, 검색 및 집계 기능을 최적화하기 위해 인덱스를 여러 개의 샤드로 분할하여 분산 저장합니다.

샤드는 주(primary) 샤드와 복제본(replica) 샤드로 구분

    • 주 샤드는 데이터를 포함하고 있으며, 인덱스의 기본적인 데이터 저장과 검색을 담당.

    • 복제본 샤드는 주 샤드의 복사본으로, 데이터의 가용성을 높이고 읽기 작업의 병렬 처리를 가능하게 한다.

다양한 이유로 인해 샤드가 할당되지 않는 경우가 발생하는데, 이때 해당 샤드는 "unassigned" 상태가 된다.

일반적인 "unassigned shards" 문제의 원인은 다음과 같다.

  • 노드 장애: Elasticsearch 클러스터 내의 노드 중 하나 이상이 다운되거나 동작하지 않는 상태. 이로 인해 해당 노드에 할당된 샤드들이 "unassigned" 상태가 된다.

  • 노드 추가 또는 제거: 클러스터에 새로운 노드가 추가되거나 기존 노드가 제거되었을 때, 리밸런싱 과정에서 샤드 할당이 지연되거나 문제가 발생할 수 있다.

  • 인덱스 설정 오류: 인덱스의 샤드 수나 복제 수 등이 잘못 설정되었거나, 클러스터의 샤드 할당 정책과 충돌하는 경우.

  • 리밸런싱 지연: Elasticsearch는 노드가 추가되거나 제거될 때 자동으로 리밸런싱을 수행하여 샤드를 다시 분산하는데, 이 때 리밸런싱이 지연되면 "unassigned" 샤드가 발생할 수 있다.

  • 클러스터 재구성: 클러스터 설정 변경, 업그레이드 또는 클러스터 재시작과 같은 상황에서 샤드 재할당이 지연되거나 발생 가능

클러스터 상태 확인할 수 있는 API

1. GET /_cluster/health



{
"cluster_name" : "",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 12,
"number_of_data_nodes" : 12,
"active_primary_shards" : 66,
"active_shards" : 17,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}

2. GET /_cat/shards?h=index,shard,prirep,state,unassigned,node