Search/Elasticsearch
원본 글 보기

[Elasticsearch] 'maximum normal shards open' 에러 해결

[ 에러 ]



elasticsearch failed to flush export bulk [default_local]
Validation Failed: 1: this action would add [1] shards, but this cluster currently has [20516]/[4000] maximum normal shards open

관련해서 알아보니 한 샤드당 최대 개수가 있는데 그 이상을 친 것 같았다.

로그를 보면 현재 노드당 최대 normal shard 개수가 4000개 인데( cluster.max_shards_per_node ), 그 이상으로 넘어가서 에러가 난 듯.. (20516은 한 서버당 4000 개 * 노드 수)

에러 자체는 동시에 열려 있는 샤드 수가 최대값을 초과하고 있다는 의미고

샤드는 Elasticsearch의 데이터를 분산 저장하는 단위이며, 각 샤드는 클러스터의 노드에 할당된다.

즉, 지금 이 에러는 클러스터에 열려 있는 샤드의 수가 허용된 최대값을 초과하여 샤드를 추가할 수 없다는 것을 의미한다.

Elasticsearch 클러스터의 샤드 정보를 가져와서 총 줄 수 출력



curl -s -u {id}:{pw} -XGET "http://localhost:9200/_cat/shards" | wc -l

("http://localhost:9200/_cat/shards" 요것이 Elasticsearch 클러스터의 샤드 정보를 조회하기 위한 엔드포인트인데, "|" 를 사용해서 앞의 명령어의 출력을 wc -l 로 전달하므로 즉, 전달된 입력의 줄 수를 카운트해줌)

했더니 20528 가 나왔다.

샤드 최대수를 5000 개로 늘려주었다.



curl -s -u {id}:{pw} -XPUT localhost:9200/_cluster/settings -H "Content-Type: application/json" -d '{ "persistent": { "cluster.max_shards_per_node": "5000" } }'

사실 샤드 재배치를 풀어주면 되는 문제였는데,

로그를 보다가 알게된 것이라 빠르게 정리...