[ 에러 ]
elasticsearch failed to flush export bulk [default_local]
Validation Failed: 1: this action would add [1] shards, but this cluster currently has [20516]/[4000] maximum normal shards open
관련해서 알아보니 한 샤드당 최대 개수가 있는데 그 이상을 친 것 같았다.
로그를 보면 현재 노드당 최대 normal shard 개수가 4000개 인데( cluster.max_shards_per_node ), 그 이상으로 넘어가서 에러가 난 듯.. (20516은 한 서버당 4000 개 * 노드 수)
에러 자체는 동시에 열려 있는 샤드 수가 최대값을 초과하고 있다는 의미고
샤드는 Elasticsearch의 데이터를 분산 저장하는 단위이며, 각 샤드는 클러스터의 노드에 할당된다.
즉, 지금 이 에러는 클러스터에 열려 있는 샤드의 수가 허용된 최대값을 초과하여 샤드를 추가할 수 없다는 것을 의미한다.
Elasticsearch 클러스터의 샤드 정보를 가져와서 총 줄 수 출력
curl -s -u {id}:{pw} -XGET "http://localhost:9200/_cat/shards" | wc -l
("http://localhost:9200/_cat/shards" 요것이 Elasticsearch 클러스터의 샤드 정보를 조회하기 위한 엔드포인트인데, "|" 를 사용해서 앞의 명령어의 출력을 wc -l 로 전달하므로 즉, 전달된 입력의 줄 수를 카운트해줌)
했더니 20528 가 나왔다.
샤드 최대수를 5000 개로 늘려주었다.
curl -s -u {id}:{pw} -XPUT localhost:9200/_cluster/settings -H "Content-Type: application/json" -d '{ "persistent": { "cluster.max_shards_per_node": "5000" } }'
사실 샤드 재배치를 풀어주면 되는 문제였는데,
로그를 보다가 알게된 것이라 빠르게 정리...