Search/Elasticsearch
원본 글 보기

[Elasticsearch] forcemerge란?

[Elasticsearch] forcemerge란?

Elasticsearch forcemerge 란?

forcemerge 란 Elasticsearch에서 불필요한 Segments를 병합 하거나 삭제 된 doc들을 병합 하는 기능으로,

Elasticsearch에서 사용되는 인덱스 최적화 작업 중 하나이다.

* _stat API 를 통해 index를 확인해보면 Deleted 된 doc 들이 남아있는 경우가 있다.

Elasticsearch 는 delete 시 delete한 doc들을 바로 삭제하지 않고 기록만 해두었다가 이후 forcemerge를 통해 한 번에 Disk에서 삭제되는 구조이다.

그래서 forcemerge 를 통해 디스크 공간 사용량을 줄이고 검색 및 집계 성능을 향상시킬 수 있다.

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-forcemerge.html

forcemerge API 사용방법

forcemerge 중에는 샤드 크기가 증가하게 되고 이에 따라 샤드 재배치가 일어날 수 있다.

샤드 재배치이 발생하면 해당 샤드는 forcemerge 작업이 완료되었더라도 forcemerge 작업 이전의 shard로 복제되기 때문에 두 번 작업을 해야할 수 있으니 미리 샤드 재배치 중지를 해두는 것이 좋다.

  1. 샤드 재배치 중지



PUT _cluster/settings
{
"persistent": {
"cluster.routing.allocation.enable": "none"
}
}

2. flush



POST _flush

* 클러스터 내의 인덱스를 명시적으로 플러시(Flush)하는 명령어.

Elasticsearch는 자동 플러시 메커니즘을 가지고 있어 데이터를 디스크에 주기적으로 저장하지만

때로는 명시적으로 플러시를 수행하고 데이터를 즉시 디스크에 저장하는 경우가 있을 수 있다.

3. forcemerge



POST /INDEX/_forcemerge?only_expunge_deletes=true

4. 확인



get INDEX/_stats

5. 샤드 재배치 활성화



PUT _cluster/settings
{
"persistent": {
"cluster.routing.allocation.enable": "all"
}
}