Elasticsearch의 스냅샷은 데이터 백업 및 복구 시 필수적인 기능이다.
Elasticsearch의 스냅샷과 생성 방법에 대해 정리한다.
1) Elasticsearch에서 스냅샷을 실행할 때, 스냅샷 파일은 기본적으로 클러스터 내의 모든 노드에 분산 저장된다.
예를들어 3개의 노드로 구성된 클러스터에서 스냅샷을 실행하면, 스냅샷 파일은 3개의 노드 모두에 저장되는 식.
스냅샷 파일은 기본적으로 Lucene 인덱스 파일 형식으로 저장되며, 데이터를 저장하는 데 사용되는 세그먼트 파일로 나뉘어진다.
2) 스냅샷 파일이 여러 개인 이유는 Elasticsearch의 인덱스 구조 때문이다. Elasticsearch의 인덱스는 기본적으로 샤드(shard)로 나뉘어져 분산 저장되는데 스냅샷은 모든 샤드를 포함하므로, 하나의 스냅샷은 여러 개의 샤드 파일로 구성된다.
3) 스냅샷 파일은 먼저 primary shard가 저장된 노드에 저장되고, 그 다음 replica shard가 저장된 노드에 복제된다.
스냅샷을 실행할 때, 각 노드에 저장될 스냅샷 파일의 복사본을 만드는 것이 아니라, 분산된 파일 시스템을 통해 데이터가 저장된다.
backup 디렉토리 생성
mkdir /data/elasticsearch/backup
2. Repository 생성
스냅샷을 저장할 repository를 먼저 생성한다. 스냅샷 repository는 로컬 파일 시스템, Amazon S3, Hadoop 등 다양한 유형으로 설정할 수 있다. 여기서는 로컬 파일 시스템을 예로 든다.
PUT /_snapshot/backup
{
"type": "fs",
"settings": {
"location": "/path/to/backup/directory"
}
}
위 예시에서 /path/to/backup/directory는 스냅샷을 저장할 로컬 디렉토리 경로를 나타낸다.
3. 스냅샷 생성
repository를 생성한 후, 스냅샷 생성한다.
PUT /_snapshot/backup/my_snapshot
{
"indices": "index1,index2",
"ignore_unavailable": true,
"include_global_state": false
}
위 예시에서 index1과 index2는 스냅샷을 생성할 대상 인덱스이다.
ignore_unavailable 옵션은 해당 인덱스가 존재하지 않더라도 스냅샷을 생성할 것인지를 결정하는 옵션이고
include_global_state는 클러스터 전역 상태를 스냅샷에 포함할지를 결정하는 옵션이다.
스냅샷 생성에 성공하면 요청에 대한 응답으로 {"acknowledged": true}가 반환됩니다. 이제 스냅샷을 사용하여 Elasticsearch 데이터를 백업하거나 복구할 수 있다.
* 스냅샷은 Elasticsearch의 버전별로 호환성이 있으므로, 복원할 때 동일한 버전의 Elasticsearch를 사용하는 것이 좋다. (특히 5버전 인덱스는 7버전에서 사용할 수 없다..)
![[Elasticsearch] 스냅샷(Snapshot) 만들기](/posts/elasticsearch-snapshot/images/image_1.jpg)