설치 # yum install sysstat 리소스 수집 crontab 등록 및 설정 /etc/cron.d/sysstat 실시간 모니터링 # sar 1 -qr (default: cpu, q: load avg, r: memory) 파일 쓰기 # sar -o [file name] ex) sar 1 -qr -o sar_log 파일 읽기 #sar -f [file name] ex) sar 1 -uqr -f sar_log

디스크 용량 관련 shard allocation에 문제가 있어 관련 설정을 docs에서 찾아본 김에 포스팅 ((https://www.elastic.co/guide/en/elasticsearch/reference/current/disk-allocator.html) 엘라스틱서치는 새로운 샤드를 어디에 할당할지 결정하기전에 노드의 사용 가능한 디스크 공간을 고려함 elasticsearch.yml 파일을 통해 수정하고 재시작하거나 cluster-update-setting API를 통해 live 상태의 클러스터도 변경할 수 있음 cluster.routing.allocation.disk.threshold_enable 디폴트로 true. 디스크 할당자(disk allocation decider) diasble하려면 ..

Elasticsearch 운영 환경에서 다양한 이유로 노드의 디스크를 교체를 해야 할 때가 있음 대략적인 순서는 다음과 같음 1. 클러스터 내 모든 인덱스 close curl -XPOST 'IP:PORT/INDEX*/_close' 2. 노드 shutdown kill -SIGTERM [node process ID] 3. 시스템 정지 halt -p ※ 시스템 정지 전에, 빠른 재부팅을 위해 /etc/fstab 내 교체할 디스크에 대해 주석처리해두면 좋다(#UUID=...) 그렇지 않을 경우 부팅 시 찾을 수 없는 디스크를 찾느라 오래걸릴 수 있다고 함 4. 디스크 교체 및 RAID 설정 5. 부팅 후 디스크 인식, 포맷, 마운트 작업 (여기서부터는 본인의 작업 환경에 따른 파티션 및 옵션 등을 사용) 2TB..

Elasticsearch 도입을 위한 테스트를 진행하는 경우엔 특별히 cluster 설정이나 node에 대해서 설정할 것이 없다. 하드웨어 사양(CPU, RAM, HDD or SSD 등)에 따라 elasticsearch의 설정 값(각종 메모리 비율, refresh interval, dynamic mapping 관련 설정 등)을 튜닝해야 하는 부분은 있지만, node 하나로 운영할 때는 cluster 구성에 관한 설정은 할 것이 없다. 그래도 결국 프로덕션 레벨의 elasticsearch 시스템을 운영하기 위해서는 위해서는 elasticsearch의 클러스터와 노드에 대해서 공부하지 않으면 안된다. Elasticsearch cluster Elasticsearch system의 가장 큰 단위 하나의 clus..

다른 클러스터로 인덱스를 백업하면서 특정 shard가 assigned되지 않고 다른 shard들이 relocate를 반복하는 현상이 발생 master node, 해당 data node 로그를 봐도 딱히 눈에 들어오는 명확한 원인 로그가 보이지 않고 .. [failed to find metadata for existing index location] 정도 .. 일단 백업 작업을 중지시키고 해당 index를 close 후 다시 open 하는 방법으로 한번에 모든 shard들을 relocate 시키면서 문제는 해결되었지만 왜 이런 이슈가 종종 발생하는지는 아직 모르겠음 ※ 추가 정보 cluster_block_exception - [FORBIDDEN/12/index read-only / allow delete ..