반응형 elasticsearch7 docker-compose ELK H2스택 구축 Local Mac 기준 Elasticsearch, Logstash, Kibana, H2, Nori 설치 Local 구성 설치 항목 Elasticsearch 8.x.x Logstash 8.x.x Kibana 8.x.x Rancher Desktop 설치 1. RancherDesktop 설치 https://rancherdesktop.io/ Rancher Desktop Container Management Container management to build, push, and pull images and run containers. It uses the same container runtime as Kubernetes. Built images are immediately available to use in y.. 2023. 12. 27. Kibana 7.14.x Elasticsearch Logstash Metricbeat 설정 방법 6.5버전만 사용해본 저는 오늘도 삽질을 합니다. 저번 포스팅에서는 ELK 7.14.4 를 사용하기 위한 기본적인 설치와 네트워크 작업이 완료되었습니다. 해당 내용이 궁금하다면 아래 포스팅을 확인해주세요 AWS EC2 ELK Elasticsearch7.x + Logstash7.x + Kibana7.x + beats 최신버전 설치 안녕하세요 앵과장입니다. 개발블로그를 너무 오랜만에 쓰고있네요 이번년도에도 역시나 이직을 하고있습니다. 5년동안 매년 이직하다보니 정착하고싶네요 하지만 항상 내마음에 드는 직장이 angryfullstack.tistory.com Kibana Dashboard 에서 확인할수 있는 방법에 대해서 작업 해보도록 하겠습니다. Kibana Dashboard에서 모니터링을 하기위해서는 7.x.. 2021. 8. 5. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 conf.d Input(filebeats) To Output(Redis) 4편 filebeat 설치과정 filebeat 플러그인을 동작테스트 하기위한 log file 샘플 sample data : https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz https://www.elastic.co/kr/downloads/beats/filebeat (사용하는 OS에 맞게 다운로드) filebeat 는 주기적으로 생성된 access,error,debug,행동패턴,관리되어야하는 파일등을 수집하기위한 agent 클라이언트 정도라고 생각하시면됩니다. Logstash 설정 conf.d 폴더 하위에 filebeatsToRedis.conf 생성 input { beats { port => "5044" } } o.. 2020. 7. 16. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 conf.d Input(mysql) To Output(Redis) 3편 Elasticsearch 작업을 위해서 원천데이터인 RDBMS(mysql) 데이터를 elasticsearch 로 최종 반영을 하기 위해 두번의 단계를 거쳐서 ES Document 형태로 가공하는 샘플을 Logstash 에서 작업하는 과정을 정리 하겠습니다. 1단계 (Rdbms To Redis) INPUT(Mysql) -> OUTPUT(Redis) Input 에서는 RDBMS로 누적되어있는 관계형 데이터베이스 mysql 정보를 In Memory Cache Redis에 적제되는 과정 sampleInsert.sql 파일 생성후 아래 Select 조회 SELECT no, type, regdate FROM deal WHERE type = 'LIVE' AND regdate >= '2020-01-01' AND reg.. 2020. 7. 14. 엘라스틱서치(Elasticsearch),Logstash,Kibana 6.5.4 버전 Redis Server Client 설치 입문 시작하기 1편 오늘은 ES를 본격적으로 시작하기 위해서 아래 4가지를 설치 해보도록 하겠습니다. Elasticsearch, Logstash, Kibana, Redis 아래 링크에서 다운받을수있습니다. 현재 2020년 6월 29일 기준 7.8.0 버전이 최신으로 보이며 각 OS에 맞게 다운로드 하시면됩니다. Elastic 제품을 다운로드 | Elastic Kibana 시각화의 보고서를 생성하고, 예약하고, 전송하세요. www.elastic.co 회사 서비스플랫폼 운영을 위해서 설치하는 중이며 기존에 Legacy에서 6.5.4버전을 사용하고있어서 6.5.4 버전을 설치할예정입니다. 당연한거지만 7.8.0버전을 하셔도되고 저와 동일하게 진행하셔도됩니다. 현재 7.x.x버전이 기존 버전보다 알고리즘이나 다양한 버그리포팅 성능.. 2020. 6. 29. ElasticSearch _source / doc_value / stored_fields 3가지 차이점 ElasticSearch 를 공부하다보니 모르는것 투성이라서 하나씩 궁금할때마다 정리 해보고자 합니다. 아래 2가지는 일부 필드만 결과로 반환하도록 하는 옵션 입니다. 일단 차이점이 뭔지 알아볼까요 ? _source_stored_fields 기본적으로 검색 결과로 나온 원래의 json 데이터 모두는 _source 에 압축하여 담겨서 반환된다고 합니다. 이 때 _source=name,location 처럼 특정 필드를 지정하면 _source 에 담긴 데이터를 압축 해제한 다음 지정한 필드들만 뽑아서 반환합니다. 이 과정에서 수행되는 fetch & 압축해제는 매우 빠르게 수행된다고 합니다. 반면 stored_fields=name,location 처럼 지정된 경우, 지정한 필드가 stored 되어 있으면 (기본.. 2020. 5. 12. ElasticSearch Aggregations aggs composite afterkey Spring 집계 활용방법 이번에 회사옮긴지 한달정도 되었는데 ElasticSearch 를 해본적이 없어서 오랜만에 삽질 하고있는 개발자 입니다. 죽을꺼같아요..쓰바 집에가고 싶다.. 한주동안 결과를 달라는데 이런... 괜히 이직했어.. 하필 데이터도 많은 deal 상품 처리 하는 팀으로 와서 뽑아달라는 데이터가 몇억건에서 1건씩 max인값을 뽑아달라는데 난감합니다. group by 를 하면된다고 하는데요 일단 RDB 가 존재하고 RDB를 기준으로 document를 만들어둔 ES가 존재해서 당연히 처음에는 할줄아는 RDBMS로 데이터를 추출하려고 시도해보았습니다. 안나오네여 거의 많이보는 결과는 time out 아니면 뻗드라구여 slow Query 누가 날렸냐구 DB팀에서 DM날라옵니다. ElasticSearch 데이터 집계형태로.. 2020. 5. 12. 이전 1 다음 728x90
