반응형 ELK/ElasticSearch13 docker-compose ELK H2스택 구축 Local Mac 기준 Elasticsearch, Logstash, Kibana, H2, Nori 설치 Local 구성 설치 항목 Elasticsearch 8.x.x Logstash 8.x.x Kibana 8.x.x Rancher Desktop 설치 1. RancherDesktop 설치 https://rancherdesktop.io/ Rancher Desktop Container Management Container management to build, push, and pull images and run containers. It uses the same container runtime as Kubernetes. Built images are immediately available to use in y.. 2023. 12. 27. Kibana 7.14.x Elasticsearch Logstash Metricbeat 설정 방법 6.5버전만 사용해본 저는 오늘도 삽질을 합니다. 저번 포스팅에서는 ELK 7.14.4 를 사용하기 위한 기본적인 설치와 네트워크 작업이 완료되었습니다. 해당 내용이 궁금하다면 아래 포스팅을 확인해주세요 AWS EC2 ELK Elasticsearch7.x + Logstash7.x + Kibana7.x + beats 최신버전 설치 안녕하세요 앵과장입니다. 개발블로그를 너무 오랜만에 쓰고있네요 이번년도에도 역시나 이직을 하고있습니다. 5년동안 매년 이직하다보니 정착하고싶네요 하지만 항상 내마음에 드는 직장이 angryfullstack.tistory.com Kibana Dashboard 에서 확인할수 있는 방법에 대해서 작업 해보도록 하겠습니다. Kibana Dashboard에서 모니터링을 하기위해서는 7.x.. 2021. 8. 5. AWS EC2 ELK Elasticsearch7.x + Logstash7.x + Kibana7.x + beats 최신버전 설치 안녕하세요 앵과장입니다. 개발블로그를 너무 오랜만에 쓰고있네요 항상 평생직장이다 라고 생각하고 들어가는데 내마음에 드는곳은 찾기가 쉽지가 않습니다. 간만에 아무것도 없는곳에서 개발하려니 아주많은 단점이 있지만 한가지 장점이라고 하면 시스템을 구축해볼수 있다는 것입니다. DEV 환경 구축 version : 2021.07.28 기준 7.13.x 진행 EC2 : centos 7.x JDK : 11 Cpu : 2 Memory : 4~8 Disk : 20~50G 선행조건 : ec2 인스턴스 중 도메인이 필요한 부분은 미리 alb A recode 도메인 설정되었으며 방화벽 또는 dev환경 vpc구성후 private Network 생성 한뒤 보안 이슈 최소화될수있도록 구성되었습니다 AWS Cloud ELK 구성 하기.. 2021. 7. 29. ELK 서비스 Bash 실행 리눅스 CentOS 스크립트 만들기 (Service Bash Shell Script Start Stop,Restart,Status) 개발하면서 Instance 구성하거나 실행 스크립트 만들때 매번하는건데 정말 한번 간만에 만들어봤어요 좀더 잘만들었으면 좋을텐데 아직은 이정도라 좀더 분발하겠습니다. 경력을 한10년정도 뒤로먹어떠니 이거짜는것도 쉽지않네요 ㅜ.ㅜ 서비스 설치 이후 하나의 인스턴스에 여러개 프로세스를 구성하다보면 서비스 start|stop|restart|status 확인도 번거로운 부분이기때문에 이렇게 Bash Shell Script 를 만들어두면 편리하게 사용이 가능합니다. 요정도는 Backend 개발하시면 할수 있는거자나요 그죠!! Elasticsearch.sh Bash Script 시작|중지|상태|리스타트 #!/bin/bash SERVICE="elasticsearch" case "$1" in start) echo "e.. 2020. 7. 28. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 conf.d Input(filebeats) To Output(Redis) 4편 filebeat 설치과정 filebeat 플러그인을 동작테스트 하기위한 log file 샘플 sample data : https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz https://www.elastic.co/kr/downloads/beats/filebeat (사용하는 OS에 맞게 다운로드) filebeat 는 주기적으로 생성된 access,error,debug,행동패턴,관리되어야하는 파일등을 수집하기위한 agent 클라이언트 정도라고 생각하시면됩니다. Logstash 설정 conf.d 폴더 하위에 filebeatsToRedis.conf 생성 input { beats { port => "5044" } } o.. 2020. 7. 16. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 conf.d Input(mysql) To Output(Redis) 3편 Elasticsearch 작업을 위해서 원천데이터인 RDBMS(mysql) 데이터를 elasticsearch 로 최종 반영을 하기 위해 두번의 단계를 거쳐서 ES Document 형태로 가공하는 샘플을 Logstash 에서 작업하는 과정을 정리 하겠습니다. 1단계 (Rdbms To Redis) INPUT(Mysql) -> OUTPUT(Redis) Input 에서는 RDBMS로 누적되어있는 관계형 데이터베이스 mysql 정보를 In Memory Cache Redis에 적제되는 과정 sampleInsert.sql 파일 생성후 아래 Select 조회 SELECT no, type, regdate FROM deal WHERE type = 'LIVE' AND regdate >= '2020-01-01' AND reg.. 2020. 7. 14. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 시작하기 2편 Logstash Logstash는 플러그인 기반의 데이터 수집 및 처리 엔진으로서, 광범위한 플러그인이 구비되어 다양한 수많은 아키텍처에서 손쉽게 데이터를 수집, 처리, 전달할 수 있게 해줍니다. 프로세싱은 하나 이상의 파이프라인으로 구성됩니다. 각 파이프라인에서 하나 이상의 입력 플러그인이 내부 대기열에 배치된 데이터를 수신하거나 수집합니다. 이것은 기본적으로 작고 메모리에 보관되지만 안정성과 복원력을 향상시키도록 디스크에서 더 크고 영구적으로 구성할 수 있습니다. Logtash 파이프라인 로그스태시는 로그 수집도구라고 볼 수가 있는데 예전에는 엘라스틱에 데이터를 밀어넣기 위해 redis 등이 많이 쓰였던 것 같은데 최근에는 아예 ELK라는 이름에서 보듯이 logstash가 대세인 듯 하다. 구성은 정.. 2020. 7. 1. 엘라스틱서치(Elasticsearch),Logstash,Kibana 6.5.4 버전 Redis Server Client 설치 입문 시작하기 1편 오늘은 ES를 본격적으로 시작하기 위해서 아래 4가지를 설치 해보도록 하겠습니다. Elasticsearch, Logstash, Kibana, Redis 아래 링크에서 다운받을수있습니다. 현재 2020년 6월 29일 기준 7.8.0 버전이 최신으로 보이며 각 OS에 맞게 다운로드 하시면됩니다. Elastic 제품을 다운로드 | Elastic Kibana 시각화의 보고서를 생성하고, 예약하고, 전송하세요. www.elastic.co 회사 서비스플랫폼 운영을 위해서 설치하는 중이며 기존에 Legacy에서 6.5.4버전을 사용하고있어서 6.5.4 버전을 설치할예정입니다. 당연한거지만 7.8.0버전을 하셔도되고 저와 동일하게 진행하셔도됩니다. 현재 7.x.x버전이 기존 버전보다 알고리즘이나 다양한 버그리포팅 성능.. 2020. 6. 29. ElasticSearch SendMail 발송 batch 용도 Scroll API 구현하기 ElasticSearch scroll API 라는 기능이 존재한다. 가장 많이 사용되는 이유는 호출해야되는 데이터가 너무 많을경우 Batch 개발시 사용된다 페이징으로 개발되어있는 리스트를 전체 다운로드 해야하는경우 ElasticSearch 10000건으로 제한되어있다. 5.x버전이후로 성능상 이슈로 막혀있는데 이부분을 강제적으로 풀수는 있지만 권장하지않는다 개발자의 잘못된 실수로 부하가 줄수있는 요청에 대해서 미연해 방지해서 서비스가 죽는 사태를 방지하기 위해서다. 10000건 제약때문에 어떻게 해야할지 난감한 상황이 생겼을때 사용하게된다. 대량의 데이터 조회하기 위해 RDBMS의 cursor같은 기능을 하는것이 바로 Scroll API 이다. Hits 를 가져올때 사용하는것이고 Aggs 같은 집계형태.. 2020. 5. 13. ElasticSearch Query context vs Filter context 차이점 Query DSL (Domain Specific Language) Nosql 에 적재된 document 들을 RDBMS 에서 우리가 자주 썻던것처럼 Query 질의를 해야하는데 필요한 기능을 제공하주는 역활을 합니다. Query DSL 진행하기전 Query Context 와 Filter Context 차이점에 대해서 아래 링크를 확인하시면됩니다. 번역기 돌리면 대충 이해가능합니다. Query context "쿼리절이 문서와 일치하는가?" 라는 질문에 답하며 _score 를 통해 문서가 다른문서와 비교하여 Query와 얼마나 일치하는지를 계산합니다. Filter context "쿼리가 문서와 일치하는가?" 라는 질문에 답하지만 _score는 계산하지 않습니다. 대부분 필터링을 위해 사용합니다. https:.. 2020. 5. 13. ElasticSearch _source / doc_value / stored_fields 3가지 차이점 ElasticSearch 를 공부하다보니 모르는것 투성이라서 하나씩 궁금할때마다 정리 해보고자 합니다. 아래 2가지는 일부 필드만 결과로 반환하도록 하는 옵션 입니다. 일단 차이점이 뭔지 알아볼까요 ? _source_stored_fields 기본적으로 검색 결과로 나온 원래의 json 데이터 모두는 _source 에 압축하여 담겨서 반환된다고 합니다. 이 때 _source=name,location 처럼 특정 필드를 지정하면 _source 에 담긴 데이터를 압축 해제한 다음 지정한 필드들만 뽑아서 반환합니다. 이 과정에서 수행되는 fetch & 압축해제는 매우 빠르게 수행된다고 합니다. 반면 stored_fields=name,location 처럼 지정된 경우, 지정한 필드가 stored 되어 있으면 (기본.. 2020. 5. 12. ElasticSearch Aggregations aggs composite afterkey Spring 집계 활용방법 이번에 회사옮긴지 한달정도 되었는데 ElasticSearch 를 해본적이 없어서 오랜만에 삽질 하고있는 개발자 입니다. 죽을꺼같아요..쓰바 집에가고 싶다.. 한주동안 결과를 달라는데 이런... 괜히 이직했어.. 하필 데이터도 많은 deal 상품 처리 하는 팀으로 와서 뽑아달라는 데이터가 몇억건에서 1건씩 max인값을 뽑아달라는데 난감합니다. group by 를 하면된다고 하는데요 일단 RDB 가 존재하고 RDB를 기준으로 document를 만들어둔 ES가 존재해서 당연히 처음에는 할줄아는 RDBMS로 데이터를 추출하려고 시도해보았습니다. 안나오네여 거의 많이보는 결과는 time out 아니면 뻗드라구여 slow Query 누가 날렸냐구 DB팀에서 DM날라옵니다. ElasticSearch 데이터 집계형태로.. 2020. 5. 12. 이전 1 2 다음 728x90
