반응형 분류 전체보기127 알고리즘 1편 어디부터 시작하면될까요? 점진적인 시작 나쁜머리를 굴려보자 개발자 면접 준비기초 안녕하세요 앵과장입니다. 오늘은 알고리즘 동기부여 그다음 편 시작해보기입니다. 알고리즘 어떻게 시작해야 됩니까? 저처럼 경력은 있는데 알고리즘이 부족해서 시작하는 분들도 있을 것이고 개발자가 되기 위해서 공부하는 사람 취미로 개발이 해보고 싶은 분들까지 있을 겁니다. 알고리즘이 왜 필요한 건가요? 회사생활 정말 알고리즘만 하면 연봉 올라가나요? 아니요!! 일머리가 돌아가야 합니다. 경력 10년 이상 동안 정말 알고리즘을 몰라도 개발자가 되고 경력이 오르고 연봉이 오르나요? 가능합니다. 회사생활은 개발만 잘한다고 되는 건 아닙니다. 일머리가 있어야 회사생활이 가능합니다. 약간에 센스, 커뮤니케이션, 눈치, 아부, 운, 낄낄 빠빠, 주변 사람 들까지 적절하게 버무려지면 사회생활 레벨업이 됩니다. 눈치 없는 .. 2021. 9. 12. 알고리즘 0편 시작 동기부여! 내가 누군지 아니 개발자다! 노예가 아니구! 개발자 면접 준비 기초 안녕하세요 앵과장입니다. 알고리즘을 해야 하나요? 경력자분들 중 저와 비슷한 생각을 하시는 분들도 있을 거라고 생각합니다. 경력이 17년 이상 되다 보니 연봉이 낮은 편은 아닙니다 그렇다고 높다고 생각해야 될까 할 정도로 높은 편도 아닙니다. 이렇게 되다 보니 굳이 알고리즘을 준비해서 면접을 봐야 하나 라는 생각을 어느 순간 가져버리고 사는 순간... 개발회사 생태계를 못 따라가고 있는 나를 발견했습니다. 인스타, 블로그, 유튜브 조회수에 목말라서 허덕이고 관심을 받고 싶는 것을 좋아하는 내가 개발자로서는 생각보다 그렇게 노력을 해본 적이 있나라는 생각이 들었습니다. 사실 시간 대비 효율이라고 개발 알고리즘 풀 시간에 다른 부분들을 끌어올려야겠다는 생각으로 이것저것 하고 있는데 하면서 알게 되었습니다. .. 2021. 9. 11. Aws ses(Amazon SImple Email Service)를 이용한 Spring Boot Email 발송 기능 Java Source 안녕하세요 앵과장입니다. 오늘은 Aws ses를 이용해서 JAVA Springboot 기반 email 발송 기능을 만들어보겠습니다. 회사에서 진행하는 서비스플랫폼에서 사용할 기능을 개발하고 있는중입니다. (ps 어라 왜 서비스플랫폼에 메일발송이 없는지 의아해 할수 있는데....좀 안타까운곳에 이직해서 멘탈깨지는중입니다) 라떼는 언제냐 KTH가 파란포탈을 만들어서 광고 할때 기억에 메일마다 2기가인가 4기가 준다니 너도나도 사람들이 파란포탈에서 제공하는 메일을쓰려고 가입하고 그랬던 기억이 있네요 그때 파란포탈 이메일 개발팀에 대략 4~5명정도 였고 PHP로 개발되어있었습니다. 그분들 그때 밤세고 장애처리하고 엄청 복잡했었는데 이제는 이렇게 AWS에서 제공하는 SES로 간단하게 사용이 가능합니다. 단계정리 .. 2021. 9. 2. Kibana 7.14.x Elasticsearch Logstash Metricbeat 설정 방법 6.5버전만 사용해본 저는 오늘도 삽질을 합니다. 저번 포스팅에서는 ELK 7.14.4 를 사용하기 위한 기본적인 설치와 네트워크 작업이 완료되었습니다. 해당 내용이 궁금하다면 아래 포스팅을 확인해주세요 AWS EC2 ELK Elasticsearch7.x + Logstash7.x + Kibana7.x + beats 최신버전 설치 안녕하세요 앵과장입니다. 개발블로그를 너무 오랜만에 쓰고있네요 이번년도에도 역시나 이직을 하고있습니다. 5년동안 매년 이직하다보니 정착하고싶네요 하지만 항상 내마음에 드는 직장이 angryfullstack.tistory.com Kibana Dashboard 에서 확인할수 있는 방법에 대해서 작업 해보도록 하겠습니다. Kibana Dashboard에서 모니터링을 하기위해서는 7.x.. 2021. 8. 5. AWS EC2 ELK Elasticsearch7.x + Logstash7.x + Kibana7.x + beats 최신버전 설치 안녕하세요 앵과장입니다. 개발블로그를 너무 오랜만에 쓰고있네요 항상 평생직장이다 라고 생각하고 들어가는데 내마음에 드는곳은 찾기가 쉽지가 않습니다. 간만에 아무것도 없는곳에서 개발하려니 아주많은 단점이 있지만 한가지 장점이라고 하면 시스템을 구축해볼수 있다는 것입니다. DEV 환경 구축 version : 2021.07.28 기준 7.13.x 진행 EC2 : centos 7.x JDK : 11 Cpu : 2 Memory : 4~8 Disk : 20~50G 선행조건 : ec2 인스턴스 중 도메인이 필요한 부분은 미리 alb A recode 도메인 설정되었으며 방화벽 또는 dev환경 vpc구성후 private Network 생성 한뒤 보안 이슈 최소화될수있도록 구성되었습니다 AWS Cloud ELK 구성 하기.. 2021. 7. 29. Gitlab Runner AWS EC2 CI/CD 빌드 배포 구성하기 Gitlab Runner CI/CD Pipline 이용한 빌드 배포 구성하기 선행조건 Gitlab , Gitlab Runner 설치가 완료된 상태 Springboot Applicatoin 준비 1. Gitlab Runner Settings 설정 Gitlab Runner 를 설정할 프로젝트 접근후 Settings > CI / CD > Runners 클릭 2. Gitlab Runner에 설정할 Runner manually 설정정보를 확인할수 있습니다. Set up a specific Runner manually 정보는 gitlab runner 에서 "gitlab-runner register" 명령어를 통해서 진행해야하는 Value 입력값들입니다. 3.Gitlab Runner 서버 접근후 #>gitlab-ru.. 2021. 5. 24. ELK 서비스 Bash 실행 리눅스 CentOS 스크립트 만들기 (Service Bash Shell Script Start Stop,Restart,Status) 개발하면서 Instance 구성하거나 실행 스크립트 만들때 매번하는건데 정말 한번 간만에 만들어봤어요 좀더 잘만들었으면 좋을텐데 아직은 이정도라 좀더 분발하겠습니다. 경력을 한10년정도 뒤로먹어떠니 이거짜는것도 쉽지않네요 ㅜ.ㅜ 서비스 설치 이후 하나의 인스턴스에 여러개 프로세스를 구성하다보면 서비스 start|stop|restart|status 확인도 번거로운 부분이기때문에 이렇게 Bash Shell Script 를 만들어두면 편리하게 사용이 가능합니다. 요정도는 Backend 개발하시면 할수 있는거자나요 그죠!! Elasticsearch.sh Bash Script 시작|중지|상태|리스타트 #!/bin/bash SERVICE="elasticsearch" case "$1" in start) echo "e.. 2020. 7. 28. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 conf.d Input(filebeats) To Output(Redis) 4편 filebeat 설치과정 filebeat 플러그인을 동작테스트 하기위한 log file 샘플 sample data : https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz https://www.elastic.co/kr/downloads/beats/filebeat (사용하는 OS에 맞게 다운로드) filebeat 는 주기적으로 생성된 access,error,debug,행동패턴,관리되어야하는 파일등을 수집하기위한 agent 클라이언트 정도라고 생각하시면됩니다. Logstash 설정 conf.d 폴더 하위에 filebeatsToRedis.conf 생성 input { beats { port => "5044" } } o.. 2020. 7. 16. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 conf.d Input(mysql) To Output(Redis) 3편 Elasticsearch 작업을 위해서 원천데이터인 RDBMS(mysql) 데이터를 elasticsearch 로 최종 반영을 하기 위해 두번의 단계를 거쳐서 ES Document 형태로 가공하는 샘플을 Logstash 에서 작업하는 과정을 정리 하겠습니다. 1단계 (Rdbms To Redis) INPUT(Mysql) -> OUTPUT(Redis) Input 에서는 RDBMS로 누적되어있는 관계형 데이터베이스 mysql 정보를 In Memory Cache Redis에 적제되는 과정 sampleInsert.sql 파일 생성후 아래 Select 조회 SELECT no, type, regdate FROM deal WHERE type = 'LIVE' AND regdate >= '2020-01-01' AND reg.. 2020. 7. 14. 엘라스틱서치(Elasticsearch) Logstash configuration 파이프라인 시작하기 2편 Logstash Logstash는 플러그인 기반의 데이터 수집 및 처리 엔진으로서, 광범위한 플러그인이 구비되어 다양한 수많은 아키텍처에서 손쉽게 데이터를 수집, 처리, 전달할 수 있게 해줍니다. 프로세싱은 하나 이상의 파이프라인으로 구성됩니다. 각 파이프라인에서 하나 이상의 입력 플러그인이 내부 대기열에 배치된 데이터를 수신하거나 수집합니다. 이것은 기본적으로 작고 메모리에 보관되지만 안정성과 복원력을 향상시키도록 디스크에서 더 크고 영구적으로 구성할 수 있습니다. Logtash 파이프라인 로그스태시는 로그 수집도구라고 볼 수가 있는데 예전에는 엘라스틱에 데이터를 밀어넣기 위해 redis 등이 많이 쓰였던 것 같은데 최근에는 아예 ELK라는 이름에서 보듯이 logstash가 대세인 듯 하다. 구성은 정.. 2020. 7. 1. 엘라스틱서치(Elasticsearch),Logstash,Kibana 6.5.4 버전 Redis Server Client 설치 입문 시작하기 1편 오늘은 ES를 본격적으로 시작하기 위해서 아래 4가지를 설치 해보도록 하겠습니다. Elasticsearch, Logstash, Kibana, Redis 아래 링크에서 다운받을수있습니다. 현재 2020년 6월 29일 기준 7.8.0 버전이 최신으로 보이며 각 OS에 맞게 다운로드 하시면됩니다. Elastic 제품을 다운로드 | Elastic Kibana 시각화의 보고서를 생성하고, 예약하고, 전송하세요. www.elastic.co 회사 서비스플랫폼 운영을 위해서 설치하는 중이며 기존에 Legacy에서 6.5.4버전을 사용하고있어서 6.5.4 버전을 설치할예정입니다. 당연한거지만 7.8.0버전을 하셔도되고 저와 동일하게 진행하셔도됩니다. 현재 7.x.x버전이 기존 버전보다 알고리즘이나 다양한 버그리포팅 성능.. 2020. 6. 29. Mac 버전 python 파이썬 셀레니움 웹사이트 크롤링 자동 로그인 봇 만들기 Hello world 출력 시작이 반 1편 목적 돈벌기위한 수단이며 개발은 그저 도울뿐 최적화 따위 없음 공부를 위해서 개발은 하지 않습니다. 무조건 돌아가는것에 의미를 부여하며 변수명 프로세스 행위 소스 리펙토링은 하지 않습니다. 파이썬 공부를 심도있게 하기위해서 오셨다면 뒤로가기 하시면됩니다. 웹 크롤링 또는 웹조작을 위해서 필요한 기본 선행조건 1. 파이썬 셀레니움 python3 brew 를 이용해서 python을 설치하셨다면 셀레니움을 install 하시면됩니다. pip3 install selenium (맥, 리눅스) 2. 크롬엔진 다운로드 http://chromedriver.chromium.org/ 크롬 라스트버전 다운로드 https://chromedriver.storage.googleapis.com/index.html?path=83.0.. 2020. 6. 26. 이전 1 ··· 7 8 9 10 11 다음 728x90
