반응형 분류 전체보기127 파이썬 웹 크롤링(Python web crawling) 만들기 웹 페이지 html 크롤링 FastAPI로 빠르게만드는 Rest API 호출 Json Response 처리 Step 6 Setp5 까지 잘따라오셨다면 Github 에 Repogitory 만들어지고 내컴퓨터에는 Poetry 가상환경으로 아래 pyproject.toml 이 만들어져있어야 합니다. github에 코드올려두었으니 clone하시면됩니다. https://github.com/lswteen/webcrawling GitHub - lswteen/webcrawling Contribute to lswteen/webcrawling development by creating an account on GitHub. github.com 1.pyproject.toml 이 생성 [tool.poetry] name = "crawling" version = "0.0.1" description = "python web crawling" auth.. 2022. 10. 21. 파이썬 웹 크롤링(Python web crawling) 만들기 poetry fastapi uvicorn 실행 드디어 파이썬 가상환경 설정완료 Step 5 conda 환경부터 시작해서 github연결 시도 하다가 poetry 가상환경 으로 진행후 연결설정한뒤에 git까지 진행되었습니다. 그이후 터미널로 진행하려니 쉽지가 않아서 pycharm CE 설치까지 진행되셨나요? 다시 fastapi가 잘실행되는지 확인해보도록 하겠습니다. 해당 Step진행하기 위해서는 4부 부터 진행 하시면됩니다. https://angryfullstack.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81Python-web-crawling-%EB%A7%8C%EB%93%A4%EA%B8%B0-poetry-%EA%B0%80%EC%83%81%ED%99%98%EA%B2%BD-%EC%84%A4%EC.. 2022. 10. 21. 파이썬 웹 크롤링(Python web crawling) 만들기 poetry 가상환경 설정 Step 4 파이썬으로 conda 가상환경을 구성하고 fastapi 프레임워크를 기반으로 github에 작업해보려고하니 파이썬은 패키지 구성이나 버전등을 구성할수 있는 스켈레톤형태의 구조가 필요한데 github에 올릴려다보니 setup.py 또는 pyproject.toml 을 올려야 가능하다는 오류를 보고서 conda가 언제나온거지 좀 찾다보니 poetry라는 가상환경설정이 좀더 최근에 올라온것으로 확인이 되어 급선회 해보려고합니다. 어차피 시작하는거 최신꺼로 해야 손도덜가고 그러는것 아닌가여 아직 깊이가 전혀 없기때문에 사용하는 도구라도 최신에 나온걸로 쓰고싶어서 흔들리는 갈대처럼 써보도록 하겠습니다. Poetry https://hackersandslackers.com/python-poetry-package-man.. 2022. 10. 20. 백앤드 개발자가 API를 늦게 만들어준다면, Postman(포스트맨) API 테스트 team 인터페이스 공유 mock server 구성하기 프로젝트 하다보면 선행조건으로 나와야하는 API 를 공유 받아야할때가 있는데 사람이 일하는거라서 RestAPI 만들고 Swagger UI API를통해서 공유를 많이하게되는데 가끔 서버개발 일정이 늦어지거나 내가원하는 Mock데이터가 충분하지 않아서 테스트 해보고싶은데 시간이 오래걸리는상황이라면 Postman Tool을 이용해서 간단하게 개발에 편리하게 이용할수 있는 기능이 있어서 공유 드립니다. Postman 소개 & 사용법 관련 링크 : https://www.postman.com/downloads/postman-agent/ Postman Agent: For Mac, Windows, & Linux The Postman agent overcomes the Cross Object Resource Sharin.. 2022. 10. 19. 파이썬 웹 크롤링(Python web crawling) 만들기 크롤링 데이터 conda github 저장소 연동 Step 3 파이썬으로 웹크롤링 진행하기전에 코드를 구현하기전에 github에 올려서 어디든 진행가능한 상태로 만들어야 될것같아 git연동을 찾아보도록 하겠습니다. 아 conda를 처음 쓰다보니 env프로젝트 이름을 너무 회사명칭으로 만들어서 다른이름으로 바꿔야되기때문에 일단 conda에서 프로젝트 명 바꾸는 방법을 찾아보니 바꾼다는 표현보다는 처음 만든 프로젝트를 복제한뒤 삭제하는 방법으로 진행하는 방법이 있어서 정리합니다. conda 환경 프로젝트 이름 변경하기 복사 이후 삭제 conda create --name {새로만들이름} --clone {변경전이름} (base) renzo@renzoui-MacBookPro workspace % conda create --name webcrawling --clone samp.. 2022. 10. 18. 파이썬 웹 크롤링(Python web crawling) 만들기 크롤링 데이터 RestAPI 제공할수 있는 conda기반 FastAPI 패키지 설치 및 실행 2부 파이썬 크롤링 이후 데이터를 전달할때 Rest API 인터페이스를 만들어서 다양한 플랫폼에서도 사용 가능하게 하기위해서 파이썬 프레임워크가 필요할것 같아서 간단하게 사용할수 있는 프레임워크중 이름부터 빠른 FastAPI 설치 해보도록 하겠습니다. 필요한 파이썬 FastAPI 설정을 해보도록 하겠습니다. fastapi 설치 renzo@renzoui-MacBookPro jobkorea % conda install -c conda-forge fastapi Collecting package metadata (current_repodata.json): done Solving environment: done ==> WARNING: A newer version of conda exists. conda-forge::c.. 2022. 10. 14. Batch 작업시 선행 조건 고려할사항, 배치 전략, Job 실행 환경 with SpringBatch Batch 작업은 서비스 플랫폼 관점에서 오류검출이나 예외 처리하기 상당히 불편한 기능중 하나입니다. 그래서 선행조건으로 스케쥴 작업을 왜 해야하는지 어떤검토가 필요한지 알아보도록 하겠습니다. Batch 검토 시 고려 사항 비지니스 관점으로 볼때, 고가용성(대용량, 매우빠른배치전략) 이 필요한지 검토 데이터 안정성이 꼭필요한지 유실되도 문제 없는지에 대한 검토 연속으로 순서가 보장되어야 하는 비지니스를 가지는 배치가 있는지 검토 개발자가 배치를 개발할때 편하게 생성하고 관리나 모니터링 오류등을 확인할수 있는지 검토 관련 비지니스가 꼭 배치로 작업이 되어야 하는지 검토 장기적인 관점에서 개선이 가능한 배치방향인지 검토 Spring Batch Spring Batch 는 읽기, 처리, 쓰기 단위를 명확히 구분.. 2022. 10. 12. 파이썬 웹 크롤링(Python web crawling) 만들기 가상환경 설치 conda 명령어 및 크롤링 필요한 라이브러리 설치하기 Step 2 1부에서 웹크롤링이 왜필요한지 그리고 각언어에서 웹크롤링할때 필요한 라이브러리에 대해서 알아보았습니다. 오늘은 파이썬 언어 웹크롤링을 하기위한 아나콘다 가상환경 설정 및 beautifulsoup4, requests, selenium 설치 등에 대해서 진행해보겠습니다. Python 웹크롤링 개발을 위한 아나콘다 가상환경 만들기 Local Python설치해도 되지만 그렇게되면 내로컬도 지저분해지고 다양한 파이썬 버전이나 라이브러리 들에 환경구축에도 영향도가 있기때문에 가상환경을 구성해서 서비스에 필요한 라이브러리 버전만 설치 해보도록 하겠습니다. 1. Anaconda 콘다 Python 가상환경 생성 & 목록 확인 아래 링크 참고하세요 python3 M1 맥 파이썬 아나콘다 가상 개발 환경 설정 안녕하세요 앵.. 2022. 10. 10. Leetcode 문제풀이 난이도 Easy Two Sum Java Leetcode https://leetcode.com/problemset/all/ 문제풀이 nums : int[] 타입 배열 target : nums 배열에 속한 2개의 index 합 output : target에 해당하는 2개의 nums배열 index 반환 배열을 2개의 배열로 돌면서 값을 비교해서 동일하면 반환하는 형태로구현 해보도록 하겠습니다. 우선 테스트 코드에 아래처럼 짜보고 package com.codeing.code.leetcode; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest; import java.util.HashMap; import java.util.Map; im.. 2022. 9. 15. Leetcode 문제풀이 난이도 Midium 94. Binary Tree Inorder Traversal 트리 인오더 Leetcode https://leetcode.com/problemset/all/ 천천히 읽어보셔영 왼쪽 노드에 값이 없으면 Root 삽입 코드는 간단합니다. 이해하고 기록해두고 비슷한 문제가나왔을때 참고할수있는 형태로 기록해두면될것 같습니다. package com.codeing.code.leetcode; import java.util.ArrayList; import java.util.Collections; import java.util.List; /** * leetcode : https://leetcode.com/problems/binary-tree-inorder-traversal/ * 난이도 : easy */ public class BinaryTreeInorder { public class TreeN.. 2022. 9. 9. 개발자 1년차로 다시 처음으로 돌아간다면.. 준비해야하는것들 예전보다는 아무래도 수요가 많은 개발자 찾기를 시작하기 때문에 다시 1년차로 돌아간다면 어떻게 접근해 봐야될까? 한번 진심으로 진지하게 고민을 하다가 개발자 1년차로 돌아간다면 나는 어떻게 다시 시작할지에 대해서 질문에 대한 답변을 해볼까한다. 개발자 1년차로 다시 돌아가면 부족한 여러가지 아!!!!! 생각만해도좀 짜증나는 개발자 1년차로 돌아가면 제일 슬플꺼같은 몇가지 무지한 나의 경험과 지식 개발자는 당연히 계속 공부해야되지만 그래도 경험이 누적되면서 지식에 습득과 방법이 달라지게 되는데 이런 시행착오가 없다는것이 일단 두렵다. 면접 스킬 과 CS지식 면접은 1년차든 지금이던 정말 생각만해도 스트레스 받는 일이긴한데 1년차에 면접 생각만해도 힘든데 기억에 남는 첫면접 개발자는 아니고 이마트 축산물, .. 2022. 9. 8. MSSQL 맥북용 M1 추천 Tool Legacy 분석 Mssql 프로시저 검색하기 어쩌다보니 Legacy 분석을 Mssql Procedures 까지 하고 있어서 돈버는건 역시 쉬운게 없다는걸 다시한번 느끼는 중입니다. Mssql 을 사용하기 위한 Mac 용 Mssql Tool 추천 2가지를 공유드립니다. 저도 사용감이 많지 않아서 Mssql 맥북용 Tool만 소개해드리고 프로시저 분석을 위한 프로시저 찾기 실행하기 정도로 정리를 해볼까 합니다. Mac 용 Mssql Database 접근 Tool DBeaver https://dbeaver.io/download/ Download | DBeaver Community Download Tested and verified for MS Windows, Linux and Mac OS X. Install: Windows installer – run .. 2022. 9. 8. 이전 1 2 3 4 5 6 7 8 ··· 11 다음 728x90
