반응형 프로그래밍언어/Python11 파이썬 웹 크롤링(Python web crawling) 만들기 웹 페이지 html 크롤링 FastAPI로 빠르게만드는 Rest API 호출 Json Response 처리 Step 6 Setp5 까지 잘따라오셨다면 Github 에 Repogitory 만들어지고 내컴퓨터에는 Poetry 가상환경으로 아래 pyproject.toml 이 만들어져있어야 합니다. github에 코드올려두었으니 clone하시면됩니다. https://github.com/lswteen/webcrawling GitHub - lswteen/webcrawling Contribute to lswteen/webcrawling development by creating an account on GitHub. github.com 1.pyproject.toml 이 생성 [tool.poetry] name = "crawling" version = "0.0.1" description = "python web crawling" auth.. 2022. 10. 21. 파이썬 웹 크롤링(Python web crawling) 만들기 poetry fastapi uvicorn 실행 드디어 파이썬 가상환경 설정완료 Step 5 conda 환경부터 시작해서 github연결 시도 하다가 poetry 가상환경 으로 진행후 연결설정한뒤에 git까지 진행되었습니다. 그이후 터미널로 진행하려니 쉽지가 않아서 pycharm CE 설치까지 진행되셨나요? 다시 fastapi가 잘실행되는지 확인해보도록 하겠습니다. 해당 Step진행하기 위해서는 4부 부터 진행 하시면됩니다. https://angryfullstack.tistory.com/entry/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%9B%B9-%ED%81%AC%EB%A1%A4%EB%A7%81Python-web-crawling-%EB%A7%8C%EB%93%A4%EA%B8%B0-poetry-%EA%B0%80%EC%83%81%ED%99%98%EA%B2%BD-%EC%84%A4%EC.. 2022. 10. 21. 파이썬 웹 크롤링(Python web crawling) 만들기 poetry 가상환경 설정 Step 4 파이썬으로 conda 가상환경을 구성하고 fastapi 프레임워크를 기반으로 github에 작업해보려고하니 파이썬은 패키지 구성이나 버전등을 구성할수 있는 스켈레톤형태의 구조가 필요한데 github에 올릴려다보니 setup.py 또는 pyproject.toml 을 올려야 가능하다는 오류를 보고서 conda가 언제나온거지 좀 찾다보니 poetry라는 가상환경설정이 좀더 최근에 올라온것으로 확인이 되어 급선회 해보려고합니다. 어차피 시작하는거 최신꺼로 해야 손도덜가고 그러는것 아닌가여 아직 깊이가 전혀 없기때문에 사용하는 도구라도 최신에 나온걸로 쓰고싶어서 흔들리는 갈대처럼 써보도록 하겠습니다. Poetry https://hackersandslackers.com/python-poetry-package-man.. 2022. 10. 20. 파이썬 웹 크롤링(Python web crawling) 만들기 크롤링 데이터 conda github 저장소 연동 Step 3 파이썬으로 웹크롤링 진행하기전에 코드를 구현하기전에 github에 올려서 어디든 진행가능한 상태로 만들어야 될것같아 git연동을 찾아보도록 하겠습니다. 아 conda를 처음 쓰다보니 env프로젝트 이름을 너무 회사명칭으로 만들어서 다른이름으로 바꿔야되기때문에 일단 conda에서 프로젝트 명 바꾸는 방법을 찾아보니 바꾼다는 표현보다는 처음 만든 프로젝트를 복제한뒤 삭제하는 방법으로 진행하는 방법이 있어서 정리합니다. conda 환경 프로젝트 이름 변경하기 복사 이후 삭제 conda create --name {새로만들이름} --clone {변경전이름} (base) renzo@renzoui-MacBookPro workspace % conda create --name webcrawling --clone samp.. 2022. 10. 18. 파이썬 웹 크롤링(Python web crawling) 만들기 크롤링 데이터 RestAPI 제공할수 있는 conda기반 FastAPI 패키지 설치 및 실행 2부 파이썬 크롤링 이후 데이터를 전달할때 Rest API 인터페이스를 만들어서 다양한 플랫폼에서도 사용 가능하게 하기위해서 파이썬 프레임워크가 필요할것 같아서 간단하게 사용할수 있는 프레임워크중 이름부터 빠른 FastAPI 설치 해보도록 하겠습니다. 필요한 파이썬 FastAPI 설정을 해보도록 하겠습니다. fastapi 설치 renzo@renzoui-MacBookPro jobkorea % conda install -c conda-forge fastapi Collecting package metadata (current_repodata.json): done Solving environment: done ==> WARNING: A newer version of conda exists. conda-forge::c.. 2022. 10. 14. 파이썬 웹 크롤링(Python web crawling) 만들기 가상환경 설치 conda 명령어 및 크롤링 필요한 라이브러리 설치하기 Step 2 1부에서 웹크롤링이 왜필요한지 그리고 각언어에서 웹크롤링할때 필요한 라이브러리에 대해서 알아보았습니다. 오늘은 파이썬 언어 웹크롤링을 하기위한 아나콘다 가상환경 설정 및 beautifulsoup4, requests, selenium 설치 등에 대해서 진행해보겠습니다. Python 웹크롤링 개발을 위한 아나콘다 가상환경 만들기 Local Python설치해도 되지만 그렇게되면 내로컬도 지저분해지고 다양한 파이썬 버전이나 라이브러리 들에 환경구축에도 영향도가 있기때문에 가상환경을 구성해서 서비스에 필요한 라이브러리 버전만 설치 해보도록 하겠습니다. 1. Anaconda 콘다 Python 가상환경 생성 & 목록 확인 아래 링크 참고하세요 python3 M1 맥 파이썬 아나콘다 가상 개발 환경 설정 안녕하세요 앵.. 2022. 10. 10. 파이썬 웹 크롤링 (Python web crawling or scraping) 만들기 어떤 라이브러리 사용하면되나요? With anaconda Step 1 안녕하세요 앵과장입니다. 바로전에 맥에 아나콘다 설치 후 가상환경 구성까지 진행하였습니다. 맥 아나콘다 가상환경 파이썬 설치 방법 python3 M1 맥 파이썬 아나콘다 가상 개발 환경 설정 안녕하세요 앵과장입니다. 파이썬 가상환경 설정을 진행해보도록 하겠습니다. 바로 앞에서 pyenv 가상환경을 설정해봤는데 M1에서 그렇게 나이스한 가상환경설정은 아닌것 같아서 아나콘다 로 angryfullstack.tistory.com 크롤링 하는 이유? 크롤링을 사용하는 이유는 무엇일까요? 개발에는 항상 의도적인 목적이 존재하는데 크롤링하면 왠지 남에정보를 가져오거나 좋은의도로 접근하지 않는것 같은 느낌이 있는데요!! 크롤링 이슈로 몇가지 서비스플랫폼에소 법적인 이슈가 있던적이 있는데 알게모르게 서비스 플랫폼회사들은.. 2022. 1. 18. python3 M1 맥 파이썬 아나콘다 가상 개발 환경 설정 안녕하세요 앵과장입니다. 파이썬 가상환경 설정을 진행해보도록 하겠습니다. 바로 앞에서 pyenv 가상환경을 설정해봤는데 M1에서 그렇게 나이스한 가상환경설정은 아닌것 같아서 아나콘다 로 잡아보도록 하겠습니다. pyenv 설정은 아래 링크를 참고하세요!! Python파이썬 시작하기 M1 mac 최신버전 3.10.x 가상환경 pyenv 설정하기 2편 안녕하세요 앵과장입니다. 오늘은 파이썬을 진행하기위해서 선행조건인 Local에 가상환경을 구성하도록 하겠습니다. 파이썬 같은 경우 보통 가상환경을 구성해서 사용하는데 왜 해야하는거지? angryfullstack.tistory.com 아나콘다 아나콘다는 M1칩에서 많이 사용하고있는 가상환경인것 같습니다. 파이썬 개발할때 사용됩니다. 라이브러리 이름들은 참 하나같이.. 2022. 1. 16. Python파이썬 시작하기 M1 mac 최신버전 3.10.x 가상환경 pyenv 설정하기 2편 안녕하세요 앵과장입니다. 오늘은 파이썬을 진행하기위해서 선행조건인 Local에 가상환경을 구성하도록 하겠습니다. 파이썬 같은 경우 보통 가상환경을 구성해서 사용하는데 왜 해야하는거지? 파이썬 가상환경 설정 하는 이유 프로젝트 배포진행하면 원격서버에 패키지들을 설치 해줘야 합니다. 가상환경을 구성하는 가장 중요한 포인트는 서로 의존성(Dependency)이 필요한 라이브러리들에 구성패키지 버전업이 발생할수 있는 프로젝트에서 정상적으로 잘 관리하기 위한 용도라고 생각 해주시면 됩니다. 이런 부분들을 고려하지 않고 서비스 운영시 발생할 수 있는 위험요소와 서비스 영향도에 대한 문제를 처리하기 힘든 상황이 발생할수 있습니다. pyenv 설치 pyenv는 여러 파이썬 버전을 쉽게 변경할수 있는 환경 변수 설정이라.. 2021. 12. 18. 파이썬 시작하기 Python 언어와 제공하는 웹프레임워크 알아보기 1편 안녕하세요 앵과장입니다. 최근에 집에서 파이썬 공부를 가볍게 해보려고 어떤걸 만들어볼까 고민하다가 집에서 마눌님이 관리하고있는 여러 가계부나 정산처리 등을 좀더 손쉽게 편하게 사용할수 있도록 관리자 APP을 만들어보려고 합니다. JAVA는 많이 해봤으니 Python으로 구현 예정입니다. 하다가 어!! 왜이러지 할수 있는 것들이 발생 할수도 있지만 시행착오와 여러 경험을 하면서 점진적으로 성장 해보도록 하겠습니다. Python Framework Python 언어 관련 Syntax는 가볍게 생활코딩이나 집에 사둔 책이 있어서 목차정도만 살펴보도록 하겠습니다. 언어라는게 모 거기서 거기 아니겠습니까?! 아닌가... 물론 하다보면 이거 머리로 생각나고 로직도 생각나는데 손으로 구현이 안되는 알고리즘 풀때 느낌이.. 2021. 12. 12. Mac 버전 python 파이썬 셀레니움 웹사이트 크롤링 자동 로그인 봇 만들기 Hello world 출력 시작이 반 1편 목적 돈벌기위한 수단이며 개발은 그저 도울뿐 최적화 따위 없음 공부를 위해서 개발은 하지 않습니다. 무조건 돌아가는것에 의미를 부여하며 변수명 프로세스 행위 소스 리펙토링은 하지 않습니다. 파이썬 공부를 심도있게 하기위해서 오셨다면 뒤로가기 하시면됩니다. 웹 크롤링 또는 웹조작을 위해서 필요한 기본 선행조건 1. 파이썬 셀레니움 python3 brew 를 이용해서 python을 설치하셨다면 셀레니움을 install 하시면됩니다. pip3 install selenium (맥, 리눅스) 2. 크롬엔진 다운로드 http://chromedriver.chromium.org/ 크롬 라스트버전 다운로드 https://chromedriver.storage.googleapis.com/index.html?path=83.0.. 2020. 6. 26. 이전 1 다음 728x90
