공부/파이썬 Python65 크롤링하는 Flask앱을 pythonanywhere에 호스팅하는 방법 크롤링하는 Flask앱을 pythonanywhere에 호스팅하는 방법 결론부터 말하면 pythonanywhere 서버에서 크롤링을 하는 것은 한계가 있다. 1. pythonanywhere - Max retires exceeded with URL in requests 에러 발견 로컬 서버에서는 크롤링을 부분 담고 있는 flask 앱이 잘 작동했지만 pythonanywhere 서버에 호스팅을 했다 하면 아래와 같은 에러를 보이면서 실행 자체가 불가했다. 하지만 너무 수상했다. 호스팅을 하자 마자 크롤링 요청 수를 초과했다니 너무 수상했다. 더군다나 호스팅을 여러 번 한 것도 아니고 호스팅 시도를 하자 마자 요청 수 초과? 이상했다. Max retries exceeded with URL in requests .. 2023. 7. 15. [펌][Github] Github에 업로드하는 기본적인 방법 [펌][Github] Github에 업로드하는 기본적인 방법 GitHub Push 하는 방법 https://victorydntmd.tistory.com/53 [Github] Github에 업로드하는 기본적인 방법 이 글에서는 repository에 업로드하는 가장 기본적인 방법에 대해 다룹니다. 1. Git과 Github개념 먼저 Git은 버전 관리 툴이며, Github은 웹 상에 소스 코드를 올려서 여러 사람과 공유하는 장소입니다. victorydntmd.tistory.com 2023. 7. 15. 변수명 짓는 방법 (Camel Case, Snake Case 등등 ) 변수명 짓는 방법 Camel Case (카멜 케이스): myVariableName Snake Case (스네이크 케이스): my_variable_name Pascal Case (파스칼 케이스): MyVariableName Capital Camel Case (캐피탈 카멜 케이스): MyVariableName Kebap Case (케밥 케이스): my-variable-name Upper Snake Case (어퍼 스네이크 케이스): MY_VARIABLE_NAME Flat Case (플랫 케이스): myvariablename Cobol Case (코볼 케이스): MY-VARIABLE-NAME 2023. 1. 21. HTTPX로 웹 크롤링 10배 빠르게 하기 HTTPX로 웹 크롤링 10배 빠르게 하기 Synchronous 크롤링했을 때 소요 시간: 7.8초 Asynchronous HTTPX 크롤링했을 때 소요 시간: 0.79초 HTTPX란... httpx는 retryablehttp 라이브러리를 사용하여 여러 프로브를 실행할 수 있는 빠른 다목적 HTTP 툴킷입니다. 증가된 스레드 수로 결과 신뢰성을 유지하도록 설계되었습니다. HTTPX는 동기화 및 비동기 API를 제공하고 HTTP/1.1 및 HTTP/2를 모두 지원하는 Python 3용 완전한 기능을 갖춘 HTTP 클라이언트입니다. 필요 라이브러리 https://www.python-httpx.org/ HTTPX HTTPX A next-generation HTTP client for Python. HTTPX .. 2023. 1. 14. 파이썬 스케줄작업 생성하기 (Python schedule) 파이썬 스케줄작업 생성하기 (Python schedule) 스케줄 작업이란, 윈도우즈 스케줄러는 리눅스 crontab처럼 특정 이벤트 조건을 트리거로 설정하여 동작하게 하는 예약 작업이다. 윈도우 작업 스케줄러 이용하여 어떠한 프로그램 자동 시작, 디테일 하게 설정 제어 하여 구동을 시킬수 있도록 해 준다. 스케줄 작업을 파이썬으로도 생성, 작업, 관리가 가능하다. 자동적으로 언제까지 몇 번, 1시간 마다, 1초 마다, 1분 마다, 1일 마다, 일주일 마다 등등 용이한 스케줄 작업 관리가 가능하다. Required Libaries (필수 라이브러리) 1) schedule https://schedule.readthedocs.io/en/stable/ Installing Libaries (라이브러리 설치) 1.. 2023. 1. 12. Python cProfile 튜토리얼! (feat. 함수 별 소요시간 파악하기) Python cProfile 튜토리얼! (feat. 함수 별 소요시간 파악하기) cProflie을 활용함으로써 print time으로 타임 프린트 찍지 않고 함수 별 소요 시간을 알아보자. cProfile 내에서 함수를 실행하면 함수별 소요시간을 간단히 확인할 수 있다. Required Libraires (필요 라이브러리) 1) time 2) cProflie https://docs.python.org/3/library/profile.html 3) pstats cProfiles이란 - cProfile 및 프로필은 Python 프로그램의 결정론적 프로파일링을 제공합니다. 프로필은 프로그램의 다양한 부분이 실행되는 빈도와 기간을 설명하는 일련의 통계입니다. 이러한 통계는 pstats 모듈을 통해 보고서로 형식.. 2023. 1. 11. Python으로 PC 볼륨 조절하기 Python으로 PC 볼륨 조절하기 Required Libraries (필요 라이브러리) 1) comtypes - comtypes is a lightweight Python COM package, based on the ctypes FFI library, in less than 10000 lines of code (not counting the tests). comtypes allows to define, call, and implement custom and dispatch-based COM interfaces in pure Python. It works on Windows and 64-bit Windows. comtypes는 ctypes FFI 라이브러리를 기반으로 하는 경량 Python COM 패키.. 2023. 1. 11. Python의 간단한 UDP 채팅방 만들기 Python의 간단한 UDP 채팅방 만들기 Simple UDP Chat Room in Python UDP란 UDP는 User Datagram Protocol의 약자입니다. TCP와는 다르게 데이터를 패킷으로 나누고 반대편에서 재조립하는 과정을 거치지 않으며 수신지에서 제대로 받던 받지 않던 상관안하고 데이터를 보내기만 합니다. 또 목적지에 도달하려고 하지만 (Best-effort) 에러가 날 수도 있고 재전송이나, 순서 뒤바뀜에 대한 대체는 어플리케이션에서 처리해 주어야 합니다. 그치만 속도가 빠릅니다 별도의 연결도 필요하지않고 ACK메시지를 통해서 확인을 받거나 하는것이 없기 때문에 TCP 프로토콜 보다는 더 빠른 속도를 낼수 있으며 이러한 빠른 속도로 UDP는 실시간 방송 등등등 사용을 하는데 데이터.. 2022. 6. 30. Python에서 워드 파일 처리하기ㅣDocumentㅣdocxㅣWord File Processing in Python Python에서 워드 파일 처리하기ㅣDocumentㅣdocxㅣWord File Processing in Python python-docx https://python-docx.readthedocs.io/en/latest/ python-docx — python-docx 0.8.11 documentation from docx import Document from docx.shared import Inches document = Document() document.add_heading('Document Title', 0) p = document.add_paragraph('A plain paragraph having some ') p.add_run('bold').bold = True p.add_run(' and .. 2022. 6. 25. 이전 1 2 3 4 ··· 8 다음
