웹 크롤링1 HTTPX로 웹 크롤링 10배 빠르게 하기 HTTPX로 웹 크롤링 10배 빠르게 하기 Synchronous 크롤링했을 때 소요 시간: 7.8초 Asynchronous HTTPX 크롤링했을 때 소요 시간: 0.79초 HTTPX란... httpx는 retryablehttp 라이브러리를 사용하여 여러 프로브를 실행할 수 있는 빠른 다목적 HTTP 툴킷입니다. 증가된 스레드 수로 결과 신뢰성을 유지하도록 설계되었습니다. HTTPX는 동기화 및 비동기 API를 제공하고 HTTP/1.1 및 HTTP/2를 모두 지원하는 Python 3용 완전한 기능을 갖춘 HTTP 클라이언트입니다. 필요 라이브러리 https://www.python-httpx.org/ HTTPX HTTPX A next-generation HTTP client for Python. HTTPX .. 2023. 1. 14. 이전 1 다음