목록2025/05/02 (1)
개발자공부일기
크롤링 도구들(Selenium, Playwright, Scrapy, Requests)
회사측에서 한달인턴을 시작하기 전에 알아보면 좋다고하신 크롤링 도구들을 살펴볼 예정이다.모두 Python에서 동작한다(Python에서만 동작하는 도구도 있지만 아닌 도구들도 있다.)1. Requests개요HTTP 요청을 통해 웹 페이지의 HTML 코드를 가져오는 가장 기본적인 크롤링 도구입니다.자바스크립트 렌더링이 필요 없는 정적 페이지 크롤링에 매우 적합합니다.동작 방식서버에 GET, POST 등 HTTP 요청을 보냅니다.서버로부터 받은 응답(response)의 본문을 파싱하거나 저장합니다.보통 BeautifulSoup, lxml 등의 HTML 파서와 함께 사용합니다.장점가볍고 빠름: 렌더링이 없기 때문에 속도가 매우 빠름.의존성 낮음: 브라우저 필요 없음.단순한 API: .get(), .post() ..
Language/Python
2025. 5. 2. 18:27