관리 메뉴
목록Language/Python (1)
개발자공부일기
크롤링 도구들(Selenium, Playwright, Scrapy, Requests)
회사측에서 한달인턴을 시작하기 전에 알아보면 좋다고하신 크롤링 도구들을 살펴볼 예정이다.모두 Python에서 동작한다(Python에서만 동작하는 도구도 있지만 아닌 도구들도 있다.)1. Requests개요HTTP 요청을 통해 웹 페이지의 HTML 코드를 가져오는 가장 기본적인 크롤링 도구입니다.자바스크립트 렌더링이 필요 없는 정적 페이지 크롤링에 매우 적합합니다.동작 방식서버에 GET, POST 등 HTTP 요청을 보냅니다.서버로부터 받은 응답(response)의 본문을 파싱하거나 저장합니다.보통 BeautifulSoup, lxml 등의 HTML 파서와 함께 사용합니다.주요 메서드 및 매개변수requests.get(url, params=None, headers=None, cookies=None, time..
Language/Python
2025. 5. 2. 18:27