권영기/web crawler (rev. 1.8)

권영기/web crawler

Contents

2. 필요기술

3. 진행 과정

3.1. 필요한 문서

3.2. 시작

3.2.1. 웹 페이지 소스 긁어오기
3.2.2. 소스에서 URL만 추출하기
3.2.3. 파일 다운로드하기

1. 목적 ¶

Python을 이용해서 Web Crawler를 제작하면서 Python의 사용법을 익히고, 원하는 웹 페이지를 긁기 위한 Web Crawler를 제작한다. (네이버웹툰(돌아온 럭키짱, 신의 탑...), 네이버 캐스트, 그 외의 각종 웹페이지..)

2. 필요기술 ¶

HTML
CSS
JavaScript
Python

HTML, CSS, JavaScript - 웹 페이지 분석
Python

3. 진행 과정 ¶

3.1. 필요한 문서 ¶

http://docs.python.org/

3.2. 시작 ¶

3.2.1. 웹 페이지 소스 긁어오기 ¶

3.2.2. 소스에서 URL만 추출하기 ¶

3.2.3. 파일 다운로드하기 ¶

last modified 2021-02-07 05:28:46
Processing time 0.0173 sec