Java 웹크롤링(Web Crawling) 자료 소스 예제

자바를 이용한 웹 크롤러 만들기

해당 예제는 프로젝트 생성에 관한 부분의 내용을 참고하기 좋음

사용하는 라이브러리는

 - commons-logging-1.2.jar

 - httpclient-4.5.2.jar

 - httpcore-4.4.4.jar

http://derveljunit.tistory.com/253

jsoup - 자바를 위한 Beautiful Soup (HTML parser)

해당 예제는 원하는 Element를 추출하는데 참고하기 좋음

자바의 jsoup HTML 파서를 사용

HTML문서를 읽고, DOM객체로 변환후에

selector api를 이용해서 특정 Element에 접근

http://edoli.tistory.com/95

jsoup : Parse a document from a String

HTML 문서을 String으로 읽고, Tag를 select하여 text를 얻어내는 예제

https://jsoup.org/cookbook/input/parse-document-from-string

: jsoup 다운로드

웹 크롤링 적용 사례

 [NDC2014]쉽게 따라 할 수있는 "꽤" 훌륭한 유저 동향 분석 시스템

http://www.slideshare.net/mrfoundation21/ss-35511996

출처: http://printhelloworld.tistory.com/20 [PrintHelloWorld]