기타(framework)
2017.07.10 / 17:16

Java 웹크롤링(Web Crawling) 자료 소스 예제

XMaLL관리자
추천 수 73

Java 웹크롤링(Web Crawling) 자료 소스 예제



자바를 이용한 웹 크롤러 만들기

해당 예제는 프로젝트 생성에 관한 부분의 내용을 참고하기 좋음


사용하는 라이브러리는

 - commons-logging-1.2.jar

 - httpclient-4.5.2.jar

 - httpcore-4.4.4.jar


http://derveljunit.tistory.com/253



jsoup - 자바를 위한 Beautiful Soup (HTML parser)

해당 예제는 원하는 Element를 추출하는데 참고하기 좋음


자바의 jsoup HTML 파서를 사용


HTML문서를 읽고, DOM객체로 변환후에

selector api를 이용해서 특정 Element에 접근


http://edoli.tistory.com/95



jsoup : Parse a document from a String




HTML 문서을 String으로 읽고, Tag를 select하여 text를 얻어내는 예제


https://jsoup.org/cookbook/input/parse-document-from-string



: jsoup 다운로드



웹 크롤링 적용 사례


 [NDC2014]쉽게 따라 할 수있는 "꽤" 훌륭한 유저 동향 분석 시스템

http://www.slideshare.net/mrfoundation21/ss-35511996



출처: http://printhelloworld.tistory.com/20 [PrintHelloWorld]