이전 소개했었던 아파치의 httpclient를 이용한 웹 스크래핑 작업에 이어, 이젠, 웹 페이지의 필요한 부분을 쉽게 가져오기 위한
일련의 방법 중 하나로 사용되는 파서 중 . 최근 인기가 있는 htmlcleaner로 파싱에 용이한 XML 형식으로 변환하는 방법을 소개한다.
htmlcleaner를 얻을 수 있는 곳 :
http://htmlcleaner.sourceforge.net/
Matcher와 Pattern 클래스를 사용해서 스트리밍 되는 문자열을 정규표현식으로 자르는 것도 좋지만, 사실, 작업효율성을 보았을 때는
XML형식으로 변환 후 자료를 꺼내 오는 것이 효율적이다.(물론, 처리 속도는 전자가 빠른 것은 사실.)
아래는 간단하게 편집 해 본 코드다.
import java.io.IOException;
import java.io.StringWriter;
import java.io.Writer;
import org.htmlcleaner.CleanerProperties;
import org.htmlcleaner.HtmlCleaner;
import org.htmlcleaner.SimpleXmlSerializer;
import org.htmlcleaner.TagNode;
public class HtmlToXml {
public String htx(String string) { //스크래핑 해 온 Html 문자형 데이터.
HtmlCleaner cleaner=new HtmlCleaner();
CleanerProperties props=cleaner.getProperties();
Writer str = new StringWriter();
TagNode node=null;
try {
node=cleaner.clean(string);
} catch (IOException e) {
e.printStackTrace();
}
SimpleXmlSerializer se=new SimpleXmlSerializer(props);
try {
se.writeXml(node, str,"EUC-JP"); //웹 페이지의 인코딩 방식.
str.close();
se.writeXmlToFile(node, "test.xml" ,"EUC-JP"); //만들어질 XML 문서명과 인코딩 방식.
} catch (IOException e) {
e.printStackTrace();
}
return str.toString();
}
}
|
이것만으로 간단하게 XML문서가 만들어진다. 물론, 굳이 파일로 만들지 않아도 문자형 데이터로 만들어도 파싱하는데는 문제가 없다.
하지만, 한가지 문제가 발생하는데, XML형식과는 상관이 없는 Javascript,Css Style등이 가끔 에러를 뱉어낸다는 것이다.
이때는, 그 부분을 제거하는 작업이 필요하다.
(그리고 이것이 처리 속도 면에서 문제가 일어나는 부분이기도 하다.)
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class CleanDocument {
private static interface Patterns {
public static final Pattern SCRIPTS = Pattern.compile(
"<(no)?script[^>]*>.*?</(no)?script>",
Pattern.DOTALL);
public static final Pattern STYLE = Pattern.compile(
"<style[^>]*>.*</style>",
Pattern.DOTALL);
public static final Pattern Blank = Pattern.compile(
"\n\n",
Pattern.DOTALL);
}
public String clean(String str) {
if (str == null){
return null;
}
Matcher mat;
mat = Patterns.SCRIPTS.matcher(str);
str = mat.replaceAll("");
mat = Patterns.STYLE.matcher(str);
str = mat.replaceAll("");
mat = Patterns.Blank.matcher(str);
str = mat.replaceAll("");
return str;
}
}
|
위의 방식으로 정규표현식을 이용해 스크립트/스타일/공백을 제거하고 깨끗한 상태의 HTML문서를 얻을 수 있다.
(하지만, 역시 주석 처리 부분에 있어서는 애매한 점이 있는 것이 현실이다.)
여기서, 한가지 의문이 생긴다면, 왜, 굳이, 복잡하게 이렇게 HTML을 XML형식으로 만들어야 하는가...라는 것인데,
이건 모두 HTML이 너무나 적당히 해석되는 언어-_-라는 데 그 이유를 들 수 있다.
기존의 파서는 완벽하게 정형화된 문서라는 것을 전제를 하고 파싱작업을 하다보니, 주석이나 비정형상태의 문서에서
값을 뽑아오는 것이 불가능에 가까울 정도이기 때문이다.
(자르고,자르고,자르고를 반복하다보면 차라리 이쪽이 처리속도 면에서 더 빠를 때도 있다...;;;)
웹의 문자열 데이터를 처리하는 일이 그리 드문 일이 아니기에, 혹여라도 정규식으로 머리를 싸매며 데이터를 가공하는데
애를 먹을 때가 있다면 확실히 htmlcleaner는 가뭄의 단비 같은 존재다.
-특히, 2바이트 문자권에서 문자열에러(文字化け)와 싸우고 있는 개발 전선의 용자들에게는 더욱.
PS : ...이 일이 빨리 끝나야 아이폰 개발쪽으로 넘어갈텐데...프로젝트가 쓰러질 기미가 보이지않는다...;;;
