[파싱] 1. 기초적인 웹 데이터 받아오기

탁돌이개발자

추천 수 304

우선 본격적으로 JSON파싱에 들어가기에 앞서 웹과 연동하여 데이터를 받아오는 방법에 대해 알아보자

사실 이 방법은 JSON없이 그냥 HTML이나 XML정보를 그대로 받아온것에 불과하지만 중요한것은 인터넷과 연결하여 데이터를 받아오는 방식을 익힌다는 점에 있다.

목표가 되는 사이트는 본인의 IP를 보여주는 사이트인 http://ipip.kr/ 로 하겠다.

Your IP is 61.247.210.241

ipip.kr

이 사이트는 들어가보면 알겠지만 정말 심플하게 아이피만 보여주는 역할에 충실하여 파싱하기가 쉽다.

우리의 목표는 저 사이트를 들어가면 보이는 아이피 주소 4자리만 정확하게 받아와서 출력시키는 것이다.

그럼 이제 어떤것들이 필요한지 순서대로 생각해보자
(1) 인터넷과 연결해야 하니 당연히 웹페이지와의 연결 수단이 필요하다.
(2) 연결 이후 원하는 결과를 받아오기 위한 입출력수단이 필요하다.

상기 2가지를 사용하기 위해서 import를 해준다.

import java.net.HttpURLConnection;
import java.net.URL;
import java.io.BufferedReader;
import java.io.InputStreamReader;

이름에서 알 수 있다시피 url을 가지고 연결한다음 BufferedReader와 InputStreamReader를 이용해 결과를 받아온 뒤 콘솔 화면에 출력시켜 줄 것이다.

우선 인터넷 연결에 필요한 기본 변수들을 선언해준다

    private static String Address;
	private static URL url;
	private static BufferedReader br;
	private static HttpURLConnection conn;
	private static String protocol = "GET";

지금 단계에선 지역변수로 하던, 전역변수로 하던 크게 상관은 없으나, 평소 하던대로 전역 static변수로 전언하였다.

하나씩 살펴보면 Address는 말그대로 접속할 사이트의 주소를 저장할 String값이다.

URL은 주소와 같이 연결해줄때 사용할 것이다.

버퍼리더는 결과값을 받아와서 출력해줄때 사용할 것이다.

HttpURLConnection은 URL을 가지고 실제로 연결을 수행하는 중추적인 역할을 한다.

protocol은 웹에서 명령수행을 할때 요청과 응답 방식을 저장해준다.

여기엔 GET방식과 POST방식이 있는데 GET방식은 우리가 흔히 보는 https://search.naver.com/search.naver?where=nexearch&query=%EB%84%A4%EC%9D%B4%EB%B2%84&sm=top_hty&fbm=0&ie=utf8 이런 식의 검색 내용들이 주소에 다 들어나는 방식인 반면, POST방식은 www.aaaa.com/test.do 이런식으로 주소에 정보가 들어나지 않는 방식이다.(원래 굳이 변수선언은 안해도 되지만 가독성을 위해 변수로 선언했다.)

아무튼 여기까지 해서 기본적인 변수 선언은 끝났다. 이제 main메소드에서 변수에 값들을 지정해 주면 된다.

public static void main(String[] args) throws Exception{
		Address = "http://ipip.kr";
		
		url = new URL(Address);
		conn = (HttpURLConnection)url.openConnection();
		conn.setRequestMethod(protocol);
		
		br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"MS949"));
}

(1) Address에 우리가 접속할 주소를 입력해 주었다. 사실 전역변수로 선언한 이유가 여기에도 있다. 이 주소값을 Scanner를 이용해서 직접 입력받아 배정하는 등의 방식으로 응용할 수 있기 때문이다.

(2) url객체를 선언하고, 매개변수로 주소값을 넣어서 url을 완성시켜준다.

(3) conn변수에 url.openConnection()을 통해 통신을 열어준 것을 (HttpURLConnection)을 통해 형변환 하여 저장해 준다. 즉, 이 과정이 url을 통해 인터넷과의 연결을 이어준 것이다.

(4) conn.setRequestMethod()의 인자 내부에 요청&응답 방식을 넣어준다. 아까도 설명했다시피 GET과 POST방식이 있으며, 우리는 protocol = "GET"으로 선언했으므로 get방식으로 해 주었다.(사실 get방식이 대부분이긴 하지만 post방식일 때도 있으니 실제로 설계할땐 양쪽 다 설계 후 필요한 것을 맞춰 사용해 주는것이 옳다.

(5) conn.getInputStream()을 통해 연결된 주소에서 받아온 정보들을 new InputStreamReader()의 인풋스트림에 넣어주고, 이를 new BufferedReader()를 통해 br객체에 저장해준다. 인풋스트림의 두번째 인자인 "MS949"는 글자 인코딩 형식으로 옛날부터 한글을 표현하는데 사용하는 방식이다. 만일 글자가 제대로 출력이 안된다면 "UTF-8"등 다른 인코딩 형식으로 바꿔보면 된다. 이 인코딩 타입은 생략할 수 있으며, 생략 시 이클립스에서 해당 프로젝트의 기본 설정값을 따른다.

이제 이렇게 나온 내용들을 먼저 한줄씩 끝날때 까지 쭉 출력하는 식을 짜보자

    String line;
	while((line = br.readLine()) != null){
		System.out.println(line);
	}

br.readLine()을 통해 한줄씩 읽어온 결과를 line이라는 스트링 값에 저장하고, 이 line값이 널값이 될때, 즉, 읽어올 내용이 더이상 없을 때 까지 출력해준다.

이를 실행시키면 아래와 같은 내용이 나온다.

CSS등을 전부 포함해서 출력하기 때문에 생각보다 엄청 길다

이 문장 전부다 출력하면 엄청난 길이가 되는데 우리가 알고싶은건 홈페이지 html소스 전문이 아닌 빨간 줄로 쳐놓은 아이피 4자리 이다.

따라서 <tilte>Your IP로 문장이 시작할 때, 아이피 4자리의 앞, 뒤 문장들을 모두 제거하고 출력해주면 된다.

    String line;
	while((line = br.readLine()) != null){
		if(line.startsWith("<title>Your IP is ")){
			String ip = line.replace("<title>Your IP is ", "").replace("</title>", "");
			System.out.println(ip);
		}
	}

line이 <title>Your... 으로 시작하면 line에서 <title>Your IP is 문장과, </title>문장을 모두 없애("")주고 이를 ip라는 스트링에 담은 뒤 출력해주는 구조이다.

이제 코드를 종합시키면 아래와 같다.

코드 구성 :

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;

public class Main {
	private static String Address;
	private static URL url;
	private static BufferedReader br;
	private static HttpURLConnection conn;
	private static String protocol = "GET";
	
	public static void main(String[] args) throws Exception{
		Address = "http://ipip.kr";
		url = new URL(Address);
		conn = (HttpURLConnection)url.openConnection();
		conn.setRequestMethod(protocol);
		br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "MS949"));
		
		String line;
		while((line = br.readLine()) != null){
			if(line.startsWith("<title>Your IP is ")){
				String ip;
				ip = line.replace("<title>Your IP is ", "").replace("</title>", "");
				System.out.println(ip);
			}
		}
        br.close();
	}
}

출력 결과 :

여기까지 해서 기초적인 인터넷 연결을 통한 파싱에 대해 알아보았다. 사실 지금 소개한 이 방법은 XML파싱도 아니고 JSON파싱도 아닌 말그대로 HTML을 그대로 가져와서 필요한 부분만 잘라내서 출력한 것에 불과하다.
하지만 이번 장은 아무런 라이브러리 파일 없이 파싱을 할 수 있는 방법을 알아보았다는 것과, 실제로 인터넷에 연결하여 데이터를 받아오는 과정을 직접 해보았다는 점에서 의미를 가질만 하다.

다음장에서부턴 본격적으로 JSON을 이용한 파싱과, API키 발급에 대해서 알아보도록 하겠다.

< Prev [파싱] 2. JSON 다운로드 및 기본적인 구조 익히기

[파싱] 0. 웹 파싱(Parsing) 개념 Next >

♥