자바 스프링 인코딩 대박 삽질 경험 - 실전
1. 문제 상황
우리 서버는 UTF-8을 사용하고 있었는데,
외부 업체에서 EUC-KR POST 방식(Content-type: charset=EUC-KR; text/html)으로 한글 파라미터를 전달하였고, 한글이 깨지는 오류가 발생.
2. 오류 확인을 위한 삽질
1) 삽질의 시작
Postman 이라는 어플리케이션을 사용하여 테스트를 진행하였다.
UTF-8로 보내다가, EUC-KR로 보내고,
tomcat의 server.xml도 건드려 보고,
스프링 web.xml에서 필터 설정도 변경해보았다.
수많은 인코딩 테스트를 거쳤으나 모두 실패.
그 이유는 Postman에서 어떻게 설정하든 UTF-8로 고정되어 요청이 날라갔기 때문이었다.
2) 삽질의 연속(EF BF BD의 저주)
그래서 일단 테스트 툴을 변경해야만 했고,
간단한 HTML POST Form을 아래처럼 작성하였다.
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=EUC-KR"> <title>Sample - Hello Page</title> </head> <body> <form action="http://주소" method="post"> <input type="text" name="name" value="두코코"/> <button type="submit">제출</button> </form> </body> </html> |
이제 한글로 된 파라미터를 EUC-KR 인코딩으로 서버에 전달할 수 있게 되었다.
하지만 또다시 문제가 나타났다.
나는 "두코코"를 전송하였는데 계속해서 아래의 값이 나왔다.
name=%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD
뭔가 싶어 "홍길동" , "전지현" 등등 아무값이나 넣어봐도 위의 값이 나왔다.
도대체 EF BF BD는 무엇이란말인가? 결과는 아래와 같았다.
"어떠한 이유로 문서가 UTF-8로 저장될 때 깨져서 ��로 변환돼 버린다. ��는 UTF-8에서 EF BF BD / EF BF BD로 저장된다."
(자세한 설명은 https://uncyclopedia.kr/wiki/%E5%8D%A0%EC%8F%99%EC%98%99 를 참조하면 된다)
일단 상황을 살펴보니, EUC-KR로 넘어온 값을 UTF-8로 변환하는 과정에서 발생한 오류였다.
오, 나는 변환을 하지 않았는데 도대체 어디서 변환을 하고 있단 말인건가?
'그래 뭐 서버 설정이겠지' 싶어 확인해보니, 아니나 다를까 아래의 설정이 web.xml에 있었다.
<filter> <filter-name>encodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>UTF-8</param-value> </init-param> <init-param> <param-name>forceEncoding</param-name> <param-value>true</param-value> </init-param> </filter> <filter-mapping> <filter-name>encodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> |
(참고로 위의 web.xml 설정은 POST 방식만 적용되며, GET방식의 경우 server.xml의 connector 인코딩 설정을 조작해야 한다.)
이처럼, 모든 URL에 대해 UTF-8로 인코딩을 하고 있었던 것이고,
EUC-KR로 들어온 값이 바로 UTF-8로 인코딩되면서 글자가 깨지게 된 것이었다.
3) URLEncoded가 되어있네? 그것도 UTF-8로?
이제 내가 해야할 일은 서버 인코딩 필터를 EUC-KR로 변경하는 것이였다.
물론, 내가 인코딩 필터를 바꾸면 기존의 UTF-8 방식을 따르던 다른 것들에서 모두 에러가 나기 때문에
일단 테스트나 해보자 싶어 로컬에서만 위의 encoding 변수를 "EUC-KR"로 변경하여 테스트해보았다.
@RequestBody로 받은 String name에는 "name=%EB%91%90%EC%BD%94%EC%BD%94" 이라는 값이 들어있었다.
저 값은 딱 봐도 "두코코"가 URLEncoded된 것이었기 때문에
URLDecoder.decode(name, "EUC-KR"); 로 변경하였다.
자 이제 한글이 나왔을까?
물론 나오지 않았다.
왜일까?
저 name 뒤의 URLEncoded된 값은 UTF-8이었기 때문이었는데,
URLDecoder.decode(name, "UTF-8");를 하자 "두코코"가 정상출력 됨을 볼 수 있었다.
나의 생각은
a. form에서 EUC-KR로 "두코코" 전송
b. 서버 필터에서 EUC-KR로 디코딩
c. @RequestBody String name 으로 받은 값도 euc-kr로 URL 디코딩하면 "두코코" 출력 가능이었고,
실제는
c. @RequestBody String name 으로 받은 값을 utf-8로 URL 디코딩하면 "두코코" 출력 가능이었다.
그렇다. 사실 나는 @RequestBody가 무슨일을 하는지도 모르고 사용하고 있었던 것이다.
4) HttpServletRequest.getParameter() & @RequestBody
Form에서 POST 방식으로 데이터를 전송하면 자동적으로 URL 인코딩이 되어 전송된다.
(이 때의 인코딩 방식은 해당 Form에 지정된 content-type에 달려 있다.)
왜 URL 인코딩이 되느냐 하면, 아래처럼 '&', '=' 기호가 value로 쓰일 수 있기 때문이다.
corpName=A&B&corpAddr=경기도=서울시 제주동
그래서 결국
a. EUC-KR로 인코딩 됨.
b. URLEncoding 됨.
c. Byte로 request Body에 들어감
이 세가지 단계를 거쳐 파라미터가 전송된 것이다.
그리고 서버에 와서는
web.xml의 인코딩 필터를 통해 request body의 Byte 값을 어떤 인코딩 방식으로 읽어들일지 결정하게 된다.
request.getParameter(key) 메소드의 경우 자동적으로 해당 key에 속한 value를 URL디코딩한 값으로 꺼내주기 때문에
request.getParameter("name")을 하면 "두코코"가 한방에 잘 나오게 된다.
그. 러. 나, @RequestBody로 String 파라미터를 사용하게 되면 말이 달라진다.
http://blog.naver.com/duco777/220565709386 에도 설명이 있는데,
tomcat의 inputStream consumed 문제로 파라미터들을 카피 처리 하면서 UTF-8로 고정되어 인코딩 처리 된다.
즉, 늘 UTF-8로 디코딩 하면 되는 것이었던 것이다.
이렇게 평화롭게 끝나는 듯 했다.
5) 서버 필터 적용
아까 위에서 적용했던 서버 필터는 공용으로 UTF-8을 쓰던 것을 테스트를 위해 임의로 EUC-KR로 바꾼 것이었다.
즉, url-filter를 사용하여 내가 적용하고자 하는 곳에만 다른 필터를 적용해야하는 문제가 남아있는 것이다!!!
일단은 아래처럼 두 개의 필터를 적용해보았다.
<filter> <filter-name>eucKrEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>euc-kr</param-value> </init-param> </filter> <filter-mapping> <filter-name>eucKrEncodingFilter</filter-name> <url-pattern>/test.nhn</url-pattern> </filter-mapping> <filter> <filter-name>encodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>UTF-8</param-value> </init-param> <init-param> <param-name>forceEncoding</param-name> <param-value>true</param-value> </init-param> </filter> <filter-mapping> <filter-name>encodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> |
위에는 /test.nhn의 경로로 접근할 경우 euc-kr로 인코딩하는 필터를 추가 적용한 경우이다.
하지만, 확인 결과 UTF-8로 인코딩이 되어 아래의 저주값이 다시 한번 등장하는 것이 아닌가??
name=%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%C8%AE
왜인지 위, 아래를 바꾸면 request의 캐릭터셋이 바뀔것만 같아 빨간코드와 파란코드의 순서를 변경한 뒤 재시도 해보았다.
역시, 결과는 참패.
필터 두 개 적용은 안되는 것일까?
이번엔 CharacterEncodingFilter를 확장한 MyEncodingFilter를 사용해보았다.
<filter> <filter-name>myEncodingFilter</filter-name> <filter-class>org.test.myEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>euc-kr</param-value> </init-param> </filter> <filter-mapping> <filter-name>myEncodingFilter</filter-name> <url-pattern>/test.nhn</url-pattern> </filter-mapping> <filter> <filter-name>encodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>UTF-8</param-value> </init-param> <init-param> <param-name>forceEncoding</param-name> <param-value>true</param-value> </init-param> </filter> <filter-mapping> <filter-name>encodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> |
결과는.... 놀랍게도 잘 나왔다. myEncodingFilter에 특별히 다른 값이 있는 것은 아니였는데 말이다.
하지만, 그래도 필터가 두개있는건 보기 흉하기 때문에 myEncodingFilter 하나만을 선언해 놓고
내부적으로 request의 url 정보를 비교하기로 하였다.
public class MyEncodingFilter extends CharacterEncodingFilter { @Override protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain filterChain) throws ServletException, IOException {
if (request.getRequestURI().startsWith("/test.nhn")) { request.setCharacterEncoding("euc-kr"); response.setCharacterEncoding("euc-kr"); filterChain.doFilter(request, response); } else { //위의 경로가 아닐 경우 기본 doFilterInternal을 타게 된다. super.doFilterInternal(request, response, filterChain); } } } |
외부업체에게 갈굼먹으며 큰 삽질을 했는데,
팀내의 전임님이 도와주셔서 큰 배움이 된 좋은 경험이었다.
-일기토 끝-
[출처] 자바 스프링 인코딩 대박 삽질 경험|작성자 두코