[Spring] MyBatis Batch + Transaction 을 이용한 대용량 SQL작업
[Spring] MyBatis Batch + Transaction 을 이용한 대용량 SQL작업
마을에서 오크잡는 퀘스트 하고 있는데 갑자기
중간보스를 잡아오라는 퀘스트가 떨어졌다...
일정시간마다 라즈베리파이에서 받아온 원시데이터를 재가공하여
DB에 insert 해주어야 하는 작업
로우수가 적다면 그냥 만들겠지만 대용량 작업일 경우 답이 안나온다.
약 1만건~10만건 정도의 데이터를 날려줘야 하는데 ㅂㄷㅂㄷㅂㄷ
그래서 찾아본 방법은 Batch와 Transaction 을 이용한 대용량 sql 작업
나도 정확히 내가 뭘 한건지도 모르고 그냥 스택오버 플로우, 오키, 전자정부 뒤적거리면서 이것 저것 다 때려 박느라
필요 없는 설정이 있을 수도 있으니 아는 사람은 댓글좀 달아주시길 바랍니다.
1. XML 설정
1) mapper 설정
context-mapper.xml 파일이나 context-sqlMap.xml 파일에
마이바티스 연동을 위해 만들어놨던 설정을 아래와 같이 바꿔준다.
9번 라인의 batch설정으로 batch 사용이 가능 하도록 하는 듯 하다.
1 2 3 4 5 6 7 8 9 10 | <property name="dataSource" ref="dataSource" /> <property name="configLocation" value="classpath:/egovframework/sqlmap/example/sql-mapper-config.xml" /> <property name="mapperLocations" value="classpath:/egovframework/sqlmap/example/mappers/mssql/*.xml" /> </bean> <bean id="sqlSessionTemplate" class="org.mybatis.spring.SqlSessionTemplate" destroy-method="clearCache"> <constructor-arg index="0" ref="sqlSession" /> <constructor-arg index="1" value="BATCH" /> </bean> | cs |
2) datasource 설정
DB접속 정보 작성하는 곳에 트렌젝션메니저 설정을 하는데 이걸 해야 하는 건진 잘 모르겠다.
1 2 3 | <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource"/> </bean> | cs |
3) dispatcher-servlet 설정
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | <?xml version="1.0" encoding="UTF-8"?> xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context" xmlns:mvc="http://www.springframework.org/schema/mvc" xmlns:task="http://www.springframework.org/schema/task" xmlns:tx="http://www.springframework.org/schema/tx" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/context http://www.springframework.org/schema/task http://www.springframework.org/schema/mvc http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.0.xsd"> <tx:annotation-driven proxy-target-class="true"/> | cs |
7번 라인과 17번 라인을 추가해주고 20번라인의 내용을 넣어 주도록 한다.
4) pom.xml
1 2 3 4 5 6 7 8 | <!-- 트랜젝션 처리를 위함 --> <dependency> <groupId>cglib</groupId> <artifactId>cglib</artifactId> <version>2.2</version> <type>jar</type> <scope>compile</scope> </dependency> | cs |
디펜던시에 추가를 해줘야 트랜젝션 처리가 가능한건진 모르겠음. 전자정부 자체에 관련된게 이미 추가 되어 있을 수도 있고
정확히 모르겠음 저건
2. DAO or impl 작성
나는 DAO를 사용하지 않고 공통DAO하나 만들어 놓고 impl에서 바로 쿼리를 날려주는 방식을
좋아 한다.
어차피 DAO에서 특별히 해줄것도 없고.. 해줘야 하는것이 있어도 impl에서 해주면 되니까
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | @Override public void updateSchedulerHistoryRow(List<MinHistoryVO> historyList) { // TODO Auto-generated method stub // 트렌젝션 시작 SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH); long startTime = System.currentTimeMillis(); try { for (MinHistoryVO list : historyList) { sqlSession.update("scheduler.updateSchedulerHistoryRow", list); } } finally { sqlSession.flushStatements(); sqlSession.close(); } long endTime = System.currentTimeMillis(); long resutTime = endTime - startTime; System.out.println("트랜젝션 배치" + " 소요시간 : " + resutTime/1000 + "(ms)"); } | cs |
난 이런식으로 작성 했다.
가끔 6번 라인에 ExecutorType.BATCH 이 매개변수를 안넣고 시작 할 수 있는데
그러면 트렌젝션 안돌고 커넥션 다 찍으면서 돌게 된다.
저렇게 해도 수만건이 돌게 되면 세션에저장될 데이터들이 넘쳐흘러서 그런지 버벅거릴때가 있는데
그럴땐 컨트롤러에서 조금씩 끊어서 날려 주도록 하자
3. controller
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | //컨트롤러에서 일정 개수 단위로 끊어서 날려 준다. int insertCount = 0; List<MinHistoryVO> divHisList = new ArrayList<MinHistoryVO>(); for(int hisCount = 0, hisSize = historyList.size(); hisCount < hisSize; hisCount++){ MinHistoryVO _tempData = new MinHistoryVO(); _tempData = historyList.get(hisCount); divHisList.add(_tempData); if(insertCount == 1000 || hisSize-1 == hisCount){ schedulerService.updateSchedulerHistoryRow(divHisList); // 트렌젝션 divHisList = new ArrayList<MinHistoryVO>(); insertCount = 0; } else{ insertCount++; } } | cs |
while문 사용하는게 익숙하지 않아서 나는 for문을 주로 사용 한다.
리스트에 잔뜩 있는 데이터들을 새로운 작은 바구니에 담아서 끊어서 날려준다.
이렇게 하면 MsSql Server 2005버전 기준 1만건 insert하는데 5초정도 걸린다.
저기에 마이바티스 foreach까지 써서 벌크인서트 하면 시간은 더 단축 된다.
원시데이터를 쪼개서 60개컬럼에 따로 박아야 하기 때문에
넘겨주는 파라미터 개수 2100개 제한이 있어서 제대로 사용 못했는데
여러개로 쪼갠다음에 Mybatis foreach 돌려서 한번에 날려주면 시간은
훨씬 더더더더더 단축 된다.
출처: http://yamea-guide.tistory.com/category/Yame Programmer/전자정부프레임워크?page=1 [기타치는 개발자의 야매 가이드]