http://skccblog.tistory.com/2432

 모바일 테스트 센터

모바일 서비스 개발이나 운영을 할 때 테스트 대상 단말이 많이 필요하다. 매년 출시되는 단말만 하더라도 약 200~400여 종이 나온다. 그럼 이 단말을 모두 사야만 하는 건가? 그렇지는 않다. OS별, 버전별, 해상도 정도로 그룹핑하면 대략 약 30 ~ 50종 정도의 단말이 필요하다. 

그런데 여전히 많다. 테스트 할 때만 써야 한다고 생각하니 비용 문제로 부담스럽다. 그럼 어떡하지? 음…몸으로 때우는 수밖에 없는 것인가?

그래서 우리는 다양한 단말기가 비치되어 있는 오프라인 모바일 테스트 센터를 이용한다. B2B는 대상 단말이 많아도 현업과 적당히 타협하면 되는데 B2C인 경우는 가능하면 모든 단말을 테스트 해야 하므로 내부에서 보유한 테스트 단말 외에 추가로 테스트 센터를 활용한다.

SKT가 오래 전(2010년)부터 운영하고 있어서 가장 잘 되어 있고 요즘은 정부에서도 전국 거점별로 컨소시엄을 구성하여 환경을 제공하고 있다. 하지만 오프라인 테스트 센터는 업무 시간 중 별도로 시간을 내어 단말이 비치되어 있는 해당 장소를 찾아가야 하니 별도 시간을 할애해야 한다. 그리고 단말 사용도 테스트 센터에 가면 언제든지 쓸 수 있는 것이 아니라 남이 빌려가지 않고 남아 있으면 쓰는 개념이라 불편하다. 당연히 가능하면 사서 쓰는 것이 좋겠지…

보통은 약 7대 ~ 10대 정도만 사서 활용하고 나머지는 지인의 폰을 활용하여 잠시 테스트 하거나 개발자 본인이 폰을 기기변경 하면서 사용한다. 모바일 테스트 센터는 중요한 단말이 나오거나 OS가 많이 바뀌었을 때 가끔 활용한다. 그 외에 테스트 못하는 단말은 VOC가 들어오면 그 때, 그 때 대응을 하여 해결을 한다. 뭐 하늘에 맡긴다고 봐야겠지 항상 필요한 것이 아니기 때문에 매번 회사에 사달라고 할 수도 없으니까 ㅠㅠ.

가끔 특정 단말에서 나는 에러는 택배를 이용하여 받아서 보거나 현장을 방문하여 해결하기도 한다. 실제로 과거에 개발할 때 테스트 단말 OS버전이 없어서 테스트를 하지 못하고 오픈 했는데 OCR솔루션이 가지고 있진 않은 단말 OS 버전에서 에러가 발생하는 장애를 일으킨 적도 있다. 음…이러면 모바일 개발자는 항상 장애에 대한 위험을 가지고 있는 거네…

개인 욕심처럼 보이거나 비용 부담 때문에 사달라지도 못하고 잠재적인 에러 가능성은 항상 가져가고 있으니 언젠가 장애가 나면 개발자가 혼이 나겠지 “왜 필요한 폰을 사달라고 하지 않았냐?”고…

정령 답은 없는 것인가?

국내 오프라인 모바일 테스트 센터 현황

   모바일 테스트 자동화

테스트 단말도 문제지만 테스트 시간이 오래 걸리는 문제는 어떡하지? 특히 요즘에는 모바일 서비스의 업무 복잡도가 매우 높아지고 단말기기의 다양한 특성을 활용한 UI/UX로 테스트 케이스가 매우 많아졌다. 특히나 태블릿PC를 생각해 보면 많은 차이를 알 수 있을 것이다. 

PC의 경우 마우스나 키보드로 컨트롤하면 섬세하면서도 작은 움직임으로 화면을 제어할 수 있다. 또한 키보드의 경우 어려서부터 연습을 많이 한 경험들이 있어 단축키 등을 활용하여 오히려 마우스보다 빠르게 제어가 가능하다. 마우스는 두말할 나위 없는 최고의 입력장치이다. 익숙해 지면 미술작품도 그릴 수 있다. 물론 그래픽 Tool을 써야 하지만…

그러나 태블릿PC는 주로 터치이다. 섬세하지도 않고 손으로 화면을 왔다 갔다 해야 하니 시간이 걸린다. 마우스보다 편해 보이지만 속도가 느리다. 천지인 키보드가 있지만 실제 입력 속도는 느리다. 그래서 다양한 액세서리 키보드가 나오지 않는가? 거기에 모바일 기기이다 보니 보안에 신경 써야 해서 입력 번번히 인증을 거쳐야 한다. 

생년월일, SMS, 전자서명, 가상키보드, 암호화 등등. 또 N/W 연결이 느리다 이동통신 망이 좋아지긴 했지만 아직까지 유선보다는 느린 것이 사실이다. 연결했을 때는 유선과 비슷하게 느낄 수 있지만 연결(Connection)을 맺을 때는 아직 많이 느리다. 모바일 테스트 인프라 환경이 이런 상태에서 업무 복잡도가 높아진 상태에서 매우 많은 테스트 케이스가 결합하다 보니 일반 PC에서 온라인 프로그램 테스트 하는 것보다 훨씬 많은 시간이 걸린다.

업무가 거의 없는 밤 10시 이후에 배포가 시작되면 서버 쪽 재기동이 시작되면서 반영이 시작되고 야간 12시나 1시부터 본격적인 마무리 테스트가 시작된다. 그리고 새벽 2~3시 사이에 보유한 단말로 테스트가 끝난다. 가끔 Legacy와 연동하는 난이도가 있는 테스트 일 경우 다음날 아침 8시까지 테스트 하는 경우도 있다.

이렇게 열심히 하는데도 인간이기에 가끔 빼먹는 테스트 케이스가 생겨 장애가 발생한다. 영향도가 있는 업무를 테스트 한다고 했는데 또 다른 경우가 발생하기 때문이다. 항상 모든 대상 단말을 가지고 전체 테스트 케이스를 해야 하지만 비용에 한계가 있기 때문에 주요 업무만 하는 경우가 많다. 계속되는 반영 업무가 있는데 직원들을 모두 완벽한 테스트에만 매달려 있을 수는 없기 때문이다.

그러던 와중에 ‘13년 7월에 모바일 테스트 자동화란 솔루션을 접하게 되었다. 그리곤 ‘13년 12월까지 3개의 업체를 만나 설명을 들었다. 그 때 생각은 아~ 이걸 활용하면 테스트 시간을 줄일 수 있겠구나 하는 생각이 강하게 들었다.

모두 나름대로 강점이 있는 솔루션들이었다. 한 개는 HW 기반으로 서버에 장착하여 원격제어 및 테스트를 자동화하는 기술이었고 나머지 두 개는 SW방식으로 클라이언트 PC에서 작동하는 솔루션이었다. 하지만 우리 기술도 없이 솔루션만 사자고 하기에는 논리가 부족하였고 모바일 테스트 자동화 솔루션에 대한 이해 및 관점이 많이 틀려 도입을 하지 못했다.

그러던 와중에 나와 같은 생각을 가진 사람들과 만났다. 해외 모바일 테스트 센터를 경험하고  2009년에 피처폰 시절부터 고민하던 사람들이다. 같이 이야기하며 공감하면서 해외 모바일 테스트 센터 서비스 제공 업체를 찾아 보았다. 시장이 크지 않은 듯 2개 업체 정도가 미국에서 서비스를 제공하고 있었다.

이 때부터 모바일 테스트 센터에 대한 시야는 넓어졌으나 내부에선 우리 기술로 개발해야 한다는 자성의 목소리가 더 컸다. 과연 이런 어려운 기술을 구현 할 수 있을까? 쉽지 않은 것 같은데….

   ETRI 방문(‘14년 5월)

모바일 테스트 센터 기술 관련해서 우리 나라 정보통신 기술의 산실인 ETRI(한국전자통신연구원)를 방문하였다. 국내에서 직접 우리가 생각했던 기술을 구현하기 위한 초석이었다. 아래는 나름 모바일 테스트 자동화를 위한 기술 아키텍처 구조이다. 해외 글로벌 벤더와 해외 사업 경험이 있는 지인들의 내용을 참조로 구성해 보았다.

단말 접속 제어 기술

App을 이용한 SW 방식 또는 HW 방식으로 단말 원격접속 및 제어

단말 화면 공유 기술

단말에서 가져온 컨텐츠를 사용자/단말 관리를 통해 Client의 통합IDE와 연계

단말 테스트 자동화 기술

단말 시뮬레이터 및 통합 IDE를 통해 모바일 서비스 테스트 자동화

방문 결과 유사한 기술들을 볼 수 있었다. 오히려 더 뛰어난 기술들도 눈에 띄었다. 하지만 모바일 테스트 센터와 관련된 ETRI의 주요 기술들은 대부분 Pilot 수준에서 진행된 것들이었다. 우리가 원하는 기술로 포장하기에는 아직 더 많은 사람과 비용이 필요했다. 아~~ 새로운 기술을 발굴하기가 쉽지 않구나...

   모바일 원격제어

국내에서 모바일 테스트 센터와 관련된 기술을 가진 업체들을 찾아 보았다.

주로 PC와 단말기 local 연동으로 원격제어 기술이었다. HW방식도 기사로 나온 적이 있고 테스트 자동화 기능도 있었지만 상용화는 되지 못한 듯하다. 그리고 작년 이후로도 많은 업체들이 솔루션 형태로 가져오는 경우가 많은데 아직까진 해외 솔루션을 따라가긴 어려운 수준이다.

출처: http://skccblog.tistory.com/2432 [SK(주) C&C 블로그]