단말별 성능 시험 조건 설정

Agenda

---

• iOS와 함께 가장 많이 사용되는 Android Platform에 대해 단말이 상용으로 시장에 나가더라도 최소한의 VOC를 가지고 최적의 성능을 낼수 있는지 판단 하기 위해 다양한 성능 테스트를 하여 사용자에게 신뢰성을 높이기 위해 테스트를 계획, 측정 한다.
• 성능 측정을 위해서
• 테스트 결과에 대해 정확하면서도 완전한 기록을 유지하여야 하고 테스트 과정 중에 동일한 성능테스트 항목을 함께 실행 하는 것이 중요 하다. 그렇지 않은 경우 서로 다른 테스트 결과가 발생하면 해당 테스트가 환경에 의한 변화인지 어플리케이션의 문제인지 파악이 힘들다. 이를 위해서 성능 측정 툴을 이용해 정확한 기록을 유지 관리 해야 한다.

Test setting

---

• Test 진행 전 단말의 사양들을 먼저 파악한 뒤 Vender 사와 통신사 들의 요구 조건에 맞게끔 그룹을 먼저 지정 하는 것이 좋다.
• 예를 들면 1) CPU  2) RAM  3) S/W version (android)  4) Resolution or 화소
  

  분류	A group	B group	C group
  CPU	Octa Core	Quad Core	Dual Core
  RAM	4 GB	2 GB	1 GB
  Version	4.4	4.3	4.0
  Resolution	UHD 급	QHD 급	HD 급

  
  
• 또한 1Q 마다 혹은 2Q 마다 신규 단말들이 출시 됨에 따라 그룹별 허용범위 등을 정하는 것도 좋은 방법이다.
  1. 각 테스트 항목의 10회 반복 테스트 결과 정리
  2. 각 항목별 최고 수준 값 도출
  3. 분류 적용 최고 수준 값이 어떤 그룹에 분포 있는지 정리
  4. 그룹별 상대 비율 결정 :  최고 성능 값 기준 정렬시에 상위 단말들을 평균 15~20% 오차 범위 내에서 결정 한다.

Vender 및 통신사 요구 사항에 따른 Case 작성

---

기준값 오차 허용범위 설정

• 앞서 언급 한 것과 마찬 가지로 각 항목당 성능 기준을 마련한다
  * 만일 성능기준을 마련하기 어려운 경우 이전에 관련 내용들을 참고 하여 기준을 마련하고 신규 기능인 경우 해당 기능에 대한 학술 문서들을 근거로 가능한 기준치를 가지고 있어야 한다.
• 각 항목에 대해 성능 기준값의 최대치 및 그룹별 격차의 성능 기준값을 마련 한다.
  ex.) 각 항목단 최소 성능 기준 +,- 15%

Resolution에 대한 성능 Test case

• 일반적으로 이전 모델에 대한 비교나 동급의 타사 모델을 benchmark 하여 기준 값을 마련하고 성능 측정을 하는것이 보편적인 방법이다.
  ex.) 갤럭시S4 vs iPhone5
• QA의 목적에 따라 다르긴 하겠지만 카메라의 성능 및 영상 재생을 바탕으로 Resolution의 성능 시험을 진행 할 수도 있다.

test 1.

  사진을 실행 하였을때, 카메라가 preview 되어 지기까찌의 최소성능을 만족 하는지 확인

  setting : Preview size : 640 x 480

test 2.

  Preview 상태에서 사진 촬영 후 SD card 에 저장 되어지기까지 최소 성능을 만족하는지 확인

  setting : 사진의 기본 사이즈 : 640 x 480, image format : jpg