ABI리서치의 테스트 결과는 이랬습니다.

Z2580의 평균 전류량은 0.85A(최대 1.05A)로 가장 낮았고, CPU 성능 점수는 5547점으로 가장 높았습니다. 삼성전자 엑시노스 옥타의 평균 전류량은 1.38A(최대 1.71A), CPU 성능 점수는 5277점이었습니다. 퀄컴 스냅드래곤 600(APQ8064T)의 평균 전류량은 1.79A(최대 2.104A), CPU 성능 점수는 5387점을 기록했습니다. 퀄컴과 삼성의 AP는 인텔 아톰 프로세서보다 전력은 많이 사용하면서도 성능은 오히려 낮은 것으로 나온겁니다.

인텔 아톰 프로세서는 전력소모량이 높아 스마트폰 제조업체들이 채용을 꺼려왔던 것으로 전해지고 있습니다. ARM은 ‘저전력 프로세서’의 대명사로 불립니다. 테스트 결과는 이러한 상식을 뒤집은 것이었습니다. ABI리서치도 “놀랍다”고 감탄했습니다. 삼성전자가 클로버트레일+를 자사 갤럭시탭3 10.1에 탑재할 만한 이유가 충분하다는 얘기도 나왔습니다.

그러나 전문가들 사이에선 논쟁이 오갔습니다. ‘과연 이것이 정확한 벤치마크냐’라는 것이었죠. ‘믿을 수 없다’는 의견이 많이 나왔습니다. ABI는 어떤 벤치마크 툴을 사용했고, 어떤 기준이 적용했는가를 공개하지 않았습니다. 바로 이것이 논쟁의 발단입니다.

분석가들은 ABI리서치가 테스트를 위해 안투투(AnTuTu)라는 모바일 벤치마크 툴을 사용한 것으로 밝혀냈습니다.

짐 맥그리거라는 티리아스리서치의 설립자이자 수석연구원은 지난 10일(현지시각) 반도체 전문 미디어인 EETimes의 블로그를 통해 의혹을 제기했습니다. 안투투를 믿을 수 없다는 것이 요지입니다. ‘짜고친 고스톱이 아니냐’는 것이죠.

그는 “안투투 2.93이 3.3 버전으로 판올림되면서 인텔 프로세서(Z2460)를 탑재한 모토로라 레이저i의 전체 성능 점수는 122%나 증가했는데, ARM 기반 삼성 엑시노스 옥타를 탑재한 갤럭시S4는 59% 증가에 그쳤다”며 “이러한 차이가 발생하는 벤치마크 툴을 신뢰할 수 있겠나”라고 말했습니다.

인텔 프로세서용 안투투는 ICC(Intel C++ Compiler)로 컴파일 됩니다. 컴파일러는 고급 프로그래밍 언어로 작성된 소스를 컴퓨터에서 실행될 수 있는 형태의 프로그램으로 바꿔주는 일종의 번역기입니다. 인텔은 자사 칩에서 프로그램이 보다 빨리 돌아갈 수 있도록 ICC를 매우 저렴한 가격에 판매하고 있습니다. 물론, ICC로 컴파일된 프로그램은 인텔 칩에서 더 ‘잘’ 작동하겠죠. ARM 프로세서용 안투투는 공개 GCC(GNU Compiler Collection)로 컴파일됩니다.

같은 날 기술 컨설팅 업체인 버클리디자인테크놀로지(BDTI)는 벤치마크 툴인 안투투의 문제점을 지적합니다. BDTI는 안투투로 테스트를 진행하면 ARM 기반 삼성전자 엑시노스 옥타는 벤치마크 소스 코드에 명시된 모든 작업을 수행하는 반면, 인텔 아톰 프로세서는 몇 가지 단계를 건너뛴다고 밝혔습니다. 소스 코드를 분석해 불필요한 코드를 삭제하는 컴파일러의 최적화 능력은 실제 응용 프로그램 개발 시 유용하지만 1대 1로 프로세서를 비교하는 순수 벤치마크에선 ‘반칙과도 같다’라는 것이 BDTI의 주장입니다.

이날 저녁 안투투는 수정 버전인 3.32 버전을 구글 플레이에 올려놓습니다. 개발사는 “점수 안정성을 높였다”라고만 설명했습니다. 12일 짐 맥그리거 연구원은 새 버전의 안투투를 돌려본 결과 삼성 엑시노스 옥타와 퀄컴 스냅드래곤 600의 점수는 과거 버전의 테스트 결과와 비교해 변함이 없었지만 인텔 아톰 Z2580 프로세서의 전체 점수는 20% 하락했다는 내용을 게재합니다.

그는 엑시노스 옥타보다 아톰 Z2580의 성능이 떨어진다는 표도 올려놨습니다. 안투투 3.32 버전이 내부적으로 무엇이 달라졌는 지는 알 수 없지만, 맥그리거는 이렇게 결과치가 달라지도록 앱이 수정된 것은 개발사들이 ‘잘못’(인텔 프로세서에 유리한 어떤 환경 조성)을 인정한 셈이라고 주장합니다.

그러나 논쟁의 불씨는 여전히 남아 있습니다. 배터리를 사용하는 모바일 기기는 얼마만큼의 전력으로 어느 정도의 성능을 내는가가 핵심이기 때문입니다. ABI리서치도 전력당 성능을 부각시켰습니다.

엘 레지 ABI리서치 대변인은 영국 온라인 IT매체 더레지스터와의 인터뷰에서 “우리는 전력당 성능에 초점을 맞추고 있는데, 그(맥그리거)는 핵심을 잘못 짚었다”라며 “단순 성능 벤치마크는 너무나 쉽다”라고 말했습니다.

뭔가 대단한 방법으로 전류량을 측정했나본데, 이 역시 구체적 기준과 측정 방법을 밝히지 않는다면 논쟁은 계속 이어질 것 같습니다. 전문가들은 일부 벤치마크 결과과 절대적 성능 지표가 되는 것은 아니니 참고만 하라고 조언합니다.

이번 논쟁으로 독자 컴파일러를 보유한 인텔의 기술력을 칭찬하는 목소리가 들리는 건 아이러니입니다. ARM은 왜 독자적인 컴파일러를 못 만드냐는 것이죠.

논쟁이 이뤄진다는 건 모바일 분야에서 인텔의 경쟁력이 높아지고 있다는 증거입니다. ARM 생태계에 속해있는 대부분의 AP 개발사들이 이런 생각을 할겁니다. ARM은 물론이고, 직접적으로는 모바일 AP 1위 업체인 퀄컴이 정말 긴장해야할 상황이 멀지 않았다는 생각입니다.