Наблюдения в процессе тестирования смартфонов на Android и iOS в 2015 году (страница 2)
реклама
Производительность в режимах энергосбережения
Поскольку не все смартфоны удалось протестировать во всех бенчмарках (иногда тестовый экземпляр просят вернуть раньше обычного), то некоторые модели могут отсутствовать на графиках.
pts., больше – лучше
Включите JavaScript, чтобы видеть графики
Создается впечатление, что системы LG и Xiaomi вообще не влияют на результат, тогда как эффективность стандартной системы энергосбережения Android 6.0.1 поражает – работает лишь одно ядро из четырех на минимально возможной частоте.
pts., больше – лучше
Энергосбережение вкл | выкл
Включите JavaScript, чтобы видеть графики
реклама
В целом, результаты похожи.
frames., больше – лучше
Энергосбережение вкл | выкл
Включите JavaScript, чтобы видеть графики
А вот тут ситуация совсем другая. По всей видимости, только алгоритмы Samsung «приглушают» производительность GPU, тогда как другие смартфоны сохраняют производительность (с поправкой на Nexus 5, результаты которого не могли не упасть за счет ослабления производительности CPU).
Результаты тестов автономности
Для начала посмотрим на абсолютные значения:
pts., больше – лучше
Включите JavaScript, чтобы видеть графики
А теперь на относительные в процентах относительно номинального режима:
Прибавка автономности,%,
Больше – лучше
Включите JavaScript, чтобы видеть графики
реклама
По версии AnTuTu Tester самой эффективной является энергосберегательная система Samsung. Впрочем, не удивительно, ведь она наиболее эффективно «душит» все, что можно, в отличие от менее эффективного алгоритма Sony Stamina, который в основном полагается на ограничение работы фоновых процессов.
UPD: уже после написания статьи, появилась информация, что система Stamina таки научилась жестко контролировать частоту SoC, но про какие именно SoC идет речь – не совсем понятно.
Увы, но в моем распоряжении при написании данной статьи не было смартфонов ASUS, HTC и других производителей, системы энергосбережения которых было бы интересно протестировать. Надеюсь, в 2016 году мне удастся значительно дополнить этот материал новыми данными.
Стабильность работы
На данный момент считается, что наиболее «честные» в плане выдаваемой производительности SoC Apple, Intel и Nvidia. Остальные компании, так или иначе, гонятся исключительно за максимальной пиковой производительностью, дабы похвастать результатами в бенчмарках. Если вспомнить скандалы вокруг Qualcomm (далее – QSD) Snapdragon 810, вполне можно утверждать, что ситуация серьезная и только набирает обороты.
Но прежде чем приступать к тестированию, надо понять, чем тестировать смартфоны и нужно ли разделять тесты на раздельную загрузку CPU и GPU. Кроме того, стоит «проверить на прочность» тестовый пакет AnTuTu Stability Test, к которому у меня уже давно возникла масса вопросов.
AnTuTu Stability Test
Итак, начнем с самого простого – протестируем этот небезызвестный бенчмарк, а точнее, один из его тестов. Сделать это очень легко – нужно взять очевидно «горячую» SoC и спровоцировать ее перегрев, тем самым вызвав просадку результатов на графике.
В качестве подопытного у нас выступит чип Samsung Exynos 7420 – один из наиболее «горячих» чипов современности. Напомню, что в нашем обзоре он растерял около 40% под нагревом при том, что AnTuTu Stability Test не выявил серьезных проблем.
Методика тестирования будет крайне проста: я возьму смартфон Samsung Galaxy S6 Edge plus, дам ему остыть на сквозняке до ~10 градусов по Цельсию, дабы создать максимально комфортные условия для SoC и запущу тест.
Когда же процесс дойдет до 30%, я оберну аппарат толстым шерстяным пледом, чтобы спровоцировать перегрев и падение производительности. Таким образом, примерно на середине графика мы должны увидеть крутой подъем температуры и такое же крутое падение производительности. Погнали.
реклама
Красной линией отмечен момент упаковки смартфона в одеяло. Прекрасно видно, что температура действительно начала расти, но она достигла всего 26 градусов! Разумеется, производительность практически не пострадала от этого.
Если опираться только на AnTuTu, то этот смартфон выглядит весьма стабильным. Хотя мы-то знаем, что это не совсем так. Но прежде чем делать выводы, у меня есть и противоположный результат с другого устройства:
Это результат LG Nexus 5, который тестировался по точно такой же методике. Парадокс заключается в том, что, несмотря на показательные результаты, достигнуты они только за счет большого скачка температуры. Если SoC в смартфоне изначально находится в «теплом» состоянии, то он начнет троттлить с самого начала, и мы снова увидим плоскую прямую производительности при растущей температуре.
Обратите внимание на производительность: старый Snapdragon 800 набирает почти 130 баллов в пике, тогда как суперсовременный и мощный Exynos всего 178. Это немного странно, учитывая, насколько он должен быть производительнее. Давайте посмотрим на производительность разных процессоров в этом тесте.
Конечно, график не претендует на высочайшую точность, так как одна и та же SoC может обеспечить весьма большой разброс результатов в зависимости от смартфона, в который установлена.
Но все же, если посмотреть на график внимательно, можно заметить интересные детали, например, восьмиядерный MediaTek MT6592М набирает в пике меньше баллов, чем МТ6589Т. Это может говорить лишь о том, что тест нагружает явно не все ядра. Давайте в этом убедимся, вот лог загрузки четырехъядерного процессора при выполнении этого теста:
Впрочем, как и стоило ожидать. В итоге получается, что AnTuTu Stability Test тестирует стабильность работы при нагрузке в один-два потока. Восьмиядерные CPU в таких тестах, как правило, будут получать лучшие результаты чем двух- и четырехъядерные, поскольку общая загрузка в процентном соотношении будет меньше (TDP никто не отменял), да и восемь «горячих» ядер Cortex-A72 никто ставить не будет.
Тут надо уточнить, что некоторым смартфонам хватает и столь малой нагрузки, чтобы «посыпаться». К примеру, основанным на том же Snapdragon 800 ранних версий.
Вообще, я думал об отказе от данного теста, но в итоге пришел к выводу, что он нужен. Он позволяет отсеять совсем уж «клинические» случаи, тогда как повторный запуск AnTuTu позволяет выявить троттлинг более точно. Если в AnTuTu Stability Test результаты варьируются на величину +\-30%, то знайте – перед вами очень печальный вариант.
UPD: В версии AnTuTu 6.0 разработчики сами отказались от этого теста. К чему бы это?
А как же Apple?
Внимательный читатель помнит интересные данные по троттлингу, полученные в обзоре Apple в тесте Basemark Metal:
В тот раз мы убедились, что даже Apple A9 теряет производительность по мере нагрева. Но как же обстоят дела у Android-гаджетов, про стабильность которых ходят не самые лестные слухи?
Для того чтобы ответить на этот вопрос, нам нужно подобрать тест, который максимально нагрузит GPU, так как Basemark Metal нет под Android, а в среде iOS это один из самых «горячих» тестов. Для этого снова возьмем Samsung Galaxy S6 Edge plus и прогоним на нем все тестовые сцены пакета GFXbench. Нам нужна сцена, которая за семь проходов способна серьезно нагреть устройство.
И поскольку с iPhone 6s мы будем сравнивать относительные числа, то и абсолютные данные сразу приведем к относительным:
Прекрасно видно, что чип просто не успевает прогреться за семь проходов. Конечно, можно вместо семи сделать четырнадцать и записывать каждый второй результат, чтобы дать чипу больше времени прогреться, но за время между прогонами он будет все равно остывать.
По сравнению с Basemark Metal сцены слишком короткие. Посмотрим, что могут предложить нам AnTuTu 3D Rating и BaseMark X.
AnTuTu нам не подходит, он снова обеспечивает слишком короткие по времени прогоны, а вот BaseMark X с максимальными настройками кажется даже избыточным, особенно это скажется на маломощных гаджетах. Но тут лучше «пережарить», чем «недожарить». Так что опираться будем на семь прогонов подряд в BaseMark X при высоких настройках качества.
Но начнем с троттлинга процессорной части. То есть, запустим Linpack, как это было в случае с iPhone 6s, а заодно добавим в схему iPad Pro.
Mflops, больше – лучше
Min | Avg | Best
Включите JavaScript, чтобы видеть графики
Абсолютные данные сложно сравнивать, так как разброс по производительности слишком велик. Обработаем данные, выделяя процентное соотношение между лучшим прогоном и худшим.
% от макс.результата, больше – лучше
Включите JavaScript, чтобы видеть графики
Весьма интересная ситуация получается, не правда ли?
Теперь проверим уровень троттлинга при нагрузке на GPU. Поскольку это тестирование проводилось в Basemark X, то результаты каждого прогона позволяют нам построить полноценный график.
C графика абсолютных значений можно различить лишь тот факт, что Samsung Galaxy S6 Edge plus поддается троттлингу. Другие участники выглядят просто образцами стабильности. Но так ли это на самом деле? Приведем график к относительным значениям, где за 100% возьмем первый прогон.
С относительной точки зрения прекрасно видно, что iPhone 6s начинает терять производительность раньше, чем тот же Samsung Galaxy S6 Edge plus, хотя впоследствии производительность последнего «проседает» больше. Интересно, что Motorola Moto X на QSD801 показала весьма неплохие результаты, а все чипы среднего класса демонстрируют отличные показатели автономности.
Вот вам и «супер-стабильный» Apple A9. Хотя на фоне LG Nexus 5 любое из этих устройств будет выглядеть совершенством в плане стабильности .
реклама
Страницы материала
Теги
Лента материалов раздела
Соблюдение Правил конференции строго обязательно!
Флуд, флейм и оффтоп преследуются по всей строгости закона!
Комментарии, содержащие оскорбления, нецензурные выражения (в т.ч. замаскированный мат), экстремистские высказывания, рекламу и спам, удаляются независимо от содержимого, а к их авторам могут применяться меры вплоть до запрета написания комментариев и, в случае написания комментария через социальные сети, жалобы в администрацию данной сети.
Комментарии Правила