Подробный обзор WEI в Windows 7 (ч.1)

Недавно мы получили в свое распоряжение документы, в которых очень подробно описана новая модель оценки производительности системы Windows Experience Index (далее просто WEI), которая используется в Windows 7. Эти документы раскрыли интересные подробности того, как Microsoft расширила функционал WEI для Windows 7. Особенно интересно узнать, что в компании подразумевают под достаточной для Windows 7 производительностью.

16 февраля закончился период приема отзывов от разработчиков для этой версии модели оценки производительности аппаратного обеспечения, так что, если только Microsoft не получила каких-то серьезных возражений от своих OEM-партнеров, именно эта версия модели и станет финальной. Давайте посмотрим на то, что изменилось в WEI.


Что такое Windows Experience Index?
Новая модель оценки производительности аппаратного обеспечения в Windows 7 подверглась ряду изменений:

• Добавлены новые уровни оценки производительности: 6 и 7; максимальной оценка является 7.9
• Добавлены графические тесты DX10
• Добавлены тесты производительности подсистемы памяти, основанные на случайных операциях чтения/записи, и тесты сброса данных из кэша на диск, которые измеряют производительность системы, используя комбинацию из операций чтения и записи. Эти тесты были добавлены к ранее существовавшему тесту на последовательное чтение.
• Установлен новый предел для оценки производительности памяти, основанный на результатах тестов сброса кэша.
• Добавлены дополнительные однопотоковые тесты производительности CPU.
• Увеличена надежность.
• Добавлена возможность запуска DWM-тестов независимо от других WinSAT-тестов.

Чем WEI в Windows 7 отличается от WEI в Windows Vista?
Общая методология оценки для Windows 7 не изменилась со времен Vista. По-прежнему есть пять оценок WEI, каждая из которых вычисляется на основании некоторого набора правил. Общая оценка равна наименьшей оценке из этих пяти.


Чтобы было изменено в Windows 7?

• Максимальная оценка стала выше, позволяя подчеркнуть новые возможности современного оборудования. В Windows 7 были добавлены 6-ой и 7-ой уровни производительности системы WEI. Различие между уровнями 5 и 6, 6 и 7 определяется двумя факторами:
  
  
  • Удобство работы пользователя
    Там, где это возможно, Microsoft определила разрывы между основными уровнями, чтобы они соответствовали заметным различиям в удобстве работы пользователя. Игры являются ярким примером того, где различные уровни графической производительности могут стать причиной значительных отличий в удобстве взаимодействия пользователя с системой. Другим примером может служить объем памяти, когда увеличение количества системной памяти приводит к существенному улучшению удобства работы пользователя.
  • Скачки в производительности аппаратных средств
    Есть некоторые компоненты, такие как центральный процессор, для которых производительность непрерывно увеличивается при переходе от одних показателей к другим, и параллельно с этим, вообще говоря, прямопропорционально увеличивается удобство работы пользователя с системой. В этом случае разрывы между уровнями размещены там, где характеристики компонентов позволяют сделать новый шаг в улучшении производительности системы. Самым ярким примером здесь является количество процессорных ядер, которое положительно влияет на производительность операций при последовательном чтении.

• Были добавлены тесты для графики DX10
  Новые тесты работают с драйверами WDDM 1.1, но не с версией WDDM 1.0. Эти тесты определяют уровень производительности графических компонентов системы с Windows 7.
• Были добавлены тесты жестких дисков со случайными операциями чтения/записи и операциями сброса данных из кэша на диск.
  Вместе с уже существующими тестами новые тесты обеспечивают более всестороннюю оценку производительности дисковой подсистемы памяти.

Останется ли оценка моей системы в Windows 7 такой же, как и в Windows Vista?
Многие показатели оценки компонентов будут такими же, как и в Windows Vista. Однако, эти оценки могут измениться по следующим причинам:

• Максимальная оценка стала выше и теперь равна 7,9, а не 5,9. Такие системные компоненты, как CPU, которые оказывали наибольшее влияние на оценку системы в Windows Vista, могут получить более высокую оценку в Windows 7.
• Новая система тестов включает в себя больше тестов для жестких дисков, что позволит обнаруживать более широкий диапазон проблем, которые могут послужить причиной снижения оценки дисковой производительности. В частности, новые тесты на выполнение операций сброса данных из кэша на диск ориентированы на обнаружение проблем со временем задержки доступа к данным, которые могут приводить к зависанию пользовательского интерфейса. Диски, для которые будут обнаружены подобные проблемы, получат оценку в диапазоне от 1.9 до 2.9 в зависимости от результатов тестов.
• Тесты центрального процессора включает в себя как однопоточные, так и многопоточные сценарии. Оценка систем, получивших низкие результаты на однопоточных тестах, будет ограничена.

В связи с тем, что итоговая оценка WEI выбирается равной минимальной оценке из пяти подкатегорий, если оценка одной из этих подкатегорий (например, жесткого диска) существенно упадет, общая оценка также снизится.


Объем и производительность памяти
Модель оценки производительности системы Windows Vista тестирует производительность памяти (пропускной способности), после чего корректирует эту оценку, основываясь на объеме установленной системной памяти. Windows 7 будет использовать тот же подход с небольшими изменениями.

Существующий тест памяти будет расширен до 16 ядер. Оценки памяти в диапазонах 5+, 6+ и 7+ будут главным образом связаны с производительностью процессора, точно также как это было в Windows Vista.

Производительность памяти не будет определяющим фактором для высоких оценок, за исключениям случаев, когда оценка производительности памяти ниже результатов тестов для центрального процессора. Ниже указаны потенциальные причины снижения оценки системы:

• Подсистема памяти неправильно работает из-за ошибок (или неправильных настроек) BIOS
• В систему были установлены неподдерживаемые модули памяти
• Вместо двухканальной системы доступа к памяти используется одноканальная
• В систему была установлена более дешевая (и более медленная) память в ущерб производительности.

Тесты CPU
Для тестов производительности центрального процессора Microsoft определила различные уровни оценок для CPU с различными показателями быстродействия. Так в Windows Vista были установлено три границы:

• Процессоры с частотой 850 МГц, одноядерные AMD Athlon (K7) или Intel Pentium 4 соответствовали оценке 2.0, которая могла линейно увеличиваться с ростом производительности вплоть до оценки 4.7
• Оценки двуядерных процессоров среднего ценового диапазона начинались с 4.8
• Двуядерные high-end процессоры в Windows Vista получали оценку от 5.8

Текущая система оценки производительности CPU в Windows 7 поддерживает вплоть до 8 процессорных ядер и может без каких-либо изменений использоваться и для 16-ядерных процессоров. Текущих синтетических тестов производительности процессора достаточно для тестирования 8-ми ядерных систем с симметричной многопоточностью.

Правила оценки процессоров в Windows 7 просты:

• Системы с производительностью, эквивалентной той, которую можно ожидать от CPU с одним или двумя физическими ядрами могут получить оценку вплоть до 5.9
• Диапазон от 6.0 до 6.5 соответствует производительности системы с двуядерным high-end процессором, оценка которого в Windows Vista упиралась бы в 5.9.
• Диапазон от 6.3 до 6.9 соответствует производительности систем с хорошим трехядерным процессором. Оценка 6.9 определена исключительно для систем с производительным четырехядерным процессором.
• Оценки выше 7.0 соответствуют производительности четырехядерного процессора среднего ценового диапазона
• Оценка 7.9 соответствует производительности восьмиядерного процессора с технологией SMT.

Здесь стоит отметить, что перекрывание диапазонов было сделано намеренно. Оценка не привязана к числу ядер: она, скорее, связана с уровнем производительности. Например, некоторые двухядерные процессоры могут получить оценку выше, чем трехядерные.


Дополнительные однопоточные тесты процессора
Для выставления формальной оценки WEI в Windows Vista в многопоточном режиме запускались четыре вида тестов - по одному измерительному потоку на ядро. В дополнение к работе во многопоточном режиме эти тесты всегда поддерживали работу и в однопоточном режиме.

В Windows 7 к набору тестов для выставления формальной оценки были добавлены тесты в однопоточном режиме. Это позволяет масштабировать оценку на основании работы процессора как в многопоточном, так и в однопоточном режимах.

Такая система была реализована в связи с тем, что коэффициент масштабирования применялся к общей оценке CPU. Этот коэффициент вычислялся путем построения геометрического представления показателей четырех однопоточных тестов (не оценок) CPU и принимал значение от 1.0 до 0.7. Далее оценка CPU умножалась на это коэффициент. Результирующим значением становилась максимальная оценка CPU системы. Этот коэффициент никогда не превышал значение 1.0 и не падал ниже 0.7.

В Windows 7 оценка 1.0 соответствует значению в 80 Мб/сек, 0.7 - 20.83 Мб/сек. Коэффициент масштабирования вычисляется на основании простой линейной зависимости.


Каким образом оценка производительности CPU соотносится с удобством работы?
Как и в случае с графикой, Microsoft считает полезным рассмотреть, как оценка производительности процессора соотносится с удобством работы пользоваться с системой.

• Оценка менее 2.0 указывает на то, что данный процессор является очень медленным и мало подходит для работы с Windows 7.
  
• Диапазон от 2.0 до 2.9 показывает, что компьютер удовлетворяет каждодневным однозадачным сценариям работы с компьютером, таким как проверка почты, просмотр веб-страниц, редактирование документов Word и слайдов PowerPoint, а также редактирование электронных таблиц начального уровня: даже выполнение самых простых задач может заставить процессоры этого класса работать с полной загрузкой; одновременное выполнение нескольких задач на таких CPU может привести к заметному увеличению времени отклика системы; некоторые веб-сайты, интенсивно использующие Flash, Silverlight или Java, могут медленно работать; копирование музыки с аудио-диска может потребовать гораздо больше времени, чем на более быстрых системах, при этом большую часть времени система будет работать при 100% загрузке CPU; даже простые задачи кодирования видео вряд ли будут выгодны с практической точки зрения.
  
• диапазон 3.0 - 3.9 подходит для выполнения нескольких каждодневных вычислительных задач начального уровня: центральный процессор способен реализовать многозадачность начального уровня (фоновая печать документа, к примеру, не будет мешать основной работе); каждодневные задачи по большей своей части не должны вызывать интенсивную нагрузку процессора, но иногда могут возникать проблемы с откликом системы из-за конкуренции задач за процессорное время; хорошая производительность веб-сайтов с интенсивным использованием технологий Flash, Silverlight и Java; производительность операций копирования музыки с аудио-диска приемлема, однако подобные задачи могут неэффективно выполняться в фоновом режиме; возможны задачи кодирования видео, такие как кодирование видеоформата AVI для портативных мультимедийных устройств, но они могут потребовать много времени (например, кодирование 20-секундного клипа может занять 40 секунд на процессоре с оценкой 3.9, и гораздо больше на процессоре с оценкой 3.0).
  
• диапазон 4.0 - 4.9 соответствует хорошей производительности в каждодневных вычислениях и многозадачных сценариях работы: каждодневные вычислительные задачи, даже выполняемые в многозадачном режиме, не приведут к интенсивной загрузке CPU; хорошая отзывчивость системы на действия пользователя в следствие отсутствия проблем с распределением процессорного времени; хорошая производительность при копировании музыки с аудио-дисков, которое может выполняться в фоновом режиме, не оказывая при этом серьезного влияния на производительность таких задач, как просмотр веб-страниц, даже если они содержат контент Flash, Silverlight или Java; веб-сайты с Flash, Silverlight или Java работают очень плавно; ­ хорошая производительность в задачах кодирования видео; на более быстрых системах кодирование видео может занять меньше времени, чем продолжается клип; игры начального уровня не ограничены CPU, но при этом более требовательны к его производительности.
  
• диапазон 5.0 - 5.9 соответствует хорошей производительности в многозадачных режимах работы: каждодневные вычислительные задачи, копирование музыки с аудио-дисков и кодирование видео не могут даже наполовину загрузить CPU работой; очень удобно копировать музыку с аудио-дисков и кодировать видео, параллельно выполняя другие задачи; программы, поддерживающие многопоточные вычисления, показывают высокую производительность по сравнению с оценками 4.X; к таким задачам относятся вычисления в Excel, обработка изображений, процесс компиляции программного обеспечения; почти все игры, кроме самых требовательных к ресурсам компьютера, не ограничены производительностью CPU.
  
• диапазоны 6.0 - 6.9 и 7.0 - 7.9 предоставляют пользователю рабочую среду, производительность которой редко ограничивается центральным процессором: очень производительный многозадачный режим работы; на таких системах многоядерные конфигурации позволяют приложениям показывать максимальный прирост в производительности по сравнению с нижними уровнями; выполнение сценариев с очень большими таблицами Excel, сложный рендеринг графики, компиляция программного обеспечения и работа с научными приложениями.

Существуют сложности с точным соотнесением уровня удобства работы пользователя с системой в диапазоне 6+ для трехядерных процессоров и в диапазоне 7+ для четырехядерных процессоров, поскольку в настоящее время есть весьма ограниченное количество сценариев, которые могут извлечь всю выгоду от использования таких мощных процессоров. Microsoft сделала границу между уровнями 5/6 и 6/7, основываясь прежде всего на производительности, связанной с числом процессорных ядер. Это позволяет данной модели оценки производительности приспосабливаться к изменения в производительности аппаратных средств, которые могут произойти в течение следующих нескольких лет.


Производительность подсистемы памяти (жесткий диск)
Тесты подсистемы памяти Windows Vista оценивают производительность исключительно операций чтения. Это позволяет производить начальную оценку жестких дисков, но при этом не учитывается производительность операций случайного чтения и записи, а также то, как поведет себя жесткий диск, когда столкнется с необходимостью комбинирования этих операций. Именно поэтому Microsoft добавила в Windows 7 следующие функциональные возможности:

• полноценную оценку производительности операций случайного чтения и записи;
• оценку производительности операции последовательной записи;
• тесты сброса кэша на диск (комбинированные операции чтения и записи).

Некоторые наиболее часто используемые операции извлекают заметную выгоду от хорошей производительности подсистемы памяти, и среди них:

• загрузка системы;
• восстановление работы после спящего режима и режима гибернации;
• запуск приложений;
• использование приложений для работы с электронной почтой;
• работа с поиском Windows;
• работа файла подкачки на системах с ограниченным объемом оперативной памяти.

Как и в случае с CPU, для оценки производительности подсистемы памяти используются сценарии, для которых известны различные уровни производительности, соответствующие определенным изменениям в быстродействии подсистемы памяти. Наиболее ярким примером является настройка сброса кэша на диск - плохая реализация данного вида операций критично сказывается на отзывчивости пользовательского интерфейса.

Поэтому в Windows 7 принят следующий порядок оценки производительности жесткого диска:
a) сохранить существующую оценку производительности операции последовательного чтения;
б) ограничить производительности подсистемы памяти, обладающей низкими показателями в тестах на выполнение операций сброса данных из кэша на диск, независимо от значения других параметров производительности системы:

• для сборки Windows 7 build 6801 установлено ограничение в 2.9;
• на основании результатов лабораторных тестов широкого спектра аппаратного обеспечения для Windows 7 build 7000 были установлены следующие граничные значения:
  
  • граничное значение 1.9:
    ­время выполнения операций IO более 600 миллисекунд или среднее значение для одной операции IO >=22 мс и для 95 процентов операций IO >= 40 мс;
  • граничное значение 2.9:
    время выполнения операций IO более 520 миллисекунд или среднее значение для одной операции IO >=11 мс и для 95 процентов операций IO >= 33 мс;

в) диапазон оценок от 5.0 до 5.9 относится к дискам с хорошей производительностью последовательного чтения и операций сброса данных из кэша на диск. Как ожидается, большинство механических жестких дисков покажут производительность ниже отметки 5.9.
г) диапазон оценок от 6.0 до 6.9 соответствует производительности запоминающих устройств с очень хорошей производительностью случайных операций чтения/записи.
Здесь следует отметить, что большинство продаваемых сегодня жестких дисков этого класса получают оценки в диапазоне 6.0 - 6.5. Как только на этом рынке появятся более быстрые устройства, они смогут достигнуть оценки 6.6 и выше.
д) диапазон 7.0 - 7.3 соответствует наиболее производительным из продаваемых сегодня жестких дисков в том, что касается операций последовательного чтения и случайного чтения/записи.

При выставлении оценки системой не учитываются параметры жестких дисков, наличие конфигураций RAID или других технологий организации работы жестких дисков; результат оценки основан только на измеренном уровне производительности.

Во время тестирования RC-версии Microsoft планирует обновить показатели для тестов на время выполнения сброса данных из кэша на диск на основании результатов лабораторных испытаний.


Тесты на выполнение операций сброса данных из кэша на диск
Новые тесты, связанные с выполнение операций сброса данных из кэша на диск, были разработаны в качестве ответа на отчеты о проблемах, связанных с откликом приложений. В этих отчетах говорится о том, что пользователи при работе с пользовательским интерфейсом сталкиваются с его низкой отзывчивостью или даже зависанием. С точки зрения пользователей, мало того, что подобные ситуации очень раздражают, так еще и зачастую не ясно, в чем первопричина проблемы и как ее устранить.

Задача этих новых тестов состоит в том, чтобы обнаружить режимы работы запоминающего устройства, в которых могут возникнуть проблемы с мгновенным откликом приложения, а также помочь определить проблемные компоненты и, в конечном итоге, улучшить удобство взаимодействия пользователя с системой.

После проведения исследования было обнаружено, что причиной появления всех этих отчетах о проблемах являются запоминающие устройства с низкими показателями времени доступа (долгое выполнение операций чтения/записи). Замена проблемного устройства или обновление его прошивки приводило к значительному улучшению в удобстве работы пользователя в системе.

Анализируя последовательности действий пользователей, приславших отчеты о проблемах, и соотнося их с конкретными классами и моделями жестких дисков, Microsoft смогла определить типовые сценарии операций чтения/записи, приводящие к проблеме высокого времени доступа. В следствие этого в систему в качестве небольшого набора тестов операций смешенного чтения/записи были встроены тесты WinSAT, выполняющие операции записи информации из кэша на диск, которые быстро работали и позволяли определить устройства с проблемой времени доступа.

Был произведен повторный прогон тестов WinSAT по сценариям работы, описанным в отчетах пользователей, на различных аппаратных средствах. В результате этих тестов было отмечено совпадение наборов жестких дисков, не прошедших тесты сброса кэша, и жестких дисков, для которых ранее были отмечены описанные выше проблемы. Однако, эти тесты все еще совершенствуются - в период тестирования RC-версии Microsoft собирается провести эти тесты на еще большем диапазоне аппаратных средств, и внести в них изменения, чтобы максимально повысить точность результатов.

Хотя Vista содержала раннюю версию тестов на выполнение операций сброса данных из кэша на диск, она не была включена в WinSAT/WEI, поскольку эти тесты еще не давали достаточно точных результатов, позволяющих с уверенностью идентифицировать проблему. В случае Windows 7 у Microsoft уже сформировалось четкое представление о причинах данной проблемы, что позволило ей встроить в систему более точные версии тестов. Именно поэтому в Windows 7 эти тесты включены в WinSAT/WEI.

Стоит отметить, что область действия этих проблем не ограничивается лишь старыми и медленными устройствами - даже устройства с высокими значениями пропускной способности и скорости вращения шпинделя могу обладать высоким временем проведения операций чтения/записи, что может приводить к зависанию программ.


Оценка производительности специализированных систем хранения данных
WinSAT может измерять производительность NVRAM-части систем ESS (абб. от Enhanced Storage Systems). Вопрос состоит в том, как отобразить размер и производительность NVRAM в таблице WEI. Microsoft еще не обладает достаточным набором данных о том, как размер и пропускная способность такой памяти влияет на удобство взаимодействия пользователя с системой. Планируется, что в Windows 7 гибридные диски будут оцениваться только с точки зрениях их механических характеристик.


Источник: http://www.techarp.com
Перевод: Dazila