Сравнение запусков

Сравнивайте завершённые запуски с одинаковой версией нагрузки, моделью оценки и профилем. Процент изменения описывает разницу чисел, но сам по себе не доказывает эффект настройки.

Перед сравнением чисел проверьте совместимость пары запусков по файлам результатов: в каждом из них зафиксированы версия нагрузки — постоянный идентификатор её состава — и модель скоринга, а также версия статистики. Сравнивайте эти поля попарно: если нагрузка или модель скоринга не совпадают, запуски относятся к разным протоколам и их баллы прямо несопоставимы. Как устроены эти идентичности, описано в методике.

План эксперимента

1. Запишите модель процессора и видеокарты, версии Windows и драйвера. Между тестами не меняйте режим питания и охлаждение. Используйте один и тот же набор фоновых программ.
2. Сначала выполните хотя бы три теста без изменения настроек. Так вы увидите обычный разброс результатов. Для вывода о небольших различиях может понадобиться больше повторов.
3. Измените одну настройку и повторите тесты. Если нужна перезагрузка, выполняйте её и перед серией с исходными настройками. Перед каждым запуском выжидайте одинаковое время.
4. По возможности проверьте исходные настройки, затем изменённые, а потом снова исходные: A → B → A. Такая последовательность помогает отделить эффект настройки от прогрева и фоновой нагрузки.
5. Сохраняйте все результаты. Заранее определите, какие сбои делают тест непригодным для сравнения, например прерывание запуска. Если исключаете тест, укажите причину. Низкая оценка сама по себе не повод его удалять.

Оставляйте одинаковыми разрешение экрана и оконный или полноэкранный режим. Если проверяете влияние разрешения, повторите тест несколько раз при каждом выбранном разрешении.

Что считать

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

Сравнивайте средние значения и разброс между запусками. Проверяйте не только итоговый балл, но и отдельные оценки, задержки в миллисекундах и скорость выполнения нагрузок (throughput). Для задержек отрицательная разница обычно означает улучшение; для баллов положительная разница означает рост оценки.

Для проверки повторяемости считайте полные запуски. Тысячи кадров внутри одного теста не заменяют повторных тестов: все они получены в одной сессии и зависят от общих условий.

Что можно заключить

Малое изменение относительно обычного разброса требует дополнительных повторов. Универсальный порог вроде «всё больше 1% значимо» по одной серии устанавливать нельзя. Даже статистически различимая разница может быть слишком мала для практического эффекта.

Поблочная диагностика уже встроена в результаты: для каждой нагрузки сохраняются разброс скорости выполнения по блокам, сдвиг «первый-последний» и тренд по шагам. Это позволяет судить, превышает ли разница двух запусков наблюдаемый внутри них шум, ещё до новых повторов. Формулы, по которым блоки агрегируются в баллы, открыты в расчёте баллов.

В серии из восьми запусков сравнивались повторения и разрешения на оптимизированной системе. Она не содержит неоптимизированного состояния и потому не доказывает выигрыш от BoosterX.

Синтетический тест помогает исследовать изменения в работе системы. Чтобы проверить пользу для конкретной игры, повторите сравнение в её воспроизводимом игровом сценарии.

Проверено: 2026-09-20.