Comparação de execuções

Abra BoosterX → Бенчмарк → Сравнение e adicione os resultados salvos desejados. Para um experimento antes/depois, escolha a mesma versão de carga, perfil e condições. A diferença dos números por si só não prova o efeito de um ajuste.

Na interface é possível examinar as diferenças também entre execuções distintas: CPU, GPU, latências, valores absolutos e percentuais. A divergência de condições não torna os próprios números inúteis, mas limita a conclusão sobre a causa da diferença. Verifique os avisos de compatibilidade e não considere a comparação de versões diferentes um experimento limpo.

As pontuações podem ser recalculadas pela fórmula vigente do servidor, portanto compare avaliações de uma mesma metodologia e, separadamente, as métricas brutas. O recálculo não altera a carga executada. A posição em um ranking online único não é prova de condições de medição idênticas.

Plano do experimento

1. Anote o modelo do processador e da placa de vídeo, as versões do Windows e do driver. Entre os testes, não altere o modo de energia e o resfriamento. Use o mesmo conjunto de programas em segundo plano.
2. Primeiro execute pelo menos três testes sem alterar configurações. Assim você verá a variação normal dos resultados. Para concluir sobre diferenças pequenas, pode ser necessário mais repetições.
3. Altere uma configuração e repita os testes. Se for necessário reiniciar, faça isso também antes da série com as configurações originais. Antes de cada execução, aguarde o mesmo tempo.
4. Quando possível, verifique as configurações originais, depois as alteradas e então as originais de novo: A → B → A. Essa sequência ajuda a separar o efeito do ajuste do aquecimento e da carga em segundo plano.
5. Guarde todos os resultados. Defina de antemão quais falhas tornam o teste inadequado para comparação, por exemplo a interrupção da execução. Se excluir um teste, indique o motivo. Uma pontuação baixa por si só não é motivo para removê-lo.

Mantenha iguais a resolução da tela e o modo em janela ou tela cheia. Se estiver verificando a influência da resolução, repita o teste várias vezes em cada resolução escolhida.

O que considerar

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

Compare os valores médios e a variação entre execuções. Verifique não apenas a pontuação final, mas também as avaliações individuais, as latências em milissegundos, o P99 / 1% Low CPU e a velocidade de execução de cada carga (throughput). Para latências, uma diferença negativa geralmente significa melhora; para pontuações, uma diferença positiva significa aumento da avaliação.

Para verificar a repetibilidade, conte execuções completas. Milhares de quadros dentro de um único teste não substituem testes repetidos: todos eles foram obtidos em uma mesma sessão e dependem de condições comuns.

O que se pode concluir

Uma mudança pequena em relação à variação normal exige repetições adicionais. Não se pode estabelecer um limiar universal como «tudo acima de 1% é significativo» com base em uma única série. Mesmo uma diferença estatisticamente distinguível pode ser pequena demais para um efeito prático.

O diagnóstico por blocos já vem embutido nos resultados: para cada carga são salvos a variação da velocidade de execução por blocos, o deslocamento «primeiro-último» e a tendência ao longo das etapas. Isso permite julgar se a diferença entre duas execuções supera o ruído observado dentro delas, antes mesmo de novas repetições. As fórmulas pelas quais os blocos são agregados em pontuações estão abertas no cálculo de pontuações.

Na série arquivada de oito execuções da versão 0.5.2 foram comparadas repetições e resoluções em um sistema otimizado. Ela não contém o estado não otimizado e, por isso, não prova o ganho do BoosterX.

O teste sintético ajuda a investigar mudanças no funcionamento do sistema. Para verificar o benefício em um jogo específico, repita a comparação no cenário de jogo reproduzível dele.

Atualizado: 2026-10-02.