Comparação de execuções

Compare execuções concluídas com a mesma versão de carga, modelo de avaliação e perfil. A porcentagem de mudança descreve a diferença dos números, mas por si só não prova o efeito do ajuste.

Antes de comparar os números, verifique a compatibilidade do par de execuções pelos arquivos de resultados: em cada um deles estão registrados a versão da carga — um identificador constante da sua composição — e o modelo de pontuação, bem como a versão da estatística. Compare esses campos em pares: se a carga ou o modelo de pontuação não coincidem, as execuções pertencem a protocolos diferentes e suas pontuações são diretamente incomparáveis. Como essas identidades são estruturadas está descrito na metodologia.

Plano do experimento

1. Registre o modelo do processador e da placa de vídeo, as versões do Windows e do driver. Entre os testes, não altere o modo de energia e o resfriamento. Use o mesmo conjunto de programas em segundo plano.
2. Primeiro, execute pelo menos três testes sem alterar as configurações. Assim você verá a variação normal dos resultados. Para concluir sobre diferenças pequenas, pode ser necessário mais repetições.
3. Altere uma configuração e repita os testes. Se for necessário reiniciar, faça isso também antes da série com as configurações originais. Antes de cada execução, aguarde o mesmo tempo.
4. Se possível, verifique as configurações originais, depois as alteradas e, em seguida, as originais novamente: A → B → A. Essa sequência ajuda a separar o efeito do ajuste do aquecimento e da carga em segundo plano.
5. Guarde todos os resultados. Defina antecipadamente quais falhas tornam o teste inadequado para comparação, por exemplo, a interrupção da execução. Se excluir um teste, indique o motivo. Uma pontuação baixa por si só não é motivo para removê-lo.

Mantenha iguais a resolução da tela e o modo em janela ou tela cheia. Se estiver verificando a influência da resolução, repita o teste várias vezes em cada resolução escolhida.

O que considerar

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

Compare os valores médios e a variação entre as execuções. Verifique não apenas a pontuação final, mas também as avaliações individuais, as latências em milissegundos e a velocidade de execução das cargas (throughput). Para latências, uma diferença negativa geralmente significa melhoria; para pontuações, uma diferença positiva significa aumento da avaliação.

Para verificar a repetibilidade, conte execuções completas. Milhares de quadros dentro de um único teste não substituem testes repetidos: todos eles foram obtidos em uma única sessão e dependem de condições comuns.

O que se pode concluir

Uma mudança pequena em relação à variação normal exige repetições adicionais. Não se pode estabelecer um limiar universal como «tudo acima de 1% é significativo» com base em uma única série. Mesmo uma diferença estatisticamente distinguível pode ser pequena demais para um efeito prático.

O diagnóstico por blocos já está integrado aos resultados: para cada carga, são salvos a variação da velocidade de execução por blocos, o deslocamento «primeiro-último» e a tendência por etapas. Isso permite julgar se a diferença entre duas execuções supera o ruído observado dentro delas, ainda antes de novas repetições. As fórmulas pelas quais os blocos são agregados em pontuações estão abertas no cálculo das pontuações.

Na série de oito execuções, foram comparadas repetições e resoluções em um sistema otimizado. Ela não contém o estado não otimizado e, por isso, não prova o ganho do BoosterX.

O teste sintético ajuda a investigar mudanças no funcionamento do sistema. Para verificar o benefício para um jogo específico, repita a comparação no cenário de jogo reproduzível dele.

Verificado: 2026-09-20.