Comparação de execuções

Compare execuções concluídas com a mesma versão de carga, modelo de avaliação e perfil. A percentagem de alteração descreve a diferença dos números, mas por si só não prova o efeito da configuração.

Antes de comparar os números, verifique a compatibilidade do par de execuções pelos ficheiros de resultados: em cada um deles estão registados a versão da carga — identificador permanente da sua composição — e o modelo de pontuação, bem como a versão das estatísticas. Compare estes campos aos pares: se a carga ou o modelo de pontuação não coincidirem, as execuções pertencem a protocolos diferentes e as suas pontuações são diretamente incomparáveis. Como estão estruturadas estas identidades está descrito na metodologia.

Plano do experimento

1. Registe o modelo do processador e da placa gráfica, as versões do Windows e do controlador. Entre os testes não altere o modo de energia e o arrefecimento. Utilize o mesmo conjunto de programas em segundo plano.
2. Primeiro execute pelo menos três testes sem alterar configurações. Assim verá a variação normal dos resultados. Para tirar conclusões sobre diferenças pequenas pode ser necessário mais repetições.
3. Altere uma configuração e repita os testes. Se for necessário reiniciar, faça-o também antes da série com as configurações iniciais. Antes de cada execução aguarde o mesmo tempo.
4. Se possível, verifique as configurações iniciais, depois as alteradas e depois novamente as iniciais: A → B → A. Esta sequência ajuda a separar o efeito da configuração do aquecimento e da carga em segundo plano.
5. Guarde todos os resultados. Defina antecipadamente que falhas tornam o teste inadequado para comparação, por exemplo a interrupção da execução. Se excluir um teste, indique o motivo. Uma pontuação baixa por si só não é motivo para o eliminar.

Mantenha iguais a resolução do ecrã e o modo de janela ou de ecrã inteiro. Se verificar a influência da resolução, repita o teste várias vezes com cada resolução escolhida.

O que contar

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

Compare os valores médios e a variação entre execuções. Verifique não só a pontuação final, mas também as avaliações individuais, as latências em milissegundos e a velocidade de execução das cargas (throughput). Para as latências, uma diferença negativa normalmente significa melhoria; para as pontuações, uma diferença positiva significa aumento da avaliação.

Para verificar a repetibilidade conte execuções completas. Milhares de fotogramas dentro de um teste não substituem testes repetidos: todos eles são obtidos numa única sessão e dependem de condições comuns.

O que se pode concluir

Uma alteração pequena em relação à variação normal exige repetições adicionais. Não se pode estabelecer um limiar universal como «tudo acima de 1% é significativo» com base numa única série. Mesmo uma diferença estatisticamente distinguível pode ser demasiado pequena para um efeito prático.

O diagnóstico por blocos já está incorporado nos resultados: para cada carga são guardadas a variação da velocidade de execução por blocos, o desvio «primeiro-último» e a tendência por passos. Isto permite avaliar se a diferença entre duas execuções excede o ruído observado dentro delas, ainda antes de novas repetições. As fórmulas pelas quais os blocos são agregados em pontuações estão abertas no cálculo das pontuações.

Na série de oito execuções compararam-se repetições e resoluções num sistema otimizado. Este não contém um estado não otimizado e, por isso, não prova o ganho do BoosterX.

Um teste sintético ajuda a investigar alterações no funcionamento do sistema. Para verificar a utilidade para um jogo específico, repita a comparação no seu cenário de jogo reproduzível.

Verificado: 2026-09-20.