Benchmark-Vergleiche

Öffnen Sie BoosterX → Benchmark → Vergleich und fügen Sie die gewünschten gespeicherten Ergebnisse hinzu. Für ein Vorher/Nachher-Experiment wählen Sie dieselbe Lastversion, dasselbe Profil und dieselben Bedingungen. Ein Zahlenunterschied allein beweist keinen Effekt einer Einstellung.

In der Oberfläche lassen sich die Unterschiede auch bei verschiedenen Durchläufen untersuchen: CPU, GPU, Latenzen, absolute Werte und Prozentsätze. Eine Nichtübereinstimmung der Bedingungen macht die Zahlen selbst nicht nutzlos, schränkt aber die Schlussfolgerung über die Ursache des Unterschieds ein. Prüfen Sie die Kompatibilitätswarnungen und betrachten Sie den Vergleich verschiedener Versionen nicht als sauberes Experiment.

Punkte können nach der aktuellen Serverformel neu berechnet werden, daher vergleichen Sie Bewertungen einer Methodik und getrennt davon die ursprünglichen Metriken. Die Neuberechnung ändert die absolvierte Last nicht. Der Platz in einem einheitlichen Online-Ranking ist kein Beweis für identische Messbedingungen.

Versuchsplan

1. Notieren Sie das Modell von Prozessor und Grafikkarte, die Versionen von Windows und Treiber. Ändern Sie zwischen den Tests nicht den Energiemodus und die Kühlung. Verwenden Sie denselben Satz an Hintergrundprogrammen.
2. Führen Sie zunächst mindestens drei Tests ohne Änderung der Einstellungen durch. So sehen Sie die übliche Streuung der Ergebnisse. Für eine Aussage über kleine Unterschiede kann es mehr Wiederholungen brauchen.
3. Ändern Sie eine Einstellung und wiederholen Sie die Tests. Wenn ein Neustart nötig ist, führen Sie ihn auch vor der Serie mit den ursprünglichen Einstellungen durch. Warten Sie vor jedem Durchlauf dieselbe Zeit ab.
4. Prüfen Sie nach Möglichkeit die ursprünglichen Einstellungen, dann die geänderten und danach wieder die ursprünglichen: A → B → A. Eine solche Reihenfolge hilft, den Effekt der Einstellung von Aufwärmen und Hintergrundlast zu trennen.
5. Speichern Sie alle Ergebnisse. Legen Sie vorab fest, welche Störungen einen Test für den Vergleich unbrauchbar machen, etwa ein Abbruch des Durchlaufs. Wenn Sie einen Test ausschließen, geben Sie den Grund an. Eine niedrige Bewertung allein ist kein Grund, ihn zu löschen.

Halten Sie die Bildschirmauflösung und den Fenster- oder Vollbildmodus gleich. Wenn Sie den Einfluss der Auflösung prüfen, wiederholen Sie den Test mehrmals bei jeder gewählten Auflösung.

Was zu werten ist

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

Vergleichen Sie die Mittelwerte und die Streuung zwischen den Durchläufen. Prüfen Sie nicht nur den Gesamtpunktwert, sondern auch einzelne Bewertungen, Latenzen in Millisekunden, P99 / 1% Low CPU und die Ausführungsgeschwindigkeit jeder Last (throughput). Bei Latenzen bedeutet eine negative Differenz meist eine Verbesserung; bei Punkten bedeutet eine positive Differenz einen Anstieg der Bewertung.

Für die Prüfung der Wiederholbarkeit zählen vollständige Durchläufe. Tausende Frames innerhalb eines Tests ersetzen keine wiederholten Tests: Sie alle stammen aus einer Sitzung und hängen von gemeinsamen Bedingungen ab.

Was sich schlussfolgern lässt

Eine kleine Änderung relativ zur üblichen Streuung erfordert zusätzliche Wiederholungen. Eine universelle Schwelle wie „alles über 1% ist signifikant“ lässt sich anhand einer einzigen Serie nicht festlegen. Selbst ein statistisch unterscheidbarer Unterschied kann für einen praktischen Effekt zu klein sein.

Die blockweise Diagnose ist bereits in den Ergebnissen enthalten: Für jede Last werden die Streuung der Ausführungsgeschwindigkeit über die Blöcke, die Verschiebung „erster-letzter“ und der Trend über die Schritte gespeichert. So lässt sich beurteilen, ob der Unterschied zweier Durchläufe das in ihnen beobachtete Rauschen übersteigt, noch bevor neue Wiederholungen nötig sind. Die Formeln, nach denen Blöcke zu Punkten aggregiert werden, sind in der Punkteberechnung offengelegt.

In der archivierten Serie aus acht Durchläufen der Version 0.5.2 wurden Wiederholungen und Auflösungen auf einem optimierten System verglichen. Sie enthält keinen nicht optimierten Zustand und beweist daher keinen Gewinn durch BoosterX.

Ein synthetischer Test hilft, Änderungen in der Arbeit des Systems zu untersuchen. Um den Nutzen für ein konkretes Spiel zu prüfen, wiederholen Sie den Vergleich in dessen reproduzierbarem Spielszenario.

Aktualisiert: 2026-10-02.