起動の比較

BoosterX → ベンチマーク → 比較を開き、必要な保存済み結果を追加します。前後比較の実験では、同じバージョンの負荷、プロファイル、条件を選んでください。数値の差そのものは、設定の効果を証明するものではありません。

インターフェースでは、異なる実行間の違いも確認できます: CPU、GPU、遅延、絶対値、パーセンテージ。条件の不一致は数値そのものを無価値にはしませんが、差の原因に関する結論を制限します。互換性に関する警告を確認し、異なるバージョンの比較を純粋な実験と見なさないでください。

スコアは有効なサーバー側の計算式で再計算される場合があるため、同じ手法の評価と元のメトリクスを別々に比較してください。再計算は実行された負荷を変えません。単一のオンラインランキングでの順位は、測定条件が同一であることの証明にはなりません。

実験計画

1. プロセッサとビデオカードのモデル、Windows とドライバーのバージョンを記録します。テスト間で電源モードと冷却を変更しないでください。同じバックグラウンドプログラムのセットを使用してください。
2. まず設定を変更せずに少なくとも 3 回テストを実行します。これにより通常の結果のばらつきがわかります。小さな差について結論を出すには、より多くの繰り返しが必要になる場合があります。
3. 1 つの設定を変更してテストを繰り返します。再起動が必要な場合は、元の設定でのシリーズの前にも実行してください。各実行の前に同じ時間待機してください。
4. 可能であれば、元の設定、次に変更した設定、そして再び元の設定を確認します: A → B → A。この順序は、設定の効果をウォームアップやバックグラウンド負荷から切り分けるのに役立ちます。
5. すべての結果を保存します。どのような障害がテストを比較に不適切にするか、例えば実行の中断などを事前に定義します。テストを除外する場合は、理由を記載してください。低いスコアそのものは、それを削除する理由にはなりません。

画面の解像度とウィンドウモードまたは全画面モードを同じに保ってください。解像度の影響を確認する場合は、選択した各解像度でテストを数回繰り返してください。

何を評価するか

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

実行間の平均値とばらつきを比較してください。最終スコアだけでなく、個別の評価、ミリ秒単位の遅延、P99 / 1% Low CPU、各負荷の実行速度 (throughput) も確認してください。遅延の場合、通常は負の差が改善を意味します。スコアの場合、正の差が評価の向上を意味します。

再現性を確認するには、完全な実行を数えます。1 回のテスト内の数千フレームは、テストの繰り返しを代替しません。それらはすべて 1 つのセッションで取得され、共通の条件に依存しているからです。

何を結論付けられるか

通常のばらつきに対する小さな変化には、追加の繰り返しが必要です。「1% を超えるものはすべて有意である」といった普遍的な閾値を 1 つのシリーズで設定することはできません。統計的に区別できる差であっても、実用的な効果としては小さすぎる場合があります。

ブロックごとの診断はすでに結果に組み込まれています: 各負荷について、ブロックごとの実行速度のばらつき、「最初-最後」のシフト、ステップごとのトレンドが保存されます。これにより、新しい繰り返しの前に、2 つの実行の差がそれらの中で観測されるノイズを超えているかどうかを判断できます。ブロックがスコアに集約される計算式は、スコア計算 で公開されています。

アーカイブの バージョン 0.5.2 の 8 回の実行シリーズ では、最適化されたシステムでの繰り返しと解像度が比較されました。これには最適化されていない状態が含まれていないため、BoosterX による利点を証明するものではありません。

合成テストは、システムの動作の変化を調査するのに役立ちます。特定のゲームに対する有用性を確認するには、その再現可能なゲームシナリオで比較を繰り返してください。

更新日: 2026-10-02。