실행 비교

완료된 실행은 동일한 부하 버전, 평가 모델, 프로필로 비교하십시오. 변화율은 수치 간 차이를 설명하지만, 그 자체로 설정의 효과를 입증하지는 않습니다.

수치를 비교하기 전에 결과 파일을 기준으로 두 실행의 호환성을 확인하십시오. 각 결과 파일에는 부하 버전 — 그 구성의 영구 식별자 — 과 스코어링 모델, 그리고 통계 버전이 기록되어 있습니다. 이 필드들을 쌍별로 비교하십시오. 부하나 스코어링 모델이 일치하지 않으면 실행은 서로 다른 프로토콜에 속하며 그 점수는 직접 비교할 수 없습니다. 이러한 식별자가 어떻게 구성되는지는 방법론에 설명되어 있습니다.

실험 계획

1. 프로세서와 그래픽카드 모델, Windows 및 드라이버 버전을 기록하십시오. 테스트 사이에 전원 모드와 냉각을 변경하지 마십시오. 동일한 백그라운드 프로그램 세트를 사용하십시오.
2. 먼저 설정을 변경하지 않고 최소 세 번의 테스트를 수행하십시오. 이렇게 하면 일반적인 결과 편차를 확인할 수 있습니다. 작은 차이에 대한 결론을 내리려면 더 많은 반복이 필요할 수 있습니다.
3. 하나의 설정을 변경하고 테스트를 반복하십시오. 재부팅이 필요하면 초기 설정 시리즈 전에도 수행하십시오. 각 실행 전에 동일한 시간을 기다리십시오.
4. 가능하면 초기 설정, 변경된 설정, 다시 초기 설정 순으로 확인하십시오: A → B → A. 이러한 순서는 설정의 효과를 워밍업과 백그라운드 부하로부터 분리하는 데 도움이 됩니다.
5. 모든 결과를 저장하십시오. 어떤 실패가 테스트를 비교에 부적합하게 만드는지 미리 정하십시오. 예를 들어 실행 중단이 있습니다. 테스트를 제외한다면 이유를 명시하십시오. 낮은 점수 자체는 그것을 삭제할 이유가 되지 않습니다.

화면 해상도와 창 모드 또는 전체 화면 모드를 동일하게 유지하십시오. 해상도의 영향을 확인한다면 선택한 각 해상도에서 테스트를 여러 번 반복하십시오.

무엇을 계산할 것인가

Δ score, % = 100 × (mean_after / mean_before − 1)
CV, % = 100 × sample_standard_deviation / mean

실행 간 평균값과 편차를 비교하십시오. 최종 점수뿐만 아니라 개별 평가, 밀리초 단위 지연, 부하 실행 속도(throughput)도 확인하십시오. 지연의 경우 음수 차이는 일반적으로 개선을 의미하며, 점수의 경우 양수 차이는 평가 상승을 의미합니다.

반복성을 확인하려면 전체 실행을 계산하십시오. 한 테스트 내의 수천 프레임은 반복 테스트를 대체하지 못합니다. 모두 하나의 세션에서 얻어지며 공통 조건에 의존합니다.

무엇을 결론지을 수 있는가

일반적인 편차에 비해 작은 변화는 추가 반복이 필요합니다. «1% 초과는 모두 유의하다»와 같은 보편적 임계값을 단일 시리즈로 설정할 수는 없습니다. 통계적으로 구별 가능한 차이조차도 실질적 효과를 내기에는 너무 작을 수 있습니다.

블록별 진단은 이미 결과에 내장되어 있습니다. 각 부하에 대해 블록별 실행 속도 편차, «첫 번째-마지막» 이동, 단계별 추세가 저장됩니다. 이를 통해 새로운 반복 없이도 두 실행의 차이가 그 안에서 관찰되는 노이즈를 초과하는지 판단할 수 있습니다. 블록이 점수로 집계되는 공식은 점수 계산에 공개되어 있습니다.

8회 실행 시리즈에서는 최적화된 시스템에서 반복과 해상도를 비교했습니다. 여기에는 최적화되지 않은 상태가 포함되지 않으므로 BoosterX의 이점을 입증하지 않습니다.

합성 테스트는 시스템 작동의 변화를 연구하는 데 도움이 됩니다. 특정 게임에 대한 이점을 확인하려면 그 게임의 재현 가능한 게임 시나리오에서 비교를 반복하십시오.

검증됨: 2026-09-20.