SPEC, die Organisation, die für die Veröffentlichung von Benchmark-Ergebnissen verantwortlich ist, hat einen entscheidenden Schritt unternommen, um Fairness und genaue Leistungsbewertungen sicherzustellen. Als Reaktion auf eine umstrittene Optimierungstechnik, die in einer bestimmten Version des Intel Compilers verwendet wurde, hat SPEC über 2.600 Benchmark-Ergebnisse, die mit Intel CPUs unter Verwendung dieses Compilers erzielt wurden, für ungültig erklärt.
Die Disqualifikation betrifft hauptsächlich Maschinen mit 4. Generation Xeon Sapphire Rapids CPUs, die häufig in High-End-Servern, Rechenzentren und Workstations zu finden sind. Diese Benchmark-Ergebnisse wurden mit SPEC CPU 2017 erzielt, einem standardisierten Benchmark, der die Leistung verschiedener Arbeitslasten auf verschiedenen Computersystemen bewertet.
Während Hardware eine entscheidende Rolle bei Benchmark-Ergebnissen spielt, können Software-seitige Optimierungen, einschließlich der Compiler-Nutzung, die Ergebnisse maßgeblich beeinflussen. Die umstrittene Optimierungstechnik konzentrierte sich jedoch ausschließlich auf zwei spezifische Benchmarks innerhalb der SPEC CPU 2017 Suite: 523.xalancbmk_r und 623.xalancbmk_s.
Diese Optimierungstechnik, wie von Phoronix berichtet, könnte die SPECint-Leistung um 9% erhöhen. Es ist wichtig anzumerken, dass diese Steigerung nur für die ausgewählten Benchmarks gilt und sich nicht auf Anwendungen im echten Leben erstreckt.
In der Vergangenheit sind in Bezug auf die Leistung von GPUs und Treibereinstellungen ähnliche Kontroversen hinsichtlich benchmarkspezifischer Optimierungen aufgetreten. SPEC zielt mit seiner Maßnahme, die SPEC CPU 2017 Ergebnisse zu disqualifizieren, darauf ab, dieses Problem anzugehen und die Bedeutung umfassender und verlässlicher Benchmarking-Praktiken zu unterstreichen.
Das Ziel der Organisation ist es, eine Umgebung zu schaffen, die die tatsächlichen Leistungsfähigkeiten von Computersystemen genau widerspiegelt. Durch die Ungültigerklärung der Ergebnisse, die mit der spezifischen Version des Intel Compilers erzielt wurden, bekräftigt SPEC die Werte von Fairness, Objektivität und verlässlichen Benchmarking-Praktiken.
Insgesamt stellt die Entscheidung von SPEC, diese Benchmark-Ergebnisse für ungültig zu erklären, die Bedeutung der Integrität bei Leistungsbewertungen wieder her. Mit dieser Maßnahme möchte SPEC eine Benchmarking-Umgebung fördern, die die Leistung von Computersystemen im echten Leben getreu darstellt und gleichzeitig die Prinzipien von Fairness und Zuverlässigkeit wahrt.
The source of the article is from the blog crasel.tk