SPEC, la Standard Performance Evaluation Corporation, sta facendo notizia dopo aver invalidato oltre 2.600 risultati per i chip Intel Xeon. Il consorzio non a scopo di lucro, responsabile per mantenere i benchmark standardizzati per i componenti informatici, ha scelto di non pubblicare più i risultati SPEC CPU 2017 per i PC Intel che utilizzano una versione specifica del compilatore Intel.
La polemica ruota attorno alle accuse di ottimizzazione mirata da parte di Intel per carichi di lavoro specifici, che hanno portato a risultati migliori nei benchmark. SPEC afferma che i tentativi di Intel di modificare i propri prodotti per migliorare le prestazioni nei benchmark hanno compromesso l’integrità dei risultati. Come benchmark ampiamente usato per i server di fascia alta, i data center e le workstation, SPEC CPU 2017 valuta le prestazioni in 43 diversi benchmark.
I risultati invalidati sono legati al compilatore Intel oneAPI DPC++/C++ Compiler, che è accusato di essere ottimizzato specificamente per i benchmark 523.xalancbmk_r / 623.xalancbmk_s. È stata aggiunta una dichiarazione a questi risultati, riconoscendo che il compilatore utilizzato in questi casi migliora significativamente le prestazioni di questi benchmark particolari sfruttando conoscenze pregresse. Di conseguenza, questi risultati del benchmark sono stati resi invalidi.
Anche se i dati dei benchmark non sono sempre indicativi dell’uso reale, dovrebbero mirare a fornire una rappresentazione realistica delle prestazioni. Le ottimizzazioni mirate a specifici benchmark possono introdurre una prospettiva distorta, portando a risultati distorti e irrealistici. È importante notare che i modelli interessati vanno dal 2022.0 al 2023.0, con quelli al di fuori di questo intervallo di date non influenzati dai messaggi di disclaimer.
TechRadar Pro ha cercato di contattare sia SPEC che Intel per ulteriori informazioni su questa questione, ma nessuna delle due organizzazioni ha risposto prontamente. Questo incidente solleva domande sul ruolo dei benchmark standardizzati, sull’impatto delle ottimizzazioni mirate e sulla necessità di trasparenza nella valutazione delle prestazioni. Sottolinea in definitiva l’importanza dell’imparzialità e della affidabilità nelle pratiche di benchmarking per mantenere la fiducia dei consumatori e dei professionisti del settore.
—
**Riassunto dell’Articolo:**
SPEC ha invalidato più di 2.600 risultati per i chip Intel Xeon. SPEC, un’organizzazione no-profit responsabile per mantenere benchmark standardizzati per i componenti informatici, ha deciso di non pubblicare i risultati SPEC CPU 2017 per i PC Intel che utilizzano una specifica versione del compilatore Intel. La polemica nasce dalle accuse che Intel abbia ottimizzato i suoi prodotti per migliorare le prestazioni nei benchmark, compromettendo l’integrità dei risultati. I risultati invalidati sono legati al compilatore Intel oneAPI DPC++/C++ Compiler, accusato di essere ottimizzato per specifici benchmark. Questo incidente solleva questioni su benchmark standardizzati, ottimizzazioni mirate e trasparenza nella valutazione delle prestazioni.
The source of the article is from the blog kunsthuisoaleer.nl