SPEC, organisationen ansvarig för publicering av benchmarkresultat, har nyligen beslutat att ogiltigförklara SPEC CPU 2017-resultat för Intel CPU:er som körs med en specifik version av Intel-kompilatorn. Diskvalificeringen sker som svar på en optimeringsteknik som har ansetts kontroversiell och likställd med fusk.
För att bibehålla rättvisa och garantera korrekta prestandautvärderingar har SPEC lagt till en notis på över 2 600 benchmarkresultat som uppnåtts med den specifika kompilatorversionen. Denna åtgärd gör att dessa resultat effektivt ogiltigförklaras. Majoriteten av dessa resultat erhölls från maskiner utrustade med 4:e generationens Xeon Sapphire Rapids CPU:er, vanligt förekommande i högpresterande servrar, datacenter och arbetsstationer.
SPEC CPU 2017 är en standardiserad benchmark som utvärderar prestandan för olika arbetsbelastningar och möjliggör en tillförlitlig jämförelse mellan olika datorsystem. Medan hårdvara spelar en avgörande roll, påverkar också optimering på mjukvarusidan, särskilt genom användning av kompilatorer, resultaten i hög grad.
Den kontroversiella optimeringstekniken riktades specifikt mot två benchmarktester inom SPEC CPU 2017-paketet, nämligen 523.xalancbmk_r och 623.xalancbmk_s. Även om optimering av kompilatorer är förväntat, väcker det frågor när man uteslutande fokuserar på benchmarktester och bortser från verkliga scenarier. Syftet med SPEC-benchmarktester är att återspegla den faktiska prestandaförmågan hos hårdvara och erbjuda en objektiv grund för jämförelse.
Phoronix, en ansedd teknikpublikation, rapporterar att den ifrågasatta optimeringen potentiellt kan förbättra SPECint-prestandan med 9%. Dock gäller denna förbättring endast för de tidigare nämnda benchmarkstesterna och inte verkliga tillämpningar.
Detta är inte första gången frågan om benchmarkspecifik optimering har uppmärksammats. Tidigare har det funnits uppmärksammade kontroverser med företag som Nvidia och AMD gällande GPU-prestanda och inställningar för drivrutiner. Även om diskussionen kring sådana ärenden har lugnat sig något, har SPEC tagit en bestämd ståndpunkt denna gång och uppmärksammat Intels metoder.
Genom att ogiltigförklara SPEC CPU 2017-resultaten som uppnåtts med den specifika versionen av Intel-kompilatorn, strävar SPEC efter att återupprätta rättvisa och betona vikten av omfattande och pålitlig benchmarking. Organisationen strävar slutligen efter att skapa en miljö som noggrant återspeglar datorsystems prestanda i verkliga situationer.
Vanliga frågor
The source of the article is from the blog elperiodicodearanjuez.es