Roman RemberSPEC, organisationen ansvarlig for offentliggørelse af benchmarkresultater, har for nylig besluttet at annullere SPEC CPU 2017-resultater for Intel-processorer, der kører en specifik version af Intel-compileren. Diskvalifikationen kommer som en reaktion på en optimeringsteknik, der er blevet anset for kontroversiel og svarende til snyd.
I en bestræbelse på at opretholde retfærdighed og sikre nøjagtige præstationsvurderinger har SPEC vedhæftet en besked til over 2600 benchmarkresultater opnået med den specifikke compiler-version. Denne handling gør effektivt disse resultater ugyldige. Størstedelen af disse resultater blev opnået på maskiner udstyret med 4. generations Xeon Sapphire Rapids-processorer, der ofte findes i avancerede servere, datacentre og arbejdsstationer.
SPEC CPU 2017 er et standardiseret benchmark, der evaluerer præstationen af forskellige arbejdsbelastninger og muliggør en pålidelig sammenligning på tværs af forskellige computersystemer. Mens hardware spiller en afgørende rolle, påvirker softwareoptimering, især gennem brugen af compilere, også i høj grad resultaterne.
Den kontroversielle optimeringsteknik var specifikt rettet mod to benchmarks inden for SPEC CPU 2017-suiten, nemlig 523.xalancbmk_r og 623.xalancbmk_s. Selvom optimering af compilere forventes, rejser det bekymringer at fokusere udelukkende på benchmarks og ignorere virkelige scenarier. Formålet med SPEC-benchmarks er at afspejle hardwarens reelle præstationsevne og give et objektivt sammenligningsgrundlag.
Phoronix, en anerkendt teknologipublikation, rapporterer, at den omstridte optimering potentielt kan forbedre den samlede SPECint-præstation med 9%. Denne forbedring gælder dog kun de nævnte benchmarks, ikke virkelige applikationer.
Det er ikke første gang, at spørgsmålet om benchmarkspecifik optimering er opstået. Tidligere har der været bemærkelsesværdige kontroverser med virksomheder som Nvidia og AMD i forbindelse med GPU-præstation og driverindstillinger. Mens diskussionen om sådanne spørgsmål er kølnet en smule ned, har SPEC indtaget en fast holdning i denne omgang og rettet opmærksomheden mod Intels praksis.
Ved at diskvalificere SPEC CPU 2017-resultaterne opnået med den specifikke version af Intel-compileren ønsker SPEC at genoprette retfærdighed og understrege vigtigheden af omfattende og pålidelig benchmarking. Overordnet stræber organisationen efter at skabe et miljø, der præcist afspejler computersystemers faktiske ydeevne.
