SPEC, организацията отговорна за публикуването на резултати от бенчмарк тестове, предприема решителна стъпка за осигуряване на справедливост и точни оценки на производителността. В отговор на спорна оптимизационна техника, използвана в конкретна версия на компилатора на Intel, SPEC невалидира над 2,600 резултата от бенчмарк тестове, постигнати от процесори Intel, работещи с този компилатор.
Дисквалификацията главно засяга машините с 4-то поколение процесори Xeon Sapphire Rapids, често срещани в висококачествени сървъри, центрове за данни и работни станции. Тези резултати от бенчмарк тестовете бяха получени с помощта на SPEC CPU 2017, стандартизиран бенчмарк за оценка на производителността на различни работни натоварвания в различни компютърни системи.
Въпреки че хардуерът играе ключова роля в резултатите от бенчмарк тестовете, оптимизацията от страна на софтуера, включително използването на компилатор, може значително да повлияе върху резултатите. Въпреки това спорната оптимизационна техника се фокусира само върху два конкретни бенчмарка в рамките на SPEC CPU 2017: 523.xalancbmk_r и 623.xalancbmk_s.
Тази оптимизационна техника, както беше съобщено от Phoronix, може потенциално да подобри производителността на SPECint с 9%. Важно е да се отбележи, че този прираст е ограничен само за целенасочените бенчмаркове и не се разпространява върху приложенията в реален свят.
Спорни оптимизационни контроверзии по отношение на определени бенчмарк тестове вече се появяват в миналото, включващи компании като Nvidia и AMD относно производителността на GPU и настройките на драйвера. С действието си да дисквалифицира резултатите от SPEC CPU 2017, SPEC има за цел да се справи с този проблем и да подчертае значимостта на комплексни и надеждни бенчмарк тестове.
Целта на организацията е да създаде среда, която точно отразява реалните възможности на компютърните системи. Чрез невалидирането на получените резултати с използването на конкретна версия на компилатора на Intel, SPEC подсилва ценностите на справедливост, обективност и надеждни практики за бенчмарк тестове.
The source of the article is from the blog elektrischnederland.nl