SPEC, организацията, отговорна за публикуването на резултати от бенчмарк тестове, наскоро взе решение да инвалидира резултатите от SPEC CPU 2017 за процесори Intel, работещи с определена версия на компилатора на Intel. Дисквалификацията идва като отговор на техниката за оптимизация, която е била определена за спорна и равносилна на измама.
С цел запазване на справедливостта и осигуряване на точни оценки на производителността, SPEC е прикачила обявление към над 2,600 резултата от бенчмарк тестове, постигнати с конкретната версия на компилатора. Това действие ефективно прави тези резултати невалидни. Повечето от тези резултати са били постигнати на машини с процесори 4-то поколение Xeon Sapphire Rapids, които често се срещат във висок клас сървъри, центрове за данни и работни станции.
SPEC CPU 2017 е стандартизиран бенчмарк тест, който оценява производителността на различни натоварвания, позволявайки надеждно сравнение на различни компютърни системи. Въпреки че хардуерът играе критична роля, оптимизацията на софтуера, особено чрез използването на компилатори, също значително влияе на резултатите.
Спорната оптимизационна техника беше насочена специфично към два бенчмарка в спектъра на SPEC CPU 2017, а именно 523.xalancbmk_r и 623.xalancbmk_s. Въпреки че се очаква оптимизирането на компилаторите, насочването само към бенчмарките, без да се вземат предвид реалните сценарии, предизвиква загриженост. Целта на SPEC бенчмарките е да отразят истинските производствени възможности на хардуера и да осигурят обективна основа за сравнение.
Phoronix, уважавано технологично издание, докладва, че оптимизацията под лупа би могла да увеличи цялостната производителност на SPECint с 9%. Този напредък обаче важи само за споменатите бенчмарки, а не за реални приложения.
Това не е първи път, в случая с оптимизацията специфична за бенчмарка. В миналото има забележителни контроверзии, засягащи компании като Nvidia и AMD по отношение на производителността на видеокартите и настройките на драйверите. Въпреки че дискусиите по такива въпроси успокояват, SPEC заема твърда позиция в този случай и привлича вниманието към практиките на Intel.
Чрез дисквалификацията на резултатите от SPEC CPU 2017, постигнати с конкретната версия на компилатора на Intel, SPEC цели да възстанови справедливостта и да подчертае важността на всеобхватното и надеждно бенчмарк тестове. Най-важното, организацията се стреми да създаде среда, която точно отразява реалната производителност на компютърните системи.
The source of the article is from the blog lisboatv.pt