SPEC, організація відповідальна за публікацію результатів бенчмарків, прийняла рішучий крок, щоб забезпечити справедливість та точність оцінки продуктивності. Відповідаючи на спірний оптимізаційний метод, використаний в конкретній версії компілятора Intel, SPEC відхилила понад 2,600 результатів бенчмарків, досягнутих процесорами Intel за допомогою цього компілятора.
Недійсність стосується переважно машин з процесорами 4-го покоління Xeon Sapphire Rapids, які часто використовуються у високопродуктивних серверах, центрах обробки даних та робочих станціях. Ці результати були отримані за допомогою бенчмарку SPEC CPU 2017, стандартизованого бенчмарку, який оцінює продуктивність різноманітних завантажень на різних комп’ютерних системах.
Хоча апаратна складова відіграє важливу роль у результатах бенчмарків, оптимізація на стороні програмного забезпечення, включаючи використання компілятора, може значно впливати на результати. Однак спірний оптимізаційний метод, з яким зв’язаний цей конфлікт, сфокусований лише на двох конкретних бенчмарках з набору SPEC CPU 2017: 523.xalancbmk_r та 623.xalancbmk_s.
Цей метод оптимізації, як повідомляє Phoronix, може потенційно покращити продуктивність SPECint на 9%. Варто зазначити, що це покращення обмежується лише цими заданими бенчмарками і не поширюється на реальні застосування.
У минулому виникали конфлікти з оптимізацією, специфічні для певних бенчмарків, що стосувалися компаній, таких як Nvidia та AMD, щодо продуктивності графічних процесорів та налаштувань драйверів. SPEC своїм рішенням, щодо недійсності результатів SPEC CPU 2017, прагне вирішити цю проблему і підкреслити значення всебічного та надійного бенчмаркінгу.
Метою організації є створення середовища, що точно відображає фактичні можливості комп’ютерних систем. Шляхом відхилення результатів, отриманих за допомогою конкретної версії компілятора Intel, SPEC підкреслює цінності справедливості, об’єктивності та надійних практик бенчмаркінгу.
Заключно, рішення SPEC щодо недійсності цих результатів бенчмарків відновлює важливість збереження цілісності у оцінці продуктивності. Через цей крок SPEC прагне сприяти створенню середовища бенчмаркінгу, що достовірно відображає реальну продуктивність комп’ютерних систем, дотримуючись принципів справедливості та надійності.
The source of the article is from the blog lanoticiadigital.com.ar