SPEC, benchmark sonuçlarını yayınlamakla sorumlu olan kuruluş, son zamanlarda bir Intel işlemcileri ile çalışan belirli bir sürümü kullanan Intel işlemcileri için SPEC CPU 2017 sonuçlarını geçersiz kılma kararı aldı. Diskalifiye, tartışmalı ve hile benzeri olarak kabul edilen bir optimizasyon tekniğine yanıt olarak geldi.
Adaleti korumak ve doğru performans değerlendirmelerini sağlamak amacıyla SPEC, belirli derleyici sürümü ile elde edilen 2.600’den fazla benchmark sonucuna bir bildiri ekledi. Bu eylem, bu sonuçların geçersiz hale gelmesini etkili bir şekilde sağlar. Bu sonuçların çoğu, yüksek kaliteli sunucularda, veri merkezlerinde ve iş istasyonlarında yaygın olarak bulunan 4. Nesil Xeon Sapphire Rapids CPU’lu makinelerden elde edilmiştir.
SPEC CPU 2017, çeşitli iş yüklerinin performansını değerlendiren standartlaştırılmış bir benchmarktır ve farklı bilgisayar sistemleri arasında güvenilir bir karşılaştırma yapılmasına olanak tanır. Donanım önemli bir rol oynarken, yazılım tarafı optimizasyonu, özellikle derleyicilerin kullanımı, sonuçları önemli ölçüde etkiler.
Tartışmalı optimizasyon tekniği özellikle SPEC CPU 2017 paketi içindeki iki benchmark için hedeflenmiştir, yani 523.xalancbmk_r ve 623.xalancbmk_s. Derleyicilerin optimize edilmesi beklenirken, sadece benchmarklara hizmet ederken gerçek dünya senaryolarını dikkate almamak endişelere yol açar. SPEC benchmarklarının amacı, donanımın gerçek performans yeteneklerini yansıtmak ve karşılaştırma için objektif bir temel sağlamaktır.
Güvenilir bir teknoloji yayını olan Phoronix, incelenen optimizasyonun genel SPECint performansını %9 artırabileceğini bildiriyor. Ancak, bu iyileşme yalnızca söz konusu benchmarklara uygulanır, gerçek dünya uygulamalarına değil.
Bu, benchmark özel optimizasyonu sorununun ilk kez ortaya çıkmadığı anlamına gelmez. Geçmişte, GPU performansı ve sürücü ayarlarıyla ilgili olarak Nvidia ve AMD gibi şirketler arasında dikkate değer tartışmalar yaşandı. Bu tür konularla ilgili tartışmalar biraz sakinleşmiş olabilir, ancak SPEC bu kez sert bir tutum aldı ve Intel’in uygulamalarına dikkat çekti.
SPEC, Intel derleyicisinin belirli bir sürümünü kullanarak elde edilen SPEC CPU 2017 sonuçlarını diskalifiye ederek, adaleti yeniden tesis etmeyi ve kapsamlı ve güvenilir benchmarking’in önemini vurgulamayı amaçlıyor. Sonuç olarak, kuruluş, bilgisayar sistemlerinin gerçek dünya performansını doğru bir şekilde yansıtan bir ortam oluşturmayı hedeflemektedir.
The source of the article is from the blog portaldoriograndense.com