SPEC（標準パフォーマンス評価コーポレーション）は、インテルXeonチップの2,600件以上の結果を無効化したことで注目を集めています。コンピューティングコンポーネントの標準化されたベンチマークを維持する責任を持つ非営利コンソーシアムであるSPECは、特定のバージョンのインテルコンパイラを使用するインテルPCのSPEC CPU 2017の結果をもはや公開しないことを選択しました。
この論争は、インテルが特定のワークロード向けに最適化を行ったという主張に関わるもので、これによりベンチマーク結果が向上しています。SPECは、インテルが製品を微調整してベンチマークのパフォーマンスを向上させようとする試みが、結果の信頼性を損なっていると主張しています。ハイエンドサーバー、データセンター、ワークステーション向けに広く使用されているSPEC CPU 2017は、43種類のベンチマークでパフォーマンスを評価しています。
無効化された結果は、Intel oneAPI DPC++/C++ Compilerに関連しており、523.xalancbmk_r / 623.xalancbmk_sベンチマーク向けに特に最適化されたとされています。これらの結果には免責事項が追加されており、これらの特定のベンチマークのパフォーマンスが以前の知識を活用して著しく向上させると確認しています。結果として、これらのベンチマーク結果は無効になりました。
ベンチマークの数字は常に現実の使用を示すものではないものの、実際にパフォーマンスの現実的な表現を提供することを目指すべきです。特定のベンチマークをターゲットにした最適化は歪んだ視点を導入し、歪んだ現実につながる可能性があります。影響を受けるモデルは2022.0から2023.0までの範囲に及び、この日付範囲外のモデルは免責事項の影響を受けません。
TechRadar Proは、この問題に関する追加情報を得るためにSPECとIntelの両組織に連絡を試みましたが、どちらの組織からも迅速に回答は得られませんでした。この出来事は、標準化されたベンチマークの役割、対象となる最適化の影響、パフォーマンス評価の透明性についての疑問を提起します。これは、消費者や業界のプロフェッショナルの信頼を維持するために、公平性と信頼性がベンチマーク実践において重要であることを最終的に強調しています。
The source of the article is from the blog yanoticias.es