Spec, organisatsioon, mis vastutab tulemuste avaldamise eest, on hiljuti teinud otsuse kehtetuks tunnistada SPEC CPU 2017 tulemused Inteli protsessoritele, mis töötavad konkreetse versiooniga Inteli kompilaatoril. Diskvalifitseerimine on vastus optimeerimistehnikale, mida on peetud vaidlustavaks ja petmisele omaseks.
Liikumaks õigluse säilitamise suunas ja tagamaks täpseid jõudlusvõrdlusi, on Spec lisatud teade üle 2600 konkreetse kompilaatoriversiooniga saavutatud testi tulemustele. See tegevus muudab need tulemused kehtetuks. Enamus neist tulemustest saadi masinatest, millel olid Xeon Sapphire Rapidsi 4. põlvkonna protsessorid, mida leidub tavaliselt tipptasemel serverites, andmekeskustes ja tööjaamades.
SPEC CPU 2017 on standardiseeritud test, mis hindab erinevate koormuste jõudlust, võimaldades usaldusväärset võrdlust erinevate arvutisüsteemide vahel. Kuigi riistvara mängib olulist rolli, mõjutavad tulemusi oluliselt ka tarkvarapoolne optimeerimine, eriti kompilaatorite kasutamine.
Vaidlustatud optimeerimistehnika oli suunatud konkreetsetele kahele testile SPEC CPU 2017 komplektis, nimelt 523.xalancbmk_r ja 623.xalancbmk_s. Kuigi optimeeritud kompilaatorid on oodatud, tekitab muret olukord, kus keskendutakse vaid testidele ja ignoreeritakse reaalmaailma stsenaariume. SPEC testide eesmärk on peegeldada riistvara tõelisi jõudlusvõimeid ja pakkuda objektiivset võrdlusbaasi.
Prestiižne tehnoloogiaväljaanne Phoronix teatab, et kontrolli all olev optimeerimine võiks teoreetiliselt tõsta kogu SPECint jõudlust 9% võrra. Siiski kehtib see parandus vaid nimetatud testidele, mitte reaalmaailma rakendustele.
See pole esimene kord, kui testispetsiifiline optimeerimise küsimus tekib. Minevikus on esinenud tuntud vaidlusi ettevõtete nagu Nvidia ja AMD vahel seoses GPU jõudluse ja draiverite seadistustega. Kuigi selliste küsimuste ümber käiv arutelu on veidi vaibunud, on SPEC sel korral kindla seisukoha võtnud ja pööranud tähelepanu Inteli tavadele.
Kehtetuks tunnistades SPEC CPU 2017 tulemused, mis saavutati konkreetse Inteli kompilaatori versiooniga, soovib SPEC tagada õigluse ja rõhutada põhjaliku ja usaldusväärse testimise olulisust. Lõppkokkuvõttes püüab organisatsioon luua keskkonna, mis täpselt peegeldab arvutisüsteemide reaalmaailma jõudlust.
KKK
The source of the article is from the blog macholevante.com