Kielitieteen mallien edistysaskeleet osoittavat ennustettavissa olevia parannuksia
Merkittävä hanke, joka tunnetaan nimellä ”Beyond the Imitation Game benchmark” (BIG-bench), toteutettiin kaksi vuotta sitten 450 tutkijan tiimin voimin, jotka listasivat 204 tehtävää suurten kielimallien (LLM), kuten ChatGPT:ssä käytetyn, suorituskyvyn testaamiseksi. Heidän tutkimuksensa tulokset osoittivat suorituskyvyn asteittaisen paranemisen mallien koon kasvaessa.
Epäjohdonmukainen suorituskyky AI-malleissa: Mittaamisen ongelma?
Vaikka suurten mallien laajentaminen yleensä korreloi suorituskyvyn parantumisen kanssa, kaikki tehtävät eivät kuitenkaan seuranneet tätä trendiä. Osa tehtävistä, jotka aiemmin osoittivat tuskin minkäänlaista kyvyn kehittymistä, osoittivat yhtäkkiä merkittävää edistystä. Tutkijat nimesivät tätä kyvyn odottamatonta kasvua ”läpimurto”-käyttäytymiseksi ja toiset vertasivat sitä muiden muassa veden muuttumiseen jäätymisen myötä. Elokuussa 2022 julkaistussa artikkelissa tutkijat korostivat tämän ”noussut käyttäytyminen” merkitystä keskusteltaessa tekoälyn turvallisuudesta, mahdollisuuksista ja riskeistä.
Stanfordin haastukset näkemykselle tekoälyn ”nousevista” kyvyistä
Kuitenkin Stanfordin yliopiston tutkijaryhmän tuoreimmat havainnot haastavat aiemmat arviot. He väittävät, että näennäisesti äkillinen kyvykkyyksien ilmeneminen voisi olla pelkästään mittausongelma. He esittävät, että LLM:ien suorituskyky ei ole arvaamatonta tai välitöntä vaan pikemminkin ennustettavissa kuin aikaisemmin ajateltiin. Tutkijat väittävät, että suorituskyvyn arvioinnissa käytetyt menetelmät ovat yhtä vaikuttavia kuin itse mallien kapasiteetit.
Suorituskyvyn kasvu havaittu olevan ennemminkin asteittaista kuin ”nousevaa”
Suuret kielimallit ovat tulleet pääpainopisteeksi vasta laajentuessaan todella merkittäviksi. Koska näitä malleja koulutetaan massiivisilla tekstikorpuksilla, mukaan lukien kirjat, verkkohaun tulokset ja Wikipedia, ne kehittävät monimutkaisia yhteyksiä sanojen välille, jotka esiintyvät usein samankaltaisissa yhteyksissä. Nämä yhteydet määrittävät niiden suorituskyvyn erilaisissa tehtävissä. Stanfordin tutkijat tunnistavat tehokkuuden parannuksen, joka liittyy laajentamiseen, mutta väittävät, että tämä parannus ei aina ole välitön tai nouseva; se saattaa enemmänkin johtua suoritusmittareiden valinnasta tai riittämättömästä arvioinnista.
Menetelmämuutos tarjoaa uusia näkemyksiä tekoälyn kyvyistä
Tämä tutkimusmenetelmän muutos on synnyttänyt uusia näkemyksiä, mikä on johtanut Stanfordin tiimin tarkistamaan tavan, jolla suorituskykyä arvioidaan. Osittaista oikeellisuutta arvioon sisällyttämällä he ovat osoittaneet, että malliparametrien lisääntyminen johtaa asteittaiseen ja ennustettavaan parannukseen siinä, kuinka monta numeroa LLM voi ennustaa oikein, pikemminkin kuin äkillinen harppaus. Vaikka jotkut tutkijat edelleen väittävät, että tietyillä kynnyksillä tietyt kyvyt ovat ennalta-arvaamattomia, Stanfordin tutkimus osoittaa, että oikeat mittarit voivat maalata erilaisen kuvan LLM:n kyvyistä.
Tärkeitä selvennyksiä aiheesta
Keinotekoisen älyn (AI) edistysaskeleet, erityisesti suurten kielimallien (LLM) osalta kuten ChatGPT, vaikuttavat lukuisille teollisuudenaloille ja ymmärrykseemme AI:n kehityksestä. Tässä kentässä kaksi tärkeää kysymystä ovat:
1. Onko AI-kyvykkyyksien kehitys asteittaista vai voiko siihen sisältyä äkillisiä nousevia hyppäyksiä?
Stanfordin tutkijat haastavat äkillisten hyppyjen teorian AI:n kyvykkyyksissä, väittäen sen sijasta, että parempien arviointimenetelmien avulla nämä edistysaskeleet näyttävät olevan asteittaisia ja ennustettavissa olevia.
2. Mikä ovat keskeiset haasteet tai kiistat liittyen AI:n kehityksen mittaamiseen?
Kiisteltävänä ovat oikeat mittarit LLM:ien suorituskyvyn arvioimisessa ja se, voivatko nämä mallit todella esittää äkillistä käyttäytymistä.
Aihe kantaa tiettyjä etuja ja haittoja:
Edut:
– Arviointimenetelmien parantaminen johtaa tarkempaan käsitykseen AI:n kehityksestä.
– Ennustettavat parannukset mahdollistavat paremman suunnittelun ja integroinnin erilaisiin sovelluksiin.
– Se tukee monipuolisempaa keskustelua AI:n turvallisuudesta romuttamalla äkillisten, hallitsemattomien loikkien myyttiä AI:n kyvykkyyksissä.
Haitat:
– Asteittaisuuden liiallinen korostaminen saattaa vähätellä tilanteita, joissa AI-kyvykkyydet todella tekevät odottamattomia harppauksia.
– Suoritusmittareihin luottaminen voi jättää huomioimatta koko AI:n kyvykkyyden tai rajoitusten laajuuden.
– Keskustelu voi aiheuttaa sekavaa tilannetta sidosryhmien keskuudessa AI:n valmiudesta tai riskeistä, vaikuttaen rahoituspäätöksiin ja sääntelytoimenpiteisiin.
Lisätietoja AI:n edistysaskeleista ja kiistoista voit etsiä vierailemalla Stanfordin yliopiston verkkosivuilla, jossa suuri osa äkillisen nousemisilmiön haastavaa tutkimuksesta on toteutettu, tai tutkimalla Machine Intelligence Research Institutea (MIRI), joka keskittyy AI:n turvallisuuteen ja kyvykkyyksiin. Varmista aina, että URL-osoite on voimassa ennen kuin siirryt verkkosivustolle.
The source of the article is from the blog shakirabrasil.info