Tekoälyn alalla Visio-Kieli Mallit (VLMs) ovat nousseet läpimurtona, joka yhdistää Koneen Näkö (CV) ja Luonnollisen Kielen Prosessoinnin (NLP). Näiden kahden alan yhdistelmä pyrkii jäljittelemään ihmismäistä ymmärrystä tulkitsemalla ja tuottamalla sisältöä, joka sulauttaa saumattomasti kuvia ja sanoja. Tämä yhdistelmä tarjoaa monimutkaisen haasteen, joka on vanginnut tutkijoiden mielen ympäri maailmaa.
Viimeaikaiset kehitykset alalla ovat tuoneet esille malleja kuten LLaVA ja BLIP-2, jotka hyödyntävät laajoja kokoelmia kuva-teksti-parivaljakkoja hienosäätääkseen risti-modaalista yhteensovittamista. Nämä edistysaskeleet ovat keskittyneet kuvan laadun parantamiseen, tokenien laadun parantamiseen ja liittyneet laskennallisiin vaikeuksiin korkearesoluutioisten kuvien käsittelyssä. Kuitenkin nämä ovat kohdanneet ongelmia liittyen viiveisiin ja vaatimuksia laajoihin koulutusresursseihin.
Kiinalaisen Hong Kongin yliopiston ja SmartMoren tutkijoiden tuomat innovaatiot ovat synnyttäneet uuden viitekehyksen nimeltä Mini-Gemini, joka työntää VLMien rajoja parantamalla monimuotoista syötteenkäsittelyä. Se mikä erottaa Mini-Geminin olemassa olevista malleista on sen toteuttama kaksoiskooderi-järjestelmä ja ainutlaatuinen laastin tiedon kaivuutekniikka, yhdistettynä erityisesti kootun laadukkaan tietokannan kanssa. Nämä edistysaskeleet mahdollistavat Mini-Geminille tehokkaan korkean resoluution kuvien prosessoinnin ja context-rich visuaalisen ja tekstuaalisen sisällön tuottamisen.
Mini-Geminin taustalla oleva metodologia sisältää kaksoiskooderi-järjestelmän, joka yhdistää konvolutionaalisen neuroverkon hienostuneeseen kuvan käsittelyyn ja laastin tiedon kaivuutekniikkaan yksityiskohtaisen visuaalisen vihjeen erottamiseksi. Viitekehys on koulutettu yhdistettyyn tietokantaan, joka sisältää laadukkaita kuva-teksti-parivaljakkoja ja tehtäväkohtaisia ohjeita parantaakseen mallin suorituskykyä ja laajentaakseen sen sovellusalaansa. Mini-Gemini on yhteensopiva erilaisten suurten kieli-mallien kanssa, mahdollistaen tehokkaan minkä tahansa-vastaan-minkä tahansa päättelyn. Tämä perustelu mahdollistaa Mini-Geminin saavuttavan parempia tuloksia nollasta lähtevinä vertailukohtina ja tukemaan edistyneitä monimodalitehtäviä.
Mini-Geminin tehokkuuden arvioinnissa viitekehys osoitti huomattavaa suorituskykyä useissa nollasta lähtevissä vertailukohdissa. Huomattavasti se suoriutui paremmin Gemini Pro -mallista MM-Vetissä ja MMBenchissä, saavuttaen pisteet 79.6 ja 75.6 vastaavasti. Kun konfiguroitiin Hermes-2-Yi-34B:llä, Mini-Gemini saavutti vaikuttavan tuloksen 70.1 VQAT-vertailukokeessa, ohittaen olemassa olevan LLaVA-1.5-mallin kaikilla arvioiduilla mittareilla. Nämä tulokset osoittavat Mini-Geminin edistyneen monimodaalisten käsittelyominaisuuksien ja korostavat sen tehokkuutta ja tarkkuutta monimutkaisten visuaalisten ja tekstuaalisten tehtävien käsittelyssä.
Vaikka Mini-Gemini edustaa merkittävää edistystä monimodaalisten tekoälyominaisuuksien alalla, tutkijat myöntävät, että sen visuaalinen ymmärrys- ja päättelykyvyissä on vielä parantamisen varaa. He väittävät, että tulevaisuuden työ keskittyy kehittyneiden menetelmien tutkimiseen visuaaliseen ymmärrykseen, päättelyyn ja tuottamiseen.
Yhteenvetona Mini-Gemini esittelee uuden aikakauden VLMissä sen kaksoiskooderi-järjestelmän, laastin tiedon kaivuutekniikan ja laadukkaan tietokannan ansiosta. Sen poikkeuksellisen suorituskyvyn useissa vertailukokeissa Mini-Gemini ohittaa vakiintuneet mallit, luoden tien edistymiselle monimodaalisessa tekoälyssä. Tutkijoiden jatkaessa työtään he pyrkivät parantamaan Mini-Geminin visuaalista ymmärrystä ja päättelyä, työntäen tekoälyn teknologian rajoja.
Lähde: Marktechpost
Usein Kysytyt Kysymykset (UKK)
The source of the article is from the blog zaman.co.at