Ambarella, Inc., eit føretak som spesialiserer seg på kant-KI (edge AI) halvleiarar, demonstrerer flermodale generative språkmodellar (LLM) som køyrer på den nye N1 SoC-serien deira. N1 SoC-ane tilbyr betydeleg strømeffektivitet per inferens samanlikna med leiande GPU-løysingar, noko som gjer det mogleg å nytte generativ KI-teknologi på kantpunktenheter og lokal maskinvare. Teknologien er relevant for fleire bransjar, inkludert videotryggleiksanalyse, robotikk og industrielle applikasjonar.
Ambarellas optimaliserte generative KI-prosesseringsevner vil først vere tilgjengeleg på mellomklasse til høgklasse SoC-ane deira, som dekkjer ulike strømkrav. Prosesseringsdyktigheita til Ambarellas SoC-ar er opptil 3 gonger meir strømeffektiv per generert token samanlikna med GPU-ar og andre KI-akseleratorar. Dette gjer det muleg med kostnadseffektiv implementering og umiddelbar integrasjon i produkt.
Les Kohn, teknologidirektør og medgrunnleggjar av Ambarella, påpeiker at generative KI-nettverk revolusjonerer moglegheitene til kantpunktseiningar. N1-serien av SoC-ar tilbyr førsteklasses flermodal LLM-prosessering og høg ytelse til ein attraktiv effektivitetsprisforhold.
Alexander Harrowell, hovudanalytikar for avansert databehandling, forutser at generativ KI vil forbetre nesten kvar einaste kantapplikasjon i løpet av dei neste 18 månadane. Fokuset vil endeleg dreie seg meir mot ytelse per watt og integrasjon i kantøkosystemet, heller enn rå gjennomgangsevne.
Ambarellas KI-SoC-ar støttast av Cooper Developer Platform, og førehandspåsette og optimaliserte LLM-modellar, som Llama-2 og LLava, er tilgjengelege for nedlasting frå Cooper Model Garden. SoC-ane er designa for effektiv video- og KI-prosessering med lågt strømforbruk, noko som gjer dei eigna for applikasjonar som krev visuell input og forståing av naturlig språk.
Med implementeringa av generativ KI-prosessering kan einingar som tryggingssystem, robotar og industriutstyr dra nytte av betre kontekstforståing og scèneanalyse. Desse systema er avhengige av kamera-input og prosessering av naturlig språk, og med prosessering på enheten kan ein oppnå fart, personvern og kostnadsbesparing. Ambarellas SoC-ar tilbyr ein lokal prosesseringsløysing som er tilpassa spesifikke applikasjonsscenar, og legg til rette for tilpassing og effektivitet.
The source of the article is from the blog lisboatv.pt