Datadog, Inc. on teatanud uutest võimalustest, mis võimaldavad klientidel jälgida ja lahendada probleeme nende generatiivse AI-põhiste rakenduste puhul. Kuna generatiivsed AI funktsioonid, nagu AI abilised ja kaasautod, muutuvad tarkvarateekaartidel üha olulisemaks, seisavad organisatsioonid silmitsi väljakutsetega nende võimete rakendamisel kliendiga kokku puutuvates rakendustes. Nende väljakutsete hulka kuuluvad kulud, kättesaadavus ja täpsus.
Generatiivse AI kasutatavad tehnoloogilised lahendused arenevad kiiresti, kasutusele võetakse ja kasutatakse uusi raamistikke, mudeleid, andmebaase, teenuste ahelaid ja toetuslahendusi. Nende edusammudega kaasas käimiseks vajavad organisatsioonid tähelepanuvõime lahendusi, mis suudavad kohanduda ja areneda koos AI lahendustega.
Datadog on tutvustanud terviklikku generatiivse AI jälgitavuse võimaluste komplekti, mis aitavad meeskondadel julgelt rakendada suurte keelemodelle (LLM) põhinevaid rakendusi, võimaldades neil reaalajas tõrkeotsingut läbi viia tervise, kulude ja täpsuse osas. Võimaluste hulka kuuluvad integratsioonid kogu AI teega, näiteks AI infrastruktuur ja arvutid, manused ja andmehaldus, mudeli rakendamine ja paigaldus, mudelikiht ja orkestreerimisraamistik.
Lisaks on Datadog avaldanud beetaversiooni täielikust LLM jälgitavuse lahendusest. See lahendus koondab kokku andmeid rakendustest, mudelitest ja erinevatest integreerimistest, et aidata inseneridel avastada ja lahendada reaalmaailma rakendusprobleeme. Selle hulka kuuluvad näiteks mudeli kulutõusud, jõudluse halvenemine, kõikumine ja hallutsinatsioonid, tagades positiivsed kasutajakogemused.
LLM jälgitavuse funktsioonide hulka kuulub mudelite kataloog, mis võimaldab jälgida ja teavitada mudeli kasutamisest, kuludest ja API-jõudlusest. See hõlmab ka mudeli jõudluse jälgimist, mis tuvastab jõudluse probleeme erinevate andmeharjumuste põhjal. Teine funktsioon on mudeli kõikumiste tuvastamine, mis võimaldab suunamis- ja vastustekategooriate liigitamist jõudluse jälgimiseks ja kõikumiste tuvastamiseks ajas.
Datadogi toote asepresident Yrieix Garnier rõhutas AI mudelitele kulutatud aja ja ressursside mõõtmise olulisust, eriti tehnoloogiliste lahenduste pidevas uuendamises. Datadogi pakutud uued LLM jälgimisvõimalused ja integratsioonid aitavad organisatsioonidel jälgida ja parandada oma LLM-põhiseid rakendusi, muutes need samal ajal kuluefektiivsemaks.
Datadogi AI/LLM integreerimised on nüüd üldkättesaadavad. Lisateabe saamiseks külastage Datadogi ajaveebi.
Teave Datadogi kohta:
Datadog on pilvealuste rakenduste vaatluse ja turvaplatvorm. Nende SaaS platvorm integreerib ja automatiseerib erinevaid jälgitavuse võimalusi, et pakkuda klientide kogu tehnoloogia läbilõike reaalajas vaatlust ja turvalisust. Datadog aitab organisatsioonidel viia ellu digitaalset muudatust, kiirendada rakenduste arendust, vähendada probleemide lahendamise aega, tagada rakenduste turvalisust, mõista kasutajakäitumist ja jälgida olulisi ärimõõdikuid.
Väide:
See pressiteade sisaldab edasiviivaid avaldusi uute toodete ja omaduste eeliste kohta. Tegelikud tulemused võivad varieeruda sõltuvalt eeldustest, ebaselgustest, riskidest ja teguritest, mis jäävad Datadogi kontrolli välisteks. Datadogil pole kohustust uuendada edasiviivaid avaldusi uue teabe, tulevaste sündmuste või ootuste muutumise alusel.
Kontakt:
Dan Haggerty
The source of the article is from the blog be3.sk