Datadog, Inc. ha annunciato nuove funzionalità che consentono ai clienti di monitorare e risolvere i problemi nelle loro applicazioni basate su AI generative. Con l’aumentare dell’importanza delle funzionalità AI generative come gli assistenti AI e i copiloti nei piani di sviluppo del software, le organizzazioni affrontano sfide nella distribuzione di queste capacità nelle applicazioni destinate ai clienti. Queste sfide includono costi, disponibilità e accuratezza.
Le tecnologie utilizzate nell’ambito dell’AI generativa stanno evolvendo rapidamente, con l’adozione e l’utilizzo di nuovi framework, modelli, database, catene di servizio e tecnologie di supporto. Per tenere il passo con questi avanzamenti, le organizzazioni necessitano di soluzioni di osservabilità in grado di adattarsi ed evolversi insieme alle tecnologie AI.
Datadog ha presentato un completo set di capacità di osservabilità per l’AI generativa che aiutano i team a distribuire applicazioni basate su Large Language Model (LLM) con fiducia, consentendo loro di risolvere in tempo reale problemi di prestazioni, costi e accuratezza. Queste capacità includono integrazioni per l’intera tecnologia AI, come l’infrastruttura e il calcolo AI, la gestione dei dati e degli embedding, il servizio e il deployment del modello, il livello del modello e il framework di orchestrazione.
Inoltre, Datadog ha rilasciato una soluzione completa per l’osservabilità di LLM in versione beta. Questa soluzione unisce dati provenienti da applicazioni, modelli e varie integrazioni per aiutare gli ingegneri a individuare e risolvere problemi reali delle applicazioni. Ciò include problemi come aumenti dei costi dei modelli, degrado delle prestazioni, deviazioni e allucinazioni, garantendo un’esperienza positiva per gli utenti finali.
Le funzionalità di osservabilità di LLM includono un catalogo dei modelli, che consente il monitoraggio e l’allerting sull’uso dei modelli, sui costi e sulle prestazioni delle API. Include anche il monitoraggio delle prestazioni del modello, che identifica problemi di prestazioni in base a diverse caratteristiche dei dati. Un’altra funzionalità è la rilevazione delle deviazioni del modello, che consente la categorizzazione di input e output in cluster per il monitoraggio delle prestazioni e la rilevazione delle deviazioni nel tempo.
Yrieix Garnier, VP del prodotto presso Datadog, ha sottolineato l’importanza di misurare il tempo e le risorse investite nei modelli di AI, soprattutto mentre le tecnologie continuano a modernizzarsi. Le nuove capacità di monitoraggio e le integrazioni LLM fornite da Datadog aiuteranno le organizzazioni a monitorare e migliorare le loro applicazioni basate su LLM rendendole anche più efficienti dal punto di vista dei costi.
Le integrazioni AI/LLM di Datadog sono disponibili a livello generale. Per ulteriori informazioni su queste funzionalità, visita il blog di Datadog.
Informazioni su Datadog:
Datadog è una piattaforma di osservabilità e sicurezza per applicazioni cloud. La loro piattaforma SaaS integra e automaziona diverse funzionalità di monitoraggio per fornire osservabilità e sicurezza in tempo reale per l’intera infrastruttura tecnologica dei clienti. Datadog aiuta le organizzazioni a guidare la trasformazione digitale, accelerare lo sviluppo delle applicazioni, ridurre i tempi di risoluzione dei problemi, proteggere le applicazioni, comprendere il comportamento degli utenti e monitorare le principali metriche aziendali.
Disclaimer:
Questo comunicato stampa contiene dichiarazioni previsionali riguardanti i vantaggi dei nuovi prodotti e delle nuove funzionalità. I risultati effettivi possono variare a causa di supposizioni, incertezze, rischi e fattori al di fuori del controllo di Datadog. Datadog non ha l’obbligo di aggiornare le dichiarazioni previsionali sulla base di nuove informazioni, eventi futuri o cambiamenti delle aspettative.
Contatti:
Dan Haggerty
The source of the article is from the blog coletivometranca.com.br