Roman RemberRiepilogo:
Con il rapido sviluppo delle piattaforme di intelligenza artificiale generativa (genAI), c’è una crescente preoccupazione per l’affidabilità dei grandi modelli di linguaggio (LLM) che alimentano questi sistemi. Man mano che i LLM diventano più abili nel mimare il linguaggio naturale, diventa sempre più difficile distinguere tra informazioni reali e false. Per affrontare questo problema, una startup chiamata Patronus AI ha sviluppato una piattaforma automatizzata di valutazione e sicurezza che aiuta le aziende a utilizzare i LLM in modo sicuro. Impiegando test avversari, gli strumenti di Patronus AI possono rilevare incongruenze, inesattezze, allucinazioni e pregiudizi nei LLM. Il software dell’azienda, noto come SimpleSafetyTests, utilizza una serie di strumenti diagnostici che comprendono 100 prompt di test per identificare rischi di sicurezza critici nei sistemi di intelligenza artificiale. Nei test condotti su popolari piattaforme genAI, Patronus AI ha scoperto che i chatbot hanno fallito circa il 70% delle volte e hanno avuto successo solo quando sono state fornite istruzioni esplicite su dove trovare informazioni rilevanti. I risultati evidenziano la necessità di garanzia di qualità nei sistemi di intelligenza artificiale, poiché attualmente le aziende stanno impiegando significativi risorse nella rilevazione manuale degli errori. Inoltre, gli analisti del settore prevedono che la crescente dipendenza dalla genAI renderà necessarie maggiori misure di sicurezza informatica, con un aumento del 15% della spesa entro il 2025.
Nuova Piattaforma di Test AI Fornisce Sicurezza per Risultati Affidabili:
Per affrontare le preoccupazioni sull’affidabilità dei modelli di linguaggio, Patronus AI ha sviluppato una innovativa piattaforma automatizzata di valutazione e sicurezza. Gli strumenti della startup mirano a garantire che i grandi modelli di linguaggio (LLM) utilizzati nei sistemi di intelligenza artificiale generativa (genAI) producano informazioni precise e affidabili. SimpleSafetyTests, la suite di strumenti diagnostici di Patronus AI, impiega test avversari per identificare rischi di sicurezza critici nei LLM. Sottoponendo popolari piattaforme genAI a questi test, il team ha scoperto che i chatbot hanno fallito circa il 70% delle volte quando si trattava di valutare la loro capacità di comprendere documenti SEC e altre informazioni essenziali. Questi fallimenti sono stati corretti solo quando sono state fornite istruzioni precise su dove individuare dati rilevanti.
La necessità di tali piattaforme di test deriva dalle limitazioni dei sistemi di intelligenza artificiale attuali, poiché le aziende lottano per fidarsi dell’affidabilità dei contenuti generati dall’IA. La mancanza di fiducia nei LLM deriva da preoccupazioni relative ad allucinazioni, inesattezze e pregiudizi nei modelli di linguaggio. I metodi tradizionali di garanzia di qualità non sono sufficienti per individuare gli errori su larga scala, portando all’emergere di strumenti automatizzati come SimpleSafetyTests.
Guardando avanti, gli analisti del settore prevedono che con la crescita della tecnologia genAI, aumenterà anche la necessità di potenziare le misure di sicurezza informatica. Questa maggiore domanda potrebbe risultare in un aumento del 15% della spesa dedicata a garantire la sicurezza dei sistemi di intelligenza artificiale entro il 2025. Poiché le aziende continuano a esplorare le implementazioni di IA, è essenziale riconoscere che questi sistemi non possono essere lasciati a funzionare automaticamente senza intervento umano. Il coinvolgimento umano è cruciale per identificare e risolvere i problemi che possono derivare dai contenuti generati dall’IA.
In conclusione, la nuova piattaforma di test di Patronus AI offre una soluzione preziosa per garantire l’affidabilità dei modelli di linguaggio nel sempre più avanzato campo dell’intelligenza artificiale generativa. Fornendo strumenti automatizzati per la rilevazione degli errori e la valutazione della sicurezza, SimpleSafetyTests aiuta le aziende a costruire fiducia nei sistemi di intelligenza artificiale ed evitare i rischi associati a informazioni inesatte o fuorvianti.
