Una metodologia innovativa chiamata Q-ALIGN è emersa nel campo della valutazione dei contenuti visivi, rivoluzionando il modo in cui valutiamo immagini e video. Sviluppato da ricercatori della Nanyang Technological University, Shanghai Jiao Tong University e SenseTime Research, Q-ALIGN rappresenta una significativa deviazione dai metodi tradizionali educando i Large Multi-Modality Models (LMMs) a valutare i contenuti visivi utilizzando livelli di valutazione definiti dal testo anziché punteggi numerici diretti.
L’innovazione di Q-ALIGN risiede nella sua capacità di convertire le etichette di punteggio esistenti in livelli di valutazione definiti dal testo durante la fase di addestramento. Questo approccio si avvicina di più a come gli valutatori umani valutano i contenuti visivi, poiché lavorano tipicamente con livelli predefiniti come ‘eccellente’, ‘buono’ e ‘sufficiente’, piuttosto che con specifici punteggi numerici. Insegnando ai LMMs a comprendere e utilizzare questi livelli di valutazione definiti dal testo per la valutazione visiva, Q-ALIGN colma il divario tra la valutazione basata sulla macchina e i processi cognitivi umani.
Durante la fase di inferenza, Q-ALIGN emula il processo di raccolta dei Mean Opinion Scores (MOS) dalle valutazioni umane. Estrae le log-probabilità dei diversi livelli di valutazione e calcola le probabilità chiuse di ciascun livello tramite una softmax pooling. Il punteggio finale è ottenuto da una media pesata di queste probabilità, riproducendo la conversione delle valutazioni umane in MOS nelle valutazioni visive soggettive.
Q-ALIGN ha dimostrato un’impressionante performance in diversi domini, inclusa la valutazione della qualità delle immagini e dei video (IQA e VQA) così come la valutazione estetica delle immagini (IAA). Supera i metodi esistenti, in particolare in scenari che coinvolgono tipi di contenuti nuovi e diverse situazioni di valutazione, dove gli approcci tradizionali faticano a causa di una scarsa capacità di generalizzazione su distribuzioni esterne.
Questa nuova metodologia ha un potenziale applicativo ampio in vari campi, poiché la sua capacità di generalizzare efficacemente a nuovi tipi di contenuti offre uno strumento robusto e intuitivo per valutare accuratamente una vasta gamma di contenuti visivi. Q-ALIGN non solo affronta le limitazioni dei metodi esistenti ma apre anche interessanti possibilità per futuri progressi nel campo della valutazione dei contenuti visivi.
L’emergere di Q-ALIGN segna un cambiamento di paradigma nel modo in cui affrontiamo la valutazione dei contenuti visivi, avvicinandoci alla convergenza tra valutazione basata sulla macchina e giudizio umano. Mentre i ricercatori continuano ad ampliare le capacità dell’intelligenza artificiale, Q-ALIGN rappresenta un importante passo avanti nella valutazione e nella comprensione accurata dei contenuti visivi.
The source of the article is from the blog lisboatv.pt