Inden for computer vision og naturlig sprogbehandling er udviklingen af storskaladatasæt afgørende for at træne algoritmer, der kan forstå og fortolke billeder. Tilgængeligheden af nøjagtigt annoterede datasæt til funktioner, der kombinerer vision og sprog, har dog været en betydelig udfordring, der har begrænset fremskridt inden for dette område.
Præsentationen af datasættet “Let’s Go Shopping” (LGS) adresserer denne vigtige mangel og markerer et banebrydende ressource. Udviklet af forskere fra University of California, Berkeley, ScaleAI og New York University, er LGS et omfattende datasæt, der indeholder 15 millioner billed-beskrivelsespar, indsamlet fra cirka 10.000 e-handelswebsites. I modsætning til traditionelle datasæt fokuserer LGS på objekter i forgrunden med enklere baggrunde, hvilket er en karakteristisk egenskab ved e-handelsbilleder.
Metodologien bag oprettelsen af LGS er både omhyggelig og innovativ. Datasættet fokuserer primært på produkter mod klare baggrunde, hvilket giver modellerne mulighed for at fokusere på objektet af interesse. Dette adskiller sig fra typiske datasæt, hvor emnet ofte blander sig ind i en kompleks baggrund. Indsamlingsprocessen involverede en semi-automatiseret pipeline, der effektivt indsamlede produkttitler, beskrivelser og tilhørende billeder, samtidig med at der blev sikret data af høj kvalitet. Datasættet dækker et bredt udvalg af produkter og giver forskelligartet visuel og tekstlig information.
LGS-datasættet har vist sin brugbarhed i forskellige anvendelser. Modeller trænet på LGS har vist forbedret præstation inden for opgaver som billedklassifikation, rekonstruktion, billedtekstning og generering, især inden for e-handel. Datasættets unikke distribution og billed-tekst-par af høj kvalitet forbedrer markant modellens forståelse af e-handelsspecifikke visuelle koncepter. Denne egenskab ved LGS er særlig værdifuld for applikationer, der kræver en dyb forståelse af produktbilleder og beskrivelser.
Introduktionen af LGS-datasættet repræsenterer et betydeligt skridt fremad inden for visuel konceptforståelse, specifikt inden for e-handel. Det imødekommer det kritiske behov for storskaladatasæt af høj kvalitet til vision-sprogopgaver i dette domæne. Tilgængeligheden af LGS beriger ressourcerne tilgængelige for forskere og udviklere og åbner nye veje for innovativ forskning og applikationsudvikling inden for computer vision og naturlig sprogbehandling. Med sit særlige fokus på e-handelsbilleder og -beskrivelser sætter LGS scenen for udviklingen af mere specialiserede og præcise modeller inden for dette stadigt voksende domæne.
The source of the article is from the blog japan-pc.jp