W dziedzinie komputerowego przetwarzania obrazów i przetwarzania języka naturalnego, rozwój dużych zbiorów danych jest kluczowy dla treningu algorytmów zdolnych do rozumienia i interpretacji obrazów. Jednak dostępność dokładnie oznakowanych zbiorów danych dla funkcji łączących wizję i język stanowiła znaczne wyzwanie, ograniczając postęp w tej dziedzinie.
Przedstawiamy zestaw danych „Let’s Go Shopping” (LGS), przełomowe źródło, które wypełnia tę istotną lukę. Opracowany przez badaczy z Uniwersytetu Kalifornijskiego w Berkeley, ScaleAI i Uniwersytetu Nowojorskiego, LGS to kompleksowy zestaw danych zawierający 15 milionów par obraz-opis pochodzących z około 10 000 stron internetowych z branży e-commerce. W przeciwieństwie do tradycyjnych zbiorów danych, LGS skupia się na przedmiotach na pierwszym planie z prostszymi tłami, co jest charakterystyczną cechą obrazów e-commerce.
Metodologia stojąca za stworzeniem LGS jest zarówno drobiazgowa, jak i innowacyjna. Zestaw danych głównie składa się z produktów na czyściutkich tłach, co pozwala modelom skupić się na interesującym obiekcie. Jest to różnica w porównaniu do typowych zbiorów danych, gdzie przedmiot często łączy się z złożonym tłem. Proces kolekcjonowania danych obejmował półautomatyczną konstrukcję, która sprawnie gromadziła tytuły produktów, opisy i odpowiadające im obrazy, zapewniając wysokiej jakości dane. Zestaw danych obejmuje szeroki zakres produktów, dostarczając różnorodnych informacji wizualnych i tekstowych.
Zbiór danych LGS udowodnił swoją przydatność w różnych zastosowaniach. Modele szkolone na LGS wykazują poprawioną wydajność w zadaniach takich jak klasyfikacja obrazów, rekonstrukcja, tworzenie podpisów i generowanie treści, zwłaszcza w kontekście e-commerce. Unikalne rozłożenie zbioru danych LGS oraz jakościowe pary obraz-opis znacznie zwiększają zdolności modelu do rozumienia specyficznych dla e-commerce koncepcji wizualnych. Aspekt ten jest szczególnie cenny dla zastosowań, które wymagają głębokiego zrozumienia obrazów i opisów produktów.
Wprowadzenie zestawu danych LGS stanowi znaczący skok naprzód w zrozumieniu pojęć wizualnych, szczególnie w obszarze e-commerce. Adresuje on istotną potrzebę dużych, wysokiej jakości zbiorów danych do zadań dotyczących wizji i języka w tej dziedzinie. Dostępność LGS wzbogaca zasoby dostępne dla badaczy i programistów, otwierając nowe możliwości dla nowatorskich badań i rozwoju aplikacji w dziedzinach komputerowego przetwarzania obrazów i przetwarzania języka naturalnego. Z uwagi na specjalizację w dziedzinie obrazów i opisów e-commerce, LGS stawia podwaliny pod rozwój bardziej wyspecjalizowanych i precyzyjnych modeli w tej stale się rozwijającej dziedzinie.
The source of the article is from the blog crasel.tk