Kevin TopolskyÎn peisajul dinamic al inteligenței artificiale, o nouă platformă competitivă numită Chatbot Arena revoluționează modul în care sunt evaluate modelele de AI. Lansată în mai 2023 de Organizația Large Model Systems (LMSYS) – o colectivitate de studenți și cercetători americani – această arenă se axează mai puțin pe metrici precise de performanță și mai mult pe confruntările AI directe.
Chatbot Arena se bazează pe abordarea simplă și ingenioasă de a permite voluntarilor să converseze simultan cu două modele de AI anonimizate. După completarea unui dialog pe care ei îl consideră consistent, participanții își exprimă voturile pentru un câștigător, un egal sau pentru a-și exprima insatisfacția față de ambele modele. Atunci când identitățile modelelor sunt dezvăluite, rezultatele contribuie la un sistem de clasificare Elo, asemănător cu cele folosite în șah sau jocurile competitive, care ajustează scorurile în funcție de clasamentul adversarului.
Ajungând rapid la un nivel de prestigiu, Chatbot Arena s-a transformat în cel mai discutat și urmărit clasament de performanță AI, datorită, în parte, promovării sale pe platforme precum Hugging Face. Figuri importante din domeniul AI, inclusiv Andrej Karpathy, fostul membru al OpenAI și Tesla, au susținut această platformă drept cel mai fiabil sistem de evaluare care abordează criza de evaluare în AI, în principal deoarece măsoară cum se „simt” oamenii în timpul interacțiunii cu AI.
Luând în considerare peste 500.000 de contribuții, Chatbot Arena se bazează pe o vastă sursă de experiență umană pentru a măsura acest concept abstract de „sentiment”, așa cum explică Wei-Lin Chiang, candidat la doctorat la UC Berkeley și co-creator al proiectului. Această evaluare centrată pe utilizator devine din ce în ce mai importantă pe măsură ce benchmark-urile convenționale devin inadecvate din cauza capacităților AI în continuă avansare.
În dezvoltările recente, AI-ul Claude 3 al companiei Anthropic a desființat AI-ul GPT-4 al OpenAI pentru supremație. Deși benchmark-urile au sugerat inițial superioritatea lui Claude 3, a fost ascensiunea sa la vârful Chatbot Arena care a confirmat acest statut. Cu toate acestea, OpenAI a răspuns rapid cu actualizări pentru GPT-4, recuperându-și curând poziția de top. În afara mândriei personale, clasamentele din Chatbot Arena au implicații pentru reputația unei companii, atracția pentru clienți, încrederea investitorilor și chiar potențialul de recrutare în acest domeniu cu mize ridicate.
