Изкуствените интелигентни (AI) модели продължават да правят значителни стъпки в напредъка си, превъзхождайки нивата на хората по различни бенчмаркове. Въпреки това тези бенчмаркове не са без своите ограничения, което подтиква изследователите да търсят нови методи за оценка. Въпреки че Smaug-72B, AI модел, разработен от Abacus.AI, постигна впечатляващ среден резултат от над 80, нито един модел не е постигнал перфектен резултат от 100 на нито един бенчмарк.
Докато AI моделите разширяват границите на съществуващите бенчмаркове, изследователите се сблъскват с понятието „наситеност“. Този феномен се случва, когато моделите надхвърлят специфични бенчмаркове или се обучават твърде специфично за дадени тестови въпроси, което води до стабилна производителност по установени задачи, но може да предизвика предизвикателства в нови ситуации или вариации. Преодоляването на тази наситеност изисква създаване на нови бенчмаркове, които точно оценяват развиващите се възможности на AI моделите.
В отговор, платформи като Chatbot Arena възникват за борба с ограниченията на традиционните бенчмаркове. Основана от Организацията за големи моделни системи, платформата позволява на посетителите да взаимодействат с AI модели и да гласуват за модела, който предоставя по-добър отговор на техните въпроси. С над 300 000 човешки гласове, които допринасят за класирането, Chatbot Arena представлява по-цялостен подход за оценка на езикови модели.
Изследователите признават, че само бенчмарковете не успяват да уловят разнообразието от възможности на AI. Модели, които се отличават в резонансови бенчмаркове, все още могат да се борят с конкретни случаи като анализ на правни документи или ефективно взаимодействие с потребителите. За да се справят с това, изследователите провеждат „атмосферни проверки“, които изпитват производителността на AI моделите в различни контексти, оценявайки техните способности за взаимодействие, запазване на информация и поддържане на постоянни личности.
Въпреки че бенчмарковете играят важна роля в насърчаването на иновациите в AI разработката, те трябва да бъдат допълнени от алтернативни методи за оценка. Признавайки техните несъвършенства, изследователите се стремят към холистично разбиране на възможностите и ограниченията на AI моделите. Чрез приемане на нови методи за оценка и обмисляне на случаите от реалния свят, изследователите и разработчиците могат да продължат да разширяват границите на производителността на AI.
ЧЗВ:
1. Какво представлява наситеността в контекста на AI моделите?
Наситеността се отнася до феномен, при който AI моделите превишават специфичните бенчмаркове, което води до стабилна производителност по установени задачи, но може да доведе до предизвикателства в нови ситуации или вариации.
2. Какво е Chatbot Arena и как адресира ограниченията на традиционните бенчмаркове?
Chatbot Arena е платформа, основана от Организацията за големи моделни системи. Тя позволява на посетителите да се взаимодействат с AI модели и да гласуват за модела, който предлага по-добър отговор на техните въпроси. С над 300 000 човешки гласове, които допринасят за класирането, Chatbot Arena представлява по-цялостен подход за оценка на езикови модели.
3. Какво са „атмосферните проверки“ в AI изследванията?
„Атмосферните проверки“ са оценки, които изгледват производителността на AI моделите в различни контексти. Те оценяват способностите на моделите да взаимодействат, запазват информация и поддържат постоянни личности, като отиват отвъд резонансовите бенчмаркове.
The source of the article is from the blog scimag.news