Lidia PerskaНові техніки виправлення помилок створюють складні виклики для моделей штучного інтелекту
Дослідники виявили, що нові техніки виправлення помилок наразі створюють проблеми для передових моделей штучного інтелекту, таких як GPT-4o та Llama 3.1405B, як повідомляє спільне дослідження між установами, такими як Університет Вашингтона, Принстон, Чиказький університет, USC та Google. Дослідження показує, що поточні методи виправлення помилок поки не є ефективними для стирання конкретних даних без пошкодження загальної функціональності моделі.
Процес навчання моделей штучного інтелекту
Моделі генеративного штучного інтелекту працюють на основі патернів, які вони вивчили з величезної кількості даних. Наприклад, коли їм надавали даних з електронних листів з закінченням “Чекаю на…”, функція автодоповнення передбачала фразу “… відповідь.” Ці моделі не мають наміру і виключно покладаються на статистичний аналіз для запропонування відповідей.
Правова дилема та зростання техніки виправлення помилок
Несанкціонована вибірка даних розробниками моделей штучного інтелекту з публічних джерел призвела до авторських суперечок з особами та організаціями, такими як автори, видавництва та музичні студії. Техніки виправлення помилок привернули значну увагу відповідно до цієї проблеми, з Google започатковуючи конкурси заохочуючи розвиток ефективних методів коригування моделі.
Виклики реалізації зміни
Стратегії виправлення помилок намагаються виводити моделі зі специфічних патернів даних для підвищення конфіденційності даних. Однак вплив на прогнози моделі може призвести до зниження продуктивності при відповідях на запитання. Ші та її команда представили показник оцінки шестикратного машинного виправлення (MUSE), щоб проаналізувати вплив виправлення на збереження інформації моделлю.
Перспективи майбутнього та продовження досліджень
Дослідження підкреслює складність технік виправлення помилок та підкреслює необхідність подальшого дослідження в цій сфері. Хоча виправлення може мати перспективи для майбутнього управління даними штучного інтелекту, поточні виклики підказують, що додаткові дослідження є важливими для подолання обмежень, які випливають з існуючих методів.
