Незважаючи на швидке розвитку технології генеративних ШІ в останні роки, колишній керівник Salesforce Річард Сошер вважає, що в них все ще є місце для поліпшень. У подкасті Harvard Business Review Сошер розповів, як ми можемо підвищити рівень великих мовних моделей, заставляючи їх відповідати на запитання з кодом, а не просто передбачати наступний токен.
Наразі великі мовні моделі базуються на передбаченні наступного токену на основі попередніх даних. Хоча ці моделі проявляють вражаючі навички у розумінні тексту та програмуванні, вони часто стикаються з галюцинаціями, коли вони видають неправдиві дані як правдиві. Це особливо проблематично в разі складних математичних запитань.
Сошер привів приклад запитання, з яким велика мовна модель може мати проблеми: “Якщо я дав немовляті 5000 доларів при народженні, щоб вони інвестували у фонд акційного індексу без комісії, і припускаючи певний відсоток річних прибутків, скільки вони матимуть у віці від двох до п’яти років?” Замість ретельного розгляду запитання та виконання необхідних обчислень, модель генеруватиме текст на основі подібних запитань, з якими вона раніше стикалась.
Щоб подолати це обмеження, Сошер пропонує “примусити” модель перекласти запитання на комп’ютерний код та згенерувати відповідь на основі цього коду. Таким чином, модель буде більш ймовірно надавати точну відповідь. Сошер зазначив, що на його пошуковому двигуні на базі ШІ You.com вони змогли перекладати запитання на мову Python.
У порівнянні зі звичайним підходом до простого масштабування даних та потужності обчислень, Сошер вказує на важливість програмування для розвитку великих мовних моделей. Навчаючи ці моделі кодуванню, вони здобудуть глибше розуміння та більш гнучкі можливості у вирішенні проблем. Цей програмний підхід дозволить їм впоратися з більш складними задачами в майбутньому.
Оскільки конкуренція серед великих мовних моделей зростає, з GPT-4 від OpenAI та Gemini від Google, погляд Сошера надає свіжу перспективу на покращення можливостей ШІ. Замість покладанняся лише на масштабування даних, примушення ШІ моделей писати код може розблокувати їх повний потенціал та привести до значних прогресів у цій галузі.
Часто задавані питання (ЧАП) щодо вдосконалення великих мовних моделей через програмування
The source of the article is from the blog enp.gr