Хотя генеративные технологии искусственного интеллекта (ИИ) быстро продвигаются в последние годы, бывший исполнительный директор Salesforce Ричард Сохер считает, что есть возможность для улучшения. В подкасте Harvard Business Review Сохер обсудил, как мы можем повысить уровень больших языковых моделей, заставляя их реагировать на кодовые подсказки, а не только предсказывать следующий токен.
В настоящее время большие языковые модели полагаются на предсказание следующего токена на основе предыдущих данных. Хотя эти модели проявляют впечатляющее понимание текста и навыки кодирования, они часто страдают от галлюцинаций, когда производят фактические ошибки, будто они являются истиной. Это особенно проблематично при сложных математических вопросах.
Сочер привел пример вопроса, с которым большая языковая модель может иметь сложности: «Если я дал ребенку $ 5,000 на его рождение для инвестиций в безкомиссионный фонд индексных акций, и, исходя из определенного процента среднегодового дохода, сколько у него будет к двум-пяти годам?» Вместо тщательного рассмотрения вопроса и выполнения необходимых расчетов модель будет генерировать текст на основе похожих вопросов, с которыми она сталкивалась раньше.
Чтобы преодолеть это ограничение, Сохер предлагает «принуждать» модель перевести вопрос на компьютерный код и генерировать ответ на основе этого кода. Таким образом, модель более вероятно будет давать точные ответы. Сочер отметил, что в своем ИИ-поисковике You.com они смогли перевести вопросы на языке Python.
В отличие от обычного подхода простого масштабирования данных и вычислительной мощности, Сохер предлагает, что программирование будет играть решающую роль в развитии больших языковых моделей. Обучение моделей кодированию поможет им получить более глубокое понимание и более гибкие возможности решения задач. Этот программный подход позволит им справляться с более сложными задачами в будущем.
По мере роста конкуренции среди больших языковых моделей, таких как GPT-4 от OpenAI и Gemini от Google, точка зрения Сохера предлагает новый уголок для развития возможностей ИИ. Вместо полного полагания на масштабирование данных, принуждение ИИ моделей к кодированию может разблокировать их полный потенциал и привести к значительным прогрессам в этой области.
Часто задаваемые вопросы (FAQ) по улучшению больших языковых моделей с помощью кодирования:
В: В чем вызов существующих больших языковых моделей?
О: Текущие большие языковые модели имеют ограничения в предоставлении точных ответов на сложные вопросы, особенно требующие математических расчетов. Они часто страдают от галлюцинаций, генерируя фактические ошибки, будто они являются истиной.
В: Какое предлагается решение для преодоления этих ограничений?
О: Ричард Сохер предлагает «принуждать» большие языковые модели переводить вопросы на компьютерный код и генерировать ответы на основе этого кода. Таким образом, модели более вероятно будут предоставлять точные ответы.
В: Как перевод вопросов на код улучшает модели?
О: Превращение вопросов в код помогает моделям глубже понять вопросы и позволяет выполнять необходимые расчеты. Этот подход улучшает их возможности по решению проблем и повышает вероятность точных ответов.
В: Был ли этот подход реализован в каком-либо ИИ-поисковике?
О: Да, в You.com, ИИ-поисковике, они успешно переводили вопросы на языке Python для улучшения точности ответов.
В: Чем этот программный подход отличается от традиционного подхода масштабирования данных и вычислительной мощности?
О: Сохер предлагает, что обучение больших языковых моделей кодированию будет важным для развития их возможностей, вместо полного полагания на масштабирование данных. Программирование моделей позволяет им глубже понимать и более гибко решать сложные задачи в будущем.
В: Что выделяет точку зрения Сохера среди конкуренции больших языковых моделей?
О: Взгляд Сохера предлагает новый уголок для развития возможностей ИИ. Вместо полного полагания на масштабирование данных, принуждение ИИ моделей к кодированию может разблокировать их полный потенциал и привести к значительным прогрессам в этой области.
Ключевые термины/жаргон:
— Технология генеративного ИИ: Относится к моделям ИИ, способным создавать оригинальный контент, генерируя новые данные на основе шаблонов и примеров из существующих данных.
— Языковые модели: Специально разработанные модели ИИ для генерации и понимания человеческого языка.
— Галлюцинации: В контексте языковых моделей ИИ означает производство фактических ошибок, будто они являются истиной.
— Токен: В языковых моделях токен представляет собой сегмент текста, обычно слово или символ.
— Код на языке Python: Язык программирования, использованный Сохером в качестве примера перевода кода для улучшения больших языковых моделей.
Предлагаемые связи:
OpenAI — официальный сайт OpenAI, известного своими большими языковыми моделями, такими как GPT-4.
Google — официальный сайт Google, компании, стоящей за большими языковыми моделями, такими как Gemini.
The source of the article is from the blog qhubo.com.ni