Въпреки че генеративната ИИ технология се развива с бързи темпове през последните години, бившият изпълнителен директор на Salesforce Ричард Сошър вярва, че все още има място за подобрение. В един подкаст за Harvard Business Review, Сошър обсъжда как можем да надградим големите езикови модели, като ги насочим да отговарят на въпроси в код, вместо само да предсказват следващия токен.
В момента големите езикови модели разчитат на предсказване на следващия токен, базирано на предишни данни. Въпреки впечатляващата им разбирателност при четене и умения за кодиране, те често страдат от халюцинации, при които произвеждат фактически грешки, като действително ги смятат за истини. Това става особено проблематично, когато им се задават сложни математически въпроси.
Сошър предоставя пример за въпрос, с който голяма езикова моделите може да се сблъскат: „Ако дам на бебето 5000 долара при раждането, за да ги инвестира в фонд с без такса индексен акционер, и при определен процент на средногодишен доход, колко ще имат те във възраст от две до пет години?“ Вместо да разгледа внимателно въпроса и да извърши необходимите изчисления, моделът би генерирал текст, базиран на подобни въпроси, с които вече се е сблъсквал.
За да преодолее това ограничение, Сошър предлага да „насилим“ модела да преведе въпроса в компютърен код и да генерира отговор, базиран на този код. С този подход моделът е по-вероятно да предостави точен отговор. Сошър споменава, че в своя ИИ-задвижван търсачен двигател You.com вече са успешно превеждали въпроси на Python код.
В разлика от обичайния подход просто да мащабираме данните и изчислителната мощност, Сошър предлага, че програмирането ще играе ключова роля в развитието на големите езикови модели. Като им учим да кодират, те ще придобият по-дълбоко разбиране и по-гъвкави способности за решаване на проблеми. Този подход към програмирането ще ги основачи да се справят с по-сложни задачи в бъдеще.
Със засилващата се конкуренция между големите езикови модели, като GPT-4 на OpenAI и Gemini на Google, гледната точка на Сошър предоставя нов ъгъл за развитието на ИИ възможности. Вместо да се основаваме само на мащабирането на данни, насиливането на ИИ моделите да кодират може да отключи тяхния пълен потенциал и да доведе до значителни напредъци в областта.
Често задавани въпроси (ЧЗВ) относно подобряването на големите езикови модели чрез кодиране
В: Какво е предизвикателството при настоящите големи езикови модели?
О: При настоящите големи езикови модели има ограничения във възможността им да произвеждат точни отговори при сложни въпроси, особено тези, изискващи математически изчисления. Често страдат от халюцинации, където създават фактически грешки, като ги приемат за истини.
В: Какво е предложеното решение за преодоляване на тези ограничения?
О: Ричард Сошър предлага „насилване“ на големите езикови модели да превеждат въпросите на компютърен код и да генерират отговори на базата на този код. Така моделите са по-вероятно да предоставят точни отговори.
В: Как подобряването на моделите чрез превод на въпросите на код подобрява моделите?
О: Преводът на въпросите на код помага на моделите да получат по-дълбоко разбиране на въпросите и ги позволява да извършват необходимите изчисления. Този подход подобрява техните способности за решаване на проблеми и увеличава вероятността за точни отговори.
В: Този подход е прилаган ли в някой ИИ-задвижван търсачен двигател?
О: Да, в You.com, ИИ-задвижваният търсачен двигател, вече са успешно превеждали въпроси на Python код за подобряване на точността на отговорите.
В: Как се различава този подход от традиционния подход, основаващ се на мащабиране на данни и изчислителна мощност?
О: Сошър предлага, че обучението на големите езикови модели да кодират ще бъде ключово в напредъка им, вместо само да се разчита на мащабирането на данни. Като програмираме моделите, те придобиват по-дълбоко разбиране и по-гъвкави възможности за решаване на проблеми при сложни задачи в бъдеще.
В: Какво забележително има в позицията на Сошър в сравнение с конкуренцията на големите езикови модели?
О: Позицията на Сошър представя нова перспектива за усъвършенстване на възможностите на ИИ. Вместо само да се разчита на мащабирането на данни, насиливането на ИИ моделите да кодират може да отключи тяхния пълен потенциал и да доведе до значителни напредъци в областта.
Ключови термини / жаргон:
– Генеративна ИИ технология: Отнася се за ИИ модели, способни да произвеждат оригинално съдържание, като генерират нови данни въз основа на модели и примери от съществуващи данни.
– Езикови модели: ИИ модели, специално проектирани за генериране и разбиране на човешки език.
– Халюцинации: В контекста на ИИ езиковите модели, се отнася за поява на фактически грешки, като се приемат за истини.
– Токен: В езиковите модели токен се отнася до сегмент от текст, обикновено дума или символ.
– Python код: Програмен език, използван от Сошър като пример за превод на код с цел подобряване на големите езикови модели.
Препоръчани свързани връзки:
OpenAI – официалният уебсайт на OpenAI, известен с големите езикови модели като GPT-4.
Google – официалният уебсайт на Google, компанията зад големите езикови модели като Gemini.
The source of the article is from the blog shakirabrasil.info