Generatívna technológia umelej inteligencie (AI) sa v posledných rokoch rýchlo posunula vpred, ale bývalý výkonný riaditeľ spoločnosti Salesforce, Richard Socher, verí, že stále existuje priestor na zlepšenie. Vo podcaste Harvard Business Review Socher diskutoval o tom, ako môžeme posunúť veľké jazykové modely na vyššiu úroveň tým, že ich nútime reagovať na požiadavky v kóde namiesto jednoduchého predpovedania ďalšieho tokenu.
V súčasnosti sa veľké jazykové modely spoliehajú na predikciu ďalšieho tokenu na základe predchádzajúcich dát. Hoci tieto modely preukazujú ohromujúcu schopnosť porozumieť textu a programovaniu, často trpia halucináciami, kde produkujú faktické chyby, akoby boli pravdivé. Tento problém sa zvlášť prejavuje pri zložitých matematických otázkach.
Socher uviedol príklad otázky, s ktorou by sa veľký jazykový model mohol zápasiť: „Ak by som novorodenému dieťaťu dal 5 000 dolárov na investovanie do akciového indexového fondu bez poplatkov a za predpokladu určitého percenta priemernej ročnej výnosnosti, koľko budú mať vekom od dvoch do piatich rokov?“ Namiesto toho, aby starostlivo zvážil otázku a vykonal potrebné výpočty, model by generoval text na základe podobných otázok, s ktorými sa stretol v minulosti.
Na prekonanie tejto obmedzenia Socher navrhuje „vynútiť“ model preložiť otázku do v počítačovom kóde a na základe tohto kódu generovať odpoveď. Týmto spôsobom je pravdepodobnejšie, že model poskytne presnú odpoveď. Socher uviedol, že na AI poháňanom vyhľadávači You.com sa im podarilo preložiť otázky do jazyka Python.
Na rozdiel od bežného prístupu, ktorý spočíva len vo zväčšovaní objemu dát a výpočtovej kapacity, Socher naznačuje, že programovanie bude zohrávať kľúčovú úlohu pri rozvoji veľkých jazykových modelov. Tým, že tieto modely naučíme kódovať, získajú hlbšie porozumenie a viacstranné schopnosti riešiť problémy. Tento programovací prístup im umožní zvládať ešte zložitejšie úlohy v budúcnosti.
Vzhľadom na intenzívnu konkurenciu medzi veľkými jazykovými modelmi, pričom OpenAI’s GPT-4 a Google’s Gemini sú vo vzájomnej súťaži o supremáciu, Socherova perspektíva prináša nový pohľad na rozvoj schopností AI. Namiesto úplného spolupráce pri zväčšovaní objemu dát môže donucovanie modelov AI na kódovanie odomknúť ich plný potenciál a viesť k významným pokrokom v oblasti.
Často kladené otázky (FAQ) k vylepšeniu veľkých jazykových modelov prostredníctvom kódovania
Otázka: Aký je problém s aktuálnymi veľkými jazykovými modelmi?
Odpoveď: Súčasné veľké jazykové modely majú obmedzenia v poskytovaní presných odpovedí na zložité otázky, najmä na tie, ktoré vyžadujú matematické výpočty. Často trpia halucináciami, kde generujú faktické chyby, akoby boli pravdivé.
Otázka: Aké je navrhované riešenie na prekonanie týchto obmedzení?
Odpoveď: Richard Socher navrhuje „vynútiť“ veľkým jazykovým modelom preklad otázok do počítačových kódov a generovanie odpovedí na základe tohto kódu. Týmto spôsobom je pravdepodobnejšie, že modely poskytnú presné odpovede.
Otázka: Ako prekladanie otázok na kód zlepšuje modely?
Odpoveď: Prekladanie otázok do kódu pomáha modelom lepšie porozumieť otázkam a umožňuje im vykonávať potrebné výpočty. Tento prístup zlepšuje ich schopnosti riešenia problémov a zvyšuje pravdepodobnosť presných odpovedí.
Otázka: Bol tento prístup implementovaný v nejakom AI poháňanom vyhľadávači?
Odpoveď: Áno, v vyhľadávači You.com, ktorý je poháňaný AI, sa im úspešne podarilo preložiť otázky do jazyka Python na zlepšenie presnosti odpovedí.
Otázka: Aký je rozdiel medzi týmto programovým prístupom a tradičným prístupom zväčšovania objemu dát a výpočtovej kapacity?
Odpoveď: Socher naznačuje, že naučenie veľkých jazykových modelov programovať bude kľúčové pre rozvoj ich schopností, namiesto toho, aby sme sa spoliehali len na zväčšovanie objemu dát. Programovaním modelov získavajú hlbšie porozumenie a viacstranné schopnosti riešiť zložité úlohy v budúcnosti.
Otázka: Ako sa Socherova perspektíva vymyká konkurencii medzi veľkými jazykovými modelmi?
Odpoveď: Socherova perspektíva prináša nový pohľad na rozvoj schopností umelej inteligencie. Namiesto úplného spoliehania sa na zväčšovanie objemu dát môže donucovanie modelov AI na kódovanie odomknúť ich plný potenciál a viesť k významným pokrokom v tejto oblasti.
Kľúčové pojmy/jargón:
– Generatívna technológia AI: Odkazuje na modely AI schopné generovať pôvodný obsah prostredníctvom tvorby nových dát založených na vzoroch a príkladoch z existujúcich dát.
– Jazykové modely: Špeciálne navrhnuté AI modely na generovanie a pochopenie ľudskej reči.
– Halucinácie: V kontexte jazykových modelov AI odkazuje na produkciu faktických chýb, akoby boli pravdivé.
– Token: V jazykových modeloch označuje segment textu, obvykle slovo alebo znak.
– Kód jazyka Python: Programovací jazyk, ktorý Socher používa ako príklad preloženia kódu na zlepšenie veľkých jazykových modelov.
Navrhované súvisiace odkazy:
OpenAI – oficiálna webová stránka OpenAI, známa svojimi veľkými jazykovými modelmi ako GPT-4.
Google – oficiálna webová stránka Google, spoločnosti za veľkými jazykovými modelmi ako Gemini.
The source of the article is from the blog macnifico.pt