Generativní technologie umělé inteligence (AI) se v posledních letech rychle rozvíjí, ale bývalý výkonný pracovník společnosti Salesforce, Richard Socher, věří, že je stále místo pro zlepšení. Ve videu na Harvard Business Review Socher diskutoval o tom, jak můžeme posílit velké jazykové modely tím, že je přinutíme reagovat na požadavky v kódu místo předpovídání následujícího tokenu.
Aktuálně se velké jazykové modely spoléhají na předpovídání následujícího tokenu na základě předchozích dat. Přestože tyto modely prokazují impozantní schopnosti číst a psát kód, často se setkáváme s halucinacemi, kdy produkují faktické chyby tak, jako by byly pravdivé. To se stává problémem při řešení složitých matematických otázek.
Socher přinesl příklad otázky, se kterou by velký jazykový model mohl mít potíže: „Kdybych dítěti na základě novorozeneckému dala 5000 $ k investování do akciového indexového fondu bez poplatků a předpokládejme určitý procentuální roční výnos, kolik by mělo na věku dvou až pěti let?“ Model by místo pečlivého zvážení otázky a provedení potřebných výpočtů vygeneroval text na základě podobných otázek, se kterými se setkal dříve.
Aby se překonala tato omezení, navrhuje Socher „přinutit“ model přeložit otázku do počítačového kódu a generovat odpovědi na základě tohoto kódu. Tím se zvyšuje pravděpodobnost poskytnutí přesné odpovědi. Socher zmínil, že na jeho vyhledávači poháněném umělou inteligencí You.com se jim podařilo přeložit otázky do jazyka Python.
Na rozdíl od běžného přístupu, který spočívá pouze ve zvětšování množství dat a výpočetního výkonu, Socher navrhuje, že programování bude hrát zásadní roli při rozvoji velkých jazykových modelů. Naučením těchto modelů programovat získají hlubší porozumění a větší schopnost řešit různorodé problémy. Tento programátorský přístup jim umožní řešit v budoucnosti složitější úkoly.
V době, kdy jak OpenAI’s GPT-4, tak Gemini od Googlu soutěží o dominanci mezi velkými jazykovými modely, přináší Socherův postoj nový pohled na rozvoj schopností umělé inteligence. Namísto spoléhání se pouze na zvětšování množství dat může přinucení AI modelů k programování odemknout jejich plný potenciál a vést k významným pokrokům v oboru.
Často kladené otázky (FAQ) o zlepšování velkých jazykových modelů pomocí programování
Otázka: Jaké jsou problémy současných velkých jazykových modelů?
Odpověď: Současné velké jazykové modely mají omezení v poskytování přesných odpovědí na složité otázky, zejména na ty vyžadující matematické výpočty. Často trpí halucinacemi, kdy generují faktické chyby, jako by byly pravdivé.
Otázka: Jaké je navrhované řešení těchto omezení?
Odpověď: Richard Socher navrhuje „přinutit“ velké jazykové modely přeložit otázky do počítačového kódu a generovat odpovědi na základě tohoto kódu. Tím jsou modely pravděpodobnější v poskytování přesných odpovědí.
Otázka: Jak překlad otázek do kódu zlepšuje modely?
Odpověď: Překlad otázek do kódu pomáhá modelům získat hlubší porozumění otázkám a umožňuje jim provádět potřebné výpočty. Tento přístup zlepšuje jejich schopnost řešit problémy a zvyšuje pravděpodobnost poskytnutí přesných odpovědí.
Otázka: Byl tento přístup zaveden v nějakém vyhledávači poháněném umělou inteligencí?
Odpověď: Ano, na You.com, vyhledávači poháněném umělou inteligencí, se jim podařilo úspěšně přeložit otázky do jazyka Python a tím zlepšit přesnost odpovědí.
Otázka: Jak se tento programátorský přístup liší od tradičního přístupu zvětšování množství dat a výpočetního výkonu?
Odpověď: Socher navrhuje, že výuka velkých jazykových modelů programování bude zásadní pro jejich pokrok, namísto spoléhání se pouze na zvětšování množství dat. Programováním tito modely získávají hlubší porozumění a zvýšené schopnosti řešit různorodé problémy.
Otázka: Jak se Socherův pohled odlišuje v soutěži mezi velkými jazykovými modely?
Odpověď: Socherův pohled přináší nový pohled na rozvoj schopností umělé inteligence. Namísto spoléhání se pouze na zvětšování množství dat může přinucení AI modelů k programování odemknout jejich plný potenciál a vést k významným pokrokům v oboru.
Klíčové termíny/fachjargon:
– Generativní technologie umělé inteligence: Odkazuje na modely AI schopné generovat původní obsah tím, že generují nová data na základě vzorců a příkladů ze stávajících dat.
– Jazykové modely: AI modely speciálně navržené pro generování a porozumění lidskému jazyku.
– Halucinace: V kontextu jazykových modelů AI se jedná o generování faktických chyb jako by byly pravdivé.
– Token: V jazykových modelech se token odkazuje na část textu, obvykle slovo nebo znak.
– Python kód: Programovací jazyk, který Socher používá jako příklad pro překlad kódu a zlepšení velkých jazykových modelů.
Navrhované související odkazy:
OpenAI – oficiální webová stránka společnosti OpenAI, známé svými velkými jazykovými modely jako GPT-4.
Google – oficiální webová stránka společnosti Google, která je tvůrcem velkých jazykových modelů jako Gemini.
The source of the article is from the blog radiohotmusic.it