A generatív mesterséges intelligencia (AI) technológia az elmúlt években gyorsan fejlődött, azonban Richard Socher, a korábbi Salesforce vezetője úgy véli, hogy még mindig van hely fejlődésre. A Harvard Business Review podcast-jában Socher elmagyarázta, hogyan lehet fejleszteni a nagy nyelvi modelleket úgy, hogy a kód megfelelő válaszokat adjon a kérdésekre.
Jelenleg a nagy nyelvi modellek a korábbi adatok alapján tippelik meg a következő tokeneket. Habár ezek a modellek lenyűgöző szövegértést és programozási képességeket mutatnak, gyakran hallucinációkkal küzdenek, amikor tényhibákat termelnek, mintha azok igazak lennének. Ez különösen problémás, amikor bonyolult matematikai kérdésekkel szembesülnek.
Socher példát adott egy olyan kérdésre, amellyel a nagy nyelvi modellnek nehézkes lehet a válaszadás: „Ha egy újszülöttnek $5,000-t adnék születéskor, hogy befektessen egy díjmentes részvényindex alapba, és bizonyos éves átlagos hozam százalékkal számolunk, akkor mennyi lesz a pénze kétéves és ötéves korára?” Ehelyett, hogy megfontoltan megvizsgálná a kérdést és elvégezné a szükséges számításokat, a modell olyan szöveget hozna létre, amely hasonló kérdésekre adott válaszokon alapul.
Ennek a korlátozásnak a leküzdése érdekében Socher azt javasolja, hogy „kényszerítsük” a modellt arra, hogy fordítsa le a kérdést számítógépes kóddá, és adott kód alapján adja meg a választ. Ezáltal a modell valószínűbb, hogy pontos választ ad. Socher említette, hogy az AI-alapú keresőmotorukban, a You.com-ban sikerült fordítaniuk a kérdéseket Python kódra.
A nagy nyelvi modellek fejlesztésében Socher szerint a programozás létfontosságú szerepet játszik, ellentétben azzal az általános megközelítéssel, hogy egyszerűen skálázzuk az adatot és a számítási teljesítményt. A modelleknek a kódolás megtanításával mélyebb megértést és sokoldalúbb problémamegoldó képességeket szereznek majd. Ez a programozási megközelítés lehetővé teszi számukra, hogy a jövőben bonyolultabb feladatokkal is megbirkózzanak.
Ahogy a nagy nyelvi modellek közötti verseny fokozódik, az OpenAI GPT-4-ese és a Google Gemini-je a felsőbbrendűségért küzdve, Socher nézőpontja friss szemszöget kínál az AI képességeinek előmozdításában. Ahelyett, hogy csak az adatok skálázására támaszkodnánk, az AI modellek kényszere alá helyezése, hogy kódot írjanak, feloldhatja teljes potenciáljukat, és jelentős előrelépéseket eredményezhet a területen.
Gyakran ismételt kérdések (FAQ) a nagy nyelvi modellek fejlesztéséről programozás által
K: Mi a kihívás a jelenlegi nagy nyelvi modellekkel kapcsolatban?
V: A jelenlegi nagy nyelvi modelleknek korlátai vannak abban, hogy pontos válaszokat adjanak bonyolult kérdésekre, különösen azokra, amelyek matematikai számításokat igényelnek. Gyakran hallucinációkkal küzdenek, amikor tényhibákat produkálnak, mintha azok igazak lennének.
K: Mi a javasolt megoldás ezeknek a korlátoknak a leküzdésére?
V: Richard Socher azt javasolja, hogy „kényszerítsük” a nagy nyelvi modelleket arra, hogy fordítsák le a kérdéseket számítógépes kódra, és adott kód alapján adjanak válaszokat. Ezáltal valószínűbb, hogy a modellek pontos választ fognak adni.
K: Hogyan javítja a kérdések fordítása kódra a modelleket?
V: A kérdések fordítása kódra segít a modelleknek mélyebb megértést szerezni a kérdésekről, és lehetővé teszi számukra a szükséges számítások elvégzését. Ez a megközelítés fejleszti a problémamegoldó képességeiket és növeli a pontos válaszok esélyét.
K: Ez a megközelítés alkalmazásra került-e bármely AI-alapú keresőmotornál?
V: Igen, a You.com AI-alapú keresőmotorjában sikeresen lefordítottak kérdéseket Python kódra a válaszok pontosságának javítása érdekében.
K: Hogyan különbözik ez a programozási megközelítés a hagyományos adatok skálázásának és számítási teljesítményének megközelítésétől?
V: Socher szerint a nagy nyelvi modellek megtanítása a kódolásra kiemelkedő jelentőséggel bír a képességeik előrehaladása szempontjából, nem csak az adatok skálázására támaszkodunk. A modellek programozásával mélyebb megértést és sokoldalúbb problémamegoldó képességeket szereznek a bonyolult feladatokkal való megküzdéshez a jövőben.
K: Mi teszi különlegessé Socher nézőpontját a nagy nyelvi modellek közötti versenyben?
V: Socher nézőpontja friss szemszöget kínál az AI képességeinek előmozdításában. Ahelyett, hogy csak az adatok skálázására támaszkodnánk, az AI modellek kényszerítése a kódírásra feloldhatja teljes potenciáljukat, és jelentős előrelépéseket hozhat a területen.
Kulcsszavak/Fogalmak:
– Generatív AI technológia: Olyan AI modellek, amelyek képesek eredeti tartalmat létrehozni az alapján, hogy új adatokat generálnak a meglévő adatokban található mintázatok és példák alapján.
– Nyelvi modellek: Olyan AI modellek, amelyeket kifejezetten emberek által használt nyelv generálására és megértésére terveztek.
– Hallucináció: Az AI nyelvi modellek kontextusában tényhibák létrehozása, mintha azok igazak lennének.
– Token: A nyelvi modellekben egy szöveg szegmensre utal, általában egy szó vagy karakter.
– Python kód: A programozási nyelv, amit Socher példaként használt a nagy nyelvi modellek javítása érdekében történő kód fordítására.
Javasolt Kapcsolódó Linkek:
OpenAI – az OpenAI hivatalos weboldala, ismertek nagy nyelvi modellek, mint például a GPT-4.
Google – a Google hivatalos weboldala, a Gemini nevű nagy nyelvi modellek mögötti vállalat.
The source of the article is from the blog krama.net