A közelmúltban végzett kutatás világossá tette, hogy milyen lenyűgöző képességekkel rendelkeznek a kódra képzett Nagy Nyelvi Modellek (LLM) különféle szoftvertervezési feladatokhoz. Ezeket a modelleket három fő paradigma szerint lehet besorolni: kód-LLM-k, amelyek a kódkiegészítést specializálják, feladatspecifikus kód-LLM-k, amelyeket adott feladatokhoz lisztfine-tuningolnak, és az utasításra hangolt kód-LLM-k, amelyek a humán utasítások követésére és új feladatokban való kiváló teljesítésre képesek további fine-tuning nélkül.
Az utasításra hangolt kód-LLM-k potenciáljának további feltárása érdekében a Monash Egyetem és a ServiceNow Research kutatócsoportja bemutatja az ASTRAIOS-t, amely 28 utasításra hangolt kód-LLM-ből álló gyűjtemény. Ezeket a modelleket hét különböző módszerrel finomhangolják a StarCoder alapmodellek alapján, a modellek mérete pedig 1B és 16B között változik. A finomhangolási folyamat során az OctoPack CommitPackFT adathalmazát használják a modellek alapos továbbfejlesztéséhez.
A kutatók a Hugging Face PEFT konfigurációinak ajánlott gyakorlatait alkalmazzák, és kiválasztott módszereket kombinálnak a legújabb keretrendszerekből. Főként a skálázhatóság értékelésére összpontosítanak a keresztezzentropia-veszteség értékelésével az utasításokra való hangolás során, figyelembe véve a modell méretét és a képzési idő skáláját.
Ezen felül a kutatók értékelik az utasításra hangolt kód-LLM-ek teljesítményét öt reprezentatív kóddal kapcsolatos feladatban: klón-felismerés, hiba-felismerés, kód-szintézis, kód-javítás és kód-magyarázat. Azokat a modelleket is elemezik, hogy milyen ellenállóak és biztonságosak, különös tekintettel annak képességére, hogy kerüljék a zavart okozó példák alapján történő kódgenerálást és az esetleges sérülékenységek azonosítását a generált kódban.
Érdekes módon a tanulmány kimutatja, hogy bár a nagyobb PEFT Code LLM-ek kiválóan teljesítenek a kódgenerálási feladatokban, nincsenek ugyanezek az előnyei a klón-felismerés és a hiba-felismerés olyan feladatokban való kódértés során. A modell méretének növelése javítja a generációs teljesítményt, de aggodalmakat vet fel az ellenálló képességgel szembeni támadásokkal és a biztonságos kód felé való elfogultsággal kapcsolatban.
A frissített paraméterek, a keresztezzentropia-veszteség és a feladatteljesítmény közötti kapcsolat mélyreható elemzése történik. A kutatók azt találták, hogy a kisebb PEFT modellek végső veszteségét fel lehet használni a nagyobb modellek veszteségének előrejelzésére, és erős kapcsolat van az utolsó veszteség és az összes feladat teljesítménye között.
Ezenkívül a tanulmány rámutat a viszonylagos veszteség teljesítményének következetességére különböző modellméretek összehasonlításakor a különböző hangolási módszerek között. Ez azt jelzi, hogy a hangolási módszerek által elért fejlesztések összehasonlíthatók a modell méretétől függetlenül. Ennek következtében az eltérő módszerekkel hangolt kisebb modellekben megfigyelt veszteség értéke értékes indikátor lehet a nagyobb modellek teljesítményének előrejelzésében.
Az ASTRAIOS gyűjtemény, valamint a kutatási anyag és a Github tárhely értékes betekintést nyújt az utasításra hangolt kódnyelv-modellek lehetőségeibe a szoftvertervezési feladatok fejlesztése terén.
The source of the article is from the blog motopaddock.nl