Byl představen nový rámec nazvaný SecFormer, který se zabývá výzvou zachování soukromí při inferenci velkých jazykových modelů založených na architektuře Transformer. Zvýšená závislost na cloudových velkých jazykových modelech vyvolává obavy o soukromí, zejména pokud jsou zahrnuty citlivé údaje. Bezpečné Multi-Party Computing (SMPC) se vyvinulo jako řešení pro zachování soukromí inferenčních dat i modelových parametrů. Nicméně aplikace SMPC na PPI pro Transformer modely často vede k výrazným výkonovým problémům.
SecFormer přichází s odlišným přístupem, jak optimalizovat vyvážení mezi výkonem a efektivitou v PPI. Namísto nahrazení nelineárních operací přátelskými alternativami pro SMPC se zaměřuje na vylepšení návrhu modelu. Vysokonákladové operace jsou nahrazeny inovativními alternativami, jako je algoritmus GeLU pro zachování soukromí založený na segmentovaných polynomech a efektivní algoritmy pro zachování soukromí pro LayerNorm a Softmax.
Účinnost tohoto rámce byla vyhodnocena pomocí testovacího souboru GLUE s Transformer modely jako BERTBASE a BERTLARGE. SecFormer překonal přístupy nejnovější generace z hlediska výkonu a efektivity, s průměrným zlepšením o 5,6 %, resp. 24,2 %. Porovnání s existujícími rámci založenými na návrhu modelu a optimalizaci protokolu SMPC ukázalo, že SecFormer dosáhl zrychlení inferenčního procesu o 3,4 resp. 3,2 krát a přitom udržoval srovnatelnou úroveň výkonu.
SecFormer představuje škálovatelné a účinné řešení pro vylepšení velkých jazykových modelů, přičemž zaručuje přísné standardy soukromí. Díky optimalizaci vyvážení mezi výkonem a efektivitou prostřednictvím vylepšování návrhu modelu SecFormer slibuje řešení obav spojených s rostoucím využíváním cloudových velkých jazykových modelů. S inovativním přístupem a slibnými výsledky má SecFormer velký potenciál pro budoucnost inferencí zachovávajících soukromí v komplexních jazykových krajinách.
The source of the article is from the blog exofeed.nl