En ny ramme ved navn SecFormer er blevet introduceret for at håndtere udfordringen ved privatlivsbeskyttende Inferens (PPI) for store sprogmodeller baseret på Transformer-arkitektur. Den stigende afhængighed af cloud-baserede store sprogmodeller har rejst bekymringer om privatlivet, især når følsomme data er involveret. Sikker Multi-Part Beregning (SMPC) er opstået som en løsning for at bevare privatlivet for både inferensdata og modelparametre. Men anvendelse af SMPC til PPI for Transformer-modeller fører ofte til betydelige ydeevneproblemer.
SecFormer tager en anderledes tilgang til at optimere balancen mellem ydeevne og effektivitet i PPI. I stedet for at erstatte ikke-lineære operationer med SMPC-venlige alternativer fokuserer den på at forbedre modeldesignet. Høj-overhead operationer erstattes med innovative alternativer, såsom en privatlivsbevarende GeLU-algoritme baseret på segmenterede polynomier og effektive privatlivsbevarende algoritmer til LayerNorm og Softmax.
Effektiviteten af rammen blev evalueret ved hjælp af GLUE benchmark-datasættet med Transformer-modeller som BERTBASE og BERTLARGE. SecFormer overgik state-of-the-art metoder hvad angår ydeevne og effektivitet med en gennemsnitlig forbedring på henholdsvis 5,6% og 24,2%. Sammenligninger med eksisterende rammer baseret på modeldesign og SMPC-protokol-optimeringer viste, at SecFormer opnåede en hastighedsforøgelse på 3,4 og 3,2 gange i PPI, samtidig med at den opretholdt sammenlignelige ydeevneniveauer.
SecFormer præsenterer en skalerbar og effektiv løsning for at forbedre store sprogmodeller samtidig med at stringent privatlivsstandarder sikres. Ved at optimere balancen mellem ydeevne og effektivitet gennem forbedringer af modeldesignet, lover SecFormer at håndtere bekymringerne om privatlivet, der er forbundet med den stigende brug af cloud-baserede store sprogmodeller. Med sin innovative tilgang og lovende resultater har SecFormer stor potentiale for fremtiden med privatlivsbeskyttende inferens i komplekse sproglige landskaber.
The source of the article is from the blog jomfruland.net