Nowe narzędzie o nazwie SecFormer zostało wprowadzone w celu rozwiązania wyzwania Prywatnych Wniosków (PPI) dla dużych modeli językowych opartych na architekturze Transformer. Rosnące poleganie na dużych modelach językowych hostowanych w chmurze wywołało obawy dotyczące prywatności, zwłaszcza gdy są zaangażowane czułe dane. Bezpieczne Obliczenia Wielostronne (SMPC) pojawiły się jako rozwiązanie do zachowania prywatności zarówno danych wnioskowych, jak i parametrów modelu. Jednak zastosowanie SMPC do PPI dla modeli Transformer często prowadzi do znacznych problemów wydajnościowych.
SecFormer podejmuje inne podejście do optymalizacji balansu między wydajnością a efektywnością w PPI. Zamiast zastępowania operacji nieliniowych bardziej przyjaznymi dla SMPC alternatywami, koncentruje się na optymalizacji projektu modelu. Operacje o dużym narzucie zostały zastąpione innowacyjnymi alternatywami, takimi jak algorytm GeLU zachowujący prywatność, oparty na segmentowanych wielomianach oraz wydajne algorytmy zachowujące prywatność dla LayerNorm i Softmax.
Skuteczność tego narzędzia została oceniona na podstawie zestawu danych GLUE za pomocą modeli Transformer takich jak BERTBASE i BERTLARGE. SecFormer przewyższył najnowocześniejsze podejścia pod względem wydajności i efektywności, uzyskując średnie poprawki odpowiednio 5,6% i 24,2%. Porównania z istniejącymi narzędziami opartymi na projekcie modelu i optymalizacjach protokołów SMPC wykazały, że SecFormer osiągnął przyspieszenie 3,4 i 3,2-krotne w PPI, utrzymując porównywalny poziom wydajności.
SecFormer prezentuje skalowalne oraz skuteczne rozwiązanie do usprawniania dużych modeli językowych, jednocześnie zapewniając rygorystyczne standardy prywatności. Poprzez optymalizację balansu między wydajnością a efektywnością za pomocą ulepszeń projektu modelu, SecFormer obiecuje rozwiązać obawy dotyczące prywatności związane z coraz większym wykorzystaniem hostowanych w chmurze dużych modeli językowych. Dzięki innowacyjnemu podejściu i obiecującym wynikom, SecFormer ma duży potencjał dla przyszłości prywatnych wniosków w złożonych krajobrazach językowych.
The source of the article is from the blog lanoticiadigital.com.ar