محققان در قسمت تحقیقات گوگل و گوگل دیپ‌مایند، چارچوبی نوآورانه به نام ترکیب برای ارتقای مدل‌های زبانی (CALM) به معرفی کرده‌اند که هدف آن تقویت قابلیت‌های مدل‌های زبانی بزرگ (LLM) است، با ترکیب آنها با مدل‌های افزاینده مربوط به حوزه‌های خاص. برخلاف روش‌های سنتی که شامل آماده‌سازی قبلی بیشتر یا تنظیم دقیق می‌شوند، CALM دارای مجموعه کوچکی از پارامترهای قابل آموزش در نمایش لایه میانی هر دو مدل است، که اجازه می‌دهد ترکیب بهینه‌ای را فراهم کند در حالی که ویژگی‌های متمایز خود را حفظ کند.
CALM امکاناتی وسیع را در حوزه‌های مختلف ارائه می‌دهد. در زمینه جمعیت زبانی، محققان از یک مدل آموزش دیده بر روی زبان‌های منابع کم استفاده کرده و آن را با LLM ترکیب کرده‌اند. این ترکیب باعث بهبود قابل توجهی در عملکرد وظایف مانند ترجمه و استنتاج حسابی در زبان‌های منابع کم می‌شود. قابل ذکر است که مدل ترکیب شده در عمل بر نسخه‌های LLM که برای زبان‌های منابع کم دیگری آماده سازی یا تنظیم دقیق شده‌اند، عملکرد بهتری داشت.
علاوه بر این، CALM در وظایف تولید کد هماهنگ بوده است. با یکپارچه سازی مدلی که بر روی کدهای منبع باز و متنوع آموزش دیده است با LLM، محققان از منطق سطح پایین و توانایی تولید LLM بهره بردند. نتیجه، عملکرد برتری را در وظایف توضیح و تکمیل کد نسبت به مدل‌های پایه تکی به دست آوردند.
سناریوی عملی ارائه شده توسط CALM به محققان اجازه می‌دهد که با مدل‌های افزاینده همراه با مدل مرجع کار کنند بدون تغییر وزن آنها. این رویکرد چالش‌های مربوط به آموزش و محدودیت‌های داده را برطرف می‌کند و راه‌حلی عملی با قابلیت‌های افزایش یافته ارائه می‌دهد. با ترکیب نقاط قوت مدل‌های مختلف، CALM ظرفیت بهبود عملکرد در وظایف پیچیده را نشان می‌دهد.
محققان پشت CALM اعتقاد دارند که این چارچوب نوآورانه می‌تواند تأثیر قابل توجهی در پیشرفت مدل‌های زبانی و کاربردهای آنها داشته باشد. بررسی ترکیب مدل، امکان ترکیب قدرت‌های مدل‌های مختلف را به ارمغان می‌آورد که منجر به سیستم‌های هوش مصنوعی بهتر و قدرتمندتر می‌شود.
برای باخبر شدن از آخرین پیشرفت‌ها در تحقیقات هوش مصنوعی، حتماً مقاله تحقیقی تیم‌های Google Research و Google DeepMind را مطالعه کنید. کار بی‌نظیر انجام شده توسط این محققان در راستای شکل‌دهی به آینده مدل‌های زبانی و ظرفیت آنها برای حل مسائل واقعی را نشان می‌دهد.
The source of the article is from the blog bitperfect.pe