أجرى الباحثون في معهد ماساتشوستس للتكنولوجيا ومؤسسات أخرى اكتشافًا مثيرًا حول النماذج الكبيرة للغات، مثل تلك المستخدمة في الروبوتات الشخصية الذكية الشهيرة مثل ChatGPT. تبين أن هذه النماذج، التي تعتبر معقدة للغاية، غالباً ما تكون قادرة على استرداد المعرفة المخزنة وفك تشفيرها باستخدام وظيفة خطية بسيطة جدًا. يسلط هذا الاكتشاف الضوء على آليات عمل هذه النماذج وقد يكون له تأثيرات على تحسين دقتها.
قام الباحثون بتطوير تقنية لتحديد الوظائف الخطية لأنواع مختلفة من الحقائق المخزنة داخل النماذج الكبيرة للغات. من خلال دراسة هذه الوظائف، تمكنوا من الحصول على نظرة عميقة عما يعرفه النموذج عن مختلف المواضيع ومكان تخزين تلك المعرفة داخل النموذج. اكتشفوا أنه حتى عندما يقدم النموذج إجابة خاطئة لاستفسار معين، غالباً ما يكون لديه المعلومات الصحيحة المخزنة. هذا يشير إلى أنه يمكن استخدام هذه الوظائف البسيطة بشكل محتمل لتحديد وتصحيح الأكاذيب داخل النموذج، مما يقلل من احتمال حدوث إجابات غير صحيحة أو غير منطقية.
على الرغم من عدم ترميز جميع الحقائق واستردادها بشكل خطي بهذه الطريقة، إلا أن اكتشاف هذه الوظائف البسيطة يوفر أداة قيمة لفهم الآليات الداخلية للنماذج الكبيرة للغات. طور الباحثون أيضًا تقنية تصويرية تسمى “عدسة السمة” لرسم الخريطة حيث يتم تخزين المعلومات الخاصة بالعلاقات داخل طبقات النموذج. تساعد هذه الأداة البصرية الباحثين والمهندسين في فهم أفضل لمعرفة النموذج وتحديد ومعالجة أي عدم دقة.
في المستقبل، يأمل الباحثون في مواصلة التحقيق بشأن كيفية تخزين الحقائق عندما لا تتبع أنماط خطية. كما يعتزمون إجراء تجارب على نطاق أوسع مع النماذج الكبيرة للغات للتحقق مما إذا كانت هذه الوظائف البسيطة صحيحة على نطاق أكبر. لديهم أقدمية لتعزيز فهمنا لنماذج اللغات وتحسين أدائها في مختلف المجالات.
أسئلة وأجوبة شائعة
-
السؤال: ما هي النماذج الكبيرة للغات؟
الجواب: النماذج الكبيرة للغات، المعروفة أيضًا بنماذج المحول، هي نماذج ذكاء اصطناعي تقوم بمعالجة وفهم اللغة البشرية. إنها مفيدة بشكل خاص لمهام مثل دعم العملاء، إنشاء الشيفرة، وترجمة اللغات. -
السؤال: كيف يقوم الباحثون بتحقيق النماذج الكبيرة للغات؟
الجواب: يستخدم الباحثون تقنيات لكشف الآليات التي تكمن وراء كيفية استرداد النماذج الكبيرة للغات وفك تشفير المعرفة المخزنة. في هذه الدراسة، حدد الباحثون ودرسوا الوظائف الخطية البسيطة التي تستخدمها هذه النماذج غالبًا لاسترداد الحقائق. -
السؤال: كيف يمكن أن تساعد هذه الأبحاث في تحسين دقة نماذج اللغات؟
الجواب: من خلال فهم الوظائف البسيطة التي تستخدمها نماذج اللغات لاسترداد الحقائق، يمكن للباحثين بشكل محتمل تحديد وتصحيح المعلومات الزائفة المخزنة داخل النماذج. يمكن أن يقلل ذلك من حالات الإجابات غير الصحيحة أو غير المنطقية التي يقدمها روبوتات الدردشة الذكية. -
السؤال: ما هو “عدسة السمة”؟
الجواب: عدسة السمة هي أداة تصور تم تطويرها من قبل الباحثين لرسم خريطة حيث يتم تخزين المعلومات الخاصة بالعلاقات داخل طبقات نموذج اللغة. تساعد هذه الأداة البصرية الباحثين والمهندسين في فهم أفضل لهيكل معرفة النموذج. -
السؤال: ما هي اتجاهات الأبحاث المستقبلية لهذه الدراسة؟
الجواب: يخطط الباحثون للتحقيق فيما يتعلق بكيفية تخزين الحقائق عندما لا تتبع أنماط خطية. كما يعتزمون إجراء تجاربٍ على نطاق أوسع مع نماذج أكبر للغات للتحقق مما إذا كانت تلك الوظائف البسيطة صحيحة على نطاق أوسع.
لمزيد من المعلومات، يرجى الرجوع إلى مقال MIT News حول هذا البحث:
The source of the article is from the blog procarsrl.com.ar