یک تیم تحقیقاتی از دانشگاه ژجیانگ، دانشگاه ملی سنگاپور، دانشگاه کالیفرنیا، Ant Group و Alibaba Group یک مطالعه را که بر روی ویرایش دانش برای مدل های زبان بزرگ (LLMs) تمرکز دارد، انجام داده است. LLMs اخیرا قابلیت شگفت انگیز خود را در پردازش و حفظ مقدار زیادی اطلاعات به نمایش گذاشته و ظرفیت انسان را پشت سر گذاشته است.
برای تضمین عدالت و ایمنی سیستم های هوش مصنوعی (AI)، بسیار مهم است که درک شود که LLMs چگونه اطلاعات را نمایش می دهند و پردازش می کنند. این مطالعه به هدف بررسی تاریخچه و وضعیت فعلی تکنیک های ویرایش دانش برای LLMs می پردازد. پژوهشگران مروری اجمالی از طراحی LLMs، نحوه ذخیره سازی دانش و رویکردهای مرتبط مانند زیست روشن، تقویت دانش، آموزش ادامه یافته و ناشنیدن ماشین ارائه می دهند.
پژوهشگران استراتژی های ویرایش دانش برای LLMs را به سه دسته تقسیم می کنند: ویرایش روش های دانش داخلی، ترکیب دانش در مدل، و استفاده از دانش خارجی. این استراتژی ها الهام گرفته شده از فرآیندهای شناختی انسانی، مانند فازهای تشخیص، ارتباط و مهارت یادگیری می باشد.
این مطالعه شامل آزمایشاتی بر روی دوازده مجموعه داده پردازش زبان طبیعی است که با دقت عملکرد، قابلیت استفاده، مکانیسم های زیربنایی و سایر عوامل مرتبط نیز مورد بررسی قرار گرفته است. پژوهشگران یک شاخص به نام KnowEdit ایجاد کرده اند تا از طریق استفاده از تکنیک های ویرایش دانش LLM ها، قابلیت درج، تغییر و پاکسازی اطلاعات را ارزیابی کنند.
یافته ها نشان می دهد که ویرایش دانش چگونگی انجام وظایف عمومی و ویرایش دانش چند وظیفه ای را تحت تأثیر قرار می دهد و نشان می دهد که با به روز رسانی موفقیت آمیز حقایق بدون تأثیر قابل توجه بر قابلیت های شناختی و قابلیت سازگاری مدل در حوزه های دانش مختلف انجام می شود. علاوه بر این، پژوهشگران محدودیت ها و پیامدهای پتانسیل ویرایش دانش برای LLMs را مورد بحث قرار داده اند.
علاوه بر این، در این مطالعه به بررسی دامنه وسیعی از کاربردهای ویرایش دانش، از جمله AI قابل اعتماد، یادگیری ماشین با کارایی بالا، محتوای تولید شده توسط AI و عامل های فردی شخصی در تعامل انسان-کامپیوتر پرداخته شده است. پژوهشگران امیدوارند که این تحقیق، به بررسی های بیشتر در زمینه LLMs، با تمرکز بر کارآیی و خلاقیت، الهام بخشد.
پژوهشگران تمام منابع خود را شامل کدها، تقسیم بندی داده ها و چک پوینت های مدل آموزش دیده خود را در دسترس عموم قرار داده اند تا تحقیقات بیشتری در این حوزه را تشویق کنند.
The source of the article is from the blog lokale-komercyjne.pl