麻省理工学院等机构的研究人员在对大型语言模型（LLMs）进行研究时做出了有趣的发现。这些模型，也称为变压器模型，广泛应用于人工智能应用程序，如ChatGPT等AI聊天机器人。这些模型的复杂性使它们能够使用令人惊讶的简单线性功能来存储和解码大量知识。这一发现揭示了这些模型的工作原理，并对提高其准确性具有重要意义。
研究人员开发了一种技术，用于识别LLMs用于编码和检索不同类型事实的线性功能。通过研究这些功能，他们深入了解了关于各种主题的模型知识以及该知识存储在模型中的位置。他们发现，即使模型对提示提供错误答案，它通常仍然存储着正确的信息。这表明这些简单功能有可能被用来识别和纠正模型中的错误信息，从而降低AI聊天机器人提供不准确或荒谬回答的可能性。
尽管不是所有事实都是以线性方式编码和检索的，但发现这些简单功能为理解大型语言模型的内部工作提供了有价值的工具。为了帮助他们的研究，研究团队还开发了一种名为“属性透镜”的可视化技术。这种可视化工具可以绘制出模型的各层中关于关系的特定信息存储位置。属性透镜有助于研究人员和工程师更好地了解模型的知识结构，并可能识别和解决任何不准确之处。
展望未来，研究人员计划更深入地研究当事实不遵循线性模式时的存储方式。他们还计划对更大型的语言模型进行实验，以验证这些简单功能是否在更广泛的范围内成立。这项研究有望增进我们对语言模型的理解，并提高它们在各个领域的性能。
有关更多信息，请参阅MIT新闻网关于这项研究的文章: 人工智能，语言学和…
**常见问题解答（FAQ）**
**问：什么是大型语言模型？**
答：大型语言模型，也称为变压器模型，是处理和理解人类语言的人工智能模型。它们对客户支持、代码生成和语言翻译等任务特别有用。
**问：研究人员如何探究大型语言模型？**
答：研究人员使用各种技术来揭示大型语言模型检索和解码存储知识的机制。在这项研究中，研究人员确定并研究了这些模型经常用于检索事实的简单线性功能。
**问：这项研究如何有助于提高语言模型的准确性？**
答：通过了解语言模型检索事实时使用的简单功能，研究人员有望识别和纠正存储在模型中的虚假信息。这可以减少AI聊天机器人提供的不准确或荒谬回答的情况。
**问：什么是“属性透镜”？**
答：属性透镜是研究人员开发的可视化工具，用于绘制语言模型各层中关于关系存储位置的特定信息。这个工具帮助研究人员和工程师更好地了解模型的知识。
**问：这项研究的未来研究方向是什么？**
答：研究人员计划深入研究当事实不遵循线性模式时的存储方式。他们还计划对更大型的语言模型进行实验，以验证他们的发现在更广泛范围内是否成立。
来源:
– 麻省理工新闻: [https://news.mit.edu/2021/artificial-intelligence-linguistics-0506](https://news.mit.edu/2021/artificial-intelligence-linguistics-0506)
The source of the article is from the blog tvbzorg.com