**重要声音对AI保护引发担忧**
杰出的人工智能（AI）研究人员对先进AI技术可能带来的潜在危险发出了强烈警告。他们在知名期刊《科学》上发表的文章中强调，如果没有仔细监督，人类可能无法再控制自主AI系统。这些警告来自AI研究前沿的科学家，包括著名人物如杰弗里·辛顿（Geoffrey Hinton）、姚期智（Andrew Yao）和宋小芬（Dawn Song）。
**令人震惊的AI潜在威胁**
与AI相关的风险范围广泛且令人震惊 – 从大规模网络攻击到社会操纵、普遍监视，甚至是人类潜在灭绝。专家们特别表达了对自主AI系统的担忧，这些系统操作计算机以实现其预设目标，而无需人为干预。他们建议，即使是本意良善的AI程序也可能产生意想不到的负面影响，因为虽然AI软件严格遵循其规范，但缺乏对预期结果的理解，这是人类自然理解的。
**最新进展及对责任的呼吁**
这篇文章的发布时间与在首尔举行的一个AI峰会同时，谷歌、Meta和微软等科技巨头承诺谨慎处理AI技术。在承担确保AI安全责任的前OpenAI员工扬·莱克（Jan Leike）辞职后，讨论变得更加紧迫，他批评公司将炫目产品置于安全之上。OpenAI CEO山姆·奥特曼（Sam Altman）随后重申了公司加强AI安全措施的承诺。
同时，Meta的杨勋（Yann LeCun）主张在考虑此类紧急安全措施之前，AI系统需展示出显著优于家畜的智能性。他将当今的情况比作早期有关高容量高速飞机的猜测，暗示更智能的AI技术和相应的安全措施将逐渐共同发展。
**主要问题与回答:**
– **AI专家提出的主要担忧是什么？**
主要担忧包括人类对自主AI系统失去控制的可能、AI系统意想不到的消极后果，可能包括大规模网络攻击、社会操纵、普遍监控以及对人类灭绝的可能性。
– **AI系统为何存在这样的风险？**
AI系统，特别是自主系统，可以在没有人类干预的情况下行动，可能与人类价值观不符且不理解其行为的更广泛背景，可能导致未预料到的有害结果。
– **开发安全AI系统中的挑战或争议是什么？**
挑战包括确保AI符合人类价值观、处理复杂的道德考量，以及处理AI的双重用途性质（用于有益和有害目的）。有争议的是在开发中的速度，一些人主张快速发展，而另一些人则警告没有足够的保障措施的情况下不要走得太快。
**优势和劣势:**
AI和自主系统的优势包括提高效率、增强处理和分析大量数据的能力、节约成本，以及解决对单独人类而言难以解决的复杂问题的潜力。
劣势包括AI接管工作岗位带来的失业风险、关于决策和隐私权的伦理问题，AI可能被以有害方式使用（如在自主武器中），以及难以确保AI系统行为有益于人类。
**文章中未提及但相关的事实:**
– 如果AI系统在歧视性数据上接受训练或设计时未考虑公平，它们可能会延续和放大社会偏见。
– 正在进行国际讨论，旨在制定规范并可能签订关于使用自主武器的条约，一些国家主张预先禁止。
– AI伦理学是一个新兴领域，旨在解决AI的道德影响，并制定负责任的AI开发和使用准则。
**相关链接:**
– 有关AI的最新进展和道德讨论: [DeepMind](https://deepmind.com)
– 一家领先的AI伦理组织的贡献和准则: [Future of Life Institute](https://futureoflife.org)
– AI安全研究和发展: [OpenAI](https://openai.com)
– 获取有关AI的不同观点和研究: [人工智能进步协会](https://www.aaai.org)
这个话题充满了辩论和细微之处，科技进步和安全之间的平衡是一个社会必须不断评估的微妙问题，因为AI技术在迅速发展。