Сравнение возможностей систем искусственного интеллекта остается сложной задачей из-за отсутствия единого стандарта, отметил Нестор Маслей в недавнем разговоре с New York Times. Маслей, главный редактор отчета «AI Index» Стэнфордского университета, выделяет сложные задачи, с которыми сталкиваются исследователи из-за этой неоднородности. «AI Index» предлагает обширный анализ прогресса и состояния технологий искусственного интеллекта на мировом уровне, оценивая результаты года.
Оценка производительности искусственного интеллекта с помощью показателей часто упоминается разработчиками искусственного интеллекта для оценки своих систем. Эти показатели представляют собой результаты тестов, разработанных для измерения профессионализма искусственного интеллекта в конкретных задачах, таких как точное определение изображений. Например, система искусственного интеллекта, распознающая 50 процентов изображений, правильно поняла половину набора данных.
Однако в отрасли отсутствуют ясные указания о том, какие показатели являются важными и в каких условиях они должны быть протестированы. Нет универсально принятых стандартов. Это мнение подтверждает Флориан Трэмэр, исследователь из ETH Цюриха, указывая, что наиболее популярные показатели используются — не для отражения передовой практики, — а просто из-за широкого признания. Это указывает на фундаментальную проблему в исследованиях в области искусственного интеллекта: популярные показатели чаще всего известны больше из-за их популярности, чем из-за их эффективности или актуальности.
Важность стандартизации оценки искусственного интеллекта
Поиск стандартизированного подхода к оценке систем искусственного интеллекта является критически важным из-за все более значимой роли, которую играет искусственный интеллект в различных секторах, включая здравоохранение, финансы, транспорт и безопасность. Стандартизированная методология позволяет точно оценивать производительность, безопасность, надежность и предвзятость систем искусственного интеллекта. Он также обеспечивает равные возможности для разработчиков искусственного интеллекта и помогает заинтересованным сторонам принимать обоснованные решения.
Ключевые вопросы
1. Как мы можем разработать стандартизированный набор показателей для систем искусственного интеллекта?
2. Какие меры следует принять для обеспечения оценки систем искусственного интеллекта в справедливых и последовательных условиях?
3. Как мы можем решить проблему предвзятости искусственного интеллекта в показателях?
4. Какова роль регулирующих органов в установлении и соблюдении стандартов оценки систем искусственного интеллекта?
The source of the article is from the blog newyorkpostgazette.com