Amazon Web Services (AWS) отмечает важное событие — 18 лет с момента запуска своего облачного хранилища данных Amazon Simple Storage Service (Amazon S3). За эти годы AWS постоянно усовершенствовал S3, улучшая скорость обработки и добавляя новые услуги.
В последние годы AWS сосредоточился на совершенствовании искусственного интеллекта (ИИ), интегрируя функции, связанные с ИИ, в Amazon S3. Этот акцент на ИИ отражен в усовершенствованиях, которые AWS внедрил, напрямую обслуживая разработчиков, работающих с технологиями ИИ.
Одной из ключевых особенностей является возможность непосредственного сохранения чекпоинтов библиотеки машинного обучения PyTorch Lightning, фреймворка, предназначенного для глубокого обучения, в Amazon S3. Чекпоинты представляют собой сохраненные данные, представляющие состояние модели машинного обучения в конкретный момент времени.
AWS также усилил свою гибридную услугу, AWS Outposts, позволив ей кэшировать данные аутентификации локально. Это значительно сокращает необходимость связи с облачной службой для аутентификации каждый раз, тем самым уменьшая использование сети.
Более того, Amazon S3 теперь можно примонтировать – сделать его распознаваемым и доступным операционной системой – через ‘Mountpoint for Amazon S3 Container Storage Interface (CSI)’, которая также поддерживает ‘Bottlerocket’, операционную систему контейнера на основе Linux от AWS.
Саймон Робинсон, аналитик из Enterprise Strategy Group (ESG), отмечает, что S3 является широко принятым стандартом как в облачных службах, так и в дата-центрах. Он прогнозирует, что AWS будет продолжать расширять возможности S3, чтобы удовлетворить растущий спрос на ИИ.
AWS подчеркивает этот прогресс на событии AWS Pi Day 2024 в марте 2024 года. Одним из объявлений было то, что новые возможности позволят моделям машинного обучения сохранять чекпоинты с помощью PyTorch Lightning без прерывания текущих задач – значительное улучшение для рабочих процессов машинного обучения.
Кроме того, с введением драйвера ‘Mountpoint for Amazon S3 CSI’ контейнеры в Amazon Elastic Kubernetes Service (EKS), управляемой сервисом Kubernetes от AWS, теперь могут получать доступ к данным, хранящимся в S3, что показывает стремления Amazon в области корпоративных файловых систем, отмечает Робинсон.
В следующей части серии обсуждения мы рассмотрим, как S3 изменил себя рынок хранения данных.
Важные вопросы и ответы:
Q: Какие основные улучшения Amazon S3 связаны с ИИ?
A: Основные улучшения включают возможность сохранения чекпоинтов PyTorch Lightning в Amazon S3, локальное кэширование данных аутентификации AWS Outposts и примонтирование Amazon S3 через ‘Mountpoint for Amazon S3 Container Storage Interface (CSI)’, поддерживающее Bottlerocket.
Q: Каковы преимущества сохранения чекпоинтов PyTorch Lightning в S3?
A: Сохранение чекпоинтов непосредственно в S3 упрощает рабочий процесс разработчиков, предоставляя надежное и масштабируемое хранилище, улучшает надежность проектов машинного обучения, позволяя восстановление состояний модели, и облегчает сотрудничество среди членов команды, которые могут получить доступ к чекпоинтам модели из различных географических регионов.
Q: Как локальное кэширование данных аутентификации в AWS Outposts улучшает его услуги?
A: Кэширование данных аутентификации локально позволяет AWS Outposts снизить зависимость от непрерывного облачного соединения для аутентификации, что может значительно снизить сетевой трафик и улучшить скорость процессов аутентификации.
Вызовы и споры:
— Безопасность: Повышение возможностей ИИ часто сопровождается увеличением риска утечки данных, так как модели ИИ часто требуют доступа к конфиденциальной информации.
— Сложность: С постоянной интеграцией функций ИИ могут возникнуть опасения по поводу увеличения сложности в облачной инфраструктуре и необходимости наличия квалифицированного персонала для эффективного управления и использования этих функций.
— Стоимость: Несмотря на преимущества, дополнительные функции могут увеличить затраты для компаний, особенно если они не используют эти возможности ИИ полностью.
Преимущества:
— Интеграция ИИ: Прямые функции ИИ повышают уровень удовлетворения пользователей, оптимизируя рабочий процесс машинного обучения.
— Производительность: Улучшения скорости и локализованные операции с AWS Outposts могут повысить производительность и снизить задержки.
— Гибкость: Примонтирование хранилища S3 непосредственно в операционные системы и контейнерные службы, такие как EKS, обеспечивает большую гибкость и удобство использования.
Недостатки:
— Сложность: Интеграция этих функций ИИ может увеличить кривую обучения для разработчиков, не хорошо разбирающихся в новых функциях.
— Зависимость от AWS: Поскольку все больше функций интегрируется с сервисами AWS, существует риск блокировки поставщика, когда клиенты становятся слишком зависимыми от AWS для облачных решений.
Связанные доверенные ресурсы, связанные с Amazon S3 и возможностями и услугами искусственного интеллекта от AWS, можно найти на следующих ссылках:
— Amazon Web Services (AWS)
— Amazon S3
— AWS Machine Learning
— Amazon EKS (Elastic Kubernetes Service)
В следующей части серии обсуждения о том, как S3 изменил рынок хранения данных, будет полезно подробно рассмотреть влияние этих функций, ориентированных на ИИ.