Зі зростаючою потребою в демократизації штучного інтелекту, зумовленої генеративним ШІ, компанія Idein Inc. зі штаб-квартирою в Чіода, Токіо, під керівництвом генерального директора Коічі Накамури, представила вдосконалене рішення для аналізу зображень під назвою “LLM App on Actcast”. Це рішення дозволяє безшовну інтеграцію багатомодальних великих мовних моделей (LLM) з платформою Edge AI “Actcast”, що призводить до значно швидшого та вартіснішого розгортання доказу концепції (PoC).
Застосунок використовує можливості хмарних LLM для виконання аналізу зображень безпосередньо на крайових пристроях, пов’язаних з платформою Actcast. Зокрема, на момент випуску програмне забезпечення використовує API від хмарних LLM, таких як ChatGPT від OpenAI. Це дозволяє підприємствам розпочати PoC, не витрачаючи час та ресурси на розробку програмного забезпечення, а зосередитися на критичному аспекті перевірки бізнес-гіпотез.
Однією з переваг LLM App on Actcast є доступність для неінженерів через “prompt engineering” – використання інструкцій природної мови для операцій. Зменшуючи складність, яка зазвичай пов’язана з реалізацією Edge AI, Idein Inc. відкриває нові можливості у спрощенні та підвищенні ефективності роботи з високорівневим доказом концепції ШІ для підприємств.
Доповнюючи свою функцію, крайова платформа штучного інтелекту Actcast від Idein Inc. оснащена можливостями, які дозволяють різним сенсорним пристроям, таким як камери, мікрофони та термометри, збирати всебічну інформацію з фізичних просторів. Вона також дозволяє віддалене керування великою кількістю пристроїв. Поєднання цих можливостей в межах LLM App on Actcast є важливим кроком у зобов’язанні компанії підтримувати соціальну реалізацію крайового ШІ.
Для отримання додаткової інформації про розробку додатку LLM на платформі Actcast та інші деталі, читачі можуть звертатися до допису в блозі від головного технічного директора Ямади на офіційному веб-сайті Idein.
Про Idein Inc.: Idein Inc. – це стартап, який відомий своєю власною технологією, що дозволяє швидку інференцію глибокого навчання працювати на загальних, вартісних пристроях. Компанія не тільки надає платформу для збору даних крайового ШІ, Actcast, але також співпрацює з більш ніж 170 компаніями з різних галузей. Idein продовжує працювати над розширенням використання систем ШІ / Інтернету речей з метою зробити всю інформацію в реальному світі керованою через програмне забезпечення.
Відповідні додаткові факти:
– Крайовий ШІ відноситься до використання алгоритмів штучного інтелекту у режимі реального часу на апаратних пристроях, а не в хмарі.
– Великі мовні моделі (LLM), такі як ChatGPT, зазвичай вимагають значних обчислювальних ресурсів, які традиційно знаходилися в централізованих дата-центрах.
– Інтеграція LLM з крайовими платформами ШІ, як це зроблено компанією Idein Inc., може наблизити обробку ШІ до джерел даних, зменшуючи затримку та, можливо, покращуючи конфіденційність даних.
– Prompt engineering – це практика створення вхідних даних (установок), які ефективно комунікують завдання до ШІ систем, важливе напрямок, важливий для взаємодії людини з ШІ.
Основні виклики та протиріччя:
– Виклики краєвого ШІ: Одним з найбільших викликів є обмежені ресурси. У краю відсутні обмеження щодо потужності обробки та пам’яті, що вимагає ефективних моделей ШІ.
– Конфіденційність даних: Хоча краєве обчислення може покращити конфіденційність даних через обробку даних на місці, інтеграція хмарних LLM може внести вразливості чи питання відповідності, якщо їх не управляти належним чином.
– Надійність та консистентність: Забезпечення того, що ШІ системи працюють послідовно на різних краєвих пристроях, важко, особливо оскільки ці пристрої можуть мати різні можливості.
Переваги:
– Зменшена затримка: Шляхом обробки даних на краївих пристроях відповідь може бути набагато швидшою, ніж при хмарній обробці.
– Нижчі вимоги до пропускної здатності: Передача оброблених даних в хмару може бути інтенсивною за пропускною спроможністю. Місцева обробка зменшує ці вимоги.
– Покращений рівень конфіденційності: Обробка місцевих даних може допомогти відповідати вимогам регламентаторів щодо збереження надійних даних на місці.
Недоліки:
– Обмеження обчислень: Крайові пристрої можуть бути не такими потужними, як хмарна інфраструктура, що може обмежувати складність завдань, які вони можуть виконувати.
– Масштабованість: Управління та оновленням моделей ШІ на численних краєвих пристроях може бути більш складним, ніж на централізованій хмаровій інфраструктурі.
– Залежність від хмарових сервісів: Хоча інтеграція спрощує розгортання PoC, вона все одно може ґрунтуватися на сервісах хмари, таких як ChatGPT, що може бути точкою відмови чи вразливістю.
Для отримання додаткової інформації про компанію Idein Inc. та їх розробки в галузі краєвого ШІ, ви можете відвідати офіційний веб-сайт Idein.
The source of the article is from the blog foodnext.nl