Айтівці з Master of Code Global представили фреймворк для інтеграції великих мовних моделей у чатботи. Подробицями поділилися з нами.
Що сталося
Нещодавно айтівці з Master of Code Global розробили застосунок для замовлення побутових послуг для мешканців Кувейту та ОАЕ та чатбот для католицької церкви в Нью-Йорку.
IT-компанія Master of Code Global презентувала інструмент для інтеграції великих мовних моделей (таких як ChatGPT) у розмовні рішення з використанням штучного інтелекту — Large Language Model Orchestrator Framework Tool (LOFT).
Пояснюють: раніше IT-компанія EPAM презентувала фреймворк із аналогічними цілями під назвою DIAL. На думку розробників Master of Code Global, фреймворк DIAL є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. DIAL більше підходить для корпоративного рівня — бізнес-рішень із використанням ШІ, які вимагають широкого спектру інтеграцій.
Основні функції LOFT:
- Агностичний фреймворк — інтегрується в будь-яку бекенд-систему, незалежно від HTTP-фреймворка.
- Архітектура на основі черг — оптимізована для сценаріїв з високою пропускною здатністю.
- Динамічні промпти — можна змінювати промпти перед відправленням до API LLM.
- Підтримка проміжного програмного забезпечення — налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM).
- Виявлення та обробка подій — розширені можливості для виявлення та обробки подій у чаті.
- Обмеження частоти та горизонтальне масштабування — вбудовані можливості обмеження частоти запитів, які вдало працюють у горизонтально масштабованих середовищах.
«LOFT — це наша відповідь на зростаючий попит щодо інтеграції ШІ в розмовні рішення. Першу версію LOFT ми продемонстрували на одній із найбільших конференцій розробників у Європі, яка цього року вперше відбулася в США — Shift Conference. З тих пір фреймворк вдосконалюється. І ми вже маємо декілька кейсів його практичного використання з боку клієнтів», — каже CEO Master of Code Global Дмитро Гриценко.