Українські айтівці розробили фреймворк для інтеграції LLM у чатботи

Айтівці з Master of Code Global представили фреймворк для інтеграції великих мовних моделей у чатботи. Подробицями поділилися з нами.

Що сталося

Нещодавно айтівці з Master of Code Global розробили застосунок для замовлення побутових послуг для мешканців Кувейту та ОАЕ та чатбот для католицької церкви в Нью-Йорку.

IT-компанія Master of Code Global презентувала інструмент для інтеграції великих мовних моделей (таких як ChatGPT) у розмовні рішення з використанням штучного інтелекту — Large Language Model Orchestrator Framework Tool (LOFT).

Пояснюють: раніше IT-компанія EPAM презентувала фреймворк із аналогічними цілями під назвою DIAL. На думку розробників Master of Code Global, фреймворк DIAL є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. DIAL більше підходить для корпоративного рівня — бізнес-рішень із використанням ШІ, які вимагають широкого спектру інтеграцій.

Основні функції LOFT:

• Агностичний фреймворк — інтегрується в будь-яку бекенд-систему, незалежно від HTTP-фреймворка.
• Архітектура на основі черг — оптимізована для сценаріїв з високою пропускною здатністю.
• Динамічні промпти — можна змінювати промпти перед відправленням до API LLM.
• Підтримка проміжного програмного забезпечення — налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM).
• Виявлення та обробка подій — розширені можливості для виявлення та обробки подій у чаті.
• Обмеження частоти та горизонтальне масштабування — вбудовані можливості обмеження частоти запитів, які вдало працюють у горизонтально масштабованих середовищах.

«LOFT — це наша відповідь на зростаючий попит щодо інтеграції ШІ в розмовні рішення. Першу версію LOFT ми продемонстрували на одній із найбільших конференцій розробників у Європі, яка цього року вперше відбулася в США — Shift Conference. З тих пір фреймворк вдосконалюється. І ми вже маємо декілька кейсів його практичного використання з боку клієнтів», — каже CEO Master of Code Global Дмитро Гриценко.