Українські айтівці розробили фреймворк для інтеграції LLM у чатботи

24 Листопада 2023, 15:49

2 хв читання

Юлія Ткач Шеф-редакторка, авторка і ведуча подкасту «Хто ці люди».

Режим читання увімкнено

Режим читання збільшує текст, прибирає все зайве зі сторінки та дає можливість зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.

Режим читання

Завершити

Айтівці з Master of Code Global представили фреймворк для інтеграції великих мовних моделей у чатботи. Подробицями поділилися з нами.

Що сталося

Нещодавно айтівці з Master of Code Global розробили застосунок для замовлення побутових послуг для мешканців Кувейту та ОАЕ та чатбот для католицької церкви в Нью-Йорку.

IT-компанія Master of Code Global презентувала інструмент для інтеграції великих мовних моделей (таких як ChatGPT) у розмовні рішення з використанням штучного інтелекту — Large Language Model Orchestrator Framework Tool (LOFT).

Пояснюють: раніше IT-компанія EPAM презентувала фреймворк із аналогічними цілями під назвою DIAL. На думку розробників Master of Code Global, фреймворк DIAL є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. DIAL більше підходить для корпоративного рівня — бізнес-рішень із використанням ШІ, які вимагають широкого спектру інтеграцій.

Основні функції LOFT:

Агностичний фреймворк — інтегрується в будь-яку бекенд-систему, незалежно від HTTP-фреймворка.
Архітектура на основі черг — оптимізована для сценаріїв з високою пропускною здатністю.
Динамічні промпти — можна змінювати промпти перед відправленням до API LLM.
Підтримка проміжного програмного забезпечення — налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM).
Виявлення та обробка подій — розширені можливості для виявлення та обробки подій у чаті.
Обмеження частоти та горизонтальне масштабування — вбудовані можливості обмеження частоти запитів, які вдало працюють у горизонтально масштабованих середовищах.

«LOFT — це наша відповідь на зростаючий попит щодо інтеграції ШІ в розмовні рішення. Першу версію LOFT ми продемонстрували на одній із найбільших конференцій розробників у Європі, яка цього року вперше відбулася в США — Shift Conference. З тих пір фреймворк вдосконалюється. І ми вже маємо декілька кейсів його практичного використання з боку клієнтів», — каже CEO Master of Code Global Дмитро Гриценко.