ChatGPT та інші ШІ перевірять на українську: в Україні запустили національний рейтинг
Режим читання збільшує текст, прибирає всю зайву інформацію зі сторінки і дозволяє зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.
Міністерство цифрової трансформації України разом із партнерами запустило перший національний рейтинг штучного інтелекту — Ukrainian LLM Leaderboard. Розповідаємо деталі.
Що сталося
В Україні запустили перший національний рейтинг штучного інтелекту — Ukrainian LLM Leaderboard, метою якого є чесно та об’єктивно виміряти, наскільки якісно різні Ші-моделі володіють українською мовою.
Платформу розробили Центр компетенцій WINWIN AI при Мінцифрі, Український католицький університет (УКУ) та громадська ініціатива lang-uk. Правила оцінювання створили експерти Юрій Панів та Дмитро Чаплінський, які понад 10 років навчають нейромережі розуміти українську мову.
Моделі тестують на завданнях, максимально наближених до реального життя. ШІ повинен:
- Перекладати й робити стислі підсумки великих текстів.
- Шукати відповіді в документах та вирішувати логічні задачі.
- Складати тести зі шкільної програми на рівні ЗНО.
- Робити математичні обчислення та виконувати складні інструкції.
Чому це цікаво
Раніше якість роботи ШІ оцінювали закордонні рейтинги переважно англійською мовою, а українську перевіряли через простий машинний переклад, який приховував реальні помилки. Через це розробники та компанії обирали технології практично «наосліп».
Крім того, чимало популярних нейромереж досі дають відповіді з російськими русизмами, перекручують відмінки або навіть вигадують фейки про Україну. Після перевірок бізнес, держава та науковці матимуть чітку й доведену базу даних для вибору технологій.
Що далі
Рейтинг будуть постійно оновлювати та розширювати. У майбутньому планують додати:
- Перевірку того, як ШІ працює із зображеннями.
- Аналіз вартості використання моделей українською.
- Оцінку етичності та безпеки роботи з персональними даними й офіційними державними документами.
Усі результати тестів, коди та дані є повністю відкритими для громадськості на платформі HuggingFace.
Більше про це
Claude Academy: Anthropic запустила безплатні курси з роботи зі ШІ
Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.
Партнерські матеріали
