Texty.org.ua спільно з OpenBabylon, перевірили 27 відкритих мовних моделей і з’ясували, що деякі з них транслюють проросійські наративи, а інші — визнають агресію росії та підтримують Україну. Розповідаємо деталі.
Що сталося
Дослідники поставили 2803 запитання про Україну англійською мовою 27 мовним моделям від різних компаній та перевірили їхні відповіді на упередженість. Для оцінки кожне запитання мало чотири варіанти — від проукраїнського до проросійського.
Вони аналізували мовні моделі (large language models, LLM), а не ШІ-чати (ChatGPT, Gemini, Grok). Тому що мовні моделі лежать в основі чат-ботів — це їхній мозок. А ШІ-чати — це застосунки, що використовують таку модель, але мають додаткові обмеження. Наприклад, чат-бот ChatGPT працює на мовних моделях GPT від OpenAI. Чат-бот може давати інші відповіді, ніж сама модель, бо OpenAI додала в нього правила поведінки, модерацію тощо.
Перевіряли моделі від MamayLM, Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral і Meta.
Що показало дослідження
Мовні моделі по-різному відгукуються про Україну. Одні одразу називають росію агресором і визнають, що Крим український, інші уникають відповіді або повторюють російські тези. Найбільш упереджена модель писала дезінформацію майже в третині відповідей. Найчастіше викривлення з’являлися на темах історії, геополітики та ідентичності.
Аналіз майже 3 000 запитань показав, що домінує нейтральність. Вона найчастіше проявляється у темах про антикорупцію (52%), ідеологію (50%), державне управління (46%).
Найбільше проукраїнських відповідей дали моделі серії Phi від Microsoft та aya-vision-32b від Cohere — у середньому 38–40%. Найкращі відповіді мовних моделей з проукраїнськими відповідями в таких країнах:
- Канада 30,8%.
- Франція 26,7%.
- Америка 25,4%.
- Китай 22,1%.
Російські пропагандистські відповіді найбільше з’являлися у відповідях про історію (27%), геополітику (24%) та національну ідентичність (23%). Моделі давали поверхневі відповіді в темах геополітики (13%) та безпеки (11%).
Нагадуємо, нещодавно ми писали, що світовий економічний форум оприлюднив звіт Future of Jobs Report 2025, в якому змоделював трансформації на глобальному ринку праці.