«Вікіпедію» може редагувати хто завгодно, тому правила вимагають підтвердження фактів і цитат. Волонтери-редактори ще раз перевіряють виноски, але їм усе важче встигати — в енциклопедію додають понад 17 000 нових статей щомісяця. У Meta розробили модель, яка може допомогти з цим.
Що сталося
Спираючись на попередні дослідження, в Meta AI розробили першу модель, здатну автоматично сканувати сотні тисяч цитат одночасно, щоб перевірити, чи справді вони підтверджують щось у статті.
ШІ привертатиме увагу редакторів до сумнівних цитат і дає їм змогу зекономити час, не переглядаючи правильно цитовані твердження. Якщо цитата невдала, алгоритм запропонує краще джерело і конкретний уривок.
Як це працює
Система застосовує методи розуміння природної мови (NLU), щоб оцінити ймовірність того, що твердження можна вивести з джерела. У NLU модель перетворює людські речення (або слова, фрази чи абзаци) у складні математичні представлення. Інструменти Meta порівнюватимуть їх, щоб визначити, чи не суперечать твердження один одному. Зверніть увагу: порівнюють довгі фрагменти тексту, а не окремі слова.
Джерело знань — новий набір даних зі 134 млн вебсторінок, який є одним з основних компонентів системи Sphere. Пошукова бібліотека доступна тут із відкритим кодом. Алгоритмам надали 4 млн тверджень із «Вікіпедії» для тренування.
Що буде далі
Проєкт все ще на стадії дослідження і не використовується для автоматичного оновлення будь-якого вмісту у «Вікіпедії». Проте ці моделі є першими компонентами потенційних редакторів, які можуть допомогти перевіряти документи в реальному часі.
На додаток до пропозицій цитат, система пропонуватиме автозаповнення тексту та коректурні виправлення на основі відповідних документів із інтернету. В ідеалі моделі розумітимуть кілька мов і зможуть працювати з різним контентом — відео, зображеннями та таблицями.