Вигадує діагнози та фрази: як працює ШІ-інструмент від OpenAI для транскрипції медичних записів

ШІ-інструмент, який використовують у лікарнях для запису і підбиття підсумків зустрічей з пацієнтами, іноді додає вигадані фрази, повідомляє The Verge. Ми вибрали головне.

Що сталося

У лікарнях, які користуються ШІ-інструментом Whisper для транскрипції медичних записів, виявили проблему — ШІ іноді вигадує слова та фрази, яких насправді не було в аудіозаписі.

Whisper, розроблений компанією OpenAI, вже розшифрував близько 7 млн медичних записів і його використовують понад 30 000 лікарів та в 40 системах охорони здоров’я. Але дослідники з Корнельського та Вашингтонського університетів виявили, що приблизно 1% транскрипцій має «галюцинації» — фрази, яких не було в оригінальному записі.

Наприклад, Whisper іноді додає вигадані діагнози чи фрази, як-от «Дякую за перегляд!», що більше підходять для відео на YouTube, ніж для медичної розмови. Представники компанії Nabla, яка використовує даний інструмент зазначили, що усвідомлюють проблему, й запровадять додаткові перевірки.

Тепер тексти проходять перевірку іншою мовною моделлю (LLM), яка шукає підтвердження даних, щоб уникнути помилок.

Як заявили СТО компанії Nabla Мартін Резон та інженер з машинного навчання Сем Хюмо у блозі, ці транскрипції не додаються одразу в медичні записи, а додаткові заходи мають мінімізувати ризики.