ШІ-інструмент, який використовують у лікарнях для запису і підбиття підсумків зустрічей з пацієнтами, іноді додає вигадані фрази, повідомляє The Verge. Ми вибрали головне.
Що сталося
У лікарнях, які користуються ШІ-інструментом Whisper для транскрипції медичних записів, виявили проблему — ШІ іноді вигадує слова та фрази, яких насправді не було в аудіозаписі.
Whisper, розроблений компанією OpenAI, вже розшифрував близько 7 млн медичних записів і його використовують понад 30 000 лікарів та в 40 системах охорони здоров’я. Але дослідники з Корнельського та Вашингтонського університетів виявили, що приблизно 1% транскрипцій має «галюцинації» — фрази, яких не було в оригінальному записі.
Наприклад, Whisper іноді додає вигадані діагнози чи фрази, як-от «Дякую за перегляд!», що більше підходять для відео на YouTube, ніж для медичної розмови. Представники компанії Nabla, яка використовує даний інструмент зазначили, що усвідомлюють проблему, й запровадять додаткові перевірки.
Тепер тексти проходять перевірку іншою мовною моделлю (LLM), яка шукає підтвердження даних, щоб уникнути помилок.
Як заявили СТО компанії Nabla Мартін Резон та інженер з машинного навчання Сем Хюмо у блозі, ці транскрипції не додаються одразу в медичні записи, а додаткові заходи мають мінімізувати ризики.