OpenAI опублікувала дослідження, яке пояснює, чому мовні моделі, зокрема GPT-5 і ChatGPT, створюють хибні твердження. Дослідники вважають, що проблема не лише в навчанні моделей, а й у тому, як їх оцінюють. Про це пише TechCrunch.
Що сталося
Нещодавно проводилось дослідження, яке пояснило, чому мовні моделі, зокрема GPT-5 і ChatGPT, створюють неправильні відповіді. Компанія OpenAI назвала галюцинації фундаментальною проблемою великих мовних моделей, яку неможливо повністю усунути. Дослідники навели приклад: запитавши чат-бота про дисертацію та день народження науковця Адама Калая, вони отримали кілька різних відповідей — усі неправильні.
На думку OpenAI, моделі помиляються не лише через те, що під час навчання вони вчаться передбачати наступне слово, а не відрізняти істину від хибності, а й через неправильну систему оцінювання.
Сучасні тести винагороджують лише правильні відповіді та заохочують моделей робити здогадки замість того, щоб визнавати «я не знаю». Дослідники пропонують змінити підхід: карати за впевнені помилки більше, ніж за невизначеність, і частково зараховувати відповіді, що виражають сумнів.
Нагадуємо, раніше ми писали, що Сем Альтман опублікував есе, в якому описав своє бачення розвитку штучного інтелекту. Він вважає, що людство вже на порозі появи суперінтелекту, а ШІ незабаром автоматизує не лише інтелектуальну працю, а й фізичну.