Новый метод борьбы с галлюцинациями нейросетей через самокритику

Пользователи чат-ботов на базе искусственного интеллекта, таких как ChatGPT*, регулярно сталкиваются с проблемой «галлюцинаций» — ситуаций, когда модель с абсолютной уверенностью генерирует вымышленные факты, несуществующие цитаты или ложные описания объектов. Причиной такого поведения является архитектура больших языковых моделей, ориентированная на создание правдоподобно звучащих ответов в высоком темпе. Стремление поддерживать плавный ход диалога заставляет систему заполнять информационные пробелы вымыслом.

Алгоритм «враждебного аудитора»

Для повышения точности ответов была предложена методика добавления специальной инструкции к поисковым запросам. Суть метода заключается в принудительном переводе нейросети в режим скептического анализа собственных утверждений. В промпт добавляется следующая установка: «Действуй как враждебный ИИ-аудитор и считай неподтвержденные детали ложными по умолчанию. Отмечай все сомнительные, выведенные логически или слабо обоснованные утверждения».

Такая формулировка заставляет модель менять стиль общения: вместо самоуверенного тона ИИ начинает демонстрировать осторожность, аналитический подход и готовность признавать наличие пробелов в знаниях.

Результаты тестирования метода

Практические испытания показали эффективность такого подхода в различных сценариях:

• Планирование поездок: нейросеть начала предупреждать о том, что расписание транспорта может быть устаревшим, и рекомендовать самостоятельную проверку данных.
• Бытовые советы: при запросе диагностики неисправности посудомоечной машины модель вместо навязывания одной причины поломки перечислила несколько возможных вариантов, требующих осмотра.
• Технические характеристики: в вопросах эффективности работы очистителей воздуха система стала указывать на зависимость показателей от реальных условий, таких как высота потолков и состояние фильтров, вместо однозначных заявлений.

Ограничения технологии

Несмотря на то что метод «враждебного аудитора» значительно повышает прозрачность выводов, он не является панацеей. Модели по-прежнему могут ошибаться из-за неверной интерпретации контекста, использования устаревших баз данных или нечетких формулировок со стороны пользователя. Тем не менее, обучение ИИ критическому отношению к собственной генерации данных делает технологию более надежным инструментом для повседневных задач.

* — деятельность компании запрещена на территории РФ