Специалисты факультета информационных технологий Московского государственного психолого-педагогического университета (МГППУ) создали систему на основе искусственного интеллекта, которая способна оценивать достоверность ответов, генерируемых другими нейросетями.
Разработка призвана бороться с так называемыми «галлюцинациями» – ситуациями, когда алгоритмы выдают правдоподобные, но фактически ложные сведения, сообщает корреспондент сетевого издания «Белновости».
О новой технологии разработчики рассказали «Газете.Ru».
Как пояснили ученые, с ростом популярности ИИ проблема недостоверных ответов становится все более острой.
Нейросети могут уверенно формулировать несуществующие факты, вводя пользователей в заблуждение.
Созданная в МГППУ программа подходит к проверке истинности нестандартно: она использует так называемый алгоритм маятника.
В основе метода лежит анализ содержательного тезиса, который может быть как верным, так и ошибочным.
Система генерирует итеративную цепочку высказываний, последовательно подтверждающих и опровергающих друг друга.
Каждое новое утверждение создается интеллектуальным ассистентом как строгое смысловое опровержение предыдущего, при этом сохраняются предметная область и ключевые понятия.
В итоге формируются два массива текстов – поддерживающих исходный тезис и его отрицание, после чего проводится анализ их внутренней согласованности.
Разработчики исходят из гипотезы, что более согласованным окажется именно тот массив, который связан с содержательно более корректной позицией.
Такой подход, по их мнению, особенно эффективен в гуманитарных дисциплинах, где многие понятия носят размытый и контекстуальный характер, а прямое доказательство истинности высказывания затруднено.
В этих случаях структурный анализ согласованных и противоречивых формулировок становится важным инструментом оценки корректности ответа ИИ.
Созданная система уже доступна для тестирования и может применяться как исследователями, так и обычными пользователями, желающими перепроверить достоверность информации, полученной от нейросетей.
Автор: Виталий Кистерный
