Важное открытие для мира технологий: галлюцинации ИИ теперь проще обнаруживать

Специалисты Сбера нашли новый способ выявлять ошибки в работе нейросетей. Они создали метод, который на 30% улучшает обнаружение недостоверных ответов у больших языковых моделей. Это позволяет резко сократить потребность в данных для обучения систем контроля. Разработка уже представлена на международной конференции SIGIR.

Как сообщает корреспондент Информационного агентства МАНГАЗЕЯ, проблема так называемых галлюцинаций искусственного интеллекта сегодня крайне актуальна. Языковые модели иногда выдают убедительные, но совершенно ложные сведения. Современные методы борьбы с этим требуют огромных массивов специально подготовленной информации. Новая разработка российских ученых обходится всего двумястами пятьюдесятью примерами. Это в несколько раз меньше, чем нужно аналогам.

Исследователи из Центра практического искусственного интеллекта Сбербанка проанализировали существующие подходы. Они разработали специальные метамодели. Этот термин означает вспомогательные алгоритмы, которые управляют основными системами. Они анализируют вопросы и ответы в связке с исходным контекстом. Метод использует умное сжатие информации для повышения эффективности.

Директор Центра Глеб Гусев подчеркивает важность работы для реального бизнеса. Он отмечает, что исследование кардинально меняет подход к оценке качества искусственного интеллекта. Новый способ значительно экономит ресурсы компаний, которым нужна точная информация. Это прорыв в обеспечении достоверности нейросетей.

Внедрение разработки снижает риски распространения дезинформации через ИИ-сервисы. Пользователи начинают получать более надежные ответы. Это укрепляет общее доверие к технологиям искусственного интеллекта. Разработчики и ученые получают мощный инструмент для анализа больших языковых моделей. Решение особенно ценно для современных RAG-систем. Эти системы позволяют нейросетям работать с внешними базами знаний, что является ключом к многокомпонентным интеллектуальным агентам.