В России разработали алгоритмы для выявления "галлюцинаций" у ИИ-систем

Сотрудники Московского государственного психолого-педагогического университета (МГППУ) создали алгоритмы и программное обеспечение, которые помогают выявлять "галлюцинации" у больших языковых моделей – убедительные, но ложные ответы. Об этом сообщили ТАСС в пресс-службе вуза.

Разработанные инструменты позволяют проверять достоверность ответов интеллектуальных ассистентов и автоматизировать подготовку запросов на основе заданных аннотаций, автоматизируя работу промпт-инженеров.

В основе подхода – два алгоритма: первый подбирает запрос, второй оценивает, насколько правдоподобно сформулировано утверждение. Сами запросы и ответы рассматриваются как элементы метрических пространств, где расстояние между текстами определяется через семантическую близость. Это дает возможность формализовать смысловые различия и применять статистические методы анализа.

Как отметили в университете, результаты работы могут быть полезны специалистам в области программирования и математики, которые занимаются развитием больших языковых моделей.

Вместе с тем в России планируется создать федеральный оперативный штаб по развитию технологий искусственного интеллекта (ИИ). Он будет рассматривать вопросы внедрения ИИ и повышения его результативности. Структура в том числе займется координацией разработки и внедрения доверенного ИИ.