Исследовательский центр искусственного интеллекта ИОН Президентской академии

Команда ИЦИИ разработала бенчмарк SLAVA, включающий четырнадцать тысяч вопросов в русскоязычной области, охватывающих различные области гуманитарных знаний (история, обществознание, география, политологи), каждый вопрос которого оценивался по шкале чувствительности, отражающей отношение респондента к тематике вопроса. В докладе будут рассмотрены результаты тестирования бенчмарка на 42 современных LLM.

Современные бенчмарки для оценки доверенности имеют принципиальное ограничение: все задания в них разработаны для английского или китайского языков. Русскоязычные бенчмарки способны лишь частично оценить доверенность, их главная цель — оценка утилитарных навыков генеративных моделей. На текущем этапе разработки бенчмарка TrustGen наша команда ИЦИИ: ✔ разработали 14 задач для проверки 6 свойств доверенности ✔ предложили новый подход к оценке результатов с помощью дополнительной метрики TFNR ✔ оценили доверие к открытым LLM с помощью разработанного фреймворка

В настоящее время во многих компаниях активно внедряются RAG-системы, в том числе с накоплением данных (RAG with an Active Database). Данный подход позволяет адаптировать интеллектуальные системы под новые задачи и информацию без дообучения генеративных моделей и существенного изменения баз знаний. Примеры таких систем: автоматизация служб поддержки и контакт-центров, автоклассификация корпоративной почты. Однако внедрение указанных систем поднимает новые вопросы к информационной безопасности. Командой нашего Центра анализируются уязвимости в информационных систем на основе RAG. Так в ходе исследований были выявлены новые отравляющие атаки на RAG-системы с активными базами данных. Проведённые эксперименты подтверждают реальность новой угрозы для бизнес-решений.