Центр Когнитивного Моделирования МФТИ

В Центр когнитивного моделирования прибыло новое оборудование из Канады - мобильный робот с манипулятором Husky. Эта платформа производится компанией Clearpath уже несколько лет и является одним из самых надежных и популярных экспериментальных роботов для проведения передовых научно-исследовательских работ в области робототехники и искусственного интеллекта. Лаборатории нашего Центра планируют использовать Хаски для тестирования и демонстрации работы наших новых алгоритмов в области картирования, навигации, сегментирования и трекинга объектов, планирования траекторий, обучения с подкреплением. Наши стажеры и сотрудники получили новую современную экспериментальную установку для воплощения своих смелых идей. Благодарим нашего индустриального партнера - компанию Dragon Tree Labs, благодаря которой наш Центр несомненно получит новый импульс в развитии наших работ!

Currently, deep reinforcement learning (RL) shows impressive results in complex gaming and robotic environments. Often these results are achieved at the expense of huge computational costs and require an incredible number of episodes of interaction between the agent and the environment. There are two main approaches to improving the sample efficiency of reinforcement learning methods - using hierarchical methods and expert demonstrations. In this paper, we propose a combination of these approaches that allow the agent to use low-quality demonstrations in complex vision-based environments with multiple related goals. Our forgetful experience replay (ForgER) algorithm effectively handles errors in expert data and reduces quality losses when adapting the action space and states representation to the agent's capabilities. Our proposed goal-oriented structuring of replay buffer allows the agent to automatically highlight sub-goals for solving complex hierarchical tasks in demonstrations. Our method is universal and can be integrated into various off-policy methods. It surpasses all known existing state-of-the-art RL methods using expert demonstrations on various model environments. The solution based on our algorithm beats all the solutions for the famous MineRL competition and allows the agent to mine a diamond in the Minecraft environment.

В апреле 2021 года программный комитет ведущей конференции по нейросетевым технологиям в искусственном интеллекте NeurIPS 2021 одобрил заявку международной группы исследователей, куда входят сотрудники Центра когнитивного моделирования МФТИ, Microsoft, Facebook, о проведении соревнования IGLU:Interactive Grounded Language Understanding. Участникам будет предлагаться разработать два типа агентов: строителя и архитектора. Строитель должен уметь в среде Minecraft выполнять языковые инструкции архитектора по постройке различных конфигураций блоков. Архитектор, в свою очередь, должен обучиться эффективно выдавать инструкции. Первый раунд стартует уже в июле 2021 года. В рамках Летней школы Российской ассоциации искусственного интеллекта, которая будет проходить в Сириусе (Сочи), будут организованы туториалы для участников соревнования и отдельный трек для российских участников. Среди призов будут доступ к вычислительным кластерам, памятные призы и возможность представить свои результаты на специальном воркшопе в рамках NeurIPS 2021. Основные правила и даты указаны на сайте соревнования - https://iglu-contest.net.