6 April 2023, 16:00 Виталина Власова

Искусственная нейросеть распределила роли и смогла в многозадачность

Ученые определили, что в импульсной нейронной сети, решающей последовательно несколько разных задач, возникают отдельные структуры, отвечающие за выполнение каждой из них. Для этого авторы обучили нейросеть решать шесть типов задач, в которых она делает выбор и запоминает информацию. Подобные эксперименты помогут понять, благодаря чему нейросети способны к многозадачности, а также улучшить существующие алгоритмы искусственного интеллекта.

Нервные клетки (нейроны) в головном мозге человека соединены в сложную сеть, работа которой лежит в основе нашего поведения, мышления и памяти. Принципы, по которым взаимодействуют нервные клетки, сейчас широко используются при создании искусственных нейронных сетей, то есть систем искусственного интеллекта. Нейросети можно обучить выполнять какую-либо задачу, иногда довольно сложную. Например, генерировать связный рассказ, как это делает ChatGPT, или создавать картинки на основе текста, как Midjourney.

Однако эти алгоритмы по энергоэффективности, устойчивости к помехам и способности обучаться различным типам задач сильно уступают биологическому мозгу: для работы им нужно в миллионы раз больше энергии, а для обучения — огромные массивы данных. Причина такого «отставания» заключается в том, что в существующих нейросетях не учитываются многие свойства, характерные для нервной системы. В связи с этим ученые разрабатывают новые поколения нейросетей, например, спайковые. В них элементы взаимодействуют по принципам, максимально похожим на процессы коммуникации между биологическими нейронами, а именно посылают друг другу короткие импульсы — спайки — и активируются в разное время. Однако до сих пор остается неясным, как именно элементы спайковых нейросетей взаимодействуют между собой в динамике, решая разные типы задач.

Ученые из Федерального исследовательского центра Институт прикладной физики имени А. В. Гапонова-Грехова РАН (Нижний Новгород) создали искусственную спайковую нейронную сеть, способную решать ряд задач — для их выполнения требовались функции, схожие с базовыми сенсорно-моторными и когнитивными функциями мозга. Авторы научили нейросеть решать шесть различных типов задач, которые можно условно разделить на две группы: задачи выбора и повторения. Например, среди задач первой группы была такая: сеть получала одновременно два зашумленных сигнала, один из которых был информативным, а второй неинформативным. Нейросеть должна была определить и классифицировать в соответствии с поставленным заданием информативный сигнал. В рамках задач второй группы нейросети, например, нужно было запомнить и воспроизвести с задержкой по времени сигнал с такими же характеристиками или близкими тем, что имел входной сигнал. С похожими задачами сталкиваются нейроны в головном мозге, когда мы принимаем какое-либо решение и запоминаем информацию.

Авторы проанализировали, насколько полученная нейронная сеть способна к многозадачности с помощью теста, который состоял из ста случайным образом скомбинированных задач всех шести возможных типов. Измеряя активность отдельных компонентов нейросети, исследователи определили, что после обучения нейроны приобретают специфические функции — они разделяются на группы, отвечающие за решение задач определенного типа. Эти группы активируются в тот момент, когда нейросеть должна решить именно тот вопрос, за который они отвечают. В остальное время эти элементы остаются практически неактивны и уступают место другим.

При этом часть нейронов оказалась менее избирательна и участвовала в ответе практически на все предложенные типы задач. Эта особенность также делает алгоритм очень похожим на биологическую нейронную сеть, поскольку в головном мозге также есть более и менее специфические нервные клетки. Одни активируются только в ответ на небольшое количество стимулов, а другие — почти на все, с которыми мы сталкиваемся. Обнаруженную специализацию авторы подтвердили, искусственно выведя из строя определенные группы нейронов. Это позволило доказать, что нейросеть становится неспособна решать задачи, за которые отвечали «выключенные» элементы.

«Наше исследование объясняет, как нейронная сеть справляется с разными вариантами когнитивных задач. Мы определили, что нейроны разделяются на группы, ответственные за выполнение различных заданий, а также рассмотрели спайковую динамику сети при переходе от одной задачи к другой», — рассказывает руководитель одного из проектов, поддержанных РНФ, Владимир Некоркин, член-корреспондент РАН, доктор физико-математических наук, заведующий отделом нелинейной динамики ИПФ РАН.

«Это поможет понять, как улучшить способность искусственного интеллекта к многозадачности, а также сделать его более энергоэффективным. Мы планируем расширить наши исследования в направлении нейроморфных архитектур и правил обучения», — рассказывает руководитель одного из проектов, поддержанных РНФ, Олег Масленников, кандидат физико-математических наук, старший научный сотрудник ИПФ РАН.

Source:  Пресс-служба РНФ

News article publications

Read also

Алгоритм распознал глобальные особенности в мозге людей с депрессией
Авторы по снимкам активности мозга строили функциональные сети, отражающие взаимодействия разных отделов головного мозга больных и здоровых людей. Различить две эти группы удалось с точностью в 82,6%
Machine learning
Medicine
Neural networks
Neuroscience
4 July 2023
Ученые представили самую большую в мире базу данных для квантовой химии
Она поможет расширить возможности квантовых исследований в области поиска новых материалов и разработки новых лекарств
Machine learning
Molecular modeling
Neural networks
Quantum Chemistry
22 December 2022
Нейросети помогут специалистам различать очень близкие виды насекомых
Оказывается, цифровые технологии способны справиться с этой задачей и тем самым упростить работу энтомологов, что важно не только для фундаментальной науки, но и для разработки эффективных способов борьбы с вредителями.
Ecology
Entomology
Machine learning
Neural networks
21 April 2022
Искусственный интеллект поможет сделать эскалаторы безопаснее
Ученые предложили систему, которая обрабатывает информацию с нескольких источников при помощи машинного обучения и рекуррентных нейросетей
Machine learning
Neural networks
19 April 2022
Нейросеть научилась превращать изображения химических молекул в SMILES-строки
Это поможет дополнить общую базу данных формулами химических соединений, которые были описаны еще до широкого распространения компьютеров
Chemoinformatics
Machine learning
Neural networks
13 January 2022
Нейронная сеть стала тренером для молодых боксеров
Московские ученые разработали нейронную сеть, которая помогла боксерам улучшить технику удара.
Machine learning
Neural networks
Sport
2 December 2021