Кусок керамики научил нейронную сеть забывать по-человечески

История компьютерных имитаций нервной системы так же стара, как история компьютеров. Тёплую ламповую нейронную сеть соорудил ещё Марвин Минский в 1951 году.

Сейчас подобные сети распознают изображения, переводят текст, прогнозируют погоду и курсы акций, даже готовят для юристов черновики документов. Кибернетических мыслителей научили обыгрывать в го сильнейших игроков на планете (между прочим, эта игра даётся компьютерам куда труднее, чем шахматы), оценивать качество фотографий, искать новые лекарства и делать много других интересных и полезных вещей.

Такие способности нейронной сети придаёт её природа: она имитирует работу нервной системы. Напомним, что нейроны, получив на входе новые данные, ''голосуют'' за то или иное решение. ''Обмен мнениями'' происходит через межнейронные соединения – синапсы, которые могут иметь разную пропускную способность. В зависимости от проводимости отдельных синапсов голоса разных нейронов получают разный вес. Если в результате было выработано правильное решение, ''распределение ролей'' закрепляется, если нет – ищется новое.

Постепенно складывается всё более удачная карта проводимости межнейронных соединений, правильные ответы появляются всё чаще и чаще. В случае с компьютерами этот процесс называется самообучением сети. В общих чертах картина выглядит так, хотя может сильно разниться в деталях в зависимости от заложенной в устройство конкретной модели обучения.

Всё это весьма напоминает процесс обучения живого мозга. Характерно, что сеть, в отличие от классического компьютера, не нуждается в программе, по пунктам расписывающей, как достичь результата. Она действует путём проб и ошибок, запоминая удачные решения. Это и позволяет возложить на кибернетический мозг задачи, которые с трудом поддаются алгоритмизации и долго считались исключительной прерогативой человека.

Но между искусственной и естественной нервной системой есть важные различия. У машин каждая новая порция данных может изменить любой синапс, и в результате фрагмент уже накопленного опыта может быть внезапно утрачен. Это явление называется катастрофическим забыванием. С ним борются, снова и снова подавая в нейронную сеть одну и ту же информацию. Такое повторение пройденного впустую расходует рабочее время сети, что, конечно, непрактично. Это мало похоже на поведение нашего мозга, который утрачивает невостребованные навыки медленно и постепенно, а не внезапно и в результате обучения чему-то новому.

Решение пришло с неожиданной стороны. Группа исследователей во главе с Фанем Цзо (Fan Zuo) из Университета Пердью изучала, как керамический материал, представляющий собой соединение самария, никеля и кислорода (химическая формула SmNiO3), реагирует на газообразный водород. Ни в чём не повинному веществу устраивали водородные ванны по замысловатому сценарию: сначала резко повышали концентрацию водорода в среде, потом так же быстро возвращали её к первоначальному уровню и через некоторое время повторяли процедуру. Как отмечают авторы, это напоминает периодическую подачу сигнала, вроде звонка или вспышки света.

Когда атомы водорода проникали в материал, электрические свойства последнего скачкообразно менялись. Через некоторое время газ улетучивался, и параметры вещества возвращались к прежним значениям до следующего "водородного шока". Но вот что интересно: отклик на каждый следующий импульс был всё меньше и меньше.

Учёные усмотрели в этом сходство с привыканием – простейшей формой обучения, которая характерна даже для слизней и мушек-дрозофил. Если сигнал повторяется снова и снова, мы перестаём его замечать, воспринимаем как фон. Это весьма полезное умение: много ли было бы проку от наших органов чувств, если бы мы чувствовали запах кислорода или вздрагивали от каждого такта тикающих часов?

Вдохновлённые сходством процессов столь разной природы, учёные присмотрелись к своему "подопытному" внимательнее. Воздействие водорода на привыкающий к нему материал было исчерпывающе изучено как теоретически, так и экспериментально. Обобщив полученные данные, исследователи продолжили аналогию с нервными процессами и предложили новую модель обучения нейронной сети. Оказалось, что она не страдает от внезапных приступов амнезии, доставляющих столько хлопот при обычных методиках обучения.

Чтобы проверить это, учёные собрали две одинаковые сети из девяти нейронов. Одну из них обучали обычным способом, а другую по новому алгоритму. Задание было, на человеческий взгляд, простым: научиться распознавать три цифры. Сначала обе сети тренировали узнавать цифру 0, потом –цифру 1 и, наконец, цифру 2.

Обычная нейронная сеть, как только её стали учить распознавать единицу, моментально разучилась видеть ноль – ведь картина проводимости синапсов, сформированная для предыдущей задачи, была совершенно бесполезна для нынешней. Вот оно, "катастрофическое забывание" в действии. А вот сеть, обучаемая по экспериментальному алгоритму, освоилась с единицей, ничуть при этом не забыв, как выглядит ноль. Это уже куда больше напоминает нервные процессы живого существа – кто бы мог подумать, что их удастся смоделировать, изучая реакцию керамического материала на водород.

Правда, когда сеть стали учить распознавать двойку, она всё-таки утратила память о нуле, но исследователи связывают это с её ограниченным объёмом – как-никак всего девять нейронов. В нашем мозге их сотни миллиардов, и то мы порой забываем выключить чайник.

Научная статья с результатами исследования опубликована в журнале Nature Communications.