В Эрмитаже используют нейросети для изучения английских сатирических гравюр

Новые технологии для изучения английских сатирических гравюр прошлых веков применяют в Санкт-Петербурге. Работа по их изучению и сравнению требует много времени. Чтобы сделать этот процесс более продуктивным, искусствоведы Эрмитажа вместе с сотрудниками Европейского университета используют искусственный интеллект. Подробнее о разработке расскажет Анастасия Ионова.

Лишь два музея в мире могут похвастать большой коллекцией английских сатирических гравюр XVIII–XIX веков. Самое внушительное количество изображений – в Британском музее, там их около 25 тысяч. Чтобы без лишних усилий проанализировать коллекцию, найти уникальные изображения – те, которые есть только в Эрмитаже, – сотрудники музея совместно с Европейским университетом создали собственный инструмент для изучения гравюр.

"Поскольку гравюры были тиражируемыми, они действительно могли быть повторяющимися, но у них есть отличия. Они не идентичны, что усложняет процесс. Почему мы не можем просто сравнить две картинки? Там могут быть дополнены детали, наоборот, убраны детали. И все эти нюансы не позволяют нам достоверно самыми базовыми математическими алгоритмами сравнивать. И здесь нам потребовались новые технологии, искусственный интеллект, чтобы сделать это сравнение более качественно", – пояснила руководитель лаборатории искусства и искусственного интеллекта Европейского университета Анастасия Старобыховская.

С помощью программы уже получилось проверить экземпляры английских сатирических гравюр и найти среди них редкие. Около двух тысяч рисунков, которые в единственном экземпляре и на хранении в Эрмитаже. Искусственный интеллект сканирует и сравнивает картинку буквально за считанные секунды, когда у сотрудников музея ушло бы на это несколько лет. В будущем разработчики планируют научить нейросеть определять, что за персонаж изображен и кто автор. Сама программа выглядит просто и похожа больше на сайт с картинами: уже обработанные изображения в каталоге с подробным описанием. Там же указано, где сходство и различие между одинаковыми, на первый взгляд, гравюрами. Как говорят авторы технологии, самым сложным было научить искусственный интеллект распознавать человека или части тела.

"Есть некоторые смешанные моменты, когда, например, голова персонажа находится у него в руках, и это уже не очень-то похоже на человека, и здесь мы как раз видим то, как выделяет в данном случае алгоритм этого персонажа. Он тоже может делать это вариативно для того, чтобы мы имели некоторые варианты, как дальше это исследовать", – продолжила Анастасия Старобыховская.

Также часто в карикатурах встречаются персонажи, у которых тело человека скомбинировано с животным или же изображения могут быть раскрашены в разные цвета. Но относить их к разным гравюрам нельзя. Поэтому создатели нового продукта учли: все детали на картинке нейросеть должна уметь правильно сопоставить и расшифровать так, чтобы точно понимать, перед ними одна и та же гравюра или несколько разных. Программу планируют сделать доступной для каждого человека, не только в кругах исследователей.

"Мы готовим электронную базу: открытую, общедоступную, где можно было бы с этим большим массивом данных работать. Причем не просто искать по названию, а например по теме, по персонажам. И чтобы, например, если человек занимается ампирной модой, вот он зашел, ввел тему "мода", выбрал там 800-е-810-е годы и получил остроумный отклик англичан на все эти элегантные прозрачные платья", – сообщил научный сотрудник Государственного Эрмитажа Василий Успенский.

Благодаря новым технологиям, можно внести значительный вклад в изучение гравюр, дополнив международный каталог новыми данными из собственных собраний.