Нейросеть воспроизвела процесс рисования картины | Популярный Университет

Нейросеть воспроизвела процесс рисования картины

Нейросеть предсказала мазки художников

Исследователи из Массачусетского технологического института создали специальную нейросеть. Она способна генерировать замедленные видеоролики, на которых запечатлëн восстановленный из конечного изображения процесс создания картины. Препринт статьи опубликован на сайте arXiv.org.

У каждого художника свой стиль и подход к рисованию. Они используют различные комбинации цветов, толщину кистей и длину мазков. Одну и ту же картину можно создать, используя совершенно разные техники.

Авторы нового исследования решили выяснить, можно ли сымитировать процесс создания произведений искусства с помощью нейросети. Для этого учëные создали алгоритм, который обучается с помощью замедленных видео с Vimeo и YouTube, на которых профессиональные художники рисуют картины. 

Вероятностная модель, созданная исследователями, способна предсказывать мазки художника, основываясь на его предыдущих движениях. Программу обучали на 117 видеороликах, на которых люди в замедленном действии рисовали картины с помощью графического планшета. В среднем такие видео длились четыре минуты. Второй набор данных включал 116 видеороликов, демонстрирующих рисование акварелью также в замедленном темпе. Каждый из них в среднем длился по 20 минут. Оба набора данных были составлены из пейзажей и натюрмортов.

Затем исследователи наняли 150 человек, которые оценивали работу нейросети после обработки тестового набора данных. Сама программа использовала метод визуальной депроекции. Он был создан в 2019 году и способен, обрабатывая изображение, восстанавливать его недостающие части.

Такие учёные использовали интерполяцию — функцию, которая позволяет восстанавливать недостающие кадры замедленного видео. Для этого необходимо, чтобы в распоряжении программы было конечное изображение. Для управления наборами видеоданных нейросеть удаляет все кадры, включающие кисти рук, кисти для рисования и тени.

На сегодня это первая программа, которая способна моделировать изображения «из прошлого», используя в качестве исходных данных только конечное изображение. Это может быть полезно, например, при восстановлении хода событий автокатастроф и преступлений или поведения людей на улицах городов.

Автор: Никита Шевцев
Редактор: Анастасия Воротникова

Понравился наш материал? Подписывайся на «Популярный университет» в социальных сетях: ВКонтакте, Telegram.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Поделиться

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: