Новая нейросеть может распознать замену лица

Ученые Калифорнийского университета в Риверсайде разработали глубокую нейронную сеть, которая может распознавать «deepfakes» — подмену видео и аудио.Она идентифицирует изображения на уровне пикселей с высокой точностью. О разработке ученые сообщили в журнале IEEE Transactions on Image Processing.

Будь то мягкое сглаживание морщин на портрете или видео, которым манипулируют, чтобы сделать его похожим на политика, говорящего что-то оскорбительное, все редактирование фотографий оставляет следы для правильных инструментов. Иногда эти следы почти незаметны человеческому глазу, но вот нейронным сетям под силу распознать их.

Глубокая нейронная сеть — это компьютерные системы, которые были обучены выполнять конкретные задачи, в этом случае распознавать измененные изображения. Эти сети организованы в связанные слои; их мощность зависит от числа слоев и структуре связей между ними.

Объекты в изображениях имеют границы, и всякий раз, когда объект вставляется или удаляется из изображения, его граница будет выглядеть по-разному. Например, кто-то с хорошими навыками Photoshop сделает все возможное, чтобы вставленный объект выглядел как можно более естественно, сглаживая эти границы.

Хотя эта манипуляция может обмануть невооруженный глаз, при рассмотрении пиксель за пикселем границы вставленного объекта можно различить. Например, они часто более гладкие, чем природные объекты. Обнаруживая границы вставленных и удаленных объектов, компьютер должен быть в состоянии идентифицировать измененные изображения.

Исследователи обозначили неманипулированные изображения и уместные пикселы в зонах границы манипулированных изображений в большом наборе данных фото. Цель состояла в том, чтобы научить нейронную сеть общим знаниям о управляемых и естественных областях фотографий. Они протестировали нейронную сеть с помощью набора изображений, которые она никогда раньше не видела, и в 90-95% случаев она верно определяла подделку и даже показывала манипулируемую область.

На данный момент ученые научили нейронную сеть определять подделку лишь на изображении, но, по их словам, следующий шаг будет направлен на анализ фейкового видео.