antony_w (antony_w) wrote,
antony_w
antony_w

Нейросеть покажет фотографию с новых ракурсов



Американские исследователи разработали алгоритм, создающий из двух снятых с близких ракурсов кадров новые снимки с других ракурсов. Его можно использовать для создания стереопар с помощью смартфонов с двумя камерами, рассказывают разработчики в статье, которая будет представлена на конференции SIGGRAPH 2018.

В последние два года многие смартфоны стали оснащаться модулями с двумя камерами. Некоторые производители используют их для увеличения четкости за счет совмещения снимков, другие устанавливают камеры с разными объективами. Кроме того их можно было бы использовать для создания стереопар, но в большинстве смартфонов с двойными камерами объективы располагаются на расстоянии примерно сантиметра друг от друга — в несколько раз меньшем, чем расстояние между зрачками человека.

Исследователи под руководством Ноя Снейвли (Noah Snavely) из Google разработали метод, позволяющий создавать на основе двух снимков с находящихся рядом камер множество снимков с других ракурсов, в том числе для создания стереопар. В отличие от предыдущих подобных разработок, позволяющих создавать фотографии с ракурсов, находящихся между двух исходных кадров, исследователи решили гораздо более сложную задачу и научились создавать снимки с ракурсов, не входящих в этот диапазон.



Исследователи использовали сверточную нейросеть, которая на основе полученной пары кадров создает многоплоскостное представление кадра, состоящее из нескольких десятков слоев, находящихся на равном расстоянии друг от друга. Каждый из этих слоев представляет собой кадр, несущий информацию о цвете и прозрачности областей на нем. Имея объемное представление сцены в кадре нейросеть может синтезировать фотографии с новых ракурсов, не совпадающих с исходными.



Многоплоскостное представление кадра

Разработчики натренировали нейросеть на более чем полутора тысячах роликов с YouTube с двигающейся возле статичных объектов камерой. В результате исследователи научились создавать стереопару с в восемь раз большим расстоянием между кадрами, чем в исходной паре снимков. Нейросеть научилась корректно обрабатывать отражения от глянцевых поверхностей, а также справляться с кадрами, снятыми как на улице, так и в помещениях или недалеко от предметов. Тем не менее, получаемые с ее помощью снимки зачастую имеют визуальные артефакты. Например, алгоритм не всегда корректно определяет глубину нахождения мелких объектов на сложном фоне из-за чего но новых кадрах эти объекты выглядят нереалистично.

Недавно индийские разработчики создали алгоритм, который умеет превращать размытое изображение в короткий видеоролик. Он анализирует артефакты движения на снимке и воссоздает из него картину происходящего в момент снимка.

Tags: нейросеть, фотографии
Subscribe

Posts from This Journal “нейросеть” Tag

promo antony_w august 17, 2014 11:48 18
Buy for 10 tokens
Есть блог, в котором написано много постов про роботов: ссылка И там есть несколько статей о замене рабочих мест человека роботами: Уже к 2018 году роботы отберут у человека часть профессий Рабский труд без зарплаты Армия роботов: зачем она нужна обильной людьми Поднебесной и кому может…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments