Новая технология, создает 3D анимацию из фото или картинки

Исследователи из Университета Вашингтона и компании Facebook совместно создали новую интересную технологию. Это программа может превратить любого персонажа из картинки или фото в подвижную 3D-модель. Создатели называли это Photo Wake-Up.

Анимированная картина Пикассо

Как это работает

Специально разработанная программа с искусственным интеллектомискусственным интеллектом заставляет нарисованную фигуру выйти из кадра. Это может быть как сфотографированный человек, так и нарисованный персонаж. Кроме ходьбы, они могут совершать другие движения, например, бегать, сидеть или прыгать.

Работает этот так:

• Программа анализирует неподвижное изображение, чтобы обнаружить человеческий облик. Затем на фигуру налаживается маска, чтобы отделить ее от остальной части изображения и создать 3D-шаблон.
• Следующим шагом алгоритм отмечает месторасположение каждой части тела, создавая карту тела. Эта карта используется для воспроизведения реалистичного движения.
• Исходное изображение налаживают на трехмерную модель тела, то есть в конечном итоге используется 2D-шаблон.
• Напоследок программа восстанавливает фон, который находится позади фигуры, чтобы на ее месте не осталась белая дыра. Для этого она использует данные из других частей изображения.

Полное описание алгоритма исследователи представят в конце июня на конференции в Лонг-Бич, штат Калифорния.

Создание 3D-модели из неподвижных изображений, как правило, требует нескольких фотографий, показывающих объект под разными углами. Технология Photo Wake-Up обошла эту проблему. Это должно совершить прорыв в области анимирования.

Есть ли ограничения?

Технология работает с чем угодно, от фотографии Бритни Спирс на обложке журнала, до картин Пикассо. Но программа может обрабатывать только те фотографии и рисунки, на которых изображен 1 персонаж. Есть у нее и другие ограничения. Например, она не может справиться с людьми, у которых скрещены руки или ноги.

Но это все еще ранняя версия. Текущее версия, разработка которой финансировалась Facebook, Huawei и Google, – это всего лишь малая часть того, на что способен подобный искусственный интеллект.

Область применения

Эта технология может использоваться в ряде приложений, включая дополненную реальность, для воплощения в жизнь фотографий и художественных произведений. Например, в музее вы сможете ознакомиться с интерактивными версиями картин. Иллюстраторы смогут легко превратить свои рисунки в анимированных персонажей. А дети могли бы щелкнуть мышью, чтобы превратить свои оцифрованные рисунки в мультфильмы.

Как показывают исследователи, эта технология особенно впечатляет в сочетании с гарнитурой дополненной реальности. Алгоритм заставит любого персонажа «шагнуть к вам», в реальный мир.