Codec Avatars от Facebook: аватары с новым уровнем реалистичности

Новый проект Codec Avatars - это результат процесса, который использует машинное обучение для сбора и воссоздания мимики человека.
Многие годы мы взаимодействуем с другими в виртуальной реальности посредством аватаров – сгенерированных компьютером персонажей, которые представляют нас. И хотя виртуальное взаимодействие стало более естественным, из-за технических ограничений оно выглядит очень упрощенно.
Новый проект Codec Avatars - это результат процесса, который использует машинное обучение для сбора и воссоздания мимики человека. До его выхода в общественность еще очень далеко, в лучшем случае – годы.

Процесс создания аватаров очень сложен. Сначала вас отправляют в комнату под названием Mugsy, стены и потолок которой оснащены 132 стандартными объективами Canon, а 350 ламп направлены на стул, стоящий в центре. В Mugsy участники исследования проводят примерно час; они имитируют различные выражения лица и читают вслух разные предложения, пока сотрудник в другой комнате дает им инструкции через веб-камеру. Сожмите челюсть. Расслабьтесь. Покажите все зубы. Расслабьтесь. Втяните щеки, как рыба. Надуйте щеки. В другой комнате – Sociopticon – камеры фокусируются не только на лице, а на всем теле. Участников просят потрясти руками, попрыгать, сыграть в Крокодила.

Главное – захватить как можно больше информации, чтобы нейронная сеть могла в точности научиться имитировать выражения лица и движения с разных углов. Шеик вместе с командой планируют сканировать не только лицо, но и все тело, однако это случится нескоро.

Делать анимацию людей очень сложно. Даже крутые видеоигры не могут в точности воссоздать волосы, глаза, внутреннюю часть рта человека. Но Codec Avatars удалось проделать большой прогресс. Аватары людей в VR выглядят до ужаса реалистично. Конечно, есть небольшие недочеты – например, движение рта иногда не совпадает с темпом речи человека, язык выглядит немного нечетко. Но в целом все это кажется на грани невозможного.
Made on
Tilda