«Нейронный суперсэмплинг» в будущем позволит Oculus Quest отображать графику консольного качества | ViaRia

Вход на сайт

Новый покупатель
  • Используйте введённые ранее данные
  • Отслеживайте статус заказа
  • Персонализированные предложения
  • Сохраняйте историю заказов

с 10:00 до 19:00

«Нейронный суперсэмплинг» в будущем позволит Oculus Quest отображать графику консольного качества

06.07.2020
«Нейронный суперсэмплинг» в будущем позволит Oculus Quest отображать графику консольного качества

Новая нейронная сеть, разработанная исследовательским отделом VR/AR от Facebook, может обеспечить графику консольного качества на будущих автономных гарнитурах.

Этот алгоритм «нейронного суперсэмплинга» может взять кадр с низким разрешением и увеличить его в 16 раз. Это означает, что, например, будущая гарнитура может теоретически управлять двумя панелями 3K, отображая только 1K на глаз - даже не нуждаясь в отслеживании глаз.

Возможность рендеринга с более низким разрешением означает, что у GPU больше возможностей для запуска детализированных шейдеров и расширенных эффектов, которые могут сократить разрыв между мобильным и консольным VR. Технология не может превратить мобильный чип в PlayStation, но это должно несколько сократить разрыв.

В последние несколько лет стали популярны алгоритмы «масштабирования AI», причем некоторые веб-сайты даже позволяют пользователям загружать любое изображение на свой ПК или телефон для увеличения масштаба. При наличии достаточного количества обучающих данных они могут дать значительно более подробный результат, чем традиционный апскейлинг. Алгоритм технически только «галлюцинирует» в том, как он ожидает, должна выглядеть недостающая деталь, но во многих случаях практических различий мало.

Facebook утверждает, что ее нейронная сеть является самой современной и превосходит все другие подобные алгоритмы - причина, по которой она может достичь 16-кратного масштабирования. То, что делает это возможным, является внутренним знанием глубины каждого объекта в сцене, с плоскими изображениями это было бы не так эффективно.

В приведенных примерах изображений алгоритм Facebook, похоже, достиг точки, в которой он может реконструировать даже мелкие детали, такие как узоры линий или сеток.

Еще в марте Facebook опубликовал похожую статью. В ней также описана идея высвобождения мощности графического процессора с помощью нейронного повышения частоты дискретизации. Но на самом деле это было не то, о чем шла речь. Прямая цель исследователей состояла в том, чтобы создать «основу» для запуска алгоритмов машинного обучения в режиме реального времени в рамках текущего конвейера рендеринга (с низкой задержкой), которого они достигли. Объединение этой структуры с данной нейронной сетью может сделать эту технологию практичной.

«Поскольку AR/VR-дисплеи достигают более высоких разрешений, более высокой частоты кадров и улучшенного фотореализма, методы нейронного суперсэмплинга могут быть ключевыми для воспроизведения резких деталей путем вывода их из данных сцены, а не для их прямой визуализации. Эта работа указывает на будущее виртуальной реальности с высоким разрешением, которая касается не только дисплеев, но и алгоритмов, необходимых для их практического применения», - поясняет Лей Сяо.

Пока это всего лишь исследование. Что мешает быть завтрашним обновлением программного обеспечения для вашего Oculus Quest? Сама нейронная сеть требует времени для обработки. Текущая версия работает на скорости 40 кадров в секунду с разрешением Quest на NVIDIA Titan V за 3000 долларов.

Но в машинном обучении оптимизация занимает второе место и происходит в крайней степени. Всего три года назад алгоритм, используемый Google Assistant для реалистичной речи, также требовал $3000 GPU. Сегодня он работает локально на нескольких смартфонах.

Исследователи «полагают, что метод может быть значительно быстрее с дальнейшей оптимизацией сети, аппаратным ускорением и проектированием профессионального уровня». Аппаратное ускорение для задач машинного обучения доступно на микросхемах Snapdragon. Qualcomm утверждает, что его XR2 имеет в 11 раз более высокую производительность ML, чем Quest.

Если оптимизация и модели, созданные для нейронных процессоров мобильных систем на кристалле, не работают, другой подход - это специализированная микросхема, разработанная для этой задачи. Такой подход был применен к мини-динамику Nest Mini за 50 долларов (самое дешевое устройство с локальным помощником Google). Сообщается, что Facebook работает с Samsung над специальными чипами для очков AR, но пока нет никаких признаков того, что то же самое происходит с VR.

Facebook классифицирует такой подход «нейронный рендеринг». Точно так же, как нейронная фотография помогла преодолеть разрыв между смартфонами и профессиональными камерами, Facebook надеется, что однажды она сможет вытянуть немного больше энергии из мобильных чипов, чем кто-либо мог ожидать.

-----
Добавить отзыв
Здесь Вы можете описать свои впечатления о приобритенных товарах, а также о самом процессе покупки, доставки или работы пункта выдачи. Мы стремимся постоянно улучшать наш сервис, расширять спектр продукции и географию работы. Поэтому мнение каждого покупателя важно для нас.
Имя*:
Отправляя форму, я даю согласие на обработку персональных данных.
* — Поля, обязательные для заполнения