Сначала определимся с терминами. Под виртуальной реальностью (Virtual Reality, VR) обычно понимают полное объемное моделирование виртуального мира с возможностью интерактивного взаимодействия с этой реальностью. Он полностью моделируется с помощью компьютерной графики, и воспроизводится пользовательской гарнитурой. Дополненная реальность (Augmented Reality, AR) представляет собой наложение изображений, сгенерированных с помощью компьютерной графики, на картины реального мира. Эти картины могут быть засняты видеокамерой заранее или передаваться на гарнитуру в реальном времени. Иногда при создании виртуальной реальности используется сочетание разных подходов, в результате граница между реальным миром и компьютерными образами расплывается и попытки отделить одно от другого теряют смысл. Такие сервисы называют смешанной реальностью (Mixed Reality, MR). А для всех видов новой реальности придуман объединяющий термин Х-reality, не требующий перевода.
Кроме того, к X-reality или даже к VR часто относят и панорамное видео, позволяющее просматривать круговую картинку (360° по горизонтали и 180° по вертикали). На самом деле эта реальность самая обычная, и в категорию виртуальных она попадает только потому, что там тоже создается подобие эффекта присутствия, а для съемки используются те же панорамные камеры.
Несмотря на множество проблем, неизбежно сопровождающих развитие новых отраслей, по мнению аналитиков, рынок «Х-реальности» ждет стремительный рост (рис. 1). В первую очередь будет расти сегмент видеоигр (рис. 2), однако свою долю получат освещение живых событий — здесь, вероятно, львиная доля придется на панорамное видео, развлекательное видео, а также разные области, не имеющие отношения к развлечениям. Но это обобщенные данные, так как у каждого вида реальности есть свои приоритетные ниши и форматы услуг.
Сходства и отличия
Проще всего реализуется панорамное видео, а сложнее всего — VR. Дополненная реальность может конкурировать с виртуальной по степени wow-эффекта, однако требования к воспроизводящей аппаратуре для нее ниже. Оборудование для воспроизведения виртуальной реальности пока либо громоздкое и дорогое, либо довольно ущербное. Поэтому неудивительно, что сегодня AR-приложения заметно более популярны. Самый показательный пример тому — игра Pokemon Go, пик интереса к которой пришелся на 2016 год. За три летних месяца доходы от ее продажи составили $600 млн, что превысило доход всего остального рынка VR-игр за целый год.
В целом у виртуальной реальности несколько другие ниши. Этот формат хорошо подходит для игр, обучения, продаж, маркетинга и других приложений, не требующих реалистичной картинки, в то же время он практически нереализуем там, где реалистичная картинка нужна. В частности, в телевидении эксперименты с виртуальной реальностью проводятся почти исключительно с мультфильмами. А наложение той же мультипликации на реальный видеоряд — это уже дополненная реальность.
AR может также найти применение в медицине, военной индустрии, торговле и даже спорте. В формате дополненной реальности проще убедительно отобразить реакцию на активные действия пользователя. Однако для предъявления ему правильно меняющейся картинки необходима точная отработка движения пользователя датчиками гарнитуры, и здесь все упирается в ее стоимость.
3DoF и 6DoF
Выделяют два типа VR-систем, различающихся по числу степеней свободы движения. Системы с тремя степенями свободы 3DoF (Degrees of Freedom) позволяют пользователю только крутить головой или вращаться на стуле. При этом любые поступательные движения головой приводят к тому, что весь виртуальный мир сдвигается вместе с ней. Неприятность заключается в том, что даже сидя на стуле, пользователь неизбежно делает поступательные движения головой со всеми вытекающими последствиями. Это сбивает нормальную работу вестибулярного аппарата пользователя, вызывая у него тошноту и головокружение.
Системы с шестью степенями свободы 6DoF позволяют ему перемещаться по комнате, продолжая при этом крутить головой. Такие системы требуют более продвинутой оснастки. Чтобы отслеживать наклоны и повороты головы, достаточно акселерометров и гироскопов, которыми оснащается большинство смартфонов, а вот точно отследить перемещение в пространстве гораздо сложнее, штатные датчики делают это с точностью в несколько метров. Поэтому на сегодняшний день ширпотреб в области X-Reality в основном поддерживает 3 DOF. Тем не менее есть и более продвинутые варианты, которых становится все больше.
Устройства воспроизведения X-Reality
Для полноценной VR предлагаются очки на любой вкус — от топовых линеек, таких как Oculus Rift и HTC Vive, до более простых: Google Cardboard и гарнитур, работающих в связке со смартфонами.
Лидерство по популярности с большим отрывом удерживает именно гарнитура для смартфонов, Samsung Gear VR — более половины всех проданных или скачанных в 2017 году приложений просматривались именно через эту гарнитуру. Второе место заняла Sony Play station VR. HTC Vive и Oculus Rift расположились на третьем и четвертом местах соответственно. Это шлемы виртуальной реальности, выводящие для каждого глаза картинку 1080 на 1200 пикселей с высокой частотой в 90 Гц, позволяющей снизить неприятные эффекты. Оба шлема имеют хорошие углы обзора и оснащены наушниками с трехмерным звуком. Но они дороги и требуют мощного компьютера, формирующего картинку, а также большого, свободного от мебели с острыми углами помещения, где можно развернуться в виртуальных баталиях. Менее качественные 3DoF-гарнитуры всего этого не требуют, на зато, как уже сказано, вызывают физический дискомфорт.
Из AR-устройств c 6DoF, возможно, самыми известными являются очки HoloLens, представленные два года назад компанией Microsoft. Они разработаны в качестве развития форм-фактора, начатого очками Google Glass, которые из-за наличия микрокамер общественность некоторых стран была склонна отнести к шпионским устройствам. Это конструкция, напоминающая забрало, оснащенная двумя оптическими HD-устройствами, позволяющими проектировать элементы дополненной реальности на прозрачные голографические линзы. Гарнитура также оборудована четырьмя камерами для круговой съемки, 3D-камерой с датчиком глубины сцены, четырьмя микрофонами, гиростабилизатором и световым сенсором с круговой диаграммой. Это оснащение позволяет реалистично отражать окружающую обстановку. Кроме того, гарнитура HoloLens умеет генерировать бинауральный звук, что позволяет управлять «местоположением» виртуального источника звука.
С марта 2016 года устройство доступно для разработчиков по цене $3 тыс., но версии для розничной продажи пока нет. Есть предположения, что пользовательский вариант будет отложен до третьего поколения (второе будет пропущено), которое, по слухам, появится в 2019 году. А нынешнюю версию в Microsoft ориентируют на разработчиков и корпоративных клиентов.Считается, что она может использоваться для демонстраций товара, для обучения, организации кругового обзора в военном деле и даже для проведения хирургических операций. Однако информации о практическом применении гарнитуры в какой-либо сфере пока нет.
В начале августа 2018 года в продажу поступило еще одно устройство — от калифорнийского стартапа Magic Leap. Об этом проекте долгое время было мало что известно, кроме того, что в него вкладываются крупные ИТ-компании, включая Google, и что сумма инвестиций составляет около $2,3 млрд.
Первая версия очков получила название Creator Edition. Так же как и Hololens, она в первую очередь предназначена для разработчиков приложений. Изначально предполагалось, что цена очков не превысит $1 тыс., но, вероятно, имелся в виду пользовательский вариант. Creator Edition предлагается за $2295. Заплатив еще $495, можно докупить «профессиональный набор разработчика». Когда выйдет версия для обычных пользователей, неизвестно. Возможно, после появления достаточного количества приложений.
Основная особенность Magic Leap One заключается в конструкции гарнитуры. Она включает три элемента: очки Lightwear, носимый компьютер Lightpack и контроллер. Очки Lightwear, по отзывам тех, кому удалось их протестировать, легкие и удобные, они использует набор камер и линзу для проектирования изображений на реальное окружение. В то же время тестировщики отмечают небольшое поле обзора, ограниченное 50°. У очков имеется разъем для наушников, но можно использовать и штатные динамики по бокам. По качеству картинки гарнитура, по мнению тестировщиков, сопоставима с HoloLens. Основная вычислительная нагрузка лежит на компьютере Lightpack, который оснащен SoC NVIDIA Tegra X2, имеет на борту 8 Гбайт ОЗУ, 128 Гбайт для хранения данных и универсальный порт USB-C. Компьютер питается от аккумулятора, рассчитанного на три часа работы. Таким образом, пользователь не привязан к внешнему компьютеру.
Обе эти разработки сложно назвать массовым продуктом. Более реальными платформами для массового распространения AR выглядят решения, интегрируемые в современные смартфоны и планшеты. Это в первую очередь мобильные устройства от Apple на базе операционной системы iOS 11, появившейся летом прошлого года. Таких устройств сегодня уже сотни миллионов. Правда, 6DoF поддерживают только телефоны и планшеты на базе процессоров от Apple A9 и выше. Более ранние устройства реализуют 3DoF.
Почти одновременно с iOS 11 Apple запустил и ARKit, набор средств для разработки AR-приложений, который представили вниманию общественности на прошлогодней общемировой конференцию разработчиков. В результате уже больше года сторонние разработчики усиленно трудятся над созданием AR-приложений для Apple. ARKit предлагает более высокий уровень разработок, нежели обычное наложение мультипликации на реальную картинку. ПО умеет автоматически анализировать сцену на экране телефона, выявлять горизонтальные плоскости, такие как столы и стулья. В результате наложенные объекты либо лежат на поверхности, если они на нее аккуратно положены, либо падают с нее, если их подтолкнуть.
Например, одно из готовых приложений представляет собой целую настольную войну с солдатами и рушащимися зданиями, руины которых падают на пол с края стола.
Apple iPhone — не первый смартфон с аппаратной поддержкой AR. Первым был немного неповоротливый Lenovo Phab 2 Pro, с помощью которого публике был впервые представлен проект Google Project Tango technology. Но телефоны и планшеты Apple стали первыми действительно массовыми устройствами с поддержкой AR, для которых к тому же можно ждать множества приложений от активного сообщества разработчиков.
Что касается Google, то он недавно заменил платформу Tango для Android на более продвинутую ARCore, которая может устанавливаться на смартфоны последних лет. Рабочая версия платформы и SDK для разработчиков появилась в начале 2018 года. В ARCore тоже заложена функциональность 6DoF, но насколько качественно она реализуется, зависит от смартфона и гарнитуры.
К слову, директор технической стандартизации Qualcomm Томас Стокхамер (Thomas Stockhammer) не исключает, что в будущем смартфоны могут быть отчасти заменены очками дополненной реальности, так же как сами смартфоны частично заменили нам ноутбуки. По крайней мере, функционал смартфонов, по его мнению, сейчас развивается в направлении, который делает вероятность такой замены правдоподобной.
VR на практике
В 2017 году компания BBC провела масштабное исследование для определения размера и структуры рынка VR. Она набрала пул испытуемых, раздав им VR-гарнитуры среднего ценового диапазона, и затем проводила периодические опросы о впечатлениях от просмотра. Оценивались характер выбираемого контента и алгоритмы его выбора, проблемы с поиском контента и с применением аппаратуры, психологические барьеры и другие факторы.
При анализе приложений для VR выяснилось, что сначала респонденты отдавали предпочтение контенту, будоражащему кровь: ужастикам, американским горкам и другим экстремальным темам. Поначалу им нравились опыты просмотра с выбросом адреналина, но эффект новизны быстро рассеивается. Стало понятно, что для долгосрочного интереса в VR необходимо, чтобы в основе просматриваемого контента лежали внятно рассказанные истории.
В более длительной перспективе наибольшим спросом пользовались три категории контента, позволяющие:
«влезть в чужую шкуру» и посмотреть на мир под другим углом, например понять, что чувствует человек, потерявший зрение, или уменьшиться до микроскопических размеров и путешествовать внутри тела, изучая анатомию (The Body VR);
получить некий опыт, которого у зрителя никогда не было, например покататься на водных лыжах (правда, и здесь эффект новизны быстро стирался, и пользователь, как правило, начинал просматривать та-кой контент реже);
расслабиться и отключиться от реального мира.
Также были выявлены смущающие пользователей факторы. Некоторых участников исследования пугала изоляция от внешнего мира. Кого-то изоляция не пугала, но не нравилась индивидуалистическая природа VR-опыта. Они предпочитали ему общение, реальное или виртуальное — через Интернет. Другие боялись выглядеть глупо перед знакомыми и домочадцами.
Обнаружились и технические препятствия к использованию виртуальной реальности. Часто испытуемым было просто неудобно просматривать VR-контент в тех условиях, в которых они привыкли отдыхать. Лежа на диване, вертеть головой неудобно, а оглядываться назад и вовсе невозможно.
Экраны смартфонов часто оказывались грязными, а смартфон разряженным. Тогда испытуемые предпочитали не устранять проблемы, а развлекать себя тем, что оказывалось под рукой.
Досаду вызывали перегрев некоторых гарнитур после получасового просмотра и снижение разрешение видео при неустойчивой Wi-Fi-связи.
У некоторых респондентов вопросы вызвал пользовательский интерфейс гарнитуры, который показался им слишком сложным. Также затруднения часто вызывали поиск VR-приложений и навигация между ними. Участникам исследования редко удавалось самостоятельно найти качественный контент.
Сам виртуальный контент пока далек от совершенства. VR-индустрия еще в фазе становления и поиска, но есть риск, что заполонивший рынок низкокачественный продукт может отвратить аудиторию от идеи использования VR в целом.
Исследование показало, что множество доступного контента не имеет никакой дополнительной ценности по сравнению с тем, что можно увидеть по телевизору. Типичный комментарий выглядел следующим образом: «Если этот контент можно посмотреть по телевизору, зачем преодолевать сложности и смотреть его через гарнитуру?»
Результаты исследования выглядят не очень радужно. Поэтому неудивительно, что с большим успехом VR-индустрия развивается в развлекательных парках и кинотеатрах, оборудованных VR-павильонами. По мнению сопредседателя коммерческого модуля VR при DVB VR, индустрия будет развиваться именно в таком формате. А для домашнего пользования больше подойдут дополненная реальность и просмотр панорамного видео.
__________________________________________________