Считается, что наличие стереоскопического изображения в видеоконференции добавляет видеоинформации собеседнику, т.е. повышает информативность беседы. Чаще всего 3D рассматривается как дальнейшее развитие идеи телеприсутствия, о которой мы писали ранее, где стероскопическое изображение используется для укрепления иллюзии присутствия за одним столом с удаленным собеседником.
Программно-аппаратные комплексы телеприсутсвия, в том числе со стерео, относятся к «премиальному» сегменту рынка ВКС. Здесь бюджеты позволяют изобретать даже довольно экзотические способы получения и отображения видеопотока (подробнее о существующих примерах поговорим далее). Но в последнее время все чаще звучат предположения о том, что 3D может быть интересно и рядовому обывателю. В частности не так давно об исследованиях в направлении 3D изображения заявила рабочая группа Skype (правда, никаких заявлений о рабочих технологиях впоследствии не поступало). Кроме того, о создании прототипа сервера ВКС с поддержкой 3D недавно объявила компания TrueConf; о нем мы и и поговорим подробнее.
Компания TrueConf не первый год занимается стереоскопической иллюзией. Первые наработки в этой области были представлены еще в 2011 (на тот момент для вывода стереоизображения использовались мониторы с активными очками). Сейчас же специалисты компании в своих разработках задействуют все три существующие технологии формирования трехмерной иллюзии (поляризацию, анаглиф и чередование кадров), что обеспечивает их довольно широким диапазоном доступного оборудования. Интересно, что реализация 3D в TrueConf для Android совместима с Google Cardboard – «бюджетным» шлемом виртуальной реальности от компании Google, который любой пользователь смартфона может самостоятельно собрать себе из картона, двух оптических линз, магнита и нескольких застежек-липучек. Таким образом, просмотр 3D потока доступен даже тем пользователям, у кого нет специального оборудования.О том, какие перспективы это открывает перед поставщиком ВКС-решений, нам рассказал начальник отдела исследований TrueConf Иван Мелешко, хорошо знакомый с темой стереоскопического изображения.
ТММ: Давайте поговорим о вашей реализации 3D в ВКС. Разрабатывали ли вы специальное оборудование для съемки и отображения 3D или использовались сторонние продукты?
И.М.: Наша компания сравнительно небольшая, наша сила не в больших бюджетах, а в огромном опыте разработки и внедрения видеоконференций и знаниях о состоянии технологий в смежных областях. Мы вынуждены дополнять некоторые недостающие модули прототипами, разработанными нами и нашими партнерами. В некоторых случаях мы участвуем в проектах, которые позволят получить недостающие технологии. Но основное направление в 3D, в котором мы стараемся развивать наши продукты - интеграция 3D и обычной видеосвязи, наработка базы знаний требований потребителей (большинство из которых они даже не способны сформулировать) и проблем, возникающих при ее внедрении.
ТММ: Были ли в продукте как-то решены типичные проблемы, связанные с искажениями 3D-картинки (вы комментировали эти проблемы несколько лет назад в интервью другому изданию?
И.М.: Что-то было решено техническими средствами, такими как индивидуальная калибровка камер. Что-то - за счет анализа задач и подбора точно соответствующего им решения.
ТММ: А как именно на данный момент выполняется калибровка камер?
И.М.: Пока оборудование проходит через наши руки и подключается к программе через драйвер виртуальной камеры, который и осуществляет необходимую коррекцию. Данные для нее получаются по результатам предварительных измерений для конкретного устройства. Для дешевых камер коррекция отсутствует, либо сводится к совмещению горизонтальной и вертикальной оси, что дает посредственное изображение.
Насколько серьезная коррекция потребуется при серийном выпуске камер, мы пока не можем сказать. Сейчас мы используем нелинейную коррекцию, основанную на совмещении множества точек в поле зрения двух камер и искажений оптики.
ТММ: Используется ли программная обработка снятых потоков видео (для левого и правого глаза), чтобы убрать различия в освещенности / цветности кадров. Контролируется ли синхронизация потоков видео для разных глаз?
И.М.: Скажем так, в само решение такая возможность заложена, как явно необходимая. На практике же, мы используем т.н. приборные камеры, предназначенные для систем машинного зрения, которые позволяют получить стабильный и предсказуемый результат.
Что касается синхронизации, то нужно понимать, что ее точность определяется характером сцены, ее динамикой и общей частотой кадров. ВКС заметно отличается, в этом отношении, от фильмов. Используемые нами в данный момент камеры обеспечивают возможность аппаратной синхронизации кадров. Какая степень синхронизации необходима в серийных образцах мы и пытаемся понять.
ТММ: Применяется ли в вашем решении конвертация 2D в 3D?
И.М.: Нет. Сама технология очень интересна, и многие ее реализации обеспечивают отличное качество, но для ВКС, с его типичным объектом «говорящая голова» она не подходит.
ТММ: Пробовали ли вы измерять техническое качество 3D? Как я понимаю, разрабатываемые сейчас для этой цели инструменты (например, проект MSU 3D-video Quality Analysis Лаборатории компьютерной графики ВМиК МГУ) ориентированы на анализ фильмов; есть ли смысл в подобных средствах для ВКС на текущем этапе развития?
И.М.: Мы хорошо знакомы с этим проектом и его разработчиками. Как инструмент их метрики можно и нужно использовать в ВКС при выборе конкретных технических решений и в процессе разработки. Это вообще обычная практика - проверять по формальному критерию изменение качества изображения при доработке алгоритмов, так как небольшие побочные эффекты могут появляться там, где их не ожидают. Но пока система разрабатывается «крупными мазками» проще оценивать качество, полагаясь на субъективное восприятие и опыт разработчика.
ТММ: Отличаются ли требования к аппаратному обеспечению и ширине доступного канала для 4К видеосвязи и 3D? Какие используют кодеки для сжатия сигнала?
И.М.: Я бы не противопоставлял эти две технологии друг другу. В конце концов, нет причин, почему 3D видео не быть 4К. Пока, в силу ряда причин, мы используем для 3D сравнительно низкое разрешение. Если говорить о текущем состоянии, то 4К для обработки требует чуть ли не на порядок более мощных процессоров, чем 3D. Что касается требуемой ширины канала, то я бы сказал, что различие здесь где-то в 3-4 раза (эффективность сжатия растет с увеличением площади кадра). Мы используем адаптированные варианты кодеков H.264 и VP8. Как перспективный рассматриваем VP9, хотя на данный момент он не обеспечивает необходимое быстродействие.
ТММ: Возможно ли в обозримом будущем «подружить» 3D ВКС и мобильный интернет?
И.М.: Теоретически 4G должно быть достаточно для 4K видео (и, тем более, для 3D с используемым нами на данный момент разрешением картинки). На практике же мы сталкиваемся с тем, что даже в центре города не всегда есть устойчивый канал мобильного интернета, способный обеспечить нам комфортное общение и передачу видео в приемлемом качестве. Для скачивания файлов или поиска информации в интернете этого вполне хватает, но в случае с видеосвязью - нестабильный канал доставляет слишком много неудобств.
ТММ: Адаптировали ли вы свое решение к стереоскопическим экранам различного размера?
И.М.: Существующий стереоконтент идет примерно с одинаковым диапазоном параллакса. Соответственно экраны располагают так, чтобы просмотр был комфортным. На эти режимы мы и ориентируемся. Для подстройки используется коррекция стереобазы, но она нужна скорее для перехода от уменьшенного к полноэкранному изображению.
ТММ: Насколько, на ваш взгляд, вообще перспективно использование стереоскопического изображения в ВКС?
И.М.: Зависит от периода, на котором мы рассматриваем перспективу. На ближайшие три года такие решения явно будет нишевым продуктом. В долгосрочной же перспективе это логичное развитие видеосвязи (да и видео) вообще. Если говорить с позиций разработчиков и поставщиков решений для ВКС, это направление перспективно тем, что при сравнительно небольших затратах на исследования в это области, можно будет предложить готовые решения и стандарты в тот момент, когда они потребуются рынку.
ТММ: Кого на данный момент можно отнести к потенциальным клиентам этой технологии?
И.М.: Пока это решения для тех областей, где люди уже работают с объемным изображением. Они знают о его плюсах и минусах, готовы использовать очки. Это реальные заказчики, которых интересует адаптация 3D видеосвязи под их задачи. В дальнейшем подобные решения постепенно мигрируют в переговорные и конференц-залы.
Хотелось бы отметить один важный момент. Сейчас рынок стереоскопического видео находится в технологическом кризисе. Достаточно давно существуют технические решения, позволяющие отказаться от надоевших очков и качественно повысить качество изображения. Из года в год на выставках демонстрируют развитие этих технологий. Они давно готовы к массовому выпуску. Но... Нет массового спроса, так как они принципиально не совместимы с существующими стереоскопическими решениями. Нужен новый контент и средства для их создания, но их нет, так как нет доступного оборудования для просмотра. Получается замкнутый круг. И здесь 3D видеосвязь может дать тот толчок, который позволит из него вырваться. Это связанно с тем, что она, во-первых, сама создает для себя контент, а во-вторых, позволяет использовать решения, слишком дорогие для бытового применения.
ТММ: Какие препятствия есть у внедрения 3D в ВКС-системы?
И.М.: Наибольшим препятствием до сих пор является отсутствие подходящих камер. На волне моды на 3D-фильмы практически все ведущие производители выпустили стереокамкордеры. Сейчас от этого разнообразия почти ничего не осталось, а сами камеры остались на исходном техническом уровне.
Специалисты TrueConf уже демонстрировали разработанное ими решение на профильных выставках. В частности, на ISE (Integrated Systems Europe в Амстердаме) в этом году была представлена система ВКС, основанная на сервере ВКС TrueConf и поляризационных технологиях LG. Для съемки использовалась камера AEE Magicam SD 30. Потенциально к системе можно подключить и автостереоскопические экраны для создания 3D иллюзии без использования специальных очков. В этом направлении и планируется развивать решение. По мнению специалистов компании будущее именно за автостереоскопическими системами, а на данный момент они занимаются наработкой технических решений, которые будут необходимы, когда автостереоскопические экраны «дозреют» до массового выпуска.
Мировой опыт
Компания TrueConf – не единственная, кто работает над реализацией 3D в ВКС. Правда, большая часть решений, представленных на рынке, относится к премиальному сегменту, в частности, к системам телеприсутствия.
Ранее в обзоре рынка систем телеприсутствия мы упоминали решения DVE Immersion Room и Cisco, работающие не со стереоиллюзиями, а с отображением в пространстве полноценных 3D-моделей, используя голографию. За прошедшее с момента написания материала время обе группы продвинулись в своих исследованиях, благодаря чему не так давно представили совместное детище: живое вещание голограммы. Голографическое изображение Стивена Хокинга (Stephen Hawking, физик мирового уровня) в прямом эфире транслировалось из его офиса в Cambridge University на сцене Сиднейской оперы в Австралии. Вещание было организовано Cisco при поддержке Sydney Opera House и University of New South Wales' Big Questions Institute с помощью технологии DVEtelepresence Holographic Live Stage. При этом для создания 3D-потока использовалось 3 отдельных 2D видеопотока высокой четкости. А использование разработанных ранее механизмов организации сеансов telepresence позволило транслировать сигнал через 2 континента (сначала в Калифорнию, США, а затем – в Австралию) практически без задержки, что позволило Стивену Хокингу взаимодействовать с австралийской аудиторией.
Кстати, упомянутая выше компания DVE telepresence теперь открывает немного больше подробностей относительно используемых технологий. В частности, для проецирования объемных объектов (напомню, что в данном случае речь идет об истинном 3D, а не о стереоскопической иллюзии) используются технологии Christie Digital Systems. При этом задействуется запатентованный компанией прозрачный проекционный экран. Также в продукте реализована поддержка стереоскопических иллюзий, демонстрируемых с частотой 120 кадров в секунду в формате высокой четкости (просмотр осуществляется при помощи активных очков).
Надо отметить, что ранее Cisco экспериментировала и с другим способом отображения 3D-иллюзий, предложенным Musion. Решение этой компании основано на размещении тонкой отражающей пленки под углом 45 градусов к зрителям, что позволяет создавать в первую очередь сценическую иллюзию, т.е. не рассчитано на использование в небольших переговорных комнатах. Musion предлагает клиентам под своим брендам и полноценное решение Telepresence, но в его основе, помимо собственной установки для отображения, лежат разработки партнеров, в частности, Cisco.
К сожалению, пока громкие премьеры решений 3D ВКС этим и ограничиваются. Но научные разработки в этой сфере (те, что анонсированы, но не имеют пока коммерческой поддержки) впечатляют. К примеру, в США ученые Human Media Lab при Queen's University создали инструмент для общения, обеспечивающий демонстрацию голограмму собеседника в полный рост. Трехмерное изображение проецируется при помощи вполне «штатного» трехмерного проектора и выпуклого зеркала, размещенных внутри акрилового цилиндра высотой 1,8 метра. Для съемки они использовали 6 контроллеров Microsoft Kinect, одновременно захватывающих видео. Технология позволяет во время разговора даже обойти вокруг собеседника (при этом в нужный момент будет видно его спину). Принципиально нового исследовательская группа не предложила, но она показала, что трехмерные видеоконференции вполне могут быть реализованы при помощи «бюджетного» оборудования.
Несмотря на весь этот технический прогресс, специалисты отрасли пока не ожидают массового внедрения 3D не только в видеоконференцсвязи, но и в других видео-приложениях. Постепенно появляются ноутбуки, мониторы и даже планшеты с трехмерными автостереоскопическими экранами (работающими без специальных очков), но развитию этого технического направления мешает отсутствие достойного контента, лишенного всех возможных ошибок построения 3D-потоков, приводящих к появлению дискомфорта у зрителя.
Если брать кино-контент, то отдает предпочтение 3D пока в полтора раза меньше зрителей, нежели 2D. Объяснить это можно обилием не очень качественных фильмов и не самого лучшего оборудования кинотеатров, которые отталкивают новичка, только знакомящегося с технологией. Недостаточная яркость и четкость картинки, ошибки при рендеринге 3D видеофильмов и неоправданные ожидания зрителя от контента, созданного для кинотеатров, но просматриваемого на небольших экранах телевизоров и ноутбуков, все еще оставляют технологию в категории «дорогих игрушек». В ВКС сложностей добавляет и особенность отображаемых сцен. Большинство инструментов для формирования стереокартинки на самом деле не работает с объемом, а воспроизводит правдоподобную иллюзию, которая исчезает, если зритель изменяет положение головы. В кино эта проблема частично решается созданием динамичной картинки, которая просто не оставляет зрителю времени на осмотр каждого кадра, а в видеосвязи такой подход не пройдет.
Таким образом, развитие этого рынка – дело далекого будущего.
