В рубрику "Оборудование и технологии" | К списку рубрик | К списку авторов | К списку публикаций
Павел Варгин
Генеральный директор ПКБ “Рельеф”
Используя известные связи, можно так сжать (компактифицировать) объемную телевизионную информацию, что средний информационный поток, получаемый телезрителем, будет находиться в рамках ограничений, налагаемых на существующие цифровые телевизионные каналы.
Приведем примеры возможностей такого сжатия. В физическом мире часть объектов статична (неподвижна), а часть – нет. Статичные объекты трехмерной телевизионной модели (рис. 1), однократно введенные в память вашего объемного телевизора, далее служат сценой для развертывания динамичного сюжета передачи. Заготовки таких сцен очень больших размеров могут использоваться телережиссером для создания виртуальных декораций. Можно, например, один раз архивировать трехмерный интерьер Эрмитажа и далее использовать его части в различных телепередачах. Для обычного телевизионного репортажа из музея с использованием технологии виртуальной телекамеры достаточно передавать телезрителю код положения и ориентации этой телекамеры, и он будет видеть предлагаемые части предварительно загруженной им модели интерьера, слушая комментарий искусствоведа. В последнем случае информационный поток практически полностью определяется звуковым содержанием.
Динамичные объекты сцены – персонажи (люди, животные, машины) (рис. 2) обладают ограниченным числом степеней свободы, то есть их возможное движение ограничено подвижностью суставов, числом и конфигурацией элементов их скелета. Например, “скелет” автомобиля имеет всего пять элементов: кузов и четыре колеса. Задав всего два параметра (скорость вращения и поворот передних колес) можно привести автомобиль в заданную точку статической модели. Естественные ограничения, накладываемые на траектории движения тел, приводят к модельному (model-based) способу кодирования динамичных объектов. Речь идет о создании отдельной модели каждого динамического объекта. Такая модель включает суставы (совокупности узло вых точек движения), каркас (поверхность тела) и натянутую на каркас текстуру, задающую раскраску объекта. Даже относительно грубая динамическая модель позволяет кодировать реальную сцену с высокой степенью реалистичности, используя ее для предсказания очередного пространственно-временного положения моделируемого объекта.
Модельный способ позволяет ограничиться отслеживанием лишь парамет ров движения объектов, для чего могут использоваться даже простые, не объемные телекамеры. Этот способ подразумевает возможность создания складов моделей одежды, обуви, предметов быта, моделей любых объектов естественного и искусственного происхождения. Единожды созданная и переданная модель обеспечивает создание бесконечного числа ее ракурсов в пространстве по воле телережиссера или телезрителя.
В разделе “Адаптация” мы говорили о гигантском диапазоне возможных яркостей объектов физического мира. Яркость в общем случае зависит от углов наблюдения θ и φ. Яркость хорошо рассеивающей поверхности одинакова в любом направлении (рассеяние по Ламберту). Яркость зеркальной поверхности соответствует яркости отраженных объектов и зависит от направления наблюдения. Во многих случаях мы имеем дело с промежуточной ситуацией, когда объекты не обладают зеркальной поверхностью, но яркость поверхности зависит от угла наблюдения. Перемещаясь в телевизионном пространстве (объемном изображении) и наблюдая изменение ракурса объектов, мы должны видеть изменение их яркости, аналогичное изменению яркости объектов физического мира. Один из возможных подходов к кодированию угловой зависимости яркости заключается в ее приближенном представлении с помощью сферических функций (рис. 3). Этот метод аналогичен частотной фильтрации, используемой при обработке временных и пространственных сигналов, когда отбрасываются малые по величине высокочастотные составляющие сигналов. Частотное представление (преобразование Фурье) сигналов, в том числе многомерных, оказалось эффективным во многих областях. Например, в цифровом телевидении используется дискретно-косинусное преобразование для сжатия двухмерных изображений блоков. Использование метода сферических функций возможно потому, что шероховатая поверхность объекта, в отличие от зеркальной, обладает фильтрующими свойствами, подавляя высшие гармоники функции углового распределения яркости точек поверхности.
Кроме того, в случае сопоставления объемного телевизионного изображения с представлениями телезрителя о физическом мире следует учитывать, что лишь немногие люди способны проводить такое сопоставление с высокой точностью, тем более что обычно мы наблюдаем по телевизору незнакомые места и в условиях разнообразного освещения.
Рассеивающие свойства поверхности объектов наблюдения могут иметь выраженную спектральную и поляризационную зависимости, что позволяет в ряде случаев эффективно разделять зеркальную и рассеянную компоненты отраженного излучения.
Зеркальная компонента излучения содержит информацию об отраженных объектах, которые сами содержатся в трехмерной телевизионной модели. Существует возможность синтеза зеркального отражения путем геометрических трансформаций соответствующих частей модели. Отмеченные обстоятельства позволяют говорить о перспективности использования сферических функций для целей сжатия больших телевизионных миров, поскольку во многих случаях можно ограничиваться сферическими компонентами первого и даже нулевого порядка.
Когда из сцены выделены динамичные объекты, то мы можем предполагать, что движение многих из них подчинено законам физики, которые ограничивают возможные траектории их перемещений. Учет законов движения позволяет использовать, например, кодирование с предсказанием движения объектов, что значительно снижает поток информации о движении.
Можно ли нарушать законы физики в телевизионном мире? Это должен решать, по-видимому, создатель телепередачи. Следуя своему художественному замыслу, он может позволить телезрителю, например, отключать гравитацию, и тот в интерактивном режиме должен будет учиться двигаться в невесомости. С другой стороны, агрессивно настроенный телезритель может пожелать разрушить изнутри мир в своем телевизоре или нанести вред персонажам этого мира. Стоит ли поощрять подобные наклонности?
Поскольку трехмерный телевизионный мир в значительной мере является копией физического мира, по-видимому, и в нем следует соблюдать многие физические и не только физические законы. Соответствующие ограничения, накладываемые на возможные трансформации телевизионных моделей, технически легко установить.
Если созданы трехмерная модель, модели физического или не совсем физического мира, возможны разнообразные сочетания и искажения этих моделей. Можно сжимать, растягивать, наклонять, перемещать, переворачивать и подвергать различным нелинейным искажениям единожды созданный телевизионный мир. Достаточно просто передать телезрителю формулу закона искажения. При этом, кроме геометрических, легко доступны цветовые и тональные трансформации. Формулы трансформаций могут включать самые разнообразные математические операции.
Например, рис. 4 иллюстрирует операцию склейки тессеракта – гиперповерхности четырехмерного куба.
Представим себе, что мы находимся в одном из желтых кубиков. Мы можем пойти в каком-либо направлении и пройти сквозь грань этого кубика, оказавшись в соседнем. Если грань наружная, то в соответствии со стрелкой “склейки” граней мы все равно окажемся в другом соответствующем кубике. В каком бы кубике мы первоначально ни находились, идя по прямой и пройдя три промежуточных кубика, мы снова окажемся в том, из которого вышли. Аналогичное, но двухмерное путешествие предпримет муравей, переползая с грани на грань обычного детского кубика.
Операция склейки часто используется математиками при топологических преобразованиях. В нашем случае внутренностью различных кубиков могут быть интерьеры различных комнат и мы будем испытывать иллюзию прохождения сквозь стены этих комнат, каждый раз оказываясь в новой и блуждая по кругу как в лабиринте. Можно наполнить комнаты зеркальными по отношению друг к другу интерьерами, где левое меняется на правое. Вместо комнат могут быть более обширные области пространства. Вместо кубов могут быть другие многогранники. Можно представить себе путешествие по трехмерным гиперплоскостям более чем четырехмерных многообразий. Склейки можно осуществлять не только в пространстве, но и во времени.
В этой статье мы ограничились обсуждением визуальной части объемного телевидения. Объемный звук будет предметом следующей статьи, которая поможет читателю получить представление о существующих проблемах и методах их решения при создании трехмерных акустических телевизионных миров.
Ребенок получает первое представление об объеме предмета, обнимая его руками. Постепенно он учится ориентироваться в трехмерном пространстве с помощью зрения. В результате обучения он приобретает воображение – способность визуального, объемного моделирования окружающего мира.
Одни объемные телекамеры (светолокационные) подобно руке человека могут определять рельеф поверхности объекта сразу во всех доступных точках, другие (триангуляционные) позволяют по соотношению удаленностей некоторых особых точек поверхности интерполировать этот рельеф, подражая зрительной системе человека. Сигналы объемных телекамер являются основой для построения трехмерных телевизионных моделей физического мира.
То, что сегодня часто называют объемным (стереоскопическим, 3D) телевидением, является таковым лишь частично. Оно предоставляет телезрителю информацию о параллаксе особых точек поверхности объектов телевизионной съемки, но теряет информацию о радиусе волнового фронта излучения этих точек. Такое половинчатое предоставление данных о третьем измерении (глубине сцены) позволяет нам характеризовать его формулой – 2,5D. Называя это телевидение по традиции стереоскопическим, мы также должны отдавать себе отчет в том, что оно не позволяет телезрителю производить оглядывание объектов сцены и тем более перемещаться между ними.
Для полной оценки пространственных свойств объемного телевидения целесообразно ввести шестимерную шкалу (6D), ни в коем случае не посягая на трехмерность нашего физического пространства.
Создавая объемное телевидение, мы вступаем на путь, который прошла эволюция, создавая человека. Человек в своем сознании способен воспроизводить воображаемый мир, который похож или не похож на мир физический. Этой способности мы будем обучать объемное телевидение по мере его развития. Настанет время, когда в сознании человека столкнутся во взаимодействии три трехмерных мира: физический, воображаемый и телевизионный. Нам следует быть готовыми к этой ситуации. Готовность предполагает знание свойств объемного телевидения. Чтобы знать, необходимо создавать и изучать новую телевизионную технику. Знание является для общества единственной гарантией того, что его адаптация к новым техническим средствам захвата сознания пройдет для него не только с минимальными издержками, но и с максимальным извлечением пользы из нового витка технического прогресса.
В нашей стране развитие объемного телевидения должно определяться не только необходимостью находиться в русле технического прогресса, соображениями экологической безопасности, но и очевидными экономическими причинами. Достаточно сказать, что ускорение внедрения объемного телевидения на несколько лет эквивалентно экономии в сотни миллиардов рублей. Экономия может достигаться не только путем купирования продаж обычных цифровых телевизоров, как правило, иностранного производства, за счет объемных, обладающих новыми потребительскими свойствами, но и благодаря удовлетворению потребностей рынка объемных телевизоров и другого телевизионного оборудования отечественной промышленностью.
Автор выражает признательность профессору Л.Л. Полосину за всестороннее обсуждение темы статьи.
Опубликовано: Журнал "Broadcasting. Телевидение и радиовещание" #1, 2012
Посещений: 11830
Статьи по теме
Автор
| |||
В рубрику "Оборудование и технологии" | К списку рубрик | К списку авторов | К списку публикаций
