В рубрику "Оборудование и технологии" | К списку рубрик | К списку авторов | К списку публикаций
Андрей Кретов, эксперт
Цифровое архивирование характерно тем, что на архивном носителе могут быть размещены файлы любого формата. Определяющим при выборе формата может оказаться тип архивируемого киноматериала
Неизбежность разноформатицы
Известно, что некоторые фильмы, созданные по заказу Гостелерадио, выпускались в формате 4:3 и были предназначены для телевизионного показа. В случае их архивирования в цифровом виде они могли бы быть сохранены в формате, более приемлемом для Standard Definition. To же касается документальных лент. Они, как правило, были сняты в формате 4:3 на черно-белую кинопленку, в некоторых случаях на цветную. Значительная часть документального материала или материала, отснятого для телевизионной публицистики, изначально снималась и архивировалась в телевизионном формате от Q до Ве-tacam. Документальные киноматериалы, как правило, востребованы на телевидении, поэтому их хранение может оказаться значительно более удобным в Standard Definition (например, IMX или DVCPRO). Здесь стоит еще раз подчеркнуть, что выбор формата архивирования зависит от того, кто будет использовать архивный материал.
На чем хранить?
Помимо логики выбора формата должна быть определена логика выбора носителя, на который будет производиться копирование архивных копий для долгосрочного хранения. Здесь существуют различные предпочтения: от хранения на жестких дисках (HDD) до использования магнитооптических дисков. На тему выбора носителя можно дискутировать бесконечно долго, но истина заключается опять же в том, что в основу этого выбора должна быть положена определенная логика, которая позволит правильно расставить приоритеты. С моей точки зрения, при выборе носителя должны учитываться некоторые факторы, причем в следующей последовательности:
Вероятно, данный список может быть продолжен, а последовательность его пунктов в некоторых случаях изменена. Однако в основу последовательности приведенного списка положена определенная логика. Попробую ее пояснить.
Основная цель архивирования — это сохранение материала на длительный период. Потери здесь могут быть связаны как с физической деформацией материала, на который сделана копия (например, изменение качества пластиковой основы носителя), так и с утратой данных на химическом слое, что характерно не только для кинопленок, но и для магнитных носителей. Поэтому на первый взгляд наиболее удобным может показаться хранение на лазерных дисках - DVD, Blue Laser и т.д. Однако такие носители в настоящий момент имеют весьма низкие показатели скорости перекачки данных из архива. Так, для "лазерных" носителей максимальная скорость перекачки может составить до 50 Мбит/с, в то время как для ленточного картриджа данная скорость составит 640 Мбит/с и более. Разница весьма существенна. Долгосрочность хранения на "лазерных" носителях не вечна, а вот диагностика и регенерация может оказаться значительно более трудоемкой или даже невозможной. Поэтому сегодня во многих сферах для целей архивного хранения электронных копий используются хранилища на основе ленточных картриджей. Современные системы осуществляют достаточно быструю доставку картриджа в устройство записи-считывания (драйвер). Создан унифицированный стандарт — LTO; и сегодня развивается его 3-е поколение.
Есть специализированные стандарты у различных производителей, каждый из которых имеет то или иное преимущество перед LTO-3. Некоторые позволяют хранить большой объем данных на одном картридже, другие устойчивы к большому числу обращений, третьи обеспечивают максимально быструю запись или восстановение данных в/из архива.
Стандартный картридж LTO-3 имеет следующие параметры:
При выборе других носителей можно добиться несколько более высоких параметров. Например, неунифицированные картриджи N-10 000 от StorageTek (рис. 1) могут хранить до 3 часов материала в HDCAM SR и восстанавливать из архива этот материал с более чем двукратной скоростью. Если речь идет о подборе фрагментов различных фильмов, которые наверняка будут храниться на различных картриджах, то скорость доставки картриджа и заправка его в драйвер при помощи робота с последующим поиском на ленте составят считанные секунды. Однако при всех преимуществах ленточный картридж надежно хранит данные в идеальных условиях 20-30 лет. Срок хранения зависит от интенсивности использования архивной копии.
С развитием технологий появляются новые, более удобные носители. И все же большинство профессиональных электронных архивов создано и продолжает создаваться на основе ленточного картриджа. Связано это с тем, что электронный архив, в отличие от архива кинопленок, может автоматически осуществлять регистрацию количества обращений к картриджу, мониторинг состояния лент и производить регенерацию или копирование без участия человека. Такой же процесс будет происходить в случае замены старых картриджей на новые, включая копирование на картриджи нового поколения. Большинство программных продуктов, отвечающих за поддержку ленточных библиотек, позволяет автоматизировать данный рутинный процесс.
Следующим ограничением является наращивание объема хранения. Достаточно компактный шкаф с роботом для перемещения картриджей, размером в два автомата по продаже газированной воды в бутылках, позволяет размещать до 174 картриджей LTO-3 и до 10 устройств записи/считывания.
Это составит порядка 70 Тбайт (или 350 часов в формате HDCAM SR), что может быть достаточным в том случае, если допускается хранение картриджей вне шкафа с роботом, то есть на полках. Шкаф имеет специальный шлюз для загрузки и выгрузки картриджей. Если необходимо иметь манипулятор большего размера, то существует шкаф, который займет комнату в 25-30 кв. м и позволит хранить до 1344 картриджей и до 40 драйверов. В таком хранилище можно держать в режиме on-line-доступа порядка 542 Тбайт, что составит 2700 часов видеоматериала в формате HDCAM SR; и это не предел.
Особое внимание следует обратить на перспективу развития ленточных носителей. Производители уверены в привлекательности данного метода хранения и вкладывают силы и средства в его развитие. Оно идет по двум направлениям:
Распространяемый в настоящее время LTO-3 позволяет сжимать записываемый материал в 2 раза и получать объем хранения до 800 Гбайт и пропускную способность до 160 Мбит/с. Были сделаны заявления о развитии последующих поколений форматов LTO (рис. 2).
Инструментарий архивиста
Для организации цифрового архива, помимо создания библиотеки, необходимо предусмотреть наличие инструмента, который позволит управлять процессами архивирования, поиска и восстановления из архива. Здесь важным является четкое представление того, как должен протекать весь технологический процесс. Стоит опять-таки обратить внимание на определенную логику, которая наверняка хорошо известна опытным архивистам. В первую очередь надо грамотно организовать сам процесс архивирования. Он состоит из двух основных действий:
Как правило, материал никогда не переносится сразу на картридж: первоначально он оцифровывается или кодируется в соответствующий формат и хранится на так называемом Near Line Storage. В случае если производится копирование со старых кинолент для последующего восстановления цифровым методом, материал оцифровывается на Оп-Line Storage. К нему подключены станции, которые осуществляют данное восстановление. После обработки восстановленный киноматериал преобразуется в тот или иной формат и переносится на архивный носитель. Если создаются копии низкого разрешения, то их хранение осуществляется всегда в режиме on-line на дисковом массиве — Proxy Storage. Это позволяет пользователям постоянно иметь доступ к киноматериалам.
Есть и другой метод. Архивный материал может быть организован как некий пакет, в который входят копия высокого разрешения и копия в формате низкого разрешения. На Proxy Storage могут оставаться только ссылки на ключевые кадры киноматериала. Далее, на основе сформированного запроса, после проведенного поиска сначала может быть сделана копия низкого разрешения для подробного просмотра и отбора. В результате этого можно сформировать достаточно точную и подробную заявку на материал высокого разрешения. Подобный алгоритм действий может оказаться актуальным в случае подбора большого количества фрагментов из нескольких кинолент.
Особая тема — регистрация материала и организация его поиска. Этот процесс требует разработки определенных алгоритмов, которые позволят удовлетворить заявки самых различных пользователей. Для одних самым важным может оказаться перечень создателей фильма и актеров, сыгравших в той или иной ленте. Для других прежде всего важны будут события, отраженные в кинофильме, для третьих - персонажи, для четвертых — погода или география, для пятых — какие-то фразы и т.д. Поэтому регистрация архивируемого материала должна обеспечить внесение определенных дескрипторов фильма в виде текстовых данных. Одновременно с этим киноматериал должен быть каталогизирован тем или иным образом для систематизации поиска. Часть данных может формироваться автоматически — по умолчанию. Другая часть потребует организации целого процесса импорта или формирования текстовой информации. Было бы правильным сохранять партитуру диалогов и закадрового текста. В случае поступления текстов вместе с оригиналом фильма потребуется только импорт текстовых файлов. В случае отсутствия подобного сопроводительного материала его придется сформировать. Это
можно делать вручную или подумать над созданием инструмента для автоматизации данного процесса. Подобные решения уже существуют; правда, они совершенны не на 100% и созданы лишь для определенных языков.
Важно понимать, что описание видеоматериала в случае архивирования готового кинофильма и в случае отснятого документального материала — это две большие разницы. Кинофильм извлекается из архива как готовый продукт. Документальные кинокадры — это "сырой" материал, который может потребоваться различным продюсерам. Каждый год создаются все новые и новые документальные или публицистиеские материалы, различные авторы предлагают различные идеи. У каждого из них своя логика поиска в архиве. Однако поиск может оказаться неэффективным, если при этом не используется определенный алгоритм и ключевые слова или категории. Поэтому для документальных кадров очень важно правильное и систематизированное описание видеоматериала.
Интегрированное решение
Подводя черту, хотелось бы определить основные понятия для формирования того или иного технического решения по созданию цифрового архива:
1. Архитектура (рис. 3), которая включает в себя:
2. Программное обеспечение — Media Asset Management:
3. Программное обеспечение, обслуживающее процесс поиска архивного материала:
4. Программное обеспечение для автоматизированного управления устройствами:
Как видно из вышеперечисленного, цифровой архив — это сложное интеграционное решение. Оно имеет многоуровневую архитектуру, у каждого уровня которой свое программное обеспечение. Вместе с тем существует ПО для поддержки клиентов. И, наконец, имеется программное обеспечение или комплекс интегрированных программных продуктов,
которые связывают работу комплекса в целом.
В России представлены достаточно продвинутые продукты от Harris (США), SGT (Франция), Dalet (Франция), Ardendo (Швеция). Оправданным должно быть внимание к российским производителям программного обеспечения, которое ориентировано на задачи Asset Management (например, продукт VIDI ММС от компании "Ме-дит Профи"). Перечисленное программное обеспечение работает совместно со специализированным программным продуктом для поддержки ленточных библиотек, например: Tvoli от IBM (США) или Diva Archive от Front Porch Digital (Франция). Использование готового программного продукта, как правило, сочетается с разработками под конкретные задачи. Кастомизиро-ванное программное обеспечение может составлять от 10 до 30%. Для его создания очень важным является умение грамотно и точно описать задачи для данного продукта и заложить в бюджет затраты на эту работу.
Выводы
Создание цифрового архива — это сложный проект, который должен быть обусловлен прежде всего целесообразностью. Создание цифрового архива — ресурсоемкий процесс, поэтому он по силам крупной структуре, которая консолидирует широкий спектр кино и видеоматериала и его потребителей. Цифровой архив создается на долгий период, поэтому в него должны закладываться перспективные и современные решения в координации как с производителями, так и с потенциальными потребителями кинопродукции.
Для реализации столь сложного проекта требуется эффективная рабочая команда, в состав которой входят представители производителей программного обеспечения и устройств хранения данных, архивисты, представители пользователей и системный интегратор. Для успешной реализации проекта необходимо в качестве документа составить, согласовать и утвердить описание технологии архивирования, доступа пользователей в архив и восстановления из архива (workflow). Как пример можно использовать описание технологии в тех архивных организациях, где подобная технология уже используется. От качества и согласованности данного документа зависит успех подобного проекта в целом.
Опубликовано: Журнал "Broadcasting. Телевидение и радиовещание" #7, 2006
Посещений: 12670
Автор
| |||
В рубрику "Оборудование и технологии" | К списку рубрик | К списку авторов | К списку публикаций
