В рубрику "Производство" | К списку рубрик | К списку авторов | К списку публикаций
По мере того как кино все более и более становится "цифровым", происходят значительные изменения в технологических процессах студий DI-постпродакшн. Если на первых этапах внедрения DI-технологий существовало не так много различных систем, участвующих в процессе формирования конечного цифрового образа мастер-негатива, то в настоящий момент количество таких систем заметно возросло.
В настоящий момент нашей компанией совместно с подразделением реставрации архивных киноматериалов реализуется один из комплексов постпродакшн, обобщенная структурная схема которого приведена на рисунке. Центральным элементом этого комплекса, своего рода "двигателем" всей системы, является высокопроизводительная компьютерная сетевая структура (ВКСС), реализующая параллельный доступ к данным на базе централизованного массива хранения данных InfiniteStorage 15000 компании SGI.
Казалось бы, ничего принципиально нового в этой задаче не наблюдается. Такого рода структуры довольно хорошо отработаны в различных областях человеческой деятельности - например, при проектировании космических аппаратов и спутниковых группировок. Однако и в области обработки киноизображений высокого разрешения имеются свои особенности и характерные моменты. Прежде всего, это необходимость интеграции оборудования различных производителей со своим специфическим программным обеспечением, использующим различные операционные системы, требование одновременного доступа к одним и тем же файлам. Некоторое время назад в области ВКСС DI-студий постпродакшн преобладал подход, основанный на формировании локальных сетей, состоящих из нескольких узлов (стандартных компьютеров) со своими присоединенными дисковыми массивами. Узлы соединялись между собой высокоскоростными сетями передачи данных (Gigabit Ethernet), на которых выполняются специальные приложения. Такие структуры характеризуются наличием высоких требований к объему оперативной памяти, сложностью программирования и ресурсов ввода-вывода. Кроме того, к существенным недостаткам такого подхода можно отнести наличие большого количества встречных потоков данных, что вызвано необходимостью захвата информации для обработки различными узлами. Все это приводило к большим временным и вычислительным затратам, а также к невозможности одновременной работы нескольких клиентов в реальном режиме времени.
Для повышения общей эффективности ВКСС необходим быстрый параллельный доступ к данным всех узлов. Методы обеспечения параллельного доступа к данным базируются на нескольких структурах: NAS (Network Attached Storage )/NFS (Network File System), решения на основе объектного подхода доступа к файлам и SAN (Storage Area Network).
Стандартный протокол NFS, реализованный на сегодняшний день, практически ограничен скоростью 1,5 Гбайт/с. Многие производители предлагают так называемые кластерные NAS-решения, способные преодолеть этот барьер и достичь скорости 10 Гбайт/с. Кроме того, появление высокоскоростных коммутируемых последовательных шин для соединения между кластерами (например, таких, как InfiniBand 4X DDR со скоростью 20 Гбит/с), дало возможность использовать их не только как вычислительную сеть, но и как среду высокоскоростного доступа к данным.
В настоящее время существуют дисковые массивы, с протоколом InfiniBand в качестве хост-соединений вместо обычно используемых FibreChannel, или и то и другое одновременно. Такие массивы дают возможность прямого доступа к данным с вычислительных узлов кластера. Однако это не решает проблему параллельного совместного высокоскоростного доступа к данным в степени, достаточной для требований постпродакшн. Тем не менее использование протокола InfiniBand, а именно RDMA (Remote Direct Memory Access), позволило добиться производительности современных NAS/NFS до 5 Гбайт/с (при чтении) и 3 Гбайт/с (при записи данных). Кроме того, использование вычислительной InfiniBand кластерной инфраструктуры приводит к существенной финансовой экономии и не требует модификации клиентских составляющих за счет использования открытых стандартов. В случае, когда требования к производительности ВКСС превышают 3-5 Гбайт/с, используются параллельные файловые системы с объектной архитектурой. В таких структурах каждый файл ассоциируется с некоторым множеством объектов, размещенных на разных физических устройствах. При выполнении файловых операций вычислительный узел получает карту с указанием расположения объектов на физических устройствах и в дальнейшем работает напрямую с объектами, не используя при этом выделенный сервер. Такая структура обеспечивает множество параллельных путей доступа к данным с различных вычислительных узлов, что гарантирует большую масштабируемость массива хранения данных и быстродействие всей ВКСС до 50 Гбайт/с.
Тем не менее, несмотря на возможности существенного повышения производительности систем NAS/NFS, они не способны обеспечить работу нескольких клиентов в реальном масштабе времени, поскольку не позволяют обеспечить гарантируемую постоянную скорость доступа для каждого клиентского приложения.
Для решения этих проблем в настоящее время наиболее часто применяются массивы, использующие архитектуру SAN. Однако архитектура SAN имеет один существенный недостаток отсутствие совместного доступа к данным, который обычно решается делением массива на части, соответствующие различным операционным системам, связанным через общую локальную сеть. Наиболее удачное решение этой проблемы было предложено в 1999 г. компанией SGI в виде общей 64-битной файловой системы CXFS, которая позволяет клиентам Windows, Linux, MacOSX и т.д. работать с одними и теми же файлами с гарантированными скоростями ввода-вывода до 45 Гбайт/с. Это означает, что любому клиенту CXFS можно выделить постоянную полосу пропускания скорости обмена потоками данных, которая не меняется в зависимости от степени загруженности массива. Возвращаясь к рисунку, следует обратить внимание на то, что каждый из клиентов SAN/CXFS обменивается с центральным массивом хранения данных с предварительно назначенной ему скоростью чтения-записи. Так, системам, требующим доступа в реальном режиме времени (Lustre, Smoke, YoYo), назначается скорость 300 Мбайт/с для разрешения 2К и 1,2 Гбайт/с для - 4 К, что обуславливает наличие у SAN необходимости работать не менее чем с 6 потоками данных 2 К одновременно. Другие клиенты CXFS (ArriS-canner, ArriLaser, Northlight и т.д.) не требуют такой широкой полосы доступа, однако для обеспечения необходимой производительности их подключение осуществляется на скорости не ниже 100 Мбайт/с. Таким образом, можно сделать вывод, что производительность всего комплекса DI-студии постпродакшн полностью определяется производительностью ВКСС и централизованного массива хранения данных. Максимальная скорость обмена данными, которую могут обеспечить дисковые системы, в настоящее время может достигать 3,2 Гбайт/с, что позволяет обслуживать до десяти потоков данных DPX 2 K (2048х1556) одновременно.
Другим важным достоинством централизованного хранения и обработки данных является возможность резервного копирования как без участия локальной компьютерной сети, так и практически без участия сервера резервного копирования, что полностью исключает необходимость передачи данных между локальными системами и обуславливает огромную экономию времени и аппаратных ресурсов.
Помимо этого существует еще один важный критерий эффективности ВКСС, а именно так называемая стоимость хранения данных. Речь идет о том, что для данных, не требующих обработки в реальном масштабе времени, нет смысла использовать высокоскоростные дисковые системы типа Fibre Chennel. Для высвобождения под быстрые приложения высокоскоростного дискового пространства используется иерархическая система хранения данных DMF (Data Migration Facility), суть работы которой состоит в управлении жизненным циклом данных. Она осуществляет автоматическую миграцию малоиспользуемых данных на вторичные, более дешевые дисковые массивы (например, использующие SATA-диски или ленточные библиотеки LTO) и автоматически создает практически не лимитированные и доступные всем клиентам массива файловые структуры, где каждый клиент может видеть заголовок файла, но скорость доступа к файлу зависит от статуса клиента и размещения самого файла. Так как вся система работает централизованно под управлением CXFS, в результате этого происходит централизованное управление жизненным циклом данных в массиве, что дает возможность не только обрабатывать большее количество информации, но и архивировать уже завершенные проекты кино- и видеоматериалов. Все это позволяет существенно снизить сумму инвестиций в систему хранения цифровых киноматериалов при сохранении необходимой для полноценной работы производительности системы.
Принимая во внимание то, что при высокой загрузке оборудования студии постпродакшн правильное распределение аппаратных ресурсов имеет огромное значение, можно констатировать, что правильный выбор системы хранения данных может обеспечить решающее преимущество всей кинокомпании.
Опубликовано: Каталог "Техника кино"-2008
Посещений: 11369
Статьи по теме
Автор
| |||
В рубрику "Производство" | К списку рубрик | К списку авторов | К списку публикаций
