Статьи
Декабрь 20, 2006

РЕШЕНИЕ ДЛЯ ХРАНЕНИЯ ВИДЕО


  

PRS200 - RAID система для хранения видео данных

В этой статье мы расскажем о ProFile PRS200/A RAID системе и обсудим реализованные в ней уникальные методы обеспечения избыточности и высокой пропускной способности, требуемые для поддержания работы с 4-я высококачественными каналами записи/воспроизведения. В статье описываются проблемы, стоявшие перед нами и способы их решения.

Введение

PRS200/A это массив независимых дисков с резервированием - RAID. В нем используются 3.5" A/V жесткие диски емкостью 9.1 ГБ в количестве 10, 15 или 20 шт., что соответствует полезной емкости на один массив 72 ГБ, 108ГБ и 144 ГБ соответственно. Первичное назначение этой RAID системы - обеспечение резервирования данных для дисковых рекордеров ProFile, способствующее защите устройство хранения данных от отказа дисков, неисправности питания и вентилятора охлаждения. Это имеет огромное значение для систем, работающих в живом эфире, и обеспечивает возможность горячей замены неисправного узла без перерывов и потерь при трансляции. Даже во время записи или воспроизведения вы можете удалить и заменить диск, блок питания или сборку вентиляторов не выключая систему, не перезагружая ее и даже не изменяя ее статуса!

Проблемы хранения цифровой видео информации

Записать один поток видео данных на диск не сложно. Ввиду последовательной природы данных головка записи диска при записи каждого видео поля будет находится в нужном положении. Переключение головок или поиск дорожки являются редким событием и вполне укладываются во время, требуемое для подготовки к записи очередного поля. Если не требуется вести монтаж с диска, то доступный для передачи объем данных можно сделать значительно больше размера одного поля и вписаться в величину потока данных, которую в состоянии обеспечить один физический диск.

При одновременной записи нескольких видео потоков, звука и тайм кода с точностью управления видео сигналом в одно поле (как того требует нелинейный монтаж и многоканальное вещание) эта задача становится гораздо сложнее. Для обеспечения непрерывности видео потока необходимо учитывать как время поиска дорожек, так и период латентности, связанный со временем ожидания подхода головок к нужному месту диска. Такие задержки приводят к невозможности записать даже два потока на один диск. Для каждого видео потока скоростью 60 полей\сек допустимая задержка от конца предыдущей записи до начала следующей на данном диске строго ограничена величиной в 17 мсек.

Рассмотрим этот критерий величины задержки в связи с типичными характеристиками дисков. Положим, что среднее время поиска равно 9 мсек, среднее время ожидания (латентность) - 4 мсек, а среднее время пересылки 100КБ видео - 17 мсек. Рассмотрим случай, когда завершена пересылка кадра потока А, необходимо передать кадр потока B и вовремя вернуться к потоку А для записи очередного кадра. Очевидно, что это невозможно при использовании единственного диска. Системы ProFile работают с 4-я одновременными потоками и справляются с этим благодаря использованию нескольких дисков с последовательным чередованием записи - по одному полю на каждый из дисков массива.

запись видео

Записывая одно поле блоками данных по 4КБ на каждый из 8-и дисков, время, имеющееся для считывания последовательных полей, возрастает с 17 мсек. до 136 мсек. Такой метод чередования известен как RAID нулевого уровня, где единичный диск массива должен обеспечить выдачу данных для конкретного потока лишь каждое 8-е поле. Концепция чередования может быть распространена на количество дисков, ограниченное лишь пропускной способностью шины данных массива.

Теперь рассмотрим вопрос доступности данных в случае отказа диска. Потери при считывании с диска приведут к выпадению видео полей из потока, а в случае полного отказа диска ПО, управляющее очередностью считывания, будет фактически перегружено отсутствующими данными и система может перестать функционировать.

Для приложений, когда возможность потери информации категорически не допускается, а горячее 100% резервирование не требуется, Тектроникс и разработал RAID устройства PRS200/A.

Защита данных и системная избыточность

Для истинной защиты системы требуется полная 100% избыточность по всем компонентам системы и тогда не остается ничего иного, как использовать вторую систему ProFile, работающую в "зеркальном" режиме. Это можно сделать как с применением RAID так и без. Преимущество RAID в "зеркальной" конфигурации в том, что отказ диска не приводит к сбою или задержке изображения, происходящих при переключении систем. Переключение будет происходить только при отказе системного блока ProFile или контроллера RAID, что весьма мало вероятно, в сравнении с отказом дисков.

Основы технологии RAID

Чтобы понять причины, послужившие развитию RAID технологии, необходимо вернуться к истории хранения данных на жестких дисках. В больших компьютерах 70-80-ч годов использовались пакеты дисков большого диаметра, которые были и дороги и ненадежны. С развитием технологии диски стали меньше, а для обеспечения сравнимой емкости стали применять несколько небольших по объему дисков. Эти диски были гораздо дешевле и, в расчете на один диск, более надежны, но совокупная надежность оказывалась ниже. Для преодоления этого феномена изготовители дисков стали предлагать дисковые массивы, работающие под управлением контроллера, способного проверять данные массива по четности. Этот принцип и есть RAID - массив независимых дисков с резервированием. При этом допускается отказ одного диска без потери доступа к данным или самих данных. Одновременно с этим, как пояснялось выше, такая структура позволяет достичь и более высокой пропускной способности. С развитием RAID технологии была введена возможность автоматического восстановления данных на отказавшем диске без прерывания работы дискового массива.

одновременная запись воспроизвидение

В настоящее время имеется много типов и уровней RAID, но чаще используются raid 5 и RAID 3. Системы raid 5 предназначены специально для удовлетворения нужд и требований информационных систем и систем обработки транзакций. В них данные четности распределяются по всем дискам массива, уменьшая конфликты при обновлении значений четности во время записи коротких файлов. Независимость обновления данных и четности неблагоприятно воздействует на скорость записи данных. Это приводит к тому, что скорость записи видео данных будет медленнее скорости их воспроизведения. RAID 3 системы были оптимизированы как раз для работы в большими скоростями записи потоков данных, как в случае передачи данных от суперкомпьютера. В основе концепции RAID 3 лежит способность записывать данные параллельно на все диски массива с одновременным обновлением четности, приводит к обеспечению равной полосы пропускания для записи и для считывания, а баланс между временами записи и считывания поддерживается даже в случае отказа диска.

Особенность PRS200 - интеграция RAID 3 технологии с RAID 0 механизмом чередования, что обеспечивает системе очень высокую пропускную способность - 4 высококачественных видео канала + резервирование данных ("всегда в эфире").

При том, что RAID 3 прекрасно подходит для систем с широкой полосой, головки всех дисков двигаются одновременно и обычно в ту же радиальную позицию на диске, что приводит к обсуждавшимся ранее ограничениям. Работа RAID 3 массива похожа на работу единого высокоскоростного диска с защитой от ошибок, в котором решена проблема резервирования данных, но проявляются недостатки, связанные со временем поиска и временем ожидания. Это означает, что на raid 5, ни RAID 3 в отдельности не приспособлены для независимой обработки нескольких видео потоков, вот почему введение чередования RAID 0 для RAID 3 массива обеспечивает элегантное решение и использование преимуществ обеих технологий. Рассматривая каждый RAID 3 массив как отдельный диск, можно применить стратегию чередования ProFile PDR обеспечив оптимальные параметры по быстродействию и резервированию данных.

raid контроллер

В каждом устройстве PRS200/A находятся четыре RAID 3 массива, к каждому из которых можно адресоваться из дискового рекордера как к логическому SCSI устройству по номеру LUN (Logical Unit Number), что позволяет подключать на одну SCSI шину несколько систем PRS200/A без опасности исчерпать количество допустимых идентификаторов (SCSI ID). ProFile рассматривает каждый номер LUN как отдельное устройство и чередует данные между ними, как если бы это были индивидуальные диски. Каждое поле посылается в RAID контроллер по конкретному LUN адресу, далее RAID контроллер делит 4-х килобайтный блок на 8 сегментов данных по 512 байт и записывает их в RAID 3 массив за пять одновременных транзакций - на каждый из 4-х дисков данных записывается 2 блока по 512 байт, а в 5-й диск поступают 2 блока по 512 Б для обновления информации о четности.

Обработка ошибок

Своевременность готовности данных является непременным требованием для систем записи/воспроизведения видео. Любой механизм коррекции ошибок, требующий переназначения блоков, множественных повторов и иных замедляющих операций, нарушит поток видео данных и приведет к пропуску кадров. Для избежания подобных нарушений система PRS200/A была специально настроена и реконструирует данные по информации о четности если диск не отвечает в течение интервала времени, необходимого для отображения кадра. Блок записывается в энергонезависимую память и, когда становится ясно, что работа не будет нарушена, блок переназначается. Если какой-либо диск обнаруживает повторяющиеся ошибки, он исключается из массива и выводится сообщение о необходимости сервиса.

После замены диска RAID контроллер автоматически инициирует восстановление данных диска с оставшихся дисков и диска четности. В фоновом режиме, не прерывая операций ввода \ вывода, каждый из дисков четности обновляется по информации из дисков, оставшихся в массиве. После завершения восстановления новый диск включается в массив и избыточность информации восстанавливается и весь этот процесс не оказывает воздействия на текущие операции записи и воспроизведения. Если диск выходит из строя в момент воспроизведения с него материала, то система автоматически будет воссоздавать сигнал до тех пор, пока не будет установлен новый диск.


Steven Sturtevant and Steven Billow



все статьи

 
     Производство Данио-Пресс. © 2018 ИНФОСТОР. Все права защищены.