Горохов С. Н. Современные технологии контроля и хранения цифровых аудиовизуальных материалов

УДК 004.9:930.25

Современные технологии контроля и хранения цифровых аудиовизуальных материалов

С. Н. Горохов,

Государственный архив Республики Татарстан,
г. Казань, Республика Татарстан, Российская Федерация

The Modern technologies of control and storage of digital audiovisual materials

S. N. Gorokhov,

The State Archive of the Republic of Tatarstan,
Kazan, the Republic of Tatarstan, the Russian Federation

Аннотация

С ростом производства медийного цифрового контента растет и проблема их сохранения. Над задачей долговременного безопасного хранения цифровых данных работают крупные организации по всему миру, однако несмотря на такие колоссальные усилия, проблема далека от разрешения. В данной работе представлены основные современные технологии, позволяющие уже сегодня хранить цифровую информацию сотни лет. Тем не менее острым остается вопрос воспроизведения информации с этих носителей. Вместе с носителями информации в течение всего их срока жизни необходимо хранить и поддерживать в работоспособном состоянии аппаратуру для считывания информации. Это в свою очередь требует сохранения производственных цепочек, обеспечивающих комплектацию этой аппаратуры, что серьезно усложняет задачу на длительных временных интервалах. Актуальным остается и задача совместимости форматов файлов с перспективой грядущего обновления программного обеспечения.

Abstract

It is known that the growth in the production of media digital content has led to the problem of their preservation. Large organizations around the world are working on the task of long-term secure storage of digital data, but despite such enormous efforts, the problem is far from solved. This paper presents the main modern technologies that allow digital information to be stored for hundreds of years already today. Nevertheless, the issue of reproducing information from these media remains acute. Together with the storage media, it is necessary to store and maintain readout equipment for the entire lifetime of the media. This, in turn, requires the preservation of production chains that ensure the completion of this equipment, which seriously complicates the task over long time intervals. The problem of file format compatibility with the prospect of the forthcoming software update also remains relevant.

Ключевые слова

Цифровые технологии, цифровая трансформация, цифровые форматы, катастрофоустойчивые носители, PiqlFilm, «кварцевые» диски, DataTresorDisc™ (DTD), обязательный экземпляр.

Keywords

Digital technologies, digital transformation, digital formats, disaster-resistant media, PiqlFilm, “quartz” discs, DataTresorDisc™ (DTD), obligatory copy.

По мере того, как завершается эпоха аналогового носителя, аудиовизуальные архивы сталкиваются с все более сложными проблемами, которые ставит перед ними цифровая трансформация. Несмотря на то, что цифровые технологии используются в кино и телепроизводстве уже более 30 лет и вытеснили аналоговые носители из большинства технологических процессов, в Российской Федерации практически отсутствует нормативная база хранения цифровых аудиовизуальных материалов как в фильмофондах, в видеотеках телекомпаний, так и в государственных архивах. И обусловлено это в первую очередь отсутствием технологий контроля и хранения цифровых материалов, а также практических методик их реализаций.

Отсутствие нормативной базы, обеспечивающей нормальное функционирование государственных архивов, в значительной степени связано с отсутствием работ по стандартизации. Существующая база нормативно-технических документов, определяющих порядок хранения и регламентирующих весь спектр технологических процессов, выполняемых при приемке, хранении, обработке и конвертации аудиовизуальных материалов, частично устарела, не содержит документов по новым цифровым технологиям и структурно состоит из видов нормативных документов, выведенных из обращения последними федеральными законами в области стандартизации. Разработка новых документов по цифровым технологиям и регламентам, а также преобразование части существующих документов в актуальную форму не осуществляется¹.

Законодательство в области регулирования приемки и хранения материалов национальных киновидеофильмов и кинолетописи основано на парадигме середины прошлого века, когда информация отождествлялась с носителем, на котором она записана. Поэтому перед архивами ставится невыполнимая задача постоянного хранения цифровых носителей, которые имеют принципиально ограниченный срок эксплуатации. Ситуация усугубляется несовершенством отечественного законодательства в этом вопросе, в частности в соответствии со статьей 12 Федерального закона № 77-ФЗ «Об обязательном экземпляре документов» должно быть обеспечено хранение «видеофильмов в виде копии на оригинальных носителях любых видов»². Некоторые форматы имеют свой специфический носитель записи и выпускаются только одним производителем, и в этом случае приходится осуществлять хранение именно этих носителей с не всегда понятными характеристиками по параметрам хранения и возможностями контроля, а также полной технологической зависимостью от производителя.

Производитель этого оборудования рано или поздно прекращает выпуск и поддержку конкретного формата. Таким образом перед архивистами встает необходимость повторять каждые 20-30 лет процесс миграции информации на новые носители. Это приводит к большим финансовым и производственным затратам.

Надо отметить, что большинство проблем, связанных с длительным хранением цифровых носителей информации, связаны с тем фактом, что цифровая информация лишь опосредовано представляет законченное произведение. Многие компоненты – носитель информации, аппаратные и программные интерфейсы между носителем и компьютером, операционная и файловая система компьютера, форматы файлов изображения и звука, прикладное программное обеспечение – все должно работать согласовано для преобразования записанных бит информации в то, что мы понимаем, как законченное произведение, будет ли это фильм или новостная передача.

Но если расширить временной горизонт на 100-200 лет это становится реальной проблемой. Можно вспомнить десятки носителей, массово выпускавших 20-30 лет назад, а сейчас безвозвратно забытых. Как их сегодня прочитать, если производство устройств для их чтения прекратилось?

В отличие от пленочной, цифровые технологии изменяются постоянно и очень быстро. В силу научного прогресса постоянно разрабатываются новые цифровые форматы и технологии записи, хранения и воспроизведения. Архивное хранение цифровых аудиовизуальных данных оказалось в трудной ситуации и должно решать несколько принципиальных задач. Телевизионная индустрия и цифровой кинематограф осуществляют съемочный процесс в разных, достаточно многочисленных форматах и перед архивами встает задача хранения всего этого многообразия и приобретения дорогостоящего оборудования для его воспроизведения. Актуальна и проблема необходимого ограничения и выбора только некоторых из них для архивного хранения. Отсюда вытекает сразу несколько серьезных проблем: по каким критериям проводить выбор «архивных» форматов, что считать оригинальной исходной записью, что должно входить в состав комплекта исходных материалов аудиовизуального документа при сдаче в государственный архив³.

Принципиальными решениями для выхода из сложившейся ситуации могут быть два подхода: либо разработка сверхдолгосрочных и катастрофоустойчивых носителей записи, либо разработка методов хранения не носителей информации, а самой информации в универсальной автоматической программно-аппаратной системе хранения, с постепенной заменой устаревших компонентов на принципиально новые, что позволит системе последовательно эволюционировать.

Таким образом, неизбежно приходит понимание о необходимости при сдаче цифровых аудиовизуальных материалов постоянно хранить именно информацию. Цифровые носители могут приниматься только на временное хранение и без гарантии сохранности содержащейся на них информации. В этом случае цифровая информация потребует к себе особого внимания, постоянного сопровождения. Данные должны регулярно проверяться на наличие ошибок, должно храниться несколько копий, желательно в географически разных местах, сотрудники архива должны постоянно следить за обновлением техники и технологии.

Конечно, можно с определенной уверенностью сказать, что современные компьютерные технологии смогут обеспечить надежное хранение цифровой информации, но только за счет ее распределения, дублирования и постоянного контроля. При этом понятие локализации информации и, соответственно, ее носителя теряет смысл.

Однако, над проблемой долговременного безопасного хранения цифровых данных по прежнему продолжают работать очень крупные организации по всему миру. Рассмотрим наиболее перспективные разработки, которые уже сейчас позволяют хранить цифровую информацию сотни лет.

В 2012 г. в компании PIQL (Норвегия) задумались о перспективах использования кинопленки в условиях «цифрового» кинематографа. Так родилась идея технологии сохранения цифровых данных на кинопленке, которая сейчас называется PIQL.

Запись данных на пленку PiqlFilm фирмы PIQL осуществляется в виде QR-кодов, которые затем записываются на пленку в четырех уровнях серого с 8 миллионами точек данных на кадр. Помимо этого перед основными данными записывается визуальное представление документов (для тех документов, для которых это возможно), чтобы можно было просмотреть их невооруженным взглядом, а также инструкция и программный код приложения для обратного получения файлов на случай отсутствия специализированного оборудования.

В качестве носителя используется усовершенствованная высококонтрастная черно-белая кинопленка на лавсановой основе. Она менее прихотлива при длительном хранении и не подвержена уксусному синдрому. На один ролик (950 м) пленки PiqlFilm можно записать 120 Гб цифровой информации. Скорость записи на данный момент – 120 Гб в час. Преимущества такой записи в том, что все материалы, относящиеся к одной единице хранения, можно объединить на одном носителе (например, сам кинодокумент и сопроводительную документацию к нему).

При отсутствии под рукой записывающего устройства, информацию с кинопленки всегда можно получить, используя инструкцию, которая располагается в открытом виде в текстовом формате на каждом ролике PiqlFilm. Данная технология уже используется в Европе. Создание Международного арктического архива и хранение в шахтах архива роликов PiqlFilm, с записанными на них цифровыми копиями уникальных документов из 22 стран Европы, является подтверждением высокого доверия к этой технологии. Нам известно, что к этой технологии проявляют интерес и специализированные федеральные архивы.

Если сравнить PiqlFilm технологию и прямую печать микрофильмов с цифровых файлов, то мы можем увидеть различия в пользу технологии PIQL: большая емкость; возможность записи любого цифрового контента; низкая пропускная способность «традиционных» COM-систем.

Появление таких технологий как Piql позволит нам значительно расширить видовой состав документов, таких как аудиовизуальный контент, 3D-чертежи, которые можно было бы хранить на микропленке – безусловном лидере по долговечности хранения информации на сегодняшний день.

Одним из перспективных видов носителей информации в электронной форме, пригодных для страхового хранения, является разновидность оптических компакт-дисков, в которых записывающий слой выполнен из металло-керамических материалов, обладающих высокой стойкостью к воздействию совокупности неблагоприятных факторов окружающей среды: повышенной и пониженной температуре (от -85°С до + 85°С), повышенной и пониженной влажности воздуха (от 0 до 100 %), воздействию плесневых грибов (1 балл по 6-балльной шкале ГОСТ 9.048-89 через 28 суток), наличию газообразных примесей в атмосфере, воздействию видимого света и ультрафиолетового излучения (освещенность свыше 29 000 Lux, уровень энергетической освещенности ультрафиолетового излучения свыше 0,84 mW/м²); воздействию проникающей радиации, электрических и магнитных полей, воздействию статического электричества. К таким носителям относятся, например, компакт-диски с металлокерамическим записывающим слоем DataTresorDisc™ (DTD) производства компании Northern Star spol. s.r.o. (Чешская Республика), представляющих собой DVD-диски однократной записи формата DVD+R емкостью 4,7 Gb. (данные диски уже не выпускаются), а также M-DISC. Возможные емкости M-дисков такие же, как у других оптических дисков: 4,7 ГБ (DVD-R), 25 ГБ (BD-R), 50 ГБ (двуслойный BD-R) или 100 ГБ (BD-XL). Компания Ritek производит BD-R М-диски, которые продает под торговыми марками Imation, Ritek и M-DISC. Компания Verbatim выпускает их под собственным брендом «Verbatim M-Disc».

Технология производства оптических дисков M-DISC разработана компанией Millenniata, Inc. Эта компания была основана 13 мая 2010 г. в городе Американ-Форк профессорами Университета Бригама Янга Барри Лантом и Мэтью Линфордом⁴.

Чешские специалисты из компании «Nord Star» сконструировали машину, которая могла производить такие диски достаточно быстро и в больших масштабах. У дисков нет отражающего слоя, таким образом, новый записывающий слой одним ударом решил две проблемы: он заменил нестабильный органический краситель и коррозирующий отражающий слой.

Кстати, первой машиной, которая начала изготавливать M-диски в массовом масштабе, была машина в Голешовиче (Чехия).

Технология создания DTD (Data Tresor Disk) и M-дисков отличается от технологии создания стандартных DVD, в основном, использованием материалов записывающего слоя, в частности металлокерамики, нанесенной по технологии многопозиционного плазменного напыления. DTD диски представляются более долговечными и надежными носителями информации, т. к. известно, что металлокерамика объединяет важные конструкционные и эксплуатационные свойства металлов и неметаллов, отличается большей прочностью, высокими износо– и теплостойкостью, антикоррозионными свойствами.

Испытания М-диска, проведенные Министерством обороны США, показали, что этот диск более стойкий, чем обычные DVD-диски. Испытания проводились в климатической камере с температурой 85 °C, относительной влажностью воздуха 85 % и при освещении светом полного спектра (эти условия предусмотрены стандартом ECMA-379).

Тем не менее Национальная лаборатория метрологии и тестирования Франции показала, что при температуре 90 °C и влажности 85 % диск DVD+R с неорганическим слоем записи, такой как M-DISC, показывает не большую стойкость, чем обычный DVD±R.

По результатам независимых исследований, расчетное время хранения информации на таких носителях превышает 160 лет. Для расчета времени использовалась методика, описанная в международном стандарте ISO/IEC 10995:2011 Information technology – Digitally recorded media for information interchange and storage – Test method for the estimation of the archival lifetime of optical media⁵. Показательно, что для других распространенных типов вещественных носителей (бумага, микрофильм) в настоящее время отсутствуют международные и национальные стандарты, описывающие ту или иную методику оценки их долговечности.

C целью оценки долговечности хранения данных в 2013 г. в России выполнено искусственное тепло-влажное и световое старение дисков DTD.

Искусственное тепло-влажное старение проводили в климатической камере «Binder» при температуре 80°С и относительной влажности 65 % в течение 700 ч. Изменения показателей качества дисков фиксировали каждые 50 ч. Старению одновременно повергались 15 дисков.

Искусственное световое старение осуществляли под 4 люминесцентными лампами OSRAM DULUX 1-36 и 2 лампами Philips PL-L Cleo 3Б.

Продолжительность старения составила 280 ч, изменение показателей качества дисков фиксировали каждые 10 ч экспонирования. Экспонировали одновременно 7 дисков.

Результаты экспериментов позволили установить следующее:

1. Под действием неблагоприятных факторов окружающей среды (повышенной температуры, относительной влажности, светового излучения) эксплуатационные свойства документа на компакт-диске с металлокерамическим слоем DTD, т. е. его способность к воспроизведению информации, сохраняются в полной мере.

2. Сравнение результатов тестов в процессе тепло-влажного и светового старения позволяет утверждать, что диски более восприимчивы к действию света.

3. Сравнительный анализ показателей качества компакт-дисков с металлокерамическим слоем DTD и «классических» компакт-дисков показал, что первые более устойчивы к воздействию повышенной температуры и относительной влажности, что позволяет прогнозировать более длительную сохранность записанной информации в нормальных условиях эксплуатации.

Еще одним из перспективных видов носителей информации в электронной форме, который можно со стопроцентным основанием назвать катастрофоустойчивым носителем информации, является «кварцевый диск». Не так давно разработчики «кварцевого диска», ученые Российского химико-технологического университета имени Д. И. Менделеева, объявили о смене приоритетов проекта «Вечный диск». Вместо архивирования музыки и фильмов носители из кварцевого стекла и роботизированные библиотеки станут основой центров для хранения данных в облаках. Это позволит быстрее коммерциализировать решение для малозатратного по ресурсам способа архивирования данных на стеклянных носителях, неподвластных времени и воздействию окружающей среды. Потребление таких библиотек просто несущественное по нынешним меркам, когда отдельные современные центры обработки данных требуют едва ли не собственных атомных электростанций для работы. Ученые предложили вместо традиционных оптических BD-R носителей информации использовать для длительного хранения электронных документов кварцевые диски, а по сути, кварцевое стекло. Эту технологию уже называют прорывом в микроэлектронике. По утверждению авторов, на одном кварцевом диске можно записать около 500 фильмов или 200 тысяч архивных документов. И скажем, весь 70-тысячный архив кинолент Госфильмофонда можно уместить всего на 140 кварцевых дисках вместо гигантских архивных хранилищ. Кроме того, подчеркивается, что в отличие от современных носителей, которые способны хранить данные максимум 10-20 лет, а затем требует последующей миграции, кварцевые диски практически вечны. Более того, они устойчивы к самым различным внешним воздействиям, например, им не страшны ни пожары, ни электромагнитные излучения. В ходе проекта разработана технология сверхстабильной оптической памяти на основе модификации кварцевого стекла фемтосекундым лазером. Созданный прототип носителя информации объемом 300 Гб с термостабильностью записанных данных не менее суток при 700 °С, что гарантирует неограниченный срок хранения данных при обычных условиях.

ПРИМЕЧАНИЯ:

1. «Разработка порядка хранения исходных материалов национальных киновидеофильмов и кинолетописи в фильмофондах»: отчет о НИР / Акционерное общество «Творческо-производственное объединение «Центральная киностудия детских и юношеских фильмов им. М. Горького» (Филиал «Научно-исследовательский кинофотоинститут» АО «ТПО Кино­студия им. М. Горького»); рук. Д. Г. Чекалин; исполн.: к.т.н. В. А. Сычев, Е. В. Сычева. – Москва, 2016. – 73 с.

2. Электронный ресурс. Режим доступа: ttps://www.consultant.ru/document/cons_doc_LAW_5437

3. «Разработка порядка хранения исходных материалов национальных киновидеофильмов и кинолетописи в фильиофондах»: отчет о НИР... – 73 с.

4. Электронный ресурс. Режим доступа: https://ru.wikipedia.org/wiki/M-DISC

5. Там же.

Фото автора статьи.

The Photo by the author of the article.

Сведения об авторе

Горохов Сергей Николаевич, кандидат технических наук, директор ГБУ «Государственный архив Республики Татарстан», е-mail: Sergey.Gorohov@tatar.ru

About the author

Sergey N. Gorokhov, Candidate of Technical Sciences, Director of the State Budgetary Institution “State Archive of the Republic of Tatarstan”, е-mail: Sergey.Gorohov@tatar.ru

В редакцию статья поступила 08.10.2024, опубликована:

Горохов С. Н. Современные технологии контроля и хранения цифровых аудиовизуальных материалов // Гасырлар авазы – Эхо веков Echo of centuries. – 2024. – № 3. – С. 193-199.

Submitt ed on 08.10.2024, published:

Gorokhov S. N. Sovremennyе tekhnologii kontrolya i khraneniya tsifrovykh audiovizual’nykh materialov [The Modern technologies of control and storage of digital audiovisual materials]. IN: Gasyrlar avazy – Eho vekov [Echo of centuries], 2024, no. 3, pp. 193-199.