Текст книги "Электронные издания"

3.5. Форматы представления анимации и цифрового видео

Известно, что анимационные файлы в формате GIF занимают почетное место на Web-страницах. Надо сказать, что в электронных изданиях любого типа анимационные файлы также используются достаточно широко. Это объясняется тем обстоятельством, что GIF-файлы непосредственно воспроизводятся большинством браузеров, причем объем памяти, занимаемый этими файлами, сравнительно невелик. Для учебных электронных изданий анимационные файлы обеспечивают уникальную возможность демонстрации последовательности действий, протекания физических, электрических, технологических и других процессов в простой и наглядной форме. Следует особо отметить, что затрата вычислительных ресурсов на такие демонстрации – минимальна.

Искусственный мир компьютерной анимации лежит где-то посредине между миром неподвижных изображений, форматы которых были рассмотрены в разд. 3.3, и реальным миром видеоизображений. Обычные мультипликационные фильмы состоят из множества рисованных изображений-кадров, в которых последовательно изменяются позиции объекта анимации. В результате, при отображении с достаточной скоростью такой последовательности изображений у зрителя возникает впечатление движения объектов.

Возможности GIF-анимации связаны с тем, что этот формат позволяет хранить в одном файле несколько различных изображений. Единственный существенный недостаток GIF-файлов связан с применением индексированных цветов, для чего в файле используется глобальная и локальные цветовые палитры. Глобальная цветовая палитра хранит до 256 различных цветовых оттенков, каждый из которых может быть использован в любом из изображений, которое хранится в данном файле. Локальные палитры относятся к каждому отдельному изображению, т. е. хранимые в них цветовые оттенки не могут использоваться в других (не своих) изображениях. Каждое такое изображение формирует отдельный кадр, причем задержка следующего кадра и его линейное смещение относительно предыдущего по каждой координате может регулироваться. Разрешение для всех изображений, входящих в данный файл, или количество пикселов по каждой координате должно в таком файле поддерживаться постоянным.

Рис. 3.8. Структура анимационного файла формата GIF 87a

Структура файлового формата GIF 87а представлена на рис. 3.8. Файл начинается с общего заголовка и дескриптора логического экрана, причем в последнем хранится ширина и высота каждого изображения в пикселах, индекс цвета фона и значение коэффициента сжатия. Там же задается размер глобальной цветовой таблицы, которая может и отсутствовать. В этом случае обязательно используется для каждого отдельного изображения локальная палитра. В большинстве случаев рекомендуется пользоваться именно глобальной палитрой, что экономит общее информационное пространство, занимаемое файлом.

После указанных трех элементов следуют наборы данных, характеризующие каждое из входящих в файл изображений. Каждое изображение в отдельности описывается локальным дескриптором и локальной цветовой палитрой, после которых следуют данные изображения. Данные обычно состоят из последовательностей пакетов данных, называемых блоками, причем в состав отдельных блоков могут входить и подблоки.

Малый размер GIF-файлов связан с использованием поблочного LZWсжатия изображения, причем большинство сжимаемых блоков имеют размер 255 байтов. Каждый пиксел декодированного изображения характеризуется размером в 1 байт и содержит значение индекса цвета, т. е. положение нужного цветового тона в глобальной или локальной цветовой палитре.

Рис. 3.9. Структура анимационного файла в формате GIF 89a

Помимо первоначальной версии формата GIF-файлов, названной GIF 87a, имеется выпущенная двумя годами позднее вторая версия – GIF 89a. Вторая версия добавила несколько новых возможностей, в том числе, хранение текстовых и графических данных в одном файле. Для этого в описание файла добавлен специальный блок «Управляющие расширения», который размещен сразу после трех общих для всего файла элементов и предшествует описанию отдельных изображений в составе файла. Этот блок состоит из трех элементов: «Расширение комментариев», «Расширение приложений» и «Расширение управления графикой» (рис. 3.9).

На рисунке этот блок выделен двумя жирными линиями. В состав управляющих расширений входят: расширение комментариев, расширение приложений и расширение управления графикой. В последнем указано, в частности, и величина задержки кадра в сотых долях секунды, а также значение индекса прозрачности цвета, который позволяет создавать новые анимационные эффекты. Кстати, большинство современных программ-аниматоров обеспечивает подготовку анимационных файлов именно в этом формате (см. главу 5).

Обычные телевизионные видеоданные представляют собой поток аналоговых сигналов. Компьютерная обработка видеоинформации состоит в преобразовании их в цифровой формат с последующим хранением этих данных на жестком или компакт-диске или другом устройстве хранения информации. Оцифровка видеосигнала, как и оцифровка звука, включает те же две стадии: дискретизацию данных аналогового видеопотока, т. е. снятие отсчетов с определенной частотой, и преобразование каждого такого отсчета в цифровой эквивалент или квантование.

При хранении оцифрованных данных в несжатом формате изображение размером 400×300 пикселов с глубиной цвета 24 бита на пиксел, обновляемое с частотой 25 Гц, потребует скорости передачи информации около 9 Мбайт/с. А хранение данных для показа 5-минутного ролика в указанном формате потребует информационное пространство, превышающее 2,5 Гбайта. Естественно, что при работе с такими объемами информации невозможно обойтись без сжатия данных, однако и этом случае потребуется время и определенные вычислительные мощности на распаковку данных. Достичь оптимального сжатия можно путем совершенствования аппаратных или программных средств, а может быть – совместно тех и других.

В качестве аппаратных средств используются специальные видеопроцессоры, которые поддерживают высокоскоростную компрессию и декомпрессию данных, не загружая центральный процессор компьютера. Второй подход состоит в использовании специализированных методов программного сжатия и распаковки предварительно сжатых видеоданных.

Аналоговый видеосигнал включает в себя несколько различных компонентов, объединенных в единое целое. Такой составной видеосигнал малопригоден для оцифровки. Предварительно его следует разделить на так называемые базовые компоненты. Обычно компоненты представляют собой три различных сигнала, соответствующие определенной цветовой модели. Если в статической графике используется RGB-модель, то в цифровом видео чаще используется модель YUV. Эта модель уже много лет успешно используется в аналоговом телевидении, так как позволяет принимать сигналы цветного телевидения на черно-белый телевизионный приемник. Исходный RGB-сигнал преобразуется в яркостной сигнал Y и два сигнала цветности U и V по следующим формулам:

Y = 0,299R + 0,587G + 0,114B, (3.2)

U= B – Y, (3.3)

V = R – Y, (3.4)

где R, G и B уровень цветовых компонентов исходного сигнала.

Видеопоследовательности отображаются в виде серии кадров или фреймов, каждый из которых, по существу, является графическим изображением и включает в себя определенное число пикселов. Такой видеофрейм может быть сжат с помощью одного из алгоритмов сжатия изображений, с потерями или без потерь.

Так, применение дискретного косинусного преобразования, упомянутого в разд. 3.3, позволяет выделить высокочастотные составляющие пространственного спектра, которые практически не воспринимаются человеческим глазом и могут быть отброшены как избыточная информация. Затем фрейм может быть сжат с помощью одного из алгоритмов сжатия без потерь или за счет более сложной схемы, такой как JPEG. При внутрифреймовом кодировании достигается коэффициент сжатия в пределах от 20 до 40. Еще большее значение этого коэффициента достигается при кодировании совокупности фреймов.

Различие между кадрами в обычной видеопоследовательности, как правило, невелико. Поэтому, если кодировать не целиком каждый фрейм, а лишь отличия каждого последующего фрейма от предыдущего, то объем данных, характеризующий каждый фрейм, существенно уменьшится. Это так называемое межфреймовое дельта-сжатие или компенсация движения. Применение типовых схем компенсации движения позволяет довести суммарный коэффициент сжатия видеопоследовательности до 200 и более.

В этом разделе мы проанализируем характерные форматы представления цифрового видео, такие как QuickTime фирмы Apple, MPEG комитета Motion Picture Expert Group и AVI фирмы Microsoft.

Общая черта всех популярных форматов цифровых видеофайлов состоит в том, что основная часть любого из них – это система сжатия и восстановления видеоданных (compression/decompression – сокращенно codec), называемая кодеком. Обычно программы, поддерживающие основные форматы видеофайлов, позволяют замещать старые кодеки на новые, более совершенные по мере разработки последних. Такой подход позволил легко адаптировать форматы видеофайлов и поддерживающие их программы к новым технологиям, как только те становились доступными.

Исходные релизы форматов QuickTime и VfW (Video for Windows – один из простых форматов фирмы Microsoft, который использовался в начале и середине 90-х годов) содержали очень простые кодеки, так как уровень развития компьютерной техники того периода не мог обеспечить применения более качественных методов, требовавших значительно более высокого уровня вычислительного ресурса. По мере совершенствования компьютерных технологий стало возможным использовать более эффективные методы сжатия и распаковки, что привело к применению новых кодеков.

К наиболее известным и широко применяемым форматам следует отнести QuickTime фирмы Apple. Под этим именем объединены 2 различных понятия. Для пользователей – это стандартный способ работы с потоковыми данными, такими как видео и аудио. Для производителей – это гибкое средство разработки приложений, совершенствующееся по мере развития технологий. Формат пригоден для работы с любой времязависимой информацией. Видеофильмы в этом формате могут содержать несколько видео– и аудиодорожек. Таким образом, фильм в этом формате может иметь многоязыковую поддержку, а также содержать MIDI-информацию для управления внешним синтезатором. Продолжительность событий на каждой из дорожек также может быть различной. Можно также накладывать друг на друга несколько видеодорожек. Это создает определенные возможности для усиления комплексного эмоционального воздействия на зрителя и слушателя.

Формат был создан первоначально для платформы Macintosh для хранения аудио– и видеоданных на магнитных и оптических носителях. Сейчас он используется и в оболочке Windows. Предусмотрен специальный набор средств, называемый Movie Toolbox, который обеспечивает редактирование и модификацию видеофильмов в данном формате, т. е. можно вклеивать, вырезать, копировать и редактировать отдельные видеофрагменты таким же образом, как это делается при профессиональном монтаже обычного кино. Данные в этом формате можно хранить на магнитном или компакт-диске в виде обычного файла, а также помещать на цифровой видеомагнитофон.

Набор средств Movie Toolbox определяет 6 методов сжатия, используемых при хранении видеофильмов в этом формате. Перечислим эти методы.

✓ Photo Compressor – предназначен для сжатия отдельных изображений с глубиной цвета от 8 до 24 бит (для сжатия фреймов или видеокадров обычно используется метод JPEG).

✓ Video Compressor – метод сжатия видеопоследовательностей с потерями, основанный на преобразовании пространственного спектра и временном сжатии. Глубина цвета – 24 бита. Метод отличается высокой скоростью распаковки сжатого видеоряда.

✓ Сompact Video Compressor – также метод сжатия с потерями, пригодный для 16– и 24-битного представления цвета. Отличается более высоким качеством и большим коэффициентом сжатия по сравнению с предыдущим, но требует значительных затрат времени на выполнение начального сжатия информации.

✓ Animation Compressor – метод сжатия анимационных последовательностей, основанный на применении алгоритма группового кодирования, рассмотренного в разд. 3.3. Используется как в варианте с потерями, так и без потерь. Работает с любой глубиной цвета.

✓ Graphic Compressor – предназначен для быстрого сжатия и распаковки 8-битовых неподвижных изображений и их последовательностей. Коэффициент сжатия невелик. Применяется при хранении информации на устройствах с низкой скоростью обмена данными, типа компакт– или DVD-дисков.

✓ Raw Compressor – программа предварительной обработки изображений, позволяющая получить нужную глубину цвета перед тем, как сжать его одним из описанных выше методов.

Аудиоданные в этом формате кодируются в виде последовательности квантованных дискретных выборок в формате AIFF, как это было описано в разд. 3.4 или непосредственно в ресурсе звуковой среды видеофильма.

Основная структурная единица файлов этого формата носит название атом. Различают атомы-контейнеры и атомы-листья. Контейнеры содержат другие атомы, в том числе и атомы-контейнеры. А атомы-листья содержат только данные. Каждый поток данных файла хранится в отдельном атоме дорожки. Дополнительные сведения о данном формате можно почерпнуть из книг [21, 29] и на сайте www.quicktime.apple.com.

Комитет Motion Picture Expert Group, как уже ранее упоминалось, был создан международной ассоциацией по стандартизации специально для создания высококачественных стандартов сжатия цифрового видео. И действительно был разработан ряд стандартов, таких как MPEG-1, MPEG-2, MPEG-4, для воспроизведения видео с различной скоростью и качеством на платформах Windows, Macintosh и UNIX, а также рекомендован определенный набор методов сжатия видео– и аудиоданных.

Формат MPEG-1 определяет файлы для хранения кодируемого видеоматериала (расширение mpv) и формат системного потока для объединения видео– и аудиоданных (расширение mps), а также три формата для кодирования только аудио (mpa, mp2 и l3). Формат MPEG-2 предназначен для вещания и малопригоден для персональных компьютеров. MPEG-4 предназначен для передачи низкокачественного видео для систем видеотелефонии и видеоконференций.

Стандарты MPEG определяют только способ хранения данных, но не указывают, как были получены данные в этом формате. Все форматы MPEG – с потерями. Для кодирования данных в этом формате вычислительных ресурсов ПК недостаточно. Корректная обработка MPEG на ПК без дополнительных аппаратных средств также связана с определенными трудностями. Они могут привести к задержкам или ухудшению качества воспроизведения.

Формат MPEG хранит несколько типов кадров. Независимые или ключевые кадры (I-frames) не требуют никакой дополнительной информации для декодирования. При их сжатии используется методика, аналогичная JPEGсжатию, но более эффективная. Предсказуемые кадры (P-frames) хранят различие между предыдущим независимым или предсказуемым кадром и текущим кадров (то, что в разд. 3.5.2 определялось как межфреймовое дельтасжатие или компенсация движения). Дальнейшее улучшение качества сжатия достигается путем использования двунаправленных предсказаний движения или B-frames. В нем предсказание сохраняется как разности текущего как с предыдущим, так и с последующим кадрами, вследствие чего последовательность кадров может иногда нарушаться.

При кодировании звука MPEG отбрасывает ряд избыточных данных, опираясь на особенности человеческого слуха, о которых уже говорилось в разд. 3.4. В результате достигается гораздо более высокий уровень сжатия по сравнению с PCM и -Law, о которых говорилось в предыдущем параграфе. Оценивая данный формат, следует отметить, что он гарантирует самое высокое качество как видео, так и аудио, но требует наличия большого количества вычислительных ресурсов.

Формат AVI (Audio/Video Interleave) фирмы Microsoft получил свое название из-за того, что в нем аудио– и видеоданные расположены перемежающимися слоями. В заголовке файла хранится множество различной информации, в том числе о частоте следования и размере кадров. Программа воспроизведения должна извлечь данные видеокадра и связанного с ним звукового сопровождения, затем передать звук на звуковую карту а видеоданные распаковать и воспроизвести на экране монитора.

Поддержка равномерного потока данных требует внимания ко всем частям системы воспроизведения для того, чтобы сохранить синхронизацию независимо от задержек при распаковке видеоданных.

В структуре AVI-файла содержатся 2 блока LIST. Первый из них (LIST hdrl) содержит информацию о фильме в целом и о каждом из его потоков, включая разрешение экрана и частоту кадров видеоданных, а также формат, частоту оцифровки и разрядность квантованных аудиоданных. Второй блок LIST movi хранит сами видео– и аудиоданные в виде отдельных потоков, сегментированных на блоки выборки. Интересно отметить, что в формате AVI звуковые данные опережают видео на 0,75 с.

1. Что такое мультимедиа-издание и для чего оно используется? Чем оно отличается от обычного электронного издания?

2. Какие компоненты могут содержаться в мультимедиа-издании?

3. Какова роль мультимедиа в учебных пособиях? Приходилось ли вам сталкиваться и работать с такими пособиями?

4. Какие текстовые форматы используются в таких изданиях и как их можно получить с помощью известных программных средств?

5. Сталкивались ли вы с языками TEX и SGML? Что вы можете сказать об этих языках и их характерных особенностях?

6. Какова роль графической информации в электронных и мультимедиа-публикациях? Какие графические форматы вам известны и что вы можете о них сказать?

7. Как формируется описание графики в векторных файлах? В растровых файлах? Чем они различаются в части размера файла? Требования к процессору компьютера?

8. Попробуйте сформулировать достоинства растровой и векторной графики и их недостатки?

9. Какие существуют методы сжатия данных, в частности – графических? Чем отличается одна группа методов от другой?

10.Что такое групповое кодирование? Чем отличается метод Лемпела-Зива-Велча? В каких случаях применяется каждый из этих методов и почему?

11.Как происходит кодирование (сжатие) и декодирование (восстановление) данных? Какие для этого требуются вычислительные ресурсы?

12.В чем особенности сжатия в формате JPEG? Почему при нем имеют место потери информации? С чем эти потери связаны и как они влияют на восстановленное изображение?

13.Какие графические форматы вы знаете? С какими из них вы сталкивались на практике? По каким признакам оценивается качество графического формата?

14.Что вы можете сказать про формат TIFF? Где и когда он используется? Каковы его достоинства и недостатки?

15.Какое представление цвета (цветовое пространство) используется в формате TIFF? Какое максимальное число битов на пиксел возможно в этом формате?

16.Что вы можете сказать про представление данных изображения в форме полос? Что такое полоса как структура данных? Какова ее размерность?

17.Чем отличается фрагмент как структура представления данных от полосы? В чем удобство применения фрагмента? Какова его размерность?

18.Где чаще всего используется формат GIF? В чем он превосходит большинство других форматов? Вы работали с графикой в этом формате?

19.Каким образом представляется цвет в этом формате? Какова максимальная глубина цвета?

20.В чем преимущества формата PNG по сравнению с GIF? По каким характеристикам GIF предпочтительнее?

21.Чем отличается формат JPEG от всех ранее рассмотренных графических форматов? Какая цветовая модель в нем используется? Какой вариант сжатия графических данных? Какова максимальная величина коэффициента сжатия (компрессии) в этом формате?

22.Как изменяется характер изображения в формате JPEG вследствие потери качества?

23.Попробуйте сформулировать, почему наша речь является аналоговым сигналом? В чем различие между дискретной величиной и аналоговой?

24.Что такое дискретизация и каким образом она реализуется? С какой частотой следует производить замеры аналоговой величины, чтобы не возникали погрешности дискретизации?

25.Что такое квантование и как искажения сигнала при квантовании связаны с разрядностью цифровых данных?

26.На каких принципах основано сжатие аудиоданных? Данных при стереозвучании?

27.Какие форматы аудиофайлов вам известны? Какие из них вы воспроизводили (прослушивали) на компьютере?

28.С какими программными и аппаратными средствами для воспроизведения аудио файлов вы знакомы? Какие из них воспроизводят наиболее качественно?

29.Чем отличаются анимация и цифровое видео? Где выше качество воспроизведения?

30.Чем отличается структура файла GIF 87a от GIF 89a? Что дает это отличие с точки зрения анимации?

31.По каким причинам видеоданные необходимо предварительно сжимать (до сохранения на одном из цифровых информационных носителей)?

32.Какими методами выполняется сжатие цифровых видеоданных? Какие средства сжимают наиболее эффективно?

33.Какие наиболее употребительные форматы цифрового видео? Что такое кодек и почему кодеки время от времени заменяют?

34.Для чего предназначены форматы MPEG-1, MPEG-2 и MPEG-4? Кто разрабатывал эти форматы?

35.Как осуществляется хранения данных в формате QuickTime? Какие данные можно хранить в этом формате? Встречали ли вы его в каких-либо изданиях?

36.Как размещаются аудио и видео данные в формате AVI? Как переводится на русский язык название этого формата?