Тема 8 - Применение интерактивной графики в информационных системах

Основные сведения об информационных системах

Под современной информационной системой понимается многокомпонентная система, направленная на удовлетворение требований потребителей информации и работающая с электронными документами.

Информационные системы практически используются во всех областях деятельности современного человека.

Одной из важнейших задач деятельности человека является создание новой техники. Развитие интеграции производственных данных во всем мире проходит под эгидой CALS–технологий – новой концепции развития производственной и коммерческой информатики.

CALS–технологии решают задачи совместного использования электронной информации и обмена ею в части данных о составе и структуре изделий, геометрических моделей, чертежей, технических руководств, описаний процессов, данных, данных касающихся материально-технического обеспечения, технологии информационной поддержки процессов эксплуатации сложной техники, не менее актуальны и в других отраслях, связанных с наукоемкой машинно-технической продукцией.

CALS–технологии используют специальные стандарты IGES, STEP, стандарты электронного обмена данными, электронной технической документации и руководства для усовершенствования процессов.

По сути технологии интерактивной компьютерной графики являются составной частью CALS–технологий и направлены на создание в информационных системах изображений, архивации и передаче изображений по каналам связи.

В глобальной сети Интернет создается, накапливается и передается огромное количество изображений, поэтому совершенствованию технологий интерактивной компьютерной графики уделяется много внимания.

Несмотря на многообразие графических приложений, которые входят составной частью в информационные системы, технологии их использования приближены к работе пользователя, владеющего компьютером, и во многом похожи, хотя и требуют определенной адаптации в зависимости от области его деятельности.

Все приложения имеют базовое ядро и дополняются специфическими модулями для работы в определенной области деятельности. Для базового ядра характерны общепринятые функции работы с компьютером:

- ввод символьной информации и управляющих команд с клавиатуры;

- указание на экране и ввод управляющих команд с помощью мыши;

- работа с файловой системой (копирование, переименование, удаление, перенос и сохранение файлов в определенном месте дисковой памяти);

- печать содержания экрана;

- запуск и управление решением прикладных программ;

- настройка аппаратных и программных средств системы.

После запуска графических приложений при создании новых файлов необходима установка параметров работы графического приложения, например, специального графического режима, вид и разрешение систем координат, включение специальных графических библиотек и т.п. Если пользователя удовлетворяет набор стандартных режимов, то система устанавливает их по умолчанию. Все установленные режимы затем учитываются при записи и сохранению в файлах. При запуске файла режимы работы приложения устанавливаются автоматически по данным запущенного файла.

В состав приложения входит справочная система, которая вызывается на любом этапе работы приложения. Справочная система содержит общие сведения о данном приложении, алфавитный и предметный указатель отдельных команд и функций, их описание и примеры применения. Справочная система значительно облегчает освоение технологий приложений.

Графических приложений разработано в мире достаточно большое количество. Если же вы хотите более детально ознакомиться с возможностями любого графического приложения, то более подробные сведения можно получить из справочных систем, руководств и учебных пособий для выбранного графического приложения.

Передача изображений по каналам связи

Интенсивное развитие вычислительной техники и широкое использование ее для создания, обработки изображений и передачи их по каналам связи дало возможность перейти с аналоговых систем видеомагнитофонов и телевидения к созданию цифрового телевидения цифровых систем записи и воспроизведения изображений и фильмов. Это открыло новые возможности повысить устойчивость приема изображений и улучшить их качество. Но при этом возросла проблема сжатия изображений, записи их на цифровые носители и передача на расстояния в реальном масштабе времени.

Для целенаправленного развития практических реализаций цифровых мультимедийных систем был разработан ряд стандартов, среди которых одним из последних является стандарт MPEG-4.

Полностью совместимый расширенный вариант MPEG-4 версия 2 был разработан к концу 1999 и стал международным стандартом в начале 2000. Работы над этим документом продолжаются.

Рассмотрим основные положения стандарта MPEG-4, касающиеся требований к формированию и передачи изображений по каналам связи.

Основные положения стандарта MPEG-4

MPEG-4 предназначен для решения трех основных проблем:

- Цифровое телевидение;

- Интерактивные графические приложения (synthetic content);

- Интерактивное мультимедиа World Wide Web.

Стандарт предоставляет технологии для нужд разработчиков, сервис-провайдеров и конечных пользователей:

- Для разработчиков позволяет создавать объекты, которые обладают большей адаптивностью и гибкостью, чем это возможно сейчас с использованием разнообразных технологий, таких как цифровое телевидение, анимационная графика WWW и их расширения.

- Для сетевых провайдеров предлагает прозрачность данных, которые могут интерпретироваться и преобразовываться в приемлемые сигнальные сообщения для любой сети посредством стандартных процедур.

- Для конечных пользователей предлагает более высокий уровень взаимодействия с содержимым объектов. Планирует транспортировать мультимедиа данные через новые сети, включая те, которые имеют низкую пропускную способностью, например, мобильные.

- Представляет блоки звуковой, визуальной и аудиовизуальной информации, называемые "медийными объектами". Эти медийные объекты могут быть естественного или искусственного происхождения; это означает, что они могут быть записаны с помощью камеры или микрофона, а могут быть, и сформированы посредством компьютера;

- Описывает композицию этих объектов при создании составных медийных объектов, которые образуют аудиовизуальные сцены;

- Мультиплексирование и синхронизацию данных, ассоциированных с медийными объектами, так чтобы они могли быть переданы через сетевые каналы;

- Взаимодействие с аудиовизуальной сценой, сформированной на принимающей стороне.

Форматы и скорости передачи:

- Скорости передачи: обычно между 5 кбит/с и 10 Mбит/с;

- Форматы: progressive а также interlaced видео;

- Разрешение: обычно от sub-QCIF вплоть до HDTV.

Аудиовизуальные сцены

Аудиовизуальные сцены формируются из нескольких медийных объектов, организованных иерархически.

На периферии иерархии находятся примитивные медийные объекты, такие как:

- статические изображения (например, фон изображения),

- видео-объекты (например, говорящее лицо – без фона)

- аудио-объекты (например, голос данного лица);

- и т.д.

Стандартизует число таких примитивных медиа-объектов, способных представлять как естественные, так и синтетические типы содержимого, которые могут быть 2- или 3-мерными. Кроме медиа-объектов, представляются объекты:

- текст и графика;

- говорящие синтезированные головы и ассоциированный текст,

- использованные для синтеза речи и анимации головы;

- синтезированный звук.

Описание сцены строится во многих отношениях также как и в языке моделирования виртуальной реальности VRML (Virtual Reality Modeling language).

Допускается гибридное кодирование естественных (пиксельных) изображений и видео вместе с синтезированными сценами (генерированными на компьютере. Это, например, допускает виртуальное присутствие участников видеоконференций. Видео стандарт содержит в себе средства и алгоритмы, поддерживающие кодирование естественных (пиксельных) статических изображений и видео последовательностей, а также средства поддержки сжатия искусственных 2-D и 3-D графических геометрических параметров.

Визуальные объекты

Визуальные объекты могут иметь искусственное или натуральное происхождение. Предлагается технология, которая перекрывает широкий диапазон существующих и будущих приложений. Низкие скорости передачи и кодирование устойчивое к ошибкам позволяет осуществлять надежную связь через радио-каналы с ограниченной полосой, что полезно, например, для мобильной видеотелефонии и космической связи. При высоких скоростях обмена, имеются средства, позволяющие передачу и запоминание высококачественного видео на студийном уровне.

Главной областью приложений является интерактивное WEB-видео. Уже продемонстрированы программы, которые осуществляют живое видео MPEG-4.

Средства двоичного кодирования и работы с видео-объектами с серой шкалой цветов должны быть интегрированы с текстом и графикой.

MPEG-4 видео было уже использовано для кодирования видеозаписи, выполняемой с ручной видео-камеры. Эта форма приложения становится все популярнее из-за простоты переноса на WEB-страницу, и может также применяться и в случае работы со статичными изображениями и текстурами. Рынок игр является еще одной областью работы приложений MPEG-4 видео, статических текстур, интерактивности.

Средства для естественного видео в визуальном стандарте MPEG-4 предоставляют стандартные технологии, позволяющие эффективно запоминать, передавать и манипулировать текстурами, изображениями и видео данными для мультимедийной среды. Эти средства позволяют декодировать и представлять блоки изображений и видео, называемые "видео объектами" (VO). Примером VO может быть говорящий человек (без фона), который может быть также создан из других AVO (аудио-визуальный объект) в процессе формирования сцены. Обычные прямоугольные изображения образуют специальный случай таких объектов.

Для того чтобы достичь этой широкой цели функции различных приложений объединяются. Следовательно, визуальная часть стандарта MPEG-4 предоставляет решения в форме средств и алгоритмов для:

- эффективного сжатия изображений и видео;

- эффективного сжатия текстур для их отображения на 2-D и 3-D сетки;

- эффективного сжатия для 2-D сеток;

- эффективного сжатия потоков, характеризующих изменяющуюся со временем геометрию (анимация сеток):

- эффективного произвольного доступа ко всем типам визуальных объектов;

- расширенной манипуляции изображениями и видео последовательностей;

- кодирования, зависящего от содержимого изображений и видео;

- масштабируемости текстур, изображений и видео.

Манипуляция видео-объектами:

- Улучшенная реальность. Объединение виртуальных (сгенерированых ЭВМ) изображений с реальными движущимися объектами (видео) для создания улучшенной видео информации. Изображения, созданные компьютером должны оставаться в идеальном согласии с движущимися реальными изображениями (следовательно необходимо отслеживание).

- Преображение/анимация синтетических объектов. Замещение естественных видео объектов в видео клипе другим видео объектом. Замещающий видео объект может быть извлечен из другого естественного видео клипа или может быть получен из объекта статического изображения, используя информацию перемещения объекта, который должен быть замещен.

- Пространственно-временная интерполяция. Моделирование движения сетки представляет более надежную временную интерполяцию с компенсацией перемещения.

- Представление сетки делает возможным анимационные ключевые мгновенные фотографии для подвижного визуального обзора объектов.

- Представление сетки предоставляет точную информацию о траектории объекта, которая может использоваться для получения визуальных объектов со специфическим перемещением. Сетка дает представление формы объекта, базирующееся на вершинной схеме, которое более эффективно, чем представление через побитовую карту.

Анимация

Часть стандарта, связанная с «анимацией лица», позволяет посылать параметры, которые помогают специфицировать и анимировать синтезированные лица. Эти модели не являются сами частью стандарта MPEG-4, стандартизированы только параметры:

- Определение и кодирование анимационных параметров лица (модельно независимое).

- Позиции характерных деталей и их ориентация для определения сеток при анимации лица.

- Визуальные конфигурации губ, соответствующие фонемам речи.

- Определение и кодирование параметров описания лица (для калибровки модели).

- 3-D позиции характерных признаков (деталей).

- 3-D калибровочные сетки для анимации головы.

- Текстурная карта лица.

- Персональные характеристики.

- Кодирование лицевой текстуры.

Кодирование объектов

Медиа-объекты в его кодированной форме состоят из описательных элементов, которые позволяют обрабатывать его в аудио-визуальной сцене, а также, если необходимо, ассоциированный с ним поток данных. Важно заметить, что кодированная форма, каждого медиа-объекта может быть представлена независимо от его окружения или фона.

Кодовое представление медиа-объектов максимально эффективно с точки зрения получения необходимой функциональности. Примерами такой функциональности являются разумная обработка ошибок, легкое извлечение и редактирование объектов, и представление объектов в масштабируемой форме.

Эффективность сжатия:

- Эффективное сжатие видео будет поддерживаться для всех скоростей обмена. Сюда входит компактное кодирование текстур с качеством, регулируемым от уровня “приемлемо” (для высоких сжатий данных) вплоть до “практически без потерь”.

- Эффективное сжатие текстур для 2-D и 3-D сеток.

- Произвольный доступ к видео, обеспечивающий такие функции как пауза, быстрый переход вперед или назад для записанного видео.

Функции, зависящие от содержимого (Content-Based):

- Кодирование, учитывающее содержимое изображения и видео, позволяет разделить кодовое преобразование и реконструкцию видео-объектов произвольной формы.

- Произвольный доступ к содержимому видео последовательности открывает возможность реализации функций пауза, быстрый переход вперед или назад для записанного видео-объектов.

- Расширенное манипулирование видео последовательностями позволяет наложения естественный или синтетический текст, текстуры, изображения и видео. Примером может служить наложение текста на движущийся видео объект, когда текст движется синфазно с объектом.

Возможности кодирования 3-D сеток включают в себя:

- Кодирование базовых 3-D многоугольных сеток делает возможным эффективное кодирование 3-D полигональных сеток. Кодовое представление является достаточно общим, чтобы поддерживать как много- так и одно-сеточный вариант.

- Инкрементное представление позволяет декодеру реконструировать несколько лиц в сетке, пропорционально числу бит в обрабатываемом потоке данных. Это, кроме того, делает возможным инкрементный рэндеринг.

- Быстрое восстановление при ошибках позволяет декодеру частично восстановить сетку, когда субнабор бит потока данных потерян и/или искажен.

Алгоритмы кодирования

Алгоритмы кодирования изображения MPEG-4 и видео предоставляют эффективное представление визуальных объектов произвольной формы, а также поддержку функций, базирующихся на содержимом. Они поддерживают большинство функций, уже предлагаемых в MPEG-1 и MPEG-2, включая эффективное сжатие стандартных последовательностей прямоугольных изображений при варьируемых уровнях входных форматов, частотах кадров, глубине пикселей, скоростях передачи и разных уровнях пространственной, временной и качественной масштабируемости.

Базовая качественная классификация по скоростям передачи и функциональности визуального стандарта MPEG-4 для естественных изображений и видео включает «Ядро VLBV».

Ядро VLBV (VLBV - Very Low Bit-rate Video) предлагает алгоритмы и средства для приложений, работающих при скоростях передачи между 5 и 64 кбит/с, поддерживающие последовательности изображений с низким пространственным разрешение (обычно ниже разрешения CIF) и с низкими частотами кадров (обычно ниже 15 Гц). К приложениям, поддерживающим функциональность ядра VLBV относятся:

- кодирование обычных последовательностей прямоугольных изображений с высокой эффективностью кодирования и высокой устойчивостью к ошибкам, малыми задержками и низкой сложностью для мультимедийных приложений реального времени;

- операции "произвольный доступ", "быстрая перемотка вперед" и " быстрая перемотка назад" для запоминания VLB мультимедиа ДБ и приложений доступа.

Та же самая функциональность поддерживается при высоких скоростях обмена с высокими параметрами по временному и пространственному разрешению вплоть до ITU-R Rec. 601 и больше – используя идентичные или подобные алгоритмы и средства как в ядре VLBV. Предполагается, что скорости передачи лежат в диапазоне от 64 кбит/с до 10 Мбит/с, а приложения включают широковещательное мультимедиа или интерактивное получение сигналов с качеством, сравнимым с цифровым телевидением.

Функциональности, базирующиеся на содержимом, поддерживают отдельное кодирование и декодирование содержимого (т.е. физических объектов в сцене, VO). Эта особенность MPEG-4 предоставляет наиболее элементарный механизм интерактивности.

Для гибридного кодирования естественных и искусственных визуальных данных (например, для виртуального присутствия или виртуального окружения) функциональность кодирования, зависящая от содержимого, допускает смешение нескольких VO от различных источников с синтетическими объектами, такими как виртуальный фон.

Расширенные алгоритмы и средства MPEG-4 для функциональности, зависящей от содержимого, могут рассматриваться как супер набор ядра VLBV и средств для работы при высоких потоках данных.

MPEG-4 видео поддерживает обычные прямоугольные изображения и видео, а также изображения и видео произвольной формы.

Кодирование обычных изображений и видео сходно с обычным кодированием в MPEG-1/2. Оно включает в себя предсказание/компенсацию перемещений за которым следует кодирование текстуры. Для функциональности, зависящей от содержимого, где входная последовательность изображений может иметь произвольную форму и положение, данный подход расширен с помощью кодирования формы и прозрачности. Форма может быть представлена двоичной маской или 8-битовой компонентой, которая позволяет описать прозрачность, если один VO объединен с другими объектами.

Базовая структура кодирования включает в себя кодирование формы (для VO произвольной формы), компенсацию перемещения и кодирование текстуры с привлечением DCT (используя стандарт 8x8 DCT или DCT, адаптирующийся к форме).

Стандарт MPEG-4 V.2 улучшает оценку перемещения и компенсации для объектов и текстур прямоугольной и произвольной формы. Введены две методики для оценки и компенсации перемещения:

- глобальная компенсация перемещения GMC (Global Motion Compensation). Кодирование глобального перемещения для объекта, использующего малое число параметров. GMC основано на глобальной оценке перемещения, деформации изображения, кодировании траектории перемещения и кодировании текстуры для ошибок предсказания;

- четверть-пиксельная компенсация перемещения улучшает точность схемы компенсации, за счет лишь небольшого синтаксической и вычислительной избыточности. Точное описание перемещения приводит к малым ошибкам предсказания и, следовательно, лучшему визуальному качеству.

В области текстурного кодирования DCT (SA-DCT – адаптивный к форме) улучшает эффективность кодирования объектов произвольной формы. Алгоритм SA-DCT основан на предварительно определенных ортонормальных наборах одномерных базисных функций DCT.

Субъективные оценочные тесты показывают, что комбинация этих методик может дать экономию в необходимой полосе канала до 50% по сравнению с версией 1, в зависимости от типа содержимого и потока данных.

Эффективное кодирование визуальных текстур и статических изображений (подлежащих, например, выкладке на анимационные сетки) поддерживается режимом визуальных текстур MPEG-4. Этот режим основан на алгоритме элементарных волн (wavelet) с нулевым деревом, который предоставляет очень высокую эффективность кодирования в широком диапазоне скоростей передачи. Вместе с высокой эффективностью сжатия, он также предлагает пространственную и качественную масштабируемость (вплоть до 11 уровней пространственной масштабируемости и непрерывной масштабируемости качества), а также кодирование объектов произвольной формы. Кодированный поток данных предназначен также для загрузки в терминал иерархии разрешения изображения. Эта технология обеспечивает масштабируемость разрешения в широком диапазоне условий наблюдения более типичном для интерактивных приложений при отображении 2-D и 3-D виртуальных миров.

MPEG-4 поддерживает кодирование изображений и видео объектов с пространственной и временной масштабируемостью, для обычных прямоугольных и произвольных форм. Под масштабируемостью подразумевается возможность декодировать лишь часть потока данных и реконструировать изображение или их последовательность с:

- уменьшенной сложностью декодера и следовательно ухудшенным качеством;
уменьшенным пространственным разрешением;

- уменьшенным временным разрешением;

- равным временным и пространственным разрешением, но с ухудшенным качеством.

Эта функциональность желательна для прогрессивного кодирования изображений и видео, передаваемых через неоднородные сети, а также для приложений, где получатель не способен обеспечить полное разрешение или полное качество изображения или видео. Это может, например, случиться, когда мощность обработки или разрешение отображения ограничены.

Декодирование

Для декодирования статических изображений, предоставляется 11 уровней гранулярности, а также масштабируемость качества до уровня одного бита. Для видео последовательностей в начале будет поддерживаться 3 уровня гранулярности, но ведутся работы по достижению 9 уровней.

Обеспечивается устойчивость к ошибкам, чтобы позволить доступ к изображениям и видео данным через широкий круг устройств памяти и передающих сред. В частности, благодаря быстрому росту мобильных телекоммуникаций, необычайно важно получить доступ к аудио и видео информации через радио сети. Это подразумевает необходимость успешной работы алгоритмов сжатия аудио и видео данных в среде предрасположенной к ошибкам при низких скоростях передачи (т.е., ниже 64 кбит/с).

Средства противостояния ошибкам, разработанные для MPEG-4 могут быть разделены на три основные группы: ресинхронизация, восстановление данных и подавления влияния ошибок. Следует заметить, что эти категории не являются уникальными для MPEG-4, они широко используются разработчиками средств противодействия ошибкам для видео.

Анализ стандарта MPEG-4 показывает серьезный научный подход, на базе которого выработаны требования к созданию изображений и видео фильмов для телекоммуникационных требований. В стандарт внесены, наряду с широко используемыми методами и промышленными средствами, последние достижения науки, хотя еще и не имеющие широкого применения. Можно сказать, что стандарт определяет пути дальнейшего развития передачи изображений на большие расстояния в реальном времени. Пока в составе средств, названных в MPEG-4, немного средств, которые могли бы быть использованы для глобальных сетей и признаны как стандарты. Например, использование для моделирования геометрических объектов аналитических моделей (алгебраических поверхностей высших порядков). Тем не менее, в стандарте заложены требования, которые побуждают ученых и разработчиков продвигаться вперед.