1.                   Классификации и области применения мультимедиа

Мультимедиа (multimedia) - это современная компьютерная информационная
технология, позволяющая объединить в компьютерной системе текст, звук,
видеоизображение, графическое изображение и
анимацию(мультипликацию).

Области применения мультимедиа: 

Области применения:
− Обучение с использованием компьютерных технологий (научно-просветительская или образовательная сфера);
− Видеоэнциклопедии, интерактивные путеводители, тренажеры, ситуационно-ролевые игры и др.;
− Информационная и рекламная служба;
− Популяризаторская и развлекательная сферы;
− Интернет-вещание;
− Развлечения, игры, системы виртуальной реальности;
− Презентационная (витринной рекламы), СМИ;
− Творчество (станция мультимедиа становится незаменимым авторским инструментом в кино и видеоискусстве. Автор фильма за экраном такой настольной системы собирает, «аранжирует», создает произведения из заранее подготовленных – нарисованных, отснятых, записанных и т. п. – фрагментов;
− Военные технологии;
− Промышленность и техника (сенсорные экраны);
− Торговля.
− В научно-исследовательской области – это электронные архивы и библиотеки – для документирования коллекций источников и экспонатов, их каталогизации и научного описания, для создания «страховых копий», автоматизации поиска и хранения, для хранения данных о местонахождении источников для хранения справочной информации, для обеспечения доступа
к внемузейным базам данных, для организации работы ученых не с самими документами, а с их электронными копиями и т. д.).
− Медицина: базы знаний, методики операций, каталоги лекарств и т. п.
− Искусственный интеллект – внедрение элементов искусственного интеллекта в системе мультимедиа. Они обладают способностью «чувствовать» среду общения, адаптироваться к ней и оптимизировать процесс общения с пользователем: они подстраиваются под читателей, анализируют круг их
интересов, помнят вопросы, вызывающие затруднения и могут сами предложить дополнительную или разъясняющую информацию.
− Системы распознавания речи, понимающие естественный язык, еще более расширяют диапазон взаимодействия с компьютером.
Классификация:
 
-на основе поддержки взаимодействия     
·                            Синхронное
o           Видеоконференция
o           Аудиоконференция
o           Беседы
·                            Асинхронное
o           Онлайн режим
§       Конференции на основе:
Ø      Аудиофрагменты
Ø      Статичные картинки
Ø      Анимация
Ø      Видеофрагменты
§       Электронные учебные материалы
§       WWW
§       ММ база данных
o           Корреспондентский режим
§       Аудиокассеты
§       Видеокассеты
§       CD/DVD-ROM
 
     

- на основе использования различных мультимедийных телекоммуникационных технологий:

·                     Текст.

·                     Виртуальные объекты.

·                     Видео:

o                  Видео – конференции.

o                  Видеокассеты.

o                  Видео – фрагменты :

§                Слайд – шоу.

§                Реальный видео – фрагмент.

·                     Звук:

o                  Аудио - кассеты.

o                  Аудио –конференция.

o                  Аудио – фрагменты.

§                Проговариваемый текст.

§                Музыкальный фрагмент.

§                Звуковой фрагмент.

·                     Графика:

o                  Статические изображения.

o                  Анимация

Классификация мультимедиа приложений по назначению:

·                     ММТ - инструментальные приложения;

·                     ММТ - приложения:

o                  для MMT-продуктов на DVD (CD);

o                  для MMT-среды Web;

o                  для MMT-сред Internet и телекоммуникаций;

o                  для смешанных сред;

·                     MM-элементы ПО.

Классификация средств разработки информационных приложений. Среди средств разработки информационных приложений можно выделить следующие основные группы:

·                     традиционные системы программирования;

·                     инструменты для создания файл-серверных приложений;

·                     средства разработки приложений клиент-сервер;

·                     средства автоматизации делопроизводства и документооборота;

·                     средства разработки Internet/Intranet-приложений;

·                     средства автоматизации проектирования приложений.

                     Инструментальные программные средства разработки информационных приложений

должны обеспечивать следующие важные свойства:

·                     поддержку многоплатформенности;

·                     независимость от производителя;

·                     унификацию средств разработки;

·                     создание надежного и качественного программного обеспечения;

·                     поддержку разработанного ПО на протяжении всего времени жизни;

·                     проектирование с использованием различных современных методик;

·                     ведение версий;

·                     поддержку Web-технологии.

2.                   Звуковые файлы: музыка, речь и звуковые эффекты.

Мультимедиа началась со звука, поэтому вполне логично, что это направление наиболее развито. Звуковые устройства значительно видоизменились в ходе эволюционного развития. Метод синтеза звуковых сигналов, использующийся в большинстве разработок, давно перестал удовлетворять притязательных пользователей, т.к. метод частоты модуляции (FM -Frequency Modulation) обеспечивает не очень естественный звук. Выход был только один - перевести в цифровую форму звучание настоящих инструментов и переписать их в память звуковой платы. Это произвело настоящую революцию в компьютерном аудиомире. Впервые профессиональные музыканты задумались о персональном компьютере с хорошей аудиоплатой как о дешевой альтернативе обычной домашней студии. Такая система по качеству ничем не уступает обычному студийному оборудованию, а по удобству значительно ее превосходит. Можно подключить синтезатор к аудиовходу компьютера и наиграть мелодию, а потом, при помощи специальной программы, ее обработать. Можно менять высоту тона, длительность звучания, тип инструмента. Можно регулировать даже такие параметры, как скорость нажатия и отпускания клавиши.

Другое очень интересное применение звука в персональных компьютерах - всевозможная работа с речью. Компьютер уже можно научить распознавать голосовые команды, что очень ускоряет и облегчает работу при необходимости частого ввода повторяющихся команд с клавиатуры. Есть программы, позволяющие распознавать произнесенный текст и вводить его сразу в текстовый процессор. Но самое неожиданное применение звука в ПК - это использование голоса пользователя для защиты от несанкционированного доступа. Стоит провести соответствующую настройку (произнести в микрофон несколько слов и отрегулировать чувствительность) - и постороннему человеку будет уже практически невозможно "влезть" в защищенный таким образом ПК.

Но все-таки наиболее интенсивно звук используется в играх и обучающих программах. Практически все выпускаемые игрушки имеют звуковые стереоэффекты. Некоторые мелодии из компьютерных игр стали настолько популярными, что даже продаются отдельно на кассетах. Мультимедиа-приложения, использующиеся для образовательных целей, переживают настоящий бум. С их помощью изучают языки, обучают детей математике и чтению, и т.п. С помощью мультимедиа-энциклопедий можно путешествовать по всему миру, осматривать достопримечательности, и получать при этом подробные пояснения.

Как делаются звуковые эффекты, применяемые в музыке?

Вот наиболее распространенные звуковые эффекты:

•              вибрато — амплитудная или частотная модуляция сигнала с небольшой частотой (до 10 Гц). Амплитудное вибрато также носит название тремоло; на слух оно воспринимается, как замирание или дрожание звука, а частотное — как «завывание» или «плавание» звука (типичная неисправность механизма магнитофона — детонация).

•              динамическая фильтрация (wah-wah — «вау-вау») — реализуется изменением частоты среза или полосы пропускания фильтра с небольшой частотой. На слух воспринимается, как вращение или заслонение/открывание источника звука — увеличение высокочастотных составляющих ассоциируется с источником, обращенным на слушателя, а их уменьшение — с отклонением от этого направления.

•              реверберация (reverberation — повторение, отражение). Получается путем добавления к исходному сигналу затухающей серии его задержанных во времени копий. Это имитирует затухание звука в помещении, когда за счет многократных отражений от стен, потолка и прочих поверхностей звук приобретает полноту и гулкость, а после прекращения звучания источника затухает не сразу, а постепенно. При этом время между последовательными отзвуками (примерно 15..50 мс) ассоциируется с величиной помещения, а их интенсивность — с его гулкостью. По сути, ревербератор представляет собой частный случай фленжера без модуляции и с увеличенной задержкой между отзвуками основного сигнала, однако особенности слухового восприятия качественно различают эти два вида обработки.

•              эхо (echo). Реверберация с еще более увеличенным временем задержки — выше примерно 50 мс. При этом слух перестает субъективно воспринимать отражения, как призвуки основного сигнала, и начинает воспринимать их как повторения. Эхо обычно реализуется так же, как и естественное — с затуханием повторяющихся копий.

•              компрессия — сжатие динамического диапазона сигнала, когда слабые звуки усиливаются сильнее, а сильные — слабее. На слух воспринимается как уменьшение разницы между тихим и громким звучанием исходного сигнала. Используется для последующей обработки методами, чувствительными к изменению амплитуды сигнала. В звукозаписи используется для снижения относительного уровня шума и предотвращения перегрузок. В качестве гитарной приставки позволяет значительно (на десятки секунд) продлить звучание струны без затухания громкости.

Каковы достоинства и недостатки цифрового звука?

Цифровое представление звука ценно прежде всего возможностью бесконечного хранения и тиражирования без потери качества, однако преобразование из аналоговой формы в цифровую и обратно все же неизбежно приводит к частичной его потере. Наиболее неприятные на слух искажения, вносимые на этапе оцифровки - гранулярный шум, возникающий при квантовании сигнала по уровню из-за округления амплитуды до ближайшего дискретного значения. В отличие от простого широкополосного шума, вносимого ошибками квантования, гранулярный шум представляет собой гармонические искажения сигнала, наиболее заметные в верхней части спектра.

При восстановлении звука из цифровой формы в аналоговую возникает проблема сглаживания ступенчатой формы сигнала и подавления гармоник, вносимых частотой дискретизации. Из-за неидеальности АЧХ фильтров может происходить либо недостаточное подавление этих помех, либо избыточное ослабление полезных высокочастотных составляющих. Плохо подавленные гармоники частоты дискретизации искажают форму аналогового сигнала (особенно в области высоких частот), что создает впечатление "шероховатого", "грязного" звука.

Какие методы используются для эффективного сжатия цифрового звука?

В настоящее время наиболее известны Audio MPEG, PASC и ATRAC. Все они используют так называемое "кодирование для восприятия" (perceptual coding) при котором из звукового сигнала удаляется информация, малозаметная для слуха. В результате, несмотря на изменение формы и спектра сигнала, его слуховое восприятие практически не меняется, а степень сжатия оправдывает незначительное уменьшение качества. Такое кодирование относится к методам сжатия с потерями (lossy compression), когда из сжатого сигнала уже невозможно точно восстановить исходную волновую форму.

Приемы удаления части информации базируются на особенности человеческого слуха, называемой маскированием: при наличии в спектре звука выраженных пиков (преобладающих гармоник) более слабые частотные составляющие в непосредственной близости от них слухом практически не воспринимаются (маскируются). При кодировании весь звуковой поток разбивается на мелкие кадры, каждый из которых преобразуется в спектральное представление и делится на ряд частотных полос. Внутри полос происходит определение и удаление маскируемых звуков, после чего каждый кадр подвергается адаптивному кодированию прямо в спектральной форме. Все эти операции позволяют значительно (в несколько раз) уменьшить объем данных при сохранении качества, приемлемого для большинства слушателей.

Каждый из описанных методов кодирования характеризуется скоростью битового потока (bitrate), с которой сжатая информация должна поступать в декодер при восстановлении звукового сигнала. Декодер преобразует серию сжатых мгновенных спектров сигнала в обычную цифровую волновую форму.

Существуют две технологии записи и воспроизведения звука: аналоговая и цифровая. Известные всем бытовые магнитофоны и проигрыватели долгоиграющих пластинок ориентированы на аналоговую технологию. Запись и воспроизведение звука в компьютере и проигрывателях CD (лазерных дисках) основаны на цифровой технологии. Звук по природе своей является набором волн, вызванных колебанием физических устройств (струн, мембран). Для того чтобы ввести звук в компьютер, его надо преобразовать в цифровой вид, т.е. представить в виде последовательности цифр (или нулей и единиц в двоичной системе исчисления). Для преобразования аналоговых данных в цифровые используется аналого-цифровой преобразователь АЦП (ADC – Analog-to- Digital Converter). Для воспроизведения звука необходим цифро-аналоговый преобразователь (DAC – Digital-to-Analog Converter). Звуковые файлы можно разделить на 2 типа:

·                     с оцифрованным звуком;

·                     с нотной записью.

Файлы с оцифрованным звуком содержат значения амплитуды звукового сигнала, измеренные через одинаковые промежутки времени tд. Файлы с нотной записью (song file, music file) содержат последовательность команд, сообщающих какую ноту и каким инструментом и как долго нужно воспроизводить в тот или иной момент времени.

Существуют 3 основных типа звуковых файлов:

1.                   Не сжатые форматы

Внутренний формат Audacity Project format (AUP)

Проекты Audacity записываются в файлы в формате AUP, который наилучшим образом адаптированы для работы с программой Audacity. Формат позволяет записывать, по мимо цифрового представления звукового файла, служебную информацию для редактирования. В последствии вы можете импортировать ваш проект в любой формат.

WAV (Windows Wave)

Это основный формат звуковых файлов для операционной системе Windows. Формат WAVE представляет собой один из многочисленных, но далеко не единственный формат для записи цифрового звука. В отличие от MIDI-данных данные цифрового звука действительно представляют звук, записанный в виде тысяч единиц, называемых квантами (samples). Цифровые данные представляют амплитуду (или громкость) звука в дискретные моменты времени. Звучание цифровых данных не зависит от устройства воспроизведения и поэтому их звучание всегда одинаково. Но за это приходится расплачиваться большими объемами звуковых файлов.

AIFF (Audio Interchange File Format)

Это основной формат звука для Макинтоша.

2.                   Сжатые форматы

Без потерь:

FLAC (.flac) — свободный кодек из проекта Ogg

Lossless Audio (.la)

Lossless Predictive Audio Compression (LPAC; .pac)

Apple Lossless (.m4a)

Monkey's Audio (.ape)

OptimFROG (.ofr)[1]

RKAU (.rka)[2]

Shorten (.shn)

TTA — True Audio, свободный кодек

TAK (.tak) — (T)om’s lossless (A)udio (K)ompressor

WavPack (.wv)

Windows Media Audio 9 Lossless (.wma)

ADX — формат звука с максимальным битрейтом в 1 Гбит/с

 

С потерями:

Ogg Vorbis

Это новый формат сжатия, являющийся бесплатной альтернативой MP3. Качество записи этого формата при той компрессии выше, чем MP3.

MPEG расшифровывается как "Moving Picture Coding Experts Group", дословно - "Группа экспертов по кодированию подвижных изображений.

Группа была образована для создания стандартов кодирования подвижных изображений и аудио информации. Начиная с первого собрания в мае 1988 года группа начала расти и выросла до сообщества специалистов высокого уровня. На сегодняшний день MPEG разработаны следующие стандарты и алгоритмы:

•              MPEG-1 (ноябрь 1992) - стандарт кодирования, хранения и декодирования подвижных изображений и аудио информации;

•              MPEG-2 (ноябрь 1994) - стандарт кодирования для цифрового телевидения;

•              MPEG-4 - стандарт для мультимедиа приложений: версия 1 (октябрь 1998) и версия 2 (декабрь 1999);

•              MPEG-7 - универсализованный стандарт работы с мультимедиа информацией, предназначенный для обработки, фильтрации и управления мультимедиа информацией.

1) Рассмотрим комплект MPEG-1. Этот комплект, в соответствии со стандартами ISO, включает в себя три алгоритма различного уровня сложности: Layer (уровень) I, Layer II и Layer III. Общая структура процесса кодирования одинакова для всех уровней. Для каждого уровня определен свой формат записи бит-потока и свой алгоритм декодирования. Алгоритмы MPEG основаны в целом на изученных свойствах восприятия звуковых сигналов слуховым аппаратом человека (то есть кодирование производится с использованием так называемой "психоакустической модели").

Комплект MPEG-1 предусмотрен для кодирования сигналов, оцифрованных с частотой дискретизации 32, 44.1 и 48 КГц. Как было указано выше, комплект MPEG-1 имеет три уровня (Layer I, II и III). Эти уровни имеют различия в обеспечиваемом коэффициенте сжатия и качестве звучания получаемых потоков. Layer I позволяет сигналы 44.1 КГц / 16 бит хранить без ощутимых потерь качества при скорости потока 384 Кбит/с, что составляет 4-х кратный выигрыш в занимаемом объеме; Layer II обеспечивает такое же качество при 194 Кбит/с, а Layer III – при 128 (или 112). Выигрыш Layer III очевиден, но скорость компрессии при его использовании самая низкая (надо отметить, что при современных скоростях процессоров это ограничение уже не заметно). Фактически, Layer III позволяет сжимать информацию в 10-12 раз без ощутимых потерь в качестве.

2) Стандарт MPEG-2 был специально разработан для кодирования ТВ сигналов вещательного телевидения. В апреле 1997 этот комплект получил «продолжение» в виде алгоритма MPEG-2 AAC (MPEG-2 Advanced Audio Coding – продвинутое аудио кодирование).

3) Стандарт MPEG-4 - это особая статья. MPEG-4 не является просто алгоритмом сжатия, хранения и передачи видео или аудио информации. MPEG-4 - это новый способ представления информации, это - объектно-ориентированное представление мультимедиа данных. Стандарт оперирует объектами, организует из них иерархии, классы и прочее, выстраивает сцены и управляет их передачей. Объектами могут служить как обычные аудио или видео потоки, так и синтезированные аудио и графические данные (речь, текст, эффекты, звуки...). Такие сцены описываются на специальном языке.

4) Стандарт MPEG-7 вообще в корне отличается от всех иных стандартов MPEG. Стандарт разрабатывается не для установления каких-то рамок для передачи данных или типизации и описания данных какого-то конкретно рода. Стандарт предусмотрен как описательный, предназначенный для регламентации характеристик данных любого типа, вплоть до аналоговых. Использование MPEG-7 предполагается в тесной связи с MPEG-4.

Для удобства обращения со сжатыми потоками, все алгоритмы MPEG разработаны таким образом, что позволяют осуществлять декомпрессию (восстановление) и воспроизведение потока одновременно с его получением (download) – потоковая декомпрессия «на лету» (stream playback). Эта возможность очень широко используются в интернете, где скорость передачи информации ограничена, а с использованием подобных алгоритмов появляется возможность обрабатывать информацию прямо во время ее получения не дожидаясь окончания передачи.

Частота следования фреймов называется битрейтом (BIT RATE)

•              модель Dual Channel

–             каждый канал получает половину потока и кодируется как моносигнал. Отсюда и ее название. Эта модель идеально подходит в случае, когда каналы содержат абсолютно разные сигналы;

•              В модели Stereo

–             каждый из каналов кодируется отдельно, но кодеру "позволено" самому принять решение о передаче одному из каналов большего места, чем другому. Этим достигается кодирование "тишины" (либо уровень сигнала лежит ниже порога слышимости) в одном канале, когда в другом присутствует мощный сигнал

•              Модель MS Stereo

–             использует разложение стереосигнала на средний между каналами и разностный, который кодируется с меньшим битрейтом. Данный метод не рекомендуется использовать, если каналы не совпадают по фазе (наиболее часто встречается в записях, оцифрованных с аудиоленты);

•              Модель MS/IS Stereo

–             позволяет несколько увеличить качество кодирования сигнала при использовании низких битрейтов. Суть метода заключается в использовании на некоторых частотных диапазонах отношения мощностей сигнала в разных каналах. Однако данный метод приводит к потере фазовой информации

Super Audio CD

•              полностью совместим с обычным CD — обычные CD-проигрыватели смогут воспроизводить двухслойные SACD-диски, просто читая один из слоев

•              Метод кодирования DSD предусматривает однобитное представление сигнала с частотой дискретизации 2,8224 МГц

•              Воспроизводимый диапазон частот от 0 до 100 000 Гц.

•              Динамический диапазон — до 144 дБ.

•              Количество каналов — 6.

 

3.                   MIDI

Аббревиатура MIDI означает  "Цифровой интерфейс музыкальных инструментов" (Musical Instrument Digital Interface). Это скроре программа для управления встроенными синтезаторами, чем звуковой файл.

Спецификация MIDI позволяет создавать схожие звуки на различных устройствах, а также обмениваться данными между устройствами, имеющими этот интерфейс. 

Благодаря интерфейсу MIDI инструменты могут  "общаться друг с другом".  Для этого устройства снабжены специальными разъемами: "MIDI IN", "MIDI OUT" и "MIDI TRU". Эти разъемы часто называют MIDI-портами Порты соединяются кабелями.

MIDI IN одного инструмента или звуковой карты соединяется с  MIDI OUT другого инструмента или мобильного телефона. Через разъем MIDI TRU служит для трансляции полученных сообщений.

 

Использование MIDI TRU следующее  В этом случае MIDI-информация с выхода 1-го устройства поступает на вход 2-го. Проходя через сквозной порт 2-го устройства, эта же информация поступает и на вход 3-го. Можно говорить, что устройство 1 контролирует устройства 2 и 3. Такая комбинация нескольких MIDI-инструментов (более 2-х) носит название "MIDI-система".

 

3.                   Графика (растровая, векторная, трехмерная, фрактальная и др.) и анимация

Компьютерная графика — область деятельности, в которой компьютеры используются как для синтеза изображений, так и для обработки визуальной информации, полученной из реального мира. Также компьютерной графикой называют и результат этой деятельности. Компьютерная графика - технология создания и обработки графических изображений средствами вычислительной техники. Она изучает методы получения изображений полученных на основании невизуальных данных или данных, созданных непосредственно пользователем.

К основным сферам применения технологий компьютерной графики относятся:

·       графический интерфейс пользователя;

·       спецэффекты, визуальные эффекты (VFX), цифровая кинематография;

·       цифровое телевидение, всемирная паутина, видеоконференции;

·       цифровая фотография и существенно возросшие возможности по обработке фотографий;

·       визуализация научных и деловых данных;

·       компьютерные игры, системы виртуальной реальности (например, тренажёры управления самолётом);

·       системы автоматизированного проектирования;

·       компьютерная томография;

·       компьютерная графика для кино и телевидения;

·       лазерная графика.

Векторная графика представляет изображение как набор геометрических примитивов. Обычно в качестве них выбираются точки, прямые, окружности, прямоугольники, а также как общий случай, сплайны некоторого порядка. Объектам присваиваются некоторые атрибуты, например, толщина линий, цвет заполнения. Рисунок хранится как набор координат, векторов и других чисел, характеризующих набор примитивов. При воспроизведении перекрывающихся объектов имеет значение их порядок. Термин «векторная графика» используется в основном в контексте двухмерной компьютерной графики. Способ отображения.Современные компьютерные видеодисплеи отображают информацию в растровом формате. Для отображения векторного формата на растровом используются преобразователи, программные или аппаратные, встроенные в видеокарту. Существует узкий класс устройств, ориентированных на отображение векторных данных: мониторы с векторной развёрткой, графопостроители, а также некоторые типы лазерных проекторов.

Растровая графика Растровая графика всегда оперирует двумерным массивом (матрицей) пикселей. Каждому пикселю сопоставляется значение — яркости, цвета, прозрачности — или комбинация этих значений. Растровый образ имеет некоторое число строк и столбцов. Важными характеристиками изображения являются:

·                     количество пикселей. Может указываться отдельно количество пикселей по ширине и высоте (1024*768, 640*480,...) или же, редко, общее количество пикселей (обычно измеряется в мегапикселях);

·                     количество используемых цветов (или глубина цвета);

·                     цветовое пространство RGB, CMYK, XYZ, YCbCr и др.

Достоинства растровой графики:

1.                   Растровая графика позволяет создать (воспроизвести) практически любой рисунок, вне зависимости от сложности.

2.                   Распространённость.

3.                   Высокая скорость обработки сложных изображений, если не нужно масштабирование.

4.                   Растровое представление изображения естественно для большинства устройств ввода/вывода графической информации, таких как монитор, принтер, цифровой фотоаппарат, сканер и др.

Недостатки

1.                   Большой размер файлов с простыми изображениями.

2.                   Невозможность идеального масштабирования.

Форматы Сжатие без потерь — метод сжатия информации, при использовании которого закодированная информация может быть восстановлена с точностью до бита. При этом оригинальные данные полностью восстанавливаются из сжатого состояния. Использует алгоритмы сжатия, основанные на уменьшении избыточности информации.

·                     PNG (Portable Network Graphics)

·                     GIF (Graphics Interchange Format) — устаревающий формат, поддерживающий не более 256 цветов одновременно. Всё ещё популярен из‑за поддержки анимации, которая отсутствует в чистом PNG, хотя ПО начинает поддерживать APNG.

·                     BMP или Windows Bitmap — обычно используется без сжатия.

·                     PCX устаревший формат, позволявший хорошо сжимать простые рисованые изображения (при сжатии группы подряд идущих пикселей одинакового цвета заменяются на запись о количестве таких пикселей и их цвете).

Сжатие данных с потерями — это метод сжатия данных, когда распакованный файл отличается от оригинального, но «достаточно близок» для того, чтобы быть полезным каким-то образом. Основано на отбрасывании части информации (как правило, наименее воспринимаемой глазом).

·                     JPEG очень широко используемый формат изображений. Сжатие основано на усреднении цвета соседних пикселей (информация о яркости при этом не усредняется) и отбрасывании высокочастотных составляющих в пространственном спектре фрагмента изображения.

Фрактальная графика Фрактал — объект, отдельные элементы которого наследуют свойства родительских структур. Поскольку более детальное описание элементов меньшего масштаба происходит по простому алгоритму, описать такой объект можно всего лишь несколькими математическими уравнениями. Фрактал (лат. fractus — дробленый) — термин, означающий геометрическую фигуру, обладающую свойством самоподобия, то есть составленную из нескольких частей, каждая из которых подобна всей фигуре целиком. В более широком смысле под фракталами понимают множества точек в евклидовом пространстве, имеющие дробную метрическую размерность (в смысле Минковского или Хаусдорфа), либо метрическую размерность, строго большую топологической.

Оно может употребляться, когда рассматриваемая фигура обладает какими-либо из перечисленных ниже свойств:

1.                   Обладает нетривиальной структурой на всех шкалах. В этом отличие от регулярных фигур (таких, как окружность, эллипс, график гладкой функции): если мы рассмотрим небольшой фрагмент регулярной фигуры в очень крупном масштабе, он будет похож на фрагмент прямой. Для фрактала увеличение масштаба не ведёт к упрощению структуры, на всех шкалах мы увидим одинаково сложную картину.

2.                   Является самоподобной или приближённо самоподобной.

3.                   Обладает дробной метрической размерностью или метрической размерностью, превосходящей топологическую.

4.                   Может быть построена при помощи рекурсивной процедуры.

Многие объекты в природе обладают фрактальными свойствами, например побережья, облака, кроны деревьев, кровеносная система и система альвеол человека или животных. Фракталы, особенно на плоскости, популярны благодаря сочетанию красоты с простотой построения при помощи компьютера. Фракталы позволяют описывать целые классы изображений, для детального описания которых требуется относительно мало памяти. С другой стороны, к изображениям вне этих классов, фракталы применимы слабо.

Трёхмерная графика Трёхмерная графика — раздел компьютерной графики, совокупность приемов и инструментов (как программных, так и аппаратных), призванных обеспечить пространственно-временную непрерывность получаемых изображений. Трёхмерная графика оперирует с объектами в трёхмерном пространстве. Обычно результаты представляют собой плоскую картинку, проекцию. Трёхмерная компьютерная графика широко используется в кино, компьютерных играх. В трёхмерной компьютерной графике все объекты обычно представляются как набор поверхностей или частиц. Минимальную поверхность называют полигоном. В качестве полигона обычно выбирают треугольники. Всеми визуальными преобразованиями в 3D-графике управляют матрицы. В компьютерной графике используется три вида матриц:

·                     матрица поворота;

·                     матрица сдвига;

·                     матрица масштабирования.

Любой полигон можно представить в виде набора из координат его вершин. Так, у треугольника будет 3 вершины. Координаты каждой вершины представляют собой вектор (x, y, z). Умножив вектор на соответствующую матрицу, мы получим новый вектор. Сделав такое преобразование со всеми вершинами полигона, получим новый полигон, а преобразовав все полигоны, получим новый объект, повёрнутый/сдвинутый/промасштабированный относительно исходного.

Для получения трёхмерного изображения требуются следующие шаги:

·                     моделирование — создание математической модели сцены и объектов в ней.

·                     рендеринг — построение проекции в соответствии с выбранной физической моделью.

Моделирование Сцена (виртуальное пространство моделирования) включает в себя несколько категорий объектов:

1.                   Геометрия (построенная с помощью различных техник модель, например здание).

2.                   Материалы (информация о визуальных свойствах модели, например цвет стен и отражающая/преломляющая способность окон).

3.                   Источники света (настройки направления, мощности, спектра освещения).

4.                   Виртуальные камеры (выбор точки и угла построения проекции).

5.                   Силы и воздействия (настройки динамических искажений объектов, применяется в основном в анимации).

6.                   Дополнительные эффекты (объекты, имитирующие атмосферные явления: свет в тумане, облака, пламя и пр.).

Задача трёхмерного моделирования — описать эти объекты и разместить их в сцене с помощью геометрических преобразований в соответствии с требованиями к будущему изображению. Рендеринг На этом этапе математическая (векторная) пространственная модель превращается в плоскую картинку. Если требуется создать фильм, то рендерится последовательность таких картинок, по одной для каждого кадра. Как структура данных, изображение на экране представлено матрицей точек, где каждая точка определена по крайней мере тремя числами: интенсивностью красного, синего и зелёного цвета. Таким образом рендеринг преобразует трёхмерную векторную структуру данных в плоскую матрицу пикселов. Этот шаг часто требует очень сложных вычислений, особенно если требуется создать иллюзию реальности. Самый простой вид рендеринга — это построить контуры моделей на экране компьютера с помощью проекции, как показано выше. Обычно этого недостаточно и нужно создать иллюзию материалов, из которых изготовлены объекты, а также рассчитать искажения этих объектов за счёт прозрачных сред (например, жидкости в стакане). Существует несколько технологий рендеринга, часто комбинируемых вместе. Например:

·                     Z-буфер (используется в OpenGL и DirectX);

·                     сканлайн (scanline) — расчёт цвета каждой точки картинки построением луча из точки зрения наблюдателя через воображаемое отверстие в экране на месте этого пиксела «в сцену» до пересечения с первой поверхностью. Цвет пиксела будет таким же, как цвет этой поверхности.

·                     трассировка лучей (рейтрейсинг, англ. raytracing) — то же, что и сканлайн, но цвет пиксела уточняется за счёт построения дополнительных лучей (отражённых, преломлённых и т. д.) от точки пересечения луча взгляда;

·                     глобальная иллюминация (англ. global illumination, radiosity) — расчёт взаимодействия поверхностей и сред в видимом спектре излучения с помощью интегральных уравнений.

Программное обеспечениеПрограммные пакеты, позволяющие производить трёхмерную графику, то есть моделировать объекты виртуальной реальности и создавать на основе этих моделей изображения, очень разнообразны. Последние годы устойчивыми лидерами в этой области являются коммерческие продукты: такие как Autodesk 3ds Max, Maya, Newtek Lightwave, SoftImage XSI и сравнительно новые Rhinoceros 3D, Cinema 4D или ZBrush. Кроме того, уверенно набирают популярность и открытые продукты, распространяемые свободно, например, полнофункциональный пакет Blender (позволяет и производство моделей, и последующий рендеринг) и Wings3D (только создание моделей с возможностью последующего использования их другими программами).

Анимация Мультипликация (от лат. multiplicatio — умножение, увеличение, возрастание, размножение), анимация — технические приёмы получения движущихся изображений, иллюзий движения и/или изменения формы объектов из нескольких неподвижных изображений и сцен. Исходя из психофизиологических особенностей человеческого визуального восприятия, для создания эффекта плавного движения при просмотре скорость смены кадров должна быть не менее 18 кадров в секунду. Компьютерная анимация — вид анимации, создаваемый при помощи компьютера. На сегодня получила широкое применение как в области развлечений, так и в производственной, научной и деловой сферах. Являясь производной от компьютерной графики, анимация наследует те же способы создания изображений:

·                     векторный;

·                     растровый;

·                     фрактальный;

·                     3D.

По принципу анимирования можно выделить несколько видов компьютерной анимации. Анимация по ключевым кадрам Расстановка ключевых кадров производится аниматором. Промежуточные же кадры генерирует специальная компьютерная программа. Этот способ наиболее близок к традиционной рисованной анимации, только роль фазовщика (художник-аниматор, в обязанности которого входит прорисовка промежуточных кадров) берет на себя компьютер, а не человек. Запись движенияДанные анимации записываются специальным оборудованием с реально двигающихся объектов и переносятся на их имитацию в компьютере. Рапространенный пример такой техники — Захват движений ("Motion Capture"). Актеры в специальных костюмах с датчиками, совершают перемещения по студии, а их движение записывается камерами и анализируется специальным программным обеспечением. Итоговые данные о перемещении суставов и конечностей актеров применяют к трехмерным скелетам виртуальных персонажей, чем добиваются высокого уровня достоверности их движения. Такой же метод используют для переноса мимики живого актера на его трехмерный аналог в компьютере. Процедуральная анимация Такая анимация полностью или частично расчитывается компьютером. Сюда можно включить следующие её виды:

1.                   Симуляция физического взаимодействия твердых тел.

2.                   Имитация движения систем частиц, жидкостей и газов.

3.                   Имитация взаимодействия мягких тел (ткани, волос).

4.                   Расчет движения иерархической структуры связей (скелета персонажа) под внешним воздействием ("Рэгдолл" – тряпичная кукла).

5.                   Имитация автономного (самостоятельного) движения персонажа. Примером такой системы является программа Эйфория.

 

 

4.                   Линейный, нелинейный и смешанный монтаж для видео.

Монтаж видео — процесс переработки или реструктурирования изначального материала, в результате чего получается иной целевой материал. Различают внутрикадровый и межкадровый монтаж. Внутрикадровый монтаж — компоновка в одном кадре нескольких изобразительных составляющих. Операция выполняется на цифровых дисковых устройствах и позволяет вводить в видеоинформацию цифровые спецэффекты, текст, рекламные вставки, вплоть до вставки в кадр других объектов, изменения внутри кадра масштаба, цвета, ритма и т.д. Межкадровый монтаж -вид монтажа, когда кадры режутся и вставляются в определённой последовательности, чтобы подчеркнуть или ярко выделить какую-то деталь или передать какое то определённое настроение. (Различного рода склейки и перехода от кадра к кадру бывают только у этого типа монтажа, у внутрикадрового нет такого.)

Линейный видеомонтаж (OnLine editing) предполагает, что весь комплекс обработки видеоматериалов, начиная от сырьевых клипов до готового материала, осуществляется на одном компьютере. Линейный монтаж происходит чаще в реальном времени. Видео из нескольких источников (проигрывателей, камер т. д.) поступает через коммутатор на приёмник (эфирный транслятор, записывающее устройство). В этом случае переключением источников сигнала занимается режиссёр линейного монтажа. О линейном монтаже также говорят в случае процесса урезания сцен в видеоматериале без нарушения их последовательности.

100px

Нелинейный монтаж(OffLine) подразумевает разделение операций по изготовлению готовой продукции телевизионного качества из оригинальных сырьевых клипов на мощном компьютерном оборудовании и создание проекта монтажной программы на более слабом компьютере. При нелинейном монтаже видео разделяется на фрагменты (предварительно видео может быть преобразовано в цифровую форму), после чего фрагменты записываются в нужной последовательности, в нужном формате на выбранный видеоноситель. При этом фрагменты могут быть урезаны, то есть не весь исходный материал попадает в целевую последовательность; подчас сокращения бывают очень масштабными.

В случае киноплёнки процесс нелинейного монтажа происходит вручную: монтажёр с применением монтажного стола под руководством кинорежиссёра режет плёнку в нужных местах, а затем склеивает фрагменты в выбранной режиссёром последовательности.

100px

 

Гибридный видеомонтаж имеет достоинства первых двух (нелинейная видеомонтажная система играет роль видеоисточника). Недостаток — более высокая цена.

ПО: ·  Adobe Premiere Pro — профессиональный видеоредактор для Windows и Mac OS

·  Windows Movie Maker — программа, входящая в Windows, рассчитанная на непрофессиональный монтаж

 

5.                   Виртуальная и расширенная реальности.

Виртуальная реальность (от лат. virtus — потенциальный, возможный и лат. realis — действительный, существующий) — создаваемый техническими средствами мир и передаваемый человеку через его привычные для восприятия материального мира ощущения: зрение, слух, обоняние и другие. Обычно имеется реалистичная реакция на действия пользователя. Виртуальная реальность - это высокоразвитая форма компьютерного моделирования, которая позволяет пользователю погрузиться в модельный мир и непосредственно действовать в нём. Зрительные, слуховые, осязательные и моторные ощущения пользователя при этом заменяются их имитацией, генерируемой компьютером. Признаки устройств виртуальной реальности:

·              моделирование в реальном масштабе времени;

·              имитация окружающей обстановки с высокой степенью реализма;

·              возможность воздействовать на окружающую обстановку и иметь при этом обратную связь.

В качестве таких устройств могут использоваться:

шлемы-дисплеи, позволяющие «видеть» стереоскопическое изображение виртуального мира и передающие в ПК данные о положении и ориентации головы для изменения изображения в соответствии с «изменением» точки обзора;

манипуляторы (manipulators, signaling keys, operators), в том числе специальные перчатки, передающие данные о движении рук и пальцев и позволяющие «брать» в руки, управлять положением объектов искусственно созданной среды, тактильно «ощущать» виртуальный объект и воздействовать на него;

стереоаудиосистемы (аудиостереосистемы, audio stereo systems), способные не только создавать объемное звучание, но и передавать звуковое давление, например при моделировании ударов;

электромагнитные и пневматические устройства (electromagnetic and pneumatic devices), передающие механические воздействия на человека в процессе имитации моделируемых процессов (например, ускорение, давление);

синтезаторы запахов (smell synthesizers), предназначенные для воспроизведения запахов виртуальных объектов (цветов, косметики, продуктов питания);

синтезаторы вкуса (taste synthesizers), примеры промышленной реализации пока не известны.

Программно-аппаратные комплексы, средства и методы, обеспечивающие эффекты виртуальной реальности, нашли применение при проведении научных исследований и разработок новой техники (преимущественно в работах, выполняемых методами моделирования), в различного рода тренажерах, учебном процессе, а также в индустрии развлечений (компьютерных играх). В зависимости от предоставляемых пользователям или операторам ЭВМ возможностей взаимодействия с искусственно создаваемой средой различаются следующие виды виртуальной реальности:

пассивная виртуальная реальность (passive virtual reality) — графическое изображение и его звуковое сопровождение; воспроизводятся ЭВМ и никак не управляются человеком;

обследуемая виртуальная реальность (exploratory virtual reality) — возможен выбор и ограниченное управление содержанием предоставляемых пользователям вариантов сценариев изображения и звука;

интерактивная виртуальная реальность (interactive virtual reality) — полномасштабная реализация виртуальной реальности. Пользователю предоставляются возможности управления, которые он мог бы или захотел выполнить, если бы действительно находился в созданном искусственном мире.

Augmented Reality (расширенная реальность) — технологический прием, в соответствии с которым изображение реального объекта дополняется изображением, полученным от компьютера. Это реальность, дополненная виртуальной составляющей. Возможны различные области применения расширенной реальности, например в медицине, навигационных системах, системах управления. VVR (Virtual Virtual Reality) — термин, употребляемый по отношению к пассивной и обследуемой виртуальной реальности.

Некоторые понятия и термины, связанные с технологией виртуальной реальности:

Surrogate travel (имитатор путешествия) — система мультимедиа, реализующая обследуемую виртуальную реальность путем моделирования «путешествия» пользователей, которым предоставляются ограниченные возможности выбора поведения (местности, маршрута).

Head tracking — определение положения виртуальной камеры внутри сцены в соответствии с движением головы оператора, производится при помощи электронных, механических, оптических, акустических устройств для визуализации сцены в соответствии с выбранной точкой и направлением наблюдения.

Line-of-sight (направление визирования) — ориентация виртуальной камеры внутри сцены или средство ее задания.

QuickTime — архитектура, предложенная фирмой Apple для создания цифровых презентационных QuickTime-фильмов, предназначена для реализации как звуковой, так и любой другой формы управления.

QuickTime VR — система для создания интерактивных виртуальных изображений различных сцен — от природных пейзажей до домашних интерьеров. Формирование среды погружения в виртуальную реальность производится с использованием фотографической панорамной съемки. Система работает под QuickTime 2.0 для Macintosh и Windows.

VDI (Virtual Device Interface) — интерфейс виртуального устройства; стандарт для асимметричных мультимедийных систем.

Для создания убедительного комплекса ощущений реальности компьютерный синтез свойств и реакций виртуальной реальности должен производиться в реальном времени.

Понятие искусственной реальности было впервые введено Майроном Крюгером (Myron Krueger) в конце 1960-х. В 1964 Станислав Лем в своей книге «Сумма Технологий» под названием «Фантомология» описывает задачи и смысл для цивилизации ответа на вопрос «как создать действительность, которая для разумных существ, живущих в ней, ничем не отличалась бы от нормальной действительности, но подчинялась бы другим законам?». В 1989 году Джарон Ланьер ввёл более популярный ныне термин «виртуальная реальность». В фантастической литературе поджанра киберпанк виртуальная реальность есть способ общения человека с «киберпространством» — некой средой взаимодействия людей и машин, создаваемой в компьютерных сетях.

Первой системой виртуальной реальности стала «Кинокарта Аспена» (Aspen Movie Map

), созданная в Массачусетском Технологическом Институте в 1977 году. Эта компьютерная программа симулировала прогулку по городу Аспен, штат Колорадо, давая возможность выбрать между разными способами отображения местности. Летний и зимний варианты были основаны на реальных фотографиях.

В данный момент технологии виртуальной реальности широко применяются в различных областях человеческой деятельности: проектировании и дизайне, добыче полезных ископаемых, военных технологиях, строительстве, тренажерах и симуляторах, маркетинге и рекламе, индустрии развлечений и т. д. Объем рынка технологий виртуальной реальности оценивается в 15 млрд долларов в год.

Дополненная реальность (англ. augmented reality, AR), — термин, относящийся ко всем проектам, направленным на дополнение реальности любыми виртуальными элементами. Дополненная реальность — составляющая часть смешанной реальности ((англ. mixed reality), в которую также входит «дополненная виртуальность» (когда реальные объекты интегрируются в виртуальную среду). Один из самых известных примеров дополненной реальности — цветная линия, показывающая траекторию движения шайбы при телетрансляции хоккейных матчей.

Не следует путать дополненную реальность с виртуальной. Их коренное различие в том, что дополненная вносит отдельные искусственные элементы в восприятие реального мира, а виртуальная конструирует новый искусственный мир.

 

Hosted by uCoz