当前位置:首页 >> 其它课程 >> 1-数字媒体导论-4课时

1-数字媒体导论-4课时


多媒体技术导论

1

数字媒体技术基础
Fundamental of Digital Media Technology

2

引言
? ? ? ?

课程概要 课程资料 课程内容及安排 考试方法

3

课程概要


?

授课目的
? ? ?

深入理解数字媒体技术基础; 掌握数字媒体信息的基本处理方法; 了解数字媒体技术的前沿研究进展和发展方向,为开展 更深入的科学研究打下扎实基础。 数字媒体技术导论:概念、原理、应用前景、最新技术、 学科发展方向。 数字媒体技术基础:数字图像、视频处理的基本方法和 技术。 关键技术专题:数字媒体编码、媒体分析与检索、数字 版权管理、网络流媒体技术等。

?

课程内容
?

?

?

4

课程资料
?

参考资料
?

林福宗 ,《多媒体技术基础》(第3版),清华大学出版社,2009 年 张文俊 等,《数字媒体技术基础》,上海大学出版社,2007 北京大学数字媒体研究所《数字媒体技术基础》课程,

? ?

http://idm.pku.edu.cn/jiaoxue-MMF/2009/index.html
? ?

林福宗 ,《多媒体技术基础》教学课件 其他资料

5

课程内容及安排
? ?

第一部分:数字媒体导论(4课时) 第二部分:数字媒体基础(8课时)
?
?

数字彩色图像基础(2课时)
图像/视频处理基础(6课时)

?

第三部分:数字媒体关键技术(新技术专题)
? ? ? ?

多媒体压缩编码技术(6课时) 多媒体分析与检索技术(10课时)

多媒体通信技术(自学)
数字版权管理技术(自学)

?
6

第四部分:课程设计及复习(4课时)

考试方法
? ?

平时作业及课堂讨论(60%)

课程设计(40%)
? ?

?
?

可运行程序(10%) 程序源代码,源代码必须有足够的注释(10%) 设计文档(10%) 系统说明文档(10%)

?

2个课程设计题目:
? ?

1)图像副本检测 2)视频监控系统

7

第一讲

数字媒体导论
Introduction to Digital Media

注:本部分内容主要参考北京大学数字媒体研究所《数字媒体技术基础》课件

8

提纲

? ? ? ?

数字媒体的基本概念
数字媒体技术的原理 数字媒体标准简介 数字媒体的应用

9

一、数字媒体的基本概念

10

什么是多媒体:定义
? Multimedia释义
? Multi (Latin multus) - many; much; multiple ? Medium (Latin medius) - a substance regarded as the means of transmission of a force or effect; a channel or system of communication, information, or entertainment
(Merriam-Webster Dictionary )

Multi
? 多媒体

Multimedia

Media

? Multimedia: 文本、图形、图像、视频和音频的组合形式,使 其内容更丰富,更便于交流。

? 数字媒体
? Digital Media: 以数字化的形式存储、处理和传播信息的媒体, 以网络为主要传播载体,并具有多样性、互动性、集成性等特 点。
11

什么是多媒体:A Big Picture
多媒体系统

多媒体
图像 文本 视频
媒体内容管理
Authoring Tools

分布式多媒体系统

网络

音频

语音
Streaming video Virtual worlds Web pages Client-server Streaming audio

多媒体的特性
? 多媒体强调的是使用多种媒体、综合表达信息 内容并进行交互式处理的技术。 ? 从本质上来说,具有三种最重要的特性:
? 媒体的多样性,其中至少有一种连续媒体; ? 媒体的集成性(综合性),多种不同媒体综合地表 现某个内容,取得更好的效果; ? 处理的交互性,使人们获取和使用信息的过程中具 有细粒度的控制和操纵能力。

13

什么是多媒体:分类
? 最常见的分类方法是基于感觉
? ? ? ? 文本 图像 音频(语音) 视频 时间独立(离散) ? 文本、图形 时间依赖(连续) ? 音频、视频、语音、动画 1D媒体 ? 单声道语音、音乐 2D媒体 双声道音乐、图像、二维 图形 3D及多维媒体 ? 三维图形 , 全景图像 , 空间 立体声音乐 ?

?

基于描述空间中时间维分类
? ?

?

基于描述空间中空间维分类
? ?

?
14

复合媒体
? 超文本(Hypertext)
? ? 利用超链接,允许非顺序读写的文本;

? 超媒体(Hypermedia)
超文本在多媒体方面的扩展,其节点不仅是文本,还可能是图像、视 频、音频等。

? 超视频(Hypervideo)
?
?

通过链接和锚点文字,将视频集成到超媒体结构中。
In hypervideo, the video content is not regarded as a mere illustration, but can also be structured through links defined by spatial and temporal dimensions.

普通文本
15

超文本

超媒体

超视频

计算机科学领域内的多媒体技术体系
? 媒体处理和编码
? 包括媒体内容分析、检索、安全,音频/图像/视频的处理和压 缩等。

? 媒体工具、端系统和应用程序
? 超媒体系统、用户接口、编著系统、多模态交互和集成等。

? 媒体系统支持和网络
? 媒体网络传输系统、网络流媒体,乃至网络协议、Internet、 OS等。
媒体处理和编码 媒体工具、端系统和应用程序 媒体系统支持和网络
16

数字媒体技术的研究内容
? 核心关键技术
? 数字媒体信息处理技术:视音频编码压缩、图像/视频内容分 析、语音识别等; ? 数字媒体传输技术:网络流媒体、P2P、无线多媒体传输等; ? 数字媒体内容管理技术:多媒体数据库、数字版权管理、数字 信息保护、数字媒体集成分发等。

? 关联支持:
? 数字媒体信息获取与输出技术:图像/视频采集技术与设备、 三维显示技术与设备等; ? 数字媒体存储技术:海量分布存储等。

? 扩展应用:
? 图形与动画技术:图形输入、图形建模、图形处理与输出、复 杂物体造型、表演动画等; ? 虚拟现实技术:动态虚拟环境建模、实时三维图形生成、立体 显示与传感器等。
17

数字媒体:编码、理解、传输与安全

媒体理解

视觉信息/知识
(Visual Info./ Knowledge)

视知觉(大脑) 视觉/Vision

拍摄(摄像设备)

客观世界

视感觉(眼睛)

视频 / 图像
(Video/Image) 10110100 10110100
18 (数字)视频解码(解压缩)

(数字)视频编码压缩 18
Video Coding(Compression)

版权保护与媒体安全

(Video decoding)

为什么数字媒体很重要?
? 数字媒体无处不在
? ? ? ? ? ? ? ? ? ? Mega Trend 1:所有设备和内容数字化…… 海量的多媒体数字图书馆; Mega Trend 2:计算、通信、内容、消费电子融合(4C); Mega Trend 3:网络与多媒体的融合为个人与社会提供了更宽广的虚 拟媒体世界与自我展示平台,如Youtube; Mega Trend 4:虚拟混和现实。 Conclusion:多媒体是信息技术发展的必然趋势 家庭娱乐、教育培训、视频会议、远程医疗…… 数字影视、数字游戏、数字广播、数字出版、数字广告……

? 数字媒体技术应用广泛

? 国家产业与经济发展
数字音视频产业是电子信息产业的重要组成部分,主要由视频类、光 盘类、音频类等产业群组成,产值约占信息产业产值的三分之一。 2008年数字视音频产业年产值已达9000万元,超过通信产业成为信息 产业第一大产业。2010年达到15000亿,成为国民经济第一大支柱产 业。 新经济时代,数字媒体产业提供了大量就业与创业机会 !!

19

所有设备和内容数字化……
All Devices and Content are going Digital

20

Mega Trend 1:海量的多媒体数字图书馆
The Digital “Library”

21

Mega Trend 2:从2C到4C
Any Time, Anywhere, Any Device

Demand

COMPUTING

COMMUNICATIONS

1985
22

1990

1995
Innovation

2000

2005

计算、通信、内容、消费电子融合(4C)
BROADBAND/Wired and Wireless
Entertainment, E-Business, Services

MOBILE MULTIMEDIA
Entertainment, Personal Pictures and Video, Services

MEDIA
Pre-Recorded Content Personal Media

Any Content+, Any Place, Any Device, Any Time

23

+ As Authorized

Conditional Access/Cable, Satellite, Broadcast, Wireless
Services,Entertainment

Mega Trend 3:虚拟媒体世界与自我展示平台
? Flickr:世界上最大的在线照片管理和共享站点 (www.flickr.com)

24

Mega Trend 3:虚拟媒体世界与自我展示平台
? Youtube:全球最大的视频博客网站(www.youtube.com)

25

Mega Trend 4:虚拟混合现实
?

真实世界与虚幻世界的融合

26

Mega Trend 4:虚拟混合现实
?

www.mxrcorp.com 梦想人

27

Mega Trend 4:虚拟混合现实
?

清明上河图

28

作业1
?

在混合现实应用中(www.mxrcorp.com),用 到了哪些相关技术(计算机视觉、图形学、3D建 模)?请结合mxr尽可能详细的列举并描述。

29

二、数字媒体技术的原理

30

多媒体技术
?

?

媒体数字化(Digitalization) ? 采样、压缩、编码… 媒体描述(Representation)
?

结构描述、特征描述、应用描述 流媒体、P2P…

?

媒体传输(Communication / Delivery)
?

?

媒体管理与消费(Management & Consumption)
?

媒体转码、展现、 浏览、检索、数字版权管理…

31

多媒体技术原理
媒体数字化(Digitalization)
媒体描述(Representation)

?
? ? ?

媒体传输(Communication / Delivery)
媒体管理与消费(Management & Consumption)

32

媒体生产-消费链
媒体管理 与消费 媒体传输 媒体 展现

媒体采集/ 数字化
媒体采集/ 数字化 媒体采集/ 数字化 媒体采集/ 数字化

媒体编 辑/描述

文本

媒体编 图像 辑/描述
媒体编 音频 辑/描述 媒体编 辑/描述 视频

网络
媒体 集成
多媒体作 品(文档)

媒体 展现

媒体管理与消费
33

媒体数字化
? ?

为什么要数字化? 媒体数字化关键技术
? ? ?

采样(Sampling) 压缩(Compression) 编码(Coding)

34

为什么要采用数字形式?
? ?

?

通用的存储和传输格式,数字化后处理更方便 适用于光盘存储和 远距离传输 准确可靠,没有累计失真,属于无损传输和存储

35

数字化过程
?

三步骤
? ? ?

采样(Sampling) 量化(Quantizing) 压缩(Compression)与编码(Coding)
analog signal sampled signal

Sampler

Quantizer & Coder digitized signal
36

Step 1: 采样与失真
?

?

通过某种频率的采样脉冲将模拟信息的值取出,变连续 的模拟信息为离散信号。 采样定理:采样频率>=原始信号频率的2倍时, 采样信号才可以保真地恢复为原始信号。

Step 2:量化与失真
?

? ?

将采样样本的幅度按照量化级别决定其取值的过程。目 的是将采样样本的幅度值离散化。 量化之前需要规定量化级,比如8级,16级等。 量化是一个对一的映射。

Step 3:编码与压缩
?

编码
?

?

?

用相应位数的二进制代码表示量化后的采样样本的量级。 如果有N个量化级位,那么对应的二进制位数就为log2N。当N=16 ,二进制需要4位。 经过编码之后,每个样本都表示为相应的二进制代码。

?

脉冲编码调制(PCM,Pulse Code Modulation),完成模拟 信号的数字化

39

为什么需要数据压缩?
?

压缩编码的原理
从信息论的角度来看,压缩就是去掉信息中的冗余,即保留不确 定的信息,去除确定的信息(可推知的),也就是用一种更接近信 一幅低分辨率彩色图像640 × 480, 24bit/pixel, 该图像数据 息本质的描述来代替原有冗余的描述。
?

量:
?

640× 480 × 3=921,600Byte=0.92MB 信息冗余的例子

连续视频信号640× 480像素/帧,若30f/s,若不进行压缩处 (23*2+10=56个半角字符) 理,则1秒钟的数据量=0.9 × 30=27MB,一张600MB字节的 ? 你的朋友将于明天晚上 6点零5分在虹桥机场接你。 光盘,能存放600/27≈20秒左右视频信号,一个电影需要200 (20*2+3=43个半角字符) 张光盘。 ? Helen将于明晚6点在虹桥接你。
?

?

你的朋友,Helen,将于明天晚上6点零5分在上海的虹桥机场接你。

(10*2+7=27个半角字符) 结论:只要接收端不会产生误解,就可以减少承载信息的数据量。

40

多媒体领域中的冗余分类
?

统计冗余
?
?

空间冗余——规则物体的物理相关性 时间冗余——视频与动画画面间以及音频帧 间的相关性 编码冗余——数据与携带的信息
纹理冗余——规则纹理、相互重叠的结构表 面 视觉、听觉敏感度和非线性感觉

224色
1011 0001 1100

?

信息熵冗余
?

28 色
1011 0001 1100 0101 1010 1010 1011 1100 0101 1111 1010

?

结构冗余
?

?

视/听觉冗余
?

?

知识冗余
?

凭借经验识别
41

课程回顾—数字媒体导论
?

数字媒体的基本概念
?

多媒体的定义、特性、分类、技术体系、研究内容、关键技术等

?

数字媒体技术的原理
? ? ?

媒体数字化(Digitalization)
媒体描述(Representation) 媒体传输(Communication / Delivery)

?

媒体管理与消费(Management & Consumption)

? ?

数字媒体标准简介 数字媒体的应用

42

数据压缩
?

根据解压重建后的数据和原始数据之间是否具有误差,数 据压缩分为
? ?

无损压缩;(亦称无误差编码;无失真、无损、信息保持编码) 有损压缩;(亦称有误差编码;有失真或有损编码)

?

无损压缩(Lossless compression):原始数据可完全从压缩 数据中恢复出来,即在压缩和解压缩过程中没有信息损失 。压缩比2:1左右
? ?

Information preserving Error-free data reconstruction

?

有损压缩(Lossy compression) :原始数据不能完全从压缩 数据中恢复出来,即恢复数据只是在某种失真度下的近似 。压缩比2:1-1000:1;
? ?

43

With loss of information Error is usually measured by mean square error, signal-to-noise ratio, etc.

压缩策略
压缩类型 无损压缩 编码类型 编码技术

熵编码

行程长度编码(消除像素间冗余)
统计编码 (消除编码冗余) 霍夫曼编码 算术编码 差分脉冲编码调制 增量调制 变换编码 快速傅里叶变换 离散余弦变换

源编码 (消除像素间冗余和 心理视觉冗余)

预测编码

有损压缩 分层编码

离散小波变换
二进制位的位置 子采样 子带编码

JPEG H.261, MPEG-1, MPEG-2
混合编码

矢量编码
JPEG,JPEG2000

44

数据压缩的性能指标
?

衡量压缩算法的三个主要性能指标
(1)压缩比; (2)压缩质量(失真); (3)压缩与解压缩的速度。

? ?

不能兼得时,要综合考虑。

压缩质量评价
? ?

主观评价 :平均意见得分(MOS)、五分制(优良中差劣) 客观评价:均方误差、加权均方误差、信噪比、峰值信噪比(图像)、分 段信噪比(音频)、似然比、谱失真测度
2 ?x SNR(dB) ? 10 log10 2 ?r

PSNR(dB) ? 10 log10

2 x max

? r2

45

编码方式举例:哈夫曼编码(Huffman Coding)
?

Huffman编码属于信息熵编码的方法之一,是根据 信源符号出现概率的分布特性而进行的压缩编码。

?
?

也称为最佳编码,平均码长最短。
编码过程:
? ?

1. 初始化:将信源符号按频率递减顺序排列,输入L; 2. 重复如下操作直至L中只有1个结点:
(a)从L中取得两个具有最低频率的结点,为它们创建一个父结点;

(b)将它们的频率和赋给父结点,并将其插入L;
(c) 将树的左右孩子结点赋符号“0”和“1”,并从L中删除。

46

哈夫曼编码(Huffman Coding)示例
? ?

?

输入: “ALOHA HAWAII” 频率: 4A, 2H, 2I, 1L, 1O, 1 space, 1W 96 bits (8 bits * 12 characters) to 32 bits:
0 A 0 I 1 H 1 0 1 0 0 1 L [space] 1 W 0 1 O

47

多媒体技术原理
媒体数字化(Digitalization)
媒体描述(Representation)

?
? ? ?

媒体传输(Communication / Delivery)
媒体管理与消费(Management & Consumption)

48

媒体描述
?

颜色模型
? ? ? ?

颜色科学 RGB颜色模型:最基本的表示模型 YUV颜色模型:用于PAL电视信号传输,中国采用 YCbCr色彩模型:数字视频常用的颜色模型。

?
? ?

图形和图像的表示
视频的表示 数字音频表示

49

视频的概念
?

视频:动态图像,是一组图像按时间顺序的连续展示。
?

利用人眼视觉暂留的原理,通过播放一系列的图片,使人眼产生运动的感觉。

?

视频的三要素:
? ? ?

空间分辨率(即屏幕上的点数) 颜色分辨率(即每个点的颜色位数) 时间分辨率(即每秒的帧数)

?

按信号组成和存储方式的不同:
? ?

模拟视频:是由连续的模拟信号组成的图像序列,像电影、电视和录像的画面; 数字视频:是一系列连续的数字图像序列。

?

基本概念
?

帧:一段视频中的每一幅图像称为一帧。根据视觉暂留原理,要使人的视觉产生 连续的动态感觉,每秒钟图像的播放帧数要在24~30帧频(每秒播放的帧数)。 扫描:传送电视图像时,将每幅图像分解成很多像素,按照一个一个像素、一行 一行的方式顺序传送或接收。扫描行数(扫描分辨率)越多,电视清晰度越高。 分隔行扫描(常用)和逐行扫描。

?

50

模拟视频(电视)
? ?

采用隔行扫描技术:先扫奇数行,后扫描偶数行 模拟视频制式
?
? ? ?

NTSC(美国、日本)30帧/秒,525行/帧 PAL (西欧、中国)25帧/秒, 625行/帧 SECAM(俄、法) 注:电影是24帧/秒
TV制式 帧频(Hz) 行/帧 亮度带宽 (MHz) 彩色幅载 波(MHz) 声音载波 (MHz) NTSC 30 525 4.2 3.58 4.5 PAL 25 625 6.0 4.43 6.5 SECAM 25 625 6.0 4.25 6.5
51

pal: 25帧/秒 ntsc:30帧/秒

不同模拟电视制式的主要技术参数

数字视频
?

数字视频的优点
? ? ? ?

便于存储和传输,适合于网络应用 抗干扰能力强,再现性好 便于计算机编辑处理 增加交互性 MPG: 采用MPEG组织制定的视频压缩编码算法生成的视频文件。平均压缩比为50∶1,最 高可达200∶1。 VCD、SVCD、DVD均采用MPEG视频标准。 AVI:微软公司推出的一种音频视像交插记录的数字视频文件格式。 MOV: Apple公司在其生产的Macintosh机(后移植于PC/Windows环境)推出的视频格式, 可以采用不压缩或压缩的方式。 RM: RealNetworks公司所制定的音频视频压缩文件格式,根据网络数据传输速率的不同制 定了不同的压缩比率,能用于流媒体播放。 WMV: Microsoft公司出品的视频格式文件,具有本地或网络回放、可伸缩的媒体类型、流 的优先级化等特点。 ASM:AVS的视频文件格式。 广播电视 ,包括地面、卫星电视广播、有线电视 (CATV)、数字视频广播(DVB)、交互式电视 (ITV)、高清晰度电视(HDTV)。 通信,包括可视电话(Videophone)、视频会议(Videoconferencing)、视频点播(VOD) 等。 个人娱乐:录象节目、VCD 、DVD 、电视购物、家庭摄像、视频游戏等。

?

常见的数字视频文件格式
?

?

?

?

?

?

?

数字视频的应用
?

? ?

52

数字电视
?

数字电视(DTV)的定义:
?

指从电视节目采集、录制、播出到发射、接收全部采用数字编码与数字传输技术的新一代电视 技术。 它可以划分为 3大部分:信源部分(发送端)、信道部分(传输/存储过程)和信宿部分(接收 端)。

?

?

数字电视分类:根据图像比特率的大小
? ?

标准清晰度数字电 视(SDTV) 高清晰度数字电视(HDTV)

High Definition Television

?

数字电视的优点:
? ? ? ?

高清晰度的电视画面:可以可与DVD相媲美(最低:1280×720,最高:1920×1080)。 优质的音响效果:伴音可以达到CD质量。 丰富的节目内容,有线网的带宽利用率更高。 抗干扰功能力强,画面更稳定。

?

扩展功能多:机顶盒除了一些基本功能外,还有许多扩展功能如上网、点播、股票查询、在线 交易、远程教育等。

?

HDTV:由它所能提供的画面质量定义的。
?

分辨率:HDTV画面水平和垂直的像素目都差不多是常规系统的2倍。垂直方向的高清晰度是由 1000多行的扫描线获得的。需要大约为传统5~8倍的视频带宽。

?

宽高比:HDTV画面的指定宽高比为16:9=1.777。

53

数字音频的概念
?

声音的基本概念
? ?

声音是通过一定介质传播的一种连续波。 主要参数包括:振幅(音量的大小)、周期(重复出现的时间间隔)、频率(指信号每秒钟 变化的次数)。 声音按频率分类

?

次声波
?

可听声波
20Hz 20kHz

超声波

f(Hz)

数字音频的三要素
?

? ? ?

采样频率:根据奈奎斯特理论,采样频率不低于声音信号最高频率的两倍。这样就能把数字 表达的声音还原成原来的声音,称为无损数字化。 采样精度:用样本值的二进制位数来表示。位数越多精度越高,数据也越大。量化等级 声道数:使用声音通道的个数。立体声比单声道的表现力丰富,但数据量翻倍。 数据量=采样频率×量化位数×声道数/8(字节/秒),如CD音质:44.1kHz X 16位 X 2 =176KB/s 。
WAV:是Microsoft/IBM共同开发的PC波形文件。因未经压缩,文件数据量很大。特点是声 音层次丰富,还原音质好。 MP3:按MPEG标准的音频压缩技术制作的音频文件。特点是高压缩比(11:1),优美音质。 MIDI(Musical Instrument Digital Interface,乐器数字接口):是由一组声音或乐器符号的集合 ,特点是数据量很小,缺乏重现自然音。

?

数字音频的常见文件格式
?

? ?

54

其他数字媒体
?

动画
? ?

利用人的视觉残留特性使连续的静态播放的静态画面相互衔接而形成的 动态效果。 动画性质
?
?

帧动画:构成动画的基本单位是帧,一部动画由许多帧组成。借鉴传统动画的概念,每帧

的内容不同,当连续播放时,形成动画视觉效果。 矢量动画:是经过计算机计算(数学公式)而生成的动画;通常采用编程方式制作,及某些工 具软件。

?

动画制作
?

如 Flash (二维动画)
? ?

扩展名为.swf 闪客

?

如 3D MAX, Maya(三维动画)

?

数字游戏
?

采用数字技术实现的电子游戏,包括 视频游戏、网络游戏和移动游戏等。
利用计算机生成的虚拟环境,具有 沉浸感、交互性和构想性(I3)特性。

?

虚拟现实
?

55

多媒体技术原理
媒体数字化(Digitalization) 媒体描述(Representation) 媒体传输(Communication / Delivery) 媒体管理与消费(Management & Consumption)

?
? ? ?

56

媒体分发和传输
?

为什么需要研究媒体传输(而不是仅仅采用传统的文件传输方法)?
? ?

与其他数据一样,多媒体数据存储在文件系统中。 但多媒体数据的访问有特别的时限要求。例如,视频必须以每秒24-30帧的帧率来显示, 而视频的传输和分发必须确保此帧率。即视频传输有QoS(服务质量)要求。 Streaming is delivering a multimedia file from a server to a client such that it can be processed as a steady and continuous stream - typically the deliver occurs over a network connection. 流媒体(可流化媒体):Video、Audio、PowerPoint、Flash/Shockwave、VR、3D

?

媒体流化/流媒体
?

?

stream SERVER
?

CLIENT

流化方式分类
?

?

持续下载(Progressive download):当多媒体文件分发并存储到客户端后才支持媒体重放 ; 实时流化(Real-time streaming):多媒体文件由流媒体服务器向客户端连续、实时传送, 客户不必等到整个文件全部下载完毕。

57

媒体分发和传输
?

媒体分发方式
?

?

?

单播(unicast):源(服务器)和目的地(客户端)之间进行一对一的传输。如果目的地量太大 ,源和网络的负载能力有限,会超负荷造成播放质量下降。 多播流(Multicast):源和目的地之间进行多对一的传输,网络中的同一多播组中的目的地 共享同一信息流,可以有效的节省网络带宽。 广播(Broadcast):流媒体从一个源(服务器端的应用)发送出去后,同一网段上的所有目的 地(客户端应用)均可以接收到,广播可以看作组播的一个特例。 实时传输协议(RealTime Transportation Protocol, RTP) 实时流协议(RealTime Streaming Protocol, RTSP) 实时传输控制协议(RealTime Transportation Control Protocol, RTCP) 资源预约协议(Resource Reservation Protocol, RSVP)

?

流媒体传输协议
?

?
? ?

RTSP协议

? 58

详细内容将在“多媒体通信技术”进一步讲述。

多媒体技术原理
媒体数字化(Digitalization) 媒体描述(Representation) 媒体传输(Communication / Delivery) 媒体管理与消费(Management & Consumption)

?
? ? ?

59

媒体分析与检索
?

媒体检索方面存在的挑战
? ? ? ?

Still regions

Audio segments

不能直接进行基于文本的查询和检索; 怎样分析或描述媒体(图像/视频/音频)内容和语义; 如何索引图像/视频/音频; 快速检索处理和准确的检索结果;

Video segments

Moving regions

?

基于内容的媒体分析与检索(CBR)
? ? ? ?

特征提取:提取反映图像/视频/音频内容的颜色、纹理等视觉特征和音频特征; 语义提取:提取反映图像/视频/音频语义的描述信息; 索引组织与描述:对提取的特征和描述信息进行高效索引; 检索模型:支持不同类型的媒体查询与检索模式。
Feature extraction Manual / automatic Pull Search / query Browse Filter
Conf. points

?

媒体检索系统框架
AV Description

Storage

Decoding (for transmission)

Transmission Encoding (for transmission)

60

Push Human or machine

基于内容的图像检索 (CBIR)
? ?

CBIR(Content-based Image Retrieval):基于图像颜色、纹理、形状 等特征的相似性进行检索 示例:颜色相似的图像

61

基于草图(Scratch)的图像检索

62

63

面向检索的视频标题文字提取

64

基于语音识别的视频检索

Raw Audio

SILENCE

MUSIC

Raw Video

65

electric cars are

they are the jury every toy owner hopes to please

Text Extraction

音频检索:哼唱找歌
Happy Birthday

Note Note starts ends

Note starts

Note ends

? 音符(note)有两个重要属性:
– 音调 (Pitch) – 持续时间 (Duration) – 音符可以用符号描述
Staff Note name Note pitch Do Re Mi Fa So La Si Do

66

音频检索
?

哼唱找歌系统结构
Wave to Symbols Feature Extraction Wave files MP3 files MIDI files Various Music Formats to Symbols

Humming “La, …”

Recorder

Approximate String Match

Retrieval Result

Music Database

Music Database Indexing

?

有关媒体检索方面的详细内容将在“多媒体分析与检索技 术”进一步讲述。

67

数字版权管理(DRM)
?

数字媒体:技术对媒体的挑战
? ?

使用户能够更加方便而且完美地体验内容 成本的降低
? ? ?

载体价值:可以逼近零成本 复制成本:几乎为零 分发成本:边际成本逼近零

?

版权控制的挑战:DRM

?

DRM原理
?

使用技术手段,对数字产品在分发、传输和使用等各个环节进行控制, 使得数字产品只能被授权使用的人,按照授权的方式,在授权使用的期 限内使用。

?

目前应用领域
? ?

电子书领域(标准OEBPS) 移动通讯领域(一般遵循OMA的DRM规范) 多媒体领域(标准: MPEG IPMP/ DMP/ AVS DRM )

68

?

DRM的主要技术手段
?

加密
?

Plaintext Encryption Algorithm

Cyphertext Decryption Algorithm

Plaintext

对多媒体的内容进行加密以防止非授权访 问

?

水印
?

Encryption Key

Decryption Key

?

在媒体内容中嵌入无法移除的“标记”, 以进行内容鉴别和追踪 嵌入内容拥有者相关的信息:Logo或者唯 一性信息(例如签名)

?

指纹
?

在原产品中嵌入与用户有关的信息,产品 提供者(也称发行商)能够根据该信息对 非法用户进行跟踪

?

详细内容将在“数字版权管理技术”进 一步讲述。

69

三、数字媒体标准简介

70

为什么需要媒体标准?
?

数字媒体标准是相关技术与产业之基础!
?

技术基础:采用不同标准的数字媒体,其压缩、编码、传输、 内容分析与检索等技术有所不同

?

产业基础:五环相扣——技术、专利、标准、产业、应用

?

例子:全球电视竞争的转折点在MPEG-2 (1996)

数字媒体领域的主要技术标准
? ? ? ?

JPEG MPEG系列: MPEG-1/2/4/7/21 H.26x系列:H.261/3/4 AVS

72

总结
?

数字媒体技术导论
?

数字媒体的基本概念
?

概念、原理、应用前景、最新技术、学科发展方向

?

数字媒体技术的原理
?

媒体数字化(A/D)、媒体描述、媒体传输(流媒体)、检索、数字 版权管理…

?

数字媒体标准简介
?

标准的重要性,主要的音视频标准

问题?
73


更多相关文档:

作业(数字媒体导论bd)

作业(数字媒体导论bd)_计算机软件及应用_IT/计算机_...01101000 4、把个汇编源程序或个高级语言源程序...硬盘上的个文件夹第 1 页共 6 页 C)内存中...

《数字媒体技术导论》作业讲评 4

数字媒体技术导论》作业讲评 4_艺术_高等教育_教育专区。《数字媒体技术导论》作业讲评 Chap1-3 、填空题 1.对于媒体的含义,可以从 媒介 和 媒质 两个范畴...

数字媒体技术导论试卷4+参考答案(丁向民)

第3页 盐城师范学院 ***—***学年 第*学期期末考试 《数字媒体技术导论》试卷 4 参考答案及评分标准、单选题(本大题共 30 题,每题 1 分,共 30 分)...

数字媒体导论知识点汇总

数字媒体导论知识点汇总_计算机软件及应用_IT/计算机_专业资料。数字媒体导论知识...(1)内容创建(2)内容管理(3)内容发行(4)应用开发(5)运营接入(6)价值链集成...

数字媒体导论

数字媒体技术及艺术 1.微博 2.手机电视 3.Web2.0 4.数字电视 5.SNS 6....1-数字媒体导论-2课时 76页 免费 数字媒体导论知识点汇总 28页 免费 数字媒体...

数字媒体技术导论-课后习题参考答案

数字媒体技术导论-课后习题参考答案_工学_高等教育_教育专区。数字媒体技术导论-习题参考答案 Chap1 P13~P14 页 填空题 1.传递信息的载体 存储信息的的实体 2...

数字媒体导论

数字媒体导论复习 9页 免费 1-数字媒体导论-2课时 76页 免费 ...4.一幅未经压缩处理的尺寸大小为 4inch×5inch,图像分辨率为 72dpi 的真彩色...

数字媒体技术导论试卷1+参考答案(丁向民版)

数字媒体技术导论试卷1+参考答案(丁向民版)_IT认证_资格考试/认证_教育专区。...4、下列叙述正确的是 A、世界上第台电子计算机 ENIAC 首次实现了“存储程序...

数字媒体导论

数字媒体导论复习 9页 免费 1-数字媒体导论-2课时 76页 免费 ...4. 计算机中图形和图像的采集和记录方式有哪两种?它们有何差别? 位图,矢量图...

数字媒体导论

数字媒体导论_工学_高等教育_教育专区。数字媒体技术导论结课论文 题班学姓 目...数字媒体导论知识点汇总 28页 免费 1-数字媒体导论-4课时 暂无评价 73页 免费...
更多相关标签:
数字媒体技术导论 | 数字媒体导论 | 数字媒体技术导论论文 | 数字媒体导论论文 | 数字媒体技术专业导论 | 数字媒体专业导论 | 数字媒体艺术导论 | 数字媒体技术导论答案 |
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com