当前位置:首页 >> 其它课程 >> 多媒体技术

多媒体技术


多媒体技术及应用
主讲:高岩
gaoyan_neu@126.com 东北大学 信息学院 计算机应用技术研究所

体验多媒体
? 电影
?恐龙

? 游戏
?Wii游戏机广告1

Wii游戏机广告2 ?极品飞车游戏实录影象 吉他英雄3 ?实况足球2009游戏实录 ?孤岛危

机游戏演示 孤岛危机游戏演示1
? 现实应用
?网上看房

2/198

课程内容
? ? ? ?

?
?

?
? ?

多媒体概念 媒体及其特性 数据压缩技术简介 多媒体硬件环境 超文本与超媒体 多媒体人机交互技术 虚拟现实技术 多媒体实用技术 多媒体的最新发展动态

3/198

课程结构

第一章 第二章 第三章 第四章 第五章 第六章 第七章 第八章 第九章 第十章
4/198

多媒体技术基础 多媒体数据压缩编码技术 多媒体计算机常用硬件设备 超文本与超媒体 多媒体人机交互技术 多媒体虚拟现实技术 流媒体技术简介 多媒体作品创造方法与技术 多媒体数据库 多媒体通信与网络

参考教材
?

多媒体技术与应用,余雪丽、陈俊杰等编著,科学 出版社

?
?

多媒体技术与应用第二版,余雪丽、陈俊杰等编著, 科学出版社
多媒体应用技术实用教程,赵英良、董雪平编著, 清华大学出版社

5/198

第一章 多媒体技术基础

第一章 多媒体技术基础
? 1.1

多媒体技术概述 ? 1.2 媒体数据与信息 ? 1.3 声音媒体及其特性 ? 1.4 视觉媒体及其特性

7/198

1.1 多媒体技术概述
? 1.1.1

多媒体的主要特征 ? 1.1.2 多媒体信息系统 ? 1.1.3 多媒体技术的研究内容 ? 1.1.4 多媒体计算机概念

8/198

1.1.1 多媒体的主要特征
? 多媒体的概念与定义

多媒体:multimedia ? 核心词:媒体 ? 媒?体:信息传递和存储的技术和手段,即信 息的载体
?

9/198

1.1.1 多媒体的主要特征
? 多媒体的概念与定义
?国际电联(ITU)将媒体分为六类
? 感觉媒体:直接作用于人的感官,使人直接产生

感觉的媒体
? 表示媒体:为处理感觉媒体而人为构造的媒体,

如语言编码、文本编码、图像编码等
? 表现媒体:感觉媒体与电信号相互转换的媒体,

包括输入表现媒体、输出表现媒体 ? 存储媒体:表示媒体的存储介质,如硬盘等 ? 传输媒体:媒体传输用的物理载体,如光纤等 ? 交换媒体:系统之间交换数据的手段与类型
10/198

1.1.1 多媒体的主要特征
? 多媒体的概念与定义
?计算机中多媒体应有两重含义:
? 承载信息的实体,如磁盘、光盘,磁带等 ? 传递信息的载体,如如文字、声音、图形和图像、

动画、视频等

北京出租车
11/198

1.1.1 多媒体的主要特征
? 多媒体的概念与定义
?多媒体技术:能同时综合处理多种媒体信息——

文字、声音、音乐、图形、图像、动画、视频, 在这些信息之间建立逻辑关系,使其成为一个交 互式系统的技术
?多媒体技术是将先进的计算机技术与视频、音频

和通信技术融为一体的新技术

12/198

1.1.1 多媒体的主要特征
? 多媒体技术的关键特性
?信息载体的多样性:输入/输出两个方面 ?集成性:媒体信息的集成、处理媒体的设备与设

施的集成
?实时性:音频和视频都与时间轴密切相关,处理

信息要求严格的时序要求和很高的处理速度
?交互性:向用户提供交互使用、加工和控制信息

的手段
?其他参考书中,还从不同角度提到信息载体的多

样性、智能性、易扩展性、协同性等特性
13/198

1.1.2 多媒体信息系统
? 一般信息系统指能收集信息、处理信息、提

供信息,辅助人们对环境进行控制和决策的 系统,具有明显的整体性、结构性和各组成 部分之间的交互性 ? 随着多媒体技术的发展,在传统信息系统中 引入多种媒体信息,形成能综合处理文字、 声音、图形和图像、动画、视频等多种媒体 信息的系统。这种集信息多样性、交互性、 实时性和高度集成性于一体的、功能强大的、 智能化的信息系统便形成了新一代信息系 统——多媒体信息系统
14/198

1.1.2 多媒体信息系统
? 从计算机信息系统过渡到多媒体信息系统,

不仅是形式上或功能上的扩展,而且是信息 系统在本质上的一次飞跃:
?多媒体信息真正地实现了多媒体化

多媒体信息系统集成的内容更为丰富 ? 多媒体信息系统的应用领域更加广泛
? ?多媒体信息系统的应用水平有了极大的提高,具

有了更好的信息表现效果、更强的交互能力、更 大的信息使用范围、更高的信息服务质量

15/198

1.1.3 多媒体技术的研究内容
? 多媒体技术的研究内容
?多媒体数据压缩编解码技术 ?多媒体数据存储技术 ?多媒体计算机硬件平台 ?多媒体计算机软件平台 ?多媒体数据库技术 ?超文本和超媒体技术

?虚拟现实技术
?人机交互技术 ?分布式多媒体技术
16/198

1.1.3 多媒体技术的研究内容
? 多媒体技术的研究内容
研制多媒体计算机系统要解 决的关键技术 多媒体数据压缩 多媒体专用芯片技术 多媒体输入/输出技术 多媒体存储技术 多媒体系统软件技术 多媒体应用涉及的关键技术
多媒体素材采集、制作技术 多媒体应用程序开发技术 多媒体创作工具及开发环境 多媒体界面设计与人机交互技术 多媒体网络通信技术 虚拟现实技术

17/198

1.1.4 多媒体计算机概念
? 多媒体计算机

PC):能够综 合处理多种媒体信息,使多种媒体信息建立逻辑 连接,集成为一个系统并具有交互性的计算机 ?MPC由多媒体硬件和多媒体软件两大部分组成
?多媒体计算机(MPC,Multimedia

多媒体应用系统 多媒体创作、编辑软件 多媒体制作平台与工具 多媒体核心系统软件 (硬件驱动程序、操作系统) 多媒体硬件设备 基本计算机硬件系统
18/198

软件 系统 硬件 系统

1.1.4 多媒体计算机概念

MPC实质
? 多媒体计算机
?多媒体个人计算机是在现有PC机基础上加上一些

硬件板卡及相应软件使其具有综合处理声、文、 图信息的功能。

19/198

1.1.4 多媒体计算机概念
? 多媒体计算机
?交互式多媒体计算机协会

IMA

? Interactive Multimedia Association,由多媒

体产业供应商和最终用户组成,主要支持者是 Microsoft、Tandy、NEC等公司,负责发布MPC 规范 ? 1991年发布MPC1.0版规范 ? 1993年发布MPC2.0版规范 ? 1995年发布MPC3.0版规范 ? 1996年发布MPC4.0版规范

20/198

1.1.4 多媒体计算机概念
? 多媒体计算机
?MPC规范比较
项目 RAM 2MB MPC-1 4MB MPC-2 8MB MPC-3

CPU
硬盘 CDROM

16M Hz
30MB 150KB/s(1X)

25M HZ
160MB 300KB/s(2X)

75M Hz
540MB 600KB/s(4X)

声卡
显示 I/O端口
21/198

8bit(8位)
640×480 16色 MIDI I/O

16bit(16位)
640×480 65535色 ————— MIDI

16bit(16位)
640×480 65536色 352×240 30fps MIDI

视频播放 ————

1.1.4 多媒体计算机概念
? 多媒体计算机
?硬件组成
录像机 显示器
CD-ROM 驱动器 电视机 话筒

摄像机

视频卡

电视卡

音响设备
MIDI设备 音箱

计算机
音频卡

影碟机

其他:打印机,扫描仪,语音、图 像识别卡

22/198

1.1.4 多媒体计算机概念
? 多媒体计算机
?硬件组成

23/198

1.1.4 多媒体计算机概念
? 多媒体计算机
?硬件组成

24/198

1.1.4 多媒体计算机概念
? 多媒体计算机
?硬件组成
? 音频设备:声卡 、话筒 、音箱、耳机等。 ? 图像设备:扫描仪、数码相机、数字化仪 、打印

机等。 ? 视频设备:摄像机、录像机、VCD/DVD播放、电 视机或电视卡、采集卡 、编辑卡等。 ? 存储部分:光盘 、刻录机等。

25/198

1.1.4 多媒体计算机概念
? MPC的特性
?CD-ROM ?高质量的数字音响 ?图文并茂 ?多媒体操作系统及各类多媒体软件

26/198

资料:多媒体技术发展
? 斯克里亚宾——“多媒体之先驱”

19世纪俄国作曲家 ? 用色彩合成音乐,为声音定义色彩 ? 把燃香等方式嵌入音乐中,增加嗅觉感受
?

27/198

资料:多媒体技术发展
? 斯克里亚宾为声音定义的色彩
频率(HZ) 256 277 298 319 341 362 383 405 426 447 467 490
28/198

调子 C C# D D# E F F# G G# A A# B

斯克里亚宾的颜色 红色 紫色 黄色 闪烁的青色 锌钡白微光 深红色 亮蓝色 玫瑰红色 紫红色 绿色 青色 锌钡白蓝

色相

资料:多媒体技术发展

计算机发展的初期,用数值承载 信息。纸带机和卡片机是主要的输入 输出设备. 这一时代是使用机器语言的时代, 计算机应用只能限于极少数计算机专 业人员。
不直观 不方便
难理解 易出错

29/198

资料:多媒体技术发展

50年代到70年代,用文字作为信 息的载体,输入输出设备主要是打字 机、键盘和显示终端。 计算机的应用扩大到具有一般文 化程度的科技人员。
较直观 较容易

30/198

资料:多媒体技术发展

1964年,美国人道格· 恩格尔巴特 发明了鼠标,并于1968年12月9日在全 球最大的专业技术学会—IEEE会议上, 展示了世界上第一个鼠标

31/198

资料:多媒体技术发展

1973年4月,施乐公司(Xerox) 推出世界上第一部采用图形界面、可 操作的的Alto电脑,这是世界上第一 台使用鼠标的电脑

32/198

资料:多媒体技术发展

80年代开始,人们致力于研究 将声音、图形和图象作为新的信息 媒体输入输出计算机。

声、文、图

33/198

资料:多媒体技术发展

1983年,苹果公司推出世界上第 一台采用图形界面的个人电脑—LISA 电脑,同时配置鼠标。这是距离鼠标 发明17年后,苹果公司第一次在自己 的电脑上配置鼠标,正是由于苹果的 举动,让用户才认识到鼠标的作用

34/198

资料:多媒体技术发展
?

1984年Apple公司的Macintosh 个人计算机,首先引进了“位映射” 的图形机理,用户接口开始使用 Mouse驱动的窗口技术和图符。

直观、方便

35/198

资料:多媒体技术发展

Macintosh电脑是电脑发展史上的 一个重要里程碑,也让鼠标走进了千 家万户。之后,由于OS/2、Windows系 统的使用,进一步确立了鼠标成为电 脑标准配置的地位

36/198

资料:多媒体技术发展
?

今天,国际上下述几项技术又有了突出的 进展:
?超大规模集成电路的密度增加了
?超大规模集成电路的速度增加了 ?CD、DVD等作为低成本、大容量PC机的外存

储器 ?网络技术的广泛使用

37/198

资料:多媒体技术发展
? 数字视频压缩算法和视频处理器结构的改进

同时能够做到全屏幕、全运动的 十年前单色文本 视频图像,高清晰度的静态图像,视 今天的彩色丰 /图形子系统 频特技,三维实时的全电视信号以及 高速真彩色图形。同时还有高保真度 富、高清晰度 的音响信息。显示子系统

38/198

资料:多媒体技术发展
? 计算机技术:具有MMX技术的CPU ? 通信技术:Internet的飞速发展 ? 视听技术:
?1972年菲利浦公司——激光影碟机(LD)

?1984年首展CD-ROM驱动器
?1995年DVD标准出现

39/198

资料:多媒体技术发展
随着计算机网络技术的迅 猛发展,网络多媒体技术 也成为重要的技术领域 1995年,美国微 软公司开发的 Windows95操 作系统

1987年,美国 Apple公司开发的 安装在计算机中的 超级卡Hyper Card使计算机具 有了快速、稳定处 理多媒体信息的能 力。

1995年

上世纪末,高速的奔 腾系列CPU芯片进入 多媒体个人计算机,

1991年首先制定并推出了基本标准MPC1 1990年11月,成立了“交互式多媒体协会” IMA 1987年

1985年,伴随着美国Commodore公司推出首台多媒体计算机系 统 1984年美国苹果公司首创用计算机处理图像 1945年诞生计算机 40/198

资料:多媒体技术发展
? Thomas

片照相机 ? 电视是20世纪出现的新媒介 ? 1945年,Vannevar Bush发表了一篇标志性 的论文“As We May Think” ,描述了一个 叫Memex超媒体系统,它就是万维网 (World Wide Web,WWW)的前身 ? 1984年美国Apple公司在研制Macintosh计 算机时,为增加图形处理功能,改善人机交 互界面,创造性地使用了鼠标驱动的位图、 窗口、图标等技术
41/198

Alva Edison 1887年发明了运动图

资料:多媒体技术发展
? 1985年,Commodore公司推出第一台多媒

体计算机系统Amiga ? 1985年,Microsoft公司推出了Windows, 是一系列具有多媒体功能、用户界面友好的 多层窗口操作系统 ? 1986年,荷兰Philips公司和日本Sony公司 联合研制并推出CD-I(compact disc interactive,交互式光盘系统),同时公布 了该系统所采用的CD-ROM光盘的数据格式
42/198

资料:多媒体技术发展
? 1989年,Tim

Berners-Lee向欧洲核研究 委员会建议建立了万维网 ? 1989年,美国拉斯维加斯COMDEX年会, 苹果公司展示了一台Macintosh计算机,代 表总裁致辞,从此进入视听共存的多媒体时 代 ? 1990年10月,在微软公司会同多家厂商召 开的多媒体开发工作者会议上提出了MPC 1.0标准。它作为多媒体个人计算机的第一 个标准,具有划时代的意义
43/198

资料:多媒体技术发展
? 1992年,微软推出Windows

3.1,支持多种 多媒体应用,成为事实上的多媒体操作系统 ? 1993年,美国计算机学会举办第一届多媒体 技术国际会议 ? 1995年,微软的Windows 95获巨大成功, 以后陆续推出Windows 98、 Windows 2000等

44/198

资料:多媒体技术发展
? 多媒体技术在我国的发展
?1989年,多媒体技术在我国开始被重视 ?1990年,开始开发多媒体软件与硬件设备,技

术准备期 ?1992年,多媒体设备(声卡)已经上市,升温期 ?1993-1994年,多媒体系统开发平台上市,进 入应用期 ?1995年至今,多媒体计算机开始步入家庭

45/198

资料:多媒体技术应用
? 多媒体演示系统 ? 网络多媒体

(视频会议、远程教学、远程医 疗诊断、视频点播 、远程教学等) ? 数字电视 ? 游戏娱乐
wii

46/198

资料:多媒体技术应用
? 多媒体出版 ? 多媒体办公自动化 ? 计算机会议 ? 多媒体信息查询

? 交互式电视与视频点播
? 交互式影院与数字化电影

? 数字化图书馆
? 家庭信息中心 ? 远程教育
47/198

资料:多媒体技术应用
? 远程医疗 ? 过程模拟:模拟设备运行、化学反应、海洋

洋流、天体演化、生物进化、物理现象等
? 媒体空间:将办公室、公共活动区、公共资

源设备等通过计算机网络互联起来,形成超 越时空距离的环境,供工作人员交换信息、 传递数据或进行讨论
? 赛博空间:媒体空间发展到相当大的范围,

信息内容极其丰富,用户访问极其方便且更 具沉浸感
48/198

资料:多媒体技术应用
?

虚拟现实
演示1 演示2

49/198

资料:多媒体技术应用

利用多媒体是计算机技术发展 的必然趋势
从半导体的发展 从计算机进步 从普及计算机应用 从拓宽计算机处理信息类型

50/198

1.2 媒体数据与信息
? 1.2.1

媒体数据与信息的关系 ? 1.2.2 媒体的分类与性质 ? 1.2.3 多媒体数据的特点

51/198

1.2.1 媒体数据与信息的关系
? 信息是客观事物运动状态的表征和描述,媒

体是承载信息的载体,是信息的表现形式
? 客观世界中存在着不同的信息形式,相应地

也有不同的信息媒体,如文字、声音、图形、 图像等。人类的各种感觉器官是应信息交流 的需要在自然进化过程中产生的。这些器官 使人类能利用视觉、听觉、味觉、嗅觉和触 觉来全方位地感受信息,获取知识

52/198

1.2.1 媒体数据与信息的关系
? 数据是用来记录和传送信息的符号,是媒体

的格式化形式,数据是信息的真正载体 ? 数据承载信息时有语法和语义之分

?语法:数据的输入格式,如(张三,男,10),输

入三个值,第一、二个是字符型,第三个是数值 型 ?语义:每种数据必须有相应的解释,才能被人所 理解
10:10岁 (张三,男,10) 10:小孩10岁 10:10年工龄
53/198

三种解释

1.2.1 媒体数据与信息的关系
? 媒体的表达方式不同,其承载的信息量也不

同,香农提出以概率论的观点和方法定量化 描述媒体所承载的信息量
? 信息量:指从N个相等可能事件中选出一个

事件所需的信息度量或含量,也就是在辨识 N个事件中特定的一个事件的过程中所需提 问“是或否”的最少次数
? 信息熵:指一团数据所带的信息量,平均信

息量就是信息熵
54/198

1.2.1 媒体数据与信息的关系

? 信息量

例如:从64个数中选出某一个数,可先问“是 否大于32?”消除半数的可能,这样只要6次就 可选出某数。因为每提问一次都会得到1比特 的信息量因此,在64个数中选定某一数所需 的信息量是 log2 64=6(bits) 设从N个数中选任意一个数X的概率为 P(x),假定选定任意一个数的概率都相等, P(x)= 1/N,因此定义信息量 1 I(x)= log2N= - log2 = - log2p(x) N
55/198

1.2.1 媒体数据与信息的关系
? 信息熵:如果将信源所有可能事件的信息量

进行平均,就得到了信息熵。熵就是平均信 息量 设信息源的符号集为 Xi (i=1,2,3……..N),设 X出现的概率为P(xi),则信息源X的熵为 H(x) = H(p(x1),(p(x2), …,p(xn)) = - ∑p(xi) ×log2p(xi)
i=1

n

56/198

1.2.2 媒体的分类与性质
? 在人类通过感觉器官获取的各种信息中:

65%
20% 2%

10%

3%

视觉65% 听觉20% 触觉10% 嗅觉3% 味觉2%

可见,图像、声音等视觉和听觉信息表现形 式是人类最大的信息来源。
57/198

1.2.2 媒体的分类与性质
? 媒体的分类——以人的感官分类
?视觉类媒体:静态、动态 ?听觉类媒体:人耳——20Hz~20kHz范围

(超声波、次声波)——地震、声纳 ?触觉类媒体:压力、温度、湿度等——触摸 ?其它感觉类媒体:嗅觉、味觉

58/198

1.2.2 媒体的分类与性质
? 媒体的分类——从信息表示角度
?不同媒体的格式各不相同,图像、视频、声音等

不同
?不同媒体所表达信息的程度不同,不同媒体承载

信息量不同 ?媒体之间的相互关系也包含了丰富的信息 ?媒体间可以相互转换,动画——视频,文字—— 语音

59/198

1.2.3 多媒体数据的特点

? 数据量大

图像:一张640×480真彩(24位)的图像需: 640×480×24=7372800(bit)=900KB (1Byte=8bit),相当于约46万汉字 视频:以这样的图像构成视频,以每秒30帧 进行播放,所需传输率为: 7372800*30=221184000(b/s)≈221Mbps 一张650MB(5200Mb)的光盘只能存储约 23.5秒的视频节目
60/198

1.2.3 多媒体数据的特点
? 数据类型多
?本来就存在多种媒体形式,如文本、图形、图像、

声音、动画、音乐、动态影像视频等,加之同一 种媒体也还分为多种格式,如图像就有黑白、彩 色、高分辨率、低分辨率之分,因此,相应的数 据类型自然就很多

61/198

1.2.3 多媒体数据的特点
? 不同类型数据之间的差别大,这种差别体现

在几个方面:
体现在空间上,即媒体存储量差别很大 ? 体现在时间上,对声音、视频图像等时基媒体 的信息组织方法会有很大不同 ? 体现在格式和内容上,不同类型的媒体,由于 格式和内容的不同,相应的数据管理和处理方法 也不同,很难统一处理
?

62/198

1.2.3 多媒体数据的特点
? 数据处理复杂
?多媒体数据量巨大、类型繁多、差别大,必然导

致处理复杂

63/198

1.2.3 多媒体数据的特点
? 常见的媒体元素
?文本(Text):格式化文本、非格式化文本 ?图形(Graphic):矢量图——圆(圆心、半径、颜

色),不失真,存储空间小——CAD,3DS等软件 使用,扩展名3DS DXF等 ?图像(Image):位图——BMP GIF JPG等
? 分辨率:屏幕分辨率、图像分辨率、像素分辨率 ? 图像灰度:每个图像的最大颜色数,24位其颜色

为16777216种——真彩色,现在32位

64/198

1.2.3 多媒体数据的特点
? 常见的媒体元素
?视频(Video):图像的连续播放——AVI

RM

MPG

25帧/秒(PAL) ? 图像质量:与压缩算法有关
? 帧速:30帧/秒(NTSC)

?音频(Audio):声音的数字化表达——WAV

VOC

? 采样频率:每秒钟采样次数,越高越好

? 采样精度:采样后转为二进制的位数,越大越好
? 通道数:单声道、立体声道(双声道)

?动画(Animation):与视频类似,但由电脑做出—

—GIF SWF FLC等

65/198

1.3 声音媒体及其特性
? 1.3.1

声音媒体性质及其分类 ? 1.3.2 波形音频的采样量化 ? 1.3.3 数字音乐国际标准

66/198

1.3.1 声音媒体性质及其分类
? 听到声音的条件
? 声源:有振动的物体。人

讲话就主要是声带
? 传播介质:空气等。太空

中无法听到声音,无介质
? 接收器官:对人及其他动

物——耳朵

67/198

f (t ) ? ? An sin(n?t ? ? n )
n ?0

?

1.3.1 声音媒体性质及其分类

? 机械振动或气流扰动引起周围弹性媒质发生

波动,产生声波。产生声波的物体为声源(如 人的声带、乐器等),声波所及的空间范围称 为声场。声波传到人耳,经过人类听觉系统 的感知就是声音。
? 声波可以用一条连续的曲线来表示,它在时

间和幅度上都是连续的,称为模拟音频信号。

68/198

1.3.1 声音媒体性质及其分类
? 在任一时刻,声波可以分解成一系列正弦波

的线性叠加
音色变化 音强

周期

69/198

1.3.1 声音媒体性质及其分类
? 频率
?声波在空气媒质中传播,会使空气中的气压形成

疏密的变化。声源完成一次振动,空气中的气压 形成一次疏密变化所经历的时间称为一个周期, 记作T,单位为秒(s)。1秒内钟声源振动的次 数或空气中气压疏密变化的次数,称为声源的频 率f,单位为赫兹(Hz)。它是周期的倒数,即 f = 1/T。

70/198

1.3.1 声音媒体性质及其分类
? 频率
?由于组成声音的信号不是单一频率的信号,因此

需要用另一个参数频带宽度或称之为带宽,它描 述组成复合信号的频率范围。 ?人类能分辨的声波频率范围可认为是20Hz~ 20kHz,称为音频信号(Audio)。 ?频率低于20Hz——次声波 ?频率高于20KHz——超声波

71/198

1.3.1 声音媒体性质及其分类
? 频谱
?物体在一定位臵的附近作来回往复的运动,称为

简谐振动。简谐振动会产生一个特定音调的纯音, 听起来感觉单薄。
?乐器很少产生单一频率的纯音,而是复音。复音

的产生基于物体的复杂振动,可以分解为许多不 同振幅和不同频率的简谐振动。
?简谐振动的振幅按频率排列的图形称为频谱。频

谱可一目了然地看出复杂振动的频率结构。

72/198

1.3.1 声音媒体性质及其分类
? 声音媒体性质
?随时间连续变化:声音是一种随时间变化的连续

媒体,因此,对声音媒体的处理要求有比较强的 时序性 ?三要素:音调、音强、音色 ?声音有方向 ?音色与失真 ?声音的连续谱特性

73/198

1.3.1 声音媒体性质及其分类
? 声音三要素——音调
?人们感觉到的声音频率的变化。音调的高低,在

音乐中称为音高。音调与基频的对数成线性关系。 基频越低,给人的感觉越低沉。基频频率增加一 倍,音乐上称提高了一个八度 ?成年人说话的基频60~400Hz,男性周期为 10ms,女性周期为6ms,女性比男性频率高。 频率高,人耳感到尖而高——女高音,频率低则, 人耳感到低而沉——男低音

74/198

1.3.1 声音媒体性质及其分类
? 声音三要素——音强
?人耳感觉到的声音大小,又称响度、音量,与振

幅成正比。声音也是一种能量,有功率。音强用 分贝表示,分贝数(dB)=10×lg(P1/P0), P1 为 声音的功率,P0(参考功率)=10-12W 。
分贝数(dB) 170 100 70 50 30
75/198

声音功率(W) 1 × 105 1 × 10-2 1 × 10-5 1 × 10-7 1 × 10-9

举 例 喷气机引擎 高速公路上的汽车 会话 小型办公室 悄悄耳语

1.3.1 声音媒体性质及其分类
? 声音三要素——音强
?响度表达了人耳对声音强弱的感觉程度。响度不

仅与声压有关,还与频率有关
?描述响度、声压以及声源频率之间的关系曲线称

为等响度曲线。等响度曲线说明,不同频率的声 音,声压达到一定的级别时,才能给人相同的响 度感觉

76/198

1.3.1 声音媒体性质及其分类
? 声音三要素——音强
?等响曲线

77/198

1.3.1 声音媒体性质及其分类
? 声音三要素——音色
?任何一种声音,都不是单一频率的振动,在基本

振动频率(基波)之上会有各种不同振幅、不同频 率的更高频率的小振动(高次谐波)。
波峰 基波

谐波

波谷

78/198

1.3.1 声音媒体性质及其分类
? 声音三要素——音色
?音色又称音品,指声音的音调和响度以外的音质

差异。声音的音色取决于该声音的频谱结构或是 频谱包络(声波曲线)。 ?高次谐波越丰富,音色就越有明亮感和穿透力。 此外,音色还与听音条件等因素有关。它是一个 主观量,常用柔和、刺耳、饱满等词描述

每个人的音色不同,是由于其声带、口、 胸等共鸣腔的构造不同,发出的谐波不同。
79/198

1.3.1 声音媒体性质及其分类
? 声音的方向感
?声音是以波的形式传播的,人能够辨别出声音到

达左右耳的时差和强度(双工理论),判断出声 音的方向。同时空间使声音反射,造成立体感
声源 声音到达两 耳的时间差

声源
声音到达两 耳的强度差
80/198

1.3.1 声音媒体性质及其分类
? 音色与失真
?音色非常复杂,目前尚在研究中。不能在传输和

输出时产生多余的高次谐波,否则就与原音色不 同
? 声音的连续谱特性
?也叫频谱特性。声音是时间函数,人耳对声音的

波峰和波谷非常敏感。基波的频率改变,人耳是 敏感的。如:录音带快进时,音调会变化

81/198

1.3.1 声音媒体性质及其分类
? 频带宽度
?音频信号所包含的谐波分量越丰富,音色越好。

在广播通信和数字音响系统中,以声音信号所包 含的谐波分量的频率范围来衡量声音的质量,即 带宽

82/198

1.3.1 声音媒体性质及其分类
? 频带宽度

音频带宽

电话语音 调幅广播 调频广播 宽带音频

200Hz~3.4KHz 50Hz~7KHz 20Hz~15KHz 10Hz~22KHz

83/198

1.3.1 声音媒体性质及其分类
? 音频媒体的分类
?从用途角度:

语音 音乐 效果声 波形音频(Waveform Audio) MIDI音频(MIDI Audio)

?从处理角度:

84/198

1.3.2 波形音频的采样量化
? 波形音频
?是以数字形式来表示声波,利用声卡等专用设备

对语音、音乐、效果声等声波进行采样、量化、 编码,转化为数字形式(还可以压缩存储),使 用时再解码还原成波形。

85/198

1.3.2 波形音频的采样量化
? 波形音频信号的采样与量化方法
?声波可由转化装臵转换成电信号,是连续变化的

模拟量,必须转换为数字量计算机才能处理—— 模数(A/D)转换。输出时进行数模(D/A)转换, 变成模拟信号,形成声波。 把模拟声音信号转变为数字声音信号的过 程——脉冲编码调制(PCM)。
声音的 模拟信号

采 样

量 化

编 码

声音的 数字信号

86/198

1.3.2 波形音频的采样量化
? 计算机说话的过程
CD光盘

A/D转换器

10011010
处理

D/A转换器
87/198

10011010

1.3.2 波形音频的采样量化
? 波形音频信号的采样与量化方法
?采样:以固定的时间间隔(采样频率)对当前声

音波形的幅度进行测量——即每隔一个时间间隔 在模拟声音波形上取一个幅度值,从而把时间上 连续的声波信号变成离散的数字信号。
?量化:将采样声音的情况转化为二进制代码记录

下来。二进制的位数即是量化精度,一般为8位、 16位。
?编码:把量化后的结果按照采样点的顺序排列起

来,就是该模拟声波的数字形式。

88/198

1.3.2 波形音频的采样量化
? 波形音频信号的采样与量化方法
?声音数字化过程示意

(a)模拟声音信号的波形图

(b)采样得到的离散时间信号

(c)再量化得到的数字信号
89/198

1.3.2 波形音频的采样量化
? 波形音频信号的采样与量化方法
?声音数字化过程示意

90/198

1.3.2 波形音频的采样量化
? 波形音频信号的采样与量化方法
?波形采样示意图

91/198

1.3.2 波形音频的采样量化
? 与采样量化有关的主要技术参数
?采样频率:每秒钟采样的次数,越高质量越好 ?量化精度:每个采样点的幅度转化为二进制的位

数,越多精度越高 ?声 道 数:单声道、立体声、6声道(5.1)等 ?采样时间:采样的时间长度 ?数 据 量:数字化后音频信号的大小

92/198

1.3.2 波形音频的采样量化
? 采样频率
?每秒钟采样次数 ?采样定理:采样频率高于信号最高频率的两倍,

就可以从采样中完全恢复原始信号的波形。(奈 奎斯特采样定理) 11.025KHz(语音) ?音频信号标准采样频率: 22.05KHz(音乐) 44.1KHz(高保真)

93/198

1.3.2 波形音频的采样量化
? 量化精度
?采样点量化为二进制数的位数 ?常用量化等级:8位、16位、32位 ?量化过程:先将整个幅度划分为有限个阶距,把

落入某个阶距内的样值量化为同一值。若令Δ表 示阶距,e表示量化误差,则有e为±Δ/2。显 然,采样数据位越多,量化阶距就越小,误差也 就越小,精度也就越高,还原出来的声音质量也 就越好

94/198

1.3.2 波形音频的采样量化
? 量化精度

量化过程示意图

95/198

1.3.2 波形音频的采样量化
? 采样过程示意图
600 500 400 300

200
100 0
采样点
96/198

1
1

2
2

3
3

4
4

5
35 0

6
5

7
6

8
7

9

10
8 9 10
0

t

幅 度 110 190 300

450 500 600 390 145

1.3.2 波形音频的采样量化
?

量化示意图(8位) 幅度 按8位精度量化: 600 振幅0~600,分 597.6 为28=256个阶距, 295.2 每个阶距为 600/256≈2.4, 292.8 即在2.4振幅之内 的数都转化为同 7.2 一二进制数。
4.8 2.4

二进制数
1111 1010 1111 1001 1111 1000

0000 0002
0000 0001 0000 0000

0
97/198

1.3.2 波形音频的采样量化
? 量化示意图(8位)——量化结果
采样点 1 2 3 4 5 6 7 8 幅度 110 190 300 350 450 500 600 390 量化后二进制数 0010 1110 0101 0000 0111 1101 1001 0010 1011 1100 1101 0001 1111 1010 1010 0011

98/198

9 10

145 0

0011 1101 0000 0000

1.3.2 波形音频的采样量化
?

量化示意图(16位) 幅度 按16位精度量化:600.0056 振幅0~600,分 为216=65536个 599.9964 阶距,每个阶距 599.9872 为:600/65536 599.978 ≈0.0092,即在 0.0092振幅之内 的数都转化为同 0.0276 一二进制数。
0.0184 0.0092

二进制数
11111110 11000010 11111110 11000001 11111110 11000000

00000000 00000002
00000000 00000001 00000000 00000000

0
99/198

1.3.2 波形音频的采样量化
? 量化示意图(16位)——量化结果
采样点 1 2 幅度 110 190 量化后二进制数 00101110 10110101 01010000 10101101

100/198

3 4 5 6 7 8 9 10

300 350 450 500 600 390 145 0

01111111 10010100 10111111 11010100 11111110 10100101 00111101 00000000

01100001 10011100 00010010 01001100 11000010 10011000 10010001 00000000

1.3.2 波形音频的采样量化
? 两种量化还原示意
采样点 1 2 幅度 110 190 8位精度还原值 110.4 192.0 16位精度还原值 110.0044 190.0076

3 4 5 6 7 8 9 101/198 10

300 350 450 500 600 390 145 0

300.0 350.4 451.2 501.6 600.0 391.2 146.4 0

300.0028 350.0048 450.0088 500.0016 600.0056 390.0064 145.0012 0

1.3.2 波形音频的采样量化
? 两种量化还原比较
?8位量化精度:振幅落在2.4范围内的都将量化为

同一个二进制数 ?16位量化精度:振幅落在0.0092范围内的都将 量化为同一个二进制数 ?一个阶距是2.4,另一个阶距是0.0092,显而易 见,后一个比前一个精度要高,其声音还原的比 前一个要好 ?一个位数是8,另一个位数是16,后一个比前一 个占用的空间要大
102/198

1.3.2 波形音频的采样量化
? 声道数
?单声道:录音时,一次只产生一个声波 ?双声道:录音时,一次只产生两个声波(立体

声),立体声更能反映人的听觉特性,但其数据 量是单声道的两倍 ?6声道:即通常说的5.1声道,更能逼真展现原始 声音的真实情景

103/198

1.3.2 波形音频的采样量化
? 数据量
?数据量计算公式:

(采样频率×采样精度×声道数) 数据量=——————————————×时间(字节) 8 ?1分钟双声道录音的数据量
采样频率 (KHz) 44.1 22.05 11.025
104/198

采样精度 (位) 16 8 16 8 16

数据量 (MB) 10.094 2.523 5.047 1.262 2.523

数据速率 (KBps) 88.2 22.05 44.1 11.025 22.05

1.3.2 波形音频的采样量化
? 声音质量和数字化指标

声音质量 电话质量 AM音质 FM音质 CD 音质

采样频率 采样精度 kHz bit 8 8 8 11 .025 16 22 .05 44 .1 16

声道数 1 1 2 2

数据量 MB/min 0. 46 0. 63 5. 05 10. 09

105/198

1.3.2 波形音频的采样量化
? 声音试听比较
?采样频率8000

HZ,双声道,16位量化精度

普通效果 大堂效果

峡谷效果 空间效果

106/198

资料:PCM编码

在非线性量化中,采样输入信号幅 度和量化输出数据之间定义了两种 对应关系,一种称为μ 律压扩算法 (北美和日本等地区),另一种称 为A律压扩算法(欧洲和中国大陆 等地区)。
107/198

资料:PCM编码
? 对于采样频率为8

kHz,样本精度为13位、 14位或者16位的输入信号,使用μ率压扩编 码或者使用A率压扩编码,经过PCM编码器 之后每个样本的精度为8位,输出的数据率为 64 kb/s。这个数据就是CCITT推荐的 G.711标准:话音频率脉冲编码调制(Pulse Code Modulation (PCM) of Voice Frequences)。

108/198

1.3.3 数字音乐国际标准
? MIDI的基本概念
?MIDI是Musical

Instrument Digital Interface(乐器数字接口)的缩写。它是1982年 提出并不断发展确定的数字音乐的国际标准,它 规定了电子乐器和计算机之间进行联接的硬件及 数据通信协议,已成为电脑音乐的代名词

109/198

1.3.3 数字音乐国际标准
? MIDI的基本概念
?在多媒体技术中,合成音乐或声响效果可以直接

采用波形音频产生,MIDI音频与波形音频完全 不同,它不对声波进行采样、量化、编码,而是 将电子乐器键盘的演奏信息(包括键名、力度、 时间长短等)记录下来,这些信息称之为MIDI 消息,是乐谱的一种数字式描述

110/198

1.3.3 数字音乐国际标准
? MIDI的基本概念
?对应于一段音乐的MIDI文件不记录任何声音信

息,而只是包含了一系列产生音乐的MIDI消息。 播放时只需从中读出MIDI消息,生成所需的乐 器声音波形,经放大处理即可输出。MIDI音频 的处理过程如下图所示
MIDI 作曲软件 消息 MIDI 文件 处理 电子琴 MIDI 消息
111/198

MIDI 编辑 播放

声音 合成 器

立体 声 功放

MIDI 文件

1.3.3 数字音乐国际标准
? MIDI的特点
?MIDI存储量远比波形音频小

波形:300MB 半小时立体声音乐

MIDI:200KB ?MIDI声音文件可与另一个波形声音文件配合使 用 ?MIDI编辑方便,可任一修改曲子的速度、音调 以及乐器等
MIDI音乐1
112/198

MIDI音乐2

MIDI钢琴

1.3.3 数字音乐国际标准
? MP3数码音乐
?MP3的全称是MPEG-1

Layer3音频文件。 MPEG-1为活动影音压缩标准,其中的声音部分 称MPEG-1音频层,它根据压缩质量和编码复杂 度划分为三层,即Layer1、Layer2和Layer3, 分别对应MP1、MP2和MP3三种声音文件,并根 据不同的用途,使用不同层次的编码 ?MPEG音频编码的层次越高,对应的编码器越复 杂,压缩率也越高,MP1和MP2的压缩率分别为 4:1和6:1~8:1,而MP3的压缩率则高达10:1~ 12:1
113/198

1.3.3 数字音乐国际标准
? MP3数码音乐
?如一分钟的CD音质的音乐,未经压缩需要10MB

的存储空间,而经过MP3压缩编码后只有1MB左 右 ?MP3文件的魅力关键在于这种压缩比非常高的数 字音频文件不仅能在网上自由传播,而且还能把 它轻而易举地下载到便携式数字音频设备(MP3 随身听)中。这种便携式数字音频设备是基于 DSP(数字信号处理器)的,无需计算机支持便 可以实现MP3文件的存储、解码和播放

114/198

资料:常见的声音文件扩展名
voc(Creative Voice) :声霸卡存储的声音文件存 储格式 ? wav(Waveform):Windows采用的波形声音文件 存储格式 ? MP3:MPEG-1 Layer3音频文件。 ? rm(RealMedia), ra(RealAudio) :RealNetworks 公司的流放式声音文件格式 ? mid(MIDI):Windows的MIDI文件存储格式 ? act:MP3播放机录制的声音格式,电脑上无法播 放,可通过软件转换为wav或mp3格式
?
115/198

1.4 视觉媒体及其特性
? 1.4.1

彩色空间表示与转换 ? 1.4.2 视觉媒体及其主要技术参数 ? 1.4.3 视觉媒体常见文件格式

116/198

1.4.1 彩色表示空间与转换
? 视觉是人类最丰富的信息来源 ? 颜色的形成主要有四个要素
?光源、物体、眼睛和大脑



? 人要感受到图像,必须有光

? 物体可以分为两大类:
?发光物体和吸光物体

117/198

1.4.1 彩色表示空间与转换
? 光是一种具有一定频率范围的电磁辐射,即

光波,其波长覆盖的范围很广,只有一小部 分能够引起眼睛的兴奋而被感觉,其波长在 380nm ~780 nm 之间,称为可见光。

118/198

1.4.1 彩色表示空间与转换
? 随着波长的缩短,可见光的颜色依次为红、

橙、黄、绿、青、蓝、紫。只有单一波长成 份的光称为单色光,含有两种以上波长成份 的光为复合光。
? 纯颜色通常使用光的波长来定义,用波长定

义的颜色叫做光谱色(Spectral Colors)。

可见光光谱

119/198

1.4.1 彩色表示空间与转换
? 颜色的描述
?色调:引起视觉的色光可能是由数种波长的光波

混合而成,但正常人眼均能感受出它最接近红、 橙、黄、绿、青、蓝、紫等纯光谱色中的一种, 这种属性称为色调

120/198

1.4.1 彩色表示空间与转换
? 颜色的描述
?饱和度:指的是颜色偏离灰色、接近纯光谱色的

程度,彩色光所呈现颜色的深浅或纯洁程度。即 色彩“纯正”的程度,饱和度越高,颜色越纯正
? 例:红+白—>粉红的这个过程中,基本色调没有

变化,但饱和度降低。

不完全饱和
121/198

完全饱和

不完全饱和

1.4.1 彩色表示空间与转换
? 颜色的描述
?明度:指的是光所产生的亮暗感觉。 ?亮度:人眼感受光的强度

颜色与亮度之间的关系

不完全饱和

完全饱和 饱和度与亮度之间的关系

不完全饱和

122/198

1.4.1 彩色表示空间与转换
? 颜色的描述
?明度与亮度
? 物体呈现的色彩与该物体反射光的强度有关,如:

同一物体因受光不同将产生明度变化。同样颜色 的色块分别臵于强与弱白光下,其波长一致但入 眼的光波能量不同,强光下反射光波能量大,感 觉颜色浅。

123/198

1.4.1 彩色表示空间与转换
? 颜色的描述
?灰度:从黑到白之间等间隔的亮度层次

124/198

1.4.1 彩色表示空间与转换
? 颜色的描述
?对比度:最大亮度与最小亮度之比

海滨-对比度低
125/198

海滨-对比度高

1.4.1 彩色表示空间与转换
? 颜色的描述
?彩色的三要素:亮度、色调、饱和度 ?色度:色调和饱和度的统称 ?色度学中的三基色原理:自然界一种颜色都可以

由三种基本颜色通过适当的混合产生
?三基色的选择不是唯一的,只要满足任何一种颜

色都不能由其它两种颜色合成即可

126/198

1.4.1 彩色表示空间与转换
? 三基色原理
?由于人眼对红、绿、蓝三种色光最敏感,由这三

种颜色相配所得颜色范围最广,一般选RGB作为 三基色
?红光、绿光与蓝光按不同比例混合可得到各种不

同颜色的光,所以红色、绿色和蓝色叫做光的三 原色或三基色。三原色光的等量混合构成无色光, 称为白光

127/198

1.4.1 彩色表示空间与转换
? 三基色原理
?物体在白光照射下所呈现的颜色叫物体的颜色。 ?自然界中的任何一种颜色都可以由R(红)、G

(绿)、B(蓝)这3种颜色值之和来确定,它们 构成一个3维的RGB矢量空间。

128/198

1.4.1 彩色表示空间与转换
? 相加混色
?用于发光物体颜色的建立,如显示器 ?理论上讲,任何一种颜色都可用三种基本颜色按

不同的比例混合得到。
?某一种颜色和这三种颜色之间的关系可用下面的

式子来描述: 颜色=R的百分比+G的百分比+B的百分比

129/198

1.4.1 彩色表示空间与转换
? 相加混色
?当三基色等量相加时,得到白色;等量的红、绿

相加而蓝为0值时得到黄色;等量的红、蓝相加 而绿为0时得到品红色;等量的绿、蓝相加而红 为0时得到青色。

130/198

1.4.1 彩色表示空间与转换
? 相减混色
?用于吸光物体颜色的建立,如打印机 ?当两种以上的色料相混和重叠时,白光就减去各

种色料的吸收光,其剩余部分的反射色光混合结 果就是色料混合或重叠产生的颜色。
?在理论上说,任何一种颜色都可以用三种基本颜

料按一定比例混合得到。这三种颜色是青色 (Cyan)、品红(Magenta)和黄色(Yellow),通常 写成CMY,称为CMY模型。
?如果两种色光相加呈现白光,两种颜色相混呈现

灰黑色,那么这种色光或颜色即互为补色。
131/198

1.4.1 彩色表示空间与转换
? 相减混色
?在相减混色中,当三基色等量相减时得到黑色;

等量黄色(Y)和品红(M)相减而青色(C)为0时,得 到红色(R);等量青色(C)和品红(M)相减而黄色 (Y)为0时,得到蓝色(B);等量黄色(Y)和青色(C) 相减而品红(M)为0时,得到绿色(G)。

132/198

1.4.1 彩色表示空间与转换

model)是用来精确标定和 生成各种颜色的一套规则和定义 ? 几种常见的色彩模型
? 色彩模型(color
?RGB颜色模型

?CMYK颜色模型
?XYZ颜色空间 ?Lab颜色空间

?HSB颜色空间
?YUV

/YIQ颜色空间

133/198

1.4.1 彩色表示空间与转换
? RGB颜色模型
?采用红、绿和蓝3种基色来匹配所有颜色的模型

称为RGB颜色模型。国际照明委员会将3种单色 光的波长分别定义为红色(700nm)、绿色 (546.1nm)和蓝色(453.8nm)。根据3基色 原理,任意一种颜色可以由下式匹配: C=rR+gG+bB 式中的系数r、g和b分别为3基色红、绿和蓝的 比例系数。当r=g=b时,颜色C为标准的白色。

134/198

1.4.1 彩色表示空间与转换
? CMYK颜色模型
?与RGB颜色模型不同,以红、绿、蓝的补色青

(Cyan)、品红(Magenta)、黄(yellow)为原色 构成的CMY颜色系统,常用于从白光中滤去某种 颜色,故称为减性原色系统。 ?印刷术中还加入了黑色(blacK),由于B已经用 于表示蓝色,所以使用K表示黑色,因此CMY演 变为CMYK颜色模型。

135/198

1.4.1 彩色表示空间与转换
? XYZ颜色空间
?用三个理想的原色来代替实际的三原色,将原

RGB系统中r、g、b均变为正值。这三种颜色被 命名为X、Y、Z。因此,对任一颜色C有 C=xX+yY+zZ 并且x+y+z=1,x、y、z均大于0。这样的颜色空 间称为XYZ颜色空间,它和RGB颜色空间有如下 的换算关系: X=0.490R+0.310G+0.20B Y=0.177R+0.812G+0.011B Z=0.010G+0.990B
136/198

1.4.1 彩色表示空间与转换
? Lab颜色空间
?1976年CIE推荐了新的颜色空间及其有关色差公

式,即CIE1976LAB(或Lab)系统,它适用于 一切光源色或物体色的表示与计算。 ?Lab颜色空间既不依赖光线,也不依赖于颜料, 它是一个理论上包括了人眼可以看见的所有色彩 的色彩模式。 ?Lab颜色空间由三个量组成:一个是亮度,即L, 其值从0(黑)到100(白);另外两个是色彩, 用A和B来表示,其值从0(无色)到10。A代表红绿轴,B代表黄-蓝轴。

137/198

1.4.1 彩色表示空间与转换
? HSB(HSI)颜色空间
?从心理学的角度出发,基于人类对色彩的感觉,

使用在本章第一节描述颜色的三个基本特征—— 色调H、饱和度S和亮度B(I)可以构造出HSB颜 色空间。HSB颜色空间便是基于人对颜色的心里 感受的一种颜色模式。
?它可由底与底对接的两个圆锥体立体模型来表示。

其中,轴向表示亮度,自上而下由白变黑;径向 表示色饱和度,自内向外逐渐变高;而圆周方向, 则表示色调的变化,形成色环。

138/198

1.4.1 彩色表示空间与转换
? YUV颜色空间
?研究表明,人的视觉对亮度细节的敏感程度远大

于对颜色细节的敏感程度,因此RGB体制并不适 合人类的视觉特征。为此,在彩色电视系统中不 采用RGB彩色空间,而采用YUV彩色空间,即不 是传送红、绿、蓝三个基色分量,而是传送一个 亮度分量和两个色差分量 ?电视系统中常用的颜色模式,为满足兼容黑白电 视的要求,需将表示亮度和色彩的信号分离开, 黑白电视或电视台只处理亮度信号,略去彩色信 号,这就产生了YUV /YIQ色彩模型。其中 Y表 示亮度,U、V 表示色差
139/198

1.4.1 彩色表示空间与转换
? YUV颜色空间
?YUV颜色空间与RGB颜色空间的转换关系如下

:

0.11 ? ? R ? ? Y ? ? 0.30 0.59 ?U ? ? ? ?0.15 ?0.29 0.44 ? ?G ? ? ? ? ?? ? ?V ? ? 0.61 ?0.52 ?0.096 ? ? B ? ? ? ? ?? ?

140/198

1.4.1 彩色表示空间与转换
? YIQ颜色空间
?这是NTSC制彩色电视机使用的彩色分量格式,

它是利用人眼分辨红、黄之间颜色变化能力强, 而分辨蓝与紫之间颜色变化弱的特点而设计的。 Y仍代表亮度信号,I代表人眼敏感的色彩的色差 信号(又称敏感色轴),Q代表人眼不敏感的色 彩的色差信号 ?YIQ颜色空间与RGB颜色空间的转换关系如下:

Y=0.299R+0.587G+0.114B I =Vcos330 – Usin330 Q=Vsin330 + Usin330
141/198

1.4.1 彩色表示空间与转换
? 视觉特性
?时间特性:视觉暂留,1/20~1/10秒,25~30

帧 ? 注视点和视野范围
? 注视点在黑白交界处、拐角处、特别不规则之地 ? 人的视野:左右180°,上下60°

142/198

资料:立体视觉
? 立体视觉
?人眼同时看到两幅图像:左、右眼各一幅 ?视差:物体在视网膜上投影的两点间的水平距离

左眼图像
视差距离

右眼图像

零视差
143/198

正视差 发散视差 负视差

资料:立体视觉
? 立体画
?E=MC2

144/198

资料:立体视觉
? 立体画

145/198

1.4.2 视觉媒体及其主要技术参数
? 图像数字化
?计算机是用数字记录信息的,不能记录这无穷的

点和无穷的颜色。所以计算机处理图像的第一步 是要把无穷用有限来近似,这就是图像的数字化

146/198

1.4.2 视觉媒体及其主要技术参数
? 图像数字化
?采样
? 采样就是把一幅连续图像在空间上分割成M×N个

网格,每个网格用一个亮度值来表示
?量化
? 把采样点上对应的连续亮度值转换为有限个特定

数的过程,称之为量化
?编码
? 将量化后数值存储为二进制数就是编码

147/198

1.4.2 视觉媒体及其主要技术参数
? 图像数字化

148/198

1.4.2 视觉媒体及其主要技术参数
? 图像数字化
?图像分辨率(Image

resolution)

? 图像分辨率是组成一幅图像的点数,用组成图像

的“行数×列数”表示。
?像素深度(Pixel

Depth)

? 也称图像的位深度,是指描述图像中每个像素所

占的二进制位数。
?颜色数
? 位深度决定了图像能够表示的颜色数。

?DPI(dot

per inch)

? 每英寸长度上分布的点数
149/198

1.4.2 视觉媒体及其主要技术参数
? 视觉媒体是指通过视觉传递信息的媒体 ?

视觉媒体的分类
? ?

?
? ?

点阵图像:位图。分二值、灰度(彩色)两类 矢量图形:抽象化的图像 动态图像:分视频、动画、三维动画等 符号:人类对信息进行抽象的结果 其他:别类信息可转为视觉形式
? 音乐——乐谱,数值——曲线图

150/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?人类视觉系统感知的信息形式,图与像的总称 ?点阵图是指在空间和亮度上已经离散化了的图像。

可以把点阵图考虑为一个矩阵,矩阵中的每一个 元素对应于图像中的一个点,而元素的值则对应 于该点经量化后得到的灰度(或颜色)等级。这 个矩阵中的元素就称为像素

151/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像

二值图像:灰度(颜色)仅两个等级 ? 灰度图像 ? 彩色图像 ? 灰度等级越高,图像越逼真
?

152/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?二值图像

153/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?256级灰度图像

154/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?256色彩色图像

256色图像

155/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?

分辨率:水平、垂直方向像素个数
? 屏幕分辨率:显示器屏幕上的最大显示区域,即

水平与垂直方向的像素个数,即显示器屏幕像素 个数,如800×600 ? 图像分辨率:数字化图像的大小,即该图像的水 平与垂直方向的像素个数,即一幅图像像素个数 ? 像素分辨率:一个像素的长、宽比,一般为1:1

156/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?颜色深度:每个像素的颜色量化为二进制后所占

的位数,单位:bpp(bits per pixel)
? R,G,B:三原色,基色 ? 1bpp:黑、白——单色图像

? 16bpp:增强色,R,G,B各取5bpp
? 24bpp:真彩,R,G,B各取8bpp

?计算机的彩色显示器的输入需要R、G、B(红、

绿、蓝)三个彩色分量(基色),各基色的取值 范围为0~255,因此真彩色图像一般为24bpp, 每个基色各取8bpp
157/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?颜色深度与可用颜色数目

颜色深度 颜色总数 1 2

图像名称 单色图像

4
8

16
256

16 色图像
256 色(伪彩色)图像

16
24
158/198

32768
16672216

16位色(增强色) 图像

真彩色 图像

1.4.2 视觉媒体及其主要技术参数
? 点阵图像的数据量
?所占存储空间 ?计算公式:

B=(h×w ×c)/8 h:垂直像素数 w:水平像素数 c:图像深度 例:640 ×480 24位图像深度的图像占 B = (640×480×24)/8 = 921600 Byte

159/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?调色板:颜色查找表
? 真彩色可覆盖人眼能区分的色彩,但24bpp图像

空间大,而且人眼不能同时区分16M种颜色
? 因此可以通过降低颜色深度来减少数据量,如

8bpp,16bpp,但又不够表示16M种颜色

160/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?调色板:颜色查找表
? 通过构造一个颜色查找表,在表中存放图像所用

的颜色,对应每一种颜色有一个序号,经颜色查 找表以较少的像素颜色位数变换映射到显示器就 可以表示较大的色彩空间。这样的颜色查找表就 称为调色板
? 调色板中的颜色数取决于颜色深度,当颜色深度

取8 bpp时,调色板对应256种颜色,当图像中的 像素颜色在调色板中不存在时,一般用相近的颜 色代替,这种替代对人眼来讲几乎察觉不出来

161/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?调色板——一个8位调色板示例

索引值
0

24位真彩色值
(0,0,0)

1
2

(20,100.100)
(191,81,106)


...
255
162/198

(225,225,225)

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?半色调和色彩抖动:一个2×2点阵的区域可以使

用表现出5种颜色等级。

163/198

1.4.2 视觉媒体及其主要技术参数
? 点阵图像
?半色调和色彩抖动

256色原始图像

素材演示

16色半色调图像

16色无半色调图像

164/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图形
?矢量图是以指令集合的形式描述的。这些指令描

述一幅图中所包含的各图元的位臵、大小、形状 和其他一些特性,也可以用更为复杂的形式表示 图像中曲面、光照、材质等效果。在计算机显示 器上显示一幅图形时,首先由专用的软件来读取 并解释这些指令,然后将它们转换成屏幕上显示 的形状和颜色,最后通过使用实心的或者有深浅 等级的单色或彩色填充一些区域而形成图形

165/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图形

抽象化的图像 ? 矢量图以指令集合的形式描述
?
? 圆 (圆心坐标、半径、颜色) ? 直线(起始点、终止点、颜色)

素材演示

166/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图形
?图形一般分为二维图形和三维图形两大类。二维

图形是平面的,其变换都在二维空间中进行。三 维图形则要进行三维空间的显示与变换。普通的 三维图形只是在三维空间对线条、或简单曲面进 行变换显示,若再增加光照、质材等效果,使其 尽可能逼近真实图形效果,就成为真实感图形。 显然,三维图形及其真实感图形的生成需要更多 的计算时间和存储空间

167/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图形
?图形是对图像进行抽象的结果

,抽象的过程称 为矢量化。矢量化的结果,图形文件中只记录生 成图的算法和图上的某些特征点,而不是实际画 面或对应得数字形式。 ?图形需要存储的空间与点阵图象相比要小的多。
?图形的矢量化便于对图中的各部分进行控制,如

对图象进行移动、缩放、旋转叠加和扭曲等变换。
?矢量图形的产生需要计算时间。图形越复杂,要

求越高,所需时间也就越多
168/198

1.4.2 视觉媒体及其主要技术参数
?

矢量图形
?

图像的矢量化
? 人工 ? 机器

占用空间小,只需描述对象的形状 ? 编辑方便,但对人物、风景不便 ? 矢量图产生的计算时间长
?

169/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图与位图比较
?矢量图,即图形,在数学上定义为一系列由线连

接的点。
? 优点:图形文件占用空间较少。 ? 缺点:图形复杂时,耗时相对较长。

?位图图像,亦称为点阵图像或绘制图像,是由称

作像素的单个点组成的。
? 优点:色彩和色调变化丰富,景物逼真。 ? 缺点:缩放等处理后易失真,数据量大。

170/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图与位图比较

素材演示
171/198

1.4.2 视觉媒体及其主要技术参数
? 矢量图与位图比较
?基本元素
? 图像:像素
? 图形:图元,即图形指令

?显示过程
? 图像:像素顺序,与内容无关
? 图形:按图元的顺序

?编辑
? 图像:缩放后失真;只能对像素处理
? 图形:缩放后不失真;对图元单独处理

?图形是对图像的抽象,会损失信息
172/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像
?视觉暂留形成动态

?视觉暂留现象

?人眼具有一种视觉暂留的生物现象,即人

观察的物体消失后,物体映像在人眼的视 网膜上会保留一个非常短暂的时间(0.10.2s) ?利用这一现象,将一系列画面中物体移动 或形状改变很小的图像,以足够快的速度 (24-30 f/s)连续播放,人就会感觉画面变 成了连续活动的场景
173/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像
?视觉的时间域响应特性
? 让观察者观察按时间重复的亮度脉冲,如果闪烁

频率比较低,人眼就有一亮一暗的感觉。如果闪 烁频率足够高,人眼看到的则是一个恒定的亮点
? 闪烁感刚好消失的重复频率叫做临界闪烁频率,

经测定为46HZ ? 心理视觉研究表明如果场频大于50次/秒,人眼就 感觉不到闪烁

174/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像
?动态图像,也叫活动图像,它与电影电视原理是

一样,都是利用人眼的视觉暂留现象,将足够多 的画面___帧连续播放,只要能够达到每秒20帧 以上,人的眼睛就觉察不出来画面之间的不连续 性,成为连续的动态画面

175/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——主要特性
?动态图像具有时间连续性适合表示事件的“过

程”,且具有更加丰富的的信息内涵和更强、更 生动、更自然的表现力 ?动态图像的实时性更强 ?动态图像的数据量更大 ?动态图像的帧与帧之间具有很强的相关性

176/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——主要技术参数
?帧速:单位时间内更换的画面——帧数,理想情

况下为每秒24至30帧
?图像质量:取决于原始数据质量和压缩倍数,压

缩后质量下降
?数据量:在不压缩的情况下,动态图像每秒的数

据量等于帧速乘以每幅图像的数据量。为降低数 据量,可通过压缩、减低帧速、缩小画面尺寸等 方法

177/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——动画
?由一系列静止画面按一定的顺序排列而成,并以

一定速度连续播放得到的连续画面 ?按画面形成的规则和形式,动画可以分为:
? 过程动画:根据指令进行的动画,这些指令也称

为脚本。动画中运动的主体称为角色,角色按指定 的路径进行运动
? 运动动画:根据物体运动所遵循的物理规律进行

的动画
? 变形动画:通过连续的彩色插值和路径变换,将

一幅画面渐变为另一幅画面形成的动画
178/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——动画
?动画的实现技术
? 帧动画:也称全屏动画或页动画。事先建立并存

储许多全屏画面,播放时将这些帧画面按适当的 顺序和速度拷贝到屏幕上,以产生动画效果
? 位块动画:也称为块图形动画。它仅对屏幕的一

小块进行操作,其特点是速度快

179/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——动画
?动画的实现技术
? 实时动画:帧动画和位块动画都是在播放前将动

素材演示

画中的画面绘制并存储。而在实时动画中,计算 机的CPU交替进行画面的建立和显示,它需要两 个画面页缓冲区,当CPU在屏幕上显示一个画面 缓冲区内容的同时,在另一个画面缓冲区中绘制 下一幅画面 ? 调色板动画:也称色彩循环动画。该方法的特点 是静态的,即屏幕上显示的画面不变,而是通过 不断改变调色板的颜色值,使屏幕上画面的颜色 不断地变化,从而产生动画的效果
180/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——视频
?影像视频,简称视频,与动画一样,也是由连续

的的画面组成,只不过每帧画面是实时摄取的自 然景象或活动对象
?视频的许多概念来自电视,现有三种广播电视制

式:
? NTSC:每秒30帧,每帧525行,YIQ彩色空间 ? PAL:每秒25帧,每帧625行,YUV彩色空间,

我国大陆地区采用此制式 ? SECAM,每秒30帧,每帧625行

181/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——视频
?视频数字化

y 帧序列
11111111

t

像素点
x
182/198

00000000

图像量化(8位)

1.4.2 视觉媒体及其主要技术参数
? 动态图像——视频
?技术参数
? 分辨率 ? 帧速度 ? 数据量:与分辨率、帧数、颜色深度、色彩空间、

压缩质量等有关 ? 图像质量:不但原始数据源有关,还与颜色深度、 压缩算法及压缩倍数有关 ? 伴音:视像与伴音的同步

183/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——文本
?符号媒体是人类对信息进行抽象的结果。符号可

以表示数值,表示事物或事件,也可以表示语言。 符号媒体具有表达精度高、存储量小、结构性明 显等特点
?文本就是用得最多的一种符号媒体形式,是人类

创造出来用于记述信息的工具

184/198

1.4.2 视觉媒体及其主要技术参数
? 动态图像——文本
?文本的特点
? 文本是一种流结构形式,由具有上下文关系的字

符串组成。它与字符的结构样式有关,而与其形 式无关。如一段文本内容,不会因为改变了字体 而转变其含义
? 对文本的控制不会影响媒体信息本来的表达,如

排版形式的改变不会影响其本身的含义
? 文本显示的改变只是其属性的改变,并不影响其

本身的含义
? 对文本的处理应遵从文本内部的结构,如断词、

接尾、分段、章节安排等
185/198

1.4.3 视觉媒体常见文件格式
?

图形图像常见格式
图像:GIF,TIFF,BMP,JPG/JPEG ? 图形:3DS,DXF,PNG
?

? ?

动画常见格式
?

SWF
AVI

FLC
MOV

GIF
MPEG RM

视频常见格式
?

186/198

1.4.3 视觉媒体常见文件格式
?

图像常见格式
?GIF

格式:由CompuServe公司在1987年制定, 文件扩展名为.GIF。它支持64000像素的图像, 256到16M种颜色的调色板,是目前唯一使用 LZW压缩算法的文件格式,文件短小,下载速度 快。因此,大多数的图像软件都支持GIF文件,特 别适合于动画制作、网页制作以及演示文稿制作 等。GIF89a格式中可以将多幅图像放在一个文 件中,交错显示,形成动画。

187/198

1.4.3 视觉媒体常见文件格式
?

图像常见格式
?TIFF

格式:由Alaus和Microsoft公司为扫描仪 和桌面出版系统开发的图像文件格式,文件扩展 名为.TIF。TIFF文件是一种极其灵活易变的格 式,它支持多种压缩方法,特殊的图像控制函数 以及许多其它的特性 ?BMP 格式:是一种与设备无关的图像文件,是 Windows软件推荐使用的一种格式,文件扩展名 为.BMP。BMP文件采用位映射存储形式(即将图 像中的的每一个像素对应存储,一般不使用压缩), 支持黑白图像、16色和256色的伪彩色图像以及 RGB 真彩色图像
BMP素材演示
188/198

1.4.3 视觉媒体常见文件格式
?

图像常见格式
?JPG/JPEG

格式 :是一种静态图像压缩文件, 采用JPEG国际标准对图像进行压缩存储,在PC 机上十分流行,文件扩展名为.JPG或.JPEG,最 大特点是文件非常小,而且压缩比可调,但文件 显示较慢,图像边缘略有失真。它支持灰度图像、 RGB 真彩色图像和CMYK 真彩色图像。

189/198

1.4.3 视觉媒体常见文件格式
?

图像常见格式
?JPEG(exif)格式:1994年日本富士公司提供的

数码相机图像存储文件格式,采用JPEG格式, 但加入了日期、光圈、快门、闪光灯等拍照时相 机的参数信息数据。2002年3月推出了exif2.2 版本。 ?RAW格式:单纯将数码相机内部没有经过任何 处理的图像数据,即CCD等感光元件直接感光得 到的电信号进行数字化处理而得到的一种文件, 一般在高档数码相机中支持,存储量大。
exif素材演示
190/198

1.4.3 视觉媒体常见文件格式
?

动画常见格式
?FLIC

格式:早期版本的FLIC文件只支持 320×200×256 色模式,文件的扩展名为.FLI。 较新版本支持的分辨率和颜色数都有所提高,文 件的扩展名也改为.FLC。它使用了无损压缩方法, 画面效果十分清晰,但本身不能存储同步声音。 因此,在Windows下播放FLIC动画一般要用 Autodesk公司提供的MCI驱动和相应的播放程 序AAPlay,才能得到较好的播放效果
FLIC动画示例

191/198

1.4.3 视觉媒体常见文件格式
?

动画常见格式
?SWF格式:由MacroMedia公式制定,目前在互

联网上得到了广泛的应用。采用矢量图形系统以 及流式播放技术,可以边下载边播放,是目前最 流行的动画格式。可以有Flash软件制作,入门 门槛低,便于制作

SWF动画示例
192/198

1.4.3 视觉媒体常见文件格式
?

视频常见格式
?AVI

格式:有伴音的视频图像文件,它将视频 和音频信号混合交错地存储在一起。其文件扩展 名为.AVI,它采用了Intel公司的Indeo视频有损 压缩技术,有较高的压缩比,并且较好地解决了 音频信息与视频信息同步的问题。AVI文件主要 应用于多媒体光盘上,用来保存电影、电视等各 种视频信息。目前采用MPEG-4压缩算法压缩的 MP4文件也有很多采用了.avi扩展名
AVI示例

193/198

1.4.3 视觉媒体常见文件格式
?

视频常见格式
?MOV

格式:MOV视频图像文件起源于APPLE公 司的Macintosh计算机,其文件扩展名为.MOV, 它也采用了Intel公司的Indeo视频有损压缩技术, 以及视频与音频信息混排技术。现在在Windows 环境下用Quick Time for Windows也可播放此 类文件。许多数码相机可以录制此格式的视频, 如松下数码相机

MOV视频示例
194/198

1.4.3 视觉媒体常见文件格式
?

视频常见格式
?MPEG

格式:是多媒体计算机上的全屏幕运动视 频的标准文件格式,其文件扩展名是.MPG,它 是使用MPEG 方法进行压缩的全屏幕运动视频图 像。现在流行的VCD(采用MPEG-1算法)、DVD (采用MPEG-2算法)光盘就是采用这种格式进行 信息存储的,在播放时需要解压软件支持。许多 数码相机可以录制此格式的视频,如柯达数码相 机
MPEG-1示例 MPEG-2示例

195/198

1.4.3 视觉媒体常见文件格式
?

视频常见格式
?RM格式:是Real公司的视频文件格式,其文件

扩展名是.RM或.RMVB。压缩比高,是目前比较 流行的视频文件格式,MP5播放器就支持对该格 式视频的播放。

RM示例

196/198

1.4.3 视觉媒体常见文件格式
? 图像比较

宽度:271 高度:300 颜色:2 大小:9.9 KB
197/198

宽度:271 高度:300 颜色:4 大小:19.8 KB

1.4.3 视觉媒体常见文件格式
? 图像比较

宽度:271 高度:300 颜色:256 大小:79.4 KB
198/198

宽度:271 高度:300 颜色:真彩色 大小:238.2 KB

1.2.3 多媒体数据的特点

199/198

1.2.3 多媒体数据的特点

200/198


更多相关文档:

什么是多媒体技术?多媒体技术的特点是什么?多媒体技术的

什么是多媒体技术?多媒体技术的特点是什么?多媒体技术的_其它考试_资格考试/认证_教育专区。今日推荐 157份文档 2015国家公务员考试备战攻略 ...

教案-《多媒体技术》

多媒体技术及其应用.电子工业出版社.2006 年 1 月 吴玲达等.多媒体技术.北京.电子工业出版社.2005 年 5 月 胡晓峰等.多媒体技术教程.人民邮电出版社.2003 年 ...

多媒体技术定义

多媒体技术定义_电脑基础知识_IT/计算机_专业资料。多媒体技术概念介绍。多媒体技术定义 多媒体技术(Multimedia Technology)是利用计算机对文本、图形、 图像、声音、动...

什么是多媒体技术

什么是多媒体技术 多媒体技术是可以将文本、图形、 图像、 音频、 视频等多媒体信息, 经过计算机设备的获取、 操作、编辑。存储等综合处理后,以单独或合成的形式...

多媒体技术知识点总结(考试突击必备)

为基础,能够对多种媒体信息进行采集、编码、存储、传输、处理和表现,综合处理多 种媒体信息并使之建立起有机的逻辑联系,集成为一个系统并能具有良好交互性的技术...

多媒体技术题库

4页 2财富值 多媒体技术培训试题库 22页 免费如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 ...

多媒体技术有以下几个主要特点

多媒体技术有以下几个主要特点。多媒体技术有以下几个主要特点: (1)集成性 能够对信息进行多通道统一获取、存储、组织与合成。 (2)控制性 多媒体技术是以计算机...

多媒体技术

多媒体技术要求各种媒体都必须数字化。 3.下列关于多媒体技术主要特征描述正确的是:( ) ①多媒体技术要求各种信息媒体必须要数字化 ②多媒体技术要求对文本,声音,...

浅谈多媒体技术的发展及应用

浅谈多媒体技术的发展及应用摘要随着现代信息科技的高速发展,信息的传输、信息处理和信息的存储机及共 享已成为经济社会发展进步的关键因素, 多媒体技术的产生适应了...

多媒体技术的发展趋势

多媒体技术的发展趋势_信息与通信_工程科技_专业资料。多媒体技术的发展趋势 多媒体技术的发展趋势多媒体技术是当今信息技术领域发展最快、最活跃的技术,是新 一代...
更多相关标签:
多媒体 | 多媒体技术应用 | 多媒体技术及应用 | 多媒体教室软件 | 多媒体教学录播系统 | 多媒体教学机 | 多媒体技术的应用 | 什么是多媒体技术 |
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com