当前位置:首页 >> 高中教育 >> 数字语音处理及MATLAB仿真.rar 第九章

数字语音处理及MATLAB仿真.rar 第九章


数字语音处理及MATLAB仿真 张雪英编著

第九章 语音合成
1 2 3 4 5 6

9.1 概述 9.2 语音合成的原理及分类

9.3 共振峰合成法
9.4 线性预测参数合成法 9.5 基音同步叠加法 9.6 文语转换系统
1

数字语音处理及MATLAB仿真

张雪英编著

9.1 概述
语音合成是人机语声通信的一个重要组成部分, 解决让机器像人那样说话的问题。
最早的合成器是1835年由W.von Kempelen发 明,经Weston改进的机械式会讲话的机器。而最 早的电子式语音合成器也是1939年Homer Dudley 发明的声码器,它不是简单的模拟人的生理过程, 而是通过电子线路来实现基于语音产生的源-滤波 器理论。

2

数字语音处理及MATLAB仿真 张雪英编著

在语音合成技术发展中,早期研究主要是采 用参数合成方法。 1990年提出的基音同步叠加PSOLA方法,使 基于时域波形拼接方法合成的语音音色和自然度 大大提高。 我国的汉语语音合成研究从80年代初就基本 上与国际研究同步发展。大致也经历了共振峰合 成、LPC合成到应用PSOLA技术的过程。

3

数字语音处理及MATLAB仿真 张雪英编著

9.2 语音合成的原理及分类
9.2.1 波形合成法
波形编码合成法是一种波形合成法,类似于语 音编码中的波形编解码方法,该方法直接把要合成 的语音的发音波形进行存储或者进行波形编码压缩 后存储,合成重放时再解码组合输出。 特点:所需的存储容量太大,词汇量不能很大; 相对简单,通常只能合成有限词汇的语音段。目前 用于自动报时、报站和报警等。

4

数字语音处理及MATLAB仿真 张雪英编著

另一种波形合成法是波形编辑合成,它把波形 编辑技术用于语音合成,通过选取音库中采取自然 语言的合成单元的波形,对这些波形进行编辑拼接 后输出。它采用语音编码技术,存储适当的语音基 元,合成时,经解码、波形编辑拼接、平滑处理等 输出所需的短语、语句或段落。

5

数字语音处理及MATLAB仿真 张雪英编著

9.2.2 参数合成法
参数合成法也称为分析合成法。
参数合成法有:发音器官参数合成和声道模型 参数合成。 发音器官参数合成法: 是对人的发音过程直接进行模拟。它定义了唇、 舌、声带的相关参数,如唇开口度、舌高度、舌位 置、声带张力等,由发音参数估计声道截面积函数, 进而计算声波。 缺点:合成语音的质量不理想。
6

数字语音处理及MATLAB仿真 张雪英编著

参数合成方法的优点:音库一般较小,并且整 个系统能适应的韵律特征的范围较宽,这类合成器 比特率低,音质适中。 缺点:算法复杂,参数多,并且在压缩比较大 时,信息丢失亦大,合成出的语音总是不够自然、 清晰。

为了改善音质,近几年发展了混合编码技术, 以改善激励信号的质量。

7

数字语音处理及MATLAB仿真 张雪英编著

9.2.3 规则合成法
规则合成方法:一种高级的合成方法,通过 语音学规则产生语音,可以合成无限词汇的语句。 合成的词汇表不是事先确定,系统中存储的是最 小的语音单位的声学参数,以及由音素组成音节、 由音节组成词、由词组成句子和控制音调、轻重 音等韵律的各种规则。 算法中,用于波形拼接和韵律控制的较有代 表性的算法是基音同步叠加PSOLA技术。

8

数字语音处理及MATLAB仿真 张雪英编著

9.2.3 规则合成法
基音同步叠加PSOLA技术主要特点:

在语音波形片断拼接之前,首先根据语义,用 PSOLA算法对拼接单元的韵律特征进行调整,使 合成波形既保持了原始语音基元的主要音段特征, 又使拼接单元的韵律特征符合语义,从而获得很高 的可懂度和自然度。

9

数字语音处理及MATLAB仿真 张雪英编著

表9.1 三种语音合成方式的比较
项目 波形合成方式 参数合成方式 按规则合成方式

语音 质量

可懂度
自然度


高 小(500字以下)


中 大(数千字)


低 无限

词汇量

合成方法
数码率 1兆比特可合成 的语音长度 合成基元 装置

PCM,ADPCM
9.6~64kbit/s 15秒~100秒

LPC,LSP,共振峰
2.4~9.6 kbit/s 100秒~7分

LPC,LSP共振峰
50~75 kbit/s 无限

音节、词组、句 音素、双音素、音 音节、词组、句子 子 节 简单 比较复杂 复杂

硬件主体

存储器

存储器和处理器

处理器

10

数字语音处理及MATLAB仿真 张雪英编著

9.3 共振峰合成法
共振峰合成理论中声道参数、声道谐振特性 一直是研究的重点。 共振峰合成模型是把声道视为一个谐振腔, 利用腔体的谐振特性,如共振峰频率及带宽,以 此为参数构成一个共振峰滤波器。因为音色各异 的语音有不同的共振峰模式,以每个共振峰频率 及其宽带为参数,可以构成一个共振峰滤波器。

11

数字语音处理及MATLAB仿真 张雪英编著

9.3 共振峰合成法
共振峰语音合成器的构成原理: 将多个共振峰滤波器组合起来模拟声道的传 输特性,对激励声源发生的信号进行调制,经过 辐射得到合成语音。 基于共振峰的理论有三种实用模型。

12

数字语音处理及MATLAB仿真 张雪英编著

9.3.1

级联型共振峰模型

在该模型中,声道被认为是一组串联的二阶谐 振器,共振峰滤波器首尾相接,其传递函数为各个共 振峰的传递函数相乘的结果。

13

数字语音处理及MATLAB仿真 张雪英编著

五个极点的共振峰级联模型传递函数为:
? (z) ?
1?
5

G

?

10

ak z

?k

k ?1

即:

? (z) ? G ? ? ? i (z) ? G ? ?
i ?1 i ?1

5

1 1 ? bi z
?1

? ci z

?2

式中,G为增益因子。 一个五个极点的共振峰级联模型如下
激励源
G V1 V2 ---- V5

辐射模型 语音

图9.2 共振峰级联模型
14

数字语音处理及MATLAB仿真 张雪英编著

9.3.2 并联型共振峰模型
在并联型模型中,输入信号先分别进行幅度 调节,再加到每一个共振峰滤波器上,然后将各 路的输出叠加起来。
其传递函数为:

?
v( z) ? 1?

R

br z

?r

r ?0 p

?

ak z

?k

k ?1

15

数字语音处理及MATLAB仿真 张雪英编著

?
v( z) ? 1?

R

br z

?r

r ?0 p

?

ak z

?k

k ?1

上式可分解成以下部分分式之和:
? (z) ?

? 1? B z
l ?1 l

M

Al
?1

? Cl z

?2

其中Al为各路的增益因子。

16

数字语音处理及MATLAB仿真 张雪英编著

下图就是一个M=5的并联型共振峰模型。
?1

A1

激励源

A2
A5

?2 ?5

+

辐射模型

语音

图9.3 并联型共振峰模型

17

数字语音处理及MATLAB仿真 张雪英编著

9.3.3 混合型共振峰模型
比较以上两种模型,对于大多数的元音,级 联型合乎语音产生的声学理论,并且无需为每一 个滤波器分设幅度调节;而对于大多数清擦音和 塞音,并联型则比较合适,但是其幅度调节很复 杂。于是考虑将两者结合在一起,提出了混和型 共振峰模型。

18

数字语音处理及MATLAB仿真 张雪英编著

混和型共振峰模型如下图所示:

图9.4

混和型共振峰模型

19

数字语音处理及MATLAB仿真 张雪英编著

对于共振峰合成器的激励,简单地将其分为浊 音和清音两种类型是有缺陷的,为了得到高质量的 合成语音,激励源应具备多种选择,以适应不同的 发音情况。 混和型共振峰模型中激励源有三种类型:合成 浊音语音时用周期冲激序列;合成清音语音时用伪 随机噪声;合成浊擦音语音时用周期冲激调制的噪 声。

20

数字语音处理及MATLAB仿真 张雪英编著

共振峰合成技术弱点:

(1)由于它是建立在对声道的模拟上,因此,声道 模型的不精确势必会影响其合成质量。
(2)实际工作中共振峰模型并不能表征影响语音自 然度的其他许多细微的语音成分,从而影响了合成 语音的自然度。

(3)共振峰合成器控制十分复杂,实现起来十分困 难。

21

数字语音处理及MATLAB仿真 张雪英编著

9.4 线性预测参数合成法
是一种“源滤波器”模型,由白噪声序列和周 期脉冲序列构成的激励信号,经过选通、放大并通 过时变数字滤波器,就可以再获得原语音信号。

图9.5 LPC语音合成器的框图
22

数字语音处理及MATLAB仿真 张雪英编著

线性预测合成的形式有两种:一种是直接用预 测器系数构成的递归型合成滤波器,用这种方法定 期地改变激励参数u(n)和预测系数,就能合成出语 音。它合成的语音样本由下式决定:
s(n) ?

? a s ( n ? i ) ? Gu ( n )
i i ?1

p

其中:ai为预测系数;G为模型增益;u(n)为激励; 合成样本为s(n);p为预测器阶数。

23

数字语音处理及MATLAB仿真 张雪英编著

基音周期 冲激序列发生器

浊 音 /清 音 控制
G

白噪声发生器

u (n )

Z

?1

a1
Z
?1

a p?i
Z
?1

ap

图9.6 直接用预测器系数ai构成的合成滤波器

24

数字语音处理及MATLAB仿真 张雪英编著

另一种合成的形式是采用反射系数构成的格型 合成滤波器。它的合成语音样本由下式决定:
s(n) ? G u (n) ?

?kb
i i ?1

p

i ?1

( n ? 1)

其中:G为模型增益;u(n)为激励;ki为反射系数; bi(n)为后向预测误差;p为预测器阶数。

25

数字语音处理及MATLAB仿真 张雪英编著

LPC语音合成和共振峰语音合成比较:
(1)LPC语音合成有比较简单和完全自动的分析 步骤,合成器结构也比较简单,采用格形滤波器时, 量化特性和稳定性都比较好,硬件实现容易;而共 振峰合成需要较多的参数调整,合成器结构相对讲 要复杂些。 (2)共振峰合成原理和实际发声原理联系紧密, 它的模型控制参数对合成语音谱特性的影响比较直 观。LPC合成中,控制LPC系数的变化轨迹十分有 限。

26

数字语音处理及MATLAB仿真 张雪英编著

(3)共振峰语音合成比较灵活,允许简单地变换以 模仿不同人的发音,通过共振峰频率的移动,容易 改变语声中和讲话人特征有关的部分;LPC合成较 困难,只有将LPC的反射系数转变成极点的位置, 才有可能作类似的修正。 (4)线性预测方法对谱包络谷点的模型要比峰点差 得多,因此共振峰带宽的估计一般是不合适的;共 振峰合成方法中,共振峰的带宽还可以从离散傅里 叶变换谱来估计。

27

数字语音处理及MATLAB仿真 张雪英编著

(5)标准LPC的全极点模型,对具有零点谱特性的 那些音,特别是鼻音,效果比较差;共振峰合成方 法则可以采用反谐振器来直接模拟鼻音中最重要的 频谱零点,使得合成语音音质得以提高。
(6)从总体上说,选择LPC语音合成还是共振峰合 成,基于二个因素的折衷;LPC合成具有简单,可 自动进行系数分析的优点;而比较复杂的共振峰合 成可望产生较高质量的合成语音。

28

数字语音处理及MATLAB仿真 张雪英编著

9.5 基音同步叠加法
基音同步叠加PSOLA算法核心思想:直接对 存储于音库中的语音运用PSOLA算法进行拼接, 从而整合成完整的语音。
该系统首先要在大量语音库中,选择最合适的 语音单元用于拼接,并且在选择语音单元的过程中 往往采用多种复杂的技术,最后在拼接时,使用 PSOLA算法,根据上下文的要求,对其合成语音 的韵律特征进行修改。

29

数字语音处理及MATLAB仿真 张雪英编著

由于韵律修改所针对的侧面不同,PSOLA算法 的实现目前有3种方式。分别为: 时域基音同步叠加TD-PSOLA

线性预测基音同步叠加LPC-PSOLA
频域基音同步叠加FD-PSOLA 其中TD-PSOLA算法计算效率较高,已被广泛应 用,是一种经典算法,这里只介绍TD-PSOLA算法原 理。

30

数字语音处理及MATLAB仿真 张雪英编著

9.5.1 基音同步叠加PSOLA算法原理
信号x(n)的短时傅里叶变换为:
X n (e
j?

)?

m ? ??

?

??

x ( m ) w ( n ? m )e

? j? m

n?Z

其中w(n)是长度为N的窗序列,Z表示全体整数集合。
是变量n和ω的二维时频函数,对于n的每个 取值都对应有一个连续的频谱函数,显然存在较大 的信息冗余,所以可以在时域每隔若干个(例如R 个)样本取一个频谱函数来重构原信号x(n)。
X n (e )
j?

31

数字语音处理及MATLAB仿真 张雪英编著

令:

Yr (e

j?

) ? X n (e
1 2?
? j?

j?

) | n ? rR

r, n ? Z

其傅里叶逆变换为:
yr (m ) ?

?

??

Yr ( e

)e

j? m

d?

m?Z

然后将 y
y (m ) ?
r ? ??

(e r

j?

)叠接相加便可得到:

?

?

yr (m ) ?

r ? ??

?

?

x ( m ) w ( rR ? m ) ? x ( m )

r ? ??

? w ( rR

?

? m)

m?Z

通常选w(n)是对称的窗函数,所以有 w(rR-n)=w(n-rR)

32

数字语音处理及MATLAB仿真 张雪英编著

可以证明,对于汉明窗来说,当时,无论m为 何值都有: W (e ) ? w ( rR ? m ) ? R
? j0 r ? ??

所以
y (n) ? x(n) ?

W (e R

j0

)

其中 W ( e j? )为w(n)的傅里叶变换。上式说明,用叠接 相加法重构的信号y(n)与原信号x(n)只相差一个常数 因子。

33

数字语音处理及MATLAB仿真 张雪英编著

这里采用原始信号谱与合成信号谱均方误差最小的 叠接相加合成公式。定义两信号x(n)和y(n)之间谱 距离测度:
D [ x ( n ), y ( n )] ?

?
tg

1 2?

??
?

?

| X t (e
m

j?

) ? Yt ( e
g

j?

) | d?
2

上式可改写为:
D [ x ( n ), y ( n )] ?

??
tg

?

{ w1 [ t m ? ( n ? t m )] x ( n ? t m ) ? w 2 [ t g ? ( n ? t g )] y ( n ? t g )} [ w1 ( n ? t g ) x ( n ? t g ? t m ) ? w 2 ( n ? t g ) y ( n )]
2

2

n ? ?? ?

?

??
tg

(9-14)

n ? ??

34

数字语音处理及MATLAB仿真 张雪英编著

要求合成信号y(n)满足谱距离最小,可以令:
? D [ x ( n ), y ( n )] ?y (n ) ?0

解得:

?w
y (n) ?
tg

1

(n ? tg ) w2 (n ? tg ) x (n ? tg ? tm )

?
tg

w2 (n ? tg )
2

窗函数w1(n)和w2(n)可以是两种不同的窗函数,长度 也可以不相等。上式就是在谱均方误差最小意义下的 时域基音同步叠接相加合成公式。

35

数字语音处理及MATLAB仿真 张雪英编著

实际合成时w1(n)和w2(n)可以用完全相同的窗, 分母可视为常数,而且可以加一个短时幅度因子 ?t 来调整短时能量,即:
g

??
y (n) ?
tg

tg

w1 ( t g ? n ) w 2 ( t g ? n ) x ( n ? t g ? t m )

?
tg

w 2 (t g ? n )
2

基音同步叠接相加法优点: 良好的韵律调整能力的; 缺点:基音频率修改过大时可能出现严重的谱 包络失真。
36

数字语音处理及MATLAB仿真 张雪英编著

9.5.2 基音同步叠加PSOLA算法实现步骤
概括起来说,用PSOLA算法实现语音合成时主 要有三个步骤。分别为基音同步分析、基音同步修 改和基音同步合成。下面介绍这三个步骤。

37

数字语音处理及MATLAB仿真 张雪英编著

1.基音同步分析 同步标记是与合成单元浊音段的基音保持同步 的一系列位置点,用它们来准确反映各基音周期的 起始位置。同步分析的功能主要是对语音合成单元 进行同步标记设置。PSOLA技术中,短时信号的 截取和叠加,时间长度的选择,均是依据同步标记 进行的。对于浊音段有基音周期,而清音段信号则 属于白噪声,所以这两种类型需要区别对待。

38

数字语音处理及MATLAB仿真 张雪英编著

2. 基音同步修改
同步修改通过对合成单元同步标记的插入、删 除来改变合成语音的时长;通过对合成单元标记间 隔的增加、减小来改变合成语音的基频等。 若短时分析信号为x(ta(s),n),短时合成信号为 x(ts(s),n),则有:
x ( t a ( s ), n ) ? x ( t s ( s ), n )

式中ta(s)为分析基音标记,ts(s)为合成基音标记。

39

数字语音处理及MATLAB仿真 张雪英编著

3. 基音同步合成
基音同步合成是利用短时合成信号进行叠加 合成。如果合成信号仅仅在时长上有变化,则增 加或减少相应的短时合成信号;如果是基频上有 变化,则首先将短时合成信号变换成符合要求的 短时合成信号再进行合成。

40

数字语音处理及MATLAB仿真 张雪英编著

图9.7 时域基频同步合成语音 a) 语音基频被降低 b) 语音被延长但基频保持不变

41

数字语音处理及MATLAB仿真 张雪英编著

9.6 文语转换系统
9.6.1 文语转换系统的组成
在文语转换系统中,必须事先对文本进行分 析,根据上下文的关系来确定每个字发音的声调应 如何变化,然后用这些声调变化参数去控制语音的 合成。

42

数字语音处理及MATLAB仿真 张雪英编著

9.6.1 文语转换系统的组成
文本分析、韵律控制和语音合成这三个模块是 文语转换系统的三个核心部分。其结构如下图所示:

图9.8 TTS系统基本框图
43

数字语音处理及MATLAB仿真 张雪英编著

1.文本分析
工作过程包括: ① 将输入的文本规范化,并处理用户可能的拼写 错误,将出现的不规范或无法发音的字符过滤掉; ② 分析文本中的词或短语的边界,确定文字的读 音,同时分析文本中出现的数字、姓氏、特殊字符 以及各种多音字的读音方式; ③ 确定发音时语气的变换及不同音的轻重方式。 最终,将输入的文字转换成计算机能够处理的内部 参数,便于后续模块进一步处理并生成相应的信息。
44

数字语音处理及MATLAB仿真 张雪英编著

2.韵律控制
任何人说话都有韵律特征,有不同的声调、 语气、停顿方式,发音长短也各不相同,这些都属 于韵律特征。而韵律参数则包括了能影响这些特征 的声学参数,如:基频、音长、音强等。最终系统 能够用来进行语音信号合成的具体韵律参数,还要 靠韵律控制模块。

3.语音合成
文语转换系统的合成语音模块一般采用波形 拼接来合成语音的方法,其中最具代表性的是前面 介绍过的基音同步叠加法PSOLA。
45

数字语音处理及MATLAB仿真 张雪英编著

9.6.2 汉语按规则合成
通过语音学规则产生语音,对于不同的语种, 其规则是完全不同的,这里仅讨论文语转换层次 上的汉语按规则合成中有关韵律规则的几个基本 问题。

46

数字语音处理及MATLAB仿真 张雪英编著

1.重音规则
汉语的重音,是指说话或朗读时读的比较重 的音节或词语。 汉语重音分为:词重音和句重音两大类。 词重音:指词的某个音节可分为重轻等级。 音长特征是区分这个等级的主要标志,轻声的 音长较短。另外一个重要的区分特征是声调域,轻 声的声调域缩小,这就使轻声字所需的能量减少, 但强度并不一定减弱。汉语重音的声学特征表现在 音域加宽、音程加大,气流加强。

47

数字语音处理及MATLAB仿真 张雪英编著

2.转接与音渡规则
转接与音渡是音素序列转变成语音流时的 动态变化规律。 在汉语发音中,存在两种基本的过渡,即辅 音与元音组合和元音与元音组合。前者出现在声 母和韵母的拼接过程中,称为“转接”;后者出 现在复合韵母内部,称为“音渡”。

48

数字语音处理及MATLAB仿真 张雪英编著

转接是指前一个辅音对其后元音共振峰的影 响。同一元音的共振峰特性受不同辅音的影响会 有很大的变化,表现出来的转接现象不同;反之, 同一辅音对不同元音的影响也是不同的。共振峰 的转接现象比较复杂,至今尚没找到普遍的规律。

49

数字语音处理及MATLAB仿真 张雪英编著

3.声调与变调规则
汉语是一种“声调语音”,在用汉语相互交 谈中,人们不但凭不同的声母、韵母(或元音,辅 音)来辨别字和词的意义,还需要从不同的声调来 区别它们,这就是“声调语音”的特点。

汉语的声调具有辨义的功能,它和辅音、元 音在语音的区别特征上同样重要。

50

数字语音处理及MATLAB仿真 张雪英编著

4.音长问题 音长也是语音的重要特征之一,对语音的可 懂度、自然度都有一定的影响。汉语中音长主要 体现在韵母的调型段长度上,调长和调型是密切 相关的,通常认为,上声音节最长,阴平、阳平 次之,去声最短。 除音长外,音节之间的间隙也对合成语音效 果有一定的影响,适当的间隙会使语言听起来更 为生动。

51


更多相关文档:

数字语音处理大作业

3 仿真实验及分析( 1 )由麦克风采集语音数据,将采集的数据存成 WAV 文件(...基于 MATLAB 谱减法语 音处理程序简单易懂,对深刻理解数字信号处理过程有一定的...

数字语音处理课程实验报告

数字语音处理课程实验报告_工学_高等教育_教育专区。数字语音处理 课程报告 语音...机录制自己的一段声音,运用 Matlab 进行仿真分析,最后加入噪声进行滤波处理,比 ...

数字语音处理

数字语音处理_信息与通信_工程科技_专业资料。数字语音处理MATLAB 上的降噪应用摘要 语音信号处理包括语音通信、语音增强、语音合成、语音识别 和说话人识别等方面...

数字语音处理

数字语音处理_计算机硬件及网络_IT/计算机_专业资料。《数字语音处理》期末大作业...可 用基于 MATLAB 程序实现能量与过零率的端点检测算法和两级判决法及程序实 ...

数字语音处理

数字语音处理及 MATLAB 仿真》 课程设计报告 院 系:电气与信息工程学院 通信工程 0902 班 13 齐泽建李晋 专业班级: 学姓号: 名: 指导教师: 二 012 年 5...

数字语音处理技术

图 2 采集的数字语音“3”的原始信号 2、语音信号分析 语音信号是一种典型的...MATLAB 仿真过程 3.2.1 语音信号预处理 语音信号的预处理包括预滤波、采样和...

数字语音信号的处理

它的应用和发展与语音学、声音测量学、电子测量技术以及数字信号处理等学科紧密...机录制自己的一段声音,运用 Matlab 进行仿真分析,最后加入噪声进行滤波处理,比 ...

数字语音处理课程设计

数字语音处理课程设计(论文)任务书 软件 学院 软件+信息工程 专业 07-1 班一...运用 MATLAB 或 Praat 对其进行仿真分析,然后设计滤波器 加入噪声进行滤波处理,...

数字语音信号处理实验(学生)

数字语音信号处理实验(学生)_工学_高等教育_教育专区。数字语音信号处理,学生实验讲义,附带源码程序。张雪英《数字语音信号处理及Matlab仿真》配套实验讲义数字...

语音检测实验

09第九章语音检测分析 23页 5财富值 Matlab语音信号处理 84页 20财富值 如何执行5S管理 9页 2财富值 数字语音处理及MATLAB仿真... 76页 2财富值 菜园里 22页...
更多相关标签:
matlab仿真 | matlab排队模型仿真 | 排队论仿真matlab代码 | 排队论的matlab仿真 | matlab 电路仿真 | matlab电力系统仿真 | matlab pid仿真 | matlab仿真教程 |
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com