本书简明地介绍了自适应信号处理和自适应滤波的主要概念, 在统一框架下对主要类型的自适应滤波算法进行了阐述。本书指导思想是揭示出自适应滤波的坚实理论基础, 第四版与第二版相比, 不仅包含了原书中关于自适应滤波的经典理论和非线性自适应滤波、 子带自适应滤波、 线性约束维纳滤波器、 LMS类算法、 RLS算法、 IIR算法、 仿射投影算法等内容, 还增加了数据选择性自适应滤波、 盲自适应滤波、 复信号自适应滤波、 卡尔曼滤波和集员仿射投影算法等全新内容和研究成果。本书符号表示清晰, 主要算法均以图表形式给出, 许多举例来源于实际问题。此外, 作者还根据教学需要和读者要求, 对原书部分内容进行了调整和优化, 对习题和参考文献进行了更新和补充。本书提供了大量的算法、 例题、 仿真结果、 参考文献以及所有算法的MATLAB实现, 以帮助读者深入理解书中内容, 快速解决问题并对算法进行验证和应用。
本书讲述自适应滤波及其算法与实现,内容
Paulo S. R. Diniz教授长期致力于自适应信号处理、模拟和数字信号处理、数字通信、无线通信、多采样率系统、随机过程、电子电路等领域的教学和研究工作,是国际上信号处理领域中的著名学者。他曾在巴西里约热内卢联合大学、美国圣母玛利亚大学、加拿大维多利亚大学、芬兰赫尔辛基大学等世界各地许多学术机构和研究院所进行讲学。
第1章 自适应滤波导论 1.1 引言 1.2 自适应信号处理 1.3 自适应算法简介 1.4 应用 参考文献 第2章 自适应滤波基础 2.1 引言 2.2 信号表示 2.2.1 确定性信号 2.2.2 随机信号 2.2.3 遍历性 2.3 相关矩阵 2.4 维纳滤波器 2.5 线性约束维纳滤波器 2.6 MSE曲面 2.7 偏差和一致性 2.8 牛顿算法 2.9 最陡下降算法 2.10 应用回顾 2.10.1 系统辨识 2.10.2 信号增强 2.10.3 信号预测 2.10.4 信道均衡 2.10.5 数字通信系统 2.11 小结 2.12 习题 参考文献 第3章 最小均方(LMS)算法 3.1 引言 3.2 LMS算法 3.3 LMS算法特性 3.3.1 梯度特性 3.3.2 系数向量的收敛特性 3.3.3 系数误差向量协方差矩阵 3.3.4 误差信号的特性 3.3.5 最小均方误差 3.3.6 超量均方误差和失调 3.3.7 瞬态特性 3.4 非平稳环境下LMS算法的特性 3.5 复数LMS算法 3.6 举例 3.6.1 分析举例 3.6.2 系统辨识仿真 3.6.3 信道均衡仿真 3.6.4 快速自适应仿真 3.6.5 线性约束LMS算法 3.7 小结 3.8 习题 参考文献 第4章 基于LMS准则的算法 4.1 引言 4.2 量化误差算法 4.2.1 符号误差算法 4.2.2 双符号算法 4.2.3 2的幂误差算法 4.2.4 符号数据算法 4.3 LMS牛顿算法 4.4 归一化LMS算法 4.5 变换域LMS算法 4.6 仿射投影算法 4.6.1 仿射投影算法的失调 4.6.2 非平稳环境下的算法特性 4.6.3 暂态特性 4.6.4 复数仿射投影算法 4.7 举例 4.7.1 分析举例 4.7.2 系统辨识仿真 4.7.3 信号增强仿真 4.7.4 信号预测仿真 4.8 小结 …… 第5章 常规RLS自适应滤波器 第6章 数据选择性自适应滤波 第7章 自适应格型RLS算法 第8章 快速横向RLS算法 第9章 基于QR分解的RLS滤波器 第10章 自适应IIR滤波器 第11章 非线性自适应滤波 第12章 子带自适应滤波器 第13章 盲自适应滤波 第14章 复数微分 第15章 LMS算法的量化效应 第16章 RLS算法的量化效应 第17章 卡尔曼滤波器 第18章 集员仿射投影算法分析 参考文献
译者序
自适应滤波理论是统计信号处理领域中的一个重要组成部分。对于时变未知环境下的信号处理问题,自适应滤波器比传统固定滤波器更优,并且拥有其他方法不具备的信号处理能力。因此,近50年来,自适应滤波理论在许多领域(如通信、控制、雷达、声呐、地震和生物医学工程等)获得了广泛应用。
本书作者PauloS.R.Diniz教授长期致力于自适应信号处理、模拟和数字信号处理、数字通信、无线通信、多采样率系统、随机过程、电子电路等领域的教学和研究工作,是国际上信号处理领域中的著名学者。他曾在巴西里约热内卢联邦大学、美国圣母玛丽亚大学、加拿大维多利亚大学、芬兰赫尔辛基理工大学等世界各地许多学术机构和研究院所进行讲学。他根据讲授自适应信号处理课程的讲稿,结合其多年从事教学工作积累的丰富经验和学生的需求,专门针对大学高年级本科生、研究生和从事实际工作的工程师撰写了本书。
本书与其他有关自适应滤波理论的著作相比,具有如下三个突出特点。
及时,本书适合于作为教材。作者在有限篇幅内系统精炼地阐明了自适应信号处理和自适应滤波的理论基础,深入探讨了大多数基本概念,给出了适当的例子,并对实际应用进行了讨论。为了避免直接给出推导结果又不至于内容重复,作者以统一的风格对算法进行了严格推导,便于在讲解不同算法时,不至于在符号和推导上花太多时间。因此,本书尤其适合于作为高年级本科生和研究生学习自适应信号处理和自适应滤波理论时的教材。
第二,本书重点介绍了便于有效实现的算法。在应用自适应滤波理论时常常面临一个问题,即在有限精度实现中,到底哪一个算法才能真正有效。因此,作者特别针对那些利用有限精度实现能真正有效的算法进行了重点讲解,对量化效应还单独进行了理论分析。这使学生能够通过学习,尝试自适应滤波器的实现和研究。对于从事实际工作的工程师和科技人员来说,这也是非常有益的。
第三,本书内容新颖独特。本书作者具有多年教学经验,他的许多观点都很有独创性。本书除了讨论自适应信号处理和自适应滤波的基本理论以外,还新增了数据选择性自适应滤波、盲自适应滤波、复信号自适应滤波、卡尔曼滤波和集员仿射投影算法等内容,以及近年来国际上的近期研究成果。
正因为如此,本书自及时版出版以来,就受到了读者的一致好评,现已作为世界上许多大学的教材。本书对于信号处理、通信工程、自动控制、电路与系统、智能系统等领域的科研人员以及其他对自适应滤波理论感兴趣的人来说都很有参考价值。
本书第1章至第7章及第18章由刘郁林教授翻译,第8章至第11章由万群教授翻译,第12章至第14章由王锐华高级工程师翻译,第15章至第17章由陈绍容副教授翻译。全书由刘郁林教授统稿审校,重庆通信学院的晁志超博士参与了译稿的整理工作。
尽管在翻译本书时对原著中的部分错误和不当之处进行了认真校对,但由于译者水平有限,书中难免存在疏漏和不当之处,恳请广大读者和专家批评指正。
前言
在过去30年中,数字信号处理领域取得了飞速发展,在许多大学的本科生和研究生教学计划中都包括了"数字信号处理"这门课程,这与不断出现的数字信号处理实现技术是密不可分的。数字信号处理技术的巨大发展,使得其中的某些研究方向已经独立出来,成为新的领域。如果可以得到待处理信号的信息,设计者就能很容易地选择最合适的算法来对信号进行处理。如果待处理信号的统计特性是未知的,采用固定算法就不能有效地处理信号。解决方法是采用自适应滤波器,这种滤波器可以通过其内部参数的化来自动改变其特征。自适应滤波算法在统计信号处理的许多应用中都是非常重要的。
40多年以来,自适应信号处理一直都是研究的热点。但是,直到20世纪80年代,其研究和应用才取得了重大进展。其原因有两点,一是实现工具不断实用化,二是出现的早期教材系统地对该问题进行了阐述。最近,在自适应滤波领域,新的研究成果仍然不断涌现出来,特别是针对一些具体应用。实际上,线性自适应滤波理论已经趋于成熟,以至于可以用一本教材对相应的不同方法进行统一阐述,并强调那些可以较好实现的算法。本书集中讨论了自适应算法。当可以得到环境中信号的一个新采样值时,算法就自适应地进行更新。本书还包括了只有在得到一个新的数据块时才自适应更新的所谓块算法,并用子带滤波框架对其进行了介绍。通常而言,块算法与在线算法相比,其实现所需的资源是不同的。本书还简单介绍了非线性自适应滤波和盲信号处理理论,作为前面章节中算法的自然拓展。对于这些基本知识的理解,是进一步深入研究这些领域的基础,它们在某些书籍中专门进行了详细讨论。
当我在里约热内卢联邦大学(FederalUniversityofRiodeJaneiro,UFRJ)研究生院讲授自适应信号处理课程时,就萌发了撰写本书的念头。学生们要求我尽可能多地讲授算法,这使我开始思考如何来组织这个主题,以便在讲解不同算法时,不至于花掉太多时间来改变符号和推导过程。另一个普遍存在的问题是,在有限精度实现中,到底哪一个算法才能真正有效。这些问题使我得出一个结论,就是可以写一本关于这个主题的新教材,并时刻记住这些目标。此外,考虑到大多数本科生和研究生的教学计划都包含自适应滤波这门课程,因此这本书也不应该太长。尽管当前这个版本不够短,但是前六章包含了该主题的核心内容。另一个需要实现的目标则是为从业的工程师提供了解有效算法的方便途径。
直到我在加拿大维多利亚大学(UniversityofVictoria)进行了一年半的休假以后,才真正开始写作本书。我利用业余时间开始慢慢进行写作。本书前面的部分章节是我在不同学校讲授自适应信号处理的短期课程时用过的,这些学校包括芬兰赫尔辛基理工大学(HelsinkiUniversityofTechnology,现已改名为AaltoUniversity),西班牙的MenendezPelayo大学以及加拿大维多利亚大学(维多利亚微型网络中心)。本书其他部分则是根据我在COPPE(里约热内卢联邦大学的研究生工程项目协调机构)为研究生讲授自适应信号处理课程时的讲稿修改而成的。
本书的指导思想是为读者提供坚实的理论基础,并避免直接给出推导结果和重复讲述某些内容。同时,我还力图将本书控制在适当的篇幅以内,而不会牺牲内容的清晰度,也不会省略某些重要的内容。本书的另一个目标是使读者达到可以尝试实现和开始进行研究的程度。在每章末尾都给出了许多参考文献,以帮助读者继续学习该部分内容。
本书的读者需要掌握数字信号处理和随机过程的一些基本原理,包括离散傅里叶变换和Z变换、FIR和IIR数字滤波器的实现、多速率系统、随机变量和随机过程、一阶和二阶统计量、矩以及随机信号的滤波等。如果读者具备这些方面的基础知识,我相信阅读本书是不成问题的。
本书第1章介绍自适应滤波的基本概念,并为后续章节给出的所有方法提供了一个统一的框架。本章还简单介绍了自适应滤波的一些典型应用。
在第2章中,回顾了离散随机过程的基本概念,特别强调了那些对分析自适应滤波算法来说有用的结果。另外,本章还给出了维纳滤波器,构建了平稳环境下的线性滤波器。第14章主要针对维纳解对复数微分概念进行了简要介绍。由于线性约束维纳滤波器在天线阵信号处理中得到了广泛应用,第2章也对其进行了讨论。本章给出了将约束最小化问题转化为非约束最小化问题的方法,然后介绍了均方误差曲面的概念(这是分析自适应滤波器的另一个有用的工具)。本章还简单介绍了经典的牛顿算法和最陡下降算法。由于应用这些算法需要掌握随机环境的完整知识,因此后续章节介绍的自适应滤波算法则可以应用。本章详细回顾了自适应滤波算法的实际应用,其中包括了一些具有闭式解的例子,以便正确解释在每个应用中期望呈现的算法特性。
第3章介绍了最小均方(Least-Mean-Square,LMS)算法,并在一定程度上对其进行了分析,讨论了该算法几个方面的特性(如在平稳和非平稳环境下的收敛性能等)。本章还包括了许多仿真举例,以说明LMS算法在不同情况下的性能。在第15章中,讨论了LMS算法用定点和浮点数实现时的量化效应问题。
第4章讨论了在某种意义上与LMS算法密切相关的一些算法,包括量化误差算法、LMS-牛顿算法、归一化LMS算法、变换域LMS算法以及仿射投影算法等。本章还讨论了这些算法的一些特性,重点对仿射投影算法进行了分析。
第5章介绍了常规递归最小二乘(RecursiveLeast-Squares,RLS)算法。该算法使某个确定性目标函数最小化,从这个意义上讲,它与最小均方(LMS)算法是不同的。与第3章的讨论方式相同,我们也对常规RLS算法几个方面的特性(如在平稳和非平稳环境下的收敛性能)进行了讨论,并给出了一些仿真结果。第16章也讨论了这种算法的稳定性问题,以及用定点和浮点数实现算法时存在的量化效应问题。除了量化效应问题以外,本章所给出的一些结果,对第7章至第9章中的RLS算法也是有效的。作为第5章内容的补充,第17章还给出了离散时间卡尔曼滤波算法,它尽管通常被视为维纳滤波器的推广,实际上与RLS算法也密切相关。
第6章讨论了降低自适应滤波算法总体计算复杂度的一些方法。首先介绍了集员算法,只有当输出估计误差高于规定的上界时算法才进行更新。然而,由于在平稳环境下的早期迭代过程中需要频繁更新数据,因此又引入了部分更新概念来进一步降低计算复杂度,以适合于计算资源缺乏的应用。另外,本章还给出了与仿射投影算法相关的几种不同形式的集员算法,以及其各种特殊情形。在第18章中,简单给出了简化集员仿射投影算法的超量MSE和收敛时间常数的一些闭合表达式。第6章也包括一些标准情况下和面向具体应用问题的仿真举例,并将本章与前面章节中的算法进行了详细比较。
在第7章中,介绍了一类基于FIR格型结构实现的快速RLS算法,包括非归一化算法、归一化算法和误差反馈算法等。这些算法可以代替计算复杂度较高的常规RLS算法。
第8章介绍了快速横向RLS算法,由于计算复杂度很低,这种算法非常具有吸引力。然而,在实际实现中,这些算法可能会面临稳定性问题。因此,我们特别强调了一种稳定快速横向RLS算法。
第9章介绍了一类基于QR分解的RLS算法,并给出了这类算法的常规形式和快速实现形式。由于一些基于QR分解的算法具有数值稳定性,因此也具有较强吸引力。
第10章讨论了利用IIR数字滤波器实现自适应滤波的问题,包括如何计算梯度,以及如何导出自适应算法等内容。作为对利用直接形式实现的IIR自适应滤波器的替代,我们还给出了利用级联结构、并行结构和格型结构实现的IIR自适应滤波器。同时,还讨论了IIR自适应滤波器的均方误差曲面的性能。此外,本章还介绍了基于其他误差表达式的算法,如基于方程误差和Steiglitz-McBride方法的算法。
第11章讨论非线性自适应滤波问题,利用非线性结构来完成自适应滤波。其出发点在于利用非线性自适应滤波结构来更好地模拟某些非线性现象,在通信应用中这些非线性现象(如发送端功率放大器的非线性特征等)常常出现。特别地,我们介绍了Volterra级数LMS算法和RLS算法,以及基于双线性滤波器的自适应算法。另外,我们还简单介绍了一些基于神经网络概念的非线性自适应滤波算法,即多层感知算法和径向基函数(RadialBasisFunction,RBF)算法。本章还包括了判决反馈均衡(DFE)的一些例子。
第12章介绍的子带自适应滤波主要针对所需自适应滤波器阶数较高的应用场合。例如,在语音回波消除应用中,未知系统(回波)模型就具有很长的冲激响应。在子带自适应滤波问题中,信号被分析滤波器组在频域子带中进行了分割。本章还简单回顾了多速率系统的有关知识,给出了子带自适应滤波的基本结构。同时,还介绍了无延迟子带自适应滤波的概念,此时的自适应滤波系数在子带中进行更新,并被映射到一个等效的全频带滤波器。本章还对子带滤波和块自适应滤波(也称为频域自适应滤波)算法的关系进行了讨论。
第13章介绍了一些适用于没有参考信号应用的自适应滤波算法,这种算法称为盲自适应滤波算法。特别地,本章对那些针对单输入单输出(Single-InputSingle-Output,SISO)均衡应用隐含利用高阶统计量的盲算法进行了介绍。为了克服SISO均衡系统的缺点,还对利用二阶统计量解决单输入多输出(Single-InputMulti-Output,SIMO)均衡问题的算法进行了讨论。SIMO算法可以自然应用于对接收信号进行过采样或者采用多个接收天线的系统。本章还对盲信号处理的一些相关问题进行了简要讨论。第14章至第18章分别是第2章、第3章、第4章、第5章和第6章内容的补充。
在本书中,我利用了一些标准的例子来进行仿真,以对不同算法的仿真结果进行验证和比较。这样不仅避免了频繁的重复,而且还使读者容易比较各种方法的性能。各章后面的大多数习题都是需要仿真的,但也包含部分理论方面的习题,以对教材内容进行适当补充。
本书第二版与及时版相比,主要不同是包含了非线性自适应滤波和子带自适应滤波内容,但在其他章节中也包含了许多微小变化。在第三版中,根据学生的要求和同行的建议,引入了许多算法推导过程和分析解释内容。另外,还新增了关于数据选择性算法和盲自适应滤波的两章内容,以及大量新的例子和习题。我们对前面五章内容进行了较大调整,以使读者更容易理解技术细节,并提高他们决定如何使用基本概念的能力。由于仿射投影算法在实际中越来越重要,因此也对其进行了详细分析。全书包含了多个实际和理论方面的举例,目的是方便对所给各类算法进行比较。第四版在沿用前面各版体例结构的基础上,在第4章至第6章和第10章中给出了一些新的分析和仿真举例,并在新增的第18章中,对集员算法的理论分析进行了概括。另外,第四版也根据读者建议进行了一些微小修改,包括一些新的习题和参考文献。
在三学期的课程教学计划中,我通常讲授第1章至第6章(有时也跳过第2章的部分内容)以及第15章和第16章中关于量化效应分析的内容。如果时间允许,我会尽可能多地讲授余下章节的内容,通常还会征求学生们的意见,了解他们的学习兴趣和需求。本书也可以作为自学教材,读者可以阅读第1章至第6章,如果不需了解具体实现,还可以忽略附录A,这样也不会影响全书的连贯性。除了第8章要求先具备第7章的知识以外,其他章节均自成体系。第7章至第9章中对其他RLS算法及其快速实现方法的讨论结果,在后续章节中也不需利用。
教学辅助资源
我们针对教师给出了由L.W.P.Biscainho博士对本书全部习题所做的解答,可以从出版商那里获取有关本书习题解答的获取可参阅"目录"前所附的"教学支持说明"——编者注。。如果需要,也可以向作者索取书中所有算法的幻灯片和MATLAB源代码。本书算法的代码可以从MATLAB中心下载,网址为:
致谢
本书得到了巴西里约热内卢联邦大学(UFRJ)理工学院电子与计算机工程系及该大学研究生工程项目协调机构(COPPE)电子工程项目的大力支持。
我非常幸运地与很多富有创造力的教授和研究人员相互交流,与他们一起讨论并提出了许多有趣的技术问题,使我能够满怀热情地完成本书的及时版至第四版。非常感谢加拿大维多利亚大学(UniversityofVictoria)的PanAgathoklis教授、巴西塞阿拉州联邦大学(FederalUniversityofCear)的C.C.Cavalcante教授、英国约克大学(UniversityofYork)的R.C.deLamare教授、巴西圣保罗大学(UniversityofSoPaulo)的M.Gerken教授、挪威奥斯陆大学(UniK-UniversityofOslo)的A.Hjrungnes教授、芬兰赫尔辛基理工大学(HelsinkiUniversityofTechnology)的T.I.Laakso教授、瑞典吕勒奥理工大学(LuleUniversityofTechnology)的J.P.Leblanc教授、加拿大维多利亚大学的W.S.Lu教授、微软研究院(MicrosoftResearch)的H.S.Malvar博士、巴西圣保罗大学的V.H.Nascimento教授、巴西坎皮纳斯州立大学(StateUniversityofCampinas)的J.M.T.Romano教授、美国得克萨斯A&M大学(TexasA&MUniversity)的E.SanchezSinencio教授,以及美国约翰霍普金斯大学(JohnHopkinsUniversity)的TracD.Tran教授。
我的研究生导师、朋友和同事L.P.Calba教授不仅激发我写作本书,而且在我整个职业生涯中也一直给予鼓励。我的博士生导师A.Antoniou教授也是我珍贵的朋友,从他那里学到了很多论文研究方法。我非常幸运有这么的恩师!
里约热内卢联邦大学参与工程项目的我的许多学生也是本书灵感的源泉。特别地,我很幸运有很多敬业的研究生,他们参与了自适应滤波研究工作。他们是:R.G.Alves博士、J.A.ApolinrioJr.教授、L.W.P.Biscainho教授、M.L.R.Campos教授、J.E.Cousseau教授、T.N.Ferreira教授、M.V.S.Lima、T.C.MacedoJr.、W.A.Martins教授、S.L.Netto教授、G.O.Pinto、C.B.Ribeiro教授、A.D.SantanaJr.、M.G.Siqueira博士、S.Subramanian博士(AnnaUniversity)、M.R.Vassali、S.Werner教授(赫尔辛基理工大学),等等。他们中的大多数在研究生和博士生阶段阅读了本书的部分内容,并提出了许多有价值的建议。本书部分内容是与他们和其他以前学生的探讨交流中逐步修改形成的。
还要特别感谢L.W.P.Biscainho教授、M.L.R.Campos和J.E.Cousseau,本书给出的许多例子都得到了他们的支持。感谢L.W.P.Biscainho教授、M.L.R.Campos和S.L.Netto仔细阅读了本书全部内容,并且提供了许多改进建议。
最感谢的还有里约热内卢联邦大学的E.A.B.daSilva教授,他对本书初稿的部分内容提出了许多关键性的建议,而且在困难时刻始终伸出援助之手。
事实上,里约热内卢联邦大学信号处理实验室友好和谐的工作环境也一直为本书提供了大量的灵感和挑战。从Michelle经理到教授,从研究生、本科生到工作人员,我都总是能够得到他们专业职责以外的大量支持。Jane认真仔细地完成了书中的许多图表,在此深表感谢!
还要感谢芬兰赫尔辛基理工大学的I.Hartimo教授、西班牙塞维利亚大学的J.L.Huertas教授、加拿大维多利亚大学的A.Antoniou教授、阿根廷苏尔国立大学(UniversidadNacionaldelSur)的J.E.Cousseau教授、美国圣母大学(UniversityofNotr