视频帧率上转换（ Frame Rate Up-Conversion，FRUC）技术产生于20世纪80年代，发展至今，已有将近40年的历史了。在日新月异的信息技术领域，它已经是一项“古老”的技术了。但是，工业界、学术界并没有停止对它的研究，时至今日，关于帧率上转换的技术创新仍持续不断地出现。为什么帧率上转换技术如此“老而弥坚”？这只能归因于人们对视觉媒体不断膨胀的欲望。除非人们已经对现阶段视频观看效果就此满足，否则，作为以提升视频时间分辨率为目标的帧率上转换技术就不会停止发展。
　　帧率上转换技术实际上是一种“幻术”，即从已知时刻的视频帧中“猜”出未知时刻的视频帧。如果“猜”得好，能够骗过人眼视觉，让其察觉不出，则这样的帧率上转换技术就更加“高明”。然而，“猜”并不容易，视频内容千变万化，其中像素值的统计规律是非平稳的，所以，帧率上转换技术往往捉襟见肘，“猜”出的视频帧有很多漏洞，极易被人眼察觉，让人感到不适。鉴于此，为弥补各式各样的漏洞，例如，块效应、边缘模糊、遮挡等，帧率上转换技术出现了大量的解决方案，这些解决方案大多是“感性”的，总是依靠主观经验设计算法流程，因此，性能优劣不一。总体来讲，这些技术的基础流程不外乎运动估计、运动向量平滑、运动向量映射及运动补偿内插，框架是不变的，仅在某个模块可能略有不同。因此，本书希望能够总结这些技术的共性，让读者掌握帧率上转换的基础流程。
　　作者近几年在帧率上转换技术方面也斩获颇丰，有若干研究成果发表在国内外的学术刊物上，尽管只是管中窥豹、一家之言，但也有少许新的思维值得读者借鉴。因此，本书将介绍这些成果，从研究动因、设计流程、模块实现等多个方面叙述了它们的诞生过程。帧率上转换技术的应用领域十分广泛，经典的有：视频格式转换、视频编码、LCD去运动模糊、慢动作回放等，因此，也十分有必要介绍它在一些实际应用场合中如何使用。作者在分布式视频编码、压缩感知及数字取证领域有一定的研究经验，曾将帧率上转换技术应用于这些领域，获得了一些研究成果。本书介绍了这些应用实例，希望能够给读者以启发。
　　编写本书的目的在于进一步推动视频帧率上转换及其应用的研究与发展，尤其是使硕士生、博士生从中受益，将帧率上转换的研究成果应用到相应的研究领域中，丰富和深化现有的研究成果。希望通过本书的出版，能增加学者之间的交流，促进帧率上转换与其他视频应用领域的交叉融合，为帧率上转换技术及其应用的研究贡献微薄之力。
　　本书分为基础篇、算法篇和应用篇，共11章，系统地讲解帧率上转换技术的基础知识、算法实现方案和应用。基础篇由第1、2章组成，主要对帧率上转换技术的应用前景、研究进展和理论基础进行综述；算法篇由第3～7章组成，详细介绍近年来帧率上转换算法的最新研究成果；应用篇由第8～10章组成，介绍帧率上转换在视频编码、压缩感知及数字取证领域的应用。
　　本书的出版得到了信阳师范学院学术著作出版基金的资助，同时也得到国家自然科学基金项目（ 61501393）的大力支持，在此表示衷心感谢。
　　限于篇幅，我们无法涉及帧率上转换及其应用的方方面面，只能尽作者所能，和大家分享尽可能多的体会、经验。成稿仓促，不免存在少许错误，也请读者谅解。
　　谨以此书，献给我的妻子和正在茁壮成长的宝宝。

　　《视频帧率上转换技术及其应用》主要论述视频帧率上转换技术及其应用，详细介绍帧率上转换技术的应用背景、基础知识、实现方案及其在视频编码、压缩感知、数字取证等领域的应用。《视频帧率上转换技术及其应用》分为基础篇、算法篇和应用篇，共11章。基础篇由第1、2章组成，主要对帧率上转换技术的应用前景、研究进展和理论基础进行综述；算法篇由第3～7章组成，详细介绍近年来帧率上转换算法的新研究成果；应用篇由第8～10章组成，介绍帧率上转换在视频编码、压缩感知及数字取证领域的应用；第11章对视频帧率上转换技术进行总结和展望。
　　《视频帧率上转换技术及其应用》可作为高等院校计算机、电子工程、自动化及相关专业高年级本科生或研究生教材，也可供对视频帧率上转换技术感兴趣的研究人员和工程人员阅读参考。

李然，博士毕业于南京邮电大学信号与信息处理专业。2014年12月至今，任信阳师范学院计算机与信息技术学院讲师、校聘副教授；2016年9月至2017年12月，于南京信息工程大学中美国际合作所从事博士后研究工作。2018年5月成为IEEE IES工业信息化技术委员会成员。目前，在国内外重要学术期刊发表学术论文三十余篇，其中SCI检索期刊15篇，EI检索期刊8篇，申请公开国家发明专利十余项，其中授权2项。研究兴趣有图像与视频处理、低复杂度视频编码、多媒体安全、深度学习、物联网应用等，在包括Signal Processing: Image Communication、Sensors、Multimedia Tools and Applications、通信学报、电子与信息学报等国内外专业期刊发表论文二十余篇，同时担任IEEE Transactions on Industrial Informatics、Future Generation Computer Systems、Information Sciences、Pattern Recognition Letters、Computer Communications、Journal of Medical Systems等二十余专业期刊的审稿人。

第1章 绪论 1
1．1 帧率上转换技术概述 1
1．2 帧率上转换技术的发展现状 3
1．3 帧率上转换技术的应用领域 5
1．4 本书结构与内容安排 8
参考文献 8
第2章 帧率上转换技术基础 10
2．1 引言 10
2．2 运动估计 12
2．2．1 块匹配估计 13
2．2．2 光流估计 14
2．3 运动向量平滑 16
2．3．1 中值向量滤波 16
2．3．2 加权中值向量滤波 17
2．3．3 三维递归搜索 17
2．4 运动向量映射 18
2．4．1 传统映射法 18
2．4．2 单向映射法 19
2．4．3 双向映射法 20
2．5 运动补偿内插 21
2．5．1 传统内插法 21
2．5．2 重叠块内插法 21
2．6 图像质量评价 22
2．7 本章小结 23
参考文献 23
第3章 基于多色度混合匹配的帧率上转换算法 25
3．1 引言 25
3．2 存在难题与解决方案 26
3．3 多色度混合匹配帧率上转换算法 28
3．3．1 多色度混合块匹配准则 28
3．3．2 基于三维递归搜索的前后向运动估计 30
3．3．3 时空运动向量提纯 31
3．3．4 高容错运动向量平滑 32
3．3．5 双加权重叠块运动补偿 33
3．4 实验结果与分析 35
3．4．1 逐步评估 35
3．4．2 整体评估 38
3．4．3 计算复杂度 42
3．5 本章小结 43
参考文献 44
第4章 基于小波金字塔的帧率上转换算法 46
4．1 引言 46
4．2 小波金字塔帧率上转换算法 47
4．2．1 小波金字塔构造 47
4．2．2 多分辨率双向运动估计 48
4．2．3 计算复杂度分析 50
4．3 实验结果与分析 50
4．4 本章小结 56
参考文献 56
第5章 基于联合运动补偿的帧率上转换算法 58
5．1 引言 58
5．2 运动补偿帧率上转换的数学模型 59
5．3 运动估计与候选运动向量集构造 60
5．4 联合运动补偿 61
5．5 实验结果与分析 62
5．6 本章小结 65
参考文献 65
第6章 基于稀疏表示模型的帧率上转换算法 67
6．1 引言 67
6．2 稀疏表示模型的帧率上转换算法 69
6．2．1 基于子块的双向运动估计 69
6．2．2 稀疏先验重建 72
6．3 实验结果与分析 75
6．3．1 参数设置 76
6．3．2 客观性能评估 77
6．3．3 主观性能评估 80
6．3．4 计算复杂度分析 82
6．4 本章小结 83
参考文献 84
第7章 基于时空显著分析的自适应帧率上转换算法 86
7．1 引言 86
7．2 相关工作 87
7．3 时空显著分析自适应帧率上转换算法 89
7．3．1 时空显著性 90
7．3．2 运动估计策略切换 92
7．3．3 计算复杂度 94
7．4 实验结果与分析 95
7．4．1 阈值设置 95
7．4．2 客观性能评估 96
7．4．3 主观性能评估 98
7．5 本章小结 99
参考文献 100
第8章 帧率上转换技术在分布式视频编码中的应用 103
8．1 引言 103
8．2 基于自回归模型的边信息外推算法 105
8．2．1 运动对齐自回归模型 105
8．2．2 模型参数计算和重叠块内插 106
8．3 实验结果与分析 108
8．4 本章小结 109
参考文献 109
第9章 帧率上转换技术在视频压缩感知中的应用 111
9．1 引言 111
9．2 基于平滑投影的视频压缩感知重建 115
9．2．1 错误检测 116
9．2．2 自适应残差重建 117
9．3 实验结果与分析 117
9．4 本章小结 121
参考文献 121
第10章 鉴别帧率上转换的数字取证算法 123
10．1 引言 123
10．2 背景知识 124
10．2．1 帧复制篡改取证 124
10．2．2 运动补偿帧率上转换 126
10．2．3 高斯噪声方差估计 127
10．3 混噪取证算法 128
10．3．1 混噪与取证 128
10．3．2 周期性检测 129
10．4 实验结果及分析 131
10．4．1 算法性能分析 131
10．4．2 篡改检测结果 133
10．5 本章小结 136
参考文献 136
第11章 总结与展望 138
附录A 与本书相关的研究成果 141