大千世界,车水马龙,眼花缭乱,仅靠人眼去记录美好世界是远远不够的,因此各种成像技术应运而生,随之而来的是,人们对成像结果的分辨率、清晰度和信息携带量有了更高的要求。因此如何在这场图像质量竞争中脱颖而出,研究者们各显神通,在这其中,高动态范围(High Dynamic Range, HDR)成像技术巧辟蹊径,步入人们的视线。
何为HDR成像?
首先来感受一下HDR成像带来的视觉效果:
HDR处理前后的图像视觉感知
左侧四幅图像是不断增大相机的曝光时间,得到一组普通成像的结果。观察可知,单帧图像涵盖的亮度信息有限,场景中过亮的区域与过暗的区域不能同时成像,遗憾地是我们无法通过单张图像无法还原全部原始场景。此时HDR技术的出现帮我们实现了成像效果包络场景万物变化的想法,右侧HDR技术处理后的结果图像明暗层次更分明,我们可以通过单帧图像即可获得场景中的所有亮度变化信息和色彩变化信息!
因此HDR技术提高了图像的最大亮度值与最小亮度值之间的范围,保留了场景细节信息并提高了明暗对比度。所谓图像的最大亮度值与最小亮度值之间的范围即称为相机成像的动态范围,一般表示为两者的比值:DR=20 log?〖最大亮度值/最小亮度值〗,该值越大,表示相机对场景的还原度越高,成像效果越好。
目前来说,自然或人工场景中的光照动态范围变化高达4-10个数量级(80-200dB);人眼在成像时,可接收4-6个量级(80-120dB)的光照动态范围;成像器件受到其自身设备的限制,可接收2-4个量级(40-80dB)的光照动态范围,如下图所示。国际上一般将大于4个量级(80dB)的动态范围的图像称为HDR图像。
现实中自然场景的动态范围
人眼成像的动态范围
成像器件的成像动态范围
为何HDR成像?
如下图所示,最上面黑色的坐标轴表示场景亮度的动态范围,红色箭头表示人眼捕获到的场景亮度范围,两条绿色箭头表示相机在长曝光和短曝光下捕获到的场景动态范围,紫色箭头表示通过HDR相机捕获到的场景动态范围。可以看出,长曝光可以还原场景中的暗部场景信息,但会丢失高亮环境信息;短曝光可以还原高亮场景的明暗层次变化,但暗部环境会被噪声严重影响。
所以单个成像系统进行景物成像时,改变相机曝光时间后的成像结果只能覆盖场景中的部分亮度范围,而通过HDR技术处理后,图像动态范围相比人眼和普通相机得到了大大提升,这样既可以保留对比度,又使得场景更加自然,何乐而不为。
不同成像系统对场景动态范围的捕获能力
因为HDR成像具有真实反映场景的能力,不论是明亮的场景如耀眼的光源、强烈的反射或过长时间的曝光,还是昏暗的环境如黄昏、夜间成像或过短时间的曝光,都能在经过处理后被真实地记录或呈现出来。
明亮场景普通相机成像效果
昏暗场景普通相机成像效果
HDR成像效果
如何HDR成像?
HDR成像主要从硬件和软件两方面实现,从硬件上来说,限制相机成像动态范围的主要原因是相机内进行光电转换的传感器性能欠佳,主要包括接收电子的满阱电荷数偏小、光电转换的量子效率过低、以及噪声过大。因此我们从增大满阱电荷、提高量子效率和减小噪声三方面下手进行传感器的改进,从而实现相机动态范围的提高,包括背照探测技术、非线性响应技术和高低增益技术等。
通过以上方法“整形”后,“脱胎换骨”的HDR相机可以实现实时成像,观察HDR相机与普通相机成像效果对比可知,HDR图像可以还原出过曝场景并保持整体场景的亮度变化和色彩变化,通过单张图像保留了全部场景动态范围信息。但缺点在于成本较高,尚未实现普遍应用。
三种HDR相机的成像动态范围、分辨率和曝光时间
普通相机与HDR相机的成像效果对比图
从软件上来说,主要通过融合算法将一组多曝光图像融合重建生成一张HDR图像。通过依次增大单个相机的曝光时间,获得一组从欠曝光到过曝光的图像,此时,这组图像涵盖了整个场景的亮度信息,利用融合算法将所有图像信息整合获得一张HDR图像。融合算法主要有拉普拉斯金字塔融合、高斯融合、小波变换等。
一组多曝光图像和其HDR融合结果
但这种方法处理静态场景成像表现尚可,但对于场景中有移动物体成像或拍摄视频时,会因为前后拍摄场景不一致,融合结果出现运动模糊。对于此,人们又提出了基于光流或基于块处理的去伪影算法,通过迭代算法还原场景中移动物体的信息。
运动模糊车牌图像与经过去伪影处理后的图像
从本质上来说,无论是从硬件上扩充接收能力还是从软件上整合图像信息,HDR技术的出现就是尽可能的获取场景中亮度信息,实现场景中的万物皆可成像的效果,使整个场景内的所有物体的明暗变化和色彩变化还原在图像上。