张涛, 刘天威, 杜文丽
天津大学 电气自动化与信息工程学院, 天津 300072
收稿日期：2020-09-15
基金项目：天津市科技计划项目(16YFZCGX00760)。
作者简介：张涛(1975-), 男, 黑龙江北安人, 天津大学副教授, 博士生导师。

摘要：由于光线串扰, 像素补偿算法难以根据提取出的背光信息进行准确补偿, 同时, 单一补偿曲线难以适应具有不同亮度特点的图像内容, 导致补偿图像的平均质量不高.为了提高像素补偿算法对复杂图像内容的适应性, 本文引入神经网络中的编码和解码思想, 通过编码网络提取图像深层特征, 在解码网络中利用浅层特征的信息对深层特征进行解码, 提出了一种联合分类回归的液晶像素补偿神经网络.实验结果表明, 此网络得到的像素补偿图像不仅可以提高图像的主观质量, 还在对比度、峰值信噪比等客观指标上取得了较好的效果.
关键词：区域调光背光提取像素补偿卷积神经网络液晶显示器
A Convolutional Neural Network Based Local Dimming Technology
ZHANG Tao, LIU Tian-wei, DU Wen-li
School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China
Corresponding author: DU Wen-li, E-mail: duwenli0210@126.com.

Abstract: Due to the light spreading problem, pixel compensation algorithms are difficult to accurately compensate brightness according to the extracted backlight information. Besides, a single compensation curve is difficult to adapt to the complex image content, resulting in unsatisfactory image quality. In order to improve the adaptability of pixel compensation, the idea of encoding and decoding in neural network was introduced. The deep feature of image was extracted by encoding network, and it was decoded by using the information of shallow feature in decoding network. A kind of classification-regression compensation neural network (CRCNN) was proposed. The experimental results show that the pixel compensation image obtained by this network can not only improve the subjective quality of the image, but also achieve good results in contrast, peak signal-to-noise ratio and other objective indicators.
Key words: local dimmingbacklight extractionpixel compensationconvolutional neural networkliquid crystal display
图像对比度(contrast ratio, CR)是衡量显示性能中至关重要的客观指标, 近年发展起来的有机发光二极管显示技术^[1]由于其自发光特性, 有效抑制了图像暗区的漏光现象^[2], 显著提高了图像对比度, 但该技术主要应用于智能手机和平板电脑等小尺寸显示器, 难以大尺寸化.基于发光二极管(light emitting diode, LED)的液晶显示技术是适用于计算机和电视等大尺寸液晶显示器(liquid crystal display, LCD)的主要显示技术.基于LED背光源的液晶显示器(LCD-LED)主要由背光面板和液晶面板组成, 背光面板由背光单元组成.在早期的显示技术中, 背光单元的亮度较高且均匀恒定, 但当显示图像亮度较低时, 这种显示方式功耗较高且极易造成漏光现象, 造成图像整体对比度降低, 进而降低图像的显示质量.为解决这一问题, 动态调光算法被提出, 其原理是通过显示图像内容来动态调节背光源的亮度, 同时为了保证显示屏的亮度不变, 显示图像中每个像素的像素值也要进行适当调整.动态调光算法主要分为全局调光和区域调光.全局调光^[3]指背光单元的亮度根据图像内容进行统一调整；区域调光^[4]指的是将背光进行分区控制, 每个区域的背光亮度由对应图像内容的特征信息决定.区域调光相对全局调光技术来说更能根据图像局部特征确定该区域背光，因而可以对一幅图像实现不同程度、不同区域的调光, 降低功耗的同时提高图像对比度.
在基于LCD-LED的区域调光系统中, 背光面板属于低分辨率面板, 用于控制不同区域图像的显示亮度, 液晶面板属于高分辨率面板, 用于显示图像细节信息.
区域调光技术主要包括背光提取和像素补偿.背光提取技术指根据图像内容提取出适合该内容显示的背光亮度；像素补偿技术是指在对图像进行背光提取后, 为了保证图像在实际显示时的显示亮度与背光全亮时尽可能保持不变, 需调节显示图像的像素大小来改变透光量.像素补偿技术对每个像素按照补偿曲线进行逐点调整, 因此若要利用背光信息进行像素补偿, 则需要得到每个像素点后的背光亮度, 即背光矩阵的分辨率需调整到与输入图像分辨率相同.考虑到在实际显示中光线的扩散现象以及背光模块中由于背光值分布不均匀导致的“块效应”^[5], 在对低分辨率背光矩阵进行尺度变换的过程中需对背光矩阵进行混光处理以便实现精确补偿, 该过程称为背光平滑.常用的背光平滑方法有光扩散函数(light spread function, LSF)法^[6]、模糊-扩散(blur mask approach, BMA)法^[7]、改进的模糊-扩散(improved blur mask approach, IBMA)法^[8].LSF法采用光扩散函数对背光进行平滑处理, 因计算量较大而很少被采用.BMA法利用低通滤波模板来模拟光线扩散的过程, 虽降低了计算量, 但并未考虑到背光矩阵中的边缘背光与中间背光在扩散时不同的扩散范围, 因此IBMA被提出.IBMA对不同类别的背光采用不同的滤波模板进行背光平滑, 使平滑结果可以更好地反映光扩散后的实际光强.在区域调光技术中, 提取的背光是低分辨率信息, 而像素补偿后的图像属于高分辨率图像, 是图像细节信息的体现, 因而提高像素补偿算法的性能是提高区域调光系统显示性能的重要研究课题.
随着机器学习的普及与应用, 用训练神经网络模型的方式完成特定任务已经成为不同领域****研究的热点问题.卷积神经网络通过局部连接和权值共享, 利用多层神经元对输入图像进行卷积操作来提取图像特征, 最小化损失函数进而得到所需模型.2019年, Song等^[9]率先将神经网络应用在区域调光技术中, 在U-Net^[10]网络思想的基础上, 利用端到端的网络直接得到了像素补偿图像.
本文同样利用卷积神经网络实现图像的像素补偿, 结合U-Net网络编码与解码的思想, 对图像进行编码，得到深层特征之后, 在解码的过程中利用浅层特征来还原图像细节, 实现端到端的网络结构.与文献[9]以输入图像为标签数据不同, 为了提高网络对复杂图像内容的适应性, 本文利用现有的像素补偿算法对同一图像进行像素补偿后, 通过比较主观显示质量和对比度、峰值信噪比等客观指标来标定该图像对应的样本图像, 并将样本图像作为网络训练的标签.每幅图像对应的样本图像都结合了某种现有像素补偿算法的优点, 利用该数据集训练得到的网络模型对不同图像的适应性也会相应提高.此外, 本文采取了一种分类和回归加权结合的思想来计算网络的损失值, 并获取预测的像素补偿图像, 保证了网络输出图像边缘细节信息和图像整体的平滑性.相对现有像素补偿算法而言, 在对图像进行像素补偿之前, 需要经过背光提取算法和背光平滑算法, 而性能较好的算法往往具有实现复杂、计算量大的缺点, 因此本文算法的优点还在于利用训练好的模型来获取像素补偿图像可以大大提高算法效率.
1 相关工作区域调光技术原理框图如图 1a所示, 基于LED-LCD的区域调光系统实现框图如图 1b所示.由图 1b可知, 图像由背光面板提供的亮度通过液晶面板进行显示, 背光面板中背光单元的亮度和输入液晶面板的图像取决于背光提取算法和像素补偿算法.
图 1(Fig. 1)

图 1 区域调光技术原理及系统实现框图Fig.1 Principle and system implementation block diagram of local dimming technology (a)—区域调光技术原理框图；(b)—区域调光系统实现框图.

现有的区域调光算法首先通过背光提取获取低分辨率背光信息, 再通过像素补偿得到用于显示的高分辨率图像.常见的背光提取算法主要包括最大值法^[11]、平均值法^[11]、累积分布函数(cumulative distribution function, CDF)法^[12]、映射函数反转(inverse of mapping function, IMF)法^[13]、误差修正法^[14]、PSNR法^[15]、高斯函数分布法^[16]、基于动态阈值法^[17]、主客观结合的背光提取算法^[18]等.CDF法的主要思想是先根据输入图像各分区的灰度直方图得到对应的概率密度曲线, 然后求得累积分布函数, 最后根据预设的阈值在累积分布函数上映射出对应的灰度值作为相应分区的背光亮度值.IMF法在CDF法的基础上, 通过CDF曲线获得映射反转曲线IMF, 然后通过IMF曲线对各分区的最大值或其他参数进行映射, 得到相应分区的背光值.误差修正法利用最大值法与平均值法得出的背光矩阵之间的差值对平均值法背光进行增加调整.高斯函数法利用图像的亮度平均值和方差来提取背光信息.
PSNR法在保证图像质量, 将图像失真限制在一定范围的前提下, 采用倒推法得到背光值.动态阈值法基于最大类间方差法^[19]来提取背光亮度值.其中主客观结合的背光提取算法结合其他背光提取算法的优点, 在如图 2所示的LCD-LED双调制结构显示器上根据图像的显示质量来调节不同图像区域对应的背光亮度, 该方法提取的背光有效反映了图像内容的特点, 显著提高了图像的实际显示质量.在图 2所示的双调制结构显示器中, 背光矩阵大小为66×36, 液晶面板支持输入的图像大小为1 920×1 080的彩色图像.
图 2(Fig. 2)

图 2 LCD-LED双调制结构显示器Fig.2 LCD-LED dual modulation structure display (a)—正面显示；(b)—背面结构.

在像素补偿过程中, 常用的像素补偿技术主要有线性补偿法^[20]、非线性补偿法^[21]、分段补偿法^[22]、对数函数补偿法^[8]以及基于S曲线和对数曲线的液晶像素补偿两步法^[17](以下简称“两步法”).其中线性补偿和非线性补偿算法虽然计算简单、复杂度低, 但容易引起图像失真, 降低图像质量；而其他三种算法计算复杂度相对较高, 但均可在不同程度上提高图像对比度, 保持纹理细节信息.分段法首先对图像亮度进行分区, 然后利用不同曲线对不同区域的像素值进行补偿.分段法适用于亮度较低的图像, 对该图像的色度信息保持较好.对数函数补偿法利用人眼在感知信号的过程中存在的对数关系来提高补偿图像质量, 这种方法对中高亮度的图像处理效果较好, 对低亮度图像容易过度补偿而降低图像对比度.两步法首先利用S曲线提高图像的对比度, 再利用对数函数对图像进行进一步增强, 该方法补偿后的图像更加生动逼真, 但是容易造成图像暗区和亮区细节信息的丢失, 出现曝光不足和过度曝光的现象.随着深度学习的普遍应用, Song等^[9]以U-Net为基础, 结合跳跃连接和残差网络结构提出了一个端到端的基于深度学习的像素补偿网络, 由输入图像直接输出补偿图像.
在传统的液晶像素补偿算法中, 主要原理是给出液晶像素补偿曲线, 根据提取的背光信息对输入图像进行像素级亮度调整.由于图像内容的复杂性, 单一像素补偿方法很难同时提高单幅图像中具有不同亮度特点内容的显示质量, 比如对于液晶像素补偿算法在补偿图像暗区亮度的同时需要防止图像亮区亮度的溢出这一问题, 分段补偿法不会造成亮度溢出, 但是两步法容易使图像亮区过度曝光.在深度学习领域, Song等^[9]提出的像素补偿网络在训练过程中利用光扩散函数获取背光平滑信息, 将网络预测结果与平滑后的背光信息相乘, 利用均方误差函数对乘积结果与输入图像求损失, 虽然无需标签数据, 但是当平滑后背光信息全为1时, 该网络相当于使输出图像直接趋近于输入图像, 不仅利用了计算量较大的光扩散函数, 而且输出图像的质量并不会得到有效提高.
本文提出的联合分类回归的液晶像素补偿网络基于自行构建的数据集进行训练, 构建的数据集中包含不同场景的图像及其对应的样本补偿图像, 通过数据增强进一步确保网络输出图像的有效性, 采用编码和解码思想搭建网络结构, 结合分类和回归思想, 不仅有效提高了补偿图像质量, 相对传统像素补偿算法更提高了算法效率.
2 一种联合分类回归的神经网络液晶像素补偿技术在语义分割任务中, 图像的每个像素都被分配上语义信息, 即语义分割可以看作是逐像素分类的任务^[23].从这个角度出发, 区域背光提取中0到255的亮度级别可以看作256个类别, 液晶像素补偿任务可被视为一个分类任务, 以预测每个像素亮度的类别.分类可以实现较高的精度, 但其缺点是容易造成网络预测的像素值出现较大差异从而造成补偿图像离散程度过高.从另一个角度看, 输入图像与输出图像的大小相同, 可利用卷积操作回归出所需要的补偿图像, 因此像素补偿任务可以看作是一个回归任务.回归中补偿图像直接通过全卷积网络得到, 因而连续性较强, 但其容易模糊图像中的边界.为了实现补偿图像的精确预测, 本文将二者结合起来提出一种联合分类回归的液晶像素补偿神经网络(classification-regression compensation neural network, CRCNN).所提网络结构如图 3所示, 共享分支结构S分别与分支R和分支C构成回归网络和分类网络.
图 3(Fig. 3)

图 3 联合分类回归的液晶显示器像素补偿网络示意图Fig.3 Schematic diagram of liquid crystal pixel compensation network based on joint classification regression

2.1 共享网络结构网络结构将直接决定网络的特征提取能力, U-Net网络由于在生物医学图像方面取得了良好效果而被广泛应用于语义分割的各个方向.编码网络结构由卷积和下采样操作组成, 负责特征提取, 解码结构主要利用跳跃连接把提取出的特征图恢复成原始分辨率.在CRCNN的共享网络结构中, 由于本文的输入图像是256×256, 因而一个浅层次的网络即可满足学习图像边缘纹理信息的需要, 为了加快网络训练的速度, 保证每批训练数据的分布相同, 提高网络的泛化能力, 本文使用批量归一化(batch normalization, BN)解决在训练过程中, 中间层数据分布发生改变的情况, 并使用ReLU激活函数来提高模型的表达能力.在下采样的过程中, 为避免池化操作在提取区域特征时带来的信息损失, 本文采用步长为2的卷积操作来实现图像尺寸的变换, 因而CRCNN是一个全卷积的网络结构.此外, 本文利用跳跃连接将编码过程中的特征信息用于解码过程中, 有助于解码网络获取更多图像细节信息, 从而恢复出质量较高的图像.从图 3中可以看出, 在解码网络结构第五层和第七层中, 本文采用concat操作在融合编码网络中的特征信息前, 分别进行了两次卷积操作, 这是为了在浅层次网络结构中通过增加卷积数目来尽可能多地提取图像特征, 便于网络对图像细节信息进行全面的学习, 之后采用concat操作将两次卷积后得到的特征图和通过跳跃连接得到的编码结构中的特征图进行融合.特别地, concat操作是在特征通道维度进行特征融合的, 若特征图之间的差异较大, 则直接输入至下层卷积中，容易造成数据分布不一致影响网络性能, 因而在输入至下一卷积层之前, 本文对融合后的特征先进行了卷积操作、批量归一化操作以及激活操作, 再对concat后的特征图进行通道数上的合并来保证网络训练后的性能.
2.2 回归网络结构在分支R中, 经过共享部分的特征图首先经过卷积操作来改变输出图像通道数, 然后进行Sigmoid激活.Sigmoid函数如式(1)所示:

(1)

因为Sigmoid函数取值范围为(0, 1), 可以将一个实数映射到(0, 1)区间, 同时像素亮度值非负, 因而相比于ReLu激活函数来说，Sigmoid激活函数会使预测结果更加准确.在像素补偿过程中, 为提高补偿图像的对比度, 需要适当降低图像暗区的亮度, 提高图像亮区的亮度, 这样的补偿曲线称为S曲线, S曲线在像素补偿算法中应用广泛.Sigmoid作为激活函数的另一个优点是其函数曲线与传统像素补偿算法中的S曲线趋势相同, 因而可以有效提高回归分支输出图像的质量.
2.3 分类网络结构在分支C中, 共享部分的特征图经过一次卷积之后进入分类器中.卷积操作的目的是改变图像通道数, 最终用于分类的特征图有256个通道, 因而卷积层共有256个卷积核, 输出特征图的通道数为256.对于每一个背光像素点, 本文将其对应的256个通道中最大值的位置作为最终的预测结果, 例如, 对补偿图像中第i行, 第j列的像素预测值来说, 在256个通道中相同位置的值记为x_{i, j}^c, c的取值为每个通道的索引值，即为0~255, 所以256个通道中相同位置处的取值为{x_{i, j}⁰, x_{i, j}¹, …, x_{i, j}²⁵⁵}, 最终预测的像素值计算如式(2)所示, p_c(i, j)表示第i行, 第j列的分类像素预测值.

(2)

3 实验过程及结果分析3.1 数据集构建本文利用主客观结合的背光提取算法对200幅像素为1 920×1 080, 包含室内外不同场景的图像进行背光提取, 得到200组66×36的背光, 再利用IBMA背光平滑方法对200组背光分别进行背光平滑, 得到200张与输入图像大小相同的背光图像, 本文对每张背光图像分别采用线性补偿法、非线性补偿法、分段补偿法、对数函数补偿法、两步法以及文献[22]中细节保持法对其进行像素补偿, 得到每张背光图像对应的6张像素补偿图像, 然后对6张像素补偿图像进行主客观评价结合的方式来获得输入图像对应的样本图像.其中主观评价主要根据国际标准中定义的平均意见得分(mean opinion score, MOS)指标来选取显示质量较好的补偿图像, 客观评价主要根据补偿图像的对比度(CR)、峰值信噪比(peak signal-to-noise ratio, PSNR) ^[24]、结构相似度(structural similarity, SSIM) ^[24]等客观指标结果来衡量补偿图像质量, CR主要用来衡量图像亮度的差异范围, 但该值越大并不能绝对说明图像的质量越高, 因此还需要其他客观指标进行评价.PSNR用来衡量补偿图像相比原图像引入的噪声大小, SSIM用来衡量补偿前后图像之间的结构信息的相似性.CR, PSNR, SSIM的计算如式(3)~式(5)所示:

(3)

式中，H₉₀和H₁₀分别表示图像亮度累积分布函数中90 % 和10 % 对应的亮度值.

(4)

式中: C₁和C₂分别表示算法处理前后的图像; w和h分别表示图像的宽和高.一般地, PSNR的值越高, 表示输出图像的质量越好.

(5)

式中: μ_C1和μ_C2分别是图像C₁和C₂的均值; σ_C1和σ_C2分别是图像C₁和C₂方差; σ_C1C2表示图像C₁和C₂之间的协方差; ε₁和ε₂为常数, 避免分母为零.以图像C₁为例, 其均值、方差以及协方差的计算公式如下:

(6)

在求得以上三个客观指标后, 本文对其进行加权平均得到衡量补偿图像客观质量的综合评价标准, 记为E(O).

(7)

(8)

为避免客观评价结果与图像实际显示效果相悖的情况, 本文引入主观评价MOS对补偿图像进行质量打分, 为减小主观实验误差, 提高评价的准确性, 本文仅对客观评价结果较好的两幅像素补偿图像进行打分.具体地, 本文将利用主客观得到的背光信息输入到图 1b中的背光面板中, 将两幅像素补偿图像分别输入到图 1b中的液晶面板中, 根据图像显示质量选出样本图像, 得到样本图像的最终表达式如式(9)所示：

(9)

式中: φ_Icp指在客观评价下对补偿图像I_cp进行主观评价E(S)得到的分数; arg max(φ_Icp)表示选取主观评价得分高的I_cp作为最终的样本图像I_c.φ(E(S))|E(O)表示在客观评价的基础上进行主观评价.
3.2 数据增强本文对200幅图像依次采取上述方式得到对应的200张像素补偿样本图像, 然后对该数据集合进行数据增强.具体地, 本文对每张图像进行翻转和镜像来改变感兴趣物体的位置, 从而提高模型的泛化能力, 为了使网络能够有效处理图像的边缘细节特征, 本文对每张图像进行patch操作, 每128个像素点进行一次patch操作, 图像块像素大小为256×256, 因此网络的输入和输出图像的像素大小为256×256.在数据增强后, 数据集中图像为210 600张, 其中训练集和验证集的比例为9∶1.
3.3 实验过程在实验过程中, 初始学习率设置为0.001, 为提高网络的收敛速度, 同时避免网络损失值陷入局部最优解, 本文设置图像的批大小为16.由于网络的特征提取性能除了与网络结构有关之外, 损失函数也起着至关重要的作用.在所提CRCNN的训练过程中, 本文对回归网络和分类网络分别采取不同的损失函数来计算各分支预测像素值的损失值.由于回归分支采用了Sigmoid激活函数来使预测像素值在(0, 1)区间内, 为了缩小预测数据与样本图像之间的差异性, 提高回归结果的准确性, 当样本图像用于回归分支时, 需要对其进行归一化处理, 然后求损失值.本文选取均方误差(mean squared error, MSE)函数作为回归分支的损失函数来最小化回归预测像素值与样本图像像素值之间的误差, 同时本文选取交叉熵损失(cross entropy error, CEE)函数作为分类分支的损失函数来优化该分支预测的像素值.网络训练所用的损失值为回归分支与分类分支所得损失值的加权和.如图 3中箭头所示, 设权重因子为λ和λ₁, 则损失函数与网络最终预测图像表示为

(10)

(11)

式中: L表示网络的总损失; L_MSE表示回归网络中MSE损失函数计算得到的损失值；L_CEE表示分类网络中CEE损失函数计算得到的损失值; I_p为网络最终得到的预测背光图像; I_pR为回归分支得到的预测补偿图像; I_pC为分类分支得到的预测补偿图像.权重因子λ和λ₁的值可调整, 本文中λ=λ₁=0.8.
3.4 实验结果为分析像素补偿网络性能, 本文将网络输出图像与传统算法所得像素补偿图像进行对比, 本文选取补偿性能较好的两步法和对数函数补偿法作为像素补偿对比算法, 对比算法使用的背光信息均由动态阈值法^[21]提取, 使用的测试图像如图 4所示.对数函数补偿结果, 两步法补偿结果以及CRCNN网络补偿结果图像分别如图 5 ~图 7所示.从不同补偿算法的实验结果可以看出, 在整体显示效果上, 对数函数补偿法补偿的图像亮度普遍较高, 尤其是对于背景亮度较低的图像(图 5a~图 5d)来说, 暗背景处的亮度级得到了显著提升, 使图像场景的逼真度和对比度明显低于两步法和CRCNN补偿结果.从两步法实验结果可以看出, 该算法提高了图像亮区的亮度同时降低了图像暗区的亮度, 提高了图像的逼真度, 但容易出现亮度溢出, 导致图像亮区过度曝光, 如图 6i所示.对于图 6j中的亮区, 两步法补偿后的图像偏暗, 导致图像整体亮度偏低, 视觉效果较差.同时, 两步法在补偿图像亮度过程中, 对暗区亮度降低较多, 导致暗区细节出现丢失的情况, 如图 6f和图 6h所示.从像素补偿网络实验结果可以看出, 网络输出的补偿图像在整体视觉上既有效提高了图像的逼真度, 又明显提高了图像的对比度(如图 7a~图 7d所示), 不仅如此, 补偿图像的亮区并没有出现过度曝光的现象, 图像暗区的亮度也保证了暗区细节的显示, 因此从主观视觉上看, 该补偿网络的性能优于现有补偿算法.
图 4(Fig. 4)

图 4 测试图像Fig.4 Test images

图 5(Fig. 5)

图 5 对数函数补偿实验结果Fig.5 Experimental results of logarithmic function compensation

图 6(Fig. 6)

图 6 两步法补偿实验结果Fig.6 Experimental results of two-step compensation

图 7(Fig. 7)

图 7 CRCNN网络补偿结果Fig.7 Experimental results of CRCNN compensation

为了进一步对比算法的性能, 本文选择不同补偿算法下的同一图像的补偿结果来进行分析.如图 8~图 10所示, 本文将部分内容进行放大, 来观察细节呈现.
图 8(Fig. 8)

图 8 图像1补偿结果Fig.8 Compensation results of image 1 (a)—对数函数法；(b)—两步法；(c)—CRCNN.

图 9(Fig. 9)

图 9 图像2补偿结果Fig.9 Compensation results of image 2 (a)—对数函数法；(b)—两步法；(c)—CRCNN.

图 10(Fig. 10)

图 10 图像3补偿结果Fig.10 Compensation results of image 3 (a)—对数函数法；(b)—两步法；(c)—CRCNN.

从图 8的对比来看, 三种算法的补偿结果均保持了大部分细节信息, 但对数函数法补偿后的图像亮度偏高, 导致图像的色彩饱和度明显低于另外两种算法, 降低了图像的逼真度.从图 9的对比来看, 对数函数法同样提高了暗区的亮度, 虽然有助于暗区细节的体现, 但是图像画质明显出现了不真实感, 两步法补偿后的图像由于暗区亮度过度降低, 暗区细节损失严重.从图 10的对比来看, 两步法补偿后的图像, 其亮区明显出现了亮度溢出, 使该区域出现过曝光现象, 降低图像质量.综上分析及图像显示效果来看, CRCNN网络补偿后的图像质量明显优于其他两种传统算法, 体现了补偿网络的性能.
为进一步对比三种算法的性能, 本文对三种算法得到的补偿图像进行客观评价, 主要采用对比度(CR)、峰值信噪比(PSNR)、结构相似性(SSIM)和色差(color difference, CD)指标进行分析对比.其中, 色差指标主要度量色度分量在像素补偿过程中的变化, 本文基于RGB色度空间的加权欧氏距离来计算处理前后图像的色度差异, 色差计算公式为

(12)

其中,

(13)

(14)

(15)

(16)

式中: C_{1, R}, C_{1, G}, C_{1, B}分别表示输入图像归一化后的R, G, B分量; C_{2, R}, C_{2, G}, C_{2, B}分别表示输出图像归一化后的R, G, B分量.为了提高对比的有效性, 以对比度指标为例, 本文对图 5~图 7中所有图像求对比度, 并计算平均对比度值, PSNR, SSIM, CD三个指标做相同处理, 计算结果如表 1所示.
表 1(Table 1)

表 1 三种算法的客观评价对比Table 1 Objective evaluation comparison of three algorithms 算法 CR PSNR SSIM CD 两步法 7.60 24.30 0.88 0.27 对数函数法 5.13 20.38 0.91 0.31 CRCNN 11.28 29.22 0.92 0.22

表 1 三种算法的客观评价对比 Table 1 Objective evaluation comparison of three algorithms

4 结论本文为提高像素补偿算法对复杂图像的适用性, 进而提高像素补偿图像的显示质量, 基于U-Net网络的编码和解码思想, 提出一种联合分类回归的卷积神经网络区域调光技术, 通过端到端的网络结构直接输出图像的像素补偿结果.通过训练好的网络模型补偿图像有效提高了算法效率, 与传统算法相比, 大大降低了计算量.此外, 本文通过构建补偿数据集的方式来结合不同传统像素补偿算法的优点, 对数据进行增强使网络可以学习到更多的图像边缘细节信息, 通过将交叉熵损失函数和均方误差损失函数相结合, 缩小网络预测结果与样本图像之间的误差, 提高网络预测图像的质量.实验结果表明, 不仅网络预测图像在对比度、峰值信噪比等客观指标有明显提升, 而且图像的主观视觉质量也明显高于对比算法, 表明所提网络的有效性.
参考文献

[1]	Lim K, Wang F X, Li X H, et al. Benefits of emissive display (OLED TV) from a visual perception[J]. SID Symposium Digest of Technical Papers, 2020, 51(1): 76-81.
[2]	Kim S E, An J Y, Hong J J. How to reduce light leakage and clipping in local-dimming liquid-crystal displays[J]. Journal of the Society for Information Display, 2009, 17: 1051-1057. DOI:10.1889/JSID17.12.1051
[3]	Zhang L, Han D, Feng Q B, et al. Image-classification-based global dimming algorithm for led backlights in LCDS[J]. Optics & Laser Technology, 2015, 70: 106-111.
[4]	Shu X, Wu X, Forchhammer S. Optimal local dimming for LC image formation with controllable backlighting[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2013, 22(1): 166-173. DOI:10.1109/TIP.2012.2211371
[5]	Nam H, Song E, Kim S K. Weighted roll-off scheme to remove block artifacts for low power local dimming liquid crystal displays[J]. Optics & Laser Technology, 2014, 58: 8-15.
[6]	张喜条, 吕国强, 姚慧慧, 等. LED分区背光光扩散性能研究[J]. 光电工程, 2014, 7: 72-78. (Zhang Xi-tiao, Lyu Guo-qiang, Yao Hui-hui, et al. Light spread in local-dimming LED-backlight[J]. Opto-Electronic Engineering, 2014, 7: 72-78. DOI:10.3969/j.issn.1003-501X.2014.12.013)
[7]	Liao L Y, Huang Y P, Yeh S C. A real-time image compensation for high dynamic range LCDs[J]. SID Symposium Digest of Technical Papers, 2012, 39(1): 764-767.
[8]	Zhang T, Wang Y F, Wu H Y, et al. High-performance local dimming algorithm based on image characteristic and logarithmic function[J]. Journal of the Society for Information Display, 2019, 27(1/2/3): 85-100.
[9]	Song S J, Kim Y I, Bae J, et al. Deep-learning-based pixel compensation algorithm for local dimming liquid crystal displays of quantum-dot backlights[J]. Optics Express, 2019, 27(11): 15907. DOI:10.1364/OE.27.015907
[10]	Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[J]. Medical Image Computing and Computer-Assisted Intervention, 2015, 9351: 234-241.
[11]	Funamoto T, Kobayashi T, Murao T. High-quality-picture technology for LCD televisions[J]. Matsushita Technical Journal, 2000, 46(3): 12-19.
[12]	Liu Y Z, Zheng X R, Chen J B. Dynamic backlight signal extraction algorithm based on threshold of image CDF for LCD-TV and its hardware implementation[J]. Chinese Journal of Liquid Crystals and Displays, 2010, 25(3): 449-453.
[13]	Lin F C, Liao C Y, Liao L Y. Inverse of mapping function (IMF) method for image quality enhancement of high dynamic range LCD TVs[J]. SID Symposium Digest of Technical Papers, 2007, 38(15): 1343-1346.
[14]	Cho H, Kwon O K. A backlight dimming algorithm for low power and high image quality LCD applications[J]. IEEE Transactions on Consumer Electronics, 2009, 55(2): 839-844. DOI:10.1109/TCE.2009.5174463
[15]	Zhang X B, Liu X, Liu B, et al. A control algorithm of LCD dynamic backlight based on PSNR[J]. Applied Mechanics & Materials, 2013, 241/242/243/244: 3014-3019.
[16]	Chen S L, Tsai H J. A novel adaptive local dimming backlight control chip design based on gaussian distribution for liquid crystal displays[J]. Journal of Display Technology, 2017, 12(99): 1494-1505.
[17]	张涛, 巫红英, 李蒙, 等. 一种提高图像对比度和视觉质量的新型区域背光算法[J]. 工程科学学报, 2017, 39(12): 1888-1897. (Zhang Tao, Wu Hong-ying, Li Meng, et al. A novel local dimming algorithm to improve image contrast and visual quality[J]. Chinese Journal of Engineering, 2017, 39(12): 1888-1897.)
[18]	Zhang T, Du W L, Wang H, et al. A stronger adaptive local dimming method with details preservation[J]. Applied Sciences, 2020, 10(5): 1820-1830. DOI:10.3390/app10051820
[19]	Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1): 62-66.
[20]	张磊. 基于图像分析的液晶显示动态调光问题研究[D]. 合肥: 合肥工业大学, 2015. (Zhang Lei. Research on liquid crystal display dimming issues based on image analysis[D]. Hefei: Hefei University of Technology, 2015. )
[21]	Zhang X B, Wang R, Dong D, et al. Dynamic backlight adaptation based on the details of image for liquid crystal displays[J]. Journal of Display Technology, 2012, 8(2): 108-111. DOI:10.1109/JDT.2011.2165935
[22]	张涛, 潘希豪. 一种基于分段式曲线的液晶像素补偿方法: 2017110775062[P]. 2019-09-27. (Zhang Tao, Pan Xi-hao. A method of LCD pixel compensation based on piecewise curve: 2017110775062[P]. 2019-09-27. )
[23]	Chen L C, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]. Computer Science, 2014, 4: 357-361.
[24]	Horé A, Ziou D. Image quality metrics: PSNR vs. SSIM[C]//20th International Conference on Pattern Recognition, ICPR 2010. Istanbul, Turkey, 2010: 2366-2369.