代写医学科研基金项目申请书
代写音乐体育艺术教学立项书
代写课题研究实施方案计划书
代写发原创职称论文毕业论文
课题开题报告科研立项申请书
代写企业项目申报立项申请书
代写科研课题结题成果报告书
代写科研技术可行性分析报告
科技成果转化项目可行性报告
国家自然科学基金申请书代写
国家社会科学基金申请书代写
提高医药卫生科研课题(省级)申报的中标率
国家社科基金申报经验分享
国家自然科学基金申请书写作攻略
·查新报告 ·结题报告
·医学论文 ·格式规范
·外科医学 ·中初教育
·经济金融 ·药学中医
·行政社会 ·农林食品
·理工基础 ·神经麻醉
·心脑血管 ·内科医学
·护理医教 ·文化文艺
·体育外语 ·机械材料
·法律军事 ·高教职教
·建筑电气 ·基础医学

名称:研友工作室
电话:0760-86388801
手机(微信):13380876598
邮箱:qsxkk@vip.163.com
地址:广东中山市学院路1号
网址: www.zsyy.com.cn
QQ:51643725
微信二维码:

业务联系
案例范本
一种基于卷积神经网络的低光照图像增强方法研究
添加时间: 2022/4/6 20:04:17 来源: 作者: 点击数:

张晓瑞

(安徽三联学院,安徽合肥,230601)

摘要:低照度图像对于机器或者人眼识别会带来较差的识别效果或视觉体验,因此需要对低照度图像进行增强处理。我们希望能够通过对低照度图像进行处理,从而提高图像清晰度,降低图像噪点,凸显图像纹理细节,使计算机视觉系统或者人眼观察有较高的识别准确率,以此满足基于图像识别技术之外的目标跟踪、图像分割与目标物体识别等高级任务需求。基于此本文设计了一种基于卷积神经网络的低照度图像检测算法,该算法通过实验对比,能够有效的提高图像亮度以及图像清晰度,并且能够较好的解决传统图像增强算法经过图像处理后产生的颜色失真和光晕现象。

关键词:卷积神经网络;图像增强;检测算法

中图分类号:TP391.41;TP183

A low illumination image enhancement method based on convolution neural network

Zhang Xiaorui

(Anhui Sanlian University, Hefei, Anhui, 230601)

Abstract: Low-light images will bring poor recognition effect or visual experience for machine or human eye recognition, so low-light images need to be enhanced. We hope that by processing low-illuminance images, we can improve image clarity, reduce image noise, highlight image texture details, and enable computer vision systems or human eyes to have a higher recognition accuracy rate, so as to meet the requirements of image recognition technology. Advanced task requirements such as external target tracking, image segmentation and target object recognition. Based on this, this paper designs a low-illuminance image detection algorithm based on convolutional neural network. The algorithm can effectively improve image brightness and image clarity through experimental comparison, and can better solve traditional image enhancement algorithms after image processing The resulting color distortion and halo phenomenon.

Keywords: Convolutional Neural Network; Image Enhancement; Detection Algorithm

0引言

图像增强处理技术是随着数字图像应运而生的一种新技术手段,通常情况下对数字图像的处理依托于特定算法来执行,主要通过对对比度、噪声等图像关键参数进行调节,并对图像进行一定的锐化、直方图均衡处理等已实现对图像的视觉效果增强的目的。常见的处理算法根据不同场景或者拍摄方式获取的图片的处理需求,主要有图像去雾方向、不均衡曝光调节方向、超分辨率研究方向的多种算法。未经处理的质量较低的图像会使得相关图像算法和计算机视觉系统面临输入质量较差导致运算结果较差的问题出现,从而影响算法准确性或者所得结果的视觉效果[1][2] 因此对数字图像的处理不仅是为了满足人眼视觉查看的需要,也可以解决基于机器视觉识别下其他高级应用场景如自动驾驶、机器人救援、无人机巡检等领域的一系列识别方面的问题。

1卷积神经网络与低照度图像

1.1卷积神经网络

科学家Le Cun[3]1989年第一次提出了“卷积神经网络”这一概念,这其中卷积所表示的含义为一种特征的线性运算方案,普遍应用于类似于图像的网格结构数据;卷积网络是一种新的计算方法,将传统的矩阵乘法运算用一层或多层网络进行卷积运算来代替,从而使得计算过程更快速,可用范围更广泛。

与传统神经网络相比,卷积神经网络最为显著的两个特征为:

1.1.1稀疏连接。传统的神经网络是通过传统的矩阵乘法来对输入目标和输出目标做关系关联分析。对于任一参数矩阵所对应的信息为一个输入单元或者是一个输出单元,也就是说所有的数据分析均需要对应单元的参与。对于卷积神经网络的分析,某一输出单元的获取以某几个输入单元为参考,采用卷积计算方法得到结果输出。目标分析过程中引入卷积神经核计算方法,输入数据量远小于输出数据量,使得有效运算量提高,实际计算效率提升。并且可以使得多层神经元不断堆积,从而使算法滤波器的全局性不断加大

1.1.2权值共享。传统的基于矩阵的神经网络在运算过程中,每一层的输出计算都需要神经网络的权值矩阵来参与,并且只能是单次使用对于卷积神经网络的构建,卷积核的每一个元素均有固定的输入位置,在卷积核上是视觉区域的不断重复。对重复滤波器进行分析检测时可忽略检测目标位置信息对最终分析结果的影响,采用共享权值法可有效降低待学习参数的个数,学习效率得到了显著提升,为CNN算法在视觉领域中的应用奠定了基础。

下图1位一个景点的卷积神经网络[4]的网络结构示意图。在该卷积神经网络模型中,首先将一个32×32的分析图像作为该网络模型的输入值,然后通过该模型的卷积层经过卷积运算提取该图像的图像特征,此时每一个卷积核对应一张特征图。随后,通过下采样层可有效降低网络训练周期以及解决模型过拟合问题对最终检测结果的影响,当进行结果输出时,首先在全连接层的基础上实现特征空间与类别空间的一对一或者一对多的影射。然后通过径向基函数得到一个概率值范围,该范围通常为(0-9),该概率值最大的输出值则为输出层输出的分类结果值。

1 LeNet-5网络结构示例图

2低照度图像模型及形成原理

2.1一般物体成像物理模型

下图2为我们日常可见光的成像原理分析图。

2 物体成像原理图

在上图2中,入射光(也被称为入射分量)通过光源产生后照射到反射物体R上,反射物体R对该分量进行反射后传递给观察者SR对环境光反射的计算可以用反射分量来表示。观察者S通过图像识别后得出经过可见光照射后的反射物体R的影像。因此不难看出反射物体在观察者S处的影响成像关系可以用如下式1来表示:

                    式(1

在上式中,为该反射物体固有的反射属性,该属性反映的是对环境光照的反射程度的强弱,其在图像信息中属于高频部分信息,并且其数值范围分布在区间范围内。为环境光的入射分量,在图像信息中代表的是环境光的光照强度,属于低频部分信息,其数值范围分布在区间范围内。”为图像运算中的像素级运算乘法。因此我们可根据上式1推导出入射分量关系。

因为式(1),于是可得式(2):

                     式(2

又因为,也即是,因此可得出

2.2物体低照度图像的形成原理分析

在反射物体反射环境光的成像过程中,如果反射物体所处环境内环境光照强度较弱,或者因光照角度问题导致的光线分布不均等情况,均会导致最终成像质量的光照度低下,直观表现出的效果就是图片昏暗,甚至色彩失真[6]

低照度图像与正常光照图像的一个判断依据就是直方图密度,当一个图像的直方图密度钱10%低于0.5的图像亮度偏暗时,我们就可以认定该图像为低照度图像,反之则为正常光照图像,如下图3所示。

3光照条件的定义

在上图3中上面一行为图像的RGB图片。其中第一张和第三张图为正常光照图片,第二张和第四张图为地照顾图像。其对应的直方图为第二行图片。

低照度图像有不同的形式,主要可以分为全图低照度以及部分区域低照度。如下图4中的a图就是典型的全图低照度图像,b图则是部分区域低照度图像。

4 两类典型的低照度图像

3卷积神经网络在图像增强算法中的应用

3.1算法描述

Retinex-Net[7]基于传统Retinex算法的思想基础上,对图像进行分解形成的一种新的算法。该算法将图像以数据驱动的形式分解为光照图像I反射图像R两子图像之间的乘积。该算法适合不同光照情况下的图像增强,基于该算法的基本原理笔者对其进行了改进,改进后的算法流程如下图5所示。

5 本文算法流程

3.1.1 卷积神经网络对图像的分解

首先将输入图像进行卷积层特征提取,通过大小为3×3的卷积核来进行第一步处理操作[8]随后在映射层计算中,使用五层网络来将RGB图像进行影射运算,得出反射率与照明度数值,随后将该数值经过一个3×3大小卷积核投影出RI,最后使用S型函数将RI约束在[01]的范围内。

分解网络能够自动分解图像,分解网络的损失函数由三部分组成:重建损失反射图像不变损失函数、光照图平滑损失函数 ,即:

                   式(3

其中为反射图像不变和光照图平滑的系数,本文分别取0.0010.1。重建损失函数如下所示:

         式(4

设计的思路是基于都可以与对应光照图像重建图像。本文0.001

反射图像不变损失函数如下所示:

                   式(5

3.1.2 图像的光照分布特征的调整

如上文所述,当五层网络进行图像增强处理时,需要用到照明增强网络,为解决不同网络层之间因为网络层数较深而招致的梯度小时的问题产生,在此加入跳跃链接,该链接为不同网络层之间搭建跳跃链路。使得网络层之间双向梯度传播效率更高,训练过程更快速[9] 

输入图像为,因为经过本文Decom-Net得到的是相似的,可以利用增强。输入图像首先经过降采样和升采样操作,当图像依次向下采样到小尺度时会获得大尺度图像的光照分布特征,利用这些信息,上采样时可以重建局部光照分布。在此阶段,每层设置643×3大小的卷积核,最后经过11×1大小的卷积核将特征简化后输入13×3大小卷积核的网络重建光照图像。光照图像调整网络的损失函数L由重建损失和光照图平滑损失函数组成。与前文一致,表示生成正常光照图像,具体公式表示如下式所示。

                    式(7

在上面公式中,被定义为的梯度加权系数。

3.1.3反射图像的噪声处理 

传统的Retinex-Net算法对图像的处理方式是采用数据驱动的方式后获取反射图像的方式。这一处理方式的原理还是传统的只对反射图像做了去噪处理,在去噪过程中如果由于图像中不同区域明暗不同导致的噪声分布不均匀或者难以定位噪声的准确区域/位置,就会使得对反射图像的去噪处理效果一般,多数情况下还会有参与噪声无法被去除掉[10]。鉴于卷积神经网络在卷积重建图像上的优势,在此我们对反射图像首先进行卷积操作。该操作选取的反射优化网络借鉴了U-net算法的核心思想。首先在反射优化网络中定义大小分别为7×75×53×3的卷积核,然后在反卷积操作所用的卷积核大小分别取反,这一阶段卷积核数目均为64个,然后通过11×1大小的卷积操作进行图像重建操作,将正常光照图像的反射图像的分量Rnormal作为待处理的低照度图像Rlow的对比参考。并定义损失函数对反射图像优化网络进行优化,该函数公式如下所示

                         式(8

其中,系数分别为0.60.4分别表示如下:

                     式(9

                 式(10

3.1.4基于Retinex方法的图像重建

这一过程本文继续沿用了传统的Retinex方法来进行重建。Retinex基础公式可推到得出经过算法增强后的最终图像,其式如下所示:

              式(11

4实验验证

4.1数据集选择

基于本文设计算法以及传统算法分析效果较好的对图像像素的需求,选择一组像素大小为600*400数值的图像为实验用数据集。首选选取了参考文献[9]中所使用的500组图像作为其中一组数据集。该组数据集的图像是在通过改变相机感光度和曝光时间参数而形成,有一定的代表性;其都是在真实的场景下进行采集拍摄完成后进行相机参数调整后形成的图像。为使得本文的训练模型更加客观准确,达到良好的训练效果,特选取另一组数据集[10],以室内外两种场景下的低对比度和高对比度下的550组图像也做为实验对象参与到本次的实验中。将这两组数据集的1050组图像分割为900组合150组两组数据作为实验数据集,其中900组图像的数据集作为训练集使用,剩下另一组作为测试数据集使用。两组数据集典型代表图像如下图6所示。

6 实验所用数据集

4.2实验分析

本实验主要验证了本人设计的基于卷积神经网络的低光照图像增强算法与传统图像处理算法MSRCRLIME算法,以及基于深度学习技术的图像处理算法GLADNetRetinex-Net[9]这四种算法进行比较。从实验数据集中选取了3张典型图片作为成像对比分析实验图进行对比展示分析,如下图7——图9所示。

7低照度图像增强主观试验一

 在上图7所示的第一组主观实验对比图中,基于MSRCR算法处理过的图像(b)对原图的处理效果,仅仅在亮度方面有所提升,但成像质量较差,突出表现在噪点过多,导致整体图像偏白,并且因为图像噪声的原因导致图像较为模糊;基于 LIME算法处理过的图像(c)相对于b图像来说,噪声影响较少,但还是有人眼可见的噪点。并且亮度方面提升过于明显,导致图像太亮,与自然光成像相比显得较不真实;基于GLADNet算法处理过的图像(d)相较于原图来说,成像色彩较为暗淡,对比图提升效果不明显,色彩饱和度也不够。并且图像细节恢复的较少。基于Retinex-Net算法处理过的图像(e)相较于原图来说,色彩有所失真,并且存在偏色的现象。而且也有部分人眼可见的噪点形成;基于本文设计算法处理过的图像(f)相较于前面几个算法来说,图像中几乎无可见噪点,并且色彩还原度较高,既没有过度渲染,也最大程度的将图片复原成了可见光的效果,并且场景细节均清晰可见。

8 低照度图像增强主观试验二

在上图8所示的主观实验对比图中,基于MSRCR算法处理过的图像(b)虽然在亮度方面有了明显的提升,但是其图像中的元素如天空中的云等有所丢失;基于 LIME算法处理过的图像(c)也在亮度方面将图片恢复成了可见光图像级别的适宜亮度,但是在对比度这一参数上提升的尚且不明显;基于GLADNet算法处理过的图像(d)相对于其他bc两幅图像来说,无论是从亮度还是对比度上均较差,噪声较多,色彩较昏暗;基于Retinex-Net算法处理过的图像(e)在色彩对比度方面提升的较为明显,但在亮度方面提升的较弱,但总体来说成像效果接近于饱和自然光下的成像效果;基于本文设计算法处理过的图像(f)相较于其他图像来说,无论从色彩、亮度以及图像细节等各方面均提升的较为平衡,适中,近乎于可见光的完美成像效果。

9 低照度图像增强主观试验三

在上图9中,我们可以看出基于MSRCR算法处理过的图像(b)存在亮暗不分明,并且伴有较多噪声,使得成像效果较差,人眼可识别度也较低;在基于LIME算法处理过的图像(c)中,其亮度相较于原图以及MSRCR算法处理过的图像有着明显的提升,并且色彩较为饱和。但不足之处在与其对图像边缘的处理上,会产生伪影,并且根据该图的色彩判断,在其他图形的处理上可能会出现过度增强的情况;在基于GLADNet算法处理过的图像(d)中,相对于原图及(b)和(c)图,其图像呈现色彩较为暗淡,并且在边缘、细节等图像高频信息的处理上较为薄弱,亮度相对于前面几种算法也偏昏暗;在基于Retinex-Net算法处理过的图像(e)中,相对于前面几种算法的处理效果,无论从图像清晰度,图像细节以及噪声等方面,都有一定的提高,但是其仍然存在颜色失真、甚至翻转的现象产生;基于本文设计的算法处理过的图像(f),无论在色彩饱和度、图形细节处理、边缘处理以及对比度平衡方面均较为适宜,从人眼可视角度来说是成像效果最好的,也证明了本算法相对于其他算法的优势所在。

5总结

本文依托于传统图像增强处理算法——Retinex,结合卷积神经网络对该算法进行图像重建,设计了一种针对于低照度的数字图像的增强算法。该算法在卷积神经网络算法对图像分解基础上,对光照分布特征的调整以及对图像的噪声进行处理,最后对所得的图像进行图像重建。通过该方法处理后的低照度图像能够最大程度的保留图像信息,得出的图像质量通过实验进行机器识别分析以及人眼测试对比后,相较于传统算法有着明显的图像质量方面的提升。

参考文献

[1]张杰,周浦城,张谦.基于迭代多尺度引导滤波Retinex的低照度图像增强[J].计算机辅助设计与图形学学报,201839(1):1-11.

[2]陈勇,詹帝,刘焕淋.基于物理模型与边界约束的低照度图像增强算法[J].电子与信息学报,201739(12):2962-2969.

[3]江巨浪,王振东,钟伦超,.图像亮度精确控制的双直方图均衡算法[J].电子科技大学学报,2018,47(1):105–111.

[4]李庆忠,刘清.基于小波变换的低照度图像自适应增强算法[J].中国激光,2016,42(2):7175.

[5]蒋建国,侯天峰,齐美彬.改进的基于暗原色先验的图像去雾算法[J].电路与系统学报,202016(2):7-1.2.

[6]孙小明,孙俊喜,赵立荣,等.暗原色先验单幅图像去雾改进算法[J].中国图象图形学报,201919(3):381-385.

[7]张燕,史要涛,武春风,等.基于改进直方图均衡的红外图像对比度增强算法[J].红外,202035(9):43-47.

[8]谢伟,周玉钦,游敏.融合梯度信息的改进引导滤波[J].中国图象图形学报,202021(9):1119-1126.

[9]张杰,周浦城,薛模根.基于方向性全变分Retinex的低照度图像增强[J].计算机辅助设计与图形学学报,2018,30(10):1943-1953.

[10]郭璠,唐琎,蔡自兴.基于融合策略的单幅图像去雾算法[J].通信学报,201935(7):199-207.

关于研友  |  诚聘英才  |  联系我们  |  友情链接
版权所有:@2007-2009 智尚代写联盟-中山研友 电话:0760-86388801 QQ:741287446
地址:广东中山市学院路1号 邮编:528402 皖ICP备06008952号-11
  • 磷酸西格列汀联合阿卡波糖治疗2型糖尿
  • 立项可行性
  • 医学论文投稿邮箱
  • 医学学报医科大学
  • 滋润烧伤膏抑菌性的相关研究
  • 诊疗规范化研究临床观察表
  • 研究生导师通讯录电话
  • 全国政府采购办公室电话负责人通讯录
  • 政府企事业单位相关负责人地址通讯录
  • 四川省政府采购部门通讯录
  • 医学期刊电子版
  • 苏州市哲学社会科学研究课题立项协议书
  • 有效教学实施计划
  • 浙江省社会主义学院立项协议书
  • 广东省医学科学技术研究基金管理办法
  • 国家自然科学基金项目申请书形式审查要
  • 项目实施方案可行性研究咨询报告研友出
  • 中成药农药残留检测研究现状
  • 右旋糖酐铁与乳铁蛋白、维生素联合治疗
  • 肾内科科研项目课题