博客
关于我
IEEE TMM 2020:细化超分辨网络,解决上采样引起的振荡
阅读量:545 次
发布时间:2019-03-09

本文共 1110 字,大约阅读时间需要 3 分钟。

IEEE TMM 2020 论文:用于解决上采样引起振荡的细化超分辨网络

本文介绍了一种基于深度学习的图像超分辨率(SR)方法,提出了“粗到细”卷积神经网络(Coarse-to-Fine CNN, CFSRCNN),用于解决传统上采样方法在训练过程中引起的振荡问题。该方法不仅提升了超分辨率恢复的稳定性,还在性能和计算效率之间实现了良好的平衡。

工作原理

CFSRCNN是一种级联网络结构,主要由特征提取块(FEBs)、增强块(EB)、构造块(CB)和细化块(FRB)组成。网络通过多层特征提取和融合机制,有效捕捉图像的低频和高频特征,确保在上采样过程中不会引入不稳定性。

  • 特征提取与增强:FEBs层采用异构卷积结构,结合局部和全局特征,通过信号传递机制增强特征表达。1x1卷积的设计优化了特征提取效率,同时保留了边缘信息。

  • 残差学习与特征融合:CB层通过融合FEBs和EB的输出特征,利用上采样操作和残差学习技术,捕捉互补的高频和低频信息,减少信息丢失。

  • 细化网络:FRB层进一步细化特征,提取更为精确的SR特征,提升模型的稳定性和恢复效果。

  • 与先前的方法的区别

  • 网络结构优化:CFSRCNN采用异构卷积和3x3/1x1卷积结构,显著降低了网络的深度和复杂度。与流行的RDN和CSFM方法相比,参数量仅为其5.5%和9.3%。

  • 残差学习与特征增强:EB模型使用残差学习技术代替传统的Concat操作,增强了特征的鲁棒性。通过多层堆积平滑了低频特征,防止了像素增强过度。

  • 全局与局部特征融合:CFSRCNN通过上采样操作和残差学习技术,有效结合了图像的全局和局部特征,避免了传统方法中因上采样引起的训练不稳定问题。

  • 实验结果

    CFSRCNN在多个基准数据集(如Set5、Set14、B100、U100、720p)上展现了优异的性能。以下是部分实验结果:

  • 不同缩放因子下的SR性能:CFSRCNN在多个基准数据集上与其他方法进行对比,显著提升了超分辨率恢复的质量和稳定性。

  • 训练时间与复杂度:CFSRCNN的复杂度和训练时间显著低于传统方法,同时保持了高性能。

  • 可视化结果:在Set14和B100等数据集上,CFSRCNN恢复的高清图像质量得到了广泛认可。

  • 贡献

  • 提出了一种结合了LR和HR特征的级联网络结构,有效解决了传统上采样方法引起的训练不稳定问题。

  • 基于异构卷积提出的新型特征融合机制,显著提升了SISR性能,同时保留了图像质量。

  • 在性能和计算效率之间实现了良好的平衡,为超分辨率任务提供了高效的解决方案。

  • 论文与代码链接

    如需更多信息,请访问52CV网

    转载地址:http://eydsz.baihongyu.com/

    你可能感兴趣的文章
    Openlayers高级交互(13/20):选择左右两部分的地图内容,横向卷帘
    查看>>
    Openlayers高级交互(14/20):汽车移动轨迹动画(开始、暂停、结束)
    查看>>
    Openlayers高级交互(15/20):显示海量多边形,10ms加载完成
    查看>>
    Openlayers高级交互(16/20):两个多边形的交集、差集、并集处理
    查看>>
    Openlayers高级交互(17/20):通过坐标显示多边形,计算出最大幅宽
    查看>>
    Openlayers高级交互(18/20):根据feature,将图形适配到最可视化窗口
    查看>>
    Openlayers高级交互(19/20): 地图上点击某处,列表中显示对应位置
    查看>>
    Openlayers高级交互(2/20):清除所有图层的有效方法
    查看>>
    Openlayers高级交互(20/20):超级数据聚合,页面不再混乱
    查看>>
    Openlayers高级交互(3/20):动态添加 layer 到 layerGroup,并动态删除
    查看>>
    Openlayers高级交互(4/20):手绘多边形,导出KML文件,可以自定义name和style
    查看>>
    Openlayers高级交互(5/20):右键点击,获取该点下多个图层的feature信息
    查看>>
    Openlayers高级交互(6/20):绘制某点,判断它是否在一个电子围栏内
    查看>>
    Openlayers高级交互(7/20):点击某点弹出窗口,自动播放视频
    查看>>
    Openlayers高级交互(8/20):选取feature,平移feature
    查看>>
    Openlayers高级交互(9/20):编辑图形(放缩、平移、变形、旋转),停止编辑
    查看>>
    Openlayers:DMS-DD坐标形式互相转换
    查看>>
    openlayers:圆孔相机根据卫星经度、纬度、高度、半径比例推算绘制地面的拍摄的区域
    查看>>
    OpenLDAP(2.4.3x)服务器搭建及配置说明
    查看>>
    OpenLDAP编译安装及配置
    查看>>