讯享网
摘要：
尽管在图像-图像转换公式中通过训练一个编码器-解码器网络在图像降雨方面取得了显著的进展，但模糊且缺少细节的结果表明了现有模型的不足。将解雨编码器-解码器网络解释为条件发生器，解码器作为条件发生器对编码器学习的嵌入进行处理，可以将输出结果不理想归结为编码器学习的嵌入质量不高。在这篇文章中，我们假设存在一个内在的映射，从低质量的嵌入到一个潜在的最优嵌入，这样生成器(解码器)可以产生更好的结果。我们提出通过构造残差学习分支来学习这种映射，残差学习分支能够自适应地将残差添加到原始的低质量嵌入表示中。
做了两组实验：
1.去雨后的图------ 去雨后的图PSNR=49.51dB and SSIM=0.9948)
2. 带雨的图---------去雨后的图 (with PSNR=31.67dB and SSIM=0.9195)
原因：
输入图像的不同，输入的差异可以进一步解释为学习嵌入的差异。如果编码嵌入可以学习到更多的细节信息（纹理，颜色），解码器就可以很好的进行复原。
创新点：
具体来说，该模型首先被训练来学习一个描述雨不变性的基本嵌入(与主编码器和解码器一起)。我们假设在潜在的嵌入空间中存在从基本嵌入到最优嵌入的平滑连接，提出用残差学习来学习这种连接。第二步用残差编码学习一个补充的嵌入去修正基本嵌入，来补充一些信息（纹理，颜色）。第三步将基本嵌入和补充嵌入一起微调。
feature equivariance theory：
发现深的表示层的一个网络取决于输入图像的转换,这样转换的映射函数是可以习得的数据和函数可以随后用于操纵一个输入图像的表示(基本嵌入)来实现所 需的转换(从基本嵌入到最优)。
网络主体是Dense-Unet的结构，FUS针对U-Net结构中由于跳跃连接引起特征不兼容问题。损失函数是：
网络训练：
一阶段先用L_pre训练一个基本的MEN-MDE网络和clean-clean的网络，然后有四种不同的训练方式：1.MA_A，代表二阶段只训练REN部分的参数；2.MA_B，二阶段同时更新REN，MDE的参数；3.MA_C，二阶段只训练REN，三阶段再训练MDE；4.MA_D，二阶段只训练REN，三阶段REN，MDE一起微调。
DT：网络整体一起训练，结果得不到保证
实验分析：
验证Skip-Connection和FUS模块的作用
验证四种训练方式+两种网络结构的效果
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/60229.html