基于深度学习的图像修复算法(Transformer、GAN)
本篇文章是针对破损照片的修复。如果你想对老照片进行灰度图上色,色彩复原,请参考这篇CSDN作品👇
基于深度学习的老(旧)照片上色算法模型设计与实现(对抗生成式网络GAN、含Github代码与Web端设计)
如果要做老照片色彩增强,清晰化,划痕修复,划痕检测,请参考这篇CSDN作品👇
老照片(灰白照片)划痕修复+清晰化+色彩增强的深度学学习算法设计与实现
✨ 人脸修复Demo
✨ 建筑&风景修复Demo
- 稍后上传
✨ 网页端效果展示
Web端在线体验地址:稍后公开

研究背景
在图像获取和传输过程中,往往伴随着各种形式的损坏,降低了图像质量和对图像信息的准确解释,一些老照片因为保存不当也会变得存在污渍或者破损缺失。图像修复技术主要用来修复日常生活中被噪声污染或者人为破坏的破损图像,也可应用于替换图像中的小区域或者瑕疵。目前,图像修复工作仍然由经验丰富的图像修复师来完成,让图像修复借助深度学习算法实现自动化日趋成为该领域的发展方向。本课题基于深度学习算法和图像处理技术,设计并开发一款图像修复深度学习算法程序,该算法能够对使用者上传的照片进行自动化分析,修复照片的损坏部分,提高照片的清晰度和观赏性。
介绍
最近的研究表明,在图像修复问题中建立远程相互作用模型具有很高的重要性。为了实现这一目标,现有的方法要么利用独立注意力技术,要么利用Transformer。但是,考虑到计算成本,并且通常需要修复低分辨率下的图像。本课题提出了一种新的基于Transformer的图像修复模型,该模型能够有效处理高分辨率图像。具体来说,本课题设计了一个面向预测像素的Transformer结构模型,结合卷积的上下采样和图像风格迁移技术来实现缺失或者模糊图像的修复。
该模型由以下几个主要部分组成:卷积头、Transformer、卷积尾和风格迁移模块。 卷积头负责从输入图像和掩码中提取视觉标记。它包括四个3*3卷积层,用于更改图像维度和下采样。Transformer是模型的主要组成部分,由五个不同分辨率的Transformer组成。使用多头情境注意力对长距离互动进行建模。 卷积尾用于对输出标记的空间分辨率进行上采样以匹配输入大小。风格迁移模块旨在实现多元化生成并增强输出的多样性。它通过使用额外的噪声输入在重建过程中更改卷积层的权重归一化来操纵输出。该模块还结合了图像条件样式和无噪声样式,以增强噪声输入的表示能力。


🚀 算法获取
- giuhub链接:GitHub链接
- gitee链接:Gitee
运行要求
- 运行算法需要 Python >= 3.6
- 运行GUI界面需要下载QT编译器 5.14.2 版本
- 我提供在 CelebA-HQ 和 Places2 数据集训练好的两个模型,建议使用带有nvidia系列的显卡(比如说1060、3050、3090都是nvidia系列的)
- 如果电脑没有显卡也可以直接调用该模型(通过CPU+内存加载模型),从上述github链接寻找即可。
📌通过运行算法源代码获取检测结果
环境配置
使用conda安装环境
# Clone项目 git clone https://github.com/zxx1218/image_fix.git # 使用conda创建环境 conda create -n imgfix python=3.8 conda activate imgfix # 安装依赖 pip install -r requirements.txt
讯享网
测试图片
方式一:启动Web端交互界面
启动web端(会启动在127.0.0.1:xxxx的本机环回地址下)
讯享网python gradio_demo.py
回车后会自动启动Web服务,在浏览器打开即可访问,在控制台看到如下信息代表成功启动👇

打开http://127.0.0.1:9091,即可使用!👇
模型演示(分控制台演示 && QT界面展示):
通过GUI进行图像修复
- 视频中上传的黑白图中黑色部分代表图片的破损位置,模型会将黑白图完全覆盖在原图上通过未破损位置对破损位置进行修复(待修复图可以是现实具有破损的图片,只需要额外添加一个代表破损位置的黑白图即可)
-
GUI演示V2.0版本

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/117376.html