Skip to content

Latest commit

 

History

History
executable file
·
33 lines (33 loc) · 2.77 KB

README.zh-CN.md

File metadata and controls

executable file
·
33 lines (33 loc) · 2.77 KB

English | 简体中文

SamAI-CV-ImageFusion

🍧Intro

SamAI-CV-ImageFusion主要是为了解决多源图像聚焦问题,通过构建一个可以区分清晰和模糊图像块的CNN分类模型,再通过融合规则可 实现将不同景深的图像进行融合成信息完整的图像,从而在聚焦方面完成类似HDR方式来实现图像的整体细节信息提升。

🍧Result

如果只是为了查看结果, 在MATLAB中运行 Evaluation/CNN_Fusion/Script.m 即可。 ImageFusion Video Link

🍧RUN

🔖Training

  1. 运行前需要先搭建caffe框架, 我使用的电脑是mac, 没有CUDA, 因此运行模式设为CPU, 这样是很低效的, 建议改成GPU训练速度至少差上百倍以上。修改代码中的路径为自己的路径即可。
  2. 新建sourseImagestrainval三个空文件夹
  3. train文件夹里再新建01两个文件夹
  4. 需要先下载ImageNetILSVRC2012的5万张验证集自然采集图像保存到sourseImages文件夹里
  5. 运行imageInitialize.m生成训练集到train文件夹里的01文件夹里
  6. 运行create_val.m生成验证集图像到val文件夹里
  7. 运行imag2txt.sh生成train.txtval.txt两个文件
  8. 运行create_lmdb.sh生成train_lmdbval_lmdb两个文件夹,里面存放对应的lmdb数据格式文件
  9. 运行time.sh查看网络各个layer所占用的时间,运行draw_net.sh来绘制神经网络
  10. 运行train_net.sh来训练网络,网络日志保存到log文件夹里,model保存到models文件夹里
  11. 生成loss图和accuracy图在log文件夹里进行操作,具体看log文件夹中的README.md
  12. 对于训练最后生成的caffemodel要转换为mat格式才可以在matlab中进行验证导入
  13. 在models文件夹中的load_caffemodel.py文件生成caffemodel.mat
  14. 复制caffemodel.matCNN_Fusion文件夹中的model文件夹即可

🔖Evaluation

将四种图像融合的结果放入PSNR和SSIM这两个文件中,分别与原始图像进行对比即可产生最终评价

  • CNN_Fusion: 是本次项目的验证部分,在matlab中完成实验,运行Script.m即可,其中CNN_Fusion.m是处理模拟网络和图像融合文件
  • DCT: 离散余弦变换的图像融合算法
  • sourceImages: 存放图像融合所用的多聚焦图
  • GFF: 基于导向滤波器的图像融合
  • DWT: 图像融合在matlab中通过wavemanu来生成结果
  • PSNR: PSNR文件夹是运行峰值信噪比评价所用
  • SSIM: SSIM文件夹是运行图像结构相似性评价所用