使用opencv实现深度学习的图片与视频的超分辨率
图片超分辨率
什么是视频与图片的超分辨率，总结一下便是给一张分辨率比较低的图片，进行超分辨率的处理后，生成比较清晰的高分辨率的图片，上图图片完美解释了超分辨率的过程，由于不同的算法不同，处理的结果也不相同，本期我们介绍一下如何进行图片的超分辨率的处理。
· EDSR 模型
图像超分辨率EDSR：Enhanced Deep Residual Networks for Single Image Super-Resolution是 韩国首尔大学研究团队提出的用于图像超分辨率任务的新方法，分别用于增强深度超分辨率网络（enhanced deep super-resolution network，EDSR）和 实现一种新的多尺度深度超分辨率（multi-scale deep super-resolution system，MDSR），其在减小模型大小的同时实现了比当前其他方法更好的性能，分别赢得NTIRE2017超分辨率挑战赛的第一名和第二名。
EDSR的网络结构
EDSR
如上图，和SRResnet相似，在残差块外，不经过relu层，并且去掉正则化层。
Single-scale model
太多的残差块会导致训练不稳定，文中使用了residual scaling的方法，即残差块在相加前，经过卷积处理的一路乘以一个小数scaling factor 0.1，保证训练更加稳定。
Single-scale model
Multi-scale model
多尺度模型，一开始每个尺度都有两个独自的残差块，之后经过若干个残差块，最后再用独自的升采样模块来提高分辨率。
Multi-scale model
关于EDSR的模型，其官方已经训练好了预训练模型，我们可以直接使用OpenCV函数进行模型的加载与使用，接下来直接上代码
这里需要注意的是cv2.dnn_superres函数存在于OpenCV4.4以上以及，需要更新一下自己的OpenCV版本。其函数支持4种模型：
- EDSR
- ESPCN
- FSRCNN
- LapSRN
除了以上4种模型外，OpenCV还提供了bilinear, bicubic 2种方法
import time
import cv2
import os
modelName = 'EDSR_x2.pb'.split(os.path.sep)[-1].split("_")[0].lower()
modelScale = 'model/EDSR_x2.pb'.split("_x")[-1]
modelScale = int(modelScale[:modelScale.find(".")])
print("[INFO] loading super resolution model: {}".format(
'model/EDSR_x2.pb'))
print("[INFO] model name: {}".format(modelName))
print("[INFO] model scale: {}".format(modelScale))
sr = cv2.dnn_superres.DnnSuperResImpl_create()
sr.readModel('model/EDSR_x2.pb')
sr.setModel(modelName, modelScale)代码截图
这里首先我们需要设置一下模型的基础信息，获取模型的名称以及需要放大的倍数，然后使用
cv2.dnn_superres.DnnSuperResImpl_create函数定义一个超分辨率的方法，使用readModel函数对模型进行读取，并使用setModel函数对模型进行设置
image = cv2.imread('comic.png')
print("[INFO] w: {}, h: {}".format(image.shape[1], image.shape[0]))
start = time.time()
upscaled = sr.upsample(image)
end = time.time()
print("[INFO] super resolution took {:.6f} seconds".format(
end - start))
print("[INFO] w: {}, h: {}".format(upscaled.shape[1],
upscaled.shape[0]))代码截图
我们读取一张需要进行处理的照片，并设置一下初始时间与结束时间，以便对比多个模型的处理时间，这里直接使用sr.upsample(image)函数，进行图片的超分辨率操作
start = time.time()
bicubic = cv2.resize(image, (upscaled.shape[1], upscaled.shape[0]),
interpolation=cv2.INTER_CUBIC)
#bicubic = cv2.resize(img, None, fx=scale, fy=scale, interpolation=cv2.INTER_LINEAR)
end = time.time()
print("[INFO] bicubic interpolation took {:.6f} seconds".format(
end - start))
cv2.imshow("Original", image)
cv2.imwrite("Bicubic1.png", bicubic)
cv2.imwrite("Super Resolution1.png", upscaled)
cv2.waitKey(0)代码截图
这里我们同步添加了OpenCV的bicubic以及linear算法，从结果可以看出，OpenCV提供的算法速度很快，但是效果一般
EDSR
LapSRN是2017年在CVPR上发表的超分辨率算法，作者结合传统图像算法拉普拉斯金字塔与深度学习，实现多级超分辨模型，由LR生成不同超分辨率SR。
优点：1）速度快:和FSRCNN差不多，实现了实时重建
2）精度高:LapSRN直接从LR图像提取特征图，用深的卷积层优化上采样过滤器并预测子带残差
二、基本原理：
LapSRN
模型有两个分支，上面是特征提取分支，下面是图像重构分支。
（红色箭头:卷积进行特征提取，蓝色箭头:反卷积提升分辨率，绿色箭头：两张图片逐像素相加）
上层分支即特征提取中，每一级有d个卷积层，再跟随一个2倍的反卷积提升分辨率即图像长宽各扩大一倍，每个反卷积层的输出与两个不同层链接：(1) 重建残差图像的卷积层；(2)s+1层提取特征的卷积层。残差图像（图中黑白图像）和采用相同方式（上采样）提升分辨率的LR图像相加，得到更精细的SR。这样采用逐层递进的方式可以重建出更为清晰的超分辨图像，也因此可以获得不同scale的重构图像。
三、模型框架：
LapSRN
我们修改一下EDSR模型的代码，直接读取LapSRN模型
import time
import cv2
import os
modelName = 'LapSRN_x2.pb'.split(os.path.sep)[-1].split("_")[0].lower()
modelScale = 'model/LapSRN_x2.pb'.split("_x")[-1]
modelScale = int(modelScale[:modelScale.find(".")])
print("[INFO] loading super resolution model: {}".format(
'model/LapSRN_x2.pb'))
print("[INFO] model name: {}".format(modelName))
print("[INFO] model scale: {}".format(modelScale))
sr = cv2.dnn_superres.DnnSuperResImpl_create()
sr.readModel('model/LapSRN_x2.pb')
sr.setModel(modelName, modelScale)代码截图
image = cv2.imread('comic.png')
print("[INFO] w: {}, h: {}".format(image.shape[1], image.shape[0]))
start = time.time()
upscaled = sr.upsample(image)
end = time.time()
print("[INFO] super resolution took {:.6f} seconds".format(
end - start))
print("[INFO] w: {}, h: {}".format(upscaled.shape[1],
upscaled.shape[0]))
start = time.time()
bicubic = cv2.resize(image, (upscaled.shape[1], upscaled.shape[0]),
interpolation=cv2.INTER_CUBIC)
#bicubic = cv2.resize(img, None, fx=scale, fy=scale, interpolation=cv2.INTER_LINEAR)
end = time.time()
print("[INFO] bicubic interpolation took {:.6f} seconds".format(
end - start))
cv2.imshow("Original", image)
cv2.imwrite("Bicubic11.png", bicubic)
cv2.imwrite("Super Resolution11.png", upscaled)
cv2.waitKey(0)代码截图
这里我们只需要修改源代码中的模型文件地址以及模型文件即可，对比来讲LapSRN虽然精度有点欠缺，但是速度很快
[INFO] loading super resolution model: model/LapSRN_x2.pb
[INFO] model name: lapsrn
[INFO] model scale: 2
[INFO] w: 250, h: 361
[INFO] super resolution took 0.700706 seconds
[INFO] w: 500, h: 722
[INFO] bicubic interpolation took 0.001995 secondsLapSRN
处理一张下图的照片仅用0.7s，但是EDSR模型至少需要5S 以上的时间，EDSR虽然精度有改善，但是时间太长，若对时间要求比较紧张的场合，可以考虑使用LapSRN模型来替代。
关于其他模型参考如下图片，其跟EDSR模型类似，但是速度很快，当然要牺牲一些精度，还有其他2种模型，这里不再试运行，感兴趣的小伙伴可以自行尝试，对比效果
SRCNN网络结构
ESPCN网络结构
OpenCV中的dnn_superres模块提供的四种图像超分放大深度学习模型，在实践中用得最多的就是EDSR模型。其他三类模型和OpenCV自带的resize函数视觉上差别并不大，当然也可以直接使用OpenCV提供的bicubic以及bilinear。但是EDSR模型推理速度太慢，2倍放大和4倍放大可以使用ESPCN代替，4倍和8倍放大可以使用LapSRN。其OpenCV官方发布了几种模型的对比如下图
2种模型的速度很快，但精度较差，这里我们主要使用的还是EDSR与LapSRN模型，当然随着深度学习的不断加入，越来越多的算法能够实现超分辨率的效果，当我们遇到比较模糊的照片时，在提高分辨率的同时我们更希望提高图片的清晰度，可以看到以上算法只是提高了图片的分辨率，并没有提高图片的清晰度，下期我们将分享其他的超分辨率的算法。
https://m.toutiao.com/is/iLjn9d26/ 人工智能研究所: 视频动画详解Transformer模型–Attention is all you need.
