压缩图像超分辨率重建算法学习

超分辨率重建是由一幅或多幅的低分辨率图像重构高分辨率图像，如由4幅1m分辨率的遥感图像重构分辨率0.25m分辨率图像，在军用/民用上都有很大应用。目前的超分辨率重建方法主要分为3类：基于插值、基于学习、基于重建的方法，如今已经研究得比较多。但是大多数算法都是对普通图像进行研究，针对压缩图像/视频超分辨率重建的研究比较少。最近查阅部分文献，进行了学习，在此做些总结。

相关的文献：

1、Super-resolution from compressed video

2、Bayesian Resolution Enhancementof Compressed Video

3、RobustWeb Image/Video Super-Resolution

4、Self-Learning-Based Single Image Super-Resolution

of a Highly Compressed Image

算法原理：

文献1/2：文献1/2是同一人写的，该作者就该问题发表了多篇文章，方法基本类似。其思路与常规的基于重建的超分辨率方法类似，都是建立观测模型，根据数据保真项和正则化项建立重建代价函数。不同的是，数据保真项有些变化，因为要考虑压缩图像特有的量化噪声及取整噪声等，而不是通常假设的高斯噪声；此外正则化项也有所不同，需要考虑JPEG图像的块效应等，因此除了常规的约束，要对块边界的高频进行限制。具体内容参看文献。

文献3：这篇文献相对要新点，是2010年的。文章的思路很好理解，先对JPEG压缩图像去块效应，然后超分辨率。在去块效应阶段，作者使用的是自适应PDE正则化方法，同时提出一种自适应确定正则化强度的方法；而在重建阶段，则是采用的基于样例的方法，这个方法相对比较成熟。其实这种两步处理方式并不合理，是不提倡这样处理的，而应该将其放到一起考虑，如文献1/2那样。

文献4：这篇文献采用了稀疏字典的相关方法。对于待重建的图像，首先进行下采样，并将原始图像和下采样图像都用BM3D处理提取低频，相减后得到原始图像和下采用图像的高频（作者认为块效应只存在于高频分量之中，分别获取原始图像和下采样图像的高频是为了训练字典，并且是自训练字典）。检测出高频之后，作者提出将高频分为有块效应块/无块效应块，分别建立字典D1/D2。而对于有块效应字典D1，作者将其原子聚类，认为1部分原子是对块效应做贡献的，另一部分原子则不含块效应，那么对于输入的块，我就只采用不含块效应的原子重建，达到去块效应的目的。

其实这种去块效应的方法，作者写了另一篇文章，EFFICIENT IMAGE/VIDEO DEBLOCKING VIA SPARSE REPRESENTATION，大家可以看一看。看了之后就更好理解这篇关于压缩图像超分辨率的文章，无非就是字典构建的问题。

暂时就这么多，写得不好，各位看官将就看，有问题可以再讨论哦！！！！

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

研究方向：图像压缩、超分辨率、图像去噪、图像复原等图像质量提升技术