【从成对的微光实例学习一种简单的微光图像增强器】

Learning a Simple Low-light Image Enhancer from Paired Low-light Instances 2023年CVPR 代码：https: //github.com/zhenqifu/PairLIE

摘要

微光图像增强（LIE）旨在提高在微光条件下拍摄的图像的对比度和恢复细节。以前的大多数LIE算法使用具有几个手工制作的先验的单个输入图像来调整照明。然而，由于单个图像中的信息有限以及手工制作的先验的适应性差，这些解决方案往往无法揭示图像细节。 为此，我们提出了PairLIE，这是一种无监督的方法，可以从微光图像对中学习自适应先验。首先，当两个输入共享相同的图像内容时，期望网络生成相同的干净图像。为了实现这一点，我们将Retinex理论应用于网络，并使两个反射率分量一致。其次，为了帮助Retinex分解，我们建议使用简单的自监督机制来去除原始图像中的不适当特征。 在公共数据集上进行的大量实验表明，与最先进的方法相比，所提出的PairLIE具有更简单的网络和更少的手工先验，实现了相当的性能。

解决什么问题 1、单个图像中的信息有限， 2、手工制作的先验的适应性差，（作者在介绍自己的参考文献中重点介绍了） 这些解决方案往往无法揭示图像细节，

提出了什么方法 提出了PairLIE，这是一种无监督的方法，可以从微光图像对中学习自适应先验。 当两个输入共享相同的图像内容时，期望网络生成相同的干净图像。为了实现这一点，我们将Retinex理论应用于网络，并使两个反射率分量一致。 简单的自监督机制来去除原始图像中的不适当特征

效果怎么样 少的先验和简单的网络，实现相当的效果。

Introduction

在弱光环境下拍摄的图像总是会受到多种失真的影响，例如对比度低、可见性差和传感器噪声。这些低光图像对于信息传输来说是不令人满意的，因为它们在人类可视化和随后的计算机视觉任务中带来了挑战[25]。为了校正对比度、揭示纹理和去除传感器噪声，在过去的几十年里，人们在开发微光图像增强（LIE）算法方面付出了巨大的努力[1，5，6，8，28，35]。

基于直方图和基于Retinex的方法是两种众所周知的LIE技术。前者通过在直方图上重新分布发光强度来增强图像的对比度[3，14]。后者通过I＝L将观察到的图像I分解为照度L和反射率R◦R、 其中◦ 表示按元素相乘[6，13，17]。具体地说，由于R表示物体的物理性质，因此反射率分量R被假设在不同的光照条件下是一致的。由于Retinex理论可以很好地模拟人类视觉的颜色感知，因此基于Retinex的方法在LIE社区中引起了相对更多的关注。 近年来，在开发基于学习的LIE算法方面取得了巨大成功。在这些方法中，大多数解决方案都依赖于弱光和正常光图像成对[33，38]。然而，在现实世界场景中收集高质量的参考地图既耗时又昂贵[32]。为了消除对正常光图像的要求，提出了无监督和零样本LIE方法。具体而言，前者使用一组收集的低光样本训练深度神经网络[7，18]，而后者仅在网络优化中使用测试图像本身[40，41]。由于缺乏参考图像，无监督和零样本LIE方法依赖于手工制作的先验来指导网络训练。然而，由于复杂的自然场景和单个微光图像中的有限信息，这些方法很难获得高质量的结果。 为了解决单个微光图像中信息有限和手工先验适应性差的问题，我们建议利用成对的微光实例来训练LIE网络。我们的解决方案与以前的方法之间的主要区别如图所示。1。注意，获取成对的低光图像将使成像过程复杂化，因为它需要处理两个图像之间的未对准。然而，与收集低光和正常光图像对相比，我们的解决方案更实用。此外，两次曝光图像为解决LIE任务提供了有用的信息。因此，我们的解决方案可以减少对手工先验的需求，并提高网络的适应性。 图1。从Retinex理论的角度比较先前的解决方案（a）和所提出的方法（b）。我们的方法的关键思想是从微光图像对中学习自适应先验。因此，我们的解决方案需要更少的手工先验，并且网络更健壮。请注意，图像对仅在训练阶段使用。 对于成对的低光实例，我们提出了一种新的基于学习的LIE方法，称为PairLIE。我们方法的核心见解是充分利用成对低光图像的先验。因此，我们考虑采用Retinex理论和深度学习将低光图像分解为照明和反射分量。首先，由于两个低光输入共享相同的内容，因此预计估计的反射率分量是一致的。其次，我们采用了一种简单的自监督机制来去除不适当的特征，并在优化后的图像上实现Retinex分解，而不是直接将Retinex分割强加给原始的低光图像。这可以避免次优估计，因为Retinex模型在低光建模中具有局限性。因此，在较少的先验约束和更简单的网络的情况下，所提出的PairLIE在公共LIE数据集中实现了具有竞争力的性能。综上所述，本文的贡献如下： 我们提出了一种使用成对微光图像的通用LIE解决方案。该网络基于Retinex分解，具有几种新颖的无参考损耗。 •为了实现准确的分解，我们首先投影原始图像以去除不适当的特征。 •通过更少的手动设计先验和更简单的网络，所提出的解决方案实现了与最先进的方法相当的性能。 我的问题：

这两个图像与之前的有监督的成对数据集有什么区别，