图像合成：Multi-scale Image Harmonization

Multi-scale Image Harmonization

在图像合成、拼接、纹理合成等图像处理应用场景中，不仅仅是需要实现背景图像内容间的无缝融合，还需要保证合成图像真实性，前面提到的 泊松融合仅考虑到了图像在融合区域梯度场的约束，能很好的融合背景图像和前景图像的图像内容，但由于前景图像与背景图像本身还存在图像风格、纹理、噪声等方面的差异，得到的融合图像会缺乏真实感，如下图中b所示，在融合区域缺乏背景图像本身的纹理信息，人工合成的痕迹明显，基于此，这篇问题提出了一个多尺度图像融合算法，使得融合后的图像与背景图像在图像风格、纹理、噪声等方面也保持一致，已增加融合结果的真实性。

Overview

记想要协调图像风格的源图像为$I^s$，需要将其融合进去的目标图像为$I^t$，原图像即为前景目标图像，目标图像即为背景图像，由于光线、噪声、后期图像处理等诸多影响图像视觉感知的因素的差异，即使通过无缝的alpha融合或者泊松融合，都难以达到合成后的图像与目标图像在图像风格上的一致，受1995年发表于siggraph的论文《Pyramid-Based Texture Analysis/Synthesis》的影响，试图通过建立图像金字塔来进一步对齐源图像与目标图像的图像风格。
分别建立源图像、目标图像、均匀噪声图像的金字塔，然后通过匹配源图像和噪声图像与目标图像间金字塔对应层级间的直方图，这一步的目的就是协调源图像与目标图像风格，最后从直方图匹配过后的金字塔子带中重建完成图像风格协调的源图像，并用Alpha Matting或者泊松融合，完成对源图像和目标图像的融合。

本文协调算法框架

首先是图像金字塔的分解，本文采用Harr小波分解来构造源图像、目标图像、噪声图像的金字塔，记对应的Harr滤波器为$f_1、f_2、f_3、f_4$，源图像、目标图像的子带系数为：
$$\begin{array}{rl}{B}_i^s& =f_i?I^S\\ B_i^t& =f_i?I^t\end{array}\text{\hspace{1em}(1)}$$
金字塔层数为$n$的话，每个金字塔共有$3n+1$幅子带图像，有$3n$层高频层，1层低频层，在《Pyramid-Based Texture Analysis/Synthesis》一文中已经重点讨论了金字塔内每层子带图像的统计信息与图像外观件的密切关系，因此参照此纹理合成的方法，通过将源图像金字塔子带图像与目标图像做直方图匹配来协调源图像与目标图像存在的风格差异，协调后源图像的子带系数做如下表示：
$$B_i^h=histmatch(B_i^s,B_i^t)\text{\hspace{1em}(2)}$$
上图所示的协调算法框架，输入图像不仅有源图像和目标图像，还有一个噪声图像也需要与目标图像做直方图匹配，这是因为目标图像与源图像之间可能还存在噪声、纹理等细节信息的差异，需要通过匹配噪声图像与目标图像间的直方图来进一步模拟目标图像的噪声、纹理信息，即协调后的子带图像为：
$$T_i^h=B_i^h+N_i^h\text{\hspace{1em}(3)}$$
其中$N_i^h$为直方图匹配后的噪声子带，用于表示目标图像的噪声、纹理信息，最终有$T_i^h$重建协调后的图像：
$$\mathbf{F}{I}^h=T^h?c\text{\hspace{1em}(4)}$$
其中$\mathbf{F}$为构造金字塔使用到的Harr滤波器，$c$为边界约束

合成示意图

Smooth Histogram Matching

如上图所示，原始的直方图匹配容易造成Halo、对比度过度拉伸等问题，为了避免此问题对图像合成的影响，用增益控制的方式对直方图匹配算法进行优化，先用原始的直方图匹配的方式计算匹配后的子带图像$B_i^s$，为确保使用增益进一步修正子带系数的大小而不是改变子带系数的正负，用直方图匹配后子带系数的绝对值计算增益系数：
$$g_i\left(\left|B_i^S\right|\right)=\log \left(\left|B_i^{hist}\right|\right)?\log \left(\left|B_i^S\right|\right)\text{\hspace{1em}(5)}$$
当$g$大于0时，说明直方图匹配增强源图像的子带系数，当$g$小于0时，说明直方图匹配降低源图像的子带系数，基于此，将源图像的子带系数乘以此增益系数的指数次方来实现更平滑的直方图匹配。以上方式相对简单，但未免会带来梯度信息的符号反转，也未能保证增益在空间上的平滑性，因此将各子带内部分别计算增益系数的方式转换为用各尺度下局部领域内总的高频系数计算Activity Map：
$$\begin{array}{rl}{A}_k^s& =N(\sigma )?\sum _{i\in \mathrm{lev}(k)}\left|B_i^s\right|\\ A_k^t& =N(\sigma )?\sum _{i\in \mathrm{lev}(k)}\left|B_i^t\right|\end{array}\text{\hspace{1em}(10)}$$
其中$A_k^s、S_k^t$分别表示被尺度为$\sigma$的高斯核模糊后的Activity Map，这时再用式(6)计算增益系数，得到较为平滑的直方图匹配结果：
$$B_i^h=m_i\hat{G}\left(A_k^s\right)\times B_i^S\text{\hspace{1em}(11)}$$
其中$m_i$为与金字塔尺度相关的尺度因子，与尺度数$n$相关，线性的从最小尺度到最大尺度由1至0.45递减。为进一步保证直方图匹配后的结果不出现伪影，再统计全部尺度下的Activity Map：
$$A_{ag}^s=\sum _{k=1}^n{A}_k^s\text{\hspace{1em}(12)}$$
将$A_{ag}^s$中前$85\%$较小的值置0，后$5\%$的较大值置1，位于$85\%95\%$之间的值线性缩放至0-1之间，并以此作为权重图对协调后的图像$B^h$和源图像进行加权融合，用于消除强边缘处可能存在的伪影，效果如下图所示：

Structure and Noise Matching

如果源图像与目标图像将的纹理形态、噪声形态、噪声强度、模糊程度、局部对比度等影响图像视觉外观的细节信息不匹配，合成的图像看上去依旧是不真实的，我将以上几种细节信息统称为图像的风格信息，为了更好的协调源图像与目标图像间的风格信息，如上图的算法框架所示，在源图像与目标图像的多尺度协调之外，还需要加入噪声图像与目标图像间的协调，用于模拟目标图像的风格信息，首先需要从目标图像中提取处图像的噪声信息：
$$\Omega =A_{ag}^t<\text{ percentile }\left(A_{ag}^t,\beta \right)\text{\hspace{1em}(13)}$$
其中$A_{ag}^t$同$A_{ag}^s$的计算方式相同，$\beta$为用于区分图像结构信息和噪声信息的超参数，记$\Omega$为Low Activity Region，将目标图像$\Omega$区域的高频信息当中所示目标图像的噪声信息，统计其在各个尺度下的直方图，用对噪声图像在对应子带上做直方图匹配，与式(8)相同，也需要计算噪声图像等价于与$\Omega$区域做直方图匹配的增益${\hat{G}}_n$，最后分别得到源图像与目标图像的子带直方图匹配结果$B_i^h$，噪声图像与目标图像的子带直方图匹配结果$N_i^h$：
$$\begin{array}{rl}{B}_i^h& ={\hat{G}}_b\left(A_i^S\right)B_i^S\\ N_i^h& ={\hat{G}}_n\left(\left|N_i^s\right|\right)N_i^s\end{array}\text{\hspace{1em}(14)}$$
最后如式(3)，最终的协调图像为协调后的源图像与协调后的噪声图像之和：
$$T_i^h=B_i^h+N_i^h\text{\hspace{1em}(3)}$$
其中$N_i^h$表示图像的风格信息，$B_i^h$表示图像的结构信息。最后需要注意的是以上协调过程往往需要迭代循环几次。

Pyramid compositing

在每一其他约束条件的情况下，由金字塔重建图像的过程可以做如下表示：
$$?\begin{array}{c}{f}_1\\ f_2\\ ?\\ f_n\end{array}?I^h=?\begin{array}{c}{T}_1^h\\ T_2^h\\ ?\\ T_n^h\end{array}?$$
其他$f$为重建金字塔的Harr滤波器，$I^h$为最终的合成图像，$T^h$为协调后的各子带图像，此时我们还需要将目标图像$I^t$与协调后的合成图像$I^h$进行无缝融合，常用的融合方式用Alpha Matting和泊松融合，绝大部分情况下我们的融合需求都是将用户给定的物体融合进进目标图像的指定区域，如下图所示：

图像融合应用场景示意图：红框内为源图像中要用于图像融合的区域，绿框内为目标图像中的目标区域