光电工程  2018, Vol. 45 Issue (12): 180188      DOI: 10.12086/oee.2018.180188     
可变元素与矩阵理论结合的双模态红外图像拟态融合
吕胜1 , 杨风暴1 , 吉琳娜1,2 , 王向东1     
1. 中北大学信息与通信工程学院,山西 太原 030051;
2. 中北大学电子测试技术重点实验室,山西 太原 030051
摘要:当前双模态红外图像融合在选取融合方法时,缺乏各要素之间的选取与组合的依据,且融合模型不能针对图像差异特征进行动态调整,造成融合效果不佳。针对上述问题,借鉴生物多拟态特性,提出了一种可变元素与矩阵相结合的双模态红外图像拟态融合算法。首先,将融合模型拆分成融合算法、融合规则、融合参数和融合结构相互独立的四部分,分别建立各部分与图像不同差异特征融合效果的单映射关系。其次,利用拟态变换思想,建立拟态变换融合方法,将融合过程所必要的四部分进行组合,从而派生出新的融合算法。最后,利用差异特征不同的源图像对所得拟态融合算法进行验证。实验结果表明,在图像差异特征不同时,利用该算法可以派生出更适合图像特征的融合方法,实现利用图像差异特征从而主动选择并动态调整融合算法的要求,使得所得到的融合图像中的差异特征可以有效融合,显著提高了原始图像视觉效果。
关键词图像融合    红外偏振图像    矩阵理论    动态重构    多级映射    
Infrared intensity and polarization image mimicry fusion based on the combination of variable elements and matrix theory
Lv Sheng1, Yang Fengbao1, Ji Linna1,2, Wang Xiangdong1     
1. School of Information and Communication Engineering, North University of China, Taiyuan, Shanxi 030051, China;
2. Key Laboratory of Electronic Testing Technology, North University of China, Taiyuan, Shanxi 030051, China
Abstract: The current dual-mode infrared image lacks the selection and combination basis of each element when constructing the fusion method, and the fusion model cannot dynamically adjust for the image difference feature, resulting in poor fusion effect. Aiming at the above problems, referring to the multi-parameters of biological characters, this paper proposes infrared intensity and polarization image mimicry fusion based on the combination of variable elements and matrix theory. Firstly, the fusion model was divided into four parts: fusion algorithm, fusion rule, fusion parameter and fusion structure. The single mapping relationship between different parts and the difference of image feature fusion is established. Secondly, using the imaginary transformation idea, the imaginary transformation fusion method was established, and the necessary four parts of the fusion process are combined to derive a new fusion algorithm. Finally, it used the different source images with different features to verify the proposed mimetic fusion algorithm. Experimental results show that when the image difference features are different, the fusion method was more suitable for deriving image features, so as to achieve active selection and adjustment of the fusion algorithm. The different features in the fusion image can be effectively combined, and the visual effect of the original image is significantly improved.
Keywords: image fusion    infrared imaging    matrix theory    dynamic reconstruction    multi-level mapping    

1 引言

红外光强图像主要反映了目标的形状、亮度以及位置信息;红外偏振图像主要反映了目标的边缘和细节信息。二者融合能够更全面描述目标信息,在空间探测、目标识别、安全检测等领域有着重要作用[1-3]。由于场景信息的日益复杂、传统融合算法不能满足两类图像间差异特征的融合需求,无法动态调整融合方法,从而造成融合效果差甚至失效。因此,如何根据不同图像差异特征动态调整融合算法对双模态红外图像融合很有必要[4-6]

针对融合算法的改进,研究人员进行了一系列研究,但是要么对融合规则进行改进、要么对融合参数进行优化、要么采用多算法组合或者在融合结构进行改变,大多数情况都是针对单一部分进行改进,并且不能根据差异特征的改变而主动进行动态调整[7-9]。文献[10]将非下采样剪切波变换与离散小波相结合,这两种融合算法相近,都是主要针对图像间细节特征,不利于其他图像特征的融合。文献[11]将多尺度变换与稀疏表示相结合,主要考虑图像细节特征融合。多算法间协同融合的协同关系难以确定且不能全面考虑图像间主要差异特征。研究人员[12]将DWT、NSCT和改进PCA协同组合融合双模态红外图像,该算法有效地融合了图像细节信息,提高了融合效果,但是没有给出多算法组合的依据。为此,研究人员针对多尺度分解算法进行了相应调整(如融合结构、多算法协同等),目的是为了获得融合效果更好的融合算法。有研究学者[13]以小波变换为研究对象,将融合算法拆分成小波类型、融合规则、融合参数三个独立部分,利用不同组合方式得到上千种融合算法,利用图像特征不同的源图像进行融合训练,得到三部分间的优化组合关系。该方法缺乏考虑融合结构对融合效果的影响,采用单一融合结构具有局限性。本课题组在前期的研究[14]中,利用拟态章鱼多拟态特性[15-16]建立了多尺度分解算法与不同融合规则的优化组合关系。该方法的优势是将不同小波分解扩展到多尺度分解,减小了小波分解的局限性;该方法的不足在于缺乏融合结构对图像差异特征的考虑,所选取的分解算法与融合规则类型较少,局限性较强。上述文献存在共性问题,即均是在拆分成不同要素进行融合模型的选择时缺乏选取依据,并且融合模型不能根据图像差异特征的不同进行动态调整。

为此,本文针对双模态红外图像在构建融合方法时缺乏各要素选取与组合依据且融合模型不能针对图像差异特征而进行动态调整的问题,提出了融合元素与矩阵相结合的双模态红外图像的拟态融合。根据两类图像差异特征类型与融合结构、融合算法、融合规则和融合参数的对应关系,利用建模方法得到针对双模态红外图像的拟态变换融合。该融合方法利用拟态变换的思想动态调整了融合模型中各要素的选择,并且为其组合提供理论依据,以便得到最优融合方法。该方法的提出充分发挥各部分的优势,可以显著提高图像差异特征融合质量,使源图像中的主要差异特征均得到较好融合。

2 拟态变换融合 2.1 拟态变换与拟态融合

拟态是指生物在形态、行为等特征上模拟另一种生物,从而使一方或双方受益的生态适应现象。仿生学是人类认知世界的重要手段,而拟态作为仿生学的一种新途径已经逐步应用到信息领域。邬江兴院士利用该思想发明了世界上首台拟态计算机,通过改变拟态计算机的结构,提升计算效能[17]。图像融合过程与拟态计算过程具有相似之处,借鉴拟态思想提出拟态融合和拟态变换的概念。

拟态融合是指根据拟态章鱼按照生存需求模仿出多种生物的多拟态行为,建立具有多类图像融合算法的变结构模型的一种仿生融合方法,以解决固定融合模型在动态场景、序列图像融合适应性过低的问题。通过感知图像间的差异特征变化,动态映射出较优的融合算法,再将多算法协同内嵌形成相应的融合模型,模型的结构、算法、规则、参数能够根据差异特征的改变从而进行自适应变换。以源图像间差异特征做驱动,利用结构化融合算法集及协同结构的选择派生实现融合方法变化,最终实现拟态融合。拟态融合的目的是提高融合算法的针对性与自适应性。

拟态变换是实现拟态融合的必要过程,建立图像差异特征与融合方法间的动态变换桥梁。融合过程是由相互独立的部分所组成(包括多尺度分解、融合规则、融合结构、融合参数等),其不同部分间的动态可重构是拟态变换的本质,可重构函数是实现拟态变换的工具。根据对拟态章鱼的理论分析[18],通过分析其多拟态特性,与图像融合过程相类比,得出拟态变换应具有以下三种特性:1)结构重构性:应用多维重构、结构化融合算法构建技术,融合方法具备可变结构;模型中各变元、变体和结构等局部或全部随差异特征的变化实时调整。2)动态优化性:针对感知到的差异特征变化,融合方法自适应地更新差异特征类集与融合算法类集间的映射,使差异特征与融合算法间达到更优匹配。3)拟态多样性:有机整合选择的融合算法,通过与拟态机理深度结合运用,融合模型通过各变元间、变体间组合派生出多种融合方法。

2.2 拟态融合各独立要素构建

常用融合算法主要分为空域算法与频域算法,两种算法各有优缺点。本文选择10种典型融合方法(5种空域、5种频域),如表 1所示,分析比较各自优缺点,为得到拟态变换融合方法奠定理论基础。

表 1 本文所选取10种常用融合方法 Table 1 This paper selected 10 fusion algorithms which were commonly used
符号表示 分解算法
T1 离散小波(DWT)
T2 双树复小波(DTCWT)
T3 顶帽分解(Top-hat)
T4 非下采样剪切波(NSST)
T5 非下采样轮廓波(NSCT)
T6 曲线波分解(CT)
T7 鲁棒主成分分析(RPCA)
T8 稀疏矩阵(SR)
T9 金字塔变换(LP)
T10 引导滤波(GFF)

传统的单算法融合已经不能满足复杂场景下的融合需求,多算法组合融合成为现今融合算法的热点。现今常用的融合结构主要有串行结构、并行结构、内嵌结构等。目前对于融合结构的选择缺乏相对完善的选择方法,大多数情况下还是采用人为选择,这种方法的适应性不强,不具有普适性。本文重点研究这三种结构与其他独立部分之间的组合关系,找到可以整合的要素,得到优质融合图像的融合结构选择方法。

融合规则主要应用多尺度分解算法,分为高频融合规则和低频融合规则。由于低频子带主要为结构特征,高频子带主要为细节信息(如边缘、纹理特征等)。本文分别采用四种低频融合规则和四种高频融合规则进行相应的分析,所选择的融合规则如表 2所示。

表 2 本文所选取8种典型融合规则 Table 2 Eight typical fusion rules were selected in this paper
频带 融合规则 符号表示
低频子带 加权平均 L1
邻域归一化梯度 L2
局部能量匹配 L3
区域标准差 L4
高频子带 绝对值取大 H1
局部特征匹配 H2
方向梯度算子 H3
边缘保持 H4

融合参数的选择决定两类图像之间的有效融合程度。不同的融合需要对不同参数进行设定。例如小波分解的分解层数设定不恰当会影响特征的提取效果;多尺度分解算法,融合参数的不同选择可以决定高、低频子带在最终融合图像中存在的比例。融合参数的设置会影响图像差异特征的融合效果。目前融合参数通常是由研究人员的经验人为设定,所以找到一个选取依据进而改变人为设定所带来的不确定性与不准确性很有必要。本文重点研究在串、并行结构和多尺度分解过程中的权重系数的选取。

通过上述分析,将多尺度融合算法拆分成相对独立的四部分,四部分既独立又相关。每部分的选取虽然通过现有经验可以得到相对较好的结果,但是往往根据经验选择仅能使某一部分的选择得到较好的结果。因此找到将融合过程四要素进行关联从而得到整体性的融合算法,得到更为优质的融合图像是本文的重点研究内容。

2.3 拟态融合各独立部分与图像特征间的关系构建 2.3.1 融合算法、融合规则对图像差异特征融合效果

如何描述融合算法、融合规则与图像特征之间的复杂对应关系。主观分析不能进行定量描述,客观分析的定性描述不够。部分融合算法、融合规则虽然在实验中并不能得到最优融合结果,但是依然可以参与整体融合,并得到具有较好融合效果的融合算法。为此,本文提出一种通过客观评价指标与原始图像差异特征相结合的量化评价指标—比较融合度,将不同融合图像的评价指标量化后得出一类具有较好融合效果的元素。具体计算式:

$ {{y}_{i}}=\frac{1}{\underset{\text{1}\le i\le n}{\mathop{\text{max}}}\, \text{(}{{x}_{i}}-\frac{1}{n}\sum\limits_{i=1}^{n}{{{x}_{i}}}\text{)}}\times \left( {{x}_{i}}-\frac{1}{n}\sum\limits_{i=1}^{n}{{{x}_{i}}} \right), $ (1)

其中:xi为不同算法计算所得到客观评价数值,n为融合算法(融合规则)的总数,yi为计算所得比较融合数值。其中,yi >0认为其对应的融合算法所对应的图像特征融合是有效融合,数值越大融合效果越好。yi < 0证明该算法不适合该特征的融合,即为无效融合算法。

本文引用文献[19]实验所用图像对前文所列出的融合算法、融合规则、融合结构利用式(1)进行验证,从而得出其针对不同图像特征(边缘、纹理、亮度)进行有效融合的程度,具体结果如图 1~图 3所示。横坐标为融合算法(常用融合方法、高频规则、低频规则)、纵坐标为量化数值,其中采取信息熵、标准差、边缘强度、平均梯度、清晰度分别验证融合算法对图像不同特征的融合效果,并利用比较融合度进行量化,具体计算公式如式(2)~式(7)所示:

$ E=-\sum\limits_{i=0}^{M}{\sum\limits_{j=0}^{N}{{{P}_{ij}}\text{log}{{P}_{ij}}}}, $ (2)
$ \sigma =\sqrt{\frac{\text{1}}{M\times N}\sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{{{({{P}_{ij}}-\mu )}^{2}}}}}, $ (3)
$ g=\sqrt{s_{A}^{x}{{(i, j)}^{2}}+s_{B}^{y}{{(i, j)}^{2}}}, $ (4)
$ {{\alpha }_{A}}(i, j)=\text{arctan}\left( \frac{s_{A}^{m}{{(i, j)}^{2}}}{s_{B}^{n}{{(i, j)}^{2}}} \right), $ (5)
$ \begin{align} &G=\frac{1}{(M-1)(N-1)} \\ &\ \ \ \ \ \times \sum\limits_{i=0}^{M}{\sum\limits_{j=0}^{N}{\sqrt{\frac{1}{2}\left( {{\left( \frac{\partial f({{x}_{i}}, {{y}_{j}})}{\partial {{x}_{i}}} \right)}^{\text{2}}}+{{\left( \frac{\partial f({{x}_{i}}, {{y}_{j}})}{\partial {{y}_{j}}} \right)}^{2}} \right)}}}, \\ \end{align} $ (6)
$ F=\frac{1}{M\times N}\times \sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{P_{ij}^{2}}}, $ (7)
图 1 10种融合算法对不同图像特征的比较融合度。(a)融合算法针对边缘特征有效融合程度;(b)融合算法针对纹理特征有效融合程度;(c)融合算法针对亮度特征有效融合程度 Fig. 1 Comparison of fusion algorithms for different image features. (a) The fusion degree of fusion algorithm for edge feature; (b) The fusion degree of fusion algorithm for texture features; (c) The fusion degree of fusion algorithm for brightness feature

图 2 4种低频融合规则对不同图像特征的比较融合度。(a)高频融合规则针对边缘特征融合程度;(b)高频融合规则针对纹理特征融合程度;(c)高频融合规则针对亮度特征融合程度 Fig. 2 Comparison of four low - frequency fusion rules for different image features. (a) Fusion of high frequency fusion rules for edge feature; (b) High frequency fusion rules for texture feature fusion; (c) High frequency fusion rules for brightness feature fusion degree

图 3 4种高频融合规则对不同图像特征的比较融合度。(a)低频融合规则针对边缘特征融合程度;(b)低频融合规则针对纹理特征融合程度;(c)低频融合规则针对亮度特征融合程度 Fig. 3 Comparison of four kinds of high frequency fusion rules for different image features. (a) Low frequency fusion rule for edge feature fusion degree; (b) Low frequency fusion rules for texture feature fusion; (c) Low frequency fusion rule for brightness feature fusion degree

其中:E代表图像的信息熵,Pij表示该点像素值,σ代表图像标准差,MN表示图像的大小,μ表示整幅图像的灰度平均值,g代表图像边缘强度,$s_{A}^{x}(i, j)$表示该像素点的边缘强度值,${{\alpha }_{A}}(i, j)$表示该像素点的像素角度,G代表图像平均梯度,$\partial f({{x}_{i}}, {{y}_{j}})/{{\partial }_{{{x}_{i}}}}$表示该像素点的梯度值,F表示图像清晰度。所得到的融合算法、融合规则对于不同图像的比较融合度如图 1~图 3所示。

根据上述三组图像所得有效融合结果,可以建立图像特征与融合算法、融合规则之间的有效融合单映射图,具体如图 4所示。其中A,B,C分别表示图像中的三类常见差异特征,分别是:边缘特征、纹理特征、亮度特征,T(i)、L(i)、H(i)分别表示融合算法、低频融合规则、高频融合规则。

图 4 融合算法、(低频、高频)融合规则有效融合单映射图。(a)融合算法针对图像缘特征有效融合树形图;(b)低频融合规则针对图像特征有效融合树形图;(c)高频融合规则针对图像特征有效融合树形图 Fig. 4 Fusion algorithm, (low frequency, high frequency) fusion rule effective fusion mapping. (a) The fusion algorithm is effective for the image edge feature; (b) The low frequency fusion rule is an effective fusion map for image features; (c) The high frequency fusion rule is an effective fusion map for image features
2.3.2 融合结构对图像特征融合影响

不同融合结构都有其适用范围,本文利用控制变量法对三种融合结构进行实验,得出不同融合结构的优缺点。本文选择非下采样剪切波变换(non-sample shear wave transformation, NSST)、双树复小波变换(double tree complex wavelet transform, DTCWT)以及主成分分析(principal component analysis, PCA)分别利用串行、并行、内嵌(不考虑内嵌顺序)结构进行实验(其中,串行顺序为NSST、DTCWT、PAC,低频子带统一采用加权平均,高频子带统一采用取大法分别融合;内嵌顺序为先NSST,然后DTCWT分别分解高低频,利用PCA分别处理高低频子带,然后低频子带采用加权平均,高频子带采用取大法分别融合),具体实验结果如图 5所示,采用客观评价指标对融合结果进行评价。其中,利用边缘强度、空间频率、标准差分别验证融合图像的边缘特征、纹理特征、亮度特征。

图 5 融合结构有效性实验结果。(a1)红外光强;(b1)红外偏振;(c1)串行;(d1)并行;(e1)嵌接;(a2)红外光强;(b2)红外偏振;(c2)串行;(d2)并行;(e2)嵌接 Fig. 5 Experimental results of fusion structure validity. (a1) Infrared light intensity; (b1) Infrared polarization; (c1) Serial; (d1) Paralle; (e1) Embedded; (a2) Infrared light intensity; (b2) Infrared polarization; (c2) Serial; (d2) Parallel; (e2) Embedded

根据表 3表 4结果可以看出,采用内嵌式融合结构对于边缘特征、纹理特征、亮度特征融合效果较其他几种融合结构融合效果较好,可以看出协同式结构对于这三类图像特征的融合比较敏感,可以得到较好的融合效果。串行式结构可以对源图像没有提到的图像特征进行二次提取,不足之处在于所选用的方法对于同一特征较为敏感导致其他特征的提取效果大减;并行式结构的优势在于可以根据不同融合算法的优势自主设定不同算法所得融合图像在最终融合图像中所占的权值大小,缺点是目前还没有一种较为完备的权值确定方法,只能依靠人为经验;嵌接式融合结构其优势可以将具有互补性的方法进行相应的组合嵌接成大的融合体系,对于高低频融合均有较好的提取效果,缺点是目前缺乏选择互补性算法的组合依据。

表 3 图 5第一组实验图像客观评价数据 Table 3 The first group of experimental images objective evaluation data of Fig. 5
串行式 并行式 内嵌式
信息熵 5.9839 6.4447 6.3264
标准差 22.3249 29.5242 28.4864
边缘强度 32.9473 44.3017 39.4146
平均梯度 3.1386 4.3687 3.8671
清晰度 3.3716 4.5031 4.1631

表 4 图 5第二组实验图像客观评价数据 Table 4 The second group of experimental images objective evaluation data of Fig. 5
串行式 并行式 内嵌式
信息熵 6.3279 6.5748 6.1010
标准差 24.9810 28.2811 23.0067
边缘强度 74.2576 85.5542 58.1074
平均梯度 7.3283 8.4076 5.8732
清晰度 8.5158 9.9143 6.5736
2.4 多级映射优化

根据2.3所建立单映射关系,可以清晰地看出每一部分与图像特征之间的独立关系,但是不能得到各部分间的关系,对此,可以将上述单映射图进行优化,得到多级映射,具体结果如图 6所示。图中,A、B、C分别代表边缘差异、纹理差异、亮度差异;T1~T10代表融合算法;L1~L4代表低频融合规则;H1~H4代表高频融合规则;S1~S3分别代表串行、并行、内嵌融合结构;(0.2,0.9)为融合参数;F为最终融合图像。“实线”代表针对边缘差异特征较好的路径,“虚线”代表针对纹理差异特征较好的路径,“点线”代表针对亮度特征较好的路径,由三种路径共同组合成三种算法就可以得到针对三种图像特征的最优融合图像。其中,图中所提到的最短路径不是传统意义上的最短,而是每一部分组合的最优解,对每一路径设定一个有效融合值,融合效果越好值越大,反之则越小。

图 6 优化后所得整体决策树图 Fig. 6 Optimized multi-set value mapping
3 拟态变换原理 3.1 拟态变换

拟态变换是具有感知和认知信息差异特征的可组合的结构算法类集,选择派生子结构算法类集或子结构算法集的方式称为融合模型的拟态变换。拟态变换的核心问题是信息处理的过程中,根据不同的信息处理方法,可以拆分成相对独立的可逆变元组合关系,进而通过拟态变换建立其各相对独立可逆变元组之间的对应关系,从而协同派生出新的处理方法。拟态变换的函数化描述式:

$ \begin{align} & \varphi :U(\mathit{\boldsymbol{W}}(\Theta ({{w}_{1}}, ..., {{w}_{n}})) \\ & \ \ \ \ \wp \mathit{\boldsymbol{P}}(\Theta ({{p}_{1}}, ..., {{p}_{m}})) \\ & \ \ \ \ \wp \mathit{\boldsymbol{Q}}((\Theta ({{q}_{1}}, ..., {{q}_{l}}))...) \\ & \ \ \ \ \to \mathit{\boldsymbol{V}}({{v}_{1}}, ..., {{v}_{k}}), \\ \end{align} $ (8)

其中:该变换的定义域为各种变体的可逆变元组合的集合UWPQ等表示在拟态变换过程中各独立可逆变元的组合,且为多维向量;值域为各独立可逆变元经历拟态变换后其各部分可变结构协同组合形成的新形态或结构,其集合为V,其中Vk维向量,k的取值与不同信息处理方法中可独立变换的可逆变元组的数量有关;Θ为各独立变元组的取变元符(取多维向量中的一个或多个元素);$\wp $为变元间组合符;→为派生符(派生新形态或结构)。

3.2 面向双模态红外图像的拟态变换

利用矩阵的方法,将图 6中的多级映射关系转化成最大流问题,通过遍历每个节点得到所有路径,并且根据式(1)的计算结果给每条路径设定一个值,就可以将上述树形图转化成多个矩阵,达到定量描述的目的,所得到结果方便计算,更具有客观性。具体转化结果如式(9)所示。

$ \begin{matrix} \mathit{\boldsymbol{S}}=\left[ \begin{matrix} 0 & 1 & 1 \\ 0 & 1 & 1 \\ 0 & 1 & 1 \\ \end{matrix} \right], \ \mathit{\boldsymbol{T}}=\left[ \begin{matrix} \text{0} & \text{0} & \text{0} & \text{1} & \text{1} & \text{0} & \text{0} & \text{1} & \text{0} & \text{1} \\ \text{0} & \text{1} & \text{0} & \text{1} & \text{1} & \text{1} & \text{0} & \text{0} & \text{0} & \text{1} \\ \text{0} & \text{0} & \text{1} & \text{1} & \text{0} & \text{0} & \text{1} & \text{0} & \text{1} & \text{1} \\ \end{matrix} \right], \\ \mathit{\boldsymbol{L}}=\left[ \begin{matrix} 0 & \text{0} & \text{1} & 1 \\ 0 & \text{1} & 1 & 1 \\ 1 & 0 & 1 & 0 \\ \end{matrix} \right], \ \mathit{\boldsymbol{H}}=\left[ \begin{matrix} \text{0} & 1 & 0 & \text{1} \\ 0 & \text{1} & 1 & \text{0} \\ \text{1} & \text{0} & \text{0} & \text{1} \\ \end{matrix} \right], \\ \end{matrix} $ (9)

其中:STLH分别代表结构有效融合矩阵、算法有效融合矩阵、低频规则有效融合矩阵、高频规则有效融合矩阵。矩阵中每一行对应一种图像特征,每一列对应一种算法(结构、规则),其中0代表该方法对该特征为无效融合,1为有效融合。设定F为整体有效融合矩阵。根据矩阵乘法计算法则,由此可知所得结果中,每一行数值越大,证明其对应的图像特征的融合效果越好,反推回四个原始矩阵,通过计算得到具体有效元素,找到针对不同图像特征的有效融合方法。具体计算如式(10)所示,式(11)为计算结果。

$ \mathit{\boldsymbol{F}}={{({{(\mathit{\boldsymbol{S}}\times \mathit{\boldsymbol{T}})}^{\text{T}}}\times \mathit{\boldsymbol{L}}\times {{\mathit{\boldsymbol{H}}}^{\text{T}}})}^{\text{T}}}, $ (10)
$ \mathit{\boldsymbol{F}}=\left[ \begin{matrix} \text{0} & \text{3} & \text{3} & \text{6} & \text{3} & \text{3} & \text{3} & \text{0} & \text{3} & \text{6} \\ \text{0} & \text{4} & \text{4} & \text{8} & \text{4} & \text{4} & \text{4} & \text{0} & \text{4} & \text{8} \\ \text{0} & \text{3} & \text{3} & \text{6} & \text{3} & \text{3} & \text{3} & \text{0} & \text{3} & \text{6} \\ \end{matrix} \right]。$ (11)

由式(11)可以看出每一行均有一个最大值,也就对应的所有独立部分有效融合的总和,从而可以找到四个部分最优的组合方式,得到最优的融合结果。

3.3 拟态变换定理

根据3.2的分析,可以将这一计算方法进行相应推广,使每一部分的算法(结构、规则)更多,针对的图像特征更广泛,找到更具有一般性质的关系,从而得到面向红外偏振与光强图像的拟态融合定理,具体定理如下所示:

给定四个矩阵(融合结构、融合算法、高频融合规则、低频融合规则)STHL和融合参数α1α2(α1+α2=1),图像特征为m个,则四个矩阵的维度分别为$m\times s$$m\times t$$m\times l$$m\times h$(Z为过渡矩阵,矩阵维数与上次矩阵乘法维度有关,解决矩阵不能相乘问题,矩阵内元素全部为1);矩阵中每一个元素的数值由有效融合度(式(1)进行计算),其数值通常在(0,1)区间内(小于0时按0处理),则建立四部分之间的有效组合关系计算所得:

$ \mathit{\boldsymbol{F}}=({{\mathit{\boldsymbol{S}}}^{\text{T}}}\times \mathit{\boldsymbol{T}}\times \mathit{\boldsymbol{Z}})\times {{\alpha }_{1}}\mathit{\boldsymbol{L}}\times \mathit{\boldsymbol{Z}}\times {{\alpha }_{2}}\mathit{\boldsymbol{H}}\times \mathit{\boldsymbol{Z}}。$ (12)

通过所得到的矩阵F中数值大小可以显著得出哪几个组合为有效融合,从而派生出新的融合算法。本文算法流程图如图 7所示。

图 7 本文算法流程图 Fig. 7 The algorithm flow chart
4 实验结果与分析 4.1 实验图像差异特征提取

实验所用图像如图 8所示,其中(a1)、(b1)、(c1)、(d1)为为红外光强图像,(a2)、(b2)、(c2)、(d2)为红外偏振图像。图 8(a)图 8(b)图像为本实验室拍摄,图 8(c)图 8(d)为文献[20]、[21]中的图像。对原始图像的九种差异特征进行提取,分别是标准差、粗糙度、Tamura纹理对比度、对比度、均值、空间频率、互信息、平均梯度、信息熵,如表 5所示。对提取的特征进行分析,找出原始图像的主要差异特征。

图 8 实验所用原始图像 Fig. 8 The original images used in the experiment

表 5 提取的差异特征结果 Table 5 The results of the extracted different features
标准差 粗糙度 Tamura 对比度 均值 空间频率 互信息 平均梯度 信息熵
(a1), (a2) 18.915 93.786 19.485 99.633 78.892 5.521 10.939 3.243 2.168
(b1), (b2) 1.378 107.65 4.5292 838.26 18.8577 26.0025 2.0156 7.163 0.4922
(c1), (c2) 3.5946 174.82 4.1135 504.96 84.2842 21.9329 6.1891 7.5285 0.4183
(d1), (d2) 16.612 117.21 5.4451 121.96 75.0349 4.8222 6.4946 1.3428 0.7690

利用式(13)对上述实验结果进行归一化处理,判断图像的主要差异特征。

$ D=\frac{{{N}_{i}}-{{N}_{\text{max}}}_{i}}{{{N}_{\text{max}}}_{i}}, $ (13)

其中:D表示量化后的差异特征值,Ni表示没有量化的差异特征,Nmax表示上述四组结果中同一差异特征的最大值。得到归一化后的数值如表 6所示。

表 6 归一化后的差异特征结果 Table 6 The results of the normalized different features
标准差 粗糙度 Tamura 对比度 均值 空间频率 互信息 平均梯度 信息熵
(a1), (a2) 0 -0.463 0 -0.881 -0.064 -0.788 0 -0.569 0
(b1), (b2) -0.927 -0.384 -0.768 0 -0.776 0 -0.818 -0.822 -0.773
(c1), (c2) -0.810 0 -0.789 -0.398 0 -0.156 -0.434 0 -0.807
(d1), (d2) -0.121 -0.329 -0.721 -0.885 -0.110 -0.815 -0.406 -0.049 -0.645

根据式(7)所示,表 6中数值越接近0,证明该特征为图像的主要差异特征。从表 6中可以得出,第一组源图像的亮度和纹理特征以及信息量为主要差异特征;第二组源图像的亮度和纹理特征为主要差异特征;第三组源图像的纹理、边缘和亮度为主要差异特征;第四组源图像的亮度、边缘和信息量为主要差异特征。

4.2 融合结果分析

利用图 8中四组源图像进行对比实验验证本文所得到拟态变换定理的有效性,具体实验结果如图 9所示。其中,第1列(图 9(a1)9(b1)9(c1)9(d1))为红外光强图像,第2列(图 9(a2)9(b2)9(c2)9(d2))红外偏振图像;第3~5列为对比实验,采用的算法分别为PCA(空域融合代表,方法1),NSCT(频域融合代表,方法2),采用拟态变换得到相对较优的融合方法(方法3),具体方法为${{S}_{\text{2}}}-{{T}_{\text{2}}}-{{T}_{\text{3}}}-{{T}_{\text{8}}}-{{L}_{\text{3}}}-{{H}_{\text{3}}}$;第6列为采用拟态变换所得到的最优融合方法(方法4)。其中,图 9(a6)${{S}_{3}}-{{T}_{4}}-{{T}_{5}}-{{T}_{10}}-{{L}_{2}}-{{H}_{4}}$组合方法;图 9(b6)${{S}_{3}}-{{T}_{4}}-{{T}_{5}}-{{T}_{10}}-{{L}_{2}}-{{H}_{4}}$组合方法;图 9(c6)${{S}_{3}}-{{T}_{4}}-{{T}_{5}}-{{T}_{\text{7}}}-{{L}_{\text{4}}}-{{H}_{4}}$组合方法;图 9(d6)${{S}_{3}}-{{T}_{4}}-{{T}_{5}}-{{T}_{\text{7}}}-{{L}_{\text{4}}}-{{H}_{4}}$组合方法。

利用客观评价指标对四组实验结果进行评价,信息熵评价图像的信息量;标准差评价图像的亮度特征;边缘强度评价图像的边缘特征;空间频率评价图像的纹理特征。所有客观评价结果越高证明融合效果越好,如表 7所示。通过表 7可以清晰的看出采用本文融合算法得到的融合图像客观评价指标普遍高于对比实验方法,进而验证了拟态变换定理的有效性。其中提高率为本文所提算法(其中第6列与三组对比实验中客观评价数值最大的提高率。

表 7 图 9客观评价数据 Table 7 Objective evaluation data of Fig. 9
图 9(a) 图 9(b)
(a3) (a4) (a5) (a6) 提高率/% (b3) (b4) (b5) (b6) 提高率/%
信息熵 6.9211 6.3210 6.8033 7.0297 1.57 7.1666 6.9668 7.2179 7.4122 2.69
标准差 29.8745 41.0471 27.5344 42.4889 3.51 51.2216 41.0466 51.1249 65.9690 28.97
边缘强度 64.0902 54.1903 69.0921 70.9012 2.62 109.893 95.3092 123.490 124.920 1.16
平均梯度 9.1023 6.8931 9.5870 9.6891 1.06 20.9031 18.3290 24.0912 24.8901 3.32
对比度 18.1619 18.3672 20.7563 22.4092 7.96 46.2368 45.0392 45.5714 41.9021 -9.38
图 9(c) 图 9(d)
(c3) (c4) (c5) (c6) 提高率/% (d3) (d4) (d5) (d6) 提高率/%
信息熵 6.4939 6.3939 7.4952 7.5349 0.53 6.6595 6.7921 6.6012 7.0330 3.55
标准差 24.4735 55.5952 24.4569 55.0460 -0.99 28.4196 38.0187 27.3650 42.6571 12.20
边缘强度 48.0488 25.8891 46.1415 53.6570 -0.01 61.2338 22.5390 52.8918 60.4923 -1.21
平均梯度 4.7537 2.4337 4.8260 4.9316 2.19 5.9640 2.1784 5.2294 5.6973 -4.47
对比度 5.6069 5.6285 5.7833 5.8560 1.26 6.1640 4.0435 6.1783 6.7071 8.56

图 9可以看出,第3~6列分别为方法1~4。方法1融合的图像部分出现亮度过饱和情况,导致偏振信息融合较少;方法2融合的图像整体偏暗,但是边缘、纹理信息较好,亮度信息融合不好,证明红外光强信息融合较少,对原始图像低频信息的提取不够;方法3融合的图像造成局部模糊,边缘信息不明显;方法4融合的图像在亮度、纹理、边缘特征的融合上都取得了比较好的融合结果。

图 9 实验结果 Fig. 9 Experimental results

表 7可看出,方法4在大部分情况下都得到了最优结果,但还存在一些例外。第3组实验(图 9(c))的标准差不是最高,但是优于其他两种方法;第4组(图 9(d))实验中的边缘强度和平均梯度数据均仅次于最高。造成这三个指标融合效果不是最好的主要原因如下:

1) 可能是因为在提取原始图像主要差异特征时,提取不完整,造成使用拟态变换定理选择融合方法的时候所设定的权值大小存在一定的偏差;2)所采用的融合方法和规则太少,因此利用式(1)所计算得到的有效融合度普遍不高,造成了这一问题的发生。

但是在绝大多数情况下,所得融合图像的融合效果还是比较好的,也证明了本文所提出的拟态变换图像融合方法具有一定有效性。

5 结论

本文通过建立红外光强与偏振图像差异特征与融合方法各部分融合性能之间的关系,提出了面向红外光强与偏振图像融合的拟态变换融合方法。该方法的提出解决了:1)图像融合过程中融合方法不能随差异特征变化而动态变化的问题。2)源图像主要差异特征不同时,融合方法动态选择具有针对性的融合方法从而使主要差异特征得到融合,极大提高了融合图像的质量。实验结果表明,本文所建立的拟态变换定理针对图像间亮度、边缘、细节等主要差异特征可以得到很好的结果。通过对比实验,得到的融合图像具有更好的视觉效果,边缘明显且细节特征丰富,从而验证了拟态变换融合方法的有效性。

参考文献
[1]
Yang F B, Lin S Z, Wang X X. Infrared Physics and Technology[M]. Beijing: Publishing House of Electronics Industry, 2014: 257.
杨风暴, 蔺素珍, 王肖霞. 红外物理与技术[M]. 北京: 电子工业出版社, 2014: 257.
[2]
Jiang H L, Jiang L, Fu Q, et al. Discussion of the polarization spectral imaging observations technology with space debris[J]. Journal of Deep Space Exploration, 2015, 2(3): 272-277.
姜会林, 江伦, 付强, 等. 空间碎片偏振光谱成像探测技术研究[J]. 深空探测学报, 2015, 2(3): 272-277 [Crossref]
[3]
Moonon A U, Hu J W. Multi-focus image fusion based on NSCT and NSST[J]. Sensing and Imaging, 2015, 16(1): 4. [Crossref]
[4]
Li X M, Huang Q C. Target detection method for infrared polarization image in the background of desert[J]. Infrared Technology, 2016, 38(9): 779-782.
李小明, 黄勤超. 沙漠背景下红外偏振图像目标检测方法[J]. 红外技术, 2016, 38(9): 779-782 [Crossref]
[5]
Wang X, Liang J A, Long H B, et al. Experimental study on long wave infrared polarization imaging of typical background and objectives[J]. Infrared and Laser Engineering, 2016, 45(7): 0704002.
王霞, 梁建安, 龙华宝, 等. 典型背景和目标的长波红外偏振成像实验研究[J]. 红外与激光工程, 2016, 45(7): 0704002 [Crossref]
[6]
Yue Z, Li F M. Polarization image fusion algorithm based on wavelet transform[J]. Journal of Applied Optics, 2014, 35(2): 321-326.
岳振, 李范鸣. 一种基于小波变换的红外偏振融合算法[J]. 应用光学, 2014, 35(2): 321-326 [Crossref]
[7]
Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. [Crossref]
[8]
Ma J Y, Chen C, Li C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]. Information Fusion, 2016, 31: 100-109. [Crossref]
[9]
Yang F B, Wei H. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]. Infrared Physics & Technology, 2013, 60: 235-243. [Crossref]
[10]
Amolins K, Zhang Y, Dare P. Wavelet based image fusion techniques-an introduction, review and comparison[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2007, 62(4): 249-263. [Crossref]
[11]
Zhou Q, Zhao J F, Feng H J, et al. Infrared polarization image fusion with non-sampling shearlets[J]. Journal of Zhejiang University (Engineering Science), 2014, 48(8): 1508-1516.
周强, 赵巨峰, 冯华君, 等. 非下采样剪切波的红外偏振图像融合[J]. 浙江大学学报(工学版), 2014, 48(8): 1508-1516 [Crossref]
[12]
Zhang L, Yang F B, Ji L N, et al. Multiple-algorithm parallel fusion of infrared polarization and intensity images based on algorithmic complementarity and synergy[J]. Journal of Electronic Imaging, 2018, 27(1): 013029. [Crossref]
[13]
Sappa A D, Carvajal J A, Aguilera C A, et al. Wavelet-based visible and infrared image fusion: a comparative study[J]. Sensors, 2016, 16(6): 861. [Crossref]
[14]
Lv S, Yang F B, Ji L N. Dual-mode infrared image fusion based on the optimized combination of multi-scale decomposition and fusion rules[J]. China Sciencepaper, 2017, 12(2): 161-167.
吕胜, 杨风暴, 吉琳娜. 多尺度分解算法与融合规则优化组合的双模态红外图像融合[J]. 中国科技论文, 2017, 12(2): 161-167 [Crossref]
[15]
Tomita M, Aoki S. Visual discrimination learning in the small octopus Octopus ocellatus[J]. Ethology, 2014, 120(9): 863-872. [Crossref]
[16]
Hanlon R T, Watson A C, Barbosa A. A "Mimic octopus" in the atlantic: flatfish mimicry and camouflage by Macrotritopus defilippi[J]. The Biological Bulletin, 2010, 218(1): 15-24. [Crossref]
[17]
Wu J X. Meaning and vision of mimic computing and mimic security defense[J]. Telecommunications Science, 2014, 30(7): 2-7.
邬江兴. 拟态计算与拟态安全防御的原意和愿景[J]. 电信科学, 2014, 30(7): 2-7 [Crossref]
[18]
Yang F B. Research on theory and model of mimic fusion between infrared polarization and intensity images[J]. Journal of North University of China (Natural Science Edition), 2017, 38(1): 1-8.
杨风暴. 红外偏振与光强图像的拟态融合原理和模型研究[J]. 中北大学学报(自然科学版), 2017, 38(1): 1-8 [Crossref]
[19]
Zhang L, Yang F B, Ji L N, et al. A categorization method of infrared polarization and intensity image fusion algorithm based on the transfer ability of difference features[J]. Infrared Physics & Technology, 2016, 79: 91-100. [Crossref]
[20]
Chen M S. Image fusion of visual and infrared image based on NSCT and compressed sensing[J]. Journal of image and Graphics, 2016, 21(1): 39-44.
陈木生. 结合NSCT和压缩感知的红外与可见光图像融合[J]. 中国图像图形学报, 2016, 21(1): 39-44 [Crossref]
[21]
Luo J, Kong W W, Liu R. An infrared and visible image fusion method based on NSST and region growing algorithm[J]. China Sciencepaper, 2016, 11(14): 1673-1678.
罗杰, 孔韦韦, 刘睿. 基于NSST和区域生长的红外与可见光图像融合算法[J]. 中国科技论文, 2016, 11(14): 1673-1678 [Crossref]