遥感信息
综述 2011. 1
遥感图像融合的研究现状、困境及发展趋势探讨
孙洪泉 , 窦闻 , 易文斌
( 北京师范大学资源学院, 北京100875; 东南大学交通学院, 江苏南京, 210096)
摘要:从像素级、特征级和决策级遥感图像融合的角度, 概述了遥感图像融合的研究现状处于瓶颈发展时期。提出遥感图像融合研究的三方面主要困境:缺乏统一的融合理论框架作指导; 缺乏面向应用的融合算法设计; 融合数据源的选择没有针对性, 缺乏针对不同传感器数据和不同分辨率的融合研究。指出目前遥感图像融合研究在特征级和决策级融合, 多角度融合, 数据预处理精度, 以及不确定性分析方面的研究不足。最后, 提出了未来遥感图像融合的发展趋势和研究热点。
关键词:遥感; 图像融合; 融合理论框架; 尺度选择; 多角度; 面向应用; doi:10. 3969/j. issn. 1000-3177. 2011. 01. 021
中图分类号:T P79 文献标识码:A 文章编号:1000-3177(2011) 113-0104-05
A Discussion on the Status, Dilemmas and Tendencies of
Remotely Sensed Image Fusion Research
SU N H ong quan , DO U Wen , YI Wen bin
( Colleg e of Res our ce S cience &T echnology , B eij ing N or mal Univ er sity , Beij ing 100875, China;
T rans p or tation College, Southeas t Univer sity , N anj ing J iangs u 210096, China)
Abstract:T he remo tely sensed image fusion study was rev iewed based o n the pix el level, feature level, and decision level fu sio n. It w as po inted out that the cur rent status o f remo tely sensed imag e fusion is in the bot tleneck period o f the development. T hree majo r aspects o f dilemmas of remo tely sensed image fusion wer e po inted out, which are the lack of g enera l fusion theo ry as the g uidance, the lack of application orientat ion fusion alg or ithms desig ns, and the absence of fusio n methods for t he specific of data so urces, especially the fusio n algo rit hms fo r data of different sensor s and different resolut ions. T hen the inadequacies o f remotely sensed imag e fusio n at featur e level and decision level, mult i ang le fusio n, accuracy of pre processing, as w ell as t he a nalysis of uncer tainty w ere pointed out. F inally the tendencies and prospects o f remotely sensed imag e fusio n w ere g iv en.
Key words:remote sensing ; image fusion; fusio n theor y fr ame; scale Selectio n; multi ang le; applicat ion or iented
1 引 言
多源图像融合属于多传感器信息融合的范畴, 是指将不同传感器获得的同一景物的图像或同一传感
器在不同时刻获得的同一景物的图像, 经过相应处理后, 再运用某种融合技术得到一幅合成图像的过程。多幅图像融合可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性, 提高图像的质量, 从而有利于对物理现象和事件进行定位、识
收稿日期:2009-12-24
别和解释[1]。与单源遥感图像相比, 多源遥感图像所提供的信息具有冗余性、互补性和合作性[2]。因此, 将多源遥感图像各自的优势结合应用, 获得对环境正确的解译是极为重要的。多源遥感图像融合则是富集这些多种传感器遥感信息的最有效途径之一, 是现代多源数据处理和分析中非常重要的一步。本文基于遥感图像融合的研究现状、分析了图
像融合研究的困境和不足, 最后提出了未来的发展趋势和热点, 以期达到抛砖引玉的作用。
基金项目:国家自然科学基金(编号:40671122) ; 北京市自然科学基金(编号:4072016) ; 霍英东教育基金(编号:111017) . 作者简介:孙洪泉(1983~) , 男, 辽宁丹东, 博士研究生。主要从事遥感图像处理的研究。E m ail:shq@ires. cn
!
2011. 1
综述 遥感信息
融合技术已被广泛研究和应用, 并取得了一定的成果。特征级融合是一种中等层次的信息融合, 利用从各个传感器图像的原始信息中提取的特征信息, 进行综合分析及融合处理, 不仅增加从图像中提取特征信息的可能性, 还可能获取一些有用的复合特征, 尤其是边缘、角、纹理、相似亮度区域、相似景深区等。在特征级融合中, 对图像配准的要求不如像素级图像融合对配准要求那么严格。决策级图像融合是一种更高层次的信息融合, 其结果将为各种控制或决策提供依据。在进行融合处理前, 先对图像进行预处理、特征提取、识别或判决, 建立对同一目标的初步判决和结论, 然后对各个图像的决策进行相关处理, 最后进行决策级的融合[3]。从特点来看, 不同层次的融合各有优缺点, 难以在信息量和算法效率方面都同时满足需求。
特点
信息量最大, 信息损失最小, 预处理最小, 容错性和抗干扰能力最差, 融合方法最难。
信息量, 信息损失, 预处理, 容错性和抗干扰能力, 融合方法难易程度都处于中等。
2 遥感图像融合研究现状
随着信息科学技术的发展, 在20世纪七八十年代诞生了一个称为∀数据融合#的全新概念。这一概念不断扩展, 处理的对象由一般的数据发展到数字图像。1979年, Daliy 等人[4]首先将雷达图像和Landsat MSS 图像的复合图像应用于地质解译, 被认为是最早的图像融合。20世纪80年代, 图像融合技术逐渐应用到遥感图像的分析和处理中。90年代以后, 图像融合技术成为研究的热点, 并成为很多遥感图像应用的一个重要预处理环节。
目前, 遥感图像融合已经发展为像素级、特征级和决策级3个层次[5~6], 如表1。需要指出的是, 融合层次并没有划分融合算法严格的界限, 因为本质上各个融合层次都是信息融合的范畴。像素级图像
融合层次
Br ov ey [7], IHS [8~
像素级
9]
[3]
表1 遥感图像融合三个层次的对比
融合算法
, 分量替换法[10~11](包括GS 方
19]
法[12]、P CA 方法[8, 13]等) , 高通滤波方法[10,13]、小波变换法[14~17], 模糊数学[18~
、逻辑滤波、数学形态学[20]等。
特征级
模糊方法[19]、神经网络技术[21]、聚类方法[22]、K alman 滤波[21]等。
决策级
贝叶斯估计法[23]、Dempster Shafer 法、神经网络法[24]、信息量最小, 信息损失最大, 预处理最大, 容错性和模糊聚类法[18]等。
抗干扰能力最强, 融合方法最易。
从已有的图像融合研究成果来看, 由于理论的成熟度和操作的可行性, 融合研究主要集中在像素级,
而对特征级, 尤其是决策级的研究还不够成熟, 仍在不断探索阶段。近来, 从理论基础和研究工具来看, 非常新的数学理论和计算智能理论等的应用, 在数学理论深度上不断提高, 如小波和小波包[25~26]、脊[27~28][29][20][30]波、模糊数学、数学形态学、支持向量机等的使用, 更加重视图像融合的数学意义, 向更专业的信号处理方向发展。从研究手段来看, 多源遥感图像融合的研究思路在逐步拓宽, 对已有方法进行组合、集
[31]
成, 如IHS 方法和小波方法的结合, PCA 和小波方
[32][33~34]
法的结合, 小波方法和金字塔方法结合, 等等。
展时期。首先, 理论上存在难以逾越物理意义的鸿沟, 图像融合在视觉增强的同时损失了图像本身的
物理意义, 比如地物反射率等定量信息。其次, 技术上也难有大的跨越性发展, 某种程度上说是计算机视觉等领域的硕果引领了早期的图像融合的发展。因此, 近几年来的图像融合技术主要集中并停滞在新数学工具的使用和原有算法的组合上。但本质上, 这些方法基本上属于在某种数学工具基础上面向问题的信号处理技术, 或者针对特定应用问题的解决方案, 缺乏对融合基本理论的研究, 没有从根本上解决融合问题的∀病态性#, 这导致在研制和应用的过程中, 主观性和随意性很强, 造成了图像融合研究领域的混乱局面。本节主要分析了遥感图像融合研究的困境和不足。
3. 1 遥感图像融合研究的困境
图像融合作为一个系统工程, 仅仅从融合算法的改进上开展研究并不能从根本上很好的解决融合问题。作者认为目前遥感图像融合技术存在3个方面的困境:
没有统一的理论框架作指导, 这一问题逐渐
[35]
3 遥感图像融合研究困境和不足
以上按照融合的层次对遥感图像融合研究现状所作的分析要概述其所有的研究内容未必全面, 但是可以基本上概括图像融合的研究成果。并且, 从另一个角度也反映出图像融合的主要研究内容和格局基本停留在融合方法的改进和创新上。
近来, 遥感图像融合被普遍认为是一个瓶颈发
遥感信息
综述 2011. 1
针对不同的传感器数据的融合研究不足虽然现有融合问题的研究中很多是针对某具体的数据类型进行开展的, 但是, 对这些数据本身的特性考虑不足, 很多依然是围绕融合方法的改进进行的探讨, 并不是真正意义上基于数据特性的融合研究。随着各种类型传感器的投入使用, 尤其是SAR 、近红外、高光谱等传感器的应用, 图像融合已经不局限于视觉效果的融合, 而是更注重融合图像对地物光谱信息的保留, 以满足更高空间分辨率的分类或定量遥感需求。
缺乏融合数据源的尺度选择理论
图像融合数据源的尺度选择问题是研究者想面对但无法面对的问题, 因为传感器物理分辨率的固定将数据尺度选择变成了不可选择。这也从一定程度上限制了遥感图像融合从机理上进行研究的动力。图像融合数据源的尺度选择是从另一个角度研究如何更好地保持原始图像细节信息和光谱信息, 达到∀更高效#的集成原始图像特性的问题。这对面向具体应用的数据融合问题的研究, 乃至传感器设计都有十分重要的推动作用。但是, 尺度选择研究的困难依然在于数据的限制。研究者也无法在计算机上模拟出各种尺度的传感器真实复杂的成像条件, 这是对融合尺度选择研究的一大挑战。
3. 2 遥感图像融合研究的不足
遥感图像融合研究除了以上的三点困境之外, 还存在如下几方面的不足:
特征级和决策级融合研究不足
现有的遥感图像融合研究主要集中在像素级, 对特征级和决策级融合研究还远远不够。目前对于特征级和决策级融合, 还没有一个清晰的理论界定, 而仅仅是概念性的描述解释; 没有和图像处理的其他领域结合起来, 而停留在单纯的图像融合层面上。面向对象的图像处理技术正在逐渐被引入到这方面的研究中。
多角度融合研究不足多角度的融合能够获得更丰富的信息, 更好地消除图像中的阴影等噪声。目前的遥感图像融合主要涉及到多源和多尺度融合, 对于多传感器数据的融合也基本是保证同一视角, 而真正意义上的多角度融合研究还处于空白阶段。
∃数据预处理过程的精度有待提高
当数据从测量空间转入融合空间时, 必须进行严格的数据预处理。然而目前对融合前的数据进行的空间配准、去噪、几何辐射校正、大气校正、压缩和滤波等处理, 其工作精度仍有待提高, 这要通过引入新的理论、算法来实现。
受到某些学者的关注;
缺乏面向应用的融合算法。
∃数据源的选择没有针对性, 目前还鲜有涉及。3. 1. 1缺乏统一的理论框架作指导
遥感图像融合统一理论框架是解决目前遥感图像融合方法格局混乱的最有效, 也最急迫的手段, 已经受到许多学者的关注, 并且已经开始有零星的文献报道[36~39]。但这些理论方法没有一种能够得到公认, 仍未能上升到物理解释和数学推导的理论高度, 尽管如此, 这些学者的工作已经为图像融合统一理论框架研究提供了思路。Wang [40]从遥感图像成像过程出发, 对建立通用图像融合模型作了一定的探索, 这是第一次公开提出通用模型研究的文献, 然而其模型建立过程中仍未能很好的重视主观性与随意性的问题。窦闻[41]从遥感机理、物理模型和数学推理出发, 得到像素级图像融合的通用数学模型, 但是缺乏对特征级和决策级的支持。因此, 目前亟需以实际应用结合物理解释和数学推导进行模型实现的基本思想, 建立统一的对地观测信息融合的基本理论和广义融合模型, 为融合方法的研制和应用提供理论指导。3. 1. 2缺乏面向应用的融合算法
尽管目前的融合算法很多, 但是缺乏从特定应用角度的融合算法设计。大多数算法没有从物理机理和应用目的进行分析, 而是依据图像质量的评价体系进行设计和比较, 这样得到的结果不具有针对性, 虽然图像整体效果增强, 但是不能满足增强感兴趣的信息的目的。遥感图像融合的研究存在理论方法和应用研究脱节的现象, 理论方法研究没有考虑应用的回馈效应, 应用研究也没有考虑理论方法的物理解释, 即使是结合应用的图像融合研究也存在很大的局限性[42~43], 面向应用的融合算法的设计缺乏依据, 大多情况仅仅把融合作为提高图像解译能力的手段, 缺乏信息量的保真度。依然固守高分辨率全色图像和低分辨率的多光谱图像的原则, 而不是从应用目的出发考虑原始图像特有信息的保持。这些问题是融合过程丢失了原始遥感图像本身的物理属性的病态问题所致, 使得融合只能停留在改善视觉效果这一基本问题上。另外, 遥感过程的复杂性和不确定性也是导致融合问题难以针对具体应用来比较和设计的主要原因之一。
3. 1. 3数据源的选择没有针对性
遥感图像融合的数据选择问题可以分为两个方面:首先是针对具体的传感器类型的融合研究不足; 其次是对融合数据源的尺度选择问题还没有任何经验或理论模型。!
2011. 1
综述 遥感信息
期, 但是随着硬件条件的提高和数学工具的发展, 从研究目标来看, 图像融合研究已经脱离了主要以空间增强为目标的阶段, 融合结果将逐渐以光谱信息提取和空间细节信息保持为目标, 因此具有明确物理意义的融合理论正成为研究的热点。同时, 融合方法的研究不再停留在算法的组合和复加上, 而是将侧重理论体系和统一框架的研究上。相应的, 图像融合数据源尺度选择也会得到一定的关注。面向应用的遥感图像融合研究会随着遥感应用领域的拓展而深入进行, 同时将加深遥感图像融合方法选择依据的研究。目前的面向分类、变化检测、目标识别的融合研究还不足, 未来将进一步针对具体的数据源, 结合遥感新技术进行更广范围的融合研究, 突出应用目的性和特殊性。因而, 能够提供更丰富信息的多角度融合研究也将是未来融合的研究热点之一。另外, 随着遥感数据源的不断增加, 单一融合方法难以适用于不同的数据源和不同的应用需求, 集成化的遥感图像融合系统在遥感应用中的重要性日益增加。
作者希望以上的工作能为遥感图像融合理论和方法的研究提供借鉴作用, 推动图像处理技术和遥感技术的发展。
[44]
%对多源遥感图像不确定性的重视不够不确定性是遥感数据固有的特性, 多源遥感信息融合在优势互补的同时也意味着多数据源中不确定性的积累和叠加。研究融合中的不确定性需要以融合的物理机理、理论基础和数学模型为基础。
4 遥感图像融合研究发展趋势
研究者已经意识到遥感图像融合问题是一个病态问题, 也是一个系统工程的问题, 不能依赖单一角度或单一理论算法解决不同数据或不同应用环境的融合。目前的理论基础、应用成果和存在问题为遥感图像融合理论的发展, 及其面向各个领域的应用研究提供了分析依据。
从遥感图像融合的三个层次来说, 像素级融合能够挖掘多源遥感信息的关联和隐含信息, 充分应用原始信息的互补优势, 提供其他两个融合层次不具有的细节信息, 这些是特征级和决策级融合所不具备的特点, 因此在未来一定时间内, 像素级融合始终是研究热点之一。但是, 随着遥感数据源和应用的发展, 特征级融合、决策级融合的研究将越来越受到研究人员的重视。
虽然说遥感图像融合研究目前处于瓶颈发展
参考文献
[1] 郁文贤, 雍少为, 郭桂蓉. 多传感器信息融合技术述评[J]. 国防科技大学学报, 1994, 16(3) :1-11.
[2] 韩玲, 吴汉宁, 杜子涛. 多源遥感影像数据融合方法在地学中的应用[J].地球科学与环境学报, 2005, 27(3) :78-81. [3] 韩崇昭, 朱洪艳, 段战胜. 多源信息融合[M ].北京:清华大学出版社, 2006.
[4] Daily M I, F arr T , Elachi C. Geo log ic interpretation fr om co mpo sited r adar and L andsat imager y [J]. Pho tog rammetr ic Eng ineering and Remote Sensing , 1979, 45(8) :1109-1116.
[5] Pohl C, V an G enderen J L. M ultisenso r image fusion in remote sensing:concepts, metho ds and applicatio ns[J].Interna
tional Journal of Remote Sensing, 1998, 19(5) :823-854. [6] W ald L. Some ter ms o f reference in data fusion[J].IEEE T ransactions o n G eoscience and Remot e Sensing, 1999, 37(3) :
1190-1193.
[7] V rabel J. M ultispectr al imag ery band sharpening study [J]. Photo gr ammetric Eng ineering &Remo te Sensing , 1996, 62(9) :1075-1083.
[8] Chavez Jr P S, Sides S C, A nderson J A. Comparison of three different methods to merg e multiresolution and multispectral data:L andsat T M and SPO T panchro matic[J]. Pho tog rammetr ic Eng ineering &Remote Sensing, 1991, 57(3) :295-303.
[9] H ay dn R, D alke G W , H enkel J. A pplicatio n of the I HS colo r tr ansfo rm to the pro cessing o f multisenso r data and imag e
enhancement[C].1982. [10] Shettig ar a V K. A g ener alized co mpo nent substit ution technique fo r spat ial enhancement o f multispect ral images using a
higher r eso lutio n data set[J].Phot og rammetr ic Eng ineer ing &Remote Sensing , 1992, 62(9) :561-567. [11] Campbell N A. T ow ards more quantit at ive ex traction of infor matio n fr om r emo tely sensed data[C]. 1993.
[12] L i C, L iu L , Wang J. Co mpar ison o f tw o methods of the fusion o f r emo te sensing images with fidelity of spectral info rma
tion[C].2004. [13] Chavez Jr P S, K war teng A Y. Ex tr act ing spectral co nt rast in L andsat T hematic M apper imag e data using selective prin
cipal co mpo nent analy sis[J].Photo gr ammetric Engineer ing &Remote Sensing , 1989, 55(3) :339-348. [14] R anchin T , Wald L. M er g ing SPO T P and K VR-1000fo r updating ur ban maps[C].1996.
[15] Alpa rone L , Facheris L , Bar onti S. F usion of multispectral and SA R imag es by int ensity modulatio n[C]. 2004.
遥感信息
综述 2011. 1
[16] R anchin T , Wald L. T he w avelet transfor m fo r t he analysis of remotely sensed imag es[J]. Internatio nal Journal of Re mo te Sensing. 1993, 14(3) :615-619.
[17] D eng L , Chen Y H , L i J. Contro llable remot e sensing imag e fusion method based on wav elet tr ansfor m[J].Journal of In fr ared and M illimeter Wav es, 2005, 24(1) :34-38.
[18] G ermain M V M B J. Fuzzy st atistical classificatio n method for multiband image fusion[C].2002.
[19] Benz U C, Ho fmann P, Willhauck G, et al. M ulti r eso lutio n, object or iented fuzzy ana lysis of remo te sensing data for G IS
ready info rmatio n[J]. I SP RS Journal o f Photo gr ammetry and Remote Sensing , 2004, 58(3-4) :239-258. [20] M atso poulos G K, M arshall S, Br unt J N H. M ultiresolut ion mo rpho lo gical fusion o f M R and CT imag es of t he human
br ain[J].V ision, Imag e and Sig nal P rocessing, IEE P ro ceedings, 1994, 141(3) :137-142. [21] Bonnefon R , Dh r t p, Desachy J. Geo gr aphic infor mation system updat ing using remote sensing images[J].Patter n Rec
o gnition Letter s, 2002, 23(9) :1073-1083. [22] Sv einsson J R, U lfar sso n M O , Benediktsson J A. Cluster based feature ex tr act ion and data fusion in t he w aveletdo main
[C].2001. [23] Challa S, K oks D. Bayesian and Dempster Shafer fusion[J].Sadhana, 2004, 29(2) :145-176.
[24] Atkinson P M , T atnall A R L. Intro ductio n neur al netw o rks in remo te sensing [J]. Internatio nal Jo ur na l of Remote Sens ing , 1997, 18(4) :699-709.
[25] M allat S G. T heo ry for multir eso lutio n signal deco mpo sition:the wav elet representat ion[J].IEEE T r ansactions o n Pat ter n A naly sis and M achine I ntelligence, 1989, 11(7) :674-693.
[26] D aubechies I. T en Lectures on W av elets[M ].SI AM , 1993.
[27] M yungjin C, Rae Yo ung K , M y eong R yong N. F usion o f mult ispectr al and panchr omatic Satellite imag es using the cur ve
let tr ansfor m[J].IEEE T ransactions on Geoscience and Remote Sensing L etters, 2005, 2(2) :136-140. [28] Choi M , K im R Y , N am M R. Fusio n of multispectral and panchr omatic satellite imag es using the curv elet transfor m[J].
I EEE T r ansactio ns o n G eoscience and Remo te Sensing L etter s, 2005, 2(2) :136-140. [29] X iao G , Jing Z L , L i J X. O pt imal imag e fusion method based on fuzzy int eg ra l[J]. Shang hai Jiaoto ng D axue X uebao/
Jo ur nal of Shang hai Jiaot ong U niv ersity , 2005, 39(8) :1312-1316. [30] Shutao L , K w ok J T Y, T I W H. F using images w ith different focuses using suppo rt v ecto r machines[J]. I EEE T r ans
actio ns o n N eural Netw or ks, 2004, 15(6) :1555-1561. [31] Li Z H, Jing Z L , Y ang X H. Color transfer based remote sensing image fusion using non separ able wav elet frame tr ans
fo rm[J]. P attern Recog nition L etters, 2005, 26(13) :2006-2014.
[32] Go nz lez Audicana M , Saleta J L , Catalan O G. Fusion of multispectral and panchromatic imag es using improved IHS and PCA mergers based on w avelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(6) :1291-1299.
[33] L i Z, Jing Z , Sun S. Remo te sensing imag e fusion based o n steerable pyr am id fr ame tr ansfo rm[J]. G uangx ue Xuebao/Ac ta O pt ica Sinica, 2005, 25(5) :598-602.
[34] Petro vic V S, Xydeas C S. G radient based multireso lutio n imag e fusio n[J]. IEEE T r ansactio ns on Image P rocessing, 2004, 13(2) :228-237.
[35] 窦闻, 陈云浩, 何辉明. 光学遥感影像像素级融合的理论框架[J]. 测绘学报, 2009, 38(2) :131-137.
[36] Ranchin T , Wald L. F usion o f high spatia l and spectral resolution images:the A RSIS concept and its im plementation[J].
Photo gr ammet ric Engineer ing &R emote Sensing , 2000, 66(1) :49-61. [37] Tu T , Su S C, Shy u H C, et al. A new look at IHS like image fusion methods[J].Info rmation F usion, 2001, 2(3) :177-186. [38] Baro nt i S, A iazzi B, A lpar one L. Pan sharpening of very high reso lution multispect ral images v ia generalised L aplacian py ramid fusion[J].Bulletin Societe F rancaise de Phot og rammetr ie et de T eledetectio n, 2002(169) :17-25.
[39] O tazu X , Go nz lez Aud canam, Fo rs O, et al. Intro duction o f senso r spectr al respo nse into imag e fusion methods. A ppli catio n t o wav elet based methods[J].IEEE T ransactions o n G eoscience and R emote Sensing , 2005, 43(10) :2376-2385.
[40] W ang Z, Zio u D, A rmenakis C, et al. A co mpar ative analysis of image fusion methods[J].IEEE T r ansactio ns o n Geosci ence and Remote Sensing , 2005, 43(6) :1391-1402.
[41] D ou W, Chen Y, Li X, et al. A g ener al fr amew o rk fo r component subst itution imag e fusion:An implementatio n using the fast image fusion method[J].Co mputer s and Geosciences, 2007, 33(2) :219-228.
[42] Albertz J, Tauch R. Mapping from space car tographic applications o f satellite image data. [J].Geo Journal, 1994, 32(1) :29-37. [43] 贾永红. 多源遥感影像数据融合技术[M ].北京:测绘出版社, 2005.
[44] Alparone L, A iazzi B, Ba ronti S, et al. Spectr al info rmatio n ex tractio n fr om ver y high resolut ion imag es thro ug h mult ires
o lutio n fusion[M ].Image and Signal P ro cessing fo r Remo te Sensing X , Bruzzone L, 2004:5573, 1-8.
!