光电工程  2019, Vol. 46 Issue (7): 190100      DOI: 10.12086/oee.2019.190100     
颗粒物激光雷达硬件故障数据的识别
郑朝阳1,2 , 张天舒1 , 董云升1 , 刘洋1     
1. 中国科学院安徽光学精密机械研究所环境光学与技术重点实验室,安徽 合肥 230031;
2. 中国科学技术大学,安徽 合肥 230037
摘要:激光雷达出现硬件故障时,会使回波数据的质量变差。目前,对由硬件故障造成的错误回波还缺乏比较有效的识别方法。对中国科学院安徽光学精密机械研究所自主研发的大气颗粒物监测激光雷达有硬件故障出现时的回波数据进行分析,根据硬件故障对雷达的回波波形、强度等回波信号信息的影响,采用模糊逻辑算法对大气颗粒物雷达的硬件故障数据进行识别检验。同时,为了降低对无故障数据的误判,分析被误判数据的回波特征,比较硬件故障数据和被误判数据在300 m~500 m高度上对应的消光系数和信噪比均值,通过设置信噪比阈值来降低误判率。实验结果表明:应用此方法对外场运行的大气颗粒物监测激光雷达硬件故障数据进行识别,识别率为94.6%,而误判率仅为1.5%,证明该算法对硬件故障数据的识别有很好的效果。
关键词激光雷达    模糊逻辑    隶属函数    信噪比    消光系数    
Identification of hardware fault data of particle LiDAR
Zheng Zhaoyang1,2, Zhang Tianshu1, Dong Yunsheng1, Liu Yang1     
1. Key Laboratory of Environment Optics and Technology, Anhui Institute of Optics and Fine Mechanics, Chinese Academy of Sciences, Hefei, Anhui 230031, China;
2. University of Science and Technology of China, Hefei, Anhui 230037, China
Abstract: The hardware fault of the LiDAR will make the quality of the echo data worse. However, there is still a lack of effective identification methods for the error data caused by the hardware failure. Analysis of echo characteristics of atmospheric particulate matter monitoring when LiDAR has hardware failure, according to the echo signal information of the echo shape and intensity of the LiDAR, the fuzzy logic algorithm is used to identify the fault data. The hardware fault data of the atmospheric particulate LiDAR is identified and tested. At the same time, in order to reduce the false positive rate of data without hardware failures, the mean values of extinction coefficient and signal-to-noise ratio (SNR) at the height of 300 meters to 500 meters were compared between the data of hardware failures and the data was misjudged, reduced the false positive rate by setting the signal to noise ratio threshold. The experimental results show that this method is used to identify the hardware fault data of the LiDAR monitoring of the external field, the recognition rate is 94.6%, and the false positive rate is only 1.5%. This method has a good recognition effect on hardware fault data.
Keywords: LiDAR    fuzzy logic    membership function    signal to noise ratio    extinction coefficient    

1 引言

颗粒物激光雷达是以激光为发射器的高精度仪器,对气溶胶、边界层、云高及多层云结构时空演变及特征等连续监测,从而得到大气环境气溶胶分布的立体结构,具有细节变化能力强、自动化程度高等优点。颗粒物激光雷达在区域内全覆盖,实现高时空分辨率的大气污染监测,结合信息化大数据的应用实现污染来源追踪、预警预报等功能,为环境污染防控提供更为及时有效的决策支持。然而,当雷达的发射单元、接收单元等硬件出现故障时,常常会有异常回波数据的产生,这将会直接影响后续的反演结果,并对上述应用的准确性有非常大的影响。

大气颗粒物监测激光雷达是由中国科学院安徽光学精密机械研究所(以下简称中科院安光所)自主研制的一款采用Mie散射原理探测激光路径上颗粒物的浓度分布和形状特征的高精度设备。大气颗粒物监测激光雷达作为一种较长时间、高强度、连续运行的高精度设备,受工作环境、配件质量等因素的影响,硬件故障是难以避免的。经统计,在2015年1月至2018年10月,平均每年会出现1~3次不同的硬件故障。该雷达出现的硬件故障主要包括:激光器故障、激光器水箱故障、反镜镜片故障、扩束镜故障,这四种故障占颗粒物激光雷达所有硬件故障的95%以上。当这些部件有硬件故障时,会直接导致回波形态、强度的异常。文中对该雷达在2015年1月至2018年10月期间,雷达硬件故障导致的异常回波数据进行特征分析,给出了基于模糊逻辑[1-6]的硬件故障数据识别方法,并通过实验验证了此方法的有效性。

在雷达的数据质量控制方法研究方面,目前多集中在对气象数据质量控制方法的研究[7-13]。在识别算法方面,刘志青[14]等采用信息向量机法对激光雷达点云进行识别和分类,马超杰[15]等提出了基于成像激光雷达(LiDAR)的自动目标识别算法。在雷达硬件故障对数据的影响研究方面,潘新民等[16]研究了多普勒雷达强度故障的回波特征及其诊断方法,胡东明[17]等研究了伺服系统故障的回波特征。随着颗粒物激光雷达组网系统的扩大以及雷达资料的广泛应用,故障数据对其业务系统的影响也日益变大,因此对颗粒物激光雷达因硬件故障造成的错误数据的识别也就愈发的重要。

2 识别方法

硬件故障的回波数据与正常的回波相比,硬件故障造成的错误数据常常具有突发性,会使相邻的回波形态、回波强度发生较大的变化,然而正常的回波信号的变化总是具有一定的延续性。因此,通过与相邻回波信号的回波特征做比较以及与相近的正常数据进行相关性比较,就能识别出错误数据。由此,可以采用$Z/{Z^\prime }$和r这两个物理量来对雷达回波数据进行分析。

Z表示回波数据的强度变化平均绝对差,即相邻回波信号数据的强度变化情况:

$Z = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {{Z_A}(i) - {Z_B}(i)} \right|} , $ (1)

r为相邻雷达回波数据的相关系数,即回波波形的相似程度:

$ r = \frac{{\frac{1}{n}\sum\limits_{i = 1}^n {({Z_A}(i) - {{Z'}_A})({Z_B}(i) - {{Z'}_B})} }}{{\sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{({Z_A}(i) - {{Z'}_A})}^2}} } \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{({Z_B}(i) - {{Z'}_B})}^2}} } }}, $ (2)
${Z'_A} = \frac{1}{n}\sum\limits_{i = 1}^n {{Z_A}(i)} ,\;{Z'_B} = \frac{1}{n}\sum\limits_{i = 1}^n {{Z_B}(i)} , $ (3)

其中:AB代表两个回波信号。

Zr分别表示相邻回波信号的强度变化平均绝对值差和它们的相关性,Z′为连续正常回波数据Z的平均值(文中按相邻正常20条回波数据计算)。$Z/{Z^\prime }$表示相邻回波数据强度变化的程度,r反映了相邻回波数据的相似程度。为了提高识别结果的准确性,本文选取雷达在连续且无故障、不同天气条件下的回波数据作为训练样本来计算无硬件故障回波数据及其有硬件故障数据的$Z/{Z^\prime }$和r概率分布统计图。图中的纵坐标分别为$Z/{Z^\prime }$和r的概率值。

图 1为颗粒物激光雷达在2015年1月至2018年10月,不同天气条件下雷达无硬件故障时的7226条回波数据的$Z/{Z^\prime }$和r概率分布统计图。可以看出,无硬件故障的雷达回波数据的$Z/{Z^\prime }$的峰值在1附近,且曲线呈近似正态分布;r的值多在0.8~1之间,这是由于当雷达无硬件故障时,相邻回波数据不会发生较大变化,因此相邻回波数据的相关系数值较大。

图 1 无硬件故障数据的Z/Z′和r概率统计分布图。(a) Z/Z′;(b) r Fig. 1 Statistical distribution of Z/Z′ and r probabilities without hardware failure data. (a) Z/Z′; (b) r

图 2为1470条雷达硬件故障回波数据的$Z/{Z^\prime }$和r概率分布统计图。由图 2(a)可以看出$Z/{Z^\prime }$的数值增大;与图 1(b)相比较,r的数值减小且呈现随机分布。

图 2 有硬件故障数据的Z/Z′和r概率统计分布图。(a) Z/Z′;(b) r Fig. 2 Statistical distribution of Z/Z′ and r probabilities with hardware failure data. (a) Z/Z′; (b) r

通过比较图 1图 2,发现无故障数据和故障数据的$Z/{Z^\prime }$和r的概率分布差异较大,根据这两个参量的概率统计分布图来确定它们对应的阈值公式,分别用${P_Z}$和${P_r}$来代表$Z/{Z^\prime }$和r判断为故障的阈值,如图 3所示,阈值公式分别为式(4)、式(5):

图 3 Z/Z′和r的阈值公式。(a) Z/Z′;(b) r Fig. 3 Z/Z′ and r corresponding membership function. (a) Z/Z′; (b) r
${P_Z} = \left\{ {\begin{array}{*{20}{c}} {\frac{1}{3}\frac{Z}{{Z'}}, \quad \frac{Z}{{Z'}} < 3}\\ {\;\;\;1, \quad {\kern 1pt} \frac{Z}{{Z'}} \ge 3} \end{array}} \right.,$ (4)
${P_r} = \left\{ \begin{array}{l} 1 - r, \quad r \ge 0\\ \;\;1\, \, \, {\kern 1pt} {\kern 1pt} {\kern 1pt} , \quad r < 0 \end{array} \right.{\kern 1pt}。$ (5)

在这里,我们赋予${P_Z}$,${P_r}$相等的权重,建立了式(6)所示的识别方程,硬件故障数据的概率用P表示,若P大于给定的阈值,如0.5时,则可判断该数据为硬件故障数据。

$P = 0.5{P_Z} + 0.5{P_r}。$ (6)

综上,硬件故障数据的识别可以通过式(6)和设定的阈值来判定。

3 检验及算法评估 3.1 效果检验

应用此方法,对中科院安光所研发的大气颗粒物监测激光雷达在2015年1月至2018年10月连续工作期间出现的雷达硬件故障数据进行识别检验,结果如表 1所示,其中雷达无硬件故障的数据为7226条,出现不同类型硬件故障时的数据为1470条,故障数据概率阈值为0.5。

表 1 大气颗粒物监测激光雷达硬件故障数据识别表 Table 1 Identification of hardware failure data of atmospheric particulates monitor LiDAR
数据类型 判别为故障数据 判别为无故障数据
故障数据(1470) 1390(NTN) 80(NFP)
无故障数据(7226) 1228(NFN) 5998(NTP)
3.2 误判分析

表 1可得,对于硬件故障数据的识别率达到94.6%。但是,对雷达无硬件故障数据的误判率较高,达到16.9%,这种较高的误判率对硬件故障的实时预警是不利的,会造成对仪器真实运行状态的错误判断。因此,必须解决误判率较高的问题。对被误判数据进行统计分析,发现被误判的1228条数据中有92%以上的数据具有图 4的回波特征,其中有658条数据有图 4(a)所示的回波特征,296条数据有图 4(b)所示的回波特征,180条数据具有图 4(c)所示的回波特征。

图 4 误判数据的回波波形图。(a)云;(b)霾;(c)沙尘 Fig. 4 Echo waveform of misjudged data. (a) Cloud; (b) Haze; (c) Dust

通过对这三种回波形态的分析,结合对应的退偏振值,得到如下结论:图 4(a)这种回波波形产生的原因是因为天空出现了云层,导致激光无法穿透云层;图 4(b)是在重霾天气,激光无法穿透霾层,导致没有拖尾;图 4(c)则是由于出现了沙尘。

因此,为了降低因天空突然出现的云层、重霾、沙尘而造成对无故障数据的误判概率,比较硬件故障时数据和被误判为故障数据的在300 m~500 m高度处的信噪比和消光系数这两个参数,以信噪比(SNR)为横轴,消光系数为纵轴,得到图 5

图 5 300 m~500 m处信噪比和消光系数均值的聚类分析图 Fig. 5 Cluster analysis of the mean value of SNR and extinction coefficient from 300 meters to 500 meters

图 5可以看出,当天空出现云、雾霾或者沙尘时,在300 m~500 m高度区间的消光系数均值在0.4~1.3之间。当有硬件故障时,消光系数的变化范围变大。但因两者重叠区域较大,所以用信噪比大小来区分硬件故障数据和由于云、霾或者沙尘造成的误判数据。通过聚类分析,当信噪比均值大于400时,有98%以上的数据为云、霾或者沙尘的回波数据;同时,当信噪比均值小于400时,也同样有98%以上为硬件故障数据。因此可以通过比较在300 m~500 m高度处的信噪比均值大小来区分硬件故障数据与误判数据,降低误判率,阈值设为400。

因此判别准则为,在300 m~500 m高度上,当信噪比均值大于400时,判断此数据为无硬件故障数据;若信噪比均值小于400,则判断为有硬件故障数据。通过再次识别,得到在被误判为有硬件故障的1228条数据中有1119条数据在300 m~500 m处的信噪比均值大于400,由此判断这1119条数据为正常数据。因此,经过误判分析,得到表 2

表 2 误判校正后颗粒物监测激光雷达硬件故障数据识别表 Table 2 Identification of the hardware failure data of atmospheric particulates monitor LiDAR after misjudgment correction
数据类型 判别为故障数据 判别为无故障数据
故障数据(1470) 1390(NTN) 80(NFP)
无故障数据(7226) 109(NFN) 7117(NTP)

通过表 2可知,通过对误判数据的再识别后,误判率降到了1.5%,很好地降低了因天空有云、沙尘和霾对雷达运行状态的误判,进而可以很好地对因硬件故障导致的雷达不正常运行进行质量控制并实现实时预警。

3.3 算法评估

通过评价指标来评价本文算法的好坏是很必要的,采用准确率(precision,用ηPrecision表示)、召回率(recall,用ηRecall表示)及综合评价指标(F1-Measure,用ηF1-Measure表示)来评估算法的好坏。当以上三个评价指标取值均在0~1之间,且这三个值都较高时,则表明该算法较好。

$\left\{ \begin{array}{l} {\eta _{{\rm{Precision}}}} = \frac{{{N_{{\rm{TP}}}}}}{{{N_{{\rm{TP}}}} + {N_{{\rm{FP}}}}}}\\ {\eta _{{\rm{Recall}}}} = \frac{{{N_{{\rm{TP}}}}}}{{{N_{{\rm{TP}}}} + {N_{{\rm{FN}}}}}}\\ {F_{{\rm{F1 - Measure}}}} = \frac{{2{\eta _{{\rm{Pre}}}} \times {\eta _{{\rm{Recall}}}}}}{{{\eta _{{\rm{Pre}}}} + {\eta _{{\rm{Rel}}}}}} \end{array} \right.。$ (7)

由式(7)及表 1,可以得出准确率(precision)约等于0.99,召回率(Recall)约等于0.98,同时综合评价指标(F1-Measure)约等于0.98。由此,判断该算法较为理想。

当雷达回波强度、范围特征变化越大时,识别的效果也就会越好。如果雷达硬件故障对回波数据的影响在合理限度内,可能会漏掉对某些硬件故障数据的识别。另外,阈值的大小也会影响识别效果,阈值设置得过高,同样会造成对故障数据的漏识别。而对因天空有云、沙尘或霾而导致的对雷达数据的误判,可通过比较在300 m~500 m处的信噪比均值大小来降低误判率。

4 实验验证

为了检验该方法对硬件故障数据的识别效果,对颗粒物激光雷达在天津高清实验期间出现的一次已知的硬件故障进行识别。我们取2018年11月26日至2018年12月1日硬件故障期间的674条数据(无硬件数据为489条,硬件故障数据为185条),采用本文方法来进行识别,结果如表 3

表 3 颗粒物激光雷达硬件故障数据的识别表 Table 3 Identification of the hardware failure data of particle LiDAR
数据类型 判别为故障数据 判别为无故障数据
故障数据(185) 173(NTN) 12(NFP)
无故障数据(489) 11(NFN) 478(NTP)

表 3可得,采用本文的识别方法,对硬件故障的识别率达到93.5%,对无硬件故障数据的误判率仅为2.2%。通过对173条被判别为故障的数据进行统计分析,其中有连续的169条数据出现在2018年11月29日18:43:14这个时间点之后,因此可判断在这个时间点附近出现了硬件故障,这和外场维护记录相印证,由此证明了该方法在雷达硬件故障数据识别和雷达运行状态进行实时预警的可靠性。

5 结论

本文通过对颗粒物激光雷达不同硬件故障的回波进行分析,发现当雷达有硬件故障时,会引起回波形态、强度的异常,在故障排除之前会一直存在,并可能会最终导致设备无法正常运行,造成数据缺失。因此,本文在数据完整的前提下,可以通过以下两步来实现对颗粒物监测激光雷达出现硬件故障时的数据进行识别及质量控制:第一步,利用颗粒物激光雷达回波形态、强度信息对故障数据进行识别。利用强度变化的平均绝对值差和相关系数这两个参数,通过与相邻的正常回波数据的参数比较,能够较好地实现对颗粒物激光雷达出现硬件故障时产生的数据错误进行识别,识别率达到93.5%;第二步,为了降低对无硬件故障数据的误识别率,可以通过比较误识别数据和硬件故障数据在300 m~500 m处的信噪比均值大小,通过设置信噪比阈值(400)的方式来找出其中的无硬件故障数据,进而将降低了误判率。

本文所采用的方法也可以实现对雷达运行状态的实时监控,达到对雷达运行状态的实时预警,为及时发现故障、保证设备的正常运行提供参考。

参考文献
[1]
Dou Z Z. Fuzzy Logic Control Technology and Its Application[M]. Beijing: Beihang University Press, 1996.
窦振中. 模糊逻辑控制技术及其应用[M]. 北京: 北京航空航天大学出版社, 1996.
[2]
Dong D B, Zhang T M, Weng N Q, et al. Power spectrum data quality control method of wind profile radar based on fuzzy logic[J]. Plateau Meteorology, 2015, 34(2): 568-574.
董德保, 张统明, 翁宁泉, 等. 基于模糊逻辑的风廓线雷达功率谱数据质量控制研究[J]. 高原气象, 2015, 34(2): 568-574 [Crossref]
[3]
Liu L P, Wu L L, Yang Y M. Development of fuzzy-logical two-step ground clutter detection algorithm[J]. Acta Meteorologica Sinica, 2007, 65(2): 252-260.
刘黎平, 吴林林, 杨引明. 基于模糊逻辑的分步式超折射地物回波识别方法的建立和效果分析[J]. 气象学报, 2007, 65(2): 252-260 [Crossref]
[4]
Liu Z L, Liu Y C. Fuzzy Logic and Neural Network: Theoretical Research and Exploration[M]. Beijing: Beihang University Press, 1996.
刘增良, 刘有才. 模糊逻辑与神经网络:理论研究与探索[M]. 北京: 北京航空航天大学出版社, 1996.
[5]
Zhang B X, Li G C, Liu L P, et al. Identification method of hail weather based on fuzzy-logical principle[J]. Journal of Applied Meteorological Science, 2014, 25(4): 415-426.
张秉祥, 李国翠, 刘黎平, 等. 基于模糊逻辑的冰雹天气雷达识别算法[J]. 应用气象学报, 2014, 25(4): 415-426 [Crossref]
[6]
Zhuang W, Liu L P, Yu Y Q, et al. Improvement of the fuzzy logic technique for identifying ground clutter and its verification[J]. Acta Meteorologica Sinica, 2012, 70(3): 576-584.
庄薇, 刘黎平, 余燕群, 等. 雷达地物回波模糊逻辑识别法的改进及效果检验[J]. 气象学报, 2012, 70(3): 576-584 [Crossref]
[7]
Zhao R J, Liu L P, Zhang J. The quality control method of erroneous radar echo data generated by hardware fault[J]. Journal of Applied Meteorological Science, 2015, 26(5): 578-589.
赵瑞金, 刘黎平, 张进. 硬件故障导致雷达回波错误数据质量控制方法[J]. 应用气象学报, 2015, 26(5): 578-589 [Crossref]
[8]
Ma Z Y, Zhu C Q, Liu X M, et al. Study on CINRAD radar data quality control methods[J]. Meteorological Monthly, 2010, 36(8): 134-141.
马中元, 朱春巧, 刘熙明, 等. CINRAD雷达数据质量控制方法初探[J]. 气象, 2010, 36(8): 134-141 [Crossref]
[9]
Jiang Y. Meteorological radar data quality control studay and application[D]. Nanjing: Nanjing University of Information Science & Technology, 2013.
江源.天气雷达观测资料质量控制方法研究及其应用[D].南京: 南京信息工程大学, 2013.
[10]
Zou Q. Discussion of doppler weather radar data quality control[J]. Journal of Southwest University of Science and Technology, 2009, 24(1): 56-61.
邹强. 多普勒天气雷达数据质量控制方法探讨[J]. 西南科技大学学报, 2009, 24(1): 56-61 [Crossref]
[11]
Zhu R. Research and application of doppler radar observation data quality control method[J]. Technology Innovation and Application, 2014(27): 291.
朱睿. 多普勒雷达观测资料质量控制方法研究及其应用[J]. 科技创新与应用, 2014(27): 291 [Crossref]
[12]
Zheng J F, Liu L P, Zeng Z M, et al. Ka-bard millimeter wave cloud radar data quality control[J]. Journal of Infrared and Millimeter Waves, 2016, 35(6): 748-757.
郑佳锋, 刘黎平, 曾正茂, 等. Ka波段毫米波云雷达数据质量控制方法[J]. 红外与毫米波学报, 2016, 35(6): 748-757 [Crossref]
[13]
Zhou X Y, Liao F. A study on the quality control of wind profiler data by using the median method[J]. Journal of Tropical Meteorology, 2015, 31(6): 804-810.
周芯玉, 廖菲. 利用中位数方法对风廓线雷达数据质量控制的研究[J]. 热带气象学报, 2015, 31(6): 804-810 [Crossref]
[14]
Liu Z Q, Li P C, Chen X W, et al. Classification of airborne LiDAR point cloud data based on information vector machine[J]. Optics and Precision Engineering, 2016, 24(1): 210-219.
刘志青, 李鹏程, 陈小卫, 等. 基于信息向量机的机载激光雷达点云数据分类[J]. 光学精密工程, 2016, 24(1): 210-219 [Crossref]
[15]
Ma C J, Yang H, Li X X, et al. Implementation of automatic target recognition by imaging Ladar in complex scenes[J]. Optics and Precision Engineering, 2009, 17(7): 1714-1721.
马超杰, 杨华, 李晓霞, 等. 复杂场景下应用成像Ladar的自动目标识别[J]. 光学精密工程, 2009, 17(7): 1714-1721 [Crossref]
[16]
Pan X M, Chai X M, Cui B J, et al. The method of CINRAD/SB radar echo intensity calibration and adjustment[J]. Journal of Applied Meteorological Science, 2010, 21(6): 739-746.
潘新民, 柴秀梅, 崔柄俭, 等. CINRAD/SB雷达回波强度定标调校方法[J]. 应用气象学报, 2010, 21(6): 739-746 [Crossref]
[17]
Hu D M, Liu Q, Cheng Y H, et al. Analysis of the multi-fault in conder of servo about CINRAD/SA radar[J]. Meteorological Monthly, 2007, 33(10): 114-117.
胡东明, 刘强, 程元慧, 等. CINRAD/SA天线伺服系统轴角箱多次故障的分析[J]. 气象, 2007, 33(10): 114-117 [Crossref]