NEC的多模图像融合技术运用AI提高视觉识别度

　　近年来，在图像传感器的不断升级及成本持续下降的背景下，将热成像摄像头及可捕捉物体内部构造的X光、太赫兹波、毫米波摄像头等非可见光摄像头应用到夜间、浓雾等恶劣天气、逆光、遮蔽等不利条件下的监控及诊断的情况越来越普及。但是这些非可见光摄像头比可见光摄像头的分辨率和画质都要低，视觉识别起来很困难，因此需要将可见光摄像头与之配合在一起使用，通过对比双方的图像进行监视和诊断。

　　因此，想要快速精准地判断对象物体的状况是比较困难的。为解决这个课题，最好的办法就是将两种图像合成一个图像，但是过去的合成办法需要精通摄像头和摄影环境的专家亲自手动调整，从各自单独的图像中抽取出适于合成的部分，一边注意防止过度曝光和曝光不足以及噪点增强破坏图像等问题，一边进行复杂的图像合成作业。另外，在非可见光中包含的用于判断异常及危险物的特征很可能因为合成造成丢失，这也是一个重要课题。

　　为此，NEC与东京工业大学通过学习了专家的变换技能的AI技术，将可见光摄像头与非可见光摄像头拍摄的图像自动高效统合，提高对象物・状况的视觉识别度，共同开发了即便在恶劣环境下也可以快速判断是否存在异常或危险物的“多模图像融合技术”。

　　NEC指出，新技术利用人工智能取代手动合作业，并充分利用了可见光图像和非可见光图像各自的优势，即便是以往人眼难以看清的场景也可以获得较高的视觉识别度。AI技术能自动从多个图像中选择出视觉识别度高的图像，并在强调非可见光中包含的细小特征的同时进行图像合成，从而实现打破以往局限性的高度视觉识别。

　　NEC进一步表示，在需要瞬时视觉识别的各个领域中利用此项技术，即便在恶劣条件下也可以实现正确判断。例如，夜间或浓雾等恶劣天气条件下也可以正常进行的设施监控;即便迎面行驶汽车的刺眼的车灯及黑暗造成视觉死角也可以使用的自动驾驶支持;不仅可以监测建筑表面的裂缝，还可以监测其内部异常的基础设施点检等。

　　另外，AI技术会根据热成像摄像头、太赫兹摄像头等摄像头种类、环境特征(亮度、光线方向、有无障碍物)等不同条件，对图像内各部分的视觉识别度的高低进行评价，从而从各个图像中自动抽取出最适宜的部分。 此外，AI技术在处理非可见光摄像头拍摄的图像时，会针对异常及危险物的细小特征进行解析，进行适当的强弱调整以避免因过度曝光及曝光不足而破坏图像，从而自动生成以往无法实现的高视觉识别度的多模(可见光-非可见光)融合图像。