管继祥,管世烽
(1.中水珠江规划勘测设计有限公司,广东 广州 510611;2.广西大藤峡水利枢纽开发有限责任公司,广西 桂平 537200)
国家“十四五”规划纲要明确提出“构建智慧水利体系,以流域为单元提升水情测报和智能调度能力”[1]。2022年3月30日,水利部印发《数字孪生水利工程建设技术导则(试行)》,该文指出数字孪生水利工程应融合人工智能、大数据、物联网等新一代信息技术;此外,该文针对工程安全监测的巡视检查指标提出了具体要求,基础版要求为“人工巡查、视频监控”,提高版要求为“机器人、无人机巡查”。
近年来,随着深度学习和计算机视觉技术的发展,基于深度学习和计算机视觉技术的智能巡检系统逐渐应用在电力、交通、市政等领域。传统的人工巡检在地势险峻或交通不便的条件下存在巡检难,巡检慢等问题,而基于人工智能和计算机视觉技术的智能巡检系统则可以较好地解决传统巡检中存在的这些问题。
大藤峡水利枢纽工程是国务院批准的《珠江流域综合利用规划》《珠江流域防洪规划》确定的流域防洪控制性工程,是《保障澳门珠海供水安全专项规划》确定的流域水资源配置骨干工程,是广西建设西江亿吨黄金水道的关键节点,也是国务院批复的《红水河综合利用规划》确定的十个水电梯级开发的最后一级。
大藤峡水利枢纽工程坝址位于珠江流域西江水系黔江河段的大藤峡出口处,是国务院批准的流域防洪关键性工程[2],控制流域面积19.86万km2,占西江流域面积的56.2%,控制水资源量1 309亿m3,占西江水资源量的56%,控制洪水量占梧州站洪量的65%。因此,大藤峡水利枢纽的安全运行对于保障珠江流域防洪安全和粤港澳大湾区的水安全具有重要意义。
目前针对水利枢纽的岸线安全监测主要采用人工实地查看的传统方式进行,这种方式存在耗时较长、巡检效率低、人力成本高、作业人员有安全风险等缺点。无人机具有体积小、作业速度快、机动性强等优点[3],特别是在地势较为险峻的岸线处,工作人员难以到达,此时无人机便可发挥其独特的优势。
基于上述背景,本文以广西大藤峡水利枢纽为实际研究对象,利用无人机结合人工智能检测技术,对广西大藤峡水利枢纽岸线进行智能化巡检,在水利行业智能化巡检方向做出了初步探索,为保证水利枢纽的安全运行提供了解决方案。
YOLOv5是一种目标检测算法,实现了端到端的检测和定位,具有速度快、准确率高等优点,是目前最先进的目标检测网络之一。YOLOv5的输入端采用自适应图片缩放、锚框计算以及Mosaic数据增强的方式对检测目标进行处理。Backbone部分用于提取特征,其中Focus为YOLOv5中的独有结构,采用切片操作将输入通道扩充为原来的4倍。Head部分包含了提取融合特征的颈部(Neck)和Detect模块,Neck部分采用了特征金字塔网络(Feature Pyramid Networks,FPN) 与路径聚合网络(Path Aggregation Network,PAN)相结合的结构[4],将FPN层通过上采样的方式与自底向上的特征金字塔进行结合,PAN层将低层特征与高层特征进行传递融合,同时将主干层与检测层进行特征融合,使模型更好地提取重要特征[5]。
无人机在航拍的过程中,由于飞行的高度不同,物体的尺寸变化会较大。其次,无人机在飞行拍摄的过程中,被拍摄物体会产生运动模糊的现象,给物体的识别带来困难。TPH-YOLOv5则是在YOLOv5的基础上进行了改进,优化了网络结构,提高了在特定场景下的检测精度和稳定性。为了解决上述2个问题,TPH-YOLOv5算法在YOLOv5的基础之上做了如下改进。
a)使用Transformer Prediction Heads(TPH)替换原来的预测头部:利用Transformer编码器来代替一些卷积核CSP结构,相较于YOLOv5的原始结构,将Transformer编码器应用到Neck部分,形成了Transformer Prediction Heads(TPH),由于Transformer具有独特的注意力机制,可以获得更加丰富的全局信息和上下文信息。
b)将检测器调整为4个,增加1个专门用于超小目标的检测器[11],结合之前的3个检测器,4个检测器的结构能够降低目标物尺寸的变换带来的负面影响。
c)集成了卷积块注意力模块(Convolutional Block Attention Module,CBAM)[11]。改进后的TPH-YOLOv5网络整体结构见图1。
图1 TPH-YOLOv5网络结构
图1中蓝色字体0～35代表从Backbone到Neck的模块序号,图1中右侧黑色字体1、2、3、4代表4个TPH预测头部。图1中CBAM是一个轻量级的注意力模块,不但能够以端到端的方式进行训练,而且能集成到许多主干网络中以提高性能,CBAM模块的结构见图2。
图2 CBAM模块结构
注意力机制作用就是让网络知道重点去关注哪一部分,相应实现重要特征的突出表现,同时抑制不那么突出的特征[12]。CBAM模块包含通道注意力(Channel Attention Module,CAM)模块和空间注意力(Spitial Attention Module,SAM)模块,分别用于提取通道注意力和空间注意力[11-12]。给定一个特征映射,CBAM将沿着通道和空间2个独立维度依次推断出注意力映射,然后将注意力映射与输入特征映射相乘,以执行自适应特征细化[13]。
通道注意力模块CAM的结构见图3,通道注意力模块采用了最大池化(Max Pool)和全局平均池化(Average Pool)对目标区域的特征信息进行增强,CAM模块在空间维度压缩了H与W,在通道维度保持C不变。通道注意力机制是一种自适应地选择输入张量中最重要的特征通道的方法。在卷积神经网络中,每个卷积层会输出多个特征图,每个特征图对应一个特征通道。通道注意力机制通过计算特征图中每个通道的重要性权重,自动调整不同通道的权重,从而使网络更加关注那些对分类或回归任务最有帮助的特征通道,提高模型的表现。
图3 CAM模块结构
在CAM作用下,图像的位置信息会产生一定的丢失,因此引入空间注意力模块(SAM),空间注意力模块(SAM)的结构见图4。
图4 SAM模块结构
空间注意力机制是一种自适应地选择输入张量中最重要的空间区域的方法。在卷积神经网络中,每个特征图由多个空间位置组成。空间注意力机制通过计算特征图中每个空间位置的重要性权重,自动调整不同空间位置的权重,从而使网络更加关注那些对分类或回归任务最有帮助的空间区域,由于特征具有空间关联性,利用空间注意力模块SAM可以较好地对航拍影像中目标物的位置信息进行关注,对通道注意力特征进行有效补充。
为保障大藤峡水利枢纽工程蓄水期间库区岸线的安全,本文开展基于无人机低空遥感技术的蓄水期间库岸巡查监测工作。出于对作业人员安全和无人机设备安全的考虑,一般选取在晴朗天气的上午和下午开展航摄任务。本文所采用的无人机型号为大疆M300,其航摄视频分辨率为3840×2160,视频帧率为30 fps。针对大藤峡水利枢纽工程55～61 m的蓄水过程,本项目组分别在2022年11月下旬和2022年12月上旬拍摄完成航摄任务(图5)。航摄范围包括库区部分搬迁村屯、易塌岸范围等重点敏感区域共计76 km,视频时长共计400余min,所拍摄视频为MOV格式。利用“Free Video to JPG Converter”软件将大藤峡岸线航摄视频转换成jpg格式图像,图像截取间隔为10 s,经过筛选之后共计2 400张。
图5 现场人员进行航拍作业
河道中漂浮的垃圾会对船只的正常航行造成安全隐患,如果垃圾聚集在一起则可能会造成河道阻塞。库区水位的涨跌变化容易造成岸线土壤裸露处的坍塌,汛期期间水位上涨,易造成岸线周边房屋的淹没,对人民的生命财产安全构成威胁。针对上述现象,本文确定了8类待检测目标物。
利用标注软件Labelimg将数据集进行人工标注,目标物类别包括:聚集型垃圾(g_garbage:坝站设置的拦网或建筑处所形成的聚集型漂浮物)、分散型垃圾(d_garbage:河面飘散的不成堆,零散的漂浮物)、运输船(trans_boat:河道中的运输船只)、弃渣(spoil:主要为施工区域的废弃建筑垃圾)、人(person:路上的行人)、车(car:道路上停靠或行驶的车辆)、房屋(house:包括居民房、厂房、棚房等各类建筑物)、隐患点(danger:主要为无植被覆盖、较陡的裸露岸坡)共 8类[14]。
利用标注好的图像样本构建大藤峡水利枢纽岸线样本数据库,样本库中包含训练集和验证集,两者的数量比例为8∶2,将该数据集输入到TPH-YOLOv5深度学习网络中,进行模型的训练和验证。在本文中,深度学习框架为Pytorch,操作系统为Windows10。TPH-YOLOv5的参数设置如下:epoch为300轮,batchsize为16,学习率设置为0.001,采用带动量的随机梯度下降法进行模型优化,训练过程中自动保存最优模型。本文所采用的计算机硬件配置为:Intel Xeon Gold 5122 CPU,显卡NVIDIA RTX-3090(2张,显存各16 GB)。
在深度学习的模型评价中,通常采用准确率P(Precision)、召回率R(Recall)、平均精度mAP(mean Average Precision,mAP)[15]、这3个指标对模型的性能进行评估。各指标的计算见式(1)—(4):
(1)
(2)
(3)
(4)
式中 TP——成功预测的正例;FP——被误判为正例的负例;FN——被漏检的目标数目;AP——Precision-Recall曲线所围成的面积;P——反映了模型检测的准确度,P值越大则检测的准确率越高;R——反映了模型是否将目标物检测完整,R值越大则检测过程中漏检现象越少;mAP——反映了模型在目标检测中对所有类别检测的AP平均值,即所有类别的平均精度。
为了验证TPH-YOLOv5的模型性能,采用包含 480 张图片的验证集作为评估此模型的基础数据,各类目标指标汇总见表1。
该模型目标检测总体准确率和召回率均在80%以上,mAP0.5达到了91.19%,能够初步满足巡检项目的工程需求,实际检测结果见图6。
a)房屋、隐患点、弃渣、车、运输船、聚集型垃圾
b)隐患点
本文的研究旨在结合大藤峡水利枢纽工程的实际工程需求,探索应用基于YOLOv5检测模型和TPH-YOLOv5检测模型的航拍影像目标检测技术。通过对该技术的试验验证,表明其准确率、召回率、以及mAP指标均能满足工程应用的需求,并且在处理大量图像时具有较高的效率,能够为航拍影像的快速分析提供有效支持。
本研究的成果也表明了基于人工智能的自动化巡检技术在工程项目管理中的应用前景。该技术的应用可以实现大规模数据的快速分析和处理,提高巡检效率,降低人力成本和安全风险,并且能够更加精准地发现各种隐蔽问题,保障工程项目的安全生产和顺利运行。同时,该技术未来可以考虑集成到便携的嵌入式设备中,将拍摄与检测同步进行,提高检测的实时性。因此,本文的研究不仅对水利枢纽工程的智能化管理水平提升具有重要意义,还为其他领域开展基于人工智能技术的自动化巡检研究提供了有益参考和启示。
猜你喜欢大藤峡注意力特征基于R/S分析的大藤峡出山径流灰色预测人民珠江(2022年10期)2022-10-28让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09大跨度、超高双向门机快速安装工艺解析中国新技术新产品(2020年17期)2020-11-30如何表达“特征”疯狂英语·新策略(2019年10期)2019-12-13不忠诚的四个特征当代陕西(2019年10期)2019-06-03抓住特征巧观察数学小灵通·3-4年级(2017年9期)2017-10-13“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13大藤峡放歌歌海(2016年6期)2017-01-10A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21大藤峡公司已拨付征地移民安置资金11．69亿元中国水利(2015年13期)2015-02-28
