输煤机器人巡检系统
1、系统概述
皮带输送机和刮板、转载输送机是工业生产中非常重要的运输设备，它能否安全高
效地运行，直接决定着矿井机电设备的开机率和产量。随着计算机控制技术、网络技术、光纤通信技术、视频监控技术、传感器技术的飞速发展，各种皮带输送机保护传感器功能的不断完善，国内大部分石料矿已经建成皮带输送机的远程集中控制，这种以“地面控制为主，井下监控为辅”的控制模式，取得了良好的经济效益和社会效益。
由于皮带输送机控制环节复杂、监控点众多，集控人员不可能“面面俱到”；同时由于人眼视觉疲劳，难以长时间保持警觉，集控人员难以做到24小时实时盯着监控点，无法对人员违规行为（危险区域闯入、跨越皮带等）、环境异常（堆石料）和设备异常（皮带纵撕、皮带跑偏、皮带表面损伤、皮带运输中的异物等）状态进行即时获取，无法做到系统即刻联。因此需要一双智能的“眼睛”替代人眼，能及时发现问题，进行报警，抓拍照片和延时录像，提醒现场人员和监管人员，同时能发出控制指令，可控制现场设备停车，避免事故生。
智能视频图像识别技术以数字化、网络化视频监控为基础，通过数字图像处理和分析来理解视频画面中的内容，它能够自动分析和抽取视频画面中的关键信息。借助计算机强大的数据处理功能，对视频图像中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息，它是一种更高端的视频监控应用。系统能够识别不同的物体，发现监控画面中的异常情况，并能够以最快和最佳的方式发出警报和提供有用信息，从而能够更加有效的协助安全人员处理危机，并最大限度的降低误报和漏报现象。
系统设计在皮带输送机的机头、机尾、转载点等处安装矿用本安型图像处理摄像仪，用一双智能的“眼睛”替代人眼，及时发现皮带运输中的空载、异物（锚杆、大块）、跑偏、危险区域人员闯入、堆料、皮带纵撕、表面损伤等隐患，立即进行报警，抓拍照片和延时录像，提醒现场人员和监管人员，并能发出联动控制指令，控制现场设备停车，避免重大事故的发生。该系统建成后可实现提高生产效率、降低事故率，减少故障处理时间、减少现场操作人员、提高经济效益。为矿山企业高产高效、减人提效、安全生产提供技术保障。
2、系统设计
基于AI视觉识别和深度学习技术的皮带机无人值守系统设计的核心思想是将视觉识别分析、工业联动控制等功能集成，利用通用智能摄像仪、控制主机、远程控制设备等组成一个智能化、多功能、全天候的动态智能识别系统，做到机器视觉识别与工业控制相结合，能实现对矿井环境及物品（设备）状态等的识别，通过3D可视化, 实现一张图统一监控、统一预警、统一调度。进一步实现对皮带机等主要生产设备的自动保护停机、智能调速控制，达到安全、节能的目标。
实用性
充分考虑本项目现场实际需要，结合技术的发展趋势，根据现场环境，选用性价比高的配置组合。
可靠性
系统的设计应具有高可靠性，采用高可靠性，成熟的产品。
开放性
选用成熟的产品为设计对象，选择标准通信系统接口，常规视频监控设备或网络设备均能正常接入。
先进性、成熟性
使用先进、成熟、实用和具有良好发展前景的技术，具有较长的生命周期，不盲目追求高档次，既满足当前的需求，又适应未来的发展。
易操作性
先进且易于使用图形人机界面功能，提供信息共享与交流、信息资源查询与检索等有效工具。
实时性
设备和终端必须反应快速，充分配合实时性的要求。
完整性
提供与各种外界系统的通信功能，确保信息的完整性并充分利用在整体系统的运作上。
经济性
所有设备的选型配置和采购订货，坚持性能和价格比最优的原则，同时兼顾供货商
的自信度和维修服务能力。
系统主要由主控计算机、AI智能视频识别系统、红外热成像分析系统、3D可视化监控系统、矿用本安型图像处理摄像仪、工业互联万能网关、数据接口opc网关和工业环网等部分组成。
系统的结构如下图所示：
系统架构图
1. 皮带打滑识别设计
（1）皮带正常运行识别
在皮带机身处安装矿用本安型图像处理摄像仪，通过动态图像识别、物料死别等多种算法判断皮带在工作运行中
（2）皮带打滑识别
当皮带上运载有物料,且从正常运行到速度变慢甚至停止,此时如果皮带电机的运行速度变化不大可判断出现皮带打滑现象
（3）联动报警
当出现打滑现象时，及时报警，同时根据设定的联动原则 ，自动联动自动控制系统进行停机或人工确认后是否停机
2.皮带跑偏识别设计
在皮带机头处安装矿用本安型图像处理摄像仪，用于监测皮带和托辊间距离，通过智能识别算法，实现对皮带跑偏的监测。在检测软件中预设置胶带边缘与托辊外沿间距，通过运行过程中的检测，判断胶带是否跑偏。
当检测到异常时，及时报警，同时根据设定的联动原则 ，自动联动自动控制系统进行停机或人工确认后是否停机
3.皮带大块石料、异物识别检测设计
在皮带机尾安装1台矿用本安型图像处理摄像仪，用于大块石料、长条物品及异物识别。
当检测到异常时，及时报警，同时根据设定的联动原则 ，自动联动自动控制系统进行停机或人工确认后是否停机。
4.皮带堵料检测设计
在皮带落料点处安装矿用本安型图像处理摄像仪，用于堵料检测。利用图像语义分割技术，将皮带、石料进行边缘提取，找出各类物体的区域。即使在不同的工作场景下、图像对比度很低、物体很复杂情况下，该类算法依然很好的找到物体区域。
当检测到异常时，及时报警，同时根据设定的联动原则 ，自动联动自动控制系统进行停机或人工确认后是否停机。
5.违规穿越皮带识别设计
在皮带巷道口等人员易穿越皮带处安装矿用本安型图像处理摄像仪，用于监测人员穿越皮带。
当检测到异常时，可进行声光报警。
6.危险区域闯入识别设计
在皮带的机头、机尾、落石料点、转载点等处安装矿用本安型图像处理摄像
仪，用于危险区域人员闯入检测。
在胶带机停止时，部分区域被视为安全区域，人员可以进入。当胶带机运行时，皮带机尾、落石料点、胶带机内侧等场所视为危险区域，有人员闯入时，摄像仪可自动识别人员闯入，抓拍、录像及报警，现场语音提示。
7.皮带纵撕检测设计
皮带撕裂装置采用线激光器+高速相机组合方式，通过激光器发射一条平直激光束，
激光束投射在皮带表面，并发射至摄像头中。摄像机高速采集这些轮廓图像，经过图像预处理、二值化、轮廓提取等算法，提取出轮廓线。当出现皮带撕裂时，皮带轮廓线就出现断裂，不连续，以此可以判定皮带出现撕裂。
纵撕检测光束和轮廓线示意图
在皮带机尾安装纵撕检测摄像仪，对上胶带底面完整性进行检测，当带面出现异常
变化时，根据设定的联动原则 ，可以自动通过干节点闭锁的方式停止皮带运行，防止皮带撕裂的更长，并有语音提示或人工确认后是否停机。同时将报警信息存储到服务器的数据库方便后续查询和统计，也可以通过客户端可以下载报警图片及报警记录。
8.局部温度场（红外热成像）智能识别
通过在皮带电机处或者机头驱动滚筒处安装热成像摄像仪检测固定设备的热成像，针对特定区域设置最高报警温度，当温度超过设置的阈值时现场热成像摄像机立即发出语音提醒，同时报警信息发送到调度中心的客户端中，服务器上同时进行存储。在客户端上同时会实时展示画面中的热力图。
9.皮带表面损伤检测设计
在皮带驱动机头附近合适位置，安装皮带表面探伤专用矿用摄像仪，分别用于皮带工作面表面损伤检测。
摄像仪拍摄皮带工作面视频图片，结合目标检测及视频增强、视频跟踪的技术，通过基于深度卷积神经网络的目标检测算法，判断皮带是否存在严重划痕、损伤，进而指导维护人员及时对皮带进行维护检修，对皮带异常情况拍照、报警及联动控制皮带开停，避免损伤恶化及事故发生。安装方式如下图所示：
皮带表面损伤检测示意图
3、系统的主要功能
3.1皮带打滑检测保护功能
在皮带机身处安装矿用本安型图像处理摄像仪，通过动态图像识别、石料识别等多种算法判断皮带在工作运行中，当皮带上运载有石料,且从正常运行到速度变慢甚至停止,此时如果皮带电机的运行速度变化不大可判断出现皮带打滑现象
当出现打滑现象时，及时报警，同时根据设定的联动原则 ，自动联动自动控制系统进行停机或人工确认后是否停机
在检测软件中预设置皮带边缘与托辊外沿间距，通过运行过程中的检测，判断胶带是否跑偏。当发生跑偏时，现场语音预警、图像抓拍，必要联动控制皮带。
对上胶带底面完整性进行检测，当带面出现异常变化时，立即停机，防止皮带撕裂的更长，并有语音提示，同时将报警信息存储到服务器的数据库方便后续查询和统计，也可以通过客户端可以下载报警图片及报警记录。
设备检测图片
通过对皮带机运输物料进行扫描，分析视频信息，对大块石、锚杆等杂物进行
辨识，并联动控制皮带开停，提高安全保障。可实现皮带上的大块石料的识别及报警，必要时紧急停车，可避免由于大块石料、锚杆造成的设备损坏等事故。同时可设置大块的尺寸定义，对皮带上识别的异物分级报警。
（1）对采集到的原石料运输图像进行预处理、分类储存、特征抽取和选择，对大块矸石、锚杆进行识别，实现危害性判断，并实现报警、停止皮带运行机功能。
（2）具备“学习”能力。以“自主学习”为主、人工辅助“学习”为辅。通过长时间对大块矸石、锚杆等杂物特征的采集，丰富自身数据库，实现异物识别，达到“自主学习”的目的，同时也可以通过视频回放功能，人工在视频上进行选择，实现人工辅助“学习”的目的。
将机头落料处的范围进行边缘提取，找出各类物体的区域，当出现堵石场景时立即发送报警信息到集控中心,同时堵料检测摄像仪可以通过开关量输出控制皮带开停，现场语音预警、图像抓拍，必要联动控制皮带。
当有人违规穿越皮带时，系统可自动识别人员闯入，抓拍、录像及报警，现场语音提示等。
在胶带机运行时，皮带机尾、落石料点、胶带机内侧等场所为危险区域，当有人闯入，摄像仪可自动识别人员闯入，抓拍、录像及报警，现场语音提示等。
在皮带电机处或者机头驱动滚筒处安装热成像摄像仪检测固定设备的热成像，针对特定区域设置最高报警温度，当温度超过设置的阈值时现场热成像摄像机立即发出语音提醒，同时报警信息发送到调度中心的客户端中，服务器上同时进行存储。在客户端上同时会实时展示画面中的热力图。
通过人工智能大数据技术，将 AI 摄像仪采集到的实时高清画面，利用 AI 识别分析技术实时检测皮带上的伤痕、磨损等，并根据伤痕的尺寸、撕裂方式、穿透情况等生成告警，并联动控制皮带。
通过opc数据采集网关，获取皮带机预启动信号,启动现场声光报警器进行预警,同时通过现场摄像机扫描现场,发现问题立即报警提醒,实现启动前预警功能
3D可视化监控平台是基于自主研发的3D 可视化物联网基础支撑性工具拓展为解决数据中心管理规模越来越庞大；管理工具越来越多样化；管理信息和管理数据越来越海量化的精细化、专业化、自动化管理要求。系统以 3D 可视化作为重要管理手段，对数据中心资产设备，资源设备运行状况等进行全面监控和管理，包括基础设备监控和基础设备管理两大功能模块。通过采集设备、传输设备和管理设备等，将数据中心机房内分散的多种专业监控系统、资产管理系统、运维流程管理系统融合在构建数据中心的 3D 全息图景中；建立统一监控、统一预警、统一资产管理以及统一空间规划，并提供规范化的系统管理流程；改变监控、数据孤岛现象，并保障机房运维过程有据可依。
烟火检测通过对视频图像信息进行分析判断，及时发现危险源监控区域内的异常火灾苗头，以最快、最佳的方式进行告警和提供有用信息；同时还可查看现场实时图像，根据直观的画面直接指挥调度救火。
烟雾报警检测通过对视频图像信息进行分析判断，及时发现危险源监控区域内的异常烟雾，以最快、最佳的方式进行告警和提供有用信息,防范于未然。
4、系统性能特点
（1）系统结合最前沿的智能视觉分析技术与模式识别技术，能够通过视频的方式，在远程监控中心，对多个监视区域内发生的各类异常事件进行检测。并支持单路视频同时运行多达8种不同检测功能的算法
（2）工业实时数据库：10000Points实时数据库存储，整年的数据只占用5G空间；单点的十年历史数据检索速度小于20秒
（3）自动记录事件视频：无需用户干涉，系统可以自动进行事件信息记录，可以设置警报后持续记录时间，用户可以决定记录的视频演示的速度。
（4）智能联动控制：能够对大块、跑偏、堆石料等异常情况进行识别，
同时输出信号通过工业互联网关提供给皮带集控系统，对皮带机进行操作控制，实现运输系统自动调速和安全预警。
（5）矿用本安型图像处理摄像仪：分辨率≥200W 像素，采用 H.265 或 H.264 视频压缩算法,性能可靠稳定，兼容标准：ONVIF、GB/T 28181。
（6）矿用本安型双目热像仪：分辨率≥400W 像素，采用 H.265 或 H.264 视频压缩算法,性能可靠稳定，测温范围 -20°C到400°C
智能管理平台软件客户端安装在监控中心上，用户可以通过日程，过滤器和你感兴趣的区域等元件，创建和维护你的摄像头和智能分析系统，对于这些元件的配置和存取点在下面的界面上展现出来。
在设备管理页面，管理员可以添加设备类型、分组、添加设备、修改设备、删除设备、配置设备、启动设备、停止设备等。
添加设备，填写对于的设备信息，其中分配节点为AI视频分析服务器。（现用到的AI服务器有10.38.154.71、10.38.154.72、10.38.154.241、10.38.154.242）
点击摄像头右边配置，可以给摄像头添加算法，比上图，添加有烟火检测、不戴安全帽检测、不穿工作服检测、防护罩缺少等检测。配置完之后可以在摄像头右边点击启动或停止
每个算法配置说明：
（1）烟火检测：如果需要添加烟火检测的算法，直接添加即可，不需要详细配置，其中右边的频率默认是2 表示2秒检测一次，（下同）
（2）不戴安全帽检测：如果需要添加不戴安全帽检测的算法，直接添加即可，不需要详细配置
（3）不穿工作服检测：如果需要添加不穿工作服检测的算法，直接添加即可，不需要详细配置
（4）不戴防尘口罩检测：如果需要添加不戴防尘口罩检测的算法，直接添加即可，不需要详细配置
（5）区域入侵检测：当需要添加区域入侵检测的时候，上方有一个“深度配置”，点击深度配置弹出对话框，在视频区域里面绘画一个区域为检测区域，可用矩形、多边形来绘画，其中多边形绘画按右键结束。配完区域之后保存即可，以后有人进到这个区域就算入侵。
（6）大块石料检测：绘画的入口和上面5一样。大块石料检测绘画完区域之后，需要在绘画的区域画一条水平直线。如图
（7）堵石料检测：
（8）撒石料检测：撒石料也是需要深度配置的，在指定的区域里面绘画出指定检测撒石料的区域即可
（9）打滑检测：皮带打滑，在指定皮带区域绘画一个区域，尽量包括皮带边缘。如图
（10）防护罩缺失检测：添加对应的标签名即可。每个摄像头的标签不一样。
（11）设备损坏检测：和防护罩缺失一样，添加对应的标签即可。图略
（12）皮带跑偏检测：在深度配置哪里画一个皮带区域，然后填写标签名称和数量
（13）作业区非法人员入侵检测：此功能关联人脸库，在添加此功能的时候，如果选择人脸库的数据，那么在指定区域除了选择的人脸库之后，其他人进到这个区域就算入侵。
3.1.2 算法管理
目前算法管理是有程序员固定。不可删除或添加
3.1.3 人脸库管理
人脸库管理，主要用于，在“作业区非法人员入侵”功能哪里可以由管理员选择人工人员进入的，非人脸库的人员即非法进入。
3.1.4 报警管理
配置报警推送的相关信息。由程序员填写
3.1.5 用户管理
点击用户管理，点击添加用户，填写用户信息即可。角色只有管理员和普通用户，管理员有系统管理权限，普通用户没有系统管理。
3.1.6 联动管理
添加联动，选择左边的摄像头来源，和需要联动的任务名称，其中位号要和PLC相应的位号一直
监控系统作为安防应用时，最基本也是最重要的作用之一就是对区域入侵的侦测。要实现真正的7*24全天候监控，并不是容易的事情。接连数小时盯着通常显示着多个静止的房门和窗户监视器，使安保人员面临注意力极限的挑战。黑暗或恶劣的天气情况等客观条件，则使问题变得更加复杂。显然，迫切需要智能化的系统来发挥自动“电子眼”的作用，以便对潜在入侵者、可疑目标和其它安全侵犯活动进行至关重要的瞬间刺激型准确检测，以便对事件做出迅速而明智的决定和实时响应。
为了应对这种情况，智能监控系统设计了入侵检测功能。在实际使用的时候，用户能够在梯口设定虚拟的防线或区域，当有人进入或有人投掷物体（如汽油弹，燃烧瓶）时，监控系统便弹出红色提示框，并发出声音警告。
穿越警戒钱侦测是对周界防护的重要保障措施，对重要单位、院所等地方周界实现真正的7*24全天候监控，并不是容易的事情。由于周界范围广，涉及的监控摄像头就会很多，安保人员无法接连数小时盯着通常显示着多个静止的监控摄像头。另外黑暗或恶劣的天气情况等客观条件，则使问题变得更加复杂。显然，迫切需要智能化的系统来发挥自动“电子眼”的作用，以便对潜在入侵者、可疑目标和其它安全侵犯活动进行至关重要的瞬间刺激型准确检测，以便对事件做出迅速而明智的决定和实时响应。
任何一个区域的监控，都需要根据重要程度或对整个区域进行划分，并“区别对待”，根据重要程度的不同实施不同的监控方案。
对重点区域，安全人员必须及时发现异常情况，提前发现潜在的威胁，并做出应对策略。异常情况包括人异常行为，物体的突然出现和消失，例如人员聚集等事件。
智能监控系统将可以识别这些情况、提示给保安人员，实现对可能产生违规行为进行预警。在摄像机的监控范围内，用户可以自行设置检测区，一旦在该区域内有异常情况出现时时，系统自动产生报警，同时使用告警框进行标识，并提醒相关人员注意。
需要对静态物品进行观察，以防损坏、偷窃等情况发生，也要对可疑物品的出现进行监控。这仅仅依靠监控人员是难以做到的，因为长时间相似的环境容易让监控人员失去警觉，而在偷窃等情况发生时，没有及时发现。但借助智能监控系统的静态侦测技术（NMD），即使在能见度很低或昏暗的环境下都能对放置在环境内的物件进行监控。
在NMD的帮助下，机器的丢失或搬动等异常情况出现时，系统自动产生报警，同时使用告警框进行标识，并提醒相关人员注意。
火灾是世界性的重要灾害之一，年年都有一定数量的发生，造成资源的重大损失和全球性的环境污染。室内火灾可能带来重大损失，监控烟火显得尤为重要。
火灾具有突发性、灾害发生的随机性、短时间内能造成巨大损失。因此一旦有火警发生，就必须以极快的速度采取扑救措施，扑救是否及时，决策是否得当，很大程度上取决于对烟火、烟雾等现象的发现是否及时。
引起火灾的主要原因可能是：电器老化短路着火、未熄灭的烟头、人为纵火等。根据经验，烟雾和火苗是火灾发生的一个明显信号。若对这些烟雾和火苗不能做到及时预警和报警，将会导致小失误、大事故，大损失。
智能监控系统对烟雾、火苗的监控非常灵敏。当微小火苗形成时，可能无法引起监控人员的注意，智能监控系统却能够及时发现，并提出警告，以提醒相关人员及时做出应对。
如何提前预知犯罪并及时采取正当措施、保护人民及财产安全已成为对视频监控系统日益迫切地需求。要做到提前预知，必须使安全人员提前感知异常行为并关注相应监控领域、尽可能提前发现潜在的威胁并做出应对策略。对重要场所来说，徘徊、逗留等行为都可视为异常行为，应该予以密切的注意。例如：有人在梯口附近长时间徘徊、逗留；有人在特定区域持续出现，并无故逗留……
对这些长时间、反复出现的可疑行为，对监控人员的经验要求比较高，需要借助监控人员的经验和注意力集中才能分辨，仅凭监控人员的肉眼，是难以分辨的，极易出现遗漏。
智能监控系统可以记录连续出现的可疑人物，并识别这种行为、提示给保安人员，实现对可能产生的犯罪或违规行为进行预警，并可以自动识别在某一区域徘徊超过一定时间的可疑人员并及时报警，忽略仅仅是路过的普通人。
智能监控系统可以对日常安保管理工作带来规范性的检查手段，一旦执勤人员在工作期间，脱离岗位，系统可快速告警，实现对安保管理工作的规范性。
