基于大数据技术的“智慧消防”应用体系

• 宁波市消防支队 董秋根

2015年，国务院连续发布《关于积极推进“互联网+”行动的指导意见》《关于促进大数据发展行动纲要》等文件，标志着我国大数据产业已经上升至国家战略。随着大数据、云计算、物联网等技术的深度发展和应用，大数据技术成为新形势下构建“智慧消防”安全防控体系的驱动力。大数据分析模式与工具的出现，可以对海量、高增长率、多样化信息资源进行处理，已广泛应用于社会决策之中，成为促进社会经济发展的新引擎，在消防方面可实现基于大数据的“智慧消防”应用建设，提升消防业务的科学水平。

1消防信息化现状及存在问题

1.1现状

我国城市化发展进程加快，消防信息化建设取得一定成效，但受主客观因素的制约，现有消防信息化体系重在基础软硬件设施的建设，相关业务系统基本停留在信息查询的阶段，已经不能满足大数据时代对海量数据进行深度挖掘、分析、应用的现实需求。

1.2存在问题

（1）各地消防部门建立了大量的业务系统，积累了丰富的基础数据源，但由于建设时期不同，以及建设过程中受当时技术和认识的局限，数据分布极为分散，造成了过量的数据冗余和数据不一致，使数据资源难以访问、管理并获得有效的决策支持。

（2）目前部分地区消防管理部门通过采集消防设施、器材、人员、事件的属性信息、状态信息，形成数据资源，对于实现信息查询管理、决策辅助、提升消防部队战斗力等，具有一定的意义，但仍存在消防数据壁垒众多、数据挖掘利用率低、数据应用不足等问题。

2大数据资源及应用技术分析

2.1大数据资源架构分析

大数据是以容量大、类型多、存取速度快、应用价值高且实时数据不断增长为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。

浙江省宁波市消防管理部门拥有多维、异构、实时、海量的消防大数据资源，包括人员（公安现役、社会消防力量等）、场所（高层楼宇、商业综合体、地下建筑、出租房等）、企业单位（高危单位、重点单位、化工企业等）、物品（危化品、易燃易爆物品等）、环节（电器线路、消防设施、疏散通道等）、水源（消火栓、天然水源等）、巡查信息等多种数据，另外包括规划、住建、国土、民政、通信、交通、气象、供水、公安等相关部门的数据，需要对相关数据资源进行收集、融合，构建全面、实时、标准的消防大数据资源体系，为进行基于大数据方法的“智慧消防”建设提供良好基础。

2.2大数据资源融合处理

原始采集的消防数据资源需要进行数据清洗、比对、整理及融合处理，才能成为“智慧消防”大数据，供系统调取并进行大数据分析利用。

2.2.1数据清洗

在进行大数据分析应用中，首先需要对数据进行清洗，使数据满足应用要求。数据清洗是基于大数据分析过程中不可缺少的一个环节，清洗结果质量直接关系到大数据应用效果。

（1）进行数据值过滤。数值过滤需要确定缺失值范围，去除不需要的字段，填充缺失内容，同时对某些数值进行重新取数，获取更为精准的数据资源。

（2）对数据格式内容进行清洗。收集的数据多源，格式多样，需要对格式进行清洗，将其处理成一致的某种格式即可；内容与该字段如有内容不符的情况，需要详细识别问题类型，进行单独处理。

（3）对数据逻辑错误进行清洗。对消防大数据进行分析后，需要去掉数据中重复的部分，同时对数据中不合理值进行清洗，可进行去除或修正操作，使用工具和方法，尽量减少问题数据出现的可能性，使数据清洗过程更为高效。

（4）对非需求数据进行清洗。收集数据中有部分数据是冗余信息，对我们进行大数据分析产生负担，需要进行非需求数据清洗，仅保留与“智慧消防”业务相关的大数据资源。

2.2.2数据融合

通过数据融合分析工具，提供完备的数据融合方法模型，以多业务应用数据为对象，建立跨业务、跨组织的数据融合与关联，变离散数据为关联数据，实现跨行业智慧应用的数据基础，有效整合城市消防数据资源，完美融合割裂的数据资源，助力“智慧消防”建设。

2.2.3数据库建设

把数据资源中的“智慧消防”相关大数据进入HDFS分布式文件系统进行存储，其他数据将存储到数据库中，作为系统应用的补充，相关数据库包括消防基础信息、实时监测数据、消防业务管理数据、消防资源装备管理数据、消防公共服务数据等。

2.3大数据平台技术

由于数据来源渠道众多、种类多样、体量庞大，传统技术难以处理，目前“智慧消防”领域主要采用Hadoop和Spark技术来构建高效的大数据平台，实现了对消防大数据资源的统一标准的高效管理。

2.3.1Hadoop关键技术应用

Hadoop是一个非常可靠的、高效的并且具有可扩展性的分布式软件开发框架，其可以在一个相对较短的时间内接受并完成大量的数据处理任务。主要技术

包括以下内容：

（1）基于HDFS分布式文件系统的大数据组织存储。传统的消防信息管理平台一般采用实时历史数据库或者普通的关系型数据库作为数据存储方案。基于关系型数据库的存储方案除了不能支持半结构化和非结构化的存储之外，其扩展能力差和扩展相应的昂贵价格都是不符合期望的。针对消防大数据容量、来源广、结构多样的特点，采用Hadoop分布式文件系统（HDFS）进行数据存储，实现对多维异构多维消防信息的高效存储。

（2）基于Yarn的资源管理任务调度。YAＲN通过层级化队列的方式组织和划分资源，并提供了多种多租户资源调度器，这种调度器允许管理员按照应用需求对用户或者应用程序分组，并为不同的分组分配不同的资源量，同时通过添加各种约束防止单个用户或者应用程序独占资源，进而能够满足各种QoS（服务质量）需求。

（3）基于Map/Ｒeduce的并行计算。Map/Ｒeduce是设计用来处理消防大数据的批量处理方法，具有性价比高，持续可扩展和高吞吐量等特点。Map/Ｒeduce是以批处理的模式来运算的，这种批处理模式在处理离线数据时具有非常大的优势。

（4）基于Hive的数据清洗。Hive是Hadoop一个的数据仓库框架，能够在Hadoop的分布式文件系统上建立智慧消防数据仓库，来存储，组织和管理数据，并为决策支持系统提供数据支持。

（5）基于HBase的数据查询。HBase是一个适合于非结构化数据存储的数据库，可以实现大数据内容的读写。HBase支持范围查询，可以直接写入Hadoop处理后的数据。

2.3.2Spark关键技术应用

Spark适合用来作需要多次迭代的计算，特别是消防大数据挖掘和机器学习算法。Spark立足于内存计算，其性能和速度都优于MapＲeduce，对于用户来说更易于使用，更符合低延时、迭代计算的大数据应用。

其中用于处理特定场景定制四个Spark高层模块：SparkSQL，MLlib，GraphX和SparkStreaming。这四个模块基于SparkＲDD进行了专门的封装和定制。

①SparkSQL用于分布式SQL查询的工作；②MLlib化是分布式机器学习库，它基于Spark进行编写；③GraphX是一个负责对大规模图进行处理和计算的模块；④SparkStreaming负责实时大数据的流式计算。

这四个模块可以无缝结合，互相配合。Spark生态环境，如图1所示。

2.4大数据挖掘分析方法

Spark目前支持常见的数据挖掘算法实现，包括：相关分析、回归分析、时间序列分析、聚类分析等。

（1）相关分析。相关分析是研究变量间密切程度的一种常用统计方法。线性相关分析仅研究两个变量之间线性关系的程度。偏相关分析就是固定其他变量不变而研究某两个变量间相关性的统计分析方法。主分量分析和因子分析研究一组变量内部的相关关系，而典型相关分析考察两组变量之间的相互关系。

（2）回归分析。回归分析研究一个变量和一组其它变量之间相关关系的方法，按照回归变量的个数不同可以分为一元回归分析和多元回归分析，按照回归的形式不同可以分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以通过对变量进行变换，从而转换为线性问题来解决。

（3）时间序列分析。时间序列分析是根据系统观测得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析主要用于系统描述、系统分析、预测未来、决策和控制。

（4）聚类分析。将物理或抽象的集合分组成由类似的对象组成的多个类的过程被称为聚类。聚类分析广泛应用于许多领域，例如模式识别、数据分析、图像处理以及市场研究。通过聚类分析海量数据，从而得到相应的数据分布形成特定的簇，并作进一步的分析。

3基于大数据的“智慧消防”应用体系建设

3.1“智慧消防”总体框架

“智慧消防”应用体系建设基于J2EE规范，符合国际标准，具有良好的扩展性、跨平台性、移植性，体系架构如图2所示。

（1）数据资源层。通过数据的梳理整合得到的消防大数据，包括：装备数据、人员数据、场所数据、水源数据、通讯数据、交通数据、物资数据、巡查数据、视频监控等。

（2）基础应用支撑层。基于Hadoop和Spark技术进行构建，包括统一数据采集、基础数据存储和处理中心。

（3）系统应用层。构建统一的系统应用中心，通过基于大数据技术，实现信息全面感知、风险监测预警、作战科学指挥、装备精细管理、安全公共服务等应用场景的应用。

3.2消防信息全面感知

通过消防信息感知采集系统对大数据资源的收集、整理及融合分析，在Hadoop平台上进行消防信息大数据的全面感知与管理，打通互联网、政务网、公安网、消防网、通信网等数据通道，汇接实时路况、人口热力、重点单位、装备实力、周边水源、物联传感、视频监控等数据资源，建立多维度分析评估模型，提供可视化展示结果，辅助区域消防业务科学化管理。

（1）火灾隐患一张图。将社会化消防隐患排查系统采集的数据进行统一汇总分析，结合GIS地理信息数据，形成火灾隐患一张图，按区域、行业直观展现火灾隐患。

（2）灭火救援一张图。灭火救援一张图采用可视化展示技术，将消防力量分布、消防重点单位、消防水源、警情位置、警情周边重点单位、视频监控点位、道路分布等信息在GIS地图上统一管理和展示。

（3）消防力量一张图。全面展示消防力量的动态分布，专业消防队、、微型消防站、义务消防员的位置、装备情况，消防力量出动情况。

（4）消防预警一张图。通过消防预警分析，消防安全评价，在电子地图上进行展示，随时掌握消防预警的发生，为提高防火救援的能力。

3.3火灾风险监测预警

火灾风险监测预警系统实现巡查管理、警情管理、火灾风险预报。

（1）巡查管理。实现对辖区内的所有监管对象，包括企业、商铺、小区等的消防安全、安全生产进行电子巡查，做到日常巡查有迹可查，同时利用大数据挖掘技术对巡查对象可能发生的火灾风险进行评判，以实现火灾重点防护。

（2）警情管理。通过数据交换接口从119综合指挥系统中获取警情数据，和警情任务安排，将相关的警情信息通过平台及短信方式等进行预警发送，实现消防救援高效应急反应。

（3）火灾风险预报。对消防大数据进行深度挖掘、统计、分析研判与融合展示，实现数据流、业务流、管理流的高度融合，根据历史火情发生时间、类别、相关单位、环境信息、溯源调查等，进行实时风险预判，提高应急反应预见期。

3.4消防作战科学指挥

消防作战科学指挥系统将调度指挥所需车辆、人员、水源、预案、重点单位、实时路况、人口信息、消防设施、视频监控、三维地图、街景地图等全要素、全过程信息在地图上实时显示，指挥员可以直观掌握火场动态，动态标注作战意图、战斗任务、力量部署等作战指挥要素，实时立体化指挥作战。基于公安、住建、交通、供水、气象、城管等部门的动态实时、多维数据，在系统设计中实现对消防行动的统一化、精细化、动态化的调度指挥。

（1）救援力量分析。采用可视化展示技术，将起火点周围的消防力量分布、消防水源、警情位置、警情周边重点单位、视频监控点位、道路分布等信息在GIS地图上统一管理和展示。

（2）灭火救援预案。对火灾发生场所的救援预案信息进行展示及管理，包括该地区的救援方法、处理程序等，系统提供对救援预案的可视化展示。

（3）火灾信息研判。结合大数据分析方法，根据火警信息，获取起火建筑及周边地区气象数据，分析接警后到达火警点之间的时间内，火势蔓延的趋势，同时根据交通信息，进行救援行车路线分析，并根据所救援对象的楼宇结构图、人员分布、存放物品等信息进行分析，结合既定预案，灵活进行火灾及救援行动的研判。

（4）救援实施方案制定及执行。根据火灾信息研判结果，进行救援实施方案制定，通过大数据可视化技术，对救援流程进行流程化救援作业方案的制定及展示，并实时共享给现场救援指挥人员，可根据现场情况进行灵活调整，使消防作战指挥更加扁平化、协同化、精细化，提高灭火救援工作效能。


3.5资源装备精细管理

资源装备管理系统实现对消防物资、车辆、药剂的精细化动态管理，做到“底数清、情况明”，并通过大数据技术对消防物资的采购、维护、合理调配提供信息支撑。

（1）维修养护管理。根据消防装备的实际情况，通过人工填报，系统对维修养护计划安排、阶段性维修养护内容、现场拍照信息等进行记录，以表格化的形式对维修养护记录进行展示及管理。

（2）装备管理。对资源装备的购置、入库、使用、损耗等进行信息记录及管理。

3.6消防安全公共服务

消防安全公众服务系统主要通过互联网、移动互联网、PC电脑、智能手机app等对社会公众提供消防安全宣传和安全教育服务，并利用社会公众的力量及时发现消防安全隐患，在火灾发生时快速地报警及上传、查看火灾实况信息，主要包括：消防大管家、隐患随手拍、火情报警等，提升公众参与消防的热情与参与感。

“智慧消防”基于大数据技术，利用信息化手段，以实际需求为导向，搭建“智慧消防”应用平台，平台通过采集融合大数据信息资源，结合监督执法信息、消防警力信息、消防设施信息、智慧城市公共信息等，利用大数据挖掘分析，实现动态感知、预判预警、科学决策，基于大数据技术构建“智慧消防”体系，并建立和完善消防应急管理制度。充分利用信息处理技术，学习借鉴国外先进经验，强化相关机构及人员的风险的防范意识，从而达到有效预估风险的目的，并在风险发生时，迅速作出反应，采取积极有效的措施防范、规避风险，将灾难造成的财富、生命上的损失降到最低，提升区域消防业务科学化水平，保障公民人身财产安全。