消防大数据业务库包括通用基础库、消防专题库、行业主题库,火灾智能分析、智能防控、应急灭火救援提供数据支撑。通用基础库,基于现有数据库,对消防内部数据、企业数据、政府数据等提供的消防相关数据进行汇集、处理、挖掘及智能分析,形成人员基础库、单位基础库、建筑基础库共三大类基础库。消防专题库,综合分析消防相关各项数据,包括消防设施专题库、重点部位专题库、物联网专题库、火灾隐患专题库、危化品专题库、水源专题库、火灾专题库、微型消防站专题库、一警六员专题库、社会救援力量专题库、单位维保专题库、防消联勤专题库。
智慧消防利用物联网、人工智能、移动互联网和大数据云计算技术,结合火警智能研判等智能算法模型,构建智慧消防体系,有效整合各方力量,摸清火患底数,构建城市公共安全、火灾防控体系,实现智能预警、迅速响应、合理调配、消防联动,最大程度保障城市消防安全。
大数据基础平台对大规模数据集(海量数据),提供底层分布式计算和分布式存储技术,可以扩展到数以千计的存储和计算节点,提供高可用服务的大数据集群。沃达德大数据平台具备数据的可靠性、安全性和高可用性,是构建整个大数据技术架构的基础平台。产品特性包括:分布式计算、分布式存储、支持数以千计的存储和计算节点、高可用服务,以及保证数据的可靠性、安全性和高可用性。
数据是一种宝贵的资源。利用新技术新方法挖掘现有数据的价值,找到数据间的关联关系,提高基础数据的利用率,并预测未来趋势及行为,是国内面临的迫切问题。一批新兴的数据处理、挖掘与分析技术不断涌现,如沃达德大数据平台、数据仓库、分布式数据库、数据挖掘平台、大数据可视化,使分析处理海量数据变得更加容易、更加便捷。
大数据平台进行数据采集时通常要面对数据结构、业务规则、技术特性(网络、安全、性能约束)等方面的综合挑战。如果数据源和大数据平台处于相同的网络环境,具有类似的数据结构和编码映射,可以通过工具配置或脚本进行采集,如使用Sqoop。当需要面对和对接第三方的数据生产系统,需要遵循对方的抽取协议,以及跨网段的数据访问,从而需要对采集应用进行一定程度上的定制,可以使用Java NIO、Netty或Mina。
Hadoop是一个成熟的大数据处理框架,允许在集群中使用简单的编程模型对大规模数据集进行分布式计算。它被设计为可以从单一服务服务器扩展到数以千计的本地计算和存储节点,并且Hadoop会在应用层面监测和处理错误,而不依靠硬件的高可用性,所以Hadoop能够在一个每个节点都有可能出错的集群之上提供一个高可用服务。
基于沃达德大数据平台,通过对海量数据采集、处理、存储、分析和数据挖掘,根据数据的特性,采用合适的可视化方式,将数据直观地展现出来,以帮助人们认识数据、理解数据,同时找出包含在海量数据中的规律或者信息,预测未来发展趋势,进行智能化决策分析,使得数据资产成为核心竞争力。