消防大数据是利用大数据、云计算、物联网技术采集和整合各类消防资源,把各类数据通过大数据平台进行采集、处理、存储、分析和数据挖掘, 形成有价值的数据。消防大数据平台对消防设施生产企业、消防安全重点单位、公共场所、公共消防设施、各类重大危险源、周边救援人员、消防救援装备、灾害现场、战勤保障物资、社会应急救援与保障力量等各类信息数据进行统一整合。通过对消防数据的采集、处理、存储、分析、数据挖掘和预测,加强日常消防安全管理,快速响应消防应急救援,为公众提供高效的消防服务。
数据是一种宝贵的资源。利用新技术新方法挖掘现有数据的价值,找到数据间的关联关系,提高基础数据的利用率,并预测未来趋势及行为,是国内面临的迫切问题。一批新兴的数据处理、挖掘与分析技术不断涌现,使分析处理海量数据变得更加容易、更加便捷。
通过建设大数据基础平台,对已有海量数据进行整合、挖掘和分析,由传统的经验决策模式逐步转变为数据决策模式,可以进一步提升国内管理水平以及决策效率,并充分挖掘数据资产的重要价值。大数据基础平台采用模块化结构,模块高内聚、松耦合,应满足高可靠、实时响应快、安全性好、开放性好,系统应易于操作、易于维护、可扩展性好。
大数据平台进行数据采集时通常要面对数据结构、业务规则、技术特性(网络、安全、性能约束)等方面的综合挑战。如果数据源和大数据平台处于相同的网络环境,具有类似的数据结构和编码映射,可以通过工具配置或脚本进行采集,如使用Sqoop。当需要面对和对接第三方的数据生产系统,需要遵循对方的抽取协议,以及跨网段的数据访问,从而需要对采集应用进行一定程度上的定制,可以使用Java NIO、Netty或Mina。
基于沃达德大数据平台,通过对海量数据采集、处理、存储、分析和数据挖掘,根据数据的特性,采用合适的可视化方式,将数据直观地展现出来,以帮助人们认识数据、理解数据,找出包含在海量数据中的规律或者信息,预测未来发展趋势,进行智能化决策分析,使得数据资产成为核心竞争力。