智慧公安以大数据、云计算、人工智能、物联网和移动互联网技术为支撑,以“打、防、管、控”为目的,综合研判为核心,共享信息数据资源,融合业务功能,构建公安智慧大数据平台,实现公安信息数字化、网络化和智能化。智慧公安大数据平台,全面感知、综合分析、整合公安业务资源和社会化信息资源,提供高效的警务管理手段,拓展便民服务空间。
城市监控视频数据量呈现指数级增长态势,成为名副其实的海量数据。普通视频监控的基本功能已经无法满足现实需求。智慧公安视频图像综合实战大数据平台,高效地使用这些视频数据,对视频数据进行深度挖掘,提供有价值的视频结构化描述、视频浓缩,基于视频内容进行智能挖掘,满足智慧公安的视频实战应用需求。
智慧公安视频图像综合实战大数据平台,包括公安视频共享平台、智能视频分析系统、大数据中心系统、GIS数据可视化系统、平台运维系统。
公安视频共享平台
公安视频共享平台,实现前端设备的接入管理以及接入数据的获取。前端设备包括视频设备、卡口设备、Wifi数据采集设备、移动采集设备以及GPS/北斗数据采集设备等。系统实现海量视频数据的快速检索,并为上层数据应用提供视频数据、卡口数据、Wifi数据、移动数据、GPS数据的数据共享和数据支撑。
基于沃达德大数据平台,通过对海量数据采集、处理、存储、分析和数据挖掘,根据数据的特性,采用合适的可视化方式,将数据直观地展现出来,以帮助人们认识数据、理解数据,同时找出包含在海量数据中的规律或者信息,预测未来发展趋势,进行智能化决策分析,使得数据资产成为核心竞争力。
数据是一种宝贵的资源。利用新技术新方法挖掘现有数据的价值,找到数据间的关联关系,提高基础数据的利用率,并预测未来趋势及行为,是面临的迫切问题。一批新兴的数据处理、挖掘与分析技术不断涌现,使分析处理海量数据变得更加容易、更加便捷。
通过建设大数据基础平台,对已有海量数据进行整合、挖掘和分析,由传统的经验决策模式逐步转变为数据决策模式,可以进一步提升管理水平以及决策效率,并充分挖掘数据资产的重要价值。大数据基础平台采用模块化结构,模块高内聚、松耦合,应满足高可靠、实时响应快、安全性好、开放性好,系统应易于操作、易于维护、可扩展性好。
大数据平台进行数据采集时通常要面对数据结构、业务规则、技术特性(网络、安全、性能约束)等方面的综合挑战。如果数据源和大数据平台处于相同的网络环境,具有类似的数据结构和编码映射,可以通过工具配置或脚本进行采集,如使用Sqoop。当需要面对和对接第三方的数据生产系统,需要遵循对方的抽取协议,以及跨网段的数据访问,从而需要对采集应用进行一定程度上的定制,可以使用Java NIO、Netty或Mina。
Hadoop是一个成熟的大数据处理框架,允许在集群中使用简单的编程模型对大规模数据集进行分布式计算。它被设计为可以从单一服务服务器扩展到数以千计的本地计算和存储节点,并且Hadoop会在应用层面监测和处理错误,而不依靠硬件的高可用性,所以Hadoop能够在一个每个节点都有可能出错的集群之上提供一个高可用服务。
Hadoop集群主要由两部分构成:分布式文件系统HDFS和统一资源管理和调度系统YARN。分布式文件系统主要用于海量数据存储,YARN主要是管理集群的计算资源并根据计算框架的需求进行调度。构成HDFS集群的主要是两类节点,以主从(master/slave)模式,即一个NameNode(管理者)和多个DataNode(工作者)。构成YARN集群的是两类节点:ResourceManager和NodeManager,也采用主从(master/slave)架构。
基于沃达德大数据平台,通过对海量数据采集、处理、存储、分析和数据挖掘,根据数据的特性,采用合适的可视化方式,将数据直观地展现出来,以帮助人们认识数据、理解数据,同时找出包含在海量数据中的规律或者信息,预测未来发展趋势,进行智能化决策分析,使得数据资产成为核心竞争力。