利用云计算、大数据、移动计算和物联网技术,车辆网(Internet of Vehicle, IoV)以行驶中的车辆为信息感知对象,借助新一代信息通信技术,实现车与车、人、路、服务平台之间的网络连接,提升车辆整体的智能驾驶水平,为用户提供安全、舒适、智能、高效的驾驶感受与交通服务,同时提高交通运行效率,提升社会交通服务的智能化水平。
车联网大数据平台将车辆数据、车机手机数据、用户数据、合作伙伴数据、业务数据、第三方数据等(具体包括车、路、车主、交通信息、路况信息、天气信息、加油站地理位置信息、停车场信息),利用设备传感器、埋点、数据导入、数据集成等方式将数据收集起来,并储存到大数据平台进行处理。沃达德大数据平台根据业务需求和业务目标,进行数据分析、挖掘,并提供各种数据服务。
国内及全球信息系统经过多年的运行,沉淀了海量的视频、图片、图表、文字等相关数据。这些数据具有量大、高维、多源、异构、动态、时效、连续、无限等特点。由于种种原因这些数据大多只存在于垂直业务和单一应用中,数据过于分散,并未被充分整合加以利用和挖掘。随着信息化系统的不断建设,相关的数据量级已从TB级别跃升到PB级别,足以支撑起行业应用大数据来解决相关问题。经过多年的发展也积累了大量的大数据处理分析的应用需求,具备基于海量数据进行相应数据挖掘的基础。
数据是一种宝贵的资源。利用新技术新方法挖掘现有数据的价值,找到数据间的关联关系,提高基础数据的利用率,并预测未来趋势及行为,是国内面临的迫切问题。一批新兴的数据处理、挖掘与分析技术不断涌现,使分析处理海量数据变得更加容易、更加便捷。
通过建设大数据基础平台,对已有海量数据进行整合、挖掘和分析,由传统的经验决策模式逐步转变为数据决策模式,可以进一步提升国内管理水平以及决策效率,并充分挖掘数据资产的重要价值。大数据基础平台采用模块化结构,模块高内聚、松耦合,应满足高可靠、实时响应快、安全性好、开放性好,系统应易于操作、易于维护、可扩展性好。
大数据平台进行数据采集时通常要面对数据结构、业务规则、技术特性(网络、安全、性能约束)等方面的综合挑战。如果数据源和大数据平台处于相同的网络环境,具有类似的数据结构和编码映射,可以通过工具配置或脚本进行采集,如使用Sqoop。当需要面对和对接第三方的数据生产系统,需要遵循对方的抽取协议,以及跨网段的数据访问,从而需要对采集应用进行一定程度上的定制,可以使用Java NIO、Netty或Mina。
基于沃达德大数据平台,通过对海量数据采集、处理、存储、分析和数据挖掘,根据数据的特性,采用合适的可视化方式,将数据直观地展现出来,以帮助人们认识数据、理解数据,同时找出包含在海量数据中的规律或者信息,预测未来发展趋势,进行智能化决策分析,使得数据资产成为核心竞争力。