BOB综合体育官方app下载

bob杂志No.9

bob大数据管理平台:百亿数据秒级检索 剑指智慧应用价值

《安全自动化》 黄仁贵

bob大数据平台充分发挥了IT 技术积淀的实力,具有海量数据处理快速、检索精准、研判深入、功能丰富等特点,全局分析、管理及布控能力强,是智慧城市发展的强有力工具,尤其基于“车”的分析优势凸显。

1、强大集群组网能力

bob大数据管理平台是基于UniviewDR9500 (Data Retrieval Server) 数据检索服务器 (下文简称 DR9500)实现的大数据分析应用。该服务器为2U 架构,采用支持负载均衡的千兆自适应网络组网。单机提供高达10 亿条信息的数据检索服务,可独立使用;不过在大数据处理应用中,一般采用集群架构,通过集群可支持高达千亿级数据的检索。

bob大数据管理平台基于DB9500 的服务集群又分为检索服务器集群和数据库服务器集群:

检索服务器集群:提供有两台检索服务器管理节点,其中一台为主用,一台为备用,以备主用服务器出现问题时,备用服务器将无缝接管。在管理服务器的下层,则为检索运算服务器节点,负责数据检索用,检索运算服务器节点之间支持负载均衡功能,当指定服务器数据处理任务繁重时,空闲服务器将会接替部分数据的处理;同时还支持冗余灾备设计,当某台或多台检索运算服务器出现故障时,其他正常服务器将接管故障服务器的工作。由此可见,bob体育的检索服务器集群设计了完善的冗余灾备功能,且具有很强的数据检索能力;

数据库服务器集群:主要用于数据存储和计算,与检索节点集群的设计架构一样,同样设计了两台互为冗余灾备的管理节点,多台支持冗余灾备和负载均衡的数据节点(集群)。

bob大数据管理平台的服务器集群为分布式运算形式布建,且检索集群和数据库集群的主从式架构均支持1(管理节点):1000(数据节点)的强大管理功能,能满足当前智能交通、平安城市的海量数据检索需求。当处理数据量小于30 亿时,管理节点和数据节点将可以合并到同一台服务器中,以应对中小片区的数据管理和检索需求。

2、云架构+ 搜索引擎顶级设计

bob基于DB9500 的大数据管理平台使用Hadoop 技术构建数据存储集群,使得计算和存储一体化;通过搜索引擎技术实现数字、文本信息等的快速检索功能。其采用资源层、数据应用服务(含数据存储和数据计算)、业务应用三层架构,将接入的原始数据进行结构化处理,通过云存储和云计算技术支撑构建能高效、精准处理的数据库,完成数据的抽象与关联,实现数据应用服务和数据的可视化管理,从而满足不同行业业务应用需求。该大数据解决方案具有四大特点:

一是海量数据结构化存储:提供高可靠性、高容错性、高准确性、高效处理性的海量数据结构化存储解决方案,支持无缝容量扩展;

二是海量数据的高精准检索: 结合Hadoop 架构和安防数据特征,创新推出时空数据库,具备比通用 Hadoop 更快的检索和计算能力,支持百亿记录的秒级高速查询;

三是海量数据分布式计算:支持批量计算、内存迭代计算、流式计算等多种分布式计算框架,结合行业数据特征的定制优化,大幅提升处理性能;

四是数据增值应用:基于基本的数据分析和检索,实现数据可视化管理、可视化检索;并由此推出全景布控、系统性/ 规律性综合分析、事件关联性判断、事态发展预测等上层应用,实现深层次智能管理需求。

3、极速优化:秒级检索,精准分析

bob基于DB9500 的大数据管理平台开发了多种大数据模型,可实现案件管理、警情管理、快速车辆查询、快速车辆研判、车辆布控管理(如黑白红名单过滤、占用公交车道布控、模糊车牌布控等,支持布控时间段设定)、流量统计(可根据卡口、车道、时间等条件筛选)、积分模型等大数据应用功能,另可与回放、电视墙、数字矩阵、地图、违法处罚、告警、录像锁定等功能模块联动。适用于公安、交通、司法、能源、文教等行业的超大容量数据存储及分析业务需求,并针对不同行业提供定制化优化服务,以公安行业应用为例介绍,其在提供精确查询、布尔查询、模糊查询等多种检索模式下,植入了近实时索引、时间过滤/ 排序优化及其它用户个性化定制功能(如相似车牌检索、公安行业专用术语词库、多组织勾选等)。


百亿数据查询性能测试结果(775 种不同的查询条件)

测试所引用数据来自bob丹东项目,数据容量> 37 亿,本次在快速车辆查询模块中执行的卡口机动车、外地机动车、区间机动车、违法等条件查询(细分筛选条件类型多样,如车速、车牌号、车色等,并可定义车牌前缀,加快检索速度),所需时间均在1s 以内完成,处理速度非常快。对查询到的记录,还可进行过车处理(如车牌未能正确识别,可关联到对应图片或录像后手动修正)、关联案件、查看轨迹操作。

在平台的快速车辆研判模块中,提供有套牌、跟车关联、车辆频度、车辆轨迹碰撞、昼伏夜出、频繁夜出、高危时段、多次进城不出城、首次进城等应用分析,可解决车辆行为异常、犯罪分子踩点、违法犯罪轨迹、潜在犯罪行为、交通违规、案件侦破线索等公安刑侦大数据分析需求,以及失物寻回等民生需求。在本模块中,基于37 亿数据库,所有实操检索所需时间亦在1s 以内快速完成。据介绍,该平台在丹东运行不到2 年的时间里,横扫套牌不法行为,实现了0 套牌管理。

除了特定类型研判,平台还提供有车辆积分模型分析功能,通过自定义积分内容及分值,当设定行为达到设定分值时,将会自动锁定目标或告警;或是便于研究员对不同积分内容在不同时间段、不同区域、不同角色等条件下的数据分析及研判,以为道路规划、交通压力、警力布控等综合城市规划建设提供有价值的参考意见。

产品特色

1、服务器及集群组网能力强;
2、容量巨大,支持千亿级大数据检索;
3、极速检索:百亿级数据秒级检索,处理速度快而准;
4、功能丰富:提供有检索、研判、布控、处警等功能模块,且各模块联动性强;
5、提供大数据研判功能,深度、全局分析行为关联性、潜在危害、事件发展态势等,并可为城市建设决策提供数据参考依据;
6、行业渗透性高:所有检索及研判,有丰富的筛选条件,有效提高应用的精度和效率;
7、实用性强:针对平安城市现存问题和潜在问题开发;

目录
bob帮APP

bob帮APP
渠道合作伙伴量身定制