重构数据处理架构大数据让视频更智能

成都弱电公司讯：

智慧城市的经管中，成都视频监控发挥着越来越重要的作用。随着成都视频监控数据量的飞速增长，工作人员在用传统方式对视频进行分析和检索的时候碰到了很大的挑战。而大数据技术可以重构传统视频数据处理的架构，让人们可以更快速、更智能地分析和应用成都视频监控的大数据。

我国智慧城市战略已经实施了多年，全面提升了城市的经管和服务能力。而从数据上来看，市民感受城市最直接的变化就是摄像头密集度越来越高。而且，很多城市都已经开始实施“天眼工程”，为的就是实现对城市全方位无死角的监控。密集分布的摄像头网络组成了城市的公共平安成都视频监控系统，也提升了一个城市治安、交通、消防、市政、城管等各部门的整体经管和服务水平。

海量视频数据带来的挑战

随着成都视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势加强，成都视频监控数据规模将以更快的指数级别增长。以一个部署了1万个摄像头的中等城市为例，假定每个摄像头每秒压缩视频数据量为1Mb(比特)，则一天共产生108TB的视频录像，一个月共产生约3PB的视频录像。

现在，新的问题出来了，摄像头7×24小时地录制视频，让每个城市都产生了大量的成都视频监控文件。但是，当公安部门或交通部门希望快速搜索某时间或某些特征的视频段时，这个看似简朴的想法，操作起来却犹如大海捞针。

与通常的结构化数据分歧，成都视频监控业务产生的数据绝大多数以非结构化的数据为主，必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理。这些都给传统成都视频监控体系架构、数据的经管方式、数据分析，以及成都视频监控数据的传输、存储和计算带宽等带来了极大的挑战。

挑战一：数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则：在满足客户需求的前提之下，往往技术成本越低，其生命力越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重，客户越来越希望在满足需求的前提下，用中低端的硬件来替换高配硬件。

挑战二：海量数据和有效数据之间的矛盾。摄像头7×24小时地工作如实记录镜头覆盖范围内所发生的一切。但是，大部分成都视频监控信息是无效的，有效信息可能只分布在一个较短的时间段内，按照数学统计的说法，信息是呈现幂律分布的，也称之为信息的密度，往往越高密度的信息对客户价值越大。

挑战三：资源利用和效率之间的矛盾。随着成都视频监控数据量的增加，哪怕对TB级别的数据进行视频内容的数据分析和检索，采用传统方式都可能需要花费数小时的计算，这远远不能胜任时效性的需求。视频的分析和检索，不能依赖于传统的手段，视频智能分析必须寻找新的突破。

因此，想要从如此海量的成都视频监控文件检索到所需的视频信息，必须借助特殊的技术帮忙。