高冠东1，2
（1.中央司法警官学院信息管理系，河北 保定 071000；
2.北京工业大学电子信息与控制工程学院，中国 北京 100124）
【摘 要】本文通过对大数据的概念、特征及在各领域发展近况的介绍，分析了智能监控技术与大数据结合的几个关键因素，提出了一套适合大数据特点的低成本、最优化智能监控平台构建方案，对基于大数据平台的智能监控技术的发展加以展望。
教育期刊网 http://www.jyqkw.com
关键词 大数据；智能监控技术；视频
基金项目：2014年度全国司法行政系统理论研究规划课题（14GH2022）；2014年中国监狱工作协会监狱理论研究课题；中央司法警官学院青年教师学术创新团队基金。
作者简介：高冠东（1979—），男，河北雄县人，博士，中央司法警官学院信息管理学院，副教授，研究方向为数字图像及音频处理。
1 大数据
近几年，大数据一词被人们越来越多提及。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命[1]。大数据这三个字组合在一起所表达的语义信息是有限的，“大”和“数据”都是极其常用的词，将其组合在一起，从字面上看不出其表达的确切含义。其实,这正是大数据这个词语的奇妙之处，这样不同领域、不同背景、不同身份的人可以用其来表达自己的思想。换句话说，不同的人可以从不同的角度有自己不同的注解。但总的来说，它至少给人们传递了一个重要的信息，那就是，信息技术的发展由“计算”转向了“数据”[2]。
对于大数据的概念，目前还没有统一的定义。维基百科的定义为: “大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力[3]。大数据或称巨量资料，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，通过对大量数据的存储、分析和数据挖掘，能够为政府及企业的决策提供更为科学的数据支持。
大数据具有4个关键特征，分别是：（1）海量化（volume）：数据量巨大；（2）多样化（variety）：数据类别多，数据来自多种数据源，由结构化数据、半结构化数据和非结构化数据组成；（3）快速化（velocity）：数据处理速度快；（4）价值化（value）：价值密度低，有用的数据持续时间短。大数据的这四个关键特征也称4V特征[4]。
2012年发布的名为《大数据促发展:挑战与机遇》的联合国白皮书全面分析了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战，并系统给出了在应用过程中正确运用大数据的策略建议[5]。2012年3月，奥巴马政府将“大数据战略”上升为最高国策，认为大数据是“未来的新石油”，将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心能力[6]。
大数据给人们带来了巨大的社会价值。在大数据业务的协助下，科研机构可以进行科学探索，如：农业、资源、环境、气象、生命等领域；在司法行政机构，大数据的使用，促进了数据信息的交互、共享和分析，提升了警务信息工作效率，并在行政管理、辅助决策、安全防范和应急响应等方面发挥了巨大的作用。企业方面，数据成为关注重点，计算机行业正在转变为真正的信息行业，关注重点从计算速度转变为大数据处理能力，软件也将从编程为主转变为以数据为中心[7]。
2 大数据时代下的智能监控技术
智能监控技术与大数据的结合必须要考虑以下几个关键要素：
2.1 平台的规模性
所谓规模，我们应该有如下的认识：首先，应该是一个可以管理无限增长接入需求的真正有应用弹性的平台；再次，要看这个平台是否能够同时从多个存储管理设备进行查看或者管理不同的摄像机，并具备同时通过一个平台实现对所有NVR和客户端的监控和维护能力，即平台的规模扩展能力。
２．２ 如何存储大数据
海量视频、音频以及相关的报警信息等大数据的存储需要在高清视频监控下完成，这将影响现有传统的存储方式。现有的数据库存储方式多采用单一文件存储方式，或者采用多个分割的系列文件存储方式。当高清摄像机的规模急剧扩大，若继续采用这种方式存储高帧率、全高清的数据，快速读写、快速检索等操作会造成数据库崩溃。原因是不能对非结构性数据进行，不能在读写数据过程中的对数据进行保护以及恢复。当数据库崩溃恢复时平台需要在极短的时间内同时对原始数据、丢失的数据以及新数据进行操作，此外，还需要对错误数据进行删选等，这样会占用大量的时间和存储空间，降低读写速度。如此以来恢复过程可能会花费很长的时间，还可能造成新数据的存储失败。
我们可以形成结构化文件以减少存储空间，提高读写效率，及Flat File方式。通过视频片段实现对大数据的连接关系型数据库，以提高数据的组织效率[8]。而将视频分成多个小的片段方式进行存储和检索，大大降低了某个视频片段操作失败对整个视频造成的巨大影响。
２．３ 数据的安全性
具体方案是可以通过对流媒体数据实现到了国家密码管理局认证的加密和解密；在前端实现硬件加密，完成对网络高清流媒体的加密；在后端解密时采用混合应用方式，及双重密钥，除了软件解密还必须通过硬件才能实现解密，防止单一软件加密方式可能被破解的风险。既给用户带来了方便，也提高了监控的安全性。
２．４ 数据的处理
大型监控系统的重要指标之一就是视频数据的智能分析的有效性，即如何对视频数据进行分析处理、提取及信息挖掘。
２．５ 监控系统的冗余问题
传统的监控系统中对视频数据的存储结构较复杂，利用效率低。利用虚拟化计算及分布式存储，可以提高系统的可靠性，减少系统的冗余度。
3 大数据与智能监控技术相结合的优势
基于大数据平台，能给大中型的高清智能视频监控系统带来很多益处。
3.1 提高了系统的扩展性
以 Hadoop为主的大数据技术，核心特点是分布式存储架构。根据这一特点，可以在系统后期根据需求添加和删除节点，灵活转移节点任务。
３．２ 降低投资成本
大数据技术的架构对底层硬件设备的要求并不高，所以可以采用价格低廉的通用硬件，这样可以大大降低了投资成本。而系统的可靠性由软件技术提供保障。
３．３ 高效分析视频
视频数据存储于多个节点，大数据技术的架构是采用节点分布式，这样可以并行进行大量视频数据的分析和处理，实现了海量视频数据分析及关联挖掘，提高了有效性。
４ 大数据平台整合方案研究
以信息资源库为基础，以中间件技术、云存储和数据仓库技术为核心技术，研究了大数据平台整合设计方案和构建方法，提出了一套适合大数据特点的低成本、最优化平台构建方案。拟研究的系统虚拟架构如图1。
基于大数据平台的智能视频监控系统主要包括主节点和数据节点。其中主节点为所有数据节点提供统一资源管理与分配、视频存储、处理分析及控制策略；数据节点负责接收并处理本地输入视频流，并提供计算、存储、转发、转码资源。
虚拟化资源池：采用虚拟化技术将监控节点的物理资源统一组成资源池，形成模块化、可扩展的资源，还可以根据实际使用情况进行动态分配，从而形成了智能视频监控系统的基础设施。
HDFS系统：该系统将海量视频数据分布存储在所有数据节点中，并对数据进行备份。
转发模块：对视频进行转发，实现网络资源共享。
智能分析模块：MapReduce为并行处理架构，可以对海量视频数据高效实时视频分析，直接产生结果，备份原数据。MapReduce还可以对录像视频数据进行二次分析，既可以对元数据直接进行分析，又可以按具体要求重新进行分析。视频分析模式主要包括图像识别、人脸表情识别、移动跟踪检测、动作目标检测等。
转码模块：由于终端用户所支持的视频格式不同，并且传输带宽会限制图像显示分辨率，需要对视频数据进行转码。可以采用开源软件FFmpeg，完成监控视频的格式转换和分辨率转码。
5 结论
《物联网“十二五”发展规划》指出，物联网已成为当前世界新一轮经济和科技发展的战略制高点之一，发展物联网对于促进经济发展和社会进步具有重要的现实意义，而且在安防领域，视频监控、周界防入侵等应用已取得良好效果，物联网是我国新一代信息技术自主创新突破的重点方向，蕴含着巨大的创新空间，在芯片、传感器、近距离传输、海量数据处理以及综合集成、应用等领域，创新活动日趋活跃，创新要素不断积聚。物联网在各行各业的应用不断深化，将催生大量的新技术、新产品、新应用、新模式。
智能监控技术作为物联网技术的重要组成部分，在社会治安监控、平安城市建设、危化品运输监控、食品安全监控，交通运输、水利设施、市政管理等基础设施安全监控、预警和应急联动等方面发挥积极作用。随着平安城市、智慧城市等工程的建设，监控摄像机已遍布大街小巷。智能监控技术会得到越来越广泛得应用。
随着视频监控中高清摄像机的大量出现，需要存储的视频文件日益增多。作为视频监控采集到的海量数据，和其他种类的大数据一样，必须进行了智能、高效处理才更具有价值。
智能监控技术的发展势不可挡，智能监控技术的应用应被大数据所应用，也决定了智能监控技术需要得到大数据的技术支撑。大数据时代的智能监控技术使市场对云存储的需求越来越高。云存储不仅能够将视频文件存储在云端，节省存储空间，而且可以对跨区域的视频文件进行集中存储，使搜索更加方便，真正地实现了海量数据的秒级数据检索。
不仅是云存储，目前大数据相关技术也能对智能监控技术应用行业的海量视频数据进行智能分析，提供必要的技术支持。云计算、大数据这些高新技术，将会引领着智能监控技术及相关行业企业再一次转型升级，基于云计算和大数据技术的解决方案能够更好地满足用户的实际需求，对我国司法行政系统的建设和发展具有重大的理论研究和实际应用价值，产生了很好的经济效益和社会效益。
教育期刊网 http://www.jyqkw.com
参考文献
［１］孙利民,李建中,陈渝,等．无线传感器网络[M].北京:清华大学出版社,2005.
［２］李战怀,王国仁,周傲英.从数据库视角解读大数据的研究进展与趋势[J].计算机工程与科学,2013,35(10):1-11.
［３］维基百科[OL]. http: //zh. Wikipedia. org /zh/%E5%A4%A7%E6%95%B8%E 6%93%9A.
［４］李芬,朱志祥,刘盛辉.大数据发展现状及面临的问题[J].西安邮电大学学报, 2013,18(5):100-103.
［５］李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域:大数据的研究现状与科学思考[J].中国科学院院刊,2012(06): 647－657．
［６］赵科.大数据时代的警务信息工作探讨[J].武警学院学报,2013,29(9):88-90.
［７］何清.大数据与云计算[J].科技促进发展,2014,10(1):35-40.
［８］林青.云领安防大数据时代:安防大数据时代下的视频监控解决之道[J].中国安防,2013,9:39-42.
［责任编辑：杨玉洁］