胡竹平
（上海市计算技术研究所上海 200040）
摘 要 针对公共交通资源浪费和分配的不匀，导致公共交通承载体出现过度拥挤，甚至严重超载现象，提出利用智能视频检索分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标，可以实时分析车内上下车人数，提供有力客流数据分析，有效的控制超载超员，实验证明这些方法可以为策略的制定者提供客观公正的数据。
教育期刊网 http://www.jyqkw.com
关键词 人像，智能，检索，分析
中图分类号：TP391 文献标识码：Adoi:10.3969/j.issn.1674-7933.2015.05.008
作者简介：胡竹平，男，1964 年生，硕士，工程师，主要从事及研究领域：计算机应用，Email：huzpcast@sina.com。
0 引言
近十年来，平安城市的数字化进程中，数字视频录像机（DVR）、数字视频服务器（DVS）得到了长足发展。特别是近两年，随着平安城市项目的推进，各个城市的大街小巷已经布满了摄像头。存储技术的不断更新，也为大量案件积存了海量视频信息，这给公安破案带来极大的便利。这时，如何在海量视频中快速提取有价值的线索便显得尤为重要。随着安防智能化需求越来越强烈，视频检索技术也得以快速发展。下面主要讨论智能视频检索技术在公交客流数据分析中的发展与应用。
在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。传统视频检索的模式下，需要从头到尾顺序播放，需要大量人员进行视频审看，实际应用过程中，视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索，获取证据传统的做法是要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳时机。因此必须在视频监控系统中，对原始视频进行处理和分析，使其可以快速浏览，锁定检索对象，能够满足用户的各种需求及应用。
视频监控检索关注的人数据以视频为主，目的是查找某一事件的起因和关联的发展过程，相关信息数据包含：发生事件的时间、发生事件的地点、相关的人和物体、相关的图像和声音等信息的一系列数据。当检索条件包含的信息越多，定位就越精准，检索的算法也就容易；反之，检索条件传递包含的信息越少，定位就越模糊，这时如要精确定位相应的检索算法的难度也就越高。不过对用户来说总是期望检索条件最简单时，定位也要能精准。
智能视频检索技术就是要满足人们的这种需求把用户从单一、繁琐的任务中解放出来。通过的智能分析预处理分析，将无序无章无逻辑的视频监控内容进行梳理，获取目标的关键信息，从而生成目标视频及索引。智能视频检索，以图像处理、图像识别、图像理解等知识为基础，利用了内容自动关联，视频结构化，视频分割、镜头检测、关键帧抽取、自动数字化、语音识别等相关技术，采用了集群方式，实现了快速分析处理，并可根据实际使用中的需要进行扩展，大大提高了计算能力，节省了锁定目标的时间。
在智能视频检索过程中，用户可以根据自己所需要的检索条件，通过智能视频分析技术，从海量视频中获取想要的关键信息。
1 智能视频检索现状
智能视频分析技术源自计算机视觉技术，是人工智能研究的分支之一，它能够在图像及图像内容描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来有限理解视频画面中的内容[1]。
基于内容的图像检索是近年来的热门研究内容，涉及图像处理、计算机视觉和数据库系统等方面的学科。其中，高效实时的大规模图像库的检索是关键技术。目前的技术主要是将监控视频中的人脸进行整理聚集，通过智能分析处理以及人脸检测算法，对目标的人脸信息生成索引。有关人员通过查看人脸图示，就能快速查看视频中的所有目标，并迅速确定嫌疑目标，察看该目标在整个视频图像中的片段和轨迹，如图1。
运动目标属性包括目标的速度、幅度、轨迹及规律等因素。目标轨迹的检索是指通过在视频中选定一个特定的区域，目标进入或离开该区域、以及滞留该区域，视频检索算法可以快速关注所有时间内在该区域出现过的目标，还可以过滤目标图例或排查结果，如图2。在目标结果较多的情形下，系统还可以将目标的类型进一步分离，缩小关注范围，比如车辆、人、树木等。
在系统中输入待查询的人脸照片，选择需要检索的人脸后进行相似度等参数设置后开始检索，最后检索出的相似人脸的结果会在界面上显示出来。
2 公交视频应用需求
长期以来公交线路覆盖率低、重叠系数大、车辆运行效率不高、调度指挥全凭人力和手工、不能及时了解公共汽车在线路上的运行情况从而造成又“聋”又“瞎”（公交调度部门即不知道公交车辆行驶位置又得不到公交车辆的信息）[2]，更无法实时了解客流信息。
近几年，随着车载视频设备在城市巴士、长途大巴、长途货运车辆上的应用越来越广泛，并且逐渐扩展到了火车、船舶、救护车、消防车、执法车等特种车辆领域。车载视频的普及为人民出行安全起到十分重要的保护作用，为国家平安城市建设、社会稳定和谐发展做出了重要贡献。
与此同时，随着“智慧城市”“物联网”“公交优先”“快速公交”等政策的实施，为公交车辆智能调度系统的实施也带来了契机。
根据《安全生产法》的有关要求，2011年交通运输部会同公安部、安监总局、工信部下发了《关于加强道路运输车辆动态监管工作的通知》，要求公交客车必须安装车载视频监控装置，国内大部分大中型城市的公交车和长途运输车辆也迅速地完成了车载视频设备的安装工作。
公共交通领域的车载视频监控的发展逐步经历了以下几个阶段：
第一阶段：主要是以车辆本地录像为主，由于防震方面的原因导致存储设备以SD卡、CF卡等低容量介质为代表。受存储设备容量的限制，这一阶段的设备往往视频通道数少，视频分辨率也以标准化图像格式（CIF，320×288像素）为主，视频文件存储时间较短，由于不带显示终端，对录像资料查阅基本通过拔取存储卡至PC观看为主。此阶段的车载录像机基本完成了从无到有的过程。
第二阶段：由于大容量硬盘的价格迅速下跌以及硬盘减震技术的发展，以使用硬盘作为存储设备的车载录像机诞生了。由于存储设备容量的显著增加，导致视频分辨率从CIF向D1（720×576像素）转化，视频文件存储时间也显著延长。但由于此时的硬盘减震技术尚不成熟，导致硬盘故障率居高不下。
第三阶段：随着gps卫星定位系统与3G无线通信系统的广泛应用，具有网络化特征的车载录像机诞生了，此时的设备逐渐体现出公交行业的应用特点，初步实现视频远程传输，基本实现了平台化的远程视频监控。此阶段的车载录像机开始体现出系统化、网络化、平台化的特点，但与公交行业的调度系统尚属两套相对独立的系统，两者的融合度不高，导致部分设备出现重复投资的局面。
第四阶段：随着各个城市ITS智能公交调度管理系统的建设逐步成熟，调度管理平台初具规模，调度平台与视频监控平台进行整合势在必行，这也要求车载录像机与车载调度终端必须进行融合。但是由于车载录像机的生产厂家与车载调度终端的生产厂家众多，设备型号不一，也没有一套通用的数据交互协议，设备的整合特别是已有设备的整合显得非常困难。
随着“智慧城市”“物联网”“大数据”“云计算”等技术的发展以及4G通信的普及，未来的公共交通领域的车载视频监控设备必然向高清晰度、人脸识别、客流统计、数据高收集率、WIFI覆盖等方面发展，调度平台也必将与移动互联网进行深入融合。
目前，客流数据分析，就是基于这种需求被广泛应用到众多人流密集场所，客流量的统计分析、活动评估和安全管理预警等方面发挥了极为重要的作用。特别是商业零售业，越来越多的企业在开店前和营业后，都需要先进的客流统计系统，结合POS、erp、CRM等其他相关数据为其商业经营活动提供科学高效的决策依据。通过视频智能分析实时分析车内上下车人数，提供有力数据分析，有效的控制超载超员，为策略的制定者提供客观公正的数据。
3 公交视频应用解决方案
双目立体视觉是指通过对同一物体从不同角度获得的两幅图像来复原被摄物体的三维信息的过程。这是一种模拟人的双眼获得视觉信息的过程。摄像机标定是双目立体测量系统不可缺少的前提和基础,并且标定精度直接影响最终测量精度[3]。双目立体视觉技术主要包括图像获取，摄像机标定，特征点匹配以及三维信息复原个方面。最主要的部分是确定同一目标的两个图像中的投影点间的对应关系即特征点匹配。这两个投影点之间的距离称为视差。视差图反映了物体的深度信息。物体距离摄像机越近，视差越大；物体距离摄像机越远，视差越小。
特征匹配算法的基本原理就是通过提取图像特征的灰图信息取代图像灰图值的直接利用而进行的匹配,该算法是由的D.G.LOWE于1999年提出的，2004年进一步完善[4]。我们求取视差采用的是高效的单相匹配算法，该方法的目的是使用计算复杂度更高更有效的方法，来检测不可靠的点的深度值。主要原理是通过区域灰度相关性匹配，在左右两幅图像中寻找对应点，从而计算视差图像，获得深度信息。对应点匹配满足唯一性约束，极线约束，以及视差搜索范围的限定等。这些约束条件不仅可以减少计算量，也可以提高计算精度。在单相位匹配中，保存最好的那个匹配结果,同时抛弃剩下不好的匹配结果,在减少了计算量的同时，也保证了算法的精度。
车载客流统计系统通过分析安装在垂直于大巴进门口的视频摄像头，分析过往人数的头部特征和肩部辅助特征，通过计算运动轨迹，从而获知不同运动方向的人数，即进出车内的实时人数。通过分析统计进出人数的数据，达到控制车内乘客数量和调控车辆调度的目的。
通过对进出通道客流量的双向统计，得到每辆车上下站的客流量和客流变化的情况。通过客流量状况，可以对进出通道的设置进行优化调整。对不同时间段的客流进行统计，得到客流分布图。统计各个区域客流量大小及变化，客观决定发车密度和车辆调度安排。根据客流变化，可以有效分配管理、维护人员的配备，降低营运成本，提高服务质量和服务效率。根据客显示当前客流状态和变化趋势，实施判断当前的实际人数，预防突发安全事件发生。可通对单独安装统计摄像头或利用原有摄像头，采集客流信息，上传到相关服务器进行处理。
GPS是基于卫星技术的全球定位系统。GPS的技术基础是同时观测接收机到几颗卫星的距离。卫星的位置和GPS信号一起发播给用户，利用几个卫星的已知位置以及接收机与卫星间测得的距离，就可以确定接收机的位置。接收机位置的变化即速度也可确定。GPS最重要的应用是定位和导航[5]。经过几十年的发展，GPS已经广泛地应用于各领域，已经成为日常生活、工业、研究和教育的必需。
通过多通道双向统计功能，可以实时统计车内乘客人数。实时分析前后门进出人数，并依此分析车内滞留乘客人数。加载GPS（北斗）模块，实现普通的车辆信息管理功能。通过与车上的行车记录、GPS（北斗）设备等联动，实现视频监控平台与车辆调度管理平台的整合，构造完整的车辆视频调度指挥综合监控系统。加载无线3G网络模块，实现车辆调度管理中心对车辆的视频监控和调度管理，并可利用WLAN模块和场站布置的热点，实现对录像和多媒体文件的网络化下载管理。上下车人数视频监控，支持远程IE浏览器登录，直接查看现场的视频画面（需3G网络），查看客流数量。同时智能客流统计主机支持存储功能可保存客流视频录像。
图3是智能客流统计主机工作原理。
4 应用与实践
在公共交通行业应用人脸视频监控流量后，首先可以实现公交车辆线路调度通过车载客流统计，系统可以获得实时的车载人数，具体到每个时段，每个公交站台，对车内人数了如指掌，方便公交线路调度，以便公交资源达到优化配置。其次可以实现公交车辆票款评估，通过精准的车载客流统计系统，结合票务系统，可以评估出每天的票款数，起到票务监督的作用。第三可以实现公共车辆，校车等人员超载监管，对有明文严格限载人数的车辆，实时监控客流数据，如发现超载行为前端报警提示，后台系统同时会提醒监管单位，采取措施纠正超载行为。再有可以实现长途大巴票务监督，对于长途大巴业务，对司机和售票员中途私自载客的行为起到很好的监督作用。同时实现交管等第三方监管，车载客流统计系统对交警、交管、教育等三方监管单位，对公交车，大巴车，校车实时监控客流数据，这种创新型的技术监督手段，给公车载客安全带来极大便利。
通过双目摄像机捕捉到视频图像，分析经过图像中的所有物体的高度、形状、方向，从而精确的判断这个物体是否是人，和人的进出方向，精确的累加进出的人数，并叠加日期和时间，生成一条进出记录。双目摄像机内置的红外LED灯照明能适应任何光线环境，即使全黑的情况也能正常工作。进出人数的数据可以通过RS485、RS232、TCP/IP、USB盘进行传输。内置的独立数字I/O口可以方便的和其它设备或开关门的设备相连接。如连接DVR，则可以标记有人经过时的视频段，便于事后回放检索，可弥补计数仪的精度不足。如连接门的开关，则可设置当门关闭时，计数仪停止计数。
VPC是一款基于双目立体视觉技术的小巧、自动、非接触式的高科技智能视觉产品。能在公交车、大巴车、和建筑物的各种门/通道下进行人数统计和计数。VPC能区分进/出的人数或者是停留在某个封闭的区域内部的人数。
VPC是通过检测和分析经过双目摄像机视野下物体的高度、大小和方向，来判断出物体的移动方向是“进”还是“出”，从而将该物体的“进”“出”信息实时记录，并以时间顺序保存到VPC中的可擦写存储器，这些“进”“出”记录可以被下载和做进一步的报表分析。
双目立体视觉匹配一直是计算机视觉领域研究的热点问题，人们一直热追于物体的三维恢复，获得效果不错的视觉感受，立体视觉中立体匹配是最重要最困难的问题[6]。双目视觉的基本原理就是模拟人眼利用照像设备从不同的位置获取被测量物体的两幅图像，然后通过计算图像对应点之间的位置偏差，获取物体三维几何信息和深度信息。这两个存在距离差别的图像，即称作视差图像。双目立体视觉技术主要包括图像获取，摄像机标定，特征点匹配以及三维信息恢复几个方面。立体视觉的双目摄像机比起平面（二维）视觉的单个摄像机而言，在分析可视范围内各物体之间相对距离（深度/高度信息）上具有更高的精度，如图4。
为了能实时监看乘客上下车的情况，VPC可以通过RS485/232接口连接在随车的其它设备上，进行实时人数数据传输，如图5。采用双目视频客流统计产品，实时采集上/下车客流，并通过RS232串口与GPS报站器的通信，确定每个时间段、每个站点上/下客流，统计车内实时总人数，确定不同时段的乘客拥挤程度，向决策层提供公交行业客流分析、分布数据，最终为公交线路运力调整提供科学依据。例如嵌入式DVR或GPS/GPRS通过GPRS/3G网络实时将上下乘客数据上传到后台，便于查看。
VPC上集成的带有隔离的数字I/O接口，可连接车门开关时的信号，以保证VPC在开门时计数。
该产品目前已经在上海、广州等地区实际安装使用，准确率达到95%左右。
5 结语
智能视频检索技术已经得到了快速发展，提升了智能视频检索产品的应用准确率及效率，在完善核心算法的同时，现阶段将继续向以下几个方面努力：首先，与智能视频监控技术、云计算、物联网等新一代技术相结合，扩展更大的智能视频应用范围。其次，要立足行业用户需求，推出细分化市场服务，研发出更有针对性的产品，以符合现场环境的需求，提高产品的判别能力。第三，要加强研发力量，继续完善产品性能指标。
教育期刊网 http://www.jyqkw.com
参考文献
[1]王睿林. 智能分析助力大数据时代视频检索技术发展. 中国安防网, 2014-10-14.
[2]张国伍. 北京市公共交通总公司, 北方交通大学. 城市公共交通运营调度管理[M]. 北京：中国铁道出版社, 2011.
[3]张鑫. 双目立体测量系统标定及精度评价. 计算机应用与软件 2014,(7):160.
[4]Lowe D. G.Distinctive image features from scaleinvariantkeypoints[J]. International Journal of ComputerVision, 2004,(60):91.
[5]（德）许国昌, 李强等译. GPS理论、算法与应用（第2版）[M]. 北京：清华大学出版社, 2011.
[6]黄向东, 姬智华. 基于SIFT特征与区域相结合的双目视觉匹配算法. 计算机应用与软件, 2014,(4):145.