视频监控中行为理解概述
在智能视频监控中，需要对视频中的异常事件特别关注。因为我们监控的目的，就是及时理解与处理监控场景中异常事件或异常行为，发现是否有某种类型的危险活动，并及时阻止危险活动的发生。显然，对视频监控场景中的目标的行为，进行检测识别、理解，并对异常事件采取及时相应的处理措施，是智能视频监控的首要条件。
1.行为理解的难题
由于视频监控对象的动作往往是自然、连续的，而且与环境上下文有密切的联系，这都给行为识别或理解带来了如下一系列的难题。
(1)如何通过融合多个摄像机的监控信息来克服光照、距离、视角、遮挡等环境因素带来的干扰和不确定性。
(2)如何构建自然连续动作和行为的多层次模型，对视频监控目标行为进行分割和分类，而分割和分类又需要对动作和行为理解的高层模型进行指导。
(3)如何考虑行为理解过程中的环境上下文信息，由于相同的行为在不同的情境下传递不同语义，对动作和行为理解需要了解当时视觉环境以及应用的情境。
2.行为理解的含义
行为理解又称为行为识别，其特点为直接面向应用层，属于计算机视觉领域中的高层处理阶段。行为理解问题可视为时变特征数据的分类问题，即通过对运动对象的连续跟踪观察，将测试序列与预先设定的参考序列进行匹配，根据其匹配程度确定行为特征，进而对目标行为模式进行分析识别，并对该行为是否属于异常行为作出判断。
3.国内外对行为理解的研究
目前，世界范围内人们已经开展了大量有关行为理解的研究工作。卡内基梅隆大学等著名研究机构在美国国防高级研究项目署(DefenceAdvancedResearchProjectsAgency,DARPA)资助下联合研制了为未来城市和战场监控应用开发的一种基于视频自动理解技的视频监控与监控系统；英国、葡萄牙和法国，在欧盟的资助下于2002-2005年联合开展CAVIAR(Context Aware VisionusingImage-based Active Recognition)项目，目的是为了解决城市闹市的监控问题和对商业顾客行为的分析；英国的雷丁大学开展了对车辆和行人的跟踪及其交互作用识别的相关研究；IBM和Microsoft等公司也正逐步将基于视觉的手势识别接口、人体运动等人机交互技术应用于商业领域。
国内，中国科学院自动化所模式识别国家重点实验室、北京大学视觉与听觉信息处理国家重点实验室及清华大学等，对行为理解技术也都展开了相关的研究。
常用行为理解的方法
现阶段，常用的行为理解的方法主要有使用模板匹配法和状态空间法两种。
1.模板匹配方法
(1)模板匹配法的步骤。模板匹配法可以分为三步。
①从输入图像序列中提取行为特征。
②将该特征与在训练阶段预先保存好的模板进行相似度比较。
③从预先保存好的模板中选择与测试序列距离最小的所属类别作为被测试序列识别结果。
(2)几种模板匹配法的改进方法。模板匹配方法是行为理解的基本方法，后续也出现了许多基于此的改进方法。
①Bobick和Davis首先根据图像中目标运动信息的类型，将图像分为运动能量图像(MEI)和运动历史图像(MHI),然后采用马氏距离比较测试序列与给定模块系列之间的相似程度，根据相似程度大小确定最佳匹配行为。
②Masoud等人则将目标行为描述为无限冲激响应滤波器响应，然后用测试序列点集和给定模块序列点集之间的Hausdorff距离来度量测试序列与模块序列之间的相似度，进而确定最佳匹配行为。
③还有学者釆用Procrustes距离来度量测试序列与模块序列之间的相似程度，如Veeraraghavan等人用动态时间规整(DynamicTimeWarping,DTW)来匹配运动序列。
(3)模板匹配法的优缺点。模板匹配方法的优点是实现简单、计算复杂度低，但只考虑单个序列的匹配程度，忽略了运动序列中相邻时序之间的动态特性，对于噪声和运动时间间隔变化比较敏感。
2.状态空间方法
(1)状态空间法的步骤。状态空间法大致也可以分为三步。
①将每一种静态姿势定义为一种状态。
②通过对静态姿势所组成的运动序列对状态空间进行遍历。
③在遍历过程中计算联合概率，寻找具有最大概率的行为模板，作为最佳匹配行为。
(2)状态空间法是一个透明的层次事件结构。近年来，状态空间法已逐渐应用于人体行为理解的研究,通过合成简单事件来表示具有复杂时空关系的一般事件，并根据运动物体的属性，将最基本的时间定义为原子事件。
具有一系列连续性的原子事件构成了一个事件线程，具有时间、空间，以及逻辑关系的一系列事件组合成为多线程事件，最终建立起一个透明的层次事件结构，并形成了事件的自然语言描述。
(3)状态空间法的优缺点。状态空间模型克服了模板匹配的缺点，已经被广泛运用于时间序列的预测、估计和检测，但涉及复杂的迭代运算，计算代价较高。
行为理解存在的问题及发展趋势
近年来尽管机器学习、人工智能、高性能计算等工具应用于构建行为模型、识别行为含义等取得了许多进展，但由于现实场景中运动的快速变化、光学的遮挡和光照变化、行为发生的场景和人运动的模糊性等因素的影响，导致行为理解成为一个复杂且极具挑战性的问题。行为理解的研究仍处于初级阶段，目前只能分析与理解比较简单的一些事件，如行走、跳、站起、坐等。随着光电信息技术与计算机软硬件等的发展，今后定会解决复杂场景的自然语言描述。
1.行为理解存在的问题
(1)运动特征选择与表达。如何选择合适的特征对运动进行充分表征，是行为理解的关键问题之一。首先，确定合适的特征数，若选取的特征过多、特征向量维数过大，则会增加计算的复杂度；而选择特征过少，又可能对行为无法进行准确的识别与理解。其次，能否通过借鉴人类的学习、识别与理解机理，定义合理的动态特征模型，解决该问题通常可以釆用两种方法。
- 提取有关行为的主要特征，当主要特征不足以准确完成识别与理解时，系统逐步提取候选的细节特征。
- 采用行为的二维表达来捕捉行为的视觉不变特征，这样对行为理解不会引起歧义。
此外，运动特征选择与表达还存在一些行为理解的形象、如何对细微的时空变化釆用合理的计算代价来表征等。
(2)行为识别。目前行为理解研究仍局限于简单、固定视角且已切分好后的动作的研究。状态转移的图模型方法和模板匹配方法属于行为识别方法中较为常用的两种，它们在计算代价和运动识别的准确度之间进行折中，而且都是先训练后使用，只能识别训练中预先定义好的动作，忽视场景等背景知识，很难根据目标行为和场景的先验知识进行自动机器学习。
因此，行为识别领域仍亟待新技术的开发和应用，以便提高行为识别性能的同时，又能有效降低计算的复杂度。
(3)高层行为与场景理解。同一行为、事件、状态在不同的场景有着不同的概念，因此本身具有一定的模糊性，而同一场景中有多个目标出现时，其行为模糊性将更加明显。借助于先进的视觉算法和人工智能等领域的成果，如何将现有的简单行为识别与理解，推广到更为复杂场景下的事件与场景理解，这也是将计算机视觉低、中层次的处理推向高层抽象的关键问题。
(4)算法评价。鲁棒性、准确度、速度是人的行为识别的三个基本要求。行为识别需要在保证连续地工作的前提下，能够快速准确地识别运动，且不易受到噪声、光照、天气等因素的影响。目前的识别方法，更多关注的是识别率，对鲁棒性和速度两个指标研究要求很少。
2.行为理解的未来发展趋势
(1)音频与视觉信息相结合的多模态接口。目前，音频和视频的信号相对独立，而人的语言解释与可视化描述一样重要。为了完成深度和广度的分析，采用准确实时的多摄像机信息融合的方法，以便机器更好地理解人的通信行为，又要继承音频和视频信息用于多态用户接口。
(2)人的运动分析与生物特征识别相结合。在某些特定的应用下，人的运动分析与生物特征识别相结合的需求日益突出，如军事安全基地的视觉监控系统、智能房间的门禁系统、高级人机交互等。近距离的监控，可通过跟踪人脸或者指纹等生物特征来进行身份识别；而远距离的监控中的人脸特征不易识别，但人的步态是可见的且具有易于感知、非侵犯性、难于伪装等优点，此时可通过人的步态与其他人体生物特征相结合，来进行身份识别。
(3)人的运动分析向行为理解与描述等高层处理转变。行为理解最终目标，就是分析和理解人的个人行为、人与人之间及人与其他目标之间的交互行为等，其难点则在于特征选择和机器学习。如何借助先进的视觉算法和人工智能等领域的成果，将现有的简单行为识别与语义理解，推广为复杂场景的自然语言描述，也是行为理解今后的发展趋势。
