一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法

技术领域

本发明属于模式识别领域，涉及人工智能，计算机视觉和图像处理等领域， 特别涉及智能视频监控系统中的人体行为识别方法。

背景技术

近年来，视频监控技术备受社会关注，已经被应用到了生活中的方方面面。 摄像头在许多社区，街道，校园内都随处可见。人体行为识别和理解一直是智 能视频监控系统领域最活跃的主题，它要求从摄像机捕获的数据中检测、跟踪 运动目标，并最终识别和理解目标行为。

目前，人体行为识别的方法主要分为两类：模板匹配法和状态空间法。前 者是将视频序列转换为一组静态形状模式，然后将其与预先保存好的模板进行 比较，选择与测试序列距离最小的模板所属类别作为被测试序列的最终识别结 果，该方法虽然简单，但对相邻帧间的动态特性缺乏考虑，难以取得较好的效 果；后者定义每个静态姿势作为一个状态，将这些状态之间通过某种概率联系 起来，任何运动序列可以看作是这些静态姿势的不同状态之间的一次遍历过程， 在整个遍历过程中计算联合似然值并将最大值作为行为分类的标准，该方法能 够较好的刻画人体行为的本质特征，但每一帧行为特征值的提取对结果的影响 比较大。

目前，许多特征提取方法可用于状态空间法中行为帧的特征提取，如Hu矩， R变换等，但是采用这些方法提取特征得到的人体行为识别率不高，难以达到实 时应用要求。因此，如何从行为帧中提取得到更优的特征是提高人体行为分析 识别率的一个关键问题。

发明内容

针对目前在人体行为识别中使用的特征提取方法不能够提取优良的特征而 导致识别率不高的问题，本发明提出一种能够有效提升识别率的基于非负矩阵 分解和隐马尔科夫模型的人体行为识别方法，将非负矩阵分解方法用于人体行 为特征的提取，并使用隐马尔科夫模型对行为特征进行行为的识别与分类。

为实现上述目的，本发明的技术解决方案是：

一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法，所述人体 行为识别方法包括以下过程：

(一)、离线训练阶段，包括以下步骤：

1.1，在行为数据库中选取待识别类型行为序列作为训练数据，假设共选取 了NUM个行为序列，NUM为自然数，对每一行为序列进行图像预处理，得到 该行为连续N帧的二值化图像；

1.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连 形成一列，则一个训练行为序列可以得到一个包含N列的原始矩阵A_i；

1.3，将NUM个训练行为序列所得到的原始矩阵按列方式组合在一起，得 到一个具有N×NUM列的总样本数据矩阵A；

1.4，将获得的总样本数据矩阵A进行非负矩阵分解，以获得基矩阵W和系 数矩阵H，分解原理为：

A_m×n≈W_m×rH_r×n

其中，r为基向量数，其为任意值且(m+n)r＜m×n；分解方法为对W和H按下式 进行迭代更新，直至||A-WH||²收敛：

$H_{\mathrm{ij}}\←H_{\mathrm{ij}}\frac{{\left(W^{T}A\right)}_{\mathrm{ij}}}{{\left(W^T\mathrm{WH}\right)}_{\mathrm{ij}}}$

$W_{\mathrm{ki}}\←W_{\mathrm{ki}}\frac{{\left({\mathrm{AH}}^T\right)}_{\mathrm{ki}}}{{\left({\mathrm{WHH}}^T\right)}_{\mathrm{ki}}}$

其中，ij和ki均为矩阵的下标，表示矩阵在第i(k)行和第j(i)列的值；

1.5，以基矩阵W的列向量为基向量构造特征子空间，将每一个训练行为序 列的原始矩阵A_i投影到该特征子空间，得到该训练行为序列的特征向量e_i，计算 公式为：

e_i＝W^TA_i

则可知e_i的大小为r×N，按列组合e_i可得各类训练行为特征矩阵E_i；

1.6，为每一类行为建立一个隐马尔科夫模型，初始化各类行为的隐马尔科 夫模型，并采用Baum-Welch算法根据各类训练行为特征矩阵Ei分别估计各个隐 马尔科夫模型的最优参数；

(二)在线识别阶段，包括以下步骤：

2.1，读取待识别的测试行为序列，对其进行图像预处理，得到该行为连续 N帧的二值化图像；

2.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连 形成一列，则得到一个N列的原始矩阵a；

2.3，以训练样本所得到的基矩阵W的列向量为基向量构造特征子空间，将 待识别行为序列的原始矩阵a投影到该特征子空间，得到该行为序列的特征向量 e_r×N，计算公式为：

e＝W^Ta

2.4，使用在离线训练阶段已经估计好最优参数的HMM，使用前向后向算 法分别计算特征向量e与每一类训练行为在N个分量上的似然值；

2.5，计算待识别行为序列与每一类训练行为序列的总似然值，即将N个分 量上的似然值相加，并比较总似然值大小，依最大似然原则，总似然值最大的 训练行为所在的行为类别即为该行为的行为类别，完成人体行为识别。

进一步，所述步骤1.1和步骤2.1中，预处理包括运动目标检测、噪声处 理和二值化处理。

本发明的技术构思为：该方法的一个递推过程包括两个阶段，分别为离线 训练阶段和在线识别阶段。

离线训练阶段包括以下基本步骤：

1.1、对各个训练行为序列进行图像预处理。

1.2、获取训练行为序列原始矩阵A_i。

1.3、按列组合各个行为序列原始矩阵，得到总样本数据矩阵A。

1.4、对A进行非负矩阵分解获取基矩阵W。

1.5、根据基矩阵W形成特征子空间，计算各类行为特征矩阵E_i。

1.6、初始化隐马尔科夫模型，并根据特征矩阵E估计其最优参数。

在线识别阶段包括以下基本步骤：

2.1、读取待识别行为序列并对其进行图像预处理。

2.2、获取该行为序列原始矩阵a。

2.3、根据W及a计算该行为的特征矩阵e。

2.4、计算特征向量e与每一类训练行为序列在N个分量上的似然值。

2.5、计算总似然值并确定该行为类别。

本发明的有益效果主要表现在：采用非负矩阵分解方法提取人体行为序列 的特征后，得到的行为识别率高于其他方法得到的识别率，可提高应用于实时 智能视频监控系统中的人体行为自动分析能力。

附图说明

图1为本发明的一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别 方法流程图。

图2为本发明的一个连续动作的样本数据的原始矩阵Ai获取示意图。

图3为本发明当基向量数r＝10时一帧图像的特征向量获取示意图。

图4为本发明NMF方法中基向量数r取不同值时的行为识别率比较图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

参照图1～图3，一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别 方法，采用非负矩阵分解方法进行人体行为特征的提取，并使用隐马尔科夫模 型来进行行为的识别与分类。

一个递推过程包括两个阶段，分别为离线训练阶段和在线识别阶段。

(一)离线训练阶段包括以下步骤：

1.1，在行为数据库中选取待识别类型行为序列作为训练数据，假设共选取 了NUM个行为序列，对每一行为序列进行图像预处理，包括运动目标检测，噪 声处理等，得到该行为连续N帧的二值化图像。

1.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连 形成一列，则一个训练行为序列可以得到一个包含N列的原始矩阵A_i。

1.3，将NUM个训练行为序列所得到的原始矩阵按列方式组合在一起，得 到一个具有N×NUM列的总样本数据矩阵A。

1.4，将获得的总样本数据矩阵A进行非负矩阵分解(NMF)，以获得基矩阵W 和系数矩阵H，分解原理为：

A_m×n≈W_m×rH_r×n

其中，r为基向量数，其为任意值且(m+n)r＜m×n。分解方法为对W和H按下式 进行迭代更新，直至||A-WH||²收敛：

$H_{\mathrm{ij}}\←H_{\mathrm{ij}}\frac{{\left(W^{T}A\right)}_{\mathrm{ij}}}{{\left(W^T\mathrm{WH}\right)}_{\mathrm{ij}}}$

$W_{\mathrm{ki}}\←W_{\mathrm{ki}}\frac{{\left({\mathrm{AH}}^T\right)}_{\mathrm{ki}}}{{\left({\mathrm{WHH}}^T\right)}_{\mathrm{ki}}}$

其中，ij和ki均为矩阵的下标，表示矩阵在第i(k)行和第j(i)列的值。

1.5，以基矩阵W的列向量为基向量构造特征子空间，将每一个训练行为序 列的原始矩阵A_i投影到该特征子空间，得到该训练行为序列的特征向量e_i，计算 公式为：

e_i＝W^TA_i

则可知e_i的大小为r×N，按列组合e_i可得各类训练行为特征矩阵E_i。

1.6，为每一类行为建立一个隐马尔科夫模型(HMM)，初始化各类行为的隐 马尔科夫模型，并采用Baum-Welch算法根据各类训练行为特征矩阵E_i分别估计 各个隐马尔科夫模型的最优参数。

(二)在线识别阶段包括以下步骤：

2.1，读取待识别的测试行为序列，对其进行图像预处理，包括运动目标检 测，噪声处理等，得到该行为连续N帧的二值化图像；

2.2，将得到的每一帧二值化图像的像素矩阵按列拆开，并按顺序首尾相连 形成一列，则得到一个N列的原始矩阵a；

2.3，以训练样本所得到的基矩阵W的列向量为基向量构造特征子空间，将 待识别行为序列的原始矩阵a投影到该特征子空间，得到该行为序列的特征向量 e_r×N，计算公式为：

e＝W^Ta

2.4，使用在离线训练阶段已经估计好最优参数的HMM，使用前向后向算 法分别计算特征向量e与每一类训练行为在N个分量上的似然值。

2.5，计算待识别行为序列与每一类训练行为序列的总似然值，即将N个分 量上的似然值相加，并比较总似然值大小，依最大似然原则，总似然值最大的 训练行为所在的行为类别即为该行为的行为类别，从而完成人体行为识别。

本实施例通过采用以色列Weizmann科学院的人体行为数据库，将本发明和 采用Hu矩和R变换进行特征提取的行为识别方法进行比较。

根据图2所示的方法，在离线训练阶段，使用数据库中7类行为共67个视 频行为序列作为训练数据，每一个视频训练序列可以得到一个4000×15大小的样 本数据矩阵，将这67个矩阵组合得到原始矩阵A_4000×1005；通过非负矩阵分解得到 基矩阵W_4000×r和系数矩阵H_r×1005，其中根据训练序列的样本数 据矩阵和基矩阵W_4000×r计算得到各类行为的特征矩阵E；最后，根据7类行为初 始化7组HMM并根据其特征矩阵E分别估计其最优参数。

在在线识别阶段，首先得到待识别视频序列的原始矩阵a_4000×15，根据基矩阵 W_4000×r计算该数据的特征矩阵e_r×15，图3是当基向量数r＝10时一帧图像的特征向量 获取示意图；使用在离线训练阶段已经估计好最优参数的HMM，用前向后向算 法分别计算特征向量e与每一类训练行为在N个分量上的似然值；最后计算总似 然值，依最大似然原则，确定行为类别。

本发明的一种基于非负矩阵分解和隐马尔科夫模型的人体行为识别方法在基向 量r取不同值时的识别率如图4所示，由图4可见，本发明方法在基向量数r取 350时识别效果达到最优。将本发明方法在基向量数r取最优值350时得到的识 别率和采用Hu矩、R变换提取特征得到的人体行为识别率进行比较，比较结果 如表1所示。从表1可以看出，本发明方法得到的识别率明显高于其他两种方 法，即本发明方法的人体行为识别效果优于其他两种方法。

表1。