CN101221621B - 警告监督用户受监视用户的行为的方法和系统 - Google Patents

Abstract

本发明涉及一种用于警告监督用户受监视用户的行为的方法和系统，所述系统包括行为处理系统，用于在监督用户监视的特定环境中捕获受监视用户的三维运动，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三维运动。所述行为处理系统使用所捕获的运动来标识三维对象属性流。所述行为处理系统通过将所述标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为。响应于从所述多个有害行为定义中标识所述特定定义的有害行为，所述行为处理系统触发警告系统，以便通过仅可由所述监督用户检测的输出接口将所述受监视用户的特定定义的有害行为通知所述监督用户。

Description

警告监督用户受监视用户的行为的方法和系统

技术领域

本发明一般地涉及改进的行为识别。具体地说，本发明涉及从一个或多个图像捕获设备捕获的三维图像流来检测他人的行为并告知用户他人的有害行为。

背景技术

在交通扣留(traffic stop)、询问、安检、商店安全和其他日常执法行动期间，执法人员受限于当时其自身对于身体语言和行为的理解。虽然执法人员使用摄像机记录活动以便以后在分析特定事件中使用很常见，但是执法人员在当时可能会误解身体语言和行为。在一个实例中，执法人员可能在同一时间评估不同的问题并可能遗漏指示某人携带隐蔽武器的行为。

除了执法人员，其他类型的工作和角色也要求一个或多个人员监视和监督其他人或动物交互的环境，其中这些监督人员也受限于当时他们自身对于受监视的人或动物的身体语言及其他行为的理解。

因此，鉴于上述内容，需要一种方法、系统和程序来监视其中可能发生有害行为的环境，同时识别所述环境中人或动物的行为，判定哪些行为代表有害行为，并将潜在的有害行为通知诸如执法人员之类的监督用户，同时监督用户仍监视所述环境。

发明内容

因此，本发明提供了从三维捕获的图像进行改进的行为标识。具体地说，本发明提供了从由一个或多个图像捕获设备捕获的三维图像流来检测他人的行为并通知监督用户他人的有害行为。

在一个实施例中，一种计算机实现的方法、系统和程序产品包括：行为处理系统，用于在监督用户监视的特定环境中捕获受监视用户的三维运动，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三维运动。所述行为处理系统使用所捕获的运动来标识三维对象属性流。所述行为处理系统通过将所述标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为。响应于从所述多个有害行为定义中标识所述特定定义的有害行为，所述行为处理系统触发警告系统，以便通过仅可由所述监督用户检测的输出接口将所述受监视用户的特定定义的有害行为通知所述监督用户。

在捕获所述受监视用户的三维运动期间，所述行为处理系统使用立体图像设备来捕获所述三维运动以标识和跟踪特定三维运动。此外，在另一个实施例中，所述行为处理系统使用至少一个立体图像设备和至少一个启用传感器的设备来捕获所述受监视用户的所述三维运动以检测三维环境中的被检测对象的至少一个其他特征。

在标识表示所述三维对象属性流的特定定义的有害行为时，所述行为处理系统计算所捕获的三维运动表示特定有害行为定义中定义的特定行为的百分比概率以及计算所捕获的三维运动有害的百分比概率。此外，在标识表示所述三维对象属性流的特定定义的有害行为时，所述行为处理系统标识所述三维对象属性流中与所述多个有害行为定义中的至少一个定义匹配的所述受监视用户的至少一个身体运动，所述身体运动包括诸如所述受监视用户的面部表情、眼部运动、肌肉收缩和皮肤表面特征变化之类的细粒度运动。进而，在标识特定定义的有害行为时，所述行为处理系统从所述三维对象属性标识以下项中的一项：所述受监视用户的可疑活动、所述受监视用户的受伤状况、受监视人员携带的隐藏武器、所述受监视人员的攻击性姿态、所述受监视人员的愤怒的面部表情，以及所述受监视人员的焦虑状况。

在一个实施例中，所述行为处理系统触发捕获所述特定环境内的所述受监视用户的所述三维运动，以响应检测到所述监督用户在所述特定环境中进行执法活动，所述特定环境包括执法环境，所述监督用户在其中进行交通扣留、安检和询问中的至少一项。在另一个实施例中，所述行为处理系统触发捕获所述特定环境内的所述受监视用户的所述三维运动，以响应检测到所述监督用户在所述特定环境中进行心理评估，包括心理专家监视所述受监视用户的心理状况。

在将所述受监视用户的特定定义的有害行为通知所述特定环境的监督用户时，所述行为处理系统将所述特定定义的有害行为发送到用于控制到所述监督用户的警告信号输出的警告系统。所述警告系统将所述特定定义的有害行为转换成输出信号以便输出到输出设备的输出控制器，所述输出设备用于控制将所述受监视用户不可检测的警告信号输出到监督用户。

在一个实施例中，行为处理系统监视所述特定环境中的监督用户的行为。判定所述监督用户的行为是否有害或所述行为是否在所述特定环境的可接受行为的参数之外，并且如果第一监督用户的行为指示在可接受行为的参数之外的行为，或根据其他警告参数要求通知管理监督用户，则警告管理所述第一监督用户的管理监督用户。

附图说明

在所附权利要求中说明了被认为是本发明特性的新颖特征。当结合附图阅读时，通过参考以下对示例性实施例的详细说明，可以最佳地理解发明本身以及优选使用方式，进一步的目的和优点，这些附图是：

图1是示出行为处理方法、系统和程序中的信息流的方块图；

图2是示出了其中3D对象检测器捕获和生成表示捕获的行为活动的3D对象属性的环境实例的示例性方块图；

图3是示出了用于生成3D对象属性以便使行为解释器能够从3D对象属性来解释受监视用户的行为以及这些行为是否潜在有害的3D对象检测器系统的一个实施例的方块图；

图4是示出行为解释器系统的一个实施例的方块图；

图5是示出其中可以实现本发明的计算系统的一个实施例的方块图；

图6是示出其中可以实现启用行为的警告方法、系统和程序的分布式网络环境的一个实例的方块图；

图7是示出与启用行为的警告系统通信的行为解释器系统的实施方式的一个实例的方块图；

图8是示出对象检测接口和导航输出接口的一个实例的方块图；

图9是示出了从警告系统接收触觉反馈的可检测触觉反馈设备的一个实例的示意图；

图10是示出了其中由警告系统检测受监视用户的潜在有害行为并将其告知监督用户的环境的一个实例的示意图；

图11是示出了行为处理系统通过百分比概率来预测对象类型和路径的过程和程序的高级逻辑流程图；

图12是示出了通过在图像流和其他读出数据中跟踪对象并生成代表行为的被跟踪对象的3D对象属性进行行为检测的过程和程序的高级逻辑流程图；

图13是示出了从被跟踪3D对象属性进行行为预测的过程和程序的高级逻辑流程图；以及

图14是示出了用于在启用行为的导航系统中应用预测的行为记录的过程和程序的高级逻辑流程图。

具体实施方式

现在参考图1，图1是示出了行为处理方法、系统和程序中的信息流的方块图。将理解的是，图1提供了用于在由监督用户监视的环境中捕获图像流并处理这些图像流以预测所述环境中受监视用户的行为及预测所述行为是否为有害行为的信息流的一个实施例，但是，可以实现其他信息流以处理捕获的数据并预测行为类型及所述行为是否有害。

重要的是指出，如全文中所使用的，“行为”一词可以包括通常标记为行为或身体语言的用户行动，例如手势和面部表情，也可以包括任何可检测的身体运动、可检测的体势、可检测的眼部运动、皮肤表面特征变化，例如，颜色、温度、语调及出汗程度、肌肉收缩变化和其他类型的非言语交流。如全文中所使用的，“有害行为”一词可以包括任何行为，但是在文中指被预测为潜在地是可疑的、不合常规的、有损害的、危险的或以其他方式有害的行为。

此外，重要的是指出，如全文中所使用的，“监督用户”或“监督人员”一词可以指监视或监督特定环境的任何人或系统。监督用户可以物理地位于特定环境中或可以从外部位置监视特定环境。在特定环境中受监视的一个或多个受监视用户的行为可以在监督用户的视线之内或之外。监督用户或监督人员的实例可以包括但不限于执法人员、安全人员、心理学家、店员和教师。另外，可以监视监督用户的行为并将其报告给监督用户的经理，这时监督用户则被看作受监视的用户。如全文中所使用的，“受监视用户”一词可以包括在受监视环境中的任何人或动物。

在所述实例中，行为处理系统100包括三维(3D)对象检测器104。3D对象检测器104代表用于捕获有关运动和静止对象的图像和其他数据，流化捕获的数据，跟踪捕获运动中的特定对象，流化特定对象的属性，以及将流化的属性组合成捕获的对象的3D特征的三维表示(如3D对象属性110所示)的多个系统。3D对象属性110可以包括但不限于例如位置、颜色、大小和方向，代表受监视用户的运动、监督用户的运动、环境中的对象，以及标识环境属性的背景。

在所述实例中，3D对象检测器104捕获焦点区域中的图像，表示为可检测行为运动102。此外，3D对象检测器104可以在焦点区域中检测其他类型的数据。具体地说，3D对象检测器104通过多种类型的图像和数据检测来检测可检测行为运动102，所述图像和数据检测包括但不限于捕获视频图像，检测身体部位运动，检测皮肤纹理，检测眼部运动，检测皮肤表面特征以及捕获热成像。为了支持多种类型的图像和数据检测，3D对象检测器104可以包括多种类型的图像捕获设备，其中包括一个或多个布置为进行立体视频图像捕获的摄影机，以及用于捕获一个或多个对象的至少一个其他特性的其他类型的传感器，例如人体热成像传感器、皮肤纹理传感器、激光传感设备、声音导航和测距(SONAR)设备或合成激光或SONAR系统。具体地说，传感器可以使用单独的传感器单元实现，也可以通过处理捕获的图像流的逻辑单元实现。例如，逻辑单元可以处理捕获的图像流以检测聚焦区域内的面部皮肤纹理，该纹理与诸如光滑的墙壁或带有纹理的树叶之类的非皮肤的纹理具有区别。

可检测行为运动102的某些部分可以包括代表实际行为的图像和其他数据，而可检测行为运动102的其他部分可以包括并不代表行为的图像和数据。此外，可检测行为运动102可以包括一个或多个运动和静止的受监视用户、运动和静止的监督用户以及其他对象。

3D对象检测器104将可检测行为运动102转换为被检测对象的3D属性流并将3D对象属性110的流传送到行为解释器106。行为解释器106将成流的3D对象属性110映射到每个受监视用户的一个或多个行为，并针对受监视用户的每个预测的行为估算可检测行为运动102中的实际行为被行为解释器106正确预测的概率。此外，行为解释器106预测特定预测的行为是否也是潜在的有害行为。进而，行为解释器106可以从3D对象属性110来预测监督用户的行为。

行为解释器106将每个预测的行为、百分比概率以及预测的行为是否潜在有害输出为行为输出108。行为解释器106可以将预测的行为输出108传送到一个或多个系统处的一个或多个启用行为的应用。

具体地说，在处理可检测行为运动102并生成预测的行为输出108时，3D对象检测器104和行为解释器106可以访问先前积累和存储的行为定义的行为数据库112以更好地在3D对象属性110中跟踪和检测那些代表行为的受监视对象，以更好地将可检测行为运动102中的其他对象与受监视用户区分开，以及更好地从3D对象属性110来跟踪、识别和预测潜在有害的行为。

此外，在处理行为运动102和生成预测的行为输出108时，3D对象检测器104和行为解释器106可以访问行为数据库112，后者具有针对预测的行为输出108将输出到其的该类启用行为的应用指定的行为定义。例如，在当前实施例中，可以将预测的行为输出108输出到警告系统，以便警告系统将其转换为警告信号，以使行为解释器106尝试从检测的对象运动来预测行为类型，如果发送到特定警告系统，该行为类型更类似已确定为更可能代表有害行为的行为类型。

在一个实例中，执法人员可以监视许多不同类型的环境。与在询问期间监视环境(其中受监视用户没有隐藏的武器)的执法官员相比，在车辆停止期间监视环境的执法官员可以从警告与潜在的隐蔽武器关联的有害行为中获益更多。在另一个实例中，监视安检的执法人员可以获益于在受监视用户实际到达安检之前得到可疑行为的警告，所述可疑行为例如，大量出汗、焦虑迹象、潜在指示隐蔽武器的不合常规的服饰或不合常规的臃肿着装，或在安检可以指示为了通过安检的隐蔽的有害意图的其他行为。

进而，在处理行为运动102和生成预测的行为输出108时，3D对象检测器104和行为解释器106试图识别表示受监视用户行为的对象并根据做出行为的整体交互来预测行为类型。因此，3D对象检测器104和行为解释器106不仅试图确定行为，而且试图确定包括在行为中的将影响行为含义的重要性级别，将影响行为含义的受监视用户做出行为的背景，将影响行为含义的受监视用户做出行为的环境，影响每个行为含义的共同做出的行为的组合，以及影响行为含义的其他可检测的因素。因此，行为数据库112包括与可以影响行为含义的不同类型的人、环境和其他因素对应的行为定义。此外，行为数据库112包括根据相应的面部表情或其他相应的行为调整的行为定义。进而，可以训练行为数据库112以更准确地识别代表特定监督用户所最经常交互的特定人员、动物、场所或事物的对象，以及更准确地识别代表对特定监督人员来说是有害行为的行为运动的对象，并由此提供更详细的行为定义。

此外，在处理行为运动102时，多个单独的图像捕获设备和其他传感器的系统可以分别从不同角度捕获有关单独或重合焦点区域的图像和数据。单独的图像捕获设备和其他传感器的系统可以通过无线或有线连接可通信地互连，并可以在3D行为检测器之间或行为解释器之间彼此共享捕获的图像和数据，以便通过数据组合，行为解释器106可以更准确地解释行为。

现在参考图2，图2是示出了其中3D对象检测器捕获和生成表示捕获的行为运动的3D对象属性的环境的实例的示意图。将理解的是，可检测的运动环境200是其中3D对象检测器104检测表示可检测行为运动102的图像和数据的环境的一个实例，如参考图1中行为处理系统100所述。可以实现检测和处理行为运动的其他环境。例如，图10示出了其中同时检测受监视用户和监督用户的环境。在另一个实施例中，检测和监视监督用户的行为运动。

在所述实例中，可检测运动环境200包括包含图像捕获设备202和图像捕获设备204的立体图像设备，每个都布置为在组合的3D焦点区域220中检测一个或多个对象(包括受监视用户)的运动。在示出的实施例中，图像捕获设备202和图像捕获设备204可以分别放置在静止轴或单独的静止轴上，以使3D焦点区域220表示的区域始终被聚焦。此外，在示出的实施例中，图像捕获设备202和图像捕获设备204以及任何其他传感器可以平行放置，相切地放置，或呈任何其他角度放置以控制3D聚焦区域220内的捕获图像的范围。

在另一个实施例中，图像捕获设备202和图像捕获设备204分别可以被放置在位置可调的轴上，或者图像捕获设备202和图像捕获设备204的实际焦点可以被调节，以便可以重新定位由3D聚焦区域220表示的区域。在一个实例中，图像捕获设备202和图像捕获设备204都可以与一个或多个热成像设备相连，所述热成像设备检测广阔区域内基于热成像的运动并引导每个图像捕获设备202和图像捕获设备204的聚焦区域的重新定位，以便跟踪每个相机的聚焦区域内的热运动。

进而，在当前实施例中，图像捕获设备202和图像捕获设备204可以固定在受监视用户或监督用户携带或穿戴的装置上。例如，图像捕获设备202和图像捕获设备204可以固定在受监视用户或监督用户的眼镜上或其他头部设备上，以使3D焦点区域220随着用户运动而改变。在另一个实例中，图像捕获设备202和图像捕获设备204可以固定在运动的机器(例如车辆)上，以使3D焦点区域220随着车辆运动而改变。

尽管未示出，但是在另一个实施例中，只有单个摄像机(如图像捕获设备202)可以被实现为立体图像设备。将所述单个摄像机放置在轨道或其他可调轴上并且控制器沿着轨道调节单个摄像机的位置，其中所述单个摄像机然后沿着轨道在不同放置点捕获聚焦区域内的视频图像流，并且3D行为检测器104将所述图像流组合成可检测对象的属性的3D对象属性流。在一个实例中，通过比较在相机位置变化时帧之间的亮度和阴影变化，可以生成3D对象属性流。备选地，可以使用与检测深度的传感器相连的单个固定相机来实现立体图像设备。此外，备选地，可以处理图像并检测固定位置深度的单个相机可以用作立体图像设备。例如，所述单个相机可以通过检测光源的运动并比较捕获的图像帧之间的亮度和阴影变化来处理图像和检测深度。具体地说，单相机系统可以首先映射被监视用户脸部的模型，聚焦于眼睛、嘴巴和鼻子，然后检测图像帧之间的亮度和阴影变化以检测脸部的深度特征。在其他实例中，传感器可以处理捕获的视频图像流以从图像流的其他特征中提取深度。

为了举例，3D聚焦区域220包括由图像捕获设备202捕获的第一捕获平面206和由图像捕获设备204捕获的第二捕获平面208。第一捕获平面206检测标号214示出的平面内的运动，并且第二捕获平面208检测标号216示出的平面内的运动。因此，例如，图像捕获设备202检测3D聚焦区域220内对象的侧向和上下运动，而图像捕获设备204检测对象的前后运动。重要的是指出，当以细粒度跟踪对象的运动时，即使受监视用户的身体运动的细小变化(例如，眉毛抬高，下巴朝前，或轻微的姿态)都被跟踪，然后可以被解释为指示监督用户应注意的有害行为。

在所述实例中，在3D焦点区域220中，手210表示运动的对象，而箱子212表示静止的对象。在所述实例中，手210是3D焦点区域220中人手的部分。受监视用户可以通过移动手210做出任何数量的运动，某些运动代表有害行为。

当人在3D焦点区域220中移动手210时，图像捕获设备202和图像捕获设备204中的每个设备都在捕获平面206和捕获平面208中捕获手210的运动的视频流。从所述视频流，3D对象检测器104将手210检测为3D聚焦区域220内的移动对象，并生成在一段时间内的手210的3D属性流(代表3D对象属性110)。

此外，人可以相对于盒子212或另一对象移动手210。例如，人可以指向盒子212或做出其他类型的指向盒子212的行为。当人在3D聚焦区域220内移动手210时，由图像捕获设备202和图像捕获设备204捕获的视频流包括手210和盒子212的运动。从所述视频流，3D对象检测器104将手210检测为3D聚焦区域220内的运动对象，将盒子212检测为静止对象，并生成一段时间内指示盒子212的3D属性以及手210相对于盒子212的3D属性的3D对象属性流。

重要的是指出，通过使用多个相机捕获3D聚焦区域220内的不同运动平面，捕获的运动点多于使用通常的固定单个相机捕获的运动点。通过从多个角度捕获更多的运动点，3D对象检测器104可以更准确地检测和定义3D聚焦区域220内包括行为的静止对象和运动对象的3D表示。此外，3D对象检测器104定义运动对象的3D表示越准确，行为解释器106从3D模型预测行为就越准确。例如，行为可以包括用户做出直接朝向或远离摄像机202和摄像机204之一的动作，在二维帧中无法捕获该动作；3D对象检测器104检测行为的3D表示并将其定义为运动对象，而行为解释器106根据运动的3D模型来预测朝向或远离摄像机做出运动的行为。

例如，受监视用户可以将手210的位置改变为紧握的拳头。拳头的松紧度和拳头中大拇指的位置可以影响紧握拳头的行为是否应被解释为有害行为。通过以细粒度捕获、映射和跟踪紧握的拳头的3D图像，可以检测拳头的松紧度以及拳头中大拇指的位置，以使行为解释器106可以更准确地映射和预测所检测的行为是握紧拳头并且特定的紧握的拳头是否代表有害行为。例如，如果没有直接从3D图像捕获大拇指的位置，则仍检测其他手指的3D位置，行为解释器106从手指的3D位置判定手指是围绕在大拇指周围还是大拇指从外部握住手指。

此外，重要的是指出，虽然图2示出了做出手势的手210和静止的盒子212，但是在备选实施例中，3D聚焦区域220可以包括多个单独的被监视用户和监督用户，以便图像捕获设备202和图像捕获设备204捕获多个人的行为图像，并且3D对象检测器104将每个人的每个行为检测为单独对象。具体地说，3D对象检测器104可以从捕获的视频图像(来自图像捕获设备202和图像捕获设备204)检测具有较多动作的行为(例如通过手做出的行为)以及具有较少动作的行为(例如面部表情)，以便准确地生成一个人与其他人的非语言交流和交互的3D对象属性。

在所述实例中，除了捕获聚焦区域220内的图像之外，在可检测运动环境200中，其他传感器也可以检测有关环境的信息，但是在聚焦区域220之外。例如，传感器240可以检测传感器区域242内的信息。传感器区域242可以与聚焦区域220重叠、合并或分离，也可以纳入聚焦区域220内。3D对象检测器104将读出的信息与捕获的图像相结合，以更准确地生成3D对象属性110并将有关环境的其他信息提供给警告系统。

在一个实例中，传感器240可以根据捕获的图像流来执行面部识别或其他身份识别。在一个实例中，传感器240可以访问被监视用户和监督用户的面部映射数据库并标识与数据库中的特定面部映射匹配的特定用户面部映射。在另一个实例中，传感器240可以分析捕获的图像流以查找可以标识被监视用户的文字。例如，传感器240可以检测捕获的被监视用户或监督用户所佩戴徽章图像流的徽章号。通过传感器240检测用户标识，对象检测器104可以更准确地生成3D对象属性，并且运动解释器106可以更准确地根据定义数据库112中为标识的用户指定的定义来预测用户行为的类型。

此外，在另一个实例中，传感器240可以通过检测从放置在传感器区域242内的对象上的RFID芯片广播的信息来补充用户识别，其中对象的RFID广播对象类型、对象位置，以及与对象关联的任何警告状况。通过将有关特定对象位置的读出信息与从其标识图像的捕获的图像相结合，对象检测器104可以更准确地生成3D对象属性110，并且行为解释器106可以更准确地预测3D对象的类型以及在3D对象属性110中检测的潜在有害行为。此外，通过传感器240访问位置信息，行为解释器106可以包括具有行为记录的位置标识数据，所述行为记录使得启用行为的警告系统能够将行为映射到特定受监视环境中的特定受监视用户。

在另一个实例中，传感器240可以跟踪传感器区域242中受跟踪对象的相对位置。虽然未示出，但是传感器区域242可以跟踪传感器区域242中从第一焦点区域220到第二焦点区域的运动对象，包括受监视用户或监督用户。通过跨多个焦点区域跟踪运动，传感器240提供了受监视用户或监督用户的位置的其他跟踪信息，以便可以在生成3D对象属性110时共享在不同焦点区域中收集的数据。此外，传感器区域242可以代表特定安全区域，其中如果在传感器区域242中检测到动作，传感器240触发焦点区域242的调节以捕获引起运动的实体。此外，传感器240可以检测传感器区域242的变化的GPS位置，以便能够在以下操作时访问和使用与特定GPS位置关联的地图或其他信息：生成3D对象属性110，判定行为是否潜在有害，以及警告GPS映射区域中的监督人员在映射区域中检测到潜在的有害行为。

在再一个实例中，传感器240可以检测有关深度、表面积、颜色温度或对象的其他特征的其他信息，以更准确地预测对象是否代表特定行为以及对象是否潜在有害。具体地说，通过检测有关深度、表面积或对象的其他特征的其他信息，将传感器240收集的数据与图像捕获设备202及图像捕获设备204捕获的图像相结合，以在检测的3D对象中生成其他详细信息和粒度。

现在参考图3，图3是示出了用于生成3D对象属性以便使行为解释器能够从3D对象属性来解释受监视用户的行为以及这些行为是否潜在有害的3D对象检测器系统的一个实施例的方块图。重要的是指出，3D对象检测器104内所示的多个组件可以纳入单个系统或通过网络、其他通信介质或其他传输介质跨多个系统分布。此外，重要的是指出，所示图形中的其他或备选组件可以在3D对象检测器104中实现以捕获图像和数据并生成3D对象位置110流。

初始地，多个图像捕获设备(如图像捕获设备202、图像捕获设备204和传感器240)表示用于获取数据的立体图像捕获设备，所述数据代表3D聚焦区域和传感器区域(如3D聚焦区域220和传感器区域242)内的可检测运动102。如上所述，图像捕获设备202和图像捕获设备204可以表示用于捕获视频图像的摄像机。此外，图像捕获设备202和图像捕获设备204可以表示相机或其他静止图像捕获设备。此外，图像捕获设备202和图像捕获设备204可以表示其他类型的能够捕获代表可检测行为运动102的数据的设备。图像捕获设备202和图像捕获设备204可以使用相同类型的图像捕获系统或不同类型的图像捕获系统来实现。此外，每个图像捕获设备202和图像捕获设备204捕获的捕获区域和平面的范围、大小和位置可以不同。

传感器240可以表示一个或多个不同类型的传感器，包括但不限于RFID读取器、人体热成像传感器、皮肤纹理传感器、激光传感设备、声音导航和测距(SONAR)设备，或者合成激光或声纳系统。此外，传感器240可以包括检测特定类型的身体部位、特定类型的身体运动，或指示与基于非皮肤纹理不同的皮肤纹理的传感器。传感器240可以收集有关对象的独立数据或可以处理图像捕获设备202和图像捕获设备204捕获的图像。

具体地说，传感器240检测与特定传感器区域中的对象有关的信息，所述信息增强了3D对象检测器104创建3D对象属性110的能力。例如，通过经由SONAR设备实现传感器240，传感器240收集有关对象深度以及从SONAR设备到对象的距离的其他信息，其中由视频处理器316、视频处理器308或几何处理器320中的一个或多个处理器使用所述深度测量来生成3D对象位置110。如果将传感器240附加到运动的对象，则可以实现合成SONAR设备。

图像捕获设备202、图像捕获设备204和传感器240都将捕获的图像和数据传输到一个和多个允许初始接收并缓冲捕获的图像和数据的计算系统。在所述实例中，图像捕获设备202将捕获的图像传输到图像捕获服务器308，图像捕获设备204将捕获的图像传输到图像捕获服务器310，并且传感器240将捕获的数据传输到传感器服务器312。图像捕获服务器308、图像捕获服务器310和传感器服务器312可以在一个或多个服务器系统内实现。

图像捕获服务器308、图像捕获服务器310和传感器服务器312都使来自图像捕获设备202、图像捕获设备204和传感器设备240的缓冲图像和数据流入一个或多个处理器。在所述实例中，图像捕获服务器308使图像流入视频处理器316，图像捕获服务器310使图像流入视频处理器318，并且传感器服务器312使读出数据流入传感器处理器319。重要的是指出，视频处理器316、视频处理器318和传感器处理器319可以在一个或多个计算机系统中的一个或多个处理器内实现。

在一个实例中，图像捕获服务器308和图像捕获服务器310分别使图像流入视频处理器316和视频处理器318，其中以帧为单位使图像成流。每个帧可以包括但不限于图像捕获设备的相机标识符(ID)、帧编号、时间戳以及像素数。

视频处理器316、视频处理器318和传感器处理器319被编程为检测和跟踪图像帧内的对象。具体地说，由于视频处理器316、视频处理器318和传感器处理器319接收复杂数据流并处理数据以标识三维对象(包括代表被监视用户和监督用户的对象)和三维对象的特征，所以视频处理器316、视频处理器318和传感器处理器319可以实现单元宽带引擎(Cell BE)架构(单元宽带引擎是Sony Computer Entertainment，Inc.的注册商标)。Cell BE架构指一种处理器架构，其包括基础处理器元件(如基于Power架构的控制处理器(PPE))，所述基础处理器元件连接到多个也称为协处理元件(SPE)的额外处理器元件，并实现一组DMA命令以进行处理器元件之间的高效通信。具体地说，SPE旨在比其他元件更有效地处理特定类型的处理任务。例如，SPE可以被设计为更有效地处理视频流以标识和映射帧流中的运动对象的各点。此外，视频处理器316、视频处理器318和传感器处理器319可以实现其他类型的处理器架构，所述架构允许高效地处理视频图像，以便三维地标识视频图像(可以从其预测被监视用户的行为并预测行为有害的可能性)中的运动和静止对象。

在所述实例中，视频处理器316、视频处理器318和传感器处理器319都创建包括位置、颜色、大小、形状和方位的被检测对象属性并使所述属性流入几何处理器320。在一个实例中，流入几何处理器320的每个被处理帧可以包括，但不限于，相机ID、帧编号、时间戳以及X轴坐标(x_位置)、Y轴坐标(y_位置)和Z轴坐标(z_位置)中的两个或更多个的组合。重要的是指出，x_位置、y_位置和z_位置都可以包括多组点和标识对象的所有属性的其他数据。如果检测和跟踪单个帧内的多个对象，则可以将每个对象的X轴坐标和Y轴坐标包括在单个成流对象属性记录或多个单独的成流对象属性记录中。此外，成流属性帧(如来自SONAR检测位置的传感器处理器319的帧)可以包括例如列为z_位置的Z轴位置坐标。

几何处理器320从视频处理器316和视频处理器318接收2D成流对象属性并从传感器处理器319接收其他对象数据。几何处理器320使成流2D对象属性和其他数据相匹配并且从成流2D对象属性和其他数据来构建3D对象属性。具体地说，几何处理器320构建包括对象深度的3D对象属性110。在一个实例中，由几何处理器320构建的每个3D对象属性记录可以包括时间戳、对象或用户运动标签、X轴坐标(x_位置)、Y轴坐标(y_位置)和Z轴坐标(z_位置)，以及从传感器收集的其他信息。例如，从传感器收集的其他信息可以包括从RFID或GPS检测的位置坐标接收的位置标识符。

在视频处理器316、视频处理器318、传感器处理器319以及几何处理器320中的任一处理器处，属性记录可以包括至少一个允许持续跟踪对象的标识符。例如，所述标识符可以包括对象本身的唯一标识符和一个类别或类型的对象(包括标识为用户运动的对象)的标识符。

具体地说，通过视频处理器316、视频处理器318和传感器处理器319标识并分类对象属性，每个处理器都可以访问行为数据库112，以访问先前处理的输入和行为映射，以更准确地标识和分类2D对象属性，以便检测成流2D对象属性并使其与对象匹配。此外，几何处理器320可以根据成流2D对象属性、根据从行为数据库112访问的先前匹配和构建的3D对象属性来更准确地构建3D对象属性。进而，对象数据库122可以存储成流2D对象属性和3D对象属性以供将来参考。

此外，通过视频处理器316、视频处理器318和传感器处理器319标识和分类对象属性，以及通过几何处理器构建3D对象属性110，每个处理器都可以标识包括被监视用户行为的被检测对象。例如，视频处理器316、视频处理器318、传感器处理器319和几何处理器320可以访问行为数据库112，行为数据库112包括在映射面部表情和其他身体运动，执行面部和其他身体运动识别，以及执行其他处理以标识代表行为的对象中使用的规范。此外，视频处理器316、视频处理器318、传感器处理器319和几何处理器320可以访问行为数据库112，行为数据库112包括在标识特定环境(其中根据检测的对象和背景来定位用户)中使用的用于不同类型环境的规范。进而，在构建3D对象属性110时，视频处理器316、视频处理器318、传感器处理器319和几何处理器320可以标识环境中的多个被检测对象，并且因此标识单个被监视用户的多个行为或多个用户之间的一种或多种交互。通过监视和标识在对象所处的环境中检测的对象之间的交互，可以对其中做出行为的上下文中的行为执行更准确的预测。

现在参考图4，图4是示出行为解释器系统的一个实施例的方块图。重要的是指出，行为解释器106中所示的多个组件可以结合到单个系统中或通过网络跨多个系统分布。在所述实例中，3D属性记录402包括“时间戳”、“x_位置”、“y_位置”和“z_位置”数据元素。将理解，3D属性记录402可以包括由图3的几何处理器320确定的其他或备选数据元素。例如，3D属性记录402可以包括标识传感器区域中(不仅在焦点区域中)的用户的特定或相对位置的其他信息、颜色，或由图像捕获设备和传感器收集并在3D对象检测器104内处理的其他数据。

行为解释器106包括行为解释器控制器404，其中行为解释器控制器404可以包括一个或多个编程为执行行为解释的处理器。例如，行为解释器控制器404可以包括具有CellBE架构的处理器，其编程为有效地处理3D对象属性数据流，从所述3D对象属性数据流预测被监视用户的行为，以及预测行为是否潜在有害。此外，行为解释器控制器404可以包括其上运行软件的处理器，其中所述软件引导对3D对象属性流的处理、从所述3D对象属性数据流预测被监视用户的行为，并预测行为是否潜在有害。

在处理3D对象属性流，预测行为和预测潜在有害的行为时，行为解释器控制器404将3D对象属性映射到一个或多个行为动作(具有成流3D对象属性代表映射的行为动作的百分比概率，并且具有预测的行为代表有害行为的百分比概率)。具体地说，行为解释器控制器404访问一个或多个行为的一个或多个行为定义，并判定3D对象属性是否匹配一个或多个行为的一个或多个特征，如一个或多个行为定义中所定义的那样。行为定义可以包括一个或多个类型的行为的映射3D模型。此外，行为定义可以定义标识行为特征的参数，所述特征包括但不限于检测的身体部位、运动类型、表面特征、形状、运动速度、频率、运动范围、运动深度、温度以及颜色。

此外，规定了行为定义以使行为解释器控制器404能够判定行为的特征是否指示行为潜在有害。例如，一旦行为解释器控制器404从一个或多个行为定义判定对象流表示“形成拳头”的行为，行为解释器控制器404就将拳头的其他特征(例如，拳头的松紧度)与行为定义中针对松紧度所定义的特征进行比较。例如，行为定义可以规定由手指到手掌的弯曲量确定的松紧度范围。在行为定义中，拳头越紧，则行为越可能有害。在另一个实例中，行为定义也可以规定拳头松紧度及拳头相对于受监视用户身体的位置共同确定了行为是否潜在有害。

在另一个实例中，一旦行为解释器控制器404从一个或多个行为定义判定对象流表示“从手中丢掉物体”的行为，行为解释器控制器404就确定丢掉对象的其他特征以及丢掉对象的位置，并将对象的特征和位置与行为定义中针对潜在有害的丢掉对象定义的其他因素进行比较。在垃圾箱里丢掉的纸张可能不指示潜在有害的行为，但是，在座位下丢掉的袋子可能指示潜在有害的行为。

在再一个实例中，一旦行为解释器控制器404从一个或多个行为定义判定对象流表示“衣服下携带的物体”的行为，行为解释器控制器404就确定物体区域的体积的其他特征并将体积特征与行为定义中针对潜在有害的携带物体所定义的其他因素进行比较。

重要的是指出，在解释3D对象属性流时，行为解释器控制器404对一个或多个行为处理系统针对特定聚焦区域标识的一个或多个3D对象属性流中的所有被跟踪对象执行聚合分析。在一个实例中，行为解释器控制器404聚合特定聚焦区域和特定传感器区域的3D对象属性流。在另一个实例中，行为解释器控制器404可以从与聚焦区域和传感器区域重叠的区域接收多个3D对象属性流，分析3D对象属性流的相似处、位置指示器以及方位指示器，并将3D对象属性流构建成区域的3D聚合表示。

在一个实施例中，行为解释器控制器404可以将被跟踪对象的集合直接映射到单个行为定义。在另一个实施例中，行为解释器控制器404将多个聚合的被跟踪对象映射到多个行为定义。例如，用户可以同时通过面部行为和手部行为来交流，其中在通过面部行为和手部行为的被跟踪运动来预测实际的交流行为时，行为解释器控制器4 04分析面部行为的3D对象属性和手部行为的3D对象属性的相关性，并访问行为定义以预测每个行为并预测行为组合是否表示潜在有害的行为。此外，行为解释器控制器404可以聚合环境中表示多个受监视用户的行为的被跟踪对象。行为解释器控制器404然后预测多个受监视用户的行为组合是否表示潜在有害的行为。

在所述实例中，行为解释器控制器404访问行为数据库112中的行为定义，行为数据库112包括总体行为定义412、环境特定的行为定义414、应用特定的行为定义416，以及用户特定的行为定义418。将理解的是，行为数据库112可以包括其他或备选类型的行为定义。此外，重要的是指出，在所述实例中说明的每个行为定义组都可以位于单个数据库或可以通过网络从多个数据库和数据存储系统来访问。

总体行为定义412包括针对普通行为的行为定义以及用于判定总体行为是否有害的因素。例如，总体行为定义412可以包括针对普通行为的行为定义，所述行为例如人们指点、人们挥手、人们点头同意或摇头否定，或一般不与有害行为关联的其他类型的普通行为(但是取决于上下文，可能表示有害行为)。例如，在识别人摇头否定时，还检测诸如人摇头的速度以及人的眉毛是否抬高之类的其他因素，所述因素影响人的摇头是否为潜在有害行为的检测级别。在另一个实例中，总体行为定义412可以包括通常表示有害行为的行为，例如，人咬紧牙齿或人的下巴朝前。

环境特定的行为定义414包括行为定义和用于判定特定于检测行为的上下文的行为是否有害的因素。上下文的实例可以包括但不限于受监视用户的当前位置、一天中的时间、姿态背后的文化含义以及上下文中的其他行为、上下文中所说的语言，以及其他影响其中可以解释行为的上下文的因素。受监视用户的当前位置可以包括用户所在的国家或地区并可以包括实际的物理环境，例如，交通扣留、密闭房间或安检。行为解释器控制器404可以通过以下方式来检测当前上下文：访问受监视用户或监督用户的位置的GPS指示器；对受监视用户的讲话执行语言分析以检测语言变化和方言；检测图像数据中指示特定类型场所的对象；或从其他监视上下文(其中监视受监视用户)的系统接收其他数据。

应用特定的行为定义416包括特定于启用行为的应用(将预测的行为输出108发送到其)的行为定义。例如，在当前实施例中，可以将预测的行为输出108输出到启用行为的应用，所述应用是包括在导航系统中的警告系统，所述导航系统将音频导航和警告输出提供给警官佩带的耳机，其中选定的行为定义关注将与基于导航的警告系统相关的行为类型。在另一个实例中，可以将预测的行为输出108输出到启用行为的应用中，所述应用是包括在监督系统中的警告系统，所述监督系统提供从监视录像带中凸出显示潜在有害的行为，其中选定行为定义关注基于监督的警告系统所警告的行为。

用户特定的行为定义418包括特定于受监视用户或监督用户的行为定义。在一个实例中，行为解释器控制器404从用户提供可扫描标识来访问受监视用户的标识符，例如，在安检或交通扣留时，对标识的扫描将受监视用户的标识符提供给行为解释器控制器404。在另一个实例中，行为解释器控制器404通过将3D对象检测器104检测的用户属性与用户属性数据库进行比较来访问受监视用户的标识符。例如，行为解释器控制器404可以执行面部或语音识别(如果尚未由3D对象检测器104执行的话)。将理解的是，行为解释器控制器404可以对受监视用户或监督用户执行其他类型的身份访问和验证。

此外，行为数据库112可以包括行为定义和其他特定于特定环境的监督用户或监督用户组的因素。具体地说，行为定义和其他因素可以指定监督用户的行为何时有害。例如，如果监督用户的行为在特定环境中的可接受行为或力度的参数之外或响应于受监视用户的特定有害行为，则监督用户的行为可以被认为是有害的。此外，例如，如果监督用户的行为指示监督用户在某种方式上有损害(包括指示缺乏经验的行为)，则监督用户的行为可以被认为是有害的。

行为数据库112也可以包括行为定义和根据特定环境中受监视用户或监督用户的经验水平指定的其他因素。例如，监督用户在监视特定场所的经验水平可以影响监督用户的行为是否被认为是潜在有害。在另一个实例中，受监视用户的经验水平或进入特定场所的频率可以影响受监视用户的行为(或不同于常规的行为)是否被认为是潜在有害。

进而，在可用的行为定义中，行为定义可以与3D聚焦区域中的特定运动区域或特定运动深度关联。具体地说，可以将其中检测运动的三维聚焦区域分为三维部分，其中可以在不同的行为定义选择下解释在每个部分中做出的运动。例如，聚焦区域的一个三维部分可以被认为是“活动区域”，其中将在该区域中检测到的运动和与该特定活动区域(例如，在安全点的特定距离内的区域)关联的行为定义选择进行比较。

此外，行为数据库112可以包括(在单独的定义数据库中或集成到定义数据库中)针对全体动物、特定类型的动物、在特定环境中的动物和特定动物所规定的行为定义。此外，针对动物的行为定义可以根据向其报告潜在有害行为的监督用户或根据动物与之交互的监督用户而变化。

可以根据受监视用户或监督用户的用户反馈来添加或调整包括在行为数据库112中的行为定义。例如，行为数据库112可以以类似于训练语音识别系统的方式，通过监督用户响应指示预测是否正确的潜在有害行为的警告指示来学习其他行为定义和调整已学习的行为定义的参数，以便在不同上下文中、特定于应用，以及特定于特定受监视用户和监督用户来更准确地映射和预测一般行为。

当行为解释器控制器404接收到指示受监视用户的路径的数据时，一旦行为解释器控制器404标识了行为，行为解释器控制器404就可以预测受监视用户的行为是否与受保护方或地区关联。例如，一旦行为解释器控制器404检测到受监视用户在警戒建筑入口外的人行道上朝特定方向行走，且受监视用户咬紧牙关并快步行走(这潜在指示用户很愤怒)，则行为解释器控制器404可以预测受监视用户的路径是否会转向某一监督警卫所监视的区域，并生成由警告系统用于向所述监督警卫提供警告信号的行为记录。

行为解释器控制器404可以以一个或多个行为记录(如行为记录420)的形式输出预测的有害行为输出108。行为记录420指示“行为类型”、“行为概率％”以及“有害行为概率％”。此外，行为记录420包括被检测行为的起始X、Y和Z轴属性以及结束X、Y和Z轴属性，指示行为的位置、运动方向和运动速度，列为“起始_x_位置”、“结束_x_位置”、“起始_y_位置”、“结束_y_位置”、“起始_z_位置”、“结束_x_位置”。虽然未示出，但是行为记录420还可以指示受监视用户运动的X、Y和Z轴起始和结束属性，其指示受监视用户或监督用户的场所、运动方向和运动速度。进而，从传感器获取的其他信息(例如RFID数据、GPS坐标、皮肤表面特征以及其他读出数据)可以与特定行为记录关联或包括在单独的对象记录中。

在传送行为记录420时，行为解释器控制器404可以过滤特定类型的行为记录。例如，行为解释器控制器404可以不传送其中行为被预测为有害行为的概率小于特定百分比的记录。

重要的是指出，在备选实施例中，行为解释器控制器404可以仅预测行为类型以及检测的图像表示所预测行为的百分比概率，然后将所有检测的行为的记录传送给启用行为的应用。启用行为的应用则预测哪些行为可能是有害的并控制如何通知监督人员潜在有害的行为。

现在参考图5，图5是示出其中可以实现本发明的计算系统的一个实施例的方块图。本发明的控制器和系统可以在各种系统中执行，包括各种与网络(如网络502)可通信地相连的计算系统(如计算机系统500)。

计算机系统500包括用于在计算机系统500内传送信息的总线522或其他通信设备，以及连接到总线522以处理信息的至少一个处理设备(如处理器512)。总线522优选地包括通过桥和适配器连接并在计算机系统500内由多个总线控制器来控制的低等待时间和高等待时间路径。当实现为服务器时，计算机系统500可以包括多个旨在提高网络服务能力的处理器。在多个处理器共享总线522时，可以实现用于管理总线访问和锁定的其他控制器(未示出)。

处理器512可以是诸如IBM的PowerPC^TM处理器之类的通用处理器，所述处理器在正常操作期间，在操作系统560、应用软件570、中间件(未示出)和其他代码的控制下处理数据，可以从诸如随机存取存储器(RAM)514之类的动态存储设备、诸如只读存储器(ROM)516之类的静态存储设备、诸如大容量存储设备518之类的数据存储设备，或其他数据存储介质来访问所述其他代码。在一个实例中，处理器512可以进一步实现CellBE架构以更有效地处理3D中的复杂数据流。将理解，处理器512可以实现其他类型的处理器架构。此外，重要的是指出，处理器512可以代表本地或通过网络而连接并被启用以有效地分散处理任务的多个处理器芯片。

在一个实施例中，由处理器512执行的操作可以控制图11-14的流程图的操作和本文说明的其他操作中示出的从环境的捕获图像和数据进行3D行为检测(同时监督人员监视该环境)、从检测的行为进行有害行为预测，以及向监督人员输出预测的有害行为的指示器。由处理器512执行的操作可以由操作系统560、应用软件570、中间件或其他代码来请求，或者本发明的步骤可以由包含执行所述步骤的硬连线逻辑的特定硬件组件执行，或者由编程的计算机组件和定制硬件组件的任意组合来执行。

本发明可以被提供为在计算机或机器可读介质上包括的计算机程序产品，所述介质上存储有计算机可读程序的可执行指令，当在计算机系统500上执行时，所述指令将导致计算机系统500执行根据本发明的过程。此处使用的术语“计算机可读介质”或“机器可读介质”包括参与将指令提供给处理器512或计算机系统500的其他组件以便执行的任何介质。此类介质可以采取多种形式，包括但不限于诸如非易失性介质和易失性介质之类的存储型介质，以及传输介质。例如，非易失性介质的常见形式包括软盘、硬盘、磁带或其他任何磁介质、光盘ROM(CD-ROM)或任何其他光介质、穿孔卡片或任何其他带有孔图案的物理介质、可编程ROM(PROM)、可擦写PROM(EPROM)、电EPROM(EEPROM)、闪存、任何其他存储芯片或模块，或者计算机系统500可以从其进行读取并适合存储指令的任何其他介质。在本实施例中，非易失性介质的实例是示为计算机系统500的内部组件的大容量存储设备518，但是将理解，大容量存储设备518也可以由外部设备提供。易失性介质包括诸如RAM 514之类的动态存储器。传输介质包括同轴电缆、铜线或光纤，包括包含总线522的线。传输介质也可以采取声波或光波的形式，例如在射频或红外线数据通信时生成的那些声波或光波。

此外，本发明可以作为计算机程序产品被下载或分发，其中计算机可读程序指令可以被从诸如服务器540之类的远程计算机传输到发出请求的计算机系统500，具体方式是载波或其他传播介质中包含的数据信号经过网络502传输到网络链路534(例如调制解调器或网络连接)，然后传输到与总线522连接的通信接口532。在一个实例中，在处理器512包括多个处理器元件的情况下，则分布在所述处理器元件之间的处理任务(无论是本地还是通过网络)可以表示计算机程序产品，其中所述处理任务包括用于执行过程的程序指令或用于访问Java(Java是Sun Microsystems，Inc.的注册商标)对象的程序指令或用于执行过程的其他可执行程序。通信接口532提供了连接到网络链路534的双向数据通信，例如，所述网络链路534可以连接到局域网(LAN)、广域网(WAN)，或直接连接到因特网服务提供商(ISP)。具体地说，网络链路534可以提供到诸如网络502之类的一个或多个网络的有线和/或无线网络通信。进而，尽管未示出，通信接口532可以包括诸如设备驱动程序之类的软件和诸如适配器之类的硬件，以及其他实现通信的控制器。例如，当实现为服务器时，计算机系统500可以包括多个可通过连接到输入/输出控制器的多个外围组件互连(PCI)总线桥访问的通信接口。以这种方式，计算机系统500允许通过多个单独的端口连接到多个客户端并且每个端口还支持到多个客户端的多个连接。

网络链路534和网络502都使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和网络链路534上的信号以及通过通信接口532(其向/从计算机系统500传送数字数据)的信号可以是传输信息的载波的形式。

此外，计算机系统500可以包括多个协助输入和输出的外围组件。这些外围组件连接到多个控制器、适配器，以及诸如连接到多级总线522之一的输入/输出(I/O)接口526之类的扩展槽。例如，输入设备524可以包括麦克风、视频捕获设备、人体扫描系统、键盘、鼠标，或其他通过控制输入的I/O接口526在总线522上启用通信功能的输入外围设备。此外，通过控制输出的I/O接口526在总线522上启用通信功能的输出设备520包括一个或多个图形显示设备、音频扬声器以及可检测触觉输出接口，但是也可以包括其他输出接口。在本发明的备选实施例中，可以添加其他或备选的输入和输出外围组件。

本领域的技术人员将理解，图5中示出的硬件可以有所变化。此外，本领域的技术人员将理解，所示实例并非旨在暗示有关本发明的架构限制。

现在参考图6，图6是示出其中可以实现启用行为的警告方法、系统和程序的分布式网络环境的一个实例的方块图。重要的是指出，分布式网络环境600是其中可以实现启用行为的警告方法、系统和程序的一种网络环境类型的示例，但是，可以在其他网络环境中实现启用行为的警告方法、系统和程序。此外，重要的是指出，分布式网络环境600内的系统分布是系统分布的示例；但是，可以实现网络环境内的其他系统分布。此外，重要的是指出，在所述实例中，所示系统是可以在实现行为处理系统和启用行为的警告系统时访问或请求访问的系统和服务类型的代表。可以理解，网络环境中的其他类型的系统和服务以及其他系统和服务组可以实现行为处理系统和启用行为的警告系统。

如图所示，分布式网络环境600内的多个系统可以通过网络502可通信地连接，网络502是用于在各种可通信地连接的设备和计算机之间提供通信链路的介质。网络502可以包括永久连接(例如有线电缆或光缆)以及例如通过电话连接和无线传输连接建立的暂时连接。网络502可以表示基于分组交换及基于电话的网络、局域网及广域网、公用网络及专用网络。可以理解，图6表示用于支持行为处理系统和启用行为的警告系统的分布式通信网络的一个实例；但是，可以实现其他网络配置和网络组件。

图6中所示的网络环境可以实现多种类型的网络架构。在一个实例中，所述网络环境可以使用客户端/服务器架构来实现，其中请求数据或过程的计算系统称为客户端，而处理数据请求和过程的计算系统称为服务器。可以理解，在客户端/服务器架构内，客户端系统可以作为客户端和服务器两者执行，而服务器系统可以作为客户端和服务器两者执行。此外，可以理解，可以实现其他类型的网络架构和网络架构的组合。

在所述实例中，分布式网络环境600包括具有图像捕获系统604的客户端系统602以及具有图像捕获系统608的客户端系统606。在一个实例中，图像捕获系统604和608包括实现一个或多个图像捕获设备(例如图像捕获设备202和204)的立体图像设备，并可以包括一个或多个传感器(例如传感器204)。图像捕获系统604和608捕获图像和其他数据，并将图像和其他数据通过网络502以流的方式发送到其他系统以进行处理。此外，图像捕获系统604和608可以包括参考图3描述的用于跟踪对象属性的视频处理器(例如视频处理器316和视频处理器318)以及参考图3描述的用于生成3D对象属性流的几何处理器(例如几何处理器320)。

在一个实例中，每个客户端系统602和客户端系统606可以使捕获的图像帧流到一个或多个行为检测服务。在一个实例中，行为处理服务提供方服务器620提供一种服务，所述服务包括用于处理成流图像和其他数据的对象检测器服务(例如3D对象检测器104)以及用于预测行为类型，预测捕获的图像表示预测行为类型的概率，预测行为有害的概率，以及控制将预测的行为记录输出到一个或多个可通过网络502访问的其他系统的行为解释器服务(例如行为解释器106)。

对于行为处理服务提供方服务器620，不同实体可以实现行为处理服务，并且不同实体可以访问行为处理服务。在一个实例中，登录客户端系统602或客户端系统606之一的用户可以订阅行为处理服务。在另一个实例中，图像捕获系统或请求行为处理的特定应用可以自动使捕获的图像和数据流到行为处理服务。在再一个实例中，企业或其他实体可以在通信网络中实现行为处理服务。

在另一个实例中，每个客户端系统602和客户端系统606可以使捕获的帧流到3D对象检测器服务器624。3D对象检测器服务器624从图像捕获系统(例如图像捕获系统604或图像捕获系统608)接收捕获的图像和其他数据，并处理图像和其他数据以生成检测的行为的3D对象属性，以便输出到行为解释器系统(如行为解释服务器622或行为处理服务提供方服务器620)。在其他或备选实施例中，对象检测器服务可以在一个或多个其他系统内使用在这些系统内执行的一个或多个服务来实现。具体地说，在其他或备选实施例中，对象检测器服务可以在该处捕获图像和其他数据的客户端系统内实现。

具体到行为解释器服务器622和3D对象检测器服务器624，这些服务器中的每个服务器可以跨一个或多个系统分布。具体地说，行为解释器服务器622和3D对象检测器服务器624中的每个服务器跨具有3D图像处理能力的系统分布，包括具有编程为执行高效的3D数据处理的CellBE架构的处理器。在一个实例中，实体(例如，企业或服务提供商)可以实现用于对象检测和行为解释的单独服务器系统，其中实现多个行为解释器服务器，每个行为解释器服务器处理不同类型的3D对象属性。

行为处理服务提供方服务器620、行为解释器服务器622和3D对象检测器服务器624可以本地存储原始图像、3D行为属性和行为定义的行为数据库(例如行为数据库112)。此外，行为处理服务提供方服务器620、行为解释器服务器622和3D对象检测器服务器624可以访问促进行为数据库112的行为数据库服务服务器626。如前所述，行为数据库112可以包括但不限于原始图像和数据、3D行为属性、行为定义和对象预测。

此外，行为数据库服务服务器626包括行为学习控制器630。行为学习控制器630提示用户(不论是受监视用户还是监督用户)提供特定类型行为的样例并提示用户指示预测的行为类型是否匹配实际的行为以及预测的有害行为是否真正有害。此外，行为学习控制器630收集其他信息，这些信息可使行为学习控制器630能够在行为数据库112中学习和维护行为信息，当行为对象检测器服务和行为解释器服务访问这些信息时，可提高生成3D对象属性的准确度以及这些服务从3D对象属性来预测行为和潜在有害性的准确度。

进而，行为处理服务提供方服务器620、行为解释器服务器622、3D对象检测器服务器624或行为数据库服务服务器626可以访问用户(包括受监视用户或监督用户)的其他上下文信息，从客户端简档服务服务器640指定被认为有害的行为类型和可以由用户检测的警告类型。此外，客户端简档服务服务器640可以从监视的信息(例如，用户的当前位置、用户所处的当前物理环境、针对用户的当前安排的事件)来监视和提供有关用户位置的其他信息。在一个实例中，客户端简档服务服务器640通过例如用户的个人便携电话装置来监视用户的电子日历和用户的当前GPS位置。

行为处理服务提供方服务器620和行为解释器服务器622使预测的行为记录(例如，行为记录420)通过网络502流到启用行为的应用。在所述实例实施例中，客户端系统606包括警告系统610，其是启用行为的应用，使客户端系统606能够根据行为记录和其他数据判定警告信号并将其输出到监督用户。客户端系统606处的警告系统610可以从客户端系统606接收由图像捕获系统608捕获的预测行为记录，或可以根据由图像捕获系统608或其他图像捕获设备或图像捕获系统所检测的图像和数据来接收预测的行为记录。

此外，在实例实施例中，客户端服务提供方服务器612包括警告系统614，其是使客户端服务提供方服务器612能够根据行为记录和其他数据判定和输出警告信号的启用行为的服务。客户端服务提供方服务器612表示向一个或多个订阅客户端系统提供警告服务的服务器。警告系统614可以从一个或多个系统接收特定环境的行为记录以及判定警告信号并将其输出到一个或多个客户端系统。

现在参考图7，图7是示出了与启用行为的警告系统进行通信的行为解释器系统的实施方式的一个实例的方块图。警告系统700从行为处理系统100接收预测的行为记录，其使警告系统700能够根据针对监督人员正在监视的实际环境捕获的实时3D图像和其他数据来提供警告输出。根据一个优点，警告系统700可以控制到输出设备的警告信号，所述输出设备控制警告信号的输出，以便只有监督用户检测到警告信号，而受监视用户不能检测到警告信号。

具体地说，警告系统700的警告控制器708可以将警告指令基于行为记录(例如，行为记录702)。此外，警告控制器708可以根据其他数据结合行为记录702中包括的数据来增强或生成警告指令。例如，警告控制器708可以通过访问结构图、图片、视频流、RFID信息和其他有关受监视环境的数据来访问有关受监视环境的静态或动态信息。此外，警告控制器708可以通过其他成像设备来访问有关环境中受监视用户的信息。然后，警告控制器708可以生成受监视环境内的位置处的预测行为记录的映射。

具体地说，在所述实例中，行为系统720接收行为记录702，而警告控制器708将行为记录702转换为促进环境建模和生成到监督用户的警告指令的输入。在示出的实施例中，在转换行为记录702时，警告控制器708访问行为转换数据库710以便根据警告指令将要输出到的设备类型，将行为类型、行为类型的百分比概率，以及行为是有害行为的百分比概率转换为警告指令。在其他实施例中，行为记录可以转换为其他可由警告控制器708使用的数据类型以实现警告系统。用户偏好数据库706可以指定与警告指令将输出到的设备类型有关的偏好以及其他在过滤有害行为转换数据库710中使用的过滤偏好。此外，可以将有害行为转换数据库710与特定监督用户关联，或根据其他准则从警告系统710可用的多个有害行为转换数据库选择中来选择有害行为转换数据库710。

在所述实例中，有害行为转换数据库710包括多个类别中针对每个表项指定的数据。具体地说，在所述实例中，每个表项包括姿态类型和最小有害行为百分比以及指令，所述指令用于生成到红外控制器、触觉反馈设备、音频反馈设备和图像覆盖控制器中的每一个的警告信号(如果适用)。此外，虽然未示出，但是每个表项可以包括正确预测行为类型的最小阈值概率百分比以及用于生成针对其他或备选类型的警告系统输出设备的警告信号的指令。

具体地说，在所述实例中，包括在行为记录702中的受监视行为指示受监视用户以不合常规的步态行走，且在概率上90％地确定受监视行为是左侧不合常规的步态，在概率上70％地确定所述不合常规的步态表示有害行为。此外，行为记录702将总体受监视环境指示为“建筑B”。重要的是指出，包括在预测行为记录702中的数据实例是示例而不是限制可包括在行为记录(由行为处理系统100输出和由警告系统700接收)中的数据类型和数据详细信息。例如，行为记录还可以指示受监视用户正在行走的速度、受监视用户行走的方向以及将标识受监视用户的信息(例如，衬衫颜色或头发颜色)，如果受监视环境包括多个受监视用户的话。

在所述实例中，警告控制器708可以控制到一个或多个示出的设备的警告指令。对于所述实例，警告控制器708将行为记录702与有害行为转换数据库720的表项722相比较，并可以根据从将行为记录702和其他收集的数据与表项722进行比较而生成的指令来控制到红外控制器730、图像覆盖控制器740、触觉反馈控制器750和音频反馈控制器760中的一个或多个的警告信号。将理解的是，警告控制器708可以将警告信号输出到其他或备选类型的输出设备以及多个相同类型的输出设备。

在根据行为记录702控制警告指令时，在一个实例中，警告控制器708可以确定需要发送信号以开启“建筑B”环境中的红外控制器730。警告控制器708确定红外控制器730控制用于监视“建筑B”的红外设备。警告控制器生成警告信号并将所述警告信号发送到红外控制器730(如标号732所示)以开启红外系统。除了引导红外控制器730开启红外系统，警告控制器708还可以提供其他指令以使红外控制器730能够关注受监视用户。

在另一个实例中，在根据行为记录702控制警告指令时，警告控制器708可以确定需要为“建筑B”中捕获的图像向图像覆盖控制器740发送信号。在所述实例中，图像覆盖控制器740控制在捕获的图像流上覆盖图层。图层可以包括但不限于文本图像、图形图像和视频图像。在一个实例中，透明的有色覆盖可以放置为“建筑B”中捕获的视频图像上的图层，以指示受监视用户的一部分触发了潜在有害行为的指示器。例如，警告控制器708发送标号742处所示的警告信号，所述信号引导图像覆盖控制器740关注左侧不合常规的步态上的图层。此外，警告控制器708可以发送行为记录702(具有检测行为的坐标的指示符)，以使图像覆盖控制器740可以将指示不合常规步态的图层映射到先前捕获或当前捕获的图像流之一。

在再一个实例中，在根据行为记录702控制警告指令时，警告控制器708可以确定需要向触觉反馈控制器750发送信号。触觉反馈控制器750控制到一个或多个触觉反馈设备的输出。触觉反馈特征可以包括但不限于脉冲强度、强度、模式、持续时间和位置。此外，监督用户可以检测来自一个或多个触觉反馈设备的触觉反馈，其中警告控制器708可以为多个触觉反馈设备生成相同或不同的信号。在所述实例中，警告控制器708发送标号752处示出的警告信号，该信号引导触觉反馈控制器750使用70％的力施加脉冲于左侧触觉反馈设备。

此外，在另一个实例中，在根据行为记录702控制警告指令时，警告控制器708可以确定需要向音频反馈控制器760发送信号。音频反馈控制器760控制到一个或多个音频反馈设备的输出。警告控制器708可以控制不同类型的音频反馈，包括但不限于产生警告信号音调模式的声音和转换为语音反馈的文本。在所述实例中，警告控制器708发送标号762处示出的警告信号，该信号引导音频反馈控制器760输出“不合常规的步态，左侧”的音频信号。

除了表项722，有害行为转换数据库710的表项720和724进一步示出了可以包括在有害行为转换数据库710中的表项的类型。例如，表项720指定对于指示为“避开目光”且最小有害度为75％的姿态，不应触发红外控制器，但是规定指令将警告信号发送到触觉反馈控制器以便以该百分比强度施加脉冲于两个触环一次、发送到音频反馈控制器以提供“避开目光”的音频反馈，或发送到图像覆盖控制器以便以有害性百分比透明度将眼部区域凸显为红色。在另一个实例中，表项724指定对于指示为“大量出汗”且最小有害度为80％的姿态，如果在用户偏好数据库706中指定，则应触发红外控制器，并且规定指令将警告信号发送到触觉反馈控制器以快速地施加脉冲于两个触环两次，发送到音频反馈控制器以提供“大量出汗”的音频反馈，或发送到图像覆盖控制器以便以有害性百分比透明度将出汗区域凸显为绿色。

在所述实例中，警告控制器708控制通过红外控制器730开启监视设备的警告信号，控制通过图像覆盖控制器740调整受监视影像的警告信号，以及控制通过触觉反馈控制器750和音频反馈控制器760通知单个监督用户的警告信号。因此，有利地，警告控制器708控制将警告信号输出到设备(其中受监视用户不能检测到警告信号的输出)。在受监视用户能够查看图像覆盖控制器740控制的图像的环境中，用户偏好数据库706可以阻止输出到图像覆盖控制器740。

现在参考图8，图8是示出对象检测接口和导航输出接口的一个实例的方块图。在所述实例中，图8包括头部设备800，它是一种可佩戴的装置。在一个实例中，监督用户佩戴头部设备800，其示为一副眼镜。在其他或备选实施例中，头部设备800可以表示其他类型的可佩戴装置。此外，虽然参考监督用户佩戴头部设备800来说明头部设备800，但是，在备选实施例中，受监视用户可以佩戴头部设备800。

在所述实例中，图像捕获设备202和图像捕获设备204都固定到头部设备800。每个图像捕获设备202和图像捕获设备204都捕获视频图像流和其他类型的读出数据。每个图像捕获设备202和图像捕获设备204可以将图像和数据传输到计算机系统912，计算机系统912通过有线连接或通过固定到头部设备800的无线发射器810的传输来实现行为处理系统100。

在一个实例中，计算机系统812是佩戴头部设备800的监督用户携带或佩带的本地移动计算系统(如计算机系统500)。例如，作为本地移动计算系统的计算机系统812可以例如在附带腰带的计算系统、无线电话设备或膝上型计算系统中实现。在另一个实例中，计算机系统812保持在固定位置或由一个监督用户佩戴，但是在与计算机系统812关联的接收器的广播接收范围内从无线发射器810或其他无线发射器接收无线传输。

行为处理系统100可以在计算机系统812中运行或可以与提供行为处理服务的其他计算系统连接，以处理捕获的图像和数据并从捕获的图像和数据返回预测的姿态，如图6中所示。具体地说，计算机系统812可以包括计算机系统812通过其经由网络502与其他计算系统连接的有线或无线网络接口。

在一个实例中，将图像捕获设备202和图像捕获设备204置于头部设备800上以捕获从用户正前方到监督用户之前一段距离(例如，监督用户前几码)的聚焦区域。通过包括用户正前方区域的聚焦区域，图像捕获设备202和图像捕获设备204可以捕获佩戴头部设备800的监督用户所做的行为的图像。此外，通过包括监督用户前方延伸区域的聚焦区域，图像捕获设备202和图像捕获设备204可以在监督用户的路径中捕获受监视用户的行为图像。此外，可以将图像捕获设备202和图像捕获设备204置于头部设备800上以根据监督用户所处的环境来捕获监督用户两侧、上方和后方的区域。行为处理系统100处理图像捕获设备202和图像捕获设备204捕获的图像和数据，并且基于学习最有助于监督用户的行为识别类型，将预测的障碍记录传送给警告系统700以输出到监督用户。

在警告系统700控制到监督用户的输出时，在所述实例中，警告系统700可以将音频反馈发送到头部设备800，其中头部设备800包括固定到头部设备800并放置为耳部设备以在用户的耳中输出音频的音频输出设备806和音频输出设备808。如警告系统700所控制的，每个音频输出设备806和音频输出设备808可以通过有线连接或无线发射器810从计算机系统812接收音频传输以便输出。

在一个实例中，图像捕获设备202和图像捕获设备204捕获接近监督用户的受监视用户的图像，而行为处理系统100接收捕获的图像并预测受监视用户的行为以及所述行为是否是潜在有害的行为。行为处理系统100将行为类型以及行为是否在预测行为记录中被预测为有害行为传送给警告系统700。如先前参考图7所述，警告系统700将预测的行为记录转换为音频输出并控制将转换的音频输出到音频输出设备806和音频输出设备808。有利地，通过控制将警告信号输出到监督用户所佩带的音频输出设备806和音频输出设备808，只有监督用户而非受监视用户接收到音频输出警告信号。

重要的是指出，虽然在所述实例中，图像捕获设备202、图像捕获设备204、音频输出设备806和音频输出设备808固定到同一头部设备800，但是在备选实施例中，图像捕获设备可以固定到独立于音频输出设备的单独头部设备。此外，重要的是指出，虽然在所述实例中，计算机系统812同时包括行为处理系统100和警告系统700，但是在备选实施例中，不同的计算系统可以实现每个行为处理系统100和警告系统700。

此外，重要的是指出，多个监督用户和受监视用户可以都佩戴单独的头部设备，其中每个头部设备上的图像捕获设备所捕获的图像通过无线或有线网络连接被传输到同一计算机系统(如计算机系统812)。通过从多个人收集协同的图像和数据，行为处理系统100可以更准确地检测表示行为的对象并更准确地预测行为的类型以及行为是否潜在有害。进而，重要的是指出，多个本地移动计算机系统(每个系统都从固定到头部设备的图像捕获设备和传感器收集图像和数据)可以通过无线或有线网络连接彼此通信并共享收集的图像、数据、检测的对象、预测的行为以及预测的行为是否潜在有害。监督用户可以同意在安全网络中共享收集的图像和预测的行为记录。

在单个系统处收集或在多个系统间共享协同的图像和数据的情况下，可以将其他信息添加到所述图像和数据或从其中提取其他信息，以协助相对于其他捕获的图像和数据的集合来放置不同的捕获的图像和数据的集合。例如，为协同而传输的图像和数据可以包括位置指示器和方向指示器，以使每个图像和数据集合可以对准并指向其他的图像和数据集合。

现在参考图9，图9是示出了从警告系统接收触觉反馈的可检测触觉反馈设备的一个实例的示意图。如图所示，人可以佩带腕带904和908，其中每个腕带都包括用于控制可检测触觉输出的控制器以及可以被控制以产生可检测输出的硬件。可检测触觉输出的实例可以包括可检测的压力脉冲、腕带表面可检测的变化以及其他可以被佩带腕带904和908的用户感知的调整。此外，可检测触觉输出可以在频率、强度、持续时间和其他可被佩带腕带904及908的监督用户感知的特征方面进行调整。

在所述实例中，腕带904包括无线发射器902，而腕带908包括无线发射器906。每个无线发射器902和无线发射器906都通过无线网络将传输发送到触觉反馈控制器750。触觉反馈控制器750从警告系统700接收触觉信号并将信号传输到每个无线发射器902和906以控制来自腕带904和腕带908的触觉输出。有利地，通过控制将警告信号输出到监督用户佩戴的腕带904和腕带908，只有监督用户而非受监视用户检测到触觉输出警告信号。

具体地说，警告系统700将触觉警告信号传输到每个无线发射器902和906以控制每个腕带周围的脉冲模式、位置、力度、持续时间、频率和输出计时。在标号910处示出的实例中，警告系统700发送用于控制带912的触觉信号，其中每个触觉信号包括x和y坐标以及力度。脉冲的模式和位置可以在宽度上不同(从位置y到位置x)以及在方向上不同(例如，沿腕带顺时针方向旋转)。

此外，每个无线发射器902和906可以包括传感器以监视与重力相比每个腕带904和908的相对位置。参考标号910处示出的实例，当佩戴腕带912的用户旋转胳膊时，相对于重力而言，用于控制触觉输出的位置y将总是向上，而位置-y将总是向下，以便根据用户胳膊的当前位置围绕示出的轴重新布置触觉信号。

在一个实例中，如实例表项720、722和724所示，警告系统700将预测的行为和预测行为潜在有害的百分比概率转换为到监督用户的唯一指示行为类型和行为潜在有害的百分比概率的触觉输出。但是，在另一个实例中，警告系统700可以将预测的行为和预测行为潜在有害的百分比概率转换为将监督用户导向受监视用户的区域(与预测行为以及所述行为有害的概率关联)的触觉输出。此外，在再一个实例中，警告系统700可以将预测的行为及百分比概率转换为引导监督用户通过某种方式物理地响应(例如，举起胳膊，伸手拿防卫设备或监督用户可以从触觉输出检测到的其他响应)的触觉输出。

重要的是指出，腕带904和908是位于两个固定位置的一种类型的触觉反馈设备的实例；在备选实施例中，可以实现其他类型的触觉反馈设备，可以实现一个或多个触觉设备，并且可以在一个或多个位置检测触觉设备。例如，许多电话设备已包括警告系统700可以通过发送信号来控制的振动功能，以便控制表示预测行为和预测行为潜在有害的百分比概率的振动。在另一个实例中，监督用户可以佩戴用作盲文设备或3D“触摸”设备的可检测触觉手套，手套的指尖具有可调整触觉的接口。

重要的是指出，用户可以同时佩戴头部设备800和可检测触觉腕带904及908。在此实例中，警告系统700将控制到触觉反馈控制器750和无线发射器810之一或两者的输出。进而，头部设备800可以包括当音频在用户周围时进行检测的麦克风(未示出)，并且警告系统700可以选择在噪音低于特定水平时输出音频反馈以及在噪音高于特定水平时输出可检测触觉输出。

现在参考图10，图10是示出了其中由警告系统检测受监视用户的潜在有害行为并将其告知监督用户的环境的一个实例的示意图。在所述实例中，环境1010包括监督用户1012(例如，执法官员)以及受监视用户1014。在所述实例中，监督用户1012走出车辆1006。车辆1006包括用于在环境1010中捕获表示行为运动的图像的图像捕获系统1004，例如，图像捕获设备202、图像捕获设备204和传感器240中的一个或多个。图像捕获系统1004将捕获的数据传送给计算机系统812的姿态处理系统100，其中计算机系统812可以位于车辆1006中或表示可通过网络502访问的一个或多个计算机系统。

行为处理系统100处理图像捕获系统1004所捕获的图像。在所述实例中，行为处理系统100从车辆1006接收具有警官执行的巡逻类型的指示和警官身份的图像。根据警官执行交通扣留和警官身份“警官A”，行为处理系统100访问交通扣留行为定义1020和警官A行为定义1022来更准确地预测交通扣留期间的常见行为，以及更准确地预测与交通扣留相关及与定义1020与1022中定义的“警官A”相关的行为。

行为处理系统100生成预测的行为记录以由警告系统700用于确定警告指令，以便通过输出控制器1008输出到监督用户。在确定警告指令以输出到监督用户1012时，警告系统700可以访问“警官A”的用户偏好、针对交通扣留设置的偏好以及用于“警官A”或全体警官的有害行为转换数据库。

根据警告系统700生成的警告指令，警告系统700控制到输出控制器1008的输出信号，输出控制器1008用于控制到可由车辆1006外部的监督用户1012访问的输出设备和从车辆1006控制的输出设备的输出。例如，监督用户1012可以佩带耳机(输出控制器1008控制将音频信号输出到其)，或者监督用户1012可以佩带可检测触觉设备(输出控制器1008控制将触觉信号输出到其)。在另一个实例中，车辆1006可以配备有红外设备(输出控制器1008向其输出信号)，以控制是否开启红外设备以及红外设备的捕获区域的布置。将理解的是，输出控制器1008可以控制到车辆1006中其他类型的输出设备或可由监督用户1012访问的输出设备的输出信号。此外，输出控制器1008可以控制到可由输出控制器1008特定距离内的多个监督用户或所有监督用户访问的输出设备的输出信号。进而，警告系统1008可以控制到其他车辆或其他位置的警告系统1008与之通信的其他输出控制器的信号。

重要的是指出，任何类型的移动单元(例如，车辆1006)都可以实现行为处理系统和用于向监督用户提供警告信号的警告系统。此外，虽然车辆1006是移动单元，但是在其他实例中，单元(例如，在安检或公共交通入口处的单元)可以实现行为处理系统和用于向监督用户提供警告信号的警告系统。

此外，重要的是指出，虽然图10中的实例示出了监督用户在交通扣留期间与人进行交互，但是在另一个实例中，移动单元(例如，车辆1006)可以实现为监视与动物或其他移动实体交互的监督用户。

现在参考图11，图11是示出了行为处理系统通过百分比概率来预测对象类型和路径的过程和程序的高级逻辑流程图。在所述实例中，所述过程始于块1100，然后前进到块1102。块1102示出了在聚焦区域通过立体图像设备捕获多个图像流以及通过传感器捕获传感器数据。接下来，块1104示出了在图像和传感器数据中跟踪对象。然后，块1106示出了为跟踪的对象生成3D对象属性流。此后，块1108示出了聚合每个被跟踪对象的3D对象属性。具体地说，聚合的3D对象属性表示与至少一个被监视用户(代表至少一个被监视用户的行为)一起跟踪的一个或多个对象。此外，聚合的3D对象属性可以表示与一个或多个监督用户(代表一个或多个监督用户的行为)一起跟踪的一个或多个对象。接下来，块1110示出了通过百分比概率，根据与聚合的3D对象属性流匹配的一个或多个行为定义中的累积3D对象属性流，预测至少一种类型的行为。此外，接下来，块1112示出了通过百分比概率从行为定义来预测行为是否潜在有害。具体地说，在预测行为是否潜在有害时，行为的潜在有害程度可以根据执行行为的环境类型、特定环境中的人数、监督用户与受监视用户的接近度以及其他可以在行为定义中定义的因素而改变。此后，块1114示出将每个预测的行为类型以及在行为记录中行为是否潜在有害传输到启用行为的应用(例如，警告系统)，并且过程结束。

现在参考图12，图12是示出了通过在图像流和其他读出数据中跟踪对象并生成代表行为的被跟踪对象的3D对象属性进行行为检测的过程和程序的高级逻辑流程图。如图所示，所述过程始于块1200，然后前进到块1202。块1202示出了对象检测器系统通过一个或多个图像捕获设备接收多个图像流以及通过一个或多个传感器接收读出数据。接下来，块1204示出了对象检测器系统将元数据附加到图像帧和读出数据，然后过程转到块1206。在一个实例中，元数据包括但不限于诸如相机标识符、帧号、时间戳和像素数之类的数据。

块1206示出了对象检测器系统处理每个图像流和读出数据以检测和跟踪对象，其中对象可以包括物理对象和指示行为的用户运动。接下来，块1208示出了从每个图像流生成具有元数据的被跟踪对象属性流。然后，块1210示出了组合被跟踪对象属性以生成具有元数据的3D对象属性。接下来，块1212示出了将3D跟踪对象属性传输到行为解释器系统，然后过程结束。

现在参考图13，图13是示出了从被跟踪3D对象属性进行行为预测的过程和程序的高级逻辑流程图。在所述实例中，过程始于块1300，然后前进到块1302。块1302示出了判定行为解释器系统是否接收到3D对象属性。当行为解释器系统接收到3D对象属性时，过程转到块1304。块1304示出了访问一系列适用的行为定义，然后过程转到块1306。

块1306示出了行为解释器系统将跟踪对象的3D对象属性与适用的行为定义相比较。接下来，块1308示出了行为解释器系统检测与一组或多组3D对象属性最匹配的至少一个行为定义。此后，块1310示出了计算3D对象属性与行为定义匹配的百分比概率。接下来，块1312示出了根据行为定义中设置的有害程度特征来预测所预测行为是否潜在有害。然后，块1314示出了生成具有任何预测的行为的至少一个预测行为记录、预测行为正确的百分比概率、预测行为潜在有害的百分比概率以及其他读出数据。接下来，块1316示出了将具有元数据的预测行为记录传输到特定的启用行为的应用，然后过程结束。

现在参考图14，图14是示出了用于在启用行为的导航系统中应用预测的行为记录的过程和程序的高级逻辑流程图。如图所示，过程始于块1400，然后前进到块1402。块1402示出了判定启用行为的警告系统是否接收到预测的行为记录。当警告系统接收到预测的行为记录时，过程转到块1404。块1404示出了收集与特定环境关联的其他数据，包括但不限于其他监督用户的位置、环境中的其他预测行为记录，以及可由警告系统访问的其他数据。然后，块1406示出了将预测的行为和其他收集的数据映射到监督环境中的一个或多个位置。接下来，块1408示出了将预测的行为记录和其他收集的数据转换为一个或多个警告信号以输出到监督用户，包括指示环境中有害行为的位置的警告信号。然后，块1410示出了控制将信号输出到选定输出接口控制器，然后过程结束。

虽然参考优选实施例详细示出和描述了本发明，但是本领域的技术人员将理解，可以在其中做出各种形式和详细的更改而不偏离本发明的精神和范围。

Claims (16)

1.一种用于警告监督用户表示有害行为的受监视用户的行为的计算机实现的方法，所述方法包括：

在所述监督用户监视的特定环境中捕获受监视用户的三维运动，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三维运动；

使用所捕获的运动来标识三维对象属性流；

访问行为数据库中的多个行为定义；

通过将所标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为；

响应于从所述多个有害行为定义中标识所述受监视用户的特定定义的有害行为，通过仅可由所述监督用户检测的接口将所述受监视用户的特定定义的有害行为通知所述特定环境的所述监督用户；

根据所述监督用户的用户反馈来调整包括在行为数据库中的多个行为定义；

其中通过将所标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为进一步包括：从所述三维对象属性标识以下项中的一项：所述受监视用户的可疑活动、所述受监视用户的受伤状况、受监视人员携带的隐藏武器、所述受监视人员的攻击性姿态、所述受监视人员的愤怒的面部表情，以及所述受监视人员的焦虑状况。

2.如权利要求1中所述的方法，其中捕获所述受监视用户的三维运动进一步包括使用立体图像设备来捕获所述三维运动以标识和跟踪所述受监视用户的特定三维运动。

3.如权利要求1中所述的方法，其中捕获所述受监视用户的三维运动进一步包括使用至少一个立体图像设备和至少一个启用传感器的设备来捕获所述三维运动以检测三维环境中的被检测对象的至少一个其他特征。

4.如权利要求1中所述的方法，其中标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为进一步包括计算所捕获的三维运动表示特定有害行为定义中定义的特定行为的百分比概率以及计算所捕获的三维运动有害的百分比概率。

5.如权利要求1中所述的方法，其中标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为进一步包括标识所述三维对象属性流中与所述多个有害行为定义中的至少一个定义匹配的所述受监视用户的至少一个身体运动，所述身体运动包括所述受监视用户的面部表情、眼部运动、肌肉收缩和皮肤表面特征变化中的至少一个的细粒度运动。

6.如权利要求1中所述的方法，还包括：

响应于检测到所述监督用户在所述特定环境中进行执法活动，捕获所述特定环境内的所述受监视用户的所述三维运动，所述特定环境包括执法环境，所述监督用户在其中进行交通扣留、安检和询问中的至少一项。

7.如权利要求1中所述的方法，还包括：

响应于检测到所述监督用户在所述特定环境中进行心理评估，包括心理专家监视所述受监视用户的心理状况，而捕获所述特定环境内的所述受监视用户的所述三维运动。

8.如权利要求1中所述的方法，其中将所述受监视用户的特定定义的有害行为通知所述特定环境的监督用户还包括：

将所述特定定义的有害行为发送到用于控制到所述监督用户的警告信号输出的警告系统；以及

在所述警告系统处将所述特定定义的有害行为转换成输出信号以便输出到输出设备的输出控制器，所述输出设备用于控制将所述受监视用户不可检测的警告信号输出到监督用户。

9.一种用于警告监督用户表示有害行为的受监视用户的行为的计算机实现的系统，所述系统包括：

用于在所述监督用户监视的特定环境中捕获受监视用户的三维运动的装置，其中使用至少一个指向所述受监视用户的图像捕获设备来确定所述三维运动；

用于使用所捕获的运动来标识三维对象属性流的装置；

用于访问行为数据库中的多个行为定义的装置；

用于通过将所标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为的装置；

用于响应于从所述多个有害行为定义中标识所述受监视用户的特定定义的有害行为，通过仅可由所述监督用户检测的接口将所述受监视用户的特定定义的有害行为通知所述特定环境的所述监督用户的装置；

用于根据所述监督用户的用户反馈来调整包括在行为数据库中的多个行为定义的装置；

其中所述用于通过将所标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为的装置进一步包括：用于从所述三维对象属性标识以下项中的一项的装置：所述受监视用户的可疑活动、所述受监视用户的受伤状况、受监视人员携带的隐藏武器、所述受监视人员的攻击性姿态、所述受监视人员的愤怒的面部表情，以及所述受监视人员的焦虑状况。

10.如权利要求9中所述的系统，其中所述用于捕获所述受监视用户的三维运动的装置进一步包括用于使用立体图像设备来捕获所述三维运动以标识和跟踪所述受监视用户的特定三维运动的装置。

11.如权利要求9中所述的系统，其中所述用于捕获所述受监视用户的三维运动的装置进一步包括使用至少一个立体图像设备和至少一个启用传感器的设备来捕获所述三维运动以检测三维环境中的被检测对象的至少一个其他特征的装置。

12.如权利要求9中所述的系统，其中所述用于通过将所标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的特定定义的有害行为的装置进一步包括用于计算所捕获的三维运动表示特定有害行为定义中定义的特定行为的百分比概率以及计算所捕获的三维运动有害的百分比概率的装置。

13.如权利要求9中所述的系统，其中所述用于通过将所标识的三维对象属性流与多个有害行为定义相比较来标识由所述三维对象属性流表示的所述受监视用户的特定定义的有害行为的装置进一步包括用于标识所述三维对象属性流中与所述多个有害行为定义中的至少一个定义匹配的所述受监视用户的至少一个身体运动的装置，所述身体运动包括所述受监视用户的面部表情、眼部运动、肌肉收缩和皮肤表面特征变化中的至少一个的细粒度运动。

14.如权利要求9中所述的系统，还包括用于响应于检测到所述监督用户在所述特定环境中进行执法活动，捕获所述特定环境内的所述受监视用户的所述三维运动的装置，所述特定环境包括执法环境，所述监督用户在其中进行交通扣留、安检和询问中的至少一项。

15.如权利要求9中所述的系统，还包括用于响应于检测到所述监督用户在所述特定环境中进行心理评估，包括心理专家监视所述受监视用户的心理状况，而捕获所述特定环境内的所述受监视用户的所述三维运动的装置。

16.如权利要求9中所述的系统，其中所述用于将所述受监视用户的特定定义的有害行为通知所述特定环境的监督用户的装置还包括：

用于将所述特定定义的有害行为发送到用于控制到所述监督用户的警告信号输出的警告系统的装置；以及

用于在所述警告系统处将所述特定定义的有害行为转换成输出信号以便输出到输出设备的输出控制器的装置，所述输出设备用于控制将所述受监视用户不可检测的警告信号输出到监督用户。

Images