CN103020885B - 深度图像压缩 - Google Patents

深度图像压缩 Download PDF

Info

Publication number
CN103020885B
CN103020885B CN201210431972.7A CN201210431972A CN103020885B CN 103020885 B CN103020885 B CN 103020885B CN 201210431972 A CN201210431972 A CN 201210431972A CN 103020885 B CN103020885 B CN 103020885B
Authority
CN
China
Prior art keywords
probability
body part
image
depth
elementary area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210431972.7A
Other languages
English (en)
Other versions
CN103020885A (zh
Inventor
杰米·肖顿
托比·夏普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103020885A publication Critical patent/CN103020885A/zh
Application granted granted Critical
Publication of CN103020885B publication Critical patent/CN103020885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

描述了深度图像压缩，该深度图像压缩例如能够从深度图像实时检测游戏玩家的身体部位中心，或者用于其他应用，如增强现实和人机互动。在一实施例中，使用概率质量压缩具有相关身体部位概率的深度图像，该概率质量与图像单元的深度和该图像单元的身体部位的概率相关联。在各种例子中，使用概率质量压缩深度图像能够通过对输出的单元聚类来加快身体部位中心检测。在一些例子中，根据前景区域的深度选择压缩比例，而在一些情况下，针对不同的图像区域使用不同的比例。在一些例子中，使用聚类的图象单元的概率质量来计算身体部位中心的置信度。

Description

深度图像压缩
背景技术
来自深度摄像机的深度图像被越来越多地用于在许多应用中检测场景中的人或物体，例如，寻找人或动物的身体部位中心的位置，寻找场景中物体的位置，并且被用于其他目的，如医学图像分析。深度图像的处理在计算上通常昂贵又费时。
在诸如增强现实、沉浸式游戏、人机互动等许多应用领域中，在诸如深度图像、彩色视频图像和其他类型图像等图像数据中寻找人或动物身体部位中心的位置可能是有用的。在这些应用领域中的很多应用领域，要实时预测身体部位中心位置，并且可利用的图像数据通常是有噪声的或者是不完整的。在一些情况下，可利用的计算资源可能包括多个图形处理单元，这些图形处理单元可并行操作以提供最快的处理时间。然而，不总是这种情况。需要在不会明显影响所得到的身体部位中心位置的准确性和可用性的情况下减少计算量。
现有的身体部位位置检测系统可能包括若干个计算阶段。典型地，使用标注了的图像数据来预先训练检测系统。
下面描述的实施例不局限于解决已知的深度图像压缩系统的任何或全部缺点的实施方式。
发明内容
下面给出本公开文件的概要，以令读者有一个基本的理解。该概要不是本公开文件的详尽总结，并且它也不表明关键/重要的单元，也不限定本公开文件的范围。其唯一目的是以简化的形式提供本公开文件的一组概念，作为稍后给出的更详细的描述的序言。
所描述的深度图像压缩例如能够从深度图像中实时地检测游戏玩家的身体部位的中心，或者用于其他应用，如增强现实和人机互动。在一实施例中，使用与图像单元的深度和该图像单元的身体部位的概率有关的概率质量，来对具有相关身体部位概率的深度图像进行压缩。在各种例子中，压缩深度图像和概率质量图像能够加快身体部位中心检测。在一些例子中，根据前景区域的深度来选择压缩比例，而在一些情况下，对不同的图像区域使用不同的比例。在一些例子中，使用聚类的图像单元的概率质量来计算身体部位中心的置信度。
通过参考以下结合附图给出的详细描述，将会更容易地认识到并更好地理解随后的许多特征。
附图说明
通过参照附图阅读以下详细说明将会更好地理解本说明，其中：
图1是身体部位中心位置检测系统的示意图；
图2是深度摄像机的附近区域和远离深度摄像机的另一区域的示意图；
图3是用于快速身体部位中心检测的图像压缩方法的流程图；
图4是用于快速身体部位中心检测的使用下采样的身体部位矢量的方法的流程图；
图5是均值漂移处理的示意图；
图6是均值漂移处理的流程图；
图7是用于控制计算机游戏的基于摄像机的控制系统的示意图；
图8是图像捕获设备的示意图；
图9示出可以实现身体部位位置检测器的实施例的示例性的基于计算的设备。
在附图中相同的附图标记用于表示相同的部分。
具体实施方式
下面结合附图提供的详细描述意图作为对所给出的例子的描述，而不意图代表可以构成或使用所给出的例子的仅有的形式。本描述给出了该例子的功能以及用于构成和操作该例子的步骤序列。然而，可以通过不同的例子实现相同的或等同的功能和序列。
尽管所给出的例子被描述并示出为在计算机游戏系统中实现，但是所描述的系统是作为例子而不是作为限制给出的。如本领域的技术人员将会意识到的，所给出的例子适合于在各种不同类型的计算和图像处理系统中应用。这些例子描述了使用身体部位概率信息。然而，该概率信息可以是关于其他类别如物体类别的概率信息。
图1是在计算设备102实现的身体部位中心位置检测系统的示意图。计算设备102接收场景的深度图像，该深度图像描绘至少一个游戏玩家，或者任何人或动物身体，或者人或动物身体的一部分。该深度图像可以是来自深度摄像机或者其他图像捕获设备的深度图像流的一部分。该深度图像与通过其他处理从该深度图像计算出的身体部位概率相关联。因此，计算设备102接收深度和身体部位概率100。该计算设备使用该信息计算身体部位中心104的3D位置以及这些3D位置的置信度的度量值。该身体部位中心信息可用于玩家的骨架跟踪、用于姿态检测或者用于其他目的。
该深度图像的每个图像单元可以具有相关联的概率分布，该相关联的概率分布代表该图像单元描绘多个指定类别中的各个类别的概率。在一些例子中，所述类别是身体部位，但是也可以使用其他类别，如物体类别（例如，建筑物、天空、人、咖啡杯）或者其他类别。例如，该概率分布代表该图像单元是每个类别的成员的可能性。在一个例子中，有31个或更多个不同身体部位，但是也可以指定任何数目的身体部位。身体部位的例子包括但不限于：头、颈、肩、臂、肘、腕、手、躯干、腿、膝、踝、脚。如图1中的区域106所示，该深度图像可以被表示为图像单元的二维阵列108（在图1中示出了一部分），其中图像单元可以是像素、像素块或者其他像素组，或者可以是体素、体素组或者高于2维的其他图像单元。在图1中所示的例子中，每个图像单元具有深度值（由符号Z表示）和相关联的概率分布（由符号p(bi)表示）。如图1所示，（在一例子中）该概率分布可被认为是关于身体部位的概率的直方图110。该直方图存储每个身体部位的概率值，其代表特定图像单元描绘指定身体部位的概率。
该身体部位概率，如直方图110或者概率分布的其他表示，是使用用于实现它的任何适当的已知处理根据深度图像获得的。例如，该处理取得输入的深度图像并且将其分割为密集的概率性的身体部位标记。身体部位的分割被作为逐像素分类的任务来处理。典型地使用以数十万计的训练图像来训练深度随机化决策森林分类器。该分类器使用有区分力的深度比较图像特征来产生3D转换不变性，同时保持高计算效率。为了进一步加速，该分类器可以在图形处理单元上关于每个像素并行运行。一旦训练好了，该分类器就被用于执行逐像素分类，并且产生每个像素的概率分布，其代表该像素描绘多个身体部位中每个部位的概率。
计算设备102取得深度和身体部位概率100，并且产生身体部位中心的3D位置104以及置信度信息。在较高的层次上，计算设备102可以被认为是对深度和概率进行聚类，以产生身体部位中心。对深度和身体部位概率100执行聚类在计算上是昂贵的，并且因此难以实时地实现，尤其是在计算资源有限的情况下（如嵌入式系统或者在没有图形处理单元可用时）。本文中描述的例子使用图像压缩处理以压缩深度和身体部位概率100，然后关于压缩后的图像执行聚类以产生身体部位中心。该图像压缩处理被设计为减轻身体部位中心检测的准确度的损失。为此，该图像压缩处理考虑了在本文中称为概率质量的特征。
现在参考图2更详细地解释概率质量，图2是在深度摄像机附近的区域200和远离深度摄像机的另一区域202的示意图。在深度摄像机处的图像单元204描绘远离深度摄像机的场景中的区域206。所描绘的区域206的表面积通过深度（或者所描绘的区域与摄像机的距离）的平方与图像单元204的表面积相关联。给定身体部位与图像单元的概率质量被定义为概率输入值（即，该图像单元描绘该身体部位的概率）乘以在该图像单元处的深度值的平方。这确保远离摄像机的图像单元与靠近摄像机的图像单元被赋予相当的概率质量。更一般来说，概率质量与图像单元的深度以及在给定图像单元的情况下身体部位的概率相关联。
图3是对深度图像进行压缩的方法的流程图，该深度图像在每个图像单元处具有相关联的身体部位概率信息。首先选择300下采样比例。在一些例子中，该比例被自动选择，并且可被动态调节。在其他例子中，该比例被预先配置，而在其他例子中，由用户基于经验数据手动设置该比例。
在每个图像单元处针对每个身体部位计算302概率质量w。例如，如果有31个身体部位，那么在每个图像单元处计算31个概率质量。如上文所述，可以使用深度和概率信息来计算概率质量。
选择304身体部位并且启动对输入数据进行下采样的处理306。根据下采样比例从深度图像中选择308一组图像单元。例如，在深度图像被表示为图像单元的二维阵列的情况下，该组图像单元可以是形成正方形的四个相邻图像单元所构成的块。然而，不一定非要使用四个图像单元构成的块，也可以使用其他尺寸的块或者其他形状或区域。在一些例子中，该组图像单元可以是三维的或更高维的。
例如通过执行用概率质量加权的求和来聚合所选的组中图像单元的概率值，并且存储聚合值。还计算并存储该组的图像单元的聚合概率质量。
选择另一组图像单元（例如，2D阵列中的下一个由四个图像单元构成的块），并且重复聚合处理，直到处理完312该深度图像的所有图像单元。
存储314针对身体部位下采样到的输入数据。选择接下来的身体部位，并且重复该处理，直到处理完316所有身体部位。这样，在下采样到的数据的尺寸小于输入数据的情况下对输入图像进行压缩。例如，概率和深度的每个d×d被缩减到一个输出单元，如矢量(x,y，z,w)，其中x,y，z是输入概率的质心，w是总的概率质量。在使用身体部位概率信息的例子中，输出单元可被称为下采样的身体部位矢量。不一定非要将矢量格式用于输出单元；也可以使用其他格式。输出单元包括概率分布特征，如x,y，z和概率质量w。
可以使用多线程或以任何其他适当方式至少部分并行地执行图3的方法。例如，可以针对每个身体部位并行地执行下采样处理306。此外，下采样处理本身可以使用并行处理。
通过在输出单元中保留聚合概率质量信息，并且通过在概率值的聚合期间考虑概率质量信息，输出单元保留了能够使用聚类确定身体部位中心的信息。然而，与原始输入数据相比，输出单元在尺寸上被压缩，所以聚类处理在计算上较廉价。
该下采样处理可被认为是准确度与计算时间的折中。产生可使用的结果的准确度水平随着对象（人或动物身体）离深度摄像机的远近而变化。在图3的步骤300，可以通过适当地选择下采样比例来考虑这一点。例如，可以根据深度图像的前景区域的深度来选择下采样比例。典型地，前景区域描绘场景中一个或多个玩家或其他人或动物身体。可以从深度图像本身获得前景区域的深度。例如，如果玩家离深度摄像机较远，那么与玩家靠近深度摄像机的情况相比，需要增加准确度水平。在使用本文中描述的方法捕获并处理深度图像的连续流的情况下，可以在游戏或其他系统的操作期间动态调节所述比例。此外，针对深度图像的不同区域可以选择不同的比例。例如，在多个玩家离深度摄像机深度不同的情况下，在一例子中，图3的处理被修改为选择多个比例并且根据所述多个比例中的第一比例计算第一组输出单元，根据所述多个比例中的第二比例计算第二组输出单元。
参考图4，根据概率质量接收400并过滤402身体部位A的下采样输入数据。例如，在被压缩的身体部位概率质量太低的情况下，该过滤去除下采样的身体部位矢量。对下采样输入数据的剩余下采样身体部位矢量执行聚类404，并且被找到的聚类（或多个聚类）提供身体部位A的中心的3D位置的假设位置。该概率质量可用于指示身体部位A的中心的3D位置的置信度。可以使用任何类型的聚类处理，非穷举的例子包括：k均值聚类、凝聚聚类、均值漂移聚类。
在一例子中，使用如现在参照图5和图6描述的均值漂移聚类。在图5中示意性地示出了均值漂移处理。在500处示出包括身体部位A的深度和概率的下采样身体部位矢量。在3D世界空间中，下采样身体部位矢量504被选择并移位到新的位置506。为了方便绘图，在图5中将3D世界空间描绘为2D输出区域502。移位矢量508表示下采样身体部位矢量504如何转换到新的位置506。当下采样身体部位矢量504的相邻矢量根据聚类核（如高斯核）聚合时，基于所述相邻矢量计算移位矢量。针对输入500的所有下采样身体部位矢量重复使下采样身体部位矢量移位的处理，直到移位矢量最小为止。在该处理结束时，下采样身体部位矢量聚类为一个或多个聚类。每个聚类代表身体部位A的中心的一个可能位置。
现在参照图6更详细地描述均值漂移处理。从身体部位Ａ的下采样数据选择600下采样身体部位矢量。例如，从图3的处理获得该下采样数据。如前文所述，该下采样身体部位矢量可被认为是如前所述的矢量x,y，z,w。通过对用核（如高斯核）加权的相邻下采样身体部位矢量的矢量取平均值602来找到移位矢量。高斯核是在与所选择的下采样身体部位矢量及其相邻矢量形成的块有相同尺寸的窗口或区域内的二维高斯函数。可以使用任意核来用于将矢量聚类。
将下采样身体部位矢量按其移位矢量进行移位604，并且选择600下一个下采样身体部位矢量。这针对所有下采样身体部位矢量进行重复606，直到移位矢量低于阈值。结果是下采样身体部位矢量的一个或多个聚类。该处理输出608聚类的3D位置，作为该身体部位的中心的可能3D位置。输出每个3D位置的置信度信息。通过在该均值漂移处理期间聚合移动到该聚类中的每个下采样身体部位矢量的概率质量w，通过对移动到该聚类中的下采样身体部位矢量的数目进行计数，或者通过其他处理，获得聚类的置信度信息。可以针对每个身体部位重复610该处理（即，步骤600至608）。可以并行执行针对每个身体部位的该处理，但这不是必须的。
可以学习本文中描述的方法的各种参数。例如，在聚类处理中使用的任意核的窗口尺寸、在该聚类处理中使用高斯核的情况下高斯核的标准偏差、过滤步骤的阈值以及其他参数。例如，最初可将所述参数设置为默认值，并且针对训练数据验证所述参数。验证处理的结果可被用于调节参数值。
图7示出用于控制计算机游戏的示例性的基于摄像机的控制系统700。可以在该基于摄像机的控制系统中实现在上文中参照图2至图6描述的方法。在该示例性例子中，图7示出用户702正在玩拳击游戏。在一些例子中，基于摄像机的控制系统700还可用于但不限于确定身体姿势，绑定，识别，分析，跟踪，与目标人相关联，提供反馈，解释姿态和/或与目标人如用户702的各个方面相匹配，等等。
基于摄像机的控制系统700包括计算设备704。图1的计算设备102可以与计算设备704一体化。计算设备704可以是通用计算机、游戏系统或控制台或者专用的图像处理设备。计算设备704可以包括硬件部件和/或软件部件，使得计算设备704可用于执行应用程序，如游戏应用程序和/或非游戏应用程序。稍后参照图8和图9讨论计算设备704的结构。
基于摄像机的控制系统700还包括捕获设备706。捕获设备706可以例如是图像传感器或者检测器，其可被用于在视觉上监视一个或多个用户（如用户702），使得由所述一个或多个用户做出的姿态可以被捕获、分析、处理和跟踪，以在游戏或应用程序内进行一个或多个控制或动作，下面对此进行更详细的描述。
基于摄像机的控制系统700还可以包括连接到计算设备704的显示设备708。该显示设备可以是电视机、监视器、高清电视机（HDTV）等等，其可以向用户702提供游戏或应用画面（以及可选地提供音频）。
在操作中，可以使用捕获设备706跟踪用户702，从而计算设备704（和/或捕获设备706）可以将用户702的关节位置、运动和大小解释为可被用于影响由计算设备704执行的应用程序的控制。结果，用户702可以移动他或她的身体，以控制所执行的游戏或应用程序。
在图7的示例性例子中，在计算设备704上执行的应用程序是用户702正在玩的拳击游戏。在该例子中，计算设备704控制显示设备708以将拳击对手的视觉形象提供给用户702。计算设备704还控制显示装置708以提供用户化身的视觉形象，用户702可以用他或她的移动来控制该视觉形象。例如，用户702可以在真实空间中抡出一拳，以使该用户化身在游戏空间中抡出一拳。因此，根据该例子，基于摄像机的控制系统700的计算设备704和捕获设备706可用于识别和分析用户702在真实空间中的挥拳动作，使得该挥拳动作可被解释为对游戏空间中的用户化身的游戏控制。
此外，一些移动可被解释为与控制该化身的动作以外的动作相对应的控制。例如，该用户可以使用移动来进入，退出，打开或关闭系统，暂停，保存游戏，选择级别、外形或菜单，观看高分，与朋友通信等。另外，可以用任何适当的方式来使用或分析用户702的移动，以与游戏以外的应用程序交互，例如，进入文本，选择光标或菜单项目，控制媒体回放，浏览网站或对操作系统或应用程序的任何其他可控制的方面进行操作。
现在参考图8，图8示出可以在图7的基于摄像机的控制系统700中使用的捕获设备706的示意图。在图8的例子中，捕获设备706被配置为捕获具有深度信息的视频图像。这种捕获设备可被称为深度摄像机。该深度信息可以为深度图像的形式，该深度图像包括深度值，即，与该深度图像的每个图像单元相关联的值，该值与深度摄像机和位于该图像单元处的项目或物体之间的距离有关。
可以使用任何适当的技术获得该深度信息，例如，包括传播时间、结构化的光、立体图像等。在一些例子中，捕获设备706可以将深度信息组织为“Z层”或者与Z轴垂直的层，其中Z轴从深度摄像机起沿着深度摄像机的视线延伸。
如图8中所示，捕获设备706包括至少一个成像传感器800。在图8中所示的例子中，成像传感器800包括被配置为捕获场景的深度图像的深度摄像机802。所捕获的深度图像可以包括所捕获的场景的二维（2-D）区域，其中该2-D区域中的每个图像单元代表深度值，如所捕获的场景中的物体到深度摄像机802的长度或距离。
该捕获设备还可以包括发射器804，发射器804被配置为照射所述场景，使得深度摄像机802可以探知深度信息。例如，在深度摄像机802是红外（IR）传播时间摄像机的情况下，发射器804将IR光发射到该场景上，并且深度摄像机802被配置为检测从该场景中的一个或多个目标和物体的表面背向散射的光。在一些例子中，可以从发射器804发射脉冲红外光，使得输出光脉冲和对应的输入光脉冲之间的时间可被该深度摄像机检测到，并且被测量和用于确定从捕获设备706到该场景中目标或物体上的位置的物理距离。另外，在一些例子中，可以比较来自发射器804的输出光波的相位与深度摄像机802处的输入光波的相位，以确定相移。然后该相移可用于确定从捕获设备706到目标或物体上的位置的物理距离。在进一步的例子中，传播时间分析可用于通过利用例如包括快门光脉冲成像（shuttered light pulse imaging）的各种技术分析反射光束随时间变化的强度，以间接确定从捕获设备706到目标或物体上的位置的物理距离。
在另一个例子中，捕获设备706可以使用结构化的光，以捕获深度信息。在这种技术中，可以使用发射器804将图案化的光（例如，显示为已知图案的光，如网状图案或条状图案）投射在场景上。当入射到该场景中的一个或多个目标或物体的表面时，该图案变形。这种图案变形可被深度摄像机802捕获到，然后被分析以确定从捕获设备706到该场景中的目标或物体上的位置的物理距离。
在另一个例子中，深度摄像机802可以为两个或更多个的物理上分开的从不同角度观看场景的摄像机的形式，从而可以获得立体视觉数据，该数据可被解析以产生深度信息。在此情况下，可以使用发射器804来照射该场景，或者可以省略发射器804。
在一些例子中，除了深度摄像机802以外，捕获设备706可以包括被称为RGB摄像机806的常规视频摄像机。RGB摄像机806被配置为在可见光频率捕获场景的图像序列，并且因此可以提供可用于增强深度图像的图像。在可选的例子中，可以使用RGB摄像机806代替深度摄像机802。
图8中所示的捕获设备706还包括至少一个处理器808，处理器808与成像传感器800（即，图8的例子中的深度摄像机802和RGB摄像机806）和发射器804通信。处理器808可以是通用的微处理器，或者专用的信号/图像处理器。处理器808被配置为执行指令以控制成像传感器800和发射器804以捕获深度图像和/或RGB图像。处理器808还可以被可选地配置为对这些图像进行处理，稍后对此进行更详细的描述。
在一些例子中，使用该成像传感器提供轮廓图像，该轮廓图像是二维的二值图像，用于识别由成像传感器捕获的深度图像和/或RGB图像的前景和背景区域。可以在成像传感器处和/或处理器808处根据所捕获的深度图像和RGB图像形成该轮廓图像。可以使用本文中描述的方法处理该轮廓图像以预测二维关节位置。在此情况下，该轮廓图像可被认为是平面化到固定深度的深度图像。所捕获的深度图像可被用于预测三维关节位置，下面对此进行更详细的描述。
图8中所示的捕获设备706还包括存储器810，存储器810被配置为存储由处理器808执行的指令、由深度摄像机802或RGB摄像机806捕获的图像或图像帧，或者任何其他适当的信息、图像等。在一些例子中，存储器810可以包括随机访问存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘或者任何其他适当的存储部件。存储器810可以是与处理器208通信的分开的部件，或者存储器810可以被整合到处理器808中。
捕获设备706还包括与处理器808通信的输出接口812，并且被配置为通过通信链路向计算设备704提供数据。该通信链路可以例如是有线连接（如USB（商标）、Firewire（火线，商标）、Ethernet（以太网，商标）等）以及/或者无线连接（如WiFi（商标）、Bluetooth（蓝牙，商标）等）。在其他例子中，输出接口812可以与一个或多个通信网络（如因特网）接口，并且通过这些网络向计算设备704提供数据。
图9示出可以作为任何形式的计算设备和/或电子设备实现的并且可以在其中实现身体部位中心位置预测系统的实施例的示例性的基于计算的设备704的各种部件。
基于计算的设备704包括一个或多个处理器900，处理器900可以是微处理器、控制器、图形处理单元、并行处理单元或者用于处理计算机可执行指令以控制该设备的操作从而预测图像中的身体部位中心位置的任何其他适当类型的处理器。在一些例子中，例如在使用片上系统架构的情况下，处理器900可以包括一个或多个固定功能块（也称为加速器），该固定功能块以硬件（而不是软件或固件）实现身体部位中心位置预测方法的一部分。
基于计算的设备704包括一个或多个输入接口902，输入接口902被配置为接收并处理来自一个或多个设备的输入，如用户输入设备（例如，捕获设备706、游戏控制器904、键盘906和/或鼠标908）。该用户输入可用于控制在计算设备704上执行的软件应用程序或游戏。
基于计算的设备704还包括输出接口910，输出接口910被配置为将显示信息输出到显示设备708，显示设备708可以与计算设备704分开或者与计算设备704一体化。该显示信息可以提供图形用户界面。在一个例子中，如果显示设备708是触敏显示设备，那么它还可以充当用户输入设备。该输出接口可以将数据输出到该显示设备以外的设备，例如，本地连接的打印设备。
可以使用可被基于计算的设备704访问的任何计算机可读介质来提供该计算机可执行指令。计算机可读介质可以包括例如计算机存储介质912，如存储器和通信介质。计算机可读介质912，如存储器，包括易失性和非易失性的、可拆卸和不可拆卸的介质，它可以由用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术来实现。计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或者其他记忆体技术，CD-ROM、数字多功能盘（DVD）或者其他光学存储设备，磁带盒、磁带盘、磁盘存储器或者其他磁存储设备，或者可被用于存储由计算设备访问的信息的任何其他非传输介质。相反，通信介质可以在经调制的数据信号如载波或其他传输机制中包含计算机可读指令、数据结构、程序模块或其他数据。如本文中定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应当被理解为传播的信号本身。尽管计算机存储介质912（存储器）被示出在基于计算的设备704内，但是应该意识到，存储设备可以是分布式的，或者是远程设置的并且通过网络或者其他通信链路（例如，使用通信接口913）来访问。
可以在计算设备704中提供平台软件，该平台软件包括操作系统914或者任何其他适当的平台软件，以使得能够在该设备上执行应用软件916。可以在计算设备704上执行的其他软件包括：身体中心逻辑918（例如参见图3至图6以及上文的描述）；身体部位逻辑920（其被配置为使身体部位上的概率分布与深度图像的每个图像单元相关联）。提供数据存储922以用于存储数据，如先前接收到的深度图像、中间计算结果、参数、概率分布、身体部位标记和其他数据。
术语“计算机”在本文中被用于指代具有处理能力从而可以执行指令的任何设备。本领域的技术人员将会意识到，这种处理能力可以结合在许多个不同设备中，因此术语“计算机”包括PC、服务器、移动电话、个人数字助理以及许多其他设备。
本文描述的方法可以通过有形存储介质上的机器可读形式的软件来进行，例如以包括计算机程序代码部的计算机程序的形式，当该程序在计算机上运行时并且在该计算机程序可以包含在计算机可读介质上的情况下，该计算机程序适于进行本文中描述的任何方法的所有步骤。有形的（或者非暂时的）存储介质的例子包括：包括计算机可读介质在内的计算机存储介质，如磁盘、U盘（thumb drive）、内存等，并且不包括传播的信号。该软件可适合于在并行处理器或串行处理器上执行，使得可以以任何适当的顺序或者同时执行所述方法的步骤。
这表明软件可以是有价值的可单独买卖的商品。意图包含在“哑（非智能）”硬件或标准硬件上运行或者控制该“哑（非智能）”硬件或标准硬件以执行所需功能的软件。还意图包含“描述”或定义硬件的配置的软件，如HDL（硬件描述语言）软件，其被用于设计硅芯片或者用于配置通用可编程芯片以执行所需功能。
本领域的技术人员将会意识到，用于存储程序指令的存储设备可以分布在网络上。例如，远程计算机可以存储被描述为软件的处理的例子。本地或终端计算机可以访问该远程计算机并且下载该软件的一部分或全部以运行该程序。或者，本地计算机可以根据需要下载该软件的多个部分，或者在本地计算机上执行一些软件指令并且在远程计算机（或者计算机网络）上执行一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，所述软件指令的全部或一部分可以由专用电路来执行，如DSP、可编程逻辑阵列等。
在不丧失所寻求的效果的情况下可以扩展或改变本文中给出的任何范围或设备值，这对技术人员来说是明显的。
尽管以结构特征和/或方法动作特有的语言描述了本主题，但是应当理解，所附权利要求中限定的主题不一定局限于上文描述的特定特征或动作。相反，上文描述的特定特征和动作是作为实现所述权利要求的示例形式公开的。
应当理解，上文描述的益处和优势可能涉及一个实施例，也可能涉及几个实施例。所述实施例不局限于解决任何或全部所述问题的实施例，也不局限于具有任何或全部所述益处或和优势的实施例。还应该理解，提到“一”项时，是指一个或多个这些项。
本文描述的方法的步骤可以根据需要以任何适当的顺序或同时执行。另外，在不偏离本文中描述的主题的精神和范围的情况下，可以从任何所述方法中删除个别的块。在不丧失所寻求的效果的情况下，上文描述的任何例子的各方面都可以与所描述的任何其他例子的各方面结合以形成进一步的例子。
术语“包括”在本文中被用于表示包括所指出的方法的块或单元，但是这些块或单元不构成排他的列表，并且方法和设备可以包含更多的块或单元。
应当理解，以上描述仅是以举例的方式给出的，并且本领域的技术人员可以进行各种修改。以上说明、例子和数据提供了示例性实施例的结构和使用的完整描述。尽管上文以一定程度的具体性或者参考一个或多个个别实施例描述了各个实施例，但是在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例进行许多修改。

Claims (10)

1.一种用于对包括概率信息的深度图像进行压缩的计算机实现的方法，所述方法包括：
接收图像(108)，所述图像(108)包括多个图像单元，每个图像单元具有深度值和在多个类别上的概率分布(110)，所述概率分布(110)代表所述图像单元是每个类别的成员的可能性；
针对每个图像单元，计算(302)每个类别的概率质量，所述概率质量为所述概率分布乘以所述图像单元的深度值的平方；以及
针对每个类别，至少通过基于所述概率质量聚合所述图像单元，以比接收到的图像更低的分辨率计算(306)多个输出单元。
2.根据权利要求1所述的方法，每个输出单元包括下列项中的任意项：聚合概率质量和概率分布的多个特征；具有概率分布在三维中每一维上的质心和聚合概率质量的矢量；以及具有身体部位概率分布在至少三维中每一维上的质心和聚合概率质量的下采样身体部位矢量。
3.根据权利要求1或2所述的方法，所述类别是下列项中的任意项：身体部位、物体类别、前景区域和背景区域。
4.根据权利要求1或2所述的方法，所述聚合包括计算(310)多个图像单元之和，每个图像单元用其概率质量加权；以及通过聚合所述多个图像单元的所述概率质量来计算聚合概率质量。
5.根据权利要求1或2所述的方法，其中，针对每个类别并行地执行所述输出单元的计算。
6.根据权利要求1或2所述的方法，包括：根据所述深度图像的前景区域的深度来选择(300)比例，并且根据所述比例计算所述输出单元。
7.根据权利要求1或2所述的方法，包括：选择多个比例，并且根据所述多个比例中的第一比例计算第一组输出单元，而根据所述多个比例中的第二比例计算第二组输出单元。
8.根据权利要求1或2所述的方法，包括：在所述类别是身体部位的情况下，至少部分基于概率质量将所选择的输出单元聚类(404)以获得身体部位中心位置；其中，所述聚类包括使用均值漂移处理，在均值漂移处理中，根据相邻输出单元的加权聚合来将每个输出单元反复地移位。
9.根据权利要求8所述的方法，包括：通过使用在所述均值漂移处理中移位到每个身体部位的聚类的输出单元的概率质量，或者通过对聚类中的输出单元计数，来计算该身体部位中心位置的置信度。
10.一种压缩深度图像的设备，包括：
输入端，其被配置为接收图像(108)，所述图像(108)包括多个图像单元，每个图像单元具有深度值和在多个类别上的概率分布(110)，所述概率分布(110)代表所述图像单元是每个类别的成员的可能性；
处理器(102)，其被配置为针对每个图像单元，计算每个类别的概率质量，所述概率质量为所述概率分布乘以所述图像单元的深度值的平方；以及
所述处理器被配置为针对每个类别，通过基于所述概率质量聚合所述图像单元，以比接收到的图像更低的分辨率计算多个输出单元。
CN201210431972.7A 2011-11-01 2012-11-01 深度图像压缩 Active CN103020885B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/286,966 2011-11-01
US13/286,966 US9557836B2 (en) 2011-11-01 2011-11-01 Depth image compression

Publications (2)

Publication Number Publication Date
CN103020885A CN103020885A (zh) 2013-04-03
CN103020885B true CN103020885B (zh) 2016-08-24

Family

ID=47358533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210431972.7A Active CN103020885B (zh) 2011-11-01 2012-11-01 深度图像压缩

Country Status (5)

Country Link
US (1) US9557836B2 (zh)
EP (1) EP2590110B1 (zh)
CN (1) CN103020885B (zh)
HK (1) HK1184579A1 (zh)
WO (1) WO2013067063A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US20140208274A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Controlling a computing-based device using hand gestures
CN103517059B (zh) * 2013-07-11 2015-05-13 福建华映显示科技有限公司 储存3d影像内容的方法
US9552070B2 (en) 2014-09-23 2017-01-24 Microsoft Technology Licensing, Llc Tracking hand/body pose
CN105096352A (zh) * 2015-08-25 2015-11-25 北京航空航天大学 一种显著度驱动的深度图像压缩方法
US10238867B2 (en) 2016-10-17 2019-03-26 Orthofix Inc. Pulsed electromagnetic field tissue stimulation treatment and compliance monitoring
CN110036644A (zh) * 2016-11-30 2019-07-19 松下电器（美国）知识产权公司 三维模型分发方法以及三维模型分发装置
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
CN108564063B (zh) * 2018-04-27 2020-12-18 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
CN111160466B (zh) * 2019-12-30 2022-02-22 深圳纹通科技有限公司 一种基于直方图统计的特征匹配算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095080A1 (en) * 2009-02-17 2010-08-26 Koninklijke Philips Electronics N.V. Combining 3d image and graphical data
WO2010140613A1 (ja) * 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
CN102184558A (zh) * 2010-04-29 2011-09-14 微软公司 概率分布云的多质心压缩

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
US7599840B2 (en) * 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US20110299774A1 (en) * 2008-04-22 2011-12-08 Corey Mason Manders Method and system for detecting and tracking hands in an image
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
KR101640077B1 (ko) * 2009-06-05 2016-07-15 삼성전자주식회사 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
JP5197683B2 (ja) * 2010-06-30 2013-05-15 株式会社東芝 奥行き信号生成装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095080A1 (en) * 2009-02-17 2010-08-26 Koninklijke Philips Electronics N.V. Combining 3d image and graphical data
WO2010140613A1 (ja) * 2009-06-03 2010-12-09 学校法人中部大学 物体検出装置
CN102184558A (zh) * 2010-04-29 2011-09-14 微软公司 概率分布云的多质心压缩

Also Published As

Publication number Publication date
US20130106994A1 (en) 2013-05-02
US9557836B2 (en) 2017-01-31
HK1184579A1 (zh) 2014-01-24
WO2013067063A1 (en) 2013-05-10
EP2590110B1 (en) 2015-04-29
EP2590110A1 (en) 2013-05-08
CN103020885A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103020885B (zh) 深度图像压缩
US11794110B2 (en) System and method for toy recognition
CN105830093B (zh) 用于产生与非均匀大小的空间区相关的元数据的系统、方法及设备
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
CN105051754B (zh) 用于通过监控系统检测人的方法和装置
CN102693007B (zh) 姿势检测和识别
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
EP2973390B1 (en) Depth image processing
CN109641153A (zh) 视频流中的对象建模和替换
CN107204012A (zh) 降低飞行时间深度成像的功耗
CN107111746A (zh) 根据原始飞行时间图像的模型拟合
EP3191989A1 (en) Video processing for motor task analysis
Gourgari et al. Thetis: Three dimensional tennis shots a human action dataset
CN103517742A (zh) 手动且基于相机的化身控制
JP2016506569A (ja) 機械学習用リソース割り当て
KR20150108888A (ko) 제스처 인식을 위한 부분 및 상태 검출
CN102016877A (zh) 用于捕获场景的深度数据并且应用计算机动作的方法
CN103501869A (zh) 手动和基于相机的游戏控制
CN114241379A (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN116069157A (zh) 虚拟对象显示方法、装置、电子设备及可读介质
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端
US20240020901A1 (en) Method and application for animating computer generated images
US20240070971A1 (en) Sports Metaverse
Huszár et al. Securing Phygital Gameplay: Strategies for Video-Replay Spoofing Detection
CN112329606A (zh) 一种活体检测方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150604

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150604

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant