CN102356373B - 虚拟对象操纵 - Google Patents

虚拟对象操纵 Download PDF

Info

Publication number
CN102356373B
CN102356373B CN201080013572.3A CN201080013572A CN102356373B CN 102356373 B CN102356373 B CN 102356373B CN 201080013572 A CN201080013572 A CN 201080013572A CN 102356373 B CN102356373 B CN 102356373B
Authority
CN
China
Prior art keywords
user
virtual
controller
virtual objects
cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080013572.3A
Other languages
English (en)
Other versions
CN102356373A (zh
Inventor
S·G·拉塔
K·盖斯那
R·马尔科维奇
D·A·贝内特
A·C·汤姆林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102356373A publication Critical patent/CN102356373A/zh
Application granted granted Critical
Publication of CN102356373B publication Critical patent/CN102356373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

公开了用于操纵虚拟对象的系统、方法和计算机可读介质。用户可在物理空间中利用诸如他的手之类的控制器以与虚拟环境中的光标相关联。当用户在物理空间中操纵控制器时，这由深度相机捕捉。来自深度相机的图像数据被解析以确定控制器如何被操纵，且在虚拟空间中执行对光标的相应操纵。在光标与虚拟空间中的虚拟对象交互的情况中，该虚拟对象由该光标操纵。

Description

虚拟对象操纵
背景技术
诸如计算机游戏之类的许多计算应用向用户呈现虚拟环境或世界。这些环境通常包含用户可与之交互的虚拟对象。通常，这种交互通过诸如控制器、遥控器、键盘、鼠标等之类的输入设备而发生。不幸的是，这些输入方法并不很好地与诸如按压控制器上的按钮以打开门之类的正被执行的动作相关。
发明内容
因此，使得用户能够使用用户控制的物理对象(如他的手)与虚拟环境中的光标之间的映射来与虚拟环境中的虚拟对象交互将是一个改进。本文揭示了执行这种虚拟对象操纵的方法、系统和计算机可读介质。
在一示例性实施例中，用户的物理控制器与虚拟环境中的光标相关联。接收用户控制器输入，从中确定相应的光标操纵。在光标操纵对应于对虚拟对象的操纵时，对该虚拟对象执行该操纵，且结果显示在显示设备上。
本领域技术人员之一可理解，本公开的一个或更多个方面可包括但不限于用于实现本公开的本文所提及的电路和/或编程；该电路和/或编程实质上可以是配置成实现本文所提及的方面的硬件、软件和/或固件的任何组合，这取决于系统设计者的设计选择。
以上是概述，并且因此必然包含细节的简化、一般化及省略。本领域技术人员将明白，本概述只是说明性的并且决不旨在是限制性的。
附图说明
参考附图来进一步描述根据本说明书的用于虚拟对象操纵的系统、方法和计算机可读介质，在附图中：
图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的另一示例实施例。
图4A示出了从图2的目标识别、分析和跟踪系统生成的用户的骨架映射。
图5示出了捕捉用户控制器操纵并将其映射到对虚拟对象的光标操纵的系统。
图6示出了用于虚拟对象操纵的示例操作过程。
具体实施方式
如本文中将描述的，用户可通过执行一个或多个姿势来控制在诸如游戏控制台、计算机等计算环境上执行的应用。根据一个实施例，姿势可由例如捕捉设备来接收。例如，捕捉设备可捕捉场景的深度图像。在一个实施例中，捕捉设备可以确定场景中的一个或多个目标或对象是否对应于诸如用户等人类目标。为了确定场景中的目标或对象是否对应于人类目标，可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每一目标或对象来生成与其相关联的骨架模型。该骨架模型然后可被提供给计算环境，使得计算环境可跟踪该骨架模型，呈现与该骨架模型相关联的化身，以及可基于例如用户的已经从该骨架模型中识别出的姿势来确定要在计算环境上执行的应用中执行那些控制。姿势识别器引擎(其架构在下文中更完整地描述)被用于确定用户何时做出了某一姿势。
图1A和1B示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示，目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应 用、非游戏应用等的应用。
如图1A所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势，以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。
根据一个实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18等的用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的移动解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身24的视觉表示。例如，如图1B所示，用户18可在物理空间中挥重拳来使得玩家化身24在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身24的游戏控制。
用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。此外，某些移动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如，玩家可以使用运动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。
在各示例实施例中，诸如用户18等的人类目标可具有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。
根据其他示例实施例，目标识别、分析和跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或可与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像照相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一个像素都可以(例如以厘米、毫米等等为单位)表示来自相机的被捕捉的场景中的对象的长度。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机26和/或RGB相机28，来检测从场景中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或对象上的特定位置的物理距离。另外，在其他示例实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括两个或更多个物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，与接收声音的单个话筒相比，可使用话筒30的阵列来降低反馈或音频失真。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中，捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，由3-D相机或RGB相机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路36确定何时捕捉，例如，场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如识别用户姿势以及作为响应来控制诸如游戏或文字处理程序等应用。例如，如图2所示，计算环境12可包括姿势识别器引擎190。姿势识别器引擎190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型(在用户移动时)可执行的姿势的信息。可将由相机26、28和设备20捕捉的骨架模型形式的数据以及与其相关联的移动同姿势识别器引擎190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势识别器引擎190来解释骨架模型的移动并基于该移动来控制应用。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。如图3A所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控 制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等等。介质驱动器144可以在多媒体控制台100内部或外部。应用数据可经由介质驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图3B中，计算环境220包括计算机241，其通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时 帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图3B示出了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238，对可移动、非易失性磁盘254进行读写的磁盘驱动器239，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由诸如接口234的不可移动存储器接口连接至系统总线221，并且磁盘驱动器239和光盘驱动器240通常由诸如接口235的可移动存储器接口连接至系统总线221。
以上讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3B中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)之类的输入设备向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来进行连接。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可使用至诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，尽管在图3B中仅示出了存储器存储设备247。图3B中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图3B示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图4A描绘了可从捕捉设备20生成的用户的示例骨架映射。在该实施例中，标识出各个关节和骨骼：每一手302、每一前臂304、每一肘306、每一二头肌308、每一肩310、每一髋312、每一大腿314、每一膝316、每一小腿318、每一足320、头322、躯干324、脊椎的顶部326和底部328，以及腰330。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或脸部的各个特征，如鼻和眼。
用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿扔球。姿势可以是静态姿态，如在一个人的躯干324前面交叉握住他的前臂304。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于一个身体部位，如拍双手302，或是较微小的运动，如撅起一个人的嘴唇。
姿势可用于一般计算上下文中的输入。例如，手302或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。姿势也可在视频游戏专用上下文中取决于游戏来使 用。例如，对于驾驶游戏，手302和脚320的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。
用户可通过自己在原地行走或奔跑来生成对应于行走或奔跑的姿势。用户可另选地提起并放下每一腿312-320来在不移动的情况下模拟行走。系统可通过分析每一髋312和每一大腿314来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的，其中站立的腿具有0°的髋部-大腿角，而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时，可识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某一数量的周期之后，系统可确定行走或奔跑姿势已停止。
给定“行走或奔跑”姿势，应用可为与该姿势相关联的应用确定的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。
姿势最初可以与一组默认参数相关联，应用可用其自己的参数来覆盖该组默认参数。在这一场景中，不迫使应用提供参数，但是应用可改为使用一组允许在没有应用定义的参数的情况下识别姿势的默认参数。
有各种可以与姿势相关联的输出。可以有关于姿势是否正在发生的基线“是或否”。还可以有置信度水平，其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入的应用中，它可仅使用具有高置信度水平，如至少0.95的已识别的姿势。在应用必须识别姿势的每一实例的情况下，即使以假肯定为代价，它可使用至少具有低得多的置信度水平的姿势，如仅仅大于0.2的那些姿势。姿势可具有在两个最近步之间的时间的输出，并且在仅注册了第一步的情况下，这可被设为保留值，如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。
另一示例性姿势是“脚跟提起跳”。在该姿势中，用户可通过将他的脚跟提离地面，但保持他的脚趾着地来创建该姿势。另选地，用户可跳向空中，其中他的脚320完全离开地面。该系统可通过分析肩310、髋312和膝316的角 度关系来解析该姿势的骨架，以查看它们是否在等于直立的对齐位置。然后，可监视这些点和较高326和较低328脊椎点来发现任何向上加速。足够的加速组合可触发跳跃姿势。
给定该“脚跟提起跳”姿势，应用可为与该姿势相关联的应用确定的参数设定值。参数可包括上述加速阈值，其确定用户的肩310、髋312和膝316的某种组合必须向上移动多快来触发该姿势；以及肩310、髋312和膝316之间仍可触发跳跃的最大对齐角。
输出可包括置信度水平，以及用户在跳跃时的身体角度。
基于将接收姿势的应用的细节来为姿势设定参数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。在姿势识别器系统太敏感、甚至手302的微小向前运动也被解释为投掷的情况下，用户可能变得沮丧，因为在他没有作出姿势的意图的情况下却识别出姿势，因此他缺乏对系统的控制。在姿势识别器系统不够敏感的情况下，系统可能未识别出用户作出投掷姿势的刻意尝试，从而类似地使用户感到沮丧。在敏感度范围的任一端，用户都会变得沮丧，因为他不能正确地向系统提供输入。
对于姿势的另一参数可以是移动的距离。在用户的姿势控制虚拟环境中的化身的动作的情况下，该化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它，则这可要求用户伸展他的手臂302-310到全长同时作出抓握姿势。在这一情形中，用户仅部分地伸展他的手臂302-310的类似的抓握姿势可能无法达到与球交互的结果。
姿势或其一部分可将它必须在其中发生的空间体作为参数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩310a、且与投掷手臂302a-310a在头322的相同侧的空间体中识别。可能不必要定义空间体的所有边界，如对于该投掷姿势，其中从身体向外的边界留着不被定义，并且该空间体无限地向外延伸，或者延伸到正被监视的场景的边缘。
图5示出了捕捉物理空间中的用户控制器操纵并将其映射到对虚拟环境中的虚拟对象的光标操纵的系统。
虚拟空间可包括用户可通过用户输入影响的—即通过移动对象—三维空 间的表示。虚拟空间可以是与用户的物理空间无相关性的完全虚拟空间—如物理现实中找不到的城堡或教室的表示。虚拟空间还可基于用户与之不具有关系的物理空间，如华盛顿州雷蒙德市的用户从未看见或从未位于其中的得梅因市的实际教室。
虚拟空间可包括用户的物理空间的某一部分的表示。捕捉用户的深度相机也可捕捉用户物理上所存在于的环境，对其进行解析以确定相机可见的空间的边界以及该空间中的离散对象，以及创建该空间的作为虚拟空间被呈现给用户的全部或一部分的虚拟表示。
虚拟空间可包括第二用户的物理空间的某一部分的表示。在两个用户通过虚拟环境彼此交互且由相应的深度相机捕捉的情况下，该虚拟空间可以是该第二用户的虚拟空间的表示。
虚拟空间也可以是这些空间的某种组合。它可以是用户的物理空间的表示和完全的虚拟空间的拼接(这可被称为完全的虚拟子空间，因为该拼接是虚拟空间)，使得两者都被表示为单个虚拟空间。类似地，它可以是用户的物理空间的表示、完全的虚拟空间以及第二用户的虚拟空间的表示的拼接，用户的物理空间的表示和第二用户的物理空间的表示的拼接，或第二用户的物理空间的表示和完全的虚拟空间的拼接。
在一实施例中，用户从第一人称视角或第三人称视角查看该虚拟空间。在第一人称视角中，该虚拟空间被显示给用户就好像用户处于该空间中—该显示示出用户将用他自己的眼睛看到什么。在第三人称视角中，虚拟空间与该用户在该虚拟空间中的表示(如化身)一起被显示给用户，这类似于就好像用户被第三人在该空间中观察一样。
在一实施例中，虚拟对象包括该虚拟空间中可与之交互的对象。在虚拟空间是完全虚拟的且表示教室的情况下，诸如粉笔、黑板擦、黑板、椅子、桌子、地球仪、窗户、门把手和门之类的事物可以是虚拟对象。用户可以各种方式对这些对象进行操纵或交互，例如通过用粉笔写、提起粉笔、移动粉笔、扔粉笔、或掰断粉笔。
在一实施例中，虚拟对象对应于物理对象。这可以是用户所拥有的一物理对象。例如，如果用户具有椅子，该物理椅子可由深度相机捕捉，且该椅子的 表示可被插入到虚拟环境中。在用户移动该物理椅子的情况下，深度相机可捕捉这个动作，并显示虚拟椅子的相应移动。
在虚拟对象对应于物理对象的一实施例中，可能存在彼此无关地移动的情况。给定上述的物理椅子和虚拟椅子，在用户移动虚拟椅子的情况下，可能的是相应的物理椅子不移动。例如，用户可向虚拟椅子扔虚拟球，所产生的碰撞将碰翻虚拟椅子。然而，由于没有物理力作用于物理椅子，物理椅子将保持竖立。类似地，物理对象可在不移动其对应的虚拟对象的情况下被移动。例如，在用户位于大房间但虚拟空间相对较小的情况下，用户可在其右侧将物理椅子移动到远处。如果虚拟椅子已经在相应的方向中接触到虚拟墙壁，则尽管物理椅子确实移动了，虚拟椅子也可不移动。
在一实施例中，虚拟对象对应于第二用户的物理对象。在第二用户的物理椅子被虚拟化的情况下，用户将仅被呈现该第二用户的椅子的虚拟表示。随着用户与该虚拟椅子交互，那些交互(如移动椅子)可被反映在虚拟环境中。这可不被反映在物理椅子的实际移动中。在一实施例中，该交互也被显示给第二用户，使得显示给用户和第二用户两者的虚拟环境保持一致。在一实施例中，该交互不被显示给第二用户，使得第二用户的虚拟环境和第二用户的物理环境保持一致。
在一实施例中，在虚拟对象对应于第二用户的物理对象的情况下，用户不能操纵该虚拟对象。这确保显示给两个用户的虚拟环境以及第二用户的物理环境保持一致。在一实施例中，第二用户可通过操纵相应的物理对象来操纵该虚拟对象。由于第二用户能够实际使用该物理对象，他的对该物理对象的操纵可被反映在两个用户的虚拟环境中，使得那些虚拟环境和第二用户的物理环境将保持一致。
控制器包括用户在物理空间中操纵的某物以使得虚拟空间中的光标以相应的方式被操纵。控制器可包括物理事物。它可以是身体部位，如用户的手。它类似地可以是物理对象，如指挥棒或指示器、碟或球。在控制器是身体部位的情况下，深度相机可被用于提供深度数据，深度数据然后被解析以确定用户的骨架数据。从该骨架数据以及该骨架数据如何随时间改变，用户对他的控制器的移动可被确定。
控制器可包括虚构事物。用户可运动来扔虚构的球。这可使用上述的用户骨架数据来检测。例如，用户可运动来向正在显示虚拟对象的显示设备扔虚构的球。可计算球将与显示画面相交在哪里，并且接着可确定和显示这将影响虚拟对象的方式—例如通过碰撞。在一实施例中，当虚构的球与显示画面相交时，它可被示为虚拟空间中的虚拟对象并在该虚拟空间中沿其飞行路线行进。
光标可包括控制器在虚拟空间中的虚拟表示，可与虚拟空间中的虚拟对象交互。通过在物理空间中操纵一个或多个控制器，用户能够引起对虚拟空间中的一个或多个相应光标的操纵，在那些光标使得虚拟空间中的虚拟对象被操纵的情况下(例如虚拟块被推动)，该操纵发生。此外，光标可由于不被显示在显示设备上而是不可见的。
捕捉设备508捕捉用户502所存在于的物理空间中的场景504。捕捉设备耦合于向显示器512进行输出的计算设备510。在一实施例中，捕捉设备508包括图2的捕捉设备20，计算设备510包括图2的计算环境12、图3A的多媒体控制台100或图3B的计算环境220。捕捉设备捕捉该场景并产生深度数据。从该深度数据，确定并监控用户502如何操纵用户控制器506。计算设备510将用户控制器506与显示在显示器512上的虚拟环境中的光标514相关联(光标514a和514b描绘了两个时间点的光标，因为它对应于两个时间点的控制器506a和506b)。
控制器506可以被预先确定—系统可总是发现用户502的右手是控制器506，从而总是将用户502的右手与光标相关联。控制器也可以是由用户确定的。例如计算设备510可向用户502显示捕捉设备508捕捉的图像数据，带有关于将控制器放置在屏幕的特定区域的指示。如果用户502将他的左手放在该区域中，则可确定其为控制器。如果用户502将其右手、脚、或诸如棒球棒之类的某种物体放置在该区域中，则这同样适用。
控制器506随后被用户用来操纵屏幕上的光标514。光标514可以是控制器506的表示。在控制器506是用户的右手的情况下，光标514可以是右手。类似地，在控制器506是用户的左手的情况下，光标514可以是用户的左手。在一实施例中，光标514和控制器506不直接以此方式相关。例如，控制器506可以是用户的手，但光标514可以是网球拍或装卸抓的表示。多个控制器506 和多个光标514可在单个虚拟环境中被使用。例如，用户502的每个手可包括控制器506，或两个用户(存在于相同的物理环境中，或分开的物理环境中，各自具有跨通信网络一起通信的计算设备)各自可具有控制器506，像他们的右手，且这些控制器506中的每一个可映射到光标514。
当用户操纵控制器506时，该操纵由捕捉设备508捕捉并由计算设备510处理以影响对光标514的相应操纵。例如，在用户伸出他的控制器506a手且闭合他的手指506b的情况下，虚拟手光标514a可伸到虚拟场景中，且该虚拟手的手指可闭合514b。
计算设备510可跟踪光标514以及场景中的至少某个虚拟对象(如所描绘的虚拟指挥棒516)的位置数据，使得它可确定作为用户对控制器506的操纵的结果光标514何时触及虚拟对象516。在经控制器506对光标514进行的该操纵使得虚拟对象516被操纵的情况下，计算设备510可确定已发生的操纵并在显示设备上显示该操纵的结果。例如，在用户伸出他的手光标514并闭合他的手指形成拳的情况下，这可使得手光标514延伸到场景中，光标514的手指握紧虚拟的指挥棒516。在用户继续向前伸出他的控制器506且这使得他的光标514继续伸出到场景中时，可确定虚拟指挥棒516正通过移动到场景中来被操纵，且该结果可被显示在显示器512中。
图6描绘了用于在虚拟空间中操纵虚拟对象的示例操作过程。
操作602描绘了确定用户用来操纵虚拟对象的至少一个控制器。
操作604描绘了将控制器映射到虚拟空间中的光标。该映射可以是这样一种关联性，使得深度相机所观察的且被解析以确定控制器移动的场景中该控制器的移动对应于光标的移动。
操作606描绘了确定指示用户用光标操纵虚拟对象的控制器输入。
在一实施例中，存在移动的比例，且确定指示用户用光标操纵虚拟对象的控制器输入包括确定指示用户用光标与该移动的比例成比例地操纵虚拟对象的控制器输入。在移动的比例是1∶2的情况下，这可意味着用户每移动控制器一英寸，光标将在相同方向移动两英寸。这可以是虚拟世界所定义的两英寸(例如虚拟世界可被呈现为小于相应的物理世界来开始，使得六英尺高的人在显示在显示设备上时看上去是三英尺高的化身)，或本意的两英寸，使得这对应于 显示屏幕上两英寸的移动。
在一实施例中，光标具有至少一个维度，且确定指示用户用光标与该移动的比例成比例地操纵虚拟对象的控制器输入包括：确定指示用户用光标与该维度成比例地操纵虚拟对象的控制器输入。取控制器是用户的手且光标是依附于前臂的虚拟手作为示例。光标可响应于控制器操纵而伸展或伸出。例如，如果用户向深度相机沿z轴的维度伸出他的手，而不是沿z轴维度单单地向前移动，手和前臂可沿该维度向前伸展。
在一实施例中，使用物理模型来确定光标如何与虚拟对象交互。例如，在一给定物理模型中，虚拟对象可具有质量且虚拟环境可具有重力，因此滚动静止的虚拟球将要求用光标向其施加足够的力以克服球的惯性。该物理模型可准确地对地球上的物理世界进行建模，或可使用某种其他模型。例如，物理模型中的重力可比地球重力弱，使得在其他相同情况下，在用光标向地面投下对象之后对象弹得更高。该物理模型可扩展出光标如何与虚拟对象交互，以及可扩展到虚拟对象如何与第二虚拟对象交互。例如，在用户使用控制器使得光标将第一虚拟球推到第二虚拟球的情况下，第二虚拟球可由于两个虚拟球之间的碰撞的结果而开始滚动。
可存在虚拟空间中的虚拟碰撞，而没有物理空间中的相应物理碰撞。用户可以下述方式移动控制器通过物理空间，该方式将要求虚拟空间中的相应光标移动通过不可移动的虚拟对象或虚拟环境的一部分，如墙壁或非常重的巨石，如根据上述物理模型。在一实施例中，光标被动画化以在虚拟环境中示出移动，且当这种碰撞发生时，光标停止动画且在碰撞点保持静止，直到用户使用控制器向不涉及碰撞的方向操纵光标为止。在一实施例中，光标的动画继续通过该碰撞，使得物理环境中的该控制器的用户的位置与虚拟环境中光标的位置之间不会断开连接。
操作608描绘了显示该操纵的结果。
在一实施例中，所述操纵的结果包括将虚拟对象与物理对象相关联，使得物理对象中的改变被反映为虚拟对象的相应改变。例如，分开的物理环境中的两个人可在一虚拟环境中交互，该虚拟环境是他们各自的物理环境的表示的拼接。第一用户可选择虚拟衬衫并将其与第二用户的物理衬衫相关联，作为该相 关联的结果，第二用户在虚拟环境中被示为穿着该虚拟衬衫而不是物理衬衫。虚拟衬衫的这种穿戴可仅示出给第一用户，仅示出给第二用户，或示出给两个用户。
操作610描绘了确定第二用户用来操纵虚拟对象的至少一个第二控制器；将第二控制器映射到虚拟空间中的第二光标；确定指示第二用户用该第二光标操纵虚拟对象的第二控制器输入；以及显示该操纵的结果。
在多个用户在相同虚拟环境中交互的情况下，第二用户对虚拟对象的操纵可在第一用户的显示设备上被显示给第一用户。在一实施例中，两个用户可同时操纵单个虚拟对象。在一实施例中，虚拟对象具有多个维度，且第一用户操纵所述多个维度中的第一维度，而第二用户操纵所述多个维度中的第二维度。例如，第一用户可提起对象，而第二用户可在该对象被提起的同时旋转该对象。此外，两个用户可操作某一虚拟对象的同一维度。一个用户可在虚拟球上施加横向力以旋转它。第二用户可在与第一用户相同的方向中施加第二横向力，施加到虚拟球的该额外的力将使其以增加的速度滚动。
结论
尽管已经结合各附图所示的较佳方面描述了本发明，但要理解，可使用其他相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。因此，本发明不应该仅限于任何单个方面，而是应该在根据所附权利要求书的广度和范围内解释。例如，本文描述的各种过程可用硬件或软件、或两者的组合来实现。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。除了此处明确阐述的具体实现之外，考虑此处所公开的说明书，其它方面和实现将对本领域的技术人员是显而易见的。说明书和所示实现旨在仅被认为是示例。

Claims (5)

1.一种用于操纵虚拟空间中的虚拟对象的方法，包括：
确定第一物理空间中的第一用户用来操纵所述虚拟对象的至少一个控制器；
将所述控制器映射到所述虚拟空间中的光标；
确定指示所述第一用户用所述光标操纵所述虚拟对象的控制器输入；以及
显示所述第一用户操纵的结果，其中所述第一用户操纵的结果包括将所述虚拟对象与所述第一物理空间中的物理对象相关联，使得所述物理对象中的改变被反映为所述虚拟对象的相应改变；
确定第二物理空间中的第二用户用来操纵所述虚拟对象的至少一个第二控制器，所述第二物理空间与所述物理对象所位于的所述第一物理空间分开；
将所述第二控制器映射到所述虚拟空间中的第二光标；
确定指示所述第二用户用所述第二光标操纵所述虚拟对象的第二控制器输入；以及
显示所述第二用户操纵的结果，其中所述第二用户操纵的结果不造成所述虚拟对象的相应改变。
2.如权利要求1所述的方法，其特征在于，所述虚拟空间包括所述第一用户的物理空间的表示、虚拟子空间、所述第二用户的物理空间的表示、或它们的组合。
3.如权利要求1所述的方法，其特征在于，存在移动的比例，且确定指示所述第一用户用所述光标操纵所述虚拟对象的控制器输入包括：
确定指示所述第一用户用所述光标与所述移动的比例成比例地操纵所述虚拟对象的控制器输入。
4.如权利要求1所述的方法，其特征在于，所述虚拟空间以第一人称视角或第三人称视角被呈现给所述第一用户。
5.一种用于操纵虚拟空间中的虚拟对象的系统，包括：
用于确定第一物理空间中的第一用户用来操纵所述虚拟对象的至少一个控制器的装置；
用于将所述控制器映射到所述虚拟空间中的光标的装置；
用于确定指示所述第一用户用所述光标操纵所述虚拟对象的控制器输入的装置；以及
用于显示所述第一用户操纵的结果的装置，其中所述第一用户操纵的结果包括将所述虚拟对象与所述第一物理空间中的物理对象相关联，使得所述物理对象中的改变被反映为所述虚拟对象的相应改变；
用于确定第二物理空间中的第二用户用来操纵所述虚拟对象的至少一个第二控制器的装置，所述第二物理空间与所述物理对象所位于的所述第一物理空间分开；
用于将所述第二控制器映射到所述虚拟空间中的第二光标的装置；
用于确定指示所述第二用户用所述第二光标操纵所述虚拟对象的第二控制器输入的装置；以及
用于显示所述第二用户操纵的结果装置，其中所述第二用户操纵的结果不造成所述虚拟对象的相应改变。
CN201080013572.3A 2009-03-20 2010-03-02 虚拟对象操纵 Active CN102356373B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/408,589 US9256282B2 (en) 2009-03-20 2009-03-20 Virtual object manipulation
US12/408,589 2009-03-20
PCT/US2010/025932 WO2010107577A2 (en) 2009-03-20 2010-03-02 Virtual object manipulation

Publications (2)

Publication Number Publication Date
CN102356373A CN102356373A (zh) 2012-02-15
CN102356373B true CN102356373B (zh) 2015-08-05

Family

ID=42738736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080013572.3A Active CN102356373B (zh) 2009-03-20 2010-03-02 虚拟对象操纵

Country Status (8)

Country Link
US (1) US9256282B2 (zh)
EP (1) EP2409211A4 (zh)
JP (1) JP5827616B2 (zh)
CN (1) CN102356373B (zh)
BR (1) BRPI1009275A2 (zh)
CA (1) CA2753051C (zh)
RU (1) RU2555228C2 (zh)
WO (1) WO2010107577A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885488A (zh) * 2016-06-27 2018-11-23 谷歌有限责任公司 在增强和/或虚拟现实环境中生成与虚拟对象相关的可视提示

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
KR101639383B1 (ko) * 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US20110169832A1 (en) * 2010-01-11 2011-07-14 Roy-G-Biv Corporation 3D Motion Interface Systems and Methods
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US9075434B2 (en) * 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US9477302B2 (en) 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US9821224B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
JP5829020B2 (ja) 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
CN106943742A (zh) * 2011-02-11 2017-07-14 漳州市爵晟电子科技有限公司 一种动作放大系统
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
US8587448B1 (en) * 2011-04-11 2013-11-19 Edward H. Culleny Sensor activated broken screen simulator
US9259643B2 (en) * 2011-04-28 2016-02-16 Microsoft Technology Licensing, Llc Control of separate computer game elements
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
US11048333B2 (en) * 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9557819B2 (en) 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
US9250713B2 (en) * 2011-12-05 2016-02-02 Microsoft Technology Licensing, Llc Control exposure
CN104145481B (zh) * 2012-01-03 2018-04-13 Lg电子株式会社 图像显示设备和用于操作其的方法
KR101888491B1 (ko) * 2012-01-11 2018-08-16 삼성전자주식회사 가상 공간 이동 장치 및 방법
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US8976224B2 (en) * 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
JP2016502171A (ja) * 2012-10-16 2016-01-21 ジョン、ジェ ウンJEON, Jae Woong ３次元の仮想空間内で仮想カメラを制御するための方法、システムおよびコンピュータ読取可能な記録媒体
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
US10295826B2 (en) 2013-02-19 2019-05-21 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
JP6250024B2 (ja) 2013-02-19 2017-12-20 ミラマ サービス インク キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP6333801B2 (ja) 2013-02-19 2018-05-30 ミラマ サービス インク 表示制御装置、表示制御プログラム、および表示制御方法
WO2014128747A1 (ja) 2013-02-19 2014-08-28 株式会社ブリリアントサービス 入出力装置、入出力プログラム、および入出力方法
US10171800B2 (en) 2013-02-19 2019-01-01 Mirama Service Inc. Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
CN104049872B (zh) * 2013-03-13 2018-01-05 本田技研工业株式会社 利用指向的信息查询
US9535496B2 (en) 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
US9144744B2 (en) * 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
CN103365596A (zh) * 2013-07-01 2013-10-23 天脉聚源(北京)传媒科技有限公司 一种控制虚拟世界的方法及装置
GB2516459A (en) * 2013-07-23 2015-01-28 Franco Forghieri System and method for providing an interactive virtual model of a physical storefront
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
KR101713556B1 (ko) * 2013-12-06 2017-03-08 주식회사 핸디소프트 사물협업 모델링 시스템 및 방법
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
IN2014DE00899A (zh) 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
CN104346973B (zh) * 2014-08-01 2015-09-23 西南大学 一种教学用4d智慧教室
CN104346041B (zh) * 2014-10-24 2018-04-27 联想(北京)有限公司 一种信息处理方法及对应装置
CN104361239A (zh) * 2014-11-18 2015-02-18 内蒙古科技大学 一种基于Kinect的虚拟拳击沙袋训练的方法和系统
US10482670B2 (en) * 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
US10489949B2 (en) 2015-01-06 2019-11-26 Sony Corporation Effect generation device and effect generation method
US9779512B2 (en) 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10088895B2 (en) 2015-03-08 2018-10-02 Bent Reality Labs, LLC Systems and processes for providing virtual sexual experiences
US10216982B2 (en) * 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
RU2601169C1 (ru) 2015-06-11 2016-10-27 Виталий Витальевич Аверьянов Способ и устройство для взаимодействия с виртуальными объектами
CN104881127A (zh) * 2015-06-18 2015-09-02 周谆 虚拟车辆人机交互方法和系统
KR101639066B1 (ko) 2015-07-14 2016-07-13 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
CN108140259B (zh) * 2015-08-18 2022-06-14 奇跃公司 虚拟和增强现实系统和方法
CN105159687B (zh) * 2015-09-29 2018-04-17 腾讯科技（深圳）有限公司 一种信息处理方法、终端及计算机存储介质
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
CN108700944B (zh) * 2016-05-12 2021-08-17 谷歌有限责任公司 与在虚拟现实环境中的运动有关的系统和方法
US10692113B2 (en) * 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
US20180005437A1 (en) * 2016-06-30 2018-01-04 Glen J. Anderson Virtual manipulator rendering
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP6189513B1 (ja) * 2016-10-18 2017-08-30 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
EP3324270A1 (en) 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
WO2018097223A1 (ja) * 2016-11-24 2018-05-31 国立大学法人京都大学 ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体
US10901494B2 (en) * 2017-03-28 2021-01-26 Wipro Limited Method and a system for providing gesture-based interaction with a virtual product
RU2670351C1 (ru) * 2017-07-31 2018-10-22 Алексей Владимирович Лысенко Система и способ управления виртуальным объектом
JP6817460B2 (ja) * 2017-10-26 2021-01-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
EP3489882A1 (en) * 2017-11-27 2019-05-29 Nokia Technologies Oy An apparatus and associated methods for communication between users experiencing virtual reality
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US11189379B2 (en) * 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
KR20200035461A (ko) * 2018-05-02 2020-04-03 에스지 디제이아이 테크놀러지 코., 엘티디 광학적으로 지원되는 객체 내비게이션
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
WO2020003820A1 (ja) * 2018-06-28 2020-01-02 ソニー株式会社 複数の処理を並列実行する情報処理装置
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
JP7134060B2 (ja) * 2018-10-18 2022-09-09 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
EP3877827A1 (en) * 2018-11-05 2021-09-15 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for creating an out-of-body experience
US11592896B2 (en) 2018-11-07 2023-02-28 Wild Technology, Inc. Technological infrastructure for enabling multi-user collaboration in a virtual reality environment
US11126341B2 (en) * 2019-02-21 2021-09-21 Htc Corporation Object manipulating method, host device and computer readable storage medium
GB2586059B (en) * 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game
US11610363B2 (en) 2020-12-31 2023-03-21 Oberon Technologies, Inc. Systems and methods for virtual reality environments
JP2022162702A (ja) * 2021-04-13 2022-10-25 株式会社ソニー・インタラクティブエンタテインメント システム、情報処理方法および情報処理プログラム
US20230038709A1 (en) * 2021-07-28 2023-02-09 Purdue Research Foundation System and Method for Authoring Freehand Interactive Augmented Reality Applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815409A (zh) * 2005-01-31 2006-08-09 佳能株式会社 系统、图像处理装置及信息处理方法

Family Cites Families (246)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US4939672A (en) * 1987-11-09 1990-07-03 Tektronix, Inc. Method and apparatus for classifying graphics segments to facilitate pick and display operation
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
EP0450196B1 (en) * 1990-04-02 1998-09-09 Koninklijke Philips Electronics N.V. Data processing system using gesture-based input data
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
CA2077173C (en) 1991-11-22 2003-04-22 Michael Chen Method and apparatus for direct manipulation of 3-d objects on computer displays
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5664128A (en) * 1995-02-23 1997-09-02 Apple Computer, Inc. Object storage apparatus for use with data sets in computer applications
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
WO1996034332A1 (fr) 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
CN100524015C (zh) 1995-06-22 2009-08-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
CA2180891C (en) 1995-07-12 2010-01-12 Junichi Rekimoto Notification of updates in a three-dimensional virtual reality space sharing system
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5874956A (en) * 1995-11-13 1999-02-23 Platinum Technology Apparatus and method for three dimensional manipulation of point of view and object
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
US6078308A (en) * 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
US6421047B1 (en) 1996-09-09 2002-07-16 De Groot Marc Multi-user virtual reality system for simulating a three-dimensional environment
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US6954906B1 (en) 1996-09-30 2005-10-11 Sony Corporation Image display processing apparatus that automatically changes position of sub-window relative to main window depending on distance at watch sub window is commanded to be displayed
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6061696A (en) * 1997-04-28 2000-05-09 Computer Associates Think, Inc. Generating multimedia documents
US5886700A (en) * 1997-07-24 1999-03-23 The United States Of America As Represented By The Secretary Of The Navy Three-dimensional volume selection tool
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
WO1999015863A1 (en) 1997-09-24 1999-04-01 3Dv Systems, Ltd. Acoustical imaging system
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6088027A (en) 1998-01-08 2000-07-11 Macromedia, Inc. Method and apparatus for screen object manipulation
JPH11237867A (ja) 1998-02-20 1999-08-31 Shimadzu Corp 仮想空間表示装置
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6529210B1 (en) 1998-04-08 2003-03-04 Altor Systems, Inc. Indirect object manipulation in a simulation
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP2001104636A (ja) * 1999-10-04 2001-04-17 Shinsedai Kk 体感ボールゲーム装置
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
EP1373967A2 (en) 2000-06-06 2004-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. The extended virtual table: an optical extension for table-like projection systems
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7043695B2 (en) * 2000-09-19 2006-05-09 Technion Research & Development Foundation Ltd. Object positioning and display in virtual environments
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
WO2002035909A2 (en) 2000-11-03 2002-05-10 Siemens Corporate Research, Inc. Video-supported planning and design with physical marker objects sign
EP1702659A3 (en) 2001-02-22 2006-11-29 Sega Corporation A program for controlling execution of a game, and a game machine for executing the program
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
AU2002315456A1 (en) 2001-06-22 2003-01-08 Canesta, Inc. Method and system to display a virtual input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6887157B2 (en) 2001-08-09 2005-05-03 Igt Virtual cameras and 3-D gaming environments in a gaming machine
US20030048280A1 (en) 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20030165048A1 (en) 2001-12-07 2003-09-04 Cyrus Bamji Enhanced light-generated interface for use with electronic devices
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7310431B2 (en) 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US20090143141A1 (en) * 2002-08-06 2009-06-04 Igt Intelligent Multiplayer Gaming System With Multi-Touch Display
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7836461B2 (en) 2004-03-15 2010-11-16 Imi Innovations, Inc. Computer interface system using multiple independent hardware and virtual human-computer input devices and related enabling subroutines
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006025137A1 (ja) 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
US7843470B2 (en) * 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
US20060200662A1 (en) * 2005-02-01 2006-09-07 Microsoft Corporation Referencing objects in a virtual environment
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20060192852A1 (en) * 2005-02-09 2006-08-31 Sally Rosenthal System, method, software arrangement and computer-accessible medium for providing audio and/or visual information
KR100688743B1 (ko) 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
JP4667111B2 (ja) * 2005-04-21 2011-04-06 キヤノン株式会社 画像処理装置、画像処理方法
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
US7467158B2 (en) 2005-06-10 2008-12-16 Microsoft Corporation Object virtualization
US20070021207A1 (en) 2005-07-25 2007-01-25 Ned Ahdoot Interactive combat game between a real player and a projected image of a computer generated player or a real player with a predictive method
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7294815B2 (en) 2005-09-06 2007-11-13 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for generating positional and orientation information of an object
JP4682791B2 (ja) 2005-10-12 2011-05-11 ソニー株式会社 操作空間物理量算出装置及び操作空間物理量算出方法、並びにコンピュータ・プログラム
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB2431717A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US7626571B2 (en) 2005-12-22 2009-12-01 The Board Of Trustees Of The Leland Stanford Junior University Workspace expansion controller for human interface systems
RU54233U1 (ru) 2006-01-17 2006-06-10 Общество с ограниченной ответственностью "СИМТЕХ" Система виртуального окружения
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP4883774B2 (ja) 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JP2008210276A (ja) * 2007-02-27 2008-09-11 Canon Inc 三次元モデル情報の生成方法及び装置
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
KR100873707B1 (ko) * 2007-07-27 2008-12-12 삼성모바일디스플레이주식회사 유기전계발광 표시장치 및 그의 구동방법
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8516396B2 (en) * 2009-01-30 2013-08-20 International Business Machines Corporation Object organization based on user interactions within a virtual environment
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815409A (zh) * 2005-01-31 2006-08-09 佳能株式会社 系统、图像处理装置及信息处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885488A (zh) * 2016-06-27 2018-11-23 谷歌有限责任公司 在增强和/或虚拟现实环境中生成与虚拟对象相关的可视提示

Also Published As

Publication number Publication date
WO2010107577A3 (en) 2011-01-06
EP2409211A4 (en) 2015-07-15
JP2012521039A (ja) 2012-09-10
RU2011138417A (ru) 2013-03-27
WO2010107577A2 (en) 2010-09-23
RU2555228C2 (ru) 2015-07-10
JP5827616B2 (ja) 2015-12-02
CA2753051A1 (en) 2010-09-23
CA2753051C (en) 2017-09-12
EP2409211A2 (en) 2012-01-25
US9256282B2 (en) 2016-02-09
BRPI1009275A2 (pt) 2016-03-08
CN102356373A (zh) 2012-02-15
US20100241998A1 (en) 2010-09-23

Similar Documents

Publication Publication Date Title
CN102356373B (zh) 虚拟对象操纵
CN102449576B (zh) 姿势快捷方式
CN102301315B (zh) 姿势识别器系统架构
CN102323855B (zh) 具有可变刚度的可再成形的连接器
CN102448566B (zh) 骨架以外的姿势
CN102129551B (zh) 基于关节跳过的姿势检测
CN102413886B (zh) 示出身体位置
CN102448561B (zh) 姿势教练
CN102362293B (zh) 链接动画
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
US8451278B2 (en) Determine intended motions
CN102301311B (zh) 标准姿势
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
US9245177B2 (en) Limiting avatar gesture display
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102163077B (zh) 使用碰撞体来捕捉屏幕对象
CN102414641B (zh) 改变显示环境内的视图视角
US20100303289A1 (en) Device for identifying and tracking multiple humans over time
KR20120020137A (ko) 애니메이션 또는 모션들을 캐릭터에 적용하는 시스템 및 방법
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102947777A (zh) 用户跟踪反馈
CN102221883A (zh) 自然用户界面的主动校准
CN102591456B (zh) 对身体和道具的检测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150717

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.