CN105518581A - 用于手势辨识的平移和尺度不变特征 - Google Patents

用于手势辨识的平移和尺度不变特征 Download PDF

Info

Publication number
CN105518581A
CN105518581A CN201480049550.0A CN201480049550A CN105518581A CN 105518581 A CN105518581 A CN 105518581A CN 201480049550 A CN201480049550 A CN 201480049550A CN 105518581 A CN105518581 A CN 105518581A
Authority
CN
China
Prior art keywords
gesture
group
angle
time
sequencing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480049550.0A
Other languages
English (en)
Inventor
阿尔皮特·米塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105518581A publication Critical patent/CN105518581A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

呈现本发明的方法和设备以用于辨识多个所记录的数据对象中的手势对象的手势,其中所述所记录的数据对象随时间而被记录。在一些实施例中,一种方法包含:使用所述多个所记录的数据对象计算至少一组手势角度,其中所述至少一组中的所述手势角度中的每一者包括所述手势对象的两个位置之间的角度测量值,所述两个位置记录于所述多个所记录的数据对象中的连续数据对象中;以及基于所述至少一组手势角度辨识所述手势。在一些实施例中,所述方法包含进一步基于将所述至少一组手势角度与手势模型比较而辨识所述手势。

Description

用于手势辨识的平移和尺度不变特征
背景技术
本发明大体上涉及用户装置或系统,且更确切来说涉及手势辨识。
技术正朝着无接触人机交互快速前进。可以不需要按键或按钮按压,而实际上,可以经由手势实现人机交互。目前可用的许多手势辨识系统能够辨识有限、预编程数目的手势。可以由基于辨识关于手势的一组预编程特性的机器(例如)使用一系列试探法来辨识这些预编程手势。然而,这些方法存在许多缺点,例如,需要对手势中的每一者预编程试探法,且不能产生新的手势。在一些情况下,需要预先精确地调节手势辨识技术,这需要繁琐的定时和校准。
因此,在所属领域中需要用于辨识手势的经改良方法和系统。
发明内容
呈现方法和系统以用于手势辨识系统的自动化训练。在一些实施例中,系统可以经训练以检测手势而不需要预编程规则或试探法来检测所述手势。在已经由训练数据习得手势的情况下,系统可以随后在实时环境(livesetting)中检测所述手势。
在一些实施例中,呈现一种方法以用于辨识多个所记录数据对象中的手势对象的手势,所记录的数据对象随时间而被记录。所述方法可以包含使用多个所记录的数据对象计算至少一组手势角度,其中至少一组中的手势角度中的每一者包括手势对象的两个位置之间的角度测量值,所述两个位置记录于多个所记录的数据对象中的连续数据对象中。所述方法还可以包含基于至少一组手势角度辨识手势。在一些实施例中,辨识手势进一步基于将至少一组手势角度与手势模型比较。
在一些实施例中,所述方法进一步包含基于至少一组手势角度计算表示角度频率的直方图,其中辨识手势进一步基于所计算的直方图与各自表示可辨识手势的一或多个直方图的比较。
在一些实施例中,至少一组手势角度为时间排序的。在一些实施例中,至少一组时间排序的手势角度进一步包含第一组时间排序的手势角度和第二组时间排序的手势角度,且第二组时间排序的手势角度包含第一组时间排序的手势角度的子部分。在一些实施例中,辨识手势进一步基于:将第一组时间排序的手势角度与手势模型比较;以及将第二组时间排序的手势角度与手势模型的第一子部分比较。在一些实施例中,至少一组时间排序的手势角度进一步包含第三组时间排序的手势角度,且第三组时间排序的手势角度包含第二组时间排序的手势角度的子部分。在一些实施例中,辨识手势进一步基于将第三组时间排序的手势角度与手势模型的第一子部分的子部分比较。
在一些实施例中,第一组时间排序的手势角度进一步包含第三组时间排序的手势角度,且第三组时间排序的手势角度包含第一组时间排序的手势角度的子部分,所述子部分不包含第二组时间排序的手势角度中包含的手势角度中的任一者。在一些实施例中,辨识手势进一步基于将第三组时间排序的手势角度与手势模型的第二子部分比较,所述第二子部分不包含手势模型的第一子部分中的任一者。在一些实施例中,辨识手势进一步基于:将第二组时间排序的手势角度与第三组时间排序的手势角度级联,以产生一组级联的时间排序手势角度;将手势模型的第一子部分与手势模型的第二子部分级联,以产生手势模型的级联子部分;以及将所述组级联的时间排序手势角度与手势模型的级联子部分比较。
在一些实施例中,手势模型包含至少一组经训练的时间排序手势角度,所述组经训练的时间排序手势角度在辨识手势对象的手势之前被产生。
在一些实施例中,呈现一种设备。所述设备可以包含经配置以随时间记录多个数据对象中的手势对象的至少一个记录装置。所述设备还可以包含经配置以进行以下操作的处理器:使用多个所记录的数据对象计算至少一组手势角度,其中至少一组中的手势角度中的每一者包括手势对象的两个位置之间的角度测量值,所述两个位置记录于多个所记录的数据对象中的连续数据对象中;且基于至少一组手势角度辨识手势。在一些实施例中,处理器经进一步配置以将至少一组手势角度与手势模型比较。
在一些实施例中,呈现另一设备。所述设备可以包含:用于使用多个所记录的数据对象计算至少一组手势角度的装置,其中至少一组中的手势角度中的每一者包括手势对象的两个位置之间的角度测量值,所述两个位置记录于多个所记录的数据对象中的连续数据对象中;以及用于基于至少一组手势角度辨识手势的装置。在一些实施例中,用于辨识手势的装置进一步基于用于将至少一组手势角度与手势模型比较的装置。
在一些实施例中,呈现一种非暂时性处理器可读媒体。处理器可读媒体可以包含经配置以致使处理器进行以下操作的处理器可读指令:随时间记录多个数据对象中的手势对象;使用多个所记录的数据对象计算至少一组手势角度,其中至少一组中的手势角度中的每一者包括手势对象的两个位置之间的角度测量值,所述两个位置记录于多个所记录的数据对象中的连续数据对象中;且基于至少一组手势角度辨识手势。在一些实施例中,指令经进一步配置以致使处理器将至少一组手势角度与手势模型比较。
附图说明
可以通过参考以下各图来实现对各种实施例的性质和优点的理解。在附图中,类似的组件或特征可以具有相同的参考标签。此外,可以通过在参考标签后面跟着短划线和区分类似组件的第二标签来区分相同类型的各种组件。如果在说明书中仅使用第一参考标签,那么描述适用于具有相同的第一参考标签的类似组件中的任一者,而与第二参考标签无关。
图1为可以实施本发明的各种实施例的实例装置。
图2说明根据一些实施例的与实例装置交互的用户。
图3A、3B和3C说明根据一些实施例的手势的实例数据分析。
图4说明根据一些实施例的可以被解决的手势辨识中的实例问题。
图5说明根据一些实施例的手势的额外实例数据分析。
图6说明根据一些实施例的可以被解决的手势辨识中的另一实例问题。
图7A和7B为说明根据一些实施例的方法的实例流程图。
图8为根据一些实施例的计算装置的框图。
具体实施方式
现在将关于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可以实施本发明的一或多个方面的特定实施例,但可以使用其它实施例,且可以在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
参考图1,实例计算装置100可以经配置以实施本发明的一个或多个方面。举例来说,计算装置100可以是智能电话、平板计算机、个人数字助理或装备有允许计算装置100以用户输入的形式捕捉运动和/或其它所感测到的状况的一或多个传感器的其它移动装置。在一些实施例中,计算装置100不是移动装置,且可以是(例如)台式计算机、游戏机、静止传感器或摄像机,或无线或有线地耦合在一起的机器的系统。计算装置100可以装备有、以通信方式耦合到和/或以其它方式包含一或多个摄影机、麦克风、接近度传感器、陀螺仪、加速计、压力传感器、手握感测器、触摸屏、电流或电容式传感器、超声波传感器、运动传感器和/或其它传感器。除包含一或多个传感器以外,计算装置100还可以包含一或多个处理器、存储器单元和/或其它硬件组件,如下文更详细描述。
在一或多个布置中,计算装置100可以单独或组合使用这些传感器中的任一者和/或全部来辨识由装置的一或多个用户执行的手势。举例来说,计算装置100可以使用一或多个摄影机来捕捉由用户执行的手部和/或臂部移动,例如手部挥动或轻扫运动,以及其它可能的移动。另外,例如,例如由用户执行的全身移动(例如,行走、跳舞等)等更复杂和/或大尺度的移动同样可以由一或多个摄像机(和/或其它传感器)来捕捉且随后由计算装置100辨识为手势。在又一实例中,计算装置100可以使用一或多个触摸屏来捕捉由用户提供的基于触摸的用户输入,例如,收缩、轻扫和扭转,以及其它可能的移动。虽然此处将可以单独被视为手势和/或可以与其它移动或动作组合以形成更复杂手势的这些样本移动作为实例加以描述,但运动、移动、动作或其它传感器捕捉的用户输入的任何其它排序同样可以被实施本发明的一或多个方面的计算装置(例如,计算装置100)作为手势输入加以接收和/或将作为手势加以辨识。
在一些布置中,举例来说,例如运动传感器、摄影机或超声波传感器等传感器可以用于基于辨识出用户的手势或手势的变化而控制计算机或集线器。不同于可能受指纹的有害遮蔽影响的一些触摸屏系统,基于传感器的手势输入可以允许基于用户的自然的身体移动或姿势清晰地显示或以其它方式输出照片、视频或其它图像。记住此优点,可以辨识允许用户观察、镜头移动(即,移动)、设定大小、旋转和对图像对象执行其它操纵的手势。
如本文中所使用,“手势”希望指代用人体的部分或“手势对象”进行的非言语交流形式,且与例如话语等言语交流形成对比。还可以从作为人体的部分或从人体的一部分延伸的工具或仪器(例如,旗、杆、棒等等)来辨识手势。因此,手势对象可以包含人体的一部分和/或由人体握持或附接于人体的对象。可以通过第一位置、姿势或表情与第二姿势、位置或表情之间的移动、改变或变换来定义手势。日常交谈中所使用的常见手势包含(例如)“两手在空中比兔子耳朵”手势、鞠躬、屈膝礼、亲面颊、手指或手部运动、屈膝、头部摇动或移动、举手击掌、点头、苦脸、举起拳头、敬礼、竖大拇指运动、收缩手势、手部或身体扭动或指手指手势。可以使用图像传感器(例如通过分析用户的图像),使用倾斜传感器(例如通过检测用户握持或倾斜装置的角度),使用超声波传感器或通过任何其它方法检测手势。
手势对象可以通过改变其位置(即,挥动运动)做出手势(或“打手势”),或手势对象可以在不改变其位置的情况下(即,通过做出握紧拳头的手势)打手势。在一些布置中,手部和臂部手势可以用于经由摄影机输入影响功能性的控制,而在其它布置中,还可以使用其它类型的手势。另外或替代地,可以在做出和/或检测一或多个手势时移动手和/或其它身体部分(例如,臂、头、躯干、腿、脚等)。举例来说,一些手势可以通过移动一或多个手来执行,而其它手势可通过移动一或多个手并移动一或多个臂、一或多个腿等等来执行。
呈现方法和设备以用于手势辨识系统的自动化训练。典型手势辨识算法时常基于经预编程的试探法寻找输入数据中的一些特性(例如,手部动作的模式)以便识别手势。举例来说,为了检测移动到右方的轻扫手部运动,预编程规则或试探法可以现场以特定量寻找右方向上的手部运动,例如,200毫秒内20cm的移位。因此,必须针对每一不同的手势预编程至少一种试探法,以便检测许多不同的手势。相反,如果现场没有用于特定手势的试探法,那么随后手势辨识系统将不能够检测到所述特定手势。另外,如果需要检测任何新手势,那么随后通过用户或开发者的额外编程为设计链接到新手势的新试探法所必需的。
相比之下,本发明的方面可以消除对手工设计的需要或每一手势的数据特性的选择。实情为,手势辨识系统使用训练数据来训练自身。在一些实施例中,手势辨识系统产生其自身的手势的模型或签名,使得在用户执行手势时,系统可以在手势匹配模型或签名中的一者的情况下辨识手势。
参考图2,实例情境展示用户可以如何利用本发明的至少一些方面。此处,用户可以在图像记录装置200前方执行手势210,图像记录装置200经配置以实施各种实施例。装置200可以记录随时间而被连续记录的一系列数据对象中的手势210。数据对象可以具有能够在每一数据对象随时间执行手势时识别每一数据对象中的手势对象的位置的各种媒体。在一些实施例中,数据对象可以是数字相片。在其它实施例中,数据对象可以是基于红外的图像。在其它实施例中,数据对象可以是超声波对象等等。因此,在一些实施例中,装置200可以不是图像记录装置,但实情为可以是经配置以记录不同媒体的数据对象(例如,红外图像,超声波对象等等)的装置。
仍参考图2,在一些实施例中,在执行手势210之前,装置200可以不经配置以辨识手势210。然而,装置200可以经配置以在记录手势210之后“学习”手势210,分析关于手势210的某些特性且基于所述特性产生表示手势210的签名或模型。换句话说,装置200可以“经训练”以基于执行初始手势210将手势210辨识为训练数据。下文将更多地论述关于手势210的特性的实例。一旦装置210已产生手势210的签名或模型,随后装置210可记录后续手势,分析那些手势的特性且确定那些手势是否匹配或实质上类似于手势210的模型或签名的性质。如果是,那么随后可以将后续手势辨识为手势210。在一些实施例中,动作或命令可以与手势210相关联,使得每当手势210被辨识时,装置200可以经配置以执行所述动作或命令。
手势220可以是与手势210不同的手势,且类似地可以不被装置200首先辨识。装置200可以经训练以用类似方法将手势220辨识为上文所描述的那些手势。接着,在已产生两个手势210和220的模型或签名的情况下,装置200将经配置以在实时环境中记录手势对象数据,分析手势对象数据的特性,且在实时手势对象数据的特性分别匹配或实质上类似于手势210或手势220的模型或签名的性质的情况下将手势对象数据辨识为匹配手势210或手势220。
参考图3A,框300中所含有的曲线图说明可以被分析以便最初首先学习手势的一组实例特性,且随后以便将在实时环境中执行的手势与习得手势的经训练模型或签名比较。举例来说,曲线图300(a)可以表示由手势对象执行的手势的二维路径。每一圆形可以表示在一组所记录数据对象的特定帧处的手势对象的位置。手势对象的实例可以包含张开的手、手指、紧握的拳头、棒或旗的顶端。这些实例手势对象中的一些可以不遵循圆形形状,曲线图300(a)中的圆形可以基于手势对象上的中心、中点、顶端或一些其它不变的位置。所记录的数据对象的实例可以包含一系列数字图像、超声波图像、红外图像或能够记录手势对象的位置的任何其它类型的数据对象。圆形中的每一者中间的单向箭头可以象征数据对象的时间方面,因为由箭头指向的圆形指示手势对象在数据对象组中的下一连续帧中已移动到的位置。因此,曲线图300(a)展示所执行的手势可以看起来像移动到右方的一种挥动运动。由于存在十三个圆形,所以此挥动手势已被记录在十三个所记录的数据对象中。显然,取决于手势的速度和数据对象记录装置的帧率,可以记录手势的更高或更低拆分。在其它实施例中,仅使用所有所记录数据对象的子集来映射手势,例如,使用每个其它数据对象,或每三个中的一个。
在一些实施例中,可以记录三维位置,且实施例不限于此。出于解释的目的,本文中仅描述二维实例,但所属领域的技术人员将易于理解如何视需要将这些揭示内容扩展到三维空间。
参考图300(b),分析手势的额外特性,所述特性可以用于产生手势的模型或签名。举例来说,如圆形305和310中所展示,在记录于数据对象组的两个连续帧中的手势的位置之间测量角度。在此情况下,从中心定在第一圆形305处的水平(x)轴,通过从所述X轴逆时针旋转直到达到第二圆形310来测量角度西塔(θ)。可以以度或弧度或用于可靠地测量角度的任何其它数字系统来测量θ。举例来说,在此情况下,角度θ可以估计为约60度。此角度测量值在本文中可以被称作“手势角度”。可以使用用于测量手势角度的其它方法。举例来说,可以从第二圆形310开始且旋转到第一圆形305来测量两个连续圆形之间的角度。在一些实施例中,手势角度可以在0度到360度范围内。在其它情况下,手势角度可以在-180度到180度范围内。
可以针对每对连续的圆形重复用于测量角度的同一方法,以计算一组手势角度。以此方式,以图形方式表示于曲线图300(a)中的手势可以描述为在连续数据对象中记录的手势的每对位置的手势角度组。一般来说,因此可以看出,任何手势可以描述为根据本发明中所描述的概念测量的一组手势角度。换句话说,可以基于此组手势角度确定唯一地表征或识别手势的模型或签名。
根据一些实施例,虽然在这些实例中,所记录数据对象的连续帧被用于测量所述手势的两个位置之间的角度,但可以在测量手势角度时跳过一些帧。一般来说,如本发明中所使用的术语“连续”意图包含以下情况:只要从下一手势角度的前一帧不出现在先前手势角度的后一帧之前的两个帧测量下一手势角度,就可以在测量手势角度时跳过中间的一些帧。
在一些实施例中,在已根据刚才描述的概念由其手势角度组表征手势的情况下,手势角度组可以用于产生手势的签名或模型,所述签名或模型可以随后与在实时环境中执行的手势比较。举例来说,使用上文所描述的技术根据在实时环境中执行的手势计算的一组实时或同时手势角度可以与先前所记录的手势角度组比较。如果两组匹配或实质上类似,那么可以确定在实时环境中执行的手势与经记录以创建签名或模型的手势为同一手势。因此,实时环境中执行的手势可以在其匹配或实质上类似于先前所记录或“经训练”手势的签名或模型的情况下被辨识。
在一些实施例中,构成匹配或实质上类似于所记录手势模型的实时手势的要素可以变化。举例来说,实时手势的手势角度组可能需要准确匹配手势模型的手势角度组。在其它情况下,角度中的一些可以稍微不同,例如,手势角度的25%可以与手势模型中的手势角度相差+/-15度。这些灵敏度和硬度设置可以高度可配置,且实施例不限于此。
随后可以看出,本发明可以经训练以使用本文中所描述的技术辨识任何和所有类型的手势。另外,不需要编程,因为本发明可以仅记录表示手势的时间排序路径的一系列数据对象且自行执行以上分析。
另外,无论在何处执行所记录数据对象中的手势,都可以辨识手势。举例来说,可以在数据对象的中心、朝向侧面或在数据对象的拐角中记录手势。以所述方式,各种实施例可以描述为“平移不变”。另外,因为利用角度量测值而非距离或移位中的变化,小手势可以与大手势一样被辨识,只要手势的形状相同或实质上类似。换句话说,本手势辨识技术可以描述为“尺度不变”。此外,手势可以在其缓慢或快速执行的情况下被辨识,因为角度量测值可以通过跳过帧或使用其它各种技术被归一化。因此,各种实施例可以描述为“时不变”。
参考图3A中的曲线图300(c),在一些实施例中,充当手势的唯一模型或签名的手势角度组可以表达为展示所述手势的角度频率的直方图。曲线图300(c)展示表示于曲线图300(a)和300(b)中的手势的实例直方图。水平轴表示手势角度的度的范围,在此情况下为从0度到360度。在一些实施例中,尺度可以在-180度到180度范围内或其其它变体。虽然此处使用度,但还可以使用其它可比单元,例如,弧度。垂直轴表达落入水平轴中所表达的范围中的手势角度的数目。举例来说,直方图300(c)表示曲线图300(a)中的手势可以具有测得为0度与30度之间的2个手势角度和测得为60度与90度之间的1个手势角度。另外,根据曲线图300(b),由于0度表示水平线,因此可能存在测得为300度与330度之间的4个手势角度,此被提及以意指角度向下倾斜。因此,曲线图300(a)中的手势可以被称为具有表达为直方图300(c)的唯一签名或模型。
类似地,随后在实时环境中执行的手势的特征可在于其手势角度组,且在一些实施例中,其表达为类似于曲线图300(c)的直方图。在一些实施例中,在实时环境中执行的手势可以随后通过将其直方图与所记录手势的直方图比较来辨识。如果直方图根据某种灵敏度准则匹配或实质上类似,例如,手势角度可以各自在+/-5度之间变化,那么随后可以辨识在实时环境中执行的手势是所记录模型中的手势。
参考图3B,展示另一实例手势,其中分析其对应手势角度特性。图示330揭露圆形手势,而曲线图330(a)展示手势对象可以用来执行所述圆形手势的实例路径。举例来说,手势对象可以在数据对象335的位置处开始且进行顺时针方向上的圆形运动,最后返回数据对象335的位置处。
参考曲线图330(b),可以使用如图3A中所论述的那些的技术和概念来测量一组手势角度。举例来说,可以从数据对象335的水平轴开始且逆时针旋转直到达到数据对象340来测量第一数据对象335与下一所记录的数据对象340之间的角度。在此情况下,数据对象335与340之间的手势角度可以测得为70度。可以获得其它对连续的所记录位置中的每一者之间的手势角度,其中手势角度组可以表示圆形手势的唯一签名或模型。
参考曲线图330(c),如图所示的直方图可以是用以表达唯一地表征圆形手势的手势角度组的一种方式。举例来说,在此情况下,圆形手势可以被表征为各自具有手势角度的所有范围(例如,0度到30度,30度到60度等)的相等数目(即,2),此应由于手势为均匀圆形运动而被预期。因此,在一些实施例中,如果手势角度的手势组匹配或实质上类似于所记录圆形手势的直方图,那么在实时环境中执行的手势可被辨识为圆形运动。
参考图3C,展示又一实例手势,其中分析其对应手势角度特性。图示360揭露“S”形手势,而曲线图360(a)展示手势对象可以用来基于单向箭头执行所述“S”形手势的实例路径。
参考曲线图360(b),可以使用如图3A中所论述的那些的技术和概念来测量一组手势角度。举例来说,可以从数据对象365的水平轴开始且逆时针旋转直到达到数据对象370来测量前一数据对象365的位置与下一数据对象370的位置之间的角度。在此情况下,数据对象365与370之间的手势角度可以测得为130度。可以获得其它对连续的所记录数据对象中的每一者之间的手势角度,其中手势角度组可以表示圆形手势的唯一签名或模型。
参考曲线图360(c),如图所示的直方图可以是用以表达唯一地表征“S”形手势的手势角度组的一种方式。人们应仅由目视检查注意到图3A、3B和3C之间的直方图中的鲜明差异。因此,在一些实施例中,如果手势角度的手势组匹配或实质上类似于所记录“S”手势的直方图,那么在实时环境中执行的手势可被辨识为“S”运动。
参考图4,在一些情况下,手势角度的一些表征可以允许手势不相同但具有相同手势角度(仅以不同次序出现)的某种不明确性。举例来说,可以看到如曲线图400(a)中所展示的手势路径具有与曲线图400(b)中所展示的手势路径相同(仅以不同次序出现)的连续数据对象对之间的手势角度。如果针对整个手势产生手势角度的直方图,那么曲线图400(a)和400(b)的直方图可以看起来相同。作为另一实例,在逆时针方向上运动的圆形手势(例如,图3B中的手势)可以具有与在顺时针方向上运动的圆形手势相同的手势角度的直方图。作为又一实例,“上下”手势运动可以具有与“下上”手势运动相同的手势角度的直方图。在一些情况下,接着,可能需要额外拆分成手势角度组以更有效地辨识正确手势。
参看图5,此问题的一个解决方案为进一步细分手势角度组。在一些实施例中,经细分的手势角度组可以被随附或级联到初始的手势角度组,以便形成手势的更详细的唯一签名或模型。举例来说,图示500以多种层级的细节图展示一系列直方图。手势角度细节图505的第一层级展示图3A的手势,第一层级被标记为“金字塔层级0”,且右方的与整组手势角度相关联的对应直方图505a与曲线图300(c)的直方图一致。可以确定关于手势角度的细节图510的第二层级,其被标记为“金字塔层级1”。此处,挥动手势被细分成两半,如由水平散列的数据对象515和“反向倾斜的”数据对象520所展示。针对经细分的每组数据对象515和520,可以确定对应的一组手势角度。举例来说,直方图515a和520a可以分别表示数据对象515和520的手势角度组。虽然直方图515a与520a中的手势角度的组合将产生完整手势505的直方图505a(如顶部处所展示),但直方图515a在独立于彼此被测量时具有与直方图520a不同的签名。还应注意,子集515中的手势角度出现在子集520中的手势角度之前。
整个手势505的更详细签名可以随后被表达为所有直方图的级联,如图示530中所展示。在此情况下,金字塔层级0的直方图(即,直方图505a)与金字塔层级1的直方图(即,直方图515a,随后与直方图520a)级联。当执行其它手势的类似级联时,将直方图级联在一起的次序应保持不变。举例来说,在此情况下,整个手势的直方图505a首先出现,且接着随后随附手势的第一半的直方图515a,且接着此后随附手势的第二半的直方图520a。因此,如果记录与手势505不同的手势(手势角度总的来说与手势505相同,但以不同次序出现),那么变化的金字塔层级的更详细级联将揭露不同的级联手势角度签名,因为手势角度的子部分将不同。举例来说,如果手势具有在手势505的第一半中执行的第二半且具有在手势505的第二半中执行的第一半,那么随后手势角度的最终级联(图示530)将具有以相反次序随附的直方图520a和515a。因此,当将此实例手势与所记录的级联530比较时,两个手势将被成功区分且分化,因为直方图的级联将以不同次序呈现。
标签“金字塔层级0”、“金字塔层级1”等可以描述一系列分层手势角度组,其中金字塔的每一层级可以提供对金字塔内的较高层级的较小子集或子部分内的手势角度的描述。举例来说,如图所示,金字塔层级1详述较高层级0的两半的子部分,金字塔层级1详述整个手势。类似地,金字塔层级2可以包含4组手势角度,每一组表示层级1中的手势角度组中的一者的一半。展示较大粒度的这些手势角度组可以被级联在一起,类似于图示530中进行的过程。接着,可以以类似方式分析在实时环境中执行的手势,与所记录的模型比较,所述手势的级联的手势角度组以相同方式被排序。以此方式,可以获得细节图的多个层级,以便足以区别可能不明确的手势。细节图的此层级可以是用户环境或一些其它可配置选项,且实施例不限于此。
在一些实施例中,做出的手势的特性被称作“时间排序的”。此术语可以大体上指代可以基于时间排序特性辨识任何手势的想法。时间排序特性的实例可以包含从两个连续数据对象测量的手势角度,且/或根据在图5中描述的概念,一些实施例中的手势角度金字塔的分层级取决于将子部分级联在一起的次序。
参考图6,曲线图600说明进一步区分本发明的方面与用于辨识手势的一些常规系统的实例情境。具体来说,即使一些数据对象(例如,数据对象605)被移除或忽略,也可以成功辨识曲线图600中的实例手势。这可能是因为在从手势角度的直方图或通过其它可比方式分析时(在有或没有一些缺失手势角度的情况下),手势角度组可以足够类似。在此情况下,在有或没有数据对象605的情况下的手势角度将保持相同,因为此实例手势仅展示在恒定角度下的一个上升和一个下降运动。相比而言,用于辨识手势的基于距离或移位中的变化分析手势的常规系统将不成功辨识手势,因为假定介入数据对象缺失,距离将极为不同。
参考图7A,流程图700说明根据一些实施例的用于辨识由手势对象执行的手势的一系列实例方法步骤。在框702处,所述方法可以包含计算至少一组手势角度,其中手势角度中的每一者包含手势对象的两个位置之间的角度测量值。在一些实施例中,可以在多个数据对象中记录手势对象。数据对象的实例可以包含数字图像、超声波对象、红外图像等等。实例手势对象可以包含人手、旗、棒、手指等等。在框704处,可以基于至少一组手势角度来辨识手势。框702和704可以与图1、2、3A、3B和3C中提供的揭示内容一致。
参考图7B,在一些实施例中,框704包含用于辨识手势的其它方法步骤。举例来说,在一些实施例中,在框752处,辨识手势可以基于将至少一组手势角度与手势模型比较。在一些实施例中,可以基于本文中所论述的技术产生手势模型。
在一些实施例中,在框754处,框704可以包含基于至少一组手势角度计算表示角度频率的直方图。在框756处,可以基于所计算的直方图与各自表示可辨识手势的一或多个直方图的比较来辨识手势。在一些实施例中,一或多个直方图可以包含于一或多个手势模型中。在一些实施例中,计算直方图可以与产生如图3A、3B和3C中的任一者中所描述的直方图的描述一致。
在一些实施例中,在框758处,框704可以包含基于将第一组时间排序的手势角度与手势模型比较来辨识手势。时间排序的手势角度组可以与本文揭示内容中的任一者中描述的时间排序概念中的任一者一致。在一些实施例中,在框760处,辨识手势可以进一步基于将第二组时间排序的手势角度与手势模型的第一子部分比较。在一些实施例中,在框762处,辨识手势可以进一步基于将第三组时间排序的手势角度与手势模型的第一子部分的子部分比较。第二组时间排序的手势角度的实例可以包含将整组手势角度细分成两半及仅基于两半中的一者产生一组手势角度。手势模型的第一子部分的实例可以包含图5中所描述的子部分中的任一者。第三组时间排序的手势角度的实例可以包含上文所描述的手势角度组的另一半,或手势角度的第一半的子部分。通常,这些描述可以与图5中所描述概念的一致。
在其它实施例中,在框764处,辨识手势可以进一步基于将第三组时间排序的手势角度与手势模型的第二子部分比较,所述第二子部分不包含手势模型的第一子部分中的任一者。举例来说,第二子部分可以是手势模型的整组手势角度的第二半,其中手势模型的第一子部分是整组手势角度的第一半。在一些实施例中,在框766处,所述方法可以进一步包含将第二组时间排序的手势角度与第三组时间排序的手势角度级联以产生一组级联的时间排序手势角度。在框768处,所述方法可以进一步包含将手势模型的第一子部分与第二子部分级联以产生手势模型的级联子部分。在框770处,辨识手势可以进一步基于将所述组级联的时间排序角度与手势模型的级联子部分比较。这些级联的实例可以包含图5中的描述。
可以根据特定要求做出许多实施例。举例来说,还可以使用定制硬件,且/或可以将特定元件实施于硬件、软件(包含便携式软件,例如小程序等)或两者中。此外,可以使用到其它计算装置(例如,网络输入/输出装置)的连接。
在已描述机房平面图中的改良辅助数据参数以用于室内定位的多个方面的情况下,现在将关于图8描述可以实施本发明的各种方面的计算机系统的实例。根据一或多个方面,如图8中所说明的计算机系统可以作为计算装置的一部分并入,所述计算装置可以实施、执行和/或实行本文中所描述的特征、方法和/或方法步骤中的任一者和/或全部。举例来说,计算机系统800可以表示手持式装置的组件中的一些。手持式装置可以是具有输入感官单元的任何计算装置,例如无线接收器或调制解调器。手持式装置的实例包含但不限于视频游戏控制台、平板计算机、智能电话、电视和移动装置或移动台。在一些实施例中,系统800经配置以实施上文所描述的方法中的任一者。图8提供计算机系统800的一个实施例的示意性说明,计算机系统800可以执行如本文中所描述的由各种其它实施例提供的方法,且/或可以充当主计算机系统、远程查询一体机/终端、销售点装置、移动装置、机顶盒和/或计算机系统。图8仅意图提供对各种组件的一般化说明,可按需要利用所述组件中的任一者和/或全部。因此,图8广泛地说明可以如何以相对分离或相对较集成的方式实施个别系统元件。
计算机系统800展示为包括可以经由总线805电耦合(或按需要可以以其它方式进行通信)的硬件元件。硬件元件可以包含:一或多个处理器810,其包含但不限于一或多个通用处理器和/或一或多个专用处理器(例如,数字信号处理芯片、图形加速处理器和/或类似者);一或多个输入装置815,其可以包含但不限于摄像机、无线接收器、无线传感器、鼠标、键盘和/或类似者;以及一或多个输出装置820,其可以包含但不限于显示单元、打印机和/或类似者。在一些实施例中,一或多个处理器810可以经配置以执行上文关于图7A和7B所描述的功能的子集或全部。处理器810可以包括(例如)通用处理器和/或应用程序处理器。在一些实施例中,处理器集成到处理视觉跟踪装置输入和无线传感器输入的元件中。
计算机系统800可以进一步包含以下各者(和/或与以下各者通信):一或多个非暂时性存储装置825,其可以包括(但不限于)本地和/或网络可接入的存储装置,和/或可以包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储装置,其可以为可编程的、可快闪更新的和/或类似者。此类存储装置可以经配置以实施任何适当数据存储,包含(但不限于)各种文件系统、数据库结构和/或类似者。
计算机系统800还可以包含通信子系统830,其可包含(但不限于)调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置和/或芯片组(例如,装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或类似者。通信子系统830可以准许与网络(例如,作为一个实例,下文所描述的网络)、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在许多实施例中,计算机系统800将进一步包括非暂时性工作存储器835,其可以包含RAM或ROM装置,如上文所描述。在一些实施例中,通信子系统830可以与收发器850介接,收发器850经配置以从接入点或移动装置发射和接收信号。一些实施例可以包含单独的接收器或多个接收器,及单独发射器或多个发射器。
计算机系统800还可以包括展示为当前位于工作存储器835内的软件元件,包含操作系统840、装置驱动器、可执行库和/或例如一或多个应用程序845等其它代码,应用程序845可包括由各种实施例提供且/或可以经设计以实施方法和/或配置由其它实施例提供的系统的计算机程序,如本文中所描述。仅仅借助于实例,关于上文所论述的方法描述(例如,如关于图8所描述)的一或多个过程可以实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令;在一个方面中,接着,这些代码和/或指令可以用于配置和/或调适通用计算机(或其它装置)以根据所描述的方法执行一或多个操作。
一组这些指令和/或代码可以被存储在计算机可读存储媒体(例如,上文所描述的存储装置825)上。在一些情况下,存储媒体可以并入于计算机系统(例如,计算机系统800)内。在其它实施例中,存储媒体可以与计算机系统分离(例如,可移动媒体(例如,压缩光盘)),和/或提供于安装包中,使得存储媒体可以用于通过上面存储的指令/代码编程、配置和/或调适通用计算机。这些指令可以呈可由计算机系统800执行的可执行代码的形式,且/或可以呈源代码和/或可安装代码的形式,所述源代码和/或可安装代码在编译和/或安装于计算机系统800上(例如,使用多种一般可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)后就呈可执行代码的形式。
可以根据特定要求做出实质性变化。举例来说,还可以使用定制硬件,且/或可以将特定元件实施于硬件、软件(包含便携式软件,例如小程序(applet)等)或两者中。此外,可以使用到其它计算装置(例如,网络输入/输出装置)的连接。
一些实施例可以使用计算机系统(例如,计算机系统800)来执行根据本发明的方法。举例来说,所描述方法的过程中的一些或全部可以由计算机系统800响应于处理器810执行工作存储器835中所含有的一或多个指令(其可以被并入到操作系统840和/或其它代码中,例如,应用程序845)的一或多个序列来执行。可以将此类指令从另一计算机可读媒体(例如,存储装置825中的一或多者)读取到工作存储器835中。仅仅借助于实例,工作存储器835中所含有的指令序列的执行可以致使处理器810执行本文中所描述的方法(例如,关于图8描述的方法)的一或多个过程。
如本文中所用,术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统800实施的实施例中,在将指令/代码提供到处理器810以用于执行中可以涉及各种计算机可读媒体,且/或各种计算机可读媒体可以用于存储和/或携载此类指令/代码(例如,作为信号)。在许多实施方案中,计算机可读媒体是物理和/或有形存储媒体。此媒体可以呈许多形式,包含(但不限于)非易失性媒体、易失性媒体和传输媒体。非易失性媒体包含(例如)光盘和/或磁盘,例如存储装置825。易失性媒体包含(但不限于)例如工作存储器835等动态存储器。传输媒体包含(但不限于)同轴电缆、铜线和光纤,包含包括总线805的电线,以及通信子系统830的各种组件(和/或通信子系统830借以提供与其它装置的通信的媒体)。因此,传输媒体还可以呈波的形式(包含(但不限于)无线电波、声波和/或光波,例如,在无线电波和红外数据通信期间产生的那些波)。
举例来说,常见形式的物理和/或有形计算机可读媒体包含软盘、软磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带、如下文所描述的载波,或计算机可从中读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列携载到处理器810以用于执行中可以涉及各种形式的计算机可读媒体。仅仅借助于实例,最初可以将指令携载于远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并将指令作为信号经由传输媒体来发送以由计算机系统800接收和/或执行。根据本发明的各种实施例,可以呈电磁信号、声学信号、光信号和/或类似者的形式的这些信号全部是可以在上面对指令进行编码的载波的实例。
通信子系统830(和/或其组件)大体上将接收信号,且总线805可以接着将信号(和/或由信号携载的数据、指令等)携载到工作存储器835,处理器810从工作存储器835检索并执行指令。可以任选地在由处理器810执行之前或之后,将由工作存储器835接收的指令存储在非暂时性存储装置825上。存储器835可以含有根据本文中所描述的数据库和方法中的任一者的至少一个数据库。存储器835可以因此存储当前揭示内容中的任一者中所论述的值中的任一者,包含图1、2、3A、3B、3C、4、5、6、7A、7B和相关描述。
图7A和7B中所描述的方法可由图8中的各种框实施。举例来说,处理器810可以经配置以执行流程图700和704中的框的任何功能。存储装置825可以经配置以存储中间结果,例如本文中提及的框中的任一者内论述的全球唯一属性或本地唯一属性。存储装置825还可以含有与当前揭示内容中的任一者一致的数据库。存储器835可以类似地经配置以记录执行本文中提及的任何框中描述的任何功能所必要的信号、信号的表示或数据库值。可能需要存储在例如RAM等临时或易失性存储器中的结果也可以包含在存储器835中,且可以包含类似于可以存储在存储装置825中的内容的任何中间结果。输入装置815可以经配置以根据本文中所描述的当前揭示内容从卫星和/或基站接收无线信号。输出装置820可以经配置以根据当前揭示内容中的任一者显示图像、打印文本、发射信号和/或输出其它数据。
上文所论述的方法、系统和装置为实例。各种实施例可以按需要省略、替换或添加各种过程或组件。举例来说,在替代配置中,所描述的方法可以以不同于所描述的次序来执行,且/或可添加、省略和/或组合各个阶段。并且,可以在各种其它实施例中组合关于某些实施例描述的特征。可以以类似方式组合实施例的不同方面和元件。并且,技术发展,且因此许多元件为实例,其并不将本发明的范围限于那些特定实例。
在描述中给出特定细节以提供对实施例的透彻理解。然而,可以在没有这些特定细节的情况下实施实施例。举例来说,在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术以免混淆所述实施例。此描述仅提供实例实施例,且不希望限制本发明的范围、适用性或配置。实际上,实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可以在不脱离本发明的精神和范围的情况下对元件的功能和布置做出各种改变。
并且,将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一流程图或框图可以将操作描述为顺序过程,但许多操作可并行地或同时地来执行。另外,可以重新布置操作的次序。过程可以具有未包含在图中的额外步骤。此外,可以由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当在软件、固件、中间件或微码中实施时,用以执行相关联任务的程序代码或代码段可以存储在例如存储媒体等计算机可读媒体中。处理器可以执行相关联的任务。
在已描述若干实施例的情况下,可以在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。举例来说,以上元件可以仅为较大系统的组件,其中其它规则可以优先于本发明的应用或以其它方式修改本发明的应用。并且,可以在考虑以上元件之前、期间或之后进行数个步骤。因此,以上描述并不限制本发明的范围。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (42)

1.一种用于辨识多个所记录数据对象中的手势对象的手势的方法,所述所记录的数据对象随时间而被记录,所述方法包括:
使用所述多个所记录的数据对象计算至少一组手势角度,其中所述至少一组中的所述手势角度中的每一者包括所述手势对象的两个位置之间的角度测量值,所述两个位置记录于所述多个所记录的数据对象中的连续数据对象中;以及
基于所述至少一组手势角度辨识所述手势。
2.根据权利要求1所述的方法,其中辨识所述手势进一步基于将所述至少一组手势角度与手势模型比较。
3.根据权利要求1所述的方法,其进一步包括基于所述至少一组手势角度计算表示角度频率的直方图,其中所述辨识所述手势进一步基于所述所计算的直方图与各自表示可辨识手势的一或多个直方图的比较。
4.根据权利要求1所述的方法,其中所述至少一组手势角度为时间排序的。
5.根据权利要求4所述的方法,其中所述至少一组时间排序的手势角度进一步包括第一组时间排序的手势角度和第二组时间排序的手势角度,且其中所述第二组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分。
6.根据权利要求5所述的方法,其中辨识所述手势进一步基于:
将所述第一组时间排序的手势角度与手势模型比较;以及
将所述第二组时间排序的手势角度与所述手势模型的第一子部分比较。
7.根据权利要求6所述的方法,其中所述至少一组时间排序的手势角度进一步包括第三组时间排序的手势角度,且其中所述第三组时间排序的手势角度包括所述第二组时间排序的手势角度的子部分。
8.根据权利要求7所述的方法,其中辨识所述手势进一步基于将所述第三组时间排序的手势角度与所述手势模型的所述第一子部分的子部分比较。
9.根据权利要求6所述的方法,其中所述至少一组时间排序的手势角度进一步包括第三组时间排序的手势角度,且其中所述第三组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分,所述子部分不包含组成所述第二组时间排序的手势角度的所述手势角度中的任一者。
10.根据权利要求9所述的方法,其中辨识所述手势进一步基于将所述第三组时间排序的手势角度与所述手势模型的第二子部分比较,所述第二子部分不包含所述手势模型的所述第一子部分中的任一者。
11.根据权利要求10所述的方法,其中辨识所述手势进一步基于:
将所述第二组时间排序的手势角度与所述第三组时间排序的手势角度级联,以产生一组级联的时间排序手势角度;
将所述手势模型的所述第一子部分与所述手势模型的所述第二子部分级联,以产生所述手势模型的级联子部分;以及
将所述组级联的时间排序手势角度与所述手势模型的所述级联子部分比较。
12.根据权利要求2所述的方法,其中所述手势模型包括至少一组经训练的时间排序手势角度,所述组经训练的时间排序手势角度在辨识所述手势对象的所述手势之前被产生。
13.一种设备,其包括:
至少一个记录装置,其经配置以随时间记录多个数据对象中的手势对象;以及
处理器,其经配置以:
使用所述多个所记录的数据对象计算至少一组手势角度,其中所述至少一组中的所述手势角度中的每一者包括所述手势对象的两个位置之间的角度测量值,所述两个位置记录于所述多个所记录的数据对象中的连续数据对象中;且
基于所述至少一组手势角度辨识手势。
14.根据权利要求13所述的设备,其中所述处理器经进一步配置以将所述至少一组手势角度与手势模型比较。
15.根据权利要求13所述的设备,其中所述处理器经进一步配置以基于所述至少一组手势角度计算表示角度频率的直方图,且其中所述处理器经配置以辨识所述手势是基于所述所计算的直方图与各自表示可辨识手势的一或多个直方图的比较。
16.根据权利要求13所述的设备,其中所述至少一组手势角度为时间排序的。
17.根据权利要求16所述的设备,其中所述至少一组时间排序的手势角度进一步包括第一组时间排序的手势角度和第二组时间排序的手势角度,且其中所述第二组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分。
18.根据权利要求17所述的设备,其中所述处理器经进一步配置以:
将所述第一组时间排序的手势角度与手势模型比较;且
将所述第二组时间排序的手势角度与所述手势模型的第一子部分比较。
19.根据权利要求18所述的设备,其中所述至少一组时间排序的手势角度进一步包括第三组时间排序的手势角度,且其中所述第三组时间排序的手势角度包括所述第二组时间排序的手势角度的子部分。
20.根据权利要求19所述的设备,其中所述处理器经进一步配置以将所述第三组时间排序的手势角度与所述手势模型的所述第一子部分的子部分比较。
21.根据权利要求18所述的设备,其中所述至少一组时间排序的手势角度进一步包括第三组时间排序的手势角度,且其中所述第三组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分,所述子部分不包含组成所述第二组时间排序的手势角度的所述手势角度中的任一者。
22.根据权利要求21所述的设备,其中所述处理器经进一步配置以将所述第三组时间排序的手势角度与所述手势模型的第二子部分比较,所述第二子部分不包含所述手势模型的所述第一子部分中的任一者。
23.根据权利要求22所述的设备,其中所述处理器经进一步配置以:
将所述第二组时间排序的手势角度与所述第三组时间排序的手势角度级联,以产生一组级联的时间排序手势角度;
将所述手势模型的所述第一子部分与所述手势模型的所述第二子部分级联,以产生所述手势模型的级联子部分;且
将所述组级联的时间排序手势角度与所述手势模型的所述级联子部分比较。
24.根据权利要求14所述的设备,其中所述手势模型包括至少一组经训练的时间排序手势角度,所述组经训练的时间排序手势角度在辨识所述手势对象的所述手势之前被产生。
25.一种用于辨识多个所记录数据对象中的手势对象的手势的方法,所述所记录的数据对象随时间而被记录,所述设备包括:
用于使用所述多个所记录的数据对象计算至少一组手势角度的装置,其中所述至少一组中的所述手势角度中的每一者包括所述手势对象的两个位置之间的角度测量值,所述两个位置记录于所述多个所记录的数据对象中的连续数据对象中;以及
用于基于所述至少一组手势角度辨识所述手势的装置。
26.根据权利要求25所述的设备,其中所述用于辨识所述手势的装置进一步基于用于将所述至少一组手势角度与手势模型比较的装置。
27.根据权利要求25所述的设备,其进一步包括用于基于所述至少一组手势角度计算表示角度频率的直方图的装置,其中所述用于辨识所述手势的装置进一步基于所述所计算的直方图与各自表示可辨识手势的一或多个直方图的比较。
28.根据权利要求25所述的设备,其中所述至少一组手势角度为时间排序的。
29.根据权利要求28所述的设备,其中所述至少一组时间排序的手势角度进一步包括第一组时间排序的手势角度和第二组时间排序的手势角度,且其中所述第二组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分。
30.根据权利要求29所述的设备,其中所述用于辨识所述手势的装置进一步基于:
用于将所述第一组时间排序的手势角度与手势模型比较的装置;以及
用于将所述第二组时间排序的手势角度与所述手势模型的第一子部分比较的装置。
31.根据权利要求30所述的设备,其中所述至少一组时间排序的手势角度进一步包括第三组时间排序的手势角度,且其中所述第三组时间排序的手势角度包括所述第二组时间排序的手势角度的子部分。
32.根据权利要求31所述的设备,其中所述用于辨识所述手势的装置进一步基于用于将所述第三组时间排序的手势角度与所述手势模型的所述第一子部分的子部分比较的装置。
33.根据权利要求30所述的设备,其中所述至少一组时间排序的手势角度进一步包括第三组时间排序的手势角度,且其中所述第三组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分,所述子部分不包含组成所述第二组时间排序的手势角度的所述手势角度中的任一者。
34.根据权利要求33所述的设备,其中所述用于辨识所述手势的装置进一步基于用于将所述第三组时间排序的手势角度与所述手势模型的第二子部分比较的装置,所述第二子部分不包含所述手势模型的所述第一子部分中的任一者。
35.根据权利要求34所述的设备,其中所述用于辨识所述手势的装置进一步基于:
用于将所述第二组时间排序的手势角度与所述第三组时间排序的手势角度级联以产生一组级联的时间排序手势角度的装置;
用于将所述手势模型的所述第一子部分与所述手势模型的所述第二子部分级联以产生所述手势模型的级联子部分的装置;以及
用于将所述组级联的时间排序手势角度与所述手势模型的所述级联子部分比较的装置。
36.根据权利要求26所述的设备,其中所述手势模型包括至少一组经训练的时间排序手势角度,所述组经训练的时间排序手势角度在辨识所述手势对象的所述手势之前被产生。
37.一种非暂时性处理器可读媒体,其包括处理器可读指令,所述处理器可读指令经配置以致使处理器:
随时间记录多个数据对象中的手势对象;
使用所述多个所记录的数据对象计算至少一组手势角度,其中所述至少一组中的所述手势角度中的每一者包括所述手势对象的两个位置之间的角度测量值,所述两个位置记录于所述多个所记录的数据对象中的连续数据对象中;且
基于所述至少一组手势角度辨识手势。
38.根据权利要求37所述的非暂时性处理器可读媒体,其中所述指令经进一步配置以致使所述处理器将所述至少一组手势角度与手势模型比较。
39.根据权利要求37所述的非暂时性处理器可读媒体,其中所述指令经进一步配置以致使所述处理器基于所述至少一组手势角度计算表示角度频率的直方图,且其中所述处理器经配置以辨识所述手势是基于所述所计算的直方图与各自表示可辨识手势的一或多个直方图的比较。
40.根据权利要求37所述的非暂时性处理器可读媒体,其中所述至少一组手势角度为时间排序的。
41.根据权利要求40所述的非暂时性处理器可读媒体,其中所述至少一组时间排序的手势角度进一步包括第一组时间排序的手势角度和第二组时间排序的手势角度,且其中所述第二组时间排序的手势角度包括所述第一组时间排序的手势角度的子部分。
42.根据权利要求41所述的非暂时性处理器可读媒体,其中所述指令进一步经配置以致使所述处理器:
将所述第一组时间排序的手势角度与手势模型比较;且
将所述第二组时间排序的手势角度与所述手势模型的第一子部分比较。
CN201480049550.0A 2013-09-13 2014-09-12 用于手势辨识的平移和尺度不变特征 Pending CN105518581A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/026,973 US9405375B2 (en) 2013-09-13 2013-09-13 Translation and scale invariant features for gesture recognition
US14/026,973 2013-09-13
PCT/US2014/055527 WO2015038985A1 (en) 2013-09-13 2014-09-12 Translation and scale invariant features for gesture recognition

Publications (1)

Publication Number Publication Date
CN105518581A true CN105518581A (zh) 2016-04-20

Family

ID=51703383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480049550.0A Pending CN105518581A (zh) 2013-09-13 2014-09-12 用于手势辨识的平移和尺度不变特征

Country Status (5)

Country Link
US (1) US9405375B2 (zh)
EP (1) EP3044651A1 (zh)
JP (1) JP2016534480A (zh)
CN (1) CN105518581A (zh)
WO (1) WO2015038985A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078780B2 (en) * 2015-03-27 2018-09-18 Intel Corporation Gesture recognition mechanism
US10747327B2 (en) * 2016-06-28 2020-08-18 Intel Corporation Technologies for adaptive downsampling for gesture recognition
CN116761040B (zh) * 2023-08-22 2023-10-27 超级芯(江苏)智能科技有限公司 Vr云平台交互方法及交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US20050134117A1 (en) * 2003-12-17 2005-06-23 Takafumi Ito Interface for car-mounted devices
CA2507290A1 (en) * 2005-05-13 2006-11-13 Waterloo Maple Inc. System and method of gesture feature recognition
EP2365420A3 (en) * 2010-03-11 2012-11-21 Deutsche Telekom AG System and method for hand gesture recognition for remote control of an internet protocol TV
CN103200439A (zh) * 2012-01-09 2013-07-10 三星电子株式会社 显示装置及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
GB2419433A (en) 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
TWI395145B (zh) 2009-02-02 2013-05-01 Ind Tech Res Inst 手勢辨識系統及其方法
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
TWI450128B (zh) 2011-12-05 2014-08-21 Wistron Corp 手勢偵測方法、手勢偵測系統及電腦可讀取儲存媒體
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US20050134117A1 (en) * 2003-12-17 2005-06-23 Takafumi Ito Interface for car-mounted devices
CA2507290A1 (en) * 2005-05-13 2006-11-13 Waterloo Maple Inc. System and method of gesture feature recognition
EP2365420A3 (en) * 2010-03-11 2012-11-21 Deutsche Telekom AG System and method for hand gesture recognition for remote control of an internet protocol TV
CN103200439A (zh) * 2012-01-09 2013-07-10 三星电子株式会社 显示装置及其控制方法

Also Published As

Publication number Publication date
US20150077322A1 (en) 2015-03-19
WO2015038985A1 (en) 2015-03-19
EP3044651A1 (en) 2016-07-20
US9405375B2 (en) 2016-08-02
JP2016534480A (ja) 2016-11-04

Similar Documents

Publication Publication Date Title
US11431896B2 (en) Augmented reality for three-dimensional model reconstruction
CN104350509B (zh) 快速姿势检测器
Kapuscinski et al. Recognition of hand gestures observed by depth cameras
CN107430697A (zh) 用于光学条形码的定制功能图案
CN109964236A (zh) 用于检测图像中的对象的神经网络
CN105159463B (zh) 一种非接触式可穿戴智能戒指系统及其手势识别方法
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
KR20190034021A (ko) 객체를 인식하는 방법 및 장치
CN105518608A (zh) 上下文关联的手势分类
US20100103092A1 (en) Video-based handwritten character input apparatus and method thereof
CN111160308B (zh) 手势动作识别方法、装置、设备及可读存储介质
CN112106042A (zh) 电子设备及其控制方法
Lopes et al. Spherical blurred shape model for 3-D object and pose recognition: Quantitative analysis and HCI applications in smart environments
US20230290174A1 (en) Weakly supervised semantic parsing
CN111199169A (zh) 图像处理方法和装置
CN105518581A (zh) 用于手势辨识的平移和尺度不变特征
Ding et al. Designs of human–robot interaction using depth sensor-based hand gesture communication for smart material-handling robot operations
CN114937285A (zh) 动态手势识别方法、装置、设备及存储介质
CN113168221A (zh) 信息处理设备、信息处理方法和程序
JP2013254314A (ja) 画像認識装置、画像認識方法及びプログラム
KR20210061523A (ko) 필기 입력을 텍스트로 변환하는 전자 장치 및 그 동작 방법
CN111258413A (zh) 虚拟对象的控制方法和装置
Sansano Sansano Machine learning-based techniques for indoor localization and human activity recognition through wearable devices
CN112883804B (zh) 一种乐器演奏手部动作的纠错方法、装置及电子设备
CN114202778A (zh) 一种由平面指纹估计手指三维姿态的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190423