CN104871084A - 自适应投影仪 - Google Patents

自适应投影仪 Download PDF

Info

Publication number
CN104871084A
CN104871084A CN201380066771.4A CN201380066771A CN104871084A CN 104871084 A CN104871084 A CN 104871084A CN 201380066771 A CN201380066771 A CN 201380066771A CN 104871084 A CN104871084 A CN 104871084A
Authority
CN
China
Prior art keywords
setting
radiation
eye
image
light beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380066771.4A
Other languages
English (en)
Other versions
CN104871084B (zh
Inventor
A·斯庞特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN104871084A publication Critical patent/CN104871084A/zh
Application granted granted Critical
Publication of CN104871084B publication Critical patent/CN104871084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Abstract

本发明公开了一种用于处理数据的装置，该装置包括投影仪(160)，该投影仪被配置为将内容投影到布景的至少一部分上。处理器(40)，该处理器被配置为检测人(164)的眼部在布景中的位置以及控制该投影仪，以便降低眼部的区域中的所投影的内容的强度。

Description

自适应投影仪
背景技术
1.技术领域。
本发明整体涉及自然交互式系统。更具体地，本发明涉及自适应现实增强和三维输入接口。
2.相关领域的描述。
自然用户界面在娱乐和计算机产业方面发展加快。手势控制正补充或替代更常规并且不自然的接口诸如键盘和鼠标、游戏控制器和遥控器。然而，用户交互仍然主要涉及计算机监视器，因而限制了此类接口的适用性和易用性。一些手势控制依赖于光学三维映射。
用于光学3-D映射的各种方法在本领域中是已知的(即，通过对对象的光学图像进行处理来生成该对象表面的三维轮廓)。此类轮廓还被称为深度图或深度图像，并且3-D映射也被称为深度映射。
一些方法基于将激光散斑图案投影到对象上，并且然后分析该对象上的该图案的图像。例如，PCT国际公布WO 2007/043036描述了一种用于对象重建的系统和方法，其中相干光源和随机散斑图案的生成器将相干随机散斑图案投影到对象上。成像单元检测被照明区域的光响应并生成图像数据。对象的图像中的图案相对于图案的参考图像的偏移用于该对象的3-D图的实时重建。使用散斑图案进行3-D映射的其他方法例如在PCT国际公布WO 2007/105205中有所描述。
PCT国际公布WO 2012/011044描述了用于交互式现实增强的装置和方法，包括二维相机和三维相机、相关联的深度投影仪和内容投影仪以及链接到三维相机和二维相机的处理器。布景的深度图使用三维相机的输出产生，并且与由二维相机捕获的二维图像配合以识别布景中的满足用于将图像投影到布景上的预先确定的标准的三维对象。内容投影仪响应于处理器的指令来将内容图像投影到三维对象上，这可通过自动识别用户手势来进行介导。
发明内容
在其某些实施例中，本发明旨在提供改进的内容投影设备，该内容投影设备在其视场中感知对象。
因此，根据本发明的实施例提供了用于处理数据的装置，该装置包括投影仪和处理器，该投影仪被配置为将内容投影到布景的至少一部分上，该处理器被配置为检测人的眼部在布景中的位置并且控制投影仪，以便降低眼部的区域中的所投影的内容的强度。
在一些实施例中，该装置包括感测设备，该感测设备被配置为捕获来自布景的辐射并且响应于所捕获的辐射来输出信号，其中该处理器被配置为处理信号以便识别眼部的区域。该感测设备可被配置为捕获布景的图像，该图像被处理器处理以便识别眼部的区域。除此之外或作为另外一种选择，该处理器被配置为处理信号以便生成布景的三维图并且处理三维图以便识别眼部的区域。
在本发明所公开的实施例中，该投影仪包括第一辐射源和第二辐射源，该第一辐射源发射红外辐射光束，该第二辐射源发射可见光束，该可见光束被调制以形成被投影到布景的至少一部分上的内容。扫描光学器件将红外光束和可见光束两者同时投影到布景上。该感测设备被配置为捕获从布景返回的红外辐射。在一个实施例中，该第一辐射源被控制以在布景上形成斑点图案，并且其中处理器被配置为从斑点图案获得布景的三维图并且处理三维图，以便识别眼部的区域。
根据本发明的实施例，还提供了一种用于处理数据的方法，所述方法包括将内容投影到布景的至少一部分上以及检测人的眼部在布景中的位置。内容的投影被控制以便降低眼部的区域中的所投影的内容的强度。
附图说明
为了更好的理解本发明，以举例的方式参考了结合以下附图进行阅读的本发明的详细描述，其中类似的元件被赋予类似的附图标记，并且其中：
图1为根据本发明所公开的实施例构造和操作的交互式三维视频显示系统的示意性立体说明图；
图2为根据本发明的实施例构造和操作的图1中所示的系统的框图；
图3为示出根据本发明的实施例构造和操作的示例性处理设备的一部分的功能元件的框图；
图4为根据本发明的实施例识别布景中的三维对象的方法的示例性流程图；
图5示出根据本发明的实施例被投影到虚拟表面的移动设备的屏幕；
图6示出根据本发明的实施例的包括可佩戴监视器的交互式三维视频显示系统；以及
图7为根据本发明的另选的实施例的交互式投影系统的元件的示意图。
具体实施方式
在下面的描述中，示出了许多具体细节以便提供对本发明的各种原理的彻底理解。然而，对本领域技术人员将显而易见的是，并不是所有这些细节必然总是需要用于实施本发明。在这种情况下，熟知的电路、控制逻辑部件以及用于常规算法和工艺的计算机程序指令的细节没有被详细示出，以免不必要地模糊一般概念。
如本文所用，术语“内容投影”可涵盖将该内容的图像建立到可佩戴的透明监视器诸如透视眼镜上，并且因此对除佩戴该眼镜之外的任何人不可见，或建立到对与物理对象进行交互的任何人可见的物理对象上。该术语不限于上面的实例。其可涵盖通过多种方式来形成图像，该多种方式包括视网膜投影、投影到透视眼镜上、将图像投影到虚拟空间中(例如作为一个全息图)、以及用于生成增强现实的其他技术。
系统架构。
现在转到附图，首先参照图1，其为交互式三维视频显示系统10的立体说明图，该交互式三维视频显示系统10根据本发明所公开的实施例构造和操作。系统10结合可包括红外(IR)投影仪和为投影仪带打开的对应的CMOS/CCD相机的三维(3-D)相机12。如本文所用，术语“三维相机”和“3-D相机”是指用于形成布景的3-D图(也被称为深度图)(即，一系列3D坐标，其包括在预定区域内的每个点(X,Y)处的身体表面的深度(Z)坐标值)的成像设备。3-D相机12捕获3-D信息，该3-D信息可包括用户的身体(或身体的至少一部分)、由用户手持使用或操作以用于控制计算机应用程序的有形的实体以及在3-D相机12的视场中的其他对象。这类3-D成像组件的细节例如在PCT国际公布WO 2010/004542和美国专利申请公布No.2009/0183125中有所描述。3-D相机12通常在近红外光谱中操作。然而，本发明的原理同样适用于使得3-D相机12能够捕获近红外光谱之外的电磁能量(例如远红外线或紫外线能量)的变型。系统10还可包括二维(2-D)相机14，其在可见光谱中操作，并且可采集具有足够分辨率的布景以允许布景中的书面信息的自动解释并且通常产生红-绿-蓝(RGB)输出信号。
3-D相机12和2-D相机14与内容投影仪16一起合作，它们都在处理器(诸如计算机18)的控制下。
用于系统10的集合3-D相机12和2-D相机14的合适的单元为PrimeSensorTM参考设计(Reference Design)，其购自PrimeSenseCorporation,104Cambay Ct,Cary North Carolina,27513,U.S.A。内容投影仪16可为显示器引擎，其购自MicroVision,Inc.,6222 185th Ave NERedmond WA,98052。在一些实施例中，3-D相机12和2-D相机14可与内容投影仪16集成在一起作为PrimeSensor参考设计的变型。在一个实施例中，3-D相机12是包括IR投影仪的集成模块，其将斑点图案投影到对象上并捕获所投影的图案的图像。另选地，IR投影仪可作为一个独立模块来实现(未示出)。IR投影仪可根据PCT国际公布WO 2010/020380的教导内容来实现，其还教导如何再使用扫描硬件以对深度映射所需的IR和可见内容两者进行投影。
处理器可使用美国专利申请公布2011/0293137的教导内容来分析布景。
计算机18可包括以软件被编程以实现下文描述的功能的通用计算机处理器。软件可例如通过网络以电子形式下载到处理器中，或另选地可设置在非暂态有形存储介质诸如光学、磁性或电子存储介质上。另选地或除此之外，图像功能中的一些或全部图像功能可在专用硬件诸如定制或半定制集成电路或可编程数字信号处理器(DSP)上实现。以举例的方式，尽管计算机18作为相对于3-D相机12的独立单元在图1中示出，计算机的处理功能中的一些或全部处理功能可由与3-D相机12和2-D相机14相关联或在3-D相机12和2-D相机14的外壳内的合适的专用电路来执行。如将在下面的讨论中看到的，系统10的元件可为小型化的并且结合到可佩戴监视器以使得用户能够到处活动并且更加自由地与布景近实时交互。在任何情况下，3-D相机12和2-D相机14用作观察布景(用户和他们的周围环境)的传感器部件。计算机18用作感知部件，如通过由内容投影仪16所提供的信息介导或刺激的，该感知部件对布景进行理解并在这些环境内进行用户交互。
计算机18可与PrimeSensor参考设计一起合作来执行程序诸如NiteTM中间件(购自PrimeSense)。例如，PrimeSensor参考设计在计算机18中提供具有控件桌面小程序的应用层，从而提供将用户手势或姿势解释成已知确定的应用程序输入的应用编程接口(API)。中间件对由系统10的部件所生成的数据执行图像处理操作以便重建用户20和所采集的布景的三维图，该部件包括2-D相机14和具有其IR投影仪的3-D相机12。术语“三维图”是指表示给定对象的表面的一组三维坐标。三维图的一种形式称之为深度图像或深度图，其中每个像素具有指示从相机到布景中对应的点的距离的值，而不是像在二维图像中那样指示点的亮度和色彩。随后基于图案中的斑点的横向偏移，计算机18通过三角测量计算控制实体的表面上的点的三维坐标。
在典型应用程序中，由3-D相机12捕获的信息由计算机18进行处理，该计算机18驱动内容投影仪16。计算机18可根据被设计来为用户创建自然的或不自然的体验的程序进行操作。如图1所示，系统10已识别布景中的书22，并且已将销售报价24投影到书22上：“以$75.99的价格购买”。用户20正对通过手势26进行的报价作出反应，该手势充当计算机18的输入。例如根据美国专利申请公布No.2009/0183125，该计算设备的手势控制为已知的，该美国专利申请公布还教导了将布景投影到虚拟图像空间的方法。手势控制被包括在NiteTM中间件的功能里，该手势控制可解释用户20的手势，例如响应于由3-D相机12和2-D相机14采集的销售报价24。
此外，当用户20与书22和销售报价24的交互演进时，例如用户20正拿着书22，正在计算机18中执行的注视识别模块可识别出用户20正注视书22。通过处理所采集的2-D图像，这本书的标题可在系统10中被识别并被解释。然后，计算最佳投影参数，书评可被投影到书22上。用户20可滚动所投影的书评并与之交互，就好像他正在显示屏上对书评进行查看。这样，为了对用户20有益，系统10与用户20配合来将书22以自组织方式转换成虚拟信息屏幕。
系统10任选地包括显示屏28和常规的输入设备诸如键盘30和鼠标32，其可呈现用于管理用途例如系统配置以及由用户20对系统10进行操作控制的用户界面。
现参照附图2，其为根据本发明的实施例的系统10(图1)的框图。布景34同时被2-D相机36和3-D相机38采集，2-D相机36和3-D相机38可为独立单元或集成为组合单元。另选地，布景可仅被3-D相机38采集或仅被2-D相机36采集，在任何情况下均会对所采集的图像执行图像分析。如上面所指出的那样，这些相机可被实现为PrimeSensor参考设计。由2-D相机36和3-D相机38输出的数据为处理器40(可能嵌入在计算机18中)的输入。相机38中的处理功能的一些或全部处理功能可由处理器40执行，并且反之亦然；并且因此，本文所用的术语“处理器”共同指代执行这些功能的电路，不管它们实际上定位于的物理元件。处理器40还可执行中间件例如上述Nite中间件。中间件放置由注册中的两个相机所捕获的布景。中间件包括识别布景34中的对象并确定它们是否适合将内容投影于其上的对象分析模块42。投影仪控制模块44、所述中间件的另一部件对布景34中的对象例如对象46的坐标和特性进行转换并且准备用于投影的图像。模块44为投影仪48发布合适的指令，使得图像(通常包含信息内容)被投影到对象46上。指令可包含对失真的校正，该失真可归因于对象46的比例、姿态和配置。除此之外或作为另外一种选择，投影仪48可包括其自身的机构以补偿此类失真。
当计算投影参数时，用户的位置和姿态可被考虑在内。例如，如上面所指出的那样，朝向所投影的内容的注视矢量可随着用户在布景中到处活动而改变。可因此调整投影参数以补偿此类变化，例如通过调整比例、视差及类似的失真，以便为用户模拟真实的体验。此类调整的一个实例是校正以下事实：当从不同方向进行观察时，三维对象看起来不同，即对象的不同侧或对象的不同2-D投影对观察者来说变得显而易见。投影内容可作为注视矢量和相对于虚拟对象的用户位置的函数来进行调整，因此创建对象实际上正在观察者面前的真实体验。注视方向可由本领域已知的方法来确定。例如，就被嵌入透视眼镜的设备而言，头部位置取向可通过相对于该装置的领域的刚性配准来获得。也可测量注视方向，例如使用购自TobiiTechnology,Inc.,510N,Washington Street,Suite 200,Falls Church,VA 22046的眼球追踪产品，然后可使用由由传感器采集的3D信息来将注视转化为对象坐标。
对象感知。
根据美国专利申请公布No.2011/0052006，用于识别和追踪身体部分的技术是已知的。本质上这是通过接收包含人形的布景的深度图的时间序列来完成的。数字处理器处理深度图中的至少一个深度图以便找出指定身体部分的位置诸如头部或手以基于该位置来估计人形的尺寸。处理器使用所估计的尺寸来追踪人形在序列上的移动。这些教导内容被应用在上述Nite中间件中，并且可通过本领域技术人员链接其他已知的识别程序来增强。
例如，在识别身体的头部的情况下，处理器可划分并且分析三维形式以识别左臂和右臂，并且然后搜索臂之间的间隔以找到头部。除此之外或作为另外一种选择，可使用识别技术。深度图像可向头部或其他对象的二维图像注册。处理器可应用图案或人脸识别技术以识别二维图像中的人形的脸部。二维图像中的脸部位置然后与三维形式的头部的位置相关联。使用相同的技术，整个布景可被分析、分割，并且对象的已知类别被识别为其上的图像的投影的候选。
在一个实施例中，其在图7中示出，当在其中图像被投影的区域中识别到头部时，处理器可指示投影仪降低被投影到头部的区域中的光的强度(或将其完全关闭)以便避免将强光投影到眼睛，这可是不舒服的甚至是有害的。
对象处理器。
现在参照图3，其为示意性示出示例性处理设备50的一部分的功能元件的框图，该示例性处理设备50是处理器40(图2)的部件，并且其根据本发明的实施例构造和操作。处理设备50可被制造成单个半导体基板上的具有到任选的主机54的USB端口52的专用集成电路。装置50可包括其他接口，也包括对象分析器56。对象分析器56链接到数据库58，该数据库58保持包含对由对象分析器56识别和评估的对象的描述的库。应当理解，处理设备50的另选的配置可由本领域技术人员构造。如上所述，该处理设备50的操作可由驻留在指令存储器60和数据存储器62中的中间件来控制。
深度处理器64处理由3-D相机12(图1)捕获的信息以便生成深度图。深度处理器64使用存储器66中的专用存储器空间。该存储器也可由控制器68(其将在下文描述)访问，但其一般不由主机54访问。相反，深度处理器64可经由应用程序接口(API)由主机54编程。
深度处理器64经由深度CMOS接口70接收来自3-D相机12的输入IR数据。深度处理器64处理视频数据以便生成连续的深度图，即深度数据的帧。深度处理器64将这些数据加载到USB先进先出(FIFO)单元74中的深度FIFO存储器72中。
平行于深度输入和处理操作，色彩处理框76经由色彩CMOS传感器接口78接收来自2-D相机14(图1)的输入色彩视频数据。框76将原始的输入数据转换成RGB视频数据的输出帧，并且将这些数据加载到单元74中的RGB FIFO存储器80中。另选地，框76可以其他格式诸如YUV格式或拜耳(Bayer)马赛克格式来输出视频数据。
单元74充当各种数据供应者和USB控制器82之间的缓冲级。单元74根据不同种类(诸如USB视频类和USB音频类)对各种数据类型进行封装和格式化，并且还用于防止由于USB带宽故障造成的数据丢失。其在将USB包传输到USB控制器之前根据USB协议和格式将数据整理到该USB包中。
高宽带总线诸如先进的高性能总线(AHB)矩阵84用于在处理设备50的部件之间承载数据，并且具体地，用于将数据从单元74传送到USB控制器82以用于传输到主机54。(AHB是由ARM Ltd.,of Cambridge,England发布的总线协议。)当单元74中有分组已准备好并且在USB控制器82的内部存储器中有可用空间时，USB控制器82使用直接存储器存取(DMA)以经由AHB从模块88和矩阵84从存储器72、存储器80以及音频FIFO存储器86读取数据。USB控制器82将色彩、深度和音频数据多路复用成用于经由USB端口52向主机54输出的单个数据流。
为了USB通信的目的，处理设备50包括USB物理层接口PHY 90，其可被USB控制器82操作以经由合适的USB缆线与主机54的USB端口通信。如本领域已知的，USB PHY的定时是由晶体振荡器92和锁相环94(PLL)来控制的。
另选地，USB控制器86可任选地经由USB 2.0收发器宏单元接口(UTMI)和外部PHY 96来与主机通信。
各种外部设备可协同包括投影仪控制模块98的主机54与处理设备50连接，该投影仪控制模块接受来自处理设备50和主机54的指令以实现到空间中的所指定坐标上的目标图像投影。
控制器68负责管理处理设备50的功能，包括引导、自检、配置、供电和接口管理以及参数调整。
控制器68可包括数字信号处理器(DSP)内核100和用于控制矩阵84上的数据移动的AHB主102。通常，控制器68从引导只读存储器104进行引导，并且然后经由闪存存储器接口106将程序代码从闪存存储器(未示出)加载到指令随机存取存储器60和数据存储器62中。此外，控制器68可具有测试接口108诸如联合测试行动小组(JTAG)接口以用于由外部计算机110进行调试的目的。
控制器68经由注册配置接口112(诸如先进的外围总线(APB))向处理设备50的其他部件分配配置数据和参数，该控制器通过矩阵84和APB桥接器114连接到注册配置接口112。
在上述PCT国际公布WO 2010/004542中公开了处理设备50的更多细节。
对象分析。
继续参照图3，对象分析器评估由深度处理器64与框76和单元74一起合作开发的数据以评估由3-D相机12(图1)捕获的布景。
由对象分析器56执行的算法可由主机54中的应用程序来决定。例如，对象分析器56可被指示以搜索并且报告数据库58中所指定的布景中的一个或多个已知对象。主机54于是可指示内容投影仪16(图1)将图像投影到所选择的一个或多个对象上。除此之外或作为另外一种选择，对象分析器56可被指示来识别并且报告符合预定义标准的对象，而无需向数据库58求助。
相对于所识别的对象而由对象分析器所传送的数据一般包括对象的大小和位置以及其取向，优选地具有六个自由度，包括相对于坐标的参考系的比例、纵摇(pitch)、偏航(yaw)和角旋转。该信息允许投影仪通过适当缩放和扭曲所投影图像以便将其投影到所选择的对象上来补偿失真，使得观察者看到该图像基本上是无失真的。例如根据标题为“ImageProcessing Device,Image Processing Method,and Program”美国专利申请公布No.20110081072，所投影图像的配置为已知的。图像可被配置为软件，以便避免复杂的光学布置的费用并且更容易实现免于如偏轴图像失真的此类效果。另选地，如上所述，可商购获得的项目可提供其自身对失真控制的补偿。
现参照图4，其为根据本发明的实施例识别布景中的三维对象的方法的示例性流程图。为便于呈现，该方法结合图1和图3中示出的装置被公开，但是它可适用于以不同方式进行配置的装置。为了清楚呈现，处理步骤在图4中以特定的线性顺序示出。然而，明显的是其中许多处理步骤可并行、异步或以不同顺序执行。本领域的技术人员也将理解的是流程也可另选地被表示为例如状态图中的多个相关的状态或事件。此外，不是所有所示的流程步骤都是实现该方法所需要的。此外，许多细节可根据主计算机54的决定和其应用程序的要求而变化。
假定观察者位于书店内。在初始步骤116处，正在主机54中执行的应用程序想要识别用于显示文本信息的打开的书。这是在数据库58中具有已知定义的三维对象，其包括至少一个大体浅色的平坦表面。3-D相机12被启用并且三维布景在处理设备50中被捕获。对象分析器56评估布景、进行定位并且识别三维空间中的对象。
在决定步骤118处，确定平坦表面是否已位于布景中。
控制现在继续进行到决定步骤120，其中确定平坦的表面是否符合书的标准。标准可涉及特别是大小，接近某些其他对象以及与合上或打开的书对应的几何细节。
如果在决定步骤120处的确定是肯定的，则控制继续进行到最终步骤122。书的坐标和取向由对象分析器56向控制器68报告，该控制器68协同主机54指示投影仪控制模块98在所识别的书上显示应用程序确定的图像(菜单-1)。图像可包含例如以下选项：购买物品、或获得另外的细节例如书评以及流行等级。实际上，如果3-D相机12成功捕获书的标题，则另外的细节可包括在所投影图像上。假定主机54可访问本地或分布式数据库或可经由互联网进行自动查询。
书的(或者图像被投影到的任何其他对象的)坐标和其他特性也可用于控制投影参数诸如投影到图像中的光的强度。因此，例如当对象相对远离投影仪时投影仪可增加所投影的光的强度以及对于附近的对象降低光的强度。除此之外或作为另外一种选择，可评估对象的反射率(例如，使用来自相机36的图像数据)，并且当投影到较少反射的对象上时增加所投影的光的强度以及对于更多反射的对象降低光的强度。
如果在决定步骤120处的确定是否定的，则控制继续进行到决定步骤124。确定是否更多对象存在于布景中以用于进行处理。
如果在决定步骤124处的确定是肯定的，则控制返回到决定步骤118。
如果在决定步骤124处的确定是否定的，则方法的第二状态开始。假定应用程序没有通过二级选项，在二级选项中图像被投影到用户的手上，如果对3-D相机12可见的话。
控制现在继续进行到决定步骤126，在该步骤126中确定身体部分是否存在于布景中。这可使用上述美国专利申请公布No.2011/0052006的教导内容来实现。
如果在决定步骤126处的确定是肯定的，则控制继续进行到决定步骤128，在该决定步骤128中确定身体部分是否是手。
如果在决定步骤128处的确定是肯定的，则控制进行到最终步骤130，该决定步骤130类似于最终步骤122。然而，现在将不同的菜单(菜单-2)投影到手上，其可包括例如用于管理计算机应用程序的控制选项。在最终步骤122和最终步骤130两者中，图像被配置以便当与该内容进行交互时在用户的部分上形成自然的感觉。
另选地或除此之外，对象分析器可确定所考虑的身体部分是否是头部并且如果是的话，可指示投影仪降低或者关闭在头部的区域中的投影强度。下文参考图7更加详细地描述了该选项。
如果在决定步骤128处的确定是否定的，则控制继续进行到决定步骤132。确定是否更多对象存在于布景中以用于进行处理。
如果在决定步骤132处的确定是肯定的，则控制返回到决定步骤126。否则，控制传递到最终步骤134，在该最终步骤134中常规菜单显示被呈现在显示屏上。最终步骤134表示无法识别合适的外部对象以用于在其上对图像进行投影。应当理解，图4中所示的方法可改变并且被阐述为需要遵守管理应用程序的规范。各种对象和图像的识别和优先化可被编程以便适应特定布景的构造和程序本身的需要。
另选实施例1。
本实施例类似于第一实施例，除了方便的虚拟表面用于图像的投影和用户访问。现参照图5，其示出了屏幕136，该屏幕通常为移动信息设备138诸如蜂窝电话的屏幕，该蜂窝电话例如根据本发明的实施例投影到虚拟表面上的“智能手机”。对于方便互动和媒体消费来说这类设备太小了。屏幕136结合了具有和图1的实施例中的3-D相机12和内容投影仪16相同功能的微型投影仪140和感测设备142。用于此目的的投影仪是可用的，例如来自Microvision。在该实施例中，投影仪140将图像投影到相对于屏幕136被放大的虚拟投影仪表面144上。
在一个操作模式中，投影仪140可创建被显示在屏幕136上的信息的放大版本。
在另一个操作模式中，感测设备142捕获外部布景。移动信息设备138被配置为执行上面参考图4所描述的布景分析的方法。在该实例中，打开的书146在外部布景中被识别。在移动信息设备138中执行的应用程序已导致该投影仪140将书146的图像148投影到投影表面144，并且在图像148上叠加菜单150。菜单150邀请用户以$75.99的销售价格购买书146或取消显示。
另选实施例2。
在第一实施例中，图像已被描述为物理对象(例如，书或手)上的投影。在该实施例中，投影仪可被实施为将内容投影到可佩戴监视器(诸如眼镜)上的设备。在该实施例中，最终步骤122和最终步骤130在图4的方法中被修改。
现参照图6，其根据本发明的实施例示出具有可佩戴监视器的交互式三维视频显示系统。该系统被配置为将相应的图像投影到可佩戴监视器上而不是对象自身上。此类设备提供允许由参考图4描述的方法所产生的计算机生成的图像被生成并且任选地叠加在现实世界视图上的可能性。可在观察外部布景时通过借助部分反射的镜投影计算机生成的图像来操作此类设备。另选地，设备可以电子方式混合计算机生成的图像和现实世界视图。
在图6的实例中，用户152使用能够显示立体影像的可佩戴监视器154。可佩戴监视器154具有与系统10(图1)中的部件类似的部件或和与系统10中的部件类似的部件连接。类似于系统10，可佩戴监视器154适于分析外部布景。在该实例中，其识别书146，并且生成包含与图像148相同的信息的图像156。可佩戴监视器154可为独立单元或可结合系统10的其他元件。在图6的实施例中，可佩戴监视器154包括微型投影仪158和传感元件160。除此之外或作为另外一种选择，可佩戴监视器154可经由无线链路与外部处理器或感测设备通信。安装有显示器和透视眼镜显示器以用作可佩戴监视器154的合适的可佩戴头盔可购自Madison line of Novero(novero.com)或购自Lumus Ltd.,2Bergman Street Rehovot 76705,Israel。
虽然图像156实际上在可佩戴监视器154内建立，但在一些实施例中，用户152可认为它被叠加在图6所示空间的外部区域中。此类实施例中的可佩戴监视器154可配备有定位、头部追踪和眼部追踪子系统。
另选实施例3。
图7为根据本发明的另一个实施例的用于自适应投影的系统中的扫描投影仪160和相关联部件的示意性侧视图。投影仪160可用于系统10(图1)中，并且提供增强的功能以使用相同的扫描硬件，同时投影红外(IR)图案(用于3-D映射)和可在屏幕162或其他表面上查看的可见内容。在这种实施例中，图像捕获设备诸如相机178可捕获所投影的IR图案的图像，并且该图像被处理以便创建包含屏幕162的布景的3D图(在该实例中包含人164)。基于该3-D图，投影仪160然后可将可见图像投影到布景上，该可见图像被调整为布景中的对象的形状和色彩，如上所述。
如图7所示，光束组合器174诸如二向色反射器使来自辐射源170的IR辐射光束与来自可见光源172的可见光束成一条线。源172可为单色或多色的。例如，源172可包括用于单色照明的合适的激光二极管或LED，或其可包括不同色彩的多个激光二极管或LED(未示出)，其光束被调制且组合以便在视场中的每个点处投影期望的色彩。为了后一目的，组合器174可包括两个或更多个二向色元件(未示出)以便使所有不同色彩的光束和IR光束成一条线。
扫描镜176(或一对扫描镜-未示出)一般以光栅模式在相机178的视场上方扫描来自源170和源172的光束。当扫描光束时，处理器40(图2)中的投影仪控件44同时调制源170和源172：源170被调制以在场中的每点处生成针对3-D映射的期望图案，而源172根据将要投影到相同点处的可见图像(其可基于此点处的布景的3-D图)的像素值(强度和可能的色彩)被调制。因为可见光束和IR光束光学地成一条线并且共轴，所以可见图像自动地向3-D图注册。
相机178捕获从布景返回的IR辐射(以及，任选地也捕获可见辐射)。另选地，取代相机178，投影仪160还可包含另一种传感元件，诸如IR探测器(未示出)，其视场被扫描以便与投影扫描重合。此类探测机构例如在上述PCT国际公布WO 2010/020380中有所描述。除此之外或作为另外一种选择，投影仪还可包含用于可见光的一个或多个探测器以便形成布景的彩色图像。进一步除此之外或作为另外一种选择，源170可被调制以生成光的短脉冲(诸如短IR激光脉冲)，并且相机178或另一感测设备诸如雪崩光电二极管测量脉冲的渡越时间，例如，如在美国专利申请公布2013/0207970所描述的。在任何情况下，处理器40处理由相机178或另一感测设备产生的信号，以便形成布景的图像，该布景的图像可为3-D图像诸如3-D图或2-D图。
图7中所示的投影仪在将所投影的图像调整到布景的特性方面特别有用，因为它允许投影图案逐个像素地直接进行修改，以向提供布景信息的3-D图完美注册。作为特定实例，当处理器40检测到布景中人164的存在(通过合适地划分和分析3-D图)时，在人的头部的区域或至少眼部的区域中，源172的强度可被降低，可能到完全关闭源的程度。这样，投影仪160避免将强光照射到人的眼睛中，否则这可能造成不适并且甚至造成眼损伤。
可使用其他类型的成像和投影装置应用本实施例的原理，并且本实施例的原理不限于上述的特定种类的扫描投影仪和映射设备。例如，其他类型的映射和成像设备以及可在由合适的捕获设备捕获的2-D图像上或3-D图上操作的其他图像分析技术可为了此目的应用于对眼部的区域进行识别。类似地，基本上任何合适类型的电子驱动投影仪(包括标准视频投影仪)均可这样受控以降低眼部的区域的强度，只要投影仪将光束投影到其上的区域的图像或图对准投影仪的参照系。因此，当头部或眼部的位置在图像或图中找到时，所投影的光线的对应部分可相应地变暗。
本领域的技术人员将会理解，本发明不限于上文中已具体示出和描述的内容。相反地，本发明的范围包括上文所描述的各种特征的组合和子组合两者，以及本领域技术人员在阅读前述描述时将想到的不属于现有技术的所述各种特征的变型和修改。
权利要求书(按照条约第19条的修改)
1.一种用于处理数据的装置，包括：
投影仪，所述投影仪包括：
第一辐射源，所述第一辐射源发射红外辐射光束；
第二辐射源，所述第二辐射源发射可见光束，所述可见光束被调制以形成用于投影到布景的至少一部分上的内容；和
扫描光学器件，所述扫描光学器件被配置为将所述红外光束和所述可见光束两者同时投影到所述布景上；
感测设备，所述感测设备被配置为捕获从所述布景返回的所述红外辐射以及响应于所捕获的辐射来输出信号；和
处理器，所述处理器被配置为处理所述信号以便生成所述布景的三维图以及处理所述三维图以便检测人的眼部在所述布景中的位置，以及控制所述投影仪以便降低所述眼部的区域中的所投影的内容的强度。
2.根据权利要求1所述的装置，其中所述第一辐射源被控制以在所述布景上形成斑点图案，并且其中所述处理器被配置为从所述斑点图案获得所述布景的三维图以及处理所述三维图，以便识别所述眼部的所述区域。
3.根据权利要求1所述的装置，其中所述感测设备具有被扫描的视场，以便与所述布景上的所述红外光束和所述可见光束的投影重合。
4.根据权利要求1或权利要求3所述的装置，其中所述第一辐射源被调制以生成光的短脉冲，并且所述感测设备测量所述脉冲的渡越时间。
5.一种用于处理数据的方法，包括：
通过在布景上方扫描可见光束来将内容投影到所述布景的至少一部分上，同时调制所述可见光束以形成被投影到所述布景的至少一部分上的所述内容；
在所述布景上方同时扫描红外辐射光束与所述可见光束，捕获从所述布景返回的所述红外辐射，处理所捕获的辐射以生成所述布景的三维图，以及处理所述三维图以便检测人的眼部在所述布景中的位置；以及
控制对所述内容的投影以便降低所述眼部的区域中的所投影的内容的强度。
6.根据权利要求5所述的方法，其中扫描所述红外辐射光束包括控制所述红外辐射光束以在所述布景上形成斑点图案，并且其中处理所捕获的辐射包括从所述斑点图案获得所述布景的三维图以及处理所述三维图，以便识别所述眼部的所述区域。
7.根据权利要求5所述的方法，其中捕获所述红外辐射包括扫描用于感测所述红外辐射的感测设备的视场，以便与所述布景上的所述红外光束和所述可见光束的投影重合。
8.根据权利要求5或权利要求7所述的方法，其中扫描所述红外辐射光束包括调制所述红外辐射光束以生成光的短脉冲，并且其中捕获所述红外辐射包括测量所述脉冲的渡越时间。

Claims (12)

1.一种用于处理数据的装置，包括：
投影仪，所述投影仪被配置为将内容投影到布景的至少一部分上；和
处理器，所述处理器被配置为检测人的眼部在所述布景中的位置以及控制所述投影仪，以便降低所述眼部的区域中的所投影的内容的强度。
2.根据权利要求1所述的装置，并且包括感测设备，所述感测设备被配置为捕获来自所述布景的辐射以及响应于所捕获的辐射来输出信号，其中所述处理器被配置为处理所述信号以便识别所述眼部的所述区域。
3.根据权利要求2所述的装置，其中所述感测设备被配置为捕获所述布景的图像，并且所述处理器被配置为处理所述图像以便识别所述眼部的所述区域。
4.根据权利要求2所述的装置，其中所述处理器被配置为处理所述信号以便生成所述布景的三维图以及处理所述三维图以便识别所述眼部的所述区域。
5.根据权利要求2至4中任一项所述的装置，其中所述投影仪包括：
第一辐射源，所述第一辐射源发射红外辐射光束；
第二辐射源，所述第二辐射源发射可见光束，所述可见光束被调制以形成被投影到所述布景的至少一部分上的所述内容；和
扫描光学器件，所述扫描光学器件被配置为将所述红外光束和所述可见光束两者同时投影到所述布景上，
其中所述感测设备被配置为捕获从所述布景返回的所述红外辐射。
6.根据权利要求5所述的装置，其中所述第一辐射源被控制以在所述布景上形成斑点图案，并且其中所述处理器被配置为从所述斑点图案获得所述布景的三维图以及处理所述三维图，以便识别所述眼部的所述区域。
7.一种用于处理数据的方法，包括：
将内容投影到布景的至少一部分上；
检测人的眼部在所述布景中的位置；以及
控制对所述内容的投影以便降低所述眼部的区域中的所投影的内容的强度。
8.根据权利要求7所述的方法，并且包括捕获来自所述布景的辐射以及自动处理所捕获的辐射，以便识别所述眼部的所述区域。
9.根据权利要求8所述的方法，其中捕获所述辐射包括捕获所述布景的图像，并且其中处理所捕获的辐射包括处理所述图像以便识别所述眼部的所述区域。
10.根据权利要求8所述的方法，其中处理所捕获的辐射包括生成所述布景的三维图以及处理所述三维图，以便识别所述眼部的所述区域。
11.根据权利要求8至10中任一项所述的方法，其中对所述内容进行投影包括在所述布景上方扫描可见光束，同时调制所述可见光束以形成被投影到所述布景的至少一部分上的所述内容，并且
其中捕获所述辐射包括在所述布景上方同时扫描红外辐射光束与所述可见光束，以及捕获从所述布景返回的所述红外辐射。
12.根据权利要求11所述的方法，其中扫描所述红外辐射光束包括控制所述红外辐射光束以在所述布景上形成斑点图案，并且其中处理所捕获的辐射包括从所述斑点图案获得所述布景的三维图以及处理所述三维图，以便识别所述眼部的所述区域。
CN201380066771.4A 2012-12-23 2013-12-23 自适应投影仪 Active CN104871084B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/726,129 2012-12-23
US13/726,129 US9201501B2 (en) 2010-07-20 2012-12-23 Adaptive projector
PCT/IB2013/061269 WO2014097271A1 (en) 2012-12-23 2013-12-23 Adaptive projector

Publications (2)

Publication Number Publication Date
CN104871084A true CN104871084A (zh) 2015-08-26
CN104871084B CN104871084B (zh) 2016-08-17

Family

ID=50979427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380066771.4A Active CN104871084B (zh) 2012-12-23 2013-12-23 自适应投影仪

Country Status (3)

Country Link
US (2) US9201501B2 (zh)
CN (1) CN104871084B (zh)
WO (1) WO2014097271A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306856A (zh) * 2015-10-26 2016-02-03 全普光电科技(上海)有限公司 微投影仪安全装置
CN115103170A (zh) * 2022-06-20 2022-09-23 岚图汽车科技有限公司 投影仪控制方法及装置、车辆

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
CN103347437B (zh) 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US20130234930A1 (en) * 2012-03-07 2013-09-12 Julian Palacios Goerger Scanning mirror laser and projector head-up display glasses
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US10528853B1 (en) 2012-06-29 2020-01-07 Amazon Technologies, Inc. Shape-Based Edge Detection
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9310895B2 (en) 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
CN102970548B (zh) * 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
EP2926225A4 (en) 2013-02-14 2016-07-27 Apple Inc FLEXIBLE ROOM CONTROLS
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9195124B2 (en) * 2013-12-20 2015-11-24 Plantronics, Inc. Automatic projector safety protocols
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
JP6445784B2 (ja) * 2014-05-16 2018-12-26 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
WO2017023208A1 (en) * 2015-08-05 2017-02-09 Heptagon Micro Optics Pte. Ltd. Intelligent illumination systems that use modulated light
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
WO2017127494A1 (en) 2016-01-22 2017-07-27 Corning Incorporated Wide field personal display
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
US20180007328A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Viewpoint adaptive image projection system
US9766060B1 (en) 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
DE202016105502U1 (de) 2016-10-04 2018-01-05 Sick Ag Optoelektronischer Sensor zur optischen Erfassung eines Überwachungsbereichs
DE102016118758A1 (de) 2016-10-04 2018-04-05 Sick Ag Optoelektronischer Sensor und Verfahren zur optischen Erfassung eines Überwachungsbereichs
IL309523A (en) * 2017-04-24 2024-02-01 Magic Leap Inc Optical flow tracking of backscattered laser speckle samples
US10091482B1 (en) 2017-08-04 2018-10-02 International Business Machines Corporation Context aware midair projection display
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
CN111433729A (zh) 2017-12-04 2020-07-17 惠普发展公司，有限责任合伙企业 外围显示设备
KR102546320B1 (ko) 2018-06-18 2023-06-22 삼성전자주식회사 구조광 프로젝터 및 이를 포함하는 전자 장치
CN114008514A (zh) 2019-04-15 2022-02-01 奇跃公司 用于电磁跟踪的传感器融合
US20210119406A1 (en) * 2019-10-15 2021-04-22 Wuhan Raycus Fiber Laser Technologies Co., Ltd. Multi-module fiber laser capable of monitoring abnormalities of optical modules in real time
US11675075B2 (en) * 2019-10-15 2023-06-13 Beijing Voyager Technology Co., Ltd. Dynamic laser power control in light detection and ranging (LiDAR) systems
US11475242B2 (en) * 2020-07-27 2022-10-18 Seiko Epson Corporation Domain adaptation losses
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117132A1 (en) * 2003-12-01 2005-06-02 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
CN201177720Y (zh) * 2007-11-21 2009-01-07 光峰科技股份有限公司 一种具有人眼保护功能的投影装置
CN101424864A (zh) * 2007-11-01 2009-05-06 鸿富锦精密工业（深圳）有限公司 投影装置保护系统及保护方法
CN102566220A (zh) * 2010-12-20 2012-07-11 鸿富锦精密工业（深圳）有限公司 投影装置保护系统及保护方法
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection

Family Cites Families (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4550250A (en) 1983-11-14 1985-10-29 Hei, Inc. Cordless digital graphics input device
US4789921A (en) 1987-02-20 1988-12-06 Minnesota Mining And Manufacturing Company Cone shaped Fresnel reflector
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5588139A (en) 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US5973700A (en) 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
EP0768511A1 (en) 1995-10-16 1997-04-16 European Community Optical three-dimensional profilometry method based on processing speckle images in partially coherent light, and interferometer implementing such a method
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6049327A (en) 1997-04-23 2000-04-11 Modern Cartoons, Ltd System for data management based onhand gestures
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6076928A (en) 1998-06-15 2000-06-20 Fateh; Sina Ideal visual ergonomic system for computer users
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6252988B1 (en) 1998-07-09 2001-06-26 Lucent Technologies Inc. Method and apparatus for character recognition using stop words
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
CN1145872C (zh) 1999-01-13 2004-04-14 国际商业机器公司 手写汉字自动分割和识别方法以及使用该方法的系统
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
GB9913687D0 (en) 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7548874B2 (en) 1999-10-21 2009-06-16 International Business Machines Corporation System and method for group advertisement optimization
US6507353B1 (en) 1999-12-10 2003-01-14 Godot Huard Influencing virtual actors in an interactive environment
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
JP2001307134A (ja) 2000-04-19 2001-11-02 Sony Corp 三次元モデル処理装置および三次元モデル処理方法、並びにプログラム提供媒体
US20070078552A1 (en) 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
EP1373967A2 (en) 2000-06-06 2004-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. The extended virtual table: an optical extension for table-like projection systems
US7042442B1 (en) 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
JP3974359B2 (ja) 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
US6816615B2 (en) 2000-11-10 2004-11-09 Microsoft Corporation Implicit page breaks for digitally represented handwriting
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
JP4337266B2 (ja) 2001-01-31 2009-09-30 コニカミノルタセンシング株式会社 ３次元測定方法および３次元測定システム
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US20040135744A1 (en) 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US6822570B2 (en) 2001-12-20 2004-11-23 Calypso Medical Technologies, Inc. System for spatially adjustable excitation of leadless miniature marker
JP4050055B2 (ja) 2002-01-10 2008-02-20 株式会社リコー 手書き文字一括変換装置、手書き文字一括変換方法およびプログラム
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US9959463B2 (en) 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7370883B2 (en) 2002-06-03 2008-05-13 Intelligent Mechatronic Systems, Inc. Three dimensional occupant position sensor
US6857746B2 (en) 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
SE0202664L (sv) 2002-09-09 2003-11-04 Zenterio Ab Grafiskt användargränssnitt för navigering och selektion från olika valbara alternativ presenterade på en bildskärm
US7526120B2 (en) 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
CN100377043C (zh) 2002-09-28 2008-03-26 皇家飞利浦电子股份有限公司 三维手写识别的方法及其系统
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6977654B2 (en) 2002-10-30 2005-12-20 Iviz, Inc. Data visualization with animated speedometer dial charts
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP2004199496A (ja) 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
CN1512298A (zh) 2002-12-26 2004-07-14 �ʼҷ����ֵ��ӹɷ����޹�˾ 三维手写识别的方法及其系统
US7333113B2 (en) 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
US7573480B2 (en) 2003-05-01 2009-08-11 Sony Corporation System and method for capturing facial and body motion
KR100518824B1 (ko) 2003-03-17 2005-10-05 삼성전자주식회사 필기 모션 획 구분 인식 시스템 및 그 인식방법
KR100465241B1 (ko) 2003-03-17 2005-01-13 삼성전자주식회사 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7358972B2 (en) 2003-05-01 2008-04-15 Sony Corporation System and method for capturing facial and body motion
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP3977303B2 (ja) 2003-08-21 2007-09-19 シャープ株式会社 位置検出システム、位置検出システムにおける発信装置および受信装置
US7317450B2 (en) 2003-09-26 2008-01-08 Khomo Malome T Spatial chirographic sign reader
US7590941B2 (en) 2003-10-09 2009-09-15 Hewlett-Packard Development Company, L.P. Communication and collaboration system using rich media environments
CN102034197A (zh) 2003-10-24 2011-04-27 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7302099B2 (en) 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1563799B2 (de) 2004-02-11 2012-11-28 BrainLAB AG Verstellbare Markeranordnung
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
WO2005082075A2 (en) 2004-02-25 2005-09-09 The University Of North Carolina At Chapel Hill Systems and methods for imperceptibly embedding structured light patterns in projected color images
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7925549B2 (en) 2004-09-17 2011-04-12 Accenture Global Services Limited Personalized marketing architecture
US7289227B2 (en) 2004-10-01 2007-10-30 Nomos Corporation System and tracker for tracking an object, and related methods
US8487879B2 (en) 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US20100036717A1 (en) 2004-12-29 2010-02-11 Bernard Trest Dynamic Information System
EP1846115A4 (en) 2005-01-26 2012-04-25 Bentley Kinetics Inc METHOD AND SYSTEM FOR ANALYZING AND TEACHING ATHLETIC MOVEMENT
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US7686451B2 (en) 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
CN101243471B (zh) 2005-08-19 2013-03-06 皇家飞利浦电子股份有限公司 对用户的运动进行分析的系统和方法
JP2009505305A (ja) 2005-08-22 2009-02-05 イェ，チンジョン 自由空間のポインティング及び手書き手段
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
KR101331543B1 (ko) 2006-03-14 2013-11-20 프라임센스 엘티디. 스페클 패턴을 이용한 3차원 센싱
US20070230789A1 (en) 2006-04-03 2007-10-04 Inventec Appliances Corp. Method of controlling an electronic device by handwriting
WO2007132451A2 (en) 2006-05-11 2007-11-22 Prime Sense Ltd. Modeling of humanoid forms from depth maps
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
US7934156B2 (en) 2006-09-06 2011-04-26 Apple Inc. Deletion gestures on a portable multifunction device
JP4747232B2 (ja) 2006-09-06 2011-08-17 独立行政法人産業技術総合研究所 小型携帯端末
CN101558655A (zh) 2006-11-29 2009-10-14 F.珀斯扎特胡有限公司 三维投影显示器
US8005294B2 (en) 2006-11-29 2011-08-23 The Mitre Corporation Cursive character handwriting recognition system and method
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP2008242929A (ja) 2007-03-28 2008-10-09 Oki Data Corp 手書き入力システム
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US8100769B2 (en) 2007-05-09 2012-01-24 Nintendo Co., Ltd. System and method for using accelerometer outputs to control an object rotating on a display
US8065624B2 (en) 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TW200907764A (en) 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20090078473A1 (en) 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
TWI343544B (en) 2007-09-26 2011-06-11 Inventec Appliances Corp A handwriting record device
US8195499B2 (en) 2007-09-26 2012-06-05 International Business Machines Corporation Identifying customer behavioral types from a continuous video stream for use in optimizing loss leader merchandizing
WO2009062153A1 (en) 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
JP4931788B2 (ja) 2007-12-18 2012-05-16 日本電信電話株式会社 情報提示制御装置及び情報提示制御方法
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20120204133A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
CA2714534C (en) 2008-02-28 2018-03-20 Kenneth Perlin Method and apparatus for providing input to a processor, and a sensor pad
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US8165398B2 (en) 2008-05-30 2012-04-24 Sony Ericsson Mobile Communications Ab Method and device for handwriting detection
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP5205187B2 (ja) 2008-09-11 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 入力システム及び入力方法
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US20100149096A1 (en) 2008-12-17 2010-06-17 Migos Charles J Network management using interaction with display surface
US20120202569A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
JP2012515966A (ja) 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法
US20100199228A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US20100235786A1 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
KR101596890B1 (ko) 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US20110102763A1 (en) * 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8587532B2 (en) 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20110164032A1 (en) 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110248914A1 (en) 2010-04-11 2011-10-13 Sherr Alan B System and Method for Virtual Touch Typing
US20110254765A1 (en) 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
KR101334107B1 (ko) 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8384683B2 (en) 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
WO2012024022A2 (en) 2010-08-20 2012-02-23 University Of Massachusetts Hand and finger registration for control applications
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US20120169583A1 (en) 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
CN103347437B (zh) 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117132A1 (en) * 2003-12-01 2005-06-02 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
CN101424864A (zh) * 2007-11-01 2009-05-06 鸿富锦精密工业（深圳）有限公司 投影装置保护系统及保护方法
CN201177720Y (zh) * 2007-11-21 2009-01-07 光峰科技股份有限公司 一种具有人眼保护功能的投影装置
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
CN102566220A (zh) * 2010-12-20 2012-07-11 鸿富锦精密工业（深圳）有限公司 投影装置保护系统及保护方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306856A (zh) * 2015-10-26 2016-02-03 全普光电科技(上海)有限公司 微投影仪安全装置
CN105306856B (zh) * 2015-10-26 2018-06-29 全普光电科技(上海)有限公司 微投影仪安全装置
CN115103170A (zh) * 2022-06-20 2022-09-23 岚图汽车科技有限公司 投影仪控制方法及装置、车辆
CN115103170B (zh) * 2022-06-20 2023-10-31 岚图汽车科技有限公司 投影仪控制方法及装置、车辆

Also Published As

Publication number Publication date
US9740298B2 (en) 2017-08-22
US20130106692A1 (en) 2013-05-02
US9201501B2 (en) 2015-12-01
CN104871084B (zh) 2016-08-17
US20160041625A1 (en) 2016-02-11
WO2014097271A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN104871084A (zh) 自适应投影仪
US9158375B2 (en) Interactive reality augmentation for natural interaction
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
US9846968B2 (en) Holographic bird's eye view camera
US9740282B1 (en) Gaze direction tracking
US20120105473A1 (en) Low-latency fusing of virtual and real content
US11156843B2 (en) End-to-end artificial reality calibration testing
WO2014105646A1 (en) Low-latency fusing of color image data in a color sequential display system
US11699259B2 (en) Stylized image painting
US11843758B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
US20220239886A1 (en) Depth sculpturing of three-dimensional depth images utilizing two-dimensional input selection
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
US20210306608A1 (en) Multi-dimensional rendering
US20230412779A1 (en) Artistic effects for images and videos

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant