CN104584079A - 用于增强现实应用程序的装置和方法 - Google Patents

用于增强现实应用程序的装置和方法 Download PDF

Info

Publication number
CN104584079A
CN104584079A CN201380044121.XA CN201380044121A CN104584079A CN 104584079 A CN104584079 A CN 104584079A CN 201380044121 A CN201380044121 A CN 201380044121A CN 104584079 A CN104584079 A CN 104584079A
Authority
CN
China
Prior art keywords
mobile device
result
pixel region
ground surface
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380044121.XA
Other languages
English (en)
Other versions
CN104584079B (zh
Inventor
杨瑞多
毕宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104584079A publication Critical patent/CN104584079A/zh
Application granted granted Critical
Publication of CN104584079B publication Critical patent/CN104584079B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

在一特定实施例中，一种方法包含在移动装置处评估第一像素区域以产生第一结果。所述方法进一步包含在所述移动装置处评估第二像素区域以产生第二结果。基于将阈值和所述第一结果与所述第二结果之间的差异进行比较，做出所述第二像素区域对应于场景的背景部分或所述场景的前景部分的确定。

Description

用于增强现实应用程序的装置和方法
相关申请案的交叉参考
本申请案主张2012年9月11日申请且标题为“用于移动装置的增强现实应用程序的装置和方法”的第61/699,615号美国临时专利申请案的优先权，且主张2012年10月12日申请且标题为“用于增强现实应用程序的装置和方法”的第13/651,098号美国非临时专利申请案的优先权，以上申请案每一者的内容以全文引用方式并入本文。
技术领域
本发明大体上涉及用于移动装置的增强现实应用程序。
背景技术
技术的进步已导致较小且较强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包含无线计算装置，例如便携式无线电话、个人数字助理(PDA)和寻呼装置，其体积小、重量轻且易于由用户携带。更具体来说，例如蜂窝电话和因特网协议(IP)电话等便携式无线电话可经由无线网络传送语音和数据包。此外，许多此类无线电话包含并入其中的其它类型的装置。举例来说，无线电话还可包含数字静态相机、数码摄像机、数字记录器，和音频文件播放器。而且，此类无线电话可处理可执行指令，包含软件应用程序，例如可用以接入网络的网络浏览器应用程序。由此，这些无线电话可包含大量计算能力。
一些电子装置使用增强现实应用程序来将计算机生成的图像添加到基于现实的图像或视频。举例来说，当移动装置的相机指向目标区域时，游戏可能在移动装置的显示器上再生目标区域的图像，同时通过添加计算机生成的“虚拟的”对象而增强所述图像。此类应用程序可消耗电子装置的大量处理资源且可对用户与所述虚拟对象之间的交互的检测带来挑战。
一些电子装置利用“标记”来实现位置检测。举例来说，移动装置的用户可打印具有可由移动装置的应用程序辨识的大小和模式的图像。当移动装置的相机指向标记时，应用程序可“查看”所述标记来估计所述标记与移动装置之间的距离。然而，使用此类标记对于用户来说可为不方便的且令人讨厌的。另外，因为在正处理应用程序时移动装置可能相对于标记移动，所以移动装置可需要重复地再评估所述标记来再估计地面或其它表面的位置。
发明内容
根据本发明的移动装置可利用一或多种技术来实现增强现实应用程序的高效处理。在至少一些实施例中，所述一或多种技术实现用户与“虚拟对象”之间的交互而无需利用标记。举例来说，移动装置可使用积分图像技术来对与待显示图像相关联的背景进行有效分段(例如，减去)。作为另一实例，移动装置可利用传感器数据来确定地表面相对于移动装置的位置，因此实现虚拟对象在地表面上的放置而无需使用标记。作为另一实例，移动装置可使用立体相机来确定与所关注场景相关联的深度信息(例如，深度分布)。所述深度信息可用以确定虚拟对象的位置(例如，虚拟对象是否在前景对象的前方显示或由前景对象遮挡)。
在一特定实施例中，方法包含在移动装置处评估第一像素区域以产生第一结果。所述方法进一步包含在所述移动装置处评估第二像素区域以产生第二结果。基于将阈值和所述第一结果与所述第二结果之间的差异进行比较，做出所述第二像素区域对应于场景的背景部分或所述场景的前景部分的确定。
在另一特定实施例中，移动装置包含评估器，其经配置以评估第一像素区域以产生第一结果。所述评估器进一步经配置以评估第二像素区域以产生第二结果。所述移动装置进一步包含经配置以基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定第二像素区域对应于场景的背景部分或所述场景的前景部分的逻辑。
在另一特定实施例中，移动装置包含用于评估第一像素区域以产生第一结果且进一步用于评估第二像素区域以产生第二结果的装置。所述移动装置进一步包含用于基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分或所述场景的前景部分的装置。
在另一特定实施例中，计算机可读非暂时性媒体存储指令，所述指令可由移动装置的处理器执行以在所述移动装置处评估第一像素区域以产生第一结果且在所述移动装置处评估第二像素区域以产生第二结果。所述指令进一步可由所述处理器执行以基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分或所述场景的前景部分。
在另一特定实施例中，方法包含使用移动装置的传感器确定所述移动装置的纵向范围相对于地表面的角度。所述方法进一步包含估计相对于所述地表面的第一距离。所述第一距离与从所述移动装置的中心到所述地表面的第一投影相关联，其中所述第一投影垂直于所述移动装置的所述纵向范围。基于所述角度和所述第一距离估计第二距离。所述第二距离与从所述移动装置的中心到地表面的第二投影相关联，其中所述第二投影垂直于所述地表面。
在另一特定实施例中，移动装置包含经配置以确定所述移动装置的纵向范围相对于地表面的角度的传感器。所述移动装置进一步包含估计器。所述估计器估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围。所述估计器进一步基于所述角度和第一距离估计与从所述移动装置的中心到地表面的第二投影相关联的第二距离。所述第二投影垂直于地表面。
在另一特定实施例中，移动装置包含用于确定所述移动装置的纵向范围相对于地表面的角度的装置。所述移动装置进一步包含用于估计第一距离且用于基于所述角度和第一距离估计第二距离的装置。所述第一距离与从所述移动装置的中心到所述地表面的第一投影相关联，其中所述第一投影垂直于所述移动装置的所述纵向范围。所述第二距离与从所述移动装置的中心到地表面的第二投影相关联。所述第二投影垂直于地表面。
在一特定实施例中，计算机可读非暂时性媒体存储指令，所述指令可由移动装置的处理器执行以使用所述移动装置的传感器确定所述移动装置的纵向范围相对于地表面的角度。所述指令进一步可由所述处理器执行以估计第一距离且基于所述角度和第一距离估计第二距离。所述第一距离与从所述移动装置的中心到所述地表面的第一投影相关联，其中所述第一投影垂直于所述移动装置的所述纵向范围。所述第二距离与从所述移动装置的中心到地表面的第二投影相关联。所述第二投影垂直于地表面。
由所揭示的实施例中的至少一者提供的一个特定优点是图像的前景和背景部分的高效识别。举例来说，根据至少一个说明性实施例，移动装置使用像素强度求和技术，例如积分图像技术，来有效识别图像的前景和背景部分。此外，所揭示的实施例中的至少一些使得能够使用并不需要使用标记的增强现实应用程序，进而使所述增强现实应用程序对于用户更方便。
本发明的其它方面、优点和特征将在审阅全部申请案之后变得显而易见，所述全部申请案包含以下部分：附图说明、具体实施方式和权利要求书。
附图说明
图1是场景和用以产生所述场景的图像的移动装置的特定实施例的图；
图2A是图1的移动装置的特定实施例的框图；
图2B是图1的移动装置的另一特定实施例的框图；
图2C是图1的移动装置的另一特定实施例的框图；
图3A是图1和2A到2C中的一或多者或其组合的移动装置的操作方法的特定实施例的流程图；
图3B是图1和2A到2C中的一或多者或其组合的移动装置的操作方法的另一特定实施例的流程图；
图4是用以估计地表面的位置的移动装置的特定实施例的框图；
图5是图1、2A到2C和4中的一或多者或其组合的移动装置的操作方法的特定实施例的流程图；
图6是基于与立体相机数据相关联的深度分布产生图像的移动装置的特定实施例的框图；
图7是说明基于立体相机数据增加图6的图像的一部分的分辨率的特定实例的框图；
图8是例如图1、2A到2C、4和6中的一或多者或其组合的移动装置等移动装置的操作方法的特定实施例的流程图；以及
图9是例如图1、2A到2C、4和6中的一或多者或其组合的移动装置等移动装置的特定实施例的框图。
具体实施方式
图1描绘移动装置104和场景108的特定说明性实施例。在图1的特定实例中，移动装置104包含相机110、评估器120、背景/前景分析器140和显示器150。场景108可包含背景对象160、前景对象170和位置180。所述位置180可对应于将例如结合增强现实应用程序在显示器150处显示的虚拟对象，如下文中参考显示器150的操作进一步描述。举例来说，显示器150可显示对应于场景108的图像152。
在操作中，相机110可俘获场景108的图像。举例来说，相机110可在第一时间产生第一像素区域112(例如，多个像素，例如矩阵或表)。作为另一实例，相机110可在与第一时间不同的时间(例如，在第一时间之后的第二时间)产生第二像素区域114。第一像素区域112可与在第一时间移动装置104和场景108的定向(例如，定位)相关联。第二像素区域114可与在第二时间移动装置104和场景108的定向(例如，定位)相关联。在至少一个实施例中，像素区域112、114各自用以确定图像152的对应于背景对象160的背景部分，如下文中参考至少图2A进一步描述。在至少另一实施例中，像素区域112、114中的一或多者用以确定图像152的对应于前景对象170的前景部分，如下文中参考至少图2B和2C进一步描述。
评估器120可根据一操作而评估第一像素区域112以产生第一结果122。在至少一个实施例中，所述操作是对第一像素区域112的像素强度进行求和的像素强度求和操作。举例来说，所述操作可为积分图像操作(也被称作求和区域操作)且第一结果122可为与第一像素区域112相关联的积分图像(也被称作求和区域表)。在第一像素区域112的位置(m，n)处的积分图像可为：
Σ x ≤ m ; y ≤ n I ( x , y ) ,
其中I(x，y)是第一像素区域112中具有位置(x，y)的像素强度值。因此，积分图像操作可产生多个值(例如，表)，其中每一值具有对应于第一像素区域112的特定像素的位置且指示第一像素区域112的在所述特定像素的“左上方”(包含所述特定像素)的那些像素强度值的总和。为进一步图解说明，进一步参考图2A到2C描述特定积分图像操作的实例。评估器120还可根据所述操作评估第二像素区域114以产生第二结果124。第二结果124可为与第二像素区域114相关联的积分图像。
背景/前景分析器140可响应于评估器120。在一特定实施例中，背景/前景分析器140将例如结果122、124等结果进行比较以产生图像152的背景部分和图像152的前景部分中的一或多者。举例来说，背景/前景分析器140可比较结果122、124以确定结果122、124之间的差异。在至少一个实施例中，背景/前景分析器140比较所述差异与阈值(例如，预定阈值)以确定结果124是否对应于背景对象160和前景对象170中的一或多者。在至少一个实施例中，使用的阈值是百分比(例如，结果122、124之间的百分比差异)。
背景/前景分析器140使用的阈值可通过特定上下文和应用程序确定(例如，可以实验方式确定)。在至少一个实施例中，所述阈值相对于正俘获的图像是“自适应的”。举例来说，当背景和前景较为不同时(例如，当前景和背景是不同颜色时)，则可增加阈值。当背景和前景较少不同时(例如，当背景和前景是相似颜色时)，则可减少所述阈值。在特定说明性实施例中，所述阈值是“最小”值与“最大”值之间的变量，例如1与255之间(例如，所述阈值可设定成20)。因此，背景/前景分析器140可跟踪前景与背景之间的差异且相应地调整阈值。背景/前景分析器140还可利用多个阈值，例如用于确定图像152的背景部分的第一或“背景”阈值和用于确定图像152的前景部分的第二或“前景”阈值，如进一步参考图2A到2C所描述。
为了借助于特定实例进一步图解说明，如果在第一时间第一像素区域112对应于场景108的第一区(例如，由相机110俘获的图像的多个区中的一者)且在第二时间第二像素区域114对应于场景的第一区，那么如果所述差异经确定为低(例如，不超过阈值)，则所述场景的第一区可经确定为在第一时间与第二时间之间相对静止或稳定。场景108的第一区可为所俘获图像的选定部分，且可在操作期间改变所述选定部分以评估所俘获图像的每一部分。因此，所述第一区可经识别为场景108的背景部分(例如，背景对象160的一部分)。此类静止对象的实例可为图1中所描绘的太阳。如果所述差异经确定为高(例如，超过阈值)，那么场景108的第一区可经确定为在第一时间与第二时间之间已移动或改变。因此，第一区可经识别为场景108的前景部分(例如，前景对象170的一部分)。参与“虚拟足球”游戏(例如，结合增强现实游戏)的用户是其中前景对象可展现可能超过阈值的移动的应用程序的实例。
参考所述第一区描述的用来识别图像的前景和背景部分的前述技术也可以串行或并行地应用于场景的一或多个额外区，以识别整个场景的前景和背景部分。在至少一个实施例中，场景108的所俘获图像的每一区可与场景108的至少一个先前所俘获图像的对应区进行比较，以便识别所俘获图像的背景和/或前景部分。
显示器150可响应于背景/前景分析器140以显示图像152。图像152可对应于场景108。举例来说，在图1的特定图示中，图像152包含对应于背景对象160的背景部分(即，太阳)、对应于前景对象170的前景部分(即，用户)和对应于位置180的虚拟对象(即，结合例如游戏等增强现实应用程序产生的球)。参考图2A到2C进一步描述移动装置104的实例操作。
将了解，参考图1描述的前述技术可实现用于移动装置104的简化背景/前景分析。举例来说，可基于图像的区中像素强度的改变程度而确定对象运动。通过使用以上方法，移动装置104可避免在移动装置104正处于运动中且处理增强现实应用程序时重复地再评估定向和位置数据。因此，改善了背景/前景分析的计算效率。
图2A描绘参考图1描述的移动装置104的特定说明性实施例。可参考图1描述图2A的移动装置104的各种组件和功能性。举例来说，图2A的移动装置104可包含相机110、评估器120、背景/前景分析器140和显示器150。在图2A的特定实例中，评估器120包含用来执行例如积分图像操作等操作的电路204，如下文进一步解释。此外，在图2A的特定实例中，背景/前景分析器140包含比较电路130，其可经配置以基于比较逐次积分图像与背景阈值之间的至少一个差异而确定背景模型212，如下文进一步解释。
在操作中，评估器120可响应于各自由相机110产生的第一像素区域112A和第二像素区域114A。举例来说，电路204可基于像素区域112A、114A而执行操作以分别产生第一结果122A和第二结果124A。在至少一个实施例中，像素区域112A、114A和结果122A、124A分别对应于图1的像素区域112、114和结果122、124。在至少一个实施例中，由电路204执行的操作是积分图像操作，第一结果122A是与第一像素区域112A相关联的积分图像，且第二结果124A是与第二像素区域114A相关联的积分图像。为了说明，如果第一像素区域112A由像素强度值矩阵表示，那么在第一像素区域112A的位置(m，n)处的积分图像是
Σ x ≤ m ; y ≤ n I ( x , y ) ,
其中I(x，y)是在所述像素强度值矩阵中具有位置(x，y)的像素强度值。举例来说，对于输入到电路204的像素强度值矩阵
3 5 1
1 2 1
4 2 4
电路204可确定对应积分图像为：
3 8 9
4 11 13
8 17 23
在至少一个实施例中，背景/前景分析器140响应于由电路204输出的结果(例如，结果122A、124A)以产生背景模型212。根据一个实例，比较电路130可确定结果122A、124A之间的差异。如果所述差异并不超过与确定背景模型相关联的阈值(即，“背景阈值”)，那么可做出像素区域112A、114A表示场景的大体上“稳定”或“稳固”图像(例如，图1的场景108的背景对象160)的确定。在获取所述大体上“稳定”或“稳固”图像后，即刻可使用像素区域112A、114A和结果122A、124A中的一或多者来构造背景模型212，以使用背景模型212在显示器150处再现背景部分(例如，结合增强现实应用程序)，或其组合。
在至少一个实施例中，背景模型212存储在移动装置104处(例如，由背景/前景分析器140存储，如图2A的实例中所描绘)且在后续计算中使用，如进一步参考至少图2B和2C所描述。举例来说，结果124A可存储在移动装置104处(例如，作为例如背景模型212等背景模型的部分)且用以确定图像的前景部分，如进一步参考至少图2B和2C所描述。根据进一步实施例，背景模型可由例如图2A的移动装置104等移动装置发送和接收。根据再进一步实施例，可替代地或除前述技术之外，背景模型可基于“用户指定”技术而产生，如进一步参考图8所描述。
如果所述差异超过所述阈值，那么可做出像素区域112A、114A并不表示场景的大体上“稳定”或“稳固”图像的确定，且可俘获场景的额外图像(例如，通过将信号发送到相机110或与相机110相关联的相机控制器，如进一步参考图9所描述)，且分析所述额外图像直到获得大体上“稳定”或“稳固”像素集合(例如，背景模型)为止。
在特定实施例中，响应于背景/前景分析器140确定所述差异大于或等于阈值，背景/前景分析器140可确定第二像素区域114A对应于前景部分。进一步参考至少图2B和2C描述前景部分的确定。
将了解，参考图2A描述的积分图像技术是计算上稳健的且可实现用于移动装置104的简化背景/前景分析。举例来说，可基于图像的区中像素强度的改变程度(例如，所述改变程度是否超过阈值)而非基于标记的位置和定位来确定对象运动。因为图2A的移动装置104可避免在移动装置处于运动中且正处理增强现实应用程序时重复地再评估标记的定向和位置，所以可减少产生背景模型212的计算复杂性。
图2B描绘参考图1描述的移动装置104的特定说明性实施例。可参考图1和2A描述图2B的移动装置104的各种组件和功能性。举例来说，图2B的移动装置104可包含相机110、评估器120、背景/前景分析器140和显示器150。在图2B的特定实例中，评估器120包含图2A的电路204。此外，在图2B的特定实例中，背景/前景分析器140包含图2A的比较电路130，其可经配置以通过比较积分图像与背景模型之间的差异与前景阈值而确定前景/背景部分，如下文进一步解释。
在操作中，评估器120可响应于各自由相机110产生的第一像素区域112B和第二像素区域114B。举例来说，电路204可基于像素区域112B、114B而执行操作以分别产生第一结果122B和第二结果124B。在至少一个实施例中，像素区域112B、114B和结果122B、124B分别对应于图1的像素区域112、114和结果122、124。在至少一个实施例中，由电路204执行的操作是积分图像操作，第一结果122B是与第一像素区域112B相关联的积分图像，且第二结果124B是与第二像素区域114B相关联的积分图像。
在至少一个实施例中，图2B的比较电路130经配置以比较操作的结果(例如，结果122B、124B)与背景模型212以确定前景模型。举例来说，根据特定说明性实施例，比较电路130可比较第一结果122B与背景模型212(或背景模型212的一部分)以确定第一差异(例如，两个图像积分之间的差异)。如果所述第一差异并不超过与前景模型相关联的阈值(即，“前景阈值”)，那么背景/前景分析器140可基于所述第一差异确定第一结果122B并不对应于场景的前景部分(例如，图1的场景108的前景对象170，或其一部分)。也就是说，因为所述第一差异指示第一结果122B“相似”于或大体上“匹配”背景模型212，所以背景/前景分析器140可确定第一像素区域112B并不对应于场景的前景对象(例如，并不对应于“动态”对象，例如在运动中的用户，或其一部分)。
继续前述实例，响应于确定第一结果122B并不超过前景阈值，背景/前景分析器140可致使相机110俘获第二像素区域114B。比较电路可响应于由电路204基于第二像素区域114B产生的第二结果124B。比较电路140可比较第二结果124B与背景模型212以产生第二差异。如果所述第二差异超过前景阈值，那么背景/前景分析器140可基于所述第二差异确定第二结果124B并不大体上“匹配”或不“相似”于背景模型212。背景/前景分析器140因此可确定第二像素区域114B对应于场景的前景对象(例如，对应于“动态”对象，例如在运动中的用户，或其一部分)。第二像素区域114B和第二结果124B中的一或多者可用以例如结合增强现实应用程序在显示器150处再现前景对象的表示。
将了解，结合图2B描述的技术可实现用于移动装置的简化前景模型产生。举例来说，可基于图像的区中像素强度的改变程度(例如，所述改变程度是否超过阈值)而非标记的定位和位置来确定对象运动。因为移动装置可避免在移动装置处于运动中且正在处理增强现实应用程序时重复地再评估标记的定向和位置，所以可减少背景/前景分析的计算复杂性。
在至少一个实施例中，响应于确定所述第一差异并不超过阈值，也可将第一结果122B“细分”为若干部分(例如，子块)。可将所述经细分部分中的一或多者与背景模型212进行比较。进一步参考至少图2C描述此类技术。
图2C描绘参考图1描述的移动装置104的特定说明性实施例。可参考图1、2A和2C描述图2C的移动装置104的各种组件和功能性。举例来说，图2C的移动装置104可包含相机110、评估器120、背景/前景分析器140和显示器150。在图2C的特定实例中，评估器120包含图2A和2B的电路204且进一步包含存储装置216。背景/前景分析器140可包含图2A和2B的比较电路130且可进一步包含快速积分图像计算器220。快速积分图像计算器220可包含经配置以使用一个加法运算和两个减法运算执行“快速积分图像操作”的电路，如下文中进一步描述。
在操作中，相机110可俘获场景的图像，例如图1的场景108。举例来说，第一像素区域112C可对应于在第一时间俘获的场景的图像。电路204可对第一像素区域112C执行操作以产生第一结果122C。第一像素区域112C和第一结果122C可分别对应于图1的第一像素区域112和第一结果122。
在一特定实施例中，第一像素区域112C对应于由相机110俘获的整个图像的像素且第一结果122C对应于与整个图像相关联的积分图像(例如，第一结果122C可为“高水平”积分图像)。背景/前景分析器140可响应于由电路204产生的高水平积分图像。在至少一个实施例中，快速积分图像计算器220可将第一结果122C划分为若干部分(例如，子块)且计算与所述部分中的每一者相关联的相应积分图像。
作为说明性非限制性实例，如果第一像素区域112C是四乘四矩阵：
3 5 1 1
1 2 1 1
4 2 4 1
1 1 1 1
那么电路204可将第一结果122C计算为与所述四乘四矩阵相关联的“高水平”积分图像：
3 8 9 10
4 11 13 15
8 17 23 26
9 19 26 30
背景/前景分析器140可使用例如参考图1、2A和2B描述的技术中的一或多者(例如，使用阈值)等适当技术比较第一结果122C与背景模型212，以确定第一结果122C是否“匹配”背景模型212。如果比较电路130并不确定第一结果122C“匹配”背景模型212，那么快速积分图像计算器220可基于第一结果122C产生一或多个子部分或“子积分图像”(例如，第一像素区域112C的像素子集的积分图像)，且可比较所述一或多个子积分图像与背景模型212。在一特定实施例中，快速积分图像计算器根据下式计算所述一或多个子积分图像：
a+d-b-c
其中d是与第一结果122C的其中将计算子积分图像的一部分相关联的右下方值且a、b和c是在第一结果122C的所述部分“外部”分别在所述部分的左上方、右上方和左下方的边界值。为了进一步说明，继续先前说明性非限制性实例，如果第一结果122C是
3 8 9 10
4 11 13 15
8 17 23 26
9 19 26 30
那么可各自基于第一结果122C确定四个二乘二子积分图像，即：分别针对左上方、右上方、左下方和右下方子积分图像的11+0-0-0＝11，15+0-0-11＝4，19+0-11-0＝8和30+11-15-19＝7。
可将一或多个此类子积分图像与背景模型212进行比较以确定“匹配”。在一特定实施例中，将子积分图像与背景模型212的“相邻部分”(例如，子积分图像的预定范围内的部分)进行比较。作为一实例，可将“左上方”二乘二子积分图像与背景模型212的“左上方”二乘二部分进行比较。如果子积分图像中的一或多者匹配背景模型212，那么可确定所述一或多个子积分图像对应于背景。如果子积分图像中无任一者匹配背景模型212，那么可将第一结果122C进一步细分为更小的子积分图像。如进一步参考图3B所描述，如果所述部分中无任一者经确定为“匹配”背景模型212，那么可确定第一结果122C对应于前景部分(例如，在运动中的“动态”对象)。
应了解结合图2C描述的技术可实现像素(例如，第一像素区域112C)与背景模型(例如，背景模型212)的快速比较。举例来说，在至少一个实施例中，仅存储“高水平”积分图像(例如，存储在存储装置216处)，其可用以例如使用快速积分图像计算器220产生任何子积分图像。根据特定说明性实施例，在产生第一结果122C之后，第一像素区域112C不用于额外积分图像产生(例如，由于可改为基于所述高水平积分图像产生子积分图像)。因此，由于参考图2C描述的计算上高效的技术(例如，使用一个加法运算和两个减法运算的子积分图像产生)，可处理增强现实应用程序且更快速地再现结果(例如，在显示器150处)，因此为移动装置104的用户提供更实际的增强现实体验。
参考图3A，将图1、2A、2B和2C中的一或多者的移动装置104的操作方法的特定说明性实施例描绘且大体上指定为300。方法300包含在304在移动装置104处评估第一像素区域(例如，第一像素区域112)以产生第一结果(例如，第一结果122)。方法300进一步包含在308在移动装置处评估第二像素区域(例如，第二像素区域114)以产生第二结果(例如，第二结果124)。
在312，基于将阈值和第一结果与第二结果之间的差异(例如，由比较电路130确定的差异)进行比较，做出第二像素区域对应于场景的背景部分(例如，场景108的背景对象160)或场景的前景部分(例如，场景108的前景对象170)的确定。在至少一个实施例中，基于所述差异是否超过或不超过阈值而做出所述确定。
参考图3B，将图1、2A、2B和2C中的一或多者的移动装置104的操作方法的另一特定说明性实施例描绘且大体上指定为350。方法350包含在302俘获场景的多个初始图像。所述初始图像可包含像素区域112、114。所述场景可为场景108。初始图像可由相机110。
在306，基于所述多个初始图像之间的至少一个差异不超过第一阈值，做出所述多个初始图像中的至少一者对应于场景的背景部分的确定。举例来说，可做出所述多个初始图像对应于“稳定”图像(例如，图像的背景部分，例如背景对象160)的确定。在至少一个实施例中，比较电路130使用参考图2A描述的一或多种技术确定所述至少一个差异并不超过第一阈值。
在310，基于所述多个初始图像中的至少一者产生背景模型(例如，背景模型212)。所述背景模型可包含与场景相关联的第一积分图像。根据进一步实施例，可根据用户输入产生背景模型，如参考图8进一步描述。
方法350进一步包含在314俘获(例如，由相机110)与场景相关联的第二图像且确定与第二图像相关联的第二积分图像。第二积分图像可为参考图2B和2C描述的结果122B、124B和122C中的任一者。
在318，将第二积分图像分割(例如，划分)为具有大小n的一或多个部分且将所述一或多个部分中的每一者与第一积分图像的相邻部分(例如，预定范围内的部分)进行比较。所述大小n可为所述一或多个部分的长度(例如，列数)、所述一或多个部分的高度(例如，行数)或其组合。作为说明性非限制性实例，如果第二积分图像是四乘四矩阵，那么可将第二积分图像分割为一或多个二乘二部分。在至少一个实施例中，根据参考图2C描述的“快速积分图像”技术分割第二积分图像。举例来说，所述一或多个部分可为参考图2C描述的“子积分图像”且可各自使用一个加法运算和两个减法运算而产生，例如根据如参考图2C所描述的a+d-b-c。
在322，做出所述一或多个部分中的任一者是否“匹配”第一积分图像的确定。可根据参考图1和2A到2C描述的一或多种技术例如通过比较所述一或多个部分与第二阈值以产生第二差异且确定第二差异是否超过第二阈值来做出所述确定。如果所述一或多个部分中的任一者匹配第一积分图像，那么可做出所述部分对应于场景的背景部分(例如，对应于场景108的背景对象160或其一部分)的确定。
如果所述一或多个部分中无任一者匹配背景模型，那么在330可减少n，且在318可再分割第二积分图像。也就是说，可产生第二积分图像的较小(例如，“更精细”)部分且与第一积分图像的相邻部分进行比较。在至少一个实施例中，可根据“快速积分图像”技术分割第一积分图像以产生相邻部分。在图3B的特定实施例中，如果在334无法确定第一和第二积分图像的部分之间的匹配且n已减少到预定底限值m(例如，m＝1)，那么在338可确定第二积分图像对应于场景的前景部分(例如，对应于场景108的前景对象170或其一部分)。
虽然为说明的方便起见，已经在“对称”分割(例如，将四乘四矩阵分割为四个二乘二部分)方面描述前述分割技术，但在至少一些应用中可“不对称地”分割积分图像(例如，其中“剩余”部分具有与一或多个其它部分的大小n不同的大小)。应了解可根据参考图3B描述的技术对照背景模型来“匹配”此“剩余”部分。
图4描绘经配置以估计地表面408的位置的移动装置404的特定说明性实施例。移动装置404可为图1和2A到2C中的一或多者的移动装置104(或另一移动装置)。移动装置404可包含显示器，例如图1和2A到2C的显示器150。移动装置404可进一步包含相机402(例如，立体相机)、传感器412、移动装置404的用户的高度的指示416和估计器420。在至少一个实施例中，相机402是参考图1描述的相机110。相机402可包含自动聚焦特征424(例如，用以致使相机402自动聚焦于相机402的视场内的对象的逻辑)。传感器412可为经配置以检测移动装置404的位置和/或运动的传感器，例如陀螺仪、加速度计、运动传感器或其组合。如图4的实例中示出，可根据相对于地表面408的角度θ(例如，在移动装置404正由用户握持时)定位移动装置404的纵向范围428。
在操作中，传感器412可确定纵向范围428相对于地表面408的角度θ。估计器420可产生与从移动装置404的中心436(或从相机402的中心)到地表面408的第一投影432相关联的第一距离L1的第一估计444。第一投影432垂直于纵向范围428。第一估计444可使用由移动装置404的相机402提供的立体相机数据、使用移动装置的自动聚焦特征424或其组合而产生。
估计器420可进一步基于角度θ和第一估计444产生与从移动装置404的中心436到地表面408的第二投影440相关联的第二距离L2的第二估计448。第二投影440垂直于地表面408。在至少一个实施例中，估计器420根据L2＝L1(cos(θ))产生第二估计448。可替代地或另外，估计器420可基于移动装置404的用户的高度的指示416产生第二估计448，且可基于第二估计448确定第一估计444。举例来说，对于不包含立体相机的移动装置(图4中未图示)，第二估计448可基于移动装置404的用户的高度的指示416而产生，且第一估计444可根据L2/(cos(θ))而确定。
估计器420可产生地表面408的估计位置452。显示器150可响应于估计位置452且可显示包含基于地表面408的估计位置452的地表面部分的图像456。
将了解，参考图4描述的技术可实现地表面408的估计位置452的产生而无需利用标记。举例来说，可执行根据L2＝L1(cos(θ))产生第二估计448而无需使用标记。因此，可简化增强现实应用程序的操作且使其对于移动装置404的用户更方便。
参看图5，描绘图4的移动装置404的操作方法的流程图将其且大体上指定为500。方法500包含在504使用移动装置的传感器(例如，传感器412)确定移动装置(例如，移动装置404)的纵向范围(例如，纵向范围428)相对于地表面(例如，地表面408)的角度(例如，角度θ)。
方法500进一步包含在508估计与从移动装置的中心(例如，中心436)到地表面的第一投影(例如，第一投影432)相关联的第一距离(例如，第一距离L1)。所述第一投影垂直于移动装置的纵向范围。可使用移动装置的立体相机、移动装置的自动聚焦特征(例如，自动聚焦特征424)或其组合估计所述第一距离。
基于所述角度和第一距离，在512估计第二距离(例如，第二距离L2)。所述第二距离与从移动装置的中心到地表面的第二投影(例如，第二投影440)相关联。所述第二投影垂直于地表面。方法500可进一步包含在516至少部分基于估计的第二距离确定虚拟对象的位置。举例来说，基于距离和地表面的位置，所述虚拟对象可再现为在地上(例如，静止的球)或在地面上方(例如，在被踢之后的球)。
参考图6，将经配置以基于立体相机深度数据产生图像的移动装置的特定实施例描绘且大体上指定为600。移动装置600可包含立体相机610和耦合到立体相机610的深度评估器620。立体相机610可包含多个镜头，例如第一镜头616和第二镜头614。深度评估器620可包含细节产生器622。应了解，可参考参照图1到5描述的特征和操作来描述图6的移动装置600的一或多个特征和操作。举例来说，虽然为了说明的清楚起见图6中未图示，但移动装置600可包含图1、2A到2C和4的显示器150。
在操作中，立体相机610可产生与场景(例如，图1的场景108)有关的图像深度数据612。图像深度数据612可指示对象深度。深度评估器620可响应于图像深度数据612以产生深度分布624。深度分布624可包含与一或多个图像有关(例如，与图1的像素区域112、114中的一或多者有关)的深度信息。在至少一个实施例中，深度评估器620经配置以基于深度分布624确定前景部分632是否将在虚拟对象的前方或后方再现。举例来说，如图6中示出，深度评估器620可基于深度分布624确定虚拟对象634将在前景部分632的前方再现。作为另一实例，深度评估器620可基于深度分布624确定虚拟对象636将由前景部分632遮挡。
在至少一个实施例中，细节产生器622可经配置以基于深度分布624增加或减小图像630中的对象的分辨率。举例来说，响应于指示对象具有相对于移动装置600的大深度的深度分布，细节产生器622可确定所述对象对应于图像背景且将再现为背景部分638。作为另一实例，响应于深度分布指示所述对象具有相对于移动装置600的较小深度，细节产生器622可确定所述对象对应于图像前景且将再现为前景部分642。在至少一个实施例中且如进一步参考图7所描述，可基于深度分布624确定前景部分642的边界(例如，前景部分642相对于背景部分638的边界)。另外且如进一步参考图7所描述，可响应于基于深度分布624确定前景部分642的边界而增加图像630的一部分(例如，对应于前景部分642的边界的部分)的分辨率。
将了解，结合图6描述的技术实现深度信息的高效产生。举例来说，在图6的实例中，立体相机610的使用可实现深度信息的产生而无需分析标记的定位和位置。此外，如进一步参考图7所描述，深度信息可用以选择性改变图像分辨率和质量。也就是说，如进一步参考图7所描述，一旦图像的前景对象的边界已确定(例如，使用立体相机610)，便可减少前景对象外部的部分的分辨率且可增加边界内的部分的分辨率。因此，在至少一个实施例中，可将额外处理资源分配于较关注部分(例如，前景部分)而不是其它部分(例如，背景部分)。
参看图7，将在基于深度分布624选择性改变图像分辨率之前和之后的图6的图像630的一部分分别描绘且大体上指定为630A和630B。如图7中示出，部分630A包含背景部分638和前景部分642。前景部分642包含边界712。边界712可基于深度分布624而确定。在至少一个实施例中，边界712是基于前景部分642与背景部分638之间的深度差异超过阈值而确定。
响应于确定边界712，可选择性改变前景部分642的分辨率。举例来说，可基于边界712减少前景部分642的第一部分716的分辨率或重新分类为背景部分。可基于边界712增加前景部分642的第二部分720的分辨率。举例来说，在至少一个实施例中，第二部分720从基于块的分辨率改善到基于像素的分辨率(例如，从粗糙分辨率到精细分辨率)。在至少一个实施例中，基于存储在存储装置216处的高水平积分图像产生一或多个低分辨率图像部分，如参考图2C所描述。因此，基于边界712选择性改变前景部分642的分辨率可改善前景部分642相对于背景部分638的对比度，因此改善图像质量。
参考图8，将移动装置的实例操作描绘且大体上指定为800。操作800可由图1和2A到2C中的一或多者的移动装置104、图4的移动装置404、图6的移动装置600或其组合执行。
举例来说，在804可在移动装置的相机处俘获图像。相机可为图1和2A到2C中的一或多者的相机110、图4的相机402、图6的立体相机610或其组合。图像可对应于像素区域112、114。
操作800进一步包含在808产生虚拟对象。所述虚拟对象可为图6的虚拟对象634、图6的虚拟对象636或其组合。所述虚拟对象可为使用移动装置的处理器产生的计算机生成的虚拟对象，如进一步参考图9所描述。
操作800进一步包含在812产生待显示图像的背景模型。在至少一个实施例中，基于用户输入产生所述背景模型。举例来说，根据特定实例，用户可将相机110指向背景对象(例如，背景对象108)以例如结合增强现实游戏而指定背景模型。也可以例如结合增强现实游戏在移动装置之间发送和接收此背景模型。背景模型可包含根据参考图4和5描述的技术产生的地表面部分。可在如参考图1和2A到2C所描述产生第一结果122之前产生背景模型。
在816，根据像素强度求和技术(例如，参考图1到3描述的积分图像技术)更新背景模型。举例来说，可利用像素强度求和技术来基于差异是否超过阈值而确定数据对应于前景部分(例如，图6的前景部分632、图6的前景部分642或其组合)。
操作800进一步包含在818将虚拟对象插入到待显示图像中。举例来说，基于图6的深度分布624可将虚拟对象插入在前景部分的前方或后方。操作800进一步包含在820检测冲突、用户输入或其组合。举例来说，可检测前景对象(例如，用户)与对应于虚拟对象的位置(例如，图1的位置180)之间的冲突。
操作800可进一步包含在824执行序列辨识，且在828执行分段、深度恢复、形状辨识或其组合。在832，产生输出。举例来说，可在图1、2A到2C和4中的一或多者的显示器150处显示图像(例如，图1的图像152、图6的图像630或其组合)。
如将了解，基于图8的操作800操作移动装置可实现增强现实应用程序的高效处理。此外，可处理增强现实应用程序而无需利用标记，这可为用户提供便利性和经改善的性能。
参考图9，将移动装置的特定实施例的框图描绘且大体上指定为900。在图9的特定实例中，移动装置900包含处理器910(例如，数字信号处理器)，其包含图1的评估器120、图1的比较电路130、图1的背景/前景分析器140、图4的估计器420和图6的深度评估器620。评估器120、比较电路130、背景/前景分析器140、估计器420和深度评估器620中的每一者可包含硬件、可由处理器910执行的指令或其组合。
图9进一步描绘耦合到处理器910的存储器932。存储器932是经配置以存储指令954和数据956的计算机可读非暂时性(例如，有形的)媒体。指令954可包含图像处理指令，例如可由处理器910执行以执行参考图1到8描述的一或多个操作的指令。指令954可包含增强现实应用程序(例如，包含可由处理器910执行以产生虚拟对象的指令的应用程序)。数据956可包含图1和2A到2C中的一或多者的像素区域112、114、图1和2A到2C中的一或多者的结果122、124、图6和7的深度分布624或其组合。
移动装置900可包含显示器，例如参考图1、2A到2C和4中的一或多者描述的显示器150。移动装置900可进一步包含耦合到相机控制器990的相机946。相机946可为图1和2A到2C中的一或多者的相机110、图4的相机402、图6的立体相机610或其组合。
图9还展示耦合到处理器910和显示器150的显示器控制器926。译码器/解码器(编解码器)934也可耦合到处理器910。扬声器936和麦克风938可耦合到编解码器934。图9进一步指示无线控制器940可耦合到处理器910和收发器950。收发器950可耦合到天线942。
在一特定实施例中，处理器910、显示器控制器926、相机控制器990、存储器932、编解码器934、无线控制器940和收发器950包含在系统级封装或芯片上系统装置922中。在一特定实施例中，输入装置930、电力供应器944和传感器(例如，图4的传感器412)各自耦合到芯片上系统装置922。此外，在一特定实施例中，如图9中所示，显示器150、输入装置930、扬声器936、麦克风938、天线942、电力供应器944和传感器412在芯片上系统装置922的外部。然而，显示器150、输入装置930、扬声器936、麦克风938、天线942、电力供应器944和传感器412中的每一者可耦合到芯片上系统装置922的组件，例如接口或控制器。
结合所揭示的实施例，描述移动装置，其包含用于评估第一像素区域以产生第一结果且进一步用于评估第二像素区域以产生第二结果的装置(例如，评估器120)。所述移动装置进一步包含用于基于将阈值和第一结果与第二结果之间的差异进行比较而确定第二像素区域对应于场景的背景部分和场景的前景部分中的一者的装置(例如，背景/前景分析器140)。
结合所揭示的实施例，描述移动装置，其包含用于确定移动装置的纵向范围(例如，纵向范围428)相对于地表面(例如，地表面408)的角度(例如，角度θ)的装置(例如，传感器412)。所述移动装置进一步包含用于估计第一距离(例如，第一距离L1)且用于基于所述角度和所述第一距离估计第二距离(例如，第二距离L2)的装置(例如，估计器420)。所述第一距离与从移动装置的中心(例如，中心436)到地表面的第一投影(例如，第一投影432)相关联，其中第一投影垂直于移动装置的纵向范围。第二距离与从移动装置的中心到地表面的第二投影(例如，第二投影440)相关联。所述第二投影垂直于地表面。
所属领域的技术人员将进一步了解，结合本文所揭示的实施例描述的多个说明性逻辑块、配置、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。上文已大体在其功能性方面描述各种说明性组件、块、配置、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解译为引起对本发明的范围的偏离。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接体现于硬件、由处理器执行的软件模块或其两者的组合中。软件模块可驻留在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸式磁盘、压缩光盘只读存储器(CD-ROM)或此项技术中已知的任何其它形式的非暂时性存储媒体中。示范性非暂时性(例如有形的)存储媒体耦合到处理器，使得处理器可从所述存储媒体读取信息，且将信息写入到所述存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供对所揭示实施例的先前描述以使得所属领域的技术人员能够制造或使用所揭示的实施例。所属领域的技术人员将容易了解对这些实施例的各种修改，且可将本文定义的原理应用到其它实施例而不脱离本发明的范围。因此，本发明并不既定限于本文展示的实施例，而应被赋予与如由所附权利要求书界定的原理和新颖特征一致的可能最宽范围。

Claims (106)

1.一种方法，其包括：
在移动装置处评估第一像素区域以产生第一结果；
在所述移动装置处评估第二像素区域以产生第二结果；以及
基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者。
2.根据权利要求1所述的方法，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
3.根据权利要求2所述的方法，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
4.根据权利要求1所述的方法，其进一步包括：
产生计算机产生的虚拟对象；以及
在所述移动装置的显示装置上显示所述场景的图像，
其中所述图像包含所述前景部分、所述背景部分和所述虚拟对象。
5.根据权利要求4所述的方法，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
6.根据权利要求1所述的方法，其进一步包括：
估计地表面相对于所述移动装置的位置；以及
基于所述地表面的所述估计位置确定虚拟对象的位置。
7.根据权利要求6所述的方法，其中估计所述地表面的所述位置包含：
使用所述移动装置的传感器确定所述移动装置的纵向范围相对于所述地表面的角度；
估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围；以及
基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
8.根据权利要求1所述的方法，其进一步包括：
在产生所述第一结果之前，俘获多个初始图像；以及
基于所述多个初始图像产生初始背景模型。
9.根据权利要求8所述的方法，其进一步包括：
将所述第一结果分割为多个部分；以及
将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
10.根据权利要求9所述的方法，其中使用一个加法运算和两个减法运算产生所述多个部分中的每一者。
11.根据权利要求1所述的方法，其进一步包括：
使用所述移动装置的立体相机产生与场景相关联的深度分布；以及
确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
12.根据权利要求11所述的方法，其进一步包括响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率。
13.一种移动装置，其包括：
评估器，其经配置以评估第一像素区域以产生第一结果且进一步经配置以评估第二像素区域以产生第二结果；以及
经配置以基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者的逻辑。
14.根据权利要求13所述的移动装置，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
15.根据权利要求14所述的移动装置，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
16.根据权利要求13所述的移动装置，其进一步包括经配置以显示包含所述前景部分、所述背景部分和虚拟对象的图像的显示器。
17.根据权利要求16所述的移动装置，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
18.根据权利要求13所述的移动装置，其进一步包括：
传感器，其经配置以确定所述移动装置的纵向范围相对于地表面的角度；以及
估计器，其经配置以估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围，且进一步经配置以基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
19.根据权利要求13所述的移动装置，其进一步包括经配置以俘获多个初始图像的相机，其中所述逻辑进一步经配置以基于所述多个初始图像产生初始背景模型。
20.根据权利要求19所述的移动装置，其中所述逻辑进一步经配置以将所述第一结果分割为多个部分且将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
21.根据权利要求20所述的移动装置，其中所述逻辑进一步经配置以使用一个加法运算和两个减法运算产生所述多个部分中的每一者。
22.根据权利要求13所述的移动装置，其进一步包括：
立体相机，其经配置以产生与场景相关联的深度数据；以及
深度评估器，其经配置以确定所述前景部分的边界，所述边界是基于深度分布而确定。
23.根据权利要求22所述的移动装置，其中所述深度评估器进一步经配置以响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率。
24.一种移动装置，其包括：
用于评估第一像素区域以产生第一结果且进一步用于评估第二像素区域以产生第二结果的装置；以及
用于基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者的装置。
25.根据权利要求24所述的移动装置，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
26.根据权利要求25所述的移动装置，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
27.根据权利要求24所述的移动装置，其进一步包括经配置以显示包含所述前景部分、所述背景部分和虚拟对象的图像的显示器。
28.根据权利要求27所述的移动装置，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
29.根据权利要求24所述的移动装置，其进一步包括：
传感器，其经配置以确定所述移动装置的纵向范围相对于地表面的角度；以及
估计器，其经配置以估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围，且进一步经配置以基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
30.根据权利要求24所述的移动装置，其进一步包括经配置以俘获多个初始图像的相机，其中所述用于确定的装置经配置以基于所述多个初始图像产生初始背景模型。
31.根据权利要求30所述的移动装置，其中所述用于确定的装置进一步经配置以将所述第一结果分割为多个部分且将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
32.根据权利要求31所述的移动装置，其中所述用于确定的装置进一步经配置以使用一个加法运算和两个减法运算产生所述多个部分中的每一者。
33.根据权利要求24所述的移动装置，其进一步包括：
立体相机，其经配置以产生与场景相关联的深度数据；以及
深度评估器，其经配置以确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
34.根据权利要求33所述的移动装置，其中所述深度评估器进一步经配置以响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率。
35.一种存储指令的计算机可读非暂时性媒体，所述指令可由移动装置的处理器执行以：
在所述移动装置处评估第一像素区域以产生第一结果；
在所述移动装置处评估第二像素区域以产生第二结果；以及
基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者。
36.根据权利要求35所述的计算机可读非暂时性媒体，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
37.根据权利要求36所述的计算机可读非暂时性媒体，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
38.根据权利要求35所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
产生计算机产生的虚拟对象；以及
在所述移动装置的显示装置上显示所述场景的图像，
其中所述图像包含所述前景部分、所述背景部分和所述虚拟对象。
39.根据权利要求38所述的计算机可读非暂时性媒体，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
40.根据权利要求35所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
估计地表面相对于所述移动装置的位置；以及
基于所述地表面的所述估计位置确定虚拟对象的位置。
41.根据权利要求40所述的计算机可读非暂时性媒体，其中估计所述地表面的所述位置包含：
使用所述移动装置的传感器确定所述移动装置的纵向范围相对于所述地表面的角度；
估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围；以及
基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
42.根据权利要求35所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
在产生所述第一结果之前，俘获多个初始图像；以及
基于所述多个初始图像产生初始背景模型。
43.根据权利要求42所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
将所述第一结果分割为多个部分；以及
将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
44.根据权利要求43所述的计算机可读非暂时性媒体，其中所述多个部分中的每一者是使用一个加法运算和两个减法运算而产生。
45.根据权利要求1所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
使用所述移动装置的立体相机产生与场景相关联的深度分布；以及
确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
46.根据权利要求45所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率的指令。
47.一种方法，其包括：
使用移动装置的传感器确定所述移动装置的纵向范围相对于地表面的角度；
估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围；以及
基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
48.根据权利要求47所述的方法，其中使用所述移动装置的立体相机估计所述第一距离。
49.根据权利要求47所述的方法，其中使用所述移动装置的所述相机的自动聚焦特征确定所述第一距离。
50.根据权利要求47所述的方法，其中进一步基于所述移动装置的用户的高度估计所述第二距离。
51.根据权利要求47所述的方法，其进一步包括在所述移动装置的显示器处显示具有在至少部分通过所述估计第二距离确定的位置处再现的地表面部分的图像。
52.根据权利要求47所述的方法，其进一步包括：
在所述移动装置处评估第一像素区域以产生第一结果；
在所述移动装置处评估第二像素区域以产生第二结果；以及
基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者。
53.根据权利要求52所述的方法，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
54.根据权利要求53所述的方法，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
55.根据权利要求52所述的方法，其进一步包括：
产生计算机产生的虚拟对象；以及
在所述移动装置的显示装置上显示所述场景的图像，
其中所述图像包含所述前景部分、所述背景部分和所述虚拟对象。
56.根据权利要求55所述的方法，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
57.根据权利要求52所述的方法，其进一步包括：
在产生所述第一结果之前，俘获多个初始图像；以及
基于所述多个初始图像产生初始背景模型。
58.根据权利要求57所述的方法，其进一步包括：
将所述第一结果分割为多个部分；以及
将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
59.根据权利要求58所述的方法，其中使用一个加法运算和两个减法运算产生所述多个部分中的每一者。
60.根据权利要求52所述的方法，其进一步包括：
使用所述移动装置的立体相机产生与场景相关联的深度分布；以及
确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
61.根据权利要求60所述的方法，其进一步包括响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率。
62.一种移动装置，其包括：
传感器，其经配置以确定所述移动装置的纵向范围相对于地表面的角度；以及
估计器，其经配置以估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围，且所述估计器进一步经配置以基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
63.根据权利要求62所述的移动装置，其中所述第一距离是使用所述移动装置的立体相机来估计。
64.根据权利要求62所述的移动装置，其中所述第一距离是使用所述移动装置的所述相机的自动聚焦特征来确定。
65.根据权利要求62所述的移动装置，其中所述第二距离是进一步基于所述移动装置的用户的高度来估计。
66.根据权利要求62所述的移动装置，其进一步包括所述移动装置的显示器，所述显示器经配置以显示具有在至少部分通过所述估计第二距离确定的位置处再现的地表面部分的图像。
67.根据权利要求62所述的移动装置，其进一步包括：
评估器，其经配置以评估第一像素区域以产生第一结果且进一步经配置以评估第二像素区域以产生第二结果；以及
经配置以基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者的逻辑。
68.根据权利要求67所述的移动装置，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
69.根据权利要求68所述的移动装置，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
70.根据权利要求67所述的移动装置，其进一步包括经配置以显示所述场景的图像的显示器，其中所述图像包含所述前景部分、所述背景部分和所述虚拟对象。
71.根据权利要求70所述的移动装置，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
72.根据权利要求67所述的移动装置，其进一步包括经配置以俘获多个初始图像的相机，且其中所述逻辑进一步经配置以基于所述多个初始图像产生初始背景模型。
73.根据权利要求72所述的移动装置，其中所述逻辑进一步经配置以将所述第一结果分割为多个部分且将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
74.根据权利要求67所述的移动装置，其中所述多个部分中的每一者是使用一个加法运算和两个减法运算来产生。
75.根据权利要求67所述的移动装置，其进一步包括：
立体相机，其经配置以产生与所述场景相关联的深度数据；以及
深度评估器，其经配置以确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
76.根据权利要求75所述的移动装置，其中所述深度评估器进一步经配置以响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率。
77.一种移动装置，其包括：
用于确定所述移动装置的纵向范围相对于地表面的角度的装置；以及
用于估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离且用于基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离的装置，其中所述第一投影垂直于所述移动装置的所述纵向范围，其中所述第二投影垂直于所述地表面。
78.根据权利要求77所述的移动装置，其中所述第一距离是使用所述移动装置的立体相机来估计。
79.根据权利要求77所述的移动装置，其中所述第一距离是使用所述移动装置的所述相机的自动聚焦特征来确定。
80.根据权利要求77所述的移动装置，其中所述第二距离是进一步基于所述移动装置的用户的高度来估计。
81.根据权利要求77所述的移动装置，其进一步包括显示器，所述显示器经配置以显示具有在至少部分通过所述估计第二距离确定的位置处再现的地表面部分的图像。
82.根据权利要求77所述的移动装置，其进一步包括：
评估器，其经配置以评估第一像素区域以产生第一结果且进一步经配置以评估第二像素区域以产生第二结果；以及
经配置以基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者的逻辑。
83.根据权利要求82所述的移动装置，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
84.根据权利要求83所述的移动装置，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
85.根据权利要求82所述的移动装置，其进一步包括经配置以显示所述场景的图像的显示器，其中所述图像包含所述前景部分、所述背景部分和所述虚拟对象。
86.根据权利要求85所述的移动装置，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
87.根据权利要求82所述的移动装置，其进一步包括经配置以俘获多个初始图像的相机，且其中所述逻辑进一步经配置以基于所述多个初始图像产生初始背景模型。
88.根据权利要求82所述的移动装置，其中所述逻辑进一步经配置以将所述第一结果分割为多个部分且将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
89.根据权利要求88所述的移动装置，其中所述多个部分中的每一者是使用一个加法运算和两个减法运算来产生。
90.根据权利要求82所述的移动装置，其进一步包括：
立体相机，其经配置以产生与所述场景相关联的深度数据；以及
深度评估器，其经配置以确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
91.根据权利要求90所述的移动装置，其中所述深度评估器进一步经配置以响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率。
92.一种存储指令的计算机可读非暂时性媒体，所述指令可由移动装置的处理器执行以：
使用所述移动装置的传感器确定所述移动装置的纵向范围相对于地表面的角度；
估计与从所述移动装置的中心到所述地表面的第一投影相关联的第一距离，其中所述第一投影垂直于所述移动装置的所述纵向范围；以及
基于所述角度和所述第一距离估计与从所述移动装置的所述中心到所述地表面的第二投影相关联的第二距离，其中所述第二投影垂直于所述地表面。
93.根据权利要求92所述的计算机可读非暂时性媒体，其中所述第一距离是使用所述移动装置的立体相机来估计。
94.根据权利要求92所述的计算机可读非暂时性媒体，其中所述第一距离是使用所述移动装置的所述相机的自动聚焦特征来确定。
95.根据权利要求92所述的计算机可读非暂时性媒体，其中所述第二距离是进一步基于所述移动装置的用户的高度来估计。
96.根据权利要求92所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以在所述移动装置的显示器处显示具有在至少部分通过所述估计第二距离确定的位置处再现的地表面部分的图像的指令。
97.根据权利要求92所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
在所述移动装置处评估第一像素区域以产生第一结果；
在所述移动装置处评估第二像素区域以产生第二结果；以及
基于将阈值和所述第一结果与所述第二结果之间的差异进行比较而确定所述第二像素区域对应于场景的背景部分和所述场景的前景部分中的一者。
98.根据权利要求97所述的计算机可读非暂时性媒体，其中通过将像素强度值求和来评估所述第一像素区域和所述第二像素区域。
99.根据权利要求98所述的计算机可读非暂时性媒体，其中所述第一结果是包括像素强度值总和的第一表的第一积分图像，且其中所述第二结果是包括像素强度值总和的第二表的第二积分图像。
100.根据权利要求97所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
产生计算机产生的虚拟对象；以及
在所述移动装置的显示装置上显示所述场景的图像，
其中所述图像包含所述前景部分、所述背景部分和所述虚拟对象。
101.根据权利要求100所述的计算机可读非暂时性媒体，其中所述虚拟对象与所述移动装置的增强现实应用程序相关联。
102.根据权利要求97所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
在产生所述第一结果之前，俘获多个初始图像；以及
基于所述多个初始图像产生初始背景模型。
103.根据权利要求102所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
将所述第一结果分割为多个部分；以及
将所述多个部分与所述初始背景模型进行比较以确定所述多个部分中的任一者是否匹配所述初始背景模型。
104.根据权利要求103所述的计算机可读非暂时性媒体，其中所述多个部分中的每一者是使用一个加法运算和两个减法运算来产生。
105.根据权利要求97所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以进行以下操作的指令：
使用所述移动装置的立体相机产生与场景相关联的深度分布；以及
确定所述前景部分的边界，所述边界是基于所述深度分布而确定。
106.根据权利要求105所述的计算机可读非暂时性媒体，其进一步包括可由所述处理器执行以响应于确定所述深度差异而增加所述前景部分的至少一些的分辨率的指令。
CN201380044121.XA 2012-09-11 2013-08-09 用于增强现实应用程序的装置和方法 Expired - Fee Related CN104584079B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261699615P 2012-09-11 2012-09-11
US61/699,615 2012-09-11
US13/651,098 2012-10-12
US13/651,098 US9466121B2 (en) 2012-09-11 2012-10-12 Devices and methods for augmented reality applications
PCT/US2013/054423 WO2014042795A2 (en) 2012-09-11 2013-08-09 Device and method for augmented reality applications

Publications (2)

Publication Number Publication Date
CN104584079A true CN104584079A (zh) 2015-04-29
CN104584079B CN104584079B (zh) 2017-12-05

Family

ID=50232882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044121.XA Expired - Fee Related CN104584079B (zh) 2012-09-11 2013-08-09 用于增强现实应用程序的装置和方法

Country Status (5)

Country Link
US (2) US9466121B2 (zh)
JP (1) JP6077121B2 (zh)
KR (1) KR101788945B1 (zh)
CN (1) CN104584079B (zh)
WO (1) WO2014042795A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141536A (zh) * 2015-10-06 2018-06-08 三星电子株式会社 电子设备的图像处理方法及其电子设备
CN108351691A (zh) * 2015-10-26 2018-07-31 微软技术许可有限责任公司 用于虚拟图像的远程渲染
WO2019111052A3 (en) * 2017-12-06 2019-07-18 Zyetric One Limited Inserting virtual objects in between two real objects in an augmented reality environment
CN110832883A (zh) * 2017-06-30 2020-02-21 高通股份有限公司 以计算机为中介的现实系统的混阶立体混响(moa)音频数据
CN113721830A (zh) * 2015-09-11 2021-11-30 高通股份有限公司 功率逐步唤醒机制

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466121B2 (en) * 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
US20150264357A1 (en) * 2014-03-11 2015-09-17 Stmicroelectronics S.R.L. Method and system for encoding digital images, corresponding apparatus and computer program product
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US20160182846A1 (en) 2014-12-22 2016-06-23 Google Inc. Monolithically integrated rgb pixel array and z pixel array
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10269123B2 (en) 2017-01-09 2019-04-23 Qualcomm Incorporated Methods and apparatus for video background subtraction
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
JP7374582B2 (ja) * 2018-11-27 2023-11-07 キヤノン株式会社 画像処理装置、画像生成方法およびプログラム
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021068799A1 (en) * 2019-10-07 2021-04-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Occlusion and collision detection for augmented reality applications
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240500A1 (en) * 2007-04-02 2008-10-02 Industrial Technology Research Institute Image processing methods
CN101390406A (zh) * 2006-02-21 2009-03-18 松下电工株式会社 图像显示装置及其图像失真校正方法
US7868922B2 (en) * 2006-02-14 2011-01-11 Tessera Technologies Ireland Limited Foreground/background segmentation in digital images
CN102123194A (zh) * 2010-10-15 2011-07-13 张哲颖 利用增强实景技术优化移动导航和人机交互功能的方法
CN102576247A (zh) * 2009-09-16 2012-07-11 迪斯尼实业公司 用于互动电视的超链接3d视频插件

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668605A (en) * 1994-10-25 1997-09-16 R. T. Set Object keying in video images based on distance from camera
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
EP1881454A1 (en) * 2006-07-17 2008-01-23 Mitsubishi Electric Information Technology Centre Europe B.V. Image processing for change detection
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US8254680B2 (en) * 2007-01-24 2012-08-28 Samsung Electronics Co., Ltd. Apparatus and method of segmenting an image in an image coding and/or decoding system
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US8896686B2 (en) 2009-06-23 2014-11-25 Here Global B.V. Determining a geometric parameter from a single image
US8466980B2 (en) * 2010-04-06 2013-06-18 Alcatel Lucent Method and apparatus for providing picture privacy in video
US20120075440A1 (en) 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
US9424371B2 (en) 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP5713398B2 (ja) * 2011-07-05 2015-05-07 大学共同利用機関法人情報・システム研究機構 画像照合装置、画像照合方法及びコンピュータプログラム
KR20130022831A (ko) 2011-08-26 2013-03-07 유민규 이동통신 단말기를 이용한 거리, 높이, 길이 측정 방법
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868922B2 (en) * 2006-02-14 2011-01-11 Tessera Technologies Ireland Limited Foreground/background segmentation in digital images
CN101390406A (zh) * 2006-02-21 2009-03-18 松下电工株式会社 图像显示装置及其图像失真校正方法
US20080240500A1 (en) * 2007-04-02 2008-10-02 Industrial Technology Research Institute Image processing methods
CN102576247A (zh) * 2009-09-16 2012-07-11 迪斯尼实业公司 用于互动电视的超链接3d视频插件
CN102123194A (zh) * 2010-10-15 2011-07-13 张哲颖 利用增强实景技术优化移动导航和人机交互功能的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721830A (zh) * 2015-09-11 2021-11-30 高通股份有限公司 功率逐步唤醒机制
CN108141536A (zh) * 2015-10-06 2018-06-08 三星电子株式会社 电子设备的图像处理方法及其电子设备
CN108351691A (zh) * 2015-10-26 2018-07-31 微软技术许可有限责任公司 用于虚拟图像的远程渲染
CN108351691B (zh) * 2015-10-26 2022-02-18 微软技术许可有限责任公司 用于虚拟图像的远程渲染
CN110832883A (zh) * 2017-06-30 2020-02-21 高通股份有限公司 以计算机为中介的现实系统的混阶立体混响(moa)音频数据
CN110832883B (zh) * 2017-06-30 2021-03-16 高通股份有限公司 以计算机为中介的现实系统的混阶立体混响(moa)音频数据
CN110832883B9 (zh) * 2017-06-30 2021-04-09 高通股份有限公司 以计算机为中介的现实系统的混阶立体混响(moa)音频数据
WO2019111052A3 (en) * 2017-12-06 2019-07-18 Zyetric One Limited Inserting virtual objects in between two real objects in an augmented reality environment

Also Published As

Publication number Publication date
KR20150054778A (ko) 2015-05-20
WO2014042795A2 (en) 2014-03-20
US10038892B2 (en) 2018-07-31
KR101788945B1 (ko) 2017-10-20
CN104584079B (zh) 2017-12-05
WO2014042795A3 (en) 2014-08-28
JP2015534165A (ja) 2015-11-26
US20160373723A1 (en) 2016-12-22
US20140071241A1 (en) 2014-03-13
JP6077121B2 (ja) 2017-02-08
US9466121B2 (en) 2016-10-11

Similar Documents

Publication Publication Date Title
CN104584079A (zh) 用于增强现实应用程序的装置和方法
US11605214B2 (en) Method, device and storage medium for determining camera posture information
CN106688013B (zh) 姿态估算的系统和方法
EP2864933B1 (en) Method, apparatus and computer program product for human-face features extraction
JP5847924B2 (ja) 拡張現実表現のための二次元画像取込み
CN108027884B (zh) 一种用于监测对象的方法、存储媒体、服务器及设备
CN105049728A (zh) 一种拍摄图像的获取方法和装置
WO2016107962A1 (en) Improving focus in image and video capture using depth maps
TW201433162A (zh) 電子裝置及其影像選擇方法
KR20130025944A (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
KR20130115341A (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
CN111357034A (zh) 点云生成方法、系统和计算机存储介质
US20170351932A1 (en) Method, apparatus and computer program product for blur estimation
CN108960012B (zh) 特征点检测方法、装置及电子设备
WO2018078986A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114119964A (zh) 一种网络训练的方法及装置、目标检测的方法及装置
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
KR20090111913A (ko) 모션 검출 방법 및 장치
EP2991036B1 (en) Method, apparatus and computer program product for disparity estimation of foreground objects in images
CN110490065A (zh) 人脸识别方法及装置、存储介质、计算机设备
CN109961519A (zh) 移动增强现实的实现方法、装置、设备及介质
WO2023029289A1 (zh) 模型评估方法、装置、存储介质及电子设备
US20220270273A1 (en) Machine learning-based object-centric approach to image manipulation
US20240071035A1 (en) Efficient flow-guided multi-frame de-fencing
CN116883298A (zh) 摩尔纹图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171205

Termination date: 20210809