CN103116399A - 基于推断的交通工具状态提供用户接口体验的方法和装置 - Google Patents

基于推断的交通工具状态提供用户接口体验的方法和装置 Download PDF

Info

Publication number
CN103116399A
CN103116399A CN2012105454213A CN201210545421A CN103116399A CN 103116399 A CN103116399 A CN 103116399A CN 2012105454213 A CN2012105454213 A CN 2012105454213A CN 201210545421 A CN201210545421 A CN 201210545421A CN 103116399 A CN103116399 A CN 103116399A
Authority
CN
China
Prior art keywords
vehicles
mobile device
user
input
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105454213A
Other languages
English (en)
Other versions
CN103116399B (zh
Inventor
蒂莫西·佩克
帕拉姆维尔·巴尔
斯里尼瓦斯·阿达加特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103116399A publication Critical patent/CN103116399A/zh
Application granted granted Critical
Publication of CN103116399B publication Critical patent/CN103116399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W48/00Access restriction; Network selection; Access point selection
    • H04W48/02Access restriction performed under specific conditions
    • H04W48/04Access restriction performed under specific conditions based on user or terminal location or mobility data, e.g. moving direction, speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/20
    • B60K35/26
    • B60K35/28
    • B60K35/29
    • B60K35/50
    • B60K35/80
    • B60K35/85
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B60K2360/1438
    • B60K2360/146
    • B60K2360/1464
    • B60K2360/1472
    • B60K2360/148
    • B60K2360/151
    • B60K2360/166
    • B60K2360/182
    • B60K2360/21
    • B60K2360/566
    • B60K2360/573
    • B60K2360/586
    • B60K2360/5894
    • B60K2360/5899
    • B60K2360/592
    • B60K2360/834

Abstract

本发明涉及一种基于推断的交通工具状态提供用户接口体验的方法、模式功能装置和计算机可读介质。本申请描述了一种移动设备,移动设备向在交通工具内操作该移动设备的用户提供用户接口体验。移动设备利用模式功能装置提供用户接口体验。模式功能装置通过从一个或更多个输入源接收推断输入信息进行工作。至少一个输入源对应于由移动设备提供的、确定移动设备的移动的至少一个移动感测设备。模式功能装置设备随后基于推断输入信息来推断交通工具的状态,并呈现适合于交通工具状态的用户接口体验。在一种情形下,模式功能装置还可推断交通工具处于遇险状况。作为响应,模式功能装置能够为该用户请求协助。

Description

基于推断的交通工具状态提供用户接口体验的方法和装置
技术领域
本发明涉及一种基于推断的交通工具状态提供用户接口体验的方法、模式功能装置和计算机可读介质。
背景技术
驾驶交通工具的用户可能希望与他或她的移动设备交互。例如,用户可能希望打电话和接电话,进行搜索,读取电子邮件等等。这些活动会让用户从驾驶交通工具的主要任务分心,因此对用户的安全(以及其他人的安全)造成相当大的危险。为了解决该问题,许多司法权颁布了防止用户在其交通工具中手动与移动设备交互的法律。
对上述关切事情的一种解决方案是彻底排除用户在驾驶交通工具时与他或她的移动电话机进行交互。在另一种解决方案中,用户可以利用各种免提交互设备。例如,用户可以利用语音识别技术发起通话。用户随后可利用耳机等进行通话,而无需拿着移动设备。虽然这些解决方案可帮助用户降低在某些情况下使用他或她的移动设备的风险,但是这些解决方案并不提供对于用户在驾驶时遇到的各种分心事的大体令人满意的解决方案。
发明内容
这里描述了一种移动设备,所述移动设备向在交通工具内操作该移动设备的用户提供用户接口体验。移动设备利用模式功能装置执行该任务。模式功能装置通过从一个或更多个输入源接收推断输入信息进行操作。至少一个输入源对应于由移动设备提供的移动感测设备。模式功能装置设备随后基于推断输入信息来推断交通工具的状态(即,“交通工具状态”)。模式功能装置随后向用户提供从交通工具状态来看适当的用户接口体验。更具体地说,模式功能装置向用户呈现施加特定注意力相关要求的用户接口体验;从交通工具状态来看,这些注意力相关要求是适当的。例如,当交通工具状态指示交通工具高速行驶时,模式功能装置可呈现对用户的注意力提出最小要求的用户接口体验。
在一种情形下,模式功能装置还可基于推断输入信息来推断交通工具处于遇险状况,例如,作为事故或其它灾祸的结果。响应于这种评估,模式功能装置可向用户提供协助。在一种情况下,模式功能装置可基于从推断输入信息收集的下述证据来推断交通工具处于遇险状况:(a)移动设备位于交通工具中;(b)交通工具已急停或者突然减速;以及(c)移动设备已脱离其座架(或者发生了这些事件中的子集)。
能够以各种类型的系统、组件、方法、计算机可读介质、数据结构、制成品等实施上述方法。
提供“发明内容”部分是为了以简化形式介绍概念的选集;下面在“具体实施方式”部分中进一步描述这些概念。“发明内容”部分并不意图识别要求保护的主题的关键特征或基本特征,也不意图用于限制要求保护的主题的范围。
附图说明
图1示出其中用户接收基于交通工具的推断状态(即交通工具状态)的用户接口体验的说明性环境。
图2描绘了交通工具的内部区域。该内部区域包括利用座架(mount)紧固到交通工具的表面的移动设备。
图3示出可用于在交通工具内紧固移动设备的一种代表性座架。
图4示出用于在图1的环境中使用的移动设备的一种说明性实现方式。
图5示出可由图4的移动设备使用的说明性移动感测设备。
图6示出可由图4的移动设备使用以呈现输出信息的说明性输出功能。
图7示出与图3的座架相关联的说明性功能和该功能能够与移动设备交互的方式。
图8和9描绘了由图4的移动设备提供的两种相应输出模式。
图10-12描绘了由图4的移动设备提供的三种相应输入模式。
图13示出可由图4的移动设备提供的关于代表性应用程序和模式功能的另外的细节。
图14列举了说明性选项,通过所述说明性选项,图4的移动设备能够响应于交通工具状态而控制用户接口体验。
图15示出其中功能能够推断和响应可影响交通工具的遇险(distress)状况的说明性环境。例如,当交通工具出事故时,遇险状况会降临于交通工具。
图16示出可在图15的环境中使用的说明性遇险管理模块。
图17从用户的角度示出说明图1的环境的一种操作方式的说明性过程。
图18示出一种说明性过程,通过该说明性过程,移动设备可基于推断的交通工具状态提供用户接口体验。
图19-21示出图18的过程中的与三种不同的交通工具状态情形对应的三种不同例示。
图22示出一种说明性过程,通过该说明性过程,图16的遇险管理模块可推断和响应可影响交通工具的遇险状况。
图23示出可用于实现在前述各图中所示的特征的任意方面的说明性计算功能。
在本公开内容和附图中,使用相同的附图标记表示相同的组件和特征。以100开始的序列号是指最初在图1中提供的特征,以200开始的序列号是指最初在图2中提供的特征,以300开始的序列号是指最初在图3中提供的特征,依次类推。
具体实施方式
如下组织本公开内容。部分A描述了用于提供取决于推断的交通工具状态的用户接口体验的说明性功能。部分B描述说明部分A的功能的操作的说明性方法。部分C描述可用于实现在部分A和B中描述的特征的任意方面的说明性计算功能。
作为预备事项,一些附图在不同地称为功能、模块、特征、元件等的一个或更多个结构组件的背景下描述了各个概念。附图中所示的各个组件可以通过任何物理和有形的机构(例如通过软件、硬件(例如芯片实现的逻辑功能)、固件等、和/或它们的任意组合)以任意方式实现。在一种情况下,将附图中的各个组件说明性地分成不同的单元可反映在实际的实现方式中对应的不同的物理和有形的组件的使用。替选地或者另外地,附图中说明的任何单个组件可以通过多个实际的物理组件来实现。替选地或者另外地,附图中的两个或者更多个单独组件的描绘可反映由单个实际物理组件执行的不同功能。进而要讨论的图23提供关于附图中所示的功能的一种说明性的物理实现方式的另外的细节。
其它附图以流程图的形式描述各种概念。按照这种形式,某些操作被描述为构成以特定顺序进行的不同块。这样的实现方式是说明性的和非限制性的。这里描述的某些块可被群集在一起并在单个操作中执行,某些块可被分成多个组件块,并且某些块可以按照与这里说明的顺序不同的顺序来进行(包括执行各个块的并行方式)。流程图中所示的块可以通过任何物理和有形的机构(例如通过软件、硬件(例如芯片实现的逻辑功能)、固件等、和/或它们的任意组合)以任意方式实现。
关于术语,短语“被配置成”包含任意类型的物理和有形的功能可被构造成执行所标识的操作的任意方式。该功能可被配置成利用例如软件、硬件(例如芯片实现的逻辑功能)、固件等、和/或它们的任意组合来执行操作。
术语“逻辑”包含用于执行任务的任何物理和有形的功能。例如,流程图中说明的每个操作对应于执行该操作的逻辑组件。操作可以利用例如软件、硬件(例如芯片实现的逻辑功能)、固件等、和/或它们的任意组合来执行。当通过计算系统实现时,逻辑组件代表作为不管用何种方式实现的计算系统的物理部件的电组件。
权利要求中的短语“用于…的装置(means for)”(如果使用的话)意图援引35U.S.C.§112的第六段的规定。除了该特定短语之外,没有其它语言意图援引所述法令的该部分的规定。
下面的说明可以将一个或更多个特征标识为“可选的”。这种阐述不应被解释成可被视为可选的特征的穷尽指示;即,其它特征也可被视为是可选的,尽管未在本文中明确确定。最后,术语“示例性的”或者“说明性的”是指可能的许多实现方式之中的一种实现方式。
A.说明性的移动设备及其使用环境
图1示出其中用户可在交通工具内操作移动设备的说明性环境100。例如,图1描绘了在交通工具106内操作移动设备104的说明性用户102和在交通工具112内操作移动设备110的用户108。然而,环境100可容纳任意数目的用户、移动设备和交通工具。为了简化说明,本部分将阐述由用户102操作的移动设备104的说明性构成和操作方式,从而将该移动设备104看作环境100内的任何移动设备的操作的代表。此外,在某些情况下,本说明将陈述移动设备104执行某些处理功能。应不受限制地解释这种陈述。在一些情况下,移动设备104可通过提供执行功能的逻辑来执行这种功能。替选地或者另外地,移动设备104可通过与代表移动设备104执行功能的远程实体进行交互来执行这种功能。
更具体地,移动设备104以至少两种模式操作。在手持操作模式下,用户102可在用他或她的手保持移动设备104的情况下与移动设备104进行交互。例如,用户102可以与移动设备104的触摸输入设备和/或移动设备104的小键盘进行交互以执行任何设备功能。在交通工具操作模式下,用户102可在他或她的交通工具106中与移动设备104进行交互。在这种模式下,移动设备104基于推断输入信息来自动评估交通工具106的状态(即,根据文中使用的术语的“交通工具状态”)。移动设备104随后基于交通工具状态来呈现用户接口体验,如下面更详细阐述的。
通过概述的方式,交通工具状态表征用户102当前操作交通工具106的方式。交通工具状态的某些方面可以直接与交通工具的移动的动力学有关。这样的直接方面可包括(但不限于):交通工具106行驶的速度;交通工具106加速和减速的方式;交通工具106转向的方式;交通工具106的刹车(breaks)应用的方式等。交通工具状态的其它方面可以与交通工具106移动的方式具有更间接的关系。例如,交通工具状态的这些方面可以与其中发生交通工具106的移动的限制情况(qualifying circumstances)有关。这样的间接方面包括(但不限于):交通工具106行驶的区域;交通工具106行驶的时刻;交通工具106行驶的日期;交通工具106行驶时的天气;交通工具106行驶时的路况等等。
移动设备104可基于推断输入信息来确定交通工具状态。推断输入信息与可用于推断交通工具状态的任何信息有关。一些推断输入信息可以来源于在移动设备104之内的输入源。其它推断输入信息可以来源于在移动设备104之外的输入源。
最后,交通工具状态与注意力特性(attention profile)关联。注意力特性表征当在交通工具状态内驾驶时用户102适于保持的注意力水平和注意力类型。例如,假定交通工具状态指示用户102在拥挤的市区以高速率行驶。基于这些考虑,移动设备104可得出用户102适于密切关注操作交通工具106的任务的结论。相反,假定交通工具状态指示用户102坐在他的因交通阻塞而停下的交通工具106中。在这种情况下,移动设备104可得出下述结论:对用户102来说,可允许更关注于补充的驾驶无关的任务(与第一种情形相比)。
移动设备104随后呈现向用户102提出与交通工具状态相称的注意力相关要求的用户接口体验。换句话说,移动设备104按照从交通工具状态的注意力特性的角度是适当的方式来吸引(engage)用户102,例如通过不要求超出用户102在驾驶交通工具106时所能“担负(afford)”提供的注意力水平和类型之外的注意力水平和类型。例如,在上面描述的第一种情形中(其中用户102正在拥挤的地区高速行驶),移动设备104可呈现对用户102的注意力提出即使有也极少的要求的用户接口体验。在上面描述的第二种情形中(其中用户102坐在他或她的交通工具106中,而没有移动),移动设备104能够对用户102的注意力提出高得多的要求。
移动设备104能够以不同的方式提供适当的用户接口体验。通常,用户接口体验是指用户102与移动设备104进行交互的方式,通过向移动设备104提供用户输入信息或者从移动设备104接收输出信息。更具体地,用户102向移动设备104提供用户输入信息的方式由用户102可用于向移动设备104提供用户输入信息的各种输入模式来定义。说明性的输入模式可包括小键盘输入模式、触摸屏输入模式、语音识别输入模式、手势识别输入模式等(下面要更详细描述的)。移动设备104向用户提供输出信息的方式由各种输出模式来定义。说明性的输出模式可包括显示输出模式、语音输出模式等(下面要更详细描述的)。通过激活和/或禁用某些输入模式和/或输出模式,移动设备104能够改变用户接口体验。替选地或另外地,通过改变任何输入模式和/或任何输出模式的操作的方式,移动设备104可改变用户接口体验(同样将在下面更详细描述的)。
考虑到上面的概述,现在描述将进行到图1中描绘的各个特征的更详细的描述。从移动设备104本身开始,该设备能够以任何方式实现并且可以执行任何功能或者功能的组合。例如,移动设备104可对应于任意类型的移动电话设备(例如,智能电话设备)、书籍阅读器设备、个人数字助理设备、膝上型计算设备、平板型计算设备、上网本型计算设备、便携式游戏机、便携式介质系统接口模块设备等等。
交通工具106可对应于用于运送用户102的任何机构。例如,交通工具106可对应于任意类型的汽车、卡车、公共汽车、摩托车、小型摩托车、自行车、飞机、轮船等。然而,为了便于说明,此后将假定交通工具106对应于用户102操作的私人汽车。
环境100还包括用于允许移动设备104与任何远程实体(其中“远程实体”是指相对于用户102遥远的实体)进行交互的通信管道(conduit)114。例如,通信管道114可允许用户102使用移动设备104与使用另一个移动设备的另一个用户(比如使用移动设备110的用户108)进行交互。另外,通信管道114可允许用户102与任何远程服务进行交互。一般来说,通信管道114可代表局域网、广域网(例如,因特网)、或者它们的任意组合。通信管道114可由任何协议或者协议的组合来管理。
更具体地,通信管道114可包括作为其一部分的无线通信基础结构116。无线通信基础结构116代表使得移动设备104能够经由无线通信与远程实体通信的功能。无线通信基础结构116可包含蜂窝塔、基站、中心交换站、卫星功能等中的任何一个。通信管道114还可包括硬连线链路、路由器、网关功能、名字服务器等。
环境100还包括一个或更多个远程处理系统118。远程处理系统118向用户提供任意类型的服务。在一种情况下,每个远程处理系统118可以利用一个或更多个服务器和相关联的数据存储装置实现。例如,图1示出远程处理系统118可包括远程处理功能120和相关联的系统存储装置122的至少一个实例。接下来的描述将阐述远程处理功能120能够执行的、与交通工具106内的移动设备104的操作关系密切的说明性功能。
转到图2,该图示出交通工具106的代表性内部区域200的一部分。座架202将移动设备104紧固在内部区域200内。更具体地,座架202将移动设备104紧固到交通工具的仪表板的顶部、在用户102的左侧、刚好在交通工具控制板区域204上方。电源线206将来自交通工具106所提供的任何电源的电力提供给移动设备104(直接地或者间接地,如结合图7将描述的)。
移动设备104可包括至少一个内部摄像机设备(图2中未示出),所述内部摄像机设备具有从移动设备104的正面朝向用户102伸出的视场。更具体地,用户102可按照使得摄像机设备的视场包含用户102的至少一部分身体结构(anatomy)的方式将移动设备104放置在内部区域200内。在一种实现方式中,这种放置使得内部摄像机设备能够建立交互空间。内部摄像机设备能够在该交互空间内捕获用户102做出的手势。在一种说明性实现方式中,交互空间通常可对应于从移动设备104的正面开始、指向驾驶交通工具106的用户102延伸大约60cm的圆锥形容积(尽管不同的终端使用环境可采用具有不同“尺寸”和形状的交互空间)。
然而,图2中所示的移动设备104的放置仅仅是代表性的,从而意味着用户102可以选择移动设备104的其它位置和取向。例如,用户102可将移动设备104放置在相对于方向盘的左侧区域中,而不是放置在相对于方向盘的右侧区域中(如图2中所示)。这例如在方向盘设置在交通工具106的右侧的国家中会是适当的。替选地,用户102可将移动设备104直接放置在方向盘后或者放置在方向盘上。替选地,用户102可将移动设备104紧固到交通工具106的挡风玻璃上。这些选项通过说明的方式而不是限制的方式而提到;移动设备104的其它放置也是可能的。
图3示出了可用于将移动设备104紧固到汽车的内部区域200的某一表面的一种仅是代表性的座架302(注意该座架302是与图2中所示的座架202不同类型的座架)。不进行限制地,图3的座架302包括用于将座架302紧固到内部区域200内的表面的任何类型的耦接机构304。例如,耦接机构304可包括附接到交通工具106的空气流动格栅(air movementgrill)的夹具或伸出构件(未示出)。在其它情况下,耦接机构304可包括下述平板或其它类型的构件:其可利用任意类型的紧固件(例如,螺丝钉、夹具、Velcro耦接机构、滑动耦接机构、咬合耦接机构、吸盘耦接机构等)紧固到交通工具106的任意表面。在其它情况下,座架302可以仅置于内部区域200的大体水平的表面上,比如置于仪表板的顶部上而不被紧固到该表面。为了降低在交通工具106移动期间这种类型的座架在表面上滑动的风险,它可包括加重构件,比如填充有沙的可延展的底座构件。
在一种仅是说明性的实现方式中,图3中所示的代表性座架302包括从耦接机构304伸出并且止于支架308的柔性臂306。支架308可包括用于将移动设备104紧固到支架308的可调夹紧机构。在这种特定情形下,用户102将移动设备104附接到支架308以使得可按肖像模式(portraitmode)操作移动设备104。然而,替选地,用户102可以附接移动设备104以使得能够按风景模式(landscape mode)操作移动设备104(如图2中所示)。
如上所述,移动设备104包括至少一个内部摄像机设备312,所述内部摄像机设备312从移动设备104的正面314(或者移动设备104的其它面)伸出。内部摄像机设备312被识别成“内部的”,只要它一般被视为移动设备104的组成部分即可。另外,移动设备104可以从一个或更多个外部摄像机设备(未示出)接收图像信息。
此外,座架302可结合有用于确定移动设备104何时已被插入座架302的支架308中的任何附接感测机构316。例如,附接感测机构316可包含机械开关,当用户102将移动设备104插入支架308中时,该机械开关从OFF(断开)状态转换(toggle)成ON(接通)状态,当移动设备104脱离支架308时,该机械开关从ON状态转换成OFF状态。附接感测设备的其它实现方式包括光感测开关、压力感测开关等等。替选地或另外地,移动设备104可以实现附接感测机构(未示出)。即,按照补充的方式,设备实现的附接感测机构被配置成当用户将移动设备104放置在支架308中时被激活。替选地或另外地,移动设备104可基于间接证据来推断它已脱离支架308的事实。在任何实现方式中,如下面将描述的,附接感测机构316起到确定交通工具106是否处于遇险状况的作用。
此外,座架302可包括一个或更多个辅助传感器设备320(图3中用虚线框总体描绘的)。例如,传感器装置320可包含图5(下面要描述的)中所示的各种类型的移动感测设备430中的一个或更多个。另外,座架302可包含附加的图像感测机构,比如任意类型的一个或更多个附加摄像机设备等。
图4示出可用于实现移动设备104的各种组件。将按照大体上从上到下的方式来描述该图。首先,移动设备104包括用于经由无线通信接收信息和向远程实体传送信息的通信功能402。即,通信功能402可包含允许移动设备104与通信管道114的无线通信基础结构116交互的收发器。
移动设备104还可包括一个或更多个应用程序404的集合。应用程序404代表用于进行任何相应任务的任意类型的功能。在一些情况下,应用程序404进行高级任务。列举一些代表性示例,第一应用程序可进行地图导航任务,第二应用程序可进行介质呈现任务,第三应用程序可进行电子邮件交互任务等等。在其它情况下,应用程序404进行低级管理或支持任务。可以以任何方式(比如通过可执行代码、脚本内容等、或者它们的任意组合)实现应用程序404。移动设备104还可包括至少一个设备存储装置406,用于保存任何与应用程序相关的信息、以及其它信息。
在其它实现方式中,应用程序404的至少一部分可通过远程处理系统118实现。例如,在一些实现方式中,一些应用程序404可代表可网络访问的页面和/或其它类型的功能。
移动设备104还可包括设备操作系统408。设备操作系统408提供用于进行低级设备管理任务的功能。任何应用程序可依赖于设备操作系统408来利用移动设备104提供的各种资源。
移动设备104还可包括用于接收和处理输入信息的输入功能410。通常,输入功能410包括用于从内部输入设备(它代表作为移动设备104本身的一部分的组件)接收输入信息的某一功能、以及用于从外部输入设备接收输入信息的某一功能。输入功能410可利用任何耦接技术或耦接技术的组合(比如硬连线连接、无线连接(例如,Bluetooth
Figure BDA00002590742400101
连接)等)从外部输入设备接收输入信息。
本说明将最终用于推断交通工具106的状态的输入信息称为推断输入信息。本说明将用户102提供的输入信息称为用户输入信息。这两类输入信息不一定互斥;即,用户102输入的一些信息可构成推断输入信息。没有限定词“用户”或“推断”的泛称“输入信息”是指任意类型的输入信息。
输入功能410包括用于从至少一个内部摄像机设备414和/或从至少一个外部摄像机设备416(例如,外部摄像机设备416可以与座架302相关联,或者借助交通工具106内的某个其它单元)接收图像信息的可选手势识别模块412。这些摄像机设备中的任意一个可以提供任意类型的图像信息。例如,在一种情况下,摄像机设备可提供视频图像信息,该视频图像信息通过接收可见光谱辐射、红外光谱辐射等、或者它们的组合而产生。在另一种情况下,摄像机设备可提供可被进一步处理以提供深度信息的图像信息。深度信息提供捕获场景中的不同点和参考点(例如,对应于摄像机设备的位置)之间的距离的指示。深度处理功能可利用任何技术(比如飞行时间技术、结构光技术、体视技术等)产生深度信息。在接收图像信息之后,手势识别模块412可确定图像信息是否展现用户102做出了可识别的手势。
输入功能410还可从捕获交通工具106之外的场景的一个或更多个摄像机设备接收图像信息。例如,内部或外部摄像机设备可捕获交通工具106前面的、交通工具106后面的、在交通工具106的任一侧等的场景。还可以与上面描述的任意类型的深度处理功能结合地使用这些摄像机设备。深度处理功能的使用允许移动设备104评估交通工具106与其它附近的交通工具和障碍物之间的距离。输入功能410还能够从任何其它类型的距离感测机构(比如光探测和测距(LIDAR)感测设备等)接收推断输入信息。
输入功能410还可包括辅助系统接口模块418。辅助系统接口模块418从任何交通工具系统420、和/或从座架302、和/或从任意其它外部系统接收推断输入信息。例如,辅助系统接口模块418可以接收交通工具的信息管理系统提供的任意类型的OBDII信息。这种信息可描述交通工具106在特定时间点的操作状态,比如通过提供关于交通工具的速度、转向状态、刹车状态、发动机温度、发动机性能、里程表读数、油水平、燃料水平、交通工具106中的乘客的存在等的信息。为了提供该信息,交通工具系统420可以从交通工具106提供的多个感测设备接收传感器信息。替选地或另外地,辅助系统接口模块318可接收由一个或更多个传感器设备(比如座架302提供的一个或更多个辅助加速计设备)收集的推断输入信息。
输入功能410还可包括触摸输入模块422,用于当用户102触摸了触摸输入设备424时接收用户输入信息。虽然图4中未示出,但是输入功能410还可包括任意类型的物理小键盘输入机构、任意类型的操纵杆控制机构、任意类型的鼠标设备机构等等。输入功能410还可包括用于从一个或更多个麦克风设备428接收语音命令的语音识别模块426。
输入功能410还可包括一个或更多个移动感测设备430。通常,移动感测设备430确定移动设备104在任意给定时间处移动的方式。该信息进而能够与在任意给定时间处移动设备104的动态移动和/或移动设备104的位置有关。暂时转到图5,该图指示移动感测设备430可包括加速计设备502、陀螺仪设备504、磁力计设备506、GPS设备508(或其它基于卫星的定位机构)、航位推算定位设备(未示出)、蜂窝塔或WiFi三角测量设备(未示出)等中的任意一个。此外,移动感测设备430可包括上面描述的任何类型的视觉设备,例如对应于一个或更多个摄像机设备和相关功能的视觉设备。即,由视觉设备捕获的图像包含关于交通工具106的移动的证据;因此,视觉设备可被视为一类移动感测设备。这组可能的设备是代表性的,而不是穷举的。在其它情况下,某个其它实体(除移动设备104以外)可评估移动设备104的移动,比如由远程处理系统118提供的任何功能。
移动设备104还包括用于在输出呈现中向用户102传达信息的输出功能432。暂时转到图6,该图指示输出功能432可包括设备屏幕602、一个或更多个扬声器设备604、和用于将输出信息投影到任意表面上的投影仪设备606等中的任意一个。
输出功能432还包括使得移动设备104能够向与交通工具106相关联的任何交通工具系统420发送输出信息的交通工具接口模块608。这允许用户102与移动设备104交互,从而控制与交通工具106本身相关联的任意功能的操作。例如,用户102可以与移动设备104交互以控制在单独的交通工具介质系统上的介质内容的回放。用户102可能更喜欢直接与移动设备104交互,而不是与交通工具106的系统交互,因为用户102大概已熟悉移动设备104操作的方式。此外,移动设备104可访问能够提供特定于用户的信息的远程系统存储装置122。移动设备104可以充分利用(leverage)该信息以按照为特定用户102定制的方式控制任意交通工具系统420。
最后,移动设备104可选地可包括模式功能装置434。模式功能装置434执行上面概述的核心功能,所述核心功能包括评估交通工具106在特定时间点的状态以及提供考虑到交通工具状态的用户接口体验。替选地,模式功能装置434的至少部分可以通过远程处理系统118实现。
图7示出了(图3的)座架302提供的功能能够与移动设备104进行交互的一种方式。座架302可包括(上面描述的)附接感测机构316,附接感测机构316向移动设备104的输入功能410提供附接信号。附接信号指示移动设备104目前是否被耦接到座架302。座架302还可包括图5中所示的用于向移动设备104的输入功能410提供推断输入信息的该类移动感测设备430中的任意一个。座架302还可包括用于向移动设备104的输入功能410提供推断输入信息的任何其它可选设备702。替选地或另外地,设备702可以执行各种处理功能,并且随后可将这种处理的结果发送给移动设备104。
座架302还可包括电源704,电源704例如经由移动设备104提供的外部电力接口模块706向移动设备104馈送电力。电源704进而可从任何外部电源(比如与交通工具106相关联的电源(未示出))接收电力。在这种实现方式中,电源704既向座架302的组件供电,又向移动设备104供电。替选地,可以为移动设备104和座架302中的每个提供单独的电源。
最后,图7示出了允许移动设备104的输入功能410与座架302的组件通信的接口(708、710)。
图8和9以图示的方式概述两种输出模式。即,在图8中,移动设备104在移动设备104的显示屏幕602上呈现可视内容802。在图9中,移动设备104呈现补充或代替可视内容802的音频内容902。
图10-12以图示的方式概述三种输入模式。即,在图10中,当用户102利用手1002触摸呈现在移动设备104的触摸输入屏上的图标1004或其它对象时,触摸输入模块422接收用户输入信息。在图11中,当用户102在不触摸移动设备104的情况下做出由移动设备104的内部摄像机设备414捕获到的手势时,手势识别模块412接收用户输入信息。通过比较所捕获的图像信息与同一组可能的候选手势中的每个候选手势相关联的候选手势信息,手势识别模块412能够识别该手势。在图12中,当用户102发出语音命令时,语音识别模块426接收用户输入信息。
图13示出关于上面在图4-7的背景中介绍的移动设备104的组件的子集的附加信息。组件包括代表性应用程序1302和模式功能装置434。如名称所示,“代表性应用程序”1302代表可在移动设备104上运行(和/或可在远程处理功能上运行)的应用程序404的集合中的一个。
更具体地,图13将代表性应用程序1302和模式功能装置434描绘为执行相应功能的单独实体。然而,替选地或另外地,模式功能装置434的任意方面可由代表性应用程序1302执行。类似地,替选地或另外地,代表性应用程序1302的任意方面可由模式功能装置434执行。此外,这里将图13中所示的组件描述成由移动设备104执行。然而,替选地或另外地,代表性应用程序1302和模式功能装置434的至少一些功能可由远程处理系统118和/或座架302的任意功能执行。
代表性应用程序1302可被概念化成包含一组资源1304。应用程序资源1304代表代表性应用程序1302可用于提供其服务的图像内容、文本内容、音频内容、编程内容、控制设置等。此外,在一些情况下,开发人员可以提供用于在不同的交通工具状态下调用的资源的多个集合。例如,假定存在两种主要的交通工具状态:移动状态和非移动状态。开发人员可提供在移动状态下移动设备104能够呈现的接口图标和提示消息的第一集合、以及在非移动状态下移动设备104能够呈现的接口图标和提示消息的第二集合。移动状态集合可不同于非移动状态集合。例如,移动状态集合可以使用与非移动状态集合相比更大尺寸的图标和字体。在应用程序的执行期间,模式功能装置434可确定在特定时间的交通工具状态。作为响应,模式功能装置434可调用移动状态集合以提供移动状态下的用户接口体验、以及非移动状态集合以提供非移动状态下的用户接口体验(如下所述,模式功能装置434可以进行其它变化以产生适当的用户接口体验)。
该双集合示例仅是说明性的;其它应用程序可以提供与驾驶交通工具106的不同相应方式对应的多于两类的资源集合。例如,开发人员可以创建用于夜间驾驶交通工具状态的资源集合和用于白天驾驶交通工具状态的资源集合(以及用于非移动状态的资源集合)。
在上述类型的开发环境中,开发人员可以咨询(consult)适当的软件开发工具(SDK),以帮助他或她创建不同的资源集合。SDK描述关于要在不同交通工具状态下使用的资源的特性的各种要求和建议。例如,SDK可要求或建议开发人员对于某些交通工具状态使用不小于一定大小的字体。
现在前进到对模式功能装置434的描述,该组件被示出为包含三个子模块:接口模块1306、状态检测模块1308和体验呈现模块1310。为了便于描述,将假定用于实现这三种功能的所有逻辑实际上都被封装在称为模式功能装置434的单元中。不过如上所述,替选地或另外地,模式功能装置434的任意方面可由代表性应用程序1302和/或某个其它实体(比如远程处理系统118)执行。
接口模块1306接收各种形式的推断输入信息。推断输入信息的实例的子集1312来源于与移动设备104本身相关联的输入源。推断输入信息的实例的另一个子集1314来源于在移动设备104之外的输入源(例如,来自交通工具系统420、座架302等)。
例如,推断输入信息的内部实例的子集1312可以来源于在图5中列举的移动感测设备430中的任意之一。子集1312还可包括从捕获交通工具106内和/或交通工具106外的一个或多个场景的一个或更多个内部摄像机设备接收的图像信息。子集1312还可包括由一个或更多个麦克风设备捕获的音频信息。
外部推断输入信息的实例的子集1314可来源于例如由OBDII信息等表达的、将传感器信息馈送到任何交通工具系统420中的任意传感器设备。子集1314还可包括从捕获交通工具106内和/或交通工具106外的一个或多个场景的一个或更多个外部摄像机设备接收的图像信息。例如,通过向外的摄像机设备捕获的图像信息可用于展现行人和附近交通工具的存在、停车灯的存在等等。子集1314还可包括通过一个或更多个麦克风设备捕获的音频信息。
该子集1314还可包括从远程源(例如,从任意远程处理系统118)提取的任何信息。这样的信息可包括地图信息、交通信息、路况信息、灾害信息、天气信息、地区人口信息、名胜古迹信息、关于与特定管辖范围有关的驾驶相关法规的法律信息等。此外,地图信息能够以任意粒度水平提供关于区域的信息。例如,地图信息可以识别区域中的交通信号灯、复杂路口、校区等的位置。
能够以各种方式收集远程处理系统118保持的信息。在一种方法中,远程处理系统118可基于现场感测设备(比如车道摄像机设备、航空和卫星摄像机设备、温度感测设备、降水感测设备等)来收集信息。另外地或替选地,远程处理系统118可从人工报告信息的观察人员收集信息。另外或替选地,远程处理系统118可通过从设置在各个交通工具中的多个移动设备中众包(crowd-sourcing)该信息来收集该信息。
上述形式的推断输入信息是通过示例而非限制的方式而提及的;其它实现方式可以提供其它形式的推断输入信息,和/或可以省略一种或更多种形式的上述推断输入信息。
状态检测模块1308基于上面列举的这些形式的推断输入信息(和/或其它形式的推断输入信息)的任意组合,来推断交通工具106的状态。状态检测模块1308能够以不同的方式执行该任务。在一种实现方式中,状态检测模块1308可保持查寻表,所述查寻表将(由推断输入信息定义的)输入条件的不同排列映射到对应的交通工具状态信息。即,状态检测模块1308可以指出,如果存在输入条件L、M、N和P,则交通工具状态处于状态X。在另一种情况下,状态检测模块1308可以使用统计模型以将与一组输入条件相关联的特征向量映射成确定的交通工具状态。该统计模型可以在机器学习过程中产生。在另一种情况下,状态检测模块1308可以使用任意类型的基于规则的引擎或者神经网络来将输入条件映射成确定的交通工具状态,等等。这些实现方式是通过示例而非限制的方式而提及的。部分B将在代表性场景的情况下更详细地描述状态检测模块1308的说明性行为。
另外,状态检测模块1308可咨询路线预测模块以确定为了到达指定或者预测的目的地用户102可能采取的路线。通过在实际遭遇随着旅程的进行用户102可能面临的困难驾驶条件之前预测这些困难驾驶条件,路线信息帮助状态检测模块1308以更主动的方式操作。状态检测模块1308还可挖掘任何其它用户资源,以便产生交通工具状态,比如日历信息、购物历史信息、以前的行进路线信息等等。
体验呈现模块1310从状态检测模块1308接收关于推断的交通工具状态的信息。作为响应,体验呈现模块1310将交通工具状态映射成用户接口体验。通常,如上所述,模式功能装置434试图提供按照与交通工具状态相称的方式耗用用户102的注意力的用户接口体验。这意味着用户接口体验使得它不向用户102要求鉴于交通工具状态用户102不能安全地给予的注意力水平和类型。这种行为进而最终降低了与在交通工具106内使用移动设备104相关联的风险。同时,模式功能装置434提供不是过度限制的用户体验,例如通过不必要地排除不会对用户102造成显著风险的某些交互。
体验呈现模块1310还可咨询设置在远程处理系统118(及其相关联的系统存储装置122)中的功能,以选择它呈现给用户102的用户接口体验。例如,体验呈现模块1310可确定用户102的偏好和习惯,随后利用该信息影响用户接口体验的选择。偏好可指示在不同的驾驶情况下用户更喜欢接收的用户接口体验的配置。体验呈现模块1310会尝试满足用户对特定驾驶情况的偏好,只要这样的选择不与其它考虑因素抵触。习惯可指示当面临各种驾驶情况连同不同的用户接口体验时用户(过去)驾驶交通工具106的方式。如果对于驾驶情况和用户接口体验的特定组合,用户表现较差,则体验呈现模块1310会否定地对这种组合加权,以便在未来不赞成使用该组合。
除了提供用户接口体验之外,体验呈现模块1310能够向用户呈现报警。例如,报警可以向用户警告他或她正在接近校区的事实。报警可以促使驾驶员注意儿童的存在。另外地或替选地,报警可以警告用户,就该情况来说,他或她驾车过快。
图14列举了体验呈现模块1310能够产生期望的用户接口体验的一些不同方式(部分B将描述体验呈现模块1310的更多操作示例)。作为一种一般策略,体验呈现模块1310可调整输出功能432的某个方面。作为另一种一般策略,体验呈现模块1310可调整输入功能410的某个方面。体验呈现模块1310还可修改图1中所示的环境100的任何其它方面。
首先考虑对输出功能432作出的变化。作为第一种变化,体验呈现模块1310可以响应于交通工具状态而激活启用或禁用某些输出模式(或者至少部分地启用或约束某些输出模式的一个或更多个部分)。列举一个示例,当交通工具106正在移动时,体验呈现模块1310可以禁用显示输出模式。代替这种输出方式,体验呈现模块1310可经由语音输出模式提供输出信息,或者只要移动状况占优就根本不产生输出信息。
替选地或另外地,体验呈现模块1310可响应于交通工具状态改变它所呈现的内容。例如,如上所述,应用程序可包括用于提供输出呈现时使用的两个或更多个资源集合。体验呈现模块1310可基于交通工具状态,利用适当的资源集合来呈现输出呈现。例如,当交通工具106的速度超过规定阈值时,体验呈现模块1310可显示大尺寸的图标。
替选地或另外地,体验呈现模块1310可以响应于交通工具状态而改变输出呈现本身的任意一个或多个性质。这种类型的变化与上面刚刚说明的变化相似。不过在这里,代替选择资源的全新集合,体验呈现模块1310可以修改输出呈现的一个或更多个可变属性。这种类别包含宽范围的选项。例如,对视觉输出呈现来说,体验呈现模块1310可调整:显示的内容的大小、对比度、颜色、透明度等中的任一个;显示的内容的时间长度;显示的内容的不同部分之间的空间组织等等。对音频输出呈现来说,体验呈现模块1310可调整呈现的音频内容的音量,可听内容提供的讲话速率等等。
替选地或另外地,体验呈现模块1310可基于交通工具状态将输出信息发送给不同的目的地。例如,对一些交通工具状态来说,移动设备104可将输出信息路由给与移动设备104本身相关联的输出设备。对其它交通工具状态来说,移动设备104可将输出信息路由给任何交通工具系统420,比如与交通工具106相关联的介质系统。
体验呈现模块1310可以使用用于基于交通工具状态修改任何输出呈现的其它策略。
接下来考虑输入功能410。作为第一种变化,体验呈现模块1310能够启用或禁用某些输入模式(或者至少部分地启用或约束某些输入模式的一个或更多个部分)。列举一个示例,当交通工具106高速移动时,体验呈现模块1310可禁用触摸屏输入模式和小键盘输入模式。代替该输入方式,体验呈现模块1310可以经由语音识别输入模式和/或手势识别输入模式来提供输入。
替选地或另外地,体验呈现模块1310可以改变基于交通工具状态获得的用户输入信息的类型。例如,与交通工具106低速移动的情况相比,在交通工具106高速行驶时,体验呈现模块1310可接受较少数目的语音命令。这种变化可帮助降低在较高速度下的语音识别输入模式的复杂性,从而减小该模式可能对用户102造成的分心。
替选地或另外地,体验呈现模块1310可以改变任何输入模式收集用户输入信息的方式。例如,在某些时刻(juncture),输入模式可向用户102提出要求响应的询问;在未收到回答的一定时间量之后,输入模式可以使该询问失效。在较高的速度下,输入模式可以延长它向用户102请求响应的时间长度,因为用户102可能注意力分散而不能提供快速回答。
体验呈现模块1310可以使用基于交通工具状态修改任何输入模式的其它策略。
图15示出用户102可在交通工具106内操作他或她的移动设备104的另一种环境1500。在这种情况下,环境1500确定交通工具106何时处于遇险状况。遇险状况对应于降临到交通工具106上,乃至降临到驾驶交通工具106的用户102上的任何创伤性事件。例如,遇险状况可对应于发生的涉及交通工具106的事故。当发生了遇险状况时,环境1500向驾驶员协助系统1502请求帮助。驾驶员协助系统1502能够以各种方式帮助用户102,比如通过:(a)通过电话、文本消息接发或者其它通信机制,联系用户102;(b)联系应急响应服务;(c)联系用户的家庭成员或者其它指定的联系点;(d)提供关于服务站和/或其它协助中心的信息,等等。每当驾驶员协助系统1502向某一方通知遇险状况出现时,它可识别交通工具106的位置和在遇险状况周围的任何限定情况。驾驶员协助系统1502可由在遇险状况的情形下协助用户102的代理人担任工作人员。另外地或替选地,驾驶员协助系统1502可包括用于协助用户102的自动化功能。
图16提供关于在图15的环境1500内能够检测遇险状况并对遇险状况作出响应的遇险管理模块1602的附加信息。在一种情况下,移动设备104实现遇险管理模块1602。替选地或另外地,远程处理系统118和/或座架302可以实现遇险管理模块1602的至少一部分。
遇险管理模块1602包括接口模块1604,接口模块1604接收来自一个或更多个内部输入源的推断输入信息的实例的子集1606和/或来自一个或更多个外部输入源的推断输入信息的实例的子集1608。换句话说,接口模块1604按照与图13的接口模块1306相同的方式起作用。
遇险状况检测模块1610分析输入信息以确定是否出现了遇险状况。不同的环境可以按照不同的方式作出这种判断。通常,遇险状况检测模块1610根据已经收到的推断输入信息的各种实例来形成特征图(signature),随后确定该特征图是否与遇险状况的示警特征图(telltale signature)匹配。在一种情况下,如果:(1)移动设备104存在于交通工具106中;和(2)交通工具106突然停止或者突然减速(或者加速);和/或(3)大约在出现突然减速(或加速)的同时,移动设备104脱离座架302,遇险状况检测模块1610确定出现了遇险状况。简略地,这意味着发生了将移动设备104震出其支架308的事故。或者,移动设备104能够以其它方式经历急剧的(例如摇动(jarring))减速或加速,而不一定脱离支架308。震动(jolting)减速可指示移动的交通工具106已与在其路线上的物体相撞。震动加速可指示交通工具106已被另一个移动物体撞击,包括在交通工具106原先静止的时候。
如果刚刚在突然减速之前附接感测机构316指示移动设备104被插入座架302的支架308中,则遇险状况检测模块1610可认为移动设备104位于交通工具106中。同样地,遇险状况检测模块1610可基于附接感测机构316的输出确定移动设备104已脱离座架302。遇险状况检测模块1610可基于例如加速计设备502的输出确定移动设备104突然停止或者突然减速(或者加速)。
在其它情况下,遇险状况检测模块1610可在没有出现事件(2)和/或(3)的情况下指示遇险状况出现。例如,在评估遇险状况出现时,遇险状况检测模块1610考虑下述事件中的任意一个:(a)急剧应用刹车;(b)不稳定的转向;(c)穿过相当不平坦的路面(比如当交通工具106偏离车道时);(d)交通工具106转向其侧面或者完全翻转等。另外地或替选地,遇险状况检测模块1610可使其分析基于由一个或更多个摄像机设备捕获的图像信息和/或由一个或更多个麦克风设备捕获的音频信息。这些事件是通过示例而非限制的方式而提及的。
当遇险状况检测模块1610向动作模块1612通知出现了遇险状况时,动作模块1612可通知驾驶员协助系统1502。协助中心交互模块1614允许用户102随后与驾驶员协助系统1502通信,以从该实体接收人工帮助和/或自动帮助。
最后,上这说明阐述了交通工具内的模式功能装置434的使用。不过,用户102可以在任何环境中利用模式功能装置434与移动设备104进行交互。一般来说,模式功能装置434在下述这些环境中提供特别有利的服务:其中用户102可在不同的使用情形下与移动设备104交互,以及另外在这些不同的情形下用户102具有与移动设备104交互的不同的相应能力。仅列举一个示例,移动设备104可确定用户102是否在走或跑的同时与移动设备104进行交互;如果是,则移动设备104可向用户102呈现考虑到在走或跑时候用户102要服从的各种约束的用户接口体验(与在单个位置时和移动设备104交互的情况相反)。
B.说明性处理
图17-22示出了说明图1的环境100的一种操作方式的过程。由于作为环境100的操作基础的原理已在部分A中说明,因此在本部分中将以概述的方式陈述某些操作。
从图17开始,该图示出了从用户102的角度陈述图1的环境100的一种操作方式的说明性过程1700。在块1702,用户102可以按照常规操作模式使用他或她的移动设备104,例如通过利用触摸输入设备424,用他或她的手与移动设备104交互。在块1704,用户102进入交通工具106中,并将移动设备104放置在任意类型的座架(比如座架302)中。在块1706,用户102指示移动设备104以交通工具模式进行操作。在块1708,用户102开始使用交通工具106行进。在块1708,用户102接收为当前交通工具状态特制的用户接口体验。交通工具状态进而基于由各个输入源提供的输入信息。在块1712,在用户的旅程结束之后,用户102可从座架302移出移动设备104。随后,用户102可恢复以正常的手持操作模式使用移动设备104。
图18示出从模式功能装置434的角度说明模式功能装置434的一种操作方式的说明性过程1800。在块1802,模式功能装置434从一个或更多个输入源接收推断输入信息,所述一个或更多个输入源包括一个或更多个内部输入源(例如,对应于移动感测设备430)和/或一个或更多个外部输入源(例如,对应于由交通工具系统420提供的传感器信息)。在块1804,模式功能装置434基于推断输入信息来推断交通工具状态。在块1806,模式功能装置434基于推断的驾驶状态来呈现用户接口体验。
图19-21示出图17的过程1700的三种实例。例如,图19呈现了取决于交通工具106是否正在移动的情形。在块1902,模式功能装置434接收推断输入信息。在块1904,模式功能装置434确定交通工具106是否正在移动。在块1906,模式功能装置434可对在图8中概述的变化进行任意组合。
例如,在一种情形下,模式功能装置434可利用由移动感测设备430和/或外部传感器设备中的任意一个提供的推断输入信息,以确定交通工具106在运动。作为响应,模式功能装置434可终止显示输入模式的使用,或者使用显示输入模式呈现简化的内容(与在交通工具106静止的情况下它会呈现的内容相比)。代替显示输入模式,模式功能装置434能够可选地利用语音识别模式和/或手势识别输入模式与用户102进行交互。替选地,在交通工具106运动时,模式功能装置434可排除某些类型的内容(比如视频内容)的呈现。
图20呈现了取决于用户102驾驶交通工具106的方式的情形。在块2002,模式功能装置434接收推断输入信息。在块2004,模式功能装置434基于推断输入信息对移动设备104正移动的方式进行分类。在块2006,模式功能装置434可以对在图8中概述的变化进行任意组合。
例如,模式功能装置434可以利用推断输入信息的任何组合来编译表征设备正移动的方式的移动特征图。模式功能装置434随后可将该移动特征图与和不同的移动类别相关联的示警移动特征图进行比较;匹配的示警特征图指示交通工具106目前正在经历的移动的类型。这样的移动类别可包括(但不限于):(a)以超过规定阈值的速度行驶;(b)以急剧变化的速度行驶;(c)行驶在弯曲的车道上;(d)行驶在海拔(elevation)变化明显的车道上;(e)行驶在不平坦的路面上;(f)行驶时频繁变道;(g)行驶时频繁地应用交通工具106的刹车;(h)行驶时频繁换挡;(i)行驶时在车道漂移,或者以另外的不稳定方式行驶,等等。模式功能装置434随后可以应用与匹配的示警移动特征图关联的用户接口体验。作为一般原则,如果收集的证据指示在当前时间驾驶任务是(或者应是)艰难或者复杂的任务,则模式功能装置434将设法降低它强加于用户102的注意力相关要求。替选地或另外地,如果收集的证据指示用户102已分心(正如不佳的驾驶情况所表明的),则模式功能装置434装置会设法减轻对用户102的注意力相关负担。
图21呈现了取决于评估的交通工具106的位置的情形。在块2102,模式功能装置434接收推断输入信息。推断输入信息可包括与交通工具106的位置有关的任何证据。这样的证据可包括位置信息,比如GPS信息、WiFi或蜂窝塔三角测量信息、航位推算信息等等。另外地或替选地,模式功能装置434可基于由一个或更多个摄像机设备捕获的图像信息和/或由一个或更多个麦克风设备捕获的音频信息来直接监视用户102正在其中行进的环境。
在块2104,模式功能装置434基于推断输入信息来识别交通工具106所位于的区域。这可包括通过任何定位设备接收的位置信息的位置相关分析。例如,该操作可涉及通过咨询由移动设备104和/或远程处理系统118提供的地图信息来确定交通工具106的街道位置。区域的确定还可涉及从摄像机设备接收的图像信息的分析和/或从麦克风设备接收的音频信息的分析。例如,模式功能装置434可依赖于图像分析来确定用户102在其上行驶的车道挤满了行人和/或其它交通工具。
作为该块2104的另一部分,模式功能装置434可确定交通工具106所位于的区域的驾驶相关的暗示。在一种实现方式中,模式功能装置434可通过咨询远程处理系统118(和相关联的系统存储装置122)作出这种评估。远程处理系统118可确定是否存在关系到当在确定的区域中时用户102期望保持的注意力水平和类型的任何注意力相关的考虑因素。基于该信息,在块2106,模式功能装置434可以对在图8中概述的变化进行任意组合。
例如,模式功能装置434可确定用户102是否在可对其应用特定注意力特性的任意一个代表性区域或以下代表性区域内:(a)校区;(b)建筑工地;(c)接近应急服务的区域;(d)危险区,等等。更一般地,模式功能还可使用任何位置相关证据来确定在特定时间点适用于交通工具106的驾驶规则。模式功能装置434随后可以应用适合于识别出的区域的用户接口体验。
替选地,模式功能装置434可与(如在情形C中确定的)关于交通工具106的当前位置的了解,基于(如在情形A或情形B中确定的)用户102正驾驶他或她的交通工具106的方式,来确定交通工具状态。例如,当用户102在邻近公园的街道上以超过20MPH的速度驾驶时,模式功能装置434可选择性地禁用显示输入模式输出呈现。
图22示出了概述图16中所示的遇险管理模块1602的一种操作方式的过程2200。在块2202,遇险管理模块1602接收推断输入信息。在块2204,遇险管理模块1602基于推断输入信息来确定交通工具106当前是否处于遇险状况。在块2206,遇险管理模块1602向用户102提供协助(假定交通工具106处于遇险状况)。这种协助可包括联系远程驾驶员协助系统1502。
C.代表性计算功能
图23阐述了可用于实现上述功能的任意方面的说明性计算功能装置2300。例如,计算功能装置2300可用于实现移动设备104的任意方面。另外,图23中所示类型的计算功能装置2300可用于实现远程处理系统118的任意方面。在一种情况下,计算功能装置2300可对应于包括一个或更多个处理设备的任意类型的计算设备。在所有情况下,计算功能装置2300代表一个或更多个物理和有形的处理机构。
计算功能装置2300可包括易失性和非易失性存储器(比如RAM 2302和ROM 2304)以及一个或更多个处理设备2306(例如,一个或更多个CPU和/或一个或更多个GPU,等等)。计算功能装置2300还可选地包括各种介质设备2308,比如硬盘模块、光盘模块等等。当处理设备2306执行由存储器(例如,RAM 2302、ROM 2304、或者别的地方的存储器)保存的指令时,计算功能装置2300能够进行上面识别的各种操作。
更一般地,指令和其它信息可被保存在任何计算机可读介质2310上,包括(但不限于)静态存储器存储设备、磁性存储设备、光学存储设备等。术语计算机可读介质还包含多个存储设备。在所有情况下,计算机可读介质2310代表某种形式的物理和有形的实体。
计算功能装置2300还包括用于接收各种输入(经由输入模块2314)和用于提供各种输出(经由输出模块)的输入/输出模块2312。一种具体的输出机构可包括呈现模块2316和相关联的图形用户界面(GUI)2318。计算功能装置2300还可包括经由一个或更多个通信管道2322与其它设备交换数据的一个或更多个网络接口2320。一个或更多个通信总线2324以通信的方式将上述组件耦接在一起。
通信通道2322可以用任意方式(比如通过局域网、广域网(例如,因特网)等、或者它们的任意组合)来实现。通信管道2322可包括由任意协议或者协议的组合管理的硬连线链路、无线链路、路由器、网关功能、名字服务器等的任意组合。
替选地或另外地,在部分A和B中描述的任意功能可至少部分地由一个或更多个硬件逻辑组件来执行。例如,不进行限制地,可以使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统的系统(SOC)、复杂可编程逻辑器件(CPLD)等。
最后,这里描述的功能可以采用各种机构来确保由功能保持的用户数据的私密性。例如,功能可允许用户明确地选择接受(和随后明确地退出)功能的规定。功能还可提供适当的安全机制,以确保用户数据的私密性(例如,数据消毒机制、加密机制、口令保护机制等)。
根据以上各实施例的实施方式,本公开还公开了下述方案:
1.一种用于响应于交通工具状态而提供用户接口体验的方法,所述方法通过计算功能装置来执行,所述方法包括:
从一个或更多个输入源接收推断输入信息,至少一个输入源包括由移动设备提供的用于感测所述移动设备的移动的至少一个移动感测设备,所述移动设备当在交通工具中使用时以交通工具模式进行操作,而当在交通工具外使用时以手持模式进行操作;
基于所述推断输入信息来推断交通工具的交通工具状态;以及
响应于所述交通工具状态,向操作所述交通工具的用户呈现用户接口体验,
所述用户接口体验向用户施加注意力相关要求,其中所述注意力相关要求是基于已推断的交通工具状态来选择的。
2.根据方案1所述的方法,其中,所述至少一个移动感测设备包括下述中的一个或更多个:
加速计设备;
陀螺仪设备;
视觉设备;
磁力计设备;以及
定位设备。
3.根据方案2所述的方法,其中,所述定位设备包括GPS设备。
4.根据方案1所述的方法,其中,所述一个或更多个输入源中的另一个包括与所述交通工具相关联的至少一个传感器设备,所述传感器设备在所述移动设备之外。
5.根据方案1所述的方法,其中,所述一个或更多个输入源中的另一个包括与将所述移动设备保持在交通工具内的座架相关联的至少一个传感器设备。
6.根据方案1所述的方法,其中,所述推断包括基于输入信息来确定交通工具是在移动还是未移动。
7.根据方案1所述的方法,其中,所述推断包括基于所述推断输入信息来对交通工具移动的方式进行分类。
8.根据方案1所述的方法,其中,所述推断包括基于所述推断输入信息来确定交通工具的位置,以及评估与该位置相关联的注意力相关要求。
9.根据方案1所述的方法,其中,所述推断包括基于所述推断输入信息来确定交通工具处于遇险状况,其中,所述推断输入信息包含移动设备位于交通工具中的证据、以及下述至少之一的证据:
交通工具已突然减速或加速;和
在突然加速或减速时,移动设备脱离将移动设备保持在交通工具内的座架。
10.根据方案1所述的方法,其中,所述呈现包括基于所述交通工具状态来至少部分地启用或约束向用户递送输出呈现的输出模式。
11.根据方案1所述的方法,其中,所述呈现包括基于所述交通工具状态来改变通过递送给用户的输出呈现提供的内容的类型。
12.根据方案1所述的方法,其中,所述呈现包括基于所述交通工具状态来改变递送给用户的输出呈现的至少一个性质。
13.根据方案1所述的方法,其中,所述呈现包括控制与交通工具相关联的交通工具系统,其中所述交通工具系统在移动设备之外。
14.根据方案1所述的方法,其中,所述呈现包括基于所述交通工具状态来至少部分地启用或约束用户将用户输入信息输入移动设备中的输入模式。
15.根据方案1所述的方法,其中,所述呈现包括响应于确定交通工具处于遇险状况而向用户提供协助。
16.一种用于向在交通工具内操作移动设备的用户提供用户接口体验的模式功能装置,包括:
接口模块,被配置成从一个或更多个输入源接收推断输入信息,至少一个输入源包括由移动设备提供的用于感测移动设备的移动的至少一个移动感测设备;
状态检测模块,被配置成基于所述推断输入信息来推断交通工具的交通工具状态;以及
体验呈现模块,被配置成响应于所述交通工具状态而向操作交通工具的用户呈现用户接口体验,
所述交通工具状态具有表征在操作交通工具时适于用户保持的注意力水平和注意力类型的注意力特性,并且所述用户接口体验被选择为符合所述注意力特性,
所述移动设备当在交通工具中使用时以交通工具模式进行操作,而当在交通工具外使用时以手持模式进行操作,
所述接口模块、状态检测模块和体验呈现模块是通过计算功能装置来实现的。
17.根据方案16所述的模式功能装置,其中,与移动设备进行交互的应用程序包括多个资源,所述多个资源至少包括适合于在第一交通工具状态下应用的第一组资源和适合于在第二交通工具状态下应用的第二组资源,
其中,所述体验呈现模块被配置成基于所述交通工具状态使用所述第一组资源或者所述第二组资源。
18.根据方案16所述的模式功能装置,其中,所述状态检测模块被配置成基于所述推断输入信息来推断交通工具是否处于遇险状况,其中所述推断输入信息包含交通工具已出事故的证据。
19.一种用于保存计算机可读指令的计算机可读存储介质,所述计算机可读指令当被一个或更多个处理设备执行时提供遇险管理模块,所述遇险管理模块由交通工具内的移动设备来使用,所述计算机可读指令包括:
被配置成从一个或更多个输入源接收推断输入信息的逻辑,至少一个输入源包括由移动设备提供的用于感测移动设备的移动的至少一个移动感测设备,所述移动设备当在交通工具中使用时以交通工具模式进行操作,而当在交通工具外使用时以手持模式进行操作;
被配置成基于所述推断输入信息来推断交通工具处于遇险状况的逻辑;以及
被配置成响应于确定交通工具处于遇险状况而为用户请求协助的逻辑。
20.根据方案19所述的计算机可读介质,其中,所述被配置成推断的逻辑被配置成基于从所述推断输入信息收集的移动设备位于交通工具中的证据和下述至少之一的证据来确定交通工具处于遇险状况:
交通工具已突然减速或加速;和
在突然加速或减速期间,移动设备脱离了将移动设备保持在交通工具内的座架。
此外,上面在说明性的挑战或问题的背景下描述了各种概念。这种说明方式并不构成其他人按照这里指定的方式理解和/或明确表达所述挑战或问题的认可。
虽然用特定于结构特征和/或方法动作的语言描述了主题,但是应理解,在所附权利要求中限定的主题不一定局限于上面描述的具体特征或动作。相反,上面描述的具体特征和动作是作为实现权利要求的示例性形式而公开的。

Claims (10)

1.一种用于响应于交通工具状态而提供用户接口体验的方法(1800),所述方法通过计算功能装置(2300)来执行,所述方法包括:
从一个或更多个输入源接收(1802)推断输入信息,至少一个输入源包括由移动设备(104)提供的用于感测所述移动设备(104)的移动的至少一个移动感测设备(430),所述移动设备(104)当在交通工具(106)中使用时以交通工具模式进行操作,而当在交通工具(106)外使用时以手持模式进行操作;
基于所述推断输入信息来推断(1804)交通工具(106)的交通工具状态;以及
响应于所述交通工具状态,向操作所述交通工具(106)的用户呈现(1806)用户接口体验,
所述用户接口体验向用户施加注意力相关要求,其中所述注意力相关要求是基于已推断的交通工具状态来选择的。
2.根据权利要求1所述的方法,其中,所述一个或更多个输入源中的另一个包括与将所述移动设备保持在交通工具内的座架相关联的至少一个传感器设备。
3.根据权利要求1所述的方法,其中,所述推断包括基于输入信息来确定所述交通工具是在移动还是未移动。
4.根据权利要求1所述的方法,其中,所述推断包括基于所述推断输入信息来对所述交通工具移动的方式进行分类。
5.根据权利要求1所述的方法,其中,所述推断包括基于所述推断输入信息来确定交通工具的位置、以及评估与该位置相关联的注意力相关要求。
6.根据权利要求1所述的方法,其中,所述推断包括基于所述推断输入信息来确定交通工具处于遇险状况,其中,所述推断输入信息包含移动设备位于所述交通工具中的证据、以及下述至少之一的证据:
所述交通工具已突然减速或加速;和
在突然加速或减速时,所述移动设备脱离了将所述移动设备保持在所述交通工具内的座架。
7.根据权利要求1所述的方法,其中,所述呈现包括控制与所述交通工具相关联的交通工具系统,其中所述交通工具系统在所述移动设备之外。
8.根据权利要求1所述的方法,其中,所述呈现包括响应于确定所述交通工具处于遇险状况而向用户提供协助。
9.一种用于向在交通工具(106)内操作移动设备(104)的用户提供用户接口体验的模式功能装置(434),包括:
接口模块(1306),被配置成从一个或更多个输入源接收推断输入信息,至少一个输入源包括由所述移动设备(104)提供的用于感测所述移动设备(104)的移动的至少一个移动感测设备(430);
状态检测模块(1308),被配置成基于所述推断输入信息来推断所述交通工具(106)的交通工具状态;以及
体验呈现模块(1310),被配置成响应于所述交通工具状态而向操作所述交通工具(106)的用户呈现用户接口体验,
所述交通工具状态具有表征在操作所述交通工具(106)时适于用户保持的注意力水平和注意力类型的注意力特性,并且所述用户接口体验被选择为服从所述注意力特性,
所述移动设备(104)当在所述交通工具(106)中使用时以交通工具模式进行操作,而当在所述交通工具(106)外使用时以手持模式进行操作,
所述接口模块(1306)、状态检测模块(1308)和体验呈现模块(1310)是通过计算功能装置(2300)来实现的。
10.一种用于保存计算机可读指令的计算机可读存储介质(2310),所述计算机可读指令当被一个或更多个处理设备(2306)执行时提供遇险管理模块(1602),所述遇险管理模块(1602)由所述交通工具(106)内的移动设备(104)来使用,所述计算机可读指令包括:
被配置成从一个或更多个输入源接收推断输入信息的逻辑(1604),至少一个输入源包括由所述移动设备(104)提供的用于感测所述移动设备(104)的移动的至少一个移动感测设备(430),所述移动设备(104)当在交通工具(106)中使用时以交通工具模式进行操作,而当在交通工具(106)外使用时以手持模式进行操作;
被配置成基于所述推断输入信息来推断交通工具(106)处于遇险状况的逻辑(1610);以及
被配置成响应于确定交通工具(106)处于遇险状况而为用户请求协助的逻辑(1612)。
CN201210545421.3A 2011-12-16 2012-12-14 基于推断的交通工具状态提供用户接口体验的方法和装置 Active CN103116399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/327,786 US8811938B2 (en) 2011-12-16 2011-12-16 Providing a user interface experience based on inferred vehicle state
US13/327,786 2011-12-16

Publications (2)

Publication Number Publication Date
CN103116399A true CN103116399A (zh) 2013-05-22
CN103116399B CN103116399B (zh) 2017-03-01

Family

ID=48414800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210545421.3A Active CN103116399B (zh) 2011-12-16 2012-12-14 基于推断的交通工具状态提供用户接口体验的方法和装置

Country Status (6)

Country Link
US (2) US8811938B2 (zh)
EP (1) EP2790968A4 (zh)
JP (2) JP2015510619A (zh)
KR (1) KR101967944B1 (zh)
CN (1) CN103116399B (zh)
WO (1) WO2013090125A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717353A (zh) * 2013-12-12 2015-06-17 Lg电子株式会社 用于移动终端的固定装置
CN106716455A (zh) * 2014-09-17 2017-05-24 卡特彼勒公司 使用机器学习来研发机器操作分类器的方法
CN109314734A (zh) * 2016-04-28 2019-02-05 T移动美国公司 移动设备的运动中接近引导系统
CN113276821A (zh) * 2020-02-19 2021-08-20 马自达汽车株式会社 驾驶员状态推断装置
CN113811851A (zh) * 2019-07-05 2021-12-17 宝马股份公司 用户界面耦合

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20120052907A1 (en) * 2010-08-30 2012-03-01 Sensory, Incorporated Hands-Free, Eyes-Free Mobile Device for In-Car Use
DE102011109932B4 (de) * 2011-08-10 2014-10-02 Audi Ag Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
US20150138300A1 (en) 2011-09-02 2015-05-21 Microsoft Technology Licensing, Llc Mobile Video Calls
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
JP5876325B2 (ja) * 2012-02-29 2016-03-02 株式会社デンソー 制御装置及びプログラム
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
US20130335567A1 (en) * 2012-06-18 2013-12-19 Wen Chuan Wang Vehicle event data recorder set capable of retaining a handset
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
ITTO20120972A1 (it) * 2012-11-07 2014-05-08 Fiat Group Automobiles Spa Limitazione della funzionalita' di dispositivi elettronici personali mobili intelligenti di conducenti di autoveicoli durante la guida basata sulla tecnologia nfc
WO2014109104A1 (ja) * 2013-01-08 2014-07-17 クラリオン株式会社 音声認識装置、音声認識プログラム及び音声認識方法
ITMO20130012A1 (it) * 2013-01-21 2014-07-22 Fabio Lettieri Dispositivo per l'assistenza alla guida di autoveicoli
US9049564B2 (en) * 2013-02-04 2015-06-02 Zf Friedrichshafen Ag Vehicle broadcasting system
US9736669B2 (en) * 2013-03-11 2017-08-15 General Motors Llc Interface device for providing vehicle services using a vehicle and a mobile communications device
KR101484202B1 (ko) * 2013-03-29 2015-01-21 현대자동차 주식회사 제스쳐 인식 시스템을 갖는 차량
CN103200329A (zh) * 2013-04-10 2013-07-10 威盛电子股份有限公司 语音操控方法、移动终端装置及语音操控系统
DE102013015716B4 (de) 2013-09-20 2023-10-05 Audi Ag Bedienungseinrichtung für eine Anlage im Innenraum eines Kraftwagens
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) * 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
WO2015146283A1 (ja) * 2014-03-25 2015-10-01 クラリオン株式会社 車両用機器
DE102014207637A1 (de) * 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Gesteninteraktion mit einem Fahrerinformationssystem eines Fahrzeuges
US10099700B2 (en) * 2014-04-30 2018-10-16 Ford Global Technologies, Llc Method and system for driver tailored interaction time alert
GB2529997B (en) * 2014-05-01 2019-01-02 Jaguar Land Rover Ltd Vehicle communication system with occupant monitoring
US20160189679A1 (en) * 2014-10-14 2016-06-30 Logitech Europe S.A Apparatus and method for controlling interactions with a portable electronic device
US9892628B2 (en) 2014-10-14 2018-02-13 Logitech Europe S.A. Method of controlling an electronic device
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
US20180173544A1 (en) * 2015-06-30 2018-06-21 Sony Corporation Information processing device, information processing method, and program
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
FR3048210B1 (fr) * 2016-02-25 2018-03-30 Faurecia Interieur Industrie Element de garnissage comprenant une station d'accueil d'un appareil electronique nomade
US9686644B1 (en) 2016-05-15 2017-06-20 Fmr Llc Geospatial-based detection of mobile computing device movement
US10469653B2 (en) * 2016-05-15 2019-11-05 Fmr Llc Proximity and movement detection of a mobile computing device during a user session
US9883403B2 (en) * 2016-05-15 2018-01-30 Fmr Llc Monitoring presence of authorized user during user session based upon mobile computing device motion
US9652748B1 (en) * 2016-06-13 2017-05-16 State Farm Mutual Automobile Insurance Company Technology for automatically identifying and scheduling provider appointments in response to accident events
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
US10455165B2 (en) * 2016-12-28 2019-10-22 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for using a video capture device to alleviate motion sickness via an augmented display for a passenger
US10387161B2 (en) * 2017-09-01 2019-08-20 Facebook, Inc. Techniques for capturing state information and performing actions for threads in a multi-threaded computing environment
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
JP2019137357A (ja) 2018-02-15 2019-08-22 トヨタ自動車株式会社 車両用音出力及び文字表示装置
US10841632B2 (en) * 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
CZ308257B6 (cs) * 2018-11-07 2020-03-25 Dominik Lednický Způsob omezení používání mobilního telefonu řidičem během jízdy vozidla a zapojení pro realizaci tohoto způsobu
EP3953930A1 (en) * 2019-04-09 2022-02-16 Harman International Industries, Incorporated Voice control of vehicle systems
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
US11772672B2 (en) 2020-02-13 2023-10-03 Toyota Motor North America, Inc. Unsafe transport operation
US11945447B2 (en) 2020-02-13 2024-04-02 Toyota Motor North America, Inc. Transport boundary expansion
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
KR20210125631A (ko) * 2020-04-08 2021-10-19 현대자동차주식회사 단말기, 단말기와 통신하는 퍼스널 모빌리티 및 그의 제어 방법
CN113587975A (zh) * 2020-04-30 2021-11-02 伊姆西Ip控股有限责任公司 用于管理应用环境的方法、设备和计算机程序产品
US11225145B1 (en) 2020-09-15 2022-01-18 Honda Motor Co., Ltd. Apparatus and method for emergency control for vehicle
WO2022179704A1 (en) * 2021-02-26 2022-09-01 Spotify Ab Device mount for a vehicle
CN117157965A (zh) * 2021-04-13 2023-12-01 三星电子株式会社 用于车辆的电子设备、用于控制用于车辆的电子设备的移动设备以及通过使用移动设备来控制用于车辆的电子设备的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1084405A (ja) * 1996-09-09 1998-03-31 Pioneer Electron Corp 車載用携帯電話装置及び車載用電話機
JPH10308802A (ja) * 1997-05-02 1998-11-17 Nissan Motor Co Ltd 移動電話保持装置及び移動電話機
EP0739491B1 (de) * 1993-06-21 2006-04-12 VAN BUREN, Elke System zum herbeiholen von hilfe für personen oder insassen von fahrzeugen, die ein mobiltelefon mit sich führen
CN101141136A (zh) * 2007-09-30 2008-03-12 中兴通讯股份有限公司 一种实现车载通话的方法及装置
CN201166702Y (zh) * 2008-03-06 2008-12-17 宇龙计算机通信科技(深圳)有限公司 一种具有汽车超速检测功能的移动终端
CN101364814A (zh) * 2008-09-09 2009-02-11 动力新跃(北京)汽车科技有限公司 驾驶员手机屏蔽器
CN101795504A (zh) * 2009-11-11 2010-08-04 华为终端有限公司 提示手机设置内容的方法、装置和系统
CN102204350A (zh) * 2008-10-31 2011-09-28 犹他大学研究基金会 用于防止驾驶时使用移动电话的整合的车钥匙和移动电话系统

Family Cites Families (361)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
DE3578241D1 (de) 1985-06-19 1990-07-19 Ibm Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder.
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751643A (en) 1986-08-04 1988-06-14 General Electric Company Method and apparatus for determining connected substructures within a body
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
JP2692863B2 (ja) 1988-06-24 1997-12-17 株式会社東芝 無線電話装置
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US5139261A (en) 1989-09-15 1992-08-18 Openiano Renato M Foot-actuated computer game controller serving as a joystick
US5156243A (en) 1989-11-15 1992-10-20 Mazda Motor Corporation Operation apparatus for vehicle automatic transmission mechanism
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5525901A (en) 1993-02-02 1996-06-11 Beaudreau Electric, Inc. Sensor systems for monitoring and measuring angular position in two or three axes
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5414643A (en) 1993-06-14 1995-05-09 Hughes Aircraft Company Method and apparatus for continuous time representation of multiple hypothesis tracking data
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5959574A (en) 1993-12-21 1999-09-28 Colorado State University Research Foundation Method and system for tracking multiple regional objects by multi-dimensional relaxation
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5732227A (en) 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
JP3267047B2 (ja) 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
JPH0863326A (ja) 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
WO1996034332A1 (fr) 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US5757360A (en) 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
DE19516664C1 (de) 1995-05-05 1996-08-29 Siemens Ag Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
US6205231B1 (en) 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6072467A (en) 1996-05-03 2000-06-06 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Continuously variable control of animated on-screen characters
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3162630B2 (ja) 1996-07-31 2001-05-08 トヨタ自動車株式会社 ワイヤフレームモデルの面定義方法および装置
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ,ヌラフメド,ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5909189A (en) 1996-11-14 1999-06-01 Raytheon Company Group tracking
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
JP4120017B2 (ja) 1997-01-30 2008-07-16 株式会社セガ 入力装置およびゲーム処理装置、その方法
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US6016487A (en) 1997-03-26 2000-01-18 National Research Council Of Canada Method of searching three-dimensional images
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH10304464A (ja) * 1997-04-28 1998-11-13 Daihatsu Motor Co Ltd ハンズフリー装置の制御方法
JP2000513916A (ja) 1997-06-25 2000-10-17 サムソン エレクトロニクス カンパニー リミテッド ホームネットワーク自動ツリー生成器に対する方法及び装置
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6750848B1 (en) 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6162123A (en) 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6173070B1 (en) 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ, インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6067077A (en) 1998-04-10 2000-05-23 Immersion Corporation Position sensing for force feedback devices
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6657654B2 (en) 1998-04-29 2003-12-02 International Business Machines Corporation Camera for use with personal digital assistants with high speed communication link
US6421453B1 (en) 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6542621B1 (en) 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6311159B1 (en) 1998-10-05 2001-10-30 Lernout & Hauspie Speech Products N.V. Speech controlled computer user interface
US6353679B1 (en) 1998-11-03 2002-03-05 Compaq Computer Corporation Sample refinement method of multiple mode probability density estimation
US6509889B2 (en) 1998-12-03 2003-01-21 International Business Machines Corporation Method and apparatus for enabling the adaptation of the input parameters for a computer system pointing device
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6222465B1 (en) 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6226388B1 (en) 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US6377296B1 (en) 1999-01-28 2002-04-23 International Business Machines Corporation Virtual map system and method for tracking objects
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6591236B2 (en) 1999-04-13 2003-07-08 International Business Machines Corporation Method and system for determining available and alternative speech commands
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6545661B1 (en) 1999-06-21 2003-04-08 Midway Amusement Games, Llc Video game system having a control unit with an accelerometer for controlling a video game
AU5423500A (en) * 1999-06-23 2001-01-31 Jimi Communications Ltd. Vehicle alert communications system
JP2001009152A (ja) 1999-06-30 2001-01-16 Konami Co Ltd ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP2001070640A (ja) 1999-09-07 2001-03-21 Konami Co Ltd ゲーム機
US6795567B1 (en) 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6642955B1 (en) 2000-01-10 2003-11-04 Extreme Cctv Inc. Surveillance camera system with infrared and visible light bandpass control circuit
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
US20020055383A1 (en) 2000-02-24 2002-05-09 Namco Ltd. Game system and program
JP2001239897A (ja) * 2000-02-28 2001-09-04 Toshiba Corp 乗物用情報処理装置と車載用情報処理装置及び情報処理方法
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6771818B1 (en) 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US6980312B1 (en) 2000-04-24 2005-12-27 International Business Machines Corporation Multifunction office device having a graphical user interface implemented with a touch screen
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6554706B2 (en) 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6744420B2 (en) 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6757571B1 (en) 2000-06-13 2004-06-29 Microsoft Corporation System and process for bootstrap initialization of vision-based tracking systems
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US6753879B1 (en) 2000-07-03 2004-06-22 Intel Corporation Creating overlapping real and virtual images
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6888960B2 (en) 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP3816068B2 (ja) * 2001-08-06 2006-08-30 松下電器産業株式会社 情報提供方法および情報提供装置
JP2003062341A (ja) 2001-08-22 2003-03-04 Nintendo Co Ltd ゲームシステム、パズルゲームプログラムおよびプログラムを記憶した記憶媒体
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7007236B2 (en) 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2002342067A1 (en) 2001-10-12 2003-04-22 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
US7050607B2 (en) 2001-12-08 2006-05-23 Microsoft Corp. System and method for multi-view face detection
US7394346B2 (en) 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US6982697B2 (en) 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US6957090B2 (en) * 2002-03-08 2005-10-18 Kyocera Wireless Corp. Hands-free car kit
US7233318B1 (en) 2002-03-13 2007-06-19 Apple Inc. Multi-button mouse
EP1345179A3 (en) 2002-03-13 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for computer graphics animation
US6928344B2 (en) 2002-03-25 2005-08-09 Sun Microsystems, Inc. Vehicle mode manager
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
JP2003325972A (ja) 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
JP3902508B2 (ja) 2002-05-20 2007-04-11 任天堂株式会社 ゲームシステムおよびゲームプログラム
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
WO2004027685A2 (en) 2002-09-19 2004-04-01 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8614741B2 (en) 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
DE10316477A1 (de) * 2003-04-09 2004-10-28 Daimlerchrysler Ag Benutzerschnittstelle und Kommunikationssystem für ein Kraftfahrzeug und zugehörige Betriebsverfahren
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
US7292152B2 (en) * 2003-06-12 2007-11-06 Temic Automotive Of North America, Inc. Method and apparatus for classifying vehicle operator activity state
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7038661B2 (en) 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
DE10330613A1 (de) * 2003-07-07 2005-01-27 Robert Bosch Gmbh Geschwindigkeitsabhängige Dienstebereitstellung in einem Kraftfahrzeug
US20050037730A1 (en) * 2003-08-12 2005-02-17 Albert Montague Mobile wireless phone with impact sensor, detects vehicle accidents/thefts, transmits medical exigency-automatically notifies authorities
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US20050076161A1 (en) 2003-10-03 2005-04-07 Amro Albanna Input system and method
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005173702A (ja) * 2003-12-08 2005-06-30 Nissan Motor Co Ltd 運転余裕度判定装置
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050255434A1 (en) 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
JP3648535B1 (ja) 2004-03-31 2005-05-18 コナミ株式会社 ゲーム装置、コンピュータの制御方法及びプログラム
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR101238608B1 (ko) 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
US8560972B2 (en) 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7526101B2 (en) 2005-01-24 2009-04-28 Mitsubishi Electric Research Laboratories, Inc. Tracking objects in videos with adaptive classifiers
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20060205394A1 (en) * 2005-03-10 2006-09-14 Vesterinen Matti I Mobile device, a network element and a method of adjusting a setting associated with a mobile device
US7492367B2 (en) 2005-03-10 2009-02-17 Motus Corporation Apparatus, system and method for interpreting and reproducing physical motion
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
JP2006338226A (ja) 2005-06-01 2006-12-14 Hitachi Ltd リモート操作システム
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070143333A1 (en) 2005-12-16 2007-06-21 Microsoft Corporation Creating search folders within applications for other applications
JP4509042B2 (ja) 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
JP4795087B2 (ja) 2006-04-14 2011-10-19 任天堂株式会社 ゲーム装置およびゲームプログラム
US7988558B2 (en) 2006-04-27 2011-08-02 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
JP4679431B2 (ja) 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
JP5506129B2 (ja) 2006-05-08 2014-05-28 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
WO2007132451A2 (en) 2006-05-11 2007-11-22 Prime Sense Ltd. Modeling of humanoid forms from depth maps
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9405372B2 (en) 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP5051822B2 (ja) 2006-08-02 2012-10-17 任天堂株式会社 汎用遠隔制御機能を備えたゲーム装置
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
JP4926799B2 (ja) 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
KR100877490B1 (ko) * 2006-11-03 2009-01-12 삼성전기주식회사 휴대단말 및 상기 휴대단말을 제어하는 방법
US8904312B2 (en) 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
AU2007351713B2 (en) 2007-04-20 2011-11-17 Softkinetic Software Volume recognition method and system
US7725129B2 (en) 2007-05-16 2010-05-25 Oliver David Grunhold Cell phone based vehicle control system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
TWI338241B (en) 2007-08-23 2011-03-01 Pixart Imaging Inc Interactive image system, interactive device and operative method thereof
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JP5420833B2 (ja) 2007-11-30 2014-02-19 任天堂株式会社 ゲームシステム
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
JP2009244959A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 運転支援装置、運転支援方法
JP4656177B2 (ja) * 2008-04-14 2011-03-23 トヨタ自動車株式会社 ナビゲーション装置、操作部表示方法
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8428642B2 (en) 2008-05-02 2013-04-23 Delphi Technologies, Inc. Method and apparatus for remote vehicle communications and control
US8311734B2 (en) * 2008-07-01 2012-11-13 Sony Corporation Automatic speed limit adjust for road conditions
JP2010081565A (ja) * 2008-08-27 2010-04-08 Kyocera Corp 携帯電子機器及び車両
JP2010072833A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 運転支援装置
JP2010081419A (ja) * 2008-09-26 2010-04-08 Sharp Corp 携帯端末、携帯端末の制御方法、検知装置、検知装置の制御方法、携帯端末制御システム、携帯端末制御プログラム、検知装置制御プログラム、コンピュータ読み取り可能な記録媒体
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
TW201017578A (en) 2008-10-29 2010-05-01 Chunghwa Picture Tubes Ltd Method for rebuilding 3D surface model
US20100121526A1 (en) 2008-11-12 2010-05-13 Don Pham Speed warning method and apparatus for navigation system
WO2010055737A1 (ja) 2008-11-14 2010-05-20 株式会社ソニー・コンピュータエンタテインメント 操作デバイス
KR101081116B1 (ko) * 2009-04-22 2011-11-07 중앙대학교 산학협력단 텔레매틱스 통합 연동 시스템 및 그 제어 방법
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8517834B2 (en) 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5200995B2 (ja) * 2009-02-24 2013-06-05 株式会社デンソー 燃費報知装置
US8395642B2 (en) 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US8246458B2 (en) 2009-03-25 2012-08-21 Nintendo Co., Ltd. Game apparatus and recording medium recording game program
CN201548210U (zh) 2009-04-01 2010-08-11 姚征远 投影三维测量装置
JP4840620B2 (ja) * 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
US8213962B2 (en) 2009-07-21 2012-07-03 Verizon Patent And Licensing Inc. Vehicle computer link to mobile phone
US8428340B2 (en) 2009-09-21 2013-04-23 Microsoft Corporation Screen space plane identification
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US9104275B2 (en) 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
US8145199B2 (en) * 2009-10-31 2012-03-27 BT Patent LLC Controlling mobile device functions
US8315617B2 (en) * 2009-10-31 2012-11-20 Btpatent Llc Controlling mobile device functions
US20110106375A1 (en) 2009-11-03 2011-05-05 Vishnu Gurusamy Sundaram Method and system for providing an integrated platform for entertainment, information, communication, control and computing applications in vehicles
US8672763B2 (en) 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8677268B2 (en) 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8379134B2 (en) 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US9241064B2 (en) 2010-05-28 2016-01-19 Google Technology Holdings LLC Smart method and device for adaptive user interface experiences
US8471691B2 (en) 2010-06-15 2013-06-25 GM Global Technology Operations LLC Portable vision system
US8862299B2 (en) 2011-11-16 2014-10-14 Flextronics Ap, Llc Branding of electrically propelled vehicles via the generation of specific operating output
US8768865B2 (en) * 2011-01-19 2014-07-01 Qualcomm Incorporated Learning situations via pattern matching
CN102204650B (zh) 2011-03-08 2012-09-19 胡任飞 一种低血糖指数保健主食及其制备方法与降血糖应用
US9939888B2 (en) 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US20130155237A1 (en) 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US9008989B2 (en) 2012-05-02 2015-04-14 Microsoft Technology Licensing, Llc Wireless controller
US9849376B2 (en) 2012-05-02 2017-12-26 Microsoft Technology Licensing, Llc Wireless controller
US9740187B2 (en) 2012-11-21 2017-08-22 Microsoft Technology Licensing, Llc Controlling hardware in an environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0739491B1 (de) * 1993-06-21 2006-04-12 VAN BUREN, Elke System zum herbeiholen von hilfe für personen oder insassen von fahrzeugen, die ein mobiltelefon mit sich führen
JPH1084405A (ja) * 1996-09-09 1998-03-31 Pioneer Electron Corp 車載用携帯電話装置及び車載用電話機
JPH10308802A (ja) * 1997-05-02 1998-11-17 Nissan Motor Co Ltd 移動電話保持装置及び移動電話機
CN101141136A (zh) * 2007-09-30 2008-03-12 中兴通讯股份有限公司 一种实现车载通话的方法及装置
CN201166702Y (zh) * 2008-03-06 2008-12-17 宇龙计算机通信科技(深圳)有限公司 一种具有汽车超速检测功能的移动终端
CN101364814A (zh) * 2008-09-09 2009-02-11 动力新跃(北京)汽车科技有限公司 驾驶员手机屏蔽器
CN102204350A (zh) * 2008-10-31 2011-09-28 犹他大学研究基金会 用于防止驾驶时使用移动电话的整合的车钥匙和移动电话系统
CN101795504A (zh) * 2009-11-11 2010-08-04 华为终端有限公司 提示手机设置内容的方法、装置和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717353A (zh) * 2013-12-12 2015-06-17 Lg电子株式会社 用于移动终端的固定装置
CN104717353B (zh) * 2013-12-12 2017-07-11 Lg电子株式会社 用于移动终端的固定装置
CN107253470A (zh) * 2013-12-12 2017-10-17 Lg电子株式会社 用于移动终端的固定装置及移动终端和固定装置的组合件
CN107253470B (zh) * 2013-12-12 2019-12-03 Lg电子株式会社 用于移动终端的固定装置及移动终端和固定装置的组合件
CN106716455A (zh) * 2014-09-17 2017-05-24 卡特彼勒公司 使用机器学习来研发机器操作分类器的方法
CN106716455B (zh) * 2014-09-17 2020-08-11 卡特彼勒公司 使用机器学习来研发机器操作分类器的方法
CN109314734A (zh) * 2016-04-28 2019-02-05 T移动美国公司 移动设备的运动中接近引导系统
CN113811851A (zh) * 2019-07-05 2021-12-17 宝马股份公司 用户界面耦合
CN113276821A (zh) * 2020-02-19 2021-08-20 马自达汽车株式会社 驾驶员状态推断装置
CN113276821B (zh) * 2020-02-19 2023-11-03 马自达汽车株式会社 驾驶员状态推断装置

Also Published As

Publication number Publication date
CN103116399B (zh) 2017-03-01
JP2017135742A (ja) 2017-08-03
WO2013090125A1 (en) 2013-06-20
JP2015510619A (ja) 2015-04-09
US20130157607A1 (en) 2013-06-20
KR20140106568A (ko) 2014-09-03
EP2790968A4 (en) 2015-09-02
US20140329487A1 (en) 2014-11-06
US9596643B2 (en) 2017-03-14
JP6785704B2 (ja) 2020-11-18
US8811938B2 (en) 2014-08-19
KR101967944B1 (ko) 2019-04-10
EP2790968A1 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
CN103116399A (zh) 基于推断的交通工具状态提供用户接口体验的方法和装置
US11780431B2 (en) Testing predictions for autonomous vehicles
US20230152812A1 (en) Queueing into Pickup and Drop-off Locations
US11475119B2 (en) Recognizing assigned passengers for autonomous vehicles
US10243867B2 (en) Vehicle security system
KR20210002121A (ko) 자율 차량을 위한 정지 위치 계획
KR20190011582A (ko) 외부 이동 수단의 움직임과 관련된 데이터에 기반하여, 식별 정보가 변경된 외부 이동 수단을 확인하는 전자 장치 및 그 동작 방법
KR20190032090A (ko) 외부 이동 수단으로 릴레이 메시지를 전송하는 전자 장치 및 그 동작 방법
US20180356237A1 (en) Enhanced navigation instruction and user determination
US20200356090A1 (en) Client control for an autonomous vehicle ridesharing service
JP2016509763A (ja) 車両内移動デバイス管理
CN112789209A (zh) 减少由停止的自主车辆给周围道路使用者带来的不便
US20200150667A1 (en) Autonomous vehicle takeover based on restricted areas
JPWO2018138980A1 (ja) 制御システム、制御方法及びプログラム
KR102534960B1 (ko) 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
US11161500B1 (en) Advanced passenger safety for an autonomous vehicle
WO2017100790A1 (en) Enhanced navigation instruction and user determination
US11447142B1 (en) Assessing surprise for autonomous vehicles
Ananya et al. Semi-Automted IoT Vehicles
KR102590551B1 (ko) 순찰 차량 주행 경로 생성 방법 및 이에 따른 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1184249

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150624

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150624

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1184249

Country of ref document: HK