CN1586078A - 情感电视监视和控制 - Google Patents

情感电视监视和控制 Download PDF

Info

Publication number
CN1586078A
CN1586078A CNA028224116A CN02822411A CN1586078A CN 1586078 A CN1586078 A CN 1586078A CN A028224116 A CNA028224116 A CN A028224116A CN 02822411 A CN02822411 A CN 02822411A CN 1586078 A CN1586078 A CN 1586078A
Authority
CN
China
Prior art keywords
program
spectators
reaction
video
health
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028224116A
Other languages
English (en)
Other versions
CN1586078B (zh
Inventor
N·迪米特罗瓦
J·兹梅曼
L·阿格尼霍特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel SpA
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1586078A publication Critical patent/CN1586078A/zh
Application granted granted Critical
Publication of CN1586078B publication Critical patent/CN1586078B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

一种用来收集,分析和使用电视观众(或者听众)的感觉反应和无意的或者自发的动作的系统和方法。当在电视接收器上显示已知节目时,多个传感器监控观众或观众们,以便得到可与不连续的节目片断相联系的情绪反应的可识别的迹象。当正面的(或者负面的)反应可以和某一特定类型的节目内容联系时,该系统监控随后的节目,以便有机会通知观众或者仅仅自动呈现(或者避免呈现)该节目。

Description

情感电视监视和控制
技术领域
一般而言,本发明针对电视观众反馈收集系统,具体而言,本发明涉及使用人类反应输入来自动产生电视观众简档的系统和方法。
发明背景
现代电视系统有效地处理惊人数量的音频视频输入,从而将各种各样来源的高质量节目呈现给电视观众。这些来源中许多是通过电缆或者无线电波传送节目的广播网络。其它来源可以是更加局部的或有限的。例如,专用网络可以传送那些只是准备供有限观众使用的节目,而且许多家庭安装了录像机(VCR)或者其它录制设备,一旦它们拥有录制好的内容,这些录制设备本身就是节目来源。
因此,现代的电视观众有许多节目选择。由于大多数的节目是为了商业原因制作的,因此节目制作者有兴趣确定什么是电视观众想要或者喜欢观看的,从而可以使用受欢迎的节目来作为未来设计节目的导向。另外,为了对付巨大数量的现有节目,有各种各样的设备用来允许电视观众选择性地关注相对较小部分的节目,假如他们选择这样做的话。例如,电视观众可以简单地选择仅仅预订某些节目频道。可是,无论其收集的目的如何,收集有关电视用户(观众)观看偏好的数据通常是有用的。有几种方法用来收集有关人们喜欢观看什么的有用数据。首先,可以简单地问电视观众。可以向测试观众展示特定节目,然后询问其成员以便测定其反应。尽管通常很有效,但是该方法有几个缺点。首先,需要许多调查员来问问题和记录回答。然后,假如需要对电视观众的喜好和厌恶进行精确的判读,就必须对该回答进行恰当的解释。因此,一般而言,该方法只有当测试观众有限时才有价值。由于该电视观众反应要从仅仅这些有限的观众中采集,因此必须适当地选择这些观众,以保证他们的反应将代表整个观众群。
当然,假如测试观众仅仅被要求提供预定书面问题的答案,描述他们的反应,或者在多个节目中“投票”他们最喜欢的节目的话,那么就不需要调查人员。可是该方法在解释时也容易发生甚至更多的错误,并且携带一种可被称为反应疲劳的问题。在这种情况中,测试观众可能在某种程度上厌倦了回答问题或者填表,假如这样的话,这些测试观众就会粗心完成这些事,因为现在他们想要做的只是完成约定任务。这里也存在故意误导的回答,在这种情况下观众察觉到问题的目的,并且出于某种目的,提供误导的回答。例如,吸引观众的节目可能是描写性行为的或者是暴力的,致使观众不想承认其受人欢迎的特性。虽然很主动,但是这种行为影响了该测试过程。
当然,结果只相当于所问问题和给出的回答。任何调查脚本或者书面问卷都必须仔细设计,以获得准确的响应,即使对一个真实的诚挚的回答者也是这样。所有这些需要时间,金钱和其它资源,因此只可能测试有限的观众。不管测试者如何仔细地组织测试观众以提供满意的有效样本,他们也只能限于那些愿意回答问题的人。即使当电视观众在家被访问,并且被问及他们如何收看以及关于他们一般的观看习惯时,也存在这个问题。使用任何上述方法,都会存在以下问题,即通常电视观众的反应报告是基于所观看节目整体的,而不是基于该节目的特定片断,这些特定片断可能引起肯定或者否定回答。在许多情况下,这种反应可能是本能的或者潜意识的,甚至一个热心观众也不能确切指出节目中哪一部分是最令人满意的。最后,问题和回答,或者其它调查方法必须或者在整个节目之后进行或者在节目结束之前打断该节目。在任何一种情况下,都会损害获得观众反应的完整性。如上所述,观众反馈也可仅仅用来简化他们自己的频道选择过程。但是即使当观众仅仅想要记住他们喜欢哪些节目并调整他们的频道选择器时,效果可能也远非理想。他们的记忆可能是错误的,他们选择的频道可能和他们真正的喜好不完全匹配。在任何情况下,他们必须手动进行选择,因为太复杂了,所以这样做可能会耽误时间。
那么就需要一种测量观众对电视和类似节目的反应的非干扰的自动方法,这种方法可以对大范围的测试观众进行测试,并向管理该测试的团体或者只是自动节目选择辅助系统提供精确的反馈。本发明的系统和方法提供的正是这一解决方案。
发明概述
为解决现有技术的上述缺陷,本发明的一个主要目的在于,提供一种用来收集和分析的系统和方法和电视系统一起使用,以便提供观众对特定节目和节目片断的反应。一个或多个电视观众反馈传感器放置在每个测试观众附近,以便收集反应信息。该反应数据被转换成数字形式以便存储和分析,并且被存储在系统数据库中。该存储在数据库中的反应信息是带时间戳的,因此可以就特定的节目片断来修正该信息。机顶盒耦合到一个或多个节目源。控制程序或者为电视观众选择想要观看的节目,或者允许他们做出自己的选择。
一旦观看了足够多的内容,就可以评估与可识别节目片断有关的数据。一个报告设备递交分析结果。
在一个特定优选实施例中,该报告的结果用来通知该测试过程,因此可以确认电视观众的反应。
在另一个特定优选实施例中,电视观众的反应和观众的偏好程度(表示观众的喜欢或不喜欢,这从被收集的反应信息中推断出来)相联系。
在本发明的详细描述中将更加完全地阐述本发明的其它目的和优点。
以上宽泛地略述了本发明的特征和技术优势,因此本领域的技术人员可以更好地理解以下的发明详述。下面将阐述本发明的其它特征和优点,这构成了本发明权利要求的主题。那些本领域的技术人员应当理解他们可容易地使用所公开的概念和特定实施例,作为修改或者设计用来实现本发明相同目的的其它结构的基础。那些本领域的技术人员还应该认识到这种等效结构就其最广泛的形式而言并没有背离本发明的精神和范围。
在开始详细描述之前,最好先阐明在该整篇专利文件中使用的某些词和短语的定义:术语“包括”和“包含”及其派生词,意思是没有限制的包含;术语“或者”是包含的,意思是和/或;短语“与...联系”和“与此联系”及其派生词可表示包括,包括在内,与...相互联系,包含,包含在内,连接到或与...连接,结合到或与...结合,与...可通信,与...合作,插入,并列,与...接近,附在...上或者与...紧密联系,具有,具有...的特性等等;术语“控制器”意思是控制至少一个操作的任何设备,系统或其部件,这种设备可以以硬件,固件或软件或者其中两种的一些组合来实现。应当注意,和任何特定控制器有关的功能无论本地或者远程地都可以是集中的或者分布式的。某些词和短语的定义是在这整篇专利文件中规定的,那些本领域的普通技术人员应当理解在许多情况下,即使不是在大多数情况下,这种定义适用于以上以及以后使用这种定义词和短语的情况。
附图说明
为了更加完整地了解本发明及其优点,现在参考结合附图所作的描述,其中同样的数字表示同样的对象,其中:
图1示出了根据本发明的一个实施例的一种示意性的电视接收器系统;
图2示出了根据本发明的一个类似实施例用来收集电视观众对节目片断的反应的示意性系统,这是在与图1的示意性电视接收器系统类似的系统中实现的;
图3是说明根据本发明的一个优选实施例,可用来处理来自摄像机的输入的视频处理器的方框图;
图4是根据本发明的一个实施例说明感觉输入的交互作用,以及使用该采集及处理的感觉数据的可能应用的系统图;和
图5是说明根据本发明的收集,处理和使用感觉反馈信息的方法的流程图。
具体实施方式
以下讨论的图1到5以及在本专利文件中用来描述本发明的原理的各种实施例仅为了说明,并不应认为是以任何方式限制本发明的范围。在以下的示例描述中,本发明集成进数字电视接收器,或者与其结合使用。可是该实施例仅是作为例子,并不应认为是将本发明的范围限制在数字电视接收器。事实上,那些本领域的技术人员将认识到可以容易地修改本发明的示意性实施例,以便用于模拟电视接收器和其它类似的设备。
注意,电视“节目”或者“节目安排”在这里通常用来表示可以在电视接收器或者类似设备上显示的节目或者其中的一部分,该设备包括例如广播或者有线电视,预先录制的录像带或者DVD显示,和通过通信或者计算机网络传送的多媒体流。正如在此使用的那样,“电视节目安排”也包括音频节目,文字或者多媒体显示,无论其是否伴随实际的电视广播。例如,也包括无线电广播和多媒体网页显示(并且在合适的例子中“观看”或者“观众”将表示仅仅收听,或者听和读,以及实际观看视频图像)。
图1示出了根据本发明的一个实施例的示意性电视系统100。示意性电视系统100包含电视接收器105,带有红外线(IR)探测器160的机顶盒150,和录像设备140(尽管典型地这样称呼,但是该设备通常也录制音频节目)。如以下将详细描述的那样,本发明提供一种系统,该系统收集和使用观众反应作为反馈,以供研究和增强电视接收器105的作用,特别是关于被选来显示和录制的节目内容。
电视接收器105包含显示屏110,用来显示由电缆或者卫星电视节目提供者提供的电视节目,并显示先前录制好的内容。接收器105也包括红外线(IR)传感器115,和由环绕的虚线表示的一套手动控制器120。手动控制器120可包括,但不限于,电源按钮,音量控制按钮,垂直和水平控制按钮以及一个或多个频道选择按钮。红外线(IR)传感器115接收来自可由电视观众操作的可选手持遥控器125的IR控制信号。典型地,由IR传感器探测到的来自遥控器125的IR控制信号在电视接收器105中进行处理,从而改变屏幕110上观看到的频道,升高或者降低音量,打开或者关闭电视接收器105等等。可选地,由IR传感器115探测到的IR控制信号可以传送到机顶盒150,以便控制机顶盒150的工作。
机顶盒150对来自电缆或者卫星电视节目服务提供者的输入信号进行常规调谐和解调,以产生例如运动图象专家组(MPEG)编码数字数据流,由此可以得到视频信号。可选地,电视接收器105可直接接收来自外部天线(未示出)的输入电视广播信号。在本发明的该可选实施例中,电视接收器105对从天线接收到的输入RF信号进行常规调谐和解调,以产生例如MPEG编码数字数据流,由此可以得到视频信号。该外部天线如果存在的话,也可连接到机顶盒150。
机顶盒150也包括红外线(IR)传感器160。IR传感器160接收来自由电视观众操作的手持遥控器125的红外线(IR)控制信号。优选地,控制机顶盒150的遥控器125和操作电视接收器105的遥控器125是一样的。典型地,由IR传感器探测到的IR控制信号在机顶盒150中进行处理,从而改变传送到电视接收器105以供显示屏幕110上观看的频道,打开或者关闭机顶盒150(和/或电视接收器105),并调节其它电视控制。
录像机140是录制节目供观众在另一时间观看的设备。它可以连接到电视接收器105,或者优选地直接连接到机顶盒150,并可以录制正在显示器110上显示的节目,但是也可当显示器关闭时录制。当电视系统100这样设定,使得当显示第二节目时可以录制第一节目,则具有特别的优点。录像机140可以是但不必要是磁带录像机(VCR),并可以回放并非从机顶盒150或者接收器105接收到的节目,例如使用可移动媒介如录像带或者软盘,或者可以直接或间接连接到允许节目下载以供录制和回放的网络。另外,录像机140可以和TV105或者机顶盒150连接。
在本发明的一个有利实施例中,机顶盒150可以集成到电视接收器105中。机顶盒150和电视接收器105的集成通常发生在例如当电视接收器105是高清晰度电视(HDTV)接收器时。由于机顶盒150的功能和工作原理都是众所周知的,因此电视制造商常常发现将机顶盒150集成到电视接收器105中,从而减少设备,接线和由电视观众进行的安装工作的数量很有利。
优选地,电视系统100也包括个人计算机(PC)170,该个人计算机与电视接收器105和机顶盒150二者进行通信。PC170包含中央处理器(CPU)180,视频监控器190,和可移动存储媒介195。PC170也包含常规元件(未示出)如键盘,鼠标,内部硬盘驱动器,和随机存取存储器(RAM)。在本发明的一个使用PC170的实施例中,用来采集观众反馈的系统包含CPU 180以及存储在CPU 180的随机存取存储器(RAM)(未示出)中或者存储在CPU 180的内部硬盘驱动器(未示出)中的程序。该程序也可存储在可移动存储媒介195上,该可移动存储媒介195可以是例如3.5英寸软盘,光盘只读存储器(CD ROM),数字化视频光盘(DVD)或者类似的存储媒介。
另外,本发明的观众反馈采集系统包含多个观众反应传感器,在图1中列举为132,134,136和138,但是可以有任意数量的传感器。传感器信号接收器185接收处于未经处理状态的由观众反应传感器132-138产生的反应信号,并处理该信号供PC170进行存储和分析。
在本发明的一种有利实施例中,用来采集观众反应的系统可以是集成在电视接收器105中的嵌入式系统。在本发明的另一种有利实施例中,可以在机顶盒150中实现该系统。换句话说,在图1中单独示出的电视系统100的部件,即传感器信号接收器185,PC170,机顶盒150可以集成进单个物理部件如接收器105中,或者以其它的方式分配它们的功能。
图2示出了根据本发明的一个类似实施例用来采集观众对节目和节目片断的反应的示例系统,这是在与图1的示例电视接收器系统100类似的系统中实现的。电视接收器系统200包括具有显示器210的电视接收器205。如上所述,机顶盒230接收节目信息,并将其传送到接收器205。注意,尽管图1中示出的各个部件在系统200中也可能存在,但是为了清楚起见,在图1示出的实施例的基础上对电视接收系统200进行某些简化。理想地,至少在测试观众部分的开头,观众坐在椅子215内。根据本发明的一个实施例,“测试观众”意味着该系统可用于受控的测试状况。在另一实施例中,当在观众的家里使用该系统时,仍然可以提供类似的椅子215。注意本发明的系统和方法可应用于任一应用中,这里所述的适用于一个应用的特性被认为也适用于另一应用,除非明确地指出需要区分或者从前后关系中很容易地看出需要区分。
椅子215可选地配备了传感器(未示出),用来记录观众状况的如温度,姿势,走动或者静止的倾向等等方面。也可将麦克风放在椅子215里或者附在椅子215上,用来记录反应的声音如笑声或者会话。由这些传感器生成的信号被采集并转换成无线电信号,以便无线传送到传感器信号接收器285。椅子215和传感器信号接收器285分别配备天线217和219,以帮助它们之间的无线电通信。当然,无线通信不是必须的,传感器信号也可通过其它方式如红外线或者仅仅通过电缆传送。传感器衬衫220提供了通过无意的或自然的反应采集观众反馈的另一种设备。注意,这里寻求的“无意的”或“自然的”反应是那些在观众观看显示的节目时自然产生的反应。即,这些术语通常指的是在节目显示时或者接近节目显示时,对节目本身的响应或反应,而不是对以后的调查如调查人员的问题的反应。因此,本发明的一个主要优点在于在允许节目连续不中断的同时接收反应的能力,该反应可以直接和节目片断联系。传感器衬衫220可以和椅子215结合使用,或者用来替代椅子215。传感器衬衫220包含一个或多个传感器,以便测量观众状况如体温传感器,心率监控器,出汗检测器等等。在一种特别优选实施例中,传感器衬衫220包括流电激励器(galvactivator)(未示出),利用当出现内部或内部激励时生理上引起皮肤瞬时变成电的较好导体的现象,该流电激励器测量皮肤导电反应(也称为皮肤电反应)。在New Orleans第九届人机交互国际会议(International Conference on Human-Computer Interation)(2001年八月)的学报中Rosalind W.Picard & Jocelyn Scheirer,The Galvactivator的论文:A Glove that Senses and CommunicatesSkin Conductivity中较为详细地解释了这种现象,该论文在此引作参考。正如本领域的普通技术人员都明白的那样,这种传感器也可以加到手套或者和观众接触的其它物品中。这种列举是为了说明而不是限制。优选地,传感器衬衫220,手套,或者其它感觉设备包括无线发送器222,用来向传感器信号接收器285发送传感器数据。
图2中出现的其它观众状况传感器包括运动传感器230,用来检测在收看房间201中的活动情况(甚至出入情况)。根据需要覆盖的运动(范围),可以有超过一个运动传感器。运动传感器230通常经由电缆连接和传感器信号接收器285进行连接,但是也可使用任何其它方法如前面提到的方法。放置摄影机240以便捕捉坐在椅子215内的观众的影像,特别是观众的头和脸部区域。这可以是静止的或者活动的。在后一种情况下,可以使用驱动控制系统(未示出)来辅助该录像机追踪并保持聚焦该观众。
摄影机240可用来以不同的方法提供感觉信息。与上述其它传感器(除了麦克风)不同,其信号输出可以仅仅保存在视频记录设备如图1中示出的录像机140中。可是,通常假如需要象这样记录观众反应视频图像时,将使用单独的录像机(未示出)。可是,在一个具体的优选实施例中,单独处理该视频信息以便增强其反馈值并消除(或者巩固)操作人员对该视频图像进行的任何分析。
在一个优选实施例中,通过多个传感器如上述各种设备聚集起来的感觉信息将被综合分析,从而产生比仅仅孤立地看每个感觉输入所获得的结果更为精确的观众反应简档。例如,特别的流电反应可包括激励,但是留下一个问题,该引起的但是未经规定的情绪是好还是不好。可是,和视觉信号一起使用的话,效价也可被评估,例如,微笑表示这种特别的激励状态是愉快的。作为另一个例子,视觉反应如皱眉,或者声音反应如问问题(根据说话人提高句尾的音调),可能表示疑惑或者缺乏了解。可是,当综合考虑这些输入时,增加了正确判断的可能性。
图3是说明根据本发明的一个优选实施例,可用来处理来自摄像机240的输入的视频处理器300的方框图。视频处理器300在输入端口305接收来自摄像机240的视频输入。优选地,视频处理器300也包括用来记录摄像机240捕捉的图像的视频记录媒介310。为方便起见,这里又使用了“视频记录”。典型地,录像机记录声音甚至也可能伴随文字(如字幕)。在所示实施例中,视频处理器通过输出端口312输出记录的视频,如果希望的话,以供显示。通过端口305接收到的视频输入也被送到数字转换器315,在该数字转换器315中被转换成标准数字格式以便处理。在视觉分析模块320中,每一帧数字化图像,或者可选地为每一个被选帧子集,和存储在视频库文件325中的观众的已知脸部表情或者动作的类似数字化图像相比较。关于对脸部姿态分析的更完整的阐述,参看Antonio Colminarez,Modeling theDynamics of Facial Expressions,(提交到2001年十二月11-13日在Hawaii举行的Computer Vision & Pattern RecognitionConference),该文献在此引作参考。以逐像素的方式(使用所有的或者部分的像素),或者使用任何已知的图像分析算法进行所述比较。优选地,存储在库文件315中的参考视频图像是观众个人的图像,但是也可包括他人的参考视图目录。比较步骤的目的是尽可能精确地确定捕捉到的观众表情或者动作是否可以识别为与已知情绪和其它人类反应有关的表情或者动作。当然,可以理解任何这种评估是预测的或者是近似的,而不是确定的,这里并不是要暗示声称甚至可能声称确定的判断。可是,当根据前后关系进行评价时,由视频处理器300提供的信息提供了重要的输入。向传感器信号接收器285报告由视觉分析模块320探测到的匹配。假如没有找到匹配,该报告可指出这一情况或者简单地将其忽略。
图4是说明根据本发明的一个实施例的感觉输入的交互作用,以及使用该采集及处理的感觉数据的可能应用的系统图。该实施也是示例的而不是限制的。如上所述,对照参考图像分析脸部表情和头部动作,以便确定可识别的情绪(模块405)。根据一套预定的标准来解释某些指示如微笑和凝视的强度(即凝视不动的持续时间和凝视方向)。也解释总的动作,如由摄像机240或者运动传感器230所探测到的房间内的运动(模块410)。另外,由例如椅子215或者传感器衬衫220上的传感器捕捉到的生物计量反应数据可以以与某些人类情感反应相联系为特征,其联系方式和以上结合捕捉到的视频图像所述的方式类似,虽然在大多数情况下有些较不确定。注意,某些感觉数据如体温可仅仅通过指出其相对于基线或者先前水平的变化来进行分析。这种类型的分析当然比视频图像比较更加简单,尽管在一个优选实施例中,还要考虑环境条件的变化,例如室温,外面天气条件,环境噪声水平,一天中的时间等等。
当然,也可以考虑其它输入,例如观众改变节目选择的动作,特别是当有遥控器如遥控器125(图1中示出)时,使得这种改变容易执行(模块420)。该节目改变可表示讨厌特定的节目片断,或者频繁的且无明显目的的,可以表示一般的厌倦。在一些情况下,观众可能进行“频道冲浪”,即快速地接连查看很多频道很短的时间。可是,即使是整体模式的一部分,收看一个特定片断的时间超过预期停顿也可提供信息。每一次按动“下一频道”的按钮所使用的体力,如遥控器125中的变形测量器或者类似的设备测量的,可表示厌倦或者受挫,特别当和某些音频反应如叹气或咒骂的检测和识别相结合时。很明显,在实施本发明的系统和方法时,经验和观察将增强把某些感觉输入单独或者联合地与某些人类情感反应联系起来的能力。
上述感觉输入特征的每一种和任何其它可用特征被直接或间接地提供,用于特定行为或有关条件的分类(模块425)。各个输入每一个都进行检查,以便确定一个离散的可识别条件或者条件变化是否可以从连续的或者至少是断断续续的相关输入流中分离开来。一旦一个分离的感觉事件被分类,那么它就可以和已知数据底数相比较,以便和已知心情,情绪或者其它反应相联系(模块430)。也可以判断特定的心情或者情绪有多强烈。
在一个优选实施例中,从视觉领域所提取的脸部表情都标上了符号并给予特征向量值。例如,假如有五种状态:悲伤,笑,漠不关心,厌烦,害怕,然后将这些进行符号编码(最好是带有数字)。同时也从0到1按比例记录情绪的大小(如从温和到极度高兴),也记录算法的确定程度。追踪观众的姿势和行动,并且也将这些记录下来:坐着,起来,看报纸分心,呼喊等等(这也是我们特征向量的特定值)。也记录生物测量反应:心电图,肌动电流图,呼吸以及测量自主神经系统兴奋作用的皮肤电导传感器。这些信号被实时数字化并记录下来。所有这些特征都不是必定有用的。首先在学习模式中,可使用线性识别函数根据识别性能将每个特征分别分类,从而找到识别模式的最优特征组。遥控器反应模式也可分成几类,分类为:“频道转换”,主动观看(调大音量,回放,或者慢模式),半主动观看,稳定观看。所有的这些值都用于特征向量f=f(f1,f2,...fn)中,记录一个时间段(如2秒)的特征向量。
接下来,这些观察符号被送到隐藏马尔可夫模型。隐藏马尔可夫模型(HMM)是一种广泛用于信号处理的通用技术。HMM的本质在于构造一种解释观察资料(符号)的产生的模型,并用它来识别其它的观察序列。在L.R.Rabiner,A Tutorial on Hidden Markov Models andSelected Applications in Speech Recognition,77 Proceedingsof the IEEE 257-285(1989)中介绍了HMM的基本原理及其应用,该文献在此引作参考。
简而言之,在HMM中具有有限数量的状态,并且该HMM总是处于这些状态之一。在每个时钟时间,根据先前状态在转移概率分布的基础上进入一个新的状态。在转移之后,根据当前状态在概率分布的基础上生成输出符号。在HMM的正式定义中,该状态表示为Q={q1,q2,...qN},其中N是状态数,观察符号表示为V={v1,v2,...vM},其中M是观察符号数。在两个状态之间的转移概率分布用矩阵A={aij}来表示,其中aij=Pr{t+1处qj|t处qi},而该观察符号概率分布用矩阵B={bj(k)}来表示,其中bj(k)是当前状态为qj时生成观察数据vk的概率。
该系统包含两个阶段,即训练和分类。对应于不同的行为(如非常喜欢,不关心,讨厌,惊骇),通过使用上述特征值集合进行训练,我们构造不同的HMM。该HMM训练实质上是调整λ=(A,B,π)的参数,以便将该观察序列Pr(0|λ)的概率最大化。这里π代表初始状态分布,并定义为π={πi},其中πi是状态qi是该HMM的初始状态的概率。O是观察序列。
在分类阶段,从脸部,生物测量,人的动作和遥控器反应模式的输入特征值的特定集合中提取包含高层标志的观察序列。然后将该序列送到不同的HMM(如非常喜欢,不关心,讨厌,惊骇)作为输入,并将其分类为生成最高反应(观察概率)的HMM类。
一旦观众的行为被识别,就和观众当前正在收看的节目和节目片断的类型一起被回馈给系统。推论该用户对正在显示的节目是喜欢,不喜欢还是中性的。然后该结果用来将不同的节目(或者一些改进节目内容的行动如扩充等)根据用户的收视简档展示给那些可能更加喜欢的观众。监控对该新信息的反应,以便了解在不同情况下用户更喜欢的信息或者行为的类型。这样,在模块430中,使用行为组合来进行心情推断,类型,强度等等。
在观众状况分析的同时,还要分析观众所看见的节目输入(模块435)。电子节目指南(EGP)信息是和从特定源可得到的剩余节目输入有关的说明性数据。尽管该信息的一些用来产生观众在进行频道选择时可使用的实际节目指南显示,本发明的系统使用其它信息将显示的节目内容与所经历的观众行为联系起来。换句话说,EPG向该系统提供电子提示,表明特定节目什么时间开始或者结束。注意,节目片断的使用源自一种认识,即使单个电视节目或者电影也不是均一事件,而是一系列片断(或“场景”)。在名为Method and Apparatus forAudio/Data/Visual Information Selection的美国专利申请序列号09/442,960中较为详细地解释了在子节目层的视频分割和选择,该申请由Nevenka Dimitrova,Thomas McGee,Herman Elenbaas,LalithaAgnihotri,Radu Jasinschi,Serhan Dagtas,Aaron Mendelsohn于1999年11月18日提出,由本申请的受让人共同拥有,在此引作参考。在R.S.Jasinschi,N.Dimitrova,T.McGee,L.Agnihotri,J.Zimmerman,& D.Li,Integrated Multimedia Processing forTopic Segmentation and Classification,Procedings for the IEEEInternational Conference on Image Processing(Thessaloniki,October 2001)中也提供了进一步说明,该文献在此也引作参考。比起节目总体评价来说,观众对每一个这些片断的反应比对节目做整体评价可以更有用地作为观众嗜好的评估者。从这一点上,使用本发明的系统和方法最为有利。
在一个特别优选的实施例中,节目提供者向节目订户(即观众)提供(可能要付费)至少一些感觉设备,或者提供一些关于如何连接订户家中通常可以找到的电器设备(如摄像机)以便提供感觉读数的用法说明。该感觉信号,处理过的或者未经处理的,都被送回该提供者,该提供者分析这些信号并使用这些信号来调整提供给观众的节目内容,或者创建频道选择控制器供订户(观众)使用,该频道选择控制器帮助观众选择那些和产生肯定回答的节目相类似的节目。当然,在这种情况下,该EPG信息优选地包括节目分段信息,使得检测到的观众反应可以和特定的节目片断相联系。
例如,分割功能也可包括在机顶盒150中以便自动按照适合分析的方式分割节目,从而取代或者结合使用EPG信息分割节目(即将其逻辑上分割成多个片断,以便使用不连续的观众反应进行比较)。将该节目(和节目分割)信息与节目片断过程中产生的心情和情绪相比较,提供重要的节目选择信息(模块440)。可以以不同的方式使用该选择信息。首先,当然可以存储在存储记录器中(模块445),并在以后作为另一辅助设备进行查看,以便预测观众选择。这可以在测试情况下或者如上所述当在观众家中操作该系统时进行,该信息可以传送给节目提供者供个体或者总体(即测试观众)分析。关于个体观众,该了解到的选择信息也可被处理(模块450),供今后心情或情绪判断(模块430)中使用。另外,假如观众有机会这样做的话,用户将选择那些看来与前面看过的产生良好反应的内容类似的节目内容,根据这一假设,可以使用该选择信息。通过简单的警报,通知观众现在可以得到特定类型的节目(模块455),可以实现这一效果。或者提供多个类似的即将播出的节目作为推荐(模块460)。当然,在任一情况下,仅仅向用户提供观看或者记录该推荐的节目的机会。可是,在一种可选实施例中,该系统可以仅仅选择某个节目供录制用,将其自动传送到录制设备(模块465)。当有能力录制多种内容时这特别有用,这样该节目就可以保存一段时间,而不是在下一次录制期间简单地被覆盖。最后,根据前面了解到的用户选择,可以扩充该观看的或者录制的节目的实际内容(模块470)。该扩充的内容可以从节目提供者那里得到,但是要根据观众的个体状态来使用。例如,先前表示过偏爱动作场面的观众可能插入一段赛车代替法庭场景,而另一个喜欢喜剧的观众可能用幽默片断来代替。当然,假如观众想要以某些方式来指出他们的个性,或者假如由系统传感器自动确定个性的话,该系统可以根据他们的个人口味(或者根据经常一起观看的多个观众的综合口味)来定制节目。
图5是说明根据本发明收集,处理和使用感觉反馈信息的方法的流程图。最初(程序步骤“开始”),假定节目接收和显示系统和感觉反馈系统在合适的位置。当节目显示开始时,感觉设备被通电并激活(程序步骤505)。该系统立即接收初始输入,并且在所示实施例中,将初始输入设为基线(程序步骤510)。在另一实施例中,已经设置了每个可识别观众的基线,只有当不能确定观众的身份时才设置新的基线。直到检测到可识别感觉状况(如出汗程度或者温度升高),才处理传感器输入(程序步骤515),这时将指示传送到该感觉处理器,因为心情/情绪判断和检测该心情/情绪的感觉结果时正在显示的节目片断有关的信息相联系(程序步骤520)。假如对节目的反应在预期的范围内,则该信息被存储在数据库中(程序步骤525)。注意,假如该选择信息是假的,如一个通常忧郁的观众在不愉快的片断中大笑,则该信息就不是“在预期范围内”,这情况下怀疑发生了分心的事。在优选实施例中,这种反应被忽视。该过程也可继续将该选择信息送回提供者这一步骤(程序步骤530),或者使用本地使用该选择信息这一步骤(程序步骤535),或者上述两个步骤。(上面参考图4已经提供了本地使用的几个例子。)
尽管已经详细阐述了本发明,但是那些本领域的技术人员应当理解在不背离本发明的精神和范围的广泛形式的情况下,这里他们也可以进行各种变化,置换和变更。

Claims (16)

1.一种评价观众对广播节目的反应的系统,该反应可与描述该节目内容的信息相联系,所述系统包含:
接收器(105),用来接收和显示电视节目;
至少一个传感器,用来检测观众观看所显示的节目的身体反应,并产生代表该身体反应的信号;和
处理器(185),用来接收该传感器信号,并分析该信号,从而确定其是否可以和至少一个可识别的观众反应相联系,据此该处理器(185)将该识别的反应与当该身体反应被检测到时正在显示的节目有关的描述信息联系起来。
2.权利要求1的系统,进一步包含存储器设备,用来存储节目描述和检测到的反应之间的联系,作为观众的偏好。
3.权利要求1的系统,其中该至少一个传感器包含多个传感器该系统进一步包含传感器信号接收器(285),用来接收由该多个传感器中的至少一些传感器产生的信号,其中该传感器信号接收器(285)将接收到的传感器信号结合起来,使处理器(185)可以分析传感器信号的一个集合。
4.权利要求1的系统,其中该至少一个传感器是视频图像捕获设备(240),该系统进一步包含与该摄像机通信的视频处理器(300),该视频处理器(300)包含图像库(325),用来和从摄像机(240)接收到的视频图像相比较。
5.权利要求4的系统,进一步包含录像机(140),用来记录由所述摄像机(240)捕获的图像。
6.权利要求1的系统,其中该至少一个传感器是麦克风,用来获取观众的发音。
7.权利要求1的系统,进一步包含环境传感器,用来检测观看环境中的变化,并将环境信息传送到所述处理器(185),以便用于分析观众的身体反应。
8.一种评价观众对广播节目的反应的方法,该广播节目包括一个或者多个不同的片断,所述方法包含步骤:
提供接收器(105),观众可以在该接收器上观看所述节目;
监控至少一个观众身体状况;和
将检测到的身体状况的状态和观众的反应联系起来。
9.权利要求8的方法,其中该身体状况的状态包括身体状况相对基线水平的变化,该变化是在所述监控步骤的过程中检测到的。
10.权利要求8的方法,进一步包含步骤:
确定所显示的节目片断的至少一个区别特征;
将在该节目片段的显示过程中检测到的身体状况所对应的观众反应和观众的偏爱程度联系起来;和
应用该偏爱程度,以增强节目选择。
11.权利要求10的方法,其中通过提供通知来增强节目选择,该通知指出,特定的未来的节目将包含至少一个拥有该至少一个区别特性的片断。
12.权利要求10的方法,其中通过将拥有该至少一个区别特性的片断插入到节目中,来增强所述节目选择。
13.权利要求8的方法,其中该监控的身体状况观众身体状况是生物测量反应。
14.权利要求8的方法,其中该监控步骤包含监控视觉上可察觉的反应。
15.权利要求14的方法,其中该视觉上可察觉的反应包括观众凝视的方向。
16.权利要求14的方法,其中该视觉上可察觉的反应包括在变化到另一方向之前,该观众向某一特定方向凝视的持续时间。
CN028224116A 2001-11-13 2002-11-05 用于评价对广播节目的观众反应的系统和方法 Expired - Fee Related CN1586078B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/014,179 US8561095B2 (en) 2001-11-13 2001-11-13 Affective television monitoring and control in response to physiological data
US10/014,179 2001-11-13
PCT/IB2002/004650 WO2003043336A1 (en) 2001-11-13 2002-11-05 Affective television monitoring and control

Publications (2)

Publication Number Publication Date
CN1586078A true CN1586078A (zh) 2005-02-23
CN1586078B CN1586078B (zh) 2010-05-26

Family

ID=21763978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN028224116A Expired - Fee Related CN1586078B (zh) 2001-11-13 2002-11-05 用于评价对广播节目的观众反应的系统和方法

Country Status (6)

Country Link
US (1) US8561095B2 (zh)
EP (1) EP1449379A1 (zh)
JP (1) JP4283113B2 (zh)
KR (1) KR100946222B1 (zh)
CN (1) CN1586078B (zh)
WO (1) WO2003043336A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100394438C (zh) * 2005-08-05 2008-06-11 索尼株式会社 信息处理装置及其方法
CN101868284A (zh) * 2008-03-11 2010-10-20 迪斯尼实业公司 用于基于传感器测量来提供交互性的方法及系统
CN101114339B (zh) * 2007-07-17 2012-06-13 北京华智大为科技有限公司 一种可视媒体受众信息反馈系统和方法
CN101755405B (zh) * 2007-03-06 2013-01-02 埃姆申塞公司 使用生理数据来生成关于时变媒体的用户反应的汇总图的方法和系统
CN103207675A (zh) * 2012-04-06 2013-07-17 微软公司 制作媒体节目集锦或扩充媒体节目
CN103207662A (zh) * 2012-01-11 2013-07-17 联想(北京)有限公司 一种获得生理特征信息的方法及装置
CN103366760A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种数据处理方法、装置及系统
CN103383597A (zh) * 2012-05-04 2013-11-06 微软公司 确定当前呈现的媒体节目的未来部分
CN103621104A (zh) * 2011-06-17 2014-03-05 微软公司 基于兴趣的视频流
CN103873492A (zh) * 2012-12-07 2014-06-18 联想(北京)有限公司 一种电子设备及数据传输方法
WO2014101165A1 (en) * 2012-12-31 2014-07-03 Thomson Licensing Method and system for determining concentration level of a viewer of displayed content
CN103957459A (zh) * 2014-05-15 2014-07-30 北京智谷睿拓技术服务有限公司 播放控制方法及播放控制装置
CN104038836A (zh) * 2014-06-03 2014-09-10 四川长虹电器股份有限公司 电视节目智能推送的方法
CN104065898A (zh) * 2014-06-05 2014-09-24 深圳市九洲电器有限公司 一种电视节目控制方法及装置
CN104253984A (zh) * 2013-06-26 2014-12-31 卡西欧计算机株式会社 信息处理装置以及信息处理方法
CN105230034A (zh) * 2013-03-15 2016-01-06 尼尔森(美国)有限公司 用于标识伴随媒体交互的方法和设备
CN105852838A (zh) * 2016-03-22 2016-08-17 乐视网信息技术(北京)股份有限公司 一种基于心率测量的多媒体评价方法和终端
CN106104422A (zh) * 2014-03-31 2016-11-09 奥迪股份公司 手势评估系统、用于手势评估的方法以及车辆
CN106131607A (zh) * 2016-07-21 2016-11-16 陈洪国 汽车发动机运行参数检测平台
US9628844B2 (en) 2011-12-09 2017-04-18 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN106658202A (zh) * 2015-10-30 2017-05-10 中国移动通信集团公司 一种触发互动应用的方法和设备
US9788032B2 (en) 2012-05-04 2017-10-10 Microsoft Technology Licensing, Llc Determining a future portion of a currently presented media program
CN107257509A (zh) * 2017-07-13 2017-10-17 上海斐讯数据通信技术有限公司 一种视频内容的过滤方法及装置
CN107786894A (zh) * 2017-09-29 2018-03-09 维沃移动通信有限公司 一种用户反馈数据的识别方法、移动终端和存储介质
CN108966013A (zh) * 2018-07-26 2018-12-07 北京理工大学 一种基于全景视频的观众反应评估方法及系统

Families Citing this family (275)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US20030109249A1 (en) * 2001-12-07 2003-06-12 William Frantz System, method and apparatus to deliver guaranteed advertising
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP3867627B2 (ja) * 2002-06-26 2007-01-10 ソニー株式会社 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
US7460827B2 (en) * 2002-07-26 2008-12-02 Arbitron, Inc. Radio frequency proximity detection and identification system and method
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US9247288B2 (en) * 2003-08-12 2016-01-26 Time Warner Cable Enterprises Llc Technique for effectively delivering targeted advertisements through a communications network having limited bandwidth
CN1843033A (zh) * 2003-08-29 2006-10-04 皇家飞利浦电子股份有限公司 用户简档控制内容信息的再现
US20050064916A1 (en) * 2003-09-24 2005-03-24 Interdigital Technology Corporation User cognitive electronic device
US20050071865A1 (en) * 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
US20050088407A1 (en) * 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8406341B2 (en) 2004-01-23 2013-03-26 The Nielsen Company (Us), Llc Variable encoding and detection apparatus and methods
US9959383B1 (en) 2004-04-30 2018-05-01 Time Warner, Inc. Apparatus, method and system for brokering and provision of intelligent advertisement
KR20050117829A (ko) * 2004-06-11 2005-12-15 삼성전자주식회사 사용자의 신체상태에 따른 서비스 자동선택방법, 장치 및그 기능이 부가된 단말기
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US8843978B2 (en) 2004-06-29 2014-09-23 Time Warner Cable Enterprises Llc Method and apparatus for network bandwidth allocation
KR20060048247A (ko) * 2004-07-12 2006-05-18 엘지전자 주식회사 처리장치 및 그 제어방법
JP2006030443A (ja) * 2004-07-14 2006-02-02 Sony Corp 記録媒体、記録装置及び方法、データ処理装置及び方法、データ出力装置及び方法
KR100763900B1 (ko) * 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
JP2006107693A (ja) * 2004-09-10 2006-04-20 Sony Corp 記録媒体、記録装置、記録方法、データ出力装置、データ出力方法およびデータ配布・流通システム
WO2006037014A2 (en) * 2004-09-27 2006-04-06 Nielsen Media Research, Inc. Methods and apparatus for using location information to manage spillover in an audience monitoring system
EP1686804A1 (en) * 2005-01-26 2006-08-02 Alcatel Predictor of multimedia system user behavior
US7567565B2 (en) 2005-02-01 2009-07-28 Time Warner Cable Inc. Method and apparatus for network bandwidth conservation
US8235725B1 (en) 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
MX2007011471A (es) * 2005-03-17 2007-12-05 Nielsen Media Res Inc Metodos y aparato para utilizar informacion del comportamiento de miembros de la audiencia para determinar el cumplimiento con los requisitos de uso del sistema de medicion de audiencia.
US20060230415A1 (en) * 2005-03-30 2006-10-12 Cyriac Roeding Electronic device and methods for reproducing mass media content
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US20060257834A1 (en) * 2005-05-10 2006-11-16 Lee Linda M Quantitative EEG as an identifier of learning modality
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
JP2006352555A (ja) * 2005-06-16 2006-12-28 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
US9351658B2 (en) * 2005-09-02 2016-05-31 The Nielsen Company (Us), Llc Device and method for sensing electrical activity in tissue
WO2007034442A2 (en) * 2005-09-26 2007-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for analysing an emotional state of a user being provided with content information
JP4548297B2 (ja) * 2005-10-05 2010-09-22 株式会社日立製作所 情報処理装置及び情報処理方法
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
JP2007158998A (ja) * 2005-12-08 2007-06-21 Hitachi Ltd 放送受信装置及びその録画番組選択支援方法
US20070277196A1 (en) * 2006-02-24 2007-11-29 Steengaard Bodil H Methods of user behavior learning and acting in a pervasive system
US8458753B2 (en) 2006-02-27 2013-06-04 Time Warner Cable Enterprises Llc Methods and apparatus for device capabilities discovery and utilization within a content-based network
US8170065B2 (en) 2006-02-27 2012-05-01 Time Warner Cable Inc. Methods and apparatus for selecting digital access technology for programming and data delivery
JP2007280485A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
JP2007280486A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
US8280982B2 (en) 2006-05-24 2012-10-02 Time Warner Cable Inc. Personal content server apparatus and methods
US9386327B2 (en) 2006-05-24 2016-07-05 Time Warner Cable Enterprises Llc Secondary content insertion apparatus and methods
US8024762B2 (en) 2006-06-13 2011-09-20 Time Warner Cable Inc. Methods and apparatus for providing virtual content over a network
EP2044592A1 (en) * 2006-07-12 2009-04-08 Koninklijke Philips Electronics N.V. A device and a method for playing audio-video content
BRPI0716106A2 (pt) * 2006-09-07 2014-07-01 Procter & Gamble Métodos de medição da resposta emocional e da preferência de escolha
US10885543B1 (en) 2006-12-29 2021-01-05 The Nielsen Company (Us), Llc Systems and methods to pre-scale media content to facilitate audience measurement
US20080183575A1 (en) 2007-01-31 2008-07-31 Vulcan Portals, Inc. Back-channel media delivery system
WO2008099288A2 (en) * 2007-02-16 2008-08-21 Vyro Games Ltd. Biosensor device and method
US20090070798A1 (en) * 2007-03-02 2009-03-12 Lee Hans C System and Method for Detecting Viewer Attention to Media Delivery Devices
US20090253996A1 (en) * 2007-03-02 2009-10-08 Lee Michael J Integrated Sensor Headset
US9215996B2 (en) * 2007-03-02 2015-12-22 The Nielsen Company (Us), Llc Apparatus and method for objectively determining human response to media
US8230457B2 (en) * 2007-03-07 2012-07-24 The Nielsen Company (Us), Llc. Method and system for using coherence of biological responses as a measure of performance of a media
US8473044B2 (en) * 2007-03-07 2013-06-25 The Nielsen Company (Us), Llc Method and system for measuring and ranking a positive or negative response to audiovisual or interactive media, products or activities using physiological signals
US20080221969A1 (en) * 2007-03-07 2008-09-11 Emsense Corporation Method And System For Measuring And Ranking A "Thought" Response To Audiovisual Or Interactive Media, Products Or Activities Using Physiological Signals
US8764652B2 (en) * 2007-03-08 2014-07-01 The Nielson Company (US), LLC. Method and system for measuring and ranking an “engagement” response to audiovisual or interactive media, products, or activities using physiological signals
US8782681B2 (en) * 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
JP4539712B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
US20080235746A1 (en) 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
US20090030717A1 (en) 2007-03-29 2009-01-29 Neurofocus, Inc. Intra-modality synthesis of central nervous system, autonomic nervous system, and effector data
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US7865916B2 (en) * 2007-07-20 2011-01-04 James Beser Audience determination for monetizing displayable content
JP5542051B2 (ja) 2007-07-30 2014-07-09 ニューロフォーカス・インコーポレーテッド 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置
US20090037945A1 (en) * 2007-07-31 2009-02-05 Hewlett-Packard Development Company, L.P. Multimedia presentation apparatus, method of selecting multimedia content, and computer program product
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
US8376952B2 (en) * 2007-09-07 2013-02-19 The Nielsen Company (Us), Llc. Method and apparatus for sensing blood oxygen
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US20090083129A1 (en) 2007-09-20 2009-03-26 Neurofocus, Inc. Personalized content delivery using neuro-response priming data
US8561116B2 (en) 2007-09-26 2013-10-15 Charles A. Hasek Methods and apparatus for content caching in a video network
US9071859B2 (en) 2007-09-26 2015-06-30 Time Warner Cable Enterprises Llc Methods and apparatus for user-based targeted content delivery
US8151292B2 (en) * 2007-10-02 2012-04-03 Emsense Corporation System for remote access to media, and reaction and survey data from viewers of the media
US8099757B2 (en) 2007-10-15 2012-01-17 Time Warner Cable Inc. Methods and apparatus for revenue-optimized delivery of content in a network
WO2009059246A1 (en) 2007-10-31 2009-05-07 Emsense Corporation Systems and methods providing en mass collection and centralized processing of physiological responses from viewers
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
JP5243000B2 (ja) * 2007-11-19 2013-07-24 ソニー株式会社 情報提供装置、情報取得端末、受信端末、情報提供システム、情報提供方法、およびプログラム
US20090150919A1 (en) * 2007-11-30 2009-06-11 Lee Michael J Correlating Media Instance Information With Physiological Responses From Participating Subjects
US8347326B2 (en) 2007-12-18 2013-01-01 The Nielsen Company (US) Identifying key media events and modeling causal relationships between key events and reported feelings
US8677386B2 (en) 2008-01-02 2014-03-18 At&T Intellectual Property Ii, Lp Automatic rating system using background audio cues
KR101020843B1 (ko) 2008-01-30 2011-03-09 단국대학교 산학협력단 소비자 감성에 따른 콘텐츠 및/또는 채널 추천 방법 및 그시스템
US9503691B2 (en) 2008-02-19 2016-11-22 Time Warner Cable Enterprises Llc Methods and apparatus for enhanced advertising and promotional delivery in a network
US8813143B2 (en) 2008-02-26 2014-08-19 Time Warner Enterprises LLC Methods and apparatus for business-based network resource allocation
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US20110053889A1 (en) * 2008-09-02 2011-03-03 Joanne Szabo Prenatal and postnatal screening and treatment of critical monosaccharide deficiencies for neurologic and immunologic function
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US8700451B2 (en) 2008-10-29 2014-04-15 Vulcan Ip Holdings Inc. Systems and methods for tracking consumers
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100164731A1 (en) * 2008-12-29 2010-07-01 Aiguo Xie Method and apparatus for media viewer health care
US8161504B2 (en) * 2009-03-20 2012-04-17 Nicholas Newell Systems and methods for memorializing a viewer's viewing experience with captured viewer images
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
US9866609B2 (en) 2009-06-08 2018-01-09 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
US9178634B2 (en) 2009-07-15 2015-11-03 Time Warner Cable Enterprises Llc Methods and apparatus for evaluating an audience in a content-based network
US8813124B2 (en) 2009-07-15 2014-08-19 Time Warner Cable Enterprises Llc Methods and apparatus for targeted secondary content insertion
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
KR101368198B1 (ko) * 2009-09-21 2014-02-27 에스케이플래닛 주식회사 광고를 이용한 무료 통화 서비스가 가능한 이동통신 단말기와 시스템 및 방법
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
EP2333778A1 (en) * 2009-12-04 2011-06-15 Lg Electronics Inc. Digital data reproducing apparatus and method for controlling the same
US20110136442A1 (en) * 2009-12-09 2011-06-09 Echostar Technologies Llc Apparatus and methods for identifying a user of an entertainment device via a mobile communication device
WO2011071461A1 (en) * 2009-12-10 2011-06-16 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
US8855101B2 (en) 2010-03-09 2014-10-07 The Nielsen Company (Us), Llc Methods, systems, and apparatus to synchronize actions of audio source monitors
US8701138B2 (en) 2010-04-23 2014-04-15 Time Warner Cable Enterprises Llc Zone control methods and apparatus
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US20140200463A1 (en) * 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US20130245396A1 (en) * 2010-06-07 2013-09-19 Affectiva, Inc. Mental state analysis using wearable-camera devices
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US9204836B2 (en) * 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10289898B2 (en) * 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10897650B2 (en) * 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US20150099987A1 (en) * 2010-06-07 2015-04-09 Affectiva, Inc. Heart rate variability evaluation for mental state analysis
US9646046B2 (en) * 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US10204625B2 (en) * 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
CN102933136A (zh) * 2010-06-07 2013-02-13 阿弗科迪瓦公司 利用网络服务的精神状态分析
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US10401860B2 (en) * 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10911829B2 (en) * 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US20120023201A1 (en) * 2010-07-26 2012-01-26 Atlas Advisory Partners, Llc Unified Content Delivery Platform
WO2012020861A1 (ko) * 2010-08-12 2012-02-16 엘지전자 주식회사 영상표시기기, 영상표시시스템 및 그 사용자 감정 상태 분석 방법
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
US9484065B2 (en) * 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
CN102118589A (zh) * 2010-11-20 2011-07-06 康佳集团股份有限公司 一种基于电视机测试心情指数的方法及电视机装置
GB2486257B (en) * 2010-12-09 2015-05-27 Samsung Electronics Co Ltd Multimedia system and method of recommending multimedia content
US8885842B2 (en) 2010-12-14 2014-11-11 The Nielsen Company (Us), Llc Methods and apparatus to determine locations of audience members
ES1075159Y (es) * 2010-12-16 2011-11-10 Feliz Emilio Alonso Dispositivo de audimetria inteligente
AU2012256402A1 (en) 2011-02-27 2013-07-11 Affectiva, Inc, Video recommendation based on affect
US20120259240A1 (en) * 2011-04-08 2012-10-11 Nviso Sarl Method and System for Assessing and Measuring Emotional Intensity to a Stimulus
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8898091B2 (en) * 2011-05-11 2014-11-25 Ari M. Frank Computing situation-dependent affective response baseline levels utilizing a database storing affective responses
US20120304206A1 (en) * 2011-05-26 2012-11-29 Verizon Patent And Licensing, Inc. Methods and Systems for Presenting an Advertisement Associated with an Ambient Action of a User
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US20120324491A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US9015084B2 (en) 2011-10-20 2015-04-21 Gil Thieberger Estimating affective response to a token instance of interest
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US20130145385A1 (en) * 2011-12-02 2013-06-06 Microsoft Corporation Context-based ratings and recommendations for media
US9082004B2 (en) 2011-12-15 2015-07-14 The Nielsen Company (Us), Llc. Methods and apparatus to capture images
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
EP2621165A1 (en) * 2012-01-25 2013-07-31 Alcatel Lucent, S.A. Videoconference method and device
US20130204535A1 (en) * 2012-02-03 2013-08-08 Microsoft Corporation Visualizing predicted affective states over time
US9569986B2 (en) * 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US9078040B2 (en) 2012-04-12 2015-07-07 Time Warner Cable Enterprises Llc Apparatus and methods for enabling media options in a content delivery network
KR101448722B1 (ko) * 2012-04-19 2014-10-17 상명대학교서울산학협력단 영상 기반 감성 유발 및 측정 시뮬레이터 시스템
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
US9854280B2 (en) 2012-07-10 2017-12-26 Time Warner Cable Enterprises Llc Apparatus and methods for selective enforcement of secondary content viewing
US9060671B2 (en) 2012-08-17 2015-06-23 The Nielsen Company (Us), Llc Systems and methods to gather and analyze electroencephalographic data
US8862155B2 (en) 2012-08-30 2014-10-14 Time Warner Cable Enterprises Llc Apparatus and methods for enabling location-based services within a premises
CN109542849B (zh) * 2012-09-16 2021-09-24 吴东辉 一种图像文件格式及生成方法及装置及应用
US20140149177A1 (en) * 2012-11-23 2014-05-29 Ari M. Frank Responding to uncertainty of a user regarding an experience by presenting a prior experience
US10250837B2 (en) 2012-12-05 2019-04-02 DISH Technologies L.L.C. User proximity recognition and hands-free control
US9131283B2 (en) 2012-12-14 2015-09-08 Time Warner Cable Enterprises Llc Apparatus and methods for multimedia coordination
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
CN103118281A (zh) * 2012-12-28 2013-05-22 四川九洲电器集团有限责任公司 一种机顶盒装置及控制方法
US20140195328A1 (en) * 2013-01-04 2014-07-10 Ron Ferens Adaptive embedded advertisement via contextual analysis and perceptual computing
WO2014108195A1 (en) * 2013-01-10 2014-07-17 Telefonaktiebolaget L M Ericsson (Publ) Method and system for targeting delivery of video media to a user
US9344773B2 (en) * 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
US9021516B2 (en) 2013-03-01 2015-04-28 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by measuring a crest factor
US9118960B2 (en) 2013-03-08 2015-08-25 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by detecting signal distortion
US20140282786A1 (en) 2013-03-12 2014-09-18 Time Warner Cable Enterprises Llc Methods and apparatus for providing and uploading content to personalized network storage
US9219969B2 (en) 2013-03-13 2015-12-22 The Nielsen Company (Us), Llc Methods and systems for reducing spillover by analyzing sound pressure levels
US9100694B1 (en) 2013-03-14 2015-08-04 Google Inc. TV mode change in accordance with number of viewers present
US9320450B2 (en) 2013-03-14 2016-04-26 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US9191704B2 (en) 2013-03-14 2015-11-17 The Nielsen Company (Us), Llc Methods and systems for reducing crediting errors due to spillover using audio codes and/or signatures
US9596508B2 (en) * 2013-03-15 2017-03-14 Sony Corporation Device for acquisition of viewer interest when viewing content
US9681186B2 (en) 2013-06-11 2017-06-13 Nokia Technologies Oy Method, apparatus and computer program product for gathering and presenting emotional response to an event
US20140379421A1 (en) 2013-06-25 2014-12-25 The Nielsen Company (Us), Llc Methods and apparatus to characterize households with media meter data
CN105684011B (zh) 2013-06-27 2020-04-21 英特尔公司 自适应嵌入视觉广告内容到媒体内容中
US9426525B2 (en) 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
US9431002B2 (en) 2014-03-04 2016-08-30 Tribune Digital Ventures, Llc Real time popularity based audible content aquisition
US9622702B2 (en) 2014-04-03 2017-04-18 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US9313537B2 (en) * 2014-04-30 2016-04-12 Rovi Guides, Inc. Methods and systems for presenting advertisements to particular users based on perceived lulls in media assets
US10028025B2 (en) 2014-09-29 2018-07-17 Time Warner Cable Enterprises Llc Apparatus and methods for enabling presence-based and use-based services
US9924224B2 (en) 2015-04-03 2018-03-20 The Nielsen Company (Us), Llc Methods and apparatus to determine a state of a media presentation device
US9607223B2 (en) * 2015-04-09 2017-03-28 Facebook, Inc. Systems and methods for defining and analyzing video clusters based on video image frames
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
US10542315B2 (en) 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US9959343B2 (en) 2016-01-04 2018-05-01 Gracenote, Inc. Generating and distributing a replacement playlist
CN108605150A (zh) 2016-01-05 2018-09-28 格雷斯诺特公司 具有基于内容特性的触发特征的计算系统
US11540009B2 (en) 2016-01-06 2022-12-27 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
EP4080794A1 (en) 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
KR101639970B1 (ko) * 2016-01-26 2016-07-15 주식회사 이노피아테크 미디어 서비스에서 양방향 채널 구성
US10268689B2 (en) 2016-01-28 2019-04-23 DISH Technologies L.L.C. Providing media content based on user state detection
CN107293292A (zh) * 2016-03-31 2017-10-24 深圳光启合众科技有限公司 基于云端的设备及其操作方法
US10187694B2 (en) 2016-04-07 2019-01-22 At&T Intellectual Property I, L.P. Method and apparatus for enhancing audience engagement via a communication network
US10586023B2 (en) 2016-04-21 2020-03-10 Time Warner Cable Enterprises Llc Methods and apparatus for secondary content management and fraud prevention
US10984036B2 (en) 2016-05-03 2021-04-20 DISH Technologies L.L.C. Providing media content based on media element preferences
US10687115B2 (en) 2016-06-01 2020-06-16 Time Warner Cable Enterprises Llc Cloud-based digital content recorder apparatus and methods
CN105959737A (zh) * 2016-06-30 2016-09-21 乐视控股(北京)有限公司 一种基于用户情绪识别的视频评价方法和装置
CN106303230B (zh) * 2016-08-05 2020-04-03 浙江大华技术股份有限公司 一种视频处理方法及装置
US10419558B2 (en) 2016-08-24 2019-09-17 The Directv Group, Inc. Methods and systems for provisioning a user profile on a media processor
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
US11212593B2 (en) 2016-09-27 2021-12-28 Time Warner Cable Enterprises Llc Apparatus and methods for automated secondary content management in a digital network
US10440434B2 (en) * 2016-10-28 2019-10-08 International Business Machines Corporation Experience-directed dynamic steganographic content switching
US10911794B2 (en) 2016-11-09 2021-02-02 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network
US10019225B1 (en) 2016-12-21 2018-07-10 Gracenote Digital Ventures, Llc Audio streaming based on in-automobile detection
US10419508B1 (en) 2016-12-21 2019-09-17 Gracenote Digital Ventures, Llc Saving media for in-automobile playout
US10565980B1 (en) 2016-12-21 2020-02-18 Gracenote Digital Ventures, Llc Audio streaming of text-based articles from newsfeeds
US11196826B2 (en) 2016-12-23 2021-12-07 DISH Technologies L.L.C. Communications channels in media systems
US10764381B2 (en) 2016-12-23 2020-09-01 Echostar Technologies L.L.C. Communications channels in media systems
US10390084B2 (en) 2016-12-23 2019-08-20 DISH Technologies L.L.C. Communications channels in media systems
US10034046B1 (en) * 2017-01-09 2018-07-24 International Business Machines Corporation Individualized dynamic insertion of secondary content in live streaming
US11128675B2 (en) 2017-03-20 2021-09-21 At&T Intellectual Property I, L.P. Automatic ad-hoc multimedia conference generator
EP3613224A4 (en) 2017-04-20 2020-12-30 TVision Insights, Inc. METHOD AND DEVICE FOR MULTI-TELEVISION MEASUREMENTS
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US11070862B2 (en) * 2017-06-23 2021-07-20 At&T Intellectual Property I, L.P. System and method for dynamically providing personalized television shows
US11601715B2 (en) * 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
CN107424019A (zh) * 2017-08-15 2017-12-01 京东方科技集团股份有限公司 基于情绪识别的艺术品推荐方法、装置、介质和电子设备
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
US10636449B2 (en) * 2017-11-06 2020-04-28 International Business Machines Corporation Dynamic generation of videos based on emotion and sentiment recognition
US20190172458A1 (en) 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification
US10154319B1 (en) * 2018-02-15 2018-12-11 Rovi Guides, Inc. Systems and methods for customizing delivery of advertisements
US10939142B2 (en) 2018-02-27 2021-03-02 Charter Communications Operating, Llc Apparatus and methods for content storage, distribution and security within a content distribution network
US11151602B2 (en) * 2018-04-30 2021-10-19 Dish Network L.L.C. Apparatus, systems and methods for acquiring commentary about a media content event
KR102081752B1 (ko) * 2018-10-24 2020-02-26 서경대학교 산학협력단 영상평가시스템 및 영상평가방법
US11037550B2 (en) 2018-11-30 2021-06-15 Dish Network L.L.C. Audio-based link generation
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
FR3094856B1 (fr) * 2019-04-02 2021-04-30 Unique Entertainment Experience Procede de génération d’un element multimedia au cours de la lecture d’un media, terminal, systeme
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
US11871081B2 (en) * 2022-05-23 2024-01-09 Rovi Guides, Inc. Leveraging emotional transitions in media to modulate emotional impact of secondary content
US11910061B2 (en) * 2022-05-23 2024-02-20 Rovi Guides, Inc. Leveraging emotional transitions in media to modulate emotional impact of secondary content

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243517A (en) * 1988-08-03 1993-09-07 Westinghouse Electric Corp. Method and apparatus for physiological evaluation of short films and entertainment materials
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5434678A (en) * 1993-01-11 1995-07-18 Abecassis; Max Seamless transmission of non-sequential video segments
US5469206A (en) * 1992-05-27 1995-11-21 Philips Electronics North America Corporation System and method for automatically correlating user preferences with electronic shopping information
GB9315034D0 (en) * 1993-07-20 1993-09-01 Software Solutions Limited Display apparatus
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US5995134A (en) * 1995-12-14 1999-11-30 Time Warner Cable Method and apparatus for enticing a passive television viewer by automatically playing promotional presentations of selectable options in response to the viewer's inactivity
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US5945988A (en) 1996-06-06 1999-08-31 Intel Corporation Method and apparatus for automatically determining and dynamically updating user preferences in an entertainment system
JPH10123929A (ja) * 1996-10-21 1998-05-15 Hitachi Ltd 体感装置
NL1006042C2 (nl) * 1997-05-13 1998-11-16 Verify International N V Methode en inrichting voor het testen van audio-visuele stimuli.
JP3757584B2 (ja) 1997-11-20 2006-03-22 株式会社富士通ゼネラル 広告効果確認システム
US5973683A (en) 1997-11-24 1999-10-26 International Business Machines Corporation Dynamic regulation of television viewing content based on viewer profile and viewing history
US6124877A (en) * 1997-12-08 2000-09-26 Soundview Technologies, Inc. System for monitoring and reporting viewing of television programming
GB9813866D0 (en) 1998-06-29 1998-08-26 Williams David J Interactive television and readio system
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
JP4159159B2 (ja) * 1999-01-20 2008-10-01 株式会社野村総合研究所 広告メディア評価装置
US6721954B1 (en) 1999-06-23 2004-04-13 Gateway, Inc. Personal preferred viewing using electronic program guide
AU6310500A (en) * 1999-08-20 2001-03-19 Singularis S.A. Method and apparatus for creating recommendations from users profile built interactively
JP2002009578A (ja) 2000-06-26 2002-01-11 Seiko Epson Corp 圧電デバイス
ATE321422T1 (de) * 2001-01-09 2006-04-15 Metabyte Networks Inc System, verfahren und software für die bereitstellung einer gezielten werbung durch benutzerprofildatenstruktur basierend auf benutzerpräferenzen
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20030005431A1 (en) * 2001-07-02 2003-01-02 Sony Corporation PVR-based system and method for TV content control using voice recognition

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100394438C (zh) * 2005-08-05 2008-06-11 索尼株式会社 信息处理装置及其方法
CN101755405B (zh) * 2007-03-06 2013-01-02 埃姆申塞公司 使用生理数据来生成关于时变媒体的用户反应的汇总图的方法和系统
CN101114339B (zh) * 2007-07-17 2012-06-13 北京华智大为科技有限公司 一种可视媒体受众信息反馈系统和方法
CN101868284A (zh) * 2008-03-11 2010-10-20 迪斯尼实业公司 用于基于传感器测量来提供交互性的方法及系统
US9839856B2 (en) 2008-03-11 2017-12-12 Disney Enterprises, Inc. Method and system for providing interactivity based on sensor measurements
CN103621104A (zh) * 2011-06-17 2014-03-05 微软公司 基于兴趣的视频流
CN103621104B (zh) * 2011-06-17 2017-08-01 微软技术许可有限责任公司 基于兴趣的视频流
US9628844B2 (en) 2011-12-09 2017-04-18 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US10798438B2 (en) 2011-12-09 2020-10-06 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN103207662A (zh) * 2012-01-11 2013-07-17 联想(北京)有限公司 一种获得生理特征信息的方法及装置
CN103366760A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种数据处理方法、装置及系统
CN103207675A (zh) * 2012-04-06 2013-07-17 微软公司 制作媒体节目集锦或扩充媒体节目
US9788032B2 (en) 2012-05-04 2017-10-10 Microsoft Technology Licensing, Llc Determining a future portion of a currently presented media program
CN103383597A (zh) * 2012-05-04 2013-11-06 微软公司 确定当前呈现的媒体节目的未来部分
CN103383597B (zh) * 2012-05-04 2017-07-28 微软技术许可有限责任公司 用于呈现媒体节目的方法
CN103873492A (zh) * 2012-12-07 2014-06-18 联想(北京)有限公司 一种电子设备及数据传输方法
WO2014101165A1 (en) * 2012-12-31 2014-07-03 Thomson Licensing Method and system for determining concentration level of a viewer of displayed content
CN105230034A (zh) * 2013-03-15 2016-01-06 尼尔森(美国)有限公司 用于标识伴随媒体交互的方法和设备
CN104253984A (zh) * 2013-06-26 2014-12-31 卡西欧计算机株式会社 信息处理装置以及信息处理方法
CN104253984B (zh) * 2013-06-26 2017-06-27 卡西欧计算机株式会社 信息处理装置以及信息处理方法
CN106104422A (zh) * 2014-03-31 2016-11-09 奥迪股份公司 手势评估系统、用于手势评估的方法以及车辆
CN106104422B (zh) * 2014-03-31 2019-02-05 奥迪股份公司 手势评估系统、用于手势评估的方法以及车辆
CN103957459A (zh) * 2014-05-15 2014-07-30 北京智谷睿拓技术服务有限公司 播放控制方法及播放控制装置
CN104038836A (zh) * 2014-06-03 2014-09-10 四川长虹电器股份有限公司 电视节目智能推送的方法
CN104065898A (zh) * 2014-06-05 2014-09-24 深圳市九洲电器有限公司 一种电视节目控制方法及装置
CN106658202A (zh) * 2015-10-30 2017-05-10 中国移动通信集团公司 一种触发互动应用的方法和设备
US10511396B2 (en) 2015-10-30 2019-12-17 China Mobile Communications Group Co., Ltd. Method and device for triggering interactive application
CN105852838A (zh) * 2016-03-22 2016-08-17 乐视网信息技术(北京)股份有限公司 一种基于心率测量的多媒体评价方法和终端
CN106131607A (zh) * 2016-07-21 2016-11-16 陈洪国 汽车发动机运行参数检测平台
CN107257509A (zh) * 2017-07-13 2017-10-17 上海斐讯数据通信技术有限公司 一种视频内容的过滤方法及装置
CN107257509B (zh) * 2017-07-13 2020-11-17 浙报融媒体科技(浙江)有限责任公司 一种视频内容的过滤方法及装置
CN107786894A (zh) * 2017-09-29 2018-03-09 维沃移动通信有限公司 一种用户反馈数据的识别方法、移动终端和存储介质
CN108966013A (zh) * 2018-07-26 2018-12-07 北京理工大学 一种基于全景视频的观众反应评估方法及系统

Also Published As

Publication number Publication date
KR100946222B1 (ko) 2010-03-09
EP1449379A1 (en) 2004-08-25
CN1586078B (zh) 2010-05-26
JP4283113B2 (ja) 2009-06-24
JP2005510147A (ja) 2005-04-14
US20030093784A1 (en) 2003-05-15
KR20040054774A (ko) 2004-06-25
WO2003043336A1 (en) 2003-05-22
US8561095B2 (en) 2013-10-15

Similar Documents

Publication Publication Date Title
CN1586078B (zh) 用于评价对广播节目的观众反应的系统和方法
KR101197978B1 (ko) 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법
JP4335642B2 (ja) 視聴者反応情報収集方法と、視聴者反応情報収集システムで用いられるユーザ端末及び視聴者反応情報提供装置と、そのユーザ端末・視聴者反応情報提供装置の実現に用いられる視聴者反応情報作成用プログラム
KR100876300B1 (ko) 사용자의 현재 기분에 기초한 추천들을 생성하기 위한 방법 및 장치
US7698238B2 (en) Emotion controlled system for processing multimedia data
US11632590B2 (en) Computer-implemented system and method for determining attentiveness of user
US7650319B2 (en) Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
EP2276253A2 (en) Method and apparatus for recommending broadcast contents
JP2012524458A (ja) 対話的活動に関するユーザ体験を測定するための方法及びシステム
JP2009140010A (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
WO2002042909A1 (en) Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
CN102292689A (zh) 利用脸部检测和热点运动控制媒体的方法
JP5181640B2 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US9998794B1 (en) Apparatus, systems and methods for provision of contextual content
WO2011031932A1 (en) Media control and analysis based on audience actions and reactions
CN110267109A (zh) 一种健康节目推送方法及装置、机顶盒
KR102401609B1 (ko) 인지강화훈련 게임 제공 장치 및 방법
US20030097268A1 (en) System and method for analyzing and evaluation of human behavior stigmata
JP2014060642A (ja) 表示装置及び表示システム
KR20200135431A (ko) 처리 장치, 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 프로그램
CN112632369A (zh) 一种识别笑声的短视频推荐系统及方法
CN114788295A (zh) 信息处理装置、信息处理方法及信息处理程序
WO2018065916A1 (en) A real time audience measurement and analytics and a method thereof
CN101631258A (zh) 自动监控电视信号收看活动的系统
CN101594550A (zh) 自动监控电视信号收看活动的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: PACE MICRO TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20080801

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20080801

Address after: West Yorkshire

Applicant after: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20081212

Address after: Holland Ian Deho Finn

Applicant after: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Address before: West Yorkshire

Applicant before: KONINKLIJKE PHILIPS ELECTRONICS N.V.

ASS Succession or assignment of patent right

Owner name: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Free format text: FORMER OWNER: PERTH MICRO-TECHNOLOGY CO., LTD.

Effective date: 20081212

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Holland Ian Deho Finn

Patentee after: KONINKLIJKE PHILIPS N.V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180124

Address after: Italy Knowles

Patentee after: S.I.SV.EL SOCIETA' ITALIANA PER LO SVILUPPO DELL'ELETTRONICA S.P.A.

Address before: Holland Ian Deho Finn

Patentee before: KONINKLIJKE PHILIPS N.V.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100526

Termination date: 20201105

CF01 Termination of patent right due to non-payment of annual fee