CN101777340B - 音乐数据的合奏的同步器、自动演奏器乐器和同步方法 - Google Patents

Abstract

提供了音乐数据的合奏的同步器、自动演奏器乐器和同步方法。为了建立同步地用于合奏的自动演奏器钢琴(1)和家庭影院系统(3)，一组重放模式数据(Pa)表示一系列音名，并被独立于音频数据文件和音乐数据文件存储在存储器系统(12)中；当音频信号(Sa)正从重放系统(2)提供到自动演奏器钢琴(1)的同步器(10)时，同步器(10)从音频信号(Sa)提取样值(Sa)，并通过FFT和量化确定一系列音名；将样值的该一系列音名与重放模式数据(Pa)比较，以发现重放模式数据(Pa)的哪部分表示该一系列音名；因为每个样值在极其短的时间段上出现，所以同步器(10)准确地确定经过的时间，并从音乐数据文件中选择要处理的音符事件数据码。

Description

音乐数据的合奏的同步器、自动演奏器乐器和同步方法

技术领域

本发明涉及重放(playback)技术，并且更具体地，涉及用于不同种类的音乐数据的合奏的同步器、配有该同步器的自动演奏器乐器和用于同步的方法。

背景技术

存在各种用于音乐记录的协议。例如，在MIDI(乐器数字接口)协议中定义了例如音符开(note-on)消息和音符关(note-off消息的声音消息(voicemessage)，并且在表演(performance)中产生的音调被表示为声音消息。在音符开数据码中，与音符开事件消息一起定义了要产生的音调的音名和响度，并且在音符关数据码中，定义了音符关事件消息和要衰减(decay)的音调的音名。音符开事件消息和音符关事件消息表示生成音调的指令和衰减音调的指令，并且术语“音符事件数据码”意味着音符开数据码和音符关数据码中的任一个。产生音符事件数据码，以按照实时方式生成电子音调。另外，持续时间数据码表示音符事件数据码和下一音符事件数据码之间的时间间隔。在用于记录表演的信息存储介质中，与音符事件数据码一起存储持续时间数据码。术语“MIDI音乐数据码”意味着音符事件数据码、表示其他声音消息和系统消息的数据码、以及持续时间数据码。

在信息存储介质中将表演记录为音频数据码。音频数据码表示在表演中产生的模拟音频信号上的离散值，并且在红皮书(Red book)中被定义。

用户希望在配有MIDI数据码生成器的乐器上记录他们的表演，以及从诸如DVD(数字多用盘)的信息存储介质中的音频数据码进行重放。

在日本专利申请特开No.2001-307428中公开了现有技术的记录技术。根据该日本专利申请特开，通过16DPSK(差分相移键控)，利用MIDI音乐数据码将载波信号调制为模拟准音频信号，并且通过短语码调制(phrase codemodulation)，将准模拟音频信号转换为准音频数据码。DVD的一声道(channel)被分配给准音频数据码，而另一声道被分配给音频数据码。当用户在与通过音频数据码的重放合奏的情况下、正在配有MIDI数据码生成器的乐器上表演部分音乐曲调时，MIDI音乐数据码和音频数据码均被传送给记录器，并且，分别在不同的声道中存储准音频数据码和音频数据码。

在现有技术的记录技术中遇到一个问题，即，该DVD被内容供应商排它地准备用于合奏的重放。DVD的准备对于内容供应商而言是复杂的。

发明内容

因而，本发明的一个重要目的是提供一种同步器，其使得一种音乐数据的重放与在市场上销售的另一种音乐数据的重放同步，而无需对任一种音乐数据的修改。

本发明的另一重要目的是提供配有该同步器的自动演奏器乐器。

本发明的另一重要目的是提供一种方法，通过该方法，同步器使重放彼此同步。

为实现该目的，本发明提出了通过使用各自在时间段(time period)上出现的声音特征，来确定准确的经过时间，其中以比经过时间信号的时间单位短的时间单位来确定所述时间段。

根据本发明的一个方面，提供了一种同步器，用于从音频信号产生声音的声音生成系统和基于音乐数据码产生音调的自动演奏器乐器之间的合奏，包括：用于从声音的生成的开始起经过的时间的测量器，其中以一时间单位确定所述经过的时间；以及存储器系统，其存储至少表示音调的音高的音乐数据码，以及表示与经过的时间有关的声音的已准备的特征的重放模式数据码，每个已准备的特征在按比时间单位短的另一时间单位确定的时间段上出现，同步器还包括特征提取器，从音频信号提取声音的实际特征，每个实际特征在该时间段上出现，同步器还包括指示器，连接到存储器系统和特征提取器，比较实际特征和已准备的特征以便确定与实际特征的群组一致的已准备的特征的群组，并基于已准备的特征的群组确定按前述另一时间单位的从开始起准确的经过的时间，以及指定器，连接到存储器系统和指示器，并指定表示要与声音一起及时产生的音调的至少一个音乐数据码，以将前述至少一个音乐数据码提供给自动演奏器乐器。

根据本发明的另一方面，提供了一种在与声音生成系统的合奏中表演音乐曲调的自动演奏器乐器，包括：原声乐器，包括被移动用于指定要产生的音调的音高的多个操纵器，以及连接到多个操纵器并以所指定的音高产生音调的音调生成器；自动演奏系统，分析至少表示音调的音高的音乐数据码，以选择性地使得多个操纵器移动而无需人类演奏者的任何弹奏；以及同步器，用于从音频信号产生声音的声音生成系统和通过自动演奏系统的原声乐器之间的合奏，同步器包括：测量器，用于按时间单位确定的从声音的生成的开始起经过的时间；以及存储器系统，存储音乐数据码和表示与经过的时间有关的声音的已准备的特征的重放模式数据码，并且每个已准备的特征在按比时间单位短的另一时间单位确定的时间段上出现，同步器还包括特征提取器，从音频信号提取声音的实际特征，每个实际特征在时间段上出现，并且同步器还包括指示器，连接到存储器系统和特征提取器，比较实际特征和已准备的特征以便确定与实际特征的群组一致的已准备的特征的群组，并基于已准备的特征的群组确定按另一时间单位的从开始起准确的经过的时间，以及指定器，连接到存储器系统和指示器，并指定表示要与声音一起及时产生的音调的至少一个音乐数据码，以将前述至少一个音乐数据码提供给自动演奏器乐器。

根据本发明的再一方面，提供了一种使声音生成系统和自动演奏器乐器的合奏同步方法，包括如下步骤：a)准备表示与按时间单位确定的经过的时间有关的声音的已准备的特征的重放模式数据码，每个已准备的特征在按比时间单位短的另一时间单位确定的时间段上出现；b)从音频信号提取声音的实际特征，每个实际特征在时间段上出现；c)比较实际特征和已准备的特征以便确定与实际特征的群组一致的已准备的特征的群组；d)基于已准备的特征的群组确定按前述另一时间单位的从开始起准确的经过的时间；e)基于已准备的特征的群组指定要处理的用于与通过声音生成系统生成的声音一起生成音调的至少一个音乐数据码；以及f)将至少一个音乐数据码提供给自动演奏器乐器。

附图说明

根据结合附图的以下描述，将更清楚地理解同步器、自动演奏器乐器和方法的特征和优点，附图中

图1是示出本发明的自动演奏器钢琴的系统配置的框图，

图2是示出自动演奏器钢琴的结构的截面侧视图，

图3是示出重放模式数据的数据结构的视图，

图4是示出在自动演奏器钢琴中并入的同步器的功能的框图，

图5A至图5C是示出在执行用于同步的子例程程序时实现的作业序列的流程图，

图6是示出本发明的另一自动演奏器钢琴的系统配置的框图，

图7A和图7B是示出在自动演奏器钢琴中执行的主例程程序的作业的流程图，

图8是示出本发明的再一自动演奏器钢琴的系统配置的框图，

图9是示出本发明的另一自动演奏器钢琴的系统配置的框图，以及

图10是示出样值(sample)和记录数据组之间的关系的视图。

具体实施方式

实施本发明的合奏系统大体上包括彼此连接的自动演奏器乐器和声音生成系统。声音生成系统从音频数据码产生音频信号，并从音频信号生成声音。自动演奏器乐器基于音乐数据码表演音乐曲调，而无需人类演奏者的任何弹奏。为了使声音生成系统和自动演奏器乐器的合奏建立同步，声音生成系统将音频信号提供给自动演奏器乐器。

自动演奏器乐器大体上包括原声乐器、自动演奏系统和同步器。原声乐器由自动演奏系统演奏，并且，同步器使得自动演奏系统的表演与通过声音生成系统的声音生成相同步，以进行良好的合奏。

原声乐器包括多个操纵器和音调生成系统。人类演奏者或自动演奏系统选择性地移动操纵器，以指定要产生的音调的音高。多个操纵器被连接到音调生成器，而音调生成器以所指定的音高产生音调。

自动演奏系统顺序地分析音乐数据码，并选择性地使得多个操纵器移动。为此，原声乐器产生音调而无需人类演奏者的任何弹奏。

同步器包括测量器(measure)、存储器系统、特征提取器、指示器(pointer)和指定器。在该例子中，通过执行计算机程序来实现测量器、特征提取器、指示器和指定器。

测量器指示和更新按时间单位确定的、从声音的生成的开始起经过的时间。存储器系统存储音乐数据码和重放模式数据码，并且，重放模式数据码表示与经过的时间有关的声音的已准备的特征。每个已准备的特征在按比该时间单位短的另一时间单位确定的时间段上出现。

特征提取器从音频信号提取声音的实际特征，并且，每个实际特征也在该时间段上出现。指示器连接到存储器系统和特征提取器，并比较实际特征和已准备的特征，以便确定与实际特征的群组一致的已准备的特征的群组。指示器基于已准备的特征的群组，按前述另一时间单位确定从开始起准确的经过的时间。指定器连接到存储器系统和指示器，并指定表示要与声音一起及时产生的音调的至少一个音乐数据码。前述至少一个音乐数据码被从指定器提供给自动演奏系统。借助于准确的经过的时间，指定器能够在准确的定时，将所述至少一个音乐数据码提供给自动演奏系统，从而自动演奏系统和声音生成系统以良好的合奏产生声音和音调。

重放模式数据码是独立于音乐数据码和音频数据码而为同步准备的。为此，用于存储音频数据码的信息存储介质可用于合奏而无需任何修改。用于存储音乐数据码的信息存储介质也可用于合奏。

同步器通过方法实现作业，并且该方法包括：a)准备重放模式数据码，重放模式数据码表示与按时间单位确定的经过的时间有关的声音的已准备的特征，每个已准备的特征在按比该时间单位短的另一时间单位确定的时间段上出现；b)从音频信号提取声音的实际特征，每个实际特征在时间段上出现；c)比较实际特征和已准备的特征，以便确定与实际特征的群组一致的已准备的特征的群组；d)基于已准备的特征的群组，按前述另一时间单位确定从开始起准确的经过的时间；e)基于已准备的特征的群组，指定要处理的用于与通过声音生成系统生成的声音一起生成音调的至少一个音乐数据码；以及f)将至少一个音乐数据码提供给自动演奏器乐器。

第一实施例

首先参照附图的图1，实施本发明的自动演奏器钢琴1连接到重放系统2，重放系统2随之连接到家庭影院系统3。多组视频数据码和多组音频数据码被存储在DVD D1中，并且根据MPEG(运动画面编码专家组)协议被准备。多组音频数据码形成多个音频数据文件，而多组视频数据码形成多个视频数据文件。音频数据文件和视频数据文件都被称为“内容数据文件”。

多组音频数据码的每一组或音频数据文件表示声音，并且声音可包含多个音调。多组音频数据码的每一组表示一组音频数据，并且该组音频数据伴有标识数据。为此，利用标识数据指定音频数据码组或音频数据组。例如，标识数据表示内容的标题和/或轨道数和/或读出每个轨道时花费的时间段。

当正在从DVD D1读出一组音频数据码和一组视频数据码时，代表所读出的音频数据码的音频信号Sa和代表视频数据码的视频信号Sb从重放系统2被提供到家庭影院系统3。当重放系统2开始读出该组音频数据码时，代表标识数据的标识信号Pin被提供给自动演奏器钢琴1。此后，音频信号Sa和经过时间信号(lapsed time signal)Tc从重放系统2被提供到自动演奏器钢琴1。经过时间信号Tc粗略地表示从开始重放起经过的时间，而对于家庭影院3和自动演奏器钢琴1之间的同步的目的，该经过的时间不太可靠。经过时间信号Tc的单位是秒。

家庭影院系统3包括面板显示器、视听放大器和扬声器，并根据视频信号Sb在面板显示器上产生画面，以及根据音频信号Sa通过扬声器产生声音。各种家庭影院系统在市场上销售，并且是本领域技术人员所公知的。为此，为了简明起见，后面不加入进一步的描述。

自动演奏器钢琴1大体上包括同步器10、存储器系统12、自动演奏系统20a和原声钢琴20b。同步器10、存储器系统12和自动演奏系统20a被安装在原声钢琴20b中，并且，在同步器10和自动演奏系统20a之间共享存储器系统12。

原声钢琴20b分为键盘22和机械音调生成器23。键盘22包括黑键22a和白键22b，并且，黑键22a和白键22b按已知方式铺设。音阶的音名被分别分配给黑/白键22a和22b，并且音名被分别分配了音符号。黑键22a和白键22b被选择性地按下或释放，以指定要产生的音调和要衰减的音调。黑键22a和白键22b连接到机械音调生成器23。按下的键22a和22b启动(activate)机械音调生成器23，以便以所指定的音高产生音调，而释放的键22a和22b停用(deactivate)机械音调生成器23以衰减音调。

自动演奏系统20a在原声钢琴20b上重演表演，而无需人类演奏者的任何弹奏，并且，包括自动演奏器21和电磁控制的键致动器5。电磁控制的键致动器5分别与黑/白键22a和22b相关联。自动演奏器21使得电磁控制的键致动器5选择性地被激励，并且，被自动演奏器21激励的电磁控制的键致动器5移动相关联的黑/白键22a和22b，以便启动和停用机械音调生成器23。

同步器10连接到重放系统2，使得标识信号Pin、经过时间信号Tc和音频信号Sa到达同步器10。在此例子中，一组音乐数据表示自动演奏系统20a的表演，并且音乐数据根据MIDI(乐器数字接口)协议被编码。

如本领域技术人员公知的，音乐数据被提供给配有MIDI音调生成器的乐器作为声音消息。声音消息的典型例子包括用于生成音调的音符开消息，声音消息的另一例子是用于衰减音调的音符关消息。前面结合相关技术描述了这些声音消息、音符事件数据码Sc和持续时间数据码。一组MIDI音乐数据码Sc表示音乐曲调的一组音乐数据，并且被存储在音乐数据文件中。在自动演奏器钢琴1内准备多个音乐数据文件。

为了使得自动演奏器钢琴1上的自动表演与通过家庭影院系统3的重放同步，有必要及时将MIDI音乐数据码Sc提供给自动演奏系统20a。

重放模式数据Pa被提供用于同步，并包含记录数据。如下文将详细描述的，每组重放模式数据Pa是通过对音频信号Sa采样、对样值进行FFT(有限傅立叶变换)并量化而准备的。该组重放模式数据Pa包含多个重放子模式。多个重放子模式表示记录数据。经过时间信号Tc表示的单位时间等于预定数目的重放子模式，从而每个重放子模式等于比经过时间信号Tc所表示的时间短得多的时间段。由此，通过使用重放子模式作为单位，准确地确定经过的时间。在此例子中，对重放模式数据Pa的采样频率是44.1kHz。

多个重放子模式分别表示从该组音频数据码再现的声音的特征。多组重放模式数据Pa与相关联的音乐数据文件一起被存储在存储器系统12中。同步器10从音频信号Sa提取再现的声音的特征，并将每个所提取的特征与重放子模式所表示的特征进行比较，以查看哪个特征与所提取的特征一致。当同步器10发现与所提取的特征一致的特征时，同步器10基于与所提取的特征匹配的重放子模式在该组重放模式数据中的位置，确定准确的经过时间，其比经过时间信号Tc表示的时间准确得多。当确定了准确的经过时间时，同步器10基于音乐数据文件中的持续时间数据码，指定要传送的一个或多个事件数据码。由此，同步器10以准确的经过时间来指定要处理的一个或多个事件数据码，从而，一个或多个事件数据码被及时地提供给自动演奏器21。自动演奏器21处理音符事件数据码，以进行自动表演。

重放模式数据Pa是独立于DVD和CD准备的。借助于重放模式数据Pa，不必为了家庭影院系统3和自动演奏器钢琴1之间的合奏而向市场上销售的DVD和CD中存储的音频数据码添加任何数据。

当重放系统2正在向家庭影院系统3和同步器10提供音频信号Sa时，同步器10连续地从音频信号Sa提取再现的声音的特征，并将所提取的特征与重放子模式所表示的特征进行比较，以查看哪个特征与所提取的特征一致。

假设所提取的特征与重放模式数据Pa所表示的特征之一一致。同步器10指定相关联的音符事件数据码，并且，相关联的音符事件数据码被传送给自动演奏系统20a。当一个或多个音符事件数据码被传送给自动演奏系统20a时，自动演奏系统20a将下一持续时间数据码所表示的时间段设置到定时器中，并且开始使定时器倒计时。持续时间数据码所表示的时间段到期。然后，自动演奏系统20a从存储器系统12取得下一音符事件数据码，并分析该下一音符事件数据码，以进行自动表演。由此，自动演奏系统20a间歇性地处理音符事件数据码，直到提取下一特征为止。

当同步器10发现下一提取的特征与另一特征一致时，同步器10指定相关联的音符事件数据码，并且，相关联的音符事件数据码被传送给自动演奏系统20a。当指定了相关联的音符事件数据码时，假设由持续时间数据码表示的时间段还未到期，自动演奏系统20a将用于持续时间数据码的定时器强制重置为零，从而通过自动演奏系统20a立即处理音符事件数据码。

相反，假设由持续时间数据码表示的时间段在指定相关联的音符事件数据码之前已经到期。自动演奏系统20a将下一持续时间数据码所表示的时间段延长指定相关联的音符事件数据码的时间与处理相关联的音符事件数据码的时间之间的差。结果，预期将及时处理下一音符事件。

如从以上描述将理解的，同步器10利用通过所提取的特征和重放子模式所表示的特征之间的比较而确定的准确的经过时间，周期性地设置持续时间数据码的累积值。结果，自动演奏器钢琴1与家庭影院系统3良好同步地重演表演。

下面对原声钢琴20b、自动演奏系统20a和同步器10详细进行描述。

原声钢琴

转到附图的图2，机械音调生成器23包括琴槌2、动作单元3、弦4、制音器6和踏瓣机构(未示出)。琴槌2分别与黑/白键22a和22b相关联，并且在黑/白键22a和22b和琴槌2之间提供动作单元3。弦4分别与琴槌2相关联，并且，分别在黑/白键22a和22b和弦4之间提供制音器6。

如前所述，黑键22a和白键22b被并入键盘22中，并且，在此例子中键22a和22b的总数是88。88个键22b和22b被排列在横向方向上，其与相对于绘出图2的纸面的垂直方向平行。

黑键22a和白键22b具有各自的平衡钉(balance pin)P和各自的绞盘螺钉(capstan screw)C。平衡钉P从支点板(balance rail)B(其在钢琴箱体的键座(keybed)1f上横向延伸通过键22a和22b的中间部分)向上伸出，并向相关联的键22a和22b提供支点。当键22a和22b的前部被按下时，键22a和22b的前部围绕支点板B旋转并下沉。另一方面，键22a和22b的后部上升。当人类演奏者或自动演奏器21从键22a和22b移除力时，键22a和22b的前部移动，以与键座1f隔开最长的距离，并且键22a和22b到达停止位置(rest position)。另一方面，当人类演奏者或自动演奏器21对键22a和22b施力时，键22a和22b的前部沿相反方向移动，并且键22a和22b到达末端位置(end position)。术语“按下的键”意味着向着末端位置移动的键22a和22b，并且，术语“释放的键”意味着向着停止位置移动的键22a和22b。

琴槌2被布置在横向方向上，并且由弦槌总档(hammer flange rail)2a可旋转地支撑，弦槌总档2a又由动作托架2b支撑。动作托架2b位于(stand on)键座1f上，并使琴槌2保持在相关联的黑键22a的后部和相关联的白键22b的后部上方。

分别在键22a和22b以及琴槌2之间提供动作单元3，其由联动器挡(whippen rail)3a可旋转地支撑。联动器档3a在黑键22a的后部和白键22b的后部上方横向延伸，并且由动作托架2b支撑。动作单元3保持与相关联的键22a和22b的绞盘螺钉C接触，从而按下的键22a和22b使得相关联的动作单元3围绕联动器挡3a旋转。当动作单元3围绕联动器挡3a旋转时，旋转的动作单元3强制相关联的琴槌2旋转，直到动作单元3和琴槌2之间脱离为止。当动作单元3从相关联的琴槌2脱离时，琴槌2开始向着相关联的弦4自由旋转。动作单元3的具体行为与标准大钢琴的相同，为此，为了简明起见，不加入进一步的描述。

弦4在相关联的琴槌2上方被拉伸，并且被设计为以彼此不同的音高产生声音音调(acoustic tone)。琴槌2在自由旋转的终点处与相关联的弦4碰撞，并通过碰撞使得相关联的弦4振动。

声音音调的响度与刚好在碰撞之前的最终琴槌速度成比例，且所述最终琴槌速度与基准点上的键速度成比例，该基准点是键22a和22b的轨迹上的特定键位置。下文中将基准点处的键速度称为“基准键速度”。在标准表演中，人类演奏者将施加到键22a和22b上的指力调节为合适的值，以便向键22a和22b赋予基准键速度。类似地，在自动表演中，自动演奏器21将施加到键22a和22b上的电磁力调节为合适的值，以便向键22a和22b赋予基准键速度。

制音器6连接到相关联的键22a和22b的最后部，并且与相关联的弦4分开及接触。当相关联的键22a和22b停留在停止位置时，键22a和22b的最后部不在向上的方向上对制音器6施加任何力，从而制音器6保持与相关联的弦4接触。制音器6不允许弦4振动。当人类演奏者或自动演奏器21按下键22a和22b时，键22a和22b的最后部在向着末端位置的途中，开始向相关联的制音器6施力，此后，使得制音器6与相关联的弦4分开。当制音器6与相关联的弦4分开时，弦4准备好振动。在制音器6已经与弦4分开之后，琴槌2与弦4碰撞。通过弦4的振动产生声音音调。当人类演奏者或自动演奏器21释放按下的键22a和22b时，释放的键22a和22b开始向着停止位置移动，并且制音器6由于制音器6的自重而在向下的方向上移动。制音器6在向着停止位置的途中与弦4接触，并且使得弦4的振动、以及由此的声音音调衰减。

自动演奏系统

自动演奏器21和电磁控制的键致动器5组合形成前述自动演奏系统20a。电磁控制的键致动器5的阵列由键座1f支撑，并且电磁控制的键致动器5在黑/白键22a和22b的后部下方的键座1f中形成的槽中以交错方式横向布置。电磁控制的键致动器5分别与黑/白键22a和22b相关联，用于移动相关联的键22a和22b，而无需人类演奏者的弹奏，并且并行连接到自动演奏器21。

每个电磁控制的键致动器5包括柱塞(plunger)5A、螺线管5B和内置柱塞传感器5C。驱动信号DR被选择性地从自动演奏器21提供给电磁控制的键致动器5的螺线管5B，并且，螺线管5B将驱动信号DR转换为电磁场。柱塞5A被提供在螺线管5B内部，并且通过电磁场对柱塞5A施加电磁力。电磁力使得柱塞5A在向上的方向上伸出，并且柱塞5A推动相关联的键22a和22b的后部。结果，黑/白键22a和22b向着末端位置行进。当从螺线管5B移除驱动信号DR时，电磁场消失，并且柱塞5A缩回到螺线管5B中。结果，键22a和22b返回到停止位置。

内置柱塞传感器5C监视相关联的柱塞5A，以便产生反馈信号FB。反馈信号FB代表柱塞5A的速度，并且从内置柱塞传感器5C被提供给自动演奏器21。

自动演奏器21包括信息处理系统21a和螺线管驱动器21b。与同步器10共享信息处理系统21a，因而下文中结合同步器10描述信息处理系统21a的系统配置。

螺线管驱动器21b连接到信息处理系统21a，并且具有脉宽调制器。螺线管驱动器21b具有多个信号输出端，它们并行连接到螺线管5B，从而将驱动信号DR选择性地提供给螺线管5B。螺线管驱动器21b将驱动信号DR的占空比或平均电流量调节为合适的值，从而自动演奏器21通过改变驱动信号DR的平均电流量来向黑键22a和白键22b赋予基准键速度。

计算机程序在信息处理系统21a上运行，并分为主例程程序和子例程程序。信息处理系统21a具有定时器，并且主例程程序通过定时器中断分支到子例程程序。子例程程序之一被分配给自动演奏，另一子例程程序被分配给同步。在下文中结合同步器10描述用于同步的主例程程序和子例程程序，并且下面的描述针对于用于同步的子例程程序。

用于自动演奏的子例程程序实现被称为图2所示的预数据处理器21c、运动控制器21d和伺服控制器21e的功能。下面详细描述预数据处理器21c、运动控制器21d和伺服控制器21e。

对于所有的自动演奏器钢琴，规范化音乐数据码。然而，原声钢琴20b和电磁控制的键致动器5的组成部分具有个体性。为此，音乐数据码必须个体化。分配给预数据处理器21c的作业之一是个体化。分配给预数据处理器21c的另一作业是选择对于接下来的一个或多个音符事件Sc要处理的一个或多个音符事件数据码Sc。预数据处理器21c周期性地检查被分配为测量经过时间的计数器，以查看要处理哪个或哪些音符事件数据码Sc。当预数据处理器21c发现要处理的一个或多个音符事件数据码Sc时，预数据处理器21c将要处理的一个或多个音符事件数据码Sc传送给运动控制器21d。

运动控制器21d分析音符事件数据码Sc，以指定要按下或释放的键22a和22b。运动控制器21d还针对基准正向键轨迹和基准反向键轨迹分析一个或多个音符事件数据码和持续时间数据码。基准正向键轨迹和基准反向键轨迹两者被简称为“基准键轨迹”。

基准正向键轨迹是按下的键22a或22b的随时间变化的目标键位置的一系列值。按照如下方式确定基准正向键轨迹：按下的键22a和22b以基准键速度的目标值经过各个基准点，以便对相关联的琴槌2给予最终琴槌速度的目标值。对于在基准正向键轨迹上行进的按下的键22a和22b而言，相关联的琴槌在目标时间以最终琴槌速度与弦4碰撞，以生成声音音调。

基准反向键轨迹也是关于释放的键22a或22b随时间变化的目标键位置的一系列值。按照如下方式确定基准反向键轨迹：释放的键22a和22b在衰减声音音调的时刻，使得相关联的制音器6与振动的弦4接触。基准正向键轨迹和基准反向键轨迹是本领域技术人员所公知的，为此，为简明起见，下文中不加入进一步的描述。

当要使得键22a和22b在基准键轨迹上行进的时刻到来时，运动控制器21d向伺服控制器21e提供目标键位置的第一值。运动控制器21d周期性地继续向伺服控制器21e提供目标键位置的其他值，直到键22a和22b到达基准键轨迹的终点为止。反馈信号FB表示实际柱塞速度，即，实际键速度，并且由伺服控制器21e对于在基准键轨迹上行进的每个键22a和22b周期性地取出。伺服控制器21e基于实际键速度的系列值确定实际键位置。伺服控制器21e还基于目标键位置的系列值确定目标键速度。伺服控制器21e计算实际键速度和目标键速度之间的差、以及实际键位置和目标键位置之间的差，并将驱动信号DR的平均电流量调节为合适的值以最小化这些差。周期性地执行上述作业。结果，强迫键22a和22b在基准键轨迹上行进。

假设在自动表演中按下键22a和22b之一。运动控制器21d确定键22a或22b的基准正向键轨迹，并向伺服控制器21e通知该基准正向键轨迹。伺服控制器21e确定平均电流量的初始值，并将驱动信号DR调整为平均电流量。驱动信号DR被提供给电磁控制的键致动器5，并建立围绕柱塞5A的电磁场。柱塞5A在向上的方向上伸出，并推动相关联的键22a或22b的后部。在小量的时间间隔之后，伺服控制器21e确定目标柱塞速度和实际柱塞位置，并计算实际键位置和目标键位置之间的差、及实际键速度和目标键速度之间的差。如果存在一个或多个差，则伺服控制器21e增加或减少平均电流量。

伺服控制器21e周期性地对键22a或22b执行上述作业，直到键22a或22b到达基准正向键轨迹的终点为止。结果，强迫键22a或22b在基准正向键轨迹上行进，并使得相关联的琴槌2在要生成目标响度的声音音调的时刻，与弦4碰撞。

如果要释放按下的键22a或22b，则运动控制器21d确定要释放的键22a或22b的基准反向键轨迹，并向伺服控制器21e通知基准反向键轨迹。伺服控制器21e控制平均电流量，并使得制音器6在要衰减音调的时刻与振动的弦4接触。

同步器的系统配置

转回图1，例示了同步器10的系统配置。同步器10包括信息处理器11、输入装置13、信号接口14、显示板15和总线系统16。在自动演奏器21和同步器10之间共享信息处理器11、输入装置13、显示板15和总线系统16。

尽管图中未示出，但信息处理器11包括微处理器、程序存储器、工作存储器、信号接口、其他外围电路器件和共享总线系统，并且，微处理器、程序存储器、工作存储器、信号接口和其他外围电路器件连接到共享总线系统，以便相互通信。微处理器充当CPU(中央处理单元)，并且，程序存储器和工作存储器通过诸如ROM(只读存储器)器件和RAM(随机存取存储器)器件之类的合适的半导体存储器件实现。计算机程序被存储在程序存储器中，并且由微处理器顺序地取出计算机程序的指令代码，以便实现预定作业。

存储器系统12具有大数据保存容量。在此例子中，存储器系统12由硬盘单元实现。计算机程序可被存储在存储器系统12中。在此例子中，在同步器10被加电后，计算机程序从存储器系统12被传送到程序存储器。

多个音乐数据文件被存储在存储器系统12中，并且分别用选择数据Se标记。如前所述，用表示标识数据的标识数据码标记音频数据文件。在选择数据码和标识数据码之间共享重要的信息，如音乐曲调的标题，从而可通过用音乐数据文件标记的选择数据码和用音频数据文件标记的标识数据码之间的比较，来选择与音频数据文件之一有关的每个音乐数据文件。

多组重放模式数据Pa还被存储在存储器系统12中，并且分别用选择数据码标记。为此，每组重放模式数据Pa可与相关联的音乐数据文件一起，通过被分配给音频数据文件的标识数据Pin和选择数据Se之间的比较来被选择。多个记录数据组形成该组重放模式数据Pa，并且充当重放子模式。经过时间信号Tc的单位时间等于预定数目的记录数据组，从而每个记录数据组等于比经过时间信号Tc所表示的单位时间短得多的时间段。

当同步器10发现与从音频信号Sa提取的声音的特征一致的记录数据组之一的特征时，同步器10指定记录数据组在该组重放模式数据Pa中的位置，并通过向经过时间信号Tc所表示的经过的时间添加等于所指定的记录数据组的时间段，准确地确定准确的经过时间。

可考虑在从重放系统2到同步器10的信号传播、以及同步器10中的数据处理中消耗的时间段，来调节准确的经过时间。具体地，当同步器10发现与所提取的特征一致的特征时，重放系统2向家庭影院系统3提供代表还未在同步器中处理的声音的音频信号Sa。为此，自动演奏系统20a必须处理位于比所提取的特征提前在信号传播和数据处理中消耗的时间段的特征有关的一个或多个音符事件码。同步器10将准确的经过时间延长在信号传播和数据处理中消耗的时间段。如下使用如此延长的准确的经过时间Ta，以确定事件数据码。

同步器10累积由持续时间数据码表示的时间段，并比较所累积的值和准确的经过时间。当发现所累积的时间段的值等于准确的经过时间时，同步器10指定要处理的一个或多个音符事件码，并且，所述一个或多个音符事件码被传送给自动演奏器21。

图3示出了多组重放模式数据Pa之一的数据结构。多组重放模式数据Pa已经通过采样、对从与音频信号Sa一致的音频信号中提取的样值进行FFT、以及量化，而在重放音乐数据文件之前准备好。如前所述，多组重放模式数据Pa分别与多个音乐数据文件相关。多个重放模式数据Pa的每一组被分为多个记录数据组，并且，多个记录数据组被编号为0、1、2、...、k...。经过时间信号Tc的值与多个记录数据组中所选记录数据组的有关。为此，用经过时间信号Tc指定多个记录数据组中所选的记录数据组。

每个记录数据组表示从与通过重放系统2产生的音频信号Sa一致的音频信号中取得的512个样值，并且代表通过对8192个样值进行FFT(有限傅立叶变换)和量化而确定的声音的特征。

以44.1kHz执行采样，从而512个样值相当于12毫秒。例如，用数字“0”标记的记录数据组表示512个样值(即，通过对样值0至8191进行FFT和量化而给出的样值0至511)的特征，而用数字“1”标记的记录数据组表示接下来的512个样值(即，通过对样值512至8703进行FFT和量化而给出的样值512至1023)的特征。

记录数据组具有对应于在通过FFT确定的频谱中的8个较高峰值的8个记录数据码，并且从具有等于或大于最高峰值的25％的值的峰值组中选择这8个较高峰值。8个较高值在8个频率值处出现，并且8个频率值被量化或近似为最接近的音符号。例如，当峰值在440Hz处出现时，该峰值被映射到表示A4的音符号“69”。即使在446Hz处发现峰值，446Hz的频率也最接近A4的频率，从而将峰值映射到音符号“69”。由此，由每个记录数据组表示的声音的特征意味着一系列音名，即，在相当于8192个样值(即，512个样值后面跟随有7680个样值)的预定时间段中产生的一系列音符号。

在图3中，“n(x，y)”表示每个记录数据码，而“n”、“x”和“y”表示最接近的音符号、分配给记录数据组的编号和峰值号(peak number)。以音高的升序排列每个记录数据组的记录数据码，例如，n(x，0)＝A2、n(x，1)＝A3、n(x，3)＝C3、...、n(x，7)＝F5。

输入装置13是人机接口，通过其，用户向信息处理器11给出指令和选项，并且，例如由键盘、鼠标和开关实现输入装置13。触摸板用与显示板15的图像产生表面重叠的透明开关形成。当用户给出他或她的指令时，他或她在表示指令的视觉图像上用指按压触摸板，信息处理器11指定所按压的区域，并且确定给出的指令。

例如，显示板15由液晶显示板实现。当主例程程序正在信息处理器11上运行时，信息处理器11产生表示作业菜单、选项列表、已在存储器系统12中存储的音乐曲调的标题列表、以及提示消息的视觉图像。信息处理器11还基于通过信号接口14从重放系统2提供的控制信号来产生视觉图像。

信号接口14包括多个信号输入端和采样器14a。多个信号输入端中所选的信号输入端被分别分配给音频信号Sa和标识信号Pin/经过时间信号Tc。采样器14a以44.1kHz对音频信号Sa进行采样，并且，从音频信号Sa提取的样值被从采样器14a传送到信息处理器11的工作存储器。

同步器的功能

转到附图的图4，当用于同步的子例程程序正在信息处理器11上运行时，多个功能通过执行而实现，并且被称为数据获取器110、选择器120、音频数据累积器130、特征提取器140、比较器150和音乐数据读取器160。特征提取器140包括有限傅立叶变换器140a和量化器140b。

数据获取器110连接到信号接口14，并又连接到比较器150，并从信号接口14接收标识信号Pin和经过时间信号Tc。如前所述，标识数据在标识信号Pin上携带，并表示音频数据文件的标题等。标识信号Pin在重放之前到达信号接口14，从而数据获取器110在开始重放之前获取标识数据。

数据获取器110还连接到选择器120，选择器120又连接到比较器150和音乐数据读取器160。标识数据在开始重放前从数据获取器110被传送到选择器120，并且选择器120比较标识数据和用均在存储器系统12中存储的多组重放模式数据Pa和音乐数据文件标记的选择数据Se，以查看哪个选择数据表示与标识数据的标题相同的标题。当选择器120发现选择数据Se时，选择器120向比较器150和音乐数据读取器160通知该选择数据Se。比较器150用选择数据Se指定一组重放模式数据Pa，并且音乐数据读取器160还指定用表示选择数据Se的选择数据码标记的音乐数据文件。由此，在开始重放之前，为了与自动演奏器钢琴1合奏而准备了与重放系统2中的音频数据文件相对应的一组重放模式数据Pa和音乐数据文件。

另一方面，在开始重放后，将经过时间信号Tc周期性地从重放系统2提供到信号接口14。为此，数据获取器110周期性地接收时间数据，该时间数据表示在重放期间、从开始重放起所经过的时间。时间数据被从数据获取器110提供到比较器150。

如前所述，音频信号Sa经过44.1kHz的采样，从而样值Sa’被连续传送到音频数据累积器130。在音频数据累积器130中累积样值Sa’。

在样值Sa’是以44.1kHz被采样的情况下，无需对样值Sa’进行任何数据转换。另一方面，如果以不同于44.1kHz的采样频率提取样值，则音频数据累积器130将样值转换为样值Sa’，好像样值就是以44.1kHz提取的。由此，样值Sa’的采样频率等于重放模式数据Pa的采样频率。

特征提取器140连接到音频数据累积器130，并且，所累积的样值Sa’被连续地从数据累积器130提供给特征提取器140。特征提取器140对相当于186毫秒的每8192个样值Sa’执行FFT，以便产生所获取的模式数据Ps。按照类似于重放模式数据Pa的方式产生所获取的模式数据Ps，并且多个所获取的记录数据组被合并到所获取的模式数据Ps中。记录号还被分别分配给所获取的记录数据组，并且，表示数据获取时间Ta。每个记录数据组的记录数据码表示由8192个样值Sa’表示的声音的实际特征。在此例子中，特征提取器140取得相当于2秒的样值Sa’，从而所获取的记录数据组表示在2秒中产生的声音的特征。

特征提取器140连接到比较器15，比较器15又连接到存储器系统12。选择信号Se在开始重放之前已经被提供给比较器150，以便选择多组重放模式数据Pa之一。因为经过时间信号Tc被提供给比较器150，所以，预定数目的记录数据组被周期性地从存储器系统12读出到比较器150。在此例子中，当用经过时间信号Tc所表示的特定时间指定记录数据组之一时，相当于在该特定时间之前2秒的记录数据组和相当于在该特定时间之后2秒的记录数据组与用该特定时间指定的记录数据组一起从存储器系统12读出到比较器150。由此，相当于2秒的所获取的记录数据组和相当于4秒的所读出的记录数据组被传送到比较器150。

比较器150包括选择器150a、相似度分析器150b和确定器150c。选择器150a准备所获取的记录数据组和所读出的记录数据组的组合。相似度分析器150b比较所获取的记录数据组和所读出的记录数据组，以查看哪个所获取的记录数据组与所读出的记录数据组一致。当确定器150c发现记录数据组的特征与所获取的记录数据组的所提取特征一致时，比较器150确定记录数据组在与经过时间信号Tc有关的预定记录数据组中的位置。因为记录数据组的编号“n”从开始重放起递增，所以，从开始重放起经过的时间被表示为(n×512×Tsamp)，其中，Tsamp相当于1/44100秒的采样周期。最后，同步器10向从开始重放起经过的时间添加在数据处理和信号传播中消耗的时间段，并确定准确的经过时间Ta。在发现用记录号n标记的记录数据组与所提取的记录数据组一致的情况下，准确的经过时间Ta被表示为(n×512×Tsamp)+Tx，其中Tx是在信号传播和信号处理中消耗的时间段。

下文描述如何使得所提取的特征与记录数据组所表示的特征之一一致。所提取的记录数据组Ps(m)(m＝0，1，...，M-1)的特征和记录数据组Pa(n)(n＝0，1，...，N-1)所表示的特征之间的相似度DP(t)被给出为

DP(t)＝∏D(Pa(t)，Ps(j)){j＝1....M-1}    ......等式1

其中M是相当于2秒的记录数据组的数目，N是相当于4秒的记录数据组的数目，Pa(t)表示重放模式数据Pa的记录数据组，t是从开始重放起经过的时间，而Ps(j)表示所提取的模式数据Ps的记录数据组。“n＝0”不表示记录号，而是指从存储器系统12读出的第一记录数据组。

两个记录数据组r0和r1之间的相似度或距离D被表示为D(r0，r1)。对范围t＝0...(N-M-1)计算相似度。如前所述，8个记录数据码被合并到每个记录数据组中。首先，将记录数据组的8个记录数据码与所提取的记录数据组的8个记录数据码进行比较，并确定与所提取的记录数据组的记录数据码不一致的记录数据码的数目“d”。相似度DP(t)被给出为0.9^d。如果所有记录数据码与所提取的记录数据组的所有记录数据码一致，则相似度为1。另一方面，如果所有记录数据码与所提取的记录数据组的所有记录数据码不一致，则相似度被给出为0.98。在完成(repletion)从t＝0至t＝(N-M-1)的计算之后，当重放模式数据Pa的记录数据组和所提取的模式数据Ps的记录数据组具有值1或最接近1的值，重放模式数据Pa的记录数据组被当作与所提取的模式数据Ps的记录数据组一致。通常重复计算M次。然而，如果没有可能发现被当作与所提取的模式数据Ps的记录数据组一致的记录数据组，则同步器10可在重复M次之前停止计算。

当比较器150确定了准确的经过时间Ta时，比较器150通知音乐数据读取器160该准确的经过时间Ta。音乐数据读取器160顺序地增加由持续时间数据码表示的时间段，直到总和等于准确的经过时间Ta为止。当音乐数据读取器160通过总和与准确的经过时间Ta之间的比较找到要处理的一个或多个音符事件数据码时，音乐数据读取器160等待由最近的持续时间数据码表示的时间段到期。在由最近的持续时间数据码表示的时间段到期时，一个或多个音符事件数据码从存储器系统12被读出，并被传送到自动演奏器21。

通过预数据处理器21c、运动控制器21d和伺服控制器21e的功能，自动演奏器21确定键22a或22b或键22a和22b的一个或多个基准键轨迹，并强迫键22a或22b在基准键轨迹上行进。

键22a和22b使得机械音调生成器23启动和/或停用，从而在与通过家庭影院系统3产生的声音进行合奏时，及时产生和/或衰减声音音调。

用于同步的子例程程序

下面参照图5A、5B和5C描述用于同步的子例程程序。在信号接口14中对音频信号Sa周期性地采样，并在工作存储器中累积样值Sa’。信息处理器11周期性地取出经过时间信号Tc所表示的经过的时间，并且经过的时间被存储在工作存储器中。通过另一子例程程序，执行样值Sa’的累积和经过的时间的写入。为此，通过执行另一子例程程序实现音频数据累积器130。在开始对音频数据码的重放时，主例程程序开始分支到用于同步的子例程程序。主例程程序通过定时器中断，周期性地分支到用于同步的子例程程序。

当信息处理器11进入用于同步的子例程程序时，如通过步骤S1，信息处理器11检查工作存储器，以查看经过的时间是否被更新。如果在步骤S1、经过的时间与前一次执行中的相同，则应答被给出为否定的“否”，并且信息处理器11立即从用于同步的子例程程序退出。

另一方面，当经过的时间被更新时，步骤S1处的应答被给出为“肯定”，并且如通过步骤S2，信息处理器11指定对应于经过的时间的记录号，以便确定被分配了该记录号的记录数据组。

然后，如通过步骤S3，信息处理器11将该记录号通知给比较器150，从而比较器150指定位于相当于4秒的记录数据组的开头的记录数据组。

接着，如通过步骤S4，信息处理器11从工作存储器读出相当于2秒的样值Sa’，并且如通过步骤S5，通过FFT和量化，从样值Sa’提取声音的特征。由此，通过执行步骤S4和S5处的作业，实现特征提取器140。

如通过步骤S6，信息处理器11选择由所读出的记录数据组表示的特征之一和所提取的特征之一，并通过上述等式1计算该特征和所提取的特征之间的相似度。如通过步骤S7，信息处理器11比较该特征和所提取的特征，以查看它们是否彼此一致。

当所提取的特征不同于该特征时，步骤S7处的应答给出为否定的“否”。对于该否定应答，信息处理器11返回到步骤S6，并选择另一特征。由此，信息处理器11重复由步骤S6和S7构成的循环，直到步骤S7处的应答改变为止。

当所提取的特征与该特征一致时，步骤S7处的应答变为肯定的“是”。如通过步骤S9，信息处理器11基于目前的经过的时间Tc、所读出的记录数据组的位置、以及在信号传播和数据处理中消耗的时间段，计算准确的经过时间Ta。由此，通过执行步骤S6、S7、S8和S9处的作业，实现比较器150。

接着，在步骤S10，信息处理器11将准确的经过时间Ta存储在工作存储器中，同时，比较器150向音乐数据读取器160通知该准确的经过时间Ta。信息处理器11累积由持续时间数据码表示的时间段，直到所累积的值等于准确的经过时间Ta为止。当所累积的值变为等于准确的经过时间Ta时，如通过步骤S11，信息处理器11指定准确的经过时间Ta处的一个或多个音符事件数据码。

如通过步骤S12，信息处理器11改变在用于持续时间数据码的计数器中存储的时间，从而该计数器表示直到准确的经过时间之前的时间段。

如通过步骤S13，信息处理器11将计数器值递减，并如通过步骤S14，检查计数器，以查看时间段是否到期。

如果应答被给出为否定的“否”，则信息处理器11返回到步骤S13，并且重复由步骤S13和S14构成的循环，直到步骤S14处的应答改变为止。

当时间段到期时，步骤S14处的应答被给出为肯定的“是”，并且如通过步骤S15，信息处理器11将一个或多个音符事件数据码提供给自动演奏器21。由此，通过执行步骤S11、S12、S13和S14处的作业，实现音乐数据读取器160。

如通过步骤S16，信息处理器11检查工作存储器，以查看合奏是否完成。当应答被给出为否定的“否”时，信息处理器11返回到步骤S1，并重复由步骤S1至S16构成的循环，直到步骤S16处的应答改变为止。

当处理了所有音频数据码时，或者当用户中断合奏时，步骤S16处的应答改变为肯定的“是”，并且，信息处理器11从用于同步的子例程程序退出。

如将从以上描述理解的，使用重放模式数据Pa和所获取的模式数据Ps，作为比经过时间信号Tc所表示的时间数据分辨率更高的时间数据，并且同步器10向重放模式数据Pa搜索与所提取的特征一致的记录数据组的特征，来确定准确的经过时间Ta。同步器10确定要在准确的经过时间Ta处处理的音符事件数据码，并使家庭影院系统3和自动演奏器钢琴1建立严格的同步。独立于音频数据文件和音乐数据文件，准备用于合奏的重放模式数据Pa。为此，市场上销售的音频数据文件、内容数据文件和音乐数据文件可用于合奏，而无需修改任一数据文件。

第二实施例

转到附图的图6，实施本发明的自动演奏器钢琴1A与重放系统2A和家庭影院系统3A一起形成合奏系统。重放系统2A和家庭影院系统3A与重放系统2和家庭影院系统3相同。

自动演奏器钢琴1A包括控制器10A、自动演奏系统20Aa和原声钢琴20Ab。自动演奏系统20Aa和原声钢琴20Ab与自动演奏系统20a和原声钢琴20b相同，并且，除了在信息处理器11A上运行的部分计算机程序之外，控制器10A类似于控制器10。为此，描述着重于计算机程序，并且，用指定自动演奏器钢琴1的相应组件的附图标记来标记其他组件，而不进行详细描述。

图7A和图7B示出了计算机程序中的主例程程序的作业，并且，所述作业涉及选择与用户所指定的音频数据文件相对应的一组重放模式数据Pa。

如通过步骤S21，信息处理器11A检查输入装置13，以查看用户是否选择了在DVD D1中存储的音频数据文件之一。当应答被给出为否定的“否”时，信息处理器11A重复步骤S21处的作业，直到应答改变为止。

假设用户选择了音频数据文件之一。步骤S21处的应答被给出为肯定的“是”。这样，如通过步骤S22，信息处理器11A在显示板15上产生视觉图像，其表示重放模式数据Pa的组名。演奏者姓名、音乐曲调的标题中的关键词、或者音乐的类别可对多组重放模式数据Pa进行分组。

如通过步骤S23，信息处理器11A检查输入装置13，以查看用户是否选择了组名之一。当应答被给出为否定的“否”时，信息处理器11A重复步骤S23处的作业。

当用户选择了组名之一时，步骤S23处的应答变为肯定的“是”，并且如通过步骤S24，信息处理器11A从所选的组中读出多组重放模式数据Pa之一。如通过步骤S25，信息处理器11A计算所选音频数据文件和所读出的重放模式数据Pa的组之间的相似度DP(t)。如通过步骤S26，在工作存储器中存储计算结果。

如通过步骤S27，信息处理器11A检查所选的组，以查看是否对重放模式数据的所有组计算了相似度DP(t)。当步骤S27处的应答给出为否定的“否”时，信息处理器11A返回到步骤S24，并重复由步骤S24、S25、S26和S27构成的循环，直到步骤S27处的应答改变为止。

当在工作存储器中存储了用于重放模式数据Pa的所有组的计算结果时，步骤S27处的应答变为肯定的“是”，并且如通过步骤S28，信息处理器11A确定具有最大相似度DP(t)的一组重放模式数据Pa。

信息处理器11A将该组重放模式数据Pa写入工作存储器，此时，如通过步骤S29，向音乐数据读取器通知该组重放模式数据Pa。由此，音乐数据文件之一准备好访问。为了将多组重放模式数据Pa与音乐数据文件相关联，可在存储器系统12中准备表。

在完成步骤S29处的作业时，信息处理器11A前进到主例程程序的其他作业。

如果相似度DP(t)的所有值均小于阈值，则信息处理器11A通过与所提取的特征Ps以及其余组重放模式数据Pa中的特征的比较，选择其余组重放模式数据Pa之一。

如将从以上描述理解的，选择数据Sa对于音频数据文件和重放模式数据Pa的组之间的关联来说不是必不可少的。

第三实施例

转到附图的图8，实施本发明的自动演奏器钢琴1B与重放系统2B和家庭影院系统3B一起形成合奏系统。除了用于产生经过的时间的视觉图像的显示窗口2Ba之外，重放系统2B与重放系统2相似，并且家庭影院系统3B与家庭影院系统3相同。

显示窗口2Ba产生6个数字和2个冒号。最左边两个数字表示小时，最右边两个数字表示秒。中间两个数字表示分钟，并且两个冒号将最左边两位和最右边两位与中间两个数字分开。6个数字和2个冒号表示从开始重放起经过的时间。重放系统2B从经过时间信号Tc产生视觉图像。然而，经过时间信号Tc不被提供到同步器10B的信号接口14B。

自动演奏器钢琴1B包括控制器10B、自动演奏系统20Ba和原声钢琴20Bb。自动演奏系统20Ba和原声钢琴20Bb与自动演奏系统20a和原声钢琴20b相同，并且，除了CCD(电荷耦合器件)相机10Ba和在信息处理器11B上运行的部分计算机程序之外，控制器10B类似于控制器10。为此，描述着重于CCD相机10Ba和计算机程序，并且用指定自动演奏器钢琴1的相应组件的附图标记来标记其他组件，而不进行详细描述。

CCD相机10Ba指向显示窗口2Ba，并将显示窗口2Ba上的图像转换为视觉图像信号Sx。视觉图像信号Sx被从CCD相机10Ba提供到信号接口14B，并被传送到工作存储器。

计算机程序也被分为主例程程序和子例程程序。子例程程序之一被分配给同步，而用于同步的子例程程序包含用于特性识别的作业。用于特性识别的作业实现特性识别器11Ba，并且特性识别器11Ba形成数据获取器110的一部分。由此，在第三实施例中，通过特性识别确定从开始重放起经过的时间。为此，经过时间信号Tc不是本发明的必要特征。

第四实施例

转到附图的图9，实施本发明的自动演奏器钢琴1C与重放系统2C和家庭影院系统3C一起形成合奏系统。除了用于产生音乐曲调的标题的视觉图像的显示窗口2Ca之外，重放系统2C与重放系统2相似，并且家庭影院系统3C与家庭影院系统3相同。

显示窗口2Ca产生文字，并且文字表示用户选择的音乐曲调的标题。基于标识数据，在显示窗口2Ca上产生例如“钢琴协奏曲No.3”视觉图像。为此，标识信号Pin不被提供到同步器10C的信号接口14C。

自动演奏器钢琴1C包括控制器10C、自动演奏系统20Ca和原声钢琴20Cb。自动演奏系统20Ca和原声钢琴20Cb与自动演奏系统20a和原声钢琴20b相同，并且，除了CCD(电荷耦合器件)相机10Ca和在信息处理器11C上运行的部分计算机程序之外，控制器10C类似于控制器10。为此，描述着重于CCD相机10Ca和计算机程序，并且用指定自动演奏器钢琴1的相应组件的附图标记来标记其他组件，而不进行详细描述。

CCD相机10Ca指向显示窗口2Ca，并将显示窗口2Ca上的图像转换为视觉图像信号Sz。视觉图像信号Sz从CCD相机10Ca被提供到信号接口14C，并被传送到工作存储器。

计算机程序也被分为主例程程序和子例程程序。子例程程序之一被分配给同步，而用于同步的子例程程序包含用于特性识别的作业。用于特性识别的作业形成数据获取器110的一部分。由此，在第四实施例中，通过特性识别确定标识数据。为此，标识信号Pin不是本发明的必要特征。

尽管已经示出和描述了本发明的特定实施例，但本领域技术人员将清楚，可进行各种改变和修改，而不会脱离本发明的范围。

自动演奏器钢琴1、1A、1B和1C不对本发明的技术范围设置任何限制。可基于其他种类的原声乐器来制造自动演奏器乐器，如小提琴、吉它、小号或萨克斯。

在第一至第四实施例中，一系列音名充当“特征”。然而，音名不对本发明的技术范围设置任何限制。例如，音调的长度可充当声音的“特征”。

每个记录数据组中的样值数目可以比512更少或更多，并且，可对少于或多于8192的另一数目的样值进行FFT。在样值数目少于8192的情况下，峰值可少于8个。另一方面，如果样值数目多于8192，则可从候选中选择多于8个的峰值。

音高的升序顺序不对本发明的技术范围设置任何限制。可按音高的降序顺序或按照峰值的顺序排列记录数据码。

自动演奏器钢琴1还可包括电子音调生成器和音响系统。在此例子中，用户具有两个选项，即，自动表演和通过电子音调表演。当用户选择自动表演时，MIDI音乐数据码被提供给自动演奏器21，并且，自动演奏器21选择性地移动黑键22a和白键22b，以便使得原声钢琴20b通过机械音调生成器23产生原声钢琴音调。另一方面，如果用户选择了通过电子音调表演，则MIDI音乐数码被提供给电子音调生成器，并且，基于音符事件数据码，从波形数据产生音频信号。音频信号被提供给音响系统，并通过音响系统被转换为电子音调。

在准备重放模式数据Pa的工作中，可考虑在信号传播和数据处理中消耗的时间段。

在从DVD D1读出和通过家庭影院系统3生成声音之间存在时间滞后。为了使得家庭影院系统3和自动演奏器钢琴1严格同步，对于准确的经过时间Ta而言，可考虑该时间滞后。用户可通过输入装置13输入滞后时间。否则，在系统初始化期间，家庭影院系统3向同步器10通知该时间滞后。

音频数据累积器130和特征提取器140可用于重放模式数据Pa的准备工作。

当用户按压重放系统2的快进按钮或倒退按钮时，准确的经过时间Ta会剧烈变化。在此情形下，同步器10可立即重新开始图5A至5C中所示的子例程程序。因为经过的时间Tc以1秒的时间间隔被更新，所以，在经过时间的差落入0至2秒的范围内的情况下，同步器10可重新开始执行。

当用户按压按钮时，重放系统2可向同步器通知该操作。在此情形下，同步器10立即分析经过时间信号Tc。

重放模式数据Pa和音乐数据文件可通过诸如因特网的通信网络下载到同步器10中。在此例子中，在服务器计算机的数据库中，选择数据Se、重放模式数据Pa的数据ID和音乐数据文件的数据ID是彼此相关的，并且响应于从自动演奏器钢琴提供的标识数据，多组重放模式数据Pa和音乐数据文件被下载到同步器。

音乐数据文件还可从CD(Compact Disk)、DVD、软盘、光盘或重放系统2被传送到存储器系统12。在此情形下，从服务器计算机的数据库下载重放模式数据Pa。

显示窗口2Ba可以独立于重放系统2B。在此例子中，电子时钟被连接到重放系统。当重放开始时，将触发信号从重放系统提供给电子时钟，从而根据内部递增的时间信号产生视觉图像。

计算机程序可被提供给用户，如存储在诸如磁盘、磁带、光盘、光磁盘或半导体存储器单元的信息存储介质中。否则，可通过因特网下载计算机程序。

在第二实施例中，通过相似度指定重放模式数据Pa。然而，第二实施例的修改可产生表示所选组的多组重放模式数据Pa的视觉图像以及提示消息。用户通过输入装置13选择多组重放模式数据Pa之一。

家庭影院系统3、3A、3B和3C不对本发明的技术范围设置任何限制。可仅仅将音频信号Sa提供给扬声器。

FFT不对本发明的技术范围设置任何限制。另一频率分析方法可用于频率分析。

MPEG协议不对本发明的技术范围设置任何限制。对于要与相关联的音频数据(对于其准备重放模式数据)同步的视觉图像而言，本发明的同步器使得可以处理基于另一协议准备的任何内容数据，并且可以粗略指定仅仅以秒为单位时间或以比秒更长的时间段为单位时间再现的音频数据。

记录数据组可部分地彼此重叠，如图10所示。在此例子中，记录数据组(n+1)、(n+2)和(n+3)分别与记录数据组(n)、(n+1)和(n+2)重叠512个样值。长的记录数据组(n)、(n+1)、(n+2)和(n+3)使得相邻的系列音名更清楚，并且借助于短的偏移，增强了所获取的记录数据组和所读出的记录数据组之间的一致性的准确度。

在使用标准MIDI文件作为音乐数据文件的情况下，在标准MIDI文件的头部块(header chunk)中存储的数据可用作标识数据。然而，在协议中严格定义了在头部块中存储的数据。为此，在标识数据不同于在头部块中存储的数据的情况下，标识数据可被存储在位于被分配给音乐数据的数据块前部的适当位置中。

实现第一至第四实施例的合奏系统的组件如下与权利要求语言相关联。

重放系统2、2A、2B或2C和家庭影院系统3、3A、3B或3C作为整体构成“声音生成系统”，而自动演奏系统20a、20Aa、20Ba或20Ca对应于“自动演奏系统”。数据获取器110或CCD相机10Ba和数据获取器110的组合充当“测量器”，而秒对应于“时间单位”。存储器系统12对应于“存储器系统”，而在音乐数据文件中存储的音乐数据码和重放模式数据码Pa的组充当“音乐数据码”和“重放模式数据码”。12毫秒是“另一时间单位”。

特征提取器140和比较器150充当“特征提取器”和“指示器”，而音名对应于“已准备的特征”和“实际特征”。一系列音名，即，8个音名充当“已准备的特征的群组”和“实际特征的群组”，并且，从等价于被分配了一个记录号的记录数据组的8192个样值中提取实际特征的群组。音乐数据读取器160对应于“指定器”。

模数转换器14a充当“采样器”。有限傅立叶变换器140a和量化器140b对应于“有限傅立叶变换器”和“量化器”。选择器150a、相似度分析器150b和确定器150c充当“选择器”、“相似度分析器”和“确定器”。显示板15和信息处理器11B充当“视觉图像产生器”，而输入装置13对应于“输入装置”。

自动演奏器钢琴1、1A、1B或1C充当“自动演奏器乐器”，而钢琴20b对应于“原声乐器”。黑键22a和白键22b对应于“多个操纵器”，并且琴槌2、动作单元3、弦4和制音器6作为整体构成“音调生成器”。自动演奏系统20a、20Aa、20Ba或20Ca对应于“自动演奏系统”。

Claims (20)

1.一种同步器，用于在从音频信号(Sa)产生声音的声音生成系统(2；2A；2B；2C)和基于音乐数据码(Sc)产生音调的自动演奏器乐器(1；1A；1B；1C)之间的合奏，包括：

测量器(110；10Ba；11Ba)，用于以时间单位确定的从所述声音的生成的开始起经过的时间；以及

存储器系统(12)，存储表示至少所述音调的音高的所述音乐数据码，

其特征在于

所述存储器系统(12)还存储表示与所述经过的时间有关的所述声音的已准备的特征的重放模式数据码(Pa)，并且每个所述已准备的特征在以比所述时间单位短的另一时间单位确定的时间段上出现，

以及还包括

特征提取器(140)，从所述音频信号(Sa)提取所述声音的实际特征，每个所述实际特征在所述时间段上出现，

指示器(150)，连接到所述存储器系统(12)和所述特征提取器(140)，比较所述实际特征和所述已准备的特征，以便确定与实际特征的群组一致的已准备的特征的群组，并基于所述已准备的特征的群组确定按照所述另一时间单位的从所述开始起准确的经过的时间，以及

指定器(160)，连接到所述存储器系统(12)和所述指示器(150)，并指定表示要与所述声音一起及时产生的音调的至少一个音乐数据码(Sc)，以将所述至少一个音乐数据码(Sc)提供给所述自动演奏器乐器(1；1A；1B；1C)。

2.如权利要求1所述的同步器，还包括：

采样器(14a)，被连接在分配给所述音频信号(Sa)的信号输入(14)和所述特征提取器(140)之间，并通过采样从所述音频信号(Sa)产生样值(Sa’)，其中，基于预定数目的样值(Sa’)确定每个所述实际特征。

3.如权利要求2所述的同步器，其中，以44.1kHz执行所述采样，并且，所述预定数目为512。

4.如权利要求1所述的同步器，其中，每个所述已准备的特征和每个所述实际特征是在所述声音中包含的音调的音名。

5.如权利要求4所述的同步器，其中，所述特征提取器(140)包括：

有限傅立叶变换器(140a)，通过有限傅立叶变换而确定所述音频信号(Sa)的样值(Sa’)的频谱，以及

量化器(140b)，连接到所述有限傅立叶变换器(140a)，并将所述频谱的峰值频率值量化为表示音阶的音名的频率值。

6.如权利要求1所述的同步器，其中，所述指示器(150)包括：

选择器(150a)，分别从所述已准备的特征和所述实际特征中提取在所述经过的时间(Tc)的值附近的已准备的特征的多个群组和实际特征的多个群组，

相似度分析器(150b)，连接到所述选择器(150a)，并连续比较所述已准备的特征的多个群组中的每一个与实际特征的群组，以确定所述已准备的特征的多个群组中的所述每一个和所述实际特征的多个群组之间的组合的相似度，以及

确定器(150c)，将具有最大相似度的组合确定为与所述实际特征的群组一致的所述已准备的特征的群组。

7.如权利要求1所述的同步器，其中，所述声音生成系统(2；2A)产生代表从所述开始起所述经过的时间的经过时间信号(Tc)，并将所述经过时间信号(Tc)提供给所述测量器(110)。

8.如权利要求1所述的同步器，其中，所述声音生成系统(2B)产生表示所述经过的时间的视觉图像(2Ba)，以及

所述测量器(2B)具有用于将所述视觉图像(2Ba)转换为视频信号(Sx)的图像拾取装置(10Ba)、以及被提供所述视觉图像(Sx)以便确定所述经过的时间(2Ba)的特性识别器(11Ba)。

9.如权利要求1所述的同步器，还包括：

视觉图像产生器(15，11A)，产生表示候选群组的视觉图像，其中所述候选群组中的一个包含所述重放模式数据码，

输入装置(13)，连接到视觉图像产生器(15，11A)，并由用户使用，以便选择所述候选群组中的一个，以及

相似度分析器，连接到所述输入装置(13)和所述视觉图像产生器(15，11A)，并计算由所述候选群组中的所述一个的重放模式数据码的组所表示的已准备的特征的组与所述实际特征之间的相似度，以选择所述已准备的特征的组中的一个作为由所述重放模式数据码(Pa)表示的已准备的特征。

10.一种用于在与声音生成系统(2；2A；2B；2C)的合奏中表演音乐曲调的自动演奏器乐器，包括：

原声乐器(20b；20Ab；20Bb；20Cb)，包括：

多个操纵器(22a，22b)，被移动用于指定要产生的音调的音高，以及音调生成器(2，3，4，6)，连接到所述多个操纵器(22a，22b)，并以所指定的音高产生音调；

自动演奏系统(20a；20Aa；20Ba；20Ca)，分析表示至少所述音调的音高的音乐数据码，以便选择性地使得所述多个操纵器(22a，22b)移动而无需人类演奏者的任何弹奏；以及

同步器(10；10A；10B；10C)，用于在从音频信号(Sa)产生声音的所述声音生成系统(2；2A；2B；2C)和通过所述自动演奏系统(20a；20Aa；20Ba；20Ca)的所述原声乐器(20b；20Ab；20Bb；20Cb)之间的合奏，

所述同步器(10；10A；10B；10C)包括：

测量器(110)，用于以时间单位确定的从所述声音的生成的开始起经过的时间；以及

存储器系统(12)，存储所述音乐数据码，

其特征在于

所述存储器系统(12)还存储表示与所述经过的时间有关的所述声音的已准备的特征的重放模式数据码(Pa)，并且每个所述已准备的特征在以比所述时间单位短的另一时间单位确定的时间段上出现，

以及在于

所述同步器(10；10A；10B；10C)还包括：

特征提取器(140)，从所述音频信号(Sa)提取所述声音的实际特征，

每个所述实际特征在所述时间段上出现，

指示器(150)，连接到所述存储器系统(12)和所述特征提取器(140)，

比较所述实际特征和所述已准备的特征，以便确定与实际特征的群组一致的已准备的特征的群组，并基于所述已准备的特征的群组确定按照所述另一时间单位的从所述开始起准确的经过的时间，以及

指定器(160)，连接到所述存储器系统(12)和所述指示器(150)，并指定表示要与所述声音一起及时产生的音调的至少一个音乐数据码(Sc)，以将所述至少一个音乐数据码(Sc)提供给所述自动演奏器乐器(1；1A；1B；1C)。

11.如权利要求10所述的自动演奏器乐器，还包括：

采样器(14a)，被连接在分配给所述音频信号(Sa)的信号输入(14)和所述特征提取器(140)之间，并通过采样从所述音频信号(Sa)产生样值(Sa’)，其中，基于预定数目的样值(Sa’)确定每个所述实际特征。

12.如权利要求11所述的自动演奏器乐器，其中以44.1kHz执行所述采样，并且所述预定数目为512。

13.如权利要求10所述的自动演奏器乐器，其中每个所述已准备的特征和每个所述实际特征是所述声音中包含的音调的音名。

14.如权利要求13所述的自动演奏器乐器，其中所述特征提取器(140)包括：

有限傅立叶变换器(140a)，通过有限傅立叶变换来确定所述音频信号(Sa)的样值(Sa’)的频谱，以及

量化器(140b)，连接到所述有限傅立叶变换器(140a)，并将所述频谱的峰值频率值量化为表示音阶的音名的频率值。

15.如权利要求10所述的自动演奏器乐器，其中，所述指示器(150)包括：

选择器(150a)，分别从所述已准备的特征和所述实际特征中提取在所述经过的时间(Tc)的值附近的已准备的特征的多个群组和实际特征的多个群组，

相似度分析器(150b)，连接到所述选择器(150a)，并连续比较所述已准备的特征的多个群组中的每一个与实际特征的群组，以确定所述已准备的特征的多个群组中的所述每一个和所述实际特征的多个群组之间的组合的相似度，以及

确定器(150c)，将具有最大相似度的组合确定为与所述实际特征的群组一致的所述已准备的特征的群组。

16.如权利要求10所述的自动演奏器乐器，其中，所述声音生成系统(2；2A)产生代表从所述开始起所述经过的时间的经过时间信号(Tc)，并将所述经过时间信号(Tc)提供给所述测量器(110)。

17.如权利要求10所述的自动演奏器乐器，其中，所述声音生成系统(2B)产生表示所述经过的时间的视觉图像(2Ba)，以及

所述测量器(2B)具有用于将所述视觉图像(2Ba)转换为视频信号(Sx)的图像拾取装置(10Ba)、以及被提供所述视觉图像(Sx)以便确定所述经过的时间(2Ba)的特性识别器(11Ba)。

18.如权利要求10所述的自动演奏器乐器，还包括：

视觉图像产生器(15，11A)，产生表示候选群组的视觉图像，其中所述候选群组中的一个包含所述重放模式数据码，

输入装置(13)，连接到视觉图像产生器(15，11A)，并由用户使用，以便选择所述候选群组中的一个，以及

相似度分析器，连接到所述输入装置(13)和所述视觉图像产生器(15，11A)，并计算由所述候选群组中的所述一个的重放模式数据码的组所表示的已准备的特征的组与所述实际特征之间的相似度，以选择所述已准备的特征的组中的一个作为由所述重放模式数据码(Pa)表示的已准备的特征。

19.一种使声音生成系统(2；2A；2B；2C)和自动演奏器乐器(1；1A；1B；1C)的合奏建立同步的方法，包括如下步骤：

a)准备表示与以时间单位确定的经过的时间(Tc)有关的所述声音的已准备的特征的重放模式数据码(Pa)，每个所述已准备的特征在以比所述时间单位短的另一时间单位确定的时间段上出现；

b)从音频信号(Sa)提取所述声音的实际特征，每个所述实际特征在所述时间段上出现；

c)比较所述实际特征和所述已准备的特征以便确定与实际特征的群组一致的已准备的特征的群组；

d)基于所述已准备的特征的群组，确定按照所述另一时间单位的从所述开始起准确的经过的时间；

e)基于所述已准备的特征的群组而指定至少一个音乐数据码(Sc)，所述至少一个音乐数据码(Sc)要被处理，以便与通过所述声音生成系统(2；2A；2B；2C)生成的声音一起生成音调；以及

f)将所述至少一个音乐数据码提供给所述自动演奏器乐器(1；1A；1B；1C)。

20.如权利要求19所述的方法，其中所述步骤c)包括如下子步骤：

c-1)对所述音频信号采样，以产生多个样值，

c-2)确定形成所述多个样值的一部分的所述样值的群组的频谱，

c-3)从所述频谱中选择频率的峰值的群组，

c-4)将所述峰值的群组量化为音名的群组，

c-5)计算由所述实际特征表示的音名的群组和每个所述音名的多个群组之间的相似度，以及

c-6)将所述已准备的特征的群组之一确定为与所述实际特征的群组一致的所述已准备的特征的群组。

Images