CN1290076C - 基于语音的不受语言限制的搜索系统和方法 - Google Patents

基于语音的不受语言限制的搜索系统和方法 Download PDF

Info

Publication number
CN1290076C
CN1290076C CNB018171397A CN01817139A CN1290076C CN 1290076 C CN1290076 C CN 1290076C CN B018171397 A CNB018171397 A CN B018171397A CN 01817139 A CN01817139 A CN 01817139A CN 1290076 C CN1290076 C CN 1290076C
Authority
CN
China
Prior art keywords
language
user
text
search
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018171397A
Other languages
English (en)
Other versions
CN1526132A (zh
Inventor
周国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1526132A publication Critical patent/CN1526132A/zh
Application granted granted Critical
Publication of CN1290076C publication Critical patent/CN1290076C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于语音的不受语言限制的用户接口方法，包括：从用户那里接收语音输入数据；根据语音输入数据，识别用户所讲述的语言；至少部分以语言标识符为基础，通过识别语音输入数据中的用户语音，将语音输入数据转换为所识别语言的第一文本；对第一文本进行语法分析，提取出关键词；以及用提取出的关键词作为对应用软件的命令。其他操作还包括：接收对应于命令的结果；根据所识别的语言，将结果转换为自然语言格式的第二文本；以及提交第二文本，供用户感知。

Description

基于语音的不受语言限制的搜索系统和方法
发明背景
1.技术领域
本发明一般涉及Web(万维网)浏览器和搜索引擎，特别是涉及Web浏览器的利用不同语种语音的用户接口。
2.背景技术
目前，因特网为用户提供的信息量，多于其他任何一种信息源。但是，却经常难以找到所要寻找的信息。为此，开发了各种搜索引擎，以帮助查出所想要的信息的位置。要使用搜索引擎，用户通常要使用键盘键入一个搜索关键词或使用鼠标选择一个搜索类别。搜索引擎然后根据搜索关键词，搜索因特网或内连网(intranet)，找到相关信息。由于在键入英文搜索关键词方面感到有困难的那些用户(例如：那些仅仅会讲汉语或日语的人们)可能不使用这类搜索引擎，因此，这种用户接口约束条件大大限制了使用Web浏览器来确定信息在因特网或内连网上所处位置的潜在用户的数量。
当搜索引擎或Web网口支持多语种结果显示时，搜索引擎或Web网口通常显示的也是以一种特定语言事先准备好的Web网页，只有在用户利用鼠标选择语种之后，才会显示出所希望的语种。
最近，一些因特网入口已实现了语音输入服务，借此，用户能够使用一种语音识别应用软件和一个连接用户计算机系统的麦克风，来询问有关某些主题的信息，诸如天气、体育、股票行情等。在这些情况下，语音数据被转化为网口能够识别的预定命令，以选择要显示哪个Web网页。但是，英语通常是唯一受支持的语言，而且语音也不是对话式的。没有已知的搜索引擎直接支持语音搜索询问。
发明内容
根据本发明的一个方面，提供了一种为系统提供接口的方法，包括：从用户那里接收语音输入数据；根据语音输入数据，识别用户所讲述的语言；至少部分以语言标识符为基础，通过识别语音输入数据中的用户语音，将语音输入数据转换为所识别语言的第一文本；对第一文本进行语法分析，提取出关键词；将关键词翻译成除了所识别语言之外的多种选择的语言；用所翻译的关键词作为对应用软件的命令；接收对应于所述命令的结果；对结果进行自动概括；根据用户所讲述的语言，将所概括的结果转换为具有韵律模式的第二文本；以及提交第二文本，供用户感知。
根据本发明的另一个方面，提供了一种基于语音的不受语言限制的用户接口系统，包括：一个语言标识器，用来接收用户的语音输入数据并标识用户所讲述的语言；一个语音识别器，用来接收所述语音输入数据和语言标识符，并至少部分以语言标识符为基础，将所述语音输入数据转换为第一文本；一个自然语言处理模块，用于对所述第一文本进行语法分析，以提取出关键词；一个概括模块，用于对至少一个搜索引擎使用所提取的关键词根据搜索询问进行工作所获得的各种搜索结果进行自动概括；一个语言翻译器，用于将关键词翻译成除了所识别语言之外的多种选择的语言，以用作对应用软件的命令，并且将对应于不是用户所讲述语言的命令的结果翻译成用户所讲述的语言；以及一个自然语言生成器，根据用户所讲述的语言，将所概括的结果转换为具有韵律模式的第二文本。
根据本发明的另一个方面，提供了一种基于语音的不受语言限制的搜索系统，包括：一个语言标识器，用来接收用户的语音输入数据并标识用户所讲述的语言；一个语音识别器，用来接收所述语音输入数据和语言标识符，并至少部分以语言标识符为基础，将所述语音输入数据转换为第一文本；一个自然语言处理模块，用于对所述第一文本进行语法分析，以提取出关键词；一个搜索引擎，使用关键词作为搜索关键词并回送搜索结果；一个语言翻译器，用于在所述关键词输入所述至少一个搜索引擎以跨越多种语言进行搜索之前，将所述关键词翻译成多种选择的语言，并且将不是用户所讲述的语言的搜索结果翻译成用户所讲述的语言；一个自动概括模块，用于自动概括所翻译的搜索结果；一个自然语言生成器，根据用户所讲述的语言，将所概括的结果转换为具有韵律模式的第二文本。
附图说明
通过下面对本发明的详细说明，本发明的特点和优点将会变得明显易懂，附图中：
图1为方框图，表示本发明一个实施例的一种基于语音的不受语言限制的搜索系统；
图2为流程图，表示本发明一个实施例的一种基于语音的不受语言限制的搜索流程；
图3为方框图，表示一种示例性处理系统，能够用作本发明一个实施例的基于语音的不受语言限制的搜索系统。
详细说明
本发明的实施例是一种方法及装置，用于基于语音的不受语言限制的因特网或内连网搜索系统。本发明可用来丰富目前因特网或内连网的搜索框架(framework)，允许用户通过讲述本国语言来搜索所想要的信息。在一个实施例中，搜索系统可以接收用户会话式的话音输入数据，自动地确定用户所讲的语言，识别语音输入数据中的语音，并将语音作为对搜索引擎所提出搜索询问的输入数据，进行所希望的搜索。为了使这种基于语音的不受语言限制的搜索系统具备更为强大的功能，系统可以引入几项性能。自然语言处理(NLP)可用来从自然讲话询问中提取搜索关键词，从而，用户不必精确地讲出搜索关键词(因而支持会话式语音)。机器翻译可用来跨越多种语种来翻译搜索关键词及搜索结果，从而，可大大扩展搜索空间。如果搜索结果不能够被良好地组织起来或者不能够以用户喜欢方式提供出来，自动概括(summarization)技术可用来概括搜索结果。自然语言生成技术和文本—语音转换(TTS)技术，可用来以用户本国语言的话音形式，将搜索结果反馈给用户。本发明的全能语音搜索概念，一旦结合于因特网或内连网的搜索引擎，就会变为一种功能强大的工具，能够以最为便利的方式供讲述不同语言的人们来使用互连网或内连网上的信息。这种系统通过使搜索引擎或其他Web站点更加易于使用，可以在不是讲英语的那些人们当中，促进因特网利用率的提高。
在本说明书中，本发明的“一个实施例”(one embodiment)或“一实施例”(an embodiment)意味着：随同这个实施例所描述的具体性能、结构或特点，是包含在本发明的至少一个实施例中。因此，在整个说明书各个位置上出现的“在一个实施例中”这个术语，未必指的就是这个实施例。
本发明的实施例提供了至少几个特征。语音识别，使用户能够用最自然或最有效的媒介(即用户自己的话音)，来与因特网的搜索引擎进行相互联系(interact)。这在各亚洲国家可能特别实用，在那里，用户可能因为语言的书写特性而无法快速键入其本国语言。自动语音识别，使讲述不同语言的用户能够利用一个单一系统，通过自己的话音来搜索因特网或内联网，而无须专门告诉系统他们正在讲述的是什么语言。这项特点可大大促进因特网搜索引擎的用户数量的提高，从而，总的来说，大大促进环球网(World Wide Web，WWW)的用户数量的提高。自然语言处理，可用来使用户以自然会话方式在搜索询问中说出其搜索关键词。例如，如果用户说出“你能够为我搜索有关美国内战的文章吗？”，自然语言处理功能可将这个整个句子转换为搜索关键词“美国内战”，而并不要求用户仅仅精确地说出“美国内战”。
此外，语言的机器翻译可用来使搜索引擎进行跨语种的搜索。例如，如果用户说出中文搜索关键词，机器翻译可将这个搜索关键词翻译为其他语种(例如：英文、西班牙文、法文和德文等)，从而，在因特网上进行一个范围宽得多的搜索。如果找到了与搜索询问有关的任何信息，但Web网页却是用非中文所编写的，本发明可将搜索结果翻译回中文(最初语音搜索询问的语种)。如果搜索结果是分散在一个长文档内，或相反，难以确定搜索引擎所确定的信息是否与搜索关键词有关，则自动概括技术可用来帮助概括出搜索结果。如果搜索结果以用户不喜欢的一种格式出现，则本发明可以概括出搜索结果，并将搜索结果以其他格式呈现给用户。举例来说，如果搜索结果提供的是彩色图片，而用户难以区分某些颜色，本发明可以概括出图片的内容并将信息以纯文本格式提供给用户。
自然语言生成，有助于组织搜索结果并生成一个对应于所希望输出语种的自然语音响应。也就是说，搜索结果可以按照具体语言方式进行修改。如果用户选择音频输出模式，文本—语音转换(TTS)功能可用来以语音方式提交搜索结果。例如，用户的眼睛可能是处于忙碌状态或用户可能喜欢对应于语音搜索询问的语音响应。
图1示出了这种基于语音的不受语言限制的搜索系统的结构。用户(未示出)要配合输入10和输出12的各种能力。就输入能力而言，这种系统至少支持传统的键盘和鼠标14的功能，以及语音16的输入功能。可以用一种公知的方式，从与系统连接的麦克风来接收语音或其他音频声音，来支持语音输入。所接收的音频数据，可以被数字化并被转换为一种由语音识别模块或语言识别模块可接受的格式。就输出能力而言，系统可以用传统方式将搜索结果以文本或图像形式提供在显示器18上。此外，系统还可以利用公知的文本—语音转换功能20，以语音方式提交搜索结果。对本领域的普通技术人员来说，确定的输入或输出处理技术是公知的，因此，在这里，不再对此进行过多的描述。在其他实施例中，也可以使用其它的输入和/或输出处理技术，而不会限制本发明的范围。
当用户决定使用他的或她的声音来进行搜索时，用户对着与系统连接的麦克风讲话，要求系统查找用户感兴趣的信息。例如，用户可以用英文说：“hhhmm，find me information about who，uh，won the NFL Super Bowl in2000.”(啊，为我查找有关谁，嗯，赢得了2000年美国橄榄球联盟超级杯的信息)。此外，用户也可以用系统支持的任何一种语言说出这句话。例如，系统可以实现支持中文、日文、英文、法文、西班牙文和俄文作为输入语言。在不同实施例中，可以支持不同的语言设置。
一旦语音输入数据被捕获并被数字化，语音输入数据可以发送到语言识别模块22，以确定用户正在讲述的是何种语言，语言识别模块22设置在不受语言限制的用户接口24内。语言识别模块22，从语音输入数据中提取特征，识别用户正在讲述的是哪种语言，并输出一个所用语言的标识符(identifier)。根据语音数据来自动识别语言的各种算法在本领域是公知的。通常，可以在识别算法中使用隐藏式马尔可夫模块(Hidden Markov model)或神经网络。在本发明的一个实施例中，可以使用一种语音识别系统，例如，已在题为“利用大词汇量语音识别来实现健全语音识别”(Robust Spoken Language IdentificationUsing Large Vocabulary Speech Recognition)的文章中公开的语音识别系统，该文章发表在1997年IEEE国际声学、语音和信号处理会议上，作者为J.L.Hieronymus和S.Kadambe。在另一个实施例中，可以使用另一种语言识别系统，例如，已在题为“一种无监督语言识别方法”(A Unsupervised Approach to Language Identification)的文章中公开的语言识别系统，该文章发表在1999年IEEE国际声学、语音和信号处理会议上，作者为F.Pellegrino和R.Andre-Obrecht。在其他实施例中，也可以使用其他已公开的或尚在开发中的自动语言识别系统。无论使用哪种语言识别系统，系统的开发人员都可以训练语言识别系统中的模块，使其能够识别搜索系统所支持的整套选定语言。
在语言识别的基础上，至少是部分在语言识别的基础上，语音输入数据被传送给语音识别模块23，以转换为一种文本格式。在一些实施例中，这项处理的部分工作，可以与语言识别模块22同时进行。语音识别模块23，接受需要进行转换的语音数据和语言标识符，识别已讲述的单词，并将信息翻译成文本。因此，语音识别模块23提供了一种公知的语音—文本转换能力。在本发明中，可以使用任何一种商业性语音—文本转换软件应用，用于这种用途。例如，国际商用机器公司(IBM公司)出售的ViaVoiceTM软件，它使用户能够直接支配各种应用程序。不同版本的ViaVoiceTM软件，都支持多种语言(例如：英文、中文、法文和意大利文)。
在许多情况下，语音识别模块所确定的文本，可能存在语法错误。由于语音输入可能是用户的自发语音，因此，最终的文本可能会含有填充词、习语及重复等。自然语言处理模块26可用来从文本中提取关键词。自然语言处理模块含有一个语法分析程序，用于对语音识别模块的输出文本进行语法分析，以确定文本内的关键词以及丢弃文本内的非关键词。在前面所描述过的实例中，可以将单词和声音“hhmm findme information about who won uh won the in”(啊，为我查找有关谁，嗯，赢得的信息)丢弃，而将“NLF Super Bowl 2000”(2000年美国橄榄球联盟超级杯)确认为搜索关键词。对于用来从讲述语言中提取出所选定语音词汇的语法分析程序来说，用于实现语法分析程序的各种算法和系统在本领域是公知的。在本发明的一个实施例中，可以使用题为“在自发语音中提取信息(Extracting Information in SpontaneousSpeech)”的文章中所公开的语法分析程序，该文章发表在1994年语音处理国际会议(ICSLP)论文集上，作者为Wayne Ward。在另一个实施例中，可以使用题为“TINA：一种供语音应用使用的自然语言系统(TINA：A Natural Language System for Spoken LanguageApplications)”的文章中所公开的语法分析程序，该文章发表在1992年3月的《计算语言学》上，作者为S.Seneff。在其他实施例中，也可以使用其他已公开的或尚在开发中的自然语言处理系统。
一旦关键词从文本中提取出来，则关键词就可以由机器翻译模块28翻译成系统所支持的多种语言。通过将关键词翻译成多种语言并将这些关键词作为搜索关键词，能够实现不同语言的跨文档搜索，借此，大大扩展搜索空间。实现语言机器翻译的各种算法和系统，在本领域是公知的。在本发明的一个实施例中，可以使用题为“KANT机器翻译系统：从研究和开发到初步应用(The KANT Machine TranslationSystem：From R&D to Initial Deployment)”的文章中所公开的机器翻译系统，该文章发表在1997年LISA《集成先进翻译技术》专题研讨会的文献集上，作者为E.Nyberg、T.Mitamura和J.Carbonell。在其他实施例中，也可以使用其他已公开的或尚在开发中的机器翻译系统。
关键词可以作为搜索关键词，以不同的语言30，自动地输入搜索引擎32。可以使用任何一种或多种公知的搜索引擎[例如：雅虎(Yahoo)、埃克斯塞特(Excite)、虚拟空间(AltaVista)、古戈尔(Google)、北极光(Northern Lights)等]。搜索引擎搜索因特网或特定内联网，并将不同语言的搜索结果34回送给不受语言限制的用户接口24。取决于搜索结果，搜索结果可以是一种单一语言的或是多种语言的。如果搜索结果是多种语言的，则机器翻译模块28可用来将搜索结果翻译成用户所使用的语言。如果搜索结果是一种语言的，且这种语言并非是用户的语言，则可将搜索结果翻译成用户的语言。
如果需要的话，自动概括模块36可用来概括搜索结果。在本发明的一个实施例中，可以使用题为“用于会议索引和要点的单一基础结构框架(A Unified Structure-Based Framework for Indexing and Gistingof Meetings)”的文章中所公开的技术来实现自动概括，该文章发表在1999年IEEE国际多媒体计算和系统会议上，作者为T.Kristjansson、T.Huang、P.Ramesh和B.Juang。在其他实施例中，也可以使用其他已公开的或尚在开发中的信息概括技术。
自然语言生成模块36，可用来接收用户语言形式的概括搜索结果，并生成搜索结果的自然语音形式。可以使用一种选择的韵律模式，将搜索结果修改为符合可读要求的句子，从而，在将结果提供给用户时，能够实现发音自然和语法正确。在本发明的一个实施例中，可以使用题为“跨多域名的多语言生成(Multilingual Language GenerationAcross Multiple Domains)”文章中所公开的自然语言生成系统，该文章发表在1994年国际语音处理会议(ICSLP)的论文集上，作者为J.Glass、J.Polifroni和S.Seneff，不过，也可以使用其他已公开的或尚在开发中的自然语言生成处理技术。
自然语言生成模块的输出，可传送到文本—语音转换模块20，以将文本转换为音频格式并将音频数据提供给用户。此外，文本还可以以通常的方式显示在显示器18上。各种文本—语音转换工具，是本领域所公知的。在一个实施例中，可以使用IBM公司的ViaVoiceTM文本—语音转换(TTS)技术。此外，也可以使用诸如朗讯科技贝尔实验室(Lucent technologies Bell Laboratories)的多语言文本—语音转换系统之类的其他工具。在另一个实施例中，虽然搜索结果是以语音形式提供给用户，但还可以使用可视文本—语音转换来显示一个动画形式的、与合成语音同步的面部图像(例如一个会话头部图像)。会话头部图像的嘴部，不仅动作逼真，而且也与发音相匹配，这不仅能给用户提供一种图像正在讲话的感觉，而且还能提高语音的可理解性。动画工具，例如会话头部图像，可以提高用户等待搜索处理结果的意愿。
虽然前面的描述主要是集中在作为应用软件的搜索引擎上，用于基于语音的不受语言限制的输入，但是，其他已知的支持语音输入的自动语言识别应用软件，也可以受益于本发明。引入本发明的Web浏览器可用来与Web站点或搜索引擎之外的应用软件接口。例如，Web网口可以引入本发明，以支持不同语言的语音输入。电子商务网站可以接收不同语言的基于语音的订单，并用买主的语言，回复语音确认信息。例如，通过不受语言限制的用户接口发送给Web站点的关键词，可以是以任何一种系统支持语言所讲述的一个采购订单或一个产品信息请求。新闻网站可以从讲述不同语言的用户那里接收对于特定新闻内容的语音请求，并以用户的语言形式回复新闻内容。其他许多应用场所和Web站点，也可以利用本发明所提供的各种性能优点。
在其他实施例中，在不受语言限制的用户接口中，一些模块可以根据需要而省去。例如，可以省去自动概括模块，或者，如果仅支持一种语言，可以省去机器翻译模块。
图2为一个流程图，表示本发明一个实施例的基于语音的不受语言限制的搜索流程。在方块100中，可以从用户那里接收语音，并将语音转换为一种数字表示。在方框102中，可以对数字化语音进行分析，以识别用户所使用的语言。在方框104中，根据所识别的语言，可以将语音转换为文本。在方框106中，可以通过对文本进行语法分析，从文本中提取出关键词。在方框108中，可以将关键词翻译为多种语言。在方框110中，可以将多种语言的关键词作为对一个或多个搜索引擎提出询问的搜索关键词。在方框112中，可以将来自一个或多个搜索引擎的多种语言的搜索结果翻译成用户所使用的语言。下一步，在方框114中，可以将搜索结果进行概括(如果需要的话)。在方框116中，可以以文本格式来生成搜索结果，这种文本格式表现为用户语言的自然语言结构。在方框118中，可以使用一种文本—语音转换模块，将文本转换为语音，并将文本以语音方式提供给用户。
在前面所进行的描述中，已对本发明的各个方面进行了描述。出于解释的目的，设定了具体编号、系统和结构，以确保对本发明的全面了解。但显然，即使在没有具体详细说明的情况下，本领域的普通技术人员也能够得益于本说明书所公开的内容而实践本发明。在其他方面，为了避免使本发明含糊不清，对于众所周知的特征，进行了忽略或简化处理。
本发明的实施例，可以以硬件形式或软件形式来实现，也可以以硬件和软件的组合形式来实现。但是，本发明也可以以在可编程系统上执行的计算机程序形式来实现，可编程系统包括：至少一个处理器；一个数据存储系统(包括易失性存储器、非易失性存储器和/或存储元件)；至少一个输入装置；以及至少一个输出装置。程序代码可应用于输入数据，来实现在此所描述的各种功能并生产输出信息。输出信息可以以公知的形式，应用于一个或多个输出装置。为了这种应用目的，配置有放音部件的处理系统包括任何一种带有处理器的系统，处理器的例子如：数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。
程序可以以高级过程语言或面向对象编程语言来实现，以便与处理系统通信。如果希望的话，程序也可以以汇编语言或机器语言来实现。实际上，本发明并不局限于任何特定的编程语言。在任何情况下，语言都可以是编译语言或解释语言。
程序可以存储在一种由通用或专用可编程处理系统可读的存储介质或存储装置上[(例如：硬盘驱动器、软盘驱动器、只读存储器(ROM)、只读光盘存储器(CD-ROM)、闪速存储器、数字通用盘(DVD)或其他存储装置)]，当存储介质或存储装置是通过处理系统来读取以执行在此所描述的步骤时，用程序来配置和操作处理系统。本发明的实施例还可以考虑以一种机器可读的存储介质来实现，这种机器可读的存储介质与处理系统一起配置使用，在此，这样配置的存储介质能够使处理系统以一种特定的和预定的方式来执行在此所描述的各种功能。
图3示出了这样一种类型的处理系统的一个实例，但也可以使用其他系统，而且并非图中所示系统的所有部件都是本发明所必需的。例如，可以使用示例性系统400来执行本发明的基于语音的不受语言限制的搜索系统(例如在此所描述的实施例)的处理。示例性系统400代表的是基于英特尔公司“奔腾”II(PENTIUMII)、“奔腾”III(PENTIUMIII)和“赛扬”(CELERONTM)微处理器的处理系统，不过，也可以使用其他系统[包括采用其他处理器的个人计算机(PC)、工程工作站及其他机顶盒等]和结构。
图3为方框图，表示本发明一个实施例的系统400。系统400包括有一个处理器402，用于处理数据信号。处理器402可以连接到一条处理器总线404上，处理器总线404在处理器402与系统400中的其他部件之间传送数据信号。
系统400包含一个存储器406。存储器406可以存储指令和/或由数据信号所代表的数据，它们可由处理器402执行。为实现本发明的任何一项和/或所有技术，指令和/或数据可以含有代码。存储器406还可以含有附加的软件和/或数据(未示出)。一个超高速缓冲存储器408可以驻留在处理器402内部，它将数据信号存储在存储器406中。
一个桥接/存储控制器410，可以连接到处理器总线404和存储器406上。桥接/存储控制器410，在处理器402、存储器406和系统400的其他部件之间引导数据信号，并在处理器总线404、存储器406和第一输入/输出(I/O)总线412之间实现数据信号的桥接。在这个实施例中，图形控制器413与显示装置(未示出)接口，显示装置用于为用户显示由图形处理器413所提供的或者另外处理的图像。
第一输入/输出(I/O)总线412，可以由一根总线或多根总线组合而组成。第一输入/输出(I/O)总线412，在系统400的各个部件之间提供通信链接。网络控制器414可以连接到第一输入/输出(I/O)总线412上。在一些实施例中，显示装置控制器416可以连接到第一输入/输出(I/O)总线412上。显示装置控制器416允许将显示装置连接到系统400上，并且作为显示装置(未示出)与系统之间的一个接口。显示装置从处理器402经过显示装置控制器416来接收数据信号，并将数据信号中所包含的信息显示给系统400的用户。
第二输入/输出(I/O)总线420可以包括一根总线或多根总线的组合。第二输入/输出(I/O)总线420，在系统400的各个部件之间提供通信链接。数据存储装置422可连接到第二输入/输出(I/O)总线420上。键盘接口424可以连接到第二输入/输出(I/O)总线420上。用户输入接口425可以连接到第二输入/输出(I/O)总线420上。例如，用户输入接口可以连接到用户输入装置上，如遥控器、鼠标、游戏操纵杆或跟踪球，以将输入数据提供给计算机系统。总线桥接器428将第一输入/输出(I/O)桥412连接到第二输入/输出(I/O)桥420上。
本发明的实施例涉及使用系统400作为基于语音的不受语言限制的搜索系统。根据一个实施例，这种处理可以随着处理器402执行存储器404中的指令顺序，由系统400来进行。这类指令可以从其他计算机可读介质，例如数据存储装置422来读入存储器404，或者可以从另一个源头，例如通过网络控制器414来读入存储器404。指令顺序的执行使处理器402能够实现本发明实施例的不受语言限制的用户接口处理。在另一个实施例中，硬件电路可被软件指令取代或与软件指令结合，以实现本发明的实施例。因此，本发明并不局限于硬件电路和软件的任何一种具体组合。
系统400的各个元件，以本领域内所公知的方式，执行其普通功能。特别是，数据存储装置422可用来长时间存储本发明实施例的基于语音的不受语言限制的搜索系统的可执行指令和数据结构，而存储器406用来在处理器402执行过程中，较短时间地存储本发明实施例的基于语音的不受语言限制的搜索系统的可执行指令。
虽然参照示范性的实施例对本发明进行了描述，但这种描述并不是用来限定的。对示范性实施例的各种改进及本发明的其他实施例，均被认为是落在本发明的构思和保护范围之内，这是与本发明有关的技术领域内的普通技术人员显然都明白的道理。

Claims (20)

1.一种为系统提供接口的方法，包括：
从用户那里接收语音输入数据；
根据语音输入数据，识别用户所讲述的语言；
至少部分以语言标识符为基础，通过识别语音输入数据中的用户语音，将语音输入数据转换为所识别语言的第一文本；
对第一文本进行语法分析，提取出关键词；
将关键词翻译成除了所识别语言之外的多种选择的语言；
用所翻译的关键词作为对应用软件的命令；
接收对应于所述命令的结果；
对结果进行自动概括；
根据用户所讲述的语言，将所概括的结果转换为具有韵律模式的第二文本；以及
提交第二文本，供用户感知。
2.根据权利要求1所述的方法，其中，所述的提交包括：将第二文本转换为语音，以及将语音提供给用户。
3.根据权利要求1所述的方法，还包括：用所述关键词作为对搜索引擎提出的搜索询问，其中，结果包括搜索引擎根据搜索询问进行工作所获得的各种搜索结果。
4.根据权利要求1所述的方法，还包括：将所述关键词翻译成除了识别语言之外的多种选择的语言，并且用所翻译的关键词作为对至少一个搜索引擎提出的搜索询问，其中，结果包括所述至少一个搜索引擎根据搜索询问进行工作所获得的多种语言的各种搜索结果。
5.根据权利要求4所述的方法，还包括：将不是用户所讲述的语言的搜索结果翻译成用户所讲述的语言。
6.根据权利要求1所述的方法，其中，应用包括Web浏览器。
7.根据权利要求6所述的方法，其中，所述Web浏览器与搜索引擎接口，而且所述命令包括搜索询问。
8.根据权利要求6所述的方法，其中，所述Web浏览器与商务网站接口，而且所述命令包括至少一个采购订单和一个产品信息请求。
9.根据权利要求1所述的方法，其中，语音包括会话式语音。
10.根据权利要求1所述的方法，其中，所述韵律模式能够使得所述第二文本发音自然和语法正确。
11.一种基于语音的不受语言限制的用户接口系统，包括：
一个语言标识器，用来接收用户的语音输入数据并标识用户所讲述的语言；
一个语音识别器，用来接收所述语音输入数据和语言标识符，并至少部分以语言标识符为基础，将所述语音输入数据转换为第一文本；
一个自然语言处理模块，用于对所述第一文本进行语法分析，以提取出关键词；
一个概括模块，用于对至少一个搜索引擎使用所提取的关键词根据搜索询问进行工作所获得的各种搜索结果进行自动概括；
一个语言翻译器，用于将关键词翻译成除了所识别语言之外的多种选择的语言，以用作对应用软件的命令，并且将对应于不是用户所讲述语言的命令的结果翻译成用户所讲述的语言；以及
一个自然语言生成器，根据用户所讲述的语言，将所概括的结果转换为具有韵律模式的第二文本。
12.根据权利要求11所述的系统，还包括：一个文本—语音转换模块，用于将所述第二文本以音频形式提供给用户。
13.根据权利要求11所述的系统，还包括：一个语言翻译器，用于将所述关键词翻译成多种选择的语言用作搜索询问，以及在概括所转换的结果和将所概括的结果转换为自然语言格式的第二文本之前，将不是用户所讲述的语言的搜索结果转换为用户所讲述的语言。
14.根据权利要求11所述的系统，其中，所述系统结合到Web浏览器上。
15.根据权利要求14所述的系统，其中，所述Web浏览器与搜索引擎接口，关键词包括搜索询问，而且所述第二文本包括来自搜索引擎的各种搜索结果。
16.根据权利要求14所述的系统，其中，所述Web浏览器与商务网站接口，而且所述命令包括至少一个采购订单和一个产品信息请求。
17.根据权利要求11所述的系统，其中，所述韵律模式使得所述第二文本发音自然和语法正确。
18.一种基于语音的不受语言限制的搜索系统，包括：
一个语言标识器，用来接收用户的语音输入数据并标识用户所讲述的语言；
一个语音识别器，用来接收所述语音输入数据和语言标识符，并至少部分以语言标识符为基础，将所述语音输入数据转换为第一文本；
一个自然语言处理模块，用于对所述第一文本进行语法分析，以提取出关键词；
一个搜索引擎，使用关键词作为搜索关键词并回送搜索结果；
一个语言翻译器，用于在所述关键词输入所述至少一个搜索引擎以跨越多种语言进行搜索之前，将所述关键词翻译成多种选择的语言，并且将不是用户所讲述的语言的搜索结果翻译成用户所讲述的语言；
一个自动概括模块，用于自动概括所翻译的搜索结果；
一个自然语言生成器，根据用户所讲述的语言，将所概括的结果转换为具有韵律模式的第二文本。
19.根据权利要求18所述的系统，还包括：一个文本—语音转换模块，用于将所述第二文本以音频形式提供给用户。
20.根据权利要求18所述的系统，其中，所述韵律模式使得所述第二文本发音自然和语法正确。
CNB018171397A 2000-10-10 2001-10-03 基于语音的不受语言限制的搜索系统和方法 Expired - Fee Related CN1290076C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/685,419 2000-10-10
US09/685,419 US6999932B1 (en) 2000-10-10 2000-10-10 Language independent voice-based search system

Publications (2)

Publication Number Publication Date
CN1526132A CN1526132A (zh) 2004-09-01
CN1290076C true CN1290076C (zh) 2006-12-13

Family

ID=24752129

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018171397A Expired - Fee Related CN1290076C (zh) 2000-10-10 2001-10-03 基于语音的不受语言限制的搜索系统和方法

Country Status (10)

Country Link
US (1) US6999932B1 (zh)
EP (1) EP1330816B1 (zh)
JP (1) JP4028375B2 (zh)
KR (1) KR100653862B1 (zh)
CN (1) CN1290076C (zh)
AT (1) ATE349056T1 (zh)
AU (1) AU2002211438A1 (zh)
DE (1) DE60125397T2 (zh)
HK (1) HK1054813A1 (zh)
WO (1) WO2002031814A1 (zh)

Families Citing this family (334)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251315B1 (en) * 1998-09-21 2007-07-31 Microsoft Corporation Speech processing for telephony API
US6343116B1 (en) * 1998-09-21 2002-01-29 Microsoft Corporation Computer telephony application programming interface
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6604107B1 (en) * 2000-04-24 2003-08-05 Ebay Inc. Generic attribute database system for storing items of different categories having shared attributes
US20030200535A1 (en) * 2000-06-09 2003-10-23 Mcnamara Benedict Bede System for program source code conversion
US7660740B2 (en) 2000-10-16 2010-02-09 Ebay Inc. Method and system for listing items globally and regionally, and customized listing according to currency or shipping area
US7191116B2 (en) * 2001-06-19 2007-03-13 Oracle International Corporation Methods and systems for determining a language of a document
US20030018468A1 (en) * 2001-07-20 2003-01-23 Johnson Deanna G. Universal search engine
US7752266B2 (en) * 2001-10-11 2010-07-06 Ebay Inc. System and method to facilitate translation of communications between entities over a network
US7295982B1 (en) * 2001-11-19 2007-11-13 At&T Corp. System and method for automatic verification of the understandability of speech
DE10209928A1 (de) * 2002-03-07 2003-09-18 Philips Intellectual Property Verfahren zum Betrieb eines Sprach-Dialogsystems
US8078505B2 (en) 2002-06-10 2011-12-13 Ebay Inc. Method and system for automatically updating a seller application utilized in a network-based transaction facility
US7941348B2 (en) 2002-06-10 2011-05-10 Ebay Inc. Method and system for scheduling transaction listings at a network-based transaction facility
US8719041B2 (en) * 2002-06-10 2014-05-06 Ebay Inc. Method and system for customizing a network-based transaction facility seller application
DE10256935A1 (de) * 2002-12-05 2004-07-01 Siemens Ag Auswahl der Benutzersprache an einem rein akustisch gesteuerten Telefon
US20040138988A1 (en) * 2002-12-20 2004-07-15 Bart Munro Method to facilitate a search of a database utilizing multiple search criteria
US7548858B2 (en) * 2003-03-05 2009-06-16 Microsoft Corporation System and method for selective audible rendering of data to a user based on user input
US8170863B2 (en) * 2003-04-01 2012-05-01 International Business Machines Corporation System, method and program product for portlet-based translation of web content
JP2006526207A (ja) * 2003-05-12 2006-11-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ メディアオブジェクト検索方法
US7742985B1 (en) 2003-06-26 2010-06-22 Paypal Inc. Multicurrency exchanges between participants of a network-based transaction facility
DE10330263B3 (de) * 2003-07-04 2005-03-03 Lisa Dräxlmaier GmbH Vorrichtung zum Herausziehen bzw. Einsetzen einer Sicherung
US20050192811A1 (en) * 2004-02-26 2005-09-01 Wendy Parks Portable translation device
US9189568B2 (en) * 2004-04-23 2015-11-17 Ebay Inc. Method and system to display and search in a language independent manner
US7672845B2 (en) * 2004-06-22 2010-03-02 International Business Machines Corporation Method and system for keyword detection using voice-recognition
US8009586B2 (en) 2004-06-29 2011-08-30 Damaka, Inc. System and method for data transfer in a peer-to peer hybrid communication network
US20060206310A1 (en) * 2004-06-29 2006-09-14 Damaka, Inc. System and method for natural language processing in a peer-to-peer hybrid communications network
US7656870B2 (en) 2004-06-29 2010-02-02 Damaka, Inc. System and method for peer-to-peer hybrid communications
EP1612660A1 (en) * 2004-06-29 2006-01-04 GMB Tech (Holland) B.V. Sound recording communication system and method
US8050272B2 (en) * 2004-06-29 2011-11-01 Damaka, Inc. System and method for concurrent sessions in a peer-to-peer hybrid communications network
US7933260B2 (en) * 2004-06-29 2011-04-26 Damaka, Inc. System and method for routing and communicating in a heterogeneous network environment
US20070078720A1 (en) * 2004-06-29 2007-04-05 Damaka, Inc. System and method for advertising in a peer-to-peer hybrid communications network
US7623476B2 (en) * 2004-06-29 2009-11-24 Damaka, Inc. System and method for conferencing in a peer-to-peer hybrid communications network
US7778187B2 (en) * 2004-06-29 2010-08-17 Damaka, Inc. System and method for dynamic stability in a peer-to-peer hybrid communications network
US7623516B2 (en) * 2004-06-29 2009-11-24 Damaka, Inc. System and method for deterministic routing in a peer-to-peer hybrid communications network
US7570636B2 (en) * 2004-06-29 2009-08-04 Damaka, Inc. System and method for traversing a NAT device for peer-to-peer hybrid communications
US8437307B2 (en) 2007-09-03 2013-05-07 Damaka, Inc. Device and method for maintaining a communication session during a network transition
US20060015335A1 (en) * 2004-07-13 2006-01-19 Ravigopal Vennelakanti Framework to enable multimodal access to applications
US7640162B2 (en) * 2004-12-14 2009-12-29 Microsoft Corporation Semantic canvas
CN101112078B (zh) * 2005-02-08 2012-04-18 日本电信电话株式会社 信息通信终端、信息通信系统、信息通信方法、信息通信程序及存储该程序的记录媒体
KR100723404B1 (ko) 2005-03-29 2007-05-30 삼성전자주식회사 음성 인식 및 반응을 위한 음성 처리 장치와 방법
JP2006350705A (ja) * 2005-06-16 2006-12-28 Fujifilm Holdings Corp 情報提供装置および方法並びにプログラム
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
US20070021960A1 (en) * 2005-07-20 2007-01-25 Mclean Marc System and method for communicating with a network
US9152982B2 (en) 2005-08-19 2015-10-06 Nuance Communications, Inc. Method of compensating a provider for advertisements displayed on a mobile phone
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8073700B2 (en) 2005-09-12 2011-12-06 Nuance Communications, Inc. Retrieval and presentation of network service results for mobile device using a multimodal browser
US20070106653A1 (en) * 2005-10-12 2007-05-10 Yu Sun Search engine
US8498999B1 (en) * 2005-10-14 2013-07-30 Wal-Mart Stores, Inc. Topic relevant abbreviations
US8229745B2 (en) * 2005-10-21 2012-07-24 Nuance Communications, Inc. Creating a mixed-initiative grammar from directed dialog grammars
US7477909B2 (en) * 2005-10-31 2009-01-13 Nuance Communications, Inc. System and method for conducting a search using a wireless mobile device
US8694319B2 (en) * 2005-11-03 2014-04-08 International Business Machines Corporation Dynamic prosody adjustment for voice-rendering synthesized data
KR100792208B1 (ko) * 2005-12-05 2008-01-08 한국전자통신연구원 음성 대화 시스템에서 답변 문장 생성 방법 및 장치
JP2007219190A (ja) * 2006-02-17 2007-08-30 Murata Mach Ltd 音声認識装置と認識方法及びそのプログラム
US7689554B2 (en) * 2006-02-28 2010-03-30 Yahoo! Inc. System and method for identifying related queries for languages with multiple writing systems
US7698140B2 (en) * 2006-03-06 2010-04-13 Foneweb, Inc. Message transcription, voice query and query delivery system
US8380488B1 (en) 2006-04-19 2013-02-19 Google Inc. Identifying a property of a document
WO2007124385A2 (en) 2006-04-19 2007-11-01 Google Inc. Processing of query terms
US7835903B2 (en) 2006-04-19 2010-11-16 Google Inc. Simplifying query terms with transliteration
US8442965B2 (en) * 2006-04-19 2013-05-14 Google Inc. Query language identification
US8762358B2 (en) * 2006-04-19 2014-06-24 Google Inc. Query language determination using query terms and interface language
US8255376B2 (en) 2006-04-19 2012-08-28 Google Inc. Augmenting queries with synonyms from synonyms map
KR20080000203A (ko) * 2006-06-27 2008-01-02 엘지전자 주식회사 음성인식을 이용한 음악 파일 검색 방법
CA2601207C (en) * 2006-07-07 2014-04-08 Jean Girard Single-leg support
US8639782B2 (en) 2006-08-23 2014-01-28 Ebay, Inc. Method and system for sharing metadata between interfaces
US20080077393A1 (en) * 2006-09-01 2008-03-27 Yuqing Gao Virtual keyboard adaptation for multilingual input
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
EP1902906B1 (en) * 2006-09-22 2017-07-26 Harman Becker Automotive Systems GmbH Add-on module for externally controlling a speech dialog system
JP4398966B2 (ja) * 2006-09-26 2010-01-13 株式会社東芝 機械翻訳を行う装置、システム、方法およびプログラム
US9070363B2 (en) * 2007-10-26 2015-06-30 Facebook, Inc. Speech translation with back-channeling cues
US8972268B2 (en) 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US11222185B2 (en) 2006-10-26 2022-01-11 Meta Platforms, Inc. Lexicon development via shared translation database
US20080126095A1 (en) * 2006-10-27 2008-05-29 Gil Sideman System and method for adding functionality to a user interface playback environment
US20100027768A1 (en) * 2006-11-03 2010-02-04 Foskett James J Aviation text and voice communication system
US7873517B2 (en) 2006-11-09 2011-01-18 Volkswagen Of America, Inc. Motor vehicle with a speech interface
US7742922B2 (en) * 2006-11-09 2010-06-22 Goller Michael D Speech interface for search engines
DE102006057159A1 (de) * 2006-12-01 2008-06-05 Deutsche Telekom Ag Verfahren zur Klassifizierung der gesprochenen Sprache in Sprachdialogsystemen
US7818176B2 (en) * 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
WO2008109781A2 (en) * 2007-03-06 2008-09-12 Cognitive Code Corp. Artificial intelligence system
US8843376B2 (en) 2007-03-13 2014-09-23 Nuance Communications, Inc. Speech-enabled web content searching using a multimodal browser
JP4213755B2 (ja) * 2007-03-28 2009-01-21 株式会社東芝 音声翻訳装置、方法およびプログラム
US7818170B2 (en) * 2007-04-10 2010-10-19 Motorola, Inc. Method and apparatus for distributed voice searching
US8620658B2 (en) * 2007-04-16 2013-12-31 Sony Corporation Voice chat system, information processing apparatus, speech recognition method, keyword data electrode detection method, and program for speech recognition
US8032383B1 (en) * 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet
DE102007027363A1 (de) * 2007-06-11 2008-12-24 Avaya Gmbh & Co. Kg Verfahren zum Betreiben eines Voice-Mail-Systems
US7890493B2 (en) 2007-07-20 2011-02-15 Google Inc. Translating a search query into multiple languages
US8782171B2 (en) * 2007-07-20 2014-07-15 Voice Enabling Systems Technology Inc. Voice-enabled web portal system
US8862164B2 (en) * 2007-09-28 2014-10-14 Damaka, Inc. System and method for transitioning a communication session between networks that are not commonly controlled
US9134904B2 (en) 2007-10-06 2015-09-15 International Business Machines Corporation Displaying documents to a plurality of users of a surface computer
US8139036B2 (en) * 2007-10-07 2012-03-20 International Business Machines Corporation Non-intrusive capture and display of objects based on contact locality
US20090091539A1 (en) * 2007-10-08 2009-04-09 International Business Machines Corporation Sending A Document For Display To A User Of A Surface Computer
US20090091529A1 (en) * 2007-10-09 2009-04-09 International Business Machines Corporation Rendering Display Content On A Floor Surface Of A Surface Computer
US8024185B2 (en) * 2007-10-10 2011-09-20 International Business Machines Corporation Vocal command directives to compose dynamic display text
US8131712B1 (en) 2007-10-15 2012-03-06 Google Inc. Regional indexes
US9754022B2 (en) * 2007-10-30 2017-09-05 At&T Intellectual Property I, L.P. System and method for language sensitive contextual searching
WO2009070718A1 (en) 2007-11-28 2009-06-04 Damaka, Inc. System and method for endpoint handoff in a hybrid peer-to-peer networking environment
US9203833B2 (en) * 2007-12-05 2015-12-01 International Business Machines Corporation User authorization using an automated Turing Test
US7984034B1 (en) 2007-12-21 2011-07-19 Google Inc. Providing parallel resources in search results
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US10176827B2 (en) 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US8615388B2 (en) * 2008-03-28 2013-12-24 Microsoft Corporation Intra-language statistical machine translation
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20090276414A1 (en) * 2008-04-30 2009-11-05 Microsoft Corporation Ranking model adaptation for searching
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
CN101383150B (zh) * 2008-08-19 2010-11-10 南京师范大学 语音软开关的控制方法及其在地理信息系统中的应用
CN101345051B (zh) * 2008-08-19 2010-11-10 南京师范大学 带定量参数的地理信息系统语音控制方法
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
KR101548907B1 (ko) * 2009-01-06 2015-09-02 삼성전자 주식회사 다중언어의 대화시스템 및 그 제어방법
US8650634B2 (en) * 2009-01-14 2014-02-11 International Business Machines Corporation Enabling access to a subset of data
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20130219333A1 (en) * 2009-06-12 2013-08-22 Adobe Systems Incorporated Extensible Framework for Facilitating Interaction with Devices
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110138286A1 (en) * 2009-08-07 2011-06-09 Viktor Kaptelinin Voice assisted visual search
WO2011039773A2 (en) * 2009-09-14 2011-04-07 Tata Consultancy Services Ltd. Tv news analysis system for multilingual broadcast channels
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US8441702B2 (en) * 2009-11-24 2013-05-14 International Business Machines Corporation Scanning and capturing digital images using residue detection
US20110122459A1 (en) * 2009-11-24 2011-05-26 International Business Machines Corporation Scanning and Capturing digital Images Using Document Characteristics Detection
US8379801B2 (en) 2009-11-24 2013-02-19 Sorenson Communications, Inc. Methods and systems related to text caption error correction
US8610924B2 (en) * 2009-11-24 2013-12-17 International Business Machines Corporation Scanning and capturing digital images using layer detection
US11592723B2 (en) 2009-12-22 2023-02-28 View, Inc. Automated commissioning of controllers in a window network
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
EP2531999A4 (en) * 2010-02-05 2017-03-29 Nuance Communications, Inc. Language context sensitive command system and method
US8725895B2 (en) 2010-02-15 2014-05-13 Damaka, Inc. NAT traversal by concurrently probing multiple candidates
US8874785B2 (en) 2010-02-15 2014-10-28 Damaka, Inc. System and method for signaling and data tunneling in a peer-to-peer environment
US8892646B2 (en) 2010-08-25 2014-11-18 Damaka, Inc. System and method for shared session appearance in a hybrid peer-to-peer environment
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8214344B2 (en) 2010-03-16 2012-07-03 Empire Technology Development Llc Search engine inference based virtual assistance
US8689307B2 (en) * 2010-03-19 2014-04-01 Damaka, Inc. System and method for providing a virtual peer-to-peer environment
US9043488B2 (en) 2010-03-29 2015-05-26 Damaka, Inc. System and method for session sweeping between devices
US9191416B2 (en) 2010-04-16 2015-11-17 Damaka, Inc. System and method for providing enterprise voice call continuity
US8352563B2 (en) 2010-04-29 2013-01-08 Damaka, Inc. System and method for peer-to-peer media routing using a third party instant messaging system for signaling
US20110307484A1 (en) * 2010-06-11 2011-12-15 Nitin Dinesh Anand System and method of addressing and accessing information using a keyword identifier
US8446900B2 (en) 2010-06-18 2013-05-21 Damaka, Inc. System and method for transferring a call between endpoints in a hybrid peer-to-peer network
US20110313995A1 (en) * 2010-06-18 2011-12-22 Abraham Lederman Browser based multilingual federated search
US8611540B2 (en) 2010-06-23 2013-12-17 Damaka, Inc. System and method for secure messaging in a hybrid peer-to-peer network
US9633656B2 (en) 2010-07-27 2017-04-25 Sony Corporation Device registration process from second display
US10496714B2 (en) 2010-08-06 2019-12-03 Google Llc State-dependent query response
US8468010B2 (en) 2010-09-24 2013-06-18 Damaka, Inc. System and method for language translation in a hybrid peer-to-peer environment
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
US8743781B2 (en) 2010-10-11 2014-06-03 Damaka, Inc. System and method for a reverse invitation in a hybrid peer-to-peer environment
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US11054792B2 (en) 2012-04-13 2021-07-06 View, Inc. Monitoring sites containing switchable optical devices and controllers
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US8407314B2 (en) 2011-04-04 2013-03-26 Damaka, Inc. System and method for sharing unsupported document types between communication devices
US9015030B2 (en) * 2011-04-15 2015-04-21 International Business Machines Corporation Translating prompt and user input
US8655645B1 (en) * 2011-05-10 2014-02-18 Google Inc. Systems and methods for translation of application metadata
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US8694587B2 (en) 2011-05-17 2014-04-08 Damaka, Inc. System and method for transferring a call bridge between communication devices
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
CN102867511A (zh) * 2011-07-04 2013-01-09 余喆 自然语音识别方法和装置
CN102867512A (zh) * 2011-07-04 2013-01-09 余喆 自然语音识别方法和装置
US8478890B2 (en) 2011-07-15 2013-07-02 Damaka, Inc. System and method for reliable virtual bi-directional data stream communications with single socket point-to-multipoint capability
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9098533B2 (en) 2011-10-03 2015-08-04 Microsoft Technology Licensing, Llc Voice directed context sensitive visual search
CN102523349A (zh) * 2011-12-22 2012-06-27 苏州巴米特信息科技有限公司 一种特色的手机语音搜索的方法
BR112014015844A8 (pt) * 2011-12-26 2017-07-04 Intel Corp determinação das entradas de áudio e visuais de ocupantes baseada em veículo
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
CN102629246B (zh) * 2012-02-10 2017-06-27 百纳（武汉）信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
US8838459B2 (en) 2012-02-29 2014-09-16 Google Inc. Virtual participant-based real-time translation and transcription system for audio and video teleconferences
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9129591B2 (en) 2012-03-08 2015-09-08 Google Inc. Recognizing speech in multiple languages
US9275635B1 (en) 2012-03-08 2016-03-01 Google Inc. Recognizing different versions of a language
US10964320B2 (en) 2012-04-13 2021-03-30 View, Inc. Controlling optically-switchable devices
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
US9098494B2 (en) * 2012-05-10 2015-08-04 Microsoft Technology Licensing, Llc Building multi-language processes from existing single-language processes
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
EP2850842B1 (en) * 2012-05-16 2018-02-28 Tata Consultancy Services Limited A system and method for personalization of an appliance by using context information
US20130315385A1 (en) * 2012-05-23 2013-11-28 Huawei Technologies Co., Ltd. Speech recognition based query method and apparatus
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
WO2013185109A2 (en) * 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
CN103577444B (zh) * 2012-07-30 2017-04-05 腾讯科技（深圳）有限公司 一种操控浏览器的方法及系统
US9485330B2 (en) 2012-07-30 2016-11-01 Tencent Technology (Shenzhen) Company Limited Web browser operation method and system
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140164422A1 (en) * 2012-12-07 2014-06-12 Verizon Argentina SRL Relational approach to systems based on a request and response model
US9195644B2 (en) * 2012-12-18 2015-11-24 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Short phrase language identification
EP2954514B1 (en) 2013-02-07 2021-03-31 Apple Inc. Voice trigger for a digital assistant
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR20140116642A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 음성 인식 기반의 기능 제어 방법 및 장치
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
CN104182432A (zh) * 2013-05-28 2014-12-03 天津点康科技有限公司 基于人体生理参数检测结果的信息检索与发布系统及方法
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
US10529013B2 (en) 2013-07-01 2020-01-07 Intuit Inc. Identifying business type using public information
US9027032B2 (en) 2013-07-16 2015-05-05 Damaka, Inc. System and method for providing additional functionality to existing software in an integrated manner
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN104050965A (zh) * 2013-09-02 2014-09-17 广东外语外贸大学 具有情感识别功能的英语语音发音质量评价系统及方法
US9357016B2 (en) 2013-10-18 2016-05-31 Damaka, Inc. System and method for virtual parallel resource management
TWM484733U (zh) * 2013-10-29 2014-08-21 Bai Xu Technology Co Ltd 語意商業智慧系統
KR102188090B1 (ko) 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US9823811B2 (en) 2013-12-31 2017-11-21 Next It Corporation Virtual assistant team identification
US9589564B2 (en) 2014-02-05 2017-03-07 Google Inc. Multiple speech locale-specific hotword classifiers for selection of a speech locale
US10102848B2 (en) * 2014-02-28 2018-10-16 Google Llc Hotwords presentation framework
CN112627704A (zh) 2014-03-05 2021-04-09 唯景公司 监测含有可切换光学装置和控制器的站点
US9659003B2 (en) * 2014-03-26 2017-05-23 Lenovo (Singapore) Pte. Ltd. Hybrid language processing
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9536521B2 (en) * 2014-06-30 2017-01-03 Xerox Corporation Voice recognition
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
WO2016022574A1 (en) 2014-08-05 2016-02-11 Damaka, Inc. System and method for providing unified communications and collaboration (ucc) connectivity between incompatible systems
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
CN105632498A (zh) * 2014-10-31 2016-06-01 株式会社东芝 生成会议记录的方法、装置和系统
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10134386B2 (en) 2015-07-21 2018-11-20 Rovi Guides, Inc. Systems and methods for identifying content corresponding to a language spoken in a household
CN106372054B (zh) * 2015-07-24 2020-10-09 中兴通讯股份有限公司 一种多语言语义解析的方法和装置
CN105069146B (zh) * 2015-08-20 2019-04-02 百度在线网络技术（北京）有限公司 声音搜索方法和装置
CN105095509B (zh) * 2015-09-06 2019-01-25 百度在线网络技术（北京）有限公司 语音搜索方法及装置
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CA2986948C (en) * 2015-12-23 2020-06-16 Sita Information Networking Computing Ireland Limited Method and system for communication between users and computer systems
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10091025B2 (en) 2016-03-31 2018-10-02 Damaka, Inc. System and method for enabling use of a single user identifier across incompatible networks for UCC functionality
JP7078206B2 (ja) * 2016-04-26 2022-05-31 ビュー， インコーポレイテッド 光学的に切り換え可能なデバイスの制御
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10418026B2 (en) 2016-07-15 2019-09-17 Comcast Cable Communications, Llc Dynamic language and command recognition
CN106294643A (zh) * 2016-08-03 2017-01-04 王晓光 不同语言在大数据中实现实时搜索方法及系统
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10331795B2 (en) * 2016-09-28 2019-06-25 Panasonic Intellectual Property Corporation Of America Method for recognizing speech sound, mobile terminal, and recording medium
JP2018055422A (ja) * 2016-09-29 2018-04-05 株式会社東芝 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
WO2019049089A1 (en) * 2017-09-11 2019-03-14 Indian Institute Of Technology, Delhi METHOD, SYSTEM AND APPARATUS FOR SEARCHING MULTILINGUAL AND MULTIMODAL KEYWORDS IN A MULTILINGUAL ORAL CORPUS
US10747817B2 (en) * 2017-09-29 2020-08-18 Rovi Guides, Inc. Recommending language models for search queries based on user profile
US10769210B2 (en) * 2017-09-29 2020-09-08 Rovi Guides, Inc. Recommending results in multiple languages for search queries based on user profile
US11451511B1 (en) * 2017-11-07 2022-09-20 Verisign, Inc. Audio-based systems, devices, and methods for domain services
CN109840062B (zh) * 2017-11-28 2022-10-28 株式会社东芝 输入辅助装置以及记录介质
KR20190093794A (ko) * 2018-01-17 2019-08-12 주식회사 오리지널메이커스 음성 인식을 이용한 주문 처리 시스템 및 그 주문 처리 방법
US10896213B2 (en) * 2018-03-07 2021-01-19 Google Llc Interface for a distributed network system
CN112055876A (zh) * 2018-04-27 2020-12-08 语享路有限责任公司 利用语音识别技术的多方对话记录/输出方法及用于其的装置
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
CN110888967B (zh) * 2018-09-11 2023-04-28 阿里巴巴集团控股有限公司 搜索方法、装置及设备
US10878804B2 (en) 2018-10-10 2020-12-29 International Business Machines Corporation Voice controlled keyword generation for automated test framework
CN111161706A (zh) * 2018-10-22 2020-05-15 阿里巴巴集团控股有限公司 交互方法、装置、设备和系统
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
US20200135189A1 (en) * 2018-10-25 2020-04-30 Toshiba Tec Kabushiki Kaisha System and method for integrated printing of voice assistant search results
US11069353B1 (en) * 2019-05-06 2021-07-20 Amazon Technologies, Inc. Multilingual wakeword detection
CN110427455A (zh) * 2019-06-24 2019-11-08 卓尔智联(武汉)研究院有限公司 一种客服服务方法、装置和存储介质
US11188967B2 (en) 2019-11-05 2021-11-30 Shopify Inc. Systems and methods for using keywords extracted from reviews
US11328029B2 (en) * 2019-11-05 2022-05-10 Shopify Inc. Systems and methods for using keywords extracted from reviews
US11308542B2 (en) 2019-11-05 2022-04-19 Shopify Inc. Systems and methods for using keywords extracted from reviews
CN111078937B (zh) * 2019-12-27 2021-08-10 北京世纪好未来教育科技有限公司 语音信息检索方法、装置、设备和计算机可读存储介质
CN111401323A (zh) * 2020-04-20 2020-07-10 Oppo广东移动通信有限公司 文字翻译方法、装置、存储介质及电子设备
US20220067279A1 (en) * 2020-08-31 2022-03-03 Recruit Co., Ltd., Systems and methods for multilingual sentence embeddings
US11902343B1 (en) 2021-04-19 2024-02-13 Damaka, Inc. System and method for highly scalable browser-based audio/video conferencing
US11770584B1 (en) 2021-05-23 2023-09-26 Damaka, Inc. System and method for optimizing video communications based on device capabilities
CN113506565A (zh) * 2021-07-12 2021-10-15 北京捷通华声科技股份有限公司 语音识别的方法、装置、计算机可读存储介质与处理器
US20230084294A1 (en) * 2021-09-15 2023-03-16 Google Llc Determining multilingual content in responses to a query

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3704345A (en) * 1971-03-19 1972-11-28 Bell Telephone Labor Inc Conversion of printed text into synthetic speech
US5740349A (en) 1993-02-19 1998-04-14 Intel Corporation Method and apparatus for reliably storing defect information in flash disk memories
US5956740A (en) 1996-10-23 1999-09-21 Iti, Inc. Document searching system for multilingual documents
CA2284304A1 (en) 1998-12-22 2000-06-22 Nortel Networks Corporation Communication systems and methods employing automatic language indentification
US6314398B1 (en) 1999-03-01 2001-11-06 Matsushita Electric Industrial Co., Ltd. Apparatus and method using speech understanding for automatic channel selection in interactive television
US6324512B1 (en) * 1999-08-26 2001-11-27 Matsushita Electric Industrial Co., Ltd. System and method for allowing family members to access TV contents and program media recorder over telephone or internet
US7590538B2 (en) 1999-08-31 2009-09-15 Accenture Llp Voice recognition system for navigating on the internet

Also Published As

Publication number Publication date
ATE349056T1 (de) 2007-01-15
DE60125397D1 (de) 2007-02-01
JP4028375B2 (ja) 2007-12-26
DE60125397T2 (de) 2007-10-18
KR100653862B1 (ko) 2006-12-04
HK1054813A1 (en) 2003-12-12
CN1526132A (zh) 2004-09-01
EP1330816A1 (en) 2003-07-30
WO2002031814A1 (en) 2002-04-18
KR20030046494A (ko) 2003-06-12
AU2002211438A1 (en) 2002-04-22
EP1330816B1 (en) 2006-12-20
US6999932B1 (en) 2006-02-14
JP2004511867A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
CN1290076C (zh) 基于语音的不受语言限制的搜索系统和方法
Waibel et al. Multilinguality in speech and spoken language systems
JP2848458B2 (ja) 言語翻訳システム
Reshamwala et al. Review on natural language processing
US6374224B1 (en) Method and apparatus for style control in natural language generation
US6442524B1 (en) Analyzing inflectional morphology in a spoken language translation system
JP4050755B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP4439431B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
CN1742273A (zh) 多模态语音－语音语言翻译和显示
JP2019070799A (ja) 自然言語の双方向確率的な書換えおよび選択
JP2002524806A (ja) 音声認識および自然言語処理を使用したネットワーク用対話型ユーザ・インタフェース
WO2000045376A1 (en) A method and apparatus for interactive source language expression recognition and alternative hypothesis presentation and selection
WO2000045377A1 (en) A method and apparatus for performing spoken language translation
JP4740837B2 (ja) 音声認識における統計的言語モデリング方法、システム及び記録媒体
Fung et al. Multilingual spoken language processing
Garner et al. Translation and prosody in Swiss languages
JPH07191687A (ja) 自然言語処理装置及びその方法
Wang Porting the galaxy system to Mandarin Chinese
Lestari et al. Adaptation to pronunciation variations in Indonesian spoken query-based information retrieval
Maskey et al. A phrase-level machine translation approach for disfluency detection using weighted finite state transducers
Qorib et al. Building MEDISCO: Indonesian Speech Corpus for Medical Domain
Adell Mercado et al. Buceador, a multi-language search engine for digital libraries
CN117094329B (zh) 一种用于解决语音歧义的语音翻译方法及装置
Donaj et al. Manual sorting of numerals in an inflective language for language modelling
Bux et al. Speech to Text by Using the Sindhi Language

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061213

Termination date: 20161003