特開 2022-8437 自然言語会話に関連する情報の視覚的提示

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022008437

(43)【公開日】2022-01-13

(54)【発明の名称】自然言語会話に関連する情報の視覚的提示

(51)【国際特許分類】

   G10L 15/22 20060101AFI20220105BHJP

   G10L 15/10 20060101ALI20220105BHJP

   G10L 15/00 20130101ALI20220105BHJP

   G06F 16/90 20190101ALI20220105BHJP

   G06F 3/16 20060101ALI20220105BHJP

【ＦＩ】

G10L15/22 453

G10L15/10 500T

G10L15/22 460Z

G10L15/00 200T

G06F16/90 100

G06F3/16 650

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021152158

(22)【出願日】2021-09-17

(62)【分割の表示】P 2019136153の分割

【原出願日】2019-07-24

(31)【優先権主張番号】16/052,930

(32)【優先日】2018-08-02

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507134068

【氏名又は名称】サウンドハウンド，インコーポレイテッド

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】バーナード・モン－レイノー

(72)【発明者】

【氏名】ジョナ・プロベル

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175EA01

(57)【要約】      （修正有）

【課題】ビデオ会議、ウェアラブルデバイス、拡張現実及び車両のヘッドアップディスプレイに適用し、発話に関連する情報を自動で視覚的に提示する方法、システム、マシン、製造製品及びコンピュータ読取可能コードを提供する。
【解決手段】自然言語表現に応じて情報を表示する方法は、会話の参加者から自然言語表現を受けて処理することにより、トピック及びコンセプトを判断し、検索が関連情報を発見する。関連情報は、参加ユーザに対して視覚的に表示される。トピック、コンセプト及び情報検索結果の関連度及び非繰り返しを解析する。関連度は、ユーザプロファイル、会話履歴及び環境情報に依存する。また、他の情報を、言葉によらない方式によって要求することができる。検索及び表示される情報は、会話で話された言語以外の言語であってもよく、多数参加者による会話を処理できる。
【選択図】図７

【特許請求の範囲】

【請求項1】

第１の人物と第２の人物との間の自然言語会話の質を高めるための、コンピュータによって実現される方法であって、前記方法は、
前記第１の人物の発話を含む音声信号を受けるステップと、
前記音声信号に対して音声認識を適用することにより、前記発話に対応する自然言語表現を得るステップと、
前記自然言語表現を解析することにより、前記自然言語表現に関連するトピックを特定するステップと、
前記トピックに関連する情報を検索するステップと、
前記検索から検索結果を取得するステップと、
前記検索結果を前記第２の人物に対して表示させるステップとを含む、方法。

【請求項2】

前記トピックに対応する関連度値を計算するステップをさらに含み、
前記検索は、前記トピックに対応する関連度値が関連度しきい値よりも高いことに応じて実行される、請求項１に記載の方法。

【請求項3】

前記トピックに対応する関連度値を計算するステップをさらに含み、
前記トピックに関連する情報の検索の検索結果を、前記トピックに対応する関連度値が関連度しきい値よりも高いことに応じて表示させる、請求項１に記載の方法。

【請求項4】

前記自然言語表現を解析することにより、前記自然言語表現に関連する少なくとも１つの他のトピックを特定するステップと、
前記トピックそれぞれに対応する関連度値を計算するステップとをさらに含み、
前記検索は、前記関連度値が最も高いトピックに対して実行される、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記自然言語表現を解析することにより、前記自然言語表現に関連する少なくとも１つの他のトピックを特定するステップと、
前記少なくとも１つの他のトピックに関連する情報を検索するステップと、
前記少なくとも１つの他のトピックに関連する情報の検索の少なくとも１つの他の検索結果を取得するステップと、
前記検索結果それぞれに対応する関連度値を計算するステップとをさらに含み、
前記表示させる検索結果は、前記関連度値が最も高い検索結果である、請求項１～３のいずれか１項に記載の方法。

【請求項6】

前記検索は、前記トピックが最近のトピックのリストに含まれていないことが確認されたことに応じて実行される、請求項１に記載の方法。

【請求項7】

前記トピックに関連する情報の検索の検索結果を、前記検索結果が最近表示された検索結果のリストに含まれていないことが確認されたことに応じて、表示させる、請求項１に記載の方法。

【請求項8】

前記トピックに関連するコンセプトを特定するステップをさらに含み、
前記検索は、前記コンセプトに関連する情報を検索することによって実行される、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記検索結果を前記第２の人物のみに対して表示させる、請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記検索結果を表示させた後に、前記第２の人物から、言葉によらない技術による、他の情報を求める要求を、受けるステップと、
前記他の情報を取得するステップと、
前記他の情報を前記第２の人物に対して表示させるステップとをさらに含む、請求項１～９のいずれか１項に記載の方法。

【請求項11】

前記検索結果を前記第２の人物に対して表示させるステップは、前記第２の人物に対応付けられたウェアラブルディスプレイデバイスの視界の中に前記検索結果を表示させるステップを含む、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

前記検索結果を前記第２の人物に対して表示させるステップは、
前記第２の人物に対応付けられたディスプレイ内における顔の位置を検出するステップと、
前記第２の人物に対応付けられたディスプレイの、前記顔に重ならない部分に、前記検索結果を表示させるステップとをさらに含む、請求項１～１１のいずれか１項に記載の方法。

【請求項13】

前記検索結果を前記第２の人物に対して表示させるステップは、前記第２の人物に対応付けられた車両のヘッドアップディスプレイに前記検索結果を表示させるステップをさらに含む、請求項１～１２のいずれか１項に記載の方法。

【請求項14】

前記自然言語表現は第１の人間言語の自然言語表現であり、
前記方法は、前記第１の人間言語の前記自然言語表現を、第２の人間言語の自然言語表現に翻訳するステップをさらに含み、前記自然言語表現を解析するステップは、前記第２の人間言語の前記自然言語表現を解析するステップを含む、請求項１に記載の方法。

【請求項15】

前記第１の人物に関するプロファイル情報を格納するステップをさらに含み、前記関連度値は、前記第１の人物の前記プロファイル情報に基づいて計算される、請求項２～５のいずれか１項に記載の方法。

【請求項16】

前記プロファイル情報はユーザからの関連度フィードバックに依存する、請求項１５に記載の方法。

【請求項17】

第３の人物の第２の発話を含む第２の音声信号を受けるステップと、
前記第２の音声信号に対して音声認識を適用することにより、前記第２の発話に対応する第２の自然言語表現を得るステップと、
前記第２の自然言語表現を解析することにより、前記第２の自然言語表現に関連する第２のトピックを特定するステップと、
前記第２のトピックに関連する情報を検索するステップと、
前記検索の第２の検索結果を取得するステップと、
前記第２の検索結果を前記第２の人物に対して表示させるステップとをさらに含む、請求項１に記載の方法。

【請求項18】

コンピュータのコンポーネントによって実行されると前記コンピュータに請求項１～１７のいずれか１項に記載の方法を実行させるコンピュータ読取可能コード。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１８年８月２日に出願された発明者Bernard Mont-Reynaudによる米国特許出願第１６／０５２，９３０号に基づく優先権を主張する。

【背景技術】

【0002】

背景
１．発明の分野
本発明は、概して情報を表示することに関し、より具体的には自然言語会話中の発話に関連する情報を自動で視覚的に提示することに関する。

【0003】

２．関連技術
時として、会話中に、言及したいことの名称を忘れることがある。時として、直ちに調べたいことがあるのに、特にAmazon Alexaのような音声インターフェイスを搭載した情報デバイスを使用しているときには、会話を中断せずにブラウザにアクセスすることができない場合がある。時として、会話の別の参加者が話したことに関する情報が欲しいことがある。時として、まだそれには気付いてもいないが、会話が、特定の情報を要する可能性が極めて高いものに変化する可能性がある場合がある。

【0004】

たとえば、次のフットボールの試合に関する会話中において、天気予報を知っていることは良いことであろう。別の例において、以前の同僚と昼食を共にする場所に着いたときに、その同僚の子供がどのように過ごしているかを名前を挙げて尋ねたいと思うものの、この同僚の子供の名前を思い出せないことがある。また別の例において、マルチプレイヤーゲームの中でチームのメンバーの現状を知っていることは良いことであろう。

【発明の概要】

【0005】

本発明の具体的な特徴、局面、および利点は、以下の説明および添付の図面に関連してより良く理解されるようになるであろう。

【図面の簡単な説明】

【0006】

【図1】発話に関連する情報を自動で視覚的に提示することを容易にするコンピュータアーキテクチャの一例を示す図である。

【図2】発話に関連する情報を自動で視覚的に提示する方法の一例のフローチャートを示す図である。

【図3】発話に関連する情報を自動で視覚的に提示することを容易にするコンピュータアーキテクチャの別の一例を示す図である。

【図4】発話に関連する情報を自動で視覚的に提示する方法の一例の別のフローチャートを示す図である。

【図5】発話に関連する情報を自動で視覚的に提示することを容易にするコンピュータアーキテクチャの他の例を示す図である。

【図6】発話に関連する情報を自動で視覚的に提示する方法の一例の他のフローチャートを示す図である。

【図7】自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図8】関連度スコアを用いて自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図9】複数のトピックについての自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図10】複数のトピックについての自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図11】情報を繰り返すことなく自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図12】検索のためにコンセプトを用いて自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図13】自然言語表現に応じて情報を表示しかつ他の情報を求める要求を受け入れるためのデータフローを示す図である。

【図14】代替人間言語による自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図15】特定のユーザについての関連度に基づいて自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図16】複数の人物からの自然言語表現に応じて情報を表示するためのデータフローを示す図である。

【図17】ある実施形態に係る複数のデバイスをサポートするコンピュータアーキテクチャを示す図である。

【図18A】媒体インターフェイスに関連するデバイスモジュールを備えたコンピュータアーキテクチャを示す図である。

【図18B】１人の参加ユーザのための媒体インターフェイスに関連するデバイスモジュールを備えたコンピュータアーキテクチャを示す図である。

【図19】ビデオ会議システムを示す図である。

【図20】ウェアラブルデバイスを示す図である。

【図21】仮想現実眼鏡を示す図である。

【図22】車両のヘッドアップディスプレイを示す図である。

【図23A】回転ディスクの一例を示す図である。

【図23B】フラッシュランダムアクセスメモリ（ＲＡＭ）チップの一例を示す図である。

【図24A】パッケージングされたシステムオンチップ（ＳｏＣ）のはんだボール側の一例を示す図である

【図24B】システムオンチップ（ＳｏＣ）のアーキテクチャの一例を示す図である。

【図25A】ラックベースのサーバの一例を示す図である。

【図25B】サーバのアーキテクチャの一例を示す図である。

【発明を実施するための形態】

【0007】

詳細な説明
本発明は、発話に関連する情報を自動で視覚的に提示するための、方法、システム、マシン、製造製品、およびコンピュータ読取可能コードに及ぶ。辞書によると、発話（utterance）とは、途切れのない一続きの話し言葉または書き言葉である。発話は、音声であ
ろうとテキストであろうと、常に言葉によるものである。会話は順番に話をすることであり、一回の話が発話である。本明細書において、発話を自然言語表現とも呼び、これらの用語を同義で使用する。自然言語表現（natural language expression）（ＮＬＥ）は、
たとえば、話された１つ以上の単語、話された句、話された文、または数単語のテキストで構成される。

【0008】

本発明の局面は、自然言語理解（natural language understanding）（ＮＬＵ）および検索を用いて、発話に関連する情報を実質的にリアルタイムで特定する。ＮＬＵは、文法規則に従って表現をパースすることと、パースによって抽出された用語の意味論上の意味に従ってパースを解釈することとを含む。検索は、タグの使用、インデックス、ソート、またはコンピュータサイエンスコースで教示されるその他の方法などにより、情報のコー
パス内においてもしあれば所望の情報を発見するための、任意のクラスのアルゴリズムである。

【0009】

特定した関連情報は、たとえば、電話、ビデオ会議、ゲーム、または拡張現実体験中などにおいて、デバイスに、これも実質的にリアルタイムで視覚的に表示することができる。この情報の関連度を予想することができ、この関連情報は、会話に基づいて、ちょうどよいときに関連情報を提供することによって提示することができる。関連情報は、人物から見えるディスプレイに自動的に現れる。

【0010】

いくつかの局面は、関連度スコアを計算し、情報をその関連度に基づいてフィルタリングする。その他の実施形態は、関連度スコアを、しきい値と比較することにより、または、異なる情報間で関連度スコアを比較することにより、計算する。関連情報と既に表示されている情報との重複を検出することにより、確実に、表示された情報が会話中に繰り返されることがないようにすることができる。しかしながら、過去に表示されたことがあるが今は表示されていない情報は、関連があることが再びわかった場合は、再度表示することができる。表示される情報は、天気、スポーツ、地域のようなトピックに、または、特定のエンティティもしくはアクティビティのような特定されたコンセプトに、関連する可能性がある。

【0011】

ある局面では、発話を第１の人物から受け、関連情報を第２の人物に対して表示する。別の局面では、発話を第１の人物から受け、関連情報を第１の人物および第２の人物双方に対して表示する。

【0012】

複数の局面は、人物が、追加情報を要求すること、情報を後で使用するために保存すること、または情報を他人と共有することを、支援することができる。人物は、表示された情報に関する、その関連度などのフィードバックを提供することができる。情報は、異なる人間言語間で翻訳することができる。

【0013】

いくつかの局面は、ディスプレイに人間の顔とともに表示情報を重畳し、顔位置検出を計算し、顔が重ならないようにディスプレイを動的に配置する。情報選択を、ユーザプロファイルまたは環境要因に基づいて表示するようにする。ある会話における複数または多数の人物からの自然言語表現に対してＮＬＵを実行することができる。任意で、広告またはその他の説得力のある情報を、言葉によるやり取りに関連する情報とともに、表示することができる。

【0014】

本発明の局面を実現するデバイスは、ビデオ会議システム、拡張現実アイウェア、その他のウェアラブルデバイス、または車両のヘッドアップディスプレイを含む。

【0015】

本発明の局面は、会話の参加者が言及したい物事の名称を思い出すのを助けること、人物が直ちにブラウザにアクセスできないときにまたは音声インターフェイスを搭載した情報デバイスの使用が会話を中断させるようなときに何かを調べることを可能にすること、会話の他の参加者が言及したことに関する情報を提供すること、および、会話における次の話に関連がある可能性がある情報を提示することなど、さまざまな利点を提供する。

【0016】

従来のスクリーンキャスティングとは異なり、本発明の局面は、人物のインターフェイスデバイスに情報を自動的に提供する。従来の自動キャプションシステムとは異なり、本発明の局面は、自然言語を理解しそれに応じて反応する。従来のボイスコール解析とは異なり、本発明の局面は、関連情報を検索し、検索結果を人物に提供する。１人のユーザ／話者に対して応答するだけの従来の自然言語質問応答システムとは異なり、本発明の局面は、別の人物が話すことに基づいて、１人以上の人物に対して応答する。従来の拡張現実
ビデオ会議システムとは異なり、本発明の局面は、共有仮想オブジェクトの明確なコマンドまたは操作なしで、会話の参加者の表現を解釈しそれに対して作用する。

【0017】

本発明の実施形態は、以下でより詳細に説明するように、たとえば１つ以上のプロセッサおよびシステムメモリのようなコンピュータハードウェアを含む専用または汎用コンピュータを備えるまたは利用することができる。本発明の範囲に含まれる実施形態はまた、コンピュータ実行可能命令および／またはデータ構造を保持または格納するための物理およびその他のコンピュータ読取可能媒体を含む。このようなコンピュータ読取可能媒体は、汎用または専用コンピュータシステムからアクセス可能な、利用できる任意の媒体であればよい。コンピュータ実行可能命令を格納するコンピュータ読取可能媒体は、コンピュータ記憶媒体（装置）である。コンピュータ実行可能命令を保持するコンピュータ読取可能媒体は、伝送媒体である。このように、限定する訳ではなく一例として、本発明の実施形態は、明確に異なる少なくとも２種類のコンピュータ読取可能媒体、すなわち、コンピュータ記憶媒体（装置）と伝送媒体とを含み得る。

【0018】

コンピュータ記憶媒体（装置）は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、ソリッドステートドライブ（「ＳＳＤ」）（たとえばＲＡＭに基づく）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、その他のタイプのメモリ、その他の光ディスク記憶、磁気ディスク記憶もしくはその他の磁気記憶装置、または、コンピュータ実行可能命令もしくはデータ構造の形態の所望のプログラムコード手段を格納するために使用することができかつ汎用もしくは専用コンピュータからアクセス可能な、その他任意の媒体を、含み得る。

【0019】

「ネットワーク」は、コンピュータシステムおよび／またはモジュールおよび／またはその他の電子デバイス間における電子データの搬送を可能にする１つ以上のデータリンクとして定義される。情報をネットワークまたは別の通信接続（ハードワイヤード、ワイヤレス、またはハードワイヤードまたはワイヤレスの組み合わせ）を介してコンピュータに転送または提供するとき、コンピュータは、この接続を正しく伝送媒体とみなす。伝送媒体は、コンピュータ実行可能命令またはデータ構造の形態の所望のプログラムコード手段を搬送するために使用することができかつ汎用または専用コンピュータからアクセス可能な、ネットワークおよび／またはデータリンクを含み得る。これらを組み合わせたものも、コンピュータ読取可能媒体の範囲に含まれなければならない。

【0020】

さらに、コンピュータ実行可能命令またはデータ構造の形態のプログラムコード手段は、各種コンピュータシステムコンポーネントに到達すると、伝送媒体からコンピュータ記憶媒体（装置）に（またはその逆に）自動的に転送することができる。たとえば、ネットワークまたはデータリンクを介して受けたコンピュータ実行可能命令またはデータ構造は、ネットワークインターフェイスモジュール（たとえば「ＮＩＣ」）内のＲＡＭにバッファすることができ、その後、最終的には、コンピュータシステムのＲＡＭにおよび／またはコンピュータシステムの低揮発性コンピュータ記憶媒体（装置）に転送することができる。ＲＡＭはまた、ソリッドステートドライブ（ＳＳＤまたはペリフェラルコンポーネントインターコネクト拡張（ＰＣＩｘ）ベースのリアルタイムメモリ階層記憶装置、たとえばFusionIO）を含み得る。よって、コンピュータ記憶媒体（装置）は、伝送媒体も（または伝送媒体を主としてすら）利用するコンピュータシステムコンポーネントに含まれ得ることが、理解されるはずである。

【0021】

コンピュータ実行可能命令は、たとえば、プロセッサで実行されると、汎用コンピュータ、専用コンピュータ、または専用処理装置に、特定の機能または一群の機能を実行させる、命令およびデータを含む。コンピュータ実行可能命令は、たとえば、アセンブリ言語
またはさらにはソースコードのような、バイナリ中間フォーマット命令であってもよい。主題を構造的特徴および／または方法論的作用に固有の表現で説明してきたが、以下の請求項において定められる主題は必ずしも上記特徴または作用に限定される訳ではないことが理解されねばならない。それよりもむしろ、上記特徴および作用は、請求項を実現する形態の例として開示される。

【0022】

パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラマブルコンシューマ電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、タブレット、ページャ、ルータ、スイッチ、各種記憶装置などを含む、多種のコンピュータシステム構成を有するネットワークコンピューティング環境において、本発明を実施し得ることを、当業者は理解するであろう。また、本発明は、ローカルコンピュータシステムおよびリモートコンピュータシステムがネットワークを介して（ハードワイヤードデータリンク、ワイヤレスデータリンク、またはハードワイヤードおよびワイヤレスデータリンクの組み合わせのいずれかによって）リンクされどちらもタスクを実行する、分散型システム環境で実施することもできる。分散型システム環境におおいて、プログラムモジュールは、ローカルメモリ記憶装置およびリモートメモリ記憶装置双方に配置することができる。

【0023】

本発明の実施形態は、クラウドコンピューティング環境でも実現できる。この説明および以下の請求項において、「クラウドコンピューティング」は、仮想化を通して素早くプロビジョニングされ最小の管理労力またはサービスプロバイダとのやり取りを伴ってリリースされその後しかるべくスケーリングされることができる、設定可能なコンピューティングリソース（たとえばネットワーク、サーバ、記憶装置、アプリケーション、およびサービス）の共有プールに対する、ユビキタスで便利なオンデマンドのネットワークアクセスを可能にする手法として、定義される。クラウド手法は、さまざまな特徴（たとえば、オンデマンドセルフサービス、ブロードネットワークアクセス、リソースプーリング、迅速な拡張性、測定サービスなど）、サービス（たとえばサービスとしてのソフトウェア（ＳａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのインフラストラクチャ（ＩａａＳ））、およびデプロイ（たとえばプライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウドなど）で、構成することができる。本発明に関して説明するデータベースおよびサーバは、クラウド手法に含めることができる。

【0024】

さらに、必要に応じて、本明細書に記載の機能は、ハードウェア、ソフトウェア、ファームウェア、デジタルコンポーネント、またはアナログコンポーネントのうちの１つ以上で実行することができる。たとえば、１つ以上の特定用途向け集積回路（ＡＳＩＣ）を製造する、または、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）をプログラムすることにより、本明細書に記載のシステムおよび手順のうちの１つ以上を実施することができる。以下の説明および請求項では、特定の用語を使用して特定のシステムコンポーネントに言及する。コンポーネントは異なる名称で呼ばれる場合もあることを当業者は理解するであろう。この文書は、機能ではなく名称が異なるコンポーネントを区別することは意図していない。

【0025】

図１は、発話に関連する情報を自動で視覚的に提示することを容易にするコンピュータアーキテクチャ１００を示す。示されているように、コンピュータアーキテクチャ１００は、デバイス１０２、１０４、および１０８と、ネットワーク記憶装置１１３とを含む。デバイス１０４はさらにディスプレイ１０６を含む。デバイス１０８はさらに、配信モジュール１０９と、バッファ１１１と、検索モジュール１１２とを含む。

【0026】

デバイス１０２および１０４は、通信ネットワークを介して相互に通信することが可能な電子／デジタルデバイスである（たとえば携帯電話、コンピュータシステムなど）。また、デバイス１０２および１０４の各々は、音声通信の伝送を容易にするマイクおよびスピーカー（図示せず）のようなコンポーネントを含み得る。たとえば、人物１０１は、デバイス１０２のある場所またはその近くで話すことができる。デバイス１０２の中にあるマイクは、音響エネルギ（音波）を電気エネルギ（音声信号）に変換する。デバイス１０２は、（場合によってはデジタルフォーマットの）音声信号をデバイス１０４に送信する。音声信号は、発話をネットワークを介してデバイス１０４に伝えることができる。デバイス１０４は、音声信号をネットワークを介して受信する。デバイス１０４の中にあるスピーカーは、音声信号を、人物１０１の話を再生する音響エネルギ（音波）に戻すように変換する。そうすると、人物１０７は、人物１０１が話したことを聞くことができる。人物１０７の音声も同様にデバイス１０４からデバイス１０２に伝送される。このように、人物１０１および１０７は、それぞれデバイス１０２および１０４を用いて、互いに言葉による会話を行うことができる。

【0027】

ある局面において、通信ネットワーク（たとえばセルラーネットワーク、無線ネットワークなど）は、１つ以上の通信チャネルを、デバイス１０２および１０４による使用のために割り当てる。ある局面では、１つのチャネルを割り当てることにより、デバイス１０２と１０４との間における音声通信の単方向の伝達を容易にする。別の局面では、複数のチャネルを割り当てることにより、デバイス１０２と１０４との間における音声通信の双方向の伝達を容易にする。

【0028】

一般的に、デバイス１０８は、デバイス１０２と１０４との間の通信チャネル、ネットワーク接続などをモニタリングするように構成されている。デバイス１０８は、デバイス１０２と１０４との間で伝送されるＮＬＥのような音声信号を傍受することができる。検索モジュール１１２は、必要であれば自動音声認識（automatic speech recognition）（ＡＳＲ）を用いて、傍受されたＮＬＥの内容に基づきＮＬＥの内容に関連する検索語を作成することができる。ＮＬＥに適用されるＮＬＵおよびドメイン知識は、フィルタ、追加用語、または、ＮＬＥでは明確に表現されていない関連情報などの、追加の検索パラメータを生成することができる。１つ以上の検索手順が可能である。検索モジュール１１２は、たとえばウェブサイト、オンラインデータベース、ソーシャルメディアネットワークなどのような、ネットワーク記憶場所に、検索語を含むクエリをサブミットすることができる。関連情報の検索は、ドメイン情報に従って拡大することができる。たとえば、今後数日におけるテニスの試合またはホテルの検索は、テニスの試合またはホテルの日付および場所の天気に関する関連情報を含むように拡大してもよい。ネットワーク記憶場所は、クエリに応じて、さまざまな検索語に適合する情報の場所を特定しこの情報を返すことができる。このように、ネットワーク記憶場所は、デバイス１０２と１０４と間で伝送される（したがって人物１０１と１０７との間の会話にも関連する）ＮＬＥの内容に関連する情報を返すことができる。

【0029】

デバイス１０８は、ネットワーク記憶場所から返された関連情報をバッファ１１１にバッファリングすることができる。バッファ１１１は、システムメモリ内のキャッシュとして維持することができる、または、より持続性の高い記憶装置に依存することができる。配信モジュール１０９は、いつ関連情報が人物の関心を引くことができるかを予想することができる。具体的には、配信モジュール１０９は、傍受されたＮＬＥの情報の内容自体およびその他の特徴（サイズ、ソースデバイスなど）、傍受されたその他のＮＬＥの内容およびその他の特徴（伝達頻度、サイズ、ソースデバイスなど）、人物（１０１または１０７）に関する知識および彼らの現在の目的と意図、ならびに過去の対話に基づいて、関連情報に対する人物の関心を予想することができる。その他のＮＬＥは、傍受されたＮＬＥよりも前または後に、傍受することができる。

【0030】

配信モジュール１０９は、関連情報を、バッファ１１１から、傍受されたＮＬＥを受けたデバイスに、この関連情報が人物の関心を引く前に届くように、送信することができる。

【0031】

図２は、発話に関連する情報を自動で視覚的に提示するための方法の一例のフローチャート２００を示す。方法２００を、コンピュータアーキテクチャ１００内のコンポーネントおよびデータとの関連で説明する。

【0032】

方法２００は、第１のデバイスから第２のデバイスに電子的に送信される自然言語表現を傍受することを含み、自然言語表現は、第１のデバイス１０２を使用する第１の人物１０１と第２のデバイス１０４を使用する第２の人物１０７との間の会話に含まれる。ＮＬＥ１０３などの発話は、先ず傍受され（２０１）、その後、その自然言語内容が解析される。たとえば、デバイス１０８は、ＮＬＥ１０３がデバイス１０２からデバイス１０４に電子的に送信されるときに、ＮＬＥ１０３を傍受することができる。ＮＬＥ１０３は、人物１０１と人物１０７との間の会話の一部である。傍受した自然言語発話（ＮＬＥ１０３）を、ＮＬＵ技術を用いて解析する。このような解析は、コンテンツワード、トピック、または発話の意図を認識することができるであろう。ＮＬＵ解析の使用については以下でさらに説明する。

【0033】

方法２００は次に、ＮＬＥ１０３から抽出された、いずれかのコンテンツワード、トピックまたは意図を含む、ＮＬＵ解析結果に基づいて、ネットワーク記憶場所に格納されている、自然言語表現に関連する情報の場所を、特定する（２０２）。たとえば、検索モジュール１１２は、必要であればＡＳＲを用い、かつ場合によってはＮＬＵおよびドメイン知識を用いて、ＮＬＥ１０３の内容から、１つ以上のクエリ１１６を作成することができる。検索モジュール１１２は、１つ以上のクエリ１１６を、ローカルディスクおよびデータベースならびにネットワーク記憶場所を含む、１つ以上の記憶装置１１３に、サブミットする。記憶装置１１３は、デバイス１０８から１つ以上のクエリ１１６を受けることができる。記憶装置１１３は、これに応じて、関連情報１１４を特定して返す。関連情報１１４は、ＮＬＥ１０３に関連する情報であればよい。

【0034】

また、方法２００は、自然言語表現１０３から抽出された任意のコンテンツワード、トピック、または意図に基づき、かつ、現在までの会話に基づき、第２の人物の関心のモデルを更新することを含む。いくつかの局面に従うと、ある人物の関心のモデルは、ユーザプロファイルの一部として格納される長期データ構造である。これは、天気、スポーツ、および株価のようなトピックのリストを含む。いくつかの局面に従うと、ある人物の関心のモデルは、Facebook、Mark Zuckerberg、および株式のティッカーシンボルＦＢ、なら
びに人物の子供たちの名前のような、特定のエンティティを含む。いくつかの局面に従うと、ある人物の関心のモデルは、ある意図、トピック、またはエンティティのようなコンテンツワードに関連する、その人物が作成したまたは受けた表現の頻度または最新度に基づく、関心のレベルの表示を含む。

【0035】

ある局面において、意図（intent）は、スロット値のペアで表され、ＮＬＵは主としてＮＬＥからこのようなペアを抽出する。たとえば、ＮＬＥが「find me a flight from San Francisco to Seattle（サンフランシスコ発シアトル行きのフライトを探して）」である場合、スロット値のペアは、（ＩＮＴＥＮＴ，“ＦＬＩＧＨＴ＿ＲＥＳＥＲＶＡＴＩＯＮ）、（ＦＬＩＧＨＴ＿ＦＲＯＭ，“ＳＦＯ”）、（ＦＬＩＧＨＴ＿ＴＯ，“ＳＥＡ”）、（ＣＩＴＹ＿ＦＲＯＭ，“ＳＡＮ ＦＲＡＮＣＩＳＣＯ”）、（ＣＩＴＹ＿ＴＯ，“ＳＥＡＴＴＬＥ”）、対応する日付および時間情報、ならびに、（ＴＯＰＩＣ，“ＴＲＡＶＥＬ”）、のようなものを含み得る。

【0036】

このような実施形態において、対話の各発話は、スロット値ペアのセット（「バンドル」）を生成し、会話は、複数のこのようなバンドルが一続きになったものとして要約される。いくつかの局面に従うと、これらのバンドルは、JavaScript（登録商標） Object Notation（ＪＳＯＮ）または拡張可能なマークアップ言語（ＸＭＬ）を用いて記述されたデータ構造として格納され送信される。上記一続きを、会話の簡単な要約（quick summary
）として使用することができる。

【0037】

このような実施形態において、ある人物の関心のモデルは、この要約に基づいて更新することができる。たとえば、空港エンティティ（「ＳＦＯ」および「ＳＥＡ」）、都市エンティティ（「ＳＡＮ ＦＲＡＮＣＩＳＣＯ」および「ＳＥＡＴＴＬＥ」）、トピック（「ＴＲＡＶＥＬ」）、および表現の意図（「ＦＲＩＧＨＴ＿ＲＥＳＥＲＶＡＴＩＯＮ」）はすべて、このモデルの一部になり得る。現在までの会話についての各スロット値ペアに、個別の関連度重みを与えてもよい。連続するバンドル内のスロット値ペアの関連度重みを、蓄積するかそうでなければ組み合わせることにより、第２の人物の関心のプロファイルを、エンティティおよび関連度重みのリストとして作成することができる。重みを蓄積することは、「ＳＦＯ」からの２つのフライトに関する問い合わせのように情報に互換性がある場合に、適切である。重みを組み合わせることは、「What if I flew to Vancouver instead?（代わりにバンクーバーへのフライトにしてはどうだろうか）」という表現の後で「ＳＥＡ」の重みを減じるなど、その他の形態を取ることができる。その他の実施形態において、ある人物の関心のモデルは、各々が関連度重みを有するトピック、意図およびエンティティからなる単純なセットよりも複雑な形態を取り得る。モデルのパワーおよび複雑度は、ＮＬＵシステムの理解の深さを反映する。たとえば、より賢いシステムは、否定、仮定、ナビゲーション、時系列または特定の日付のイベントの計画などを理解し得る。それでもなお、上述の比較的単純な技術は、現在までの会話に基づいて個人の関心のモデルを更新するのに十分であろう。

【0038】

いくつかの局面に従うと、方法２００はまた、人物の関心のモデルに基づいて、場所を特定した情報の関連度スコアを計算することを含む。情報の位置は、「シアトルの天気」のような特定の検索語に基づく検索クエリに従って特定される。上述のような関連度重みに基づくモデルの実施形態において、関連度スコアの計算は単純である。ある局面では、モデル内に一致するものがない検索語の関連度スコアを低く設定し、モデル内に一致するものがある検索語の関連度スコアは、このモデル内におけるこの検索語の関連度重みである。より複雑な変形例では、「ＦＬＩＧＨＴ＿ＴＯ」ｃｉｔｙ（都市へのフライト）に対する「weather（天気）」の関連度重みを用い「Seattle（シアトル）」の関連度重みで乗算することにより、「Seattle weather（シアトルの天気）」の関連度スコアを得る。

【0039】

いくつかの局面に従うと、方法２００はまた、場所を特定した情報の関連度スコアをしきい値と比較することを含む。このしきい値は、固定してもよく、または、正規化要求を反映するようにスケーリングしてもよい。しきい値は、場所を特定した情報が十分にある場合は、送信する情報が少なくなるように、増大する必要がある。これにより、帯域幅を減じることができるとともにシステムユーザを過剰な情報で圧倒することを避けることができる。

【0040】

方法２００は、情報を、この情報が第２の人物の関心を引くと予想されるときまで、バッファリングすることを含む（２０３）。たとえば、デバイス１０８は、関連情報１１４をバッファ１１１にバッファリングすることができる。配信モジュール１０９は、ＮＬＥ１０３の内容およびその他の特徴（サイズ、ソースデバイスなど）、受けたその他のＮＬＥの内容およびその他の特徴（伝達頻度、サイズ、ソースデバイスなど）、人物１０１および／または１０７についての知識などに基づいて、人物１０７が関連情報１１４に関心
を持つタイミングを予想することができる。

【0041】

関連度スコアのしきい値よりも大きい場合、方法２００は、情報を、第２の人物に対して表示するために第２のデバイスに送信することを含む（２０４）。たとえば、配信モジュール１０９は、関連情報１１４が人物１０７の関心を引く前にデバイス１０４に届くように、関連情報１１４をデバイス１０４に送信することができる。

【0042】

デバイス１０４は、関連情報１１４をデバイス１０８から受信することができる。デバイス１０４は、関連情報１１４をディスプレイ１０６に表示することができる。関連情報１１４をディスプレイ１０６に表示することにより、ＮＬＥ１０３の内容の洞察を人物１０７に提供することができる。ある局面において、関連情報１１４は、ＮＬＥ１０３がデバイス１０４のスピーカーから出力されるのと同時に（たとえば出力された時点またはほぼその時点で）表示される。

【0043】

図３は、発話に関連する情報を自動で視覚的に提示することを容易にするコンピュータアーキテクチャ３００を示す。示されているように、コンピュータアーキテクチャ３００は、デバイス３０２および３０４と記憶装置３１３とを含む。デバイス３０４はさらに、ディスプレイ３０６と、配信モジュール３０９と、バッファ３１１と、検索モジュール３１２とを含む。

【0044】

デバイス３０２および３０４は、通信ネットワークを介して相互に通信することが可能な電子／デジタルデバイスである（たとえば携帯電話、ビデオ会議ユニット、コンピュータシステムなど）。また、デバイス３０２および３０４は各々、音声通信の伝達を容易にするマイクおよびスピーカー（図示せず）のようなコンポーネントを含み得る。たとえば、人物３０１は、デバイス３０２のある場所またはその近くで話すことができる。デバイス３０２の中にあるマイクは、音響エネルギ（音波）を電気エネルギ（音声信号）に変換する。デバイス３０２は、（場合によってはデジタルフォーマットの）音声信号をデバイス３０４に送信する。音声信号は、たとえば、話された１つ以上の単語、話された句、話された文などのようなＮＬＥを、ネットワークを介してデバイス３０４に伝えることができる。デバイス３０４は、音声信号をネットワークを介して受信する。デバイス３０４の中にあるスピーカーは、音声信号を、人物３０１の話を再生する音響エネルギ（音波）に戻すように変換する。そうすると、人物３０７は、人物３０１が話したことを聞くことができる。人物３０７の音声も同様にデバイス３０４からデバイス３０２に伝送される。このように、人物３０１および３０７は、それぞれデバイス３０２および３０４を用いて、言葉による会話を行うことができる。

【0045】

ある局面において、通信ネットワーク（たとえばセルラーネットワーク、無線ネットワークなど）は、１つ以上の通信チャネルを、デバイス３０２および３０４による使用のために割り当てる。ある局面では、１つのチャネルを割り当てることにより、デバイス３０２と３０４との間における音声通信の単方向の伝達を容易にする。別の局面では、複数のチャネルを割り当てることにより、デバイス３０２と３０４との間における音声通信の双方向の伝達を容易にする。

【0046】

検索モジュール３１２は、デバイス３０４で受信したＮＬＥをモニタリングすることができる。検索モジュール３１２は、必要であればＡＳＲを用いて、受信したＮＬＥの内容に基づきＮＬＥの内容に関連する検索語を作成することができる。検索モジュール１１２について説明したように、ＮＬＵおよびドメイン知識を用いることにより、さらに他の関連性の関係および対応する検索を作成することができる。検索モジュール３１２は、たとえばローカルディスクドライブ、データストアおよびデータベース、ネットワーク記憶場所、およびウェブアプリケーションプログラミングインターフェイス（ＡＰＩ）を含む、
記憶装置３１３に、１つ以上のクエリ３１６をサブミットすることができる。記憶装置３１３は、クエリに応じて、検索語に適合する情報を返す。このように、デバイス３０２からデバイス３０４に送信された（したがって人物３０１と３０７との会話にも関連する）ＮＬＥの内容に関連する情報を返すことができる。

【0047】

デバイス３０４は、記憶装置から返された関連情報をバッファ３１１にバッファリングすることができる。バッファ３１１は、システムメモリ、または、より永続性が高い記憶装置であってもよい。配信モジュール３０９は、いつ関連情報が人物３０７の関心を引くかを予想する。配信モジュール３０９は、受信したＮＬＥの内容およびその他の特徴（サイズ、ソースデバイスなど）、受信したその他のＮＬＥの内容およびその他の特徴（伝達頻度、サイズ、ソースデバイスなど）、人物３０１および／または３０７についての知識などに基づいて、関連情報における人物３０７の関心の対象を予想することができる。その他のＮＬＥは、受信したＮＬＥよりも前または後に、受信することができる。

【0048】

配信モジュール３０９は、バッファ３１１からの関連情報を、この関連情報が人物３０７の関心を引くと予想されたときに、ディスプレイ３０６に表示することができる。

【0049】

図４は、発話に関連する情報を自動で視覚的に提示するための方法の一例のフローチャート４００を示す。方法４００を、コンピュータアーキテクチャ３００内のコンポーネントおよびデータとの関連で説明する。

【0050】

方法４００は、自然言語表現を第１のデバイスで受信することを含み、自然言語表現は第２のデバイスから第１のデバイスに電子的に送信され、自然言語表現は、第１のデバイスを使用する第１の人物と第２のデバイスを使用する第２の人物との間の会話に含まれる（４０１）。たとえば、デバイス３０４はＮＬＥ３０３を受信することができる。デバイス３０２は、ＮＬＥ３０３を、人物３０１と人物３０７との間の会話の一部としてデバイス３０４に送信することができる。

【0051】

方法４００は本質的には方法２００と同様に作用する。本明細書の他の場所に記載されているＮＬＵ技術を用いて自然言語発話（ＮＬＥ３０３）を解析する。このような解析は、キーワード、動作を表す単語、エンティティ、トピックおよび意図を認識することができる。自然言語表現３０３から抽出された、コンテンツワード、トピックまたは意図に基づいて、コンピュータ読取可能媒体に格納された、自然言語表現に関連する情報を、特定することができる（４０２）。たとえば、検索モジュール３１２は、本明細書の他の場所で説明したように、必要に応じてＡＳＲを用い、場合によってはＮＬＵおよびドメイン知識を用いて、ＮＬＥ３０３の内容から１つ以上のクエリ３１６を作成することができる。検索モジュール３１２は、１つ以上のクエリ３１６を、ローカルディスクおよびデータベースならびにネットワーク記憶場所を含む１つ以上の記憶装置３１３にサブミットすることができる。このような記憶装置３１３は、クエリ３１６をデバイス３０８から受けることができる。記憶装置３１３は、これに応じて関連情報１１４を特定することができる。関連情報３１４は、ＮＬＥ３０３に関連する情報であってもよい。

【0052】

方法４００は、情報を、この情報が第２の人物の関心を引くと予想されるときまで、バッファリングすることを含む（４０３）。たとえば、デバイス３０４は、関連情報３１４をバッファ３１１にバッファリングすることができる。配信モジュール３０９は、ＮＬＥ３０３の内容およびその他の特徴（サイズ、ソースデバイスなど）、受けたその他のＮＬＥの内容およびその他の特徴（伝達頻度、サイズ、ソースデバイスなど）、人物３０１および／または３０７についての知識などに基づいて、人物３０７が関連情報３１４に関心を持つタイミングを予想することができる。

【0053】

方法４００は、情報を、この情報が第２の人物の関心を引くと予想された時点で、第１のデバイスに表示することを含む（４０４）。たとえば、配信モジュール３０９は、バッファ３１１からの関連情報３１４をディスプレイ３０６に表示することができる。関連情報３１４をディスプレイ３０６に表示することにより、ＮＬＥ３０３の内容の洞察、したがって人物３０１と３０７との間の会話の洞察を、人物３０７に提供することができる。ある局面において、関連情報３１４は、ＮＬＥ３０３がデバイス３０４のスピーカーから出力されるのと同時に（たとえば出力された時点またはほぼその時点で）表示される。

【0054】

たとえば、ＮＬＥが、ホテルへのチェックインに関するものでありユーザが空港内で移動している場合、配信モジュール３０９は、ホテルアドレスを、ユーザがタクシーの列に並んでいるときに配信するよう予定する。別の例において、人々は、野球の話をしているとき、通常は、最初に得点を尋ね、次にどのイニングかを尋ね、次にどちらのチームが攻撃側かを尋ね、次にボールとストライクのカウントを尋ねる。ＮＬＥが野球の試合の得点に関するものであった場合、検索モジュール３１２は、ゲームスタッツデータ記憶ソース３１３に、得点、イニング、攻撃チーム、およびカウントをクエリする。デバイス３０４は、関連情報３１４を受けてバッファ３１１に格納する。デバイス３０４は次に、得点のみを人物３０７に対して表示する。これは、状況によっては会話に関連しているのが得点のみでありその他の関連情報すべてを表示することは気を散らすことになるので、適切である。しかしながら、人物３０１がイニング、攻撃チーム、またはカウントに言及している場合、配信モジュール３０９は、関連情報３１４すべてがディスプレイ３０６に表示されるようにして、人物３０７が、関心を持っている情報すべてを、人物３０１または人物３０７がその情報を明確に要求しなくても、簡単に十分知ることができるようにする。

【0055】

いくつかの局面に従うと、自然言語ドメインは、関連するタイプの情報および関連情報を表示する条件を示す規則に従ってプログラムされる。いくつかの局面に従うと、機械学習アルゴリズムは、多数のユーザの情報要求のパターン、ならびに、多くの会話と、ニューラルネットワークまたはその他予測モデルのような訓練モデルを検出することにより、どのタイプの情報が関連しているかを予測するとともに、ＮＬＥ内のどのようなトピック、意図、またはエンティティが関連情報の表示を引き起こすかを予測する。

【0056】

図５は、発話に関連する情報を自動で視覚的に提示することを容易にするコンピュータアーキテクチャ５００を示す。示されているように、コンピュータアーキテクチャ５００は、デバイス５０２と記憶装置５１３とを含む。デバイス５０２はさらに、ディスプレイ５０６と、配信モジュール５０９と、バッファ５１１と、検索モジュール５１２と、知覚デバイス５１７とを含む。

【0057】

デバイス５０２は、たとえば、携帯電話、ビデオゲームコンソール、ＡＲ／ＶＲヘッドセット、フロントガラスのヘッドアップディスプレイを備えた車両などの、デジタルデバイスであってもよい。また、デバイス５０２は、マイクおよびスピーカー（図示せず）などのコンポーネントを含み得る。たとえば、デバイス５０２の範囲内の人物、たとえば人物５０１および５０７は、デバイス５０２のある場所またはその近くで話すことができる。デバイス５０２の中にあるマイクは、音響エネルギ（音波）を電気エネルギ（音声信号）に変換する。デバイス５０４の中にあるスピーカーは、音声信号を、たとえば音声を再生する音響エネルギ（音波）に戻すように変換する。

【0058】

ある局面において、人物５０１はデバイス５０２を着用する。知覚デバイス５１７はマイクに接続することができる。知覚デバイス５１７は、マイクによってピックアップされた、言葉によるメッセージを受け、ＮＬＥを検出することができる。知覚デバイス５１７は、ＮＬＥを検索モジュール５１２に送ることができる。

【0059】

検索モジュール５１２は、必要であればＡＳＲを用いて、受けたＮＬＥの内容に基づきＮＬＥの内容に関連する検索語を作成することができる。検索モジュール１１２について説明したように、ＮＬＵおよびドメイン知識を用いることにより、さらに他の関連性の関係および対応する検索を作成することができる。検索モジュール５１２は、たとえばディスクドライバ、データストア、データベース、ウェブＡＰＩなどの記憶装置に、検索語を含むクエリをサブミットすることができる。記憶装置は、クエリに応じて、検索語に適合する情報を返すことができる。このように、記憶装置は、デバイス５０２において得られたＮＬＥの内容に関連する情報を返すことができる。

【0060】

デバイス５０２は、記憶装置から返された関連情報をバッファ５１１にバッファリングすることができる。バッファ５１１は、システムメモリ、または、より永続性が高い記憶装置であってもよい。配信モジュール５０９は、いつ関連情報が人物５０１の関心を引くかを予想することができる。配信モジュール５０９は、検出されたＮＬＥの内容およびその他の特徴（サイズなど）、検出されたその他のＮＬＥの内容およびその他の特徴（検出頻度、サイズなど）、人物５０１および／または５０７についての知識などに基づいて、関連情報に対する人物５０１の関心を予想することができる。その他のＮＬＥは、検出したＮＬＥよりも前または後に、検出することができる。

【0061】

配信モジュール５０９は、バッファ５１１からの関連情報が人物５０１の関心を引くと予想されたときに、バッファ５１１からの関連情報をディスプレイ５０６に表示することができる。

【0062】

図６は、発話に関連する情報を自動で視覚的に提示するための方法の一例のチャート６００を示す。方法６００を、コンピュータアーキテクチャ５００内のコンポーネントおよびデータとの関連で説明する。

【0063】

方法６００は、言葉によるメッセージを発した人物の近傍に物理的に存在するデバイスで、言葉によるメッセージを知覚することを含む（６０１）。たとえば、知覚デバイス５１７は、人物５０７が発した、言葉によるメッセージ５０３を知覚することができる。知覚デバイス５１７は、言葉によるメッセージ５０３をＮＬＥに変換することができる。知覚デバイス５１７は、ＮＬＥを検索モジュール５１２に送ることができる。

【0064】

方法６００は、コンピュータ読取可能媒体に格納された言葉によるメッセージに関連する情報の場所を特定することを含む（６０２）。たとえば、検索モジュール５１２は、検索モジュール１１２について説明したように、必要であればＡＳＲを用い、場合によってはＮＬＵおよびドメイン知識を用いて、ＮＬＥの内容から１つ以上のクエリ５１６を作成することができる。方法２００について説明したように、ＮＬＵ技術を用いて、ＮＬＥを解析することにより、コンテンツワード、トピック、または意図を認識することができる。検索モジュール５１２は、ローカルディスクおよびデータベース、ネットワーク記憶場所、ならびにウェブＡＰＩを含む、１つ以上の記憶装置５１３に、１つ以上のクエリ５１６をサブミットすることができる。記憶装置５１３は、これに応じて、関連情報５１４を特定することができる。関連情報５１４は、ＮＬＥ５０３に関連する情報であってもよい。

【0065】

方法６００は、場所を特定した情報を、この場所を特定した情報が別の人物の関心を引くと予想されるときまで、バッファリングすることを含む（６０３）。たとえば、デバイス５０２は、関連情報５１４をバッファ５１１にバッファリングすることができる。配信モジュール５０９は、ＮＬＥの内容およびその他の特徴（サイズなど）、検出したその他のＮＬＥの内容およびその他の特徴（検出頻度、サイズなど）、人物５０１および／または５０７についての知識などに基づいて、人物５０１が関連情報５１４に関心を持つタイ
ミングを予想することができる。

【0066】

方法６００は、情報が他方の人物の関心を引くと予想された時点で、この情報をデバイスに表示することを含む（６０４）。たとえば、配信モジュール５０９は、バッファ５１１からの関連情報５１４をディスプレイ５０６に表示することができる。関連情報５１４をディスプレイ５０６に表示することにより、言葉によるメッセージ５０３の洞察を人物５０１に提供することができる。

【0067】

自然言語理解（ＮＬＵ）
本明細書に記載されるすべての実施形態において、自然言語表現は、それを受けたときに、当該技術で周知のＮＬＵ技術のうちのいずれかを用いて解析することができる。ＮＬＵ解析は、キーワードマッチング、品詞の検出、動作を表す単語の検出、エンティティの検出、部分パース、または全体のパースを含み得る。ＮＬＵ解析は、解析されたＮＬＥの意味を表わす解釈を構成することができる。キーワードのようなコンテンツワードの認識を用いることにより、トピックを示唆することができる。ＮＬＥの解析は、その意図の認識を含み得る。

【0068】

抽出されたキーワードまたはコンテンツワード、動作を表す単語、エンティティ、トピックまたは意図または解釈を含む、ＮＬＵ解析の結果に基づいて、システムは次に、自然言語表現に関連する情報の場所を特定する検索を実行することができる。検索は、たとえば、解釈を検索クエリにマッピングすることにより、または、コンテンツワードをトピックに関連付けることにより、ドメイン知識を活用することができる。システムによっては、演繹的推理が、関連情報の場所を特定する際の検索を補う。次に、以下で説明する技術を用いて、関連情報の関連度を求める。

【0069】

ある局面において、解釈は、ＮＬＵ技術によりＮＬＥから抽出されたスロット値のペアとして表現される。たとえば、ＮＬＥが「find me a flight from San Francisco to Seattle（サンフランシスコ発シアトル行きのフライトを探して）」である場合、関連するスロット値のペアは、（ＩＮＴＥＮＴ，“ＦＬＩＧＨＴ＿ＲＥＳＥＲＶＡＴＩＯＮ）、（ＦＬＩＧＨＴ＿ＦＲＯＭ，“ＳＦＯ”）、（ＦＬＩＧＨＴ＿ＴＯ，“ＳＥＡ”）、（ＣＩＴＹ＿ＦＲＯＭ，“ＳＡＮ ＦＲＡＮＣＩＳＣＯ”）、（ＣＩＴＹ＿ＴＯ，“ＳＥＡＴＴＬＥ”）、同様のスロット値フォーマットの日付情報、および、（ＴＯＰＩＣ，“ＴＲＡＶＥＬ”）のような追加情報、のようなものを含み得る。

【0070】

このような実施形態において、会話における各発話（ＮＬＥ）は、スロット値ペアのセット（「バンドル」）を生成し、会話は、複数のこのようなバンドルが一続きになったものとして表わすことができる。いくつかの局面に従うと、バンドルは、JavaScript Object Notation（ＪＳＯＮ）または拡張可能なマークアップ言語（ＸＭＬ）を用いて記述されたデータ構造として格納され送信される。後述のように、この一続きを、会話の簡単な要約（quick summary）として使用することができ、ある人物の関心のモデルを構築するた
めの基礎となることができる。

【0071】

いくつかの局面に従うと、方法６００はまた、人物の関心のモデルに基づいて、場所を特定した情報の関連度スコアを計算することを含む。情報の位置は、「シアトルの天気」のような特定の検索語に基づく検索クエリに従って特定される。

【0072】

上述のような関連度重みに基づくモデルの実施形態において、関連度スコアの計算は単純である。ある局面では、モデル内に一致するものがない検索語の関連度スコアを低く設定し、モデル内に一致するものがある検索語の関連度スコアは、このモデル内におけるこの検索語の関連度重みである。より複雑な実施形態では、「ＦＬＩＧＨＴ＿ＴＯ」ｃｉｔ
ｙ（都市へのフライト）に対する「weather（天気）」の関連度重みを用い「Seattle（シアトル）」の関連度重みで乗算することにより、「Seattle weather（シアトルの天気）
」の関連度スコアを得る。

【0073】

データフロー
図７～図１６はそれぞれ、発話に関連する情報を視覚的に提示するためのデータフロー７００～１６００を示す。データフロー７００～１６００は、アーキテクチャ１００、３００、および５００、ならびに示され説明された必要な特徴のサブセットを含むその他のアーキテクチャにおいて、実現することができる。データフロー７００～１６００を用いて、方法２００、４００、および６００を補う、および／またはこれらの方法に代わるようにすることができる。データフロー７００～１６００に記載されている要素は、他の組み合わせおよび／または順序で用いることもできる。

【0074】

より具体的には、図７は、自然言語表現に応じて情報を表示するためのデータフロー７００を示す。データフロー７００において、人物７１１は参加ユーザ７１２と会話している。人物７１１からＮＬＥを取り込む（７１３）。トピックを、たとえばＮＬＥに対してＮＬＵを実行することによって特定する（７１４）。

【0075】

ある局面において、１つのＮＬＥから複数のトピックを特定する。ドメイン文法を用いることで、１つ以上のトピックを認識することができる。トピックはまた、キーワードに対応付けられる。計算した関連度スコアは、複数のトピック各々について、ある表現が各トピックに対応している確率を示すことができる。

【0076】

トピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（７１５）。この検索に応じて返された情報を、参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0077】

ＮＬＥに関連する情報は、ブラウザタブに、または他の情報の隣に表示することができる。ＮＬＥに関連する複数の情報を、コンテンツカテゴリによってグループ分けされおよび／または関連度によって分類された複数の情報とともに、表示することができる。また、複数の情報は、時系列で、たとえば人物７１１が、きっかけとなる自然言語表現を発話したときに、提示することができる。

【0078】

たとえばテキストベースのインターフェイス、オーディオインターフェース、ビデオインターフェイスなどの、各種インターフェイスを用いることにより、ＮＬＥを取り込むことができる。ある局面において、テキストベースのインターフェイスは、テキストとして表現された自然言語を取り込む。別の局面において、音声ベースのインターフェイスは、たとえばローカルまたはリモートマイクによって取り込まれた音声信号のような音声信号に対し、自動音声認識を実行することにより、話された自然言語表現を認識する。いくつかのインターフェイスは、生成された図形またはテキストを透明ガラスの上に重ねることにより、拡張現実体験または車両のヘッドアップディスプレイを作り出す。リアルタイム・リアルライフキャプションシステムなどのその他のインターフェイスは、関連情報を、限られたその他の図形要素（もしあれば）とともに表示する。

【0079】

関連度スコアおよびしきい値
図８は、関連度スコアを用いて、自然言語表現に応じて情報を表示するためのデータフロー８００を示す。補助システムが、関連度の低い（または無関係の）情報で会話を妨害するまたは混乱させてはならない。

【0080】

データフロー８００において、人物７１１からＮＬＥを取り込む（７１３）。たとえばＮＬＥに対してＮＬＵを実行することにより、トピックを特定する（７１４）。トピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（７１５）。

【0081】

検索に応じて返された情報について関連度スコアを計算し、この関連度スコアをしきい値と比較する（８２７）。関連度スコアがしきい値よりも高い場合、返された情報を参加ユーザ７１２に対して表示する（７１６）。関連度スコアがしきい値よりも低い場合は返された情報を表示しない。

【0082】

関連度スコアは、少なくとも部分的に、会話履歴を含む履歴の特定の側面に従う検索結果のランキング（および対応する表示決定）に影響を与える既存のルールに基づくものであってもよい。関連度スコアを計算するときは、最新のクエリまたは表現からのフォアグラウンドトピックと、（以前の会話からの）バックグラウンドトピックを区別してもよい。関連度スコアを計算するときは、会話の参加者の役割も考慮してもよい。たとえば、第１の人物がある物体について説明するとき、第１の人物はその姿を思い浮かべているので、この物体を見る必要はないが、この会話に加わっている第２の人物にとっては、この物体の姿を見ることは有益であろう。したがって、第１の人物よりも第２の人物について、この物体により高い関連度スコアを与えるのが適切であろう。

【0083】

関連度スコアは、少なくとも部分的に、履歴の特定の側面とともに、検索結果のランキング（および対応する表示決定）に動的に影響を与える、明確なユーザ入力に基づくものであってもよい。たとえば、ユーザは、関連する可能性がある物体の名称をタップすることで、さらなる詳細を、直ちにおよび将来に、得ることができる。別の例において、システムが構成インターフェイスを提供してもよく、このインターフェイスにおいて参加ユーザは個人プロファイルの一部として関心リストを特定することができる。

【0084】

視覚パネル（または任意のグラフィカル要素）を閉じるような降格アクションにより、広いトピックとは限らないが特定のトピックを降格させることができる。たとえば、特定の書籍に関する情報を却下すると、その関連度スコアは低下するだろうが、その書籍の著者のまたは書籍全般のトピックの関連度スコアは低下しないであろう。ユーザが選択したＵＩアクションに応じて、降格アクションの影響は、わずかなトピック降格から、トピックを完全に遮断するより強力なトピック降格まで、多様である可能性がある。逆に、昇格アクションは、ある要素に対応付けられた一組のトピックまたはより広いトピックを、昇格させることができる。複数の局面は、ある要素のテキストの選択をサポートすることにより、テキストが記述するトピックまたは局面を昇格させる。クリック、スワイプ、またはその他のジェスチャーを含むさまざまなＵＩアクションを用いることにより、降格（削除を含む）および昇格が可能である。

【0085】

複数のトピックからの選択
図９は、複数のトピックに対する自然言語表現に応じて情報を表示するためのデータフロー９００を示す。ある局面において、１つ以上のトピックを、可能性がある複数の、関心のあるトピックから、選択する。たとえば、関連度スコアをトピックごとに計算することができ、選択は、関連度スコアに基づいて行ってもよい。

【0086】

データフロー９００において、人物７１１は参加ユーザ７１２と会話している。人物７１１からＮＬＥを取り込む（７１３）。関心がある複数のトピックを特定する（９３４）。トピックごとに関連度スコアを計算し、１つ以上のトピックを選択する（９３７）。この１つ以上のトピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（９３５）。あるトピックの関連度スコアがしきい値よりも高い場合、このトピックに対応付けられた、返された情報を、参加ユーザ７１２に対して表示する（７１６）。関連度スコアが
しきい値よりも低い場合は返された情報を表示しない。

【0087】

また、検索はトピックのスコアに基づいていてもよい。関連度スコアがしきい値よりも高いトピックを検索することができる。ある局面において、関連度スコアがより高い複数のトピックを検索する。複数のトピックを検索することができ、各トピックの関連度スコアに従って表示空間を残しておくことができる。

【0088】

繰り返しの回避
図１０は、複数のトピックに対する自然言語表現に応じて情報を表示するためのデータフロー１０００を示す。一連の自然言語表現の間、会話が１つのトピックに留まっている場合がある。このように、ある人物が同一のトピックについて複数の自然言語表現を発話する可能性がある。

【0089】

１つのシステム設計リスクとして、第１の人物７１１が同一トピックについて複数の自然言語表現を発しシステムが同一情報を複数回表示するリスクがある。これを回避するための各種方法が存在し得る。

【0090】

データフロー１０００はデータフロー７００と同様である。人物７１１は、参加ユーザ７１２と会話している。しかしながら、あるトピックを特定した後に、検査を実行することにより、このトピックが最近のトピックのリストに含まれているかを判断する。たとえば、データフロー１０００において、人物７１１からＮＬＥを取り込む（７１３）。たとえばこのＮＬＥに対してＮＬＵを実行することにより、トピックを特定する（７１４）。

【0091】

特定したトピックがトピックのリスト１０４８に含まれているか否かを判断する（１０４７）。特定したトピックがトピックのリスト１０４８に含まれている場合、このトピックは削除してもよい。一方、特定したトピックがトピックのリスト１０４８に含まれていない場合、特定したトピックをトピックのリスト１０４８に追加する。また、特定したトピックがトピックのリスト１０４８に含まれていないとき、このトピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（７１５）。参加ユーザ７１２に対してこの検索が表示されるのに応じて、情報が返される（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0092】

トピックは、指定された長さの期間、トピックのリスト１０４８に保持できる。この期間の長さは、トピックの重要度および／または永続性に応じて決まるものであってもよい。重要度は、トピックに、その構想に応じて割り当てることができ、たとえば、救急のトピックにはレシピのトピックよりも高い重要度を与える。また、重要度は、ユーザプロファイル、場所、または最近の会話履歴から得られる重みに応じてスケーリングすることもできる。たとえば、建物の中において、商品価格は、店舗への方向よりも重要度が高いかもしれないが、自動車の中では、店舗への方向の方が価格よりも重要度が高いかもしれない。永続性は、具体的なユーザプロファイルとの関連で判断することができる。たとえば、住所録において星印が付けられた連絡先は、会話の永続的な話題であるとみなすことができる。システムは、このような星印付きの連絡先についての関連情報を、デバイスローカルのバッファにおいて維持することができる。

【0093】

図１１は、情報を繰り返すことなく自然言語表現に応じて情報を表示するためのデータフロー１１００を示す。データフロー１１００はデータフロー７００と同様である。人物７１１は、参加ユーザ７１２と会話している。しかしながら、情報を検索し特定した後に、検査を実行することにより、この情報が情報のデータベースに含まれているか否かを判断する。データフロー１１００を用いることで、各種トピックの検索から繰り返し情報が
特定されたときに繰り返し情報の表示を防止することができる。たとえば、データフロー１１００において、人物７１１からＮＬＥを取り込む（７１３）。トピックを、たとえばＮＬＥに対してＮＬＵを実行することによって特定する（７１４）。トピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（７１５）。

【0094】

検索に応じて返された情報が過去情報のデータベース１１５８に含まれているか否かを判断する（１１５７）。返された情報が過去情報のデータベース１１５８に含まれている場合、表示についてこの情報は無視してもよい。一方、返された情報が過去情報のデータベース１１５８に含まれていない場合、この情報を過去情報のデータベース１１５８に追加する。また、返された情報が過去情報のデータベース１１５８に含まれていない場合、返された情報を参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0095】

情報は、この情報が存在している間において、およそ参加ユーザ７１２がトピックを憶えていそうな長さの期間、過去情報のデータベース１１５８に保存することができる。過去情報のデータベース１１５８に保存された情報は、リフレッシュ等なしで参加ユーザ７１２が覚えていそうな期間の後に、繰り返し表示のために検討することができる。

【0096】

データフロー１０００および１１００の局面を併用することにより、情報の繰り返し検索および繰り返し表示をそれぞれ防止することができる。情報を検索するか否かまたは表示するか否かの判断は、トピックまたは返された情報それぞれについて計算した関連度に基づいていてもよい。ある局面において、表現される頻度が低いトピックまたはコンセプトに対して高い関連度値が計算される。包括的な頻度計算を、会話の参加者のうちのいずれかまたはすべての参加者の個々のプロファイルについての頻度によってスケーリングすることができる。このように、他方では、ある局面において、極めて高い頻度で表現されるトピックまたはコンセプトについては高い関連度値が計算される。また、流行のトピックもしくはコンセプトについて、または人物の位置もしくは人物のカレンダー上のイベントに関連するトピックもしくはコンセプトについて、より高い関連度値が計算されてもよい。

【0097】

関連度値は、たとえば、整数、浮動小数点数またはストリングとして表わすことができる。関連度値をしきい値と比較することにより、情報を検索するか否かおよび／または表示するか否かを判断することができる。しきい値は、表示されている他の情報の頻度または最新度に基づいて動的に変動し得る。あるトピックまたはコンセプトに対する関連度値を、同一の自然言語表現から最近表示されたまたは取り込まれたその他のトピックまたはコンセプトの関連度値と比較することができる。

【0098】

コンセプトの特定
図１２は、検索のためにコンセプトを用いて自然言語表現に応じて情報を表示するためのデータフロー１２００を示す。ある局面において、検索入力は、トピックよりも粒度が細かくなるように選択され、たとえば、トピック内のコンセプト（粒度がより細かい分類）を選択する。コンセプトは、自然言語表現において言及されたエンティティ値（たとえば人々、場所、または物事）であってもよい。また、コンセプトは、そのインスタンスが任意の教師、任意の都市、または任意の被服製品である、Teachers（教師）、Cities（都市）、または、被服製品（Articles_of_Clothing)のようなエンティティのクラスであっ
てもよい。自然言語質問回答システムにおいて、スロットタイプがエンティティクラスであってもよく、もしあれば、対応するスロットのエンティティ値がクラスのインスタンスである。エンティティクラスは引数であってもよく、エンティティ値はデータソースにアクセスするためのアプリケーションプログラミングインターフェイス（ＡＰＩ）の引数の
値であってもよい。いくつかの実施形態において、情報の検索はウェブＡＰＩ要求を通して行われる。

【0099】

データフロー１２００はデータフロー７００と同様である。人物７１１は、参加ユーザ７１２と会話している。しかしながら、トピックを特定した後に、コンセプトを特定し、このコンセプトの情報を検索する。たとえば、データフロー１２００において、人物７１１からＮＬＥを取り込む（７１３）。トピックを、たとえばＮＬＥに対してＮＬＵを実行することによって特定する（７１４）。

【0100】

コンセプトを特定する（１２６７）。このコンセプトに関連し、かつＮＬＥに関連がありそうな情報を検索する（１２６５）。検索に応じて返された情報を参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0101】

いくつかの局面では、コンセプトを、トピックを特定せずに特定する。
ユーザの関心モデル
自然言語表現の解析に続いて、自然言語表現１０３から抽出された任意のコンテンツワード、トピック、または意図に基づき、かつ現在までの会話に基づき、人物の関心のモデルを更新してもよい。いくつかの局面に従うと、ある人物の関心のモデルは、ユーザプロファイルの一部として格納される長期データ構造である。これは、天気、スポーツ、および株価のようなトピックのリストを含む。いくつかの局面に従うと、ある人物の関心のモデルは、Facebook、Mark Zuckerberg、および株式のティッカーシンボルＦＢ、ならびに
人物の子供たちの名前のような、特定のエントリを含む。いくつかの局面に従うと、ある人物の関心のモデルは、ある意図、トピック、またはエンティティのようなコンテンツワードに関連する、その人物が作成したまたは受信した表現の頻度または最新度に基づく、関心のレベルの表示を含む。

【0102】

先に述べた例において、「find me a flight from San Francisco to Seattle（サンフランシスコ発シアトル行きのフライトを探して）」というＮＬＥは、（ＩＮＴＥＮＴ，“ＦＬＩＧＨＴ＿ＲＥＳＥＲＶＡＴＩＯＮ）、（ＦＬＩＧＨＴ＿ＦＲＯＭ，“ＳＦＯ”）、（ＦＬＩＧＨＴ＿ＴＯ，“ＳＥＡ”）、（ＣＩＴＹ＿ＦＲＯＭ，“ＳＡＮ ＦＲＡＮＣＩＳＣＯ”）、（ＣＩＴＹ＿ＴＯ，“ＳＥＡＴＴＬＥ”）、日付情報、および（ＴＯＰＩＣ，“ＴＲＡＶＥＬ”）のようなスロット値のペアのバンドルで表される。会話の各発話は、スロット値ペアのバンドルを生成し、会話は複数のこのようなバンドルが一続きになったものとして要約することができる。

【0103】

ある人物の関心のモデルは、この要約に基づいて更新することができる。たとえば、空港エンティティ（「ＳＦＯ」および「ＳＥＡ」）、都市エンティティ（「ＳＡＮ ＦＲＡＮＣＩＳＣＯ」および「ＳＥＡＴＴＬＥ」）、トピック（「ＴＲＡＶＥＬ」）、および表現の意図（「ＦＲＩＧＨＴ＿ＲＥＳＥＲＶＡＴＩＯＮ」）はすべて、このモデルの一部になる。このモデルにおいて、現在までの会話における各スロット値ペアに、個別の関連度重みを与え、連続するバンドル内のスロット値ペアの関連度重みを、蓄積するかそうでなければ組み合わせることにより、第２の人物の関心のプロファイルを、エンティティおよび関連度重みのリストとして作成することができる。重みを蓄積することは、「ＳＦＯ」からの２つのフライトに関する問い合わせのように情報に互換性がある場合に、適切である。重みを組み合わせることは、「What if I flew to Vancouver instead?（代わりにバンクーバーへのフライトにしてはどうだろうか）」という表現の後で「ＳＥＡ」の重みを減じるなど、その他の形態を取ることができる。

【0104】

上記比較的単純な技術を用いることにより、現在までの会話に基づいて人物の関心のモ
デルを更新することができる。その他の実施形態において、人物の関心のモデルは、各々が関連度重みを有するトピック、意図、およびエンティティからなる単純なセットよりも複雑な形態を取り得る。モデルのパワーおよび複雑度は、ＮＬＵシステムの理解の深さを反映する。たとえば、より賢いシステムは、否定、仮定、ナビゲーション、時系列または特定の日付のイベントの計画などを理解し得る。

【0105】

他の情報を要求
図１３は、自然言語表現に応じて情報を表示しかつ他の情報を求める要求を受け入れるためのデータフロー１３００を示す。本発明の局面は、人物が、どの情報が見えるかを制御し、関連があると思われる情報にアクセスすることを、可能にする。人物は他の情報を要求することもできる。

【0106】

データフロー１３００において、人物７１１は参加ユーザ７１２と会話している。人物７１１からＮＬＥを取り込む（７１３）。トピックを、たとえばＮＬＥに対してＮＬＵを実行することによって特定する（７１４）。

【0107】

ある局面において、１つのＮＬＥから複数のトピックを特定する。ドメイン文法を用いることで、１つ以上のトピックを認識することができる。トピックはまた、キーワードに対応付けることができる。計算した関連度スコアは、複数のトピック各々について、ある表現が各トピックに対応している確率を示すことができる。

【0108】

トピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（７１５）。この検索に応じて返された情報を、参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0109】

さらに、情報の表示後、参加ユーザ７１２は、他の情報を要求することができる（１３７７）。言葉によらないさまざまな技術を用いて他の情報に対するアクセスを制御することができる（よって会話は中断されない）。他の情報は、ディスプレイをタップもしくはスワイプすること、ボタンをクリックすること、眼鏡に対してまばたきすること、またはその他のジェスチャーにより、アイテムまたはリンクまたはテキストの一部を選択することで、要求することができる。いくつかの局面において、他の情報を要求すると、表示画面のオーバレイ内の他の情報、代わりの表示装置内の他の情報、または表示装置内の異なる画面への切換を生じさせる。

【0110】

参加ユーザ７１２の電子デバイスは、情報を却下、共有、フィルタリング、および保存するための詳細なコントロールを含み得る。他の情報を求める要求は、表示された情報に関連するさらなる詳細を求める要求を含み得る。他の情報を求める要求に対する応答は、別の小さな情報、またはウェブ検索からの情報のようなより広範囲の情報である可能性がある。

【0111】

参加ユーザ７１２の電子デバイスは、どのような情報がユーザ７１２が却下するのを支援したかを追跡することができる。モデル（たとえばリスト、ニューラルネットワークなど）を、却下された情報で構成することができる。このモデルを用いて、参加ユーザ７１２の電子デバイスは、将来同じ情報を示すのかまたは関連情報を示すのかを判断することができる。

【0112】

関心のある領域の考慮
本発明のいくつかの局面は、表示空間内において関心のある領域を検出し、関心のある領域と重ならない位置に表示情報を配置する。さまざまアルゴリズムのうちのいずれかを
用いることにより、関心のある領域を判断することができる。たとえば、ビデオ会議システムは、顔位置検出を実行し、顔がない位置に情報を配置することができる。関心のある領域は、視覚的または時間的頻度が高い情報の存在に基づいて検出することもできる。関心のある対象を認識し、このような対象の近くに情報を配置する、または関心のある対象を指し示す矢印もしくは関心のある対象に接するラインとともに情報を配置することができる。このような局面は、たとえば、進行中の自然言語会話に応答する拡張現実眼鏡に用いることができる。

【0113】

言語の翻訳
図１４は、代替の人間言語による自然言語表現に応じて情報を表示するためのデータフロー１４００を示す。会話は、局地的に発生する、または、世界の異なる地域において、異なる言語を話す人々の間で発生する可能性がある。本発明の局面は、ＮＬＵを１つの言語で実行し、情報の検索を他の１つ以上の言語で実行することができる。

【0114】

データフロー１４００において、人物７１１は参加ユーザ７１２と会話している。第１の言語で人物７１１からＮＬＥを取り込む（１４８４）。このＮＬＥを第２の言語に翻訳する（１４８５）。第２の言語でトピックをＮＬＥから特定する（１４８６）。

【0115】

第２の言語で、トピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（１４８７）。この検索に応じて返された情報を、参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0116】

他の局面において、翻訳を、トピックの特定後に実行する。さらに他の局面において、翻訳を、検索から返された情報に対して実行する。第２の言語は、参加ユーザ７１２が理解する言語であってもよい。

【0117】

ユーザプロファイルおよび環境依存
図１５は、特定のユーザについての関連度に基づいて自然言語表現に応じて情報を表示するためのデータフロー１５００を示す。表示する情報は、人物の関心に基づいておよび／または人物の関心に合わせて調整することができる。

【0118】

データフロー１５００はデータフロー８００と同様である。人物７１１は参加ユーザ７１２と会話している。しかしながら、関連度スコアは、参加ユーザ７１２についてのユーザプロファイル情報を用いて計算する。たとえば、データフロー１５００において、人物７１１からＮＬＥを取り込む（７１３）。トピックを、たとえばＮＬＥに対してＮＬＵを実行することによって特定する（７１４）。トピックに関連し、かつＮＬＥに関連がありそうな情報を検索する（７１５）。

【0119】

検索に応じて返された情報について関連度スコアを計算し、関連度スコアをしきい値と比較する（１５９７）。関連度スコアは、ユーザプロファイル１５９８（参加ユーザ７１２についてのユーザプロファイル）からの情報を用いて計算する。検索に応じて返された情報を、参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0120】

関連度は、参加ユーザ７１２の関心に基づいておよび／または関心を予想するために計算することができる。たとえば、ユーザプロファイル１５９８が、参加ユーザ７１２に幼い子供がいることを示す場合、サーカス見物についての検索結果の関連度スコアを、机購入についての検索結果の関連度スコアよりも高くすることができる。同様に、ユーザプロ
ファイル１５９８が、参加ユーザ７１２がゴルフストアで頻繁に買い物をすることを示す場合、天気についての検索結果の関連度スコアを、クッキングストアについての検索結果の関連度スコアよりも高くすることができる。

【0121】

あるトピックについての関連度スコアは、関連情報の検索の前に、ユーザプロファイルの内容に基づいて計算することができる。ユーザプロファイルの内容を用いて、トピックが関心を引くトピックである確率または検索結果がある人物の関心を引く確率を表す関連度スコアに重みを付けることもできる。

【0122】

いくつかの局面において、関連度の計算は、たとえば、ある人物の位置、時刻、曜日、およびその他場面に応じた事情のような、広くは現在の状況と呼ばれる、その他の外部情報にも基づく。たとえば、ある人物が食料雑貨店にいる場合、クーポンに関連する検索結果の関連度を高くすることができる。

【0123】

その他の局面において、人物が、特定のトピックまたはコンセプトに対する関心または嗜好を明確に示す。人物の関心は、自然言語表現から解釈することができる。たとえば、ある人物が、システムが提示する天気または交通状況に関心を示すことがある。この天気および交通状況に対する関心も、ユーザプロファイルに格納することができる。このように、ある人物の入力は、学習および個別化を容易にするフィードバックを提供することにより、将来より関連性の高い情報をこの人物に提供することができる。

【0124】

複数および多数の当事者の会話
図１６は、複数の人物からの自然言語表現に応じて情報を表示するためのデータフローを示す。本発明の局面は、２人による会話の参加者双方に関連情報を提供することができる。２人による会話において、各人物に１方向で関連情報が提供される。会話に参加している人々はそれぞれ異なる情報要求を有する。

【0125】

話す人は誰でもその自然言語表現のトピックについての知識があり、聞く人は誰でもそれほどの知識を持たないであろう。聞き手には、話し手が言っていることに関連する背景情報を提供することができる。背景情報を提供することで、聞き手が、最適に情報が与えられた応答を理解し提供するのを支援する。話し手には、天気または位置に関連する情報のような、話し手のトピックに関連する動的情報の現状を提供することができる。動的情報の現状を提供することで、話し手が一層最新で正確な情報を提供するのを支援する。

【0126】

本発明の局面はまた、３人以上の人々によるビデオ会議のような、１対Ｎ、Ｎ対１、および、Ｎ対Ｎの会話をサポートする。各人物は固有の見解を有し得る。すべての人物に対して包括的に表示できる情報と、関心に基づいて一部の参加者に表示する情報とがある。

【0127】

人物７１１、７１２および１６０７が会話に参加している。人物７１１から第１のＮＬＥを取り込む（７１３）。第１のトピックを、たとえば第１のＮＬＥに対してＮＬＵを実行することによって特定する（７１４）。人物１６０７から第２のＮＬＥを取り込む（１６０８）。第２のトピックを、たとえば第２のＮＬＥに対してＮＬＵを実行することによって特定する（１６０９）。

【0128】

第１のトピックまたは第２のトピックに関連し、かつ第１のＮＬＥまたは第２のＮＬＥに関連がありそうな情報を検索する（１６０５）。この検索に応じて返された情報を、参加ユーザ７１２に対して表示する（７１６）。情報は、適当なときに、たとえばこの情報が参加ユーザ７１２の関心を引くと予想されるときに、表示することができる。

【0129】

このように、本発明の局面は、ビデオ会議システムおよび多人数参加型ゲームなどの、
多数の人々との対話をサポートすることができる。リソース管理のために、情報検索頻度を、たとえば５つの自然言語表現ごとにのみ、または１０秒ごとにのみといったように、限定することができる。このような検索は、前回の検索以降の時間に表現されたトピックおよび／またはコンセプトに基づくものであってもよい。これにより、一部の参加ユーザにとっては気を散らすまたは混乱を招くものとなり得る、表示情報の頻繁な変更を回避する。

【0130】

検索される情報
多種多様な情報を検索および表示することができる。ある局面において、人々に関する情報、たとえば、名前、位置、年齢、および関係を検索し表示する。その他の局面において、一般知識情報、たとえば、Wikipedia（登録商標）から入手できるものを検索し表示
する。

【0131】

全体的な動作
図１７は、ある実施形態に係る複数のデバイスをサポートするコンピュータアーキテクチャ１７００を示す。コンピュータアーキテクチャ１７００は、人物１７１１と人物１７１２との間の双方向会話の局面を示す。人物１７１１は、マルチメディアインターフェイスデバイス１７１３（たとえば携帯電話、コンピュータ、ＶＲ／ＩＲヘッドセットなど）を介して音声による通信を行う。マルチメディアインターフェイスデバイス１７１３は、クライアントとして、ネットワーキングプロトコルを用い、クラウドネットワーク１７１５を介してサーバ１７１６に対して通信する。サーバ１７１６は、仮想接続をクラウドネットワーク１７１５を介してマルチメディアインターフェイスデバイス１７１４（たとえば携帯電話、コンピュータ、ＶＲ／ＩＲヘッドセットなど）に与える。マルチメディアインターフェイスデバイス１７１４は、音声通信を仮想接続を介して受信する。人物１７１２は、同様にして、逆にマルチメディアインターフェイスデバイス１７１３に対して音声による通信を行うことができる。

【0132】

図１８Ａは、媒体インターフェイスに関連するデバイスモジュールを備えたコンピュータアーキテクチャ１８００を示す。インターフェイスデバイス１８１３および１８１４は各々、１つ以上のマイクにより取り込まれた音声の自動音声認識をサポートする。インターフェイスデバイス１８１３および１８１４は各々、１つ以上のスピーカーを介し、合成された音声を含む音声を出力することをサポートする。インターフェイスデバイス１８１３および１８１４は各々、ビデオの取り込みおよび表示のためのカメラおよびビデオ表示画面（たとえばディスプレイ１０８、３０８または５０８と同様のもの）を有する。インターフェイスデバイス１８１３および１８１４は各々、リアルタイムビデオおよび単方向テレキャストを含む、形式が異なるオーディオおよびビデオ符号化、同期化、圧縮、およびエラー訂正符号化を使用することができる。

【0133】

ＮＬＵ１８２３は、話された表現を、傍受した音声から受けることができる。自然言語理解の結果を用いて、ユーザプロファイル１８２４および会話履歴１８２５を構築し維持することができる。また、ユーザプロファイル１８２４は、以前にわかった情報に依存し得る。会話履歴１８２５、ユーザプロファイル１８２４、およびその他の環境情報を用いて、関連情報の選択の理解に影響を与え、関連情報の選択の確率を改善することができる。ある局面において、ＮＬＵ１８２３はトピックを出力する。情報モジュール１８２６はこのトピックを用いて関連情報を検索する。情報モジュール１８２６を、たとえば検索モジュール１１２、３１２、または５１２のような検索モジュールと一体化するおよび／または連携させることができる。任意の広告モジュール１８２７は、このトピックを用いて関連広告を検索することができる。情報モジュール１８２６および広告モジュール１８２７はいずれも、ユーザプロファイル１８２４および会話履歴１８２５を用いることにより、それらの検索結果の関連度を高めることができる。

【0134】

ディスプレイコントロール１８２８は情報をインターフェイスデバイス１８１３に提供する。インターフェイスデバイス１８１３は、ディスプレイコントロール１８２８からの情報をビデオ画面に提示することができる。同様に、ディスプレイコントロール１８２９は情報をインターフェイスデバイス１８１４に提供する。インターフェイスデバイス１８１４は、ディスプレイコントロール１８２９からの情報をビデオ画面に提示することができる。ディスプレイコントロール１８２８および／またはディスプレイコントロール１８２９を、たとえば配信モジュール１０９、３０９、または５０９のような配信モジュールと一体化するおよび／または連携させることができる。

【0135】

このようにして、人物１８１１および人物１８１２は各々、それぞれの関心に対する関連性がより高い情報を見る。情報は視覚的に提示されて言葉による双方向会話をサポートする。

【0136】

ビデオ会議システム
各場合において、会話に関連する情報が自動的に提供される。ボブに対して表示される情報は、会話の進行中のアリスの発言と、近い将来においてボブに関連する可能性が高いこととによって決まる。

【0137】

図１９はビデオ会議システム１９００を示す。アリスはビデオ会議端末１９３０を使用しており、ボブはビデオ会議端末１９３１を使用している。ユーザは、ネットワーク接続を介して互いに通信している。ビデオ会議端末１９３０はカメラおよびマイクモジュール１９３２を含む。同様に、ビデオ会議端末１９３１はカメラおよびマイクモジュール１９３３を含む。

【0138】

以下のアリスとボブとの対話およびある実施形態に係る応答システムアクティビティについて検討する。

【0139】

アリス：「明日ボストンに行きたい？」
システムはボブに対しボストンについてのWikipediaの序文１９３７を表示する。
システムはアリスに対しボストンのダンキンドーナツレストランの広告１９３４を表示する。
ボブ：「行けない。洗濯をしなくては。」
システムはボブに対し洗剤の広告１９３８を表示する。
アリス：「チャーリーは行く予定。」
システムはアリスに対しチャーリーの３つの連絡先を表示する。
アリスは１つを選択する。
システムはボブに対しチャーリーの写真１９３９を表示する。
ボブ：「何をするの？」
アリス：「フリスビー（登録商標）か水族館。」
システムはアリスに対し天気予報１９３５およびニューイングランド水族館のクーポン１９３６を表示する。

【0140】

システムはボブのプロファイルに基づいてボブに対しボストンコモンまたはニューイングランド水族館の写真を表示する。

【0141】

この一例としての対話の進行中、情報は、ビデオディスプレイ上に「カード」で表示される。「カード」はビデオ会議において顔に重ならないように配置される。一方の人物に対し、ダンキンドーナツの広告１９３４、ボストンの天気予報１９３５、およびニューイングランド水族館のクーポン１９３６が提示される。他方の人物に対し、ボストンに関す
るWikipediaの序文の情報１９３７、洗剤の広告１９３８、および第３の人物の写真１９
３９が提示される。

【0142】

各ユーザは、スワイプジェスチャーを用いることにより、カードをディスプレイから削除することができる。そうでなければ、各カードは特定期間後、たとえば１０秒後に消え始める。消えつつあるときに、ユーザがカードをタップすると、カードは鮮明になってそのまま残る。そうでなければ、さらに５秒が経過するとカードは消える。ユーザが鮮明なカードをタップすると、システムは、他の情報を要求すること、または、後で参照するためにカードをカードデッキに保存するためのメニューを提供することなどの、対応するアクションを実行する。カードデッキは、ディスプレイの上部から下向きにスワイプしている間に現れるプルダウンメニューからアクセスできる。

【0143】

１人の参加ユーザ
図１８Ａに示される局面は、どちらもシステムから支援を受けている２人のユーザ間で対称に機能する。これに対し、図１８Ｂは、１人のユーザである人物１８６１のみを支援するコンピュータアーキテクチャ１８５０を示す。この局面において、システムは、非常に似ているが、相互拡張とは対照的に、個人拡張ツールを人物１８６１に提供する。人物１８６２は支援を受けない。あるシナリオにおいて、人物１８６２は電話線の反対側にいる。別のシナリオにおいて、人物１８６２は人物１８６１のデスクの反対側にいてもよく、電話は関与していないが、人物１８６１のみが関連情報を受ける。第３のシナリオにおいて、人物１８６２は実際の人物ではないが、人物１８６１は何らかのテキストを口述している。すべてのシナリオにおいて、人物１８６１は、会話を妨げることなく、音声に関連する情報を受ける。口述のシナリオにおいて、単語の会話は独白である。図１８Ｂに示される局面は、拡張の性質が一方向であることおよびわずかな相違点を除いて、図１８Ａの局面と同様である。図１８Ｂにおいて、情報１８７６の関連度を計算するモジュールが露出しているが、図１８Ａにおいてその存在は暗示的なものにすぎない。また、図１８Ｂにおいて、１つのデバイス１８６３がシステム全体の機能を提供する。いくつかの局面において、これはローカル内臓デバイスであるが、図１８Ａにおいて、デバイス１８１３は、Ｉ／Ｏ機能を実行するだけであり、おそらくは、ＮＬＵおよびその他の機能をサーバに委ねる。これらは、アーキテクチャのいくつかの変形にすぎない。インターフェイスデバイス１８６３は、１つ以上のマイクによって取り込まれた音声の自動音声認識をサポートし、これは、１つ以上のスピーカーを介して音声を出力し得る。インターフェイスデバイス１８６３は、システムが生成した支援情報を表示するために使用される表示画面を有する。

【0144】

ＮＬＵ１８７３は、話された表現を、受信した音声から受けることができる。自然言語理解の結果を用いて、ユーザプロファイル１８７４および会話履歴１８７５を構築し維持することができる。また、ユーザプロファイル１８７４は、以前にわかった情報に依存し得る。会話履歴１８７５、ユーザプロファイル１８７４、およびその他の環境情報を用いて、最も関連性が高い情報の理解に影響を与え、その選択を助けることができる。ある局面において、ＮＬＵ１８７３はトピックを出力する。情報モジュール１８７６はこのトピックを用いて関連情報を検索する。情報モジュール１８７６を、たとえば検索モジュール１１２、３１２、または５１２のような検索モジュールと一体化するおよび／または連携させることができる。任意の広告モジュール（図示せず）は、このトピックを用いて関連広告を検索することができる。情報モジュール１８７６および広告モジュール１８７７はいずれも、ユーザプロファイル１８７４および会話履歴１８７５を用いることにより、検索の関連度を改善することができる。

【0145】

ディスプレイコントロール１８７８は情報をデバイス１８６３の表示画面に提示する。ディスプレイコントロール１８７８を、たとえば配信モジュール１０９、３０９、または
５０９のような配信モジュールと一体化するおよび／または連携させることができる。方法２００その他と同様、情報を受ける側に対する情報の関連度を計算し、この関連度をしきい値と比較することにより、情報を表示するか否かを判断する。画面上の空間は限られていることが多く、情報は関連度の順に表示される。

【0146】

このシステムにおいて、参加ユーザ１８６１は、その関心により関連性が高い情報を見る。情報は、双方向の言葉による会話をサポートするために視覚的に提示される。ビデオ会議システムにおいて、動作の対称モードもサポートすることができる。たとえば、システムに対し、支援されていないユーザが無料でアクセスしてもよいが、ユーザ支援システムへのアクセスには料金が要求されることになる。

【0147】

ウェアラブルデバイス
図２０はウェアラブルデバイス２０００を示す。ウェアラブルデバイス２０００は、ストラップ２０４２で保持された本体２０４１を含み、ストラップ２０４２はクラスプ２０４３で保持されキーパー２０４４にたくし込まれる。時計本体２０４１は、情報を示すディスプレイ２０４７と、片側の総合制御ボタン２０４５と、ＮＬＥを取り込むためのマイク穴２０４６とを含む。

【0148】

時計着用者が友人と電話で会話をしている間、時計は、友人がチャーリー・タンであることを検出し、チャーリーの写真と名前とを表示する。時計は、チャーリーが仕事中であることを示す、チャーリーの位置情報を取得し、その情報を表示する。時計は、ＮＬＵを用いて会話を傍受しており、チャーリーと着用者とが、パブ・ハウス・バーで冷たいビールを美味しく飲むことを話していると判断する。時計は、レストラン情報を検索し、パブ・ハウス・バーに入るのは３０分待ちであるという情報を発見する。時計はまた、時計の着用者がパブ・ハウス・バーに行くための方向に関する追加情報を取得するためにタップするリンクを提供する。

【0149】

図２１は、仮想現実眼鏡２１００を示す。仮想現実眼鏡２１００は、可撓性プラスチック筐体内のその他の構成部品のうちの、内部バッテリと通信モジュールと処理モジュールとを含む、右のイヤピースユニット２１５１を備える。この眼鏡はさらに、可撓性プラスチック筐体内のその他の構成部品のうちの、イヤピースユニット２１５１の重量にほぼ等しい重量を有するバッテリを含む。重みの均等性は、着用者に対し、釣り合いが取れた感覚を与える。最大重量を有するバッテリは、着用者の鼻の上にかかる重量を最小にするために、イヤピースユニットの後部近くに位置する。

【0150】

仮想現実眼鏡２１００はさらに、（たとえばコンピュータアーキテクチャ５００に関して説明したように）イヤピースユニット２１５１の中の、参加着用者からの音声を取り込むための近位マイク穴２１５３を含む。仮想現実眼鏡２１００はさらに、イヤピースユニット２１５２の中の、他の人々からの音声を取り込むための遠位マイク穴２１５４を含む。

【0151】

仮想現実眼鏡２１００はさらに、眼鏡を着用者の頭部の周りに巻き付けることができるよう、右のイヤピースユニット２１５１と左のイヤピースユニット２１５２とを接続するように搭載された左の表示画面２１５６と右のイヤピースユニットに搭載された右の表示画面２１５５とを含む。表示画面２１５５および２１５６は、対称であることで、着用者の２つの目の間に交感性の視野（sympathetic visual field）を提供する。

【0152】

表示画面２１５５および２１５６は、ＯＬＥＤガラスディスプレイであってもよい。イヤピースユニット２１５１内のプロセッサは、表示画面２１５５および２１５６を独立して制御することができる。プロセッサは、情報を、見やすくするためまたは着用者の視野
に重ねられた着用者に見える情報の量を最大にするために、画面２１５５および２１５６のうちの一方または双方に表示することができる。

【0153】

いくつかの局面は、眼に対する処方に従い矯正レンズとしても作用する表示画面を提供する。

【0154】

車両のヘッドアップディスプレイ
図２２は、（たとえばフロントガラス２２６１内の）車両ヘッドアップディスプレイ２２００を示す。フロントガラス２２６１は、バックミラー２２６２およびハンドル２２６３の後方の運転者が見ることができる。マイク２２６４は音声を取り込む。内部コンピュータプロセッサシステムが、取り込まれた音声に対してＮＬＵを実行することにより、会話のトピックを判断し、関連情報を検索する。ダッシュボードに埋め込まれたプロジェクタユニット２２６６が、フロントガラス２２６１の視野内の表示領域２２６５上に関連情報を投影する。

【0155】

運転者が配偶者と電話で会話しており配偶者が運転者に対して帰宅前に食料雑貨店に立ち寄って欲しいと頼む場合がある。会話のトピック「食料雑貨店」は、会話中に受けたＮＬＥから特定することができる。食料雑貨店の位置情報の検索を実行することができる。食料雑貨店「モール・マート」を特定して表示領域２２６５に方向（たとえば右折して２キロ）とともに提示することができる。

【0156】

任意で、結果を、出資者に基づいてフィルタリングしてもよい。たとえば、モール・マートがその店舗位置を表示してもらうべくバックエンドサーバプロバイダに料金を支払っている一方で、マム・ショップおよびポップ・ショップは支払っていないという場合がある。

【0157】

コンピュータ読取可能媒体
図２３Ａは、一例としての回転ディスク２３７１を示す。回転ディスク２３７１は、非一時的なコンピュータ読取可能媒体の一例である（たとえば回転磁気ディスク）。クラウドデータセンターは、磁気ディスクを用いることにより、サーバのためのコードおよびデータを格納することができる。回転ディスク２３７１は、１つ以上のコンピュータによって実行されると当該コンピュータに本明細書に記載の方法およびデータフローを実行させる命令を含むコードを格納することができる。回転光ディスクおよびその他の機械的に移動する記憶媒体も意図されている。

【0158】

図２３Ｂは、一例としてのフラッシュランダムアクセスメモリ（ＲＡＭ）チップ２３７２を示す。フラッシュランダムアクセスメモリ（ＲＡＭ）チップ２３７２は、一例としての非一時的なコンピュータ読取可能媒体である。データセンターは、フラッシュメモリを用いることにより、サーバプロセッサのための命令を含むコードおよびデータを格納する。モバイルデバイスは、フラッシュメモリを用いることにより、システムオンチップデバイス内のプロセッサのための命令を含むコードおよびデータを格納することができる。フラッシュランダムアクセスメモリ（ＲＡＭ）チップ２３７２は、１つ以上のコンピュータによって実行されると当該コンピュータに本明細書に記載の方法およびデータフローを実行させる命令を含むコードを格納することができる。リードまたははんだボールでパッケージングされたその他の移動しない記憶媒体も意図されている。

【0159】

システムオンチップ（ＳｏＣ）
図２４Ａは、一例としての、パッケージングされたシステムオンチップ（ＳｏＣ）２４８０のはんだボール（下）側を示す。パッケージングされたＳｏＣ２４８０の下側は、プリント回路基板に対する表面実装はんだ付けのためのボールグリッドアレイとともに示さ
れている。各種のチップ実装に対して各種のパッケージ形状およびサイズが可能である。システムオンチップ（ＳｏＣ）デバイスは、本明細書に記載の埋込システムおよびＩｏＴデバイスの実施形態を制御することができる。

【0160】

図２４Ｂはシステムオンチップ（ＳｏＣ）２４８０のアーキテクチャの一例を示す。システムオンチップ（ＳｏＣ）２４８０は、コンピュータプロセッサ（ＣＰＵ）コア２４８１のマルチコアクラスタと、グラフィックスプロセッサ（ＧＰＵ）コア２４８２のマルチコアクラスタとを含む。プロセッサコアは、揮発性プログラムおよびデータ記憶のために、ネットワークオンチップ２４８３を介して、オフチップのダイナミックランダムアクセスメモリ（ＤＲＡＭ）インターフェイス２４８４に接続する。プロセッサコアはまた、フラッシュＲＡＭ非一時的コンピュータ読取可能媒体へのコンピュータプログラムコードの不揮発性記憶のために、フラッシュインターフェイス２４８５に接続する。

【0161】

ＳｏＣ２４８０はまた、ＧＵＩを表示するためのディスプレイインターフェイス１８６と、さまざまな周辺デバイスに適した各種Ｉ／Ｏインターフェイスデバイスに接続するためのＩ／Ｏインターフェイスモジュール２４８７とを含む。Ｉ／Ｏインターフェイスは、タッチスクリーンセンサのようなセンサ、ジオロケーション受信機、マイク、スピーカー、Bluetooth（登録商標）周辺機器、およびＵＳＢデバイス、特にキーボードおよびマウ
スなどを、可能にする。また、ＳｏＣ２４８０はネットワークインターフェイス２４８８を含む。ネットワークインターフェイス２４８８は、プロセッサコアが、インターネット（またはその他のネットワーク）に、有線または無線接続を介してアクセスできるようにする。無線接続は、ＷｉＦｉ（登録商標）、３Ｇ、４Ｇロングタームエヴォリューション（ＬＴＥ）、５Ｇ，およびその他ワイヤレスインターフェイス標準無線、ならびにイーサネット（登録商標）接続ハードウェアのような、無線接続である。インターフェイス２４８４を介してＲＡＭデバイスに格納されたまたはインターフェイス２４８５を介してフラッシュデバイスに格納された命令を実行することにより、ＣＰＵ２４８１およびＧＰＵ２４８２は、本明細書に記載の方法およびデータフローを実行することができる。

【0162】

サーバ
図２５Ａは、一例としてのラックベースのサーバ２５９０を示す。ラックベースのサーバ２５９０は、複数のラックマウントマルチプロセッササーバブレードを含み得る。複数のラックマウントマルチプロセッササーバブレードの各々は、ネットワーク接続された多種多様なコンピュータプロセッサを含み得る。ネットワーク接続された多種多様なコンピュータプロセッサは、ソフトウェアを並列に実行することができる。

【0163】

図２５Ｂは、サーバ２５９０のアーキテクチャの一例を示す。このアーキテクチャは、ＣＰＵコア２５９１のマルチコアクラスタと、ＧＰＵコア２５９２のマルチコアクラスタとを含む。プロセッサは、プログラムコードおよびデータ記憶のために、基板レベルの相互接続２５９３を介してＲＡＭデバイス２５９４に接続する。また、サーバシステム２５９０は、プロセッサがインターネット（またはその他のネットワーク）にアクセスできるようにするネットワークインターフェイス２５９５を含む。相互接続２５９３を介してＲＡＭデバイス２５９４に格納された命令を実行することにより、ＣＰＵ２５９１およびＧＰＵ２５９２は本明細書に記載の方法および／またはデータフローを実行することができる。

【0164】

本明細書において原理、局面、および実施形態を述べている記載は、その構造的および機能的均等物を包含する。

【0165】

いくつかの実施形態は方法ステップとして示され説明されている。各方法ステップは、いくつかの実施形態におけるシステムコンポーネントと均等であり得る。

【0166】

本開示は、興味深い各種局面を示す本発明の各種実施形態を説明している。当業者は多くの改変および変形を認識するであろう。改変および変形は、開示された特徴の関連する任意の組み合わせを含む。

【0167】

各種実施形態は、人間と機械のいずれかまたは人間と機械を組み合わせたものの挙動を使用する方法である。方法の実施形態は、構成するほとんどのステップが行われるのであれば世界中のどこにおいても完成する。いくつかの実施形態は、このような本明細書に記載の方法の命令を格納するように準備された１つ以上の非一時的なコンピュータ読取可能媒体である。必要なコードのいずれかを含む非一時的なコンピュータ読取可能媒体を保持するマシンであればどのようなマシンであっても完全な実施形態を維持する。いくつかの実施形態は、半導体チップのような物理デバイス、このようなデバイスの論理的または機能的挙動のハードウェア記述言語表現、および、このようなハードウェア記述言語表現を格納するように準備された１つ以上の非一時的なコンピュータ読取可能媒体である。

【0168】

示し説明した例は、特定の音声言語を用いる。各種実施形態は、その他の言語または言語を組み合わせたものに対しても同様に機能する。示し説明した例は、特定の知識ドメインを使用する。各種実施形態は、その他のドメインまたはドメインを組み合わせたものに対しても同様に機能する。

【0169】

いくつかの実施形態は自動販売機のような据え置き型である。いくつかの実施形態は自動車のような可動型である。いくつかの実施形態は携帯電話のような携帯型である。いくつかの実施形態はキーボードまたはタッチスクリーンのようなマニュアルインターフェイスを含む。いくつかの実施形態は自然言語表現の形態として人間の思考を用いるニューラルインターフェイスを含む。

【0170】

これまでの記述は例示および説明を目的として示されている。すべてを網羅することを意図している訳でも、開示されている形態そのものに本発明を限定することを意図している訳でもない。上記教示に照らして多数の改変および変形が可能である。さらに、注目すべきことは、上記代替実施形態のうちのいずれかまたはすべてを、本発明のさらに他の混成実施形態を構成することが所望される任意の組み合わせで使用し得ることである。

【0171】

さらに、本発明の特定の実施形態について説明し示してきたが、本発明は、そのように説明および示した部分の特定の形態または構成に限定されないものとする。本発明の範囲は、以下の請求項、本願および異なる出願で今後提出される請求項、およびそれらの均等物によって定められるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22】

【図23A】

【図23B】

【図24A】

【図24B】

【図25A】

【図25B】

【手続補正書】

【提出日】2021-09-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータによって実現される方法であって、前記方法は、
第１の人物による表現を受けるステップと、
前記表現を解析することにより、前記表現の意図を認識するステップと、
前記意図を検索クエリにマッピングすることにより、前記表現の関連情報を検索するステップと、
前記関連情報を提供するステップと、を含む方法。

【請求項2】

前記表現は、第１の人物の発話に対応する音声信号を含み、
前記意図を認識するステップは、
前記音声信号に対して音声認識を適用することにより、前記発話に対応する自然言語表現を得ることと、
前記自然言語表現を解析することにより、前記表現の前記意図として、前記自然言語表現の意図を認識することと、
を含む、請求項１に記載の方法。

【請求項3】

前記自然言語表現の意図を認識することは、前記自然言語表現から、意図のスロットに対応する値を抽出することを含む、請求項２に記載の方法。

【請求項4】

前記検索するステップは、前記自然言語表現から抽出された、キーワード、動作を表す単語、エンティティ、および、トピックのうち少なくとも１つを検索クエリにマッピングすることにより、前記関連情報を検索することを含む、請求項２または請求項３に記載の方法。

【請求項5】

コンピュータのコンポーネントによって実行されることにより、前記コンピュータに、請求項１～請求項４のいずれか１項に記載の方法を実施させる、プログラム。

【外国語明細書】