特許 6204982 自然動作入力を使用する文脈的クエリ調整

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6204982

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】自然動作入力を使用する文脈的クエリ調整

(51)【国際特許分類】

   G06F 17/30 20060101AFI20170914BHJP

   G06F 3/0484 20130101ALI20170914BHJP

   G06F 3/0489 20130101ALI20170914BHJP

   G06F 3/01 20060101ALI20170914BHJP

   G06F 3/16 20060101ALI20170914BHJP

【ＦＩ】

   G06F17/30 180A

   G06F17/30 340Z

   G06F17/30 310Z

   G06F3/0484 120

   G06F3/0489 170

   G06F3/01 570

   G06F3/16 610

【請求項の数】13

【全頁数】23

(21)【出願番号】特願2015-521826(P2015-521826)

(86)(22)【出願日】2013年7月12日

(65)【公表番号】特表2015-531109(P2015-531109A)

(43)【公表日】2015年10月29日

(86)【国際出願番号】US2013050172

(87)【国際公開番号】WO2014014745

(87)【国際公開日】20140123

【審査請求日】2016年6月13日

(31)【優先権主張番号】13/549,503

(32)【優先日】2012年7月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ヘック，ラリー ポール

(72)【発明者】

【氏名】チンタクンタ，マドゥズーダン

(72)【発明者】

【氏名】アイヤー，ルクミニ

【審査官】 山本 俊介

(56)【参考文献】

【文献】 特表２０１２−５１１２０８（ＪＰ，Ａ）

【文献】 特開２０１２−１３３２４３（ＪＰ，Ａ）

【文献】 特開２００２−３４２３６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｆ ３／０４８９

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

プロセッサを有するサーバを使用してユーザデバイスにクエリ結果を提示する方法であって、前記方法は、前記プロセッサ上で命令を実行する工程を含み、前記命令は、ユーザによって提供される、前記ユーザデバイスからの第１のクエリを受け取ると、前記サーバに対し、
Ａ）前記第１のクエリを実行して、エンティティを含むクエリ結果を生成することと、
Ｂ）前記クエリ結果の調べに基づいて、前記クエリ結果内の前記エンティティについて少なくとも１つの利用可能な動作を識別することと、
Ｃ）前記利用可能な動作に関連付けられた少なくとも１つの利用可能な自然動作要求を識別することであって、前記利用可能な自然動作要求は、前記クエリ結果内の前記エンティティを選択するために前記ユーザが行うことのできるジェスチャーを含み、前記利用可能な自然動作要求が、前記ジェスチャーによって選択可能な前記エンティティに関する前記第１のクエリのクエリ調整を識別することと、
Ｄ）前記ジェスチャーによって選択可能な前記エンティティに関する前記利用可能な自然動作の入力と前記クエリ調整とに関連付けられた、前記クエリ結果と前記利用可能な自然動作要求の識別とを、前記ユーザデバイスとやり取りすることと、を行わせ、
前記クエリ結果は、動作識別子を有する少なくとも１つの動作と関連付けられ、
前記クエリ調整は、
前記動作識別子以外の、前記動作を指定する少なくとも１つの自然動作要求を識別することと、
前記識別された前記自然動作要求により指定された前記動作に従って前記第１のクエリを調整することと、を含む、
方法。

【請求項2】

前記命令はさらに、前記ユーザデバイスに前記クエリ結果を提示した後、前記ユーザデバイスから自然動作入力を受け取ると、
前記自然動作入力中の前記利用可能な自然動作要求を識別し、
前記自然動作入力中の識別された前記利用可能な自然動作要求に関連付けられた前記クエリ調整によって調整された前記第１のクエリを含む、調整されたクエリを生成し、
前記調整されたクエリを実行して調整されたクエリ結果を生成し、
前記調整されたクエリ結果を前記ユーザデバイスに提示する、
ように構成される、請求項１に記載の方法。

【請求項3】

前記クエリ結果は少なくとも１つのエンティティを含み、
前記命令はさらに、
前記ユーザデバイスに対して前記クエリ結果を提示するように構成され、該提示することは、前記クエリ結果の各エンティティに関し、該エンティティを参照する少なくとも１つの自然言語のエンティティ要求を識別することを含む、請求項１に記載の方法。

【請求項4】

プロセッサを有するサーバを使用して、少なくとも１つのエンティティを含むクエリ結果のユーザデバイスによる提示を容易にする方法であって、前記方法は、
前記サーバにおいて、前記プロセッサ上で命令を実行する工程を含み、該命令は、前記ユーザデバイスから第１のクエリおよびクエリ結果を受け取ると、
前記クエリ結果の調べに基づいて、前記クエリ結果の各エンティティについて、前記ユーザが前記クエリ結果の該エンティティを選択するために行うことのできるジェスチャーを含む少なくとも１つの利用可能な自然動作入力に関連付けられた少なくとも１つの利用可能なエンティティ動作と、該エンティティを伴う前記第１のクエリの対応するクエリ調整とを識別し、
前記エンティティに関連付けられた前記利用可能なエンティティ動作の識別と、前記利用可能な自然動作入力と、前記対応するクエリ調整とを、前記ユーザデバイスとやり取りするように構成され、
前記クエリ結果は、動作識別子を有する少なくとも１つの動作と関連付けられ、
前記対応するクエリ調整は、
前記動作識別子以外の、前記動作を指定する少なくとも１つの自然動作要求を識別することと、
前記動作に従って前記第１のクエリを調整することと、を含む、
方法。

【請求項5】

前記利用可能な自然動作入力は、
話された言葉と、
書かれた言葉と、
声の抑揚と、
手によるジェスチャーと、
タッチ動作と、
光学的な動きと、
を含む自然動作入力タイプの組から選ばれた自然動作入力タイプを有する、請求項４に記載の方法。

【請求項6】

前記第１のクエリ結果は、自然動作要求に関連付けられた少なくとも１つのクエリ調整を指定し、
前記命令はさらに、前記クエリ調整を識別するように構成され、該識別することは、
前記自然動作入力において、前記第１のクエリ結果によって指定された自然動作要求を識別することと、
前記自然動作要求に関連付けられた前記クエリ調整を選択することと、を含む、請求項４に記載の方法。

【請求項7】

前記命令はさらに、前記対応するクエリ調整を識別するように構成され、該識別することは、
前記第１のクエリ結果を受け取ると、前記第１のクエリ結果を評価して前記第１のクエリに関するクエリ調整を示す少なくとも１つの自然動作要求を識別することと、
前記自然動作入力を受け取ると、前記自然動作入力において、前記第１のクエリ結果によって指定された自然動作要求を識別し、該自然動作要求に関連付けられた前記クエリ調整を選択することと、を含む、請求項４に記載の方法。

【請求項8】

前記命令は、前記ユーザから前記第１のクエリを受け取り、かつ前記第１のクエリ結果を提示するアプリケーションを実行するコンピュータ処理環境を含み、
前記命令はさらに、前記調整されたクエリ結果を提示するように構成され、該提示することは前記アプリケーションに対して前記調整されたクエリ結果を提示することを含む、請求項７に記載の方法。

【請求項9】

前記対応するクエリ調整を識別することは、前記自然動作入力を前記クエリ結果の文脈において解釈することで前記クエリ調整を識別することを含む、請求項４に記載の方法。

【請求項10】

前記対応するクエリ調整を識別することは、
前記第１のクエリおよび前記自然動作入力をサーバに送ることと、
前記サーバから前記クエリ調整を受け取ることと、を含む、請求項４に記載の方法。

【請求項11】

少なくとも１つの動作が前記クエリ結果のエンティティに関連付けられ、
前記命令はさらに、前記クエリ結果を提示するように構成され、該提示することは、前記クエリ結果のエンティティによって、該エンティティと動作とを関連付ける少なくとも１つの動作識別子を提示することを含む、請求項４に記載の方法。

【請求項12】

前記自然動作入力は、前記第１のクエリをフィルタリングするための少なくとも１つのフィルタ基準を含み、
前記クエリ調整は、前記少なくとも１つのフィルタ基準に従って前記第１のクエリをフィルタリングすることを含む、請求項４に記載の方法。

【請求項13】

プロセッサを有するデバイスにクエリ結果を提示するサーバであって、該サーバは、
プロセッサと、
命令を格納したメモリと、を含み、
前記命令は、前記プロセッサによって実行されると、Ａ）クエリ評価部と、Ｂ）クエリ調整提示部とを含むシステムを提供し、
前記Ａ）クエリ評価部は、ユーザによって提供される、前記デバイスからの第１のクエリを受け取ることに応じて、
１）前記第１のクエリを実行してエンティティを含むクエリ結果を生成し、
２）前記クエリ結果に基づいて、少なくとも１つの利用可能な自然動作要求を識別し、前記少なくとも１つの利用可能な自然動作要求は、前記ユーザの利用可能な自然動作入力であって、前記クエリ結果内の前記エンティティを選択するために前記ユーザが行うことのできるジェスチャーをさらに含む利用可能な自然動作入力中に含まれると、前記ジェスチャーによって選択可能な前記エンティティに関する前記第１のクエリの対応するクエリ調整を示すものであり、
前記Ｂ）クエリ調整提示部は、前記ジェスチャーによって選択可能な前記エンティティに関する前記利用可能な自然動作入力と前記対応するクエリ調整とに関連付けられた、前記クエリ結果と前記利用可能な自然動作要求の識別とを前記デバイスに提示し、
前記クエリ結果は、動作識別子を有する少なくとも１つの動作と関連付けられ、
前記対応するクエリ調整は、
前記動作識別子以外の、前記動作を指定する少なくとも１つの自然動作要求を識別することと、
前記動作に従って前記第１のクエリを調整することと、を含む、
サーバ。

【発明の詳細な説明】

【背景技術】

【0001】

コンピュータ処理に関する分野では、多くの場面で、所望の組のファイルを求めるファイルシステム内の検索、照会（query、クエリ）条件を指定するデータベースのｓｅｌｅｃｔ照会、オブジェクトセットにおけるオブジェクトのフィルタリングもしくは順序づけ、または一致するウェブページの組を識別するためにウェブ検索エンジンに提出される検索クエリなど、ユーザによって提出される照会が必要とされる。これらおよび他の場面において、照会は、キーワードもしくは他の論理的な基準のテキスト入力、解析されて照会になり得るテキストもしくは音声による自然言語入力、または現在の検出位置近くの関心位置を提示する全地球測位システム（GPS: global positioning system）受信機などの自動化された文脈的（contextual）提示といったさまざまな方法でユーザによって提出され得る。

【0002】

これらおよび他の場面では、デバイスは照会を使用して照会結果を（たとえば、直接的に照会を実行し、マッチング結果を識別するか、または照会（クエリ）を検索エンジンに提出（submit）し、照会結果を受け取ることによって）生成することができる。デバイスは、ユーザの現在検出されている位置に対する各レストランの近接度に従ってレストランの検索を命令することなどによって、文脈的ヒントを照会に追加してもよい。ユーザが照会結果に満足しない場合、デバイスはユーザに新たな照会の入力を可能にしてもよく、異なる照会結果を提示してもよい。あるいはデバイスは、ユーザが、再提出のための照会のテキストを手動で編集するためにキーボードを使用するなどして、ユーザ入力の従来の形で照会を調整できるようにし、タッチセンシティブディスプレイ、マウス、もしくはトラックボールなどのポインティングデバイスを使用して検索結果の一部を選択できるようにし、または検索結果の次の部分集合を示すなどの種々の動作に対応するキーワードを入力できるようにしてもよい。内容および／または照会の順序を調整するために、動作をデバイスの従来のデータ入力技法に対応づけるためのこれらおよび他の技法。

【発明の概要】

【0003】

この概要は、「発明を実施するための形態」においてさらに後述するコンセプトから選択したものを簡単な形で紹介するために提供される。この「発明の概要」は、特許請求される主題の主要素または本質的な特徴を指定することは意図されておらず、また、と特許請求される主題の範囲を限定するために使用されることも意図されていない。

【0004】

従来の入力または文脈的ヒントを使用して照会を更新することは有用であるが、これらの技法は、ユーザが自然動作入力で指定することができる多くのタイプの照会調整を適切に適用しない可能性がある。たとえば、ユーザは、「次へ」や「再開」などのデバイスによって認識される照会変更キーワードに一致せず、「結果をさらに表示する」や「最初のページに戻る」などの他の個人に認知され得る自然言語の入力を表す言語入力を提示することができる。代替または追加で、ユーザは、声の抑揚、宙で行う手振り（たとえば、ディスプレイには触れず、ディスプレイ上に提示される検索結果に対する指差し）、および検索結果の部分に対する視覚的注視フォーカスなど、デバイスの任意の入力コンポーネントには物理的に触れないノンバーバルコミュニケーションに対応する自然な動作を使用することができる。認識、評価、および照会を調整するためのアプリケーションは、デバイス、検索結果のサーバ、および／または自然動作入力を、照会結果を調整する呼び出し可能な動作に翻訳する「動作仲介役」などの異なるサーバによって実施され得る。自然動作入力の検出、評価、およびアプリケーションを介した照会結果の調整におけるこれらおよび他の変形形態は、本明細書で提示される技法に従って実現され得る。

【0005】

上記および関連する目的の達成のために、以下の説明および付属の図面に、ある種の例示の態様および実装形態を記載してある。これらは、１つまたは複数の態様が使用され得るさまざまな方法を示すが、示しているのはその一部にすぎない。本開示の他の態様、利点、および新規な特徴は、以下の「発明を実施するための形態」を添付の図面とともに検討することで明らかになろう。

【図面の簡単な説明】

【0006】

【図1】照会の提出および調整と、キーワードに基づく照会結果とに注目した例示的な場面の図である。

【図2】本明細書に示す技法による、照会の提出および調整と、自然動作入力に基づく照会結果とに注目した例示的な場面の図である。

【図3】本明細書に示す技法に従った、サーバを使用して照会結果をデバイスに提示する例示的な方法を示す流れ図である。

【図4】本明細書に示す技法による、照会結果をデバイスに提示するように構成されたサーバに注目した例示的な場面の図である。

【図5】本明細書に示す技法に従った、デバイスによる照会結果の提示を補助する例示的な方法を示す、少なくとも１つのエンティティを含む流れ図である。

【図6】本明細書に示す技法による、デバイスによる照会結果の提示を補助するように構成されたサーバに注目した、少なくとも１つのエンティティを含む例示的な場面の図である。

【図7】本明細書に示す技法に従った、ユーザから受け取った照会に応答して照会結果を提示する例示的な方法を示す流れ図である。

【図8】本明細書に提示される技法に従った、デバイスのプロセッサで実行されたとき、デバイスに照会の照会結果を提示させる命令を含む例示的なコンピュータ可読ストレージデバイスの図である。

【図9】本明細書に示す技法に従った、エンティティ指示（reference）およびエンティティ動作に関連づけられたエンティティを含む、照会結果の提示に注目した例示的な場面の図である。

【図10】本明細書に示す技法に従った、エンティティへの照会結果のフォーカスと、エンティティに関連するエンティティ動作の提示とに注目した例示的な場面の図である。

【図11】本明細書に示す技法に従った、照会結果の提示のコンテキストにおける自然ユーザ動作の曖昧性除去に注目した例示的な場面の図である。

【図12】本明細書に記載する規定のうちの１つまたは複数が実装できる例示的なコンピュータ処理環境の図である。

【発明を実施するための形態】

【0007】

次に、特許請求される主題を図面を参照しながら説明する。図面全体を通して、同様の参照符号は同様の要素を指すために使用される。以下の説明では、説明する目的で、特許請求される主題の十分な理解を実現するための数多くの具体的な詳細を記載している。しかしながら、特許請求される主題はこういった具体的な詳細なしで実践できることは明らかであると思われる。他の例では、特許請求される主題の説明を容易にするために、構造およびデバイスをブロック図の形で示してある。

【0008】

Ａ．はじめに
コンピュータ処理に関する分野では、多くの場面で、ユーザによる照会（クエリ）が、ユーザに提示する照会結果（クエリ結果）を生成するために実行されるデバイスの提出が必要とされる。第１の例として、ユーザは、関心ファイルの説明（たとえば、部分的なファイル名の一致、ファイルのタイプ、または生成日付の範囲）を含む照会を提出することができ、デバイスは、ローカルファイルシステムを調べ、当該説明に一致するファイルのリストを提示することができる。第２の例として、ユーザは、SQL（Structured Query Language）におけるＳＥＬＥＣＴ照会などのフィルタリングデータベース照会を提示することができ、デバイスは、その照会によって識別される記録を求めてデータベースを検索することができる。第３の例として、ユーザは、ｅメールデータベースにおけるｅメールメッセージなどのオブジェクトセットの基準を提供することができ、デバイスは、その基準に一致するメッセージを識別することができる。第４の例として、ユーザは、検索クエリをウェブの検索エンジンに提出することができ、検索エンジンは、その検索クエリに一致するウェブページの説明およびリンクを含む検索結果の組を識別および提示することができる。照会結果は静的に提示されてもよく、またはデバイスによって、ユーザが、たとえば、照会結果におけるエンティティ（たとえば、ウェブ検索結果に含まれるウェブページ）を選択し、ユーザに対して、選択されたウェブページのコンテンツを提示することによって照会結果と対話できるようになってもよい。

【0009】

これらおよび他の場面では、ユーザは、多くの方法で照会を提示することができる。第１の例として、ユーザは、キーボードなどのテキスト入力デバイスまたはマウス、スタイラス、もしくはタッチセンシティブディスプレイなどのポインティングデバイスを使用して、ウェブ検索クエリ結果に提示されるウェブページのタイトルまたは本文に含まれるべきキーワードの組など、照会の詳細を指定することができる。一部のそのような場面では、ユーザは、デバイスに対して照会内容を発話または手書きで伝えることができ、デバイスは、音声または手書き解析器を使用して、発話内容を識別することができる。さらに、照会は、キーワード、日付範囲を表す数字、およびブール演算子などの論理的な基準に従って指定されるか、または「自然言語」の照会として提出されてもよく、ここではユーザは、別の個人に自然に話しかけるときのように、求めるデータを表す文を発する。これらの場面では、デバイスは、ユーザの音声によって指定される基準を識別するために、自然言語字句解析器を使用して照会を解析することができる。さらに、これらおよび他の場面において、照会結果に十分に満足しないユーザは、照会を構築する際にユーザの意図により近い照会結果を生成および提示するために、照会を調整しようと努めることができる。たとえば、「ワシントン」を求めてウェブを検索するユーザは、米国のワシントン州と、ジョージワシントンという名前の個人の両方に関する多くのページに行き当たり、関心があるのは後者のみであることがある。そこでユーザは、両方の「ジョージワシントン」を指定する新たな照会を入力して、所望のトピックに近づくように照会結果を調整することができる。

【0010】

図１は、デバイス１０４のユーザ１０２が第１の照会１０８を提出するところに注目した例示的な場面の図を表す。第１の時点１００において、デバイス１０４は、ユーザ１０２に、検索エンジンのホームページなどであり、第１の照会１０８をユーザ１０２から受け取るように構成された照会テキスト入力コントロール１１４を含む検索ページ１１２を提示することができる。したがってユーザ１０２は、ユーザ１０２にとって関心のあるページを識別する一組のキーワード１１０を提出することができる。デバイス１０４は、提出に作用することを決めると、第１の照会１０８を照会入力コントロール１１４に提示することができ、第２の時点１１６において、照会結果１１８を完了するか受け取ったとき、照会結果１１８をユーザ１０２に提示することができる（たとえば、照会１０８のキーワード１１０に一致する、レストラン名簿の中で特定されたレストランなどの一組のエンティティ１２０）。ユーザ１０２が照会結果１１８満足しない場合、ユーザ１０２は、第３の時点１１２において、より狭いキーワード１１０を含むように第１の照会１０８の内容を手動で編集するなどによって、異なるキーワード１１０で第２の照会１０８を構築し、第２の照会１０８を提出して、異なるエンティティ１２０を有する第２の照会結果１１８を閲覧することができる。第４の時点１２４において、ユーザ１０２は、タッチ選択１２６をデバイス１０４のディスプレイ１０６で実施して、エンティティ１２０を選択（たとえば第1のエンティティ１２０のエントリをタッチ）することができ、デバイス１０４は、エンティティ１２０のウェブページ１２８など、選択されたエントリについてより詳しく提示することによって応答することができる。さらに、ウェブページ１２８は、カフェの営業時間を閲覧したり、カフェのメニューを閲覧したりするなど、エンティティ１２０に関する一組の動作１３０を含み得る。このように、デバイス１０４によって、ユーザ１０２はキーワードに基づく照会１０８を入力および調整できるようになり、照会結果１０６と対話できるようになり得る。

【0011】

図１の例示的な場面において提示される技法は、方法によって変わり得る。たとえば、ユーザ１０２は、一組のキーワード１１０として、基準および論理結合子の組を含むフィルタとして、構造化照会言語（SQL）などの言語でのデータ照会として、または自然な人間言語で提示される要求などの自然言語照会として、照会１０８を入力することができる。さらに、ユーザ１０２は、第１の照会によって提供される入力を手動で変更すること、または第１の照会１０８とは異なる第２の照会１０８を構築することによって、照会１０８を調整することができる。

【0012】

しかしながら、図１の例示的な場面およびその変形で提示される技法において、いくつかの欠点が認められることがある。第１の例として、ユーザ１０２がデバイス１０４の入力コンポーネントに通じていない場合（たとえば、ユーザ１０２がキーボードまたはマウスに熟達していない場合）、そのような入力コンポーネントを使用して照会１０８を指定することは困難かつ非効率であり得る。第２の例として、デバイス１０４が処理するように構成されている照会１０８のフォーマットにユーザ１０２が慣れていない場合（たとえば、構造化照会言語、または基準および論理演算子を指定する方法）、ユーザ１０２は、デバイス１０４が満足に処理できる適切に構築された照会１０８を提示することができない場合がある。第３の例として、デバイス１０４が一組のキーワードを使用し、ユーザ１０２がそのようなキーワードを正しく使用しない場合、照会１０８は所望の照会結果１１８を返せないことがある。たとえば、「選択」および「次」などの特定の発声キーワードを処理する音声起動型アプリケーションを備えるデバイス１０４は、識別されるキーワードを知らないまたは適切に話せないユーザ１０２には適していないことがある。第４の例として、照会１０８を調整するために、ユーザ１０２は、照会１０８を特定の方法で調整するようにデバイス１０４に単に求めるのではなく、前述の照会１０８の内容を編集する（たとえば、キーワード１１０を手動で追加、削除、または変更することによる）か、あるいは新たな照会１０８を開始する。これらおよび他の欠点は、図１の例示的な場面で提示されたものなどの照会技法の使用から生じることがある。

【0013】

Ｂ．提示する技法
直観的人間コミュニケーションをより効果的に使用してユーザ１０２が照会１０８を開始および調整できるようにする技法が、本明細書に提示されている。特に、図１の例示的な場面に提示される欠点の多くが、ユーザ１０２がデバイス１０４と自然にコミュニケーションできるようにせず、またデバイス１０４がそのような自然なユーザ入力を解釈できるようにせず、ユーザ１０２に、デバイス１０４の論理的な制約および処理に従って入力を強いる（たとえば、ユーザ１０２に、デバイス１０４によって使用される構造化照会言語または論理演算子の組を学習するように指令する）ことに起因することが理解されよう。デバイス１０４は声による照会などの自然言語入力を処理することが可能であるが、そのような自然言語の入力の使用には、自然言語入力を使用してデバイス１０４の機能とは対話せず、プレーンテキスト（口述入力される文書など）の受け取りしかできないという制約がよくある。たとえば、口述入力を受け取るように構成されたアプリケーションは、プレーンテキストの文書に対する自然言語の入力を受け取ることができ、テキストの内容を変更するために発話キーワードの組を指定することができるが、「この次の文はボールド体」などのテキストの内容を変更するコマンドを受け取るために自然言語の入力が利用できないことがある。同様に、描画アプリケーションによって、ユーザはタッチセンシティブデバイスでのタッチ入力によるフリーハンドでの描画が可能になり、また、ズームインまたはアウトおよび異なる描画ツールの選択などのさまざまな描画コマンドを指定する一組のタッチジェスチャを指定することができるが、自然ユーザ動作として提供される描画コマンドをやはり含むフリーハンドの図を解釈できないことがある。すなわち、ユーザ１０２は、各コマンドを呼び出す特定の口頭キーワードおよびタッチジェスチャ、ならびにキーボードやタッチパッドなどの入力デバイスの詳細を学習することによって、口述入力アプリケーションおよび描画アプリケーションと通信しており、ユーザ１０２がデバイス１０４と自然に対話できるようにはせず、また、そのような自然動作入力を内容およびコマンドの両方の指定として解釈するようにデバイス１０４を構成していない。

【0014】

本明細書に提示される技法によって、ユーザ１０２は、さまざまな形の自然ユーザ入力（たとえば、音声またはテキスト入力の自然言語、声の抑揚、デバイス１０４のいかなるコンポーネントにもタッチせずに行う手振り、およびディスプレイ１０６の特定の要素上における視覚的フォーカス）を使用してデバイス１０４と対話できるようになり、ここでは、そのような自然ユーザ入力は、デバイス１０４にコンテンツおよびコマンドの両方を指定する。具体的には、本明細書に提示される技法によって、照会１０８を調整し、調整された照会結果１１８を提示するために、ユーザ１０２は、自然ユーザ動作をし、そのような自然ユーザ動作を解釈するようにデバイス１０４を構成することによって、照会１０８を調整できるようになる。重要なことに、ユーザ１０２は、デバイス１０４の入力コンポーネントまたはデバイス１０４が使用できるコマンドについて何も理解する必要がなく、話す、ジェスチャする、およびその他の方法で、別の個人の対してするのと同じようにデバイス１０４とコミュニケーションすることができ、デバイス１０４は、そのような自然動作入力からユーザ１０２の意図を解釈し、それを受けて照会１０８を調整するように構成されていてもよい。さらに、そのような自然動作入力は、入力における曖昧性を解消し、ユーザ１０２の自然なコミュニケーションの全範囲に応答するために、発声、声の抑揚、指差しなどの手振り、および視覚的フォーカスといったモダリティの組み合わせを利用することができる。

【0015】

図２は、ユーザ１０２の自然ユーザ動作による照会１０８の調整に注目した例示的な場面の図を提示する。この例示的な場面では、第１の時点２００において、ユーザ１０２は第１の照会１０８を（たとえば、「バージニア」および「レストラン」などの一組のキーワード１１０、またはキーボードでタイプされるかもしくはデバイス１０４に話しかけられた自然言語照会として）指定し、デバイス１０４は、ディスプレイ１０６に、特定のエリアにおけるレストランのリストおよび一致する組のレストラン１２０を要求する照会１０８などの一組のエンティティ１２０を含む照会結果１１８を提示することができる。しかしながら、第２の時点２０２において、ユーザ１０２は、カフェなど、レストランの特定のタイプに結果を限定することなどによって、デバイス１０６に照会を変更するように求める要求として、自然ユーザ入力２０４を提示することができる。図１の例示的な場面とは対照的に、ユーザ１０２の調整要求は、デバイス１０４によって認識される限定されたコマンドの組（たとえば、「挿入、キーワード、カフェ）にも、自然言語またはキーワードの新たな組（たとえば、「新たな照会：バージニアカフェ」）での再構築された照会１０８の提示にも制限されず、ユーザ１０２が別の個人に求めるような、照会１０８を変更するための自然言語の要求に制限される。第２の時点２０２において、デバイス１０４は、第１の照会１０８における「レストラン」というキーワードをレストラン２０６のタイプについてより具体的なキーワードに置き換える要求など、照会調整２０６を識別するための自然動作入力２０４を調べることができる。したがって、デバイス１０４は、調整された照会２０８を生成し、調整された照会２０８を実行し、自然ユーザ入力２０４で示されたそのより具体的な基準に一致するレストランを含むエンティティ１２０などの調整された照会結果２１０を提示することができる。

【0016】

図２にさらに示すように、第３の時点２１２において、ユーザ１０２は、自然言語の語句「それ」と発声しながら、ディスプレイ１０６のエンティティ１２０を手で指差す２１４ことによって、２つの形態の自然動作入力を同時に提示してもよい。デバイス１０４は、これらの形態の自然ユーザ入力２０４を合わせて、第１のカフェの照会結果など、ユーザ１０２が２１４において手で指差しているディスプレイ１０６の上の位置に表示されているエンティティ１２０のフォーカスを示すものとして解釈できる。デバイス１０４は、照会１０８を調整して、示されたエンティティ１２０に再びフォーカスする（たとえば、照会を第1のカフェの名前に限定する）ことによって、またはユーザ１０２のエンティティ１２０へのフォーカスを単に反映することによって、たとえばエンティティ１２０をユーザの選択の表示としてハイライトすることによって、エンティティ１２０の検索結果のハイパーリンクを起動するなど、エンティティ１２０で実施されるべき動作として、この推論に応答することができる。第４の時点２１８において、ユーザ１０２は、照会１０８をさらに調整する追加の自然動作入力２０４を発することができる。たとえば、ユーザ１０２が「開いていますか？」などの質問をした場合、デバイス１０６はこの自然動作入力２０４を、キーワード「時間」を追加する照会調整２０６を指定するものとして評価することができ、カフェの営業時間を示す調整された照会結果２１０を生成し、提示するための調整された照会２０８を実行する。

【0017】

図２の例示的な場面に提示されている技法は、特に図１の例示的な場面に提示されている技法に対していくつかの利点を示す。第１の例として、ユーザ１０２はデバイス１０６の入力コンポーネントの動作を理解する必要がない。第２の例として、ユーザ１０２は、デバイス１０６の特定のコマンド、または照会言語もしくは論理演算子の性質に対応する口頭キーワードまたはタッチジェスチャなど、デバイス１０６の機能を呼び出すための機構を学習し、それに適応する必要がない。さらに、デバイス１０６によって認識されるコマンドにユーザ１０２が通じている場合であっても、ユーザ１０２は、内容を指定するために提示される自然言語入力（たとえば、文書のテキストとして解釈されるべき音声または絵柄として解釈されるべきタッチ入力）と、デバイス１０６の機能を呼び出す制約のある入力（たとえば、文書のフォーマッティングオプションを呼び出すための発話キーワードまたは描画コマンドを呼び出すための特定の手振りを）とを切り替える必要がない。むしろ、ユーザ１０２は、内容を指定し、かつ、コマンドをデバイス１０６に発するために、別の個人とコミュニケーションするかのようにデバイス１０６と簡単にやり取りし、デバイス１０６は、ユーザ１０２の意図を解釈するように構成されている。このように、デバイス１０６は、本明細書に示す技法に従って、ユーザ１０２が、照会１０８の提出および調整においてより自然に対話できるようにする。

【0018】

Ｃ．実施形態
本明細書に提示される技法は種々の実施形態に従って実装され得る。特に、また以下の検討において提示するように、そのような実施形態の要素のアーキテクチャは変わり得る。たとえば、自然動作入力は、自然ユーザ入力２０４を受け取るデバイス１０６によって、照会１０８の照会結果１１８を提供するサーバによって、かつ／またはユーザ１０２によって操作されるデバイスおよび照会結果１１８を提供するサーバの両方を容易にする異なるサーバによって、解釈され、照会１０８の照会調整２０６に翻訳され得る。

【0019】

図３および図４はともにこれらの技法の第１の実施形態を提示する。図３は、照会結果１０６をデバイス１０４のユーザ１０２に提示するためのプロセッサを有するサーバを構成する例示的な方法３００の図を提示する。例示的な方法３００は、たとえば、サーバのメモリコンポーネント（たとえば、揮発性メモリ回路、ハードディスクドライブのプラッタ、ソリッドステートストレージデバイス、または磁気もしくは光学ディスク）に格納された、サーバのプロセッサで実行されるとサーバに本明細書に示す技法を使用させる命令一式として実装され得る。例示的な方法３００は３０２から開始し、サーバのプロセッサ上で命令の実行３０４を含む。特に、命令は、ユーザ１０２が提供した第１の照会１０８をデバイス１０４から受け取ったとき、第１の照会１０８を実行３０６して照会結果１０８を生成するように構成されている。命令はまた、ユーザ１０２の自然動作入力２０４に含まれているとき、第１の照会１０８の照会調整２０６（たとえば、ユーザ１０２が照会１０８を調整するためのさまざまな自然言語の要求に使用し得る異なる語句、およびその結果として照会１０８に適用され得る照会調整２０６）を示す少なくとも１つの自然動作要求を識別３０８するように構成されている。命令はまた、デバイス１０６に、照会結果１１８ならびに自然動作入力２０４および対応する照会調整２０６に関連する自然動作要求を提示３１０するように構成されている。照会結果１１８およびユーザ１０２から受け取ったさまざまなタイプの自然動作入力２０４を満たすために適用され得る照会調整２０６のタイプを提供したことで、例示的な方法３００は、本明細書に提示される技法に従って、サーバに照会結果１１８をデバイス１０４に提示させ、したがって３１２で終了する。

【0020】

図４は、このアーキテクチャを使用する例示的な場面４００の図を提示する。この例示的な場面４００では、デバイス１０４は照会１０８をサーバ４０２（ウェブサーバなど）に提示し、サーバは、照会１０８によって識別される一組のエンティティ４０４を含む照会結果１１８を提供することによって応答することができる。さらに、サーバ４０２は、各照会調整２０６（たとえば、第1の照会１０８に対して追加、変更、または削除するキーワード）に対応し得る一組の自然動作入力２０４（たとえば、自然言語の語句）など、一組の自然動作入力メタデータ４０６を提供することができる。照会１０８および自然動作入力メタデータ４０６をデバイス１０４に送達することによって、サーバ４０２は、本明細書に示す技法に従って、デバイス１０４との対話およびユーザ１０２が自然動作入力２０４によって照会１０８を調整することを容易にする。

【0021】

図５および図６はともにこれらの技法の第２の実施形態を提示する。図５は、デバイス１０４による照会結果のユーザ１０２への提示を容易にするためのプロセッサを有するサーバを構成する例示的な方法５００の図を提示する。図３の例示的な方法３００とは対照的に、図５の例示的な方法５００は、異なるソースから提示される照会結果１１８に対する自然動作入力２０４の評価を容易にするために呼び出され得る。例示的な方法５００は、たとえば、サーバのメモリコンポーネント（たとえば、揮発性メモリ回路、ハードディスクドライブのプラッタ、ソリッドステートストレージデバイス、または磁気ディスクもしくは光学ディスク）に格納された、サーバのプロセッサで実行されるとサーバに本明細書に提示される技法を使用させる命令一式として実装され得る。例示的な方法５００は５０２から開始し、サーバのプロセッサ上で命令を実行５０４することを含む。特に、命令は、第１の照会１０８および照会結果１１８をデバイス１０４から受け取ったとき、照会結果１１８の各エンティティ１２０について、ユーザ１０２が実施できる少なくとも１つの自然動作入力２０４および第１の照会１０８の対応する照会調整２０６に関連する少なくとも１つのエンティティ動作を識別５０６するように構成されている。たとえば、検索結果ページ内の各検索結果について、サーバは、各検索結果に全般的に関連する動作（たとえば、検索結果で指定されたハイパーリンクを辿る、または検索結果をブックマークする）および／または検索結果に固有に関係する動作（たとえば、レストランのウェブページを表す検索結果に対して、用語「時間」、「位置」、または「メニュー」を追加してウェブ検索クエリをレストランに関する情報のタイプに限定する）を識別することができる。命令はまた、デバイス１０４に、エンティティ１０２に関連するエンティティ動作、自然動作入力２０４、および対応する照会調整２０６を提示５０８するように構成されている。ユーザ１０２から受け取る自然動作入力２０４のさまざまなタイプを満たすように適用され得る照会調整２０６のタイプを識別することによって照会結果１１８の提示を容易にしたことで、例示的な方法５００は、サーバにデバイス１０４が照会結果１１８をユーザ１０２に提示することを容易にさせており、したがって５１０で終了する。

【0022】

図６は、デバイス１０４によって別のソースから受け取った照会結果１１８について、照会結果１１８のエンティティ４０４に関連する動作を識別する動作仲介役６０２として構成されたサーバに注目した例示的な場面６００の図を提示する。デバイス１０４が照会１０８および照会結果１１８を動作仲介役６０２に送ると、動作仲介役６０２は照会結果１１８を調べて、各エンティティ４０４に利用可能な動作を識別することができる。たとえば、動作仲介役６０２は、デバイス１０４に、各エンティティ４０４について、さまざまな動作６０４に関連する自然動作入力２０４、およびそのような動作を呼び出すために照会１０８に適用され得る照会調整２０６を識別する一組の自然動作入力メタデータ４０６を送ることができる。照会結果１１８のソースおよびデバイス１０４そのような照会調整２０６に対応する自然ユーザ入力２０４の識別に参加しなかったとしても、デバイス１０４は、照会結果１１８の提示に応答してユーザ１０２から受け取った自然動作入力２０４の処理を助けるためにこのメタデータを利用することができる。

【0023】

図７は、ユーザ１０２によって提示された照会１０８を評価するようにデバイス１０４を構成する例示的な方法７００を含む、これらの技法の第３の実施形態の図を提示する。例示的な方法７００は、たとえば、サーバのメモリコンポーネント（たとえば、揮発性メモリ回路、ハードディスクドライブのプラッタ、ソリッドステートストレージデバイス、または磁気もしくは光学ディスク）に格納された、サーバのプロセッサで実行されるとサーバに本明細書に提示される技法を使用させる命令一式として実施され得る。例示的な方法７００は７０２から開始し、サーバのプロセッサ上で命令の実行７０４を含む。特に、命令は、ユーザ１０４から第１の照会１０８を受け取る７０６と、第１の照会１０８を実行７０６して第１の照会結果１１８を生成し、第１の照会結果１１８をユーザ１０２に提示７０８するように構成されている。命令はまた、自然動作入力２０４をユーザ１０２から受け取る７１０と、自然動作入力２０４において、第１の照会結果１１８に関係する少なくとも１つの照会調整２０６を識別７１２し、少なくとも１つの照会調整２０６によって調整された第１の照会１０８を含む調整された照会２０８を生成７１４し、調整された照会２０８を実行７１６して調整された照会結果２１０を生成し、調整された照会結果２１０をユーザ１０２に提示７１８するように構成されている。特に、デバイスは、直接的に自然動作入力２０４を評価すること、図４の例示的な場面４００などにおいて、照会結果１１８を備えた自然動作入力メタデータ４０６を利用すること、または図６の例示的な場面６００などにおいて、動作仲介役６０２を呼び出して、照会結果１１８に適用可能な自然動作入力２０４を識別することによって、識別を行うことができる。これらの変形形態のいずれにおいても、例示的な方法７００は、本明細書に示す技法に従って、照会１０８および照会結果１１８の処理、提示、および調整を実現しており、したがって７２０で終了する。

【0024】

さらに別の実施形態は、本明細書に提示される技法を適用するように構成されたプロセッサが実行可能な命令を含むコンピュータ可読媒体を含む。そのようなコンピュータ可読媒体には、たとえば、メモリ半導体（たとえば、半導体スタティックランダムアクセスメモリ（SRAM: static random access memory）を利用した半導体、ダイナミックランダムアクセスメモリ（DRAM: dynamic random access memory）、および／またはシンクロナスダイナミックランダムアクセスメモリ（SDRAM: synchronous dynamic random access memory）技術）、ハードディスクドライブのプラッタ、フラッシュメモリデバイス、または磁気もしくは光学ディスク（CD-R、DVD-R、またはフロッピーディスクなど）といった有形のデバイスを含むコンピュータ可読記憶媒体が含まれてもよく、これは、デバイスのプロセッサで実行されるとデバイスに本明細書に提示される技法を実装させるコンピュータ可読命令の組を符号化する。そのようなコンピュータ可読媒体にはまた、さまざまな物理現象（たとえば、電磁信号、音波信号、または光信号）を介して、また、（たとえば、イーサネットまたは光ファイバケーブルを介した）さまざまな有線場面および／または無線場面（たとえば、WiFiなどの無線ローカルエリアネットワーク（WLAN: wireless local area network）、Ｂｌｕｅｔｏｏｔｈなどのパーソナルエリアネットワーク（PAN: Personal Area Network）、またはセルラーもしくは無線ネットワーク）において伝搬させることができる信号などのさまざまなタイプの通信媒体を（コンピュータ可読記憶媒体とは区別されるクラスの技法として）が含まれてもよく、これは、デバイスのプロセッサで実行されるとデバイスに本明細書に提示される技法を実装させるコンピュータ可読命令の組を符号化する。

【0025】

これらの方法で案出される例示的なコンピュータ可読媒体は図８に示してあり、この図では、実装形態８００は、コンピュータ可読データ８０４が符号化されているコンピュータ可読媒体８０２（たとえば、CD-R、DVD-R、またはハードディスクドライブのプラッタ）を含む。そしてこのコンピュータ可読データ８０４は、本明細書に記載された原理に従って動作するように構成されたコンピュータ命令８０６の組を含む。そのような一実施形態において、プロセッサが実行可能な命令８０６は、図３の例示的な方法３００、図５の例示的な方法５００、および／または図７の例示的な方法７００など、グラフィックのコンピュータ処理環境におけるユーザインターフェースを提示する方法を実施するように構成されていてもよい。このコンピュータ可読媒体のいくつかの実施形態は、プロセッサが実行可能なこのように構成された命令を格納するように構成されたコンピュータ可読ストレージデバイス（たとえば、ハードディスクドライブ、光学ディスク、またはフラッシュメモリデバイス）を含んでいてもよい。本明細書に提示される技法に従って動作するように構成された多くのそのようなコンピュータ可読媒体は、当業者によって案出され得る。

【0026】

Ｄ．変形形態
本明細書に提示される技法は多くの態様において変形形態で実装することができ、いくつかの変形形態は、さらに別の利点を提示することができ、かつ／またはこれらおよび他のアーキテクチャや実装形態の他の変形形態に対する欠点を低減することができる。さらに、いくつかの変形形態は組み合わせて実施することができ、いくつかの組み合わせは、相乗的な作用によって、さらに別の利点および／または低減した欠点を特徴とすることができる。

【0027】

Ｄ１．場面
これらの技法の実施形態の間で変わり得る第１の態様は、そのような技法が使用され得る場面に関する。

【0028】

この第１の態様の第１の変形形態として、これらの技法は、ワークステーション、サーバ、キオスク、ノートおよびタブレットコンピュータ、移動体電話、テレビ、メディアプレーヤ、ゲームコンソール、パーソナル情報管理装置、ならびにそれらの組み合わせを含むさまざまなタイプのデバイス１０４で利用することができる。これらのデバイスは、固定作業空間、リビングルーム、公共スペース、歩行中、または車両などの移動環境といったさまざまな状況で使用され得る。さらに、また図４、図６、および図７の対照的な例示的な方法に示されるように）、そのような解決策のアーキテクチャおよび分配は変わり得るため、利用可能な自然動作入力２０４および対応する照会調整２０６を識別する第１のデバイス、ならびに対応する自然動作入力２０４をユーザ１０２から受け取ったとき照会調整２０６を適用することによってそのような情報を利用する第２のデバイス。

【0029】

この第１の態様の第２の変形形態として、これらの技法は、多くの形態の自然動作入力２０４を利用することができる。たとえば、デバイスは、自然動作入力タイプの組から選択される自然動作入力タイプのさまざまな形態の自然動作入力２０４を受け取ることが可能であってもよく、これには、マイクロホンが受け取る話された言葉または声の抑揚、タッチセンシティブデバイスへの手書きなどの書かれた言葉、タッチセンシティブディスプレイに触れるタッチジェスチャ、スチルカメラもしくはモーションカメラで検出されるがデバイス１０４のいずれのコンポーネントにも触れない手振り、またはデバイス１０４のディスプレイ１０６の上の位置もしくは物理世界におけるオブジェクトに向けられる光学的注視などの光学的な動きが含まれる。

【0030】

この第１の態様の第３の変形形態として、これらの技法は、ファイルシステム内のファイルの検索、データベース内の記録の照会、ｅメール格納部内のｅメールメッセージなどのオブジェクトセット内のオブジェクトのフィルタリング、およびコンテンツウェブ内のウェブページのウェブ検索などといった多くのタイプの照会１０８および照会結果１１８に適用され得る。さらに、照会１０８は、多くの方法（たとえば、キーワードの組、構造化照会言語などの言語での構造化された照会、ブール結合子との基準の組、または自然言語照会）で指定されてもよく、照会結果１１８は、多くの方法（たとえば、ソートされた、またはソートされていないリスト、画像のサムネイルバージョンなどの照会結果１１８におけるエンティティ１２０のプレビュー表現の組、または照会１０８に一致する単一のエンティティ１２０の選択）で提供されてもよい。当業者は、本明細書に提示される技法が利用され得る場面の多くの変形形態を特定することができる。

【0031】

Ｄ２．照会調整の識別
技法の各実施形態の間で変わり得る第２の態様は、自然動作入力２０４を評価し、照会調整２０６を識別し、照会調整２０６を照会１０６に適用して、調整された照会２０８および調整された照会結果２１０を生成するやり方に関する

【0032】

この第２の態様の第１の変形形態として、各自然動作入力２０４に関連する照会調整２０６は、（図５の例示的な場面５００と同様に）照会結果１１８とともに受け取られてもよい。たとえば、第１の照会結果１１８は、自然動作要求に関連する少なくとも１つの照会調整２０６を指定することができ、照会結果１１８を提示するデバイス１０４は、自然動作入力２０４をユーザ１０２から受け取ったとき、自然動作入力２０４における、第１の照会結果１０８により指定される自然動作要求を識別し、自然動作要求に関連する照会調整２０６を選択することができる。この変形形態は、自然動作入力２０４および対応する照会調整２０６を部分的に事前評価することによって、デバイス１０２の演算負担を低減することができ、これは演算リソースが限られているポータブルデバイスに有利であり得る。あるいは、デバイス１０４は、第１の照会結果１１８を受け取ったとき、第１の照会結果１１８を評価して、第１の照会１０８の照会調整２０６を示す少なくとも１つの自然動作要求を識別することによって、照会調整２０６を識別することができ、自然動作入力２０４をユーザ１０２から受け取ったとき、自然動作入力２０４における、第１の照会結果１１８によって指定される自然動作要求を識別し、自然動作要求に関連する照会調整２０６を選択する。この変形形態では、デバイス１０４はまず、照会結果１１８を求めてユーザ１０２が指定することができる自然動作要求のタイプを予測し、次いでこの情報を格納し、ユーザ１０２から受け取る自然動作入力２０４を評価するために使用する。さらに別の代替形態として、デバイス１０４は、自然動作入力２０４を受け取ったとき、対応する照会調整２０６を識別するために自然動作入力２０４の評価全体を実施するように構成されていてもよい。

【0033】

この第１の態様のこの第１の変形形態のさらなる例として、デバイス１０４における評価がさまざまな方法で実装され得る。たとえば、コンピュータ処理環境（オペレーティングシステム、仮想マシン、または管理実行時間など）におけるアプリケーションを実行するデバイス１０４について、照会１０８をユーザ１０２から受け取り、照会結果１１８をユーザ１０２に提示するアプリケーションによって評価が実施され得る。あるいは、調整された照会結果２１０をアプリケーションに提示できるコンピュータ処理環境によって評価が実施され得る。たとえば、コンピュータ処理環境は、アプリケーションが呼び出すことができるアプリケーションプログラミングインターフェース（API: application programming interface）に照会結果１１８およびユーザ１０２から受け取った自然動作入力２０４を提供することができ、ＡＰＩは調整された照会２０８で応答することができる。あるいは、コンピュータ処理環境は、照会結果１１８のアプリケーションへの送達を監視することができ、たとえば、ウェブブラウザから検索エンジンへ出された元の照会１０８を遮断し、照会１０８を調整し、調整された照会結果２１０を第１の照会結果１１８の代わりにウェブブラウザに提示することによって、ユーザ１０２から受け取った自然動作入力２０４に対応する照会調整２０６を実施することができる。

【0034】

この第２の態様の第２の変形形態として、照会結果１１８は、照会調整２０６になる自然動作入力の受け取りを容易にするように変形されてもよい。第１のそのような例として、第１の照会結果１１８は少なくとも１つのエンティティを含むことができ、第１の照会結果１１８はエンティティに関する自然言語のエンティティ指示を挿入することができる。あるそのような場面として、照会結果１１８は検索結果の組を含むことができるが、ユーザ１０２が音声などの自然動作入力を使用して特定の検索結果を識別するのは困難なことがある。その代わり、検索結果は、ユーザが自然動作入力で指示できるようになる数字とともに提示されてもよい（たとえば、「３番の結果を表示してください」）。これらの自然言語のエンティティ指示は、照会結果１１８を返すサーバによって含められてもよいし、デバイス１０４によって挿入されてもよい。

【0035】

第２のそのような例として、デバイス１０４はさまざまな入力コンポーネントを提示することができ、その一部は照会結果１１８に関連していなくてもよい。たとえば、イベントに関する情報を探しているとき、ユーザ１０２はデバイス１０４のコンピュータ処理環境によって提供されるカレンダアプリケーションを参照することができる。カレンダアプリケーションが照会結果１１８との直接的な関連を有していない可能性があるが、ユーザによるカレンダへのアクセスとカレンダからの日付の選択は、照会調整２０６を要求する自然動作入力として解釈されてもよく、デバイス１０４はこの入力コンポーネントによってユーザから提供された入力コンポーネント値を使用して照会調整２０６を構築することができる。

【0036】

この第２の態様の第３の変形形態として、デバイス１０４は、照会調整２０６をさまざまな方法で利用して調整された照会結果２１０を生成することができる。第１のそのような例として、デバイス１０４は、第１の照会１０８を再構築して調整された照会２０８を生成し、それをサーバに送ることができる。第２のそのような例として、デバイス１０２は、照会結果１１８への照会調整２０６の効果を認識することができ、調整された照会２０８をサーバに戻す必要なく、調整された照会結果２１０を生成することができる。たとえば、デバイス１０２は、ユーザ１０２が第１の照会結果１１８における一組のエンティティを特定のエンティティに対してフィルタリングするように要求したことを認識することができ、他のエンティティを第１の照会結果１１８から削除して、調整された照会結果２１０を生成することができる。

【0037】

この第３の態様の第４の変形形態として、照会結果１１８は、照会結果１１８のコンテキストで実施されるべき動作などの、動作識別子を有する少なくとも１つの動作と関連づけられていてもよい。たとえば、照会結果１１８を提示するアプリケーションは、名前またはキーワード「クリック」、「保存」、および「選択」などの特定の動作識別子に関連づけられた動作の組を含み得る。しかしながら、ユーザ１０２はそのような動作識別子に通じていないことがあるが、より自然な語句またはジェスチャによって、これらの動作を要求する自然動作入力２０４を提示することができる。したがってデバイス１０２は、そのような動作に対応する自然動作入力２０４の代替形態を識別することができる。たとえば、デバイス１０２は、自然言語の語句「それを表示してください」を、照会結果１１８における特定のエンティティに対する「クリック」動作を実施する要求に相互関連させることができる。あるいは、動作は特定のエンティティ１２０に関連づけられてもよく、自然動作入力２０４は、ユーザ１０２が特定のエンティティ１２０を指示する（たとえば、特定のエンティティ１２０を指差す）自然動作入力２０４を行ったときに実施され得る動作のポップアップメニューなどの各エンティティ１２０について利用可能な動作を表示することができ、ユーザ１０２が続いてその動作のうちの１つを実施する自然動作要求を提示したとき、デバイス１０２は指示されたエンティティ１２０に対する動作を実施することで応じることができる。

【0038】

図９は、本明細書に提示される変形形態のうちのいくつかに注目した第１の例示的な場面９００の図を示す。この第１の例示的な場面９００では、照会結果１１８は一組のエンティティ４０４を含み、デバイス１０４のディスプレイ１０６に提示されるとき、エンティティ４０４は大文字「Ａ」や「Ｂ」などの自然言語のエンティティ指示９０２を付されてもよく、それによってユーザは照会結果１１８を調整するために、結果Ａを見ることを単に求めることができる。第２の例として、デバイス１０４は、自然動作入力２０４のいくつかの形態を照会調整に関連づけることができる。自然動作入力２０４の他の形態は、指示されるエンティティに実施される動作に関連づけられた自然動作入力２０４の他の形態であってもよい（たとえば、自然言語のエンティティ指示９０２の前の語句「見せてください」は、照会結果１１８における指定されたエンティティ４０４の選択に関連してもよい）。自然動作入力２０４を受け取ったとき、デバイスは、自然動作入力２０４を要求される動作の動作識別子に翻訳することができ、指定された動作を実施して自然動作入力２０４を満たすことができる。

【0039】

図１０は、本明細書に提示される技法の他の変形形態に注目した第２の例示的な場面を提示する。この第２の例示的な場面では、第１の時点１０００において、ユーザ１０２は、まず照会結果１０６のエンティティ１２０を、エンティティ１２０に対する手による指差し２１４と語句「それ」の発声による自然動作入力で指示する。デバイス１０４はエンティティ１２０を選択することによってこの自然動作入力２０４を満たし、さらに、エンティティ１００２に関連する動作のポップアップメニュー１００２を提示する。第２の時点１００４において、ユーザ１０２が、これらの動作のうちの１つに関連づけられた自然動作要求を含むさらなる自然動作入力２０４を行ったとき、デバイス１０４は、自然動作要求によって示される照会調整２０６を実施する（たとえば、ポップアップメニュー１００２にある選択肢のうちの1つに関連づけられた語句の発声によって、デバイス１０４は、エンティティ１２０に関連づけられた「時間」選択肢を適用する）。

【0040】

この第２の態様の第５の変形形態として、デバイス１０４は、種々の照会１０８および照会調整２０６を利用して他の照会１０８および照会調整２０６の認識を容易にすることができる。第１のそのような例として、第１の照会１０８は、第２の照会１０８に接続して、一連の照会１０８におけるユーザ１０２の続きの意図を識別することができる。第２のそのような例として、デバイス１０４は、第１の照会１０８を使用して照会調整２０６を明確にし、またその逆を行うことができる。たとえば、自然動作入力２０４は、「ショーを見せてください」など、別個に検討されると曖昧であると解
釈され得る指示を含むことがある。しかしながら、第１の照会１０８に照らして自然動作入力２０４を解釈することで、自然動作入力２０４の認識が容易になり得る。たとえば、自然動作入力２０４に対する音声認識装置または字句解析器は、第１の照会１０８から照会結果１１８を調べて、自然動作入力２０４の認識のための言語領域を識別することができ、それによって言語認識の精度を高めることができる。デバイス１０４はまた、他の情報を利用してこの曖昧性除去を実施することができる。たとえば、自然動作入力２０４が２つ以上のエンティティ１２０を曖昧に指示した場合（たとえば、「そのレストラン」）、デバイス１０４は、デバイス１０４のディスプレイ１０６の上で、見えないものでなく現在見えるエンティティ１２０を選択的に選ぶなど、各エンティティ１２０がユーザ１０２に提示され、かつ／またはユーザ１０２によって指示された最近性などの情報を利用して指示を明らかにすることができる。この曖昧性除去は、たとえば、第１の照会結果に現在提示されている第１のエンティティ（第1の確率）および第１の照会結果に現在提示されていない第２のエンティティ（第2の確率）に対する曖昧な指示について実施されてもよく、デバイス１０４は、第２のエンティティの第２の確率に比較して第１のエンティティの第１の確率を高くすることができる。

【0041】

図１１は、ユーザ１０２から受け取った自然動作入力２０４の曖昧性を除去するために使用され得るさまざまな確率調整に注目した例示的な場面の図を提示する。この例示的な場面では、ユーザ１０２は、２つの異なるカフェを表す異なるエンティティを含む照会結果１１０２のコンテキストにおける「カフェ」を指示する。しかしながら、ディスプレイ１０６は照会結果１１０２のすべてを表示するには小さすぎることがあり、そのため、エンティティ１２０の部分集合のみを一度に提示するスクロール可能なダイアログに照会結果を提示することができる。第１の時点１１００において、ユーザ１０２が「カフェ」を指定するとき、ダイアログのスクロール位置は第１のカフェを提示しているが、第２のカフェは提示しておらず、したがってデバイス１０２は、ユーザ１０２が第２のカフェ１１０４ではなく第１のカフェ１１０４を指示している確率１１０４を高くするように認識装置を構成することができる。逆に、第２の時点１１０６において、ユーザ１０２が「カフェ」を指定するとき、ダイアログのスクロール位置は第２のカフェを提示しているが、第１のカフェは提示しておらず、したがってデバイス１０２は、ユーザ１０２が第１のカフェ１１０４ではなく第２のカフェ１１０４を指示している確率１１０４を高くするように認識装置を構成することができる。これらおよび他の変形形態は、本明細書に提示される技法と互換性があり得る。

【0042】

Ｄ３．照会調整
これらの技法の実施形態の間で変わり得る第３の態様は、第１の照会１０８および第１の照会結果１１８について実施され得る照会調整２１０の効果に関する。

【0043】

この第３の態様の第１の例として、照会調整２１０は、ユーザ１０２がデバイス１０４にフォーカスしてほしい１つまたは複数のエンティティ１２０の選択など、照会結果１１８のフィルタリングを含み得る。そのような自然動作入力２０４は、たとえば、エンティティ１２０を指差す、照会結果１１８におけるエンティティ１２０の部分集合を円もしくは枠で囲む、または１つもしくは複数のエンティティ１２０に対する自然言語のエンティティ指示を入力することを含み得る。デバイス１０４は、そのような自然動作入力２０４を、第１の照会１０８をフィルタリングするための少なくとも１つのフィルタ基準として解釈することができ、フィルタ基準に従って第１の照会結果１１８をフィルタリングすることができる。

【0044】

この第３の態様の第２の例として、自然動作入力２０４は、第１の照会１０８に先行した前の照会１０８を指示することができる（たとえば、「これらのレストランと前のレストランを見せてください」）。デバイス１０４は、第１の照会１０８と前の照会１０８を組み合わせることによって、この照会調整２１０を解釈することができる。

【0045】

この第３の態様の第３の例として、自然動作入力は、さらなる照会１２０についてのエンティティ１２０へのフォーカスを指定することができる（たとえば、「それを表示してください」）。デバイス１０４は、第１の照会１０８を指示されたエンティティにフォーカスする（たとえば、さらなる入力を指示されたエンティティにあてる）ことによってこの自然動作入力２０４を満たすことができる。そのような一例として、自然動作入力は、照会結果１１８のエンティティ１２０に実施されるエンティティ動作（たとえば、検索結果の組における検索結果を見るまたはブックマークする要求）を指定することができる。デバイス１０４は、要求されたエンティティ動作を、指示されたエンティティ１２０に実施することによって、照会調整２１０を適用することができる。

【0046】

Ｅ．コンピュータ処理環境
図１２は、本明細書に提示される技法が実装され得るコンピュータ処理装置における例示的なコンピュータ処理環境の図を提示する。例示的なコンピュータ処理装置には、限定はされないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、移動デバイス（移動体電話、携帯情報端末（PDA: Personal Digital Assistant）、メディアプレーヤなど）、マルチプロセッサシステム、大衆消費電子製品、ミニコンピュータ、メインフレームコンピュータ、および上記のシステムまたはデバイスのうちの任意のものを含む分散コンピュータ処理環境が挙げられる。

【0047】

図１２は、本明細書で提供される１つまたは複数の実送形態を実装するように構成されたコンピュータ処理装置１２０２を含むシステム１２００の例を示す。ある構成では、コンピュータ処理装置１２０２は、少なくとも１つのプロセッサ１２０６および少なくとも１つのメモリコンポーネント１２０８を備える。コンピュータ処理装置の正確な構成およびタイプに応じて、メモリコンポーネント１２０８は、揮発性（たとえばRAMなど）であっても、不揮発性（たとえばROM、フラッシュメモリなど）であっても、中間またはハイブリッド型のメモリコンポーネントであってもよい。この構成は図１２に破線１２０４で示してある。

【0048】

いくつかの実施形態では、デバイス１２０２は追加の特徴および／または機能を含み得る。たとえば、デバイス１２０２は１つまたは複数の追加のストレージコンポーネント１２１０を備えていてもよく、これには、限定はしないが、ハードディスクドライブ、ソリッドステートストレージデバイス、および／または他の取り外し可能もしくは取り外し不可能な磁気もしくは光学媒体が挙げられる。一実施形態において、本明細書で提供される１つまたは複数の実施形態を実装する、コンピュータが可読かつプロセッサが実行可能な命令がストレージコンポーネント１２１０に格納されている。ストレージコンポーネント１２１０はまた、他のデータオブジェクト、たとえば、オペレーティングシステムのコンポーネント、１つまたは複数のアプリケーションを含む実行可能なバイナリ、プログラミングライブラリ（たとえば、アプリケーションプログラミングインターフェース（API）、メディアオブジェクト、および文書などを格納することができる。コンピュータ可読命令は、プロセッサ１２０６による実行のためにメモリコンポーネント１２０８にロードされてもよい。

【0049】

コンピュータ処理装置１２０２はまた、コンピュータ処理装置１２０２が他のデバイスと通信できるようにする１つまたは複数の通信コンポーネント１２１６を備えていてもよい。１つまたは複数の通信コンポーネント１２１６は、（たとえば）モデム、ネットワークインターフェースカード（NIC: Network Interface Card）、無線周波数送信機／受信機、赤外線ポート、およびユニバーサルシリアルバス（USB: Universal Serial Bus）ＵＳＢ接続部を含み得る。そのような通信コンポーネント１２１６は、有線接続部（物理的なコード、ケーブル、またはワイヤを介してネットワークに接続）または無線接続部（可視光線、赤外線、または１つもしくは複数の無線周波数などによってネットワーキングデバイスと無線で通信）を含み得る。

【0050】

コンピュータ処理装置１２０２は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、赤外線カメラ、もしくはビデオ入力デバイスなどの１つ以上の入力コンポーネント１２１４、ならびに／または１つ以上のディスプレイ、スピーカ、およびプリンタなどの１つ以上の出力コンポーネント１２１２を備えていてもよい。入力コンポーネント１２１４および／または出力コンポーネント１２１２は、有線接続、無線接続、またはその任意の組み合わせを介してコンピュータ処理装置１２０２に接続されていてもよい。一実施形態において、別のコンピュータ処理装置からの入力コンポーネント１２１４または出力コンポーネント１２１２は、コンピュータ処理装置１２０２のための入力コンポーネント１２１４および／または出力コンポーネント１２１２として使用され得る。

【0051】

コンピュータ処理装置１２０２のコンポーネントは、バスなどのさまざまな相互接続部によって接続され得る。そのような相互接続部には、周辺コンポーネントインターコネクト（PCI: Peripheral Component Interconnect）が含まれ、これにはＰＣＩ Ｅｘｐｒｅｓｓ、ユニバーサルシリアルバス（USB）、ファイアワイヤ（IEEE794）、光学バス構造などがある。別の実施形態において、コンピュータ処理装置１２０２のコンポーネントは、ネットワークによって相互に接続されていてもよい。たとえば、メモリコンポーネント１２０８は、ネットワークによって相互に接続された異なる物理的位置に配置された複数の物理メモリユニットで構成されていてもよい。

【0052】

コンピュータ可読命令を格納するために使用されるストレージデバイスはネットワーク全体に分散されていてもよいことが当業者には理解されよう。たとえば、ネットワーク１２１８を介してアクセス可能なコンピュータ処理装置１２２０は、本明細書で提供された１つまたは複数の実施形態を実装するためのコンピュータ可読命令を格納することができる。コンピュータ処理装置１２０２は、コンピュータ処理装置１２２０にアクセスし、実行のためにコンピュータ可読命令の一部またはすべてをダウンロードすることができる。あるいは、コンピュータ処理装置１２０２は、必要に応じてコンピュータ可読命令のいくつかをダウンロードしてもよいし、一部の命令をコンピュータ処理装置１２０２で実行し、一部をコンピュータ処理装置１２２０で実行してもよい。

【0053】

Ｆ．用語の使用
本出願で使用される際、用語「コンポーネント」、「モジュール」、「システム」、「インターフェース」などは、概して、コンピュータ関連エンティティ、すなわち、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行時のソフトウェアのいずれかを指すことが意図されている。たとえば、コンポーネントは、限定はしないが、プロセッサ、プロセッサ、オブジェクト、実行可能、実行スレッド、プログラム、および／またはコンピュータで実行される処理であってもよい。例示として、コントローラで動作するアプリケーションとコントローラは両方ともコンポーネントであり得る。１つまたは複数のコンポーネントは、処理および／または実行スレッドの中にあってもよく、コンポーネントは１つのコンピュータに局所配置されていてもよく、かつ／または２つ以上のコンピュータの間に分散されていてもよい。

【0054】

さらに、特許請求される主題は、開示された主題を実装するようにコンピュータを制御するソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせを作成するために、標準的なプログラミングおよび／または工学技法を使用して、方法、装置、または製造物品として実装され得る。本明細書で使用される際、用語「製造物品」は、任意のコンピュータ可読装置、担体、または媒体からアクセス可能なコンピュータプログラムを包含することが意図されている。当然ながら、特許請求される主題の範囲または趣旨から逸脱することなく、多くの変更がこの構成になされ得ることが当業者には認識されよう。

【0055】

実施形態の種々の動作が本明細書に記載される。一実施形態において、記載された動作の１つまたは複数が、１つまたは複数のコンピュータ可読媒体に格納されたコンピュータ可読命令を構成していてもよく、これは、コンピュータ処理装置によって実行される場合に、記載された動作をコンピュータ処理装置に実施させる。動作の一部または全部が記載される順序は、これらの動作が必然的に順序に依存することを意味するものと解釈されるべきではない。代替の順序が、この説明の利益を受ける当業者には理解されよい。さらに、本明細書に記載された各実施形態にすべての動作が必ずしも存在するわけではないことが理解されよう。

【0056】

さらに、「例示的」という語は、本明細書において一例、例示、または例証として機能することを意味するように使用される。本明細書において「例示的」と記載される任意の態様または設計は、必ずしも他の態様または設計よりも有利であると解釈されるべきではない。むしろ、例示的という語の使用は、コンセプトを具体的な形で示すことが意図されている。本出願で使用される際、用語「または」は、排他的な「または」ではなく包含的な「または」を意味することが意図されている。すなわち、別段の指定がないか、または文脈から明らかであれば、「ＸはＡまたはＢを使用する」は、自然な包含的置換のいずれかを意味することが意図されている。すなわち、ＸがＡを使用する場合、ＸがＢを使用する場合、またはＸがＡおよびＢを両方使用する場合、「ＸはＡまたはＢを使用する」は、上記の例のいずれかの下で満たされる。さらに、本明細書や添付の特許請求の範囲で使用されるときの冠詞「ある（a）」および「一（an）」は、別段の指定がないか、または文脈から明らかであれば、単数形を対象とする「１つまたは複数の」を意味すると一般に解釈され得る。

【0057】

また、本開示を１つまたは複数の実施形態について図示および説明してきたが、本明細書および付属の図面を読み、理解することに基づいて、等価な変更形態および変形形態が当業者には想起されよう。本開示は、すべてのかかる変更形態および変形形態を含み、添付の特許請求の範囲によってのみ限定される。特に、上記のコンポーネントによって実施されるさまざまな機能に関して（たとえば、要素、リソースなど）、そのようなコンポーネントを説明するために使用される用語は、本明細書で説明された、本開示の例示的な実施形態における機能を実施する開示された構造と構造的には等価でない場合であっても、別段の記載がない限り、記載のコンポーネントの指定された機能を実施する（たとえば、機能的に等価な）任意のコンポーネントに対応することが意図されている。さらに、本開示の特定の特徴はいくつかの実装形態のうちの１つのみに対して開示されていることがあるが、そのような特徴は、任意の所与または特定の用途に所望され、かつ有利であり得るように、他の実装形態の１つまたは複数の他の特徴と組み合わせることができる。さらに、用語「包含する（includes）」、「有する（having）」、「もつ（has）」、「備える（with）」、またはその変形が「詳細な説明」または「特許請求の範囲」において使用される範囲では、そのような用語は、用語「含む（comprising）」と同様に包含的であることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】