特開 2024-167237 環境干渉が自動アシスタントの特定のインタラクションを妨げることが予測されるときに代替インターフェースを提案すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167237

(43)【公開日】2024-12-03

(54)【発明の名称】環境干渉が自動アシスタントの特定のインタラクションを妨げることが予測されるときに代替インターフェースを提案すること

(51)【国際特許分類】

   G06F 3/16 20060101AFI20241126BHJP

【ＦＩ】

G06F3/16 650

G06F3/16 610

G06F3/16 620

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024134997

(22)【出願日】2024-08-13

(62)【分割の表示】P 2022569163の分割

【原出願日】2021-10-12

(31)【優先権主張番号】63/092,943

(32)【優先日】2020-10-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/100,013

(32)【優先日】2020-11-20

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】マシュー・シャリフィ

(72)【発明者】

【氏名】ヴィクター・カルブネ

(57)【要約】      （修正有）

【課題】環境干渉が自動アシスタントの特定のインタラクションを妨げることが予測されるときに代替インターフェースを提案する方法を提供する。
【解決手段】方法は、自動アシスタントおよび/またはユーザが、ユーザと自動アシスタントとの間の特定のインタラクションを理解しないことが予測されるときに、代替インターフェースモダリティを提案することに関し、いくつかの場合には、自動アシスタントは、ユーザと自動アシスタントとの間の来るべきおよび/または進行中のインタラクションが干渉を受ける可能性があると、先んじて判定することができ、この判定に基づいて、自動アシスタントは、インタラクションが成功しない可能性があること、および/またはユーザが異なるモダリティを通じて自動アシスタントとインタラクションすべきであることを示す標識を提供することができる。
【選択図】図3

【特許請求の範囲】

【請求項1】

1つまたは複数のプロセッサによって実装される方法であって、
コンピューティングデバイスが存在する環境のオーディオ特性を特徴付ける第1のデータを処理するステップであって、
前記コンピューティングデバイスが前記コンピューティングデバイスの1つまたは複数のインターフェースを介した自動アシスタントへのアクセスを提供する、
ステップと、
前記第1のデータに基づいて、ユーザと前記自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に前記オーディオ特性が対応するかどうかを判定するステップであって、
前記インタラクションが前記1つまたは複数のインターフェースのうちのオーディオインターフェースを介して行われる、
ステップと、
前記ユーザが前記インタラクションを促進するために前記自動アシスタントに口頭による発話を提供していること、または提供することが予測されることを示す、第2のデータを処理するステップと、
前記干渉が前記インタラクションに影響を及ぼすと判定されたとき、
前記第1のデータおよび前記第2のデータに基づいて、前記コンピューティングデバイスまたは別のコンピューティングデバイスにキーボードインターフェースをレンダリングさせるステップと、
前記ユーザと前記自動アシスタントとの間の前記インタラクションを促進するために、前記キーボードインターフェースにおいてユーザ入力を受け取るステップと、
前記キーボードインターフェースにおいて前記ユーザ入力を受け取ったことに応答して、前記自動アシスタントに1つまたは複数のアクションの実施を初期化させるステップと、
を含む、方法。

【請求項2】

前記干渉が前記インタラクションに影響を及ぼさないと判定されたとき、
前記ユーザと前記自動アシスタントとの間の前記インタラクションを促進するために、前記オーディオインターフェースを介して別個のユーザ入力を受け取るステップ
をさらに含む、請求項1に記載の方法。

【請求項3】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記オーディオ特性が対応するかどうかを判定するステップが、
前記1つまたは複数のインターフェースのしきい値距離内に位置する人物の数を特定するステップ
を含む、請求項1または請求項2に記載の方法。

【請求項4】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記オーディオ特性が対応するかどうかを判定するステップが、
前記ユーザが前記インタラクションを促進するために提供している前記口頭による発話または提供することが予測される前記口頭による発話を、前記自動アシスタントが正しく解釈することが予測されるかどうかを示すスコアを決定するステップであって、
前記スコアがしきい値を満たすとき、前記干渉が前記インタラクションに影響を及ぼすことが予測される、
ステップを含む、請求項1または請求項2に記載の方法。

【請求項5】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記オーディオ特性が対応するかどうかを判定するステップが、
前記コンピューティングデバイスが存在する前記環境内で前記キーボードインターフェースにアクセスする簡便さを特徴付ける追加のスコアを決定するステップであって、
前記キーボードインターフェースをレンダリングする前記ステップが前記追加のスコアにさらに基づく、
ステップを含む、請求項4に記載の方法。

【請求項6】

前記コンピューティングデバイスに前記キーボードインターフェースをレンダリングさせるステップが、前記ユーザが前記インタラクションを促進するために前記自動アシスタントに前記口頭による発話を提供するのと同時に実施される、請求項1から5のいずれか一項に記載の方法。

【請求項7】

前記コンピューティングデバイスに前記キーボードインターフェースをレンダリングさせるステップが、前記ユーザが前記インタラクションを促進するために前記自動アシスタントに前記口頭による発話を提供する前に実施される、請求項1から5のいずれか一項に記載の方法。

【請求項8】

1つまたは複数のプロセッサによって実装される方法であって、
コンピューティングデバイスが存在する環境の1つまたは複数の特徴を特徴付ける第1のデータを処理するステップであって、
前記コンピューティングデバイスが前記コンピューティングデバイスの1つまたは複数のインターフェースを介した自動アシスタントへのアクセスを提供する、
ステップと、
前記第1のデータに基づいて、ユーザと前記自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に前記1つまたは複数の特徴が対応するかどうかを判定するステップであって、
前記インタラクションが前記コンピューティングデバイスの前記1つまたは複数のインターフェースを介して行われる、
ステップと、
前記ユーザが前記インタラクションを促進するために前記自動アシスタントに入力を提供していること、または提供することが予測されることを示す、第2のデータを処理するステップと、
前記干渉が前記インタラクションに影響を及ぼすと判定されたとき、
前記第1のデータおよび前記第2のデータに基づいて、前記コンピューティングデバイスまたは別のコンピューティングデバイスに、前記ユーザと前記自動アシスタントとの間の前記インタラクションが前記干渉の影響を受けることになることを示す標識をレンダリングさせるステップと、
前記ユーザと前記自動アシスタントとの間の前記インタラクションを促進するために、前記コンピューティングデバイスまたは前記他のコンピューティングデバイスの1つまたは複数の他のインターフェースにおいてユーザ入力を受け取るステップと、
前記1つまたは複数の他のインターフェースにおいて前記ユーザ入力を受け取ったことに応答して、前記自動アシスタントに1つまたは複数のアクションの実施を初期化させるステップと、
を含む、方法。

【請求項9】

前記干渉が前記インタラクションに影響を及ぼさないと判定されたとき、
前記ユーザと前記自動アシスタントとの間の前記インタラクションを促進するために、前記コンピューティングデバイスの前記1つまたは複数のインターフェースにおいて別個のユーザ入力を受け取るステップ
をさらに含む、請求項8に記載の方法。

【請求項10】

前記1つまたは複数のインターフェースがオーディオインターフェースを含み、
前記標識が、前記コンピューティングデバイスまたは前記他のコンピューティングデバイスのグラフィカルユーザインターフェースにおいてレンダリングされる、
請求項8または請求項9に記載の方法。

【請求項11】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記1つまたは複数の特徴が対応するかどうかを判定するステップが、
前記1つまたは複数のインターフェースのしきい値距離内に位置する人物の数を特定するステップ
を含む、請求項8から10のいずれか一項に記載の方法。

【請求項12】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記1つまたは複数の特徴が対応するかどうかを判定するステップが、
前記1つまたは複数のインターフェースのしきい値距離内で話している人物の数を特定するステップ
を含む、請求項8から10のいずれか一項に記載の方法。

【請求項13】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記1つまたは複数の特徴が対応するかどうかを判定するステップが、
前記ユーザが前記インタラクションを促進するために提供している前記入力または提供することが予測される前記入力を、前記自動アシスタントが正しく解釈することが予測されるかどうかを示すスコアを決定するステップであって、
前記スコアがしきい値を満たすとき、前記干渉が前記インタラクションに影響を及ぼすことが予測される、
ステップを含む、請求項8から10のいずれか一項に記載の方法。

【請求項14】

前記ユーザと前記自動アシスタントとの間の前記インタラクションに影響を及ぼすことが予測される前記干渉に前記1つまたは複数の特徴が対応するかどうかを判定するステップが、
前記コンピューティングデバイスが存在する前記環境内で前記1つまたは複数の他のインターフェースにアクセスする簡便さを特徴付ける追加のスコアを決定するステップであって、
前記標識が前記追加のスコアにさらに基づく、
ステップを含む、請求項13に記載の方法。

【請求項15】

前記コンピューティングデバイスに前記標識をレンダリングさせるステップが、前記ユーザが前記インタラクションを促進するために前記自動アシスタントに前記入力を提供するのと同時に実施される、請求項8から14のいずれか一項に記載の方法。

【請求項16】

前記コンピューティングデバイスに前記標識をレンダリングさせるステップが、前記ユーザが前記インタラクションを促進するために前記自動アシスタントに前記入力を提供する前に実施される、請求項8から10のいずれか一項に記載の方法。

【請求項17】

前記1つまたは複数のインターフェースがキーボードインターフェースを含み、
前記標識が、前記コンピューティングデバイスのグラフィカルユーザインターフェースにおいてレンダリングされる前記キーボードインターフェースを含む、
請求項8から16のいずれか一項に記載の方法。

【請求項18】

前記標識がテキストフィールドをさらに含み、前記テキストフィールドが、提案されたコンテンツを含み、前記提案されたコンテンツが、前記入力内に具体的に表現されているとともに前記干渉の影響を受けるコンテンツに基づく、請求項17に記載の方法。

【請求項19】

1つまたは複数のプロセッサによって実装される方法であって、
コンピューティングデバイスが存在する環境のオーディオ特性を特徴付けるコンテキストデータを処理するステップであって、
前記コンピューティングデバイスが前記コンピューティングデバイスのオーディオインターフェースを介した自動アシスタントへのアクセスを提供する、
ステップと、
前記コンテキストデータの処理に基づいて、ユーザと前記自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に前記オーディオ特性が対応するかどうかを判定するステップであって、
前記インタラクションが1つまたは複数のインターフェースのうちの前記オーディオインターフェースを介して行われる、
ステップと、
前記干渉が前記インタラクションに影響を及ぼすと判定されたとき、
前記コンテキストデータに基づいて、前記コンピューティングデバイスまたは別のコンピューティングデバイスに、前記ユーザと前記自動アシスタントとの間の前記インタラクションを促進するためにユーザ入力を受け取るためのキーボードインターフェースをレンダリングさせるステップと、
を含む、方法。

【請求項20】

前記コンピューティングデバイスが存在する前記環境のオーディオ特性を特徴付ける前記コンテキストデータを処理するステップが、
前記ユーザが前記自動アシスタントに口頭による入力を提供し、前記自動アシスタントが前記口頭による入力内に具体的に表現された1つまたは複数の要求を履行しなかった、1つまたは複数の従前事例を特徴付ける履歴インタラクションデータを処理するステップ
を含む、請求項19に記載の方法。

【請求項21】

少なくとも1つのプロセッサと、
メモリであって、命令を記憶し、前記命令が、実行されると前記少なくとも1つのプロセッサに請求項1から20のいずれか一項に記載の動作を実施させる、メモリと、
を備える、システム。

【請求項22】

非一時的コンピュータ可読記憶媒体であって、命令を記憶し、前記命令が、実行されると少なくとも1つのプロセッサに請求項1から20のいずれか一項に対応する動作を実施させる、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

環境干渉が自動アシスタントの特定のインタラクションを妨げることが予測されるときに代替インターフェースを提案することに関する。

【背景技術】

【0002】

人間は、本明細書では「自動アシスタント」と呼ばれる(「デジタルエージェント」、「チャットボット」、「インタラクティブパーソナルアシスタント」、「インテリジェントパーソナルアシスタント」、「会話型エージェント」などとも呼ばれる)インタラクティブソフトウェアアプリケーションを用いて、人間対コンピュータの対話に関与することができる。例えば、(自動アシスタントとインタラクションするときは「ユーザ」と呼ばれることのある)人間は、場合によってはテキストに変換され、次いで処理されることのある、口頭による自然言語入力(すなわち発話)を使用して、かつ/またはテキストの(例えばタイプした)自然言語入力を提供することによって、コマンドおよび/または要求を与えることができる。

【0003】

自動アシスタントとインタラクションするユーザは、ユーザ入力を受け取るためのモダリティが干渉を受ける状況下で、それらのそれぞれの自動アシスタントを呼び出さざるを得ないことがある。そのような状況には、混雑した公共の場所および/または背景雑音がはっきりと分かる他のエリアが含まれ得る。したがって、干渉の影響を受ける入力モダリティは、その時、自動アシスタントにとって信頼できるインターフェースとはなり得ない。結果として、一時的に信頼できないインターフェースに入力を提供するユーザは、自身の入力を繰り返さなければならないことがある。いくつかの場合には、ユーザが自動アシスタントを自身の入力を用いて制御しようとしているとき、自動アシスタントは、ユーザが入力を繰り返すように、かつ/または誤ったアクションの実施をユーザが初期化するように、要求することがある。入力を繰り返し、かつ/または誤ったアクションを実施することにより、繰り返された入力および/または意図されないアクションがクライアントコンピューティングデバイスにおいて処理され、かつ/またはネットワーク経由でサーバに通信されることになる場合、計算リソースが浪費するという結果になることがある。

【発明の概要】

【課題を解決するための手段】

【0004】

本明細書において記載される実装形態は、特定のインターフェースを介したユーザと自動アシスタントとの間の進行中のまたは予期されるインタラクションが干渉の影響を受けることが予測されるかどうかを判定することのできる、自動アシスタントに関する。自動アシスタントは、特定のインターフェースにおけるインタラクションが干渉の影響を受けることが判定されると自動アシスタントが判定したとき、ユーザが別個のインターフェースを介して自動アシスタントとインタラクションすべきであることを示す標識を提供することができる。このようにして、自動アシスタントは、いくらかの量の環境干渉の影響を受けた可能性のある入力をユーザが繰り返さなければならない回数を低減させることにより、計算リソースを維持することができる。さらに、標識が提供されることにより、インタラクションが特定の干渉の影響を受ける結果として誤ったアクションを自動アシスタントが初期化する事例の数が、低減し得る。

【0005】

いくつかの場合には、ユーザは、環境内の他の人物のインタラクションによって生じたいくらかの量の背景雑音のある環境内に位置することがある。この時、ユーザは、自身の自動アシスタントを呼び出して、特定の問合せ(例えば「アシスタント、私は明日Joeと何時に会うことになっている?」)に答えてくれることを期待して、ポータブルコンピューティングデバイスを保持しておくことができる。いくつかの実装形態では、ユーザが自身の自動アシスタントに入力を提供する前に、またはユーザが自動アシスタントに入力を提供するのと同時に、自動アシスタントは、入力が背景雑音によって遮られることになるかどうか、または遮られつつあるかどうかを、判定することができる。例えば、ユーザ入力が口頭による発話内に具体的に表現されているとき、残りの人物によって生じた背景雑音が、その口頭による発話も取り込むオーディオ内に取り込まれることがある。自動アシスタントは、入力が背景雑音および/または他の干渉の影響を受けることが予測されると自動アシスタントが判定したとき、ユーザに標識がレンダリングされるようにすることができる。標識はユーザに、自身の入力が自動アシスタントによって十分に受け取られない可能性があること、および/またはユーザには入力を提供するために利用可能な別の入力モダリティがある可能性があることを通知するように、働くことができる。例えば、いくつかの実装形態では、標識は、キーボードインターフェースをレンダリングしたものとすることができ、このキーボードインターフェースをユーザが用いて、自動アシスタントに話しかける代わりに自動アシスタントに入力をタイプすることができる。

【0006】

いくつかの実装形態では、ユーザの環境の1つまたは複数の特徴が、環境の1つまたは複数の特徴がユーザ入力にある程度影響を及ぼすことになるか否かを判定するために使用されるデータによって特徴付けられることが可能である。このデータは、1つまたは複数のスコアを生成するために処理されることが可能であり、このスコアは、しきい値と比較されることが可能であり、このしきい値は、満たされたとき、ユーザ入力が環境の1つまたは複数の特徴の影響を受けることが予測されることを示すものである。例えば、スコアは、環境内の人物の数、環境内で話している人物の数、ユーザが類似の環境内で自動アシスタントと関与した1つもしくは複数の従前事例、背景雑音のタイプ、背景雑音の音量レベル、環境の1つもしくは複数の画像、および/または環境を特徴付けるために使用することのできる他の任意のデータに基づくことができる。

【0007】

いくつかの実装形態では、スコアおよび/または追加のスコアは、自動アシスタントとインタラクションするための別個のモダリティの利用可能性に基づくことができる。例えば、グラフィカルユーザインターフェースを含まないスタンドアロンスピーカデバイスを介して自動アシスタントにアクセス可能な環境内にユーザが存在するとき、追加のスコアは、他の任意のインターフェース(例えばグラフィカルユーザインターフェースにおいてレンダリングされるキーボードインターフェース)の限られた利用可能性を反映させるように生成されることが可能である。あるいは、スタンドアロンスピーカデバイス、およびユーザのポケット内に存在するモバイルコンピューティングデバイスを介して自動アシスタントにアクセス可能な別の環境内にユーザが存在するとき、追加のスコアは、ユーザが自動アシスタントとインタラクションすることのできる豊富なインターフェースを反映させるように生成されることが可能である。いくつかの実装形態では、追加のスコアが、環境内で干渉を受けることが予測されない自動アシスタントインターフェースの利用可能性を反映させるように生成されることが可能である。自動アシスタントは、環境についての干渉スコアと、オプションでインターフェース利用可能性スコアとに基づいて、別のインターフェースが利用可能であること、および/または特定のタイプの入力が干渉を受けることが予測されることを示す標識を、提供すべきか否かを判定することができる。いくつかの実装形態では、1つまたは複数のスコアが、環境変化および/または特定の自動アシスタントインターフェースの利用可能性の変化に基づいて、経時的に更新されることが可能である。

【0008】

いくつかの実装形態では、1つまたは複数のスコアが、1つまたは複数の異なるソースからのデータを1つまたは複数のトレーニング済み機械学習モデルを使用して処理することに基づくことができる。トレーニング済み機械学習モデルは、ユーザと自動アシスタントとの間のインタラクションに1つまたは複数の異なるタイプの干渉が影響を及ぼした、かつ/または影響を及ぼさなかった従前事例に基づくトレーニングデータを使用して、トレーニングされることが可能である。例えば、1つまたは複数のデータソースは、ユーザが存在する環境を特徴付けることができ、データは、埋め込みを生成するために、1つまたは複数のトレーニング済み機械学習モデルを使用して処理されることが可能である。この埋め込みは、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことになる干渉を環境が呈しているかどうかを判定するために、潜在空間内の他の埋め込みと比較されることが可能である。その代わりにまたはそれに加えて、1つまたは複数のトレーニング済み機械学習モデルを、ユーザが理解される確率を分類し、かつ/またはその他の方法で決定するために使用することもできる。いくつかの実装形態では、ユーザが特定のインターフェースモダリティを介して自動アシスタントとインターフェースすべきであることを提案すべきかどうかを判定するために、潜在空間内でのこの埋め込みから別の埋め込みへの距離が、しきい値または別の距離と比較されることが可能である。例えば、潜在空間内での埋め込み同士の比較により、かつ/または発見的方法を通じて、1つもしくは複数のインターフェースが干渉の影響を受けるものとして示され、かつ/または1つもしくは複数の他のインターフェースが干渉による影響をそれほど受けないものとして示される、という結果になることがある。

【0009】

上記の説明は、本開示のいくつかの実装形態の概要として提供されたものである。それらの実装形態および他の実装形態についてのさらなる説明を、下でより詳細に記載する。

【0010】

他の実装形態は、1つまたは複数のプロセッサ(例えば中央処理装置(CPU)、グラフィック処理装置(GPU)、および/またはテンソルプロセッシングユニット(TPU)によって実行可能な、上述した方法および/または本明細書の別の場所で説明する方法のうちの1つまたは複数などの方法を実施するための命令を記憶する、非一時的コンピュータ可読記憶媒体を含むことができる。さらに他の実装形態は、上述した方法および/または本明細書の別の場所で説明する方法のうちの1つまたは複数などの方法を実施するための記憶された命令を実行するように動作可能な1つまたは複数のプロセッサを含む、1つまたは複数のコンピュータのシステムを含むことができる。

【0011】

前述の概念および本明細書においてより詳細に説明するさらなる概念のあらゆる組合せが、本明細書において開示する本主題の一部であるとして企図されていることを理解されたい。例えば、本開示の末尾に出現する、特許請求される主題のあらゆる組合せが、本明細書において開示する本主題の一部であるとして企図されている。

【図面の簡単な説明】

【0012】

【図1A】ユーザが、口頭による入力と干渉する可能性のある環境内で入力を話す代わりに自動アシスタントに入力をタイプしてはどうかとの提案を受け取るビューを示す図である。

【図1B】ユーザが、口頭による入力と干渉する可能性のある環境内で入力を話す代わりに自動アシスタントに入力をタイプしてはどうかとの提案を受け取るビューを示す図である。

【図2】自動アシスタントおよび/またはユーザがユーザと自動アシスタントとの間の特定のインタラクションを理解しないことが予測されるときに代替インターフェースモダリティを提案するためのシステムを示す図である。

【図3】自動アシスタントへの特定の入力が環境内で干渉による影響を受けることになるかどうかを示す標識を提供し、かつ自動アシスタントに入力を提供するための別個のインターフェースを提供するための方法を示す図である。

【図4】例示的なコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0013】

図1Aおよび図1Bはそれぞれ、ユーザ102が、口頭による入力と干渉する可能性のある環境110内で入力を話す代わりに自動アシスタントに入力をタイプしてはどうかとの提案を受け取るビュー100およびビュー120を示す。例えば、ユーザ102は、自身の集合住宅建物の外部などの環境110内に存在するものとすることができ、自身の自動アシスタントに自身が尋ねたい問合せを行うことができる。ユーザ102は、自動アシスタントにアクセスするために、ユーザ102が自動アシスタントと1つまたは複数のインターフェースを介してインタラクションすることを可能にするコンピューティングデバイス106を有することができる。例えば、コンピューティングデバイス106は、タッチ対応のディスプレイパネルとすることのできるディスプレイインターフェース104、ならびにスピーカおよび/またはマイクロホンを含むことのできるオーディオインターフェース108を含むことができる。いくつかの実装形態では、コンピューティングデバイス106は、自動アシスタントとそれを用いてインタラクションする別のインターフェースを提供するためのカメラを含むこともできる。

【0014】

いくつかの実装形態では、自動アシスタントは、ユーザ102からの事前許可を得て、環境110の1つまたは複数の特徴がユーザ102と自動アシスタントとの間のインタラクションに影響を及ぼすことになるかどうかを判定することができる。例えば、自動アシスタントは、ユーザ102が混雑した歩道上に存在することを、コンピューティングデバイス106にとって利用可能なオーディオデータおよび/または画像データに基づいて決定することができる。いくつかの実装形態では、コンピューティングデバイス106の特定のインターフェースへの入力が環境110および/または他のソースからの干渉を受けることになるかどうかを判定するために、1つまたは複数のソースからのデータが処理されることが可能である。自動アシスタントは、この処理に基づいて、環境110内に存在する間に、特定のインターフェースへの入力が干渉を受けることになることを示す標識をユーザ102に提供することを選択することができる。例えば、最初に、ディスプレイインターフェース104には、特定のインターフェースが背景雑音(例えば図1Aおよび図1Bに示すように複数の人々が話している状態)ならびに/または他の干渉などの干渉の影響を受けることになることを示すどんな標識もなくてよい。しかし、図1Bのビュー120に提示されているように、自動アシスタントおよび/または他のアプリケーションは、特定のインターフェースが特定の干渉の影響を受けることになると判定したことに基づいて、ディスプレイインターフェース104においてキーボード124がレンダリングされるようにすることができる。

【0015】

いくつかの実装形態では、キーボード124の1つまたは複数の特性が、干渉がコンピューティングデバイス106の特定のインターフェース(例えばマイクロホン)への入力に影響を及ぼすことが予測される程度に少なくとも一部基づくことができる。例えば、キーボード124のサイズが、干渉が特定のインターフェースへの入力に影響を及ぼすことが予測される程度に従って調整されることが可能である。いくつかの実装形態では、干渉が自動アシスタントへの口頭による入力に影響を及ぼすことが予測されないとき、自動アシスタントは、オプションで、ディスプレイインターフェース104において入力フィールド112がレンダリングされるようにすることができる。しかし、干渉が自動アシスタントへの入力に影響を及ぼすことが予測されるとき、自動アシスタントは、入力フィールド112を維持するかまたはディスプレイインターフェース104から取り除いて、ディスプレイインターフェース104においてキーボード124がレンダリングされるようにすることができる。これにより、あえて口頭による入力に可聴干渉の影響を受けさせることなく、ユーザ102が自身の手122を使用して、自動アシスタントに入力をタイプすることが可能になり得る。

【0016】

図2は、自動アシスタントおよび/またはユーザがユーザと自動アシスタントとの間の特定のインタラクションを理解しないことが予測されるときに代替インターフェースモダリティを提案するためのシステム200を示す。自動アシスタント204は、コンピューティングデバイス202および/またはサーバデバイスなど、1つまたは複数のコンピューティングデバイスにおいて設けられる、アシスタントアプリケーションの一部として動作することができる。ユーザは自動アシスタント204と、アシスタントインターフェース220を介してインタラクションすることができ、アシスタントインターフェース220は、マイクロホン、カメラ、タッチスクリーンディスプレイ、ユーザインターフェース、および/またはユーザとアプリケーションとの間のインターフェースを提供することの可能な他の任意の装置とすることができる。例として、ユーザは、アシスタントインターフェース220に口頭入力、テキスト入力、および/またはグラフィカル入力を提供して、自動アシスタント204に1つまたは複数のアクションを初期化させる(例えばデータを提供させる、周辺デバイスを制御させる、エージェントにアクセスさせる、入力および/または出力を生成させるなど)ことによって、自動アシスタント204を初期化することができる。あるいは、自動アシスタント204は、1つまたは複数のトレーニング済み機械学習モデルを使用してコンテキストデータ236を処理することに基づいて、初期化されてもよい。コンテキストデータ236は、自動アシスタント204にアクセス可能な環境の1つもしくは複数の特徴、および/または自動アシスタント204とインタラクションしようとしていることが予測されるユーザの1つもしくは複数の特徴を、特徴付けることができる。コンピューティングデバイス202は、ディスプレイデバイスを含むことができ、ディスプレイデバイスは、タッチインターフェースを含むディスプレイパネルとすることができ、タッチインターフェースは、タッチインターフェースを介してユーザがコンピューティングデバイス202のアプリケーション234を制御することを可能にするタッチ入力および/またはジェスチャを受け取るためのものである。いくつかの実装形態では、コンピューティングデバイス202はディスプレイデバイスを欠いていることがあり、したがって、グラフィカルユーザインターフェース出力を提供せずに、可聴ユーザインターフェース出力を提供する。さらに、コンピューティングデバイス202は、ユーザから口頭による自然言語入力を受け取るためのマイクロホンなどのユーザインターフェースを提供することができる。いくつかの実装形態では、コンピューティングデバイス202はタッチインターフェースを含むことができ、コンピューティングデバイス202にはカメラがないことがあるが、コンピューティングデバイス202は、オプションで、1つまたは複数の他のセンサを含むことができる。

【0017】

コンピューティングデバイス202および/または他のサードパーティクライアントデバイスは、インターネットなどのネットワーク経由でサーバデバイスと通信状態にあることができる。加えて、コンピューティングデバイス202および他の任意のコンピューティングデバイスは、Wi-Fiネットワークなどのローカルエリアネットワーク(LAN)経由で相互に通信状態にあることができる。コンピューティングデバイス202は、コンピューティングデバイス202における計算リソースを節約するために、計算タスクをサーバデバイスにオフロードすることができる。例として、サーバデバイスが自動アシスタント204をホストすることができ、かつ/またはコンピューティングデバイス202が、1つもしくは複数のアシスタントインターフェース220において受信した入力をサーバデバイスに送信することができる。しかし、いくつかの実装形態では、自動アシスタント204は、コンピューティングデバイス202においてホストされることが可能であり、自動アシスタントの動作に関連付けられることの可能なさまざまなプロセスが、コンピューティングデバイス202において実施されることが可能である。

【0018】

さまざまな実装形態では、自動アシスタント204の全てまたは一部の態様が、コンピューティングデバイス202上に実装されることが可能である。それらの実装形態のいくつかでは、自動アシスタント204の態様が、コンピューティングデバイス202によって実装され、自動アシスタント204の他の態様を実装することのできるサーバデバイスとインターフェースすることができる。サーバデバイスは、オプションで、複数のユーザおよびそれらの関連するアシスタントアプリケーションに、複数のスレッドを介してサービスすることができる。自動アシスタント204の全てまたは一部の態様がコンピューティングデバイス202によって実装される実装形態では、自動アシスタント204は、コンピューティングデバイス202のオペレーティングシステムとは別個の(例えばオペレーティングシステムの「上に」インストールされる)アプリケーションとすることもでき、あるいは別法として、コンピューティングデバイス202のオペレーティングシステムによって直接実装される(例えばオペレーティングシステムと一体であるがオペレーティングシステムのアプリケーションと見なされる)ことも可能である。

【0019】

いくつかの実装形態では、自動アシスタント204は、入力処理エンジン206を含むことができ、入力処理エンジン206は、複数の異なるモジュールを用いて、コンピューティングデバイス202および/またはサーバデバイスの入力および/または出力を処理することができる。例として、入力処理エンジン206は、アシスタントインターフェース220において受け取ったオーディオデータをそのオーディオデータ内に具体的に表現されたテキストを識別するために処理することのできる、音声処理エンジン208を含むことができる。コンピューティングデバイス202における計算リソースを維持するために、オーディオデータは、例えばコンピューティングデバイス202からサーバデバイスに送信されることが可能である。それに加えてまたはその代わりに、オーディオデータは、コンピューティングデバイス202において一手に処理されることも可能である。

【0020】

オーディオデータをテキストに変換するためのプロセスは、音声認識アルゴリズムを含むことができ、音声認識アルゴリズムは、ニューラルネットワークおよび/または統計モデルを用いて、単語またはフレーズに対応するオーディオデータのグループを識別することができる。オーディオデータから変換されたテキストは、データパーシングエンジン210によってパースされることが可能であり、コマンドフレーズ、意図(intent)、アクション、スロット値、および/またはユーザによって指定された他の任意のコンテンツを生成および/または識別するために使用することのできるテキストデータとして、自動アシスタント204にとって利用可能にされることが可能である。いくつかの実装形態では、自動アシスタント204および/または自動アシスタント204を介してアクセスされることの可能なアプリケーションもしくはエージェントによって実施されることの可能な特定の意図、アクション、および/またはルーチンに対応する入力をユーザが提供したかどうかを判定するために、データパーシングエンジン210によって提供された出力データがパラメータエンジン212に提供されることが可能である。例えば、アシスタントデータ238が、サーバデバイスおよび/またはコンピューティングデバイス202において記憶されることが可能であり、アシスタントデータ238は、自動アシスタント204によって実施されることの可能な1つまたは複数のアクションを定義するデータ、ならびにそのアクションを実施するために必要なパラメータを含むことができる。パラメータエンジン212は、意図、アクション、および/またはスロット値に関する1つまたは複数のパラメータを生成し、この1つまたは複数のパラメータを出力生成エンジン214に提供することができる。出力生成エンジン214は、この1つまたは複数のパラメータを使用して、ユーザに出力を提供するためにアシスタントインターフェース220と通信し、かつ/または1つもしくは複数のアプリケーション234に出力を提供するために1つもしくは複数のアプリケーション234と通信することができる。

【0021】

いくつかの実装形態では、自動アシスタント204は、コンピューティングデバイス202のオペレーティングシステム「の上に」インストールされることの可能なアプリケーションとすることができ、かつ/またはそれ自体が、コンピューティングデバイス202のオペレーティングシステムの一部(もしくは全体)を形成することができる。自動アシスタントアプリケーションは、オンデバイス音声認識、オンデバイス自然言語理解、およびオンデバイス履行を含み、かつ/またはそれらにアクセスすることができる。例えば、オンデバイス音声認識は、(マイクロホンによって検出された)オーディオデータをコンピューティングデバイス202においてローカルに記憶されたエンドツーエンド音声認識機械学習モデルを使用して処理する、オンデバイス音声認識モジュールを使用して実施されることが可能である。オンデバイス音声認識は、オーディオデータ内に存在する口頭による発話(があればそれ)について、認識されたテキストを生成する。また、例えば、オンデバイス自然言語理解(NLU)は、オンデバイス音声認識を使用して生成された、認識されたテキストと、オプションでコンテキストデータとを処理してNLUデータを生成する、オンデバイスNLUモジュールを使用して実施されることが可能である。

【0022】

NLUデータは、口頭による発話に対応する意図と、オプションで、意図に関するパラメータ(例えばスロット値)とを含むことができる。オンデバイス履行は、(オンデバイスNLUからの)NLUデータと、オプションで他のローカルデータとを利用して、口頭による発話の意図(およびオプションで意図に関するパラメータ)を解決するためにとるべきアクションを決定する、オンデバイス履行モジュールを使用して実施されることが可能である。これには、口頭による発話に対するローカルおよび/もしくはリモートの応答(例えば回答)、口頭による発話に基づいて実施すべき、ローカルにインストールされたアプリケーションとのインタラクション、口頭による発話に基づいてモノのインターネット(IoT)デバイスに(直接的にもしくは対応するリモートシステムを介して)送信すべきコマンド、ならびに/または口頭による発話に基づいて実施すべき他の解決アクションを決定することを含むことができる。次いで、オンデバイス履行は、口頭による発話を解決するために、決定されたアクションのローカルおよび/またはリモートの実施/実行を開始することができる。

【0023】

さまざまな実装形態では、リモート音声処理、リモートNLU、および/またはリモート履行が、少なくとも選択的に利用されることが可能である。例えば、認識されたテキストは、リモートNLUおよび/またはリモート履行のために、リモート自動アシスタントコンポーネントに少なくとも選択的に送信されることが可能である。例として、認識されたテキストは、オプションで、オンデバイス実施と並行して、またはオンデバイスNLUおよび/もしくはオンデバイス履行の失敗に応答して、リモート実施のために送信されることが可能である。しかし、オンデバイス音声処理、オンデバイスNLU、オンデバイス履行、および/またはオンデバイス実行は、少なくとも、口頭による発話を解決するときにそれらがもたらすレイテンシ低減のため(口頭による発話を解決するのにクライアント-サーバラウンドトリップが必要とされないため)、優先されることが可能である。さらに、オンデバイス機能は、ネットワーク接続性のない、またはネットワーク接続性が限られた状況下で利用可能な、唯一の機能であり得る。

【0024】

いくつかの実装形態では、コンピューティングデバイス202は、コンピューティングデバイス202および/または自動アシスタント204を提供したエンティティとは異なるサードパーティエンティティによって提供されることの可能な1つまたは複数のアプリケーション234を含むことができる。自動アシスタント204および/またはコンピューティングデバイス202のアプリケーション状態エンジンが、1つまたは複数のアプリケーション234によって実施されることの可能な1つまたは複数のアクション、ならびに1つもしくは複数のアプリケーション234の各アプリケーションの状態および/またはコンピューティングデバイス202に関連するそれぞれのデバイスの状態を決定するために、アプリケーションデータ230にアクセスすることができる。自動アシスタント204および/またはコンピューティングデバイス202のデバイス状態エンジンが、コンピューティングデバイス202および/またはコンピューティングデバイス202に関連する1つもしくは複数のデバイスによって実施されることの可能な1つまたは複数のアクションを決定するために、デバイスデータ232にアクセスすることができる。さらに、アプリケーションデータ230および/または他の任意のデータ(例えばデバイスデータ232)は、コンテキストデータ236を生成するために自動アシスタント204によってアクセスされることが可能であり、コンテキストデータ236は、特定のアプリケーション234および/またはデバイスが実行されているコンテキスト、ならびに/あるいは特定のユーザがコンピューティングデバイス202にアクセスしている、アプリケーション234、および/または他の任意のデバイスもしくはモジュールにアクセスしているコンテキストを特徴付けることができる。

【0025】

1つまたは複数のアプリケーション234がコンピューティングデバイス202において実行されている間、デバイスデータ232は、コンピューティングデバイス202において実行されている各アプリケーション234の現在の動作状態を特徴付けることができる。さらに、アプリケーションデータ230は、1つまたは複数のアプリケーション234の指示でレンダリングされている1つまたは複数のグラフィカルユーザインターフェースのコンテンツなど、実行されているアプリケーション234の1つまたは複数の特徴を特徴付けることができる。その代わりにまたはそれに加えて、アプリケーションデータ230は、それぞれのアプリケーションの現在の動作状態に基づいて、それぞれのアプリケーションによってかつ/または自動アシスタント204によって更新されることの可能な、アクションスキーマを特徴付けることができる。その代わりにまたはそれに加えて、1つまたは複数のアプリケーション234に関する1つまたは複数のアクションスキーマは、固定のままであり得るが、自動アシスタント204を介して初期化すべき適切なアクションを決定するためにアプリケーション状態エンジンによってアクセスされることが可能である。

【0026】

コンピューティングデバイス202は、アシスタント呼出しエンジン222をさらに含むことができ、アシスタント呼出しエンジン222は、1つまたは複数のトレーニング済み機械学習モデルを使用して、アプリケーションデータ230、デバイスデータ232、コンテキストデータ236、および/またはコンピューティングデバイス202にとってアクセス可能な他の任意のデータを処理することができる。アシスタント呼出しエンジン222はこのデータを、自動アシスタント204を呼び出すための呼出しフレーズをユーザが明示的に話すのを待つか、または呼出しフレーズを明示的に話すようにユーザに要求する代わりに、データが、自動アシスタントを呼び出そうとするユーザの意図を示すものであると見なすべきか否かを判定するために、処理することができる。例えば、1つまたは複数のトレーニング済み機械学習モデルは、複数のデバイスおよび/またはアプリケーションがさまざまな動作状態を呈している環境内にユーザが存在するというシナリオに基づくトレーニングデータインスタンスを使用してトレーニングされることが可能である。トレーニングデータインスタンスは、ユーザが自動アシスタントを呼び出すコンテキストおよびユーザが自動アシスタントを呼び出さない他のコンテキストを特徴付けるトレーニングデータを取り込むために、生成されることが可能である。

【0027】

1つまたは複数のトレーニング済み機械学習モデルが、これらのトレーニングデータインスタンスに従ってトレーニングされたとき、アシスタント呼出しエンジン222は自動アシスタント204に、コンテキストおよび/または環境の特徴に基づいて、ユーザからの口頭による呼出しフレーズを検出させるかまたはその検出を制限させることができる。それに加えてまたはその代わりに、アシスタント呼出しエンジン222は自動アシスタント204に、コンテキストおよび/または環境の特徴に基づいて、ユーザからの1つまたは複数のアシスタントコマンドを検出させるかまたはその検出を制限させることもできる。いくつかの実装形態では、アシスタント呼出しエンジン222は、コンピューティングデバイス202が別のコンピューティングデバイスからのアシスタント抑制出力を検出したことに基づいて、ディスエーブルまたは制限されることが可能である。このようにして、コンピューティングデバイス202がアシスタント抑制出力を検出しているとき、自動アシスタント204は、普通ならアシスタント抑制出力が検出されていなければ自動アシスタント204が呼び出されるようにするはずであるコンテキストデータ236に基づいて呼び出されないことになる。

【0028】

いくつかの実装形態では、自動アシスタント204は、環境特徴エンジン218を含むことができ、環境特徴エンジン218は、コンピューティングデバイス202および/または別のコンピューティングデバイスが動作している環境の1つまたは複数の特徴を検出することができる。環境特徴エンジン218は、ユーザと自動アシスタント204との間のインタラクションが環境の影響を受けることになるかどうかを判定するために、この1つまたは複数の特徴を特徴付けるデータを処理することができる。この判定は、1つもしくは複数の発見的プロセスに基づくことができ、かつ/または1人もしくは複数のユーザが類似の環境内で自動アシスタントとインタラクションした従前事例に基づいてトレーニングされることの可能な、1つもしくは複数のトレーニング済み機械学習モデルに基づくことができる。例えば、混雑した環境内でユーザが自動アシスタントとインタラクションした従前事例を特徴付けるデータを、干渉スコアに関するしきい値を識別するために使用することができる。干渉スコアは、1つまたは複数のトレーニング済み機械学習モデルを使用して、特定の環境について生成されることが可能である。干渉スコアしきい値が、特定の干渉スコアによって満たされたとき、環境特徴エンジン218は、自動アシスタント204の干渉標識エンジン226と通信することができる。

【0029】

干渉標識エンジン226は、ユーザと自動アシスタント204との間のインタラクションがそれらの存在する環境の1つまたは複数の特徴の影響を受ける可能性があることを示す標識をユーザに提供するために、自動アシスタント204によって用いられることが可能である。いくつかの実装形態では、ユーザに提供される標識のタイプは、環境特徴エンジン218によって生成される1つまたは複数のスコアに基づくことができる。例として、オーディオ干渉がオーディオインターフェースに影響を及ぼすことになることを示すスコアが生成されたとき、干渉標識エンジン226は、ユーザのために視覚的標識がレンダリングされるようにすることができる。いくつかの実装形態では、干渉標識エンジン226によって標識の特性が選択されることも可能である。例えば、干渉標識エンジン226は、ユーザと自動アシスタント204との間のインタラクションに影響を及ぼすことが予測される干渉の程度に従って、標識のサイズ、形状、輝度、コンテンツ、および/または他の特性が調整されるようにすることができる。

【0030】

いくつかの実装形態では、自動アシスタント204は、インターフェース選択エンジン228を含むことができ、インターフェース選択エンジン228は、干渉が別のインターフェースに影響を及ぼすことが予測されるときにユーザに奨励すべきインターフェースを選択することができる。例えば、コンピューティングデバイス202が、タッチインターフェースにおけるタイプを困難にする、ある量のグレアを受けていると判定されたとき、インターフェース選択エンジン228はタッチインターフェースを、他の利用可能なインターフェースより下にスコア付けすることができる。いくつかの場合には、インターフェース選択エンジン228はタッチインターフェースを、特定の環境において例えばオーディオインターフェースほど最適ではないインターフェースと指定することができる。いくつかの実装形態では、干渉標識エンジン226は、インターフェース選択エンジン228からランキングを通知され、特定の環境にとって最適なインターフェースを識別する標識を生成することが可能である。例として、干渉標識エンジン226によって提供される標識は、自動アシスタントに直接的に入力をタイプするためにユーザがそれにタッチ入力を提供することのできる、キーボードをレンダリングしたものを含むことができる。

【0031】

図3は、自動アシスタントへの特定の入力が環境内で干渉の影響を受けることになるかどうかを示す標識を提供し、かつ自動アシスタントに入力を提供するための別個のインターフェースを提供するための方法300を示す。方法300は、自動アシスタントに関連付けられることの可能な、1つまたは複数のコンピューティングデバイス、アプリケーション、および/または他の任意の装置もしくはモジュールによって実施されることが可能である。方法300は、ユーザが自動アシスタントに入力を提供することに応じられるかどうかを判定する動作302を含むことができる。いくつかの実装形態では、ユーザが応じられるかどうかの判定は、1つまたは複数のコンピューティングデバイスの1つまたは複数のセンサおよび/または他の任意のインターフェースからのデータに基づくことができる。例えば、自動アシスタントは、1人または複数のユーザが自動アシスタントインターフェースのしきい値距離内に存在することを、オーディオデータおよび/または画像データに基づいて決定することができる。ユーザが自動アシスタントに入力を提供することに応じられると、自動アシスタントが判定したとき、方法300は動作304に移ることができる。そうでない場合、自動アシスタントは、ユーザが自動アシスタントに入力を提供することに応じられるかどうかを引き続き判定することができる。

【0032】

動作304は、環境の1つまたは複数の特徴がユーザからの入力に影響を及ぼすことが予測されるかどうかを判定することを含むことができる。いくつかの実装形態では、環境の1つまたは複数の特徴は、環境のオーディオ特性を含むことができる。オーディオ特性は、話している人物の数、特定の音のソース、特定の音の音量および/もしくは周波数、周囲の音、全体的な音量レベル、音のソースから特定のインターフェースまでの距離、ならびに/またはコンピューティングデバイスへの入力と干渉する可能性のある他の任意のオーディオ特性を含むことができる。いくつかの実装形態では、環境の1つまたは複数の特徴は、物体、人物、位置、利用可能な電力、天候、動き、照明、特定の物体間の距離、エリアのレイアウト、温度、および/またはユーザと自動アシスタントとの間のインタラクションに影響を及ぼす可能性のある環境の他の任意の特徴を含むことができる。いくつかの実装形態では、環境の1つまたは複数の特徴が決定され、スコアを生成するために使用されることが可能である。自動アシスタントは、スコアが1つまたは複数の異なるしきい値を満たすかどうかを判定することができる。その代わりにまたはそれに加えて、環境内に存在するコンピューティングデバイスのそれぞれのインターフェースごとに、1つまたは複数の異なるスコアが生成されることも可能である。特定のインターフェースに関するスコアが、その特定のインターフェースに関するしきい値を満たさないとき、自動アシスタントは、ユーザと自動アシスタントとの間のインタラクション中にその特定のインターフェースが干渉を受ける可能性があることを示す標識を提供することができる。例えば、オーディオインターフェースに関するスコアが、オーディオインターフェースに関するしきい値を満たし損なうことがあり、その結果として、自動アシスタントは、コンピューティングデバイスにおいてキーボードインターフェースがレンダリングされるようにすることができる。

【0033】

自動アシスタントが、環境の1つまたは複数の特徴がユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測されると判定したとき、方法300は、動作304から動作306に移ることができる。そうでない場合、自動アシスタントは、ユーザが自動アシスタントとのインタラクションを促進するために特定のインターフェースまたは別のインターフェースに入力を提供したかどうかを引き続き判定することができる。動作306は、自動アシスタントに、特定のインターフェースを介して提供されるかまたは提供されつつある入力が環境の影響を受ける可能性があることを示す標識を提供させることを含むことができる。いくつかの実装形態では、標識は、オーディオインターフェース、グラフィカルインターフェース、ハプティックインターフェース、ワイヤレスインターフェース、および/またはユーザに標識を提供するために使用することのできる他の任意のインターフェースを介して、提供されることが可能である。いくつかの実装形態では、コンピューティングデバイスがタッチディスプレイパネルを含むとき、標識は、タッチディスプレイパネルにおいて、キーボードインターフェースにおいてレンダリングされることが可能である。このようにして、環境内で干渉の影響を受けると判定された口頭による発話をユーザが提供しようとしているとき、ユーザは、キーボードインターフェースを認識し、口頭による発話の代わりにタッチディスプレイパネルにタッチ入力を提供することを選択することができる。

【0034】

方法300は、動作306からオプションの動作308に移ることができ、動作308は、自動アシスタントによって、ユーザから別のインターフェース(すなわち環境内で干渉の影響を受けると判定された特定のインターフェースとは別個の、別のインターフェース)を介して別個の入力を受け取ることを含むことができる。例えば、ユーザは、「おはよう」ルーチンの実施を初期化するために「アシスタント、おはよう」などの口頭による発話をユーザが提供する代わりに、「おはよう」などのより短い入力を自動アシスタントへの入力としてキーボードインターフェースにタイプすることができる。方法300は、動作308からオプションの動作310に移ることができ、動作310は、自動アシスタントに、別個の入力に基づいて1つまたは複数のアクションの実施を初期化させることを含むことができる。例えば、別個の入力は、ユーザによって、動作306においてレンダリングされたキーボードインターフェースを使用してタイプされた、自然言語コンテンツを含むことができる。自然言語コンテンツは「おはよう」とすることができ、この「おはよう」が、自動アシスタントに、「おはよう」ルーチン(例えばその日のカレンダー入力を読み出すこと、家の照明をオンにすること、リラックスさせる音楽をかけること)の完了を促進するために、1つまたは複数のアクションを実施させることができる。自動アシスタントは、口頭による入力または他のタイプの入力が干渉を受ける可能性があるかどうかに関する標識を提供することによって、ユーザからの誤って解釈される入力の数を低減させることができる。これにより、普通なら誤ったアクションを実施しかつ/または重複した入力を処理して消費されるはずである計算リソースが、維持され得る。

【0035】

図4は、例示的なコンピュータシステム410のブロック図400である。コンピュータシステム410は、典型的には、いくつかの周辺デバイスとバスサブシステム412を介して通信する少なくとも1つのプロセッサ414を含む。これらの周辺デバイスは、例えばメモリ425およびファイルストレージサブシステム426を含むストレージサブシステム424、ユーザインターフェース出力デバイス420、ユーザインターフェース入力デバイス422、ならびにネットワークインターフェースサブシステム416を含むことができる。入力デバイスおよび出力デバイスは、コンピュータシステム410とのユーザインタラクションを可能にする。ネットワークインターフェスサブシステム416は、外部ネットワークへのインターフェースを提供し、他のコンピュータシステム内の対応するインターフェースデバイスに結合される。

【0036】

ユーザインターフェース入力デバイス422は、キーボード、マウス、トラックボール、タッチパッド、もしくはグラフィックタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、ボイス認識システム、マイクロホンなどのオーディオ入力デバイス、および/または他のタイプの入力デバイスを含むことができる。一般に、「入力デバイス」という用語の使用は、コンピュータシステム410内または通信ネットワーク上に情報を入力するための、可能なあらゆるタイプのデバイスおよび方途を含むことが意図されている。

【0037】

ユーザインターフェース出力デバイス420は、ディスプレイサブシステム、プリンタ、ファックス装置、またはオーディオ出力デバイスなどの非視覚的ディスプレイを含むことができる。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視画像を生み出すための他の何らかの機構を含むことができる。ディスプレイサブシステムは、オーディオ出力デバイスを介するなどして、非視覚的ディスプレイを提供することもできる。一般に、「出力デバイス」という用語の使用は、コンピュータシステム410からユーザに、または別のマシンもしくはコンピュータシステムに情報を出力するための、可能なあらゆるタイプのデバイスおよび方途を含むことが意図されている。

【0038】

ストレージサブシステム424は、本明細書において説明したモジュールの一部または全てのモジュールの機能を提供するプログラミング構造およびデータ構造を記憶する。例えば、ストレージサブシステム424は、方法300の選択された態様を実施するための、かつ/あるいはシステム200、コンピューティングデバイス106、ならびに/または本明細書において論じた他の任意のアプリケーション、デバイス、装置、および/もしくはモジュールのうちの1つまたは複数を実装するための、ロジックを含むことができる。

【0039】

これらのソフトウェアモジュールは一般に、プロセッサ414単独で、または他のプロセッサとの組合せによって実行される。ストレージサブシステム424内で使用されるメモリ425は、プログラム実行中の命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)430と、固定の命令が記憶される読出し専用メモリ(ROM)432とを含む、いくつかのメモリを含むことができる。ファイルストレージサブシステム426は、プログラムファイルおよびデータファイルのための永続ストレージを提供することができ、ハードディスクドライブ、フロッピーディスクドライブおよび関連するリムーバブルメディア、CD-ROMドライブ、光学式ドライブ、またはリムーバブルメディアカートリッジを含むことができる。特定の実装形態の機能を実装したモジュールは、ファイルストレージサブシステム426によって、ストレージサブシステム424内またはプロセッサ414によってアクセス可能な他のマシン内に記憶されることが可能である。

【0040】

バスサブシステム412は、コンピュータシステム410のさまざまなコンポーネントおよびサブシステムを意図したとおりに相互に通信させるための機構を提供する。バスサブシステム412は、単一のバスとして概略的に示されているが、バスサブシステムの代替実装形態では、複数のバスを使用することができる。

【0041】

コンピュータシステム410は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または他の任意のデータ処理システムもしくはコンピューティングデバイスを含む、さまざまなタイプのものとすることができる。コンピュータおよびネットワークの絶えず変化する性質のため、図4に描いたコンピュータシステム410についての説明は、いくつかの実装形態を例示することを目的とした特定の一例として意図されているにすぎない。図4に描いたコンピュータシステムよりも多くのまたは少ないコンポーネントを有する、コンピュータシステム410の他の多くの構成が可能である。

【0042】

本明細書において説明したシステムが、ユーザ(もしくは本明細書においてしばしば言及されるように、「参加者」)についての個人情報を収集するか、または個人情報を使用できる状況下では、ユーザは、プログラムまたは機能がユーザ情報(例えばユーザのソーシャルネットワーク、社会的行為もしくは社会的活動、職業、ユーザの嗜好、またはユーザの現在の地理的位置についての情報)を収集するかどうかを制御する機会、あるいはコンテンツサーバからユーザにとってより関連のあり得るコンテンツを受け取るかどうか、かつ/またはどのように受け取るかを制御する機会を与えられてよい。また、特定のデータが、それが記憶または使用される前に、個人を識別可能な情報が取り除かれるように、1つまたは複数の方途で取り扱われてよい。例えば、ユーザの識別情報が、そのユーザにとって個人を識別可能な情報を特定することができないように取り扱われてよく、または地理的位置情報が取得される場合、ユーザの具体的な地理的位置を特定することができないように、ユーザの地理的位置が(市レベル、郵便番号レベル、もしくは州レベルなどに)一般化されてよい。したがって、ユーザは、ユーザについてどのように情報が収集されかつ/または使用されるかに対して制御することができてよい。

【0043】

以上、いくつかの実装形態について、本明細書において説明し、図示してきたが、機能を実施するための、かつ/または結果および/もしくは本明細書において説明した利点のうちの1つもしくは複数を得るための、多様な他の手段および/または構造を利用することができ、そのような変形形態および/または修正形態はそれぞれ、本明細書において説明した実装形態の範囲内にあるものと見なされる。より一般には、本明細書において説明したあらゆるパラメータ、寸法、材料、および構成は、例示的であることが意図されており、実際のパラメータ、寸法、材料、および/または構成は、本教示が使用される1つまたは複数の特定の適用例に応じて決まる。当業者なら、本明細書において説明した特定の実装形態の多くの等価物を認識し、または通常の実験だけを使用してそれを確認することができるであろう。したがって、前述の実装形態は、ほんの一例として提示されたものであること、また添付の特許請求の範囲およびその等価物の範囲内で、具体的に説明し特許請求した以外の方法でも実装形態を実施できることを理解されたい。本開示の実装形態は、本明細書において説明した各個別の特徴、システム、物品、材料、用具一式、および/または方法を対象とする。加えて、2つ以上のそのような特徴、システム、物品、材料、用具一式、および/または方法のどんな組合せも、そのような特徴、システム、物品、材料、用具一式、および/または方法が相互に矛盾しない場合、本開示の範囲内に含まれる。

【0044】

いくつかの実装形態では、1つまたは複数のプロセッサによって実装される方法が、コンピューティングデバイスが存在する環境のオーディオ特性を特徴付ける第1のデータを処理することであって、コンピューティングデバイスがコンピューティングデバイスの1つまたは複数のインターフェースを介した自動アシスタントへのアクセスを提供する、処理することなどの動作を含むものとして記載される。方法は、第1のデータに基づいて、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉にオーディオ特性が対応するかどうかを判定することであって、インタラクションが1つまたは複数のインターフェースのうちのオーディオインターフェースを介して行われる、判定することという動作をさらに含むことができる。方法は、ユーザがインタラクションを促進するために自動アシスタントに口頭による発話を提供していること、または提供することが予測されることを示す、第2のデータを処理することという動作をさらに含むことができる。方法は、干渉がインタラクションに影響を及ぼすと判定されたとき、第1のデータおよび第2のデータに基づいて、コンピューティングデバイスまたは別のコンピューティングデバイスにキーボードインターフェースをレンダリングさせること、ユーザと自動アシスタントとの間のインタラクションを促進するために、キーボードインターフェースにおいてユーザ入力を受け取ること、ならびにキーボードインターフェースにおいてユーザ入力を受け取ったことに応答して、自動アシスタントに1つまたは複数のアクションの実施を初期化させることという動作をさらに含むことができる。

【0045】

いくつかの実装形態では、方法は、干渉がインタラクションに影響を及ぼさないと判定されたとき、ユーザと自動アシスタントとの間のインタラクションを促進するために、オーディオインターフェースを介して別個のユーザ入力を受け取ることという動作をさらに含むことができる。いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉にオーディオ特性が対応するかどうかを判定することが、1つまたは複数のインターフェースのしきい値距離内に位置する人物の数を特定することを含む。いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉にオーディオ特性が対応するかどうかを判定することが、ユーザがインタラクションを促進するために提供している口頭による発話または提供することが予測される口頭による発話を、自動アシスタントが正しく解釈することが予測されるかどうかを示すスコアを決定することであって、スコアがしきい値を満たすとき、干渉がインタラクションに影響を及ぼすことが予測される、決定することを含む。

【0046】

いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉にオーディオ特性が対応するかどうかを判定することが、コンピューティングデバイスが存在する環境内でキーボードインターフェースにアクセスする簡便さを特徴付ける追加のスコアを決定することであって、キーボードインターフェースのレンダリングが追加のスコアにさらに基づく、決定することを含む。いくつかの実装形態では、コンピューティングデバイスにキーボードインターフェースをレンダリングさせることが、ユーザがインタラクションを促進するために自動アシスタントに口頭による発話を提供するのと同時に実施される。いくつかの実装形態では、コンピューティングデバイスにキーボードインターフェースをレンダリングさせることが、ユーザがインタラクションを促進するために自動アシスタントに口頭による発話を提供する前に実施される。

【0047】

他の実装形態では、1つまたは複数のプロセッサによって実装される方法が、コンピューティングデバイスが存在する環境の1つまたは複数の特徴を特徴付ける第1のデータを処理することであって、コンピューティングデバイスがコンピューティングデバイスの1つまたは複数のインターフェースを介した自動アシスタントへのアクセスを提供する、処理することなどの動作を含むものとして記載される。方法は、第1のデータに基づいて、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に1つまたは複数の特徴が対応するかどうかを判定することであって、インタラクションがコンピューティングデバイスの1つまたは複数のインターフェースを介して行われる、判定することという動作をさらに含むことができる。方法は、ユーザがインタラクションを促進するために自動アシスタントに入力を提供していること、または提供することが予測されることを示す、第2のデータを処理することという動作をさらに含むことができる。方法は、干渉がインタラクションに影響を及ぼすと判定されたとき、第1のデータおよび第2のデータに基づいて、コンピューティングデバイスまたは別のコンピューティングデバイスに、ユーザと自動アシスタントとの間のインタラクションが干渉の影響を受けることになることを示す標識をレンダリングさせること、ユーザと自動アシスタントとの間のインタラクションを促進するために、コンピューティングデバイスまたは他のコンピューティングデバイスの1つまたは複数の他のインターフェースにおいてユーザ入力を受け取ること、ならびに1つまたは複数の他のインターフェースにおいてユーザ入力を受け取ったことに応答して、自動アシスタントに1つまたは複数のアクションの実施を初期化させることという動作をさらに含むことができる。

【0048】

いくつかの実装形態では、方法は、干渉がインタラクションに影響を及ぼさないと判定されたとき、ユーザと自動アシスタントとの間のインタラクションを促進するために、コンピューティングデバイスの1つまたは複数のインターフェースにおいて別個のユーザ入力を受け取ることという動作をさらに含むことができる。いくつかの実装形態では、1つまたは複数のインターフェースがオーディオインターフェースを含み、標識が、コンピューティングデバイスまたは他のコンピューティングデバイスのグラフィカルユーザインターフェースにおいてレンダリングされる。いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に1つまたは複数の特徴が対応するかどうかを判定することが、1つまたは複数のインターフェースのしきい値距離内に位置する人物の数を特定することを含む。いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に1つまたは複数の特徴が対応するかどうかを判定することが、1つまたは複数のインターフェースのしきい値距離内で話している人物の数を特定することを含む。

【0049】

いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に1つまたは複数の特徴が対応するかどうかを判定することが、ユーザがインタラクションを促進するために提供している入力または提供することが予測される入力を、自動アシスタントが正しく解釈することが予測されるかどうかを示すスコアを決定することであって、スコアがしきい値を満たすとき、干渉がインタラクションに影響を及ぼすことが予測される、決定することを含む。いくつかの実装形態では、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉に1つまたは複数の特徴が対応するかどうかを判定することが、コンピューティングデバイスが存在する環境内で1つまたは複数の他のインターフェースにアクセスする簡便さを特徴付ける追加のスコアを決定することであって、標識が追加のスコアにさらに基づく、決定することを含む。いくつかの実装形態では、コンピューティングデバイスに標識をレンダリングさせることが、ユーザがインタラクションを促進するために自動アシスタントに入力を提供するのと同時に実施される。いくつかの実装形態では、コンピューティングデバイスに標識をレンダリングさせることが、ユーザがインタラクションを促進するために自動アシスタントに入力を提供する前に実施される。いくつかの実装形態では、1つまたは複数のインターフェースがキーボードインターフェースを含み、標識が、コンピューティングデバイスのグラフィカルユーザインターフェースにおいてレンダリングされるキーボードインターフェースを含む。いくつかの実装形態では、標識がテキストフィールドをさらに含み、テキストフィールドが、提案されたコンテンツを含み、提案されたコンテンツが、入力内に具体的に表現されているとともに干渉の影響を受けるコンテンツに基づく。

【0050】

さらに他の実装形態では、1つまたは複数のプロセッサによって実装される方法が、コンピューティングデバイスが存在する環境のオーディオ特性を特徴付けるコンテキストデータを処理することであって、コンピューティングデバイスがコンピューティングデバイスのオーディオインターフェースを介した自動アシスタントへのアクセスを提供する、処理することなどの動作を含むものとして記載される。方法は、コンテキストデータの処理に基づいて、ユーザと自動アシスタントとの間のインタラクションに影響を及ぼすことが予測される干渉にオーディオ特性が対応するかどうかを判定することであって、インタラクションが1つまたは複数のインターフェースのうちのオーディオインターフェースを介して行われる、判定することという動作をさらに含むことができる。方法は、干渉がインタラクションに影響を及ぼすと判定されたとき、コンテキストデータに基づいて、コンピューティングデバイスまたは別のコンピューティングデバイスに、ユーザと自動アシスタントとの間のインタラクションを促進するためにユーザ入力を受け取るためのキーボードインターフェースをレンダリングさせることという動作をさらに含むことができる。いくつかの実装形態では、コンピューティングデバイスが存在する環境のオーディオ特性を特徴付けるコンテキストデータを処理することが、ユーザが自動アシスタントに口頭による入力を提供し、自動アシスタントがその口頭による入力内に具体的に表現された1つまたは複数の要求を履行しなかった、1つまたは複数の従前事例を特徴付ける履歴インタラクションデータを処理することを含む。

【符号の説明】

【0051】

100 ビュー
102 ユーザ
104 ディスプレイインターフェース
106 コンピューティングデバイス
108 オーディオインターフェース
110 環境
112 入力フィールド
120 ビュー
122 手
124 キーボード
200 システム
202 コンピューティングデバイス
204 自動アシスタント
206 入力処理エンジン
208 音声処理エンジン
210 データパーシングエンジン
212 パラメータエンジン
214 出力生成エンジン
218 環境特徴エンジン
220 アシスタントインターフェース
222 アシスタント呼出しエンジン
226 干渉標識エンジン
228 インターフェース選択エンジン
230 アプリケーションデータ
232 デバイスデータ
234 アプリケーション
236 コンテキストデータ
238 アシスタントデータ
300 方法
400 ブロック図
410 コンピュータシステム
412 バスサブシステム
414 プロセッサ
416 ネットワークインターフェースサブシステム
420 ユーザインターフェース出力デバイス
422 ユーザインターフェース入力デバイス
424 ストレージサブシステム
425 メモリ
426 ファイルストレージサブシステム
430 メインランダムアクセスメモリ(RAM)
432 読出し専用メモリ(ROM)

【図1A】

【図1B】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-09-11

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

1つ又は複数のプロセッサによって実装される方法であって、
機械学習モデルを用いてコンテキストデータを処理することに基づいて潜在空間内の現在の埋め込みを生成するステップであって、
前記コンテキストデータは、コンピューティングデバイスが存在する環境の環境特性を特徴づけ、
前記コンピューティングデバイスは複数のインターフェイスを介して自動アシスタントへのアクセスを提供する、
ステップと、
前記潜在空間内で前記現在の埋め込みをオーディオインターフェイスモダリティ埋め込みと比較することに基づいて、前記潜在空間内で第1の距離を決定するステップと、
前記潜在空間内で前記現在の埋め込みをキーボードモダリティ埋め込みと比較することに基づいて、前記潜在空間内で第2の距離を決定するステップと、
前記第1の距離及び前記第2の距離に基づいてオーディオインターフェイスモダリティ又はキーボードインターフェイスモダリティを選択するステップと、
ユーザと前記自動アシスタントとの間との対話の促進のために、ユーザ入力を受信するためのオーディオインターフェイス又はキーボードインターフェイスのうちの1つを、前記選択することに基づいて前記コンピューティングデバイスにレンダリングさせるステップと、を含む
方法。

【請求項2】

前記コンテキストデータは、特定のアプリケーションが実行している際のコンテキストを特徴づける
請求項1に記載の方法。

【請求項3】

前記コンテキストデータは、特定のユーザが前記コンピューティングデバイスにアクセスしているコンテキストを特徴づける
請求項1に記載の方法。

【請求項4】

前記コンテキストデータは、前記コンピューティングデバイス上で特定のユーザがアプリケーションにアクセスしているコンテキストを特徴づける
請求項1に記載の方法。

【請求項5】

前記コンテキストデータは、特定のユーザが他のデバイスにアクセスしているコンテキストを特徴づける
請求項1に記載の方法。

【請求項6】

複数のデバイス及び/又はアプリケーションが様々な動作状態を呈する環境に前記ユーザがいるシナリオに基づいて訓練データを用いて前記機械学習モデルは訓練される
請求項1に記載の方法。

【請求項7】

1つ又は複数のプロセッサによって実装される方法であって、
コンピューティングデバイスが存在する環境の複数の特徴を決定するために第1のデータを処理するステップであって、
前記複数の特徴は、第1のタイプの第1の特徴と、前記第1のタイプと異なる第2のタイプの第2の特徴とを少なくとも含み、
前記コンピューティングデバイスは、前記コンピューティングデバイスの1つ又は複数のインターフェイスを介して自動アシスタントへのアクセスを提供する
ステップと、
ユーザと前記自動アシスタントとの間の対話に影響すると予測される干渉に前記複数の特徴が対応するかどうかを少なくとも前記第1の特徴及び前記第2の特徴に基づいて決定するステップであって、前記対話は前記コンピューティングデバイスの前記1つ又は複数のインターフェイスを介して生じる、ステップと、
前記対話を促進するために前記自動アシスタントへの入力を前記ユーザが与えること又は前記ユーザが与えると予測されることを示す第2のデータを処理するステップと、
前記干渉が前記対話に影響すると決定されるとき、
キーボードインターフェイスと、前記ユーザと前記自動アシスタントとの間の前記対話が干渉によって影響を受けることになることの標示と、を前記第1のデータ及び前記第2のデータに基づいて前記コンピューティングデバイス又は他のコンピューティングデバイスにレンダリングさせるステップと、
前記コンピューティングデバイス又は前記他のコンピューティングデバイスの前記レンダリングされたキーボードインターフェイスで、前記ユーザと前記自動アシスタントとの間の前記対話を促進するためのユーザ入力を受け付けるステップと、
前記1つ又は複数のインターフェイスで前記ユーザ入力を受け付けることに応答して、
前記ユーザ入力に基づいて自然言語理解 (natural language understanding: NLU) データを生成するステップと、
前記ユーザ入力のテキストにNLUを実行するステップと、
前記NLUデータに基づいて、前記自動アシスタントによって、1つ又は複数の動作の実行を初期化するステップと
を含む
方法。

【請求項8】

前記干渉は前記対話に影響しないと決定されるとき、
前記コンピューティングデバイスの前記1つ又は複数のインターフェイスで、前記ユーザと前記自動アシスタントとの間の前記対話を促進するための別個のユーザ入力を受け付けるステップを含む
請求項7に記載の方法。

【請求項9】

前記1つ又は複数のインターフェイスはオーディオインターフェイスを含み、
前記コンピューティングデバイス又は前記他のコンピューティングデバイスのグラフィカルユーザインターフェイスで前記標示はレンダリングされる
請求項7に記載の方法。

【請求項10】

前記ユーザと前記自動アシスタントとの間の前記対話に影響すると予測される前記干渉に前記複数の特徴が対応するかどうかを決定するステップは、
前記1つ又は複数のインターフェイスのしきい値距離内に位置する人物の数を決定するステップを含む
請求項7に記載の方法。

【請求項11】

前記ユーザと前記自動アシスタントとの間の前記対話に影響すると予測される前記干渉に前記複数の特徴が対応するかどうかを決定するステップは、
前記1つ又は複数のインターフェイスのしきい値距離内で話している人物の数を決定するステップを含む
請求項7に記載の方法。

【請求項12】

前記ユーザと前記自動アシスタントとの間の前記対話に影響すると予測される前記干渉に前記複数の特徴が対応するかどうかを決定するステップは、
前記対話を促進するために前記ユーザが与える又は与えると予測される入力を正しく解釈することを自動アシスタントが予測されるかどうかを示すスコアを決定するステップを含み、
前記スコアがしきい値を満たすとき、前記干渉は前記対話に影響すると予測される
請求項7に記載の方法。

【請求項13】

前記ユーザと前記自動アシスタントとの間の前記対話に影響すると予測される前記干渉に前記複数の特徴が対応するかどうかを決定するステップは、
前記コンピューティングデバイスが存在する前記環境において1つ又は複数の他のインターフェイスにアクセスする利便性を特徴づける追加のスコアを決定するステップを含み、
前記標示は前記追加のスコアにさらに基づく
請求項7に記載の方法。

【請求項14】

前記標示を前記コンピューティングデバイスにレンダリングさせるステップは、前記対話を促進するために前記自動アシスタントへの前記入力を前記ユーザが与えることと同時に実行される
請求項7に記載の方法。

【請求項15】

前記標示を前記コンピューティングデバイスにレンダリングさせるステップは、前記対話を促進するために前記自動アシスタントへの前記入力を前記ユーザが与える前に実行される
請求項7に記載の方法。

【請求項16】

前記標示はテキストフィールドをさらに含み、前記入力において具体的に表現されるコンテンツであって、前記干渉によって影響を受けるコンテンツに基づく提案されたコンテンツを前記テキストフィールドは含む
請求項7に記載の方法。

【外国語明細書】