ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-21
(54)【発明の名称】コンテキスト信号に基づく関与状態の保存
(51)【国際特許分類】
G06F 3/16 20060101AFI20240814BHJP
【ＦＩ】
G06F3/16 650
G06F3/16 620
G06F3/16 610
G06F3/16 630
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024506978
(86)(22)【出願日】2022-07-18
(85)【翻訳文提出日】2024-03-14
(86)【国際出願番号】 US2022073820
(87)【国際公開番号】W WO2023015103
(87)【国際公開日】2023-02-09
(31)【優先権主張番号】17/444,656
(32)【優先日】2021-08-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ブレット・アラジン・バロス
(72)【発明者】
【氏名】テオフィル・ヴァンソン・ゴゲリー
(57)【要約】
グラフィカルユーザインターフェース要素を動的に変更するための方法（４００）は、時間的ユーザインターフェース要素（２０２）がユーザデバイス（１１０）のユーザインターフェース上で表示されていることを検出したことに応答して行われる。方法は、ユーザデバイスにおいて、ユーザ（１０）の状態（１６）を特徴づけるコンテキスト信号（２０４）を受信することを含む。方法は、ユーザデバイスによって、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すと決定することをさらに含む。方法はまた、コンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すとの決定に応答して、ユーザデバイスのユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正することを含む。
【特許請求の範囲】
【請求項1】
データ処理ハードウェア（５１０）によって実行されると前記データ処理ハードウェア（５１０）に動作を実行させる、コンピュータにより実施される方法（４００）であって、前記動作が、時間的ユーザインターフェース要素（２０２）がユーザデバイス（１１０）のユーザインターフェース上で表示されていることを検出したことに応答して、
前記ユーザデバイス（１１０）において、ユーザ（１０）の状態（１６）を特徴づけるコンテキスト信号（２０４）を受信することと、
前記ユーザデバイス（１１０）によって、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することと、
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）のそれぞれの状態を修正することと
を含む、方法（４００）。
【請求項2】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）と関与しようと試みているかまたは関与していることを示す関与状態（１６ｅ）を含む、請求項１に記載の方法（４００）。
【請求項3】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を増やすことを含む、請求項２に記載の方法（４００）。
【請求項4】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を一時停止することを含む、請求項２に記載の方法（４００）。
【請求項5】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）との関与から離れていることを示す非関与状態（１６ｄ）を含む、請求項１から４のいずれか一項に記載の方法（４００）。
【請求項6】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間の満了前に前記時間的ユーザインターフェース要素（２０２）を削除することを含む、請求項５に記載の方法（４００）。
【請求項7】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を減らすことを含む、請求項５に記載の方法（４００）。
【請求項8】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含む、請求項１から７のいずれか一項に記載の方法（４００）。
【請求項9】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含む、請求項１から７のいずれか一項に記載の方法（４００）。
【請求項10】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含む、請求項１から７のいずれか一項に記載の方法（４００）。
【請求項11】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記存在検出信号が前記センサー（１６２）の前記視野内の前記ユーザ（１０）の前記存在が不在から存在に変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１から７のいずれか一項に記載の方法（４００）。
【請求項12】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記ユーザ近接度信号が前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の前記近接度が前記ユーザデバイス（１１０）により近くなるように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１から７のいずれか一項に記載の方法（４００）。
【請求項13】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記注意検出信号が前記ユーザ（１０）の前記注意が前記ユーザデバイス（１１０）に注目するように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１から７のいずれか一項に記載の方法（４００）。
【請求項14】
前記動作が、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正する前に、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態が時間期間内にしきい値回数だけ以前に修正されるのに失敗していると決定することをさらに含む、請求項１から１３のいずれか一項に記載の方法（４００）。
【請求項15】
前記時間的ユーザインターフェース要素（２０２）が、前記ユーザデバイス（１１０）によってキャプチャされたストリーミングオーディオにおいて検出されたクエリ（２２）によって指定されたアクションを表す、請求項１から１４のいずれか一項に記載の方法（４００）。
【請求項16】
システム（１００）であって、データ処理ハードウェア（５１０）と、
前記データ処理ハードウェア（５１０）と通信しているメモリハードウェア（５２０）とを備え、前記メモリハードウェア（５２０）が、前記データ処理ハードウェア（５１０）上で実行されると、前記データ処理ハードウェア（５１０）に動作を実施させる命令を記憶し、前記動作が、
時間的ユーザインターフェース要素（２０２）がユーザデバイス（１１０）のユーザインターフェース上で表示されていることを検出したことに応答して、
前記ユーザデバイス（１１０）において、ユーザ（１０）の状態（１６）を特徴づけるコンテキスト信号（２０４）を受信することと、
前記ユーザデバイス（１１０）によって、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することと、
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記時間的ユーザインターフェース要素（２０２）との前記ユーザ対話を示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）のそれぞれの状態を修正することと
を含む、システム（１００）。
【請求項17】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）と関与しようと試みているかまたは関与していることを示す関与状態（１６ｅ）を含む、請求項１６に記載のシステム（１００）。
【請求項18】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を増やすことを含む、請求項１７に記載のシステム（１００）。
【請求項19】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を一時停止することを含む、請求項１７に記載のシステム（１００）。
【請求項20】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）との関与から離れていることを示す非関与状態（１６ｄ）を含む、請求項１６から１９のいずれか一項に記載のシステム。
【請求項21】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間の満了前に前記時間的ユーザインターフェース要素（２０２）を削除することを含む、請求項２０に記載のシステム（１００）。
【請求項22】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を減らすことを含む、請求項２０に記載のシステム（１００）。
【請求項23】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含む、請求項１６から２２のいずれか一項に記載のシステム（１００）。
【請求項24】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含む、請求項１６から２２のいずれか一項に記載のシステム（１００）。
【請求項25】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含む、請求項１６から２２のいずれか一項に記載のシステム（１００）。
【請求項26】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記存在検出信号が前記センサー（１６２）の前記視野内の前記ユーザ（１０）の前記存在が不在から存在に変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１６から２２のいずれか一項に記載のシステム（１００）。
【請求項27】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記ユーザ近接度信号が前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の前記近接度が前記ユーザデバイス（１１０）により近くなるように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１６から２２のいずれか一項に記載のシステム（１００）。
【請求項28】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記注意検出信号が前記ユーザ（１０）の前記注意が前記ユーザデバイス（１１０）に注目するように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１６から２２のいずれか一項に記載のシステム（１００）。
【請求項29】
前記動作が、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正する前に、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態が時間期間内にしきい値回数だけ以前に修正されるのに失敗していると決定することをさらに含む、請求項１６から２８のいずれか一項に記載のシステム（１００）。
【請求項30】
前記時間的ユーザインターフェース要素（２０２）が、前記ユーザデバイス（１１０）によってキャプチャされたストリーミングオーディオにおいて検出されたクエリによって指定されたアクションを表す、請求項１６から２９のいずれか一項に記載のシステム（１００）。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンテキスト信号に基づいて関与状態を保存することに関する。
【背景技術】
【0002】
音声対応環境（たとえば、自宅、仕事場、学校、自動車など）は、ユーザがコンピュータベースのシステムにクエリまたはコマンドを声に出して話すことを可能にし、コンピュータベースのシステムは、クエリをさばいて返答し、かつ／またはコマンドに基づいて機能を実施する。音声対応環境は、環境の様々な部屋またはエリアにわたって分散されている接続されたマイクロフォンデバイスのネットワークを使用して実装され得る。これらのデバイスは、環境中に存在する別の個人に向けられた発話に対立するものとして、いつ所与の発話がシステムに向けられたかを識別するのを助けるために、ホットワードを使用し得る。したがって、デバイスは、スリープ状態または休止状態で動作し、検出された発話がホットワードを含むときのみ、ウェイクアップすることができる。アウェイクすると、デバイスは、完全オンデバイス自動音声認識（ＡＳＲ：automated speech recognition）またはサーバベースＡＳＲなどの、より高価な処理を実施することに進むことができる。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の一態様は、グラフィカルユーザインターフェース要素を動的に変更するための、コンピュータにより実施される方法を提供する。コンピュータにより実施される方法は、データ処理ハードウェアによって実行されると、データ処理ハードウェアに動作を実行させる。動作は、時間的ユーザインターフェース要素がユーザデバイスのユーザインターフェース上で表示されていることを検出したことに応答して行われる。動作は、ユーザデバイスにおいて、ユーザの状態を特徴づけるコンテキスト信号を受信することを含む。動作は、ユーザデバイスによって、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すと決定することをさらに含む。動作はまた、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すとの決定に応答して、ユーザデバイスのユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正することを含む。
【0004】
本開示の別の態様は、グラフィカルユーザインターフェース要素を動的に変更するためのシステムを提供する。システムは、データ処理ハードウェアと、データ処理ハードウェアと通信しているメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実施させる命令を記憶する。動作は、時間的ユーザインターフェース要素がユーザデバイスのユーザインターフェース上で表示されていることを検出したことに応答して行われる。動作は、ユーザデバイスにおいて、ユーザの状態を特徴づけるコンテキスト信号を受信することを含む。動作は、ユーザデバイスによって、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すと決定することをさらに含む。動作はまた、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すとの決定に応答して、ユーザデバイスのユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正することを含む。
【0005】
本開示のいずれかの態様の実装形態は、以下の任意選択の特徴のうちの１つまたは複数を含み得る。いくつかの実装形態では、ユーザの状態は、ユーザがユーザデバイスのユーザインターフェース上で表示されている時間的ユーザインターフェース要素と関与しようと試みているかまたは関与していることを示す関与状態（engagement state）を含む。いくつかの例では、口頭ユーザインターフェース要素のそれぞれの状態を修正することは、時間的ユーザインターフェース要素のタイムアウト持続時間を増やすことまたは一時停止することを含む。いくつかの構成では、ユーザの状態は、ユーザがユーザデバイスのユーザインターフェース上で表示されている時間的ユーザインターフェース要素との関与から離れていることを示す非関与状態（disengagement state）を含む。これらの構成では、ユーザの状態を特徴づけるコンテキスト信号が非関与状態を含むとの決定に応答して、時間的ユーザインターフェース要素のそれぞれの状態を修正することは、時間的ユーザインターフェース要素のタイムアウト持続時間の満了前に時間的ユーザインターフェース要素を削除することを含み得る。これらの構成では、ユーザの状態を特徴づけるコンテキスト信号が非関与状態を含むとの決定に応答して、時間的ユーザインターフェース要素のそれぞれの状態を修正することは、時間的ユーザインターフェース要素のタイムアウト持続時間を減らすことを含み得る。コンテキスト信号のいくつかの例は、ユーザデバイスに対するユーザの近接度を示すユーザ近接度信号、ユーザデバイスに関連付けられたセンサーの視野内のユーザの存在を示す存在検出信号、およびユーザデバイスに対するユーザの注意を示す注意検出信号を含む。時間的ユーザインターフェース要素は、ユーザデバイスによってキャプチャされたストリーミングオーディオにおいて検出されたクエリによって指定されたアクションを表し得る。任意選択で、動作は、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すとの決定に応答して、ユーザデバイスのユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正する前に、時間的ユーザインターフェース要素のそれぞれの状態が時間期間内にしきい値回数だけ以前に修正されるのに失敗していると決定することをさらに含む。
【0006】
本開示のいずれかの態様のいくつかの例では、コンテキスト信号は、ユーザデバイスに関連付けられたセンサーの視野内のユーザの存在を示す存在検出信号を含む。ここで、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すと決定することは、存在検出信号がセンサーの視野内のユーザの存在が不在から存在に変化したことを示すと決定することを含み、ユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正することは、タイムアウト持続時間を増やすことまたは時間的ユーザインターフェース要素のタイムアウト持続時間を一時停止することを含む。
【0007】
本開示のいずれかの態様のいくつかの実装形態では、コンテキスト信号は、ユーザデバイスに対するユーザの近接度を示すユーザ近接度信号を含む。ここで、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すと決定することは、ユーザ近接度信号がユーザデバイスに対するユーザの近接度がユーザデバイスにより近くなるように変化したことを示すと決定することを含み、ユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正することは、タイムアウト持続時間を増やすことまたは時間的ユーザインターフェース要素のタイムアウト持続時間を一時停止することを含む。
【0008】
本開示のいずれかの態様のいくつかの構成では、コンテキスト信号は、ユーザデバイスに対するユーザの注意を示す注意検出信号を含む。ここで、ユーザの状態を特徴づけるコンテキスト信号がユーザが時間的ユーザインターフェース要素と対話しようとしていることを示すと決定することは、注意検出信号がユーザの注意がユーザデバイスに注目するように変化したことを示すと決定することを含み、ユーザインターフェース上で表示されている時間的ユーザインターフェース要素のそれぞれの状態を修正することは、タイムアウト持続時間を増やすことまたは時間的ユーザインターフェース要素のタイムアウト持続時間を一時停止することを含む。
【0009】
本開示の１つまたは複数の実装形態の詳細が、添付の図面および以下の説明に記載される。他の態様、特徴、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0010】
【図1】例示的な音声対応環境の概略図である。
【図3】保存器を使用する例示的な音声対応環境の概略図である。
【図4】グラフィカルユーザインターフェース要素の状態を変更する方法のための動作の例示的な構成のフローチャートである。
【図5】本明細書で説明されるシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイスの概略図である。
【発明を実施するための形態】
【0011】
様々な図面における同様の参照符号は、同様の要素を示す。
【0012】
ボイス対応デバイス（たとえば、ボイスアシスタントを実行するユーザデバイス）は、ユーザがクエリもしくはコマンドを声に出して話し、クエリに対する返答をさばくこと、および／またはコマンドに基づいて機能を実施することを可能にする。しばしば、ボイス対応デバイスがクエリに応答するとき、ボイス対応デバイスは、クエリによって要求されたアクションを表す視覚応答を生成する。たとえば、ボイス対応デバイスのユーザは、ボイス対応デバイスがボイス対応デバイスの音楽ストリーミングアプリケーション上で特定の曲をかけることを要求する発話を行う。ユーザによるこの要求に応答して、ボイス対応デバイスは、音楽ストリーミングサービスに関連付けられた音楽ストリーミングアプリケーション上でボイス対応デバイスが要求された曲をかけていることを示すグラフィカル要素を、ボイス対応デバイスに関連付けられたディスプレイ上に表示する。
【0013】
いくつかの状況では、グラフィカル要素は、グラフィカル要素が特定の時間量の後にボイス対応デバイスのディスプレイから削除されるように、本質的に一時的または時間的である。すなわち、グラフィカル要素は設定されたタイムアウト値を有することがあり、タイムアウト値は、グラフィカル要素が削除される（すなわち、タイムアウトする）前に視覚的に存在する持続時間を指す。たとえば、グラフィカル要素は、ユーザによるクエリに応答してボイス対応デバイスが実施しているまたは実施することができるアクションを視覚的に示す一時的な通知である。
【0014】
いくつかの例では、ボイス対応デバイスは、ボイス対応デバイスに関連付けられたユーザが、ユーザがアクションが実施されるのを望むことを何らかの形で確認するまで、クエリに応答してアクションを実施しない。ここで、確認は、音声入力などの言葉による確認（たとえば、「Ｙｅｓ」）、ジェスチャーなどの動きによる確認、またはユーザがアクションの実施を肯定するためにボイス対応デバイスのディスプレイをタップするなどの触覚による確認であってもよい。確認アプローチを使用する際、確認アプローチは、ボイス対応デバイスがユーザによって望まれていないアクションをうっかり実施することを防ぐことができる。さらに、このアプローチは、ボイス対応デバイスが、ユーザが要求したかつユーザが選択すべき、ボイス対応デバイスが知覚した１つまたは複数のアクションを提案すること、またはアクションのいずれかがユーザによって実際に要求されたかどうか（すなわち、ボイス対応デバイスが実施することをユーザが意図した任意のアクション）を示すことを可能にする。
【0015】
いくつかの実装形態では、ボイス対応デバイスは、アクションが実施されることをユーザが実際に要求したという確信に欠けるので、ボイス対応デバイスは、アクションを自動的に実施するのではなく、ユーザによるクエリに応答してアクションを提案する。たとえば、あるユーザがボイス対応デバイスに近接して別のユーザと会話をしており、ボイス対応デバイスが、会話の何らかの側面がボイス対応デバイスがアクションを実施するためのクエリであったことを知覚する。また、これはボイス対応デバイスに向けられていない副次的な音声会話であるので、ボイス対応デバイスは、アクションを自動的に実施するための特定のレベルの信頼性を有するアクションを決定することができない。ここで、アクションの自動的な実施に応じないより低い信頼性に起因して、ボイス対応デバイスは代わりに、ユーザが検出されたアクションを実施したいかどうかを質問するグラフィカル要素を表示する。たとえば、ボイス対応デバイスは、「マイケルジャクソンのスリラーをかけましょうか?」と述べるプロンプトを表示する。したがって、このプロンプトは、それがユーザが意図したものであると確認する能力（すなわち、プロンプト中の選択可能な「ｙｅｓ」ボタン）をユーザに与えるか、またはそれがユーザが意図したものではなかったことを示す能力（すなわち、プロンプト中の選択可能な「ｎｏ」ボタン）をユーザに与える。ここで、プロンプトは、ユーザがプロンプトを無視するかまたはプロンプトに気づくことができず、プロンプトによって提案されたアクションを実施させないことを可能にする時間的グラフィカル要素としてセットアップされてもよい。言い換えれば、ボイス対応デバイスがプロンプトに関するユーザからのいかなる入力も受信しない場合、プロンプト、したがって、提案されたアクションはタイムアウトし、行われない。
【0016】
残念ながら、ユーザがボイス対応デバイスによって特定のアクションが実施されることを要求したが、ユーザがアクションが実施されるのを望むという確認をユーザが提供することができない状況が生じる。例示すると、ボイス対応デバイスはユーザの自宅のキッチンにある場合がある。ユーザが食料品店から自宅に戻ると、ユーザは車からの一連の移動において食料品をキッチンに運び込み始める。最初にキッチンにいる間に、ユーザは、ボイス対応デバイスがユーザが食料品店から家に帰る途中で聞いていた地元のラジオ局をかけることを要求する。このシナリオでは、ユーザはボイス対応デバイスが地元のラジオ局をかけることを明示的に要求したが、ユーザが動き回っていた可能性があり、その結果として、ボイス対応デバイスは確信をもってコマンドを検出しなかった。この信頼性の欠如に起因して、ボイス対応デバイスは、ボイス対応デバイスが地元のラジオ局をかけることをユーザが望むかどうかを質問するプロンプトを生成する。この提案されたアクションが実際にユーザが要求したものであるにもかかわらず、ユーザはプロンプトを見逃し、ボイス対応デバイスのボイス能力が期待以下であることにいら立つことがある。代替的に、ユーザが両腕に食料品をいっぱい抱えて車への移動から戻ってくると、地元のラジオ局がかかっておらず、プロンプトがボイス対応デバイスのディスプレイ上に時間的グラフィカル要素として存在しているだけであることに気づくことがある。また、ユーザが食料品を降ろすことができるかまたは言葉で応答する機会を得る前に、プロンプトが消える（すなわち、タイムアウトする）ことがある。この例では、プロンプト／提案されたアクションがタイムアウトする前に、ユーザはプロンプト上でｙｅｓをタップするためにボイス対応デバイスに向かって移動していた可能性がある。
【0017】
食料品の例のような状況の場合、時間的グラフィカル要素の状態はユーザの状態に気づくことから恩恵を受けることができる。すなわち、食料品の例では、プロンプトが消えた（すなわち、タイムアウトした）ときに、ユーザはボイス対応デバイスに向かって移動していた。つまり、ボイス対応デバイスに関連付けられた何らかのシステムがユーザの状態をボイス対応デバイスと対話しようと試みているものとして認識した場合、そのシステムは、ボイス対応デバイス（またはその何らかのシステム）に時間的グラフィカル要素のタイムアウト持続時間を延長するように通知してもよい（たとえば、ユーザが地元のラジオ局をかけたかったかどうかを尋ねるプロンプト）。したがって、ユーザの状態に起因してタイムアウト持続時間が延長された場合、ユーザは、ボイス対応デバイスにおいてアクションの確認を入力するのに十分な時間を有することができ、結果として、ボイス対応デバイスは成功裡に地元のラジオ局をかけてユーザを楽しませる。
【0018】
対照的に、食料品の例において、ユーザが食料品を抱えてキッチンに入ってきて、セルフォンで話しながら「この素晴らしい曲が地元のラジオ局でかかっていたのをたった今聞いたところです」と言っていた場合、時間的グラフィカル要素はやはり、そのタイムアウトを加速させるかまたは直ちにタイムアウトする（すなわち、時間的要素の状態を変更する）ために、ユーザの状態に気づくことから恩恵を受けることができる。たとえば、例に対するこの代替では、ユーザは、ボイス対応デバイスが地元のラジオ局をかけるためのプロンプトを生成したことを通知するボイス対応デバイスを見つめ、次いで、食料品を持ち込み続けるために立ち去ることがある。ここで、ユーザの視覚的認識（すなわち、凝視）とその後に立ち去ることの組合せは、ユーザによる提案されたアクションへの関心の暗黙的な欠如に起因して、ボイス対応デバイスにプロンプトを直ちにタイムアウトするように通知することができる。
【0019】
時間的要素がユーザの状態に気づくために、ボイス対応デバイスに関連付けられた１つまたは複数のシステムは、コンテキスト信号を分析して、これらの信号のうちの１つまたは複数がユーザの状態が時間的要素の状態に影響を及ぼすべきであることを示すかどうかを決定するように構成され得る。言い換えれば、コンテキスト信号がユーザの状態を、ボイス対応デバイスと積極的に対話しようと試みている（たとえば、関与しようと試みている）もの（すなわち、関与状態）として特徴づける場合、時間的要素の状態は、積極的な対話に適応するように修正され得る（たとえば、タイムアウトが延長されるかまたは完全に一時停止される）。一方、コンテキスト信号がユーザの状態を、ボイス対応デバイスと消極的に対話しようと試みている（たとえば、関与しないように試みている）もの（すなわち、非関与状態）として特徴づける場合、時間的要素の状態は、消極的な対話に適応するように修正され得る（たとえば、タイムアウトが短縮されるかまたは直ちに実行される）。このアプローチを用いると、時間的要素は、コンテキスト信号（たとえば、収集された／受信されたセンサーデータ）がその保存を正当化するときに保存され得る。
【0020】
図１を参照すると、いくつかの例では、音声環境１００は、デジタルアシスタントインターフェース１２０を実行するボイス対応デバイス１１０（デバイス１１０またはユーザデバイス１１０とも呼ばれる）の可聴範囲内で発話２０を行うユーザ１０を含む。ここで、ユーザ１０によってなされた発話２０は、ストリーミングオーディオ１２においてデバイス１１０によってキャプチャされることがあり、アクションを実施するためのクエリ２２、またはより詳細には、デジタルアシスタントインターフェース１２０がアクションを実施するためのクエリ２２に対応することがある。ユーザ１０は、ホットワード２４がスリープ状態または休止状態である間にデバイス１１０上で動作するホットワード検出器（たとえば、ソフトアクセプタ２００）によってストリーミングオーディオ１２において検出されたときにスリープ状態または休止状態からデバイス１１０をトリガするために、ホットワード２４（たとえば、呼出し句）でクエリ２２をプレフィックスしてもよい。ユーザ１０はまた、ホットワード２４でクエリ２２をエンドポイントしてもよい。ホットワード２４を話すこと以外でスリープ状態または休止状態からデバイス１１０をトリガするために他の技法が使用されてもよい。たとえば、呼出しイベントが、スリープ状態または休止状態からデバイス１１０をトリガしてもよい。呼出しイベントは、限定はしないが、クエリ２２を話す前または話している間にユーザがジェスチャーを行うこと、クエリ２２を話すときにユーザがデバイスのほうに向くこと、ユーザが突然デバイス１１０の前に現れてクエリ２２を話すこと、または音声（たとえば、クエリ２２）がデバイス１１０のほうへ向けられることが予想される尤度を示すコンテキストキューを含んでもよい。アクションは、動作またはタスクと呼ばれることもある。この意味で、ユーザ１０は、計算活動を実施するためにまたは質問に対する答えを見つけるために、ボイス対応デバイス１１０上で実行されるデジタルアシスタントインターフェース１２０との会話型対話を有してもよい。
【0021】
デバイス１１０は、ユーザ１０に関連付けられた、環境１００からオーディオをキャプチャすることが可能な、任意のコンピューティングデバイスに対応してもよい。いくつかの例では、ユーザデバイス１１０は、限定はしないが、モバイルデバイス（たとえば、モバイルフォン、タブレット、ラップトップ、電子ブックリーダーなど）、コンピュータ、ウェアラブルデバイス（たとえば、スマートウォッチ）、音楽プレーヤ、キャスティングデバイス、スマートアプライアンス（たとえば、スマートテレビジョン）およびモノのインターネット（ＩｏＴ）デバイス、リモートコントロール、スマートスピーカーなどを含む。デバイス１１０は、データ処理ハードウェア１１２と、データ処理ハードウェア１１２と通信しており、データ処理ハードウェア１１２によって実行されると、データ処理ハードウェア１１２に音声処理に関連する１つまたは複数の動作を実施させる命令を記憶する、メモリハードウェア１１４とを含む。
【0022】
デバイス１１０は、音声環境１００内のオーディオをキャプチャし電子信号（たとえば、オーディオデータ１４）に変換するためのオーディオキャプチャデバイス１１６、１１６ａ（たとえば、１つまたは複数のマイクロフォンのアレイ）を有するオーディオサブシステム１１６をさらに含む。デバイス１１０は、図示の例ではオーディオキャプチャデバイス１１６ａ（一般にマイクロフォン１１６ａとも呼ばれる）を実装するが、オーディオキャプチャデバイス１１６ａは、デバイス１１０上に物理的に存在していなくてもよいが、オーディオサブシステム１１６（たとえば、デバイス１１０の周辺装置）と通信していてもよい。たとえば、デバイス１１０は、車両全体にわたって位置するマイクロフォンのアレイを活用する車両インフォテインメントシステムに対応してもよい。別の例では、オーディオキャプチャデバイス１１６ａは、アクションを実施することになるユーザデバイス１１０と通信している別のデバイス上に存在していてもよい。加えて、オーディオサブシステム１１６は、ユーザデバイス１１０によって生成／出力されたオーディオ（たとえば、合成オーディオ、合成音声、または様々なタイプのメディアに関連するオーディオ）を再生するための再生デバイス１１６、１１６ｂ（たとえば、１つまたは複数のスピーカー１１６ｂなど）を含んでもよい。
【0023】
デバイス１１０はまた、グラフィカルユーザインターフェース（ＧＵＩ）要素（たとえば、グラフィカルユーザインターフェース要素２０２）および／またはグラフィカルコンテンツを表示するためのディスプレイ１１８を含んでもよい。ＧＵＩ要素のいくつかの例は、ウィンドウ、スクリーン、アイコン、メニューなどを含む。たとえば、デバイス１１０は、ディスプレイ１１８のためのＧＵＩ要素（たとえば、ＧＵＩ要素２０２など）または他のグラフィカルコンテンツを生成するアプリケーション（ローカルアプリケーションまたはリモートアプリケーション）をロードまたは起動してもよい。さらに、ディスプレイ１１８において生成された要素は、ユーザ１０によって選択可能であってもよく、また、デバイス１１０上で行われる処理活動および／または動作に対する何らかの形態の視覚フィードバックを提供するように働いてもよい。たとえば、要素は、ユーザ１０からのクエリ２２に応答してデバイス１１０が実施しているかまたは実施することを示唆しているアクションを表す。さらに、デバイス１１０はボイス対応デバイス１１０であるので、ユーザ１０は、様々なボイスコマンドならびに他のタイプのコマンド（たとえば、ジェスチャーコマンドまたはタッチ入力コマンド）を使用して、ディスプレイ１１８上で生成された要素と対話してもよい。たとえば、ディスプレイ１１８は、特定のアプリケーション用のオプションのメニューを図示してもよく、ユーザ１０は、音声またはフィードバックの他の手段（たとえば、触覚入力、動き／ジェスチャー入力など）によってオプションを選択するためにインターフェース１２０を使用してもよい。ユーザ１０が提示されたオプションを選択するために話すとき、デバイス１１０は、提示されたオプションを選択するために特定の句が話されたかどうかを決定するために、縮小音声認識状態で動作しているか、またはデバイス１１０に関連付けられたウォームワードモデルを使用していてもよい。一例として、ウォームワードモデルは、オプションがデバイス１１０によって（たとえば、デバイス１１０のディスプレイ１１８上で）提示されている時間の間に（たとえば、タイムアウトウィンドウの間に）バイナリ音声（たとえば、「ｙｅｓ」または「ｎｏ」）を検出するように動作する。
【0024】
音声対応インターフェース（たとえば、デジタルアシスタントインターフェース）１２０は、デバイス１１０によってキャプチャされた発話２０において搬送されたクエリ２２またはコマンドをさばいてもよい。音声対応インターフェース１２０（インターフェース１２０またはアシスタントインターフェース１２０とも呼ばれる）は一般に、発話２０に対応するオーディオデータ１４を受信すること、およびオーディオデータ１４に対する音声処理または発話２０に由来する他の活動を協調させることを容易にする。インターフェース１２０は、デバイス１１０のデータ処理ハードウェア１１２上で実行されてもよい。インターフェース１２０は、発話２０を含むオーディオデータ１４を、音声処理またはクエリ遂行に関連する様々なシステムにチャネリングしてもよい。
【0025】
さらに、デバイス１１０は、ネットワーク１３０を介してリモートシステム１４０と通信するように構成される。リモートシステム１４０は、リモートデータ処理ハードウェア１４４（たとえば、リモートサーバもしくはＣＰＵ）および／またはリモートメモリハードウェア１４６（たとえば、リモートデータベースもしくは他のストレージハードウェア）などの、スケーラブルなリモートリソース１４２を含んでもよい。デバイス１１０は、（たとえば、音声処理システム１５０による）音声処理および／または（たとえば、保存器２００による）ＧＵＩ要素の状態保存に関連する様々な機能を実施するためにリモートリソース１４２を利用してもよい。たとえば、デバイス１１０は、音声認識システム１５２を使用して音声認識を、および／または音声解釈器１５４を使用して音声解釈を実施するように構成される。いくつかの例では、図示されていないが、デバイス１１０は追加として、テキスト音声（ＴＴＳ：text-to-speech）システムを使用して音声処理の間にＴＴＳを変換してもよい。
【0026】
デバイス１１０はまた、音声処理システム１５０と通信するように構成される。音声処理システム１５０は一般に、音声認識および音声解釈（クエリ解釈としても知られている）などの、音声処理に関連する様々な機能を実施することが可能である。たとえば、図１の音声処理システム１５０は、自動音声認識（ＡＳＲ：automated speech recognition）を実施する音声認識器１５２と、認識された音声の意味を（すなわち、音声を理解するために）決定する音声解釈器１５４と、認識された音声において特定されたクエリに応答して任意の検索結果を取り出す検索エンジン１５６とを含むことが示されている。（たとえば、アシスタントインターフェース１２０に関連付けられた）ホットワード検出器がホットワードイベントを検出したとき、ホットワード検出器はオーディオデータ１４を音声処理システム１５０に渡す。ホットワードイベントは、ホットワード検出器がオーディオデータ１４の一部分（たとえば、第１のオーディオセグメント）をホットワード２４として受け入れることを示す。オーディオデータ１４の一部分がホットワード２４として特定されると、ホットワード検出器および／またはアシスタントインターフェース１２０は、音声処理システム１５０がオーディオデータ１４に対して音声処理を実施することができるように、オーディオデータ１４をホットワードイベントとして通信する。オーディオデータ１４に対して音声処理を実施することによって、音声認識器１５２は、音声解釈器１５４との組合せで、オーディオデータ１４の（たとえば、クエリ２２として示された）第２のオーディオセグメントがクエリタイプの発話を示すかどうかを決定することが可能である。
【0027】
音声認識器１５２は、ホットワードイベントに対応するオーディオデータ１４を入力として受信し、オーディオデータ１４を音声認識結果Ｒと呼ばれる出力としてトランスクリプションに転写する。概して、オーディオデータ１４をトランスクリプションに変換することによって、音声認識器１５２は、デバイス１１０が、ユーザ１０からなされた発話２０がクエリ２２（もしくはコマンド）または何らかの他の形態のオーディオ通信に対応するときを認識することを可能にする。トランスクリプションは、次いでデバイス１１０（たとえば、アシスタントインターフェース１２０または音声処理システム１５０）がクエリまたはコマンドへの応答を生成するために使用し得る一連のテキストを指す。音声認識器１５２および／またはインターフェース１２０は、音声認識結果Ｒに対して意味論的解釈を実施して、特定のアクション１５８が実施されることを要求するクエリ２２をオーディオデータ１４が含むかどうかを決定するために、その結果Ｒを音声解釈器１５４（たとえば、自然言語理解（ＮＬＵ：natural language understand）モジュール）に提供してもよい。言い換えれば、音声解釈器１５４は、オーディオデータ１４におけるクエリ２２またはコマンドを特定するために、かつ音声処理システム１５０がクエリ２２によって呼び出された対応するアクション１５８でクエリ２２に応答することを可能にするために、結果Ｒの解釈Ｉを生成する。たとえば、クエリ２２が音楽を再生するためのコマンドである場合、クエリ２２によって呼び出された対応するアクション１５８は、（たとえば、音楽を再生することが可能なアプリケーションを実行することによって）音楽を再生することである。いくつかの例では、音声処理システム１５０は、音声処理システム１５０がクエリ２２に応答する（すなわち、クエリ２２を遂行する）ことを可能にする検索結果を取り出すために、検索エンジン１５６を用いる。
【0028】
ユーザデバイス１１０はまた、ユーザデバイス１１０の環境内のセンサーデータ１６４をキャプチャするようにセンサー１６２で構成されたセンサーシステム１６０を含むか、またはセンサーシステム１６０に関連付けられる。ユーザデバイス１１０は、ユーザデバイス１１０のユーザ１０の現在の状態１６を決定するために、継続的にまたは少なくとも周期的間隔の間に、センサーシステム１６０によってキャプチャされたセンサーデータ１６４を受信してもよい。センサーデータ１６４のいくつかの例は、動きデータ、画像データ、接続データ、雑音データ、音声データ、またはユーザ１０／ユーザデバイス１１０の状態１６もしくはユーザデバイス１１０の近傍の環境の状態を示す他のデータを含む。動きデータは、ユーザデバイス１１０の移動によってユーザ１０の移動を特徴づける加速度計データを含んでもよい。たとえば、ユーザ１０がデバイス１１０を持っており、ユーザ１０が親指を動かして（たとえば、ＧＵＩ要素と対話するために）デバイス１１０のディスプレイ１１８をタップすると、動きデータは、ユーザ１０の状態１６がデバイス１１０に関与していることを示す。動きデータはまた、ユーザのポケットの中のスマートフォンまたはユーザが身に着けたスマートウォッチなどの、ユーザに関連付けられた別のデバイスから、デバイス１１０において受信され得る。画像データは、ユーザ１０の注意、ユーザデバイス１１０に対するユーザ１０の近接度（たとえば、ユーザ１０とユーザデバイス１１０との間の距離）、ユーザ１０の存在（たとえば、ユーザ１０が１つまたは複数のセンサー１６２の視野内に存在しているか否か）、および／またはユーザ１０の環境の特徴を検出するために使用されてもよい。たとえば、画像データは、（たとえば、身体の特徴によってユーザ１０のジェスチャーを特徴づけるために、顔の特徴によってユーザ１０の視線を特徴づけるために、またはユーザ１０の姿勢／向きを特徴づけるために）ユーザ１０の特徴をキャプチャすることによってユーザ１０の注意を検出する。接続／通信データは、ユーザデバイス１１０が他の電子機器またはデバイス（たとえば、スマートウォッチまたはモバイルフォン）に接続されているかまたはそれらと通信しているかどうかを決定するために使用されてもよい。たとえば、接続データは、近距離接続／通信データ、Ｂｌｕｅｔｏｏｔｈ接続／通信データ、Ｗｉ－Ｆｉ接続／通信データ、または何らかの他の無線帯域接続／通信データ（たとえば、ウルトラワイドバンド（ＵＷＢ）データ）であってもよい。雑音データまたは音声データなどの音響データは、センサーシステム１６０（たとえば、デバイス１１０のマイクロフォン１１６ａ）によってキャプチャされてもよく、ユーザデバイス１１０の環境（たとえば、特定の音響シグネチャを有する環境の特性またはプロパティ）を決定するか、またはユーザ１０もしくは別の当事者が話しているかどうかを特定するために使用されてもよい。いくつかの構成では、センサーシステム１６０は、超音波データをキャプチャして、デバイス１１０の環境内のユーザ１０または他の物体の場所を検出する。たとえば、デバイス１１０は、そのスピーカー１１６ｂとそのマイクロフォン１１６ａの組合せを活用して、デバイス１１０の環境についての超音波データをキャプチャする。センサーシステム１６０のセンサー１６２は、オンデバイスで埋め込まれるかもしくはホストされる（たとえば、画像データをキャプチャするカメラもしくは音響データをキャプチャするマイクロフォン１１６ａ）、オフデバイスで存在するがデバイス１１０と通信している、またはそれらの何らかの組合せであってもよい。図１は、デバイス１１０上に含まれるカメラを例示的なセンサー１６２として図示しているが、デバイス１１０の他の周辺装置も、オーディオサブシステム１１６のマイクロフォン１１６ａおよびスピーカー１１６ｂなどのセンサー１６２として機能してもよい。
【0029】
システム１５０、１６０、２００は、デバイス１１０上に存在する（オンデバイスシステムと呼ばれる）か、またはリモートで存在する（たとえば、リモートシステム１４０上に存在する）がデバイス１１０と通信していてもよい。いくつかの例では、これらのシステム１５０、１６０、２００のうちのいくつかはローカルにまたはオンデバイスで存在するが、他のものはリモートで存在する。言い換えれば、これらのシステム１５０、１６０、２００のいずれも、任意の組合せでローカルまたはリモートであってもよい。たとえば、システム１５０、１６０、２００のサイズまたは処理要件がかなり大きいとき、システム１５０、１６０、２００はリモートシステム１４０に存在してもよい。また、デバイス１１０が１つまたは複数のシステム１５０、１６０、２００のサイズまたは処理要件をサポートすることができるとき、１つまたは複数のシステム１５０、１６０、２００は、データ処理ハードウェア１１２および／またはメモリハードウェア１１４を使用してデバイス１１０上に存在してもよい。任意選択で、システム１５０、１６０、２００のうちの１つまたは複数は、ローカルに／オンデバイスでおよびリモートでの両方で存在してもよい。たとえば、システム１５０、１６０、２００のうちの１つまたは複数は、デバイス１１０とリモートシステム１４０との間のネットワーク１３０への接続が利用可能であるとき、リモートシステム１４０上で実行されるようにデフォルト設定されてもよいが、接続が失われるかまたはネットワーク１３０が利用不可能であるとき、システム１５０、１６０、２００は代わりに、デバイス１１０上でローカルに実行される。
【0030】
保存器２００は一般に、ユーザデバイス１１０（たとえば、デバイス１１０のディスプレイ１１８などのユーザインターフェース）上で表示されているＧＵＩ要素（ユーザインターフェース（ＵＩ）要素とも呼ばれる）の状態Ｓを動的に適応させるためのシステムとして機能する。ＧＵＩ要素の状態Ｓは、広くＧＵＩ要素のプロパティを指す。すなわち、ＧＵＩ要素の状態Ｓは、ＧＵＩ要素の場所、ＧＵＩ要素が提示される時間量（すなわち、タイムアウト値）、および／またはＧＵＩ要素に関連付けられたグラフィックスの特性（たとえば、色、書体、フォント、スタイル、サイズなど）を指すことがある。この点で、ＧＵＩ要素の状態Ｓを変更することは、たとえば、ＧＵＩ要素のサイズを変更すること、ディスプレイ内のＧＵＩ要素の場所を変更すること、ＧＵＩ要素が提示される時間を変更すること、ＧＵＩ要素のフォントを変更すること、ＧＵＩ要素のコンテンツを変更すること（たとえば、ＧＵＩ要素のテキストまたはメディアコンテンツを変更すること）などを含む。保存器２００は任意のＧＵＩ要素の状態Ｓを適応させることが可能であるが、本明細書の例は、より具体的に、時間的ＧＵＩ要素２０２の状態Ｓを変更する保存器２００を示す。時間的ＧＵＩ要素２０２は、本質的に一時的であるグラフィカル要素である。たとえば、時間的ＧＵＩ要素２０２は、削除されるかまたは自動的に閉じられる前に時間的ＧＵＩ要素が存在する（たとえば、表示される）時間Ｔを指定するタイムアウト値を含む。
【0031】
本明細書の例は、ディスプレイ１１８上で表示される時間的ＧＵＩ要素に言及するが、本明細書の実装形態は、光の点滅および／または音の可聴出力（たとえば、ビープ／チャイム）などの非グラフィカルインターフェースによって時間的要素を提示することに等しく適用可能である。ユーザは、デバイス上の物理ボタンを押すこと、ボイス入力を提供すること、またはジェスチャーを行うことによって、このタイプの非グラフィカルインターフェース要素２０２と対話してもよい。
【0032】
保存器２００がユーザデバイス１１０上で表示されている時間的ＧＵＩ要素２０２の状態Ｓを変更する（すなわち、動的に適応させる）べきかどうか、およびいつ変更するべきかを特定するために、保存器２００は、デバイス１１０がアクセス可能なコンテキスト信号２０４を受信するようにまたは監視するように構成される。いくつかの例では、センサーシステム１６０によってキャプチャされたセンサーデータ１６４は、デバイスの環境の態様を特徴づける１つまたは複数のコンテキスト信号２０４として働く。保存器２００は、センサーデータ１６４のいかなるさらなる処理もなしにセンサーデータ１６４をコンテキスト信号２０４として使用するか、またはセンサーデータ１６４に対してさらなる処理を実施してデバイスの環境の態様を特徴づけるコンテキスト信号２０４を生成してもよい。デバイス１１０は、保存器２００を活用して、ユーザ１０が時間的ＧＵＩ要素２０２とその消滅前に対話しようとしていることをコンテキスト信号２０４が示すかどうかを決定してもよい。すなわち、コンテキスト信号２０４は、ユーザ１０の状態１６を示すことが可能であり、状態１６は、ユーザ１０が時間的ＧＵＩ要素２０２と対話しようとしている関与状態、またはユーザ１０が時間的ＧＵＩ要素２０２と対話していないもしくは意図的に関与から離れている非関与状態を示す。コンテキスト信号２０４によって特徴づけられたユーザ１０の状態１６に応じて、保存器２００は、最初に指定されたものよりも長い時間期間の間、時間的ＧＵＩ要素２０２を保存すること、時間的ＧＵＩ要素２０２の消滅（すなわち、削除）を早めること、または時間的ＧＵＩ要素２０２の時間ベースのプロパティ（たとえば、タイムアウト値）を維持する（すなわち、時間的ＧＵＩ要素２０２のいかなる状態Ｓも変更しない）ことのいずれかを行ってもよい。
【0033】
第１の食料品の例に戻ると、ユーザ１０がデバイス１１０に向かって移動しているとき、保存器２００は、ユーザ１０の状態１６を関与状態１６、１６ｅとして特徴づける１つまたは複数のコンテキスト信号２０４を受信してもよい。たとえば、コンテキスト信号２０４は、ユーザ１０をユーザデバイス１１０により近接させる（すなわち、ユーザ１０とユーザデバイス１１０との間の距離が減少している）方法でユーザデバイス１１０に対するユーザ１０の近接度が変化していることを示す。コンテキスト信号２０４はユーザ１０の状態１６が変化していることを示すので、このことは、ユーザ１０がユーザデバイス１１０上で表示されているプロンプトと対話しようとしていることを示唆する。ここで、保存器２００は、時間的ＧＵＩ要素２０２であるプロンプト「地元のラジオ局をかけたいですか」の状態Ｓを修正する。この例では、保存器２００は、プロンプトが満了する前にユーザ１０がプロンプトと成功裡に対話することを可能にするためにプロンプトのタイムアウト持続時間を延長または一時停止することによって、プロンプトの状態Ｓを修正することになる。コンテキスト信号２０４は、関与状態１６ｅであるユーザ１０の状態１６を特徴づけることができる、ユーザによって実施される任意のアクションを示してもよい。別の例として、リモートコントロールを手に取るユーザ１０は、ユーザ１０の状態がテレビジョン上で表示されている時間的ＧＵＩ要素２０２と対話するために関与状態１６であることを特徴づけることができる。
【0034】
対照的に、ユーザ１０が電話で話しており、地元のラジオ局をかけるようにデバイス１１０に命令しなかったとき、保存器２００は、ユーザ１０の状態１６を非関与状態１６ｄとして特徴づける１つまたは複数のコンテキスト信号２０４を受信してもよい。たとえば、例のこのバージョンで説明されるように、ユーザ１０は、プロンプト「地元のラジオ局をかけたいですか」を表示するデバイス１１０を見つめ、次いで、向きを変えて、食料品を持ち込み続けることに移る。これらがユーザ１０のアクションであるとき、保存器２００は、ユーザ１０の注意をデバイス１１０に関与しているものまたはデバイス１１０を見つめているものとして特徴づけるコンテキスト信号２０４を受信してもよい。次いで、これらのコンテキスト信号２０４の後に、時間的ＧＵＩ要素２０２に関与しようとする試みを示すユーザ１０によるいかなるアクションもなしに、デバイス１１０との非関与（すなわち、デバイス１１０から目を背ける）を特徴づけるコンテキスト信号２０４が続く。実際には、その場合、保存器２００によって受信されるコンテキスト信号２０４は、ユーザ１０が非関与状態１６ｄを示すデバイス１１０に対する近接度を減少させていることを示すことになる。非関与状態１６ｄが後に続く関与状態１６ｅを全体的に示すこれらの変化するコンテキスト信号２０４によって、保存器２００は、時間的ＧＵＩ要素２０２の状態Ｓを維持する（すなわち、プロンプトを満了させる）こと、時間的ＧＵＩ要素２０２の状態Ｓを進める（すなわち、タイムアウト持続時間または残りのタイムアウト持続時間を短縮する）こと、または時間的ＧＵＩ要素２０２の状態Ｓを変更して時間的ＧＵＩ要素２０２を直ちに削除することのいずれかを行ってもよい。この例では、保存器２００は、コンテキスト信号２０４を、関与状態１６ｅ（たとえば、時間的ＧＵＩ要素２０２を認識する状態１６）から非関与状態１６ｄへの変更に起因する意図的な非関与を特徴づけるものとして解釈し、この解釈がなされると時間的ＧＵＩ要素２０２を即座に削除してもよい。
【0035】
図２Ａおよび図２Ｂを参照すると、保存器２００は状態決定器２１０および修正器２２０を含む。状態決定器２１０は、１つまたは複数のコンテキスト信号２０４を受信し、デバイス１１０に対するユーザ１０の状態１６を決定するように構成される。いくつかの例では、状態決定器２１０は、センサーシステム１６０からセンサーデータ１６４（たとえば、生のセンサーデータ）を受信し、センサーデータ１６４を、ユーザ１０の状態１６を特徴づけるコンテキスト信号２０４に変換するか、または処理する。たとえば、状態決定器２１０は、センサーデータ１６４を受信し、コンテキスト信号２０４を形成するためにセンサーデータ１６４に基づいてデバイス１１０に対するユーザ１０の物理的状態（たとえば、ユーザ１０の位置または向き）を特徴づけてもよい。追加または代替として、状態決定器２１０は、センサーデータ１６４を受信し、ユーザ１０の非物理的状態１６を特徴づけてもよい。たとえば、状態決定器２１０は、ユーザ１０の状態１６を特徴づける音響データ１６４を受信する。例示すると、状態決定器２１０は、ユーザ１０が話していて、デバイス１１０が時間的ＧＵＩ要素２０２を表示したことに応答して、話を中断したかまたはゆっくり話したことを示す音響データ１６４を受信する。言い換えれば、ユーザ１０が別のユーザとの副次的な音声会話を行っていて、デバイス１１０が時間的ＧＵＩ要素２０２としてのプロンプトを表示したことに気づいた可能性がある。ユーザ１０がプロンプトに気づいたことにより、ユーザ１０が一時的に会話の中でゆっくり話し（すなわち、プロンプトを読むかまたは見るために一瞬中断し）、次いで、プロンプトを無視して会話を続けた可能性がある。この状況では、音響データ１６４の韻律の変化が、ユーザ１０の状態１６を示すコンテキスト信号２０４であり得る。ここで、この例示では、ユーザ１０が話の韻律（たとえば、リズム）を変更したことによって、状態決定器２１０は、ユーザ１０が関与状態１６ｅになっていると決定してもよい。次いで、ユーザ１０が元の韻律に戻すと、状態決定器２１０は、ユーザ１０が非関与状態１６ｄになっていると決定してもよい。
【0036】
いくつかの例では、コンテキスト信号２０４は、ユーザ１０の状態１６の知覚された変化を指す。すなわち、状態決定器２１０は、第１の時間インスタンスからのセンサーデータ１６４を特定し、第１の時間インスタンスからのセンサーデータ１６４を第２の時間インスタンスからのセンサーデータ１６４と比較して、センサーデータ１６４の比較がユーザ１０の状態変化（たとえば、場所または向きの変化）を示すかどうかを決定する。ユーザ１０の状態１６の知覚された変化により、状態決定器２１０は、状態１６の変化が、ユーザ１０が何らかの方法でデバイス１１０と対話しようと（すなわち、時間的ＧＵＩ要素２０２と対話することによってデバイス１１０に関与しようと）しているかまたはデバイス１１０と対話しないようにしていることを示すかどうかを特定してもよい。ユーザ１０の状態１６の変化が、ユーザ１０がデバイス１１０と対話しようとしていることを示すとき、ユーザ１０は関与状態１６ｅになっている。一方、ユーザ１０の状態１６の変化が、ユーザ１０がデバイス１１０と対話しないようにしていることを示すとき、ユーザ１０は非関与状態１６ｄになっている。いくつかの構成では、状態決定器２１０は、関与または非関与よりも高い粒度でユーザ１０の状態１６を分類してもよい。たとえば、状態決定器２１０は、ユーザ関与のタイプ（たとえば、近づく、肯定のジェスチャーをする、確認を話す、など）またはユーザ非関与のタイプ（たとえば、離れる、否定のジェスチャーをする、否定的に話す、など）を分類するように構成される。
【0037】
状態決定器２１０がユーザ１０の状態１６を特定すると、状態決定器２１０は状態１６を修正器２２０に渡す。修正器２２０は、ユーザ１０の状態１６に基づいて、デバイス１１０上で表示されている時間的ＧＵＩ要素２０２の状態Ｓを修正するように構成される。すなわち、修正器２２０は、時間的ＧＵＩ要素がデバイス１１０上で表示されている間に、時間的ＧＵＩ要素２０２の状態Ｓがユーザ１０の状態１６に適応することを可能にすることができる。図２Ａを参照すると、修正器２２０は、時間的ＧＵＩ要素２０２の状態Ｓを第１の状態Ｓ、Ｓ１から第２の状態Ｓ、Ｓ２に変更するか、または時間的ＧＵＩ要素２０２の状態Ｓがユーザ１０の状態１６に基づいて変化すべきではない（たとえば、第１の状態Ｓ１にとどまる）と決定してもよい。修正器２２０は、異なる方法で時間的ＧＵＩ要素２０２の状態Ｓを変更するように構成されてもよい。いくつかの例では、修正器２２０は、時間的ＧＵＩ要素２０２が表示される時間（または残り時間）を増やすことによって、時間的ＧＵＩ要素２０２の状態Ｓを修正または変更する。図２Ｂは、ユーザ状態１６が関与状態１６ｅであるとき、修正器２２０がタイムアウト値を７秒の時間Ｔから１５秒の時間Ｔに増やしてもよいことを図示している。他の例では、ユーザ状態１６が関与状態１６ｅであるとき、修正器２２０は、時間的ＧＵＩ要素２０２のタイムアウト機能を一時停止することによって、時間的ＧＵＩ要素２０２の状態Ｓを修正する。すなわち、ユーザ１０がデバイス１１０に関与していることを保存器２００が知覚している間、修正器２２０は、無期限の持続時間の間（またはユーザ状態１６が非関与状態１６ｄに変化するまで）時間的ＧＵＩ要素２０２が存在することを可能にする。
【0038】
同じく図２Ｂに示されているように、修正器２２０は、ユーザ状態１６が非関与状態１６ｄであるとき、時間的ＧＵＩ要素２０２の状態Ｓを修正してもよい。たとえば、ユーザ１０が非関与状態１６ｄになっているとき、修正器２２０は、時間的ＧＵＩ要素２０２がタイムアウトするまで残り時間を加速させるかまたは早める。ここで、図２Ｂは、このことが起こり得る２つの状況を示している。第１のシナリオでは、ユーザ状態１６が非関与状態１６ｄであるとき、修正器２２０は、ユーザ１０が時間的ＧＵＩ要素２０２に関与することに関心がないことに基づいて時間的ＧＵＩ要素２０２を満了させることによって応答する。このことは、ユーザ１０がデバイス１１０を見つめてから立ち去る第２の食料品の例によく似て、時間的ＧＵＩ要素２０２が表示されている間にユーザ状態１６が関与状態１６ｅから非関与状態１６ｄに変化するときに起こり得る。図２Ｂは、第１の状態Ｓ１における７秒のタイムアウト時間Ｔが第２の状態Ｓ２における０秒のタイムアウト時間Ｔに変化することを図示することによって、この第１のシナリオを示している。第２のシナリオでは、ユーザ状態１６が非関与状態１６ｄであるとき、修正器２２０は、時間的ＧＵＩ要素２０２が満了するまで時間Ｔを早めることによって応答する。たとえば、修正器２２０は、タイムアウト時間Ｔを７秒から３秒に変更する。
【0039】
図２Ａなどのいくつかの構成では、保存器２００は状態モニタ２３０をさらに含む。状態モニタ２３０は、ユーザ１０の状態１６が時間的ＧＵＩ要素２０２の状態Ｓに影響を及ぼす回数を監視および／または調節するように構成されてもよい。なぜこのことが有利であり得るかを例示すると、食料品の例のユーザ１０は、車から食料品を持ち込み終わり、食料品を片付け始める場合がある。この時間の間、ユーザ１０はキッチンの中であちこちに移動している場合があり、その結果として、状態決定器２１０は、デバイス１１０が時間的ＧＵＩ要素２０２を表示している間に、ユーザ１０がデバイス１１０に関与していることおよび関与から離れていることを知覚する。この関与および非関与により、修正器２２０は時間的ＧＵＩ要素２０２の状態Ｓを変更している場合がある。たとえば、修正器２２０は、ユーザのアクションをミラーリングする何らかの反復的なやり方で、タイムアウト持続時間を増やし、次いでタイムアウト持続時間を減らしている場合がある。残念ながら、このことが数回起こると、本来ならユーザ１０がすでに時間的ＧＵＩ要素２０２を選択したかまたは時間的ＧＵＩ要素２０２と対話したはずなので、時間的ＧＵＩ要素２０２は動的に変更されるべきではなく、むしろ満了したかまたは満了したままにされたことを示す可能性が高い。状態変化が行ったり来たりすることまたはあまりにも多くの状態変化が生じることを防ぐために、モニタ２３０は状態変化しきい値２３２で構成されてもよい。いくつかの例では、時間的ＧＵＩ要素２０２の状態変化の数が状態変化しきい値２３２を満たすとき、モニタ２３０は、時間的ＧＵＩ要素２０２に対して修正器２２０を非アクティブ化するか、または場合によっては、時間的ＧＵＩ要素２０２が満了（たとえば、タイムアウト）することを可能にする／強制する。モニタ２３０が動作しているとき、時間的ＧＵＩ要素２０２の状態変化の数が状態変化しきい値２３２を満たさない場合、モニタ２３０は、修正器２２０が時間的ＧＵＩ要素２０２を修正するのを妨げない（たとえば、修正器２２０は動作し続ける）。
【0040】
いくつかの構成では、モニタ２３０は、状態決定器２１０に関連付けられた１つまたは複数のしきい値を調整することが可能である。たとえば、状態決定器２１０は、ユーザ１０がデバイス１１０に対して遠距離場所から近距離場所に移動することに基づいて、ユーザ１０の状態変化を特定することができる。ここで、遠距離場および近距離場は、近距離場と遠距離場との間の近接境界を確立する（たとえば、しきい値２１２として図３に示された）しきい値によって定められてもよい。言い換えれば、ユーザ１０がデバイス１１０に向かって移動してしきい値を越えた場合、ユーザは近距離場に入っている（たとえば、遠距離場を離れている）が、ユーザ１０がデバイス１１０から離れて移動してしきい値を越えた場合、ユーザは遠距離場に入っている（たとえば、近距離場を離れている）。また、ユーザ１０がこの境界であちこちに移動している場合がある状況がある。例示すると、ユーザ１０が食料品をキッチンアイランドから冷蔵庫の中に片付けている場合があり、境界がキッチンアイランドと冷蔵庫との間に位置する場合がある。ユーザ１０がこの境界上で絶えずあちこちに動いている可能性があるので、モニタ２３０は、しきい値においてこのアクティビティを認識し、一種のデバウンサとして機能する場合がある。すなわち、ユーザ１０は数フィートしか移動していない場合があり、状態決定器２１０がこの移動を関与状態１６ｅと非関与状態１６ｄとの間で変化するものとして特定することを可能にする代わりに、モニタ２３０は、状態決定器２１０の状態変化感度を安定させるためにしきい値を調整する。言い換えれば、状態１６の変化をトリガするためには、ユーザ１０は、単にアイランドよりもデバイス１１０に向かってまたはデバイスから離れてさらに動かなければならないことになる。
【0041】
図３は、第１の時間インスタンスＴ０および第１の時間インスタンスＴ０の後に生じる第２の時間インスタンスＴ１におけるユーザ１０の状態１６（たとえば、ユーザの物理的状態１６）を特徴づけることができるいくつかのタイプのコンテキスト信号２０４を示すシナリオである。このシナリオでは、ユーザ１０は、モバイルフォンで話しながらデバイス１１０を持って部屋に歩いて入り、「この素晴らしい曲が地元のラジオ局９４．５でかかっていたのをたった今聞いたところです」と言っている。ユーザ１０によるこの発話２０に応答して、デバイス１１０は、ユーザ１０が地元のラジオ局９４．５をかけたいかどうかを質問する時間的ＧＵＩ要素２０２としてのプロンプトを生成する。ここで、保存器２００は、ユーザデバイス１１０に対するユーザ１０の場所を図示する第１の時間インスタンスＴ０における画像データに対応するセンサーデータ１６４を受信する。画像データを用いて、状態決定器２１０は、受信された画像データに基づいて第１の時間インスタンスＴ０におけるユーザ１０とデバイス１１０との間の距離Ｄ、Ｄ１を推定して、デバイス１１０に対するユーザ１０の状態１６を特徴づけるコンテキスト信号２０４を形成する。ここで、デバイス１１０に対するユーザの近接度を示すコンテキスト信号２０４は、ユーザ近接度信号と見なされる。第１の時間インスタンスＴ０において、状態決定器２１０は、推定された距離Ｄ、Ｄ１がユーザ１０が近遠境界２１２内のデバイス１１０に近い近距離場にいることを意味すると特定する。たとえば、状態決定器２１０は、推定された距離Ｄ１が、デバイス１１０から境界２１２までの距離よりも少ない、デバイス１１０までの距離Ｄを有すると決定する。デバイス１１０に対するユーザの近接度に基づいて、状態決定器２１０は、ユーザ１０が第１の時間インスタンスＴ０において関与状態１６ｅになっていると決定する。ユーザ近接度信号は、デバイス１１０に対するユーザ１０の近接度がデバイス１１０により近くなるように変化した（たとえば、ユーザ１０が、第１の推定された距離Ｄ１になるように図３のデバイス１１０に向かって歩く）ことを示すので、修正器２２０は次いで、たとえば、タイムアウト持続時間を増やすことまたは時間的ＧＵＩ要素２０２のタイムアウト持続時間を一時停止することによって、時間的ＧＵＩ要素２０２の状態Ｓを修正してもよい。
【0042】
特に、時間的ＧＵＩ要素２０２のプロンプトが表示されている間、デバイス１１０は、局９４．５（または局９４．５をストリーミングすることが可能な音楽ストリーミングサービス）との接続を開始し、そこからのオーディオをストリーミングすることによって、地元のラジオ局９４．５をかけるという知覚されたコマンドの遂行を開始してもよい。しかしながら、デバイス１１０は、ユーザ１０がオーディオをストリーミングするための時間的ＧＵＩ要素２０２の選択を示すユーザ入力指示を肯定的に提供するまで、ストリーミングオーディオを可聴的に出力し始めない場合がある。したがって、この例では、ユーザ１０が局９４．５からのオーディオをストリーミングするために音声をデバイス１１０に向けなかったので、デバイス１１０は、決してストリーミングオーディオを可聴的に出力することなしに、時間的ＧＵＩ要素２０２がタイムアウトした（またはユーザが「Ｎｏ」を選択する入力指示を肯定的に提供した）ことに応答してストリーミング接続を終了することになる。
【0043】
加えて、本明細書の例はユーザデバイス１１０がプロンプトを時間的ＧＵＩ要素２０２として生成することを対象とするが、ユーザデバイス１１０は同様に、ユーザが時間タイムアウト期間内の認識されたボイスコマンドの実施を肯定または否定することを可能にする視覚（たとえば、フラッシュ光）および／または可聴（たとえば、ビープ）プロンプトを邪魔にならないやり方で出力してもよい。たとえば、ユーザ１０は単に「ｙｅｓ」または「ｎｏ」と話す場合がある。このシナリオでは、ユーザデバイス１１０は、オーディオ中の２値項（たとえば、「ｙｅｓ」および「ｎｏ」）をリッスンするウォームワードモデルをアクティブ化することができる。
【0044】
状態決定器２１０がコンテキスト信号２０４に対するユーザ近接度信号を生成することを可能にすることに加えて、このシナリオにおけるセンサーデータ１６４は、状態決定器２１０が注意検出信号と呼ばれるコンテキスト信号２０４を生成することも可能にする。注意検出信号は、ユーザ１０がデバイス１１０に注意を払っているかどうかを特徴づける信号を指す。注意検出信号は、ユーザ１０が関与状態１６ｅになっているかまたは非関与状態１６ｄになっているかを示すことができる。言い換えれば、（たとえば、センサーデータ１６４に基づく）注意検出信号は、ユーザ１０がデバイス１１０のほうへまたはデバイス１１０から離れてのいずれかに注目を変えたことを示すことができる。デバイス１１０が時間的ＧＵＩ要素２０２を表示している間にユーザ１０の注目がデバイス１１０のほうへ変わったとき、状態決定器２１０は、ユーザ１０が関与状態１６ｅになっていると決定してもよい。ユーザ１０がデバイス１１０に注意を払っているいくつかの例は、デバイス１１０に向けられたユーザ１０の視線、デバイス１１０のほうに向けられたユーザ１０のジェスチャー、またはデバイス１１０のほうに向けられたユーザ１０の姿勢／向き（すなわち、デバイス１１０のほうを向く）を含む。図３を参照すると、画像データは、デバイス１１０に向けられたユーザ１０の視線（たとえば、ユーザ１０の顔からの点線の視線として示される）をキャプチャする。この注意検出信号２０４がユーザ１０が注意をデバイス１１０に集中させていることを示すと、状態決定器２１０は、ユーザ１０が第１の時間インスタンスＴ０において関与状態１６ｅになっていることを注意検出信号２０４が特徴づけると決定する。注意検出信号が単独でユーザ１０の注意がデバイス１１０に集中していることを示すので、修正器２２０は、たとえば、タイムアウト持続時間を増やすことまたは時間的ＧＵＩ要素２０２のタイムアウト持続時間を一時停止することによって、時間的ＧＵＩ要素２０２の状態Ｓを修正してもよい。このシナリオなどのいくつかの例では、複数のコンテキスト信号２０４が利用可能であるとき、保存器２００は、ユーザ１０の状態１６が時間的ＧＵＩ要素２０２の状態Ｓに影響を及ぼす（たとえば、修正する）べきかどうかを決定するためにコンテキスト信号２０４のいずれかまたはすべてを活用してもよい。
【0045】
図３はまた、ユーザ１０が、第２の時間インスタンスＴ１において、デバイス１１０から第１の距離Ｄ１にある第１の場所からデバイス１１０から第２の距離Ｄ２にある第２の場所に移動することを示す。第２の時間インスタンスＴ１において、コンテキスト信号２０４は、ユーザ１０が、ユーザ１０が時間的ＧＵＩ要素２０２と対話しようとしていない非関与状態１６ｄになっていることを示す。たとえば、第２の時間インスタンスＴ１において、ユーザ近接度信号は、デバイス１１０に対するユーザ１０がデバイス１１０から離れるように変化し、境界２１２を越えて遠距離場にいることを示す。さらに、第２の時間インスタンスＴ１において、注意検出信号は、ユーザ１０がデバイス１１０から注意をそらしたことを示す。コンテキスト信号２０４の両方がユーザ１０が非関与状態１６ｄになっていることを示すので、修正器２２０は、（たとえば、時間的ＧＵＩ要素２０２を早めることまたは満了させることによって）時間的ＧＵＩ要素２０２の状態Ｓを修正するか、または時間的ＧＵＩ要素２０２の状態Ｓを維持して時間的ＧＵＩ要素２０２をそれに応じて満了させてもよい。
【0046】
図示されていないが、ユーザ１０が第２の時間インスタンスＴ１において遠距離場に位置するのではなく、ユーザ１０が完全に部屋を離れている場合がある。この状況では、状態決定器２１０は、存在検出信号と呼ばれるコンテキスト信号２０４を生成してもよい。存在検出信号は、ユーザ１０が１つまたは複数のセンサー１６２の特定の視野の中に存在しているか否かを特徴づける信号である。言い換えれば、存在検出信号は、画像データまたは何らかの他の形態のセンサーデータ１６４がユーザ１０がデバイス１１０のセンサー１６２の視野内に存在することを示すかどうかの２値決定として機能することができる。存在検出信号はユーザの状態を示すことができ、これは、存在検出信号の変化が、ユーザ１０が関与状態１６ｅまたは非関与状態１６ｄになっていることを特徴づけるアクションをユーザ１０が実施しているかどうかを示し得るからである。たとえば、ユーザ１０がデバイス１１０の（たとえば、デバイス１１０に関連付けられたセンサー１６２の）視野の中に存在しておらず、次いで、デバイス１１０の視野の中に存在するようになり、時間的ＧＵＩ要素２０２がユーザデバイス１１０のディスプレイ１１８上で表示されている間にこの変化が生じた場合、状態決定器２１０は、ユーザの存在の変化がユーザが時間的ＧＵＩ要素２０２と対話しようとしていることを示すと解釈することができる。すなわち、ユーザ１０は時間的ＧＵＩ要素２０２と関与するために存在するようになり、その結果として、ユーザ１０の状態１６は関与状態である。逆の状況では、ユーザ１０が最初に、デバイス１１０の（たとえば、デバイス１１０に関連付けられたセンサー１６２の）視野の中に存在しており、次いで、もはやデバイス１１０の視野の中に存在しておらず、時間的ＧＵＩ要素２０２がユーザデバイス１１０のディスプレイ１１８上で表示されている間にこの変化が生じた場合、状態決定器２１０は、ユーザの存在の変化がユーザが時間的ＧＵＩ要素２０２と対話することに関心がない（たとえば、積極的に非関与である）ことを示し、その結果として、ユーザ１０の状態１６が非関与状態１６ｄであると解釈することができる。存在検出信号がセンサー１６２の視野内のユーザ１０の存在が不在から存在に変化したことを示すとき、修正器２２０は、たとえば、タイムアウト持続時間を増やすことまたは時間的ＧＵＩ要素２０２のタイムアウト持続時間を一時停止することによって、時間的ＧＵＩ要素２０２の状態Ｓを修正してもよい。対照的に、存在検出信号がセンサー１６２の視野内のユーザ１０の存在が存在から不在に変化したことを示すとき、修正器２２０は、たとえば、タイムアウト持続時間を減らすこと、時間的ＧＵＩ要素２０２を直ちに満了させること、または時間的ＧＵＩ要素２０２のタイムアウト持続時間を維持して時間的ＧＵＩ要素２０２がそれに応じて満了することを可能にすることによって、時間的ＧＵＩ要素２０２の状態Ｓを修正してもよい。
【0047】
図４は、グラフィカルユーザインターフェース要素２０２の状態を変更する方法４００のための動作の例示的な構成のフローチャートである。方法４００は、時間的ＧＵＩ要素２０２がユーザデバイス１１０のユーザインターフェース上で表示されていることを検出したことに応答して、動作４０２～４０６を実施する。動作４０２において、方法４００は、ユーザデバイス１１０において、ユーザ１０の状態１６を特徴づけるコンテキスト信号２０４を受信する。動作４０４において、方法４００は、ユーザデバイス１１０によって、ユーザ１０の状態１６を特徴づけるコンテキスト信号２０４がユーザが時間的ＧＵＩ要素２０２と対話しようとしていることを示すと決定する。ユーザ１０の状態１６を特徴づけるコンテキスト信号２０４がユーザが時間的ＧＵＩ要素２０２と対話しようとしていることを示すとの決定に応答して、動作４０６において、方法４００は、ユーザデバイス１１０のユーザインターフェース上で表示されている時間的ＧＵＩ要素２０２のそれぞれの状態Ｓを修正する。
【0048】
図５は、本文書で説明されるシステム（たとえば、システム１５０、１６０、２００）および方法（たとえば、方法４００）を実施するために使用され得る例示的なコンピューティングデバイス５００の概略図である。コンピューティングデバイス５００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの、様々な形態のデジタルコンピュータを表すことを意図している。ここで示される構成要素、それらの接続および関係、ならびにそれらの機能は、例示的なものにすぎないことが意図されており、本文書で説明および／または特許請求される例の実装形態を限定することは意図されていない。
【0049】
コンピューティングデバイス５００は、プロセッサ５１０（たとえば、データ処理ハードウェア１１２、１４４）と、メモリ５２０（たとえば、メモリハードウェア１１４、１４６）と、記憶デバイス５３０と、メモリ５２０および高速拡張ポート５５０に接続する高速インターフェース／コントローラ５４０と、低速バス５７０および記憶デバイス５３０に接続する低速インターフェース／コントローラ５６０とを含む。構成要素５１０、５２０、５３０、５４０、５５０、および５６０の各々は、様々なバスを使用して相互接続され、共通マザーボード上に、または適宜に他の方式で搭載され得る。プロセッサ５１０は、グラフィカルユーザインターフェース（ＧＵＩ）についてのグラフィカル情報を、高速インターフェース５４０に結合されたディスプレイ５８０などの外部入力／出力デバイス上で表示するための、メモリ５２０中または記憶デバイス５３０上に記憶された命令を含む、コンピューティングデバイス５００内での実行のための命令を処理することができる。他の実装形態では、複数のプロセッサおよび／または複数のバスが、適宜に、複数のメモリおよび複数のタイプのメモリとともに使用されてもよい。また、複数のコンピューティングデバイス５００が接続されてもよく、各デバイスは、必要な動作の部分を（たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）提供する。
【0050】
メモリ５２０は、コンピューティングデバイス５００内に情報を非一時的に記憶する。メモリ５２０は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであってもよい。非一時的メモリ５２０は、プログラム（たとえば、命令のシーケンス）またはデータ（たとえば、プログラム状態情報）を、コンピューティングデバイス５００による使用のために、一時的または永続的に記憶するために使用される物理デバイスであってもよい。不揮発性メモリの例は、限定はしないが、フラッシュメモリおよび読取り専用メモリ（ＲＯＭ）／プログラマブル読取り専用メモリ（ＰＲＯＭ）／消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）／電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）（たとえば、通常は、ブートプログラムなどのファームウェア用に使用される）を含む。揮発性メモリの例は、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）ならびにディスクまたはテープを含む。
【0051】
記憶デバイス５３０は、コンピューティングデバイス５００に大容量記憶を提供することが可能である。いくつかの実装形態では、記憶デバイス５３０は、コンピュータ可読媒体である。様々な異なる実装形態では、記憶デバイス５３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、あるいは、ストレージエリアネットワークまたは他の構成におけるデバイスを含むデバイスのアレイであり得る。追加の実施形態では、コンピュータプログラム製品は、情報キャリアにおいて有形に具現化される。コンピュータプログラム製品は、実行されると、上記で説明されたものなどの１つまたは複数の方法を実施する命令を含む。情報キャリアは、メモリ５２０、記憶デバイス５３０、またはプロセッサ５１０上のメモリなどの、コンピュータ可読媒体または機械可読媒体である。
【0052】
高速コントローラ５４０は、コンピューティングデバイス５００のための帯域幅集約的な動作を管理するが、低速コントローラ５６０は、帯域幅低集約的な動作を管理する。義務のそのような割振りは、例示的なものにすぎない。いくつかの実装形態では、高速コントローラ５４０は、メモリ５２０、ディスプレイ５８０に（たとえば、グラフィックスプロセッサまたはアクセラレータを通じて）、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート５５０に結合される。いくつかの実装形態では、低速コントローラ５６０は、記憶デバイス５３０および低速拡張ポート５９０に結合される。様々な通信ポート（たとえば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含み得る低速拡張ポート５９０は、たとえば、ネットワークアダプタを通じて、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなどの１つまたは複数の入力／出力デバイスに結合され得る。
【0053】
コンピューティングデバイス５００は、図に示されているように、いくつかの異なる形態で実装されてもよい。たとえば、コンピューティングデバイス５００は、標準サーバ５００ａとして、もしくはそのようなサーバ５００ａのグループにおいて複数回、ラップトップコンピュータ５００ｂとして、またはラックサーバシステム５００ｃの一部として実装されてもよい。
【0054】
本明細書で説明されるシステムおよび技法の様々な実装形態は、デジタル電子および／もしくは光回路構成、集積回路構成、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに／またはそれらの組合せで実現され得る。これらの様々な実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装を含むことができ、プログラマブルプロセッサは、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信するように、かつそれらにデータおよび命令を送信するように結合された、専用または汎用であってもよい。
【0055】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている）は、プログラマブルプロセッサ用の機械命令を含み、高水準手続き型および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／機械言語で実装され得る。本明細書で使用される「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含むプログラマブルプロセッサに機械命令および／またはデータを提供するために使用される、任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置および／またはデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
【0056】
本明細書で説明されるプロセスおよび論理フローは、入力データを操作し出力を生成することによって機能を実施するために１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラマブルプロセッサによって実施され得る。プロセスおよび論理フローは、専用論理回路構成、たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によっても実施され得る。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方、および任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサを含む。一般に、プロセッサは、読取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実施するためのプロセッサ、ならびに命令およびデータを記憶するための１つまたは複数のメモリデバイスである。一般に、コンピュータは、データを記憶するための１つまたは複数の大容量記憶デバイス、たとえば、磁気ディスク、光磁気ディスク、または光ディスクも含むか、あるいは１つまたは複数の大容量記憶デバイスからデータを受信することもしくは１つまたは複数の大容量記憶デバイスにデータを転送すること、またはその両方を行うように動作可能に結合される。しかしながら、コンピュータはそのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスと、磁気ディスク、たとえば、内部ハードディスクまたはリムーバブルディスクと、光磁気ディスクと、ＣＤ ＲＯＭおよびＤＶＤ－ＲＯＭディスクとを含む、すべての形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路構成によって補完され得るか、専用論理回路構成に組み込まれ得る。
【0057】
ユーザとの対話を可能にするために、本開示の１つまたは複数の態様は、情報をユーザに表示するためのディスプレイデバイス、たとえば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）モニタ、またはタッチスクリーンと、任意選択で、それによってユーザがコンピュータに入力を与えることができるキーボードおよびポインティングデバイス、たとえば、マウスまたはトラックボールとを有するコンピュータ上で実装され得る。他の種類のデバイスも、ユーザとの対話を可能にするために使用されることが可能であり、たとえば、ユーザに与えられるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであることができ、ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形態で受信されることが可能である。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、そのデバイスから文書を受信することによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応答して、そのウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。
【0058】
いくつかの実装形態について説明した。それでも、本開示の趣旨および範囲から逸脱することなしに様々な修正が行われ得ることが理解されよう。したがって、他の実装形態は、以下の特許請求の範囲内に入る。
【符号の説明】
【0059】
１０ ユーザ
１２ ストリーミングオーディオ
１４ オーディオデータ
１６ 状態、関与状態、ユーザ状態、物理的状態
１６ｄ 非関与状態
１６ｅ 関与状態
２０ 発話
２２ クエリ
２４ ホットワード
１００ 音声環境、環境、システム
１１０ ボイス対応デバイス、デバイス、ユーザデバイス
１１２ データ処理ハードウェア
１１４ メモリハードウェア
１１６、１１６ａ オーディオキャプチャデバイス
１１６、１１６ｂ 再生デバイス
１１６ オーディオサブシステム
１１６ａ オーディオキャプチャデバイス、マイクロフォン
１１６ｂ スピーカー
１１８ ディスプレイ
１２０ デジタルアシスタントインターフェース、インターフェース、音声対応インターフェース、アシスタントインターフェース
１３０ ネットワーク
１４０ リモートシステム
１４２ リモートリソース
１４４ データ処理ハードウェア
１４６ メモリハードウェア
１５０ 音声処理システム、システム
１５２ 音声認識システム
１５４ 音声解釈器
１５６ 検索エンジン
１５８ アクション
１６０ センサーシステム、システム
１６２ センサー
１６４ センサーデータ、音響データ
２００ ソフトアクセプタ、保存器、システム
２０２ グラフィカルユーザインターフェース要素、ＧＵＩ要素、非グラフィカルインターフェース要素、時間的ＧＵＩ要素
２０４ コンテキスト信号、注意検出信号
２１０ 状態決定器
２１２ しきい値、近遠境界、境界
２２０ 修正器
２３０ 状態モニタ、モニタ
２３２ 状態変化しきい値
４００ 方法、コンピュータにより実施される方法
５００ コンピューティングデバイス
５００ａ 標準サーバ
５００ｂ ラップトップコンピュータ
５００ｃ ラックサーバシステム
５１０ プロセッサ、構成要素、データ処理ハードウェア
５２０ メモリ、非一時的メモリ、構成要素、メモリハードウェア
５３０ 記憶デバイス、構成要素
５４０ 高速インターフェース／コントローラ、高速インターフェース、高速コントローラ、構成要素
５５０ 高速拡張ポート、構成要素
５６０ 低速インターフェース／コントローラ、低速コントローラ、構成要素
５７０ 低速バス
５８０ ディスプレイ
５９０ 低速拡張ポート
Ｄ 距離
Ｄ１ 第１の距離
Ｄ２ 第２の距離
Ｒ 音声認識結果、結果
Ｓ 状態
Ｓ１ 第１の状態
Ｓ２ 第２の状態
Ｔ 時間
Ｔ０ 第１の時間インスタンス
Ｔ１ 第２の時間インスタンス
１２ ストリーミングオーディオ
１４ オーディオデータ
１６ 状態、関与状態、ユーザ状態、物理的状態
１６ｄ 非関与状態
１６ｅ 関与状態
２０ 発話
２２ クエリ
２４ ホットワード
１００ 音声環境、環境、システム
１１０ ボイス対応デバイス、デバイス、ユーザデバイス
１１２ データ処理ハードウェア
１１４ メモリハードウェア
１１６、１１６ａ オーディオキャプチャデバイス
１１６、１１６ｂ 再生デバイス
１１６ オーディオサブシステム
１１６ａ オーディオキャプチャデバイス、マイクロフォン
１１６ｂ スピーカー
１１８ ディスプレイ
１２０ デジタルアシスタントインターフェース、インターフェース、音声対応インターフェース、アシスタントインターフェース
１３０ ネットワーク
１４０ リモートシステム
１４２ リモートリソース
１４４ データ処理ハードウェア
１４６ メモリハードウェア
１５０ 音声処理システム、システム
１５２ 音声認識システム
１５４ 音声解釈器
１５６ 検索エンジン
１５８ アクション
１６０ センサーシステム、システム
１６２ センサー
１６４ センサーデータ、音響データ
２００ ソフトアクセプタ、保存器、システム
２０２ グラフィカルユーザインターフェース要素、ＧＵＩ要素、非グラフィカルインターフェース要素、時間的ＧＵＩ要素
２０４ コンテキスト信号、注意検出信号
２１０ 状態決定器
２１２ しきい値、近遠境界、境界
２２０ 修正器
２３０ 状態モニタ、モニタ
２３２ 状態変化しきい値
４００ 方法、コンピュータにより実施される方法
５００ コンピューティングデバイス
５００ａ 標準サーバ
５００ｂ ラップトップコンピュータ
５００ｃ ラックサーバシステム
５１０ プロセッサ、構成要素、データ処理ハードウェア
５２０ メモリ、非一時的メモリ、構成要素、メモリハードウェア
５３０ 記憶デバイス、構成要素
５４０ 高速インターフェース／コントローラ、高速インターフェース、高速コントローラ、構成要素
５５０ 高速拡張ポート、構成要素
５６０ 低速インターフェース／コントローラ、低速コントローラ、構成要素
５７０ 低速バス
５８０ ディスプレイ
５９０ 低速拡張ポート
Ｄ 距離
Ｄ１ 第１の距離
Ｄ２ 第２の距離
Ｒ 音声認識結果、結果
Ｓ 状態
Ｓ１ 第１の状態
Ｓ２ 第２の状態
Ｔ 時間
Ｔ０ 第１の時間インスタンス
Ｔ１ 第２の時間インスタンス
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2024-03-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
データ処理ハードウェア（５１０）によって実行されると前記データ処理ハードウェア（５１０）に動作を実行させる、コンピュータにより実施される方法（４００）であって、前記動作が、時間的ユーザインターフェース要素（２０２）がユーザデバイス（１１０）のユーザインターフェース上で表示されていることを検出したことに応答して、
前記ユーザデバイス（１１０）において、ユーザ（１０）の状態（１６）を特徴づけるコンテキスト信号（２０４）を受信することと、
前記ユーザデバイス（１１０）によって、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することと、
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）のそれぞれの状態を修正することと
を含む、方法（４００）。
【請求項2】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）と関与しようと試みているかまたは関与していることを示す関与状態（１６ｅ）を含む、請求項１に記載の方法（４００）。
【請求項3】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を増やすことを含む、請求項２に記載の方法（４００）。
【請求項4】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を一時停止することを含む、請求項２に記載の方法（４００）。
【請求項5】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）との関与から離れていることを示す非関与状態（１６ｄ）を含む、請求項１から４のいずれか一項に記載の方法（４００）。
【請求項6】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間の満了前に前記時間的ユーザインターフェース要素（２０２）を削除することを含む、請求項５に記載の方法（４００）。
【請求項7】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を減らすことを含む、請求項５に記載の方法（４００）。
【請求項8】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含む、請求項１に記載の方法（４００）。
【請求項9】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含む、請求項１に記載の方法（４００）。
【請求項10】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含む、請求項１に記載の方法（４００）。
【請求項11】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記存在検出信号が前記センサー（１６２）の前記視野内の前記ユーザ（１０）の前記存在が不在から存在に変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１に記載の方法（４００）。
【請求項12】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記ユーザ近接度信号が前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の前記近接度が前記ユーザデバイス（１１０）により近くなるように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１に記載の方法（４００）。
【請求項13】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記注意検出信号が前記ユーザ（１０）の前記注意が前記ユーザデバイス（１１０）に注目するように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１に記載の方法（４００）。
【請求項14】
前記動作が、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正する前に、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態が時間期間内にしきい値回数だけ以前に修正されるのに失敗していると決定することをさらに含む、請求項１に記載の方法（４００）。
【請求項15】
前記時間的ユーザインターフェース要素（２０２）が、前記ユーザデバイス（１１０）によってキャプチャされたストリーミングオーディオにおいて検出されたクエリ（２２）によって指定されたアクションを表す、請求項１に記載の方法（４００）。
【請求項16】
システム（１００）であって、データ処理ハードウェア（５１０）と、
前記データ処理ハードウェア（５１０）と通信しているメモリハードウェア（５２０）とを備え、前記メモリハードウェア（５２０）が、前記データ処理ハードウェア（５１０）上で実行されると、前記データ処理ハードウェア（５１０）に動作を実施させる命令を記憶し、前記動作が、
時間的ユーザインターフェース要素（２０２）がユーザデバイス（１１０）のユーザインターフェース上で表示されていることを検出したことに応答して、
前記ユーザデバイス（１１０）において、ユーザ（１０）の状態（１６）を特徴づけるコンテキスト信号（２０４）を受信することと、
前記ユーザデバイス（１１０）によって、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することと、
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が、前記時間的ユーザインターフェース要素（２０２）と前記ユーザ（１０）が対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）のそれぞれの状態を修正することと
を含む、システム（１００）。
【請求項17】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）と関与しようと試みているかまたは関与していることを示す関与状態（１６ｅ）を含む、請求項１６に記載のシステム（１００）。
【請求項18】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を増やすことを含む、請求項１７に記載のシステム（１００）。
【請求項19】
前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を一時停止することを含む、請求項１７に記載のシステム（１００）。
【請求項20】
前記ユーザ（１０）の前記状態（１６）が、前記ユーザ（１０）が前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）との関与から離れていることを示す非関与状態（１６ｄ）を含む、請求項１６から１９のいずれか一項に記載のシステム（１００）。
【請求項21】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間の満了前に前記時間的ユーザインターフェース要素（２０２）を削除することを含む、請求項２０に記載のシステム（１００）。
【請求項22】
前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記非関与状態（１６ｄ）を含むとの決定に応答して、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、前記時間的ユーザインターフェース要素（２０２）のタイムアウト持続時間を減らすことを含む、請求項２０に記載のシステム（１００）。
【請求項23】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含む、請求項１６に記載のシステム（１００）。
【請求項24】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含む、請求項１６に記載のシステム（１００）。
【請求項25】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含む、請求項１６に記載のシステム（１００）。
【請求項26】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に関連付けられたセンサー（１６２）の視野内の前記ユーザ（１０）の存在を示す存在検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記存在検出信号が前記センサー（１６２）の前記視野内の前記ユーザ（１０）の前記存在が不在から存在に変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１６に記載のシステム（１００）。
【請求項27】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の近接度を示すユーザ近接度信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記ユーザ近接度信号が前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の前記近接度が前記ユーザデバイス（１１０）により近くなるように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１６に記載のシステム（１００）。
【請求項28】
前記コンテキスト信号（２０４）が、前記ユーザデバイス（１１０）に対する前記ユーザ（１０）の注意を示す注意検出信号を含み、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すと決定することが、前記注意検出信号が前記ユーザ（１０）の前記注意が前記ユーザデバイス（１１０）に注目するように変化したことを示すと決定することを含み、
前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正することが、タイムアウト持続時間を増やすことまたは前記時間的ユーザインターフェース要素（２０２）の前記タイムアウト持続時間を一時停止することを含む、
請求項１６に記載のシステム（１００）。
【請求項29】
前記動作が、前記ユーザ（１０）の前記状態（１６）を特徴づける前記コンテキスト信号（２０４）が前記ユーザ（１０）が前記時間的ユーザインターフェース要素（２０２）と対話しようとしていることを示すとの決定に応答して、前記ユーザデバイス（１１０）の前記ユーザインターフェース上で表示されている前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態を修正する前に、前記時間的ユーザインターフェース要素（２０２）の前記それぞれの状態が時間期間内にしきい値回数だけ以前に修正されるのに失敗していると決定することをさらに含む、請求項１６に記載のシステム（１００）。
【請求項30】
前記時間的ユーザインターフェース要素（２０２）が、前記ユーザデバイス（１１０）によってキャプチャされたストリーミングオーディオにおいて検出されたクエリによって指定されたアクションを表す、請求項１６に記載のシステム（１００）。
【国際調査報告】