特表 2024-530438 支援機能のコンテキストトリガ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-21

(54)【発明の名称】支援機能のコンテキストトリガ

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240814BHJP

【ＦＩ】

G06F3/01 510

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024504847

(86)(22)【出願日】2022-07-06

(85)【翻訳文提出日】2024-03-15

(86)【国際出願番号】 US2022036170

(87)【国際公開番号】W WO2023009281

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】17/443,352

(32)【優先日】2021-07-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】クリスティン・エー・グレイ

(72)【発明者】

【氏名】ティム・ワントランド

(72)【発明者】

【氏名】マシュー・ストークス

(72)【発明者】

【氏名】シア・ビンイン

(72)【発明者】

【氏名】カレン・ヴェルティエッラ

(72)【発明者】

【氏名】メリッサ・バーンハート

(72)【発明者】

【氏名】ガス・ウィンクルマン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA44

5E555AA62

5E555AA64

5E555AA76

5E555BA05

5E555BA06

5E555BB05

5E555BB06

5E555BE01

5E555BE10

5E555CA44

5E555CA45

5E555CA47

5E555CB64

5E555CB82

5E555DD01

5E555EA05

5E555FA00

(57)【要約】

方法(500)は、ユーザデバイス(110)がコンテンツをユーザ(10)に提示するために第1の提示モード(234)を使用している間に、ユーザデバイスのユーザの現状(212)を取得するステップを含む。この方法はまた、ユーザの現状に基づいて、ユーザ選択可能オプション(402)であって、選択されると、コンテンツをユーザに提示するために第2の提示モードをユーザデバイスに使用させるユーザ選択可能オプション(402)を、ユーザデバイスのユーザインターフェース(400)からの出力として提供するステップを含む。この方法は、ユーザ選択可能オプションの選択を示すユーザ入力指示(14)の受信に応答して、第2の提示モードを使用してコンテンツの提示を開始するステップをさらに含む。

【特許請求の範囲】

【請求項1】

ユーザデバイス(110)のデータ処理ハードウェア(112)上で実行されると、前記データ処理ハードウェア(112)に前記ユーザデバイス(110)上で支援機能をトリガするための動作を実施させるコンピュータ実装方法(500)であって、前記動作が、
前記ユーザデバイス(110)がコンテンツを前記ユーザデバイス(110)のユーザ(10)に提示するために第1の提示モード(234)を使用している間に、
前記ユーザデバイス(110)の前記ユーザ(10)の現状(212)を取得するステップと、
前記ユーザ(10)の前記現状(212)に基づいて、ユーザ選択可能オプション(402)であって、選択されると、前記コンテンツを前記ユーザ(10)に提示するために第2の提示モード(234)を前記ユーザデバイス(110)に使用させるユーザ選択可能オプション(402)を、前記ユーザデバイス(110)のユーザインターフェース(400)からの出力として提供するステップと、
前記ユーザ選択可能オプション(402)の選択を示すユーザ入力指示(14)の受信に応答して、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始するステップと
を含む、コンピュータ実装方法(500)。

【請求項2】

前記動作が、
前記ユーザデバイス(110)によってキャプチャされるセンサーデータ(152)を受信するステップ
をさらに含み、
前記ユーザ(10)の前記現状(212)を取得するステップが前記センサーデータ(152)に基づく、請求項1に記載のコンピュータ実装方法(500)。

【請求項3】

前記センサーデータ(152)が、全地球測位データ、画像データ、雑音データ、加速度計データ、前記ユーザデバイス(110)が別のデバイスに接続されていることを示す接続データ、または雑音/音声データのうちの少なくとも1つを含む、請求項2に記載のコンピュータ実装方法(500)。

【請求項4】

前記ユーザ(10)の前記現状(212)が、前記ユーザ(10)が実施している1つまたは複数の現在のアクティビティを示す、請求項1から3のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項5】

前記ユーザ(10)の前記現在のアクティビティが、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含む、請求項4に記載のコンピュータ実装方法(500)。

【請求項6】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記ユーザデバイス(110)の現在のロケーションにさらに基づく、請求項1から5のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項7】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記コンテンツのタイプおよび/または前記コンテンツを提供している前記ユーザデバイス(110)上で実行しているソフトウェアアプリケーション(140)にさらに基づく、請求項1から6のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項8】

前記第1の提示モード(234)が、視覚ベースの提示モード(234a)またはオーディオベースの提示モード(234b)のうちの1つを含み、
前記第2の提示モード(234)が、前記視覚ベースの提示モード(234a)または前記オーディオベースの提示モード(234b)のうちのもう一方を含む
請求項1から7のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項9】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)を使用して前記コンテンツの提示を終了すると同時に、前記第2の提示モード(234)を使用して前記コンテンツを提示するステップをさらに含む、請求項1から8のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項10】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)と前記第2の提示モード(234)の両方を並行して使用して前記コンテンツを提示するステップをさらに含む、請求項1から8のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項11】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)のスクリーン上にグラフィカル要素として前記ユーザ選択可能オプション(402)を表示するステップを含み、前記グラフィカル要素が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項1から10のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項12】

前記ユーザ入力指示(14)を受信するステップが、
前記表示されたグラフィカル要素を選択するタッチ入力を前記スクリーン上で受信するステップ、
前記表示されたグラフィカル要素を選択するスタイラス入力を前記スクリーン上で受信するステップ、
前記表示されたグラフィカル要素の選択を示すジェスチャ入力を受信するステップ、
前記表示されたグラフィカル要素の選択を示す視線入力を受信するステップ、または
前記表示されたグラフィカル要素の選択を示す音声入力を受信するステップ
のうちの1つを含む、請求項11に記載のコンピュータ実装方法(500)。

【請求項13】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)と通信中のスピーカー(118)からの可聴出力として前記ユーザ選択可能オプション(402)を提供するステップを含み、前記可聴出力が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項1から12のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項14】

前記ユーザ選択可能オプション(402)の選択を示す前記ユーザ入力指示(14)を受信するステップが、前記ユーザ選択可能オプション(402)を選択するためのユーザコマンドを示す音声入力を前記ユーザ(10)から受信するステップを含む、請求項1から13のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項15】

前記動作が、前記ユーザインターフェース(400)からの出力としての前記ユーザ選択可能オプション(402)の提供に応答して、前記音声入力を前記ユーザ(10)からキャプチャするためにマイクロフォン(116)をアクティブ化するステップをさらに含む、請求項14に記載のコンピュータ実装方法(500)。

【請求項16】

システム(100)であって、
データ処理ハードウェア(112)と、
前記データ処理ハードウェア(112)と通信中のメモリハードウェア(114)と
を含み、前記メモリハードウェア(114)が、前記データ処理ハードウェア(112)上で実行されると前記データ処理ハードウェア(112)に、
ユーザデバイス(110)がコンテンツを前記ユーザデバイス(110)のユーザ(10)に提示するために第1の提示モード(234)を使用している間に、
前記ユーザデバイス(110)の前記ユーザ(10)の現状(212)を取得することと、
前記ユーザ(10)の前記現状(212)に基づいて、ユーザ選択可能オプション(402)であって、選択されると、前記コンテンツを前記ユーザ(10)に提示するために第2の提示モード(234)を前記ユーザデバイス(110)に使用させるユーザ選択可能オプション(402)を、前記ユーザデバイス(110)のユーザインターフェース(400)からの出力として提供することと、
前記ユーザ選択可能オプション(402)の選択を示すユーザ入力指示(14)の受信に応答して、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始することと
を含む動作を実施させる命令を記憶する、システム(100)。

【請求項17】

前記動作が、
前記ユーザデバイス(110)によってキャプチャされるセンサーデータ(152)を受信すること
をさらに含み、
前記ユーザ(10)の前記現状(212)を取得することが前記センサーデータ(152)に基づく、請求項16に記載のシステム(100)。

【請求項18】

前記センサーデータ(152)が、全地球測位データ、画像データ、雑音データ、加速度計データ、前記ユーザデバイス(110)が別のデバイスに接続されていることを示す接続データ、または雑音/音声データのうちの少なくとも1つを含む、請求項17に記載のシステム(100)。

【請求項19】

前記ユーザ(10)の前記現状(212)が、前記ユーザ(10)が実施している1つまたは複数の現在のアクティビティを示す、請求項16から18のいずれか一項に記載のシステム(100)。

【請求項20】

前記ユーザ(10)の前記現在のアクティビティが、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含む、請求項19に記載のシステム(100)。

【請求項21】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記ユーザデバイス(110)の現在のロケーションにさらに基づく、請求項16から20のいずれか一項に記載のシステム(100)。

【請求項22】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記コンテンツのタイプおよび/または前記コンテンツを提供している前記ユーザデバイス(110)上で実行しているソフトウェアアプリケーション(140)にさらに基づく、請求項16から21のいずれか一項に記載のシステム(100)。

【請求項23】

前記第1の提示モード(234)が、視覚ベースの提示モード(234a)またはオーディオベースの提示モード(234b)のうちの1つを含み、
前記第2の提示モード(234)が、前記視覚ベースの提示モード(234a)または前記オーディオベースの提示モード(234b)のうちのもう一方を含む
請求項16から22のいずれか一項に記載のシステム(100)。

【請求項24】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)を使用して前記コンテンツの提示を終了すると同時に、前記第2の提示モード(234)を使用して前記コンテンツを提示することをさらに含む、請求項16から23のいずれか一項に記載のシステム(100)。

【請求項25】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)と前記第2の提示モード(234)の両方を並行して使用して前記コンテンツを提示することをさらに含む、請求項16から23のいずれか一項に記載のシステム(100)。

【請求項26】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)のスクリーン上にグラフィカル要素として前記ユーザ選択可能オプション(402)を表示することを含み、前記グラフィカル要素が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項16から25のいずれか一項に記載のシステム(100)。

【請求項27】

前記ユーザ入力指示(14)を受信することが、
前記表示されたグラフィカル要素を選択するタッチ入力を前記スクリーン上で受信すること、
前記表示されたグラフィカル要素を選択するスタイラス入力を前記スクリーン上で受信すること、
前記表示されたグラフィカル要素の選択を示すジェスチャ入力を受信すること、
前記表示されたグラフィカル要素の選択を示す視線入力を受信すること、または
前記表示されたグラフィカル要素の選択を示す音声入力を受信すること
のうちの1つを含む、請求項26に記載のシステム(100)。

【請求項28】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)と通信中のスピーカー(118)からの可聴出力として前記ユーザ選択可能オプション(402)を提供することを含み、前記可聴出力が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項16から27のいずれか一項に記載のシステム(100)。

【請求項29】

前記ユーザ選択可能オプション(402)の選択を示す前記ユーザ入力指示(14)を受信することが、前記ユーザ選択可能オプション(402)を選択するためのユーザコマンドを示す音声入力を前記ユーザ(10)から受信することを含む、請求項16から28のいずれか一項に記載のシステム(100)。

【請求項30】

前記動作が、前記ユーザインターフェース(400)からの出力としての前記ユーザ選択可能オプション(402)の提供に応答して、前記音声入力を前記ユーザ(10)からキャプチャするためにマイクロフォン(116)をアクティブ化することをさらに含む、請求項29に記載のシステム(100)。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、補助機能のコンテキストトリガに関する。

【背景技術】

【0002】

ユーザはしばしば、デジタルアシスタントインターフェースを通じて、スマートフォン、スマートウォッチ、およびスマートスピーカーなどのコンピューティングデバイスと対話する。これらのデジタルアシスタントインターフェースは、コンピューティングデバイスがアクセス可能な様々なアプリケーション上でユーザがメディアコンテンツを消費することを可能にする。コンピューティングデバイスのユーザがメディアコンテンツを消費するとき、メディアコンテンツはしばしば、ユーザの感覚のある特徴を占める。たとえば、ユーザがニュース記事を読んでいるとき、ニュース記事を読む行為はユーザの視覚を占める。結果として、コンピューティングデバイスがユーザの視覚を占めしている場合、ユーザはユーザの周囲で生じている他のアクティビティを視覚的に認識できないことがある。これは、ユーザの周囲のアクティビティが、たとえば、ユーザおよび/またはコンピューティングデバイスにとって潜在的な危害を防ぐために視覚的な認識を必要とする状況において問題があり得る。たとえば、ユーザが歩きながらニュース記事を読んでいるとき、ユーザは、ユーザに近づいている別の人物との起こるべき衝突を認識できないことがある。アシスタントインターフェースがコンピューティングデバイス上で実行しているこれらの様々なアプリケーションおよびオペレーティングシステムとますます一体化されるにつれて、メディアコンテンツがコンピューティングデバイスのユーザの認識を助けるためにユーザにどのように提示されるかを左右するためにデジタルアシスタントが活用され得る。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示の一態様は、ユーザデバイスのデータ処理ハードウェア上で実行されると、データ処理ハードウェアに、ユーザデバイスがコンテンツをユーザデバイスのユーザに提示するために第1の提示モードを使用している間に、ユーザデバイスのユーザの現状を取得するステップを含む、ユーザデバイス上で支援機能をトリガするための動作を実施させるコンピュータ実装方法を提供する。これらの動作はまた、ユーザの現状に基づいて、ユーザ選択可能オプションであって、選択されると、コンテンツをユーザに提示するために第2の提示モードをユーザデバイスに使用させるユーザ選択可能オプションを、ユーザデバイスのユーザインターフェースからの出力として提供するステップを含む。これらの動作は、ユーザ選択可能オプションの選択を示すユーザ入力指示の受信に応答して、第2の提示モードを使用してコンテンツの提示を開始するステップをさらに含む。

【0004】

本開示の実装形態は、以下の随意の特徴のうちの1つまたは複数を含み得る。いくつかの実装形態では、これらの動作は、ユーザデバイスによってキャプチャされるセンサーデータを受信するステップをさらに含み、ユーザの現状を取得するステップはセンサーデータに基づく。これらの実装形態では、センサーデータは、全地球測位データ、画像データ、雑音データ、加速度計データ、ユーザデバイスが別のデバイスに接続されていることを示す接続データ、または雑音/音声データのうちの少なくとも1つを含み得る。

【0005】

いくつかの例では、ユーザの現状は、ユーザが実施している1つまたは複数の現在のアクティビティを示す。ここで、ユーザの現在のアクティビティは、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含み得る。いくつかの実装形態では、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供するステップは、ユーザデバイスの現在のロケーションにさらに基づく。追加または代替として。ユーザインターフェースからの出力としてユーザ選択可能オプションを提供するステップは、コンテンツのタイプおよび/またはそのコンテンツを提供しているユーザデバイス上で実行しているソフトウェアアプリケーションに基づく。

【0006】

いくつかの例では、第1の提示モードは、視覚ベースの提示モードまたはオーディオベースの提示モードのうちの1つを含み、第2の提示モードは、視覚ベースの提示モードまたはオーディオベースの提示モードのうちのもう一方を含む。いくつかの実装形態では、これらの動作は、第2の提示モードを使用してコンテンツの提示を開始した後、第1の提示モードを使用してコンテンツの提示を終了すると同時に、第2の提示モードを使用してコンテンツを提示するステップをさらに含む。代替として、これらの動作は、第2の提示モードを使用してコンテンツの提示を開始した後、第1の提示モードと第2の提示モードの両方を並行して使用してコンテンツを提示するステップをさらに含む。

【0007】

いくつかの実装形態では、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供するステップは、ユーザインターフェースを介して、ユーザデバイスのスクリーン上にグラフィカル要素としてユーザ選択可能オプションを表示するステップを含む。ここで、グラフィカル要素は、コンテンツを提示するために第2の提示モードが利用可能であることをユーザに知らせる。これらの実装形態では、ユーザ入力指示を受信するステップは、表示されたグラフィカル要素を選択するタッチ入力をスクリーン上で受信するステップ、表示されたグラフィカル要素を選択するスタイラス入力をスクリーン上で受信するステップ、表示されたグラフィカル要素の選択を示すジェスチャ入力を受信するステップ、表示されたグラフィカル要素の選択を示す視線入力を受信するステップ、または表示されたグラフィカル要素の選択を示す音声入力を受信するステップのうちの1つを含む。

【0008】

いくつかの例では、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供するステップは、ユーザインターフェースを介して、ユーザデバイスと通信中のスピーカーからの可聴出力としてユーザ選択可能オプションを提供するステップを含む。ここで、可聴出力は、コンテンツを提示するために第2の提示モードが利用可能であることをユーザに知らせる。いくつかの実装形態では、ユーザ選択可能オプションの選択を示すユーザ入力指示を受信するステップは、ユーザ選択可能オプションを選択するためのユーザコマンドを示す音声入力をユーザから受信するステップを含む。これらの実装形態では、これらの動作は、ユーザインターフェースからの出力としてのユーザ選択可能オプションの提供に応答して、音声入力をユーザからキャプチャするためにマイクロフォンをアクティブ化するステップをさらに含み得る。

【0009】

本開示の別の態様は、ユーザデバイス上で支援機能をトリガするためのシステムを提供する。システムは、データ処理ハードウェアと、データ処理ハードウェアと通信中のメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実施させる命令を記憶する。これらの動作は、ユーザデバイスがコンテンツをユーザデバイスのユーザに提示するために第1の提示モードを使用している間に、ユーザデバイスのユーザの現状を取得することを含む。これらの動作はまた、ユーザの現状に基づいて、ユーザ選択可能オプションであって、選択されると、コンテンツをユーザに提示するために第2の提示モードをユーザデバイスに使用させるユーザ選択可能オプションを、ユーザデバイスのユーザインターフェースからの出力として提供することを含む。これらの動作は、ユーザ選択可能オプションの選択を示すユーザ入力指示の受信に応答して、第2の提示モードを使用してコンテンツの提示を開始することをさらに含む。

【0010】

この態様は、以下の随意の特徴のうちの1つまたは複数を含み得る。いくつかの実装形態では、これらの動作は、ユーザデバイスによってキャプチャされるセンサーデータを受信することをさらに含み、ユーザの現状を取得することはセンサーデータに基づく。これらの実装形態では、センサーデータは、全地球測位データ、画像データ、雑音データ、加速度計データ、ユーザデバイスが別のデバイスに接続されていることを示す接続データ、または雑音/音声データのうちの少なくとも1つを含み得る。

【0011】

いくつかの例では、ユーザの現状は、ユーザが実施している1つまたは複数の現在のアクティビティを示す。ここで、ユーザの現在のアクティビティは、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含み得る。いくつかの実装形態では、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供することは、ユーザデバイスの現在のロケーションにさらに基づく。追加または代替として、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供することは、コンテンツのタイプおよび/またはコンテンツを提供しているユーザデバイス上で実行しているソフトウェアアプリケーションに基づく。

【0012】

いくつかの例では、第1の提示モードは、視覚ベースの提示モードまたはオーディオベースの提示モードのうちの1つを含み、第2の提示モードは、視覚ベースの提示モードまたはオーディオベースの提示モードのうちのもう一方を含む。いくつかの実装形態では、これらの動作は、第2の提示モードを使用してコンテンツの提示を開始した後、第1の提示モードを使用してコンテンツの提示を終了すると同時に、第2の提示モードを使用してコンテンツを提示することをさらに含む。代替として、これらの動作は、第2の提示モードを使用してコンテンツの提示を開始した後、第1の提示モードと第2の提示モードの両方を並行して使用してコンテンツを提示することをさらに含む。

【0013】

いくつかの実装形態では、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供することは、ユーザインターフェースを介して、ユーザデバイスのスクリーン上にグラフィカル要素としてユーザ選択可能オプションを表示することを含む。ここで、グラフィカル要素は、コンテンツを提示するために第2の提示モードが利用可能であることをユーザに知らせる。これらの実装形態では、ユーザ入力指示を受信することは、表示されたグラフィカル要素を選択するタッチ入力をスクリーン上で受信すること、表示されたグラフィカル要素を選択するスタイラス入力をスクリーン上で受信すること、表示されたグラフィカル要素の選択を示すジェスチャ入力を受信すること、表示されたグラフィカル要素の選択を示す視線入力を受信すること、または表示されたグラフィカル要素の選択を示す音声入力を受信することのうちの1つを含む。

【0014】

いくつかの例では、ユーザインターフェースからの出力としてユーザ選択可能オプションを提供することは、ユーザインターフェースを介して、ユーザデバイスと通信中のスピーカーからの可聴出力としてユーザ選択可能オプションを提供することを含む。ここで、可聴出力は、コンテンツを提示するために第2の提示モードが利用可能であることをユーザに知らせる。いくつかの実装形態では、ユーザ選択可能オプションの選択を示すユーザ入力指示を受信することは、ユーザ選択可能オプションを選択するためのユーザコマンドを示す音声入力をユーザから受信することを含む。これらの実装形態では、これらの動作は、ユーザインターフェースからの出力としてのユーザ選択可能オプションの提供に応答して、音声入力をユーザからキャプチャするためにマイクロフォンをアクティブ化することをさらに含み得る。

【0015】

本開示の1つまたは複数の実装形態の詳細は、添付の図面および以下の発明を実施するための形態に記載される。他の態様、特徴、および利点は、発明を実施するための形態および図面から、また特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0016】

【図1】コンテキストトリガ支援機能を使用するユーザを含む例示的な環境の概略図である。

【図2】例示的なコンテキストトリガ支援プロセスの概略図である。

【図3A】ユーザデバイスの環境における、コンテキストトリガ支援機能が使用可能にされた例示的なユーザデバイスの概略図300aである。

【図3B】ユーザデバイスの環境における、コンテキストトリガ支援機能が使用可能にされた例示的なユーザデバイスの概略図300bである。

【図3C】ユーザデバイスの環境における、コンテキストトリガ支援機能が使用可能にされた例示的なユーザデバイスの概略図300cである。

【図4A】支援機能を表示するためにユーザデバイスのスクリーン上にレンダリングされた例示的なディスプレイ400aの概略図である。

【図4B】支援機能を表示するためにユーザデバイスのスクリーン上にレンダリングされた例示的なディスプレイ400bの概略図である。

【図4C】支援機能を表示するためにユーザデバイスのスクリーン上にレンダリングされた例示的なディスプレイ400cの概略図である。

【図5】ユーザデバイスの支援機能をトリガするための方法に関する動作の例示的な構成のフローチャートである。

【図6】本明細書で説明するシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイスの概略図である。

【発明を実施するための形態】

【0017】

様々な図面における類似の参照記号は同様の要素を示す。

【0018】

図1は、ユーザデバイス110を使用している間に、ユーザ10の現状に基づいて支援機能をトリガするための例示的なシステム100である。手短には、以下でより詳細に説明するように、ユーザ10がユーザデバイス110を第1の提示モード234、234aで使用している間にユーザデバイス110上で実行しているアシスタントアプリケーション140は、ユーザ10の現状212(図2)を取得する。ユーザ10の現状212に基づいて、アシスタントアプリケーション140は、選択されると、ユーザデバイス110上で第2の提示モード234、234bの提示を開始する提示モードオプション232の選択を提供する。

【0019】

システム100は、ユーザ10が対話し得るアシスタントアプリケーション140を実行しているユーザデバイス110を含む。ここで、ユーザデバイス110は、スマートフォンに対応する。しかしながら、ユーザデバイス110は、限定せずに、タブレット、スマートディスプレイ、デスク/ラップトップ、スマートウォッチ、スマートアプライアンス、スマートスピーカー、ヘッドフォン、または車両インフォテイメントデバイスなど、任意のコンピューティングデバイスであってよい。ユーザデバイス110は、データ処理ハードウェア112と、データ処理ハードウェア112上で実行されると、データ処理ハードウェア112に(たとえば、コンテキスト補助機能に関する)1つまたは複数の動作を実施させる命令を記憶したメモリハードウェア114とを含む。ユーザデバイス110は、ユーザデバイス110に向けた音声などの音響音または他の可聴雑音をキャプチャするように構成された1つまたは複数のマイクロフォン116のアレイを含む。ユーザデバイス110はまた、通知404および/または(たとえば、アシスタントアプリケーション140からの)合成音声などのオーディオを出力し得るオーディオ出力デバイス(たとえば、スピーカー)118を含んでよいか、またはそれと通信中であってよい。ユーザデバイス110は、ユーザデバイス110の1つまたは複数のマイクロフォン116を介してユーザ10から音声入力を受信し、(たとえば、様々な音声関連機能を実施するために)音声入力を処理するように構成されたオーディオサブシステムを含む、自動音声認識(ARS)システム142を含み得る。

【0020】

ユーザデバイス110は、ネットワーク120を介してリモートシステム130と通信するように構成され得る。リモートシステム130は、リモートデータ処理ハードウェア132(たとえば、リモートサーバまたはCPU)および/またはリモートメモリハードウェア134(たとえば、リモートデータベースまたは他の記憶ハードウェア)など、リモートリソースを含み得る。いくつかの例では、アシスタントアプリケーション140のいくつかの機能は、ローカルにまたはデバイス上に存在するが、他の機能はリモートに存在する。言い換えれば、アシスタントアプリケーション140の機能のうちのいずれかは任意の組合せでローカルまたはリモートであってよい。たとえば、アシスタントアプリケーション140が大きな処理要件を含む自動音声認識(ASR)を実施するとき、リモートシステム130がその処理を実施し得る。さらに、ユーザデバイス110が処理要件をサポートし得るとき、たとえば、ユーザデバイス110がホットワード検出を実施しているときまたは(たとえば、デバイスによってサポートされる処理要件を有する)エンドツーエンドASRを動作させているとき、データ処理ハードウェア112および/またはメモリハードウェア114がその処理を実施し得る。随意に、アシスタントアプリケーション140機能は、ローカル/オンデバイスとリモートの両方で(たとえば、ローカルおよびリモートのハイブリッドとして)存在し得る。

【0021】

ユーザデバイス110は、ユーザデバイス110の環境内でセンサーデータ152をキャプチャするように構成されたセンサーシステム150を含む。ユーザデバイス110は、センサーシステム150によってキャプチャされるセンサーデータ152を連続的にまたは少なくとも周期的間隔で受信して、ユーザデバイス110のユーザ10の現状212を決定し得る。センサーデータ152のいくつかの例は、全地球測位データ、動きデータ、画像データ、接続データ、雑音データ、音声データ、またはユーザデバイス110の状態もしくはユーザデバイス110の近傍の環境の状態を示す他のデータを含む。全地球測位データの場合、ユーザデバイス110に関連付けられたシステムは、ユーザ10のロケーションおよび/または方向性を検出し得る。動きデータは、ユーザデバイス110の移動を通じてユーザ10の動きを特徴付ける加速度計データを含み得る。画像データは、ユーザ10の特徴(たとえば、ユーザ10によるジェスチャまたはユーザ10の視線を特徴付ける顔の特徴)および/またはユーザ10の環境の特徴を検出するために使用され得る。接続データは、ユーザデバイス110が(たとえば、車両インフォテイメントシステムまたはヘッドフォンとドッキングされた)他の電子機器またはデバイスに接続されているかどうかを決定するために使用され得る。雑音データまたは音声データなどの音響データは、センサーシステム150によってキャプチャされ、ユーザデバイス110の環境(たとえば、特定の音響署名を有する環境の特徴または特性)を決定するために、またはユーザ10もしくは別の当事者が話しているかどうかを識別するために使用され得る。いくつかの実装形態では、センサーデータ152は、ユーザデバイス110の近傍の他のコンピューティングデバイス(たとえば、他のユーザデバイス)を表す、BluetoothまたはUltrasonicなどのワイヤレス通信信号(すなわち、信号データ)を含む。

【0022】

いくつかの実装形態では、ユーザデバイス110は、状態決定子プロセス200(図2)と、どの提示モードオプション232がユーザ110に利用可能にされるか(すなわち、提示されるか)を管理するプレゼンター202とを実装しているアシスタントアプリケーション140を実行する。すなわち、アシスタントアプリケーション140は、ユーザ10の現状212を決定し、ユーザ10の現状212に基づいて、オプション232として、どの提示モード234がユーザ10に利用可能であるかを制御する。この意味で、アシスタントアプリケーション140は(たとえば、グラフィカルユーザインターフェース(GUI)400を介して)コンテンツ(たとえば、オーディオ/視覚コンテンツ)を提示モード234と呼ばれる異なるフォーマットでユーザデバイス110上に提示するように構成される。さらに、アシスタントアプリケーション140は、伝達されているコンテンツおよび/または知覚されるユーザ10の現状212に応じて、どの提示モード234が特定の時間において利用可能であるかを容易にし得る。有利には、アシスタントアプリケーション140は、ユーザ10が、グラフィカルユーザインターフェース(GUI)400など、インターフェース400を使用して、提示モードオプション232から提示モード234を選択することを可能にする。本明細書で使用するGUI400は、アシスタントアプリケーション140と対話するために、タッチ、音声、ジェスチャ、視線、および/または入力デバイス(たとえば、マウスまたはスタイラス)のうちのいずれか1つを介してユーザ入力指示を受信し得る。

【0023】

ユーザデバイス110上で実行しているアシスタントアプリケーション140は、GUI400上に表示するために、ユーザ10がコンテンツをユーザデバイス110上に提示するために選択し得る提示モードオプション232をレンダリングし得る。GUI400上にレンダリングされた提示モードオプション232は、各提示モード234に対して、ユーザ10の現状212に利用可能な提示モード234を識別するそれぞれのグラフィック402(図4A～図4C)を含み得る。言い換えれば、各提示モードオプション232に対するグラフィカル要素402をGUI400上に表示することによって、アシスタントアプリケーション140は、コンテンツを提示するためにどの提示モードオプション232が利用可能であるかをユーザ10に知らせることができる。たとえば、ユーザ10の現状212が運転(すなわち、視覚的に従事しているアクティビティ)であるとき、GUI400上に表示するためにレンダリングされる提示モードオプション232は、ユーザデバイス110のユーザ10がユーザデバイス110に接続されたスピーカー118(たとえば、ヘッドフォン、車両インフォテイメントなど)を使用してコンテンツを聴取することを可能にするオーディオベースの提示モード234のためのグラフィカル要素402を含み得る。他方で、ユーザ10の現状212が通勤(たとえば、歩行または公共交通機関の使用)であるとき、GUI400上に表示するためにレンダリングされる提示モードオプション232は、視覚ベースの提示モード234aまたはオーディオベースの提示モード234bのためのグラフィック402を含み得る。

【0024】

図1の例では、ユーザ10は、ユーザデバイス110を視覚ベースの提示モード234aで使用している間に都市環境12の中を歩行している。たとえば、視覚ベースの提示モード234aは、ユーザ10がユーザデバイス110のGUI400上で表示されたニュース記事を読んでいること(たとえば、ウェブブラウザまたはニュース固有のアプリケーションから読んでいること)に対応し得る。この例では、車両16はユーザ10を通り過ぎ、そのクラクションを鳴らす18。都市環境12では、ユーザ10は、ユーザデバイス110を見ているよりも、さらに警戒するほうが有利であり得る。したがって、オーディオベースの提示モード234は、歩行している間にユーザ10が都市環境12の特徴により細心の注意を払うことを可能にし得る。

【0025】

ユーザデバイス110が視覚ベースの提示モード234aである間に、ユーザデバイス110のセンサーシステム150は、車両16からの雑音(たとえば、クラクションを鳴らす音18)をセンサーデータ152として検出する。センサーデータ152は、ユーザ10の地理的ロケーションを示す地理座標データをさらに含み得る。センサーデータ152は、ユーザ10の現状212を決定するプレゼンター202を含むアシスタントアプリケーション140への入力である。センサーデータ152は、環境12がユーザデバイス110の近傍内は雑音が多いことを示す、かつ/またはユーザ10が交差点に近接した混雑した都市エリアに現在位置特定されることを示すため、プレゼンター202は、ユーザ10が自らの周囲の視覚的認識を有することを可能にするために、ユーザ10が視覚ベースの提示モード234aからオーディオベースの提示モード234bに切り替えることを望む可能性があると決定し得る。それに応じて、プレゼンター202は、ユーザ10によって選択可能なグラフィカル要素402として、提示モードオプション232として(たとえば、視覚ベースの提示モード234aなどの他の提示モード234に加えて)オーディオベースの提示モード234bをユーザ10に提供する。提示モードオプション232および対応するグラフィカル要素402は、現状212に基づいて、別の提示モード234がユーザ10により適したオプションであり得ることをユーザに知らせるための「ピーク」として目立たない方法でGUI400上にレンダリングされ得る。ユーザ10は、次いで、オーディオベースの提示モード234bを表すオプション232の選択を示すユーザ入力指示14を提供する。たとえば、選択を示すユーザ入力指示14は、アシスタントアプリケーション140が(すなわち、合成再生オーディオを出力して)ニュース記事を示すように、ユーザデバイス110をオーディオベースの提示モード234bに切り替えさせることができる。

【0026】

例示的な状態決定子プロセス200を示す図2を参照すると、プレゼンター202は、状態決定子210とモードサジェスタ(suggestor)230とを含み得る。状態決定子210は、センサーシステム150によって収集されたセンサーデータ152に基づいてユーザ10の現状212を識別するように構成され得る。言い換えれば、プレゼンター202は、センサーデータ152を使用してユーザ10の現状212を導出/確認し得る。たとえば、現在のセンサーデータ152(または、最近のセンサーデータ152)はユーザ10の現状212を表す。現状212では、モードサジェスタ230は、コンテンツをユーザデバイス110上に提示するために1つまたは複数の提示モードオプション232、232a～nの対応するセットを選択し得る。いくつかの例では、モードサジェスタ230は、提示モードオプション232としてユーザ10に提示するためにユーザデバイス110が装えたすべての提示モード234、234a～nを記憶するデータストア240にアクセスする。いくつかの例では、提示モード234は、ユーザ10のユーザデバイス110上に表示されているコンテンツをホストしているアプリケーションに関連付けられるか、またはそれに依存する。たとえば、ニュースアプリケーションは、セットまたはカスタマイズ可能なテキストサイズを有する読取りモードと記事からのテキストが(すなわち、ユーザデバイス110に関連付けられたスピーカーから出力される)合成音声として声に出して読まれるオーディオモードとを有し得る。それに応じて、現状212はまた、ユーザ10に提示されるコンテンツをホストしている現在のアプリケーションを示し得る。

【0027】

いくつかの実装形態では、状態決定子210は、ユーザ10の前の状態220の記録を維持する。ここで、前の状態220は、センサーシステム150からの最近(すなわち、最も最新)のセンサーデータ152ではないセンサーデータ152によって特徴付けられる、ユーザ10の状態を指すことがある。たとえば、ユーザ10の前の状態220は、明らかにユーザ10の注意をそらす物がない環境における歩行であり得る。この例では、センサーデータ152を受信した後、状態決定子210は、ユーザ10の現状212は雑音の多いかつ/またはにぎやかな環境(すなわち、都市環境12)での歩行であると決定し得る。ユーザ10の前の状態220と現状212との間のこの変更は、提示モードオプション232をユーザ10に提供するようにモードサジェスタ230をトリガする。しかしながら、状態決定子210が前の状態220と現状212とが同じであると決定する場合、状態決定子210は、現状212をモードサジェスタ230に送らなくてよく、プレゼンターは何の提示モードオプション232もユーザ10に提示しない。

【0028】

いくつかの例では、前の状態220と現状212との間に検出される差異(たとえば、センサーデータ152内の差異)が存在するとき、状態決定子210は単に現状212をモードサジェスタ230に出力する(それにより、モードサジェスタ230をトリガする)。たとえば、状態決定子210は状態変更しきい値で構成されてよく、前の状態220と現状212との間で検出された差異が状態変更しきい値を満たす(たとえば、しきい値を越える)とき、状態決定子210は現状212をモードサジェスタ230に出力する。しきい値はゼロであってよく、この場合、状態決定子210によって検出される前の状態220と現状212との間の若干の差異は、提示モードオプション232をユーザ10に提供するようにプレゼンター202のモードサジェスタ230をトリガし得る。逆に、ユーザ割込み感度機構(user-interruption sensitivity mechanism)の1つのタイプとして、モードサジェスタ230の不要なトリガを防止するように、しきい値はゼロよりも高くてよい。

【0029】

ユーザ10の現状212は、ユーザ10が実施している1つまたは複数の現在のアクティビティを示し得る。たとえば、ユーザ10の現在のアクティビティは、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含み得る。追加として、現状212は、雑音の多い/にぎやかな環境または静かな/リモート環境など、ユーザ10がいる環境を特徴付けることができる。さらに、ユーザ10の現状212は、ユーザデバイス110の現在のロケーションを含み得る。たとえば、センサーデータ152は、ユーザデバイス110の現在のロケーションを定義する全地球測位データを含む。例示のために、ユーザ10は、交差点または線路の踏切など、危険なロケーションの近くにいることがあり、提示モード234の変更は、現在のロケーションにいるかまたはその付近にいるユーザ10の感度知覚認識(sensory perception awareness)にとって有利であり得る。言い換えれば、現状212の部分として現在のロケーションを含めることは、プレゼンター202がオプション232をユーザ10にいつ提示するか、かつ/またはどのオプション232を提示するかを判定することに関連し得る。さらに、ユーザ10が視覚ベースの提示モード234aでGUI400上に表示するためにレンダリングされたコンテンツをやはり読んでいることを示す現状212は、ユーザ10の感度知覚認識の必要性が重要であるという追加の確信を与えることができ、それにより、オーディオベースの提示モード234b(利用可能な場合)に切り替えるための提示オプション232を提示することが保証される。

【0030】

モードサジェスタ230はユーザ10の現状212を入力として受信し、(たとえば、提示モードデータストア240からの)利用可能な提示モード234のリストからの現状212に関連付けられた提示モードオプション232を選択し得る。これらの例では、モードサジェスタ230は、ユーザの現状212に関連付けられていない提示モード234を廃棄し得る。いくつかの例では、モードサジェスタ230は単に、現状212に関連付けられた提示モード234を提示モードデータストア240から取り出す。たとえば、ユーザ10の現状212が会話であるとき、現状212に関連付けられた提示モード234はオーディオベースの提示モード234を除外し得る。ユーザ10の現状212が運転であるとき、現状212に関連付けられた提示モード234は、ビデオベースの提示モード234を除外し得る。言い換えれば、ユーザ10の各現状212は、そこからモードサジェスタ230がその決定を行う1つまたは複数の提示モード234に関連付けられる。

【0031】

現状212はまた、ユーザデバイス110に接続された補助構成要素を伝達し得る。たとえば、ユーザが、視覚ベースの提示モード234aを介してGUI400によって提示されたニュース記事をアクティブに読んでいる間に混雑した都市環境12を歩行している、上記の例では、ヘッドフォンがユーザデバイス110と対にされていることをさらに示す現状212は、ニュース記事がヘッドフォンを通じて可聴出力の合成音声として口述されるように、オーディオベースの提示モード234bに切り替える提示モードオプション232を提示する必要を決定するための追加の確信をモードサジェスタ230に与えることができる。他の例では、コンテンツを視覚ベースの提示モード234aで提示している間に、現状212は、ユーザ10の顔に対するユーザデバイス110の配向および近接性が、ユーザ10がコンテンツを読むのが困難であることを示す状態にほぼ近いことをさらに伝達し得る。ここで、モードサジェスタ230は、コンテンツをオーディオベースの提示モード234bで提示するための提示モードオプション232に加えて、またはその代わりに、視覚ベースの提示モード232aで提示されるコンテンツのテキストサイズを増大するために提示モードオプション232を提示し得る。

【0032】

いくつかの実装形態では、モードサジェスタ230は、ユーザデバイス110上に現在提示されているコンテンツ250を考慮することによって、ユーザ10に出力するための提示モードオプション232を決定する。たとえば、コンテンツ250は、ユーザ10が読んでいるニュース記事を口述するための能力を備えたウェブブラウザをユーザ10が現在使用していることを示し得る。したがって、モードサジェスタ230は、ユーザ10に提供される提示モードオプション232内にオーディオベースの提示モード234を含む。追加または代替として、コンテンツ250は、ユーザ10が、字幕能力ならびにビデオ能力を備えているが、口述能力を備えていないアプリケーションを現在使用していることを示し得る。これらの例では、モードサジェスタ230は、ビデオベースの提示モード234および字幕提示モード234を含むが、ユーザ10に提供される提示モードオプション232からオーディオベースの提示モード234を除外する(すなわち、廃棄/無視する)。

【0033】

図3A～図3Cは、ユーザ10が環境(たとえば、都市環境12)を動き回るにつれて、ユーザデバイス110を有するユーザ10がアシスタントアプリケーション140を実行している概略図300a～cを示す。図4A～図4Cは、図3A～図3Cで決定されたユーザ10の現状212を補完する提示モードオプション232のそれぞれのセットを表示するためにユーザデバイス110のスクリーン上にレンダリングされた例示的なGUI400a～cを示す。上記で論じたように、各提示モードオプション232は、対応する提示モード234を表すそれぞれのグラフィック402としてGUI400中にレンダリングされ得る。図3A～図4Cで明らかになるように、GUI400a～cの各々の中にレンダリングされる提示モードオプション232は、ユーザ10が環境12を動き回るにつれて、ユーザ10の現状212に基づいて変更される。

【0034】

図3Aおよび図4Aを参照すると、ユーザ10は、環境12内で通りに沿って歩行する現在のアクティビティを実施している。さらに、ユーザ10はGUI400a中にレンダリングされたニュース記事を読んでいる。したがって、ユーザデバイス110は、ニュース記事を視覚ベースの提示モード234aでユーザ10に提示しているとして説明され得る。たとえば、ユーザ10は以前、ユーザ10の前の状態220が静的状態であるとして特徴付けられ得るように、ニュース記事を読むために立ち止まっていた。図1および図2を参照しながら論じたように、ユーザデバイス110は、ユーザ10の現状212を決定するためにセンサーシステム150によってキャプチャされるセンサーデータ152を連続的に(または周期的間隔で)取得することができ、それにより、現状212は、ユーザ10に利用可能な提示モードオプション232に関連付けられる。図3Aおよび図4Aを参照すると、センサーデータ152は、外部スピーカー118(すなわち、Bluetoothヘッドフォン)が現在ユーザデバイス110に接続されていることを示し得る。したがって、ユーザ10に提示モードオプション232として提示される提示モード234は、このヘッドフォン接続性を考慮する。

【0035】

ユーザデバイス110のセンサーシステム150は、センサーデータ152をプレゼンター202の状態決定子210に渡すことができ、それにより、状態決定子210はユーザ10の現状212が歩行であると決定する。状態決定子210は、(たとえば、ロケーション/移動センサーデータ152によって示される)環境12内のユーザ10の変更されるロケーションに基づいてこの決定を形成し得る。ユーザ10の現状212を決定した後、モードサジェスタ230は、ユーザデバイス110上で利用可能な提示モード234からユーザ10の現状212に関連付けられた提示モードオプション232を決定し得る。上記で述べたように、モードサジェスタ230は、ユーザ10に提示するための提示モードオプション232を決定するとき、ユーザ10の現状212に関連しない提示モード234を無視し得る。

【0036】

ユーザ10の現状212に関連付けられた提示モードオプション232を決定した後、ユーザデバイス110は、図4AのGUI400a上に表示するための提示モードオプション232を(たとえば、アシスタントアプリケーション140を使用して)生成する。図4Aに示すように、ユーザデバイス110は、GUI400a上で、第1の提示モードオプション232、232aのための第1のグラフィカル要素402、402aおよび第2の提示モードオプション232、232bのための第2のグラフィカル要素402、402bをスクリーンの下部にレンダリング/表示する。2つのグラフィカル要素402a～bは、コンテンツ(すなわち、ニュース記事)を提示するために2つの異なる提示モード234が利用可能であることをユーザ10に知らせることができる。

【0037】

示された例では、ユーザデバイス110のアシスタントアプリケーション140は、ユーザ10に「声を出してこれを読み上げることを望みますか?」と尋ねるテキストを表すグラフィカル要素404aをさらにレンダリング/表示し得る。歩行の現状212に関連付けられた提示モードオプション232は、接続された外部スピーカー118(たとえば、ヘッドフォン)を使用してニュース記事を口述する第1のオーディオベースの提示モード234bに対応する第1のオーディオベースの提示オプション232aと、ユーザデバイス110の内部スピーカー118を使用してニュース記事を口述する別の第2のオーディオベースの提示モード234cに対応する第2のオーディオベースの提示オプション232bとを含み得る。ここで、ユーザ10は、(たとえば、「スピーカー」を普遍的に表す、GUI400a内のグラフィカルボタンにタッチすることによって)ユーザデバイス110の内部スピーカー118を使用するために第2のオーディオベースの提示オプション232bの選択を示すユーザ入力指示14aを提供し得る。この選択は、次いで、ユーザデバイス110に口述の第2のオーディオベースの提示モード234cでニュース記事の提示を開始させる。

【0038】

図3Bおよび図4Bを参照すると、アシスタントアプリケーション140に第2のオーディオベースの提示モード234cの提示を開始させるための、図4AのGUI400a内に表示されたユーザデバイス110の内部スピーカー118の選択を示すユーザ入力指示14aのユーザ10による提供に応答して、ユーザデバイス110のアシスタントアプリケーション140は、ユーザ10が歩行していることを現状212が示すと同時に、ニュース記事をユーザ10に口述している。図4Bに示すように、GUI400bは、GUI400a内に表示/レンダリングされた視覚ベースの提示モード234aと並行して、第2のオーディオベースの提示モード234cを表示/レンダリングする。特に、GUI400bは、コンテンツが現在オーディオ出力デバイスから第2のオーディオベースの提示モード234cで可聴的に出力されていることを示すために波形のグラフィックを表示している。グラフィックは、休止/再生などの再生オプション、ならびにコンテンツの前進/後退を走査するためのオプションをさらに提供し得る。いくつかの実装形態では、提示モード234の開始は、コンテンツの、前の提示モード234での提示を終了させる。たとえば、ユーザ10が静的状態であった間にレンダリングされた視覚ベースの提示モード234の提示を終了すると同時に、オーディオベースの提示モード234でのニュース記事の提示が生じる。

【0039】

図3Bに示すように、車両16はユーザ10を通り越して、そのクラクションを鳴らす18。都市環境12では、この突然の大きな雑音は、ユーザがユーザデバイス110のスピーカー118からオーディオベースの提示モード234を聴取することを困難にし得る。センサーシステム150は、クラクションを鳴らす音18をセンサーデータ152として検出し、センサーデータ152をプレゼンター202に提供し得る。プレゼンター202の状態決定子210は、センサーデータ152に基づいて、ユーザ10が雑音の多い環境を歩行していることをユーザ10の現状212が示すと決定し得る。状態決定子210は、センサーデータ152としてキャプチャされた単一の環境要因(たとえば、クラクションを鳴らす音18)、またはセンサーデータ152としてキャプチャされた環境要因の集約(たとえば、車両16のクラクションを鳴らす音18に加えて、混雑した通りに近接した地理的ロケーション)に基づいて、その決定を行い得る。さらに、車両16が鳴らすとき、現在のセンサーデータ152は、外部スピーカー118(すなわち、Bluetoothヘッドフォン)がユーザデバイス110に接続されていることを依然として示す。

【0040】

ユーザ10の現状212を決定した後、モードサジェスタ230は、ユーザデバイス110上で利用可能な提示モード234からユーザ10の現状212に関連付けられた提示モードオプション232を決定し得る。特に、ユーザデバイス110の内部スピーカー118の提示モード234はGUI400b上にレンダリング/表示された現在の提示モード234であるため、それは提示モードオプション232から除外され得る。上述のように、モードサジェスタ230は、ユーザ10に提示するための提示モードオプション232を決定するとき、ユーザ10の現状212に関連しない提示モード234をやはり無視し得る。

【0041】

ユーザ10の現状212に関連付けられた提示モードオプション232を決定した後、ユーザデバイス110は、図4BのGUI400b上に表示するための提示モードオプション232aを(すなわち、アシスタントアプリケーション140を使用して)生成する。図4Bに示すように、ユーザデバイス110は、GUI400b上で、提示モードオプション232aのグラフィカル要素402aをスクリーンの下部にレンダリング/表示する。グラフィカル要素402aは、コンテンツ(すなわち、ニュース記事)を提示するためのオーディオベースの提示モード234bとして提示モードオプション232aが利用可能であることをユーザ10に知らせる。

【0042】

示された例では、ユーザデバイス110のアシスタントアプリケーション140は、ユーザ10に「Bluetoothに切り替えることを望みますか?」と尋ねるテキストを表すグラフィカル要素404bをさらにレンダリング/表示する。雑音の多い環境における歩行の現状212に関連付けられた提示モードオプション232は、接続された外部スピーカー118(たとえば、ヘッドフォン)を使用してニュース記事を口述する、対応する第1の提示モード234bを有する第1のオーディオベースの提示モードオプション232aを含み得る。ここで、ユーザ10は、ユーザデバイス110に接続された外部スピーカー118への口述の第1のオーディオベースの提示モード234bにおけるニュース記事の提示を開始させるために、ユーザデバイス110の接続された外部スピーカー118の選択を示すユーザ入力指示14bを(たとえば、「ヘッドフォン」を普遍的に表す、GUI400b内のグラフィカルボタンにタッチすることによって)提供し得る。

【0043】

図3Cおよび図4Cを参照すると、ユーザデバイス110のアシスタントアプリケーション140は、アシスタントアプリケーション140に第1のオーディオベースの提示モード234bの提示を開始させるために、図4BのGUI400b内に表示された、ユーザデバイス110の接続された外部スピーカー118の選択を示すユーザ入力指示14bのユーザ10による提供に応答して、ユーザ10の現状212がにぎやかな環境における歩行である間に、接続された外部スピーカー118を介してニュース記事をユーザ10に口述している。図4Cに示すように、GUI400bは、GUI400a内に表示/レンダリングされた視覚ベースの提示モード234aと並行して、第1のオーディオベースの提示モード234bを表示/レンダリングする。

【0044】

この例に示すように、ユーザ10は、このとき横断歩道に向かって歩行している。都市環境12では、ユーザ10が環境12に注意を払っていない場合、この横断歩道はユーザ10にとって潜在的に危険である。センサーシステム150は、センサーデータ152からユーザ10が横断歩道に近づいていることを検出し、センサーデータ152をプレゼンター202に提供し得る。プレゼンター202の状態決定子210は、センサーデータ152に基づいて、ユーザ10の現状212が潜在的な危険が差し迫っていることを示すと決定し得る。状態決定子210は、ユーザ10が近づいている横断歩道に加えて、混雑した通りなどの環境要因を示すセンサーデータ152に基づいて、その決定を行い得る。追加として、現在のセンサーデータ152は、外部スピーカー118(すなわち、Bluetoothヘッドフォン)がユーザデバイス110に接続されていることを依然として示す。

【0045】

ユーザ10の現状212を決定した後、モードサジェスタ230は、ユーザデバイス110上で利用可能な提示モード234からユーザ10の現状212に関連付けられた提示モードオプション232を決定し得る。特に、ユーザデバイス110の接続された外部スピーカー118の第1のオーディオベースの提示モード234bはGUI400c上にレンダリング/表示された現在の提示モード234であるため、それは提示モードオプション232から除外され得る。上述のように、モードサジェスタ230は、ユーザ10に提示するための提示モードオプション232を決定するとき、ユーザ10の現状212に関連しない提示モード234をやはり無視し得る。

【0046】

ユーザ10の現状212に関連付けられた提示モードオプション232を決定した後、ユーザデバイス110は、図4CのGUI400c上に表示するための提示モードオプション232を(すなわち、アシスタントアプリケーション140を使用して)生成する。図4Cに示すように、ユーザデバイス110は、GUI400c上で、提示モードオプション232のグラフィカル要素402をスクリーンの下部にレンダリング/表示する。グラフィカル要素402は、コンテンツ(すなわち、ニュース記事)を提示するために提示モードオプション232が利用可能であることをユーザ10に知らせる。

【0047】

示された例では、ユーザデバイス110のアシスタントアプリケーション140は、「警告:あなたは横断歩道に近づいています。休止することを望みますか?」と言う通知または警告をユーザに表すグラフィカル要素404cをさらにレンダリング/表示する。横断歩道に近づいているという現状212に関連付けられた提示モードオプション232は、オーディオベースの提示モード234を休止するためのグラフィカル要素402と、コンテンツを後で観るために視覚ベースの提示モード234を切り替えるためのグラフィカル要素402とを含み得る。追加または代替として、センサーデータ152は外部スピーカー118がユーザデバイス110に接続されていることを示すため、アシスタントアプリケーション140は、ユーザ10に対する警告を合成音声122として出力し得る。これらの例では、ユーザ10は、ユーザデバイス110に音声入力を提供することによって、ユーザデバイス110の提示モードオプション232の選択を示すユーザ入力指示14を提供し得る。たとえば、音声入力は、ニュース記事の提示を特に提示モード234で開始するためのユーザコマンドである、ユーザ10によって話された発話である。言い換えれば、ユーザ10は、ユーザデバイス110に選択されたグラフィカル要素402に関連付けられた提示モード234でニュース記事の提示を開始させるために、グラフィカル要素402を選択するためのコマンドを話すことができる。

【0048】

いくつかの実装形態では、ユーザ10への合成音声122の提供に応答して、ユーザデバイス110は(たとえば、アシスタントアプリケーション140を介して)、音声入力をユーザ10からキャプチャするためにユーザデバイス110のマイクロフォン116をアクティブ化し得る。これらの実装形態では、ユーザデバイス110のアシスタントアプリケーション140は、マイクロフォン116を介して、提示モードオプション232に関連付けられた特定のウォームワード(warm word)(たとえば、「はい」、「いいえ」、「ビデオベースの提示モード」、など)を含む話された発話の完全な音声認識を実施せずに、これらの特定のウォームワードを検出するが、認識はしないようにトレーニングされ得る。これは関連するウォームワードを検出するために必要とされる電力/計算をやはり低減しながら、マイクロフォン116がアクティブである間にすべての意図されない音声が記録されないように、ユーザ10のプライバシーを維持することになる。

【0049】

図5は、ユーザデバイス110の支援機能をトリガする方法500の動作の例示的な構成のフローチャートを含む。動作502において、方法500は、ユーザデバイス110がユーザデバイス110のユーザ10にコンテンツを提示するために第1の提示モードを使用している間に、ユーザデバイス110のユーザ10の現状212を取得するステップを含む。方法500は、動作504において、ユーザ10の現状212に基づいて、ユーザ選択可能オプション402であって、選択されると、コンテンツをユーザ10に提示するために第2の提示モードをユーザデバイス110に使用させるユーザ選択可能オプション402を、ユーザデバイス110のユーザインターフェース400からの出力として提供するステップをさらに含む。動作506において、方法500は、ユーザ選択可能オプション402の選択を示すユーザ入力指示14の受信に応答して、第2の提示モードを使用してコンテンツの提示を開始するステップをさらに含む。

【0050】

図6は、本文書で説明するシステムおよび方法を実装するために使用され得る例示的なコンピューティングデバイス600の概略図である。コンピューティングデバイス600は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことが意図される。ここに示す構成要素、それらの接続および関係、ならびにそれらの機能は、単なる例示であることを意味し、本文書で説明および/または特許請求される発明の実装形態を限定することを意味しない。

【0051】

コンピューティングデバイス600は、プロセッサ610と、メモリ620と、記憶デバイス630と、メモリ620および高速拡張ポート650に接続している高速インターフェース/コントローラ640と、低速バス670および記憶デバイス630に接続している低速インターフェース/コントローラ660とを含む。構成要素610、620、630、640、650、および660の各々は、様々なバスを使用して相互接続され、共通のマザーボード上にまたは適宜に他の方法で取り付けられてよい。プロセッサ610は、グラフィカルユーザインターフェース(GUI)に関するグラフィカル情報を高速インターフェース640に結合されたディスプレイ680などの外部入力/出力デバイス上に表示するためにメモリ620内または記憶デバイス630上に記憶された命令を含めて、コンピューティングデバイス600内で実行するための命令を処理し得る。他の実装形態では、複数のメモリおよび複数のタイプのメモリとともに、複数のプロセッサおよび/または複数のバスが適宜に使用されてよい。また、各デバイスが(たとえば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)必要な動作の部分を提供する状態で、複数のコンピューティングデバイス600が接続されてよい。

【0052】

メモリ620は、情報をコンピューティングデバイス600内に非一時的に記憶する。メモリ620は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであってよい。非一時的メモリ620は、コンピューティングデバイス600によって使用するためにプログラム(たとえば、一連の命令)またはデータ(たとえば、プログラム状態情報)を一時的にまたは永続的に記憶するために使用される物理デバイスであってよい。不揮発性メモリの例は、限定はしないが、フラッシュメモリおよび読取り専用メモリ(ROM)/プログラマブル読取り専用メモリ(PROM)/消去可能プログラマブル読取り専用メモリ(EPROM)/電気的消去可能プログラマブル読取り専用メモリ(EEPROM)(たとえば、一般に、ブートプログラムなど、ファームウェアに対して使用される)を含む。揮発性メモリの例は、限定はしないが、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、相変化メモリ(PCM)、ならびにディスクまたはテープを含む。

【0053】

記憶デバイス630は、コンピューティングデバイス600のための大容量記憶装置を提供することが可能である。いくつかの実装形態では、記憶デバイス630はコンピュータ可読媒体である。様々な異なる実装形態では、記憶デバイス630は、フロッピーディスクドライブ、ハードディスクドライブ、光ディスクドライブ、またはテープデバイス、フラッシュメモリもしくは他の同様の固体メモリデバイス、またはストレージエリアネットワークもしくは他の構成のデバイスを含めて、デバイスのアレイであり得る。追加の実装形態では、コンピュータプログラム製品は情報キャリア内で有形に具現される。コンピュータプログラム製品は、実行されると、上記で説明した方法など、1つまたは複数の方法を実施する命令を含む。情報キャリアは、メモリ620、記憶デバイス630、またはプロセッサ610上のメモリなど、コンピュータ可読媒体または機械可読媒体である。

【0054】

高速コントローラ640はコンピューティングデバイス600のための帯域幅集約的動作を管理し、低速コントローラ660はより低い帯域幅集約的動作を管理する。任務のそのような割振りは例示にすぎない。いくつかの実装形態では、高速コントローラ640は、メモリ620、(たとえば、グラフィックスプロセッサまたは加速度計を通して)ディスプレイ680、および様々な拡張カード(図示せず)を受け入れることができる高速拡張ポート650に結合される。いくつかの実装形態では、低速コントローラ660は、記憶デバイス630および低速拡張ポート690に結合される。様々な通信ポート(たとえば、USB、Bluetooth、Ethernet、ワイヤレスEthernet)を含み得る低速拡張ポート690は、キーボード、ポインティングデバイス、スキャナなどの1つまたは複数の入力/出力デバイス、あるいはたとえば、ネットワークアダプタを通してスイッチまたはルータなどのネットワーキングデバイスに結合され得る。

【0055】

コンピューティングデバイス600は、図に示すように、いくつかの異なる形態で実装され得る。たとえば、コンピューティングデバイス600は、標準サーバ600aとして実装され得るか、またはそのようなサーバ600aのグループ内で、ラップトップコンピュータ600b、またはラックサーバシステム600cの部分として複数回実装され得る。

【0056】

本明細書で説明するシステムおよび技法の様々な実装形態は、デジタル電子および/もしくは光回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに/またはそれらの組合せで実現され得る。これらの様々な実装形態は、記憶システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を送信するために結合された、専用または汎用であり得る、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能なかつ/または解釈可能な1つまたは複数のコンピュータプログラムでの実装形態を含み得る。

【0057】

ソフトウェアアプリケーション(すなわち、ソフトウェアリソース)は、コンピューティングデバイスにタスクを実施させるコンピュータソフトウェアを指すことがある。いくつかの例では、ソフトウェアアプリケーションは、「アプリケーション」、「アプリ」、または「プログラム」を指すことがある。例示的なアプリケーションは、限定はしないが、システム診断アプリケーション、システム管理アプリケーション、システムメインテナンスアプリケーション、ワード処理アプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、およびゲームアプリケーションを含む。

【0058】

これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる)は、プログラマブルプロセッサに対する機械命令を含み、ハイレベル手続き型および/またはオブジェクト指向プログラミング言語で、かつ/またはアセンブリ型/機械言語で実装され得る。本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含めて、機械命令および/またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置および/またはデバイス(たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス(PLD))を指す。「機械可読信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

【0059】

本明細書で説明するプロセスおよび論理フローは、入力データに対して動作し、出力を生成することによって機能を実施するために1つまたは複数のコンピュータプログラムを実行している、データ処理ハードウェアとも呼ばれる、1つまたは複数のプログラマブルプロセッサによって実施され得る。プロセスおよび論理フローは、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実施されてもよい。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサの両方と、任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサとを含む。概して、プロセッサは、命令およびデータを読取り専用メモリもしくはランダムアクセスメモリまたは両方から受信する。コンピュータの本質的な要素は、命令を実施するためのプロセッサ、ならびに命令およびデータを記憶するための1つまたは複数のメモリである。概して、コンピュータはまた、データを記憶するための1つまたは複数の大容量記憶デバイス、たとえば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、またはそこからデータを受信するか、もしくはそこにデータを転送するように動作可能に結合されるか、またはその両方である。しかしながら、コンピュータは、そのようなデバイスを有さなくてもよい。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイス;磁気ディスク、たとえば、内部ハードディスクまたはリムーバブルディスク;光磁気ディスク;ならびにCD ROMディスクおよびDVD-ROMディスクを含めて、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは専用論理回路によって補足されるか、または専用論理回路に組み込まれてよい。

【0060】

ユーザとの対話を提供するために、本開示の1つまたは複数の態様は、ディスプレイデバイス、たとえば、CRT(陰極線管)、LCD(液晶ディスプレイ)モニタ、または情報をユーザに表示するためのタッチスクリーンと、随意に、それによりユーザがコンピュータに入力を提供し得るキーボードおよびポインティングデバイス、たとえば、マウスまたはトラックボールとを有するコンピュータ上で実装され得る。ユーザとの対話を提供するために他の種類のデバイスが同様に使用されてよく、たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含めて、任意の形態で受信され得る。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送り、そこから文書を受信することによって、たとえば、ユーザのクライアントデバイス上のウェブブラウザから受信された要求に応答して、ウェブページをそのウェブブラウザに送ることによって、ユーザと対話し得る。

【0061】

いくつかの実装形態について説明されてきた。とはいえ、本開示の趣旨および範囲から逸脱せずに、様々な修正が行われ得ることを理解されよう。したがって、他の実装形態は以下の請求項の範囲内である。

【符号の説明】

【0062】

10 ユーザ
12 都市環境
14 ユーザ入力指示
14a ユーザ入力指示
14b ユーザ入力指示
16 車両
18 クラクションを鳴らす、クラクションを鳴らす音
100 システム
110 ユーザデバイス
112 データ処理ハードウェア
114 メモリハードウェア
116 マイクロフォン
118 オーディオ出力デバイス、スピーカー、外部スピーカー、内部スピーカー
120 ネットワーク
130 リモートシステム
132 リモートデータ処理ハードウェア
134 リモートメモリハードウェア
140 アシスタントアプリケーション
142 自動音声認識(ARS)システム
150 センサーシステム
152 センサーデータ
200 状態決定子プロセス
202 プレゼンター
210 状態決定子
212 現状
220 前の状態
230 モードサジェスタ
232 提示モードオプション、オプション
232a～n 提示モードオプション
232a 視覚ベースの提示モード、第1の提示モードオプション、第1のオーディオベースの提示オプション、提示モードオプション
232b 第2の提示モードオプション、第2のオーディオベースの提示オプション
234 第1の提示モード、第2の提示モード、提示モード、オーディオベースの提示モード、ビデオベースの提示モード、字幕提示モード、視覚ベースの提示モード
234a～n 提示モード
234a 第1の提示モード、視覚ベースの提示モード
234b 第2の提示モード、オーディオベースの提示モード、第1のオーディオベースの提示モード、第1の提示モード
234c 第2のオーディオベースの提示モード
240 データストア
250 コンテンツ
400 グラフィカルユーザインターフェース(GUI)、インターフェース
400a～400c ディスプレイ、GUI
402 グラフィック、グラフィカル要素、第1のグラフィカル要素、第2のグラフィカル要素、ユーザ選択可能オプション
402a 第1のグラフィカル要素
402b 第2のグラフィカル要素
404 通知
500 方法
600 コンピューティングデバイス
610 プロセッサ、構成要素
620 メモリ、構成要素、非一時的メモリ
630 記憶デバイス、構成要素
640 高速インターフェース/コントローラ、構成要素
650 高速拡張ポート、構成要素
660 低速インターフェース/コントローラ、構成要素
670 低速バス
680 ディスプレイ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【手続補正書】

【提出日】2024-03-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザデバイス(110)のデータ処理ハードウェア(112)上で実行されると、前記データ処理ハードウェア(112)に前記ユーザデバイス(110)上で支援機能をトリガするための動作を実施させるコンピュータ実装方法(500)であって、前記動作が、
前記ユーザデバイス(110)がコンテンツを前記ユーザデバイス(110)のユーザ(10)に提示するために第1の提示モード(234)を使用している間に、
前記ユーザデバイス(110)の前記ユーザ(10)の現状(212)を取得するステップと、
前記ユーザ(10)の前記現状(212)に基づいて、ユーザ選択可能オプション(402)であって、選択されると、前記コンテンツを前記ユーザ(10)に提示するために第2の提示モード(234)を前記ユーザデバイス(110)に使用させるユーザ選択可能オプション(402)を、前記ユーザデバイス(110)のユーザインターフェース(400)からの出力として提供するステップと、
前記ユーザ選択可能オプション(402)の選択を示すユーザ入力指示(14)の受信に応答して、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始するステップと
を含む、コンピュータ実装方法(500)。

【請求項2】

前記動作が、
前記ユーザデバイス(110)によってキャプチャされるセンサーデータ(152)を受信するステップ
をさらに含み、
前記ユーザ(10)の前記現状(212)を取得するステップが前記センサーデータ(152)に基づく、請求項1に記載のコンピュータ実装方法(500)。

【請求項3】

前記センサーデータ(152)が、全地球測位データ、画像データ、雑音データ、加速度計データ、前記ユーザデバイス(110)が別のデバイスに接続されていることを示す接続データ、または雑音/音声データのうちの少なくとも1つを含む、請求項2に記載のコンピュータ実装方法(500)。

【請求項4】

前記ユーザ(10)の前記現状(212)が、前記ユーザ(10)が実施している1つまたは複数の現在のアクティビティを示す、請求項1に記載のコンピュータ実装方法(500)。

【請求項5】

前記ユーザ(10)の前記現在のアクティビティが、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含む、請求項4に記載のコンピュータ実装方法(500)。

【請求項6】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記ユーザデバイス(110)の現在のロケーションにさらに基づく、請求項1に記載のコンピュータ実装方法(500)。

【請求項7】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記コンテンツのタイプおよび/または前記コンテンツを提供している前記ユーザデバイス(110)上で実行しているソフトウェアアプリケーション(140)にさらに基づく、請求項1に記載のコンピュータ実装方法(500)。

【請求項8】

前記第1の提示モード(234)が、視覚ベースの提示モード(234a)またはオーディオベースの提示モード(234b)のうちの1つを含み、
前記第2の提示モード(234)が、前記視覚ベースの提示モード(234a)または前記オーディオベースの提示モード(234b)のうちのもう一方を含む
請求項1に記載のコンピュータ実装方法(500)。

【請求項9】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)を使用して前記コンテンツの提示を終了すると同時に、前記第2の提示モード(234)を使用して前記コンテンツを提示するステップをさらに含む、請求項1に記載のコンピュータ実装方法(500)。

【請求項10】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)と前記第2の提示モード(234)の両方を並行して使用して前記コンテンツを提示するステップをさらに含む、請求項1に記載のコンピュータ実装方法(500)。

【請求項11】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)のスクリーン上にグラフィカル要素として前記ユーザ選択可能オプション(402)を表示するステップを含み、前記グラフィカル要素が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項1に記載のコンピュータ実装方法(500)。

【請求項12】

前記ユーザ入力指示(14)を受信するステップが、
前記表示されたグラフィカル要素を選択するタッチ入力を前記スクリーン上で受信するステップ、
前記表示されたグラフィカル要素を選択するスタイラス入力を前記スクリーン上で受信するステップ、
前記表示されたグラフィカル要素の選択を示すジェスチャ入力を受信するステップ、
前記表示されたグラフィカル要素の選択を示す視線入力を受信するステップ、または
前記表示されたグラフィカル要素の選択を示す音声入力を受信するステップ
のうちの1つを含む、請求項11に記載のコンピュータ実装方法(500)。

【請求項13】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供するステップが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)と通信中のスピーカー(118)からの可聴出力として前記ユーザ選択可能オプション(402)を提供するステップを含み、前記可聴出力が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項1に記載のコンピュータ実装方法(500)。

【請求項14】

前記ユーザ選択可能オプション(402)の選択を示す前記ユーザ入力指示(14)を受信するステップが、前記ユーザ選択可能オプション(402)を選択するためのユーザコマンドを示す音声入力を前記ユーザ(10)から受信するステップを含む、請求項1から13のいずれか一項に記載のコンピュータ実装方法(500)。

【請求項15】

前記動作が、前記ユーザインターフェース(400)からの出力としての前記ユーザ選択可能オプション(402)の提供に応答して、前記音声入力を前記ユーザ(10)からキャプチャするためにマイクロフォン(116)をアクティブ化するステップをさらに含む、請求項14に記載のコンピュータ実装方法(500)。

【請求項16】

システム(100)であって、
データ処理ハードウェア(112)と、
前記データ処理ハードウェア(112)と通信中のメモリハードウェア(114)と
を含み、前記メモリハードウェア(114)が、前記データ処理ハードウェア(112)上で実行されると前記データ処理ハードウェア(112)に、
ユーザデバイス(110)がコンテンツを前記ユーザデバイス(110)のユーザ(10)に提示するために第1の提示モード(234)を使用している間に、
前記ユーザデバイス(110)の前記ユーザ(10)の現状(212)を取得することと、
前記ユーザ(10)の前記現状(212)に基づいて、ユーザ選択可能オプション(402)であって、選択されると、前記コンテンツを前記ユーザ(10)に提示するために第2の提示モード(234)を前記ユーザデバイス(110)に使用させるユーザ選択可能オプション(402)を、前記ユーザデバイス(110)のユーザインターフェース(400)からの出力として提供することと、
前記ユーザ選択可能オプション(402)の選択を示すユーザ入力指示(14)の受信に応答して、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始することと
を含む動作を実施させる命令を記憶する、システム(100)。

【請求項17】

前記動作が、
前記ユーザデバイス(110)によってキャプチャされるセンサーデータ(152)を受信すること
をさらに含み、
前記ユーザ(10)の前記現状(212)を取得することが前記センサーデータ(152)に基づく、請求項16に記載のシステム(100)。

【請求項18】

前記センサーデータ(152)が、全地球測位データ、画像データ、雑音データ、加速度計データ、前記ユーザデバイス(110)が別のデバイスに接続されていることを示す接続データ、または雑音/音声データのうちの少なくとも1つを含む、請求項17に記載のシステム(100)。

【請求項19】

前記ユーザ(10)の前記現状(212)が、前記ユーザ(10)が実施している1つまたは複数の現在のアクティビティを示す、請求項16に記載のシステム(100)。

【請求項20】

前記ユーザ(10)の前記現在のアクティビティが、歩行、運転、通勤、会話、または読みのうちの少なくとも1つを含む、請求項19に記載のシステム(100)。

【請求項21】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記ユーザデバイス(110)の現在のロケーションにさらに基づく、請求項16に記載のシステム(100)。

【請求項22】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記コンテンツのタイプおよび/または前記コンテンツを提供している前記ユーザデバイス(110)上で実行しているソフトウェアアプリケーション(140)にさらに基づく、請求項16に記載のシステム(100)。

【請求項23】

前記第1の提示モード(234)が、視覚ベースの提示モード(234a)またはオーディオベースの提示モード(234b)のうちの1つを含み、
前記第2の提示モード(234)が、前記視覚ベースの提示モード(234a)または前記オーディオベースの提示モード(234b)のうちのもう一方を含む
請求項16に記載のシステム(100)。

【請求項24】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)を使用して前記コンテンツの提示を終了すると同時に、前記第2の提示モード(234)を使用して前記コンテンツを提示することをさらに含む、請求項16に記載のシステム(100)。

【請求項25】

前記動作が、前記第2の提示モード(234)を使用して前記コンテンツの提示を開始した後、前記第1の提示モード(234)と前記第2の提示モード(234)の両方を並行して使用して前記コンテンツを提示することをさらに含む、請求項16に記載のシステム(100)。

【請求項26】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)のスクリーン上にグラフィカル要素として前記ユーザ選択可能オプション(402)を表示することを含み、前記グラフィカル要素が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項16に記載のシステム(100)。

【請求項27】

前記ユーザ入力指示(14)を受信することが、
前記表示されたグラフィカル要素を選択するタッチ入力を前記スクリーン上で受信すること、
前記表示されたグラフィカル要素を選択するスタイラス入力を前記スクリーン上で受信すること、
前記表示されたグラフィカル要素の選択を示すジェスチャ入力を受信すること、
前記表示されたグラフィカル要素の選択を示す視線入力を受信すること、または
前記表示されたグラフィカル要素の選択を示す音声入力を受信すること
のうちの1つを含む、請求項26に記載のシステム(100)。

【請求項28】

前記ユーザインターフェース(400)からの出力として前記ユーザ選択可能オプション(402)を提供することが、前記ユーザインターフェース(400)を介して、前記ユーザデバイス(110)と通信中のスピーカー(118)からの可聴出力として前記ユーザ選択可能オプション(402)を提供することを含み、前記可聴出力が、前記コンテンツを提示するために前記第2の提示モード(234)が利用可能であることを前記ユーザ(10)に知らせる、請求項16一項に記載のシステム(100)。

【請求項29】

前記ユーザ選択可能オプション(402)の選択を示す前記ユーザ入力指示(14)を受信することが、前記ユーザ選択可能オプション(402)を選択するためのユーザコマンドを示す音声入力を前記ユーザ(10)から受信することを含む、請求項16から28のいずれか一項に記載のシステム(100)。

【請求項30】

前記動作が、前記ユーザインターフェース(400)からの出力としての前記ユーザ選択可能オプション(402)の提供に応答して、前記音声入力を前記ユーザ(10)からキャプチャするためにマイクロフォン(116)をアクティブ化することをさらに含む、請求項29に記載のシステム(100)。

【国際調査報告】