特表2024-531408 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ アップル　インコーポレイテッドの特許一覧

特表2024-531408デジタルアシスタントオブジェクト配置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2A
2B
2C
2D
2E
3A
3B
4A
4B
4C
4D
4E
4F
5A
5B

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】デジタルアシスタントオブジェクト配置

(51)【国際特許分類】

G06F 3/01 20060101AFI20240822BHJP

G06T 19/00 20110101ALI20240822BHJP

【ＦＩ】

G06F3/01 510

G06T19/00 300B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024510432

(86)(22)【出願日】2022-08-15

(85)【翻訳文提出日】2024-02-20

(86)【国際出願番号】 US2022040346

(87)【国際公開番号】W WO2023022987

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】63/235,424

(32)【優先日】2021-08-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/247,557

(32)【優先日】2021-09-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】503260918

【氏名又は名称】アップルインコーポレイテッド

【氏名又は名称原語表記】ＡｐｐｌｅＩｎｃ．

【住所又は居所原語表記】ＯｎｅＡｐｐｌｅＰａｒｋＷａｙ，Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ９５０１４，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚文昭

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須威夫

(72)【発明者】

【氏名】ワインバーグガレットエル

(72)【発明者】

【氏名】マリペドロ

(72)【発明者】

【氏名】アラソンイザールカリ

(72)【発明者】

【氏名】ハーマンブラッドケニス

(72)【発明者】

【氏名】アクマルシラーズ

(72)【発明者】

【氏名】リメイスティーブンオー

(72)【発明者】

【氏名】オーウェンジェイムズジェイ

(72)【発明者】

【氏名】エスタニーロドリゲスミゲル

(72)【発明者】

【氏名】ムーンジェイ

(72)【発明者】

【氏名】ソレンティーノザサードウィリアムエイ

(72)【発明者】

【氏名】チェカオロリスホセアントニオ

(72)【発明者】

【氏名】ストレヤリンアイ

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050BA09

5B050CA07

5B050DA04

5B050DA05

5B050DA07

5B050EA07

5B050EA12

5B050EA19

5B050FA06

5B050FA10

5E555AA07

5E555AA27

5E555AA64

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CA44

5E555CA47

5E555CB64

5E555CB65

5E555CB66

5E555CC01

5E555DA08

5E555DB32

5E555DC09

5E555DC14

5E555DD01

5E555EA28

5E555FA00

(57)【要約】

コンピュータ生成現実（ＣＧＲ）環境の中でインテリジェント自動アシスタントを動作させるシステム及びプロセスが提供される。例えば、デジタルアシスタントセッションを呼び出すユーザ入力が受け取られ、それに応じて、デジタルアシスタントセッションが開始される。デジタルアシスタントセッションを開始することは、第１の時間にＣＧＲ環境の中であるがＣＧＲ環境の現在表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、デジタルアシスタントオブジェクトのロケーションを示す第１の出力を提供することとを含む。

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、
前記電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出することと、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、前記第１のデジタルアシスタントセッションを開始することが、第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始することと、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供することと、
を含む、方法。

【請求項2】

前記第１のユーザ入力は、聴覚入力を含む、請求項１に記載の方法。

【請求項3】

前記聴覚入力は、トリガフレーズを含む音声入力を含む、請求項２に記載の方法。

【請求項4】

前記第１のユーザ入力は、視線入力を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記第１のユーザ入力は、ジェスチャ入力を含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

１つ以上の環境要因に基づいて、前記ＣＧＲ環境内の前記第１のロケーションを判断することを更に含む、
請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記１つ以上の環境要因は、前記ＣＧＲ環境の特性を含む、請求項６に記載の方法。

【請求項8】

前記１つ以上の環境要因は、前記電子デバイスの前記ユーザのポジションを含む、請求項６～７のいずれか一項に記載の方法。

【請求項9】

前記１つ以上の環境要因は、前記ＣＧＲ環境の複数のユーザの複数のポジションを含む、請求項６～８のいずれか一項に記載の方法。

【請求項10】

前記第１のロケーションを示す前記第１の出力を提供することは、第１の聴覚出力を生成させることを含む、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記第１の聴覚出力は、少なくとも、複数のスピーカーのうちの第１のスピーカーによって生成される第１のオーディオ成分と、前記複数のスピーカーのうちの第２のスピーカーによって生成される第２のオーディオ成分とを含み、前記第１のロケーションを示す前記第１の出力を提供することは、
前記第１のロケーションが前記複数のスピーカーのうちの前記第１のスピーカーのロケーションに近いか、それとも前記複数のスピーカーのうちの前記第２のスピーカーのロケーションに近いかを判断することと、
前記第１のロケーションが前記第２のスピーカーの前記ロケーションより前記第１のスピーカーの前記ロケーションに近いという判断に従って、前記第１のオーディオ成分を前記第２のオーディオ成分より大音量で生成することと、
前記第１のロケーションが前記第１のスピーカーの前記ロケーションより前記第２のスピーカーの前記ロケーションに近いという判断に従って、前記第２のオーディオ成分を前記第１のオーディオ成分より大音量で生成することとを含む、請求項１０に記載の方法。

【請求項12】

前記第１のロケーションを示す前記第１の出力を提供することは、第１の触覚出力を生成させることを含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記第１のロケーションを示す前記第１の出力を提供することは、前記第１のロケーションの視覚的指示を前記ディスプレイに表示することを含む、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

第２の時間において、
前記第１のロケーションが前記第２の時間に前記ＣＧＲ環境の前記表示されている部分の中にあるという判断に従って、前記第１のロケーションに前記デジタルアシスタントオブジェクトを表示することとを更に含む、
請求項１～１３のいずれか一項に記載の方法。

【請求項15】

前記１つ以上のセンサを用いて第３の時間に第２のユーザ入力を検出することと、
前記第２のユーザ入力の意図を判断することと、
前記判断された意図に基づいて第２の出力を提供することとを更に含む、
請求項１～１４のいずれか一項に記載の方法。

【請求項16】

前記第２のユーザ入力を検出することは、前記デジタルアシスタントオブジェクトが前記第１のロケーションに配置されている間に実行され、前記意図を判断することと前記判断された意図に基づいて前記第２の出力を提供することとは、前記第１のロケーションが前記第３の時間に前記ＣＧＲ環境の前記表示されている部分の中にあるという前記判断に従って実行される、請求項１５に記載の方法。

【請求項17】

前記判断された意図に基づいて前記第２の出力を提供することは、
前記判断された意図が前記デジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、
前記第２のユーザ入力から第２のロケーションを判断することと、
前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置することと、
第４の時間において、前記第２のロケーションが前記第４の時間に前記ＣＧＲ環境の前記表示されている部分の中にあるという判断に従って、前記ＣＧＲ環境内の前記第２のロケーションに前記デジタルアシスタントオブジェクトを表示することとを含む、請求項１５～１６のいずれか一項に記載の方法。

【請求項18】

前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置した後に、前記デジタルアシスタントオブジェクトを退去させることと、
前記１つ以上のセンサを用いて第３のユーザ入力を検出することと、
前記第３のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第２のデジタルアシスタントセッションを開始することであって、前記第２のデジタルアシスタントセッションを開始することが、前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、開始することとを更に含む、
請求項１７に記載の方法。

【請求項19】

前記判断された意図に基づいて前記第２の出力を提供することは、
前記判断された意図が前記ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、前記オブジェクトロケーションの近くの第３のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、請求項１５～１６のいずれか一項に記載の方法。

【請求項20】

前記第２の出力を提供している間に、前記第２の出力の１つ以上の特性に基づいて、第３の出力を提供することを更に含む、
請求項１４～１９のいずれか一項に記載の方法。

【請求項21】

前記デジタルアシスタントオブジェクトを退去させることと、
前記デジタルアシスタントオブジェクトの退去を示す第４の出力を提供することとを更に含む、
請求項１～２０のいずれか一項に記載の方法。

【請求項22】

前記第４の出力を提供することは、
前記ＣＧＲ環境内の前記第１のロケーションにデジタルアシスタントインジケータを配置することを含む、請求項２１に記載の方法。

【請求項23】

前記第１のデジタルアシスタントセッションの２つ以上の異なる状態から選択された状態を示す２つ以上の異なる出力から選択された第５の出力を提供することを更に含む、
請求項１～２２のいずれか一項に記載の方法。

【請求項24】

１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、
前記１つ以上のセンサを用いて第１のユーザ入力を検出することと、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、前記第１のデジタルアシスタントセッションを開始することが、
コンピュータ生成現実（ＣＧＲ）環境の第１の部分を前記ディスプレイに表示している間に、前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供することとを含む、開始することと、
を含む、方法。

【請求項25】

前記第１のユーザ入力は、聴覚入力を含む、請求項２４に記載の方法。

【請求項26】

前記聴覚入力は、トリガフレーズを含む音声入力を含む、請求項２５に記載の方法。

【請求項27】

前記第１のユーザ入力は、視線入力を含む、請求項２４～２６のいずれか一項に記載の方法。

【請求項28】

前記第１のユーザ入力は、ジェスチャ入力を含む、請求項２４～２７のいずれか一項に記載の方法。

【請求項29】

１つ以上の環境要因に基づいて、前記ＣＧＲ環境内の前記第１のロケーションを判断することを更に含む、
請求項２４～２８のいずれか一項に記載の方法。

【請求項30】

前記１つ以上の環境要因は、前記ＣＧＲ環境の特性を含む、請求項２９に記載の方法。

【請求項31】

前記１つ以上の環境要因は、前記電子デバイスのユーザのポジションを含む、請求項２９～３０のいずれか一項に記載の方法。

【請求項32】

前記１つ以上の環境要因は、前記ＣＧＲ環境の複数のユーザの複数のポジションを含む、請求項２９～３１のいずれか一項に記載の方法。

【請求項33】

前記第１のロケーションを示す前記第１の出力を提供することは、
第１の聴覚出力を生成させることとを含む、請求項２４～３２のいずれか一項に記載の方法。

【請求項34】

【請求項35】

前記第１のロケーションを示す前記第１の出力を提供することは、
第１の触覚出力を生成させることとを含む、請求項２４～３４のいずれか一項に記載の方法。

【請求項36】

前記第１のロケーションを示す前記第１の出力を提供することは、前記第１のロケーションの視覚的表示を提供することを含む、請求項２４～３５のいずれか一項に記載の方法。

【請求項37】

前記１つ以上のセンサを用いて第２のユーザ入力を検出することと、
前記第２のユーザ入力の意図を判断することと、
前記判断された意図に基づいて第２の出力を提供することとを更に含む、
請求項２４～３６のいずれか一項に記載の方法。

【請求項38】

前記ＣＧＲ環境の第２の部分を前記ディスプレイに表示することと、
前記第１のロケーションに前記デジタルアシスタントオブジェクトが配置されている間に、前記第１のロケーションが前記ＣＧＲ環境の前記第２の部分の中にあるという判断に従って、前記ＣＧＲ環境内の前記第１のロケーションに前記デジタルアシスタントオブジェクトを表示することとを更に含む、
請求項３７に記載の方法。

【請求項39】

前記第２のユーザ入力を検出することは、前記デジタルアシスタントオブジェクトが前記第１のロケーションに配置されている間に実行され、前記意図を判断することと前記判断された意図に基づいて前記第２の出力を提供することとは、前記第１のロケーションが前記ＣＧＲ環境の前記第２の部分の中にあるという前記判断に従って実行される、請求項３８に記載の方法。

【請求項40】

前記判断された意図に基づいて前記第２の出力を提供することは、
前記判断された意図が前記デジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、
前記第２のユーザ入力から第２のロケーションを判断することと、
前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置することと、
前記ＣＧＲ環境の前記第２の部分を表示している間に、前記第２のロケーションが前記ＣＧＲ環境の前記第２の部分の中にあるという判断に従って、前記ＣＧＲ環境内の前記第２のロケーションに前記デジタルアシスタントオブジェクトを表示することとを含む、請求項３８～３９のいずれか一項に記載の方法。

【請求項41】

前記デジタルアシスタントオブジェクトを前記第２のロケーションに表示した後に、前記デジタルアシスタントオブジェクトを退去させることと、
前記１つ以上のセンサを用いて第３のユーザ入力を検出することと、
前記第３のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第２のデジタルアシスタントセッションを開始することであって、前記第２のデジタルアシスタントセッションを開始することが、前記第２のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、開始することとを更に含む、
請求項４０に記載の方法。

【請求項42】

前記判断された意図に基づいて前記第２の出力を提供することは、
前記判断された意図が前記ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、前記オブジェクトロケーションの近くの第３のロケーションに前記デジタルアシスタントオブジェクトを配置することとを含む、請求項３７～３９のいずれか一項に記載の方法。

【請求項43】

前記第２の出力を提供している間に、前記第２の出力の１つ以上の特性に基づいて、第３の出力を提供することを更に含む、
請求項３７～４２のいずれか一項に記載の方法。

【請求項44】

前記デジタルアシスタントオブジェクトが前記第１のロケーションに配置されている間に、
前記デジタルアシスタントオブジェクトを退去させることと、
前記デジタルアシスタントオブジェクトの退去を示す第４の出力を提供することとを更に含む、
請求項２４～４３のいずれか一項に記載の方法。

【請求項45】

前記第４の出力を提供することは、
前記ＣＧＲ環境内の前記第１のロケーションにデジタルアシスタントインジケータを配置することを含む、請求項４４に記載の方法。

【請求項46】

前記第１のデジタルアシスタントセッションの２つ以上の異なる状態から選択された状態を示す２つ以上の異なる出力から選択された第５の出力を提供することを更に含む、
請求項２４～４５のいずれか一項に記載の方法。

【請求項47】

１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、
コンピュータ生成現実（ＣＧＲ）環境の部分を前記ディスプレイに表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出することと、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、前記第１のデジタルアシスタントセッションを開始することが、
第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記部分の外にある第１のロケーションでデジタルアシスタントオブジェクトのインスタンスを生成することと、
前記第１の時間に前記ＣＧＲ環境の前記部分の中の第２のロケーションに移動する前記デジタルアシスタントオブジェクトを動画化することとを含む、開始することと、
を含む、方法。

【請求項48】

前記第１のユーザ入力は、音声入力を含む、請求項４７に記載の方法。

【請求項49】

前記音声入力は、トリガフレーズを含む、請求項４８に記載の方法。

【請求項50】

前記第１のユーザ入力は、視線入力を含む、請求項４７～４９のいずれか一項に記載の方法。

【請求項51】

前記第１のユーザ入力は、ジェスチャ入力を含む、請求項４７～５０のいずれか一項に記載の方法。

【請求項52】

１つ以上の第１の環境要因に基づいて、前記ＣＧＲ環境内の前記第１のロケーションを判断することを更に含む、
請求項４７～５１のいずれか一項に記載の方法。

【請求項53】

前記１つ以上の第１の環境要因は、前記ＣＧＲ環境の第１の特性を含む、請求項５２に記載の方法。

【請求項54】

前記１つ以上の第１の環境要因は、前記電子デバイスのユーザの第１のポジションを含む、請求項５２～５３のいずれか一項に記載の方法。

【請求項55】

１つ以上の第２の環境要因に基づいて、前記ＣＧＲ環境内の前記第２のロケーションを判断することを更に含む、
請求項４７～５４のいずれか一項に記載の方法。

【請求項56】

前記１つ以上の第２の環境要因は、前記ＣＧＲ環境の第２の特性を含む、請求項５５に記載の方法。

【請求項57】

前記１つ以上の第２の環境要因は、前記電子デバイスのユーザの第１のポジションを含む、請求項５５～５６のいずれか一項に記載の方法。

【請求項58】

前記第２のロケーションに移動する前記デジタルアシスタントオブジェクトを動画化することは、移動経路を判断することを含む、請求項４７～５７のいずれか一項に記載の方法。

【請求項59】

前記移動経路は、前記第１のロケーションと前記第２のロケーションとの間の経路の一部分に相当し、前記経路の前記部分は、前記第１の時間に前記ＣＧＲ環境の前記部分の中にある、請求項５８に記載の方法。

【請求項60】

前記移動経路は、前記第１の時間に前記ＣＧＲ環境の前記部分の中に位置する追加のオブジェクトを通過しない、請求項５８～５９のいずれか一項に記載の方法。

【請求項61】

前記１つ以上のセンサを用いて第２のユーザ入力を検出することと、
前記第２のユーザ入力の意図を判断することと、
前記判断された意図に基づいて第１の出力を提供することとを更に含む、
請求項４７～６０のいずれか一項に記載の方法。

【請求項62】

前記判断された意図に基づいて前記第１の出力を提供することは、
前記判断された意図が前記デジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、
前記第２のユーザ入力から第３のロケーションを判断することと、
前記第３のロケーションに前記デジタルアシスタントオブジェクトを配置することと、
第２の時間において、前記第３のロケーションが前記第２の時間に前記ＣＧＲ環境の前記部分の中にあるという判断に従って、前記ＣＧＲ環境内の前記第３のロケーションに前記デジタルアシスタントオブジェクトを表示することとを含む、請求項６１のいずれか一項に記載の方法。

【請求項63】

前記第３のロケーションに前記デジタルアシスタントオブジェクトを表示した後に、前記デジタルアシスタントオブジェクトを退去させることと、
前記１つ以上のセンサを用いて第３のユーザ入力を検出することと、
前記第３のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第２のデジタルアシスタントセッションを開始することであって、前記第２のデジタルアシスタントセッションを開始することが、前記第３のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、開始することとを更に含む、
請求項６２に記載の方法。

【請求項64】

前記デジタルアシスタントオブジェクトを退去させることは、
前記ＣＧＲ環境内の前記第３のロケーションにデジタルアシスタントインジケータを配置することを含む、請求項６３に記載の方法。

【請求項65】

前記判断された意図に基づいて前記第１の出力を提供することは、
前記判断された意図が前記ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、前記オブジェクトロケーションの近くの第４のロケーションに前記デジタルアシスタントオブジェクトを配置することを含む、請求項６１に記載の方法。

【請求項66】

前記第１の出力を提供している間に、前記第１の出力の１つ以上の特性に基づいて、第２の出力を提供することを更に含む、
請求項６１～６５のいずれか一項に記載の方法。

【請求項67】

前記デジタルアシスタントオブジェクトが前記第２のロケーションに配置されている間の第３の時間に、
前記デジタルアシスタントオブジェクトを退去させることと、
前記デジタルアシスタントオブジェクトの退去を示す第３の出力を提供することとを更に含む、
請求項４７～６６のいずれか一項に記載の方法。

【請求項68】

前記第１のデジタルアシスタントセッションの２つ以上の異なる状態から選択された状態を示す２つ以上の異なる出力から選択された第４の出力を提供することを更に含む、
請求項１～２１のいずれか一項に記載の方法。

【請求項69】

電子デバイスであって、
ディスプレイと、
１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムは、
前記電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、前記第１のデジタルアシスタントセッションを開始することが、第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する命令と、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供する命令とを含む、電子デバイス。

【請求項70】

電子デバイスであって、
ディスプレイと、
１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムは、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、前記第１のデジタルアシスタントセッションを開始することが、
コンピュータ生成現実（ＣＧＲ）環境の第１の部分を前記ディスプレイに表示している間に、前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供することとを含む、開始する命令とを含む、電子デバイス。

【請求項71】

電子デバイスであって、
ディスプレイと、
１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、前記１つ以上のプログラムは、
コンピュータ生成現実（ＣＧＲ）環境の部分を前記ディスプレイに表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、前記第１のデジタルアシスタントセッションを開始することが、
第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記部分の外にある第１のロケーションでデジタルアシスタントオブジェクトのインスタンスを生成することと、
前記第１の時間に前記ＣＧＲ環境の前記部分の中の第２のロケーションに移動する前記デジタルアシスタントオブジェクトを動画化することとを含む、開始する命令とを含む、電子デバイス。

【請求項72】

ディスプレイと１つ以上のセンサとを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、前記第１のデジタルアシスタントセッションを開始することが、第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する命令と、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供する命令とを含む、非一時的コンピュータ可読記憶媒体。

【請求項73】

ディスプレイと１つ以上のセンサとを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、前記第１のデジタルアシスタントセッションを開始することが、
コンピュータ生成現実（ＣＧＲ）環境の第１の部分を前記ディスプレイに表示している間に、前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供することとを含む、開始する命令とを含む、非一時的コンピュータ可読記憶媒体。

【請求項74】

ディスプレイと１つ以上のセンサとを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
コンピュータ生成現実（ＣＧＲ）環境の部分を前記ディスプレイに表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、前記第１のデジタルアシスタントセッションを開始することが、
第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記部分の外にある第１のロケーションでデジタルアシスタントオブジェクトのインスタンスを生成することと、
前記第１の時間に前記ＣＧＲ環境の前記部分の中の第２のロケーションに移動する前記デジタルアシスタントオブジェクトを動画化することとを含む、開始する命令とを含む、非一時的コンピュータ可読記憶媒体。

【請求項75】

電子デバイスであって、
前記電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、前記第１のデジタルアシスタントセッションを開始することが、第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する手段と、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供する手段とを備える、電子デバイス。

【請求項76】

電子デバイスであって、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、前記第１のデジタルアシスタントセッションを開始することが、
コンピュータ生成現実（ＣＧＲ）環境の第１の部分を前記ディスプレイに表示している間に、前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、
前記ＣＧＲ環境内の前記デジタルアシスタントオブジェクトの前記第１のロケーションを示す第１の出力を提供することとを含む、開始する手段とを備える、電子デバイス。

【請求項77】

電子デバイスであって、
コンピュータ生成現実（ＣＧＲ）環境の部分を前記ディスプレイに表示している間に、
前記１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、
前記第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、前記第１のデジタルアシスタントセッションを開始することが、
第１の時間に前記ＣＧＲ環境の中であって前記ＣＧＲ環境の前記部分の外にある第１のロケーションでデジタルアシスタントオブジェクトのインスタンスを生成することと、
前記第１の時間に前記ＣＧＲ環境の前記部分の中の第２のロケーションに移動する前記デジタルアシスタントオブジェクトを動画化することとを含む、開始する手段とを備える、電子デバイス。

【請求項78】

電子デバイスであって、
ディスプレイと、
１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、前記１つ以上のプログラムが、請求項１～２３のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。

【請求項79】

電子デバイスであって、
ディスプレイと、
１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、前記１つ以上のプログラムが、請求項２４～４６のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。

【請求項80】

電子デバイスであって、
ディスプレイと、
１つ以上のセンサと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを備え、前記１つ以上のプログラムが、請求項４７～６８のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。

【請求項81】

ディスプレイと１つ以上のセンサとを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１～２３のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。

【請求項82】

ディスプレイと１つ以上のセンサとを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項２４～４６のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。

【請求項83】

ディスプレイと１つ以上のセンサとを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項４７～６８のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。

【請求項84】

請求項１～２３のいずれか一項に記載の方法を実行する手段を備える、
電子デバイス。

【請求項85】

請求項２５～４６のいずれか一項に記載の方法を実行する手段を備える、
電子デバイス。

【請求項86】

請求項４７～６８のいずれか一項に記載の方法を実行する手段を備える、
電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

これは、一般的には、デジタルアシスタントに関し、より具体的には、コンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントを表すオブジェクトを配置することに関する。

【背景技術】

【0002】

デジタルアシスタントは、例えば、発話若しくはタイプされた自然言語、ジェスチャ、又はその他の便利な若しくは直感的な入力モードを使用して、人のユーザとその電子デバイスとの間で有益なインターフェースとして機能することができる。例えば、ユーザは、電子デバイスのデジタルアシスタントに対して自然言語要求を発言できる。デジタルアシスタントは、発話入力からユーザの意図を解釈し、ユーザの意図をタスクに動作可能にすることができる。次いで、タスクは、電子デバイスの１つ以上のサービスを実行することによって実行され、ユーザ要求への関連出力応答をユーザに戻すことができる。

【0003】

人が電子デバイスを使用せずに相互作用し知覚できる物理的な世界とは異なり、電子デバイスは、全体的又は部分的にシミュレートされたコンピュータ生成現実（ＣＧＲ）環境と相互作用するために、及び／又はそれを知覚するために、使用される。例えば、ＣＧＲ環境は、複合現実（Mixed Reality、ＭＲ）コンテンツ、拡張現実（Augmented Reality、ＡＲ）コンテンツ、仮想現実（Virtual Reality、ＶＲ）コンテンツなどを含み得る。ＣＧＲシステムと相互作用する１つの方法は、人の身体運動のいくつかを追跡し、それに応じて、少なくとも１つの物理の法則に従っているように見えるやり方で、ＣＧＲ環境においてシミュレートされた要素の特性を調整することによる。例えば、ユーザが、ＣＧＲ環境を提示するデバイス及び／又はユーザの頭を動かすと、ＣＧＲシステムは、その動きを検出し、ユーザの視点に従ってグラフィカルコンテンツと聴覚コンテンツを調整して、空間音の効果を生み出すことができる。いくつかの状況では、ＣＧＲシステムは、ボタン入力又は音声コマンドなどのユーザ入力に応じてＣＧＲコンテンツの特性を調整できる。

【0004】

ヘッドアップディスプレイ（ＨＵＤ）、頭部装着可能システム、投影方式のシステム、ヘッドホン／イヤホン、スピーカーアレイ、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータなど、多くの異なる電子デバイス及び／又はシステムを使用して、ＣＧＲ環境と相互作用でき、及び／又はＣＧＲ環境を知覚できる。例えば、頭部装着可能システムは、１つ以上のスピーカー（例えば、スピーカーアレイ）、一体型又は外部の不透明、半透明、又は透明ディスプレイ、物理的環境の映像を取り込む画像センサ、及び／又は物理的環境の音声を取り込むマイクロフォンを含み得る。ディスプレイは、ｕＬＥＤ、ＯＬＥＤ、ＬＥＤ、シリコン上の液晶、レーザ走査光源、デジタル光投影などを含む様々なディスプレイ技術を使用して実装され得、ユーザの目に光を誘導する媒体として、光導波路、光学反射器、ホログラム媒体、光学式コンバイナ、それらの組み合わせ、又は同様の技術を実装し得る。透明又は半透明のディスプレイを用いる実装形態では、透明又は半透明のディスプレイは不透明になるようにも制御され得る。ディスプレイは、ユーザの網膜上に画像を投影する、及び／又は（例えば、ホログラムとして、又は物理的な表面若しくは物体上にマッピングされる投影として）物理的環境内に仮想ＣＧＲ要素を投影する、投影方式のシステムを実現できる。

【0005】

電子デバイスは、ＣＧＲ環境におけるデジタルアシスタントの使用を実現するために使用され得る。ＣＧＲ環境においてデジタルアシスタントを実現することは、電子デバイスのユーザがＣＧＲ環境と相互作用するのを支援でき、ユーザがＣＧＲ環境との相互作用を中止する必要なくデジタルアシスタント機能にアクセスすることを可能にすることができる。しかしながら、ＣＧＲ環境のインターフェースは大規模で複雑であり得るので（例えば、ＣＧＲ環境は、ユーザの視野を満たし、且つそれを超えて延在し得る）、ＣＧＲ環境の中でデジタルアシスタントを呼び出してそれと相互作用するのは、困難である、分かりにくい、又はＣＧＲ環境の没入から気を散らす可能性がある。

【発明の概要】

【0006】

例示的な方法を本明細書に開示する。例示的な方法は、１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、電子デバイスのユーザの現在の視野を表すコンピュータ生成現実（ＣＧＲ）環境の部分を表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出することと、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始することと、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供することとを含む。

【0007】

例示的な非一時的コンピュータ可読媒体が、本明細書で開示される。例示的な非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶している。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、１つ以上のセンサを用いて第１のユーザ入力を検出させる命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始させる命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始させる命令と、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供させる命令とを含む。

【0008】

例示的な電子デバイスが本明細書に開示されている。例示的な電子デバイスは、１つ以上のプロセッサと、メモリと、１つ以上のプログラムとを備え、１つ以上のプログラムは、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する命令と、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供する命令とを含む。

【0009】

例示的な電子デバイスは、１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、第１のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の表示されている部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する手段と、ＣＧＲ環境内のデジタルアシスタントの第１のロケーションを示す第１の出力を提供する手段とを備える。

【0010】

例示的な方法を本明細書に開示する。例示的な方法は、１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、１つ以上のセンサを用いてユーザ入力を検出することと、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始することと、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供することとを含む。

【0011】

例示的な非一時的コンピュータ可読媒体が、本明細書で開示される。例示的な非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶している。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、１つ以上のセンサを用いてユーザ入力を検出させる命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始させる命令であって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することと、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供することとを含む、開始させる命令とを含む。

【0012】

例示的な電子デバイスが本明細書に開示されている。例示的な電子デバイスは、１つ以上のプロセッサ、メモリ、及び１つ以上のプログラムを備え、１つ以上のプログラムは、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、１つ以上のセンサを用いてユーザ入力を検出する命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する命令と、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供する命令とを含む。

【0013】

例示的な電子デバイスは、１つ以上のセンサを用いてユーザ入力を検出する手段と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、第１のデジタルアシスタントセッションを開始することが、コンピュータ生成現実（ＣＧＲ）環境の第１の部分をディスプレイに表示している間に、ＣＧＲ環境の中であってＣＧＲ環境の第１の部分の外にある第１のロケーションにデジタルアシスタントオブジェクトを配置することを含む、開始する手段と、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力を提供する手段とを備える。

【0014】

例示的な方法を本明細書に開示する。例示的な方法は、１つ以上のプロセッサ、メモリ、ディスプレイ、及び１つ以上のセンサを有する電子デバイスにおいて、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出することと、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始することであって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始することとを含む。

【0015】

例示的な非一時的コンピュータ可読媒体が、本明細書で開示される。例示的な非一時的コンピュータ可読記憶媒体は、１つ以上のプログラムを記憶している。１つ以上のプログラムは、電子デバイスの１つ以上のプロセッサによって実行されたときに、電子デバイスに、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出させる命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始させる命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始させる命令とを含む。

【0016】

例示的な電子デバイスが本明細書に開示されている。例示的な電子デバイスは、１つ以上のプロセッサ、メモリ、及び１つ以上のプログラムを備え、１つ以上のプログラムは、メモリに記憶され、１つ以上のプロセッサによって実行されるように構成され、１つ以上のプログラムは、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出する命令と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する命令であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始する命令とを含む。

【0017】

例示的な電子デバイスは、コンピュータ生成現実（ＣＧＲ）環境の部分をディスプレイに表示している間に、１つ以上のセンサを用いて第１のユーザ入力を検出する手段と、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションを開始する手段であって、第１のデジタルアシスタントセッションを開始することが、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の部分の外にある第１のロケーションでデジタルアシスタントオブジェクトを開始することと、第１の時間にＣＧＲ環境の部分の中の第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することとを含む、開始する手段とを備える。

【0018】

本明細書で説明されているようにコンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントの表現を配置することは、ＣＧＲ環境の中でデジタルアシスタントと相互作用するための直感的で効率的なユーザインターフェースを提供する。例えば、最初にユーザの視野外にデジタルアシスタントオブジェクトを配置し、デジタルアシスタントオブジェクトのロケーションの指示を提供することは、ユーザの注意をデジタルアシスタントに効率的に引き付け、ユーザが所望の機能にアクセスするために必要な時間及びユーザ入力を削減し、したがって、電力使用量を削減し、デバイスのバッテリ寿命を向上させる。別の実施例として、ユーザの視野外でデジタルアシスタントオブジェクトを初期化し、ユーザの視野内に移動するデジタルアシスタントを動画化することも、ユーザの注意をデジタルアシスタントに効率的に引き付け、ユーザが所望の機能にアクセスするのに必要な時間及びユーザ入力を削減し、したがって、電力使用量を削減し、デバイスのバッテリ寿命を向上させる。

【図面の簡単な説明】

【0019】

【図1A】様々な実施例による、様々な拡張現実技術で使用する例示的なシステムを示す。

【図1B】様々な実施例による、様々な拡張現実技術で使用する例示的なシステムを示す。

【0020】

【図2A】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図2B】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図2C】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図2D】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図2E】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【0021】

【図3A】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。

【図3B】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。

【0022】

【図4A】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図4B】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図4C】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図4D】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図4E】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【図4F】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセスを示す。

【0023】

【図5A】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。

【図5B】様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置する方法の流れ図を示す。

【発明を実施するための形態】

【0024】

以下の実施例の説明では、実践することが可能な特定の実施例が例として示される、添付図面を参照する。それら様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができる点を理解されたい。

【0025】

デジタルアシスタントは、ＣＧＲ環境の中で使用され得る。いくつかの実施形態において、呼び出し時に、ＣＧＲ環境の中であるが、ユーザの現在の視野の外にある第１のロケーションに、デジタルアシスタントを表すデジタルアシスタントオブジェクトが配置され得、デジタルアシスタントオブジェクトのロケーションの指示が提供され得る。いくつかの実施形態において、呼び出し時に、ＣＧＲ環境の中であるが、ユーザの現在の視野の外にある第１のロケーションに、デジタルアシスタントオブジェクトが配置され得、次いで、第１のロケーションから第２の見えるロケーションに移動するように動画化され得る。

【0026】

以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明される様々な実施例の範囲から逸脱することなく、第１の入力を第２の入力と呼ぶことが可能であり、同様に、第２の入力を第１の入力と呼ぶことも可能である。第１の入力及び第２の入力は、双方とも入力であり、一部の場合には、別個の異なる入力である。

【0027】

本明細書で説明される様々な実施例の説明で使用される用語法は、特定の実施例を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施例の説明、及び添付の特許請求の範囲で使用するとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、且つこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。

【0028】

用語「ｉｆ（～の場合には）」は、文脈に応じて、「ｗｈｅｎ（～のとき）」若しくは「ｕｐｏｎ（～すると）」、又は「ｉｎｒｅｓｐｏｎｓｅｔｏｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応答して）」、若しくは「ｉｎｒｅｓｐｏｎｓｅｔｏｄｅｔｅｃｔｉｎｇ（～の検出に応答して）」を意味するものと解釈することができる。同様に、句「ｉｆｉｔｉｓｄｅｔｅｒｍｉｎｅｄ（～と判定される場合には）」又は「ｉｆ［ａｓｔａｔｅｄｃｏｎｄｉｔｉｏｎｏｒｅｖｅｎｔ］ｉｓｄｅｔｅｃｔｅｄ（［記述される条件又はイベント］が検出される場合には）」は、文脈に応じて、「ｕｐｏｎｄｅｔｅｒｍｉｎｉｎｇ（～と判定すると）」、若しくは「ｉｎｒｅｓｐｏｎｓｅｔｏｄｅｔｅｒｍｉｎｉｎｇ（～という判定に応じて）」、又は「ｕｐｏｎｄｅｔｅｃｔｉｎｇ［ｔｈｅｓｔａｔｅｄｃｏｎｄｉｔｉｏｎｏｒｅｖｅｎｔ］（［記述される条件又はイベント］を検出すると）」、若しくは「ｉｎｒｅｓｐｏｎｓｅｔｏｄｅｔｅｃｔｉｎｇ［ｔｈｅｓｔａｔｅｄｃｏｎｄｉｔｉｏｎｏｒｅｖｅｎｔ］（［記述される条件又はイベント］の検出に応じて）」を意味するものと解釈することができる。
１．ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセス

【0029】

図１Ａ及び図１Ｂは、様々なコンピュータ生成現実技術で使用する例示的なシステム８００を示す。

【0030】

いくつかの実施例において、図１Ａに示されているように、システム８００は、デバイス８００ａを含む。デバイス８００ａは、プロセッサ（単数又は複数）８０２、ＲＦ回路（単数又は複数）８０４、メモリ（単数又は複数）８０６、画像センサ（単数又は複数）８０８、向きセンサ（単数又は複数）８１０、マイクロフォン（単数又は複数）８１２、ロケーションセンサ（単数又は複数）８１６、スピーカー（単数又は複数）８１８、ディスプレイ（単数又は複数）８２０、及びタッチ感知面８２２などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス８００ａの通信バス（単数又は複数）８５０を介して通信する。

【0031】

いくつかの実施例において、システム８００の要素は、基地局デバイス（例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス）内に実装され、システム８００の他の要素は、ユーザによって装着されるように設計されたヘッドマウントディスプレイ（ＨＭＤ）デバイス内に実装され、ＨＭＤデバイスは、基地局デバイスと通信する。いくつかの実施例において、デバイス８００ａは、基地局デバイス又はＨＭＤデバイス内に実装される。

【0032】

図１Ｂに示されているように、いくつかの実施例において、システム８００は、有線接続又は無線接続などを介して通信状態にある２つ（又はそれ以上）のデバイスを含む。第１のデバイス８００ｂ（例えば、基地局デバイス）は、プロセッサ（単数又は複数）８０２、ＲＦ回路（単数又は複数）８０４、及びメモリ（単数又は複数）８０６を含む。これらの構成要素は、任意選択として、デバイス８００ｂの通信バス（単数又は複数）８５０を介して通信する。第２のデバイス８００ｃ（例えば、ヘッドマウントデバイス）は、プロセッサ８０２、ＲＦ回路８０４、メモリ８０６、画像センサ８０８、向きセンサ８１０、マイクロフォン８１２、ロケーションセンサ８１６、スピーカー８１８、ディスプレイ８２０、及びタッチ感知面８２２などの様々な構成要素を含む。これらの構成要素は、任意選択として、デバイス８００ｃの通信バス（単数又は複数）８５０を介して通信する。

【0033】

システム８００は、プロセッサ（単数又は複数）８０２とメモリ（単数又は複数）８０６とを含む。プロセッサ（単数又は複数）８０２は、１つ以上の汎用プロセッサ、１つ以上のグラフィックプロセッサ、及び／又は１つ以上のデジタル信号プロセッサを含む。いくつかの実施例において、メモリ（単数又は複数）８０６は、後述する技法を実行するためにプロセッサ（単数又は複数）８０２によって実行されるように構成されたコンピュータ可読命令を記憶する１つ以上の非一時的コンピュータ可読記憶媒体（例えば、フラッシュメモリ、ランダムアクセスメモリ）である。

【0034】

システム８００は、ＲＦ回路（単数又は複数）８０４を含む。ＲＦ回路（単数又は複数）８０４は、任意選択的に、電子デバイス、インターネット、イントラネット並びに／又は、セルラーネットワーク及び無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワークなどのネットワークと通信するための回路を含む。ＲＦ回路（単数又は複数）８０４は、任意選択的に、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信及び／又は短距離通信を使用して通信するための回路を含む。

【0035】

システム８００は、ディスプレイ（単数又は複数）８２０を含む。いくつかの実施例において、ディスプレイ（単数又は複数）８２０は、第１のディスプレイ（例えば、左目ディスプレイパネル）と第２のディスプレイ（例えば、右目ディスプレイパネル）とを含み、各ディスプレイがユーザの個別の目に画像を表示する。対応する画像は、第１のディスプレイ及び第２のディスプレイ上に同時に表示される。任意選択として、対応する画像は、異なる視点から見た、同一の仮想オブジェクト及び／又は同一の物理的オブジェクトの表現を含み、結果として、ディスプレイ上で、オブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。いくつかの実施例において、ディスプレイ（単数又は複数）８２０は、単一のディスプレイを含む。対応する画像は、ユーザのそれぞれの目のために、単一のディスプレイの第１の領域及び第２の領域上に同時に表示される。任意選択として、対応する画像は、異なる視点から見た、同一の仮想オブジェクト及び／又は同一の物理的オブジェクトの表現を含み、結果として、単一のディスプレイ上で、オブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。

【0036】

いくつかの実施例において、システム８００は、タップ入力やスワイプ入力などのユーザ入力を受け取るタッチ感知面（単数又は複数）８２２を含む。いくつかの実施例において、ディスプレイ（単数又は複数）８２０とタッチ感知面（単数又は複数）８２２は、タッチ感知ディスプレイ（単数又は複数）を形成する。

【0037】

システム８００は、画像センサ（単数又は複数）８０８を含む。画像センサ（単数又は複数）８０８は、任意選択的に、電荷結合素子（ＣＣＤ）センサなどの１つ以上の可視光画像センサ、及び／又は現実環境から物理的オブジェクトの画像を得る働きをする相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む。画像センサ（単数又は複数）はまた、任意選択として、現実環境からの赤外光を検出するための、パッシブＩＲセンサ又はアクティブＩＲセンサなどの１つ以上の赤外線（infrared、ＩＲ）センサ（単数又は複数）を含む。例えば、アクティブＩＲセンサは、赤外光を現実環境に放射するためのＩＲドットエミッタなどのＩＲエミッタを含む。画像センサ（単数又は複数）８０８はまた、任意選択的に、現実環境における物理的オブジェクトの動きをキャプチャするように構成された１つ以上のイベントカメラを含む。画像センサ（単数又は複数）８０８はまた、任意選択的に、システム８００からの物理的オブジェクトの距離を検出するように構成された１つ以上のデプスセンサを含む。いくつかの実施例において、システム８００は、ＣＣＤセンサ、イベントカメラ、及びデプスセンサを組み合わせて使用して、システム８００の周囲の物理的環境を検出する。いくつかの実施例において、画像センサ（単数又は複数）８０８は、第１の画像センサと第２の画像センサとを含む。第１の画像センサ及び第２の画像センサは、任意選択として、２つの異なる透視視点から、現実環境内の物理的オブジェクトの画像をキャプチャするように構成されている。いくつかの実施例において、システム８００は、画像センサ（単数又は複数）８０８を使用して、ハンドジェスチャなどのユーザ入力を受け取る。いくつかの実施例において、システム８００は、画像センサ（単数又は複数）８０８を使用して、現実環境におけるシステム８００及び／又はディスプレイ（単数又は複数）８２０のポジション及び向きを検出する。例えば、システム８００は、画像センサ（単数又は複数）８０８を使用して、現実環境内の１つ以上の固定されたオブジェクトに対するディスプレイ（単数又は複数）８２０のポジション及び向きを追跡する。

【0038】

いくつかの実施例において、システム８００は、マイクロフォン（単数又は複数）８１２を含む。システム８００は、マイクロフォン（単数又は複数）８１２を使用して、ユーザ及び／又はユーザの物理的環境からの音を検出する。いくつかの実施形態において、マイクロフォン（単数又は複数）８１２は、任意選択的に、周囲雑音を特定するために、又は現実環境の空間内の音源の位置を特定するなどのために、協調して動作する（複数のマイクロフォンを含む）マイクロフォンの配列を含む。

【0039】

システム８００は、システム８００及び／又はディスプレイ（単数又は複数）８２０の向き及び／又は動きを検出する向きセンサ（単数又は複数）８１０を含む。例えば、システム８００は、向きセンサ（単数又は複数）８１０を使用して、現実環境内の物理的オブジェクトなどに対するシステム８００及び／又はディスプレイ（単数又は複数）８２０のポジション及び／又は向きの変化を追跡する。向きセンサ（単数又は複数）８１０は、任意選択的に、１つ以上のジャイロスコープ及び／又は１つ以上の加速度計を含む。

【0040】

図２Ａ～図２Ｅは、様々な実施形態による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセス（例えば、方法１０００）を示す。このプロセスは、例えば、デジタルアシスタントを実現する１つ以上の電子デバイスを使用して実行される。いくつかの実施例において、プロセスはクライアントサーバシステムを使用して実行され、プロセスのステップは、サーバとクライアントデバイスとで任意の方式で分担される。他の実施例において、プロセスのステップは、サーバと複数のクライアントデバイス（例えば、頭部装着可能システム（例えば、ヘッドセット）及びスマートウォッチ）とで分担される。したがって、プロセスの一部は、本明細書ではクライアントサーバシステムの特定のデバイスによって実行されるものとして説明されているが、プロセスがそのように限定されないことは理解されよう。他の実施例において、プロセスは、クライアントデバイスのみ（例えば、デバイス９０６）又は複数のクライアントデバイスのみを使用して実行される。このプロセスでは、いくつかのステップが任意選択的に組み合わされ、いくつかのステップの順序が任意選択的に変更され、いくつかのステップが任意選択的に省略される。いくつかの実施例では、追加のステップが例示されているプロセスと組み合わせて実行され得る。

【0041】

いくつかの実施形態において、デバイス９０６は、図１Ａ～図１Ｂに示されているように実装され、例えば、デバイス８００ａ又は８００ｃである。いくつかの実施形態において、デバイス９０６は、コンピュータ、モバイルデバイス、スマートホームデバイスなどの１つ以上の他の電子デバイスと、直接的又は間接的に（例えば、ハブデバイス、サーバなどを介して）、（例えば、５Ｇ、ＷｉＦｉ、有線接続などを使用して）通信する。例えば、図２Ａ～図２Ｅに示されているように、デバイス９０６は、スマートウォッチデバイス９１０、スマートスピーカーデバイス９１２、テレビ９１４、及び／又はステレオシステム９１６に直接的又は間接的に接続され得る。いくつかの実施形態において、図１Ａ～図１Ｂに関して説明されているように、デバイス９０６は、（例えば、物理的環境の視覚的コンテンツのキャプチャ、視線検出などのための）画像センサ、向きセンサ、マイクロフォン、ロケーションセンサ、タッチ感知面、加速度計などの１つ以上のセンサを有する（及び／又はそれらを有する他のデバイスと直接的若しくは間接的に通信する）。

【0042】

図２Ａ～図２Ｅを参照すると、ユーザ９０２は、プロセス９００の様々なステップにおいてデバイス９０６を使用してコンピュータ生成現実（ＣＧＲ）環境９０４に没入しているように示されている。図２Ａ～図２Ｅの右パネルは、デバイス９０６の１つ以上のディスプレイに表示される、プロセス９００のそれぞれのステップにおけるＣＧＲ環境９０４の対応する現在表示されている部分９０８（例えば、ユーザ９０２の現在の視野）をそれぞれ示している。

【0043】

いくつかの実施形態において、ＣＧＲ環境９０４は、複合現実（ＭＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、仮想現実（ＶＲ）コンテンツなどを含み得る。例えば、図２Ａ～図２Ｅに示されているように、ＣＧＲ環境は、ＭＲコンテンツを含み、物理的オブジェクト及び環境（例えば、物理的デバイス９１０、９１２、９１４、又は９１６、ユーザ９０２が位置する部屋の中の家具又は壁など）並びに仮想オブジェクト９１８Ａ～Ｃ（例えば、椅子、額縁、及び花瓶を含む仮想家具アイテム）の両方をユーザが視認することを可能にする。

【0044】

ここで図２Ａを参照すると、デバイス９０６は、（例えば、１つ以上のセンサを使用して）ユーザ入力を検出する。現在表示されている部分９０８Ａ（例えば、ユーザ入力を提供している間のユーザ９０２の現在の視野）では、物理的デバイステレビ９１４及びステレオシステム９１６が仮想オブジェクト９１８Ｂとともに見える。

【0045】

いくつかの実施形態において、ユーザ入力は、トリガフレーズを含む音声入力などの聴覚入力、ユーザが少なくとも閾期間にわたって特定のロケーションに視線を向けるなどの視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを含み得る。例えば、図２Ａに示されているように、デバイス９０６は、ユーザ９０２が「ヘイ、アシスタント」と発言すること、及び／又はユーザ９０２が「上げて話す」ジェスチャで手首を上げることを検出する。口頭入力「ヘイ、アシスタント」と「上げて話す」ジェスチャの両方が提供されるが、（例えば、図２Ｂに関して説明されるように）これらの入力のうちの１つだけでもデジタルアシスタントセッションをトリガするのに十分であり得る。

【0046】

ここで図２Ｂを参照すると、ユーザ入力がデジタルアシスタントセッションを開始するための１つ以上の基準を満たしているという判断に従って、デジタルアシスタントセッションが開始される。例えば、図２Ｂに示されているように、デジタルアシスタントセッションを開始するための基準は、既定の音声トリガ（例えば、「ヘイ、アシスタント」）を照合するための基準、及び／又は既定のジェスチャトリガ（例えば、「上げて話す」ジェスチャ）を照合するための基準を含み得るしたがって、（図２Ａのように）例示されているようにユーザ９０２が「上げて話す」ジェスチャで自分の手首を上げ、トリガフレーズ「ヘイ、アシスタント」と発言すると、デジタルアシスタントセッションが開始される。

【0047】

デジタルアシスタントセッションを開始することは、ＣＧＲ環境９０４内の第１のロケーション（例えば、第１のポジション）にデジタルアシスタントオブジェクト９２０を配置することを含む。図２Ｂに示されているように、デジタルアシスタントオブジェクト９２０は、物理的なスマートスピーカーデバイス９１２の近くの第１のロケーションに位置する仮想（例えば、ＶＲ）球体である。しかしながら、デジタルアシスタントオブジェクト９２０の第１のロケーションはユーザ９０２の右側にあり、ユーザ９０２は前方を注視しているので、デジタルアシスタントオブジェクト９２０の第１のポジションは、デジタルアシスタントセッションが開始される時点で現在表示されている部分９０８Ｂの外にある（例えば、その中では見えない）。

【0048】

いくつかの実施形態において、デジタルアシスタントオブジェクト９２０の第１のロケーションは、物理的環境の特徴、ＣＧＲ環境９０４の特徴、ユーザ９０２のロケーション、ポジション、又は姿勢、存在し得る他のユーザのロケーション、ポジション、又は姿勢など、１つ以上の環境要因に基づいて判断され得る。

【0049】

例えば、デジタルアシスタントオブジェクト９２０の第１のロケーションは、物理的なスマートスピーカーデバイス９１２のロケーションの近くになるように、且つ物理的オブジェクト（物理的なスマートスピーカーデバイス９１２が置かれているテーブルなど）及び／又は仮想オブジェクト９１８Ａ～Ｃ（仮想オブジェクト９１８Ｃなど）との衝突（例えば、視覚的な交差）を回避するように、選択され得る。スマートスピーカーデバイス９１２のロケーションは、事前に特定されたロケーションに基づいて（例えば、スマートスピーカーデバイス９１２のユーザがデバイスロケーションを手動で特定し、タグ付け）、画像センサデータの視覚的解析に基づいて（例えば、スマートスピーカーデバイス９１２を認識するために、画像センサ（単数又は複数）８０８からのデータなどの画像センサデータを解析）、他のセンサデータの解析などに基づいて（例えば、概ね近傍の場合にＢｌｕｅｔｏｏｔｈ接続を使用）、判断され得る。

【0050】

いくつかの実施形態において、デバイス９０６は、デジタルアシスタントセッションの状態を示す出力を提供し得る。状態出力は、２つ以上の異なる状態から選択された状態を表す２つ以上の異なる出力から選択され得る。例えば、２つ以上の状態は、アクティブ及びパッシブリスニング状態に更に細分され得るリスニング状態、応答状態、思考（例えば、処理）状態、注意獲得状態などを含み得、これらは視覚、聴覚、及び／又は触覚出力によって示され得る。

【0051】

例えば、図２Ｂに示されているように、デジタルアシスタントオブジェクト９２０（例えば、仮想球体）の外観は、球体の中央に雲の形状を含み、デジタルアシスタントオブジェクト９２０が注意獲得状態にあることを示している。他の状態出力は、デジタルアシスタントオブジェクト９２０のサイズの変更、動きの動画化（例えば、デジタルアシスタントオブジェクト９２０のホッピング、ホバリングなどを動画化）、聴覚出力（例えば、デジタルアシスタントオブジェクト９２０の現在のロケーションから「発する」指向性音声出力）、照明効果の変化（例えば、デジタルアシスタントオブジェクト９２０によって発せられる照明若しくは光の変更、又はデジタルアシスタントオブジェクト９２０の方向のディスプレイの端に「ピン留めされた」ピクセル若しくは光源の変更）、触覚出力などを含み得る。

【0052】

デジタルアシスタントセッションを開始することは、ＣＧＲ環境９０４内のデジタルアシスタントオブジェクト９２０の第１のロケーションを示す出力を生成させることを含む。いくつかの実施形態において、出力は、空間音を使用してロケーションを指示する聴覚出力などの聴覚出力、触覚出力、又は視覚的指示を含み得る。例えば、図２Ｂに示されているように、出力は、スマートスピーカーデバイス９１２とステレオシステム９１６から出力される口頭聴覚出力「ええ？」を含む。口頭聴覚出力「ええ？」は、空間音技術を使用して提供され得、スマートスピーカーデバイス９１２から来るオーディオ信号の成分を、ステレオシステム９１６から来るオーディオ信号の成分より大音量で生成することで、出力があたかもデジタルアシスタントオブジェクト９２０の第１のロケーションから（例えば、図２Ｂに示されているようにユーザの右手側から）来ているかのように聞こえるようにする。

【0053】

別の実施例として、図２Ｂに示されているように、出力は、第１のロケーションがユーザの右にあることを示す、スマートウォッチデバイス９１０からのユーザ９０２の右手首におけるスキンタップ触覚出力を更に含む。

【0054】

更なる実施例として、出力は、第１のロケーションの視覚的指示（すなわち、現在視野外にあるデジタルアシスタントオブジェクトの表示以外の視覚的指示）を含み得る。視覚出力は、第１のロケーションから放たれる光を示すＣＧＲ環境の照明の変化など、デバイス９０６のディスプレイを使用して提供され得る（例えば、現在表示されている部分９０８Ｂで見える３Ｄ空間における光及び影をレンダリングすること、第１のロケーションの方向で現在表示されている部分９０８Ｂの端に照らされたピクセル又は光源を「ピン留め」すること、及び／又はヘッドアップディスプレイ若しくは２Ｄ照明オーバーレイを表示すること）。視覚出力はまた、第１のロケーションの方向に照らされるエッジ照明（例えば、ＬＥＤなど）などの非表示ハードウェアを使用して提供され得る。照明又は光は、第１のロケーションに更に注意を引くために光度が変化し得る。

【0055】

ここで図２Ｃを参照すると、いくつかの実施形態において、デジタルアシスタントセッションを開始した後に、第１のロケーションが現在表示されている部分９０８Ｃの中にあるという判断に従って（例えば、第１のロケーションがユーザ９０２の現在の視野内に入るようにユーザ９０２が配置されると）、デジタルアシスタントオブジェクト９２０が（例えば、デバイス９０６のディスプレイに）表示される。

【0056】

デジタルアシスタントセッションが進むにつれて、デバイス９０６は、デジタルアシスタントセッションの更新された状態を示す更新された出力を提供できる。例えば、図２Ｃに示されているように、デジタルアシスタントセッションがアクティブリスニング状態に入ると、デジタルアシスタントオブジェクト９２０は、球体の中央に渦巻きの形状を含み、デジタルアシスタントオブジェクト９２０がアクティブリスニング状態にあることを示す。

【0057】

いくつかの実施形態において、デバイス９０６は、（例えば、１つ以上のセンサを使用して）第２のユーザ入力を検出する。次いで、デバイス９０６は、例えば自然言語処理法を用いて、第２のユーザ入力の意図を判断する。例えば、図２Ｃに示されているように、デバイス９０６は、オーディオを再生する意図に相当する要求「ステレオで何か音楽を再生してください」をユーザ９０２が発話していることを検出する。

【0058】

いくつかの実施形態において、デバイス９０６は、第１のロケーションが現在表示されている部分９０８Ｃ（例えば、ユーザ９０２が第２のユーザ入力を提供した時点におけるユーザ９０２の現在の視野）の中にあるという判断に従って、意図を判断する。すなわち、いくつかの実施形態において、デジタルアシスタントは専ら、ユーザ９０２がデジタルアシスタントオブジェクト９２０に注意を向け（例えば、デジタルアシスタントオブジェクト９２０を見て）、デジタルアシスタントオブジェクト９２０に対応するつもりであるという判断に従って応答する。

【0059】

ここで図２Ｄを参照すると、いくつかの実施形態において、デバイス９０６は、第２のユーザ入力の意図を判断した後に、判断された意図に基づいて応答出力を提供する。例えば、図２Ｄに示されているように、デバイス９０６は、ユーザ入力「ステレオで何か音楽を再生してください」に応じて、オーディオを再生するという判断された意図に基づいて、ステレオシステム９０６から音楽が再生されるようにする。

【0060】

いくつかの実施形態において、判断された意図がＣＧＲ環境９０４内のオブジェクトロケーションに位置するオブジェクト（例えば、物理的オブジェクト又は仮想オブジェクトのいずれか）に関連するという判断に従って、応答出力を提供することは、オブジェクトロケーションの近くにデジタルアシスタントオブジェクト９２０を配置することを含む。例えば、図２Ｄに示されているように、ステレオシステム９１６から音楽を再生させることに加えて、デバイス９０６は、デジタルアシスタントオブジェクト９２０をステレオシステム９０６のロケーションの近くに再配置させ、デジタルアシスタントがタスクを遂行していることを示す。加えて、図２Ｄに示されているように、デジタルアシスタントオブジェクト９２０の外観は、図示のように球体の中央に星形状を含めるなど、デジタルアシスタントオブジェクト９２０が応答状態にあることを示すように更新されてよく、又は（例えば、図２Ｂに関して上述されているような）他の何らかの適切な状態出力が提供されてもよい。

【0061】

ここで図２Ｅを参照すると、いくつかの実施形態において、デジタルアシスタントセッションは、例えば、ユーザ９０２が明示的に（例えば、音声入力、視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを使用して）デジタルアシスタントを退去させる場合に、又は自動的に（例えば、相互作用なしに所定の閾期間の後に）、終了し得る。デジタルアシスタントセッションが終了すると、デバイス９０６は、デジタルアシスタントオブジェクト９２０を退去させる。図２Ｅに示されているように、デジタルアシスタントオブジェクト９２０の現在のロケーションが現在表示されている部分９０８Ｅ（例えば、デジタルアシスタントセッションが終了する時点でのユーザ９０２の現在の視野）の中にある場合、デジタルアシスタントオブジェクト９２０を退去させることは、デジタルアシスタントオブジェクト９２０の表示を中止することを含む。

【0062】

いくつかの実施形態において、デジタルアシスタントを退去させることは、退去を示す更なる出力を提供することをも含み得る。退去出力は、聴覚出力（例えば、チャイム、口頭出力など）又は視覚出力（例えば、表示されたオブジェクト、ＣＧＲ環境９０４の照明の変更など）などの指示を含み得る。例えば、図２Ｅに示されているように、退去出力は、第１のロケーション（例えば、デジタルアシスタントオブジェクト９２０の初期ロケーション）に配置されたデジタルアシスタントインジケータ９２２を含み、これにより、別のデジタルアシスタントセッションが開始された場合にデジタルアシスタントオブジェクト９２０が再び出現する場所を示す。第１のロケーションは現在表示されている部分９０８Ｅ（例えば、デジタルアシスタントセッションが終了する時点でのユーザ９０２の現在の視野）の中にあるので、デバイス９０６は、デジタルアシスタントインジケータ９２２を表示する。

【0063】

図２Ａ～図２Ｅを参照して上述されているプロセスは、任意選択的に、図１Ａ～図１Ｂに示されている構成要素によって実施される。例えば、例示されているプロセスの作業は、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。

【0064】

図３Ａ～図３Ｂは、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントの表現を配置する方法１０００の流れ図を示す。方法１０００は、１つ以上のプロセッサとメモリとを有する１つ以上の電子デバイス（例えば、デバイス８００ａ、８０ｂ、８００ｃ、９０６）を使用して実行され得る。いくつかの実施形態において、方法１０００は、クライアントサーバシステムを使用して実行され、方法１０００の作業は、クライアントデバイス（例えば、８００ｃ、９０６）とサーバとで任意の方式で分担される。方法１０００のいくつかの作業は、任意選択的に組み合わされ、いくつかの作業の順序は、任意選択的に変更され、いくつかの作業は、任意選択的に省略される。

【0065】

方法１０００は、ＣＧＲ環境の少なくとも一部分を表示している間に実行される。すなわち、ある特定の時間に、表示されているＣＧＲ環境の特定の部分は、ユーザ（例えば、クライアントデバイス（単数又は複数）のユーザ）の現在の視野を表し、ＣＧＲ環境のその他の部分（例えば、ユーザの背後又はユーザの周辺視野の外）は表示されない。したがって、方法１０００は、例えば、仮想オブジェクトを配置し、且つ「視覚」出力を生成することに言及するが、仮想オブジェクト及び出力のユーザにとっての実際の可視性は、ＣＧＲ環境の現在表示されている特定の部分に応じて異なり得る。「第１の時間」、「第２の時間」、「第１の部分」、「第２の部分」などの用語は、表示される仮想コンテンツを表示されない仮想コンテンツから区別するために使用され、ＣＧＲ環境の一定の順序又は既定の部分を示すことを意図していない。

【0066】

いくつかの実施形態において、方法１０００のＣＧＲ環境は、仮想及び／又は物理的コンテンツ（例えば、物理的デバイス９１０、９１２、９１４、又は９１６、ユーザ９０２が位置する部屋の中の家具又は壁、及び図２Ａ～２Ｅに示されている仮想オブジェクト９１８Ａ～Ｃ）を含み得る。ＣＧＲ環境の内容は、静的であり得、又は動的であり得る。例えば、ＣＧＲ環境内の静的な物理的オブジェクトは、物理的な家具、壁、及び天井などを含み得るが、ＣＧＲ環境内の静的な仮想オブジェクトは、ＣＧＲ環境内の一定のロケーションに位置する仮想オブジェクト（例えば、仮想オブジェクト９１８Ａ～Ｃなどの仮想家具）、又はディスプレイに対して一定のロケーションに位置する仮想オブジェクト（例えば、ＣＧＲ環境の表示された部分にオーバーレイされるヘッドアップディスプレイ）を含み得る。ＣＧＲ環境内の動的な物理的オブジェクトは、ユーザ、他のユーザ、ペットなどを含み得、ＣＧＲ環境内の動的な仮想アイテムは、動くオブジェクト（例えば、仮想キャラクタ、アバター、又はペット）、或いはサイズ、形状、又は形態が変化するオブジェクトを含む。

【0067】

ここで図３Ａを参照すると、ブロック１００２では、方法１０００を実施するデバイス（単数又は複数）の１つ以上のセンサによって第１のユーザ入力が検出される。例えば、１つ以上のセンサは、オーディオセンサ（例えば、マイクロフォン）、振動センサ、運動センサ（例えば、加速度計、カメラなど）、ビジュアルセンサ（例えば、光センサ、カメラなど）、タッチセンサなどを含み得る。

【0068】

いくつかの実施形態において、第１のユーザ入力は、聴覚入力を含む。例えば、第１のユーザ入力は、トリガフレーズ（例えば、「ヘイ、アシスタント」）を含む音声入力を含み得る。いくつかの実施形態において、第１のユーザ入力は、視線入力を含む。例えば、ユーザは、少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、スマートスピーカー又はデバイスのロケーション）、デジタルアシスタントが支援できるオブジェクトのロケーションなど）に視線を向けることができる。いくつかの実施形態において、第１のユーザ入力は、ジェスチャ（例えば、ユーザの身体の動き）入力を含む。例えば、ユーザは、「上げて話す」ジェスチャで手首を上げることができる。いくつかの実施形態において、第１のユーザは、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力を入力する。例えば、ユーザは、スマートウォッチデバイス９１０のタッチスクリーンを押し続けることができる。

【0069】

ブロック１００４では、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、デジタルアシスタントセッションが開始される。

【0070】

例えば、第１のユーザ入力が聴覚入力を含む場合、基準は、十分な信頼度を有する既定の音声トリガ（例えば、「ヘイ、アシスタント」など）を照合することを含み得る。別の実施例として、第１のユーザ入力が視線入力を含む場合、基準は、ユーザが少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、デジタルアシスタントが相互作用することができるオブジェクトのロケーションなど）に視線を向けることを含み得る。別の実施例として、第１のユーザ入力がジェスチャ（例えば、ユーザの身体の動き）入力を含む場合、基準は、十分な信頼度を有する既定のジェスチャトリガ（例えば、「手首を上げて話す」動きなど）を照合することを含み得る。ユーザがデジタルアシスタントセッションを呼び出したか否かを判断するために、１つ以上の可能なトリガ入力が、まとめて、又は単独で、考慮され得る。

【0071】

ブロック１００４でデジタルアシスタントセッションを開始することは、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にある第１の（例えば、初期）ロケーションにデジタルアシスタントオブジェクトを配置することを含む。すなわち、ブロック１００４を実施する電子デバイスは、デジタルアシスタントセッションが開始されるときにデジタルアシスタントオブジェクトがユーザに見えない（例えば、表示されない、又は「画面外」となる）ように、デジタルアシスタントオブジェクトをＣＧＲ環境内に配置する。

【0072】

いくつかの実施形態において、ＣＧＲ環境内の第１の（例えば、初期）ロケーションは、ＣＧＲ環境内の所定のロケーションである。例えば、所定のロケーションは、ＣＧＲ環境の座標系内の既定の座標セットであってよい。所定のロケーションは、（例えば、第２のデジタルアシスタントセッションに関して以下で説明するように）以前のデジタルアシスタントセッションでユーザによって決定（例えば、選択）されたものであってもよい。

【0073】

いくつかの実施形態において、ブロック１００６では、ユーザが作業している物理的環境、ユーザのポジション、又は複数のユーザのポジションなど、１つ以上の環境要因に基づいて、ＣＧＲ環境内の第１の（例えば、初期）ロケーションが判断される。

【0074】

１つ以上の環境要因は、ＣＧＲ環境の特性を含み得る。例えば、第１のロケーションは、電子デバイス（例えば、図２Ａ～図２Ｅのスマートスピーカーデバイス９１２）の物理的ロケーション、別の物理的オブジェクト（例えば、家具又は部屋に駆け込むペット）の静的又は動的ロケーション、仮想オブジェクト（例えば、図２Ａ～図２Ｅの仮想オブジェクト９１８Ａ～Ｃ）の静的又は動的ロケーションなどに基づいて判断され得る。電子デバイスのロケーションは、事前に特定されたロケーションに基づいて（例えば、ユーザが手動でデバイスロケーションを特定し、タグ付け）、画像センサデータの視覚的解析に基づいて（例えば、デバイスを認識又は視覚的に理解するために画像センサデータを解析）、他のセンサ又は接続データの解析などに基づいて（例えば、概ね近傍の場合にＢｌｕｅｔｏｏｔｈ接続を使用）、判断され得る。

【0075】

１つ以上の環境要因はまた、ユーザのポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、第１のロケーションは、ユーザの身体又は頭の向き、又はユーザの視線のポジションに基づいて、ユーザの後ろのロケーションであると判断され得る。別の実施例として、第１のロケーションは、ユーザの手首に球体を配置するなど、ユーザの身体上又はその付近のロケーションであると判断され得る。

【0076】

１つ以上の環境要因はまた、ＣＧＲ環境の複数のユーザの複数のポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、仮想会議室やマルチプレーヤゲームなどの共有ＣＧＲ環境では、第１のロケーションは、各ユーザがどこを向いているか及び／又はどこを注視しているかに基づいて、共有ユーザの大多数にとってデジタルアシスタントオブジェクトの可視性を最小化（又は最大化）するロケーションとなるように判断され得る。

【0077】

デジタルアシスタントオブジェクトは、デジタルアシスタント（例えば、デジタルアシスタントセッションのアバター）を表す仮想オブジェクトである。例えば、デジタルアシスタントオブジェクトは、仮想の球体、仮想のキャラクタ、仮想の光の玉、アバターなどであってよい。デジタルアシスタントオブジェクトは、デジタルアシスタントセッションを通じて外観及び／又は形態を変えることができ、例えば、外観を、球体から仮想の光の玉に、半透明の球体から不透明の球体に、及び／又は同様に、変えることができる。

【0078】

ブロック１００８では、ＣＧＲ環境内のデジタルアシスタントオブジェクトの第１のロケーションを示す第１の出力が提供される。すなわち、第１の（例えば、初期）ロケーションはＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にあるが、第１のロケーションを示す第１の出力は、ユーザがＣＧＲ環境の中でデジタルアシスタントオブジェクトの位置を特定する（例えば、デジタルアシスタントオブジェクトを見つける）のを助け、例えば、ユーザの注意をデジタルアシスタントセッションに迅速且つ直感的に引き付けることによって、デジタルアシスタントセッションの効率と有効性を高める。

【0079】

いくつかの実施形態において、第１のロケーションを示す第１の出力を提供することは、第１の聴覚出力を生成させることを含む。すなわち、方法１０００を実施するデバイスは、（例えば、内蔵スピーカー又はヘッドセットを使用して）第１の聴覚出力そのものを生成し得、及び／又は１つ以上の他の好適な聴覚デバイスに第１の聴覚出力を生成させ得る。例えば、第１の聴覚出力は、口頭出力（例えば、「ええ？」、「はい？」、「お手伝いしましょうか？」など）、別の聴覚出力（例えば、チャイム、ハム音など）、及び／又は聴覚／触覚混合出力（例えば、ユーザが感じることもできる振動から生じるハム音）を含み得る。

【0080】

いくつかの実施形態において、複数のスピーカー（例えば、スピーカーアレイ又はサラウンドサウンドシステム）を使用して、複数のオーディオ成分（例えば、チャネル）を異なる音量で放ち、全体的な聴覚出力が具体的に特定のロケーションから放たれているように思わせるなど、第１の聴覚出力は空間音技術を使用して提供され得る。例えば、第１の聴覚出力は、複数のスピーカーのうちの第１のスピーカーによって生成される第１のオーディオ成分（例えば、チャネル）と、複数のスピーカーのうちの第２のスピーカーによって生成される第２のオーディオ成分とを含み得る。デジタルアシスタントオブジェクトの第１のロケーションが第１のスピーカーのロケーションに近いか、それとも第２のスピーカーのロケーションに近いかの判断が行われる。第１のロケーションが第１のスピーカーのロケーションにより近いという判断に従って、第１のオーディオ成分が第２のオーディオ成分より大音量で生成される。同様に、第１のロケーションが第２のスピーカーのロケーションにより近いという判断に従って、第２のオーディオ成分が第１のオーディオ成分より大音量で生成される。

【0081】

いくつかの実施形態において、第１のロケーションを示す第１の出力を提供することは、第１の触覚出力を生成させることを含む。すなわち、方法１０００を実施するデバイス（単数又は複数）は、第１の触覚出力そのものを生成し得、及び／又は１つ以上の他の好適な触覚デバイスに第１の触覚出力を生成させ得る。触覚出力は、方法１０００を実施するデバイス（単数又は複数）のユーザによって感じられる振動、タップ、及び／又は他の触知可能な出力を含む。例えば、図２Ｂに示されているように、デバイス９１０は、ユーザ９０２の右手首に振動触覚出力を生成させられ、デジタルアシスタントオブジェクト９２０がユーザ９０２の右側にあることを示す。

【0082】

いくつかの実施形態において、第１のロケーションを示す第１の出力を提供することは、第１のロケーションの視覚的指示を表示することを含む。例えば、視覚的指示は、第１のロケーションから仮想光を放つこと、物理的環境照明のパススルーフィルタリングを変えること、及び／又は適切なホームオートメーションデバイスを使用して物理的環境の照明を変えてＣＧＲ環境を指向的に照らすことを含み得る。別の実施例として、視覚的指示は、デジタルアシスタントオブジェクト以外のインジケータを表示してユーザを第１のロケーションに誘導することを含み得る。

【0083】

いくつかの実施形態において、ブロック１０１０では、第１のロケーションがＣＧＲ環境の第２の部分（例えば、第２の時間に現在表示されている部分）の中にあるという判断に従って、第１のロケーションに（例えば、方法１０００を実施するデバイスの１つ以上のディスプレイ上に）デジタルアシスタントオブジェクトが表示される。すなわち、デジタルアシスタントオブジェクトが画面外（例えば、開始時にユーザの視野外）に配置された状態で第１のデジタルアシスタントセッションを開始した後に、ユーザが（例えば、別の方向を見ることによって、又は別の入力を提供することによって）視点を変えてデジタルアシスタントオブジェクトのロケーション又はその近くを見ると、デジタルアシスタントオブジェクトがユーザに見えるようになる。

【0084】

いくつかの実施形態において、ブロック１０１２では、（例えば、第１のデジタルアシスタントセッション開始後の第３の時間に）第２のユーザ入力が検出される。例えば、第２のユーザ入力は、口頭によるコマンド、質問、要求、ショートカットなどの口頭入力を含み得る。別の実施例として、第２のユーザ入力はまた、身ぶりによるコマンド、質問、要求などのジェスチャ入力、ＣＧＲ環境との相互作用を表すジェスチャ（例えば、仮想オブジェクトを「掴む」及び「落とす」）などを含み得る。別の実施例として、第２のユーザ入力は、視線入力を含み得る。

【0085】

いくつかの実施形態において、ブロック１０１４では、第２のユーザ入力の意図が判断される。意図は、１つ以上のパラメータを使用して実行され得る１つ以上のタスクに対応し得る。例えば、第２のユーザ入力が口頭又は身ぶりによるコマンド、質問、又は要求を含む場合は、図２Ｃに示されている口頭ユーザ入力「ステレオで何か音楽を再生してください」からオーディオを再生する意図を判断するなど、自然言語処理技術を用いて意図が判断され得る。別の実施例として、第２のユーザ入力がジェスチャを含む場合は、ジェスチャのタイプ（単数又は複数）、ジェスチャのロケーション（単数又は複数）、及び／又はＣＧＲ環境内の様々なオブジェクトのロケーションに基づいて、意図が判断され得る。例えば、掴んで落とすタイプのジェスチャは、「掴む」ジェスチャのロケーション又はその近くに配置された仮想オブジェクトを「落とす」ジェスチャのロケーションに移動させる意図に対応し得る。

【0086】

いくつかの実施形態において、第２のユーザ入力の意図の判断は専ら、デジタルアシスタントオブジェクトの現在のロケーションがＣＧＲ環境の現在表示されている部分の中にあるという判断に従って行われる。すなわち、ユーザが物理的な部屋の中の別の人又はマルチプレーヤゲームの中の別のプレーヤと話すなど、検出されるユーザ入力にはデジタルアシスタントセッションを対象としないものもある。ユーザがデジタルアシスタントオブジェクトを見ている（又はその近くにいる）間に受け取られたユーザ入力のみを処理し、且つそれのみに応答することで、例えば、意図されていない相互作用が生じる見込みが低下し、デジタルアシスタントセッションの効率が向上する。

【0087】

いくつかの実施形態において、ブロック１０１６では、判断された意図に基づいて第２の出力が提供される。第２の出力を提供することは、判断された意図に対応する１つ以上のタスクを実行させることを含み得る。例えば、図２Ａ～２Ｅに示されているように、口頭ユーザ入力「ステレオで何か音楽を再生してください」に対して、第２の出力は、ステレオシステム９１６に何らかの音楽を再生させることを含む。別の実施例として、身ぶりによる入力「今日の天気は？」に対して、第２の出力は、雷雨のアイコンと温度を示すウィジェットを表示することを含み得る。

【0088】

いくつかの実施形態において、判断された意図に基づいて第２の出力を提供することは、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するか否かを判断することを含む。例えば、第２のユーザ入力は、口頭入力「テレビのそばを通ってください」や掴んで落とすジェスチャ入力など、デジタルアシスタントを再配置する明示的な要求を含み得る。別の実施例として、第２のユーザ入力は、デジタルアシスタントオブジェクトの移動を開始するために、「摘まむ」又は「掴む」と組み合わされた、デジタルアシスタントオブジェクトの現在のロケーションを起点とする視線入力を含み得る。

【0089】

判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、第２のユーザ入力から第２のロケーションが判断される。例えば、口頭入力「テレビのそばを通ってください」から第２のロケーション「テレビのそば」が判断され得、掴んで落とすジェスチャ入力から「落とす」ジェスチャに位置する若しくはその近くに位置する第２のロケーションが判断され得、又は視線入力からユーザの視線のロケーションに位置する若しくはその近くに位置する第２のロケーションが判断され得る。

【0090】

更に、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、デジタルアシスタントオブジェクトは第２のロケーションに配置される。（例えば、第４の時間に）ＣＧＲ環境の現在表示されている（例えば、第２の）部分の中に第２のロケーションがあるという判断に従って、デジタルアシスタントオブジェクトはＣＧＲ環境内の第２のロケーションに表示される。すなわち、デジタルアシスタントオブジェクトを、第２のユーザ入力が検出されたときのそのロケーションから第２のユーザ入力から判断された第２のロケーションに再配置する間に、デジタルアシスタントオブジェクトは、そのロケーションがユーザの現在の視野内に留まる限りは、表示される（例えば、あるロケーションから別のロケーションへのデジタルアシスタントオブジェクトの移動を動画化することを含む）。

【0091】

いくつかの実施形態において、判断された意図に基づいて第２の出力を提供することは、判断された意図が、ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクト（例えば、物理的又は仮想オブジェクト）に関連するか否かを判断することを含む。判断された意図がＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、デジタルアシスタントはオブジェクトロケーションに近い第３のロケーションに配置される。すなわち、デジタルアシスタントオブジェクトが関連するオブジェクトの近くに移動して、そのオブジェクトとの相互作用を示し、及び／又はそのオブジェクト若しくは相互作用に注意を引く。例えば、図２Ａ～２Ｅに示されているように、口頭ユーザ入力「ステレオで何か音楽を再生してください」に対し、あたかもデジタルアシスタントオブジェクト９２０自体がステレオシステム９１６をオンにして、ステレオが関与する要求されたタスクが実行されていることをユーザに示しているかのように、デジタルアシスタントオブジェクト９２０がステレオシステム９１６の近くに移動する。

【0092】

いくつかの実施形態において、ブロック１０１８では、第２の出力の１つ以上の特性に基づいて、第３の出力が提供される。第２の出力の１つ以上の特性は、第２の出力のタイプ（例えば、視覚、聴覚、又は触覚）、（例えば、ＣＧＲ環境内で実行されるタスクのための）ＣＧＲ環境内の第２の出力のロケーションなどを含み得る。例えば、図２Ａ～図２Ｅに示されているように、口頭ユーザ入力「ステレオで何か音楽を再生してください」に対して、第３の出力は、口頭出力「ＯＫ、音楽を再生しています」を含む。別の実施例として、身ぶりによる入力「今日の天気は？」に対して、第３の出力は、表示された天気ウィジェット（例えば、第２の出力）の近くで跳ねる又は小刻みに揺れるデジタルアシスタントオブジェクトを動画化することを含み得る。説明されているように第３の出力を提供することによって、例えば、要求されたタスクの実行及び／又は完了がユーザに直ちに明らかではない場合には、その実行及び／又は完了にユーザの注意を引き付けることによって、デジタルアシスタントセッションの効率が向上する。

【0093】

いくつかの実施形態において、ブロック１０２０では、２つ以上の異なる出力から選択された第５の出力が提供されて、２つ以上の異なる状態から選択された第１のデジタルアシスタントセッションの状態を示す。第１のデジタルアシスタントセッションの２つ以上の異なる状態は、１つ以上のリスニング状態（例えば、アクティブ又はパッシブリスニング）、１つ以上の応答状態、１つ以上の処理（例えば、思考）状態、１つ以上の失敗状態、１つ以上の注意獲得状態、及び／又は１つ以上の遷移（例えば、移動、出現、又は消失）状態を含み得る。異なる出力と異なる状態との間には一対一の対応関係が存在し得、１つ以上の状態が同じ出力によって表され得、又は１つ以上の出力が同じ状態（又は同じ状態のバリエーション）を表し得る。

【0094】

例えば、図２Ａ～図２Ｅに示されているように、デジタルアシスタントオブジェクト９２０は、最初にユーザの注意を引き（例えば、初期ロケーションを示す）、ユーザ入力を聞き、ユーザ入力に応答する／ユーザの注意を応答に引き付ける間に、異なる外観を呈する。他の第５の（例えば、状態）出力は、デジタルアシスタントオブジェクトのサイズの変更、動きの動画化、聴覚出力（例えば、デジタルアシスタントオブジェクトの現在のロケーションから「発する」指向性音声出力）、照明効果の変化、他の視覚出力、触覚出力などを含み得る。

【0095】

第１のデジタルアシスタントセッション中の任意の時点で、（例えば、ユーザが視点を変えるのに応じて）ＣＧＲ環境の現在表示されている部分が更新され、デジタルアシスタントオブジェクトの現在のロケーションが現在表示されている部分にもはや含まれなくなった（例えば、ユーザにもはや見えなくなった）場合は、デジタルアシスタントの現在のロケーションを示す追加の出力が提供され得る。例えば、現在のポジションを示す追加の出力は、ブロック１００８に関して説明されているように提供され得る（例えば、空間聴覚出力、視覚出力、触覚出力など）。

【0096】

いくつかの実施形態において、第１のデジタルアシスタントセッションは、例えば、ユーザによる明示的な退去の際に、又は相互作用なしに閾期間が経過した後に、終了する。第１のデジタルアシスタントセッションが終了すると、ブロック１０２２でデジタルアシスタントオブジェクトが退去させられる（例えば、ＣＧＲ環境から除去される）。デジタルアシスタントセッションが終了する時点でデジタルアシスタントオブジェクトがＣＧＲ環境の表示されている部分の中に位置する場合、デジタルアシスタントオブジェクトを退去させることは、デジタルアシスタントオブジェクトの表示を中止することを含む。

【0097】

いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させるときには、デジタルアシスタントオブジェクトの退去を示す第４の出力が提供される。第４の出力は、１つ以上の視覚出力（例えば、かすかな光、ＣＧＲ環境内の照明をデジタルアシスタントセッション前の状態に戻すことなど）、１つ以上の聴覚出力（例えば、「バイ」などの口頭出力、チャイムなど）、１つ以上の触覚出力などを含み得る。例えば、図２Ｅに示されているように、第４の出力を提供することは、第１のロケーションにデジタルアシスタントインジケータ９２２を配置することを含み得る。第４の出力は、第１のデジタルアシスタントセッションが終了したことをユーザに示すことができ、ユーザが後続の呼び出しにおいてより速やかにデジタルアシスタントオブジェクトの位置を特定する（例えば、デジタルアシスタントオブジェクトを見つける）のに役立つことができる。

【0098】

いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させた後には、第３のユーザ入力が検出される。第３のユーザ入力は、第１のユーザ入力（例えば、第１のデジタルアシスタントセッションを呼び出すユーザ入力）に関して説明されているように、聴覚入力、視線入力、ジェスチャ入力、又はデバイス入力（例えば、ボタン押下、タップ、スワイプなど）であり得る。（例えば、ブロック１００４に関して上述されているように）第３のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第２のデジタルアシスタントセッションが開始される。

【0099】

（例えば、ブロック１０１６に関して上述されているように）デジタルアシスタントオブジェクトを再配置することに関連する第２のユーザ入力が第１のデジタルアシスタントセッション中に受け取られたいくつかの実施形態において、第２のデジタルアシスタントセッションを開始することは、デジタルアシスタントオブジェクトを第２のロケーション（例えば、第２のユーザ入力で要求されたロケーション）に配置することを含む。すなわち、いくつかの実施形態において、ユーザがデジタルアシスタントオブジェクトを明示的に移動させた後には、ユーザによって選択されたロケーションが、後続の呼び出しのときにデジタルアシスタントオブジェクトが出現する新しい「デフォルト」位置になる。

【0100】

図３Ａ～図３Ｂを参照して上述されている方法は、任意選択的に、図１Ａ～図１Ｂ及び図２Ａ～図２Ｅに示されている構成要素によって実施される。例えば、例示されている方法の作業は、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂ及び図２Ａ～図２Ｅに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。

【0101】

図４Ａ～図４Ｅは、様々な実施例による、ＣＧＲ環境の中でデジタルアシスタントの表現を配置するプロセス（例えば、方法１２００）を示す。このプロセスは、例えば、デジタルアシスタントを実現する１つ以上の電子デバイスを使用して実行される。いくつかの実施例において、プロセスはクライアントサーバシステムを使用して実行され、プロセスのステップは、サーバとクライアントデバイスとで任意の方式で分担される。他の実施例において、プロセスのステップは、サーバと複数のクライアントデバイス（例えば、頭部装着可能システム（例えば、ヘッドセット）及びスマートウォッチ）とで分担される。したがって、プロセスの一部は、本明細書ではクライアントサーバシステムの特定のデバイスによって実行されるものとして説明されているが、プロセスがそのように限定されないことは理解されよう。他の実施例において、プロセスは、クライアントデバイス（例えば、デバイス１１０６）のみ、又は複数のクライアントデバイスのみを使用して実行される。このプロセスでは、いくつかのステップが任意選択的に組み合わされ、いくつかのステップの順序が任意選択的に変更され、いくつかのステップが任意選択的に省略される。いくつかの実施例では、追加のステップが例示されているプロセスと組み合わせて実行され得る。

【0102】

図４Ａ～図４Ｅを参照すると、ユーザ１１０２は、プロセスの様々なステップにおいてデバイス１１０６を使用してコンピュータ生成現実（ＣＧＲ）環境１１０４に没入しているように示されている。図４Ａ～４Ｅの右パネルは、デバイス１１０６の１つ以上のディスプレイに表示される、プロセスのそれぞれのステップにおけるＣＧＲ環境１１０４の対応する現在表示されている部分１１０８（例えば、ユーザ１１０２の現在の視野）を示している。デバイス１１０６は、図１Ａ～１Ｂと図２Ａ～２Ｅのデバイス９０６に関して上述されているように実装され得る。

【0103】

いくつかの実施形態において、ＣＧＲ環境１１０４は、複合現実（ＭＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、仮想現実（ＶＲ）コンテンツなどを含み得る。例えば、図４Ａ～図４Ｅに示されているように、ＣＧＲ環境１１０４は、ＭＲコンテンツを含み、物理的オブジェクト及び環境（例えば、物理的デバイス１１１０、１１１２、１１１４、又は１１１６、ユーザ１１０２が位置する部屋の中の家具又は壁など）並びに仮想オブジェクト１１１８Ａ～Ｃ（例えば、椅子、額縁、及び花瓶を含む仮想家具アイテム）の両方をユーザが視認することを可能にする。

【0104】

ここで図４Ａを参照すると、デバイス１１０６は、（例えば、１つ以上のセンサを使用して）ユーザ入力を検出する。現在表示されている部分１１０８Ａ（例えば、ユーザ入力を提供している間のユーザ９０２の現在の視野）では、物理的デバイステレビ１１１４及びステレオシステム１１１６が、仮想オブジェクト１１１８Ｂとともに見える。

【0105】

いくつかの実施形態において、ユーザ入力は、トリガフレーズを含む音声入力などの聴覚入力、ユーザが少なくとも閾期間にわたって特定のロケーションに視線を向けるなどの視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを含み得る。例えば、図４Ａに示されているように、デバイス１１０６は、ユーザ１１０２が「ヘイ、アシスタント」と発言していることを検出する。ユーザがデジタルアシスタントセッションを呼び出したか否かを判断するために、１つ以上の可能なトリガ入力が、まとめて、又は単独で、考慮され得る。

【0106】

ここで図４Ｂを参照すると、ユーザ入力がデジタルアシスタントセッションを開始するための１つ以上の基準を満たしているという判断に従って、第１のデジタルアシスタントセッションが開始される。例えば、図４Ｂに示されているように、デジタルアシスタントセッションを開始するための基準は、既定の音声トリガ（例えば、「ヘイ、アシスタント」）を照合する基準を含み得る。したがって、（図４Ａのように）ユーザ１１０２が例示されているようにトリガフレーズ「ヘイ、アシスタント」を発言すると、デジタルアシスタントセッションが開始される。

【0107】

第１のデジタルアシスタントセッションを開始することは、ＣＧＲ環境１１０４内の第１のロケーション（例えば、第１のポジション）でデジタルアシスタントオブジェクト１１２０のインスタンスを生成することを含む。図４Ｂに示されているように、デジタルアシスタントオブジェクト１１２０は、ユーザ１１０２の背後の第１のロケーションに位置する仮想（例えば、ＶＲ）球体である。したがって、デジタルアシスタントオブジェクト１１２０の第１のポジションは、デジタルアシスタントセッションが開始される時点で現在表示されている部分１１０８Ｂの外にある（例えば、その中では見えない）。

【0108】

いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０の第１のロケーションは、物理的環境の特徴、ＣＧＲ環境１１０４の特徴、ユーザ１１０２のロケーション、ポジション、又は姿勢、存在し得る他のユーザのロケーション、ポジション、又は姿勢など、１つ以上の環境要因に基づいて判断され得る。例えば、図４Ｂに示されているように、デジタルアシスタントオブジェクト１１２０の第１のロケーションは、ユーザ１１０２がＣＧＲ環境の中で立っている場所とユーザ１１０２が見ている方向とに基づいて、ユーザ１１０２が現在見ることができないロケーション（例えば、現在表示されている部分１１０８Ｂの外のロケーション）となるように選択される。

【0109】

いくつかの実施形態において、デバイス１１０６は、デジタルアシスタントセッションの状態を示す出力を提供し得る。状態出力は、２つ以上の異なる状態から選択された状態を表す２つ以上の異なる出力から選択され得る。例えば、２つ以上の状態は、アクティブ及びパッシブリスニング状態に更に細分され得るリスニング状態、応答状態、思考（例えば、処理）状態、注意獲得状態などを含み得、これらは視覚、聴覚、及び／又は触覚出力によって示され得る。例えば、図４Ｂに示されているように、デジタルアシスタントオブジェクト１１２０（例えば、仮想球体）の外観は、球体の中央に渦巻きの形状を含み、デジタルアシスタントオブジェクト１１２０がリスニング状態にあることを示している。図２Ａ～図２Ｅに関して説明されているように、会話の状態が進むにつれて、異なる状態を表す更新された状態出力が提供され得る。

【0110】

ここで図４Ｂ～４Ｃを参照すると、第１のデジタルアシスタントセッションを開始することは、現在表示されている部分１１０８Ｃの中で第２に移動するデジタルアシスタントオブジェクト１１２０を動画化することを更に含む。すなわち、デジタルアシスタントオブジェクト１１２０は、ＣＧＲ環境１１０４の中を移動してユーザ１１０２に見えるようになる。

【0111】

いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０の再配置を動画化することは、第１のロケーションと現在表示されている部分１１０８Ｃの中にある第２のロケーションとの間の経路の一部分に相当する移動経路を判断することを含む。すなわち、図４Ｃに示されているように、デジタルアシスタントオブジェクト１１２０は、初期（例えば、第１の）ロケーションから「視野内に飛んでいき」、ユーザ１１０２に見える最終（例えば、第２の）ロケーションで止まるように動画化される。

【0112】

いくつかの実施形態において、移動経路は、ＣＧＲ環境の現在表示されている部分（単数又は複数）１１０８Ｂ及び１１０８Ｃの中に位置する１つ以上のオブジェクト（例えば、物理的又は仮想オブジェクト）を通過しないように判断される。例えば、図４Ｃに示されているように、移動経路は、あたかもデジタルアシスタントオブジェクト１１２０がＣＧＲ環境の中の「素早く身をかわす」オブジェクトであるかのように、ユーザ１１０２が位置する部屋の中の（物理的な）家具と、又はＣＧＲ環境１１０４内の仮想オブジェクト（例えば、仮想オブジェクト１１１８Ｃ）と、交差しない。

【0113】

いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０の第２のロケーションは、物理的環境の特徴、ＣＧＲ環境１１０４の特徴、ユーザ１１０２のロケーション、ポジション、又は姿勢、存在し得る他のユーザのロケーション、ポジション、又は姿勢など、１つ以上の環境要因に基づいて判断され得る。例えば、図４Ｃに示されているように、デジタルアシスタントオブジェクト１１２０の第２のロケーションは、（例えば、ユーザ１１０２のポジションに基づいて）ユーザ１１０２に見えるように、且つ物理的オブジェクト（テレビ１１１４など）及び／又は仮想オブジェクト１１１８（仮想オブジェクト１１１８Ｃなど）との衝突（例えば、視覚的な干渉）を回避するように、選択される。

【0114】

ここで図４Ｃを参照すると、いくつかの実施形態において、デバイス１１０６は、（例えば、１つ以上のセンサを使用して）第２のユーザ入力を検出する。次いで、デバイス１１０６は、例えば自然言語処理法を用いて、第２のユーザ入力の意図を判断する。判断された意図に基づいて応答出力が提供される。例えば、図４Ｃに示されているように、デバイス１１０６は、デジタルアシスタントオブジェクト１１２０を再配置する意図に相当する要求「棚に座ってください」をユーザ１１０２が発話していることを検出する。

【0115】

ここで図４Ｄを参照すると、判断された意図がデジタルインテントオブジェクト１１２０を再配置することに関連する実施形態において、応答出力を提供することは、第２のユーザ入力から第３のロケーションを判断することを含む。デジタルアシスタントオブジェクト１２０は、次いで、第３のロケーションに配置され、第３のロケーションが現在表示されている部分１１０８Ｄの中にあるという判断に従って、デジタルアシスタントオブジェクト１１２０は、ＣＧＲ環境１１０４内の第３のロケーションに表示される。

【0116】

例えば、図４Ｃに示されているユーザ入力に基づいて、図４Ｄでは、判断された第３のロケーションは、ＣＧＲ環境１１０４内の（物理的な）棚上のロケーションであり、したがって、デジタルアシスタントオブジェクト１１２０は、（ユーザ１１０２の真正面の）第２のロケーションから棚上の第３のロケーションに移動する。棚は現在表示されている部分１１０８の中にあるので、デバイス１１０６は、棚の上に「座っている」デジタルアシスタントオブジェクト１１２０を表示する。

【0117】

ここで図４Ｅを参照すると、いくつかの実施形態において、デジタルアシスタントセッションは、例えば、ユーザ１１０２が明示的に（例えば、音声入力、視線入力、ジェスチャ入力、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力などを使用して）デジタルアシスタントを退去させる場合に、又は自動的に（例えば、相互作用なしに所定の閾期間の後に）、終了し得る。デジタルアシスタントセッションが終了すると、デバイス１１０６は、デジタルアシスタントオブジェクト１１２０を退去させる。図４Ｅに示されているように、デジタルアシスタントオブジェクト１１２０の第３のロケーションが現在表示されている部分１１０８Ｅ（例えば、デジタルアシスタントセッションが終了する時点でのユーザ１１０２の現在の視野）の中にある場合、デジタルアシスタントオブジェクト１１２０を退去させることは、デジタルアシスタントオブジェクト１１２０の表示を中止することを含む。

【0118】

いくつかの実施形態において、デジタルアシスタントを退去させることは、退去を示す更なる出力を提供することをも含み得る。退去出力は、聴覚出力（例えば、チャイム、口頭出力など）又は視覚出力（例えば、表示されたオブジェクト、ＣＧＲ環境１１０４の照明の変更など）などの指示を含み得る。例えば、図４Ｅに示されているように、退去出力は、第１のロケーション（例えば、デジタルアシスタントオブジェクト１１２０の初期ロケーション）に配置されたデジタルアシスタントインジケータ１１２２を含み、これにより、別のデジタルアシスタントセッションが開始された場合にデジタルアシスタントオブジェクト９２０が再び出現する場所を示す。第３のロケーションはまだ現在表示されている部分１１０８Ｅ（例えば、第１のデジタルアシスタントセッションが終了した後の時点におけるユーザ１１０２の現在の視野）の中にあるので、デバイス１１０６は、デジタルアシスタントインジケータ１１２２を表示する。

【0119】

いくつかの実施形態において、デジタルアシスタントオブジェクト１１２０を退去させた後に、デバイス１１０６は、第３のユーザ入力を検出する。例えば、図４Ｆに示されているように、デバイス１１０６は、ユーザ入力「ヘイ、アシスタント」をユーザ１１０２が発話していることを検出する。図４Ａに関して上述されているように、第３の入力がデジタルアシスタントセッションを開始するための基準を満たしている（例えば、既定の音声トリガ、視線トリガ、又はジェスチャトリガに一致する）場合は、第２のデジタルアシスタントセッションが開始される。

【0120】

しかしながら、図４Ｆに示されているように、ユーザ１１０２は以前にデジタルアシスタントオブジェクト１１２０を棚に再配置していたので、第２のデジタルアシスタントセッションを開始することは、デジタルアシスタントオブジェクトを第３のロケーションに配置することを含む。すなわち、いくつかの実施形態において、デジタルアシスタントセッションの最中にデジタルアシスタントオブジェクト１１２０を手動で再配置した後には、デジタルアシスタントオブジェクト１１２０のデフォルト（例えば、初期）ロケーションがユーザ１１０２の要求に従って変わる。

【0121】

図４Ａ～図４Ｆを参照して上述されているプロセスは、任意選択的に、図１Ａ～図１Ｂに示されている構成要素によって実施される。例えば、例示されているプロセスの作業は、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。

【0122】

図５Ａ～図５Ｂは、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）環境の中でデジタルアシスタントの表現を配置する方法１２００を示す流れ図である。方法１２００は、１つ以上のプロセッサとメモリとを有する１つ以上の電子デバイス（例えば、デバイス８００ａ、８００ｂ、８００ｃ、及び／又は１１０６）を使用して実行され得る。いくつかの実施形態において、方法１２００は、クライアントサーバシステムを使用して実行され、方法１２００の作業は、クライアントデバイス（例えば、８００ｃ、１１０６）とサーバとで任意の方式で分担される。方法１２００のいくつかの作業は、任意選択的に組み合わされ、いくつかの作業の順序は、任意選択的に変更され、いくつかの作業は、任意選択的に省略される。

【0123】

方法１２００は、ＣＧＲ環境の少なくとも一部分を表示している間に実行される。すなわち、ある特定の時間に、表示されているＣＧＲ環境の特定の部分は、ユーザ（例えば、クライアントデバイス（単数又は複数）のユーザ）の現在の視野を表し、ＣＧＲ環境のその他の部分（例えば、ユーザの背後又はユーザの周辺視野の外）は表示されない。したがって、方法１２００は、例えば、仮想オブジェクトを配置し、且つ「視覚」出力を生成することに言及するが、仮想オブジェクト及び出力のユーザにとっての実際の可視性は、ＣＧＲ環境の現在表示されている特定の部分に応じて異なり得る。「第１の時間」、「第２の時間」、「第１の部分」、「第２の部分」などの用語は、表示される仮想コンテンツを表示されない仮想コンテンツから区別するために使用され、ＣＧＲ環境の一定の順序又は既定の部分を示すことを意図していない。

【0124】

いくつかの実施形態において、方法１２００のＣＧＲ環境は、仮想及び／又は物理的コンテンツ（例えば、物理的デバイス１１１０、１１１２、１１１４、又は１１１６、ユーザ１１０２が位置する部屋の中の家具又は壁、及び図４Ａ～４Ｆに示されている仮想オブジェクト１１８Ａ～Ｃ）を含み得る。ＣＧＲ環境の内容は、静的であり得、又は動的であり得る。例えば、ＣＧＲ環境内の静的な物理的オブジェクトは、物理的な家具、壁、及び天井などを含み得るが、ＣＧＲ環境内の静的な仮想オブジェクトは、ＣＧＲ環境内の一定のロケーションに位置する仮想オブジェクト（例えば、仮想オブジェクト１１１８Ａ～Ｃなどの仮想家具）、又はディスプレイに対して一定のロケーションに位置する仮想オブジェクト（例えば、ＣＧＲ環境の表示された部分にオーバーレイされるヘッドアップディスプレイ）を含み得る。ＣＧＲ環境内の動的な物理的オブジェクトは、ユーザ、他のユーザ、ペットなどを含み得、ＣＧＲ環境内の動的な仮想アイテムは、動くオブジェクト（例えば、仮想キャラクタ、アバター、又はペット）、或いはサイズ、形状、又は形態が変化するオブジェクトを含む。

【0125】

ここで図５Ａを参照すると、ブロック１２０２にでは、方法１２００を実施するデバイス（単数又は複数）の１つ以上のセンサによって第１のユーザ入力が検出される。例えば、１つ以上のセンサは、オーディオセンサ（例えば、マイクロフォン）、振動センサ、運動センサ（例えば、加速度計、カメラなど）、ビジュアルセンサ（例えば、光センサ、カメラなど）、タッチセンサなどを含み得る。

【0126】

いくつかの実施形態において、第１のユーザ入力は、聴覚入力を含む。例えば、第１のユーザ入力は、トリガフレーズ（例えば、「ヘイ、アシスタント」）を含む音声入力を含み得る。いくつかの実施形態において、第１のユーザ入力は、視線入力を含む。例えば、ユーザは、少なくとも閾期間にわたって特定のロケーション（例えば、既定のデジタルアシスタントロケーション、デジタルアシスタントが支援できるオブジェクトのロケーションなど）に視線を向けることができる。いくつかの実施形態において、第１のユーザ入力は、ジェスチャ（例えば、ユーザの身体の動き）入力を含む。例えば、ユーザは、「上げて話す」ジェスチャで手首を上げることができる。いくつかの実施形態において、第１のユーザは、ボタン押下、タップ、コントローラ、タッチスクリーン、又はデバイス入力を入力する。例えば、ユーザは、スマートウォッチデバイス９１０のタッチスクリーンを押し続けることができる。

【0127】

ブロック１２０４では、第１のユーザ入力がデジタルアシスタントセッションを開始するための基準を満たしているという判断に従って、第１のデジタルアシスタントセッションが開始される。

【0128】

【0129】

ブロック１２０４でデジタルアシスタントセッションを開始することは、ブロック１２０６にて、第１の時間にＣＧＲ環境の中であってＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にある第１の（例えば、初期）ロケーションでデジタルアシスタントオブジェクトのインスタンスを生成することを含む。すなわち、ブロック１２０４を実施する電子デバイスは最初に、デジタルアシスタントセッションが開始されるときにデジタルアシスタントオブジェクトがユーザに見えない（例えば、表示されない、又は「画面外」である）ように、デジタルアシスタントオブジェクトをＣＧＲ環境内に配置する。

【0130】

【0131】

いくつかの実施形態において、ブロック１２０８では、ユーザが作業している物理的環境、ユーザのポジション、又は複数のユーザのポジションなど、１つ以上の第１の環境要因に基づいて、ＣＧＲ環境内の第１の（例えば、初期）ロケーションが判断される。１つ以上の第１の環境要因は、例えば、上記で図３Ａのブロック１００６に関して説明されているように、ＣＧＲ環境の特性を含み得る。１つ以上の第１の環境要因はまた、ユーザのポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、第１のロケーションは、ユーザの身体又は頭の向き、又はユーザの視線のポジションに基づいて、ユーザの後ろのロケーションであると判断され得る。

【0132】

デジタルアシスタントオブジェクトは、デジタルアシスタント（例えば、デジタルアシスタントセッションのアバター）を表す仮想オブジェクトである。例えば、デジタルアシスタントオブジェクトは、仮想の球体、仮想のキャラクタ、仮想の光の玉などであってよい。デジタルアシスタントオブジェクトは、デジタルアシスタントセッションを通じて外観及び／又は形態を変えることができ、例えば、外観を、球体から仮想の光の玉に、半透明の球体から不透明の球体に、及び／又は同様に、変えることができる。

【0133】

ブロック１２１０では、第１の時間にＣＧＲ環境の第１の（例えば、現在表示されている）部分の中で第２のロケーションに移動するデジタルアシスタントオブジェクトが動画化される。すなわち、第１の（例えば、初期）ロケーションは、ＣＧＲ環境の第１の（例えば、現在表示されている）部分の外にあるが、デジタルアシスタントオブジェクトはポジションを速やかに変えてユーザに見えるようになり、例えば、ＣＧＲ環境への没入度を低下させることなく、ユーザの注意をデジタルアシスタントセッションに迅速且つ直感的に引き付けることによって、デジタルアシスタントセッションの効率と有効性を高める。

【0134】

いくつかの実施形態において、ブロック１２１２では、ブロック１２０８における第１のロケーションの判断と同様に、１つ以上の第２の環境要因に基づいて第２のロケーションが判断される。

【0135】

１つ以上の第２の環境要因は、ＣＧＲ環境の特性を含み得る。例えば、第２のロケーションは、ＣＧＲ環境の中の物理的又は仮想オブジェクトの静的又は動的なロケーションに基づいて判断され得、例えば、デジタルアシスタントオブジェクトがそれらの他のオブジェクトと衝突しない（例えば、視覚的に交差しない）ようにする。例えば、第２のロケーションは、電子デバイスのロケーションにあるか又はその近くにあると判断され得る。デバイスロケーションは、事前に特定されたロケーションに基づいて（例えば、ユーザが手動でデバイスロケーションを特定し、タグ付け）、画像センサデータの視覚的解析に基づいて（例えば、デバイスを認識又は視覚的に理解するために画像センサデータを解析）、他のセンサ又は接続データの解析などに基づいて（例えば、概ね近傍の場合にＢｌｕｅｔｏｏｔｈ接続を使用）、判断され得る

【0136】

１つ以上の第２の環境要因はまた、ユーザのポジション（例えば、ロケーション及び／又は姿勢）を含み得る。例えば、第１のロケーションは、ユーザの身体又は頭の向き、又はユーザの視線のポジションに基づいて、ユーザの正面にある及び／又はユーザに見えるロケーションであると判断され得る。

【0137】

いくつかの実施形態において、ＣＧＲ環境の第１の部分の中で第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することは、第１のロケーションで消失し、第２のロケーションで再び出現する（例えば、あるロケーションから別のロケーションに、瞬時に、又は所定の遅延を伴って、テレポートする）デジタルアシスタントオブジェクトを動画化することを含む。

【0138】

いくつかの実施形態において、ブロック１２１４では、移動経路が判断される。いくつかの実施形態において、移動経路は、第１のロケーションと第１の時間にＣＧＲ環境の第１の（例えば、現在表示されている）部分の中にある第２のロケーションとの間の経路の一部分に相当する。すなわち、第２のロケーションに移動するデジタルアシスタントオブジェクトを動画化することは、デジタルアシスタントオブジェクトが第２のロケーションに到達するために取るべき目に見える動きを判断することを含む。例えば、デジタルアシスタントオブジェクトは、単純に最も短い（例えば、最も直接的な）経路を取ってよく、又は滑らかな「飛行」経路など特定の可視効果を達成するより長い経路、跳ねる、上下する、及び曲がりくねるといった異質な動きを伴う経路などを取ってもよい。

【0139】

いくつかの実施形態において、移動経路は、第１の時間にＣＧＲ環境の第１の（例えば、現在表示されている）部分の中に位置する少なくとも１つの追加のオブジェクトを移動経路が通過しないように判断される。例えば、デジタルアシスタントオブジェクトの移動経路はコンテキストアウェアであってよく、ＣＧＲ環境の中の他の物理的又は仮想オブジェクトを避ける又はかわすように移動する。デジタルアシスタントオブジェクトはまた、部屋に駆け込む（現実の物理的な）ペット、ＣＧＲ環境の別のユーザ、又は動く仮想オブジェクト（図４Ａ～図４Ｆの仮想オブジェクト１１１８Ａ～Ｃなど）など、動的なオブジェクトをかわすことが可能であり得る。

【0140】

いくつかの実施形態において、ブロック１２１６では、（例えば、第１のデジタルアシスタントセッションの開始後のある時点に）第２のユーザ入力が検出される。例えば、第２のユーザ入力は、口頭によるコマンド、質問、要求、ショートカットなどの口頭入力を含み得る。別の実施例として、第２のユーザ入力はまた、身ぶりによるコマンド、質問、要求などのジェスチャ入力、ＣＧＲ環境との相互作用を表すジェスチャ（例えば、仮想オブジェクトを「掴む」及び「落とす」）などを含み得る。別の実施例として、第２のユーザ入力は、視線入力を含み得る。

【0141】

いくつかの実施形態において、ブロック１２１８では、第２のユーザ入力の意図が判断される。意図は、１つ以上のパラメータを使用して実行され得る１つ以上のタスクに対応し得る。例えば、第２のユーザ入力が口頭又は身ぶりによるコマンド、質問、又は要求を含む場合は、図４Ｃに示されている口頭ユーザ入力「棚に座ってください」からオーディオを再生する意図を判断するなど、自然言語処理技術を用いて意図が判断され得る。別の実施例として、第２のユーザ入力がジェスチャを含む場合は、ジェスチャのタイプ（単数又は複数）、ジェスチャのロケーション（単数又は複数）、及び／又はＣＧＲ環境内の様々なオブジェクトのロケーションに基づいて、意図が判断され得る。例えば、掴んで落とすタイプのジェスチャは、「掴む」ジェスチャのロケーション又はその近くに配置された仮想オブジェクトを「落とす」ジェスチャのロケーションに移動させる意図に対応し得る。

【0142】

いくつかの実施形態において、第２のユーザ入力の意図の判断は専ら、デジタルアシスタントオブジェクトの現在のロケーションが、第２のユーザ入力が受け取られる時点にＣＧＲ環境の現在表示されている部分の中にあるという判断に従って行われる。すなわち、ユーザが物理的な部屋の中の別の人又はマルチプレーヤゲームの中の別のプレーヤと話すなど、検出されるユーザ入力にはデジタルアシスタントセッションを対象としないものもある。ユーザがデジタルアシスタントオブジェクトを見ている（又はその近くにいる）間に受け取られたユーザ入力のみを処理し、且つそれのみに応答することで、例えば、意図されていない相互作用が生じる見込みが低下し、デジタルアシスタントセッションの効率が向上する。

【0143】

いくつかの実施形態において、ブロック１２２０では、判断された意図に基づいて第１の出力が提供される。第１の出力を提供することは、判断された意図に対応する１つ以上のタスクを実行させることを含み得る。例えば、図４Ａ～図４Ｆに示されているように、口頭ユーザ入力「棚に座ってください」に対して、第２の出力は、ＣＧＲ環境の中でデジタルアシスタントオブジェクト１１２０を棚に再配置することを含む。別の実施例として、身ぶりによる入力「何時ですか？」に対して、第１の出力は、時計の文字盤を示すウィジェットを表示することを含み得る。

【0144】

いくつかの実施形態において、判断された意図に基づいて第２の出力を提供することは、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するか否かを判断することを含む。例えば、第２のユーザ入力は、図４Ａ～図４Ｆに示されている口頭出力「棚に座ってください」や掴んで落とすジェスチャ入力など、デジタルアシスタントを再配置する明示的な要求を含み得る。別の実施例として、第２のユーザ入力は、デジタルアシスタントオブジェクトの現在のロケーションを起点とし、ＣＧＲ環境の表示された部分を横切って移動し、新たなロケーションで止まる、特定の視線入力を含み得る。

【0145】

判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、第２のユーザ入力から第３のロケーションが判断される。例えば口頭入力「棚に座ってください」から「棚の上」の第３のロケーションが判断され得、掴んで落とすジェスチャ入力から「落とす」ジェスチャに位置する若しくはその近くに位置する第３のロケーションが判断され得、又は視線入力からユーザの視線のロケーションに位置する若しくはその近くに位置する第３のロケーションが判断され得る。

【0146】

更に、判断された意図がデジタルアシスタントオブジェクトを再配置することに関連するという判断に従って、デジタルアシスタントオブジェクトは第２のロケーションに配置される。（例えば、第２の時間に）ＣＧＲ環境の現在表示されている（例えば、第２の）部分の中に第３のロケーションがあるという判断に従って、デジタルアシスタントオブジェクトはＣＧＲ環境内の第３のロケーションに表示される。すなわち、デジタルアシスタントオブジェクトを、第２のユーザ入力が検出されたときのそのロケーションから第２のユーザ入力から判断された第３のロケーションに再配置する間に、デジタルアシスタントオブジェクトは、そのロケーションがユーザの現在の視野内に留まる限りは、表示される（例えば、あるロケーションから別のロケーションへのデジタルアシスタントオブジェクトの移動を動画化することを含む）。

【0147】

いくつかの実施形態において、判断された意図に基づいて第１の出力を提供することは、判断された意図が、ＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクト（例えば、物理的又は仮想オブジェクト）に関連するか否かを判断することを含む。判断された意図がＣＧＲ環境内のオブジェクトロケーションに位置するオブジェクトに関連するという判断に従って、デジタルアシスタントはオブジェクトロケーションに近い第４のロケーションに配置される。すなわち、デジタルアシスタントオブジェクトが関連するオブジェクトの近くに移動して、そのオブジェクトとの相互作用を示し、及び／又はそのオブジェクト若しくは相互作用に注意を引く。例えば、図４Ａ～図４Ｆに示されているＣＧＲ環境１１０４において、「コンソールテーブル上には何がありますか？」といった口頭ユーザ入力に対し、デジタルアシスタントオブジェクト１１２０は、コンソールテーブル上の仮想オブジェクト１１１８Ｃの近くに移動でき、その後その仮想オブジェクトに関するより多くの情報を提供する。

【0148】

いくつかの実施形態において、ブロック１２２２では、第１の出力の１つ以上の特性に基づいて、第２の出力が提供される。第２の出力の１つ以上の特性は、第２の出力のタイプ（例えば、視覚、聴覚、又は触覚）、（例えば、ＣＧＲ環境内で実行されるタスクのための）ＣＧＲ環境内の第２の出力のロケーションなどを含み得る。例えば、図４Ａ～図４Ｆに示されているように、口頭ユーザ入力「棚に座ってください」に対して、第２の出力は、棚への実際の移動とともに口頭出力「Ｏｋ！」を含み得る。別の実施例として、身ぶりによる入力「何時ですか？」に対して、第２の出力は、表示された時計ウィジェット（例えば、第１の出力）の近くで跳ねる又は小刻みに揺れるデジタルアシスタントオブジェクトを動画化することを含み得る。説明されているように第２の出力を提供することによって、例えば、要求されたタスクの実行及び／又は完了がユーザに直ちに明らかではない場合には、その実行及び／又は完了にユーザの注意を引き付けることによって、デジタルアシスタントセッションの効率が向上する。

【0149】

いくつかの実施形態において、ブロック１２２４では、２つ以上の異なる出力から選択された第４の出力が提供されて、２つ以上の異なる状態から選択された第１のデジタルアシスタントセッションの状態を示す。第１のデジタルアシスタントセッションの２つ以上の異なる状態は、１つ以上のリスニング状態（例えば、アクティブ又はパッシブリスニング）、１つ以上の応答状態、１つ以上の処理（例えば、思考）状態、１つ以上の失敗状態、１つ以上の注意獲得状態、及び／又は１つ以上の遷移（例えば、移動、出現、又は消失）状態を含み得る。異なる出力と異なる状態との間には一対一の対応関係が存在し得、１つ以上の状態が同じ出力によって表され得、又は１つ以上の出力が同じ状態（又は同じ状態のバリエーション）を表し得る。

【0150】

例えば、図４Ａ～図４Ｆに示されているように、デジタルアシスタントオブジェクト１１２０は、最初にユーザの注意を引き（例えば、第２のロケーションのポジションに移動）、ユーザ入力に応答する／ユーザの注意を応答に引き付ける間に、異なる外観を呈する。他の第４の（例えば、状態）出力は、デジタルアシスタントオブジェクトのサイズの変更、動きの動画化、聴覚出力（例えば、デジタルアシスタントオブジェクトの現在のロケーションから「発する」指向性音声出力）、照明効果の変化、他の視覚出力、触覚出力などを含み得る。

【0151】

第１のデジタルアシスタントセッション中の任意の時点で、（例えば、ユーザが視点を変えるのに応じて）ＣＧＲ環境の現在表示されている部分が更新され、デジタルアシスタントオブジェクトの現在のロケーションが現在表示されている部分にもはや含まれなくなった（例えば、ユーザにもはや見えなくなった）場合は、デジタルアシスタントの現在のポジションを示す出力が提供され得る。例えば、現在のポジションを示す追加の出力は、図３Ａ～３Ｂとブロック１００８に関して上述されているように提供され得る（例えば、空間聴覚出力、視覚出力、触覚出力など）。

【0152】

いくつかの実施形態において、第１のデジタルアシスタントセッションは、例えば、ユーザによる明示的な退去の際に、又は相互作用なしに閾期間が経過した後に、終了する。第１のデジタルアシスタントセッションが終了すると、ブロック１２２６でデジタルアシスタントオブジェクトが退去させられる（例えば、ＣＧＲ環境から除去される）。デジタルアシスタントセッションが終了する時点でデジタルアシスタントオブジェクトがＣＧＲ環境の表示されている部分の中に位置する場合、デジタルアシスタントオブジェクトを退去させることは、デジタルアシスタントオブジェクトの表示を中止することを含む。

【0153】

いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させるときには、デジタルアシスタントオブジェクトの退去を示す第３の出力が提供される。第３の出力は、１つ以上の視覚出力（例えば、かすかな光、ＣＧＲ環境内の照明をデジタルアシスタントセッション前の状態に戻すことなど）、１つ以上の聴覚出力（例えば、「バイ」などの口頭出力、チャイムなど）、１つ以上の触覚出力などを含み得る。例えば、図４Ｅに示されているように、第３の出力を提供することは、第３のロケーションにデジタルアシスタントインジケータ１１２２を配置することを含み得る。第３の出力は、第１のデジタルアシスタントセッションが終了したことをユーザに示すことができ、ユーザが後続の呼び出しにおいてより速やかにデジタルアシスタントオブジェクトの位置を特定する（例えば、デジタルアシスタントオブジェクトを見つける）のに役立つことができる。

【0154】

いくつかの実施形態において、デジタルアシスタントオブジェクトを退去させた後には、第３のユーザ入力が検出される。第３のユーザ入力は、第１のユーザ入力（例えば、第１のデジタルアシスタントセッションを呼び出すユーザ入力）に関して説明されているように、聴覚入力、視線入力、ジェスチャ入力、又はデバイス入力（例えば、ボタン押下、タップ、スワイプなど）であり得る。（例えば、ブロック１２０４に関して上述されているように）第３のユーザ入力がデジタルアシスタントセッションを開始するための少なくとも１つの基準を満たしているという判断に従って、第２のデジタルアシスタントセッションが開始される。

【0155】

デジタルアシスタントオブジェクトを再配置することに関連する第２のユーザ入力が第１のデジタルアシスタントセッション中に受け取られた実施形態において、第２のデジタルアシスタントセッションを開始することは、第３のロケーション（例えば、第２のユーザ入力で要求されたロケーション）にデジタルアシスタントオブジェクトを配置すること（例えば、そのインスタンスを生成すること）を含む。すなわち、図４Ａ～４Ｆに示されているように、ユーザがデジタルアシスタントオブジェクトを明示的に移動させた後には、ユーザによって選択されたロケーションが、後続の呼び出しのときにデジタルアシスタントオブジェクトが出現する新しい「デフォルト」位置になる。

【0156】

図５Ａ～図５Ｂを参照して上述されているプロセスは、任意選択的に、図１Ａ～図１Ｂに示されている構成要素によって実施される。例えば、例示されている方法の作業は、システム７００を実装するものなど、電子デバイス（例えば、８００ａ、８００ｂ、８００ｃ、又は９０６）によって実施され得る。図１Ａ～図１Ｂに示されている構成要素に基づいて他のプロセスがどのように実施されるかは、当業者には明らかであろう。

【0157】

一部の実装形態によれば、コンピュータ可読記憶媒体（例えば、非一時的コンピュータ可読記憶媒体）が提供され、このコンピュータ可読記憶媒体は、電子デバイスの１つ以上のプロセッサによって実行される１つ以上のプログラムを記憶し、それら１つ以上のプログラムは、本明細書で説明される方法又はプロセスのうちのいずれかを実行する命令を含む。

【0158】

一部の実装形態によれば、本明細書で説明される方法又はプロセスのうちのいずれかを実行する手段を備える、電子デバイス（例えば、ポータブル電子デバイス）が提供される。

【0159】

一部の実装形態によれば、本明細書で説明される方法又はプロセスのうちのいずれかを実行するように構成された処理ユニットを備える、電子デバイス（例えば、ポータブル電子デバイス）が提供される。

【0160】

一部の実装形態によれば、１つ以上のプロセッサと、その１つ以上のプロセッサによって実行するための１つ以上のプログラムを記憶しているメモリとを備え、それら１つ以上のプログラムが、本明細書で説明される方法又はプロセスのうちのいずれかを実行する命令を含む、電子デバイス（例えば、ポータブル電子デバイス）が提供される。

【0161】

上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本技術の原理、及びそれらの実際の用途を最も良く説明するために、実施形態が選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。

【0162】

添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。

【図1A】