特表 2024-541820 行動検出及び行動介入を実施するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】行動検出及び行動介入を実施するためのシステム及び方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241106BHJP

   G16H 50/30 20180101ALI20241106BHJP

【ＦＩ】

G06T19/00 600

G16H50/30

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024520793

(86)(22)【出願日】2021-10-29

(85)【翻訳文提出日】2024-04-04

(86)【国際出願番号】 CN2021127351

(87)【国際公開番号】W WO2023070510

(87)【国際公開日】2023-05-04

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵ―ＲＡＹ ＤＩＳＣ

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ゲスト、ダニエル・ジェームズ

(72)【発明者】

【氏名】チェン、ウェン

(72)【発明者】

【氏名】ランプ、キャサリン・ビクトリア

(72)【発明者】

【氏名】ダイ、イージエ

【テーマコード（参考）】

5B050

5L099

【Ｆターム（参考）】

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050BA18

5B050BA20

5B050CA07

5B050CA08

5B050DA04

5B050EA10

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA06

5L099AA15

(57)【要約】

１つ又は複数の行動を予測し、行動に基づいて１つ又は複数の介入を生成するための、システム及び技法が説明される。例えば、システム（例えば、エクステンデッドリアリティ（ＸＲ）デバイス）は、ＸＲデバイスのユーザに関連付けられた行動情報を取得することができ、行動情報に基づいて、ユーザがある行動をとる尤度を決定することができる。システムは、決定された尤度が尤度閾値を超えていることに基づいて、介入を決定することができる。システムは、介入を生成する（例えば、表示する又は別様に出力する）ことができる。システムは、介入を生成した後に、ユーザがその行動をとったかどうかを判定することができ、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定することができる。システムは、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信することができる。

【特許請求の範囲】

【請求項1】

１つ又は複数の介入を生成する方法であって、
エクステンデッドリアリティ（ＸＲ）デバイスによって、前記ＸＲデバイスのユーザに関連付けられた行動情報を取得することと、
前記ユーザがある行動をとる尤度を、前記行動情報に基づいて、前記ＸＲデバイスによって決定することと、
決定された前記尤度が尤度閾値を超えていることに基づいて、前記ＸＲデバイスによって、介入を決定することと、
前記ＸＲデバイスによって、前記介入を生成することと、
前記介入を生成した後に、前記ユーザが前記行動をとったかどうかを判定することと、
前記ユーザが前記行動をとったかどうかに基づいて、前記介入の有効性を判定することと、
１人又は複数の追加のユーザのための介入を決定する際に使用するために、前記介入の前記有効性の指示をサーバに送信することと、
を含む、方法。

【請求項2】

前記介入に関連付けられたコンテキスト情報を、前記サーバに送信することを更に含む請求項１に記載の方法であって、前記介入に関連付けられた前記コンテキスト情報が、時刻、前記ＸＲデバイスの前記ユーザによる、前記介入の前の１つ又は複数のアクション、前記ＸＲデバイスの前記ユーザに関連付けられた前記行動情報、前記ＸＲデバイスの前記ユーザのロケーション、及び前記ＸＲデバイスの前記ユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記ＸＲデバイスの前記ユーザに関連付けられた１つ又は複数の特性を、前記サーバに送信することを更に含む請求項１に記載の方法であって、前記ＸＲデバイスの前記ユーザに関連付けられた前記１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、及び１つ又は複数の身体能力、のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項4】

前記ＸＲデバイスの前記ユーザに関連付けられた前記行動情報を取得することが、前記行動の前兆である１つ又は複数の行動トリガを決定することを含み、前記１つ又は複数の行動トリガが、前記ユーザのストレスレベル、前記ユーザの心拍数、前記ＸＲデバイスの視野内のオブジェクト、前記ユーザが位置しているロケーション、前記行動情報が取得される時間、前記ユーザに近接している１人又は複数の人、及び前記ユーザが行うアクティビティのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記ＸＲデバイスの前記ユーザに関連付けられた前記行動情報を取得することが、前記ユーザが前記行動をとる尤度を示す１つ又は複数の事前行動を決定することを含む、請求項４に記載の方法。

【請求項6】

前記ＸＲデバイスの前記ユーザに関連付けられた前記行動情報を取得することが、前記ＸＲデバイスによって取得された１つ又は複数の画像において、前記行動に関連付けられた１つ又は複数の行動アーチファクトを検出することを含む、請求項１に記載の方法。

【請求項7】

前記介入を生成することが、前記ＸＲデバイスのディスプレイ上に仮想コンテンツを表示することを含み、前記仮想コンテンツが前記ディスプレイによって表示される際に、前記ＸＲデバイスの前記ディスプレイを通して実世界環境を見ることができる、請求項１に記載の方法。

【請求項8】

１つ又は複数の介入を生成するための装置であって、
少なくとも１つのメモリと、
前記少なくとも１つのメモリに結合された少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサが、
前記装置のユーザに関連付けられた行動情報を取得し、
前記行動情報に基づいて、前記ユーザがある行動をとる尤度を決定し、
決定された前記尤度が尤度閾値を超えていることに基づいて、前記行動に関連付けられた介入を決定し、
前記介入を生成し、
前記介入を出力した後に、前記ユーザが前記行動をとったかどうかを判定し、
前記ユーザが前記行動をとったかどうかに基づいて、前記介入の有効性を判定し、
１人又は複数の追加のユーザのための介入を決定する際に使用するために、前記介入の前記有効性の指示をサーバに送信する、
ように構成されている、装置。

【請求項9】

前記少なくとも１つのプロセッサが、
前記介入に関連付けられたコンテキスト情報を、前記サーバに送信するように構成されており、前記介入に関連付けられた前記コンテキスト情報が、時刻、前記装置の前記ユーザによる、前記介入の前の１つ又は複数のアクション、前記装置の前記ユーザに関連付けられた前記行動情報、前記装置の前記ユーザのロケーション、及び前記装置の前記ユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、請求項８に記載の装置。

【請求項10】

前記少なくとも１つのプロセッサが、
前記装置の前記ユーザに関連付けられた１つ又は複数の特性を、前記サーバに送信するように構成されており、前記装置の前記ユーザに関連付けられた前記１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、及び１つ又は複数の身体能力、のうちの少なくとも１つを含む、請求項８に記載の装置。

【請求項11】

前記装置の前記ユーザに関連付けられた前記行動情報を取得するために、前記少なくとも１つのプロセッサが、前記行動の前兆である１つ又は複数の行動トリガを決定するように構成されており、前記１つ又は複数の行動トリガが、前記ユーザのストレスレベル、前記ユーザの心拍数、前記装置の視野内のオブジェクト、前記ユーザが位置しているロケーション、前記行動情報が取得される時間、前記ユーザに近接している１人又は複数の人、及び前記ユーザが行うアクティビティのうちの少なくとも１つを含む、請求項８に記載の装置。

【請求項12】

前記装置の前記ユーザに関連付けられた前記行動情報を取得するために、前記少なくとも１つのプロセッサが、前記ユーザが前記行動をとる尤度を示す１つ又は複数の事前行動を決定するように構成されている、請求項１１に記載の装置。

【請求項13】

前記装置の前記ユーザに関連付けられた前記行動情報を取得するために、前記少なくとも１つのプロセッサが、前記装置によって取得された１つ又は複数の画像において、前記行動に関連付けられた１つ又は複数の行動アーチファクトを検出するように構成されている、請求項８に記載の装置。

【請求項14】

前記介入を生成するために、前記少なくとも１つのプロセッサが、前記装置のディスプレイ上に仮想コンテンツを表示するように構成されており、前記仮想コンテンツが前記ディスプレイによって表示される際に、前記装置の前記ディスプレイを通して実世界環境を見ることができる、請求項８に記載の装置。

【請求項15】

前記装置が、エクステンデッドリアリティ（ＸＲ）デバイスである、請求項８に記載の装置。

【請求項16】

１つ又は複数の介入を生成する方法であって、
第１のユーザ及び第１の介入に関連付けられた第１の介入情報を、サーバによって取得することと、
前記第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新することと、
前記介入ライブラリの更新された前記１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定することと、
を含む、方法。

【請求項17】

前記第１のユーザに関連付けられた前記第１の介入情報が、介入タイプ、前記第１の介入の有効性の指示、前記第１の介入に関連付けられた介入コンテキスト、及び前記第１のユーザに関連付けられた１つ又は複数の特性、のうちの少なくとも１つを含む、請求項１６に記載の方法。

【請求項18】

前記介入ライブラリの更新された前記１つ又は複数のパラメータに基づいて、前記第３のユーザのための前記第３の介入を決定することが、
前記第３のユーザに関連付けられた第３の介入情報を、前記サーバによって取得することと、
前記第３のユーザに関連付けられた前記第３の介入情報と、前記介入ライブラリに関連付けられた第４の介入情報との間の相関を決定することと、
前記第３の介入情報と前記第４の介入情報との間の前記相関が相関閾値を超えていることに基づいて、前記第３の介入を決定することと、
前記第３の介入を、前記第３のユーザに関連付けられたデバイスに送信することと、
を含む、請求項１６に記載の方法。

【請求項19】

前記第１の介入情報が、前記第１の介入に関連付けられたコンテキスト情報を含む、請求項１６に記載の方法。

【請求項20】

前記第１の介入に関連付けられた前記コンテキスト情報が、時刻、前記第１のユーザによる、前記第１の介入の前の１つ又は複数のアクション、前記第１のユーザに関連付けられた前記第１の介入情報、前記第１のユーザのロケーション、及び前記第１のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、請求項１９に記載の方法。

【請求項21】

前記第１の介入情報が、前記第１のユーザに関連付けられた１つ又は複数の特性を含む、請求項１６に記載の方法。

【請求項22】

前記第１のユーザに関連付けられた前記１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、及び性格タイプのうちの少なくとも１つを含む、請求項２１に記載の方法。

【請求項23】

第５のユーザ及び第５の行動に関連付けられた第５の行動情報を、前記サーバによって取得することと、
前記第５の行動情報に基づいて、第６のユーザに関連付けられた第６の行動情報に少なくとも部分的に基づく、行動ライブラリの１つ又は複数のパラメータを更新することと、
前記介入ライブラリの更新された前記１つ又は複数のパラメータに基づいて、第７のユーザのための１つ又は複数の行動パラメータを決定することと、
を更に含む、請求項１６に記載の方法。

【請求項24】

前記第７のユーザのための前記１つ又は複数の行動パラメータが、前記第５の行動に関連付けられた、行動トリガ、事前行動、及び行動アーチファクトのうちの少なくとも１つを含む、請求項２３に記載の方法。

【請求項25】

前記第７のユーザのための前記１つ又は複数の行動パラメータが、前記第７のユーザが前記第５の行動を実行する又は実行しない尤度を決定することに関連付けられた、１つ又は複数の重み付けを含む、請求項２３に記載の方法。

【請求項26】

前記第５の行動情報が、前記第５のユーザに関連付けられた１つ又は複数の特性を含む、請求項２３に記載の方法。

【請求項27】

前記第５の行動情報が、前記第５の行動に関連付けられたコンテキスト情報を含む、請求項２３に記載の方法。

【請求項28】

１つ又は複数の介入を生成するためのシステムであって、
少なくとも１つのメモリと、
前記少なくとも１つのメモリに結合された少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサが、
第１のユーザ及び第１の介入に関連付けられた、第１の介入情報を取得し、
前記第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新し、
前記介入ライブラリの更新された前記１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定する、
ように構成されている、システム。

【請求項29】

前記第１のユーザに関連付けられた前記第１の介入情報が、介入タイプ、前記第１の介入の有効性の指示、前記第１の介入に関連付けられた介入コンテキスト、及び前記第１のユーザに関連付けられた１つ又は複数の特性、のうちの少なくとも１つを含む、請求項２８に記載のシステム。

【請求項30】

前記介入ライブラリの更新された前記１つ又は複数のパラメータに基づいて、前記第３のユーザのための前記第３の介入を決定するために、前記少なくとも１つのプロセッサが、
前記第３のユーザに関連付けられた第３の介入情報を取得し、
前記第３のユーザに関連付けられた前記第３の介入情報と、前記介入ライブラリに関連付けられた第４の介入情報との間の相関を判定し、
前記第３の介入情報と前記第４の介入情報との間の前記相関が相関閾値を超えていることに基づいて、前記第３の介入を決定し、
前記第３の介入を、前記第３のユーザに関連付けられたデバイスに送信する、
ように構成されている、請求項２８に記載のシステム。

【請求項31】

前記第１の介入情報が、前記第１の介入に関連付けられたコンテキスト情報を含む、請求項２８に記載のシステム。

【請求項32】

前記第１の介入に関連付けられた前記コンテキスト情報が、時刻、前記第１のユーザによる、前記第１の介入の前の１つ又は複数のアクション、前記第１のユーザに関連付けられた前記第１の介入情報、前記第１のユーザのロケーション、及び前記第１のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、請求項３１に記載のシステム。

【請求項33】

前記第１の介入情報が、前記第１のユーザに関連付けられた１つ又は複数の特性を含む、請求項２８に記載のシステム。

【請求項34】

前記第１のユーザに関連付けられた前記１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、及び性格タイプのうちの少なくとも１つを含む、請求項３３に記載のシステム。

【請求項35】

前記少なくとも１つのプロセッサが、
第５のユーザ及び第５の行動に関連付けられた、第５の行動情報を取得し、
前記第５の行動情報に基づいて、第６のユーザに関連付けられた第６の行動情報に少なくとも部分的に基づく、行動ライブラリの１つ又は複数のパラメータを更新し、
前記介入ライブラリの更新された前記１つ又は複数のパラメータに基づいて、第７のユーザのための１つ又は複数の行動パラメータを決定する、
ように構成されている、請求項２８に記載のシステム。

【請求項36】

前記第７のユーザのための前記１つ又は複数の行動パラメータが、前記第５の行動に関連付けられた、行動トリガ、事前行動、及び行動アーチファクトのうちの少なくとも１つを含む、請求項３５に記載のシステム。

【請求項37】

前記第７のユーザのための前記１つ又は複数の行動パラメータが、前記第６のユーザが前記第５の行動を実行する又は実行しない尤度を決定することに関連付けられた、１つ又は複数の重み付けを含む、請求項３５に記載のシステム。

【請求項38】

前記第５の行動情報が、前記第５のユーザに関連付けられた１つ又は複数の特性を含む、請求項３５に記載のシステム。

【請求項39】

前記第５の行動情報が、前記第５の行動に関連付けられたコンテキスト情報を含む、請求項３５に記載のシステム。

【請求項40】

前記システムが、少なくとも１つのサーバを含む、請求項２８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、概して、行動検出及び行動介入に関する。いくつかの例では、本開示の態様は、行動に影響を与えるために行動検出及び介入を実施するためのシステム及び技法に関する。

【背景技術】

【0002】

[0002] 慢性疾患は、世界における死亡及び障害の主要な原因であり、社会及び政府にとって莫大な医療費を伴う疾患の世界的負担の約３分の２の一因となっている。

【0003】

[0003] 慢性疾患の大部分は生活習慣因子に起因する場合があり、したがって健康的な行動をとることによって予防可能である。例えば、米国の成人の間では、２型糖尿病の９０％超、心血管疾患の８０％、脳卒中の７０％、及び結腸がんの７０％が、禁煙すること、健康的な体重を維持すること、適度な身体アクティビティを行うこと、健康的な食事を維持すること、及び適度なアルコール摂取を順守することの組み合わせによって潜在的に予防可能である。行動に変化を起こすことは複雑で時間がかかり、人に、常習的な生活習慣を中断させると同時に、新たな、おそらくは不慣れな一連のアクションを促すことを必要とする。

【発明の概要】

【0004】

[0004] いくつかの例では、ユーザの目標（又はターゲット行動）に従ってユーザ行動に影響を与えるための行動検出及び行動介入を実施するための、システム及び技法が説明される。少なくとも１つの例示的な例によれば、１つ又は複数の介入を生成する方法が提供される。方法は、エクステンデッドリアリティ（extended reality、ＸＲ）デバイスによって、ＸＲデバイスのユーザに関連付けられた行動情報を取得することと、ユーザがある行動をとる尤度を、行動情報に基づいてＸＲデバイスによって決定することと、決定された尤度が尤度閾値を超えていることに基づいて、ＸＲデバイスによって、介入を決定することと、ＸＲデバイスによって、介入を生成することと、介入を生成した後に、ユーザがその行動をとったかどうかを判定することと、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定することと、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信することと、を含む。

【0005】

[0005] 別の例示的な例では、１つ又は複数の介入を生成するための装置（例えば、エクステンデッドリアリティ（ＸＲ）デバイス）が提供される。装置は、少なくとも１つのメモリ（例えば、センサデータ、１つ又は複数の画像などのデータを記憶するように構成された）と、少なくとも１つのメモリに結合された少なくとも１つのプロセッサ（例えば、回路内で実装された）とを含む。少なくとも１つのプロセッサは、装置のユーザに関連付けられた行動情報を取得し、行動情報に基づいて、ユーザがある行動をとる尤度を決定し、決定された尤度が尤度閾値を超えていることに基づいて、行動に関連付けられた介入を決定し、介入を生成し、介入を出力した後に、ユーザがその行動をとったかどうかを判定し、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定し、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信する、ように構成されている。

【0006】

[0006] 別の例では、命令を記憶した非一時的コンピュータ可読媒体が提供され、命令は、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサに、ＸＲデバイスのユーザに関連付けられた行動情報を取得させ、行動情報に基づいて、ユーザがある行動をとる尤度を決定させ、決定された尤度が尤度閾値を超えていることに基づいて、行動に関連付けられた介入を決定させ、介入を生成させ、介入を出力した後に、ユーザがその行動をとったかどうかを判定させ、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定させ、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信させる。

【0007】

[0007] 別の例では、１つ又は複数のフレームを処理するための装置（例えば、エクステンデッドリアリティ（ＸＲ）デバイス）が提供される。装置は、ＸＲデバイスのユーザに関連付けられた行動情報を取得するための手段と、行動情報に基づいて、ユーザがある行動をとる尤度を決定するための手段と、決定された尤度が尤度閾値を超えていることに基づいて、行動に関連付けられた介入を決定するための手段と、介入を生成するための手段と、介入を出力した後に、ユーザがその行動をとったかどうかを判定するための手段と、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定するための手段と、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信するための手段と、を含む。

【0008】

[0008] いくつかの態様では、上記で説明した方法、装置、及びコンピュータ可読媒体は、介入に関連付けられたコンテキスト情報を、サーバに送信することを含むことができ、介入に関連付けられたコンテキスト情報は、時刻、ＸＲデバイス（又は装置）のユーザによる、介入の前の１つ又は複数のアクション、ＸＲデバイス（又は装置）のユーザに関連付けられた行動情報、ＸＲデバイスのユーザのロケーション、及びＸＲデバイス（又は装置）のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む。

【0009】

[0009] いくつかの態様では、上記で説明した方法、装置、及びコンピュータ可読媒体は、ＸＲデバイス（又は装置）のユーザに関連付けられた１つ又は複数の特性を、サーバに送信することを含むことができ、ＸＲデバイス（又は装置）のユーザに関連付けられた１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、及び１つ又は複数の身体能力、のうちの少なくとも１つを含む。

【0010】

[0010] いくつかの態様では、ＸＲデバイスのユーザに関連付けられた行動情報を取得するために、上記で説明した方法、装置、及びコンピュータ可読媒体は、行動の前兆である１つ又は複数の行動トリガを決定することを含むことができ、１つ又は複数の行動トリガは、ユーザのストレスレベル、ユーザの心拍数、ＸＲデバイス（又は装置）の視野内のオブジェクト、ユーザが位置しているロケーション、行動情報が取得される時間、ユーザに近接している１人又は複数の人、及びユーザが行うアクティビティのうちの少なくとも１つを含む。

【0011】

[0011] いくつかの態様では、ＸＲデバイス（又は装置）のユーザに関連付けられた行動情報を取得するために、上記で説明した方法、装置、及びコンピュータ可読媒体は、ユーザがその行動をとる尤度を示す１つ又は複数の事前行動を決定することを含むことができる。

【0012】

[0012] いくつかの態様では、ＸＲデバイス（又は装置）のユーザに関連付けられた行動情報を取得するために、上記で説明した方法、装置、及びコンピュータ可読媒体は、ＸＲデバイス（又は装置）によって取得された１つ又は複数の画像において、行動に関連付けられた１つ又は複数の行動アーチファクトを検出することを含むことができる。

【0013】

[0013] いくつかの態様では、介入を生成するために、上記で説明した方法、装置、及びコンピュータ可読媒体は、ＸＲデバイス（又は装置）のディスプレイ上に仮想コンテンツを表示することを含むことができ、仮想コンテンツがディスプレイによって表示される際に、ＸＲデバイス（又は装置）のディスプレイを通して実世界環境を見ることができる。

【0014】

[0014] 別の例示的な例によれば、１つ又は複数の介入を生成する方法が提供される。方法は、第１のユーザ及び第１の介入に関連付けられた第１の介入情報を、サーバによって取得することと、第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新することと、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定することと、を含む。

【0015】

[0015] 別の例示的な例では、１つ又は複数の介入を生成するためのシステム（例えば、少なくとも１つのサーバを含む）が提供される。システムは、少なくとも１つのメモリ（例えば、センサデータ、１つ又は複数の画像などのデータを記憶するように構成された）と、少なくとも１つのメモリに結合された少なくとも１つのプロセッサ（例えば、回路内で実装された）と、を含む。少なくとも１つのプロセッサは、第１のユーザ及び第１の介入に関連付けられた、第１の介入情報を取得し、第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新し、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定する、ように構成されている。

【0016】

[0016] 別の例では、命令を記憶した非一時的コンピュータ可読媒体が提供され、命令は、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサに、第１のユーザ及び第１の介入に関連付けられた、第１の介入情報を取得させ、第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新させ、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定させる。

【0017】

[0017] 別の例では、１つ又は複数のフレームを処理するための装置が提供される。装置は、第１のユーザ及び第１の介入に関連付けられた、第１の介入情報を取得するための手段と、第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新するための手段と、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定するための手段と、を備える。

【0018】

[0018] いくつかの態様では、第１のユーザに関連付けられた第１の介入情報は、介入タイプ、第１の介入の有効性の指示、第１の介入に関連付けられた介入コンテキスト、及び第１のユーザに関連付けられた１つ又は複数の特性、のうちの少なくとも１つを含む。

【0019】

[0019] いくつかの態様では、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定するために、上記で説明した方法、装置、及びコンピュータ可読媒体は、第３のユーザに関連付けられた第３の介入情報を、サーバによって取得することと、第３のユーザに関連付けられた第３の介入情報と、介入ライブラリに関連付けられた第４の介入情報との間の相関を決定することと、第３の介入情報と第４の介入情報との間の相関が相関閾値を超えていることに基づいて、第３の介入を決定することと、第３の介入を、第３のユーザに関連付けられたデバイスに送信することと、を含むことができる。

【0020】

[0020] いくつかの態様では、第１の介入情報は、第１の介入に関連付けられたコンテキスト情報を含む。

【0021】

[0021] いくつかの態様では、第１の介入に関連付けられたコンテキスト情報は、時刻、第１のユーザによる、第１の介入の前の１つ又は複数のアクション、第１のユーザに関連付けられた第１の介入情報、第１のユーザのロケーション、及び第１のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む。

【0022】

[0022] いくつかの態様では、第１の介入情報は、第１のユーザに関連付けられた１つ又は複数の特性を含む。

【0023】

[0023] いくつかの態様では、第１のユーザに関連付けられた１つ又は複数の特性は、性別、年齢、家族状况、ターゲット行動、国、文化、場所、及び性格タイプのうちの少なくとも１つを含む。

【0024】

[0024] いくつかの態様では、上記で説明した方法、装置、及びコンピュータ可読媒体は、第５のユーザ及び第５の行動に関連付けられた第５の行動情報を、サーバによって取得することと、第５の行動情報に基づいて、第６のユーザに関連付けられた第６の行動情報に少なくとも部分的に基づく、行動ライブラリの１つ又は複数のパラメータを更新することと、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第７のユーザのための１つ又は複数の行動パラメータを決定することと、を含むことができる。

【0025】

[0025] いくつかの態様では、第７のユーザのための１つ又は複数の行動パラメータは、第５の行動に関連付けられた、行動トリガ、事前行動、及び行動アーチファクトのうちの少なくとも１つを含む。

【0026】

[0026] いくつかの態様では、第７のユーザのための１つ又は複数の行動パラメータは、第７のユーザが第５の行動を実行する又は実行しない尤度を決定することに関連付けられた、１つ又は複数の重み付けを含む。

【0027】

[0027] いくつかの態様では、第５の行動情報は、第５のユーザに関連付けられた１つ又は複数の特性を含む。

【0028】

[0028] いくつかの態様では、第５の行動情報は、第５の行動に関連付けられたコンテキスト情報を含む。

【0029】

[0029] いくつかの態様では、上記で説明された装置のうちの１つ又は複数は、モバイルデバイス（例えば、携帯電話若しくはいわゆる「スマートフォン」又は他のモバイルデバイス）、ウェアラブルデバイス、エクステンデッドリアリティデバイス（例えば、仮想現実（virtual reality、ＶＲ）デバイス、拡張現実（augmented reality、ＡＲ）デバイス、又は複合現実（mixed reality、ＭＲ）デバイス）、パーソナルコンピュータ、ラップトップコンピュータ、サーバコンピュータ、車両（例えば、車両のコンピューティングデバイス）、又は他のデバイスの一部であるか、若しくはそれらを含む。いくつかの態様では、装置は、１つ又は複数の画像を取り込むための１つのカメラ又は複数のカメラを含む。いくつかの態様では、装置は、１つ又は複数の画像、通知、及び／又は他の表示可能なデータを表示するためのディスプレイを含む。いくつかの態様では、装置は、１つ又は複数のセンサを含むことができる。場合によっては、１つ又は複数のセンサは、装置のロケーション及び／若しくはポーズ、装置の状態を判定するために、かつ／又は他の目的のために使用することができる。いくつかの態様では、装置は、（例えば、聴覚入力及び／又は他の音声若しくはオーディオを取り込むための）１つ又は複数のマイクロフォンを含むことができる。いくつかの態様では、装置は、（例えば、聴覚フィードバック又は他のオーディオ出力を提供するための）１つ又は複数のスピーカを含むことができる。

【0030】

[0030] 本概要は、特許請求される主題の主要な又は必須の特徴を特定することは意図されず、特許請求される主題の範囲を決定するために独立して使用されることも意図されない。本主題は、この特許の明細書全体、いずれか又は全ての図面、及び各請求項の適切な部分を参照することによって理解されるはずである。

【0031】

[0031] 上記については、他の特徴及び実施形態とともに、以下の明細書、特許請求の範囲、及び添付図面を参照すると、より明らかになろう。

【図面の簡単な説明】

【0032】

[0032] 本出願の例示的な実施形態について、以下の図を参照しながら以下で詳細に説明する。

【図1A】[0033] 本開示のいくつかの例による、例示的な介入を示す画像である。

【図1B】本開示のいくつかの例による、例示的な介入を示す画像である。

【図1C】本開示のいくつかの例による、例示的な介入を示す画像である。

【図1D】本開示のいくつかの例による、例示的な介入を示す画像である。

【図1E】本開示のいくつかの例による、例示的な介入を示す画像である。

【図1F】本開示のいくつかの例による、例示的な介入を示す画像である。

【図1G】本開示のいくつかの例による、例示的な介入を示す画像である。

【図2】[0034] 本開示のいくつかの例による、例示的なエクステンデッドリアリティ（ＸＲ）システムを示す簡素化ブロック図である。

【図3】[0035] 本開示のいくつかの例による、ユーザによって装着されているＸＲシステムの例を示す図である。

【図4】[0036] 本開示のいくつかの例による、例示的な学習システムを示すブロック図である。

【図5】[0037] いくつかの例による、１つ又は複数の介入を生成するためのプロセスの一例を示すフロー図である。

【図6】[0038] いくつかの例による、１つ又は複数の介入を生成するためのプロセスの別の例を示すフロー図である。

【図7】[0039] いくつかの例による、１つ又は複数の行動を予測するためのプロセスの一例を示すフロー図である。

【図8】[0040] いくつかの例による、深層学習ネットワークの一例を示すブロック図である。

【図9】[0041] いくつかの例による、畳み込みニューラルネットワークの一例を示すブロック図である。

【図10】[0042] 本明細書で説明する特定の態様を実装するためのコンピューティングシステムの一例を示す図である。

【発明を実施するための形態】

【0033】

[0043] 本開示の特定の態様及び実施形態が、以下で提供される。当業者に明らかになるように、これらの態様及び実施形態のうちのいくつかは独立して適用されてもよく、それらのうちのいくつかは組み合わせて適用されてもよい。以下の説明では、説明の目的のために、本出願の実施形態の完全な理解をもたらすために具体的な詳細が記載される。しかしながら、様々な実施形態がこれらの具体的な詳細なしに実践され得ることが明らかとなろう。図及び説明は限定的であることが意図されていない。

【0034】

[0044] 以下の説明は、例示的な実施形態を提供するにすぎず、本開示の範囲、適用可能性、又は構成を限定することを意図しない。むしろ、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載されるような本出願の範囲から逸脱することなく、要素の機能及び構成において様々な変更が加えられてもよいことを理解されたい。

【0035】

[0045] 先に述べたように、慢性疾患は、世界における死亡及び障害の主要な原因である。そのような慢性疾患の多くは、生活習慣因子に起因し得、健康的な行動の実装形態によって予防又は管理することができる。大部分の慢性疾患（例えば、２型糖尿病、心血管疾患、脳卒中など）は、健康的な生活習慣を導くこと、例えば、禁煙すること、健康的な体重を維持すること、適度な身体アクティビティを実施すること、健康的な食事を維持すること、及び適度なアルコール摂取を順守することなどによって、潜在的に予防又は改善することができる。

【0036】

[0046] しかしながら、行動の変化を起こすことは複雑で時間がかかり、人に、常習的な生活習慣を中断させると同時に、新たな、おそらくは不慣れな一連のアクションを促すことを要求する。人が意思の力のみに頼って行動の変化を成功させることは困難である。人は、任意の所与の瞬間に、その人が望むか又は必要とするものを追求して振る舞う傾向がある。何が良いか又は悪いかについての人の意図及び信念は、それらが、適切な瞬間にターゲット行動をとりたいという十分に強い願望を生み出した場合にのみ、人のアクションに影響を与える。

【0037】

[0047] 人がより健康的な行動を取るように影響を与えるのを助けるために使用することができる技法がある。環境再構築（例えば、家の中に不健康なスナックを有さないこと、人が容易に見てアクセスできる場所に手の消毒剤を置くことなど）、促すもの／手掛かり（例えば、仕事の後のフィットネスクラス用のトレーニング服及び靴を持っていくことを自分自身に思い出させるためにドアにステッカーを貼る）など、広範囲の行動変化技法が心理学の研究において特定されている。

【0038】

[0048] 発生する可能性が高い行動を識別し、可能性が高い行動に影響を与える行動介入を識別及び生成するための、システム、装置、プロセス（方法とも称される）、及びコンピュータ可読媒体（「システム及び技法」と総称される）が本明細書において説明される。例えば、コンピューティングデバイス及びコンテキストアウェアネス技術を使用することにより、ユーザが直面する特定の状況に適応された行動介入が、リアルタイムに（ジャストインタイム適応介入（Just In Time Adaptive Intervention、ＪＩＴＡＩ）、かつより効果的に（例えば、ユーザに対してより良好に調整された介入を選択することによって、かつ／又は無視することがより困難な介入を提供することによって）送達されて、ユーザが、不健康な行動に流されやすい瞬間に対処すること、又は健康的な行動を実行する機会を得ることを助けることができる。例示的な一例では、マルチユーザ介入システム（例えば、サーバ）は、異なるユーザにわたる介入の有効性を学習することができる。場合によっては、マルチユーザ介入システムは、複数の異なるユーザにわたる介入の有効性を学習することができる。場合によっては、複数の異なるユーザにわたる介入の有効性を学習することは、同様の特性を共有する、かつ／又は同様のコンテキストを経験するユーザのサブセットに対する介入の有効性を判定することを含むことができる。追加又は代替として、マルチユーザ介入システムは、異なるユーザの行動情報及び行動予測有効性の指示に基づいて、ユーザ行動を予測することを学習することができる。いくつかの態様では、ユーザ行動を予測するために学習することは、同様の特性を共有する、かつ／又は同様のコンテキストを経験するユーザのサブセットに対するユーザ行動を予測することの有効性を判定することを含むことができる。介入の有効性を学習する、かつ／又はユーザにわたってユーザ行動を予測するように学習するマルチユーザ介入システムの技術的効果は、限定はしないが、有効である可能性がより高い介入を提供すること、特定のユーザに対して無効であり得る介入を制約すること、ユーザ行動をより正確に予測することなどを含む。

【0039】

[0049] 場合によっては、システム及び技法は、エクステンデッドリアリティ（ＸＲ）システム又はデバイスを使用して実施することができる。ＸＲシステム又はデバイスは、ＸＲ経験をユーザに提供するために、ユーザに仮想コンテンツを提供し、かつ／又は実世界環境若しくは物理的環境と（仮想コンテンツからなる）仮想環境とを組み合わせることができる。実世界環境は、実世界オブジェクト（物理的オブジェクトとも呼ばれる）、例えば、人、車両、建物、テーブル、椅子、及び／又は他の実世界オブジェクト若しくは物理的オブジェクトを含むことができる。ＸＲシステム又はデバイスは、異なるタイプのＸＲ環境との対話を容易にすることができる（例えば、ユーザは、ＸＲシステム又はデバイスを使用して、ＸＲ環境と対話することができる）。ＸＲシステムは、仮想現実（ＶＲ）環境との対話を容易にするＶＲシステム、拡張現実（ＡＲ）環境との対話を容易にするＡＲシステム、複合現実（ＭＲ）環境との対話を容易にするＭＲシステム、及び／又は他のＸＲシステムを含むことができる。ＸＲシステム又はデバイスの例は、特に、ヘッドマウントディスプレイ（head-mounted displays、ＨＭＤｓ）、スマートグラス（例えば、ＡＲグラス）を含む。場合によっては、ＸＲシステムは、ユーザが仮想コンテンツのアイテムと対話することを可能にするためにユーザの部分（例えば、ユーザの手及び／又は指先）を追跡することができる。

【0040】

[0050] 場合によっては、ＸＲシステムは、光学「シースルー」又は「パススルー」ディスプレイ（例えば、シースルー又はパススルーＡＲ ＨＭＤ又はＡＲ眼鏡）を含むことができ、ＸＲシステムが、ビデオコンテンツを表示することなく、ＸＲコンテンツ（例えば、ＡＲコンテンツ）を実世界ビュー上に直接表示することを可能にする。例えば、ユーザは、ディスプレイ（例えば、ガラス又はレンズ）を通して物理的オブジェクトを見ることができ、ＡＲシステムは、ＡＲコンテンツをディスプレイ上に表示し、１つ又は複数の実世界オブジェクトの強化された視覚認知をユーザに提供することができる。一例では、光学シースルーＡＲシステムのディスプレイは、各眼の前のレンズ若しくはガラス（又は両眼にまたがる単一のレンズ若しくはガラス）を含むことができる。シースルーディスプレイは、ユーザが実世界又は物理的オブジェクトを直接見ることを可能にすることができ、そのオブジェクトの強化された画像又は追加のＡＲコンテンツを表示（例えば、投影又は別様に表示）して、実世界のユーザの視覚認知を拡張することができる。

【0041】

[0051] シースルー又はパススルーＸＲシステムは、（ユーザが仮想コンテンツに没入し、実世界が完全に遮蔽されるＶＲとは対照的に）ユーザが実世界に関わっている間に装着されるように意図される。スマートフォン、ＰＣ、及び他のコンピューティングデバイスとは異なり、ヘッドマウントＸＲデバイス（例えば、スマートグラス、ＨＭＤなど）は、顔に装着され、ユーザの視覚及び聴覚感覚チャネルを直接仲介する。

【0042】

[0052] いくつかの例では、ＸＲシステム（又はＸＲシステムと通信しているサーバ）は、ＸＲシステムのユーザに関する行動情報を識別することができる。本明細書で使用する場合、行動情報は、行動トリガ、事前行動、行動アーチファクト、それらの任意の組み合わせ、及び／又は他の行動情報を含むことができる。ＸＲシステム又は別のデバイス（例えば、モバイルデバイス）は、ＸＲシステムのユーザが特定の行動をとる尤度を増加させる行動トリガ（例えば、ユーザのストレスレベル、ユーザの心拍数、ユーザが位置しているロケーション、行動情報が取得される時間、ユーザに近接している１人又は複数の人、ユーザがしているアクティビティ、又は他の行動－場合によってはこれらはユーザには明らかでないことがある）を識別することができる。ＸＲシステム（又はサーバ若しくは他のデバイス）は、追加又は代替として、ＸＲシステムのユーザの事前行動（例えば、アルコールが入っているキャビネットまで歩くこと）を識別することができる。場合によっては、事前行動は、不健康な行動をとること、又は健康的な行動をとるのを避けることを、ユーザがすでに決定していることを示すことができる。ＸＲシステム（又はサーバ）は、追加又は代替として、注意追跡（例えば、視覚的注意を測定するために眼球の動きを検出すること）に基づいて、かつ／又はユーザのバイオメトリックを測定すること（例えば、欲求を識別すること）に基づいて、事前行動及び／又はトリガを識別することができる。場合によっては、ＸＲシステム（又はサーバ）は、注意追跡及び／又はバイオメトリックを実際の行動に相関させて、前兆モデルを検証することができる。ＸＲシステム（又はサーバ）は、追加又は代替として、行動アーチファクトを識別することができ、行動アーチファクトは、行動に関連付けられた物理的オブジェクト（例えば、アルコールのボトル、タバコのパック、ランニングシューズなど）を含むことができる。場合によっては、ユーザは、１つ又は複数のターゲット行動変化（例えば、食後に喫煙しない、午後４時以降に砂糖の入った食べ物を食べない、週３回朝に走るなど）のためのアクション計画を入力することができ、ＸＲシステムは、各ターゲット行動変化（例えば、禁煙のための行動情報、より頻繁に運動するための行動情報など）のための上述の行動情報（例えば、事前行動、行動トリガ、及び／又は行動アーチファクト）を取得することができる。

【0043】

[0053] 「ターゲット行動」という用語は、本明細書では、行動を停止若しくは減少させる（例えば、飲酒をやめる）ことによって、又は行動を開始若しくは増加させる（例えば、週に３日運動する）ことによって、ユーザが変化するように選択される行動を説明するために使用される。場合によっては、ターゲット行動は、ユーザによって選択されることができ、場合によっては、ターゲット行動は、医師、保険会社などの第三者によって選択されることができる。

【0044】

[0054] ＸＲシステム（又はサーバ）は、行動情報の任意の組み合わせを使用して、人がターゲット行動をとる（又はターゲット行動をとらない）尤度を（例えば、各人について機械学習（machine-learning、ＭＬ）ベースのモデルを使用して）決定することができる。例えば、アルコールキャビネットに向かって歩いている人は、アルコールキャビネットに近づくにつれて、アルコール飲料を摂取する尤度が増加する。ＸＲシステム（又はサーバ）は、ユーザがターゲット行動をとる（又はターゲット行動をとらない）尤度に基づいて、過去の異なる時間におけるそのユーザ若しくは他のユーザのための介入（例えば、機能した介入又は機能しなかった介入）の有効性に基づいて、ユーザが好む１つ又は複数の介入を示すユーザ入力に基づいて、かつ／又は他の要因に基づいて、適切な介入を生成することができ、場合によってはそれを実施する（例えば、表示する、オーディオとして出力する、触覚フィードバックを提供する、かつ／又は他のフィードバックを提供する）ことができる。いくつかの実装形態では、ＸＲシステム（又はサーバ）は、生成された介入を、別のデバイスによって実施されるように送信することができる。いくつかの態様では、生成される介入は、介入なしから、オブジェクトを完全に覆い隠すこと、及び指定された支援者に警告することまでの範囲にわたることができる。本明細書で使用する場合、介入を生成することへの言及は、ＸＲシステムが、介入をユーザに対して出力及び／又は実施すること、並びにＸＲシステムが、介入を別のデバイスによって出力及び／又は実施されるように送信することを含むことができる。場合によっては、介入は、ユーザが行動アーチファクトに近づくにつれてより強くなるか、又は別様に強調されることができる。介入は、肯定的（例えば、メッセージ「はい！靴を履いてジョギングに行きましょう」を用いた肯定的な介入）であることができ、又は否定的（例えば、メッセージ「タバコを置いてください」を用いた否定的な介入）であることもできる。場合によっては、ユーザのバイオメトリック（例えば、心拍数、体温など）を分析して、ユーザがその行動をとる可能性が高いかどうかを判定することができる。

【0045】

[0055] いくつかの例では、ＸＲシステムは、複数のユーザにわたる最も有効な介入を決定するために、学習システム（例えば、１つ又は複数のニューラルネットワークを使用するなど、ＭＬベースであることができる）を利用することができる。学習システムは、個々の特性に基づいて、学習された介入をユーザの母集団に適用することができる。場合によっては、学習システムは、ＸＲシステムと通信する１つ又は複数のサーバとして実装することができる。

【0046】

[0056] いくつかの例では、学習システムは、介入ライブラリを維持することができる。いくつかの例では、学習システムは、介入を有効性についてスコアリングすることができる。学習システム（例えば、１つ又は複数のニューラルネットワークなどのＭＬモデルを使用する）は、ユーザ特性、目標、及び／又はコンテキスト情報を、特定の介入の成功の尤度と関連付けることができる。

【0047】

[0057] ユーザ特性の例は、性別、生物学的性別、年齢、家族状况、ターゲット行動、特定の問題（例えば、喫煙、過食など）の深刻度、国／文化、以前に有効であった介入、性格タイプ（例えば、恐怖反応、嫌悪反応など）、ユーザの１つ又は複数の現在及び／又は過去の健康状態（例えば、高血圧、体重の問題など）、家族の病歴、ユーザの１つ又は複数の食事制限（例えば、ラクトース不耐性、高繊維食、低カロリー食など）、ユーザの１つ又は複数の身体能力及び／又は制限（例えば、弱った若しくは負傷した腰、麻痺など）、職種（例えば、交代勤務、毎日の固定スケジュール、職数）、教育レベル、コンテンツ履歴（例えば、ユーザが介入及び／若しくは目標に関する記事若しくはビデオを見たかどうか）、健康知識、友人及び家族の以前に有効だった介入、最近の健康行動（例えば、運動、睡眠、過去の日の栄養摂取）、ユーザの個人的選好（例えば、好みの食べ物の種類、好みの運動の種類、好みの介入の種類）、社会的支援、モチベーションレベル、それらの任意の組み合わせ、並びに／又は他の特性を含むことができる。学習システムは、特定の介入が成功したか否かをモニタすることができる。学習システムは、特定の介入が成功したか否かに基づいて、マルチユーザ介入ライブラリを更新することができる。いくつかの例では、学習システムは、ＸＲシステム上に実装することができる。いくつかの例では、学習システムは、グローバル介入効果分析（Global Intervention Efficacy Analysis、ＧＩＥＡ）サーバとも呼ばれ得るマルチユーザ介入ライブラリに更新を送ることができる。場合によっては、学習システムを使用して、特定のユーザタイプ（例えば、人口統計ベース、問題の深刻度など）の前兆行動を学習することができる。

【0048】

[0058] コンテキスト情報は、限定はしないが、時刻、ユーザによる、介入の前の１つ又は複数のアクション、ユーザ及び／若しくは介入に関連付けられた行動情報、介入前及び／若しくは介入中のユーザ（及び／若しくはＸＲデバイス）のロケーションに関連付けられたロケーション及び／若しくは環境、ユーザの、１人又は複数の個人に対する近接度、並びに介入時にユーザによって使用されている技術／センサの組み合わせを含むことができる。例えば、ユーザのロケーションに関連付けられた環境は、人が使える階段があるか否か、ユーザがキッチンにいるか、ユーザが運動するための利用可能な空間があるか、ユーザのロケーションにおける天候（例えば、暑い、寒い、雨が降っている、風が強いなど）、行動アーチファクト（例えば、タバコ、ランニングシューズ）の存在などを含むことができる。

【0049】

[0059] 図１Ａ～図１Ｇは、例示的な介入を示す画像である。図１Ａ～図１Ｄの示された例において、ターゲット行動は、ユーザの禁煙願望であり得る。図１Ａは、タバコパッケージの可視側に示された一般的ラベル１０４を有する例示的なタバコのパッケージを示す。図１Ｂは、「１４日間タバコなし」と書かれた、タバコパッケージ１０２の可視側に投影された、ユーザの目標に向けた進捗を示す例示的な進捗更新介入１０６を示す。図１Ｃは、「ママ愛してる！」と書かれたユーザの子供からのメッセージを含む、タバコパッケージ１０２の可視側に投影された例示的な個人的メッセージ介入１０８を示す。図１Ｄは、タバコパッケージ１０２の可視側に投影された例示的な画像介入１１０を示す。図１Ｄの例示では、画像介入１１０は、親（例えば、ＸＲデバイスのユーザ）が親の幼い子供を抱いている写真を含む。場合によっては、例示的な画像介入１０６、１０８、１１０は、本開示全体を通して説明される他のタイプの介入、並びにＸＲシステムがユーザ行動に影響を与えるために提供することができる任意の他のタイプの介入を含む、複数の利用可能な介入の例であることができる。いくつかの態様では、ＸＲシステムは、ユーザの特性、介入のコンテキスト、ユーザの特性、又はＸＲシステムによって決定された任意の他の関連因子のうちの１つ又は複数に応じて、利用可能な介入オプションのうちのどれが有効である可能性が最も高いかを学習し、利用可能な最良の介入をユーザに提供することができる。例示的な一例では、学習システムは、０～１４歳の範囲の子供を持つユーザには、ユーザの子供の写真をタバコのパックにオーバーレイすること（例えば、図１Ｄに示される画像介入１１０）が有効であるが、より年長の子供を持つユーザには、進捗を示すメッセージ（例えば、「１４日間タバコなし」）が最も有効であることを学習する可能性がある。介入に対する行動及び／又は応答に関する一般的な仮定を使用する代わりに、システムは、どのタイプの介入が最も効果的であり、ひいては全体的なシステム有効性を増加させるかを学習することができる。

【0050】

[0060] 図１Ｅ～図１Ｆは、追加の例示的な介入を示す。場合によっては、行動アーチファクト（例えば、行動に関連付けられた物理的オブジェクト）を覆い隠すことによってユーザが望ましくない行動を実行することを抑止するために、覆い隠し介入を使用することができる。図１Ｅに示される画像１０５は、ＸＲシステムがアルコールが入っていることを学習した特定のキャビネットを、介入１１２が覆い隠しているキャビネットを示す。介入１１２はまた、「４日間飲酒なし」と書かれた進捗更新も含む。図１Ｆは、追加の覆い隠し介入を示す。左の画像１１５では、アルコールが入った棚が介入１２４によって覆い隠されている一方で、甘い食べ物１２０、１２２は可視のままである。右の画像１２５では、アルコールが入った棚１３０は可視であるが、ユーザのターゲット行動及び／又は目標に応じて、甘い食べ物を覆い隠すための介入１２６、１２８が提供される。

【0051】

[0061] 図１Ｇは、別の例示的な介入を示す。図１Ｇに示される画像１４０では、介入１４２は、マーケットにおいてベリーの健康的な食べ物の選択肢を強調しているように示される。介入１４２はまた、なぜベリーを選択することがユーザの健康に有益であり得るかをユーザに説明するための、情報メッセージ１４４を含むこともできる。図１Ｇに示される介入１４２は、複数の異なるターゲット行動に対して提供され得る。例示的な一例では、ターゲット行動は、加工食品を食べるのを止めることであり得る。ＸＲシステムは、ユーザに健康的な食べ物を食べる代替行動を実行するように奨励するために、介入１４２を提供し得る。例えば、ターゲット行動は、低糖食品を食べること（例えば、より多くの果物及び野菜を食べること）であり得る。そのような場合、ＸＲシステムは、述べられた目標が異なっていても、同一の介入１４２をユーザに提供し得る。場合によっては、異なるターゲット行動を持つユーザが１つ又は複数の共通特性を共有してもよく、ＸＲシステム（又はサーバ）は、それらのユーザの共通特性に基づいて、それらのユーザに同じ介入が有効である可能性が高いと判定することができる。

【0052】

[0062] 図２は、本開示のいくつかの態様による、例示的なＸＲシステム２００を示す図である。ＸＲシステム２００は、ＸＲアプリケーションを稼動（又は実行）し、ＸＲ動作を実装することができる。いくつかの例では、ＸＲシステム２００は、ＸＲ経験の一部として追跡及び位置特定、物理的な世界（例えば、シーン）のマッピング、並びにディスプレイ２０９（例えば、スクリーン、可視平面／領域、及び／又は他のディスプレイ）上での仮想コンテンツの配置及びレンダリングを実施することができる。例えば、ＸＲシステム２００は、物理的な世界におけるシーンのマップ（例えば、三次元（three-dimensional、３Ｄ）マップ）を生成し、シーンに相対した（例えば、シーンの３Ｄマップに相対した）ＸＲシステム２００のポーズ（例えば、ロケーション及び位置）を追跡し、シーンのマップ上の特定のロケーションに仮想コンテンツを配置及び／又はアンカリングし、仮想コンテンツが配置及び／又はアンカリングされるシーンのマップ上の特定のロケーションに対応するシーン中のロケーションに仮想コンテンツがあるように見えるようにディスプレイ２０９上に仮想コンテンツをレンダリングすることができる。ディスプレイ２０９は、ユーザが実世界環境を見ることを可能にし、ＸＲコンテンツがオーバーレイされる、重なり合う、ブレンドされる、又は別様に表示されることも可能にするガラス、スクリーン、レンズ、プロジェクタ、及び／又は他の表示機構を含むことができる。以下で説明するように、ＸＲシステム２００は、注意追跡を実施することができる。

【0053】

[0063] 図２の例では、ＸＲシステム２００は、１つ又は複数の画像センサ２０２、加速度計２０４、ジャイロスコープ２０６、ストレージ２０８、ディスプレイ２０９、コンピュート構成要素２１０、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及びレンダリングエンジン２２６を含む。図２に示される構成要素２０２～２２６は、例示及び説明目的で提供される非限定的例であり、他の例は、図２に示されるものよりも多くの、より少ない、又は図２に示されるものとは異なる構成要素を含むことができることに留意されたい。例えば、場合によっては、ＸＲシステム２００は、１つ又は複数の他のセンサ（例えば、１つ又は複数の慣性測定ユニット（inertial measurement units、ＩＭＵｓ）、レーダ、光検出及び測距（light detection and ranging、ＬＩＤＡＲ）センサ、オーディオセンサなど）、１つ又は複数のディスプレイデバイス、１つ又は複数の他の処理エンジン、１つ又は複数の視線追跡センサ、１つ又は複数のスピーカ（例えば、聴覚フィードバック又は他のオーディオ出力を提供するための）、１つ又は複数のマイクロフォン（例えば、聴覚入力及び／若しくは他の音声若しくはオーディオを取り込むための）、１つ又は複数の他のハードウェア構成要素、並びに／あるいは図２に示されていない１つ又は複数の他のソフトウェア及び／又はハードウェア構成要素を含むことができる。ＸＲシステム２００によって実装され得る例示的なアーキテクチャ及び例示的なハードウェア構成要素は、図１０に示されるコンピューティングシステム１０００に関して以下で更に説明される。

【0054】

[0064] 更に、簡素化及び説明目的のために、１つ又は複数の画像センサ２０２は、本明細書では（例えば、単数形で）画像センサ２０２と言及されることになる。ただし、ＸＲシステム２００は、単一の画像センサ又は複数の画像センサを含むことができることが、当業者には認識されよう。また、単数形又は複数形での、ＸＲシステム２００の構成要素（例えば、２０２～２２６）のいずれへの言及も、ＸＲシステム２００によって実装されるそのような構成要素の数を、１つ又は２つ以上に制限するものと解釈されるべきでない。例えば、単数形での加速度計２０４への言及は、ＸＲシステム２００によって実装される加速度計の数を１つに制限するものと解釈されるべきでない。図２に示される構成要素２０２～２２６のいずれについても、ＸＲシステム２００は、そのような構成要素のうちのたった１つ又はそのような構成要素のうちの２つ以上を含むことができることが、当業者には認識されよう。

【0055】

[0065] ＸＲシステム２００は、単一のコンピューティングデバイス若しくは複数のコンピューティングデバイスの一部であることができる、又はそれらに実装することができる。いくつかの例では、ＸＲシステム２００は、カメラシステム（例えば、デジタルカメラ、ＩＰカメラ、ビデオカメラ、セキュリティカメラなど）、電話システム（例えば、スマートフォン、セルラー電話、会議システムなど）、デスクトップコンピュータ、ラップトップ若しくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、スマートテレビ、ディスプレイデバイス、ゲームコンソール、ビデオストリーミングデバイス、ＩｏＴ（Internet-of-Things、モノのインターネット）デバイス、スマートウェアラブルデバイス（例えば、ヘッドマウントディスプレイ（ＨＭＤ）、スマートグラスなど）、又は任意の他の好適な電子デバイスなどの、電子デバイス（単数又は複数）の一部であることができる。

【0056】

[0066] いくつかの実装形態では、１つ又は複数の画像センサ２０２、加速度計２０４、ジャイロスコープ２０６、ストレージ２０８、ディスプレイ２０９、コンピュート構成要素２１０、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、レンダリングエンジン２２６、及びここで図２に示される任意の他の構成要素（例えば、マイクロフォン、スピーカ、視線追跡センサなど）は、同じコンピューティングデバイスの一部であることができる。例えば、場合によっては、１つ又は複数の画像センサ２０２、加速度計２０４、ジャイロスコープ２０６、ストレージ２０８、コンピュート構成要素２１０、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及びレンダリングエンジン２２６は、スマートフォン、ラップトップ、タブレットコンピュータ、スマートウェアラブルデバイス、ゲーミングシステム、及び／又は任意の他のコンピューティングデバイスに統合することができる。しかしながら、いくつかの実装形態では、１つ又は複数の画像センサ２０２、加速度計２０４、ジャイロスコープ２０６、ストレージ２０８、コンピュート構成要素２１０、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及びレンダリングエンジン２２６は、２つ以上の別個のコンピューティングデバイスの一部であることができる。例えば、場合によっては、構成要素２０２～２２６のうちのいくつかは、１つのコンピューティングデバイスの一部であるか、又はそれらによって実装することができ、残りの構成要素は、１つ又は複数の他のコンピューティングデバイスの一部であるか、又はそれらによって実装することができる。

【0057】

[0067] 画像センサ２０２は、デジタルカメラセンサ、ビデオカメラセンサ、スマートフォンカメラセンサ、テレビ若しくはコンピュータなどの電子装置上の画像／ビデオ取り込みデバイス、カメラなどの、任意の画像及び／又はビデオセンサ若しくは取り込みデバイスを含むことができる。場合によっては、画像センサ２０２は、ＸＲデバイス（例えば、ＨＭＤ、スマートグラスなど）、デジタルカメラ、スマートフォン、スマートテレビ、ゲームシステムなどの、カメラ又はコンピューティングデバイスの一部であることができる。いくつかの例では、画像センサ２０２は、デュアルカメラアセンブリなどの複数カメラアセンブリの一部であることができる。画像センサ２０２は、画像及び／又はビデオコンテンツ（例えば、未加工画像及び／又はビデオデータ）を取り込むことができ、これらは次いで、本明細書で説明するコンピュート構成要素２１０、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及び／又はレンダリングエンジン２２６によって処理することができる。

【0058】

[0068] いくつかの例では、画像センサ２０２は、画像データを取り込み、画像データに基づいてフレームを生成することができ、かつ／又は画像データ若しくはフレームを、処理のために、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及び／若しくはレンダリングエンジン２２６に提供することができる。フレームは、ビデオシーケンスのビデオフレーム又は静止画像を含むことができる。フレームは、シーンを表すピクセルアレイを含むことができる。例えば、フレームは、ピクセルごとに赤、緑、及び青の色成分を有する赤－緑－青（red-green-blue、ＲＧＢ）フレーム、ピクセルごとに１つの輝度成分及び２つの色差（色）成分（赤の色差及び青の色差）を有する、輝度、赤の色差、青の色差（ＹＣｂＣｒ）フレーム、又は任意の他の好適なタイプのカラー又はモノクロ画像、であり得る。

【0059】

[0069] 例えば、加速度計２０４は、ＸＲシステム２００による加速度を検出することができ、検出された加速度に基づいて加速度測定値を生成することができる。ジャイロスコープ２０６は、ＸＲシステム２００の配向及び角速度を検出し、測定することができる。例えば、ジャイロスコープ２０６は、ＸＲシステム２００のピッチ、ロール、及びヨーを測定するために使用することができる。いくつかの例では、画像センサ２０２及び／又はＸＲエンジン２２０は、加速度計２０４及びジャイロスコープ２０６によって取得された測定値を、ＸＲシステム２００のポーズを計算するために使用することができる。上述のように、他の例では、ＸＲシステム２００は、磁力計、マシンビジョンセンサ、スマートシーンセンサ、音声認識センサ、インパクトセンサ、ショックセンサ、位置センサ、傾斜センサなどのような、他のセンサも含むことができる。

【0060】

[0070] ストレージ２０８は、データを記憶するための任意の記憶デバイスであることができる。その上、ストレージ２０８は、ＸＲシステム２００の構成要素のいずれからのデータも記憶することができる。例えば、ストレージ２０８は、画像センサ２０２からのデータ（例えば、画像若しくはビデオデータ）、加速度計２０４からのデータ（例えば、測定値）、ジャイロスコープ２０６からのデータ（例えば、測定値）、コンピュート構成要素２１０からのデータ（例えば、処理パラメータ、選好、仮想コンテンツ、レンダリングコンテンツ、シーンマップ、追跡及び位置特定データ、オブジェクト検出データ、プライバシーデータ、ＸＲアプリケーションデータ、顔認識データ、オクルージョンデータなど）、ＸＲエンジン２２０からのデータ、行動介入管理エンジン２２２からのデータ、画像処理エンジン２２４からのデータ、並びに／又はレンダリングエンジン２２６からのデータ（例えば、出力フレーム）を記憶することができる。いくつかの例では、ストレージ２０８は、コンピュート構成要素２１０による処理のためのフレームを記憶するためのバッファを含むことができる。

【0061】

[0071] １つ又は複数のコンピュート構成要素２１０は、中央処理ユニット（central processing unit、ＣＰＵ）２１２、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）２１４、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）２１６、及び／又は画像信号プロセッサ（image signal processor、ＩＳＰ）２１８を含むことができる。コンピュート構成要素２１０は、画像強調、コンピュータビジョン、グラフィックスレンダリング、ＸＲ（例えば、追跡、位置特定、ポーズ推定、マッピング、コンテンツアンカリング、コンテンツレンダリングなど）、画像／ビデオ処理、センサ処理、認識（例えば、テキスト認識、顔認識、オブジェクト認識、特徴認識、追跡又はパターン認識、シーン認識、オクルージョン検出など）、機械学習、フィルタリング、及び本明細書で説明する様々な動作のいずれかなど、様々な動作を実施することができる。この例では、コンピュート構成要素２１０は、ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及びレンダリングエンジン２２６を実装する。他の例では、コンピュート構成要素２１０は、１つ又は複数の他の処理エンジンを実装することもできる。

【0062】

[0072] ＸＲエンジン２２０、行動介入管理エンジン２２２、画像処理エンジン２２４、及びレンダリングエンジン２２６（及び任意の画像処理エンジン）のための動作は、コンピュート構成要素２１０のいずれかによって実装することができる。例示的な一例では、レンダリングエンジン２２６の動作は、ＧＰＵ２１４によって実装することができ、ＸＲエンジン２２０、行動介入管理エンジン２２２、及び画像処理エンジン２２４の動作は、ＣＰＵ２１２、ＤＳＰ２１６、及び／又はＩＳＰ２１８によって実装することができる。場合によっては、コンピュート構成要素２１０は、本明細書において記載する様々な動作のいずれをも実施するための、他の電子回路若しくはハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらのどの組み合わせも含むことができる。

【0063】

[0073] いくつかの例では、ＸＲエンジン２２０は、画像センサ２０２、加速度計２０４、ジャイロスコープ２０６、及び／又はＸＲシステム２００上の１つ又は複数のセンサ、例えば１つ又は複数のＩＭＵ、レーダなどからのデータに基づいてＸＲ動作を実施することができる。いくつかの例では、ＸＲエンジン２２０は、追跡、位置特定、ポーズ推定、マッピング、コンテンツアンカリング動作、及び／又は任意の他のＸＲ動作／機能を実施することができる。

【0064】

[0074] 行動介入管理エンジン２２２は、行動検出を実施し、行動介入を生成することができる。場合によっては、行動介入管理エンジン２２２が、望ましくない行動が発生する可能性が高い（又は、望ましい行動が発生する可能性が低い）こと、及び／又は健康的な行動が発生する可能性が高いことを（例えば、尤度アルゴリズムを用いて）決定するときに、行動介入管理エンジン２２２は、介入を生成することができ、かつ実施することができる。場合によっては、行動介入管理エンジン２２２は、介入の効果及び／又は行動検出の精度を改善することができる１つ又は複数の学習システムを含むことができる。例えば、行動介入管理エンジン２２２は、実施された介入がユーザの行動（例えば、健康的な行動を実行すること、不健康な行動を実行しないことなど）に成功裏に影響を与えたかどうかを判定することができる。場合によっては、介入が成功したか否かに基づいて、行動介入管理エンジン２２２は、介入ライブラリ内の介入の効果を更新することができる。

【0065】

[0075] 場合によっては、行動介入管理エンジン２２２はまた、行動予測の精度を改善することもできる。例えば、行動介入管理エンジン２２２が、望ましくない行動が発生する可能性が低いと決定し、介入を生成しないと判定した場合、ユーザは、依然としてその望ましくない行動を実行する可能性がある。行動管理エンジン２２２は、行動尤度アルゴリズムを更新するために、不正確な行動予測を使用することができる。例示的な一例では、行動介入管理システムは、行動が発生する（又は発生しない）尤度を決定するために使用される行動情報（例えば、行動トリガ、事前行動、及び／又は行動アーチファクト）に関連付けられた重みを更新することができる。例示的な別の例では、行動介入管理エンジン２２２は、ユーザに特有の追加の行動情報が尤度決定から省略されたかどうかを判定することができる。例えば、行動介入管理エンジン２２２は、特定のユーザが固有の行動トリガを有することを判定し、後続の尤度決定を判定するときにその固有の行動トリガを含めることができる。

【0066】

[0076] いくつかの態様では、行動介入管理エンジン２２２は、ユーザの行動に対する介入の有効性の指示、及び／又はユーザがターゲット行動を実行する（又は実行しない）尤度を決定する精度の指示を送信するために、サーバと通信することができる。場合によっては、行動介入管理エンジン２２２はまた、ユーザの特性（例えば、性別、年齢、家族状况）、行動及び／若しくは介入のコンテキスト（例えば、場所、使用中の技術／センサの組み合わせ）、行動の尤度の決定及び／若しくはユーザのためにどの介入を生成するかの決定に関連付けられた行動情報（例えば、行動トリガ、事前行動）、それらの任意の組み合わせ、並びに／又は他の情報をサーバに送信することができる。場合によっては、行動介入管理エンジン２２２は、介入及び／又は行動予測モデルをサーバから受信することができる。場合によっては、受信された介入及び／又は行動予測モデルは、複数のユーザから決定された特性、コンテキスト、及び／又は行動情報に基づくことができる。場合によっては、行動介入管理エンジン２２２は、ユーザと他のユーザのサブセットとの間で共有される特性及び／又はコンテキストに関連付けられた、介入及び／又は行動予測モデルを、サーバから受信することができる。

【0067】

[0077] 画像処理エンジン２２４は、１つ又は複数の画像処理動作を実施することができる。いくつかの例では、画像処理エンジン２２４は、画像センサ２０２からのデータに基づいて画像処理動作を実施することができる。レンダリングエンジン２２６は、コンピュート構成要素２１０、画像センサ２０２、ＸＲエンジン２２０、及び／又は画像処理エンジン２２４によって生成及び／又は処理された画像データを取得することができ、ディスプレイデバイス上での提示のためにビデオ及び／又は画像フレームをレンダリングすることができる。

【0068】

[0078] 図３は、ユーザ３００によって装着されているＸＲシステム３２０の一例を示す図である。ＸＲシステム３２０は、図２に示され上述されたＸＲシステム２００と同じ構成要素の一部又は全部を含むことができ、ＸＲシステム２００と同じ機能の一部又は全部を実施することができる。ＸＲシステム３２０は、ＡＲ眼鏡として図２に示されているが、ＸＲシステム３２０は、ＨＭＤ又は他のＸＲデバイスなど任意の好適なタイプのＸＲデバイスを含むことができる。ＸＲシステム３２０は、ユーザ３００がＸＲシステム３２０を装着しながら実世界を見ることを可能にする、光学シースルーＡＲデバイスとして記載されている。例えば、ユーザ３００は、ユーザ３００からある距離の平面３０４上で実世界環境中のオブジェクト３０２を見ることができる。ＸＲシステム３２０は、画像センサ３１８と、ユーザ３００が実世界環境を見ることを可能にし、ＡＲコンテンツが表示されることも可能にするディスプレイ３１０（例えば、ガラス、スクリーン、レンズ、又は他のディスプレイ）とを有する。画像センサ３１８は、図２に示される画像センサ２０２と類似又は同一であることができる。１つの画像センサ３１８と１つのディスプレイ３１０とが図３に示されているが、ＸＲシステム３２０は、いくつかの実装形態では、複数のカメラ及び／又は複数のディスプレイ（例えば、右眼のためのディスプレイ及び左眼のためのディスプレイ）を含むことができる。ＡＲコンテンツ（例えば、画像、ビデオ、グラフィック、仮想若しくはＡＲオブジェクト、又は他のＡＲコンテンツ）は、ディスプレイ３１０上に投影又は表示することができる。一例では、ＡＲコンテンツは、オブジェクト３０２の拡張バージョンを含むことができる。別の例では、ＡＲコンテンツは、オブジェクト３０２に関する又は実世界環境中の１つ又は複数の他のオブジェクトに関する追加のＡＲコンテンツを含むことができる。

【0069】

[0079] 図３に示されるように、ＸＲシステム３２０は、コンピュート構成要素３１６及びメモリ３１２を含むことができ、又はそれらと有線若しくはワイヤレス通信することができる。コンピュート構成要素３１６及びメモリ３１２は、本明細書で説明する技法を実施するために使用される命令を記憶し、実行することができる。ＸＲシステム３２０がメモリ３１２及びコンピュート構成要素３１６と（有線又はワイヤレスで）通信している実装形態では、メモリ３１２とコンピュート構成要素３１６とを収容するデバイスは、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話、タブレット、ゲームコンソール、又は他の好適なデバイスなどのコンピューティングデバイスであってよい。ＸＲシステム３２０はまた、入力デバイス３１４を含むか又は入力デバイス３１４と（有線若しくはワイヤレスで）通信している。入力デバイス３１４は、タッチスクリーン、ペン若しくは他のポインタデバイス、キーボード、マウスボタン若しくはキー、ボイスコマンドを受信するためのマイクロフォン、ジェスチャコマンドを受信するためのジェスチャ入力デバイス、それらの任意の組み合わせ、及び／又は他の入力デバイスなどの任意の好適な入力デバイスを含むことができる。場合によっては、画像センサ３１８は、ジェスチャコマンドを解釈するために処理することができる画像を取り込むことができる。

【0070】

[0080] 画像センサ３１８は、カラー画像（例えば、赤－緑－青（ＲＧＢ）色成分を有する画像、ＹＣｂＣｒ画像などのルーマ（Ｙ）及びクロマ（Ｃ）色成分を有する画像、又は他のカラー画像）及び／又はグレースケール画像を取り込むことができる。上述のように、場合によっては、ＸＲシステム３２０は、デュアルフロントカメラ並びに／又は１つ又は複数の前向きカメラ及び１つ又は複数の後ろ向きカメラなどの、複数のカメラを含むことができ、これらは様々なセンサを組み込んでもよい。場合によっては、画像センサ３１８（及び／又はＸＲシステム３２０の他のカメラ）は、複数のビデオフレーム（又は画像）を含む、静止画像及び／又はビデオを取り込むことができる。場合によっては、画像センサ３１８（及び／又は他のカメラ）によって受信された画像データは、未加工の圧縮されていないフォーマットであることができ、メモリ３１２に更に処理及び／又は記憶される前に、（例えば、ＸＲシステム３２０の画像信号プロセッサ（ＩＳＰ）又は他のプロセッサによって）圧縮及び／又は別様に処理され得る。場合によっては、画像圧縮は、ロスレス又はロッシー圧縮技法（例えば、任意の好適なビデオ又は画像圧縮技法）を使用して、コンピュート構成要素３１６によって実施され得る。

【0071】

[0081] 場合によっては、画像センサ３１８（及び／又はＸＲシステム３２０の他のカメラ）は、深度情報も取り込むように構成することができる。例えば、いくつかの実装形態では、画像センサ３１８（及び／又は他のカメラ）は、ＲＧＢ深度（RGB-depth、ＲＧＢ－Ｄ）カメラを含むことができる。場合によっては、ＸＲシステム３２０は、画像センサ３１８（及び／又は他のカメラ）とは別個であり、深度情報を取り込むことができる１つ又は複数の深度センサ（図示せず）を含むことができる。例えば、そのような深度センサは、画像センサ３１８からは独立して、深度情報を取得することができる。いくつかの例では、深度センサは、画像センサ３１８と同じ一般的ロケーションに物理的に設置することができるが、画像センサ３１８とは異なる周波数又はフレームレートで動作してもよい。いくつかの例では、深度センサは、１つ又は複数の狭帯域の光を含む場合がある構造化又はテクスチャード光パターンを、シーン中の１つ又は複数のオブジェクトに投影することができる光源の形をとることができる。深度情報は次いで、オブジェクトの表面形状によって引き起こされた、投影されたパターンの幾何学的歪みを活用することによって取得することができる。一例では、深度情報は、赤外線構造化光プロジェクタと、カメラ（例えば、ＲＧＢカメラ）と位置合わせされた赤外線カメラの組み合わせなどのステレオセンサから取得されてもよい。

【0072】

[0082] いくつかの実装形態では、ＸＲシステム３２０は、１つ又は複数のセンサを含む。１つ又は複数のセンサは、１つ又は複数の加速度計（例えば、図２に示される加速度計２０４）、１つ又は複数のジャイロスコープ（例えば、図２に示されるジャイロスコープ２０６）、及び／又は他のセンサを含むことができる。１つ又は複数のセンサは、速度、配向、及び／又は他の位置関連情報をコンピュート構成要素３１６に提供することができる。場合によっては、１つ又は複数のセンサは、少なくとも１つの慣性測定ユニット（ＩＭＵ）を含むことができる。ＩＭＵとは、１つ又は複数の加速度計、１つ又は複数のジャイロスコープ、及び／又は１つ又は複数の磁力計の組み合わせを使用して、ＸＲシステム３２０の特定の力、角速度、及び／又は配向を測定する電子デバイスである。いくつかの例では、１つ又は複数のセンサは、画像センサ３１８（及び／若しくはＸＲシステム３２０の他のカメラ）によって取り込まれた画像の取り込みに関連付けられた、測定された情報並びに／又はＸＲシステム３２０の１つ又は複数の深度センサを使用して取得された深度情報を出力することができる。

【0073】

[0083] １つ又は複数のセンサ（例えば、１つ又は複数のＩＭＵ）の出力は、コンピュート構成要素３１６によって、ＸＲシステム３２０のポーズ（頭部ポーズとも呼ばれる）及び／又は画像センサ３１８（若しくはＸＲシステム３２０の他のカメラ）のポーズを決定するのに使うことができる。場合によっては、ＸＲシステム３２０のポーズ及び画像センサ３１８（又は他のカメラ）のポーズは同じであることができる。画像センサ３１８のポーズは、基準フレームに相対した（例えば、オブジェクト３０２に対する）画像センサ３１８の位置及び配向を指す。いくつかの実装形態では、カメラのポーズは、６自由度（6-Degrees Of Freedom、６ＤＯＦ）で決定することができ、この自由度は、３つの並進成分（例えば、画像プレーンなどの基準フレームに相対したＸ（水平）、Ｙ（垂直）、及びＺ（深度）座標で与えることができる）並びに３つの角度成分（例えば、同じ基準フレームに相対したロール、ピッチ、及びヨー）を指す。

【0074】

[0084] いくつかの態様では、画像センサ３１８及び／又はＸＲシステム３２０のポーズは、画像センサ３１８（及び／又はＸＲシステム３２０の他のカメラ）によって取り込まれた画像に基づいて、視覚追跡ソリューションを使用して、コンピュート構成要素３１６によって決定及び／又は追跡することができる。いくつかの例では、コンピュート構成要素３１６は、コンピュータビジョンベースの追跡、モデルベースの追跡、並びに／又は同時位置特定及び地図構築（simultaneous localization and mapping、ＳＬＡＭ）技法を使って追跡を実施することができる。例えば、コンピュート構成要素３１６は、ＳＬＡＭを実施することができ、又はＳＬＡＭエンジン（図示せず）と（有線若しくはワイヤレス）通信することができる。ＳＬＡＭは、環境のマップ（例えば、ＸＲシステム３２０によってモデル化される環境のマップ）が作成され、その間、そのマップに相対した、カメラ（例えば、画像センサ３１８）及び／又はＸＲシステム３２０のポーズを同時に追跡する技法のクラスを指す。マップは、ＳＬＡＭマップと呼ばれることがあり、三次元（３Ｄ）であり得る。ＳＬＡＭ技法は、画像センサ３１８（及び／又はＸＲシステム３２０の他のカメラ）によって取り込まれたカラー又はグレースケール画像データを使用して実施することができ、画像センサ３１８及び／又はＸＲシステム３２０の６ＤＯＦポーズ測定の推定値を生成するのに使うことができる。６ＤＯＦ追跡を実施するように構成された、そのようなＳＬＡＭ技法は、６ＤＯＦ ＳＬＡＭと呼ぶことができる。場合によっては、推定されたポーズを推定、補正、及び／又は別様に調整するために、１つ又は複数のセンサの出力を使用することができる。

【0075】

[0085] 場合によっては、６ＤＯＦ ＳＬＡＭ（例えば、６ＤＯＦ追跡）は、画像センサ３１８（及び／又は他のカメラ）からの特定の入力画像から観察された特徴をＳＬＡＭマップに関連付けることができる。６ＤＯＦ ＳＬＡＭは、入力画像からの特徴点関連付けを、入力画像向けの画像センサ３１８及び／又はＸＲシステム３２０のポーズ（位置及び配向）を決定するのに使用することができる。６ＤＯＦマッピングは、ＳＬＡＭマップを更新するために実施することもできる。場合によっては、６ＤＯＦ ＳＬＡＭを使って維持されるＳＬＡＭマップは、２つ以上の画像から三角測量された３Ｄ特徴点を含むことができる。例えば、観察されたシーンを表すために、入力画像又はビデオストリームから、キーフレームを選択することができる。全てのキーフレームについて、画像に関連付けられたそれぞれの６ＤＯＦカメラポーズを決定することができる。画像センサ３１８及び／又はＸＲシステム３２０のポーズは、３Ｄ ＳＬＡＭマップからの特徴を画像又はビデオフレームに投影し、検証された２Ｄ－３Ｄ対応からのカメラポーズを更新することによって決定することができる。

【0076】

[0086] 例示的な一例では、コンピュート構成要素３１６は、全ての入力画像から、又は各キーフレームから、特徴点を抽出することができる。本明細書で使用する特徴点（位置合わせ点とも呼ばれる）とは、特に、手の一部、テーブルのへりなど、画像の特有又は識別可能な一部である。取り込まれた画像から抽出された特徴は、三次元空間（例えば、Ｘ、Ｙ、及びＺ軸上の座標）に沿った特有の特徴点を表すことができ、全ての特徴点が、関連付けられた特徴ロケーションを有することができる。キーフレーム中の特徴点は、あらかじめ取り込まれた入力画像若しくはキーフレームの特徴点と一致する（同じであるか、若しくは対応する）か、又は一致しないかのいずれかである。特徴点を検出するのに、特徴検出を使うことができる。特徴検出は、特定のピクセルに特徴が存在するかどうかを決定するために、画像の１つ又は複数のピクセルを調べるのに使われる画像処理動作を含むことができる。特徴検出は、取り込まれた画像全体又は画像の特定の部分を処理するのに使うことができる。各画像又はキーフレームに対して、特徴が検出されると、特徴付近の局所的画像パッチを抽出することができる。特徴は、スケール不変特徴変換（Scale Invariant Feature Transform、ＳＩＦＴ）（特徴を位置特定し、それらの記述を生成する）、Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）、勾配位置配向ヒストグラム（Gradient Location-Orientation histogram、ＧＬＯＨ）、正規化相互相関（Normalized Cross Correlation、ＮＣＣ）、又は他の好適な技法など、どの好適な技法を使って抽出されてもよい。

【0077】

[0087] いくつかの例では、ＡＲ（又は仮想）オブジェクトは、シーン中の検出された特徴ポイントに位置合わせ又はアンカリングする（例えば、それに相対して位置決めする）ことができる。例えば、ユーザ３００は、ユーザ３００が立っている道路の向かい側にあるレストランを見ていることがある。レストラン及びレストランに関連付けられたＡＲコンテンツを認識したことに応答して、コンピュート構成要素３１６は、レストランに関する情報を提供するＡＲオブジェクトを生成することができる。コンピュート構成要素３１６はまた、レストランの符号を含む画像の一部分から特徴点を検出することもでき、ＡＲオブジェクトが符号に対して（例えば、そのレストランに関係するものとしてユーザ３００によって容易に識別可能であるように符号の上方に）表示されるように、ＡＲオブジェクトを符号の特徴点に位置合わせすることができる。加えて、本明細書で説明する介入（例えば、図１Ｂ～図１Ｇに示される介入１０６、１０８、１１０、１１２、１２４、１２６、１２８、１４２）

【0078】

[0088] ＸＲシステム３２０は、ユーザ３００が見るための様々なＡＲオブジェクトを生成し、表示することができる。例えば、ＸＲシステム３２０は、ユーザ３００が必要に応じてテキスト及び／又は他の文字を入力するためのＡＲオブジェクトとして、仮想キーボードなどの仮想インターフェースを生成し、表示することができる。仮想インターフェースは、実世界における１つ又は複数の物理的オブジェクトに位置合わせすることができる。しかしながら、多くの場合、位置合わせ目的のための基準として使用され得る明確な特徴を有する実世界オブジェクトが欠如している可能性がある。例えば、ユーザが空白のホワイトボードを凝視している場合、ホワイトボードは、仮想キーボードを位置合わせすることができる明確な特徴を有していない可能性がある。屋外環境は、例えば、とりわけ、実世界では点が欠如していること、実世界ではユーザが屋内にいるときよりも明確なオブジェクトが遠く離れていること、実世界では多くの移動する点が存在すること、点同士が離れていることに基づいて、仮想インターフェースを位置合わせするために使用され得る更に明確でない点を提供する可能性がある。

【0079】

[0089] 図４は、行動を検出し介入を生成するための行動介入管理システム４００のブロック図を示す。行動介入管理システム４００は、行動変更の目標及び／又は計画を含むことができるユーザパラメータ４０１を取得することができる。ユーザパラメータ４０１の例は以下に提供される。行動介入管理システム４００は、望ましくない行動が発生する可能性が高いこと、又は所望の行動に対する介入が成功する可能性がより高いことを検出することができる。決定に基づいて、行動介入管理システム４００は、ユーザが望ましくない行動を実行することを思いとどまらせるために、又はユーザが望ましい行動を実行することを奨励するために、ユーザの行動に影響を与える介入を生成することができる。

【0080】

[0090] 図４のこの例示的な例では、行動介入管理システム４００は、行動指示エンジン４１０、介入エンジン４２０、及びマルチユーザエンジン４３０を含む。図４に示される構成要素４１０～４３０は、例示及び説明目的で与えられる非限定的例であり、他の例は、本開示の範囲から逸脱することなく、図４に示されるものよりも多くの、より少ない、又は図４に示されるものとは異なる構成要素を含むことができることに留意されたい。例示的な一例では、行動介入管理システムの構成要素のうちの１つ又は複数は、図２に示される行動介入管理エンジン２２２に含まれ得るか、又はそれを含み得る。

【0081】

[0091] 行動介入管理システム４００は、単一のコンピューティングデバイス若しくは複数のコンピューティングデバイスの一部であることができる、又はそれらに実装することができる。いくつかの実装形態では、行動指示エンジン４１０、介入エンジン４２０、及びマルチユーザエンジン４３０は、同じコンピューティングデバイスの一部であることができる。例えば、行動介入管理システム４００は、カメラシステム（例えば、デジタルカメラ、ＩＰカメラ、ビデオカメラ、セキュリティカメラなど）、電話システム（例えば、スマートフォン、セルラー電話、会議システムなど）、デスクトップコンピュータ、ラップトップ若しくはノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、スマートテレビ、ディスプレイデバイス、ゲームコンソール、ビデオストリーミングデバイス、ＩｏＴデバイス、スマートウェアラブルデバイス（例えば、ＨＭＤ、スマートグラスなど）、又は任意の他の好適な電子デバイスなどの、電子デバイス（単数又は複数）の一部であることができる。しかしながら、いくつかの実装形態では、行動指示エンジン４１０、介入エンジン４２０、及びマルチユーザエンジン４３０は、２つ以上の別個のコンピューティングデバイスの一部であることができる。例えば、場合によっては、構成要素４１０～４３０のうちのいくつかは、１つのコンピューティングデバイスの一部であるか、又はそれらによって実装することができ、残りの構成要素は、１つ又は複数の他のコンピューティングデバイスの一部であるか、又はそれらによって実装することができる。例示的な一例では、マルチユーザエンジン４３０は、複数の異なるユーザデバイスから行動精度指示及び介入効果指示を受信するサーバの一部であるか、又はそれに実装することができ、行動指示エンジン４１０及び介入エンジン４２０は、ユーザデバイスに実装することができる。

【0082】

[0092] 行動介入管理システム４００は、１つ又は複数のユーザパラメータ４０１を取得することができる。ユーザパラメータ４０１は、限定はしないが、ユーザ目標及び計画、ユーザ特性、ユーザ行動、変化に対するユーザモチベーション（例えば、孫と遊べることが可能でありたいという願望）、１つ又は複数の健康状態（例えば、高血圧、体重問題、糖尿病、心臓疾患、高血圧症など）、ユーザの１つ又は複数の食事制限（例えば、乳糖不耐症、高繊維食、低カロリー食など）、ユーザの１つ又は複数の身体能力、特定の行動を支援又は制限し得る環境要因、並びにユーザの行動を予想すること及び／若しくはユーザの行動に影響を与える介入を成功裏に生成することに潜在的に関連し得る任意の他の情報を含むことができる。場合によっては、ユーザパラメータ４０１は、ユーザインターフェースを介したユーザ入力など、ユーザから直接取得することができる。場合によっては、ユーザパラメータ４０１は、ユーザが入力したパラメータに加えて、又はその代替として、１つ又は複数のソースから入力することができる。例示的な一例では、ユーザパラメータ４０１は、ユーザがＸＲシステム（例えば、図２に示されるＸＲシステム２００）を購入するときなど、オンボーディングプロセス中に取得することができる。例示的な別の例では、ユーザパラメータ４０１は、医師又は保険会社によって入力することができる。別の例示的な例では、ユーザパラメータ４０１は、プロファイル設定、健康及びフィットネス追跡データなど、ユーザに属する１つ又は複数の他のデバイス及び／若しくはユーザが参加する１つ又は複数のサービスから取得することができる。いくつかの例では、標準ユーザパラメータは、特定のタイプのユーザに対して指定され得る。例えば、パラメータは、特定の健康状態を有するユーザ（例えば、糖尿病、心疾患、高血圧症、ＣＯＰＤなどを有するユーザ）に対して定義することができ、これによって、同様の健康状態を有する複数のユーザが同様の介入に関連付けられることができる。

【0083】

[0093] 行動介入管理システム４００はまた、ユーザ行動情報の検出を可能にするために、１つ又は複数のセンサ４０２からデータを取得することもできる。例えば、１つ又は複数のセンサは、１つ又は複数の画像センサ（例えば、図２に示される画像センサ２０２）、マイクロフォン、加速度計（例えば、加速度計２０４）、位置センサ（例えば、ＧＰＳセンサ）、視線追跡センサ、ある人が別の人又は人のグループに近接していることを検出することができる接触追跡センサ（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）センサなど）、又はユーザの行動及び／若しくは環境を検出するために（例えば、レストランで食べ物を注文すると際に人Ａが人Ｂと一緒にいることを識別するために）使用することができる任意の他のセンサを含むことができる。場合によっては、センサ４０２のうちの１つ又は複数は、行動介入管理システム４００と同じデバイス（例えば、ＸＲシステム２００）に含めることができる。場合によっては、センサ４０２のうちの１つ又は複数は、フィットネストラッカー、携帯電話、ＩｏＴデバイスなどの他のデバイスに含めることができる。

【0084】

[0094] 行動指示エンジン４１０は、ユーザに関連付けられた行動情報を識別するために、１つ又は複数のセンサ４０２からデータを取得することができる。図４の例示的な例では、行動指示エンジン４１０は、行動トリガモニタ４１２、事前行動モニタ４１４、及び行動アーチファクトモニタ４１６を含む。行動トリガモニタ４１２、事前行動モニタ４１４、及び行動アーチファクトモニタ４１６の各々は、対応する行動情報を検出するために、センサ４０２のうちの１つ又は複数からのデータを処理することができる。

【0085】

[0095] 行動トリガモニタ４１２は、行動トリガ（例えば、ストレスレベル、ロケーション、環境、時間、近くの人、近くのオブジェクトなど）を識別するために、１つ又は複数のセンサからのデータを処理することができる。例えば、行動トリガモニタ４１２は、ユーザのストレス反応を検出するために、心拍数モニタ、電気皮膚反応センサ、血圧センサ、及び／又は他のセンサのうちの１つ又は複数からのデータを処理することができる。

【0086】

[0096] 事前行動モニタ４１４は、１つ又は複数のセンサ４０２からのデータを処理して事前行動を識別することができ、事前行動は、ユーザが行動をとる可能性が高い（又は行動をとらない可能性が高い）、又は行動をとる（又は行動をとらない）ことを決定したことを示す行動であることができる。例えば、事前行動モニタ４１４は、ユーザがアルコールの入ったキャビネットに向かって歩いていること、タバコのパックに手を伸ばしていること、又はユーザが特定の行動をとる／とらない（又はとった／とらなかった）可能性が高いことを示す別のタイプの事前行動を実行していることを示す画像センサデータを取得することができる。

【0087】

[0097] 行動アーチファクトモニタ４１６は、行動アーチファクトを識別するために、１つ又は複数のセンサからのデータを処理することができる。例えば、行動アーチファクトモニタ４１６及び／又は行動指示エンジン４１０は、センサ４０２のうちの画像センサから受信した画像に対して特徴検出を（例えば、１つ又は複数のニューラルネットワークなどのＭＬモデルによって）実施し、画像内で検出された異なる特徴にクラス（例えば、テーブル、子供、車、キャビネット、ボトル、タバコなど）を割り当てることができる。例示的な一例では、行動アーチファクトモニタ４１６は、割り当てられたクラスを処理して、画像のいずれかが行動アーチファクト（例えば、タバコのパック、アイスクリーム容器）を含むかどうかを判定することができる。

【0088】

[0098] 行動指示エンジン４１０は、行動トリガモニタ４１２、事前行動モニタ４１４、及び行動アーチファクトモニタ４１６のうちの１つ又は複数からの行動情報を、介入エンジン４２０に提供することができる。場合によっては、行動指示エンジン４１０はまた、任意選択で、行動トリガモニタ４１２、事前行動モニタ４１４、及び行動アーチファクトモニタ４１６のうちの１つ又は複数からの行動情報を、マルチユーザエンジン４３０に提供することもできる。

【0089】

[0099] 示されるように、介入エンジン４２０は、尤度エンジン４２２、介入エンジン４２４、介入有効性エンジン４２６、及び調整エンジン４２８を含む。介入エンジン４２０は、行動指示エンジン４１０から行動情報を取得し、行動情報を処理することができる。介入エンジン４２０は、ターゲット行動が発生する（又は発生しない）可能性が高いかどうかを判定し、尤度決定に基づいて、所望されない行動から離れて（又は所望の行動に向かって）ユーザに影響を与える介入を生成することができる。

【0090】

[0100] 尤度エンジン４２２は、行動が発生する又は発生しない尤度を決定することができる。例示的な一実装形態では、尤度エンジン４２２は、行動指示エンジン４１０から取得された行動情報の個々の成分に異なる重みを適用するに基づいて、行動が発生する尤度を決定することができる。例えば、事前行動がユーザによる行動を実行する意図を示すので、尤度エンジンは、事前行動には高い重み付けを割り当ててもよく、一方、行動アーチファクトを見ることによって特定のユーザの行動が強く影響されるわけではないので、視界に入る行動アーチファクトには低い重み付けを割り当てることができる。場合によっては、尤度エンジン４２２によって決定された、行動が発生する（又は発生しない）尤度を閾値と比較することができる。場合によっては、尤度が閾値を超えた場合、介入エンジン４２０は、ユーザのための介入を生成して、ユーザの行動に影響を与えることを試みることができる。場合によっては、行動介入管理システム４００は、尤度エンジン４２２からの予測が正確であったかどうかを判定するために、予測の後にユーザの行動をモニタすることができる。いくつかの実装形態では、尤度エンジン４２２は、行動介入管理システム４００によって任意の介入が適用される前に、トレーニング期間中にトレーニングされ得る。いくつかの態様では、尤度エンジン４２２は、１つ又は複数のニューラルネットワークなどのＭＬモデルによって実装され得る。尤度エンジン４２２は、行動指示エンジン４１０からの行動情報を連続的にモニタして、行動が起こる前に、その行動が発生する（又は発生しない）可能性が高いことを判定することができる。

【0091】

[0101] 介入エンジン４２４は、尤度エンジン４２２によって決定された尤度を取得することができる。介入が必要であることを尤度が示す（例えば、尤度が閾値を除外する）と介入エンジン４２４が判定した場合、介入エンジン４２４は、介入を生成することができる。場合によっては、介入エンジン４２４は、ユーザの行動に影響を与えるために選択するための介入ライブラリを含むことができる。例えば、介入ライブラリは、図１Ｂ～図１Ｇに示される介入１０６、１０８、１１０、１１２、１２４、１２６、１２８、オーディオ介入、支援者と連絡を取ることなどを含む、本明細書で説明する介入のうちのいずれかを含むことができる。

【0092】

[0102] 介入の有効性は状況依存であり得る。例えば、特定の個人に対して、介入は、いくつかの状況（例えば、朝、又はその人が独りでいるとき）においては有効であり、他の状況（例えば、夕方、又は他の人の周りにいる）においては無効であり得る。介入有効性エンジン４２６は、介入エンジン４２０が介入を生成した後に、介入の有効性を判定することができる。例示的な一例では、介入有効性エンジン４２６は、介入がユーザの行動に効果的に影響を与えたかどうかを判定するために、介入が生成された後にユーザの行動をモニタすることができる。例えば、ユーザが、介入後に望ましくない行動をとった場合、介入有効性エンジン４２６は、介入が特定のユーザに対して無効であったと判定することができる。場合によっては、介入有効性エンジン４２６は、ユーザが行動をとるが、ユーザが同じ行動をとった以前の回数に対して低減された程度であるときなど、ユーザに対して介入が部分的に有効であったと判定することができる。例示的な一例では、ユーザは、通常は２本のタバコを吸うのに、１本のタバコを吸う場合がある。

【0093】

[0103] 調整エンジン４２８は、尤度エンジン４２２による行動予測の精度及び／又は介入エンジン４２０によって生成された介入の有効性に基づいて、介入エンジン４２４のための１つ又は複数の調整を決定することができる。例えば、調整エンジン４２８は、有効な介入が生成される尤度を増加させ、無効な介入が生成される尤度を減少させるために、介入エンジン４２４の１つ又は複数のパラメータを調整することができる。同様に、調整エンジン４２８は、尤度エンジン精度が行動を予測したか否かに基づいて、尤度エンジンの１つ又は複数のパラメータ（例えば、行動情報の成分に適用される重み付け）を調整することができる。

【0094】

[0104] マルチユーザエンジン４３０は、介入エンジン４２０から行動予測の介入有効性及び／又は精度の指示を取得することができる。図４の示される例では、マルチユーザエンジン４３０は、マルチユーザ介入エンジン４３２及びマルチユーザ行動エンジン４３４を含む。場合によっては、マルチユーザエンジン４３０は、ユーザの特性（例えば、ユーザパラメータ４０１）、及び／又は介入に関連付けられたコンテキスト情報を取得することができる。コンテキスト情報は、限定はしないが、時刻、ユーザによる、介入の前の１つ又は複数のアクション、ユーザ及び／又は介入に関連付けられた行動情報、介入前及び／又は介入中のユーザ（及び／又はＸＲデバイス）のロケーションに関連付けられたロケーション及び／又は環境、ユーザの、１人又は複数の個人に対する近接度、並びに介入時にユーザによって使用されている技術／センサの組み合わせを含むことができる。例えば、ユーザのロケーションに関連付けられた環境は、人が使える階段があるか否か、ユーザがキッチンにいるか、ユーザが運動するために利用可能な空間があるか、ユーザのロケーションにおける天候（例えば、暑い、寒い、雨が降っている、風が強いなど）、行動アーチファクト（例えば、タバコ、ランニングシューズ）の存在などを含むことができる。特性は、限定されないが、性別、ユーザの年齢、家族状况、ターゲット行動、問題の深刻度、国／文化、性格タイプ（例えば、恐怖反応、嫌悪反応など）、１つ又は複数の健康状態（例えば、糖尿、心不整脈など）、１つ又は複数の食事制限（例えば、低カロリー食、菜食主義者など）、１つ又は複数の身体能力（例えば、弱った若しくは負傷した腰、麻痺など）、及び／又は他の特性を含むことができる。

【0095】

[0105] マルチユーザ介入エンジン４３２は、複数のユーザに対する介入の有効性の指示を取得することができる。マルチユーザ介入エンジン４３２は、マルチユーザ介入ライブラリを生成するために、介入の有効性の指示、介入に関連付けられたユーザの特性、及び／又は介入のコンテキストを処理することができる。場合によっては、介入ライブラリ内の介入は、有効性に基づくスコアを含むことができる。場合によっては、介入は、介入の各タイプ又はカテゴリについて、かつ介入に関連付けられたコンテキストについて、並びにそれらの任意の組み合わせについて、別個のスコアを含むことができる。場合によっては、マルチユーザ介入エンジン４３２は、１つ又は複数のニューラルネットワークなどのＭＬモデルによって実装され得る。場合によっては、マルチユーザ介入エンジン４３２は、同様のコンテキストにおける同様のユーザに対する実証された有効性に基づいてユーザに対して有効である可能性が高い介入を提供するために、ユーザの特性及び／又はユーザによって頻繁に経験されるコンテキストに対応する、マルチユーザ介入に記憶された有効性の指示を、介入エンジン４２０及び／又は調整エンジン４２８に送信することができる。例示的な一例では、マルチユーザ介入エンジンは、子供を抱いているユーザの写真をタバコのパックにオーバーレイすること（例えば、図１Ｄに示される介入１１０）は、１４歳以下の子供を持つユーザに有効であるが、進捗を示すメッセージ（例えば、図１Ｂに示される介入１０６、図１Ｅに示される介入１１２）は、１４歳を超える子供を持つユーザにより有効であると判定し得る。

【0096】

[0106] マルチユーザ行動エンジン４３４は、マルチユーザ行動ライブラリを同様に生成することができる。場合によっては、マルチユーザ行動ライブラリは、ユーザ特性及び／又はユーザによって頻繁に経験されるコンテキストに関連付けることができる前兆情報（例えば、行動トリガ、事前行動、及び／又は行動アーチファクト）を含むことができる。マルチユーザ行動ライブラリに前兆情報を含めることに加えて、又はその代替として、マルチユーザ行動エンジン４３４は、ユーザ特性及び／又はユーザによって頻繁に経験されるコンテキストに関連付けることができる行動尤度決定情報を含むことができる。例示的な一例では、尤度決定情報は、特性及び／又は頻繁に経験されるコンテキストに基づいて行動を正確に予測する可能性が最も高い、異なるタイプの行動情報に対する重み付けを含むことができる。場合によっては、マルチユーザ行動エンジン４３４は、１つ又は複数のニューラルネットワークなどのＭＬモデルによって実装され得る。場合によっては、マルチユーザ行動エンジン４３４は、ユーザの特性及び／又はユーザが頻繁に経験するコンテキストに対応する前兆情報を、行動指示エンジン４１０に送信することができる。いくつかの例では、前兆情報は、（例えば、ニューラルネットワークなどのＭＬモデルによって実装されるときに）行動指示エンジン４１０をトレーニングするために使用することができる。追加又は代替として、マルチユーザ行動エンジン４３４は、ユーザの特性及び／又はユーザによって頻繁に経験されるコンテキストに対応する尤度決定情報を、介入エンジン４２０、尤度エンジン４２２、及び介入有効性エンジン４２６のうちの１つ又は複数に送信することができる。

【0097】

[0107] 図５は、１つ又は複数の介入を生成するプロセス５００の一例を示すフロー図である。ブロック５０２において、プロセス５００は、ユーザに関連付けられた行動指示を取得することを含む。場合によっては、行動指示は、行動トリガ、事前行動、及び行動アーチファクト（例えば、行動に関連付けられた物理的オブジェクト）のうちの１つ又は複数を含むことができる。例えば、行動指示は、行動指示エンジンシステム（例えば、図４に示される行動指示エンジン４１０）から取得することができる。

【0098】

[0108] ブロック５０４において、プロセス５００は、ブロック５０２において受信された行動指示に基づいて、望ましくない行動が発生する可能性が高いか、又は所望の行動が発生する可能性が低いかを判定する。例えば、ユーザが砂糖の入った食べ物を食べることを避けるという目標を有する場合、プロセス５００は、特定の瞬間における行動指示が、ユーザが砂糖の入った食べ物を食べる可能性が高いことを示しているかどうかを判定することができる。例えば、プロセス５００が、ユーザが冷凍庫を開けてアイスクリームに手を伸ばしていると判定した場合、プロセス５００は、ユーザがアイスクリームを食べる尤度が高いことを示し得る。場合によっては、プロセス５００は、決定された尤度が所定の閾値を超えるかどうかを判定することができる。同様に、プロセス５００は、望ましい行動が発生する可能性が低い尤度を決定し、尤度が所定の閾値を超えるかどうかを判定することができる。いくつかの実装形態では、プロセス５００は、ブロック５０４において行動の可能性が高いと判定されるかどうかにかかわらず、ブロック５１０に進むことができる。いくつかの態様では、プロセス５００は、ブロック５０６及び／又はブロック５０８と並行して、ブロック５１０を実施することができる。いくつかの態様では、プロセス５００は、行動が発生する（又は発生しない）尤度が閾値を超えたとプロセス５００が判定した場合、ブロック５０６に進むことができる。場合によっては、プロセス５００は、発生する可能性又は発生しない可能性が高い行動に関連付けられた介入の、可能性有効性（例えば、介入が、所与のコンテキスト又は環境において、望ましくない行動を防止するか、又は所望の行動を促進するかどうかの尤度）を判定することができる。例えば、プロセス５００は、ユーザに散歩に出かけるように奨励する介入は、ユーザが立ち上がるときに提示される場合に有効である可能性が高いと決定することができる。これは、ユーザが立ち上がるときにユーザが散歩に出かける尤度は、ユーザがまだ座っているときに介入が提示される場合よりも大きいからである。

【0099】

[0109] ブロック５０６において、プロセスは、ユーザの述べられた目標に向かうユーザの行動に影響を与えるための介入を生成する。例えば、プロセス５００が、ブロック５０４において、望ましくない行動が発生する可能性が高いと判定した場合、プロセス５００は、ユーザが望ましくない行動をとることを思いとどまらせる可能性が高い介入を生成することができる。別の例では、プロセス５００が、ブロック５０４において、ユーザが所望の行動を避ける可能性が高いと判定した場合、プロセス５００は、ブロック５０６において、ユーザがその行動をとることを奨励する可能性が高い介入を決定することができる。場合によっては、決定された尤度に基づいて介入を生成することに加えて、又は代替として、プロセス５００は、ユーザのターゲット行動を抑止する（又は奨励する）際に利用可能な介入の以前の成功又は失敗に基づいて、介入を生成することができる。場合によっては、決定された介入は、ユーザのための介入オプションのライブラリ（例えば、図４に示される介入エンジン４２４から取得される）から選択することができる。場合によっては、介入オプションは、以前の機会における介入の有効性に基づいてランク付けすることができる。場合によっては、決定された介入は、複数のユーザから決定された介入効果に基づいて決定された介入オプションのライブラリ（例えば、図４に示されるマルチユーザ介入エンジン４３２から取得される）から選択することができる。

【0100】

[0110] 場合によっては、プロセス５００によって生成される特定の介入は、行動が発生する（又は発生しない）決定された尤度に基づくことができる。例えば、プロセス５００が、ブロック５０４において、特定の行動が発生する（又は発生しない）尤度が尤度閾値をわずかに超えたと判定した場合、プロセス５００は、小規模な介入が、ユーザがその行動をとることを抑止する（又は奨励する）可能性が高いと判定することができる。例示的な一例では、小規模な介入は、ユーザが望ましくない行動をどれだけ長く成功裏に自制したかをユーザに思い出させる進捗介入（例えば、図１Ｂに示される介入１０６、図１Ｅに示される介入１１２など）を提示することを含み得る。いくつかの態様では、プロセス５００が、ブロック５０４において、その行動が発生する（又は発生しない）尤度が尤度閾値を大きく超えたと判定した場合、プロセス５００は、大規模な介入のみが、ユーザが行動をとることを抑止する（又はユーザがその行動をとることを奨励する）可能性が高いと判定することができる。例示的な一例では、大規模な介入は、指定された支援者に通知すること、オーディオメッセージを再生することなどを含み得る。場合によっては、小規模な又は大規模な介入の使用は、特定の行動に対してのみ利用されてもよく（例えば、小規模な介入は、特定の量の食べ物の摂取を防止するのに有用であり得る）、他のタイプの行動に対しては利用されなくてもよい（例えば、小規模な介入は、飲酒問題を有する人がアルコールを飲むことを抑止し得ない）。

【0101】

[0111] 場合によっては、プロセス５００は、ユーザ以外であるが、ユーザと１つ又は複数の特性を共有する個人のための介入の成功の指示に基づいて、介入を決定することができる。場合によっては、プロセス５００は、サーバ上に位置するマルチユーザ介入ライブラリ（例えば、図４に示されるマルチユーザ介入エンジン４３２から取得される）から１つ又は複数の介入を取得することができる。場合によっては、マルチユーザ介入ライブラリは、共通のユーザ特性（例えば、家族状况、性格タイプ、本明細書で説明する任意の他の特性、及び／又は異なるユーザに共通であり得る任意の他の特性）を有するユーザに関連付けられた、介入有効性の指示を含むことができる。場合によっては、介入有効性をユーザ特性に関連付けることに加えて、又はその代替として、マルチユーザ介入ライブラリは、同様のコンテキストを共通で経験しているユーザに関連付けられた介入有効性の指示を含むことができる。場合によっては、プロセス５００は、ユーザと同様の特性を共有する他の個人、及び／又はユーザと同様のコンテキストを頻繁に経験している他の個人に対して以前に有効であった、サーバ上に位置するマルチユーザ介入ライブラリから取得された１つ又は複数の介入を取得することができる。

【0102】

[0112] ブロック５０８において、プロセス５００は、ブロック５０８において決定された介入をユーザに提示する。ユーザに提示される介入は、限定はしないが、図１Ｂ～図１Ｇに示される介入１０６、１０８、１１０、１１２、１２４、１２６、１２８、及び１４２、オーディオ介入、指定された支援者に連絡することなど、本開示で説明される介入のいずれかを含むことができる。場合によっては、プロセス５００は、介入を生成し、介入をユーザに提示するために、介入を別のデバイスに送信することができる。

【0103】

[0113] ブロック５１０において、プロセス５００は、ブロック５０４において尤度が決定された行動が発生するか又は発生しないかをモニタする。例えば、プロセス５００が、ブロック５０４において、望ましくない行動が起こる可能性が高いと判定し、ブロック５０６において介入を決定し、かつブロック５０８において介入を提示する場合、プロセス５００は、ブロック５１０において、介入を提示した後に望ましくない行動が発生するかどうかを判定することができる。別の例では、プロセス５００が、ブロック５０４において、望ましくない行動が起こる可能性が低いと判定した場合、プロセス５００は、望ましくない行動が発生するかどうかを判定するために、望ましくない行動をモニタすることができる。

【0104】

[0114] ブロック５１２において、プロセス５００は、ブロック５０８においてユーザに提示された介入の効果を分析する。例えば、プロセス５００は、ブロック５１２において、ブロック５０８において介入を提示した後にターゲット行動が発生した（又は発生しなかった）かどうかを判定することができる。場合によっては、プロセス５００は、介入の追加の影響を決定することができる。例示的な一例では、プロセス５００は、５０４において尤度決定に基づいて発生すると予想された事前行動が、ブロック５０８において提示された介入によって防止されたかどうかを判定することができる。例示的な別の例では、プロセス５００は、介入が少なくとも部分的に成功したかどうかを判定することができる。例えば、ユーザが、以前の事例よりも少ない程度に望ましくない行動を行った（例えば、タバコを２本ではなくて１本吸った）場合、プロセス５００は、介入が部分的に有効であったと判定することができる。

【0105】

[0115] ブロック５１４において、プロセス５００は、ブロック５１２において分析された介入効果を記録することができる。いくつかの例では、ユーザフィードバック５２２は、ブロック５１４においてプロセス５００によって利用することができる。例えば、ユーザは、介入がユーザの意見においてどの程度有効であったかを示す入力を提供し、ユーザがその行動をとったかどうかを示し、かつ／又は他のフィードバックを提供することができる。場合によっては、記録された介入効果にコンテキストを提供するために、介入効果とともに１つ又は複数の追加のパラメータを記録することができる。例えば、ブロック５０４において評価された行動指示のうちの１つ又は複数は、記録された介入効果とともに記憶されて、記憶された介入効果に追加のコンテキストを提供することができる。

【0106】

[0116] ブロック５１６において、プロセス５００は、ブロック５１２において判定された介入効果に基づいて、ユーザのための介入を調整することができる。例示的な一例では、介入を調整することは、介入に関連付けられたスコアを調整することを含むことができる。場合によっては、スコアが高いほど、介入が将来成功する尤度が高いことを示すことができる。場合によっては、各介入は、複数の異なるスコアに関連付けることができ、スコアの各々は、異なるコンテキストに関連付けることができる。例えば、特定の介入は、第１のコンテキスト（例えば、ユーザがターゲット行動をとることを決定する前）に有効であり得るが、第２のコンテキスト（例えば、ユーザが事前行動を始めた、かつ／又はその行動をとることを決定した後）には無効であり得る。そのような例では、特定の介入は、第１のコンテキストに対して高いスコアを有し、第２のコンテキストに対して低いスコアを有し得る。場合によっては、プロセス５００は、ブロック５０４において評価された特定のコンテキスト及びブロック５１２において判定された介入効果のうちの１つ又は複数に基づいて、介入を調整することができる。場合によっては、プロセス５００は、複数の異なるユーザのための介入の有効性を判定するシステム（例えば、図４に示されるマルチユーザエンジン４３０）に介入有効性の指示を提供することができる。場合によっては、プロセス５００は、ユーザと同様の特性を共有する他のユーザ、及び／又はユーザと同様のコンテキストを頻繁に経験している他のユーザに対して以前に有効であった、サーバ上に位置するマルチユーザ介入ライブラリから取得された、１つ又は複数の介入に基づいて、ユーザのための介入を調整することができる。場合によっては、介入調整は、有効性に基づいて介入を（例えば、リアルタイムで）漸進的に調整することを含むことができる。例えば、システム（例えば、ＸＲシステム）は、タバコのパック上のユーザの家族の画像を含む、第１のレベルの介入を提示することができる。ユーザがタバコに手を伸ばして取り上げた場合、システムは、家族からの事前に録音されたメッセージを含むより強い介入を提示することができる。

【0107】

[0117] ブロック５１８において、プロセス５００は、行動予測精度を記録することができる。例えば、プロセス５００がブロック５０４において行動が発生する可能性が低いと判定し、介入を提供しないが、プロセス５００がブロック５１０において行動が発生したことを検出した場合、プロセス５００は、ブロック５１８において、行動予測の失敗を記録することができる。場合によっては、プロセス５００は、プロセス５００がブロック５０４において行動の可能性が高いと判定し、ブロック５１０において行動が発生したことを検出したときに、行動予測の成功を記録することができる。場合によっては、記録された行動予測にコンテキストを提供するために、行動予測とともに１つ又は複数の追加のパラメータを記録することができる。例えば、ブロック５０４において評価された行動指示のうちの１つ又は複数は、記憶された行動予測に追加のコンテキストを提供するために、記録された行動予測とともに記憶することができる。いくつかの例では、ユーザフィードバック５２２は、ブロック５１８においてプロセス５００によって利用することができる。例えば、ユーザは、行動予測がどの程度正確であったかを示す入力を提供することができる。

【0108】

[0118] ブロック５２０において、プロセス５００は、ブロック５１８において記録された行動予測精度に基づいて、ユーザについての行動予測を（例えば、尤度アルゴリズムを調整することによって）調整することができる。例示的な一例では、行動予測を調整することは、ブロック５０２において取得された入力された行動指示に関連付けられた１つ又は複数の重み付けを調整することを含むことができる。場合によっては、プロセス５００は、行動指示エンジンがモニタしている行動トリガ、事前行動、及び／又は行動アーチファクトを精緻化する際に使用するために、行動予測の失敗又は成功を、行動指示エンジン（例えば、図４に示される行動指示エンジン４１０）に示すことができる。場合によっては、プロセス５００は、（例えば、図４に示されるマルチユーザエンジン４３０から取得される）複数の異なるユーザについての行動予測及び／又は行動情報（例えば、行動トリガ、事前行動、及び／又は行動アーチファクト）の精度を決定する行動指示を、サーバに提供することができる。場合によっては、ブロック５２０において、プロセス５００は、他のユーザが同じ行動又は同様の行動をとる尤度を決定する精度の指示に基づいて、特定の特性を有する、かつ／又は特定のコンテキストを経験しているユーザについての行動予測を調整することができ、ここで、他のユーザは、ユーザと同様の特性を共有し、かつ／又は他のユーザは、ユーザと同様のコンテキストを以前に経験している。場合によっては、プロセス５００は、ブロック５２０において調整が実施された後にブロック５０４に続くことができる。

【0109】

[0119] 上述のように、本明細書で説明する行動介入管理システム４００及び関連する技法は、システムが、ある行動が発生する尤度又は発生しない尤度を検出し、ユーザの目標に応じてユーザがその行動をとることを奨励又は阻止するための介入を提供することを可能にすることができる。行動介入管理システム４００は、ターゲット行動が将来発生する（又は発生しない）可能性が高いユーザに特有の行動指示と、所望の方法でユーザの行動を変更する可能性が高いユーザに特有の介入（例えば、ユーザが所望の行動をとるように奨励すること、又はユーザが所望されない行動をとるのを思いとどまらせること）とを学習することができる。ある行動が発生する前又は発生しない前に介入を提供することにより、ユーザがユーザの目標と一致する方法で振る舞うことを選択する機会を増加させることができる。

【0110】

[0120] 行動介入管理システム４００はまた、複数のユーザのための行動インジケータ及び介入を学習し、ユーザ母集団のサブセットに適用可能であり、成功する可能性が高い行動インジケータ及び介入を決定することができる。例えば、行動介入管理システム４００は、ユーザ特性及び／又は目標を特定の介入の成功の尤度と関連付けることができる。例示的な特性は、限定はしないが、性別、年齢、家族状况、ターゲット行動、問題の深刻度、国、文化、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、１つ又は複数の身体能力、及び／又は他の特性を含む。ユーザ特性及び／又は目標を特定の介入の成功の尤度と関連付けることに加えて、又はその代替として、行動介入管理システム４００は、コンテキスト（例えば、コンテキスト情報によって表されるような）を特定の介入の成功の尤度と関連付けることができる。例示的なコンテキスト情報は、限定はしないが、時刻、ユーザの場所（例えば、職場、自宅、バーの近く）、使用中の技術及び／又はセンサの組み合わせ（例えば、ユーザの近くのデバイスが指示された介入を提供することができるかどうか）、ストレスレベル、人の近くにいる他の人々などを含む。場合によっては、行動介入管理システム４００は、同様に、ユーザ母集団のサブセットの前兆行動を学習するために、（例えば、図５に示されるプロセス５００のブロック５０４において）特性及び／又はコンテキストを、行動情報及び行動尤度予測の成功又は失敗と関連付けることができる。

【0111】

[0121] 図６は、１つ又は複数の介入を生成するためのプロセス６００を示すフロー図である。ブロック６０２において、プロセス６００は、エクステンデッドリアリティ（ＸＲ）デバイスによって、ＸＲデバイスのユーザに関連付けられた行動情報を取得することを含む。例えば、ＸＲデバイスのユーザに関連付けられた行動情報を取得するために、プロセス６００は、行動の前兆である１つ又は複数の行動トリガを決定することができる。１つ又は複数の行動トリガは、ユーザのストレスレベル、ユーザの心拍数、ＸＲデバイスの視野内のオブジェクト、ユーザが位置しているロケーション及び／若しくは環境（例えば、環境内のオブジェクト、人など）、行動情報が取得される時間、ユーザに近接している１人又は複数の人、ユーザが行うアクティビティ、それらの任意の組み合わせ、並びに／又は他のトリガを含むことができる。場合によっては、ＸＲデバイスのユーザに関連付けられた行動情報を取得するために、プロセス６００は、本明細書で説明するように、ユーザがその行動をとる尤度を示す１つ又は複数の事前行動を決定することができる。いくつかの例では、ＸＲデバイスのユーザに関連付けられた行動情報を取得するために、プロセス６００は、ＸＲデバイスによって取得された１つ又は複数の画像において、その行動に関連付けられた１つ又は複数の行動アーチファクトを検出することを含むことができる。

【0112】

[0122] ブロック６０４において、プロセス６００は、ユーザがある行動をとる尤度を、行動情報に基づいてＸＲデバイスによって決定することを含む。場合によっては、プロセス５００は、発生する可能性又は発生しない可能性が高い行動に関連付けられた介入の、可能性有効性（例えば、介入が、所与のコンテキスト又は環境において、望ましくない行動を防止するか、又は所望の行動を促進するかどうかの尤度）を判定することができる。ブロック６０６において、プロセス６００は、決定された尤度が尤度閾値を超えていることに基づいて、ＸＲデバイスによって、行動に関連付けられた介入を決定することを含む。いくつかの例では、プロセス６００は、決定された尤度が尤度閾値を下回ることに基づいて、ＸＲデバイスによって、特定の介入を生成することを控えることを決定することを含むことができる。場合によっては、プロセス６００は、ブロック６０６において、介入の可能性の高い有効性に基づいて、介入を決定するか、又は特定の介入を生成することを控えることを決定することができる。例えば、プロセス５００は、ユーザに散歩に出かけるように奨励する介入は、ユーザが立っているときに提示される場合に有効である可能性が高いと決定することができるが、ユーザが座っている又は横になっている場合には介入が有効でないと決定することができる。

【0113】

[0123] ブロック６０８において、プロセス６００は、ＸＲデバイスによって、介入を生成することを含む。例えば、介入を生成するために、プロセス６００は、ＸＲデバイスのディスプレイ上に仮想コンテンツを表示することができる。仮想コンテンツがディスプレイによって表示される際に、ＸＲデバイスのディスプレイを通して実世界環境を見ることが可能である。別の例では、プロセス６００は、介入に関連付けられたオーディオを（例えば、スピーカを使用して）出力することができる。介入を生成することは、任意の他のタイプの出力を含むことができる。

【0114】

[0124] ブロック６１０において、プロセス６００は、介入を出力した後に、ユーザがその行動をとったかどうかを判定することを含む。ユーザがその行動をとったかどうかは、ＸＲデバイスによって取り込まれた１つ又は複数の画像、ユーザ入力、及び／又は他の情報の分析に基づくことができる。ブロック６１２において、プロセス６００は、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定することを含む。例えば、プロセス６００は、介入により、ユーザが望ましくない行動（例えば、一袋のチップスを食べること）を実施するのを防止した場合、又はユーザが望ましい行動（例えば、運動）を実施する結果をもたらした場合、介入が有効であると判定することができる。

【0115】

[0125] ブロック６１４において、プロセス６００は、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信することを含む。場合によっては、プロセス６００は、サーバに、ユーザがその行動をとる尤度を決定する精度の指示を送信することを含む（例えば、１人又は複数の追加のユーザについて行動をとる尤度を決定する際に使用するため）。いくつかの例では、プロセス６００は、介入に関連付けられたコンテキスト情報をサーバに送信することを含む。例えば、本明細書で説明するように、介入に関連付けられたコンテキスト情報は、時刻、ＸＲデバイスのユーザによる、介入の前の１つ又は複数のアクション、ＸＲデバイスのユーザに関連付けられた行動情報、ＸＲデバイスのユーザのロケーション、ＸＲデバイスのユーザの、１人又は複数の個人に対する近接度、それらの任意の組み合わせ、並びに／又は他の情報を含むことができる。いくつかの例では、プロセス６００は、ＸＲデバイスのユーザに関連付けられた、１つ又は複数の特性をサーバに送信することを含む。例えば、本明細書で説明するように、ＸＲデバイスのユーザに関連付けられた１つ又は複数の特性は、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、１つ又は複数の身体能力、それらの任意の組み合わせ、及び／又は他の特性を含むことができる。サーバの例示的な動作は、図７に関する以下を含む、本明細書において説明される。

【0116】

[0126] 図７は、１つ又は複数の行動を予測するためのプロセス７００を示すフロー図である。ブロック７０２において、プロセス７００は、第１のユーザ及び第１の介入に関連付けられた第１の介入情報を、サーバによって取得することを含む。いくつかの例では、第１のユーザに関連付けられた第１の介入情報は、介入タイプ、第１の介入の有効性の指示、第１の介入に関連付けられた介入コンテキスト、第１のユーザに関連付けられた１つ又は複数の特性、それらの任意の組み合わせ、及び／又は他の情報を含む。場合によっては、第１の介入情報は、第１の介入に関連付けられたコンテキスト情報を含む。例えば、第１の介入に関連付けられたコンテキスト情報は、時刻、第１のユーザによる、第１の介入の前の１つ又は複数のアクション、第１のユーザに関連付けられた第１の介入情報、第１のユーザのロケーション、第１のユーザの、１人又は複数の個人に対する近接度、これらの任意の組み合わせ、及び／又は他のコンテキスト情報を含むことができる。いくつかの態様では、第１の介入情報は、第１のユーザに関連付けられた１つ又は複数の特性を含む。例えば、第１のユーザに関連付けられた１つ又は複数の特性は、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、それらの任意の組み合わせ、及び／又は他の特性を含むことができる。

【0117】

[0127] ブロック７０４において、プロセス７００は、第１の介入情報に基づいて、介入ライブラリの１つ又は複数のパラメータを更新することを含む。介入ライブラリの１つ又は複数のパラメータは、第２のユーザ及び第２の介入に関連付けられた、第２の介入情報に少なくとも部分的に基づく。例えば、介入ライブラリのパラメータは、複数のユーザのための複数の介入に基づいて更新することができる。次に、介入ライブラリを使用して、追加のユーザのための介入を決定又は推奨することができる。例えば、ブロック７０６において、プロセス７００は、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定することを含む。

【0118】

[0128] いくつかの例では、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定するために、プロセス７００は、第３のユーザに関連付けられた第３の介入情報を、サーバによって取得することを含む。プロセス７００は、第３のユーザに関連付けられた第３の介入情報と、介入ライブラリに関連付けられた第４の介入情報との間の相関を決定することを含むことができる。プロセス７００は、第３の介入情報と第４の介入情報との間の相関が相関閾値を超えていることに基づいて、第３の介入を決定することを更に含むことができる。プロセス７００は、第３の介入を、第３のユーザに関連付けられたデバイスに送信することを含むことができる。次いで、第３のユーザに関連付けられたデバイスは、第３の介入を第３のユーザに提示する（例えば、表示する、スピーカを介して出力するなど）ことができる。

【0119】

[0129] いくつかの態様では、プロセス７００は、第５のユーザ及び第５の行動に関連付けられた第５の行動情報を、サーバによって取得することを含む。プロセス７００は、第５の行動情報に基づいて、行動ライブラリの１つ又は複数のパラメータを更新することを含むことができる。行動ライブラリの１つ又は複数のパラメータは、第６のユーザに関連付けられた第６の行動情報に少なくとも部分的に基づき得る。プロセス７００は、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第６のユーザのための１つ又は複数の行動パラメータを決定することを更に含むことができる。場合によっては、第６のユーザのための１つ又は複数の行動パラメータは、行動トリガ、事前行動、第５の行動に関連付けられた行動アーチファクト、それらの任意の組み合わせ、及び／又は他のパラメータを含む。いくつかの態様では、第６のユーザのための１つ又は複数の行動パラメータは、第６のユーザが第５の行動を実行する又は実行しない尤度を決定することに関連付けられた、１つ又は複数の重み付けを含む。いくつかの例では、第５の行動情報は、第５のユーザに関連付けられた１つ又は複数の特性を含む。場合によっては、第５の行動情報は、第５の行動に関連付けられたコンテキスト情報を含む。

【0120】

[0130] いくつかの例では、本明細書で説明するプロセス（例えば、プロセス５００、６００、７００及び／又は本明細書で説明する他のプロセス）は、コンピューティングデバイス又は装置によって実施されてもよい。一例では、プロセスのうちの１つ又は複数は、図２に示されるＸＲシステム２００によって実施することができる。別の例では、プロセスのうちの１つ又は複数は、図３に示されるＸＲシステム３２０によって実施することができる。別の例では、プロセスのうちの１つ又は複数は、図１０に示されるコンピューティングシステム１０００によって実施することができる。例えば、図１０に示されるコンピューティングシステム１０００を伴うコンピューティングデバイスは、ＸＲシステム２００の構成要素を含むことができ、図５のプロセス５００、図６のプロセス６００、図７のプロセス７００、及び／又は本明細書で説明する他のプロセスの動作を実装することができる。

【0121】

[0131] コンピューティングデバイスは、車両若しくは車両のコンピューティングデバイス、モバイルデバイス（例えば、携帯電話）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルデバイス（例えば、ＶＲヘッドセット、ＡＲヘッドセット、ＡＲグラス、ネットワーク接続時計若しくはスマートウォッチ、又は他のウェアラブルデバイス）、サーバコンピュータ、ロボットデバイス、テレビ、並びに／又はプロセス５００、６００、７００、及び／若しくは本明細書で説明する他のプロセスを含む、本明細書で説明するプロセスを実施するリソース能力を有する任意の他のコンピューティングデバイスなどの、任意の好適なデバイスを含むことができる。場合によっては、コンピューティングデバイス又は装置は、１つ又は複数の入力デバイス、１つ又は複数の出力デバイス、１つ又は複数のプロセッサ、１つ又は複数のマイクロプロセッサ、１つ又は複数のマイクロコンピュータ、１つ又は複数のカメラ、１つ又は複数のセンサ、及び／又は本明細書で説明するプロセスのステップを実行するように構成された他の構成要素などの、様々な構成要素を含んでもよい。いくつかの例では、コンピューティングデバイスは、ディスプレイ、データを通信及び／又は受信するように構成されたネットワークインターフェース、それらの任意の組み合わせ、及び／又は他の構成要素を含んでよい。ネットワークインターフェースは、インターネットプロトコル（Internet Protocol、ＩＰ）ベースのデータ又は他のタイプのデータを通信及び／又は受信するように構成され得る。

【0122】

[0132] コンピューティングデバイスの構成要素は、回路構成の中に実装され得る。例えば、構成要素は、１つ又は複数のプログラマブル電子回路（例えば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵｓ）、デジタルシグナルプロセッサ（ＤＳＰｓ）、中央処理ユニット（ＣＰＵｓ）、及び／又は他の好適な電子回路）を含み得る、電子回路若しくは他の電子ハードウェアを含むことができ、かつ／又はそれらを使用して実装されることが可能であり、かつ／あるいは本明細書で説明する様々な動作を実施するために、コンピュータソフトウェア、ファームウェア、若しくはそれらの任意の組み合わせを含むことができ、かつ／又はそれらを使用して実装されることが可能である。

【0123】

[0133] プロセス５００、６００、及び７００は、論理フロー図として示され、その動作は、ハードウェア、コンピュータ命令、又はそれらの組み合わせにおいて実装され得る動作のシーケンスを表す。コンピュータ命令のコンテキストでは、動作は、１つ又は複数のプロセッサによって実行されたとき、記載された動作を実施する、１つ又は複数のコンピュータ可読記憶媒体上に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施するか又は特定のデータタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されることを意図せず、任意の数の説明する動作は、プロセスを実装するために任意の順序で、かつ／又は並列に組み合わせられ得る。

【0124】

[0134] 加えて、プロセス５００、６００、及び７００、並びに／又は本明細書で説明する他のプロセスは、実行可能命令を用いて構成された１つ又は複数のコンピュータシステムの制御下で実施されてもよく、１つ又は複数のプロセッサ上で、ハードウェアによって、又はそれらの組み合わせで、まとめて実行するコード（例えば、実行可能命令、１つ又は複数のコンピュータプログラム、又は１つ又は複数のアプリケーション）として実装されてもよい。上述のように、コードは、例えば、１つ又は複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読記憶媒体又は機械可読記憶媒体上に記憶されてもよい。コンピュータ可読記憶媒体又は機械可読記憶媒体は、非一時的であってよい。

【0125】

[0135] 上述のように、本開示の様々な態様は、機械学習モデル又はシステムを使用することができる。図８は、上で説明された機械学習ベースの特徴抽出及び／又はアクティビティ認識（又は分類）を実装するために使用することができる、深層学習ニューラルネットワーク８００の例示的な例である。入力層８２０は入力データを含む。例示的な一例では、入力層８２０は、入力ビデオフレームのピクセルを表すデータを含むことができる。ニューラルネットワーク８００は、複数の隠れ層８２２ａ、８２２ｂ～８２２ｎを含む。隠れ層８２２ａ、８２２ｂ～８２２ｎは「ｎ」個の隠れ層を含み、ただし、「ｎ」は１以上の整数である。隠れ層の個数は、所与の適用例にとって必要とされるのと同数の層を含むようにされ得る。ニューラルネットワーク８００は、隠れ層８２２ａ、８２２ｂ～８２２ｎによって実施される処理から生じる出力を提供する、出力層８２１を更に含む。例示的な一例では、出力層８２１は、入力ビデオフレームの中のオブジェクトのための分類を提供することができる。分類は、アクティビティのタイプ（例えば、見上げる、見下ろす、目を閉じる、あくびをするなど）を識別するクラスを含むことができる。

【0126】

[0136] ニューラルネットワーク８００は、相互接続されたノードの多層ニューラルネットワークである。各ノードは情報を表すことができる。ノードに関連付けられた情報は異なる層の間で共有され、情報が処理されるにつれて各層が情報を保持する。場合によっては、ニューラルネットワーク８００はフィードフォワードネットワークを含むことができ、その場合、ネットワークの出力がそれ自体にフィードバックされるフィードバック接続はない。場合によっては、ニューラルネットワーク８００はリカレントニューラルネットワークを含むことができ、リカレントニューラルネットワークは、入力において読み取りながらノードにわたって情報が搬送されることを可能にするループを有することができる。

【0127】

[0137] 様々な層間のノード間相互接続を通じて、情報がノード間で交換され得る。入力層８２０のノードは、最初の隠れ層８２２ａの中のノードのセットを活性化することができる。例えば、示されるように、入力層８２０の入力ノードの各々は、最初の隠れ層８２２ａのノードの各々に接続される。最初の隠れ層８２２ａのノードは、活性化関数を入力ノード情報に適用することによって、各入力ノードの情報を変換することができる。変換から導出された情報は、次いで、次の隠れ層８２２ｂのノードに渡され得、そうしたノードを活性化することができ、次の隠れ層８２２ｂは、それら自体の指定された機能を実施することができる。例示的な機能は、畳み込み、アップサンプリング、データ変換、及び／又は任意の他の好適な機能を含む。隠れ層８２２ｂの出力は、次いで、次の隠れ層のノードを活性化することができ、以下同様である。最後の隠れ層８２２ｎの出力は、出力層８２１の１つ又は複数のノードを活性化することができ、そこにおいて出力が提供される。場合によっては、ニューラルネットワーク８００の中のノード（例えば、ノード８２６）は、複数の出力線を有するものとして示されるが、ノードは単一の出力を有し、ノードから出力されるものとして示される全ての線が同じ出力値を表す。

【0128】

[0138] 場合によっては、各ノード又はノード間の相互接続は、ニューラルネットワーク８００のトレーニングから導出されるパラメータのセットである、重みを有することができる。ニューラルネットワーク８００がトレーニングされると、トレーニングされたニューラルネットワークと呼ばれることがあり、１つ又は複数のアクティビティを分類するために使用され得る。例えば、ノード間の相互接続部は、相互接続されたノードについて学習された情報を表すことができる。相互接続は、（例えば、トレーニングデータセットに基づいて）調整され得る調整可能な数値重みを有することができ、ニューラルネットワーク８００が、入力に対して適応的であること、及びますます多くのデータが処理されるにつれて学習できることを可能にする。

【0129】

[0139] ニューラルネットワーク８００は、出力層８２１を通じて出力を提供するために、異なる隠れ層８２２ａ、８２２ｂ～８２２ｎを使用して、入力層８２０の中のデータからの特徴を処理するように事前トレーニングされる。ニューラルネットワーク８００が、フレーム内の運転者によって実施されているアクティビティを識別するために使用される一例では、ニューラルネットワーク８００は、上記で説明したように、フレームとラベルの両方を含むトレーニングデータを使用してトレーニングされ得る。例えば、トレーニングフレームは、ネットワークに入力され得、各トレーニングフレームが、（特徴抽出機械学習システムのための）フレーム内の特徴を示すラベル、又は各フレーム内のアクティビティのクラスを示すラベルを有する。説明の目的でオブジェクト分類を使用する一例では、トレーニングフレームは、数字２の画像を含むことができ、その場合、画像のためのラベルは［０ ０ １ ０ ０ ０ ０ ０ ０ ０］であり得る。

【0130】

[0140] 場合によっては、ニューラルネットワーク８００は、バックプロパゲーションと呼ばれるトレーニングプロセスを使用して、ノードの重みを調節することができる。上述のように、バックプロパゲーションプロセスは、フォワードパス、損失関数、バックワードパス、及び重み更新を含み得る。フォワードパス、損失関数、バックワードパス、及びパラメータ更新は、１回のトレーニング反復の間に実施される。そのプロセスは、層の重みが正確に調整されるようにニューラルネットワーク８００が十分良好にトレーニングされるまで、トレーニング画像のセットごとに、ある回数の反復にわたって繰り返され得る。

【0131】

[0141] フレーム内のオブジェクトを識別する例の場合、フォワードパスは、トレーニングフレームをニューラルネットワーク８００に通すことを含み得る。ニューラルネットワーク８００がトレーニングされる前に、最初に重みがランダム化される。例示的な一例として、フレームは、画像のピクセルを表す数字のアレイを含み得る。アレイの中の各数字は、アレイの中のその位置におけるピクセル強度を表す０～２５５までの値を含むことができる。一例では、アレイは、２８行及び２８列のピクセル並びに（赤色成分、緑色成分、及び青色成分、又はルーマ成分及び２つのクロマ成分などの）３つの色成分を有する、数字の２８×２８×３アレイを含むことができる。

【0132】

[0142] 上述のように、ニューラルネットワーク８００のための最初のトレーニング反復では、初期化において重みがランダムに選択されることに起因して、出力は、いずれの特定のクラスへの選好も与えない値を含む可能性がある。例えば、出力が、異なるクラスをオブジェクトが含む確率を伴うベクトルである場合、異なるクラスの各々に対する確率値は等しいか又は少なくとも極めて類似することがある（例えば、１０個の可能なクラスに対して、各クラスが０．１という確率値を有することがある）。初期の重みを用いると、ニューラルネットワーク８００は、低レベルの特徴を決定することが不可能であるので、オブジェクトの分類が何である可能性があるかの正確な決定を行うことができない。出力の中の誤差を分析するために、損失関数が使用され得る。クロスエントロピー損失など、任意の好適な損失関数定義が使用され得る。別の損失関数の例は、平均二乗誤差（mean squared error、ＭＳＥ）を含み、これは、

【0133】

【数1】

【0134】

として定義される。損失は、Ｅ_合計の値に等しくなるように設定され得る。

【0135】

[0143] 実際の値は予測される出力とは大きく異なるので、最初のトレーニング画像に対して損失（又は、誤差）は大きい。トレーニングの目標は、予測される出力がトレーニングラベルと同じになるように、損失の量を最小化することである。ニューラルネットワーク８００は、どの入力（重み）がネットワークの損失に最も寄与したのかを判定することによってバックワードパスを実施することができ、損失が小さくなり最終的に最小化されるように重みを調整することができる。ネットワークの損失に最も寄与した重みを判定するために、重みに関する損失の微分係数（ｄＬ／ｄＷとして示され、ただし、Ｗは特定の層における重みである）が計算され得る。微分係数が計算された後、フィルタの全ての重みを更新することによって、重み更新が実施され得る。例えば、重みは、勾配の反対方向で重みが変化するように更新され得る。重み更新は、

【0136】

【数2】

【0137】

と表すことができ、式中、ｗは重みを表し、ｗ_ｉは初期重みを表し、ηは学習率を表す。学習率は任意の好適な値に設定することができ、高い学習率はより大きい重み更新を含み、より小さい値はより小さい重み更新を示す。

【0138】

[0144] ニューラルネットワーク８００は、任意の好適な深層ネットワークを含むことができる。一例は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）を含み、畳み込みニューラルネットワーク（ＣＮＮ）は、入力層と出力層との間の複数の隠れ層とともに入力層及び出力層を含む。ＣＮＮの隠れ層は、一連の畳み込み層、非線形層、（ダウンサンプリングのための）プーリング層、及び全接続層を含む。ニューラルネットワーク８００は、特に、オートエンコーダ、深層ビリーフネット（deep belief nets、ＤＢＮｓ）、リカレントニューラルネットワーク（Recurrent Neural Networks、ＲＮＮｓ）などの、ＣＮＮ以外の任意の他の深層ネットワークを含むことができる。

【0139】

[0145] 図９は、畳み込みニューラルネットワーク（ＣＮＮ）９００の例示的な例である。ＣＮＮ９００の入力層９２０は、画像又はフレームを表すデータを含む。例えば、データは画像のピクセルを表す数字のアレイを含むことができ、アレイの中の各数字は、アレイの中のその位置におけるピクセル強度を表す０～２５５までの値を含む。上記のことからの前の例を使用すると、アレイは、２８行及び２８列のピクセル並びに３つの色成分（例えば、赤色成分、緑色成分、及び青色成分、又はルーマ成分及び２つのクロマ成分など）を有する、数字の２８×２８×３アレイを含むことができる。画像は、畳み込み隠れ層９２２ａ、任意選択の非線形活性化層、プーリング隠れ層９２２ｂ、及び全結合隠れ層９２２ｃを通過させられて、出力層９２４における出力を得ることができる。各隠れ層のうちの１つしか図９に示されないが、複数の畳み込み隠れ層、非線形層、プーリング隠れ層、及び／又は全接続層が、ＣＮＮ９００の中に含まれ得ることを、当業者は諒解されよう。前に説明したように、出力は、オブジェクトの単一のクラスを示すことができるか、又は画像の中のオブジェクトを最良に表すクラスの確率を含み得る。

【0140】

[0146] ＣＮＮ９００の最初の層は、畳み込み隠れ層９２２ａである。畳み込み隠れ層９２２ａは、入力層９２０の画像データを分析する。畳み込み隠れ層９２２ａの各ノードは、受容野と呼ばれる入力画像のノード（ピクセル）の領域に接続される。畳み込み隠れ層９２２ａは、１つ又は複数のフィルタであると考えることができ（各フィルタは異なる活性化又は特徴マップに対応する）、フィルタの各々の畳み込みの反復は、畳み込み隠れ層９２２ａのノード又はニューロンである。例えば、各畳み込み反復においてフィルタがカバーする入力画像の領域がフィルタの受容野であることになる。例示的な一例では、入力画像が２８×２８アレイを含み、かつ各フィルタ（及び、対応する受容野）が５×５アレイである場合、畳み込み隠れ層９２２ａの中に２４×２４個のノードがある。各ノードが入力画像においてその特定の局所受容野を分析することを学習するように、ノードとそのノードのための受容野との間の各接続は、重み、及び場合によっては全体のバイアスを学習する。隠れ層９２２ａの各ノードは、同じ重み及びバイアスを有する（共有重み及び共有バイアスと呼ばれる）。例えば、フィルタは、重み（数字）のアレイ、及び入力と同じ深度を有する。フィルタは、（入力画像の３つの色成分に従って）ビデオフレームの例では３という深度を有する。フィルタアレイの説明のための例示的なサイズは、ノードの受容野のサイズに対応する５×５×３である。

【0141】

[0147] 畳み込み隠れ層９２２ａの畳み込み性質は、畳み込み層の各ノードがその対応する受容野に適用されることに起因する。例えば、畳み込み隠れ層９２２ａのフィルタは、入力画像アレイの左上隅角において開始することができ、入力画像の周りで畳み込むことができる。上述のように、フィルタの各畳み込み反復は、畳み込み隠れ層９２２ａのノード又はニューロンと考えることができる。各畳み込み反復において、フィルタの値は、画像の対応する個数の元のピクセル値と乗算される（例えば、５×５フィルタアレイは、入力画像アレイの左上隅角において入力ピクセル値の５×５アレイで乗算される）。各畳み込み反復からの乗算は一緒に加算されて、その反復又はノードに対する総計を取得することができる。そのプロセスは、次に、畳み込み隠れ層９２２ａの中の次のノードの受容野に従って、入力画像の中の次のロケーションにおいて継続される。例えば、フィルタは、あるステップ量（ストライドと呼ばれる）だけ次の受容野まで移動され得る。ストライドは、１又は他の好適な量に設定され得る。例えば、ストライドが１に設定される場合、フィルタは、各畳み込み反復において１ピクセルだけ右に移動される。入力ボリュームの固有の各ロケーションにおいてフィルタを処理することは、そのロケーションに対するフィルタ結果を表す数字を生み出し、畳み込み隠れ層９２２ａのノードごとに総計値が決定される結果となる。

【0142】

[0148] 入力層から畳み込み隠れ層９２２ａへのマッピングは、活性化マップ（又は、特徴マップ）と呼ばれる。活性化マップは、入力ボリュームの各ロケーションにおいてフィルタ結果を表す各ノードの値を含む。活性化マップは、入力ボリュームに対するフィルタの各反復から得られる様々な総計値を含むアレイを含むことができる。例えば、５×５フィルタが２８×２８入力画像の各ピクセルに適用される場合（１というストライド）、活性化マップは２４×２４アレイを含む。畳み込み隠れ層９２２ａは、画像の中の複数の特徴を識別するために、いくつかの活性化マップを含むことができる。図９に示される例は、３つの活性化マップを含む。３つの活性化マップを使用して、畳み込み隠れ層９２２ａは、３つの異なる種類の特徴を検出することができ、各特徴は画像全体にわたって検出可能である。

【0143】

[0149] いくつかの例では、畳み込み隠れ層９２２ａの後、非線形隠れ層が適用され得る。非線形層は、線形演算を算出していたシステムに非線形性を導入するために使用され得る。非線形層の１つの説明のための例は、正規化線形ユニット（rectified linear unit、ＲｅＬＵ）層である。ＲｅＬＵ層は、入力ボリュームの中の値の全てに関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を適用することができ、これは全ての負の活性化を０に変える。したがって、ＲｅＬＵは、畳み込み隠れ層９２２ａの受容野に影響を及ぼすことなく、ＣＮＮ９００の非線形の性質を高めることができる。

【0144】

[0150] 畳み込み隠れ層９２２ａの後（かつ、使用されるときは非線形隠れ層の後）に、プーリング隠れ層９２２ｂが適用され得る。プーリング隠れ層９２２ｂは、畳み込み隠れ層９２２ａからの出力の中の情報を簡略化するために使用される。例えば、プーリング隠れ層９２２ｂは、畳み込み隠れ層９２２ａから出力される各活性化マップを取ることができ、プーリング関数を使用して、凝縮された活性化マップ（又は、特徴マップ）を生成する。マックスプーリングは、プーリング隠れ層によって実施される関数の一例である。平均プーリング、Ｌ２ノルムプーリング、又は他の好適なプーリング関数などの、他の形態のプーリング関数が、プーリング隠れ層９２２ａによって使用され得る。プーリング関数（例えば、マックスプーリングフィルタ、Ｌ２ノルムフィルタ、又は他の好適なプーリングフィルタ）は、畳み込み隠れ層９２２ａの中に含まれる各活性化マップに適用される。図９に示される例では、畳み込み隠れ層９２２ａの中の３つの活性化マップのために３つのプーリングフィルタが使用される。

【0145】

[0151] いくつかの例では、マックスプーリングは、（例えば、２×２というサイズを有する）マックスプーリングフィルタを、（例えば、２というストライドなどの、フィルタの次元に等しい）あるストライドを用いて、畳み込み隠れ層９２２ａから出力された活性化マップに適用することによって、使用され得る。マックスプーリングフィルタからの出力は、フィルタがその周りで畳み込む、あらゆる部分領域の中の最大数を含む。一例として２×２フィルタを使用すると、プーリング層の中の各ユニットは、前の層の中の２×２ノード（各ノードは活性化マップの中の値である）の領域を要約することができる。例えば、活性化マップの中の４つの値（ノード）は、フィルタの各反復において２×２のマックスプーリングフィルタによって分析され、４つの値からの最大値が「マックス」値として出力される。そのようなマックスプーリングフィルタが、２４×２４ノードという寸法を有する畳み込み隠れ層９２２ａからの活性化フィルタに適用される場合、プーリング隠れ層９２２ｂからの出力は、１２×１２ノードのアレイである。

【0146】

[0152] いくつかの例では、Ｌ２ノルムプーリングフィルタも使用され得る。Ｌ２ノルムプーリングフィルタは、（マックスプーリングにおいて行われるように最大値を計算するのではなく）活性化マップの２×２領域（又は、他の好適な領域）の中の値の２乗和の平方根を計算すること、及び計算された値を出力として使用することを含む。

【0147】

[0153] 直観的には、プーリング関数（例えば、マックスプーリング関数、Ｌ２ノルムプーリング関数、又は他のプーリング関数）は、所与の特徴が画像の領域の中のどこかで見つかるかどうかを決定し、厳密な位置情報を廃棄する。このことは、特徴が見つけられていると、特徴の厳密なロケーションは、他の特徴に対するその近似的なロケーションほど重要ではないので、特徴検出の結果に影響を及ぼすことなく行うことができる。マックスプーリング（並びに、他のプーリング方法）は、プーリングされるはるかに少ない特徴しかないという利点をもたらし、したがって、ＣＮＮ９００のもっと後の層において必要とされるパラメータの数を減らす。

【0148】

[0154] ネットワークの中の接続の最終の層は、プーリング隠れ層９２２ｂからのあらゆるノードを出力層９２４の中の出力ノードのうちのあらゆる出力ノードに接続する、全接続層である。上記の例を使用すると、入力層は、入力画像のピクセル強度を符号化する２８×２８ノードを含み、畳み込み隠れ層９２２ａは、３つの活性化マップへの５×５の（フィルタのための）局所受容野の適用に基づく３×２４×２４の隠れ特徴ノードを含み、プーリング隠れ層９２２ｂは、３つの特徴マップの各々にわたる２×２の領域へのマックスプーリングフィルタの適用に基づく３×１２×１２の隠れ特徴ノードの層を含む。この例を拡張すると、出力層９２４は１０個の出力ノードを含むことができる。そのような例では、３×１２×１２のプーリング隠れ層９２２ｂのあらゆるノードが、出力層９２４のあらゆるノードに接続される。

【0149】

[0155] 全接続層９２２ｃは、前のプーリング隠れ層９２２ｂの（高レベル特徴の活性化マップを表すはずである）出力を取得することができ、特定のクラスに最も相関する特徴を決定する。例えば、全接続層９２２ｃは、特定のクラスに最も強く相関する高レベル特徴を決定することができ、高レベル特徴に対する重み（ノード）を含むことができる。全接続層９２２ｃ及びプーリング隠れ層９２２ｂの重みの間で積が計算されて、異なるクラスに対する確率を取得することができる。例えば、ビデオフレームの中のオブジェクトが人であることを予測するためにＣＮＮ９００が使用されている場合、人の高水準の特徴（例えば、２本の脚がある、オブジェクトの上部に顔がある、２つの目が顔の左上及び右上にある、鼻が顔の中央にある、口が顔の下部にある、及び／又は人に一般的な他の特徴）を表す活性化マップに高い値が存在する。

【0150】

[0156] いくつかの例では、出力層９２４からの出力は、Ｍ次元ベクトル（前の例では、Ｍ＝１０）を含むことができる。Ｍは、画像内のオブジェクトを分類するときに、ＣＮＮ９００が選定しなければならないクラスの数を示す。他の例示的な出力も提供され得る。Ｍ次元ベクトルの中の各数は、オブジェクトがあるクラスである確率を表すことができる。例示的な一例では、オブジェクトの１０個の異なるクラスが［０ ０ ０．０５ ０．８ ０ ０．１５ ０ ０ ０ ０］であることを、１０次元の出力ベクトルが表す場合、ベクトルは、画像がオブジェクトの第３のクラス（例えば、犬）である確率が５％であり、画像がオブジェクトの第４のクラス（例えば、人間）である確率が８０％であり、画像がオブジェクトの第６のクラス（例えば、カンガルー）である確率が１５％であることを示す。クラスの確率は、オブジェクトがそのクラスの一部であることの信頼性レベルであると考えられ得る。

【0151】

[0157] 図１０は、本技術の特定の態様を実装するためのシステムの一例を示す図である。詳細には、図１０はコンピューティングシステム１０００の一例を示し、コンピューティングシステム１０００は、例えば、システムの構成要素が接続１００５を使用して互いに通信している、内部コンピューティングシステム、リモートコンピューティングシステム、カメラ、又はそれらの任意の構成要素を構成する、任意のコンピューティングデバイスであり得る。接続１００５は、バスを使用した物理接続、又はチップセットアーキテクチャなどにおけるプロセッサ１０１０への直接接続とすることができる。接続１００５はまた、仮想接続、ネットワーク接続、又は論理接続とすることができる。

【0152】

[0158] いくつかの実施形態では、コンピューティングシステム１０００は、本開示において説明された機能が、データセンター、複数のデータセンター、ピアネットワークなどに分散することができる分散型システムである。いくつかの実施形態では、説明されたシステム構成要素のうちの１つ又は複数は、構成要素の説明の対象である機能の一部又は全てを各々実施するような多くの構成要素を表す。いくつかの実施形態では、構成要素は物理デバイス又は仮想デバイスとすることができる。

【0153】

[0159] 例示的コンピューティングシステム１０００は、少なくとも１つの処理ユニット（ＣＰＵ又はプロセッサ）１０１０と、読み取り専用メモリ（read-only memory、ＲＯＭ）１０２０及びランダムアクセスメモリ（random access memory、ＲＡＭ）１０２５などのシステムメモリ１０１５を含む様々なシステム構成要素をプロセッサ１０１０に結合する接続１００５とを含む。コンピューティングシステム１０００は、プロセッサ１０１０と直接接続されるか、プロセッサ１０１０に極めて近接しているか、又はプロセッサ１０１０の一部として統合される、高速メモリのキャッシュ１０１２を含むことができる。

【0154】

[0160] プロセッサ１０１０は、任意の汎用プロセッサ、及びプロセッサ１０１０を制御するように構成された、記憶デバイス１０３０に記憶されたサービス１０３２、１０３４、及び１０３６などのハードウェアサービス又はソフトウェアサービス、並びにソフトウェア命令が実際のプロセッサ設計に組み込まれた専用プロセッサを含むことができる。プロセッサ１０１０は基本的に、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュなどを含む、完全に自己完結型のコンピューティングシステムであってもよい。マルチコアプロセッサは、対称であってもよく又は非対称であってもよい。

【0155】

[0161] ユーザ対話を可能にするために、コンピューティングシステム１０００は、発話のためのマイクロフォン、ジェスチャ入力又はグラフィカル入力のためのタッチ感知スクリーン、キーボード、マウス、動き入力、発話などの、任意の数の入力機構を表すことができる、入力デバイス１０４５を含む。コンピューティングシステム１０００はまた、出力デバイス１０３５を含むことができ、これはいくつかの出力機構のうちの１つ又は複数であり得る。いくつかの事例では、多モードのシステムが、コンピューティングシステム１０００と通信するためにユーザが複数のタイプの入力／出力を提供することを可能にすることができる。コンピューティングシステム１０００は、通信インターフェース１０４０を含むことができ、これは一般に、ユーザ入力及びシステム出力を支配して管理することができる。通信インターフェースは、オーディオジャック／プラグ、マイクロフォンジャック／プラグ、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート／プラグ、Ａｐｐｌｅ（登録商標）Ｌｉｇｈｔｎｉｎｇ（登録商標）ポート／プラグ、Ｅｔｈｅｒｎｅｔポート／プラグ、光ファイバーポート／プラグ、プロプライエタリ有線ポート／プラグ、ＢＬＵＥＴＯＯＴＨ（登録商標）ワイヤレス信号転送、ＢＬＵＥＴＯＯＴＨ（登録商標）低エネルギー（low energy、ＢＬＥ）ワイヤレス信号転送、ＩＢＥＡＣＯＮ（登録商標）ワイヤレス信号転送、無線周波識別（radio-frequency identification、ＲＦＩＤ）ワイヤレス信号転送、近距離通信（near-field communications、ＮＦＣ）ワイヤレス信号転送、専用短距離通信（dedicated short range communication、ＤＳＲＣ）ワイヤレス信号転送、８０２．１１ Ｗｉ－Ｆｉワイヤレス信号転送、ワイヤレスローカルエリアネットワーク（wireless local area network、ＷＬＡＮ）信号転送、可視光通信（Visible Light Communication、ＶＬＣ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（Worldwide Interoperability for Microwave Access、ＷｉＭＡＸ）、赤外線（infrared、ＩＲ）通信ワイヤレス信号転送、公衆交換電話網（Public Switched Telephone Network、ＰＳＴＮ）信号転送、統合サービスデジタルネットワーク（Integrated Services Digital Network、ＩＳＤＮ）信号転送、３Ｇ／４Ｇ／５Ｇ／ＬＴＥセルラーデータネットワークワイヤレス信号転送、アドホックネットワーク信号転送、電波信号転送、マイクロ波信号転送、赤外線信号転送、可視光信号転送、紫外光信号転送、電磁スペクトルに沿ったワイヤレス信号転送、又はそれらの何らかの組み合わせを利用するものを含む、有線及び／又はワイヤレスのトランシーバを使用する受信及び／又は送信有線通信又はワイヤレス通信を実施し得るか、又は容易にし得る。通信インターフェース１０４０はまた、１つ又は複数の全地球航法衛星システム（Global Navigation Satellite System、ＧＮＳＳ）システムに関連付けられた１つ又は複数の衛星からの１つ又は複数の信号の受信に基づいて、コンピューティングシステム１０００のロケーションを決定するために使用される、１つ又は複数のＧＮＳＳレシーバ又はトランシーバを含んでもよい。ＧＮＳＳシステムは、限定はしないが、米国の全地球測位システム（Global Positioning System、ＧＰＳ）、ロシアの全地球航法衛星システム（Global Navigation Satellite System、ＧＬＯＮＡＳＳ）、中国の北斗航法衛星システム（BeiDou Navigation Satellite System、ＢＤＳ）、及び欧州のＧａｌｉｌｅｏ ＧＮＳＳを含む。任意の特定のハードウェア構成上で動作することに対して制約がなく、したがって、ここでの基本的な特徴は、それらが開発されるにつれて、改善されたハードウェア構成又はファームウェア構成のために容易に置き換えられてもよい。

【0156】

[0162] 記憶デバイス１０３０は、不揮発性のかつ／又は非一時的なかつ／又はコンピュータ可読のメモリデバイスであってもよく、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、磁気ストリップ／ストライプ、任意の他の磁気記憶媒体、フラッシュメモリ、メモリスタメモリ、任意の他の固体メモリ、コンパクトディスク読み取り専用メモリ（compact disc read only memory、ＣＤ－ＲＯＭ）光ディスク、再書き込み可能コンパクトディスク（compact disc、ＣＤ）光ディスク、デジタルビデオディスク（digital video disk、ＤＶＤ）光ディスク、ブルーレイディスク（blu-ray disc、ＢＤＤ）光ディスク、ホログラフィック光ディスク、別の光媒体、セキュアデジタル（secure digital、ＳＤ）カード、マイクロセキュアデジタル（micro secure digital、ｍｉｃｒｏＳＤ）カード、メモリスティック（登録商標）カード、スマートカードチップ、ＥＭＶチップ、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、ミニ／マイクロ／ナノ／ピコＳＩＭカード、別の集積回路（integrated circuit、ＩＣ）チップ／カード、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ（static RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（programmable read-only memory、ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュＥＰＲＯＭ（flash EPROM、ＦＬＡＳＨＥＰＲＯＭ）、キャッシュメモリ（Ｌ１／Ｌ２／Ｌ３／Ｌ４／Ｌ５／Ｌ＃）、抵抗性ランダムアクセスメモリ（resistive random-access memory、ＲＲＡＭ／ＲｅＲＡＭ）、位相変化メモリ（phase change memory、ＰＣＭ）、スピン転送トルクＲＡＭ（spin transfer torque RAM、ＳＴＴ－ＲＡＭ）、別のメモリチップ若しくはカートリッジ、及び／又はそれらの組み合わせなどの、コンピュータによってアクセス可能であるデータを記憶できるハードディスク又は他のタイプのコンピュータ可読媒体であってよい。

【0157】

[0163] 記憶デバイス１０３０は、そのようなソフトウェアを定義するコードがプロセッサ１０１０によって実行されるとシステムに機能を実施させる、ソフトウェアサービス、サーバ、サービスなどを含むことができる。いくつかの実施形態では、特定の機能を実施するハードウェアサービスは、機能を実行するために、プロセッサ１０１０、接続１００５、出力デバイス１０３５などの必要なハードウェア構成要素に関してコンピュータ可読媒体の中に記憶された、ソフトウェア構成要素を含むことができる。

【0158】

[0164] 本明細書で使用する「コンピュータ可読媒体」という用語は、限定はしないが、携帯型又は非携帯型の記憶デバイス、光記憶デバイス、並びに命令及び／又はデータを記憶、格納、又は搬送することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得るとともに、ワイヤレスに又は有線接続を介して伝搬する搬送波及び／又は一時的な電子信号を含まない、非一時的媒体を含んでもよい。非一時的媒体の例は、限定はしないが、磁気ディスク若しくはテープ、コンパクトディスク（ＣＤ）若しくはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリ、又はメモリデバイスを含んでもよい。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は命令、データ構造、若しくはプログラムステートメントの任意の組み合わせを表し得る、その上に記憶されたコード及び／又は機械実行可能命令を有してもよい。コードセグメントは、情報、データ、引数、パラメータ、又はメモリ内容を渡すこと及び／又は受けることによって、別のコードセグメント又はハードウェア回路に結合されてもよい。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む、任意の好適な手段を使用して渡され、転送され、又は伝送されてもよい。

【0159】

[0165] いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、及びメモリは、ビットストリームなどを含むケーブル又はワイヤレス信号を含み得る。しかしながら、非一時的コンピュータ可読記憶媒体について述べるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、及び信号自体などの媒体を明確に除外する。

【0160】

[0166] 本明細書で提供する実施形態及び例の完全な理解を与えるために、上記の説明で具体的な詳細が提供されている。しかしながら、実施形態がこれらの具体的な詳細なしに実践され得ることが当業者によって理解されよう。説明を明快にするために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアの中で具現される方法におけるステップ若しくはルーチン、又はハードウェアとソフトウェアとの組み合わせを備える機能ブロックを含む、個々の機能ブロックを含むものとして提示されることがある。図の中に示されかつ／又は本明細書で説明されるもの以外の、追加の構成要素が使用されてもよい。例えば、不必要な詳細で実施形態を不明瞭にしないように、回路、システム、ネットワーク、プロセス、及び他の構成要素がブロック図の形態で構成要素として示されることがある。他の事例では、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、及び技法は、不必要な詳細なしに示されることがある。

【0161】

[0167] 個々の実施形態が、フローチャート、フロー図、データフロー図、構造図、又はブロック図として示されるプロセス又は方法として上記で説明されることがある。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並列に又は同時に実施され得る。加えて、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了するときに終了するが、図に含まれない追加のステップを有することができる。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は、その関数が呼出し関数又はメイン関数に戻ることに対応することができる。

【0162】

[0168] 上記で説明した例によるプロセス及び方法は、記憶されているか、又はそうでなければコンピュータ可読媒体から入手可能なコンピュータ実行可能命令を使用して実装され得る。そのような命令は、例えば、汎用コンピュータ、専用コンピュータ、若しくは処理デバイスに特定の機能若しくは機能のグループを実施させるか、又はさもなければ、特定の機能若しくは機能のグループを実施するように汎用コンピュータ、専用コンピュータ、若しくは処理デバイスを構成する、命令及びデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワークを介してアクセス可能であることができる。コンピュータ実行可能命令は、例えば、アセンブリ言語、ファームウェア、ソースコードなどの、バイナリ、中間フォーマット命令であってもよい。命令、使用される情報、及び／又は説明する例による方法の間に作成される情報を記憶するために使用されることがあるコンピュータ可読媒体の例としては、磁気又は光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク接続された記憶デバイスなどが挙げられる。

【0163】

[0169] これらの開示に従ってプロセス及び方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを含んでよく、様々なフォームファクタのうちのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードにおいて実装されるとき、必要なタスクを実施するためのプログラムコード又はコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ可読媒体又は機械可読媒体に記憶されてもよい。プロセッサは必要なタスクを実施してもよい。フォームファクタの典型的な例としては、ラップトップ、スマートフォン、携帯電話、タブレットデバイス又は他の小型フォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどが挙げられる。本明細書で説明した機能性はまた、周辺装置又はアドインカードの中で具現され得る。そのような機能性はまた、更なる例として、異なるチップのうちの回路基板上、又は単一のデバイスの中で実行する異なるプロセス上で実装され得る。

【0164】

[0170] 命令、そのような命令を伝えるための媒体、命令を実行するためのコンピューティングリソース、及びそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明した機能を提供するための例示的な手段である。

【0165】

[0171] 上記の説明では、本出願の態様はそれらの特定の実施形態を参照しながら説明されるが、本出願がそれらに限定されないことを当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、本発明の概念が別のやり方で様々に具現及び採用され得ること、並びに従来技術によって限定される場合を除き、添付の特許請求の範囲がそのような変形を含むものと解釈されることが意図されることを理解されたい。上記で説明した本出願の様々な特徴及び態様は、個別に又は共同で使用されてもよい。更に、実施形態は、本明細書の範囲から逸脱することなく、本明細書に記載したもの以外の任意の数の環境及び適用例において利用することができる。したがって、本明細書及び図面は限定的ではなく例示的と見なされるべきである。例示の目的のために、方法は特定の順序で説明された。代替実施形態では、方法は説明された順序とは異なる順序で実施されてもよいことを理解されたい。

【0166】

[0172] 本明細書で使用される、よりも小さい（「＜」）、及び、よりも大きい（「＞」）のシンボル又は専門用語は、本明細書の範囲から逸脱することなく、それぞれ、よりも小さいか又はそれに等しい（「≦」）、及び、よりも大きいか又はそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。

【0167】

[0173] 構成要素が特定の動作を実施する「ように構成されている」ものとして説明される場合、そのような構成は、例えば、動作を実施するように電子回路若しくは他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（例えば、マイクロプロセッサ、又は他の好適な電子回路）をプログラムすることによって、又はそれらの任意の組み合わせで達成され得る。

【0168】

[0174] 「に結合された」という句は、直接的若しくは間接的のいずれかで別の構成要素に物理的に接続されている任意の構成要素、及び／又は直接的若しくは間接的のいずれかで別の構成要素と通信している（例えば、有線接続若しくはワイヤレス接続及び／又は他の好適な通信インターフェースを介して他の構成要素に接続されている）任意の構成要素を指す。

【0169】

[0175] 集合「のうちの少なくとも１つ」及び／又は集合のうちの「１つ又は複数」と記載する請求項の文言又は他の文言は、集合の１つのメンバー又は集合の（任意の組み合わせでの）複数のメンバーが請求項を満たすことを示す。例えば、「Ａ及びＢのうちの少なくとも１つ」又は「Ａ又はＢのうちの少なくとも１つ」を記載する請求項の文言は、Ａ、Ｂ、又はＡ及びＢを意味する。別の例では、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、又はＣのうちの少なくとも１つ」を記載する請求項の文言は、Ａ、Ｂ、Ｃ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ及びＢ及びＣを意味する。集合「のうちの少なくとも１つ」及び／又は集合のうちの「１つ又は複数」という文言は、集合の中で列挙される項目にその集合を限定しない。例えば、「Ａ及びＢのうちの少なくとも１つ」又は「Ａ又はＢのうちの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、又はＡ及びＢを意味することができ、追加として、Ａ及びＢの集合の中で列挙されない項目を含むことができる。

【0170】

[0176] 本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ハードウェア及びソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、それらの機能に関して概略的に上記で説明した。そのような機能がハードウェアとして実装されるのか又はソフトウェアとして実装されるのかは、具体的な適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装形態の決定は、本出願の範囲から逸脱する原因として解釈されるべきではない。

【0171】

[0177] 本明細書で説明する技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、又はワイヤレス通信デバイスハンドセット及び他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなどの、様々なデバイスのうちのいずれかにおいて実装されてもよい。モジュール又は構成要素として説明した任意の特徴は、集積論理デバイスの中で一緒に、又は個別であるが相互動作可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、技法は、実行されると、上記で説明した方法のうちの１つ又は複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって少なくとも部分的に実現されてよい。コンピュータ可読データ記憶媒体は、コンピュータプログラム製品の一部を形成してもよく、これはパッケージング材料を含んでもよい。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（synchronous dynamic access memory、ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（non-volatile random access memory、ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気又は光データ記憶媒体などの、メモリ又はデータ記憶媒体を備えてもよい。技法は、追加又は代替として、伝搬される信号又は波などの、命令又はデータ構造の形態でのプログラムコードを搬送又は通信するとともに、コンピュータによってアクセスされ、読み取られ、かつ／又は実行され得る、コンピュータ可読通信媒体によって少なくとも部分的に実現されてもよい。

【0172】

[0178] プログラムコードは、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（application specific integrated circuits、ＡＳＩＣｓ）、フィールドプログラマブル論理アレイ（field programmable logic arrays、ＦＰＧＡｓ）、又は他の均等な集積論理回路構成若しくは個別論理回路構成などの１つ又は複数のプロセッサを含み得る、プロセッサによって実行されてもよい。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成されてもよい。汎用プロセッサは、マイクロプロセッサであってもよい代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもあってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組み合わせ、又は本明細書で説明した技法の実装形態に適した任意の他の構造若しくは装置のうちのいずれかを指すことがある。

【0173】

[0179] 本開示の例示的な態様は以下を含む。

【0174】

[0180] 態様１：１つ又は複数の介入を生成する方法であって、方法は、エクステンデッドリアリティ（ＸＲ）デバイスのユーザに関連付けられた行動情報を、ＸＲデバイスによって取得することと、ユーザがある行動をとる尤度を、行動情報に基づいて、ＸＲデバイスによって決定することと、決定された尤度が尤度閾値を超えていることに基づいて、ＸＲデバイスによって、介入を決定することと、ＸＲデバイスによって、介入を生成することと、介入を生成した後に、ユーザがその行動をとったかどうかを判定することと、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定することと、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信することと、を含む。

【0175】

[0181] 態様２：介入に関連付けられたコンテキスト情報を、サーバに送信することを更に含む態様１の方法であって、介入に関連付けられたコンテキスト情報が、時刻、ＸＲデバイスのユーザによる、介入の前の１つ又は複数のアクション、ＸＲデバイスのユーザに関連付けられた行動情報、ＸＲデバイスのユーザのロケーション、及びＸＲデバイスのユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、態様１の方法。

【0176】

[0182] 態様３：ＸＲデバイスのユーザに関連付けられた１つ又は複数の特性を、サーバに送信することを更に含む態様１又は２の方法であって、ＸＲデバイスのユーザに関連付けられた１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、及び１つ又は複数の身体能力、のうちの少なくとも１つを含む、態様１又は２の方法。

【0177】

[0183] 態様４：ＸＲデバイスのユーザに関連付けられた行動情報を取得することが、行動の前兆である１つ又は複数の行動トリガを決定することを含み、１つ又は複数の行動トリガが、ユーザのストレスレベル、ユーザの心拍数、ＸＲデバイスの視野内のオブジェクト、ユーザが位置しているロケーション、行動情報が取得される時間、ユーザに近接している１人又は複数の人、及びユーザが行うアクティビティのうちの少なくとも１つを含む、態様１～３のいずれかの方法。

【0178】

[0184] 態様５：ＸＲデバイスのユーザに関連付けられた行動情報を取得することが、ユーザがその行動をとる尤度を示す１つ又は複数の事前行動を決定することを含む、態様１～４のいずれかの方法。

【0179】

[0185] 態様６：ＸＲデバイスのユーザに関連付けられた行動情報を取得することが、ＸＲデバイスによって取得された１つ又は複数の画像において、行動に関連付けられた１つ又は複数の行動アーチファクトを検出することを含む、態様１～５のいずれかの方法。

【0180】

[0186] 態様７：介入を生成することが、ＸＲデバイスのディスプレイ上に仮想コンテンツを表示することを含み、仮想コンテンツがディスプレイによって表示される際に、ＸＲデバイスのディスプレイを通して実世界環境を見ることができる、態様１～６のいずれかの方法。

【0181】

[0187] 態様８：１つ又は複数の介入を生成するための装置であって、装置は、少なくとも１つのメモリと、少なくとも１つのメモリに結合された少なくとも１つのプロセッサと、を備え、少なくとも１つのプロセッサは、装置のユーザに関連付けられた行動情報を取得し、行動情報に基づいて、ユーザがある行動をとる尤度を決定し、決定された尤度が尤度閾値を超えていることに基づいて、行動に関連付けられた介入を決定し、介入を生成し、介入を出力した後に、ユーザがその行動をとったかどうかを判定し、ユーザがその行動をとったかどうかに基づいて、介入の有効性を判定し、１人又は複数の追加のユーザのための介入を決定する際に使用するために、介入の有効性の指示をサーバに送信する、ように構成されている。

【0182】

[0188] 態様９：少なくとも１つのプロセッサが、介入に関連付けられたコンテキスト情報を、サーバに送信するように構成されており、介入に関連付けられたコンテキスト情報が、時刻、装置のユーザによる、介入の前の１つ又は複数のアクション、装置のユーザに関連付けられた行動情報、装置のユーザのロケーション、及び装置のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、態様８の装置。

【0183】

[0189] 態様１０：少なくとも１つのプロセッサが、装置のユーザに関連付けられた１つ又は複数の特性を、サーバに送信するように構成されており、装置のユーザに関連付けられた１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、性格タイプ、１つ又は複数の健康状態、１つ又は複数の食事制限、及び１つ又は複数の身体能力、のうちの少なくとも１つを含む、態様８又は９の装置。

【0184】

[0190] 態様１１：装置のユーザに関連付けられた行動情報を取得するために、少なくとも１つのプロセッサが、行動の前兆である１つ又は複数の行動トリガを決定するように構成されており、１つ又は複数の行動トリガが、ユーザのストレスレベル、ユーザの心拍数、装置の視野内のオブジェクト、ユーザが位置しているロケーション、行動情報が取得される時間、ユーザに近接している１人又は複数の人、及びユーザが行うアクティビティのうちの少なくとも１つを含む、態様８～１０のいずれかの装置。

【0185】

[0191] 態様１２：装置のユーザに関連付けられた行動情報を取得するために、少なくとも１つのプロセッサが、ユーザがその行動をとる尤度を示す１つ又は複数の事前行動を決定するように構成されている、態様８～１１のいずれかの装置。

【0186】

[0192] 態様１３：装置のユーザに関連付けられた行動情報を取得するために、少なくとも１つのプロセッサが、装置によって取得された１つ又は複数の画像において、行動に関連付けられた１つ又は複数の行動アーチファクトを検出するように構成されている、態様８～１２のいずれかの装置。

【0187】

[0193] 態様１４：介入を生成するために、少なくとも１つのプロセッサが、装置のディスプレイ上に仮想コンテンツを表示するように構成されており、仮想コンテンツがディスプレイによって表示される際に、装置のディスプレイを通して実世界環境を見ることが可能である、態様８～１３のいずれかの装置。

【0188】

[0194] 態様１５：装置が、エクステンデッドリアリティ（ＸＲ）デバイスである、態様８～１４のいずれかの装置。

【0189】

[0195] 態様１６：命令を記憶した非一時的コンピュータ可読記憶媒体であって、命令は、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサに、態様１～１４の動作のいずれかを実施させる。

【0190】

[0196] 態様１７：態様１～１５の動作のいずれかを実施するための手段を備える装置。

【0191】

[0197] 態様１８：１つ又は複数の介入を生成する方法であって、方法は、第１のユーザ及び第１の介入に関連付けられた第１の介入情報を、サーバによって取得することと、第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新することと、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定することと、を含む。

【0192】

[0198] 態様１９：第１のユーザに関連付けられた第１の介入情報が、介入タイプ、第１の介入の有効性の指示、第１の介入に関連付けられた介入コンテキスト、及び第１のユーザに関連付けられた１つ又は複数の特性、のうちの少なくとも１つを含む、態様１８の方法。

【0193】

[0199] 態様２０：介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定することが、第３のユーザに関連付けられた第３の介入情報を、サーバによって取得することと、第３のユーザに関連付けられた第３の介入情報と、介入ライブラリに関連付けられた第４の介入情報との間の相関を決定することと、第３の介入情報と第４の介入情報との間の相関が相関閾値を超えていることに基づいて、第３の介入を決定することと、第３の介入を、第３のユーザに関連付けられたデバイスに送信することと、を含む、態様１８又は１９の方法。

【0194】

[0200] 態様２１：第１の介入情報が、第１の介入に関連付けられたコンテキスト情報を含む、態様１８～２０のいずれかの方法。

【0195】

[0201] 態様２２：第１の介入に関連付けられたコンテキスト情報が、時刻、第１のユーザによる、第１の介入の前の１つ又は複数のアクション、第１のユーザに関連付けられた第１の介入情報、第１のユーザのロケーション、及び第１のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、態様１８～２１のいずれかの方法。

【0196】

[0202] 態様２３：第１の介入情報が、第１のユーザに関連付けられた１つ又は複数の特性を含む、態様１８～２２のいずれかの方法。

【0197】

[0203] 態様２４：第１のユーザに関連付けられた１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、及び性格タイプのうちの少なくとも１つを含む、態様１８～２３のいずれかの方法。

【0198】

[0204] 態様２５：方法が、第５のユーザ及び第５の行動に関連付けられた第５の行動情報を、サーバによって取得することと、第５の行動情報に基づいて、第６のユーザに関連付けられた第６の行動情報に少なくとも部分的に基づく、行動ライブラリの１つ又は複数のパラメータを更新することと、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第７のユーザのための１つ又は複数の行動パラメータを決定することと、を更に含む、態様１８～２４のいずれかの方法。

【0199】

[0205] 態様２６：第７のユーザのための１つ又は複数の行動パラメータが、第５の行動に関連付けられた、行動トリガ、事前行動、及び行動アーチファクトのうちの少なくとも１つを含む、態様１８～２５のいずれかの方法。

【0200】

[0206] 態様２７：第７のユーザのための１つ又は複数の行動パラメータが、第７のユーザが第５の行動を実行する又は実行しない尤度を決定することに関連付けられた、１つ又は複数の重み付けを含む、態様１８～２６のいずれかの方法。

【0201】

[0207] 態様２８：第５の行動情報が、第５のユーザに関連付けられた１つ又は複数の特性を含む、態様１８～２７のいずれかの方法。

【0202】

[0208] 態様２９：第５の行動情報が、第５の行動に関連付けられたコンテキスト情報を含む、態様１８～２８のいずれかの方法。

【0203】

[0209] 態様３０：１つ又は複数の介入を生成するためのシステムであって、システムは、少なくとも１つのメモリと、少なくとも１つのメモリに結合された少なくとも１つのプロセッサと、を備え、少なくとも１つのプロセッサは、第１のユーザ及び第１の介入に関連付けられた、第１の介入情報を取得し、第１の介入情報に基づいて、第２のユーザ及び第２の介入に関連付けられた第２の介入情報に少なくとも部分的に基づく、介入ライブラリの１つ又は複数のパラメータを更新し、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定する、ように構成されている。

【0204】

[0210] 態様３１：第１のユーザに関連付けられた第１の介入情報が、介入タイプ、第１の介入の有効性の指示、第１の介入に関連付けられた介入コンテキスト、及び第１のユーザに関連付けられた１つ又は複数の特性、のうちの少なくとも１つを含む、態様３０のシステム。

【0205】

[0211] 態様３２：介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第３のユーザのための第３の介入を決定するために、少なくとも１つのプロセッサが、第３のユーザに関連付けられた第３の介入情報を取得し、第３のユーザに関連付けられた第３の介入情報と、介入ライブラリに関連付けられた第４の介入情報との間の相関を決定し、第３の介入情報と第４の介入情報との間の相関が相関閾値を超えていることに基づいて、第３の介入を決定し、第３の介入を、第３のユーザに関連付けられたデバイスに送信する、ように構成されている、態様３０又は３１のシステム。

【0206】

[0212] 態様３３：第１の介入情報が、第１の介入に関連付けられたコンテキスト情報を含む、態様３０～３２のいずれかのシステム。

【0207】

[0213] 態様３４：第１の介入に関連付けられたコンテキスト情報が、時刻、第１のユーザによる、第１の介入の前の１つ又は複数のアクション、第１のユーザに関連付けられた第１の介入情報、第１のユーザのロケーション、及び第１のユーザの、１人又は複数の個人に対する近接度のうちの少なくとも１つを含む、態様３０～３３のいずれかのシステム。

【0208】

[0214] 態様３５：第１の介入情報が、第１のユーザに関連付けられた１つ又は複数の特性を含む、態様３０～３４のいずれかのシステム。

【0209】

[0215] 態様３６：第１のユーザに関連付けられた１つ又は複数の特性が、性別、年齢、家族状况、ターゲット行動、国、文化、場所、及び性格タイプのうちの少なくとも１つを含む、態様３０～３５のいずれかのシステム。

【0210】

[0216] 態様３７：少なくとも１つのプロセッサが、第５のユーザ及び第５の行動に関連付けられた、第５の行動情報を取得し、第５の行動情報に基づいて、第６のユーザに関連付けられた第６の行動情報に少なくとも部分的に基づく、行動ライブラリの１つ又は複数のパラメータを更新し、介入ライブラリの更新された１つ又は複数のパラメータに基づいて、第７のユーザのための１つ又は複数の行動パラメータを決定する、ように構成されている、態様３０～３６のいずれかのシステム。

【0211】

[0217] 態様３８：第７のユーザのための１つ又は複数の行動パラメータが、第５の行動に関連付けられた、行動トリガ、事前行動、及び行動アーチファクトのうちの少なくとも１つを含む、態様３０～３７のいずれかのシステム。

【0212】

[0218] 態様３９：第７のユーザのための１つ又は複数の行動パラメータが、第６のユーザが第５の行動を実行する又は実行しない尤度を決定することに関連付けられた、１つ又は複数の重み付けを含む、態様３０～３８のいずれかのシステム。

【0213】

[0219] 態様４０：第５の行動情報が、第５のユーザに関連付けられた１つ又は複数の特性を含む、態様３０～３９のいずれかのシステム。

【0214】

[0220] 態様４１：第５の行動情報が、第５の行動に関連付けられたコンテキスト情報を含む、態様３０～４０のいずれかのシステム。

【0215】

[0221] 態様４２：システムが、少なくとも１つのサーバを含む、態様３０～４１のいずれかのシステム。

【0216】

[0222] 態様４３：命令を記憶した非一時的コンピュータ可読記憶媒体であって、命令は、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサに、態様１８～４２の動作のいずれかを実施させる。

【0217】

[0223] 態様４４：態様１８～４２の動作のいずれかを実施するための手段を備える装置。

【0218】

[0224] 態様４５：態様１～７のいずれかによる動作及び態様１８～２９のいずれかによる動作を含む、方法。

【0219】

[0225] 態様４６：１つ又は複数のフレームに対して時間ブレンディングを実施するための装置。装置は、１つ又は複数のフレームを記憶するように構成された（例えば、回路の中に実装された）メモリと、メモリに結合された１つ又は複数のプロセッサ（例えば、１つのプロセッサ又は複数のプロセッサ）を含む。１つ又は複数のプロセッサは、態様１～７のいずれかによる動作及び態様１８～２９のいずれかによる動作を実施するように構成されている。

【0220】

[0226] 態様４７：命令を記憶するコンピュータ可読記憶媒体であって、命令は、１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサに、態様１～７のいずれかによる動作及び態様１８～２９のいずれかによる動作を実施させる。

【0221】

[0227] 態様４８：態様１～７のいずれかによる動作及び態様１８～２９のいずれかによる動作を実施するための手段を備える装置。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図1F】

【図1G】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】