(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-27
(54)【発明の名称】自閉症スペクトラム障害に関連付けられた対象を処置するエクステンデッドリアリティシステム
(51)【国際特許分類】
A61B 10/00 20060101AFI20230217BHJP
G16H 50/20 20180101ALI20230217BHJP
A61B 3/113 20060101ALI20230217BHJP
【FI】
A61B10/00 H
G16H50/20
A61B3/113
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022538758
(86)(22)【出願日】2020-12-18
(85)【翻訳文提出日】2022-07-29
(86)【国際出願番号】 US2020065805
(87)【国際公開番号】W WO2021133647
(87)【国際公開日】2021-07-01
(32)【優先日】2019-12-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(71)【出願人】
【識別番号】514099673
【氏名又は名称】エフ・ホフマン-ラ・ロシュ・アクチェンゲゼルシャフト
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】チャタム, クリストファー ヒューズ
(72)【発明者】
【氏名】エリアソン, ミカエル ジョン ラース
(72)【発明者】
【氏名】サンダース, ケビン
(72)【発明者】
【氏名】パターソン, ケイトリン アン
(72)【発明者】
【氏名】パン, マテウス ジアウェイ
(72)【発明者】
【氏名】ウーバー, ホリー アン
【テーマコード(参考)】
4C316
5L099
【Fターム(参考)】
4C316AA21
4C316AA30
4C316FA20
4C316FC28
5L099AA04
(57)【要約】
自閉症スペクトラム障害(ASD)を評価するための方法およびシステムが、本明細書に記載される。ASDに関連付けられた1つ以上の行動を識別するデータを受信し得る。複数の異なるタスクを指定するシナリオを受信し得る。エクステンデッドリアリティ(XR)デバイスは、対象にXR環境を提示し得る。XRデバイスは、XR環境において、複数の異なるタスクのうちの第1のタスクを提示し得る。XR環境内の1つ以上のオブジェクトとの対象相互作用に基づいて、相互作用データを計算し得る。相互作用データに基づいて、複数の異なるタスクから少なくとも1つの第2のタスクを選択し得る。少なくとも1つの第2のタスクは、第1のタスクと比較して異なる技能を訓練するように構成され得る。XR環境は、第2のタスクを提示するように変更され得る。
【特許請求の範囲】
【請求項1】
自閉症スペクトラム障害(ASD)を評価するための方法であって、
少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の前記オブジェクトとの対象相互作用を検出することと、
前記対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと
を含む、方法。
【請求項2】
前記対象に関連付けられ、かつ前記第1のタスクの実施中に収集された生体データを、1つ以上の生体追跡デバイスから受信することをさらに含み、前記相互作用データを生成することが、前記生体データにさらに基づいて前記相互作用データを生成することを含む、請求項1に記載の方法。
【請求項3】
前記1つ以上の行動に関連付けられたスコアを計算することが、前記生体データを前記シナリオによって確立された基準と比較することを含む、請求項2に記載の方法。
【請求項4】
前記1つ以上の行動に関連付けられたスコアを計算することが、前記対象相互作用に対応する、前記対象が前記XR環境において前記1つ以上の行動をどれだけ良好に実施するかを示すパフォーマンスメトリックを計算することを含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記第2のタスクを選択することが、ユーザが前記第1のタスクに無応答であることを示す入力の使用に応答し、前記XR環境を変更することが、人間の相互作用なしに前記第2のタスクを提示することを含む、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記シナリオが、ある順序で実施されるべき複数の異なるタスクを含むタスクシーケンスを指定し、前記第2のタスクを選択することが、前記複数の異なるタスクのうちの、かつ前記順序に基づいた、前記第1のタスクの後に実施されるべきタスクを決定することに基づいている、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記第2のタスクを提示するように前記XR環境を変更した後に、前記第2のタスクに応答したさらなる対象相互作用に基づいて、更新された相互作用データを生成することをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記第1の技能が、
前記対象の発話パターン、
前記対象の視線、
アバターオブジェクトの位置と比較した前記対象の位置、
前記XR環境において行われた判断、または
前記対象の動き
のうちの1つ以上に対応する、請求項1から7のいずれか一項に記載の方法。
【請求項9】
自閉症スペクトラム障害(ASD)を評価するための方法であって、
少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の1つ以上の前記オブジェクトとの1つ以上の相互作用を検出することであって、前記1つ以上の相互作用が、前記対象に関連付けられている、1つ以上の相互作用を検出することと、
前記XRデバイスの視線追跡システムを使用して、前記対象の眼球運動を監視することによって視線追跡データを収集することと、
前記視線追跡データに基づいて、前記タスクの実施中に前記対象が見た前記XR環境内の1つ以上の第2のオブジェクトを識別することによって視線データを生成することと、
前記1つ以上の相互作用に基づいて、かつ前記視線データに基づいて、前記対象による前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと
を含む、方法。
【請求項10】
前記第2のタスクを提示するように前記XR環境を変更した後に、前記第2のタスクに応答したさらなる対象相互作用に基づいて、更新された相互作用データを生成することをさらに含む、請求項9に記載の方法。
【請求項11】
前記視線データが、前記対象が前記1つ以上の第2のオブジェクトの特定の領域を見たかどうかを示す、請求項9または10に記載の方法。
【請求項12】
前記1つ以上の第2のオブジェクトがアバターオブジェクトを含み、前記特定の領域が前記アバターオブジェクトの眼を含む、請求項11に記載の方法。
【請求項13】
前記視線データが、前記対象がある期間にわたって前記1つ以上の第2のオブジェクトから目をそらしていたかどうかを示す、請求項9から12のいずれか一項に記載の方法。
【請求項14】
自閉症スペクトラム障害(ASD)を評価するための方法であって、
少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の1つ以上の前記オブジェクトとの1つ以上の相互作用を検出することであって、前記1つ以上の相互作用が、前記対象に関連付けられている、1つ以上の相互作用を検出することと、
前記XRデバイスの1つ以上のマイクロフォンを介して、前記対象による、前記XR環境内の前記1つ以上のオブジェクトとの音声相互作用に対応する音声データを受信することと、
対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと
を含む、方法。
【請求項15】
前記第2のタスクを提示するように前記XR環境を変更した後に、前記第2のタスクに応答したさらなる対象相互作用に基づいて、更新された相互作用データを生成することをさらに含む、請求項14に記載の方法。
【請求項16】
前記相互作用データを生成することが、
前記音声データに基づいて、話すときの前記対象の信頼度に関連付けられた信頼度スコアを計算することを含む、請求項14または15に記載の方法。
【請求項17】
前記相互作用データを生成することが、
前記音声データに基づいて、前記対象の発話の明瞭性に関連付けられた明瞭性スコアを計算することを含む、請求項14から16のいずれか一項に記載の方法。
【請求項18】
自閉症スペクトラム障害(ASD)を評価するための方法であって、
少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記複数の異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されている、第1のタスクを提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記複数の異なるタスクのうちの第2のタスクを提示させることであって、前記第2のタスクが、日常生活技能をエミュレートするように構成されている、第2のタスクを提示させることと、
前記対象による、前記第1のタスクおよび前記第2のタスクのパフォーマンスをある期間にわたって監視することによって対象データを収集することと、
対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
複数の異なるタスクから、かつ前記相互作用データに基づいて、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第2の技能を訓練するように構成された第3のタスクを選択することと、
前記XRデバイスに、テンプレートに基づいて、前記第2のタスクおよび前記第3のタスクを提示するように前記XR環境を変更させることと
を含む、方法。
【請求項19】
前記XRデバイスに前記XR環境を変更させることが、前記XR環境に、前記第3のタスクと並行して、前記対象による実施のために前記第2のタスクを提示させることを含む、請求項18に記載の方法。
【請求項20】
前記XRデバイスに前記第2のタスクを提示させることが、前記XRデバイスに、前記第1のタスクと並行して前記第2のタスクを提示させることを含む、請求項18または19に記載の方法。
【請求項21】
エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、
1つ以上のプロセッサと、
命令を記憶するメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の前記オブジェクトとの対象相互作用を検出することと、
前記対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと、を行わせる、
装置。
【請求項22】
エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、
1つ以上のプロセッサと、
命令を記憶するメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の1つ以上の前記オブジェクトとの1つ以上の相互作用を検出することであって、前記1つ以上の相互作用が、前記対象に関連付けられている、1つ以上の相互作用を検出することと、
前記XRデバイスの視線追跡システムを使用して、前記対象の眼球運動を監視することによって視線追跡データを収集することと、
前記視線追跡データに基づいて、前記タスクの実施中に前記対象が見た前記XR環境内の1つ以上の第2のオブジェクトを識別することによって視線データを生成することと、
前記1つ以上の相互作用に基づいて、かつ前記視線データに基づいて、前記対象による前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと、を行わせる、
装置。
【請求項23】
エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、
1つ以上のプロセッサと、
命令を記憶するメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の1つ以上の前記オブジェクトとの1つ以上の相互作用を検出することであって、前記1つ以上の相互作用が、前記対象に関連付けられている、1つ以上の相互作用を検出することと、
前記XRデバイスの1つ以上のマイクロフォンを介して、前記対象による、前記XR環境内の前記1つ以上のオブジェクトとの音声相互作用に対応する音声データを受信することと、
対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと、を行わせる、
装置。
【請求項24】
エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、
1つ以上のプロセッサと、
命令を記憶するメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記複数の異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されている、第1のタスクを提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記複数の異なるタスクのうちの第2のタスクを提示させることであって、前記第2のタスクが、日常生活技能をエミュレートするように構成されている、第2のタスクを提示させることと、
前記対象による、前記第1のタスクおよび前記第2のタスクのパフォーマンスをある期間にわたって監視することによって対象データを収集することと、
対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
複数の異なるタスクから、かつ前記相互作用データに基づいて、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第2の技能を訓練するように構成された第3のタスクを選択することと、
前記XRデバイスに、テンプレートに基づいて、前記第2のタスクおよび前記第3のタスクを提示するように前記XR環境を変更させることと、を行わせる、
装置。
【請求項25】
命令を含む1つ以上の非一時的コンピュータ可読媒体であって、前記命令が、エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置の少なくとも1つのプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の前記オブジェクトとの対象相互作用を検出することと、
前記対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと、を行わせる、
1つ以上の非一時的コンピュータ可読媒体。
【請求項26】
命令を含む1つ以上の非一時的コンピュータ可読媒体であって、前記命令が、エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置の少なくとも1つのプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の1つ以上の前記オブジェクトとの1つ以上の相互作用を検出することであって、前記1つ以上の相互作用が、前記対象に関連付けられている、1つ以上の相互作用を検出することと、
前記XRデバイスの視線追跡システムを使用して、前記対象の眼球運動を監視することによって視線追跡データを収集することと、
前記視線追跡データに基づいて、前記タスクの実施中に前記対象が見た前記XR環境内の1つ以上の第2のオブジェクトを識別することによって視線データを生成することと、
前記1つ以上の相互作用に基づいて、かつ前記視線データに基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと、を行わせる、
1つ以上の非一時的コンピュータ可読媒体。
【請求項27】
命令を含む1つ以上の非一時的コンピュータ可読媒体であって、前記命令が、エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置の少なくとも1つのプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記シナリオにおいて指定された前記異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、前記第1のタスクが、前記対象に、前記XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、
前記XR環境内の1つ以上の前記オブジェクトとの1つ以上の相互作用を検出することであって、前記1つ以上の相互作用が、前記対象に関連付けられている、1つ以上の相互作用を検出することと、
前記XRデバイスの1つ以上のマイクロフォンを介して、前記対象による、前記XR環境内の前記1つ以上のオブジェクトとの音声相互作用に対応する音声データを受信することと、
対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
前記異なるタスクから、かつ前記相互作用データに基づいて、前記異なるタスクのうちの第2のタスクを選択することであって、前記第2のタスクが、前記ASDの症状に関連付けられた前記行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、前記第2の技能が、前記第1の技能とは異なる、第2のタスクを選択することと、
前記シナリオに基づいて、前記第2のタスクを提示するように前記XR環境を変更することと、を行わせる、
1つ以上の非一時的コンピュータ可読媒体。
【請求項28】
命令を含む1つ以上の非一時的コンピュータ可読媒体であって、前記命令が、エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置の少なくとも1つのプロセッサによって実行されると、前記装置に、
対象についてのASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、
前記1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、前記複数の異なるタスクが、前記ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、
前記シナリオに基づいて、前記XRデバイスに、XR環境を提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記複数の異なるタスクのうちの第1のタスクを提示させることであって、前記第1のタスクが、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されている、第1のタスクを提示させることと、
前記XRデバイスに、前記XR環境において、かつ前記対象に対して、前記複数の異なるタスクのうちの第2のタスクを提示させることであって、前記第2のタスクが、日常生活技能をエミュレートするように構成されている、第2のタスクを提示させることと、
前記対象による、前記第1のタスクおよび前記第2のタスクのパフォーマンスをある期間にわたって監視することによって対象データを収集することと、
対象相互作用に基づいて、前記対象による、前記ASDの症状に関連付けられた前記1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、
複数の異なるタスクから、かつ前記相互作用データに基づいて、前記ASDの症状に関連付けられた前記行動のうちの少なくとも1つの改善に関連付けられた第2の技能を訓練するように構成された第3のタスクを選択することと、
前記XRデバイスに、テンプレートに基づいて、前記第2のタスクおよび前記第3のタスクを提示するように前記XR環境を変更することと、を行わせる、
1つ以上の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年12月23日に出願された「DIAGNOSTIC DEVICE,SYSTEM AND METHOD FOR MONITORING AND ASSESSING SUBJECTS ASSOCIATED WITH AUTISM SPECTRUM DISORDER」と題する米国仮特許出願第62/952,804号の優先権を主張し、その開示は参照によりその全体が本明細書に組み込まれる。
【0002】
分野
本明細書に記載の態様は、一般に、改善された対象の検査および分析のための医療処置および医療デバイスに関する。より具体的には、本明細書に記載の態様は、対象の能動的試験、受動的監視、および/または処置によって、対象において自閉症スペクトラム障害を経験している個人によって経験されるものなどの社会的な制限、コミュニケーションの制限、および感覚の制限に対処するためのデバイス、システム、および方法を提供する。
【背景技術】
【0003】
背景
自閉症スペクトラム障害(ASD)は、個人の社会的、コミュニケーションおよび/または行動能力を負に損なうことがある広範囲の状態を包含する。ASDを経験している個人は、他者との困難なコミュニケーションおよび相互作用を経験することがあり、特に制限された関心を有することがあり、および/または反復的な行動を示すことがある。例えば、社会的相互作用を伴う日常生活のタスクは、ASDを経験している個人にとって特定の困難を提示する可能性がある。ASDは、胃腸障害、発作または睡眠障害などの感覚過敏および医学的問題、ならびに不安、鬱病および注意の問題などの精神健康上の課題を伴うことが多い。したがって、ASDを経験している個人は、学校、職場、および他の社会的状況において困難を有することがある。
【0004】
ASDには様々な処置方法が存在する。一般に、早期介入戦略(例えば、ASDを経験している子供が話したり、歩いたり、あるいは一般的に他の人と相互作用したりするのを助ける治療法)が有益であり得るため、小児におけるASD症状の早期同定は価値がある。一般的なアプローチである応用行動分析(ABA)は、肯定的な行動(例えば、社会的相互作用)を奨励し、否定的な行動(例えば、引きこもっている、またはコミュニケーションできない)を思いとどまらせることを伴う。ABAのカテゴリ内には、離散試行訓練(例えば、個別のタスクにおける肯定的な行動を試験し、報酬を与える)、早期集中的行動介入、枢動反応訓練(例えば、学習するように対象に促して対象自身の行動を監視する)、言語行動介入、作業療法(例えば、着衣、食事、入浴、および他のタスクを実施することを学習することによって、対象が独立して生活するのを助ける)、感覚統合療法(例えば、対象が好ましくない光景、音、および臭いを処理するのを助ける)などを含む多くのアプローチが存在する。他のアプローチは、個体の食事を変更すること、薬物を使用することなどを含む。
【0005】
上記の方法は、多くの欠点を有する。ASDを経験している個人は、社会的相互作用から引きこもることがあり、これは彼らが定期的に治療を求める可能性が低いことを意味する。さらに、ASDを経験している個人が治療に定期的に参加する意思があったとしても、そのような治療セッションは、個人の症状を改善するのに十分な頻度ではない可能性がある。ASDを経験している個人の感覚入力の重症度を緩和することも困難であり得て、これは個人をより強い感覚入力に徐々に順応させることが困難であり得ることを意味する。例えば、治療状況においてますます複雑な社会的相互作用を徐々に導入することは困難であり得る(および費用が法外である)。さらに、臨床医に訓練プロセス全体を通して対象のパフォーマンスを継続的に監視させることは、極めてコストがかかる可能性がある。例えば、臨床医が訓練の態様を継続的に監視および変更しなければならない場合、そのような訓練のコストが非常に高くなり得るように、ASDを有する対象のための訓練は時間がかかる可能性がある。
【発明の概要】
【課題を解決するための手段】
【0006】
概要
以下、本明細書に記載の様々な態様の簡略化された概要を示す。本概要は、広範な概説ではなく、必要なまたは重要な要素を特定したり、特許請求の範囲を詳細に説明したりすることを意図するものではない。以下の概要は、以下に提供されるより詳細な説明への導入の前置きとして、いくつかの概念を簡略化された形式で提示するにすぎない。
【0007】
上記の先行技術の制限を解消するため、および本明細書を読んで理解すると明らかになる他の制限を解消するために、本明細書に記載の態様は、エクステンデッドリアリティ(例えば、仮想現実、エクステンデッドリアリティ、および/または複合現実)環境を使用して、1つ以上の社会的、コミュニケーション、および/または感覚欠損のうちの1つ以上の症状を示す個体におけるそのような症状を測定および改善することを対象とする。
【0008】
コンピューティングデバイスは、(データ接続を介して間接的に、または直接的に、したがって同様に物理的にその一部である)エクステンデッドリアリティ(XR)デバイスに結合されることができ、これは、XR環境を提供することができる。コンピューティングデバイスは、ASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することができる。コンピューティングデバイスは、ASDの症状に関連付けられた1つ以上の行動に関連付けられた技能を訓練するように構成された複数の異なるタスクを指定するシナリオを受信することができる。コンピューティングデバイスは、XRデバイスに、XR環境を対象に提示させることができ、XRデバイスに、XR環境において、かつ対象に対して、シナリオで指定された複数の異なるタスクのうちの少なくとも1つの第1のタスクを提示させることができる。少なくとも1つの第1のタスクは、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた第1の技能を訓練するように構成されることができる。少なくとも1つの第1のタスクは、対象にXR環境内の1つ以上のオブジェクトと相互作用するように促すように構成されることができる。コンピューティングデバイスは、XR環境内の1つ以上のオブジェクトとの対象相互作用を検出することができる。コンピューティングデバイスは、1つ以上の対象相互作用に基づいて、ASDの症状に関連付けられた1つ以上の行動を示す行動スコアを計算することができる。コンピューティングデバイスは、複数の異なるタスクから、かつASDの症状に関連付けられた1つ以上の行動を示す行動スコアに基づいて、複数の異なるタスクのうちの少なくとも1つの第2のタスクを選択することができる。第2のタスクは、第1のタスクとは異なることができ、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた第2の技能を訓練するように構成されることができる。
【0009】
追加的および/または代替的に、既存のデータが対象について収集されることができる。既存のデータは、臨床医、介護者、および/または対象によって記入された摂取調査および/または臨床器具に関する情報、電子医療記録データ、および/または1つ以上のバイオマーカーの有無を含むことができる。エクステンデッドリアリティ環境が提供されることができ、その環境を使用して治療データが収集されることができる。そのようなエクステンデッドリアリティ環境は、ビデオおよび/またはオーディオを含むことができ、試験シナリオ、観測シナリオ、学習シナリオ、実用シナリオ、および/または緩和シナリオのうちの1つ以上などの1つ以上のシナリオを含むことができる。治療データは、暗黙的な非言語コミュニケーションパラメータ、非言語コミュニケーションパラメータ、言語コミュニケーションパラメータ、感覚強度パラメータ、感覚複雑度パラメータ、感覚予測可能性パラメータ、社会的強度パラメータなどのデータパラメータを含むことができる。治療データは、既存のデータと比較されることができ、エクステンデッドリアリティ環境が変更されることができる。例えば、エクステンデッドリアリティ環境内の様々な感覚的困難性の強度および/または難易度が変更されることができる。
【0010】
これらおよび追加の態様は、以下にさらに詳細に説明される開示の恩恵を受けて理解されるであろう。
【図面の簡単な説明】
【0011】
本明細書に記載の態様およびそれらの利点のより完全な理解が、添付の図面を考慮して以下の説明を参照することによって得られることができる。添付の図面において、同様の参照符号は同様の特徴を示している。
【0012】
【
図1】本明細書に記載の1つ以上の例示的な態様にしたがって使用されることができる例示的なコンピュータシステムアーキテクチャを示している。
【0013】
【
図2】例示的なエクステンデッドリアリティデバイスを示している。
【0014】
【
図3】エクステンデッドリアリティデバイスを使用して、ASDの症状を監視、評価、および訓練するために実行されることができるステップを含むフローチャートを示している。
【0015】
【
図4】異なるシナリオがエクステンデッドリアリティ環境の一部としてどのように提示されることができるかを表す図を示している。
【0016】
【
図5】エクステンデッドリアリティデバイスを使用して、ASDの症状を監視、評価、および訓練するために実行されることができるステップを含むフローチャートを示している。
【0017】
【
図6A】対象が食品を注文するように促される例を示す、エクステンデッドリアリティ環境の例を示している。
【0018】
【
図6B】対象によるXR環境における行動に関する出力の例を示している。
【発明を実施するための形態】
【0019】
詳細な説明
以下の様々な実施形態の説明においては、上記特定され且つ説明の一部を形成しており、本明細書に記載の態様が実施されることができる様々な実施形態を例示として示されている添付の図面が参照される。本明細書に記載される範囲から逸脱することなく、他の実施形態が利用されることができ、構造的および機能的変更が行われることができることを理解されたい。様々な態様は、他の実施形態で可能であり、様々な異なる方法で実施または実行されることができる。
【0020】
以下により詳細に記載される主題の一般的な導入として、本明細書に記載される態様は、エクステンデッドリアリティを使用して、個人における社会的、コミュニケーション、および/または感覚欠損のうちの1つ以上の症状を評価および/または処置することに関する。本方法は、社会的、コミュニケーションおよび/または感覚的制限を受けている対象を識別することを含むことができる。本方法は、少なくとも1つのデータパラメータを対象の基準値として決定することをさらに含むことができる。そのような決定は、所定の時間ウィンドウおよび/または摂取セッション中であってもよい。データパラメータは、例えば、臨床医または対象によって記入された摂取調査または臨床機器においてまたはその上で提供される1つ以上のパラメータ、過去の電子医療記録データ、および/またはデジタルバイオマーカーデータを含むことができる。本方法は、エクステンデッドリアリティ装置(本明細書で使用される場合、特に明記しない限り、エクステンデッドリアリティ、仮想現実、および/または複合現実装置のいずれか1つへの言及はまた、または代替として、他のものを含んでもよい)の使用によって漸進的な治療介入セットを対象に送達することをさらに含むことができる。対象からのデータパラメータの少なくとも1つの新たに決定された値をデータパラメータの基準値と比較することによって、症状の改善または悪化を示すことができる差が計算されることができる。そのようなステップは、社会的およびコミュニケーション機能および/または日常生活技能の改善が得られるまで、または他の行動過程が検出されるまで繰り返されてもよい。治療的なエクステンデッドリアリティ介入は、観測訓練シナリオ、機器訓練シナリオ、パフォーマンスの情動評価、および心理的および生理学的覚醒をベースラインに戻すことを可能にする仮想「クールダウン」室または安全空間を含む群から選択される1つ以上の段階を含むことができる。本方法は、観測訓練または機器訓練シナリオを定義すること、そのようなシナリオのステージング、臨床医および介護者がエクステンデッドリアリティにおいて対象と相互作用および/または監視することを可能にすること、結果として得られる全てのデータをスコアリングシステムに組み込むことなどをさらに含むことができる。
【0021】
別の例として、また本明細書で説明するように、コンピューティングデバイスは、エクステンデッドリアリティ(XR)デバイスに結合されてもよい。そのXRデバイスは、仮想現実環境、エクステンデッドリアリティ環境、または複合現実環境のうちの1つ以上を提供することが可能であり得る。コンピューティングデバイスは、ASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することができる。例えば、1つ以上の行動は、会話中に眼でスピーチ参加者を見ないことを含むことができる。コンピューティングデバイスは、複数の異なるタスクを指定するシナリオを受信することができる。その複数の異なるタスクは、ASDの症状に関連付けられた1つ以上の行動に関連付けられた技能を訓練するように構成されることができる。例えば、複数の異なるタスクのうちの1つは、発話相手を眼で見るように対象を訓練することを含むことができる。コンピューティングデバイスは、XRデバイスに、対象に対してXR環境を提示させることができる。コンピューティングデバイスはまた、XRデバイスに、XR環境において、かつ対象に対して、シナリオで指定された複数の異なるタスクのうちの少なくとも1つの第1のタスクを提示させることができる。少なくとも1つの第1のタスクは、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた第1の技能を訓練するように構成されることができる。例えば、上述したように、少なくとも1つの第1のタスクは、発話相手を眼で見るように対象を訓練することを含むことができる。少なくとも1つの第1のタスクは、対象にXR環境内の1つ以上のオブジェクトと相互作用するように促すように構成されることができる。そのような相互作用は、例えば、眼でアバターオブジェクトを見ること、アバターオブジェクトから適切な距離を離して立つこと、店舗で商品の代金を支払うために仮想ウォレットを使用することなどを含むことができる。コンピューティングデバイスは、XR環境内の1つ以上のオブジェクトとの対象相互作用を検出することができる。例えば、コンピューティングデバイスは、対象の眼球運動を監視して視線追跡データを生成し、次いで視線追跡データを処理して、対象がアバターオブジェクトを見ているかどうかを決定することができる。コンピューティングデバイスは、1つ以上の対象相互作用に基づいて、ASDの症状に関連付けられた1つ以上の行動を示す行動スコアを計算することができる。例えば、コンピューティングデバイスは、対象が発話相手の眼をどれだけよく見たかに関するスコアを提供することができる。コンピューティングデバイスは、複数の異なるタスクから、かつASDの症状に関連付けられた1つ以上の行動を示す行動スコアに基づいて、複数の異なるタスクのうちの少なくとも1つの第2のタスクを選択することができる。第2のタスクは、第1のタスクとは異なることができ、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた第2の技能を訓練するように構成されることができる。例えば、第2のタスクは、対象がアバターオブジェクトと音声相互作用することを必要とすることができる。コンピューティングデバイスは、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することができる。
【0022】
本明細書で使用される表現および用語は、説明を目的とするものであり、限定的なものと見なされるべきではないことを理解されたい。むしろ、本明細書で使用される語句および用語には、最も広い解釈および意味が与えられるべきである。「含む」および「備える」ならびにこれらの変形の使用は、その後に列挙される項目およびそれらの均等物、ならびに追加の項目およびそれらの均等物を包含することを意味する。用語「接続」、「結合」、「係合」、および同様の用語の使用は、直接的および間接的の双方の接続、結合、および係合を含むことを意味する。
【0023】
エクステンデッドリアリティ環境およびコンピューティングデバイス
図1は、例示的なコンピューティングデバイス100のハードウェア要素を示すブロック図である。以下により詳細に説明するように、そのようなコンピューティングデバイスが使用されてエクステンデッドリアリティ環境を提供することができる。例えば、例示的なコンピューティングデバイス100などのコンピューティングデバイスは、コンピューティングデバイスにエクステンデッドリアリティデバイス111を使用してエクステンデッドリアリティ(例えば、仮想現実、エクステンデッドリアリティ、および/または複合現実)環境を提供させる命令を実行する(メモリに記憶される)1つ以上のプロセッサを含むことができる。例示的なコンピューティングデバイス100などのコンピューティングデバイスは、エクステンデッドリアリティデバイス111の一部であってもよく、および/またはエクステンデッドリアリティデバイス111に通信可能に接続されてもよい。エクステンデッドリアリティデバイス111は、拡張(例えば、仮想現実、エクステンデッドリアリティ、および/または複合現実のうちの1つ以上)環境を対象に提供するように構成されることができる。エクステンデッドリアリティデバイス111は、
図2に関して以下により詳細に説明するように、エクステンデッドリアリティ環境を対象に提供する1つ以上の部分のためにコンピューティングデバイス100を使用することができる。いくつかの例では、本明細書に記載されているようなコンピューティングデバイスは、
図1に示す要素のうちの1つ以上を省略することができる。
【0024】
コンピューティングデバイス100は、本明細書に記載の特徴のいずれかを実行するためにコンピュータプログラムの命令を実行することができる、1つ以上のプロセッサ101を含むことができる。命令は、プロセッサ101の動作を構成するために、コンピュータ可読媒体またはメモリに記憶されてもよい。例えば、命令は、読み出し専用メモリ(ROM)102、ランダムアクセスメモリ(RAM)103、ユニバーサルシリアルバス(USB)ドライブ、コンパクトディスク(CD)もしくはデジタル多用途ディスク(「DVD」)などのリムーバブル媒体104、フロッピー(登録商標)ディスクドライブ、クラウドもしくはネットワーク記憶装置、または別の記憶媒体に記憶されることができる。命令はまた、取り付けられた(または内部の)ハードドライブ105に記憶されてもよい。コンピューティングデバイス100は、ディスプレイ106(例えば、外部テレビまたはモニタ)などの1つ以上の出力デバイスを含むことができ、ビデオプロセッサなどの1つ以上の出力デバイスコントローラ107を含むことができる。また、リモコン、キーボード、マウス、タッチスクリーン、マイクロフォン、カメラ(例えば、ユーザのジェスチャのための入力を取り込むために)などの、1つ以上のユーザ入力デバイス108があってもよい。コンピューティングデバイス100はまた、外部ネットワーク110と通信するためのネットワーク入力/出力(I/O)回路109(例えば、ネットワークカード)などの1つ以上のネットワークインターフェースを含むことができる。ネットワーク入力/出力回路109は、有線インターフェースであってもよいし、無線インターフェースであってもよいし、それらの組み合わせであってもよい。さらに、デバイスは、全地球測位システム(GPS)マイクロプロセッサ111などの位置検出デバイスを含むことができ、これは、全地球測位信号を受信して処理し、外部サーバおよびアンテナからの可能な支援を用いて、デバイスの地理的位置を計算するように構成されることができる。
【0025】
図1は、いくつかの構成において使用されることができるハードウェア構成の例を示しているが、他の構成では、1つ以上の構成要素がソフトウェアとして実装されてもよい。さらに、コンピューティングデバイス100の構成要素を追加、除去、結合、分割などするために変更が行われることができる。さらに、構成要素は、基本的なコンピューティングデバイスおよび構成要素を使用して実装されてもよく、同じ構成要素(例えば、プロセッサ101、ROM記憶デバイス102、ディスプレイ106など)が使用されて、本明細書に記載の他のコンピューティングデバイスおよび構成要素のいずれかを実装することができる。例えば、本明細書に記載の様々な構成要素のうちの1つ以上は、
図1に示すように、コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を実行するプロセッサなどの構成要素を有するコンピューティングデバイスを使用して実装されることができる。本明細書に記載のエンティティの一部または全ては、ソフトウェアベースであってもよく、共通の物理プラットフォーム(例えば、要求エンティティは、従属エンティティからの別個のソフトウェアプロセスおよびプログラムとすることができ、それらの双方は、共通のコンピューティングデバイス上のソフトウェアとして実行されることができる)に共存してもよい。
【0026】
図2は、エクステンデッドリアリティデバイス202と同じかまたは同様とすることができるエクステンデッドリアリティ(XR)デバイス111の例を示している。XRデバイス202は、コンピューティングデバイス100と同じかまたは同様とすることができるオンボードコンピューティングデバイス204に通信可能に接続されてもよい。XRデバイス202は、ディスプレイデバイス203a、オーディオデバイス203b、モーションセンシティブデバイス203c、カメラ203d、位置追跡要素203e、および入力/出力デバイス203fなどの複数の異なる要素を含むことができる。そのような要素は、追加的および/または代替的にセンサと呼ばれてもよい。図示されていない他のそのような要素は、耳内脳波(EEG)および/または心拍変動(HRV)測定デバイス、頭皮および/または前頭部ベースのEEGおよび/またはHRV測定デバイス、眼球追跡デバイス(例えば、赤外線を使用する)などを含むことができる。XRデバイス202は、コンピューティングデバイス100と同じかまたは同様とすることができる支援コンピューティングデバイス201をさらに含むことができる。
図2に示す全ての要素が、XRデバイス202の動作のために存在する必要はない。例えば、XRデバイス202は、カメラ203dを有していなくてもよい。別の例として、XRデバイス202は、エクステンデッドリアリティ環境を提供するために、オンボードコンピューティングデバイス204がディスプレイデバイス203a、オーディオデバイス203b、モーションセンシティブデバイス203c、カメラ203d、位置追跡要素203e、および/または入力/出力203fと直接インターフェースするように、支援コンピューティングデバイス201のいずれかを欠いてもよい。さらに別の例として、支援コンピューティングデバイス201は、オンボードコンピューティングデバイス204が省略され得るように十分に強力であってもよい。支援コンピューティングデバイスは、生体追跡デバイス205およびデータベース206に(例えば、ネットワーク110などのネットワークを介して)通信可能に結合されてもよい。
【0027】
場合によっては、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、エクステンデッドリアリティ環境を提供するための特定の処理能力または機能を有しなくてもよい。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、例えば、基本的なビデオおよび/またはオーディオを提供する比較的電力が供給されていないプロセッサを含んでもよい。他の例では、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、例えば、非常に現実的なビデオおよび/またはオーディオを提供する比較的強力なプロセッサを含むことができる。
【0028】
XRデバイス202は、エクステンデッドリアリティ(例えば、仮想現実、エクステンデッドリアリティ、および/または複合現実)環境を、対象などのユーザへ提供してもよい。一般に、仮想現実環境は、完全に仮想世界を提供するが、エクステンデッドリアリティおよび/または複合現実環境は、現実世界と仮想世界の要素を混在させる。XRデバイス202は、エクステンデッドリアリティ環境を提供するように特に構成されたデバイス(例えば、エクステンデッドリアリティヘッドセット)であってもよく、または特定の方法で操作されるとエクステンデッドリアリティ環境を提供するデバイス(例えば、ヘッドセットに挿入された、および/またはヘッドセットに通信可能に結合されたスマートフォン)の組み合わせであってもよい。XRデバイス202は、別のデバイス(例えば、電池式であってもよい)への物理的接続を欠いていることがあるため、少なくとも部分的にテザリングされていないと言うことができる。XRデバイス202が別のデバイス(例えば、支援コンピューティングデバイス201、電源など)に接続されている場合、テザリングされていると言うことができる。XRデバイス202の例は、ワシントン州ベルビュー所在のValve Corporationによって開発されたVALVE INDEX仮想現実デバイス、カリフォルニア州メンローパーク所在のFacebook Technologies,LLCによって販売されているOCULUS QUEST仮想現実デバイス、および台湾省新北市所在のHTC Corporationによって販売されているHTC VIVE仮想現実デバイスを含むことができる。XRデバイス202の例はまた、韓国、ソウル所在のSamsungグループによって販売されているGEAR VR製品のような、エクステンデッドリアリティ目的のためにヘッドセットに配置されることができるスマートフォンも含むことができる。XRデバイス202の例はまた、とりわけ、フロリダ州プランテーション所在のMagic Leap,Inc.によって販売されているエクステンデッドリアリティヘッドセット、ワシントン州レドモンド所在のMicrosoft Corporationによって販売されているHOLOLENS複合現実ヘッドセット、および中国、北京所在のHangzhou Tairuo Technology Co.,Ltd.によって販売されているNREAL LIGHTヘッドセットを含むことができる。XRデバイス202の例はまた、ワシントン州シアトル所在のAmazon,Inc.によって販売されているECHO FRAMESなどのオーディオベースのデバイスも含むことができる。そのようなエクステンデッドリアリティデバイスは、全て、異なる仕様を有することができる。例えば、一部のエクステンデッドリアリティデバイスは、カメラを有することができるが、他のエクステンデッドリアリティデバイスは、カメラを有しない可能性がある。これらは単なる例であり、他のAR/VRシステムもまた、または代替的に使用されてもよい。さらに、以下にさらに詳細に説明するように(例えば、
図3に示すステップに関して)、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201のいずれかまたは双方が、本明細書に記載のステップを実行してもよい。したがって、本明細書の開示は、オンボードコンピューティングデバイス204(例えば、XRデバイス202がテザリングされないように)、支援コンピューティングデバイス201(例えば、XRデバイス202が実験室環境などにおいてコンピューティングデバイスにテザリングされるように)、および/またはそれらの組み合わせ(例えば、オンボードコンピューティングデバイス204が本明細書に記載のいくつかのステップを実行し、支援コンピューティングデバイス201が本明細書に記載の他のステップを実行し、デバイスが本明細書に記載の全てのステップを集合的に実行するように)によって排他的に実行されてもよい。
【0029】
支援コンピューティングデバイス201は、例えば、テザリングされたOCULUS RIFTによって使用されるように、エクステンデッドリアリティ環境の全部または一部をXRデバイス202に提供することができる。例えば、支援コンピューティングデバイス201は、(例えば、ディスプレイデバイス203aを介して)XRデバイス202によって表示された場合に、仮想世界を示すビデオデータストリームをXRデバイス202に提供することができる。そのような構成は、XRデバイス202(例えば、XRデバイス202の一部であるオンボードコンピューティングデバイス204)が完全なエクステンデッドリアリティ環境を表示するのに十分に強力でない場合に有利であり得る。支援コンピューティングデバイス201は、XRデバイス202がエクステンデッドリアリティ、エクステンデッドリアリティ、および/または複合現実環境を提供するために存在する必要はない。例えば、オンボードコンピューティングデバイス204が十分に強力である場合、支援コンピューティングデバイス201は省略されてもよく(あるいは、オンボードコンピューティングデバイス204内に実装されていると考えられるべきである)、例えば、テザリングされていないOCULUS QUESTであってもよい。
【0030】
ディスプレイデバイス203aは、エクステンデッドリアリティ環境の全部または一部を表示するように構成された任意のデバイスであってもよい。そのようなディスプレイデバイス203aは、例えば、1つ以上の液晶ディスプレイ(LCD)パネルなどのフラットパネルディスプレイを含むことができる。ディスプレイデバイス203aは、ディスプレイ106と同じであるかまたは同様であってよい。ディスプレイデバイス203aは、単数であっても複数であってもよく、ユーザの異なる眼に異なる画像を表示するように構成されてもよい。例えば、ディスプレイデバイス203aは、ユーザの異なる眼で見るためにディスプレイの全部または一部を分離するレンズ(例えば、フレネルレンズ)に結合された1つ以上のディスプレイデバイスを含むことができる。
【0031】
オーディオデバイス203bは、エクステンデッドリアリティ環境に関連付けられたオーディオを受信および/または出力することができる任意のデバイスであってもよい。例えば、オーディオデバイス203bは、オーディオをユーザの耳に向けるスピーカを含むことができる。別の例として、オーディオデバイス203bは、ユーザからの音声入力を受信する1つ以上のマイクロフォンを含んでもよい。オーディオデバイス203bは、オーディオベースのエクステンデッドリアリティ環境をXRデバイス202のユーザに提供するために使用されてもよい。
【0032】
モーションセンシティブデバイス203cは、XRデバイス202のユーザの動きに関連付けられた入力を受信する任意の要素とすることができる。例えば、モーションセンシティブデバイス203cは、エクステンデッドリアリティデバイスのユーザがいつ動いているか(例えば、傾倒、前進、後退、旋回など)を検出することができる1つ以上の加速度計を含むことができる。3次元加速度計および/またはジャイロスコープが使用されて、XRデバイス202の完全な動きを検出することができる。任意の外向きカメラ203dは、同様に3次元配向に使用されることができる。モーションセンシティブデバイス203cは、XRデバイス202がユーザの動きに基づいて変化するエクステンデッドリアリティ環境を提示することを可能にすることができる。
【0033】
カメラ203dは、ユーザの安全性ならびにエクステンデッドリアリティ環境の提示を支援するために使用されることができる。カメラ203dは、ユーザが実世界の要素(例えば、壁)に不注意に接触することを回避するために、ユーザの周囲を監視するために使用されてもよい。カメラ203dは、追加的および/または代替的にユーザ(例えば、ユーザの眼、ユーザの眼の焦点、ユーザの瞳孔拡張など)を監視して、エクステンデッドリアリティ環境のどの要素をレンダリングするか、そのような環境におけるユーザの動きなどを決定することができる。
【0034】
位置追跡要素203eは、XRデバイス202の位置および/または動きの追跡を助けるように構成された任意の要素であってもよい。位置追跡要素203eは、センサによって監視されると、XRデバイス202の位置(例えば、部屋内のXRデバイス202の位置)を示す赤外線エミッタのシステムの全部または一部であってもよい。位置追跡要素203eは、「インサイドアウト」追跡を可能にするように構成されてもよく、XRデバイス202は、1つ以上の要素(例えば、XRデバイス202自体、ユーザの手、外部コントローラなど)の位置を追跡し、または「アウトサイドイン」追跡を可能にし、外部デバイスは、1つ以上の要素の位置の追跡を支援する。位置追跡要素203eは、現実世界(例えば、部屋の中)およびエクステンデッドリアリティ環境の双方におけるユーザの位置を決定するのを助けることができる。例えば、ユーザは、現実世界のオブジェクト(例えば、壁)およびエクステンデッドリアリティオブジェクト(例えば、アバターオブジェクト)から同時に離れている可能性がある。
【0035】
入力/出力203fは、エクステンデッドリアリティ環境に関連付けられたデータを送受信するように構成されることができる。例えば、入力/出力203fは、ユーザの移動に関連付けられたデータを支援コンピューティングデバイス201に通信するように構成されることができる。別の例として、入力/出力203fは、大規模マルチプレーヤエクステンデッドリアリティ環境の他のユーザに関連付けられた情報を受信するように構成されてもよい。
【0036】
オンボードコンピューティングデバイス204は、ディスプレイデバイス203a、オーディオデバイス203b、モーションセンシティブデバイス203c、カメラ203d、位置追跡要素203e、および/または入力/出力203fを介して、エクステンデッドリアリティ環境を提供するように構成されることができる。オンボードコンピューティングデバイス204は、1つ以上のプロセッサ(例えば、グラフィックスプロセッサ)、(例えば、エクステンデッドリアリティプログラムを記憶する)記憶装置などを含んでもよい。1つ以上の構成では、オンボードコンピューティングデバイス204は、支援コンピューティングデバイス201を使用せずにエクステンデッドリアリティ環境を提供するのに十分強力であってもよく、その結果、支援コンピューティングデバイス201は必要とされず、XRデバイス202に接続されなくてもよい。他の構成では、支援コンピューティングデバイス201およびオンボードコンピューティングデバイス204は、エクステンデッドリアリティ環境を提供するために連携して動作してもよい。他の構成では、XRデバイス202は、オンボードコンピューティングデバイス204を有していなくてもよく、その結果、支援コンピューティングデバイス201は、ディスプレイデバイス203a、オーディオデバイス203b、モーションセンシティブデバイス203c、カメラ203d、位置追跡要素203e、および/または、入力/出力203fと直接インターフェースする。
【0037】
XRデバイス202の上記の要素は単なる例である。XRデバイス202は、より多くのまたは同様の要素を有してもよい。例えば、XRデバイス202は、耳内EEGおよび/またはHRV測定デバイス、頭皮および/または前頭部ベースのEEGおよび/またはHRV測定デバイス、眼球追跡デバイス(例えば、ユーザの眼に向けられたカメラ、瞳孔追跡、赤外線などを使用する)などを含むことができる。
【0038】
エクステンデッドリアリティ環境におけるASD評価および処置
ここで、考察は、ASDの症状を監視、評価、および/または改善するための仮想現実、エクステンデッドリアリティ、および/または複合現実の使用に移る。
【0039】
図3は、ASDの症状を監視、評価、および処置するために、XRデバイス202などのエクステンデッドリアリティデバイスを使用して実行されることができるステップを含むフローチャートを示している。
図3に示されるステップは、コンピューティングデバイス100、オンボードコンピューティングデバイス204、および/または支援コンピューティングデバイス201などのコンピューティングデバイスによって実行されてもよく、アルゴリズムの全部または一部であってもよい。
図3に示されるステップは、試験された対象における社会的、コミュニケーションおよび/または感覚欠損のうちの1つ以上の症状に関連付けられた技能を監視、評価および/または処置するために実施されることができる。
【0040】
ステップ301において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、対象に関連付けられた既存のデータを収集することができる。既存のデータは、データベース206などのデータベースを介して受信されることができる。既存のデータは、対象に関する個人データを含むことができる。既存のデータは、臨床医、介護者、および対象のうちの1人以上によって記入された摂取調査および/または臨床機器を介して提供される情報を含むことができる。既存のデータは、電子医療記録データを含むことができる。既存のデータは、対象に関する任意の他の同様の形態の履歴情報を含むことができ、臨床現場に由来する必要はない。例えば、既存のデータは、対象の親または配偶者からのフィードバックを反映する情報を含むことができる。対象に関連付けられた既存のデータは、(例えば、XRデバイス202によって)対象のベースラインを計算するために使用されることができる。ベースラインは、以前の治療セッションなどの期間に関連付けられることができる。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、既存のデータを使用して、対象の現状またはベースライン状態を計算することができる。
【0041】
既存のデータは、ASDの存在、非存在、および/または重症度に関する1つ以上のバイオマーカーの存在および/または非存在を示す情報を含むことができる。例えば、対象の胃腸系におけるいくつかの差は、ASDの存在を示すことができる。別の例として、対象の免疫系、神経系および/または毒物系における一定の差は、ASDの存在を示すことができる。コンピュータ化された摂取システムからのデジタルバイオマーカーも使用されることができる。
【0042】
対象に関連付けられた既存のデータを決定することは、データベース206などの1つ以上の外部ソースから既存のデータを受信することを含むことができる。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、既存のデータを記憶することができ、既存のデータを決定することは、それらのコンピューティングデバイスから既存のデータを取得することを含むことができる。例えば、外部データを決定することは、外部データベース(例えば、データベース206)から外部データの1つ以上の部分を取得することを含むことができる。対象に関連付けられた既存のデータを決定することは、追加的および/または代替的に、対象からの入力を受信することを含むことができる。例えば、外部データを決定することは、ユーザインターフェースを介して、介護者、臨床医、および/または対象から外部データを取得することを含むことができる。
【0043】
ステップ302において、XRデバイス202は、エクステンデッドリアリティ環境(XR環境)を提供することができる。エクステンデッドリアリティ環境は、以下に詳述するように、1つ以上のデータパラメータを決定するように構成されることができる。エクステンデッドリアリティ環境は、対象に対する1つ以上の治療的介入(例えば、一連のタスク)の一部として提示されることができる。例えば、エクステンデッドリアリティ環境は、治療的介入および/または一連の治療的介入の一部として提示されてもよい。特定の例として、エクステンデッドリアリティ環境は、ASDに関連付けられた少なくとも1つの症状(例えば、社会的コミュニケーションおよび社会的相互作用の困難、制限された、反復的な行動パターン、関心または活動など)に関連付けられた技能を監視、評価、および/または訓練するように構成されることができる。
【0044】
(例えば、ステップ302においてXRデバイス202によって提供されることができる)エクステンデッドリアリティ環境は、(シナリオの一部であってもよく、1つ以上のタスクを含んでもよい)1つ以上のタスクをユーザに提示し、および/またはその他の方法で含むことができる。1つ以上のタスクは、1つ以上の観測タスクを含むことができ、1つ以上の社会的、コミュニケーションおよび/または感覚的技能が対象に対して実証される。追加的および/または代替的に、エクステンデッドリアリティ環境は、日常生活技能タスク(例えば、銀行の窓口係、ウエイター/ウエイトレスとの相互作用、空港でのセキュリティの通過)、個人衛生タスクなどの1つ以上のタスクを提示することができる。1つ以上のタスクは、1つ以上の学習タスクを含むことができ、対象は、エクステンデッドリアリティ環境内のオブジェクトおよび/またはアバターと相互作用することによって、1つ以上の社会的、コミュニケーション、および/または感覚的技能の学習を実証するようにされる。1つ以上のタスクは、エクステンデッドリアリティ環境の外部の世界における1つ以上の学習された社会的、コミュニケーションおよび/または感覚的技能をスケジュール、計画、評価および/または想起するように対象が学習することができる1つ以上の実際的なタスクを含むことができる。1つ以上のタスクは、エクステンデッドリアリティデバイスを依然として使用しながら、対象が観測、学習、および実際のタスクのうちの1つ以上から逃れることができる1つ以上の沈静タスクを含むことができる。例えば、1つ以上の沈静タスクは、メディテーション、対象に関連付けられた個人領域などを含むことができる。全てのそのようなタスクは、エクステンデッドリアリティ環境において試験される1つ以上の社会的、コミュニケーションおよび/または感覚的技能に関して対象を教育するのを助ける訓練材料(例えば、パンフレット、スマートフォンアプリなど)に関連付けられることができる。1つ以上の沈静タスクは、対象がベースラインに戻ることを可能にするように、および/または対象が休息して他のタスクから回復することを可能にするように他のタスクと交互にされてもよく、これは全体として対象を圧倒することができる。そのようなタスクは、以下にさらに説明される
図4においてより詳細に説明される。
【0045】
例として、1つ以上のタスクは、XRデバイス202を使用しておよび対象に提示されるXR環境を介して、アバターオブジェクトの1つ以上の歓迎するまたは歓迎しない群を提示することを含むことができ、ここで、歓迎するまたは歓迎しない行動は、視線、身体的近接性、皮膚のトーン、瞳孔拡張、姿勢、腕の位置、対象に向かうまたは対象から離れる物理的配向、相互視線、眼輪または前頭筋の収縮による眼のソケットの幅、ならびに言語発話の速度、ピッチ、韻律および意味内容を含む言語および非言語行動によって証明される。別の例として、1つ以上のタスクは、XRデバイス202を使用して提示されるXR環境を介して、および対象に対して、互いに対するおよび対象に対する行動が、視線、身体的近接性、皮膚のトーン、瞳孔拡張、姿勢、腕の位置、対象に向かうおよび対象から離れる物理的配向、相互視線、眼輪または前頭筋の収縮による眼のソケットの幅、ならびに言語発話の速度、ピッチ、韻律および意味内容に関して、アバター間の時間的に遅れた言語および非言語模倣によって特徴付けられる1つ以上のアバターオブジェクトを提示することを含むことができる。
【0046】
エクステンデッドリアリティ環境は、エクステンデッドリアリティデバイスの外部の、支援コンピューティングデバイス201などのコンピューティングデバイスによって管理されることができる。例えば、エクステンデッドリアリティ環境は、XRデバイス202などのエクステンデッドリアリティデバイスによって提示されてもよいが、その環境の制御(例えば、どのシナリオを提示するかを決定すること、どの感覚入力をエミュレートするかを決定すること)は、臨床医によって管理されるタブレット上で実行されるアプリケーションなどの別個のコンピューティングデバイスによって制御されてもよい。臨床医は、例えば、エクステンデッドリアリティ環境において対象の活動を監視するときなど、様々な状況において環境を制御することができる。
【0047】
エクステンデッドリアリティ環境は、ビデオ、テキスト、または他の学習材料を使用して拡張されることができる。例えば、エクステンデッドリアリティ環境を提供することは、XRデバイス202が、対象に、(例えば、タブレット、パンフレットなどの環境または他の場所で)環境の目標を示す命令を最初に提供することを含むことができる。このようにして、対象は、エクステンデッドリアリティ環境で試験されるべき1つ以上の社会的、コミュニケーション、および/または感覚的技能を知らされ得る。
【0048】
ステップ303において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、1つ以上のデータパラメータを含む治療データを収集することができる。XRデバイス202によって提示されるエクステンデッドリアリティ環境は、様々なシナリオ(例えば、1つ以上のタスクを実行すること)において対象に関連付けられる1つ以上のデータパラメータを(例えば、周期的に)収集するように構成されてもよい。単純な例として、エクステンデッドリアリティ環境は、仮想店舗をエミュレートするシナリオを含むことができ、対象は、アイテムを購入するために口頭のコミュニケーション技能を使用することを任され、対象の発話量は、対象が適切な量で話すかどうかを確認するために監視される。シナリオは、ASDを経験している対象が困難を経験する可能性がある現実世界の状況をエミュレートすることができるが、そうである必要はない。例えば、シナリオは、混雑したパーティを模倣し、ASDを経験している対象が特定の困難を有する可能性があり、突然の注意力不足を無視する対象の能力を監視することができる状況を提示することができる。シナリオは、1つ以上のそのようなパラメータを試験することができる。例えば、シナリオは、対象が他人と話す能力と、対象が注意力不足を無視する能力(例えば、予期しない大きな騒音)の双方を試験するように構成されることができる。
【0049】
データパラメータは、エクステンデッドリアリティ環境、シナリオなどの対象に関連付けられた任意の情報を含むことができる。データパラメータは、デジタルパラメータが、例えば、対象の心拍数を含むことができるように、例えば、生体追跡デバイス205から受信したバイオマーカーデータに対応することができる。デジタルパラメータは、エクステンデッドリアリティデバイスに関連付けられたセンサまたはデバイスから到来する必要はない。例えば、バイオマーカーデータは、(例えば、対象の健康デバイスまたは他の着用可能なデバイスまたはモニタであってもよい)エクステンデッドリアリティデバイスおよび/または生体追跡デバイス205などの外部デバイスを使用して収集されることができる。別の例として、心拍データは、(例えば、対象のスマートウォッチまたはスマートフォン)生体追跡デバイス205から収集されてもよい。さらに別の例として、そのような心拍データは、(生体追跡デバイス205のうちの1つとすることができる)脳波図(EEG)から得られてもよい。さらに別の例として、デジタルパラメータは、(生体追跡デバイス205の一部とすることができる)EEGを使用して取得された脳律動データに重畳された心拍データを含むことができる。
【0050】
データパラメータは、主観的または客観的とすることができる。例えば、いくつかのデータパラメータは、対象の単語使用の主観的評価に関連付けられたことができるが、他のデータパラメータは、対象の瞳孔拡張の客観的測定値に対応することができる。データパラメータは、対象の社会的、コミュニケーション的、および/または感覚的機能の臨床医由来のスコアを含むことができる。追加的および/または代替的に、そのようなデータパラメータは、対象の日常生活技能の臨床医由来のスコアを含むことができる。そのような臨床医由来のスコアは、主観的または客観的とすることができる。そのような臨床医由来のスコアは、臨床医によって操作されるラップトップまたはタブレットなどのデバイスに由来することができる。同様に、データパラメータは、対象の社会的、コミュニケーション的、および/または感覚的機能の介護者由来のスコアを含むことができる。追加的および/または代替的に、そのようなデータパラメータは、対象の日常生活技能の介護者由来のスコアを含むことができる。そのような介護者由来のスコアは、主観的または客観的とすることができる。そのような介護者由来のスコアは、介護者によって操作されるスマートフォンなどのデバイスに由来することができる。
【0051】
エクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、他の個人(例えば、個人を表すアバター)に対する対象の身体的近接性を含むデータパラメータを収集することができる。ASDを経験している個人は、自分と他人との間の距離をあまりにも広くまたはあまりにも狭く保つ傾向があり得る。したがって、個人(例えば、そのようなアバターが実際の個人を表すかどうかにかかわらず、シナリオに表示されるアバター、)に対する対象の身体的近接性は、1つのそのようなデータパラメータとして収集されることができる。そのようなデータパラメータは、エクステンデッドリアリティ環境を提供するソフトウェアを使用して、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201などのコンピューティングデバイス上で実行され、モーションセンシティブデバイス203cおよび/または位置追跡要素203eなどのセンサを使用して収集されることができる。身体的近接性は、対象が個人(例えば、アバター)から近すぎるか遠すぎるかを示すことができる。このように、他の個人に対する対象の身体的近接性を示す収集されたデータパラメータは、データパラメータが近すぎる立ち位置に関連付けられた閾値および/または遠すぎる立ち位置に関連付けられた閾値を満たすかどうかを示すことができる。そのような閾値は、例えば、文化的差異、文脈上の差異などを説明するために変更されることができる。例えば、混雑したパーティは、空港と比較して異なる閾値を有する可能性があり、フランスの社会的に適切な距離は、中国の社会的に適切な距離とは僅かに異なる可能性がある。このようにして、対象は、相互作用中に、対象が他の対象から許容可能な距離に立っているかどうかについて評価されることができる。
【0052】
エクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、対象の瞳孔拡張および/または身体姿勢などの暗黙的な非言語通信パラメータを含むデータパラメータを収集することができる。そのような非言語的コミュニケーションパラメータは、対象がストレスを受けている(および/またはいわゆる「闘争または逃走」反応を受けている)かどうかを含む、対象の感情を示すことができる。例えば、ストレスを受けている対象は、瞳孔拡張を示すことができる。そのようなデータパラメータの監視は、XRデバイス202などのエクステンデッドリアリティデバイスによって、モーションセンシティブデバイス203c、カメラ203d、および/または位置追跡要素203eなどのセンサを使用して実行されることができる。特定の例として、カメラ203dのうちの1つ以上のカメラは、対象の瞳孔サイズを監視するように構成されてもよい。
【0053】
エクステンデッドリアリティ環境におけるシナリオの提示中、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、頭部のうなずき、対象が別の人間および/またはアバターオブジェクトを凝視しているか目をそらしているか、ユーザが別の人間および/またはアバターオブジェクトの顔を凝視しているか目をそらしているか、ユーザが別の人間および/またはアバターオブジェクトの眼を凝視しているか目をそらしているかなどの非言語通信パラメータを含むデータパラメータを収集することができる。そのようなデータパラメータは、特定の方向を見るように促されたときなど、シナリオの1つ以上のタスクへの対象の参加中に収集されることができる。ASDを経験している対象は、話している相手を見る可能性が低いことがある。特に、他の誰かを眼で見ると、対象が脆弱に感じられる可能性があるため、眼でアバターを見る可能性は、特定のシナリオおよび/または特定のタスクを実行するときの快適さを示すことができる。そのようなデータパラメータの監視は、XRデバイス202などのエクステンデッドリアリティデバイスによって、モーションセンシティブデバイス203c、カメラ203d、および/または位置追跡要素203eなどのセンサを使用して実行されることができる。
【0054】
XRデバイス202によるエクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、対象の発話速度、発話量、発話基本周波数、発話シマー、発話ジッタ、および発話周波数軌跡などの口頭コミュニケーションパラメータを含むデータパラメータを収集することができる。そのようなデータパラメータは、アバターと話すように促されたときなど、シナリオの1つ以上のタスクへの対象の参加中に収集されることができる。そのようなデータパラメータは、ASDを経験している対象が、特に緊張している場合、望ましくないほど迅速に、静かに、および/または通常とは異なる方法で声を調整することがあるため、ASDの症状を示すことができる。さらに、シナリオは、対象の音声の分析を必要とする口頭のコミュニケーションパラメータを含むデータパラメータを試験することができる。そのような分析は、例えば、対象の直接的さおよび共感に関する情報を与えることができる。例えば、データパラメータは、対象の音声ベクトル化単語ベクトルを含んでもよい。別の例として、データパラメータは、そのような音声の感情分析を含む、対象の音声の意味分析を反映することができる。そのようなデータパラメータの監視は、オーディオデバイス203bなどのセンサを使用して、対象が1つ以上のタスクを含むシナリオにある間に、XRデバイス202などのエクステンデッドリアリティデバイスを介して実行されることができる。対象の音声の分析は、シナリオが提供されている間または後に実行されてもよい。例えば、対象の音声は、テキスト形式(例えば、音声認識アルゴリズムを使用する)で記録され、その後、単語選択を評価するために分析されてもよい。
【0055】
XRデバイス202によるエクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、現実のまたはシミュレートされた他の対象の存在、そのような現実のまたはシミュレートされた対象の数、それらの現実のまたはシミュレートされた対象の互いに対するおよび対象に対する時間的調整、孤立した活動とは対照的に共同で従事している現実のまたはシミュレートされた他の対象の数、そのような各共同活動に参加している対象の数、社会的活動対非社会的活動に対する相対報酬、ならびに/あるいは現実のまたはシミュレートされた他者との間の共有対非共有社会的目標の存在などの社会的強度パラメータを含むデータパラメータを収集することができる。そのようなデータパラメータは、シミュレートされた混雑した通りを横切って歩いたり、シミュレートされた混雑した店舗を歩いたりするように促されたときなど、シナリオの1つ以上のタスクへの対象の参加中に収集されることができる。そのようなデータパラメータは、対象に提示されたシナリオの全体的な難易度を示すことができる。例えば、大きな騒音を伴う混雑したパーティは、対象にとって特に困難なシナリオを提示する可能性があるが、単一の仮想アバターを有する静かな部屋は、比較的困難でないシナリオを提示する可能性がある。
【0056】
XRデバイス202によるエクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、様々な周波数における聴覚および空間周波数コンテンツならびに聴覚および空間パワーなどの感覚強度パラメータを含むデータパラメータを収集することができる。そのようなデータパラメータは、大音量または他の不快な環境でタスクを実行するように促されたときなど、シナリオの1つ以上のタスクへの対象の参加中に収集されることができる。そのようなデータパラメータは、対象によって受信された感覚情報の強度(例えば、シナリオにおける対象の周りの騒音がどれだけ大きいか)を示すことができ、これは、上記のように、ASDを経験している個人についてのシナリオの全体的な困難さを示すことができる。そのようなデータパラメータの監視は、追加的および/または代替的に、XRデバイス202などのエクステンデッドリアリティデバイスによって、およびオーディオデバイス203bなどのセンサを使用して実行されてもよい。
【0057】
XRデバイス202によるエクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、仮想シナリオにおける聴覚および視覚オブジェクトの数などの感覚複雑度パラメータを含むデータパラメータを収集することができる。上記と同様に、シナリオにおける煩雑および/または歓迎されない要素の量(例えば、特定のシナリオにおける明るい光の数)は、ASDを経験している個人にとってのそのようなシナリオの困難さに影響を及ぼすことがある。また、あるシナリオにおける人々の数(アバターであろうと現実の人々であろうと)は、ASDを経験している個人にとってそのようなシナリオの困難さに影響を及ぼすことがある。
【0058】
XRデバイス202によるエクステンデッドリアリティ環境におけるシナリオの提示中に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、感覚強度および複雑さの時系列エントロピーを決定するなど、感覚予測可能性パラメータを含むデータパラメータを収集することができる。そのようなデータパラメータは、突然の予期しない問題が発生する危機的な環境においてタスクを実行するように促されたときなど、シナリオの1つ以上のタスクへの対象の参加中に収集されることができる。ASDを経験している個人は、突然の大きな騒音などの予測不可能な感覚入力に対処するのがより困難な時間を有することがある。したがって、データパラメータは、上述した他のデータパラメータのいくつかのように、対象にとってのシナリオの全体的な難易度を示すことができる。そのようなデータパラメータは、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201などのコンピューティングデバイス上で実行されるときに、エクステンデッドリアリティ環境におけるシナリオを提供するソフトウェアを使用して収集されることができる。
【0059】
オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、第1のデータパラメータを第2のデータパラメータと比較することを含む、シナリオの時間および/または条件に基づいて全てのデータパラメータを収集および評価してもよい。データパラメータのうちの1つ以上について、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、タイムラグを計算することができる。例えば、最大エージェント間相関および/または最大エージェント間相関のタイムラグが計算されることができる。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、シナリオの条件に基づいてデータパラメータのうちの1つ以上を正規化してもよい。例えば、シナリオも大きい場合、たとえ高くても、対象の発話量は正常であると見なされ得る。データパラメータは、適切な線形または非線形変換の下での値(例えば、上記のデータパラメータのうちの1つ以上)の加重和を含むことができる。例えば、データパラメータは、線形または非線形変換下での介護者報告、臨床医報告、および自己報告の結果の加重和を含むことができる。データパラメータは、特定の時間ウィンドウおよび/またはセッションに対するものであってもよい。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、所定の間隔でデータパラメータを収集することができ、そのような所定の間隔は、例えば、収集されたデータパラメータの数、シナリオの強度、データパラメータにおいて所望される忠実度などに基づくことができる。
【0060】
ステップ304において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、治療データ(1つ以上のデータパラメータを含む)を評価することができる。治療データは、ステップ301に関して説明した既存のデータと比較されることができる。ステップ304は、対象がASDの症状に関して改善または退行したかどうかを決定するオンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201を含むことができる。
【0061】
対象が改善したか、自分の技能の達成において静止したままであるか、または退行したかどうかを決定することは、治療データと既存のデータとの間の差を所定の閾値と比較するオンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201を含むことができる。所定の閾値は、小さな測定変動が改善または回帰を誤って示すことを回避するように設定されてもよい。とは言え、治療データは、対象による改善を証明するために必ずしも1つ以上の次元における改善を示す必要はない。例えば、ステップ302において提示された仮想環境、拡張環境、および/または複合環境において提示されたシナリオは、以前のシナリオよりも複雑(例えば、より多くのアバターを含み、より多くの予期しない感覚情報を含む)であり得、その結果、対象は、シナリオ内でより悪いパフォーマンスを発揮し得るが、それにもかかわらず過去の行動と比較して改善することができる。したがって、ステップ304の一部として、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、提供されたシナリオに関する情報(例えば、感覚強度パラメータ、感覚複雑性パラメータ、感覚予測可能性パラメータ、社会的強度パラメータなど)に基づいて特定のパラメータ(例えば、暗黙的な非言語通信パラメータ、非言語通信パラメータ、言語通信パラメータなど)を正規化することができる。
【0062】
ステップ305において、評価に基づいて、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、エクステンデッドリアリティ環境に提示されたシナリオを変更するかどうかを決定することができる。特に、治療データの評価(例えば、対象が1つ以上の技能に関して改善または後退しているかどうか)に基づいて、エクステンデッドリアリティ環境を変更して、例えば異なるシナリオにおいて1つ以上の技能の改善を継続するように対象を促すことが望ましい場合がある。特に対象がより簡単なシナリオで熟練度を高めた場合、シナリオの難易度を高めることが有利であり得る。例として、対象が単純なソーシャルシナリオ(例えば、友人と夕食をとる)を使いこなしていると決定した後、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201がエクステンデッドリアリティ環境を変更して、比較的複雑なソーシャルシナリオ(例えば、知らない人との混雑したパーティ)を提示することが有益であり得る。ステップ305の答えが「はい」である場合、フローチャートは、ステップ306に進む。そうでない場合、フローチャートは、ステップ307に進む。
【0063】
ステップ306において、エクステンデッドリアリティ環境を変更すること(例えば、エクステンデッドリアリティ環境において提示される1つ以上のシナリオを変更すること)を決定することに基づいて、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、治療データに基づいてXRデバイスによって提示される環境を変更させることができる。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、例えば、既存のシナリオを変更したり、新たなシナリオを提示したりすることによって、エクステンデッドリアリティ環境の感覚入力の強度を増減させることができる。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、例えば、既存のシナリオを変更したり、新たなシナリオを提示したりすることによって、エクステンデッドリアリティ環境の複雑さを増減させることができる。エクステンデッドリアリティ環境のコンテキスト(例えば、アバターの位置、身元など)は、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201によって変更されることができる。
【0064】
オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201によるエクステンデッドリアリティ環境の変更は、経時的なこれらの感覚特徴の周波数コンテンツ(例えば、触覚、空間および聴覚の周波数スペクトル)、強度(例えば、各周波数における振幅および/または電力)、複雑さ(例えば、視覚オブジェクトの数、および/または環境内の別個のオーディオまたは触覚ソース)および/または予測可能性(例えば、時系列エントロピー)などの視覚的および/または聴覚的および/または触覚的構成要素の変更など、1つ以上のシナリオ内での様々な感覚的課題の強度または難易度の変更を含むことができる。
【0065】
オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201によるエクステンデッドリアリティ環境の変更は、現実のまたはシミュレートされた他の対象の存在、これらの他の現実のまたはシミュレートされた対象の数、それらの対象の互いに対するおよび対象に対する行動の時間的調整、孤立した活動とは対照的に共同で従事している現実のまたはシミュレートされた他の対象の数、そのような各共同活動に参加している対象の数、社会的活動対非社会的活動に対する相対的報酬、現実のまたはシミュレートされた他者との間の共有対非共有の社会的目標の存在、これらの社会的特徴の経時的予測可能性などの、1つ以上のシナリオ内の様々な社会的課題の強度または難易度を変更することを含むことができる。
【0066】
オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201によるエクステンデッドリアリティ環境の変更は、現実および/またはシミュレートされたユーザ間の非言語的行動(例えば、ボディランゲージ、表情、および身体的近接性)の平均値および強度、言語的行動(例えば、ボリューム、ピッチ、韻律、およびトーンなどの音響特徴、ならびに意味語埋め込みベクトルを含む意味特徴)の平均値、強度および一致、同時に通信している現実またはシミュレートされた他者の数、現実またはシミュレートされた他者との間の共有対非共有の通信目標の存在、時間にわたるこれらの通信機能の予測可能性など、1つ以上のシナリオの様々な通信チャレンジの強度または難易度を変更することを含むことができる。前述の意味語埋め込みベクトルの使用は、word2vecなどのモデルおよび/またはGloVeなどの代替埋め込みアルゴリズムに基づくことができる。
【0067】
ステップ306の一部として、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、ステップ304の評価の結果を表示してもよい。結果は、対象または臨床医などの別の個人に表示されてもよい。対象は、(例えば、ポイントシステムを使用して)改善に対して報酬を与えられてもよい。そのような報酬は、例えば、対象がシナリオ内の空間を装飾することを可能にすることができる。
【0068】
ステップ307において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、エクステンデッドリアリティ環境の提示を終了するかどうかを決定することができる。提示は、特定の期間の終わり、対象がエクステンデッドリアリティ環境における特定のシナリオを完了したとき、対象が治療データにおいて特定の値を生成したときなどに終了することができる。答えが「はい」である場合、フローチャートは終了する。そうでない場合、フローチャートは、ステップ302に戻る。
【0069】
異なるシナリオの例
図4は、
図3のステップ302で提示されたエクステンデッドリアリティ環境の一部として異なるタスクがどのように提示されることができるかを表す図を示している。試験シナリオ401、観測シナリオ402、学習シナリオ403、実用シナリオ404、および緩和シナリオ405が示されている。
図4の矢印によって示されるように、異なるタスクは、例えば、治療的介入が、対象を学習シナリオ403から試験シナリオ401に、試験シナリオ401から緩和シナリオ405に移動させることなどを含むことができるように相互に関連していてもよい。
【0070】
試験シナリオ401において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、訓練されるべき1つ以上の技能を決定することができる。例えば、技能が特に弱い可能性があり、および/または他の方法で注意を必要とする可能性がある迅速な一連のシナリオを試験対象に提示することができる。別の例として、対象、臨床医、および/または介護者には、訓練されるべき技能のリストが提示されてもよい。試験シナリオ401は、「技能温度計」モジュールと呼ぶことができる。
【0071】
観測シナリオ402において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XRデバイス202によって提示されるXR環境を介して、症状関連行動を観測する機会を提供することができる。例えば、対象には、習得すべき技能の例や、技能が適切に活用されなかった相互作用の例などが示されてもよい。観測シナリオ402は、「See One」モジュールと呼ばれることがある。
【0072】
学習シナリオ403では、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XRデバイス202によって提示されるXR環境を介して、エクステンデッドリアリティ環境における学習機会を対象に提供することができる。そのような機会は、対象に社会的相互作用を試験させること、眼でアバターを見る練習、話す練習などを含むことができる。学習シナリオ403は、「Do One」モジュールと呼ばれることがある。
【0073】
実用シナリオ404では、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XRデバイス202によって提示されるXR環境を介して、エクステンデッドリアリティ環境において学習された技能を現実世界に伝えるための対象戦略を提供することができる。実用シナリオ404の一部として、そのような技能を現実世界に伝えるための対象の能力が評価されてもよい。実用シナリオ404は、「Live One」モジュールと呼ばれることがある。
【0074】
実用シナリオ404は、エクステンデッドリアリティ環境において学習された技能を実施するための戦略を対象に提供することを含むことができる。例えば、実用シナリオ404は、対象に特定の時間に技能を練習することを思い出させるように、技能に対応するデータを対象のカレンダーに追加することを含むことができる。別の例として、実用シナリオ404は、エクステンデッドリアリティ環境において学習した技能を思い出させるために、メッセージ(例えば、テキストメッセージ、電子メール)を対象に送信することを含むことができる。さらに別の例として、実用シナリオ404は、技能に関連付けられた特定のタスクが実際に実行される前後に対象を確認することを含むことができ、これは、タスクのために対象を準備すること(例えば、「準備できたか?」と尋ねることによって)、ならびに技能に関する対象からのフィードバックを受信すること(例えば、「どうだった?」と尋ねることによって)の双方を行うことができる。
【0075】
緩和シナリオ405において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XRデバイス202によって提示されるXR環境を介して、仮想環境における対象の生理学的および/または心理学的な緩和を提供することができる。そのようなシナリオは、対象が緩和シナリオ405の精通度を享受することができるように、対象によって選択および/または変更された要素を有する部屋を対象に提供することを含むことができる。緩和シナリオ405は、「マイルーム」モジュールと呼ばれることがある。
【0076】
図4に示す全てのシナリオは、繰り返されることができる。任意のシナリオの強度は、任意の他のシナリオの結果に基づいて増加させることができる。例えば、学習シナリオ403の強度は、実用シナリオ404からの結果が、対象が現実世界に1つ以上の技能を転移する準備ができていないことを示すと決定することに基づいて増加させることができる。
【0077】
図5は、エクステンデッドリアリティ環境を提示するためのフローチャートを示している。
図3に示されるステップは、例えば、試験された対象における社会的、コミュニケーションおよび/または感覚欠損のうちの1つ以上の症状を監視、評価および/または治療するために実施されることができる。
【0078】
ステップ501において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、行動データをロードすることができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、ASDの症状に関連付けられた1つ以上の行動を特定するデータを受信することができる。行動データは、ASDの症状に関連付けられた行動を識別および/または指示することができる。データは、1つ以上のサーバまたはデータベース206などの他のソースによって受信されてもよい。例えば、臨床医によって維持され、ASDの症状に関連付けられた行動を指定するデータベースからデータが受信されることができる。行動データは、ASDに関連付けられた生データセットを分析することに基づいて生成されることができる。例えば、ASDを有する対象からの対象データのデータセットが収集されることができ、そのようなデータが処理されて対象間の共通性を決定することができる。
【0079】
ステップ502において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、シナリオデータをロードすることができる。そのようなシナリオデータは、データベース206などのデータベースからロードすることができる。シナリオデータは、シナリオを定義するデータ(シナリオにおいて実行される任意のタスクを含む)とすることができ、シナリオ環境の指示(例えば、コンビニエンスストアなどの場所)、環境内の1つ以上のオブジェクト(例えば、アバターオブジェクト、椅子、壁など)、それらのタスクが特定のシーケンスで実行されるべきかどうか(例えば、商品を購入するためのタスクの順序:商品の位置特定、レジの位置特定、お金の引き出し、商品の支払い、店舗からの退出)を含む、環境内で実行される1つ以上のタスク(例えば、コンビニエンスストアで商品を見つけてそれを購入すること)、および/またはタスクが完了したかどうか、およびどの程度まで完了したかを評価するために測定されるデータ、およびタスク完了のレベル/程度を評価する行動スコアを計算するための任意のロジックを含むことができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、複数の異なるタスクを指定するシナリオデータを受信することができ、複数の異なるタスクは、ASDの症状に関連付けられた1つ以上の行動に関連付けられた技能を訓練するように構成される。シナリオデータは、訓練シナリオを含むことができる。シナリオデータは、ASDの1つ以上の症状を訓練するためのパラメータを示すことができる。例えば、シナリオデータは、ASDのない個人が彼らと話しているときに他の人間の眼を見る適切な時間量を示すことができる。シナリオデータは、完了すべき活動(例えば、タスク)のリストを含むことができる。例えば、シナリオデータは、ASDを有する対象が話す自信を高めるために明確な発話を練習すべきであることを示すことができる。シナリオデータは、1つ以上の閾値を示すデータを含むことができる。例えば、シナリオデータは、対象が他の人間から立つべき許容距離(例えば、最小距離と最大距離の双方)を指定するデータを含んでもよい。
【0080】
シナリオデータは、タスクシーケンスを含むことができる。タスクシーケンスは、対象による実施のための複数のタスクの任意の順序であってもよい。例えば、商品購入活動のためのタスクシーケンスは、最初に仮想店舗に入ること、次いで商品を見つけること、次いで商品を受け取ること、次いで商品をカウンタに取ること、次いで店員に話すこと、次いで商品の代金を支払うこと、次いで離れることを含むことができる。
【0081】
シナリオデータは、
図3のステップ301に関して説明した既存のデータの全部または一部を含むことができる。例えば、シナリオデータは、特定の対象による成績の履歴を示す情報、対象がどのタスクに熟練しているかを示す情報などを含んでもよい。そのような情報は、以下にさらに説明するように、対象による実施のための後続のタスクを決定するのを助けるために使用されることができる。
【0082】
ステップ503において、XRデバイス202は、エクステンデッドリアリティ環境を対象に提供することができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XRデバイスに、対象にXR環境を提示させてもよい。そのXR環境は、1つ以上のタスクを有するシナリオ(例えば、シナリオデータによって定義されたシナリオ)を含むことができる。このステップは、
図3のステップ302と同じかまたは同様とすることができる。
【0083】
ステップ504において、XRデバイス202は、エクステンデッドリアリティ環境におけるシナリオにおいてオブジェクトを提示することができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XR環境において、かつ対象に対して、XRデバイスにシナリオで指定された複数の異なるタスクのうちの少なくとも1つの第1のタスクを含むシナリオを提示させてもよく、少なくとも1つの第1のタスクは、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた第1の技能を訓練するように構成され、少なくとも1つの第1のタスクは、対象にXR環境内の1つ以上のオブジェクトと相互作用するように促すように構成される。例えば、シナリオデータは、社会的相互作用において対象を訓練することに対応することができ、シナリオデータに基づいてXR環境に提示されるシナリオは、店員から商品を購入することに関連付けられた1つ以上のタスクを含むことができる。エクステンデッドリアリティ環境においてオブジェクトを提示することは、オブジェクトの1つ以上の視覚的表現を表示することを含むことができる。例えば、前述のシナリオでは、店員、店の棚、カウンタ、仮想マネーなどのオブジェクトの様々な視覚的表現が記述されることができる。例えば、エクステンデッドリアリティ環境においてオブジェクトを提示することは、オンボードコンピューティングデバイス204および/またはサポートコンピューティングデバイス201が、オブジェクトに対応する3次元モデルを決定し、それをエクステンデッドリアリティ環境において表示することを含むことができる。上記の例に戻ると、そのような3次元モデルは、XR環境が実際の3次元ストアとして見えるように構成されるように、上記のオブジェクトに対応することができる。オブジェクトを提示することは、オブジェクトが常に対象に提示されることを意味する必要はない。例えば、対象がエクステンデッドリアリティ環境内のオブジェクトから遠くを見る場合、オブジェクトは、処理効率の目的のために環境から除去されることができる。したがって、例えば、上記のシナリオの例に戻ると、店員から離れることは、XR環境に、処理リソースを保存するように店員をレンダリングすることを停止させることができる。
【0084】
オブジェクトを提示することは、
図3および
図4に関して説明したタスクなどのタスクを、XRデバイス202によって、エクステンデッドリアリティ環境におけるシナリオにおいて提示することの一部とすることができる。タスクは、例えばシナリオデータによって指定される複数の異なるタスクのうちの1つであってもよい。タスクは、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた技能を訓練するように構成されることができる。タスクは、対象に1つ以上のオブジェクトと相互作用するように促すことができる。技能は、対象の発話パターン、対象の視線、対象の位置、および/または対象の動きのうちの1つ以上に対応することができる。
【0085】
XRデバイス202は、エクステンデッドリアリティ環境に、シナリオにおいて一度に複数のタスクを提示させることができる。例えば、オブジェクトを提示することは、第1のタスク(例えば、ASDの症状を訓練するためのもの)および日常生活タスク(例えば、対象が第1のタスクの間に完了しなければならないもの)などの複数のタスクを提示することの一部であってもよい。このようにして、本明細書で説明するステップは、対象が順番にまたは並行して実行することを任されることができる複数のタスクを含むことができる。以下にさらに詳述されるように、これは、有利には、一連の他のシミュレートされたタスク(例えば、日常生活タスク)を実行することを対象に課しながら、1つのタスク(例えば、ASDの症状の訓練に関連付けられたもの)の試験を可能にすることができる。
【0086】
オブジェクトの例として、XRデバイス202は、エクステンデッドリアリティ環境を介して(および、例えば、シナリオにおいて)、アバターオブジェクトを提示することができる。対象は、例えば、アバターオブジェクトに話しかけること、アバターオブジェクトの周りに自身を配置することなどによって、アバターオブジェクトと相互作用するように促されることができる。そのような相互作用のパフォーマンス(例えば、会話の成功、アバターの手の振りの成功)は、XRデバイス202によって監視されることができる。
【0087】
ステップ505において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、相互作用データを受信してもよい。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XR環境に提示されたシナリオにおける1つ以上のオブジェクトとの対象相互作用を検出してもよい。相互作用データは、エクステンデッドリアリティ環境の任意の部分との対象との相互作用を示す任意のデータを含むことができる。相互作用データは、追加的および/または代替的に、対象データと呼ばれることがある。相互作用データは、例えば、対象が立っている、または動いている場所、対象が見ている場所(例えば、視線)、対象によって発せられた音声または他の音などを含むことができる。
【0088】
相互作用データは、
図3のステップ303に関して説明した治療データと同じかまたは同様のデータを含むことができる。例えば、相互作用データは、それらの眼がどこを見ているか、それらの心拍数などの、それらの発話パターンなどの、対象に関する様々な情報を含むことができる。
【0089】
相互作用データは、エクステンデッドリアリティ環境内(例えば、シナリオ内)の1つ以上のオブジェクトと相互作用する対象の検出に基づくことができる。対象は、例えば、オブジェクトを動かす、オブジェクトに話しかける、オブジェクトを見る、またはオブジェクトに対して任意の動作もしくは不動作を行うことができる。
【0090】
相互作用データは、任意のオブジェクトと肯定的に相互作用する対象に関する情報を含む必要はない。例えば、オブジェクトと相互作用していない対象は、それ自体が価値のあるデータとすることができる。例えば、床を凝視し、アバターオブジェクトと相互作用していない対象は、それ自体が、対象がシナリオ内で割り当てられたタスク(例えば、会話の相手とアイコンタクトを形成して保持する)を達成しているかどうかを決定する目的のための価値のあるデータポイントとすることができる。
【0091】
図3のステップ303に関して簡単に説明したように、相互作用データを受信するオンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、追加的におよび/または代替的に、視線追跡データを収集することを含んでもよい。そのような視線追跡データは、エクステンデッドリアリティデバイスの1つ以上の視線追跡システムを使用して収集されることができる。例えば、視線追跡データは、カメラ203dおよび/または位置追跡要素203eによって収集されてもよい。視線追跡データを使用して、タスクの実施中に対象が見たシナリオにおける1つ以上の第2のオブジェクトを識別することによって視線データが生成されることができる。例えば、視線追跡データは、対象がオブジェクトを見ていたかどうかを決定するために、エクステンデッドリアリティ環境によって提示されたシナリオにおけるオブジェクトの位置と比較されることができる。これにより、視線データは、対象が1つ以上の第2のオブジェクト(例えば、アバターオブジェクト)の特定の領域(例えば、眼、足)を見たかどうかを示すことができる。このように、視線データを用いて、対象がオブジェクトの社会的に適切な部分(例えば、アバターオブジェクトの眼)を見たか、オブジェクトの社会的に不適切な部分(例えば、アバターオブジェクトの胸部)を見たかを決定することができる。同様に、視線データは、対象がある期間にわたって1つ以上のオブジェクトから目をそらしていたかどうかを示すことができる。このようにして、視線データは、対象が会話の相手を見ることを避けたことを示すことができる。したがって、この情報のいずれかは、シナリオ(例えば、XRデバイス202によって提示されるXR環境)を変更するかどうか、および/またはどのように変更するかを決定するために使用されることができるシナリオ(例えば、ステップ502において受信されたシナリオ)の入力とすることができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、視線追跡データがASDの症状を示しているかどうかを決定するためにシナリオを使用することができる。
【0092】
図3のステップ303に関連して簡単に説明したように、相互作用データを受信するオンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、追加的におよび/または代替的に、音声データを収集することを含んでもよい。音声データは、エクステンデッドリアリティ環境において提示されるシナリオにおける1つ以上のオブジェクトとの、対象による音声相互作用に対応することができる。例えば、音声データは、対象によるアバターオブジェクトに向けられた発話に対応することができる。音声データは、オーディオデバイス203bの一部などのマイクロフォンによって受信されてもよい。音声データに基づいて、信頼度スコアが計算されることができる。信頼度スコアは、話すときの対象の信頼度と関連付けられることができる。例えば、不確実性を想起させる過度の間や言葉は、相対的に低い信頼度スコアと関連付けられる可能性があり、一方、明瞭で簡潔で十分に大きい音声は、相対的に高い信頼度スコアと関連付けられる可能性がある。音声データに基づいて、明瞭性スコアが計算されることができる。明瞭性スコアは、話すときの対象の明瞭性と関連付けられることができる。例えば、静かな音声には、比較的低い明瞭度スコアが提供されることができるが、十分に大きく明瞭な音声には、比較的高い明瞭度スコアが提供されることができる。したがって、この情報のいずれかは、シナリオ(例えば、XRデバイス202によって提示されるXR環境)を変更するかどうか、および/またはどのように変更するかを決定するために使用されることができるシナリオ(例えば、ステップ502において受信されたシナリオ)の入力とすることができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、音声データがASDの症状を示しているかどうかを決定するためにシナリオを使用することができる。
【0093】
ステップ506において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、追加のセンサが存在するか否かを決定してもよい。追加のセンサは、ステップ505において受信された相互作用データに加えて詳細を提供することができる任意のセンサデバイスを含むことができる。例えば、追加のセンサは、生体追跡デバイス205などの生体センサを含むことができる。追加のセンサがある場合、フローチャートは、ステップ507に進む。そうでない場合、フローチャートは、ステップ508に進む。
【0094】
ステップ507において、追加のセンサが存在する場合、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、センサデータを受信することができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、対象に関連付けられ、かつ少なくとも1つの第1のタスクの遂行中に収集された生体データを1つ以上の生体追跡デバイスから受信してもよく、行動スコアを計算することは、生体データにさらに基づいて行動スコアを計算することを含む。センサデータは、対象に関連付けられることができる。例えば、センサデータは、対象の心拍数の指示を含むことができる。収集されたセンサデータは、
図3のステップ303に関して説明した治療データの全部または一部と同じかまたは同様とすることができる。したがって、このセンサデータのいずれかは、シナリオ(例えば、XRデバイス202によって提示されるXR環境)を変更するかどうか、および/またはどのように変更するかを決定するために使用されることができるシナリオ(例えば、ステップ502において受信されたシナリオ)の入力とすることができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、シナリオデータがASDの症状を示しているかどうかを決定するためにシナリオを使用することができる。
【0095】
センサデータは、1つ以上の生体追跡デバイスから受信され、対象に対応し、かつタスクの実施中に収集された生体データを含むことができる。生体データは、例えば、対象の心拍数、対象の酸素レベルなどを含むことができる。そのような情報は、例えば、対象の緊張または対象の関与を示すことができる。
【0096】
ステップ508において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、シナリオデータを実行して、エクステンデッドリアリティ環境(例えば、エクステンデッドリアリティ環境において提示されるシナリオ)に対する変更を識別することができる。このステップは、
図3のステップ305と同じかまたは同様とすることができる。変更は、相互作用データ、センサデータ、および/またはシナリオデータに基づくことができる。シナリオデータは、対象によって実行されるべきタスクシーケンスを含むことができる。例えば、タスクシーケンスは、店舗内の対象の相互作用を訓練するために、対象が最初に店舗に入ってから商品を見つけ、次いで商品をレジに持って行き、次いで商品の代金を支払うように促されることができることを指定することができる。換言すれば、タスクシーケンスに基づいて、タスクシーケンスの次のステップが識別されることができ、タスクシーケンスの次のステップに基づいて変更が決定されることができる。
【0097】
エクステンデッドリアリティ環境に対する変更を識別する一部として、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、ASDの症状に関連付けられた1つ以上の行動を示す(例えば、行動を示すデータに基づいて生成される)行動スコアを計算することができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、1つ以上の対象相互作用に基づいて、ASDの症状に関連付けられた1つ以上の行動を示す(例えば、行動の客観的な尺度を提供する)行動スコアを計算することができる。スコアを計算することは、対象相互作用に対応するパフォーマンスメトリックを計算することを含むことができる。例えば、パフォーマンスメトリックは、対象が質問にどれだけ速く応答したか、それらがアバターオブジェクトからどれだけ近くまたは遠くに立っていたかなどに対応することができる。別の例として、コンピューティングデバイスは、特定の対象が潜在的にASDの症状に関連付けられた行動を示す頻度のランキングを含む行動スコアを計算することができ、パフォーマンスメトリックは、それらの行動に関連付けられることができる。生体データが受信された場合、行動スコアを計算することは、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201が生体データをシナリオデータによって確立された規格と比較することを含むことができる。例えば、シナリオデータは、毎分100拍を超える心拍数が神経過敏を示すという指示を含むことができ、生体測定データからの心拍数は、この毎分100拍の閾値と比較されることができる。
【0098】
エクステンデッドリアリティ環境(例えば、エクステンデッドリアリティ環境において提示されるシナリオ)に対する変更を識別するオンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、第2のタスクを選択することを含むことができる。タスクは、シナリオデータによって指定される複数の異なるタスクから選択されてもよい。タスクを選択することは、行動スコアに基づくことができる。第2のタスクは、対象に最初に提示されたタスクと同じであっても異なっていてもよい。例えば、対象は、最初に2つのタスク(例えば、レジ係と会話し、クレジットカードを見つけるために財布を開く)を提示されることができ、変更は、(例えば、対象が、販売時点管理システムを使用して商品の代金を支払っている間に、レジ係とさらに話すことを任されるように)2つのタスクのうちの1つを置き換える第2のタスクを提示することを含むことができる。したがって、第2のタスクを選択することは、シナリオの1つのタスクを置き換えることを含むことができ、同時に同じシナリオの別のタスクを続行することもできる。
【0099】
第2のタスクは、1つ以上の以前のタスクの対象のパフォーマンスに基づいて選択されてもよい。対象は、例えば、上述した相互作用データによって示されるように、1つ以上のタスクを良好または不十分に実行する可能性がある。大筋では、対象がタスクを完了したという単なる事実は、対象がタスクを良好に実施したことを示す必要はなく、対象がASDに関連付けられた症状に対処していることを示す必要はない。このように、第2のタスクは、1つ以上の以前のタスクのパフォーマンスの品質に基づいて選択されることができる。例えば、対象が過去のタスクで特にうまくいっている場合、シナリオ難易度を上げるために第2のタスクを選択することができる。そのようなシナリオ難易度は、シナリオに提示される複数のタスクの難易度の総和であってもよい。例えば、パーティに歩いて入ることを伴うシナリオの場合、ドアを開くタスクは、比較的容易であり得るが、次のタスク(例えば、パーティで誰かに挨拶すること)は、ASDを経験している個人にとっては著しく困難であり得るため、シナリオ難易度は比較的高くなり得る。逆に、対象が過去のタスクでうまくいっていない場合、シナリオ難易度を下げるために第2のタスクが選択されてもよい。1つ以上の以前のタスクが完了したが、それらの以前のタスクの対象のパフォーマンスの品質が平均的および/または予測されたものであった場合もあり得る。そのような状況では、第2のタスクは、シナリオデータによって定義されることができるタスクの論理シーケンスに基づいて選択されることができる。例えば、シナリオデータが3つのタスクの論理シーケンスを示し、対象が第1のタスクを良好に実施する(しかし、特に良好または不良ではない)場合、シーケンス内の次のタスクがそれに応じて選択されることができる。
【0100】
第2のタスクは、追加的および/または代替的に、行動スコアなどの相互作用データに基づいて選択されてもよい。(例えば、ASDの1つ以上の症状に関して)対象の相互作用データは、第2のタスクがASDの症状を訓練し、改善し、および/または別の形で対処するように、第2のタスクを選択するために使用されることができる。例えば、対象が良好にタスクを完了し、(例えば、対象がASDの症状を反映するように行動しなかったことを示した)肯定的な行動スコアを有した場合、第2のタスクは、対象を訓練するために、僅かに難しくなるように選択されることができる。対照的に、対象が良好にタスクを完了したが、(例えば、対象がASDの症状の取り扱いの困難さを反映した様式で行動したことを示した)否定的な行動スコアを有した場合、第2のタスクは、対象が休憩することを可能にするように、僅かにより容易になるように選択されることができる。
【0101】
第2のタスクは、対象からのフィードバックに基づいて選択されてもよい。対象は、シナリオおよび/またはシナリオの1つ以上のタスクに関するフィードバックを提供することができる。例えば、フィードバックは、対象が自信を持っている、心配している、圧倒されているなどを示すことができる。そのようなフィードバックは、例えば、XR環境におけるプロンプトの提示、対象からの口頭フィードバックの受信などによって、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201を介して受信されてもよい。フィードバックに基づいて、第2のタスクが選択されることができる。例えば、対象が自信を持っている場合、比較的難しい第2のタスクが選択されてもよい。別の例として、対象が不安を感じているおよび/または圧倒されている場合、比較的容易なタスクが選択されることができる。
【0102】
ステップ509において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、(例えば、エクステンデッドリアリティ環境によって提示されるシナリオを変更することによって)エクステンデッドリアリティ環境を変更するかどうかを決定することができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、複数の異なるタスクから、かつASDの症状に関連付けられた1つ以上の行動を示す行動スコアに基づいて、複数の異なるタスクのうちの少なくとも1つの第2のタスクを選択することができ、少なくとも1つの第2のタスクは、ASDの症状に関連付けられた1つ以上の行動の改善に関連付けられた第2の技能を訓練するように構成され、第2の技能は第1の技能とは異なる。エクステンデッドリアリティ環境を変更するかどうかを決定することは、シナリオデータに基づくことができる。例えば、シナリオデータがタスクシーケンスを指定する場合、エクステンデッドリアリティ環境を変更するかどうかを決定することは、次のタスク(例えば、タスクシーケンス内の次のタスク)が対象に提示されるように、1つのタスクが完了したと決定することを含むことができる。エクステンデッドリアリティ環境を変更することが決定された場合、フローチャートは、ステップ510に進む。そうでない場合、フローチャートは、ステップ508に戻る。
【0103】
ステップ510において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、XRデバイス202によって提示されるエクステンデッドリアリティ環境を変更させることができる。例えば、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、シナリオに基づいて、シナリオにおける第2のタスクを提示するようにXR環境を変更することができる。エクステンデッドリアリティ環境は、ステップ508において識別された変更に基づいて変更されることができる。このステップは、
図3のステップ306と同じかまたは同様とすることができる。例えば、変更が第2のタスクを対象に提示することを含む場合、変更は、同じまたは異なるシナリオにおいて第2のタスクを提示するようにエクステンデッドリアリティ環境を変更することを含むことができる。別の例として、変更が現在のタスクをより容易にすることを含む場合、エクステンデッドリアリティ環境は、現在のタスクの1つ以上の部分の難易度を下げるように変更されてもよい。
【0104】
ステップ511において、XRデバイスは、変更されたエクステンデッドリアリティ環境を対象に提供することができる。このステップは、
図3のステップ503および/またはステップ302と同じかまたは同様とすることができる。変更されたエクステンデッドリアリティ環境を提示することの一部として、更新された行動スコアが決定されることができる。そのような更新された行動スコアは、
図5のステップ508に関して説明したのと同じかまたは同様のステップを含むことができる。
【0105】
ステップ508から511は、人間の関与なしに実行されてもよい。換言すれば、ステップは、自動的に、シナリオデータによって提供される論理に基づいて実行されてもよい。このようにして、臨床医は、対象のための訓練プログラムを変更するプロセスに関与する必要がない。これは、有利には、対象が別の人間による肯定的な監視および介入なしに複数のタスク(例えば、並行する複数のタスク、タスクシーケンス)を進めることを可能にすることができる。
【0106】
ステップ512において、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、エクステンデッドリアリティ環境の提示を終了するかどうかを決定することができる。オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、例えば、対象が1つ以上のシナリオの1つ以上のタスクを完了した場合、エクステンデッドリアリティ環境の提示を終了することを決定することができる。例えば、変更されたエクステンデッドリアリティ環境が対象に2つのタスクを並行して完了するように促す場合、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、双方のタスクが完了したという決定に基づいてエクステンデッドリアリティ環境の提示を終了するように決定することができる。追加的および/または代替的に、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、相互作用データおよび/またはセンサデータに基づいてエクステンデッドリアリティ環境の提示を終了することを決定することができる。例えば、対象が疲れているか、注意力不足であるか、そうでなければ疲れているように見える場合、オンボードコンピューティングデバイス204および/または支援コンピューティングデバイス201は、エクステンデッドリアリティ環境の提示を終了することを決定することができる。エクステンデッドリアリティ環境を終了すると決定された場合、フローチャートは終了する。そうでない場合、フローチャートは、ステップ511に戻る。
【0107】
図6Aは、XRデバイス202によって生成、提示、および/または提供されることができるエクステンデッドリアリティ環境の例を示している。特に、
図6Aは、対象が食品を注文するように促される例示的なエクステンデッドリアリティ環境を示している。
図6Aに示すエクステンデッドリアリティ環境は、テキストバブル602において、対象が何を注文したいかを尋ねる人間様アバターオブジェクト601を含む。対象には様々な選択肢603が提示され、対象は「A」ボタンを押すことによって話すことができる。XR環境はまた、アバターオブジェクトの背後のポスターおよびブースに座っている別のアバターオブジェクトなどの様々な注意散漫を含む。
図6Aに示す例では、対象は、例えば、よそ見をしたり、アバターオブジェクトから遠ざかったりするのではなく、選択肢603のうちの1つを話すことを任される場合がある。
【0108】
図6Aに示すエクステンデッドリアリティ環境は、
図3のステップ302において提示された環境および/または
図5のステップ503において提供された環境の全部または一部であってもよい。例えば、
図6Aに示すエクステンデッドリアリティ環境は、食品購入シナリオのエクステンデッドリアリティ環境の一部であってもよい。そのような例では、XR環境におけるオブジェクトの提示に関連付けられた
図5のステップ503は、
図6Aに示される壁、
図6Aに示されるブース、
図6Aに示されるアバターオブジェクト601などをレンダリングすることを含むことができる。次に、その例では、(相互作用データを受信することを含む)ステップ505の一部として、システムは、それらのオブジェクトのいずれかとの相互作用を示す相互作用データを受信することができる:例えば、対象は、壁の近くに立ったり、アバターオブジェクト601と話したりすることができる。
【0109】
図6Bは、対象によるXR環境における行動に関する出力の例を示している。特に、(例えば、XRデバイス202などのコンピューティングデバイスによって提示および/または提供されることができる)
図6Bに示す出力は、ASDの症状を改善するための様々な戦略に関する一連のスコア604を示している。スコア604は、0から3つ星までスコア付けされ、星の総数が出力の下部に表示される。出力の左側には、対象によって完了されたタスクのリスト605が表示される。例えば、
図6Bの例に示すように、対象は、両親に会うこと、トーストを焼くこと、および絵文字ゲームをプレイすることを含むタスクを完了したが、スライドショータスクに参加することができなかった。
【0110】
図6Bに示される出力は、訓練シナリオの実行およびエクステンデッドリアリティ環境に対して行うべき変更の識別に関連付けられたことができるという点で、
図5のステップ508の一部とすることができる。例えば、
図6Bに示される出力は、対象が「コミュニケーションの構築」および「生活技能の使用」に関してやや不十分に機能したことを示している。したがって、対象による実施のために選択された第2のタスクは、例えば、「コミュニケーションの構築」および/または「生活技能の使用」のための訓練技能に関連付けられたタスクを含むことができる。
【0111】
以下の段落(M1)から(M20)は、本開示にしたがって実装されることができる方法の例を説明する。
【0112】
(M1)自閉症スペクトラム障害(ASD)を評価するための方法であって、少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内のオブジェクトとの対象相互作用を検出することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を含む、方法。
【0113】
(M2)対象に関連付けられ、かつ第1のタスクの実施中に収集された生体データを、1つ以上の生体追跡デバイスから受信することをさらに含み、相互作用データを生成することが、生体データにさらに基づいて相互作用データを生成することを含む、請求項1に記載の方法。
【0114】
(M3)1つ以上の行動に関連付けられたスコアを計算することが、生体データをシナリオによって確立された基準と比較することを含む、請求項2に記載の方法。
【0115】
(M4)1つ以上の行動に関連付けられたスコアを計算することが、対象相互作用に対応する、対象がXR環境において1つ以上の行動をどれだけ良好に実施するかを示すパフォーマンスメトリックを計算することを含む、請求項1から3のいずれか一項に記載の方法。
【0116】
(M5)第2のタスクを選択することが、ユーザが第1のタスクに無応答であることを示す入力の使用に応答し、XR環境を変更することが、人間の相互作用なしに第2のタスクを提示することを含む、請求項1から4のいずれか一項に記載の方法。
【0117】
(M6)シナリオが、ある順序で実施されるべき複数の異なるタスクを含むタスクシーケンスを指定し、第2のタスクを選択することが、複数の異なるタスクのうちの、かつ順序に基づいた、第1のタスクの後に実施されるべきタスクを決定することに基づいている、請求項1から5のいずれか一項に記載の方法。
【0118】
(M7)第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することをさらに含む、請求項1から6のいずれか一項に記載の方法。
【0119】
(M8)第1の技能が、対象の発話パターン、対象の視線、アバターオブジェクトの位置と比較した対象の位置、XR環境において行われた判断、または対象の動き、のうちの1つ以上に対応する、請求項1から7のいずれか一項に記載の方法。
【0120】
(M9)自閉症スペクトラム障害(ASD)を評価するための方法であって、少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内の1つ以上のオブジェクトとの1つ以上の相互作用を検出することであって、1つ以上の相互作用が、対象に関連付けられている、1つ以上の相互作用を検出することと、XRデバイスの視線追跡システムを使用して、対象の眼球運動を監視することによって視線追跡データを収集することと、視線追跡データに基づいて、タスクの実施中に対象が見たXR環境内の1つ以上の第2のオブジェクトを識別することによって視線データを生成することと、1つ以上の相互作用に基づいて、かつ視線データに基づいて、対象によるASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を含む、方法。
【0121】
(M10)第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することをさらに含む、請求項9に記載の方法。
【0122】
(M11)視線データが、対象が1つ以上の第2のオブジェクトの特定の領域を見たかどうかを示す、請求項9または10に記載の方法。
【0123】
(M12)1つ以上の第2のオブジェクトがアバターオブジェクトを含み、特定の領域がアバターオブジェクトの眼を含む、請求項11に記載の方法。
【0124】
(M13)視線データが、対象がある期間にわたって1つ以上の第2のオブジェクトから目をそらしていたかどうかを示す、請求項9から12のいずれか一項に記載の方法。
【0125】
(M14)自閉症スペクトラム障害(ASD)を評価するための方法であって、少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内の1つ以上のオブジェクトとの1つ以上の相互作用を検出することであって、1つ以上の相互作用が、対象に関連付けられている、1つ以上の相互作用を検出することと、XRデバイスの1つ以上のマイクロフォンを介して、対象による、XR環境内の1つ以上のオブジェクトとの音声相互作用に対応する音声データを受信することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を含む、方法。
【0126】
(M15)第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することをさらに含む、請求項14に記載の方法。
【0127】
(M16)相互作用データを生成することが、音声データに基づいて、話すときの対象の信頼度に関連付けられた信頼度スコアを計算することを含む、請求項14または15に記載の方法。
【0128】
(M17)相互作用データを生成することが、音声データに基づいて、対象の発話の明瞭性に関連付けられた明瞭性スコアを計算することを含む、請求項14から16のいずれか一項に記載の方法。
【0129】
(M18)自閉症スペクトラム障害(ASD)を評価するための方法であって、少なくとも1つのプロセッサおよびメモリを備え、エクステンデッドリアリティ(XR)デバイスに結合されたコンピューティングデバイスにおいて、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、複数の異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されている、第1のタスクを提示させることと、XRデバイスに、XR環境において、かつ対象に対して、複数の異なるタスクのうちの第2のタスクを提示させることであって、第2のタスクが、日常生活技能をエミュレートするように構成されている、第2のタスクを提示させることと、対象による、第1のタスクおよび前記第2のタスクのパフォーマンスをある期間にわたって監視することによって対象データを収集することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、複数の異なるタスクから、かつ相互作用データに基づいて、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第2の技能を訓練するように構成された第3のタスクを選択することと、第2のタスクおよび第3のタスクを提示するように、XRデバイスに、テンプレートに基づいてXR環境を変更させることと、を含む、方法。
【0130】
(M19)XRデバイスにXR環境を変更させることが、XR環境に、第3のタスクと並行して、対象による実施のために第2のタスクを提示させることを含む、請求項18に記載の方法。
【0131】
(M20)XRデバイスに第2のタスクを提示させることが、XRデバイスに、第1のタスクと並行して第2のタスクを提示させることを含む、請求項18または19に記載の方法。
【0132】
以下の段落(A1)から(A20)は、本開示にしたがって実装されることができる装置の例を説明する。
【0133】
(A1)エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、1つ以上のプロセッサと、命令を記憶するメモリと、を備え、命令は、1つ以上のプロセッサによって実行されると、装置に、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することであって、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信するように構成されており、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、データを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内のオブジェクトとの対象相互作用を検出することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を行わせる、装置。
【0134】
(A2)命令が、1つ以上のプロセッサによって実行されると、装置に、1つ以上の生体追跡デバイスから、対象に関連付けられ、かつ第1のタスクの実施中に収集された生体データを受信することと、命令が、1つ以上のプロセッサによって実行されると、装置に、生体データにさらに基づいて相互作用データを生成することと、を行わせる、(A1)に記載の装置。
【0135】
(A3)命令が、1つ以上のプロセッサによって実行されると、装置に、生体データをシナリオによって確立された標準と比較することに基づいて、1つ以上の行動に関連付けられたスコアを計算することを行わせる、(A2)に記載の装置。
【0136】
(A4)命令が、1つ以上のプロセッサによって実行されると、装置に、対象相互作用に対応する、対象がXR環境内で1つ以上の行動をどれだけ良好に実施するかを示すパフォーマンスメトリックを計算することに基づいて、1つ以上の行動に関連付けられたスコアを計算することを行わせる、(A1)から(A3)のいずれか一項に記載の装置。
【0137】
(A5)命令が、1つ以上のプロセッサによって実行されると、装置に、ユーザが第1のタスクに応答していないことを示す入力を使用することに応答して第2のタスクを選択することと、命令が、1つ以上のプロセッサによって実行されると、装置に、人間の相互作用なしに第2のタスクを提示することによってXR環境を変更することと、を行わせる、(A1)から(A4)のいずれか一項に記載の装置。
【0138】
(A6)シナリオが、ある順序で実施されるべき複数の異なるタスクを含むタスクシーケンスを指定し、命令が、1つ以上のプロセッサによって実行されると、装置に第2のタスクを選択させることが、複数の異なるタスクのうちの、かつ順序に基づいた、第1のタスクの後に実施されるべきタスクを決定することに基づいている、(A1)から(A5)のいずれか一項に記載の装置。
【0139】
(A7)命令が、1つ以上のプロセッサによって実行されると、装置に、第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することを行わせる、(A1)から(A6)のいずれか一項に記載の装置。
【0140】
(A8)第1の技能が、対象の発話パターン、対象の視線、アバターオブジェクトの位置と比較した対象の位置、XR環境において行われた判断、または対象の動き、のうちの1つ以上に対応する、(A1)から(A7)のいずれか一項に記載の装置。
【0141】
(A9)エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、1つ以上のプロセッサと、命令を記憶するメモリと、を備え、命令は、1つ以上のプロセッサによって実行されると、装置に、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内の1つ以上のオブジェクトとの1つ以上の相互作用を検出することであって、1つ以上の相互作用が、対象に関連付けられている、1つ以上の相互作用を検出することと、XRデバイスの視線追跡システムを使用して、対象の眼球運動を監視することによって視線追跡データを収集することと、視線追跡データに基づいて、タスクの実施中に対象が見たXR環境内の1つ以上の第2のオブジェクトを識別することによって視線データを生成することと、1つ以上の相互作用に基づいて、かつ視線データに基づいて、対象によるASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を行わせる、装置。
【0142】
(A10)命令が、1つ以上のプロセッサによって実行されると、装置に、第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することを行わせる、(A9)に記載の装置。
【0143】
(A11)視線データが、対象が1つ以上の第2のオブジェクトの特定の領域を見たかどうかを示す、(A9)または(A10)に記載の装置。
【0144】
(A12)1つ以上の第2のオブジェクトがアバターオブジェクトを含み、特定の領域がアバターオブジェクトの眼を含む、(A11)に記載の装置。
【0145】
(A13)視線データが、対象がある期間にわたって1つ以上の第2のオブジェクトから目をそらしていたかどうかを示す、(A9)から(A12)のいずれか一項に記載の装置。
【0146】
(A14)エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、1つ以上のプロセッサと、命令を記憶するメモリと、を備え、命令は、1つ以上のプロセッサによって実行されると、装置に、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XR装置に、XR環境を提示させることと、XR装置に、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内の1つ以上のオブジェクトとの1つ以上の相互作用を検出することであって、1つ以上の相互作用が、対象に関連付けられている、1つ以上の相互作用を検出することと、XR装置の1つ以上のマイクロフォンを介して、対象による、XR環境内の1つ以上のオブジェクトとの音声相互作用に対応する音声データを受信することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を行わせる、装置。
【0147】
(A15)命令が、1つ以上のプロセッサによって実行されると、装置に、第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することを行わせる、(A14)に記載の装置。
【0148】
(A16)命令が、1つ以上のプロセッサによって実行されると、装置に、音声データに基づいて、話すときの対象の信頼度に関連付けられた信頼度スコアを計算させることによって、装置に、相互作用データを生成することを行わせる、(A14)または(A15)に記載の装置。
【0149】
(A17)命令が、1つ以上のプロセッサによって実行されると、装置に、音声データに基づいて、対象の発話の明瞭性に関連付けられた明瞭性スコアを計算させることによって、装置に、相互作用データを生成することを行わせる、(A14)から(A16)のいずれか一項に記載の装置。
【0150】
(A18)エクステンデッドリアリティ(XR)デバイスに結合された、自閉症スペクトラム障害(ASD)を評価するための装置であって、1つ以上のプロセッサと、命令を記憶するメモリと、を備え、命令は、1つ以上のプロセッサによって実行されると、装置に、対象のASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、複数の異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されている、第1のタスクを提示させることと、XRデバイスに、XR環境において、かつ対象に対して、複数の異なるタスクのうちの第2のタスクを提示させることであって、第2のタスクが、日常生活技能をエミュレートするように構成されている、第2のタスクを提示させることと、対象による、第1のタスクおよび第2のタスクのパフォーマンスをある期間にわたって監視することによって対象データを収集することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、複数の異なるタスクから、かつ相互作用データに基づいて、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第2の技能を訓練するように構成された第3のタスクを選択することと、XRデバイスに、テンプレートに基づいて、第2のタスクおよび第3のタスクを提示するようにXR環境を変更することと、を行わせる、装置。
【0151】
(A19)命令が、1つ以上のプロセッサによって実行されると、XR環境に、第3のタスクと並行して、対象による実施のために第2のタスクを提示させることによって、装置に、XR環境を変更することを行わせる、(A18)に記載の装置。
【0152】
(A20)命令が、1つ以上のプロセッサによって実行されると、XRデバイスに、第1のタスクと並行して第2のタスクを提示させることによって、装置に、XRデバイスに第2のタスクを提示させることを行わせる、(A18)または(A19)に記載の装置。
【0153】
以下の段落(CRM1)から(CRM20)は、本開示にしたがって実装されることができるコンピュータ可読媒体の例を説明する。
【0154】
(CRM1)命令を含む1つ以上の非一時的コンピュータ可読媒体であって、命令が、自閉症スペクトラム障害(CRMSD)を評価するためにエクステンデッドリアリティ(XR)デバイスに結合されたコンピュータ可読媒体の少なくとも1つのプロセッサによって実行されると、コンピュータ可読媒体に、対象に対するASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内のオブジェクトとの対象相互作用を検出することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を行わせる、1つ以上の非一時的コンピュータ可読媒体。
【0155】
(CRM2)命令が、1つ以上のプロセッサによって実行されると、コンュータ可読媒体に、1つ以上の生体追跡デバイスから、対象に関連付けられ、かつ第1のタスクの実施中に収集された生体データを受信することと、命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、生体データにさらに基づいて相互作用データを生成することと、を行わせる、(CRM1)に記載のコンピュータ可読媒体。
【0156】
(CRM3)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、生体データをシナリオによって確立された標準と比較することに基づいて、1つ以上の行動に関連付けられたスコアを計算することを行わせる、(CRM2)に記載のコンピュータ可読媒体。
【0157】
(CRM4)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、対象相互作用に対応する、対象がXR環境内で1つ以上の行動をどれだけ良好に実施するかを示すパフォーマンスメトリックを計算することに基づいて、1つ以上の行動に関連付けられたスコアを計算することを行わせる、(CRM1)から(CRM3)のいずれか一項に記載のコンピュータ可読媒体。
【0158】
(CRM5)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、ユーザが第1のタスクに応答していないことを示す入力を使用することに応答して第2のタスクを選択することと、命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、人間の相互作用なしに第2のタスクを提示することによってXR環境を変更することと、を行わせる、(CRM1)から(CRM4)のいずれか一項に記載のコンピュータ可読媒体。
【0159】
(CRM6)シナリオが、ある順序で実施されるべき複数の異なるタスクを含むタスクシーケンスを指定し、命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に第2のタスクを選択させることが、複数の異なるタスクのうちの、かつ順序に基づいた、第1のタスクの後に実施されるべきタスクを決定することに基づいている、(CRM1)から(CRM5)のいずれか一項に記載のコンピュータ可読媒体。
【0160】
(CRM7)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することを行わせる、(CRM1)から(CRM6)のいずれか一項に記載のコンピュータ可読媒体。
【0161】
(CRM8)第1の技能が、対象の発話パターン、対象の視線、アバターオブジェクトの位置と比較した対象の位置、XR環境において行われた判断、または対象の動き、のうちの1つ以上に対応する、(CRM1)から(CRM7)のいずれか一項に記載のコンピュータ可読媒体。
【0162】
(CRM9)命令を含む1つ以上の非一時的コンピュータ可読媒体であって、命令が、自閉症スペクトラム障害(CRMSD)を評価するためにエクステンデッドリアリティ(XR)デバイスに結合されたコンピュータ可読媒体の少なくとも1つのプロセッサによって実行されると、コンピュータ可読媒体に、対象に対するASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内の1つ以上のオブジェクトとの1つ以上の相互作用を検出することであって、1つ以上の相互作用が、対象に関連付けられている、1つ以上の相互作用を検出することと、XRデバイスの視線追跡システムを使用して、対象の眼球運動を監視することによって視線追跡データを収集することと、視線追跡データに基づいて、タスクの実施中に対象が見たXR環境内の1つ以上の第2のオブジェクトを識別することによって視線データを生成することと、1つ以上の相互作用に基づいて、および視線データに基づいて、対象によるASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を行わせる、1つ以上の非一時的コンピュータ可読媒体。
【0163】
(CRM10)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することを行わせる、(CRM9)に記載のコンピュータ可読媒体。
【0164】
(CRM11)視線データが、対象が1つ以上の第2のオブジェクトの特定の領域を見たかどうかを示す、(CRM9)または(CRM10)に記載のコンピュータ可読媒体。
【0165】
(CRM12)1つ以上の第2のオブジェクトがアバターオブジェクトを含み、特定の領域がアバターオブジェクトの眼を含む、(CRM11)に記載のコンピュータ可読媒体。
【0166】
(CRM13)視線データが、対象がある期間にわたって1つ以上の第2のオブジェクトから目をそらしていたかどうかを示す、(CRM9)から(CRM12)のいずれか一項に記載のコンピュータ可読媒体。
【0167】
(CRM14)命令を含む1つ以上の非一時的コンピュータ可読媒体であって、命令が、自閉症スペクトラム障害(CRMSD)を評価するためにエクステンデッドリアリティ(XR)デバイスに結合されたコンピュータ可読媒体の少なくとも1つのプロセッサによって実行されると、コンピュータ可読媒体に、対象に対するASDの症状に関連付けられた1つ以上の行動を識別するデータを受信することと、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させることと、XRデバイスに、XR環境において、かつ対象に対して、シナリオにおいて指定された異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されており、第1のタスクが、対象に、XR環境内のオブジェクトと相互作用するように促すように構成されている、第1のタスクを提示させることと、XR環境内の1つ以上のオブジェクトとの1つ以上の相互作用を検出することであって、1つ以上の相互作用が、対象に関連付けられている、1つ以上の相互作用を検出することと、XRデバイスの1つ以上のマイクロフォンを介して、対象による、XR環境内の1つ以上のオブジェクトとの音声相互作用に対応する音声データを受信することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、異なるタスクから、かつ相互作用データに基づいて、異なるタスクのうちの第2のタスクを選択することであって、第2のタスクが、ASDの症状に関連付けられた行動のうちの別の1つ以上の改善に関連付けられた第2の技能を訓練するように構成されており、第2の技能が、第1の技能とは異なる、第2のタスクを選択することと、シナリオに基づいて、第2のタスクを提示するようにXR環境を変更することと、を行わせる、1つ以上の非一時的コンピュータ可読媒体。
【0168】
(CRM15)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、第2のタスクを提示するようにXR環境を変更した後に、第2のタスクに応答したさらなる対象相互作用に基づいて更新された相互作用データを生成することを行わせる、(CRM14)に記載のコンピュータ可読媒体。
【0169】
(CRM16)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、音声データに基づいて、話すときの対象の信頼度に関連付けられた信頼度スコアを計算させることによって、コンピュータ可読媒体に、相互作用データを生成することを行わせる、(CRM14)または(CRM15)に記載のコンピュータ可読媒体。
【0170】
(CRM17)命令が、1つ以上のプロセッサによって実行されると、コンピュータ可読媒体に、音声データに基づいて、対象の発話の明瞭性に関連付けられた明瞭性スコアを計算させることによって、コンピュータ可読媒体に、相互作用データを生成することを行わせる、(CRM14)から(CRM16)のいずれか一項に記載のコンピュータ可読媒体。
【0171】
(CRM18)命令を含む1つ以上の非一時的コンピュータ可読媒体であって、命令が、自閉症スペクトラム障害(CRMSD)を評価するためにエクステンデッドリアリティ(XR)デバイスに結合されたコンピュータ可読媒体の少なくとも1つのプロセッサによって実行されると、コンピュータ可読媒体に、対象に対するASDの症状に関連付けられた1つ以上の行動を識別するデータを受信して、1つ以上の行動に基づいて、複数の異なるタスクを指定するシナリオを受信することであって、複数の異なるタスクが、ASDの症状に関連付けられた技能を訓練するように構成されている、シナリオを受信することと、シナリオに基づいて、XRデバイスに、XR環境を提示させ、XRデバイスに、XR環境において、かつ対象に対して、複数の異なるタスクのうちの第1のタスクを提示させることであって、第1のタスクが、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第1の技能を訓練するように構成されている、第1のタスクを提示させることと、XRデバイスに、XR環境において、かつ対象に対して、複数の異なるタスクのうちの第2のタスクを提示させることであって、第2のタスクが、日常生活技能をエミュレートするように構成されている、第2のタスクを提示させることと、対象による、第1のタスクおよび第2のタスクのパフォーマンスをある期間にわたって監視することによって対象データを収集することと、対象相互作用に基づいて、対象による、ASDの症状に関連付けられた1つ以上の行動のパフォーマンスを示す相互作用データを生成することと、複数の異なるタスクから、かつ相互作用データに基づいて、ASDの症状に関連付けられた行動のうちの少なくとも1つの改善に関連付けられた第2の技能を訓練するように構成された第3のタスクを選択することと、XRデバイスに、テンプレートに基づいて、第2のタスクおよび第3のタスクを提示するようにXR環境を変更することと、を行わせる、1つ以上の非一時的コンピュータ可読媒体。
【0172】
(CRM19)命令が、1つ以上のプロセッサによって実行されると、XR環境に、第3のタスクと並行して、対象による実施のために第2のタスクを提示させることによって、コンピュータ可読媒体に、XR環境を変更することとを行わせる、(CRM18)に記載のコンピュータ可読媒体。
【0173】
(CRM20)命令が、1つ以上のプロセッサによって実行されると、XRデバイスに、第1のタスクと並行して第2のタスクを提示させることによって、コンピュータ可読媒体に、XRデバイスに第2のタスクを提示させることを行わせる、(CRM18)または(CRM19)に記載のコンピュータ可読媒体。本主題は、構造的特徴および/または方法論的行為に特有の言語で説明されているが、添付の特許請求の範囲に定義される主題は、必ずしも上述した特定の特徴または動作に限定されないことを理解されたい。むしろ、上記の特定の特徴および動作は、以下の特許請求の範囲の例示的な実施態様として説明される。
【国際調査報告】