特許 7629002 行動障害、発達遅延、および神経系機能障害の診断のための方法、システム、ならびにデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-03

(45)【発行日】2025-02-12

(54)【発明の名称】行動障害、発達遅延、および神経系機能障害の診断のための方法、システム、ならびにデバイス

(51)【国際特許分類】

   A61B 10/00 20060101AFI20250204BHJP

   G16H 50/00 20180101ALI20250204BHJP

【ＦＩ】

A61B10/00 H

G16H50/00

【請求項の数】 26

(21)【出願番号】P 2022513354

(86)(22)【出願日】2020-09-04

(65)【公表番号】

(43)【公表日】2022-11-04

(86)【国際出願番号】 US2020049492

(87)【国際公開番号】W WO2021046412

(87)【国際公開日】2021-03-11

【審査請求日】2023-08-23

(31)【優先権主張番号】62/897,217

(32)【優先日】2019-09-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519173211

【氏名又は名称】コグノア，インク．

(74)【復代理人】

【識別番号】110003797

【氏名又は名称】弁理士法人清原国際特許事務所

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(72)【発明者】

【氏名】アッバース，アブドゥルハリム

(72)【発明者】

【氏名】ガーバーソン，ジェフリー フォード

(72)【発明者】

【氏名】ビショフ，ナサニエル イー．

(72)【発明者】

【氏名】ビール，エリック

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特表２０１９－５０４４０２（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９０００９（ＷＯ，Ａ１）

【文献】特表２０１２－５１６４６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１８０７３５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ９／００－１０／０６

Ｇ１６Ｈ ５０／００

(57)【特許請求の範囲】

【請求項1】

１つ以上のコンピュータプロセッサと、
前記１つ以上のコンピュータプロセッサによって実行されると、個人に対する自動映像評価のための方法を実行する機械可読コードを含むコンピュータ可読メモリと
を備えているシステムであって、前記方法は、
（ａ）コンピューティングデバイスを用いて、前記自動映像評価が行われる前記個人に対する音声情報または映像情報のうち少なくとも１つを含む入力データを受信する工程であって、前記入力データは、前記コンピューティングデバイスのディスプレイ上に示される１つ以上の画像を通して伝えられる物語を用いて前記個人の複数の行動ユニットを誘発するように構成された、物語を話す活動の提供に伴って受信される、工程と、
（ｂ）前記コンピューティングデバイスを用いて前記入力データ内の前記複数の行動ユニットを識別する工程であって、前記複数の行動ユニットの各行動ユニットは、高次行動を構成する行動を含む、工程と、
（ｃ）前記コンピューティングデバイスを用いて、前記複数の行動ユニットのうち少なくとも１つの行動ユニットに基づき前記高次行動を識別する工程と
を含む、システム。

【請求項2】

前記複数の行動ユニットのうち少なくとも１つが、前記個人によりなされる機械検出可能な動作または音を含む、請求項１に記載のシステム。

【請求項3】

前記複数の行動ユニットのうち少なくとも１つが、前記個人によりなされる顔の動作、身体の動作、または音を含む、請求項１に記載のシステム。

【請求項4】

前記高次行動のうち少なくとも１つが、言語または非言語コミュニケーションを含む、請求項１に記載のシステム。

【請求項5】

前記非言語コミュニケーションが、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む、請求項４に記載のシステム。

【請求項6】

前記複数の行動ユニットを識別する工程が、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む、請求項１に記載のシステム。

【請求項7】

前記複数の行動ユニットを識別する工程が、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む、請求項１に記載のシステム。

【請求項8】

前記高次行動を識別する工程が、複数の行動ユニットのタイムラインを生成することを含む、請求項１に記載のシステム。

【請求項9】

前記方法が、前記複数の行動ユニットの前記タイムラインまたは前記高次行動に基づき行動パターンを生成する工程をさらに含む、請求項８に記載のシステム。

【請求項10】

前記入力データが、前記個人の介護者により提供された情報または応答をさらに含む、請求項１に記載のシステム。

【請求項11】

前記情報または応答が、質問に対する回答を含む、請求項１０に記載のシステム。

【請求項12】

前記方法が、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成する工程をさらに含む、請求項１に記載のシステム。

【請求項13】

前記方法が、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得る工程をさらに含む、請求項１に記載のシステム。

【請求項14】

前記モバイルコンピューティングデバイスが、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む、請求項１３に記載のシステム。

【請求項15】

前記音声情報または映像情報のうち少なくとも１つを得る工程が、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む、請求項１３に記載のシステム。

【請求項16】

前記行動障害、発達遅延、または神経系機能障害が、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む、請求項１２に記載のシステム。

【請求項17】

前記行動障害、発達遅延、または神経系機能障害が、自閉症スペクトラム障害または自閉症である、請求項１６に記載のシステム。

【請求項18】

前記入力データ内の前記複数の行動ユニットを識別する工程、および／または前記高次行動を識別する工程が、機械学習ソフトウェアモジュールを使用して行われる、請求項１に記載のシステム。

【請求項19】

前記機械学習ソフトウェアモジュールの機械学習アルゴリズムが、教師あり学習アルゴリズムである、請求項１８に記載のシステム。

【請求項20】

前記機械学習ソフトウェアモジュールが、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される、請求項１８に記載のシステム。

【請求項21】

前記方法が、前記個人による応答を誘発するように構成された活動を提供する工程をさらに含み、前記応答は、前記音声情報または映像情報のうち少なくとも１つを含む前記入力データを含んでいる、請求項１に記載のシステム。

【請求項22】

前記活動が、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する、請求項２１に記載のシステム。

【請求項23】

前記個人の前記高次行動または行動パターンが、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む、請求項２１に記載のシステム。

【請求項24】

前記複数の行動ユニットを識別する工程が、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む、請求項２１に記載のシステム。

【請求項25】

前記方法が、前記個人において識別された前記高次行動に基づき前記活動を調整する工程をさらに含む、請求項２１に記載のシステム。

【請求項26】

前記個人が前記活動に没頭している間、前記活動が動的に調整される、請求項２５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

相互参照
本出願は、２０１９年９月６日出願の米国仮特許出願第６２／８９７，２１７号に基づく利益を主張するものであり、該仮出願は、その全体を参照することで本明細書に組み込まれる。

【背景技術】

【0002】

子供を含む多くの個人が、行動障害、発達遅延、および神経系機能障害に悩んでいる。このような疾病の例として、注意欠陥多動性障害（「ＡＤＨＤ」）、自閉症（自閉症スペクトラム障害を含む）、および言語障害が挙げられる。

【0003】

医療提供者は、一般的に従来の観察技法を使用して行動障害、発達遅延、および神経系機能障害を評価する。

【発明の概要】

【0004】

本明細書には、行動障害、発達遅延、および神経系機能障害について子供などの個人を評価するために使用される方法、デバイス、システム、ソフトウェア、およびプラットフォームが記載される。具体的には、１つ以上の行動障害、発達遅延、および神経系機能障害を抱える個人の映像および／または音声を解析するために使用される方法、デバイス、システム、ソフトウェア、およびプラットフォームが、本明細書に記載される。１つ以上の行動障害、発達遅延、および神経系機能障害について個人を評価するための従来技法と比較して、本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームは、高度に効率的で正確である。

【0005】

従来、行動障害、発達遅延、および神経系機能障害は評価が困難であり、特に、これら疾病型の関連性に起因して正確かつ効率的な評価が困難である。すなわち、各疾病型カテゴリ（例えば、行動障害、発達遅延、および神経系機能障害）は、複数の疾病型を伴うものであり、この疾病型は、疾病型が１つ以上の重複する症状または他の識別子を有するように、一般的に同じ疾病型カテゴリ内で、かつ異なる疾病型カテゴリにわたって関連づけられる。

【0006】

単一の疾病型カテゴリ（例えば、行動障害、発達遅延、または神経系機能障害）それぞれにおける疾病は、１つ以上の重複する症状または他の識別子を有するように関連づけられる傾向がある。例えば、自閉症などの第１の発達遅延（ｆｉｒｓｔ ｄｅｖｅｌｏｐｍｅｎｔａｌ ｄｅｌａｙ）には、発語遅延などの第２の発達遅延との重複がある。その結果、自閉症は、従来技法を使用して発語遅延と区別するのが困難な場合があり、このため、個人は誤診を受ける可能性がある。同様に、これら発達遅延の両方（例えば自閉症と発語遅延）を抱える個人は、そのうち一方の存在が他方の存在により見落とされる可能性があるため（例えば、発語遅延は、自閉症と診断された個人で見落とされる可能性があり、その逆も然りである）、両方ではなく一方の発達遅延しかないと診断される場合がある。

【0007】

同様に、複数の疾病型カテゴリ内にある疾病型は、１つ以上の重複する症状または他の識別子を有するように関連づけられる傾向がある。例えば、行動障害の一種であるＡＤＨＤは、発達遅延の一種である自閉症との重複を有する傾向がある。その結果、ＡＤＨＤは、従来技法を使用して自閉症と区別するのが困難な場合があり、このため、個人は誤診を受ける可能性がある。同様に、ＡＤＨＤと自閉症の両方を抱える個人は、そのうち一方の存在が他方の存在により見落とされる可能性があるため（例えば、自閉症は、ＡＤＨＤと診断された個人で見落とされる可能性があり、その逆も然りである）、両方ではなく一方しかないと診断される場合がある。

【0008】

行動障害、発達遅延、および神経系機能障害の疾病型カテゴリから選択される少なくとも１つの疾病型を抱える個人を評価する従来技法は、一般的に、多くの場合に様々な試験所見を含む複数種類のデータの収集による個人に対する反復的な評価を含んでいる。例えば、従来技法は、個人および／またはその介護者に与えられる比較的長い一連の質問を含む場合がある。そのため、従来技法は、（上述のように）評価された疾病型の関連性に起因して不正確であることに加えて、一般的には時間を浪費してしまい、非効率的なものである。

【0009】

従来技法とは対照的に、本明細書には、行動障害、発達遅延、および神経系機能障害の疾病型カテゴリから選択される少なくとも１つの疾病型について個人を正確かつ効率的に評価するための方法、デバイス、システム、ソフトウェア、およびプラットフォームが記載される。より具体的には、本明細書には、少なくとも１つの疾病型が個人に存在するかどうか、またはその可能性を判定するために、行動障害、発達遅延、および神経系機能障害の疾病型カテゴリから選択される少なくとも１つの疾病型について個人の映像および／または音声データを解析するための方法、デバイス、システム、ソフトウェア、およびプラットフォームが記載される。

【0010】

本明細書に記載されるいくつかの実施形態は、行動ユニットを識別するために、前記個人またはこれに関連する映像源および／または音声源などの入力源を解析する。例えば、記録される映像および／または音声内の行動ユニットを識別するために、モバイルコンピューティングデバイスを使用して記録された映像が解析される。１つ以上の行動ユニットは、高次行動を構成する。例えば、微笑みを含む行動ユニットは、ある状況では、幸福に関する高次行動を構成する。加えて、いくつかの実施形態では、１つ以上の行動ユニットに関する追加のコンテキストを提供するタイムラインを作成するために、行動ユニットは経時的にマッピングされる。いくつかの実施形態では、行動パターンは、経時的にマッピングされた行動ユニットおよび／または高次行動を含む。

【0011】

本明細書に記載されるような方法のいくつかの実施形態では、個人の映像および／または音声は、モバイルコンピューティングデバイスにより記録され、記録される映像および／または音声内の１つ以上の行動ユニットを識別する機械学習ソフトウェアモジュールを使用して解析される。いくつかの実施形態では、行動ユニットは、１つ以上の他の行動ユニットに関連づけられる。いくつかの実施形態では、行動ユニットは、機械学習分類子または他の種類の機械学習モデリングを使用して、高次行動を構成するものとして分類される。

【0012】

いくつかの実施形態では、識別される行動ユニットは、例えば、記録される映像および／または音声内の行動ユニットの発生のタイミングに関してタグまたはラベルを付けられる。いくつかの実施形態では、タグまたはラベルは、行動ユニットの状況を述べる（ｃｏｎｔｅｘｔｕａｌｉｚｅ）ための機械学習ソフトウェアモジュールにより使用される。

【0013】

一般的に、本明細書に記載のいくつかの実施形態は、映像および／または音声データを含む入力を受け取り、この映像および／または音声データを解析し、かつ、識別された行動ユニット、識別された複数の行動ユニット、複数の行動ユニットのマップ、識別された高次行動、識別された複数の高次行動、および複数の高次行動のマップのうち少なくとも１つを含む出力を生成するように訓練された機械学習ソフトウェアモジュールを備えている。

【0014】

本明細書には、個人に対する自動映像評価のためのコンピュータ実装型方法が開示され、該方法は、コンピューティングデバイスを用いて、前記自動映像評価が行われる前記個人に関する音声情報または映像情報のうち少なくとも１つを含む入力データを受信する工程と、前記コンピューティングデバイスを用いて前記入力データ内の複数の行動ユニットを識別する工程であって、前記複数の行動ユニットの各行動ユニットは、高次行動を構成する行動を含む、工程と、前記コンピューティングデバイスを用いて、前記複数の行動ユニットのうち少なくとも１つの行動ユニットに基づき前記高次行動を識別する工程とを含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる機械検出可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションを含む。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記高次行動を識別する工程は、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記方法は、前記複数の行動ユニットの前記タイムラインまたは高次行動に基づき前記行動パターンを生成する工程をさらに含む。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記方法は、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成する工程をさらに含む。いくつかの実施形態では、前記方法は、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得る工程をさらに含む。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得る工程は、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、前記入力データ内の前記複数の行動ユニットを識別する工程、および／または前記高次行動を識別する工程は、機械学習ソフトウェアモジュールを使用して行われる。いくつかの実施形態では、前記機械学習アルゴリズムは、教師あり学習アルゴリズムである。いくつかの実施形態では、前記機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。いくつかの実施形態では、前記方法は、前記個人による応答を誘発するように構成された活動を提供する工程をさらに含み、前記応答は、前記音声情報または前記映像情報のうち少なくとも１つを含む前記入力データを含んでいる。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記方法は、前記個人において識別された高次行動に基づき前記活動を調整する工程をさらに含む。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0015】

本明細書には、個人に対する自動評価のためのデバイスが開示され、該デバイスは、ディスプレイと、プロセッサとを備えており、該プロセッサは、前記自動映像評価が行われる前記個人に対する音声情報または映像情報のうち少なくとも１つを含む入力データを受け取る、各行動ユニットが高次行動を構成する行動を含む前記入力データ内の複数の行動ユニットを識別する、および前記複数の行動ユニットの少なくとも１つの行動ユニットに基づき前記高次行動を識別するための命令とともに構成される。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる機械検出可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションを含む。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記高次行動を識別することは、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記プロセッサは、前記複数の行動ユニットの前記タイムラインまたは高次行動に基づき前記行動パターンを生成するための命令とともにさらに構成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記プロセッサは、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成するための命令とともにさらに構成される。いくつかの実施形態では、前記デバイスは、モバイルコンピューティングデバイスである。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得ることは、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、前記入力データ内の前記複数の行動ユニットを識別すること、および／または前記高次行動を識別することは、機械学習ソフトウェアモジュールを使用して行われる。いくつかの実施形態では、前記機械学習アルゴリズムは、教師あり学習アルゴリズムである。いくつかの実施形態では、前記機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。いくつかの実施形態では、前記プロセッサは、前記個人による応答を誘発するように構成された活動を提供するための命令とともにさらに構成され、前記応答は、前記音声情報または前記映像情報のうち少なくとも１つを含む前記入力データを含んでいる。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記プロセッサは、前記個人において識別された高次行動に基づき前記活動を調整するための命令とともにさらに構成される。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0016】

本明細書には、個人に対する自動行動評価のためのプラットフォームが開示され、該プラットフォームは、前記個人の１つ以上の映像または音声記録をキャプチャ可能なデバイス上で使用するための映像および／または音声記録ソフトウェアを備えるキャプチャアプリケーションと、前記キャプチャアプリケーションから映像および／または音声記録を受け取り、１つ以上の機械学習アルゴリズムを用いて前記映像および／または音声記録を解析するように構成された評価アプリケーションとを備えており、前記アルゴリズムは、前記自動映像評価が行われる前記個人に対する音声情報または映像情報のうち少なくとも１つを含む入力データを受け取る、各行動ユニットが高次行動を構成する行動を含む前記入力データ内の複数の行動ユニットを識別する、および前記複数の行動ユニットの少なくとも１つの行動ユニットに基づき前記高次行動を識別するように構成される。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる機械検出可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションを含む。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記高次行動を識別することは、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記評価アプリケーションは、前記複数の行動ユニットの前記タイムラインまたは高次行動に基づき前記行動パターンを生成するように構成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記評価アプリケーショは、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成するように構成される。いくつかの実施形態では、前記デバイスは、モバイルコンピューティングデバイスである。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得ることは、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、前記入力データ内の前記複数の行動ユニットを識別すること、および／または前記高次行動を識別することは、機械学習ソフトウェアモジュールを使用して行われる。いくつかの実施形態では、前記機械学習アルゴリズムは、教師あり学習アルゴリズムである。いくつかの実施形態では、前記機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。いくつかの実施形態では、前記評価アプリケーションは、前記個人による応答を誘発するように構成された活動を提供するように構成され、前記応答は、前記音声情報または前記映像情報のうち少なくとも１つを含む前記入力データを含んでいる。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記評価アプリケーションは、前記個人において識別された高次行動に基づき前記活動を調整するように構成される。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0017】

本明細書には、個人に対する自動行動評価のためのコンピュータ実装型方法が開示され、該方法は、コンピュータデバイスを用いて、前記個人に関する音声情報または映像情報のうち少なくとも１つを含む入力データを受け取る工程と、前記コンピュータデバイスを用いて、複数の行動ユニットを識別するために前記入力データを処理する工程と、前記コンピュータデバイスを用いて、１つ以上の高次行動を判定するために前記複数の行動ユニットを評価する工程と、前記コンピュータデバイスを用いて、１つ以上の行動パターンを判定するために前記複数の行動ユニットおよび高次行動を経時的に評価する工程と、前記コンピュータデバイスを用いて、１つ以上の行動パターンに基づき行動障害、発達遅延、または神経系機能障害の予測を作成する工程とを含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる観察可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションに相当する。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを評価する工程は、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記１つ以上の高次行動を識別する工程は、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記行動パターンは、前記複数の行動ユニットのタイムラインおよび／または高次行動に基づき生成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記予測は、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む。いくつかの実施形態では、前記デバイスは、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得る。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得る工程は、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、特徴検出アルゴリズム、高次行動の検出アルゴリズム、行動パターン検出アルゴリズム、または評価アルゴリズムのうち１つ以上は、教師あり学習アルゴリズムである。特徴検出アルゴリズム、高次行動の検出アルゴリズム、行動パターン検出アルゴリズム、または評価アルゴリズムのうち１つ以上は、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される教師あり学習アルゴリズムである。いくつかの実施形態では、前記デバイスは、音声または映像記録をキャプチャ可能なカメラあるいはマイクロフォンを含む。いくつかの実施形態では、前記プロセッサは、前記個人による応答を誘発するように構成された活動を提供するための命令とともにさらに構成され、前記応答は、前記音声情報または前記映像情報のうち少なくとも１つを含む前記入力データを含んでいる。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記プロセッサは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することにより、前記複数の行動ユニットを識別するための命令とともにさらに構成される。いくつかの実施形態では、前記プロセッサは、前記個人において判定された高次行動または行動パターンに基づき前記活動を調整するための命令とともにさらに構成される。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0018】

本明細書には、個人に対する自動行動評価のためのデバイスが開示され、該デバイスは、ディスプレイと、プロセッサとを備えており、該プロセッサは、前記個人に関する音声情報または映像情報のうち少なくとも１つを含む入力データを受け取る、複数の行動ユニットを識別するために前記入力データを処理する、１つ以上の高次行動を判定するために前記複数の行動ユニットを評価する、１つ以上の行動パターンを判定するために前記複数の行動ユニットおよび高次行動を経時的に評価する、ならびに１つ以上の行動パターンに基づき行動障害、発達遅延、または神経系機能障害の予測を作成するための命令とともに構成される。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる観察可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションに相当する。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを評価する工程は、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記１つ以上の高次行動を識別する工程は、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記行動パターンは、前記複数の行動ユニットのタイムラインおよび／または高次行動に基づき生成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記予測は、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む。いくつかの実施形態では、前記デバイスは、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得る。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得る工程は、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、特徴検出アルゴリズム、高次行動の検出アルゴリズム、行動パターン検出アルゴリズム、または評価アルゴリズムのうち１つ以上は、教師あり学習アルゴリズムである。特徴検出アルゴリズム、高次行動の検出アルゴリズム、行動パターン検出アルゴリズム、または評価アルゴリズムのうち１つ以上は、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される教師あり学習アルゴリズムである。いくつかの実施形態では、前記デバイスは、音声または映像記録をキャプチャ可能なカメラあるいはマイクロフォンを含む。いくつかの実施形態では、前記プロセッサは、前記個人による応答を誘発するように構成された活動を提供するための命令とともにさらに構成され、前記応答は、前記音声情報または前記映像情報のうち少なくとも１つを含む前記入力データを含んでいる。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記プロセッサは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することにより、前記複数の行動ユニットを識別するための命令とともにさらに構成される。いくつかの実施形態では、前記プロセッサは、前記個人において判定された高次行動または行動パターンに基づき前記活動を調整するための命令とともにさらに構成される。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0019】

本明細書には、個人に対する自動行動評価のためのプラットフォームが開示され、該プラットフォームは、前記個人の１つ以上の映像または音声記録をキャプチャ可能なデバイス上で使用するための映像および／または音声記録ソフトウェアを備えるキャプチャアプリケーションと、前記キャプチャアプリケーションから映像および／または音声記録を受け取り、１つ以上の機械学習アルゴリズムを用いて前記映像および／または音声記録を解析するように構成された評価アプリケーションであって、前記アルゴリズムは、前記個人に関する音声情報または映像情報のうち少なくとも１つを含む入力データを受け取る、前記入力データを処理して複数の行動ユニットを識別する、１つ以上の高次行動を判定するために前記複数の行動ユニットを評価する、１つ以上の行動パターンを判定するために前記複数の行動ユニットおよび高次行動を経時的に評価する、１つ以上の行動パターンに基づき行動障害、発達遅延、または神経系機能障害の予測を作成する、ならびに前記個人に存在する行動障害、発達遅延、または神経系機能障害の予測をユーザーに提供するように構成される評価アプリケーションと、前記評価アプリケーションからデータを受け取り、処置の推奨を表示するように構成された医療従事者アプリケーションとを備えている。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる観察可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションに相当する。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを評価する工程は、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記１つ以上の高次行動を識別する工程は、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記行動パターンは、前記複数の行動ユニットのタイムラインおよび／または高次行動に基づき生成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。前記情報または応答が、質問に対する回答を含む、請求項４０に記載のプラットフォーム。いくつかの実施形態では、前記予測は、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む。いくつかの実施形態では、前記プラットフォームは、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得る。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得る工程は、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、特徴検出アルゴリズム、高次行動の検出アルゴリズム、行動パターン検出アルゴリズム、または評価アルゴリズムのうち１つ以上は、教師あり学習アルゴリズムである。特徴検出アルゴリズム、高次行動の検出アルゴリズム、行動パターン検出アルゴリズム、または評価アルゴリズムのうち１つ以上は、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される教師あり学習アルゴリズムである。いくつかの実施形態では、前記プラットフォームは、前記個人の１つ以上の映像または音声記録をキャプチャすることが可能であり、キャプチャアプリケーションおよび評価アプリケーションを備えている。いくつかの実施形態では、前記評価アプリケーションは、前記個人による応答を誘発するように構成された活動を含む対話型モジュールを提供するように構成され、前記応答は、前記音声情報または前記映像情報のうち少なくとも１つを含む前記入力データを含んでいる。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記評価アプリケーションは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することにより、前記複数の行動ユニットを識別するように構成される。いくつかの実施形態では、前記対話型モジュールは、前記個人において判定された高次行動または行動パターンに基づき前記活動を調整するように構成される。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0020】

本明細書には、個人の発語または言語に対する自動評価および治療のためのコンピュータ実装型方法が開示され、該方法は、（ａ）１つ以上のコンピュータデバイスを用いて、前記個人が１つ以上のデジタル治療活動に没頭するのを促す対話型モジュールを提供する工程と、（ｂ）前記１つ以上のコンピュータデバイスを用いて、前記１つ以上のデジタル治療活動に没頭した前記個人に関する音声または映像情報のうち少なくとも１つを含む入力データを受け取る工程と、（ｃ）前記１つ以上のコンピュータデバイスを用いて前記入力データ内の複数の行動ユニットを識別する工程であって、前記複数の行動ユニットの各行動ユニットは、高次行動を構成する行動を含む、工程と、（ｄ）前記１つ以上のコンピュータデバイスを用いて、前記複数の行動ユニットのうち少なくとも１つの行動ユニットに基づき前記高次行動を識別する工程と、（ｅ）前記１つ以上のコンピュータデバイスを用いて、前記高次行動に基づき前記１つ以上のデジタル治療活動のうち少なくとも１つを調整する工程とを含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる機械検出可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションを含む。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記高次行動を識別する工程は、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記方法は、前記複数の行動ユニットの前記タイムラインまたは高次行動に基づき行動パターンを生成する工程をさらに含む。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記方法は、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成する工程をさらに含む。いくつかの実施形態では、前記方法は、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得る工程をさらに含む。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得る工程は、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、前記入力データ内の前記複数の行動ユニットを識別する工程、および／または前記高次行動を識別する工程は、機械学習ソフトウェアモジュールを使用して行われる。いくつかの実施形態では、前記機械学習アルゴリズムは、教師あり学習アルゴリズムである。いくつかの実施形態では、前記機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。いくつかの実施形態では、前記１つ以上のデジタル治療活動は、前記個人による応答を誘発するように構成され、前記応答は、前記音声または映像情報のうち少なくとも１つを含む前記入力データとして検出される。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記複数の行動ユニットを識別する工程は、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0021】

本明細書には、個人の発語または言語に対する自動評価および治療のためのデバイスが開示され、該デバイスは、（ａ）ディスプレイと、（ｂ）プロセッサであって、（ｉ）前記個人が１つ以上のデジタル治療活動に没頭するよう促す対話型モジュールを提供する、（ｉｉ）前記１つ以上のデジタル治療活動に没頭した前記個人に関する音声または映像情報のうち少なくとも１つを含む入力データを受け取る、（ｉｉｉ）各行動ユニットが高次行動を構成する行動を含む前記入力データ内の複数の行動ユニットを識別する、（ｉｖ）前記複数の行動ユニットの少なくとも１つの行動ユニットに基づき前記高次行動を識別する、および（ｖ）前記高次行動に基づき前記１つ以上のデジタル治療活動のうち少なくとも１つを調整するための命令とともに構成されるプロセッサとを備えている。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる機械検出可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションを含む。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記高次行動を識別することは、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記プロセッサは、複数の行動ユニットの前記タイムラインまたは高次行動に基づき前記行動パターンを生成するための命令とともにさらに構成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記プロセッサは、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成するための命令とともにさらに構成される。いくつかの実施形態では、前記プロセッサは、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得るための命令とともにさらに構成される。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得ることは、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、前記入力データ内の前記複数の行動ユニットを識別すること、および／または前記高次行動を識別することは、機械学習ソフトウェアモジュールを使用して行われる。いくつかの実施形態では、前記機械学習アルゴリズムは、教師あり学習アルゴリズムである。いくつかの実施形態では、前記機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。いくつかの実施形態では、前記１つ以上のデジタル治療活動は、前記個人による応答を誘発するように構成され、前記応答は、前記音声または映像情報のうち少なくとも１つを含む前記入力データとして検出される。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0022】

本明細書には、個人の発語または言語に対する自動評価および治療のためのプラットフォームが開示され、該プラットフォームは、（ａ）前記個人の１つ以上の映像または音声記録をキャプチャ可能なデバイス上で使用するための映像および／または音声記録ソフトウェアを備えるキャプチャアプリケーションと、（ｂ）評価および治療アプリケーションであって、（ｉ）前記個人が１つ以上のデジタル治療活動に没頭するよう促す対話型モジュールを提供する、（ｉｉ）前記１つ以上のデジタル治療活動に没頭した前記個人に関する映像または音声記録のうち１つを含む入力データを受け取る、（ｉｉｉ）各行動ユニットが高次行動を構成する行動を含む前記入力データ内の複数の行動ユニットを識別する、（ｉｖ）前記複数の行動ユニットの少なくとも１つの行動ユニットに基づき前記高次行動を識別する、および（ｖ）前記高次行動に基づき前記１つ以上のデジタル治療活動のうち少なくとも１つを調整するように構成される評価および治療アプリケーションとを備えている。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる機械検出可能な動作または音を含む。いくつかの実施形態では、前記複数の行動ユニットのうち少なくとも１つは、個人によりなされる顔の動作、身体の動作、または音を含む。いくつかの実施形態では、前記高次行動のうち少なくとも１つは、言語または非言語コミュニケーションを含む。いくつかの実施形態では、前記非言語コミュニケーションは、表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の顔の動作を検出するために顔認識を使用して前記映像情報を解析することを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記高次行動を識別することは、複数の行動ユニットのタイムラインを生成することを含む。いくつかの実施形態では、前記プロセッサは、複数の行動ユニットの前記タイムラインまたは高次行動に基づき前記行動パターンを生成するための命令とともにさらに構成される。いくつかの実施形態では、前記入力データは、前記個人の介護者により提供された情報または応答を含む。いくつかの実施形態では、前記情報または応答は、質問に対する回答を含む。いくつかの実施形態では、前記プロセッサは、行動障害、発達遅延、または神経系機能障害に関する陽性分類、陰性分類、または不確定分類を含む予測を生成するための命令とともにさらに構成される。いくつかの実施形態では、前記プロセッサは、モバイルコンピューティングデバイスを介して前記音声情報または映像情報のうち少なくとも１つを得るための命令とともにさらに構成される。いくつかの実施形態では、前記モバイルコンピューティングデバイスは、スマートフォン、タブレットコンピュータ、ラップトップ、スマートウォッチ、または他の着用可能なコンピューティングデバイスを含む。いくつかの実施形態では、前記音声情報または映像情報のうち少なくとも１つを得ることは、前記個人の、または他者と前記個人との相互作用のビデオフィルムまたは音声記録をキャプチャすることを含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会的コミュニケーション障害、反復行動・興味・活動の制限（ＲＲＢ）、自閉症（「古典的自閉症」）、アスペルガー症候群（「高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発語・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、痴呆症、知的障害、または学習障害を含む。いくつかの実施形態では、前記行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。いくつかの実施形態では、前記入力データ内の前記複数の行動ユニットを識別すること、および／または前記高次行動を識別することは、機械学習ソフトウェアモジュールを使用して行われる。いくつかの実施形態では、前記機械学習アルゴリズムは、教師あり学習アルゴリズムである。いくつかの実施形態では、前記機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。いくつかの実施形態では、前記１つ以上のデジタル治療活動は、前記個人による応答を誘発するように構成され、前記応答は、前記音声または映像情報のうち少なくとも１つを含む前記入力データとして検出される。いくつかの実施形態では、前記活動は、該活動を介して前記個人をガイドするバーチャルキャラクタを提供する。いくつかの実施形態では、前記個人の高次行動または行動パターンは、言語音の調音、流暢性、音声、言語の理解・解読能、言語の作成・使用能、またはこれらの任意の組合せを含む。いくつかの実施形態では、前記複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して前記音声情報を解析することを含む。いくつかの実施形態では、前記活動は、前記個人が前記活動に没頭している間に動的に調整される。

【0023】

本発明の新規な特徴を、具体的に添付の特許請求の範囲と共に説明する。本発明の特徴と利点をより良く理解するには、本発明の原理が用いられる例示的実施形態を説明する以下の詳細な説明と添付図面とを参照されたい。

【図面の簡単な説明】

【0024】

【図1】行動ユニットが抽出される画像表現を示す図である。

【図2】行動パターンを産出するために行動ユニットおよび高次行動がどのようにして経時的にマッピングされるかについての表現を示す図である。

【図3】本明細書に記載の機械学習アルゴリズムおよび方法を提供するための例示的なデータ処理モジュールの概略図である。

【図4】本明細書に記載のプラットフォーム、デバイス、および方法への組込みに適したコンピュータデバイスを示す図である。

【図5A】バーチャルキャラクタが活動中にユーザーに対しガイダンスを行うグラフィックディスプレイの非限定的な例示を示す図である。

【図5B】物語シーケンスが活動中に提供されるグラフィックディスプレイの非限定的な例示を示す図である。

【図5C】質問が活動中に提供されるグラフィックディスプレイの非限定的な例示を示す図である。

【図6A】バーチャルキャラクタが活動中にユーザーに対し命令を行うグラフィックディスプレイの非限定的な例示を示す図である。

【図6B】１つの物語に相当する物語シーケンスを伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図7A】バーチャルキャラクタがユーザーに対し、視覚上の物語シーケンスを検討し、物語シーケンスに相当する話を考え出すように促すグラフィックディスプレイの非限定的な例示を示す図である。

【図7B】一枚の絵からなる図７Ａの視覚上の物語シーケンスの非限定的な例示を示す図である。

【図8】ユーザーにより正しい物語シーケンスへと配置される一連の画像を伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図9】ユーザーが物語または話を作成するインターフェースを伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図10】ソーシャルストーリーを介して埋込み型介入（ｅｍｂｅｄｄｉｎｇ ｉｎｔｅｒｖｅｎｔｉｏｎ）を提供する活動を伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図11】ゲームを用いた生活スキルの訓練を提供する活動を伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図12A】評価の結果を伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図12B】評価の結果を伴うグラフィックディスプレイの非限定的な例示を示す図である。

【図12C】評価の結果を伴うグラフィックディスプレイの非限定的な例示を示す図である。

【発明を実施するための形態】

【0025】

本明細書には、行動障害、発達遅延、および神経系機能障害について子供などの個人を評価するために使用される方法、デバイス、システム、ソフトウェア、およびプラットフォームが記載される。

【0026】

本明細書に記載の実施形態では、少なくとも１つの映像および／または音声入力が解析され、少なくとも１つの行動ユニットがその中で識別される。行動ユニットは、いくつかの実施形態では、１つ以上の他の行動ユニットと対になる、または関連づけられる。

【0027】

いくつかの実施形態では、１つ以上の行動ユニットは、識別される高次行動を構成する。

【0028】

いくつかの実施形態では、中に少なくとも１つの行動ユニットの位置を示すタイムライン表現が生成される。

【0029】

行動ユニット
一般的に、行動ユニットは、特定の疾病について評価されている個人、および／または前記個人と対話する個人により表示される観察可能な特徴またはパラメータである。加えて、行動ユニットは、一般的に特定の疾病について評価されている個人を評価するのに有用な特定の特徴またはパラメータである。すなわち、観察または判定される１つ以上の行動ユニットは、本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームの実施形態において使用され、評価されている個人の疾病の存在に対する評価に行き着く。

【0030】

いくつかの実施形態では、行動ユニットは、検出可能であるとともに、行動障害、発達遅延、または神経系機能障害などの疾病の有無の可能性に臨床的に関連する、個人の動作または音である。

【0031】

一般的に、本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームの実施形態では、前記個人における１つ以上の行動障害、発達遅延、および神経系機能障害の有無の可能性を判定するために、１つ以上の行動ユニットが個人の評価に使用される。

【0032】

いくつかの実施形態では、行動ユニットは、解析中の個人の動作または音である。いくつかの実施形態では、動作または音は、個人の映像または音声記録を見る人により観察される。いくつかの実施形態では、動作または音は、個人の映像または音声記録を解析するソフトウェアモジュールにより検出される。いくつかの実施形態では、行動は、質問、ゲーム、またはイベントなどの刺激に応答するものである。

【0033】

例えば、行動障害、発達遅延、および／または神経系機能障害を評価されている子供は、質問をされて、微笑み、肩のすくめ、および声に出した（ａｕｄｉｂｌｅ）「Ｉ ｄｏｎ’ｔ ｋｎｏｗ」により応答する。いくつかの実施形態では、微笑み、肩のすくめ、および言語コミュニケーションはそれぞれ、個々の行動ユニットである。

【0034】

いくつかの実施形態では、行動ユニットは、評価されている個人、または評価されている個人と対話する他の個人によりなされる顔の動作である。いくつかの実施形態では、表情などの高次行動を判定するために、顔の動作などの行動ユニットが使用される。

【0035】

行動ユニットを構成する顔の動作の非限定的な例として、微笑む、顔をしかめる、唇を動かす、唇高さを上げるまたは下げる、唇を締める、唇を噛む、口を開けるまたは閉じる、唇をすぼめる、唇をすぼめる、唇をなめる、歯を見せる、口の中を見せる、発話または言語ノイズに関連して顔を動かす、眉をひそめる、眉を緩める、頬を吸うまたは揉む（ｂｕｆｆｉｎｇ）、眉を上げる、眉を下げる、眉内を上げる、眉内側を下げる、眉外側を上げる、眉外側を下げる、片頬または両頬を上げる、片瞼または両瞼を上げる、片瞼または両瞼を下げる、片瞼または両瞼を締める、唇角を引っ張る、唇角をへこませる、あごを上げる、舌を出す、唇を伸ばす、唇を押さえる、唇を離す、あごを下げる、口を伸ばす、任意の方向を見る、目を回す、目を交差させる、目を見開く、目の焦点を合わせる、人や物を無視する、目を素早く動かす、まばたきする、まぶたをパタパタさせる、ウインクする、目を閉じる、目を開く、目を細めるまたは切る、鼻を動かす、鼻孔を広げる、鼻孔を絞る、鼻をすする、頬を膨らませる、口から空気を吹き出す、頬を吸い込む、舌で頬を膨らませる、顎を食いしばる、顎を横に動かす、顎を突き出すまたは押し込む、飲み込む、噛む、耳を動かす、あるいは顔をひきつらせることが挙げられる。いくつかの実施形態では、微笑むといった一部の例は、他の個々の行動ユニット同士の組合せでありながら、それ自体を行動ユニットとすることができる。例えば、微笑みは、歯を出す、目を細める、眉を上げる、頬をくぼませる、額の皮膚線を上げる、および皮膚の着色（ｓｋｉｎ ｃｏｌｏｒａｔｉｏｎ）といった個々の行動ユニットを含む場合がある。

【0036】

いくつかの実施形態では、行動ユニットは、評価されている個人、または評価されている個人と対話する個人によりなされる身体運動である。

【0037】

行動ユニットを構成する身体運動の非限定的な例として、頭を左右に動かす、頭を上下に動かす、頭を傾ける、頭を前に突き出す、頭を後ろに引く、頭を前後に振る、うなずく、頭を上下に振る、頭を左右に傾ける、肩をすくめる、震える、おののく、腕を動かす、脚を動かす、手を動かす、足を動かす、腹部を動かす、首を動かす、肩を動かす、骨盤を動かす、首をかしげる、首を伸ばす、頭や首を急に動かす、反復して動く、指を叩く、手を繰り返し開いたり閉じたりする、片手または両手で身振りをする、片手または両手を振る、指で指す、不随意に動く、バランスを失う、失ったバランスを補う、顔または四肢をもだえさせる、身体または四肢をピクピクさせる、身体を揺らす、腕をはたく、身体を回転させる、前後に走るまたは歩く、光を見つめる、唇や体をかむ、頭を叩く、体の片側を動かすことなくもう片側を動かすことができない、鈍くまたは無気力に動く、頻繁に視線を移す、関節を曲げる、他人や物を叩く、異常なやり方で物をコントロールする、筋肉を緊張させることが挙げられる。いくつかの実施形態では、身体を揺らすといった一部の例は、他の個々の行動ユニット同士の組合せでありながら、それ自体を行動ユニットとすることができる。例えば、身体を揺らすことは、身体を動かす、頭を前に突き出す、および頭を後ろに引くといった個々の行動ユニットを含む場合がある。

【0038】

いくつかの実施形態では、行動ユニットは、評価されている個人、または評価されている個人と対話する個人により発せられる音である。いくつかの実施形態では、音は、個人による口、身体、または物のコントロールにより発せられる。

【0039】

口から発せられる音のうち行動ユニットを構成するものの非限定的な例として、言語コミュニケーション、はっきりと聴取・理解可能な発話、不明瞭な発話、ささやき、つぶやき、録音装置に向かってまたは離れて発せられる発話、会話、叫び、歌、ハミング、音量の高い発話、音量または音調を調節した発話、声の震えを伴う発話、迅速な発話、遅い発話、せせらぎ、泣き、咳、くしゃみ、いびき、げっぷ、うめき声、笑い声、喘ぎ声、しゃっくり、聴取可能な呼息または吸息、舌打ち、口笛、喘鳴、騒音の音真似、鼓腸の音真似、動物の鳴き真似、音楽的またはリズミカルな騒音、様々な言語で話す、いびき、ため息、ズルズルと音を立てる、またはあくびが挙げられる。いくつかの実施形態では、身体から発せられる音は、拍手、身体または物の一部を片手または両手で軽くまたは強く叩く、指または首などの骨を鳴らす、指または脚を叩く、あるいは腕を叩くことを含む。

【0040】

いくつかの実施形態では、個人により発せられる音、言葉、または句は、発話および／または言語発達の程度を判定するために使用される。このような音には、言葉のユニットを構成する言語音または音素が含まれる場合がある。音は、特定の言語環境に基づき検出および／または解析することができる（例えば、音の検出は、その言語用にカスタマイズされる）。英語での言語音または音素の非限定的な例として、／ｂ／、／ｐｂｐ／、／ｍ／、／ｎ／、／ｔ／、／ｄ／、／ｋ／、／ｇ／、／ｆ／、／ｓ／、／ｙ／、／ａｅ／、／ｅ／、および／ｏυ／が挙げられる。英語には、２４個の子音音素と２０個の母音音素が含まれる場合がある。あるいは、英語以外の言語音または音素が、発話および／または言語発達の程度を判定するために使用される。

【0041】

個人のコントロール下にある１つ以上の物により発せられ、行動ユニットを構成する音の非限定的な例として、ある物を別の物、存在、または個人で叩く、あるいはある物に騒音を生じさせることが挙げられる。いくつかの実施形態では、行動ユニットは、個人により発せられる音についての定性的な観察である。たとえば、吃音、不明瞭な発音、舌のもつれ、単調な発話、または異常なイントネーションの存在が挙げられる。

【0042】

いくつかの実施形態では、行動ユニットは、個人による顔の動き、身体の動き、または音の欠如を含む。例えば、個人に直接質問が投げかけられてから、顔の動き、身体の動き、または音で応答しない場合、刺激に対する無反応が行動ユニットとなり得る。

【0043】

行動ユニットの識別
行動ユニットは、ある条件について評価される個人との観察可能な解析セッションから識別される。観察可能な解析セッションは、評価対象の個人に診断質問を投げかける１つ以上の質問セッションを含む場合がある。観察可能な解析セッションは、評価対象の個人が別の個人との対話において観察される１つ以上のセッションを含む場合がある。場合により、観察可能な解析セッションは、対話型活動（例えば、物語を話す活動）を含み、この最中に、個人はこの活動を通じてガイドされ、フィードバックを提供するように促すまたはその他の方法により誘導させる。この活動は、行動ユニットを識別するために解析される入力データとして機能する。

【0044】

観察は、ライブまたはリアルタイムのセッション、あるいは観察可能なセッションの記録に対するものであってもよい。例えば、人がライブセッションを観察することができる。例えば、映像または音声記録技術を使用してセッションのリアルタイムの映像および／または音声解析を機械が実行してもよく、映像または音声記録技術を介して機械に入力される映像および／または音声は、リアルタイムでソフトウェアモジュールにより解析され、このソフトウェアモジュールは機械のコンポーネントである。同様に、別の時間に記録された記録映像または音声セッションを解析するため、人または機械が使用されてもよい。

【0045】

観察可能なセッションの解析は、１つ以上の行動ユニットの識別を含む。いくつかの実施形態では、１つ以上の行動ユニットは、行動障害、発達遅延、または神経系機能障害の有無を判定するために使用される。

【0046】

いくつかの実施形態では、行動ユニットは、人により識別される（「人識別子」と呼ばれる）。いくつかの実施形態では、行動ユニットは、個人の映像および音声データにおける顔の動き、身体の動き、または音を人が識別することにより作成される。いくつかの実施形態では、人は、個人の画像を解析し、各画像中の行動ユニットの位置を識別する。いくつかの実施形態では、人は、個人の映像を見て、フレーム内の位置および出現時間に関して映像内の行動ユニットの位置を識別する。いくつかの実施形態では、画像解析ソフトウェアは、より鮮明な画像データのうち行動ユニットの基礎となるものを提供するために、人により使用される。いくつかの実施形態では、ヒトは、個人の音を解析し、行動ユニットが存在する期間を識別する。いくつかの実施形態では、音声抽出および解析ソフトウェアは、背景雑音および無関係な雑音を除外して、より明確な行動ユニットデータを提供するのを補助するために使用される。

【0047】

いくつかの実施形態では、行動ユニットは、ソフトウェアモジュールにより識別される。いくつかの実施形態では、行動ユニットは、個人の映像および音声データにおける顔の動き、身体の動き、または音をソフトウェアモジュールが識別することにより作成される。いくつかの実施形態では、ソフトウェアモジュールは、個人の画像を解析し、各画像中の行動ユニットの位置を識別する。いくつかの実施形態では、ソフトウェアモジュールは、個人の画像を解析し、各音の中の行動ユニットの位置を識別する。いくつかの実施形態では、ソフトウェアモジュールは、個人の顔および身体を判定するために認識ソフトウェアを利用する。いくつかの実施形態では、複数の行動ユニットを識別することは、１つ以上の顔の動きを検出するために顔認識を使用して映像情報を解析することを含む。いくつかの実施形態では、複数の行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識を使用して音声情報を解析することを含む。

【0048】

いくつかの実施形態では、行動ユニットは、映像データまたは音声（ａｕｄｉｂｌｅ）を解析するコンピュータ化アルゴリズムにより判定可能なあらゆる視認または聴取可能な観察である。いくつかの実施形態では、映像または音声データは時間的構成要素を有しており、このような映像または音声フレームにはタイムスタンプが付けられ、タイムスタンプを付けた映像または音声データの特定の時間近接性内の映像および音声データに関連して解析される。いくつかの実施形態では、行動ユニットは、観察者には知覚できないが、時間の経過とともに映像または音声データを解析するアルゴリズムにより観察可能となる身体の動きあるいは微表情であってもよい。例えば、まばたきが行動ユニットとして識別された個人の映像のコンピュータ解析が行われる。観察者は目の異常を識別しないが、コンピュータアルゴリズムは、個人がある質問を投げかけられたときに異常な速度でまばたきする、またはまばたきの速度が上昇していることを示す。あるいは、いくつかの実施形態では、音声または映像データ中の１つ以上の行動ユニットは、各画像または音声クリップにより、他の画像または音声クリップに関係なく解析される。例えば、特定のしかめ面を行う顔の動きは、自閉症障害の個人に関連付けられる行動ユニットとして以前に識別されている。個人の画像のコンピュータ解析は、しかめ面が生じる時間に関係なく行動ユニットの有無を示し、データは、診断を決定するために後の解析または個人に使用される。

【0049】

いくつかの実施形態では、行動ユニットは、人とソフトウェアモジュール両方による識別によって識別される。いくつかの実施形態では、行動ユニットは、ソフトウェアまたはヒト識別子により識別され、次いで、識別された行動ユニットは、機械学習ソフトウェアモジュールの訓練用の訓練データとして使用され、そうすることで、訓練された機械学習ソフトウェアモジュールは、新たな画像および音声中の行動ユニットを識別するために使用される。例えば、いくつかの実施形態では、ソフトウェア（または人）は、映像または画像内の個人の形態を識別し、識別される行動ユニットを個人の身体上の位置と関連付けるために利用される。例えば、ソフトウェア（または人）は、解析中の映像または画像に人の顔が存在するか否かを判定するために使用されてもよい。人の顔が存在し、人の顔として識別された領域内に行動ユニットが識別される場合、行動ユニットは、顔上の位置にマッピングされる場合がある。例えば、ソフトウェア（または人）は、眉毛の動きが存在するビデオ画像中の位置を選択するソフトウェアを使用して、多くのビデオ画像にわたって眉毛を行動ユニットとして識別する。ソフトウェア（または人）は、画像に人の顔が含まれていると判定し、眉の位置を人の顔にマッピングする。識別かつマッピングされた画像は、機械学習アルゴリズムを訓練するために使用される。眉毛は顔上の位置にマッピングされなければならないため、このアルゴリズムは、眉毛に似ていると思われる物体を伴う新たなビデオ画像を眉毛として認識するかどうかを、より良く判定することができる。

【0050】

いくつかの実施形態では、行動ユニットを識別することは、１つ以上の顔の動きを検出するために顔認識ソフトウェアを使用して映像情報を解析することを含む。いくつかの実施形態では、行動ユニットを識別することは、１つ以上の音、言葉、または句を検出するために音声認識ソフトウェアを使用して音声情報を解析することを含む。いくつかの実施形態では、音声認識ソフトウェアは、音声情報を解析して、発話活動に対応する音、言葉、または句を検出する。音声検出アルゴリズムは、背景雑音を除去するために音声情報の前処理（例えば、スペクトル減算）といった１つ以上の工程を実施すること、発話活動を示す音、言葉、または句に対応する行動ユニットを識別すること、あるいは音声情報の一部を発話または非発話活動として分類することにより、発話活動を検出するために利用されてもよい。いくつかの実施形態では、音声検出アルゴリズムは、話し言葉を構成する音素を検出し、言葉および句を識別するために音素のシーケンスを解析して、例えば、言語音の調音、流暢性、声、言語の理解・解読能、および言語の生成・使用能などの発話および／または言語態様の評価により、発話および／または言語障害あるいは欠陥の有無を識別する。いくつかの実施形態では、検出される発話は、評価を作成して対象の発話または言語のレベルを判定するために、構成ユニットへと構文解析され、ベースライン標準または参照標準と比較され、および／または１つ以上の発話または言語メトリクスを用いて評価される。

【0051】

識別された１つ以上の行動ユニットを使用した特定条件での個人の評価
いくつかの実施形態では、ソフトウェアモジュールは、１つ以上の条件が評価対象の個人に存在する可能性があるかどうかを判定するために識別される１つ以上の行動ユニットを使用する。存在すると判定された条件は、１つ以上の行動障害、発達遅延、および神経系機能障害を含む場合がある。

【0052】

いくつかの実施形態では、ソフトウェアモジュールは、注意欠陥多動性障害（ＡＤＨＤ）、反抗挑戦性障害（ＯＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、不安障害、うつ病、双極性障害、学習障害、または行為障害を含む１つ以上の行動障害の存在の可能性を識別するように構成される。いくつかの実施形態では、注意欠陥多動性障害は、不注意優勢型ＡＤＨＤ、多動・衝動優勢型（Ｐｒｅｄｏｍｉｎａｎｔｌｙ Ｈｙｐｅｒａｃｔｉｖｅ－ｉｍｐｕｌｓｉｖｅ ｔｙｐｅ）ＡＤＨＤ、または多動・衝動と不注意の複合型ＡＤＨＤを含む。いくつかの実施形態では、自閉症スペクトラム障害は、自閉症障害（古典的自閉症）、アスペルガー症候群、広汎性発達障害（非定型自閉症）、または小児期崩壊性障害を含む。いくつかの実施形態では、不安障害は、パニック障害、恐怖症、社会不安障害、強迫性障害、分離不安障害、病気不安障害（心気症）、または心的外傷後ストレス障害を含む。いくつかの実施形態では、うつ病は、大うつ病、持続性うつ病障害、双極性障害、季節性情動障害、精神病性うつ病、産後うつ病、月経前不快気分障害、「状況型（ｓｉｔｕａｔｉｏｎａｌ）」うつ病、または非定型うつ病を含む。いくつかの実施形態では、双極性障害は、Ｉ型双極性障害、ＩＩ型双極性障害、気分循環性障害、あるいは別の医学的障害または薬物乱用障害による双極性障害を含む。いくつかの実施形態では、学習障害は、失読症、計算障害、書字障害、統合運動障害（感覚統合障害）、嚥下障害／失語症、聴覚処理障害、または視覚処理障害を含む。いくつかの実施形態では、行動障害は、精神障害の診断と統計マニュアル（ＤＳＭ）の全版に定義される障害である。

【0053】

いくつかの実施形態では、ソフトウェアモジュールは、自閉症スペクトラム障害、精神遅滞、脳性麻痺、ダウン症、発育不良、筋ジストロフィー、水頭症、発達性協調運動障害、嚢胞性線維症、胎児性アルコール症候群、ホモシスチン尿症、結節性硬化症、無βリポタンパク質血症、フェニルケトン尿症、言葉の遅れ、粗大運動遅延、微細運動遅延、社会的遅延、情動遅延、行動遅延、または認知遅延を含む１つ以上の発達遅延の有無の可能性を判定するように構成される。いくつかの実施形態では、精神遅滞は、副腎白質ジストロフィー、Ｉｔｏ症候群、先端骨粗鬆症、ハンチントン病、アースコグ症候群、アイカルディ症候群、またはテイ・サックス病を含む。いくつかの実施形態では、脳性麻痺は、痙性脳性麻痺、運動障害性脳性麻痺、低張性脳性麻痺、運動失調性脳性麻痺、または混合性脳性麻痺を含む。いくつかの実施形態では、自閉症スペクトラム障害は、自閉症障害（古典的自閉症）、アスペルガー症候群、広汎性発達障害（非定型自閉症）、または小児期崩壊性障害を含む。いくつかの実施形態では、ダウン症候群は、トリソミー２１、モザイク現象、または転座を含む。いくつかの実施形態では、筋ジストロフィーは、デュシェンヌ型筋ジストロフィー、ベッカー型筋ジストロフィー、先天性筋ジストロフィー、筋緊張性ジストロフィー、顔面肩甲上腕筋ジストロフィー、眼咽頭筋ジストロフィー、遠位型筋ジストロフィー、またはエメリー・ドレイフス型筋ジストロフィーを含む。

【0054】

いくつかの実施形態では、ソフトウェアモジュールは、筋萎縮性側索硬化症、動静脈奇形、脳動脈瘤、脳腫瘍、硬膜動静脈瘻、てんかん、頭痛、記憶障害、多発性硬化症、パーキンソン病、末梢神経障害、帯状疱疹後神経痛。脊髄腫瘍、脳卒中、アルツハイマー病、大脳皮質基底膜変性症、クロイツフェルト・ヤコブ病、前頭側頭型痴呆、レビー小体型痴呆、軽度認知障害、進行性核上性麻痺、または血管性痴呆を含む１つ以上の神経系機能障害の有無の可能性を判定するように構成される。

【0055】

いくつかの実施形態では、行動障害、発達遅延、または神経系機能障害は、広汎性発達障害（ＰＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、社会コミュニケーション障害、行動・関心・活動の反復制限（ＲＲＢ）、自閉症（古典的自閉症）、アスペルガー症候群（高機能自閉症）、特定不能の広汎性発達障害（ＰＤＤ－ＮＯＳ、「非定型自閉症」）、注意欠陥障害（ＡＤＤ）、注意欠陥・多動性障害（ＡＤＨＤ）、発話・言語遅延、強迫性障害（ＯＣＤ）、うつ病、統合失調症、アルツハイマー病、認知症、知的障害、または学習障害を含む。いくつかの実施形態では、行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害または自閉症である。

【0056】

図１は、行動ユニットが抽出された画像表現を示す図である。質問者または介護者（１０１）が、検査中の個人（１０２）と対話している。質問者または介護者は、個人に対してオブジェクト（１０３）と対話する、またはタスクを達成するように求めることができる。あるいは、質問者または介護者は、対象からの応答を求めることができる。行動障害、発達遅延、または神経系機能障害の有無の可能性の有無を検出可能かつこれと臨床的に関連するソフトウェアモジュールである個人の動きまたは音は、行動ユニットとして登録される。例えば、子供の目の動き、子供の言語コミュニケーション、および子供の顔と手の動きは、行動ユニットであり得る。場合により、子供は、自動評価および／または治療プロセスを通じて応答を提供する。例えば、子供には、対話型デジタル体験を提供して子供から応答またはフィードバック（例えば、映像、音声、またはボタン／タッチスクリーンによる他のユーザー入力）を誘発および／または誘導させる対話型モジュール（例えば、ｓｔｏｒｙｔｉｍｅ）を備えたデジタルデバイスが提供される場合がある。これを解析して、高次行動を判定する、および／または子供の状態または進捗（例えば、所与の年齢で期待される発達に関する発話または言語発達のレベル）を評価するために使用される行動ユニットを識別することができる。

【0057】

高次行動
いくつかの実施形態では、高次行動は、複数の行動ユニットをコンパイルすることにより判定される。いくつかの実施形態では、本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームにより識別される、高次行動は、評価対象の個人に対して生成される評価の少なくとも一部として提供されかつ機能する出力である。いくつかの実施形態では、観察された行動ユニットの集合から高次行動を識別することは、個々の行動ユニットをまとめ、文脈化し、および／またはより良好に評価する方法を提供する。

【0058】

いくつかの実施形態では、高次行動は、言語コミュニケーション、非言語コミュニケーション、コミュニケーションの欠如、思考または感情の表示、動きの制御、視線または注意の方向、あるいは言語コミュニケーションの方向を含む。例えば、個人の映像は、微笑み、笑い、および拍手の行動ユニットを含む場合がある。表示される高次行動は、幸福または喜びの場合がある。いくつかの実施形態では、言語コミュニケーションは、発話または言語の機能障害、遅延、または障害の徴候あるいは症状を含む場合がある。例として、言語音の調音、流暢性、声、言語の理解・解読能、および言語の生成・使用能における障害または欠陥が挙げられる。いくつかの実施形態では、個人の言語コミュニケーションを含む高次行動は、例えば予想される個人の発達レベル（例えば、年齢に基づく）に関連する発話または言語の欠損あるいは遅延といった１つ以上の行動障害、発達遅延、および神経系機能障害、あるいはその兆候または症状が個人にあるかどうかを判定するために、アルゴリズム（例えば、機械学習アルゴリズム）を用いて解析される。実際の個人の発達レベルの判定（例えば、音声および／または言語メトリクスを用いて評価）は、例えば発話および／または言語遅延といった１つ以上の行動障害、発達遅延、および神経系機能障害が個人にあるかどうかを判定するために、予想された発達レベルと比較することができる。

【0059】

いくつかの実施形態では、言語コミュニケーションは、認識可能な言葉および句、ほぼ認識可能な言葉および句、訳のわからない話、とりとめのない話、笑い、うなり声、泣き、あるいは感情、思考、意思、または要求を伝えるあらゆる聴取可能なコミュニケーションを含む。いくつかの実施形態では、発話に応答する行動ユニットは、発話および／または言語発達のメトリクスを判定するために解析される。例えば、これらメトリクスは、言語音の調音、流暢性、および声などの発話メトリクス、ならびに受容スキル（例えば、言語を理解し、解読する能力）および表現スキル（例えば、言語を生成し、使用する能力）などの言語メトリクスを含む場合がある。例示的な例として、音声は、対象からの言語入力またはフィードバックを構成する特定の言語音（例えば、個々の音素または言葉を構成する音素の集合）を識別するために構文解析され、構文解析された言語音は、スコアを判定するためにベースラインまたは参照標準の言語音と比較される場合がある。別の例示的な例として、言葉の集合は、休止（ｐａｕｓｅｓ）の存在といった音響的特徴について評価される場合がある。

【0060】

いくつかの実施形態では、非言語コミュニケーションは、他人の注意を向けること、人または物に触れること、手を振ること、拍手すること、他人の手または身体を掴んで導くこと、物により騒音を発すること、表情または身体の動きにより感情または思考を示すこと、またはアイコンタクトを含む。いくつかの実施形態では、非言語コミュニケーションは、顔の表情、姿勢、ジェスチャ、アイコンタクト、または接触を含む。

【0061】

いくつかの実施形態では、思考または感情の表示は、身体言語および表情の使用を介して行われる。いくつかの実施形態では、感情は、怒り、期待、不安、無関心、迷惑、退屈、不幸、穏やか、気楽、陽気、神経質、快適、同情、集中、自信、満足、好奇心、喜び、欲求、絶望、失望、決意、不満、嫌悪、落胆、危惧、困惑、嫉妬、興奮、恐怖、挫折、歓喜、感謝、苦悩、罪悪感、幸福、憎しみ、希望、焦り、苛立ち、妬み、楽しみ、孤独、愛、圧倒、パニック、痛み、妄想、誇り、憤怒、後悔、安心、不本意、悔恨、憤り、悲しみ、満足、自己憐憫、恥、ショック、自惚れ、疑い、疑問、または心配を含む。

【0062】

いくつかの実施形態では、高次行動は、動きの制御を含む。いくつかの実施形態では、動きの制御は、個人の動きを解析し、個人の動きが映像のコンテキスト内で異常である可能性を提供することにより判定される。いくつかの実施形態では、動きの制御は、動きの制御に関連する行動ユニットの有無により判定される。いくつかの実施形態では、動きの制御に関連する行動ユニットは、収縮運動、よろめき運動、つまずき運動、四肢または身体により物または人を叩くこと、物の落下、バランス喪失、驚いた顔の表情、イライラした顔の表情、怒っている顔の表情、集中した顔の表情、痛みを伴う顔の表情、恥ずかしい顔の表情、泣き、叫び、または運動の制御の欠如に関連する言語コミュニケーションを含む。いくつかの実施形態では、個人の年齢、障害、または損傷が、運動の制御の有無を判定する際に考慮される。いくつかの実施形態では、個人の動きの制御は、百分率として判定され、例えば個人は、自身の動きの約１００％、９９％、９５％、８０％、７５％、５０％、または２５％が制御されている状態にあってもよい。

【0063】

いくつかの実施形態では、視線または視線の方向は、対象の視線の方向および視線の長さを評価することを含む。いくつかの実施形態では、視線の方向と長さは、他の動き、個人が対話している物、または個人が対話している人に関連する。例えば、大人が個人に質問を投げかけ、その個人が応答している映像が評価される。個人の視線の方向は、個人が質問者または介護者とアイコンタクトを行っているかどうか、およびどのくらい長さで行われているかを判定するために評価される。例えば、別の人または動物が個人に近づくといったさらなる刺激が導入され、個人が自身の視線をさらなる刺激に向ける場合、解析はこれらを考慮に入れる。いくつかの実施形態では、個人が質問者または介護者とのアイコンタクトを維持できる能力は、高次行動である。

【0064】

いくつかの実施形態では、言語コミュニケーションの方向は、対象の言語コミュニケーションの方向を評価することを含む。いくつかの実施形態では、言語コミュニケーションの方向とコンテキストは、他の動き、個人が対話している物、または個人が対話している人に関連する。例えば、個人の言語コミュニケーションの量は、個人が複数の方向に自分の声を向けることに起因して変動する場合がある。意図したコミュニケーションの受け取りが静的である場合、個人は、応答中に質問者または介護者に顔を向けない場合がある。個人は、質問に答えながら歩き回っている、または歩いているか、または背を向けている場合がある。いくつかの実施形態では、言語コミュニケーションを行いながら特定の方向を維持することは、高次行動である。

【0065】

いくつかの実施形態では、機械学習アルゴリズムは、高次行動を識別するために使用される。

【0066】

行動パターン
経時的に観察される１つ以上の高次行動および／または行動ユニットは、１つ以上の行動パターンをともに構成することができる。いくつかの実施形態では、本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームにより識別される行動パターンは、評価対象の個人に対して生成される評価の少なくとも一部として提供されかつ機能する出力である。いくつかの実施形態では、高次行動および／または行動ユニットの集合から行動パターンを識別することは、個々の高次行動および行動ユニットをまとめ、文脈化し、および／またはより良好に評価する方法を提供する。

【0067】

いくつかの実施形態では、行動パターンは、経時的にマッピングされた行動ユニットまたは高次行動を含む。いくつかの実施形態では、行動パターンは、互いに関連する２つ以上の高次行動を含む。例えば、質問への応答において、個人は視線を連続的に動かして部屋を歩き回りながら、口頭で応答する。個人の応答は、最初に質問に対処するが、応答は次第に小さくなり、量が減少する。高次行動は、応答時にアイコンタクトを避ける、応答時に質問者または介護者に顔を向けるのを避ける、および質問に答えることができないとして識別される。識別された行動パターンは、質問に答えるのに十分な長さの言語コミュニケーションに対して個人が十分に集中することができないことを示す場合がある。行動パターンまたは高次行動は、ＡＤＨＤと自閉症の一形態との両方に関連している可能性がある。しかし、個人の特定の行動ユニットの違いに起因して、本明細書に記載される機械学習アルゴリズムは、各条件を分離して、各診断のための確率スコアを提供する。

【0068】

いくつかの実施形態では、行動パターンは、刺激への応答能力、割り当てたタスクの実行能力、適切な発話応答、適切な動き、集中能力、または万物を正確に把握する能力を含む。

【0069】

いくつかの実施形態では、機械学習アルゴリズムは、行動パターンを識別するために使用される。

【0070】

図２は、行動ユニット（２０５）および高次行動（２１０）が、行動パターン（２２０）を生成するためにどのようにして経時的にマッピングされるか（２１５）についての表現を示す図である。携帯型の映像および音声捕捉デバイス（２０１）が、個人の映像を記録する。訓練された機械学習アルゴリズムが、各行動ユニットを認識し、発話、微笑み、指差し（ｐｏｉｎｔ）、肩をすくめる、立つ、笑う、座る、およびアイコンタクトとして例示されるそれぞれの存在を経時的にマッピングする（２１５）。高次行動は、語彙の大きさ、声のイントネーション、会話の親密さ、アイコンタクトの質、表情、および物への指差しとして例示される行動ユニット（２１０）から構築される。機械学習アルゴリズムは、経時的にマッピングされた行動ユニットおよび高次行動を利用して、シェアリング（ｓｈａｒｉｎｇ）からの没頭、集中力持続時間、および楽しみのレベルとして例示される行動パターン（２２０）を生成する。

【0071】

行動障害、発達遅延、および神経系機能障害を評価するための方法
いくつかの実施形態では、個人は、個人の映像および／または音声データを記録することにより評価され、この映像および／または音声データの評価は、本明細書に記載の機械学習アルゴリズムにより行われる。いくつかの実施形態では、個人は、質問者または介護者により尋ねられた質問に答える様子を記録される。いくつかの実施形態では、個人は、座ったままで質問者または介護者に応答する。いくつかの実施形態では、個人は、座っているか部屋を自由に動き回りながら質問者または介護者に応答することを認められている。いくつかの実施形態では、個人は、記録デバイスのフレーム内に留まる。いくつかの実施形態では、個人は、記録デバイスの聴取可能な距離内に留まる。いくつかの実施形態では、聴取可能な距離は、記録デバイスの２５、１０、５、または３メートル以内にある。いくつかの実施形態では、個人は、言語コミュニケーションを用いて質問に応答することにより評価される。いくつかの実施形態では、個人は、非言語コミュニケーションを用いて質問に応答することにより評価される。例えば、質問者は、個人に微笑みなどの表情を作るよう求める、または興奮などの感情を表すように求めることができる。このような質問への応答は、個人が他者の行動を知覚し、この行動を適切に再現できるかどうかを評価することができる。いくつかの実施形態では、質問者は、所望の応答を引き出すために個人と対話する。例えば、質問者は、個人に好きな食べ物を与えたり、個人を褒めたりすることができる。質問者はさらに、個人を不快または感情的にするための質問を投げかけることができる。いくつかの実施形態では、質問者は存在せず、個人は第三者からの促進または刺激なしに記録される。いくつかの実施形態では、記録装置へのガイダンスをもって記録が行われる。例えば、ガイダンスは、個人の睡眠、遊び、食事、コミュニケーション、または特定の感情の喚起を記録するための記録装置に提供される場合がある。

【0072】

いくつかの実施形態では、映像および／または音声記録は、モバイルデバイスにより行われる。いくつかの実施形態では、モバイルデバイスは、スマートフォン、タブレット、スマートウォッチ、あるいはモバイルカメラまたは記録機能を有するデバイスである。いくつかの実施形態では、映像および／または音声記録は、固定カメラおよび／またはマイクロフォンにより行われる。例えば、個人は、臨床医のオフィスにて質問を投げかけられ、これに対する応答が、マイクロフォンを取り付けた三脚上のカメラにより記録される場合がある。いくつかの実施形態では、カメラは高解像度カメラである。

【0073】

いくつかの実施形態では、本明細書に開示される方法は、行動障害、発達遅延、または神経系機能障害の診断を補助するために使用される。

【0074】

いくつかの実施形態では、本明細書に開示される方法は、行動障害の診断を補助するために使用される。いくつかの実施形態では、行動障害は、注意欠陥多動性障害（ＡＤＨＤ）、反抗挑戦性障害（ＯＤＤ）、自閉症スペクトラム障害（ＡＳＤ）、不安障害、うつ病、双極性障害、学習障害、または行為障害を含む。いくつかの実施形態では、注意欠陥多動性障害は、不注意優勢型ＡＤＨＤ、多動・衝動優勢型ＡＤＨＤ、または多動・衝動と不注意の複合型ＡＤＨＤを含む。いくつかの実施形態では、自閉症スペクトラム障害は、自閉症障害（古典的自閉症）、アスペルガー症候群、広汎性発達障害（非定型自閉症）、または小児期崩壊性障害を含む。いくつかの実施形態では、不安障害は、パニック障害、恐怖症、社会不安障害、強迫性障害、分離不安障害、病気不安障害（心気症）、または心的外傷後ストレス障害を含む。いくつかの実施形態では、うつ病は、大うつ病、持続性うつ病障害、双極性障害、季節性情動障害、精神病性うつ病、産後うつ病、月経前不快気分障害、「状況型」うつ病、または非定型うつ病を含む。いくつかの実施形態では、双極性障害は、Ｉ型双極性障害、ＩＩ型双極性障害、気分循環性障害、あるいは別の医学的障害または薬物乱用障害による双極性障害を含む。いくつかの実施形態では、学習障害は、失読症、計算障害、書字障害、統合運動障害（感覚統合障害）、嚥下障害／失語症、聴覚処理障害、または視覚処理障害を含む。いくつかの実施形態では、行動障害は、精神障害の診断と統計マニュアル（ＤＳＭ）の全版に定義される障害である。

【0075】

いくつかの実施形態では、本明細書に開示される方法は、発達遅延の診断を補助するために使用される。いくつかの実施形態では、発達遅延は、自閉症スペクトラム障害、精神遅滞、脳性麻痺、ダウン症、発育不良、筋ジストロフィー、水頭症、発達性協調運動障害、嚢胞性線維症、胎児性アルコール症候群、ホモシスチン尿症、結節性硬化症、無βリポタンパク質血症、フェニルケトン尿症、Ａａｓｅ症候群、言葉の遅れ、粗大運動遅延、微細運動遅延、社会的遅延、情動遅延、行動遅延、または認知遅延を含む。いくつかの実施形態では、精神遅滞は、副腎白質ジストロフィー、Ｉｔｏ症候群、先端骨粗鬆症、ハンチントン病、アースコグ症候群、アイカルディ症候群、またはテイ・サックス病を含む。いくつかの実施形態では、脳性麻痺は、痙性脳性麻痺、運動障害性脳性麻痺、低張性脳性麻痺、運動失調性脳性麻痺、または混合性脳性麻痺を含む。いくつかの実施形態では、自閉症スペクトラム障害は、自閉症障害（古典的自閉症）、アスペルガー症候群、広汎性発達障害（非定型自閉症）、または小児期崩壊性障害を含む。いくつかの実施形態では、ダウン症候群は、トリソミー２１、モザイク現象、または転座を含む。いくつかの実施形態では、筋ジストロフィーは、デュシェンヌ型筋ジストロフィー、ベッカー型筋ジストロフィー、先天性筋ジストロフィー、筋緊張性ジストロフィー、顔面肩甲上腕筋ジストロフィー、眼咽頭筋ジストロフィー、遠位型筋ジストロフィー、またはエメリー・ドレイフス型筋ジストロフィーを含む。

【0076】

いくつかの実施形態では、本明細書に開示される方法は、神経系機能障害の診断を補助するために使用される。いくつかの実施形態では、神経系機能障害は、筋萎縮性側索硬化症、動静脈奇形、脳動脈瘤、脳腫瘍、硬膜動静脈瘻、てんかん、頭痛、記憶障害、多発性硬化症、パーキンソン病、末梢神経障害、帯状疱疹後神経痛、脊髄腫瘍、脳卒中、アルツハイマー病、大脳皮質基底膜変性症、クロイツフェルト・ヤコブ病、前頭側頭型痴呆、レビー小体型痴呆、軽度認知障害、進行性核上性麻痺、または血管性痴呆を含む。

【0077】

いくつかの実施形態では、本明細書に開示される方法は、行動障害、発達遅延、または神経系機能障害の診断を補助するために使用される。いくつかの実施形態では、本明細書に記載の方法は、行動障害、発達遅延、または神経系機能障害を診断する既知の技法と併せて使用される。いくつかの実施形態では、本明細書に記載の方法は、臨床医による質問票または映像観察の提供と併せて使用される。いくつかの実施形態では、本明細書に記載の方法は、既知の診断方法の精度を向上させる、または正確な診断に必要な時間または再試行を減らす。

【0078】

いくつかの実施形態では、本明細書に開示される方法は、行動障害、発達遅延、および神経系機能障害の進行または退行をモニタリングするために使用される。いくつかの実施形態では、個人は、行動障害、発達遅延、または神経系機能障害と診断されており、処置を受けている。いくつかの実施形態では、本明細書に開示される方法は、処置の有効性を評価するために使用される。いくつかの実施形態では、個人の状態をモニタリングまたは評価することは、複数の解析セッションの過程で検出された関連行動ユニット、高次行動、および行動パターンの数ならびに／または頻度の解析を含む。いくつかの実施形態では、本明細書に開示される機械学習モジュールは、各解析セッションの記録を解析し、進捗値を提供するために使用される。いくつかの実施形態では、進捗値は、経時的な各解析セッションの確率スコア（下記参照）を比較することにより導き出される。例えば、自閉症の処置を受けている子供は、３つの解析セッションの過程で自閉症を評価される場合がある。機械学習モジュールによる各評価は、個人が自閉症である可能性を示すために使用される確率スコアを生成する。確率スコアは、３つのセッションにわたり低下する。これらの結果は、処方した処置が有効であり、初期診断が正しいことを裏付けた。機械学習アルゴリズムは、処置が継続されているという示唆を提供する。いくつかの実施形態では、進捗値は、進捗データ上で訓練された機械学習モジュールから取得される。いくつかの実施形態では、進捗データは、臨床医により判定されるように、行動障害、発達遅延、および神経系機能障害が退行または進行した患者個別の解析セッションの記録である。臨床医による判定は、進捗データに含まれる。例えば、機械学習モジュールは、個人がＡＤＨＤの処置を受けた一連の記録上で訓練され、訓練データは、疾病が進行しているか退行しているかに関する臨床的判定を含む。機械学習モジュールは、ＡＤＨＤと診断された個人の一連の記録を解析して、所与の処置レジメンが有効であるかどうかを判定する。機械学習アルゴリズムは、疾病が進行していると判定する。機械学習アルゴリズムは、個人への処置が変更され、および／またはＡＤＨＤ診断が再評価されることを推奨する。

【0079】

いくつかの実施形態では、行動パターンは、経時的にモニタリングされる。例えば、ＡＤＨＤの個人は、複数年にわたりエネルギーレベル、社交性、および語彙力について評価される可能性がある。

【0080】

行動障害、発達遅延、および神経系機能障害を評価して処置するための対話型モジュール
いくつかの実施形態では、本明細書に開示されるシステムと方法は、行動障害、発達遅延、および神経系機能障害を評価および／または処置するための１つ以上の対話型モジュールを含む。対話型モジュールは、行動障害、発達遅延、または神経系機能障害、あるいはこれらに関連する症状または認知機能を査定または評価、および／あるいは処置するための１つ以上の活動を個人に提供することができる。この活動は、刺激および対応するプロンプト、例えば、物語の一部とこれに関連する質問が個人に提示される対話型活動であり得る。例えば、図５Ａは、バーチャルキャラクタが物語のガイダンスを提供するＧＵＩディスプレイの一例を示す図である。その後、物語シーケンスが開始する（図５Ｂを参照）。物語シーケンスが終了すると（図６Ｂに示す物語シーケンスの一例）、バーチャルキャラクタは、個人またはユーザーに質問に答えるように促す（図５Ｃを参照）、または指示を送る（図６Ａを参照）ことができる。活動により促される個人によるフィードバックまたは応答は、例えば、コンピューティングデバイスのマイクロフォンおよび／またはカメラにより検出される音声および／または映像データとして検出ならびに記憶することができる。個人の音声および／または映像情報の検出、行動ユニットを識別するための情報処理、および高次行動および／または行動パターンを判定するための行動ユニットの解析は、本明細書全体に記載されるように実施することができる。対話型活動の別の例示的な例は、音声情報として記録可能な口頭応答を提供することにより画像中の１つ以上のキャラクタの感情を推測するようユーザーが促される感情推測ゲームである。対話型活動の別の例示的な例は、様々なオブジェクトにカメラを向けてこれらを記述するようユーザーが促される探索ゲームである。したがって、本発明のプラットフォーム、デバイス、および方法は、様々な対話型活動を組み込むことができる。

【0081】

いくつかの実施形態では、対話型モジュールは、評価に適切となるまでコンテキストを調整するようユーザーに動的に促すように構成される。例えば、対話型モジュールは、カメラに視認可能となるまで顔を動かすようユーザーに自動的に要求し、聞こえない場合は大声で話すように、あるいはビデオ／カメラ画像が暗すぎる場合は照明をつけるようにユーザーに要求する。

【0082】

本明細書に開示される例に加えて、個人のデジタル治療および／または査定／評価を提供するために、様々な活動が使用可能である。例えば、非限定的な活動の例として、写真を表示すること、写真を記述する話または物語を思い付くよう個人を促すことが挙げられる（図７Ａ～７Ｂを参照）。別の例は、一連の写真または画像を提供して、これらを順番にまたは適切な順序で配置するように個人を促す活動である（図８を参照）。さらに別の例は、個人がグラフィックおよび／または音声要素を使用して、自身の物語を作成することを可能にするＧＵＩツールを提供する活動である（図９を参照）。さらに別の例は、ソーシャルストーリー（図１０を参照）またはゲームベースの生活スキル訓練（図１１を参照）を介した埋込み型介入を提供する活動である。

【0083】

本明細書に開示される対話型モジュールの顕著な利点は、活動の過程にわたり個人が処置されるとともに再評価または査定される動的プロセスを容易にすることが可能というものである。これにより、入力、フィードバック、またはその他の収集されたユーザー情報に応じて、対話型モジュールをリアルタイムで調整または修正することができる。対話型モジュールは、ユーザーに対して進行中の評価に基づき１つ以上の活動の難易度を修正するように構成することができ、例えば、発話および／または言語習熟度メトリクス（例えば、言語音の調音や流暢性の測定値）により子供の習熟度が高くなる場合には難易度を挙げ、または、子供の習熟度が最低閾値を下回る場合は難易度を下げる。例えば、現在の活動の難易度が高すぎると判断された場合（例えば、子供が質問への回答または口頭での応答を明瞭にすることに問題があり、言語音の調音に５０％を超えるエラー率が生じる）、個人がまだ活動に没頭している間、同じセッション中に難易度を下方に調整することができる。代替的に、または組合せにおいて、活動は、難易度などの変更を次のセッションに組み込むように、セッションの終了後に修正または調整される。このプロセスは、活動間または同じ活動中に繰り返し（例えば、定期的または連続的に）行うことができる。いくつかの実施形態では、対話型モジュールは、活動中に収集されたユーザー情報（すなわち、場合により、活動終了後の追跡試験または評価から収集された情報）の評価に基づき、経時的に活動を修正または調整する。活動の修正は、個人の進捗に基づき行うことができる。例えば、個人は、発話および／または言語習熟度に関する目標メトリクス（例えば、音の言語化における成功率の閾値など）を上手く満たすことができ、これにより、その活動または次の活動を調整して、個々のユーザーに対して難易度を調整することにより、個々のユーザーの難易度または課題を上げることができる。

【0084】

対話型モジュールを使用して実行される発話評価は、様々な状態を含む場合がある。発話評価に関して評価可能な状態の非限定的な例として、構音障害失行（ａｐｒａｘｉａ ｄｙｓａｒｔｈｒｉａ）、および音の調音（ａｒｔｉｃｕｌａｔｉｏｎ ｆｏｒ ｓｏｕｎｄ）が挙げられる。発話評価に関して評価可能な状態の非限定的な例として、音韻に関する音韻学および音素学が挙げられる。発話評価に関して評価可能な状態の非限定的な例として、流暢性に関する吃音、延長、反復、遮断、および早口が挙げられる。発話評価に関して評価可能な状態の非限定的な例として、声に関する構造、神経、および機能が挙げられる。

【0085】

いくつかの実施形態では、対話型モジュールは、行動障害、発達遅延、または神経系機能障害を評価および／または処置するように構成される。例えば、自閉症スペクトラム障害には、コミュニケーションや社会的実用的欠陥（ｓｏｃｉａｌ ｐｒａｇｍａｔｉｃ ｄｅｆｉｃｉｔ）などの中心的な特性がある。これらの特徴には、会話におけるナレーションの頻度低下、まとまりの低下、物語における精神状態への言及困難、および因果言語の使用困難が挙げられる。注意欠陥多動性障害は、頻繁に、例えば、短い発語、あまりまとめられていない発話、多くのシーケンスエラー、ならびに誤解および単語の置換えを含む言語機能障害を特徴とする。したがって、対話型モジュールは、個人がこれら特性を改善するのを助けることができるデジタル療法として作用する活動を提供する。

【0086】

本明細書に開示されるシステムおよび方法は、親によるインタビュー、読書セッションの観察、および個人の映像記録を含むＳＳＲ、ならびに親によるインタビュー、標準化試験（Ｗｈ－質問、語彙、絵本）、および非公式プローブを含む臨床評価を含んだ従来の評価に対して改善を提供する。これら従来の評価は時間を要し、費用がかかってしまう。対照的に、本明細書には、自動的に物語を話す活動またはモードといった自動化活動を提供するシステムおよび方法が開示される。ここでは個人は、物語を通じてガイドされる間に、例えば物語の理解、物語の想起または再話、および絵から連想される物語を含む様々な発話および／または言語メトリクスを査定するために、個人に対するフィードバックまたは他のデータを評価される。場合により、追加の関連入力データを取得するために、親へのアンケートが提供される場合もある。

【0087】

いくつかの実施形態では、対話型モジュールは、活動を提供するとともに、活動に対するユーザー入力または応答を受け取る。例えば、ユーザー入力または応答は、質問またはプロンプトに対する回答、活動に対して利用可能なオプションまたは変更の選択、活動中の個人のマイクロフォン／カメラ記録により得た音声／映像情報、および活動期間中に収集可能な他の形式の情報を含む場合がある。入力または応答は動的に収集可能であり、例えば、ユーザーは、モジュールにより入力または応答を提供するように促され、この応答は、ユーザーデバイスのグラフィックユーザーインターフェースを介して、あるいはユーザーデバイスのマイクロフォンおよび／またはカメラにより検出された発話音声（任意選択で映像を含む）を介して書かれまたはタイピングされた応答を含む場合がある。あるいは、入力または応答は受動的に収集可能であり、例えば、個人の能動的な指示またはプロンプトを必要とすることなく音声および映像情報が収集される。収集したデータの例として、マイクロフォンおよび／またはカメラにより自動的に収集される、話し言葉、表情、あるいは行動ユニットおよび／またはパターンを判定するために使用可能な他のデータが挙げられる。いくつかの実施形態では、活動は、ユーザーの関与または入力／フィードバックに依存して動的である。一例として、活動は、物語を通じて個人またはユーザーをガイドしながら積極的に質問をし、ユーザー入力を受け取るストーリーテリングモードである。この活動は、個人による積極的な参加を含むことができ、例えば個人は、自身により発せられた言葉または音が記録される物語におけるキャラクタの役割または様相を呈することができる。

【0088】

いくつかの実施形態では、ソフトウェアモジュールは、活動の過程でユーザー入力、応答、フィードバック、または他の収集されたユーザーデータを評価するように構成される。いくつかの実施形態では、データは、行動障害、発達遅延、認知機能障害、あるいは一部の関連する徴候、症状、または認知機能を判定または評価するために解析される。場合により、行動ユニットおよび／または高次行動あるいは行動パターンが、識別または評価される。行動ユニットは、発話（または発話の試み）として識別される言語音、言葉、または句を含む場合がある。場合により、行動ユニットは、発話を構成する言葉または句を識別するために解析される言語音または音素といった発話要素を含む。

【0089】

いくつかの実施形態では、本明細書に開示されるシステムおよび方法は、データ（例えば、ユーザーの発話の音声）を収集するように構成された対話モジュールと、データを解析して発話もしくは言語の遅延または障害、あるいはそれらの兆候または症状を検出するように構成された診断または評価モジュールとを備えている。いくつかの実施形態では、評価モジュールは、１つ以上の発達遅延、または１つ以上の発達遅延に関連する症状または認知機能（例えば、発話遅延または言語遅延）の重症度レベルを判定するように構成される。非限定的な例として、発話および／または言語のレベル、感情認識、非言語的コミュニケーション（例えば、声発達欠損の程度）、読解、単語獲得、および他の徴候、症状、または認知機能が挙げられる。重症度レベルは、スコア、カテゴリ（例えば、機能障害または欠損の低度、中等度、または高度の重症度）、あるいはこれらの徴候、症状、または認知機能を評価するのに適した他のメトリクスであってもよい。いくつかの実施形態では、発話障害または遅延は、特定の症状または認知メトリクスを含む。例えば、発話障害は、言語音の調音（例えば、子供が特定の言語音をどの程度うまく調音できるか）、流暢性（例えば、吃音は流暢性の欠如を示す）、および声を包含する場合がある。調音のエラーは、子供が発することができる音または音素が、子供がまだ発することができない音または音素に置き換えられる置換エラー、発するのが難しすぎる音をある音が脱落する省略エラー（例えば、子音「ｒ」が「ｒｅｄ」から脱落する）、音または音素が使用されているが正しく調音されていない歪みエラー、余分な音または音素が追加される追加エラーを含む。

【0090】

いくつかの実施形態では、本明細書に開示されるシステムおよび方法は、対話型活動を含む対話型モジュールを提供する。対話型活動は、標的人口統計学（例えば、個人の年齢）に基づき個別化またはカスタマイズすることができる。例えば、活動は、個人の年齢に応じて調整される難易度を有していてもよい（例えば、活動の難易度または複雑度は、３、４、５、６、７、または８歳などの様々な年齢に分類することができる）。いくつかの実施形態では、個人の入力または応答、例えば、個人から収集された音声クリップ（音声データ）が取得される。

【0091】

いくつかの実施形態では、対話型モジュールは、評価の結果を個人またはユーザーに提供する。評価の結果は、細かな運動、認知、総運動、発話と言語、社会的と感情的、および行動カテゴリに対応する評価または性能のメトリクスあるいはそのスコアを含む場合がある（図１１Ａ）。カテゴリは、例えば、発話と言語カテゴリに関する発話、流暢性、声、および言語といった追加のサブカテゴリを明らかにするために、対話型モジュールのグラフィックユーザーインターフェース内で選択可能である（図１１Ｂ）。個人の評価結果の説明が、提供可能である（図１１Ｃを参照）。

【0092】

発話と言語の解析
本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームのいくつかの実施形態では、ソフトウェアモジュールは、個人の音声情報を解析して、発話および／または言語に関する行動ユニット、高次行動、および／または行動パターンを識別するために利用される。いくつかの実施形態では、ソフトウェアモジュールは、個人のために得られた音声データを用いて、自動化された発話認識および発話／言語解析に従事するために、１つ以上の機械学習アルゴリズムまたはモデルを利用する。

【0093】

いくつかの実施形態では、音声データは、本明細書に記載されるような対話型モジュールにより提供されるものといった対話型活動を使用して取得される。対話型モジュールは、スマートフォンまたはタブレットコンピュータなどのコンピュータデバイスを通じて提供可能である。対話型活動は、両親からの最低限の補助を必要としつつ、子供から発話および言語産生を誘発させる物語および絵の説明タスクを含む場合がある。次いで、発話および言語データは、例えば、発話および／または言語習熟度の特徴抽出および自動診断評価のためにソフトウェアモジュールにより解析される場合がある。音声データは、発話要素を識別するために処理することができる。例えば、音声クリップは、特定言語（例えば、英語）における別個の音の単位を表す音素を識別するために処理することができる。

【0094】

いくつかの実施形態では、ビデオまたはカメラデータも取得され、単独で、または音声データと組み合わせて特徴抽出および自動診断評価のために使用される。ビデオまたはカメラデータは、スマートフォンまたはタブレットの内蔵カメラを介して顔の特徴または他の特徴を検出するために使用することができる。

【0095】

いくつかの実施形態では、音声データは、発話に応答する音を識別するために処理される。いくつかの実施形態では、音声データは、言語音、言葉、または句を識別するために処理または解析される。発せられた音、言葉、または句は、発話および／または言語に関連する１つ以上の性能メトリクスまたはパラメータを判定するために解析することができる。いくつかの実施形態では、ソフトウェアモジュールは、発話および／または言語に関連する音響特徴を識別する。例えば、音響特徴は、短いおよび／または長い休止の回数、休止の平均長さ、その長さの変動性、および中断のない発話に関する他の同様の統計といった発話の休止に関する特徴を含む場合がある。いくつかの実施形態では、ソフトウェアモジュールは、自動の発話解析、韻律解析、および形態統語論解析に従事する。例えば、解析には、対話構造の自動測定、発話認識に基づく差別的構文解析、および発話における感情価および感情喚起の自動測定が含まれる場合がある。いくつかの実施形態では、ソフトウェアモジュールは、意味的類似度測定値、例えば、物語における言葉の交差の大きさとして定められる一対の物語間の単純な単語重複測定値に相当する単語重複測定値を判定する。このような測定値は、例えば、対話型活動中の個人による物語の改作がどれだけ元の物語に相当するかを判定し、これにより物語の再話の習熟度に関するメトリクスを提供するのに有用な場合がある。

【0096】

発話および／または言語データは、個人の発話および言語の習熟度を判定するために、本明細書に開示されるアルゴリズムまたはモデルを使用して解析される。発話の習熟度は、調音（例えば、年齢に適した言語音の産生）、流暢性（例えば、不要な休止の回数と期間を用いて測定可能な、年齢に適した連続性を伴う発話の産生）、および声（例えば、正常な声質の産生）の観点から測定することができる。言語の習熟度は、受容言語と表現言語（例えば、子供が話し言葉を理解し、コミュニケーションのために発話できるかどうか）、および物語能力（例えば、子供が言語を用いてまとまった物語を理解し、再び話し、および創作できるかどうか）の観点から測定することができる。

【0097】

機械学習ソフトウェアモジュール
本明細書に記載の方法、デバイス、システム、ソフトウェア、およびプラットフォームのいくつかの実施形態では、１つ以上の行動ユニット、および／または高次行動、および／または行動パターン、および／または評価対象の個人に特定の疾病が存在するかどうかの可能性に関する指標を識別するために、機械学習ソフトウェアモジュールが利用される。いくつかの実施形態では、機械学習ソフトウェアモジュールは、機械学習モデル（またはデータモデル）を含む。機械学習は、多数のデータのアーキテクチャおよび構成を包含しており、本明細書中の教示は一種類の機械学習に限定されないことを理解されたい。

【0098】

本明細書に記載の機械学習ソフトウェアモジュールは、通常、映像および／または音声データセットを使用して訓練される。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニットを含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニット、および行動障害、発達遅延、または神経系機能障害の診断を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された高次行動を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された高次行動、および行動障害、発達遅延、または神経系機能障害の診断を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動パターン、および行動障害、発達遅延、または神経系機能障害の診断を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニット、および以前に識別された高次行動を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニット、以前に識別された高次行動、および行動障害、発達遅延、または神経系機能障害の診断を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された高次行動、および以前に識別された行動パターンを含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された高次行動、以前に識別された行動パターン、および行動障害、発達遅延、または神経系機能障害の診断を含む。いくつかの実施形態では、映像のおよび／または音声データセットは以前に同定された行動ユニット、および以前に識別された行動パターンを含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニット、以前に識別された行動パターン、および行動障害、発達遅延、または神経系機能障害の診断を含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニット、以前に識別された高次行動、および以前に識別された行動パターンを含む。いくつかの実施形態では、映像および／または音声データセットは、以前に識別された行動ユニット、以前に識別された高次行動、以前に識別された行動パターン、および行動障害、発達遅延、または神経系機能障害の診断を含む。

【0099】

いくつかの実施形態では、訓練された機械学習ソフトウェアモジュールは、以前に行動ユニット、高次行動、行動パターン、あるいは特定の行動障害、発達遅延、または神経系機能障害と関連づけられていない新たな映像および／または音声データを解析する。いくつかの実施形態では、機械学習ソフトウェアモジュールは、新たな映像および／または音声データに存在する１つ以上の行動ユニット、高次行動、または行動パターンを識別する。いくつかの実施形態では、機械学習ソフトウェアモジュールは、新たな映像および／または音声データに存在する１つ以上の行動ユニットを識別する。いくつかの実施形態では、機械学習ソフトウェアモジュールは、新たな映像および／または音声データに存在する１つ以上の高次行動を識別する。いくつかの実施形態では、機械学習ソフトウェアモジュールは、新たな映像および／または音声データに存在する１つ以上の行動パターンを識別する。いくつかの実施形態では、機械学習アルゴリズムは、新たな映像および／または音声データを解析し、１つ以上の行動障害、発達遅延、または神経系機能障害が評価対象の個人に存在する蓋然性を提供する。

【0100】

いくつかの実施形態では、行動ユニットを識別し、高次行動を識別し、行動パターンを識別し、かつ行動障害、発達遅延、または神経系機能障害の診断を提供するために、１つ以上の機械学習ソフトウェアモジュールが利用される。いくつかの実施形態では、行動ユニットの識別のための機械学習ソフトウェアモジュールは、特徴検出アルゴリズムである。いくつかの実施形態では、高次行動の識別のための機械学習ソフトウェアモジュールは、高次行動の検出アルゴリズムである。いくつかの実施形態では、行動パターンの識別のための機械学習ソフトウェアモジュールは、行動パターン検出アルゴリズムである。いくつかの実施形態では、行動障害、発達遅延、または神経系機能障害の診断のための機械学習ソフトウェアモジュールは、行動評価アルゴリズムである。

【0101】

いくつかの実施形態では、機械学習ソフトウェアモジュールは、教師あり学習アルゴリズムである。いくつかの実施形態では、機械学習ソフトウェアモジュールは、最近傍法、単純ベイズ、デシジョンツリー、線形回帰、サポートベクターマシン、またはニューラルネットワークから選択される。

【0102】

いくつかの実施形態では、機械学習ソフトウェアモジュールは、状況的インジケータ（ｃｏｎｔｅｘｔｕａｌ ｉｎｄｉｃａｔｏｒ）を考慮することなく蓋然性診断を提供する。いくつかの実施形態では、機械学習ソフトウェアモジュールは、映像または音声データ単独の解析を介して蓋然性診断を提供する。いくつかの実施形態では、機械学習ソフトウェアモジュールは、映像または音声データと状況的インジケータの解析を介して蓋然性診断を提供する。例えば、ユーザーは、５歳の男の子を自閉症について評価するようデザインされた質問に応答するその子供の映像データおよび音声データを提供する。一実施形態では、機械学習ソフトウェアモジュールは、映像および音声データを解析し、子供の年齢、性別、疑わしい診断、環境、および質問に対する言語応答の予測などの状況的インジケータに関連するユーザーによるデータ入力を含む。別の実施形態では、機械学習ソフトウェアモジュールは、上記で例証された状況的インジケータなしに映像および音声データを解析する。

【0103】

いくつかの実施形態では、本明細書に開示される方法は、診断を推奨するための蓋然性スコアを利用する。例えば、機械学習ソフトウェアモジュールは、データセットを解析し、多数の指標が存在すると判定して、データセット中の行動ユニット、高次行動、または行動パターンが、各指標について機械学習ソフトウェアモジュールを訓練するのに使用されるデータセット中で識別されるものに重なる程度を反映する様々なスコアを割り当てる。いくつかの実施形態では、蓋然性スコアは、データがどのくらい各モデル化指標に適合するのかについての反映である。いくつかの実施形態では、１つ以上の行動障害、発達遅延、または神経系機能障害は、蓋然性スコアを与えられる。いくつかの実施形態では、蓋然性スコアは、「予測」と名付けられる。

【0104】

いくつかの実施形態では、蓋然性スコアの閾値は、診断が推奨されるか否かを判定するために蓋然性スコアと併せて使用可能である。例えば、蓋然性スコアが低すぎる場合、指標に対する診断は推奨されない。

【0105】

いくつかの実施形態では、蓋然性閾値は、訓練された機械学習ソフトウェアモジュールの感度を調整するために使用される。例えば、蓋然性閾値は、１％、２％、５％、１０％、１５％、２０％、２５％、３０％、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、９８％、または９９％であり得る。いくつかの実施形態では、正確性、感度、または特異性が所定の調整閾値未満の場合、蓋然性閾値が調整される。いくつかの実施形態では、調整閾値は、訓練期間のパラメータを決定するために使用される。例えば、蓋然性閾値の正確性が調整閾値未満の場合、システムは、訓練期間を延長する、ならびに／あるいは追加の音声記録および／または同一性データを必要とする。いくつかの実施形態では、追加の音声記録および／または同一性データは、訓練データへと含めることができる。いくつかの実施形態では、追加の記録および／または同一性データは、訓練データセットを洗練させるために使用することができる。

【0106】

図３は、本明細書に記載の機械学習アルゴリズムおよび方法を提供するための例示的なデータ処理モジュール（３００）の概略図である。データ処理モジュール（３００）は、概して前処理モジュール（３０５）、訓練モジュール（３１０）、および予測モジュール（３２０）を備えている。データ処理モジュールは、データベースから訓練データ（３５０）を抽出、またはユーザーインターフェース（３３０）を用いて新たなデータ（３５５）を取得することができる。前処理モジュールは、訓練モジュールまたは予測モジュールに対して訓練データまたは新たなデータを標準化するために１つ以上の転換を適用することができる。前処理された訓練データは、訓練モジュールに渡すことができ、これにより、訓練データに基づき訓練された機械学習アルゴリズム（３６０）を構築することができる。訓練モジュールは、あらゆる適切な検証アルゴリズム（例えば層化ｋ－分割交差検証）を使用して、訓練された機械学習アルゴリズムを検証するように構成された検証モジュール（３１５）を備えている。前処理された新たなデータは、予測モジュールに渡すことができ、これにより、訓練モジュールを用いて構築された機械学習アルゴリズムに新たなデータを適合させることで、個人に特定の疾病（例えば行動障害、発達遅延、または神経系機能障害）が存在するかどうかの予測（３７０）を出力することができる。

【0107】

機械学習モデルを構築するために訓練モジュールにより使用される訓練データ（３５０）は、複数の対象からの複数のデータセットを含む場合があり、各対象のデータセットは、一連の行動ユニット、高次行動、または行動パターン、および対象の行動障害、発達遅延、または神経系機能障害の分類を含む。行動ユニットは、機械検出可能であるとともに、行動障害、発達遅延、または神経系機能障害の有無の可能性に臨床的に関連する、対象の動きまたは音を含む場合がある。行動ユニット、高次行動、または行動パターンはそれぞれ、１つ以上発達障害または疾病の識別に関連する場合があり、対応する行動ユニット、高次行動、または行動パターンはそれぞれ、特定の対象の障害の存在度を示す場合がある。例えば、行動パターンは、対象が想像的または架空の遊びに没頭する能力である場合があり、特定の対象に関する値は、対象における行動パターンの存在度に対応するスコアである場合がある。行動パターンは、例えばある行動に没頭する対象の映像、および機械学習アルゴリズムによる映像記録の解析により識別した行動パターンを用いて、対象において観察することができる。加えて、訓練データにおける各対象のデータセットはまた、行動障害、発達遅延、または神経系機能障害が対象に存在するという分類を含む。例えば、この分類は、自閉症、自閉症スペクトラム障害（ＡＳＤ）、または非スペクトルであってもよい。好ましくは、この分類は、機械学習アルゴリズムの予測精度を改善するために、有資格臨床心理士などの有資格者により割り当てられる臨床診断を含む。訓練データは、Ａｕｔｉｓｍ Ｇｅｎｅｔｉｃ Ｒｅｓｏｕｒｃｅ Ｅｘｃｈａｎｇｅ（ＡＧＲＥ）から入手可能な自閉症診断的面接改訂版（ＡＤＩ－Ｒ）データおよび／または自閉症診断観察スケジュール（ＡＤＯＳ）データなどの大型データレポジトリから入手可能なデータセット、あるいは、その他適切なデータレポジトリ（例えば、Ｂｏｓｔｏｎ Ａｕｔｉｓｍ Ｃｏｎｓｏｒｔｉｕｍ（ＡＣ）、サイモンズ財団、米国国立自閉症研究データベースなど）から入手可能なデータセットを含む場合がある。あるいは、または組合せにおいて、訓練データは、自己報告による大型データセットを含む場合があり、これは、（例えばウェブサイト、モバイルアプリケーションなどを介して）ユーザーからクラウドソーシング可能である。

【0108】

前処理モジュール（３０５）は、例えば、データをクリーンにして正常化するために、抽出された訓練データに１つ以上の転換を適用するように構成することができる。前処理モジュールは、偽性メタデータを伴う、またはごくわずかな観察しかないデータを廃棄するように構成することができる。前処理モジュールは、行動ユニットのコード化を標準化するようにさらに構成することができる。

【0109】

訓練モジュール（３１０）は、機械学習アルゴリズムを訓練するために使用される。機械学習アルゴリズムは、訓練データに基づき、もしあれば所与の行動ユニット、高次行動、または行動パターンと、特定の行動障害、発達遅延、または神経系機能障害との統計的関連性を捉えるように構築することができる。機械学習アルゴリズムは、例えば、複数の臨床的特徴と、１つ以上行動障害、発達遅延、または神経系機能障害の臨床的診断との統計的な相関を含む場合がある。所与の行動ユニットには、評価対象である複数の行動障害、発達遅延、または神経系機能障害それぞれを分類するための異なる予測的有用性があってもよい。複数の行動障害、発達遅延、または神経系機能障害それぞれを予測するために、特定の行動障害、発達遅延、または神経系機能障害の可能性を記述する蓋然性スコアが、抽出されてもよい。機械学習アルゴリズムは、訓練データからこれら統計的関連性を抽出して、１つ以上の行動障害、発達遅延、または神経系機能障害を含むデータセットがモデルに適合されるときに障害を正確に予測することができるモデルを構成するために、使用することができる。

【0110】

１つ以上の機械学習アルゴリズムは、行動ユニットの選択および／またはグラフィックモデルを段階的に後方へ配置するサポートベクターマシンなどの機械学習アルゴリズムを構築するために使用されてもよい。これらはともに、行動ユニット間の相互作用を推測するという利点を有する場合がある。畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、長短期記憶ネットワーク（ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋ）（ＬＳＴＭ）、交互決定木（ＡＤＴｒｅｅ）、決定株、機能ツリー（ＦＴ）、ロジスティックモデルツリー（ＬＭＴ）、ロジスティック回帰、ランダムフォレスト、線形分類子、または当該技術分野で知られる任意の機械学習アルゴリズムもしくは統計的アルゴリズムなどの、機械学習アルゴリズムまたは他の統計的アルゴリズムが、使用されてもよい。１つ以上のアルゴリズムは、アンサンブル方法を作成するためにともに使用されてもよく、アンサンブル方法は、ブースティング（例えばＡｄａＢｏｏｓｔ、ＬＰＢｏｏｓｔ、ＴｏｔａｌＢｏｏｓｔ、ＢｒｏｗｎＢｏｏｓｔ、ＭａｄａＢｏｏｓｔ、ＬｏｇｉｔＢｏｏｓｔなど）といった機械学習アンサンブルメタアルゴリズムを使用して最適化されて、偏りおよび／または分散を減らすことができる。一旦、機械学習アルゴリズムが訓練データから導き出されると、モデルは、対象が１つ以上の障害を抱えるリスクを評価するための予測ツールとして使用することができる。機械学習解析は、当該技術分野で知られる多くのプログラミング言語およびプラットフォームのうち１つ以上、例えばＴｅｎｓｏｒＦｌｏｗ、Ｋｅｒａｓ、Ｒ、Ｗｅｋａ、Ｐｙｔｈｏｎ、および／またはＭａｔｌａｂを使用して実施することができる。

【0111】

あるいは、または組合せにおいて、対象における目的の行動ユニット、高次行動、または行動パターンは、対象との構造化された対話を通じて評価することができる。例えば、対象は、コンピュータゲームなどのゲームで遊ぶよう求められ、ゲーム上での対象のパフォーマンスは、対象の１つ以上の行動ユニット、高次行動、または行動パターンを評価するために使用することができる。対象は１つ以上の刺激（例えば、ディスプレイを介して対象に提示される視覚刺激）を提示される場合があり、この刺激に対する対象の応答は、対象の行動ユニット、高次行動、または行動パターンを評価するために使用することができる。対象は、特定のタスクを行うよう求められる場合があり（例えば、対象は、自身の指でバブルをポップするよう求められる場合がある）、要求に対する対象の応答、または要求されたタスクを対象が実施する能力は、対象の行動ユニット、高次行動、または行動パターンを評価するために使用することができる。

【0112】

システムおよびデバイス
本開示は、本開示の方法を実施するようにプログラムされるコンピュータ制御デバイスを提供する。図４は、本明細書に記載のプラットフォーム、デバイス、および方法への組込みに適したコンピュータデバイス（４０１）を示す図である。コンピュータデバイス（４０１）は、例えば質問、回答、応答、統計解析などの本開示の情報の様々な態様を処理することができる。コンピュータデバイス（４０１）は、電子デバイスに対して遠隔に位置付けられるユーザーまたはコンピュータデバイスの電子デバイスである。電子デバイスはモバイル電子デバイスでもよい。

【0113】

コンピュータデバイス（４０１）は、中央処理装置（ＣＰＵ、本明細書では「プロセッサ」および「コンピュータプロセッサ」）（４０５）を備えており、これらはシングルコアまたはマルチコアプロセッサ、あるいは並列処理のための複数のプロセッサであってもよい。コンピュータデバイス（４０１）は、メモリまたは記憶場所（４１０）（例えばランダムアクセスメモリ、読取り専用メモリ、フラッシュメモリ）、電子記憶装置（４１５）（例えばハードディスク）、１つ以上の他のデバイスと通信するための通信インターフェース（４２０）（例えばネットワークアダプタ）、ならびにキャッシュ、他のメモリ、データストレージ、および／または電子ディスプレイアダプタなどの周辺機器（４２５）も備えている。メモリ（４１０）、記憶装置（４１５）、インターフェース（４２０）、および周辺機器（４２５）は、マザーボードなどの通信バス（実線）を通じて、ＣＰＵ（４０５）と通信する。記憶装置（４１５）は、データを記憶するためのデータ記憶装置（またはデータレポジトリ）であってもよい。コンピュータデバイス（４０１）は、通信インターフェース（４２０）の補助によりコンピュータネットワーク（「ネットワーク」）（４３０）に動作可能につなげることができる。ネットワーク（４３０）は、インターネットおよび／またはエクストラネット、あるいはインターネットと通信状態にあるイントラネットおよび／またはエクストラネットであってもよい。場合により、ネットワーク（４３０）は、電気通信および／またはデータのネットワークである。ネットワーク（４３０）は、クラウドコンピューティングなどの分散コンピューティングを可能する１つ以上のコンピュータサーバを備えてもよい。ネットワーク（４３０）は、場合によりコンピュータデバイス（４０１）の補助により、ピアツーピア・ネットワークを実施することができ、これにより、コンピュータデバイス（４０１）につなげたデバイスが、クライアントまたはサーバとして動くことが可能となる場合がある。

【0114】

ＣＰＵ（４０５）は、プログラムまたはソフトウェアに埋め込み可能な機械可読命令のシーケンスを実行することができる。この命令は、メモリ（４１０）などの記憶場所に記憶することができる。命令は、ＣＰＵ（４０５）に向けることができ、この命令は後に、本開示の方法を実施するようにＣＰＵ（４０５）をプログラムまたはその他の方法で構成することができる。ＣＰＵ（４０５）により実行される操作の例として、フェッチ、デコード、実行、およびライトバックを挙げることができる。

【0115】

ＣＰＵ（４０５）は、集積回路などの回路の一部であってもよい。デバイス（４０１）の１つ以上の他のコンポーネントが、回路に含まれてもよい。場合により、回路は特定用途向け集積回路（ＡＳＩＣ）である。

【0116】

記憶装置（４１５）は、ドライバ、ライブラリ、および保存されたプログラムなどのファイルを記憶できる。記憶装置（４１５）は、ユーザーデータ、例えばユーザーの嗜好性やユーザーのプログラムを記憶することができる。コンピュータデバイス（４０１）は、場合により、イントラネットまたはインターネットを通じてコンピュータデバイス（４０１）と通信状態にあるリモートサーバ上に位置付けられるなど、コンピュータデバイス（４０１）の外側にある１つ以上の追加のデータ記憶装置を備えていてもよい。

【0117】

コンピュータデバイス（４０１）は、ネットワーク（４３０）を介して１つ以上のリモートコンピュータデバイスと通信可能である。例えば、コンピュータデバイス（４０１）は、ユーザー（例えば親）のリモートコンピュータデバイスと通信可能である。リモートコンピュータデバイスおよびモバイル通信デバイスの例として、パーソナルコンピュータ（例えば、持ち運び可能なＰＣ）、スレートまたはタブレットＰＣ（例えばＡｐｐｌｅ（登録商標）ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えばＡｐｐｌｅ（登録商標）ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ－ｅｎａｂｌｅｄデバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、あるいは携帯情報端末が挙げられる。ユーザーは、ネットワーク（４３０）を用いてコンピュータデバイス（４０１）にアクセス可能である。

【0118】

本明細書に記載されるような方法は、コンピュータデバイス（４０１）の電子記憶場所、例えば、メモリ（４１０）または電子記憶装置（４１５）などに記憶された機械（例えば、コンピュータ処理装置）実行可能なコードとして実行することができる。機械実行可能または機械可読コードは、ソフトウェアの形で提供可能である。使用中、コードはプロセッサ（４０５）により実行されてもよい。場合により、コードは、電子記憶装置（４１５）から取得され、プロセッサ（４０５）による容易なアクセスのためにメモリ（４１０）に記憶することができる。いくつかの状況では、電子記憶装置（４１５）は除外してもよく、機械実行可能命令はメモリ（４１０）に記憶される。

【0119】

コードは、コードを実行するように適合されたプロセッサを有する機械とともに使用するために予めコンパイルかつ構成されるか、実行中にコンパイルされてもよい。前記コードは、予めコンパイルされた、またはアズコンパイルされた（ａｓ－ｃｏｍｐｉｌｅｄ）様式でコードが実行可能となるよう選択可能なプログラミング言語で提供されてもよい。

【0120】

コンピュータデバイス（４０１）などの本明細書に提供されるデバイスと方法の態様は、プログラミングにおいて具体化することができる。この技術の様々な態様は、一般的に一種の機械可読媒体上で運ばれるかその中に埋め込まれる機械（またはプロセッサ）により実行可能なコードおよび／または関連データの形にある「製品」または「製造用品」として考慮されてもよい。機械により実行可能なコードは、メモリ（例えば、読取り専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスクなどの電子記憶装置に記憶することができる。「記憶」型媒体は、様々な半導体メモリ、テープドライブ、ディスクドライブなどのコンピュータやプロセッサなどの有形メモリ、あるいはその関連モジュールのうちいずれかまたはすべてを含む場合があり、これらはソフトウェアのプログラミングのためにいかなる時も非一時的な記憶を提供することができる。ソフトウェアのすべてまたは一部は、時折、インターネットなどの様々な電気通信ネットワークを介して通信することができる。このような通信により、例えば、１つのコンピュータまたはプロセッサから別のものへ、例えば管理サーバまたはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのローディングが可能になる場合がある。ゆえに、ソフトウェア要素を持つことのできる別の種類の媒体は、有線および光地上通信線ネットワークを介するとともに、様々なエアリンク（ａｉｒ－ｌｉｎｋｓ）上でのローカルデバイス間の物理インターフェースにわたって使用されるものといった光波、電波、および電磁波を含む。かかる波を運ぶ有線リンク、無線リンク、光リンクなどの物理要素も、ソフトウェアを持つ媒体と考慮される場合がある。本明細書で使用するとき、非一時的で有形の「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を送ることに関与する媒体を指す。

【0121】

したがって、コンピュータにより実行可能なコードなどの機械可読媒体は、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含むがこれらに限定されない、多くの形態を呈してもよい。不揮発性記憶媒体として例えば、図に示されるデータベースなどを実装するために使用可能なものなど、コンピュータなどにおける記憶デバイスのいずれかといった光ディスクや磁気ディスクが挙げられる。揮発性記憶媒体として、かかるコンピュータプラットフォームのメインメモリなどのダイナミックメモリが挙げられる。有形送信媒体として、同軸ケーブル、銅線、光ファイバが挙げられ、例としてコンピュータデバイス内のバスを含むワイヤが挙げられる。搬送波送信媒体は、無線周波（ＲＦ）および赤外線（ＩＲ）データ通信中に生成されるものなど、電気信号、電磁気信号、音波、または光波の形態を呈してもよい。ゆえに、コンピュータ可読媒体に共通する形態として、例えばフロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、他の光学媒体、パンチカード、紙テープ、穴のパターンを伴う他の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、他のメモリチップまたはカートリッジ、データまたは命令を運ぶ搬送波、該搬送波を伝達するケーブルまたはリンク、あるいはコンピュータによりプログラミングコードおよび／またはデータを読み取り可能な他の媒体が挙げられる。これらコンピュータ可読媒体の形態の多くは、実行のために１つ以上の命令からなる１つ以上のシーケンスプロセッサへと運ぶことを必要とする場合がある。

【0122】

コンピュータデバイス（４０１）は、例えば、質疑応答、解析結果、推奨を提供するためのユーザーインターフェース（ＵＩ）を備える電子ディスプレイ（４３５）を備えるか、これと通信状態にあってもよい。ＵＩの例として、グラフィカルユーザーインターフェース（ＧＵＩ）およびウェブベースのユーザーインターフェースが挙げられるが、これらに限定されるものではない。

【0123】

本開示のプラットフォーム、デバイス、および方法は、１つ以上のアルゴリズムとして、本明細書に開示されるような１つ以上のプロセッサにより提供される命令とともに実施可能である。アルゴリズムは、中央処理装置（４０５）による実行後にソフトウェアとして実施可能である。アルゴリズムは、例えばランダムフォレスト、グラフィックモデル、サポートベクターマシン、またはその他であってもよい。

【0124】

上記工程は、一例によるデバイスの方法を示しているが、当業者は、本明細書に記載の教示に基づき多くの変形を認識するであろう。工程は、異なる順序で完了されてもよい。工程は、追加または削除されてもよい。工程の一部は、サブ工程を含む場合がある。工程の多くは、プラットフォームに対して有益な場合に頻繁に繰り返されてもよい。

【0125】

本明細書に記載されるような例の多くは、１つ以上の他の例と組み合わせることができる。さらに、１つ以上の例の１つ以上の構成要素が、他の例と組み合わせることができる。

【0126】

処置
本明細書に開示されるプラットフォーム、デバイス、および方法は、医薬処置を組み込むことができる。いくつかの実施形態では、本明細書に開示される行動障害、発達遅延、および神経系機能障害を処置するための薬物が使用される。いくつかの実施形態では、薬物処置の有効性が、モニタリングまたは評価される。いくつかの実施形態では、対象に薬物を投与する方法は、本明細書に開示される機械学習アルゴリズムを用いて対象の行動障害、発達遅延、または神経系機能障害を検出する工程と、検出された行動障害、発達遅延、または神経系機能障害に応じて対象に薬物を投与する工程とを含む。行動障害、発達遅延、または神経系機能障害は、注意欠陥障害（ＡＤＤ）、強迫性障害、急性ストレス障害、適応障害、広所恐怖症、アルツハイマー病、神経性食欲不振、心配性障害、死別、双極性障害、身体醜形障害、短期精神障害、神経性食欲亢進症、行為障害、妄想性障害、離人症、うつ病、重篤気分調節症、解離性健忘、解離性障害、解離性徘徊症、気分変調性障害、摂食障害、性別違和症候群、全般性不安障害、ホーディング障害、間欠性爆発性障害、盗癖、パニック障害、パーキンソン病、ギャンブル依存症、産後うつ、外傷性ストレス障害、月経前不機嫌性障害、情動調節障害、放火癖、分裂情動性障害、統合失調症、分裂病様障害、季節性情動障害、共有精神病性障害、社会不安恐怖症、特定の恐怖症、常同運動障害、トゥーレット障害、一時的チック障害、またはトリコチロマニーを含む場合がある。

【0127】

行動障害、発達遅延、または神経系機能障害は、自閉症スペクトラム障害を含み、薬物は、リスペリドン、クエチアピン、アンフェタミン、デキストロアンフェタミン、メチルフェニデート、メタンフェタミン、デキストロアンフェタミン、デキストロメチルフェニデート、グアンファシン、アトモキセチン、リスデキサンフェタミン、クロニジン、およびアリピプラゾール（ａｒｉｐｉｐｒａｚｏｌｅｃｏｍｐｒｉｓｅ）からなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、注意欠陥障害（ＡＤＤ）を含み、薬物は、アンフェタミン、デキストロアンフェタミン、メチルフェニデート、メタンフェタミン、デキストロアンフェタミン、デキストロメチルフェニデート、グアンファシン、アトモキセチン、リスデキサンフェタミン、クロニジン、およびモダフィニルからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、強迫性障害を含み、薬物は、ブスピロン、セルトラリン、エスシタロプラム、シタロプラム、フルオキセチン、パロキセチン、ベンラファキシン、クロミプラミン、およびフルボキサミンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、急性ストレス障害を含み、薬物は、プロプラノロール、シタロプラム、エスシタロプラム、セルトラリン、パロキセチン、フルオキセチン、ベンラファキシン、ミルタザピン、ネファゾドン、カルバマゼピン、ジバルプロエックス、ラモトリジン、トピラマート、プラゾシン、フェネルジン、イミプラミン、ジアゼパム、クロナゼパム、ロラゼパム、およびアルプラゾラムからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、適応障害を含み、薬物は、ブスピロン、エスシタロプラム、セルトラリン、パロキセチン、フルオキセチン、ジアゼパム、クロナゼパム、ロラゼパム、およびアルプラゾラムからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、広所恐怖症を含み、薬物は、ジアゼパム、クロナゼパム、ロラゼパム、アルプラゾラム、シタロプラム、エスシタロプラム、セルトラリン、パロキセチン、フルオキセチン、およびブスピロンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、アルツハイマー病を含み、薬物は、ドネペジル、ガランタミン、メマンチン、およびリバスチグミンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、神経性食欲不振を含み、薬物は、オランザピン、シタロプラム、エスシタロプラム、セルトラリン、パロキセチン、およびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、心配性障害を含み、薬物は、セルトラリン、エスシタロプラム、シタロプラム、フルオキセチン、ジアゼパム、ブスピロン、ベンラファキシン、デュロキセチン、イミプラミン、デシプラミン、クロミプラミン、ロラゼパム、クロナゼパム、およびプレガバリンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、死別を含み、薬物は、シタロプラム、デュロキセチン、およびドキセピンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、過食性障害を含み、薬物はリスデキサンフェタミンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、双極性障害を含み、薬物は、トピラマート、ラモトリギン、オクスカルバゼピン、ハロペリドール、リスペリドン、クエチアピン、オランザピン、アリピプラゾール、およびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、身体醜形障害を含み、薬物は、セルトラリン、エスシタロプラム、およびシタロプラムからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、短期精神病性障害を含み、薬物は、クロザピン、アセナピン、オランザピン、およびクエチアピンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、神経性食欲亢進症を含み、薬物は、セルトラリンおよびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、行為障害を含み、薬物は、ロラゼパム、ジアゼパム、およびクロバザムからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、妄想性障害を含み、薬物は、クロザピン、アセナピン、リスペリドン、ベンラファキシン、ブプロピオン、およびブスピロンからなる群から選択される場合があり、行動障害、発達遅延、または神経系機能障害は、離人性障害を含み、薬物は、セルトラリン、フルオキセチン、アルプラゾラム、ジアゼパム、およびシタロプラムからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、うつ病を含み、薬物は、セルトラリン、フルオキセチン、シタロプラム、ブプロピオン、エスシタロプラム、ベンラファキシン、アリピプラゾール、ブスピロン、ボルチオキセチン、およびビラゾドンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、重篤気分調節症を含み、薬物は、クエチアピン、クロザピン、アセナピン、およびピマバンセリンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、解離性健忘を含み、薬物は、アルプラゾラム、ジアゼパム、ロラゼパム、およびクロルジアゼポキシドからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、解離性障害を含み、薬物は、ブプロピオン、ボルチオキセチン、およびビラゾドンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、解離性徘徊症を含み、薬物は、アモバルビタール、アプロバルビタール、ブタバルビタール、およびメトヘキシタールからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、気分変調性障害を含み、薬物は、ブプロピオン、ベンラファキシン、セルトラリン、およびシタロプラムからなる群から選択される場合があり、行動障害、発達遅延、または神経系機能障害は、摂食障害を含み、薬物は、オランザピン、シタロプラム、エスシタロプラム、セルトラリン、パロキセチン、およびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、性別違和感を含み、薬物は、エストロゲン、プロゲストーゲン（ｐｒｏｓｔｏｇｅｎ）、およびテストステロンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、全般性不安障害を含み、薬物は、ベンラファキシン、デュロキセチン、ブスピロン、セルトラリン、およびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、ホーディング障害を含み、薬物は、ブスピロン、セルトラリン、エスシタロプラム、シタロプラム、フルオキセチン、パロキセチン、ベンラファキシン、およびクロミプラミンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、間欠性爆発性障害を含み、薬物は、アセナピン、クロザピン、オランザピン、およびピマバンセリンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、窃盗癖を含み、薬物は、エスシタロプラム、フルボキサミン、フルオキセチン、およびパロキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、パニック障害を含み、薬物は、ブプロピオン、ビラゾドン、およびボルチオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、パーキンソン病を含み、薬物は、リバスチグミン、セレギリン、ラサギリン、ブロモクリプチン、アマンタジン、カベルゴリン、およびベンズトロピンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、ギャンブル依存症を含み、薬物は、ブプロピオン、ビラゾドン、およびボルチオキセチン（ｖａｒｔｉｏｘｅｔｉｎｅ）からなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、産後うつ病を含み、薬物は、セルトラリン、フルオキセチン、シタロプラム、ブプロピオン、エスシタロプラム、ベンラファキシン、アリピプラゾール、ブスピロン、ボルチオキセチン、およびビラゾドンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、心的外傷後ストレス障害を含み、薬物は、セルトラリン、フルオキセチン、およびパロキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、月経前不快気分性障害を含み、薬物は、エストラジオール（ｅｓｔａｄｉｏｌ）、ドロスピレノン、セルトラリン、シタロプラム、フルオキセチン、およびブスピロンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、情動調節障害を含み、薬物は、臭化水素酸デキストロメトルファンおよびキニジン硫酸塩からなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、放火癖を含み、薬物は、クロザピン、アセナピン、オランザピン、パリペリドン、およびクエチアピンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、統合失調情動障害を含み、薬物は、セルトラリン、カルバマゼピン、オクスカルバゼピン、バルプロエート、ハロペリドール、オランザピン、およびロクサピンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、統合失調症を含み、薬物は、クロプロマジン、ハロペリドール、フルフェナジン、リスペリドン、クエチアピン、ジプラシドン、オランザピン、ペルフェナジン、アリピプラゾール、およびプロクラルペラジンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、分裂病様障害を含み、薬物は、パリペリドン、クロザピン、およびリスペリドンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、季節性感情障害を含み、薬物は、セルトラリンおよびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、共有精神病性障害を含み、薬物は、クロザピン、ピマバンセリン、リスペリドン、およびルラシドンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、社会不安恐怖症を含み、薬物は、アミトリプチリン、ブプロピオン、シタロプラム、フルオキセチン、セルトラリン、およびベンラファキシンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、特定の恐怖症を含み、薬物は、ジアゼパム、エスタゾラム、クアゼパム、およびアルプラゾラムからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、常同運動障害を含み、薬物は、リスペリドンおよびクロザピンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、トゥーレット障害を含み、薬物は、ハロペリドール、フルフェナジン、リスペリドン、ジプラシドン、ピモジド、ペルフェナジン、およびアリピプラゾールからなる群から選択される場合があり、あるいは行動障害、発達遅延、または神経系機能障害は、一時的チック障害を含み、薬物は、グアンファシン、クロニジン、ピモジド、リスペリドン、シタロプラム、エスシタロプラム、セルトラリン、パロキセチン、およびフルオキセチンからなる群から選択される場合があり、あるいは行動障害、発達遅延、または
神経系機能障害は、トリコチロマニーを含み、薬物は、セルトラリン、フルオキセチン、パロキセチン、デシプラミン、およびクロミプラミンからなる群から選択される場合がある。

【0128】

行動障害、発達遅延、および神経系機能障害を評価するためのデバイスとシステム
本明細書には、対象の発達上の進捗を判定するためのプラットフォーム、デバイス、および方法が記載される。例えば、記載されたプラットフォーム、デバイス、および方法は、１つ以上の発達領域において進展がみられる、または１つ以上認知機能において認知力が低下しているとして対象を識別し、あるいは、発達が遅延している、または１つ以上の行動障害、発達遅延、もしくは神経系機能障害のリスクがあるとして対象を識別することができる。開示されたプラットフォーム、デバイス、および方法は、対象の複数の行動ユニットを評価モデルに基づき評価することにより対象の進捗を評価することができ、評価モデルは、機械学習手法を使用して関連対象集団の大型データセットから生成することができる。

【0129】

プラットフォーム、デバイス、および方法は、本明細書中、対象の１つ以上の行動障害、発達遅延、または神経系機能障害を識別するという観点で記載されている。例えば、プラットフォーム、デバイス、および方法は、対象に進展がみられる発達のうち１つ以上の領域を識別することにより、発達上進展しているとして対象を識別するために使用可能である。進展した発達のうち１つ以上の領域を識別するために、プラットフォーム、デバイス、および方法は、例えば進展したまたは才能のある行動に関連する対象の１つ以上の特徴あるいは特性を評価するように構成されてもよい。記載されるようなプラットフォーム、デバイス、および方法はまた、対象の１つ以上認知機能を評価することにより、１つ以上の認知機能における認知力が低下しているとして対象を識別するために使用可能である。

【0130】

本明細書には、対象の１つ以上の行動障害、発達遅延、または神経系機能障害に関連する行動ユニット、行動機能、および／または高次行動もしくは行動パターンを診断あるいは評価するためのプラットフォーム、デバイス、および方法が、記載される。このプロセスは、１つ以上の行動障害、発達遅延、または神経系機能障害に関連する認知機能、特徴、または特性の評価を含む場合がある。例えば、本明細書に開示される行動ユニット、高次行動、および／または行動パターンに基づき、発話および／または言語習熟度について人を評価することができる。

【0131】

本明細書には、対象の１つ以上の行動障害、発達遅延、または神経系機能障害のリスクを診断または評価するためのプラットフォーム、デバイス、および方法が記載される。この方法は、データ処理モジュールを提供する工程を含む場合があり、このデータ処理モジュールは、複数の発達障害または疾病のうち１つ以上について対象をスクリーニングするための評価手順を構築および実施するために利用可能なものである。評価手順は、機械学習アルゴリズムの使用により対象の複数の特徴または特性を評価することができ、各特徴は、この手順によりスクリーニング可能な複数の障害のうち少なくとも１つを対象が抱える可能性に関連する場合がある。各特徴は、対象が２つ以上の関連する障害を抱える可能性に関連する場合があり、２つ以上の関連する障害は、１つ以上の関連する症状を有する場合がある。特徴は、多くの方法で評価可能である。例えば、特徴は、本明細書に記載されるように、質問に対する対象の回答、対象の観察、または対象との構造化された対話の結果を介して評価することができる。

【0132】

いくつかの実施形態では、本明細書に開示されるシステムとデバイスは、記録デバイスを含む。いくつかの実施形態では、映像および／または音声記録は、モバイルデバイスを用いて行われる。いくつかの実施形態では、モバイルデバイスは、スマートフォン、タブレット、スマートウォッチ、あるいはモバイルカメラまたは記録機能を備えたデバイスである。いくつかの実施形態では、映像および／または音声記録は、固定カメラおよび／またはマイクロフォンを用いて行われる。例えば、個人は、臨床医のオフィスにて質問を投げかけられ、これに対する応答が、マイクロフォンを取り付けた三脚上のカメラにより記録される場合がある。いくつかの実施形態では、カメラは高解像度カメラである。いくつかの実施形態では、個人は、デバイスインタフェースを介して応答を提供する、例えば、デバイスのタッチスクリーンインターフェース内で質問またはプロンプトに対する回答または応答を選択あるいはタイピングするように促される。いくつかの実施形態では、音声自体が記録され、これを解析して行動を正確に測定し、例えば発話および言語のレベルを判定する。これらの入力（例えば音声、映像、応答など）の解析に基づき得られた情報は、適切な治療を判定するために評価され得る。デジタル治療は対話型活動であってもよく、そこでは活動は、入力の解析に基づき、個人が活動に没頭している間に動的に修正または変更される。様々な様式が利用されてもよく、そこでは個人は、活動への没頭を継続しており、活動中にモニタリングされており、活動は、個人の入力または応答のリアルタイム解析に基づき動的に修正または調整される。例として、物語を話す活動は、難易度の異なる様々なストーリーラインまたはスレッドに分けることが可能な対話型の物語を通じて、個人をガイドすることができる。そこでは、利用可能なスレッドの難易度それぞれに関連する個人の発話および言語レベルの評価に基づき、適切なスレッドが選択される。

【0133】

場合により、デバイスは、１００ｍｓ以内の表情認識を可能とする最大１５～２０ＦＰＳのフレームレートで作動する。デバイスは、１０ＦＰＳ～１００ＦＰＳのフレームレートで作動することができる。デバイスは、１ＦＰＳ～１０ＦＰＳ、１ＦＰＳ～２０ＦＰＳ、１ＦＰＳ～３０ＦＰＳ、１ＦＰＳ～４０ＦＰＳ、１ＦＰＳ～５０ＦＰＳ、１ＦＰＳ～１００ＦＰＳ、１０ＦＰＳ～１５ＦＰＳ、１０ＦＰＳ～２０ＦＰＳ、１０ＦＰＳ～２５ＦＰＳ、１０ＦＰＳ～３０ＦＰＳ、１０ＦＰＳ～３５ＦＰＳ、１０ＦＰＳ～４０ＦＰＳ、１０ＦＰＳ～４５ＦＰＳ、１０ＦＰＳ～５０ＦＰＳ、１０ＦＰＳ～６０ＦＰＳ、１０ＦＰＳ～８０ＦＰＳ、１０ＦＰＳ～１００ＦＰＳ、１５ＦＰＳ～２０ＦＰＳ、１５ＦＰＳ～２５ＦＰＳ、１５ＦＰＳ～３０ＦＰＳ、１５ＦＰＳ～３５ＦＰＳ、１５ＦＰＳ～４０ＦＰＳ、１５ＦＰＳ～４５ＦＰＳ、１５ＦＰＳ～５０ＦＰＳ、１５ＦＰＳ～６０ＦＰＳ、１５ＦＰＳ～８０ＦＰＳ、１５ＦＰＳ～１００ＦＰＳ、２０ＦＰＳ～２５ＦＰＳ、２０ＦＰＳ～３０ＦＰＳ、２０ＦＰＳ～３５ＦＰＳ、２０ＦＰＳ～４０ＦＰＳ、２０ＦＰＳ～４５ＦＰＳ、２０ＦＰＳ～５０ＦＰＳ、２０ＦＰＳ～６０ＦＰＳ、２０ＦＰＳ～８０ＦＰＳ、２０ＦＰＳ～１００ＦＰＳ、２５ＦＰＳ～３０ＦＰＳ、２５ＦＰＳ～３５ＦＰＳ、２５ＦＰＳ～４０ＦＰＳ、２５ＦＰＳ～４５ＦＰＳ、２５ＦＰＳ～５０ＦＰＳ、２５ＦＰＳ～６０ＦＰＳ、２５ＦＰＳ～８０ＦＰＳ、２５ＦＰＳ～１００ＦＰＳ、３０ＦＰＳ～３５ＦＰＳ、３０ＦＰＳ～４０ＦＰＳ、３０ＦＰＳ～４５ＦＰＳ、３０ＦＰＳ～５０ＦＰＳ、３０ＦＰＳ～６０ＦＰＳ、３０ＦＰＳ～８０ＦＰＳ、３０ＦＰＳ～１００ＦＰＳ、３５ＦＰＳ～４０ＦＰＳ、３５ＦＰＳ～４５ＦＰＳ、３５ＦＰＳ～５０ＦＰＳ、３５ＦＰＳ～６０ＦＰＳ、３５ＦＰＳ～８０ＦＰＳ、３５ＦＰＳ～１００ＦＰＳ、４０ＦＰＳ～４５ＦＰＳ、４０ＦＰＳ～５０ＦＰＳ、４０ＦＰＳ～６０ＦＰＳ、４０ＦＰＳ～８０ＦＰＳ、４０ＦＰＳ～１００ＦＰＳ、４５ＦＰＳ～５０ＦＰＳ、４５ＦＰＳ～６０ＦＰＳ、４５ＦＰＳ～８０ＦＰＳ、４５ＦＰＳ～１００ＦＰＳ、５０ＦＰＳ～６０ＦＰＳ、５０ＦＰＳ～８０ＦＰＳ、５０ＦＰＳ～１００ＦＰＳ、６０ＦＰＳ～８０ＦＰＳ、６０ＦＰＳ～１００ＦＰＳ、または８０ＦＰＳ～１００ＦＰＳのフレームレートで作動することができる。デバイスは、１０ＦＰＳ、１５ＦＰＳ、２０ＦＰＳ、２５ＦＰＳ、３０ＦＰＳ、３５ＦＰＳ、４０ＦＰＳ、４５ＦＰＳ、５０ＦＰＳ、６０ＦＰＳ、８０ＦＰＳ、または１００ＦＰＳのフレームレートで作動することができる。デバイスは、少なくとも１ＦＰＳ、５ＦＰＳ、１０ＦＰＳ、１５ＦＰＳ、２０ＦＰＳ、２５ＦＰＳ、３０ＦＰＳ、３５ＦＰＳ、４０ＦＰＳ、４５ＦＰＳ、５０ＦＰＳ、６０ＦＰＳ、または８０ＦＰＳのフレームレートで作動することができる。デバイスは、多くとも１５ＦＰＳ、２０ＦＰＳ、２５ＦＰＳ、３０ＦＰＳ、３５ＦＰＳ、４０ＦＰＳ、４５ＦＰＳ、５０ＦＰＳ、６０ＦＰＳ、８０ＦＰＳ、または１００ＦＰＳのフレームレートで作動することができる。

【0134】

場合により、デバイスは、１０ｍｓ～２００ｍｓ以内に表情または動きを検出することができる。デバイスは、１０ｍｓ～２０ｍｓ、１０ｍｓ～３０ｍｓ、１０ｍｓ～４０ｍｓ、１０ｍｓ～５０ｍｓ、１０ｍｓ～６０ｍｓ、１０ｍｓ～７０ｍｓ、１０ｍｓ～８０ｍｓ、１０ｍｓ～９０ｍｓ、１０ｍｓ～１００ｍｓ、１０ｍｓ～１５０ｍｓ、１０ｍｓ～２００ｍｓ、２０ｍｓ～３０ｍｓ、２０ｍｓ～４０ｍｓ、２０ｍｓ～５０ｍｓ、２０ｍｓ～６０ｍｓ、２０ｍｓ～７０ｍｓ、２０ｍｓ～８０ｍｓ、２０ｍｓ～９０ｍｓ、２０ｍｓ～１００ｍｓ、２０ｍｓ～１５０ｍｓ、２０ｍｓ～２００ｍｓ、３０ｍｓ～４０ｍｓ、３０ｍｓ～５０ｍｓ、３０ｍｓ～６０ｍｓ、３０ｍｓ～７０ｍｓ、３０ｍｓ～８０ｍｓ、３０ｍｓ～９０ｍｓ、３０ｍｓ～１００ｍｓ、３０ｍｓ～１５０ｍｓ、３０ｍｓ～２００ｍｓ、４０ｍｓ～５０ｍｓ、４０ｍｓ～６０ｍｓ、４０ｍｓ～７０ｍｓ、４０ｍｓ～８０ｍｓ、４０ｍｓ～９０ｍｓ、４０ｍｓ～１００ｍｓ、４０ｍｓ～１５０ｍｓ、４０ｍｓ～２００ｍｓ、５０ｍｓ～６０ｍｓ、５０ｍｓ～７０ｍｓ、５０ｍｓ～８０ｍｓ、５０ｍｓ～９０ｍｓ、５０ｍｓ～１００ｍｓ、５０ｍｓ～１５０ｍｓ、５０ｍｓ～２００ｍｓ、６０ｍｓ～７０ｍｓ、６０ｍｓ～８０ｍｓ、６０ｍｓ～９０ｍｓ、６０ｍｓ～１００ｍｓ、６０ｍｓ～１５０ｍｓ、６０ｍｓ～２００ｍｓ、７０ｍｓ～８０ｍｓ、７０ｍｓ～９０ｍｓ、７０ｍｓ～１００ｍｓ、７０ｍｓ～１５０ｍｓ、７０ｍｓ～２００ｍｓ、８０ｍｓ～９０ｍｓ、８０ｍｓ～１００ｍｓ、８０ｍｓ～１５０ｍｓ、８０ｍｓ～２００ｍｓ、９０ｍｓ～１００ｍｓ、９０ｍｓ～１５０ｍｓ、９０ｍｓ～２００ｍｓ、１００ｍｓ～１５０ｍｓ、１００ｍｓ～２００ｍｓ、または１５０ｍｓ～２００ｍｓ以内に表情または動きを検出することができる。デバイスは、１０ｍｓ、２０ｍｓ、３０ｍｓ、４０ｍｓ、５０ｍｓ、６０ｍｓ、７０ｍｓ、８０ｍｓ、９０ｍｓ、１００ｍｓ、１５０ｍｓ、または２００ｍｓ以内に表情または動きを検出することができる。デバイスは、少なくとも１０ｍｓ、２０ｍｓ、３０ｍｓ、４０ｍｓ、５０ｍｓ、６０ｍｓ、７０ｍｓ、８０ｍｓ、９０ｍｓ、１００ｍｓ、または１５０ｍｓ以内に表情または動きを検出することができる。デバイスは、多くとも２０ｍｓ、３０ｍｓ、４０ｍｓ、５０ｍｓ、６０ｍｓ、７０ｍｓ、８０ｍｓ、９０ｍｓ、１００ｍｓ、１５０ｍｓ、または２００ｍｓ以内に表情または動きを検出することができる。

【0135】

いくつかの実施形態では、本明細書に開示されるシステムおよびデバイスは、ユーザーの測定値を得るためのバイオセンサを備えている。例えば、バイオセンサは、個人の心拍数、血糖値、呼吸数、または活動レベルを測定するために使用されてもよい。いくつかの実施形態では、バイオセンサは、心電図または脳波図センサ、電位差計、加速度計、またはジャイロメータを含む。かかる測定値は、デジタル診断および／または治療活動、例えば、対話形式で物語を話す活動での個人の応答および／または相互作用の評価を評価する、あるいは増大させるために使用することができ、この間に個人は、活動を動的に改変するために使用される言葉、映像、および／またはデジタル応答を誘発させる物語を通じてガイドされる。

【0136】

デジタル処理デバイス
いくつかの実施形態では、本明細書に記載されるプラットフォーム、システム、媒体、および方法は、デジタル処理デバイス、またはその使用を含む。さらなる実施形態では、デジタル処理デバイスは、デバイスの機能を実行する１つ以上のハードウェア中央処理装置（ＣＰＵ）あるいは汎用グラフィック処理装置（ＧＰＧＰＵ）を備えている。またさらなる実施形態では、デジタル処理デバイスは、実行可能命令を行うように構成されるオペレーティングシステムをさらに備えている。いくつかの実施形態では、デジタル処理デバイスは、任意選択でコンピュータネットワークに接続される。さらなる実施形態では、デジタル処理デバイスは、ワールド・ワイド・ウェブにアクセスするように任意選択でインターネットに接続される。またさらなる実施形態では、デジタル処理デバイスは、任意選択でクラウド・コンピューティング・インフラストラクチャに接続される。他の実施形態では、デジタル処理デバイスは、任意選択でイントラネットに接続される。他の実施形態では、デジタル処理デバイスは、任意選択でデータ記憶デバイスに接続される。

【0137】

本明細書の記載によれば、適切なデジタル処理デバイスの非限定的な例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、メディアストリーミングデバイス、ハンドヘルドコンピュータ、インターネット家電、モバイルスマートフォン、タブレットコンピュータ、携帯情報端末、ビデオゲーム機、および伝達手段が挙げられる。当業者は、多くのスマートフォンが、本明細書に記載のシステムでの使用に適していることを認識するであろう。当業者はまた、選択したテレビ、ビデオプレーヤー、およびデジタル音楽プレーヤのうち任意選択のコンピュータネットワークの接続性を備えたものが、本明細書に記載のシステムでの使用に適していることを認識するであろう。適切なタブレットコンピュータとして、当業者に既知のブックレット、スレート、および変換可能な構成を備えたものが挙げられる。

【0138】

いくつかの実施形態では、デジタル処理デバイスは、実行可能命令を行うように構成されたオペレーティングシステムを含む。このオペレーティングシステムは、例えば、デバイスのハードウェアを管理し、アプリケーションの実施のためのサービスを提供するプログラムおよびデータを備えたソフトウェアである。当業者は、適切なサーバ・オペレーティング・システムとして、ＦｒｅｅＢＳＤ、ＯｐｅｎＢＳＤ、ＮｅｔＢＳＤ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｐｐｌｅ（登録商標）、Ｍａｃ ＯＳ Ｘ Ｓｅｒｖｅｒ（登録商標）、Ｏｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、およびＮｏｖｅｌｌ（登録商標）ＮｅｔＷａｒｅ（登録商標）が挙げられるが、これらに限定されるものではないことを認識するであろう。当業者は、適切なパーソナル・コンピュータ・オペレーティング・システムとして、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ（登録商標）Ｍａｃ ＯＳ Ｘ（登録商標）、ＵＮＩＸ（登録商標）、および、ＧＮＵ／Ｌｉｎｕｘ（登録商標）などのＵＮＩＸ（登録商標）様オペレーティングシステムが挙げられるが、これらに限定されるものではないことを認識するであろう。いくつかの実施形態では、オペレーティングシステムは、クラウドコンピューティングにより設けられる。当業者はまた、適切なモバイルスマートフォンのオペレーティングシステムとして、Ｎｏｋｉａ（登録商標）Ｓｙｍｂｉａｎ（登録商標）ＯＳ、Ａｐｐｌｅ（登録商標）ｉＯＳ（登録商標）、Ｒｅｓｅａｒｃｈ Ｉｎ Ｍｏｔｉｏｎ（登録商標）ＢｌａｃｋＢｅｒｒｙ ＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）Ａｎｄｒｏｉｄ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ（登録商標）ＯＳ、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）ＯＳ、Ｌｉｎｕｘ（登録商標）、およびＰａｌｍ（登録商標）ＷｅｂＯＳ（登録商標）が挙げられるが、これらに限定されるものではないことを認識するであろう。当業者はまた、適切なメディアストリーミングデバイスのオペレーティングシステムとして、Ａｐｐｌｅ ＴＶ（登録商標）、Ｒｏｋｕ（登録商標）、Ｂｏｘｅｅ（登録商標）、Ｇｏｏｇｌｅ ＴＶ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅｃａｓｔ（登録商標）、Ａｍａｚｏｎ Ｆｉｒｅ（登録商標）、およびＳａｍｓｕｎｇ（登録商標）ＨｏｍｅＳｙｎｃ（登録商標）が挙げられるが、これらに限定されるものではないことを認識するであろう。当業者はまた、適切なビデオゲームコンソールのオペレーティングシステムとして、Ｓｏｎｙ（登録商標）ＰＳ３（登録商標）、Ｓｏｎｙ（登録商標）ＰＳ４（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｘｂｏｘ ３６０（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｘｂｏｘ Ｏｎｅ、Ｎｉｎｔｅｎｄｏ（登録商標）Ｗｉｉ（登録商標）、Ｎｉｎｔｅｎｄｏ（登録商標）Ｗｉｉ Ｕ（登録商標）、およびＯｕｙａ（登録商標）が挙げられるが、これらに限定されるものではないことを認識するであろう。

【0139】

いくつかの実施形態では、デバイスは、記憶デバイスおよび／またはメモリデバイスを含む。記憶デバイスおよび／またはメモリデバイスは、一時的または恒久的にデータまたはプログラムを記憶するために使用される１つ以上の物理装置である。いくつかの実施形態では、デバイスは揮発性メモリであり、記憶した情報を維持するために電力を必要とする。いくつかの実施形態では、前記デバイスは不揮発性メモリであり、前記デジタル処理デバイスに電力が供給されないときにも記憶情報を保持する。さらなる実施形態では、不揮発性メモリは、フラッシュメモリを含む。いくつかの実施形態では、前記不揮発性メモリは、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）を含む。いくつかの実施形態では、前記不揮発性メモリは、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）を含む。いくつかの実施形態では、前記不揮発性メモリは、相変化ランダムアクセスメモリ（ＰＲＡＭ）を含む。他の実施形態では、前記デバイスは記憶デバイスであり、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、磁気ディスク、磁器テープドライブ、光ディスクドライブ、およびクラウドコンピューティングベースの記憶装置が挙げられるが、これらに限定されるものではない。さらなる実施形態では、記憶デバイスおよび／またはメモリデバイスは、本明細書に開示されるものなどのデバイスを組み合わせたものである。

【0140】

いくつかの実施形態では、デジタル処理デバイスは、ユーザーに視覚情報を送るためのディスプレイを備えている。いくつかの実施形態では、ディスプレイは液晶ディスプレイ（ＬＣＤ）である。さらなる実施形態では、ディスプレイは、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ－ＬＣＤ）である。いくつかの実施形態では、ディスプレイは、有機発光ダイオード（ＯＬＥＤ）ディスプレイである。様々なさらなる実施形態では、ＯＬＥＤディスプレイは、パッシブマトリクスＯＬＥＤ（ＰＭＯＬＥＤ）またはアクティブマトリクスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイである。いくつかの実施形態では、ディスプレイはプラズマディスプレイである。他の実施形態では、ディスプレイはビデオプロジェクタである。さらに他の実施形態では、ディスプレイは、ＶＲヘッドセットなどのデジタル処理デバイスと通信状態にある頭部装着型ディスプレイである。さらなる実施形態では、適切なＶＲヘッドセットとして、ＨＴＣ Ｖｉｖｅ、Ｏｃｕｌｕｓ Ｒｉｆｔ、Ｓａｍｓｕｎｇ Ｇｅａｒ ＶＲ、マイクロソフトＨｏｌｏＬｅｎｓ、Ｒａｚｅｒ ＯＳＶＲ、ＦＯＶＥ ＶＲ、Ｚｅｉｓｓ ＶＲ Ｏｎｅ、Ａｖｅｇａｎｔ Ｇｌｙｐｈ、Ｆｒｅｅｆｌｙ ＶＲのヘッドセットなどが挙げられるが、これらに限定されるものではない。またさらなる実施形態では、ディスプレイは、本明細書に開示されるものなどのデバイスを組み合わせたものである。

【0141】

いくつかの実施形態では、デジタル処理デバイスは、ユーザーから情報を受け取るための入力デバイスを備えている。いくつかの実施形態では、入力デバイスはキーボードである。いくつかの実施形態では、入力デバイスはポインティングデバイスであり、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームコントローラ、またはスタイラスが挙げられるが、これらに限定されるものではない。いくつかの実施形態では、前記入力デバイスは、タッチスクリーンまたはマルチタッチスクリーンである。他の実施形態では、入力デバイスは、音声または他の音入力を捕えるマイクロフォンである。他の実施形態では、入力デバイスは、動作または視覚の入力を捕えるビデオカメラまたは他のセンサである。さらなる実施形態では、入力デバイスは、Ｋｉｎｅｃｔ、Ｌｅａｐ Ｍｏｔｉｏｎなどである。またさらなる実施形態では、入力デバイスは、本明細書に開示されるものなどのデバイスを組み合わせたものである。

【0142】

非一時的コンピュータ可読記憶媒体
いくつかの実施例では、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、任意選択でネットワーク化されたデジタル処理デバイスのオペレーティングシステムにより実行可能な命令を含むプログラムを用いて符号化された１つ以上の非一時的コンピュータ可読記憶媒体を含む。さらなる実施形態では、コンピュータ可読記憶媒体は、デジタル処理デバイスの有形部品である。またさらなる実施形態では、コンピュータ可読記憶媒体は、任意選択でデジタル処理デバイスから取り外し可能である。いくつかの実施形態では、コンピュータ可読記憶媒体として、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、ソリッドステートメモリ、磁気ディスク、磁気テープドライブ、光ディスクドライブ、クラウドコンピューティングシステム、およびサービスなどが挙げられるが、これらに限定されるものではない。場合により、プログラムと命令は、永続的に、ほぼ永続的に、半永続的に、または非一時的に媒体上で符号化される。

【0143】

コンピュータプログラム
いくつかの実施形態では、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、少なくとも１つのコンピュータプログラム、またはその使用を含む。コンピュータプログラムは、デジタル処理デバイスのＣＰＵ中で実行可能であり、特別なタスクを実行するために書かれた一連の命令を含む。コンピュータ可読命令は、特定のタスクを実行するか、特定の抽象データタイプを実施する機能、オブジェクト、アプリケーション・プログラム・インターフェース（ＡＰＩ）、データ構造などのプログラムモジュールとして実施されてもよい。本明細書で提供される開示に照らして、当業者は、コンピュータプログラムが様々な言語の様々なバージョンで書かれてもよいことを認識するであろう。

【0144】

コンピュータ可読命令の機能は、様々な環境に所望されるように組み合わせられるか、分布されてもよい。いくつかの実施形態では、コンピュータプログラムは、１つの連続した命令を含む。いくつかの実施形態では、コンピュータプログラムは、複数の連続した命令を含む。いくつかの実施形態では、コンピュータプログラムは、１つの場所から提供される。他の実施形態では、コンピュータプログラムは、複数の場所から提供される。様々な実施形態では、コンピュータプログラムは、１つ以上のソフトウェアモジュールを含む。様々な実施形態では、コンピュータプログラムは、部分的または全体的に、１つ以上のウェブアプリケーション、１つ以上のモバイルアプリケーション、１つ以上の独立型アプリケーション、１つ以上のウェブ・ブラウザ・プラグイン、エクステンション、アドイン、またはアドオン、あるいはこれらの組合せを含む。

【0145】

ウェブアプリケーション
いくつかの実施形態では、コンピュータプログラムは、ウェブアプリケーションを備えている。本明細書で提供される開示に照らして、当業者は、ウェブアプリケーションが、様々な実施形態では、１つ以上のソフトウェアフレームワークおよび１つ以上のデータベースシステムを利用することを認識するであろう。いくつかの実施形態では、ウェブアプリケーションは、Ｍｉｃｒｏｓｏｆｔ（登録商標）．ＮＥＴまたはＲｕｂｙ ｏｎ Ｒａｉｌｓ（ＲｏＲ）などのソフトウェアフレームワーク上で作製される。いくつかの実施形態では、ウェブアプリケーションは、リレーショナル、非リレーショナル、オブジェクト指向、連想型、およびＸＭＬのデータベースシステムを含むがこれらに限定されない１つ以上のデータベースシステムを利用する。さらなる実施形態では、適切なリレーショナルデータベースシステムとして、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬ Ｓｅｒｖｅｒ、ｍｙＳＱＬ（商標）、およびＯｒａｃｌｅ（登録商標）が挙げられるが、これらに限定されるものではない。当業者は、ウェブアプリケーションが、様々な実施形態では１つ以上の言語の１つ以上のバージョンで書かれることを認識するであろう。ウェブアプリケーションは、１つ以上のマークアップ言語、プレゼンテーション定義言語、クライアント側スクリプト言語、サーバ側コード化言語、データベース照会言語、またはこれらの組合せで書かれてもよい。いくつかの実施形態では、ウェブアプリケーションは、ある程度、Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）、Ｅｘｔｅｎｓｉｂｌｅ Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＨＴＭＬ）、またはｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＭＬ）などのマークアップ言語で書かれる。いくつかの実施形態では、ウェブアプリケーションは、ある程度、Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ（ＣＳＳ）などのプレゼンテーション定義言語で書かれる。いくつかの実施形態では、ウェブアプリケーションは、ある程度、Ａｓｙｎｃｈｒｏｎｏｕｓ Ｊａｖａｓｃｒｉｐｔ ａｎｄ ＸＭＬ（ＡＪＡＸ）、Ｆｌａｓｈ（登録商標）Ａｃｔｉｏｎｓｃｒｉｐｔ、Ｊａｖａｓｃｒｉｐｔ、またはＳｉｌｖｅｒｌｉｇｈｔ（登録商標）などのクライアント側スクリプトで書かれる。いくつかの実施形態では、ウェブアプリケーションは、ある程度、Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｓ（ＡＳＰ）、ＣｏｌｄＦｕｓｉｏｎ（登録商標）、Ｐｅｒｌ、Ｊａｖａ（商標）、ＪａｖａＳｅｒｖｅｒ Ｐａｇｅｓ（ＪＳＰ）、Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ（ＰＨＰ）、Ｐｙｔｈｏｎ（商標）、Ｒｕｂｙ、Ｔｃｌ、Ｓｍａｌｌｔａｌｋ、ＷｅｂＤＮＡ（登録商標）、またはＧｒｏｏｖｙなどのサーバ側コード化言語で書かれる。いくつかの実施形態では、ウェブアプリケーションは、ある程度、Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ（ＳＱＬ）などのデータベース照会言語で書かれる。いくつかの実施形態では、ウェブアプリケーションは、ＩＢＭＲ Ｌｏｔｕｓ Ｄｏｍｉｎｏ（登録商標）などの企業サーバ製品を統合している。いくつかの実施形態では、ウェブアプリケーションは、メディアプレーヤ要素を含む。様々なさらなる実施形態では、メディアプレーヤ要素は、Ａｄｏｂｅ（登録商標）Ｆｌａｓｈ（登録商標）、ＨＴＭＬ ５、Ａｐｐｌｅ（登録商標）ＱｕｉｃｋＴｉｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｓｉｌｖｅｒｌｉｇｈｔ（登録商標）、Ｊａｖａ（登録商標）、およびＵｎｉｔｙ（登録商標）を含むがこれらに限定されない多くの適切なマルチメディア技法のうち１つ以上を利用する。

【0146】

モバイルアプリケーション
いくつかの実施形態では、コンピュータプログラムは、モバイルデジタル処理デバイスに設けられるモバイルアプリケーションを備えている。いくつかの実施形態では、モバイルアプリケーションは、製造時にモバイルデジタル処理デバイスに設けられる。他の実施形態では、モバイルアプリケーションは、本明細書に記載のコンピュータネットワークを介してモバイルデジタル処理デバイスに設けられる。

【0147】

本明細書で提供される開示に照らすと、モバイルアプリケーションは、当該技術分野で既知のハードウェア、言語、および開発環境を使用する、当業者に既知の技法により作製される。当業者は、モバイルアプリケーションが様々な言語で書かれることを認識するであろう。適切なプログラミング言語として、Ｃ、Ｃ＋＋、Ｃ＃、Ｏｂｊｅｃｔｉｖｅ－Ｃ、Ｊａｖａ（商標）、Ｊａｖａｓｃｒｉｐｔ、Ｐａｓｃａｌ、Ｏｂｊｅｃｔ Ｐａｓｃａｌ、Ｐｙｔｈｏｎ（商標）、Ｒｕｂｙ、ＶＢ．ＮＥＴ、ＷＭＬ、および、ＣＳＳの有無にかかわらずＸＨＴＭＬ／ＨＴＭＬ、またはこれらの組合せが挙げられるが、これらに限定されるものではない。

【0148】

適切なモバイルアプリケーション開発環境は、様々なソースから入手可能である。市販で入手可能な開発環境として、ＡｉｒｐｌａｙＳＤＫ、ａｌｃｈｅＭｏ、Ａｐｐｃｅｌｅｒａｔｏｒ（登録商標）、Ｃｅｌｓｉｕｓ、Ｂｅｄｒｏｃｋ、Ｆｌａｓｈ Ｌｉｔｅ、．ＮＥＴ Ｃｏｍｐａｃｔ Ｆｒａｍｅｗｏｒｋ、Ｒｈｏｍｏｂｉｌｅ、およびＷｏｒｋＬｉｇｈｔ Ｍｏｂｉｌｅ Ｐｌａｔｆｏｒｍが挙げられるが、これらに限定されるものではない。他の開発環境はコスト無しで入手可能であり、Ｌａｚａｒｕｓ、ＭｏｂｉＦｌｅｘ、ＭｏＳｙｎｃ、およびＰｈｏｎｅｇａｐが挙げられるが、これらに限定されるものではない。また、モバイルデバイスの製造業者は、ｉＰｈｏｎｅ（登録商標）およびｉＰａｄ（登録商標）（ｉＯＳ）ＳＤＫ、Ａｎｄｒｏｉｄ（商標）ＳＤＫ、ＢｌａｃｋＢｅｒｒｙ（登録商標）ＳＤＫ、ＢＲＥＷ ＳＤＫ、Ｐａｌｍ（登録商標）ＯＳ ＳＤＫ、Ｓｙｍｂｉａｎ ＳＤＫ、ｗｅｂＯＳ ＳＤＫ、およびＷｉｎｄｏｗｓ（登録商標）Ｍｏｂｉｌｅ ＳＤＫを含むがこれらに限定されないソフトウェア開発キットを流通させている。

【0149】

当業者は、様々な商用フォーラムが、Ａｐｐｌｅ（登録商標）Ａｐｐ Ｓｔｏｒｅ、Ｇｏｏｇｌｅ（登録商標）Ｐｌａｙ、Ｃｈｒｏｍｅ ＷｅｂＳｔｏｒｅ、ＢｌａｃｋＢｅｒｒｙ（登録商標）Ａｐｐ Ｗｏｒｌｄ、Ａｐｐ Ｓｔｏｒｅ ｆｏｒ Ｐａｌｍ ｄｅｖｉｃｅｓ、Ａｐｐ Ｃａｔａｌｏｇ ｆｏｒ ｗｅｂＯＳ、Ｗｉｎｄｏｗｓ（登録商標）Ｍａｒｋｅｔｐｌａｃｅ ｆｏｒ Ｍｏｂｉｌｅ、Ｏｖｉ Ｓｔｏｒｅ ｆｏｒ Ｎｏｋｉａ（登録商標）ｄｅｖｉｃｅ、Ｓａｍｓｕｎｇ（登録商標）Ａｐｐ、およびＮｉｎｔｅｎｄｏ（登録商標）ＤＳｉ Ｓｈｏｐを含むがこれらに限定されない、モバイルアプリケーションの流通に利用可能であることを認識する。

【0150】

独立型アプリケーション
いくつかの実施形態では、コンピュータプログラムは独立型アプリケーションを備えており、これは、既存のプロセスへのアドオン、例えばプラグインではなく、独立したコンピュータプロセスとして実行されるプログラムである。当業者は、独立型アプリケーションが頻繁にコンパイルされることを認識する。コンパイラは、プログラミング言語で書かれたソースコードを、アセンブリ言語または機械コードなどのバイナリ・オブジェクト・コード（ｂｉｎａｒｙ ｏｂｊｅｃｔ ｃｏｄｅ）へと変換させるコンピュータプログラムである。コンパイルされた適切なプログラミング言語として、Ｃ、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ－Ｃ、ＣＯＢＯＬ、Ｄｅｌｐｈｉ、Ｅｉｆｆｅｌ、Ｊａｖａ（商標）、Ｌｉｓｐ、Ｐｙｔｈｏｎ（商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、およびＶＢ ．ＮＥＴ、またはこれらの組合せが挙げられるが、これらに限定されるものではない。コンパイルは、多くの場合、実行可能なプログラムを作製するために少なくとも部分的に行なわれる。いくつかの実施形態では、コンピュータプログラムは、１つ以上の実行可能なコンパイルされたアプリケーションを備えている。

【0151】

ウェブ・ブラウザ・プラグイン
いくつかの実施形態では、コンピュータプログラムは、ウェブブラウザ・プラグイン（例えば、エクステンションなど）を備えている。コンピューティングでは、プラグインは、より大きなソフトウェアアプリケーションに特異的な機能を加える１つ以上のソフトウェアコンポーネントである。ソフトウェアアプリケーションの製造業者は、第三者である開発者が、アプリケーションを拡張させる性能を作り出し、新たな機能の容易な追加を支援し、かつアプリケーションのサイズを減らすことを可能にするようにプラグインを支持する。プラグインは支持されると、ソフトウェアアプリケーションの機能性のカスタマイズを可能にする。例えば、プラグインは、映像を再生し、対話を生成し、ウイルスをスキャンし、および特定のファイルタイプを表示するためにウェブブラウザで共通して使用されている。当業者は、Ａｄｏｂｅ（登録商標）Ｆｌａｓｈ（登録商標）Ｐｌａｙｅｒ、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｓｉｌｖｅｒｌｉｇｈｔ（登録商標）、およびＡｐｐｌｅ（登録商標）ＱｕｉｃｋＴｉｍｅ（登録商標）を含む様々なウェブ・ブラウザ・プラグインに精通している。

【0152】

本明細書で提供される開示を考慮して、当業者は、Ｃ＋＋、Ｄｅｌｐｈｉ、Ｊａｖａ（商標）、ＰＨＰ、Ｐｙｔｈｏｎ（商標）、およびＶＢ．ＮＥＴを含むがこれらに限定されない様々なプログラミング言語でのプラグインの開発を可能にする様々なプラグインフレームワークが利用可能であることを認識するであろう。

【0153】

ウェブブラウザ（インターネットブラウザとも呼ばれる）は、ワールド・ワイド・ウェブ上で情報資源を検索、提示、およびトラバースする（ｔｒａｖｅｒｓｉｎｇ）ために、ネットワーク接続されたデジタル処理デバイスでの使用に設計されたソフトウェアアプリケーションである。適切なウェブブラウザとして、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）、Ｍｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ（登録商標）、Ｇｏｏｇｌｅ（登録商標）Ｃｈｒｏｍｅ、Ａｐｐｌｅ（登録商標）Ｓａｆａｒｉ（登録商標）、Ｏｐｅｒａ Ｓｏｆｔｗａｒｅ（登録商標）Ｏｐｅｒａ（登録商標）、およびＫＤＥ Ｋｏｎｑｕｅｒｏｒが挙げられるが、これらに限定されるものではない。いくつかの実施形態では、ウェブブラウザはモバイルウェブブラウザである。モバイルウェブブラウザ（マイクロブラウザ、ミニブラウザ、およびワイヤレスブラウザとも呼ばれる）は、ハンドヘルドコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、サブノートブックコンピュータ、スマートフォン、ミュージックプレーヤ、携帯情報端末（ＰＤＡ）、およびハンドヘルド・ビデオ・ゲーム・システムを含むがこれらに限定されないモバイルデジタル処理デバイスでの使用に設計されている。適切なモバイルウェブブラウザとして、Ｇｏｏｇｌｅ（登録商標）Ａｎｄｒｏｉｄ（登録商標）ブラウザ、ＲＩＭ ＢｌａｃｋＢｅｒｒｙ（登録商標）ブラウザ、Ａｐｐｌｅ（登録商標）Ｓａｆａｒｉ（登録商標）、Ｐａｌｍ（登録商標）Ｂｌａｚｅｒ、Ｐａｌｍ（登録商標）ＷｅｂＯＳ（登録商標）Ｂｒｏｗｓｅｒ、携帯用のＭｏｚｉｌｌａ（登録商標）Ｆｉｒｅｆｏｘ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）Ｍｏｂｉｌｅ、Ａｍａｚｏｎ（登録商標）Ｋｉｎｄｌｅ（登録商標）Ｂａｓｉｃ Ｗｅｂ、Ｎｏｋｉａ（登録商標）ブラウザ、Ｏｐｅｒａ Ｓｏｆｔｗａｒｅ（登録商標）Ｏｐｅｒａ（登録商標）Ｍｏｂｉｌｅ、およびＳｏｎｙ（登録商標）ＰＳＰ（商標）ブラウザが挙げられるが、これらに限定されるものではない。

【0154】

ソフトウェアモジュール
いくつかの実施形態では、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、ソフトウェア、サーバ、および／またはデータベースモジュール、あるいはこれらの使用を含む。本明細書で提供される開示に照らすと、ソフトウェアモジュールは、当該技術分野で既知のマシン、ソフトウェア、および言語を使用する、当業者に既知の技法により作製される。本明細書に開示されるソフトウェアモジュールは、多数の方法で実装される。様々な実施形態では、ソフトウェアモジュールは、ファイル、コードのセクション、プログラミングオブジェクト、プログラミング構造、またはこれらの組合せを含む。さらに様々な実施形態では、ソフトウェアモジュールは、複数のファイル、複数のコードのセクション、複数のプログラムミングオブジェクト、複数のプログラムミング構造、またはこれらの組合せを含む。様々な実施形態では、前記１つ以上のソフトウェアモジュールとして、ウェブアプリケーション、モバイルアプリケーション、および独立型アプリケーションが挙げられるが、これらに限定されるものではない。いくつかの実施形態では、ソフトウェアモジュールは、１つのコンピュータプログラムまたはアプリケーション中にある。他の実施形態では、ソフトウェアモジュールは、１より多くのコンピュータプログラムまたはアプリケーション中にある。いくつかの実施形態では、ソフトウェアモジュールは、１つのマシン上にホストされる（ｈｏｓｔｅｄ）。他の実施形態では、ソフトウェアモジュールは、１より多くのマシン上にホストされる。さらなる実施形態では、ソフトウェアモジュールは、クラウド・コンピューティング・プラットフォーム上にホストされる。いくつかの実施形態では、ソフトウェアモジュールは、１つの場所にある１つ以上のマシン上にホストされる。他の実施形態では、ソフトウェアモジュールは、１より多くの場所にある１つ以上のマシン上にホストされる。

【0155】

データベース
いくつかの実施形態では、本明細書に記載されるプラットフォーム、システム、媒体、および方法は、１つ以上のデータベース、またはその使用を含む。様々な実施形態では、適切なデータベースとして、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向型データベース、オブジェクトデータベース、実体関連モデルデータベース、連想データベース、およびＸＭＬデータベースが挙げられるが、これらに限定されるものではない。さらに非限定的な例として、ＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ、ＭｙＳＱＬ、Ｏｒａｃｌｅ、ＤＢ２、およびＳｙｂａｓｅが挙げられる。いくつかの実施形態では、データベースはインターネットベースである。さらなる実施形態では、データベースはウェブベースである。またさらなる実施形態では、データベースは、クラウドコンピューティングベースである。他の実施形態では、データベースは、１つ以上のローカルコンピュータ記憶デバイスをベースとする。

【0156】

行動障害、発達遅延、および神経系機能障害を評価するためのプラットフォーム
本明細書のいくつかの実施形態では、行動障害、発達遅延、および神経系機能障害を評価するためのプラットフォームが開示され、該プラットフォームは１つ以上のコンピューティングデバイスを備えており、それぞれが、１つ以上のコンピューティングデバイス間でデータの通信および／または共有を可能にするアプリケーションを備えている。いくつかの実施形態では、アプリケーションは、例えば医療提供者ポータルや患者ポータルなど特別ポータルをユーザーに提供する。本明細書に記載のプラットフォーム上のアプリケーションにより提供される特徴は、個人を記録し、本明細書に記載の技法を使用して個人を評価することを含む。

【0157】

いくつかの実施形態では、ユーザーは、第１のコンピューティングデバイス上の第１のユーザーアプリケーションにある記録アプリケーション使用を通して、評価対象の個人の映像を記録する。いくつかの実施形態では、ユーザーアプリケーションは、記録の種類と長さについてユーザーに関する指示を提供する。いくつかの実施形態では、記録は、個人の動き、質問や要求に対する応答、食事、感情表現、睡眠、遊び、会話、ウォッチング（例えばテレビ）、自身の仕事に対する応答または進捗の記録である。

【0158】

いくつかの実施形態では、機械学習ソフトウェアモジュールにより解析された記録は、臨床医アプリケーションの使用により、起こり得る診断それぞれに関する蓋然性スコアを臨床医に提供する。いくつかの実施形態では、蓋然性スコアは、臨床医アプリケーションに表示される閾値数を超えなければならない。いくつかの実施形態では、特定の閾値未満の蓋然性スコアは、臨床医アプリケーション中の別個のタブまたはスクリーンに表示される。いくつかの実施形態では、臨床医は、臨床医アプリケーションを通じて解析結果を検討し、追加データを要求する。例えば、臨床医は、子供の蓋然性スコアが、自閉症の一種では３５％、精神遅滞の一種では４８％、発語障害では１０％であるという結果を受け取ることができる。蓋然性スコア閾値は２５％に設定され、臨床医は、自閉症および精神遅滞のスコアを検討する。臨床医は、アプリケーションを介して行動試験を命じ、１または両方の指示を示すタスクを実施する子供の追加の映像を要求する。いくつかの実施形態では、臨床医は、機械学習アルゴリズムにより提供された結果の補助により個人を診断する。いくつかの実施形態では、臨床医は、アプリケーションおよびデータに診断を入力し、診断は医療従事者に利用可能となる。

【0159】

いくつかの実施形態では、医療提供者は、個人の処置を調整し、ユーザーおよび個人に処置に関する助言を提供することが可能である。いくつかの実施形態では、医療提供者のネットワークにおいて個人を処置する臨床医は、記録および診断試験にアクセスすることが可能である。

【実施例】

【0160】

実施例１
ある親が、自分の２歳の子供には発達の診査事項がいくつか欠如していることを懸念しており、発達遅延について子供を評価してもらおうと臨床医に接触する。臨床医は親に対し、自分のスマートフォンにアプリケーションをダウンロードして、子供が質問に応答し、大人と遊び、かつ独りで遊んでいる様子をビデオに撮影してもらうように要求する。このアプリケーションは、撮影角度、撮影距離、および照明の考慮に関する、子供の撮影のガイダンスを提供するものである。親はアプリケーションを介してビデオを撮影し、性別、誕生日、および撮影されている活動の種類など、子供に関する個人情報を入力する。映像は臨床医に送信され、１つ以上の機械学習アルゴリズムにより自動的に解析される。臨床医は、発達遅延の診断に関する蓋然性スコアを受け取る。臨床医は、１つ以上の機械学習アルゴリズムにより検出した高次行動および行動パターンを検討し、診断に使用したデータに臨床的に関連性があることを確認する。臨床医は、追加の試験を命じて、提唱した診断を確認してもよい。医師と親は、会合して診断と処置を議論する。臨床医は、映像中の特異的行動を指摘し、観察した行動を親に示すことが可能である。臨床医は、処置の助言を提供し、映像を所定間隔で撮影して子供の進歩および提唱した処置の有効性をモニタリングするよう要求する。進歩が見られない場合、臨床医は処置を変更してもよい。臨床医は、後の映像解析後に代わりに提唱した診断を受け取り、追加の試験または処置を処方する場合がある。

【0161】

実施例２
子供が、自閉症とＡＤＨＤ両方の徴候である多くの行動を示す。本明細書に記載の１つ以上の機械学習アルゴリズムが、子供の映像記録を解析する。機械学習アルゴリズムは、２つの診断それぞれに固有のものであるが、ヒトの眼で認識するのが困難である行動ユニット、高次行動、および行動パターンを認識することが可能である。１つ以上の機械学習アルゴリズムは、２つの診断それぞれに関する蓋然性スコアを提供し、子供においてＡＤＨＤの可能性が非常に高く、自閉症の可能性は低いことを見出す。

【0162】

実施例３
ある親が、自分の２歳の子供には発達の診査事項がいくつか欠如していることを懸念しており、発達遅延について子供を評価してもらおうと臨床医に接触する。臨床医は親に対し、自分のスマートフォンにアプリケーションをダウンロードして、アプリケーション中で提供する対話型活動に子供が没頭するのを手助けするように要求する。対話型活動は、子供の発話および言語の発達を促進かつ改善させつつ、子供の活動没頭から集めた入力データに基づき子供を継続的に評価するという形で、デジタル治療を提供するものである。このアプリケーションは、活動に関するガイダンスを提供するとともに、質問を行うかプロンプトを与えることで子供からフィードバックまたは応答を誘発することにより子供を没頭させるバーチャルキャラクタを提供する。

【0163】

アプリケーションは、子供が没頭する様々な対話型デジタル活動を対話型モジュールに提供することにより、幼い子供の発語および言語の発達に関する家庭内での自動評価を実行する。親はタブレット上でソフトウェアアプリケーションを起動し、子供のために物語本の読み聞かせ（ｒｅａｄｉｎｇ）活動を選択する。物語本の読み聞かせ活動は、ガイダンスを提供するデジタルキャラクタを提供する（図５Ａを参照）。子供には物語シーケンスと、これに付随する対応テキストが提示される（図５Ａを参照）。物語シーケンスが完了した後、デジタルキャラクタは、物語シーケンスに関する質問を子供に行い、物語の理解度を評価する（図５Ｃ）。

【0164】

次に、デジタルキャラクタは、親に物語を伝えるよう子供に求め、これにより子供が物語を再び伝える能力を試験する（図６Ａを参照）。物語からの視覚シーケンスを図６Ｂに示す。子供による物語の再伝達を解析して、シーケンスの再伝達に関する熟達度を判定する。デジタルキャラクタはさらに、絵のプロンプトに基づき物語を考え出すよう子供に求め、子供の応答を評価して、絵に誘発された話の提供に関する熟達度を判定することができる（図７Ａと７Ｂを参照）。

【0165】

対話型のモジュールにより提供された追加の活動は、無色の絵または画像への着色、物語シーケンスの操作（例えば、シーケンスを正確な番号の順序で置くか、代わりに新たなシーケンス順序を考え出す。図８を参照）、および／または、子供が物語シーケンス、キャラクタ、オブジェクト、色、または他の視覚要素の操作および／または再配列により自分自身の物語を作り出すのを可能とすることによる物語の個別化を含む場合がある（図９を参照）。個別化された物語は、音声シーケンスの操作に加えて再配列、例えば、音声シーケンスまたはクリップを視覚上の物語シーケンスに一致させることを含む場合がある。一例として、子供には、様々なバーチャルオブジェクト（例えばキャラクタ、動物、道具、衣服、乗物、建物、および他のオブジェクト）を追加、削除、拡大／縮小、移動、着色、または編集するための選択可能な対話型ボタンを有するグラフィックユーザーインターフェースを、アプリケーションを介して提供される。テキストまたはダイアログも、対応する音声クリップとともに挿入可能である。

【0166】

対話型モジュールにより提供された追加の可能は、ソーシャルストーリー（図１０を参照）またはゲームベースの生活スキル訓練（図１１を参照）を介して埋込み型介入を含む場合がある。

【0167】

本発明の好ましい実施形態を本明細書中で示しかつ記載してきたが、このような実施形態はほんの一例として提供されるものであることは、当業者に明白である。多数の変形、変更、および置換えは、本発明から逸脱することなく、当業者によって現在想到されるものである。本明細書に記載される本発明の実施形態の様々な代案は本発明の実施に利用可能であることを理解されたい。以下の特許請求の範囲は本発明の範囲を定義するものであり、この特許請求の範囲およびその同等物の範囲内の方法と構造は、それにより包含されることが、意図されている。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】