特許 7208977 音声に基づく医療評価

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-11

(45)【発行日】2023-01-19

(54)【発明の名称】音声に基づく医療評価

(51)【国際特許分類】

   G10L 25/66 20130101AFI20230112BHJP

   G10L 15/00 20130101ALI20230112BHJP

   G16H 50/20 20180101ALI20230112BHJP

   A61B 5/00 20060101ALI20230112BHJP

【ＦＩ】

G10L25/66

G10L15/00 200L

G16H50/20

A61B5/00 Z

【請求項の数】 16

(21)【出願番号】P 2020511875

(86)(22)【出願日】2018-05-07

(65)【公表番号】

(43)【公表日】2020-07-27

(86)【国際出願番号】 US2018031461

(87)【国際公開番号】W WO2018204935

(87)【国際公開日】2018-11-08

【審査請求日】2021-04-01

(31)【優先権主張番号】62/502,584

(32)【優先日】2017-05-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/614,192

(32)【優先日】2018-01-05

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519392063

【氏名又は名称】カナリー・スピーチ，エルエルシー

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100120112

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】キム，ジャンウォン

(72)【発明者】

【氏名】クォン，ナミ

(72)【発明者】

【氏名】オコンネル，ヘンリー

(72)【発明者】

【氏名】ウォルスタッド，フィリップ

(72)【発明者】

【氏名】ヤン，ケビン・シェンビン

【審査官】玉木 宏治

(56)【参考文献】

【文献】国際公開第２０１６／０２８４９５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／００２２１９３（ＵＳ，Ａ１）

【文献】国際公開第２０１５／１０７７４７（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０８３４８０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｑ ５０／２２

Ｇ１０Ｌ ２５／００－２５／９３

Ｇ１０Ｌ １５／００－１５／３４

Ａ６１Ｂ ５／００－ ５／０１

(57)【特許請求の範囲】

【請求項1】

移動体コンピューティング・デバイスのスピーカからユーザに聞こえるように自由回答式質問をするように構成されたクエリ・モジュールであって、前記自由回答式質問は、
音声データ項目を機械学習モデルを用いて処理することにより、訓練コーパスの音声データ項目毎に医療診断スコアを計算し、
医療診断スコアを用いてプロンプト毎にプロンプト選択スコアを計算し、
プロンプト選択スコアを使用して、前記自由回答式質問を含む複数のプロンプトを選択する、
ことによってあらかじめ選択されているクエリ・モジュールと、
前記移動体コンピューティング・デバイスのマイクロフォンから前記自由回答式質問への応答であるユーザの口頭応答を受け取るように構成された応答モジュールと、
前記ユーザから受け取った前記口頭応答の分析に基づいて、ユーザに対する病状の評価を行い(provide)、前記移動体コンピューティング・デバイスの電子ディスプレイ・デバイスに病状を表示するように構成された検出モジュールと、
を備える、装置。

【請求項2】

請求項１に記載の装置において、前記検出モジュールが、前記評価が、前記受け取った口頭応答の言語および方言の１つ以上とは無関係となるように、前記受け取った口頭応答の言語特徴を考慮せずに、前記受け取った口頭応答の１つ以上の音響特徴に基づいて、前記評価について判定するように構成される、装置。

【請求項3】

請求項１又は２に記載の装置において、前記ユーザが治験参加者を含み、前記評価が、前記病状に対する医療処置の効能の評価を含む、装置。

【請求項4】

請求項３に記載の装置において、前記検出モジュールが、少なくとも、前記医療処置を受けないプラシーボ・グループと、前記医療処置を受けるグループとを含む複数の治験参加者のために移動体コンピューティング・デバイス上に配置された複数の分散型検出モジュールの内の１つを含み、前記複数の分散型検出モジュールが、前記プラシーボ・グループおよび前記医療処置を受けるグループの双方に対する前記病状の盲検評価を行うように構成される、装置。

【請求項5】

請求項３又は４に記載の装置において、前記医療処置の効能の評価が、少なくとも部分的に、前記受け取った口頭応答の内、前記ユーザの生活の質を示す１つ以上のバイオマーカに基づく、装置。

【請求項6】

請求項５に記載の装置において、前記１つ以上のバイオマーカが、身体疲労、倦怠、精神疲労、ストレス、心配、および鬱病の内１つ以上を示す、装置。

【請求項7】

請求項１～６のいずれか一項に記載の装置において、前記ユーザが、治験参加予定者を含み、前記評価が、病状のための治験に対する前記ユーザの適格性を含む、装置。

【請求項8】

請求項１～７のいずれか一項に記載の装置において、前記評価が、前記移動体コンピューティング・デバイス上においてユーザに対して決定される第１スコアを含む、装置。

【請求項9】

請求項８に記載の装置において、前記評価が、更に、ネットワークを通じて前記移動体コンピューティング・デバイスと通信するバックエンド・サーバ上においてユーザに対して決定される第２スコアを含む、装置。

【請求項10】

請求項１～９のいずれか一項に記載の装置において、前記病状が脳震盪を含む、装置。

【請求項11】

請求項１～９のいずれか一項に記載の装置において、前記病状が、鬱病、脳卒中、アルツハイマー病、およびパーキンソン病の内１つ以上を含む、装置。

【請求項12】

請求項１～１１のいずれか一項に記載の装置であって、更に、前記ユーザから受け取った口頭応答の記録、および複数の他のユーザから受け取った口頭応答の記録を、異なるユーザに、当該異なるユーザに対する階層的アクセス制御許可に基づいて、再生するように構成されたインターフェース・モジュールを備える、装置。

【請求項13】

請求項１～１２のいずれか一項に記載の装置において、前記応答モジュールが、更に、前記移動体コンピューティング・デバイスの１つ以上のセンサからデータを受け取るように構成され、前記検出モジュールが、更に、少なくとも部分的に前記受け取ったデータに基づいて、前記分析を行うように構成される、装置。

【請求項14】

請求項１３に記載の装置において、前記１つ以上のセンサが画像センサを含み、前記受け取ったデータが前記ユーザの１つ以上の画像を含む、装置。

【請求項15】

請求項１３又は１４に記載の装置において、前記１つ以上のセンサがタッチ・スクリーンを含み、前記受け取ったデータが、前記ユーザを前記病状の１つ以上の兆候について検査するように構成されたインタラクティブ・ビデオ・ゲームの間に、前記ユーザから受け取ったタッチ入力を含む、装置。

【請求項16】

請求項１３～１５のいずれか一項に記載の装置において、前記１つ以上のセンサが、加速度計およびジャイロスコープの内１つ以上を含み、前記受け取ったデータが、前記ユーザによる移動体コンピューティング・デバイスの移動についての情報を含む、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声分析に関し、更に特定すれば、収集した音声サンプルに基づく１つ以上の病状の自動評価および診断に関する。

【背景技術】

【0002】

神経障害および神経疾患ならびにその他の病状の評価は、医学専門家によって手作業で行われることが多く、鉛筆と紙を用いて手で記入された用紙に基づくこともあり得る。手作業の評価は、精度が低いおよび／または一貫性を欠く可能性があり、障害またはその他の病状が発生したときに、医学専門家が常に手配できる(available)とは限らない。

【発明の概要】

【課題を解決するための手段】

【0003】

音声に基づく医療評価のための装置について述べる(present)。一実施形態では、クエリ・モジュールが、移動体コンピューティング・デバイスのスピーカからユーザに聞こえるように質問するように構成される。特定の実施形態では、応答モジュールが、移動体コンピューティング・デバイスのマイクロフォンからユーザの口頭応答を受け取るように構成される。ある実施形態では、検出モジュールが、受け取ったユーザの口頭応答の分析に基づいて、病状の評価をユーザに提示するように構成される。

【0004】

他の実施形態では、装置(apparatus)は、移動体コンピューティング・デバイスからユーザに聞こえるように質問する手段を含む。特定の実施形態では、装置は、移動体コンピューティング・デバイス上においてユーザの口頭応答を受け取る手段を含む。ある実施形態では、装置は、受け取ったユーザの口頭応答に基づいて、ユーザの病状を評価する手段を含む。

【0005】

音声に基づく医療評価システムについて述べる。特定の実施形態では、複数の分散型音声モジュールが、複数のユーザのために、コンピューティング・デバイス上に配置される。一実施形態では、複数の分散型音声モジュールは、複数のユーザに質問し、および／またはコンピューティング・デバイス上で複数のユーザからの口頭応答を記録するように構成される。種々の実施形態では、バックエンド・サーバ・デバイスが、少なくとも、複数のユーザからの基準記録口頭応答(baseline recorded verbal response)、複数のユーザからのテスト・ケース記録口頭応答(test case recorded verbal response)、および／または少なくともテスト・ケース記録口頭応答に対する病状の評価を格納するように構成される。一実施形態では、バックエンド・サーバが、格納した基準記録口頭応答、テスト・ケース記録口頭応答、および／または複数のユーザの少なくとも部分集合に対する評価を、コンピューティング・デバイス上において、複数の分散型音声モジュールを通じて供給するように構成される。

【0006】

音声に基づく医療評価のための方法について述べる。一実施形態では、方法は、コンピューティング・デバイスのユーザ・インターフェースを使用して、ユーザに１つ以上の質問を行うステップを含む。他の実施形態では、方法は、コンピューティング・デバイス上において、１つ以上の質問に対するユーザの１つ以上の基準口頭応答を記録するステップを含む。特定の実施形態では、方法は、潜在的な脳震盪イベントに応答して、コンピューティング・デバイスのユーザ・インターフェースを使用して、ユーザに１つ以上の質問を再度行うステップを含む。ある実施形態では、方法は、コンピューティング・デバイス上において、１つ以上の再度行った質問に対するユーザの１つ以上のテスト・ケース口頭応答を記録するステップを含む。一実施形態では、方法は、コンピューティング・デバイス上において、１つ以上の記録された基準口頭応答および１つ以上の記録されたテスト・ケース口頭応答の音声分析に基づいて、ユーザが脳震盪を発症している可能性(likelihood)を評価するステップを含む。

【0007】

コンピュータ読み取り可能記憶媒体を備えるコンピュータ・プログラム製品について述べる。特定の実施形態では、コンピュータ読み取り可能記憶媒体は、音声に基づく医療評価のための動作を実行するために実行可能な、コンピュータ使用可能プログラム・コードを格納する。ある実施形態では、これらの動作の内１つ以上が、開示する装置、システム、および／または方法に関して、先に説明した１つ以上のステップと実質的に同様であってもよい。

【図面の簡単な説明】

【0008】

本発明の利点が容易に理解されるために、以上で端的に説明した本発明について、添付図面に示す特定実施形態を参照しながら、更に具体的な説明を行う。これらの図面は本発明の典型的な実施形態を図示するに過ぎず、したがってその範囲を限定するように見なしてはならないことを理解の上で、添付図面の使用を通じて、更に具体的にそして詳細に本発明について説明する(described and explained)。

【図1A】音声に基づく医療評価システムの一実施形態を示す模式ブロック図である。

【図1B】音声に基づく医療評価システムの別の実施形態を示す模式ブロック図である。

【図2】医療診断を実行するために数学モデルで音声データを処理するシステムの一実施形態を示す模式ブロック図である。

【図3】音声データの訓練コーパス(training corpus)の一実施形態を示す模式ブロック図である。

【図4】病状を診断するときに使用するためのプロンプトのリストの一実施形態を示す模式ブロック図である。

【図5】病状を診断する数学モデルを訓練する機能(feature)を選択するシステムの一実施形態を示す模式ブロック図である。

【図6A】特徴値および診断値の対をグラフで表す一実施形態を示す模式ブロック図である。

【図6B】特徴値および診断値の対をグラフで表す別の実施形態を示す模式ブロック図である。

【図7】病状を診断する数学モデルを訓練する機能を選択する方法の一実施形態を示す模式フローチャート図である。

【図8】病状を診断する数学モデルと共に使用するプロンプトを選択する方法の一実施形態を示す模式フローチャート図である。

【図9】１組の選択されたプロンプトに相応しい、病状を診断する数学モデルを訓練する方法の一実施形態を示す模式フローチャート図である。

【図10】病状を診断する数学モデルを訓練およびデプロイするために使用することができるコンピューティング・デバイスの一実施形態を示す模式ブロック図である。

【図11】音声モジュールの一実施形態を示す模式ブロック図である。

【図12】音声に基づく医療評価方法の一実施形態を示す模式フローチャート図である。

【図13】音声に基づく医療評価方法の別の実施形態を示す模式フローチャート図である。

【発明を実施するための形態】

【0009】

本明細書全般において「一実施形態」(one embodiment)、「実施形態」(an embodiment)、または同様の文言に言及するときは、その実施形態と関連付けて記載される特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれることを意味する。つまり、本明細書全般において、「一実施形態において」(in one embodiment)、「実施形態において」(in an embodiment)、および同様の文言が現れるときは、全てが同じ実施形態を指すこともあるが、別段明示的に指定されなければ、「１つ以上の実施形態であるが全ての実施形態ではない」ことを意味するとしてよい。とは言え、必ずしもそうとは限らない。「含む」(including)、「備える」(comprising)、「有する」(having)、およびこれらの変形は、別段明示的に指定されなければ、「含むが限定されない」ことを意味する。品目を列挙したリストは、別段明示的に指定されなければ、これらの品目の内任意のものまたは全てが相互に排他的である、および／または相互に内包的であることを暗示するのではない。また、「ａ」、「ａｎ」、および「ｔｈｅ」という用語は、別段明示的に指定されなければ、「１つ以上」を意味するものとする。

【0010】

更に、説明する実施形態の特徴、利点、および特性は、任意の適した方法で組み合わせることもできる。尚、特定の実施形態の具体的な特徴または利点の内１つ以上がなくても、実施形態を実施できることは、当業者には認められよう。他の場合には、追加の特徴および利点が、特定の実施形態において認められることがあっても、全ての実施形態において存在するとは限らない。

【0011】

実施形態のこれらの特徴および利点は、以下の説明および添付した請求項から一層完全に明らかになり、以下に明記するような実施形態の実施によって、習得することもできる。当業者には認められようが、本発明の態様は、システム、方法、および／またはコンピュータ・プログラム製品として具体化することができる。したがって、本発明の態様は、全体的にハードウェアである実施形態、全体的にソフトウェアである実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、またはソフトウェアおよびハードウェアの態様を組み合わせた実施形態という形を取ることができ、本明細書では、これらの全てを総称して「回路」、「モジュール」、または「システム」と呼ぶことがある。更に、本発明の態様は、プログラム・コードが具体化されている１つ以上のコンピュータ読み取り可能媒体（１つまたは複数）において具体化されたコンピュータ・プログラム製品の形を取ることもできる。

【0012】

本明細書において説明する機能ユニットの多くには、それらの実装の独立性を一層特定的に強調するために、モジュール（またはコンポーネント）と命名されている。例えば、モジュールは、カスタムＶＬＳＩ回路またはゲート・アレイ、ロジック・チップ、トランジスタ、またはその他のディスクリート・コンポーネントというような既製品の半導体を含むハードウェア回路として実装されてもよい。また、モジュールは、フィールド・プログラマブル・ゲート・アレイ、プログラマブル・アレイ・ロジック、プログラマブル・ロジック・デバイス等のような、プログラマブル・ハードウェア・デバイスに実装されてもよい。

【0013】

また、モジュールは、種々のタイプのプロセッサによる実行のためのソフトウェアで実装されてもよい。実例をあげると、プログラム・コードの特定モジュール(identified module)が、コンピュータ命令の１つ以上の物理または論理ブロックを含んでもよく、実例をあげると、これらのブロックは、オブジェクト、プロシージャ、または関数として編成されてもよい。しかしながら、特定モジュールの実行可能ファイル(executable)が物理的に一緒に配置される必要はなく、異なる場所に格納された全く異なる命令を含んでもよく、これらが論理的に一緒に結合されると、モジュールを構成し、このモジュールについて言明された目的を果たすことになる。

【0014】

実際、プログラム・コードのモジュールは、１つの命令、または多くの命令であってもよく、異なるプログラム間で、そして様々なメモリ・デバイスを跨いで、様々な異なるコード・セグメントにわたって分散されてもよい。同様に、本明細書ではモジュール内部において動作データが識別および図示されることもあり、任意の適した形で具体化され、任意の適した型のデータ構造内に編成されてもよい。動作データは、１つのデータ集合として収集されてもよく、または異なる記憶デバイスを跨いで含む異なる場所にわたって分散されてもよく、少なくとも部分的に、システムまたはネットワーク上における単なる電子信号として存在してもよい。モジュールまたはモジュールの一部がソフトウェアで実装されるとき、プログラム・コードは１つ以上のコンピュータ読み取り可能媒体上に格納すること、および／またはコンピュータ読み取り可能媒体内を伝搬することもできる。

【0015】

コンピュータ・プログラム製品は、コンピュータ読み取り可能記憶媒体（または複数の媒体）を含むことができ、この媒体上には、本発明の態様をプロセッサに実行させるために、コンピュータ読み取り可能プログラム命令を有する。

【0016】

コンピュータ読み取り可能記憶媒体は、命令実行デバイスによる使用のために命令を保持および格納することができる有形デバイスであるとして差し支えない。コンピュータ読み取り可能記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または以上のものの任意の適した組み合わせであってもよいが、これらに限定されるのではない。コンピュータ読み取り可能記憶媒体の更に具体的な例の非網羅的なリストには、以下のものが含まれる。携帯用コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（「ＲＡＭ」）、リード・オンリ・メモリ（「ＲＯＭ」）、消去可能プログラマブル・リード・オンリ・メモリ（「ＥＰＲＯＭ」またはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（「ＳＲＡＭ」）、携帯用コンパクト・ディスク・リード・オンリ・メモリ（「ＣＤ－ＲＯＭ」）、ディジタル・バーサタイル・ディスク（「ＤＶＤ」）、メモリ・スティック、フロッピ・ディスク、パンチ・カードまたは命令が記録されている溝内における隆起構造というような機械的にエンコードされたデバイス、および以上のものの任意の適した組み合わせ。本明細書において使用する場合、コンピュータ読み取り可能記憶媒体は、それ自体が、無線波または他の自由伝搬電磁波、導波路またはその他の透過媒体（例えば、光ファイバ・ケーブルを通過する光パルス）を伝搬して通過する電磁波、あるいはワイヤを伝送される電気信号のような一時的な信号であると解釈されてはならない。

【0017】

本明細書において説明するコンピュータ読み取り可能プログラム命令は、それぞれのコンピューティング／処理デバイスにコンピュータ読み取り可能記憶媒体から、あるいは外部コンピュータまたは外部記憶デバイスに、ネットワークを通じて、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、および／またはワイヤレス・ネットワークを通じてダウンロードすることができる。ネットワークは、銅製の送信ケーブル、光送信ファイバ、ワイヤレス送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、および／またはエッジ・サーバを備える場合もある。各コンピューティング／処理デバイスにおいては、ネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、コンピュータ読み取り可能プログラム命令をネットワークから受信し、それぞれのコンピューティング／処理デバイス内において、コンピュータ読み取り可能記憶媒体に格納するために、コンピュータ読み取り可能プログラム命令を転送する。

【0018】

本発明の動作を実行するためのコンピュータ読み取り可能プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは１つ以上のプログラミング言語の任意の組み合わせで書かれたソース・コードまたはオブジェクト・コードであってもよい。１つ以上のプログラミング言語には、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手順型プログラミング言語が含まれる。コンピュータ読み取り可能プログラム命令は、全体的にユーザのコンピュータ上において、部分的にユーザのコンピュータ上において、単体ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上そして部分的にリモート・コンピュータ上において、あるいは全体的にリモート・コンピュータまたはサーバ上において実行することができる。後者のシナリオでは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じて、リモート・コンピュータがユーザのコンピュータに接続されてもよく、あるいは外部コンピュータへの接続が行われてもよい（例えば、インターネット・サービス・プロバイダを使用してインターネットを経由して）。ある実施形態では、例えば、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路が、コンピュータ読み取り可能プログラム命令の状態情報を利用することによって、コンピュータ読み取り可能プログラム命令を実行し、本発明の態様を実行するために、電子回路を個人専用にする(personalize)こともできる。

【0019】

本明細書では、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図および／またはブロック図を参照しながら、本発明の態様について説明する。尚、フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図におけるブロックの組み合わせは、コンピュータ読み取り可能プログラム命令によって実装できることは理解されよう。

【0020】

これらのコンピュータ読み取り可能プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の１つ以上のブロックにおいて指定される機能／アクトを実施する手段を形成する(create)ように、汎用コンピュータ、特殊目的コンピュータ、または機械を生成するための他のプログラマブル・データ処理装置のプロセッサに、これらの命令を供給することができる。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に格納することもでき、命令が内部に格納されているコンピュータ読み取り可能記憶媒体が、フローチャートおよび／またはブロック図の１つ以上のブロックにおいて指定される機能／アクトの態様を実施する命令を含む製品を構成するように、コンピュータ、プログラマブル・データ処理装置、および／またはその他のデバイスに、特定の方法で(manner)機能するように指令することができる。

【0021】

また、コンピュータ読み取り可能プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令が、フローチャートおよび／またはブロック図の１つ以上のブロックにおいて指定される機能／アクトを実施するように、一連の動作ステップをコンピュータ、他のプログラマブル装置または他のデバイス上で実行させてコンピュータ実装プロセスを生成することもできる。

【0022】

図における模式フローチャート図および／または模式ブロック図は、本発明の種々の実施形態による装置、システム、方法、およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関して、模式フローチャート図および／または模式ブロック図における各ブロックは、指定された論理機能（１つまたは複数）を実装するためのプログラム・コードの１つ以上の実行可能命令を構成するモジュール、セグメント、またはコードの一部を表すことができる。

【0023】

また、ある代替実施態様では、ブロック内に明記される機能が図に明記される順序以外で行われる場合もあることは、注記してしかるべきである。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されることもあり、または関与する機能に応じて、これらのブロックが逆の順序で実行される場合もある(sometimes)。図示する図の１つ以上のブロックまたはその一部と機能、論理、または効果が同等である他のステップおよび方法も着想することができよう。

【0024】

様々な種類の矢印および線がフローチャートおよび／またはブロック図において採用されることもあるが、これらは対応する実施形態の範囲を限定するのではないことは理解されよう。実際、いくつかの矢印および他の接続(connector)は、図示する実施形態の論理的な流れだけを示すために使用されることもある。実例をあげると、矢印は、図示する実施形態において列挙されるステップ間における、長さが指定されない待ち時間または監視時間を示すとしてもよい。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、指定された機能またはアクトを実行する特殊目的ハードウェア・ベース・システム、あるいは特殊目的ハードウェアおよびプログラム・コードの組み合わせによって実装できることも注記しておく。

【0025】

図１Ａは、音声収集および／または音声に基づく医療評価のためのシステム１００の一実施形態を示す。一実施形態では、システム１００は、１つ以上のハードウェア・デバイス１０２、１つ以上の音声モジュール１０４（例えば、１つ以上のハードウェア・デバイス１０２上に配置された１つ以上の音声モジュール１０４ａ、１つ以上のバックエンド音声モジュール１０４ｂ等）、１つ以上のデータ・ネットワーク１０６または他の通信チャネル、および／または１つ以上のバックエンド・サーバ１０８を含む。特定の実施形態では、具体的な数のハードウェア・デバイス１０２、音声モジュール１０４、データ・ネットワーク１０６、および／またはバックエンド・サーバ１０８が図１において示されているが、本開示を考慮すれば、任意の数のハードウェア・デバイス１０２、音声モジュール１０４、データ・ネットワーク１０６、および／またはバックエンド・サーバ１０８が、音声収集および／または音声に基づく医療評価のためにシステム１００に含まれてもよいことは、当業者には認められよう。

【0026】

一般に、音声モジュール１０４は、種々の実施形態において、ユーザ（例えば、患者、運動選手、他のユーザ等）から音声オーディオ・データを受信および／または記録し、および／または収集した音声オーディオ・データに基づいて１つ以上の病状（例えば、障害、不健康(illness)、疾病(desease)等）の存在および／または重症度を、評価および／または診断するように構成されている。音声モジュール１０４は、ユーザに質問または問い合わせして（例えば、スピーカ、ヘッドホン等を通じて聞き取れるように、ハードウェア・ディスプレイ・デバイス上の筆記文書によって見えるように、および／またはそれ以外の方法でハードウェア・デバイス１０２の１つ以上のユーザ・インターフェース・エレメントを使用して）、ユーザからの口頭の回答を催促し、音声モジュール１０４はこの回答を受信および／または記録する。音声モジュール１０４は、評価をユーザに付与することができ、評価および／または音声オーディオ・データをバックエンド音声モジュール１０４ｂ等に供給することができる。

【0027】

音声モジュール１０４は、質問し、ユーザの音声応答を記録し、応答が正確か否か判断する等、ユーザと対話処理することができる。特定のプロトコルに対して、音声モジュール１０４は、後続の質問等に移る前に、１つ以上の質問を複数回（例えば、２回、３回等）行ってもよい。音声オーディオ・データに基づいて、音声モジュール１０４は１つ以上の疾病または他の病状（例えば、脳震盪、鬱病、ストレス、脳卒中、認知的安定(cognitive well-being)、気分(mood)、誠意(honesty)、アルツハイマー病、パーキンソン病、癌等）を評価および／または診断することができる。例えば、オーディオを取り込んだ後、音声モジュール１０４が応答を採点し（例えば、ハードウェア・デバイス１０２上のデバイス音声モジュール１０４ａによって）、初期の１つ以上のスコアをユーザに提示してもよく、更に、オーディオを分析してもよく（例えば、サーバ・デバイス１０８上のバックエンド音声モジュール１０４ｂによって）、結論および／または他の具体的な疾病もしくは病状に関して、二次スコアをユーザに提示してもよい。音声モジュール１０４は、１つ以上のことばの列および／または特徴を抽出し、抽出したことばの列および／または特徴を、特定の疾病および／または他の病状に合わせて訓練された１つ以上の機械学習モデルに受け渡すことができる。

【0028】

音声モジュール１０４は、ユーザの回答を、ユーザが健康であったときからの以前の回答と（例えば、基準回答と）比較することができる。音声モジュール１０４は、ユーザの人口統計学的データ（例えば、年齢、性別等）に基づいて結果を正規化することができる。音声モジュール１０４は、正規化データを、訓練プロセスの一部として判定し、人工統計学的データ毎に、予測されるスコアの範囲等を決定することができる。

【0029】

特定の実施形態では、評価を提示する代わりに、評価を提示することに加えて、評価の一部として等で、音声モジュール１０４は治験、医薬品承認プロセス等の効能(efficacy)および／または成功(success)を評価することができる。例えば、主観的であるかもしれない治験参加者に対する調査票の代わりに、またはこれに加えて、音声モジュール１０４は、治験の過程にわたって治験参加者の音声における変化を客観的に評価および／またはモデル化することができる。例えば、音声モジュール１０４が、治験および／または研究参加者からのオーディオを収集してもよく（例えば、医師の訪問時に、自宅で収集する等）、更にプラシーボ・グループおよび／または検査グループのために１つ以上のモデルを作成してもよい。ある実施形態では、音声モジュール１０４が治験(medical trial)および／または研究参加者についての音声評価および／またはモデリングの結果を、調査票または他の検査の結果と比較してもよく、調査票または他の検査と同様のスコアを、および／または調査票または他の検査と同じ尺度(scale)上で提示する等としてもよい。特定の実施形態では、音声モジュール１０４が、化学的検査が不明の治療プロトコル（例えば、投薬および／または他の治療処置）の有効性を判断するため、化学的検査を検証するおよび／または有効性を判断するため等に、音声に基づく医療評価を行ってもよい。

【0030】

特定の実施形態では、音声モジュール１０４が、臨床試験(clinical trial)および／または医療研究の下準備における参加者の篩い分けを行うこともできる。例えば、音声モジュール１０４が、鬱病の研究等のために、ある個人が、彼らの音声において、鬱病を患う個人と一致するバイオマーカを明確に示す場合、この個人を適任としてもよい。臨床試験および／または医療研究の参加者を、音声モジュール１０４を使用して篩い分けし、彼らの音声におけるバイオマーカを識別すれば、筆記された調査票または同様のツール(tool)を使用して治験参加者を主観的に識別するよりは、客観的であり、および／または正確である(accurate)のはもっともである。血液検査、磁気共鳴撮像（ＭＲＩ：magnetic resonance imaging）スキャン等のような、客観性および／または精度を達成することができる他の方法は、特定の実施形態では、音声モジュール１０４による音声分析よりも費用がかかり、しかも侵襲的であるおそれがある。音声モジュール１０４は、一実施形態では、他の検査と同様の客観性および／または精度を得ることができ、しかも非侵襲的で、コストが抑えられるというようなことがあげられる。一実施形態では、音声モジュール１０４を使用する治験参加者の識別は、バイオマーカ・データ主導型の客観的なツールとなる。

【0031】

ある実施形態では、音声モジュール１０４は、挙動パラメータ（例えば、単に薬剤の有効な罹患予防等によって薬剤を承認するのではなく、客観的に測定され、生活の品質に寄与すると判定された挙動パラメータ）を使用して１つ以上の新たな薬剤（例えば、薬品）を差別化する、および／または適格であると判断することもできる。一実施形態では、音声モジュール１０４は、音声バイオマーカを使用して、人の状態（例えば、肉体的疲労、倦怠(tiredness)、精神的疲労、ストレス、心配、鬱病、認識器脳障害等）を識別し、生活の質および／または１つ以上の他の挙動パラメータを測定する。生活の質を示す具体的な状態および／または挙動パラメータは、医療処置、付随する病状等に基づいて、様々に変化するのはもっともである。例えば、腫瘍の患者は、癌治療の副作用として「ケモ・ブレイン」(chemo brain)を体験することがあり、音声モジュール１０４は、患者の生活の質を低下させる「ケモ・ブレイン」存在を示す患者の声の分析に基づいて、障害を発症した患者の認知思考技能を検出することができる。

【0032】

例えば、抗がん剤療法は有効であるのはもっともであるが、抗がん剤療法を使用する個人の生活の質にとっては有害となるおそれがある。抗がん剤療法の患者は、例えば、初期診断後５年間生存することができるが、患者が処置を受けるこの５年間は、抗がん剤療法による生活の質の変化のために惨めになるおそれがある。この抗がん剤療法は、音声モジュール１０４等によって適格であると認められなければ、その結果として、特定または処置されることはなかったであろう。この例では、検査対象の新たな薬剤療法は、その有効性が同様または多少低いが生活の質は遙かに高くても、生活の質が音声モジュール１０４によって測定もされず治験(drug trial)および／または医療研究における１要因として考慮されなければ、承認されることも使用のために選択されることもないであろう。

【0033】

調査票または同様のツールを使用して処置または薬剤を受けたことによる生活の質および／または挙動的結果を主観的に測定する代わりに、特定の実施形態では、音声モジュール１０４が、患者からの音声データにおけるバイオマーカまたは他の指標を使用して、患者における１つ以上の生活の質の変化を客観的に特定することができる。一実施形態では、音声モジュール１０４を使用して薬剤または癌治療に関する生活の質および／または他の挙動パラメータを特定することは、バイオマーカ・データ主導型の客観的ツールである。以下で更に詳しく説明するが、音声モジュール１０４は、生活の質、病状等を、１つ以上のプロンプトに対するユーザの応答の分析に基づいて評価することができる。例えば、先に説明した「ケモ・ブレイン」の例では、音声モジュール１０４は、記憶喪失のような、「ケモ・ブレイン」に伴う１つ以上の兆候の現在の状態を評価するために選択された一連のプロンプトをユーザに提示することができる。記憶喪失を監視するために、特定の実施形態では、音声モジュール１０４は、単語および／または数字を聞こえるようにユーザに列挙し、ユーザにこれらを繰り返すように指示し(ask)てもよく、一連の写真をユーザに表示し、一連の写真の説明等を繰り返すように指示してもよく、経時的なユーザの応答の精度における変化を監視して、記憶喪失および生活の質の低下を示すことができる。

【0034】

一実施形態では、システム１００は１つ以上のハードウェア・デバイス１０２を含む。ハードウェア・デバイス１０２および／または１つ以上のバックエンド・サーバ１０８（例えば、コンピューティング・デバイス、情報処理デバイス等）は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、移動体デバイス、タブレット・コンピュータ、スマート・フォン、セットトップ・ボックス、ゲーミング・コンソール、スマートＴＶ、スマート・ウオッチ、フィットネス・バンド(fitness band)、頭部装着型光学ディスプレイ（例えば、仮想現実ヘッドセット、スマート・グラス等）、ＨＤＭＩ（登録商標）または他の電子ディスプレイ・ドングル、パーソナル・ディジタル・アシスタント、および／またはプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、プロセッサ・コア、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のプログラマブル・ロジック、特定用途集積回路（ＡＳＩＣ）、コントローラ、マイクロコントローラ、および／または他の半導体集積回路デバイス）、揮発性メモリ、および／または不揮発性記憶媒体を備える他のコンピューティング・デバイスの内１つ以上を含んでもよい。特定の実施形態では、ハードウェア・デバイス１０２は、以下で説明するデータ・ネットワーク１０６を通じて、１つ以上のバックエンド・サーバ１０８と通信する。更に他の実施形態では、ハードウェア・デバイス１０２は、種々のプログラム、プログラム・コード、アプリケーション、命令、関数等を実行することができる。

【0035】

種々の実施形態において、音声モジュール１０４は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの何らかの組み合わせとして具体化することができる。一実施形態では、音声モジュール１０４は、ハードウェア・デバイス１０２のプロセッサ上における実行のために非一時的コンピュータ読み取り可能記憶媒体上に格納された実行可能プログラム・コード、バックエンド・サーバ１０８等を備えてもよい。例えば、音声モジュール１０４は、ハードウェア・デバイス１０２、バックエンド・サーバ１０８、以上のものの１つ以上の組み合わせ等の内１つ以上において実行する実行可能プログラム・コードとして具体化されてもよい。このような実施形態では、以下で説明するような、音声モジュール１０４の動作を実行する種々のモジュールは、ハードウェア・デバイス１０２、バックエンド・サーバ１０８、これら２つの組み合わせ等に配置されてもよい。

【0036】

種々の実施形態において、音声モジュール１０４は、バックエンド・サーバ１０８上、ユーザのハードウェア・デバイス１０２上（例えば、ドングル、電話機１０２またはタブレット１０２用保護ケース（このケース内に、ワイヤレスで、および／またはＵＳＢもしくは専有通信ポートのようなデータ・ポートを通じて電話機１０２またはタブレット１０２と通信する１つ以上の半導体集積回路デバイスを含む）、あるいは他の周辺デバイス）、あるいはデータ・ネットワーク１０６上のいずれかの場所、および／またはユーザのハードウェア・デバイス１０２と一緒に置かれている何か(elsewhere)に設置あるいはデプロイすることができるハードウェア・アプライアンスとして具体化されてもよい。特定の実施形態では、音声モジュール１０４は、セキュア・ハードウェア・ドングルまたは他のハードウェア・アプライアンス・デバイス（例えば、セットトップ・ボックス、ネットワーク・アプライアンス等）のような、ハードウェア・デバイスを備えてもよい。ハードウェア・デバイスは、有線接続（例えば、ＵＳＢ接続）またはワイヤレス接続（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、近場通信（ＮＦＣ）等）のいずれかによって、ラップトップ・コンピュータ、サーバ、タブレット・コンピュータ、スマート・フォン等のような他のハードウェア・デバイス１０２に取り付けられる。ハードウェア・デバイスは、電子ディスプレイ・デバイス（例えば、ＨＤＭＩポート、ＤｉｓｐｌａｙＰｏｒｔポート、Ｍｉｎｉ ＤｉｓｐｌａｙＰｏｒｔポート、ＶＧＡポート、ＤＶＩポート等を使用して、テレビジョンまたはモニタ）に取り付けられ、データ・ネットワーク１０６上で実質的に独立して動作する、または同様のことが行われる(or the like)。音声モジュール１０４のハードウェア・アプライアンスは、電力インターフェース、有線および／またはワイヤレス・ネットワーク・インターフェース、ディスプレイ・デバイスに出力するグラフィカル・インターフェース（例えば、グラフィクス・カードおよび／または１つ以上のディスプレイ・ポートを有するＧＰＵ）、および／または以下で説明するように、音声モジュール１０４に関して本明細書において説明する機能を実行するように構成された半導体集積回路デバイスを備えることができる。

【0037】

このような実施形態では、音声モジュール１０４は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のプログラマブル・ロジック、ＦＰＧＡまたは他のプログラマブル・ロジック用のファームウェア、マイクロコントローラ上における実行のためのマイクロコード、特定用途集積回路（ＡＳＩＣ）、プロセッサ、プロセッサ・コア等のような、半導体集積回路デバイス（例えば、１つ以上のチップ、ダイ、または他のディスクリート・ロジック・ハードウェア）等を備えることができる。一実施形態では、音声モジュール１０４をプリント回路ボード上に、１つ以上の電気配線または接続（例えば、揮発性メモリ、不揮発性記憶媒体、ネットワーク・インターフェース、周辺デバイス、グラフィカル／ディスプレイ・インターフェースへの電気配線または接続）と共に実装されてもよい。ハードウェア・アプライアンスは、データを送るおよび受けるように構成された１つ以上のピン、パッド、または他の電気接続（例えば、プリント回路ボードの１本以上の電気配線等と連通する）、ならびに音声モジュール１０４の種々の機能を実行するように構成された１つ以上のハードウェア回路および／または他の電気回路を含むこともできる。

【0038】

音声モジュール１０４の半導体集積回路デバイスまたは他のハードウェア・アプライアンスは、特定の実施形態では、１つ以上の揮発性メモリ媒体を備え、および／または通信可能に結合される。揮発性メモリ媒体には、ランダム・アクセス・メモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、キャッシュ等を含むことができるが、これらに限定されるのではない。一実施形態では、音声モジュール１０４の半導体集積回路デバイスまたは他のハードウェア・アプライアンスは、１つ以上の不揮発性メモリ媒体を備え、および／または通信可能に結合される。不揮発性メモリ媒体には、ＮＡＮＤフラッシュ・メモリ、ＮＯＲフラッシュ・メモリ、ナノ・ランダム・アクセス・メモリ（ナノＲＡＭまたはＮＲＡＭ）、ナノ結晶ワイヤ系メモリ(nanocrystal wire-based memory)、シリコン－酸化物系サブ１０ナノメートル・プロセス・メモリ(silicon-oxide based sub-10 nanometer process memory)、グラフェン・メモリ(graphene memory)、シリコン－酸化物－窒化物－酸化物－シリコン（ＳＯＮＯＳ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、プログラマブル・メタライゼーション・セル（ＰＭＣ： programmable metallization cell）、導電性橋絡ＲＡＭ（ＣＢＲＡＭ： conductive-bridging RAM）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、相変化ＲＡＭ（ＰＲＡＭまたはＰＣＭ）、磁気記憶媒体（例えば、ハード・ディスク、テープ）、光記憶媒体等を含むことができるが、これらに限定されるのではない。一実施形態では、データ・ネットワーク１０６は、ディジタル通信を送信するディジタル通信ネットワークを含む。データ・ネットワーク１０６は、ワイヤレス・セルラ・ネットワークのようなワイヤレス・ネットワーク、Ｗｉ－Ｆｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、近場通信（ＮＦＣ）ネットワークのようなローカル・ワイヤレス・ネットワーク、アド・ホック・ネットワーク等を含むことができる。データ・ネットワーク１０６は、ワイド・エリア・ネットワーク（ＷＡＮ）、記憶エリア・ネットワーク（ＳＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、光ファイバ・ネットワーク、インターネット、または他のディジタル通信ネットワークを含むこともできる。データ・ネットワーク１０６は、１つ以上のサーバ、ルータ、スイッチ、および／または他のネットワーキング機器(equipment)も含むことができる。また、データ・ネットワーク１０６は、ハード・ディスク・ドライブ、光ドライブ、不揮発性メモリ、ＲＡＭ等のような、１つ以上のコンピュータ読み取り可能記憶媒体も含むことができる。

【0039】

一実施形態では、１つ以上のバックエンド・サーバ１０８は、１つ以上のウェブ・サイトをホストする１つ以上のウェブ・サーバ、企業イントラネット・システム、アプリケーション・サーバ、アプリケーション・プログラミング・インターフェース（ＡＰＩ）サーバ、認証サーバ等のような１つ以上のネットワーク・アクセス可能なコンピューティング・システムを含むことができる。バックエンド・サーバ１０８は、ハードウェア・デバイス１０２から離れて配置された１つ以上のサーバを含むことができる。バックエンド・サーバ１０８は、音声モジュール１０４の少なくとも一部を含むことができ、音声モジュール１０４のハードウェアを構成することができ、音声モジュール１０４の実行可能プログラム・コードを１つ以上の非一時的コンピュータ読み取り可能記憶媒体に格納することができ、および／またはこれら以外にも、共有コンテンツ追跡および帰属(attribution)について本明細書において説明する、音声モジュール１０４の種々の動作の内１つ以上を実行することができる。

【0040】

図１Ｂは、人の音声を使用して病状を診断するシステム例１０９である。図１Ｂは、人の音声データを受け取り、この音声データを処理して、人に病状があるか否か判定する病状診断サービス１４０を含む。例えば、病状診断サービス１４０は、音声データを処理して、その人に病状があるか否かに関して、「はい」または「いいえ」の判定を計算する、あるいは人に病状がある確率(probability)または可能性(likelihood)、および／またはその状態の重症度を示すスコアを計算することができる。

【0041】

本明細書において使用する場合、診断は、人に病状がある可能性があるか否かに関するあらゆる判定、または病状の可能な重症度に関するあらゆる判定に関する。診断は、病状に関する任意の形態の評価、結論付け、意見、または判定を含むことができる。場合によっては、診断が不正確であることもあり、病状があると診断された人が、実際には病状がないということもある。

【0042】

病状診断サービス１４０は、任意の適した技法を使用して、人の音声データを受け取ることができる。例えば、人が移動体デバイス１１０に向かって話しかけてもよく、移動体デバイス１１０は、その音声を記録し、記録した音声データを病状診断サービス１４０にネットワーク１３０を通じて送信することができる。移動体デバイス１１０が記録した音声データを病状診断サービス１４０に送信するためには、任意の適した技法および任意の適したネットワークを使用することができる。例えば、アプリケーションまたは「アプリ」を移動体デバイス１１０上にインストールし、ＲＥＳＴ（表現状態転送：representational state transfer）ＡＰＩ（アプリケーション・プログラミング・インターフェース）コールを使用して、音声データをインターネットまたは移動体電話ネットワークを通じて送信するのでもよい。他の例では、医療供給者が医療供給者用コンピュータ１２０を有し、これを使用して、人の音声を記録し、音声データを病状診断サービス１４０に送信するのでもよい。

【0043】

ある実施態様では、病状診断サービス１４０を移動体デバイス１１０または医療供給者用コンピュータ１２０上にインストールし、音声データをネットワークを通じて送信する必要をなくするようにしてもよい。図１Ｂの例は限定ではなく、数学モデルによる処理のために音声データを送信するためには、任意の適した技法を使用することができる。

【0044】

次いで、病状診断サービス１４０の出力は、適した目的であればいずれにでも使用することができる。例えば、音声データを提供した人、またはこの人を治療している医療専門家に情報を提示することができる。

【0045】

図２は、医療診断を実行する数学モデルによって音声データを処理するためのシステム例２００である。音声データを処理する際に、音声データから特徴を計算することができ、次いでこれらの特徴を数学モデルによって処理することができる。任意の適したタイプの特徴を使用することができる。

【0046】

特徴には音響特徴を含めることができ、ここで音響特徴とは、音声データに対して音声認識を実行することを伴わずにまたは依存せずに、音声データから計算された任意の特徴である（例えば、音響特徴は、音声データにおいて発話されたデータについての情報を使用しない）。例えば、音響特徴は、メル周波数ケプストラム係数(mel-frequency cepstral coefficients)、知覚線形予測特徴(perceptual linear prediction features)、ジッタ、またはゆらぎ(shimmer)を含んでもよい。

【0047】

特徴には言語特徴を含めることができ、ここで言語特徴は、音声認識の結果を使用して計算される。例えば、言語特徴は、発声速度（例えば、１秒当たりの母音または音節の数）、つなぎことば(pause filler)（例えば、「うーんと」および「えーと」）の数、単語の難しさ（例えば、普段余り使われない単語）、またはつなぎことばに続く単語の音声の部分を含んでもよい。

【0048】

図２において、音声データは、音響特徴計算コンポーネント２１０および音声認識コンポーネント２２０によって処理される。音響特徴計算コンポーネント２１０は、本明細書において説明した音響特徴の内任意のものというような、音響特徴を音声データから計算することができる。音声認識コンポーネント２２０は、任意の適した技法（例えば、混合ガウス・モデル、音響モデリング、言語モデリング、およびニューラル・ネットワーク）を使用して、音声データに対して自動音声認識を実行することができる。

【0049】

音声認識コンポーネント２２０は音声認識を実行するときに音響特徴を使用することがあるので、これら２つのコンポーネントの処理の一部が重複する可能性があり、つまり他の構成も可能である。例えば、音響特徴コンポーネント２１０が、音声認識コンポーネント２２０によって必要とされる音響特徴を計算することもでき、こうして、音声認識コンポーネント２２０が音響特徴を計算する必要を全くなくすることもできる。

【0050】

言語特徴計算コンポーネント２３０は、音声認識コンポーネント２２０から音声認識結果を受け取り、音声認識結果を処理して、本明細書において説明した言語特徴の内任意のものというような、言語特徴を決定することができる。音声認識特徴は、適したフォーマットであればいずれでもよく、任意の適した情報を含むことができる。例えば、音声認識結果は、複数の可能な単語のシーケンス、つなぎことばについての情報、および単語、音節、母音、つなぎことば、または音声の任意の他の単位のタイミングを含む単語ラティス(word lattice)を含むことができる。

【0051】

病状クラシファイア２４０は、音響特徴および言語特徴を数学モデルによって処理し、人に病状がある確率または可能性を示すスコア、および／または病状の重症度を示すスコアというような、人に病状があるか否かを示す１つ以上の診断スコアを出力することができる。病状クラシファイア２４０は、サポート・ベクター・マシン、または多層パーセプトロンのようなニューラル・ネットワークが実装されたクラシファイアというような、任意の適した技法を使用することができる。

【0052】

病状クラシファイア２４０の処理能力(performance)は、音響特徴計算コンポーネント２１０および言語特徴計算コンポーネント２３０によって計算される特徴に依存する場合もある。更に、１つの病状については正しい処理を行う１組の特徴が、他の病状については正しい処理を行わないこともある。例えば、ことばの難しさは、アルツハイマー病を診断するためには重要な特徴であるが、人が脳震盪を起こしているか否か判定するためには有用ではないとして差し支えない。他の例をあげると、母音、音節、または単語の発音に関する特徴は、パーキンソン病にとっては重要であろうが、他の病状にとってはさほど重要でないこともある。したがって、第１病状について正しい処理を行う第１組の特徴を決定する技法が必要とされ、第２病状について正しい処理を行う第２組の特徴を決定するためには、このプロセスが繰り返えされることが必要になることもある。

【0053】

ある実施態様では、病状クラシファイア２４０が、音響特徴および言語特徴に加えて、非音声特徴と呼んでもよい、他の特徴を使用することもできる。例えば、特徴は、人の人口統計学的情報（例えば、性別、年齢、居住地）、受療歴（例えば、体重、最新の血圧読み取り値、または以前の診断）からの情報、または任意の他の適した情報から得てもよく、あるいはこれらから計算してもよい。

【0054】

病状を診断するための特徴の選択は、数学モデルを訓練するための訓練データの量が比較的少ない状況では、一層重要になるのはもっともである。例えば、脳震盪を診断する数学モデルを訓練するためには、脳震盪を経験した直後における多数の個人の音声データを含む訓練データが必要とされる場合もある。このようなデータは少ない量で存在することもあり、このようなデータの例を更に得るには、長大な時間期間を要する可能性がある。

【0055】

数学モデルを訓練する際に、訓練データの量が少ない程、過剰適合になるおそれがある。この場合、数学モデルは特定の訓練データには適応しても、訓練データの量が少ないために、このモデルは新たなデータに対しては正しく処理できないおそれがある。例えば、モデルは、訓練データにおける脳震盪の全てを検出することができるモデルであっても、脳震盪を起こすおそれがある人々の生産データ(production data)を処理するときに、高いエラー率を出す可能性がある。

【0056】

数学モデルを訓練するときに過剰適合を防止する１つの技法は、数学モデルを訓練するために使用される特徴の数を減らすことである。過剰適合を起こさずにモデルを訓練するために必要とされる訓練データの量は、特徴の数が増えるに連れて増大する。したがって、使用する特徴の数を減らすことによって、訓練データの量を減らして、モデルを構築することが可能になる。

【0057】

特徴の数を少なくしてモデルを訓練する必要がある場合、モデルが正しく動作することを可能にする特徴を選択することが増々重要になる。例えば、大量の訓練データが入手可能であるとき、数百個の特徴を使用してモデルを訓練することができ、適した特徴が使用される可能性は一層高くなる。逆に、少ない数の訓練データしか入手可能でないとき、わずか１０個程度の特徴を使用してモデルを訓練する場合もあり、病状を診断するために最も重要である特徴を選択することが、増々重要になる。

【0058】

これより、病状を診断するために使用することができる特徴の例を示す。
音響特徴は、短時間区分特徴(short-time segment features)を使用して計算することができる。音声データを処理するとき、この音声データの持続時間が変化する場合がある。例えば、ある音声は１秒または２秒であることもあるが、他の音声は数分以上になることもある。音声データを処理する際の一貫性のためには、短時間の区分（フレームと呼ぶこともある）単位で処理するとよい。例えば、各短時間区分を２５ミリ秒としてもよく、区分が１０ミリ秒の刻みで進み、２つの連続する区分にわたって１５ミリ秒の重複ができるようにしてもよい。

【0059】

以下に、短時間区分特徴の非限定的な例を示す。スペクトル特徴（メル周波数ケプストラル係数または知覚線形予測のような）、韻律的特徴（発声の調子、エネルギ、確率のような特徴）、音声品質特徴（ジッタ、ジッタのジッタ、ゆらぎ、または高調波対ノイズ比のような特徴）、エントロピ（自然音声データ上で訓練された音響モデルの後部(posterior)からエントロピを計算することができる場合、例えば、どのくらい正確に発声が行われたか(pronounced)捕獲するため）。

【0060】

短時間区分特徴を組み合わせて、音声に対する音響特徴を計算することができる。例えば、２秒の音声サンプルは、調子(pitch)について２００個の短時間区分特徴を生成することができ、これらを組み合わせると、調子について１つ以上の音響特徴を計算することができる。

【0061】

任意の適した技法を使用すると、短時間区分特徴を組み合わせて音声サンプルについて音響特徴を計算することができる。ある実施態様では、音響特徴は、短時間区分特徴の統計（例えば、算術的平均、標準偏差、歪度、尖度、第１四分位、第２四分位、第３四分位、第２四分位から第１四分位を減じた値、第３四分位から第１四分位を減じた値、第３四分位から第２四分位を減じた値、０．０１パーセンタイル、０．９９パーセンタイル、０．９９パーセンタイルから０．０１パーセンタイルを減じた値）、短時間区分の内その値が閾値よりも高いものの百分率（例えば、閾値は範囲の７５％に最小値を加えた値）、区分の内その値が閾値よりも高いものの百分率（例えば、閾値は範囲の９０％に最小値を加えた値）、値の線形近似の傾き、値の線形近似のオフセット、線形近似と実際の値との差として計算される線形誤差、または線形近似と実際の値との差として計算される二次誤差を使用して計算することができる。ある実施態様では、音響特徴は、短時間区分特徴のｉ－ベクトルまたは単位ベクトル(identity vector)として計算することもできる。単位ベクトルは、要因分析技法および混合ガウス・モデルを使用して行例－ベクトル変換を実行するというような、任意の適した技法を使用して計算することができる。

【0062】

以下に、言語特徴の非限定的な例を示す。全ての発話された単語の持続時間を母音数で除算して計算することによるというような発声速度、または発声速度の任意の他の適した尺度。（１）つなぎことばの数を発話された単語の持続時間で除算する、または（２）つなぎことばの数を発話された単語の数で除算するというようにして求める、音声において躊躇を示すと言ってもよい、つなぎことばの数。単語の難しさまたは普段使われない単語の使用の尺度。例えば、単語の難しさは、単語の頻度パーセンタイル（例えば、５％、１０％、１５％、２０％、３０％、または４０％）にしたがって単語を分類することによるというようにして、発話された単語の１－グラム確率(1-gram probabilities)の統計を使用して計算することができる。（１）各音声部分クラス(part-of-speech class)の個数を発話された単語の数で除算した値、または（２）各音声部分クラスの個数を全ての音声部分の個数の総和で除算した値というような、つなぎことばに続く単語の音声部分。

【0063】

ある実施態様では、言語特徴は、人が質問に正しく答えたか否かの判定を含むこともできる。例えば、今年は何年か、または米国の大統領は誰か、人に尋ねてもよい。この人の音声を処理すれば、この人が質問に対する応答において言ったことを判断し、更にこの人が質問に正しく答えたか否か判断することができる。

【0064】

病状を診断するモデルを訓練するためには、訓練データのコーパスを収集すればよい。訓練コーパスは、人の診断が分かる音声の例を含むのでよい。例えば、人が脳震盪を起こしていない、軽度の、中程度の、または重度の脳震盪を起こしていることが分かればよい。

【0065】

図３は、脳震盪を診断するモデルを訓練するための音声データを含む訓練コーパスの例を示す。例えば、図３の表において、行がデータベースのエントリに対応するのでもよい。この例では、各エントリは、人の識別子、その人について分かっている診断（例えば、脳震盪ではない、軽度、中程度の、または重度の脳震盪）、人に提示されたプロンプトまたは質問の識別子（例えば、「今日の具合はいかがですか？」）、および音声データを収容するファイルのファイル名を含む。訓練データは、任意の適した格納技術を使用して、任意の適したフォーマットで格納されればよい。

【0066】

訓練コーパスは、任意の適したフォーマットを使用して、人の音声の表現を格納することができる。例えば、訓練コーパスの音声データ項目は、マイクロフォンにおいて受け取ったオーディオ信号のディジタル・サンプルを含んでもよく、またはメル周波数ケプストラル係数のような、オーディオ信号の処理バージョンを含んでもよい。

【0067】

１つの訓練コーパスが、複数の病状に関する音声データを収容してもよく、または病状毎に別個の訓練コーパスを使用してもよい（例えば、脳震盪のための第１訓練コーパスおよびアルツハイマー病のための第２訓練コーパス）。別個の訓練コーパスが、病状が分かっていないまたは診断されていない人の音声データを格納するために使用されてもよい。何故なら、この訓練コーパスは、複数の病状についてモデルを訓練するために使用することができるからである。

【0068】

図４は、病状を診断するために使用することができるプロンプトを格納した例を示す。各プロンプトは、そのプロンプトに対する応答における人の音声を得るために、人（例えば、医療専門家）またはコンピュータのいずれかによって、人に提示することができる。各プロンプトはプロンプト識別子を有することができるので、訓練コーパスのプロンプト識別子と相互引用することができる。図４のプロンプトは、データベースのような、任意の適した格納技術を使用して格納すればよい。

【0069】

図５は、病状を診断する数学モデルを訓練するための特徴を選択するために使用することができ、次いで選択された特徴を使用して数学モデルを訓練するシステム例５００である。システム５００は、異なる病状毎に特徴を選択するために複数回使用することができる。例えば、システム５００の第１回の使用が、脳震盪を診断するための特徴を選択するのでもよく、システム５００の第２回目の使用が、アルツハイマー病を診断するための特徴を選択するのでもよい。

【0070】

図５は、病状を診断する数学モデルを訓練するための音声データ項目の訓練コーパス５１０を含む。訓練コーパス５１０は、病状があるおよび病状がない複数の人々の音声データ、人に病状があるか否かを示すラベル、および本明細書において説明した任意の他の情報というような、任意の適した情報を含むことができる。

【0071】

音響特徴計算コンポーネント２１０、音声認識コンポーネント２２０、および言語特徴計算コンポーネント２３０は、訓練コーパスにおける音声データに対する音響特徴および言語特徴を計算するために、前述のように実装することができる。音響特徴計算コンポーネント２１０および言語特徴計算コンポーネント２３０は、最良の結果が得られる(best performing)特徴を決定できるように、多数の特徴を計算することができる。これは、図２において、これらのコンポーネントが生産システムにおいて使用され、したがって、これらのコンポーネントが、以前に選択された特徴だけを計算すればよい場合とは対照的であると言っても差し支えない。

【0072】

特徴選択スコア計算コンポーネント５２０は、特徴（音響特徴、言語特徴、または本明細書において説明した任意の他の特徴でもよい）毎に選択スコアを計算することができる。 特徴に対して選択スコアを計算するために、訓練コーパスにおける音声データ項目毎に、１対の数値を作成することができる。この対の内第１の数値は特徴の値であり、この対の内第２の数値は病状診断の指標である。病状診断の指標の値は、２つの値を有してもよく（例えば、人に病状がない場合は０、人に病状がある場合は１）、またはそれよりも多い数の数値を有してもよい（例えば、０と１との間の実数、あるいは病状の可能性または重症度を示す複数の整数）。

【0073】

したがって、特徴毎に、訓練コーパスの音声データ項目毎に１対の数値を得ることができる。図６Ａおよび図６Ｂは、第１の特徴および第２の特徴について、数値対の２つの概念的プロットを示す。図６Ａについては、第１の特徴の値と対応する診断値との間にはパターンまたは相関があるように見えないが、図６Ｂについては、第２の特徴の値と診断値との間にパターンまたは相関があるように見える。したがって、第２の特徴は、人に病状があるか否か判定するために有用な特徴である可能性が高く、第１の特徴はそうではないと結論付けることができる。

【0074】

特徴選択スコア計算コンポーネント５２０は、特徴値と診断値との対を使用して、特徴について選択スコアを計算することができる。特徴選択スコア計算コンポーネント５２０は、特徴値と診断値との間においてパターンまたは相関を示す任意の適したスコアを計算することができる。例えば、特徴選択スコア計算コンポーネント５２０は、ランド指数、調節ランド指数、相互情報、調節相互情報、ピアソン相関、絶対ピアソン相関、スピアマン相関、または絶対スピアマン相関を計算することができる。

【0075】

選択スコアは、病状を検出する際における特徴の有用性を示すことができる。例えば、高い選択スコアは、数学モデルを訓練するときにある特徴を使用すべきことを示すとしてよく、低い選択スコアは、数学モデルを訓練するときにその特徴を使用すべきでないことを示すとしてよい。

【0076】

特徴安定性判定コンポーネント５３０は、特徴（音響特徴、言語特徴、または本明細書において説明した任意の他の特徴でもよい）が安定かまたは不安定か判定することができる。安定性判定を行うために、音声データ項目を複数のグループに分割することができる。このグループをフォールド(fold)と呼ぶこともある。例えば、音声データ項目を５つのフォールドに分割してもよい。ある実施態様では、各フォールドが、異なる性別および年齢グループに対してほぼ等しい数の音声データ項目を有するように、音声データ項目をフォールドに分割してもよい。

【0077】

各フォールドの統計を他のフォールドの統計と比較することができる。例えば、第１フォールドについて、中央値（もしくは平均、あるいは分布の中心(center)または中央(middle)に関する任意の他の統計値）特徴値（Ｍ_１で示す）を決定することができる。また、他のフォールドの組み合わせについて統計を計算することもできる。例えば、複数の他のフォールドの組み合わせについて、特徴値の中央値（Ｍ_０で示す）、および四分位範囲、分散、または標準偏差というような、特徴値の変動性の統計的尺度(measuring)（Ｖ_０で示す）を計算するのでもよい。第１フォールドの中央値が第２フォールドの中央値とは大きく異なり過ぎる場合、特徴は不安定であると判定することができる。例えば、

【0078】

【数1】

【0079】

である場合、特徴は不安定であると判定することができる。
ここで、Ｃは倍率である。次いで、このプロセスを他のフォールド毎に繰り返すことができる。例えば、前述のように、第２フォールドの中央値を他のフォールドの中央値および変動性と比較してもよい。

【0080】

ある実施態様では、各フォールドを他のフォールドと比較した後、各フォールドの中央値が他のフォールドの中央値から離れ過ぎていない場合、特徴は安定であると判定することができる。逆に、いずれかのフォールドの中央値が他のフォールドの中央値から離れ過ぎている場合、特徴は不安定であると判定することができる。

【0081】

ある実施態様では、特徴が安定か否かを示すために、特徴安定性判定コンポーネント５３０が特徴毎にブール値を出力することもできる。ある実施態様では、安定性判定コンポーネント５３０が特徴毎に安定性スコアを出力することもできる。例えば、安定性スコアは、あるフォールドと他のフォールドの中央値間の最も大きな距離（例えば、マハラノビス距離）として計算してもよい。

【0082】

特徴選択計算コンポーネント５４０は、特徴選択スコア計算コンポーネント５２０から選択スコアを受け取り、更に特徴安定性判定コンポーネント５３０から安定性判定を受け取り、数学モデルを訓練するために使用される特徴の部分集合を選択することができる。特徴選択コンポーネント５４０は、最も高い選択スコアを有ししかも十分に安定である複数の特徴を選択することができる。

【0083】

ある実施態様では、選択される特徴の数（または選択される特徴の最大数）を前もって設定してもよい。例えば、訓練データの量に基づいて数Ｎを決定してもよく、Ｎ個の特徴を選択すればよい。特徴の選択は、不安定な特徴を除去し（例えば、不安定であると判定された特徴、または安定性スコアが閾値よりも低い特徴）、次いで選択スコアが最も高いＮ個の特徴を選択することによって決定されてもよい。

【0084】

ある実施態様では、選択される特徴の数が、選択スコアおよび安定性判定に基づいてもよい。例えば、特徴の選択が、不安定な特徴を除去し、次いで選択スコアが閾値よりも高い全ての特徴を選択することによって決定されてもよい。

【0085】

ある実施態様では、特徴を選択するとき、選択スコアおよび安定性スコアを組み合わせてもよい。例えば、特徴毎に、複合スコア(combined score)を計算してもよく（特徴に対する選択スコアおよび安定性スコアを加算または乗算することによってというようにして）、この複合スコアを使用して特徴を選択してもよい。

【0086】

次いで、モデル訓練コンポーネント５５０が、選択された特徴を使用して、数学モデルを訓練することができる。例えば、モデル訓練コンポーネント５５０は、訓練コーパスの音声データ項目を繰り返し、音声データ項目に対して選択された特徴を得て、次いで選択された特徴を使用して数学モデルを訓練することができる。ある実施態様では、モデル訓練の一部として、主成分分析または線形判別分析のような次元削減技法を、選択された特徴に適用してもよい。本明細書において説明する数学モデルの内任意のものというような、任意の適した数学モデルを訓練することができる。

【0087】

ある実施態様では、ラッパー法のような他の技法を、特徴選択のために使用してもよく、または先に示した特徴選択技法と組み合わせて使用してもよい。ラッパー法は、１組の特徴を選択し、この選択した１組の特徴を使用して数学モデルを訓練し、次いで訓練したモデルを使用して１組の特徴の性能(performance)を評価することができる。可能な特徴の数が比較的少なく、および／または訓練時間が比較的短い場合、全ての可能な組の特徴を評価し、最良の結果が得られる(best performing)１組を選択してもよい。可能な特徴の数が比較的多く、および／または訓練時間が重要な要因である場合、良い結果が得られる(performs well)１組の特徴を繰り返し発見するために、最適化技法を使用してもよい。ある実施態様では、システム５００を使用して１組の特徴を選択してもよく、次いで最終的な１組の特徴として、ラッパー法を使用して、これらの特徴から部分集合を選択してもよい。

【0088】

図７は、病状を診断する数学モデルを訓練するための特徴を選択する実施態様例のフローチャートである。図７および本明細書における他のフローチャートにおいて、ステップの順序は一例であり、他の順序も可能であり、全てのステップが必要とは限らず、ステップを組み合わせること（全体的または部分的に）または細分化することもでき、更にある実施態様では、一部のステップを省略できる場合もあり、または他のステップを追加できる場合もある。本明細書において説明するフローチャートによって記述する方法はいずれも、例えば、本明細書において説明するコンピュータまたはシステムの内任意のものによって実装することができる。

【0089】

ステップ７１０において、音声データ項目の訓練コーパスを入手する。訓練コーパスは、人の音声のオーディオ信号の表現、この音声が得られた人の医療診断の指示、および本明細書において説明した情報の内任意のものというような、任意の他の適した情報を含むことができる。

【0090】

ステップ７２０において、訓練コーパスの音声データ項目毎に音声認識結果を得る。音声認識結果は、前もって計算され、訓練コーパスと共に格納されてもよく、または他の場所に格納されてもよい。音声認識結果は、筆記録、最も高いスコアを得た筆記録のリスト（例えば、Ｎ個の最良リスト）、可能な転記(transcription)のラティスというような任意の適した情報、ならびに単語、つなぎことば、または他の音声単位の開始時刻および終了時刻というようなタイミング情報を含むことができる。

【0091】

ステップ７３０において、訓練コーパスの音声データ項目毎に音響特徴を計算する。音響特徴は、本明細書において説明した音響特徴の内任意のものというような、音声データ項目の音声認識結果を使用せずに計算された任意の特徴を含むことができる。音響特徴は、音声認識プロセスにおいて使用されるデータを含んでもよく、またはこのデータから計算されてもよい（例えば、メル周波数ケプストラル係数または知覚線形予測子）が、音響特徴は、音声データ項目内に存在する単語またはつなぎことばについての情報というような、音声認識結果を使用しない。

【0092】

ステップ７４０において、訓練コーパスの音声データ項目毎に、言語特徴を計算する。言語特徴は、本明細書において説明した言語特徴の内任意のものというような、音声認識結果を使用して計算される任意の特徴を含むことができる。

【0093】

ステップ７５０において、各音響特徴および各言語特徴について、特徴選択スコアを計算する。特徴について特徴選択スコアを計算するために、訓練コーパスにおける音声データ項目毎の特徴の値を、音声データ項目に対応する既知の診断値というような、他の情報と共に使用してもよい。特徴選択スコアは、絶対ピアソン相関を計算することによってというように、本明細書において説明した技法の内任意のものを使用して計算すればよい。ある実施態様では、特徴選択スコアは、人の人口統計学的情報に関する特徴というような、他の特徴についても同様に計算されてもよい。

【0094】

ステップ７６０において、特徴選択スコアを使用して複数の特徴を選択する。例えば、最高の選択スコアを有する複数の(a number of)特徴を選択してもよい。ある実施態様では、特徴毎に安定性判定を計算してもよく、本明細書において説明した技法の内任意のものを使用することによってというようにして、特徴選択スコアおよび安定性判定の双方を使用して、複数の特徴を選択してもよい。

【0095】

ステップ７７０において、選択された特徴を使用して数学モデルを訓練する。ニューラル・ネットワークまたはサポート・ベクター・マシンというような、任意の適した数学モデルを訓練すればよい。数学モデルを訓練した後、病状の診断を実行するために、図１Ｂの音声モジュール１０４、システム１０９等のような、生産システム内にデプロイすることができる。

【0096】

図７のステップは、種々の方法で実行することができる。例えば、ある実施態様では、ステップ７３０および７４０は、ループ状に実行してもよく、訓練コーパスにおける音声データ項目の各々に対して繰り返し実行する。第１の繰り返しでは、第１音声データ項目について音響および言語特徴を計算してもよく、第２の繰り返しでは、第２音声データ項目について音響および言語特徴を計算してもよい等である。

【0097】

病状を診断するためにデプロイされたモデルを使用するとき、診断対象の人から音声を得るために、この人に対して一連のプロンプトまたは質問を発することができる。図４のプロンプトの内任意のものというような、任意の適したプロンプトを使用すればよい。以上で説明したようにして特徴が選択された後、選択されたプロンプトが選択された特徴について有用な情報を提供するように、プロンプトを選択することができる。

【0098】

例えば、選択された特徴が調子(pitch)であると仮定する。調子は、病状を診断するためには有用な特徴であると判定されているが、有用な調子特徴(pitch feature)を得るには、あるプロンプトが他のものよりも優れているという場合もある。非常に短い発声（例えば、はい／いいえの答え）は、調子を精度高く計算するための十分なデータを提供できない場合もあり、したがって、より長い応答を引き出す(generate)プロンプト程、調子についての情報を得る際には一層有用となることができる。

【0099】

他の例をあげると、選択された特徴が単語の難しさ(word difficulty)であると仮定する。単語の難しさは、病状を診断するためには有用な特徴であると判定されているが、有用な単語の難しさの特徴を得るのには、あるプロンプトが他のものよりも優れているという場合もある。提示された一節を読むようにユーザに求めるプロンプトは、一般に、その一節における単語が発声される結果となり、したがって、単語の難しさの特徴は、このプロンプトが提示される毎に同じ値を有することになる。つまり、このプロンプトは、単語の難しさについての情報を得るには有用ではない。対照的に「あなたの一日について私に話して下さい」というような自由回答式質問にすると、応答における語彙の多様性が広がる結果となり、したがって、単語の難しさについて一層有用な情報を提供することができる。

【0100】

また、１組のプロンプトを選択することによって、病状を診断するシステムの性能を向上させ、被評価者にとってより良い体験を提供することができる。被評価者毎に同じ１組のプロンプトを使用することによって、病状を診断するシステムは一層正確な結果を得ることができる。何故なら、複数の人々から収集されたデータの方が、異なるプロンプトをひとりひとりに使用した場合よりも、比較し易いからである。更に、定められた１組のプロンプトを使用することにより、人の評価を予測し易くなり、病状の評価に適した所望の持続時間の評価も予測し易くなる。例えば、ある人がアルツハイマー病にかかっているか否か評価するためには、より多くのデータ量を収集するためにより多くのプロンプトを使用することが容認できるが、スポーツ・イベントにおいてある人が脳震盪を起こしたか否か評価するためには、結果をより素早く得るために、使用するプロンプトの数を減らすことが必要となるのはもっともである。

【0101】

ある実施態様では、プロンプト選択スコアを計算することによって、プロンプトを選択してもよい。訓練コーパスが、１つのプロンプトに対して複数の音声データ項目を有する場合があり、または数多くの音声データ項目を有する場合さえもある。例えば、訓練コーパスが、異なる人々によって使用されるプロンプトの例を含むこともあり、または同じプロンプトが同じ人によって複数回使用されることもある。

【0102】

図８は、病状を診断するためにデプロイされたモデルと共に使用するためのプロンプトを選択する実施態様例のフローチャートである。
ステップ８１０から８４０は、プロンプト毎にプロンプト選択スコアを計算するために、訓練コーパスにおけるプロンプト（またはプロンプトの部分集合）毎に実行してもよい。

【0103】

ステップ８１０において、プロンプトを得て、ステップ８２０において、このプロンプトに対応する音声データ項目を訓練コーパスから得る。
ステップ８３０において、このプロンプトに対応する音声データ項目毎に、医療診断スコアを計算する。例えば、音声データ項目に対する医療診断スコアは、数学モデル（例えば、図７において訓練された数学モデル）によって出力される数値であってもよく、人に病状がある可能性、および／またはその病状の重症度を示す。

【0104】

ステップ８４０において、計算された医療診断スコアを使用して、プロンプトに対してプロンプト選択スコアを計算する。プロンプト選択スコアの計算は、先に説明したような、特徴選択スコアの計算と同様であってもよい。プロンプトに対応する音声データ項目毎に、１対の数値を得ることができる。各対について、この対の最初の数値は、音声データ項目から計算された医療診断スコアとしてもよく、この対の２番目の数値は、人について分かっている病状診断（例えば、この人に病状があること、またはこの病状の重症度を示すことがわかっている）としてもよい。これらの数値対をプロットすると、図６Ａまたは図６Ｂと同様のプロットが得られ、プロンプトによっては、数値の対にパターンまたは相関がある場合とない場合が出る。

【0105】

プロンプトに対するプロンプト選択スコアは、計算された医療診断スコアと既知の病状診断との間におけるパターンまたは相関を示す任意のスコアを含むことができる。例えば、プロンプト選択スコアは、ランド指標、調節ランド指標、相互情報、調節相互情報、ピアソン相関、絶対ピアソン相関、スピアマン相関、または絶対スピアマン相関を含んでもよい。

【0106】

ステップ８５０において、他に処理すべきプロンプトが残っているか否か判定する。処理すべきプロンプトが残っている場合、処理はステップ８１０に進み、追加のプロンプトを処理することができる。全てのプロンプトが処理されている場合、処理はステップ８６０に進むことができる。

【0107】

ステップ８６０において、プロンプト選択スコアを使用して、複数のプロンプトを選択する。例えば、最も高いプロンプト選択スコアを有する複数の(a number of)プロンプトを選択してもよい。ある実施態様では、プロンプト毎に安定性判定を計算してもよく、プロンプト選択スコアおよびプロンプト安定性スコアの双方を使用して、本明細書において説明した技法の内任意のものを使用することによってというようにして、複数のプロンプトを選択してもよい。

【0108】

ステップ８７０において、選択されたプロンプトを、デプロイされた病状診断サービスと共に使用する。例えば、人を診断するとき、選択されたプロンプトを人に提示し、プロンプトの各々に対する応答において、この人の音声を得ることができる。

【0109】

ある実施態様では、ラッパー法のような他の技法を、プロンプト選択のために使用してもよく、または先に提示したプロンプト選択技法と組み合わせて使用してもよい。ある実施態様では、図８のプロセスを使用して１組のプロンプトを選択してもよく、次いで、最終的な１組の特徴として、これらのプロンプトの部分集合を、ラッパー法を使用して選択してもよい。

【0110】

ある実施態様では、病状診断サービスの作成に関与する人が、プロンプトの選択において補助してもよい。この人は、彼の知識または経験を使用して、選択された特徴に基づいてプロンプトを選択することができる。例えば、選択された特徴が単語の難しさである場合、この人はプロンプトを見直し、単語の難しさに関する有用な情報を提供する可能性が高い方からプロンプトを選択すればよい。この人は、選択された特徴の各々について有用な情報を提供する可能性が高い１つ以上のプロンプトを選択すればよい。

【0111】

ある実施態様では、この人は、図８のプロセスによって選択されたプロンプトを見直し、病状診断システムの性能を向上させるために、プロンプトを追加または削除することができる。例えば、２つのプロンプトが各々単語の難しさについて有用な情報を提供することができるが、これら２つのプロンプトによって提供される情報が非常に冗長である場合もあり、双方のプロンプトを使用すると、これらの１つだけを使用する場合よりも有意な便益が得られないおそれもある。

【0112】

ある実施態様では、プロンプト選択の後に、選択されたプロンプトに相応しい第２の数学モデルを訓練することもできる。図７において訓練された数学モデルは、１つの発声(utterance)（プロンプトに応答した）を処理して医療診断スコアを生成することができる。診断を実行するプロセスは、複数のプロンプトに対応する複数の発声を処理するステップを含み、次いで図７の数学モデルによって発声の各々を処理して、複数の医療診断スコアを生成することができる。総合的な医療診断について判定するために、複数の医療診断スコアを何らかの方法で組み合わせる必要がある場合もある。したがって、図７において訓練された数学モデルは、選択された１組のプロンプトに相応しくなくてもよい。

【0113】

選択されたプロンプトが人を診断するセッションにおいて使用されるとき、プロンプトの各々をその人に提示して、プロンプトの各々に対応する発声を得ることができる。発声を別個に処理する代わりに、モデルによって発声を同時に処理して医療診断スコアを生成することもできる。したがって、モデルは、選択されたプロンプトの各々に対応する発声を同時に処理するように訓練されるので、選択されたプロンプトにモデルを適応させることができる。

【0114】

図９は、１組の選択されたプロンプトに相応しい数学モデルを訓練する実施態様例のフローチャートである。ステップ９１０において、図７のプロセスを使用することによってというようにして、第１数学モデルを得る。ステップ９２０において、図８のプロセスによってというようにして、第１数学モデルを使用して、複数のプロンプトを選択する。

【0115】

ステップ９３０において、複数の選択されたプロンプトに対応する複数の音声データ項目を同時に処理して医療診断スコアを生成する第２数学モデルを訓練する。第２数学モデルを訓練するとき、複数の選択されたプロンプトの各々に対応する音声データ項目によるセッションを含む訓練コーパスを使用することができる。この数学モデルを訓練するとき、数学モデルへの入力を、セッションからの、そして選択されたプロンプトの各々に対応する音声データ項目に固定してもよい。数学モデルの出力は、既知の医療診断に固定されてもよい。

【0116】

次いで、このモデルのパラメータを訓練して、同時に医療診断スコアを生成するように音声データ項目を最適に処理することもできる。確率的勾配降下法のような、任意の適した訓練技法を使用することができる。

【0117】

次いで、音声モジュール１０４、図１のサービス等のように、病状診断サービスの一部として、第２数学モデルをデプロイすることができる。第２数学モデルは、個別にではなく、発声を同時に処理するように訓練されているので、第２数学モデルは第１数学モデルよりも高い性能を発揮することができる。つまり、訓練は、全ての発声からの情報を組み合わせると、一層正しく病状診断スコアを生成することができる。

【0118】

図１０は、以上で説明した技法の内任意のものを実装するためのコンピューティング・デバイス１０００の一実施態様のコンポーネントを示す。図１０では、コンポーネントは、１つのコンピューティング・デバイス上にあるように示されているが、例えば、エンド・ユーザ・コンピューティング・デバイス（例えば、スマート・フォンまたはタブレット）および／またはサーバ・コンピューティング・デバイス（例えば、クラウド・コンピューティング）を含む、コンピューティング・デバイスのシステムのように、複数のコンピューティング・デバイス間で、コンポーネントを分散させることもできる。

【0119】

コンピューティング・デバイス１０００は、揮発性または不揮発性メモリ１０１０、１つ以上のプロセッサ１０１１、および１つ以上のネットワーク・インターフェース１０１２のような、コンピューティング・デバイスに典型的な任意のコンポーネントを含むことができる。また、コンピューティング・デバイス１０００は、ディスプレイ、キーボード、およびタッチ・スクリーンのような、任意の入力および出力コンポーネントも含むことができる。また、コンピューティング・デバイス１０００は、特定の機能を提供する種々のコンポーネントまたはモジュールも含むことができ、これらのコンポーネントまたはモジュールは、ソフトウェア、ハードウェア、またはこれらの組み合わせで実装することができる。以下に、実装の一例として、コンポーネントの様々な例について説明するが、他の実装では、追加のコンポーネントを含んでもよく、または以下で説明するコンポーネントの一部を除外してもよい。

【0120】

コンピューティング・デバイス１０００は、先に説明したように音声データ項目について音響特徴を計算することができる音響特徴計算コンポーネント１０２１を有することができる。コンピューティング・デバイス１０００は、先に説明したように音声データ項目の言語特徴を計算することができる言語特徴計算コンポーネント１０２２を有することができる。コンピューティング・デバイス１０００は、先に説明したように音声データ項目について音声認識結果を生成することができる音声認識コンポーネント１０２３を有することができる。コンピューティング・デバイス１０００は、先に説明したように特徴に対して選択スコアを計算することができる特徴選択スコア計算コンポーネント１０３１を有することができる。コンピューティング・デバイス１０００は、先に説明したように安定性判定を行うまたは安定性スコアを計算することができる特徴安定性スコア計算コンポーネント１０３２を有することができる。コンピューティング・デバイス１０００は、先に説明したように選択スコアおよび／または安定性判定を使用して特徴を選択することができる特徴選択コンポーネント１０３３を有することができる。コンピューティング・デバイス１０００は、先に説明したようにプロンプトに対して選択スコアを計算することができるプロンプト選択スコア計算コンポーネント１０４１を有することができる。コンピューティング・デバイス１０００は、先に説明したように安定性判定を行うまたは安定性スコアを計算することができるプロンプト安定性スコア計算コンポーネント１０４２を有することができる。コンピューティング・デバイス１０００は、先に説明したように選択スコアおよび／または安定性判定を使用してプロンプトを選択することができるプロンプト選択コンポーネント１０４３を有することができる。コンピューティング・デバイス１０００は、先に説明したように数学モデルを訓練することができるモデル訓練コンポーネント１０５０を有することができる。コンピューティング・デバイス１０００は、先に説明したように音声データ項目を処理して医療診断スコアを決定することができる病状診断コンポーネント１０６０を有することができる。

【0121】

コンピューティング・デバイス１０００は、訓練コーパス・データ・ストア１０７０のような、種々のデータ・ストアを含むこと、またはこれらにアクセスすることができる。データ・ストアは、ファイル、リレーショナル・データベースまたは非リレーショナル・データベース、あるいは任意の非一時的コンピュータ読み取り可能媒体のような、任意の周知の格納技術を使用することができる。

【0122】

図１１は、音声モジュール１０４の一実施形態を示す。特定の実施形態では、音声モジュール１０４は、図１Ａに関して先に説明したような、デバイス音声モジュール１０４ａおよび／またはバックエンド音声モジュール１０４ｂの内１つ以上と実質的に同様でよい。図示する実施形態では、音声モジュール１０４は、クエリ・モジュール１１０２、応答モジュール１１０４、検出モジュール１１０６、およびインターフェース・モジュール１１０８を含む。

【0123】

一実施形態では、クエリ・モジュール１１０２は、ユーザに１つ以上の質問、プロンプト、要求(request)等を問いかける、および／または問い合わせる。特定の実施形態では、クエリ・モジュール１１０２は聞こえるようにおよび／または口頭で(verbally)ユーザに質問してもよい（例えば、一体化スピーカ、ヘッドホン、Ｂｌｕｅｔｏｏｔｈ（登録商標）スピーカまたはヘッドホン等というような、コンピューティング・デバイス１０２のスピーカを使用する）。例えば、脳震盪のように、特定の潜在的な病状のために、ユーザにとって質問および／またはプロンプトを読むことが難しいという場合もあり、聞こえるようにユーザに質問することによって、診断を簡略化するおよび／または捗らせることができる。更に他の実施形態では、クエリ・モジュール１１０２が１つ以上の質問および／または他のプロンプトをユーザに（例えば、コンピューティング・デバイス１０２の電子ディスプレイ画面上等）に表示してもよく、他のユーザ（例えば、コーチ、親、医療専門家、管理者等）が１つ以上の質問および／または他のプロンプトをユーザに読み上げてもよい等があげられる。種々の実施形態では、１つ以上の病状の診断を促進するために、プロンプト選択コンポーネント１０４３に関して先に説明したように、１つ以上の質問またはプロンプトを選択してもよい。

【0124】

特定の実施形態では、複数の異なるコンピューティング・デバイス１０２上に配置された複数のクエリ・モジュール１１０２が複数の異なるユーザに問い合わせる、および／または質問するのでもよい。例えば、複数の分散型クエリ・モジュール１１０２が、治験のために音声サンプルを収集し、病状を診断する機械学習モデルを訓練し、検査データを収集してプロンプトの選択を容易にする等も可能である。

【0125】

一実施形態では、クエリ・モジュール１１０２が、知られている健康状態、病状の予め定められた段階等のような、予め定められた健康状態にあるユーザに質問して、および／または、そうでなければ問い合わせて、１つ以上の基準音声記録、訓練データ、またはその他のデータを収集する。特定の実施形態では、クエリ・モジュール１１０２が、潜在的な健康現象(medical event)またはその他のトリガに応答して、ユーザに質問するおよび／または、そうでなければ問い合わせる。クエリ・モジュール１１０２は、ウェアラブル・デバイスまたは移動体デバイスのようなコンピューティング・デバイス１０２のセンサからのデータに基づいて、および／または傷害が起きたらしいこと、疾病の１つ以上の兆候が検出されたこと等を示す他のトリガを受け取ったことに基づいて、医療評価を要求するユーザに応答して、ユーザに質問しテスト・ケース音声記録または他のテスト・ケース・データを収集することができる。例えば、衝突、落下、事故、および／またはその他の潜在的な脳震盪現象（例えば、スポーツ・イベントまたは他の活動における）に応答して、ユーザ（傷害を負った選手または他の人、コーチ、親、医療専門家、管理者等）が医療評価を要求してもよい（例えば、インターフェース・モジュール１１０８のグラフィカル・ユーザ・インターフェースを使用して、クエリ・モジュール１１０２からの１つ以上の質問、音声データおよび／または応答モジュール１１０４からの他のデータの収集、および／または検出モジュール１１０６からの医療評価等をトリガする）。特定の実施形態では、脳震盪は、ユーザの頭部に対する直接または間接的な力が原因で生ずる脳機能の乱れを含むことがある。脳震盪は、頭痛、不安定、混乱または他の脳器脳障害、異常行動および／または人格等の原因となり得る。

【0126】

例えば、病状が脳震盪を含む実施形態では、クエリ・モジュール１１０２がユーザに聞こえるように質問し、および／またはユーザに関連するセンサ・データを収集して、ユーザの目が開いているか否か、痛みに応答してユーザの目が開いているか否か、音声に応答してユーザの目が開いているか否か、ユーザの目が自発的に開いているか否か、ユーザが口頭で応答を出すことができるか否か、ユーザが理解できない音を発しているか否か、ユーザが質問または他のプロンプトに不適切な単語で応答しているか否か、ユーザが混乱している(confused)か否か、ユーザが不調になっている(disoriented)か否か、ユーザが殆どまたは全く運動反応を示さないか否か、ユーザが牽引(extension)に対して痛みを訴えるか否か（例えば、腕の外転、前腕の回外等）、ユーザが異常な屈曲に対して痛みを訴えるか否か（例えば、前腕の回内、屈筋姿勢(flexor posturing)等）、ユーザの痛みが引いているか否か、ユーザが痛みの位置を特定できるか否か（例えば、故意に痛みが生じる動き）、ユーザがクエリ・モジュール１１０２からのことばによる／可聴コマンドに従うか否か等を検出することができる。ある実施形態では、クエリ・モジュール１１０２は、評価および／または診断を受けるユーザにいくつかの質問を発し、更に他の質問を管理者（例えば、医療専門家、コーチ、親、トレーナ等）に発することができる。例えば、クエリ・モジュール１１０２が、平衡欠如、運動失調、不調(disorientation)、混乱(confusion)、記憶喪失、うつろなまたは空虚な表情、見て分かる顔の怪我または他の怪我、観察された身体検査の結果（例えば、運動範囲、柔軟性、感覚、強さ、平衡試験、協調試験等）、および／またはその他の観察事項というような、評価および／または診断を受けるユーザにおいて管理者が観察した可能性がある１つ以上の痕跡(sign)について、管理者に質問するのでもよい。

【0127】

特定の実施形態では、クエリ・モジュール１１０２は、潜在的な医療現象が発生したときにユーザが参加していたスポーツ・イベント、ユーザのチーム、日付けおよび／または時間、記憶検査の質問(memory test question)等について、ユーザに質問するおよび／または催促することができる。例えば、クエリ・モジュール１１０２は、ユーザに、「どこの会場に私たちは今日いるのか？」、「現在前半かまたは後半か？」、「この試合で最後に得点をあげたのは誰か？」、「先週または最後のゲームであなたはどのチームでプレーしたか？」、「あなたのチームは最後のゲームに勝ったか？」、「今は何月か？」、「今日の日付は？」、「今日は何曜日か？」、「今年は何年か？」、「今何時か？」という質問を、聞こえるようにおよび／または文書で行うことができ、ユーザに単語および／または数値を聞こえるように列挙し、それらを繰り返すようにユーザに指示することができ、ユーザに一連の写真を表示し、これら一連の写真の説明等を繰り返すようにユーザに指示することができる。クエリ・モジュール１１０２の１つ以上の質問および／またはプロンプトは、検出モジュール１１０６が、標準脳震盪評価ツール（ＳＣＡＴ：Standardized Concussion Assessment Tool）のスコア、ＳＣＡＴ２のスコア、ＳＣＡＴ３のスコア、ＳＣＡＴ５のスコア、グラスゴー・コーマ・スコア（ＧＣＳ： Glasgow Coma Score）、マドックス・スコア(Maddocks Score)、脳震盪認識ツール（ＣＲＴ： Concussion Recognition Tool）のスコア、および／または他の脳震盪のスコアを決定することを可能にするのでもよい。

【0128】

一実施形態では、応答モジュール１１０４は、クエリ・モジュール１１０２からの１つ以上の質問および／または他のクエリに応答して、応答データ（例えば、口頭応答の音声データ、タイプ打ちされた応答のテキスト・データ、センサ・データ、カメラもしくは他の画像センサからの画像および／またはビデオ・データ、タッチ・スクリーンおよび／またはタッチパッドからのタッチ入力、加速度計および／またはジャイロスコープからの移動情報等）を受け取るように構成される。例えば、特定の実施形態では、応答モジュール１１０４は、コンピューティング・デバイス１０２（例えば、サッカー場、他のスポーツ・イベント等に持って行った移動体コンピューティング・デバイス１０２）のマイクロフォンを使用して、クエリ・モジュール１１０２からの１つ以上の質問または他のプロンプトに対するユーザの口頭応答（例えば、回答）を記録することができる。

【0129】

一実施形態では、応答モジュール１１０４は、音声記録、センサ・データ等のような、受け取った応答データをコンピューティング・デバイス１０２，１１０のコンピュータ読み取り可能記憶媒体上に格納し、検出モジュール１１０６が、受け取った応答データにアクセスするおよび／または応答データを処理して、病状を診断および／または評価する、病状を診断および／または評価するモデルを訓練する等ができるように、インターフェース・モジュール１１０８が、受け取った応答データを１人以上の正規ユーザに提供できるように、および／または受け取った応答データが他の方法での使用のためにアクセス可能になるようにする。他の実施形態では、応答モジュール１１０４は、病状を診断および／または評価するために、受け取った応答データを直接検出モジュール１１０６に供給することもできる（例えば、データを他の方法で格納せず、一時的にデータを格納および／またはキャッシュせず等）。

【0130】

応答モジュール１１０４は、基準応答データ（例えば、クエリ・モジュール１１０２からの１つ以上の基準質問またはプロンプトに応答して）、およびテスト・ケース応答データ（例えば、潜在的な医療事象等に基づいてクエリ・モジュールからの１つ以上のテスト・ケースの質問またはプロンプトに応答して）を別個に受け取ること、および／または格納することもできる。特定の実施形態では、応答モジュール１１０４はテスト・ケース応答データだけを受け取るのでもよく、検出モジュール１１０６は病状の評価または他の診断を、テスト・ケース・データおよび異なるユーザ（例えば、その病状があることがわかっている他のユーザ等）からのデータの分析に基づいて行うこともできる。応答モジュール１１０４は、受け取った応答データを、データベース、および／または検出モジュール１１０６、インターフェース・モジュール１１０８等によってアクセス可能な他の既定のデータ構造に格納する、および／または編成することもできる。

【0131】

ユーザの応答の履歴（例えば、基準応答データ、テスト・ケース応答データ、評価、スコア等）を格納することによって、特定の実施形態では、検出モジュール１１０６が、医療事象に応答して、ユーザに対する病状を動的に評価することを、応答モジュール１１０４が可能にするのでもよい。例えば、応答モジュール１１０４は、ユーザの応答データを移動体コンピューティング・デバイス１０２上、データ・ネットワーク１０６，１３０を通じて移動体コンピューティング・デバイス１０２と通信するバックエンド・サーバ１０８上等に格納することができ、検出モジュール１１０６が、潜在的な医療事象に応答して現地において病状の評価について判定することを可能にする（例えば、潜在的な脳震盪事象に応答して、自動車事故に応答して等で、サッカーの試合または他のスポーツ・イベントにおいて、サイド・ラインまたはフィールド上で）。

【0132】

一実施形態では、検出モジュール１１０６は、応答モジュール１１０４から受け取った１つ以上のユーザ応答の分析に基づいて、病状の評価および／または他の診断をユーザに提供するように構成される。種々の実施形態では、先に説明した検出モジュール１１０６は、音響特徴計算コンポーネント２１０、音声認識コンポーネント２２０、言語特徴計算コンポーネント２３０、および／または病状クラシファイア２４０を備えてもよく、これらと通信してもよく、および／または実質的にこれらと同様であってもよい。

【0133】

一実施形態では、検出モジュール１１０６は、ユーザについてのテスト・ケース応答データ、および同じユーザについて以前に受け取った基準応答データ（例えば、ユーザに病状があるか否か、ユーザに病状がある可能性、その病状の推定重症度等）の双方に基づいて、ユーザに対する病状の評価または他の診断について判定することができる（例えば、ユーザの音声変化、ユーザの応答変化等について判定するため）。他の実施形態では、検出モジュール１１０６は、ユーザについてのテスト・ケース応答データに基づき、更に異なるユーザについての応答データ（例えば、病状が以前に診断されたことがある異なるユーザ等）に基づいて、ユーザに対する病状の評価または他の診断について判定することができる。更に他の実施形態では、検出モジュール１１０６は、ユーザについてのテスト・ケース応答データ、同じユーザについての基準応答データ、および異なるユーザについての応答データ等に基づいて、ユーザに対する病状の評価または他の診断について判定することができる。

【0134】

特定の実施形態では、音響特徴計算コンポーネント２１０、音声認識コンポーネント２２０、言語特徴計算コンポーネント２３０、および／または病状クラシファイア２４０に関して先に説明したように、検出モジュール１１０６は１つ以上の音声特徴（例えば、音響特徴および／または言語特徴）を音声記録（例えば、基準応答データおよび／またはテスト・ケース応答データ）から抽出することができ、１つ以上の抽出した音声特徴を、病状と関連付けられたモデル（例えば、混合ガウス・モデル、音響モデル、言語モデル、ニューラル・ネットワーク、ディープ・ニューラル・ネットワーク、クラシファイア、サポート・ベクトル・マシン、多層パーセプトロン等のような機械学習モデル）に入力することができ、このモデルは、１つ以上の抽出した音声特徴に基づいて、病状に対する評価または他の診断を出力することができる。

【0135】

更に他の実施形態では、抽出した音声特徴をモデルに入力して病状を診断することに加えて、検出モジュール１１０６は、ユーザに関連する他の補足データをモデルに入力して、その結果に基づいて病状を診断することもできる。例えば、検出モジュール１１０６がユーザのコンピューティング・デバイス１０２からのセンサ・データをモデルに入力し（例えば、抽出した音声特徴または他の音声データと共に）、ユーザに対して病状の評価または他の診断について判定するのでもよい。

【0136】

一実施形態では、検出モジュール１１０６は、１つ以上の画像特徴を、コンピューティング・デバイス１０２のカメラというような画像センサからの画像データ（例えば、ユーザ、ユーザの顔、病状に関連するユーザの他の身体部分等の１つ以上の画像、ビデオ等）から抽出することができ、１つ以上の画像特徴をモデルに入力する（例えば、抽出した音声特徴等と共に）ことができる。更に他の実施形態では、検出モジュール１１０６は、評価または他の診断を、少なくとも部分的に、コンピューティング・デバイス１０２のタッチ・スクリーン、タッチパッド等の上においてユーザから受け取ったタッチ入力に基づいて行うこともできる。

【0137】

例えば、クエリ・モジュール１１０２がコンピューティング・デバイス１０２の電子ディスプレイ上にインタラクティブ・ビデオ・ゲーム等を提供してもよく、インタラクティブ・ビデオ・ゲームが、病状の１つ以上の兆候についてユーザを検査するように構成されてもよく（例えば、反射神経、機敏さ、反応時間等を検査する）、検出モジュール１１０６が、インタラクティブ・ビデオ・ゲームの間にユーザから受け取ったタッチ入力から１つ以上の特徴（例えば、ビデオ・ゲームにおけるスコア、ユーザの反応時間、ユーザについてのタッチ精度測定基準(metrics)等）を抽出してもよく、そして１つ以上の抽出した特徴を、病状を診断するためにモデルに入力してもよい（例えば、１つ以上の抽出した音声特徴等と共に）。特定の実施形態では、検出モジュール１１０６は、加速度計、ジャイロスコープ、および／または移動体コンピューティング・デバイス１０２の他の動きセンサによって測定された、ユーザについての動き情報から１つ以上の特徴を抽出してもよく、１つ以上の抽出した特徴を、病状を診断するためにモデルに入力してもよい（例えば、１つ以上の抽出した音声特徴等と共に）。

【0138】

先に説明したように、特定の実施形態では、検出モジュール１１０６は、脳震盪のような神経学的状態を含む病状に対する評価または他の診断について判定することもできる。他の実施形態では、検出モジュール１１０６は、鬱病、ストレス、脳卒中、認知的安定、気分、誠意、アルツハイマー病、パーキンソン病、癌等の内１つ以上を含む病状に対する評価または他の診断について判定することもできる。

【0139】

特定の実施形態では、検出モジュール１１０６は、受け取った口頭応答データの１つ以上の音響特徴に基づいて、受け取った口頭応答データの１つ以上の言語特徴には関係なく（例えば、言語特徴を全く用いずに、１つ以上の予め定められた言語特徴のみを用いて、自動音声認識を全く用いずに等）、病状の評価または他の診断について判定するように構成することもできる。このように、ある実施形態では、検出モジュールの評価および／または診断は、受け取った口頭応答の言語および／または方言(dialect)とは無関係でよいので、検出モジュール１１０６は、受け取った口頭応答データの音響特徴を使用して、異なる言語でユーザに評価および／または診断を提供することができる。他の実施形態では、検出モジュール１１０６は、病状の評価および／または診断を、受け取った口頭応答データの音響特徴および言語特徴の双方に基づいて行うこともできる。

【0140】

特定の実施形態では、検出モジュール１１０６が、ユーザの移動体コンピューティング・デバイス１０２上のみで、病状の評価および／または診断について判定することができる。例えば、緊急の状況等においては、できるだけ早く診断が必要とされる場合があり、記録された口頭応答を処理のためにバックエンド・サーバ１０８にアップロードする時間がない場合もあり、または移動体コンピューティング・デバイス１０２がデータ・ネットワーク１０６，１３０への接続ができない場合もあり、または十分高速な接続ができない場合もある。一実施形態では、検出モジュール１１０６は、移動体コンピューティング・デバイス１０２上で利用可能な処理パワー、揮発性メモリ容量、および／または不揮発性記憶容量を使用して実行するように構成された１つ以上のモデルを使用することもできる。例えば、追加の行列乗算を使用すれば評価および／または診断の精度を向上させることができるとしても、モデルにおける行列乗算を制限することによって（例えば、行列乗算を使用しない、既定数の行列乗算のみにする等）、移動体コンピューティング・デバイス上で検出モジュール１１０６によって使用されるモデルは、クラシファイアのサイズ（例えば、必要な揮発性および／または不揮発性記憶容量）を極力抑えることができる。

【0141】

一実施形態では、検出モジュール１１０６は、移動体コンピューティング・デバイス１０２上で唯一のおよび／または排他的な評価および／または診断について判定する。更に他の実施形態では、検出モジュール１１０６が移動体コンピューティング・デバイス１０２上で第１評価および／または診断（例えば、第１スコア）について判定するのでもよく、他の検出モジュール１１０６が第２評価および／または診断（例えば、第２のスコア、より精度が高いおよび／またはより詳細な評価等）について判定するのでもよい。他の実施形態では、検出モジュール１１０６がバックエンド・サーバ・デバイス１０８上で唯一のおよび／または排他的な評価および／または診断について判定することもできる。

【0142】

特定の実施形態では、複数の音声モジュール１０４が、治験参加者を含むユーザと、１つ以上の治験を実行するように構成されてもよい（例えば、参加者の音声データの分析に基づいて、医療処置の効能について判定する）。このような実施形態では、検出モジュール１１０６は、治験に関連する病状に対する医療処置の効能の評価について判定することができる。例えば、治験参加者のようなユーザを、少なくとも、医療処置を受けないプラシーボ・グループと、医療処置を受ける異なるグループとに分割してもよく、または異なる医療処置等を受ける複数のグループに分割してもよい。

【0143】

複数の分散型検出モジュール１１０６が、プラシーボ・グループおよび医療処置を受ける１つ以上のグループの双方に対する病状の盲検評価を提供して、治験の１人以上の管理者が医療処置の効能について判定することを可能にするように構成することができる。例えば、検出モジュール１１０６が、病状の重症度、病状の１つ以上の兆候の重症度等を、プラシーボ・グループに対して、そして医療処置を受けるグループに対して判定し、これら２つを比較することができる。「盲検」評価("blind" assessment)とは、本明細書において使用する場合、参加者がプラシーボ・グループにいるのか、または医療処置を受けるグループにいるのかには基づかない評価のことである。例えば、特定の実施形態では、検出モジュール１１０６が、プラシーボ・グループの治験参加者、および医療処置を受けるグループの治験参加者の双方に、同じモデル、同じ分析等を使用してもよい。

【0144】

特定の実施形態では、治験に関連する病状を処置するときの医療処置の効能だけに基づいて評価を行う代わりに、検出モジュール１１０６は、少なくとも部分的に、受け取った応答データの内、ユーザの生活の質を示す１つ以上のバイオマーカ（例えば、口頭応答データ、センサ・データ等）に基づいて評価を行うように構成される。例えば、治験と関連する病状を評価することに加えて、検出モジュール１１０６は、肉体的疲労、倦怠(tiredness)、精神的疲労、ストレス、心配、鬱病、および／またはユーザの生活の質に関連する他のパラメータを示す１つ以上の生活の質バイオマーカ(quality of life biomarker)を評価することもできる。バイオマーカとは、本明細書において使用する場合、ユーザの何らかの生物学的状態(state)および／または状況(condition)の、ユーザからの測定可能な指標を含む（例えば、疾病および／または傷害の存在、１つ以上の兆候の存在、ユーザの現在の生活の質等）。特定の実施形態では、バイオマーカは、音響特徴、言語特徴、センサ・データにおいて識別可能な特徴等のような、ユーザからのデータに応答して検出モジュール１１０６によって客観的に識別可能な特徴を含んでもよい。

【0145】

特定の実施形態では、検出モジュール１１０６は、治験に合わせて参加者を篩に掛けるために、最初にユーザ（治験参加予定者）からの基準応答データを使用してもよい（例えば、ある病状を目的とする治験に対するユーザの適格性等を含む評価について判定する）。例えば、抗がん剤治療は有効であると言って差し支えないが、抗がん剤治療を使用する個人の生活の質にとっては有害になり得る。問診票または同様の手段を使用して処置または薬剤を受けることの生活の質および／または行動における結果を主観的に測定する代わりに、特定の実施形態では、検出モジュール１１０６が、ユーザからの口頭応答データにおけるバイオマーカまたは他の指標を客観的に使用して、ユーザ（例えば、治験参加者）における１つ以上の生活の質の変化を識別することができる。

【0146】

特定の実施形態では、インターフェース・モジュール１１０８は、クエリ・モジュール１１０２と協働して、１つ以上の質問および／またはプロンプトをユーザに表示する（例えば、聞こえるようにユーザに質問する代わりに、聞こえるようにユーザに質問するのに加えて等）。応答モジュール１１０４は、１つ以上のユーザ・インターフェース・エレメント（例えば、再生ボタン、再演(replay)ボタン、次質問ボタン、直前質問ボタン等）を表示することができ、ユーザがクエリ・モジュール１１０２の１つ以上の質問を検索する(navigate through)ことを可能にする。一実施形態では、判定モジュール１１０６が、クエリ・モジュール１１０２からの質問に対するユーザからの回答が正しいかまたは正しくないか（例えば、機械学習モデル等を使用した音声分析に基づいて）判定することができ、インターフェース・モジュール１１０８が、回答が正しいかまたは正しくないか、記号で指示することができる（例えば、動的に、クエリ・モジュール１１０２の評価の管理中等に）。更に他の実施形態では、判定モジュール１１０６が、自動音声認識を使用して、応答モジュール１１０４からのユーザの音声応答を記録しこれをテキストに変換することができ、インターフェース・モジュール１１０８がこのテキストをユーザに表示することができる（例えば、動的に、リアル・タイムで表示する等）。

【0147】

特定の実施形態では、インターフェース・モジュール１１０８は（例えば、クエリ・モジュール１１０２と協働して）、一節（例えば、文章、複数組の単語、文字、数値、単音節等を含む一節）を復唱するようにユーザに促すことができる。インターフェース・モジュール１１０８は、データが収集される毎に（例えば、基準応答データの集合体、テスト・ケース応答データの集合体、治験篩い分けデータの集合体、治験データの集合体等）、ユーザに同じ一節および／または１組の一節を復唱するように促してもよい。

【0148】

ある実施形態では、インターフェース・モジュール１１０８は、評価されるユーザの１つ以上の健康診断を行うように、命令によって、評価の管理者（例えば、コーチ、親、医療専門家等）に促すこともできる。例えば、インターフェース・モジュール１１０８が、平衡検査、運動協調検査、運動範囲検査、柔軟性検査、触覚検査、強度検査等の命令を発する(provide)のでもよく、応答モジュール１１０４のために管理者が結果（例えば、管理者の観察）を記録するためのインターフェースを設けてもよい。

【0149】

一実施形態では、インターフェース・モジュール１１０８が、応答モジュール１１０４から受け取った応答データ（例えば、音声記録、基準応答データ、テスト・ケース応答データ、センサ・データ等）へのアクセス、検出モジュール１１０６からの評価および／または他の診断へのアクセス等を、１人以上のユーザに付与する。インターフェース・モジュール１１０８は、複数の場所から（例えば、移動体コンピューティング・デバイス１０２上の移動体アプリから、バックエンド・サーバ１０８のウェブ・サーバにアクセスする異なるコンピューティング・デバイス１０２のウェブ・ブラウザから等）受け取った応答データ、評価および／または他の診断等に、ユーザをアクセスさせることができる。

【0150】

例えば、インターフェース・モジュール１１０８が、基準応答データに基づく基準評価および／またはスコア、テスト・ケース応答データに基づくテスト・ケース評価および／またはスコア、後続の応答（例えば、以前に評価／診断された病状からの回復中における自宅での追跡評価）に基づく追跡評価および／またはスコア等を、ユーザに提示してもよく、各々は、１つ以上のコンピューティング・デバイス１０２上における同じグラフィカル・ユーザ・インターフェースを通じて、評価および／またはスコア毎に関連する応答データ等と共に提示される。インターフェース・モジュール１１０８は、比較のために、現在の（例えば、テスト・ケース(test case)）評価および／またはスコアの次に、基準評価および／またはスコアを表示してもよく（例えば、並べて）、基準評価および／またはスコアと現在の（例えば、テキスト・ケース）評価および／またはスコアとの差等を表示することができる。一実施形態では、インターフェース・モジュール１１０８は、異なるカテゴリ毎にサブスコアを用いて、評価および／またはスコアの内訳等を表示してもよい。

【0151】

ある実施形態では、インターフェース・モジュール１１０８が、応答データ、スコア、または他の評価等を、複数のスポーツ、チーム、学校等からのユーザのために集計し、これらを１つのグラフィカル・ユーザ・インターフェース内に表示することもできる。このように、インターフェース・モジュール１１０８は、より多くの情報に基づいた医学的判定を行うために、医療専門家、コーチ、管理者等に、ユーザの健康、傷害履歴等の履歴および／またはステータスを、完全度を高めて提供することができる。

【0152】

特定の実施形態では、インターフェース・モジュール１１０８が、ユーザを認証し（例えば、ユーザ名およびパスワード、または他の認証資格証明書によって）、ユーザに関連付けられたアクセス制御許可に基づいて、音声記録または他の応答データ、評価または他の診断等へのアクセスをユーザに付与することによって、アクセス制御許可を実施することができる（例えば、個人保護、セキュリティ、ＨＩＰＡＡ準拠等のため）。特定の実施形態では、インターフェース・モジュール１１０８は、異なるユーザに対して階層的アクセス制御許可を実施し、階層における各レベルにあるユーザは、階層における彼らのレベルよりも下であれば、任意のレベルに関連付けられたデータにアクセスすることができる。

【0153】

例えば、音声モジュール１０４が、競技選手のために脳震盪および／または他の病状を診断するように構成される実施形態では、競技選手、親、および／または保護者が、競技選手自身の個人応答データ（例えば、音声記録、評価および／または他の診断に対するアクセス許可を得ることができ、コーチは、各チーム・メンバ（例えば、複数の競技選手または他のユーザ）についての同様のデータにアクセスすることができ、学校またはリーグの管理者は、複数のチームのチーム・メンバ（例えば、学校における各チーム、リーグにおける各チーム等）についての同様のデータにアクセスすることができ、地区または地域の管理者は、複数の学校またはリーグのチーム・メンバについての同様のデータにアクセスすることができる等があげられる。特定の実施形態では、インターフェース・モジュール１１０８が、個人専用にした情報を個人および彼らのコーチに提供するが、階層の他のレベルに対してはデータを平均化するまたは他の方法で匿名化する（例えば、チーム毎、学校毎、場所毎、リーグ毎等）というようにして、特定のユーザのためにデータ（例えば、音声記録および／またはセンサ・データのような応答データ、評価および／または他の診断等）を匿名化することもできる。

【0154】

音声モジュール１０４が医療研究を行っている実施形態では、階層的アクセス制御許可によって、インターフェース・モジュール１１０８が、治験の１人以上の管理者に、ユーザについて格納されているデータ(例えば、格納されている基準記録口頭応答、テスト・ケース記録口頭応答、評価または他の診断等）へのアクセスを付与する可能性がある間、インターフェース・モジュール１１０８は、個々のユーザ（例えば、医療研究の参加者）が彼ら自身のデータの少なくとも一部（例えば、応答データ、評価または他の診断、応答データおよび評価の双方等）にアクセスするのを禁止することができる。

【0155】

図１２は、音声に基づく医療評価のための方法１２００の一実施形態を示す。方法１２００が開始すると、クエリ・モジュール１１０２がユーザに質問する（１２０２）（例えば、聞こえるようにコンピューティング・デバイス１０２のスピーカから、コンピューティング・デバイス１０２の電子画面上に文字で質問する等）。

【0156】

応答モジュール１１０４は、ユーザの応答を受ける（１２０４）（例えば、コンピューティング・デバイス１０２のマイクロフォンからの口頭応答、コンピューティング・デバイス１０２のタッチ・スクリーンおよび／またはタッチパッドからのタッチ応答、コンピューティング・デバイス１０２の１つ以上のセンサからのセンサ入力、コンピューティング・デバイス１０２のマウスまたは他の入力デバイスからの選択またはクリック、コンピューティング・デバイス１０２のキーボードおよび／またはタッチ・スクリーン上におけるユーザによるテキスト応答入力等）。検出モジュール１１０６は、ユーザから受け取った（１２０４）応答の分析に基づいて、病状についてユーザを評価し（１２０６）、方法１２００は終了する。

【0157】

図１３は、音声に基づく医療評価のための方法１３００の一実施形態を示す。クエリ・モジュール１１０２は、コンピューティング・デバイス１０２のユーザ・インターフェース（例えば、マイクロフォン、電子表示画面、タッチ・スクリーン、および／または１つ以上の他のセンサ）を使用して、ユーザに１つ以上の質問を行う(query)（１３０２）。応答モジュール１１０４は、コンピューティング・デバイス１０２，１０８上において行われた１つ以上の質問（１３０２）に対するユーザの１つ以上の基準応答（例えば、データ・ファイルまたは他のデータ構造として、オーディオ記録のような口頭応答、テキスト応答、および／またはセンサ・データ等）を記録する（１３０４）。

【0158】

検出モジュール１１０６は、潜在的な医療事象を検出する（１３０６）（例えば、ユーザが医療評価を要求したことに基づいて、センサからのデータに基づいて、および／または他のトリガを受け取ったことに基づいて）。検出モジュール１１０６が潜在的な医療事象を検出しない場合（１３０６）、方法１３００は、検出モジュール１１０６が潜在的な医療事象を検出する（１３０６）まで、継続する。

【0159】

検出モジュール１１０６が潜在的な医療事象（例えば、脳震盪の原因となったかもしれない影響(impact)または他の現象、鬱病、ストレス、脳卒中、認知的安定、気分、誠意、アルツハイマー病、パーキンソン病等のような潜在的な病状の指標、ユーザからの要求、および／または他のトリガ）を検出した（１３０６）ことに応答して、クエリ・モジュール１１０２は、コンピューティング・デバイス１０２のユーザ・インターフェースを使用して、ユーザに１つ以上の質問を再度行う（１３０８）。

【0160】

応答モジュール１１０４は、コンピューティング・デバイス１０２，１０８上において、再度行われた１つ以上の質問（１３０８）に対するユーザの１つ以上のテスト・ケース応答を記録する（１３１０）。検出モジュール１１０６は、コンピューティング・デバイス１０２，１０８上において、記録された１つ以上の基準応答（１３０４）および記録された１つ以上のテスト・ケース応答（１３１０）の音声分析に基づいて、ユーザに病状（例えば、脳震盪、鬱病、ストレス、脳卒中、認知的安定、気分、誠意、アルツハイマー病、パーキンソン病等）がある可能性を評価する（１３１２）。方法１３００は、検出モジュール１１０６が後続の潜在的な医療事象を検出する（１３０６）まで継続する。

【0161】

種々の実施形態において、コンピューティング・デバイス１０２からユーザに質問する（例えば、聞こえるように、および／または他の方法で）手段は、音声モジュール１０４、デバイス音声モジュール１０４ａ、バックエンド音声モジュール１０４ｂ、クエリ・モジュール１１０２、移動体コンピューティング・デバイス１０２、バックエンド・サーバ・コンピューティング・デバイス１０８、コンピューティング・デバイス１０２，１０８の電子スピーカ、ヘッドホン、コンピューティング・デバイス１０２，１０８の電子表示画面、ユーザ・インターフェース・デバイス、ネットワーク・インターフェース、移動体アプリケーション、プロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック、他のロジック・ハードウェア、および／または非一時的コンピュータ読み取り可能記憶媒体上に格納されている他の実行可能プログラム・コードを備えることができる。他の実施形態は、ユーザに質問するために、実質的に同様または同等の手段を備えればよい。

【0162】

種々の実施形態において、コンピューティング・デバイス１０２，１０８上においてユーザの応答（例えば、口頭応答、文字応答、センサ・データ等）を受ける手段は、音声モジュール１０４、デバイス音声モジュール１０４ａ、バックエンド音声モジュール１０４ｂ、応答モジュール１１０４、移動体コンピューティング・デバイス１０２、バックエンド・サーバ・コンピューティング・デバイス１０８、マイクロフォン、ユーザ入力デバイス、タッチ・スクリーン、タッチパッド、キーボード、マウス、加速度計、ジャイロスコープ、画像センサ、移動体アプリケーション、プロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック、他のロジック・ハードウェア、および／または非一時的コンピュータ読み取り可能記憶媒体上に格納されている他の実行可能プログラム・コードを備えることができる。他の実施形態は、応答を受け取るために、実質的に同様または同等の手段を備えればよい。

【0163】

種々の実施形態において、ユーザから受け取った応答に基づいてユーザを病状について評価する手段は、音声モジュール１０４、デバイス音声モジュール１０４ａ、バックエンド音声モジュール１０４ｂ、検出モジュール１１０６、移動体コンピューティング・デバイス１０２、バックエンド・サーバ・コンピューティング・デバイス１０８、移動体アプリケーション、機械学習、人工知能、音響特徴計算コンポーネント２１０、音声認識コンポーネント２２０、混合ガウス・モデル、音響モデル、言語モデル、ニューラル・ネットワーク、ディープ・ニューラル・ネットワーク、病状クラシファイア２４０、クラシファイア、サポート・ベクトル・マシン、多層パーセプトロン、プロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック、他のロジック・ハードウェア、および／または非一時的コンピュータ読み取り可能記憶媒体上に格納されている他の実行可能プログラム・コードを備えることができる。他の実施形態は、ユーザを病状について評価するために、実質的に同様または同等の手段を備えればよい。

【0164】

種々の実施形態において、ユーザの階層において異なるユーザを認証する手段は、音声モジュール１０４、デバイス音声モジュール１０４ａ、バックエンド音声モジュール１０４ｂ、インターフェース・モジュール１１０８、移動体コンピューティング・デバイス１０２、バックエンド・サーバ・コンピューティング・デバイス１０８、移動体アプリケーション、プロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック、他のロジック・ハードウェア、および／または非一時的コンピュータ読み取り可能記憶媒体上に格納されている他の実行可能プログラム・コードを備えることができる。他の実施形態は、異なるユーザを認証するために、実質的に同様または同等の手段を備えればよい。

【0165】

種々の実施形態において、異なる記録および／または異なるユーザに対する異なる評価へのアクセスを付与する手段（例えば、ユーザの階層に対する階層的アクセス制御許可等に基づいて）は、音声モジュール１０４、デバイス音声モジュール１０４ａ、バックエンド音声モジュール１０４ｂ、インターフェース・モジュール１１０８、移動体コンピューティング・デバイス１０２、バックエンド・サーバ・コンピューティング・デバイス１０８、移動体アプリケーション、プロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック、他のロジック・ハードウェア、および／または非一時的コンピュータ読み取り可能記憶媒体上に格納されている他の実行可能プログラム・コードを備えることができる。他の実施形態は、異なる記録および／または異なるユーザに対する異なる評価へのアクセスを付与するために、実質的に同様または同等の手段を備えればよい。

【0166】

本明細書において説明した方法およびシステムは、部分的にまたは全体的に、コンピュータ・ソフトウェア、プログラム・コード、および／または命令をプロセッサ上で実行する機械によってデプロイすることもできる。「プロセッサ」とは、本明細書において使用する場合、少なくとも１つのプロセッサを含むことを意味し、文脈が明らかに別のことを示すのではない限り、複数および単数は相互可能であると理解されてしかるべきである。本開示の態様はいずれも、機械上の方法、機械の一部としてまたは機械に関係するシステムまたは装置(apparatus)、あるいは機械の１つ以上において実行するコンピュータ読み取り可能媒体において具体化されるコンピュータ・プログラム製品として実現することができる。プロセッサは、サーバ、クライアント、ネットワーク・インフラストラクチャ、移動体コンピューティング・プラットフォーム、静止コンピューティング・プラットフォーム、または他のコンピューティング・プラットフォームの一部であってもよい。プロセッサは、プログラム命令、コード、バイナリ命令等を実行することができる任意の種類の計算デバイスまたは処理デバイスとしてもよい。プロセッサは、１つのプロセッサ、ディジタル・プロセッサ、埋め込みプロセッサ、マイクロプロセッサ、あるいは格納されているプログラム・コードまたはプログラム命令の実行を直接または間接的に促進することができるコプロセッサ（マス・コプロセッサ、グラフィック・コプロセッサ、通信コプロセッサ等）のようなあらゆる変種等であってもよく、あるいは含んでもよい。加えて、プロセッサは、複数のプログラム、スレッド、およびコードの実行を可能にするのでもよい。プロセッサの性能を向上させるため、およびアプリケーションの同時処理を実行し易くために、複数のスレッドを同時に実行することもできる。一実施態様として、本明細書において説明した方法、プログラム・コード、プログラム命令等が１つ以上のスレッドにおいて実装されてもよい。スレッドが他のスレッドを生成する(spawn)こともでき、これらに関連付けて優先順位を割り当てることができ、プロセッサは、優先順位に基づいて、またはプログラム・コード内において与えられる命令に基づく任意の他の順序に基づいて、これらのスレッドを実行することができる。プロセッサは、本明細書および他の場所で説明されるような、方法、コード、命令、およびプログラムを格納するメモリを含むことができる。プロセッサは、本明細書および他の場所で説明されるような、方法、コード、および命令を格納することができる記憶媒体に、インターフェースを介してアクセスすることができる。方法、プログラム、コード、プログラム命令、またはコンピューティング・デバイスまたは処理デバイスによって実行することができる他のタイプの命令を格納するためにプロセッサに付随する記憶媒体には、ＣＤ－ＲＯＭ、ＤＶＤ、メモリ、ハード・ディスク、フラッシュ・ドライブ、ＲＡＭ、ＲＯＭ、キャッシュ等の内１つ以上を含むことができるが、これらに限定されなくてもよい。

【0167】

プロセッサは、マルチプロセッサの速度および性能を向上させることができる１つ以上のコアを含んでもよい。実施形態では、プロセスは、デュアル・コア・プロセッサ、クアッド・コア・プロセッサ、または２つ以上の独立コア（ダイと呼ぶ）を組み合わせる他のチップ・レベル・マルチプロセッサ等であってもよい。

【0168】

本明細書において説明した方法およびシステムは、部分的にまたは全体的に、サーバ、クライアント、ファイアウォール、ゲートウェイ、ハブ、ルータ、あるいは他のこのようなコンピュータおよび／またはネットワーキング・ハードウェア上でコンピュータ・ソフトウェアを実行する機械によってデプロイすることができる。ソフトウェア・プログラムは、ファイル・サーバ、プリント・サーバ、ドメイン・サーバ、インターネット・サーバ、イントラネット・サーバ、および二次サーバ、ホスト・サーバ、分散型サーバ等のような他の変種を含むことができるサーバと関連付けることができる。サーバは、メモリ、プロセッサ、コンピュータ読み取り可能媒体、記憶媒体、ポート（物理および仮想）、通信デバイス、ならびに他のサーバ、クライアント、機械、およびデバイスに有線またはワイヤレス媒体を通じてアクセスすることができるインターフェース等の内１つ以上を含むことができる。本明細書および他の場所で説明されるような方法、プログラム、またはコードは、サーバによって実行されてもよい。加えて、本願明細書において説明したような方法の実行に必要とされる他のデバイスは、サーバに関連するインフラストラクチャの一部として見なされてもよい。

【0169】

サーバは、インターフェースを他のデバイスに提供することができる。他のデバイスには、限定ではなく、クライアント、他のサーバ、プリンタ、データベース・サーバ、プリント・サーバ、ファイル・サーバ、通信サーバ、分散型サーバ等が含まれる。加えて、このカプリング(coupling)および／または接続は、ネットワークを跨いだプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部または全てをネットワーク接続することにより、本開示の範囲から逸脱することなく、１つ以上の場所におけるプログラムまたは方法の並列処理を容易にすることができる。加えて、インターフェースを介してサーバに取り付けられるデバイスはいずれも、方法、プログラム、コード、および／または命令を格納することができる少なくとも１つの記憶媒体を含むことができる。中央レポジトリが、異なるデバイス上で実行されるプログラム命令を提供してもよい。この実施態様では、遠隔レポジトリがプログラム・コード、命令、およびプログラムのための記憶媒体として作用することができる。

【0170】

ソフトウェア・プログラムをクライアントと関連付けることもできる。クライアントには、ファイル・クライアント、プリント・クライアント、ドメイン・クライアント、インターネット・クライアント、イントラネット・クライアント、および二次クライアント、ホスト・クライアント、分散型クライアント等のような他の変種を含んでもよい。クライアントは、メモリ、プロセッサ、コンピュータ読み取り可能媒体、記憶媒体、ポート（物理および仮想）、通信デバイス、ならびに他のクライアント、サーバ、機械、およびデバイスに有線またはワイヤレス媒体を通じてアクセスすることができるインターフェース等の内１つ以上を含むことができる。本明細書および他の場所で説明されるような方法、プログラム、またはコードは、クライアントによって実行されてもよい。加えて、本明細書において説明したような方法の実行に必要とされる他のデバイスは、クライアントに関連するインフラストラクチャの一部として見なされてもよい。

【0171】

クライアントは、インターフェースを他のデバイスに提供することができる。他のデバイスには、限定ではなく、サーバ、他のクライアント、プリンタ、データベース・サーバ、プリント・サーバ、ファイル・サーバ、通信サーバ、分散型サーバ等が含まれる。加えて、このカプリング(coupling)および／または接続は、ネットワークを跨いだプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部または全てをネットワーク接続することにより、本開示の範囲から逸脱することなく、１つ以上の場所におけるプログラムまたは方法の並列処理を容易にすることができる。加えて、インターフェースを介してクライアントに取り付けられるデバイスはいずれも、方法、プログラム、アプリケーション、コード、および／または命令を格納することができる少なくとも１つの記憶媒体を含むことができる。中央レポジトリが、異なるデバイス上で実行されるプログラム命令を提供してもよい。この実施態様では、遠隔レポジトリがプログラム・コード、命令、およびプログラムのための記憶媒体として作用することができる。

【0172】

本明細書において説明した方法およびシステムは、部分的にまたは全体的に、ネットワーク・インフラストラクチャを介してデプロイすることもできる。ネットワーク・インフラストラクチャは、コンピューティング・デバイス、サーバ、ルータ、ハブ、ファイアウォール、クライアント、パーソナル・コンピュータ、通信デバイス、ルーティング・デバイス、ならびに当技術分野において知られている他の能動および受動デバイス、モジュール、および／またはコンポーネントというようなエレメントを含むことができる。ネットワーク・インフラストラクチャと関連付けられるコンピューティングおよび／または非コンピューティング・デバイス（１つまたは複数）は、他のコンポーネント以外に、フラッシュ・メモリ、バッファ、スタック、ＲＡＭ、ＲＯＭ等のような記憶媒体を含むことができる。本明細書および他の場所において説明されるプロセス、方法、プログラム・コード、命令は、ネットワーク・インフラストラクチャ・エレメントの内１つ以上によって実行されてもよい。

【0173】

本明細書および他の場所において説明された方法、プログラム・コード、および命令は、複数のセルを有するセルラ・ネットワーク上で実装することもできる。セルラ・ネットワークは、周波数分割多元接続（ＦＤＭＡ）ネットワーク、または符号分割多元接続（ＣＤＭＡ）ネットワークのいずれかであってもよい。セルラ・ネットワークは、移動体デバイス、セル・サイト、基地局、リピータ、アンテナ、タワー等を含むことができる。セルラ・ネットワークは、ＧＳＭ（登録商標）、ＧＰＲＳ、３Ｇ、ＥＶＤＯ、メッシュ、または他のネットワーク・タイプであってもよい。

【0174】

本明細書および他の場所において説明された方法、プログラム・コード、および命令は、移動体デバイス上において、または移動体デバイスを通じて実装することもできる。移動体デバイスは、ナビゲーション・デバイス、セル・フォン、移動体電話機、移動体パーソナル・ディジタル・アシスタント、ラップトップ、パームトップ、ネットブック、ページャ、電子書籍リーダ、音楽プレーヤ等を含むことができる。これらのデバイスは、他のコンポーネント以外にも、フラッシュ・メモリのような記憶媒体、バッファ、ＲＡＭ、ＲＯＭ、および１つ以上のコンピューティング・デバイスを含むことができる。移動体デバイスと関連付けられたコンピューティング・デバイスが、そこに格納されているプログラム・コード、方法、および命令を実行することを可能にしてもよい。あるいは、移動体デバイスは、他のデバイスと協調して命令を実行するように構成されてもよい。移動体デバイスは、サーバとインターフェースされた基地局と通信し、プログラム・コードを実行するように構成されてもよい。移動体デバイスは、ピア・ツー・ピア・ネットワーク、メッシュ・ネットワーク、または他の通信ネットワーク上で通信することもできる。プログラム・コードは、サーバに付帯する記憶媒体上に格納され、サーバ内に埋め込まれたコンピューティング・デバイスによって実行されてもよい。基地局は、コンピューティング・デバイスおよび記憶媒体を含むことができる。記憶デバイスは、基地局と関連付けられたコンピューティング・デバイスによって実行されるプログラム・コードおよび命令を格納することができる。

【0175】

コンピュータ・ソフトウェア、プログラム・コード、および／または命令は、機械読み取り可能媒体上に格納され、および／または機械読み取り可能媒体上でアクセスすることができる。機械読み取り可能媒体は、ある時間間隔で計算するために使用されるディジタル・データを保持するコンピュータ・コンポーネント、デバイス、および記録媒体；ランダム・アクセス・メモリ（ＲＡＭ）として知られる半導体ストレージ；光ディスク、ハード・ディスク、テープ、ドラム、カード、および他のタイプのような磁気ストレージの形態というような、通例ではより永続的な格納のための大容量ストレージ；プロセッサ・レジスタ、キャッシュ・メモリ、揮発性メモリ、不揮発性メモリ；ＣＤ、ＤＶＤのような光ストレージ；フラッシュ・メモリ（例えば、ＵＳＢスティックまたはキー）、フロッピ・ディスク、磁気テープ、紙テープ、パンチ・カード、単体ＲＡＭディスク、Ｚｉｐドライブ、リムーバブル大容量ストレージ、オフライン等のようなリムーバブル媒体；ダイナミック・メモリ、スタティック・メモリ、リード／ライト・ストレージ、可変ストレージ、読み取り専用、ランダム・アクセス、シーケンシャル・アクセス、位置アドレス可能、ファイル・アドレス可能、コンテンツ・アドレス可能、ネットワーク取付ストレージ、ストレージ・エリア・ネットワーク、バー・コード、磁気インク等のような他のコンピュータ・メモリを含むことができる。

【0176】

本明細書において説明した方法およびシステムは、物理品目および／または無形品目を１つの状態から他の状態に変換することができる。また、本明細書において説明した方法およびシステムは、物理品目および／または無形品目を表すデータを１つの状態から他の状態に変換することができる。

【0177】

本発明は、その主旨や本質的な特徴から逸脱することなく、他の特定形態で具体化することもできる。説明した実施形態は、あらゆる観点において、限定ではなく例示として解釈されてしかるべきである。したがって、本発明の範囲は、以上の説明によってではなく、添付した請求項によって示されるものとする。請求項の均等の意味および範囲に該当する全ての変更は、それらの範囲内に包含されるものとする。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】