(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-02
(54)【発明の名称】瞳孔反応を評価するためのシステム及び方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20221026BHJP
A61B 3/113 20060101ALI20221026BHJP
【ＦＩ】
A61B5/00 B
A61B3/113
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022513562
(86)(22)【出願日】2020-07-02
(85)【翻訳文提出日】2022-04-21
(86)【国際出願番号】 US2020040671
(87)【国際公開番号】W WO2021040886
(87)【国際公開日】2021-03-04
(31)【優先権主張番号】62/892,977
(32)【優先日】2019-08-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522074855
【氏名又は名称】バイオトリリオン インコーポレイテッド
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】デバニ サバン アール
【テーマコード（参考）】
4C117
4C316
【Ｆターム（参考）】
4C117XA01
4C117XB02
4C117XD04
4C117XD06
4C117XE43
4C117XJ03
4C117XK32
4C117XL01
4C117XL11
4C316AA06
4C316AA08
4C316AA09
4C316AA11
4C316AA28
4C316AA30
4C316AB16
4C316FA20
4C316FB11
4C316FB21
4C316FB26
4C316FC15
4C316FC28
4C316FZ03
(57)【要約】
例示的なシステムは、デバイスの同じ側にディスプレイ及びカメラを提供する。いくつかの例では、刺激に閃光を提供する代わりに、システムは、ユーザのまぶたを利用して瞳孔を暗適応させ、周囲光及び／又はディスプレイからの光を使用して刺激を媒介することができる。前向きディスプレイ及び前向きカメラの使用はさらに、開示されたシステムが、画像キャプチャ中の周囲照明条件を制御することを許容して、一次瞳孔反応を測定している間に追加の瞳孔刺激が起こらないことを確実にする。
【特許請求の範囲】
【請求項1】
瞳孔対光反射を評価するためのシステムであって、前面及び背面を備えるデバイスと、
前記デバイスの前記前面上に位置するカメラと、
前記デバイスの前記前面上に位置するディスプレイと、
プロセッサと、
前記プロセッサによって実行可能な複数のコードセクションを中に格納したメモリと、
を備え、
前記メモリに格納された前記複数のコードセクションが、
ユーザに向かって目を閉じるように要求する指示を前記ディスプレイに表示すること、
前記カメラから、ユーザの少なくとも一方の目に対応する画像データを受信すること、
前記画像データを処理して、少なくとも１つの瞳孔特徴を識別すること、
前記少なくとも１つの瞳孔特徴に基づいて健康状態を判定すること、
の命令を含む、
ことを特徴とするシステム。
【請求項2】
前記命令が、前記ディスプレイに前記健康状態を出力することをさらに提供する、ことを特徴とする請求項１に記載のシステム。
【請求項3】
前記健康状態が、瞳孔対光反射、コーヒー消費、アルコール中毒レベル、オピオイド中毒レベル、抗ヒスタミン消費レベル、又は、コーヒー消費レベルを含む、ことを特徴とする請求項１に記載のシステム。
【請求項4】
前記ユーザに向かって目を閉じるように要求する指示を前記ディスプレイに表示することが、前記ユーザに所定の時間目を閉じることを要求するテキストベースのメッセージを表示することを含む、ことを特徴とする請求項１に記載のシステム。
【請求項5】
前記ユーザに向かって目を閉じるように要求する指示を前記ディスプレイに表示することが、目を開くための可聴指示が聞こえるまで、前記ユーザが目を閉じることを要求するテキストベースのメッセージを表示することを含む、ことを特徴とする請求項１に記載のシステム。
【請求項6】
前記命令が、前記ユーザに向かって目を閉じるように要求する指示を前記ディスプレイに表示した後、所定の時間が経過した後にスピーカを通して音声を出力することをさらに提供する、ことを特徴とする請求項５に記載のシステム。
【請求項7】
前記画像データが、前記音声を出力した後に受信される、ことを特徴とする請求項６に記載のシステム。
【請求項8】
前記命令が、前記画像データを処理して、前記ユーザの目が開いているかどうかを判定することをさらに提供する、ことを特徴とする請求項７に記載のシステム。
【請求項9】
前記ユーザに向かって目を閉じるように要求する指示を前記ディスプレイに表示することが、前記デバイスが振動するまで、前記ユーザに目を閉じることを要求するテキストベースのメッセージを表示することを含む、ことを特徴とする請求項１に記載のシステム。
【請求項10】
前記命令が、前記ユーザに向かって目を閉じるように要求する指示を前記ディスプレイに表示した後、所定の時間が経過した後に振動モータに通電することをさらに提供する、ことを特徴とする請求項９に記載のシステム。
【請求項11】
前記命令が、前記カメラから出力された画像データのライブフィードを前記ディスプレイに表示することをさらに提供する、ことを特徴とする請求項１に記載のシステム。
【請求項12】
前記命令が、前記ディスプレイに一対の円又は他のマーキングを表示し、前記ユーザが前記一対の円又は他のマーキングに目を合わせるべきであるという指示を表示することをさらに提供する、ことを特徴とする請求項１１に記載のシステム。
【請求項13】
前記命令が、前記画像データの前記ライブフィード内で識別された前記ユーザの前記目が前記一対の円内にあるときを判定することをさらに提供する、ことを特徴とする請求項１２に記載のシステム
【請求項14】
ユーザが目を閉じるべきであるという指示を前記ディスプレイに表示することが、前記ユーザの前記目が前記一対の円内にあることを判定した後に開始される、ことを特徴とする請求項１３に記載のシステム。
【請求項15】
前記画像データを処理して、少なくとも１つの瞳孔特徴を識別することが、前記受信された画像データをセグメント化して、前記少なくとも一方の目の瞳孔に対応する第１のデータ部分、及び、前記少なくとも一方の目の虹彩に対応する第２のデータ部分を判定することをさらに含む、ことを特徴とする請求項１に記載のシステム。
【請求項16】
前記少なくとも１つの瞳孔特徴が、瞳孔反応潜時、収縮潜時、最大収縮速度、平均収縮速度、最小瞳孔径、拡張速度、７５％回復時間、平均瞳孔径、最大瞳孔径、収縮振幅、収縮割合、瞳孔逸脱、ベースライン瞳孔振幅、照明後瞳孔反応、及びそれらの任意の組み合わせのうちの少なくとも１つを含む、ことを特徴とする請求項１に記載のシステム。
【請求項17】
前記少なくとも１つの瞳孔特徴に基づいて健康状態を判定することが、前記少なくとも１つの瞳孔特徴の各々と、対応する健康な瞳孔測定値との間の差を判定することであって、前記対応する健康な瞳孔測定値が、前記プロセッサによって、外部測定データベースから取得される、判定することと、
前記少なくとも１つの瞳孔特徴の各々及び前記対応する健康な瞳孔測定値についての前記判定された差に基づいて、前記健康状態を判定することと、
をさらに含む、
ことを特徴とする請求項１に記載のシステム。
【請求項18】
周囲光が瞳孔対光反射を誘発するのに十分明るいかどうかを最初に判定した後に、ユーザが目を閉じることを要求する指示を前記ディスプレイに表示することが開始される、ことを特徴とする請求項１に記載のシステム。
【請求項19】
前記画像データを処理して、少なくとも１つの瞳孔特徴を識別することが、前記受信された画像データの画像コントラストを判定することと、
前記画像コントラストが閾値コントラストレベルよりも低いと判定することと、
より明るく照らされた場所における第２の画像データを提供するように、前記ユーザに対するプロンプトを前記ディスプレイに出力することと、
をさらに含む、
ことを特徴とする請求項１に記載のシステム。
【請求項20】
前記デバイスが、ヘッドセット、スマートフォン、又はその両方を含む、ことを特徴とする請求項１に記載のシステム。
【請求項21】
瞳孔対光反射を評価する方法であって、ユーザが目を閉じるべきであるという第１の指示を提供することと、
カメラから、ユーザの少なくとも一方の目に対応する画像データを受信することと、
前記画像データを処理して、少なくとも１つの瞳孔特徴を識別することと、
前記少なくとも１つの瞳孔特徴に基づいて、健康状態を判定することと、
を含むことを特徴とする方法。
【請求項22】
前記指示が、ディスプレイに表示されるテキストベースのメッセージ、視覚的メッセージ、又はスピーカを通して発せられる音声メッセージのうちの少なくとも１つを含む、ことを特徴とする請求項２１に記載の方法。
【請求項23】
前記画像データが、前記ユーザの目が開いているフレームを識別するためにフィルタリングされる、ことを特徴とする請求項２１に記載の方法。
【請求項24】
前記画像データを処理して、少なくとも１つの瞳孔特徴を識別することが、瞳孔対光反射を判定することと、
患者のアルコール又はカフェイン消費を判定することと、
をさらに含む、
ことを特徴とする請求項２１に記載の方法。
【請求項25】
前記画像データを処理して、少なくとも１つの瞳孔特徴を識別することが、瞳孔対光反射が誘発されたかどうかを判定することをさらに含む、ことを特徴とする請求項２１に記載の方法。
【請求項26】
第１の所定の時間の後に、前記ユーザが目を開けるべきであるという指示を提供することをさらに含む、ことを特徴とする請求項２５に記載の方法。
【請求項27】
前記瞳孔対光反射が誘発されなかった場合、前記ユーザは目を閉じるべきであるという第２の指示を提供することと、前記第１の所定の時間よりも長い第２の所定の時間の後に、前記ユーザは目を開けるべきであるという第３の指示を提供することと、
前記カメラから、ユーザの少なくとも一方の目に対応する画像データの第２のセットを受信することと、
前記画像データの第２のセットを処理して、少なくとも１つの瞳孔特徴を識別することと、
前記少なくとも１つの瞳孔特徴に基づいて、健康状態を判定することと、
をさらに含む、
ことを特徴とする請求項２６に記載の方法。
【請求項28】
機械実行可能コードを含む非一時的な機械可読媒体であって、機械実行可能コードが、少なくとも１つの機械によって実行されると、前記機械に、ユーザに目を閉じるように要求する指示をディスプレイに表示することと、
カメラから、ユーザの少なくとも一方の目に対応する画像データを受信することと、
少なくとも１つ以上のプロセッサを使用して、前記画像データを処理して、少なくとも１つの瞳孔特徴を識別することと、
前記少なくとも１つ以上のプロセッサを使用して、前記少なくとも１つの瞳孔特徴に基づいて瞳孔対光反射を判定することと、
を実行させることを特徴とする非一時的な機械可読媒体。
【請求項29】
前記カメラが、赤外線カメラを含む、ことを特徴とする請求項２８に記載の非一時的な機械可読媒体。
【請求項30】
前記カメラがデバイスの裏側に位置決めされ、ディスプレイが前記デバイスの表側に位置決めされている、
ことを特徴とする請求項２８に記載の非一時的な機械可読媒体。
【請求項31】
プロセスが、前記画像データからフレームのセットを、前記ユーザに目を閉じるように要求する、前記ディスプレイ上の前記指示後の所定の時間であることを示すタイムスタンプで識別することをさらに含む、ことを特徴とする請求項２８に記載の非一時的な機械可読媒体。
【請求項32】
プロセスが、前記画像データが、瞳孔特徴を評価するために前記ユーザの瞳孔が十分に見えるフレームを識別するためにフィルタリングされることをさらに含む、ことを特徴とする請求項２８に記載の非一時的な機械可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年８月２８日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＥＶＡＬＵＡＴＩＮＧ ＰＵＰＩＬＬＡＲＹ ＲＥＳＰＯＮＳＥＳ」と題された米国仮特許出願第６２／８９２，９７７号の優先権及び利益を主張し、これは参照によりその全体が本明細書に組み込まれる。
本出願は、２０１９年８月２８日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＥＶＡＬＵＡＴＩＮＧ ＰＵＰＩＬＬＡＲＹ ＲＥＳＰＯＮＳＥＳ」と題された米国仮特許出願第６２／８９２，９７７号の優先権及び利益を主張し、これは参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、瞳孔反応、並びにそれらの特徴及び測定基準を測定し、分析するためのシステム及び方法に関する。
【背景技術】
【0003】
瞳孔は、様々な外部（例えば、光）及び内部（例えば、認知／感情）刺激に反応して収縮及び拡張する。瞳孔対光反射（「ＰＬＲ」）などの瞳孔反応は、生理学的及び行動的健康の多くの側面について評価されており、従来の測定方法は瞳孔計を使用する。瞳孔計は高価で、４，５００ドルもかかり、主に医療現場で使用され、訓練を受けた臨床医によって使用されなければならない。他の従来の測定では、臨床医が患者の目にペンライトを当て、瞳孔の反応を観察するペンライト検査が使用される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
これは簡単に実行できるが、標準化の欠如、意図的なトレーニングの必要性、測定オペレータ間のばらつき、及び観察者間の信頼性及び再現性の低さを含む、かなりの質的な欠点がある。ペンライト試験は、通常、緊急時の応急処置の状況で使用され、精度よりも迅速で質的に粗い評価、手軽さ、及び利便性が優先される。さらに、瞳孔反応を測定するための半自動化された従来の方法でさえ、（１）適切な周囲照明条件、（２）モバイルデバイスディスプレイの前面によって導かれる顔／目の適切な位置合わせ、（３）瞳孔反応のための十分な刺激、及び／又は（４）外部画像処理／特徴抽出を実行するための適切な処理能力のいずれか、又はすべてを確保するための新規の、又は外付けの物理ハードウェアが必要になる。
【0005】
従来の瞳孔測定システムの欠点に加えて、これらのデバイスは、刺激源として可視光を使用し、続いて画像キャプチャ用の照明源として可視光を使用し、いくつかの例では、刺激段階後の瞳孔を測定するために可視光スペクトルを使用すると、物理学における「観察者効果」に似た、現象を観察するだけでその現象が必然的に変化し、しばしば、測定するものの状態を何らかの方法で変える機器の結果として、意図せぬ瞳孔反応を引き起こす可能性がある。さらに、従来のシステムでは、（１）瞳孔－虹彩のセグメント化に必要な高レベルのコントラストを実現するのに十分な光刺激を提供し、（２）適切な画像キャプチャのために顔を照らす中程度から明るい照明条件を確保する必要がある。
【0006】
最後に、これらの従来の方法は、通常、疾病が急性症状又は進行性である後にしか疾病発生の兆候を捉えることができず、疾病の最も治療しやすい段階を過ぎている可能性がある。
【課題を解決するための手段】
【0007】
本開示の様々な例は、光刺激を送達するためにユーザがまぶたを閉じさせ、開かせることを必要とするシステムを含む、瞳孔対光反射を評価するためのシステムに向けられている。このシステムには、モバイルデバイス、カメラ、ディスプレイ、プロセッサ、及びメモリが含まれる。モバイルデバイスには、前面及び背面が含まれ、カメラ及びディスプレイはモバイルデバイスの前面に位置している。メモリは、プロセッサ又は１つ以上のプロセッサ又はサーバによって実行可能な複数のコードセクションを含む。複数のコードセクションには、一連の命令が含まれる。いくつかの例では、命令は、ディスプレイによって少なくとも１つの可視光刺激を発することを提供する。次に、命令は、カメラから、ユーザの少なくとも一方の目に対応する画像データを受信することを提供する。次に、命令は、画像データを処理して、少なくとも１つの瞳孔特徴を識別することを提供する。次に、命令は、少なくとも１つの瞳孔特徴に基づいて健康状態を判定するために提供する。
【0008】
いくつかの例では、命令はさらに、ディスプレイに健康状態を出力することを提供する。
【0009】
いくつかの例では、画像データを処理して、少なくとも１つの瞳孔特徴を識別することは、受信された画像データを前処理することを含む。
【0010】
いくつかの例では、受信された画像データに基づいて少なくとも１つの瞳孔特徴を識別することは、受信された画像データをセグメント化して、目の瞳孔に対応する第１のデータ部分及び目の虹彩に対応する第２のデータ部分を決定することを含む。
【0011】
いくつかの例では、少なくとも１つの瞳孔特徴は、瞳孔反応潜時、収縮潜時、最大収縮速度、平均収縮速度、最小瞳孔径、拡張速度、７５％回復時間、平均瞳孔径、最大瞳孔径、収縮振幅、収縮割合、瞳孔逸脱（ｐｕｐｉｌ ｅｓｃａｐｅ）、ベースライン瞳孔振幅、照明後瞳孔反応、及びそれらの任意の組み合わせのうちの少なくとも１つを含む。
【0012】
いくつかの例では、少なくとも１つの瞳孔特徴に基づいて健康状態を判定することは、（１）少なくとも１つの瞳孔特徴の各々と対応する健康な瞳孔測定値との間の差を決定すること、及び（２）少なくとも１つの瞳孔特徴の各々について決定された差に基づいて健康状態を判定することと、をさらに含む。例えば、対応する健康な瞳孔測定値は、プロセッサによって、外部測定データベースから取得される。
【0013】
いくつかの例では、ディスプレイによって少なくとも１つの可視光刺激を発することは、（１）ディスプレイによって光刺激が提供されないときに目の第１の画像データを受信することと、（２）第１の画像データに基づいて提供する量の光束を決定することと、（３）決定された量の光束を出力するためのディスプレイの領域を決定し、（４）ディスプレイの決定された領域に決定された量の光束を出力することと、を含む。いくつかの例では、目の第２の画像データは、光束を出力した後に受信される。いくつかの例では、出力光束は、第２の画像データに基づいて調整される。
【0014】
いくつかの例では、命令はさらに、受信した画像データに基づいて第１の瞳孔反応にタグ付けすることを提供する。次に、第２の画像データが受信される。次に、命令は、第２の画像データに基づいて照明条件の変化を決定することを提供する。次に、第２の瞳孔反応がタグ付けされる。
【0015】
いくつかの例では、命令は、ユーザが目を閉じるべきであるという指示をディスプレイに表示することを提供する。これには、所定の時間、目を閉じるための命令が含まれ得る。他の例では、ユーザの目を開くためにトーン又は振動を待つための命令を含み得る。次に、システムは、カメラから、ユーザの少なくとも一方の目に対応する画像データを受信することができる。いくつかの例では、システムは、画像データを処理して、ユーザの目が開いたかどうか、又はいつ開いたかを（例えば、画像内の瞳孔又は虹彩を識別することによって）判定することができる。次に、システムは、少なくとも１つの瞳孔特徴に基づいてユーザの健康状態を判定し、それをディスプレイに表示することができる。
【0016】
いくつかの例では、ユーザへの命令は、メッセージを伴うディスプレイ上のテキストベースの表示になる。他の例では、システムはユーザに目を閉じるための音声命令を提供する。他の例では、システムは、テキストベースのメッセージではない別の視覚的指示をユーザに提供する。
【0017】
本開示はさらに、瞳孔対光反射を評価するための例示的な方法を提供する。この方法は、ディスプレイによって少なくとも１つの可視光刺激を発することを提供する。次に、この方法は、カメラから、ユーザの目に対応する画像データを受信することを提供する。次に、この方法は、画像データを処理して、少なくとも１つの瞳孔特徴を識別することを提供する。次に、この方法は、少なくとも１つの瞳孔特徴に基づいて健康状態を判定することを提供する。この方法の追加の例は、例示的なシステムに関して上記のとおりである。
【0018】
本開示はさらに、機械実行可能コードを含む非一時的な機械可読媒体を提供する。少なくとも１つの機械によって実行されると、機械実行可能コードは、機械に、ディスプレイによる少なくとも１つの可視光刺激を発せさせる。次に、コードは、カメラから、ユーザの目に対応する画像データを受信することを提供する。次に、コードは、画像データを処理して、少なくとも１つの瞳孔特徴を識別することを提供する。次に、コードは、少なくとも１つの瞳孔特徴に基づいて健康状態を判定することを提供する。このコードの追加の例は、例示的なシステムに関して上記のとおりである。
【0019】
別の例示的な実施形態では、本開示は、瞳孔対光反射を評価するための別のシステムを提供する。このシステムには、ハードウェアデバイス、カメラ、ディスプレイ、プロセッサ、及びメモリが含まれる。ハードウェアデバイスには、前面及び背面が含まれ、カメラ及びディスプレイはモバイルデバイスの前面に位置している。メモリは、プロセッサによって実行可能な複数のコードセクションを含む。コードセクションには、ディスプレイによって少なくとも１つの視覚刺激を発するための指示が含まれる。命令はさらに、赤外線発光デバイスによって少なくとも１つの非可視光を発することをさらに提供する。次に、命令は、カメラ又は赤外線検出器から、ユーザの目に対応する画像データを受信することを提供する。次に、命令は、画像データを処理して、少なくとも１つの瞳孔特徴を識別することを提供する。次に、命令は、少なくとも１つの瞳孔特徴に基づいて健康状態を判定するために提供する。
【0020】
いくつかの例では、非可視光は、７００ｎｍ～１０００ｎｍの間の波長を有する。いくつかの例では、非可視光は遠赤外波長を含む。
【0021】
いくつかの例では、カメラは赤外線カメラである。
【0022】
いくつかの例では、受信された画像データに基づいて少なくとも１つの瞳孔特徴を識別することは、（１）受信された画像データの画像コントラストを判定することと、（２）画像コントラストが閾値コントラストレベルよりも低いと判定することと、（３）ディスプレイ上で、より薄暗い場所で第２の画像データを提供するようにユーザにプロンプトを出力することと、を含む。例えば、少なくとも１つの瞳孔特徴は、第２の画像データに基づいて決定される。
【0023】
いくつかの例では、少なくとも１つの瞳孔特徴は、瞳孔反応潜時、収縮潜時、最大収縮速度、平均収縮速度、最小瞳孔径、拡張速度、７５％回復時間、平均瞳孔径、最大瞳孔径、収縮振幅、収縮割合、瞳孔逸脱、ベースライン瞳孔振幅、照明後瞳孔反応、及びそれらの任意の組み合わせのうちの少なくとも１つを含む。
【0024】
いくつかの例では、受信された画像データに基づいて少なくとも１つの瞳孔特徴を識別することは、受信された画像データをセグメント化して、目の瞳孔に対応するデータ部分及び目の虹彩に対応するデータ部分を判定することをさらに含む。
【0025】
いくつかの例では、ハードウェアデバイスはヘッドセットである。
【0026】
いくつかの例では、ハードウェアデバイスはスマートフォンである。
【0027】
上記の要約は、本開示の各実施形態又はすべての態様を表現することを意図するものではない。むしろ、前述の要約は、本明細書に記載されたいくつかの新規の態様及び特徴の例を提供するに過ぎない。上記の特徴及び利点、並びに本開示の他の特徴及び利点は、添付の図面及び添付の特許請求の範囲に関連して取られた場合、本発明を実施するための代表的な実施形態及び様式の以下の詳細な説明から容易に明らかになる。
【図面の簡単な説明】
【0028】
添付の図面は、本発明の実施形態を例示し、説明とともに、本発明の原理を説明及び例示するのに役立つ。図面は、例示的な実施形態の主要な特徴を図式的に示すことを意図している。図面は、実際の実施形態のすべての特徴又は描写された要素の相対的な寸法を描写することを意図しておらず、一定の縮尺で描かれていない。
【0029】
【図1】本開示のいくつかの実装態様による、例示的なシステム１００を示す。
【図2】本開示のいくつかの実装態様による、瞳孔反応を測定するための例示的なシステム２００を示す。
【図3】本開示のいくつかの実装態様による、瞳孔特徴を識別及び分析するための例示的な方法論３００を示す。
【図4A】本開示のいくつかの実装態様による、サブフェーズに分離された例示的な瞳孔反応を示す。
【図4B】本開示のいくつかの実装態様による、健康な対象と不健康な対象との間で比較された例示的な瞳孔反応を示す。
【図5】本開示のいくつかの実装態様による、測定された瞳孔反応の平均を示す。
【図6A】本開示のいくつかの実装態様による、認知的負荷に対する例示的な瞳孔反応を示す。
【図6B】本開示のいくつかの実装態様による、認知的負荷に対する例示的な瞳孔反応を示す。
【図7】本開示のいくつかの実装態様による、軽度認知障害の関数としての例示的な瞳孔反応を示す。
【図8】本開示のいくつかの実装態様による、例示的な瞳孔セグメント化方法論を示す。
【図9】本開示のいくつかの実装態様による、例示的な赤目反射を示す。
【図10】本開示のいくつかの実装態様による、例示的な角膜対光反射を示す。
【図11】本開示のいくつかの実装態様による、例示的な瞳孔収縮を示す。
【図12】本開示のいくつかの実装態様による、適切な照明及び空間的定位を自動的に検出する例示的なソフトウェアアプリケーション実装態様を示す。
【図13】本開示のいくつかの実装態様による、例示的な眼球境界検出を示す。
【図14】本開示のいくつかの実装態様による、光束を判定するための例示的な方法を示す。
【図15】本開示のいくつかの実装態様による、第２の瞳孔反応を識別するための例示的な方法論を示す。
【図16】本開示のいくつかの実装態様による、非可視光による瞳孔反応を測定するための例示的な方法論を示す。
【図17】本開示のいくつかの実装態様による、適切な画像コントラストを判定するための例示的な方法論を示す。
【図18】本開示のいくつかの実装態様による、可視光と非可視光との間の瞳孔－虹彩セグメント化の例示的なデータの比較を示す。
【図19】本開示のいくつかの実装態様による、例示的な虹彩認識を示す。
【図20】本開示のいくつかの実装態様による、強膜を識別するときの例示的な正規化データを示す。
【図21】本開示のいくつかの実装態様による、まぶた媒介刺激で瞳孔反応を測定するための例示的な方法論を示す。
【図22A】本開示のいくつかの実装態様による、アルコール及びコーヒー消費後の左瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【図22B】本開示のいくつかの実装態様による、アルコール及びコーヒー消費後の右瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【図23A】本開示のいくつかの実装態様による、アルコール、抗ヒスタミン、オピオイド鎮痛薬、及びコーヒー消費後の左瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【図23B】本開示のいくつかの実装態様による、アルコール、抗ヒスタミン、オピオイド鎮痛薬、及びコーヒー消費後の右瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【図24A】本開示のいくつかの実装態様による、アルコール消費及び朝の体のストレッチ後の左瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【図24B】本開示のいくつかの実装態様による、アルコール消費及び朝の体のストレッチ後の右瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【発明を実施するための形態】
【0030】
本発明は、添付の図を参照して説明されており、同様の参照番号が、類似又は同等の要素を示すために図全体で使用されている。図は原寸に比例して描かれておらず、単に本開示を説明するために提供されている。本開示のいくつかの態様は、説明のための例示的な用途を参照して以下に説明される。本発明の完全な理解を提供するために、多数の特定の詳細、関係、及び方法が示されていることを理解されたい。しかしながら、関連技術の当業者は、本発明が１つ以上の特定の詳細なしで、又は他の方法で実践できることを容易に認識するであろう。他の例では、本発明を曖昧にすることを避けるために、周知の構造又は操作は詳細に示されていない。一部の行為は異なる順序で、かつ／又は他の行為又は事象と同時に発生し得るので、本発明は、行為又は事象の図示された順序によって限定されるものではない。さらに、本発明による方法論を実施するために、図示されたすべての行為又は事象が必要とされるわけではない。
【0031】
概要
本開示は、瞳孔反応を測定するためのシステム及び方法に向けられている。例えば、いくつかの例では、閃光又はディスプレイで刺激を提供する代わりに、システムは、ユーザのまぶたを利用して瞳孔を暗適応させ、周囲光を使用して刺激を媒介することができる（ここでは「まぶた媒介反応」又は「ＥＭＤ」）。したがって、ユーザがまぶたを閉じると、瞳孔は暗順応のプロセスを経て、瞳孔は暗闇に慣れ、効果的に瞳孔を拡張する。これは、光刺激が適用／許容される前のベースラインとして機能し（例えば、ユーザが目を開ける）－いくつかの例では、光ベースの刺激を個別に適用する必要なしに、潜時及び他の測定と収縮を促進し（例えば、モバイルデバイスの背面のフラッシュを使用する必要なしに）、したがって、ユーザが前向きカメラを使用することが許容される。
本開示は、瞳孔反応を測定するためのシステム及び方法に向けられている。例えば、いくつかの例では、閃光又はディスプレイで刺激を提供する代わりに、システムは、ユーザのまぶたを利用して瞳孔を暗適応させ、周囲光を使用して刺激を媒介することができる（ここでは「まぶた媒介反応」又は「ＥＭＤ」）。したがって、ユーザがまぶたを閉じると、瞳孔は暗順応のプロセスを経て、瞳孔は暗闇に慣れ、効果的に瞳孔を拡張する。これは、光刺激が適用／許容される前のベースラインとして機能し（例えば、ユーザが目を開ける）－いくつかの例では、光ベースの刺激を個別に適用する必要なしに、潜時及び他の測定と収縮を促進し（例えば、モバイルデバイスの背面のフラッシュを使用する必要なしに）、したがって、ユーザが前向きカメラを使用することが許容される。
【0032】
例えば、この例では、システムは、ユーザが所定の時間、又はトーンを聞くか振動を感じるまで目を閉じるための命令を表示することができる。これは、目を閉じているときと開いているとき（したがって、部屋の周囲光がすべてユーザの目に入ることが許容される）にユーザの目に入る光のコントラストが、ユーザがアルコール又は他の薬物を摂取した後、瞳孔反射を誘発し、瞳孔反射の差を検出するのに十分であることが本発明者によって示されているため、非常に有利である。
【0033】
別の例示的なシステムは、デバイスの同じ側にディスプレイ及びカメラを提供し、ディスプレイは、ユーザの目を刺激し、瞳孔反射を引き起こす可視光刺激を提供する。カメラは、瞳孔反射の画像データを同時に受信する。したがって、本開示による例示的なデバイスは、現在のシステム及び方法よりも拡張可能（アクセス可能、手頃、及び便利）、かつより正確（客観的及び定量的）なシステムを提供でき、これは、健康専門家又は非健康専門家の有無にかかわらずユーザによって使用され得る。例えば、以前のシステムでは、スマートフォンの背面にある後向きカメラ及びフラッシュを使用して瞳孔対光反射を測定することが試みられているが、そのシステムを使用してユーザが自分のＰＬＲを自己測定することはできないため、第２の測定オペレータへの依存と、複数の測定オペレータから生じる潜在的な縦方向の測定の不一致が必要となる。ただし、モバイルデバイスの前面にはフラッシュが含まれておらず、したがって、瞳孔対光反射を初期化するための刺激を生成できなかったため、以前のシステムでは前向きカメラを使用することは試みられていなかった。
【0034】
したがって、本明細書に記載の方法及び特徴に基づいて、スマートフォン又は同様のデバイスの前面のディスプレイを利用して刺激を提供できることが発見された。これは、前向きカメラ及びディスプレイを使用することで、ユーザ自身がスマートフォン又は他の関連デバイスを使用して瞳孔対光反射測定をより正確かつ頻繁に実行することが許容されるため、非常に有利である。これにより、開示されたシステムは、より手頃な価格で使いやすいなど、一般的に非常に拡張性が高くなる。例えば、ディスプレイもデバイスの前面にあるため、ユーザは別の人の手を借りずに目を正確に揃えることができる。これにより、ユーザは測定を実行するために別の介護者を必要としないため、頻繁に測定を実行することが許容される。したがって、システムにより、ユーザがより頻繁にデータを収集し、健康状態に関する時系列データを取得することが許容される（ただし、ベースラインの確立及びベースラインからの逸脱など、時系列データが必要な特定の条件を識別するには、単一の測定では不十分な場合がある）。さらに、刺激を提供するためにディスプレイを利用することにより、システムが、表示される可能性のある強度及び色の範囲を考慮して、刺激のより正確な制御及び変動性を有することが許容される。最後に、赤外線検出を利用したいくつかの実施形態では、測定光が瞳孔の二次反応を引き起こさないため、赤外線検出が目によって十分な瞳孔反応を生成することを許容するので、このシステムは特に有利であり得、これは、ディスプレイの最大強度は後向きフラッシュよりも低く、したがって、二次反応により、十分な瞳孔対光反射を記録する能力が妨げられる場合があるため重要である。いくつかの例では、開示されたシステムは、スマートフォン又は他のハンドヘルドコンピューティングデバイスを含む。このようなシステムにより、頻繁かつ正確なデータ収集が許容され、ユーザの健康に関する重要な定量的データを提供することができる。いくつかの例では、本明細書でさらに説明するように、本開示は、ユーザのためにベースライン瞳孔測定基準の測定値を創出するために使用できる時系列の健康データの収集を提供する。したがって、本開示は、診断前、外傷前、及び／又は疾患前の測定値を提供し、これを使用して、疾患及び／又は外傷の進行を監視し、及び／又は個別の時系列の健康ベースラインを確立することができる。
【0035】
いくつかの例では、可視刺激は、完全な瞳孔反射を引き起こすのに十分な光子エネルギーを生成する。例示的な方法は、光強度閾値に達する前にデータを収集すること、及び瞳孔反応に影響を与える他の要因の関数として瞳孔測定基準を判定することをさらに含む。前向きディスプレイ及び前向きカメラの使用により、開示されたシステムが、第１の意図的な瞳孔反応を測定する際に、二次的な偶発的瞳孔反応が開始されないことを確実にするために、画像キャプチャ中に周囲照明条件を制御することがさらに許容される。いくつかの例では、例示的な方法は、周囲光レベルが検出された瞳孔測定基準に及ぼした影響を考慮するために、周囲光レベルを検出する。いくつかの例では、光強度閾値に達する前に収集されたデータは、ユーザの瞳孔測定基準のベースライン値を提供する。
【0036】
本開示のいくつかの例は、顔を照らすために可視刺激を使用し、次に画像キャプチャのために非可視発光を使用することをさらに提供する。目に見えないものを使うことで、意図せず反射神経を刺激してデータを改ざんしてしまうことを避けることができる。さらに、瞳孔対光反射を引き起こすために光刺激強度と周囲照明条件との間に高レベルのコントラストが必要であるために、薄暗い条件でアセスメントを実行することは、いくつかの例において有益であり得る。ただし、いくつかの例では、薄暗い場所でアセスメントを行う場合、部屋の暗さが妨げとなり、高品質の眼球画像をキャプチャできないという問題が発生する。例えば、瞳孔と虹彩との間には、特に高色素性又はより暗い虹彩を持つ個人の場合、最小限のコントラストしかないことが多い。これらの２つの機能を区別することは、抽出及び測定基準計算のために特徴を適切にセグメント化するために重要である。赤外線カメラ又は他の赤外線ハードウェアは、効果的な特徴セグメント化のために高解像度の瞳孔画像をさらに提供する。
【0037】
瞳孔測定基準を測定するためのシステム
図１は、本開示のいくつかの実装態様による、例示的なシステム１００を提供する。いくつかの例では、システム１００は、スマートフォン、スマートウォッチ、タブレット、コンピューティングデバイス、ヘッドギア、ヘッドセット、仮想現実デバイス、拡張現実デバイス、又は物理信号を受信及び解釈することができる任意の他のデバイスである。システム１００は、ハウジング１１０、ディスプレイ１１２、カメラ１１４、スピーカ１１８、振動モータ１２０、及びセンサ１１６を含む。図１は、システム１００の前面を示している。システムは又はウジング１１０（図示せず）の裏側にカメラ１１４を含み得る。
図１は、本開示のいくつかの実装態様による、例示的なシステム１００を提供する。いくつかの例では、システム１００は、スマートフォン、スマートウォッチ、タブレット、コンピューティングデバイス、ヘッドギア、ヘッドセット、仮想現実デバイス、拡張現実デバイス、又は物理信号を受信及び解釈することができる任意の他のデバイスである。システム１００は、ハウジング１１０、ディスプレイ１１２、カメラ１１４、スピーカ１１８、振動モータ１２０、及びセンサ１１６を含む。図１は、システム１００の前面を示している。システムは又はウジング１１０（図示せず）の裏側にカメラ１１４を含み得る。
【0038】
ハウジング１１０は、ディスプレイ１１２、カメラ１１４、スピーカ１１８、振動モータ１２０、及びセンサ１１６のためのケースを提供する。ハウジング１１０は、例えば、プロセッサ、メモリ、無線通信要素、及び当技術分野で容易に企図される他の要素を含む、システム１００の任意のコンピューティングコンポーネント（図示せず）をさらに含む。コンピューティングコンポーネントは、本明細書でさらに説明されるプロセスのいずれかを完了するように構成されている任意のソフトウェアをさらに含む。
【0039】
ディスプレイ１１２は、例えば、スマートフォン、スマートウォッチ、光学ヘッドセット、又は任意の他のデバイスの画面である。いくつかの例では、ディスプレイ１１２は、ＬＣＤ画面、ＯＬＥＤ画面、ＬＥＤ画面、又は画像、テキスト、又は他のタイプのグラフィックディスプレイを表示する、当技術分野で既知である他のタイプの電子ディスプレイである。例えば、画面は、複数のピクセルを生成するための複数の発光ダイオード又は他の手段を提供する。各ピクセルは光刺激を表示する。
【0040】
ディスプレイ１１２は、視覚光を発するように構成されている。いくつかの例では、ディスプレイ１１２は、ディスプレイ１１２の表面領域の一部分に光を発し、他の例では、ディスプレイ１１２は、ディスプレイ１１２の表面領域の全てに光を発する。ディスプレイ１１２によって発せられる光は、自動的に光を発し、可視刺激を増減するように制御することができる。いくつかの例では、ディスプレイ１１２は、カメラ１１４によってキャプチャされた画像データを表示する。ディスプレイ１１２はまた、ユーザへのテキスト及びメッセージを表示することができる。いくつかの例では、ディスプレイ１１２は、カメラ１１４から出力された画像データのライブフィードを表示することができる。
【0041】
カメラ１１４又は複数のカメラ１１４は、カメラ１１４の前の視野の画像データを受信する。いくつかの例では、カメラ１１４は、写真及び／又はビデオデータを受信する。いくつかの例では、カメラ１１４は、連続的な写真データを（例えば、秒、ミリ秒、又はマイクロ秒の間隔で）受信する。いくつかの例では、カメラ１１４は視覚光カメラである。いくつかの例では、カメラ１１４は赤外線カメラであり、赤外線発光体を含む。いくつかの例では、カメラ１１４は、特定の刺激（例えば、ユーザの顔、ユーザの目、ユーザの瞳孔、及び／又はユーザの虹彩）の検出に基づいて、画像データキャプチャを自動的に開始する。いくつかの例では、カメラ１１４は複数のカメラである。
【0042】
センサ１１６は、例えば、光センサ、近接センサ、周囲センサ、及び／又は赤外線センサのいずれかを含む。いくつかの例では、センサ１１６は、カメラ１１４に通信可能に結合され、カメラ１１４によってキャプチャされた画像データを開始及び／又は終了するように構成されている。図示されるように、センサ１１６は、カメラ１１４と同じシステム１００の側にある。いくつかの例では、センサ１１６は、カメラ１１４に近接して置かれる。
【0043】
図２は、本開示のいくつかの実装態様による、ユーザの顔の画像データを受信するように構成されている例示的なシステム２００を示している。システム２００は、システム１００、カメラ１１４、ユーザの目２０２、ユーザの頭２０４、及びカメラ視野２０６を含む。システム１００及びカメラ１１４は、図１に関して上で論じた通りにすることができる。図２は、カメラ１１４がユーザ２０４に面するようにシステム１００を位置決めできることを示している。例えば、ユーザ２０４の目２０２は、カメラ２０６の視野内にあることができる。本開示の様々な実施形態は、ユーザ２０４がシステム１００をその顔の前に位置決めするときに実行することができる。
【0044】
瞳孔反応を分析するための方法論
瞳孔対光反射（ＰＬＲ）は、光に反応した瞳孔の収縮とそれに続く拡張を表し、自律神経系の機能の重要な測定基準として機能することができる。ＰＬＲの測定は、神経系（及び潜在的に他のシステム）の様々な神経系経路の異常の指標として、その後、開発中の疾患の検出を目的として使用することができる。本明細書で説明するように、「ヒース状態」は、瞳孔対光反射測定自体を含むことができる。
瞳孔対光反射（ＰＬＲ）は、光に反応した瞳孔の収縮とそれに続く拡張を表し、自律神経系の機能の重要な測定基準として機能することができる。ＰＬＲの測定は、神経系（及び潜在的に他のシステム）の様々な神経系経路の異常の指標として、その後、開発中の疾患の検出を目的として使用することができる。本明細書で説明するように、「ヒース状態」は、瞳孔対光反射測定自体を含むことができる。
【0045】
例えば、アルコール依存症、季節性情動障害、統合失調症、全般性不安障害などのメンタルヘルス障害、アルツハイマー病及びパーキンソン病、自閉症スペクトラム障害、糖尿病に関連する緑内障と自律神経障害は、ＰＬＲの異常を引き起こす可能性がある。以下に説明する方法論は、スマートフォン又は類似のデバイスを使用して実行される、ＰＬＲの１つの構成要素のそのような測度の１つを説明している。いくつかの実施形態では、スマートフォンは、ＰＬＲ測定のために表現型データをキャプチャするだけでなく、データを局所的に、かつリアルタイムで処理することもできる。同様に、目／顔から測定された他の定量化可能な特徴抽出（強膜の色及び堆積物の密度など）も局所的に処理される場合がある。したがって、ユーザのプライバシーがよりよく保護され、測定にかかる時間が短縮される可能性がある。この方法及びシステムはまた、動的に変化する瞳孔の直径の計算を許容し得る。この方法及びシステムは、統計的偏差をリアルタイムで検出するためのより堅牢なベースラインを生成することができる。このような逸脱は、その測度が因果関係を持つ生理学的システムの異常の兆候である可能性がある。
【0046】
本明細書に記載されるＰＬＲ測度は、画面上に投影され、ユーザによって読み取られ、運動皮質を通じて神経処理されて、片目又は両目の測定可能なまばたきとなる（随意神経系経路で起こっている生理学的変化の測度となり得る）「まばたき」という言葉に反応するユーザのまばたき速度の随意反射、強膜（赤又は黄色への色のグラデーションを変える白目）他の目の特徴及び虹彩及び角膜輪（例えば、コレステロールの沈着及び心臓血管のリスク）、及び顔／目から抽出された他のいくつかの測定された特徴を含むがこれに限定されない、他の測度と時間的かつ空間的に結合され得る。これらの特徴は、ユーザが空間的及び時間的に近接して測定できるため、より効率的なユーザエクスペリエンスを提供し、ユーザの生活環境（例えば、自宅又は非医療）から便利で、手ごろな価格で、アクセスしやすい個別基準で定量的かつ時系列（時間を通じて）に測定してベースラインを確立することができる。このようなデータは、様々な生理学的システム（例えば、神経、心臓など）に対する洞察を、本明細書で説明するように、医療現場に入る前に、大量かつ統計的に有意な規模で生成することができる。
【0047】
図３は、本開示の様々な実施形態に従って実行することができる例示的な方法論３００を示している。方法論３００は、図１及び２に関して論じたように、システム１００及び２００で実行することができる。いくつかの例では、方法論３００は、暗い部屋、薄暗い部屋、自然光のある部屋、又は他の任意の設定で実行される。いくつかの例では、方法論３００は、例えば、光などの外部変数が最小であり制御可能である夜間又は就寝前にユーザによって実行されることを含めて、繰り返し実行される。
【0048】
方法論３００は、いくつかの例では、ディスプレイ（例えば、図１のディスプレイ１１２又はセンサ１１６）によって可視光刺激を発すること、又はユーザが所定の時間目を閉じるべきであるという指示をディスプレイに提供することで光刺激を与えることによって３１０において開始される。例えば、光刺激は瞳孔の収縮を引き起こす。いくつかの例では、瞳孔収縮は、可視光刺激と周囲光レベルとの間のコントラストが増加するにつれて増加する。提供される可視光刺激の量は、以下でさらに議論される、図４の方法論１４００によって判定され得る。
【0049】
３１０のいくつかの例では、カメラ（例えば、図１のシステム１００のカメラ１１４）が、ユーザの顔（例えば、図２のユーザ２０４）が適切な空間距離にあることを検出すると、可視光刺激が自動的に発せられる。他の例では、顔が検出されたら目を閉じるようユーザにメッセージを画面に表示することができる。いくつかの例では、ディスプレイは、まず、切迫したディスプレイ光刺激があるという通知を発する。例えば、図１２に簡単に目を向けると、ディスプレイは、ユーザの顔のリアルタイムでキャプチャされた画像データを表示し、ユーザの特徴が適切に検出されているという視覚的図を提供することができる。いくつかの例では、ディスプレイは図１のディスプレイ１１２である。例えば、円１２０２は、ユーザの目又は鼻に置くことができる。図１３に簡単に目を向けると、ディスプレイは、ユーザの目、口、及び鼻についての例示的な境界ボックスを示している。
【0050】
図３に戻って参照すると、いくつかの例では、３１０は、最初に瞳孔を検出することを提供する。瞳孔が検出されない場合、設定が方法論３００の基準を満たさないことがユーザに通知される。
【0051】
次に、方法論３００は、３２０でのユーザの目に対応する画像データを受信することを提供する。例示的な画像データには、ビデオ及び／又は写真データが含まれる。いくつかの例では、画像データは、ある期間にわたって収集される（例えば、図１のカメラ１１４によって収集される）。いくつかの例では、ビデオは３０～６０フレーム／秒の間、又はより高いフレームレートで記録される。３２０のいくつかの例では、静止画像のセットがカメラによって生成される。３２０のいくつかの例では、画像データは、グレースケールビデオ／画像セットとしてキャプチャされるか、又は受信後にグレースケールに変換される。
【0052】
３２０のいくつかの例では、赤目の反射、瞳孔反応、虹彩及び強膜のデータ、視線追跡データ、皮膚データなど、特定の視覚刺激が含まれている。
【0053】
次に、方法論３００は、３３０で、画像データを処理して、瞳孔特徴を識別することに進む。
【0054】
３３０のいくつかの例では、受信された画像データは、データをフィルタリングするために最初に前処理される。データ前処理の例示的なタイプについては、以下でさらに説明する。データを前処理するための簡単な例示的なプロトコルでは、３２０の画像データは、画像の領域を得るためにトリミングされ、フィルタリングされる。例えば、画像は、明るさ、色、及び彩度の設定閾値に基づいてフィルタリングされる。次に、画像データは、瞳孔と虹彩との間のコントラストを改善するためにグレースケールに変換され、瞳孔－虹彩の境界が区切られる。３３０のいくつかの例では、形状分析は、事前に選択された真円度閾値に基づいて画像データをフィルタリングするために実行される。例えば、形状分析を実行するために、ピクセルの輪郭及び凸状の形状がスキャンされる。３３０のいくつかの例では、前処理を支援するために、ベースライン画像が３２０の受信された画像データと比較される。
【0055】
いくつかの例では、３３０は、画像データで検出されるように、瞳孔及び虹彩領域の表面積を判定することをさらに提供する。例えば、画像解析ソフトウェアのアルゴリズムは、各画像間の経過時間を評価し、瞳孔のサイズが時間とともに変化する速度を判定することにより、一連の記録画像に渡る瞳孔の大きさのパラメータを判定する。
【0056】
いくつかの例では、識別情報は、３３０でセンサデータから任意選択で削除される。別の言い方をすれば、生の画像データから、着目する最も関連性の高い主要な表現型の特徴を抽出することができる。例示的な特徴には、瞳孔速度（例えば、大きさ及び方向）、強膜の色、組織の炎症の測度及び／又は他の特徴が含まれる。これらの特徴は、基になる生データから関連する測定基準を抽出した後、スカラー数として表すことができる。識別可能なユーザの画像は利用されない。
【0057】
いくつかの例では、３３０は、追加のデータが必要かどうかを判定することを提供する。例えば、必要な測定のタイプを識別するアラートと、適切なタイプの測定をキャプチャするためのユーザ命令がディスプレイに表示される。
【0058】
３３０のいくつかの例では、特徴には、（１）例えばミリ秒単位で測定された光刺激に瞳孔が反応するのにかかる時間が含まれる、瞳孔反応潜時、（２）観察された最大瞳孔径である最大径、（３）収縮期間中に観察される最大速度である最大収縮速度（ＭＣＶ）（４）収縮期間全体にわたって観察された平均速度である平均収縮速度（ＡＣＶ）、（５）観察された最小直径である最小瞳孔直径、（６）拡張期間全体にわたって観察された平均速度である拡張速度、（７）瞳孔が初期の直径値の７５％に達するまでの時間である７５％の回復時間、（８）時系列で行われたすべての直径測定値の平均である平均直径、（９）瞳孔逸脱、（１０）ベースライン瞳孔振幅、（１１）照明後の瞳孔反応、（１２）最大瞳孔径、（１３）当技術分野で知られている他の瞳孔反応測定、及び（１４）それらの任意の組み合わせが含まれる。３３０のいくつかの例では、虹彩について同様の測定基準が判定される。
【0059】
例えば、収縮潜時は収縮（ｔｆｌａｓｈ）－収縮（ｔｉｎｉｔｉａｌ）として測定される。例えば、収縮速度は、瞳孔がミリメートル／秒で収縮する速度の尺度である。例えば、収縮振幅は、（露光前のＤｉａｍｅｔｅｒｍａｘ）－（露光後のＤｉａｍｅｔｅｒｍｉｎ）として測定される。例えば、収縮割合は、収縮振幅をＤｉａｍｅｔｅｒｍａｘの割合として取ることによって測定される。例えば、拡張速度は、瞳孔がミリメートル／秒で拡張する速度の測度である。上記の特徴の多くは、当業者によって容易に企図されるように、第１の画像における瞳孔の直径、第２の画像における瞳孔の直径、及び２つの画像間の時間の長さを評価することによって導き出すことができる。さらに、当業者は、拡張潜時、拡張速度、拡張振幅、及び拡張割合が、３２０で提供されるデータに基づいて、同様に計算され得ることを容易に理解するであろう。
【0060】
追加の特徴には、例えば、画面に投影された「まばたき」という言葉に反応する自発的なまばたき反射速度（自発神経系経路の尺度となりうる）、強膜（目の白から黄変）の色の特徴、虹彩と角膜輪の特徴（コレステロール沈着と心血管リスク）、及び顔／目から抽出したいくつかの他の測定特徴が含まれる。
【0061】
３３０のいくつかの例は、収集された画像データの観察された軌道に基づいて、瞳孔測度を予測又は推定することを提供する。
【0062】
次に、方法論３００は、３４０において、３３０で識別された瞳孔の特徴に基づいて健康状態を判定することを提供する。いくつかの例では、健康状態は、瞳孔対光反射測定自体、又は他の臨床的に関連する瞳孔測度又は特徴である。３４０のいくつかの例では、異常を識別するために、３３０で判定された特徴が健康な個人の対応する値と比較される。いくつかの例では、特徴はユーザの時系列データと比較され、確立された時系列ベースライン（個人）からの現在測定された値の変動は、病状又は疾患の性能測度を示し得る。３４０のいくつかの例では、個々のユーザベースラインは、システム２００の時系列の使用にわたって確立され、３３０で識別された瞳孔特徴が、確立された個々のベースラインから１．５標準偏差だけ、又は別の所定の閾値偏差だけ逸脱したときに通知が提供される。例えば、閾値偏差は病状によって異なる。いくつかの例では、３４０は、個々のユーザが方法論３００に従って２０個の別々のＰＬＲ測度を提供するまで、健康な個人の普遍的又は外部のデータベースに依存している。
【0063】
方法論３００のいくつかの例では、画像データは、ユーザの両目のデータを含む。３３０では、各瞳孔の反射が別々に分析されるが、３４０では、各目の間の瞳孔対光反射の変化が病状（例えば、脳卒中）を示している可能性があるため、２つの特徴を一緒に分析して健康状態が判定される。
【0064】
方法論３００のいくつかの実施形態では、受信したデータに基づいてアラートが提供される。例えば、疾患のデジタルマーカが検出された場合、疾患前検出アラートがシステム１００によって受信され、例えば、ディスプレイ１１２上に提示される。いくつかの実施形態では、音声アラートは、グラフィカルアラートを補足又は置き換えることができる。したがって、ユーザは、発症している疾患、障害、又は疾患の前兆に気づき、さらなる行動をとることができる。身体検査のために医師に連絡するための提案など、上記の他の情報も受信され、提示され得る。
【0065】
図２のシステム２００及び図３の方法論３００のいくつかの例では、スマートフォンは、制御された周囲光のある屋内で、ユーザの顔から自然に制御された観察空間距離（例えば、ユーザの顔から水平に６～２４、又は６～１２インチ以内、目の高さから垂直に６インチ以内、ユーザの鼻から水平に６インチ（ユーザの右から左）以内、ただし他の距離も可能であり得る）で手に保持される。いくつかの実施形態では、スマートフォンを制御された時間（例えば、少なくとも５秒間）この位置に保持すると、（センサ及びソフトウェアを介して）アプリが起動し、録画中にスマートフォンのタッチ画面又は他の光源から提供される短い強い閃光の刺激によって、又はユーザが所定の時間目を閉じるべきことを示す表示によって引き起こされたときに、対象の顔（特に目及び瞳の反射）をＨＤに毎秒６０＋又は１２０＋のフレームでビデオ録画する。いくつかの例では、閃光は焦点化され、その起源の両方から既知の強度を持ち、瞳孔に到達する光の強度は、光源と瞳孔からの距離の二乗との既知の逆の関係によっても推測することができる。したがって、ユーザの顔の画像は、短時間の強い閃光の前、最中、及び後にキャプチャされる。いくつかの実施形態では、記録は、閃光の前又はユーザが目を開けるように命令される少なくとも１秒かつ５秒以内に開始され、閃光の後又はユーザが目を開けた後少なくとも３秒かつ８秒以内継続される。注目すべきことに、瞳孔に到達する強度は、瞳孔と光源の間の距離の二乗との既知の逆の関係によって推測することができる。
【0066】
例示的な瞳孔反応曲線
図４Ａは、例示的な瞳孔反応曲線と、曲線の異なる点において識別できる様々な特徴を示している。例えば、これらの特徴は、上で論じた方法論３００に関して分析される。図４Ａは、光刺激が提供されると、ベースライン瞳孔径が最初に検出され、その後、ＭＣＶ、ＭＣＡ、及び瞳孔逸脱が評価されることが示されている。光刺激をオフにすると、照明後の瞳孔反応（ＰＩＰＲ）を評価することができる。
図４Ａは、例示的な瞳孔反応曲線と、曲線の異なる点において識別できる様々な特徴を示している。例えば、これらの特徴は、上で論じた方法論３００に関して分析される。図４Ａは、光刺激が提供されると、ベースライン瞳孔径が最初に検出され、その後、ＭＣＶ、ＭＣＡ、及び瞳孔逸脱が評価されることが示されている。光刺激をオフにすると、照明後の瞳孔反応（ＰＩＰＲ）を評価することができる。
【0067】
図４Ｂは、（１）潜時、（２）収縮速度、（３）収縮振幅、（４）収縮割合、及び（５）拡張速度を含む、別の例示的なＰＬＲ曲線を示す。破線は、実線で示されている通常のＰＬＲ曲線よりも潜時が増加し、速度が遅く、振幅が減少している異常なＰＬＲ曲線を示している。
【0068】
データの前処理及び処理
３３０のいくつかの例では、受信された画像データは前処理される。例示的な前処理技術が本明細書で論じられている。
３３０のいくつかの例では、受信された画像データは前処理される。例示的な前処理技術が本明細書で論じられている。
【0069】
シーケンス内のフレームは、瞳孔の自然な変動、虹彩の色のばらつき、及びデバイス自体によって引き起こされるばらつきのシステムのノイズを除去するために平滑化されている。ガウス平滑化演算子を使用して、画像をわずかにぼかし、ノイズを減らすことができる。２Ｄガウス方程式の形式は次のとおりである。
ここで、シグマは分布の標準偏差であり、次式で与えられ得る。
ここで、ｘはｉ番目のＰＬＲ測定値、μは平均ＰＬＲ、ＮはＰＬＲ測定値の総数である。いくつかの実施形態では、確率的に有意であるＰＬＲの特定の測定値、例えば、＋／－１標準偏差又は＋／－１．５標準偏差は、神経系で異常が検出されたというアラートを誘発する。いくつかのそのような実施形態では、アラートは、特定の前疾患状態に対するものであり得る。他の実施形態では、アラートは、異常が検出されたことを単に示し得る。
【数1】
【数2】
【0070】
本開示のいくつかの例では、ＰＬＲは滑らかなフーリエ変換として表される。例えば、平滑化されたグレースケールフレームのヒストグラム表現を使用する場合、閾値関数は画像を２値化する。この閾値関数は、ヒストグラム上の暗いピクセルと明るいピクセルの区別によって決定することができる。これに基づいて、画像の白い部分を１で、画像の黒い部分を０でラベル付けすることにより、強膜と瞳孔を区別するように、画像を２値化することができる。これにより、分析のために瞳孔を明確に表す白い円を有する黒い正方形が効果的に生成される。瞳孔は一般的に楕円形であるが、軸を平均することで円として表現することができる。直径は、互いに最も離れた２つの白いピクセルの間のピクセル内で測定することができる。このピクセル測定値は、目の近くに保持されている既知の寸法の基準を使用して、ミリメートルに変換することができる。例えば、スマートフォンの顔からの深さは、スマートフォンのドットプロジェクタを使用して判定することができる。
【0071】
瞳孔対光反射を光の関数としての瞳孔径光束で記述する微分方程式は、次のように書くことができる。
【数3】
【数4】
【0072】
Ｄは瞳孔の直径（ｍｍ）として測定され、Φ（ｔ－τ）ｒは時間ｔで網膜に到達する光の強度を表す。したがって、ビデオからのデータ（例えば、各フレーム内の瞳孔を表す白い円の直径、フレーム間の時間、及びピクセルとミリメートルとの間の変換）を使用して、上記の微分方程式を利用して瞳孔速度を判定することができる。閃光に反応するとき（直径が小さくなる）と回復するとき（直径が大きくなる）の両方の瞳孔速度を判定することができる。
【0073】
いくつかの例では、前処理は、各個々の目の領域を含むように映像をトリミングすることを含む。これは、ヒトの顔の既知の構造の単純なヒューリスティックを適用することで実施することができる。次に、映像は、例えば、受け取った視覚刺激を一連の画像に分解し、１つずつ処理することを含む、処理を行うために提出することができる。画像は、画像キャプチャ中の眼鏡の収差、まばたき、小さな手の動きを排除するように操作される。輪郭勾配のエントロピーを使用した瞳孔境界検出を使用して、各瞳孔のサイズを抽出し、視覚化できるデータ系列を創出することができる。
【0074】
いくつかの実施形態では、アイトラッカを使用して、異なるレベルの拡張を伴う目のフレームをキャプチャすることができる。ユーザは、各フレームの瞳孔径に手動でタグ付けすることができる。タグ付けされたデータを使用して、タグ付けされた瞳孔を使用してセグメント化モデルをトレーニングすることができる。例えば、Ｕ－Ｎｅｔ又は類似のサービスを使用して、直径を推測できる形状を出力することができる。記録されたビデオのフレームを処理し、瞳孔の拡張を時間経過とともにグラフ化するパイプラインを実装することができる。
【0075】
データ処理のいくつかの例では、色相、彩度、明るさの値を使用して、受信された画像データをフィルタリングする。例えば、ピクセルの「Ｖ」値（明るさを表す）が６０を超える場合、ピクセルは除去することができる。別の例では、ピクセルはＬＡＢ値に基づいてフィルタリングされ得、ここで、「Ｌ」はピクセルの明るさを表し、「Ａ」及び「Ｂ」は反対色値を表す。瞳孔は目の最も暗い部分なので、「Ｌ」値が５０を超えるピクセルを除去することで、相対的に暗く、瞳孔を含む可能性が高いピクセルのみを残すことができる。
【0076】
追加の例示的な処理ステップには、（１）フィルタリングされた画像を複製し、除去された部分を破棄して、関心領域（ＲＯＩ）だけを表示することと、（２）フィルタリングされたＲＯＩピクセルをグレースケールへの変換することと、（３）例えば、４５を超えるＬ値を有するピクセルをフィルタリングすることにより、輝度値又は強度値に基づいてグレースケールピクセルをフィルタリングすることと、（４）残りのピクセルの輪郭と凸状の形状をスキャンすることと、（５）ピクセルのグレースケール値の増分勾配をスキャンすることと、（６）輪郭に基づく、又は輪郭によって定義される形状を構築することと、（７）サイズと真円度に基づいてそれらの形状をフィルタリングすることと、（８）瞳孔領域と虹彩領域の表面積を判定することと、（９）時間の経過とともに２つの領域の相対的変化を判定することと、含まれる。
【0077】
真円度に基づくフィルタリングのいくつかの例では、デバイスは、１．０の真円度値又はその近辺にない値を除去する。例えば、円の真円度の値は１．０又はそれに近い値であるが、細長い楕円の真円度の値は約０．２５であり得る。
【0078】
瞳孔の特徴に基づいて健康状態を予測する
図３の方法論３００の３４０の様々な態様を使用して、ユーザが様々な病状、疾患の重症度、又は他の健康上の病気を有しているかどうかを識別することができる。以下の図５～７は、例示的な健康状態に対応する例示的なデータを示している。
図３の方法論３００の３４０の様々な態様を使用して、ユーザが様々な病状、疾患の重症度、又は他の健康上の病気を有しているかどうかを識別することができる。以下の図５～７は、例示的な健康状態に対応する例示的なデータを示している。
【0079】
図５は、アルツハイマー病と相関する平均測定瞳孔反応を示している。例えば、図５は、潜時、ＭＣＶ、ＭＣＡ、及び振幅が、認知的に健康な患者のグループとアルツハイマー病患者のグループとの間に有意差があることを示している。
【0080】
図６Ａ～６Ｂは、本開示のいくつかの実装態様による、認知的負荷に対する例示的な瞳孔反応を示す。図６Ａ～６Ｂは、精神知覚瞳孔反応及びアルツハイマー病が相関していることを示している。認知負荷は、３桁、６桁、又は９桁の数字を思い出すことができるかどうかで測定される。図６Ａ～６Ｂは、認知負荷の増加に伴い、健忘単一ドメイン軽度認知障害（Ｓ－ＭＣＩ）群が、認知的健康管理群（ＣＮ）に比べて有意に大きい瞳孔拡張を示したことを示している。さらに、特定の認知負荷では、マルチドメイン軽度認知障害（Ｍ－ＭＣＩ）群は、認知正常群及びＳ－ＭＣＩ群のいずれよりも著しく拡張が少ないことを示した。これは、グループの能力をはるかに超える認知的負荷を示している。
【0081】
図７は、本開示のいくつかの実装態様による、軽度認知障害の関数としての例示的な瞳孔反応を示す。例えば、このデータは、３桁の負荷から６桁の負荷に応じて瞳孔の拡張が増加し、９桁の負荷において容量に達すると減少することを示している。したがって、本開示は、認知能力のより低い個人が、より低い負荷の下でより大きな瞳孔拡張を示し、より高い負荷の下でより小さな瞳孔拡張を示すことを企図している。
【0082】
瞳孔セグメント化
本開示は、瞳孔セグメント化方法を提供する。目の画像データは、瞳孔、虹彩、強膜の３つの主要部分にセグメント化することができる。画像セグメント化アルゴリズムを使用して、所望のセグメント化を提供することができる。
本開示は、瞳孔セグメント化方法を提供する。目の画像データは、瞳孔、虹彩、強膜の３つの主要部分にセグメント化することができる。画像セグメント化アルゴリズムを使用して、所望のセグメント化を提供することができる。
【0083】
図８は、例示的な瞳孔セグメント化プロセスを示している。最初に、目のグレースケール画像が受信される。次に、ピクセルの各々のグレーレベルに基づいて平衡ヒストグラムが創出される。例えば、平衡ヒストグラム閾値化セグメント化、Ｋ－ｍｅａｎｓクラスタリング、又はエッジ検出と領域充填を使用できる。例示的な平衡ヒストグラムセグメント化アルゴリズムは、瞳孔に対応するものを判定するために、ピクセルの閾値グレーレベルを設定する。瞳孔に対応するピクセルは、最も暗いピクセルになる。
【0084】
一例では、Ｋ－ｍｅａｎｓクラスタリングは、初期クラスタ中心としてｋ（例えば、この例ではｋは４）データ値を選択する。各クラスタ中心と各データ値との間の距離が判定される。各データ値は、最も近いクラスタに割り当てられる。次に、すべてのクラスタの平均が更新され、クラスタリングが不可能になるまでプロセスが繰り返される。各クラスタを分析して、瞳孔のピクセルを含むクラスタを判定し、セグメント化の結果を取得する。この方法は、異なる色を有する目の４つの主要部分である、黒い瞳孔、白い強膜、色のついた虹彩、及び皮膚の背景に基づいて、背景から関心領域をセグメント化するために使用することができる。
【0085】
図８に示される方法は、画像を強調し、瞳孔の支配的なピクセルをリンクするエッジ検出及び領域充填をさらに提供する。セグメント化の最終結果を得るために、特定の形状及びサイズの穴が充填される。
【0086】
セグメント化後、瞳孔の面積が判定され、ピクセル単位で測定される。このピクセル測度は、画像データを収集したカメラのスケールに基づいて、物理的なサイズ（例えば、ミリメートル）に変換される。
【0087】
赤目反射
図９は、本開示のいくつかの実装態様による、例示的な赤目反射データ収集を示す。例えば、ユーザの目の網膜の赤い反射を強調する画像データが収集される。次に、本開示は、赤色反射が薄暗いかどうか（これは斜視又は網膜芽細胞腫の徴候であり得る）、反射が黄色かどうか（これはコーツ病の徴候であり得る）、及び／又は反射が白色であるか、又はアイシャインを含むかどうか（これは、網膜芽細胞腫、白内障、網膜剥離、及び／又は目の感染症の徴候であり得る）を判定することを提供する。したがって、これらの方法論は、図３の方法論３００の３３０及び３４０に従って、健康状態を判定するために使用される特徴を提供することができる。
図９は、本開示のいくつかの実装態様による、例示的な赤目反射データ収集を示す。例えば、ユーザの目の網膜の赤い反射を強調する画像データが収集される。次に、本開示は、赤色反射が薄暗いかどうか（これは斜視又は網膜芽細胞腫の徴候であり得る）、反射が黄色かどうか（これはコーツ病の徴候であり得る）、及び／又は反射が白色であるか、又はアイシャインを含むかどうか（これは、網膜芽細胞腫、白内障、網膜剥離、及び／又は目の感染症の徴候であり得る）を判定することを提供する。したがって、これらの方法論は、図３の方法論３００の３３０及び３４０に従って、健康状態を判定するために使用される特徴を提供することができる。
【0088】
角膜対光反射
図１０は、本開示のいくつかの実装態様による、例示的な角膜対光反射データ収集を示す。例えば、斜視（目のずれ）の程度をキャプチャする画像データが収集される。次に、本開示は、キャプチャされたデータが、（Ａ）瞳孔の中心にある小さな光の点、（Ｂ）、（Ｃ）、及び（Ｄ）目のずれを示す、瞳孔の中心からのドット配置の逸脱のうちのいずれかを含むかどうかを判定することを提供する。したがって、これらの方法論は、図３の方法論３００の３３０及び３４０に従って、健康状態を判定するために使用される特徴を提供することができる。
図１０は、本開示のいくつかの実装態様による、例示的な角膜対光反射データ収集を示す。例えば、斜視（目のずれ）の程度をキャプチャする画像データが収集される。次に、本開示は、キャプチャされたデータが、（Ａ）瞳孔の中心にある小さな光の点、（Ｂ）、（Ｃ）、及び（Ｄ）目のずれを示す、瞳孔の中心からのドット配置の逸脱のうちのいずれかを含むかどうかを判定することを提供する。したがって、これらの方法論は、図３の方法論３００の３３０及び３４０に従って、健康状態を判定するために使用される特徴を提供することができる。
【0089】
瞳孔径の測定
図１１は、例示的な瞳孔径測定を示している。例えば、１１１２と１１２２は、それぞれ対象１１１０と１１２０のベースライン瞳孔径を示している。対象１１１０は健康であり、対象１１２０はアルツハイマー病を患っている。ＭＣＶ及びＭＣＡは、本明細書で論じられる方法に基づいて計算することができる。
図１１は、例示的な瞳孔径測定を示している。例えば、１１１２と１１２２は、それぞれ対象１１１０と１１２０のベースライン瞳孔径を示している。対象１１１０は健康であり、対象１１２０はアルツハイマー病を患っている。ＭＣＶ及びＭＣＡは、本明細書で論じられる方法に基づいて計算することができる。
【0090】
視覚刺激の量の判定
図１４の方法論１４００は、ディスプレイで提供する視覚刺激の量を判定するための例示的な方法を提供する。例えば、方法論１４００は、図３の方法論３００のステップ３１０の一部として実行される。いくつかの例では、方法論１４００は、それぞれ、図１及び２のシステム１００及び２００で実行される。いくつかの例では、ディスプレイ刺激は、経過時間又はユーザの目が開いているという判定に基づいて、ユーザが目を開く前又は開いたときに、ディスプレイから光刺激を提供することによって、まぶた媒介反応と組み合わせて利用される。したがって、目を閉じているときの瞳孔の暗順応、目を開けること、及び光刺激の組み合わせは、十分な瞳孔対光反射を誘発するためにいくつかの実施形態において必要となり得る、より大きな光刺激を提供するために組み合わされることになる。
図１４の方法論１４００は、ディスプレイで提供する視覚刺激の量を判定するための例示的な方法を提供する。例えば、方法論１４００は、図３の方法論３００のステップ３１０の一部として実行される。いくつかの例では、方法論１４００は、それぞれ、図１及び２のシステム１００及び２００で実行される。いくつかの例では、ディスプレイ刺激は、経過時間又はユーザの目が開いているという判定に基づいて、ユーザが目を開く前又は開いたときに、ディスプレイから光刺激を提供することによって、まぶた媒介反応と組み合わせて利用される。したがって、目を閉じているときの瞳孔の暗順応、目を開けること、及び光刺激の組み合わせは、十分な瞳孔対光反射を誘発するためにいくつかの実施形態において必要となり得る、より大きな光刺激を提供するために組み合わされることになる。
【0091】
方法論１４００は、光刺激が提供されないとき、１４１０で第１の画像データを受信することにより始まる。例えば、システム１００のカメラ１１４は、ディスプレイ１１２又はセンサ１１６から光刺激を提供することなく、ユーザの画像データを受信する。
【0092】
次に、方法論１４００は、１４１０から受信された第１の画像データに基づいて、１４２０で提供する光束の量を判定することを提供する。
【0093】
１４２０のいくつかの例では、ディスプレイから出力される光のタイプも判定される。例えば、表示される光の波長（又は可視光スペクトル内の光の色）が判定される。ユーザの各目は、異なる色で活性化されるメラノプティック受容体を有している。したがって、１４２０は、ユーザの目の特定のメラノプティック受容体及び特定の受容体経路を活性化するために、光の波長（又は色）を制御することを提供する。いくつかの例では、これらの経路は、特定の受容体経路によって媒介される疾患の描写を許容する。これは、周囲光の判定に基づく場合もある。したがって、システムは、周囲光の量及び周囲光の波長に基づいて、刺激としてディスプレイの出力を変調することができる。
【0094】
次に、方法論１４００は、１４３０で、光束を出力するためのディスプレイの領域を決定することを提供する。いくつかの例では、表示表面積全体が使用される。他の例では、表示表面積の一部のみが使用される。
【0095】
方法論１４００のいくつかの例では、光束の量及び光束を出力するためのディスプレイの面積（例えば、１４２０及び１４３０）は、同時に、又は任意の順序で決定される。
【0096】
次に、方法論１４００は、１４４０において、ディスプレイの決定された領域に決定された量の光束を出力することを提供する。
【0097】
方法論１４００のいくつかの例では、光束が出力された後に、目の追加の画像データが受信される。いくつかの例では、光束は、受信された画像データに基づいて調整される。
【0098】
複数の瞳孔反応の特定
本開示のいくつかの例では、複数の瞳孔反応を識別するための方法が提供される。例えば、そのような方法は、画像データセットの品質が、（例えば、図３の方法論３００の間）意図しない瞳孔刺激によって低下しているかどうかを識別する。図１５は、本開示のいくつかの実装態様による、意図しない瞳孔反応を識別し、タグ付けするための例示的な方法論１５００を示す。例えば、方法論１５００は、図３の方法論３００の前、最中、及び／又は後に実行することができる。
本開示のいくつかの例では、複数の瞳孔反応を識別するための方法が提供される。例えば、そのような方法は、画像データセットの品質が、（例えば、図３の方法論３００の間）意図しない瞳孔刺激によって低下しているかどうかを識別する。図１５は、本開示のいくつかの実装態様による、意図しない瞳孔反応を識別し、タグ付けするための例示的な方法論１５００を示す。例えば、方法論１５００は、図３の方法論３００の前、最中、及び／又は後に実行することができる。
【0099】
図１５の方法論１５００は、最初に、１５１０で、受信された画像データに基づいて第１の瞳孔反応にタグ付けすることを提供する。例えば、第１の瞳孔反応は、本明細書で論じられるような瞳孔特徴のいずれかの変化を含む。
【0100】
次に、方法論１５００は、１５２０で、最初に受信された画像データに続いて、第２の画像データを受信することを提供する。
【0101】
次に、方法論１５００は、１５３０で、照明条件の変化を決定することを提供する。例えば、光条件の変化は、１５１０から受信した画像データと１５２０から受信した第２の画像データとの間の輝度差に基づいて決定することができる。
【0102】
次に、方法論１５００は、１５４０で、第２の画像データの第２の瞳孔反応にタグ付けすることを提供する。例えば、第２の画像データが一連の画像である場合、１５４０は、照明条件の変化と同時、又はその後の時間的に近い時間に発生する画像又は複数の画像を特定することを提供する。いくつかの例では、第２の瞳孔反応は、本明細書で論じられる瞳孔特徴のいずれか１つとして識別される。
【0103】
赤外線測定の実装態様
本開示はさらに、非可視光刺激及び／又は赤外線カメラによる画像キャプチャを提供する。例えば、図１のセンサ１１６、赤外線エミッタ、及び／又はディスプレイ１１２は、非可視発光を提供することができる。いくつかの例では、カメラ１１４は赤外線カメラであり、１つ以上の赤外線発光体を含む。図１６は、それぞれ図１及び２のシステム１００及び／又は２００で実行することができる例示的な方法論１６００を示している。これは、画面ベースの可視光刺激をさらに利用する暗い部屋でのまぶた媒介反応を提供することを含む、本明細書に開示される様々な実施形態に有用であり得る。したがって、暗い部屋又は薄暗い部屋では、ユーザは目を閉じて残っている光を遮断するため、暗い部屋での画面による刺激に基づき、さらに高いコントラストを有することが許容される。
本開示はさらに、非可視光刺激及び／又は赤外線カメラによる画像キャプチャを提供する。例えば、図１のセンサ１１６、赤外線エミッタ、及び／又はディスプレイ１１２は、非可視発光を提供することができる。いくつかの例では、カメラ１１４は赤外線カメラであり、１つ以上の赤外線発光体を含む。図１６は、それぞれ図１及び２のシステム１００及び／又は２００で実行することができる例示的な方法論１６００を示している。これは、画面ベースの可視光刺激をさらに利用する暗い部屋でのまぶた媒介反応を提供することを含む、本明細書に開示される様々な実施形態に有用であり得る。したがって、暗い部屋又は薄暗い部屋では、ユーザは目を閉じて残っている光を遮断するため、暗い部屋での画面による刺激に基づき、さらに高いコントラストを有することが許容される。
【0104】
方法論１６００は、１６１０において、ディスプレイ（例えば、図１のディスプレイ１１２又はセンサ１１６）によって可視光刺激を発することを提供する。例えば、可視光刺激の波長は１０００ｎｍを超える。可視光刺激は、ユーザの顔に向けられる。この目に見える刺激は、ユーザの目に瞳孔反応を開始するように構成されている。
【0105】
次に、方法論１６００は、１６２０で、ディスプレイ（例えば、図１のディスプレイ１１２又はセンサ１１６、例えば、赤外線エミッタ）によって非可視光刺激を発することを提供する。非可視光刺激は、十分に高い画像コントラスト（瞳孔－虹彩セグメント化に十分な高さ）を引き起こすのに十分にユーザの顔を照らすように構成されている。したがって、１６２０は、一般に赤外光によって提供される高画像コントラストを利用する。例えば、１６２０で提供される非可視光刺激は、６００ｎｍ～１０００ｎｍの間の波長を有する光刺激である。
【0106】
１６２０は、十分に高い画像コントラストを提供するのに十分な照明を提供するので、方法論１６００は、可視刺激のみに依存する方法論（例えば、図３の方法論３００を含む）よりも、ステップ１６１０でより少ない可視刺激を必要とする。したがって、方法論１６００は、１６１０で提供される可視刺激がユーザの顔を照らす必要がないため、瞳孔反応をより正確に誘発することができる。
【0107】
方法論１６００はさらに、１６３０で、ユーザの目に対応する画像データを受信することを提供する。いくつかの例では、受信された画像データは、画像のセット又はビデオである。いくつかの例では、画像のセットは、一定期間（例えば、１分、２分、３分以上）の間、一定の間隔（例えば、秒、ミリ秒、及び／又はマイクロ秒で測定される間隔）で収集される。いくつかの例では、１６３０で受信された画像データは、赤外線カメラから受信される。
【0108】
方法論１６００はさらに、１６４０で、画像データを処理して、瞳孔特徴を識別することを提供する。例えば、受信された画像データは、図３の方法論３００の３３０に関して論じられた方法論のいずれかに従って処理される。次に、方法論１６００は、１６５０で、識別された瞳孔特徴に基づいて健康状態を判定することを提供する。例えば、健康状態は、図３の方法論３００の３４０に関して論じられた方法論のいずれかに従って判定される。
【0109】
したがって、方法論１６００は、瞳孔反応の結果が追加の意図しない刺激と交絡することを回避する。
【0110】
適切な照明条件の識別
本開示のいくつかの例は、照明条件が、本明細書で論じられる様々な瞳孔特徴を判定するのに適切な品質の画像データを提供するのに十分であるかどうかを自動的に検出することを提供する。図１７は、本開示のいくつかの実装態様による、照明条件を評価するための例示的な方法論１７００を示している。方法論１７００は、それぞれ、図１及び２のシステム１００及び／又は２００によって実行することができる。いくつかの例では、方法論１７００は、それぞれ、図３及び１６の方法論３００及び／又は方法論１６００の前、後、及び／又は間に実行される。
本開示のいくつかの例は、照明条件が、本明細書で論じられる様々な瞳孔特徴を判定するのに適切な品質の画像データを提供するのに十分であるかどうかを自動的に検出することを提供する。図１７は、本開示のいくつかの実装態様による、照明条件を評価するための例示的な方法論１７００を示している。方法論１７００は、それぞれ、図１及び２のシステム１００及び／又は２００によって実行することができる。いくつかの例では、方法論１７００は、それぞれ、図３及び１６の方法論３００及び／又は方法論１６００の前、後、及び／又は間に実行される。
【0111】
方法論１７００は、１７１０において、受信された画像データの画像コントラストを判定することを提供する。例えば、画像コントラストは、当技術分野で知られているように、明るさ、色、彩度、及び／又は他の任意の視覚画像分析手段に関して判定される。
【0112】
次に、方法論１７００は、１７２０で、画像のコントラストが閾値コントラストレベルよりも低いかどうかを判定することを提供する。例えば、１７２０は、提供された画像データに基づいて瞳孔－虹彩セグメント化を実行できるかどうかを判定するために提供される。いくつかの例では、１７２０は、瞳孔－虹彩セグメント化が特定の精度閾値及び／又は信頼性測度で実行され得るかどうかを判定することを提供する。
【0113】
次に、方法論１７００は、１７３０で、刺激がユーザのまぶたによって媒介される周囲光（例えば、ユーザが目を閉じる／開く）である場合、より薄暗い場所又はより明るい場所で第２の画像データを提供するようユーザに促すプロンプトを出力することを提供する。
【0114】
方法論１６００と組み合わせて使用する場合、方法論１７００は、瞳孔のセグメント化に高いコントラストを提供するために、ユーザが十分に薄暗い場所にいることを確実にすることを提供する。
【0115】
実験データ－赤外線
図１８は、可視光で撮影された画像のセット（画像セット１８１０及び１８３０）と赤外光で撮影された画像のセット（画像セット１８２０及び１８４０）との間で比較された例示的な画像データを示す。画像セット１８２０及び１８４０は、可視光で撮影された画像セット１８１０及び１８３０よりも、対象の瞳孔と虹彩との間のはるかに明確な描写を示している。特に、画像セット１８３０は、暗い虹彩を撮影しており、瞳孔と虹彩の色が似ており、両者のコントラストが低いため、瞳孔のセグメント化はほぼ不可能である。したがって、図１８は、目に見えない刺激で画像データを収集する図１６の方法論１６００、及び瞳孔－虹彩画像コントラストが十分に高いことを確実にする図１７の方法論１７００の有用性を示している。
図１８は、可視光で撮影された画像のセット（画像セット１８１０及び１８３０）と赤外光で撮影された画像のセット（画像セット１８２０及び１８４０）との間で比較された例示的な画像データを示す。画像セット１８２０及び１８４０は、可視光で撮影された画像セット１８１０及び１８３０よりも、対象の瞳孔と虹彩との間のはるかに明確な描写を示している。特に、画像セット１８３０は、暗い虹彩を撮影しており、瞳孔と虹彩の色が似ており、両者のコントラストが低いため、瞳孔のセグメント化はほぼ不可能である。したがって、図１８は、目に見えない刺激で画像データを収集する図１６の方法論１６００、及び瞳孔－虹彩画像コントラストが十分に高いことを確実にする図１７の方法論１７００の有用性を示している。
【0116】
まぶた媒介反応の実装態様
図２１は、ユーザのまぶたを利用して瞳孔を暗適応させ、周囲光を使用して刺激を媒介する（本明細書では「まぶた媒介反応」）一方で、開示されたシステム及び方法を実施する方法の詳細な例を提供するフローチャートである。したがって、ユーザがまぶたを閉じると、瞳孔は暗順応のプロセスを経て、瞳孔は暗闇に慣れ、効果的に瞳孔を拡張する。これは、光刺激を適用する前のベースラインとして機能し（例えば、ユーザが目を開ける）、潜時の測定と最大限の構築を容易にする。
図２１は、ユーザのまぶたを利用して瞳孔を暗適応させ、周囲光を使用して刺激を媒介する（本明細書では「まぶた媒介反応」）一方で、開示されたシステム及び方法を実施する方法の詳細な例を提供するフローチャートである。したがって、ユーザがまぶたを閉じると、瞳孔は暗順応のプロセスを経て、瞳孔は暗闇に慣れ、効果的に瞳孔を拡張する。これは、光刺激を適用する前のベースラインとして機能し（例えば、ユーザが目を開ける）、潜時の測定と最大限の構築を容易にする。
【0117】
例えば、この例では、システムは、ユーザが所定の時間、又はトーンを聞くか振動を感じるまで目を閉じるための命令を表示することができる。これは、目を閉じているときと開いているとき（したがって、暗い又は薄暗い部屋では、部屋の周囲光がすべてユーザの目に入るか、画面を使った刺激が許容される）にユーザの目に入る光のコントラストは、瞳孔反射を誘発するのに十分となり得るため、非常に有利である。
【0118】
例えば、一般的な視距離（例えば、２００ルクス）においてディスプレイから発せられる通常の最大ルクスは、十分な瞳孔対光反射を誘発するのに十分でない場合がある。（例えば、３００ルクス以上が必要な場合がある）。ただし、通常の照明条件で開状態と閉状態で目に入る光のコントラストは、瞳孔対光反射を誘発するのに十分である。そうでなければ、周囲光が明るすぎる可能性があるため、周囲光と光刺激との間に十分なコントラストを確保して瞳孔対光反射を生成することは困難である。したがって、まぶた媒介の実装態様は、追加の光刺激（例えば、閃光又は明るくされたディスプレイ）の必要性を回避することができる。他の例では、まぶた媒介刺激により、ユーザが十分な時間目を閉じているときからベースライン拡張が始まるときに、ディスプレイが反応を引き起こすのに十分な追加の刺激を提供することを許容することができる。
【0119】
したがって、このシステムを使用すると、いくつかの例では、光ベースの刺激がデバイスによって提供される必要はない。したがって、ユーザはディスプレイを自分の方に向けて電話を持つことができる（閃光が必要ないため）。さらに、ディスプレイはユーザの目に光刺激を与える必要がなく、いくつかの例では、まぶた媒介瞳孔反応のアセスメントを行うために後向きカメラを利用することができる。さらに、瞳孔反射を誘発するのに十分な明るさの光をユーザの目に放つよりも、まぶた媒介反応を利用する方が、ユーザにとって快適である可能性があるため、より望ましい場合がある。他の例では、ディスプレイからの光刺激と組み合わせてユーザの目を閉じることは、瞳孔対光反射を誘発するのに十分である可能性がある。
【0120】
また、この方法により、目を閉じて暗順応した状態から目を開けた後、反射を誘発するのに十分な周囲光がある、任意の十分に照明された、又は明るい部屋で、ユーザがこの方法を簡単に実施することが許容される。図２１は、この方法を実施する例を提供する。いくつかの例では、システムは、最初に、本明細書に記載されるように、ユーザがカメラ１１４の前で適切に目を並べることができるように、（例えば、ユーザが目を中に並べるためにライブ画像データ上に表示される円又は矢印を用いて）ディスプレイ１１２上の画像データのライブフィードを提供してもよい。他の例では、後向きカメラを利用することができ、ユーザへのフィードバックは、純粋に音声又は振動で、目の開閉のタイミング、及び後向きカメラと目の位置が適切に合っているかを知らせるようにすることができる。
【0121】
次に、システムは、ユーザが目を閉じるべきであるという指示を提供することができる２１１０。これは、ディスプレイ１１２に表示されるテキストベースのメッセージを含み得る。例えば、ディスプレイ１１２は、「［３、１０、１５］秒間目を閉じる」というテキストを表示するか、又はトーンが聞こえる［又は振動を感じる］まで目を閉じることができる。次に、システムは、３秒（又は４秒、１０秒、１５秒、又は瞳孔対光反射を誘発するのに十分な他の好適な時間）のタイマを開始し、設定された時間が経過した後、カメラ１１４から出力された画像データの記録を開始することができる。他の例では、システムは、設定された時間が経過した後、トーンを鳴らすか、振動モータを通電し、ユーザに目を開けることができることを通知する２１２０。これらの例では、トーン又は振動が開始されるか、その直前に、システムが画像データの記録を開始する。
【0122】
いくつかの例では、システムは、ユーザの目のうちの少なくとも１つが開いていると判定するまで画像データを処理し（例えば、瞳孔、虹彩、又は眼球の他の特徴を識別するためのコンピュータ視覚）、ユーザの目が閉じていると判定するフレームを検出又はフィルタリングすることができる。これにより、システムが、（ユーザの目がまだ閉じている間にカメラ１１４の記録を開始することにより）ユーザの目が開いている第１のフレームを識別し、したがって、瞳孔対光反射のすべて又は大部分をキャプチャすることが許容されるので、これは重要であり得る。
【0123】
いくつかの例では、これは、ユーザの目が完全に開く前、又はユーザの目が完全に開かない場合に、瞳孔の部分的な画像に基づいて瞳孔の直径を判定することを含み得る。例えば、システムは、部分的な直径から瞳孔の完全な直径を推定するか、さもなければ見積もることができる。例えば、目に見える瞳孔の円角が３６０度未満の場合、既知の数学関数（例えば、三角法）を利用して、瞳孔の直径全体を見積もることができる。これには、瞳孔の小さな部分が見えている状態（例えば、目に見える円の角度が９０度）から瞳孔径を判定することが含まれ得る。いくつかの例では、部分測定の瞳孔径の推定精度は、例えば瞳孔対光反射の定量的な測定値を含む健康状態の算出で利用するのに十分高い場合がある。
【0124】
さらに、システムはまた、ユーザの目がカメラ又は画面上の特定の点に適切に焦点を合わせているフレームを識別し得、したがって、瞳孔径の正確な測定を実行することができる。システムは、ユーザが視線を集中させるべき場所についてのディスプレイ上の指示（例えば、矢印）を含めることができる。他の例では、システムは、ユーザの視線の方向を判定し、それらの測定値に基づいて瞳孔径を概算することができる。
【0125】
さらに、システムは、ユーザの目が十分な時間開いている状態で十分なフレームがキャプチャされたと判定するためにフレームを監視し続けることができる（例えば、ユーザはすぐに目を閉じてしまう）。瞳孔対光反射又は他の関連する瞳孔特徴を判定するためにキャプチャされた使用可能なフレームの数が十分でない場合、プロセスは最初からやり直すことになる。
【0126】
次に、システムは、ユーザ３２０の目に対応する視覚データを受信することができ、システムは、図３に関して本明細書で説明したのと同じ方法で画像データを処理することができる。これは、瞳孔特徴３３０を識別するための画像データの処理、及びユーザ３４０の健康状態を判定するための瞳孔特徴の処理を含む。
【0127】
実験データの例：まぶた媒介スマートフォンアプリケーションの使用
発明者は、まぶた媒介スマートフォンアプリケーションの例をテストして、この実装態様がＰＬＲを誘発し、特定の薬物の使用を検出するのに十分かどうかを判定した。したがって、いくつかの主要な薬物の消費後のまぶた媒介反応ベースのアプリケーションを使用していくつかの主要な測定基準にわたってＰＬＲを測定することによって生成されたデータは、まぶた媒介反応ベースのアプリケーションを使用して試験した場合、本明細書に記載される予想される生理学的効果と一致することを示す。したがって、データは、まぶた媒介の実装態様が、ＰＬＲを評価するための従来の確立された方法と一致する瞳孔対光反射を効果的に評価し、患者による特定の薬物の消費をさらに検出するために十分な刺激を効果的に送達することができることを示している。
発明者は、まぶた媒介スマートフォンアプリケーションの例をテストして、この実装態様がＰＬＲを誘発し、特定の薬物の使用を検出するのに十分かどうかを判定した。したがって、いくつかの主要な薬物の消費後のまぶた媒介反応ベースのアプリケーションを使用していくつかの主要な測定基準にわたってＰＬＲを測定することによって生成されたデータは、まぶた媒介反応ベースのアプリケーションを使用して試験した場合、本明細書に記載される予想される生理学的効果と一致することを示す。したがって、データは、まぶた媒介の実装態様が、ＰＬＲを評価するための従来の確立された方法と一致する瞳孔対光反射を効果的に評価し、患者による特定の薬物の消費をさらに検出するために十分な刺激を効果的に送達することができることを示している。
【0128】
例えば、図２２Ａは、まぶた媒介ベースのアプリケーションを使用した、アルコール及びコーヒー消費後の左瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示している。例えば、図２２Ａは、コーヒーがベースラインと比較して著しく速度を増加させ、アルコールが速度を低下させたことを示した。したがって、図２２Ａは、スマートフォン又はモバイルデバイス上でのまぶた媒介反応ベースのアプリケーションが、患者がアルコールを消費したかどうかを判定するために利用され得ることを確認し、図２２Ｂは、まぶた媒介アプリケーションを使用した、アルコール及びコーヒー消費後の右の瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示し、図２３Ａは、まぶた媒介アプリケーションを使用した、アルコール、抗ヒスタミン、オピオイド鎮痛薬、及びコーヒー消費後の左の瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示し、図２３Ｂは、まぶた媒介アプリケーションを使用した、アルコール、抗ヒスタミン、オピオイド鎮痛薬、及びコーヒー消費後の右の瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示し、図２４Ａは、まぶた媒介アプリケーションを使用した、アルコール消費及び朝の体のストレッチ後の左の瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示し、図２４Ｂは、まぶた媒介アプリケーションを使用した、アルコール消費及び朝の体のストレッチ後の右の瞳孔運動の特定の測定基準への影響を示すＰＬＲデータを示す。
【0129】
実験データ：まぶた媒介アプリケーションを使用したＰＬＲデータの再現性
以下の表１は、平滑化手法を適用した後、まぶた媒介アプリケーションを使用して、右目と左目との間で処理された再現性を示している。表１の高スコアは、目の間で測定基準の再現性が高いことから、ＥＭＤの媒介がＰＬＲセッション内で高精度であることを示している。
以下の表１は、平滑化手法を適用した後、まぶた媒介アプリケーションを使用して、右目と左目との間で処理された再現性を示している。表１の高スコアは、目の間で測定基準の再現性が高いことから、ＥＭＤの媒介がＰＬＲセッション内で高精度であることを示している。
【表1】
【0130】
以下の表２は、平滑化手法を適用した後、まぶた媒介アプリケーションを使用して、時間の経過とともに処理された標準偏差を示している。高スコアは、測定基準の安定性と経時的な再現性を示している。
【表2】
【0131】
したがって、表１及び表２は、まぶた媒介アプリケーションを使用した、ＰＬＲ測定基準の目の間、かつ経時的な再現性を示す。したがって、本明細書に開示されるシステム及び方法は、ＰＬＲの特徴を測定するために信頼性高く使用され得る。
【0132】
追加のソフトウェア実装態様
例示的なソフトウェアアプリケーション
本開示は、クライアントデバイスのディスプレイ上のユーザの主要な顔の部分のための位置合わせマークを有するテンプレートをレンダリングする、例示的な健康アプリケーションを企図している。健康アプリケーションは、スマートフォンの画面に表示されている位置合わせマークに主要な顔の部分を位置合わせするように、ユーザに命令する。ユーザの顔の部分は、これらの顔の部分が三次元空間で時間の経過とともに固定されたままであり、ユーザが自発的又は非自発的に変更できない場合に、深さ及び角度における三角法の整合性を確保するために、選択され、位置合わせが行われる。クライアントデバイスは、測定が行われようとしているときに、緑色の光などの指標を提供することができる。健康アプリケーションは、クライアントデバイスの光を点滅させ、センサの１つである高解像度カメラでユーザの目のビデオをキャプチャする。ビデオを使用して、健康アプリケーションは、ユーザの目の瞳孔径が光に反応して収縮し、その後、通常のベースラインサイズまで再び拡張する速度である、瞳孔径反射速度を判定する。したがって、瞳孔速度の能動的な表現型データがキャプチャされる。瞳孔速度は、特定の神経障害の発症中の疾患、障害、又は疾患前駆体が存在するかどうかを判定するために使用することができる。さらに、カメラの使用により、他の表現型データをキャプチャすることができる。例えば、目の強膜の色は目に見える。目の強膜の色を使用して、様々な発症中の疾患、障害、又は疾患前駆体がユーザに存在するかどうかを判定することができる。黄色の目の強膜は黄疸を示している可能性がある。目の強膜の赤み色は、目の血管の収縮による心臓血管の問題を示している可能性がある。同様に、頻度及び時刻の文脈で考慮される強膜の赤みは、薬物乱用を示している可能性がある。目の瞳孔の周りのリングの他の表現型の特徴は、通常、心臓血管の問題に関連するコレステロール沈着を示している可能性がある。ユーザの顔の色素沈着又はほくろの成長の変化は、黒色腫などの皮膚疾患を示している可能性がある。したがって、単一の能動的な試験は、複数の疾患に関連する複数の表現型の特徴の定量化された測度としてデータを生成することができる。
例示的なソフトウェアアプリケーション
本開示は、クライアントデバイスのディスプレイ上のユーザの主要な顔の部分のための位置合わせマークを有するテンプレートをレンダリングする、例示的な健康アプリケーションを企図している。健康アプリケーションは、スマートフォンの画面に表示されている位置合わせマークに主要な顔の部分を位置合わせするように、ユーザに命令する。ユーザの顔の部分は、これらの顔の部分が三次元空間で時間の経過とともに固定されたままであり、ユーザが自発的又は非自発的に変更できない場合に、深さ及び角度における三角法の整合性を確保するために、選択され、位置合わせが行われる。クライアントデバイスは、測定が行われようとしているときに、緑色の光などの指標を提供することができる。健康アプリケーションは、クライアントデバイスの光を点滅させ、センサの１つである高解像度カメラでユーザの目のビデオをキャプチャする。ビデオを使用して、健康アプリケーションは、ユーザの目の瞳孔径が光に反応して収縮し、その後、通常のベースラインサイズまで再び拡張する速度である、瞳孔径反射速度を判定する。したがって、瞳孔速度の能動的な表現型データがキャプチャされる。瞳孔速度は、特定の神経障害の発症中の疾患、障害、又は疾患前駆体が存在するかどうかを判定するために使用することができる。さらに、カメラの使用により、他の表現型データをキャプチャすることができる。例えば、目の強膜の色は目に見える。目の強膜の色を使用して、様々な発症中の疾患、障害、又は疾患前駆体がユーザに存在するかどうかを判定することができる。黄色の目の強膜は黄疸を示している可能性がある。目の強膜の赤み色は、目の血管の収縮による心臓血管の問題を示している可能性がある。同様に、頻度及び時刻の文脈で考慮される強膜の赤みは、薬物乱用を示している可能性がある。目の瞳孔の周りのリングの他の表現型の特徴は、通常、心臓血管の問題に関連するコレステロール沈着を示している可能性がある。ユーザの顔の色素沈着又はほくろの成長の変化は、黒色腫などの皮膚疾患を示している可能性がある。したがって、単一の能動的な試験は、複数の疾患に関連する複数の表現型の特徴の定量化された測度としてデータを生成することができる。
【0133】
ＰＬＲを測定するために、ユーザは目をカメラに位置合わせするための命令が与えられる。これにより、さらなる画像処理及び瞳孔測定のための適切な画像サイズが提供される。カメラセッションが開始され、ユーザの顔が検出され、ユーザの目の画像が取得される。（前向きカメラを使用している場合）背景色及び電話の明るさを調整（又はトーチレベル調整）して、様々なレベルの明るさ／暗さを創出する。画像は、セグメント化、瞳孔の直径の取得、及び瞳孔収縮速度の測定時間の追跡を含めて、リアルタイムで処理することができる。最後に、両目の反応時間、収縮速度、及び瞳孔閉鎖の割合を含む測定結果をユーザに提示することができる。
【0134】
自動顔検出
鼻先及び２つの瞳孔を使用して、自動顔検出が可能である。いくつかの実施形態では、上記の制御された空間距離は、ユーザが自分の顔をファインダ上の３つの赤い三角形の点（瞳孔用に２つ、鼻先用に１つ）に位置合わせすることによって達成される。マシンビジョンを介して、瞳孔は赤い点と整列していると認識され、鼻先（鼻の皮膚のＲＧＢカラーに基づく）は鼻先と整列する。次に、周囲光センサを使用して、測度に交絡変数を加え得る任意の周囲光（ノイズ）をチェックする。位置合わせ（奥行き／角度）及び照明が十分な場合、赤い点が緑色に変わり、一定時間内に手段を取る準備ができたことをユーザに通知する。図１２にこのプロセスを示す。
鼻先及び２つの瞳孔を使用して、自動顔検出が可能である。いくつかの実施形態では、上記の制御された空間距離は、ユーザが自分の顔をファインダ上の３つの赤い三角形の点（瞳孔用に２つ、鼻先用に１つ）に位置合わせすることによって達成される。マシンビジョンを介して、瞳孔は赤い点と整列していると認識され、鼻先（鼻の皮膚のＲＧＢカラーに基づく）は鼻先と整列する。次に、周囲光センサを使用して、測度に交絡変数を加え得る任意の周囲光（ノイズ）をチェックする。位置合わせ（奥行き／角度）及び照明が十分な場合、赤い点が緑色に変わり、一定時間内に手段を取る準備ができたことをユーザに通知する。図１２にこのプロセスを示す。
【0135】
閃光が提供され、ビデオがキャプチャされる。顔検出は、ビデオの１つ以上のフレームを使用して実施することができる。したがって、上記のビデオのキャプチャ後、マシンビジョンベースのアルゴリズム支援により、スマートフォンは、鼻先のピクセルベースの場所、並びに２つの瞳孔（画面に投影され得る）を自動的に検出し、測定値が三角法的かつ空間的に整合していることを確実にする。これらの３つの基準点の特別な形状及び距離は、顔の筋肉によって時間の経過とともに自発的又は非自発的に変更することはできず、制御及び整合性をさらに確実にする。
【0136】
この手段の顔検出／マシンビジョンの部分は、オープンソース及び／又は独自のソフトウェアを使用して実施することができる。その結果、（図１２～１３に示すように）顔及び目を検出することができる。いくつかの実施形態では、入力ビデオ／ビデオフレームはグレースケールである。ビデオで顔が検出されると、システムは顔の座標内の目の検出に進む。顔が検出されない場合、与えられたビデオが有効な検出の基準を満たしていないことがユーザに通知される。
【0137】
事前キャプチャ段階でリアルタイムにユーザを誘導する顔認識アルゴリズムを使用することができる。いくつかの実施形態では、これは、ＯｐｅｎＣＶ（オープンソースコンピュータビジョンライブラリ）、ＡＲＫｉｔ（拡張現実キット）、又は他の顔認識メカニズムを使用することによって達成することができる。顔認識を使用して、画像上の目の位置を識別し、ユーザにデバイスを操作してカメラを所望の位置に置くように指示することができる。カメラが置かれると、画像データのキャプチャ段階が生じ得る。最新のスマートフォンは、３００ｎｉｔ（１カンデラ／ｍ２）超を発する能力を有し得る。ビデオ映像は、１０～２０秒程度の短いものでよく、ＰＬＲ分析に十分なデータを取得するのに十分な場合がある。最新のスマートフォンのカメラ（例えば、図１のカメラ１１４）は、画面閃光の前、最中、及び後のビデオをキャプチャするために使用される。
【0138】
いくつかの実施形態では、顔及び目の認識と組み合わせた顔のキャプチャも、ＰＬＲ測定を実行する際に使用され得る。Ｖｉｓｉｏｎ Ｆｒａｍｅｗｏｒｋなどの一部の顔認識フレームワークは、要求を創出し、それらの要求の結果を解釈することで、ヒトの顔をリアルタイムで検出し、追跡することができる。このようなツールは、画像内の顔の特徴（目及び口など）を見つけて、識別するために使用することができる。顔のランドマーク要求は、最初に入力画像内のすべての顔を探し出し、次に各々を分析して顔の特徴を検出する。他の実施形態では、例えば、拡張現実セッションを介した顔追跡が使用され得る。そのようなメカニズムの１つの例は、ＡＲＫｉｔである。そのようなメカニズムを使用して、ユーザの顔は、前向きカメラシステムで検出され得る。カメラ画像は、拡張現実セッションを構成して、実行することにより、仮想コンテンツとともにビューにレンダリングされることがある。このようなメカニズムにより、ユーザの顔のサイズ、形状、トポロジー、並びに現在の表情及び特徴に一致する粗い３Ｄメッシュジオメトリを提供することができる。そのようなメカニズムの１つを使用して、画像をキャプチャ及び分析するか、又は複数のメカニズムを組み合わせることができる。例えば、あるものは画像をキャプチャし、別のものは画像を分析するために使用される。
【0139】
開示のコンピュータ及びハードウェアの実装形態
本明細書の開示は、任意のタイプのハードウェア及び／又はソフトウェアで実装することができ、事前にプログラムされた汎用コンピューティングデバイスであり得ることが最初に理解されるべきである。例えば、システムは、サーバ、パーソナルコンピュータ、ポータブルコンピュータ、シンクライアント、あるいは任意の好適な単一又は複数のデバイスを使用して実装され得る。本開示及び／又はその構成要素は、単一の場所における単一のデバイス、又は電気ケーブル、光ファイバケーブル、若しくは無線様式でなどの任意の通信媒体によって任意の適切な通信プロトコルを使用して共に接続される、単一又は複数の場所における複数のデバイスであり得る。
本明細書の開示は、任意のタイプのハードウェア及び／又はソフトウェアで実装することができ、事前にプログラムされた汎用コンピューティングデバイスであり得ることが最初に理解されるべきである。例えば、システムは、サーバ、パーソナルコンピュータ、ポータブルコンピュータ、シンクライアント、あるいは任意の好適な単一又は複数のデバイスを使用して実装され得る。本開示及び／又はその構成要素は、単一の場所における単一のデバイス、又は電気ケーブル、光ファイバケーブル、若しくは無線様式でなどの任意の通信媒体によって任意の適切な通信プロトコルを使用して共に接続される、単一又は複数の場所における複数のデバイスであり得る。
【0140】
本開示は、特定の機能を実行する複数のモジュールを有するものとして本明細書に例示及び考察されることにも留意されたい。これらのモジュールは、明確にするという目的でそれらの機能に基づいて概略的に示されているだけであり、必ずしも特定のハードウェアやソフトウェアを表すものではないことを理解されたい。これに関して、これらのモジュールは、考察された特定の機能を実質的に実行するために実装されたハードウェア及び／又はソフトウェアであり得る。さらに、モジュールは、本開示内で共に組み合わせることができ、又は所望の特定の機能に基づいて追加のモジュールに分割することができる。したがって、本開示は、本発明を限定するものと解釈されるべきではなく、単にその一例の実装態様を説明するために理解されるべきである。
【0141】
コンピューティングシステムには、クライアントとサーバを含めることができる。クライアントとサーバは、一般的に、互いにリモートであり、通常は通信ネットワークを通して対話する。クライアントとサーバの関係は、それぞれのコンピュータで実行され、クライアントとサーバの関係を有しているコンピュータプログラムによって生じる。いくつかの実装態様では、サーバは、（例えば、データを表示し、クライアントデバイスと対話するユーザからのユーザ入力を受信する目的で）データ（例えば、ＨＴＭＬページ）をクライアントデバイスに送信する。クライアントデバイスで生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおけるクライアントデバイスから受信することができる。
【0142】
本明細書に記載されている主題の実装態様は、例えば、データサーバとしてバックエンド構成要素を含むか、又は例えば、アプリケーションサーバとしてミドルウェア構成要素を含むか、又は例えば、ユーザが本明細書に記載された主題の実装態様と対話することができるグラフィカルユーザインターフェース又はウェブブラウザを有するクライアントコンピュータなどのフロントエンド構成要素、又は１つ以上のそのようなバックエンド、ミドルウェア、又はフロントエンド構成要素の任意の組み合わせを含む、コンピューティングシステムに実装することができる。システムの構成要素は、デジタルデータ通信の任意の形式又は媒体、例えば通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、及びピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が挙げられる。
【0143】
本明細書に記載されている主題及び操作の実装態様は、本明細書に開示されている構造及びその構造的等価物を含む、デジタル電子回路において、又はコンピュータソフトウェア、ファームウェア、又はハードウェアにおいて、あるいはそれらの１つ以上の組み合わせにおいて実施することができる。本明細書中に記載されている主題の実装態様は、データ処理装置によって実行されるための、又はその動作を制御するための、コンピュータ記憶媒体上に符号化された１つ以上のコンピュータプログラム、すなわちコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。代替的に又は追加的に、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために好適な受信装置に送信するための情報を符号化するように生成される機械的に生成された電気、光、又は電磁信号に符号化することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ又はデバイス、あるいはそれらの１つ以上の組み合わせであり得るか、又はそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令の発信元又は送信先であり得る。コンピュータ記憶媒体はまた、１つ以上の別個の物理的構成要素又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）であり得るか、又はそれらに含まれ得る。
【0144】
本明細書に記載されている動作は、１つ以上のコンピュータ可読記憶デバイスに記憶されているか、又は他の発信元から受信されたデータに対して「データ処理装置」によって実行される動作として実施することができる。
【0145】
「データ処理装置」という用語は、データを処理するためのあらゆる種類の装置、デバイス、及び機械を包含し、例えば、プログラマブルプロセッサ、コンピュータ、チップ上のシステム、又は複数のもの、あるいは前述の組み合わせを含む。装置は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの特別な目的の論理回路を含むことができる。装置は、ハードウェアに加えて、コンピュータプログラムの実行環境を創出するコード、例えば、プロセッサのファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームのランタイム環境、仮想マシン、又はそれらの１つ以上の組み合わせを構成するコードも含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
【0146】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとも呼ばれる）は、コンパイラ型又はインタープリタ型言語、宣言型又は手続き型言語を含む、あらゆる形式のプログラミング言語で記述することができ、スタンドアロンのプログラムとして、あるいはコンピューティング環境での使用に好適なモジュール、構成要素、サブルーチン、オブジェクト、他のユニットとしてなど、あらゆる形式で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応する場合があるが、対応する必要はない。プログラムは、他のプログラム又はデータを保持するファイルの一部分（例えば、マークアップ言語の文書に格納された１つ以上のスクリプト）、当該プログラム専用の単一のファイル、又は複数の連携ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部分を格納するファイル）に格納することができる。コンピュータプログラムは、１台のコンピュータ、又は１つのサイトにおいて位置しているか、又は複数のサイトに分散され、通信ネットワークによって相互接続されている複数のコンピュータで実行されるように展開することができる。
【0147】
本明細書に記載のプロセス及び論理フローは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行され、入力データを操作して出力を生成することによってアクションを実行することができる。プロセス及び論理フローは、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの特殊用途の論理回路によって実行することもでき、装置はまた、特殊用途の論理回路として実装することもできる。
【0148】
コンピュータプログラムの実行に好適なプロセッサには、例として、汎用及び特殊目的の両方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリ又はランダムアクセスメモリ、あるいはその両方から命令及びデータを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令及びデータを格納するための１つ以上のメモリデバイスである。一般に、コンピュータは、データを格納するための１つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスクからデータを受信するか、データを転送するか、又はその両方を含むか、又はそのために動作可能に結合される。ただし、コンピュータにそのようなデバイスが必要なわけではない。さらに、コンピュータは、別のデバイス、例えば、ほんの数例を挙げると、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又は携帯型記憶デバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に組み込むことができる。コンピュータプログラムの命令及びデータを格納するのに好適なデバイスには、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスク又はリムーバブルディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体、及びメモリデバイスが含まれる。プロセッサ及びメモリは、特別な目的の論理回路によって補完又は組み込むことができる。
【0149】
結論
上記の様々な方法及び技術は、本発明を実施するためのいくつかの方法を提供する。もちろん、記載されているすべての目的又は利点が、本明細書に記載されている任意の特定の実施形態に従って達成できるとは限らないことを理解されたい。したがって、例えば、当業者は、方法は、本明細書で教示又は示唆する他の目的又は利点を必ずしも達成することなく、本明細書で教示する１つの利点又は利点群を達成又は最適化する方法で、実行できることを認識するであろう。ここでは、様々な代替案について説明する。いくつかの実施形態は、具体的に１つ、別の、又はいくつかの特徴を含み、他の実施形態は、具体的に１つ、別の、又はいくつかの特徴を除外し、さらに他の実施形態は、１つ、別の、又はいくつかの有利な特徴を含めることによって特定の特徴を軽減することを理解されたい。
上記の様々な方法及び技術は、本発明を実施するためのいくつかの方法を提供する。もちろん、記載されているすべての目的又は利点が、本明細書に記載されている任意の特定の実施形態に従って達成できるとは限らないことを理解されたい。したがって、例えば、当業者は、方法は、本明細書で教示又は示唆する他の目的又は利点を必ずしも達成することなく、本明細書で教示する１つの利点又は利点群を達成又は最適化する方法で、実行できることを認識するであろう。ここでは、様々な代替案について説明する。いくつかの実施形態は、具体的に１つ、別の、又はいくつかの特徴を含み、他の実施形態は、具体的に１つ、別の、又はいくつかの特徴を除外し、さらに他の実施形態は、１つ、別の、又はいくつかの有利な特徴を含めることによって特定の特徴を軽減することを理解されたい。
【0150】
さらに、当業者は、異なる実施形態からの様々な特徴の適用可能性を認識するであろう。同様に、上記で論じた様々な要素、特徴及びステップ、並びにそのような各要素、特徴又はステップに対する他の既知の等価物は、本明細書に記載の原理に従った方法を実行するために、当業者であれば様々な組み合わせで採用することが可能である。様々な要素、機能、及びステップの中には、多様な実施形態で具体的に含まれるものと除外されるものがある。
【0151】
本出願は、特定の実施形態及び実施例の文脈で開示されてきたが、本出願の実施形態が、具体的に開示された実施形態を超えて、他の代替実施形態及び／又は使用並びにその変更及び等価物に及ぶことが、当業者には理解されよう。
【0152】
いくつかの実施形態では、「ａ」及び「ａｎ」及び「ｔｈｅ」という用語、並びに出願の特定の実施形態を説明する文脈で使用される同様の参照（特に、以下の特許請求の範囲の特定の文脈で）は、単数形と複数形の両方をカバーすると解釈することができる。本明細書では、数値の範囲の列挙は、範囲内にある各個別の数値を個別に参照するための略記法として使用することを単に意図している。本明細書で別段の記載がない限り、個々の各値は、本明細書に個別に記載されているものとして本明細書に組み込まれる。本明細書に記載されているすべての方法は、本明細書に別段の指示がない限り、又は文脈によって明らかに矛盾しない限り、任意の適切な順序で実行することができる。本明細書の特定の実施形態に関して提供される任意の及びすべての例、又は例示的な文言（例えば、「など」）の使用は、単に本出願をより良く照らすことを意図しており、他に主張される本出願の範囲に制限を課すものではない。本明細書のいかなる文言も、本出願の実施に不可欠な非請求項の要素を示すものとして解釈されるべきではない。
【0153】
本出願の特定の実施形態は、本明細書に記載されている。これらの実施形態の変形は、前述の説明を読むと、当業者には明らかになるであろう。当業者は、このような変形を適宜採用することができ、本明細書で具体的に説明した以外の方法で本出願を実施することができることが企図されている。したがって、本出願の多くの実施形態は、適用法によって許可されるように、本明細書に添付された特許請求の範囲に列挙された主題のすべての変更及び同等物を含む。さらに、そのすべての可能な変形における上記の要素の任意の組み合わせは、本明細書で別段の指示がない限り、又は文脈によって明らかに矛盾しない限り、本出願に包含される。
【0154】
主題の特定の実装態様を説明してきた。他の実装態様は、以下の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載されたアクションを異なる順序で実行しても、望ましい結果を達成することができる。また、添付の図に描かれたプロセスは、望ましい結果を達成するために、必ずしも示された特定の順序、又は連続した順序を必要としない。
【0155】
本明細書で参照されているすべての特許、特許出願、特許出願公開、及び論文、書籍、明細書、出版物、文書、物、及び／又は同様のものなどの他の資料は、これらに関連する任意の審査ファイル履歴、本書と合致しないか、又は矛盾するもののいずれか、又は本書と現在若しくは将来関連する請求項の最も広い範囲に関して制限的な影響を与え得るもののいずれかを除き、すべての目的のためにこの参照により本明細書に組み込まれる。例として、組み込まれた資料のいずれかに関連する説明、定義、及び／又は用語の使用と、本書に関連する説明、定義、及び／又は用語の使用との間に矛盾又は対立がある場合、本書における説明、定義、及び／又は用語の使用が優先されるものとする。
【0156】
最後に、本明細書に開示される出願の実施形態が、本出願の実施形態の原理の例示であることを理解されたい。採用できる他の変更は、本出願の範囲内であり得る。したがって、限定ではなく例として、本出願の実施形態の代替的な構成は、本明細書の教示に従って利用することができる。したがって、本出願の実施形態は、正確に図示及び説明したように、それに限定されるものではない。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図23A】
【図23B】
【図24A】
【図24B】
【国際調査報告】