特表 2022-548473 患者監視のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-21

(54)【発明の名称】患者監視のためのシステム及び方法

(51)【国際特許分類】

   A61B 5/00 20060101AFI20221114BHJP

   G06F 3/01 20060101ALI20221114BHJP

   A61B 3/113 20060101ALI20221114BHJP

   A61B 10/00 20060101ALI20221114BHJP

   A61B 5/16 20060101ALI20221114BHJP

【ＦＩ】

A61B5/00 102A

G06F3/01 510

A61B3/113

A61B10/00 H

A61B10/00 X

A61B5/16 130

A61B5/16 120

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2022506951

(86)(22)【出願日】2020-08-05

(85)【翻訳文提出日】2022-03-31

(86)【国際出願番号】 IL2020050858

(87)【国際公開番号】W WO2021024257

(87)【国際公開日】2021-02-11

(31)【優先権主張番号】268575

(32)【優先日】2019-08-07

(33)【優先権主張国・地域又は機関】IL

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】517316786

【氏名又は名称】アイフリー アシスティング コミュニケ－ション リミテッド

【氏名又は名称原語表記】ＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ．

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】レトツキン、オール

(72)【発明者】

【氏名】コルンベルグ、イタイ

【テーマコード（参考）】

4C038

4C117

4C316

5E555

【Ｆターム（参考）】

4C038PP03

4C038PP05

4C038PS07

4C117XA04

4C117XB04

4C117XC11

4C117XD06

4C117XE17

4C117XE18

4C117XE19

4C117XE20

4C117XE43

4C117XE57

4C117XE71

4C117XE73

4C117XH02

4C117XH12

4C117XJ13

4C117XJ45

4C117XR02

4C316AA06

4C316AA21

4C316AA30

4C316AB13

4C316FB21

4C316FC14

4C316FC28

5E555AA09

5E555AA57

5E555BA22

5E555BA38

5E555BB22

5E555BB38

5E555BC15

5E555BE08

5E555CA42

5E555CB65

5E555DA24

5E555FA00

(57)【要約】

本開示は、眼画像データに基づいて患者の認知状態を監視するシステム及び方法を提供する。患者監視システムは、患者の眼の画像を記録するように構成されたカメラ装置と、カメラとデータ通信し、（ｉ）前記カメラから眼画像データを受信して処理し、（ｉｉ）前記眼画像データをジェスチャに分類し、患者の認知状態を示すジェスチャを判定し、（ｉｉｉ）前記認知状態を伝える信号を遠隔装置へ送信する働きをするデータ処理サブシステムとを備える。システムはアクチュエータ・モジュールと出力装置とをさらに備えてよく、前記出力は自動問診票であってよい。

【特許請求の範囲】

【請求項1】

患者の認知状態を判定するための患者監視システムであって、前記システムが、
前記患者の眼の画像を記録するように構成されたカメラ装置と、
前記カメラとデータ通信し、
ｉ．前記カメラから眼画像データを受信して処理し、
ｉｉ．前記眼画像データをジェスチャに分類し、前記患者の前記認知状態を示すジェスチャを判定し、
ｉｉｉ．前記認知状態を伝える信号を遠隔装置へ送信する、
働きをする、データ処理サブシステムとを備える、患者監視システム。

【請求項2】

前記カメラが、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される、請求項１に記載のシステム。

【請求項3】

前記認知状態が、覚醒状態、せん妄、認知機能低下、錯乱、失見当識、異常注意、知覚、痛み、及び抑鬱から選択される、請求項１又は２に記載の患者監視システム。

【請求項4】

前記遠隔装置が、集中治療室のアラート装置、看護師用装置、又は介護者によって携帯されるデバイスである、請求項１から３までのいずれか一項に記載の患者監視。

【請求項5】

前記ジェスチャが、少なくとも１つの眼の開眼、少なくとも１つの眼の閉眼、瞳孔位置、一連の瞳孔位置、及び一連の瞼の瞬きから選択される、請求項１から４までのいずれか一項に記載の患者監視システム。

【請求項6】

少なくとも１つの眼の開眼ジェスチャが覚醒状態を示し、看護師用装置へアラート信号が送信される、請求項１から５までのいずれか一項に記載の患者監視システム。

【請求項7】

遠隔装置への前記信号が無線通信で送信される、請求項１から６までのいずれか一項に記載の患者監視システム。

【請求項8】

前記システムが、
アクチュエータ・モジュールと、
出力装置とをさらに備え、
前記アクチュエータ・モジュールが、前記患者に出力を提示する形に前記出力装置を駆動するように構成され、
前記データ処理サブシステムが、前記出力を追う反応眼球運動を表す反応画像データを記録し、前記反応画像データを反応ジェスチャに分類し、前記患者の前記認知状態を示すジェスチャを判定する、請求項１から７までのいずれか一項に記載の患者監視システム。

【請求項9】

前記反応ジェスチャが前記患者の前記認知状態を示す、請求項８に記載の患者監視システム。

【請求項10】

前記出力が自動問診票である、請求項９に記載の患者監視システム。

【請求項11】

前記問診票がＩＣＵ用錯乱評価法（ＣＡＭ－ＩＣＵ）である、請求項１０に記載の患者監視システム。

【請求項12】

前記問診票が痛みスケールである、請求項１０に記載の患者監視システム。

【請求項13】

前記問診票が空気飢餓感又は呼吸不快感質問票である、請求項１０に記載の患者監視システム。

【請求項14】

少なくとも１つの眼の開眼によりＣＡＭ－ＩＣＵが開始される、請求項７から１３までのいずれか一項に記載の患者監視システム。

【請求項15】

前記データ処理サブシステムがさらに、１つ又は複数の生理学的パラメータを受信して分類し、
前記患者の前記認知状態を示す、前記生理学的パラメータを、又は前記ジェスチャ及び生理学的パラメータの任意の組み合わせを、判定する働きをする、
請求項１から１４までのいずれか一項に記載の患者監視システム。

【請求項16】

請求項１から１５までのいずれか一項に記載の複数の患者監視システムを備える患者監視システム。

【請求項17】

前記患者監視システムの各々から前記認知状態を表す信号を受信し、１つ又は複数の所定の基準に従って前記信号を分類する働きをする集中型プロセッサをさらに備える、請求項１６に記載のシステム。

【請求項18】

患者の認知状態を判定するための患者監視方法であって、前記方法が、
ａ．患者の眼の少なくとも一方の画像データを記録することと、
ｂ．前記画像データをジェスチャに分類することと、
ｃ．前記患者の前記認知状態を示すジェスチャを判定することと、
ｄ．前記認知状態を伝える信号を遠隔装置へ送信することとを含む、患者監視方法。

【請求項19】

前記患者に出力を提供することをさらに含む、請求項１８に記載の方法。

【請求項20】

ａ．前記出力を追う反応眼球運動を表す反応画像データを記録することと、
ｂ．前記反応画像データを反応ジェスチャに分類することと、
ｃ．前記患者の前記認知状態を示すジェスチャを判定することとをさらに含む、
請求項１９に記載の方法。

【請求項21】

ａ．１つ又は複数の生理学的パラメータを受信して分類することと、
ｂ．前記患者の前記認知状態を示す、前記ジェスチャ及び生理学的パラメータを、又はこれらの任意の組み合わせを、判定することとをさらに含む、
請求項１８から２０までのいずれか一項に記載の方法。

【請求項22】

患者の認知状態を判定するための方法であって、前記方法が、
ａ．複数の患者監視システムから患者の眼の少なくとも一方の画像データを記録することと、
ｂ．前記画像データをジェスチャに分類することと、
ｃ．判定済みの認知状態を得るために、前記患者の前記認知状態を示すジェスチャを判定することと、
ｄ．１つ又は複数の所定の基準に従って前記判定済みの認知状態を分類することとを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、患者の眼画像データに基づいて患者の認知状態の評価を可能にするシステムに関する。

【背景技術】

【0002】

コミュニケーションの欠如は、特に集中治療室における入院患者の共通の満たされていないニーズである。効果的なコミュニケーションの欠乏は、集中治療室（ＩＣＵ：ｉｎｔｅｎｓｉｖｅ ｃａｒｅ ｕｎｉｔ）せん妄の発症の要因になり得ると考えられている。効果的なコミュニケーションは、患者のＩＣＵせん妄の予防と治療の一部になり得る。重症の人工呼吸器装着患者にとっての現在標準のコミュニケーションは、例えば、うなずくこと、書くこと、及びコミュニケーションボードを指し示すことに限定されている。

【0003】

ユーザの眼を追跡することによってユーザのコミュニケーションを可能にするシステム及び方法が知られている。

【0004】

ＷＯ２０１６１４２９３３は、ユーザに一連のコミュニケーション・オプションを選択的に提示する選択インターフェイスを備えたシステムを開示している。光センサがユーザの眼から反射される光を検出し、相関信号を提供し、この信号を処理することによってユーザの頭を基準とする相対的な眼の向きを判断する。判断した相対的な眼の向きに基づいて、選択されたコミュニケーション・オプションが決定され、実施される。

【0005】

参照により全体が本書に組み入れられるＷＯ２０１９１１１２５７は、眼を追跡することによって、及び／又は個人によって発生される他の生理学的信号を追跡することによって、個人と連絡をとる制御システムを開示している。このシステムは、撮影された眼画像をコンピュータのジョイスティック様操作に似たジェスチャに分類するように構成される。これらのジェスチャは、ユーザが、例えばメニュー項目でコンピュータ又はシステムを操作することを可能にする。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】ＷＯ２０１６１４２９３３

【特許文献2】ＷＯ２０１９１１１２５７

【発明の概要】

【発明が解決しようとする課題】

【0007】

ウェアラブル・デバイスは、一般的に患者のオリエンテーションを改善するために、監視デバイスとして、特に緊急呼び出しデバイスとして、機能することができる。加えて、ウェアラブル・デバイスは、集中治療室（ＩＣＵ）患者の現在標準のコミュニケーションと比べて、より広範で効果的なコミュニケーションを実現できる。

【課題を解決するための手段】

【0008】

本開示のシステムは、言葉で伝える能力を一時的か永久的に失い、様々な認知状態にあり得る患者の認知状態を判定又は監視するのに役立つ。本開示のシステムに該当する患者集団は、該当する運動機能が損なわれている患者である。この障害は、例えば、ＩＣＵ内の患者や外傷（例えば事故）から回復しつつある患者の場合は一時的なものであり得、又は中枢若しくは抹消神経系疾患（例えばＡＬＳ）が原因の麻痺等、永久的な病的状態の結果であり得る。

【0009】

本開示は、患者の眼のいずれか一方又は両方の一連の画像データを撮影するカメラを備えたシステムに関する。この眼画像データは、所定のデータ処理サブシステムによって受信及び処理され、データ処理サブシステムは、前記眼画像データを分類し、これを開眼や瞬き等の眼ジェスチャに解釈する働きをする。データ処理サブシステムは次に、所定の基準に基づいて（基準は一定の基準又は動的な基準であってよく、例えば、医療分野や地理的位置にまたがって異なる基準であってよく、又は医学書から導き出された基準であってもよい）、解釈した眼ジェスチャの中で、覚醒やせん妄等の関心認知状態を特徴づける特異なジェスチャ、ジェスチャパターン、及び一連のジェスチャを判定する。データ処理サブシステムは、前記判定に基づいて、前記患者が認知状態である、認知状態下である、又は認知状態になる見込みがある、若しくは認知状態下になる見込みがあることを、判断できる。関心認知状態を判定したサブシステムは、信号を送信することによって遠隔装置に判定内容を報告する。例えば、ＩＣＵに入院している患者が数日間で初めて目を覚ましたことが開眼によって示された場合、システムは、接続された看護師用装置、医療スタッフ・メンバー、若しくは家族のうちのいずれか１つに、又はこれらの組み合わせに、アラート信号を送信する。本書で開示されるシステムは、リハビリ施設、看護施設、長期救急治療施設、及び高齢者向け住宅を含み、ただしこれらに限定されない、何らかの医療又は非医療機関で実装されてもよい。

【0010】

いくつかの実施例により、システムはウェアラブル・ヘッドセットを備え、カメラは、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される。

【0011】

システムは、患者に出力を提示する形に出力装置を駆動するように構成されたアクチュエータ・モジュールをさらに備えることができるため、システムは、患者によって選択されるコンテンツ、問診票、及びフィードバックを含む何らかの出力を患者に提供することもできる。例えば、システムは集中治療患者のせん妄状態の自動コンピュータ判定を可能にする。具体的に述べると、システムは確立されたＩＣＵ用錯乱評価法（ＣＡＭ－ＩＣＵ：Ｃｏｎｆｕｓｉｏｎ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ＩＣＵ）テストのためのコンピュータ・インターフェイスを患者に提供し、患者は、システムを通じて（すなわち、システムが提供するコミュニケーション信号によって）応答を提供できる。認知状態の判定を促進するため、システムは、眼画像データ以外のさらなる生理学的データを受信して処理するように構成されてもよい。いくつかの実施例により、システムはまた、ユーザからの言葉による入力等、さらなるデータを受信して処理するように構成される。

【0012】

システムは、いくつかの実施例により、コミュニケーション能力が損なわれている人のためによりシンプルでありながら信頼性の高いコミュニケーション・システムを実現するために、高い確度と短い推測時間を有することができる。これはとりわけ、グラフィックス・プロセッシング・ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のトレーニング・セッションの短縮とより効率的な運用に、又は、いくつかの実施例により、リモート・プロセッサ（サーバ）へのデータ送信の高速化に、結びつくことができ、これにより、リモート・プロセッサは送信されたデータをより効率的に処理して分析する。

【0013】

その態様のうちの第１の態様によると、患者の認知状態を判定する患者監視システムが提供され、このシステムは、患者の眼の画像を記録するように構成されたカメラと、カメラとデータ通信し、（ｉ）前記カメラから眼画像データを受信して処理し、（ｉｉ）前記眼画像データをジェスチャに分類し、患者の認知状態を示すジェスチャを判定し、（ｉｉｉ）前記認知状態を伝える信号を遠隔装置へ送信する働きをするデータ処理サブシステムとを備える。システムは、患者を監視するように開発され設計される。これは、例えば、集中治療室患者、ＡＬＳ患者、閉じ込め症候群患者、人工呼吸器装着患者、重症患者、及び言葉によるコミュニケーションの能力を欠いた患者等、あらゆる入院患者を含み得る。さらなる例は、医学的な管理下又は介護者の管理下にある非入院患者である。

【0014】

監視という用語は、連続的又は断続的な監視を含む。いくつかの実施例により、前記監視は、医学的な評価を目的とする長さが数秒又は数分の監視である。他の実施例により、監視は、例えば、数日間、数週間、数カ月間、及び数年間入院する患者のための長期の監視である。

【0015】

判定という用語（又はその派生語）は、認知状態の何らかの二元判断（覚醒又は非覚醒、痛む又は痛まない、せん妄又はせん妄ではない等）、定量的判断（例えば、覚醒状態の持続時間、毎日の覚醒期間の総計、１～１０の数値尺度による錯乱若しくは痛みレベル、又は尤度指数）、又は定性的判断（相対的な睡眠の質、例えば、昨日の比較対象状態に照らした失見当識状態等）を指す。判定は、患者の眼ジェスチャのタイミング、順序、持続時間、パターン、又はその他尺度に基づかせることができる。判定は、認知状態の見込み、発症、及びいずれかの尺度（分、時、又は日）による持続時間を含む。判定は、既定の基準に基づいてジェスチャから導き出されてよい。定義又は判定ルールを決定するため、システムは、医師又はその他介護者による入力のオプションを有することもできる。

【0016】

いくつかの実施例により、判定は、患者が認知状態を明示する見込みを含む予測判定である。

【0017】

いくつかの実施例により、判定は、患者自身の眼ジェスチャ又は患者集団の眼ジェスチャに基づいて収集されたデータベースに基づいて行われる。前記データベースは、過去又はリアルタイムの眼ジェスチャ・データに基づかせることができる。

【0018】

認知状態という用語は、覚醒状態、睡眠状態、せん妄、衰退、錯乱、失見当識、異常注意又は知覚、記憶障害、苦悩、異常意思決定、欲求不満、不快感、痛み、及び抑鬱等の認知異常を含む。認知状態は患者の自然な認知状態である場合があり、又は薬物等の医学的介入によって誘発、影響、又は調整される認知状態である場合もある。

【0019】

いくつかの実施例により、患者監視システムは画面から独立している。

【0020】

いくつかの実施例により、ヘッド・ユニットは、家族、介護者、又は患者本人によって患者の頭に取り付けられる軽量ヘッド・マウントであり、骨伝導スピーカ＼ヘッドフォンをさらに含み得る。ヘッド・ユニットは簡単に取り外すことができる。カメラは前記ヘッド・ユニットに装備されてよく、患者の眼のいずれか一方、両方の眼、いずれかの瞼、又は両方の瞼の画像を含み得る眼画像データを記録し、それを表す画像データを生成するように構成される。

【0021】

いくつかの実施例により、カメラは、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される。

【0022】

いくつかの実施例により、カメラは、ユーザの近くにあるフレームに、例えば、ベッドのフレーム、医療機器を保持するフレーム、その他に、備え付けられてもよい。

【0023】

いくつかの実施例により、カメラは患者の眼に対して固定される。

【0024】

いくつかの実施例により、カメラは患者の眼に対して固定されない。

【0025】

いくつかの実施例により、カメラは赤外線カメラ又は可視光カメラである。

【0026】

通常、本開示のシステムの動作は照明条件に左右されない。

【0027】

いくつかの実施例により、（例えば、ヘッド・ユニットに取り付けられた）カメラの位置は患者の眼に対して固定され、撮影画像データの唯一の基準点としての役割を果たす。

【0028】

いくつかの実施例により、患者の眼に基づくコミュニケーションは、患者が見ている、又は（例えば、画面に対する）角膜反射の、正確な場所若しくは位置を検出するのではなく、ジョイスティック様操作に似ている。また、本開示によると、通常は使用前に画面を使った較正手順の必要がなく、事実、システムを使ったコミュニケーションにあたって画面を使用する必要はまったくない。

【0029】

本書に記述されているジョイスティック様操作という用語は、眼画像データの中で瞳孔エリアの位置を追跡することを含むジェスチャ分類を指す。

【0030】

いくつかの実施例により、ジョイスティック様操作は、参照により全体が本書に組み入れられるＷＯ２０１９１１１２５７の説明に従う。

【0031】

いくつかの実施例により、瞳孔エリアの位置の追跡は、患者の顔から独立して行われる。

【0032】

いくつかの実施例により、瞳孔エリアの位置の追跡は、固定されたカメラを基準にして行われる。

【0033】

いくつかの実施例により、瞳孔エリアの位置の追跡は、固定されていないカメラを基準にして行われる。

【0034】

本開示の文脈における瞳孔エリアは、瞳孔、又は瞳孔を示すものとして判定される瞳孔のいずれかの部分である。

【0035】

いくつかの実施例により、瞳孔エリアの位置は、瞳孔又は眼ジェスチャにラベルが付いた画像データを含むデータベーストに基づいて判断される。前記画像データは、患者本人から、又は他のいずれかの患者若しくは患者集団から、得られてよい。いくつかの実施例により、前記ラベルが付いたデータベーストに基づく瞳孔エリアの位置は、機械学習法を、例えば、或る画像データが特定のジェスチャに一致する見込みを考慮するモデルを、利用して判断される。

【0036】

いくつかの実施例により、瞳孔エリアの位置は限界マップ内でのその位置に基づいて判断されてよく、瞳孔エリアが、限界マップの境界に、又は境界の接線に、触れるときに、特定の位置が判断される。例えば、瞳孔エリアが限界マップの上境界に触れる場合は、画像データは「上」ジェスチャとして分類され、又は瞳孔エリアが限界マップのどの境界にも触れていない場合は、画像データは「真っすぐ」ジェスチャとして分類される。限界マップは、瞳孔エリアの可動域内の領域を含む位置マップから導き出されてよい。一実例により、位置マップは、瞳孔エリアの上、下、左端、及び右端位置によって画定される長方形として設定される。いくつかの実施例により、限界マップは、位置マップの中心から少なくとも２０％、４０％、６０％、８０％、９０％、９５％離れた境界によって限定される少なくとも１つのエリアをカバーする。限界マップは通常、位置マップの中心から少なくとも８０％離れている。位置マップは、患者の画像データに基づいて、又はラベルが付いたジェスチャがある若しくはない、画像データを含む何らかのデータベースに基づいて、得られてよい。任意に選択できる事柄として、位置マップは、眼又はその周囲の解剖学的特徴に基づいて画定される、より大きい関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の中にある。

【0037】

時には、瞳孔エリアの位置は、２つ以上のキーゾーンを含む限界マップ内でのその位置に基づいて判断されてよい。キーゾーンは、眼画像データの中の、別々の、任意に選択できる事柄として重なり合う、小区域であってよい。時には、瞳孔エリアが少なくとも１つのキーゾーンの境界に触れるように、境界の接線に触れるように、又は少なくとも１つのキーゾーンの中に含まれるように、配置される場合は、瞳孔位置がジェスチャとして分類される。画像は、シャッター速度が少なくとも１／３０ｓｅｃのカメラを使用して少なくとも３０Ｈｚのフレーム・レートで撮影されてよい。いくつかの実施例により、瞳孔が、少なくとも所定の期間にわたって、例えば、０．０５、０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、１、又は２秒間にわたって、そのジェスチャ決定位置を維持する場合は、瞳孔位置がジェスチャとして分類される。

【0038】

いくつかの実施例により、瞳孔エリアの位置は、コンピュータ・ビジョン・ツールを使用して、円形、曲線、及び直線特徴に任意に基づいて、判断される。任意に選択できる事柄として、瞳孔エリア判定は、画像データ内の暗い又は黒い画素を判定することに基づいて行われる。いくつかの実施例により、眼ジェスチャを分類する際の基準として役立てるため、瞳孔の中心が計算される。いくつかの実施例により、任意に選択できる事柄として、「中央」眼ジェスチャの基準として役立てるため、計算された瞳孔の中心に対する眼の可動域も計算される。

【0039】

いくつかの実施例により、位置マップは不連続マップであり、又は眼画像の２つ以上のエリア若しくは１つのゾーンを含むマップである。

【0040】

いくつかの実施例により、眼ジェスチャは、単一の画像データ・フレームの画像データに基づいて分類される。他の実施例により、眼ジェスチャは、複数の画像データ・フレームに基づいて、任意に選択できる事柄として２、５、１０、２０、５０枚の画像データ・フレームに基づいて、分類される。他の実施例により、ジェスチャは、所定の時間枠内の、又は所定の画像データ・フレーム数のうちの、複数の画像データ・フレームの６０％、７０％、８０％、８５％、９０％、９５％、又は９７％に基づいて分類される。

【0041】

いくつかの実施例により、瞳孔エリアの位置は物体検出ツールを使用して判断される。任意に選択できる事柄として、眼、瞳孔、及びそれらの特徴を判定するために、物体検出に深層機械学習モデルが組み合わせられる。任意に選択できる事柄として、判定される眼の特徴は、眼の虹彩、外（縁）円若しくは虹彩、瞳孔、内側瞳孔領域、外側瞳孔領域、上眼瞼、下眼瞼、眼の隅、又はこれらの任意の組み合わせから選択される。

【0042】

任意に選択できる事柄として、画像データは、眼の特徴のいずれか１つ又は組み合わせに基づいて、眼ジェスチャに分類される。前記眼の特徴は、眼の虹彩、瞳孔、内側瞳孔領域、外側瞳孔領域、外（縁）円又は虹彩、上眼瞼、下眼瞼、及び眼の隅から選択されてよい。

【0043】

いくつかの実施例により、前記眼判定又は眼の特徴は、バウンディング・ボックス物体検出から導き出される。バウンディング・ボックスという用語は、２つの経度と２つの緯度によって画定されるエリアに関係し得る。任意に選択できる事柄として、緯度は範囲が－９０～９０の１０進数であり、経度は範囲が－１８０～１８０の１０進数である。いくつかの実施例により、検出は、バウンディング・ボックス座標と画像データ・ラベルを含むラベル付きデータに基づいて行われる。

【0044】

いくつかの実施例により、瞳孔エリアの位置は、機械学習ツールを使用することによって、又はコンピュータ・ビジョン・ツールと機械学習ツールとの組み合わせを使用することによって、判断される。

【0045】

任意に選択できる事柄として、組み合わされたコンピュータ・ビジョンと機械学習モデルは、シングル・ショット・ディテクタ（ＳＳＤ：Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）アルゴリズムに基づく。

【0046】

任意に選択できる事柄として、組み合わされたコンピュータ・ビジョンと機械学習モデルは、ユー・オンリー・ルック・ワンス（ＹＯＬＯ：Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）アルゴリズムに基づく。ＹＯＬＯアルゴリズムは２つのステップを含み得る。第１のステップは、物体検出アルゴリズムを使用して、眼画像データの中で少なくとも２、３、４、又は５つのキーゾーンを検出することを含む。第２のステップは、教師付き機械学習アルゴリズムを使用して、前記キーゾーンの座標に基づいて眼画像データの中で眼の瞳孔を判断することを含む。いくつかの実施例により、瞳孔エリアの位置は機械学習モデルに基づいて判断される。任意に選択できる事柄として、前記モデルは患者の画像データに基づく。任意に選択できる事柄として、前記モデルは患者集団の画像データに基づく。任意に選択できる事柄として、前記モデルは健常人集団の画像データに基づく。

【0047】

任意に選択できる事柄として、前記モデルは、教師付き、半教師付き、又は教師なしモデルである。

【0048】

いくつかの実施例により、前記教師付きモデルは、手動でラベルが付けられた、又は自動的にラベルが付けられた、画像データに基づく。

【0049】

いくつかの実施例により、異なるジェスチャ間の境界は、患者の画像データに基づいて画定される。

【0050】

いくつかの実施例により、ジェスチャ分類は機械学習法を使用することに基づいている。具体的に述べると、機械学習モデルは、多数の線形変換層とそれに続く要素ごとの非線形性から成るニューラル・ネットワーク・モデルであってよい。分類は、個々の患者の、又は複数の患者にまたがる、眼特性評価を含み得る。いくつかの実施例により、分類は眼球運動の範囲を推定する。機械学習モデルは、ロジスティック回帰、サポート・ベクタ・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、又はランダム・フォレストから選択された分類器を使用できる。

【0051】

いくつかの実施例により、前記モデルは深層学習モデルであり、任意に選択できる事柄として、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルである。いくつかの実施例により、前記モデルは画像データを少なくとも５つの基本ジェスチャに分類する。任意に選択できる事柄として、前記基本ジェスチャは、瞬き、上、下、左、右、中央（真っすぐ）、斜め左上、斜め右上、斜め左下、及び斜め右下から選択される。

【0052】

いくつかの実施例により、前記ジェスチャ分類は少なくとも８０％、８５％、９０％、９５％、９７％、９８、又は９９％の精度である。

【0053】

いくつかの実施例により、前記ジェスチャ分類の平均推測時間は、１００ｍｓ、１２５ｍｓ、１５０ｍｓ、１７５ｍｓ、２００ｍｓ、２４０ｍｓ、２５０ｍｓ、２６０ｍｓ、２７０ｍｓ、３００ｍｓ、３５０ｍｓ、又はこれらの間の任意の数値までである。いくつかの実施例により、前記ジェスチャ分類の平均推測時間は１００～２００ｍｓの範囲内であり、例えば１２５±２５ｍｓである。前記推測時間は毎秒３～１０フレーム（ｆｐｓ）に相当し、時には８ｆｐｓに相当する。

【0054】

いくつかの実施例により、ジェスチャは、所定の時間枠内のジェスチャの大多数に基づいて分類される。（例えば５０～２００ｍｓの範囲で）基本的な時間枠が設定され、数個の連続する時間枠の中でジェスチャが分類され、それらの時間枠の大多数で同じ分類が生じる場合にジェスチャが定義される。例えば、１２５ｍｓの枠が適用される場合に、３画像中２画像で同じジェスチャが分類された場合は、３７５ｍｓごとに（すなわち、３つの斯かる枠の後に）ジェスチャが決定される。これには、過敏な応答を回避して、より安定した出力を可能にするという利点がある。

【0055】

いくつかの実施例により、機械学習モデルは、任意に選択できる事柄として、少なくとも１つの眼が画像フレームの中にあるかどうかを分類することによって、ヘッドセットの配置にさらに使用される。任意に選択できる事柄として、画像データは、少なくとも１つの眼が完全にフレーム内にある、フレーム内に眼がない、及び少なくとも１つの眼がフレーム内の中央にあるという３つのクラスに分類される。

【0056】

いくつかの実施例により、まずは画像データの中で少なくとも１つの眼の位置を特定することによって、機械学習モデルがヘッドセットの配置に使用される。次に、コンピュータ・ビジョン・ツールと機械学習ツールとの組み合わせを使用してジェスチャ分類が行われる。

【0057】

いくつかの実施例により、データ処理サブシステムは、分散型の、又は非分散型で並列型の、サブシステムである。

【0058】

いくつかの実施例により、前記画像データのジェスチャへの分類と、患者の認知状態を示すジェスチャの判定は、分散型サブシステムのコンポーネントによって行われる。

【0059】

いくつかの実施例により、データ処理サブシステムは、カメラとデータ通信し、任意に選択できる事柄として無線通信し、前記カメラから画像データを受信して処理し、前記画像データをジェスチャにさらに分類する働きをする（任意に選択できる事柄として、分類は上述のジョイスティック様操作に従って行われる）。前記ジェスチャは、随意の、又は不随意の、眼ジェスチャを含み得る。前記ジェスチャは、瞳孔の真っすぐ、中央、右、左、上、下、斜め左上、斜め右上、斜め左下、及び斜め右下位置、一連の瞳孔位置、閉眼、開眼、曲線眼球運動、閉じた瞼の後ろでの眼球運動（例えば、睡眠中の急速眼球運動）、瞳孔サイズの増大又は縮小（例えば、拡張又は収縮した瞳孔）、瞳孔の部分又は内部の拡大又は縮小、瞼の痙攣、瞬き、及び一連の瞼の瞬きを含み得る。前記ジェスチャは、眼瞼下垂症、眼瞼退縮、瞬きの減少又は増加、及び開眼失行等の眼瞼障害に関わる何らかの眼又は瞼の動きも含み得る。

【0060】

任意に選択できる事柄として、ジェスチャは眼のいずれか一方又は両眼に関係する。

【0061】

任意に選択できる事柄として、ジェスチャは一連の２つ以上の瞼の瞬きを含む。

【0062】

ジェスチャは当技術で周知の眼ジェスチャのいずれか１つ又は組み合わせから選択されてよく、例えば、ジェスチャは、固定（静止ジェスチャ若しくは凝視）又は一連の固定及びそれらの持続時間、ジェスチャ又は凝視点、並びにそれらの塊及び分配であってよい。

【0063】

いくつかの実施例により、システムは他のジェスチャの合間に真っすぐのジェスチャを行うことを患者に依頼する。

【0064】

いくつかの実施例により、瞬きジェスチャは、暗い画素の領域として、又は人工知能モデル、任意に選択できる事柄として（教師付き又は教師なし学習により）眼の画像データを閉じた眼の画像として分類する機械学習モデルを使用することによって、判定される。

【0065】

いくつかの実施例により、開眼ジェスチャは、瞳孔の領域として、又は人工知能モデル、任意に選択できる事柄として眼の画像データを開いた眼又は閉じていない眼の画像として分類する機械学習モデルを使用することによって、判定される。

【0066】

いくつかの実施例により、閉眼ジェスチャは、閉じていない眼の少なくとも１つの画像の後の一連の閉じた眼の画像データ・フレームとして判定される。

【0067】

いくつかの実施例により、（レム睡眠で一般的な）急速眼球運動（ＲＥＭ：ｒａｐｉｄ ｅｙｅ ｍｏｖｅｍｅｎｔ）ジェスチャは、画像データ・フレーム間に急速な変化を伴う一連の画像データ・フレームとして判定される。非限定的な一実例として、一連のジェスチャ「下－中央－下－中央－下－中央」は、レム・ジェスチャとして分類される画像データになる。

【0068】

いくつかの実施例により、瞳孔エリアが、限界マップの境界に、又は境界の接線に、触れる場合、又は限界マップの中に含まれる場合は、ジェスチャが分類される。画像は、シャッター速度が少なくとも１／３０ｓｅｃのカメラを使用して少なくとも３０Ｈｚのフレーム・レートで撮影されてよい。いくつかの実施例により、瞳孔が、少なくとも所定の期間にわたって、例えば、０．０５、０．１、０．２、０．３、０．４、０．５、０．６、０．７、０．８、１、又は２秒間にわたって、そのジェスチャ決定位置を維持する場合は、瞳孔位置がジェスチャとして分類される。

【0069】

いくつかの実施例により、ジェスチャのタイプ、ジェスチャの数、ジェスチャの持続時間、並びに対応する信号及び出力のうちのいずれか１つは、患者又は介護者によって決定される。

【0070】

いくつかの実施例により、信号は、単一のジェスチャ、複数のジェスチャ、又は一連のジェスチャに基づいて送信される。任意に選択できる事柄として、信号は、患者の眼ジェスチャのタイミング、順序、持続時間、パターン、その他の尺度、及びこれらの任意の組み合わせに基づいて送信される。

【0071】

いくつかの実施例により、少なくとも１、３、５、７、１０、３０、６０秒間の開眼ジェスチャは、「覚醒」信号を開始する。

【0072】

いくつかの実施例により、少なくとも１、３、５、７、１０、３０、又は６０秒間の閉眼ジェスチャは、「睡眠」信号を開始する。

【0073】

いくつかの実施例により、一連の１、２、３、又は５回の瞬きは、「援助要請」信号を開始できる。

【0074】

いくつかの実施例により、３０秒以内までの一連の１０回までの瞬きは、信号を選択する。

【0075】

いくつかの実施例により、１、２、３、４、５、６、７、８、９、１０、又は３０秒間の眼の少なくとも一方の開眼又は閉眼は、信号を送信する。任意に選択できる事柄として、前記信号はシステムに対する休止モード信号である。

【0076】

いくつかの実施例により、信号は、２４時間にわたる患者の覚醒期間を介護者に報告する。

【0077】

いくつかの実施例により、信号は、患者の部屋を物理的に訪ねるタイミングについてシステムによって提供される推奨事項である。

【0078】

別の非限定的な実施例によると、能力が制限されている患者は、１つのジェスチャを使用して、任意に選択できる事柄として自身の定義又は眼球運動範囲に基づいて、例えば「左」ジェスチャのみを使用して、システムを操作できる。

【0079】

いくつかの実施例により、患者がコンピュータを操作できるようにするジェスチャは、患者が特定の場所を見るジェスチャ（眼の凝視）の代わりに、所定の方向を通常通りに見ること（眼のジェスチャ）である。例えば、患者が特定の、物理的な、又は仮想の、対象に視野を集中していない場合でも、一般的な左凝視はジェスチャとして役立つことができる。

【0080】

いくつかの実施例により、患者の認知状態を示すジェスチャの判定は、一般的な医学的知識と当技術で周知の方法から導き出されるルールに基づいて、又は看護師、医師、介護者、又は患者によって設定される基準に基づいて、行われる。前記ルールは、予め設定されてよく、又は個々の患者の最初の監視の後に導き出されてもよい。患者に関して実施される前記ルールは、患者本人から、又は典型的な人口集団から、導き出されてよい。いくつかの実施例により、判定ルールは、１つ又は複数の一定のルール（充実した医学的知識に基づくもの）であり、又は動的なルール（例えば、単一版の医学書に基づくもの、又は医療分野や地理的地域等にまたがって異なるルール）である。いくつかの実施例により、ルールは、オンラインの人工知能アルゴリズムに基づいて導き出されるという意味で動的である。前記判定は、患者の状態を監視する一部として（特定の時点に、又は継続的に）、又は認知状態を予測するために、行われてよい。前記予測判定は、患者が認知状態を明示する見込みを含む。

【0081】

認知状態は、何らかの生理学的又は非生理学的データとの組み合わせで判断されてよい。いくつかの実施例により、認知状態は、システムによって受信される眼画像データと生理学的データとの任意の組み合わせに基づいて判断される。いくつかの実施例により、認知状態は、システムによって受信される眼画像データと生理学的データとさらなるデータとの任意の組み合わせに基づいて判断される。前記さらなるデータは、何らかの定量的、定性的、確率的、テキスト、個人、又は集団データであってよい。前記データは、オンラインで、又は既定の時点に、受信されてよい。前記データは、患者、医療スタッフ・メンバー、又は家族に由来するものであってよい。

【0082】

最後に、システムによって認知状態が判定されると、データ処理サブシステムが前記認知状態に関連する信号を遠隔装置へ送信する。

【0083】

いくつかの実施例により、前記信号は何らかの信号であってよく、任意に選択できる事柄として、デジタル化されたコンピュータ信号であってよく（例えば、システムを休止モードに設定するため、又はモノのインターネット（ＩＯＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイスを操作するため）、又は任意に選択できる事柄として、視覚信号（緑から赤の、又はその逆の、照明の変化）、聴覚信号（警報音等）、若しくはテキスト・メッセージング・サービスによるテキスト等の他のデジタル信号であってよい。

【0084】

いくつかの実施例により、信号は、任意に選択できる事柄として、文字でインターフェイスを選択するメニューを使用して、任意に選択できる事柄として、患者又は介護者によって予め決定される、又は、患者によって構成される、語、記号、又は文である。

【0085】

いくつかの実施例により、前記遠隔装置は、集中治療室のアラート装置、看護師用装置、又は介護者によって携帯されるデバイスである。

【0086】

いくつかの実施例により、遠隔装置への信号は無線通信で送信される。本書で使用される無線通信という用語は、Ｗｉ－Ｆｉ通信、移動通信システム、Ｂｌｕｅｔｏｏｔｈ通信、赤外線通信、及び電波通信等、導電体接続から独立した何らかの形の通信を含み得る。いくつかの実施例により、無線通信は、無線パーソナル・エリア・ネットワーク（ＷＰＡＮ：ｗｉｒｅｌｅｓｓ ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）や無線ボディ・エリア・ネットワーク（ＷＢＡＮ：ｗｉｒｅｌｅｓｓ ｂｏｄｙ ａｒｅａ ｎｅｔｗｏｒｋ）等の無線ネットワークを経由する。

【0087】

非限定的な一実例として、遠隔装置への信号は、室内の照明を点灯若しくは減光すること、光線治療を始動させること、サウンドや音楽等のメディア・コンテンツを再生すること、又は室温を制御すること等、患者の部屋の中にあるデバイス又は機器をトリガすることに相当し得る。

【0088】

非限定的な一実例として、遠隔装置への信号は、患者の病状、感情状態、又は認知状態を改善又は緩和するシステムを起動する信号であってよい（例えば、せん妄を軽減するシステム）。

【0089】

いくつかの実施例により、少なくとも１つの眼を開ける画像データは、覚醒状態を示す開眼ジェスチャとして分類されていて、アラート信号が看護師用装置へ送信される。

【0090】

いくつかの実施例により、患者監視システムは、患者に出力を提示する形に出力装置を駆動するように構成されたアクチュエータ・モジュールをさらに備え、データ処理サブシステムは、前記出力を追う反応眼球運動を表す反応画像データを記録し、前記反応画像データを反応ジェスチャに分類し、患者の認知状態を示すジェスチャを判定する。

【0091】

出力という用語は、患者に対する何らかの感覚出力又はコンテンツを含む。

【0092】

いくつかの実施例により、出力は、スマート・ホーム・デバイス等のモノのインターネット（ＩＯＴ）デバイスを通じて提供される。

【0093】

いくつかの実施例により、出力は、認知状態の、任意に選択できる事柄としてＩＣＵせん妄の予防又は軽減に関連する。

【0094】

いくつかの実施例により、出力は、睡眠状態等の認知状態の誘導又は促進に関連する。

【0095】

（画像データの記録から認知状態信号送信に至る）上述の自動作動に加えて、出力は、眼ジェスチャ又は信号に応じて開始されてよい。加えて、出力は、システムによって自動的に判定される認知状態に基づいて選択されてよく、これにより、任意に選択できる事柄として、患者の認知状態にポジティブに作用する。例えば、不安な認知状態の判定に応じて、リラックスする音楽、家族の声、ホワイト・ノイズ、又は認知練習が選ばれてよい。

【0096】

いくつかの実施例により、感覚出力は、視覚的（例えば、画面上のメッセージ又は質問）、聴覚的（声による指導又は質問等）、触覚的出力（患者の足に対する接触刺激等）、又はこれらの任意の組み合わせである。

【0097】

いくつかの実施例により、コンテンツという用語は、一般的なコンテンツ、又は個人的に制作されたコンテンツを含む、何らかのコンテンツである。これらは、一般的な医療情報ビデオ、又は患者の医師、看護師、若しくは介護者によって患者に配信されるメッセージを含み得る。

【0098】

いくつかの実施例により、コンテンツは患者によって選択される何らかのメディア・コンテンツである。

【0099】

いくつかの実施例により、メディア・コンテンツは、患者の機能的遂行や医学的適応を改善するために、例えば、ストレスを軽減するために、選択される。

【0100】

いくつかの実施例により、メディア・コンテンツは、家族の声や既知の環境等、患者にとって馴染みのある何らかの視覚的又は聴覚的なコンテンツである。聴覚的なコンテンツは予め録音されたメディア・ファイルであってよく、又はオンラインで送信されてもよい。一実施例により、コンテンツは患者がメニューの中を移動できるようにするメニュー・システムであり、このメニューは患者に提示され、眼ジェスチャを使ってメニュー項目を選択することによって患者の眼ジェスチャでコントロールされる。メニューの提示は、可聴式の提示（ラウドスピーカ、イヤフォン、ヘッドフォン、埋め込まれた可聴デバイス等による）、又は視覚的な提示（画面、患者の前の小さいディスプレイ等での表示による）であってよい。メニューは階層的であってよく、これは、メニュー項目の選択によって他の下層の選択可能なオプションが開き得ることを意味する。

【0101】

いくつかの実施例により、メニューは、参照により全体が本書に組み入れられるＷＯ２０１９１１１２５７の説明に従う。

【0102】

いくつかの実施例により、出力は、人、デジタル、又は自動問診票である。時には、問診票のタイプと内容は、前の質問に対する患者の応答に基づいて決定される。時には、問診票のタイプと前記問診票の質問は、反応ジェスチャに基づいて決定される。一実施例により、前記問診票はＩＣＵ用錯乱評価法（ＣＡＭ－ＩＣＵ）である。一実施例により、少なくとも１つの眼を開くジェスチャはＣＡＭ－ＩＣＵの出力を開始する。

【0103】

いくつかの実施例により、出力は、日時と患者の場所を患者に示す映像又は音声である。

【0104】

いくつかの実施例により、出力は、（任意に選択できる事柄として前記問診票に対して）眼ジェスチャを使って応答する方法をユーザに指導する。

【0105】

反応画像データという用語は、患者に提供された出力に応じて記録された画像データを指す。

【0106】

反応眼球運動という用語は、患者に提供された出力に応じて記録された眼球運動を指す。

【0107】

反応眼ジェスチャという用語は、反応眼球運動又は反応画像データに基づいて分類された眼ジェスチャを指す。いくつかの実施例において、反応ジェスチャは患者の認知状態を示す。

【0108】

一実施例により、少なくとも１つの眼を開くジェスチャはＣＡＭ－ＩＣＵの出力を開始し、反応眼ジェスチャはせん妄状態を示す。非限定的な一実例として、システムは多肢選択式質問を出力することによってＣＡＭ－ＩＣＵテストを実施し、患者は瞬きをすることによって自身の回答を伝える。

【0109】

別の非限定的な一実例として、システムは現在の時刻、日付、及び場所を出力することによって再オリエンテーション評価を実施し、患者は所定の期間にわたって開眼ジェスチャを維持することによって応答する。

【0110】

また、別の例示的で非限定的な一実施例として、聴覚又は視覚出力によって数通りのオプションから、例えば、ひとつの選択として「上」（すなわち上向きジェスチャ）、別の選択として「下」等を、選択することを患者に促すことができる。さらなる例示的で非限定的な一実施例により、患者には（例えば、聴覚出力によって）オプションを提示でき、これにより、特定の選択肢が提示されるときに、特定又は非特定の方向でジェスチャを行うこと、一連の瞬きをすること、所定の期間にわたって瞼を閉じること等を患者に促す。後者は、例えば、文章を書くための文字の素早い選択にとって有益である。この実施例は、問診票に応答する患者の役に立つこともできる。

【0111】

別の例示的で非限定的な一実施例によると、前記問診票は、数値的評価尺度、スタンフォード疼痛尺度、簡易疼痛質問票、ウォン・ベーカー・フェイス、グローバル疼痛尺度、視覚的アナログ尺度、及びマクギル疼痛指標から任意に選択される痛みスケールである。本開示によるさらなる問診票は、空気飢餓感又は呼吸不快感質問票である。

【0112】

いくつかの実施例において、データ処理サブシステムはさらに、１つ又は複数の生理学的パラメータを受信して分類し、患者の認知状態を示す前記生理学的パラメータを、又は前記ジェスチャ及び生理学的パラメータの任意の組み合わせを、判定する働きをする。

【0113】

いくつかの実施例により、判定は、前記眼ジェスチャ及び生理学的パラメータの組み合わせに基づく、患者が認知状態を明示する見込みを含む。いくつかの実施例により、前記組み合わせは高心拍数を伴う急速眼球運動である。

【0114】

他の実施例により、認知状態は、分、時、日、又は月の尺度で一定の期間にわたって累積された一連のジェスチャに基づいて判定される。

【0115】

尺度分は、１０、２０、３０、６０、１２０、又は２４０分までを含む。

【0116】

日の尺度は、１、２、３、４、５、７、１４、３０、又は６０日までを含む。

【0117】

月の尺度は、１、２、４、６、８、１２、又は２４月を含む。

【0118】

時には、認知状態は、システムによって提供される入力とは無関係に、患者によって行われる不随意的又は継続的なジェスチャに基づいて評価される。

【0119】

生理学的パラメータという用語は、患者の神経、心臓、体性感覚、発声、及び呼吸器系、並びに選択された筋肉の動きから得られる何らかの信号を含む、患者の身体から得ることができる何らかの信号である生理学的測定値の任意のサンプルを含む。生理学的パラメータは、何らかのセンサ設備又は測定デバイス、マイクロフォン、肺活量計、電気皮膚反応（ＧＳＲ：ｇａｌｖａｎｉｃ ｓｋｉｎ ｒｅｓｐｏｎｓｅ）デバイス、タッチ又は圧力プローブ、皮膚電気反応プローブ（皮膚伝導プローブ）、脳波記録（ＥＥＧ：ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）デバイス、脳波記録（ＥＣｏＧ：ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）デバイス、筋電図検査法（ＥＭＧ：ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ）、電気眼球図記録法（ＥＯＧ：ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｐｈｙ）、及び心電図によって記録されてよい。

【0120】

いくつかの実施例により、生理学的パラメータは、又は前記眼ジェスチャ及び生理学的パラメータの任意の組み合わせは、患者の認知状態を示す。

【0121】

いくつかの実施例により、複数の患者監視システム（又はサブシステム）を備える患者監視システムが提供される。いくつかの実施例により、前記複数の患者監視システムの各々は別々の患者を監視する。

【0122】

いくつかの実施例により、前記システムは、前記患者監視システム（又はサブシステム）の各々から前記認知状態を表す信号を受信し、１つ又は複数の所定の基準に従って斯かる信号を分類する働きをする集中型プロセッサをさらに備える。いくつかの実施例により、集中型プロセッサによって行われる分類は、医師又は介護者によって設定される基準に基づく。前記基準は、医学的緊急性に関する検討事項、時間に関する検討事項、空間に関する検討事項、及びこれらの任意の組み合わせを表し得る。

【0123】

非限定的な一実例によると、同じ診療科に入院している１組の患者が前記複数の患者監視システムによって監視されており（又は、サブシステム、各患者がサブシステムによって監視されている）、前記システムによって送信される信号は集中型プロセッサによって分類されており、看護師用装置は、医学的緊急性に基づいて順位付けされたアラートを受信している。

【0124】

いくつかの実施例により、信号は、少なくとも２、４、６、８、１０、２０、５０、１００人の患者の覚醒状態を報告する統合信号である。

【0125】

いくつかの実施例により、信号は、少なくとも２、４、６、８、１０、２０、５０、１００人の患者の睡眠状態を報告する統合信号である。

【0126】

本開示のいくつかの実施例によるシステムは、患者がデバイスを使用して少なくとも１つの信号を実行するのに必要な、５、１０、２０、３０、６０、１２０、及び３６０分までの時間として測定される、任意に選択できる事柄として、患者に関してシステムをセットアップする最初の時点から、例えば適切なヘッドセット装着から、測定される、トレーニング期間を伴う。

【0127】

いくつかの実施例において、データ処理サブシステムはさらに、何らかのさらなる（生理学的又は非生理学的）データを受信して分類する働きをする。非限定的な一実例は、問診票の累積結果を得るために、問診票（任意に選択できる事柄として、前記問診票はシステムによって出力される）に対する（例えば、反応眼ジェスチャ又はその他による）患者の回答を受信して分類することである。一実例として、患者はシステムを通じてストレスレベルに関する質問票に応答でき、前記質問票の結果はシステムによって受信され、分類され、任意に選択できる事柄として、眼画像データ、生理学的データ、及びさらなるデータのいずれか１つ又はこれらの組み合わせと組み合わされる。前記さらなるデータは、集団データ（疫学データ等）、個人データ（遺伝的素因）、医療履歴データ、又は社会経済的素性等の非医療データのいずれか１つ又はこれらの組み合わせであってよい。前記さらなるデータは、データ処理サブシステムへ直接送信されてよく、又は非限定的な一実例として、看護師用装置を経由して送信されてもよい。いくつかの実施例において、データ処理サブシステムはさらに、さらなるデータを受信して分類し、患者の認知状態を示す、何らかのさらなるデータを、又は前記ジェスチャとさらなるデータとの組み合わせを、判定する働きをする。

【0128】

いくつかの実施例により、さらなるデータは、又は前記眼ジェスチャ、生理学的パラメータ、及びさらなるデータの任意の組み合わせは、患者の認知状態を示す。

【0129】

いくつかの実施例において、データ処理サブシステムは聴覚データを受信し、（例えば、自然言語処理によって）処理する。例えば、患者が、別の人によって、例えば、介護者によって、質問を尋ねられると、データ処理サブシステムは医師の発話を受け取って処理し、別の人の発話と患者の言語の文脈解析に基づいて、患者に対し、患者自身の言語で、患者に対する指導を含む応答を提案することができる。この実施例は、外国にいる患者が現地の医師及び介護者と容易にコミュニケーションをとることを可能にする。

【0130】

その態様のうちの第２の態様によると、患者の認知状態を判定する方法が提供され、本方法は、（ａ）患者の眼の少なくとも一方の画像データを記録することと、
（ｂ）前記画像データをジェスチャに分類することと、（ｃ）患者の認知状態を示すジェスチャを判定することと、（ｄ）前記認知状態を伝える信号を遠隔装置へ送信することとを含む。

【0131】

いくつかの実施例により、本方法は、患者に対して出力を証明することをさらに含む。

【0132】

いくつかの実施例により、本方法は、（ａ）前記出力を追う反応眼球運動を表す反応画像データを記録することと、（ｂ）前記反応画像データを反応ジェスチャに分類することと、（ｃ）患者の認知状態を示すジェスチャを判定することとをさらに含む。

【0133】

いくつかの実施例により、本方法は、（ａ）１つ又は複数の生理学的パラメータを受信して分類することと、（ｂ）患者の認知状態を示す前記ジェスチャ及び生理学的パラメータを、又はこれらの任意の組み合わせを、判定することとをさらに含む。

【0134】

いくつかの実施例により、患者の認知状態を判定する方法が提供され、本方法は、（ａ）複数の患者監視システムから患者の眼画像を記録することと、（ｂ）前記画像データをジェスチャに分類することと、（ｃ）判定済みの認知状態を得るために、患者の認知状態を示すジェスチャを判定することと、（ｄ）１つ又は複数の所定の基準に従って前記判定済みの認知状態を分類することとを含む。

【0135】

いくつかの実施例により、複数の患者の認知状態を判定する統合患者監視のための方法が提供され、本方法は、（ａ）複数の患者監視システムから各患者の眼画像を記録することと、（ｂ）前記システムの各々からの前記画像データをジェスチャに分類することと、（ｃ）判定済みの認知状態を得るために、各患者の認知状態を示すジェスチャを判定することと、（ｄ）１つ又は複数の所定の基準に従って前記判定済みの認知状態を分類することと、（ｅ）前記認知状態を伝える統合信号を遠隔装置へ送信することとを含む。

【0136】

本書で開示される主題をより良く理解し、それが実際にいかにして実施され得るかを例証するため、これより添付の図面を参照しながら、専ら非限定的な実例として、実施例を説明する。

【図面の簡単な説明】

【0137】

【図1】本開示の非限定的な一実施例によるシステムの概略ブロック図である。

【図2】本開示の別の非限定的な一実施例によるシステムの概略ブロック図である。

【図3】システムの例示的な一実施例を表示する。

【図4】患者によって装着され得るシステムの例示的な一実施例を表示する。

【図5】概略的なシステム・アーキテクチャの例示的な一実施例を示す。

【図6】医療スタッフ・ステーションである遠隔装置の表示画面の、又はダッシュボードの、例示的な一実施例を示す。

【発明を実施するための形態】

【0138】

まずは、本開示の非限定的な一実施例による患者監視システムの概略ブロック図を示す図１を参照する。患者監視システム１００は、患者の頭に取り付けるように構成されたヘッド・ユニット１０２に備え付けられたカメラ１０４を備える。カメラは、患者の近くにある何らかの固定されたフレームに備え付けられてもよい。カメラ１０４は、患者の眼のいずれか一方又は両方及び瞼の画像を連続的に撮影し、それを表す画像データを生成する働きをする。システム１００は、カメラ１０４とデータ通信する並列型又は分散型データ処理サブシステム１０６を含む。データ処理サブシステム１０６は、前記カメラから眼画像データを受信して処理し、
前記眼画像データをジェスチャに分類し、患者の認知状態を示すジェスチャを判定する。次に、データ処理サブシステム１０６は、前記認知状態を伝える信号を遠隔装置へ送信する。

【0139】

非限定的な一実例として、意識不明で数日間入院しているＩＣＵ患者が患者監視システム１００によって監視されている。介護者は患者の頭にウェアラブル型ヘッド・ユニット１０２を置いた。患者が自身の眼を初めて開くと、患者の眼の動きがカメラ１０４によって撮影される。前記カメラ１０４からの画像データはデータ処理サブシステム１０６によって受信される。次に、画像データがジェスチャに分類され、開眼ジェスチャが分類される場合は、覚醒状態が指示され、最寄の看護師用装置へ「援助要請」信号が無線送信される。

【0140】

図２は本開示のシステムのブロック図を示し、このシステムは、第１の出力装置１１０を駆動するアクチュエータ・モジュール１０８をさらに含む。出力装置１１０は、視覚的表示装置であってよく、例えば、デジタル画面であってよく、又は可聴デバイスであってもよく、例えば、スピーカ、ヘッドフォン等であってもよい。

【0141】

非限定的な一実例として、せん妄が疑われる入院患者がヘッド・ユニット１０２を装着しており、患者監視システム１００によって監視されている。患者が２度瞬くと、患者の眼の動きがカメラ１０４によって撮影され、データ処理サブシステム１０６によって一連の２度の瞬きのジェスチャとして分類される。前記ジェスチャにより、アクチュエータ・モジュール１０８によって駆動される出力装置１１０によるデジタルＣＡＭ－ＩＣＵ問診票の出力が始まる。患者は反応眼球運動を行うことによってＣＡＭ－ＩＣＵ評価に応答し、患者の反応眼球運動はカメラ１０４によって撮影され、データ処理サブシステム１０６によって反応眼ジェスチャに分類される。これらの反応眼ジェスチャは、患者が実際にせん妄状態になっているかどうかを示すものとして解釈される。実際にデータ処理サブシステム１０６によってせん妄状態が判定される場合は、前記データ処理サブシステム１０６によって患者の医師へせん妄信号が送信される。

【0142】

図３及び図４は、本開示のシステムの非限定的で例示的な構成部品を示す。図３及び図４の構成部品には、図１によって示されている構成部品の指数から１００ずつずらされた数値的指数が割り当てられている。例えば、図１で１０２と示されているヘッド・ユニットは、図３で２０２によって示されている。したがって、読者は、これらの構成部品の機能に関する詳細について、上記の本文を参照できる。

【0143】

図３は、ヘッド・ユニット２０２と、カメラ２０４と、遠隔装置と無線通信（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ）する非分散型データ処理サブシステム２０６とを含むシステムの非限定的な一実例を示す。

【0144】

図４は、見込み患者によって装着され得るシステムの非限定的な図解を示す。

【0145】

図５は、非限定的で例示的な一実施例による概略的なシステム・アーキテクチャを示す。この例示的なシステムによると、システムは、データ処理サブシステム３０６とヘッドセット３０２とを含む。システムは、（ｉ）（例えば、ＩｏＴプロトコルにより）遠隔の医療スタッフ・ステーション３１０と通信する医療スタッフ・サーバ３０８、（ｉｉ）Ｗｉ－Ｆｉ通信によりデバイス設定クラウド・サーバ３１２、及び（ｉｉｉ）Ｂｌｕｅｔｏｏｔｈ通信によりウェブベースの追加アプリケーション３１４と、遠隔双方向通信を行う。医療スタッフ・サーバは、システム・データベース３１６、イベント・スケジューラ３１８（例えば、毎日０８：００の「おはようございます」の挨拶、又は１２時間おきのＣＡＭ－ＩＣＵ若しくはその他問診票の開始等、医療スタッフが特定の患者についてカレンダー・イベントをスケジュールできるようにする）、データ（音声メニューのためのメディア・ファイル、ワールド・ワイド・ウェブ（ＷＷＷ）ページ３２２等を保管し検索するサーバ３２０、及びテキスト－スピーチ・アプリケーション・プログラミング・インターフェイス（ＡＰＩ）３２４を備える。スタッフ・サーバは、リモート・ファミリー・ポータル３２６経由で、データを、例えば、音声メッセージを、受信する。ファミリー・ポータル３２６は、ウェブ・ポータル３２８を備えるデバイス設定クラウド・サーバへ推奨事項を送信できる。デバイス設定クラウド・サーバは、ボイス・バンキング３３０（録音済みの音声に基づいて合成音声を使用してオリジナルのコンテンツを生成）、テキスト－スピーチ３３２、及び翻訳３３４ ＡＰＩ、並びにユーザ・データベース３３６を備える。

【0146】

システムは、出力装置と、質問票、可聴の質問及び回答から成るセット、オリエンテーション・メッセージ（場所、日付、時刻）、音楽、家族の記録等から選択された出力を駆動するアクチュエータ・モジュールとを備える。出力は、システムによって分類された眼ジェスチャによってトリガされてよい。加えて、前記出力に対する応答は、データ処理サブシステムによって分類された反応ジェスチャで患者によって提供されてよい。応答は、質問に回答することを含み得る。総じて、システムは患者にとってより自然で和やかで管理の行き届いた環境を実現し、これにより入院の質を高め、統制を欠いたような気持ち、不安、コミュニケーションができないという恐怖心等、入院中のネガティブな感情を軽減する。システムはまた、セキュア・リモート・サポート・クラウド３３８にリンクされ、離れた場所にいる技術者のサービスに至るリバース・トンネルを実現する。

【0147】

図６は、以下のものを表示する、医療スタッフ・ステーションにおける可能な画面表示（ダッシュボード）の一実例を示す。
－（発話による）音声の形でステーションから送られる質問に対する患者の回答を含む、コミュニケーション・ログ。
－医療スタッフにコミュニケーション・オプションを提示するコミュニケーション・モジュール
－患者の睡眠／覚醒パターン
－全てのアラート、及びユーザの部屋でのスタッフによる物理的介入を要求するアラートのログ（ユーザの援助要請アラート、カメラの位置が変わった、デバイスがネットワークから切断された等）
－診療科内デバイス位置リマインダ
－ユーザ及びデバイスの活動ログ
－問診票の結果（ＣＡＭ－ＩＣＵ、痛みスケール等）
－音楽、オリエンテーション、及び家族の声の記録のボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2021-05-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

患者の認知状態を判定するための患者監視システムであって、前記システムが、
前記患者の眼の画像を記録するように構成されたカメラ装置と、
前記カメラとデータ通信し、
ｉ．前記カメラから眼画像データを受信して処理し、
ｉｉ．前記眼画像データをジェスチャに分類し、前記患者の前記認知状態を示すジェスチャを判定し、
ｉｉｉ．前記認知状態を伝える信号を遠隔装置へ送信する、
働きをする、データ処理サブシステムと、
アクチュエータ・モジュールと、
出力装置と、を備え、
前記アクチュエータ・モジュールが、前記患者に出力を提示するために前記出力装置を駆動するように構成され、
前記データ処理サブシステムが、前記出力を追う反応眼球運動を表す反応画像データを記録し、前記反応画像データを反応ジェスチャに分類し、前記患者の前記認知状態を示すジェスチャを判定する、患者監視システム。

【請求項2】

前記カメラが、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される、請求項１に記載のシステム。

【請求項3】

前記認知状態が、覚醒状態、せん妄、認知機能低下、錯乱、失見当識、異常注意、知覚、痛み、及び抑鬱から選択される、請求項１又は２に記載の患者監視システム。

【請求項4】

前記遠隔装置が、集中治療室のアラート装置、看護師用装置、又は介護者によって携帯されるデバイスである、請求項１から３までのいずれか一項に記載の患者監視。

【請求項5】

前記ジェスチャが、少なくとも１つの眼の開眼、少なくとも１つの眼の閉眼、瞳孔位置、一連の瞳孔位置、及び一連の瞼の瞬きから選択される、請求項１から４までのいずれか一項に記載の患者監視システム。

【請求項6】

少なくとも１つの眼の開眼ジェスチャが覚醒状態を示し、看護師用装置へアラート信号が送信される、請求項１から５までのいずれか一項に記載の患者監視システム。

【請求項7】

遠隔装置への前記信号が無線通信で送信される、請求項１から６までのいずれか一項に記載の患者監視システム。

【請求項8】

前記反応ジェスチャが前記患者の前記認知状態を示す、請求項１から７までのいずれか一項に記載の患者監視システム。

【請求項9】

前記出力が自動問診票である、請求項８に記載の患者監視システム。

【請求項10】

前記問診票がＩＣＵ用錯乱評価法（ＣＡＭ－ＩＣＵ）である、請求項９に記載の患者監視システム。

【請求項11】

前記問診票が痛みスケールである、請求項９に記載の患者監視システム。

【請求項12】

前記問診票が空気飢餓感又は呼吸不快感質問票である、請求項９に記載の患者監視システム。

【請求項13】

少なくとも１つの眼の開眼によりＣＡＭ－ＩＣＵが開始される、請求項７から１２までのいずれか一項に記載の患者監視システム。

【請求項14】

前記データ処理サブシステムがさらに、１つ又は複数の生理学的パラメータを受信して分類し、
前記患者の前記認知状態を示す、前記生理学的パラメータを、又は前記ジェスチャ及び生理学的パラメータの任意の組み合わせを、判定する働きをする、
請求項１から１３までのいずれか一項に記載の患者監視システム。

【請求項15】

請求項１から１４までのいずれか一項に記載の複数の患者監視システムを備える患者監視システム。

【請求項16】

前記患者監視システムの各々から前記認知状態を表す信号を受信し、１つ又は複数の所定の基準に従って前記信号を分類する働きをする集中型プロセッサをさらに備える、請求項１５に記載のシステム。

【請求項17】

患者の認知状態を判定するための患者監視方法であって、前記方法が、
ａ．患者の眼の少なくとも一方の画像データを記録することと、
ｂ．前記画像データをジェスチャに分類することと、
ｃ．前記患者の前記認知状態を示すジェスチャを判定することと、
ｄ．前記認知状態を伝える信号を遠隔装置へ送信することと、
ｅ．前記患者に出力を提供することと、
ｆ．前記出力を追う反応眼球運動を表す反応画像データを記録することと、
ｇ．前記反応画像データを反応ジェスチャに分類することと、
ｈ．前記患者の前記認知状態を示すジェスチャを判定することと、
を含む、患者監視方法。

【請求項18】

ａ．１つ又は複数の生理学的パラメータを受信して分類することと、
ｂ．前記患者の前記認知状態を示す、前記ジェスチャ及び生理学的パラメータを、又はこれらの任意の組み合わせを、判定することとをさらに含む、
請求項１７に記載の方法。

【請求項19】

患者の認知状態を判定するための患者監視システムであって、前記システムが、
前記患者の眼の画像を記録するためのカメラ装置と、
前記カメラ装置とデータ通信し、
ｉ．前記カメラ装置から眼画像データを受信して処理し、
ｉｉ．前記眼画像データをジェスチャに分類し、前記患者の前記せん妄状態を示すジェスチャを判定し、
ｉｉｉ．前記認知状態を伝える信号を遠隔装置へ送信する、
働きをする、データ処理サブシステムと、
アクチュエータ・モジュールと、
出力装置と、を備え、
前記出力が、前記システムによって分類された目のジェスチャによってトリガーされ、そして一般的な、または個人的に生成された聴覚的なコンテンツを含み、
前記データ処理サブシステムは、前記出力を追う反応性眼球運動を表す反応性画像データを記録し、前記反応性画像データを反応性ジェスチャに分類し、定義された基準に基づいて前記患者のせん妄状態を示すジェスチャを判定する、システム。

【請求項20】

患者の認知状態を判定するための患者監視システムであって、前記システムが、
前記患者の眼の画像を記録するためのカメラ装置と、
前記カメラ装置とデータ通信し、
ｉ．前記カメラ装置から眼画像データを受信して処理し、
ｉｉ．前記眼画像データをジェスチャに分類し、定義された基準に基づいて前記患者のせん妄状態を示すジェスチャを判定し、
ｉｉｉ．前記認知状態を伝える信号を遠隔装置へ送信する、
働きをする、データ処理サブシステムと、
アクチュエータ・モジュールと、
出力装置と、を備え、
前記アクチュエータ・モジュールが、前記患者に出力を提示するために前記出力装置を駆動するように構成された、システム。

【国際調査報告】