特許 6588978 人の向き及び／又は位置の自動検出のための装置、システム、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6588978

(24)【登録日】2019年9月20日

(45)【発行日】2019年10月9日

(54)【発明の名称】人の向き及び／又は位置の自動検出のための装置、システム、及び方法

(51)【国際特許分類】

   A61B 5/107 20060101AFI20191001BHJP

   A61B 5/11 20060101ALI20191001BHJP

   A61B 5/00 20060101ALI20191001BHJP

【ＦＩ】

   A61B5/107 300

   A61B5/11 120

   A61B5/00 102C

   A61B5/107ZDM

【請求項の数】16

【全頁数】20

(21)【出願番号】特願2017-523482(P2017-523482)

(86)(22)【出願日】2015年11月3日

(65)【公表番号】特表2017-536880(P2017-536880A)

(43)【公表日】2017年12月14日

(86)【国際出願番号】EP2015075535

(87)【国際公開番号】WO2016071314

(87)【国際公開日】20160512

【審査請求日】2018年8月30日

(31)【優先権主張番号】14191395.4

(32)【優先日】2014年11月3日

(33)【優先権主張国】EP

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】へインリッチ アドリアンヌ

(72)【発明者】

【氏名】シエ インロン

(72)【発明者】

【氏名】ファン デル ヘイデ エスター マルジャン

(72)【発明者】

【氏名】ファルク トーマス

【審査官】 磯野 光司

(56)【参考文献】

【文献】 特表２０１４−５１８７２８（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１２５５４４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／０１５４５８２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／１０７

Ａ６１Ｂ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

人の向き及び／又は位置の自動検出のための装置であって、前記装置は、
経時的な一連の画像フレームを含む人の画像データを得る、画像データインターフェースと、
前記画像データ内の動作を検出する、動作検出器と、
頻繁に発生する動作を含む前記画像フレームの領域を示す動作ホットスポットを識別する、動作強度検出器と、
所定の期間にわたり最も大きい動作を示す前記動作ホットスポットに基づいて、人の第１の境界を識別する、人検出器と、
を含む、装置。

【請求項2】

前記動作検出器は更に、１つの画像フレームから他の画像フレームまでの前記画像データ内で検出された動作を表す動作画像を決定し、前記動作強度検出器は、前記動作画像を蓄積することにより前記動作ホットスポットを識別する、請求項１に記載の装置。

【請求項3】

人の向き及び／又は位置の自動検出のための装置であって、前記装置は、
経時的な一連の画像フレームを含む人の画像データを得る、画像データインターフェースと、
前記画像データ内の動作を検出し、１つの画像フレームから他の画像フレームまでの前記画像データ内で検出された動作を表す動作画像を決定する、動作検出器と、
頻繁に発生する動作を含む前記画像フレームの領域を示す動作ホットスポットを識別し、２つ以上の動作画像内の動作ピクセル又は動作ベクトル情報のバイナリ発生を合計することにより１つ以上の蓄積画像を得るために、所定の期間にわたる動作画像を蓄積する、動作強度検出器と、
識別された前記動作ホットスポットに基づいて、人の少なくとも一部の向き及び／又は位置を検出する、人検出器と、を含み、
前記人検出器は、所定の期間にわたり最も大きい動作を示す前記動作ホットスポットに基づいて、人の境界を識別する、装置。

【請求項4】

前記動作強度検出器は更に、サイズしきい値を超えるサイズ又は前記１つ以上の蓄積画像内の最大サイズを持つ画像領域であって、動作しきい値を超える動作又は最も大きい動作を示す画像領域を前記動作ホットスポットとして識別する、請求項３に記載の装置。

【請求項5】

前記第１の境界は、画像内の人の上部境界である、請求項１に記載の装置。

【請求項6】

前記人検出器は更に、前記第１の境界の反対側の画像のエッジに向かって前記第１の境界から最も遠くに位置する前記動作ホットスポットを、画像内の人の第２の境界として識別し、前記第１の境界は上部境界であり、前記第２の境界は下部境界である、請求項１に記載の装置。

【請求項7】

前記人検出器は更に、人の縦軸に対して実質的に平行な方向に１つ以上の蓄積された画像内のエッジ強度分析により、画像内の人の左境界及び／又は右境界を検出する、請求項２に記載の装置。

【請求項8】

前記人検出器は更に、いくつかの蓄積された画像内で検出されたエッジをクラスタ化し、それぞれ左右のエッジの最大クラスタをそれぞれの境界として識別する、請求項７に記載の装置。

【請求項9】

前記人検出器は更に、識別された前記動作ホットスポットに基づいて１人以上の追加の人又は少なくとも当該１人以上の追加の人の一部の存在、向き、及び／又は位置を検出し、人の少なくとも一部の向き及び／又は位置の検出時に前記検出の結果を使用する、請求項１に記載の装置。

【請求項10】

前記人検出器は更に、前記１人以上の追加の人又は少なくとも当該１人以上の追加の人の一部の存在、向き、及び／又は位置の検出時に及び／又は人の少なくとも一部の向き及び／又は位置の検出時において、前記１人以上の追加の人の動作の強度、位置、パターン、及び／又は持続時間を使用する、請求項９に記載の装置。

【請求項11】

前記人検出器は更に、検出された前記上部境界及び／又は前記下部境界並びに前記人の既知の又は平均の身体比率に基づいて、人の身体部分の位置を識別する、請求項６に記載の装置。

【請求項12】

定期的に、連続的に、又は随時検出された人の少なくとも一部の検出された前記向き及び／又は位置に基づいて経時的な人の動き又は人の１つ以上の身体部分の動きを分析する、分析ユニットと、
検出された前記動きを自然な動きと異常な動きとに分類し、病気重大度スコア推定を決定し、及び／又は分析された前記動きが情報信号を送出するための所定の基準を超えている場合に前記情報信号を送出する、評価ユニットと、を更に含む、請求項１に記載の装置。

【請求項13】

人の向き及び／又は位置の自動検出のためのシステムであって、前記システムは、
経時的な一連の画像フレームを含む人の画像データを取得して前記画像データインターフェースに提供する、１つ以上のビデオカメラと、
取得した前記画像データに基づいて人の少なくとも一部の向き及び／又は位置の自動検出のための請求項１に記載の装置と、
人の少なくとも一部の検出された前記向き及び／又は位置に関連する情報を出力する、出力インターフェースと、
を含む、システム。

【請求項14】

人の向き及び／又は位置の自動検出のための方法であって、
経時的な一連の画像フレームを含む人の画像データを得るステップと、
前記画像フレーム内の動作推定を含む、前記画像データ内の動作を検出するステップと、
前記画像データ内の１つの画像フレームから他の画像フレームまでの動作を表す動作画像を決定して蓄積するステップと、
大きな動作の領域を考慮に入れて、前記蓄積された動作画像を適応しきい値でしきい値処理することにより、所定の期間にわたり最も大きい動作を示す画像領域を表す動作ホットスポットを識別するステップと、
識別された最も大きい動作を示す前記動作ホットスポットに基づいて、人の境界を識別するステップと、
を含む、方法。

【請求項15】

コンピュータプログラムがコンピュータ上で実行された時に請求項１４に記載の方法の全てのステップを当該コンピュータに実行させる実行可能な命令を備えるコンピュータプログラムを備える、非一時的コンピュータ可読媒体。

【請求項16】

人の向き及び／又は位置の自動検出のための装置であって、前記装置は、
人の一連のビデオフレームを含む人の画像データを生成する、１つ以上のビデオカメラと、
前記１つ以上のビデオカメラから前記画像データを受信し、
前記１つ以上のビデオカメラからの前記画像データ内の動作を検出し、
複数のフレームにわたり画像データを蓄積することにより、前記１つ以上のビデオカメラからの前記画像データ内の、頻繁に発生する動作を含む領域を示す動作ホットスポットを識別し、
所定の期間にわたり最も大きい動作を示す前記動作ホットスポットに基づいて、人の縦軸に対して実質的に平行な方向に１つ以上の蓄積された画像内のエッジ強度分析により、画像内の人の左境界及び／又は右境界を検出する
ためにプログラムされた１つ以上のコンピュータプロセッサと、
検出された前記人の左境界及び／又は右境界に関する情報を出力するユーザインターフェースと、
を含む、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の向き及び／又は位置の自動検出のための装置、システム、及び方法に関する。

【背景技術】

【0002】

患者監視の分野では、体動監視によって患者の臨床条件に関する情報を提供することができる。ベッドからの起床／転落、医療機器（例えば気管内挿入管又は栄養管）の引き抜き、譫妄、てんかん発作などの場合の空中つかみや脚の反復運動などの病気固有の動きなど、危険な状況を医療スタッフに伝達することができる。

【0003】

筋肉運動挙動の変化は、譫妄の中核特徴の１つである。全体的な活動水準の変化（例えば機能低下サブタイプに関する活動水準の低下）の他に、譫妄状態の患者は、空中つかみ、皮膚むしりやベッドシーツむしり、脚の落ち着かない動きなどの異常な動きも示す。体動分析及び体動分類は譫妄検出のために非常に重要なものになる可能性がある。

【0004】

以前の研究では、手首装着加速度計技法を使用して、譫妄による活動水準の変化を分析した。この身体装着型手首センサは、患者にとって邪魔になるか又は混乱させるものである。より重要なことに、これは他の身体部分によって行われた動きを捕捉せず、「皮膚つまみ」、「空中つかみ」などの動きについてより高水準の解釈の可能性も提供しない。連続的で自動式のビデオ監視は、これらの制限を超える機会を提供すると考えられている。

【0005】

患者の動きを認識／分類するために、自然な動き及び異常な動きの特徴が画像／ビデオから抽出され、分類器に供給される。患者監視のための特徴抽出は一般に全身について包括的に実行される。更に、特定の動きはしばしば特定の身体部分によって行われるので、体動分類は身体部分情報から利益を得る（例えば左から右に連続的に頭を動かすことは異常なことであり、その一方で、摂食中の反復した手の動きは異常ではない）。従って、身体部分ごとに特徴を抽出できる場合、分類結果は大幅に改善される。

【0006】

生命徴候を監視するという目的でビデオカメラによる患者監視を実行する場合、胸部領域（呼吸を監視するため）又は顔面領域（心拍数を監視するため）は重要な情報である。

【0007】

従って、体動分析及び生命徴候監視のどちらについても、画像内の患者関心領域（ＲＯＩ）及び主要身体部分の位置に関する情報は極めて重大である。これは、例えば病院内の患者だけでなく、高齢者介護施設又は自宅にいる高齢者のように一般に監視しなければならないすべての人、小児又は保育器内の新生児にも当てはまることである。

【0008】

多くの場合、病院内では、患者の筋肉運動挙動は大部分は、医療スタッフが患者を巡回する時に又は時にはチェックリストを使用することによって観察されるだけである。過去の巡回と現在の巡回との筋肉運動挙動の変化の検出は、しばしば、医療スタッフが気付くのは困難である。このタイプの検査では、筋肉運動挙動の変化によって明らかになる病気の発症などの重大問題や患者の体動によって誘発される重大状況の検出に無視できない遅れがもたらされる。

【0009】

患者の筋肉運動挙動を監視するためにビデオカメラ以外のセンサが文献では提案されているが、これらはしばしば特定の出来事（例えばベッドからの患者の転落）を検出することに特化されている。ビデオデータは情報が豊富であり、例えば患者の顔面、手を検出し、動きを分析し、物体とのやりとりを分析し、一般的な挙動を認識する可能性がある。従って、ビデオセンサは、患者によって行われる種々のタイプの動きを自動的に分析し認識する機会を提供する。

【0010】

自動ビデオベースの患者監視は比較的新しい主題であり、開発されたツールはその初期段階にある。ビデオ分析方法は病院の動的側面に対処しなければならない。これらは、ベッドの角度及びベッドの背もたれの傾斜の変化、患者の一部分を遮る人又はＴＶ画面のような物体、ベッド内で横たわっている患者の種々の姿勢、患者の身体部分を覆う毛布、医療職員及び訪問者の出入りなど、場面変動になり得るものである。これらの難題は、患者監視のために典型的な身体セグメント化方法及び身体部分の識別を含めることを困難にしている。毛布の存在は横たわっている患者に人間モデルを適合させることを困難にしており、場面変動は身体部分セグメント化のための現在のビデオ分析方法を制限している（エッジ／勾配分析、輝度値分析、及び物体検出など）。

【0011】

ＳＨＹＡＭＳＵＮＤＥＲ Ｒ他による「１１ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｐａｔｉｅｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｍｏｔｉｏｎ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ」（ＪＯＵＲＮＡＬ ＯＦ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ、ＫＬＵＷＥＲ ＡＣＡＤＥＭＩＣ ＰＵＢＬＩＳＨＥＲＳ−ＰＬＥＮＵＭ ＰＵＢＬＩＳＨＥＲＳ、ＮＥ．、第３１巻、第２号、２００７年３月２１日）は、バイナリマスクを使用してビデオ内の静止部分と可動部分の分離のための動作セグメント化技法を開示している。

【0012】

ＮＺ５３４４８２Ａは、患者内の動揺のレベルを客観的に決定するための方法及びシステムを開示している。この方法は、患者の身体の定義済み関心領域の物理的動きの自動監視及び／又は動揺による他の臨床事象を描出する監視エキスパートシステム（例えば動揺による心拍数の大きいスパイクによる心房細動）を伴う。監視に関連する生理学的信号について信号処理が実行され、処理された信号内の変化により患者の動揺のレベルを定量化することができる。

【0013】

ＷＯ２０１２／１６４４５３Ａ１は、共通の寝具類を占有している２人以上の被験者の動き及び呼吸を監視するための方法及び装置を開示している。この方法は、光センサにより寝具類を画像化するステップと、当該光センサから受け取った連続画像間又は複数フレーム分離れている複数画像間の対応する画像ブロックの局所変位を示す動作ベクトルを生成することにより動作推定を実行するステップと、動作ベクトルの空間的及び時間的相関関係を測定することにより動作クラスタを計算するステップと、対応する被験者に対するそれぞれの動作クラスタの割り当てにより計算した動作クラスタをセグメント化するステップであって、対応する被験者に対する動作クラスタの割り当てが相互間の動作クラスタの空間的及び／又は時間的類似性と以前のセグメント化結果とに基づくステップとを含む。

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明の目的は、人の向き及び／又は位置の頑強な自動検出を可能にする装置、システム、及び方法を提供することである。

【課題を解決するための手段】

【0015】

本発明の第１の態様では、
− 画像データが経時的な一連の画像フレームを含む人の画像データを得るための画像データインターフェース（ｉｍａｇｅ ｄａｔａ ｉｎｔｅｒｆａｃｅ）と、
− 当該画像データ内の動作を検出するための動作検出器（ｍｏｔｉｏｎ ｄｅｔｅｃｔｏｒ）と、
− 頻繁に発生する動作を示す画像領域を表す動作ホットスポット（ｍｏｔｉｏｎ ｈｏｔｓｐｏｔ）を識別するための動作強度検出器（ｍｏｔｉｏｎ ｉｎｔｅｎｓｉｔｙ ｄｅｔｅｃｔｏｒ）と、
− 識別された動作ホットスポットに基づいて当該人の少なくとも一部の向き及び／又は位置を検出するための人検出器（ｐｅｒｓｏｎ ｄｅｔｅｃｔｏｒ）と、
を含む、人の向き及び／又は位置の自動検出のための装置が提示される。

【0016】

本発明の追加の一態様では、人の向き及び／又は位置の自動検出のための対応する方法が提示される。

【0017】

本発明の更に追加の一態様では、
− 経時的な一連の画像フレームを含む人の画像データを取得するための画像化ユニット（ｉｍａｇｉｎｇ ｕｎｉｔ）と、
− 取得した画像データに基づいて当該人の少なくとも一部の向き及び／又は位置の自動検出のための本明細書に開示されている装置と、
− 当該人の少なくとも一部の検出された向き及び／又は位置に関連する情報を発行するための出力インターフェースと、
を含む、人の向き及び／又は位置の自動検出のためのシステムが提示される。

【0018】

本発明の更に追加の複数態様では、当該コンピュータプログラムがコンピュータ上で実行された時に本明細書に開示されている方法のステップをコンピュータに実行させるためのプログラムコード手段を含むコンピュータプログラム並びにプロセッサによって実行された時に本明細書に開示されている方法を実行させるコンピュータプログラム製品をそこに記憶する非一時的コンピュータ可読記録媒体が提供される。

【0019】

本発明の好ましい諸実施形態は従属クレームに定義されている。請求されている方法、システム、コンピュータプログラム、及び媒体は、従属クレームに定義されているように請求されている装置と同様及び／又は同一の好ましい諸実施形態を有することを理解されたい。

【0020】

本発明は、当該画像データ内で、即ち、一連の画像フレーム内で動作ホットスポットを識別し、人の少なくとも一部の向き及び／又は位置を決定するためにこのような動作ホットスポットを使用するという概念に基づくものである。これにより、動作ホットスポットは、頻繁に発生する動作を示す画像領域、即ち、多くの動作が検出されている画像領域として理解しなければならない。例えば、人がベッドに横になっており、連続的に自分の頭を振る場合、頭部領域はこのような動作ホットスポットとして検出されるであろう。このような動作ホットスポットは一般に複数の画像フレーム（最高数千個の画像フレーム）を考慮に入れた結果として得られる。

【0021】

このような動作ホットスポットの使用により、シナリオの種類、アプリケーション、及び監視の特定の事情次第で（例えば他の人が視野内におり、その結果、画像データ内に示される場合、人がどのくらい動くかなど）、大まかな身体輪郭などの人の関心領域（ＲＯＩ）又は頭、腕、脚などの人の少なくとも１つ以上の特徴的な身体部分をかなり正確に決定することができる。

【0022】

本発明は、好ましくは、ベッド又は長椅子に横になっている、椅子に座っている、じっと立っているなど、人が安静姿勢にある場合に適用可能である。しかしながら、人が経時的に同じ画像領域内に存在する限り、本発明はその他の状況にも適用することができる。多かれ少なかれ同じ領域内に留まっている限り、人は動いたり、立ったり、座ったり、横になったりすることができる。その場合、この領域内の動作ホットスポットは患者の動きに対応し、ＲＯＩを計算することができる。

【0023】

提案されているビデオベースの患者監視システムは比較的安価で目立たないものである。これは、患者の全身活動だけでなく、特定の身体部分による動きも連続的かつ自動的に監視することができる。高度なコンピュータビジョン技術により、特定の動作を識別することができる。

【0024】

好ましい諸実施形態では、以下に説明するように、人の上下左右の境界のうちの１つ以上を決定することができる。更に、頻繁に発生する動作を含む領域を識別する動作画像（ｍｏｔｉｏｎ ｉｍａｇｅ）の蓄積を動作ホットスポットの検出に使用することができる。この蓄積は動作検出又は動作推定に基づくことができる。更に、頭部位置の計算は、人のＲＯＩの外側の領域と人のＲＯＩ自体との間の頻繁なやりとりの位置に基づいて得られる。提案されている通りに処理する前に画像データの潜在的な圧縮によって引き起こされる潜在的な圧縮アーチファクトを考慮しても、提案されている装置、システム、及び方法は頑強なものであり、看護師の動きと患者の動きとを区別することができる。

【0025】

他の好ましい実施形態では、当該動作検出器は、１つの画像フレームから他の画像フレームまでの画像データ内で検出された動作を表す動作画像を決定するように構成され、当該動作強度検出器は、当該動作画像を蓄積することにより動作ホットスポットを識別するように構成される。動作画像は、これにより、例えば動作ベクトル場画像又は検出された動作ピクセルを含む画像になり、これは、例えばある場面の画像フレームの時系列において動作を検出するための従来の動作推定アルゴリズム又はその他の知られている方法によって得ることができる。次に、このような動作画像について得られた蓄積画像（複数も可）は、大量の動作及び／又は強い動作（動作ホットスポットと見なされるもの）を有する画像領域並びに少ない動作を含むか又は動作を全く含まないその他の画像領域を直接的に示す。これは、動作ホットスポットを決定するための実用的で信頼できるやり方を提供するものである。

【0026】

好ましくは、当該動作強度検出器は、２つ以上の動作画像内の動作ピクセル又は動作ベクトル情報（例えばベクトル長）のバイナリ発生（ｂｉｎａｒｙ ｏｃｃｕｒｒｅｎｃｅ）を合計することにより１つ以上の蓄積画像を得るために、動作画像、特に所定の期間にわたる動作画像を蓄積するように構成される。この所定の期間は一般に、その範囲内で人の動きを予想できる期間である。人がＩＣＵ内のようにより座りがちである場合、この期間は人が比較的活動的である場合より長い時間フレームになる。従って、所定の期間は数分に過ぎない場合もあれば、１時間又は数時間が使用される場合もある。

【0027】

好ましい一実施形態では、当該動作強度検出器は、サイズしきい値を超えるサイズ又は１つ以上の蓄積画像内の最大サイズを有し、動作しきい値を超える動作又は最も強い動作を示す画像領域を動作ホットスポットとして識別するように構成される。このようなしきい値は、例えば種々のシナリオ及びタイプの動作による以前の実験に基づいて、前もって設定される。このようなしきい値は、最も頻繁に発生する体動領域を検出するために使用される。これは、固定したやり方で、又は（ほとんど動きが発生しなかった期間に対する偏りを除外するためにいくつかの異なる期間から）１人の人について測定された最大体動発生のパーセンテージとして設定することができる。また、しきい値は、ユースケースごとに経験的に決定することもできる。

【0028】

他の実施形態では、当該人検出器は、所定の期間にわたり最も強い動作を示す動作ホットスポットを、画像内の人の第１の境界、特に上部境界として識別するように構成される。上部境界は人の頭部領域であるが、必ずそうであるわけではない。好ましい一適用例では、例えば人が病院内の患者用ベッドなどで横になっている姿勢である時に、当該人の側面から画像が得られる。この適用例では、画像内の上部境界は人の左側又は右側のいずれかに対応するが、これが画像内の人の上部境界であるからである。動作が少ないホットスポットより上では、人は存在すると想定されない。その場合、例えばある時間内に１回当該領域内で看護師が移動することによって動作が引き起こされるであろう。その他の適用例では、人が垂直の姿勢にあるか又は異なる位置から画像が取得される可能性がある。従って、人が他の向きを有する場合、提案されているステップを適用する前に画像がまず回転される。

【0029】

有利なことに、当該人検出器は、第１の境界の反対側の画像のエッジに向かって第１の境界から最も遠くに位置する動作ホットスポットを、画像内の人の第２の境界、特に下部境界として識別するように構成される。これは、人が配置されている領域を識別するのに更に役に立つ。

【0030】

更に、一実施形態では、当該人検出器は、特に人の縦軸に対して実質的に平行な方向に１つ以上の蓄積された画像内のエッジ強度分析により、画像内の人の第３の境界及び／又は第４の境界、特に左境界及び／又は右境界を検出するように構成される。これは、当該人検出器が、いくつかの蓄積された画像内で検出された（強い）エッジを好ましくは画像列（ｉｍａｇｅ ｒｏｗ）ごとに個別にクラスタ化し、それぞれ左右のエッジの最大クラスタをそれぞれの境界として識別するように構成される一実施形態によって得られる。好ましい一実施形態では、動作ホットスポットを含む動作画像についてある種のエッジ強度分析が実行される。従って、例えば左から右に画像を通過する際に、当該人に属する強い動作ホットスポットが始まる時が来る。そのエッジが強いので、これは第１の（例えば左）境界を示す（「以前の値の平均のｋ倍を超える」という説明によって理解しなければならない）。

【0031】

ベッドの隣の画像内で看護師が動いたので何らかのエッジが発生することになるが、これらはそれほど強くない。このエッジ分析が１つの画像列だけでなく、上部境界と下部境界との間のすべての列について実行されると、強いエッジ位置を含むピクセル座標が返される。その結果得られる左境界は、強いエッジ位置を含む最大ピクセル座標が見つかったピクセル座標に設定される。

【0032】

他の好ましい実施形態では、当該人検出器は、識別された動作ホットスポットに基づいて１人以上の追加の人又は少なくともその一部の存在、向き、及び／又は位置を検出し、当該人の少なくとも一部の向き及び／又は位置の検出時にこの検出の結果を使用するように構成される。従って、例えば検出された動作の量、領域、強度、パターンなどに基づいて、一方の当該患者と、他方の看護師、医師、又は訪問者とを区別することが可能である。従って、当該人検出器は、１人以上の追加の人又は少なくともその一部の存在、向き、及び／又は位置の検出時に及び／又は当該人の少なくとも一部の向き及び／又は位置において、当該１人以上の追加の人の動作の強度、位置、パターン、及び／又は持続時間を使用するように構成される。

【0033】

更に、一実施形態では、当該人検出器は、検出された第１及び／又は第２の境界並びに当該人の知られている又は平均の身体比率（ｂｏｄｙ ｐｒｏｐｏｒｔｉｏｎ）に基づいて、当該人の身体部分の位置を識別するように構成される。監視された人は特定のクラスに分類され、それぞれのクラスには典型的な（平均）身体比率が割り当てられ、当該身体比率はその後、当該人の位置及び／又は向きの推定時に使用される。これは推定の正確さを更に改善することになる。

【0034】

提案されている装置は、定期的に、連続的に、又は随時検出された当該人の少なくとも一部の検出された向き及び／又は位置に基づいて経時的な当該人又は当該人の１つ以上の身体部分の動きを分析するための分析ユニット（ａｎａｌｙｓｉｓ ｕｎｉｔ）と、検出された動きを自然な動きと異常な動きに分類し、病気重大度スコア推定を決定し、及び／又は分析された動きが情報信号を送出するための所定の基準を超えている場合に情報信号を送出するための評価ユニット（ｅｖａｌｕａｔｉｏｎ ｕｎｉｔ）とを更に含む。上記の説明のように、譫妄、パーキンソン、てんかん、不穏下肢などに苦しんでいる患者など、特定の病気に苦しんでいる患者は病気に典型的な動きを示す。従って、この実施形態は、潜在的に初期段階でこのような病気を検出するために或いは特定の看護又は監視を必要とする病気に典型的な活動を患者が示す時期を検出するために使用することができる。特に、譫妄又はてんかん発作の場合の空中つかみなど、病気及び／又は障害に関連する異常な動きは、患者の健康状態を判定する時に認識し考慮に入れることができる。この体動識別は追加の利点も提供することができる。例えば、医療機器を引き抜くこと又は介助なしにベッドから起床することなど、何らかの特別な又は危険な動きが検出された場合、このシステムは医療スタッフに警告メッセージを送信することができる。

【0035】

一実施形態では、患者の動きの様々なビデオ分析に基づいて病気重大度スコアが推定され、これは患者の臨床条件を決定するために臨床スタッフをサポートする。これは、自動的及び連続的なやり方で機能し、より効果的なビデオベースの監視方法が得られる。

【0036】

当該人の画像データの画像取得のために、ビデオカメラなどの画像化ユニット（例えばウェブカメラ又は監視カメラ）は、連続的に、定期的に、又は随時、経時的な画像フレームを得る。監視されている人の少なくとも一部の検出された向き及び／又は位置を出力するために、サーバ、コンピュータ、ディスプレイ、スマートフォン、又は何らかのその他のエンティティにデータを送信するためのインターフェースなどの出力インターフェースが使用され、この送信は、例えばＬＡＮ、Ｗｉ−Ｆｉ、ＵＭＴＳ、直接配線を介して有線又は無線方式で或いは何らかの有用なやり方で行われる。

【0037】

本発明の上記その他の諸態様は、以下に記載されている実施形態（複数も可）により明らかになり、それに関連して解明される。

【図面の簡単な説明】

【0038】

【図1】本発明によるシステム及び装置の一般的なレイアウトの概略図を示している。

【図2】本発明による装置の第１の実施形態の概略図を示している。

【図3】本発明による方法の第１の実施形態のフローチャートを示している。

【図4】動作検出により得られた模範的な動作画像を示している。

【図5】動作画像の蓄積を概略的に示す図を示している。

【図6】本発明の一実施形態により得られた模範的な蓄積画像を示している。

【図7】本発明による装置の第２の実施形態の概略図を示している。

【図8】本発明による方法の第２の実施形態のフローチャートを示している。

【図9】取得された画像フレーム及び対応する蓄積画像を示している。

【図10】取得された画像フレーム並びに身体装着型活動センサからの測定値と画像データから得られた測定値とを比較する様々なグラフを示している。

【図11】動作ホットスポット強度に対するピクセル値のグラフを示している。

【発明を実施するための形態】

【0039】

図１は、人１１０の向き及び／又は位置の自動検出のための本発明によるシステム１００及び装置２の一般的なレイアウトの概略図を示している。システム１００は、人１１０、この例ではベッド１２０の中の患者、即ち、安静姿勢にある人１１０の画像データを取得するための画像化ユニット１を含む。当該画像データは経時的な一連の画像フレームを含む。本発明による装置２は、取得された画像データに基づいて人１１０の少なくとも一部の向き及び／又は位置の自動検出のために提供される。出力インターフェース３は、人１１０の少なくとも一部の検出された向き及び／又は位置に関連する情報を発行するために提供される。

【0040】

画像化ユニット１は、例えば１つ以上の（より頑強な検出及び追跡のための）カメラを含む。例えば、部屋の天井又は壁に取り付けられた１つ以上のビデオカメラが使用される。画像化ユニット１は、例えば、病院の病室内、特に患者のベッド１２０の領域内の視野を捕捉する。

【0041】

装置２は、実質的に、１つ以上のカメラから画像情報を受け取り、その情報を分析して人１１０の少なくとも一部の向き及び／又は位置を検出する処理ユニット（例えばプロセッサ又はコンピュータ）を含むか又はそれによって実現される。

【0042】

出力インターフェース３は一般に、人１１０の少なくとも一部の検出された向き及び／又は位置に関連する情報を発行するように構成され、前もって構成される場合もあれば、ユーザによって変更される場合もある。例えば、出力インターフェースは、音声ベースの情報、視覚ベースの情報、及び／又はテキストベースの情報を発行するように構成される。これは、１種類以上の警報を、例えば臨床スタッフに提供するディスプレイ３０及び／又は通信ユニット３１を含む。従って、出力インターフェース３は、例えば、スマートフォン、ページャ、腕時計などの身体装着型装置などの携帯型ユーザ装置の一部である場合もあれば、ナースステーションのコンピュータ、ワークステーション、又はモニターなどの据え置き型装置の一部である場合もある。また、ディスプレイ３０は、ユーザ（例えば臨床スタッフ）が状況の重大性を判断できるように画像化ユニット１によって取得された１つ以上の画像を表示するためにも使用される。また、警報及び検出された事象の緊急性又は重要性を判断するようにユーザをサポートするために、最後の時間、例えば最後の数時間におけるビデオアクチグラフ統計（人の動きに関する統計）の要約も分析され表示される。

【0043】

装置２の一実施形態の概略図は図２に示されている。特に装置２は、特に画像化ユニット１から人１１０の画像データを得るための画像データインターフェース２０を含む。動作検出器２１は、例えば従来の動作推定又は動作検出アルゴリズムにより、当該画像データ内の動作を検出するために提供される。動作強度検出器２２は、数フレーム分の期間内で頻繁に発生する動作を示す画像領域を表す動作ホットスポットを識別するために提供される。識別された動作ホットスポットに基づいて、人検出器２３は人１１０の少なくとも一部の向き及び／又は位置を検出する。

【0044】

図３は、本発明による方法２００の第１の実施形態のフローチャートを示している。模範的な実施形態として、例えば図１に示されているように病院のベッド内の患者について考慮する。

【0045】

第１のステップＳ１０では、得られた画像データ、特に画像化ユニット１の視野から経時的に得られた一連の画像フレームに基づいて、動作推定（又は動作検出）が最初に実行される。動作ベクトルは、患者１１０が行う動きに関する情報を得るために有用である。動作領域（ｍｏｖｉｎｇ ａｒｅａ）の方向、速度、加速度、及びサイズは、動作ベクトルから推論できるいくつかのパラメータに過ぎない。この情報は、患者の動きを認識し、それを自然な動きと異常な動き（その場合、スタッフに対して通知又は警告が発せられる）に分類する際に大いに役に立つ。

【0046】

画像データ内で検出された動作を表す模範的な動作画像３００は図４に描写されている。患者１１０（この例では患者の脚）の多くの動作が識別されている領域３１０は、当該動作画像３００では、動作が全く識別されていないか又は少ない動作が識別されている他の領域とは異なるコード化が行われる（例えば異なる色、グレー値などによる）。

【0047】

次のステップＳ１２、Ｓ１４では、蓄積された動作画像（本明細書では蓄積画像ともいう）が計算される。これは、画像スタックの全域で動作ピクセル又は動作ベクトル情報（例えばベクトル長）のバイナリ発生、即ち、特定の期間にわたるいくつかの動作画像３０１〜３０６（ステップＳ１２でスタックされたもの）を合計すること（ステップＳ１４）によって達成される。これは図５に概略的に示されている。

【0048】

蓄積された動作画像の模範的な出力画像（即ち、蓄積画像）４００、４０１、４０２、４０３は図６に示されており、同図では、大きい動作を含む領域Ｈは第１のスタイル（例えば第１の色又はグレー値）でコード化され、小さい動作を含む領域Ｌは第１のスタイルとは異なる第２のスタイル（例えば第２の色又はグレー値）でコード化される。

【0049】

動作ホットスポットは、特に大きい動作のブロブのみを考慮に入れ、（例えば画像内の動作強度に基づいて）適応しきい値で蓄積された動作画像のしきい値処理することにより、ステップＳ１６で計算される。患者が鎮静剤を投与されていない場合、看護師／訪問者は画像内に短い時間だけ存在するので、動作のほとんどは患者から発生することになる。これは例えば図６Ｄに見ることができ、同図では、動作ホットスポットＨ１は患者の頭部の動きから発生する動作のほとんどを示し、ホットスポットＨ２は患者の上の看護師の動きを示す。

【0050】

画像内の患者境界の模範的な計算に関する以下の説明のため、画像フレームはある程度側面から患者を描写しており、即ち、患者は実質的に水平方向に描写されているものと想定する。しかしながら、これは必須ではない。例えば、患者は垂直方向又は傾斜方向に描写される場合もあり、それに応じて画像は更に処理する前に回転される。

【0051】

一時的な第１の（この例では上部）患者境界は、検出された動作ホットスポットの上部限界として蓄積された動作画像からステップＳ１８で計算される。例えば、今回上から下に画像を通過する場合、列ごとに画像が分析される。一実施形態では、列ごとにピクセル値が１回は強く１回は弱く低域濾波される。次に、その結果得られる強く低域濾波された信号のグローバル最大値が計算される（患者の最も強いホットスポットに対応する可能性がある）。次に、その結果得られる弱く低域濾波された信号において最小値が検出される（図６Ｄの看護師及び患者の一部のように、高域ピークは強いホットスポットに対応する）。次に、ステップＳ１２で計算された最大値の直前の最小値（ステップＳ１４で計算されたもの）がサーチされる。最後に、ステップＳ１６で計算された最小値の位置の平均（すべての列にわたるもの）は一時的な上部患者境界に対応する。

【0052】

次のステップＳ２０では、質量中心が上部患者境界より下にある状態で、より小さい動作のブロブ（依然として大きいが、初期動作ブロブ要件ほど大きくない）で動作ホットスポットが追加される。種々の強度のホットスポットが存在する。最も強いものは、患者が最も大きく動いた画像領域に属する。その周りには、同じくその患者に属するより弱いホットスポットが存在する。これらのより弱いホットスポットのいくつかは、計算された上部境界の外側に伸びる患者の身体部分に属する。ホットスポットの質量中心が一時的な上部境界より下にある限り、それはその患者に属すると想定される。

【0053】

検出された動作ホットスポットについて新たに形成された上部境界に基づいて、最終的な上部患者境界がステップＳ２２で計算される。一時的な上部患者境界より上に伸びるより弱いホットスポットの上部境界は最終的な上部境界として選択される。この最終的な上部患者境界４１０は例えば図６Ｄに示されている。

【0054】

第２の（この例では下部）患者境界４２０は、最下部の最も強いホットスポットＨ３に基づいてステップＳ２４で計算される。上部患者境界４１０と下部患者境界４２０との間でいくつかのより小さい動作ホットスポットが（上記の説明と同様に）ステップＳ２６で追加される。

【0055】

ステップＳ２８で患者ＲＯＩの左境界４３０及び右境界４４０を計算するために、一実施形態では以下のステップが実行される。いくつかの又はそれぞれの分析済みの蓄積された動作画像について、左（又は右）からの第１のサンプル（即ち、起点）のｘ座標が前の値の平均のｋ倍を超える時に、そのｘ座標が記憶される（左（又は右）からのすべてのサンプルが最後に現在のサンプルになる）。蓄積された動作画像全域の同様の起点のクラスタが計算される。最も大きいクラスタは左（又は右）起点を示す。しかしながら、左境界又は右境界を示すために上記で計算されたエッジ強度は異なるやり方で計算することもできる。

【0056】

図１１は、画像内の行全体（ｘ軸）に関する動作ホットスポット強度に対応するピクセル値（ｙ軸）を示すグラフを示している。左側の第１の小さい最大値は看護師の動作ホットスポットに対応し、第２のより大きい最大値は患者のホットスポットに対応する。換言すれば、第１の矢印（左から）は看護師が随時存在した領域を示す。第２の矢印は患者が強いエッジから開始した場合を示す。境界４１０、４２０、４３０、４４０によって囲まれた（この例では長方形の）患者ＲＯＩ４５０は図６Ｄに示されている。

【0057】

更に、ステップＳ３０では、上部患者境界４１０より上及び下部患者境界４２０より下の看護師の位置の加重平均を使用して、頭部の位置（画像内の左又は右）を決定する。例えば、患者ＲＯＩ４５０より上の動作ホットスポットＨ２は、看護師／訪問者による多くの動きが存在したことを示す。この動きの増加は、加重平均計算において対応する位置に関する重みとして取られる。患者の頭部側面近くで多くの動きが存在することにより（図６Ｄの右側）、頭部位置はＲＯＩ４５０の右側にあると推定される。

【0058】

更に、頭部位置が分かっている場合、ＲＯＩ４５０全体は、平均身体比率に応じて頭部、体幹、及び脚などの大雑把な身体部分に分割することができる（例えば、一番右側の１５％は頭部に割り当てられ、中央の３５％は体幹に割り当てられ、下部５０％は脚に割り当てられる）。

【0059】

図６Ａ〜図６Ｃは、患者ＲＯＩが推定された蓄積画像４００、４０１、４０２の追加の例を示している。図６Ａは３０分にわたる動作ピクセルの蓄積の結果を示している。訪問者（及び／又は患者）は訪問者／看護師領域Ｖによって示されるように３０分のビデオシーケンスにおいて存在し、患者領域Ｐによって示される患者は主に自分の身体の中央及び下半身を動かしている。図６Ｂは３０分にわたる動作ピクセルの蓄積の結果を示しており、そこで患者は主に自分の上半身を動かしている。図６Ｃは３０分にわたる動作ピクセルの蓄積の結果を示しており、そこで患者は主に自分の頭部を動かしている。看護師は患者の上半身の近くで動いて／作業して／やりとりしていた。

【0060】

図７は本発明による装置２’の第２の実施形態の概略図を示している。図２に示されている装置２の第１の実施形態の諸要素の他に、この装置は、定期的に、連続的に、又は随時検出された人１１０の少なくとも一部の検出された向き及び／又は位置に基づいて人１１０又は人１１０の１つ以上の身体部分の動きを経時的に分析するための分析ユニット２４と、検出された動きを自然な動きと異常な動きに分類し、病気重大度スコア推定を決定し、及び／又は分析された動きが情報信号を送出するための所定の基準を超えている場合に情報信号を送出するための評価ユニット２５とを含む。

【0061】

分析ユニット２４は特に患者の全身又は身体部分の活動分析を実行する。筋肉運動情報、例えば夜間の患者の脚の平均活動値は動作推定結果から計算される。データは２４時間にわたり連続的に入手可能である。評価ユニット２５は特に体動分類を実行する。患者にとって危険な状況になり得る病気固有の動き又は異常な動き（パターン）が識別される。更に、病気重大度スコア推定が実行され、これは、活動分析及び体動分類からの出力を考慮に入れることにより患者の状態に関するスコアを臨床スタッフに提供することになる。

【0062】

病院環境では、ビデオ分析を複雑にするいくつかの要因がある。例えば、病室内の訪問者又は臨床スタッフの存在はビデオ画像内の患者の一部分を曖昧にするか又は患者の一部分と重なり合う。この場合、患者のみによる動きのセグメント化が必要である。従って、すべての種類のこのような実用上の問題を解決するために、より高性能の要素をシステムに含める必要がある。提案されている方法３００の対応する実施形態の一例は図８に描写されているフローチャートに示されている。この実施形態では、処理は２つの並列トラックと見なすことができる。一方は動作推定を実行することであり、他方は動作検出に基づくものである。しかしながら、動作推定又は動作検出を使用するための制限は全くなく、患者の動作を検出できる方法であればどのような方法でも使用することができる。

【0063】

ステップＳ１００では、受信した画像データに基づいて動作検出が実行される。病院環境及び／又はビデオシステムにおける実用上の問題、例えばビデオ圧縮アーチファクト又は最適な照明条件ではないことにより、ビデオ品質はあまり良くない可能性がある。このため、動作推定は小さい動き、例えば患者の呼吸動作を検出するのに苦労する可能性がある。この状況では、代わりのものとして動作検出を使用することが提案される。

【0064】

いくつかの動作検出方法が使用可能である。例えば、フレーム差分方法は、２つの連続フレーム間の絶対差の合計（ＳＡＤ）を計算することにより動きを検出する。もう１つの広く使用される手法は相関係数法である。提案されている装置及び方法では、特定の方法に関する特別な要件は全くないが、選択はビデオ品質、例えば圧縮フォーマットに依存する可能性がある。

【0065】

身体部分のセグメント化を実行するステップＳ１０２では患者の胸部領域を検出するために使用される動作検出（ステップＳ１００）からの出力が使用されることが図８から分かるが、これについては以下により詳細に説明する。

【0066】

ステップＳ１０４では動作推定が実行される。動作推定（ＭＥ）は患者による動きを捕捉するためのオプションの１つである。得られた動作ベクトル場は、動作位置、強度、及び方向の指示を提供する。提案されている装置及び方法では、Ａ． Ｈｅｉｎｒｉｃｈ、Ｃ． Ｂａｒｔｅｌｓ、Ｒ．Ｊ． ｖａｎ ｄｅｒ Ｖｌｅｕｔｅｎ、Ｃ．Ｎ． Ｃｏｒｄｅｓ、Ｇ． ｄｅ ＨａａｎによるＯｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ３ＤＲＳ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒｓ ｆｏｒ ｐｉｃｔｕｒｅ ｒａｔｅ ｃｏｎｖｅｒｓｉｏｎ（ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、第５巻、第２号、２６２〜２７４ページ、２０１１年３月）の開示内容に基づくＭＥアルゴリズムが解決策として使用され、これは計算上の複雑さを低く維持しながら正確な動作ベクトルを提供することができる。

【0067】

ステップＳ１０６では患者身体検出が実行され、ステップＳ１０８では看護師／訪問者セグメント化が実行される。病院環境における動的側面の１つは、病室内、従ってビデオ画像内に臨床スタッフ及び訪問者がしばしば存在することである。患者による活動のみが関心があり、分析する必要があるので、他の人の動きは除外しなければならない。それぞれの動作を差別化するために、患者身体検出及び看護師／訪問者セグメント化を実行することが提案される。

【0068】

患者身体検出のステップＳ１０６は、関心領域（ＲＯＩ）、即ち、患者身体領域をサーチするために使用される。これは、本発明による装置及び方法の第１の実施形態に関して上記で説明したように行うことができる。主な概念は、ある期間にわたり動作推定モジュールから得られた動作ベクトルを蓄積することである。患者以外の人もビデオ内に存在する可能性があるので、優勢な動作が患者によるものになるように選択された蓄積時間は十分長いものでなければならない。蓄積されたベクトルの一例は図６Ｄに示されており、これは、患者が主に自分の身体の中央部分及び下半身部分を動かしており、看護師もシーケンス（ホットスポットＨ２によって表される）内に存在する３０分のビデオから得られたものである。蓄積時間を増加し、何らかの後処理を実行することにより、看護師による動作ベクトルは除去される。

【0069】

患者身体領域が決定されている場合、次に看護師／訪問者をセグメント化することが可能である。提案されている方法は、動作履歴情報を保持し、それぞれの発生源を追跡することにより色々な人による動作を差別化することである。これを行うことにより、動作履歴画像を患者履歴画像と看護師／他の人の履歴画像に分離することができる。ここでは看護師／訪問者の画像領域を検出するために、他の方法も適用することができる。

【0070】

ステップＳ１０２では、身体部分セグメント化が実行され、これは第１の実施形態に関して上記で説明したように行われる。身体部分セグメント化ステップは、患者の種々の身体部分を識別するために使用される。頭部、体幹、及び脚などの患者の身体部分は互いに差別化することができる。その結果として、身体部分ごとに動作分析を実行することができ、これは患者の筋肉運動挙動に関するより詳細な動作情報を提供する。更に、種々の身体部分の識別に基づいて、それぞれの身体部分の位置及び向き並びに患者全体の位置及び向きを決定することができる。

【0071】

例えば、患者の脚による動きに関心がある場合、臨床スタッフは過去２４時間にわたるこの身体部分の平均活動水準を調べることができる。この活動分析の他に、体動分類もこのセグメント化情報から大いに恩恵を受けることになる。身体部分位置がすでに分かっている場合、特定の身体部分によって行われた特定の動きパターンを識別することははるかに容易である。

【0072】

身体部分をセグメント化するための種々の手法を適用することができる。単純な方法は、全身領域を比率数でいくつかの部分に分割することであろう。例えば、頭部、体幹、及び脚の比率はそれぞれ１５％、３０％、５５％に設定される。更に、胸部検出に基づくより高性能の方法を使用することができる。その概念は、呼吸動作を検出することにより胸部領域をまず決定することであり、残りの頭部及び脚部は後で分割される。これは図９に描写されており、図９Ａはいくつかの身体部分が強調表示されている取得画像を示しており、図９Ｂは同じ身体部分の動きが強調表示されている対応する蓄積画像を示している。

【0073】

ステップＳ１１０では、活動分析が実行される。患者の動きを分析するための２つの要素のうちの１つである体動分類の他に、身体部分／全身活動水準分析が行われる。これは、患者活動の概要を提供するものであり、患者の臨床条件を決定するための基準の１つとして使用することができる。図１０Ａは、身体部分セグメント化によって導出された脚５１０、体幹５２０、及び頭部５３０という３つの領域が示されている、患者の画像５００の一例を示している。図１０Ｂは種々の活動水準信号を示しており、活動水準信号６００は、手首装着装置（例えば「Ａｃｔｉｗａｔｃｈ」という本出願人の装置）などの活動監視装置から得られ、全身（信号６１０）、体幹（６２０）、脚（６３０）、及び頭部（６４０）のビデオアクチグラフによって得られた活動水準信号と比較される。

【0074】

その利点は図１０ＢのＴ１によって示される期間において明らかに観察され、例えば脚及び頭部による動作については、例えばセンサが患者に装着されていないので、その部分では活動監視装置からの信号（信号６００を参照）が全く入手可能ではなく、依然として信号はビデオによって検出することができる。ビデオ及びビデオアクチグラフ信号（複数も可）の目視検査により、活動監視装置が全く装着されていない他方の腕の動きも正しく検出され、それが体幹活動信号６２０に反映されていることが示されている。期間Ｔ２は、ビデオシステムが活動監視装置で測定された動きも十分検出できることを示している。

【0075】

ここでは、例えば選択された期間における１つの特定の身体部分に関する活動値の平均又は変動、活動の頻度など、種々の活動統計が計算される。この情報は、譫妄、てんかん、パーキンソン、下肢静止不能症などの特定の臨床条件を示すことができる筋肉運動変質の変化が発生しているかどうかを区別するために使用することができる。加えて、これらの活動水準は分類特徴として使用できるので、この筋肉運動分析は体動分類にも貢献する。

【0076】

ステップＳ１１２では、体動分類が実行される。身体活動分析と比較して、動作分類は患者の動きについてより高水準の解釈を提供する。これは、自然な動きと異常な動きとを差別化することができ、特定の動き（パターン）を更に識別することができる。例えば、譫妄の場合、空中つかみ又は皮膚むしりなどの動きは典型的な動きである。これらの特定の動作の検出は患者の譫妄判定に直接貢献することになる。その他の適用例では、パーキンソン又はてんかん発作を示す震えが検出される。この体動認識から得られるその他の利点もある。これは、結果的に危険な状況になり得る何らかの動きを検出するために使用することもできる。例えば、患者がベッドから起床しようとしているか又はベッドから転落しそうな場合、気管内挿入管又は栄養管などが引き抜かれる。提案されている方法及び装置のこの実施形態は医療スタッフに警告メッセージを自動的に送信することができる。

【0077】

分類方法については、この問題に適した任意のタイプの分類器を使用することができる。動作方向、速度、加速度、及び動作領域のサイズなどの動作特徴は動作ベクトルから直接推論することができる。その他の特徴例としては、動きの持続時間及び頻度／反復性を含む。特定の動きが通常は特定の身体部分によって行われることを考慮すると、分類器は身体部分情報から利益を得る。従って、一実施形態では、身体部分ごとに動作特徴を抽出することが提案される。

【0078】

更に、病気重大度スコア推定が行われる。このステップは病気の重大度に関するスコアを提供する。これは、ビデオ分析のデータを組み合わせることにより患者の健康状態を推定する。図７に示されている装置の提案されている実施形態では、出力はビデオアクチグラフ及び体動分類（即ち、関心がある場合に臨床条件に関連する特定の動きの検出）に基づくものである。しかしながら、これはビデオに限定されず、入手可能であれば、その他の補足情報をすべてこのステップに供給することができ、最終的な決定のための考慮に入れることができる。これは、他のセンサモダリティによって測定されたデータ、臨床試験／スクリーニング、又は臨床スタッフの観察である可能性がある。

【0079】

関心のある臨床条件を示す臨床条件の変化が検出された時に、又はベッドから起床しようとしているなど、患者にとって危険なものになり得る動きが検出された時に、警報が発せられる。スコアが事前設定のしきい値を超えると、医療スタッフは自動的に警告メッセージを受信する。臨床スタッフは自分が関心のある警報や、どの病気／障害を検出しなければならないか又はどの病気／障害の優先順位が最も高いかを設定することができる。

【0080】

上記で説明した要素及びステップは上記の通りに限定されるわけではない。より良い性能を得るために、より高性能の要素及びステップが追加され、その他の組み合わせが行われる。

【0081】

患者以外の人がビデオ内にしばしば存在するので、時には障害物のために患者の動きをカメラによって捕捉することができない。患者のみが見えるように（例えば、患者の上に）カメラを設置することが可能ではない場合、異なる観察方向から患者を画像化するために病室内に第２のカメラが設置される。この場合、より良い観察条件を得るために、カメラの同期及びカメラの選択など、余分なビデオ処理が必要になる可能性がある。

【0082】

他の実施形態では、測定が開始された時又は状況が大きく変化した時に病院スタッフから入力を取得することにより、画像内の患者の位置及び患者の向きに関する事前知識が使用される。

【0083】

ベッドの位置又はベッドの角度は患者の位置が変更された結果としてまた身体部分セグメント化の結果として変更することができる。その場合、患者身体検出モジュールを更新しなければならない。追加の一実施形態として、ベッドの位置又はベッドの角度の変化を知らせるために自動ベッド検出を実現することができる。

【0084】

要約すると、本発明は、特に自動連続ビデオ体動分析が実行される病院内の種々の病棟（例えばＩＣＵ、急患治療設定、一般病棟、老人病棟）又は看護センター、高齢者介護施設、ＮＩＣＵ、家庭における病院内の患者監視のために、様々な領域で適用可能である。主な適用分野は、譫妄もしくは例えば譫妄に関連する異常な動き／挙動を伴うその他の病気の早期発見、ＩＣＵにおける自動ビデオ監視が適用される場合、家庭、高齢者介護施設、高齢者看護センターにおける介護者への警告を引き起こすための（健康又は不健康な）高齢者の監視である。

【0085】

本発明は図面及び上記の説明において詳細に例示され記載されているが、このような例示及び説明は制限的ではなく例証となるもの又は模範的なものと見なすべきであり、本発明は開示されている諸実施形態に限定されない。開示されている諸実施形態以外の変形例は、図面、開示内容、及び特許請求の範囲の検討により、請求されている発明を実践する際に当業者が理解し実行できるものである。

【0086】

特許請求の範囲では、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語はその他の要素又はステップを除外せず、「ａ」又は「ａｎ」という不定冠詞は複数であることを除外しない。単一の要素又はその他のユニットは、特許請求の範囲に列挙されている幾つかの項目の機能を遂行する。特定の手段が互いに異なる従属クレームに列挙されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。

【0087】

コンピュータプログラムは、その他のハードウェアとともに又はその一部として供給される光学記憶媒体又はソリッドステート媒体などの適切な非一時的媒体上で記憶及び／又は配布されるが、インターネット或いはその他の有線又は無線通信システムなどを介してその他の形式で配布される場合もある。

【0088】

特許請求の範囲内の参照符号は範囲を限定するものと解釈してはならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】