特許 6392983 患者モニタリングシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6392983

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】患者モニタリングシステム及び方法

(51)【国際特許分類】

   A61B 5/00 20060101AFI20180910BHJP

   A61B 5/11 20060101ALI20180910BHJP

   G08B 25/00 20060101ALI20180910BHJP

   G08B 25/04 20060101ALI20180910BHJP

   G08B 21/02 20060101ALI20180910BHJP

【ＦＩ】

   A61B5/00 102A

   A61B5/11 230

   G08B25/00 510M

   G08B25/04 K

   G08B21/02

   A61B5/00ZDM

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2017-519290(P2017-519290)

(86)(22)【出願日】2015年10月6日

(65)【公表番号】特表2018-503409(P2018-503409A)

(43)【公表日】2018年2月8日

(86)【国際出願番号】EP2015073040

(87)【国際公開番号】WO2016058866

(87)【国際公開日】20160421

【審査請求日】2018年1月31日

(31)【優先権主張番号】14188581.4

(32)【優先日】2014年10月13日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ハインリッヒ，アドリーネ

(72)【発明者】

【氏名】ファルク，トーマス

(72)【発明者】

【氏名】ファン デル ヘイデ，エステル マルヤン

(72)【発明者】

【氏名】シエ，インロン

(72)【発明者】

【氏名】ミュラー，フランク

【審査官】 門田 宏

(56)【参考文献】

【文献】 特開２０００−１０５８８５（ＪＰ，Ａ）

【文献】 特開２００６−２２３６５０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２３５９６９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／２２

Ｇ０８Ｂ １９／００−２５／００

(57)【特許請求の範囲】

【請求項1】

ベッド内の患者をモニタリングする患者モニタリングシステムにおける使用のためのビデオ解析サブシステムであって、
ビデオカメラによって取り込まれる前記患者のビデオ画像を受信する手段と、
前記患者による前記ベッドの近傍に配置される機器との接触を検出するために前記機器と関連付けられるセンサのセットから得られるセンサ信号を受信する手段とを含み、
前記ビデオ解析サブシステムは、前記ビデオ画像から前記患者の身体部分の位置を決定し且つ追跡するように構成され、且つ、前記ビデオ画像から前記患者の前記身体部分の位置を決定し且つ追跡するときに前記センサ信号を使用するように構成される、
ビデオ解析サブシステム。

【請求項2】

前記センサ信号に基づき、前記患者の前記身体部分が位置するビデオ画像領域を特定するように構成される、請求項１に記載のビデオ解析サブシステム。

【請求項3】

前記患者の前記身体部分の動きが異常であると見做されるか或いは危険を提示するときに、警報を創り出すように更に構成される、請求項１に記載のビデオ解析サブシステム。

【請求項4】

前記患者の前記身体部分は、両手、両腕及び両脚のうちの１つ又はそれよりも多くを含む、請求項１に記載のビデオ解析サブシステム。

【請求項5】

ベッド内の患者をモニタリングする患者モニタリングシステムであって、
前記患者のビデオ画像を取り込むビデオカメラと、
前記患者による接触を検出するために並びにセンサ信号を得るために前記ベッドの近傍において機器と関連付けられるセンサのセットと、
前記取り込むビデオ画像及前記検出するセンサ信号を受信するように構成される請求項１に記載のビデオ解析サブシステムとを含む、
患者モニタリングシステム。

【請求項6】

前記センサのセットは、
− 前記患者がディスプレイスクリーンに触れたときを検出する接触センサ、
− 前記患者がベッド手摺りに触れたときを検出する接触センサ、
− 指クリップセンサ、及び
− 患者が医薬又は吸気給送システムに触れたときを検出するセンサ
のうちの１つ又はそれよりも多くを含む、
請求項５に記載の患者モニタリングシステム。

【請求項7】

ビデオ解析サブシステムが行う、ベッド内の患者をモニタリングする患者モニタリングシステムにおける使用のためのビデオ解析方法であって、
ビデオカメラによって取り込まれる前記患者のビデオ画像を受信すること、
前記患者による前記ベッドの近傍に配置される機器との接触を検出するために前記機器と関連付けられるセンサのセットから得られるセンサ信号を受信すること、
前記ビデオ画像から前記患者の身体部分の位置を決定し且つ追跡すること、及び
前記ビデオ画像から前記患者の前記身体部分の位置を決定し且つ追跡するときに前記センサ信号を使用することを含む、
ビデオ解析方法。

【請求項8】

前記検出される接触に基づき、前記患者の前記身体部分が位置するビデオ画像領域を特定する、請求項７に記載のビデオ解析方法。

【請求項9】

前記患者の前記身体部分の動きが異常と見做されるか或いは危険を提示するときに、警報を創り出すことを含む、請求項７又は８に記載のビデオ解析方法。

【請求項10】

患者モニタリングシステムが行う、ベッド内の患者をモニタリングする患者モニタリング方法であって、
前記患者のビデオ画像を取り込むこと、
前記患者による前記ベッドの近傍における機器との接触を検出し、前記ベッドの近傍において器具の部品と関連付けられるセンサのセットでセンサ信号を受信すること、及び
前記取り込むビデオ画像及び前記検出するセンサ信号に基づき請求項７に記載のビデオ解析方法を実施することを含む、
患者モニタリング方法。

【請求項11】

前記接触を検出することは、
− 前記患者がディスプレイスクリーンに触れたときを検出すること、
− 前記患者がベッド手摺りに触れたときを検出すること、及び
− 前記患者が医薬又は吸気給送システムに触れたときを検出すること
のうちの１つ又はそれよりも多くを含む、
請求項１０に記載の患者モニタリング方法。

【請求項12】

前記機器の前記部品との検出される接触に基づき、前記患者以外の人々の存在を検出することを更に含む、請求項１０又は１１に記載の患者モニタリング方法。

【請求項13】

コンピュータプログラムコード手段を含むコンピュータプログラムであって、
前記コンピュータプログラムコード手段は、当該コンピュータプログラムがコンピュータ上で作動させられるときに、請求項７乃至９のうちのいずれか１項に記載のビデオ解析方法を行うように構成される、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、特に患者が治療のためにベッド、例えば、病院ベッドにいるときの、患者のモニタリング（監視）に関する。

【背景技術】

【0002】

従来、多数の医療スタッフが患者を訪問するときに、病院患者の運動挙動(motoric behavior)が観察される。医療スタッフが、以前の訪問と現在の訪問との間の運動挙動の変化の検出に気付くのは、しばしば困難である。特に、忙しいときには、前の観察を思い出すのは困難である。この種の検査は、運動挙動の変化によって明らかにされる疾病の始まり又は患者の動きによって誘発される重大な状況のような、重大な問題の検出に無視し得ない遅れを持ち込む。

【0003】

この問題に対処するために、患者の自動ビデオベースモニタリングが提案されている。それは比較的新しい主題であり、開発されたツールは、それらの揺籃期にある。

【0004】

カメラベースビデオモニタリングは、前途有望なアプローチであり、臨床状況の変化の自動検出の機会をもたらす。理論上、それは邪魔にならない方法において全身運動解析を可能にする。よって、連続的且つ自動的なビデオモニタリングは、身体装着センサに比べて強化された情報を提供する機会をもたらすと考えられる。

【0005】

患者動作を認識し且つ分類するために、自然な又は不自然な動きの特徴(features)をビデオ画像から抽出することができ、次に、それらを分類器(classifier)に提供することができる。患者モニタリングのための特徴抽出は、一般的に、全身の動きに基づき全体的に行われる。しかしながら、特定の身体部分に基づく動作分類は、より一層有意な情報をもたらし得る。何故ならば、特定の動きは、しばしば特定の身体部分によって行われるからである（例えば、頭を継続的に左から右に動かすことは不自然であるのに対し、食事中の反復的な手の動きは不自然でない）。

【0006】

ビデオ解析方法は、病院環境の動的な特性(aspects)に対処しなければならない。これらは、ベッド角度の変化、ベッドの背もたれの傾き、患者の部分を遮断するＴＶスクリーンのような物体又は人物、ベッド内の患者の異なる横たわり位置、及び患者の身体部分を覆う毛布のような、シーン変動(scene variations)を引き起こし得る。これらの挑戦は、典型的な身体セグメント化方法及び患者モニタリングのための身体部分の特定を含むことを困難にする。

【0007】

例えば、毛布の存在は横たわっている患者に人間モデルを適合させるのを困難にする。シーン変動も（エッジ／勾配解析、輝度値解析、及び物体検出のような）身体部分セグメント化についての現在のビデオ解析方法を制約する。

【0008】

ビデオカメラ以外のセンサも、患者の運動挙動をモニタリングするために提案されている。一般的に、それらは特定の出来事（例えば、ベッドから落ちる患者）を検出する特殊センサである。特殊な事象を検出するために特殊センサを用い得るが、ビデオデータは、情報においてより一層豊富である。上で特定されたビデオ認識と関連付けられる問題を少なくとも部分的に解決し得るならば、それは、患者の顔及び両手を検出し且つ動作及び物体との相互作用を解析し或いは一般的な挙動を認識する、可能性をもたらす。従って、シーン変動及び閉塞(occlusion)の問題に対処し得るならば、ビデオセンサシステムは、患者が行う異なる種類の動きを自動的に解析し且つ認識する機会をもたらす。

【0009】

患者又は患者の両手のような特定の身体部分の動きをモニタリングすることは、患者の臨床状態についての情報をもたらし得ることも認識されている。例えば、患者がベッドから落ちるときをモニタリングすることに加えて、患者の動きから導き出し得る医療スタッフのための沢山の追加的な関連情報がある。１つの例は、患者が医療機器（例えば、気管内チューブ又は補給チューブ）を引っ張っていることの表示である。幾つかの患者動作は、空を掴む動き(grabbing in the air)又は譫妄若しくは癲癇性発作等の場合における両脚の反復的な動きのように、疾病特異である。

【0010】

上述のように、患者がベッドから出ているか否か或いはベッドから落ちる危険にあるか否かを検出することを目標とする様々なシステムがある。例えば、ＷＯ２０１２／０４０５５４は、患者がベッドから出ようとしているときを検出するという１つの目標を有する、カメラベース患者モニタリングシステムを開示している。例えば、ベッドのサイドレールが上がっているか或いは下がっているかを検出するために、患者部屋内の機器についての機器設定も監視されることがある。

【発明の概要】

【発明が解決しようとする課題】

【0011】

これらのシステムは限定的な情報をもたらし、例えば、具体的な医療状態を示すことがある患者の動きが特定されることを可能にしない。よって、ビデオモニタリングシステムに加えて追加的なセンサを用いることは知られているが、寝たきりの患者の環境においてビデオモニタリングシステムを用いることには依然として問題がある。

【課題を解決するための手段】

【0012】

本発明は請求項によって定められる。

【0013】

本発明の態様によれば、請求項１に定められるようなビデオ解析サブシステム及び請求項５に定められるようなベッド内の患者をモニタリングする患者モニタリングシステムが提供される。

【0014】

これらのシステムは、手及び腕のような患者の身体部分の場所の知識並びに患者が相互作用することがある機器の位置の知識を活用する。この追加的な相互作用情報を用いて、自然な動きからの異常を分類するのを支援し得る。例えば、エンターテインメントスクリーンとの相互作用は自然であるのに対し、医療機器を継続的に装着することは異常であり得る。反復的に空中で掴むことは、特定の医療状態を表すことさえある。

【0015】

機器は所定の位置に固定されてよく、その場合、それらの位置は設定プロセスの間にビデオ解析サブシステムに知られている。機器は、代わりに、ディスプレイスクリーンのように可動であってよい。この場合、機器の場所はビデオ解析サブシステムによって追跡されてもよく、或いはそれらの実時間位置が他の方法によってビデオシステムに提供されてよい。

【0016】

患者による相互作用があるときには、患者が相互作用している物体の既知の場所に基づき、両手及び両腕が位置する画像区域を特定することが可能である。これを用いて、画像区域を追跡して反復的な手及び腕の動きを実時間で又は後続的に解析するのを支援し得る。

【0017】

このようにして、病院（又は他の介護機関）部屋設備がビデオモニタリングシステムと通信し得る接続システム(connected system)が定められる。これらの設備は、例えば、スクリーン、ベッドレール、患者の体にあるセンサのような医療デバイス、チューブ、及び静脈ライン(intravenous lines)を含んでよい。

【0018】

ビデオ解析サブシステムは、例えば、センサ信号に基づき、患者の身体部分が位置するビデオ画像領域を特定するよう構成されてよい。このようにして、ビデオ解析サブシステムは、手又は腕（又は他の身体部分）場所を正しく追跡し得る信頼度(confidence)を増大させ得る。

【0019】

センサのセットは、患者がディスプレイスクリーンに触れたときを検出する接触センサを含んでよい。

【0020】

その場合、スクリーン付近の患者の手の反復的な行ったり来たりの動作は、例えば、タッチスクリーンのための或いはスクリーン位置又は設定を調節するときの、通常の挙動として分類されてよい。

【0021】

センサのセットは、患者がベッド手摺りに触れた時を検出する接触センサを含んでよい。

【0022】

これは患者がベッドから出ようとしていることの警告をもたらすために用いられ得るが、追加的に、それは患者の手の場所が手摺りの区域にあるものとして推定されるのを可能にして、身体部分検出の信頼性(reliability)を再び向上させる。

【0023】

センサのセットは、例えば、パルス酸素濃度計（ＳｐＯ２）のための、指クリップセンサを含んでよい。

【0024】

センサのセットは、患者が医薬又は吸気給送システムに触れたときを検出するセンサを含んでよい。

【0025】

これは患者がそれらの供給ラインを掴んでいることを検出するために用いられてよく、それは警告を生成し得る。

【0026】

可能なセンサのこのリストは網羅的でない。実際は、あらゆる接続デバイス又は物体からのセンサを用いて、患者が、カップ、ボトル、スイッチのような、デバイス又は物体と相互作用することを検出し得る。

【0027】

ビデオ解析サブシステムは、患者の身体部分の動きが異常であると見做されるか或いは危険を提示するときに、ビデオ解析に基づき警報を創り出すように構成されるのが好ましい。

【0028】

ビデオ解析サブシステムは、例えば、両腕及び両脚を含む患者の身体部分の位置を決定し且つ追跡するためにある。よって、両手に加えて、両腕及び／又は両脚の追跡もあってよい。

【0029】

本発明の他の態様によれば、請求項７に定められるようなビデオ解析方法及び請求項１０に定められるようなベッド内の患者をモニタリングする患者モニタリング方法が提供される。

【0030】

これらの方法は、患者の近傍における機器との患者相互作用についての情報を用いて、ビデオ解析サブシステムの性能を改良し、増大させられた量の有用な情報がビデオ解析から導き出されるのを可能にする。ビデオ解析サブシステムは、例えば、検出される相互作用に基づき、患者の身体部分が位置するビデオ画像領域を特定するために用いられる。

【0031】

相互作用を検出することは、患者がディスプレイスクリーンに触れたときを検出すること、患者がベッド手摺りに触れたときを検出すること、又は患者が医薬給送システムに触れたときを検出することを含んでよい。

【0032】

方法は、機器との検出される相互作用に基づき、患者以外の人々の存在を検出することを更に含んでよい。これらの他の人々は、看護師又は客であり得る。この情報は、患者の追跡及び位置特定(localization)を更に支援し得る。

【0033】

本発明は、コンピュータプログラムコード手段を含むコンピュータプログラムであって、コンピュータプログラムコード手段は、コンピュータプログラムがコンピュータで作動させられるときに、方法を行うように構成される、コンピュータプログラムも提供する。

【0034】

次に、添付の図面を参照して、本発明の実施例を詳細に記載する。

【図面の簡単な説明】

【0035】

【図1】本発明の１つの実施例に従った患者モニタリングシステムを示している。

【図2】病院ベッドのための使用におけるシステムを示している。

【図3】ビデオ信号処理をより詳細に示している。

【図4】システムの使用中の異なるステップを示している。

【図5】システムの使用中の異なるステップを示している。

【図6】システムの使用中の異なるステップを示している。

【図7】ビデオ認識アルゴリズムを実施するために用いられるコンピュータを示している。

【発明を実施するための形態】

【0036】

本発明は、ベッド内の患者をモニタリング（監視）する患者モニタリングシステムを提供する。患者のビデオ画像を取り込むために、ビデオカメラが用いられる。両手を含む患者の身体部分の位置を決定し且つ追跡（トラッキング）するために、ビデオ解析が用いられる。この解析は、ベッドの近傍における機器(pieces of equipment)で患者による相互作用(interaction)を検出するセンサを用いることによって強化される。

【0037】

本発明をあらゆる介護施設(care-giving establishment)に適用することができ、或いは家庭におけるケアの提供にさえも適用することができる。ほんの一例として、以下の記述は病院にのみ言及する。

【0038】

このアプローチは、病院部屋設備(hospital room facilities)がビデオモニタリングシステムと本質的に通信することを意味する。病院部屋設備とビデオモニタリングシステムとの間で情報を交換することによって、ビデオコンテンツ、例えば、患者スクリーンがどこに配置されているか、両腕／両手がどこにあるか、身体センサがビデオ画像内のどこに配置されているかについて、より多くの知識を得ることができる。

【0039】

この情報は、患者動作を不自然又は自然として分類するために用いられ得る。それは画像中の両手及び／又は両腕の場所の特定を強化するために用いられ得るし、将来的な画像中のそれらの場所を追跡するために用いられ得る。その場合、最終的な結果は不自然な又は自然な動きの分類の向上である。

【0040】

図１は、本発明の１つの実施例に従った患者モニタリングシステム１０を示している。

【0041】

システムは、患者が治療の期間中にベッドにいるときに、患者のビデオ画像を取り込む、少なくとも１つのビデオカメラを含む。図１は、２つのビデオカメラ１２，１４を示している。これらは、両手を含む患者の身体部分の位置を決定し且つ追跡するために、それらのビデオ出力をビデオ解析システム１６に提供する。この追跡情報は、出力１８として提供される。この出力は、解釈されるべき追跡情報の形態にあり得る。しかしながら、システムは、患者の身体部分の動きが異常と見做される或いは危険を提示するときに、追加的に（又は代替的に）ビデオ解析に基づく警報１９を内部的に生成し得る。

【0042】

用いられるビデオ追跡アルゴリズムは、従来的である。例えば、ビデオ追跡アルゴリズムの実例は、以下の通りである。
平均シフトトラッキング（例えば、IEEE Transactions on Systems, Man and Cybernetics-Part B, Vol. 39(6), pp. 1578-1589(2009))中のJ. Wang, and Y. Yagiによる「Adaptive Mean-Shift Tracking With Auxiliary Particles」を参照）及び
（カルマンフィルタ及び粒子フィルタ（例えば、IEEE Transactions on Systems, Man and Cybernetics-Part B, Vol. 41(1), pp. 26-37(2010))中のJ. M. del Rincon et al.による「Tracking Human Position and Lower Body Parts Using Kalman and Particle Filters Constrained by Human Biomechanics」を参照）。

【0043】

ビデオ解析サブシステムの性能を改良するために、関連付けられるセンサ２０，２２，２４のセットが提供される。各センサは、患者による相互作用を検出するために、ベッドの近傍において１つの機器と関連付けられる。センサ信号をビデオ解析サブシステムに提供して、患者の身体部分の位置を決定し且つ追跡するのを支援する。

【0044】

センサは、如何なる修正も伴わずに、それらの出力をビデオ追跡アルゴリズムに提供する。次に、ビデオ追跡システムは、ビデオデータ及びセンサデータを組み合わせてそれらを一緒に処理する融合ブロック(fusion block)を含む。

【0045】

図２は、使用中のシステムを示している。患者３０が病院ベッド３１内に示されている。ベッドサイドレール３２，３４、エンターテインメントスクリーン３６、医薬給送システム３８、及び呼吸ガス給送システム４０を含む、機器の様々な部品(pieces)が、患者の近傍にある。これらの各々は、それぞれのセンサ３２ａ，３４ａ，３６ａ，３８ａ，４０ａと関連付けられる。これらのセンサは、使用者による相互作用を検出する。それらは、例えば、容量接触検知(capacitive touch sensing)を用いる、タッチスクリーンを例えば含んでよい。

【0046】

しかしながら、機器の異なる部品のために異なるセンサを用い得る。例えば、エンターテインメントスクリーン３６のために、検知は、チャネル変更、コントラスト又は明るさ変更、又は任意の他の使用者入力変更のような、設定の変化がスクリーンに行われたことを示す、スクリーンによって提供される制御信号に基づいてよい。接触センサをスクリーンに関連して用いて、例えば、スクリーン位置の調節が患者によって行われるときを示してもよい。

【0047】

医薬給送システム３８又は吸気給送システム４０のためのセンサは、例えば、患者がシステムと相互作用している(interacting)ことを再び示す、検出される引張力の力検知に基づいてよい。

【0048】

図１に示されるように、センサ情報は、ビデオ解析サブシステム１６に提供される。

【0049】

機器との患者の相互作用の検出を用いて、例えば、近似の手の場所をビデオ解析サブシステムに提供し得るよう、機器の一部は固定的な場所を有する。固定的な場所を、インストレーション手順の部分として、システム内にプログラムし得る。スクリーン３６のような移動可能である機器について、実時間において場所を更新してよい。例えば、ビデオ処理は、その特性の大きさ及び形状に基づき、スクリーン場所を容易に特定し得る。

【0050】

ビデオ解析サブシステムが特定の種類の機器を認識するのを助けるよう機器上にＱＲコード（登録商標）（「急速応答」(“Quick Response”)２Ｄバーコードのようなマーカがあってよい。ＲＦＩＤ検知のような、他の追跡システムを用いて、物体の場所を決定してよい。

【0051】

センサは、センサからの異常な信号に基づき警報を発してもよい。これらは、患者相互作用を検出することを特に目標としていないが、他のモニタリング目的のために用いられる、情報を提供してよい。例えば、指クリップ又はＥＣＧ電極を含むセンサが提供されてよい。ＥＣＧ電極のようなセンサが異常な挙動を検出するならば、これは患者相互作用（電極を引っ張ること）に起因することがあり、或いはそれは異常な心臓挙動のような医療問題に起因することがある。この出来事をフラグする（旗で警告する）ことによって、ビデオ画像を解析し得るよう、それぞれのセンサの近傍において何かが起こっているかもしれないことをビデオシステムに警告し得る。

【0052】

センサが、機器品目との相互作用があったこと並びにその情報がビデオシステムに伝えられたことを示すとき、ビデオシステムは、次に、画像動作が起こった場所を確認し得る。動作は、機器品目の近くに存在することが予期される。グレースケール／ヒストグラム／エッジ／ＳＩＦＴ（スケール不変特徴変換）特徴特性又は他の画像特徴が、機器を特定するのに不十分であるならば、（動作が存在しない）他のフレームとのフレーム区別(frame differencing)は、新しい場所の周りで高い検出率を生むはずである。このようにして、持ち運び可能な品目(portable item)が前に他の場所にあったとしても、場所情報を精緻化することが可能である。

【0053】

よって、システムは、手及び腕のような患者の身体部分の場所の知識並びに患者が相互作用することがある機器の位置の知識を活用する。

【0054】

患者がスクリーンの近傍において反復的な動きを行うならば、これは完全に普通であることがある。患者が空中で又は医薬又は吸気給送システムの近傍において反復的な動きを行っているならば、これは一層大きな警報の原因であることがある。

【0055】

図３は、ビデオ解析サブシステム１６によって実施される関数の１つの実施例を示している。システムは、この実施例において、ビデオ画像中の両手及び両腕の場所を決定し且つ追跡するためにある。

【0056】

ビデオ信号Ｖ１及びＶ２は、運動推定又は検出システム５０に提供される。これは運動検出情報５１を位置特定ユニット５２(localization unit)に提供し、位置特定ユニット５２は、検出される運動が起こっているビデオの領域を特定する。システム５０は、センサからの情報を補完するために、ビデオ画像中の両手又は他の身体部分を特定するコンピュータビジョン技法も含み得る。領域情報は５３として示されており、それは運動が起こった領域又は特定の身体部分の特定がある領域に関する。位置特定ユニット５２は、センサ信号Ｓ１，Ｓ２，Ｓ３も入力として受信する。患者が患者の近傍において１つの機器と相互作用するとき、関連付けられるセンサ信号は、接続ネットワーク(connected network)に信号で知らせて、１つの機器が触れられたこと又はその他の方法で用いられたことを示す。

【0057】

次に、対応するビデオ画像に関連する位置特定情報５３並びに運動検出情報５１を、両手で行われることが知られている相互作用についての、両手の既知の場所に基づき、より効率的に処理し得る。

【0058】

このアプローチは、両手が（例えば）高い信頼度(confidence)で検出されるのを可能にし、次に、それらが追跡されるのを可能にする。次に、それらの運動挙動(motion behavior)を解析して、動作が不自然か或いは自然かの結論を出し得る。機器品目が触れられたときを知ることは、両手がどこにあるかについての情報をもたらし、次に、それを、例えば、運動検出を用いて、画像内に特定し得る。

【0059】

追加的なセンサ入力の使用は、システムが他の人（例えば、看護師）が画像中にあるときを検出し得る。例えば、ベッドサイドモニタのボタンが押されるならば、看護師が室内にいることを結論付け得る。室内のベッドサイドモニタの場所を知るならば、患者によって引き起こされる動きの解析から看護師の動きを除外し得る。

【0060】

よって、システム及び方法は、機器との検出される相互作用に基づき患者以外の人々の存在を検出することを含んでよい。一般的に、これは患者区域の外側に（即ち、ベッドに横たわっている患者が到達可能でない患者区域の外側に）センサを有することによって実施され得る。これらのセンサがアクティブ化されるときに、患者以外の人はおそらく画像中におり、これらの（複数の）他の人からの動きを無視し得る。

【0061】

運動履歴ユニット５４が、時間に亘り、位置特定情報５３、運動検出情報５１、並びにセンサ信号を格納する。これは追跡のために場所を更新することを可能にし、反復的な動きが認識されるのを可能にする。これは手又は腕の場所の正しい検出の信頼度が増大させられるのを可能にする。手又は腕の場所を計算するときに、これを用いてシステムをより頑丈(robust)にし得る。ユニット５６は、手又は腕区域の信頼度の更新をもたらし、それは検出結果がどれほど確実であると考えられ得るかを示す。

【0062】

例えば、機器品目との相互作用が信号で知らされるとき、両手が存在する画像区域を見出し得る信頼度は高い。然る後、手は追跡され、動きが解析される。後続の処理ステップにおいて、両手の場所は余り正確でなくなることがある。他の相互作用が信号で知らされ、両手の追跡がデバイスに近い画像区域内に存在する両手をもたらすとき、再び、２つの相互作用間の手の動きが正しく見出されたという高い信頼度がある。

【0063】

場所がひとたび確定されると、ユニット５８によって両手／両腕を追跡し得る。これは手又は腕追跡信号Ｔｒｋを生成する。これは解釈ユニット６０によって警報Ａｌｔを生成するよう解釈され得る。よって、手又は腕の場所に関する情報を用いて、警報を生成する異常な動きの自動分類アルゴリズムを改良し得るのに対し、自然の動きは無視される。具体的には、手の場所に関するより詳細な情報が知られ、より良好な追跡を実施し得る。

【0064】

使用者が相互作用するデバイス及び相互作用の種類についての知識は、解釈ユニット６０によって自然な又は不自然な動きを分類することにおいて利益を享受し得る。幾つかのデバイスは、自然な状態において以外で相互作用される可能性が高い。例えば、コンピュータスクリーンを介してｅメールを書くことは、認識され得る典型的な動作パターンをもたらす。

【0065】

図４乃至６は、用いられる方法を図式的に示している。それらはベッド３１内の患者３０を示しており、患者の上にディスプレイ３６を備える。

【0066】

図４において、患者３０の両腕は動いているが、スクリーンとの相互作用は未だない。領域７０(region)は、ビデオ解析サブシステムによって動きが検出される区域(area)を示している。図５において、患者の手は、スクリーンに触れており、スクリーンは、スクリーンが触れられたことをビデオ解析サブシステムに伝える。

【0067】

ビデオ画像中の動いている区域が特定されることができ、過去の動きに基づき、手の区域及び（スクリーンが動かされるならば）スクリーンの区域が、減少させられた区域７０によって示されるように、より大きな精度及び／又は信頼度で特定され得る。図６では、手及び腕の場所の以前の知識を活用して、手の位置の引き続きの追跡がより正確に行われる。

【0068】

本発明は、病院部屋設備がビデオモニタリングシステムと通信するシステムを提供することが、上の記述から明らかであろう。どのデバイスが相互作用されているかに関する情報の伝達は、ビデオ画像中の以下の情報、即ち、
− 画像中の医療器具の場所
− 画像中のエンターテインメント設備の場所
− 機器が両手及び両腕を用いて作動させられる可能性が最も高いときの画像中の両手及び両腕の場所
を引き続き自動的に特定するのに役立ち得る。

【0069】

これは、不自然又は自然のような、現在の動きの改良された分類をもたらすために用いられてよい。手又は腕の場所のより正確な検出は、更なる追跡がより確実であることを可能にする。その場合、この追跡は、両腕又は両手の動きに基づく不自然な又は自然な動きの改良された分類を可能にする。

【0070】

室内の機器の場所は、例えば、ビデオ映像(video footage)を表すスクリーン上の区域を印すことによって医療スタッフによって初期設定されてよい。大部分の時間、（患者に取り付けられる医療器具を除く）室内の機器は静止的であり、動いていない。例えば、スクリーンは、彼又は彼女がそれを使用するのを欲する時間の始まり又は終わりに患者に向かって或いは患者から離れる方向に動かされるだけである。よって、画像の履歴を用いることによって並びに静止的な部分を確認することによって、テンプレートをビデオ画像中の全ての機器から自動的に構築し得る。

【0071】

センサを用いて検出される相互作用も考慮に入れるとき、機器の正確な場所を自動的に検出し得る。

【0072】

多くの追加的な種類のセンサが用いられてよいことに留意のこと。正に、患者がデバイス又は物体と相互作用するときを検出するよう、センサをいずれのデバイス又は物体の上にも設け得る。特異に特定可能な埋込みコンピューティングデバイスを用いてデバイスを相互接続する可能性は、「インターネット・オブ・スィングス」(“Internet of things”)として知られる技術の分野において知られている。

【0073】

臨床スタッフは、例えば、正しい取付けを確認するために、静脈ライン(intravenous lines)、補給チューブ(feeding tubes)等のような、医療器具と相互作用することが必要なことがある。更に、エンターテインメントスクリーンは、患者によって用いられてよいのみならず、患者を助ける臨床スタッフ又は訪問者によっても用いられてよい。これらの状況において他者の動きが患者の動きと混同されないことを保証するために、画像中の臨床スタッフ又は他の人たちの動作履歴も追跡し且つ利用し得る。

【0074】

本発明は、病院内の多くの異なる種類の病棟（集中治療、救急処置、一般病棟、老人病棟）のための患者モニタリングシステムにおいて適用可能である。それは養護施設又はリハビリセンタにおいても用いられ得るし、在宅医療モニタリングシステムにおいても用いられ得る。

【0075】

異常な動作又は挙動を伴う譫妄又は他の疾病の早期の検出のために、例えば、自動的且つ連続的なビデオ動作解析が用いられてよい。患者が静脈ラインのような医療装置と相互作用するとき、早期の警告を提供し得る。患者が、例えば、ベッドレールとの相互作用に基づき、ベッドから出ようとしているときに、早期の検出を提供し得る。

【0076】

コントローラによって作動させられるソフトウェア中でビデオ解析を本質的に行い得る。

【0077】

図７は、コンピュータ６００がどのように用いられることがあるかの実施例を例示している。上で議論した様々な動作は、コンピュータ６００の能力(capabilities)を利用してよい。

【0078】

コンピュータ６００は、パソコン（ＰＣｓ）、ワークステーション、ラップトップ、携帯情報端末（ＰＤＡｓ）、パームデバイス、サーバ、記憶装置、及び同等物を含んでよいが、それらに限定されない。一般的に、ハードウェアアーキテクチャに関して、コンピュータ６００は、ローカルインターフェース（図示せず）を介して通信的に連結される、１以上のプロセッサ６１０と、メモリ６２０と、１以上の１／Ｏデバイス６７０とを含んでよい。ローカルインターフェースは、例えば、当該技術分野において知られているように、１以上のバス又は他の有線接続若しくは無線接続であり得るが、それらに限定されない。ローカルインターフェースは、通信を可能にするよう、コントローラ、バッファ（キャッシュ）、ドライバ、中継器(repeaters)、及び受信器のような、追加的な要素を有して、よい。更に、ローカルインターフェースは、前述のコンポーネントの間の適切な通信を可能にするよう、アドレス、制御装置、及び／又はデータ接続を含んでよい。

【0079】

プロセッサ６１０は、メモリ６２０内に格納し得るソフトウェアを実行するハードウェアデバイスである。プロセッサ６１０は、実質的に、あらゆる特別注文の又は商業的に入手可能なプロセッサ、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、又はコンピュータ６００と関連付けられる幾つかのプロセッサの中の補助的なプロセッサであり得る。そして、プロセッサ６１０は、（マイクロチップの形態における）半導体ベースマイクロプロセッサ又はマイクロプロセッサであってよい。

【0080】

メモリ６２０は、揮発性メモリ要素（例えば、ダイナミックランダムアクセス記憶装置（ＤＲＡＭ）のようなランダムアクセス記憶装置（ＲＡＭ）、スタティックランダムアクセス記憶装置（ＳＲＡＭ）等及び不揮発性メモリ要素（例えば、ＲＯＭ、消去可能なプログラム可能読取り専用記憶装置（ＥＰＲＯＭ）、電子的に消去可能なプログラム可能読取り専用記憶装置（ＥＥＰＲＯＭ）プログラム可能読取り専用記憶装置（ＰＲＯＭ）、テープ、コンパクトディスク読取り専用記憶装置（ＣＤ−ＲＯＭ）、ディスク、ディスケット、カートリッジ、カセット、又は類似物等）のうちのいずれか１つ又は組み合わせを含み得る。その上、メモリ６２０は、電子的な、磁気的な、光学的な、及び／又は他の種類の記憶媒体を含んでよい。メモリ６２０は、様々なコンポーネントが互いに離れて位置するが、プロセッサ６１０によってアクセスされ得る、分散型アーキテクチャを有し得ることに留意のこと。

【0081】

メモリ６２０中のソフトウェアは、１以上の別個のプログラムを含んでよく、それらの各々は、論理機能を実施する実行可能な指令の順序付けられたリスト(listing)を含む。メモリ６２０中のソフトウェアは、例示的な実施態様に従って、適切なオペレーティングシステム（Ｏ／Ｓ）６５０と、コンパイラ６４０と、ソースコード６３０と、１以上のアプリケーション６６０とを含む。例示されるように、アプリケーション６６０は、例示的な実施態様の特徴及び動作を実施するための多数の機能的コンポーネントを含む。コンピュータ６００のアプリケーション６６０は、例示的な実施態様に従った様々なアプリケーション、計算装置、論理、機能的ユニット、プロセス、動作、仮想実体(virtual entities)、及び／又はモジュールを表すことがあるが、アプリケーション６６０は、限定的であることを意図しない。

【0082】

アプリケーション６６０は、ソースプログラム、実行可能なプログラム（オブジェクトコード）、スクリプト、又は遂行されるべき指令のセットを含む任意の他の実体であってよい。ソースプログラムであるとき、プログラムは、Ｏ／Ｓ６５０との関係において適切に作動するよう、メモリ６２０内に含められても含められなくてもよい、（コンパイラ６４０のような）コンパイラ、アセンブラ、インタープリタ(interpreter)、又は同等物を介して変換される。

【0083】

Ｉ／Ｏデバイス６７０は、例えば、マウス、キーボード、スキャナ、マイクロホン、カメラ等のような、入力デバイスを含んでよいが、それらに限定されない。更に、Ｉ／Ｏデバイス６７０は、出力デバイス、例えば、プリンタ、ディスプレイ等も含んでよいが、それらに限定されない。

【0084】

アプリケーション６６０は、コンピュータベースシステム、プロセッサ収容システム、又は指令実行システム、装置、若しくはデバイスからの指令をフェッチ(fetch)して指令を実行し得る他のシステムのような、指令実行システム、装置、又はデバイスによる或いは指令実行システム、装置、又はデバイスとの関連における使用のための、あらゆるコンピュータ可読媒体内に具現され得る。この文書の脈絡において、「コンピュータ可読媒体」(“computer-readable medium”)は、指令実行システム、装置、又はデバイスによる或いは指令実行システム、装置、又はデバイスとの関連における使用のためのプログラムを格納し、伝達し、伝搬し、或いは移動し得る、あらゆる手段であり得る。コンピュータ可読媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外、若しくは半導体システム、装置、デバイス、又は伝搬媒体であり得る。

【0085】

本発明は、システム、方法、及び／又はコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の特性を実施させるコンピュータ可読プログラム指令を有するコンピュータ可読記憶媒体（又は複数の媒体）を含んでよい。

【0086】

コンピュータ可読記憶媒体は、指令実行デバイスによる使用のための指令を保持し且つ格納し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は前述のものの任意の適切な組み合わせであってよいが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な実施例の網羅的でないリスト(list)は、持ち運び可能なコンピュータディスケット、ハードディスク、ランダムアクセス記憶装置（ＲＡＭ）、読取り専用記憶装置（ＲＯＭ）、消去可能なプログラム可能読取り専用記憶装置（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセス記憶装置（ＳＲＡＭ）、持ち運び可能なコンパクトディスク読取り専用記憶装置（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード又は指令を記憶する溝内の隆起構造のような機械的に符号化されるデバイス、及び前述のものの任意の適切な組み合わせを含む。

【0087】

請求する発明を実施する当業者は、図面、本開示、及び付属の請求項の研究から、開示の実施態様に対する他の変形を理解し且つもたらし得る。請求項において、「含む」という用語は、他の要素又はステップを排除せず、単数形の表現は、複数を排除しない。特定の手段が相互に異なる従属項において引用されているという単なる事実は、これらの手段の組み合わせを有利に用い得ないことを示さない。請求項中のあらゆる参照符号は、範囲を限定するものとして解釈されてならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】