(58)【調査した分野】(Int.Cl.,DB名)
前記動作認識ステップにおいては、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出処理と、前記骨格抽出処理によって抽出された前記特徴点の監視対象領域を構成する3次元空間内における位置を特定する特徴点位置特定処理とが行われ、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、
請求項5から7の何れかに記載の自己抜去監視方法。
【背景技術】
【0002】
従来、医療現場では、生命維持に関わるような医療用装身器具の自己抜去による医療事故がしばしば発生していた。これを回避するために、やむを得ず、抑制帯を用いて患者の両手をベッドに縛り付け抑制する対処も行われていた。このような抑制は、患者に精神的苦痛を強いるのみならず、過度の運動制限による機能低下を引き起こしやすいという観点からも望ましい対処手段ではなかった。
【0003】
上記課題に対する対応策として、患者の苦痛を低減させ、一定の運動を許容しつつ、自己抜去行為を抑制することできるように工夫された、自己抜去防止用の抑制カバー(特許文献1参照)や、或いは、腕全体の動きを拘束せず、手関節を所定の角度で背屈させた状態で固定することにより、患者の自己抜去を防止することができる関節抑制具(特許文献2参照)等が用いられている。
【0004】
しかしながら、様々な状態にある全ての患者を、一律に物理的な拘束手段によって拘束することは現実に許容される対応ではなく、自己抜去防止を目的とした患者の監視作業が、多くの医療現場において、必須且つ見落としの許されない作業として大きな負担となっていた。
【0005】
自己抜去防止を目的とした患者の監視作業の負担を軽減する手段として、カテーテル等の「医療用装身器具」が無断で抜去された場合に、様々な仕組みで警報音が発せられる各種の警報装置等(特許文献3、4)が提案されている。
【0006】
又、医療用装身器具を装着した患者等を含め、監視対象とする患者を撮影した監視画像の解析結果を監視者に通知する各種の汎用的な監視システム(特許文献5)も既に多くの医療現場で採用されている。
【0007】
ここで、患者の生命を危険に晒している自己抜去の多くは、看護用ベッドの上等において横臥状態にある患者自身の行為に起因して起こっている。しかしながら、特許文献5に開示されている医療用監視システムを含め、従来の画像認識手段によっては、横臥状態にある患者を監視対象の人物として十分な精度で認識することは困難であった。
【0008】
上記の画像認識の困難性等に起因して、「自己抜去」の監視作業の自動化は未だ十分に進んでいなかった。監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うことができる監視手段が多くの医療機関において切実に求められていた。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、以上の状況に鑑みてなされたものであり、監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うことができる「医療用装身器具の自己抜去監視手段」を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明は、以下の解決手段により、上述の課題を解決する。
【0012】
(1) 医療用装身器具の自己抜去監視システムであって、監視対象者を撮影する撮影部と、前記撮影部が撮影した監視画像に設定されている座標軸を任意の角度で回転させる座標変換を行う座標変換部と、前記監視画像中の監視対象者を特定する監視対象特定部と、前記監視対象特定部によって特定された監視対象者の身体に装着されている前記医療用装身器具の装着位置を特定する装着位置特定部と、前記監視対象特定部によって特定された監視対象者の動作を認識する動作認識部と、前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定部と、前記対応要否判定部によって対応が必要であると判定された場合に、対応要求通知を出力する対応要求通知出力部と、を備える、自己抜去監視システム。
【0013】
(1)の発明は、監視対象特定部と、装着位置特定部と、動作認識部とを、備える自己抜去監視システムにおいて、更に、監視画像に設定されている座標軸を回転させる座標変換を行う座標変換部をも備える構成とすることにより、横臥状態にある患者等、正立状態にない監視対象者の認識精度を向上させている。これにより、病院等において、「自己抜去」の発生若しくは発生リスクを、十分な精度で迅速に認識して監視者に通知することができ、監視者の監視負担を軽減することができる。
【0014】
(2) 前記対応要求通知出力部は、前記監視画像を表示する監視画面を有し、前記装着位置特定部は、監視者が、前記監視画面へのタップ操作又は前記監視画面上でのクリック操作によって指定した位置を、前記医療用装身器具の装着位置として特定する、(1)に記載の自己抜去監視システム。
【0015】
(2)の発明は、(1)の発明において、更に、監視者が簡単な操作で監視対象者の身体に装着されている医療用装身器具の装着位置を指定する手段を更に備えるものとした。これにより、例えば、医療用装身器具の装着位置が布団等で隠蔽されていて画像内での機械的認識が困難な場合も含めて、医療用装身器具の装着位置を正確に特定して、「自己抜去」の発生若しくは発生リスクを、十分な精度で迅速に認識して監視者に通知することができる。
【0016】
(3) 前記動作認識部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記3次元空間内における位置を特定する特徴点位置特定部と、を含んでなり、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、(1)又は(2)に記載の自己抜去監視システム。
【0017】
(3)の発明は、(1)又は(2)の発明において、動作認識部を、例えば、後述の「OpenPose」等の画像解析手段を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、監視対象者の動作を認識することができる構成とした。これによれば、監視者が認識すべき各種の動作等を、監視対象者の体形等に関わらずより高い精度でもれなく認識することができ、又、監視画像の表示を骨格情報のみによる表示とすることにより、監視対象者のプライバシーに配慮した監視態様とすることもできる。
【0018】
(4) 前記動作認識部は、前記監視画像中における前記監視対象者の視線方向を検知する、視線方向検知部を、更に備え、前記対応要否判定部は、前記視線方向の前記装着位置を目視する方向に対する相対的変動量及び変動速度が、所定の変動量及び変動速度である場合に対応が必要であると判定する、(1)から(3)の何れかに記載の自己抜去監視システム。
【0019】
(4)の発明は、(1)から(3)の何れかの発明において、更に、監視対象者の視線方向を検知することができる手段を更に備えるものとした。これにより、監視対象者の体幹や四肢の動作解析のみによっては事前の認識が困難な抜去事故につながる可能性の高い事前動作を検知して自己抜去の発生リスクにかかる情報を監視者に通知することができる。
【0020】
(5) 前記監視画像中における前記装着位置の周辺の色の変化から血液の流出を検知する出血検知部を、更に備え、前記対応要否判定部は、前記出血検知部が所定量以上の血液の流出を検知した場合にも、対応が必要であると判定する、(1)から(4)の何れかに記載の自己抜去監視システム。
【0021】
(5)の発明は、(1)から(4)の何れかの発明において、更に、医療用装身器具の装着位置の周辺での出血も検知できる手段を更に備えるものとした。これにより、監視対象者の動作解析のみによっては事前の認識が困難な抜去事故も含めて、あらゆる抜去事故を遅滞なく監視者に通知することができる。
【0022】
(6) 医療用装身器具の自己抜去監視方法であって、撮影部が監視対象者を撮影する監視撮影ステップと、撮影部が撮影した監視画像に設定される座標軸を任意の角度で回転させる座標変換ステップと、監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、装着位置特定部が、前記監視対象特定ステップにおいて特定された監視対象者の身体に装着されている医療用装身器具の装着位置を特定する装着位置特定ステップと、動作認識部が、前記監視対象特定ステップにおいて特定された前記監視対象者の動作を認識する動作認識ステップと、対応要否判定部が、前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定ステップと、対応要求通知出力部が、前記対応要否判定ステップにおいて対応が必要であると判定された場合に対応要求通知を出力する対応要求通知出力ステップと、を含んでなり、前記監視対象特定ステップにおいては、前記座標軸の回転中に前記監視画像中において正立状態にない監視対象を特定する、自己抜去監視方法。
【0023】
(6)の発明は、監視対象特定ステップと、装着位置特定ステップと、動作認識ステップを、含んで構成される自己抜去監視方法において、更に、監視対象特定ステップにおいて、監視画像中の座標を回転させることにより、横臥状態による患者等の認識精度を向上させている。これにより、病院等において、「自己抜去」の発生若しくは発生リスクを、十分な精度で迅速に認識して監視者に通知することができ、監視者の監視負担を軽減することができる。
【0024】
(7) 前記対応要求通知出力部は、前記監視画像を表示する監視画面を有し、前記装着位置特定ステップにおいては、監視者が、前記監視画面へのタップ操作又は前記監視画面上でのクリック操作によって指定した位置が、前記装着位置として特定される、(6)に記載の自己抜去監視方法。
【0025】
(7)の発明は、(6)の発明において、監視者が簡単な操作で監視対象者の身体に装着されている医療用装身器具の装着位置を指定する処理を行うプロセスとした。これにより、例えば、医療用装身器具の装着位置が布団等で隠蔽されていて画像内での機械的認識が困難な場合も含めて、医療用装身器具の装着位置を正確に特定して、「自己抜去」の発生若しくは発生リスクを、十分な精度で迅速に認識して監視者に通知することができる。
【0026】
(8) 前記動作認識ステップにおいては、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出処理と、前記骨格抽出処理によって抽出された前記特徴点の前記3次元空間内における位置を特定する特徴点位置特定処理とが行われ、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、(6)又は(7)に記載の自己抜去監視方法。
【0027】
(8)の発明は、(6)又は(7)の発明において、動作認識ステップを、例えば、後述の「OpenPose」等の画像解析手段を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、監視対象者の動作を認識することができるプロセスとしたものである。これによれば、監視者が認識すべき各種の動作等を、監視対象者の体形等に関わらずより高い精度でもれなく認識することができ、又、監視画像の表示を骨格情報のみによる表示とすることにより、監視対象者のプライバシーに配慮した監視態様とすることもできる。
【0028】
(9) 前記動作認識ステップにおいては、前記監視画像中における前記監視対象者の視線方向を検知する、視線方向検知処理が、更に行われ、前記対応要否判定ステップにおいては、前記視線方向の前記装着位置を目視する方向に対する相対的変動量及び変動速度が、所定の変動量及び変動速度である場合に対応が必要であると判定される、(6)から(8)の何れかに記載の自己抜去監視方法。
【0029】
(9)の発明は、(6)から(8)の何れかの発明において、更に、監視対象者の視線方向を検知する処理を行うプロセスとした。これにより、監視対象者の体幹や四肢の動作解析のみによっては事前の認識が困難な抜去事故につながる可能性の高い事前動作を検知して自己抜去の発生リスクにかかる情報を監視者に通知することができる。
【0030】
(10) 前記動作認識ステップにおいては、前記監視画像中における前記装着位置の周辺の色の変化から血液の流出を検知する出血検知処理が、更に行われ、前記対応要否判定ステップにおいては、前記動作認識部が所定量以上の血液の流出を検知した場合に、対応が必要であると判定される、(6)から(9)の何れかに記載の自己抜去監視方法。
【0031】
(10)の発明は、(6)から(9)の何れかの発明において、更に、医療用装身器具の装着位置の周辺での出血も検知できる処理を更に行うプロセスとした。これにより、監視対象者の動作解析のみによっては事前の認識が困難な抜去事故も含めて、あらゆる抜去事故を遅滞なく監視者に通知することができる。
【発明の効果】
【0032】
本発明によれば、監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うことができる「医療用装身器具の自己抜去監視手段」を提供することができる。
【発明を実施するための形態】
【0034】
<自己抜去監視システム>
[全体構成]
図1に示す通り、本発明の自己抜去監視システム(自己抜去監視システム100)においては、先ず、病院等における、監視対象者(患者)10の滞在している監視対象者滞在エリア(病室)210等の監視対象領域内が撮影部(監視カメラ)110により撮影され、撮影された監視画像の解析により、監視対象者(患者)110による、医療用装身器具の装着位置Pに対する特定の動作(例えば、
図1中における監視対象者10の動作)が認識される。そして、医療用装身器具の装着位置Pに係る位置情報と特定の動作(例えば、
図1中における監視対象者10Aの動作)との組合せが、特定の組合せであるか否かによって対応の要否が判定される。この結果、対応が必要であると判定された場合には、監視者滞在エリア220等、監視者20の携帯する携帯情報処理端末等の対応要求通知出力部130に、対応要求通知が出力される。そして、対応要求通知を受信した監視者20Aは、必要な対応に速やかに着手することにより、自己抜去に起因する医療事故の発生の多くを防止することができる。
【0035】
図2は、自己抜去監視システム100の構成を示すブロック図である。自己抜去監視システム100は、
図2に示す通り、少なくとも、撮影部110と、演算処理部120と、対応要求通知出力部130と、を含んで構成される。
【0036】
又、演算処理部120は、少なくとも、座標変換部122、監視対象特定部123、装着位置特定部124、動作認識部125、対応要否判定部127と、を含んで構成される。但し、座標変換部122は、後述する通り、撮影部110の一部として自己抜去監視システム100を構成することもできる。撮影部110に座標変換部122が具備される場合には、演算処理部120においては、座標変換部122は必ずしも必須の構成要件ではない。尚、演算処理部120は、必要に応じて、更に、座標設定部121を含んで構成されることが好ましい。
【0037】
ここで、監視画像に設定されるXY座標軸等の座標軸を任意の角度で回転させる座標変換ステップ(S13)を行う座標変換部122は、具体的には、監視画像を加工処理する画像処理プログラムによって構成することができる。或いは、この座標変換部122は、撮影部110を構成するカメラ本体(或いは、カメラ本体内部の撮像素子のみ)を物理的に所定の方向回転させるカメラ本体回転機構或いは撮像素子回転機構によって構成することもできる。
【0038】
自己抜去監視システム100は、例えば、
図4に示すように、座標変換部122によって、監視画像中の座標軸を90°回転させる座標変換ステップ(S13)を行うことにより、監視画像中において頭H、体幹B、脚部Lが水平方向(x軸方向)に沿って位置していること(横臥状態にあること)により、監視画像中から「人」として抽出することが難しい非正立状態の監視対象者10についても、頭H、体幹B、脚部Lが、鉛直方向(y軸方向)沿ってこの順で位置する正立状態にある「人」と同様に、高い精度で特定することができる。
【0039】
尚、自己抜去監視システム100は、撮影部110と演算処理部120と、対応要求通知出力部130を、それぞれ適切な離れた位置に配置して構成することができる。但し、本発明の自己抜去監視システムの構成は、このような配置からなる構成に限定されない。例えば、撮影部110と演算処理部120とが一体化されている装置とした構成、或いは、演算処理部120の一部を撮影部110内に搭載した構成とすることもできる。
【0040】
[撮影部]
撮影部110は、所謂、監視カメラである。そして、この撮影部110は、監視対象領域を連続的に撮影する監視撮影ステップ(S12)を行う。
【0041】
尚、撮影部110を構成する監視カメラは、例えば、演算処理部120内に、後述する座標設定部121を備えさせることにより、監視対象領域を構成する3次元空間を2次元の画像として撮影する単眼のカメラで構成することができる。この場合、高価な3Dカメラを導入する必要はなく、自己抜去監視システム100の導入コストを大幅に低減させることができる。
【0042】
又、撮影部110は、撮像素子111と、撮影レンズ112と、画像処理部113とを備えるカメラで構成することができる。撮像素子111は、撮影レンズ112が結像する像を撮像して、画像処理部113へ送る。画像処理部113は、撮像素子111から出力されるデータを処理して画像データ化して、演算処理部120へ送信する。
【0043】
上述の通り、撮影部110は、座標変換部122を具備する構成とすることができる。この場合、撮影部110は、座標変換ステップ(S13)を行うための機構として、カメラ本体を回転させる回転機構、撮像素子111のみを回転させる回転機構、或いは、画像処理部113における演算処理として座標変換(S13)を行うためのプログラムの何れかを備えるものとすればよい。
【0044】
[演算処理部]
演算処理部120は、撮影部110から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部120は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部120は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部120は、CPU、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部120は、コンピュータプログラム(監視プログラム)を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。
【0045】
演算処理部120は、撮影部110から画像データを受信することができるように撮影部110と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線LANによる接続とすることができる。又、有線接続に限らず、無線LANや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部120は、撮影部110の近傍に配置せずに、撮影部110から離れた遠隔地に配置してもよい。
【0046】
(座標設定部)
座標設定部121は、撮影部110が撮影した監視画像中の床面又は地面に相当する位置を監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標を設定する座標設定ステップ(S11)を行う。尚、撮影部110に3Dカメラや各種の距離センサー等を備えさせ、これにより監視対象領域内の奥行情報を得ることによっても上記座標を設定することも可能であり、この場合は、撮影部110と独立した座標設定部121は、必ずしも必須の構成要件ではない。
【0047】
(座標変換部)
座標変換部122は、上述の座標変換ステップ(S13)を行う。この座標変換は、監視画像に係る画像データに対する演算処理として行うことができる。撮影部110に座標変換の機能を備えさせる場合には、演算処理部120に座標変換部122を備えさせることは必須ではない。
【0048】
(監視対象特定部)
監視対象特定部123は、監視動作中に、撮影部110が撮影した監視画像中の任意の患者等を自動的に検出して、これを監視対象者として特定する監視対象特定ステップ(S14)を行う。又、監視対象特定部123は、複数の監視対象者を同時に並行して個別に特定する機能を有するものであることがより好ましい。この監視対象者の特定は、従来公知の様々な画像解析方法によることができるが、ニューラルネットワークを有する機械学習型の画像認識装置(所謂「ディープラーニング技術を用いた画像認識装置」)を用いて監視対象特定部123を構成することが好ましい。「ディープラーニング技術を用いた画像認識装置」の代表的な例として、画像認識のアルゴリズムとして「You only look once (YOLO)」を用いた画像解析装置を挙げることができる。
【0049】
しかしながら、通常、「YOLO」等の公知の画像認識のアルゴリズムを用いた画像認識処理においては、頭部H(
図4参照)が、身体各部の中で相対的に鉛直上方にある状態(正立状態)にはない「人」を、「人」として検知することができない場合が多く、ベッドに寝ている患者等、「横臥状態」にあって身体各部の相対位置が変化している監視対象者の特定が十分な精度で行えない場合があった。自己抜去監視システム100においては、監視画像に設定されるXY座標等の座標軸を任意の角度で回転させる座標変換ステップ(S13)を行うことにより、監視画像中において正立状態にない監視対象者も、高い精度で特定することができるようにしている。具体的に、自己抜去監視システム100においては、座標変換部122によって監視画像の座標軸を任意の角度に回転させることにより、XY座標軸のY軸方向を監視対象の正立方向に合わせることによって、監視画像中において非正立状態にある監視対象の認知精度の低下を防ぐことができる。
【0050】
(装着位置特定部)
装着位置特定部124は、例えば、
図5に示されるように、監視対象特定部123によって特定された監視対象者10(10a、10b、10c)の身体に装着されている医療用装身器具11の装着位置P(Pa、Pb、Pc)を特定する、装着位置特定(S15)を行う。この装着位置特定部124は、(S15)は、上述の画像解析装置により構成することができる。これにより、機械的に装着位置P(Pa、Pb、Pc)を特定することができる。
【0051】
或いは、装着位置特定部124は、監視者による任意のマニュアル操作で指定された位置を、装着位置として特定する機構とすることもできる。任意のマニュアル操作とは、例えば、監視者による監視画面上でのタップ操作又はクリック操作等である。上記の装着位置を指定するためのマニュアル操作とは、例えば、
図6に示すように、監視者が、指21によって対応要求通知出力部(携帯端末)130に表示される監視画面をタッチパネル方式の表示画面とした上で、監視画面に表示される監視画像内の任意の位置をタップするタップ操作である。このように、監視者によるマニュアル操作によって装着位置Pを指定することができる機能を備えさせた場合には、装着位置特定部124を、当該機能によって指定された位置を装着位置として特定する機構とすることができる。
【0052】
(動作認識部)
動作認識部125は、監視対象特定部123によって特定された監視対象者の動作を認識する動作認識(S16)を行う。ここで、監視対象者の「動作」とは、身体各部の位置及び動きのことを言う。又、「身体各部の位置及び動き」には、監視対象者の位置変動、位置変動を伴わない姿勢の変化等、骨格の特徴点の位置変動によって把握することが可能な監視対象者のあらゆる「身体各部の位置及び動き」が含まれる。これらの「動作」の特定は、従来公知の様々な画像解析方法によることができる。
【0053】
又、動作認識部125は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部(図示せず)と、この骨格抽出部が抽出した特徴点の位置を特定する特徴点位置特定部(図示せず)と、を更に備えることが好ましい。骨格抽出部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する(
図7参照)。
【0054】
図7に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「OpenPose」と称される技術を用いることにより、2次元の監視画像から「人」の骨格を抽出することができる。この場合において、動作認識部125は、上記の特徴点の「監視対象領域3次元空間内における位置」の変動に係る情報に基づいて、監視対象者の「動作」を認識することができる。
「Zhe Cao 他 Realtime Multi−Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017」
【0055】
又、動作認識部125は、監視画像中における監視対象者の視線方向を検知する、視線方向検知部(図示せず)を、更に備えることがより好ましい。視線方向を検知するための具体的手段は特に限定されないが、例えば、
図7に示すように、骨格抽出部及び特徴点位置特定部によっても、「監視対象者」の両耳と鼻の位置に対応する3か所の視線方向検知用の「特徴点」を結んで形成される三角形において、両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である頂点に向かう方向を、監視対象者の視線方向eとして検知することができる。
【0056】
(出血検知部)
又、演算処理部120は、監視画像中における装着位置Pの周辺の色の変化から血液の流出を検知する出血検知部126を、更に備えることが好ましい。出血を検知する機能を有する限り、出血検知部126の具体的構成は特に限定されないが、例えば、特定位置(装着位置P)周辺に特定の色(赤色)が出現したことを判別して判別結果に係る情報を対応要否判定部127に出力することができる画像解析プログラム等により出血検知部126を構成することができる。
【0057】
(対応要否判定部)
対応要否判定部127は、装着位置Pと監視対象者の動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定(S17)を行う。又、演算処理部120が出血検知部126を備える場合には、対応要否判定部127は、出血に係る情報を要否判定の判断材料とすることができる。
【0058】
対応要否判定部127は、装着位置特定部124及び動作認識部125によって取得した装着位置Pと監視対象者の動作との組合せについて、予め各種の記憶手段に登録されている評価基準と照合することによって、当該監視対象者に対する対応の要否を判定する。対応要否判定部127は、このような簡単な情報のマッチング解析が可能な各種の情報処理装置やプログラム等により構成することができる。
【0059】
図8は、装着位置Pと監視対象者の動作との組合せに係る取得情報に加えて、更に、出血に係る取得情報を評価するための評価基準を記憶するための記憶装置内の記憶用のテーブルの一例である。
図8に例示するように、視線方向、手の動き、出血、それぞれに係る取得情報から、自己抜去の発生を未然に若しくは速やかに認知して対応の要否を判定することができる。
【0060】
[対応要求通知出力部]
対応要求通知出力部130は、監視画像を表示する監視画面を有し、又、対応要否判定部127によって対応が必要であると判定された場合には、対応要否判定部127の判定結果を対応要求通知として監視者20が認知可能な形式で出力することができる情報出力手段を備える。
【0061】
対応要求通知出力部130は、モニター付きのパーソナルコンピュータ、或いは、監視者が容易に持ち運ぶことができる小型の携帯情報処理端末等のように、対応要否判定部127が出力する判定結果に係る情報を、監視者が、認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。
【0062】
<自己抜去監視方法>
[全体構成]
図3は、自己抜去監視システム100を用いて実行することができる本発明の自己抜去監視方法の流れを示すフローチャートである。
【0063】
(座標設定ステップ)
座標設定ステップ(S11)では、座標設定部121が、座標設定処理を行う。この座標設定ステップ(S11)で行われる座標設定処理とは、好ましくは、座標設定部121が、撮影部110が撮影した監視画像中の床面又は地面に相当する位置を監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する3次元座標を設定する処理である。
【0064】
尚、この座標設定ステップ(S11)は、監視領域を監視するための事前準備であって、これ以降のステップにより本稼働としての実際の監視が開始される。換言すると、座標設定ステップ(S11)は、監視の本稼働の開始に先行して、撮影部110の設置後に少なくとも1回行われればよい。例えば、自己抜去監視システム100を設置したときに適切に上記の座標を設定しておけば、その後、撮影部110の配置の変更等、監視画像の撮影条件に特段の変更がない限り、システム稼働中における再度の座標設定を不要とすることができる。
【0065】
尚、撮影部110が、赤外線等を照射して距離測定を行う距離測定部、又はこれに相当する構成を有する場合においては、距離測定部によって撮影部から監視画像の背景に対応する実際の各点までの距離を実測し、この実測値に基づいて、上記同様、監視対象領域3次元空間内における実際の位置(実寸法、実距離)と関連付けられている座標を設定することができる。
【0066】
(監視撮影ステップ)
監視撮影ステップ(S12)では、撮影部110が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。
【0067】
(座標変換ステップ)
座標変換ステップ(S13)では、座標変換部122が、撮影部110が撮影した監視画像に設定されている座標軸を回転させる座標変換を行う。この座標変換は、ソフトウエアにおける処理として、演算処理として座標軸を回転させることによって行うことができる。又、座標軸は固定したまま、監視画像自体を回転させることによっても座標変換ステップ(S13)を行うことができる。この監視画像の回転は、ソフトウエアにおける処理として、演算処理として画像データを変換することによって行うこともできるし、より簡易的な実施方法としては、撮影部110を構成する監視カメラ若しくはこれを構成する撮像素子を実際に回転させることによっても行うことができる。
【0068】
座標変換ステップ(S13)において、監視画像を360°逐次回転させ続けることにより、監視対象特定ステップ(S14)において、立位、坐位・横臥状態等、あらゆる姿勢状態にある監視画像中の「人」を、等しく高精度で特定することができる。例えば、座標変換部122によって、監視画像中の座標軸を360°逐次回転させていく座標変換を連続的に行うことにより、
図4(a)に示す非正立状態の監視対象者10についても、座標軸が90°回転した時点で、正立状態にある「人」と同様に、高い精度で特定することができる。
【0069】
(監視対象特定ステップ)
監視対象特定ステップ(S14)では、監視対象特定部123が、撮影部が撮影した監視画像中の監視対象者を検出して特定したか否かについて判定を行う。特に監視画像中において、正立状態以外の状態にある監視対象者については、上述の座標変換処理による座標軸の回転中に、監視画像中において正立状態にない監視対象を特定する。監視対象者を検出して特定した場合(S14、Yes)には、装着位置特定ステップ(S15)へ進み、監視対象者が検出されていない場合(S14、No)には、監視撮影ステップ(S12)へ戻り、監視動作を継続する。
【0070】
監視対象者の検出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を抽出することができる。この背景差分は公知の技術であり、監視カメラ24で取得された画像データと、事前に取得しておいた監視領域Aの背景画像との差分をとることで、動きのある監視対象を抽出する技術である。
【0071】
尚、本発明においては、監視対象者がベッド等に寝ている状態での監視が必要となる場合が多い。従来の各種の画像認識プログラム及び同プログラムを用いた画像認識装置においては、多くの場合、正立状態、即ち、直立した状態の人間における身体各部の位置関係を認識のための特徴点としている。よって監視対象者が非正立状態、即ち、頭部の胴部と脚部の位置関係(上下関係)が直立した状態とは位置関係が異なる場合に、認識の精度が著しく低下する場合がある。しかしながら、座標変換ステップ(S13)において、座標軸を適切に回転させることにより、ベッドに寝ている状態にある監視対象者であっても直立した状態の人間と同様に高い精度で認識することができる。
【0072】
又、検出した監視対象者の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、監視画像中の個別の監視対象者を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象を例えば、性別や年代別に分類認識して、同時並行的に検出して特定することもできる。
【0073】
尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
(http://www.orsj.o.jp/archive2/or60−4/or60_4_198.pdf)
【0074】
(装着位置特定ステップ)
装着位置特定ステップ(S15)では、装着位置特定部124が、前記監視対象特定ステップ(S14)において特定された監視対象者の身体に装着されている医療用装身器具の装着位置を特定する。具体的には、例えば、
図5に示されるように、監視対象者10(10a、10b、10c)の身体に装着されている医療用装身器具11の装着位置P(Pa、Pb、Pc)を特定する装着位置の特定を行う。この装着位置の特定は、上述した各種の画像解析手段により、機械的に行われるようにすることもできるし、或いは、監視者による任意のマニュアル操作で指定された位置を、装着位置として特定することによることもできる。
【0075】
装着位置特定ステップ(S15)を行うための監視者による任意のマニュアル操作とは、例えば、監視者による監視画面上でのタップ操作又はクリック操作等である。装着位置特定ステップ(S15)を監視者によるマニュアル操作によって行うことにより、医療用装身器具の装着位置が布団等で隠蔽されていて画像内での機械的認識が困難な場合も含めて、医療用装身器具の装着位置を正確に特定することができる。
【0076】
(動作認識ステップ)
動作認識ステップ(S16)では、動作認識部125が、監視対象特定ステップ(S14)において特定した監視対象者の動作を認識する。この動作認識は、公知の各種の画像解析方法によることができる。動作認識ステップS16を行うための画像解析方法は特定の方法に限定されないが、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、骨格抽出部が抽出した特徴点の3次元空間内における位置を特定する特徴点位置特定部と、を備えなる動作認識部125によって行われる動作認識方法によることが好ましい。以下、動作認識ステップS16が、上記の骨格抽出部及び特徴点位置特定部を備える動作認識部125によって行われる場合の実施形態について、具体的に説明する。
【0077】
図7は、骨格抽出部及び特徴点位置特定部を備える動作認識部125によって、監視対象領域空間内での監視対象者の動作(身体各部の位置及び動き)が認識されている状態を示す図である。ここでは、ベッドに横臥している監視対象者10の姿勢や視線方向eが、動作認識部125によって認識されている。このように、骨格抽出部を備える動作認識部125は、監視対象者10の骨格10´を抽出することができる。ここで、本明細書における、監視対象者の「骨格」とは、監視対象者の複数の特徴点とこれらを連接してなる線状の図形である。
【0078】
図7に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「OpenPose」と称される技術を用いることにより、2次元の監視画像から「人」の骨格を抽出することができる。
「Zhe Cao 他 Realtime Multi−Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017」
【0079】
例えば、上述の「OpenPose」を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の「監視対象領域空間内における位置」を、例えば、上記の座標設定ステップによって予め設定されている座標を用いることによって特定し、特定された全ての特徴点の位置、速度を解析することによって、視線方向等も含めた監視対象者のあらゆる動作(身体各部の位置及び動き)を認識することができる。
【0080】
(対応要否判定ステップ)
対応要否判定ステップ(S17)では、対応要否判定部127が、監視対象者における医療用装身器具の装着位置と、当該監視対象者の動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定を行う。又、演算処理部120が出血検知部126を備える場合には、対応要否判定部127は、出血に係る情報を要否判定の判断材料とすることができる。
【0081】
対応要否判定は、装着位置特定部124及び動作認識部125によって取得した装着位置Pと監視対象者の動作との組合せについて、予め各種の記憶手段に登録されている評価基準と照合することによって行われる。
図8に例示するように、視線方向、手の動き、出血、それぞれに係る取得情報から、自己抜去の発生を未然に若しくは速やかに認知して対応の要否を判定することができる。
【0082】
対応要否判定ステップ(S17)において、対応要否判定部127が、監視対象者の動作等から対応が必要であると判定した場合(S17、Yes)には、対応要求通知出力ステップ(S18)へ進み、監視対象者の動作等から対応が必要ではないと判定した場合(S17、No)には、監視撮影ステップ(S12)へ戻る。
【0083】
(対応要求通知出力ステップ)
対応要求通知出力ステップ(S18)では、演算処理部120が、監視対象者に対する対応が必要であると判定した場合に、対応要求通知を対応要求通知出力部130に出力する。対応要求通知の形式は監視者20がどの監視対象者に対して対応が必要であるのかを識別できる形式であれば特定の形式に限定されない。監視対象者を他の対象から区別する特定の色の囲み枠線、動作の状態を認識可能な当該監視対象者の骨格情報、対応を必要としていることを示すサイン(光の点滅や警告音等)等が監視者20の保持する、対応要求通知出力部130から出力されることが好ましい。
【0084】
尚、対応要求通知出力ステップ(S18)では、演算処理部120が、監視を終了するか否かを判定する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判定される。終了する場合(S19、Yes)には、監視動作を終了し、それ以外の場合(S19、No)には、監視撮影ステップ(S12)へ戻り、監視を継続する。
【解決手段】撮影部110と、監視画像に設定されている座標軸を回転させる座標変換を行う座標変換部122と、監視画像中の監視対象者10を特定する監視対象特定部123と、監視対象者10の身体に装着されている医療用装身器具11の装着位置Pを特定する装着位置特定部124と、監視対象者10の動作を認識する動作認識部125と、装着位置Pと、動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定部127と、対応要否判定部127によって対応が必要であると判定された場合には、対応要求通知を出力する対応要求通知出力部130と、を備える、医療用装身器具の自己抜去監視システム100とする。