特開 2022-108129 特定動作検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022108129

(43)【公開日】2022-07-25

(54)【発明の名称】特定動作検出装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220715BHJP

   G06T 7/00 20170101ALI20220715BHJP

   H04N 7/18 20060101ALI20220715BHJP

【ＦＩ】

G06T7/20 300A

G06T7/00 660B

H04N7/18 K

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2021002994

(22)【出願日】2021-01-12

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 集会名：４２ｎｄ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ 開催日時：２０２０年７月２０日～２４日

(71)【出願人】

【識別番号】304021277

【氏名又は名称】国立大学法人 名古屋工業大学

(71)【出願人】

【識別番号】000100908

【氏名又は名称】アイホン株式会社

(74)【代理人】

【識別番号】100121142

【弁理士】

【氏名又は名称】上田 恭一

(72)【発明者】

【氏名】田口 亮

(72)【発明者】

【氏名】井上 円

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054HA19

5L096AA06

5L096BA02

5L096BA18

5L096CA04

5L096DA02

5L096FA60

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096HA11

(57)【要約】

【課題】 患者のベッドからの離床を判断する際に、ベッド上で起き上がってベッドに腰掛ける動作の有無を含んで判断することを特徴とする特定動作検出装置を提供する。
【解決手段】 監視エリア全体を撮像するカメラ１と、カメラ１の撮像映像からベッドを抽出し、その抽出情報からベッドのエリア算出するベッド検出部３と、カメラ１の撮像画像からベッド上の患者の特定部位の座標情報を入手し、その情報から患者の姿勢を検出する人物姿勢検出部４と、ベッド検出部３及び人物姿勢検出部４が検出した情報を基に、ベッドと患者との相対位置を算出する相対位置算出部６と、相対位置算出部５が算出した時系列の相対位置情報を保持する相対位置情報保持部６と、相対位置情報保持部６が保持する複数の時系列情報を基に、ベッド上の患者の行動を推定する行動推定部７とを有する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

監視エリア全体を撮像するカメラと、
前記カメラの撮像画像からベッドを抽出し、その抽出情報からベッドのエリアを算出するベッド検出部と、
前記カメラの撮像画像から、ベッド上の人物の特定部位の座標情報を入手し、その情報から人物の姿勢を検出する人物姿勢検出部と、
前記ベッド検出部及び人物姿勢検出部が検出した情報を基に、ベッドの重心位置を求めてベッドと人物との相対位置を算出する相対位置算出部と、
前記相対位置算出部が算出した相対位置情報を時系列に保持する相対位置情報保持部と、
前記相対位置情報保持部が保持する複数の時系列情報を基に、ベッド上の人物の行動を推定する行動推定部とを有することを特徴とする特定動作検出装置。

【請求項2】

人物姿勢検出部は、ベッド上の人物の頭部、首、左手、右手、左骨盤、右骨盤のうち、少なくとも首、左骨盤、右骨盤の３点の座標情報を入手し、その座標情報を基に姿勢を推定することを特徴とする請求項１又は２記載の特定動作検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの撮像映像情報を基に人物の特定の動作を推定する特定動作検出装置に関する。

【背景技術】

【0002】

近年、病院や高齢者施設で患者或いは入居者の歩行中或いは移動中の転倒による事故が多発している。この転倒による事故を防ぐために、離床する直前の動作を検知したら看護師や介護者に通知するシステムがある。
例えば特許文献１では、患者がベッド上で起き上がり、ベッドから足を出して腰掛ける状態を検知したら関係者に通知した。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－８７０４０号公報

【非特許文献】

【0004】

【非特許文献1】井上円・安井俊之・田口亮・梅崎太造：「患者みまもり機能の自働化に向けたベッド位置の検出」，電学論C, Vol.138, No.6, pp.670-677 (2018)

【非特許文献2】Z. Cao, T. Simon, S. E. Wei, & Y. Sheikh : “Realtime multi-person 2d pose estimation using part affinity fields”, In IEEE Conference on Computer Vision and Pattern Recognition, Vol.1, No.2 p.7 (2017)

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１の技術は、ベッドに腰掛けないでベッドから遠ざかる人物を検知しても、それは患者では無いと判断するため、誤検知を削減できた。
しかしながら、ベッドに腰掛けた状態を判定することはできたが、これがベッドから起き上がった後に腰掛けた一連の動作であるか判断してはいなかったため、誤検知する場合があった。

【0006】

そこで、本発明はこのような問題点に鑑み、患者のベッドからの離床を判断する際に、ベッド上で起き上がってベッド端に腰掛ける動作の有無を含めて判断する特定動作検出装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決する為に、請求項１の発明に係る特定動作検出装置は、監視エリア全体を撮像するカメラと、カメラの撮像画像からベッドを抽出し、その抽出情報からベッドのエリアを算出するベッド検出部と、カメラの撮像画像から、ベッド上の人物の特定部位の座標情報を入手し、その情報から人物の姿勢を検出する人物姿勢検出部と、ベッド検出部及び人物姿勢検出部が検出した情報を基に、ベッドの重心位置を求めてベッドと人物との相対位置を算出する相対位置算出部と、相対位置算出部が算出した相対位置情報を時系列に保持する相対位置情報保持部と、相対位置情報保持部が保持する複数の時系列情報を基に、ベッド上の人物の行動を推定する行動推定部とを有することを特徴とする。
この構成によれば、ベッド上の人物の姿勢と、ベッドと人物との相対位置の変化を見て人物の行動を推定することができる。即ち、監視対象の患者がベッド上で起き上がり、その後ベッド端に腰掛ける状態を検知したら、ベッドから遠ざかる人物を患者の離床と判断する。よって、監視対象者でない看護師等の人物の離床動作を患者の離床動作と判断してしまう誤検知を低減できる。

【0008】

請求項２の発明は、請求項１に記載の構成において、人物姿勢検出部は、ベッド上の人物の頭部、首、左手、右手、左骨盤、右骨盤のうち、少なくとも首、左骨盤、右骨盤の３点の座標情報を入手し、その座標情報を基に姿勢を推定することを特徴とする。
この構成によれば、人物の骨格情報を基に姿勢を推定することで、特にベッド上で起き上がった状態、ベッド端に腰掛けた姿勢を高い精度で検知でき、人物の姿勢を推定できる。

【発明の効果】

【0009】

本発明によれば、ベッド上の人物の姿勢と、ベッドと人物との相対位置の変化を見て人物の行動を推定することができる。即ち、監視対象の患者がベッド上で起き上がり、その後ベッドに腰掛ける状態を検知したらベッドから遠ざかる人物を患者の離床と判断する。よって、看護師等の監視対象者でない人物の離床動作を患者の動作と判断してしまう誤動作を低減できる。

【図面の簡単な説明】

【0010】

【図1】本発明に係る特定動作検出装置の一例を示すブロック図である。

【図2】検出したベッドと基準矩形を示す図である。

【図3】処理の概略を示す説明図であり、（ａ）は患者の撮像画像、（ｂ）は撮像画像から算出した患者とベッドの位置関係を示している。

【図4】ニューラルネットワークの説明図である。

【発明を実施するための形態】

【0011】

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る特定動作検出装置の一例を示すブロック図であり、１は監視エリア全体を撮像するカメラ、２はカメラ１の撮像画像を一時的に保持する画像保持部、３はカメラ１の撮像画像からベッドを検出するベッド検出部、４はカメラ１の撮像画像から人物の姿勢を検出する人物姿勢検出部、５は検出したベッドに対する人物の相対位置を算出する相対位置算出部、６は算出した相対位置情報を保持する相対位置情報保持部、７は人物の行動を推定する行動推定部である。

【0012】

尚、ここで言う人物とは、患者や被介護者等の見守り対象の人物であり、以下一律に「患者」とする。また、画像保持部２、ベッド検出部３、人物姿勢検出部４、相対位置算出部５、相対位置情報保持部６、行動推定部７は、動作プログラムをインストールしたＣＰＵ或いはＤＳＰにより一体に構成できるし、パーソナルコンピュータにより実行できる。

【0013】

カメラ１は、患者を撮像するために、病室等の部屋全体を撮像するよう壁の天井等に設置され、例えば０．０３秒毎に画像フレームを生成して出力する。

【0014】

画像保持部２は、例えばＲＡＭで構成され、カメラ１で撮影された画像（画像フレーム）が後段のベッド検出部３或いは人物姿勢検出部４で画像処理が行われるまで一時記憶される。

【0015】

ベッド検出部３は、カメラ１の撮像画像からまずベッドを抽出し、抽出したベッドの４隅の４点座標を算出する。このベッドの抽出手法としては、例えば非特許文献１の機械学習によるベッド位置の推定方法が使用できる。

【0016】

人物姿勢検出部４は、カメラ１の撮像画像から患者の姿勢を推定する。ベッドに腰掛けた端座位の推定には、少なくとも首・左骨盤・右骨盤の３点の座標情報から姿勢を推定する。この推定には非特許文献２の手法を使用することができる。
尚、ここでは、首、左骨盤、右骨盤の３点の座標情報を基に姿勢を推定するが、例えば頭部の座標を加えて４点の骨格情報を基に推定しても良いし、更に左右の手の座標情報等を加えて姿勢を推定しても良い。

【0017】

相対位置算出部５は、画像から得た座標情報を相対値に変換する。これは、ベッド座標と患者姿勢から直接患者の行動を推定しても高い精度で判断することができないため実施する。
手順は、まず、算出したベッドの４点座標からベッドの重心位置を算出する。次に、ベッド座標から基準矩形を算出する。基準矩形とは、画像上が３次元情報を２次元で表示しているため、ベッド形状は菱形形状となっているが、２次元情報として取り扱う為に実際のベッド形状に合わせて長方形に算出し直した形状である。

【0018】

こうして、相対座標変換することで入力データを削減でき、カメラ１の位置変更により画面中のベッド位置が変化した場合でも、ベッドと患者の位置関係を適切に表現する事が可能となり検出精度の向上に繋がる。また、座標情報を直接入力するのではなく、相対値への変換を行うことで、ベッド座標と患者姿勢とから、直接患者の行動を推定する従来にくらべて高い精度で検出することが可能となる。

【0019】

ベッドの重心位置、基準矩形を算出したら、次にベッドの重心位置から基準矩形までの距離を上下左右各々に対して算出する。
図２は、こうして算出したベッドと基準矩形の座標関係を示している。図２において、Ｄ１がベッド、Ｄ２が基準矩形、Ｇｂはベッドの重心、ｒｔｘは右上のｘ座標、ｒｂｘは右下のｘ座標、ｒｘは基準矩形のｘ座標であり、ｒｘは次式で算出される。
ｒｘ＝（ｒｔｘ＋ｒｂｘ）／２
尚、ベッドの４隅は４つの（ｘ，ｙ）座標（合計８変数）で表現されるのに対して、基準矩形は２次元であるため、上下左右の合計４変数で表現できる。

【0020】

こうして、ベッド検出部３が検出したベッドＤ１の重心Ｇｂの位置及び基準矩形Ｄ２と、人物姿勢検出部４が検出した患者の姿勢とから、患者の相対位置を算出する。
このとき、算出したベッドＤ１の重心Ｇｂの位置から基準矩形Ｄ２の端部までの距離を上下左右各々に対して算出し、ベッドＤ１の重心Ｇｂから基準矩形Ｄ２までの距離を１として、ベッドＤ１の重心Ｇｂから患者の個々の座標までを、基準矩形Ｄ２に対する距離の比（相対座標値）で表現する。即ち、ベッドＤ１の重心Ｇｂから特定のベッド端部までの寸法を１として、この１を基準にベッドＤ１の重心Ｇｂからの距離が相対寸法で演算されて患者の位置が推定される。

【0021】

相対位置情報保持部６は、相対位置算出部５が算出した複数の時刻の相対位置情報を時系列に保持する。

【0022】

図３（ａ）は時系列で示したカメラ１の撮像画像、（ｂ）は算出されたベッドＤ１と患者を示している。図３（ａ）の画像Ｆ１～Ｆ５の５画像はＦ１から順に時系列で示し、図３（ｂ）は、ベッドＤ１に対して、患者Ｄ３を首・左骨盤・右骨盤の３点の座標から成る三角形の形状で示している。
図３（ｂ）のＦ１の画像から算出した座標は、ベッドＤ１の座標のみで患者は臥しているため患者を認識していないが、Ｆ２の画像に対応する患者Ｄ３の座標は、上半身を起こしたことで、首・右骨盤・左骨盤の３点を認識し、患者が起き上がった状態を算出する。その後Ｆ３～Ｆ５の画像に対応する座標は、Ｆ３からＦ５移行するに従い、患者Ｄ３がベッドＤ１の隅に移動し、更にベッドＤ１から離れる状態を算出していることを示している。これらの情報が、相対位置情報保持部６に相対位置情報として保持される。

【0023】

行動推定部７は、ニューラルネットワークのモデルＬＳＴＭ（Long short-term memory）に複数時刻の相対位置情報を入力して患者の離床動作を検出する。相対位置情報保持部６の情報が、このニューラルネットワークのモデルＬＳＴＭに入力され、患者の離床動作が判定（推定）される。
図４はニューラルネットワークの説明図であり、ニューラルネットワークの構造は相対座標に変換した人物の３点座標（６units）を固定フレーム長ｋステップ入力し、隠れ層のＬＳＴＭをＬユニット接続する。学習の際は、ＬＳＴＭの出力値への伝達をドロップアウトで確立的に制御する。次に、ニューラルネットワークの出力層は、離床動作、その他の動作の２クラス分類問題としてsoftmax関数を用いて尤度を算出して出力し、患者の離床が判定される。

【0024】

このように、ベッド上の患者の姿勢と、ベッドと患者との相対位置の変化を見て患者の行動を推定することができる。即ち、監視対象の患者がベッド上で起き上がり、その後ベッドに腰掛ける状態を検知したら、その後ベッドから遠ざかる人物を患者の離床と判断する。よって、看護師等の監視対象者でない人物の離床動作を患者の動作と判断してしまう誤動作を低減できる。
また、softmax関数を用いることで、患者の離床動作を高い精度で推定できるし、患者の骨格情報を基に姿勢を推定することで、高い精度で姿勢を推定できる。

【符号の説明】

【0025】

１・・カメラ、２・・画像保持部、３・・ベッド検出部、４・・人物姿勢検出部、５・・相対位置算出部、６・・相対位置情報保持部、７・・行動推定部。

【図1】

【図2】

【図3】

【図4】