IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 清水建設株式会社の特許一覧

特開2022-16979傷病者検出装置、傷病者検出システム、及び、傷病者検出方法
<>
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図1
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図2
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図3
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図4
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図5
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図6
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図7
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図8
  • 特開-傷病者検出装置、傷病者検出システム、及び、傷病者検出方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022016979
(43)【公開日】2022-01-25
(54)【発明の名称】傷病者検出装置、傷病者検出システム、及び、傷病者検出方法
(51)【国際特許分類】
   G08B 25/00 20060101AFI20220118BHJP
   G08B 25/04 20060101ALI20220118BHJP
   G08B 21/02 20060101ALI20220118BHJP
   G06T 7/20 20170101ALI20220118BHJP
【FI】
G08B25/00 510M
G08B25/04 K
G08B21/02
G06T7/20 300Z
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2020120003
(22)【出願日】2020-07-13
(71)【出願人】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】生富 直孝
(72)【発明者】
【氏名】南部 世紀夫
(72)【発明者】
【氏名】▲高▼瀬 大樹
【テーマコード(参考)】
5C086
5C087
5L096
【Fターム(参考)】
5C086AA22
5C086AA49
5C086CA25
5C086CA28
5C086CB36
5C086DA01
5C086DA33
5C086EA13
5C086FA02
5C087AA02
5C087AA03
5C087AA32
5C087BB18
5C087DD03
5C087FF01
5C087FF04
5C087FF16
5C087GG02
5C087GG08
5C087GG10
5C087GG12
5C087GG17
5C087GG35
5C087GG70
5L096AA06
5L096BA02
5L096CA04
5L096DA03
5L096FA60
5L096FA64
5L096FA66
5L096FA69
5L096GA51
(57)【要約】      (修正有)
【課題】傷病者の誤検出を低減する傷病者検出装置、傷病者検出システム及び傷病者検出方法を提供する。
【解決手段】傷病者検出システム1において、傷病者検出装置は、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部が撮像した画像に基づいて、画像内の人及び当該人の人体部位の位置を抽出する位置抽出部と、位置抽出部が抽出した人体部位の位置に基づいて、人の転倒を検出する転倒検出部と、転倒検出部が検出した人の転倒が、転倒の検出から所定の期間継続している場合に、当該人を転倒継続状態にある傷病者であると判定する傷病者判定部と、傷病者判定部が傷病者を判定した場合に、警報を出力する警報部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
監視対象の場所である監視場所を撮像する少なくとも1つの撮像部が撮像した画像に基づいて、前記画像内の人、及び当該人の人体部位の位置を抽出する位置抽出部と、
前記位置抽出部が抽出した前記人体部位の位置に基づいて、前記人の転倒を検出する転倒検出部と、
前記転倒検出部が検出した前記人の転倒が、転倒の検出から所定の期間継続している場合に、当該人を転倒継続状態にある傷病者であると判定する傷病者判定部と、
前記傷病者判定部が前記人を前記傷病者であると判定した場合に、警報を出力する警報部と、
を備えた傷病者検出装置。
【請求項2】
前記転倒検出部は、
前記人体部位の位置のうちで、前記画像の横方向の最小位置及び最大位置と、前記画像の縦方向の最小位置及び最大位置とを通る長方形であって、横方向の最小位置と最大位置との距離を横方向の長さとし、縦方向の最小位置と最大位置との距離を縦方向の長さとする長方形を生成し、
前記長方形の横方向の長さに対する縦方向の長さの比が、所定の閾値未満となる場合に、前記人が転倒していると検出すること、
を特徴とする請求項1に記載の傷病者検出装置。
【請求項3】
前記人体部位は、
顔の部位と、関節部位とを含み、
前記転倒検出部は、
前記画像内において、前記顔の部位の縦方向の位置が、前記関節部位に含まれる肩と、臀部と、膝と、足首とのいずれか一つの縦方向の位置よりも低い場合に、前記人が転倒していると検出すること、
を特徴とする請求項1または請求項2に記載の傷病者検出装置。
【請求項4】
前記転倒検出部は、
前記関節部位の位置に基づいて、人体の重心の位置を算出し、
前記画像内において、前記重心の横方向の位置が、左足首の横方向の位置と右足首の横方向の位置との間にない場合に、前記人が転倒していると検出すること、
を特徴とする請求項3に記載の傷病者検出装置。
【請求項5】
前記傷病者判定部は、
前記所定の期間内において、前記画像内における前記人体部位の移動が所定領域内に収まる場合に、前記人を前記傷病者であると判定すること、
を特徴とする請求項1から請求項4のいずれか一項に記載の傷病者検出装置。
【請求項6】
監視対象の場所である監視場所を撮像する少なくとも1つの撮像部と、
請求項1から請求項5のいずれか一項に記載の傷病者検出装置と、
を備える傷病者検出システム。
【請求項7】
位置抽出部が、
監視対象の場所である監視場所を撮像する少なくとも1つの撮像部が撮像した画像に基づいて、前記画像内の人、及び当該人の人体部位の位置を抽出するステップと、
転倒検出部が、
前記人の人体部位の位置に基づいて、前記人の転倒を検出するステップと、
傷病者判定部が、
前記転倒検出部が検出した前記人の転倒が転倒の検出から所定の期間継続している場合に、当該人を転倒継続状態にある傷病者であると判定するステップと、
警報部が、
前記傷病者判定部が前記傷病者を判定した場合に、警報を出力するステップと、
を含む傷病者検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、傷病者検出装置、傷病者検出システム、及び、傷病者検出方法に関する。
【背景技術】
【0002】
平常時や災害時に、大規模な建物内(例えば、商業施設等)、又は屋外等において、傷病等で倒れている傷病者を発見する主な手段としては、警備員による施設巡回、防災センターの監視員による監視カメラの映像目視、又は傷病者の近くに居合わせた人からの通報がある。また、傷病者の対応には緊急を要する場合があるため、迅速かつ確実に傷病者を発見する傷病者検出システムもある。
【0003】
従来技術では、傷病者検出システムの一例として、建物内や屋外等に設置された監視カメラの撮影データを用いて、傷病等で倒れている人を検出する方法が提案されている。例えば、特許文献1では、駅のホームに設置された監視カメラの画像に基づいて、ホーム上の人の動きを検出することにより、転倒者を識別する方法が提示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6604821号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、転倒者が転倒後に直ぐに立ち上がって動き出すような場合には、救助の要請が必要ないので、このような人を傷病者として検出することは好ましくない。しかしながら、特許文献1に記載された方法では、所定の閾値以上の速度、及び加速度で転倒を開始する人を転倒者として検出するため、転倒後に立ち上がって動き出す人が転倒者として検出されてしまう場合や、ゆっくりうずくまった後に横になって動かない人が転倒者として検出されない場合があった。このように、上述したような従来技術では、傷病者を適切に検出できずに誤検出する場合があった。
【0006】
本発明は、このような事情に鑑みてなされたもので、その目的は、傷病者の誤検出を低減することができる傷病者検出システム、及び、傷病者検出方法を提供することである。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の一態様は、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部が撮像した画像に基づいて、前記画像内の人、及び当該人の人体部位の位置を抽出する位置抽出部と、前記位置抽出部が抽出した前記人体部位の位置に基づいて、前記人の転倒を検出する転倒検出部と、前記転倒検出部が検出した前記人の転倒が、転倒の検出から所定の期間継続している場合に、当該人を転倒継続状態にある傷病者であると判定する傷病者判定部と、前記傷病者判定部が前記傷病者を判定した場合に、警報を出力する警報部と、を備えた傷病者検出装置である。
【0008】
また、本発明の一態様は、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部と、上述した傷病者検出装置とを備える傷病者検出システムである。
【0009】
また、本発明の一態様は、位置抽出部が、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部が撮像した画像に基づいて、前記画像内の人、及び当該人の人体部位の位置を抽出するステップと、転倒検出部が、前記人の人体部位の位置に基づいて、前記人の転倒を検出するステップと、傷病者判定部が、前記転倒検出部が検出した前記人の転倒が転倒の検出から所定の期間継続している場合に、当該人を転倒継続状態にある傷病者であると判定するステップと、警報部が、前記傷病者判定部が前記傷病者を判定した場合に、警報を出力するステップと、を含む傷病者検出方法である。
【発明の効果】
【0010】
本発明によれば、傷病者の誤検出を低減することができる。
【図面の簡単な説明】
【0011】
図1】本実施形態に係る傷病者検出システム1の構成の概要を示す図である。
図2】本実施形態に係る撮像部10が撮像した画像の一例を示す図である。
図3】監視カメラ・監視場所対応テーブルの一例を示す図である。
図4】位置抽出部31が、図2の画像から抽出した人体部位の位置データの一例を示す図である。
図5】本実施形態に係る位置抽出部31が抽出した人体部位の一例を示す図である。
図6】人体フレームの一例を示す図である。
図7図6の画像に基づいて算出された人体の重心の位置を示す図である。
図8図6の画像から抽出された人体部位の移動可能領域の一例を示す図である。
図9】本実施形態に係る傷病者検出処理手順を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施形態に係る傷病者検出システムについて説明する。
【0013】
(傷病者検出システム)
図1は、本実施形態に係る傷病者検出システム1の構成の概要を示す図である。
傷病者検出システム1は、少なくとも1つの撮像部(10a、10b)と、傷病者検出装置100とを備える。
【0014】
撮像部(10a、10b)は、屋内又は屋外に設置された監視カメラであり、監視対象の場所である監視場所を撮像し、撮像した画像に撮像時の条件等(例えば、カメラのフレームレート等)を示す付加情報を付与して傷病者検出装置100(後述する、制御部30)に送信する。なお、本実施形態において、任意の撮像部を示す場合、又は特に区別しない場合には、撮像部10として説明する。
ここで、付加情報は、監視カメラを識別するためのカメラ識別情報と、画像の撮像時刻Tとを少なくとも含む。本実施形態では、カメラ識別情報の付与ルールとして、頭文字に“C”を含むものとし(例えば、C01)、撮像時刻Tは、YYYYMMDDHHmmss(年月日時分秒)形式で表されるものとする。例えば、撮像時刻Tは、2020年1月1日12時00分30秒の場合、20200101120030と表される。
【0015】
ここで、図2を参照して、撮像部10が撮像した画像について説明する。
図2は、本実施形態に係る撮像部10が撮像した画像の一例を示す図である。画像D内には、地面Gの上に両手両足を広げて起立している人50aと、地面Gの上に横臥している人50bとが存在する。なお、本実施形態において、画像内の任意の人を示す場合、又は特に区別しない場合には、人50として説明する。
【0016】
また、本実施形態では、制御部30(後述する、位置抽出部31)は、画像内の人50に各々を識別するための人識別情報を付与する。本実施形態では、人識別情報の付与ルールとして、頭文字に“M”を含むとする。図2に示す例では、位置抽出部31は、人識別情報として、例えば、人50aにはM001を、人50bにはM002をそれぞれ付与する。
【0017】
傷病者検出装置100は、撮像部10と通信可能なパーソナルコンピュータ、又はサーバ装置である。傷病者検出装置100は、記憶部20と、制御部30と、警報部40とを備える。
【0018】
記憶部20は、制御部30が利用する各種データを記憶する。記憶部20は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)などの記憶媒体など、又は、これらの記憶媒体の任意の組み合わせによって構成される。また、記憶部20として、例えば、不揮発性メモリを用いることができる。
記憶部20は、撮像部情報記憶部21と、ソフトウェア記憶部22と、位置データ記憶部23と、判定条件記憶部24とを備える。
【0019】
撮像部情報記憶部21は、監視カメラ・監視場所対応テーブルを記憶する。ここで、図3を参照して、監視カメラ・監視場所対応テーブルについて説明する。
図3は、監視カメラ・監視場所対応テーブルの一例を示す図である。監視カメラ・監視場所対応テーブルは、カメラ識別情報と、当該カメラ識別情報に対応している監視カメラの監視場所名とを含む。図3に示す例では、カメラ識別情報と監視場所名とは、C01ではエリアA、C02ではエリアBであることを示している。
【0020】
ソフトウェア記憶部22は、制御部30(後述する、位置抽出部31)が使用する骨格推定プログラムを記憶する。骨格推定プログラムは、例えば、OpenPose又はPoseNet等のオープンソースであってもよいし、人の全身画像から骨格を推定するユーザ自作の機械学習モデルであってもよい。
【0021】
位置データ記憶部23は、制御部30(後述する、位置抽出部31)が作成した位置データを更新して記憶する。なお、位置抽出部31が、画像から人50、及び当該人50の人体部位の位置を抽出する処理の詳細については後述する。ここで、図4を参照して、位置データの詳細について説明する。
図4は、位置抽出部31が、図2の画像から抽出した人体部位の位置データの一例を示す図である。位置データは、人識別情報と、監視場所名と、撮像時刻Tにおける画像内の人体部位の位置とを含む。ここで、画像内の位置は、例えば、画像の横方向(水平方向)の位置座標と、画像の縦方向(鉛直方向)の位置座標とを成分とする2次元の位置座標として示される。以下の説明において、画像の横方向の位置座標を位置X、画像の縦方向の位置座標を位置Yとして説明する。
図4に示す例では、人50a(人識別情報はM001)に対して、監視場所名と撮像時刻Tにおける人体部位の位置は、それぞれエリアAとR1(T)である。また、人50b(人識別情報はM002)に対して、監視場所名と撮像時刻Tにおける人体部位の位置は、それぞれエリアAとR2(T)である。ここで、R1(T)とR2(T)は、図2の画像から抽出された全ての人体部位の位置を含んでいる。
【0022】
判定条件記憶部24は、制御部30(後述する、転倒検出部32)が生成した人体フレームを更新して記憶する。なお、転倒検出部32が人体フレームを生成する処理の詳細については後述する。
また、判定条件記憶部24は、制御部30(後述する、傷病者判定部33)が設定した転倒開始時刻T0と移動可能領域とを更新して記憶する。なお、転倒開始時刻T0には、初期値として例えば、000000000000(YYYYMMDDhhmmss形式)が設定されるものとする。なお、傷病者判定部33が、転倒開始時刻T0と移動可能領域とを設定する処理の詳細については後述する。
【0023】
制御部30は、例えば、傷病者検出装置100の制御ソフトウェアを実行するCPU(Central Processing Unit)であり、傷病者検出装置100の各部位を包括的に制御する。
制御部30は、位置抽出部31と、転倒検出部32と、傷病者判定部33とを備える。
【0024】
位置抽出部31は、監視場所を撮像する少なくとも1つの撮像部10が撮像した画像に基づいて、画像内の人50、及び当該人50の人体部位の画像内の位置を抽出する。本実施形態において、位置抽出部31は、ソフトウェア記憶部22が記憶する骨格抽出プログラムを使用して、画像内の人50、及び当該人50の人体部位の位置を抽出する。また、位置抽出部31は、画像から抽出した人50に各々を識別するための人識別情報を付与する。
【0025】
なお、人体部位は、例えば、顔の部位と、関節部位とを含む。ここで、図5を参照して人体部位の抽出例について説明する。
図5は、本実施形態に係る位置抽出部31が抽出した人体部位の一例を示す図である。顔の部位は、両目(51a、51b)と、両耳(52a、52b)と、鼻(53)とを含む5個の部位で構成される。関節部位は、両肩(54a、54b)と、両肘(55a、55b)と、両手首(56a、56b)と、両臀部(57a、57b)と、両膝(58a、58b)と、両足首(59a、59b)とを含む12個の部位で構成される。ここで、添え字aは左側、添え字bは右側を表す。位置抽出部31は、このような図5に示す人体部位の位置を抽出する。
なお、本実施形態において、目、耳、肩、肘、手首、臀部、膝、足首の左右を特に区別しない場合には、目51、耳52、肩54、肘55、手首56、臀部57、膝58、足首59として説明する。
【0026】
また、位置抽出部31は、画像に付与された付加情報に含まれるカメラ識別情報と画像の撮像時刻Tとを取得する。さらに、位置抽出部31は、カメラ識別情報に基づき、撮像部情報記憶部21が記憶する監視カメラ・監視場所対応テーブルを参照して、撮像部10の監視場所を判定する。例えば、位置抽出部31は、取得したカメラ識別情報がC01の場合に、図3に示した監視カメラ・監視場所対応テーブルを参照して、撮像部10の監視場所をエリアAであると判定する。
また、位置抽出部31は、人識別情報と、監視場所名と、撮像時刻Tにおける画像内の人体部位の位置とを含む位置データを作成して、位置データ記憶部23に更新して記憶させる。
【0027】
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、人50の転倒を検出する。具体的には、転倒検出部32は、後述する3つの転倒判定条件のいずれかが満たされる場合に、人50の転倒を検出したと判定し、3つの転倒判定条件が一つも満たされない場合に、人50の転倒を検出していないと判定する。
【0028】
ここで、3つの転倒判定条件の詳細について説明する。
第1の転倒判定条件は、画像内の人体の輪郭範囲を表す長方形の人体フレームにおいて、人体フレームの横方向の長さに対する縦方向の長さの比が所定の閾値(例えば、1.0)未満である、という条件である。
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、人体フレームを生成し、第1の転倒判定条件が満たされるか否かを判定するとともに、生成した人体フレームを判定条件記憶部24に更新して記憶させる。
人体フレームとは、人体部位の位置の中、画像の横方向の最小位置Xmin、及び最大位置Xmaxと、画像の縦方向の最小位置Ymin、及び最大位置Ymaxとを通る長方形であって、横方向の最小位置Xminと最大位置Xmaxとの距離を横方向の長さHとし、縦方向の最小位置Yminと最大位置Ymaxとの距離を縦方向の長さVとする長方形である。
図6は、人体フレームの一例を示す図である。人体フレームFRは、左手首56a(横方向の最小位置Xmin)と、右足首59b(横方向の最大位置Xmax)と、左肩54a(縦方向の最大位置Ymax)と、左足首59a(縦方向の最小位置Ymin)とを通る長方形であって、横方向の最小位置Xminと最大位置Xmaxとの距離を横方向の長さHとし、縦方向の最小位置Yminと最大位置Ymaxとの距離を縦方向の長さVとする長方形である。
【0029】
第2の転倒判定条件は、顔の部位(例えば、鼻53)の縦方向の位置Yが、関節部位に含まれる肩54と、臀部57と、膝58と、足首59との中いずれか一つの縦方向の位置Yよりも低いという、条件である。
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、第2の転倒判定条件が満たされるか否かを判定する。例えば、転倒検出部32は、図6に示したように、顔の部位の縦方向の位置Yが左肩54a又は左臀部57aの縦方向の位置Yよりも低い場合に、第2の転倒判定条件が満たされると判定する。
【0030】
第3の転倒判定条件は、画像内において人体の重心の横方向の位置Xが、左足首59aの横方向の位置Xと右足首59bの横方向の位置Xとの間にないという、条件である。
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、人体の重心の位置を算出し、第3の転倒判定条件が満たされるか否かを判定する。本実施形態において、人体の重心は、両肩(54a、54b)の中点P1と、両臀部(57a、57b)の中点P2とを結ぶ直線の長さをLとしたときに、臀部側からL/3の距離にあるとする。
図7は、図6の画像に基づいて算出された人体の重心の位置を示す図である。人体の重心P0は、両肩(54a、54b)の中点P1と、両臀部(57a、57b)の中点P2とを結ぶ長さLの直線上の点であって、中点P2からL/3の距離にある点である。この場合、転倒検出部32は、人体の重心P0の横方向の位置Xが、左足首59aの横方向の位置Xと右足首59bの横方向の位置Xとの間にないことから、第3の転倒判定条件が満たされると判定する。
【0031】
傷病者判定部33は、転倒検出部32が人50の転倒を検出した場合に、検出した転倒が新たに発生した新規の転倒であるか否かを判定する。なお、この判定処理の詳細については後述する。
【0032】
また、傷病者判定部33は、検出した転倒が新規の転倒であると判定した場合に、転倒開始時刻T0を撮像時刻Tに設定して、判定条件記憶部24に更新して記憶させる。ここで、転倒開始時刻T0とは、新規の転倒が検出された画像の撮像時刻Tのことである。
また、傷病者判定部33は、詳しくは後述するように、検出した転倒が継続してない場合、又は、検出した転倒が所定の期間以上継続している場合に、開始時刻T0を初期値に設定して、判定条件記憶部24に更新して記憶させる。
【0033】
さらに、傷病者判定部33は、検出した転倒が新規の転倒であると判定した場合に、転倒の継続判定に使用する移動可能領域(所定領域の一例)を設定し、判定条件記憶部24に更新して記憶させる。
具体的には、傷病者判定部33は、位置データ記憶部23が記憶する位置データと、判定条件記憶部24が記憶する人体フレームとに基づいて、人体部位それぞれに対して移動可能領域を設定する。ここで、移動可能領域とは、転倒開始時刻における人体部位の位置を中心とした正方形であって、人体フレームの長辺の長さHを所定の倍率(例えば、10分の1)で縮小したものを一辺の長さとする正方形である。ここで、図8を参照して移動可能領域について説明する。
図8は、図6の画像から抽出された人体部位の移動可能領域の一例を示す図である。13個の人体部位それぞれに対して、人体フレームFR(図6参照)の長辺の長さHを10分の1に縮小したものを一辺の長さとする、正方形の移動可能領域Sが設定されている。
【0034】
傷病者判定部33は、転倒検出部32が検出した人50の転倒が、新規転倒の検出(転倒開始時刻T0)から所定の期間継続している場合に、当該人50を転倒継続状態にある傷病者であると判定する。このとき、傷病者判定部33は、傷病者の検出を示す傷病者検出信号を警報部40に送信する。
具体的には、傷病者判定部33は、転倒開始時刻T0から所定の期間内(例えば、10秒以内)に、17個の人体部位のうち所定の部位(例えば、12個の関節部位)の移動が、所定の移動可能領域内に収まる場合に、人50を転倒継続状態にある傷病者であると判定する。なお、所定の期間は、任意の時間を用いるようにしてもよく、例えば、転倒しても問題なく直ぐに立ち上がることができず、救助を要すると思われる程度に転倒した後の姿勢が継続する時間をもとに決定してもよい。
一方、傷病者判定部33は、転倒検出部32が検出した人50の転倒が、新規転倒の検出から所定の期間継続していない場合に、当該人50を転倒継続状態にないと判定する。
なお、本実施形態において、傷病者とは、転倒開始時刻T0とほぼ同じ転倒姿勢を所定の期間維持している人のことであり、例えば、転倒した際に怪我をして動けないでいる人などを想定している。
【0035】
警報部40は、傷病者判定部33の判定結果において、画像内の人50が傷病者であると判定された場合に警報を出力する機能を有し、例えば、警報音を発する機能を有したアラームである。警報部40は。傷病者判定部33から傷病者検出信号を受信すると、監視領域内に傷病者が発生したことを知らせる警報音を発する。また、警報部40は、無線通信機能等の通信機能を備えていてもよく、傷病者検出信号を受信すると、傷病者の発生を知らせる信号を警備員が携帯する受信機に送信する。
【0036】
(傷病者検出処理)
次に、図9を参照して、本実施形態に係る傷病者検出処理について説明する。
図9は、本実施形態に係る傷病者検出処理手順を示すフローチャートである。
【0037】
位置抽出部31は、監視場所を撮像する少なくとも1つの撮像部10が撮像した画像を受信すると、画像に付与された付加情報に含まれるカメラ識別情報と画像の撮像時刻Tとを取得する(ステップS201)。
さらに、位置抽出部31は、取得したカメラ識別情報に基づき、撮像部情報記憶部が記憶する監視カメラ・監視場所対応テーブルを参照して、撮像部10の監視場所名を判定する。
【0038】
位置抽出部31は、撮像部10が撮像した画像に基づき、ソフトウェア記憶部22が記憶する骨格抽出プログラムを使用して、画像内の人50、及び当該人50の人体部位の位置を抽出する(ステップS202)。このとき、位置抽出部31は、画像から抽出した人50に対して人識別情報を付与する。
【0039】
位置抽出部31は、人識別情報と、監視場所名と、撮像時刻Tにおける人体部位の位置とを含む位置データを作成し、位置データ記憶部23に更新して記憶させる(ステップS203)。
【0040】
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、画像内の人体の輪郭範囲を表す長方形の人体フレームを生成し、人体フレームの横方向の長さに対する縦方向の長さの比が所定の閾値未満であるという、第1の転倒判定条件が満たされるか否かを判定する(ステップS204)。また、転倒検出部32は、生成した人体フレームを判定条件記憶部24に更新して記憶させる。
【0041】
転倒検出部32は、第1の転倒判定条件が満たされる場合に(ステップS204-YES)、人の転倒を検出したと判定して、処理をステップS207へ進める。一方、転倒検出部32は、第1の転倒判定条件が満たされない場合に(ステップS204-NO)、人の転倒を検出していないと判定して、処理をステップS205へ進める。
【0042】
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、顔の部位の縦方向の位置Yが、関節部位に含まれる肩54と、臀部57と、膝58と、足首59との中いずれか一つの縦方向の位置Yよりも低いという、第2の転倒判定条件が満たされるか否かを判定する(ステップS205)。
転倒検出部32は、第2の転倒判定条件が満たされる場合に(ステップS205-YES)、人の転倒を検出したと判定して、処理をステップS207へ進める。一方、転倒検出部32は、第2の転倒判定条件が満たされない場合に(ステップS205-NO)、人の転倒を検出していないと判定して、処理をステップS206へ進める。
【0043】
転倒検出部32は、位置データ記憶部23が記憶する位置データに基づいて、人体の重心の位置を算出し、画像内における人体の重心の横方向の位置Xが、左足首59aの横方向の位置Xと右足首59bの横方向の位置Xとの間にないという、第3の転倒判定条件が満たされるか否かを判定する(ステップS206)。このとき、転倒検出部32は、関節部位に含まれる肩54、及び臀部57の位置データに基づいて、人体の重心の位置を算出する。
転倒検出部32は、第3の転倒判定条件が満たされる場合に(ステップS206-YES)、人の転倒を検出したと判定して、処理をステップS207へ進める。
一方、転倒検出部32は、第3の転倒判定条件が満たされない場合に(ステップS206-NO)、人の転倒を検出していないと判定して、処理をステップS201に戻し、以降の処理を繰り返す。
【0044】
ステップS207において、傷病者判定部33は、判定条件記憶部24が記憶する転倒開始時刻T0に基づいて、転倒検出部32が検出した転倒が、撮像時刻Tから新しく開始した新規の転倒であるか否かを判定する。
より具体的には、傷病者判定部33は、転倒開始時刻T0が初期値(例えば、000000000000)である場合に、新規の転倒であると判定して(ステップS207-YES)、処理をステップS208へ進める。一方、傷病者判定部33は、転倒開始時刻T0が初期値ではない場合に、新規の転倒ではないと判定して(ステップS207-NO)、処理をステップS209へ進める。
【0045】
ステップS208において、傷病者判定部33は、転倒開始時刻T0と移動可能領域とを設定し、判定条件記憶部24に更新して記憶させる。具体的には、傷病者判定部33は、転倒開始時刻T0を新規の転倒が検出された撮像時刻Tに設定する。さらに、傷病者判定部33は、位置データ記憶部23が記憶する位置データと、判定条件記憶部24が記憶する人体フレームとに基づいて、人体部位のそれぞれに対して移動可能領域を設定する。
【0046】
ステップS209において、傷病者判定部33は、撮像時刻Tにおける人体部位の位置が移動可能範囲内に収まるが否かに応じて、画像内の人50の転倒の継続を判定する。
具体的には、傷病者判定部33は、人体部位の位置が移動可能領域に収まる場合に(ステップS209-YES)、転倒は継続していると判定して、処理をステップS210へ進める。
一方、傷病者判定部33は、人体部位の位置が移動可能領域に収まらない場合に(ステップS209-NO)、転倒は継続していないと判定して、転倒開始時刻T0を初期値に設定し、判定条件記憶部24に更新して記憶させる。その後、傷病者判定部33は、処理をステップS201へ戻し、以降の処理を繰り返す。
【0047】
ステップS210において、傷病者判定部33は、判定条件記憶部24が記憶する転倒開始時刻T0に基づき、画像内の人50の転倒が所定の期間継続しているか否かを判定し、この判定結果に応じて当該人50が傷病者であるか否かを判定する。
具体的には、傷病者判定部33は、撮像時刻Tと転倒開始時刻T0との時間差が所定の期間以上である場合に(ステップS210-YES)、傷病者を検出したと判定して、転倒開始時刻T0を初期値に設定し、判定条件記憶部24に更新して記憶させる。さらに、傷病者判定部33は、傷病者を検出したことを示す傷病者検出信号を警報部40に送信して、処理をステップS211に進める。
一方、傷病者判定部33は、撮像時刻Tと転倒開始時刻T0との時間差が所定の期間未満である場合に(ステップS210-NO)、傷病者を検出していないと判定し、処理をステップS201に戻して、以降の処理を繰り返す。
【0048】
警報部40は、傷病者検出信号を傷病者判定部33から受信すると、傷病者の発生を知らせる警報を出力する(ステップS211)。
【0049】
以上説明したように、本発明の実施形態に係る傷病者検出装置100は、位置抽出部31と、転倒検出部32と、傷病者判定部33と、警報部40とを備える。位置抽出部31は、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部10が撮像した画像に基づいて、画像内の人50、及び当該人50の人体部位の位置を抽出する。転倒検出部32は、位置抽出部31が抽出した人体部位の位置に基づいて、人50の転倒を検出する。傷病者判定部33は、転倒検出部32が検出した人50の転倒が、転倒の検出から所定の期間継続している場合に、人50を転倒継続状態にある傷病者であると判定する。警報部40は、傷病者判定部33が傷病者を判定した場合に、警報を出力する。
これにより、本発明の実施形態に係る傷病者検出装置100は、画像から抽出した人体部位の位置に基づいて、転倒を検出するとともに、検出した転倒の継続状態を判定するため、傷病者の誤検出を低減することができる。
傷病者検出装置100は、人50の転倒が所定の期間継続している場合に傷病者と判定するので、例えば、人50が転倒後すぐに(転倒から数秒以内に)立ち上がって動き出す場合には傷病者と判定しない。また、傷病者検出装置100は、人50がゆっくりうずくまった後に横になり動かない場合には、傷病者であると判定する。このように、傷病者検出装置100は、人50を傷病者として適切に検出することができる。
【0050】
また、本発明の実施形態では、転倒検出部32は、人体部位の位置の中、画像の横方向の最小位置及び最大位置と、画像の縦方向の最小位置及び最大位置とを通る長方形であって、横方向の最小位置と最大位置との距離を横方向の長さとし、縦方向の最小位置と最大位置との距離を縦方向の長さとする長方形(人体フレーム)を生成する。転倒検出部32は、長方形の横方向の長さに対する縦方向の長さの比が所定の閾値未満となる場合に(第1の転倒判定条件が満たされる場合に)、人50が転倒しているとして検出する。
これにより、本発明の実施形態に係る傷病者検出装置100は、第1の転倒判定条件を満たす転倒姿勢にある人を検出し、転倒者の検出もれを低減することができるため、傷病者の誤検出を低減することができる。例えば、傷病者検出装置100は、第1の転倒判定条件により、画像の横方向に水平に頭と足を向けている人50を転倒していると適切に検出することができる。
【0051】
また、本発明の実施形態では、人体部位は、顔の部位と、関節部位とを含み、転倒検出部32は、画像内において、顔の部位の縦方向の位置Yが、関節部位に含まれる肩54と、臀部57と、膝58と、足首59とのいずれか一つの縦方向の位置Yよりも低い場合に(第2の転倒判定条件が満たされる場合に)、人50が転倒しているとして検出する。
これにより、本発明の実施形態に係る傷病者検出装置100は、第2の転倒判定条件を満たす転倒姿勢にある人を検出し、転倒者の検出もれを低減することができるため、傷病者の誤検出を低減することができる。例えば、傷病者検出装置100は、第2の転倒判定条件により、画像の縦方向の下向き(画像の下部側)に頭を向け、画像の縦方向の上向き(画像の上部側)に足を向けている人50を転倒していると適切に検出することができる。
【0052】
また、本発明の実施形態では、転倒検出部32は、関節部位の位置に基づいて、人体の重心の位置を算出し、画像内において、重心の横方向の位置Xが、左足首59aの横方向の位置Xと右足首59bの横方向の位置Xとの間にない場合に(第3の転倒判定条件が満たされる場合に)、人50が転倒しているとして検出する。
これにより、本発明の実施形態に係る傷病者検出装置100は、第3転倒判定条件を満たす転倒姿勢にある人を検出し、転倒者の検出もれを低減することができるため、傷病者の誤検出を低減することができる。例えば、傷病者検出装置100は、第3の転倒判定条件により、画像の横方向に水平に頭と足を向けている人50、又は、画像の縦方向に対して斜めに傾いている人50を転倒していると適切に検出することができる。
【0053】
また、本発明の実施形態では、傷病者判定部33は、所定の期間内において、画像内の人体部位の移動が所定領域内(移動可能領域内)に収まる場合に、人50を傷病者であると判定する。
これにより、本発明の実施形態に係る傷病者検出装置100は、転倒の開始時とほぼ同じ転倒姿勢を所定の期間維持している人を傷病者として検出することができるため、傷病者の誤検出を低減することができる。
例えば、所定の期間内において、痙攣のために人体部位の一部(例えば、膝など)が小さく震えている場合には、人体部位の移動の大半は移動可能領域内に収まっているので、傷病者判定部33は、人50を傷病者であると判定することができる。また、人50が転倒したまま助けを求めて片腕を大きく振っているために、肘55又は手首56の位置が移動可能領域内に収まらないような場合であっても、残りの人体部位の位置が移動可能領域内に収まっているので、傷病者判定部33は、当該人50を傷病者であると判定することができる。
【0054】
また、本発明の実施形態に係る傷病者検出システム1は、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部10と、上述した傷病者検出装置100とを備える。
これにより、本発明の実施形態に係る傷病者検出システム1は、上述した傷病者検出装置100と同様の効果を奏し、傷病者の誤検出を低減することができる。
【0055】
また、本発明の実施形態に係る傷病者検出方法は、位置抽出部31が、監視対象の場所である監視場所を撮像する少なくとも1つの撮像部10が撮像した画像に基づいて、画像内の人50、及び当該人50の人体部位の位置を抽出するステップと、転倒検出部32が、人50の人体部位の位置に基づいて、人50の転倒を検出するステップと、傷病者判定部33が、転倒検出部32が検出した人50の転倒が転倒の検出から所定の期間継続している場合に、人50を転倒継続状態にある傷病者であると判定するステップと、警報部40が、傷病者判定部33が傷病者を判定した場合に、警報を出力するステップと、を含む。
これにより、本発明の実施形態に係る傷病者検出方法は、上述した傷病者検出装置100と同様の効果を奏し、傷病者の誤検出を低減することができる。
【0056】
本発明の実施形態において、撮像部10が監視カメラである例を説明したが、これに限定されるものではなく、例えば単眼カメラであってもよい。これにより、監視カメラの導入、又は運用に係る費用を抑えることができる。
【0057】
また、本発明の実施形態において、位置抽出部31がソフトウェア記憶部22が記憶する骨格推定プログラムを使用して画像内の人、及び当該人50の人体部位の位置を抽出する例を説明したが、これに限定されるものではなく、例えば、オンラインで骨格推定プログラムを実行できるウェブサイトにネットワークを介して接続することにより、人体部位の位置を抽出するようにしてもよい。
これにより、骨格推定プログラムの導入、又は、当該骨格推定プログラムの実行環境の構築が困難な場合であっても、画像内の人、及び人体部位の位置を抽出することができる。
【0058】
また、本発明の実施形態において、転倒検出部32が、17個の人体部位の位置に基づいて、3つの転倒判定条件のいずれかが満たされる場合に転倒を検出する例を説明したが、これに限定されるものではなく、人体部位の選び方、転倒判定条件の数、及び、転倒判定条件の内容を、例えば傷病者検出の的中率に応じて、再設定するようにしてもよい。これにより、傷病者検出の精度を向上させることができる。
【0059】
上述した実施形態における傷病者検出処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0060】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0061】
1…傷病者検出システム、10、10a、10b…撮像部、20…記憶部、21…撮像部情報記憶部、22…ソフトウェア記憶部、23…位置データ記憶部、24…判定条件記憶部、30…制御部、31…位置抽出部、32…転倒検出部、33…傷病者判定部、40…警報部、50、50a、50b…人、51…目、52…耳、53…鼻、54…肩、55…肘、56…手首、57…臀部、58…膝、59…足首
図1
図2
図3
図4
図5
図6
図7
図8
図9