特開 2024-89850 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089850

(43)【公開日】2024-07-04

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240627BHJP

   G06T 7/55 20170101ALI20240627BHJP

【ＦＩ】

G06T7/00 660B

G06T7/55

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022205335

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】304020498

【氏名又は名称】サクサ株式会社

(71)【出願人】

【識別番号】591207574

【氏名又は名称】サクサシステムエンジニアリング株式会社

(74)【代理人】

【識別番号】100091546

【弁理士】

【氏名又は名称】佐藤 正美

(74)【代理人】

【識別番号】100206379

【弁理士】

【氏名又は名称】丸山 正

(72)【発明者】

【氏名】鈴木 麻井

(72)【発明者】

【氏名】蝦名 正一

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA04

5L096DA03

5L096FA06

5L096FA64

5L096FA67

5L096FA69

5L096HA02

(57)【要約】

【課題】 人物である被写体が監視カメラから離れる方向である奥行方向に転倒した場合であっても、転倒状態を適切に検出できるようにする。
【解決手段】 姿勢推定部１０３により、最新のフレーム画像データより被写体の骨格座標が取得され、被写体に関する情報が特定され、当該特定された情報に基づいて、全方位転倒判定部１０４１により、被写体が転倒状態にあるか否かが判定される。被写体は転倒状態にないと判別されると、奥行方向転倒可能性判定部１０４２により、Ｎ秒前のフレーム画像の被写体の骨格座標と最新の骨格座標とが用いられて、奥行方向への転倒の可能性が判定される。奥行方向への転倒の可能性があると判別されると、奥行方向転倒判定処理部により被写体が奥行方向に転倒した状態にあるか否かを判定する処理が行われる。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の人物を被写体として連続的に撮影することにより得た映像データを構成するフレーム画像を用いて、前記被写体が転倒状態にあるか否かを判別する画像処理装置であって、
最新の前記フレーム画像より前記被写体の骨格座標を取得し、前記被写体に関する情報を特定して前記被写体の姿勢を推定可能にする姿勢推定手段と、
前記姿勢推定手段において特定した情報に基づいて、前記被写体が転倒状態にあるか否かを判定する全方位転倒判定手段と、
前記全方位転倒判定手段において、前記被写体は転倒状態にないと判別された場合に、Ｎ秒前の前記フレーム画像より取得される前記被写体の骨格座標と、前記姿勢推定手段で取得された最新の前記フレーム画像の前記被写体の骨格座標とを用いて、奥行方向への転倒の可能性を判定する奥行方向転倒可能性判定手段と、
前記奥行方向転倒可能性判定手段において、奥行方向への転倒の可能性があると判定された場合に、前記被写体が奥行方向に転倒した状態にあるか否かを判定する処理を行う奥行方向転倒判定処理手段と
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記奥行方向転倒判定処理手段は、
前記被写体の最新の前記フレーム画像内の上下方向の位置を判定する上下方向位置判定手段と、
前記上下方向位置判定手段によって、前記被写体が最新の前記フレーム画像内の下側に位置していると判定された場合に、Ｎ秒前の前記フレーム画像における肩から足首までの長さが、最新の前記フレーム画像における肩から足首までの長さよりも短く、かつ、最新の前記フレーム画像における腰から膝までの長さと膝から足首までの長さとの比率に偏りがない場合に、前記被写体は転倒状態にあると判別する下位置転倒判定手段
を備えることを特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記奥行方向転倒判定処理手段は、
前記被写体の最新の前記フレーム画像内の上下方向の位置を判定する上下方向位置判定手段と、
前記上下方向位置判定手段によって、前記被写体が前記最新の前記フレーム画像内の中央あるいは上側に位置していると判定された場合に、Ｎ秒前の前記フレーム画像における肩から足首までの長さが、最新のフレームにおける肩から足首までの長さよりも長く、かつ、最新の前記フレーム画像における腰から膝までの長さと膝から足首までの長さとの比率に偏りがない場合に、前記被写体は転倒状態の可能性があると判定する中上位置転倒可能性判定手段と、
前記中上位置転倒可能性判定手段において、前記被写体は転倒状態の可能性があると判定された場合に機能する手段であって、奥行方向への傾き予測角度を算出し、算出した前記傾き予測角度が閾値よりも小さい場合に、前記被写体は転倒状態にあると確定する奥行方向転倒確定手段と
を備えることを特徴とする画像処理装置。

【請求項4】

請求項１、請求項２または請求項３のいずれかに記載の画像処理装置であって、
前記姿勢推定手段は、取得した骨格座標より、各部位の最小Ｘ座標、最小Ｙ座標、最大Ｘ座標、最大Ｙ座標より前記被写体の全体を囲む矩形を求めることができるものであり、
前記全方位転倒判定手段は、
前記矩形の縦の長さが横の長さより長いこと、求めた前記骨格座標が最新の前記フレーム画像の上から下に向かって肩、腰、膝、足首の順序で並んでいること、求めた前記骨格座標に基づいて求められる肩から腰の長さと腰から足首の長さに偏りがないことの１つ以上を満たさない場合に、前記被写体は転倒状態にあると判別する
ことを特徴とする画像処理装置。

【請求項5】

所定の人物を被写体として連続的に撮影することにより得た映像データを構成するフレーム画像を用いて、前記被写体が転倒状態にあるか否かを判別する画像処理を行うコンピュータによって実行される画像処理プログラムであって、
最新の前記フレーム画像より前記被写体の骨格座標を取得し、前記被写体に関する情報を特定して前記被写体の姿勢を推定可能にする姿勢推定ステップと、
前記姿勢推定ステップにおいて特定した情報に基づいて、前記被写体が転倒状態にあるか否かを判定する全方位転倒判定ステップと、
前記全方位転倒判定ステップにおいて、前記被写体は転倒状態にないと判別した場合に、Ｎ秒前の前記フレーム画像より取得される前記被写体の骨格座標と、前記姿勢推定手段で取得された最新の前記フレーム画像の前記被写体の骨格座標とを用いて、奥行方向への転倒の可能性を判定する奥行方向転倒可能性判定ステップと、
前記奥行方向転倒可能性判定ステップにおいて、奥行方向への転倒の可能性があると判定した場合に、前記被写体が奥行方向に転倒した状態にあるか否かを判定する処理を行う奥行方向転倒判定処理ステップと
を実行することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、人物である被写体を撮影することにより得た映像データを構成するフレーム画像を解析して、被写体が転倒している場合を検知できる装置、プログラムに関する。

【背景技術】

【0002】

後に記す特許文献１には、車両に乗車している人物を被写体として撮影することにより得た画像を解析することにより、当該被写体の骨格モデルを生成し、生成した骨格モデルから被写体が立位状態か座位状態かを区別して判定する技術が開示されている。これにより立位状態にある人物対して、着席を促すといった転倒防止措置を講じることができる。また、当該特許文献１には、生成した骨格モデルより被写体が転倒した場合を判別し、転倒していると判別した場合には、車両の運転手等に報知したり、外部に通知したりすることが記載されている。これにより、転倒した人物を迅速に保護することなどの対応が可能になる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第７０９１００７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば化学工場などの危険な薬品を扱う作業現場において、床にこぼれた液体で滑ったり、有毒ガスの吸引によって意識を喪失したりして、転倒事故が発生する場合がある。このような場合に、周囲に別の作業者が居れば迅速な対応が可能であるが、機械化等により他の作業者が近くにいない場合も多い。また、監視カメラによって撮影された映像をリアルタイムに監視担当者が監視し、転倒事故の発生を迅速に検知できるようにすることも考えられる。しかし、監視担当者が何かの理由で席を外し、監視が行われていないときに転倒事故が発生した場合には、転倒事故の発生の検知が遅れてしまう。

【0005】

このため、人に頼ることなく、無人でも作業現場を監視できるようにし、転倒事故の発生を遅滞なく検知して適切な対応を取ることができるようにすることが望まれている。そこで、上述した特許文献１に開示された発明のように、作業者を撮影して得た画像を解析して当該作業者の骨格モデルを生成して作業者の姿勢を把握し、作業者が転倒した場合に自動的に検知できるようにすることが考えられる。より具体的には、撮影して得た画像データを解析し、被写体である作業者の各部位（頭、肩、腰、膝、足首など）の骨格座標を特定し、各部位の位置関係から立位状態と転倒状態とを区別することが考えられる。

【0006】

しかしながら、作業者が監視カメラから離れる方向である奥行方向に転倒した場合には、作業者の各部位の位置関係が立位状態と同じに映ってしまうため、転倒状態と立位状態の区別ができない場合がある。例えば、作業者を撮影した画像において、当該作業者が立位状態にあるときに検出される各部の座標は、当該画像の上側から下側に向かって、頭、肩、腰、膝、足首の順に並ぶ。これに対して、当該作業者が監視カメラに向かって転倒した場合、換言すれば、作業者の頭が監視カメラに近づくように当該作業者が転倒した場合を考える。この場合には、作業者を撮影した画像において、検出される各部の座標は、当該画像の上側から下側に向かって、足首、膝、腰、肩、頭の順になり、立位状態とは逆になるため、転倒状態であることを適切に検知できる。

【0007】

また、当該作業者が監視カメラに対して、横方向に転倒した場合、換言すれば、作業者の頭が監視カメラに対して右側、あるいは、左側に向かって当該作業者が転倒した場合を考える。この場合には、作業者を撮影した画像において、検出される各部の座標は、当該画像の横方向に頭、肩、腰、膝、足首の順になり、立位状態の並び順とは直交する状態となるため、転倒状態であることを適切に検知できる。これらの状態に対して、作業者が監視カメラから離れる方向である奥行方向に転倒した場合、すなわち、作業者の頭が監視カメラから離れる方向に転倒したとする。この場合、作業者を撮影した画像において、検出される各部の座標は、当該画像の上側から下側に向かって頭、肩、腰、膝、足首の順になるため、立位状態のときと同じ並び順になる。このため、作業者が監視カメラから離れる方向である奥行方向に転倒した場合には、転倒状態と立位状態の区別ができない。

【0008】

以上の点に鑑み、この発明は、人物である被写体が監視カメラから離れる方向である奥行方向に転倒した場合であっても、転倒状態を適切に検出できるようにすることを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
所定の人物を被写体として連続的に撮影することにより得た映像データを構成するフレーム画像を用いて、前記被写体が転倒状態にあるか否かを判別する画像処理装置であって、
最新の前記フレーム画像より前記被写体の骨格座標を取得し、前記被写体に関する情報を特定して前記被写体の姿勢を推定可能にする姿勢推定手段と、
前記姿勢推定手段において特定した情報に基づいて、前記被写体が転倒状態にあるか否かを判定する全方位転倒判定手段と、
前記全方位転倒判定手段において、前記被写体は転倒状態にないと判別された場合に、Ｎ秒前の前記フレーム画像より取得される前記被写体の骨格座標と、前記姿勢推定手段で取得された最新の前記フレーム画像の前記被写体の骨格座標とを用いて、奥行方向への転倒の可能性を判定する奥行方向転倒可能性判定手段と、
前記奥行方向転倒可能性判定手段において、奥行方向への転倒の可能性があると判定された場合に、前記被写体が奥行方向に転倒した状態にあるか否かを判定する処理を行う奥行方向転倒判定処理手段と
を備えることを特徴とする。

【0010】

請求項１に記載の発明の画像処理装置によれば、姿勢推定手段によって、最新のフレーム画像より被写体の骨格座標が取得され、被写体に関する情報を特定して被写体の姿勢が推定可能にされる。姿勢推定手段において特定された情報に基づいて、全方位転倒判定手段により、被写体が転倒状態にあるか否かが判定される。全方位転倒判定手段により、被写体は転倒状態にないと判別された場合に、奥行方向転倒可能性判定手段により、Ｎ秒前のフレーム画像の被写体の骨格座標と最新の骨格座標とが用いられて、奥行方向への転倒の可能性が判定される。奥行方向転倒可能性判定手段により、奥行方向への転倒の可能性があると判別された場合に、奥行方向転倒判定処理手段により被写体が奥行方向に転倒した状態にあるか否かを判定する処理が行われる。

【発明の効果】

【0011】

この発明によれば、人物である被写体が監視カメラから離れる方向である奥行方向に転倒した場合であっても、当該転倒状態を適切に検出できる。

【図面の簡単な説明】

【0012】

【図1】実施の形態の画像処理システム及び画像処理装置の構成例を説明するためのブロック図である。

【図2】撮影された画像内の中央部分や中央部分よりも上方に作業者の画像部分が位置する場合における作業者の立位状態の画像と転倒状態の画像の違いについて説明するための図である。

【図3】撮影された画像内の中央部分よりも下方に作業者の画像部分が位置する場合における作業者の立位状態の画像と転倒状態の画像の違いについて説明するための図である。

【図4】被写体が立位状態か転倒状態かを確定するために用いる床面奥行方向（Ｚ軸）と足首から肩までの延長線とのなす角度（予測角度）の算出について説明するための図である。

【図5】実施の形態の画像処理装置で実行される処理を説明するためのフローチャートである。

【図6】図５に続くフローチャートである。

【図7】転倒状態の検出のための処理の実行タイミングについて説明するための図である。

【発明を実施するための形態】

【0013】

以下、図を参照しながら、この発明による装置、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、説明を簡単にするため、例えば、化学工場などの危険な薬品を扱う作業現場においての作業者の状態を、監視カメラを通じて監視する場合を例にして説明する。しかし、この発明は、化学工場などの危険な薬品を扱う作業現場に限るものではなく、人物が転倒状態になった場合に、これを迅速かつ適切に検出する必要がある種々の場合に適用可能なものである。

【0014】

［画像処理システム及び画像処理装置の構成例］
図１は、実施の形態の画像処理システム及び画像処理装置の構成例を説明するためのブロック図である。図１に示すように、画像処理装置１に対しては、入力デバイスとしての監視カメラ２が接続されると共に、出力デバイスとしてモニタ装置（ディスプレイ装置）３が接続されている。

【0015】

監視カメラ２は、化学工場などの作業現場の天井等に設置され、上方より当該作業現場で作業する作業者を監視対象の被写体として撮影するものであり、市販されている既存のものである。この実施の形態の監視カメラ２は、１秒間に３０フレームのフレーム画像を撮影して、これらが連続した映像データを画像処理装置１に提供する。モニタ装置３は、ＬＣＤ（Liquid Crystal Display）などの薄型の表示素子を備え、画像処理装置１から出力された映像信号に応じた映像を表示させるものであり、例えば、パーソナルコンピュータ用に市販されている既存のものである。なお、図１においては省略したが、出力デバイスとしてスピーカを画像処理装置１に接続し、音声情報を出力することも可能である。

【0016】

画像処理装置１は、図１に示すように、映像データ用の入力端子１０１Ｔ、映像入力部１０１、映像蓄積部１０２、姿勢推定部１０３、転倒判定部１０４、判定結果出力部１０５、映像信号用の出力端子１０５Ｔ、制御部１１０、記憶装置１１１を備える。制御部１１０は、図示しないがＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリなどが接続されて構成されたマイクロプロセッサであり、画像処理装置１の各部を制御する機能を実現する。

【0017】

記憶装置１１１は、例えば、ＳＳＤ（Solid State Drive）等の記録媒体とそのドライバとからなる装置部であり、種々のデータ等の記録媒体への記録、記録媒体に記録されたデータ等の読み出し、変更、削除等を行う。記憶装置１１１は、必要となるデータやプログラムを記憶保持する他、種々の処理において生じる中間データを一時記憶する作業領域としても用いられる。

【0018】

映像データ用の入力端子１０１Ｔは、監視カメラ２との接続端部を構成する。映像入力部１０１は、入力端子１０１Ｔを通じて接続された監視カメラ２からの映像データを受け付けて、自機において処理が可能な形式のデータに変換して取り込み、映像蓄積部１０２に記録する処理を行う。映像蓄積部１０２は、この実施の形態では、ＳＳＤとそのドライバとからなる装置部であり、映像入力部１０１からの映像データを蓄積する。映像蓄積部１０２に蓄積された映像データについは、例えば、所定時点から１秒前のフレーム画像、２秒前のフレーム画像などというように、当該映像データを構成するフレーム画像から必要に応じた時点のフレーム画像を読み出して利用することができるようにされている。

【0019】

姿勢推定部１０３は、映像蓄積部１０２に蓄積された映像データの最新のフレーム画像（フレーム画像データ）を解析し、当該フレーム画像に含まれる作業者（監視対象の被写体）の画像の姿勢に関する種々の情報を取得する。具体的に、姿勢推定部１０３は、当該フレーム画像に含まれる作業者の画像部分についての骨格座標を取得する。姿勢推定部１０３は、取得した骨格座標を用いて、当該作業者の画像部分の各部位の最小Ｘ座標、最小Ｙ座標、最大Ｘ座標、最大Ｙ座標を求め、当該フレーム画像において、作業者の画像部分の全体を囲む矩形領域を特定し、当該矩形領域の縦の長さと横の長さとを特定する。当該矩形領域は、対角線の両端、すなわち、左上が（最小Ｘ座標、最小Ｙ座標）、右下が（最大Ｘ座標、最大Ｙ座標）で特定される矩形領域となる。

【0020】

また、姿勢推定部１０３は、取得した作業者の画像部分についての各部位の骨格座標から各部位の並び方向と並び順を特定する。また、姿勢推定部１０３は、取得した作業者の画像部分についての各部位の骨格座標から作業者の画像部分の肩から腰の長さと、腰から足首の長さを特定する。姿勢推定部１０３において特定された作業者の画像部分を囲む矩形領域、作業者の画像部分の各部位の並び方向と並び順、作業者の画像部分の肩から腰の長さ、腰から足首までの長さに基づいて、当該フレーム画像における作業者の画像部分についての姿勢が推定できるようになる。なお、骨格座標の取得は、例えば、背景差分法、ミーンシフト法、パタンマッチングなどの種々の手法を用いて行うことが可能であり、これらの手法は公知の技術であるので詳細な説明については省略する。

【0021】

転倒判定部１０４は、姿勢推定部１０３において特定された情報に基づいて、また、必要がある場合には過去のフレーム画像をも用いて、最新のフレーム画像における作業者の画像部分が、転倒状態にあるか否かを判定する。この実施の形態の転倒判定部１０４は、作業者の画像部分についての各部位の位置関係を用いた作業者の全方位についての転倒判定を行う。しかし、作業者が監視カメラ２から遠ざかる方向である奥行方向に転倒した場合には、立位状態と転倒状態とで作業者の画像部分についての骨格座標により特定される作業者の画像部分の各部位の位置関係が同じに見えるために立位状態と転倒状態との区別がつかない。

【0022】

そこで、この実施の形態の画像処理装置１の転倒判定部１０４は、作業者が監視カメラ２から遠ざかる奥行方向に転倒した場合であっても、転倒したことを適切に判定できるようにしている。このため、図１に示すように、転倒判定部１０４は、全方位転倒判定部１０４１、奥行方向転倒判可能性定部１０４２、画像上下方向位置判定部１０４３、下位置転倒判定部１０４４、中上位置転倒可能性判定部１０４５、奥行方向転倒確定部１０４６を備えている。以下、転倒判定部１０４を構成する各部について説明する。

【0023】

全方位転倒判定部１０４１は、姿勢推定部１０３において特定された情報に基づいて、作業者が当該作業現場においていずれかの方向に転倒しているか（転倒状態になっているか）否かを判定する。具体的に、全方位転倒判定部１０４１は、以下の３つの情報を用いて判定を行う。まず、第１に、全方位転倒判定部１０４１は、上述したように、姿勢推定部１０３において特定された当該フレーム画像において、作業者の画像部分の全体を囲む矩形領域の縦の長さが横の長さよりも長いか否かを判定する。作業者の画像部分が立位状態にある場合には、当該矩形領域の縦の長さが横の長さよりも長くなるためである。

【0024】

第２に、全方位転倒判定部１０４１は、上述したように、姿勢推定部１０３において特定された当該フレーム画像における作業者の画像部分においての各部位の並び順が、当該フレーム画像の上から下に向かって、肩→腰→膝→足首の順になっているか判定する。立位状態でなければ、作業者の画像部分についての各部位の並び順が当該並び順にはならなくなるためである。

【0025】

第３に、全方位転倒判定部１０４１は、上述したように、姿勢推定部１０３において特定された作業者の画像部分においての肩から腰の長さと、腰から足首の長さに偏りがないか否かを判定する。立位状態にあれば、肩から腰の長さと腰から足首の長さとは同程度の長さになるが、しゃがんだり、座り込んだりしている場合には、肩から腰の長さが長く、腰から足首の長さが著しく短くなるためである。また、倒れている場合には、肩から腰の長さと腰から足首の長さとの間に偏りが生じる場合があるためである。

【0026】

全方位転倒判定部１０４１は、上述した第１から第３の判定の全てを満たせば、当該作業者は立位状態にあり、１つでも満たさない場合には、当該作業者は転倒状態と判別する。すなわち、作業者の画像部分の全体を囲む矩形領域の縦の長さが横の長さよりも短い場合には転倒状態と判定する。また、被写体の各部位の並びが上から下に向かって肩→腰→膝→足首の順になっていない場合には転倒状態と判定する。また、被写体の肩から腰の長さと腰から足首の長さに偏りがある場合には転倒状態と判定する。しかし、全方位転倒判定部１０４１において作業者が立位状態であると判定された場合であっても、上述もしたように、作業者が監視カメラ２から離れる方向である奥行方向に転倒している場合もある。そこで、以下の各部が機能する。

【0027】

奥行方向転倒可能性判定部１０４２は、映像蓄積部１０２を参照し、Ｎ秒前（Ｎは１以上の整数であり、例えば、１秒前あるいは２秒前）のフレーム画像を抽出し、当該フレーム画像に含まれる作業者の画像部分においての骨格座標を取得する。なお、骨格座標の取得は、上述した姿勢推定部１０３において用いた手法を用いて行う。奥行方向転倒可能性判定部１０４２は、Ｎ秒前のフレーム画像から取得した作業者の画像部分についての骨格座標に基づいて、作業者の画像部分についての肩と足首の位置を特定する。また、奥行方向転倒可能性判定部１０４２は、姿勢推定部１０３で取得された最新のフレーム画像における当該作業者の画像部分についての肩と足首の位置とを特定する。奥行方向転倒可能性判定部１０４２は、Ｎ秒前のフレーム画像における当該作業者の画像部分についての肩と足首の位置と、最新のフレーム画像における当該作業者の画像部分についての肩と足首の位置とを比較する。

【0028】

この比較の結果、奥行方向転倒可能性判定部１０４２は、どちらかのみに変化が生じている場合には、当該作業者が奥行方向に転倒している可能性があると判定する。例えば、作業者が意識を失って奥行方向に頭から倒れた場合には、両フレーム画像間で足首の位置があまり変化していないのに、肩の位置が大きく変化することになるからである。また、例えば、作業者が奥行方向に滑って転んだ場合には、足首側が奥行方向に大きく移動するのに対して、両フレーム画像間で肩の位置があまり変化していない場合があるためである。しかし、奥行方向に歩行して移動した場合においては、立位状態であっても、監視カメラ２と被写体（作業者）との位置関係から奥行方向転倒可能性判定部１０４２において、奥行方向に転倒している可能性があると判定される場合がある。

【0029】

このため、画像上下方向位置判定部１０４３は、例えば、姿勢推定部１０３において特定された作業者の画像部分の位置に基づいて、作業者の画像部分は、最新のフレーム画像内において上下方向の中央部分あるいは中央部分よりも上方にいるか否かを判定する。フレーム画像内において上下方向の中央部分あるいは中央部分よりも上方に作業者の画像部分が位置している場合と、中央部分よりも下方に位置している場合とでは、作業者の画像部分の見え方が異なるためである。

【0030】

図２は、撮影されたフレーム画像内の中央部分や上方に作業者の画像が位置する場合における作業者の立位状態の画像と転倒状態の画像の違いについて説明するための図である。また、図３は、撮影される画像の中央部分よりも下方に作業者の画像が位置する場合における作業者の立位状態の画像と転倒状態の画像の違いについて説明するための図である。まず、図２を用いて、フレーム画像の上下方向の中央部分に、作業者の画像が位置する場合について説明する。

【0031】

監視カメラ２は、作業現場において監視対象（転倒検出対象）の作業者が作業する作業エリアの全体を撮影するように設置され、この実施の形態においては、作業現場において作業者の左上方の天井部分や壁面部分に設置されているものとする。また、監視カメラ２は、フレーム画像の中央部分に立位状態の作業者の画像部分が位置し、かつ、当該作業者の画像部分の上下方向の長さが当該フレーム画像の上下方向の長さの３０％以上を占めるように、種々の条件が決められる。当該条件は、例えば、作業者までの距離、光軸方向（監視カメラ２の向き）、監視カメラ２のズーム倍率などである。もちろん、作業者は作業エリアにおいて移動する場合もあるが、作業者が一番よくいる場所を基準に決めればよい。

【0032】

図２（Ａ）においては、立位状態の作業者ＰＳと転倒状態の作業者ＰＬを示しており、説明を簡単にするため作業者ＰＳと作業者ＰＬの足首の位置は同じ位置にあるものとして示している。また、図２（Ａ）において、点線の楕円形で示したエリアは、監視カメラ２の画角内において、立位状態の作業者ＰＳの画像部分と転倒状態の作業者ＰＬの画像部分との両方が含まれる最小撮影範囲を示すものであり、監視カメラ２から所定距離だけ離れた位置に設定されている。

【0033】

また、図２（Ａ）において、監視カメラ２の設置方向に延びた斜めの直線は、監視カメラ２のレンズ面を含み光軸と直交する平面と、作業者の足元（つま先）や作業者の頭部とを最短距離で結ぶものである。従って、監視カメラ２のレンズ面を含む当該平面と、作業者のつま先や頭部とを結ぶ直線は、相互に平行なものであり、それらの直線と床面とのなす角の角度θは、図２（Ａ）の場合には、４５度未満とされる。すなわち、角度θが４５度未満の範囲内において、作業者の画像部分は、フレーム画像の上下方向の中央部分、あるいは、中央部分よりも上方（上側）に位置することになる。

【0034】

従って、図２（Ａ）に示した例の場合、すなわち、作業者の画像部分が、フレーム画像の上下方向の中央部分に位置する場合には、立位状態の作業者ＰＳの画像部分の上下方向の長さＨＳは、転倒状態の作業者ＰＬの画像部分の上下方向の長さＨＬに比べて長くなる。図２（Ｂ）は、図２（Ａ）の状態を撮影した場合の立位状態の作業者ＰＳの画像部分を抽出したものであり、図２（Ｃ）は、図２（Ａ）の状態を撮影した場合の転倒状態の作業者ＰＬの画像部分を抽出したものである。図２（Ｂ）と図２（Ｃ）とを比較すると分かるように、立位状態の作業者ＰＳの画像部分の上下方向の長さＨＳは、転倒状態の作業者ＰＬの画像部分の上下方向の長さＨＬに比べて長くなる。しかし、骨格座標の並び順に変化はないため、立位状態の作業者ＰＳの画像部分と転倒状態の作業者ＰＬの画像部分とからは、立位状態か転倒状態かの判別が難しい。

【0035】

なお、ここでは図２を用いて、フレーム画像の上下方向の中央部分に、被写体（作業者）の画像が位置する場合について説明した。図２を用いて説明した立位状態の作業者ＰＳの画像部分と転倒状態の作業者ＰＬの画像部分との上下方向の長さの関係は、フレーム画像の中央よりも上方（上側）の部分に作業者の画像部分が位置する場合においても同様に成立する。しかし、図２を用いて説明した立位状態の作業者ＰＳの画像部分と転倒状態の作業者ＰＬの画像部分との上下方向の長さの関係は、フレーム画像の中央部分よりも下方（下側）の部分に作業者の画像部分が位置する場合には成立しない。具体的に、図３を用いて、フレーム画像の上下方向の下側部分に、作業者の画像部分が位置する場合について説明する。

【0036】

監視カメラ２の設置場所及び設置条件は、上述した通りである。すなわち、図３を用いて説明する場合においても、作業現場において転倒検出対象の作業者が作業する作業エリアの全体を撮影するように設置され、作業現場において作業者の左上方の天井部分や壁面部分に設置されている。また、監視カメラ２は、フレーム画像の中央部分に立位状態の作業者の画像部分が位置し、かつ、当該作業者の画像部分の上下方向の長さが当該フレーム画像の上下方向の長さの３０％以上を占めるように、作業者までの距離や光軸方向（監視カメラ２の向き）が決められる。

【0037】

図３（Ａ）においても、図２（Ａ）の場合と同様に、立位状態の作業者ＰＳと転倒状態の作業者ＰＬを示しており、説明を簡単にするため作業者ＰＳと作業者ＰＬの足首の位置は同じ位置にあるものとして示している。また、図３（Ａ）においても、点線の楕円形で示したエリアは、監視カメラ２の画角内において、立位状態の作業者ＰＳの画像部分と転倒状態の作業者ＰＬの画像部分との両方が含まれる最小撮影範囲を示すものであり、監視カメラ２から所定距離だけ離れた位置に設定されている。

【0038】

また、図３（Ａ）においても、図２（Ａ）の場合と同様に、監視カメラ２の設置方向に延びた斜めの直線は、監視カメラ２のレンズ面を含み光軸と直交する平面と、作業者の足元（つま先）や作業者の頭部とを最短距離で結ぶものである。従って、監視カメラ２のレンズ面を含む当該平面と、作業者のつま先や頭部とを結ぶ直線は、相互に平行なものであり、それらの直線と床面とのなす角の角度θは、図３（Ａ）の場合には、４５度以上とされる。すなわち、角度θが４５度以上の範囲内において、作業者の画像部分は、フレーム画像の上下方向の中央部分よりも下方（下側）に位置することになる。

【0039】

従って、図３（Ａ）に示した例の場合、すなわち、作業者の画像部分が、フレーム画像の上下方向の中央部分より下方（下側）に位置する場合には、転倒状態の作業者ＰＬの画像部分の上下方向の長さＨＬは、立位状態の作業者ＰＳの画像部分の上下方向の長さＨＳに比べて長くなる。図３（Ｂ）は、図３（Ａ）の状態を撮影した場合の立位状態の作業者ＰＳの画像部分を抽出したものであり、図３（Ｃ）は、図３（Ａ）の状態を撮影した場合の転倒状態の作業者ＰＬの画像部分を抽出したものである。図３（Ｂ）と図３（Ｃ）とを比較すると分かるように、立位状態の作業者ＰＳの画像部分の上下方向の長さＨＳは、転倒状態の作業者ＰＬの画像部分の上下方向の長さＨＬに比べて短くなる。しかし、骨格座標の並び順に変化はないため、立位状態の作業者ＰＳの画像部分と転倒状態の作業者ＰＬの画像部分とからは、立位状態か転倒状態かの判別が難しい。

【0040】

また、図２と図３とを比較すると分かるように、フレーム画像において作業者の画像部分が当該フレーム画像の上下方向において、中央部分あるいは中央部分よりも上方に位置する場合と、中央部分よりも下方に位置する場合とでは、当該画像の見え方が逆になる。このため、フレーム画像内において、作業者の画像部分が当該フレーム画像の上下方向のどの部分に位置しているのかを特定できないと、監視カメラから離れる方向である奥行方向に転倒した場合に、転倒状態にあることを適切に検出できないのである。

【0041】

そこで、画像上下方向位置判定部１０４３は、姿勢推定部１０３において特定した作業者の画像部分の骨格座標や作業者の画像部分の輪郭（エッジ）の位置などから、最新のフレーム画像内における被写体の画像の位置を判定する。具体的に、画像上下方向位置判定部１０４３は、作業者の画像部分がフレーム画像の上下方向の中央部分あるいは中央部分よりも上方に位置するのか、中央部分よりも下方に位置するのかを判定する。

【0042】

下位置転倒判定部１０４４は、画像上下方向位置判定部１０４３により、作業者の画像部分が最新のフレーム画像内の上下方向の下方（中央部分より下側）に位置していると判定された場合に機能する。下位置転倒判定部１０４４は、Ｎ秒前のフレーム画像における当該作業者の画像部分についての肩から足首までの長さと、最新のフレーム画像における当該作業者の画像部分についての肩から足首までの長さとを比較する。

【0043】

これは、図３を用いて説明したように、撮影された画像の上下方向の中央部分よりも下方に作業者の画像が位置する場合には、作業者の立位状態の画像の縦（上下方向）の長さは、転倒状態の画像の縦の長さより短くなるためである。従って、Ｎ秒前のフレーム画像における作業者についての画像の肩から足首までの長さより、最新のフレーム画像における作業者の画像部分についての肩から足首までの長さの方が長い場合には、転倒状態にある可能性があると判定できる。

【0044】

更に、下位置転倒判定部１０４４は、最新のフレーム画像における作業者の画像部分についての腰から膝までの長さと膝から足首までの長さとを特定し、両者に偏りがないか（両者の比率が偏っていないか）を調べる。単にしゃがんでいる場合には、腰から膝までの長さと膝から足首までの長さとに偏りが生じるためである。図３（Ｂ）、（Ｃ）に示したように、立位状態と転倒状態とでは、作業者の画像部分における腰から膝までの長さと膝から足首までの長さとに偏りが生じることはない。

【0045】

なお、Ｎ秒前のフレーム画像における当該作業者の画像部分についての肩から足首までの長さは、上述した奥行方向転倒可能性判定部１０４２で特定した作業者の画像部分の骨格座標を用いて求めることができる。また、最新のフレーム画像における当該作業者の画像部分についての肩から足首までの長さは、上述した姿勢推定部１０３で特定した作業者の画像部分の骨格座標を用いて求めることができる。同様に、最新のフレーム画像における作業者の画像部分についての腰から膝までの長さと膝から足首までの長さは、上述した姿勢推定部１０３で特定した作業者の画像部分の骨格座標を用いて求めることができる。

【0046】

下位置転倒判定部１０４４において、最新のフレーム画像での作業者の画像部分の肩から足首までの長さの方が長く、かつ、最新のフレーム画像での作業者の画像部分の腰から膝までの長さと膝から足首までの長さとに偏りが生じていないと判定できたとする。この場合、下位置転倒判定部１０４４は、被写体である作業者は転倒状態にあると判定する。上述した条件の一方でも成り立たない場合には、下位置転倒判定部１０４４は、作業者は立位状態であると判定する。

【0047】

なお、作業者が監視カメラ２に近づく方向に徒歩で移動したとしても、立位状態と転倒状態とでは、常に図３に示した関係が崩れることはない。すなわち、作業者の画像部分がフレーム画像内の上下方向の下方（中央部分より下側）に位置している場合には、立位状態なのに最新のフレーム画像での作業者の画像部分の肩から足首までの長さの方が長くなることはない。このため、下位置転倒判定部１０４４は、上述した条件を満足する場合には、被写体である作業者は転倒状態にあると確定できる。

【0048】

これに対して、中上位置転倒可能性判定部１０４５は、単独で、作業者は転倒状態にあると確定することができないため、転倒状態にある可能性があると判定するにとどまるものである。中上位置転倒可能性判定部１０４５は、画像上下方向位置判定部１０４３により、作業者の画像部分が最新のフレーム画像内の上下方向の中央部分あるいは中央部分よりも上方（上側）に位置していると判定された場合に機能する。

【0049】

中上位置転倒可能性判定部１０４５は、Ｎ秒前のフレーム画像における当該作業者の画像部分についての肩から足首までの長さと、最新のフレーム画像における当該作業者の画像部分についての肩から足首までの長さとを比較する。これは、図２を用いて説明したように、撮影された画像の上下方向の中央部分あるいは中央部分よりも上方に作業者の画像が位置する場合には、作業者の立位状態の画像の縦（上下方向）の長さは、転倒状態の画像の縦の長さより長くなるためである。従って、Ｎ秒前のフレーム画像における作業者についての画像の肩から足首までの長さより、最新のフレーム画像における作業者の画像部分についての肩から足首までの長さが短い場合には、作業者は転倒状態にある可能性があると判定できる。

【0050】

更に、中上位置転倒可能性判定部１０４５は、最新のフレーム画像における当該作業者の画像部分についての腰から膝までの長さと膝から足首までの長さとを特定し、両者に偏りがないか（両者の比率が偏っていないか）を調べる。単にしゃがんでいる場合には、腰から膝までの長さと膝から足首までの長さとに偏りが生じるためである。図２（Ｂ）、（Ｃ）に示したように、立位状態と転倒状態とでは、作業者の画像部分における腰から膝までの長さと膝から足首までの長さとに偏りが生じることはない。

【0051】

この場合においても、Ｎ秒前のフレーム画像における当該作業者の画像部分についての肩から足首までの長さは、上述した奥行方向転倒可能性判定部１０４２で特定した作業者の画像部分の骨格座標を用いて求めることができる。また、最新のフレーム画像における当該作業者の画像部分についての肩から足首までの長さは、上述した姿勢推定部１０３で特定した作業者の画像部分の骨格座標を用いて求めることができる。同様に、最新のフレーム画像における作業者の画像部分についての腰から膝までの長さと膝から足首までの長さは、上述した姿勢推定部１０３で特定した作業者の画像部分の骨格座標を用いて求めることができる。

【0052】

中上位置転倒可能性判定部１０４５において、最新のフレーム画像での作業者の画像部分の肩から足首までの長さの方が短く、かつ、最新のフレーム画像での作業者の画像部分の腰から膝までの長さと膝から足首までの長さとに偏りが生じていないと判定できたとする。この場合、下位置転倒判定部１０４４は、被写体である作業者は転倒状態である可能性があると判定する。上述した条件の一方でも成り立たない場合には、下位置転倒判定部１０４４は、作業者は立位状態であると判定する。

【0053】

上述したように、中上位置転倒可能性判定部１０４５においては、下位置転倒判定部１０４４での処理のように、被写体である作業者は転倒状態であるとは特定できない。中上位置転倒可能性判定部１０４５においては、被写体である作業者は転倒状態である可能性があると判定しているにすぎない。これは、作業者が監視カメラ２から離れる方向である奥行方向に徒歩で移動した場合、立位状態であるにも関わらず、転倒状態の場合と同様の状態になる場合があるためである。すなわち、作業者が奥行方向に徒歩で移動すると、最新のフレーム画像での作業者の画像部分の肩から足首までの長さの方が短く、かつ、最新のフレーム画像での作業者の画像部分の腰から膝までの長さと膝から足首までの長さとに偏りが生じていない状態となる場合がある。

【0054】

そこで、中上位置転倒可能性判定部１０４５において、作業者が転倒状態である可能性があると判定された場合に、奥行方向転倒確定部１０４６が機能する。奥行方向転倒確定部１０４６は、Ｎ秒前のフレーム画像の作業者の画像部分の足首の位置を中心とし、足首から肩までの長さを半径とする円周上に最新のフレーム画像の作業者の画像部分の肩の位置を当てはめて、床面と当該肩の位置に応じた半径とのなす角の角度を求める。当該角度が転倒状態にある作業者の身体に応じた直線（半径）と床面との予測角度となり、最新の作業者の画像部分の肩の位置に応じて算出される予測角度となる。この予測角度が、予め決められる閾値（例えば３０度）と比較し、閾値より小さければ、作業者は転倒状態にあると確定する。

【0055】

予測角度の算出について具体的に説明する。図４は、作業者が立位状態か転倒状態かを確定するために用いる床面と足首から肩までの延長線とのなす角度（予測角度）の算出について説明するための図である。図４（Ａ）は、作業者の画像部分がフレーム画像の上下方向の中央位置あるいは中央位置よりも上方に位置している場合における作業者の立位状態の画像と転倒状態の画像の監視カメラ２に対向する正面の映り方を示している。すなわち、図４（Ａ）の立位状態の画像と転倒状態の画像は、図２（Ｂ）、（Ｃ）に示したものと同様のものである。

【0056】

図４（Ａ）に示すように、転倒状態の作業者の画像部分の足首ＡＬから肩ＳＬまでの長さは、立位状態の作業者の画像部分の足首ＡＳから肩ＳＳまでの長さよりも短くなる。しかし、転倒状態の作業者の画像部分の足首ＡＬの位置と立位状態の作業者の画像部分の足首ＡＳとの位置を一致させたとすると、本来、転倒状態の作業者の画像部分の肩ＳＬの位置と、立位状態の作業者の画像部分の肩ＳＳの位置とは、同じ円周上に位置するものである。このため、作業者の画像部分の足首と肩とを結ぶ直線と床面とがなす角の角度（予測角度）が分かれば、立位状態か転倒状態かの特定が予測角度に応じて客観的に特定できる。

【0057】

従って、上述した中上位置転倒可能性判定部１０４５において、作業者が転倒している可能性があると判定された場合、Ｎ秒前のフレーム画像と最新のフレーム画像とでは、作業者の画像部分については、以下の（１）～（３）に示す状態になっているものと特定できる。すなわち、（１）足首の位置は大きく変化していない。（２）足首から肩までの長さは短くなっている。（３）肩の位置が下がっている。という状態であると特定できる。この（１）～（３）の状態であることを前提にして、予測角度の算出を行う。

【0058】

図４（Ｂ）は、監視カメラ２が作業者を撮影している状態を横から（監視カメラ２の光軸に対して直交する方向から）見た場合の図である。従って、Ｙ軸方向が高さ方向であり、Ｚ軸方向が奥行方向である。この場合、Ｚ軸が床面に対応している。また、図４（Ｂ）の円の中心（原点）が、作業者の画像部分の足首ＡＳ、ＡＬの位置に対応している。また、図４（Ｂ）において、Ｙ軸と円周との交点が立位状態にある作業者の画像部分の肩ＳＳの位置に対応している。更に、図４（Ｂ）において、Ｚ軸近傍の円周上に示した位置が転倒状態にある作業者の画像部分の肩ＳＬの位置に対応している。

【0059】

従って、作業者の画像部分が立位状態である場合には、足首ＡＳと肩ＳＳとを結ぶ直線はＹ軸と位置し、Ｙ軸とＺ軸とのなす角の角度は言うまでもなく９０度（直角）である。これに対して、作業者の画像部分が転倒状態である場合には、肩ＳＬの位置は大きくＺ軸（床面）に近づくため、足首ＡＬと肩ＳＬとを結ぶ直線とＺ軸とのなす角の角度（予測角度）αは、この例の場合には、３０度以下になる。このように予測角度の閾値を３０度以下に設定するのは、作業者が転倒した場合、若干奥行方向に移動するなどの誤差を含む場合もあるためである。このため、作業者の画像部分の足首と肩とを結ぶ直線とＺ軸とのなす角が取り得る角度の範囲は、０度～９０度ということになる。

【0060】

以上を前提にして、予測角度の算出方法の一例を示す。事前準備として、以下の処理を行っておく。（１）作業者の画像部分がフレーム画像の上下方向の中央位置に位置している状況下において、立位状態にある作業者の画像部分の足首ＡＳから肩ＳＳまでの長さＬＳと、転倒状態にある作業者の画像部分の足首ＡＬから肩ＳＬまでの長さＬＬとを求める。（２）転倒状態にあるときの長さＬＬを立位状態にあるときの長さＬＳで割り算し、立位状態にあるときの長さＬＳに対する転倒状態にあるときの長さＬＬの割合ＲＴを求める。

【0061】

（３）１から割合ＲＴを減算し、１００を乗算すれば、作業者の画像部分が立位状態から転倒状態になる場合の足首から肩までの長さの変化範囲の割合ＲＧを求めることができる。この変化範囲の割合ＲＧは、０度から９０度の範囲に対応するものであり、作業者の画像部分が立位状態から転倒状態に至る変化範囲を示す情報となる。従って、９０度を変化の範囲ＲＧで割り算すれば、変化の範囲ＲＧにおける単位変化角度ＵＡが分かる。このため、変化範囲を示す情報となる変化範囲の割合ＲＧと単位変化角度ＵＡとを、奥行方向転倒確定部１０４６が、例えば、自己が備えるメモリや制御部１１０の不揮発性メモリに記録して保持し、いつでも利用可能にしておく。

【0062】

この後、実際に転倒状態の確定を行う場合、奥行方向転倒確定部１０４６は、以下の処理を行う。まず、奥行方向転倒確定部１０４６は、Ｎ秒前のフレーム画像の作業者の画像部分の足首ＡＳ１から肩ＳＳ１までの長さＬＳ１と、最新のフレーム画像の作業者の画像部分の足首ＡＬ１から肩ＳＬ１までの長さＬＬ１とを求める。次に、最新のフレーム画像の作業者の画像部分における当該長さＬＬ１を最新のフレーム画像の作業者の画像部分における当該長さＬＳ１で割り算し、割合ＲＴ１を求める。次に、１から割合ＲＴ１を減算し、１００を乗算すれば、最新のフレームの作業者の画像部分がＮ秒前のフレーム画像の作業者の画像部分からどれだけ変化したかを示す変化範囲の割合ＲＧ１が分かる。

【0063】

そこで、既に求め保持している変化範囲の割合ＲＧから新たに求めた変化範囲の割合ＲＧ１を減算すると、当該変化範囲において、作業者の画像部分がどれだけ変化し（どれだけ倒れ）、あとどれだけ変化可能か、すなわちＺ軸方向に倒れることが可能かを示す変化可能量ＣＨが分かる。この変化可能量ＣＨと単位変化角度ＵＡとを乗算すれば、変化可能な角度、すなわち予測角度αを算出できる。この予測角度αが３０度以下であれば、作業者は転倒状態にあると特定できる。

【0064】

上述した予測角度αの算出方法の一例の具体的な算出例を説明する。ここでは、（１）作業者の画像部分がフレーム画像の上下方向の中央位置に位置している状況下において、立位状態にある作業者の画像部分の足首ＡＳから肩ＳＳまでの長さＬＳが「値１０」で、転倒状態にある作業者の画像部分の足首ＡＬから肩ＳＬまでの長さＬＬが「値７」であったとする。これらの値は、上述したように、フレーム画像における作業者の画像部分の骨格座標に応じて特定できる。この場合の座標は、フレーム画像に対して、縦と横に複数画素単位を１目盛りとする座標系を設定するようにしてもよいし、縦と横の画素位置を座標としてもよい。もちろん他の座標を設定しておくようにしてもよい。（２）転倒状態にあるときの長さＬＬ「値７」を立位状態にあるときの長さＬＳ「値１０」で割り算し、立位状態にあるときの長さＬＳに対する転倒状態にあるときの長さＬＬの割合ＲＴを求める。この例の場合、割合ＲＴ＝７／１０＝「値０．７」となる。

【0065】

（３）１から割合ＲＴ「値０．７」を減算し、１００を乗算すれば、作業者の画像部分が立位状態から転倒状態になる場合の足首から肩までの長さの変化範囲の割合ＲＧ「３０％」を求めることができる。この変化範囲の割合ＲＧ「値３０％」は、０度から９０度の範囲に対応するものであり、作業者の画像部分が立位状態から転倒状態に至る変化範囲を示す情報となる。従って、９０度を変化の範囲ＲＧ「値３０％」で割り算すれば、変化の範囲ＲＧにおける単位変化角度ＵＡ「値３度」が分かる。このため、変化範囲を示す情報となる変化範囲の割合ＲＧ「値３０％」と単位変化角度ＵＡ「値３度」とを、奥行方向転倒確定部１０４６が、所定のメモリに記録して保持し、いつでも利用可能にしておく。

【0066】

この後、実際に転倒状態の確定を行う場合、奥行方向転倒確定部１０４６は、以下の処理を行う。まず、奥行方向転倒確定部１０４６は、Ｎ秒前のフレーム画像の作業者の画像部分の足首ＡＳ１から肩ＳＳ１までの長さＬＳ１と、最新のフレーム画像の作業者の画像部分の足首ＡＬ１から肩ＳＬ１までの長さＬＬ１とを求める。この例では、Ｎ秒前のフレーム画像の作業者の画像部分の足首ＡＳ１から肩ＳＳ１までの長さＬＳ１が「値８」で、最新のフレーム画像の作業者の画像部分の足首ＡＬ１から肩ＳＬ１までの長さＬＬ１が「値６」であったとする。

【0067】

次に、最新のフレーム画像の作業者の画像部分における当該長さＬＬ１「値６」を最新のフレーム画像の作業者の画像部分における当該長さＬＳ１「値８」で割り算し、割合ＲＴ１を求める。この場合、割合ＲＴ１＝６／８＝０．７５となる。次に、１から割合ＲＴ１「値０．７５」を減算し、１００を乗算すれば、最新のフレームの作業者の画像部分がＮ秒前のフレーム画像の作業者の画像部分からどれだけ変化したか（どれだけ倒れたか）を示す変化範囲の割合ＲＧ１が分かる。この例の場合、変化範囲の割合ＲＧ１＝（１－０．７５）×１００＝２５％が算出できる。

【0068】

そこで、既に求め保持している変化範囲の割合ＲＧ「値３０％」から新たに求めた変化範囲の割合ＲＧ１「２５％」を減算すると、当該変化範囲において、作業者の画像部分がどれだけ変化し（どれだけ倒れ）、ありどれだけ変化可能か、すなわちＺ軸方向に倒れることが可能かを示す変化可能量ＣＨが分かる。この例の場合、変化可能量ＣＨ＝３０％－２５％＝５％となる。このため、記憶保持している単位変化角度ＵＡ「値３度」と変化可能量ＣＨ「値５％」とを乗算すると、ありどれだけＺ軸方向に倒れることが可能かを示す角度、すなわち予測角度α＝１５度と求めることができる。この場合、予測角度は３０度以下であるので転倒状態であると特定できる。

【0069】

このようにして、奥行方向転倒確定部１０４６は、最新のフレーム画像における作業者の画像部分の足首と肩とを結ぶ直線と床面とのなす角の角度である予測角度αを算出する。奥行方向転倒確定部１０４６は、算出した予測角度αが、３０度未満であれば、転倒状態であると特定し、予測角度αが３０度以上であれば立位状態であると特定する。このようにして、転倒判定部１０４において、転倒状態にあると判定された場合に、制御部１１０の制御の下、判定結果出力部１０５が機能し、作業者が転倒状態にあることを通知する表示を、モニタ装置３を通じて行うようにする。なお、ここでは、表示出力だけを行うようにしたが、モニタ装置３がスピーカを備えている場合や、別途、スピーカが接続されている場合には、音声により作業者が転倒状態になったことを通知するようにしてもよい。

【0070】

また、予測角度αと比較する閾値は、常に３０度ではなく、監視カメラ２の設置条件（光軸の角度や作業者までの距離）を踏まえた上で、立位状態の作業者の画像部分の肩の位置、転倒状態の作業者の画像部分の肩の位置などを考慮して、作業現場に応じて設定すればよい。また、ここでは、Ｎ秒前のフレーム画像と最新のフレーム画像とを用いて転倒状態か否かを特定するようにしたが、１秒前と最新のフレーム画像とを用いて転倒状態か否かを特定した後、２秒前と最新のフレーム画像とを用いて転倒状態か否かを特定するというように、複数回の特定処理を行うようにしてももちろん良い。

【0071】

［画像処理装置１で行われる処理のまとめ］
図５、図６は、実施の形態の画像処理装置で実行される処理を説明するためのフローチャートである。図５、図６のフローチャートに示す処理は、制御部１１０の制御の下、主に、姿勢推定部１０３と転倒判定部１０４が機能して行われる処理である。制御部１１０は、例えば、フレーム画像ごと、あるいは、複数フレーム画像ごとなどのように、所定のタイミングごとに、図５、図６に示すフローチャートの処理を実行する。

【0072】

図５、図６のフローチャートに示す処理が、制御部１１０により実行されると、制御部１１０の制御の下、姿勢推定部１０３が機能する。姿勢推定部１０３は、映像蓄積部１０２に蓄積された監視カメラ２からの映像データの最新のフレーム画像を読み出し、人物（作業者）の画像部分においての各部位の骨格座標を取得する（ステップＳ１０１）。次に、制御部１１０の制御の下、姿勢推定部１０３が機能し、読み出した最新のフレーム画像において、作業者の画像部分の全体を囲む矩形領域を特定し、当該矩形領域の縦の長さが横の長さよりも長いか否かを調べる（ステップＳ１０２）。ステップＳ１０２で調べた結果は、転倒判定部１０４の全方位転倒判定部１０４１に通知される。

【0073】

更に、姿勢推定部１０３は、ステップＳ１０１の処理で特定した作業者の画像部分の各部位の骨格座標に基づき、人物（作業者）の画像部分においての各部位の位置関係を特定し、上から下に肩、腰、膝、足首の順に並んでいるかを調べる（ステップＳ１０３）。ステップＳ１０３で調べた結果は、転倒判定部１０４の全方位転倒判定部１０４１に通知される。また、姿勢推定部１０３は、ステップＳ１０１の処理で特定した作業者の画像部分の各部位の骨格座標に基づき、肩から腰までの長さと、腰から足首までの長さを特定し、偏りがないかを調べる（ステップＳ１０４）。ステップＳ１０４で調べた結果は、転倒判定部１０４の全方位転倒判定部１０４１に通知される。

【0074】

この後、全方位転倒判定部１０４１は、ステップＳ１０２～ステップＳ１０４の結果が全て満足するか否かを判定し（ステップＳ１０５）、判定結果を制御部１１０に通知する。全方位転倒判定部１０４１は、以下の（１）～（３）の全てを満足しているか否かを判別する。（１）作業者の画像部分の全体を囲む矩形領の縦の長さが横の長さよりも長いこと。（２）作業者の画像部分の各部位が、上から下に肩、腰、膝、足首の順に並んでいること。（３）作業者の画像部分の肩から腰までの長さと、腰から足首までの長さに偏りがないこと。

【0075】

全方位転倒判定部１０４１は、上記の（１）～（３）の１つでも満足しないと判別した場合には、当該作業現場にいる判定対象の作業者は、転倒状態にあると判定する（ステップＳ１０６）。判定結果の通知を受けた制御部１１０は、判定結果出力部１０５を通じて、モニタ装置３に判定結果を出力し、モニタ装置３の表示出力により作業者の転倒を、当該作業現場の監督者、管理者に対して通知する（ステップＳ１０７）。この後、制御部１１０は、この図５、図６に示す処理を終了し、次の実行タイミングを待つことになる。

【0076】

ステップＳ１０５の判別処理において、上記の（１）～（３）のすべてを満足したと判別したとする。この場合には、まだ、作業者が監視カメラ２から離れる方向である奥行方向に倒れている可能性がある。このため、制御部１１０の制御の下、奥行方向転倒可能性判定部１０４２が機能する。奥行方向転倒可能性判定部１０４２は、映像蓄積部１０２よりＮ秒前のフレーム画像を読み出し、ステップＳ１０１での姿勢推定部１０３の処理と同様の手法で、人物（作業者）の画像部分の骨格座標を取得する（ステップＳ１０８）。

【0077】

この後、奥行方向転倒可能性判定部１０４２は、Ｎ秒前の作業者の画像部分の肩と足首の位置と、ステップＳ１０１で取得した最新のフレーム画像における作業者の画像部分の骨格座標に応じた作業者の画像部分の肩と足首の位置とを比較する（ステップＳ１０９）。奥行方向転倒可能性判定部１０４２は、ステップＳ１０９の比較結果から、Ｎ秒前と最新のフレーム画像との間で、作業者の画像部分の肩と足首の位置について、肩と足首の一方だけ変化しているか否かを判定し（ステップＳ１１０）、判定結果は制御部１１０に通知する。ステップＳ１１０の判別処理において、どちらか一方だけ変化していないと判別したときには、制御部１１０の制御の下、奥行方向転倒可能性判定部１０４２は、作業者は立位状態であると判定する（ステップＳ１１１）。この後、制御部１１０は、この図５、図６に示す処理を終了し、次の実行タイミングを待つことになる。

【0078】

ステップＳ１１０の判別処理において、どちらか一方だけ変化したと判別したときには、作業者が奥行方向に転倒している可能性があることを排除できないため、図６のステップＳ１１２の処理に進む。この場合、制御部１１０の制御の下、画像上下方向位置判定部１０４３が機能し、ステップＳ１０１で読み出した最新のフレーム画像内において、人物（作業者の画像部分）の位置を特定する（ステップＳ１１２）。画像上下方向位置判定部１０４３は、ステップＳ１１２の特定結果に基づいて、人物（作業者の画像部分）の位置は、当該フレーム画像内の上下方向の中央部分または中央部分よりも上方に位置しているか否かを判別する（ステップＳ１１３）。判別結果は、制御部１１０に通知される。

【0079】

ステップＳ１１３の判別処理において、作業者の画像部分の位置は、当該フレーム画像内の上下方向の中央部分または中央部分よりも上方に位置していない、すなわち、当該フレーム画像内の上下方向の中央部分よりも下方に位置していると判別したとする。この場合には、制御部１１０の制御に元、下位置転倒判定部１０４４が機能する。下位置転倒判定部１０４４は、Ｎ秒前のフレーム画像内の作業者の画像部分の骨格座標に応じた作業者の肩から足首までの長さと、最新のフレーム画像内の作業者の画像部分の骨格座標に応じた作業者の画像部分の肩から足首までの長さとを比較する（ステップＳ１１４）。

【0080】

更に、下位置転倒判定部１０４４は、最新のフレーム画像内の作業者の画像部分の骨格座標に応じた作業者の画像部分の腰から膝までの長さと膝から足首までの長さとを特定する（ステップＳ１１５）。なお、ステップＳ１１４において、Ｎ秒前のフレーム画像内の作業者の画像部分の骨格座標は、ステップＳ１０８で取得したものを用いることができるし、最新のフレーム画像内の作業者の画像部分の骨格座標は、ステップＳ１０１で取得したものを用いることができる。同様に、ステップＳ１１５において、最新のフレーム画像内の作業者の画像部分の骨格座標は、ステップＳ１０１で取得したものを用いることができる。

【0081】

この後、下位置転倒判定部１０４４は、ステップＳ１１４での比較結果とステップＳ１１５での特定結果を踏まえた判別処理を行い（ステップＳ１１６）、判定結果を制御部１１０に通知する。ステップＳ１１６では、以下の２つのことを満足するか否かを判別する。すなわち、Ｎ秒前のフレーム画像内の作業者の画像部分の肩から足首までの長さよりも、最新のフレーム画像内の作業者の画像部分の肩から足首までの長さの方が長いこと。最新のフレーム画像内の作業者の画像部分の下半身部分の比率が適正であること。の両方を満足するか否かを判定する。ステップＳ１１６の判別処理において、両方を満足しないと判別した場合には、下位置転倒判定部１０４４は、作業者は立位状態である（転倒状態ではない）と判定する（ステップＳ１１７）。この後、制御部１１０は、この図５、図６に示す処理を終了して、次の実行タイミングを待つことになる。

【0082】

一方、ステップＳ１１６の判別処理において、両方を満足すると判別した場合には、下位置転倒判定部１０４４は、作業者は転倒状態であると判定する（ステップＳ１１８）。制御部１１０は、判定結果出力部１０５を通じて、モニタ装置３に判定結果を出力し、モニタ装置３の表示出力により作業者の転倒を、当該作業現場の監督者、管理者に対して通知する（ステップＳ１１９）。この後、制御部１１０は、この図５、図６に示す処理を終了し、次の実行タイミングを待つことになる。

【0083】

ステップＳ１１３の判別処理において、作業者の画像部分の位置は、当該フレーム画像内の上下方向の中央部分または中央部分よりも上方に位置していると判別したとする。この場合には、制御部１１０の制御に下、中上位置転倒可能性判定部１０４５が機能する。中上位置転倒可能性判定部１０４５は、Ｎ秒前のフレーム画像内の作業者の画像部分の骨格座標に応じた作業者の肩から足首までの長さと、最新のフレーム画像内の作業者の画像部分の骨格座標に応じた作業者の画像部分の肩から足首までの長さとを比較する（ステップＳ１２０）。このステップＳ１２０の処理は、上述したステップＳ１１４と同様の処理である。

【0084】

更に、中上位置転倒可能性判定部１０４５は、最新のフレーム画像内の作業者の画像部分の骨格座標に応じた作業者の画像部分の腰から膝までの長さと膝から足首までの長さとを特定する（ステップＳ１２１）。このステップＳ１２１の処理は、上述したステップＳ１１５と同様の処理である。この後、中上位置転倒可能性判定部１０４５は、ステップＳ１２０での比較結果とステップＳ１２１での特定結果を踏まえて判定処理を行い（ステップＳ１２２）、判定結果を制御部１１０に通知する。ステップＳ１１６では、以下の２つのことを満足するか否かを判別する。すなわち、Ｎ秒前のフレーム画像内の作業者の画像部分の肩から足首までの長さが、最新のフレーム画像内の作業者の画像部分の肩から足首までの長さよりも長いこと。最新のフレーム画像内の作業者の画像部分の下半身部分の比率が適正であること。の両方を満足するか否かを判定する。

【0085】

ステップＳ１２２の判別処理において、両方を満足すると判別した場合には、制御部１１０の制御の下、奥行方向転倒確定部１０４６が機能する。奥行方向転倒確定部１０４６は、図４を用いて説明したように、作業者の画像部分と床面とのなす角の角度（作業者の画像の奥行方向への傾き予測角度α）を算出する処理を行う（ステップＳ１２３）。この後、奥行方向転倒確定部１０４６は、算出した予測角度αが閾値よりも小さいか否かを判別し（ステップＳ１２４）、判別結果を制御部１１０に通知する。

【0086】

ステップＳ１２４の判別処理において、予測角度αが閾値よりも小さい（予測角度αが閾値未満の値である）と判別した場合には、奥行方向転倒確定部１０４６は、作業者は転倒状態にあると判定（確定）し（ステップＳ１２６）、判定結果を制御部１１０に通知する。当該通知を受けた制御部１１０は、判定結果出力部１０５を通じて、モニタ装置３に判定結果を出力し、モニタ装置３の表示出力により作業者の転倒を、当該作業現場の監督者、管理者に対して通知する（ステップＳ１２７）。この後、制御部１１０は、この図５、図６に示す処理を終了し、次の実行タイミングを待つことになる。

【0087】

また、ステップＳ１２２の判別処理において、両方を満足しないと判別した場合と、ステップＳ１２４において、算出した予測角度は閾値以上であると判別した場合には、奥行方向転倒確定部１０４６は、作業者は立位状態であると判定する（ステップＳ１２５）。この後、制御部１１０は、この図５、図６に示す処理を終了し、次の実行タイミングを待つことになる。

【0088】

［実施の形態の効果］
この実施の形態の画像処理装置１は、監視カメラ２からの映像データを用いて、作業現場にいる作業者が転倒状態になった場合を、迅速かつ適切に判定し、これを当該作業現場の監督者や管理者に通知できる。特に、作業者が監視カメラ２から離れる方向である奥行方向に転倒した場合であっても、これを迅速かつ適切に判定できる。すなわち、転倒状態を検出できなかったり、検出が遅れたりすることが無いようにできる。これにより、作業者が転倒した場合に、発見が遅れ、適切な対応を迅速に取ることができないといった不都合を生じさせないようにすることができる。

【0089】

また、高精度な監視カメラは必要なく、１つのカメラレンズで機能するいわゆる単眼カメラを監視カメラ２として用いることができるので、簡単に導入することができ、導入コストの低減も図ることができる。

【0090】

［変形例］
図７は、転倒状態の検出のための処理の実行タイミングについて説明するための図である。上述したように、画像処理装置１での作業者の転倒判定処理（図５、図６）は、フレーム画像ごとや複数フレーム画像ごとに行われる。例えば、図７（Ａ）に示すように、３フレーム画像ごとに作業者の転倒判定処理を行う場合には、５回連続して転倒状態にあると判定されなければ、転倒状態にあると判定しないようにすることもできる。これにより、躓き程度のすぐに立位状態に復帰できた軽微な転倒については、転倒状態にあると判定しないようにできる。

【0091】

しかし、図７（Ｂ）に示すように、上述した実施の形態の画像処理装置１の場合、奥行方向への作業者の転倒判定においては、Ｎ秒前の過去のフレーム画像も使用する。このため、奥行方向への作業者の転倒判定においては、例えば、１秒前のフレーム画像を使用して転倒状態にあると判定できたとする。この場合に、さらに２秒前、３秒前のフレーム画像を使用して転倒判定を行い、そのそれぞれにおいて転倒状態にあると判定できた場合に、転倒状態にあると判定することもできる。

【0092】

上述した実施の形態の予測角度の計算方法は一例であり、他の種々の計算方法を用いることができる。

【0093】

また、上述した実施の形態では、奥行方向の転倒状態を検出するための予測角度αの算出は、Ｎ秒前のフレーム画像と最新のフレーム画像を用いて行うものとして説明した。しかしこれに限るものではない。例えば、最初に１秒前のフレーム画像と最新のフレーム画像を用いて予測角度を算出し、判定結果が立位状態の場合には、２秒前のフレーム画像と最新のフレーム画像とを用いて予測角度を算出し、再度、立位状態か転倒状態かの判定を行うようにしてもよい。この場合、過去に遡る時間は、３秒前までのように予め決めておくようにすればよい。

【0094】

また、上述した実施の形態の画像処理装置は、化学工場において作業員を監視する場合について適用したが、これに限るものではない。作業者が転倒状態になった場合に、これを迅速かつ適正に検出する必要がある種々の場合に適用できる。

【0095】

［その他］
上述した実施の形態の説明からも分かるように、請求項の姿勢推定手段の機能は、実施の形態の画像処理装置１の姿勢推定部１０３が実現し、請求項の全方位転倒判定手段の機能は、画像処理装置１の全方位転倒判定部１０４１が実現している。また、請求項の奥行方向転倒可能性判別手段の機能は、画像処理装置１の奥行方向転倒可能性判定部１０４２が実現している。また、請求項の奥行方向転倒判定処理手段の機能は、画像処理装置１の画像上下方向位置判定部１０４３、下位置転倒判定部１０４４、中上位置転倒可能性判定部１０４５、奥行方向転倒確定部１０４６が実現している。

【0096】

また、請求項の上下方向位置判定手段の機能は、画像処理装置１の画像上下方向位置判定部１０４３が実現し、請求項の下位置転倒判定手段の機能は、画像処理装置１の下位置転倒判定部１０４４が実現している。また、請求項の中上位置転倒可能性判定手段の機能は、画像処理装置１の中上位置転倒可能性判定部１０４５が実現し、請求項の奥行方向転倒確定手段の機能は、画像処理装置１の奥行方向転倒確定部１０４６が実現している。

【0097】

また、上述した実施の形態の図５、図６のフローチャートに示した処理を実行するプログラムが、この発明による画像処理プログラムの一実施の形態が適用されたものである。従って、図５，図６に示した処理を実行する画像処理プログラムを、パーソナルコンピュータに搭載して実行可能にしておくことにより、この発明の画像処理装置１を実現できる。換言すれば、図１に示した姿勢推定部１０３、転倒判定部１０４を構成する５つの判定部と１つの確定部の機能は、制御部１１０において実行されるソフトウェアによって実現することができる。

【符号の説明】

【0098】

１…画像処理装置、１０１Ｔ…入力端子、１０１…映像入力部、１０２…映像蓄積部、１０３…姿勢推定部、１０４…転倒判定部、１０４１…全方位転倒判定部、１０４２…奥行方向転倒可能性判定部、１０４３…画像上下方向位置判定部、１０４４…下位置転倒判定部、１０４５…中上位置転倒可能性判定部、１０４６…奥行方向転倒確定部、１０５…判定結果出力部、１０５Ｔ…出力端子、２…監視カメラ、３…モニタ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】