特許 6544031 移動検知装置、移動検知方法、および移動検知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6544031

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】移動検知装置、移動検知方法、および移動検知プログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20190705BHJP

   G06T 1/00 20060101ALI20190705BHJP

   B61L 23/00 20060101ALI20190705BHJP

   H04N 7/18 20060101ALI20190705BHJP

【ＦＩ】

   G06T7/246

   G06T1/00 330B

   B61L23/00 Z

   H04N7/18 D

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2015-96293(P2015-96293)

(22)【出願日】2015年5月11日

(65)【公開番号】特開2016-212657(P2016-212657A)

(43)【公開日】2016年12月15日

【審査請求日】2017年11月7日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】梶谷 浩一郎

(72)【発明者】

【氏名】塚本 哲也

(72)【発明者】

【氏名】白井 将之

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１１−１６６２４３（ＪＰ，Ａ）

【文献】 特開２００６−０８２６１８（ＪＰ，Ａ）

【文献】 特開２００７−２７４６５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｈ０４Ｎ ７／１８

Ｂ６１Ｌ ２３／００

(57)【特許請求の範囲】

【請求項1】

特定領域を含む対象エリアを撮像した動画像を入力する動画像入力部と、
前記動画像入力部に入力された動画像のフレーム画像上の、前記特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する仮判定部と、
前記動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、前記特定領域に位置するオブジェクトを検出するオブジェクト検出部と、
前記仮判定部の判定結果、および前記オブジェクト検出部の検出結果に基づいて、前記特定領域外から前記特定領域内に移動したオブジェクトの有無を本判定する本判定部と、を備え、
前記仮判定部は、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記観測点の塊を囲む矩形形状の移動検知領域を設定し、この前記移動検知領域における、前記特定領域内に位置する観測点の個数と、前記特定領域内に位置しない観測点の個数とを用いて、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する、移動検知装置。

【請求項2】

特定領域を含む対象エリアを撮像した動画像を入力する動画像入力部と、
前記動画像入力部に入力された動画像のフレーム画像上の、前記特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する仮判定部と、
前記動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、前記特定領域に位置するオブジェクトを検出するオブジェクト検出部と、
前記仮判定部の判定結果、および前記オブジェクト検出部の検出結果に基づいて、前記特定領域外から前記特定領域内に移動したオブジェクトの有無を本判定する本判定部と、を備え、
前記仮判定部は、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記特定領域内の前記観測点の個数と、前記特定領域内に設定している前記観測点の全数と、を用いて、前記特定領域内で移動しているオブジェクトであるかどうかを仮判定する、移動検知装置。

【請求項3】

前記仮判定部は、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記特定領域内の前記観測点の個数と、前記特定領域内に設定している前記観測点の全数と、を用いて、前記特定領域内で移動しているオブジェクトであるかどうかを仮判定する、請求項１に記載の移動検知装置。

【請求項4】

前記仮判定部は、前記動画像入力部に入力された動画像のフレーム画像について、前記観測点のオプティカルフローを検出する請求項請求項１〜３のいずれかに記載の移動検知装置。

【請求項5】

前記オブジェクト検出部は、前記動画像入力部に入力された動画像のフレーム画像について、背景差分画像を生成し、このフレーム画像に撮像されているオブジェクトを検出する、請求項１〜４のいずれかに記載の移動検知装置。

【請求項6】

前記仮判定部は、フレーム画像上において定めた方向の成分の大きさが前記第１の大きさよりも大きい第２の大きさを超えている移動ベクトルを検出した前記観測点の個数を用いて、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する、請求項１〜５のいずれかに記載の移動検知装置。

【請求項7】

前記オブジェクト検出部は、検出したオブジェクトを囲む矩形形状のオブジェクト検知領域を設定し、フレーム画像上における前記オブジェクト検知領域の最下端に位置するオブジェクトにかかる画素が前記特定領域外に位置するかどうかによって、前記特定領域に位置するオブジェクトであるかどうかを判定する、請求項１〜６のいずれかに記載の移動検知装置。

【請求項8】

前記対象エリアは、列車が走行する線路領域を特定領域とした駅ホームである、請求項１〜７のいずれかに記載の移動検知装置。

【請求項9】

動画像入力部に入力された、特定領域を含む対象エリアを撮像した動画像のフレーム画像上の、前記特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する仮判定ステップと、
前記動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、前記特定領域に位置するオブジェクトを検出するオブジェクト検出ステップと、
前記仮判定ステップの判定結果、および前記オブジェクト検出ステップの検出結果に基づいて、前記特定領域外から前記特定領域内に移動したオブジェクトの有無を本判定する本判定ステップと、を備え、
前記仮判定ステップは、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記観測点の塊を囲む矩形形状の移動検知領域を設定し、この前記移動検知領域における、前記特定領域内に位置する観測点の個数と、前記特定領域内に位置しない観測点の個数とを用いて、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定するステップである、移動検知方法。

【請求項10】

動画像入力部に入力された、特定領域を含む対象エリアを撮像した動画像のフレーム画像上の、前記特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する仮判定ステップと、
前記動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、前記特定領域に位置するオブジェクトを検出するオブジェクト検出ステップと、
前記仮判定ステップの判定結果、および前記オブジェクト検出ステップの検出結果に基づいて、前記特定領域外から前記特定領域内に移動したオブジェクトの有無を本判定する本判定ステップと、を備え、
前記仮判定ステップは、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記特定領域内の前記観測点の個数と、前記特定領域内に設定している前記観測点の全数と、を用いて、前記特定領域内で移動しているオブジェクトであるかどうかを仮判定するステップである、移動検知方法。

【請求項11】

動画像入力部に入力された、特定領域を含む対象エリアを撮像した動画像のフレーム画像上の、前記特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する仮判定ステップと、
前記動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、前記特定領域に位置するオブジェクトを検出するオブジェクト検出ステップと、
前記仮判定ステップの判定結果、および前記オブジェクト検出ステップの検出結果に基づいて、前記特定領域外から前記特定領域内に移動したオブジェクトの有無を本判定する本判定ステップと、をコンピュータに実行させ、
前記仮判定ステップは、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記観測点の塊を囲む矩形形状の移動検知領域を設定し、この前記移動検知領域における、前記特定領域内に位置する観測点の個数と、前記特定領域内に位置しない観測点の個数とを用いて、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定するステップである、移動検知プログラム。

【請求項12】

動画像入力部に入力された、特定領域を含む対象エリアを撮像した動画像のフレーム画像上の、前記特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、前記特定領域外から前記特定領域内へオブジェクトが移動したかどうかを仮判定する仮判定ステップと、
前記動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、前記特定領域に位置するオブジェクトを検出するオブジェクト検出ステップと、
前記仮判定ステップの判定結果、および前記オブジェクト検出ステップの検出結果に基づいて、前記特定領域外から前記特定領域内に移動したオブジェクトの有無を本判定する本判定ステップと、をコンピュータに実行させ、
前記仮判定ステップは、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出したフレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した前記特定領域内の前記観測点の個数と、前記特定領域内に設定している前記観測点の全数と、を用いて、前記特定領域内で移動しているオブジェクトであるかどうかを仮判定するステップである、移動検知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、隣接する一方の領域から他方の領域へ移動したオブジェクトを検知する技術に関し、特に駅ホーム（一方の領域）から線路（他方の領域）に転落した乗降客等を検知する技術に関する。

【背景技術】

【0002】

従来、駅ホームから線路に落下した人（乗降客）や物品を検知する装置がある（特許文献１参照）。特許文献１は、カメラで撮影した駅ホームの画面のオプティカルフロー（移動ベクトル）によって、駅ホームから線路に落下した人や物を検出する構成である。

【0003】

また、特許文献１では、検出した移動ベクトルが、駅ホーム上で移動する乗降客等によるものであるか、駅ホームから線路に落下した人や物品によるものであるかの区別が行えるようにするため、駅ホームを撮像するカメラを、線路を挟んだ駅ホームの反対側に設置している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６− ８２６１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載されているように、駅ホームを撮像するカメラを、線路を挟んだ駅ホームの反対側に設置しても、駅ホーム上での乗降客の動きによっては、落下方向の移動ベクトルが検出されることがある。例えば、乗降客が、駅ホーム上でしゃがんだり、ベンチに座ったりしたときに、落下方向の移動ベクトルが検出される。また、乗降客が、手荷物を駅ホーム上に落としたときも、落下方向の移動ベクトルが検出される。そして、落下方向の移動ベクトルを検出したことにより、人や物品が駅ホームから線路に落下したと判定するおそれがある。

【0006】

この発明の目的は、特定領域外から特定領域内に移動したオブジェクトの検知精度を向上させる技術を提供することにある。

【課題を解決するための手段】

【0007】

この発明の移動検知装置は、上記目的を達するために以下のように構成している。

【0008】

動画像入力部には、特定領域を含む対象エリアを撮像した動画像が入力される。仮判定部は、動画像入力部に入力された動画像のフレーム画像上の、特定領域の内側、および周辺外側に設定した複数の観測点について移動ベクトルを検出し、検出した各観測点の移動ベクトルに基づき、特定領域外から特定領域内へオブジェクトが移動したかどうかを仮判定する。観測点の移動ベクトルは、その観測点のオプティカルフローを検出すればよい。

【0009】

例えば、仮判定部は、特定領域外から特定領域内へオブジェクトが移動したかどうかの仮判定を、フレーム画像上において定めた特定方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した観測点の塊を囲む矩形形状の移動検知領域を設定し、この移動検知領域における、特定領域内に位置する観測点の個数と、特定領域内に位置しない観測点の個数とを用いて行う。特定方向は、特定領域外から特定領域内へのオブジェクトの移動方向に応じて定めればよい。これにより、特定領域外から特定領域内へ移動しているオブジェクトを囲む、移動検知領域が設定できる。そして、移動検知領域における、特定領域内に位置する観測点の個数と、特定領域内に位置しない観測点の個数とを用いることで、移動検知領域に対応するオブジェクトが、特定領域外に位置しているのか、特定領域内に位置しているのかがある程度の精度で判定できる。

【0010】

また、仮判定部は、フレーム画像上において定めた方向の成分の大きさが第１の大きさを超えている移動ベクトルを検出した特定領域内の観測点の個数と、特定領域内に設定している観測点の全数と、を用いて、特定領域内で移動しているオブジェクトであるかどうかを仮判定する構成に置き換えてもよい。

【0011】

また、仮判定部は、フレーム画像上において定めた方向の成分の大きさが第１の大きさよりも大きい第２の大きさを超えている移動ベクトルを検出した観測点の個数を用いて、特定領域外から特定領域内へオブジェクトが移動したかどうかを仮判定してもよい。このようにすれば、対象エリア内を高速に移動しているオブジェクトの影響が抑えられる。

【0012】

また、オブジェクト検出部は、動画像入力部に入力された動画像のフレーム画像に撮像されているオブジェクトであって、特定領域に位置するオブジェクトを検出する。オブジェクト検出部は、例えば、動画像入力部に入力された動画像のフレーム画像について、背景差分画像を生成し、このフレーム画像に撮像されているオブジェクトを検出すればよい。

【0013】

例えば、オブジェクト検出部は、検出したオブジェクトを囲む矩形形状のオブジェクト検知領域を設定し、フレーム画像上におけるオブジェクト検知領域の最下端に位置するオブジェクトにかかる画素が特定領域外に位置するかどうかによって、特定領域に位置するオブジェクトであるかどうかを判定すればよい
本判定部は、仮判定部の判定結果、およびオブジェクト検出部の検出結果に基づいて、特定領域外から特定領域内に移動したオブジェクトの有無を本判定する。

【0014】

本判定部は、移動ベクトルにより特定領域外から特定領域内へのオブジェクトの移動を検知し、且つ特定領域内に位置するオブジェクトを検出することにより、オブジェクトが特定領域外から特定領域内に移動したと判定する。したがって、特定領域外から特定領域内に移動したオブジェクトの検知精度を向上させられる。

【0015】

また、対象エリアを、列車が走行する線路領域を特定領域とした駅ホームとすることにより、駅ホームから線路に転落した人や物品を精度よく検知することができる。

【発明の効果】

【0016】

この発明によれば、特定領域外から特定領域内に移動したオブジェクトの検知精度を向上できる。

【図面の簡単な説明】

【0017】

【図1】転落検知装置の主要部の構成を示すブロック図である。

【図2】図２（Ａ）は、駅ホームを上方から鉛直方向に見た平面図であり、図２（Ｂ）は、線路側から駅ホームを水平方向に見た平面図である。

【図3】カメラで撮像したフレーム画像を示す概略図である。

【図4】画像処理部の機能構成を示す概略の機能ブロック図である。

【図5】フレーム画像上に設定している複数の観測点を示す図である。

【図6】転落検知装置の動作を示すフローチャートである。

【図7】転落者の仮判定処理を示すフローチャートである。

【図8】転落方向を説明する図である。

【図9】移動検知領域の設定処理を説明する図である。

【図10】位置検知処理を示すフローチャートである。

【図11】オブジェクト検知領域を設定する処理を説明する図である。

【図12】図１２（Ａ）、（Ｂ）は、リサイズ処理を説明する図である。

【図13】本判定処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、この発明の実施形態である転落検知装置について説明する。

【0019】

図１は、この例にかかる転落検知装置の主要部の構成を示すブロック図である。転落検知装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。この例にかかる転落検知装置１は、駅ホームから線路側に転落した人や、駅ホームから線路側に落下した物品を検知する。以下の説明では、駅ホームから線路側に転落した転落者の検知を例にするが、駅ホームから線路側に落下した物品であっても、同様に検知できる。

【0020】

制御部２は、転落検知装置１本体各部の動作を制御する。

【0021】

画像入力部３には、接続されているカメラ１０が撮像した動画像が入力される。図２は、カメラの設置例を示す概略図である。図２（Ａ）は、上方から駅ホームを鉛直方向に見た平面図であり、図２（Ｂ）は、線路側から駅ホームを水平方向に見た平面図である。図３は、カメラで撮像したフレーム画像を示す概略図である。

【0022】

カメラ１０は、上方から俯角をつけたアングルで、駅ホーム、および線路（列車の軌道）を撮像するように設置している。カメラ１０は、図２に示すように駅ホームに設けたポールに取り付けてもよいし、駅ホームの屋根に吊下げてもよい。この例では、カメラ１０は、転落者を検知する駅ホームに取り付けている。すなわち、カメラ１０の設置や、カメラ１０のアングル調整等の作業は、駅ホームで行え、作業員が列車の軌道に降りる必要がない（線路側での作業を必要としない。）。

【0023】

カメラ１０の撮像エリアが、この発明で言う対象エリアに相当し、線路側のエリアが、この発明で言う特定領域に相当する。

【0024】

カメラ１０は、動画像を撮像するビデオカメラである。カメラ１０のフレームレートは、一般的な３０フレーム／秒程度のものであればよく、特に高フレームレートである必要はない。また、カメラ１０は、低フレームレート（５〜１０フレーム／秒程度）であってもよい。画像入力部３は、入力された動画像にかかるフレーム画像を一時的に記憶する画像メモリを備えている。画像入力部３が、この発明で言う動画像入力部に相当する。

【0025】

画像処理部４は、画像入力部３に入力された動画像にかかるフレーム画像を処理し、駅ホームから線路側に転落した転落者を検知する。画像処理部４は、画像入力部３に入力された動画像にかかるフレーム画像を処理するコンピュータ（所謂、画像処理プロセッサ）を有し、このコンピュータが、この発明にかかる移動検知方法を実行する。また、この発明にかかる移動検知プログラムは、画像処理部４が有するコンピュータにインストールされる。

【0026】

図４は、画像処理部の機能構成を示す概略の機能ブロック図である。画像処理部４は、処理対象フレーム画像選択機能部４１と、オプティカルフロー検出機能部４２と、移動ベクトル分布検出機能部４３と、転落者仮判定機能部４４と、背景差分画像生成機能部４５と、オブジェクト検出機能部４６と、オブジェクト位置検知機能部４７と、転落判定機能部４８と、を有する。

【0027】

処理対象フレーム画像選択機能部４１は、画像入力部３に入力されたフレーム画像（カメラ１０が撮像した動画像にかかるフレーム画像）の中から、後述する画像処理を行う対象のフレーム画像を選択する。処理対象フレーム画像選択機能部４１は、画像入力部３に入力された動画像にかかるフレーム画像の全てを処理対象フレーム画像として選択する構成であってもよいし、画像入力部３に入力された動画像にかかるフレーム画像から、予め定めたフレーム間隔や、時間間隔で処理対象フレーム画像として選択する構成であってもよい。

【0028】

なお、処理対象フレーム画像を選択する時間間隔は、
（カメラ１０のフレームレート）×（処理対象フレーム画像を選択するフレーム間隔）
である。

【0029】

オプティカルフロー検出機能部４２は、選択された処理対象フレーム画像上の複数の観測点について移動ベクトルを検出する。画像入力部３に入力されるフレーム画像に対して、観測点にする画素を予め設定している。移動ベクトルは、観測点とした画素のオプティカルフローである。図５は、フレーム画像上に設定している複数の観測点を示す図である。観測点は、駅ホーム側の領域と、線路側の領域との境界を跨ぐ領域に設定している。すなわち、観測点は、この発明で言う特定領域の内側、および特定領域の外側周辺の領域に設定している。図５では、観測点を破線で示す矩形で示しているが、上述したように各観測点は１画素である。

【0030】

移動ベクトル分布検出機能部４３は、各観測点について検出した移動ベクトルの分布に基づいて、移動検知領域を設定する。具体的には、予め定めた条件を満たす移動ベクトルが検出された観測点の塊（フレーム画像上の領域）を推定し、ここで推定した観測点の塊に応じた移動検知領域を設定する。

【0031】

転落者仮判定機能部４４は、設定した移動検知領域が駅ホームから線路に転落した転落者である可能性があるかどうかを判定する。すなわち、転落者仮判定機能部４４は、乗降客が駅ホームから線路に転落したかどうかの仮判定を行う。

【0032】

オプティカルフロー検出機能部４２、移動ベクトル分布検出機能部４３、および転落者仮判定機能部４４が、この発明で言う仮判定部に相当する。

【0033】

また、背景差分画像生成機能部４５は、選択された処理対象フレーム画像と、図示していない画像メモリに記憶している対象エリアの背景画像との差分画像（所謂、背景差分画像）を生成する。また、背景差分画像生成機能部４５は、画像メモリに記憶している対象エリアの背景画像を、処理対象フレーム画像を用いて更新する機能を有していてもよい。背景画像の更新については、すでに様々な技術が公知であるので、ここでは説明を省略する。

【0034】

オブジェクト検出機能部４６は、背景差分画像生成機能部４５で生成された背景差分画像に基づき、オブジェクト領域を設定する。具体的には、生成された背景差分画像における前景画素の塊（フレーム画像上の領域）を推定し、この前景画素の塊に応じた領域をオブジェクト領域に設定する。このオブジェクト領域は、処理対象フレーム画像に撮像されているオブジェクトを検出した領域である。

【0035】

オブジェクト位置検知機能部４７は、オブジェクト検出機能部４６が検出したオブジェクト（設定したオブジェクト領域に対応するオブジェクト）が、線路側に位置するのか、駅ホーム側に位置するのかを判定する。

【0036】

背景差分画像生成機能部４５、オブジェクト検出機能部４６、およびオブジェクト位置検知機能部４７が、この発明で言うオブジェクト検出部に相当する。

【0037】

転落判定機能部４８は、転落者仮判定機能部４４の判定結果、およびオブジェクト位置検知機能部４７の検知結果に基づいて、駅ホームから線路側に転落した転落者の有無を判定する。転落判定機能部４８が、この発明で言う本判定部に相当する。

【0038】

入出力部５は、画像処理部４における転落者の有無にかかる判定結果（転落判定機能部４８の判定結果）を、図示していない上位装置等に出力する。また、入出力部５は、上位装置等からの入力も受け付ける。この上位装置は、例えば画像処理部４における転落者の有無にかかる判定結果に応じて、警告報知を行う装置である。

【0039】

以下、この例にかかる転落検知装置１の動作について説明する。図６は、この例にかかる転落検知装置の画像処理部の動作を示すフローチャートである。転落検知装置１には、カメラ１０で撮像した駅ホーム（転落者を検知する線路側の領域を含む）の動画像が画像入力部３に入力されている。

【0040】

画像処理部４は、画像入力部３に入力された動画像にかかるフレーム画像の中から、処理対象フレーム画像を選択する（ｓ１）。ｓ１にかかる処理は、処理対象フレーム画像選択機能部４１において行われる。

【0041】

画像処理部４は、ｓ１で選択した処理対象フレーム画像に対して、オプティカルフローによる転落者の仮判定にかかる処理（仮判定処理）を行う（ｓ２）。また、画像処理部４は、ｓ１で選択した処理対象フレーム画像に対して、線路領域内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ３）。ｓ２、およびｓ３にかかる処理の順番は、どちらが先であってもよいし、画像処理部４において並行して実行してもよい。このｓ２、およびｓ３にかかる処理の詳細については、後述する。

【0042】

画像処理部４は、ｓ２、およびｓ３にかかる処理の処理結果に基づき、駅ホームから線路に転落した転落者の有無を判定する本判定処理を行い（ｓ４）、ｓ１に戻る。このｓ４にかかる処理の詳細についても後述する。

【0043】

なお、ｓ４にかかる本判定処理の判定結果が、入出力部５から上位装置に出力される。

【0044】

図７は、ｓ２にかかる仮判定処理を示すフローチャートである。オプティカルフロー検出機能部４２が、処理対象フレーム画像上に設定されている各観測点について移動ベクトル（オプティカルフロー）を検出する（ｓ１１）。

【0045】

移動ベクトル分布検出機能部４３は、ｓ１１で検出した移動ベクトルの向きが予め定めた転落方向の範囲内であり、且つ予め定めた落下方向の成分の大きさが下限閾値（この発明で言う第１の大きさ）を超えている観測点を、反応点として抽出する（ｓ１２）。この例は、駅ホームから線路に転落した転落者の検知を目的にしていることから、転落方向の範囲は、図８に示すように、フレーム画像上において、駅ホームの端部に沿う下向きの方向を基準方向にし、この基準方向を中心にした±３０°の範囲にしている。また、落下方向は、フレーム画像上の高さ方向である。

【0046】

なお、この例では、移動ベクトルの向きが転落方向の範囲内である場合、この移動ベクトルの落下方向の成分は、図８において上向きになることはない。

【0047】

移動ベクトル分布検出機能部４３が、ｓ１２で抽出した反応点の塊を推定し、移動検知領域を設定する（ｓ１３）。図９は、ｓ１３で設定される移動検知領域を示す図である。図９では、図５や、図８に示した駅ホームや線路にかかる線の図示を省略している。また、図９は、ｓ１３で２つの移動検知領域が設定された場合を図示している。ｓ１３では、隣接している複数の反応点を１つの塊と推定し、この塊を内包する最小の矩形領域を移動検知領域に設定する。ｓ１３で設定される移動検知領域内に位置する反応点は、１つのオブジェクトにかかる反応点である可能性が高い。

【0048】

なお、ｓ１３で移動検知領域が設定されるオブジェクトは、駅ホームから線路に転落した転落者によるものである場合もあれば、駅ホームをホーム端に沿って移動している乗降客や、駅ホームに発着する列車等によるものである場合もある。すなわち、ｓ１３で設定された移動検知領域は、駅ホームから線路に転落した転落者によるものであるとは限らない。

【0049】

また、図９に示すように、設定した移動検知領域には、反応点として抽出されなかった観測点が含まれることもある。

【0050】

転落者仮判定機能部４４は、移動検知領域毎に、その移動検知領域にかかるオブジェクトが駅ホームから線路に転落した転落者である可能性があるかどうかを判定する。転落者仮判定機能部４４は、移動検知領域内の観測点について、線路側の観測点の個数Ａと、駅ホーム側の観測点の個数Ｂとの比（Ａ／Ｂ）が一定以上であるかどうかを判定する（ｓ１４）。ｓ１４では、駅ホーム側の観測点の個数Ｂに対して、線路側の観測点の個数Ａがある程度多い場合、線路側に転落したオブジェクトにかかる反応点を囲む移動検知領域である可能性があると判定する。言い換えれば、ｓ１４では、駅ホーム側の観測点の個数Ｂに対して、線路側の観測点の個数Ａがある程度少ない場合、線路側に転落したオブジェクトにかかる反応点を囲む移動検知領域である可能性がないと判定する。例えば、図９に示す移動検知領域α１に対しては、ｓ１４で線路側に転落したオブジェクトにかかる反応点を囲む移動検知領域である可能性がないと判定し、移動検知領域β１に対して、ｓ１４で線路側に転落したオブジェクトにかかる反応点を囲む移動検知領域である可能性があると判定する。

【0051】

なお、ｓ１４にかかる判定は、駅ホーム側の観測点の個数Ｂと、線路側の観測点の個数Ａの比（Ｂ／Ａ）が一定以下であるかどうかによって判定してもよいし、線路側の観測点の個数Ａと、移動検知領域内の観測点の個数（Ａ＋Ｂ）との比（Ａ／（Ａ＋Ｂ））が一定以上であるかどうかによって判定してもよいし、駅ホーム側の観測点の個数Ｂと、移動検知領域内の観測点の個数（Ａ＋Ｂ）との比（Ｂ／（Ａ＋Ｂ））が一定以下であるかどうかによって判定してもよい。

【0052】

転落者仮判定機能部４４は、ｓ１４でＡ／Ｂが一定以上であると判定すると、線路側の反応点の個数Ｃと、線路側の観測点の個数Ｄの比（Ｃ／Ｄ）が一定以下であるかどうかを判定する（ｓ１５）。ｓ１５では、駅ホームに発着する列車や、通過する列車にかかる反応点を囲む移動検知領域であるかどうかを判定している。オブジェクトが駅ホームに発着する列車や、通過する列車である場合、ｓ１２で線路側の観測点の多くが反応点として抽出される。

【0053】

なお、ｓ１４にかかる判定は、線路側の観測点の個数Ｄと、線路側の反応点の個数Ｃの比（Ｄ／Ｃ）が一定以上であるかどうかによって判定してもよいし、線路側の反応点の個数Ｃと、線路側の反応点でない観測点の個数（Ｄ−Ｃ）との比（Ｃ／（Ｄ−Ｃ））が一定以下であるかどうかによって判定してもよいし、線路側の反応点でない観測点の個数（Ｄ−Ｃ）と、観測点の個数Ｄとの比（（Ｄ−Ｃ）／Ｄ）が一定以上であるかどうかによって判定してもよい。

【0054】

転落者仮判定機能部４４は、ｓ１５でＣ／Ｄが一定以下であると判定すると、移動ベクトルの大きさが上限閾値（この発明で言う、第２の大きさ）以上である反応点（この反応点を、ここでは列車反応点と言う。）の個数が一定数以下であるかどうかを判定する（ｓ１６）。ｓ１６でも、ｓ１５と同様に、駅ホームに発着する列車や、通過する列車による反応点であるかどうかを判定している。ｓ１６では、転落したオブジェクトによって生じる移動ベクトルに比べて、その大きさが極端に大きい移動ベクトルが一定数を超えている場合、駅ホームに発着する列車や、通過する列車による列車反応点である。

【0055】

ｓ１５、ｓ１６は、上述したように、駅ホームに発着する列車や、通過する列車を、駅ホームから線路側に転落した転落者であると誤検知するのを防止するための処理である。したがって、転落検知装置１は、列車感知器等から、列車の感知信号を入力する構成にすれば、ｓ１４、およびｓ１５にかかる処理は、入力されている列車の感知信号が列車有りであるか、列車無しであるかを判定する処理に置き換えることができる。

【0056】

転落者仮判定機能部４４は、ｓ１４でＡ／Ｂが一定以上であると判定し、ｓ１５でＣ／Ｄが一定以下であると判定し、さらに、ｓ１６で列車反応点の個数が一定以下であると判定した場合に、転落者である可能性がある移動検知領域であると判定し（ｓ１７）、それ以外の場合に転落者である可能性がない移動検知領域であると判定する（ｓ１８）。

【0057】

なお、ｓ１４〜ｓ１６にかかる判定の順番は、上述した順番に限らず、どのような順番で行ってもよい。

【0058】

また、ｓ１４〜ｓ１８にかかる処理は、ｓ１３で設定した移動検知領域毎に行う。

【0059】

次に、ｓ３にかかる、線路領域内に位置するオブジェクトが処理対象フレーム画像に撮像されているかどうかを検知する処理（位置検知処理）について説明する。図１０は、位置検知処理を示すフローチャートである。

【0060】

背景差分画像生成機能部４５が、今回の処理対象フレーム画像にかかる背景差分画像を生成し、オブジェクト検出機能部４６が、今回の処理対象フレーム画像に撮像されているオブジェクトを検出する（ｓ２１）。オブジェクト検出機能部４６は、ｓ２１で検出したオブジェクト毎に、オブジェクト領域を設定する（ｓ２２）、ｓ２２で設定するオブジェクト領域は、ｓ２１で検出したオブジェクトを囲む矩形領域である。

【0061】

図１１は、オブジェクト領域の設定を示す図である。１つのブロックは、ｎ×ｎ画素（例えば、８×８画素）である。この例では、計算量を抑えるため、ｓ２１における背景差分画像の生成において、ブロック単位で背景であるか、前景であるかを判定している。ｓ２２では、前景であると判定したブロックを囲む最小の矩形領域をオブジェクト領域として設定する。したがって、オブジェクト領域には、背景であると判定されたブロックも含まれる。

【0062】

オブジェクト位置検知機能部４７は、ｓ２２で設定されたオブジェクト領域毎に、そのオブジェクト領域にかかるオブジェクトの位置が駅ホーム側であるか、線路側であるかを判定する。

【0063】

オブジェクト位置検知機能部４７は、判定対象のオブジェクト領域にかかるオブジェクトが前回の処理対象フレーム画像において、駅ホーム側に位置していたかどうかを判定する（ｓ２３）。ｓ２３は、前回の処理対象フレーム画像において、駅ホーム側に位置していなかった人を、転落者として検知しないための処理である。

【0064】

オブジェクト位置検知機能部４７は、ｓ２３で前回の処理対象フレーム画像おいて、駅ホーム側に位置していたオブジェクトであると判定すると、このオブジェクトにかかるオブジェクト領域の最下行に位置する全ての前景ブロック（最下行に位置する背景ブロックを除く）が線路側に位置するかどうかを判定する（ｓ２４）。カメラ１０のアングルによっては、図１１に示すオブジェクト領域α２のように、駅ホームの線路側の端部で立っている人（両足が駅ホーム側に位置する人）であっても、頭等の体の一部が線路側に撮像されることがある。また、図１１に示すオブジェクト領域β２は、片方の足が駅ホーム側に位置し、もう片方の足が線路側に位置している人である。

【0065】

オブジェクト位置検知機能部４７は、ｓ２４でオブジェクト領域の最下行に位置する全ての前景ブロックが線路側に位置すると判定すると、オブジェクト領域に対するリサイズ処理を行う（ｓ２５）。

【0066】

図１２は、ｓ２５にかかるリサイズ処理を説明する図である。ｓ２５にかかるリサイズ処理は、オブジェクト領域の各行について前景ブロックの比率（例えば、前景ブロックの数／背景ブロックの数）を算出し、予め定めた比率以下である行をオブジェクト領域から取り除いたリサイズ画像を生成する処理である。例えば、図１２（Ａ）に示すように、駅員が拾い棒を持って、駅ホームの上から線路に落ちている物品を拾っている場合、オブジェクト領域の最下行は、拾い棒の先端になるで、ｓ２４でオブジェクト領域の最下行に位置する全ての前景ブロックが線路側に位置すると判定される。図１２（Ｂ）は、図１２（Ａ）に示すオブジェクト領域に対してリサイズ処理を行ったリサイズ画像である。

【0067】

オブジェクト位置検知機能部４７は、リサイズ処理したリサイズ画像について、線路側に位置する前景ブロックの個数Ｘと、駅ホーム側に位置する前景ブロックの個数Ｙとの比率（Ｘ／Ｙ）が、予め定めた値以上であれば、リサイズ処理したオブジェクト領域のオブジェクトが線路側に位置していると判定する（ｓ２６、ｓ２７）。また、オブジェクト位置検知機能部４７は、ｓ２３で前回の処理対象フレーム画像において駅ホーム側に位置していないオブジェクトと判定した場合、ｓ２４で最下行の全ての前景ブロックが線路側に位置すると判定しなかった場合、またはｓ２６で線路側に位置する前景ブロックの個数Ｘと、駅ホーム側に位置する前景ブロックの個数Ｙとの比率（Ｘ／Ｙ）が、予め定めた値以上であると判定しなかった場合、線路側に位置するオブジェクトでないと判定する（ｓ２８）。

【0068】

図１３は、本判定処理を示すフローチャートである。転落判定機能部４８は、転落者仮判定機能部４４が今回の処理対象フレーム画像を含む所定フレーム数の間に（すなわち、直前の所定時間以内の間に、）、転落者の可能性有りと判定し（ｓ３１）、且つオブジェクト位置検知機能部４７が今回の処理対象フレーム画像において、線路側に位置するオブジェクトを検出していれば（ｓ３２）、転落者有りと判定する（ｓ３３）。転落判定機能部４８は、転落者仮判定機能部４４が今回の処理対象フレーム画像を含む所定フレーム数の間に、転落者の可能性有りと判定していない場合、またはオブジェクト位置検知機能部４７が今回の処理対象フレーム画像において、線路側に位置するオブジェクトを検出していない場合、転落者無しと判定する（ｓ３４）。

【0069】

このように、この例にかかる転落検知装置１は、移動ベクトル（オプティカルフロー）と、オブジェクトの位置とによって転落者の有無を判定するので、転落者の検知が精度よく行える。

【0070】

また、上述したように、カメラ１０は駅ホームに設置するので、カメラ１０の設置にかかる作業や、アングル調整等の保守管理にかかる作業が駅ホームで行え、作業員が列車の軌道に降りる必要がない。すなわち、カメラ１０の設置にかかる作業や、保守管理にかかる作業を行うときに、列車の運行を停止させる等の処置をとる必要がない。

【0071】

また、上記の例では、駅ホームから線路側に転落した転落者を検知する例を用いて本願発明を説明したが、本願発明は、特定領域外から特定領域内へ移動したオブジェクトを検知する装置に適用できる。但し、図８に示した基準方向や、転落方向の範囲等については、カメラ１０の撮像エリア（対象エリア）における特定領域の位置に応じて定めればよい。

【符号の説明】

【0072】

１…転落検知装置
２…制御部
３…画像入力部
４…画像処理部
５…入出力部
１０…カメラ
４１…処理対象フレーム画像選択機能部
４２…オプティカルフロー検出機能部
４３…移動ベクトル分布検出機能部
４４…転落者仮判定機能部
４５…背景差分画像生成機能部
４６…オブジェクト検出機能部
４７…オブジェクト位置検知機能部
４８…転落判定機能部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】