(58)【調査した分野】(Int.Cl.,DB名)
前記記憶手段は、前記線路軌道上のレールの上面の高さを前記第2の下限閾値として設定し、前記駅ホームの上面の高さを前記第2の上限閾値として設定する、請求項1に記載の駅ホーム転落検知装置。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら駅ホーム転落検知装置の例について詳細に説明する。
図1は、一実施形態に係る駅ホーム転落検知装置(転落検知装置)2が設置される駅ホームの例を示す。
【0009】
駅ホームは、ホーム、線路軌道、及びステレオカメラ11及び12を備える。転落検知装置2は、ホーム及び線路軌道上の所定の範囲(検知範囲)からステレオカメラ11及び12が撮像した画像に基づいて、転落事象を検知する。
【0010】
図2は、転落検知装置2の構成の例を示す。また、
図3は、転落検知装置2での座標系の例を示す。
図3では、実空間の線路が敷かれている方向と水平に直行する方向の座標はX、奥行き方向(線路が敷かれている方向)の座標はY、垂直方向の座標はZで表される。また、画像座標系の水平方向の座標はu、垂直方向の座標はvで表される。
【0011】
図2に示す転落検知装置2は、例えば、駅のホームの柱に設置された2台のカメラ11,12(以降、ステレオカメラと表記)によって撮影された画像を用いて、ホーム上及び線路軌道上の物体の位置及び高さ等を推定する。
【0012】
図2において、転落検知装置2は、画像入力部21と、投影画像生成部22と、対応点計算部23と、物体平面位置計算部24と、対象物検出部25とを備える。これら各部の機能は、例えば記録媒体に記録されたプログラムをコンピュータが実行することによって実現することができる。
【0013】
画像入力部21は、監視領域の近くの柱に設置されたステレオカメラで時系列画像を撮影する。ステレオカメラから得られる左右の時系列画像は実質的に光軸が平行になっているものとする。カメラ11、12は、電荷結合素子(CCD)からなり、カメラ11、12から出力される映像がアナログ信号の場合はディジタル画像に変換し、画像入力部21にてディジタル画像として記憶する。ステレオカメラの画像のうち、任意の1つのカメラ画像を基準画像とし、他方のカメラ画像を参照画像とする。
【0014】
投影画像生成部22は、線路軌道及びホームを含む範囲を基準平面とし、一方のカメラで撮影された画像を、監視エリアの基準画像に映る基準平面上のパターンの位置が、他方のカメラで撮影された画像を、監視エリアの参照画像に映る基準平面上のパターンの位置と一致するように画像変換した投影画像を生成する。なお、ホームは、基準平面より所定の高さで設けられている。また、線路机上には、所定の高さのレールが設けられている。
【0015】
なお、投影画像生成部22は、あらかじめ基準画像と参照画像間で基準平面上のパターンの対応点を算出し、その対応点の組から画像変換行列を求めておく。2つのカメラの光軸が実質的に平行になっている場合、上記対応点の組み合わせは少なくとも4組の対応点から、カメラ画像間の画像変換行列として射影変換行列Hが求まる。画像座標系上の点をそれぞれ、
【数1】
【0017】
と記述でき、これらは次のような関係がある。
【数3】
【0018】
このとき射影変換行列Hは3×3の行列で、次のような行列として記述できる。
【数4】
【0019】
射影変換行列Hは未知パラメータh
0〜h
1の8個であり、一組の対応点は2個の式を与える。したがって、4組以上の対応点があれば、最小2乗法によりこの行列を求めることができる。あらかじめ求めた画像変換行列を用いて、参照画像を変換して基準画像の基準平面の位置が一致する投影画像を生成する。
【0020】
図4は、
図2に示す投影画像生成部22での画像変換の概略を示す図である。
図4(a)は基準画像、
図4(b)は参照画像を表す。また、それぞれの画像には、基準平面上に存在する対象物(検知対象)が写りこんでいる。
図4(c)の投影画像は、
図4(b)参照画像を上記画像変換行列により画像変換し、基準平面に関して、
図4(a)の基準画像と
図4(c)の投影画像とが一致する。このとき、
図4(a)の基準画像と
図4(c)の投影画像とを比較すると基準平面上にない対象物には視差が発生する。
【0021】
対応点計算部23は、基準画像の任意の点の座標と投影画像で対応する点の座標を算出する。本実施形態では、上記
図4(a)の基準画像と
図4(c)の投影画像とを比較し、基準平面上にない物体に生じる視差の量を計算するため、対応点探索を実施する。2つのカメラの光軸が実質的に平行となっているため、調整された画像の場合、基準画像上の任意の点は、エピポーラ拘束条件により、参照画像上の同じv座標上に位置する特性がある。このため、対応点の探索は、1次元探索となる。このとき、対応関係を見つけるには、例えば、注目画素近傍の画像特徴を用いた領域ベースマッチングによる方法を適用することができる。
【0022】
なお、領域ベースマッチングとは、比較元の画像領域と比較先の画像領域との一致度を算出する方法である。ここで、最も簡便なSAD(Sum of Absolute Difference)を用いる方法を簡潔に説明する。
【0023】
比較する2つの画像領域が同形としてRで表し、R中の位置を(u,v)、この位置での比較元の画素輝度をI(u,v)、比較先の画素輝度をI’(u,v)とした場合、
【数5】
【0024】
が求まる。この値が小さいほど2つの画像領域は一致しているといえる。
【0025】
領域ベースマッチングは、上記のように任意の点を中心とした局所領域と、参照画像の局所領域を相違度あるいは類似度の尺度を用いてマッチングを行う。相違度としてSAD(Sum of Absolute Differences)やSSD(Sum of Squared Differences)、類似度としてNCC(Normalized Cross Correlation)やPOC(Phase-Only Correlation)を用いることができる。また、画像からコーナー等の特徴点を検出し、その周囲の局所領域に対して局所記述子(特徴量)を定義し、局所記述子の距離に基づいて画像間のマッチングを行う、特徴ベースマッチングを用いてもよい。
【0026】
なお、特徴抽出としては、Harris point,DoG(Difference of Gaussian)region,Harris Affine region,Hessian Affine region,MSER(Maximally Stable Extermal Regions)等を用いても構わない。局所記述子としては、SIFT(Scale Invariant Feature Transform)やGLOH(Gradient Location-Orientation Histgram)等を用いても構わない。
【0027】
物体平面位置計算部24は、基準画像の任意の点について、対応する投影画像の点との座標値の差を求め、差がある場合に基準平面上にない物体として基準平面上における物体の位置を算出する。本実施形態では、2つのカメラの光軸が実質的に平行で、基準平面に対してカメラのヨー角・ロール角が0度に近いこととする。このとき、上記投影画像生成部22で表記した射影変換行列は、アフィン変換行列となる。さらに、基準画像中の直線と、これに対応する投影画像中の直線のなす角度は、一定値θをとる。
【0028】
図5は、基準画像中の物体の任意の点pの基準平面上における画像上の位置Pの対応関係を示す図である。
【0029】
この性質を利用し、
図5に示すように、基準画像中の物体の任意の点pと、これに対応する参照画像中の点p’の視差量dと、角度θの関係から、視差量dを対辺とする直角三角形をなし、次式のように隣辺hの長さが求まる。
【数6】
【0030】
これにより、基準画像中の物体の任意の点pの基準平面上における画像上の位置Pが算出できる。即ち、対象物検出部25は、ステレオ画像から対象物の基準平面上の位置P(座標)と、対象物の高さhと、を推定することができる。これにより、対象物検出部25は、対象物がホーム上の領域に存在する物体であるか、線路軌道上の領域に存在する物体であるかを判別することができる。
【0031】
図6は、対象物の検出を行うための検出エリアを示す図である。
本実施形態では、
図6に示すように、対象物検出部25は、物体平面位置計算部24で求めた基準平面上にない物体の点pにおける基準平面上の位置Pについて、あらかじめ設定した基準画像中の基準平面上に設定した検出エリアAの中に含まれるか否かの判定を行なう。これにより、対象物検出部25は、対象物の検出を行なう。
【0032】
なお、ある対象物について複数の点について基準平面上の位置が求まる。この為、対象物検出部25は、複数点における基準平面上での位置分布もしくは、物体に関する画像上での位置分布からクラスタリングを行ない、一つの対象物として検出する。すなわち、対象物検出部25は、物体平面位置計算部24で計算した複数点の基準平面上の位置の分布、もしくは基準画像上での位置の分布から少なくとも1つ以上のクラスタとして対象物候補領域を計算する。
【0033】
以上のような処理をステレオカメラ画像に対して処理を行い、対象物検出部25は、ホーム上または線路軌道上の物体の位置を検出する。
【0034】
また、本実施形態では、対象物に関して基準平面上の位置(X,Y)と基準平面からの高さZが求まるため、検出エリアを3次元で設定することができる。
【0035】
図7は、3次元の検出エリアを設定するための概要図である。
3次元の検出エリアの設定は、例えば
図7に示すように、
図7(a)の3次元検出エリアAを設定するときは、
図7(b)のように基準平面上における検出エリアaを指定し、aに関する検出限界高さを付することで実現する。
図7に示すように、転落検知装置2は、複数のエリアを設定してそれぞれ検出下限高さ、上限高さを変えて設定することができる。すなわち、対象物検出部25は、実空間上の高さを持つ3次元の検出エリアの設定が画像上の基準平面に基づいて設定する。これにより、駅のホームと線路軌道のように、高さが異なる複数の領域を含む場所においても、転落検知装置2は、1つの基準平面を設定することができる。さらに、転落検知装置2は、各領域毎に複数の検出下限高さ(下限閾値)、上限高さ(上限閾値)を設定することができる。
【0036】
また、転落検知装置2は、3次元検出エリアを設定することにより、画像上の各画素について基準画像と投影画像との視差のとり得る値域を算出できる。これにより、転落検知装置2は、その値域以外の視差が得られたときは3次元検出エリア外の物体として容易に判定できる。一方で、転落検知装置2は、視差の値域を算出する。さらに、転落検知装置2は、視差の探索範囲を算出した値域内に制限する。これにより、転落検知装置2は、演算コストの低減とマッチング精度向上を図ることが可能となる。
【0037】
図8は、対象物検出部25の構成の例を示す
図8に示す対象物検出部25は、サイズ変換推定部251と、対象物候補属性計算部253と、対象物属性判定部254と、対象物運動推定部256と、総合判定部258と、閾値メモリ259とを有する。
【0038】
サイズ変換推定部251は、線路の幅が一定で既知であることを利用して、実空間と画像との長さに関する対応関係を求める。サイズ変換推定部251において、まず
図9に示すように、線路軌道には、レールが存在する。レール幅は常に一定である為、サイズ変換推定部251は、基準平面上の任意の点間の画像内の長さと、実空間の長さとの対応関係を推定することができる。例えば、サイズ変換推定部251は、1画素当たりの実空間上の長さを推定することができる。この対応関係をあらかじめ計算しておき、参照できるよう、監視エリア情報記憶部252に記憶しておく。
【0039】
対象物候補属性計算部253は、基準画像における基準平面上の各位置において、実空間と画像との長さに関する対応関係をあらかじめ記憶しており、計算された対象物候補における基準平面上の位置から実空間上における対象物候補のサイズに関する特徴量を少なくとも1つ以上計算する。本実施形態の対象物候補属性計算部253は、ステレオカメラの基準平面に対するピッチ角(俯角)が十分小さいときを考える。
【0040】
例えば、基準平面上の位置Pの画素当りの実空間上の長さがn[m/画素]であり、対象物の幅がw[画素]、高さがh[画素]である場合、対象物候補属性計算部253は、対象物の実空間上での幅w×n[m]、及び高さh×n[m]を算出することができる。また、対象物候補属性計算部253は、検出した対象物の重心位置の基準平面からの高さ等を算出することもできる。
【0041】
対象物属性判定部254は、対象物の重心位置の基準平面からの高さ等の対象物の属性情報を用いて、例えば検出物体の幅と高さの大きさから、対象物が人物であるか、鞄などの小物であるか、小動物であるかなどの属性を判別することができる。対象物属性判定部254は、対象物の高さ、及び幅などと、判別情報記憶部255に記憶されている基準値とに基づいて、これらの属性を判定することができる。
【0042】
対象物運動推定部256は、検出した対象物を時系列で追跡する。例えば、対象物運動推定部256は、撮影時間の異なる基準画像間において、対象物候補に関する特徴量の相違度もしくは類似度による判定で対応付けを行ない、対象物候補の運動情報を推定する。
【0043】
まず、対象物運動推定部256は、画像入力部21等から新規対象物として検出された対象物の実空間座標系での位置および画像上での位置を登録する。また、画像上の対象物領域のテクスチャ情報をテンプレートとして登録する。即ち、対象物運動推定部256は、対象物の実空間座標系での位置および画像上での位置、並びに画像上の対象物領域のテクスチャ情報をテンプレート登録部257に記憶する。対象物運動推定部256は、テンプレート登録部257に記憶したテンプレートを用いてテンプレートマッチングを行い、対象物の次の時刻での位置を推定する。
【0044】
例えば、対象物運動推定部256は、次の時刻で検出された対象物の位置と、前回対象物が検出された位置との距離差を計算する。この距離差が閾値より小さい場合、対象物運動推定部256は、二つの対象物が同一の対象物であると判定する。
【0045】
対象物運動推定部256は、追跡結果による対象物位置と、検出結果による対象物の位置の平均値を計算し、平均された位置を対象物の位置としてテンプレート登録部257の対象物の位置の情報を更新する。さらに、対象物運動推定部256は、平均された位置による対象物の画像に基づいて、テンプレート登録部257のテクスチャ情報を更新する。
【0046】
なお、対象物運動推定部256は、平均値を計算する場合に重みを付けをする構成であってもよい。また、対象物運動推定部256は、等加速度運動モデルを適用したカルマンフィルタを用いて、対象物の位置及び速度を推定する構成であってもよい。なお、対象物運動推定部256は、位置や速度を推定する為の他のフィルタを用いて対象物の位置及び速度を推定する構成であってもよい。
【0047】
総合判定部258は、上記の処理により算出された対象物の高さh、位置P、及び予め設定された閾値に基づいて、駅ホームから線路軌道への落下事象の有無を判定する。
【0048】
上記したように、転落検知装置2は、3次元空間上に落下事象の検知エリアを設定することができる。閾値メモリ259は、基準平面上で分割された複数の領域毎に閾値(上限及び下限を含む)を設定することができる。
【0049】
例えば、
図7(b)に示されたように、基準平面が領域aと領域bとに分割されている場合、閾値メモリ259には、領域a用の上限閾値及び下限閾値と、領域b用の上限閾値及び下限閾値とが予め記憶されている。総合判定部258は、対象物が領域a内に存在するか、領域b内に存在するかを判定する。
【0050】
対象物が領域a内に存在する場合、総合判定部258は、領域a用の上限閾値及び下限閾値と、対象物の高さhとに基づいて、転落事象を検知する。即ち、総合判定部258は、対象物の高さhが、領域a用の下限閾値以上であり、且つ、領域a用の上限閾値未満であるか否か判定する。総合判定部258は、対象物の高さhが、領域a用の下限閾値以上であり、且つ、領域a用の上限閾値未満であると判定した場合、転落事象を検知する。
【0051】
また、対象物が領域b内に存在する場合、総合判定部258は、領域b用の上限閾値及び下限閾値と、対象物の高さhとに基づいて、転落事象を検知する。即ち、総合判定部258は、対象物の高さhが、領域b用の下限閾値以上であり、且つ、領域b用の上限閾値未満であるか否か判定する。総合判定部258は、対象物の高さhが、領域b用の下限閾値以上であり、且つ、領域b用の上限閾値未満であると判定した場合、転落事象を検知する。
【0052】
図10は、閾値の設定の例を示す。
図10に示されたように、検知範囲内に第1乃至第4のエリアが存在する例について説明する。この例では、線路軌道上のレールの上面の高さに基準平面が設けられている。
【0053】
第1のエリアは、駅のホームに該当するエリアである。第2のエリアは、線路軌道上であり、且つ線路のレール及び砂利が存在しないエリアである。第3のエリアは、線路軌道上であり、且つ線路のレールが存在するエリアである。第4のエリアは、線路軌道上であり、且つ盛られた砂利が存在するエリアである。即ち、転落検知装置2は、線路軌道上の領域を、駅ホームの端から遠ざかる方向、即ち
図3のY方向に複数の領域に分割する。
【0054】
例えば、
図10に示されたように、駅のホーム上に閾値を設けないように設定することにより、駅ホーム上の乗降客の乗り出しによる落下事象の検知を防ぐことができる。これにより、転落検知装置2は、落下事象検知の誤報を低減することができる。
【0055】
また、第2のエリアでは、レール及び砂利が存在しない為、第2のエリアに人物が存在する場合に落下事象が検知されるような閾値(第2の閾値)が設定されていればよい。例えば、転落検知装置2は、人物の平均的な身長に基づいて、人物が検出される可能性が高い下限閾値及び上限閾値を第2の閾値として設定する。
【0056】
図10の例では、下限閾値が基準平面の高さ、即ちレール上面の高さに設定され、且つ上限閾値がホーム上面の高さに設定されている。通常、小物などの落下物は、基準平面より低い位置に落下する。このように設定されていた場合、転落検知装置2は、レールの高さ以上の高さを持つ対象物を落下物として検知し、且つレール未満の高さの対象物を落下物として検知することを防ぐことができる。この結果、転落検知装置2は、落下事象検知の誤報を低減することができる。
【0057】
また、第2の閾値の上限閾値がホーム上面の高さに設定されている為、転落検知装置2は、ホームからの乗降客の乗り出しを落下物であると検知することを防ぐことができる。
【0058】
また、第3のエリアでは、レールが存在するため、第2のエリアに比べて上限閾値が高く設定されている。即ち、転落検知装置2は、人物がレール上に立っていた場合に人物が検出される可能性が高い下限閾値及び上限閾値を第3の閾値として設定する。
【0059】
図10の例では、下限閾値が基準平面の高さ、即ちレール上面の高さに設定され、且つ上限閾値が第2の閾値の上限閾値よりレールの高さだけ高い高さに設定されている。これにより、転落検知装置2は、レールの上に人物が立っている場合であっても、落下事象を検知することができる。
【0060】
また、第4のエリアでは、盛られた砂利が存在するため、第2のエリアに比べて上限閾値が高く設定されている。即ち、転落検知装置2は、人物が砂利の上に立っていた場合に人物が検出される可能性が高い下限閾値及び上限閾値を第4の閾値として設定する。
【0061】
図10の例では、上限閾値が第2の閾値の上限閾値より砂利の分だけ高い高さに設定されている。さらに、下限閾値が、第2の閾値の下限閾値より砂利の分だけ高い高さに設定されている。即ち、転落検知装置2は、基準平面より高い位置に存在する砂利を落下物と検知しない為に、盛られた砂利より高い位置に第4の閾値の下限閾値を設定する。これにより、転落検知装置2は、砂利の上に人物が立っている場合であっても、落下事象を検知することができる。さらに、転落検知装置2は、砂利を落下物として検知することを防ぐことができる。
【0062】
また、第1のエリアに第1の閾値が設定されていても良い。例えば、転落検知装置2は、ホーム上の線路軌道から近い範囲に第1の閾値を設定することにより、ホーム上の線路軌道に近い範囲に存在する対象物を検出することができる。
【0063】
上記のように領域毎に設定された閾値と、対象物の高さと、対象物の位置と、に基づいて、転落検知装置2は、落下事象を適切に検知することができる。この結果、より高い精度で転落事象を検知する駅ホーム転落検知装置を提供することができる。
【0064】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。