(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-30
(45)【発行日】2023-07-10
(54)【発明の名称】監視システムおよび監視方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20230703BHJP
G06T 7/254 20170101ALI20230703BHJP
G06T 7/60 20170101ALI20230703BHJP
【FI】
G01C3/06 120S
G06T7/254 A
G06T7/60 180B
(21)【出願番号】P 2021508401
(86)(22)【出願日】2019-03-25
(86)【国際出願番号】 JP2019012345
(87)【国際公開番号】W WO2020194422
(87)【国際公開日】2020-10-01
【審査請求日】2021-09-13
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】古藤 晴洋
【審査官】岡田 卓弥
(56)【参考文献】
【文献】国際公開第2012/175510(WO,A1)
【文献】特開2002-122670(JP,A)
【文献】特開2003-247824(JP,A)
【文献】特開2010-184527(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 3/00- 3/32
G01B11/00-11/30
G06T 7/00- 7/90
(57)【特許請求の範囲】
【請求項1】
鉄道の車両に設置され、前記車両の前進方向または後退方向を撮影して映像データを出力する撮像部と、
前記映像データに写る別車両の外観画像を抽出する画像抽出部と、
前記外観画像における前記別車両のサイズを解析する画像解析部と、
前記別車両のサイズに基づいて前記別車両までの距離情報を求める距離解析部と、
前記距離情報を出力する制御部と
を備え、
前記画像抽出部は、
前記映像データの時間軸方向について差分画像を生成して背景領域を除去し、前記差分画像に残存する前記別車両の前記外観画像を抽出し、
前記画像解析部は、
前記外観画像における前記別車両の窓枠または外形の画像長さを解析し、
前記距離解析部は、
前記画像長さに基づいて前記別車両までの前記距離情報を求め、
前記別車両までの前記距離情報は、次式により計算する
ことを特徴とする監視システム。
X = Y × f / Z
ここで、Xは前記別車両までの前記距離情報、Yは前記別車両の実長、fは前記撮像部の焦点距離、Zは像高(前記画像長さ(単位:画素数)に、前記撮像部の撮像素子の画素間隔を乗じたもの)である。
【請求項2】
請求項
1に記載の監視システムにおいて、
前記制御部は、
前記車両の運行情報を取得し、前記運行情報が所定の低速度運行の条件を満足したことを契機に、前記別車両までの前記距離情報の検出または出力を開始する
ことを特徴とする監視システム。
【請求項3】
請求項
1に記載の監視システムにおいて
前記画像抽出部は、
前記映像データを一時記憶するための画像メモリA,Bと、
前記映像データを前記画像メモリAまたはBに入力する入力セレクタと、
前記画像メモリAまたはBから過去の前記映像データを出力する出力セレクタと、
前記入力セレクタの出力先および前記出力セレクタの入力元を切り替える切替部と、
「前記映像データ」と「前記出力セレクタから出力される過去の前記映像データ」との差分をとって前記差分画像を生成する差分器とを備える
ことを特徴とする監視システム。
【請求項4】
請求項
3に記載の監視システムにおいて、
前記画像抽出部は、
「前記差分画像による動き検出」または「前記車両の運行情報」の動き情報に基づいて、前記外観画像の差分抽出に適さない車両停止または微動の期間(以下「停止期間」という)を判定する動き判定部を備え
前記切替部は、
前記停止期間は、前記入力セレクタの出力先を切り替えず、前記停止期間の開始付近の前記映像データを前記画像メモリA,Bの一方に保持し、前記出力セレクタの入力元を切り替えず、前記画像メモリA,Bの一方から前記停止期間の開始付近の前記映像データを継続して出力する
ことを特徴とする監視システム。
【請求項5】
鉄道の車両に設置された撮像部により、前記車両の前進方向または後退方向を撮影して映像データを生成する撮像ステップと、
前記映像データに写る別車両の外観画像を抽出する画像抽出ステップと、
前記外観画像における前記別車両のサイズを解析する画像解析ステップと、
前記別車両のサイズに基づいて前記別車両までの距離情報を求める距離解析ステップと、
前記距離情報を出力する制御ステップと
を備え、
前記画像抽出ステップは、
前記映像データの時間軸方向について差分画像を生成して背景領域を除去し、前記差分画像に残存する前記別車両の前記外観画像を抽出し、
前記画像解析ステップは、
前記外観画像における前記別車両の窓枠または外形の画像長さを解析し、
前記距離解析ステップは、
前記画像長さに基づいて前記別車両までの前記距離情報を求め、
前記別車両までの前記距離情報は、次式により計算する
ことを特徴とする監視方法。
X = Y × f / Z
ここで、Xは前記別車両までの前記距離情報、Yは前記別車両の実長、fは前記撮像部の焦点距離、Zは像高(前記画像長さ(単位:画素数)に、前記撮像部の撮像素子の画素間隔を乗じたもの)である。
【請求項6】
請求項
5に記載の監視方法において
前記画像抽出ステップは、
前記映像データを一時記憶するための画像メモリAまたはBに対して前記映像データを入力する入力ステップと、
前記画像メモリAまたはBから過去の前記映像データを出力する出力ステップと、
前記入力ステップにおける前記映像データを入力する前記画像メモリおよび前記出力ステップにおける過去の前記映像データを出力する前記画像メモリを切り替える切替制御ステップと、
「前記映像データ」と「前記出力ステップにより出力される過去の前記映像データ」との差分をとって差分画像を生成する差分ステップとを備える
ことを特徴とする監視方法。
【請求項7】
請求項
6に記載の監視方法において、
前記画像抽出ステップは、
「前記差分画像による動き検出」または「前記車両の運行情報」の動き情報に基づいて、前記外観画像の差分抽出に適さない車両停止または微動の期間(以下「停止期間」という)を判定する動き判定ステップを備え
前記切替制御ステップは、
前記停止期間は、前記入力ステップにおける前記映像データを入力する前記画像メモリを切り替えず、前記停止期間の開始付近の前記映像データを前記画像メモリAまたはBの一方に保持し、
前記出力ステップにおける過去の前記映像データを出力する前記画像メモリを切り替えず、前記画像メモリAまたはBの一方から前記停止期間の開始付近の前記映像データを継続して出力する
ことを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視システムおよび監視方法に関する。
【背景技術】
【0002】
近年、移動体に設置されたカメラで外部の映像を取得する事例が増えている。例えば、鉄道の車両には、運行状況を記録するなどの目的で前方監視カメラが設置される。
図10は、この前方監視カメラを備えた車両を示す図である。
【0003】
同図において、車両1(例えば先頭車両)は、車両の運転台の内側から前方を撮影して映像データを出力する前方監視カメラ20と、映像データを表示するための表示モニタ20Mと、映像データを記録する記録装置20Rと、これら装置を相互にネットワーク接続するためのハブ装置20Hとを備えてシステム構成される。
【0004】
このような監視システムでは、たとえば特許文献1のように、車両全体にネットワークが構築されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般的に車両に設置されるカメラは、外部の映像を記録するだけである。そこで、本発明は、移動体と、移動体に設置されたカメラの被写体との距離を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、代表的な本発明の監視システムの一つは、移動体に設置されて移動体の前進方向または後退方向を撮影して映像データを出力する撮像部と、映像データに写る被写体の外観画像を抽出する画像抽出部と、外観画像上の被写体のサイズを解析する画像解析部と、外観画像上の被写体のサイズに基づいて被写体までの距離情報を求める距離解析部と、距離情報を出力する制御部とを備える。
【発明の効果】
【0008】
本発明により、移動体と、移動体に設置されたカメラの被写体間との距離を検出することが可能になる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【
図2】
図2は、車両1および別車両2の様子を示す図である。
【
図3】
図3は、鉄道監視システム10の動作を示す流れ図である。
【
図4】
図4は、画像抽出部30の処理を示す図である。
【
図8】
図8は、画像抽出部30Aの動作を示す図である。
【
図9】
図9は、停止期間の差分画像と前進期間の差分画像を示す図である。
【発明を実施するための形態】
【0010】
図面を参照しながら、本発明の実施例を詳細に記載する。
【実施例1】
【0011】
(実施例1の構成)
図1は、実施例1における鉄道監視システム10の構成を示す図である。
同図において、鉄道監視システム10は、撮像部である前方監視カメラ20、画像抽出部30、画像解析部40、距離解析部50、および制御部60を備える。
【0012】
前方監視カメラ20は、被写体像を撮像して映像信号を出力する撮像素子21と、映像信号に対してゲイン制御やガンマ補正や色補正などを行って映像データを生成するカメラ映像処理部22と、映像データに対して静止画や動画像の圧縮処理を行い、ネットワークプロトコルに適合した映像ストリームデータに変換してネットワークNに送出するカメラ後処理部23とを備える。
【0013】
画像抽出部30は、映像データから色差成分を除いて輝度成分(グレースケール)からなる映像データに変換するグレースケール変換部31と、映像データをフレーム単位に一時記憶する画像メモリ32と、現在の映像データと、画像メモリ32に記憶された過去の映像データとのフレーム差をとることにより、静止した背景領域を除去した差分画像を生成する差分器33とを備える。なお、差分画像は負の画素値を取り得るため、絶対値化の処理を施してもよい。
【0014】
画像解析部40は、差分画像から別車両の外形の差分領域(画素差が有意なレベルの画素の集合)を抽出する外形抽出部41と、差分画像から別車両の窓枠の差分領域を抽出する窓枠抽出部42と、抽出された差分領域の幅の画像上の長さ(以下「画像長さ」という)を解析する車体幅算出部43とを備える。
【0015】
距離解析部50は、映像データの撮影時のカメラパラメータ(焦点距離fや撮像素子サイズなど)を、前方監視カメラ20や映像データ内の情報領域(EXIFなど)から取得するカメラパラメータ取得部52と、別車両の画像長さとカメラパラメータとに基づいて別車両までの距離情報を算出する対向距離算出部51とを備える。
【0016】
制御部60は、前方監視カメラ20が搭載される車両1や、別車両の制御装置から運行情報(車両速度、前進後退の情報、車輪の回転速度、電動機の駆動情報などの車両運行に係る情報)を有線または無線で取得し、運行状況のタイミングに応じて別車両までの距離情報を距離解析部50に算出させる。
【0017】
まず、車両1と別車両2の車両状態について説明する。
図2は、この車両1と別車両2の様子を示す図である。
同図において、車両1の前進方向(または後退方向)に、別車両2が対向して停車する。車両1の運転台1Dには、前方監視カメラ20が車両1の前進方向(または後退方向)に向けて設置される。
【0018】
この状態において、前方監視カメラ20は、別車両2の正面窓および車体の左右側方までを監視視野20Eに捉える。
【0019】
(実施例1の動作)
次に、車両1および別車両2間の距離を検出する動作について説明する。
【0020】
図3は、鉄道監視システム10の動作を示す流れ図である。
以下、同図に示すステップ番号に沿って説明する。
【0021】
ステップS101: 制御部60は、車両1の制御装置から車両1の運行情報(車両速度、前進後退などの運転操作情報)を取得する。また、別車両2の制御装置から別車両2の運行情報を無線で取得する。
【0022】
ステップS102: 制御部60は、運行情報が低速度運行の条件を満足するか否かを判定する。車両速度が通常走行の速度域にあるなど、運行情報が低速度運行の条件を満足しない場合、制御部60はステップS101に動作を戻す。車両速度が所定の閾値以下であるなど、運行情報が低速度運行の条件を満足した場合、ステップS103に動作を移行する。
【0023】
ステップS103: 画像抽出部30は、前方監視カメラ20が出力した、監視視野20E(
図2参照)の画角内の映像データを処理する。
図4は、この画像抽出部30の処理を示す図である。
【0024】
同図において、画像抽出部30には、フレーム(1)、(2)・・・のフレーム順に映像データが入力される。グレースケール変換部31は、これらの映像データから色差成分を除いて、輝度成分からなる映像データを出力する。
【0025】
差分器33は、現時点の映像データと、画像メモリ32に記憶された過去の映像データとのフレーム差をとることにより、差分画像を生成する。この差分画像の生成により、映像データから「背景の静止領域」が除去され、動領域である別車両2の窓枠や外形を含む外観画像が抽出される。
【0026】
ステップS104: 外形抽出部41は、差分画像に対して形状マッチングやエッジ抽出やハフ変換や特徴抽出や閉領域などの解析・認識を行うことにより、
図4(G)に示すような別車両2の外形の差分領域を抽出する。
【0027】
また、窓枠抽出部42は、差分画像に対して形状マッチングやエッジ抽出やハフ変換や特徴抽出や閉領域などの解析・認識を行うことにより、
図4(F)に示すような別車両2の窓枠の差分領域を抽出する。
【0028】
例えば、差分画像に対しエッジ検出を実施した後に直線成分を抽出し、直線成分に囲まれて矩形になった部分を検出することで外形や窓枠を抽出することが可能である。また、車両のデザインにより外形や窓枠が直線に見えない場合には直線にとらわれないハフ変換などのアルゴリズムを適用することも可能である。
【0029】
ステップS105: 車体幅算出部43は、差分画像から外形または窓枠の差分領域が抽出されたか否かを判定する。ここで、外形または窓枠の差分領域がどちらも抽出されない場合、車体幅算出部43は、ステップS101に動作を戻す。外形または窓枠の差分領域が一方でも抽出された場合、車体幅算出部43は、ステップS106に動作を移行する。
ステップS106: 車体幅算出部43は、抽出された差分領域について水平方向または垂直方向、または斜めなどの所定方向の画像長さを算出する。
【0030】
このとき、車両1および別車両2が接近中か離隔中かにより、画像長さの測り方を切り替えてもよい。例えば、車体幅算出部43は、車両間の距離変化や運行情報や画像変化に基づいて車両1および別車両2が接近中と判定した場合、差分領域の外側の画像の長さ(
図4のW1,W3参照)を算出する。また、車体幅算出部43は、車両1および別車両2が離隔中と判定された場合、差分領域の内側の画像長さ(
図4のW2,W4参照)を算出する。
【0031】
ステップS107: カメラパラメータ取得部52は、映像データを撮影した際の焦点距離fや、撮像素子サイズなどのカメラパラメータを取得する。対向距離算出部51は、車体幅算出部43が算出した画像長さと、カメラパラメータ取得部52が取得したカメラパラメータに基づいて、別車両2までの距離情報を算出する。距離情報の算出方法については後述する。対向距離算出部51は、算出した距離情報を制御部60などに出力すると、ステップS101に動作を戻す。
【0032】
(距離情報の算出方法について)
続いて、上記のステップS107で実施する距離情報の算出方法について説明する。
図5は、前方監視カメラ20の光学的な物空間を示す図である。
図6は、前方監視カメラ20の光学的な像空間を示す図である。
【0033】
これらの図において、被写体aは
図4に示すフレーム(1)の別車両2に相当する。被写体bは
図4に示すフレーム(2)の別車両2に相当する。被写体aと被写体bは、前方監視カメラ20の前側主点C1から被写体距離Xa、Xb離れた場所にある。
【0034】
被写体aの光軸から高さYaの位置を出た光線は、前側主点C1に対して入射角φaで入射する。この光線は後側主点C2から対称に反転した出射角φaで出射し、およそ焦点距離f離れた撮像素子21に対して像高Zaの位置に結像する。
【0035】
被写体bの光軸から高さYbの位置を出た光線は、前側主点C1に対して入射角φbで入射する。この光線は後側主点C2から対称に反転した出射角φbで出射し、およそ焦点距離f離れた撮像素子21に対して像高Zbの位置に結像する。
被写体a,bは、どちらも同じ別車両2に相当するため、物空間における高さYaと高さYbは等しい。
Ya = Yb ・・・・・ [1]
【0036】
2つの被写体a,bは同じ大きさであるが、被写体距離Xbが被写体距離Xaよりも短いため、被写体bの入射角φbは、被写体aの入射角φaよりも大きくなる。
φa < φb ・・・・・ [2]
【0037】
そのため、同じ大きさの被写体a,bでありながら、撮像素子21に結像する像高Za,Zbは次の関係になる。
Za < Zb ・・・・・ [3]
【0038】
すなわち、被写体距離が遠ざかるほど、撮像素子21が撮像する被写体像の像高は短くなる。この関係により次式が得られる。
Xa / Ya = f / Za ・・・・・ [4]
Xb / Yb = f / Zb ・・・・・ [5]
【0039】
式[4][5]を被写体距離Xa,Xbを求める式に変形すると次式が得られる。
Xa = Ya × f / Za ・・・・・ [6]
Xb = Yb × f / Zb ・・・・・ [7]
【0040】
ここで、焦点距離fは前方監視カメラ20のカメラパラメータや映像データ内の情報領域(EXIFなど)から情報取得できる。像高Za,Zbは、映像データ(差分画像)を画像解析して求めた画像長さ(単位:画素数)に対して、撮像素子21の画素間隔(有効画素領域の縦横サイズ/有効画素領域の縦横方向の画素数)を乗ずることにより求めることができる。被写体である別車両2の実長Ya(=Yb)は、車両の設計データや実測により予め情報収集してデータベース化することが可能である。このデータベースは、鉄道監視システム10の内部や、ネットワーク上のクラウドサーバーなどに設置される。
【0041】
したがって、被写体の画像長さが求まれば、被写体までの距離を計算することができる。以上述べたように、前方監視カメラ20を用いて、車両間の距離を検出することが可能になる。
【0042】
(実施例1の効果)
さらに、実施例1は次の効果を奏する。
【0043】
(1)実施例1では、前方監視カメラ20を用いて車両間距離を検出することができる。
【0044】
(2)実施例1では、運行状況を記録するなどの目的で車両1に従来から設置されている前方監視カメラ20を撮像部として使用することができる。そのため、新規な構成部分は少なく、省スペースかつ省コストに鉄道監視システム10を追加的に実現することができる。
【0045】
(3)実施例1では、画像解析部40が別車両2の窓枠または外形の画像長さを解析する。車両正面の窓枠や外形は、画像上のエッジ領域になるためにエッジ抽出が容易であり、かつ形状も予め決定されるために形状認識が正確になる。そのため、画像長さの解析が容易かつ正確になり、距離情報の検出精度を高めることができる。
【0046】
(4)実施例1では、制御部60が、車両1または別車両2の運行情報を取得し、運行情報が所定の低速度運行の条件を満足したことを契機に、別車両2までの距離情報の検出または出力を開始する。そのため、通常走行時において距離情報の検出または出力を抑止することができる。したがって、鉄道監視システム10として処理負荷を削減することが可能になる。
【0047】
(5)実施例1では、画像抽出部30が、映像データの時間軸方向について差分画像を生成して背景領域を除去する。そのため、背景領域に含まれるエッジ成分などにより別車両2の外観画像の抽出が妨害されることがなく、外観画像の画像長さをより適切に解析することが可能になる。
【0048】
(6)さらに実施例1では、画像解析部40が、差分画像の差分領域について、移動体と被写体(車両同士)が接近中か離隔中かにより、画像長さの測り方を切り替える。
例えば、移動体と被写体(車両同士)の運行情報や、外観画像の変化や、距離情報の変化などにより、接近中か離隔中かを判定することができる。
そして、移動体と被写体(車両同士)が接近中の場合、対向する被写体(別車両)の外観画像は徐々に大きくなる。そのため、差分領域の外側の大きな画像長さ(
図4のW1,W3)を計ることにより、より最新の画像長さを求めることができる。
【0049】
逆に、移動体と被写体(車両同士)が離隔中の場合、対向する被写体(別車両)の外観画像は徐々に小さくなる。そのため、差分領域の内側の小さな画像長さ(
図4のW2,W4)を計ることにより、より最新の画像長さを求めることができる。
【0050】
したがって、実施例1では、より最新の画像長さに基づいて、より最新の距離情報(車両間距離の情報)を求めることができる。
【実施例2】
【0051】
続いて、別車両2の外観画像の差分抽出に適さない停止ないし微動の期間(以下「停止期間」という)に対処した差分画像を生成する実施例2について説明する。
【0052】
(実施例2の構成)
図7は、実施例2における鉄道監視システム10Aの構成を示す図である。
同図において、鉄道監視システム10Aは、実施例1の画像抽出部30を画像抽出部30Aに入れ替えて構成される。なお、画像抽出部30A以外の構成や動作については、実施例1と同じため、ここでの重複説明を省略する。
【0053】
画像抽出部30Aは、グレースケール変換部31、画像メモリA、画像メモリB、入力セレクタ34、出力セレクタ35、動き判定部36、切替部37、および差分器33を備える。
【0054】
グレースケール変換部31は、前方監視カメラ20から取得した映像データから色差成分を除いて輝度成分(グレースケール)からなる映像データに変換する。
【0055】
画像メモリA,Bは、すくなくとも2つの画像メモリ、または1つの画像メモリ内に少なくとも2つのメモリ領域を設定して実現される。これらの画像メモリA,Bは、映像データを一時的に記憶するために使用される。
【0056】
入力セレクタ34は、画像メモリAまたはBに映像データを入力する。
【0057】
出力セレクタ35は、画像メモリAまたはBから過去の映像データを出力する。
【0058】
動き判定部36には、差分器33が出力する差分画像が入力される。また、動き判定部36は、車両1または別車両2の運行情報(車両速度、前進後退の情報など)を有線または無線で取得する。動き判定部36は、「差分画像による動き検出」または「車両1または別車両2の運行情報」の動き情報に基づいて、映像データ上において車両1および/または別車両2が停止ないし微動しているとみなせる「停止期間」を判定する。
【0059】
動き判定部36が停止期間と判定する場合を除いて、切替部37は、入力セレクタ34の出力先および出力セレクタ35の入力元をフレーム単位に排他的に切り替える。
【0060】
一方、動き判定部36が停止期間と判定した場合、切替部37は、入力セレクタ34の出力先を切り替えず、停止期間の開始付近の映像データを画像メモリA,Bの一方に保持し、さらに出力セレクタ35の入力元を切り替えず、画像メモリA,Bの一方から停止期間の開始付近の映像データを継続して出力させる。
【0061】
差分器33は、「現在の映像データ」と「出力セレクタ35から出力される過去の映像データ」との差分をとって差分画像を生成する。
【0062】
(実施例2の動作)
続いて、画像抽出部30Aの具体的動作について説明する。
図8は、車両1が前進と停止を繰り返すまたは微速で前進している場合の画像抽出部30Aの動作を示す説明図である。
【0063】
図8[1]では、フレーム(1)が入力セレクタ34の出力先である画像メモリAに保持される。出力セレクタ35の入力元である画像メモリBに保持された過去のフレーム(0)は差分器33に入力される。差分器33は、現時点のフレーム(1)と過去のフレーム(0)との差分画像を生成する。動き判定部36は、この差分画像と運行情報に基づいて、停止期間を判定する。
図8[1]では、差分画像に含まれる差分領域(画素差が有意なレベルの画素の集合)の画素数が所定比率P1以上であるなどの理由により、停止期間ではないと判定される。
【0064】
図8[2]では、直前に停止期間でないと判定されたことにより、切替部37は入力セレクタ34の出力先を画像メモリB側に切り替えることにより、現時点のフレーム(2)を画像メモリBに保持する。さらに、切替部37は出力セレクタ35の入力元を画像メモリAに切り替えることにより、過去のフレーム(1)を差分器33に出力する。差分器33は、現時点のフレーム(2)と過去のフレーム(1)との差分画像を生成する。動き判定部36は、この差分画像と運行情報に基づいて、停止期間の判定を行う。
図8[2]では、差分画像に含まれる差分領域の画素数が所定比率P2未満であるなどの理由により、停止期間と判定される。
【0065】
図8[3]では、直前に停止期間と判定されたことにより、切替部37は入力セレクタ34の出力先を画像メモリB側に維持することにより、停止期間の開始付近のフレーム(1)を画像メモリAに保持する。さらに、切替部37は出力セレクタ35の入力元を画像メモリA側に維持することにより、停止期間の開始付近のフレーム(1)を継続して差分器33に出力する。差分器33は、現時点のフレーム(3)と過去のフレーム(1)との差分画像を生成する。この差分画像には2フレーム期間の動き情報が含まれる。動き判定部36は、この差分画像と運行情報に基づいて、停止期間の判定を行う。
図8[3]では、差分画像に含まれる差分領域の画素数が所定比率P2未満であるなどの理由により、停止期間と判定される。
【0066】
図8[4]では、継続して停止期間と判定されたことにより、切替部37は入力セレクタ34の出力先を画像メモリB側に維持することにより、停止期間の開始付近のフレーム(1)を画像メモリAに保持する。さらに、切替部37は出力セレクタ35の入力元を画像メモリA側に維持することにより、停止期間の開始付近のフレーム(1)を継続して差分器33に出力する。差分器33は、現時点のフレーム(4)と過去のフレーム(1)との差分画像を生成する。この差分画像には3フレーム期間の動き情報が含まれる。動き判定部36は、この差分画像と運行情報に基づいて、停止期間の判定を行う。
図8[4]では、差分画像に含まれる差分領域の画素数が所定比率P1以上であるなどの理由により、停止期間ではないと判定される。(なお、停止期間の判定が不安定または高頻度に変動しないように、所定比率についてはP1>P2としてヒステリシスを設けてもよい)
【0067】
図8[5]では、直前に停止期間でないと判定されたことにより、切替部37は入力セレクタ34の出力先を画像メモリA側に切り替えることにより、現時点のフレーム(5)を画像メモリAに保持する。さらに、切替部37は出力セレクタ35の入力元を画像メモリB側に切り替えることにより、過去のフレーム(4)を差分器33に出力する。差分器33は、現時点のフレーム(5)と過去のフレーム(4)との差分画像を生成する。動き判定部36は、この差分画像と運行情報に基づいて、停止期間の判定を行う。
図8[5]では、差分画像に含まれる差分領域の画素数が所定比率P1以上であるなどの理由により、停止期間ではないと判定される。
【0068】
図8[6]では、直前に停止期間でないと判定されたことにより、切替部37は入力セレクタ34の出力先を画像メモリB側に切り替えることにより、現時点のフレーム(6)を画像メモリBに保持する。さらに、切替部37は出力セレクタ35の入力元を画像メモリA側に切り替えることにより、過去のフレーム(5)を差分器33に出力する。差分器33は、現時点のフレーム(6)と過去のフレーム(5)との差分画像を生成する。動き判定部36は、この差分画像と運行情報に基づいて、停止期間の判定を行う。
図8[6]では、差分画像に含まれる差分領域の画素数が所定比率P1以上であるなどの理由により、停止期間ではないと判定される。
【0069】
図9は、停止期間の差分画像と前進期間の差分画像を示す図である。
同図において、フレーム(A)~(B)は車両停止中の映像データに相当する。フレーム(C)は、車両前進中の映像データに相当する。
【0070】
これらのフレーム(A)~(C)は、グレースケール変換部31によって輝度成分からなるフレーム(D)~(F)に変換される。
【0071】
フレーム(D)とフレーム(E)との差分画像(G)は、有意な差分領域は僅かであるため、動き判定部36は停止期間と判定する。
【0072】
一方、フレーム(D)とフレーム(F)との差分画像(H)は、有意な差分領域が一定程度生じるため、動き判定部36は停止期間ではないと判定する。
【0073】
(実施例2の効果)
実施例2は、実施例1の効果に加えて、次の効果も奏する。
【0074】
実施例2では、停止期間中は、入力セレクタ34と出力セレクタ35の切替状態を変更しない。そのため、停止期間中は、入力された最新の映像フレームと、停止期間の開始付近の古い映像フレームとの差分比較が実現できる。したがって、エッジが明瞭な差分領域を抽出することが可能になり、車両1や別車両2が前進(または後退)と停車を繰り返しても、距離測定が可能になる。
【0075】
さらに、実施例2では、車両1や別車両2が微動している状態においても停止期間と判定することにより、最新の映像フレームと、停止期間の開始付近の古い映像フレーム(好ましくは停止期間の開始付近の最古の映像フレーム)との差分比較が実現する。その結果、微動状態がある程度継続することにより、エッジが明瞭な差分領域を抽出することが可能になり、距離測定が可能になる。
【0076】
(実施形態の補足事項)
なお、本発明は上記した個々の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
さらに、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0077】
また、実施形態では、鉄道監視システムの前方監視カメラを、撮像部として使用する。しかしながら、本発明はこれに限定されない。例えば、自動車やドローン等の移動体に設置されたカメラを使用してもよい。
また、移動体に設置されたカメラの被写体は、列車でなくてもよい。例えば、標識や建設物等の静止物を被写体としてもよい。
さらに、移動体の前進方向または後退方向は、移動体が方向転換して移動可能な方向であってもよく、直線状の前後二方向に限定されない。また、移動体の『移動』とは被写体との相対距離が変化し得るという意味であるため、動く被写体に座標軸を設定した場合には、カメラを搭載した静止体も相対的に移動体になり得る。
【0078】
さらに、実施形態では、1フレーム期間の最短間隔でフレーム差分をとって差分画像を生成する。しかしながら、本発明はこれに限定されない。例えば、フレームレートを可変したり、フレーム差分をとる最短の時間間隔を複数フレーム分に調整したりすることにより、画像長さの解析に適した差分画像を生成してもよい。
【符号の説明】
【0079】
A…画像メモリ、B…画像メモリ、10…鉄道監視システム、10A…鉄道監視システム、20…前方監視カメラ、21…撮像素子、22…カメラ映像処理部、23…カメラ後処理部、30…画像抽出部、30A…画像抽出部、31…グレースケール変換部、32…画像メモリ、33…差分器、34…入力セレクタ、35…出力セレクタ、36…判定部、37…切替部、40…画像解析部、41…外形抽出部、42…窓枠抽出部、43…車体幅算出部、50…距離解析部、51…対向距離算出部、52…カメラパラメータ取得部、60…制御部