特許第6209141号(P6209141)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 公益財団法人鉄道総合技術研究所の特許一覧

<>
  • 特許6209141-障害物検出装置及び方法 図000002
  • 特許6209141-障害物検出装置及び方法 図000003
  • 特許6209141-障害物検出装置及び方法 図000004
  • 特許6209141-障害物検出装置及び方法 図000005
  • 特許6209141-障害物検出装置及び方法 図000006
  • 特許6209141-障害物検出装置及び方法 図000007
  • 特許6209141-障害物検出装置及び方法 図000008
  • 特許6209141-障害物検出装置及び方法 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6209141
(24)【登録日】2017年9月15日
(45)【発行日】2017年10月4日
(54)【発明の名称】障害物検出装置及び方法
(51)【国際特許分類】
   B61L 23/00 20060101AFI20170925BHJP
   G06T 7/00 20170101ALI20170925BHJP
【FI】
   B61L23/00 A
   G06T7/00 300E
【請求項の数】6
【全頁数】17
(21)【出願番号】特願2014-180056(P2014-180056)
(22)【出願日】2014年9月4日
(65)【公開番号】特開2016-52849(P2016-52849A)
(43)【公開日】2016年4月14日
【審査請求日】2016年11月21日
(73)【特許権者】
【識別番号】000173784
【氏名又は名称】公益財団法人鉄道総合技術研究所
(74)【代理人】
【識別番号】100100413
【弁理士】
【氏名又は名称】渡部 温
(74)【代理人】
【識別番号】100110777
【弁理士】
【氏名又は名称】宇都宮 正明
(72)【発明者】
【氏名】松村 周
(72)【発明者】
【氏名】根津 一嘉
【審査官】 橋本 敏行
(56)【参考文献】
【文献】 特開平7−10003(JP,A)
【文献】 特開2010−6295(JP,A)
【文献】 特開平11−250263(JP,A)
【文献】 米国特許出願公開第2009/0037039(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B61L1/00−99/00
G01C21/00−21/36
23/00−25/00
G06T7/00−7/60
G08G1/00−99/00
G11C11/18−11/30
11/42−11/54
11/56−13/06
25/00
(57)【特許請求の範囲】
【請求項1】
鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成する撮像部と、
前記鉄道車両の現在位置に関する位置情報を取得する位置情報取得部と、
前記撮像部によって生成された画像データを前記位置情報取得部によって取得された位置情報に関連付けて背景画像データとして格納する格納部と、
前記位置情報取得部によって取得された位置情報に基づいて、前記格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出する背景画像データ抽出部と、
前記撮像部によって生成された1フレームの画像データに基づいて、前記背景画像データ抽出部によって抽出された複数フレームの背景画像データの内から1フレームの背景画像データを選択する背景画像データ選択部と、
前記撮像部によって生成された1フレームの画像データによって表される画像を基準として、前記背景画像データ選択部によって選択された1フレームの背景画像データによって表される画像の空間的なずれを補正する背景画像データ補正部と、
前記撮像部によって生成された1フレームの画像データと前記背景画像データ補正部によって補正された1フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出する差分演算部と、
前記差分演算部によって前景領域が検出された画像データに対して軌道検出処理を施すことにより、前記鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求める軌道検出処理部と、
複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する判定部と、
を備える障害物検出装置。
【請求項2】
前記背景画像データ選択部が、前記撮像部によって生成された1フレームの画像データと前記背景画像データ抽出部によって抽出された複数フレームの背景画像データとの画像の相違度を比較することにより、画像の相違度が最小となる1フレームの背景画像データを選択する、請求項1記載の障害物検出装置。
【請求項3】
前記背景画像データ選択部が、前記撮像部によって生成された1フレームの画像データと前記背景画像データ抽出部によって抽出された複数フレームの背景画像データとの各々に対してエッジ検出処理を施した後に、両者の画像の相違度を比較する、請求項2記載の障害物検出装置。
【請求項4】
前記背景画像データ補正部が、前記撮像部によって生成された1フレームの画像データと前記背景画像データ選択部によって選択された1フレームの背景画像データとの画像の相違度が減少するように、前記背景画像データ選択部によって選択された1フレームの背景画像データに対して、回転補正、スケーリング補正、及び/又は、平行移動補正を施す、請求項1〜3のいずれか1項記載の障害物検出装置。
【請求項5】
前記撮像部がカラーの画像データを生成する場合に、前記差分演算部が、輝度の差分、色相ベクトル成分の差分、及び/又は、色相ベクトルの角度の差分を算出し、前記撮像部がグレイスケールの画像データを生成する場合に、前記差分演算部が、輝度の差分を算出する、請求項1〜4のいずれか1項記載の障害物検出装置。
【請求項6】
鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成するステップ(a)と、
前記鉄道車両の現在位置に関する位置情報を取得するステップ(b)と、
ステップ(b)において取得された位置情報に基づいて、過去の画像データを位置情報に関連付けて背景画像データとして格納する格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出するステップ(c)と、
ステップ(a)において生成された1フレームの画像データに基づいて、ステップ(c)において抽出された複数フレームの背景画像データの内から1フレームの背景画像データを選択するステップ(d)と、
ステップ(a)において生成された1フレームの画像データによって表される画像を基準として、ステップ(d)において選択された1フレームの背景画像データによって表される画像の空間的なずれを補正するステップ(e)と、
ステップ(a)において生成された1フレームの画像データとステップ(e)において補正された1フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出するステップ(f)と、
ステップ(f)において前景領域が検出された画像データに対して軌道検出処理を施すことにより、前記鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求めるステップ(g)と、
複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定するステップ(h)と、
を備える障害物検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電気鉄道における架空電車線路(以下、「架線」ともいう)や軌道(以下、「レール」ともいう)等の鉄道設備に対する障害物を検出する障害物検出装置及び障害物検出方法等に関する。
【背景技術】
【0002】
例えば、鉄道車両の屋根上に搭載されたパンタグラフと接触して鉄道車両に電力を供給するトロリー線に風船やビニール袋等の障害物が付着すると、鉄道車両の進行の妨げとなるばかりでなく、アルミ製の風船等が架線に付着した場合には、地絡事故の原因となることもある。さらに、沿線の樹木が倒れ込んできたり、工事現場の重機や資材が障害になることもある。
【0003】
そこで、鉄道設備の異常を監視するために、係員の徒歩や列車運転台への添乗による巡視が定期的に行われている。しかしながら、係員による巡視では、鉄道設備の異常を効率的かつ正確に監視することは不可能である。一方、自動車の分野においては、現在の車載カメラ映像と過去の車載カメラ映像との時空間差分により不特定障害物を検出することが研究されている。
【0004】
例えば、非特許文献1には、車載カメラ映像において、現在の走行映像の各フレームに対応する過去の走行映像中のフレームを求めて時間方向のずれを補正し、道路面の平面性を仮定した射影変換により位置合わせを行って空間的なずれを補正し、現在のフレームと過去のフレームとの差分により障害物を検出することが開示されている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】久徳、外5名、「過去の車載カメラ映像との時空間差分による不特定障害物検出に関する検討」、電子情報通信学会技術研究報告、2012年3月22日、HIP111(500)、p.147−152
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、自動車の場合には、道路面に描かれた白線(車線)を基準として道路形状を推定し、道路上の障害物(歩行者やボール等)を検出する手法が一般的である。これに対し、電気鉄道においては、架線やレールを含む広い範囲の鉄道設備に対する障害物を検出する必要がある。そこで、本発明の目的の1つは、画像処理を用いて、鉄道車両の走行中に架線やレール等の鉄道設備に対する障害物を自動的に検出できる障害物検出装置及び障害物検出方法等を提供することである。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の1つの観点に係る障害物検出装置は、鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成する撮像部と、鉄道車両の現在位置に関する位置情報を取得する位置情報取得部と、撮像部によって生成された画像データを位置情報取得部によって取得された位置情報に関連付けて背景画像データとして格納する格納部と、位置情報取得部によって取得された位置情報に基づいて、格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出する背景画像データ抽出部と、撮像部によって生成された1フレームの画像データに基づいて、背景画像データ抽出部によって抽出された複数フレームの背景画像データの内から1フレームの背景画像データを選択する背景画像データ選択部と、撮像部によって生成された1フレームの画像データによって表される画像を基準として、背景画像データ選択部によって選択された1フレームの背景画像データによって表される画像の空間的なずれを補正する背景画像データ補正部と、撮像部によって生成された1フレームの画像データと背景画像データ補正部によって補正された1フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出する差分演算部と、差分演算部によって前景領域が検出された画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求める軌道検出処理部と、複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する判定部とを備える。
【0008】
また、本発明の1つの観点に係る障害物検出方法は、鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成するステップ(a)と、鉄道車両の現在位置に関する位置情報を取得するステップ(b)と、ステップ(b)において取得された位置情報に基づいて、過去の画像データを位置情報に関連付けて背景画像データとして格納する格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出するステップ(c)と、ステップ(a)において生成された1フレームの画像データに基づいて、ステップ(c)において抽出された複数フレームの背景画像データの内から1フレームの背景画像データを選択するステップ(d)と、ステップ(a)において生成された1フレームの画像データによって表される画像を基準として、ステップ(d)において選択された1フレームの背景画像データによって表される画像の空間的なずれを補正するステップ(e)と、ステップ(a)において生成された1フレームの画像データとステップ(e)において補正された1フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出するステップ(f)と、ステップ(f)において前景領域が検出された画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求めるステップ(g)と、複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定するステップ(h)とを備える。
【発明の効果】
【0009】
本発明の1つの観点によれば、前方監視画像を撮影して生成された画像データと背景画像データとの画素値の相違度が大きい前景領域を検出し、前景領域が検出された画像データから軌道軸の位置を求め、複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かが判定される。
【0010】
その結果、鉄道車両の走行中に架線やレール等の鉄道設備に対する障害物を自動的に検出して、係員による巡視の労力を大幅に低減することができる。また、本発明に係る障害物検出装置又は障害物検出方法を、列車運行の自動化のための前方監視システムにおいて活用することも可能である。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態に係る障害物検出装置の構成例を示すブロック図である。
図2図1に示す差分演算部によって行われる前景領域検出処理を説明するための図である。
図3】複数フレームの差分画像における前景領域内の点の移動を示す図である。
図4】差分画像において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。
図5】3次元空間において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。
図6】軌道軸が水平面内において曲がっている場合に軌道軸に対する前景領域内の点の位置を求める原理を説明するための図である。
図7】2つの軌道軸に対する建築限界及び前景領域内の点の軌跡を示す図である。
図8】本発明の一実施形態に係る障害物検出方法を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図1は、本発明の一実施形態に係る障害物検出装置の構成例を示すブロック図である。この障害物検出装置は、撮像部10と、位置情報取得部20と、データベース構築部30と、格納部40と、背景画像データ抽出部50と、画像処理部60と、判定部70と、警告部80とを含んでいる。
【0013】
ここで、データベース構築部30〜警告部80の少なくとも一部を、CPU(中央演算装置)を含むPC(パーソナルコンピューター)と、CPUに各種の処理を行わせるためのソフトウェア(プログラム)とによって構成しても良い。ソフトウェアは、格納部40の記録媒体に記録される。記録媒体としては、ハードディスク、フレキシブルディスク、USBメモリー、MO、MT、CD−ROM、又は、DVD−ROM等を用いることができる。
【0014】
鉄道車両は、レール上を走行し、鉄道車両の上方には、鉄道車両の進行方向と略平行に、トロリー線、吊架線、及び、補助吊架線等の架線や、き電線、保護線、配電線、及び、区分装置等の電車線設備が設置されている。また、レールの両側に設けられた電柱からは、鉄道車両の進行方向と略直交する方向に、架線を吊り下げるビームやブラケット等が張り出している。
【0015】
本実施形態に係る障害物検出装置は、架線やレール等の鉄道設備に対する障害物を検出する。障害物としては、例えば、架線や架線柱等に付着した風船、ビニール袋、布等の飛来物や、鉄道車両の通過領域に接近した樹木や倒木等が該当する。そのような障害物は、走行する鉄道車両に直ちに危険を及ぼすものでなくても、早急に除去する必要があるが、動いている歩行者や自動車よりも検出が困難である。
【0016】
撮像部10は、例えば鉄道車両の運転席周辺において、進行方向に向けて配置されたビデオカメラ11を含んでおり、鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成する。ビデオカメラ11としては、カラービデオカメラを用いても良いし、夜間やトンネル内で前方監視画像を撮影するために、赤外線ビデオカメラを併用しても良い。
【0017】
ビデオカメラ11から出力される画像信号はアナログ信号でもディジタル信号でも良いが、アナログ信号の場合には、ビデオカメラ11の後段に、アナログの画像信号をディジタルの画像データに変換するA/Dコンバーター(ADC)12が設けられる。画像データは、例えば、1秒間に30フレームの前方監視画像を表している。
【0018】
位置情報取得部20は、鉄道車両の現在位置に関する位置情報を取得する。例えば、位置情報取得部20は、GPS(グローバルポジショニングシステム)受信機を含んでいる。GPS受信機は、少なくとも3つのGPS衛星から送信される電波を受信することにより、受信された電波に基づいて鉄道車両の現在位置に関する位置情報を比較的正確に求めることができる。ただし、鉄道車両がトンネル内を通過しているときには、GPS受信機が電波を受信することができないので、位置情報取得部20は、INS(慣性航法システム)をさらに含んでも良い。
【0019】
慣性航法システムは、慣性空間における加速度を検出することにより、加速度を積分して速度を算出し、さらに速度を積分して位置を算出する。慣性航法システムのセンサーとしては、加速度計及びジャイロが用いられる。加速度計は、鉄道車両の加速度を検出し、ジャイロは、3軸方向(東西、南北、及び、鉛直方向)の基準軸保持に用いられる。これにより、外界の条件とは無関係に、鉄道車両の現在位置及び姿勢方位角に関する情報を求めることができる。
【0020】
あるいは、鉄道車両の現在位置に関する位置情報を補正するために、ATS(自動列車停止装置)やATC(自動列車制御装置)における地上子の検出情報を、位置情報取得部20が予め保持している地上子の位置情報と照合するようにしても良い。ただし、地上子の設置間隔は長いので、位置情報取得部20は、鉄道車両の速度計を動かすための速度発電機を利用して速度と移動距離を算出し、鉄道車両の現在位置に関する位置情報を求めても良い。
【0021】
データベース構築部30は、撮像部10によって生成された画像データを、位置情報取得部20によって取得された位置情報に関連付けて、背景画像データとして格納部40に格納する。これにより、格納部40において、過去に鉄道車両が走行した区間において撮影された前方監視画像を表す背景画像データのファイルが蓄積された背景画像データベースが構築される。
【0022】
その後、鉄道車両が同じ区間を走行する際に、障害物検出装置は、撮像部10によって生成される画像データ(以下においては、「観測画像データ」ともいう)と、位置情報取得部20によって取得される位置情報と、格納部40に格納されている背景画像データとに基づいて、架線やレール等の鉄道設備に対する障害物を自動的に検出する。その際に、観測画像データによって表される観測画像は、背景画像データによって表される背景画像と比較される。
【0023】
背景画像データベースには、例えば、昨日の画像、先週の画像、先月の画像、去年の画像等のファイルが蓄積されるので、オペレーターは、目的に応じて適切な背景画像を使用するために、背景画像データベースに蓄積されている複数のファイルの内から1つのファイルを指定することができる。例えば、架線や架線柱に付着した飛来物を検出する場合には、昨日の画像を背景画像として用いても良い。また、成長して鉄道車両の通過領域に接近した樹木を検出する場合には、先月又は去年の画像を背景画像として用いても良い。
【0024】
背景画像データ抽出部50は、位置情報取得部20によって取得された位置情報に基づいて、格納部40に格納されている背景画像データの内から複数フレームの背景画像データを候補として抽出する。例えば、鉄道車両が秒速30mで走行しているときに、走行距離1m毎に1フレームの観測画像が得られるのに対し、GPSによって取得される位置情報の精度は5m程度である。その場合に、背景画像データ抽出部50は、位置情報によって表される現在位置の付近において過去に生成された5フレーム程度の背景画像データを抽出する。抽出された複数フレームの背景画像データは、画像処理部60に供給される。
【0025】
画像処理部60は、背景画像データ選択部61と、背景画像データ補正部62と、差分演算部63と、軌道検出処理部64とを含んでいる。背景画像データ選択部61は、現在位置において撮像部10によって生成された1フレームの観測画像データに基づいて、背景画像データ抽出部50によって抽出された複数フレームの背景画像データの内から1フレームの背景画像データを選択する。
【0026】
例えば、背景画像データ選択部61は、背景画像データ抽出部50によって抽出された複数フレームの背景画像データを差分演算部63に供給する。差分演算部63は、現在位置において撮像部10によって生成された1フレームの観測画像データと背景画像データ抽出部50によって抽出された各フレームの背景画像データとの差分を算出し、両者の画像の相違度を求めて、演算結果を背景画像データ選択部61に供給する。
【0027】
背景画像データ選択部61は、差分演算部63の演算結果に基づいて、現在位置において撮像部10によって生成された1フレームの観測画像データと背景画像データ抽出部50によって抽出された複数フレームの背景画像データとの画像の相違度を比較することにより、画像の相違度が最小となる1フレームの背景画像データを選択する。
【0028】
ここで、背景画像データ選択部61は、現在位置において撮像部10によって生成された1フレームの観測画像データと背景画像データ抽出部50によって抽出された複数フレームの背景画像データとの各々に対してエッジ検出処理を施し、検出された複数のエッジの内から所定の条件を満たすエッジを抽出しても良い。エッジ検出処理は、例えば、Sobel(ゾーベル)フィルターを用いたコンボリューション(畳み込み)操作により、エッジの強度と方向を求めることによって行われる。
【0029】
エッジ検出処理により、背景画像データ選択部61は、レールや架線等の特徴的なエッジを抽出することができる。その後、背景画像データ選択部61は、エッジ検出処理が施された1フレームの観測画像データ及び複数フレームの背景画像データを差分演算部63に供給し、差分演算部63の演算結果に基づいて、1フレームの観測画像データと複数フレームの背景画像データとの画像の相違度を比較することにより、画像の相違度が最小となる1フレームの背景画像データを選択する。
【0030】
背景画像データ選択部61によって選択された1フレームの背景画像データは、背景画像データ補正部62に供給される。背景画像データ補正部62は、現在位置において撮像部10によって生成された1フレームの観測画像データによって表される画像を基準として、背景画像データ選択部61によって選択された1フレームの背景画像データによって表される画像の空間的なずれを補正する。
【0031】
例えば、背景画像データ補正部62は、背景画像データ選択部61によって選択された1フレームの背景画像データに対して、回転補正、スケーリング補正、及び/又は、平行移動補正を施し、補正された1フレームの背景画像データを差分演算部63に供給する。差分演算部63は、現在位置において撮像部10によって生成された1フレームの観測画像データと背景画像データ補正部62によって補正された1フレームの背景画像データとの差分を算出し、両者の画像の相違度を求めて、演算結果を背景画像データ選択部61に供給する。
【0032】
背景画像データ補正部62は、背景画像データ選択部61によって選択された1フレームの背景画像データを段階的に補正しながら、上記のような動作を繰り返すことにより、差分演算部63の演算結果における画像の相違度を評価関数として、評価関数の値が減少するように背景画像の空間的なずれを補正することができる。
【0033】
具体的な例として、背景画像データ補正部62は、観測画像に対して背景画像を僅かずつ(例えば、0.3°刻みで±3°)回転させることによって評価関数を求め、評価関数の値が最小となる回転補正量を求める。その際に、背景画像データ補正部62は、観測画像データと背景画像データとの各々に対して平均化フィルター処理(ぼかし処理)を施すことにより、撮像位置のずれの影響を低減しても良い。次に、背景画像データ補正部62は、背景画像の拡大縮小及び平行移動についても同様に評価関数を求め、評価関数の値が最小となるスケーリング補正量及び平行移動補正量を求める。
【0034】
あるいは、背景画像データ補正部62は、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded-Up Robust Features)等のアルゴリズムを用いて画像の特徴を抽出することにより、観測画像データと背景画像データとの間でパターンマッチングを行っても良い。
【0035】
SIFTとは、特徴抽出にDoG(Difference of Gaussians)を用いることにより、拡大縮小に対して不変な特徴点を画像中から抽出し、輝度勾配のヒストグラムを用いて特徴点近傍の回転を求め、特徴点の周辺を複数のブロックに分割して、ブロック毎の勾配ヒストグラムから特徴ベクトルを求めるアルゴリズムである。
【0036】
また、SURFとは、画像中から抽出された特徴点の周囲の輝度変化から、最も輝度変化の大きい方向を算出することにより、画像の回転に対して頑強な特徴を抽出するアルゴリズムである。SURFは、算出された輝度勾配の正規化を行うので、輝度勾配に対しても頑強な特徴を抽出することができる。
【0037】
背景画像データ補正部62は、パターンマッチングの結果に基づいて、観測画像のパターンと背景画像のパターンとが最も整合するように、背景画像データ選択部61によって選択された1フレームの背景画像データに対して、回転補正、スケーリング補正、及び/又は、平行移動補正を施す。
【0038】
差分演算部63は、観測画像データと背景画像データとの差分を算出して、演算結果を出力する。ここで、撮像部10がカラーの画像データを生成する場合に、差分演算部63は、輝度の差分、色相ベクトル成分の差分、及び/又は、色相ベクトルの角度の差分を算出する。色相ベクトル成分とは、画像データがRGB(赤緑青)の画素値VR,VG,VBを有する場合に、画面内のある位置における画素値VR,VG,VBを輝度で割ったものである。輝度は、ベクトルV=(VR,VG,VB)の絶対値(長さ)に相当する。一方、撮像部10がグレイスケールの画像データを生成する場合には、差分演算部63は、輝度の差分を算出する。
【0039】
1つの画素について複数の差分が算出される場合に、差分演算部63は、複数の差分の絶対値を合計又は平均して画素値の相違度を求めても良いし、複数の差分の自乗和の平方根を算出して画素値の相違度を求めても良い。その際に、差分演算部63は、複数の差分に係数を掛けて重み付けを行っても良い。一方、1つの画素について1つの差分が算出される場合には、差分演算部63は、その差分の絶対値を画素値の相違度としても良い。さらに、差分演算部63は、画像全体又は画像中に予め設定された一部の領域の画素について画素値の相違度を積分することにより、観測画像データと背景画像データとの画像の相違度を求める。
【0040】
背景画像データ補正部62によって最終的に補正された1フレームの背景画像データは、差分演算部63に供給される。差分演算部63は、現在位置において撮像部10によって生成された1フレームの観測画像データと背景画像データ補正部62によって最終的に補正された1フレームの背景画像データとの差分を算出し、観測画像データと背景画像データとの画素値の相違度を表す差分画像データを生成して、両者の画素値の相違度が大きい前景領域を検出する。
【0041】
例えば、差分演算部63は、差分画像データによって表される差分画像内のある画素において画素値の相違度が閾値を越える場合に、その画素が前景領域を構成すると認定しても良い。あるいは、差分演算部63は、画素値の相違度が閾値を越える画素の密度が所定の値よりも高い領域を前景領域として認定しても良い。
【0042】
鉄道車両の進行に伴い、差分演算部63は、複数の位置において撮像部10によって生成された観測画像データに対して前景領域検出処理を施す。軌道検出処理部64は、差分演算部63によって前景領域が検出された観測画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して、観測画像における軌道軸の位置を求める。鉄道車両が2本のレールの上を走行する場合に、軌道軸は、鉄道車両が走行する2本のレールの中心位置の軌跡に相当する。
【0043】
軌道検出処理は、道路面に描かれた白線(車線)を検出する処理に類似しているが、鉄道車両の運動がレールに拘束されて自由度が1であるという特徴と、レールの曲率や勾配の変化が緩やかであるという特徴を利用することができる。観測画像データに対する軌道検出処理は、例えば、以下のようにして行われる。
【0044】
まず、軌道検出処理部64は、鉄道車両内に配置されたビデオカメラ11の位置及び姿勢と、鉄道車両が走行するレールの位置及び方向との関係に基づいて、観測画像におけるレールの位置及び方向を推定し、レールのエッジと輝度勾配とに基づいて、鉄道車両の近傍領域におけるレールの画像を抽出する。その際に、軌道検出処理部64は、予め用意されたレールテンプレートと観測画像との間でパターンマッチングを行うようにしても良い。鉄道車両の近傍領域におけるレールの画像は、天候の変化や環境光にあまり左右されず、比較的強いエッジが観測され、その曲率は緩く殆ど直線的である。
【0045】
次に、軌道検出処理部64は、鉄道車両の近傍領域において得られた情報を利用しながら、観測画像におけるレールのエッジと輝度勾配とに基づいて、鉄道車両の遠方領域におけるレールの画像を抽出する。その際に、軌道検出処理部64は、鉄道車両の近傍領域において得られた情報に基づいてレールパターンを動的に生成し、短い直線又は曲線セグメントを連結しながらレールパターンと観測画像との間でパターンマッチングを行うことによって、遠方までレールを追跡するようにしても良い。
【0046】
また、鉄道車両が2本のレールの上を走行する場合には、鉄道車両からの距離が大きくなるに従って2本のレールの間隔が狭くなる。軌道検出処理部64は、そのような特徴を利用して、鉄道車両の近傍領域において確実に抽出されたレールの画像に基づいて徐々に遠方のレールを探索して行くことにより、鉄道車両の遠方領域におけるレールの画像を抽出することができる。
【0047】
鉄道線路においては、地上設備と走行車両とが接触を起こさないように、レールを基準とした建築限界と呼ばれる断面を有するトンネル型の空間が設定されている。建築限界との間で若干のクリアランスを持たせた車両限界によって制約された断面形状を有する鉄道車両は、そのトンネル型の空間内を安全に走行することができる。
【0048】
判定部70は、複数の時点で生成された複数フレームの観測画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する。これにより、判定部70は、前景領域内の点が建築限界内に存在すれば、建築限界内に障害物が存在すると判定し、前景領域内の点が建築限界内に存在しなければ、建築限界内に障害物が存在しないと判定することができる。曲線区間においては、曲線半径に応じて建築限界の幅が拡大する。曲線半径は、走行位置に対応付けられたデータベースを参照して求めても良いし、軌道検出処理部64によって検出されたレールの形状から算出しても良い。
【0049】
警告部80は、建築限界内に障害物が存在すると判定部70が判定した場合に、オペレーター又は指令所に対して警告を行う。例えば、警告部80は、建築限界内に障害物が存在する旨をディスプレイに表示したり、警告音を発したり、指令所に通報を行うようにしても良い。なお、鉄道車両が走行した区間において建築限界内に障害物が存在しないと判定部70が判定した場合には、その区間において得られた観測画像データを背景画像データとして利用することができる。この方法を応用すれば、電車線路や支持物等の加圧部分に近接して地絡事故を発生するおそれのある障害物の検出も可能である。
【0050】
図2は、図1に示す差分演算部によって行われる前景領域検出処理を説明するための図である。図2には、例えば0.1秒間隔の3つの時刻において撮影された観測画像VO1〜VO3と、観測画像VO1〜VO3に対応する補正後の背景画像VB1〜VB3と、観測画像VO1〜VO3と背景画像VB1〜VB3との差分に基づいてそれぞれ生成された差分画像VD1〜VD3とが示されている。
【0051】
今回の走行において撮影された観測画像VO1〜VO3には、架線柱に付着した風船が鉄道車両の進行に伴って近付いて来る様子が映し出されている。一方、過去の走行において撮影された背景画像VB1〜VB3には風船が存在しない。図1に示す差分演算部63は、観測画像VO1〜VO3と背景画像VB1〜VB3との画素値の相違度をそれぞれ表す差分画像VD1〜VD3を生成し、観測画像と背景画像との画素値の相違度が大きい前景領域を検出して前景領域内の点の位置を求める。差分画像VD1〜VD3には、観測画像VO1〜VO3における風船に対応する前景領域と、前景領域内の点(一例として、前景領域の重心を表す点)とが示されている。
【0052】
図3は、複数フレームの差分画像における前景領域内の点の移動を示す図である。図3において、差分画像VDは、複数フレームの差分画像VD1〜VD3を重ね合わせて示すことにより、前景領域内の点Pの移動を分かり易く示している。図1に示す判定部70は、複数フレームの差分画像における前景領域内の点Pの位置に基づいて、軌道軸に対する前景領域内の点Pの位置又は軌跡を求めることにより、前景領域内の点Pが建築限界内に存在するか否かを判定する。その際に、判定部70は、前景領域内の点Pのオプティカルフローを求めても良い。オプティカルフローとは、画像中における物体の動きをベクトルで表したものである。
【0053】
差分画像VDにおいて、消失点を原点Oとし、原点Oを通って水平方向の軸をX軸とし、原点Oを通って垂直方向の軸をY軸とする。各フレームの差分画像は、図1に示すビデオカメラ11のレンズから所定の距離に位置するXY平面に鉄道車両の前方の風景を投影して得られた観測画像に基づいて生成されたものである。なお、ビデオカメラ11の高さや枕木方向における位置、及び、ビデオカメラ11の姿勢(画角)は既知である。
【0054】
ここでは、説明を簡単にするために、鉄道車両が通過する軌道軸が、Y軸と交差してXY平面と直交する直線であるものとする。従って、差分画像VDにおいて、軌道軸はY軸上に存在することになる。鉄道車両の走行に伴って差分画像VDに映し出される前景領域内の点Pの軌跡は、時刻tにおける点Pの位置(X(t),Y(t))の変化として表される。
【0055】
図4は、差分画像において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。図4(A)の差分画像VDにおいては、建築限界の輪郭と、建築限界内に存在する点の軌跡とが示されている。また、図4(B)の差分画像VDにおいては、前景領域内の点の軌跡の例が示されている。
【0056】
例えば、図1に示す判定部70は、図3に示す差分画像VDにおける前景領域内の点Pの時刻t1における位置(X(t1),Y(t1))及び時刻t2における位置(X(t2),Y(t2))を測定する。原点Oを通ってXY平面と直交する軸をZ軸とすると、後で説明するように、3次元空間におけるXY平面から点Pまでの距離Z(t1)及びZ(t2)は、点Pの軌跡に基づいて算出することが可能である。
【0057】
これを利用して、判定部70は、図4(A)の差分画像VDにおいて、XY平面から距離Z(t1)又はZ(t2)における建築限界の輪郭を求め、時刻t1又は時刻t2における前景領域内の点Pの位置がそれぞれの建築限界内に存在するか否かを判定する。例えば、図4(B)の差分画像VDにおいて、軌跡L1は建築限界内に存在しており、軌跡L2は建築限界内に存在していないと判定される。
【0058】
また、軌道軸が水平面内において曲がっている場合には、判定部70は、軌道検出処理部64によって求められた軌道軸の位置に基づいて、XY平面から距離Z(t1)又はZ(t2)における軌道軸上の点Qが観測画像において表される位置を求める。ここで、時刻t1から時刻t2までの間に鉄道車両が通過する軌道軸は、Y軸と交差してZ軸に平行な直線であるものとみなす。これにより、判定部70は、差分画像VDにおける点QのX軸方向の位置を求め、点Qに対する点PのX軸方向の位置を求める。このようにして、軌道軸をY軸上に移動させたときの点Pの位置が求められる。
【0059】
ただし、XY平面から距離Z(t)の位置において、軌道軸はZ軸に対して傾きθを有しているので、判定部70は、観測画像及び点Qの位置に基づいて傾きθを算出し、点PのX軸方向の位置を補正する。判定部70は、図4(A)の差分画像VDにおいて、XY平面から距離Z(t1)又はZ(t2)における建築限界の輪郭を求め、時刻t1又は時刻t2における軌道軸に対する前景領域内の点Pの位置が建築限界内に存在するか否かを判定する。建築限界の輪郭としては、距離Z(t1)又はZ(t2)の地点における曲線半径に応じたものが用いられる。
【0060】
図5は、3次元空間において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。図5(A)の差分画像VDにおいては、ビデオカメラ11のレンズから距離D(既知)に位置するXY平面に鉄道車両の前方の風景を投影して得られた観測画像に基づいて生成された複数フレームの差分画像が重ね合わせて示されている。ここで、水平方向の軸をX軸とし、垂直方向の軸をY軸とし、XY平面と直交する軸をZ軸とする。
【0061】
図5においては、説明を簡単にするために、鉄道車両が通過する軌道軸が、Y軸と交差してZ軸に平行な直線であるものとする。また、差分画像VDにおいて、消失点を原点Oとする。従って、差分画像VDにおいて、軌道軸はY軸上に存在することになる。
【0062】
図5(A)は、差分画像VDにおける建築限界及び前景領域内の点の軌跡と、YZ平面に投影された前景領域内の点の軌跡とを示している。即ち、3次元空間において静止している点Pが、鉄道車両の走行に伴うビデオカメラ11の移動によってビデオカメラ11に対して相対的に移動し、時刻t1において点P1として示されており、時刻t2において点P2として示されている。
【0063】
差分画像VDにおいて、点P1のY座標Y1及び点P2のY座標Y2が測定される。3次元空間における点P1及びP2のZ座標をそれぞれZ1及びZ2とすると、3次元空間における点PのY座標YPは、次式(1)及び(2)によって表される。
YP=Y1×(D+Z1)/D ・・・(1)
YP=Y2×(D+Z2)/D ・・・(2)
【0064】
式(1)及び(2)から、次式(3)が導かれる。
YP=((Z1−Z2)/D)×Y1・Y2/(Y2−Y1)
=(ΔZ/D)×Y1・Y2/(Y2−Y1) ・・・(3)
ここで、ΔZは、時刻t1から時刻t2までの間に鉄道車両が進行した距離であり、位置情報取得部20によって取得された位置情報に基づいて算出されるので、式(3)に基づいて、3次元空間における点PのY座標YPを求めることができる。
【0065】
図5(B)は、XZ平面に投影された前景領域内の点の軌跡を示している。差分画像VDにおいて、点P1のX座標X1及び点P2のX座標X2が測定される。3次元空間における点P1及びP2のZ座標をそれぞれZ1及びZ2とすると、3次元空間における点PのX座標XPは、次式(4)及び(5)によって表される。
XP=X1×(D+Z1)/D ・・・(4)
XP=X2×(D+Z2)/D ・・・(5)
【0066】
式(4)及び(5)から、次式(6)が導かれる。
XP=((Z1−Z2))/D×X1・X2/(X2−X1)
=(ΔZ/D)×X1・X2/(X2−X1) ・・・(6)
ここで、時刻t1から時刻t2までの間に鉄道車両が進行した距離ΔZは、位置情報取得部20によって取得された位置情報に基づいて算出されるので、式(6)に基づいて、3次元空間における点PのX座標XPを求めることができる。
【0067】
あるいは、式(1)及び(2)を変形することにより、3次元空間における点P1のZ座標Z1及び点P2のZ座標Z2は、次式(7)及び(8)によって表される。
Z1=D・(YP−Y1)/Y1 ・・・(7)
Z2=D・(YP−Y2)/Y2 ・・・(8)
式(7)又は(8)によって求められる点P1のZ座標Z1又は点P2のZ座標Z2を式(4)又は(5)に代入することにより、3次元空間における点PのX座標XPを求めることができる。
【0068】
3次元空間において、建築限界は、レールを基準として軌道軸と直交するように設定されている。従って、軌道軸に対する建築限界の位置及び形状は既知であるので、図1に示す判定部70は、3次元空間において軌道軸と直交する面における点Pの位置(XP,YP)が建築限界内にあるか否かを判定することができる。
【0069】
次に、軌道軸が水平面内において曲がっている場合について説明する。図6は、軌道軸が水平面内において曲がっている場合に軌道軸に対する前景領域内の点の位置を求める原理を説明するための図である。ただし、時刻t1から時刻t2までの間に鉄道車両が通過する軌道軸は、Y軸と交差してZ軸に平行な直線であるものとみなす。
【0070】
図6(A)は、差分画像VDにおける前景領域内の点の軌跡と、YZ平面に投影された前景領域内の点の軌跡とを示している。図5(A)に示す場合と同様に、3次元空間における点PのY座標YPは、式(3)によって表される。また、3次元空間における点P1のZ座標Z1は、式(7)によって表される。従って、3次元空間における点P1のX座標XP1は、次式(9)によって表される。
XP1=X1×(D+Z1)/D ・・・(9)
【0071】
図1に示す軌道検出処理部64は、差分演算部63によって前景領域が検出された観測画像において軌道軸の位置を求めている。そこで、判定部70は、例えば、時刻t1において生成された観測画像において、Z座標Z1を有する軌道軸上の点Q1が観測画像に投影されたときのY座標Y3を算出する。これにより、観測画像において、点Q1のY座標Y3に対応するX座標X3が求められる。
【0072】
図6(B)は、時刻t1においてXZ平面に投影された点P1及び点Q1を示している。判定部70は、観測画像における点Q1のX座標X3を用いて、次式(10)に従って、3次元空間における点Q1のX座標XQ1を算出する。
XQ1=X3×(D+Z1)/D ・・・(10)
【0073】
さらに、判定部70は、3次元空間における点P1と点Q1とのX軸方向の距離XPを、次式(11)に従って求める。
XP=XP1−XQ1 ・・・(11)
ただし、Z座標Z1の位置において、軌道軸はZ軸に対して傾きθを有しているので、判定部70は、観測画像及び点Q1の位置に基づいて傾きθを算出し、次式(12)に従って距離XPを補正する。
XP’=XPcosθ ・・・(12)
【0074】
これにより、判定部70は、3次元空間において軌道軸と直交する面における軌道軸に対する点Pの位置(XP’,YP)が建築限界内にあるか否かを判定することができる。あるいは、判定部70は、時刻t2においてXZ平面に投影された点P2及び点Q2の位置に基づいて、3次元空間において軌道軸と直交する面における軌道軸に対する点Pの位置を求めても良い。
【0075】
以上説明した原理は、複線区間において隣接線にも適用可能である。複線区間においては、例えば、2つの軌道軸が所定の間隔で平行に位置している。図7は、2つの軌道軸に対する建築限界及び前景領域内の点の軌跡を示す図である。図7には、鉄道車両が通過している建築限界の輪郭と共に、隣接線の建築限界の輪郭が示されている。
【0076】
図1に示す判定部70は、複数の時点で撮影された複数フレームの観測画像に基づいて生成された差分画像VDにおける前景領域内の点P1及びP2の位置に基づいて、鉄道車両が通過している軌道軸に対する前景領域内の点の位置又は軌跡を求める。鉄道車両が通過している軌道軸に対する隣接線の軌道軸の位置や隣接線の建築限界の位置及び形状は既知であるので、判定部70は、前景領域内の点が隣接線の建築限界内に存在するか否かを判定する。
【0077】
これにより、判定部70は、前景領域内の点が隣接線の建築限界内に存在すれば、隣接線の建築限界内に障害物が存在すると判定し、前景領域内の点が隣接線の建築限界内に存在しなければ、隣接線の建築限界内に障害物が存在しないと判定することができる。
【0078】
次に、本実施形態に係る障害物検出装置において用いられる障害物検出方法について、図1及び図8を参照しながら説明する。図8は、本発明の一実施形態に係る障害物検出方法を示すフローチャートである。
【0079】
図8に示すステップS1において、撮像部10が、鉄道車両の前方を監視するための前方監視画像を撮影して観測画像データを生成する。また、ステップS2において、位置情報取得部20が、鉄道車両の現在位置に関する位置情報を取得する。
【0080】
ステップS3において、背景画像データ抽出部50が、ステップS2において取得された位置情報に基づいて、格納部40に格納されている背景画像データの内から複数フレームの背景画像データを抽出する。ここで、格納部40は、過去の観測画像データを位置情報に関連付けて背景画像データとして格納している。
【0081】
ステップS4において、背景画像データ選択部61が、ステップS1において生成された1フレームの観測画像データに基づいて、ステップS3において抽出された複数フレームの背景画像データの内から1フレームの背景画像データを選択する。
【0082】
ステップS5において、背景画像データ補正部62が、ステップS1において生成された1フレームの観測画像データによって表される画像を基準として、ステップS4において選択された1フレームの背景画像データによって表される画像の空間的なずれを補正する。
【0083】
ステップS6において、差分演算部63が、ステップS1において生成された1フレームの観測画像データとステップS5において補正された1フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出する。
【0084】
ステップS7において、軌道検出処理部64が、ステップS6において前景領域が検出された観測画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求める。
【0085】
ステップS8において、判定部70が、複数の時点で生成された複数フレームの観測画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する。
【0086】
これにより、判定部70は、前景領域内の点が建築限界内に存在すれば、建築限界内に障害物が存在すると判定し、前景領域内の点が建築限界内に存在しなければ、建築限界内に障害物が存在しないと判定することができる。
【0087】
本実施形態に係る障害物検出装置又は障害物検出方法によれば、観測画像データと背景画像データとの画素値の相違度が大きい前景領域を検出し、前景領域が検出された観測画像データから軌道軸の位置を求め、複数の時点で生成された複数フレームの観測画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かが判定される。
【0088】
その結果、鉄道車両の走行中に架線やレール等の鉄道設備に対する障害物を自動的に検出して、係員による巡視の労力を大幅に低減することができる。また、本実施形態に係る障害物検出装置又は障害物検出方法を、列車運行の自動化のための前方監視システムにおいて活用することも可能である。
【0089】
以上の実施形態においては、2フレームの画像に基づいて前景領域内の点が建築限界内に存在するか否かを判定する場合について説明したが、本発明は、この実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。
【産業上の利用可能性】
【0090】
本発明は、電気鉄道における架空電車線路や軌道等の鉄道設備に対する障害物を検出する障害物検出装置又は障害物検出方法において利用することが可能である。
【符号の説明】
【0091】
10…撮像部、11…ビデオカメラ、12…A/Dコンバーター、20…位置情報取得部、30…データベース構築部、40…格納部、50…背景画像データ抽出部、60…画像処理部、61…背景画像データ選択部、62…背景画像データ補正部、63…差分演算部、64…軌道検出処理部、70…判定部、80…警告部
図1
図2
図3
図4
図5
図6
図7
図8