(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025008155
(43)【公開日】2025-01-20
(54)【発明の名称】線路検出システム
(51)【国際特許分類】
B61L 23/00 20060101AFI20250109BHJP
H04N 23/60 20230101ALI20250109BHJP
H04N 7/18 20060101ALI20250109BHJP
G01B 11/24 20060101ALI20250109BHJP
【FI】
B61L23/00 A
H04N23/60 500
H04N7/18 U
G01B11/24 K
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023110088
(22)【出願日】2023-07-04
(71)【出願人】
【識別番号】000221616
【氏名又は名称】東日本旅客鉄道株式会社
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】尾▲崎▼ 隼人
(72)【発明者】
【氏名】中村 信彦
(72)【発明者】
【氏名】吉田 大輔
【テーマコード(参考)】
2F065
5C054
5C122
5H161
【Fターム(参考)】
2F065AA09
2F065AA53
2F065CC35
2F065FF04
2F065QQ38
2F065RR06
2F065SS13
5C054CA04
5C054CC02
5C054FC12
5C054FE13
5C054HA30
5C122DA03
5C122DA11
5C122DA14
5C122EA07
5C122EA68
5C122FH10
5C122FH11
5C122FH14
5C122GA24
5C122HA88
5C122HB01
5C122HB05
5C122HB10
5H161AA01
5H161MM05
5H161MM12
5H161NN10
(57)【要約】
【課題】映像カメラの画質が低下もしくは画像を取得することができない領域の線路の形状を推定することができる線路検出システムを提供する。
【解決手段】鉄道軌道上を走行する車両に設けられ進行方向前方の映像を取得する撮像手段と、走行する車両の位置を検出する車両位置検出手段と、鉄道軌道に沿って設けられている各種沿線設備の情報を記憶したデータベースと、前記撮像手段により取得された映像を画像処理して線路の少なくとも一部を検出可能な演算装置とを備えた線路検出システムにおいて、前記データベースには、沿線設備の情報が位置情報と紐付けられて記憶され、前記演算装置は、前記車両位置検出手段により検出された位置情報を用いてデータベースより車両前方の所定範囲の前記沿線設備の情報を取得し、取得した沿線設備の情報と画像処理による線路の検知情報とに基づいて車両進行方向前方の線路形状を推定するようにした。
【選択図】
図4
【特許請求の範囲】
【請求項1】
鉄道軌道上を走行する車両に設けられ進行方向前方の映像を取得する撮像手段と、走行する車両の位置を検出する車両位置検出手段と、鉄道軌道に沿って設けられている各種沿線設備の情報を記憶したデータベースと、前記撮像手段により取得された映像を画像処理して線路の少なくとも一部を検出可能な演算装置とを備えた線路検出システムであって、
前記データベースには、沿線設備の情報が位置情報と紐付けられて記憶され、
前記演算装置は、前記車両位置検出手段により検出された位置情報を用いて前記データベースより車両前方の所定範囲の前記沿線設備の情報を取得し、取得した沿線設備の情報と画像処理による線路の検知情報とに基づいて車両進行方向前方の線路形状を推定することを特徴とする線路検出システム。
【請求項2】
前記沿線設備の情報には、少なくとも車両進行方向前方の線路の曲率および/または勾配と、踏切の位置情報と、分岐点の位置情報とが含まれていることを特徴とする請求項1に記載の線路検出システム。
【請求項3】
前記演算装置は、前記撮像手段により取得した映像から線路検出を行い、
線路検出した結果と、推定した前記車両進行方向前方の線路形状とを合わせることで、車両前方の障害物の認識処理に利用可能にする請求項2に記載の線路検出システム。
【請求項4】
前記演算装置は、前記推定の結果と前記撮像手段により取得された映像を画像処理して検出した結果とに基づいて、一方の結果を垂直、水平方向へ平行移動させながら他方の結果との相互相関を所定の計算式を用いて逐次算出し、相関が最も高くなる場合の移動量を求め、得られた移動量最小の結果を線路検出結果として出力するように構成されていることを特徴とする請求項3に記載の線路検出システム。
【請求項5】
前記演算装置は、前記データベースより車両前方の前記沿線設備の情報を取得するのに要する時間を算出し、算出された時間の間に走行した距離を、前記車両位置検出手段により検出された位置に加算して自己位置を補正するように構成されていることを特徴とする請求項1~4のいずれかに記載の線路検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鉄道軌道の線路を検出する線路検出システムに関し、特に鉄道車両に搭載された撮像装置(映像カメラ)により車両前方を撮影した画像に基づいて進行方向前方の線路の形状を推定する線路検出システムに関する。
【背景技術】
【0002】
鉄道車両の安全かつ円滑な運行には、車両進行方向前方の障害物を早期に認識して減速、停止する必要がある。また、車両前方の障害物を早期に認識するには、車両前方の線路の形状を把握することが重要である。
従来、映像カメラで撮影した映像を用いて車両前方を監視し支障物を検出して表示する車両前方監視装置に関する発明として、例えば特許文献1に記載されているものがある。
【0003】
また、鉄道車両の進行方向前方の領域を撮影した撮影画像から線路の形状や線路の分岐を検出するとともに、分岐の先の車両が進行する可能性のある複数の線路のうち当該車両が進行する線路を、検出済みの線路情報を利用して識別する発明が提案されている(特許文献2)。
さらに、前方監視装置として広角型カメラと望遠型カメラの2種類のカメラを使用し、レール消失点の線路パターンを絞り込み、撮像すべき箇所の誤検知をなくすようにした発明も提案されている(特許文献3)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2019-221115号公報
【特許文献2】特開2019-218022号公報
【特許文献3】特開2015-49740号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
映像カメラを用いた車両前方の監視においては、夜間やトンネル、天候などの撮影環境によって画質が低下したり、踏切、分岐といった特殊な線路形態によって正確な線路検出が困難になったりすることがある。また、線路の前方が大きくカーブしていて建造物などの陰に隠れていたり、下り勾配があったりすると、そもそもその領域の画像を取得することができないので、線路検出も行えないという課題がある。
【0006】
しかしながら、特許文献1および特許文献2のいずれの発明においても、画質が低下した場合もしくは画像を取得することができない領域の線路の形状を推定する技術については開示していない。
また、特許文献3の発明は、レール消失点の線路パターンを絞り込むことはできるが、広角型カメラと望遠型カメラの2種類のカメラを使用するため、映像処理装置の負担が大きいとともに、処理の結果が出るまでの時間が長いという課題がある。
【0007】
本発明は上記のような背景のもとになされたもので、映像カメラの画質が低下もしくは画像を取得することができない領域の線路の形状を推定することができる線路検出システムを提供することを目的とする。
本発明の他の目的は、映像カメラの画質が低下もしくは画像を取得することができない領域の線路の形状を推定し、車両前方の障害物の認識を素早く行うことができる線路検出システムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本出願に係る発明は、
鉄道軌道上を走行する車両に設けられ進行方向前方の映像を取得する撮像手段と、走行する車両の位置を検出する車両位置検出手段と、鉄道軌道に沿って設けられている各種沿線設備の情報を記憶したデータベースと、前記撮像手段により取得された映像を画像処理して線路の少なくとも一部を検出可能な演算装置とを備えた線路検出システムにおいて、
前記データベースには、沿線設備の情報が位置情報と紐付けられて記憶され、
前記演算装置は、前記車両位置検出手段により検出された位置情報を用いて前記データベースより車両前方の所定範囲の前記沿線設備の情報を取得し、取得した沿線設備の情報と画像処理による線路の検知情報とに基づいて車両進行方向前方の線路形状を推定するように構成したものである。
【0009】
上記のように構成された線路検出システムによれば、撮像手段(映像カメラ)の画質が低下もしくは画像を取得することができない領域であっても、沿線設備の情報を利用して線路の形状を推定することができる。また、撮像手段の画質が低下もしくは画像を取得することができない領域の線路の形状を推定できるため、撮像手段から取得した画像の中で着目すべき範囲を絞り込むことができるので、車両前方の障害物の認識を素早く行うことができる。
【0010】
ここで、望ましくは、前記沿線設備の情報には、少なくとも車両進行方向前方の線路の曲率および/または勾配と、踏切の位置情報と、分岐点の位置情報とが含まれているようにする。
車両に搭載され進行方向前方を撮影する撮像手段(映像カメラ)の画質が低下もしくは画像を取得することができない領域は、主として前方の線路が湾曲している場合と、前方に踏切または分岐点がある場合である。そのため、上記のような構成によれば、前方の線路が湾曲している場合や前方に踏切または分岐点がある場合に、線路の形状を推定することができる。
【0011】
さらに、望ましくは、前記演算装置は、前記推定の結果と前記撮像手段により取得された映像を画像処理して検出した結果とに基づいて、一方の結果を垂直、水平方向へ平行移動させながら他方の結果との相互相関を所定の計算式を用いて逐次算出し、相関が最も高くなる場合の移動量を求め、得られた移動量最小の結果を線路検出結果として出力するように構成する。
かかる構成によれば、沿線設備の情報を利用して推定した線路形状と画像処理によって検出した線路形状とに基づいて出力する線路形状を決定することができるため、線路形状の精度を向上させることができる。
【0012】
また、望ましくは、前記演算装置は、前記データベースより車両前方の前記沿線設備の情報を取得するのに要する時間を算出し、算出された時間の間に走行した距離を、前記車両位置検出手段により検出された位置に加算して自己位置を補正するように構成する。
かかる構成によれば、データベースより沿線設備の情報を取得するのに要する時間を考慮して自己位置を補正するため、撮像手段により取得した画像内に映り込んでいる沿線設備の画像領域を精度よく把握することができ、それによって線路形状の検出精度を向上させることができる。
【発明の効果】
【0013】
本発明に係る線路検出システムによれば、画質が低下もしくは画像を取得することができない領域の線路の形状を推定することができる。また、画質が低下もしくは画像を取得することができない領域の線路の形状を推定し、前方の走行経路を認識することで、車両前方の障害物の認識を素早く行うことができる。
【図面の簡単な説明】
【0014】
【
図1】本発明に係る線路検出システムの一実施形態を示すシステム構成図である。
【
図2】(A)、(B)は車両に搭載された映像カメラの映像で線路形状を認識困難な例を示す映像図である。
【
図3】(A)、(B)は実施形態の線路検出システムにより線路形状を認識困難な映像に推定した線路形状を表示した映像例を示す図である。
【
図4】実施形態の線路検出システムにおける線路検出処理の手順の一例を示すフローチャートである。
【
図5】(A)はカーブしている軌道の一例を上方から見た説明図、(B)はカーブしている線路の曲率部におけるある点PMと次の点PM+1を拡大して示す説明図である。
【
図6】高低差のある軌道の一例を真横から見た説明図である。
【
図7】(A)は線路前方のマスク領域および補間処理の例を示す説明図、(B)は線路前方に分岐点がある場合におけるマスク領域の例を示す説明図、(C)は(B)のマスク領域における補間処理の例を示す説明図である。
【
図8】沿線設備情報を利用して線路形状を推定しカメラ映像に高精度に表示する2つの方式の手順を示すもので、(A)はデータベース参照結果を画像からの線路検出の前処理として使用する場合の手順の説明図、(B)は画像からの線路検出結果とデータベース参照結果を比較して総合判断する場合の手順の説明図である。
【
図9】実施形態の線路検出システムにおける自車両の位置算出処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、図面を参照しながら本発明に係る線路検出システムの一実施形態について説明する。
図1は鉄道車両(列車)に搭載される線路検出システムの構成例を示すブロック図である。
図1に示すように、本実施形態に係る線路検出システム10は、先頭車両の前端側にレンズが前方を向くように設置され走行方向前方を撮影する映像カメラ11、映像カメラ11からの映像信号を処理する演算装置(映像処理装置)12、走行速度や自己位置を算出するために車輪の回転数を検出する速度発電機13、トランスポンダ地上子から位置補正情報を受信する車上子14、デジタル無線や軌道回路を介して運行管理システムや保安システムから送信される情報を受信する通信装置15、GPS衛星からのGPS信号を受信するGPS装置16、演算装置12が映像信号を処理する際に使用する情報を記憶するデータベース(記憶装置)17などを備えている。さらに、運転席に設置され映像カメラ11により撮影した映像を表示するモニタ18を備えていても良い。
【0016】
データベース17には、当該車両が走行する路線の踏切や分岐、トンネル、駅、線路の曲率、勾配などの鉄道軌道の沿線設備情報(保線設備情報)が、位置情報(キロ程)に紐付けられて例えばCSVファイルのような形式で記憶されている。
なお、沿線設備情報を記憶するデータベースは地上側のサーバ等に設けて、車両側から検索情報として位置情報(キロ程)を地上側へ送信して、必要な沿線設備情報を逐次取得するように構成しても良い。また、データベース17には、当該車両のID(識別番号)または列車番号を記憶しておくようにしても良い。
【0017】
演算装置12は、マイクロプロセッサ(MPU)とMPUが実行するプログラムを記憶するROMのような不揮発性記憶装置と、RAMのような読み出し書き込み可能な記憶装置とから構成され、速度発電機13からの信号に基づいて自己の位置(キロ程)を算出する機能や、GPS信号より得られた緯度経度情報をキロ程情報に変換する機能を備えている。また、速度発電機13からの信号やGPS信号より得られた緯度経度情報に基づいて算出されるキロ程には誤差が含まれるので、車上子14によりトランスポンダ地上子から受信した位置補正情報を用いて自己位置を補正する機能を備えている。
【0018】
鉄道沿線には、軌道回路等からの信号に基づいて走行している列車の位置を把握して先行列車に近づき過ぎないように、ATC地上装置より列車へ信号を送信したり信号機や転てつ機を制御したりする機能を有する保安システムが設けられている。また、既存の鉄道システムには、列車の位置や進路を把握しダイヤに従って走行しているか監視して保安システムへ進路情報を提供する機能を有する運行管理システムもある。
従って、本実施形態の線路検出システム10は、算出または補正した自己位置の情報や通信装置15を介して車両IDまたは列車番号により保安システムまたは運行管理システムから自車両の位置に関する情報を取得することによって、自車両が走行している路線や進行方向を把握することができ、データベース17から進行方向前方の沿線設備の情報を先読みすることが可能である。また、通信装置15を介することなく自車両の路線や進行方向に関する情報を予め車両のデータベース17に保有していてもよい。
【0019】
次に、本実施形態の線路検出システムが備える機能について説明する。
映像カメラを用いた車両前方の監視においては、
図2(A)に示すように前方にトンネルがあると、近くの線路の形状は検出できるが、遠くの線路の形状の検出は困難である。前照灯を点灯して走行する夜間や雨天などの場合も同様である。また、
図2(B)に示すように線路の前方が大きくカーブしていて建造物などの陰に隠れていると、その領域の画像を取得することができないので、線路検出が行えないこともある。前方に下り勾配がある場合も同様である。
【0020】
さらに、線路の前方に分岐点や踏切がある状況においては、カメラの映像に、分岐点ではガードレールやトングレール、リードレールなどが、また踏切では舗装鋼板やガードレールなど、検出したいレール以外にもレールと誤認され易い軌道材料や設備が映り込むため、正しい線路検出が行えない。
本実施形態の線路検出システムは、上記のような場合に、データベースから取得した沿線設備情報に基づいて軌道材料や設備の影響を排除して線路形状を推定するものである。
具体的には、例えば
図2(A)や(B)のように、線路の前方の画質が低下あるいは画像のない領域がある場合、データベースから取得した沿線設備情報に基づいて線路の形状を推定し、
図3(A)や(B)に破線で示すように、前方映像と推定形状または映像内検出線路とを使用して着目すべき範囲を絞り込むことで正しく障害物を認識する。
【0021】
以下、沿線設備情報に基づいて、車両進行方向前方の線路形状を推定する具体的な手法について説明する。
図4には、線路形状推定処理を含む線路検出処理全体の手順のフローチャートが示されている。
図4の線路検出処理は、線路検出システム10の電源が投入されることで開始される。また、システムの電源が投入されると、映像カメラ11に電源が供給され、撮影が開始される。映像カメラ11による撮影は、列車の移動に連動して開始するようにしても良い。
【0022】
図4の線路検出処理が開始されると、演算装置(映像処理装置)12は、自車両の位置を算出する処理を実行する(ステップS1)。自車両の位置は、出発駅の位置(例えばキロ程)と速度発電機13からの信号に基づいて算出した走行距離とから算出することができる。
【0023】
続いて、ステップS1で算出した位置情報を用いてデータベース17より、車両進行方向前方の所定範囲(例えば1km先まで)の線路沿線の設備情報を取得する(ステップS2)。次に、映像カメラ11より映像データを読み込み(ステップS3)、映像内の線路の形状を検出する処理を実行する(ステップS4)。この際、ステップS2で取得した設備情報に基づいて、例えば画像内の当該設備の画像領域をマスクして線路の形状の検出処理を行う。これにより、線路の誤検知を抑制することができる。
【0024】
その後、映像内の全範囲内すなわち遠方まで線路の形状を検出できたか否かを判定し(ステップS5)、遠方まで線路の形状を検出できた(Yes)と判定するとステップS7へ移行する。
一方、ステップS5で線路の形状を検出できなかった(No)と判定するとステップS6へ移行して前方線路形状推定処理を実行する。この前方線路形状推定処理の詳しい内容については、後に説明する。
【0025】
続いて、前方映像とステップS6で推定した線路形状またはステップS5において映像内で検出した線路とを用いて軌道上の障害物を認識する処理を実行する。(ステップS7)。その後、ステップS1へ戻って上記処理を繰り返し実行する。
ここで、障害物の認識処理は、前述の先行技術文献1等に記載されている公知の画像処理技術を利用して実現することができるので、詳しい説明は省略する。
【0026】
次に、本実施形態の線路検出システムによる前方線路形状推定処理の具体的に方法について、
図5~
図7を用いて説明する。このうち、
図5(A)はカーブしている軌道を上方から見た平面図に相当する模式図で、データベース内の線路の曲率情報を利用して表わすことができる。また、
図6は高低差のある軌道を真横から見た側面図に相当する模式図で、データベース内の線路の勾配情報によって表わすことができる。
図5(A)において破線は線路の中心線である。線路形状推定処理においては、先ず、
図5(A)のように、カメラの位置を原点Oとし、そこから進行方向へ向かって、所定の刻み幅Δdごとに点P0、P1、P2、P3……PNをとり、データベース内の沿線設備情報を参照して、点P0~PNにおける曲率k0~kNおよび勾配sθ~sNを求める。
【0027】
図5(A)の場合、線路のカーブ形状は、原点Oより進行方向前方の各点P0~PNにおける曲率k0~kNによって決定される。
図5(B)は、線路の曲率部におけるある点PMと次の点PM+1の拡大図を示す。点PMにおける曲率半径をRMとすると、RM=1/kMである。ここで、PM-PM+1間距離(刻み幅Δd)は正確には円弧に沿った長さであるが、Δdが小さければ、PM-PM+1間の円弧の長さは両点を結ぶ直線の長さに等しいとみなせる。
図5(B)のように、曲率中心おける点PMと点PM+1の内角をθとすると、点PMから点PM+1までの水平移動量Δtは、次式
Δt=Δd・sin(θ/2)≒Δd・ (θ/2)
より算出することができる。
【0028】
さらに、沿線設備情報から点PM-PM+1が分岐点であると判断された場合には、分岐器の番数から決まる角度θBを用いて、点PMから点PM+1までの水平移動量Δtは、次式
Δt=Δd・ (θ/2)+Δd・ (θB/2)
により算出することができる。
上記計算を原点Oから点PNまで繰り返すことにより、線路の中心線の水平平面上でのカーブを決定することができる。その後、これを座標変換することで、
図3(B)のように、カメラ映像の上に推定した線路形状を描画することができる。
【0029】
次に、線路の勾配を考慮して線路形状を推定する方法を、
図6を用いて説明する。
前方線路に勾配がある場合、カメラ位置すなわち原点Oにおける勾配を基準にして、線路形状を推定する必要がある。具体的には、原点Oの勾配s0が負つまり下り坂であり、前方の点PMの勾配sMが0になるような場合、カメラ位置から見れば前方の線路は上り坂であるように見える。
上記のような場合、
図6のように、点PMにおけるカメラの光軸から軌道面までの距離をhMとすると、点PM+1における光軸から軌道面までの距離hM+1は、次式
hM+1=hM+(sM-s0)・Δd
により算出することができる。
【0030】
上記計算を原点Oから点PNまで繰り返すことにより、カメラの光軸を基準とした垂直平面上での軌道面の形状を決定することができる。その後、これを座標変換することで、カメラ映像の上での線路の位置を示すことができる。カメラ位置すなわち原点Oにおける勾配が0で前方の軌道が傾斜している場合も同様にして軌道面の形状を決定することができる。また、
図5を用いて説明した水平平面上での線路形状と
図6を用いて説明した垂直平面上での軌道面の形状とを合成することで、カーブしながら勾配が変化する線路形状を推定することができる。
さらに、前方に
図2(A)に示すようなトンネルがある場合にも、沿線設備情報を参照して線路形状を推定し、
図3(A)のように、カメラ映像の上に推定した線路形状を描画することができる。
【0031】
次に、車両の前方に踏切または分岐点がある場合における線路形状の推定の仕方について、
図7を用いて説明する。
データベース内の沿線設備情報を参照して車両の前方に踏切または分岐点があることおよびその位置が分かった場合には、カメラ映像上における踏切または分岐点の画像領域をマスクする。そして、踏切の場合には、
図7(A)に示すように、マスクした領域MAの前後の領域で検出されたレールのエッジを結ぶ線を描画する補間処理を実行する。そして、レールごとに左右のエッジの中心を結ぶ線を算出し線路形状P1,P2を決定する処理を行う。
【0032】
また、車両の前方に分岐点がある場合には、沿線設備情報から分かる分岐器の種類とその形状の情報を利用して、
図7(B)に示すように、マスクした領域MAの前後の領域において画像処理で決定したレールのエッジを結ぶ線を描画する補間処理を実行し、上記と同様にして、
図7(C)に示すような線路形状P1,P2;P3,P4を決定する処理を行う。
なお、車両の前方に駅がある場合には、ホームとその他の線路近傍の設備の画像領域をマスクした上で画像処理を行うことで線路形状を決定することができる。
【0033】
次に、上記のようにして沿線設備情報を利用して高精度に線路形状を推定しカメラからの画像の処理による線路検出結果と実際の線路形状を一致させる方式について説明する。
沿線設備情報を利用して線路形状を推定しカメラ映像に高精度に一致させていく方式としては、
図8(A)に示すように、沿線設備情報を利用した線路形状の推定処理を、カメラ映像の画像処理による線路検出の前処理として実施する方式(第1方式)と、
図8(B)に示すように、カメラ映像の画像処理による線路検出結果と沿線設備情報を利用した線路形状の推定結果とを比較して線路位置を補正する方式(第2方式)が考えられる。以下、2つの方式を順に説明する。
【0034】
(第1方式)
カメラ映像から画像処理で線路検出を行う場合、画像内を探索してレールのエッジを見つけることにより線路位置を特定することとなる。その場合、例えば前照灯の光により手前の領域のみが明るく遠方になるに従ってレールのエッジが不鮮明になるような条件下においては、前照灯の光が届かない遠方の線路位置の特定は困難であり、線路ではない沿線設備、建造物やノイズ成分を線路であるとして誤検知することがある。
【0035】
そこで、前述したように、車両の位置情報をもとにデータベースより沿線設備情報を取得し、沿線設備情報に含まれる線路の曲率や勾配の情報を利用して前方線路が画像内のどの垂直・水平座標位置に存在するかを推定できるので、推定した範囲に絞り込んでレールのエッジを探索することによって、撮像手段の画質が悪くてもエッジの不鮮明さを補償して線路形状を決定することで検出精度を向上させることができる。また、線路の形状を推定できるため、撮像手段から取得した画像の中で着目すべき範囲を絞り込むことができるので、車両前方の障害物の認識を素早く行うことができる。
【0036】
なお、探索範囲を設定する際には、カメラの取付け誤差や車両走行時の揺れによる画像のブレを考慮して、垂直方向と水平方向にそれぞれ適切なマージンを設定するのが望ましい。そして、設定した探索範囲の垂直座標軸(Y軸)に対して期待される線路の傾きを設定し、推定位置と傾きを制約条件として画像内においてレールエッジを探索し線路形状を決定する処理を行うようにする。これにより、高精度で画像内における線路位置を検出することができる。
【0037】
(第2方式)
上記第1方式は、レールエッジの不鮮明さに起因する誤検知や検知不能を低減するのに有効であるが、急カーブにおいて前方線路が沿線建造物の陰に隠れてしまったり、前方が下り勾配になっていたりすると、そもそも遠方の線路が画像内に映り込まないため、カメラの映像のみから線路を検出することができない。
そこで、第2方式は、カメラ映像を画像処理することによって線路検出を行う処理と、データベースの沿線設備情報を利用した線路形状の推定処理を並行して実施することにより、前方線路全体の形状を特定するようにするものである。
【0038】
また、2つの処理を並行して実施した後、画像を用いた線路の検出結果Aとデータベースを用いた線路形状の推定結果Bについて位置合わせを行う必要がある。位置合わせは、先ずカメラ映像内の車両近傍の範囲(映像の下側)の画像を基準にして大まかな位置合わせ(第1段階)を行い、その後、画像処理により検出された全範囲の結果を用いてより精度の高い位置合わせ(第2段階)を行う。
第1段階の位置合わせでは、映像の下側(手前の領域)において、線路の中心および線路幅が結果Aと結果Bで整合するように、結果Bを垂直、水平方向へ平行移動させる。
【0039】
続いて、第2段階の位置合わせとして、結果Aの検出結果全体と結果Bの対応する部分について、相互相関を用いた位置合わせを行う。具体的には、第1段階の位置合わせ結果の水平・垂直位置を基準として、結果Bを上下左右に移動させつつ、結果Aと移動後の結果B’の相互相関を算出する。
まず、取得したカメラ映像から、エッジ検出などの画像処理手法を用いて線路を検出する。線路検出結果は例えば2値データ(線路であるかないか)として表現される。
他方、地理情報提供エンジンは、現在地の位置情報を与えると進行方向前方の線路の曲率・勾配情報を出力するエンジンとして定義される。得られた曲率・勾配情報をもとに線路の左右レールの3次元形状を復元し、これを視点変換によって運転台から見た線路形状に変換することにより、線路形状推定結果が得られる。線路形状推定結果も例えば同様に2値データとして表現される。
【0040】
上記のようにして得られた2種類の2値データの類似度を図るためには相関係数を用いて評価するのが一般的である。相関の求め方としては、SSD(差分二乗和)、SAD(差分絶対値和)、NCC(正規化相互相関)などが存在する。画像処理による検出結果をA、線路形状推定結果をBとし、画像原点からの座標を(x, y)で表現し、Aにおける位置(x,y)の画素値をA(x,y)と表現する(Bも同様)と、例えばSSDについては次式(数1)
【数1】
により算出することができる。また、本例のようにA、Bいずれもが0,1の2値データである場合には、SSDは次式(数1)
【数2】
により算出することができる。
【0041】
ここで、走行中の車両には一般に振動が発生しているため、車両に取り付けられているカメラで撮影された画像Aは上下方向、左右方向に時間とともに撮影範囲が変動する。他方、線路形状推定結果Bは車両の振動は考慮されておらず、線路中心から進行方向を見た視点での画像となる。そこで、Bを左右方向にΔx, 上下方向にΔyだけ平行移動させた画像B’を考え、AとB’の相関係数は次式(数3)
【数3】
により算出することができる。
そして、相関が最も高くなる場合の移動量を求め、得られた移動量最小の結果B’をもって線路検出結果として出力する。これにより、線路形状の検出精度を向上させることができる。
【0042】
次に、
図4のフローチャートのステップS2の自己位置認識処理の具体例について説明する。
図9には、自己位置認識処理の手順のフローチャートが示されている。
この処理が開始されると、先ず前回の位置(キロ程)の補正時刻から経過時間を算出する(ステップS21)。そして、経過時間が所定時間(例えば60秒)以上か否か判定し(ステップS22)、所定時間以上である(Yes)と判定すると次のステップへ進み定められたGPS精度(例えば10m以内)か否か判定し(ステップS23)、定められたGPS精度以内である(Yes)と判定すると、GPS装置から緯度、経度情報を取得する(ステップS24)。
【0043】
次に、速度発電機13からの信号に基づいて現時点の位置(キロ程)を算出し(ステップS25)、算出した位置情報を用いてデータベースを参照して地理情報を取得する(ステップS26)。そして、地理情報が持っているキロ程を取得し(ステップS27)、地理情報のデータベースを参照するのに要する時間を算出する(ステップS28)。続いて、データベースからのキロ程の取得に成功したか否か判定し(ステップS29)、取得に成功した(Yes)と判定すると次のステップへ進み、データベースを参照するのに要する時間の間に走行した距離を、ステップS25で算出したキロ程に加算して自己位置(キロ程)を補正する(ステップS30)。その後、自己位置(キロ程)の補正時刻を更新して処理を終了する(ステップS31)。
【0044】
上記のような処理によれば、データベースを参照するのに要する時間の間に走行した距離を加味して自己位置(キロ程)を補正するため、精度の高い自己位置情報を保有することができる。また、
図7には示されていないが、車上子14がトランスポンダ地上子から位置情報(キロ程)を取得した場合には、取得した位置情報に基づいて自己位置(キロ程)を補正するようにしても良い。
【0045】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形や変更が可能である。例えば、上記実施形態は、車上システムを構成する演算装置12によって、自車両の位置情報を把握しその位置情報に基づいて沿線設備情報を取得し進路となる線路を検出しているが、各車両の位置は地上側の保安システム等でも把握しできるので、地上側に設けた演算装置によって、各車両の位置情報に基づいて沿線設備情報を取得し進路となる線路を検出して対応する車両へ線路検出結果を送信するようにシステムを構成しても良い。
【0046】
また、前記実施形態においては、車両の進行方向前方の映像を取得する撮像手段として映像カメラを使用した例について説明したが、撮像手段は映像カメラに限定されず、静止画を連写可能なスチールカメラ等であっても良い。
さらに、前記実施形態においては、データベースから線路設備の情報を取得して画像内の線路の検出に利用しているが、データベースから列車の運行情報もしくは他列車の位置情報を取得して、画像内に映り込んでいる対向列車の画像を認識し、当該画像の領域をマスクして線路の検出処理を実行するようにしても良い。
加えて、前記実施形態においては、カメラの画質が低下もしくは画像を取得することができない領域の線路の形状を推定し、列車の運転席にあるモニタ18に線路の形状を表示することで運転士に対する注意喚起や運転支援を行うようにしても良い。
【符号の説明】
【0047】
10 線路検出システム
11 映像カメラ
12 演算装置(映像処理装置)
13 速度発電機
14 車上子
15 通信装置
16 GPS装置
17 データベース
18 モニタ