特許 7481872 画像による鉄道レールの検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-01

(45)【発行日】2024-05-13

(54)【発明の名称】画像による鉄道レールの検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240502BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/00 300F

G06T7/00 300D

【請求項の数】 7

(21)【出願番号】P 2020056923

(22)【出願日】2020-03-27

(65)【公開番号】P2021157486

(43)【公開日】2021-10-07

【審査請求日】2022-12-21

(73)【特許権者】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(74)【代理人】

【識別番号】110001298

【氏名又は名称】弁理士法人森本国際特許事務所

(72)【発明者】

【氏名】八田 孝

(72)【発明者】

【氏名】湯田 誠

(72)【発明者】

【氏名】八十 健二

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１９－２０９７３４（ＪＰ，Ａ）

【文献】特開２００７－２６４７１２（ＪＰ，Ａ）

【文献】特開２０１８－１８１２５４（ＪＰ，Ａ）

【文献】鵜飼 正人，外２名，画像認識手法を用いた車載型前方監視システム，ＦＩＴ２０１１ 第１０回情報科学技術フォーラム 講演論文集 第４分冊，2011年08月22日，pp. 337-340

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置で得た画像において、撮像装置に近い領域の近傍領域および前記近傍領域よりも撮像装置から遠い領域の遠方領域に分けるステップと、
前記近傍領域において、左右のそれぞれのレールの位置に相当する各レールごとの第１の複数の座標を探索して、前記探索した座標を近傍領域における左右のレールに相当する座標とするステップと、
前記遠方領域において、前記近傍領域で探索した前記左右の各レールごとの第１の複数の座標を通る延長線上と前記延長線付近とにおける第２の複数の座標を探索し、さらに探索対象となる座標の特徴量が所定の特徴量となる座標を前記遠方領域における左右のレールに相当する座標とするステップと、を備え、
探索した座標を近傍領域における左右のレールに相当する座標とするステップは、
前記近傍領域における前記左右のレールの位置関係を示すパラメータから前記左右のレールの形状を成す複数の点を求めるステップと、
前記複数の点が所定の条件に適合する画素を探索し、前記所定の条件に適合する画素の位置を前記左右のレールの位置と判定するステップと、を備えるレール検出方法。

【請求項2】

前記探索対象となる座標の特徴量が所定の特徴量となる座標を前記遠方領域における左右のレールに相当する座標とするステップは、前記遠方領域において、前記左右のレールの長手方向に沿って遠方領域を近傍領域側ほど分割幅が大きくなるように複数の小領域に分割する、請求項１に記載のレール検出方法。

【請求項3】

前記遠方領域において、前記左右のレールそれぞれの前記延長線上の座標を基準とし、前記延長線上の座標と交差する方向にある第３の複数の座標を算出するステップと、
前記近傍領域内で前記延長線上にある座標と、第３の複数の座標のそれぞれとの間に、座標群を算出し、前記特徴量を満たす前記座標群を前記遠方領域における前記左右のレールの位置に相当する座標群とするステップと、
をさらに備える請求項１または２に記載のレール検出方法。

【請求項4】

前記遠方領域における前記左右のレールそれぞれに相当する複数の前記座標群のうち、前記左右のレールの間隔よりも広い間隔の前記座標群を前記左右のレールに相当する座標群から除外するステップをさらに備える請求項３に記載のレール検出方法。

【請求項5】

探索した座標を近傍領域における左右のレールに相当する座標とするステップは、左右のレールどうしの間隔を前記左右のレールの幅方向に所定の画素数分広げて、または、狭めて、前記左右のレールの位置を判定するステップを備える請求項１～４のいずれか１項に記載のレール検出方法。

【請求項6】

探索した座標を近傍領域における左右のレールに相当する座標とするステップは、左右のレールそれぞれに対して、前記近傍領域における前記左右のレールに対応する画素数よりも少ない画素数のテンプレートパターンを用いて前記左右のレールのそれぞれの位置を探索するステップを備える請求項１～５のいずれか１項に記載のレール検出方法。

【請求項7】

撮像装置で得た画像を、撮像装置に近い近傍領域および前記近傍領域よりも撮像装置から遠い遠方領域に分ける画像領域分割部と、
前記近傍領域において、左右のそれぞれのレールの位置に相当する各レールごとの第１の複数の座標を探索して、前記探索した座標を近傍領域における左右のレールに相当する座標とする近傍領域の座標探索部と、
前記遠方領域において、前記近傍領域で探索した前記左右の各レールごとの第１の複数の座標を通る延長線上と前記延長線付近とにおける第２の複数の座標を探索し、さらに探索対象となる座標の特徴量が所定の特徴量となる座標を前記遠方領域における左右のレールに相当する座標とする、遠方領域の座標探索部と、を備え、
前記近傍領域の座標探索部は、
前記近傍領域における前記左右のレールの位置関係を示すパラメータから前記左右のレールの形状を成す複数の点を求める複数点求め部と、
前記複数の点が所定の条件に適合する画素を探索し、前記所定の条件に適合する画素の位置を前記左右のレールの位置と判定する位置判定部と、を備えるレール検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像による鉄道レールの検出方法に関する。

【背景技術】

【0002】

鉄道事業にとって、軌道への障害物の有無を検査することが重要である。そのためには、まずレールの位置を検出し、そのレールの位置を基準として、障害物が建築限界をはみ出していないかどうかを検査することが効果的である。レールの位置を検出するための手法として、画像処理技術を用いたパターンマッチングの技術が知られている（特許文献１、２）。

【0003】

このうち、特許文献１には、車両の前方または後方のレールを監視画像データとして撮像するカメラと、画像処理部とを備えた装置が記載されている。画像処理部は、監視画像データにおける所定位置にある枕木方向のライン領域について、予め用意されたレールのテンプレート画像データを用いて、ラスタスキャンによるマッチング操作を行い、最もマッチング値の高い偏位をレール位置とするものである。特許文献２には、指標導出部と初期探索部と二次探索部と線路導出部とを持つ装置が記載されている。線路導出部は、初期探索部および二次探索部による処理結果に基づいて鉄道の線路を導出する。初期探索部による探索結果は、二次探索部において利用される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－０９１５０６号公報

【文献】特開２０１８－１８１２５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１のものでは、局所的な領域に１ライン分の領域をスキャンするため
、線路周辺に敷き詰められた石（バラスト）や鉄橋、補助レールなどの影響（外乱ノイズ
）により誤検知を招く可能性がある。特許文献２のものでは、初期探索において、初期エ
リア内で左側エリア、右側エリアと別々にレール検出処理を行っているが、初期エリア内
(ＡＲ１やＡＲ２)には状況によって線路以外に補助レールや鉄橋等の線路に平行した直線
物が存在する場合がある。このとき、特許文献２のものでは、左右のレール間隔を考慮し
ていないため、誤検知を招く可能性が高い。また特許文献１、２のいずれに記載された技
術においても、画像処理の手法が複雑であり、このため演算処理に手間を要してしまうと
いう技術的課題がある。

【0006】

そこで本発明は、このような課題を解決するために、簡単な演算処理を行うことにより、レールの誤検知を抑制して精度良く、鉄道レールを検出することを目的とする。

【課題を解決するための手段】

【0007】

この目的を達成するために、本発明のレール検出方法は、
撮像装置で得た画像において、撮像装置に近い領域の近傍領域および前記近傍領域よりも撮像装置から遠い領域の遠方領域に分けるステップと、
前記近傍領域において、左右のそれぞれのレールの位置に相当する各レールごとの第１の複数の座標を探索して、前記探索した座標を近傍領域における左右のレールに相当する座標とするステップと、
前記遠方領域において、前記近傍領域で探索した前記左右の各レールごとの第１の複数の座標を通る延長線上と前記延長線付近とにおける第２の複数の座標を探索し、さらに探索対象となる座標の特徴量が所定の特徴量となる座標を前記遠方領域における左右のレールに相当する座標とするステップと、を備え、
探索した座標を近傍領域における左右のレールに相当する座標とするステップは、
前記近傍領域における前記左右のレールの位置関係を示すパラメータから前記左右のレールの形状を成す複数の点を求めるステップと、
前記複数の点が所定の条件に適合する画素を探索し、前記所定の条件に適合する画素の位置を前記左右のレールの位置と判定するステップと、を備える。

【0008】

本発明のレール検出方法によれば、
前記遠方領域において、前記左右のレールそれぞれの前記延長線上の座標を基準とし、前記延長線上の座標と交差する方向にある第３の複数の座標を算出するステップと、
前記近傍領域内で前記延長線上にある座標と、第３の複数の座標のそれぞれとの間に、座標群を算出し、前記特徴量を満たす前記座標群を前記遠方領域における前記左右のレールの位置に相当する座標群とするステップと、
をさらに備えることが好適である。

【0009】

本発明のレール検出方法によれば、
前記遠方領域における前記左右のレールそれぞれに相当する複数の前記座標群のうち、前記左右のレールの間隔よりも広い間隔の前記座標群を前記左右のレールに相当する座標群から除外するステップをさらに備えることが好適である。

【0010】

本発明のレール検出方法によれば、
前記探索対象となる座標の特徴量が所定の特徴量となる座標を前記遠方領域における左右のレールに相当する座標とするステップは、前記遠方領域において、前記左右のレールの長手方向に沿って遠方領域を近傍領域側ほど分割幅が大きくなるように複数の小領域に分割することが好適である。

【0011】

本発明のレール検出方法によれば、探索した座標を近傍領域における左右のレールに相当する座標とするステップが、左右のレールどうしの間隔を前記左右のレールの幅方向に所定の画素数分広げて、または、狭めて、前記左右のレールの位置を判定するステップを備えることが好適である。

【0012】

本発明のレール検出方法によれば、探索した座標を近傍領域における左右のレールに相当する座標とするステップが、左右のレールそれぞれに対して、前記近傍領域における前記左右のレールに対応する画素数よりも少ない画素数のテンプレートパターンを用いて前記左右のレールのそれぞれの位置を探索するステップを備えることが好適である。

【0013】

本発明のレール検出装置は、
撮像装置で得た画像を、撮像装置に近い近傍領域および前記近傍領域よりも撮像装置から遠い遠方領域に分ける画像領域分割部と、
前記近傍領域において、左右のそれぞれのレールの位置に相当する各レールごとの第１の複数の座標を探索して、前記探索した座標を近傍領域における左右のレールに相当する座標とする近傍領域の座標探索部と、
前記遠方領域において、前記近傍領域で探索した前記左右の各レールごとの第１の複数の座標を通る延長線上と前記延長線付近とにおける第２の複数の座標を探索し、さらに探索対象となる座標の特徴量が所定の特徴量となる座標を前記遠方領域における左右のレールに相当する座標とする、遠方領域の座標探索部と、を備え、
前記近傍領域の座標探索部は、
前記近傍領域における前記左右のレールの位置関係を示すパラメータから前記左右のレールの形状を成す複数の点を求める複数点求め部と、
前記複数の点が所定の条件に適合する画素を探索し、前記所定の条件に適合する画素の位置を前記左右のレールの位置と判定する位置判定部と、を備える。

【発明の効果】

【0014】

本発明によると、簡単な演算処理を行うことにより、レールの誤検知を抑制して精度良く、鉄道レールを検出することができる。

【図面の簡単な説明】

【0015】

【図1】本発明にもとづきレールが検出された鉄道の線路の画像の例を示す図である。

【図2】本発明の実施の形態の、画像による鉄道レールの検出方法のフローを示す図である。

【図3】得られた画像の例を示す図である。

【図4】処理領域の限定を行った後の画像を示す図である。

【図5】遠方領域が直線状である線路の画像の例を示す図である。

【図6】遠方領域がカーブ状である線路の画像の例を示す図である。

【図7】近傍領域におけるレールの検出処理フローを示す図である。

【図8】近傍領域のためのテンプレート画像の例を示す図である。

【図9】近傍領域のためのテンプレート画像の他の例を示す図である。

【図10】近傍領域における左側レールについてのマッチング演算結果のデータ画像の例を示す図である。

【図11】近傍領域における右側レールについてのマッチング演算結果のデータ画像の例を示す図である。

【図12】図１０に示す近傍領域における左側レールについてのマッチング演算結果のデータ画像と、図１１に示す近傍領域における右側レールについてのマッチング演算結果のデータ画像との合成画像を示す図である。

【図13】近傍領域における左右のレールの位置関係をあらかじめパラメータとして用意したものの例を示す図である。

【図14】図１３のパラメータにてレールを探索する様子を示す図である。

【図15】図１３のパラメータにてレールを探索した結果における画像上の位置座標を示す図である。

【図16】遠方領域におけるレールの検出処理フローを示す図である。

【図17】処理すべき遠方領域の画像の例を示す図である。

【図18】遠方領域において仮に設定された位置座標を示す図である。

【図19】図１８において左側のレールについて仮に設定された位置座標の近傍の他の複数の位置座標を示す図である。

【図20】図１９の位置座標のうちの１つと近傍領域における既知の位置座標との間における複数の位置座標を示す図である。

【図21】図２０の位置座標にもとづき作成した線分の例を示す図である。

【図22】図１９における他の位置座標のすべてについて作成された線分を示す図である。

【図23】図１８において右側のレールについて仮に設定された位置座標の近傍の他の複数の位置座標のすべてについて作成された線分を示す図である。

【図24】遠方領域において検出が完了した位置座標を示す図である。

【図25】遠方領域において、図２４の位置座標の次に検出された他の位置座標を示す図である。

【発明を実施するための形態】

【0016】

図１は、本発明にもとづき撮像された鉄道レールの画像の例を示す。この図１の例は、レール上を走行する車両の前部に設置された撮像装置としてのカメラにより撮像されたものであるが、画像による鉄道レールの検出装置としての画像処理装置を用いた画像処理によって、この画像を、カメラに近い位置の近傍領域１１と、近傍領域１１よりもカメラから遠い位置の遠方領域１２とに分けたものである。近傍領域１１は画像における下側の部分を占め、遠方領域１２は、画像における近傍領域１１よりも上側の部分を占めている。両者の分け方は適宜でよく、たとえば画像における下端から１／３までの領域を近傍領域１１とし、それよりも上側の領域を遠方領域１２とすることができる。この画像において、１３Ｌは左側のレール、１３Ｒは右側のレールである。各レール１３Ｌ、１３Ｒに記された複数の丸印は、それぞれが画像の近傍領域１１および遠方領域１２における座標点１４を示し、これらの座標点１４を決定することで画像におけるレール１３Ｌ、１３Ｒの位置が検出される。

【0017】

以下、本発明にもとづき各座標点１４を画像処理によって決定する手法を詳細に説明する。

【0018】

図２は、本発明の実施の形態の、画像による鉄道レールの検出方法のフローを示す。ここでは、まずステップＳ２１において、カメラによりレールを撮影してその画像を取り込む。取り込んだ画像がカラー画像であった場合には、ステップＳ２２において、公知の手法によってそれをグレー画像に変換する。その後の画像処理を容易に行うためである。

【0019】

次に、ステップＳ２３では、必要に応じて、取り込んだ画像のうち、レール１３Ｌ、１３Ｒが写っている部分およびその近傍のみを抽出する。すなわち、画像処理の効率化のために、得られた画像のうちから処理領域の限定を行う。図３は得られた画像の例を示し、図４は、処理領域の限定を行った後の画像を示す。図４において、１５は、レールおよびその近傍には該当しない部分、すなわち限定対象から除外された部分を示す。限定すべき処理領域は、パラメータによって変更可能である。図２のステップＳ２４では、必要に応じて、グレー画像からノイズを除去するための平滑化処理を行う。具体的には、メディアンフィルタ処理などを実施することができる。メディアンフィルタは、画像のエッジ部分を残したままノイズ除去を行うことができるという特徴を有する。なお、上記のようにステップＳ２３、Ｓ２４は必要に応じて実施すれば足り、必要がなければ実施しなくても良い場合もある。また、ステップＳ２３とＳ２４とは、逆の順序で実施することもできる。

【0020】

ステップＳ２５では、上述の近傍領域１１について、レールの検出処理を行う、その詳細は後述する。続いて、ステップＳ２６では、上述の遠方領域１２について、レールの検出処理を行う、その詳細も後述する。近傍領域１１と遠方領域１２とについてレールの検出処理が終了したなら、ステップＳ２７において、その検出結果を表示する。前述した図１は、その検出結果の一例である。
本発明は、以下に示す鉄道レールの特徴に着目したものである。すなわち、
（イ）左右のレールの間隔は一定である。
（ロ）直線であったレールが急に曲がるなどの、急激なレール形状の変化はない。
（ハ）レールの位置が劇的に変化することもない。
（ニ）カメラから遠い領域すなわち遠方領域１２のレールが直線状であっても、カーブ状であっても、カメラから近い領域すなわち近傍領域１１では、レールの敷設形態はほとんど変わらない。つまり、図５（ａ）は遠方領域が直線状である線路の画像の例を示し、図５（ｂ）はその近傍領域の拡大図である。また図６（ａ）は遠方領域がカーブ状である線路の画像の例を示し、図６（ｂ）はその近傍領域の拡大図である。図５（ｂ）と図６（ｂ）とを対比すると、両者においてレールの敷設形態がほとんど変わらないことを理解できる。

【0021】

（ホ）撮影により得られた画像について、近傍領域で検出されたレール位置のすぐ上側における局所領域を探索すれば、遠方領域におけるレールの存在範囲を推定できる。
（ヘ）撮影により得られた画像において、レールは、カメラから遠くなるほどレール間隔が狭くなる。
（ト）カーブしている線路も局所的に見れば直線とみなすことができる。

【0022】

以上の観点から、本発明においては、レール検出のための画像処理工程の効率化を図るために、上述のように撮影により得られた画像を、上述のように近傍領域１１と遠方領域１２とに分けて処理を行う。また、上記した（イ）～（ト）の鉄道レールの特徴のうち、少なくともいずれかを用いて、処理を行う。

【0023】

以下、図２においてステップＳ２５として示される、近傍領域におけるレールの検出処理について詳細に説明する。図７は、同処理のフローを示す。ステップＳ７１では、左右のレール１３Ｌ、１３Ｒを検出するために、パターンマッチングの手法を実施する。

【0024】

次に、ステップＳ７２では、右側レール１３Ｒのマッチング結果データと、左側レール１３Ｌのマッチング結果データとを比較して、各要素ごとの最大値データを取得する。ステップＳ７３では、上記した鉄道レールの特徴を考慮して左右のレール１３Ｌ、１３Ｒの位置関係をあらかじめ用意しておき、この用意されていた左右のレールの位置関係を利用して、複数点たとえば６点での合計値が最大値となる位置を探索する。そして、ステップＳ７４では、探索で決定した位置と左右のレールの位置関係とから、画像の最下部における左右のレールの位置をそれぞれ算出する。その結果、ステップＳ７５において、近傍領域における左右のレールの位置を表す複数点、たとえば８点の座標が決定される（第１の複数の座標）。

【0025】

図７に示すフローを詳細に説明する。ステップＳ７１については、図８に示す、近傍領域１１のためのテンプレート画像を用いて、パターンマッチングの手法により左右のレールを検出することが可能である。たとえば、図８に示されるテンプレート画像は、横１７５画素×縦１３０画素のテンプレートパターンによるものである。

【0026】

一方、本発明においては、もう少し簡易な手法を採用することもできる。すなわち、上記の（ニ）で説明したように、カメラから遠い領域すなわち遠方領域のレールが直線状であっても、カーブ状であっても、カメラから近い領域すなわち近傍領域では、レールの敷設形態はほとんど変わらない。また、上記の（イ）で説明したように、左右のレールの間隔は一定である。また、（ロ）（ハ）（ト）の特徴も加味することができる。これによって、局所的な領域においては、左右のレールは、図９（ａ）（ｂ）に示すようなそれぞれ一つずつのテンプレートパターンで表すことができる。図９（ａ）は左側レール用のテンプレートパターンであり、図９（ｂ）は右側レール用のテンプレートパターンである。図９（ａ）（ｂ）に示すテンプレートパターンは、それぞれ、横１１画素×縦１１画素のものである。すなわち、このように画素数の少ないテンプレートパターンを用いただけで、パターンマッチングの手法により左右のレールを検出することができる。

【0027】

テンプレートと重なった画像領域を比較する計算式（正規化相互相関）は、以下の通りである。
T'(x',y') = T(x',y') - 1/(w・h)・sumx",y"T(x",y")
I'(x+x',y+y') = I(x+x',y+y') - 1/(w・h)・sumx",y"I(x+x",y+y")
R(x,y) = sumx',y'[T'(x',y')・I'(x+x',y+y')]/sqrt[sumx',y'T'(x',y')2・
sumx',y'I'(x+x',y+y')2]

【0028】

図１０は、左側レールについてのマッチング演算結果のデータ画像の例を示し、図１１は、右側レールについてのマッチング演算結果のデータ画像の例を示す。これらのデータ画像においては、輝度値が大きいほど、すなわち白いほど、テンプレートパターンに近いことを意味する。レールに該当する部分は輝度が比較的高い。レールに該当する部分以外の部分で白っぽくなっている部分は、砂利の存在にもとづく影響を受けたものである。

【0029】

次に、図７のステップＳ７２においては、図１０に示す左側レールについてのマッチング演算結果のデータと図１１に示す右側レールについてのマッチング演算結果のデータとを比較し、値の大きい画素を用いて合成画像を生成する。図１２は、このようにして得られた、最大値データの画像を示す。

【0030】

続いて、図７のステップＳ７３において、上記した鉄道レールの各特徴にもとづく左右のレールの位置関係を考慮した、レール位置の探索を行う。詳細には、図１３に示すように、左右のレールの位置関係をあらかじめパラメータとして用意しておく。すなわち、図１３に示すように、画像上においては左右のレール１３Ｌ、１３Ｒはハの字形の形状を呈する。そして、図１３に示すように、互いに距離をおいた３本の直線Ｌｉｎｅ１、Ｌｉｎｅ２、Ｌｉｎｅ３を、レールを横切る方向に引く。また、画像における一番下側の直線Ｌｉｎｅ３と左側レールとの交点Ｐを規準として、各直線Ｌｉｎｅ１、Ｌｉｎｅ２、Ｌｉｎｅ３上において、左のレール１３Ｌに対応した点Ｐを含む３点と、右のレール１３Ｒに対応した他の３点との、合計６点の、位置関係を示すパラメータをあらかじめ用意しておく。

【0031】

そして、図１４に示すように、図１２に示す最大値データの画像に設定した３本の直線Ｌｉｎｅ１、Ｌｉｎｅ２、Ｌｉｎｅ３に沿って、上記のパラメータを横方向にスキャンしながら、それらのパラメータに対応する６点の画素についての値の合計値を求める。そのとき、同合計値が最大となる位置を、画像中の近傍領域におけるレールの位置であると判定する。 なお、上記レールの位置と判定する条件として、６点の画素の値の合計値が最大となる位置をレールの位置であると判定したが、これに限定されず、例えば、任意の点数で、合計値が所定範囲内のもの、所定の輝度分布などにより、レールの位置を判定しても良い。

【0032】

図１５は、上記のパラメータにてレールを探索した結果における画像上の位置座標Ｌ１Ｌ、Ｌ２Ｌ、Ｌ３Ｌ、Ｌ１Ｒ、Ｌ２Ｒ、Ｌ３Ｒを示す。

【0033】

これまでに図示した画像は、線路が平坦に敷設された部分についてのものである。これに対し、線路が登り勾配や下り勾配の状態で敷設されている場合には、画像における左右のレール間隔が変化する（例えば、±４画素程度）。そこで、上記した基準となる６点のパターンでのレール探索に加え、左右１画素ずつ広げた６点、左右２画素ずつ広げた６点、左右１画素ずつ狭めた６点、左右２画素ずつ狭めた６点の、合計５パターンの左右のレールの位置関係から、上記のように合計値が最も大きな値となる位置を探索することで、画像中の近傍領域におけるレールの位置の検出精度を向上させることができる。

【0034】

さらに、画像中の近傍領域においては、図１に示すように、上記した６点の位置座標のほかに、画像におけるもっとも下の部分での一対の位置座標Ｌ４Ｌ、Ｌ４Ｒを、たとえば４つの位置座標Ｌ１Ｌ、Ｌ３Ｌ、Ｌ１Ｒ、Ｌ３Ｒを使って算出する。これによって、近傍領域におけるレールの検出が完了する。

【0035】

次に、図１に示される遠方領域１２についてのレールの検出処理（図２におけるステップＳ２６）の詳細について説明する。この遠方領域１２についてのレールの検出処理に関しては、前掲の鉄道レールの特徴の（ホ）～（ト）のうちの少なくともいずれかを主に利用する。これらを念のために再び記載すると以下の通りである。

【0036】

（ホ）撮影により得られた画像について、近傍領域で検出されたレール位置のすぐ上側における局所領域を探索すれば、遠方領域におけるレールの存在範囲を推定できる。
（ヘ）撮影により得られた画像において、レールは、カメラから遠くなるほどレール間隔が狭くなる。
（ト）カーブしている線路も局所的に見れば直線とみなすことができる。

【0037】

以上の特徴を利用して遠方領域１２におけるレールの検出処理を行う。この検出処理は図２においてステップＳ２６として示されるものであるが、その詳細を図１６に示す。まず、ステップＳ１６０１では、図１に示される画像のうちの遠方領域１２を、レールの長手方向に沿って複数の小領域に分割する。次にステップＳ１６０２では、各小領域を、横方向に複数の画素領域に分割する。ステップＳ１６０３では、上述の近傍領域の探索により得た複数の位置の座標を結ぶ直線の式を作成する。そしてステップＳ１６０４では、ステップＳ１６０３で作成した直線を遠方領域１２における一つの小領域に、好ましくは最も近傍領域に近い一つの小領域に延長し、この小領域において、延長線上の任意の点の位置座標を設定する（第２の複数の座標）。ステップＳ１６０５では、ステップＳ１６０４において設定した位置座標を基準として、延長線上にある座標と交差する方向に複数画素の座標を設定する（第３の座標）。延長線上にある座標と交差する方向は、特に延長線に対して直角に交差していれば、レールが曲線の場合に精度良く検出できる。次のステップＳ１６０６では、ステップＳ１６０５で設定した画素のそれぞれと、延長線上における上記の位置座標よりも近傍領域側の点とを、それぞれ直線で連結する。この直線は複数の画素で構成される。ステップＳ１６０７では、ステップＳ１６０６で得られた各直線の輝度（特徴量）を探索し、左右のレールの輝度の合計が最小となる輝度の組み合わせに対応する左右の位置座標を決定する。そして、この決定された位置座標の画素にレールの画像が存在すると判定する。続いて、ステップＳ１６０８において、遠方領域１２における他の複数または単数の小領域について同様の処理を繰り返して実施することで、遠方領域１２におけるレールの位置が求められる。ここで、上記特徴量は、レールおよびレール付近の座標の輝度分布、輝度の合計値などであり、上記では左右のレールの輝度の合計が最小となる輝度の組み合わせに対応する左右の位置座標を決定したが、これに限らず、例えば、レールの輝度の合計が所定範囲内または、所定の輝度分布の組み合わせに対応する左右の位置座標を決定するものでも良い。

【0038】

以下において、遠方領域１２におけるレールの検出処理の詳細を説明する。まず、上記した（ヘ）の特徴から、図１７に示すように、レールの画像における遠方領域１２をレールの長手方向に沿って複数の小領域に分割する。すると、手前側の領域の方がレールの間隔は広く、奥側に向かうにつれてレールの間隔は狭くなる。そこで、それに対応して、図示の例では遠方領域１２を３つの小領域に分割している。そして、比較的レールの間隔が広い手前側の小領域では、レールの間隔方向すなわち横方向に、２０画素単位に分割している。次の中間の小領域では、横方向に１５画素単位に分割している。奥側のレールの間隔が狭くなった小領域では、横方向に１０画素単位に分割している。なお、上記した分割の数は例示であり、他の数の画素単位に分割することもできる。

【0039】

詳細には、上記した（ホ）（ト）の特徴を利用して、次の手順で遠方領域１２のレールを探索する。すなわち、まず、図１８に示すように、近傍領域１１の探索により得た、左右のレールについてのそれぞれ複数の位置座標を用い、左右の各レールについてのこれらの複数の位置座標から、たとえば図示のように位置座標Ｌ１Ｌ、Ｌ２ＬおよびＬ１Ｒ、Ｌ２Ｒから、これらの位置座標を結ぶ直線の式をそれぞれ求める。そして、これらの直線を遠方領域１２の方へ延長し、その延長線上における近傍領域１１に近い任意の点の位置座標Ｌ５Ｌ、Ｌ５Ｒを設定する。つまり、これらの位置座標Ｌ５Ｌ、Ｌ５Ｒは、上述した横方向に２０画素単位に分割した小領域に存在している。

【0040】

そして、たとえば左側のレールでは、図１９に示すように、Ｌ５Ｌの位置座標を基準に、延長線上にある座標と交差する方向に±１０画素についての座標を求める。

【0041】

次に、図２０に示すように、位置座標Ｌ１Ｌと位置座標Ｌ５Ｌ（ｘ－１０，ｙ）との間に直線を引き、その直線上の画素位置の座標についてここでは２０点（Ｐ１～Ｐ２０）を、公知の線分発生アルゴリズムなどを用いて求める。このような線分発生アルゴリズムとして、たとえばＢｒｅｓｅｎｈａｍの線分発生アルゴリズムを例示することができる。画像における線分の例を図２１に示す。

【0042】

さらに、平滑化画像上の上記した画素位置座標２０点（Ｐ１～Ｐ２０）と、各画素位置座標の横方向の±３画素とを対象に、以下の式で輝度値の差の絶対値の合計（Ｌ５Ｌ（ｘ－１０，ｙ）ｓ）を求める。

【0043】

【数1】

【0044】

上式において、「Ｐｉ（〇，〇）Ｉ」は、対象位置座標の画素の輝度値を表す。また上式は、７画素の幅で左右にエッジを持った直線ほど上記の合計値が小さくなることを意味している。

【0045】

これにより、位置座標Ｌ１Ｌと位置座標Ｌ５Ｌ（ｘ－１０，ｙ）との間に直線を引いて行う演算処理が終了する。以下、位置座標Ｌ５Ｌ（ｘ－９，ｙ）～Ｌ５Ｌ（ｘ＋１０，ｙ）についても同様の処理を行う。これによって、左側のレールに関し、図２２に示す画像における逆三角形状のレール探索範囲のすべてについて、演算処理が終了する。次に、右側のレールについても、同様の処理を行う。図２３は、右側のレールについての、画像における同様の逆三角形状のレール探索範囲を示す。演算結果は、演算処理装置のメモリに格納する。

【0046】

続いて、左側レールの探索でメモリに格納したＬ５Ｌの各位置座標およびその演算結果と、右側レールの探索でメモリ格納したＬ５Ｒの各位置座標およびその演算結果とを基に、左側レールのＬ５Ｌ（ｘ－１０,ｙ）～Ｌ５Ｌ（ｘ＋１０,ｙ）の範囲の位置座標と、右側レールのＬ５Ｒ（ｘ－１０,ｙ）～Ｌ５Ｒ（ｘ＋１０,ｙ）の範囲の位置座標との全ての組み合わせについて、左側レールと右側レールの演算結果を加算する。そして、加算結果が最小となる組み合わせを調べる。

【0047】

ただし、このときに、上記した「カメラから見える鉄道レールは、カメラから遠くなるほどレール幅は狭くなる」という特徴から、組み合わせた左側レールと右側レールの位置座標どうしの間隔が、既にレール位置座標として決定されているＬ１ＬとＬ１Ｒとの位置座標（１つ前の処理で決定された位置座標）どうしの間隔よりも広くなる場合は、その組み合わせを、加算結果が最小となる組み合わせを調べるときの対象から除外することができる。こうすることで、演算回数を削減することができる。ここで、既にレール位置座標として決定されているＬ１ＬとＬ１Ｒとの位置座標どうしの間隔よりも広くなる場合とは、（ｉ）Ｌ１ＬとＬ１Ｒとの位置座標どうしの間隔から設定値を引いた間隔よりも広くなる組み合わせの場合や、（ｉｉ）一定の設定値（閾値）よりも間隔が広くなる場合等のことを言う。なお、ここに言う「閾値」の例として、近傍領域における間隔の最大値などを挙げることができる。

【0048】

以上の処理で、左側レールと右側レールの加算結果が最小となった組み合わせにおける、左側レールの位置座標Ｌ５Ｌと、右側レールの位置座標Ｌ５Ｒとを決定する。画像におけるこれらの位置座標の座標点のプロット例を図２４に示す。

【0049】

以降の処理は、１つ前に決定された左右のレール位置座標（ここではＬ５ＬおよびＬ５Ｒ）と、さらに１つ前に決定された左右のレール位置座標（ここではＬ１ＬおよびＬ１Ｒ）とから、左右それぞれ、直線の式を求め、その延長線上の点（図２５に示すＬ６ＬおよびＬ６Ｒ）の位置座標を求め、上記と同様に処理を行うことで、左側レールの位置座標（ここではＬ６Ｌ）と右側レール位置座標（ここではＬ６Ｒ）とを決定する。

【0050】

また、１つ前に決定された左右のレール位置座標と、さらに１つ前に決定された左右のレール位置座標とを使って、上記と同様に処理しながら、遠方領域の鉄道レールを探索する。このとき、遠方（カメラから遠くなる）ほど、画像上のレールの間隔が狭くなるため、１０画素単位で分割した領域での処理の際に使用した上述のＬ５Ｌ（ｘ－１０,ｙ）Ｓの式は、それに代えて、次の式を使用する方が効率的となる。

【0051】

【数2】

【0052】

上記式は、５画素の幅で左右にエッジを持った直線ほど値が小さくなることを意味している。

【符号の説明】

【0053】

１１ 近傍領域
１２ 遠方領域
１３Ｌ 左側のレール
１３Ｒ 右側のレール
１４ 座標点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】