特許 6903477 軌道識別装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6903477

(24)【登録日】2021年6月25日

(45)【発行日】2021年7月14日

(54)【発明の名称】軌道識別装置、およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20210701BHJP

   B60L 3/00 20190101ALI20210701BHJP

   B61L 23/00 20060101ALI20210701BHJP

【ＦＩ】

   G06T7/60 200J

   B60L3/00 B

   B61L23/00 A

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2017-84556(P2017-84556)

(22)【出願日】2017年4月21日

(65)【公開番号】特開2018-181254(P2018-181254A)

(43)【公開日】2018年11月15日

【審査請求日】2020年4月8日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】二神 拓也

(72)【発明者】

【氏名】高橋 雄介

(72)【発明者】

【氏名】小林 広幸

(72)【発明者】

【氏名】鴨 雄史

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００２−２４８５（ＪＰ，Ａ）

【文献】 特開２０１４−６２４１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｂ６０Ｌ ３／００

Ｂ６１Ｌ ２３／００

(57)【特許請求の範囲】

【請求項1】

鉄道車両の進行方向を撮像した画像の画素または画素群ごとに鉄道の線路らしさを示す指標を導出する指標導出部と、
前記画像において予め設定された初期エリア内で、前記初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線分を抽出し、線分上における前記指標導出部により導出された指標の評価値が他の線分よりも大きい線分を一つ選択する初期探索部と、
前記初期探索部により選択された線分の上端の位置を最初の基準位置として、画像の上方に向かって拡がる探索領域に含まれる線分の中で指標の評価値が他の線分よりも大きい線分を選択し、前記選択した線分の上端を次の基準位置とすることを繰り返し実行する二次探索部と、
前記初期探索部、および前記二次探索部による処理結果に基づいて、鉄道の線路を導出する線路導出部と、
を備える軌道識別装置。

【請求項2】

前記探索領域は、前記基準位置を要とし、前記画像の上方に向けて扇形に拡がる領域である、
請求項１に記載の軌道識別装置。

【請求項3】

前記初期探索部または前記二次探索部により選択された線分の上端を含む所定の範囲を探索して、前記指標が他の部分よりも大きい特徴位置を特定し、前記基準位置を前記特徴位置に補正する位置探索部を、更に備える、
請求項１または請求項２に記載の軌道識別装置。

【請求項4】

前記所定の範囲は、前記上端を中心として画像横方向に広がる線分領域、または画像縦方向にも幅を持つ矩形領域である、
請求項３に記載の軌道識別装置。

【請求項5】

前記画像を上空から見た画像に変換する変換部を、更に備え、
前記初期探索部および前記二次探索部は、前記変換部により変換された画像において、前記基準位置を設定する、
請求項１から４のうちいずれか１項に記載の軌道識別装置。

【請求項6】

コンピュータに、
鉄道車両の進行方向を撮像した画像の画素または画素群ごとに鉄道の線路らしさを示す指標を導出させ、
前記画像において予め設定された初期エリア内で、前記初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線分を抽出させ、
線分上における前記導出された指標の評価値が他の線分よりも大きい線分を一つ選択させ、
前記選択させた線分の上端の位置を最初の基準位置として、画像の上方に向かって拡がる探索領域に含まれる線分の中で指標の評価値が他の線分よりも大きい線分を選択させ、
前記選択させた線分の上端を次の基準位置とすることを繰り返し実行させ、
前記選択の処理結果に基づいて、鉄道の線路を導出させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、軌道識別装置、およびプログラムに関する。

【背景技術】

【0002】

従来、鉄道の線路の検査や、線路内に存在する障害物を検出することを目的として、画像から線路を検出する装置が知られている。このような装置は、例えば撮像された画像と、予め用意されたテンプレートとをマッチングすることにより線路を検出したり、ステレオカメラにより撮像された画像を用いて、自車両が走行中の線路を検出したりする。しかしながら、従来の装置では、精度良く線路を検出することができない場合があった。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−９１５０６号公報

【特許文献2】特開２０００−３２６０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、より精度よく鉄道の線路を検出することができる軌道識別装置、およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態の軌道識別装置は、指標導出部と、初期探索部と、二次探索部と、線路導出部とを持つ。指標導出部は、鉄道車両の進行方向を撮像した画像の画素または画素群ごとに鉄道の線路らしさを示す指標を導出する。初期探索部は、前記画像において予め設定された初期エリア内で、前記初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線分を抽出し、線分上における前記指標導出部により導出された指標の評価値が他の線分よりも大きい線分を一つ選択する。二次探索部は、前記初期探索部により選択された線分の上端の位置を最初の基準位置として、画像の上方に向かって拡がる探索領域に含まれる線分の中で指標の評価値が他の線分よりも大きい線分を選択し、前記選択した線分の上端を次の基準位置とすることを繰り返し実行する。線路導出部は、前記初期探索部、および前記二次探索部による処理結果に基づいて、鉄道の線路を導出する。

【図面の簡単な説明】

【0006】

【図1】軌道識別装置２０を含む車両システム１の構成図。

【図2】軌道識別装置２０の機能構成図。

【図3】軌道識別装置２０により実行される処理の流れを示すフローチャート。

【図4】撮像部１０により撮像された画像を模式的に示す図。

【図5】図４に示す画像から輝度勾配を求めた結果を示す図。

【図6】輝度勾配が求められた後の鳥瞰画像の一例を示す図。

【図7】初期エリアＡＲ１において複数の線が設定される様子を示す図。

【図8】特徴位置を特定する処理について説明するための図。

【図9】特徴位置に基づいて複数の線を設定する処理を説明するための図。

【図10】位置情報５６の内容を示す図。

【図11】特徴位置がプロットされた元画像を示す図。

【図12】判定領域の一例について説明するための図。

【図13】加工画像を模式的に示す図。

【図14】仮想線の設定について説明するための図。

【図15】線路分布情報６０が反映された元画像の一例を示す図。

【図16】第３の実施形態の軌道識別装置２０Ａの機能構成を示す図。

【図17】初期エリアを設定する処理について説明するための図。

【発明を実施するための形態】

【0007】

以下、実施形態の軌道識別装置、およびプログラムを、図面を参照して説明する。

【0008】

（第１の実施形態）
［構成］
図１は、軌道識別装置２０を含む車両システム１の構成図である。車両システム１は、線路Ｒ上を走行する鉄道車両ＲＶに搭載されるシステムである。車両システム１は、例えば、撮像部１０と、表示部１２と、軌道識別装置２０とを備える。撮像部１０は、鉄道車両ＲＶの運転席などに設けられ、鉄道車両ＲＶの進行方向を撮像する。表示部１２は、各種画像を表示する。

【0009】

図２は、軌道識別装置２０の機能構成図である。軌道識別装置２０は、例えば、画像取得部２２と、指標導出部２４と、画像変換部２６と、初期探索部２８と、二次探索部３０と、位置探索部３２と、レール識別部（線路導出部）３４と、判定領域特定部３６と、注視物監視部３８と、出力制御部４０と、記憶部５０とを備える。画像取得部２２、指標導出部２４、画像変換部２６、初期探索部２８と、二次探索部３０、位置探索部３２、レール識別部３４、判定領域特定部３６、注視物監視部３８、および出力制御部４０のうち、一部または全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが記憶部５０に記憶されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現され、これらの機能部の機能を実現するための回路構成を有してもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0010】

記憶部５０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＤカード等の不揮発性の記憶媒体と、ＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶媒体とによって実現される。記憶部５０は、プロセッサが実行するプログラムや、後述する、初期エリア情報５２、画像変換情報５４、位置情報５６、注視物情報５８等を格納する。

【0011】

画像取得部２２は、撮像部１０により撮像された画像を取得する。取得される画像は、例えばカラー画像である。指標導出部２４は、例えば、カラー画像をグレースケール画像や二値化画像に変換して、変換した画像の画素ごとに、鉄道の線路らしさを示す指標を導出する。この結果、画素に対して指標が対応付けられた指標画像が得られる。また、これに代えて、指標導出部２４は、所定数の画素をグループ化した画素群ごとに鉄道の線路らしさを示す指標を導出してもよい。画像変換部２６は、指標導出部２４により生成された指標画像を上空から見た鳥瞰画像に変換する。

【0012】

初期探索部２８は、指標画像から変換された鳥瞰画像において予め設定された初期エリア内で、初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線分を網羅的に抽出する。「線」とは、画素または画素をグループ化した画素群が所定の方向に連なった領域である。初期探索部２８は、線上における指標導出部２４により導出された指標の評価値が他の線分よりも大きい線分を一つ選択する。評価値とは、線路らしさを示す値である。例えば、評価値が高い程、その評価値に対応する線分は線路である確率が高い。評価値は、指標の平均値であってもよいし、所定の評価関数を用いて指標を処理した値であってもよい。以下の説明では、一例として、評価値は、指標の平均値であるものとして説明する。

【0013】

二次探索部３０は、初期探索部２８により選択された線分の上端の位置を最初の基準位置として、画像の上方に向かって拡がる探索領域に含まれる線分の中で指標の評価値が他の線分よりも大きい線分を選択し、選択した線分の上端を次の基準位置とすることを繰り返し実行する。画像の上方に向かって拡がる探索領域とは、例えば、基準位置（または特徴位置）を要とする扇型の形状をなす領域である。

【0014】

位置探索部３２は、初期探索部２８または二次探索部３０により選択された線分の上端を含む所定の範囲を探索して、指標が他の部分よりも大きい特徴位置を特定し、基準位置を特徴位置に補正する。

【0015】

レール識別部３４は、初期探索部２８および二次探索部３０による処理結果に基づいて、鉄道の線路を導出する。具体的には、レール識別部３４は、位置探索部３２により特定された特徴位置を連ねた線を鉄道の線路として導出する。

【0016】

判定領域特定部３６は、レール識別部３４により導出された線路の情報に基づいて、画像上において判定領域（詳細は後述）を特定する。注視物監視部３８は、判定領域内において、注視物が存在するか否かを判定する。出力制御部４０は、注視物監視部３８により判定領域内において注視物が存在すると判定された場合、注視物が存在することを示す情報を撮像部１０により撮像された画像に対応付けて、表示部１２にその画像を表示させる。

【0017】

［処理フロー］
以下、上述した各機能部の処理について、フローチャートを参照しながら説明する。図３は、軌道識別装置２０により実行される処理の流れを示すフローチャートである。

【0018】

まず、画像取得部２２が、撮像部１０により撮像された画像（元画像）を取得する（ステップＳ１００）。次に、指標導出部２４が、ステップＳ１００で取得された画像に基づいて、指標を導出する（ステップＳ１０２）。指標とは、鉄道の線路らしさを示す尺度であって、例えば着目する画素における隣接画素との間の輝度勾配に基づいて導出される指標である。また、指標は、ＳＯＢＥＬフィルタや、Ｌａｐｌａｃｉａｎフィルタ、Ｒｏｂｉｎｓｏｎフィルタ、Ｃａｎｎｙフィルタ等によって導出されてもよい。

【0019】

図４は、撮像部１０により撮像された画像を模式的に示す図である。なお、以下の説明では、撮像部１０により撮像された画像または画像変換部２６により変換された画像の上方向を上端側Ｕ、下方向を下端側Ｌ、右方向を右端側Ｒｉ、左方向を左端側Ｌｅと定義する。

【0020】

図５は、図４に示す画像から輝度勾配を求めた結果を示す図である。線路は、例えば鋼などの材質で形成されており、鋼は、線路の周辺に敷き詰められた石（バラスト）に比して光の反射率が低いため、線路部分に対応する画素と、その周辺の画素との輝度差が大きくなる。この結果、図５に示すように線路部分に対応する領域では、輝度勾配が大きくなる。

【0021】

次に、画像変換部２６は、画像変換情報５４を参照して、ステップＳ１００で取得された元画像を鳥瞰画像に変換する（ステップＳ１０４）。元画像における指標は、その指標が導出された位置に対応する鳥瞰画像における位置に付与される。画像変換情報５４は、撮像部１０により撮像された元画像を、鳥瞰画像に変換するための予め設定された変換規則を示す情報である。画像変換情報５４は、元画像の画素に対して鳥瞰画像の画素を対応付けたマップであってもよいし、元画像における座標を入力すると鳥瞰画像における座標を出力する関数であってもよい。図６は、輝度勾配が求められた後の鳥瞰画像の一例を示す図である。図６の詳細な説明は後述する。

【0022】

次に、初期探索部２８は、記憶部５０に記憶された初期エリア情報５２を参照して（ステップＳ１０６）、鳥瞰画像おいて初期エリアの上端の任意の一箇所と下端の任意の一箇所とを結ぶ複数の線を設定する（ステップＳ１０８）。初期エリア情報５２は、鳥瞰画像において予め設定された領域であって、鉄道車両ＲＶが走行する線路を含み、且つ鳥瞰画像の下端側Ｌに位置する領域の範囲を示す情報である。初期エリア情報５２は、例えば、鉄道車両ＲＶの撮像部１０が取り付けられた位置、および取り付けられた位置から撮像部１０が撮像する領域に基づいて予め求められている。前述した図６の例では、右端側Ｒｉの線路Ｒ１を含む初期エリアＡＲ１と、左端側Ｌｅの線路Ｒ２を含む初期エリアＡＲ２とが、初期エリアに相当する。

【0023】

図７は、初期エリアＡＲ１において複数の線が設定される様子を示す図である。図７において、初期エリアＡＲ１の上端側Ｕの画素ＰＵ１〜ＰＵｎのうち任意の一箇所と、初期エリアＡＲ１の下端側Ｌの画素ＰＬ１〜ＰＬｎのうち任意の一箇所とを結ぶ複数の線を網羅的に設定する（「ｎ」は任意の自然数である）。なお、図示する例では、画素ＰＬ１と、ＰＵ１〜ＰＵｎのそれぞれを結んだ場合を示しているが、ステップＳ１０８の処理では、画素ＰＬ１〜ＰＬｎのそれぞれと、ＰＵ１〜ＰＵｎのそれぞれとを網羅的に結んだ線を設定する。また、初期エリアＡＲ２においても同様の処理が行われる。

【0024】

次に、初期探索部２８は、初期エリアＡＲ１およびＡＲ２において、設定した線に含まれる指標の平均値が他の線に含まれる指標値よりも大きい線をそれぞれ一つ選択する（ステップＳ１１０）。より具体的には、初期探索部２８は、画像変換情報５４を参照して、鳥瞰画像における複数の線に含まれる画素に対応する指標に基づいて、指標の平均値が最も大きい線を選択する。本処理により、前述した図６の画像の線路Ｒ１およびＲ２に対応する画素を連ねた線に近似する線が選択される。

【0025】

次に、位置探索部３２は、初期探索部２８により選択された線の上端（基準位置）を含む鳥瞰画像の所定の範囲を探索して、指標が他の部分よりも最も大きい特徴位置を特定し、基準位置を特徴位置に補正する（ステップＳ１１２）。所定の範囲とは、位置探索部３２により特定された基準位置から左右方向に所定の幅を持つ線分領域である。なお、所定の範囲は、位置探索部３２により特定された基準位置から縦方向にも幅を持たせて矩形領域としてもよい。また、特定された特徴位置の情報（座標）は、後述する位置情報５６として記憶部５０に記憶される。

【0026】

図８は、特徴位置を特定する処理について説明するための図である。図７と同様の説明については省略する。例えば、初期探索部２８は、ステップＳ１１０の処理において初期エリアＡＲ１に含まれる画素ＰＬ１０と、画素ＰＵ１０とを結ぶ線を、指標の平均値が最も大きい線として選択したものとする。この場合、位置探索部３２は、画素ＰＵ１０、画素ＰＵ１０の左右方向に延在する画素ＰＵ７〜ＰＵ９、および画素ＰＵ１１〜ＰＵ１３のそれぞれの指標を比較して、例えば最も指標が最も大きい画素を特徴位置として選択する。本実施形態では、画素ＰＵ１１が特徴位置として選択されたものとする。

【0027】

次に、二次探索部３０が、鳥瞰画像において、位置探索部３２により特定された特徴位置に基づいて、扇形の領域に複数の線を設定する（ステップＳ１１４）。図９は、特徴位置に基づいて複数の線を設定する処理を説明するための図である。例えば、二次探索部３０は、図９（Ａ）に示すように位置探索部３２により特定された特徴位置ＰＵ１１に基づいて、扇形の領域を設定する。扇形の領域とは、初期探索部２８により選択された線Ｌを中心にし、且つ位置探索部３２により特定された特徴位置ＰＵ１１を起点として、右端側Ｒｉおよび左端側Ｌｅになす角度θで上端側Ｕ方向に延在させた仮想線ＶＲおよびＶＬで区画された領域である。

【0028】

なお、角度θは、予め設定された角度であって、例えば、鉄道の線路の規格等で規定された最大曲率の範囲をカバーする（受け持つ）ことができる角度である。また、仮想線ＶＲおよびＶＬの長さは、予め設定された長さである。そして、二次探索部３０は、図９（Ｂ）に示すように扇形の領域の上端の任意の一箇所と特徴位置ＰＵ１１を網羅的に結ぶ複数の線を設定する。なお、二次探索部３０は、初期エリアＡＲ２において特定された特徴位置に基づいて、上述した処理と同様の処理を行う。

【0029】

次に、二次探索部３０は、設定した複数の線の中で指標の平均値が他の線よりも最も大きい線を選択する（ステップＳ１１６）。より具体的には、二次探索部３０は、画像変換情報５４を参照して、鳥瞰画像における複数の線に含まれる画素に対応する指標に基づいて、指標の平均値が他の線よりも最も大きい線を選択する。

【0030】

次に、位置探索部３２は、二次探索部３０により選択された線の上端（基準位置）を含む鳥瞰画像の所定の範囲を探索して、指標が他の部分よりも最も大きい特徴位置を特定し、基準位置を特徴位置に補正する（ステップＳ１１８）。

【0031】

次に、位置探索部３２は、終了条件を満たすか否かを判定する（ステップＳ１２０）。終了条件とは、初期エリアＡＲ１および初期エリアＡＲ２を起点に特定された２つの基準位置（または特徴位置）の間隔が閾値以下となったこと、位置探索部３２によって行われた基準位置を特定する処理が所定回数行われたこと、位置探索部３２により特定された基準位置が鳥瞰画像において所定の位置より上端側に位置したこと、などである。

【0032】

終了条件を満たさない場合、ステップＳ１１４〜Ｓ１１８の処理を繰り返す。この場合、二次探索部３０は、ステップＳ１１８で特定された特徴位置に基づいて、ステップＳ１１４で複数の線を設定する。このように、ステップＳ１１４〜Ｓ１１８の処理が繰り返されることにより、上端側Ｕに向かって特徴位置が所定の間隔で設定される。

【0033】

前述した図６について説明する。図示するように初期エリアＡＲ１の特徴位置に基づいて、特徴位置ＣＰｒ１が設定され、特徴位置ＣＰｒ１に基づいて、特徴位置ＣＰｒ２が特定され、・・・特徴位置ＣＰｒ１２が特定される。同様に初期エリアＡＲ２の特徴位置に基づいて、特徴位置ＣＰｌ１が設定され、特徴位置ＣＰｌ１に基づいて、特徴位置ＣＰｌ２が特定され・・・特徴位置ＣＰｌ１２が特定される。

【0034】

また、設定された特徴位置の情報（座標）は、位置情報５６として記憶部５０に記憶される。図１０は、位置情報５６の内容を示す図である。位置情報５６は、位置探索部３２により特定された特徴位置の画像（鳥瞰画像）上の座標を示す情報である。位置情報５６は、例えば、特定された特徴位置の順番に従って並べられている。具体的には、位置情報５６において特徴位置は、初期探索部２８により初期エリア内で選択された線の始点、位置探索部３２により特定された最初の特徴位置、位置探索部３２により特定された２番目の特徴位置・・・位置探索部３２により特定されたＮ（「Ｎ」は任意の自然数）番目の特徴位置の順で並べられている。また、位置情報５６において、位置探索部３２により特定された特徴位置に対して、右端側の特徴位置を示す識別情報、または左端側の特徴位置を示す識別情報が対応付けられている。

【0035】

終了条件を満たす場合、レール識別部３４が、位置情報５６を参照して、位置探索部３２により特定された特徴位置を連ねて線路と推定される領域を特定する（ステップＳ１２２）。具体的には、レール識別部３４は、位置情報５６を参照して、位置探索部３２により特定された特徴位置を元画像にプロットする。図１１は、特徴位置がプロットされた元画像を示す図である。例えば図示するように、位置探索部３２により特定された特徴位置（ＣＰｌ０、ＣＰｒ０（＝ＰＵｒ１０））、位置探索部３２により特定された最初の特徴位置（ＣＰｌ１，ＣＰｒ１）〜Ｎ番目（例えばＣＰｌ２，ＣＰｒ２〜ＣＰｌ６，ＣＰｒ６等）の特徴位置がプロットされる。

【0036】

更に、レール識別部３４は、位置情報５６を参照して、初期エリア内で選択された線の始点（ＰＬ１０、ＰＬ１０＃）と位置探索部３２により特定された最初の特徴位置とを結び、最初の特徴位置と２番目の特徴位置とを結び、・・・Ｎ−１の特徴位置とＮ番目の特徴位置と結ぶ。なお、この処理は、左端側の特徴位置、および右端側の特徴位置に対して行われる。このように処理が行われることにより、線路と推定される領域Ｒ１およびＲ２が特定される。なお、上述した処理では、位置情報５６に含まれる特徴位置の座標は、鳥瞰画像に対応する座標のまま他の機能部や装置に出力されてもよいし、特徴位置は鳥瞰画像にプロットされてもよい。

【0037】

次に、軌道識別装置２０が、線路付近に注視物が存在するか否かを判定し、注視物が存在する場合に警報を表示部１２に表示させる（ステップＳ１２４）。例えば、まず、判定領域特定部３６が、判定領域を特定する。判定領域とは、線路Ｒ１およびＲ２により区画された領域およびその付近の領域であって、注視物が存在することが許容されない領域である。

【0038】

図１２は、判定領域の一例について説明するための図である。判定領域特定部３６は、例えば、元画像上の所定の位置において、レールＲ１およびレールＲ２の横方向に関する間隔の中心である中心線Ｃを特定し、線路Ｒ２から法線方向に中心線Ｃまで延びる線の長さＬＡを特定する。また、判定領域特定部３６は、特定した長さＬＡに基づいて、長さＬＢ（基準長さ）を特定する。長さＬＢは、長さＬＡの左端に対して長さＸＬを加えた長さである。長さＸＬは、例えば、鉄道車両ＲＶが線路を走行する場合に鉄道車両ＲＶが、線路Ｒ２の幅方向からはみ出す長さ、またははみ出す長さに所定の長さを加えた長さである。長さＸＬは、例えば記憶部５０に記憶されている。

【0039】

更に、判定領域特定部３６は、例えば、元画像上において、前回、長さＬＢを求めた位置より上端側においてレールＲ１およびレールＲ２の横方向に関する間隔の中心である中心線Ｃを特定し、線路Ｒ２から法線方向に中心線Ｃまで延びる線の長さＬＡ＃を特定する。また、判定領域特定部３６は、特定した長さＬＡ＃に基づいて、長さＬＢ＃（基準長さ）を特定する。長さＬＡ＃と長さＬＢ＃との比率は、長さＬＡと長さＬＢとの比率と同様である。判定領域特定部３６は、前回、基準長さを求めた位置より上端側Ｕにおいて、元画像において線路が消失する付近まで基準長さを求める。上述した処理は、線路Ｒ１側において同様に行われる。そして、判定領域特定部３６は、基準長さの左端同士を求めた順に結んだ仮想線Ｖ１、および基準長さの右端同士を求めた順に結んだ仮想線Ｖ２で区画された領域を判定領域としてみなす。

【0040】

また、注視物監視部３８は、例えば、注視物情報５８を参照し、且つ指標導出部２４により導出された指標を用いて、元画像における判定領域内において、注視物のテンプレートに合致する画像領域が存在するか否かを判定する。注視物情報５８には、例えば、複数の注視物のテンプレートが記憶されている。合致とは、完全一致に限らず、例えば、画像領域の形状と、注視物のテンプレートに対応付けられた形状とのに類似度が閾値以上であることを含む。なお、注視物監視部３８は、ステレオカメラにより撮像された画像を取得し、取得した画像と注視物情報５８とに基づいて、注視物が存在するか否かを判定してもよい。この場合、注視物情報５８には、注視物の立体的な形状を示すテンプレートが含まれる。

【0041】

出力制御部４０は、注視物監視部３８により判定領域内において注視物が存在すると判定された場合、注視物監視部３８から注視物に相当する画像領域の情報を取得し、取得した画像領域を特定すると共に、特定した画像領域に対して注視物が存在することを示す情報を元画像において対応付ける。そして、出力制御部４０は、上記の処理を行った加工画像を表示部１２に表示させる。図１３は、加工画像を模式的に示す図である。例えば、判定領域内に人が進入している場面が撮像部１０により撮像された場合、表示部１２には、注視物が存在することを示す情報を含む加工画像が表示される。なお、出力制御部４０は、鉄道車両ＲＶに設けられたスピーカ等に警告を出力させてもよい。これにより、鉄道車両ＲＶの乗員は、鉄道車両ＲＶの進行方向に注視物が存在することを認識することができる。そして、乗員は、注視物の存在を考慮して、鉄道車両ＲＶを制御することができる。

【0042】

上述した処理により、軌道識別装置２０は、より精度よく鉄道の線路を検出することができる。また、軌道識別装置２０は、検出した線路内に注視物が存在する場合に、注視物が存在することを示す情報を乗員に通知することができる。

【0043】

また、上述した処理において、ステップＳ１１０、またはステップＳ１１６の処理によって求められる線の傾きの差が基準角度以上となる場合、角度を調整する補正が行われてもよい。これにより、片方の線路（右側或いは左側の線路）に物体が干渉し、線路とは異なる線が選択された場合であっても、他方の線路に基づいて物体が干渉していると推定される線路が補完される。この結果、物体が干渉している線路に近似する領域を画像において特定することができる。

【0044】

また、上述した処理において、初期探索部２８または二次探索部３０は、選択した２つの線の間隔が、線路の間隔に基づいて予め設定された閾値を超える場合、２つの線の間隔が閾値以下になるように調整してもよい。例えば、この場合、初期探索部２８は、例えば２つの線路を均等に互いに近づける。これにより、より精度よく線路を検出することができる。

【0045】

また、上述した処理において、二次探索部３０は、鳥瞰画像において設定された扇形の領域において、設定した複数の線の中から、指標の平均値が他の線よりも最も大きい線を選択することにより、より精度良く基準位置を特定することができる。特に、元画像の上端側Ｕ（すなわち列車から遠い領域）における基準位置を精度良く特定することができる。

【0046】

また、上述した処理において、初期探索部２８または二次探索部３０により選択された線の上端を含む鳥瞰画像の所定の範囲が探索され、指標が他の部分よりも最も大きい特徴位置が特定される。このように、最も指標が最も大きい画素が特徴位置として選択されることにより、ステップＳ１１０またはステップＳ１１６で平均値に基づいて選択された線の先端が実際の線路に対応する画素とは異なる場合であっても、実際の線路に対応する画素に線の先端側を補正することができる。また、実際の線路がカーブしている場合にも、選択された線の先端が補正されることにより、より精度良く線路に対応した位置が特定される。

【0047】

なお、基準位置が特徴位置に補正される処理は省略されてもよい。この場合、位置情報５６には、基準位置の情報が記憶される。そして、線路と推定される領域は、基準位置を結んだ領域となる。また、この場合、探索領域は、基準位置を要とする扇型の形状をなす領域である。

【0048】

また、上述した処理において、二次探索部３０が、複数の線を設定する場合、初期探索部２８または二次探索部３０により選択された線Ｌを中心として、仮想線ＶＲおよびＶＬを設定するものとしたが、これに限られない。例えば、二次探索部３０は、前回よりも前の処理で選択された線を加味して、仮想線ＶＲおよびＶＬを設定してもよい。

【0049】

図１４は、仮想線の設定について説明するための図である。例えば、基準位置ＣＰｒｘ１〜ＣＰｒｘ３が、この順で特定されたものとする。また、基準位置ＣＰｒｘ１に基づいて、複数の線が設定される際に、仮想線が設定される際の基準（中心）となる線Ｌ１と鳥瞰画像の横方向に延在する線とのなす角を角度θ１とする。基準位置ＣＰｒｘ２に基づいて、複数の線が設定される際に、仮想線が設定される際の基準となる線Ｌ２と鳥瞰画像の横方向に延在する線とのなす角を角度θ２とする。また、基準位置ＣＰｒｘ３に基づいて、複数の線が設定される際に、仮想線が設定される際の基準となる線Ｌ３と鳥瞰画像の横方向に延在する線とのなす角を角度θ３とする。この場合に、角度θ３は、式（１）に基づいて、求められる。このように、角度θ３が求められることにより、レールの曲率を反映した複数の線を設定することができ、より確実に線路を探索領域に含めることができる。なお、図中の角度θは、図９で説明した鉄道の線路の規格等で規定された最大曲率の範囲をカバーすることができる角度θである。
θ３＝θ２+（θ２−θ１）…（１）

【0050】

以上説明した第１の実施形態によれば、軌道識別装置２０は、画像において予め設定された初期エリア内で、初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線分を抽出し、線分上における指標導出部２４により導出された鉄道の線路らしさを示す指標の評価値が他の線分よりも大きい線分を一つ選択する初期探索部２８と、初期探索部２８により選択された線分の上端の位置を最初の基準位置として、画像の上方に向かって拡がる探索領域に含まれる線分の中で指標の評価値が他の線分よりも大きい線分を選択し、選択した線分の上端を次の基準位置とすることを繰り返し実行する二次探索部３０と、初期探索部２８、および二次探索部３０による処理結果に基づいて、鉄道の線路を導出するレール識別部３４とを持つことにより、より精度よく鉄道の線路を検出することができる。

【0051】

（第２の実施形態）
第２の実施形態では、単線を特定するものとして説明した。これに対して、第２の実施形態では、複線を特定する。以下、第１の実施形態との相違点を中心に説明する。

【0052】

第２の実施形態の記憶部５０には、例えば、線路分布情報６０が記憶されている。線路分布情報６０は、画像（元画像または鳥瞰画像）上において、線路が存在していると推定される可能性が高い領域を示す情報である。線路分布情報６０は、例えば実験的に求められた情報である。図１５は、線路分布情報６０が反映された元画像の一例を示す図である。図中、領域ＤＡは、線路が存在していると推定される可能性が高い分布領域である。領域ＤＡは、領域ＤＡ１、領域ＤＡ２、および領域Ｄ３を含む。領域ＤＡ１は、鉄道車両ＲＶが走行する左右のレールのうち左側レールが存在する可能性がある分布領域であり、領域ＤＡ２は、鉄道車両ＲＶが走行する左右のレールのうち右側レールが存在する可能性がある分布領域である。また、領域ＤＡ３は、鉄道車両ＲＶが走行する左側または右側のレール、或いは左側および右側レールが存在する可能性がある分布領域である。

【0053】

また、線路分布情報６０には、初期エリアＡＲ＃が対応付けられている。図示する例では、軌道識別装置２０が搭載された鉄道車両ＲＶが走行する線路に対応する領域ＤＡを示しているが、更に、軌道識別装置２０が搭載された鉄道車両ＲＶが走行する線路とは異なる線路（例えば隣接する線路）が存在していると推定される分布領域が、線路分布情報６０には含まれている。

【0054】

初期探索部２８は、初期エリアＡＲ＃内で、初期エリアＡＲ＃の上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線を抽出し、抽出した線に含まれる指標導出部２４により導出された指標の評価値が他の線に含まれる指標の評価値よりも最も大きい線を二つ選択し、線路と推定する。また、初期探索部２８は、軌道識別装置２０が搭載された鉄道車両ＲＶが走行する線路とは異なる線路に対応する初期エリア内で、上述した処理と同様の処理を行って、軌道識別装置２０が搭載された鉄道車両ＲＶが走行する線路とは異なる線路を推定する。そして、初期探索部２８は、推定した二つの線路が所定の条件を満たす場合、推定した線路は線路であると特定する。所定の条件とは、例えば二つの線路のそれぞれの左側（または右側）の線路の鳥瞰画像の横方向に関する間隔が設定された基準（距離の範囲）を満たすことである。

【0055】

以降の処理において、位置探索部３２は、選択された線のそれぞれに対して、第１の実施形態と同様の処理が行い、鉄道車両ＲＶが走行する線路、およびこの線路とは異なる線路に対応する基準位置を設定する。

【0056】

以上説明した第２の実施形態によれば、軌道識別装置２０は、画像において線路ごとに予め設定された初期エリア内で、初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線を抽出し、抽出した線に含まれる指標の評価値が他の線に含まれる指標の評価値よりも最も大きい線を一つ選択し、選択した線のそれぞれに対して、第１の実施形態と同様の処理が行うことにより、複線を特定することができる。

【0057】

（第３の実施形態）
第３の実施形態では、軌道識別装置２０の過去の処理結果を参照して、線路を特定するする。以下、第１の実施形態との相違点を中心に説明する。

【0058】

図１６は、第３の実施形態の軌道識別装置２０Ａの機能構成を示す図である。軌道識別装置２０Ａは、第１実施形態の初期探索部２８、および記憶部５０に代えて、初期探索部２８Ａおよび記憶部５０Ａを備える。記憶部５０Ａには、特定レール情報６２が記憶されている。特定レール情報６２は、過去に特定された基準位置の情報、およびレール識別部３４により特定された線路と推定される領域の情報である。

【0059】

初期探索部２８Ａは、特定レール情報６２を参照して、初期エリアを設定する。図１７は、初期エリアを設定する処理について説明するための図である。初期探索部２８Ａは、特定レール情報６２に含まれる前回、線路と推定した領域Ｒ１およびＲ２を、処理対象の鳥瞰画像上にプロットし、プロットした領域Ｒ１および領域Ｒ２を包含する所定の領域を初期エリアＡＲ＃１として設定する。初期探索部２８Ａは、初期エリアＡＲ＃１内で、初期エリアＡＲ＃１の上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線を抽出し、抽出した線に含まれる指標導出部２４により導出された指標の評価値が他の線に含まれる指標の評価値よりも最も大きい線を一選択する。そして、軌道識別装置２０Ａは、第１の実施形態と同様に基準位置を特定して、線路と推定される領域を特定する。

【0060】

以上説明した第３の実施形態によれば、軌道識別装置２０は、特定レール情報６２に含まれる前回、線路と推定した領域Ｒ１およびＲ２を参照して、初期エリアＡＲ＃１を決定することにより、第１の実施形態と同様の効果を奏することができる。

【0061】

以上説明した少なくともひとつの実施形態によれば、鉄道車両の進行方向を撮像した画像の画素または画素群ごとに鉄道の線路らしさを示す指標を導出する指標導出部と、前記画像において予め設定された初期エリア内で、前記初期エリアの上端の任意の一箇所と下端の任意の一箇所を結ぶ複数の線分を抽出し、線分上における前記指標導出部により導出された指標の評価値が他の線分よりも大きい線分を一つ選択する初期探索部と、前記初期探索部により選択された線分の上端の位置を最初の基準位置として、画像の上方に向かって拡がる探索領域に含まれる線分の中で指標の評価値が他の線分よりも大きい線分を選択し、前記選択した線分の上端を次の基準位置とすることを繰り返し実行する二次探索部と、前記初期探索部、および前記二次探索部による処理結果に基づいて、鉄道の線路を導出するレール識別部とを持つことにより、より精度よく鉄道の線路を検出することができる。

【0062】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0063】

１…車両システム、１０…撮像部、２０…軌道識別装置、２２…画像取得部、２４…指標導出部、２６…画像変換部、２８…初期探索部、３０…二次探索部、３２…位置探索部、３４…レール識別部（線路導出部）、ＲＶ…鉄道車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】