特許 7502025 カメラ自動検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】カメラ自動検査システム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20240611BHJP

   G06T 7/593 20170101ALI20240611BHJP

   G06T 7/00 20170101ALI20240611BHJP

   H04N 7/18 20060101ALI20240611BHJP

   H04N 17/00 20060101ALI20240611BHJP

   B61L 23/00 20060101ALI20240611BHJP

   B60L 3/00 20190101ALI20240611BHJP

【ＦＩ】

G06T7/80

G06T7/593

G06T7/00 650Z

H04N7/18 J

H04N17/00 L

B61L23/00 A

B60L3/00 N

【請求項の数】 3

(21)【出願番号】P 2019231695

(22)【出願日】2019-12-23

(65)【公開番号】P2021099707

(43)【公開日】2021-07-01

【審査請求日】2022-10-05

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(72)【発明者】

【氏名】高橋 雄介

(72)【発明者】

【氏名】小林 広幸

(72)【発明者】

【氏名】瀬戸 直人

(72)【発明者】

【氏名】山崎 世支明

(72)【発明者】

【氏名】堀江 勝大

(72)【発明者】

【氏名】二神 拓也

(72)【発明者】

【氏名】服部 陽平

(72)【発明者】

【氏名】伊藤 博章

(72)【発明者】

【氏名】加藤 紀康

(72)【発明者】

【氏名】堀口 和俊

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２００８－３０４２４８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７９２８１（ＷＯ，Ａ１）

【文献】特開２０１７－０３２３５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／８０

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １７／００

Ｂ６１Ｌ ２３／００

Ｂ６０Ｌ ３／００

(57)【特許請求の範囲】

【請求項1】

鉄道車両に搭載された撮像部であって、鉄道車両が走行する軌道の周辺に設けられた標識を第１および第２視点で撮像する撮像部と、
前記第１視点における前記標識の第１画像と前記第２視点における該標識の第２画像との視差を求め、前記第１画像と前記第２画像との視差に基づいて前記鉄道車両と前記標識との間の第１距離を算出し、前記標識の大きさおよび／または位置に関する既知の属性情報と前記第１または第２画像上における前記属性情報の長さとに基づいて前記鉄道車両と前記標識との間の第２距離を算出し、前記第１距離と前記第２距離との差が閾値よりも大きいか否かを判断する演算処理部、
前記属性情報を格納する記憶部と、を備え、
複数の前記標識が設けられており、前記属性情報は前記複数の標識間の距離である、カメラ検査システム。

【請求項2】

前記演算処理部は、前記第１距離を、式１を用いて算出する、
Ｚ１＝ｆ×Ｂ／Ｄ （式１）
ここで、Ｚ１は前記鉄道車両と前記標識との間の前記第１距離であり、ｆは前記撮像部の焦点距離であり、Ｂは前記撮像部の前記第１視点と前記第２視点との間の距離であり、Ｄは前記視差である、請求項１に記載のカメラ検査システム。

【請求項3】

前記演算処理部は、前記第２距離を、式２を用いて算出する、
Ｚ２＝ｆ×ｄ／（ｘ×ｓ） （式２）
ここで、Ｚ２は前記鉄道車両と前記標識との間の前記第２距離であり、ｆは前記撮像部の焦点距離であり、ｄは前記標識の属性情報の実際の長さであり、ｘは前記第１または第２画像上における前記属性情報の画素数であり、ｓは前記第１および／または前記第２画像を表示する表示部の隣接する画素間の距離である、請求項１に記載のカメラ検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、カメラ自動検査システムに関する。

【背景技術】

【0002】

走行中の鉄道車両の前方を鉄道車両に搭載されたステレオカメラによって撮像し、その画像を用いて線路近傍の支障物の有無を検知するシステムが開発されている。

【0003】

鉄道車両は、上記システムが支障物を検知して鉄道車両の減速を開始させるまでに進む空走距離と、鉄道車両が減速を開始してから停止するまでの制動距離とを足した停止距離より手前で支障物を検知する必要がある。また、鉄道車両は、自動車と比較すると、制動距離が長く、かつ、布設された線路上を走行するため、制動または操舵によって支障物を回避することはより困難である。従って、鉄道車両は、進路上に存在する支障物を比較的遠方から高精度に検知することが求められている。支障物の有無や距離を高精度で検知するためには、鉄道車両のステレオカメラは、高精度に校正されていることが求められる。

【0004】

しかし、経年により、カメラ間の相対位置にずれが生じて検知性能が低下するなどの問題が発生する。

【0005】

そこで、経年変化による性能低下を防ぐためにカメラ校正の要否を自動かつ容易に判定できるシステムが求められている。

【先行技術文献】

【特許文献】

【0006】

【文献】特許登録第６１２２３６５号

【文献】特開２０１９－８４８８１号

【文献】特開２０１９－１８８９９６号

【発明の概要】

【発明が解決しようとする課題】

【0007】

鉄道車両に搭載されるカメラの校正の要否を自動かつ容易に判定することができるカメラ検査システムを提供する。

【課題を解決するための手段】

【0008】

本実施形態によるカメラ検査システムは、鉄道車両に搭載された撮像部であって、鉄道車両が走行する軌道の周辺に設けられた標識を第１および第２視点で撮像する撮像部を備える。演算処理部は、第１視点における標識の第１画像と第２視点における該標識の第２画像との視差を求める。演算処理部は、第１画像と第２画像との視差に基づいて鉄道車両と標識との間の第１距離を算出する。演算処理部は、標識の大きさおよび／または位置に関する既知の属性情報と第１または第２画像上における属性情報の長さとに基づいて鉄道車両と標識との間の第２距離を算出する。演算処理部は、第１距離と第２距離との差が閾値よりも大きいか否かを判断する。記憶部は、属性情報を格納する。

【図面の簡単な説明】

【0009】

【図1】本実施形態にかかる鉄道車両の概略構成の一例を示す図。

【図2】本実施形態にかかる鉄道車両が有する走行支障物検知装置の機能構成の一例を示すブロック図。

【図3】本実施形態にかかる鉄道車両における監視領域の設定例を示す図。

【図4】本実施形態にかかる鉄道車両における監視領域の設定例を示す図。

【図5】本実施形態にかかる鉄道車両における支障物の検知処理の流れの一例を示す図。

【図6】本実施形態にかかる鉄道車両における監視領域の設定方法の一例を説明するための模式図。

【図7】本実施形態にかかる鉄道車両における基準面の設定処理の一例を説明するための図。

【図8】第１実施形態に従ったカメラ検査システムの構成の一例を示すブロック図。

【図9】第２距離の算出方法を示す概念図。

【図10】第１実施形態によるカメラ検査システムの動作の一例を示すフロー図。

【図11】第１実施形態の変形例１による第２距離の算出方法を示す概念図。

【図12】第１実施形態の変形例２による第２距離の算出方法を示す概念図。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明に係る実施形態を説明する。本実施形態は、本発明を限定するものではない。図面は模式的または概念的なものであり、各部分の比率などは、必ずしも現実のものと同一とは限らない。明細書と図面において、既出の図面に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0011】

図１は、本実施形態にかかる鉄道車両の概略構成の一例を示す図である。図１に示すように、本実施形態にかかる鉄道車両ＲＶは、センサ１０と、走行支障物検知装置２０、記録装置３０、および表示装置４０を含む。センサ１０は、鉄道車両ＲＶの進行方向を撮像可能に設けられる撮像部の一例である。走行支障物検知装置２０は、鉄道車両ＲＶの走行の支障となる支障物を検知する支障物検知装置の一例である。記録装置３０は、走行支障物検知装置２０による支障物の検知結果を記憶する。表示装置４０は、センサ１０によって鉄道車両ＲＶの進行方向を撮像して得られる画像や、走行支障物検知装置２０による支障物の検知結果等の各種情報を表示する。

【0012】

図２は、本実施形態にかかる鉄道車両が有する走行支障物検知装置の機能構成の一例を示すブロック図である。図２に示すように、走行支障物検知装置２０は、画像取得部２０１、レール認識部２０２、監視エリア認識部２０３、支障物候補認識部２０４、支障物判定部２０５、結果出力部２０６、および記憶部２０７を有する。本実施形態では、画像取得部２０１、レール認識部２０２、監視エリア認識部２０３、支障物候補認識部２０４、支障物判定部２０５、および結果出力部２０６のうち一部若しくは全ては、鉄道車両ＲＶが有するＣＰＵ（Central Processing Unit）等のプロセッサが記憶部２０７に記憶されるソフトウェアを実行することによって実現される。

【0013】

また、画像取得部２０１、レール認識部２０２、監視エリア認識部２０３、支障物候補認識部２０４、支障物判定部２０５、および結果出力部２０６のうち一部若しくは全ては、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路基板であるハードウェアによって実現されても良い。さらに、画像取得部２０１、レール認識部２０２、監視エリア認識部２０３、支障物候補認識部２０４、支障物判定部２０５、および結果出力部２０６は、プロセッサによって実行されるソフトウェア、およびハードウェアの協働によって実現されても良い。

【0014】

記憶部２０７は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＤカード等の不揮発性の記憶媒体、およびＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶媒体を含む。そして、記憶部２０７は、鉄道車両ＲＶが有するプロセッサが実行するプログラム等の各種情報を記憶する。

【0015】

画像取得部２０１は、センサ１０によって鉄道車両ＲＶの進行方向を撮像して得られる可視光の画像（以下、「カラー画像」と言う）、およびセンサ１０の撮像範囲に存在する物体までの距離を特定可能とする距離画像を取得する取得部の一例である。本実施形態では、画像取得部２０１は、センサ１０が有する複数の撮像部によって鉄道車両ＲＶの進行方向を異なる複数の視点から撮像して得られる複数の画像のうちいずれかをカラー画像として取得する。

【0016】

また、画像取得部２０１は、当該複数の画像を距離画像として取得する。具体的には、画像取得部２０１は、センサ１０が含む複数の撮像部の撮像により得られる複数の画像を、グレースケールの画像（以下、「グレースケール画像」と言う）に変換する。次いで、画像取得部２０１は、一方のカメラのグレースケール画像を、複数の撮像部の光軸を仮想的に平行とした場合に得られる画像（以下、「平行等位画像」と言う）に幾何変換する。次いで、画像取得部２０１は、平行ステレオ視の原理に従って、平行等位画像と他方のグレースケール画像とを用いて、センサ１０が含む撮像部の撮像範囲内の物体までの距離を特定可能とする距離画像を取得する。

【0017】

レール認識部２０２は、カラー画像内における鉄道車両ＲＶが走行するレールを検出するレール検出部の一例として機能する。本実施形態では、レール認識部２０２は、センサ１０の撮像により得られるカラー画像から変換したグレースケール画像を、エッジを強調した画像（以下、「エッジ強調画像」と言う）に変換する。次いで、レール認識部２０２は、エッジ強調画像のうち、エッジ強度が予め設定されたエッジ強度より大きい画素と、その周辺の画素のうち同様のエッジ強度を有する画素とをグループ化した画素群を生成する。次いで、レール認識部２０２は、生成した画素群のうち、鉄道車両ＲＶの進行方向に向かって連なって線分を形成する画素群を抽出する。そして、レール認識部２０２は、抽出した画素群のうち、予め設定された評価条件を満たす画素群を、鉄道車両ＲＶが走行するレールとして検出する。ここで、評価条件は、レールと判断する画素群であり、例えば、レールと判断するエッジ強度を有することである。

【0018】

監視エリア認識部２０３は、レール認識部２０２により検出したレールを基準として、カラー画像に対して立体的な監視領域を設定する監視領域設定部の一例として機能する。ここで、監視領域は、カラー画像内において、鉄道車両ＲＶの車両限界または建築限界により規定される立体的な領域である。また、監視エリア認識部２０３は、カラー画像に基づいて、センサ１０から監視領域までの距離の範囲である値域を特定可能とする値域情報を求める。

【0019】

図３および図４は、本実施形態にかかる鉄道車両における監視領域の設定例を示す図である。図３に示すように、監視エリア認識部２０３は、センサ１０の設置条件や、レール認識部２０２により検出したレールの幅が一定である等の拘束条件に基づいて、当該検出したレールの任意の設定位置Ｐにおいて、車両限界断面Ｘ、および当該車両限界断面Ｘまでの距離を求める。ここで、車両限界断面Ｘは、鉄道車両ＲＶの進行方向に直交する方向における車両限界の断面である。監視エリア認識部２０３は、鉄道車両ＲＶの進行方向においてレールの異なる設定位置Ｐについて求めた車両限界断面Ｘを断面とするトンネル形状の領域を、監視領域として設定する。また、監視エリア認識部２０３は、設定位置Ｐ毎に求めた車両限界断面Ｘまでの距離の範囲（集合）である値域を値域情報として求める。

【0020】

あるいは、図４に示すように、監視エリア認識部２０３は、センサ１０の設置条件や、レール認識部２０２により検出したレールの幅が一定である等の拘束条件に基づいて、当該検出したレールの任意の設定位置Ｐにおいて、建築限界断面Ｙ、および当該建築限界断面Ｙまでの距離を求める。ここで、建築限界断面Ｙは、設定位置Ｐにおける鉄道車両ＲＶの進行方向に直交する方向の建築限界の断面である。監視エリア認識部２０３は、鉄道車両ＲＶの進行方向においてレールの異なる設定位置Ｐについて求めた建築限界断面Ｙを断面とするトンネル形状の領域を、監視領域として設定する。また、監視エリア認識部２０３は、設定位置Ｐ毎に求めた建築限界断面Ｙまでの距離の範囲（集合）である値域を値域情報として求める。

【0021】

図２に戻り、支障物候補認識部２０４は、距離画像と値域情報とに基づいて、監視領域内に含まれる物体を支障物の候補（以下、「支障物候補」と言う）として抽出する。本実施形態では、支障物候補認識部２０４は、距離画像内の各画素のうち、値域情報により特定される距離と一致する距離を示す画素をグループ化した類似領域を監視領域内に存在する立体物を支障物候補として抽出する。

【0022】

支障物判定部２０５は、支障物候補認識部２０４により抽出される支障物候補の大きさおよび当該支障物候補の移動ベクトルの少なくとも１つに基づいて、支障物候補の中から、支障物を検知する。これにより、監視領域に存在する物体のうち、支障物となり得る可能性が高い物体を支障物として検知できるので、支障物の検知精度を向上させることができる。本実施形態では、支障物判定部２０５は、支障物候補のうち、予め設定された大きさ以上の支障物候補を支障物として検知する。また、支障物判定部２０５は、支障物候補のうち、移動ベクトルがレールの方向に向かっている支障物候補を支障物として検知する。また、支障物判定部２０５は、支障物候補のうち、予め設定された大きさ以上でありかつ移動ベクトルがレールの方向に向かっている支障物候補を、支障物として検知しても良い。

【0023】

よって、本実施形態では、支障物候補認識部２０４および支障物判定部２０５が協働して、距離画像と値域情報とに基づいて、監視領域内に存在しかつ鉄道車両ＲＶの走行の支障となる支障物を検知する支障物検知部の一例として機能する。これにより、鉄道車両ＲＶの進行方向を撮像して得られるカラー画像を用いて、鉄道車両ＲＶの走行の支障となる支障物を検知する場合に、カラー画像において支障物を検知する監視領域を動的かつ適切に設定して、支障物を検知することが可能となるので、鉄道車両ＲＶの走行の支障となる支障物を高精度に検知することができる。

【0024】

結果出力部２０６は、支障物候補認識部２０４および支障物判定部２０５による支障物の検知結果を出力する出力部の一例として機能する。本実施形態では、結果出力部２０６は、支障物判定部２０５により支障物が検知された場合、支障物が検知されたことを示す情報を、カラー画像とともに、表示装置４０に表示させる。また、結果出力部２０６は、支障物の検知結果を記録装置３０に保存する。

【0025】

次に、図５を用いて、本実施形態にかかる鉄道車両における支障物の検知処理の流れの一例について説明する。図５は、本実施形態にかかる鉄道車両における支障物の検知処理の流れの一例を示す図である。

【0026】

画像取得部２０１は、センサ１０から、カラー画像および距離画像を取得する（ステップＳ５０１）。センサ１０は、カラー画像および距離画像を同時に出力可能な光学式センサであり、パターン投光方式、フォトグラメトリー方式、Time Of Flight方式の光学式センサである。また、センサ１０が、鉄道車両ＲＶの車幅方向に離間して設けられる２つの撮像部（左右の２つの撮像部）を含む場合、画像取得部２０１は、２つの撮像部の撮像により得られる２つのカラー画像を、距離画像として取得しても良い。

【0027】

２つのカラー画像を距離画像として取得した場合、画像取得部２０１は、２つのカラー画像それぞれをグレースケール画像に変換する（ステップＳ５０２）。本実施形態では、画像取得部２０１は、支障物の検知に要する演算量を削減するために、２つのカラー画像それぞれをグレースケール画像に変換した上で、当該グレースケール画像を用いて、支障物を検知する例について説明するが、カラー画像そのまま用いて、支障物を検知することも可能である。

【0028】

次に、画像取得部２０１は、２つのグレースケール画像それぞれについて、センサ１０が有するレンズの収差等による歪みを補正し、かつ２つのグレースケール画像のうち一方を平行等位画像に幾何変換する（ステップＳ５０３）。一般的なカメラのレンズは、半径方向の歪みおよび円周方向の歪みを有する。そのため、画像取得部２０１は、センサ１０の撮像により得られる画像の歪みの補正に必要な係数やテーブルを画像変換情報として記憶部２０７に保存しておく。そして、画像取得部２０１は、記憶部２０７に記憶される画像変換情報を用いて、グレースケール画像の歪みを補正する。また、センサ１０の内部パラメータや相対的な位置関係に基づく外部パラメータを、キャリブレーションによって求めておき、当該外部パラメータを画像変換情報として記憶部２０７に保存しても良い。

【0029】

次に、画像取得部２０１は、平行等位画像を基準画像としかつグレースケール画像を参照画像として、基準画像と参照画像の視差を距離画像として求める（ステップＳ５０４）。エピポーラ幾何等の幾何学的な拘束条件によれば、基準画像の注目画素に対応する参照画像内の画素である対応画素は、基準画像における注目画素における高さと同じ高さのエピポーラ線上のみを検索することで求められる。これにより、対応画素の探索を、少ない演算量で、かつ高精度に実現することができる。対応画素の探索は、参照画像内の一部の領域である小領域毎に対応画素を探索するテンプレートマッチング、参照画像全体から最適な対応画素（解）を探索するグローバルマッチング、参照画像において注目画素周辺の画素から最適な対応画素を探索するセミグローバルマッチング等により行う。ただし、対応画素の探索にリアルタイム性を求める場合には、テンプレートマッチングによって対応画素を探索することが多い。

【0030】

対応画素を求めた後、画像取得部２０１は、基準画像の注目画素と、参照画像の対応画素との視差を求める。本実施形態では、画像取得部２０１は、基準画像の注目画素を１画素ずつずらしながら、参照画像の対応画素を求めている。したがって、参照画像がデジタル画像である場合、対応画素の座標は、整数によって表される。そのため、小数点以下の精度で対応画素の座標を推定する場合には、サブピクセル推定手法を用いる。サブピクセル推定手法は、対応画素の探索に用いる評価関数がＳＡＤ（Sum of Absolute Difference）のような１次関数の場合には、等角直線フィッティングを用いる。一方、サブピクセル推定手法は、対応画素の探索に用いる評価関数がＳＳＤ（Sum of Squared Difference）のような２次関数の場合には、パラボラフィッティングを用いる。

【0031】

なお、小数点以下の精度で視差を求める必要が無い場合や、視差の取得に要する処理時間を短縮したい場合には、サブピクセル推定手法を用いずに、視差を求めても良い。また、サブピクセル推定手法に用いる評価関数による対応画素の座標の評価値が、予め設定された閾値より大きい場合、注目画素と対応画素との特徴量（例えば、階調の変化）の差異が小さい場合には、求めた視差を無効としても良い。

【0032】

以上の処理によって、画像取得部２０１は、基準画像の全ての画素若しくは基準画像の一部の有効領域内の画素について、参照画像の画素との視差を求める。また、画像取得部２０１は、以下の式１を用いて、基準画像の画素が表す物体までの距離Ｚを距離画像として求めても良い。以下の式１において、ｆはセンサ１０が含む２つのカメラの焦点距離を表し、Ｂはセンサ１０が含む２つのカメラ間の距離を表し、Ｄは基準画像の画素と参照画像の画素との視差Ｄを表す。
Ｚ＝ｆ×Ｂ／Ｄ （式１）

【0033】

次に、レール認識部２０２は、基準画像から、鉄道車両ＲＶが走行するレールの候補であるレール候補を検出する（ステップＳ５０５）。本実施形態では、レール認識部２０２は、基準画像をエッジ強調画像に変換する。次いで、レール認識部２０２は、エッジ強調画像において、エッジ強度が予め設定されたエッジ強度より大きい画素とその周辺の画素のうち同様のエッジ強度を有する画素をグループ化した画素群のうち、鉄道車両ＲＶの進行方向に向かって連なって線分を形成する画素群をレール候補として検出する。そして、レール認識部２０２は、検出したレール候補のうち、予め設定された評価条件を満たすレール候補を、レールとして検出する（ステップＳ５０６）。

【0034】

監視エリア認識部２０３は、レール認識部２０２により検出したレールを基準として、基準画像に対して、立体的な監視領域を設定する（ステップＳ５０７）。

【0035】

図６は、本実施形態にかかる鉄道車両における監視領域の設定方法の一例を説明するための模式図である。図６に示すように、監視エリア認識部２０３は、レール認識部２０２により検出したレールＲ上における任意の設定位置Ｐに対して、当該設定位置Ｐにおける左右のレールを結びかつ水平な線分を設定する。ここで、線分は、基準画像においてＬ画素の長さを持つものとする。そして、センサ１０が有するカメラのピッチ角、ヨー角、およびロール角が全て０°であり、鉄道車両ＲＶが走行するレールが狭軌である場合、水平方向の１画素当りの分解能は、（１０６７／Ｌ）ミリメートルとなる。

【0036】

あるいは、監視エリア認識部２０３は、距離画像を用いて、設定位置Ｐの注目画素と対応画素との視差若しくは設定位置Ｐまでの距離を取得する。次いで、監視エリア認識部２０３は、視差または距離に応じた１画素当りの分解能を予め求めておき、取得した視差または距離に応じた１画素当りの分解能を特定する。そして、監視エリア認識部２０３は、特定した１画素当りの分解能を、設定位置Ｐにおける、水平方向の１画素当りの分解能としても良い。なお、センサ１０の撮像素子の縦横比が１：１である場合、線分と直交する方向（すなわち、上下方向）の１画素当りの分解能は、水平方向の１画素当りの分解能と同じとなる。

【0037】

次いで、図６に示すように、監視エリア認識部２０３は、実空間における車両限界の寸法（例えば、幅：３８００ｍｍ、高さ：４３００ｍｍ）、および基準画像の１画素当りの分解能に応じて、基準画像内の設定位置Ｐに対して、車両限界断面Ｘを設定する。本実施形態では、監視エリア認識部２０３は、車両限界の断面を模した領域を車両限界断面Ｘとして設定しているが、車両限界を特定可能とする領域を車両限界断面Ｘとして設定するものであれば、これに限定ものではない。例えば、監視エリア認識部２０３は、車両限界の断面に近似する矩形などの予め設定された形状の領域を車両限界断面Ｘとして設定しても良い。また、ここでは、基準画像に対して車両限界断面Ｘを設定する例について説明するが、基準画像に対して建築限界断面Ｙを設定する場合も同様である。その後、監視エリア認識部２０３は、基準画像内の設定位置Ｐを、鉄道車両ＲＶの進行方向に沿って移動させながら、設定位置Ｐに対する車両限界断面Ｘの設定を繰り返すことによって、基準画像に対してトンネル形状の監視領域を設定する。

【0038】

さらに、監視エリア認識部２０３は、基準画像の１画素当りの分解能、および基準画像の下端（すなわち、センサ１０の撮像範囲において手前側の端）から設定位置Ｐまでの画素数等に基づいて、設定位置Ｐまでの距離、または設定位置Ｐにおける注目画素と対応画素の視差を、設定位置Ｐ毎に求める。そして、監視エリア認識部２０３は、設定位置Ｐ毎に求めた距離または視差の値域を値域情報とする。また、監視エリア認識部２０３は、値域情報を監視エリア情報として、記憶部２０７に保存する。

【0039】

図３に戻り、支障物候補認識部２０４は、基準画像に対して、レール認識部２０２により検出したレールの上面に接する基準面を設定する（ステップＳ５０８）。これにより、レールよりも下方に存在し、支障物となる可能性が低い物体が支障物候補として検出されなくなるので、支障物の検知処理による処理負荷を軽減できる。

【0040】

図７は、本実施形態にかかる鉄道車両における基準面の設定処理の一例を説明するための図である。図７に示すように、支障物候補認識部２０４は、レール認識部２０２により認識したレールＲの上面のうち、センサ１０から距離または視差が近い領域に接する面に近似する平面または曲面を基準面Ｐ１，Ｐ２とする。

【0041】

図３に戻り、次いで、支障物候補認識部２０４は、基準画像と参照画像との視差（または距離）を示す距離画像と、値域情報とに基づいて、基準画像の監視領域内に含まれる物体を、支障物候補として抽出する（ステップＳ５０９）。具体的には、支障物候補認識部２０４は、基準画像内の物体のうち、基準画像と参照画像との視差（または距離）が、値域情報が示す値域に含まれる物体を、支障物候補として抽出する。

【0042】

ところで、監視領域内に含まれる物体のうち、その一部だけが監視領域に入っている物体は、物体のサイズが予め設定されたサイズに満たない等の理由で支障物として検知されない可能性が高い。そのため、本実施形態では、支障物候補認識部２０４は、基準面より上方に存在する物体を支障物候補として抽出する。具体的には、支障物候補認識部２０４は、基準画像の監視領域内に含まれる物体のうち、基準面の手前に位置する物体、言い換えると、センサ１０からの距離が基準面までの距離より短い物体（または、基準面の視差より大きい視差を有する物体）を支障物候補として抽出する。

【0043】

支障物判定部２０５は、支障物候補の大きさおよび支障物候補の移動ベクトルの少なくともいずれか一方に基づいて、支障物候補の中から、支障物を検知する（ステップＳ５１０）。本実施形態では、支障物判定部２０５は、支障物候補のうち、基準画像内における外接矩形の縦横比が極端に偏った支障物候補をノイズや外乱として棄却する。また、支障物判定部２０５は、支障物候補のうち、２フレーム以上の基準画像間における支障物候補の移動ベクトルを求め、移動ベクトルが下から上に向いている場合には鳥や煙等の外乱として棄却する。そして、支障物判定部２０５は、支障物候補のうち、棄却されずに残った支障物候補について、その重心位置が監視領域内に入っている支障物候補を、支障物として検知する。

【0044】

次いで、結果出力部２０６は、支障物判定部２０５による支障物の検知結果を表示装置４０に出力して、支障物の検知結果を表示装置４０に表示させる（ステップＳ５１１）。本実施形態では、結果出力部２０６は、支障物判定部２０５により支障物を検知したことや検知した支障物までの距離等を、支障物の検知結果として表示装置４０に表示させる。また、結果出力部２０６は、支障物の検知結果を通知する音声を出力したり、鉄道車両ＲＶの走行を制御する車両制御装置に対して、支障物の検知結果を出力したりする。さらに、結果出力部２０６は、支障物の検知結果を示す検知結果情報を記憶部２０７に保存する。また、結果出力部２０６は、検知結果情報を、外部の記憶部に保存することも可能である。これにより、外部装置は、鉄道車両ＲＶの走行支障物検知装置２０と通信できないオフラインの状態においても、外部に記憶部に記憶される検知結果情報を用いて、支障物の検知結果を解析できる。

【0045】

その後、画像取得部２０１は、支障物の検知処理の終了が指示されたか否かを判断する（ステップＳ５１２）。支障物の検知処理の終了が指示された場合（ステップＳ５１２：Ｙｅｓ）、画像取得部２０１は、新たなカラー画像および距離画像の取得を行わず、支障物の検知処理を終了させる。一方、支障物の検知処理の終了が指示されなかった場合（ステップＳ５１２：Ｎｏ）、画像取得部２０１は、ステップＳ５０１に戻り、新たなカラー画像および距離画像の取得を行う。

【0046】

このように、本実施形態にかかる鉄道車両ＲＶによれば、鉄道車両ＲＶの進行方向を撮像して得られるカラー画像を用いて、鉄道車両ＲＶの走行の支障となる支障物を検知する場合に、カラー画像において支障物を検知する監視領域を動的かつ適切に設定して、支障物を検知することが可能となるので、鉄道車両ＲＶの走行の支障となる支障物を高精度に検知することができる。

【0047】

（第１実施形態）
以下、第１実施形態では、上記走行支障物検知装置２０をもとにさらにカメラ検査システム２１を構成する。カメラ検査システム２１は、支障物に代えて、鉄道車両ＲＶが走行するレール（軌道）の周辺に設けられた標識５０を検知する。カメラ検査システム２１は、支障物と同様に標識５０を検知すればよい。標識５０については後述する。以下、カメラ検査システム２１の構成および標識５０の検知後の処理について説明する。

【0048】

図８は、第１実施形態に従ったカメラ検査システムの構成の一例を示すブロック図である。カメラ検査システム２１は、センサ１０と、表示装置４０と、記録装置３０と、記憶部２０７と、演算処理部２０８とを備えている。センサ１０、記録装置３０、表示装置４０および記憶部２０７は、基本的に図２を参照して説明した通りである。

【0049】

演算処理部２０８は、画像取得部２０１と、標識認識部２１０と、第１距離算出部２２０と、第２距離算出部２３０と、距離比較判定部２４０と、出力部２５０と、を備えている。演算処理部２０８のうち一部若しくは全ては、鉄道車両ＲＶが有するＣＰＵ等のプロセッサが記憶部２０７に記憶されるソフトウェアを実行することによって実現される。

【0050】

撮像装置としてのセンサ１０は、鉄道車両に搭載され、鉄道車両が走行する軌道の周辺に設けられた標識５０を第１および第２視点で撮像する。第１および第２視点は、所定の距離だけ離間しており、異なる位置に配置されている。センサ１０は、このような第１および第２視点を有する複数のカメラで同一標識５０をほぼ同時に撮像する、所謂、ステレオカメラである。

【0051】

画像取得部２０１は、図２の画像取得部２０１と基本的に同じ構成である。画像取得部２０１は、第１視点における標識５０の第１画像と第２視点における該標識の第２画像との視差を求める。

【0052】

標識認識部２１０は、図２のレール認識部２０２、監視エリア認識部２０３、支障物候補認識部２０４、支障物判定部２０５を含み、第１および第２画像から標識５０を認識する。標識５０の画像は、認識辞書として予め記憶部２０７に登録しておく。標識認識部２１０は、任意のパターン画像認識技術により、画像上で標識５０に該当するか否かを判断する。標識５０の認識方法は、上記実施形態で説明した支障物の認識方法と同様でよい。

【0053】

第１距離算出部２２０は、画像取得部２０１で求められた第１視点における標識５０の第１画像と第２視点における標識５０の第２画像との視差を受け取る。第１距離算出部２２０は、第１画像と第２画像との視差に基づいて鉄道車両ＲＶと標識５０との間の第１距離Ｚ１を算出する。即ち、センサ１０のステレオカメラの機能を用いて第１距離Ｚ１を算出する。

【0054】

例えば、第１距離Ｚ１は、第１および第２画像の視差を用いて算出される鉄道車両ＲＶと標識５０との間の距離である。ｆはセンサ１０の焦点距離である。Ｂはセンサ１０の第１視点と第２視点との間の距離（間隔）である。即ち、センサ１０の２つのカメラ間の距離である。Ｄは第１および第２画像の視差である。この場合、第１距離Ｚ１は、上記式１を用いて以下ように表される。
Ｚ１＝ｆ×Ｂ／Ｄ （式１）
尚、センサ１０の焦点距離ｆおよび第１視点と第２視点との距離Ｂは予め判明しており、記憶部２０７に格納されている。

【0055】

第１距離Ｚ１は、第１および第２画像の両方に基づいて、センサ１０の２つのカメラの視差を用いて算出される。従って、第１距離Ｚ１は、センサ１０の２つのカメラの位置や角度等の配置に変化があると、鉄道車両ＲＶと標識５０との距離からずれる。即ち、第１距離Ｚ１は、センサ１０の経年劣化に影響されやすい。

【0056】

第２距離算出部２３０は、標識５０の大きさおよび／または位置に関する既知の属性情報と、第１または第２画像上における該属性情報の長さとに基づいて、鉄道車両と標識５０との間の第２距離Ｚ２を算出する。

【0057】

例えば、図９は、第２距離の算出方法を示す概念図である。標識５０は、レールＲの周辺の地上に固定されており、所定の大きさの形状を有する。実際の標識５０の横方向の長さ（幅）をｄ１とすると、長さｄ１は、予め判明している（予め設定されている）属性情報として記憶部２０７に格納されている。尚、標識５０は、センサ１０により認識しやすいデザインに構成されており、レールＲの周辺の監視領域内に固定設置する。標識５０は、見通しが良く、外乱を受け難い環境下に設置することが好ましい。例えば、標識５０は、車両基地構内等に設置することが適している。

【0058】

一方、標識５０を撮像した第１および第２画像は、鉄道車両ＲＶの走行時に取得される。第１および第２画像における標識５０の画像上の大きさは、鉄道車両ＲＶから標識５０までの距離によって異なる。標識５０が鉄道車両ＲＶから比較的遠い場合には、標識５０の画像上の大きさは、比較的小さく撮像され、逆に、鉄道車両ＲＶから比較的近い場合には、比較的大きく撮像される。このような鉄道車両ＲＶと標識５０との距離に応じた標識５０の画像上の大きさの変化を用いて、鉄道車両ＲＶと標識５０との実際の距離Ｚ２が求められる。

【0059】

例えば、表示装置４０に表示されている第１または第２画像上における標識５０の幅の画素数をｘとし、表示装置４０の隣接する２つの画素間の距離をｓとする。この場合、表示装置４０において表示されている標識５０の画面上の幅は、ｘ×ｓとなる。さらに、センサ１０の焦点距離をｆとすると、標識５０と鉄道車両ＲＶとの間の実際の第２距離Ｚ２は、式２のように表される。
Ｚ２＝ｆ×ｄ１／（ｘ×ｓ） （式２）

【0060】

第２距離Ｚ２は、第1および第２画像のいずれか一方を用いて算出可能であり、第１画像と第２画像との視差の影響を受けない。従って、第２距離Ｚ２は、センサ１０の２つのカメラの位置や角度等の配置に変化があっても鉄道車両ＲＶと標識５０との比較的正確な距離を示すことができる。即ち、第２距離Ｚ２は、センサ１０の経年劣化の影響を受けにくい。尚、第２距離算出部２３０は、第1および第２画像のそれぞれについて第２距離Ｚ２を算出し、いずれかを選択的に用いてもよく、あるいは、第1および第２画像のそれぞれの第２距離Ｚ２の平均値を用いてもよい。

【0061】

属性情報は、標識５０の大きさおよび／または位置に関する既知の情報であればよい。例えば、属性情報は、標識５０の横方向の長さ（幅）ｄ１でもよく、標識５０の縦方向の長さでもよい。あるいは、属性情報は、標識５０に描かれている模様の長さｄ２でもよい。さらに、属性情報の他の例については後述する。

【0062】

距離比較判定部２４０は、第１距離Ｚ１と第２距離Ｚ２との差を計算し、この差と閾値とを比較する。第１距離Ｚ１と第２距離Ｚ２との差が閾値以上である場合には、距離比較判定部２４０は、センサ１０の２つのカメラの配置に異常があると判定する。一方、第１距離Ｚ１と第２距離Ｚ２との差が閾値未満である場合には、距離比較判定部２４０は、センサ１０の２つのカメラの配置は正常であると判定する。センサ１０に異常があると判定された場合、センサ１０の２つのカメラは校正する必要がある。尚、閾値は、予め設定して記憶部２０７に格納しておけばよい。また、距離比較判定部２４０による正常／異常判定の結果情報は、記憶部２０７に格納すればよい。

【0063】

出力部２５０は、距離比較判定部２４０による正常／異常判定の結果情報を出力する。出力部２５０から出力された正常／異常判定の結果情報は、記録装置３０に保存され、表示装置４０に表示される。

【0064】

表示装置４０は、第１距離と第２距離との差が閾値よりも大きい場合に、センサ１０の異常を示す警報を表示する。表示装置４０は、センサ１０の正常判定および異常判定の両方を表示してもよいが、異常判定のみを表示し、正常判定については表示しないように設定してもよい。

【0065】

表示装置４０が異常判定を表示している場合、センサ１０の２つのカメラの配置等を校正しメンテナンスする。

【0066】

次に、本実施形態によるカメラ検査システム２１の動作を説明する。

【0067】

図１０は、第１実施形態によるカメラ検査システム２１の動作の一例を示すフロー図である。

【0068】

まず、センサ１０が標識５０を第１および第２視点で撮像する（Ｓ１０）。センサ１０は、第１および第２視点を有する複数のカメラで同一標識５０をほぼ同時に撮像する。

【0069】

次に、画像取得部２０１が第１視点における標識５０の第１画像と第２視点における該標識の第２画像との視差を求める（Ｓ２０）。

【0070】

次に、第１距離算出部２２０が画像取得部２０１で求められた第１視点における標識５０の第１画像と第２視点における標識５０の第２画像との視差を受け取る。第１距離算出部２２０は、第１画像と第２画像との視差に基づいて、式1を用いて鉄道車両ＲＶと標識５０との間の第１距離Ｚ１を算出する（Ｓ３０）。即ち、センサ１０のステレオカメラの機能を用いて第１距離Ｚ１を算出する。

【0071】

次に、第２距離算出部２３０が標識５０の大きさおよび／または位置と、第１または第２画像上における標識５０の大きさおよび／または位置の長さとに基づいて、式２を用いて鉄道車両ＲＶと標識５０との間の第２距離Ｚ２を算出する（Ｓ４０）。

【0072】

次に、距離比較判定部２４０が第１距離Ｚ１と第２距離Ｚ２との差｜Ｚ１－Ｚ２｜を計算し、この差と閾値Ｔｈとを比較する（Ｓ５０）。第１距離Ｚ１と第２距離Ｚ２との差が閾値以上である場合（｜Ｚ１－Ｚ２｜≧Ｔｈ）、距離比較判定部２４０は、センサ１０の２つのカメラの配置に異常があると判定する（Ｓ６０）。一方、第１距離Ｚ１と第２距離Ｚ２との差が閾値未満である場合（｜Ｚ１－Ｚ２｜＜Ｔｈ）、距離比較判定部２４０は、センサ１０の２つのカメラの配置は正常であると判定する（Ｓ７０）。尚、閾値は、予め設定して記憶部２０７に格納しておけばよい。また、距離比較判定部２４０による正常／異常判定の結果情報は、記憶部２０７に格納すればよい。
出力部２５０は、距離比較判定部２４０による正常／異常判定の結果情報を出力する（Ｓ８０）。出力部２５０から出力された正常／異常判定の結果情報は、記録装置３０に保存され、表示装置４０に表示される（Ｓ９０）。表示装置４０は、センサ１０の正常判定および異常判定の両方を表示してもよいが、異常判定のみを表示し、正常判定については表示しないように設定してもよい。

【0073】

表示装置４０が異常判定を表示している場合、センサ１０の２つのカメラの配置等を校正する。

【0074】

図１０のフローは、鉄道車両ＲＶの走行中に周期的に繰り返される。これにより、カメラ検査システム２１は、鉄道車両ＲＶの走行中にリアルタイムでセンサ１０の異常を判断し、その場で異常を知ることができる。従って、鉄道車両ＲＶの定期点検まで待つこと無く、センサ１０の校正の要否を自動かつ容易に判定することができる。

【0075】

鉄道車両ＲＶは、通常、特定のレールＲ上を走行する。このため、例えば、車両基地から出車するごとに本実施形態によるカメラ検査処理を実行すれば、センサ１０の支障物検知性能が低下したことを早期に発見することができる。

【0076】

（変形例１）
図１１は、第１実施形態の変形例１による第２距離Ｚ２の算出方法を示す概念図である。複数の標識５０＿１、５０＿２が設けられており、属性情報は標識５０＿１と標識５０＿２との間の距離ｄ３でもよい。標識５０＿１、５０＿２は、レールＲに対して略直交方向に並列に配置され、鉄道車両ＲＶからほぼ同じ距離に設置される。従って、距離ｄ３は、レールＲに対して略直交方向における標識５０＿１、５０＿２間の距離である。このように、属性情報は、複数の標識５０＿１、５０＿２間の距離であってもよい。実際の距離ｄ３は、予め記憶部２０７に格納されている。
尚、標識５０＿１、５０＿２の模様は、同じであってもよいが、記憶部２０７に登録されており標識として識別可能であれば特に限定せず、互いに異なる模様を有していてもよい。

【0077】

（変形例２）
図１２は、第１実施形態の変形例２による第２距離Ｚ２の算出方法を示す概念図である。複数の標識５０＿３、５０＿４が設けられており、属性情報は標識５０＿３と標識５０＿４との間のレールＲに沿った距離ｄ４である。標識５０＿３、５０＿４は、レールＲの両側に、レールＲに対して略平行方向に異なる位置に配置されている。従って、距離ｄ４は、レールＲに対して略平行方向における標識５０＿３、５０＿４間の距離である。このように、属性情報は、複数の標識５０＿３、５０＿４間の距離であってもよい。実際の距離ｄ４は、予め記憶部２０７に格納されている。

【0078】

尚、標識５０＿３、５０＿４の模様を互いに異ならせることによって、標識５０＿３、５０＿４を区別している。標識５０＿３、５０＿４を区別することによって、標識５０＿３が手前に配置され、標識５０＿４が奥に配置されていることが分かる。
このような、変形例１、２であっても、上記第１実施形態と同様の効果を得ることができる。

【0079】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0080】

２１ カメラ検査システム、５０ 標識、１０ センサ、４０ 表示装置、３０ 記録装置、２０７ 記憶部、２０８ 演算処理部、２０１ 画像取得部、２１０ 標識認識部、２２０ 第１距離算出部、２３０ 第２距離算出部、２４０ 距離比較判定部、２５０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】