特許 6994875 障害物検出システム及び障害物検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-16

(45)【発行日】2022-01-14

(54)【発明の名称】障害物検出システム及び障害物検出方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20220106BHJP

   B61L 23/00 20060101ALI20220106BHJP

【ＦＩ】

G06T7/593

B61L23/00 A

【請求項の数】 4

(21)【出願番号】P 2017169522

(22)【出願日】2017-09-04

(65)【公開番号】P2019046241

(43)【公開日】2019-03-22

【審査請求日】2020-03-31

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100116687

【弁理士】

【氏名又は名称】田村 爾

(74)【代理人】

【識別番号】100098383

【弁理士】

【氏名又は名称】杉村 純子

(74)【代理人】

【識別番号】100155860

【弁理士】

【氏名又は名称】藤松 正雄

(72)【発明者】

【氏名】藤井 幸

(72)【発明者】

【氏名】住吉 正紀

(72)【発明者】

【氏名】新保 直之

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２００４－３５２１０７（ＪＰ，Ａ）

【文献】特開２０１６－０００５９８（ＪＰ，Ａ）

【文献】特開平０４－１８９６７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／００６６５００（ＵＳ，Ａ１）

【文献】特開平０７－１８６９５５（ＪＰ，Ａ）

【文献】Zujun Yu，Research on intrusion clearance detection system for high-speed railway based on binocular stereo vision，Proceedings of 2011 IEEE International Conference on Service Operations, Logistics and Informatics，米国，IEEE，2011年07月12日，532-536，https://ieeexplore.ieee.org/document/5986618/citations#citations

【文献】貴志 俊英，鉄道におけるスマートメンテナンスと画像技術，画像ラボ，日本，日本工業出版株式会社，2017年03月10日，第２８巻 第３号，10～16

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５９３

Ｂ６１Ｌ ２３／００

(57)【特許請求の範囲】

【請求項1】

決められた軌道を移動する移動体に搭載される障害物検出システムにおいて、
それぞれ異なる位置から共通の領域を撮影する複数のカメラと、
前記複数のカメラにより撮像された画像に基づいて、前記共通の領域内における障害物の有無を判定する判定手段と、を備え、
前記複数のカメラは、互いに向い合せて設置された少なくとも２つのカメラを含み、
前記判定手段は、前記２つのカメラにより撮影された２つの画像の両方で前記共通の領域内に物体が検出された場合に、当該物体を障害物と判定することを特徴とする障害物検出システム。

【請求項2】

請求項１に記載の障害物検出システムにおいて、
前記移動体の位置を検出する位置検出手段と、
前記判定手段により前記共通の領域内に存在すると判定された障害物を撮影した画像を、その撮影の時点で前記位置検出手段により検出された位置の情報と対応付けて記憶する記憶手段とを備えたことを特徴とする障害物検出システム。

【請求項3】

請求項１又は請求項２に記載の障害物検出システムにおいて、
前記複数のカメラは、前記移動体の側面に、前記移動体の進行方向又はその逆方向に向けて設置されており、
前記判定手段は、前記複数のカメラにより撮像された画像に基づいて、前記移動体の側方に設定された前記共通の領域内における障害物の有無を判定することを特徴とする障害物検出システム。

【請求項4】

決められた軌道を移動する移動体に搭載される複数のカメラを用いて障害物を検出する障害物検出方法において、
前記移動体には、それぞれ異なる位置から共通の領域を撮影する複数のカメラが搭載されており、
前記複数のカメラは、互いに向い合せて設置された少なくとも２つのカメラを含み、
前記２つのカメラにより撮影された２つの画像の両方で前記共通の領域内に物体が検出された場合に、当該物体を障害物と判定することを特徴とする障害物検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体が移動する所定の軌道の近傍に存在する障害物を検出する技術に関する。

【背景技術】

【0002】

列車が移動する線路に対して、建築限界（線路の脇に設置する施設がその位置を超えて線路側に入ってはならない境界）が定められている。そこで、従来より、建築限界内における障害物の有無を検知することが行われている。

【0003】

例えば、第１の従来例では、列車の車両の周囲に棒状の突起物を設置して走行させることで、突起物が障害物に接触して破損したことを観測し、障害物の有無を検知していた。また、例えば、第２の従来例では、列車の車両の周囲に音波や電波を使用したセンサを設置し、センサにより障害物との距離を測定し、予め定められた距離以内に障害物がある場合に写真等の映像を記録していた。
また、特許文献１に示すように、車両に搭載されたカメラで撮影された前方監視画像に、車両の走行位置に対応した建築限界を認識可能に表示する発明も提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－６０５５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した第１の従来例では、列車の走行中に突起物の状態を確認することが困難であるため、突起物が衝突した位置とその対象の障害物をリアルタイムに特定することが難しく、また、突起物が破損するたびに突起物の修理を実施する必要があった。また、上述した第２の従来例では、障害物を検知した瞬間の映像を取得することが可能であるが、どの物体が障害となっているかを特定するまでに時間が掛かった。また、カメラ以外のセンサを設置する必要があり、高価であった。

【0006】

本発明は、上記のような従来の事情に鑑みて為されたものであり、移動体が移動する所定の軌道の近傍に存在する障害物を効率よく検出することが可能な技術を提案することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上記目的を達成するために、障害物検出システムを以下のように構成した。
すなわち、決められた軌道を移動する移動体に搭載される障害物検出システムにおいて、それぞれ異なる位置から共通の領域を撮影する複数のカメラと、前記複数のカメラにより撮像された画像に基づいて、前記共通の領域内における障害物の有無を判定する判定手段と、を備えたことを特徴とする。

【0008】

ここで、一構成例として、前記複数のカメラは、互いに向い合せて設置された少なくとも２つのカメラを含み、前記判定手段は、前記２つのカメラにより撮影された２つの画像の両方で前記共通の領域内に物体が検出された場合に、当該物体を障害物と判定する構成としてもよい。

【0009】

また、別の構成例として、前記複数のカメラは、同じ方向に向けて異なる位置に設置された少なくとも２つのカメラを含み、前記判定手段は、前記２つのカメラにより撮影された２つの画像における前記物体の位置の差に基づいて前記物体までの距離を算出し、前記物体までの距離に基づいて当該物体が障害物か否かを判定する構成としてもよい。

【0010】

また、上記の障害物検出システムにおいて、前記移動体の位置を検出する位置検出手段を備え、障害物の検出時点で前記位置検出手段により検出された位置の情報を更に対応付けて前記記憶手段に記憶させる構成としてもよい。

【0011】

また、上記の障害物検出システムにおいて、前記複数のカメラは、前記移動体の側面に、前記移動体の進行方向又はその逆方向に向けて設置されており、前記判定手段は、前記複数のカメラにより撮像された画像に基づいて、前記移動体の側方に設定された前記共通の領域内における障害物の有無を判定する構成としてもよい。

【発明の効果】

【0012】

本発明によれば、移動体が移動する所定の軌道の近傍に存在する障害物を効率よく検出することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る障害物検出システムの構成例を示す図である。

【図2】第１実施例に係るカメラ配置及び障害物検出処理を説明する図である。

【図3】第２実施例に係るカメラ配置及び障害物検出処理を説明する図である。

【発明を実施するための形態】

【0014】

本発明の実施形態について、図面を参照して説明する。以下では、列車が移動する線路に対して設定された建築限界について、その内側に存在する障害物の検出を行う場合を例にして、説明を行う。

【0015】

図１には、本発明の一実施形態に係る障害物検出システムの構成例を示してある。図１の障害物検出システムは、各装置を例えばイーサネット（登録商標）等のネットワークで接続して構成されている。具体的には、ネットワークを制御するネットワーク制御装置１００に、列車の前方又は後方を撮影するカメラ群１０１と、カメラ群１０１により撮影された画像を処理する画像処理装置１０２と、カメラ群１０１により撮影された一連の画像を記録する記録装置１０３と、現在の位置を検出する位置検知装置１０４とが接続されており、これらは制御装置１０５によって一元管理される。

【0016】

カメラ群１０１は、列車の車両外面に前方又は後方に向けて配置された複数のカメラで構成され、線路に対して設定された建築限界を含むエリアを撮影する。画像処理装置１０２は、カメラ群１０１により撮影された複数の画像を解析して、建築限界内に存在する障害物を検出する。すなわち、それぞれ異なる位置に設置された複数のカメラで共通の領域を撮影した複数の画像に基づいて、共通の領域内における障害物の有無を判定することで、建築限界内に存在する障害物の検出を行う。障害物の検出に係る処理内容は、カメラ配置によって異なっており、以下で実施例を参照して説明する。

【0017】

（第１実施例）
図２を参照して、第１実施例に係るカメラ配置及び障害物検出処理を説明する。
第１実施例では、列車の車両２００の側面に、列車の進行方向（図２の左側から右側に向かう方向）とは逆方向を撮影するカメラ２０１Ａと、列車の進行方向を撮影するカメラ２０１Ｂとが設置されている。カメラ２０１Ａは、列車の前方側に後方に向けて配置されており、カメラ２０１Ｂは、列車の後方側に前方に向けて配置されている。すなわち、カメラ２０１Ａ，２０１Ｂは、車両の中間部分の領域（共通の領域）を撮影するように、互いに向い合わせに配置されている。カメラ２０１Ａ，２０１Ｂは、図１のカメラ群１０１の一例であり、説明の簡略化のために、列車進行方向に対して左側の側面のみに設置した様子を示してあるが、列車進行方向に対して右側の側面にも設置され得ることは言うまでもない。

【0018】

列車が移動する線路に対しては、線路から所定の距離を置いて、建築限界２２０を設定してある。カメラ２０１Ａ，２０２Ｂは、それぞれ、撮影範囲における車両から遠い方の辺が、車両の例えば中間部分（基準点）において建築限界２２０に一致するように画角（視野角）を調整してある。図２には、カメラ２０１Ａの画角２０２Ａ及び撮影範囲のイメージ２０３Ａと、カメラ２０１Ｂの画角２０２Ｂ及び撮影範囲のイメージ２０３Ｂとを示してある。

【0019】

ここで、線路近傍に植物２４１が植わっており、植物２４１の一部２４２が建築限界２２０の内側に張り出しているとする。列車の走行中に、植物２４１が車両の中間部分に位置する時点でカメラ２０１Ａ，２０２Ｂにより撮影が行われると、イメージ２０３Ａ，２０３Ｂに示すように、植物２４１の大半は画角外にあるものの、植物２４１の一部２４２は画角内で撮影されることになる。このように、植物２４１の一部２４２がカメラ２０１Ａ及びカメラ２０１Ｂの両方で同時に撮影された場合には、その部分は、列車の近傍且つ建築限界の内側に存在すると判断することができる。一方、植物２４１の部分２４２がカメラ２０１Ａ又はカメラ２０１Ｂの片方でのみ撮影された場合（すなわち、両方で同時に撮影されなかった場合）には、その部分は、列車の遠方又は建築限界の外側に存在すると判断することができる。

【0020】

カメラ２０１Ａ，２０２Ｂにより撮影された各画像は、画像処理装置１０２へ送られ、画像処理装置１０２により解析されて障害物の有無が判断される。そして、建築限界内に障害物が存在することが検出されると、カメラ２０１Ａ，２０２Ｂより撮影された各画像は、障害物を検知したことを示すアラーム情報と、その時点で位置検知装置１０４により検出された位置を示す位置情報と共に、記録装置１０３に記録・管理される。位置検知装置１０４は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から得られる座標情報や、車輪の回転に伴って発生する速発パルスを積算して得られる距離程情報などを基に、位置情報を生成することができる。

【0021】

以上のように、第１実施例に係る障害物検出システムでは、互いに向い合せて設置された２つのカメラ２０１Ａ，２０２Ｂを備え、それぞれ撮影できる外側の範囲が、車両の例えば中間部分（基準点）において建築限界２２０に一致するように画角を調整してある。そして、画像処理装置１０２（本発明に係る判定手段の一例）が、これらカメラ２０１Ａ，２０２Ｂにより撮影された２つの画像の両方で、その中間部分の領域（共通の領域）内に物体が検出された場合に、当該物体を建築限界２２０内に存在する障害物と判定する構成となっている。また、障害物を検出した場合には、障害物を撮影した各画像がアラーム情報及び位置情報と共に記録される。

【0022】

したがって、本例の障害物検出システムによれば、線路に沿った建築限界のどの箇所にどのような障害物が存在するかを容易に把握できるようになり、障害物の存在を調べる作業の効率性を向上させることができる。また、カメラ以外のセンサを設置する必要がなく、安価にシステムを構築することができる。また、障害物を撮影した各画像をアラーム情報及び位置情報と共に記録するので、これらの情報を検索キーに用いて障害物画像を瞬時に検索することが可能であり、障害物の画像確認による対策箇所の特定などの作業効率を向上させて、障害物の撤去までの対策時間を短縮することができる。

【0023】

なお、上記の例では、各カメラの撮影範囲の外側（例えば、カメラが設置された車体側とは反対側）が車両の中間部分において建築限界に一致するように画角を調整してあるが、これに限定されない。すなわち、例えば、車両の中間部分において建築限界よりも若干広い範囲を撮影できるように各カメラの画角を調整すると共に、各カメラの画像に対して建築限界の範囲を予め設定しておき、撮影画像において建築限界の範囲内で物体が検出されるか否かを判断するようにしてもよい。

【0024】

また、上記の例では、互いに向い合せて設置した２つのカメラで同時に撮影された画像を解析しているが、必ずしも同時に撮影された画像でなくともよく、実用上有効な程度に撮影時刻がずれていても構わない。特に、カメラの配置間隔が大きい場合には、各々のカメラが共通の領域を撮影する時間にある程度の開きが生じ得るため、列車の移動速度に応じた時間差を持つ画像同士をセットにして解析する構成としてもよい。

【0025】

また、上記の例では、車両の側方における障害物を検出できるように、車両の側面にカメラを設置したが、これに限定されない。すなわち、例えば、車両の上方における障害物を検知できるように、車両の屋根にカメラを設置してもよい。

【0026】

（第２実施例）
図３を参照して、第２実施例に係るカメラ配置及び障害物検出処理を説明する。
第２実施例では、列車の車両３００の側面に、列車の進行方向（図２の左側から右側に向かう方向）に向かって異なる高さに２つのカメラ３０１Ａ，３０１Ｂが設置されている。カメラ３０１Ａ，３０１Ｂは、列車の後方側に前方に向けて、カメラ３０１Ａを上側に、カメラ３０２Ｂを下側にして、所定の間隔で平行に配置されている。すなわち、カメラ３０１Ａ，３０１Ｂは、車両の前方側の領域（共通の領域）を異なる高さから撮影するように配置されている。カメラ３０１Ａ，３０１Ｂは、図１のカメラ群１０１の一例であり、説明の簡略化のために、列車進行方向の右側の側面のみに設置した様子を示してあるが、列車進行方向の左側の側面にも設置され得ることは言うまでもない。

【0027】

列車が移動する線路に対しては、線路から所定の距離を置いて、建築限界（不図示）を設定してある。カメラ３０１Ａ，３０２Ｂは、それぞれ撮影できる範囲内に、車両の先頭部分における建築限界が含まれるように画角を調整してある。図３には、カメラ３０１Ａの画角３０２Ａ及び撮影範囲のイメージ３０３Ａと、カメラ３０１Ｂの画角３０２Ｂ及び撮影範囲のイメージ３０３Ｂとを示してある。また、カメラ３０１Ａの撮影範囲のイメージ３０３Ａとカメラ３０１Ｂの撮影範囲のイメージ３０３Ｂとを合成したイメージ３０３Ｃも示してある。

【0028】

ここで、線路近傍に植物３４１が植わっており、植物３４１の一部３４２が建築限界の内側に張り出しているとする。列車の走行中に、植物３４２が車両の先頭部分又はそれより前方に位置する時点でカメラ３０１Ａ，３０２Ｂにより撮影が行われると、イメージ３０３Ａ，３０３Ｂに示すように、植物３４１及びその一部３４２は画角内で撮影されることになる。ただし、撮影するカメラ３０１Ａ，３０２Ｂの高さ（位置）が異なるため、イメージ３０３Ａ，３０３Ｂにおける植物２４１の高さ方向の位置がずれる。つまり、植物２４１を異なる高さから撮影した場合、両者の間に視差が発生することになる。

【0029】

第２実施例では、この視差を用いて、各カメラから植物３４１までの距離を計算する。すなわち、カメラ３０１Ａ，３０２Ｂの間隔（高さ方向の距離）と、それぞれの画像における植物３４１の位置の相違量（高さ方向の距離）との関係から、植物３４１までの距離を算出する。そして、植物３４１までの距離に基づいて、植物３４２が車両の先頭部分に到達した時点を特定し、その時点でカメラ３０１Ａ，３０２Ｂの一方又は両方で撮影された画像における植物３４１及びその一部３４２の位置が建築限界の内側にあるか否かを判定する。この場合、車両の先頭部分における建築限界の範囲を各カメラの画像に対して予め設定しておけばよい。

【0030】

カメラ３０１Ａ，３０２Ｂにより撮影された各画像は、画像処理装置１０２へ送られ、画像処理装置１０２により解析されて障害物の有無が判断される。そして、建築限界内に障害物が存在することが検出されると、カメラ３０１Ａ，３０２Ｂより撮影された各画像は、障害物を検知したことを示すアラーム情報と、その時点で位置検知装置１０４により検出された位置を示す位置情報と共に、記録装置１０３に記録・管理される。位置検知装置１０４は、例えば、ＧＰＳから得られる座標情報や、車輪の回転に伴って発生する速発パルスを積算して得られる距離程情報などを基に、位置情報を生成することができる。

【0031】

以上のように、第２実施例に係る障害物検出システムでは、同じ方向に向けて異なる高さ（位置）に設置された２つのカメラ３０１Ａ，３０２Ｂを備え、それぞれ撮影できる外側の範囲が、車両の先頭部分において建築限界に一致するように画角を調整してある。そして、画像処理装置１０２（本発明に係る判定手段の一例）が、これらカメラ３０１Ａ，３０２Ｂにより撮影された２つの画像における物体の位置の差（視差）に基づいて当該物体までの距離を算出し、算出した距離に基づいて当該物体が障害物か否かを判定する構成となっている。また、障害物を検出した場合には、障害物を撮影した各画像がアラーム情報及び位置情報と共に記録される。

【0032】

したがって、本例の障害物検出システムによれば、線路に沿った建築限界のどの箇所にどのような障害物が存在するかを容易に把握できるようになり、障害物の存在を調べる作業の効率性を向上させることができる。また、カメラ以外のセンサを設置する必要がなく、安価にシステムを構築することができる。また、障害物を撮影した各画像をアラーム情報及び位置情報と共に記録するので、これらの情報を検索キーに用いて障害物画像を瞬時に検索することが可能であり、障害物の画像確認による対策箇所の特定などの作業効率を向上させて、障害物の撤去までの対策時間を短縮することができる。

【0033】

なお、上記の例では、２つの画像から算出した物体までの距離に基づいて、当該物体が車両の先頭部分に到達した時点を特定し、その時点で撮影された画像における物体の位置が建築限界の内側にあるか否かを判定しているが、これに限定されない。すなわち、例えば、２つの画像から物体までの距離を算出できた時点で、物体までの距離と、２つの画像の一方（又は両方）における物体の位置とに基づいて、物体と線路の間の距離を算出し、建築限界の内側にあるか否かを判定してもよい。

【0034】

また、上記の例では、高さ方向の位置を異ならせつつ水平方向の位置を同じにして２つのカメラを配置しておき、これらカメラにより撮影された各画像における物体の高さ方向の位置の違い（視差）に基づいて物体までの距離を算出しているが、これに限定されない。すなわち、例えば、高さ方向の位置だけでなく水平方向の位置も異ならせて２つのカメラを配置し、各カメラの水平方向の間隔を考慮して物体までの距離を算出してもよい。

【0035】

また、上記の例では、列車の後方側に前方に向けて２つのカメラを配置したが、列車の前方側に後方に向けて２つのカメラを配置してもよい。また、列車の前方側や中間部分に前方に向けた２つのカメラを配置してもよいし、列車の後方側や中間部分に後方に向けた２つのカメラを配置してもよい。また、３以上のカメラを配置して、物体までの距離を算出してもよい。また、物体までの距離を算出に使用するカメラと、物体が建築限界の内側にあるか否かの判定に用いるカメラとを別々に設けてもよい。

【0036】

また、上記の例では、車両の側方における障害物を検出できるように、車両の側面にカメラを設置したが、これに限定されない。すなわち、例えば、車両の上方における障害物を検知できるように、車両の屋根にカメラを設置してもよい。

【0037】

以上、本発明について詳細に説明したが、本発明は、ここに記載された障害物検出システムに限定されるものではなく、上記以外の障害物検出システムに広く適用することができることは言うまでもない。例えば、路面電車、モノレール等の決められた軌道を移動する種々の移動体に搭載され、その軌道の近傍に存在する障害物を検出するシステムに適用することができる。

【0038】

また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

【産業上の利用可能性】

【0039】

本発明は、決められた軌道を移動する移動体に搭載される障害物検出システムに利用することができる。

【符号の説明】

【0040】

１００：ネットワーク制御装置、 １０１：カメラ群、 １０２：画像処理装置、 １０３：記録装置、 １０４：位置検出装置、 １０５：制御装置、 ２００，３００：列車の車両、 ２０１Ａ，２０１Ｂ，３０１Ａ，３０１Ｂ：カメラ、 ２０２Ａ，２０２Ｂ，３０２Ａ，３０２Ｂ：画角、 ２０３Ａ，２０３Ｂ，３０３Ａ，３０３Ｂ，３０３Ｃ：撮影イメージ、 ３４１：植物、 ３４２：植物の一部

【図1】

【図2】

【図3】