特許 6826421 設備巡視システム及び設備巡視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6826421

(24)【登録日】2021年1月19日

(45)【発行日】2021年2月3日

(54)【発明の名称】設備巡視システム及び設備巡視方法

(51)【国際特許分類】

   B61L 23/00 20060101AFI20210121BHJP

   H04N 7/18 20060101ALI20210121BHJP

【ＦＩ】

   B61L23/00 A

   H04N7/18 J

【請求項の数】9

【全頁数】18

(21)【出願番号】特願2016-235278(P2016-235278)

(22)【出願日】2016年12月2日

(65)【公開番号】特開2018-90099(P2018-90099A)

(43)【公開日】2018年6月14日

【審査請求日】2019年9月25日

(73)【特許権者】

【識別番号】000221616

【氏名又は名称】東日本旅客鉄道株式会社

(73)【特許権者】

【識別番号】504007202

【氏名又は名称】株式会社日立ハイテクファインシステムズ

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100118773

【弁理士】

【氏名又は名称】藤田 節

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】知原 信博

(72)【発明者】

【氏名】本田 誠彦

(72)【発明者】

【氏名】貴志 俊英

(72)【発明者】

【氏名】新保 雅士

(72)【発明者】

【氏名】堀江 聖岳

【審査官】 吉村 俊厚

(56)【参考文献】

【文献】 特開２０１０−００６２９５（ＪＰ，Ａ）

【文献】 特開２００４−３５２１０７（ＪＰ，Ａ）

【文献】 特開平０６−３２５２９８（ＪＰ，Ａ）

【文献】 特開２００７−１２９５６０（ＪＰ，Ａ）

【文献】 特開２０１６−１１０２１０（ＪＰ，Ａ）

【文献】 特開２０１１−０３１６４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６１Ｌ ２３／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

軌道上を移動する車両の周辺環境の画像を撮影する撮影装置と、
前記軌道上の位置ごとに位置合せ領域候補情報、参照位置合せ点群及び参照差分抽出点群を格納する記憶装置と、
現在の前記車両の位置に基づいて前記記憶装置から前記位置合せ領域候補情報を検索する領域検索部と、
前記画像から得られた三次元点群から、前記位置合せ領域候補情報に含まれる点群を位置合せ点群として分離する位置合せ領域分離部と、
前記参照位置合せ点群と前記位置合せ点群とを位置合せし、位置合せ情報を出力する位置合せ部と、
前記位置合せ情報によって変形された前記三次元点群と前記参照差分抽出点群との差分を抽出する差分抽出部と
を備える設備巡視システム。

【請求項2】

請求項１に記載の設備巡視システムにおいて、
前記位置合せ領域分離部は、前記三次元点群のうち、移動物体が少ない所定の空間内にある点群を前記位置合せ点群として出力する、設備巡視システム。

【請求項3】

請求項２に記載の設備巡視システムにおいて、
前記所定の空間は、前記車両に対して斜め上方向、上方向、又は、側面側の空間である、設備巡視システム。

【請求項4】

請求項３に記載の設備巡視システムにおいて、
前記所定の空間は、
前記軌道に沿って配置された電柱の一部及び前記電柱間の梁、又は
前記車両の側面側にある法面の一部
が含まれるように設定される、設備巡視システム。

【請求項5】

請求項１に記載の設備巡視システムにおいて、
前記領域検索部は、前記撮影装置の測定範囲に基づいて前記位置合せ領域候補情報を絞り込む、設備巡視システム。

【請求項6】

請求項１に記載の設備巡視システムにおいて、
現在の前記車両の位置に基づいて前記記憶装置から前記参照位置合せ点群及び前記参照差分抽出点群を検索する近傍検索部をさらに備える設備巡視システム。

【請求項7】

請求項１に記載の設備巡視システムにおいて、
複数の候補領域のうち、前記撮影装置を介して検出された三次元点の数が所定の数以上ある領域を位置合せ領域として決定する位置合せ領域選択部をさらに備える設備巡視システム。

【請求項8】

請求項７に記載の設備巡視システムにおいて、
前記位置合せ領域選択部は、前記複数の候補領域を優先順位に従って選択する、設備巡視システム。

【請求項9】

撮影装置によって、軌道上を移動する車両の周辺環境の画像を撮影するステップと、
領域検索部によって、現在の前記車両の位置に基づいて、記憶装置に格納されている前記軌道上の位置ごとに対応付けられた位置合せ領域候補情報を検索するステップと、
位置合せ領域分離部によって、前記画像から得られた三次元点群から、前記位置合せ領域候補情報に含まれる点群を位置合せ点群として分離するステップと、
位置合せ部によって、前記記憶装置に格納されている、前記軌道上の位置ごとに対応付けられた参照位置合せ点群と前記位置合せ点群とを位置合せし、位置合せ情報を出力するステップと、
差分抽出部によって、前記位置合せ情報によって変形された前記三次元点群と、前記記憶装置に格納されている、前記軌道上の位置ごとに対応付けられた参照差分抽出点群との差分を抽出するステップと
を含む設備巡視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、設備巡視システム及び設備巡視方法に関する。

【背景技術】

【0002】

鉄道線路周辺には、変電所、ビーム、架線など、様々な鉄道施設が存在している。これらの施設に異物が付着したり、破損が生じたりした場合、鉄道運行に支障が生じる。図１６は、鉄道施設への異物付着及び鉄道施設の破損の例を示す。架線にビニール袋や衣類などの飛来物１５Ａが付着した場合には、通過した鉄道車両を破損させる要因となる。架線を吊るハンガーに破損１５Ｂがあった場合は、架線が垂下し、通過した鉄道車両の破損や、地絡事故による他の鉄道電気設備の障害の要因となる。また、梁（ビーム）や架線を支持する部材の一部が脱落した場合は、当該設備の変形や倒壊などにより旅客や公衆に危険が及ぶ場合もある。これらの障害に関して、現在は、保守点検員が実際に鉄道線路周辺の状態を目視で点検し、異物及び破損の有無を検知している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２０２０１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

鉄道線路周辺設備を保守点検員が目視点検する場合、実際に線路に沿って保守点検員が移動し、鉄道施設に異物付着や破損が無いかを確認している。しかし、この点検方法では、保守点検員が関わる以上、例えば、（i）頻繁に点検を実施する事ができず、どうしても点検間隔が空いてしまう、（ii）保守点検員を動員することにより点検のたびに多大な費用が生じてしまう、（iii）保守点検員の能力や経験の違いにより点検結果に差異が生じる、等の課題が生じる。そこで、鉄道施設点検の自動化方法が検討されている。

【0005】

特許文献１は、障害物検出システムを開示している。特許文献１のシステムでは、車両に三次元センサを設置し、線路上を移動しながら周辺環境の三次元点群を取得し、取得した三次元点群から、車両の領域を示す運行車両領域内に入った障害物を検出する。しかし、特許文献１のシステムは、運行車両領域内に侵入した異物（草木など）を検知できるが、架線に付いた飛来物や、ハンガーの破損、変電施設の破損など、運行車両領域外の異物及び施設の破損（以下、単に「異常個所」という）を検知できないという課題があった。

【0006】

運行車両領域外の異常個所を検出する方法として、過去の正常な三次元点群と現在の三次元点群とを比較して異常個所を特定する技術がある。この技術では、過去の正常な三次元点群の重心位置と、現在の三次元点群の重心位置とを計算し、これらの重心位置間の差異を無くすように位置合せが行われる。そして、位置合せされた正常な三次元点群と現在の三次元点群とを比較し、差異となる点群が異常個所として検知される。

【0007】

しかし、上述の方法では、三次元点群内に移動物体が含まれる場合に、過去の正常な三次元点群と現在の三次元点群との間の位置合せが上手く行えない。図１７は、線路周辺の移動物体の具体例を示す。図１７に示すように、移動物体の例として、鉄道施設周辺に生育した風に揺らぐ植物１６Ａや、鉄道施設に隣接する道路を走行する自動車１６Ｂなどがある。現在の三次元点群の中に図１７で示すような移動物体の三次元点群が含まれる場合、現在の三次元点群の重心位置が、移動物体が含まれないときの三次元点群と比較してずれてしまう。この場合、過去の正常な三次元点群の重心位置と現在の三次元点群の重心位置との位置合せにずれが生じ、結果として、本来ならば差異のないはずの正常な個所が異常個所として検知されるという課題がある。

【0008】

そこで、本発明は、軌道（例えば、線路）上を移動する車両の周辺環境の異常個所を検出する際に、移動物体の有無による位置合せのずれに起因して正常な個所が異常個所として検知されるのを防ぐ技術を提供する。

【課題を解決するための手段】

【0009】

例えば、上記課題を解決するために、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例をあげるならば、軌道上を移動する車両の周辺環境の画像を撮影する撮影装置と、前記軌道上の位置ごとに参照位置合せ点群及び参照差分抽出点群を格納する記憶装置と、前記画像から得られた三次元点群から、位置合せ点群を分離する位置合せ領域分離部と、前記参照位置合せ点群と前記位置合せ点群とを位置合せし、位置合せ情報を出力する位置合せ部と、前記位置合せ情報によって変形された前記三次元点群と前記参照差分抽出点群との差分を抽出する差分抽出部とを備える設備巡視システムが提供される。

【0010】

他の例によれば、撮影装置によって、軌道上を移動する車両の周辺環境の画像を撮影するステップと、位置合せ領域分離部によって、前記画像から得られた三次元点群から、位置合せ点群を分離するステップと、位置合せ部によって、記憶装置に格納されている参照位置合せ点群と前記位置合せ点群とを位置合せし、位置合せ情報を出力するステップと、差分抽出部によって、前記位置合せ情報によって変形された前記三次元点群と、前記記憶装置に格納されている参照差分抽出点群との差分を抽出するステップとを含む設備巡視方法が提供される。

【発明の効果】

【0011】

本発明によれば、軌道（例えば、線路）上を移動する車両の周辺環境の異常個所を検出する際に、移動物体の有無による位置合せのずれに起因して正常な個所が異常個所として検知されるのを防ぐことができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】実施例１に係る鉄道設備巡視システムの構成を説明する図である。

【図2】実施例１に係る画像処理装置の構成を説明する図である。

【図3】点群ＤＢを説明するための図である。

【図4】距離画像から三次元点群への座標計算変換方法を説明する図である。

【図5】位置合せ用領域の一例を示す図である。

【図6】位置合せ用領域の一例を示す図である。

【図7】位置合せ用領域の一例を示す図である。

【図8】実施例１に係る位置合せ領域分離部の処理を説明するフローチャートの一例である。

【図9】実施例１の変形例を説明する図である。

【図10】実施例２に係る画像処理装置の構成を説明する図である。

【図11】領域ＤＢを説明するための図である。

【図12】位置合せ領域候補情報の絞り込み処理の一例である。

【図13】実施例２に係る位置合せ領域分離部の処理を説明するフローチャートの一例である。

【図14】実施例３に係る画像処理装置の構成を説明する図である。

【図15】実施例３に係る位置合せ領域選択部の処理を説明するフローチャートの一例である。

【図16】鉄道施設への異物付着及び鉄道施設の破損を説明する図である。

【図17】線路周辺の移動物体の具体例である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して本発明の実施例について説明する。添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

【0014】

以下の実施例は、軌道上を移動する車両の周辺環境において異常個所（例えば、異物、施設の破損など）を自動検出する技術に関する。ここで、軌道には、例えば、線路、ガイドレールなどが含まれる。また、車両には、営業車両、試験用車両、保守用車両などの軌道上を走行する各種車両が含まれる。

【0015】

［実施例１］
図１は、実施例１に係る鉄道設備巡視システムの構成を説明する図である。鉄道設備巡視システムは、車両１００と地上局１６０とから構成される。

【0016】

車両１００は、撮影装置１１０と、画像処理装置１２０と、車両位置特定装置１３０と、ストレージ（記憶装置）１４０と、通信装置１５０とを備える。なお、上述したように、車両１００は、鉄道線路に沿って進むことができるものであればよく、営業車両だけでなく、試験用車両や軌陸車などでも構わない。

【0017】

撮影装置１１０は、車両１００の周辺環境の距離画像２００を取得し、距離画像２００を画像処理装置１２０に出力する。撮影装置１１０は、ステレオカメラやＴＯＦ（Time-of-Flight）方式の三次元センサなど、距離画像を取得出来る方式の装置を備えていればよい。例えば、撮影装置１１０の検出距離は、０〜数十ｍであり、一例として、０〜３０ｍである。

【0018】

以下では、撮影装置１１０が車両１００の進行方向の前方範囲を撮影する例で説明する。なお、撮影装置１１０の撮影対象は、車両１００の前方範囲に限定されず、撮影装置１１０の設置位置を適宜変更することによって、車両１００の全方位のうち任意の範囲（例えば、進行方向に対して後方範囲、進行方向に対して直交する横方向の範囲など）を設定することができる。

【0019】

画像処理装置１２０は、撮影装置１１０から距離画像２００を入力情報として受け取り、車両位置特定装置１３０から車両位置情報２１０を入力情報として受け取り、ストレージ１４０から参照三次元点群情報２３０を取得する。画像処理装置１２０は、これらの入力情報に基づいて変化領域検出処理を実行し、変化領域情報２２０を通信装置１５０に出力する。ここで、変化領域とは、過去の正常な三次元点群と現在の三次元点群とを比較して検出される領域であり、この変化領域を異常個所（異物や破損個所）とみなすことができる。

【0020】

車両位置特定装置１３０は、ＧＰＳ（Global Positioning System）装置やＩＭＵ（Inertial Measurement Unit）装置などを用いて車両１００の現在位置などを特定し、車両位置情報２１０として画像処理装置１２０に出力する。ストレージ１４０は、画像処理装置１２０が読み込む情報をデータベースとして保持している。本実施例では、車両の現在の位置を緯度・経度及び方位で特定するが、車両の位置情報は、これに限定されない。車両の位置情報として、線路の起点からの距離（キロ程）や、線別（上り、下り、本線、副本線等）の情報が用いられてもよい。

【0021】

通信装置１５０は、変化領域情報２２０を入力情報として受け取り、変化領域検出信号２４０として地上局１６０に送信する。通信装置１５０と地上局１６０との間の通信には携帯電話網などの一般回線が利用されてもよいし、他のネットワークが利用されてもよい。地上局１６０の処理装置（図示省略）は、車両１００の通信装置１５０から発信された変化領域検出信号２４０を受け取り、表示装置（例えば、ディスプレイなど）を介して保守点検員への異常個所の提示を行ってもよい。また、地上局１６０は、書類生成装置（図示省略）を備えてもよく、当該書類生成装置を介して書面上に異常個所や発見日時・場所などの情報をレイアウトすることで設備点検報告書や補修作業指示書などの業務書類を自動的に生成してもよい。

【0022】

図２は、実施例１に係る画像処理装置の構成を示した図である。画像処理装置１２０は、点群変換部３１０と、位置合せ領域分離部３２０と、位置合せ部３３０と、近傍検索部３４０と、差分抽出部３５０とを備える。

【0023】

画像処理装置１２０は、例えば、汎用のコンピュータを用いて実現されてもよい。画像処理装置１２０の各処理部は、コンピュータ上で実行されるプログラムの機能として実現されてもよい。コンピュータは、ＣＰＵ（Central Processing Unit）などのプロセッサと、メモリなどの記憶部とを少なくとも備える。画像処理装置１２０の処理は、各処理部に対応するプログラムコードがメモリに格納され、プロセッサが各プログラムコードを実行することによって実現されてもよい。

【0024】

点群ＤＢ（Database）３００は、ストレージ１４０上に実装されたデータベースである。図３は、点群ＤＢ３００の一例である。点群ＤＢ３００は、位置情報５００と、参照三次元点群情報５４０とを構成項目として含む。点群ＤＢ３００は、線路上の各位置（位置情報５００）において正常状態であることが確認されている過去の点群情報を含む。他の言い方をすれば、点群ＤＢ３００は、正常状態であることが確定している車両１００の周辺環境に関連する基準情報を格納しているＤＢである。

【0025】

参照三次元点群情報５４０は、参照位置合せ点群５１０と、参照差分抽出点群５２０とを含む。参照位置合せ点群５１０は、位置合せ部３３０における位置合せ処理で使用される点群である。参照位置合せ点群５１０は、過去に線路上を走行した際に、線路上の各位置の撮影装置１１０の画像から取得された点群でもよい。例えば、参照位置合せ点群５１０は、過去に車両１００が線路上を走行した際に、線路上の各位置において図５の領域５５０内で取得した点群から構成される。参照差分抽出点群５２０は、変化領域を検出するための基準となる点群である。例えば、参照差分抽出点群５２０は、過去に車両１００が線路上を走行した際に、線路上の各位置の撮影装置１１０の画像から取得された点群である。このように、点群ＤＢ３００では、参照位置合せ点群５１０及び参照差分抽出点群５２０と、その撮影個所の位置情報５００とが対応付けられて保持されている。

【0026】

位置情報５００は、線路上の各位置を、緯度・経度及び方位の情報として保持している。参照位置合せ点群５１０と参照差分抽出点群５２０は、それぞれ、ＸＹＺ座標の集合を保持している。なお、上述したように、位置情報５００として、線路の起点からの距離（キロ程）や、線別（上り、下り、本線、副本線等）の情報が用いられてもよい。

【0027】

上記では、車両１００を実際に線路上で走行させて点群ＤＢ３００を作成した例を説明したが、これに限定されない。点群ＤＢ３００は、線路及びその周辺環境の設計情報（例えば、ＣＡＤデータ）から作成されてもよい。この構成によれば、設計情報を基準として変化領域を検出できる。また、設計情報を基準として点群ＤＢ３００を作成した場合、線路及びその周辺環境を建設した後に車両１００を走行させて、周辺環境が設計通りに建築されたかを確認する用途にも適用することができる。これは、画像処理装置１２０によって検出される変化領域情報２２０が、設計情報との差分を表すためであり、これにより、設計通りに建築されていない個所を検出できる。

【0028】

点群変換部３１０は、撮影装置１１０から入力された距離画像２００を三次元点群４００に変換し、三次元点群４００を位置合せ領域分離部３２０に出力する。図４は、距離画像２００から三次元点群４００への座標計算変換方法を説明する図である。距離画像２００の各画素は、対象までの距離Ｌと画像中心からのＺＹ平面上の角度φとＸＺ平面上の角度θによって与えられる。点群変換部３１０は、数１に基づいて、距離画像２００から三次元点群４００の各点の座標への変換処理を行う。

【0029】

【数1】

【0030】

位置合せ領域分離部３２０は、点群変換部３１０から三次元点群４００を入力情報として受け取り、三次元点群４００内のうち位置合せ用領域に含まれる点群を位置合せ点群４１０として位置合せ部３３０に出力し、三次元点群４００の全てを差分抽出点群４２０として差分抽出部３５０に出力する。なお、位置合せ用領域を定義するパラメータ３６０は、例えば、ストレージ１４０に保持されていてもよく、位置合せ領域分離部３２０は、位置合せ用領域を定義するパラメータ３６０をストレージ１４０から取得することができる。

【0031】

図５は、位置合せ用領域に含まれる点群を位置合せ点群として抽出する例である。位置合せ用領域５５０は、複数のパラメータによって設定され、例えば、車両１００の前方かつ上方の空間である。車両１００の前方かつ上方の空間（車両１００に対して斜め上方向の空間）は、架線及び架線を支持する構造物などが主に含まれる領域であり、移動物体が少ないと思われる領域である。例えば、車両１００からＰｆ分だけ前方の位置で、かつ、レール位置からＰｖ分の高さの位置を基準として、位置合せ用領域５５０が設定される。位置合せ用領域５５０は、高さＰ_Ｈ、奥行きＰ_Ｄ、幅Ｐ_Ｗの三次元空間として表される。

【0032】

例えば、位置合せ用領域５５０として、駅舎内を移動する人や、隣接する線路を走行する別の列車、隣接する道路を走行する車両などの移動物体が少ないと思われる空間が設定されるのが好ましい。例えば、撮影装置１１０を運転席に設置した場合は、Ｐｆ＝３〜６ｍ、Ｐｖ＝４〜８ｍ、Ｐ_Ｈ＝２〜６ｍ、Ｐ_Ｗ＝３〜２０ｍ、Ｐ_Ｄ＝１０〜７０ｍの範囲で設定されるのが好ましい。

【0033】

例えば、Ｐｆ＝３ｍ、Ｐｖ＝４ｍ、Ｐ_Ｈ＝３ｍ、Ｐ_Ｗ＝１０ｍ、Ｐ_Ｄ＝７０ｍ等と設定することで、位置合せ用領域５５０として、移動物体の少ない領域を指定することができる。なお、これらのパラメータは、鉄道規格や車両の車高、車両に取り付けられたセンサの高さ等の運用環境に併せて外部から調整可能に構成されてもよい。

【0034】

図６は、位置合せ用領域５５０の一例である。位置合せ用領域５５０は、移動物体が存在せず、かつ、環境などによる状態の変化が少ない物体が含まれるように設定されるのが好ましい。一例として、位置合せ用領域５５０は、線路に沿って配置された電柱６１０の少なくとも一部及び電柱６１０間に渡された梁（ビーム）６２０の少なくとも一部が含まれるように設定される。具体的には、図６に示すように、位置合せ用領域５５０を定義するパラメータ（Ｐ_Ｗ、Ｐ_Ｈなど）は、電柱６１０の上端部及び梁６２０が含まれるように設定されてもよい。

【0035】

図７は、位置合せ用領域５５０の別の例である。移動物体が存在せず、かつ、環境などによる状態の変化が少ない物体が含まれるという観点から、位置合せ用領域５５０は、車両１００の側面側にある法面７１０が含まれるように設定されてもよい。法面とは、線路を敷くときに、地盤を切削又は盛り上げて設けた斜面部分である。

【0036】

なお、上述した位置合せ用領域５５０は一例であり、これらに限定されない。撮影装置１１０が、車両の屋根に配置されてもよく、車両に対して上方向の空間が位置合せ用領域５５０として使用されてもよい。また、別の例として、位置合せ用領域５５０は、鉄道線路に隣接するビルなどの建造物や、駅のホームの屋根などが入るように設定されてもよい。

【0037】

図８は、位置合せ領域分離部３２０の処理を説明するフローチャートの一例である。位置合せ領域分離部３２０は、点群変換部３１０から入力された三次元点群４００の各点を対象点群として、まず、位置合せ領域判定を行う（ステップ８００）。位置合せ領域分離部３２０は、対象点群の座標が位置合せ用領域５５０内に存在しているか否かを判定する。

【0038】

ステップ８００において、対象となる点が位置合せ用領域５５０内に存在すると判定された場合、位置合せ領域分離部３２０は、その点を位置合せ点群４１０に追加し（ステップ８１０）、その後、ステップ８２０に進む。

【0039】

一方、ステップ８００において、対象となる点が位置合せ用領域５５０内に存在しないと判定された場合、ステップ８２０に進む。

【0040】

位置合せ領域分離部３２０は、対象となる点を差分抽出点群４２０に追加する（ステップ８２０）。位置合せ領域分離部３２０は、三次元点群４００の全点に対して図８のフローが終了した後に、位置合せ点群４１０を位置合せ部３３０に出力し、差分抽出点群４２０を差分抽出部３５０に出力する。

【0041】

近傍検索部３４０は、車両位置特定装置１３０から車両位置情報２１０を入力情報として受け取る。近傍検索部３４０は、車両位置情報２１０を用いて点群ＤＢ３００を検索し、車両位置情報２１０の最近傍となる位置情報５００に紐づけられている参照三次元点群情報５４０を読み込む。例えば、車両位置情報２１０（Ｎｌａｔ、Ｎｌｏｎ）とした時、近傍検索部３４０は、数２の評価値Ｖが最も小さくなる位置情報５００（Ｒｌａｔ、Ｒｌｏｎ）を最近傍の位置情報であると判定してもよい。

【0042】

【数2】

【0043】

なお、別の例として、位置情報５００として、線路の起点からの距離（キロ程）を用いる場合には、近傍検索部３４０は、現在のキロ程と位置情報５００のキロ程との差分が最も小さくなる位置情報５００を最近傍の位置情報であると判定してもよい。

【0044】

近傍検索部３４０は、参照三次元点群情報５４０の参照位置合せ点群５１０を位置合せ部３３０に出力し、参照三次元点群情報５４０の参照差分抽出点群５２０を差分抽出部３５０に出力する。

【0045】

位置合せ部３３０は、位置合せ領域分離部３２０から位置合せ点群４１０を入力情報として受け取り、近傍検索部３４０から参照位置合せ点群５１０を入力情報として受け取る。位置合せ部３３０は、参照位置合せ点群５１０に対して位置合せ点群４１０を位置合せする。位置合せ部３３０は、点群の位置合せ方法として、一般的に知られているＩＣＰ（Iterative Closest Point）法やＮＤＴ（Normal Distributions Transformation）法を用いてもよい。位置合せ部３３０は、位置合せ点群４１０を回転及び並進移動させて、参照位置合せ点群５１０との誤差評価値が最も小さくなる回転及び並進移動パラメータ（回転及び並進移動量）を求める。以降では、回転及び並進移動パラメータを「姿勢情報４３０」と称する。

【0046】

位置合せ部３３０は、求めた回転及び並進移動パラメータを、姿勢情報（位置合せ情報）４３０として差分抽出部３５０に出力する。なお、回転及び並進移動パラメータＡと、参照位置合せ点群５１０の座標ベクトルＲと、対応する位置合せ点群４１０の座標ベクトルＰとは、数３のような関係になる。

【0047】

【数3】

【0048】

差分抽出部３５０は、位置合せ領域分離部３２０から差分抽出点群４２０を入力情報として受け取り、近傍検索部３４０から参照差分抽出点群５２０を入力情報として受け取り、位置合せ部３３０から姿勢情報４３０を入力情報として受け取る。

【0049】

差分抽出部３５０は、姿勢情報４３０に基づいて差分抽出点群４２０を変形する。詳細には、差分抽出部３５０は、姿勢情報４３０に基づいて差分抽出点群４２０を回転及び並進移動し、変形三次元点群を算出する。差分抽出部３５０は、変形三次元点群の各点（変形した各点の座標）に対して参照差分抽出点群５２０の最近傍点の距離を計算する。差分抽出部３５０は、距離が閾値ＴＬ以上離れている点を変化領域情報２２０として通信装置１５０に出力する。

【0050】

数４は、姿勢情報４３０をＡ、差分抽出点群４２０の各点の座標をＰ、Ｐの最近傍の参照差分抽出点群５２０の点の座標をＲ、閾値ＴＬとした時に、差分抽出点群４２０の各点を変化領域情報２２０に含めるか否かの判定を表したものである。

【0051】

【数4】

【0052】

差分抽出部３５０は、差分抽出点群４２０の各点の座標Ｐを姿勢情報Ａに従って変形し、Ｐの最近傍の参照差分抽出点群５２０の点の座標Ｒとの距離が閾値ＴＬより大きければ、差分抽出点群４２０のその点を変化領域情報２２０として出力する。それ以外であれば、差分抽出部３５０は、差分抽出点群４２０のその点を変化領域情報２２０として扱わない。ここで説明した差分抽出処理は、一例であり、これに限定されない。

【0053】

本実施例によれば、車両１００に搭載した撮影装置（例、三次元センサなど）１１０が、車両周辺の三次元点群データを取得する。位置合せ領域分離部３２０が、三次元点群４００のうち、移動物体が少ない空間内にある点群を位置合せ点群４１０として分離する。これにより、移動物体が少ない空間での位置合せ処理が可能となる。位置合せ部３３０は、過去の三次元点群（参照位置合せ点群５１０）と現在の三次元点群（位置合せ点群４１０）とを安定して位置合せすることができる。結果として、差分抽出部３５０は、過去の正常な状態の三次元点群（参照差分抽出点群５２０）と現在の三次元点群（差分抽出点群４２０）の差分を求めることにより、運行車両領域外の異物や、鉄道関連施設の破損などの異常個所を検出する。

【0054】

従来では、過去の正常な三次元点群の重心位置と現在の三次元点群の重心位置との位置合せにずれが生じ、結果として、本来ならば差異のないはずの正常な個所が異常個所として検知されるという課題があった。これに対して、本実施例によれば、移動物体が存在する領域をなるべく排除した位置合せ用領域５５０を設定し、当該位置合せ用領域５５０から位置合せ用の点群を抽出する。したがって、本実施例は、移動物体の有無による位置合せのずれに起因して正常な個所が異常個所として検知されるのを防ぐことができる。したがって、運行車両領域外の鉄道関連施設の異物や破損を安定して検出することができる。

【0055】

なお、上記の実施例は一例であり、様々な変更が可能である。例えば、差分抽出部３５０は、変化領域情報２２０を異常情報としてストレージ１４０に格納してもよい。また、車両１００が表示装置を備える場合、差分抽出部３５０は、変化領域情報２２０を表示装置に出力し、表示装置を介して車両１００の運転者などに異物や施設の破損を通知してもよい。

【0056】

例えば、撮影装置１１０は、カメラ画像（二次元画像）を出力するカメラセンサをさらに含んでもよく、地上局１６０は、変化領域情報２２０とともに、二次元画像を受け取ってもよい。地上局１６０の処理装置が、差分抽出部３５０によって抽出された変化領域（差分となる三次元点群）の各点と二次元画像の各画素の対応関係を求め、当該対応関係を用いて二次元画像上に異常個所を示す情報（例えば、枠などによるマーキング）を重ね合わせてもよい。そして、地上局１６０の処理装置が、当該二次元画像を表示装置を介して表示してもよい。図９の上の図は、二次元画像に異常個所を示す情報を表示した一例である。異常個所の表示処理は、このようなマーキングに限定されず、異常個所が認識できる他の方法で行われてよい。この構成によれば、異常個所を三次元の情報で把握した上で、ユーザが見やすい二次元画像で異常個所を提示することができる。

【0057】

また、地上局１６０の書類生成装置は、上述の二次元画像、及び、異常個所の発見日時・場所などの情報を所定のフォーマットに従ってレイアウトして、設備点検報告書又は補修作業指示書などの業務書類を自動生成してもよい。図９の下の図は、異常個所が示された二次元画像を所定のフォーマット内に配置して、業務書類を生成する一例である。二次元画像以外の領域には、異常を検知した時間（日付）及び位置、並びに、業務書類の作成者などの各種情報が入力されてもよい。なお、地上局１６０側の処理装置及び書類生成装置は、車両１００に搭載されてもよい。

【0058】

［実施例２］
図１０は、実施例２に係る画像処理装置１２０の構成を説明する図である。上述の実施例１で説明した構成要素については、同じ符号を付して説明を省略する。

【0059】

画像処理装置１２０は、点群変換部３１０と、位置合せ領域分離部９１０と、位置合せ部３３０と、近傍検索部３４０と、差分抽出部３５０と、領域検索部９３０とを備える。領域ＤＢ９２０は、ストレージ１４０上に実装されたデータベースである。

【0060】

図１１は、領域ＤＢ９２０の一例である。領域ＤＢ９２０は、基準位置情報１０１０と、位置合せ領域候補情報１０２０とを構成項目として含む。領域ＤＢ９２０は、線路上の各基準位置（基準位置情報１０１０）において位置合せ領域の候補となる点群の情報を含む。実施例１の位置合せ領域分離部３２０は、予め決められた空間（位置合せ用領域５５０）内にある点群を位置合せ点群４１０として分離するが、実施例２の位置合せ領域分離部９１０は、領域ＤＢ９２０の位置合せ領域候補情報１０２０に応じて、位置合せ点群９５０を抽出する空間を変化させることができる。領域ＤＢ９２０は、軌道（鉄道線路）上の位置ごとに適切な位置合せ領域候補の情報を保持している。一例として、領域ＤＢ９２０は、ある走行位置では図６の領域（電柱及び梁）を位置合せ領域候補の情報として保持し、別の走行位置では図７の領域（法面）を位置合せ領域候補の情報として保持してもよい。したがって、位置合せ部３３０での位置合せ処理の精度が向上し、その結果、差分抽出部３５０での変化領域情報の抽出の精度も向上する。

【0061】

領域ＤＢ９２０では、基準位置情報１０１０及び位置合せ領域候補情報１０２０が対応付けられて保持されている。基準位置情報１０１０は、基準位置を表す緯度・経度及び、基準方向を表す方位の情報を保持している。なお、基準位置情報１０１０として、線路の起点からの距離（キロ程）や、線別（上り、下り、本線、副本線等）の情報が用いられてもよい。位置合せ領域候補情報１０２０は、鉄道線路の周辺環境において移動物体が少ない複数の領域を、位置合せの候補領域として保持している。位置合せ領域候補情報１０２０は、基準位置、基準方向を原点とした相対座標で四面体の頂点４点のＸＹＺ座標の集合を保持している。この例では、位置合せ領域候補情報１０２０が、四面体の頂点４点の情報を保持するが、これに限定されず、他の任意の空間の情報を保持してよい。

【0062】

領域検索部９３０は、車両位置特定装置１３０から車両位置情報２１０を入力情報として受け取る。領域検索部９３０は、車両位置情報２１０を用いて領域ＤＢ９２０を検索し、車両位置情報２１０の最近傍となる基準位置情報１０１０に紐づけられている位置合せ領域候補情報１０２０を読み込む。

【0063】

領域検索部９３０は、位置合せ領域候補情報１０２０をそのまま位置合せ用領域９４０として位置合せ領域分離部９１０に出力してもよいが、位置合せ領域候補情報１０２０を所定の条件を用いて絞り込んでもよい。ここで使用される条件は、例えば、三次元センサの測定範囲の情報を含んでもよい。

【0064】

図１２は、位置合せ領域候補情報の絞り込み処理の一例である。領域検索部９３０は、領域ＤＢ９２０から、位置合せ領域候補情報１０２０として３つの位置合せ領域候補１１００、１１１０、１１２０の情報を取得したとする。領域検索部９３０は、ストレージ１４０に格納されている絞り込み用の条件を読み込む。ここで使用される条件は、三次元センサの測定範囲の情報であり、車両前方のセンサ近接限界Ｌｆとセンサ限界Ｌｌの情報を含む。

【0065】

領域検索部９３０は、センサ近接限界Ｌｆとセンサ限界Ｌｌの情報に基づいて、第１センサ限界面１１３０及び第２センサ限界面１１４０を設定する。領域検索部９３０は、位置合せ領域候補１１００、１１１０、１１２０で定義される領域で、かつ、第１センサ限界面１１３０と第２センサ限界面１１４０との間の空間に含まれる領域を位置合せ用領域９４０として抽出する。領域検索部９３０は、抽出された位置合せ用領域９４０を位置合せ領域分離部９１０に出力する。この構成によれば、領域検索部９３０が、条件によって位置合せ領域候補を絞り込んで位置合せ領域分離部９１０に出力するため、その後に実施される処理の計算量が低減され、その結果、位置合せ領域分離部９１０での点群の分離処理の速度及び位置合せ部３３０での位置合せ処理の速度を向上させることができる。

【0066】

位置合せ領域候補（四面体）１１００は、車両１００の進行方向に対して第１センサ限界面１１３０よりも奥に存在するため、位置合せ用領域９４０に含まれない。一方、位置合せ領域候補（四面体）１１１０は、四面体の一部が第１センサ限界面１１３０よりも奥に存在するため、その部分は位置合せ用領域９４０に含まれず、残りの部分が位置合せ用領域９４０に含まれる。また、位置合せ領域候補（四面体）１１２０は、第１センサ限界面１１３０と第２センサ限界面１１４０との間の空間に存在するため、位置合せ領域候補１１２０の全ての部分が位置合せ用領域９４０に含まれる。

【0067】

位置合せ領域分離部９１０は、点群変換部３１０から三次元点群４００を入力情報として受け取り、車両１００の現在の位置に対応する位置合せ用領域９４０を入力情報として受け取る。位置合せ領域分離部９１０は、三次元点群４００内のうち、位置合せ用領域９４０に含まれる点群を位置合せ点群９５０として位置合せ部３３０に出力し、三次元点群４００の全てを差分抽出点群４２０として差分抽出部３５０に出力する。

【0068】

図１３は、位置合せ領域分離部９１０の処理を説明するフローチャートの一例である。位置合せ領域分離部９１０は、点群変換部３１０から入力された三次元点群４００の各点を対象点群として、まず、位置合せ領域判定を行う（ステップ１２００）。位置合せ領域分離部９１０は、対象点群の座標が、領域検索部９３０から出力された位置合せ用領域９４０内に存在しているか否かを判定する。

【0069】

ステップ１２００において、対象となる点が位置合せ用領域９４０内に存在すると判定された場合、位置合せ領域分離部９１０は、その点を位置合せ点群９５０に追加し（ステップ１２１０）、その後、ステップ１２２０に進む。

【0070】

一方、ステップ１２００において、対象となる点が位置合せ用領域９４０内に存在しないと判定された場合、ステップ１２２０に進む。

【0071】

位置合せ領域分離部９１０は、対象となる点を差分抽出点群４２０に追加する（ステップ１２２０）。位置合せ領域分離部９１０は、三次元点群４００の全点に対して図１３のフローが終了した後に、位置合せ点群９５０を位置合せ部３３０に出力し、差分抽出点群４２０を差分抽出部３５０に出力する。

【0072】

なお、本実施例の点群ＤＢ３００の参照位置合せ点群５１０は、位置合せ用領域９４０に対応する過去の点群を保持している。位置合せ部３３０は、参照位置合せ点群５１０に対して位置合せ点群９５０を位置合せする。なお、近傍検索部３４０の処理、及び、差分抽出部３５０の処理などは、実施例１と同様である。

【0073】

本実施例によれば、領域検索部９３０が、車両位置特定装置１３０の車両位置情報２１０に基づいて、領域ＤＢ９２０から既知の周辺の位置合せ領域候補情報１０２０を検索する。位置合せ領域分離部９１０は、位置合せ領域候補情報１０２０をもとに、三次元点群４００から位置合せ点群９５０を抽出することができる。本実施例は、実施例１と比べて、車両の位置毎に柔軟に位置合せ領域を指定することができる。例えば、図５の例では、位置合せ点群を抽出するための空間が、線路のどの位置でも車両１００の前方かつ上方の限られた空間であったが、本実施例では、走行位置ごとに、鉄道線路に隣接するビルなどの建造物のように明らかに移動物体が含まれない領域も位置合せ領域として利用することができる。特に、車両１００の位置ごとに鉄道線路の周辺環境が変化するため、各位置に適した位置合せ領域を指定することができ、安定した三次元点群の位置合せ処理及び差分抽出処理が可能となる。

【0074】

なお、上記の実施例は一例であり、様々な変更が可能である。例えば、設備巡視システムは、領域ＤＢ９２０を修正するためのインタフェース及び処理部（ＤＢ修正部）を備えてもよい。例えば、ユーザが差分抽出部３５０から出力された変化領域情報２２０を表示装置で確認し、変化領域情報２２０に誤りが多い場合、位置合せ領域の指定が適切でない場合が考えられる。ユーザは表示装置上の所定のインタフェースを介して修正情報を入力し、ＤＢ修正部が、入力された修正情報に基づいて領域ＤＢ９２０の位置合せ領域候補情報１０２０を修正してもよい。

【0075】

［実施例３］
図１４は、実施例３に係る画像処理装置１２０の構成を説明する図である。上述の実施例１で説明した構成要素については、同じ符号を付して説明を省略する。

【0076】

画像処理装置１２０は、図２の構成に対して、位置合せ領域選択部１３１０をさらに備える。位置合せ領域選択部１３１０は、点群変換部３１０から三次元点群４００を入力情報として受け取り、ストレージ１４０に格納された候補領域情報１３００を入力情報として取得する。候補領域情報１３００は、複数の候補領域の情報と、各候補領域の優先順位の情報とを含む。位置合せ領域選択部１３１０は、優先順位に従って、撮影装置１１０を介して検出された三次元点群４００の各候補領域内の三次元点の数を判定し、三次元点の数が所定の数以上ある領域を位置合せ領域として選択する。

【0077】

図１５は、位置合せ領域選択部１３１０の処理を説明するフローチャートの一例である。ここでは、一例として、候補領域情報１３００が、第１優先順位としての第１の領域の情報と、第２優先順位としての第２の領域の情報とを含む。例えば、第１の領域は、図６に示した電柱６１０及び梁６２０が含まれる領域であり、第２の領域は、図７に示した車両１００の側面側の領域である。なお、候補領域情報１３００は、３つ以上の領域の情報を保持してもよい。

【0078】

位置合せ領域選択部１３１０は、候補領域情報１３００を取得する。そして、候補領域情報１３００は、まず、撮影装置１１０を介して検出された三次元点群４００の第１の領域内の三次元点の数がしきい値Ｔｈ以上あるかを判定する（ステップ１４００）。

【0079】

ステップ１４００において、第１の領域内の三次元点の数がしきい値Ｔｈ以上ある場合、ステップ１４２０に進む。位置合せ領域選択部１３１０は、第１の領域を位置合せ領域として決定する（ステップ１４２０）。その後、位置合せ領域選択部１３１０は、位置合せ領域情報１３２０を位置合せ領域分離部３２０へ出力する。

【0080】

ステップ１４００において、第１の領域内の三次元点の数がしきい値Ｔｈ未満の場合、ステップ１４１０に進む。位置合せ領域選択部１３１０は、位置合せ領域を、第２優先順位である第２の領域に変更する（ステップ１４１０）。その後、ステップ１４００へ戻り、ステップ１４００の条件を満たせば、位置合せ領域選択部１３１０は、第２の領域を位置合せ領域として決定する（ステップ１４２０）。なお、候補領域が３つ以上あれば、その数だけステップ１４００及び１４１０を繰り返し実行し、位置合せ領域を決定すればよい。

【0081】

本実施例によれば、位置合せ領域選択部１３１０が、その時に撮影装置１１０を介して検出された位置合せ候補領域内の三次元点の数に応じて、位置合せ領域を選択することができる。例えば、図６に示した電柱６１０及び梁６２０は、線路に沿って、およそ３０〜６５ｍ間隔で配置されている。したがって、車両１００の走行中に、撮影装置１１０の測定範囲内に電柱６１０及び梁６２０が含まれない状況が生じる。この場合、第１の領域（車両１００の前方かつ上方の領域）内に点群がないため、位置合せが上手く行えない。本実施例では、このような場合でも、位置合せ領域選択部１３１０が、第２の領域（車両１００の側面側の領域）を位置合せ領域として選択し、第２の領域内に三次元点の数が所定の数以上あれば、第２の領域を位置合せ領域として決定する。このように、本実施例によれば、三次元点群が検出された領域を位置合せ領域として選択することができる。

【0082】

また、本実施例によれば、複数の候補領域には、優先順位が付けられている。位置合せ領域選択部１３１０は、優先順位が高く、かつ、三次元点の数が所定の数以上ある領域を位置合せ領域として決定することができる。

【0083】

なお、本実施例では、点群ＤＢ３００の参照位置合せ点群５１０が、候補領域情報１３００に含まれる領域に対応する情報を保持していればよい。他の処理は、実施例１と同様である。

【0084】

また、本実施例は、第２実施例にも適用可能である。位置合せ領域選択部１３１０が、領域検索部９３０から複数の位置合せ領域を入力情報として受け取り、その複数の位置合せ領域の中で三次元点の数が所定の数以上存在する領域を位置合せ領域として決定してもよい。位置合せ領域選択部１３１０は、決定した位置合せ領域の情報を位置合せ領域分離部９１０に出力すればよい。

【0085】

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。

【0086】

上述の実施例では、近傍検索部３４０が現在の位置情報に基づいて点群ＤＢ３００から参照三次元点群情報５４０を取得しているが、この構成に限定されない。例えば、参照三次元点群情報５４０を位置毎にナンバリングし、番号に紐付けて参照三次元点群情報５４０を取得する方法や、線路上にタグを設置し、同一タグの参照三次元点群情報５４０を取得する方法などが実施されてもよい。

【0087】

上記の画像処理装置１２０の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤなどの記録媒体に置くことができる。また、上記の画像処理装置１２０の各構成などは、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。

【0088】

上述の実施例において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【符号の説明】

【0089】

１００ …車両
１１０ …撮影装置
１２０ …画像処理装置
１３０ …車両位置特定装置
１４０ …ストレージ（記憶装置）
１５０ …通信装置
１６０ …地上局
２００ …距離画像
２１０ …車両位置情報
２２０ …変化領域情報
２３０ …参照三次元点群情報
２４０ …変化領域検出信号
３００ …点群ＤＢ
３１０ …点群変換部
３２０ …位置合せ領域分離部
３３０ …位置合せ部
３４０ …近傍検索部
３５０ …差分抽出部
４００ …三次元点群
４１０ …位置合せ点群
４２０ …差分抽出点群
４３０ …姿勢情報（位置合せ情報）
５００ …位置情報
５１０ …参照位置合せ点群
５２０ …参照差分抽出点群
５４０ …参照三次元点群情報
９１０ …位置合せ領域分離部
９２０ …領域ＤＢ
９３０ …領域検索部
９４０ …位置合せ領域
９５０ …位置合せ点群
１０１０ …基準位置情報
１０２０ …位置合せ領域候補情報
１３１０ …位置合せ領域選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】