特許 7473491 異常検出装置及び異常検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】異常検出装置及び異常検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240416BHJP

【ＦＩ】

G06T7/00 610

【請求項の数】 9

(21)【出願番号】P 2021011641

(22)【出願日】2021-01-28

(65)【公開番号】P2022115156

(43)【公開日】2022-08-09

【審査請求日】2023-05-15

(73)【特許権者】

【識別番号】000173784

【氏名又は名称】公益財団法人鉄道総合技術研究所

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】松村 周

(72)【発明者】

【氏名】根津 一嘉

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０２０－１４９２８６（ＪＰ，Ａ）

【文献】特開２０１８－１１４９３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ３／４０ － ３／４０９２

Ｈ０４Ｎ １／３８７ － １／３９３

(57)【特許請求の範囲】

【請求項1】

第１の線条に係合する第１の係合部分と、第２の線条に係合する第２の係合部分と、前記第１の係合部分及び前記第２の係合部分間を結ぶ中間部分とを有する電車線金具を含むように当該電車線金具が設けられた架空電車線が写っている変換前画像を、所定サイズの判定用準備画像に変換した上で、画像認識処理による前記電車線金具の異常検出処理を行う異常検出装置であって、
前記変換前画像を前記電車線金具の長手方向に沿った方向において複数の範囲に分割する分割手段であって、前記中間部分が写っている範囲（以下この範囲を「中間範囲」という）を１つの範囲として分割する分割手段と、
前記変換前画像を少なくとも前記電車線金具の長手方向に沿って拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成手段であって、前記拡縮の許容変化率を、前記中間範囲以外の範囲よりも前記中間範囲のほうを大きくして拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成手段と、
を備える異常検出装置。

【請求項2】

前記分割手段は、前記変換前画像を、前記第１の係合部分が写っている第１の係合部分範囲と、前記中間範囲と、前記第２の係合部分が写っている第２の係合部分範囲とに分割する、
請求項１に記載の異常検出装置。

【請求項3】

前記判定用準備画像生成手段は、前記第１の係合部分範囲及び前記第２の係合部分範囲を拡縮せず、前記中間範囲のみを拡縮することで前記所定サイズの前記判定用準備画像を生成する、
請求項２に記載の異常検出装置。

【請求項4】

前記架空電車線を撮影したオリジナル撮影画像のスケーリング処理及び切り出し処理を行って前記オリジナル撮影画像から前記変換前画像を抽出する変換前画像抽出手段であって、前記第１の係合部分範囲及び前記第２の係合部分範囲が所定のサイズ条件を満たすように前記スケーリング処理及び前記切り出し処理を行う変換前画像抽出手段、
を更に備える請求項２又は３に記載の異常検出装置。

【請求項5】

前記変換前画像抽出手段は、前記第１の線条及び前記第２の線条が前記変換前画像中の所定位置に写っているように、前記切り出し処理を行う、
請求項４に記載の異常検出装置。

【請求項6】

前記オリジナル撮影画像には、撮影した撮影装置と前記架空電車線との相対位置関係を示すデータが対応づけられており、
前記変換前画像抽出手段は、前記相対位置関係を示すデータを用いて、前記スケーリング処理及び前記切り出し処理を行う、
請求項４又は５に記載の異常検出装置。

【請求項7】

前記判定用準備画像のサイズを変換することで前記画像認識処理用の正規化画像を生成する正規化画像生成手段、
を更に備える請求項２～６の何れか一項に記載の異常検出装置。

【請求項8】

前記判定用準備画像のうち、前記第１の係合部分範囲に係る画像と、前記中間範囲に係る画像と、前記第２の係合部分範囲に係る画像とを、それぞれシングルチャンネル画像としたマルチチャンネル画像を生成することで、前記画像認識処理用の正規化画像を生成する正規化画像生成手段、
を更に備える請求項２～６の何れか一項に記載の異常検出装置。

【請求項9】

第１の線条に係合する第１の係合部分と、第２の線条に係合する第２の係合部分と、前記第１の係合部分及び前記第２の係合部分間を結ぶ中間部分とを有する電車線金具を含むように当該電車線金具が設けられた架空電車線が写っている変換前画像を、所定サイズの判定用準備画像に変換した上で、画像認識処理による前記電車線金具の異常検出処理を行う異常検出方法であって、
前記変換前画像を前記電車線金具の長手方向に沿った方向において複数の範囲に分割する分割ステップであって、前記中間部分が写っている範囲（以下この範囲を「中間範囲」という）を１つの範囲として分割する分割ステップと、
前記変換前画像を少なくとも前記電車線金具の長手方向に沿って拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成ステップであって、前記拡縮の許容変化率を、前記中間範囲以外の範囲よりも前記中間範囲のほうを大きくして拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成ステップと、
を含む異常検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電車線金具の異常検出を行う異常検出装置等に関する。

【背景技術】

【0002】

鉄道においては、保守員の労力の低減のため、長大な構造物である架空電車線の検査を、走行する鉄道車両で自動的に行うことで効率化を達成したいという要望がある。自動化したい架空電車線の検査項目の一つに、架空電車線に設けられた電車線金具の検査がある。この要望に応えるため、鉄道車両の屋根上に設置した撮影装置（例えば、ラインセンサカメラ）を用いて架空電車線を撮影し、撮影画像に写っている電車線金具を検出して外観上の異常を検出するといった、画像処理による電車線金具の異常検出の技術の開発・実用化が進められている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１４９２８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、架空電車線は、パンタグラフの摺り板の局所的な摩耗を避けるため、軌道中心に対して左右に（まくらぎ方向に）ジグザグに張られている。このため、列車位置に応じて、鉄道車両の屋根上に設置された撮影装置が架空電車線に近づいたり遠ざかったりして、その相対位置関係が異なる。これにより、電車線の撮影画像に写っている電車線金具の位置や大きさが列車位置に応じて異なることに起因して、異常検出精度が低くなる場合が起こり得た。

【0005】

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、電車線金具が写っている撮影画像を画像処理することによる当該電車線金具の異常検出の精度を向上させることである。

【課題を解決するための手段】

【0006】

上記課題を解決するための第１の発明は、
第１の線条に係合する第１の係合部分と、第２の線条に係合する第２の係合部分と、前記第１の係合部分及び前記第２の係合部分間を結ぶ中間部分とを有する電車線金具を含むように当該電車線金具が設けられた架空電車線が写っている変換前画像を、所定サイズの判定用準備画像に変換した上で、画像認識処理による前記電車線金具の異常検出処理を行う異常検出装置であって、
前記変換前画像を前記電車線金具の長手方向に沿った方向において複数の範囲に分割する分割手段であって、前記中間部分が写っている範囲（以下この範囲を「中間範囲」という）を１つの範囲として分割する分割手段（例えば、図７の分割部２０６）と、
前記変換前画像を少なくとも前記電車線金具の長手方向に沿って拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成手段であって、前記拡縮の許容変化率を、前記中間範囲以外の範囲よりも前記中間範囲のほうを大きくして拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成手段（例えば、図７の判定用準備画像生成部２０８）と、
を備える異常検出装置である。

【0007】

他の発明として、
第１の線条に係合する第１の係合部分と、第２の線条に係合する第２の係合部分と、前記第１の係合部分及び前記第２の係合部分間を結ぶ中間部分とを有する電車線金具を含むように当該電車線金具が設けられた架空電車線が写っている変換前画像を、所定サイズの判定用準備画像に変換した上で、画像認識処理による前記電車線金具の異常検出処理を行う異常検出方法であって、
前記変換前画像を前記電車線金具の長手方向に沿った方向において複数の範囲に分割する分割ステップであって、前記中間部分が写っている範囲（以下この範囲を「中間範囲」という）を１つの範囲として分割する分割ステップと、
前記変換前画像を少なくとも前記電車線金具の長手方向に沿って拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成ステップであって、前記拡縮の許容変化率を、前記中間範囲以外の範囲よりも前記中間範囲のほうを大きくして拡縮することで前記所定サイズの前記判定用準備画像を生成する判定用準備画像生成ステップと、
を含む異常検出方法を構成してもよい。

【0008】

第１の発明等によれば、電車線金具が写っている撮影画像を画像処理することによる当該電車線金具の異常検出の精度を向上させることができる。ハンガーやドロッパ、コネクタなどの多くの電車線金具は細長い形状をなしている。変換前画像における電車線金具の長手方向の長さは、線条との係合部分間を結ぶ中間部分が写っている中間範囲のほうが、係合部分が写っている範囲より長いことが多い。また、電車線金具は、係合部分のほうが中間部分よりも異常の発生確率が高い。このため、変換前画像を少なくとも電車線金具の長手方向に沿って拡縮する際に、長手方向に沿った拡縮の許容変化率を、電車線金具の係合部分が写っている範囲よりも中間部分が写っている中間範囲のほうを大きくして拡縮する。このようにすることで、生成された判定用準備画像においては、異常の発生確率が高い係合部分が写っている範囲が、発生確率が低い中間部分が写っている中間範囲に対して相対的に大きくなり、サイズや解像度の点で有利となる。これにより、判定用準備画像を用いた画像認識処理による異常検出の精度を向上させることができる。

【0009】

第２の発明は、第１の発明において、
前記分割手段は、前記変換前画像を、前記第１の係合部分が写っている第１の係合部分範囲と、前記中間範囲と、前記第２の係合部分が写っている第２の係合部分範囲とに分割する、
異常検出装置である。

【0010】

第２の発明によれば、変換前画像は、第１の係合部分範囲と、第２の係合部分範囲と、中間範囲と、の３つの範囲に分割される。

【0011】

第３の発明は、第２の発明において、
前記判定用準備画像生成手段は、前記第１の係合部分範囲及び前記第２の係合部分範囲を拡縮せず、前記中間範囲のみを拡縮することで前記所定サイズの前記判定用準備画像を生成する、
異常検出装置である。

【0012】

第３の発明によれば、電車線金具のうち、異常の発生確率が高い係合部分が写っている第１の係合部分範囲及び第２の係合部分範囲は拡縮せず、異常の発生確率が低い中間部分が写っている中間範囲のみを拡縮することで、所定サイズの判定用準備画像が生成される。これにより、異常の発生確率が高い第１の係合部分又は第２の係合部分の画像サイズや解像度は中間部分に比べて有利となるので、異常の検出精度を高めることができ、その結果、電車線金具の異常検出の精度を向上させることができる。

【0013】

第４の発明は、第２又は第３の発明において、
前記架空電車線を撮影したオリジナル撮影画像のスケーリング処理及び切り出し処理を行って前記オリジナル撮影画像から前記変換前画像を抽出する変換前画像抽出手段であって、前記第１の係合部分範囲及び前記第２の係合部分範囲が所定のサイズ条件を満たすように前記スケーリング処理及び前記切り出し処理を行う変換前画像抽出手段（例えば、図７の変換前画像抽出部２０４）、
を更に備える異常検出装置である。

【0014】

第４の発明によれば、架空電車線を撮影したオリジナル撮影画像のスケーリング処理及び切り出し処理を行うことで、オリジナル撮影画像から、第１の係合部分及び第２の係合部分が所定のサイズ条件を満たす変換前画像が抽出される。つまり、架空電車線は軌道中心に対して左右にジグザグに張られていることから、列車位置に応じて、架空電車線を撮影したオリジナル撮影画像における架空電車線の位置や大きさが異なる。これに対して、オリジナル撮影画像における電車線金具の係合部分の位置や大きさが同じとなるようにオリジナル撮影画像を拡縮するスケーリング処理と、変換前画像の切り出し処理とを行うことで、第１の係合部分及び第２の係合部分の大きさが同じといった所定のサイズ条件を満たす変換前画像を抽出することができる。

【0015】

第５の発明は、第４の発明において、
前記変換前画像抽出手段は、前記第１の線条及び前記第２の線条が前記変換前画像中の所定位置に写っているように、前記切り出し処理を行う、
異常検出装置である。

【0016】

第５の発明によれば、第１の線条及び第２の線条が変換前画像中の所定位置に写っているように、切り出し処理が行われる。これにより、線条との係合部分が所定位置に写っている変換前画像を抽出することができる。

【0017】

第６の発明は、第４又は第５の発明において、
前記オリジナル撮影画像には、撮影した撮影装置と前記架空電車線との相対位置関係を示すデータが対応づけられており、
前記変換前画像抽出手段は、前記相対位置関係を示すデータを用いて、前記スケーリング処理及び前記切り出し処理を行う、
異常検出装置である。

【0018】

第６の発明によれば、架空電車線は軌道中心に対して左右ジグザグに張られているので、列車位置に応じてオリジナル撮影画像中の電車線金具の位置や大きさが異なるが、撮影装置と架空電車線との相対位置関係を示すデータを用いることで、オリジナル撮影画像中の電車線金具の位置や大きさを判断することができる。これにより、スケーリング処理におけるオリジナル撮影画像の拡縮の程度の決定や、第１の線条及び第２の線条が変換前画像中の所定位置となるような切り出し処理を行うことができる。

【0019】

第７の発明は、第２～第６の何れかの発明において、
前記判定用準備画像のサイズを変換することで前記画像認識処理用の正規化画像を生成する正規化画像生成手段（例えば、図７の正規化画像生成部２１０）、
を更に備える異常検出装置である。

【0020】

第７の発明によれば、判定用準備画像のサイズを変換することで、画像認識処理用の正規化画像を生成することができる。

【0021】

第８の発明は、第２～第６の何れかの発明において、
前記判定用準備画像のうち、前記第１の係合部分範囲に係る画像と、前記中間範囲に係る画像と、前記第２の係合部分範囲に係る画像とを、それぞれシングルチャンネル画像としたマルチチャンネル画像を生成することで、前記画像認識処理用の正規化画像を生成する正規化画像生成手段、
を更に備える異常検出装置である。

【0022】

第８の発明によれば、判定用準備画像のうち、第１の係合部分範囲に係る画像と、中間範囲に係る画像と、第２の係合部分範囲に係る画像とを、それぞれシングルチャンネル画像としたマルチチャンネル画像を、画像認識処理用の正規化画像として生成することができる。この場合、判定用準備画像のサイズを変換する必要が無いので、画像を縮小する際に生じる画像情報の減損を抑制することが可能となる。マルチチャンネル画像としては、例えば、３つの各範囲に係る画像それぞれをＲＧＢ（赤・緑・青）のシングルチャンネル画像としたカラー画像とすることができる。

【図面の簡単な説明】

【0023】

【図1】オリジナル撮影画像の撮影方法の説明図。

【図2】異常検出処理のフローチャート。

【図3】オリジナル撮影画像に対するスケーリング処理の説明図。

【図4】仰角θの求め方の説明図。

【図5】変換前画像の切り出し処理の説明図。

【図6】判定用準備画像及び正規化画像の生成の説明図。

【図7】異常検出装置の機能構成図。

【図8】本実施形態を適用した正規化画像の一例。

【図9】比較例画像の一例。

【図10】実験結果の一例。

【発明を実施するための形態】

【0024】

以下、図面を参照して本発明の好適な実施形態の一例について説明する。なお、以下に説明する実施形態によって本発明が限定されるものではなく、本発明を適用可能な形態が以下の実施形態に限定されるものでもない。また、図面の記載において、同一要素には同一符号を付す。

【0025】

［概要］
本実施形態は、電車線金具が設けられた架空電車線を撮影したオリジナル撮影画像を用いた画像認識処理によって電車線金具の異常を検出するものである。

【0026】

本実施形態において、電車線金具とは、第１の線条に係合する第１の係合部分と、第２の線条に係合する第２の係合部分と、第１の係合部分及び第２の係合部分間を結ぶ中間部分とを有するものとする。本実施形態の電車線金具とは、例えば、ちょう架線や補助ちょう架線からトロリ線を吊るすハンガー、補助ちょう架線をちょう架線に吊るすドロッパ、ちょう架線とトロリ線とを電気的に接続するコネクタ等であるが、これ以外を含むとしてもよいのは勿論である。係合部分及び中間部分の該当部位を説明すると、ハンガーについては、ハンガーのうちのちょう架線に接触している屈曲部分及びイヤーが線条との係合部分であり、ハンガーのうちの直線部分（バー）が係合部間を繋ぐ中間部分である。ドロッパについては、クリップが線条との係合部分であり、ワイヤが中間部分である。コネクタについては、クランプ及びイヤーが線条との係合部分であり、リード線が中間部分である。

【0027】

先ず、オリジナル撮影画像について説明する。本実施形態のオリジナル撮影画像は、鉄道車両の屋根上に設置した撮影装置を用いて架空電車線を撮影した画像である。

【0028】

図１は、オリジナル撮影画像の撮影方法の一例を説明する図である。図１に示すように、架空電車線２０を撮影するためのシステムとして、鉄道車両５の屋根上に、２つの撮影装置であるラインセンサカメラ１０（１０ａ，１０ｂ）と、２つのレーザー測域センサ１２（１２ａ，１２ｂ）と、複数のＬＥＤ照明１４（１４ａ，１４ｂ）とが配置されている。

【0029】

ラインセンサカメラ１０ａ，１０ｂは、鉄道車両５の進行方向（車両前後方向）と略直交して水平方向（車両幅方向であり、まくらぎ方向である）に延びる直線上に所定距離をおいて配置されている。ラインセンサカメラ１０ａ，１０ｂは、それぞれ、架空電車線２０を含む空間を撮像して、一次元のラインセンサ画像を表す第１の画像データ及び第２の画像データを生成する。ラインセンサカメラ１０ａ，１０ｂは、それぞれ、鉄道車両５の進行方向と略直交して水平方向に延びる直線に沿って配置された複数の画素を有するラインセンサと、ラインセンサの前面に取り付けられて周囲の空間からの光をラインセンサの複数の画素に集光するレンズとを含んでいる。このレンズは、鉄道車両５の進行方向と略直交する平面内における撮像角度を、ラインセンサにおける画素の位置に１：１に対応させることができる。従って、ラインセンサにおける画素の位置から、ラインセンサカメラ１０ａ，１０ｂからみた架空電車線２０の撮像角度を求めることが可能となる。

【0030】

レーザー測域センサ１２ａ，１２ｂは、鉄道車両５の進行方向と略直交して水平方向に延びる直線上に所定距離をおいて配置されている。レーザー測域センサ１２ａ，１２ｂは、鉄道車両５の進行方向と略直交する平面における所定範囲内の投射角度にレーザー光線を投射して、架空電車線２０を含む空間を走査する。レーザー測域センサ１２ａ，１２ｂは、架空電車線２０の位置を測定して、架空電車線２０が存在する方向を表す角度データ、及び、架空電車線２０までの距離を表す距離データを生成する。２つのレーザー測域センサ１２ａ，１２ｂを用いることにより、複数の架空電車線２０が一方のレーザー測域センサ１２からみて重なって配設されている場合においても、それらの架空電車線を分離して測定することができる。

【0031】

ＬＥＤ照明１４ａ，１４ｂは、夜間等において、ラインセンサカメラ１０ａ，１０ｂが撮像する空間を照明する。

【0032】

鉄道車両５の走行中、ラインセンサカメラ１０ａ，１０ｂが、それぞれ、架空電車線２０を含む空間を撮像して第１の画像データ及び第２の画像データを順次生成する。生成された第１の画像データ及び第２の画像データは、撮影画像生成装置３に入力される。撮影画像生成装置３は、入力された第１の画像データを所定のライン数分（例えば、１０００ライン分）結合することによって、ラインセンサカメラ１０ａが撮影した１枚の二次元画像であるオリジナル撮影画像を生成する。同様に、入力された第２の画像データを所定のライン数分（例えば、１０００ライン分）結合することによって、ラインセンサカメラ１０ｂが撮影した１枚の二次元画像であるオリジナル撮影画像を生成する。

【0033】

また、鉄道車両５の走行中、レーザー測域センサ１２ａ，１２ｂが、架空電車線２０の概略位置を表す角度データ及び距離データを順次生成する。生成された角度データ及び距離データは、撮影画像生成装置３に入力される。撮影画像生成装置３は、入力された角度データ及び距離データにより、架空電車線２０の三次元位置を求める。この三次元位置は、レーザー測域センサ１２ａ，１２ｂの位置を基準とした相対的な三次元位置である。レーザー測域センサ１２ａ，１２ｂとラインセンサカメラ１０ａ，１０ｂとの設置間隔が既知であることから、ラインセンサカメラ１０ａ，１０ｂを基準とした相対的な架空電車線２０の三次元位置を求めることができる。従って、レーザー測域センサ１２ａ，１２ｂが順次生成した角度データ及び距離データは、ラインセンサカメラ１０ａ，１０ｂと架空電車線２０との相対位置関係を示すデータともいえる。なお、この三次元位置は、ラインセンサカメラ１０ａ，１０ｂが撮像した画像データを用いて、より正確な値に補正することが可能である。

【0034】

そして、ラインセンサカメラ１０ａ，１０ｂによる撮像時刻と、レーザー測域センサ１２ａ，１２ｂによる走査時刻とを照合することで、オリジナル撮影画像に、当該画像が撮影されたときの当該画像を撮影したラインセンサカメラ１０ａ，１０ｂと架空電車線２０との相対位置関係を示すデータを対応付けることができる。

【0035】

撮影画像生成装置３が生成したオリジナル撮影画像は、当該画像に対応付けられた撮影装置であるラインセンサカメラ１０ａ，１０ｂと架空電車線２０との相対位置関係を示すデータとともに、オリジナル撮影画像を用いた画像認識処理によって電車線金具の異常を検出する異常検出装置１へ入力される。

【0036】

なお、１）撮影画像生成装置３及び異常検出装置１の両装置は鉄道車両５に搭載されていることとしてもよいし、２）撮影画像生成装置３を鉄道車両５に搭載し、異常検出装置１を指令所等の地上に設置して、撮影画像生成装置３が生成したオリジナル撮影画像のデータを鉄道車両５内の記憶装置又は通信接続された鉄道車両５外の記憶装置に記憶しておき、運行終了後等の任意のタイミングで、その記憶装置に記憶されたデータを異常検出装置１に入力することとしてもよいし、３）撮影画像生成装置３及び異常検出装置１の両装置を指令所等の地上に設置し、ラインセンサカメラ１０ａ，１０ｂ及びレーザー測域センサ１２ａ，１２ｂのそれぞれが生成したデータ（第１の画像データ、第２の画像データ、角度データ、距離データ）を鉄道車両５内の記憶装置又は通信接続された鉄道車両５外の記憶装置に記憶しておき、運行終了後等の任意のタイミングで、その記憶装置に記憶されたデータを撮影画像生成装置３に入力することとしてもよい。

【0037】

図２は、異常検出装置１が行う電車線金具の異常検出処理の流れを説明するフローチャートである。図２には、異常検出処理の途中で得られる画像の例を併せて示している。また、各ステップの詳細については後述する。

【0038】

図２に示すように、異常検出装置１は、先ず、撮影画像生成装置３から、電車線金具が設けられた架空電車線を撮影したオリジナル撮影画像を取得する（ステップＳ１）。次いで、取得したオリジナル撮影画像に対するスケーリング処理を行う（ステップＳ３）。このスケーリング処理については詳細を後述する。続いて、スケーリング後のオリジナル撮影画像に対する切り出し処理を行って、オリジナル撮影画像から、電車線金具が写っている変換前画像を抽出する（ステップＳ５）。この変換前画像の抽出については詳細を後述する。そして、抽出した変換前画像を拡縮することで、所定サイズの判定用準備画像を生成する（ステップＳ７）。この判定用準備画像の生成については詳細を後述する。更に、判定用準備画像のサイズを変換して、画像処理用の正規化画像を生成する（ステップＳ９）。正規化画像は、一辺の長さ（ピクセル数）Ｎが、Ｎ＝２^ｎ（ｎは自然数）、の正方形状の画像とする。この正規化画像の生成については詳細を後述する。

【0039】

その後、正規化画像を用いた画像認識処理による電車線金具の異常検出を行う（ステップＳ１１）。画像認識処理として、例えば、機械学習を用いることができる。機械学習のアルゴリズムとしては、例えば、異常検出の対象である電車線金具についての異常データを多数収集することが困難であることから、正常データのみで学習するアルゴリズムを用いることができる。汎用の機械学習アルゴリズムでは、入力画像を正方形に変換して畳み込み演算を行うことから、正規化画像を、一辺の長さ（ピクセル数）Ｎ（＝２^ｎ（ｎは自然数））の正方形画像としている。

【0040】

図３は、オリジナル撮影画像に対するスケーリング処理（図２のステップＳ３）を説明する図である。図３では、架空電車線２０と、鉄道車両５の屋根上に設置される撮影装置１０（ラインセンサカメラ）との相対位置関係の一例を示している。分かり易くするために架空電車線２０の張設方向を極端なジグザグとして示している。図３の上側は、横方向を列車の進行方向とした上面図を示し、下側は、列車の進行方向に対する正面図を示すとともに、撮影装置１０からの架空電車線２０の仰角θを示している。上面図に示した撮影装置１０と架空電車線２０との位置関係を、正面図で示している。

【0041】

図３に示すように、架空電車線２０は、軌道中心に対して左右方向にジグザグに張られている。これは、パンタグラフの摺り板が局所的に摩耗してしまうのを避けるためである。このため、列車位置によって、撮影装置１０と架空電車線２０との相対位置が変化する。つまり、図３の左側に示すように、架空電車線２０の位置が軌道中心に一致（偏位中央）しているときの仰角θを基準仰角θ_０とする。すると、図３の中央に示すように、架空電車線２０の位置が撮影装置１０に近いほうに偏位（偏位＋）しているときの仰角θ_１は、基準仰角θ_０より大きくなる。また、図３の右側に示すように、架空電車線２０の位置が撮影装置１０から遠いほうに偏位（偏位－）しているときの仰角θ_２は、基準仰角θ_０より小さくなる。

【0042】

このように、列車位置に応じて撮影装置１０と架空電車線２０との相対位置関係が異なる。つまり、撮影装置１０から架空電車線２０までの距離や仰角θが異なることから、撮影装置１０が撮影したオリジナル撮影画像における架空電車線２０や電車線金具の位置や大きさが異なる。スケーリング処理では、列車位置に関わらずオリジナル撮影画像における電車線金具の大きさが同じ或いは略同じとなるように、オリジナル撮影画像を拡縮（拡大及び縮小）する。その際の拡縮率であるスケーリング係数は、次式（１）で与えられる。
スケーリング係数＝ｓｉｎθ／ｓｉｎθ_０ ・・（１）

【0043】

つまり、仰角θが基準仰角θ_０のとき（図３の左側に示すような架空電車線２０の位置が軌道中心に一致（偏位中央）しているとき）の撮影画像における電車線金具の大きさに合わせるように、オリジナル撮影画像を拡縮する。仰角θは、オリジナル撮影画像が撮影されたときの、撮影装置１０と架空電車線２０との相対位置関係から求めることができる。

【0044】

図４は、仰角θの求め方の一例を説明する図である。図４では、列車の進行方向に対する正面図において、撮影装置１０と架空電車線２０との相対的な位置関係の一例を示している。撮影装置１０から架空電車線２０の仰角θは、レールレベルからの電車線高さ（トロリ線の高さ）Ｌ１と、レールレベルからのカメラ高さ（撮影装置１０の高さ）Ｌ２と、軌道中心からまくらぎ方向（水平方向）への撮影装置１０の位置ｈとを用いて、次式（２）で求められる。
θ＝ｔａｎ^－１｛（Ｌ１－Ｌ２）／ｈ｝ ・・（２）

【0045】

図５は、オリジナル撮影画像から変換前画像を抽出する切り出し処理（図２のステップＳ５）を説明する図である。図５では、オリジナル撮影画像と、抽出された変換前画像との一例を示している。オリジナル撮影画像は、架空電車線２０を斜め下方から見上げた画像となる。図５では、オリジナル撮影画像の上下方向（縦方向）が列車の進行方向に沿った方向であり、左右方向（横方向）が列車の幅方向に沿った方向である。

【0046】

オリジナル撮影画像には、架空電車線２０を構成する２本の線条である第１の線条２１及び第２の線条２２が写っている。２本の線条２１，２２間に設けられた電車線金具３０は、第１の線条２１に係合する第１の係合部分３１と、第２の線条２２に係合する第２の係合部分３２と、係合部分間を結ぶ中間部分３３とからなる。

【0047】

切り出し処理では、オリジナル撮影画像から、電車線金具３０が写っており、且つ、第１の線条２１及び第２の線条２２が画像中の所定位置に写っているように、矩形状の変換前画像を抽出する。電車線金具３０は細長い形状であるから、変換前画像も細長い矩形状（図５では、横長の矩形状）の画像となる。

【0048】

具体的には、変換前画像の長辺（電車線金具３０の長手方向。図５では横方向）は、略直線状に写っている２本の線条２１，２２それぞれの外方であって当該線条２１，２２から所定長さ（ピクセル数でＮ／２）までの範囲とする。また、変換前画像の短辺（電車線金具３０の長手方向に直交する方向。図５では縦方向）は、長さ（ピクセル数）が正規化画像の一辺の長さ（ピクセル数でＮ（＝２^ｎ））に等しく、電車線金具３０の中間部分３３の位置が中央位置となるような範囲とする。なお、列車位置に応じて撮影装置１０と架空電車線２０との相対位置関係が異なることから、変換前画像における線条２１，２２間の長さが異なるため、変換前画像の長辺の長さは一定ではない。

【0049】

図６は、変換前画像からの判定用準備画像及び正規化画像の生成（図２のステップＳ７～Ｓ９）を説明する図である。先ず、変換前画像を、電車線金具３０の第１の係合部分３１が写っている第１の係合部分範囲と、第２の係合部分３２が写っている第２の係合部分範囲と、中間部分３３が写っている中間範囲との３つの範囲に分割する。具体的には、細長い矩形状の変換前画像の一方の端部であって第１の線条２１を含む正方形状の範囲を第１の係合部分範囲とし、他方の端部であって第２の線条２２を含む正方形状の範囲を第２の係合部分範囲とする。そして、変換前画像のうち、第１の係合部分範囲及び第２の係合部分範囲以外の範囲を、中間範囲とする。変換前画像において第１の線条２１及び第２の線条２２は端部からＮ／２ピクセルの位置に写っているから、第１の係合部分範囲の略中央に第１の線条２１が位置し、第２の係合部分範囲の略中央に第２の線条２２が位置することになる。

【0050】

次いで、中間範囲を、電車線金具３０の長手方向に拡大又は縮小（拡縮）して正方形画像に変換することで、判定用準備画像を生成する。つまり、中間範囲の長手方向の長さ（ピクセル数）が短手方向の長さ（ピクセル数Ｎ）と同じとなるように拡縮する。図６の例では、中間範囲の長手方向に沿った長さ「244pix」が「128pix」となるように、「52.5％」の圧縮率で長手方向に圧縮して正方形画像に変換している。上述のように、変換前画像の長辺の長さ（ピクセル数）が一定ではないことから、中間範囲の長手方向の長さ（ピクセル数）も一定ではなく、その圧縮率も一定ではない。

【0051】

このように、判定用準備画像は、第１の係合部分範囲、第２の係合部分範囲、及び、中間範囲の３つの範囲を同じサイズとした画像である。つまり、変換前画像に対する拡縮の許容変化率を、中間範囲以外の範囲である第１の係合部分範囲及び第２の係合部分範囲よりも中間範囲のほうを大きくして拡縮することで、所定サイズの判定用準備画像を生成する。ここでは、第１の係合部分範囲及び第２の係合部分範囲を拡縮せず、中間範囲のみを拡縮することで所定サイズの判定用準備画像を生成することとしたが、第１の係合部分範囲及び第２の係合部分範囲を拡縮することとしてもよい。画像を拡縮することは、元の画像の情報を減損させることになるため、できるだけ元の画像のまま、すなわちサイズ（ピクセル数）をそのままとするほうが、後の画像処理の精度を高くすることができる。図６の例で述べると、第１の係合部分範囲及び第２の係合部分範囲の画像の情報は、判定用準備画像においても減損されずに保存されているが、中間範囲の画像の情報は、判定用準備画像において減損されていることとなる。

【0052】

続いて、判定用準備画像を、電車線金具３０の長手方向に圧縮してサイズを変換することで、正方形状の正規化画像を生成する。正規化画像は、異常検出のための画像認識処理に用いる画像であり、決まった画像サイズの画像である。そのため、判定用準備画像のサイズを変換して正規化画像を生成する。判定用準備画像を構成する第１の係合部分範囲、第２の係合部分範囲及び中間範囲の各範囲は正方形状の画像であるから、この３つの範囲それぞれを長手方向に１／３に圧縮することで、正規化画像を生成することになる。全体を所定の圧縮率で圧縮するため、正規化画像においても、第１の係合部分範囲及び第２の係合部分範囲の画像の情報は、中間範囲よりも、オリジナル撮影画像の情報をより多く保存しているといえる。なお、判定用準備画像を、拡縮せずにそのまま正規化画像としてもよい。

【0053】

［機能構成］
図７は、異常検出装置１の機能構成の一例である。図７によれば、異常検出装置１は、操作部１０２と、表示部１０４と、音出力部１０６と、通信部１０８と、処理部２００と、記憶部３００とを備えて構成され、一種のコンピュータとして実現される。

【0054】

操作部１０２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力装置で実現され、なされた操作入力に応じた操作信号を処理部２００に出力する。表示部１０４は、例えば液晶ディスプレイやタッチパネル等の表示装置で実現され、処理部２００からの表示信号に基づく各種表示を行う。音出力部１０６は、例えばスピーカ等の音声出力装置で実現され、処理部２００からの音信号に基づく各種音声出力を行う。通信部１０８は、例えば無線通信モジュールやルータ、モデム、有線用の通信ケーブルのジャックや制御回路等で実現される通信装置であり、外部装置とのデータ通信を行う。

【0055】

処理部２００は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等の演算装置や演算回路で実現されるプロセッサーであり、記憶部３００に記憶されたプログラムやデータ、操作部１０２や通信部１０８による入力データ等に基づいて、異常検出装置１の全体制御を行う。また、処理部２００は、機能的な処理ブロックとして、撮影画像取得部２０２と、変換前画像抽出部２０４と、分割部２０６と、判定用準備画像生成部２０８と、正規化画像生成部２１０と、異常検出部２１２とを有する。処理部２００が有するこれらの各機能部は、処理部２００がプログラムを実行することでソフトウェア的に実現することも、専用の演算回路で実現することも可能である。本実施形態では、前者のソフトウェア的に実現することとして説明する。

【0056】

撮影画像取得部２０２は、架空電車線２０を撮影したオリジナル撮影画像を取得する（図２のステップＳ１）。オリジナル撮影画像は、例えば、撮影画像生成装置３から取得することができる（図１参照）。取得したオリジナル撮影画像は、当該画像の撮影時における当該撮影した撮影装置１０と架空電車線２０との相対位置関係を示すデータと対応付けて、オリジナル撮影画像データ３２０として記憶される。

【0057】

変換前画像抽出部２０４は、架空電車線２０を撮影したオリジナル撮影画像のスケーリング処理及び切り出し処理を行ってオリジナル撮影画像から変換前画像を抽出する（図２のステップＳ３～Ｓ５）。変換前画像抽出部２０４は、スケーリング処理及び切り出し処理を、第１の係合部分範囲及び第２の係合部分範囲が所定のサイズ条件を満たすように行う。また、オリジナル撮影画像には、撮影した撮影装置１０と架空電車線２０との相対位置関係を示すデータが対応づけられており、変換前画像抽出部２０４は、スケーリング処理及び切り出し処理を、その相対位置関係を示すデータを用いて行う。また、変換前画像抽出部２０４は、切り出し処理を、第１の線条２１及び第２の線条２２が変換前画像中の所定位置に写るように行う。

【0058】

具体的には、変換前画像抽出部２０４は、オリジナル撮影画像に対応付けられている当該画像を撮影した際の撮影装置１０と架空電車線２０との相対位置関係のデータから、撮影装置１０から架空電車線２０への仰角θを求め、その仰角θをもとに式（１）に従ってスケーリング係数を求め、そのスケーリング係数を拡縮率としたオリジナル撮影画像を拡縮することで、スケーリング処理を行う（図３，図４参照）。次いで、スケーリング後のオリジナル撮影画像に対して、電車線金具３０が写っている範囲であって、２つの係合部分（第１の係合部分３１及び第２の係合部分３２）それぞれが係合している２本の線条（第１の線条２１及び第２の線条２２）が画像端部から所定長さ（ピクセル数Ｎ／２）の位置に位置するとともに、中間部分３３が中央に位置するような範囲の変換前画像を切り出す切り出し処理を行う（図５参照）。

【0059】

分割部２０６は、変換前画像を、電車線金具３０の長手方向に沿った方向において、第１の係合部分３１が写っている第１の係合部分範囲と、中間部分３３が写っている中間範囲と、第２の係合部分３２が写っている第２の係合部分範囲との複数の範囲に分割する。

【0060】

具体的には、分割部２０６は、変換前画像のうち、第１の係合部分範囲及び第２の係合部分範囲それぞれを正方形状の範囲とし、第１の係合部分範囲及び第２の係合部分範囲以外の範囲を中間範囲として、変換前画像を分割する（図６参照）。

【0061】

判定用準備画像生成部２０８は、変換前画像を少なくとも電車線金具３０の長手方向に沿って拡縮することで所定サイズの判定用準備画像を生成する（図２のステップＳ７）。そのとき拡縮の許容変化率を、中間範囲以外の範囲よりも中間範囲のほうを大きくして拡縮することで所定サイズの判定用準備画像を生成する。本実施形態では、第１の係合部分範囲及び第２の係合部分範囲を拡縮せず、中間範囲のみを拡縮することで所定サイズの判定用準備画像を生成する。具体的には、中間範囲を拡縮して正方形状とすることで、判定用準備画像を生成する（図６参照）。

【0062】

正規化画像生成部２１０は、判定用準備画像のサイズを変換することで画像認識処理用の正規化画像を生成する（図２のステップＳ９）。具体的には、判定用準備画像を構成する第１の係合部分範囲、第２の係合部分範囲及び中間範囲の各範囲を、電車線金具の長手方向に１／３の拡縮率で圧縮することで、正方形状の正規化画像を生成する（図６参照）。生成した正規化画像は、正規化画像データ３３０として記憶される。

【0063】

異常検出部２１２は、正規化画像を用いた画像認識処理による電車線金具３０の異常検出を行う（図２のステップＳ１１）。具体的には、画像認識処理として機械学習を用いる。つまり、正規化画像を、電車線金具３０の正常・異常を識別する２クラス識別の異常検出モデルに入力し、その出力から、変換前画像に写っている電車線金具３０の異常を検出する。この異常検出モデルは、予め用意した異常データ（異常な電車線金具３０が写っている変換前画像から生成された正規化画像）や正常データ（正常な電車線金具３０が写っている変換前画像から生成された正規化画像）を用いて学習させた機械学習モデルであり、異常検出モデルを定義するパラメータは、異常検出モデルデータ３１０として記憶されている。

【0064】

記憶部３００は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のＩＣ（Integrated Circuit）メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置で実現され、処理部２００が異常検出装置１を統合的に制御するためのプログラムやデータ等を記憶しているとともに、処理部２００の作業領域として用いられ、処理部２００が実行した演算結果や、操作部１０２や通信部１０８からの入力データ等が一時的に格納される。本実施形態では、記憶部３００には、異常検出プログラム３０２と、異常検出モデルデータ３１０と、オリジナル撮影画像データ３２０と、正規化画像データ３３０とが記憶される。

【0065】

異常検出プログラム３０２は、処理部２００により実行される異常検出処理（図２参照）を実現するためのプログラムである。

【0066】

［実験例］
本実施形態の異常検出装置１による異常検出の実験結果について説明する。図８は、異常検出に用いた、本実施形態を適用した正規化画像（本実施形態適用画像）の一例を示している。左側の（１）の画像は、正常な電車線金具が写っている変換前画像から生成した正規化画像であり、右側の（２）の画像は、異常な電車線金具が写っている変換前画像から生成した正規化画像である。

【0067】

図９は、比較のための画像（比較例画像）の一例を示している。比較例画像は、電車線金具が写っている変換前画像を長手方向に一律に縮小することで生成した正方形状の画像である。左側（１）の画像は、図８（１）の正規化画像の生成に用いた正常な電車線金具が写っている変換前画像を一律に縮小した比較例画像であり、右側（２）は、図８（２）の正規化画像の生成に用いた異常な電車線金具が写っている変換前画像を一律に縮小した比較例画像である。

【0068】

本実施形態適用画像と比較例画像とを比較すると、線条との係合部分が、本実施形態適用画像のほうが比較例画像よりも大きく写っている。これは、本実施形態適用画像は、係合部分範囲よりも中間範囲のほうが長手方向の拡縮の許容変化率を大きくして拡縮しているためである。

【0069】

図８，図９には、２枚の変換前画像それぞれに対する本実施形態適用画像及び比較例画像の例を示したが、同様に２５枚の変換前画像を用意し、これらの変換前画像を用いた異常検出の結果を、図１０に示す。

【0070】

図１０（１）は、本実施形態適用画像に対する異常検出の結果を示すグラフであり、図１０（２）は、比較例画像に対する異常検出の結果を示すグラフである。なお、この実験では、機械学習のアルゴリズムとしてAnoGANを用いており、異常検出の結果として、正常データとの差を表す数値（図１０では、「Total Loss」と表記）を出力する。この出力する数値が大きいほど、入力データが異常とみなせる程度が高いことを表す。２５枚の変換前画像のうち、正常データは２０枚、異常データは５枚である。図１０（１），（２）のグラフは、何れも、横軸が異常検出の結果である数値であり、縦軸がその度数（該当する画像の数）である。

【0071】

図１０（１），（２）のグラフを比較すると、本実施形態適用例では、異常データ（異常な電車線金具が写っている変換前画像から生成された正規化画像）のグループと正常データ（正常な電車線金具が写っている変換前画像から生成された正規化画像）のグループとの間は、異常検出の結果である数値が大きく離れている。従って、数値に対して閾値を適当に設定することで、異常・正常を精度よく検出することができる。これに対して、比較例では、異常データのグループと正常データのグループとでは、異常検出の結果である数値が一部重なっており、グループ同士が一部で重複している。このため、閾値を設定して異常・正常を峻別して検出することが困難であり、検出精度が低くなることが分かる。

【0072】

［作用効果］
このように、本実施形態によれば、電車線金具３０が写っている撮影画像を画像処理することによる電車線金具３０の異常検出の精度を向上させることができる。ハンガーやドロッパ、コネクタなどの多くの電車線金具３０は細長い形状をなしている。変換前画像における電車線金具３０の長手方向の長さは、線条２１，２２との係合部分３１，３２間を結ぶ中間部分３３が写っている中間範囲のほうが、係合部分３１，３２が写っている範囲より長いことが多い。また、電車線金具３０は、係合部分３１，３２のほうが中間部分３３よりも異常の発生確率が高い。このため、変換前画像を少なくとも電車線金具３０の長手方向に沿って拡縮する際に、長手方向に沿った拡縮の許容変化率を、電車線金具３０の係合部分が写っている範囲よりも中間部分が写っている中間範囲のほうを大きくして拡縮する。このようにすることで、生成された判定用準備画像においては、異常の発生確率が高い係合部分３１，３２が写っている範囲が、発生確率が低い中間部分３３が写っている中間範囲に対して相対的に大きくなり、サイズや解像度の点で有利となる。これにより、判定用準備画像を用いた画像認識処理による異常検出の精度を向上させることができる。

【0073】

［変形例］
なお、本発明の適用可能な実施形態は上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能なのは勿論である。

【0074】

（Ａ）正規化画像をマルチチャンネル画像とする
例えば、判定用準備画像のうち、第１の係合部分範囲に係る画像と、中間範囲に係る画像と、第２の係合部分範囲に係る画像とを、それぞれシングルチャンネル画像としたマルチチャンネル画像を生成することで、画像認識処理用の正規化画像を生成するとしてもよい。例えば、判定用準備画像を構成する第１の係合部分範囲、第２の係合部部分範囲及び中間範囲のそれぞれに係る３枚の正方形状の画像（図６における（３）判定用準備画像）を、サイズをそのままに、ＲＧＢ（赤・緑・青）のシングルチャンネル画像にそれぞれ変換する。そして、その３枚の画像を合成して１枚のカラー画像（マルチチャンネル画像）とする。このカラー画像を正規化画像とする。

【符号の説明】

【0075】

１…異常検出装置
２００…処理部
２０２…撮影画像取得部
２０４…変換前画像抽出部
２０６…分割部
２０８…判定用準備画像生成部
２１０…正規化画像生成部
２１２…異常検出部
３００…記憶部
３０２…異常検出プログラム
３１０…異常検出モデルデータ
３２０…オリジナル撮影画像データ
３３０…正規化画像データ
３…撮影画像生成装置
５…鉄道車両
１０（１０ａ，１０ｂ）…ラインセンサカメラ（撮影装置）
１２（１２ａ，１２ｂ）…レーザー測域センサ
１４（１４ａ，１４ｂ）…ＬＥＤ照明
２０…架空電車線
２１…第１の線条、２２…第２の線条
３０…電車線金具
３１…第１の係合部分、３２…第２の係合部分、３３…中間部分

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】