特開 2024-50186 電食検知装置、電食検知方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050186

(43)【公開日】2024-04-10

(54)【発明の名称】電食検知装置、電食検知方法、及びプログラム

(51)【国際特許分類】

   G06T 7/62 20170101AFI20240403BHJP

   G06T 7/00 20170101ALI20240403BHJP

   B61L 23/04 20060101ALI20240403BHJP

   G01B 11/28 20060101ALI20240403BHJP

   G01B 11/02 20060101ALI20240403BHJP

【ＦＩ】

G06T7/62

G06T7/00 350B

G06T7/00 650Z

B61L23/04

G01B11/28 H

G01B11/02 H

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022156876

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(71)【出願人】

【識別番号】504158881

【氏名又は名称】東京地下鉄株式会社

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】高木 和久

(72)【発明者】

【氏名】矢田 徹

(72)【発明者】

【氏名】工藤 浩之

(72)【発明者】

【氏名】南條 正紀

(72)【発明者】

【氏名】高橋 伴嘉

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA22

2F065AA58

2F065BB11

2F065CC35

2F065FF01

2F065FF04

2F065JJ02

2F065JJ03

2F065JJ25

2F065JJ26

2F065MM06

2F065QQ31

2F065QQ36

2F065QQ38

5L096AA06

5L096BA03

5L096CA03

5L096DA02

5L096EA03

5L096FA02

5L096FA03

5L096FA37

5L096FA59

5L096FA64

5L096GA02

5L096GA28

5L096GA51

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】レールの電食領域を効率的に検知可能な電食検知装置等を提供する。
【解決手段】電食検知装置は、レールを撮影した画像を取得する取得部１１と、取得された前記画像から枕木周辺領域を抽出する抽出部１２と、枕木周辺領域内の識別対象領域とレールのエッジを識別する識別部１３と、識別された識別対象領域とレールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する検知部１４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

レールを撮影した画像を取得する取得手段と、
取得された前記画像から枕木周辺領域を抽出する抽出手段と、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する識別手段と、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する検知手段と、を備える、電食検知装置。

【請求項2】

前記抽出手段は、レールの画像から前記レールに沿って配置された枕木ごとに枕木周辺領域を抽出するよう学習された第１学習済モデルに基づいて、取得された前記画像から枕木周辺領域を抽出し、
前記識別手段は、前記枕木周辺領域内に存在する識別対象のカテゴリごとに識別対象が存在する領域を識別するよう学習された第２学習済モデルに基づいて、前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する、請求項１に記載の電食検知装置。

【請求項3】

前記カテゴリは枕木、締結装置、及びレールを含む、請求項２に記載の電食検知装置。

【請求項4】

前記識別の結果に基づいて、電食領域の面積又は幅を算出する算出手段を更に備える、請求項１に記載の電食検知装置。

【請求項5】

前記算出手段は、前記識別手段によって識別されたレール領域から前記レールのエッジを通る直線座標を求め、前記直線座標と前記識別手段によって識別されたレール領域と締結装置領域とを用いて電食領域を特定し、前記電食領域内のピクセル数をカウントすることで前記電食領域の面積を算出する、請求項４に記載の電食検知装置。

【請求項6】

前記算出手段は、前記識別手段によって識別されたレール領域から前記レールのエッジを通る直線座標を求め、前記直線座標と前記識別手段によって識別された前記レール領域と締結装置領域とを用いて電食領域を特定し、前記電食領域の幅に沿ってピクセル数をカウントすることで前記電食領域の幅を算出する、請求項４に記載の電食検知装置。

【請求項7】

前記取得手段は、前記レールに沿って走行する車両に取り付けられた、所定の長さのレールの画像を撮影可能なラインスキャンカメラ又は当該ラインスキャンカメラに接続された入力インタフェースである、請求項１に記載の電食検知装置。

【請求項8】

前記検知手段は、枕木周辺領域内の識別対象領域をセグメンテーションした画像から、電食領域を検知するように学習された第３学習済モデルに基づいて、電食領域を検知する、請求項１に記載の電食検知装置。

【請求項9】

レールを撮影した画像を取得し、
取得された前記画像から枕木周辺領域を抽出し、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別し、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する、電食検知方法。

【請求項10】

レールを撮影した画像を取得する処理と、
取得された前記画像から枕木周辺領域を抽出する処理と、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する処理と、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する処理と、をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、電食検知装置、電食検知方法、及びプログラムに関する。

【背景技術】

【0002】

鉄道などのインフラストラクチャ（例えば、レール）の保守や点検のため、対象となる部分を撮影した画像を用いて、効率的に異常の検知を行っている。例えば、特許文献１には、撮影画像を用いて鉄道路線を検査する無人航空機が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２１５８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

鉄道路線などのレールの保守及び点検作業において、効率的に電食領域を検知又はその面積等を算出することが求められている。引用文献１は、電食領域を検知することは言及していない。

【0005】

本開示は、このような問題点を解決するためになされたものであり、レールの電食領域を効率的に検知可能な電食検知装置、電食検知方法、及びプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様にかかる電食検知装置は、
レールを撮影した画像を取得する取得手段と、
取得された前記画像から枕木周辺領域を抽出する抽出手段と、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する識別手段と、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する検知手段と、を備える。

【0007】

本開示の一態様にかかる電食検知方法は、
レールを撮影した画像を取得し、
取得された前記画像から枕木周辺領域を抽出し、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別し、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する。

【0008】

本開示の一態様にかかるプログラムは、
レールを撮影した画像を取得する処理と、
取得された前記画像から枕木周辺領域を抽出する処理と、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する処理と、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する処理と、をコンピュータに実行させる。

【発明の効果】

【0009】

本開示によれば、鉄道路線などのレールの保守及び点検作業において、効率的に電食領域を検知する電食検知装置、電食検知方法、及びプログラム等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１にかかる電食検知装置の構成を示すブロック図である。

【図2】実施の形態１にかかる電食検知方法を示すフローチャートである。

【図3】実施の形態２にかかる電食検知装置の構成を示すブロック図である。

【図4】実施の形態２にかかる電食検知方法を示すフローチャートである。

【図5】実施の形態２にかかるレールのエッジ抽出処理を示すフローチャートである。

【図6】実施の形態２にかかる電食領域の面積算出処理を示すフローチャートである。

【図7】実施の形態２にかかる前処理を説明する図である。

【図8】実施の形態２にかかる抽出された枕木周辺領域の様々な例示の画像である。

【図9】実施の形態２にかかるセグメンテーション処理を説明する図である。

【図10】実施の形態２にかかるレールのエッジ抽出処理を説明する図である。

【図11】実施の形態２にかかる電食領域検知及び算出処理を説明する図である。

【図12】電食検知装置のハードウェア構成例を示すブロックである。

【発明を実施するための形態】

【0011】

実施の形態１
以下、図面を参照して本実施の形態について説明する。
実施の形態１に係る電食検知装置１０は、鉄道路線などのレールの検査に使用され、特に、異常となり得る電食領域を検知するために使用され得る。電食とは、電流がレールから大地へ漏れ、レールと大地が接触している部分でレールが損傷する現象をいう。電食検知装置１０は、プロセッサ及びメモリ等を備える１つ以上のコンピュータにより実現される。

【0012】

電食検知装置１０は、取得部１１、抽出部１２、識別部１３、及び検知部１４を備える。取得部１１はレールを撮影した画像を取得する（取得手段とも呼ばれる）。抽出部１２は、取得された画像から枕木周辺領域を抽出する（抽出手段とも呼ばれる）。抽出方法は、レールの画像から当該レールに沿って配置された枕木ごとに枕木周辺領域を抽出するよう事前に学習された第１学習済モデルを用いてもよいし、パターン認識技法を用いてもよい。

【0013】

枕木周辺領域は、１つの枕木と、レールと、枕木とレールを締結する１つ以上の締結装置を含み得るが、締結装置が欠損している場合には、１つの枕木と、レールしか含まれない場合もある。

【0014】

また、識別部１３は、識別対象領域とレールのエッジを識別する（識別手段とも呼ばれる）。いくつかの実施形態では、識別部１３は、枕木周辺領域内に存在する識別対象のカテゴリごとに識別対象が存在する領域を識別するよう学習された第２学習済モデルに基づいて、識別対象領域とレールのエッジを識別してもよい。教師あり機械学習の場合、例えば、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングを用いてもよい。他の実施形態では、パターン認識技法により、識別対象領域とレールのエッジを識別してもよい。

【0015】

検知部１４は、識別された識別対象領域とレールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する（検知手段とも呼ばれる）。

【0016】

いくつかの実施形態では、取得部１１は、ラインスキャンカメラであり得るか、又はラインスキャンカメラに接続され得る入力インタフェースであり得る。第１学習済モデルは、ラインスキャンカメラで撮影した所定の長さのレールを撮影した細長い画像を入力画像として、レールに沿って配置される枕木ごとの枕木周辺領域を抽出するようにディープラーニング等の機械学習により学習されたモデルである。教師あり機械学習の場合、例えば、畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニングを用いてもよい。

【0017】

いくつかの実施形態では、識別部１３は、枕木周辺領域内の識別対象領域をセグメンテーションすることができる。セグメンテーションは、例えば、識別対象領域ごとに異なる色やハッチング等により画像処理を行うものである。検知部１４は、異常と見なされ得る電食領域を検知することができる。

【0018】

電食検知装置１０の複数の構成要素のうちの一部又は全部は、有線又は無線ネットワークを介して互いに接続された複数のコンピュータ又は回路により実現されてもよい。複数のコンピュータ又は回路は、集中配置されてもよいし、分散配置されてもよい。

【0019】

図２は、実施の形態１にかかる電食検知方法を示すフローチャートである。
取得部１１は、レールを撮影した画像を取得する（ステップＳ１１）。抽出部１２は、取得された画像から枕木周辺領域を抽出する（ステップＳ１２）。いくつかの実施形態では、抽出部１２は、レールの画像から当該レールに沿って配置された枕木ごとに枕木周辺領域を抽出するよう学習された第１学習済モデルに基づいて、取得された画像から枕木周辺領域を抽出してもよい。また、他の実施形態では、パターン認識により、取得された画像から枕木周辺領域を抽出してもよい。識別部１３は、識別対象領域とレールのエッジを識別する（ステップＳ１３）。いくつかの実施形態では、枕木周辺領域内に存在する識別対象のカテゴリごとに識別対象が存在する領域を識別するよう学習された第２学習済モデルに基づいて、識別対象領域を検出してもよい。他の実施形態では、パターン認識技法により、識別対象領域を検出してもよい。検知部１４は、識別された識別対象領域とレールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する（ステップＳ１４）。

【0020】

以上説明した実施の形態１にかかる電食検知装置によれば、所定の画像処理技術を用いることで、レールの電食領域を特定し、レールの点検作業を効率的に実行することができる。

【0021】

実施の形態２
図３は、本実施形態にかかる電食検知装置の構成を示すブロック図である。
電食検知装置１０は、鉄道路線などのレールにおける異常検知のうち、特に、画像処理技術（例えば、ディープラーニング）を用いて電食領域を検知する又はその面積を算出するために用いられ得る。電食検知装置１０は、プロセッサ及びメモリ等を備える１つ以上のコンピュータにより実現され得る。図３に示すように、電食検知装置１０は、取得部１１、抽出部１２、識別部１３、検知部１４、算出部１５及び出力部１６を備える。なお、電食とは、電流がレールから大地へ漏れ、レールと大地が接触している部分でレールが損傷する現象いう。

【0022】

取得部１１は、レールを撮影した画像を取得する。取得部１１は、例えば、レール上を定期的に走行する検査車両又は営業車両等の車両の下側に取り付けられたカメラ（例えば、ラインスキャンカメラ）により、撮影されたレールの画像を取得することができる。異常検知などの点検作業をより効率的かつ一括して行うため、エリアスキャンカメラよりもラインスキャンカメラを用いて、レールに沿った細長い画像を取得することが好ましい場合がある。例えば、レールは、実際には曲がっている場合もあり、エリアスキャンカメラを用いて撮影すると、曲がったレールの画像が取得される。一方、ラインスキャンカメラを用いて撮影すると、レールと検車車両に搭載したカメラを常に略平行にして、レールを撮影することができる。そのため、本明細書で説明する画像処理を行うために好適な画像を取得するためには、ラインスキャンカメラを用いることが好ましい場合がある。

【0023】

他の実施形態では、取得部１１は、カメラを搭載したドローン又は無人航空機をレールの上方を飛行させて撮影したレールの画像を取得してもよい。取得部１１は、ラインスキャンカメラであってもよいし、ラインスキャンカメラとネットワークを介して通信可能に接続された入力インタフェースであってもよい。

【0024】

抽出部１２は、レールの画像から枕木ごとに枕木周辺領域を抽出するよう学習された第１学習済モデルに基づいて、取得部１１により取得され、様々な前処理を行った画像から枕木周辺領域を抽出する。抽出部１２は、レールに沿って枕木ごとに対応する複数の枕木周辺領域をそれぞれ抽出することができる。

【0025】

抽出部１２は、抽出処理前の前処理を行う平坦化部１２１及びリサイズ部１２２を更に備えてもよい。当該前処理は、学習に適したデータ加工処理を実施するものである。当該前処理は、画像の明るさを向上させたり、コントラストを増大させたりすることで、特徴又は識別対象を捉えやすくする。平坦化部１２１は、取得した画像に対し、ヒストグラム平坦化処理を行う。ヒストグラム平坦化処理は、画素値のヒストグラムが全体的に平均化されるように画素値を変換することができる。また、リサイズ部１２２は、ヒストグラム平坦化処理が施された画像に対して、リサイズ処理（例えば、縮小又は拡張など）を行う。

【0026】

各枕木周辺領域は、レールの異常、特に電食領域を検知する対象の単位であり得る。すなわち、各枕木周辺領域については、それぞれ電食領域が発生しているか否かが判断される。枕木周辺領域は、枕木と、レールと、当該枕木と当該レールとを締結する締結装置（例えば、板バネとボルト、線バネなど）を含み得る。しかし、異常の場合には、例えば、締結装置が紛失等により存在しない場合もある。また、枕木周辺領域は、枕木、締結装置、及びレールを認識するために影響を及ばし得る対象、例えば、配線、又はその他金具を含む場合もある。

【0027】

識別部１３は、枕木周辺領域内に存在する識別対象のカテゴリごとに識別対象が存在する領域（すなわち、識別対象の外縁）を識別するよう学習された第２学習済モデルに基づいて、識別対象領域とレールのエッジを識別する。

【0028】

識別対象のカテゴリは、枕木、締結装置、及びレールを少なくとも含む。これらのカテゴリは、後述する電食領域を検知又は算出するのに必要である。また、レールのエッジ、特に、枕木又は締結装置側のレールのエッジを識別する。また、識別対象のカテゴリは、配線及び金具などの、上記した枕木、締結装置、及びレールを認識するために影響を及ばし得る対象を更に含んでもよい。これらのカテゴリを追加することで、より高い精度で、枕木、締結装置、及びレールを識別することが可能になり、結果的により高い精度で、電食領域を検知又は算出することが可能になるからである。上記識別対象のカテゴリは、例示であり、他の実施形態では、他のカテゴリを含む場合もある。

【0029】

検知部１４は、識別された識別対象領域とレールのエッジとの位置関係に基づいて閾値面積以上の電食領域を検知する。検知部１４は、閾値面積以上の電食領域を異常として検知することで、画像内の複数の枕木周辺領域のうち、異常性の高い枕木周辺領域（例えば、枕木の識別番号）を特定することができる。例えば、ラインスキャンカメラで撮影されたレールの画像情報（例えば、撮影時刻、位置情報）と、異常として検知された枕木周辺領域の情報とを用いることで、レールの画像内のどこに位置する枕木であるかを特定し、最終的に、枕木の識別番号を特定することができる。

【0030】

また、他の実施形態では、異常ランクごとに電食領域を検知してもよい。異常ランクは、例えば、電食領域の面積が大きいほど高くなり得る。また、異常ランクは、例えば、電食領域の幅又は深さが大きいほど高くなり得る。

【0031】

算出部１５は、検知された電食領域の面積や横幅を算出する。算出部１５は、後述するように、画像処理技術により、電食領域を検知し、電食領域内のピクセル数をカウントすることで、電食領域の面積を算出することができる。また、算出部１５は、画像処理技術により、電食領域の横幅に沿ってピクセル数をカウントすることで、電食領域の横幅を算出することができる。

【0032】

出力部１６は、上述した検知結果又は算出結果を出力する。出力部１６は、ディスプレイ、オーディオ出力デバイスなどであり得る。出力部１６は、例えば、電食検知装置１０又は他の通信デバイスのディスプレイを介して、異常ランクを出力してもよい。他の通信デバイスは、有線又は無線ネットワークを介して通信するように構成された任意のタイプの電子構成要素、例えば、携帯電話、スマートフォン、タブレット、ウェアラブル機器、又はIoT（Internet of Things）であり得る。

【0033】

なお、上述した第１及び第２学習済モデルは、既知の機械学習を用いて事前に学習しておき、電食検知装置１０の内部の記憶部又は電食検知装置１０とネットワークを介して接続された、電食検知装置１０の外部の記憶部に格納され得る。また、第１及び第２学習済モデルは、学習データが所定量蓄積するごとに、定期的に更新され得る。

【0034】

電食検知装置１０の複数の構成要素の一部又は全部は、有線又は無線ネットワークを介して互いに接続された複数のコンピュータ又は回路により実現されてもよい。複数のコンピュータ又は回路は、集中配置されてもよいし、分散配置されてもよい。いくつかの実施形態では、電食検知装置１０の構成要素の一部が省略される場合もある。いくつかの他の実施形態では、電食検知装置１０の構成要素の一部が追加される場合もある。

【0035】

次に、図４～図６のフローチャート及び図７～図１０の画像図を参照して、具体的に電食領域の検知及びその面積等の算出方法を説明する。
図４に示すように、本実施形態に係る電食検知方法は、まず、ラインスキャンカメラを用いて、レールの外側から斜め内側に向けてレールを撮影し、撮影画像を取得する（ステップＳ１０）。ここで、取得された画像の例は、図７の一番左側に示すような長細い画像である。同画像には、レールに沿った４個の枕木５１が収められているが、他の実施形態では、例えば、ラインスキャンカメラで撮影された細長い画像には、２個以上、５個以上、又は１０個以上等の枕木が収められている場合もある。

【0036】

ここで、図７を参照して、取得した画像に対する前処理を具体的に説明する。
以下で示す前処理は、画像の明るさを持ち上げ、コントラストを高くすることで、特徴（又は識別対象）を識別しやすくする。各前処理については、画像処理スクリプトをそれぞれ作成する。

【0037】

図３を用いて前述した電食検知装置１０の平坦化部１２１は、図７に示すように、取得した画像５０ａに対して、ヒストグラム平坦化処理を行う。ヒストグラム平坦化処理は、画素値のヒストグラムが画像全体にわたり平均化するように変換する処理をいう。平坦化処理により濃度等が平坦化した画像５０ｂを、ニューラルネットワーク用の学習データとして用いることで、画像認識の精度が向上する。

【0038】

次いで、電食検知装置１０のリサイズ部１２２は、画像５０ｂに対して、リサイズ処理を行う。リサイズ部１２２は、他の学習画像データと同じサイズに変更する。本例では、１０２４×５００１を０．５倍にリサイズしている。

【0039】

抽出部１２は、このようにリサイズ処理した画像５０ｃから、第１学習済モデルを用いて、枕木周辺領域を抽出する（ステップＳ２０）。本例では、枕木周辺領域の画像を３８４×３８４で切り出している。第１学習済モデルは、例えば、所定の前処理を施した画像（例えば、画像５０ｃ）から、枕木周辺領域（例えば、画像５０ｃ内の各領域５０ｃ＿２など）を抽出するようにディープラーニング等の機械学習を用いて事前に学習されたモデルである。

【0040】

なお、上記した前処理は、撮影環境や撮影条件により、任意に変更可能であり、前処理の一部は省略される場合もある。

【0041】

図８は、抽出された枕木周辺領域の様々な例示の画像である。
枕木周辺領域５０ｃ＿１の画像には、枕木５１とレール５２が存在する（同画像では、締結装置が欠損している）。枕木周辺領域５０ｃ＿２の画像には、枕木５１とレール５２と締結装置５３が存在する。枕木周辺領域５０ｃ＿３の画像には、枕木５１とレール５２と締結装置５３と他金具５４が存在する。この他金具５４は、レール５２の一部を覆い隠すように配置される場合がある。そのため、他金具５４を認識できない場合には、レール５２を誤認識してしまう場合もある。これを防止するため、他金具５４も正確に認識できることが好ましい。また、枕木周辺領域５０ｃ＿４の画像には、枕木５１とレール５２と締結装置５３と配線５５が存在する。この配線５５は、レール５２の一部と締結装置５３の一部を覆い隠すように配置される場合がある。そのため、この配線５５を認識できない場合には、レール５２及び締結装置５３を誤認識してしまう場合もある。これを防止するため、配線５５も正確に認識できることが好ましい。

【0042】

上記した４つの画像は、単なる例示であり、それ以外の様々な枕木周辺領域の画像が存在し得る。例えば、締結装置が欠損している、又は２つ以上の締結装置が存在する枕木周辺領域の画像も存在し得る。枕木も必ずしも全て同じ形状ではなく、若干異なる形状の枕木も存在し得る。

【0043】

なお、一般に、まっすぐ延びたレール５２の横に、略矩形状の枕木５１が配置されている。締結装置５３は、枕木５１の中央部と、レール５２の端とを締結している。締結装置５３は、金属製部材又はゴム製部材であり、レール５２は、金属製部材であり、枕木５１は、木製若しくはコンクリート製部材又はガラス繊維複合材であり得る。

【0044】

次いで、識別部１３は、第２学習済モデルにより、枕木周辺領域（例えば、５０ｃ＿１～４など）の画像から、対象を識別し、当該対象が存在する領域（すなわち、対象の外縁）をセグメンテーションする（図４のステップＳ３０）。

【0045】

第２学習済モデルは、識別対象である枕木、締結装置、レール、配線、他金具の５つのカテゴリで、教師ラベルを作成し、各対象が存在する領域（すなわち、枕木、締結装置、レール、配線、他金具の外縁）をセグメンテーションするようにディープラーニングにより学習されたモデルである。セグメンテーションの一例としては、各対象が存在する領域を色分け又はハッチング等により、区分する画像処理が挙げられる。

【0046】

他の実施形態では、第２学習済モデルは、識別対象である枕木、締結装置、レールの３つのカテゴリで、教師ラベルを作成し、各対象が存在する領域（すなわち、枕木、締結装置、レールの外縁）をセグメンテーションするようにディープラーニングにより学習されたモデルであってもよい。

【0047】

図９は、セグメンテーション処理を説明する図である。
上述したように、第１学習済モデルにより抽出された画像（例えば、検証画像５０ｃ＿２）に対して、セグメンテーションを行い、検証結果として、画像処理が施された画像（例えば、画像５０ｄ）が得られる。当該画像（例えば、画像５０ｄ）は、識別対象（例えば、枕木５１、レール５２、締結装置５３、他金具５４、その他５６）の存在する領域を異なる色で色分けするように画像処理されている。

【0048】

更に、当該検証結果画像は、図９の下部の５０ｅに示すように、レール５２とそれ以外の領域を示す画像５０ｅ＿１と、締結装置５３とそれ以外の領域を示す画像５０ｅ＿２と、枕木５１とそれ以外の領域を示す画像５０ｅ＿３と、その他５６とそれ以外の領域を示す画像５０ｅ＿４と、に別々に変換され得る。各変換後の画像は、対象となる部分を白色に、それ以外の部分を黒色に変換されている。これは、後述するように、電食領域の面積を算出するための準備工程である。

【0049】

次に、図４、図５及び図１０を参照して、レールのエッジ抽出処理を具体的に説明する。
まず、セグメンテーション結果から、レールのエッジの直線を近似する（図４のステップＳ４０）。レールの上方に、締結装置５３が配置され、レールのエッジを正確に把握できないので、エッジを推定するために、以下のような画像処理を行う。すなわち、図１０に示すように、まっすぐに延びたレール５２の画像５０ｄ＿１の中で、締結装置５３（又は枕木周辺領域）に相当する部分を除いて、上部レール領域と、下部レール領域を切り出す（図１０のＰ１）。次いで、切り出した上部画像部分ＵＰと、下部画像部分ＬＰとを合成する（図１０のＰ２、ステップＳ４１）。結合した画像のレール５２の部分とそれ以外の部分の境界（すなわち、エッジＬ）を抽出する（図１０のＰ３、ステップＳ４２）。エッジＬを膨張させて、膨張したエッジの中心線ＣＬを抽出し、中心線の直線座標を求める（図１０のＰ４、ステップＳ４３）。このように、エッジの膨張処理を行うことで、上部画像部分ＵＰと、下部画像部分ＬＰとがわずかにずれていた場合であっても、正確に中心線の直線座標を求めることができる。

【0050】

図６及び図１１を参照して電食領域検知及び面積算出処理を具体的に説明する。
まず、レール、締結装置、配線及びその他金具の領域を前景とし、それ以外の領域を背景とする（ステップＳ５１）。具体的には、締結装置５３（白部分）とそれ以外の領域を示す画像５０ｄ＿２と、レール５２（白部分）とそれ以外の領域を示す画像５０ｄ＿１とから、締結装置５３（白部分）とレール５２（白部分）との和集合（ｏｒ）をとる（図１１のＰ５）。その後、画像の白黒を反転する（図１１のＰ６）。

【0051】

次いで、白黒反転画像から、直線ＣＬより左側の白部分を削除する（すなわち、黒くする）（図１１のＰ７）。直線ＣＬより右側にある背景（図１１の最左端の画像内の白い部分、すなわち、電食領域ＥＡ）の幅及び面積を算出する（ステップＳ５２）。つまり、電食発生により、直線ＣＬより右側にあるレール部分に、枕木がどの程度食い込んでいるかを画像認識技術により、特定することができる。図１１の上段左端の図に示すように、残った白い部分（すなわち、電食領域ＥＡ）について、ピクセル数をカウントすることで、電食領域の横幅及び面積を算出することができる。また、所定の面積以上の電食領域のみを異常として、抽出することもできる。また、検査車両に搭載されたカメラが撮影した日及び時刻を特定することで、レールの対応する枕木の位置および識別番号も特定することができる。図１１の下部に示す表は、枕木周辺領域ごとの電食領域の面積及び上面視した場合の幅（深さとも呼ばれ得る。すなわち、直線ＣＬからのレールへの電食の深さ）を示す。

【0052】

図１１に示す表は、電食検知装置１０の表示装置又は外部表示装置を介して、出力部１６により出力されてもよい。あるいは、他の実施形態では、電食検知装置１０の出力部１６は、電食領域に関する異常発生のアラーム又は異常ランクを出力してもよい。

【0053】

上記画像処理方法では、電食領域が発生した画像だけでなく、電食領域が発生していない画像も、学習データとして使用することができるので、電食領域が発生した画像のみの場合と比べ、データ収集の観点で有利である。また、収集された多量の学習データをもとに、効率的学習により、様々な対象をより正確に識別しセグメンテーションを行うための第２学習済モデルを生成することができる。

【0054】

レール電食は様々な要因により発生し得ると考えられる。例えば、トンネル内は漏水や湧水等による湿潤環境であり、空気中の水分・酸素がレールに赤さびを発生させそこを媒介にしてレールを流れる帰線電流（電車からレールを通って変電所に戻る電流）が締結装置、道床、埃を伝わりレールの鉄分とともに大地へ流出し、レール及びその周辺の金属を腐食させる場合がある。特にレールと締結装置付近に湿潤な埃が蓄積しやすく、そこから大地に電流が漏れることから腐食が顕著にみられる場合がある。よって、上記のような画像処理を行うことで、レールの電食領域を検知し、その面積を算出することができる。

【0055】

なお、他の実施形態では、図１０及び図１１の処理は、検証結果画像５０ｄを入力画像として、電食領域を検出又はその面積を算出するようにディープラーニング等で学習された第３学習済モデルで行うこともできる。この場合、電食領域が発生したレールの画像を、学習データとして収集する。上述した第１及び第２学習済モデルと同様に、第３学習済モデルも、事前に学習しておき、電食検知装置１０の内部の記憶部又は電食検知装置１０とネットワークを介して接続された、電食検知装置１０の外部の記憶部に格納され得る。また、第３学習済モデルは、学習データが所定量蓄積するごとに、定期的に更新され得る。

【0056】

図１２は、電食検知装置１０の構成例を示すブロック図である。図１２を参照すると、電食検知装置１０等は、ネットワーク・インタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インタフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インタフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インタフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（登録商標）（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。

【0057】

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された電食検知装置１０の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、GPU（Graphics Processing Unit）又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

【0058】

メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。

【0059】

図１２の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された電食検知装置１０の処理を行うことができる。

【0060】

図４～図６を用いて説明したように、電食検知装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

【0061】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0062】

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

【0063】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0064】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
レールを撮影した画像を取得する取得手段と、
取得された前記画像から枕木周辺領域を抽出する抽出手段と、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する識別手段と、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する検知手段と、を備える、電食検知装置。
（付記２）
前記カテゴリは枕木、締結装置、及びレールを含む、付記１に記載の電食検知装置。
（付記３）
前記カテゴリは、配線及び他の金具を更に含む、付記２に記載の電食検知装置。
（付記４）
前記識別の結果に基づいて、電食領域の面積又は幅を算出する算出手段を更に備える、付記１に記載の電食検知装置。
（付記５）
前記算出手段は、前記識別手段によって識別されたレール領域から前記レールのエッジを通る直線座標を求め、前記直線座標と前記識別手段によって識別されたレール領域と締結装置領域とを用いて電食領域を特定し、前記電食領域内のピクセル数をカウントすることで前記電食領域の面積を算出する、付記４に記載の電食検知装置。
（付記６）
前記算出手段は、前記識別手段によって識別されたレール領域から前記レールのエッジを通る直線座標を求め、前記直線座標と前記識別手段によって識別された前記レール領域と締結装置領域とを用いて電食領域を特定し、前記電食領域の幅に沿ってピクセル数をカウントすることで前記電食領域の幅を算出する、付記４に記載の電食検知装置。
（付記７）
前記取得手段は、前記レールに沿って走行する車両に取り付けられた、所定の長さのレールの画像を撮影可能なラインスキャンカメラ又は当該ラインスキャンカメラに接続された入力インタフェースである、付記１～６のいずれかに記載の電食検知装置。
（付記８）
前記検知手段は、枕木周辺領域内の識別対象領域をセグメンテーションした画像から、電食領域を検知するように学習された第３学習済モデルに基づいて、電食領域を検知する、付記１～７のいずれかに記載の電食検知装置。
（付記９）
レールを撮影した画像を取得し、
取得された前記画像から枕木周辺領域を抽出し、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別し、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する、電食検知方法。
（付記１０）
レールを撮影した画像を取得する処理と、
取得された前記画像から枕木周辺領域を抽出する処理と、
前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する処理と、
前記識別された識別対象領域と前記レールのエッジとの位置関係に基づいて閾値面積以上又は閾値幅以上の電食領域を検知する処理と、をコンピュータに実行させるプログラム。
（付記１１）
前記第１及び第２学習済モデルを記憶する記憶部を更に備える、付記１～８のいずれかに記載の電食検知装置。
（付記１２）
検知結果又は算出結果を出力する出力部を更に備える、付記１～８のいずれかに記載の電食検知装置。
（付記１３）
取得したレールの画像に平坦化処理を行う平坦化部と、
平坦化処理された画像のリサイズを行うリサイズ部と、を更に備える、付記１～８のいずれかに記載の電食検知装置。
（付記１４）
前記抽出手段は、レールの画像から前記レールに沿って配置された枕木ごとに枕木周辺領域を抽出するよう学習された第１学習済モデルに基づいて、取得された前記画像から枕木周辺領域を抽出し、
前記識別手段は、前記枕木周辺領域内に存在する識別対象のカテゴリごとに識別対象が存在する領域を識別するよう学習された第２学習済モデルに基づいて、前記枕木周辺領域内の識別対象領域と前記レールのエッジを識別する、付記１～８に記載の電食検知装置。

【符号の説明】

【0065】

１０ 電食検知装置
１１ 取得部
１２ 抽出部
１３ 識別部
１４ 検知部
１５ 算出部
１６ 出力部
５０ 画像
５１ 枕木
５２ レール
５３ 締結装置
５４ 他の金具
５５ 配線
５６ その他
１２１ 平坦化部
１２２ リサイズ部
ＥＡ 電食領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】