知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】トロリ線検測装置及びトロリ線検測方法
(51)【国際特許分類】
G01B 11/02 20060101AFI20231114BHJP
G01B 11/00 20060101ALI20231114BHJP
B60M 1/28 20060101ALI20231114BHJP
【ＦＩ】
G01B11/02 H
G01B11/00 C
B60M1/28 R
【請求項の数】
4
(21)【出願番号】P 2020048517
(22)【出願日】2020-03-19
(65)【公開番号】P2021148589
(43)【公開日】2021-09-27
【審査請求日】2022-09-22
(73)【特許権者】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】山本 大樹
(72)【発明者】
【氏名】川畑 匠朗
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】特開２０１６－２２３８８２（ＪＰ，Ａ）
【文献】特開２０２０－０３７３５６（ＪＰ，Ａ）
【文献】特開２０１９－０７８７１６（ＪＰ，Ａ）
【文献】特開２０１９－０２８８６１（ＪＰ，Ａ）
【文献】特開２０１５－１３７８７１（ＪＰ，Ａ）
【文献】特開２０１７－２１５７４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
２１／００－２１／３２
Ｂ６０Ｍ １／００－７／００
(57)【特許請求の範囲】
【請求項1】
トロリ線を撮像するラインセンサを備え、当該ラインセンサにより撮像された画像を入力画像としてこれを基に前記トロリ線を検測する、トロリ線検測装置であって、前記入力画像を時系列的に並べてラインセンサ画像を生成する、ラインセンサ画像生成部と、
前記ラインセンサ画像と、当該ラインセンサ画像内の各画素に対する、当該画素が前記トロリ線の摩耗領域に該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習された学習モデルと、
当該学習モデルに対し、前記ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素が前記摩耗領域に該当するか否かを推論し、前記摩耗領域を抽出した摩耗領域抽出画像を生成する、摩耗領域抽出部と、
当該摩耗領域抽出画像を基に、前記トロリ線の残存直径の算出、偏位の算出、過剰摩耗の判定のいずれかまたはいずれかの組み合わせを実行する、トロリ線検測部と、
を備え、
前記正解値は、当該正解値に対応する前記ラインセンサ画像の画素が、前記摩耗領域、き電線、及び吊架線を含む分類区分のいずれに該当するかを示すものであり、
前記摩耗領域抽出部は、前記学習モデルに対し、前記ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素がどの前記分類区分に該当するかを推論することで、当該画素が前記摩耗領域に該当するか否かを推論する、トロリ線検測装置。
【請求項2】
前記ラインセンサ画像生成部は、前記入力画像を時系列的に並べた整列画像から、前記入力画像が時系列的に並べられた方向に延在する線条物を抽出する、線条物抽出部と、
前記整列画像から、抽出された前記線条物を含むように画像を切り出し、当該画像を、前記ラインセンサ画像として出力する、画像切り出し部と、
を備える、請求項１に記載のトロリ線検測装置。
【請求項3】
前記分類区分は、更に、前記摩耗領域に隣接する前記トロリ線の側面領域を含み、
前記摩耗領域抽出部は、前記学習モデルに対し、前記ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素が前記摩耗領域、前記側面領域、前記き電線、前記吊架線、及び他の領域を含むいずれかの領域に該当するか否かを推論し、
前記トロリ線検測部は、前記側面領域の有無により、前記トロリ線が過剰に摩耗しているか否かを判定する、請求項１または２に記載のトロリ線検測装置。
【請求項4】
トロリ線を撮像するラインセンサにより撮像された画像を入力画像としてこれを基に前記トロリ線を検測する、トロリ線検測方法であって、前記入力画像を時系列的に並べてラインセンサ画像を生成し、
前記ラインセンサ画像と、当該ラインセンサ画像内の各画素に対する、当該画素が前記トロリ線の摩耗領域に該当するか否かの正解値であって、当該正解値に対応する前記ラインセンサ画像の画素が、前記摩耗領域、き電線、及び吊架線を含む分類区分のいずれに該当するかを示すものである、前記正解値と、を学習データとして、セマンティックセグメンテーションにより深層学習された学習モデルに対し、前記ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素がどの前記分類区分に該当するかを推論することで、当該画素が前記摩耗領域に該当するか否かを推論し、前記摩耗領域を抽出した摩耗領域抽出画像を生成し、
当該摩耗領域抽出画像を基に、前記トロリ線の残存直径の算出、偏位の算出、過剰摩耗の判定のいずれかまたはいずれかの組み合わせを実行する、トロリ線検測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トロリ線検測装置及びトロリ線検測方法に関する。
【背景技術】
【0002】
電気鉄道車両は、線路上を走行するに際し、線路の上方に設けられたトロリ線からパンタグラフ等の集電装置を介して給電されることで、動力を得る。電気鉄道車両が通過するたびに、集電装置がトロリ線の下面に対して滑動する。このため、電気鉄道車両を継続して運用すると、トロリ線は徐々に摩耗し、最終的には破断する。したがって、トロリ線には摩耗限界が設定されており、トロリ線の残存直径が管理値を下回った場合には、トロリ線は新品に交換される。
一方、集電装置の接触部も摩耗するため、接触部が一か所に集中しないように、トロリ線はレール直角方向にジグザグに偏位させて設置しており、この偏位量も管理されている。
これらの、トロリ線の検査測定を作業員が手作業で行うには、多大な手間を要する。したがって、トロリ線の自動検測装置やシステムが、運用されている。
一方、集電装置の接触部も摩耗するため、接触部が一か所に集中しないように、トロリ線はレール直角方向にジグザグに偏位させて設置しており、この偏位量も管理されている。
これらの、トロリ線の検査測定を作業員が手作業で行うには、多大な手間を要する。したがって、トロリ線の自動検測装置やシステムが、運用されている。
【0003】
上記のような装置においては、電気鉄道車両の上方に、トロリ線の下側に位置する摩耗領域を照射する照明と、当該照明により照射された摩耗領域を撮像するラインセンサが設けられることがある。ラインセンサは、上向きに、走査線がトロリ線を横切るように設けられ、ラインセンサにより撮像された画像を時系列的に並べてラインセンサ画像が生成される。このラインセンサ画像に画像処理を適用した上で、例えばトロリ線の高さや太さ等のトロリ線の仕様に関する既知のデータを用いることで、トロリ線の偏位や残存直径が計算される。
例えば、特許文献１に、上記のような装置が開示されている。
例えば、特許文献１に、上記のような装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第５２８７１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のような装置においては、ラインセンサは上向きに設けられているため、ラインセンサ画像中の背景には、基本的には空が写されるが、場合によっては周囲の建築物や樹木など、空以外の物体が写り込むことがある。
また、トロリ線を撮像する時間帯に依存して、背景の輝度値が大きく変動する。例えば、晴れた昼間であれば輝度値は高くなるが、曇りであると輝度値は低くなるし、夜間やトンネル内等では輝度値は更に低下する。
また、トロリ線を撮像する時間帯に依存して、背景の輝度値が大きく変動する。例えば、晴れた昼間であれば輝度値は高くなるが、曇りであると輝度値は低くなるし、夜間やトンネル内等では輝度値は更に低下する。
【0006】
このように、ラインセンサ画像の背景の輝度値や、空以外の物体の写り込みの程度が、上記装置を実行させる線路区間や天候に依存して大きく異なる。
摩耗領域を正確に抽出するためには、基本的には、このような背景の影響を考慮し、処理対象となる画像に適した画像処理アルゴリズムやパラメータを、適宜選択するのが望ましい。
しかし、作業員が画像を都度確認して、これに適する画像処理アルゴリズムやパラメータを選択するのは、大きな工数を要する。
トロリ線を、容易に、かつ撮像環境の影響を低減して精度よく検測することが望まれている。
摩耗領域を正確に抽出するためには、基本的には、このような背景の影響を考慮し、処理対象となる画像に適した画像処理アルゴリズムやパラメータを、適宜選択するのが望ましい。
しかし、作業員が画像を都度確認して、これに適する画像処理アルゴリズムやパラメータを選択するのは、大きな工数を要する。
トロリ線を、容易に、かつ撮像環境の影響を低減して精度よく検測することが望まれている。
【0007】
本発明が解決しようとする課題は、ラインセンサにより撮像された画像を基にトロリ線を検測するに際し、検測を容易に、かつ撮像環境の影響を低減して精度よく実行可能な、トロリ線検測装置及びトロリ線検測方法を提供することである。
【課題を解決するための手段】
【0008】
本発明は、上記課題を解決するため、以下の手段を採用する。すなわち、本発明は、トロリ線を撮像するラインセンサを備え、当該ラインセンサにより撮像された画像を入力画像としてこれを基に前記トロリ線を検測する、トロリ線検測装置であって、前記入力画像を時系列的に並べてラインセンサ画像を生成する、ラインセンサ画像生成部と、前記ラインセンサ画像と、当該ラインセンサ画像内の各画素に対する、当該画素が前記トロリ線の摩耗領域に該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習された学習モデルと、当該学習モデルに対し、前記ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素が前記摩耗領域に該当するか否かを推論し、前記摩耗領域を抽出した摩耗領域抽出画像を生成する、摩耗領域抽出部と、当該摩耗領域抽出画像を基に、前記トロリ線の残存直径の算出、偏位の算出、過剰摩耗の判定のいずれかまたはいずれかの組み合わせを実行する、トロリ線検測部と、を備える、トロリ線検測装置を提供する。
【0009】
また、本発明は、トロリ線を撮像するラインセンサにより撮像された画像を入力画像としてこれを基に前記トロリ線を検測する、トロリ線検測方法であって、前記入力画像を時系列的に並べてラインセンサ画像を生成し、前記ラインセンサ画像と、当該ラインセンサ画像内の各画素に対する、当該画素が前記トロリ線の摩耗領域に該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習された学習モデルに対し、前記ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素が前記摩耗領域に該当するか否かを推論し、前記摩耗領域を抽出した摩耗領域抽出画像を生成し、当該摩耗領域抽出画像を基に、前記トロリ線の残存直径の算出、偏位の算出、過剰摩耗の判定のいずれかまたはいずれかの組み合わせを実行する、トロリ線検測方法を提供する。
【発明の効果】
【0010】
本発明によれば、ラインセンサにより撮像された画像を基にトロリ線を検測するに際し、検測を容易に、かつ撮像環境の影響を低減して精度よく実行可能な、トロリ線検測装置及びトロリ線検測方法を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態におけるトロリ線検測装置が搭載された電気鉄道車両の走行環境を示す説明図である。
【図2】上記トロリ線検測装置のブロック図である。
【図3】上記トロリ線検測装置のラインセンサにより撮像された画像を基に生成された、ラインセンサ画像の例である。
【図4】上記トロリ線検測装置の、学習モデルの学習時に使用される教師画像の説明図である。
【図5】上記学習モデルのブロック図である。
【図6】上記トロリ線検測装置の、トロリ線偏位算出部の説明図である。
【図7】上記トロリ線検測装置の、トロリ線残存直径算出部の説明図である。
【図8】上記トロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。
【図9】上記実施形態の第１変形例に関するトロリ線検測装置のブロック図である。
【図10】上記第１変形例に関するトロリ線検測装置において、二値化処理後の画像の説明図である。
【図11】上記第１変形例に関するトロリ線検測装置において、二値化処理後の画像において領域選択を行った状態の説明図である。
【図12】上記第１変形例に関するトロリ線検測装置において、選択された領域をラインセンサ画像に適用した状態の説明図である。
【図13】上記第１変形例に関するトロリ線検測装置において、選択された領域でラインセンサ画像を切り出した状態の説明図である。
【図14】上記第１変形例に関するトロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。
【図15】上記実施形態の第２変形例に関するトロリ線検測装置のブロック図である。
【図16】上記第２変形例に関するトロリ線検測装置において、学習モデルによって出力された画像の説明図である。
【図17】上記第２変形例に関するトロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態におけるトロリ線検測装置２０が搭載された、トロリ線の検測を行う検査車両１の走行環境を示す説明図である。
検査車両１は、地面に敷設された一対の線路２上を走行する。線路２の側には、線路２に沿って間隔をおいて、複数の電柱３が立設されている。電柱３にはビーム５や曲引き金具６が設けられている。ビーム５の上方には、検査車両１に電力を供給するための電力線であるき電線４が、線路２の延びる方向Ｒに沿って延在し、ビーム５に支持されて設けられている。ビーム５や曲引き金具６の下側には、同様に線路２の延びる方向Ｒに沿って延在するように、次に説明するトロリ線９を吊架する吊架線７が、ビーム５や曲引き金具６に支持されて設けられている。吊架線７には、線路２の延びる方向Ｒに略一定の間隔をおいて、複数のハンガ８が吊架されて設けられている。
トロリ線９は、これら複数のハンガ８に、一定の張力を有するように吊架されて、吊架線７の下側に、吊架線７と略平行となるように設けられている。トロリ線９には、図示されないき電分岐線によって、き電線４から電力が供給される。
検査車両１の上面１ａには、パンタグラフ等の集電装置１ｂが設けられており、検査車両１が走行中に集電装置１ｂがトロリ線９に接触することで、トロリ線９から検査車両１に電力が供給される。
図１は、本実施形態におけるトロリ線検測装置２０が搭載された、トロリ線の検測を行う検査車両１の走行環境を示す説明図である。
検査車両１は、地面に敷設された一対の線路２上を走行する。線路２の側には、線路２に沿って間隔をおいて、複数の電柱３が立設されている。電柱３にはビーム５や曲引き金具６が設けられている。ビーム５の上方には、検査車両１に電力を供給するための電力線であるき電線４が、線路２の延びる方向Ｒに沿って延在し、ビーム５に支持されて設けられている。ビーム５や曲引き金具６の下側には、同様に線路２の延びる方向Ｒに沿って延在するように、次に説明するトロリ線９を吊架する吊架線７が、ビーム５や曲引き金具６に支持されて設けられている。吊架線７には、線路２の延びる方向Ｒに略一定の間隔をおいて、複数のハンガ８が吊架されて設けられている。
トロリ線９は、これら複数のハンガ８に、一定の張力を有するように吊架されて、吊架線７の下側に、吊架線７と略平行となるように設けられている。トロリ線９には、図示されないき電分岐線によって、き電線４から電力が供給される。
検査車両１の上面１ａには、パンタグラフ等の集電装置１ｂが設けられており、検査車両１が走行中に集電装置１ｂがトロリ線９に接触することで、トロリ線９から検査車両１に電力が供給される。
【0013】
トロリ線９が線路２と、平面視したときに平行に設けられていると、集電装置１ｂのトロリ線９と接する部分が限定されるため、集電装置１ｂの限られた部分が偏って摩耗し損傷するおそれがある。これを防ぐため、トロリ線９は線路２の延びる方向Ｒに沿って、緩やかにジグザグに蛇行するように設けられている。トロリ線９においては、この蛇行により生じる、一対の線路２間の中心に対するトロリ線９の左右の偏りである偏位が、厳重に管理されている。
【0014】
検査車両１をはじめとした電気鉄道車両が通過するたびに、集電装置１ｂがトロリ線９の下面に対して滑動する。このため、電気鉄道車両を継続して運用すると、トロリ線９は徐々に摩耗し、最終的には破断する。したがって、トロリ線９には摩耗限界が設定されており、トロリ線９の残存直径が管理値を下回った場合には、トロリ線９は新品に交換される。
本実施形態におけるトロリ線検測装置２０は、トロリ線９の残存直径や偏位を測定することで、トロリ線９を検測する。
図２は、トロリ線検測装置２０のブロック図である。図１、図２に示されるように、トロリ線検測装置２０は、照明２１、ラインセンサ２２、及び制御装置２３を備えている。
本実施形態におけるトロリ線検測装置２０は、トロリ線９の残存直径や偏位を測定することで、トロリ線９を検測する。
図２は、トロリ線検測装置２０のブロック図である。図１、図２に示されるように、トロリ線検測装置２０は、照明２１、ラインセンサ２２、及び制御装置２３を備えている。
【0015】
照明２１は、検査車両１の上面１ａに、光を上方に向けて照射するように設けられている。次に説明するラインセンサ２２によってトロリ線９を撮像した際に、トロリ線９の下側の、集電装置１ｂが滑動することによりトロリ線９が摩耗して平面状に形成された摩耗領域が、照明２１の光を反射することにより、明るい領域として表示されるように撮像される。
【0016】
ラインセンサ２２は、照明２１と同様に、検査車両１の上面１ａに設けられている。ラインセンサ２２は、縦方向に１画素、横方向に複数の、例えば８１９２画素の画素数で構成される画像を撮像するカメラである。本実施形態においては、ラインセンサ２２は、グレースケールの画像を撮像するため、各画素は１つの輝度値を有している。
ラインセンサ２２は、鉛直方向上向きに、かつ走査線２２ａの方向２２ｂが線路２の延びる方向Ｒに直交して、図示されない枕木の延在する方向と同一となるように設けられている。これにより、ラインセンサ２２の走査線２２ａがトロリ線９を横切るようになっている。
ラインセンサ２２は、検査車両１の走行中に、短い時間間隔をおいて連続的に、トロリ線９を撮像する。ラインセンサ２２により撮像された画像は、入力画像として、制御装置２３に送信される。
ラインセンサ２２は、鉛直方向上向きに、かつ走査線２２ａの方向２２ｂが線路２の延びる方向Ｒに直交して、図示されない枕木の延在する方向と同一となるように設けられている。これにより、ラインセンサ２２の走査線２２ａがトロリ線９を横切るようになっている。
ラインセンサ２２は、検査車両１の走行中に、短い時間間隔をおいて連続的に、トロリ線９を撮像する。ラインセンサ２２により撮像された画像は、入力画像として、制御装置２３に送信される。
【0017】
制御装置２３は、例えばパーソナルコンピュータ等の情報処理装置である。制御装置２３は、検査車両１に搭載されている。
検査車両１は、ラインセンサ画像生成部３０、摩耗領域抽出部３１、及びトロリ線検測部３２を備えている。摩耗領域抽出部３１は、学習部３５と補間処理部３７を備えている。学習部３５は、後に説明する学習モデル４０と、学習データ記憶部３６を備えている。トロリ線検測部３２は、トロリ線偏位算出部３８とトロリ線残存直径算出部３９を備えている。
これら制御装置２３の構成要素のうち、学習データ記憶部３６以外は、例えば上記の各情報処理装置内のＣＰＵにより実行されるソフトウェア、プログラムであってよい。また、学習データ記憶部３６は、上記各情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置により実現されていてよい。
検査車両１は、ラインセンサ画像生成部３０、摩耗領域抽出部３１、及びトロリ線検測部３２を備えている。摩耗領域抽出部３１は、学習部３５と補間処理部３７を備えている。学習部３５は、後に説明する学習モデル４０と、学習データ記憶部３６を備えている。トロリ線検測部３２は、トロリ線偏位算出部３８とトロリ線残存直径算出部３９を備えている。
これら制御装置２３の構成要素のうち、学習データ記憶部３６以外は、例えば上記の各情報処理装置内のＣＰＵにより実行されるソフトウェア、プログラムであってよい。また、学習データ記憶部３６は、上記各情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置により実現されていてよい。
【0018】
ラインセンサ画像生成部３０は、ラインセンサ２２から入力画像を受信し、これを縦方向に時系列的に、例えば１０００ラインを並べた整列画像を生成し、これをラインセンサ画像とする。
図３は、ラインセンサ画像５０の説明図である。ラインセンサ画像５０において、横方向Ｘは、ラインセンサ２２の走査線２２ａの方向２２ｂであり、縦方向Ｙは、時系列の方向、すなわち入力画像が並べられる方向である。
図３は、ラインセンサ画像５０の説明図である。ラインセンサ画像５０において、横方向Ｘは、ラインセンサ２２の走査線２２ａの方向２２ｂであり、縦方向Ｙは、時系列の方向、すなわち入力画像が並べられる方向である。
【0019】
図３に示されるラインセンサ画像５０には、最も手前に、トロリ線９が撮像されている。トロリ線９は新品の状態においては略円形の断面を有しており、その下側が集電装置１ｂの滑動によって削られて、平面状の摩耗領域９ａとなっている。摩耗領域９ａには、照明２１により光が照射されるため、明るく撮像されている。トロリ線９の、摩耗領域９ａの両側には、摩耗領域９ａの幅方向端部から外側へと湾曲しながら上方へと続くトロリ線９の表面が、側面領域９ｂとして撮像されている。すなわち、この側面領域９ｂは、トロリ線９の、集電装置１ｂが滑動、摺動しない、非摺動面である。図３のラインセンサ画像５０においては、トロリ線９が曲引き金具６により屈曲する部分が撮像されている。
トロリ線９の奥には、吊架線７が撮像されている。吊架線７のさらに奥には、き電線４と、これらを支持するビーム５、曲引き金具６が撮像されている。ビーム５と曲引き金具６は、ラインセンサ２２の撮像間隔の影響で、実際よりも細く撮像されている。
トロリ線９、吊架線７、き電線４、ビーム５、及び曲引き金具６の背景として、空１０が撮像されている。
トロリ線９の奥には、吊架線７が撮像されている。吊架線７のさらに奥には、き電線４と、これらを支持するビーム５、曲引き金具６が撮像されている。ビーム５と曲引き金具６は、ラインセンサ２２の撮像間隔の影響で、実際よりも細く撮像されている。
トロリ線９、吊架線７、き電線４、ビーム５、及び曲引き金具６の背景として、空１０が撮像されている。
【0020】
ラインセンサ画像生成部３０は、このような整列画像であるラインセンサ画像５０を生成し、摩耗領域抽出部３１へと送信する。
【0021】
摩耗領域抽出部３１の学習部３５は、ラインセンサ画像５０を受信し、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論し、摩耗領域９ａを抽出する。この推論を効果的に行うために、学習部３５は機械学習器を備えており、この機械学習器を深層学習して学習モデル４０を生成する。学習部３５は、実際に摩耗領域９ａを抽出する処理を行う際には、この学習が完了した学習モデル４０を使用して、入力されたラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論する。
すなわち、機械学習器は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習された学習モデル４０を生成するものである。
以下、説明を簡単にするため、学習部３５が備えている機械学習器と、これが学習されて生成される学習モデルをともに、同じ符号を付して、学習モデル４０と呼称する。
すなわち、機械学習器は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習された学習モデル４０を生成するものである。
以下、説明を簡単にするため、学習部３５が備えている機械学習器と、これが学習されて生成される学習モデルをともに、同じ符号を付して、学習モデル４０と呼称する。
【0022】
学習モデル４０の学習前の時点において、学習データ記憶部３６には、多くのラインセンサ画像５０が、学習データとして格納されている。
学習データ記憶部３６に保存された各ラインセンサ画像５０は、この学習モデル４０の深層学習における、入力画像として使用される。学習モデル４０が、入力されたラインセンサ画像５０に対して深層学習するためには、深層学習の目標となる、ラインセンサ画像５０に対応する教師データが必要である。
学習データ記憶部３６に保存された各ラインセンサ画像５０は、この学習モデル４０の深層学習における、入力画像として使用される。学習モデル４０が、入力されたラインセンサ画像５０に対して深層学習するためには、深層学習の目標となる、ラインセンサ画像５０に対応する教師データが必要である。
【0023】
各ラインセンサ画像５０に対応する教師データは、ラインセンサ画像５０内の各画素に対する、当該画素が摩耗領域９ａに該当するか否かの正解値である。より詳細には、正解値は、学習画像４５内の各画素に対応して表示される物が、摩耗領域９ａか、またはそれ以外のものであるかとして大別される分類区分のいずれに該当するかを示すものである。
特に本実施形態においては、各画素に対して、当該画素が摩耗領域９ａに該当するか否かを示す値である摩耗領域値、及び当該画素が摩耗領域９ａ以外のものに該当するか否かを示す値である背景値の、２つの値の組み合わせが正解値となる。摩耗領域値、背景値には、画素が分類区分内の各要素に該当する場合には例えば１が、該当しない場合には例えば０が、設定される。したがって、各画素に対して、各要素が０または１の、摩耗領域値、背景値の組み合わせである（摩耗領域値、背景値）が正解値となる。
例えば、図３において摩耗領域９ａに該当する画素の正解値は、（１、０）となり得る。摩耗領域９ａ以外に該当する画素の正解値は、（０、１）となり得る。
特に本実施形態においては、各画素に対して、当該画素が摩耗領域９ａに該当するか否かを示す値である摩耗領域値、及び当該画素が摩耗領域９ａ以外のものに該当するか否かを示す値である背景値の、２つの値の組み合わせが正解値となる。摩耗領域値、背景値には、画素が分類区分内の各要素に該当する場合には例えば１が、該当しない場合には例えば０が、設定される。したがって、各画素に対して、各要素が０または１の、摩耗領域値、背景値の組み合わせである（摩耗領域値、背景値）が正解値となる。
例えば、図３において摩耗領域９ａに該当する画素の正解値は、（１、０）となり得る。摩耗領域９ａ以外に該当する画素の正解値は、（０、１）となり得る。
【0024】
各分類区分に固有の色を対応づけた際に、各画素を、対応する正解値が該当する分類区分の色で着色した画像を、以下、教師画像と呼称する。すなわち、教師画像は、ラインセンサ画像５０と同等の解像度を備えており、各画素は、ラインセンサ画像５０において当該画素に対応する画素に表示される物体が該当する分類区分に対応した色を有している。
図４は、教師画像５１の説明図である。ラインセンサ画像５０の、摩耗領域９ａに相当する領域は白く、及び摩耗領域９ａ以外に相当する背景領域１１は黒く、それぞれ着色されている。
教師画像５１は、ラインセンサ画像５０に対応付けられて、ラインセンサ画像５０とあわせて学習データとして、学習データ記憶部３６に保存されている。
図４は、教師画像５１の説明図である。ラインセンサ画像５０の、摩耗領域９ａに相当する領域は白く、及び摩耗領域９ａ以外に相当する背景領域１１は黒く、それぞれ着色されている。
教師画像５１は、ラインセンサ画像５０に対応付けられて、ラインセンサ画像５０とあわせて学習データとして、学習データ記憶部３６に保存されている。
【0025】
学習部３５の学習モデル４０は、上記のような学習データにより深層学習される。図５は、学習モデル４０の模式的なブロック図である。本実施形態においては、学習モデル４３は、全層畳み込みネットワークにより実現されて、セマンティックセグメンテーションにより、入力された画像内の各画素が異常に該当するか否かを推論するように、学習されている。
学習モデル４０は、複数の畳み込み層４１ａ、４１ｂ、４１ｃを備えた畳み込み処理部４１と、複数の逆畳み込み層４２ｃ、４２ｂ、４２ａを備えた逆畳み込み処理部４２を備えている。
学習モデル４０は、複数の畳み込み層４１ａ、４１ｂ、４１ｃを備えた畳み込み処理部４１と、複数の逆畳み込み層４２ｃ、４２ｂ、４２ａを備えた逆畳み込み処理部４２を備えている。
【0026】
摩耗領域抽出部３１は、学習データ記憶部３６からラインセンサ画像５０を取得し、初段の畳み込み層４１ａへと入力する。
畳み込み層４１ａは、図示されない所定の数のフィルタを備えている。学習モデル４０は、これらのフィルタを用いて畳み込みフィルタ処理を実行し、フィルタの数に応じた特徴マップを生成する。
畳み込み層４１ａにおいて生成された特徴マップは、次段の畳み込み層４１ｂの入力画像となる。
畳み込み層４１ｂ、４１ｃにおいても同様に畳み込みフィルタ処理が実行され、特徴マップが生成される。畳み込み層４１ｃにおいて生成された特徴マップは、逆畳み込み処理部４２の逆畳み込み層４２ｃへの入力となる。
畳み込み層４１ａは、図示されない所定の数のフィルタを備えている。学習モデル４０は、これらのフィルタを用いて畳み込みフィルタ処理を実行し、フィルタの数に応じた特徴マップを生成する。
畳み込み層４１ａにおいて生成された特徴マップは、次段の畳み込み層４１ｂの入力画像となる。
畳み込み層４１ｂ、４１ｃにおいても同様に畳み込みフィルタ処理が実行され、特徴マップが生成される。畳み込み層４１ｃにおいて生成された特徴マップは、逆畳み込み処理部４２の逆畳み込み層４２ｃへの入力となる。
【0027】
逆畳み込み処理部４２は、畳み込み処理部４１と対称的な構造となっている。すなわち、ラインセンサ画像５０は畳み込み処理部４１により低次元に圧縮されたが、逆畳み込み処理部４２においては、低次元に圧縮された状態から拡大し、復元されるように動作する。より詳細には、畳み込み層４１ｃに対応する逆畳み込み処理を実行する逆畳み込み層４２ｃ、畳み込み層４１ｂに対応する逆畳み込み処理を実行する逆畳み込み層４２ｂ、及び畳み込み層４１ａに対応する逆畳み込み処理を実行する逆畳み込み層４２ａを順に経ることで、出力データが生成される。
【0028】
学習モデル４０は、出力データとして、教師データと同様な要領で、ラインセンサ画像５０内の各画素が分類区分の各々に該当し得る確率を出力する。例えば、ある画素に対し、当該画素が摩耗領域９ａに該当する確率が０．８、摩耗領域９ａ以外に該当する確率が０．２であると、学習モデル４０が推論した場合、当該画素に対して（０．８、０．２）の値の組み合わせが出力される。
出力データに基づき、図４に示される教師画像５１と同様に表現した画像を、以下、推論結果画像５２と呼称する。すなわち、推論結果画像５２は、推論結果の各々に関する情報を、これに対応する画素の位置に、色として反映して配置した画像であり、図４に示されるように、各画素が、当該画素に対応する出力値に含まれる複数の確率値の中で、最も高い値の確率に対応する分類区分に対応した色を有するようになっている。
出力データに基づき、図４に示される教師画像５１と同様に表現した画像を、以下、推論結果画像５２と呼称する。すなわち、推論結果画像５２は、推論結果の各々に関する情報を、これに対応する画素の位置に、色として反映して配置した画像であり、図４に示されるように、各画素が、当該画素に対応する出力値に含まれる複数の確率値の中で、最も高い値の確率に対応する分類区分に対応した色を有するようになっている。
【0029】
上記のように各畳み込み層４１ａ、４１ｂ、４１ｃの各々において生成された特徴マップは、画像内の物体の位置のずれや大きさの違いの影響を受けにくいものとなっている。換言すれば、畳み込み処理部４１により生成された特徴マップにおいては、物体の位置に関する情報の多くが失われている。
ここで、各逆畳み込み層４２ｃ、４２ｂ、４２ａにおいては、上記のように対応する畳み込み層４１ｃ、４１ｂ、４１ａに対応する処理を実行するとともに、各畳み込み層４１ｃ、４１ｂ、４１ａにおける処理データを使用することによって、各畳み込み層４１ａ、４１ｂ、４１ｃにおいて失われた位置情報を補完している。これにより、逆畳み込み処理部４２から出力された推論結果画像５２は、位置情報が画素単位で復元されたものとなっている。
ここで、各逆畳み込み層４２ｃ、４２ｂ、４２ａにおいては、上記のように対応する畳み込み層４１ｃ、４１ｂ、４１ａに対応する処理を実行するとともに、各畳み込み層４１ｃ、４１ｂ、４１ａにおける処理データを使用することによって、各畳み込み層４１ａ、４１ｂ、４１ｃにおいて失われた位置情報を補完している。これにより、逆畳み込み処理部４２から出力された推論結果画像５２は、位置情報が画素単位で復元されたものとなっている。
【0030】
学習モデル４０では、推論結果画像５２における各画素に関する推論結果が、入力されたラインセンサ画像５０に対応する教師データの正解値に近い値となるように、機械学習が行われる。このために、学習部３５は、入力されたラインセンサ画像５０に対応する教師画像５１を学習データ記憶部３６から取得し、教師画像５１内の正解値と推論結果画像５２の値を画素単位で比較して、例えば各画素間のこれらの差分の２乗誤差をコスト関数として計算する。
その上で、このコスト関数を小さくするように、誤差逆伝搬法等により、各フィルタの重みの値等を調整することで、学習モデル４０が機械学習される。
結果として、例えば、図３において摩耗領域９ａに該当する画素の、教師画像５１上での正解値は（１、０）であるため、出力データの当該画素に対応する出力値としては、１番目の摩耗領域９ａに該当する確率値が他よりも１に近く、他の確率値が１番目の確率値よりも０に近い値の組み合わせとなり得る。
このように、学習が終了した学習モデル４０は、何らかの画像が入力画像として入力された際に、入力画像内の各画素に対し、当該画素が分類区分の各々に該当し得る確率を出力する。
その上で、このコスト関数を小さくするように、誤差逆伝搬法等により、各フィルタの重みの値等を調整することで、学習モデル４０が機械学習される。
結果として、例えば、図３において摩耗領域９ａに該当する画素の、教師画像５１上での正解値は（１、０）であるため、出力データの当該画素に対応する出力値としては、１番目の摩耗領域９ａに該当する確率値が他よりも１に近く、他の確率値が１番目の確率値よりも０に近い値の組み合わせとなり得る。
このように、学習が終了した学習モデル４０は、何らかの画像が入力画像として入力された際に、入力画像内の各画素に対し、当該画素が分類区分の各々に該当し得る確率を出力する。
【0031】
実際にトロリ線９を検測する際には、摩耗領域抽出部３１は、上記のように機械学習された学習モデル４０に対し、ラインセンサ画像生成部３０によって生成されたラインセンサ画像５０を入力し、推論結果画像５２を生成する。
補間処理部３７は、推論結果画像５２に対し、画像を縦方向Ｙに膨張、収縮させることで、縦方向Ｙに近接して分断されて表されている摩耗領域９ａをつなぎ合わせる、クロージング処理を実行する。
このようにして、摩耗領域抽出部３１は、ラインセンサ画像５０を基に、摩耗領域９ａが抽出された摩耗領域抽出画像を生成し、トロリ線検測部３２に送信する。
補間処理部３７は、推論結果画像５２に対し、画像を縦方向Ｙに膨張、収縮させることで、縦方向Ｙに近接して分断されて表されている摩耗領域９ａをつなぎ合わせる、クロージング処理を実行する。
このようにして、摩耗領域抽出部３１は、ラインセンサ画像５０を基に、摩耗領域９ａが抽出された摩耗領域抽出画像を生成し、トロリ線検測部３２に送信する。
【0032】
トロリ線検測部３２のトロリ線偏位算出部３８は、摩耗領域抽出画像を受信し、これを基に、トロリ線９の偏位を計算する。図６は、偏位の算出原理の説明図である。
トロリ線偏位算出部３８は、摩耗領域９ａの重心座標ｄ（単位：画素）を計算する。トロリ線偏位算出部３８は、この重心座標と、事前に設定されたパラメータである、線路２からラインセンサ２２のセンサ面２２ｃまでの距離ｈｓ（ｍｍ）、ラインセンサ２２のレンズの焦点距離ｆ（ｍｍ）、ラインセンサ２２のセンサ面２２ｃの長さｓ（ｍｍ）、ラインセンサ２２の画素数ｐ（画素）、及び、本トロリ線検測装置２０以外の他の測定装置により計算された、線路２からトロリ線９までの距離ｈ（ｍｍ）を用いて、偏位Ｄ（単位：ｍｍ）を、次式により計算する。
トロリ線偏位算出部３８は、摩耗領域９ａの重心座標ｄ（単位：画素）を計算する。トロリ線偏位算出部３８は、この重心座標と、事前に設定されたパラメータである、線路２からラインセンサ２２のセンサ面２２ｃまでの距離ｈｓ（ｍｍ）、ラインセンサ２２のレンズの焦点距離ｆ（ｍｍ）、ラインセンサ２２のセンサ面２２ｃの長さｓ（ｍｍ）、ラインセンサ２２の画素数ｐ（画素）、及び、本トロリ線検測装置２０以外の他の測定装置により計算された、線路２からトロリ線９までの距離ｈ（ｍｍ）を用いて、偏位Ｄ（単位：ｍｍ）を、次式により計算する。
【数1】
【0033】
トロリ線偏位算出部３８は、上記のようにトロリ線９の偏位を計算し、トロリ線９が、摩耗領域抽出画像に対応する実際の場所において許容される偏位の範囲内に位置しているか否かを判定する。
トロリ線９が許容される偏位の範囲内に位置していない場合は異常であると判断し、記録する。
トロリ線９が許容される偏位の範囲内に位置していない場合は異常であると判断し、記録する。
【0034】
トロリ線残存直径算出部３９は、摩耗領域抽出画像を受信し、これを基に、トロリ線９の残存直径を算出する。図７は、残存直径の算出原理の説明図である。
本実施形態においては、トロリ線９の残存直径、すなわち摩耗後のトロリ線９の高さを、残存直径として計算する。
トロリ線残存直径算出部３９は、摩耗領域９ａの摩耗面幅ｗ（画素）を計算する。トロリ線残存直径算出部３９は、摩耗領域９ａの重心座標ｄ（画素）と摩耗面幅ｗ（画素）を基に、トロリ線９の実際の摩耗面幅Ｗ（ｍｍ）を計算する。トロリ線９の残存直径Ｄｒ（ｍｍ）は、この摩耗面幅Ｗ（ｍｍ）と、トロリ線９の半径を用いて、次式により表される。
本実施形態においては、トロリ線９の残存直径、すなわち摩耗後のトロリ線９の高さを、残存直径として計算する。
トロリ線残存直径算出部３９は、摩耗領域９ａの摩耗面幅ｗ（画素）を計算する。トロリ線残存直径算出部３９は、摩耗領域９ａの重心座標ｄ（画素）と摩耗面幅ｗ（画素）を基に、トロリ線９の実際の摩耗面幅Ｗ（ｍｍ）を計算する。トロリ線９の残存直径Ｄｒ（ｍｍ）は、この摩耗面幅Ｗ（ｍｍ）と、トロリ線９の半径を用いて、次式により表される。
【数2】
【0035】
トロリ線残存直径算出部３９は、上記のようにトロリ線９の残存直径を計算し、残存直径が管理値を下回っていないか判定する。
残存直径が管理値を下回っている場合は異常であると判断し、その旨を記録する。
残存直径が管理値を下回っている場合は異常であると判断し、その旨を記録する。
【0036】
【0037】
まず、ラインセンサ画像５０と、当該ラインセンサ画像５０内の各画素に対する、当該画素がトロリ線９の摩耗領域９ａに該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより、学習モデル４０を深層学習する。
実際にトロリ線９を検測する際には、処理が開始されると（ステップＳ１）、ラインセンサ画像生成部３０は、ラインセンサ２２から入力画像を受信し、これを基にラインセンサ画像５０を生成し、摩耗領域抽出部３１へと送信する。
摩耗領域抽出部３１は、ラインセンサ画像５０を受信し、学習が終了した学習モデル４０にラインセンサ画像５０を入力し、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論して、推論結果画像５２を生成する（ステップＳ９）。
補間処理部３７は、推論結果画像５２に対してクロージング処理を実行する（ステップＳ１１）。
このようにして、摩耗領域抽出部３１は、ラインセンサ画像５０を基に、摩耗領域９ａが抽出された摩耗領域抽出画像を生成し、トロリ線検測部３２に送信する。
実際にトロリ線９を検測する際には、処理が開始されると（ステップＳ１）、ラインセンサ画像生成部３０は、ラインセンサ２２から入力画像を受信し、これを基にラインセンサ画像５０を生成し、摩耗領域抽出部３１へと送信する。
摩耗領域抽出部３１は、ラインセンサ画像５０を受信し、学習が終了した学習モデル４０にラインセンサ画像５０を入力し、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論して、推論結果画像５２を生成する（ステップＳ９）。
補間処理部３７は、推論結果画像５２に対してクロージング処理を実行する（ステップＳ１１）。
このようにして、摩耗領域抽出部３１は、ラインセンサ画像５０を基に、摩耗領域９ａが抽出された摩耗領域抽出画像を生成し、トロリ線検測部３２に送信する。
【0038】
トロリ線検測部３２のトロリ線偏位算出部３８は、摩耗領域抽出画像を受信し、これを基に、トロリ線９の偏位を計算する（ステップＳ１５）。
また、トロリ線検測部３２のトロリ線残存直径算出部３９は、摩耗領域抽出画像を基に、トロリ線９の残存直径を算出する（ステップＳ１７）。
また、トロリ線検測部３２のトロリ線残存直径算出部３９は、摩耗領域抽出画像を基に、トロリ線９の残存直径を算出する（ステップＳ１７）。
【0039】
次に、上記のトロリ線検測装置２０及びトロリ線検測方法の効果について説明する。
【0040】
本実施形態におけるトロリ線検測装置２０は、トロリ線９を撮像するラインセンサ２２を備え、ラインセンサ２２により撮像された画像を入力画像としてこれを基にトロリ線９を検測する、トロリ線検測装置２０であって、入力画像を時系列的に並べてラインセンサ画像５０を生成する、ラインセンサ画像生成部３０と、ラインセンサ画像５０と、当該ラインセンサ画像５０内の各画素に対する、当該画素がトロリ線９の摩耗領域９ａに該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習された学習モデル４０と、学習モデル４０に対し、ラインセンサ画像５０を入力し、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論し、摩耗領域９ａを抽出した摩耗領域抽出画像を生成する、摩耗領域抽出部３１と、摩耗領域抽出画像を基に、トロリ線９の残存直径の算出と偏位の算出を実行する、トロリ線検測部３２と、を備える。
また、本実施形態におけるトロリ線検測方法は、トロリ線９を撮像するラインセンサ２２により撮像された画像を入力画像としてこれを基にトロリ線９を検測する、トロリ線検測方法であって、入力画像を時系列的に並べてラインセンサ画像５０を生成し、ラインセンサ画像５０と、当該ラインセンサ画像５０内の各画素に対する、当該画素がトロリ線９の摩耗領域９ａに該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習された学習モデル４０に対し、ラインセンサ画像５０を入力し、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論し、摩耗領域９ａを抽出した摩耗領域抽出画像を生成し、摩耗領域抽出画像を基に、トロリ線９の残存直径の算出と偏位の算出を実行する。
上記のような構成、方法によれば、学習モデル４０は、ラインセンサ画像５０と、当該ラインセンサ画像５０内の各画素に対する、当該画素がトロリ線９の摩耗領域９ａに該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習されている。この学習モデル４０を用いて、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かが推論される。
すなわち、ラインセンサ画像５０の各画素に対して、画素単位で摩耗領域９ａに該当するか否かが推論されるため、摩耗領域９ａに関する正確な情報を、摩耗領域抽出部３１が出力可能である。
また、学習モデル４０はセマンティックセグメンテーションにより、摩耗領域９ａの特徴を把握するように学習されているため、摩耗領域９ａの抽出に際し、ラインセンサ２２によって撮像された天候や時間等の撮像環境の影響を受けにくい。
したがって、トロリ線９の検測、本実施形態においては残存直径と偏位の算出を、撮像環境の影響を低減して、精度よく行うことができる。
また、学習モデル４０は、一旦適切に学習されると、再学習や特段のパラメータ設定等を行う必要なく、使用することができる。特に、上記のように学習モデル４０による摩耗領域９ａの抽出は撮像環境の影響を受けにくいため、撮像環境に応じて処理内容を変更したりする必要がない。したがって、トロリ線検測装置２０の運用が容易であり、トロリ線９を容易に検測可能となる。
また、本実施形態におけるトロリ線検測方法は、トロリ線９を撮像するラインセンサ２２により撮像された画像を入力画像としてこれを基にトロリ線９を検測する、トロリ線検測方法であって、入力画像を時系列的に並べてラインセンサ画像５０を生成し、ラインセンサ画像５０と、当該ラインセンサ画像５０内の各画素に対する、当該画素がトロリ線９の摩耗領域９ａに該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習された学習モデル４０に対し、ラインセンサ画像５０を入力し、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かを推論し、摩耗領域９ａを抽出した摩耗領域抽出画像を生成し、摩耗領域抽出画像を基に、トロリ線９の残存直径の算出と偏位の算出を実行する。
上記のような構成、方法によれば、学習モデル４０は、ラインセンサ画像５０と、当該ラインセンサ画像５０内の各画素に対する、当該画素がトロリ線９の摩耗領域９ａに該当するか否かの正解値とを学習データとして、セマンティックセグメンテーションにより深層学習されている。この学習モデル４０を用いて、ラインセンサ画像５０内の各画素に対して、当該画素が摩耗領域９ａに該当するか否かが推論される。
すなわち、ラインセンサ画像５０の各画素に対して、画素単位で摩耗領域９ａに該当するか否かが推論されるため、摩耗領域９ａに関する正確な情報を、摩耗領域抽出部３１が出力可能である。
また、学習モデル４０はセマンティックセグメンテーションにより、摩耗領域９ａの特徴を把握するように学習されているため、摩耗領域９ａの抽出に際し、ラインセンサ２２によって撮像された天候や時間等の撮像環境の影響を受けにくい。
したがって、トロリ線９の検測、本実施形態においては残存直径と偏位の算出を、撮像環境の影響を低減して、精度よく行うことができる。
また、学習モデル４０は、一旦適切に学習されると、再学習や特段のパラメータ設定等を行う必要なく、使用することができる。特に、上記のように学習モデル４０による摩耗領域９ａの抽出は撮像環境の影響を受けにくいため、撮像環境に応じて処理内容を変更したりする必要がない。したがって、トロリ線検測装置２０の運用が容易であり、トロリ線９を容易に検測可能となる。
【0041】
［実施形態の第１変形例］
次に、図９～図１４を用いて、上記実施形態として示したトロリ線検測装置２０及びトロリ線検測方法の第１変形例を説明する。図９は、本変形例に関するトロリ線検測装置のブロック図である。図１０は、本変形例に関するトロリ線検測装置において、二値化処理後の画像の説明図である。図１１は、本変形例に関するトロリ線検測装置において、二値化処理後の画像において領域選択を行った状態の説明図である。図１２は、本変形例に関するトロリ線検測装置において、選択された領域をラインセンサ画像に適用した状態の説明図である。図１３は、本変形例に関するトロリ線検測装置において、選択された領域でラインセンサ画像を切り出した状態の説明図である。図１４は、本変形例に関するトロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。本変形例におけるトロリ線検測装置２０Ａは、上記実施形態のトロリ線検測装置２０とは、ラインセンサ画像生成部３０Ａが、線条物抽出部６０、二値化部６１、及び画像切り出し部６２を備えている点が異なっている。
本変形例のラインセンサ画像生成部３０Ａにおいては、上記実施形態において図３を用いて示した、ラインセンサ２２からの入力画像を時系列に並べた整列画像をラインセンサ画像として摩耗領域抽出部３１に送付しない。ラインセンサ画像生成部３０Ａは、この整列画像に対し、線条物抽出部６０、二値化部６１、及び画像切り出し部６２により更なる処理を適用して、ラインセンサ画像を生成する。
次に、図９～図１４を用いて、上記実施形態として示したトロリ線検測装置２０及びトロリ線検測方法の第１変形例を説明する。図９は、本変形例に関するトロリ線検測装置のブロック図である。図１０は、本変形例に関するトロリ線検測装置において、二値化処理後の画像の説明図である。図１１は、本変形例に関するトロリ線検測装置において、二値化処理後の画像において領域選択を行った状態の説明図である。図１２は、本変形例に関するトロリ線検測装置において、選択された領域をラインセンサ画像に適用した状態の説明図である。図１３は、本変形例に関するトロリ線検測装置において、選択された領域でラインセンサ画像を切り出した状態の説明図である。図１４は、本変形例に関するトロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。本変形例におけるトロリ線検測装置２０Ａは、上記実施形態のトロリ線検測装置２０とは、ラインセンサ画像生成部３０Ａが、線条物抽出部６０、二値化部６１、及び画像切り出し部６２を備えている点が異なっている。
本変形例のラインセンサ画像生成部３０Ａにおいては、上記実施形態において図３を用いて示した、ラインセンサ２２からの入力画像を時系列に並べた整列画像をラインセンサ画像として摩耗領域抽出部３１に送付しない。ラインセンサ画像生成部３０Ａは、この整列画像に対し、線条物抽出部６０、二値化部６１、及び画像切り出し部６２により更なる処理を適用して、ラインセンサ画像を生成する。
【0042】
線条物抽出部６０は、図３に示される整列画像に対し、例えば画像を収縮、膨張させてオープニングした後に、膨張収縮させる元となる画像を減算するＧＳＴＨ（グレースケールトップハット）処理を適用することで、横方向Ｘに延在している線条物を抽出する。
その後、二値化部６１において、線条物とそれ以外の領域の各々に関するクラス内分散とクラス間分散の分散比が最大となるように、画像に応じて二値化の閾値を決定する、判別分析二値化処理により、二値化処理を行う。図１０には、この二値化後の画像である二値化画像６５が示されている。本変形例においては、線条物が白く、線条物以外の領域が黒くなるように、二値化画像６５が生成されている。
その後、二値化部６１において、線条物とそれ以外の領域の各々に関するクラス内分散とクラス間分散の分散比が最大となるように、画像に応じて二値化の閾値を決定する、判別分析二値化処理により、二値化処理を行う。図１０には、この二値化後の画像である二値化画像６５が示されている。本変形例においては、線条物が白く、線条物以外の領域が黒くなるように、二値化画像６５が生成されている。
【0043】
画像切り出し部６２は、二値化画像６５に対し、白い領域を囲繞するような領域Ｒ１を、特に横方向Ｘに白い領域と領域Ｒ１の外縁との間に十分な間隔を有するように、設定する。そして、画像切り出し部６２は、図１２に示されるように、整列画像に対し、二値化画像６５に対して設定された領域Ｒ１を、二値化画像６５と同一の部分に設け、整列画像の当該領域Ｒ１内の部分を切り出すことで、図１３に示されるようなラインセンサ画像６６を生成する。
本変形例においては、このように摩耗領域９ａに相当する部分が切り出されて横方向Ｘの解像度が小さくなった画像をラインセンサ画像６６として、学習モデル４０の学習や、トロリ線９の検測処理が実行される。
本変形例においては、このように摩耗領域９ａに相当する部分が切り出されて横方向Ｘの解像度が小さくなった画像をラインセンサ画像６６として、学習モデル４０の学習や、トロリ線９の検測処理が実行される。
【0044】
本変形例のトロリ線検測装置２０Ａを用いて動作される、トロリ線検測方法においては、図１４に示されるように、線条物を抽出する処理（ステップＳ３）、二値化処理（ステップＳ５）、及び整列画像からラインセンサ画像６６を切り出す処理（ステップＳ７）が、図８に示される上記実施形態のトロリ線検測方法に追加されている。
【0045】
本変形例のトロリ線検測装置２０Ａにおいては、ラインセンサ画像生成部３０Ａは、入力画像を時系列的に並べた整列画像から、入力画像が時系列的に並べられた方向Ｙに延在する線条物を抽出する、線条物抽出部６０と、整列画像から、抽出された線条物を含むように画像を切り出し、当該画像を、ラインセンサ画像６６として出力する、画像切り出し部６２と、を備える。
上記実施形態の構成においては、摩耗領域９ａの幅が、ラインセンサ画像５０の横方向Ｘの幅に対して小さくなりがちである。特に学習モデル４０においては畳み込み処理が行われているが、このような幅が小さな部分は畳み込み処理によりつぶれて消失することがある。したがって、学習モデル４０の学習精度や、摩耗領域９ａの推論精度が向上しにくい場合がある。
これに対し、本変形例においては、トロリ線９の近傍を切り出すことにより、横方向Ｘの幅に対する摩耗領域９ａの幅の比が大きくなる。このような、切り出された画像を学習モデル４０の学習、及び学習モデル４０による推論に用いることにより、学習モデル４０の学習精度や、摩耗領域９ａの推論精度が向上する。
本変形例が、既に説明した実施形態と同様な他の効果を奏することは言うまでもない。
上記実施形態の構成においては、摩耗領域９ａの幅が、ラインセンサ画像５０の横方向Ｘの幅に対して小さくなりがちである。特に学習モデル４０においては畳み込み処理が行われているが、このような幅が小さな部分は畳み込み処理によりつぶれて消失することがある。したがって、学習モデル４０の学習精度や、摩耗領域９ａの推論精度が向上しにくい場合がある。
これに対し、本変形例においては、トロリ線９の近傍を切り出すことにより、横方向Ｘの幅に対する摩耗領域９ａの幅の比が大きくなる。このような、切り出された画像を学習モデル４０の学習、及び学習モデル４０による推論に用いることにより、学習モデル４０の学習精度や、摩耗領域９ａの推論精度が向上する。
本変形例が、既に説明した実施形態と同様な他の効果を奏することは言うまでもない。
【0046】
［実施形態の第２変形例］
次に、図１５～図１７を用いて、上記実施形態として示したトロリ線検測装置２０及びトロリ線検測方法の第２変形例を説明する。図１５は、本変形例に関するトロリ線検測装置のブロック図である。図１６は、本変形例に関するトロリ線検測装置において、学習モデルによって出力された画像の説明図である。図１７は、本変形例に関するトロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。本変形例におけるトロリ線検測装置２０Ｂは、上記第１変形例のトロリ線検測装置２０Ａの更なる変形例であり、トロリ線検測装置２０Ａとは、トロリ線検測部３２Ｂが、トロリ線９の残存直径と偏位の算出に加え、過剰摩耗の判定を行う点が異なっている。
次に、図１５～図１７を用いて、上記実施形態として示したトロリ線検測装置２０及びトロリ線検測方法の第２変形例を説明する。図１５は、本変形例に関するトロリ線検測装置のブロック図である。図１６は、本変形例に関するトロリ線検測装置において、学習モデルによって出力された画像の説明図である。図１７は、本変形例に関するトロリ線検測装置を用いて動作される、トロリ線検測方法のフローチャートである。本変形例におけるトロリ線検測装置２０Ｂは、上記第１変形例のトロリ線検測装置２０Ａの更なる変形例であり、トロリ線検測装置２０Ａとは、トロリ線検測部３２Ｂが、トロリ線９の残存直径と偏位の算出に加え、過剰摩耗の判定を行う点が異なっている。
【0047】
本変形例においては、トロリ線検測装置２０Ｂは、トロリ線９の摩耗が進行し、摩耗領域９ａの高さが、トロリ線９の中心を超えた上方の位置、例えば図７にＨ１として示される位置となるまで、過剰に摩耗した、過剰摩耗を判定する。
トロリ線９の摩耗領域９ａの高さがトロリ線９の中心を超えない場合においては、ラインセンサ画像は、例えば図３に示されるように、摩耗領域９ａの両側方に、摩耗領域９ａに沿って、摩耗領域９ａの幅方向端部から外側へと湾曲しながら上方へと続くトロリ線９の表面が、側面領域９ｂとして撮像される。これに対し、トロリ線９の摩耗領域９ａの高さがトロリ線９の中心を超えて過剰摩耗していると、ラインセンサ２２はトロリ線９を下方から撮像するため、ラインセンサ画像においては摩耗領域９ａの両側方に側面領域９ｂが撮像されない。
トロリ線検測装置２０Ｂは、この側面領域９ｂの有無を判定して、トロリ線９が過剰に摩耗しているか否かを判定する。
トロリ線９の摩耗領域９ａの高さがトロリ線９の中心を超えない場合においては、ラインセンサ画像は、例えば図３に示されるように、摩耗領域９ａの両側方に、摩耗領域９ａに沿って、摩耗領域９ａの幅方向端部から外側へと湾曲しながら上方へと続くトロリ線９の表面が、側面領域９ｂとして撮像される。これに対し、トロリ線９の摩耗領域９ａの高さがトロリ線９の中心を超えて過剰摩耗していると、ラインセンサ２２はトロリ線９を下方から撮像するため、ラインセンサ画像においては摩耗領域９ａの両側方に側面領域９ｂが撮像されない。
トロリ線検測装置２０Ｂは、この側面領域９ｂの有無を判定して、トロリ線９が過剰に摩耗しているか否かを判定する。
【0048】
これに対応するため、本変形例における学習モデル４０Ｂにおいて、学習時に適用される正解値は、当該正解値に対応するラインセンサ画像の画素が、摩耗領域９ａ、側面領域９ｂ、他の架線領域１２、及び背景領域１１を含む分類区分のいずれに該当するかを示すものとなっている。これにより、学習モデル４０Ｂは、各画素が摩耗領域９ａ、側面領域９ｂ、他の架線領域１２、及び背景領域１１のいずれに該当するかを推論した、推論結果画像５２Ｂを出力するように、学習されている。
【0049】
この推論結果画像５２Ｂに対して、補間処理部３７によってクロージング処理が実行されて、摩耗領域抽出画像が生成される。
本変形例のトロリ線検測部３２Ｂは、トロリ線摩耗進行度判定部７０を備えている。トロリ線摩耗進行度判定部７０は、摩耗領域抽出画像を受信して、摩耗領域９ａの周囲に側面領域９ｂがあるか否かを判断し、無い場合には、トロリ線９が過剰に摩耗していると判定する。
本変形例のトロリ線検測部３２Ｂは、トロリ線摩耗進行度判定部７０を備えている。トロリ線摩耗進行度判定部７０は、摩耗領域抽出画像を受信して、摩耗領域９ａの周囲に側面領域９ｂがあるか否かを判断し、無い場合には、トロリ線９が過剰に摩耗していると判定する。
【0050】
本変形例のトロリ線検測装置２０Ｂを用いて動作される、トロリ線検測方法においては、図１７に示されるように、トロリ線９の過剰摩耗を判定する処理（ステップＳ１３）が、図１４に示される上記第１変形例のトロリ線検測方法に追加されている。
【0051】
本変形例のトロリ線検測装置２０Ｂにおいては、正解値は、当該正解値に対応するラインセンサ画像の画素が、摩耗領域９ａ、摩耗領域９ａに隣接するトロリ線９の側面領域９ｂ、及び摩耗領域９ａと側面領域９ｂ以外の他の領域１１、１２を含む分類区分のいずれに該当するかを示すものであり、摩耗領域抽出部３１Ｂは、学習モデル４０Ｂに対し、ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素が摩耗領域９ａ、側面領域９ｂ、及び他の領域１１、１２のいずれに該当するか否かを推論し、トロリ線検測部３２Ｂは、側面領域９ｂの有無により、トロリ線９が過剰に摩耗しているか否かを判定する。
側面領域９ｂの幅は微小なものとなりがちであり、通常の画像処理において側面領域９ｂの有無を正確に判定することは難しい。
これに対し、本変形例においては、学習モデル４０Ｂがセマンティックセグメンテーションにより側面領域９ｂの領域を推論し、この結果を基にトロリ線検測部３２Ｂがトロリ線９の過剰摩耗を判定するため、精度よく側面領域９ｂを抽出することができる。したがって、正確に、過剰摩耗の判定を行うことができる。
本変形例が、既に説明した実施形態と同様な他の効果を奏することは言うまでもない。
側面領域９ｂの幅は微小なものとなりがちであり、通常の画像処理において側面領域９ｂの有無を正確に判定することは難しい。
これに対し、本変形例においては、学習モデル４０Ｂがセマンティックセグメンテーションにより側面領域９ｂの領域を推論し、この結果を基にトロリ線検測部３２Ｂがトロリ線９の過剰摩耗を判定するため、精度よく側面領域９ｂを抽出することができる。したがって、正確に、過剰摩耗の判定を行うことができる。
本変形例が、既に説明した実施形態と同様な他の効果を奏することは言うまでもない。
【0052】
なお、本発明のトロリ線検測装置及びトロリ線検測方法は、図面を参照して説明した上述の実施形態及び各変形例に限定されるものではなく、その技術的範囲において他の様々な変形例が考えられる。
【0053】
例えば、上記実施形態及び第１変形例においては、トロリ線検測装置はトロリ線偏位算出部３８とトロリ線残存直径測定部３９の双方を備え、トロリ線９の残存直径と偏位の双方を算出するように構成されていた。また、上記第２変形例においては、トロリ線検測装置は、トロリ線偏位算出部３８とトロリ線残存直径測定部３９に加えてトロリ線摩耗進行度判定部７０を備え、トロリ線９の残存直径の算出、偏位の算出、及び過剰摩耗の判定を実行していた。
トロリ線検測装置の構成はこれに限られない。例えば、トロリ線検測装置は、トロリ線偏位算出部３８、トロリ線残存直径算出部３９、及びトロリ線摩耗進行度判定部７０のいずれかを１つだけ備え、トロリ線９の残存直径の算出、偏位の算出、及び過剰摩耗の判定のいずれか１つのみを実行してもよい。あるいは、トロリ線検測装置は、トロリ線偏位算出部３８とトロリ線摩耗進行度判定部７０を備え、偏位の算出と過剰摩耗の判定を行うように構成されていてもよい。または、トロリ線検測装置は、トロリ線残存直径算出部３９とトロリ線摩耗進行度判定部７０を備え、残存直径の算出と過剰摩耗の判定を行うように構成されていてもよい。
トロリ線検測装置の構成はこれに限られない。例えば、トロリ線検測装置は、トロリ線偏位算出部３８、トロリ線残存直径算出部３９、及びトロリ線摩耗進行度判定部７０のいずれかを１つだけ備え、トロリ線９の残存直径の算出、偏位の算出、及び過剰摩耗の判定のいずれか１つのみを実行してもよい。あるいは、トロリ線検測装置は、トロリ線偏位算出部３８とトロリ線摩耗進行度判定部７０を備え、偏位の算出と過剰摩耗の判定を行うように構成されていてもよい。または、トロリ線検測装置は、トロリ線残存直径算出部３９とトロリ線摩耗進行度判定部７０を備え、残存直径の算出と過剰摩耗の判定を行うように構成されていてもよい。
【0054】
また、上記実施形態及び第１変形例においては、分類区分は、摩耗領域９ａと背景領域１１に対応して設けられ、摩耗領域抽出部３１は、ラインセンサ画像の各画素がこれら２つの分類区分のいずれに該当するかをセマンティックセグメンテーションにより推論することで、摩耗領域９ａを抽出した。
同様に、第２変形例においては、分類区分は、摩耗領域９ａ、側面領域９ｂ、及び他の領域１１、１２に対応して設けられ、摩耗領域抽出部３１Ｂは、ラインセンサ画像の各画素がこれら複数の分類区分のいずれに該当するかをセマンティックセグメンテーションにより推論することで、摩耗領域９ａを抽出した。
分類区分の設定は、上記に限られない。例えば、分類区分は、入力画像内に撮像される物体の種類に応じて設けられていてもよい。
例えば、分類区分を、図３に示される全ての物体の種類、例えば摩耗領域９ａ、側面領域９ｂ、き電線４、ビーム５、曲引き金具６、吊架線７、及びその他の領域の各々に対応付けて設けても構わない。あるいは、これらに加えて、図３には示されていない、背景として撮像される可能性のある物体、例えば建築構造物、トンネル、鉄塔、樹木、空等の各々に対応付けるように、分類区分を更に細分化して設けても構わない。
上記実施形態及び各変形例においては、十分な精度で摩耗領域９ａが抽出されることが確認されている。しかし、上記のように、分類区分をより細分化することにより、摩耗領域９ａ以外の他の物体の各々が、これに対応する分類区分に分類されるため、他の物体が誤って摩耗領域９ａとして判定されることが抑制され、結果として摩耗領域９ａの抽出精度が更に向上する。
あるいは、分類区分をこのように細分化しなくとも、例えば摩耗領域９ａと誤認される可能性が高い物体に対してのみ、分類区分を設けるようにしてもよい。例えば、摩耗領域９ａとき電線４、及び吊架線７は、ラインセンサ画像の縦方向Ｙに延在する線条物であるという同一の特徴を有するため、き電線４や吊架線７が誤って摩耗領域９ａとして抽出される可能性もある。このような場合においては、複数の分類区分を、摩耗領域９ａ、き電線４、吊架線７と他の物体の各々に対応して設けてもよい。
このように、効果的に摩耗領域９ａを抽出するに際し、複数の分類区分は、状況に応じ、どのように設けられても構わない。
以上記載したような形態においては、正解値は、当該正解値に対応するラインセンサ画像の画素が、入力画像内に撮像される物体の種類に応じて設けられた分類区分のいずれに該当するかを示すものであり、分類区分は摩耗領域９ａを含み、摩耗領域抽出部は、学習モデルに対し、ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素がどの分類区分に該当するかを推論する。
このような構成によれば、摩耗領域９ａの抽出精度を向上することができる。
同様に、第２変形例においては、分類区分は、摩耗領域９ａ、側面領域９ｂ、及び他の領域１１、１２に対応して設けられ、摩耗領域抽出部３１Ｂは、ラインセンサ画像の各画素がこれら複数の分類区分のいずれに該当するかをセマンティックセグメンテーションにより推論することで、摩耗領域９ａを抽出した。
分類区分の設定は、上記に限られない。例えば、分類区分は、入力画像内に撮像される物体の種類に応じて設けられていてもよい。
例えば、分類区分を、図３に示される全ての物体の種類、例えば摩耗領域９ａ、側面領域９ｂ、き電線４、ビーム５、曲引き金具６、吊架線７、及びその他の領域の各々に対応付けて設けても構わない。あるいは、これらに加えて、図３には示されていない、背景として撮像される可能性のある物体、例えば建築構造物、トンネル、鉄塔、樹木、空等の各々に対応付けるように、分類区分を更に細分化して設けても構わない。
上記実施形態及び各変形例においては、十分な精度で摩耗領域９ａが抽出されることが確認されている。しかし、上記のように、分類区分をより細分化することにより、摩耗領域９ａ以外の他の物体の各々が、これに対応する分類区分に分類されるため、他の物体が誤って摩耗領域９ａとして判定されることが抑制され、結果として摩耗領域９ａの抽出精度が更に向上する。
あるいは、分類区分をこのように細分化しなくとも、例えば摩耗領域９ａと誤認される可能性が高い物体に対してのみ、分類区分を設けるようにしてもよい。例えば、摩耗領域９ａとき電線４、及び吊架線７は、ラインセンサ画像の縦方向Ｙに延在する線条物であるという同一の特徴を有するため、き電線４や吊架線７が誤って摩耗領域９ａとして抽出される可能性もある。このような場合においては、複数の分類区分を、摩耗領域９ａ、き電線４、吊架線７と他の物体の各々に対応して設けてもよい。
このように、効果的に摩耗領域９ａを抽出するに際し、複数の分類区分は、状況に応じ、どのように設けられても構わない。
以上記載したような形態においては、正解値は、当該正解値に対応するラインセンサ画像の画素が、入力画像内に撮像される物体の種類に応じて設けられた分類区分のいずれに該当するかを示すものであり、分類区分は摩耗領域９ａを含み、摩耗領域抽出部は、学習モデルに対し、ラインセンサ画像を入力し、当該ラインセンサ画像内の各画素に対して、当該画素がどの分類区分に該当するかを推論する。
このような構成によれば、摩耗領域９ａの抽出精度を向上することができる。
【0055】
これ以外にも、本発明の主旨を逸脱しない限り、上記実施形態及び各変形例で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。
【符号の説明】
【0056】
１ 検査車両
９ トロリ線
９ａ 摩耗領域
９ｂ 側面領域
１１ 背景領域（他の領域）
１２ 他の架線領域（他の領域）
２０、２０Ａ、２０Ｂ トロリ線検測装置
２１ 照明
２２ ラインセンサ
２３ 制御装置
３０、３０Ａ ラインセンサ画像生成部
３１、３１Ｂ 摩耗領域抽出部
３２、３２Ｂ トロリ線検測部
３５ 学習部
３６ 学習データ記憶部
３７ 補間処理部
３８ トロリ線偏位算出部
３９ トロリ線残存直径算出部
４０、４０Ｂ 学習モデル
５０、６６ ラインセンサ画像
６０ 線条物抽出部
６１ 二値化部
６２ 画像切り出し部
７０ トロリ線摩耗進行度判定部
９ トロリ線
９ａ 摩耗領域
９ｂ 側面領域
１１ 背景領域（他の領域）
１２ 他の架線領域（他の領域）
２０、２０Ａ、２０Ｂ トロリ線検測装置
２１ 照明
２２ ラインセンサ
２３ 制御装置
３０、３０Ａ ラインセンサ画像生成部
３１、３１Ｂ 摩耗領域抽出部
３２、３２Ｂ トロリ線検測部
３５ 学習部
３６ 学習データ記憶部
３７ 補間処理部
３８ トロリ線偏位算出部
３９ トロリ線残存直径算出部
４０、４０Ｂ 学習モデル
５０、６６ ラインセンサ画像
６０ 線条物抽出部
６１ 二値化部
６２ 画像切り出し部
７０ トロリ線摩耗進行度判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】