(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】架線金具異常検出装置及び架線金具異常検出方法
(51)【国際特許分類】
B60M 1/28 20060101AFI20241016BHJP
G06T 7/00 20170101ALI20241016BHJP
G01B 11/00 20060101ALI20241016BHJP
【ＦＩ】
B60M1/28 R
G06T7/00 610Z
G01B11/00 H
【請求項の数】
6
(21)【出願番号】P 2023102215
(22)【出願日】2023-06-22
【審査請求日】2024-06-21
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】吉永 一矢
(72)【発明者】
【氏名】川畑 匠朗
(72)【発明者】
【氏名】山本 大樹
【審査官】加藤 昌人
(56)【参考文献】
【文献】特開２０２１－１３３７９９（ＪＰ，Ａ）
【文献】特開２０１６－１６８９３７（ＪＰ，Ａ）
【文献】国際公開第２０１８／２３０４８０（ＷＯ，Ａ１）
【文献】特開２０２４－４９４１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｍ １／２８
Ｇ０６Ｔ ７／００
Ｇ０１Ｂ １１／００－１１／３０
(57)【特許請求の範囲】
【請求項1】
鉄道車両の走行中に架線金具を魚眼レンズを用いて撮影するカメラであって、前記鉄道車両の進行方向に対して左右に所定の距離を隔てて配設された第１のラインセンサカメラと第２のラインセンサカメラと、前記第１のラインセンサカメラによって撮影された第１の画像から撮影対象範囲外をトリミングするとともに、前記第２のラインセンサカメラによって撮影された第２の画像から撮影対象範囲外をトリミングするトリミング部と、
前記第１の画像における前記第１のラインセンサカメラの中心位置と、前記第２の画像における前記第２のラインセンサカメラの中心位置とに対して、撮影された架線金具の向きが一致するように、前記トリミングされた第１の画像と前記トリミングされた第２の画像とのうち、いずれか一方の画像を左右反転する左右反転処理部と、を備え、
前記トリミングされた第１の画像又は前記トリミングされた第２の画像のうち、前記左右反転処理部により左右反転されなかった画像と、前記左右反転処理部により左右反転された反転画像とを、前記架線金具の異常を検出するための加工済み画像として提供する、
ことを特徴とする架線金具異常検出装置。
【請求項2】
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する画像左右分割処理部と、前記第１の画像から分割された分割画像のうち、前記第１のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除するとともに、前記第２の画像から分割された分割画像のうち、前記第２のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除する外側画像削除処理部と、をさらに備え、
前記トリミング部は、
削除されずに残った第１の分割画像から前記撮影対象範囲外をトリミングするとともに、削除されずに残った第２の分割画像から前記撮影対象範囲外をトリミングし、
前記左右反転処理部は、
前記トリミングされた第１の分割画像における撮影された架線金具の向きと、前記トリミングされた第２の分割画像における撮影された架線金具の向きとが一致するように、前記第１の分割画像と前記第２の分割画像とのうち、いずれか一方を左右反転する、
ことを特徴とする請求項１に記載の架線金具異常検出装置。
【請求項3】
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する画像左右分割処理部をさらに備え、前記トリミング部は、
前記第１の画像から左右に分割された第１の左分割画像と第１の右分割画像とから前記撮影対象範囲外をトリミングするとともに、前記第２の画像から左右に分割された第２の左分割画像と第２の右分割画像とから前記撮影対象範囲外をトリミングし、
前記左右反転処理部は、
前記トリミングされた第１の左分割画像と第１の右分割画像とにおける架線金具の向きが一致するように、前記第１の左分割画像または前記第１の右分割画像のいずれか一方の画像を左右反転するとともに、前記トリミングされた第２の左分割画像と第２の右分割画像とにおける架線金具の向きが一致するように、前記第２の左分割画像または前記第２の右分割画像のいずれか一方の画像を左右反転する、
ことを特徴とする請求項１に記載の架線金具異常検出装置。
【請求項4】
鉄道車両の進行方向に対して左右に所定の距離を隔てて配設された、魚眼レンズを備えた第１のラインセンサカメラと第２のラインセンサカメラとによって、前記鉄道車両の走行中に架線金具を撮影する工程と、前記第１のラインセンサカメラによって撮影された第１の画像から撮影対象範囲外をトリミングするとともに、前記第２のラインセンサカメラによって撮影された第２の画像から撮影対象範囲外をトリミングする工程と、
前記第１の画像における前記第１のラインセンサカメラの中心位置と、前記第２の画像における前記第２のラインセンサカメラの中心位置とに対して、撮影された架線金具の向きが一致するように、前記トリミングされた第１の画像と前記トリミングされた第２の画像とのうち、いずれか一方の画像を左右反転する工程と、
前記トリミングされた第１の画像又は前記トリミングされた第２の画像のうち、前記左右反転する工程により左右反転されなかった画像と、前記左右反転する工程により左右反転された反転画像とを、前記架線金具の異常を検出するための加工済み画像として提供する工程と、
を含むことを特徴とする架線金具異常検出方法。
【請求項5】
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する工程と、前記第１の画像から分割された分割画像のうち、前記第１のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除するとともに、前記第２の画像から分割された分割画像のうち、前記第２のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除する工程と、をさらに含み、
前記撮影対象範囲外をトリミングする工程は、
削除されずに残った第１の分割画像から前記撮影対象範囲外をトリミングするとともに、削除されずに残った第２の分割画像から前記撮影対象範囲外をトリミングし、
前記左右反転する工程は、
前記トリミングされた第１の分割画像における撮影された架線金具の向きと、前記トリミングされた第２の分割画像における撮影された架線金具の向きとが一致するように、前記第１の分割画像と前記第２の分割画像とのうち、いずれか一方を左右反転する、
ことを特徴とする請求項４に記載の架線金具異常検出方法。
【請求項6】
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する工程をさらに含み、前記撮影対象範囲外をトリミングする工程は、
前記第１の画像から左右に分割された第１の左分割画像と第１の右分割画像とから前記撮影対象範囲外をトリミングするとともに、前記第２の画像から左右に分割された第２の左分割画像と第２の右分割画像とから前記撮影対象範囲外をトリミングし、
前記左右反転する工程は、
前記トリミングされた第１の左分割画像と第１の右分割画像とにおける架線金具の向きが一致するように、前記第１の左分割画像または前記第１の右分割画像のいずれか一方の画像を左右反転するとともに、前記トリミングされた第２の左分割画像と第２の右分割画像とにおける架線金具の向きが一致するように、前記第２の左分割画像または前記第２の右分割画像のいずれか一方の画像を左右反転する、
ことを特徴とする請求項４に記載の架線金具異常検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、架線金具異常検出装置及び架線金具異常検出方法に関する。
【背景技術】
【0002】
従来、電気鉄道設備のうち、架線金具に対する保守点検作業があり、架線金具の異常を検査員が目視で確認して保守を行っている。架線金具とは、電気鉄道設備における車両に電力を供給するための架空電車線（トロリ線、吊架線、補助吊架線；以下「架線」)を所定の位置に保持し、又は複数の架線間を電気的に接続し、若しくは区分するための金具をいう。しかしながら、目視による点検には限界があり、異常を見逃す可能性があった。
【0003】
そこで、特許文献１、２には、鉄道車両の屋根上に搭載されたラインセンサカメラより架線金具の撮影を行って入力画像を生成し、当該入力画像を元に、機械学習を用いて架線金具の異常を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－１４７１２９号公報
【文献】特開２０２０－１４９２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１、２では、入力画像を生成する際、撮影された入力画像に対して画像加工を行っていないため、画像内に余分なデータ（本線の外など、撮影対象範囲の外にある金具）が存在していた場合、それらのデータが異常検出の精度に影響を及ぼす恐れがある。
【0006】
また、撮影対象範囲を絞って撮影を行う場合、鉄道車両の車両限界のほか、ラインセンサカメラの画角や、被写界深度など、機器の設置に対する制約が多く存在するため、機器の選定が大幅に限定されるという問題がある。
【0007】
そこで本発明は、架線金具の異常の検出精度を向上させるためのデータセットを提供することが可能な架線金具異常検出装置及び架線金具異常検出方法を提供することを課題とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するための第１の発明に係る架線金具異常検出装置は、
鉄道車両の走行中に架線金具を魚眼レンズを用いて撮影するカメラであって、前記鉄道車両の進行方向に対して左右に所定の距離を隔てて配設された第１のラインセンサカメラと第２のラインセンサカメラと、
前記第１のラインセンサカメラによって撮影された第１の画像から撮影対象範囲外をトリミングするとともに、前記第２のラインセンサカメラによって撮影された第２の画像から撮影対象範囲外をトリミングするトリミング部と、
前記第１の画像における前記第１のラインセンサカメラの中心位置と、前記第２の画像における前記第２のラインセンサカメラの中心位置とに対して、撮影された架線金具の向きが一致するように、前記トリミングされた第１の画像と前記トリミングされた第２の画像とのうち、いずれか一方の画像を左右反転する左右反転処理部と、を備え、
前記トリミングされた第１の画像又は前記トリミングされた第２の画像のうち、前記左右反転処理部により左右反転されなかった画像と、前記左右反転処理部により左右反転された反転画像とを、前記架線金具の異常を検出するための加工済み画像として提供する、
ことを特徴とする。
鉄道車両の走行中に架線金具を魚眼レンズを用いて撮影するカメラであって、前記鉄道車両の進行方向に対して左右に所定の距離を隔てて配設された第１のラインセンサカメラと第２のラインセンサカメラと、
前記第１のラインセンサカメラによって撮影された第１の画像から撮影対象範囲外をトリミングするとともに、前記第２のラインセンサカメラによって撮影された第２の画像から撮影対象範囲外をトリミングするトリミング部と、
前記第１の画像における前記第１のラインセンサカメラの中心位置と、前記第２の画像における前記第２のラインセンサカメラの中心位置とに対して、撮影された架線金具の向きが一致するように、前記トリミングされた第１の画像と前記トリミングされた第２の画像とのうち、いずれか一方の画像を左右反転する左右反転処理部と、を備え、
前記トリミングされた第１の画像又は前記トリミングされた第２の画像のうち、前記左右反転処理部により左右反転されなかった画像と、前記左右反転処理部により左右反転された反転画像とを、前記架線金具の異常を検出するための加工済み画像として提供する、
ことを特徴とする。
【0009】
また、上記の課題を解決するための第２の発明に係る架線金具異常検出装置は、第１の発明において、
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する画像左右分割処理部と、
前記第１の画像から分割された分割画像のうち、前記第１のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除するとともに、前記第２の画像から分割された分割画像のうち、前記第２のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除する外側画像削除処理部と、をさらに備え、
前記トリミング部は、
削除されずに残った第１の分割画像から前記撮影対象範囲外をトリミングするとともに、削除されずに残った第２の分割画像から前記撮影対象範囲外をトリミングし、
前記左右反転処理部は、
前記トリミングされた第１の分割画像における撮影された架線金具の向きと、前記トリミングされた第２の分割画像における撮影された架線金具の向きとが一致するように、前記第１の分割画像と前記第２の分割画像とのうち、いずれか一方を左右反転する、
ことを特徴とする。
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する画像左右分割処理部と、
前記第１の画像から分割された分割画像のうち、前記第１のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除するとともに、前記第２の画像から分割された分割画像のうち、前記第２のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除する外側画像削除処理部と、をさらに備え、
前記トリミング部は、
削除されずに残った第１の分割画像から前記撮影対象範囲外をトリミングするとともに、削除されずに残った第２の分割画像から前記撮影対象範囲外をトリミングし、
前記左右反転処理部は、
前記トリミングされた第１の分割画像における撮影された架線金具の向きと、前記トリミングされた第２の分割画像における撮影された架線金具の向きとが一致するように、前記第１の分割画像と前記第２の分割画像とのうち、いずれか一方を左右反転する、
ことを特徴とする。
【0010】
また、上記の課題を解決するための第３の発明に係る架線金具異常検出装置は、第１の発明において、
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する画像左右分割処理部をさらに備え、
前記トリミング部は、
前記第１の画像から左右に分割された第１の左分割画像と第１の右分割画像とから前記撮影対象範囲外をトリミングするとともに、前記第２の画像から左右に分割された第２の左分割画像と第２の右分割画像とから前記撮影対象範囲外をトリミングし、
前記左右反転処理部は、
前記トリミングされた第１の左分割画像と第１の右分割画像とにおける架線金具の向きが一致するように、前記第１の左分割画像または前記第１の右分割画像のいずれか一方の画像を左右反転するとともに、前記トリミングされた第２の左分割画像と第２の右分割画像とにおける架線金具の向きが一致するように、前記第２の左分割画像または前記第２の右分割画像のいずれか一方の画像を左右反転する、
ことを特徴とする。
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する画像左右分割処理部をさらに備え、
前記トリミング部は、
前記第１の画像から左右に分割された第１の左分割画像と第１の右分割画像とから前記撮影対象範囲外をトリミングするとともに、前記第２の画像から左右に分割された第２の左分割画像と第２の右分割画像とから前記撮影対象範囲外をトリミングし、
前記左右反転処理部は、
前記トリミングされた第１の左分割画像と第１の右分割画像とにおける架線金具の向きが一致するように、前記第１の左分割画像または前記第１の右分割画像のいずれか一方の画像を左右反転するとともに、前記トリミングされた第２の左分割画像と第２の右分割画像とにおける架線金具の向きが一致するように、前記第２の左分割画像または前記第２の右分割画像のいずれか一方の画像を左右反転する、
ことを特徴とする。
【0011】
また、上記の課題を解決するための第４の発明に係る架線金具検出方法は、
鉄道車両の進行方向に対して左右に所定の距離を隔てて配設された、魚眼レンズを備えた第１のラインセンサカメラと第２のラインセンサカメラとによって、前記鉄道車両の走行中に架線金具を撮影する工程と、
前記第１のラインセンサカメラによって撮影された第１の画像から撮影対象範囲外をトリミングするとともに、前記第２のラインセンサカメラによって撮影された第２の画像から撮影対象範囲外をトリミングする工程と、
前記第１の画像における前記第１のラインセンサカメラの中心位置と、前記第２の画像における前記第２のラインセンサカメラの中心位置とに対して、撮影された架線金具の向きが一致するように、前記トリミングされた第１の画像と前記トリミングされた第２の画像とのうち、いずれか一方の画像を左右反転する工程と、
前記トリミングされた第１の画像又は前記トリミングされた第２の画像のうち、前記左右反転する工程により左右反転されなかった画像と、前記左右反転する工程により左右反転された反転画像とを、前記架線金具の異常を検出するための加工済み画像として提供する工程と、
を含むことを特徴とする。
鉄道車両の進行方向に対して左右に所定の距離を隔てて配設された、魚眼レンズを備えた第１のラインセンサカメラと第２のラインセンサカメラとによって、前記鉄道車両の走行中に架線金具を撮影する工程と、
前記第１のラインセンサカメラによって撮影された第１の画像から撮影対象範囲外をトリミングするとともに、前記第２のラインセンサカメラによって撮影された第２の画像から撮影対象範囲外をトリミングする工程と、
前記第１の画像における前記第１のラインセンサカメラの中心位置と、前記第２の画像における前記第２のラインセンサカメラの中心位置とに対して、撮影された架線金具の向きが一致するように、前記トリミングされた第１の画像と前記トリミングされた第２の画像とのうち、いずれか一方の画像を左右反転する工程と、
前記トリミングされた第１の画像又は前記トリミングされた第２の画像のうち、前記左右反転する工程により左右反転されなかった画像と、前記左右反転する工程により左右反転された反転画像とを、前記架線金具の異常を検出するための加工済み画像として提供する工程と、
を含むことを特徴とする。
【0012】
また、上記の課題を解決するための第５の発明に係る架線金具異常検出方法は、第４の発明において、
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する工程と、
前記第１の画像から分割された分割画像のうち、前記第１のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除するとともに、前記第２の画像から分割された分割画像のうち、前記第２のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除する工程と、をさらに含み、
前記撮影対象範囲外をトリミングする工程は、
削除されずに残った第１の分割画像から前記撮影対象範囲外をトリミングするとともに、削除されずに残った第２の分割画像から前記撮影対象範囲外をトリミングし、
前記左右反転する工程は、
前記トリミングされた第１の分割画像における撮影された架線金具の向きと、前記トリミングされた第２の分割画像における撮影された架線金具の向きとが一致するように、前記第１の分割画像と前記第２の分割画像とのうち、いずれか一方を左右反転する、
ことを特徴とする。
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する工程と、
前記第１の画像から分割された分割画像のうち、前記第１のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除するとともに、前記第２の画像から分割された分割画像のうち、前記第２のラインセンサカメラの中心位置より車両の外側に相当する分割画像を削除する工程と、をさらに含み、
前記撮影対象範囲外をトリミングする工程は、
削除されずに残った第１の分割画像から前記撮影対象範囲外をトリミングするとともに、削除されずに残った第２の分割画像から前記撮影対象範囲外をトリミングし、
前記左右反転する工程は、
前記トリミングされた第１の分割画像における撮影された架線金具の向きと、前記トリミングされた第２の分割画像における撮影された架線金具の向きとが一致するように、前記第１の分割画像と前記第２の分割画像とのうち、いずれか一方を左右反転する、
ことを特徴とする。
【0013】
また、上記の課題を解決するための第６の発明に係る架線金具異常検出方法は、第４の発明において、
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する工程をさらに含み、
前記撮影対象範囲外をトリミングする工程は、
前記第１の画像から左右に分割された第１の左分割画像と第１の右分割画像とから前記撮影対象範囲外をトリミングするとともに、前記第２の画像から左右に分割された第２の左分割画像と第２の右分割画像とから前記撮影対象範囲外をトリミングし、
前記左右反転する工程は、
前記トリミングされた第１の左分割画像と第１の右分割画像とにおける架線金具の向きが一致するように、前記第１の左分割画像または前記第１の右分割画像のいずれか一方の画像を左右反転するとともに、前記トリミングされた第２の左分割画像と第２の右分割画像とにおける架線金具の向きが一致するように、前記第２の左分割画像または前記第２の右分割画像のいずれか一方の画像を左右反転する、
ことを特徴とする。
前記第１の画像における前記第１のラインセンサカメラの中心位置から、前記第１の画像を左右に分割するとともに、前記第２の画像における前記第２のラインセンサカメラの中心位置から、前記第２の画像を左右に分割する工程をさらに含み、
前記撮影対象範囲外をトリミングする工程は、
前記第１の画像から左右に分割された第１の左分割画像と第１の右分割画像とから前記撮影対象範囲外をトリミングするとともに、前記第２の画像から左右に分割された第２の左分割画像と第２の右分割画像とから前記撮影対象範囲外をトリミングし、
前記左右反転する工程は、
前記トリミングされた第１の左分割画像と第１の右分割画像とにおける架線金具の向きが一致するように、前記第１の左分割画像または前記第１の右分割画像のいずれか一方の画像を左右反転するとともに、前記トリミングされた第２の左分割画像と第２の右分割画像とにおける架線金具の向きが一致するように、前記第２の左分割画像または前記第２の右分割画像のいずれか一方の画像を左右反転する、
ことを特徴とする。
【発明の効果】
【0014】
この発明によれば、架線金具の異常の検出精度を向上させるためのデータセットを提供することが可能となる。
【図面の簡単な説明】
【0015】
【図1】本発明の第１実施形態による架線金具異常検出装置１の略構成を示す模式図である。
【図2】本第１実施形態において魚眼レンズを用いたラインセンサカメラ１０Ｌ、１０Ｒの利点を説明するための模式図である。
【図3】本第１実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。
【図4】本第１実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。
【図5】本第１実施形態による架線金具異常検出装置１による撮影時の状態を示す模式図である。
【図6】本第１実施形態による架線金具異常検出装置１による撮影画像を示す模式図である。
【図7】本第１実施形態によるトリミング範囲を説明するための概念図である。
【図8】本第１実施形態による左画像５０Ｌ、右画像５０Ｒに対するトリミング範囲を説明するための概念図である。
【図9】本第１実施形態によるトリミング前の元画像（左画像５０Ｌ）とトリミング後に得られる左トリミング画像５１Ｌとを示す概念図である。
【図10】本第１実施形態におけるトリミング後の左トリミング画像５１Ｌ及び右トリミング画像５１Ｒを示す概念図である。
【図11】本第１実施形態において、トリミングを行うことによる学習・推論での利点（効果）を説明するための概念図である。
【図12】本第１実施形態による左右反転処理を説明するための概念図である。
【図13】本第２実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。
【図14】本第２実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。
【図15】本第２実施形態による画像左右分割処理を説明するための概念図である。
【図16】本第２実施形態による外側画像削除処理を説明するための概念図である。
【図17】本第２実施形態による左分割画像５４Ｌ及び右分割画像５３Ｒに対するトリミング範囲を説明するための概念図である。
【図18】本第２実施形態におけるトリミング後の左トリミング画像５５Ｌ及び右トリミング画像５５Ｒを示す概念図である。
【図19】本第２実施形態において、トリミング後の左トリミング画像５５Ｌと画像反転後の右反転画像５６Ｒを示す概念図である。
【図20】本第３実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。
【図21】本第３実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。
【図22】本第３実施形態による画像左右分割処理を説明するための概念図である。
【図23】本第３実施形態による左分割画像５３Ｌ、５４Ｌ及び右分割画像５３Ｒ、５４Ｒに対するトリミング範囲を説明するための概念図である。
【図24】本第３実施形態におけるトリミング後の左トリミング画像５７Ｌ、５８Ｌ、及び右トリミング画像５７Ｒ、５８Ｒを示す概念図である。
【図25】本第３実施形態において、左トリミング反転画像５９Ｌ、左トリミング画像５８Ｌ及び右トリミング反転画像５９Ｒ、右トリミング画像５８Ｒを示す概念図である。
【発明を実施するための形態】
【0016】
以下、添付図面を参照して、本発明の実施の形態について説明する。
本発明は、鉄道車両の屋根上に搭載された少なくとも２つのラインセンサカメラから取得された画像に対し、自動で架線金具の検出を行うことを可能とし、後段処理で撮像画像を元に架線金具の異常を検出することで、架線金具に対する保守点検業務の省力化を実現することを目的としている。
本発明は、鉄道車両の屋根上に搭載された少なくとも２つのラインセンサカメラから取得された画像に対し、自動で架線金具の検出を行うことを可能とし、後段処理で撮像画像を元に架線金具の異常を検出することで、架線金具に対する保守点検業務の省力化を実現することを目的としている。
【0017】
Ａ．第１実施形態
図１は、本発明の第１実施形態による架線金具異常検出装置１の略構成を示す模式図である。図１において、鉄道車両２の車両屋根２１上には、車幅方向に所定の距離だけ離間して魚眼レンズを装着した２つのラインセンサカメラ（第１、第２のラインセンサカメラ）１０Ｌ、１０Ｒが設置されるとともに、複数の照明１１、１１、１１が上方向に向けて設置されている。ラインセンサカメラ１０Ｌ、１０Ｒは、車両屋根２１に対して垂直方向に画角が向くように設置されている。ラインセンサカメラ１０Ｌ、１０Ｒは、車両屋根２１の上方の、線路に沿って設置された架線金具を撮影する。
図１は、本発明の第１実施形態による架線金具異常検出装置１の略構成を示す模式図である。図１において、鉄道車両２の車両屋根２１上には、車幅方向に所定の距離だけ離間して魚眼レンズを装着した２つのラインセンサカメラ（第１、第２のラインセンサカメラ）１０Ｌ、１０Ｒが設置されるとともに、複数の照明１１、１１、１１が上方向に向けて設置されている。ラインセンサカメラ１０Ｌ、１０Ｒは、車両屋根２１に対して垂直方向に画角が向くように設置されている。ラインセンサカメラ１０Ｌ、１０Ｒは、車両屋根２１の上方の、線路に沿って設置された架線金具を撮影する。
【0018】
なお、本発明において、架線金具とは、以下のものを指すものとする。
・ハンガー、ドロッパ、コネクタ、ダブルイヤー
・曲線引架線金具、支持物
これらが本発明に係る架線金具異常検出装置及び架線金具異常検出方法によって検出できるものである。
・ハンガー、ドロッパ、コネクタ、ダブルイヤー
・曲線引架線金具、支持物
これらが本発明に係る架線金具異常検出装置及び架線金具異常検出方法によって検出できるものである。
【0019】
鉄道車両２には、パーソナルコンピュータなどの画像処理装置（以下、車載ＰＣという）１２が搭載されている。車載ＰＣ１２は、ラインセンサカメラ１０Ｌ、１０Ｒによって撮影された撮像画像を格納するデータ保存部１３と、撮像画像に様々な画像処理を施し、機械学習による架線金具の検出及び架線金具の異常（金具の歪み、ネジの有無等）検出を行うための前処理を行う画像処理部１４を備えている。
【0020】
なお、本発明では、画像処理部１４は、予め取得した架線金具の画像及び架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備えており、上述した前処理によって生成した画像に基づいて、画像の中から架線金具を検出し、検出した架線金具の異常を検出する。但し、演算装置による画像の中から架線金具を検出する処理、及び検出した架線金具の異常（金具の歪み、ネジの有無等）を検出する処理については周知であるので説明を省略する。
【0021】
ここで、本発明において、ラインセンサカメラ１０Ｌ、１０Ｒに、広角レンズではなく魚眼レンズを用いる理由（効果）について説明する。図２（ａ）、（ｂ）は、本第１実施形態において魚眼レンズを用いたラインセンサカメラ１０Ｌ、１０Ｒの利点を説明するための模式図である。図２（ａ）には、広角レンズを用いたラインセンサカメラ３０の場合におけるカメラ撮像範囲３１、撮影対象範囲３２、被写界深度３３を示している。また、図２（ｂ）には、魚眼レンズを用いたラインセンサカメラ１０Ｌの場合におけるカメラ撮像範囲３４、撮影対象範囲３５を示している。また、図２（ａ）、（ｂ）において、車両周囲には、車両限界３６が設定されている。車両限界３６とは、車両が線路上を安全に走行できるためにその幅、高さ等の数値を制限するための基準であり、この車両限界を越えて構造物を設置することはできない。なお、図２（ｂ）には、ラインセンサカメラ１０Ｒについて示していないが、カメラ撮像範囲３４が横方向にずれるだけで魚眼レンズを用いることによる理由（効果）はラインセンサカメラ１０Ｌと同じである。
【0022】
広角レンズを用いたラインセンサカメラ３０の場合、広角レンズの画角の関係から、図２（ａ）のカメラ撮像範囲３１で示すように、ラインセンサカメラ３０を斜め方向に傾けて設置する必要がある。この場合、長方形の撮影対象範囲３２に対して斜め方向から撮影することとなるため、被写界深度を深くとる必要が生じる。また、広角レンズを用いた場合、ラインセンサカメラ３０を車両屋根２１の端部に設置する必要があるため、上述した車両限界３６に抵触する恐れも生じる。
【0023】
一方、図２（ｂ）に示すように、魚眼レンズを用いた場合、カメラ撮像範囲３４で示すように、ラインセンサカメラ１０Ｌの画角は１８０°であり、被写界深度が深いという特徴がある。魚眼レンズを用いる場合、ラインセンサカメラ１０Ｌの画角を考慮する必要がなくなるほか、魚眼レンズの特性として、被写界深度が深いことも挙げられるため、広角レンズを用いたラインセンサカメラ３０と比較して広いカメラ撮像範囲３４を撮影することができる。以上のことから、ラインセンサカメラ１０Ｌ、１０Ｒに魚眼レンズを用いることで、車両屋根２１の端部に設置する必要がなくなり、設置上の制約を大幅に軽減することが可能となる。
【0024】
図３は、本第１実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。また、図４は、本第１実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。また、図５は、本第１実施形態による架線金具異常検出装置１による撮影時の状態を示す模式図である。また、図６は、本第１実施形態による架線金具異常検出装置１による撮影画像を示す模式図である。
【0025】
本第１実施形態では、撮影開始から撮影終了までにラインセンサカメラで所定の時間間隔で撮影した複数の画像に対して（画像枚数分）、以下のステップＳ１０～Ｓ１６の処理を繰り返す。
【0026】
＜撮影処理＞
まず、架線金具異常検出装置１は、車両走行中に、ラインセンサカメラ１０Ｌ、１０Ｒによって撮影を行う（ステップＳ１０）。ラインセンサカメラ１０Ｌ、１０Ｒが撮像した撮像画像は、図４に示すように、データ保存部１３に保存される。
まず、架線金具異常検出装置１は、車両走行中に、ラインセンサカメラ１０Ｌ、１０Ｒによって撮影を行う（ステップＳ１０）。ラインセンサカメラ１０Ｌ、１０Ｒが撮像した撮像画像は、図４に示すように、データ保存部１３に保存される。
【0027】
ここで、図５は、本実施形態において、車両屋根２１、ラインセンサカメラ１０Ｌ、１０Ｒ、及び架線Ａ～Ｃとの位置関係を示す模式図である。撮影時、車両屋根２１、ラインセンサカメラ１０Ｌ、１０Ｒ、及び架線Ａ～Ｃとの位置関係は、図５に示すようになっている。架線Ａは、トロリ線４０Ａと該トロリ線４０Ａを吊り下げる吊架線４１Ａと、トロリ線４０Ａと吊架線４１Ａとを結合するための架線金具４２Ａとから構成され、架線Ｂは、トロリ線４０Ｂと該トロリ線４０Ｂを吊り下げる吊架線４１Ｂと、トロリ線４０Ｂと吊架線４１Ｂとを結合するための架線金具４２Ｂとから構成されている。ラインセンサカメラ１０Ｌ、１０Ｒによる該撮影対象範囲３５に架線Ａ、Ｂが含まれるようになっている。そして、撮影対象範囲３５に含まれる架線Ａ、Ｂの架線金具４２Ａ、４２Ｂが異常検出対象である。一方、撮影対象範囲３５に含まれない架線Ｃの架線金具４２Ｃは、異常検出対象外の撮影非対象金具である。
【0028】
ラインセンサカメラ１０Ｌ、１０Ｒによって、図５に示すような位置に存在する架線Ａ、Ｂを撮影した場合、図６に示すような左画像（第１の画像）５０Ｌと右画像（第２の画像）５０Ｒとが撮影される。ラインセンサカメラ１０Ｌでは、図６の上段に示す左画像５０Ｌが撮影され、ラインセンサカメラ１０Ｒでは、図６の下段に示す右画像５０Ｒが撮影される。図６において、左画像５０Ｌと右画像５０Ｒとの横方向は、車両屋根２１の横方向に相当する。つまり、ラインセンサカメラ１０Ｒとラインセンサカメラ１０Ｌとの配設位置の違い分だけ横方向にずれた画像として撮影される。
【0029】
ラインセンサカメラ１０Ｌで撮影された左画像５０Ｌでは、カメラ中心の左側に架線Ａが撮影され、カメラ中心の右側に架線Ｂが撮影される。このとき、ラインセンサカメラ１０Ｌを鉛直方向に向けていることから、架線Ａの架線金具４２Ａ１、４２Ａ２の上部と、架線Ｂの架線金具４２Ｂ１、４２Ｂ２の上部とがカメラ中心側に位置するように撮影される。また、ラインセンサカメラ１０Ｒで撮影された右画像５０Ｒでは、カメラ中心の左側に架線Ａ、Ｂが撮影され、カメラ中心の右側に架線Ｃが撮影される。このとき、ラインセンサカメラ１０Ｒを鉛直方向に向けていることから、架線Ｂの架線金具４２Ｂ１、４２Ｂ２の上部と、架線Ｃの架線金具４２Ｃ１、４２Ｃ２の上部とがカメラ中心側に位置するように撮影される。なお、架線Ｃの架線金具４２Ｃ１、４２Ｃ２は、異常検出対象外であるため、機械学習用のデータには含まれないことが好ましく、後述するトリミングにて削除される。
【0030】
＜トリミング処理＞
次に、架線金具異常検出装置１は、画像処理部１４により、撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して撮影対象範囲外トリミングを行う（ステップＳ１２）。より具体的には、図４に示すように、画像処理部１４は、撮影対象範囲外トリミング部（トリミング部）１４１によって、データ保存部１３に保存された撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して撮影対象範囲外の画像を除去するためのトリミングを行い、トリミング後の画像（以下、トリミング画像と称する）をデータ保存部１３に保存する。該撮影対象範囲外トリミングは、撮影対象範囲外の、異常検出対象外である架線Ｃの一部画像を切り取るためであり、余分なデータを削減することで、機械学習・推論処理の負担を軽減することができる。
次に、架線金具異常検出装置１は、画像処理部１４により、撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して撮影対象範囲外トリミングを行う（ステップＳ１２）。より具体的には、図４に示すように、画像処理部１４は、撮影対象範囲外トリミング部（トリミング部）１４１によって、データ保存部１３に保存された撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して撮影対象範囲外の画像を除去するためのトリミングを行い、トリミング後の画像（以下、トリミング画像と称する）をデータ保存部１３に保存する。該撮影対象範囲外トリミングは、撮影対象範囲外の、異常検出対象外である架線Ｃの一部画像を切り取るためであり、余分なデータを削減することで、機械学習・推論処理の負担を軽減することができる。
【0031】
ここで、図７は、本第１実施形態によるトリミング範囲を説明するための概念図である。なお、図７では、ラインセンサカメラ１０Ｌについてのみ説明するが、ラインセンサカメラ１０Ｒについても同様である。また、図８は、本第１実施形態による左画像５０Ｌ、右画像５０Ｒに対するトリミング範囲を説明するための概念図である。
【0032】
トリミング範囲については、ラインセンサカメラ１０Ｌ、１０Ｒの位置（以下、単にカメラ位置と称する）と撮影対象範囲３５との関係から決定する。カメラ位置と撮影対象範囲３５との関係を見るために、撮影上不要な範囲と実画像上でのピクセル位置との位置関係を照合させる。位置関係の照合では、図７に示すように、撮影対象範囲３５Ｌの最低高さ６０の左右端に目印（白マーカなど）６１Ｌ、６２Ｌを設置し、それが実画像上のどのピクセル位置に現れるかを確認する。図７の下段に、左画像５０Ｌにおけるトリミング範囲６３Ｌ、６４Ｌと撮影対象範囲３５Ｌ、及び右画像５０Ｒにおけるトリミング範囲６３Ｒ、６４Ｒと撮影対象範囲３５Ｒを示す。目印６１Ｌ、６２Ｌまたは目印６１Ｒ、６２Ｒのピクセル位置より外側の範囲が、トリミングを行うトリミング範囲６３Ｌ、６４Ｌ、及びトリミング範囲６３Ｒ、６４Ｒとなる。これを図６に示す撮像された左画像５０Ｌと右画像５０Ｒとに当てはめると、図８に示すように、左画像５０Ｌに対しては、トリミング範囲６３Ｌ、６４Ｌで、右画像５０Ｒに対しては、トリミング範囲６３Ｒ、６４Ｒでトリミングを行うこととなる。
【0033】
図９は、本第１実施形態によるトリミング前の元画像（左画像５０Ｌ）とトリミング後の左トリミング画像５１Ｌとを示す概念図である。なお、図９には、元画像として左画像５０Ｌ、左画像５０Ｌをトリミングした後の左トリミング画像（トリミングされた第１の画像）５１Ｌを示しているが、右画像５０Ｒでも同様である。図９に示すように、撮影直後の元画像、つまり左画像５０Ｌでは、学習・推論対象のデータである、架線Ａの架線金具４２Ａ１、４２Ａ２及び架線Ｂの架線金具４２Ｂ１、４２Ｂ２と、学習・推論対象ではない非対象データである架線Ｃの架線金具４２Ｃ１、４２Ｃ２とが同一の形状で混在している。これに対して、トリミング後の左トリミング画像５１Ｌでは、学習・推論対象ではない非対象データである架線Ｃの架線金具４２Ｃ１、４２Ｃ２の一部がトリミングされ、切り取られる。
【0034】
図１０は、本第１実施形態におけるトリミング後の左トリミング画像５１Ｌ及び右トリミング画像５１Ｒを示す概念図である。図１０に示すように、トリミングすることにより、左トリミング画像５１Ｌ及び右トリミング画像（トリミングされた第２の画像）５１Ｒの双方において、学習・推論対象ではない非対象データである架線Ｃの一部がトリミングされ、切り取られる。これにより、左トリミング画像５１Ｌでは、学習・推論対象のデータである、架線Ａの架線金具４２Ａ１、４２Ａ２及び架線Ｂの架線金具４２Ｂ１、４２Ｂ２と、学習・推論対象ではない非対象データである架線Ｃの架線金具４２Ｃ１、４２Ｃ２とを異なる形状として区別することが可能となる。
【0035】
また、それだけでなく、画像圧縮時により多くの画像特徴を残すことが可能となる。機械学習では、処理の都合上、画像を正方形にリサイズしたのち、学習・推論を行う。本第１実施形態では、画像の横幅をトリミングすることによって、不要な情報を削減することが可能とするとともに、画像を正方形にリサイズした際に、効率的な学習・推論を行うことを可能としている。
【0036】
図１１は、本第１実施形態において、トリミングを行うことによる学習・推論での利点（効果）を説明するための概念図である。なお、図１１には、元画像として左画像５０Ｌ、左画像５０Ｌをトリミングした後の左トリミング画像５１Ｌを示しているが、右画像５０Ｒでも同様である。図１０の上段には、トリミングを行っていない左画像５０Ｌを、学習・推論の効率化のために正方形にリサイズしたときの架線金具部分を拡大した画像Ａを示し、同図の下段には、トリミング後の左トリミング画像５１Ｌを、正方形にリサイズしたときの架線金具部分を拡大した画像Ｂを示している。画像Ａと画像Ｂとを比較すると分かるように、本第１実施形態では、左トリミング画像５１Ｌを正方形にリサイズしたときの方が、トリミング前の左画像５０Ｌを正方形にリサイズしたときよりも多くの金具情報（高精細な画像；コイル状の金具の間隔が広い）を残すこと、すなわち、圧縮によるデータの損失が小さくすることが可能となる。
【0037】
＜左右反転処理＞
次に、架線金具異常検出装置１は、トリミング後の右トリミング画像５１Ｒの左右反転を行う（ステップＳ１４）。より具体的には、図４に示すように、画像処理部１４は、画像左右反転処理部１４２によって、データ保存部１３に保存されたトリミング後の右トリミング画像５１Ｒに対して左右反転を行い、右反転画像５２Ｒとしてデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、トリミング後の右トリミング画像５１Ｒの左右反転を行う（ステップＳ１４）。より具体的には、図４に示すように、画像処理部１４は、画像左右反転処理部１４２によって、データ保存部１３に保存されたトリミング後の右トリミング画像５１Ｒに対して左右反転を行い、右反転画像５２Ｒとしてデータ保存部１３に保存する。
【0038】
元画像である右画像５０Ｒでは、前述した図６に示すように、ラインセンサカメラ１０Ｒの設置位置の関係上、架線Ｂの架線金具４２Ｂの上部が画像中心に近い方向に撮像される。機械学習においては、架線金具の形状のほか、画像上のピクセル情報も精度に影響してくるため、同じ位置の架線金具については、左右の画像で同じ向きで撮像されることが望ましい。しかしながら、前述した図１０に示すように、トリミング後の左トリミング画像５１Ｌと右トリミング画像５１Ｒとでは、左右でトリミングする範囲が異なるため、左右の画像位置によって架線金具の向きが異なってしまう。図１０の例では、左トリミング画像５１Ｌと右トリミング画像５１Ｒとでは、架線金具４２Ｂ１、４２Ｂ２の向きが異なっている。そのため、画像座標情報と架線金具４２Ｂ１、４２Ｂ２の向き情報とが一致しない事態が発生する。これを防ぐため、トリミング後の左トリミング画像５１Ｌと右トリミング画像５１Ｒとのうち、右トリミング画像５１Ｒに対して左右反転処理を行う。
【0039】
図１２は、本第１実施形態による左右反転処理を説明するための概念図である。図１２に示すように、右トリミング画像５１Ｒに対して左右反転処理を行うと、左トリミング画像５１Ｌ、右反転画像（反転画像）５２Ｒにおけるカメラ中心位置が統一されるため、左右カメラ中心に対して、左側の画像における架線金具４２Ａ１、４２Ａ２の上部が必ず右に位置し、右側の画像における架線金具４２Ａ１、４２Ａ２、４２Ｂ１、４２Ｂ２の上部が必ず左に位置することになる。このため、画像のピクセル上の位置関係と架線金具４２Ｂ１、４２Ｂ２の向きとの関係も統一され、機械学習の精度も向上させることができる。
【0040】
＜加工済み画像提供処理＞
次に、架線金具異常検出装置１は、トリミング後の左トリミング画像５１Ｌと、左右反転処理後の右反転画像５２Ｒとを、加工済み画像として図示しない機械学習システム（演算装置）に供給する（ステップＳ１６）。図示しない機械学習システムでは、加工済み画像であるトリミング後の左トリミング画像５１Ｌと、左右反転処理後の右反転画像５２Ｒとに基づいて、機械学習を行うとともに、架線金具の異常（金具の歪み、ネジの有無等）を検出する。
次に、架線金具異常検出装置１は、トリミング後の左トリミング画像５１Ｌと、左右反転処理後の右反転画像５２Ｒとを、加工済み画像として図示しない機械学習システム（演算装置）に供給する（ステップＳ１６）。図示しない機械学習システムでは、加工済み画像であるトリミング後の左トリミング画像５１Ｌと、左右反転処理後の右反転画像５２Ｒとに基づいて、機械学習を行うとともに、架線金具の異常（金具の歪み、ネジの有無等）を検出する。
【0041】
上述した第１実施形態によれば、トリミングにより、不要なデータを削減することができ、学習・推論に対する処理負担を軽減することができる。また、トリミングにより、正方形へのリサイズ時における架線金具情報の損失を緩和することができる。また、画像反転により、画像のピクセル上の位置関係と架線金具の向きとの関係を統一させることができ、機械学習の精度を向上させることができる。そして、これらの効果により、架線金具の異常検出時における精度を向上させることが可能となる。
【0042】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
架線金具異常検出装置１の構成は、図１と同様であるので説明を省略する。図１３は、本第２実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。また、図１４は、本第２実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。なお、図４に対応する部分には同一の符号を付けて説明を省略する。
次に、本発明の第２実施形態について説明する。
架線金具異常検出装置１の構成は、図１と同様であるので説明を省略する。図１３は、本第２実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。また、図１４は、本第２実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。なお、図４に対応する部分には同一の符号を付けて説明を省略する。
【0043】
本第２実施形態では、撮影開始から撮影終了までにラインセンサカメラで所定の時間間隔で撮影した複数の画像に対して（画像枚数分）、ステップＳ２０～Ｓ３０の処理を繰り返す。
【0044】
＜撮影処理＞
まず、架線金具異常検出装置１は、車両走行中に、ラインセンサカメラ１０Ｌ、１０Ｒによって撮影を行う（ステップＳ２０）。より具体的には、ラインセンサカメラ１０Ｌ、１０Ｒが撮像した撮像画像は、図１４に示すように、データ保存部１３に保存される。撮像画像は、前述した図６に示すように、ラインセンサカメラ１０Ｌで撮影された左画像５０Ｌ、及びラインセンサカメラ１０Ｒで撮影された右画像５０Ｒとなる。
まず、架線金具異常検出装置１は、車両走行中に、ラインセンサカメラ１０Ｌ、１０Ｒによって撮影を行う（ステップＳ２０）。より具体的には、ラインセンサカメラ１０Ｌ、１０Ｒが撮像した撮像画像は、図１４に示すように、データ保存部１３に保存される。撮像画像は、前述した図６に示すように、ラインセンサカメラ１０Ｌで撮影された左画像５０Ｌ、及びラインセンサカメラ１０Ｒで撮影された右画像５０Ｒとなる。
【0045】
＜画像左右分割処理＞
次に、架線金具異常検出装置１は、画像処理部１４により、撮像画像（左画像５０Ｌ、右画像５０Ｒ）のそれぞれを、カメラ中心で左右に分割する分割処理を行う（ステップＳ２２）。より具体的には、図１４に示すように、画像処理部１４は、画像左右分割処理部１４３により、データ保存部１３に保存された撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して、それぞれのカメラ中心で画像を左右に分割し、それぞれ分割画像としてデータ保存部１３に保存する。ここで、図１５は、本第２実施形態による画像左右分割処理を説明するための概念図である。図１５に示すように、左画像５０Ｌ、右画像５０Ｒのそれぞれを、カメラ中心で左右に分割し、左分割画像（分割された画像）５３Ｌ、５４Ｌ、及び右分割画像（分割された画像）５３Ｒ、５４Ｒとする。
次に、架線金具異常検出装置１は、画像処理部１４により、撮像画像（左画像５０Ｌ、右画像５０Ｒ）のそれぞれを、カメラ中心で左右に分割する分割処理を行う（ステップＳ２２）。より具体的には、図１４に示すように、画像処理部１４は、画像左右分割処理部１４３により、データ保存部１３に保存された撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して、それぞれのカメラ中心で画像を左右に分割し、それぞれ分割画像としてデータ保存部１３に保存する。ここで、図１５は、本第２実施形態による画像左右分割処理を説明するための概念図である。図１５に示すように、左画像５０Ｌ、右画像５０Ｒのそれぞれを、カメラ中心で左右に分割し、左分割画像（分割された画像）５３Ｌ、５４Ｌ、及び右分割画像（分割された画像）５３Ｒ、５４Ｒとする。
【0046】
＜外側画像削除処理＞
次に、架線金具異常検出装置１は、左右分割画像に対して、カメラ中心より車両の外側に当たる部分の一部画像を削除する（ステップＳ２４）。より具体的には、図１４に示すように、画像処理部１４は、外側画像削除処理部１４４により、データ保存部１３に保存された左分割画像、及び右分割画像のうち、カメラ中心より車両の外側に当たる部分の画像を削除し、残した左分割画像及び右分割画像をデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、左右分割画像に対して、カメラ中心より車両の外側に当たる部分の一部画像を削除する（ステップＳ２４）。より具体的には、図１４に示すように、画像処理部１４は、外側画像削除処理部１４４により、データ保存部１３に保存された左分割画像、及び右分割画像のうち、カメラ中心より車両の外側に当たる部分の画像を削除し、残した左分割画像及び右分割画像をデータ保存部１３に保存する。
【0047】
図１６は、本第２実施形態による外側画像削除処理を説明するための概念図である。図１６の上段に示すように、左分割画像（第１の画像から分割された分割画像）５３Ｌ、５４Ｌのうち、カメラ中心より車両の外側に当たる左分割画像（外側に相当する画像）５３Ｌを削除するとともに、右分割画像（第２の画像から分割された分割画像）５３Ｒ、５４Ｒのうち、カメラ中心より車両の外側に当たる右分割画像（外側に相当する画像）５４Ｒを削除する。換言すれば、左画像５０Ｌに対しては右半分の左分割画像５４Ｌを残し、右画像５０Ｒに対しては左半分の右分割画像５３Ｒを残す。
【0048】
一般的に、架線金具は、多くが車両中心付近（図５、図６における架線Ｂの位置）に設置されている。また先述のように、架線金具４２Ａ、４２Ｂの上部は、図６に示すように、画像中心に位置するような形で撮影される。このことから、架線金具４２Ａ、４２Ｂの画像上の上下向きを統一させるため、撮影対象の架線金具が比較的少ない、カメラ中心より車両の外側に当たる部分（架線Ｂが映っていない側）の画像を削除する。これにより、従来、左右のラインセンサカメラ１０Ｌ、１０Ｒで行っていた異常検出を、図１６の下段に示すように、一方のラインセンサカメラ１０Ｒでのみ行うエリアが発生するものの、元画像１枚の画像中における架線金具の向きを完全に統一することが可能となる。
【0049】
図１６の例では、ラインセンサカメラ１０Ｌに対しては、左分割画像５４Ｌ中の架線Ｂ、Ｃの架線金具４２Ｂ１、４２Ｂ２、４２Ｃ１、４２Ｃ２の向きが一致しており、ラインセンサカメラ１０Ｒに対しては、右分割画像５３Ｒ中の架線Ａ、Ｂの架線金具４２Ａ１、４２Ａ２、４２Ｂ１、４２Ｂ２の向きが一致している。そして、この場合、架線Ａの架線金具４２Ａ１、４２Ａ２に対しては、ラインセンサカメラ１０Ｒのみで異常を検出する。また、架線Ｂの架線金具４２Ｂ１、４２Ｂ２に対しては、左右のラインセンサカメラ１０Ｌ、１０Ｒの双方で異常を検出する。また、撮影対象範囲の右端は、この場合、架線が存在しないが、仮に架線が存在する場合には、ラインセンサカメラ１０Ｌのみで異常を検出する。
【0050】
＜トリミング処理＞
次に、架線金具異常検出装置１は、上述した第１実施形態と同様に、画像処理部１４により、左右分割・外側画像削除後の左分割画像５４Ｌ及び右分割画像５３Ｒに対して、撮影対象範囲外トリミングを行う（ステップＳ２６）。より具体的には、図１４に示すように、画像処理部１４は、撮影対象範囲外トリミング部１４１によって、データ保存部１３に保存された外側画像削除された左分割画像及び右分割画像に対して撮影対象範囲外トリミングを行い、左トリミング画像及び右トリミング画像としてデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、上述した第１実施形態と同様に、画像処理部１４により、左右分割・外側画像削除後の左分割画像５４Ｌ及び右分割画像５３Ｒに対して、撮影対象範囲外トリミングを行う（ステップＳ２６）。より具体的には、図１４に示すように、画像処理部１４は、撮影対象範囲外トリミング部１４１によって、データ保存部１３に保存された外側画像削除された左分割画像及び右分割画像に対して撮影対象範囲外トリミングを行い、左トリミング画像及び右トリミング画像としてデータ保存部１３に保存する。
【0051】
図１７は、本第２実施形態による左分割画像５４Ｌ及び右分割画像５３Ｒに対するトリミング範囲を説明するための概念図である。トリミング処理は、基本的に上述した第１実施形態と同様である。第２実施形態によるトリミング範囲は、左分割画像５４Ｌの右端のトリミング範囲（撮影対象範囲外）６４Ｌ、及び右分割画像５３Ｒの左端のトリミング範囲（撮影対象範囲外）６４Ｒの２か所となる。
【0052】
図１８は、本第２実施形態におけるトリミング後の左トリミング画像５５Ｌ及び右トリミング画像５５Ｒを示す概念図である。左分割画像（第１の分割画像）５４Ｌ及び右分割画像（第２の分割画像）５３Ｒに対してトリミングすることにより、図１８に示すように、撮影対象範囲外の、異常検出対象外である架線Ｃの一部画像を切り取ることができる。
【0053】
＜画像反転処理＞
次に、架線金具異常検出装置１は、上述した第１実施形態と同様に、画像処理部１４により、トリミング後の右トリミング画像５５Ｒの左右反転を行う（ステップＳ２８）。より具体的には、図１４に示すように、画像処理部１４は、画像左右反転処理部１４２によって、データ保存部１３に保存されたトリミング後の右トリミング画像に対して左右反転を行い、右反転画像としてデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、上述した第１実施形態と同様に、画像処理部１４により、トリミング後の右トリミング画像５５Ｒの左右反転を行う（ステップＳ２８）。より具体的には、図１４に示すように、画像処理部１４は、画像左右反転処理部１４２によって、データ保存部１３に保存されたトリミング後の右トリミング画像に対して左右反転を行い、右反転画像としてデータ保存部１３に保存する。
【0054】
図１９は、本第２実施形態において、トリミング後の左トリミング画像５５Ｌと画像反転後の右反転画像５６Ｒを示す概念図である。図１９の上段には、左側のラインセンサカメラ１０Ｌの撮影画像から得られたトリミング後の左トリミング画像５５Ｌを示しており、同図の下段には、トリミング・反転処理済みの右反転画像５６Ｒを示している。本第２実施形態においても、トリミング後の右トリミング画像５５Ｒに対して左右反転を行うことで、図１９に示すように、左トリミング画像５５Ｌにおける架線Ｂの架線金具４２Ｂ１、４２Ｂ２の向きと、右反転画像５６Ｒにおける架線Ａの架線金具４２Ａ１、４２Ａ２及び架線Ｂの架線金具４２Ｂ１、４２Ｂ２との向きとが統一され、機械学習の精度も向上させることができる。
【0055】
＜加工済み画像提供処理＞
次に、架線金具異常検出装置１は、トリミング後の左トリミング画像５５Ｌと、トリミング・反転処理済みの右反転画像５６Ｒとを、加工済み画像として図示しない機械学習システム（演算装置）に供給する（ステップＳ３０）。図示しない機械学習システムでは、加工済み画像であるトリミング後の左トリミング画像５５Ｌと、トリミング・反転処理済みの右反転画像５６Ｒとに基づいて、機械学習を行うとともに、架線金具の異常（金具の歪み、ネジの有無等）を検出する。
次に、架線金具異常検出装置１は、トリミング後の左トリミング画像５５Ｌと、トリミング・反転処理済みの右反転画像５６Ｒとを、加工済み画像として図示しない機械学習システム（演算装置）に供給する（ステップＳ３０）。図示しない機械学習システムでは、加工済み画像であるトリミング後の左トリミング画像５５Ｌと、トリミング・反転処理済みの右反転画像５６Ｒとに基づいて、機械学習を行うとともに、架線金具の異常（金具の歪み、ネジの有無等）を検出する。
【0056】
上述した第２実施形態によれば、第１実施形態と比較して、架線金具の向きを完全に統一することができ、機械学習の精度をさらに向上させることができる。また、正方形へのリサイズ時における架線金具情報の損失を緩和することができる。また、外側画像削除処理により、不要なデータをさらに削減することができ、学習・推論に対する処理をより軽減することができる。
【0057】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
架線金具異常検出装置１の構成は、図１と同様であるので説明を省略する。図２０は、本第３実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。また、図２１は、本第３実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。なお、図１４に対応する部分には同一の符号を付けて説明を省略する。
次に、本発明の第３実施形態について説明する。
架線金具異常検出装置１の構成は、図１と同様であるので説明を省略する。図２０は、本第３実施形態による架線金具異常検出装置１の動作を説明するためのフローチャートである。また、図２１は、本第３実施形態による架線金具異常検出装置１の動作を説明するためのデータ移行を示す概念図である。なお、図１４に対応する部分には同一の符号を付けて説明を省略する。
【0058】
本第３実施形態では、撮影開始から撮影終了までにラインセンサカメラで所定の時間間隔で撮影した複数の画像に対して（画像枚数分）、ステップＳ４０～Ｓ４８の処理を繰り返す。
【0059】
＜撮影処理＞
まず、架線金具異常検出装置１は、車両走行中に、ラインセンサカメラ１０Ｌ、１０Ｒによって架線金具の撮影を行う（ステップＳ４０）。より具体的には、ラインセンサカメラ１０Ｌ、１０Ｒが撮像した撮像画像は、図２１に示すように、データ保存部１３に保存される。撮像画像は、前述した図６に示すように、ラインセンサカメラ１０Ｌで撮影された左画像５０Ｌ、及びラインセンサカメラ１０Ｒで撮影された右画像５０Ｒとなる。
まず、架線金具異常検出装置１は、車両走行中に、ラインセンサカメラ１０Ｌ、１０Ｒによって架線金具の撮影を行う（ステップＳ４０）。より具体的には、ラインセンサカメラ１０Ｌ、１０Ｒが撮像した撮像画像は、図２１に示すように、データ保存部１３に保存される。撮像画像は、前述した図６に示すように、ラインセンサカメラ１０Ｌで撮影された左画像５０Ｌ、及びラインセンサカメラ１０Ｒで撮影された右画像５０Ｒとなる。
【0060】
＜画像左右分割処理＞
次に、架線金具異常検出装置１は、本第２実施形態と同様に、画像処理部１４により、撮像画像（左画像５０Ｌ、右画像５０Ｒ）のそれぞれを、カメラ中心で左右に分割する分割処理を行う（ステップＳ４２）。より具体的には、図２１に示すように、画像処理部１４は、画像左右分割処理部１４３により、データ保存部１３に保存された撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して、それぞれのカメラ中心で画像を左右に分割し、左右分割画像としてデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、本第２実施形態と同様に、画像処理部１４により、撮像画像（左画像５０Ｌ、右画像５０Ｒ）のそれぞれを、カメラ中心で左右に分割する分割処理を行う（ステップＳ４２）。より具体的には、図２１に示すように、画像処理部１４は、画像左右分割処理部１４３により、データ保存部１３に保存された撮像画像（左画像５０Ｌ、右画像５０Ｒ）に対して、それぞれのカメラ中心で画像を左右に分割し、左右分割画像としてデータ保存部１３に保存する。
【0061】
図２２は、本第３実施形態による画像左右分割処理を説明するための概念図である。図２２に示すように、左画像５０Ｌ、右画像５０Ｒのそれぞれを、カメラ中心で左右に分割し、左分割画像（第１の左分割画像、第１の右分割画像）５３Ｌ、５４Ｌ、及び右分割画像（第２の左分割画像、第２の右分割画像）５３Ｒ、５４Ｒとする。
【0062】
＜トリミング処理＞
次に、架線金具異常検出装置１は、上述した第１、第２実施形態と同様に、画像処理部１４により、左右分割後の左分割画像５３Ｌ、５４Ｌ、及び右分割画像５３Ｒ、５４Ｒに対して、撮影対象範囲外トリミングを行う（ステップＳ４４）。より具体的には、図２１に示すように、画像処理部１４は、撮影対象範囲外トリミング部１４１によって、データ保存部１３に保存された左分割画像と、右分割画像とに対して撮影対象範囲外トリミングを行い、トリミング後のトリミング画像をデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、上述した第１、第２実施形態と同様に、画像処理部１４により、左右分割後の左分割画像５３Ｌ、５４Ｌ、及び右分割画像５３Ｒ、５４Ｒに対して、撮影対象範囲外トリミングを行う（ステップＳ４４）。より具体的には、図２１に示すように、画像処理部１４は、撮影対象範囲外トリミング部１４１によって、データ保存部１３に保存された左分割画像と、右分割画像とに対して撮影対象範囲外トリミングを行い、トリミング後のトリミング画像をデータ保存部１３に保存する。
【0063】
図２３は、本第３実施形態による左分割画像５３Ｌ、５４Ｌ及び右分割画像５３Ｒ、５４Ｒに対するトリミング範囲を説明するための概念図である。トリミング処理は、基本的に上述した第１実施形態と同様である。第３実施形態のトリミング処理によるトリミング範囲は、左分割画像５３Ｌの左端のトリミング範囲６３Ｌ、左分割画像５４Ｌの右端のトリミング範囲６４Ｌ、また、右分割画像５３Ｒの左端のトリミング範囲６３Ｒ、右分割画像５４Ｒの右端のトリミング範囲６４Ｒの合計４か所となる。
【0064】
図２４は、本第３実施形態におけるトリミング後の左トリミング画像５７Ｌ、５８Ｌ、及び右トリミング画像５７Ｒ、５８Ｒを示す概念図である。図２４に示すように、左分割画像５３Ｌの左端と左分割画像５４Ｌの右端、及び右分割画像５３Ｒの左端と右分割画像５４Ｒの右端をトリミングしたことにより、撮影対象範囲外の、異常検出対象外である架線Ｃの一部画像を切り取ることができる。
【0065】
＜画像反転処理＞
次に、架線金具異常検出装置１は、上述した第１、第２実施形態と同様に、画像処理部１４により、分割・トリミング後の一部の画像、すなわち左トリミング画像５７Ｌと右トリミング画像５７Ｒとに対して左右反転を行う（ステップＳ２８）。より具体的には、図２１に示すように、画像処理部１４は、画像左右反転処理部１４２によって、データ保存部１３に保存された分割・トリミング後の左トリミング画像と右トリミング画像とに対して左右反転を行い、それぞれ左トリミング画像と、右トリミング画像としてデータ保存部１３に保存する。
次に、架線金具異常検出装置１は、上述した第１、第２実施形態と同様に、画像処理部１４により、分割・トリミング後の一部の画像、すなわち左トリミング画像５７Ｌと右トリミング画像５７Ｒとに対して左右反転を行う（ステップＳ２８）。より具体的には、図２１に示すように、画像処理部１４は、画像左右反転処理部１４２によって、データ保存部１３に保存された分割・トリミング後の左トリミング画像と右トリミング画像とに対して左右反転を行い、それぞれ左トリミング画像と、右トリミング画像としてデータ保存部１３に保存する。
【0066】
図２５は、本第３実施形態において、左トリミング反転画像５９Ｌ、左トリミング画像５８Ｌ及び右トリミング反転画像５９Ｒ、右トリミング画像５８Ｒを示す概念図である。図２５の上段には、トリミング後の左トリミング画像５８Ｌと、トリミング後にさらに反転処理した左トリミング反転画像５９Ｌとを示し、トリミング後の右トリミング画像５８Ｒと、トリミング後にさらに反転処理した右トリミング反転画像５９Ｒとを示している。本第３実施形態においても、図２５に示すように、左トリミング反転画像５９Ｌにおける架線Ａの架線金具４２Ａ１、４２Ａ２の向きと、左トリミング画像５８Ｌにおける架線Ｂの架線金具４２Ｂ１、４２Ｂ２の向きと、右トリミング反転画像５９Ｒにおける架線Ａの架線金具４２Ａ１、４２Ａ２の向きと、架線Ｂの架線金具４２Ｂ１、４２Ｂ２の向きとが全て統一されるので、機械学習の精度も向上させることができる。なお、図２５の右トリミング画像５８Ｒのように、画像内に検出対象となる架線金具が存在しない場合、学習データセットに使用しない。
【0067】
＜加工済み画像提供処理＞
次に、架線金具異常検出装置１は、左トリミング反転画像５９Ｌ、左トリミング画像５８Ｌと、右トリミング反転画像５９Ｒ、右トリミング画像５８Ｒとを、加工済み画像として図示しない機械学習システム（演算装置）に供給する（ステップＳ４８）。図示しない機械学習システムでは、加工済み画像である左トリミング反転画像５９Ｌと左トリミング画像５８Ｌ、及び右トリミング反転画像５９Ｒに基づいて、機械学習を行うとともに、架線金具の異常（金具の歪み、ネジの有無等）を検出する。
次に、架線金具異常検出装置１は、左トリミング反転画像５９Ｌ、左トリミング画像５８Ｌと、右トリミング反転画像５９Ｒ、右トリミング画像５８Ｒとを、加工済み画像として図示しない機械学習システム（演算装置）に供給する（ステップＳ４８）。図示しない機械学習システムでは、加工済み画像である左トリミング反転画像５９Ｌと左トリミング画像５８Ｌ、及び右トリミング反転画像５９Ｒに基づいて、機械学習を行うとともに、架線金具の異常（金具の歪み、ネジの有無等）を検出する。
【0068】
このように構成される本実施形態による架線金具異常検出装置及び架線金具異常検出方法によれば、架線金具の異常の検出精度を向上させることが可能となる。また、トリミングによりデータ量を削減することにより、機械学習・推論処理の負担を軽減することが可能となる。さらに、ラインセンサカメラ１０Ｌ、１０Ｒに魚眼レンズを用いることにより、設置条件に左右されにくい機器構成が可能となる。
【0069】
なお、上述した第１乃至第３実施形態では、右画像を反転するとしたが、これに限らず、カメラ中心に対して、架線金具の向きが一致するように、いずれか一方の画像を反転するようにしてもよい。
【0070】
これ以外にも、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。
【符号の説明】
【0071】
１ 架線金具異常検出装置
２ 鉄道車両
２１ 車両屋根
１０Ｌ、１０Ｒ ラインセンサカメラ
１１、１１、１１ 照明
１２ 車載ＰＣ
１３ データ保存部
１４ 画像処理部
１４１ 撮影対象範囲外トリミング部
１４２ 画像左右反転処理部
１４３ 画像左右分割処理部
１４４ 外側画像削除処理部
Ａ～Ｃ 架線
４０Ａ～４０Ｃ トロリ線
４１Ａ～４１Ｃ 吊架線
４２Ａ～４２Ｃ 架線金具
４２Ａ１、４２Ａ２、４２Ｂ１、４２Ｂ２、４２Ｃ１、４２Ｃ２ 架線金具
５１Ｌ 左トリミング画像
５１Ｒ 右トリミング画像
５２Ｒ 右反転画像
５３Ｌ、５４Ｌ 左分割画像
５３Ｒ、５４Ｒ 右分割画像
２ 鉄道車両
２１ 車両屋根
１０Ｌ、１０Ｒ ラインセンサカメラ
１１、１１、１１ 照明
１２ 車載ＰＣ
１３ データ保存部
１４ 画像処理部
１４１ 撮影対象範囲外トリミング部
１４２ 画像左右反転処理部
１４３ 画像左右分割処理部
１４４ 外側画像削除処理部
Ａ～Ｃ 架線
４０Ａ～４０Ｃ トロリ線
４１Ａ～４１Ｃ 吊架線
４２Ａ～４２Ｃ 架線金具
４２Ａ１、４２Ａ２、４２Ｂ１、４２Ｂ２、４２Ｃ１、４２Ｃ２ 架線金具
５１Ｌ 左トリミング画像
５１Ｒ 右トリミング画像
５２Ｒ 右反転画像
５３Ｌ、５４Ｌ 左分割画像
５３Ｒ、５４Ｒ 右分割画像
【要約】
【課題】架線金具の異常の検出精度を向上させるためのデータセットを提供することを可能とした線条金具異常検出装置及び線条金具異常検出方法を提供する。
【解決手段】、車両屋根に配設された、魚眼レンズを備えるラインセンサカメラ１０Ｌ、１０Ｒと、ラインセンサカメラ１０Ｌによって撮影された画像５０Ｌとラインセンサカメラ１０Ｒによって撮影された画像５０Ｒとから撮影対象範囲外をトリミングするトリミング部１４１と、ラインセンサカメラ１０Ｌ、１０Ｒの中心位置に対して、撮影された架線金具の向きが一致するように、トリミングされた画像５０Ｌとトリミングされた画像５０Ｒとのうち、いずれか一方の画像を左右反転する画像左右反転処理部１４２とを備え、トリミングされた画像のうち、左右反転されなかった画像と、左右反転された反転画像とを、架線金具の異常を検出するための加工済み画像として提供する。
【選択図】図１
【解決手段】、車両屋根に配設された、魚眼レンズを備えるラインセンサカメラ１０Ｌ、１０Ｒと、ラインセンサカメラ１０Ｌによって撮影された画像５０Ｌとラインセンサカメラ１０Ｒによって撮影された画像５０Ｒとから撮影対象範囲外をトリミングするトリミング部１４１と、ラインセンサカメラ１０Ｌ、１０Ｒの中心位置に対して、撮影された架線金具の向きが一致するように、トリミングされた画像５０Ｌとトリミングされた画像５０Ｒとのうち、いずれか一方の画像を左右反転する画像左右反転処理部１４２とを備え、トリミングされた画像のうち、左右反転されなかった画像と、左右反転された反転画像とを、架線金具の異常を検出するための加工済み画像として提供する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】