特開 2024-19881 軌道材料・架線材料の異常検出方法及び異常検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019881

(43)【公開日】2024-02-14

(54)【発明の名称】軌道材料・架線材料の異常検出方法及び異常検出システム

(51)【国際特許分類】

   B61K 9/08 20060101AFI20240206BHJP

   G06T 7/00 20170101ALI20240206BHJP

   G01N 21/88 20060101ALI20240206BHJP

【ＦＩ】

B61K9/08

G06T7/00 350C

G01N21/88 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022122627

(22)【出願日】2022-08-01

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＩＮＤＯＷＳ

(71)【出願人】

【識別番号】594183831

【氏名又は名称】伊岳商事株式会社

(71)【出願人】

【識別番号】504203572

【氏名又は名称】国立大学法人茨城大学

(74)【代理人】

【識別番号】100081558

【弁理士】

【氏名又は名称】齋藤 晴男

(74)【代理人】

【識別番号】100154287

【弁理士】

【氏名又は名称】齋藤 貴広

(72)【発明者】

【氏名】新納 浩幸

(72)【発明者】

【氏名】上尾 征

(72)【発明者】

【氏名】小栗 寛大

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051AC04

2G051AC15

2G051CA04

2G051EB10

2G051ED04

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096EA35

5L096HA11

(57)【要約】

【課題】比較的低コストにて導入でき、画像内の対象物が複数で、各対象物の形状も多様である場合にも対応できる、軌道材料・架線材料の異常検出システム及び方法を提供することを課題とする。
【解決手段】カメラ１と、カメラ１により撮影された動画を解析して対象物の異常を検出する解析装置２とから成る。解析装置２は、カメラ１により撮影された動画を読み込む画像読み込み手段３と、読み込んだ動画を静止画に変換する静止画への変換手段４と、前記静止画から対象物を含む領域を切り出す領域切り出し手段５と、前記領域切り出し手段５により切り出された領域画像からディープラーニングを用いた手法により対象物体を検出する物体検出手段６と、物体検出手段６により検出された物体検出画像からディープラーニングを用いた手法により異常値を検出する異常値検出手段７とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の先頭車両又は最後尾車両内に搭載したカメラにより、運転中に対象物を含む動画を撮影する動画撮影ステップと、
前記動画を静止画に変換する静止画への変換ステップと、
前記静止画から対象物を含む領域を切り出す領域切り出しステップと、
切り出された上記領域画像からディープラーニングを用いた手法により対象物体を検出する物体検出ステップと、
物体検出画像からディープラーニングを用いた手法により異常値を検出する異常値検出ステップとから成ることを特徴とする軌道材料・架線材料の異常検出方法。

【請求項2】

前記領域切り出しステップにおける前記対象物を含む領域の切り出しは、対象物存在の蓋然性を基にして行う、請求項１に記載の軌道材料・架線材料の異常検出方法。

【請求項3】

前記領域切り出しステップにおける前記対象物を含む領域の切り出しは、入力画像の下半部、あるいは、上半部から行う、請求項２に記載の軌道材料・架線材料の異常検出方法。

【請求項4】

前記物体検出は、ＹＯＬＯＸの手法を用いて行う、請求項１又は２に記載の軌道材料・架線材料の異常検出方法。

【請求項5】

前記物体検出画像からの異常値検出は、ＣＢｉＧＡＮの手法を用いて行う、請求項４に記載の軌道材料・架線材料の異常検出方法。

【請求項6】

先頭車両又は最後尾車両内に搭載されて、運転中に対象物を含む動画を撮影するカメラと、前記カメラにより撮影された動画を解析して対象物の異常を検出する解析装置とから成る軌道材料・架線材料の異常検出システムであって、
前記解析装置は、前記カメラにより撮影された動画を読み込む画像読み込み手段と、読み込んだ前記動画を静止画に変換する静止画への変換手段と、
前記静止画から対象物を含む領域を切り出す領域切り出し手段と、
前記領域切り出し手段により切り出された領域画像からディープラーニングを用いた手法により対象物体を検出する物体検出手段と、
前記物体検出手段により検出された物体検出画像からディープラーニングを用いた手法により異常値を検出する異常値検出手段と、
を含むことを特徴とする軌道材料・架線材料の異常検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、軌道材料・架線材料の異常検出方法及び異常検出システムに関するものであり、より詳細には、レール締結用のＰＣボルト、犬釘、クリップ、板バネ、フックボルト、マクラギ、レール継目ボルト等のレール周りの軌道材料、並びに、架線吊下ハンガーや架線をビームに引き付ける曲線引き装置等の架線材料・架線材料、並びに、架線へのビニール等の異物の付着等の異常を検出するための方法及びシステムに関するものである。

【背景技術】

【0002】

電車が線路上を安全に走行するためには、走行線路内における異常箇所の有無の点検作業が不可欠である。従来、このレール周りの軌道材料や架線材料の点検作業は専ら人手により（目視により）行われていたが、この作業を自動化する動きがある。現在進められているのは、特殊なセンサーを用いたり、専用車両により特殊な箇所を撮影したり、対象物自体に印を入れる等の取り組みであるが、いずれの方法も実施コストが高く、手軽に実施できる作業ではなく、しかも、点検対象の路線を限定しなくてはならないという問題がある。また、画像を取得するためのカメラやセンサー等の機器が車外の軌道近くに設置されるため、それらの機器が損傷しやすいという問題もある。

【0003】

また、動画を撮影し、そこから異常検知を行うシステムは数多く存在するが、それらは対象物が１つで、しかも対象物の形状や大きさ、あるいは、画像内の位置などが容易に同定できる場合に限られており、画像内の対象物が複数で、各対象物の形状も多様である場合には、実質的に対応できない。更に、対象物であるレール周りの軌道材料及び架線材料の撮影は野外での撮影となるため、対象物の背景は様々なものとなる。これらの点から、レール周りの軌道材料及び架線材料の異常検出のために、従来の手法をそのまま適用することはできない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１８４７６３号公報

【特許文献2】特開２０２２－２５２０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の軌道材料・架線材料の画像処理による異常検出方法には、上述したように多くの問題があった。そこで本発明は、それらの問題のない、即ち、路線が限定されることなく比較的低コストにて導入でき、画像内の対象物が複数で、各対象物の形状も多様である場合にも対応できる、軌道材料・架線材料の異常検出方法及び異常検出システムを提供することを課題とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための請求項１に記載の発明は、
車両の先頭車両又は最後尾車両内に搭載したカメラにより、運転中に対象物を含む動画を撮影する動画撮影ステップと、
前記動画を静止画に変換する静止画への変換ステップと、
前記静止画から対象物を含む領域を切り出す領域切り出しステップと、
切り出された上記領域画像からディープラーニングを用いた手法により対象物体を検出する物体検出ステップと、
物体検出画像からディープラーニングを用いた手法により異常値を検出する異常値検出ステップとから成ることを特徴とする軌道材料・架線材料の異常検出方法である。

【0007】

一実施形態においては、前記領域切り出しステップにおける前記対象物を含む領域の切り出しは、対象物存在の蓋然性を基にして行う。例えば、前記領域切り出しステップにおける前記対象物を含む領域の切り出しは、入力画像の下半部、あるいは、上半部から行う。

【0008】

一実施形態においては、前記物体検出は、ＹＯＬＯＸの手法を用いて行う。また、前記物体検出画像からの異常値検出は、ＣＢｉＧＡＮの手法を用いて行う。

【0009】

また、上記課題を解決するための請求項６に記載の発明は、
先頭車両又は最後尾車両内に搭載されて、運転中に対象物を含む動画を撮影するカメラと、前記カメラにより撮影された動画を解析して対象物の異常を検出する解析装置とから成る軌道材料・架線材料の異常検出システムであって、
前記解析装置は、前記カメラにより撮影された動画を読み込む画像読み込み手段と、読み込んだ前記動画を静止画に変換する静止画への変換手段と、
前記静止画から対象物を含む領域を切り出す領域切り出し手段と、
前記領域切り出し手段により切り出された領域画像からディープラーニングを用いた手法により対象物体を検出する物体検出手段と、
前記物体検出手段により検出された物体検出画像からディープラーニングを用いた手法により異常値を検出する異常値検出手段と、
を含むことを特徴とする軌道材料・架線材料の異常検出システムである。

【発明の効果】

【0010】

本発明は上述したとおりであって、本発明に係る方法及びシステムによれば、走行中の一般車両の運転席又は車掌席から走行中に撮影した動画を用い、その動画から取り出した静止画から対象物を含む領域を、対象物存在の蓋然性を基に切り出した後に、ディープラーニングを用いた手法によりボルトや犬釘等の対象物を検出する物体検出画像処理をするため、無駄なく効率よく画像処理して異常検出することができ、低コストにての実施が可能であり、また、撮影機器が車内にあるため、車外設置の場合のような機器損傷のおそれがないという効果がある。

【図面の簡単な説明】

【0011】

【図1】本発明に係る軌道材料・架線材料の異常検出システムの構成を示す機能ブロック図である。

【図2】本発明に係る軌道材料・架線材料の異常検出方法の流れを示すフロー図である。

【図3】本発明に係る軌道材料・架線材料の異常検出方法における静止画への変換ステップを示す図である。

【図4】本発明に係る軌道材料・架線材料の異常検出方法における領域切り出しステップを示す図である。

【図5】本発明に係る軌道材料・架線材料の異常検出方法における物体検出ステップを示す図である。

【図6】本発明に係る軌道材料・架線材料の異常検出方法における異常値検出ステップを示す図である。

【図7】本発明に係る軌道材料・架線材料の異常検出方法において異常値が検出された画像の例を示す図である。

【発明を実施するための形態】

【0012】

以下に、本発明を実施するための形態について、添付図面を参照しつつ詳細に説明する。図１は本発明に係る軌道材料・架線材料の異常検出システムの構成を示す機能ブロック図であり、図２は、このシステムを用いて行う軌道材料・架線材料の異常検出方法の流れを示すフロー図である。

【0013】

図１に示されるように、本発明に係る軌道材料・架線材料の異常検出システムは、先頭車両又は最後尾車両内に搭載されて、運転中に対象物を含む動画を撮影するカメラ１と、カメラ１により撮影された動画を解析して対象物の異常を検出する解析装置２とから成る。ここにおける車両は、上記従来技術において用いられているような、特殊センサーを設置した専用車両ではなく、ごく一般的な車両であり、また、対象路線の制約もないので、本発明に係るシステム及び方法は、低コストにて手軽に実施し得るものとなる。

【0014】

解析装置２は、カメラ１により撮影された動画を読み込む画像読み込み手段３と、読み込んだ前記動画を静止画に変換する静止画への変換手段４と、前記静止画から対象物を含む領域を切り出す領域切り出し手段５と、領域切り出し手段５により切り出された領域画像からディープラーニングを用いた手法により対象物体を検出する物体検出手段６と、物体検出手段５により検出された物体検出画像からディープラーニングを用いた手法により異常値を検出する異常値検出手段７とを含んで構成される。

【0015】

また、上記システムを用いて行う本発明に係る軌道材料・架線材料の異常検出方法は、図２に示されるように、車両の先頭車両又は最後尾車両内に搭載したカメラ１により、運転中に対象個所の動画撮影を行う動画撮影ステップ（Ｓ１１）と、画像読み込み手段３により読み込んだ動画を静止画への変換手段４によって静止画に変換する静止画への変換ステップ（Ｓ１２）と、領域切り出し手段５により、前記静止画から対象物を含む領域を切り出す領域切り出しステップ（Ｓ１３）と、物体検出手段６において、ディープラーニングを用いた手法により、対象物を検出する物体検出ステップ（Ｓ１４）と、異常値検出手段７により、物体検出画像から異常値を検出する異常値検出ステップ（Ｓ１５）とから成る。

【0016】

以下に、各ステップの詳細について、ステップごとに説明する。なお、以下の説明は、対象物がＰＣボルトの場合についてであるが、それ以外の対象物の場合もそれに準じる。

【0017】

動画撮影ステップ（Ｓ１１）
本発明に係る方法においては、対象個所の動画撮影を、一般的車両の先頭車両又は最後尾車両内に搭載したカメラ１により、走行中に行う。本発明の場合の撮影対象は、レール締結用のＰＣボルト、犬釘及びレール継目ボルト等のレール周りの軌道材料、及び、架線吊下ハンガーや架線をビームに引き付ける曲線引き装置等の架線材料等の架線材料であるが、動画中には、軌道や架線の他に、鉄柱、柵、電車、周辺の建物、樹木、空等が含まれる（図３参照）。

【0018】

静止画への変換ステップ（Ｓ１２）
次いで、静止画への変換手段４により、画像読み込み手段３によって読み込まれた車両内より撮影した動画から、静止画を取り出す処理を行う（図３参照）。動画からの静止画の取り出しには、一般的な方法（例えば、Windows １０の「フォト」）を用いることができ、それを利用して動画を静止画集に変換する。

【0019】

領域切り出しステップ（Ｓ１３）
このステップは、対象物の検出に先立ち、領域切り出し手段５により、静止画から対象物を含む領域を切り出すステップである（図４参照）。なお、ここにおける領域切り出しは、後述する物体検出において行われるバウンディングボックス（画像や映像の中の物体を囲む長方形の枠）の設定ではなく、バウンディングボックスの設定を効率よく実行するために、その前処理として行われる、対象物を含む領域の切り出し処理である。

【0020】

上記ボルトを含む領域の切り出しは、対象物存在の蓋然性を基にして行う。即ち、通常、画像内から対象物を検出する場合、入力はその画像全体であり、原理的には、その画像内のすべての箇所から対象物を探す処理を行うことになる。しかるに、例えば、対象物がマクラギのボルトである場合は、それの画像内の位置はおおよそ推測できる。即ち、それは画像の下部に位置し、画像の上部に位置することはない（同様に、架線材料の場合は画像の上部に位置し、画像の下部に位置することはない。）。

【0021】

この知識を利用すると、画像上部でボルトを探す必要がなくなるため、処理時間を軽減できると共に、画像上部でボルトを誤検出することも避けられる。つまり、ボルトを含む領域を切り出しておき、その切り出した画像内においてボルトを探すようにすれば、処理時間の軽減短縮や検出精度の向上が可能となるのである。更に、検出対象の物体が画像の大きさに比べて小さい場合、全体の画像を入力すると、その対象物を検出できないこともあるが、対象物を含む領域を切り出し、入力画像の大きさを小さくしておけば、画像に対する対象物の大きさの割合が増えるため、検出が容易となるという利点もある。

【0022】

この領域の切り出し操作は手作業で行うこともできるが、切り出し部分を学習させて自動的に処理させることも可能である。更に、検出対象物が複数ある場合は、対象物間の位置関係も学習させることができ、その場合は、より正確な領域切り出しが可能となる。

【0023】

物体検出ステップ（Ｓ１４）
次いで、物体検出手段６により、領域切り出し手段５によって切り出された領域画像からディープラーニングを用いた手法により対象物体を検出する処理が行われる。物体検出のための手法としては、Ｒ－ＣＮＮやＳＳＤ等のディープラーニングを用いた手法が知られているが、ここで用いる手法としては、最新の物体検出手法であり、高精度でしかも高速な処理が可能なＹＯＬＯＸを用いることが推奨される。

【0024】

ここでＹＯＬＯＸを推奨するのは、処理速度と検出精度において従来の物体検出の手法よりも優れているからである。

【0025】

画像内に上記のような複数の物が含まれ、その中の対象物の異常判定を行う場合には、ディープラーニングの活用が必須である。また、ディープラーニングによる異常判定では、異常データがなくても判定モデルの構築が可能という利点があり、更に、訓練データが少なくても判定モデルを構築できる等のメリットもある。なお、Ｆａｓｔｅｒ Ｒ－ＣＮＮは、物体検出のアルゴリズム自体に工夫を入れやすいため、並行して利用することができる。

【0026】

本発明者は、ＹＯＬＯＸの利用に際し、以下を基にコードを作成した。
https://github.com/Megvii-BaseDetection/YOLOX
学習データとしては、所定区間において撮影した１１個の動画のすべてを静止画集に変換し、ランダムに取り出した静止画像５３０枚に対して バウンディングボックスの設定および各バウンディングボックスに対するアノテーションを行い、５３０枚中４７７枚を訓練データ、５３枚を検証用データとして、ＹＯＬＯＸ－ｓのモデルを作成した（図５参照）。

【0027】

異常値検出ステップ（Ｓ１５）
続いて異常値検出手段７において、物体検出手段６により検出された物体検出画像から、ディープラーニングを用いた手法により異常値を検出する処理が行われる。異常値検出の手法としては、ＣＢｉＧＡＮを利用することができる。ＣＢｉＧＡＮは、ＤＣＧＡＮ（畳み込みニューラルネットワークを取り入れてＧＡＮ〔敵対的生成ネットワーク〕を改良したアルゴリズム）を利用した手法であって、ＤＣＧＡＮよりも高性能での処理を可能にするものである。ＧＢｉＧＡＮのモデル定義や学習のためのプログラムは、以下のサイトで公開されているものを利用することができる。
https://github.com/ayukat1016/gan_sample

【0028】

なお、物体検出の出力は検出対象を囲う長方形であるので、異常検出にＣＢｉＧＡＮを利用する場合は、事前にこの物体検出の出力を正方形にしておく必要がある（ＣＢｉＧＡＮの入力は一般に正方形である。）。長方形である物体検出の出力を正方形にするには、長方形の長辺を正方形の一辺の長さと考え、長辺側の両側に余白を設けて、２つの余白の短辺と長方形の短辺の和が長方形の長辺、即ち、正方形の一辺の長さに等しくなるようにすればよい。この２つの余白部分は背景であって考慮する必要がないので、黒塗りにして、余計なノイズが入らないようにする。

【0029】

本発明者は、所定区間内の６３４８枚の正常データについて、上記ＹＯＬＯＸ－ｓのモデルで物体検出を行い、信頼度が０．９９以上の１０４６３枚のボルト部分の画像から、ＣＢｉＧＡＮのモデルの学習を行った（図６参照）。作成したモデルを利用して所定区間内の学習に利用していない正常データ（２０９２枚）と異常データ(２７４枚）に対して異常度の平均値を求めると、それぞれ３２５．４と５７３．３となった。ここから正常データの平均値の５７３．３／３２５．４＝１．７６２を異常と判定する閾値と設定した。

【0030】

更に、ＣＢｉＧＡＮにより学習した入力画像には、背景にノイズがあるために再構成が難しいという問題がある。ボルトを例にとると、ボルト部分の周りにレールやバラストが存在しているため、その部分の配置が違っていたりすると、正常画像でも異常度が増加してしまうという問題が起こるのである。そのため、異常検知を行う前に、画像のセグメンテーションにより、検出したい対象部分だけを切り取る処理を行う。また、単純に学習データを増やすことも有効である。なお、遮蔽物やトンネル内等においては、影ができてボルト部分がよく見えなくなっていることがあるが、そうした画像は省くか、明度調整を行うことで対処する。

【0031】

＜実験例＞
実験例として、所定区間において電車内からＧＯＰＲＯで撮影した動画を用い、本発明の評価を行った。この動画を用い、上記静止画への変換ステップ（Ｓ１２）、領域切り出しステップ（Ｓ１３）、物体検出ステップ（Ｓ１４）を経て構築したＹＯＬＯＸ－ｓのモデルにより、３８７２枚のボルト部分の画像を検出した。この３８７２枚の画像に対して構築したＣＢｉＧＡＮのモデルで各画像の異常度を測ったところ、平均の異常度は９２３．８となった。これに上記閾値の１．７６２を乗じると、１６２８となり、異常度が１６２８以上の画像は３８７２枚中、８５枚存在した。これは、全体の２％に相当する。

【0032】

図７は、異常度の高い上位１０枚の画像を示すもので、画像の下の数値が異常度を示している。このうち、例えば、２１１７や２０８３は、通常のボルト画像とは明らかに異なっており、本発明に係る方法による異常検知の有効性を確認することができた。

【産業上の利用可能性】

【0033】

本発明は上述したとおりであって、本発明に係る方法によれば、走行中の一般車両の運転席又は車掌席から走行中に撮影した動画を用い、その動画から取り出した静止画から対象物を含む領域を対象物存在の蓋然性を基に切り出した後に、ディープラーニングを用いた手法によりボルトや犬釘を検出する物体検出画像処理をするため、無駄なく効率よく画像処理して異常検出することができ、低コストにての実施が可能であり、また、撮影機器が車内にあるため、車外設置の場合のような機器損傷のおそれがないという効果があり、その産業上の利用可能性は大である。

【符号の説明】

【0034】

１ カメラ
２ 解析装置
３ 画像読み込み手段
４ 静止画への変換手段
５ 領域切り出し手段
６ 物体検出手段
７ 異常値検出手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】