知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社明電舎の特許一覧 ▶ 公益財団法人鉄道総合技術研究所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134248
(43)【公開日】2024-10-03
(54)【発明の名称】架線金具異常検出装置および方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240926BHJP
B60M 1/28 20060101ALI20240926BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 650Z
B60M1/28 R
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023044452
(22)【出願日】2023-03-20
(71)【出願人】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(71)【出願人】
【識別番号】000173784
【氏名又は名称】公益財団法人鉄道総合技術研究所
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】野田 祥希
(72)【発明者】
【氏名】川畑 匠朗
(72)【発明者】
【氏名】松村 周
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096KA04
(57)【要約】
【課題】高精度な異常検出を安価に安定して行うことが可能な技術を提供すること。
【解決手段】正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部１３２と、検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部１３１と、を備え、前記データ処理部１３１では、入力画像と、この入力画像から前記学習処理部１３２で学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする。
【選択図】図２
【解決手段】正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部１３２と、検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部１３１と、を備え、前記データ処理部１３１では、入力画像と、この入力画像から前記学習処理部１３２で学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする。
【選択図】図２
【特許請求の範囲】
【請求項1】
正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部と、
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備え、
前記データ処理部では、入力画像と、この入力画像から前記学習処理部で学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする、架線金具異常検出装置。
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備え、
前記データ処理部では、入力画像と、この入力画像から前記学習処理部で学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする、架線金具異常検出装置。
【請求項2】
前記異常判定は、前記ワンホット表現インデックス画像データの各々について個別に行われる、請求項１に記載の架線金具異常検出装置。
【請求項3】
正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行うこと、
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うこと、を含み、
前記異常判定を行うに際し、入力画像と、この入力画像から前記学習を行うに際し学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする、架線金具異常検出方法。
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うこと、を含み、
前記異常判定を行うに際し、入力画像と、この入力画像から前記学習を行うに際し学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする、架線金具異常検出方法。
【請求項4】
前記異常判定は、前記ワンホット表現インデックス画像データの各々について個別に行われる、請求項３に記載の架線金具異常検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを用いて架線金具の異常を検出する架線金具異常検出装置および方法に関する。
【背景技術】
【0002】
一般に、機械設備等の管理及び保守には目視による点検が行われるが、この点検に対して自動化の要請がある。
例えば、鉄道設備の分野においては、走行車両の屋根上のカメラを用いて得られた画像データによる架線金具の異常検出が試みられている。
なお、架線金具とは、電気鉄道設備における車両に電力を供給するための電車線を規定の位置に保持し、又は複数の線条間を電気的に接続し、若しくは区分するための金具をいう。
例えば、鉄道設備の分野においては、走行車両の屋根上のカメラを用いて得られた画像データによる架線金具の異常検出が試みられている。
なお、架線金具とは、電気鉄道設備における車両に電力を供給するための電車線を規定の位置に保持し、又は複数の線条間を電気的に接続し、若しくは区分するための金具をいう。
【0003】
従来、画像データを用いて異常検出を行う様々な技術が提案されている。
従来技術の一例である非特許文献１は、正常クラスの画像のみを学習して、異常検出を行うＡＬＯＣＣ（Adversarially Learned One-Class Classifier）を開示している。
また、従来技術の一例である非特許文献２は、ＧＡＮｓ（Generative Adversarial Networks）と呼ばれる敵対的生成モデルにおける、データから潜在空間へマッピングするエンコーダを学習するＢｉＧＡＮｓ（Bidirectional Generative Adversarial Networks）を開示している。
また、従来技術の一例である非特許文献３は、ＶＡＥ（Variational Auto Encoder）と呼ばれる、潜在変数に対して多次元のガウス分布を仮定するオートエンコーダを開示している。
なお、ここで、オートエンコーダは、エンコーダを用いて入力を潜在変数に次元圧縮し、次元圧縮された潜在変数に対してデコーダを用いて復元を行うネットワークである。
また、従来技術の一例である非特許文献４は、画素単位で物体の種類を認識する手法を開示している。
また、従来技術の一例である特許文献１は、ニューラルネットワーク等の生成モデルを用いて画像を生成し、生成された画像と撮影された画像との類似度を求め、この類似度が小さい場合に異常であると判定する技術を開示している。
従来技術の一例である非特許文献１は、正常クラスの画像のみを学習して、異常検出を行うＡＬＯＣＣ（Adversarially Learned One-Class Classifier）を開示している。
また、従来技術の一例である非特許文献２は、ＧＡＮｓ（Generative Adversarial Networks）と呼ばれる敵対的生成モデルにおける、データから潜在空間へマッピングするエンコーダを学習するＢｉＧＡＮｓ（Bidirectional Generative Adversarial Networks）を開示している。
また、従来技術の一例である非特許文献３は、ＶＡＥ（Variational Auto Encoder）と呼ばれる、潜在変数に対して多次元のガウス分布を仮定するオートエンコーダを開示している。
なお、ここで、オートエンコーダは、エンコーダを用いて入力を潜在変数に次元圧縮し、次元圧縮された潜在変数に対してデコーダを用いて復元を行うネットワークである。
また、従来技術の一例である非特許文献４は、画素単位で物体の種類を認識する手法を開示している。
また、従来技術の一例である特許文献１は、ニューラルネットワーク等の生成モデルを用いて画像を生成し、生成された画像と撮影された画像との類似度を求め、この類似度が小さい場合に異常であると判定する技術を開示している。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】M.Sabokrouら、“Adversarially Learned One-Class Classifier for Novelty Detection”、［online］、2018年5月24日、［2023年3月14日検索］、インターネット<URL: https://openaccess.thecvf.com/content_cvpr_2018/html/Sabokrou_Adversarially_Learned_One-Class_CVPR_2018_paper.html>
【非特許文献2】J.Donahueら、“Adversarial Feature Learning”、［online］、2017年4月3日、［2023年3月14日検索］、インターネット<URL: https://arxiv.org/pdf/1605.09782v7.pdf>
【非特許文献3】D.P.Kingmaら、“Auto-Encoding Variational Bayes”、［online］、2014年5月1日、［2023年3月14日検索］、インターネット<URL: https://arxiv.org/pdf/1312.6114v10.pdf>
【非特許文献4】H.Zhao ら、“Pyramid Scene Parsing Network”、［online］、2017年4月27日、［2023年3月14日検索］、インターネット<URL: https://openaccess.thecvf.com/content_cvpr_2017/html/Zhao_Pyramid_Scene_Parsing_CVPR_2017_paper.html>
【特許文献】
【0005】
【特許文献1】特開２０１９－１３３３０６号公報
【特許文献2】特開２０２２－１５９０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記の従来技術は、各々下記の問題がある。
非特許文献１に開示された技術では、ＲＧＢ画像データを用いて異常検出を行うが、学習を収束させることが困難であり、安定性に欠ける。
非特許文献１に開示された技術では、ＲＧＢ画像データを用いて異常検出を行うが、学習を収束させることが困難であり、安定性に欠ける。
【0007】
非特許文献２に開示された技術では、エンコーダ（Encoder）、ジェネレータ（Generator）及びディスクリミネータ（Discriminator）の３つのネットワークを用いて敵対的学習を行うが、ジェネレータがほぼ同一のデータしか出力しなくなる現象（Missing Mode）に陥りやすく、安定性に欠ける。
【0008】
非特許文献３に開示された技術では、エンコーダ（Encoder）及びデコーダ（Decoder）からなるオートエンコーダ（Auto-Encoder）の１種を用いて、潜在変数に多次元ガウス分布を仮定し、生成モデルとして意味のある潜在変数の分布を作成することができ、潜在変数の分布を用いた異常検出が可能であるが、オートエンコーダを用いているため、ＧＡＮｓと比べて復元誤差が大きく、安定性に欠ける。
【0009】
非特許文献４に開示された技術では、画素単位の認識を行っているが、異常検出に適用されるものではない。
【0010】
特許文献１に開示された技術では、生成モデルを用いて生成された生成画像と撮影画像との類似度を用いて、類似度が小さい場合に異常であると判定して異常検出を行うが、ＲＧＢ画像データそのものを用いて異常検出を行うため、学習の難易度が高く、安定性に欠ける。
【0011】
特許文献２に開示された技術では、異常検出の精度を向上させるため、架線金具を構成するパーツ毎に学習を行い、異常検出を行うシステムについて提案を行っている。しかしながらパーツ毎に機械学習モデルが必要であり、学習に関するコストが高くなる恐れがあった。
【0012】
このように、非特許文献１～３及び特許文献１、２に開示された技術では、高精度な異常検出を安価に安定して行うことが困難である。
本発明は、上記に鑑みてなされたものであって、高精度な異常検出を安価に安定して行うことが可能な技術を提供することを目的とする。
本発明は、上記に鑑みてなされたものであって、高精度な異常検出を安価に安定して行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0013】
上述の課題を解決して目的を達成する本発明の架線金具異常検出装置は、正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部と、検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備え、前記データ処理部では、入力画像と、この入力画像から前記学習処理部で学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする、架線金具異常検出装置である。
【0014】
上記構成の架線金具異常検出装置において、前記異常判定は、前記ワンホット表現インデックス画像データの各々について個別に行われてよい。
【0015】
本発明の架線金具異常検出方法は、正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行うこと、検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うこと、を含み、前記異常判定を行うに際し、入力画像と、この入力画像から前記学習を行うに際し学習した学習モデルにより生成した出力画像と、の和集合と、前記入力画像と、前記出力画像と、の差分画像とに基づいて異常判定をする、架線金具異常検出方法である。
【0016】
上記構成の架線金具異常検出方法において、前記異常判定は、前記ワンホット表現インデックス画像データの各々について個別に行われてよい。
【発明の効果】
【0017】
本発明によれば、高精度な異常検出を安価に安定して行うことができる。
【図面の簡単な説明】
【0018】
【図3】図３（Ａ）は、実施形態１において画像変換部によって変換されたワンホット表現インデックス画像データを示す図であり、図３（Ｂ）は、実施形態１において画像変換部によって変換される前の２５６階調３チャンネルのＲＧＢ画像データを示す図である。
【発明を実施するための形態】
【0019】
以下、添付図面を参照して、本発明を実施するための形態について説明する。
ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。
ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。
【0020】
＜実施形態１＞
図１は、本実施形態に係る架線金具異常検出装置１３の設置例を示す図である。
図１には、鉄道車両である車両１と、車両１が走行する鉄道軌道２と、異常検出対象である架線金具３と、が示されている。
図１に示す車両１は、カメラ１１と、記憶装置１２と、架線金具異常検出装置１３と、インターフェース１４と、を備える。
図１は、本実施形態に係る架線金具異常検出装置１３の設置例を示す図である。
図１には、鉄道車両である車両１と、車両１が走行する鉄道軌道２と、異常検出対象である架線金具３と、が示されている。
図１に示す車両１は、カメラ１１と、記憶装置１２と、架線金具異常検出装置１３と、インターフェース１４と、を備える。
【0021】
カメラ１１は、車両１の屋根上に設置され、架線金具３を撮影し、画像データを出力する。
カメラ１１としては、エリアセンサカメラ及びラインセンサカメラを例示することができる。
なお、カメラ１１の撮影のために、架線金具３に投光する、図示しない照明装置が必要に応じて設けられていてもよい。
カメラ１１としては、エリアセンサカメラ及びラインセンサカメラを例示することができる。
なお、カメラ１１の撮影のために、架線金具３に投光する、図示しない照明装置が必要に応じて設けられていてもよい。
【0022】
記憶装置１２は、カメラ１１から出力された画像データ及びデータ処理部１３１で変換されたインデックス画像データを記憶する。
【0023】
インターフェース１４は、ポインティングデバイス及びキーボードの少なくともいずれかを含む入力部と、ディスプレイを含む出力部と、を備える。
【0024】
図２は、本実施形態に係る架線金具異常検出装置１３の構成を示すブロック図である。
架線金具異常検出装置１３は、データ処理部１３１と、学習処理部１３２と、を備え、記憶装置１２に記憶された画像データに基づいて架線金具３の異常検出を行う。
データ処理部１３１は、検出対象検出及び認識処理部１３１１と、画像変換部１３１２と、異常判定部１３１３と、を備え、記憶装置１２に記憶された画像データに基づいて、異常判定モデルにより異常判定を行う。
架線金具異常検出装置１３は、データ処理部１３１と、学習処理部１３２と、を備え、記憶装置１２に記憶された画像データに基づいて架線金具３の異常検出を行う。
データ処理部１３１は、検出対象検出及び認識処理部１３１１と、画像変換部１３１２と、異常判定部１３１３と、を備え、記憶装置１２に記憶された画像データに基づいて、異常判定モデルにより異常判定を行う。
【0025】
検出対象検出及び認識処理部１３１１は、記憶装置１２に記憶された画像データの各画素に対して架線金具３の検出及び認識処理を行う。
架線金具３の検出には、例えば金具検出モデルを用いる。
画素単位の認識処理には、例えば非特許文献４の技術を用いる。
架線金具３の検出には、例えば金具検出モデルを用いる。
画素単位の認識処理には、例えば非特許文献４の技術を用いる。
【0026】
金具検出モデルは、架線画像に対して、手動で作成した正解データを用いて物体検出モデルＳＳＤ（Single Shot Multibox Detector）の学習を行うことで作成される。
なお、ここで作成する正解データは、架線画像中の金具を囲む矩形領域の位置情報である矩形領域の４頂点の座標及び正解ラベルの２つを含むデータである。
また、ＳＳＤは、画像の特徴抽出を行う層であるベースネットワークと物体の検出を行う層である検出器と、により構成され、単一のネットワークで矩形領域の作成とクラス識別とを行うことができる。
また、検出器は異なるスケールの特徴マップからの予測を組み合わせることによって、様々な大きさの物体を精度よく検出することができる。
また、ここでは、金具検出のアルゴリズムにＳＳＤを用いる例を示したが、本発明はこれに限定されるものではない。
金具検出モデルに用いることのできるアルゴリズムとして、ＹＯＬＯ（You Only Look Once）、Ｆａｓｔｅｒ－ＲＣＮＮ（Regions with Convolutional Neural Networks）、ＦＰＮ－ＦＲＣＮ（Feature Pyramid Network－Faster Regions with Convolutional Neural Networks）、Ｍ２Ｄｅｔを例示することができる。
なお、ここで作成する正解データは、架線画像中の金具を囲む矩形領域の位置情報である矩形領域の４頂点の座標及び正解ラベルの２つを含むデータである。
また、ＳＳＤは、画像の特徴抽出を行う層であるベースネットワークと物体の検出を行う層である検出器と、により構成され、単一のネットワークで矩形領域の作成とクラス識別とを行うことができる。
また、検出器は異なるスケールの特徴マップからの予測を組み合わせることによって、様々な大きさの物体を精度よく検出することができる。
また、ここでは、金具検出のアルゴリズムにＳＳＤを用いる例を示したが、本発明はこれに限定されるものではない。
金具検出モデルに用いることのできるアルゴリズムとして、ＹＯＬＯ（You Only Look Once）、Ｆａｓｔｅｒ－ＲＣＮＮ（Regions with Convolutional Neural Networks）、ＦＰＮ－ＦＲＣＮ（Feature Pyramid Network－Faster Regions with Convolutional Neural Networks）、Ｍ２Ｄｅｔを例示することができる。
【0027】
画像変換部１３１２は、各画素について架線金具３の検出及び認識処理が行われた画像データを適切な形式に変換する。
画像変換部１３１２は、画像データを例えばワンホット（ｏｎｅ－ｈｏｔ）表現インデックス画像データに変換する。
画像変換部１３１２は、画像データを例えばワンホット（ｏｎｅ－ｈｏｔ）表現インデックス画像データに変換する。
【0028】
学習処理部１３２は、データ処理部１３１において用いる異常判定モデルの学習を行う。
【0029】
なお、鉄道設備における架線金具３の異常は、主にテクスチャの模様の変化よりも形状の変化を生じさせるものである。
本実施形態では、適用例として鉄道設備における架線金具３を例示して説明するが、画像から形状変化による異常を検出することが可能な異常であれば、検出対象は架線金具に限定されるものではない。
本実施形態では、適用例として鉄道設備における架線金具３を例示して説明するが、画像から形状変化による異常を検出することが可能な異常であれば、検出対象は架線金具に限定されるものではない。
【0030】
従来技術である非特許文献１～３及び特許文献１に開示された技術では、いずれもＲＧＢ画像データをそのまま用いるため、各画素のデータは２５６階調３チャンネルである。
そのため、各画素における探索空間は２５６３となり、情報量が多く、異常検出の難易度が高く、安定した運用が困難である。
そのため、各画素における探索空間は２５６３となり、情報量が多く、異常検出の難易度が高く、安定した運用が困難である。
【0031】
図３（Ａ）は、本実施形態において画像変換部１３１２によって変換されたワンホット表現インデックス画像データを示す図であり、図３（Ｂ）は、本実施形態において画像変換部１３１２によって変換される前の２５６階調３チャンネルのＲＧＢ画像データを示す図である。
図３（Ａ）に示すように、インデックス画像データは、クラス０～９の各クラスにおいて［０，１］の量的データとしてインデックス値を有する。
図３（Ｂ）に示すように、ＲＧＢ画像データは、ＲＧＢ３チャンネルの各チャンネルにおいて［０～２５５］の量的データを有する。
図３（Ａ）に示すように、インデックス画像データは、クラス０～９の各クラスにおいて［０，１］の量的データとしてインデックス値を有する。
図３（Ｂ）に示すように、ＲＧＢ画像データは、ＲＧＢ３チャンネルの各チャンネルにおいて［０～２５５］の量的データを有する。
【0032】
図４（Ａ）は、本実施形態において一画素におけるインデックス画像データの各クラスの確率（％）を示す図であり、図４（Ｂ）は、本実施形態において一画素における２５６階調３チャンネルのＲＧＢ画像データ及び各チャンネルを示す図である。
図４（Ａ）に示すように、インデックス画像データでは、各クラスの確率を配し、データをクラス別に扱うため、より適切な重みの更新が可能である。
図４（Ａ）では、クラス１又はクラス９に近いときに１が５０％、９が５０％とする。
図４（Ｂ）では、ＲＧＢの各チャンネルにおいて、０～２５５までの連続した数値のうち、対応した数値の組み合わせを配するため、範囲が広く、且つ組み合わせ数も多い。
図４（Ａ）に示すように、インデックス画像データでは、各クラスの確率を配し、データをクラス別に扱うため、より適切な重みの更新が可能である。
図４（Ａ）では、クラス１又はクラス９に近いときに１が５０％、９が５０％とする。
図４（Ｂ）では、ＲＧＢの各チャンネルにおいて、０～２５５までの連続した数値のうち、対応した数値の組み合わせを配するため、範囲が広く、且つ組み合わせ数も多い。
【0033】
図５は、異常検出モデルの学習処理を示すフローチャートである。
まず、学習処理を開始すると、カメラ１１は正常状態での検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１）。
記憶装置１２は、撮影により取得された正常状態の検出対象である架線金具３の画像データを記憶する（Ｓ２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の正常状態での画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ３）。
ここで、架線金具３の検出及び認識処理には、金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ４）。
Ｓ１～Ｓ４の処理は、撮影終了まで行う。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５）、処理を終了する。
まず、学習処理を開始すると、カメラ１１は正常状態での検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１）。
記憶装置１２は、撮影により取得された正常状態の検出対象である架線金具３の画像データを記憶する（Ｓ２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の正常状態での画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ３）。
ここで、架線金具３の検出及び認識処理には、金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ４）。
Ｓ１～Ｓ４の処理は、撮影終了まで行う。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５）、処理を終了する。
【0034】
図６は、学習済みの異常検出モデルを用いた異常検出処理を示すフローチャートである。
まず、カメラ１１は、検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１１）。
記憶装置１２は、撮影により取得された検出対象である架線金具３の画像データを記憶する（Ｓ１２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ１３）。
ここで、架線金具３の検出及び認識処理には金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ１４）。
異常判定部１３１３は、記憶装置１２に記憶された、架線金具３のインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、異常を検出しない場合にはＳ１８に進み、異常を検出（Ｓ１６）するとインターフェースに出力する（Ｓ１７）。
続いて、異常検出処理を継続する場合はＳ１１に戻り、継続しない場合は（Ｓ１８）、処理を終了する。
次に、学習した異常検出モデルを使用した、Ｓ１５における異常検出について、以下に詳細に説明する。
まず、カメラ１１は、検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１１）。
記憶装置１２は、撮影により取得された検出対象である架線金具３の画像データを記憶する（Ｓ１２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ１３）。
ここで、架線金具３の検出及び認識処理には金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ１４）。
異常判定部１３１３は、記憶装置１２に記憶された、架線金具３のインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、異常を検出しない場合にはＳ１８に進み、異常を検出（Ｓ１６）するとインターフェースに出力する（Ｓ１７）。
続いて、異常検出処理を継続する場合はＳ１１に戻り、継続しない場合は（Ｓ１８）、処理を終了する。
次に、学習した異常検出モデルを使用した、Ｓ１５における異常検出について、以下に詳細に説明する。
【0035】
図７は、金具のパーツ毎に設定されるインデックスを例示する図である。上述したように、対象画像はワンホット表現されているため画像内の金具のパーツ毎にインデックスが設定されている。図７には、例として、原画像からワンホット表現した画像インデックス１～５が設定されている。また学習処理では正常画像のみを収集し、その画像群を用いて異常検出モデルを学習する。
【0036】
学習した異常検出モデルを用いた異常検出のフローチャートを図８に示す。本実施形態における異常検出では、入力画像と出力画像の差分に対してパーツ毎に正規化した復元誤差を用いる。学習方法は一般的なＡｕｔｏ－Ｅｎｃｏｄｅｒでも、敵対的学習を用いたものでもよく、種類は問わない。この時にそれぞれのパーツ異常検出モデルを用いることでどのパーツに異常が発生しているのかを判定する。以下に図８のフローチャートを説明する。
【0037】
（１）画像入力：画像を入力する（Ｓ２１）。
（２）保存装置に保存：保存装置に画像を保存する（Ｓ２２）。
（３）金具の検出：金具検出手法において、金具検出モデルを用いて対象の金具を検出する（Ｓ２３）。また、同時にワンホット表現を行い、金具画像をパーツ毎にインデックス画像に変換する。
（２）保存装置に保存：保存装置に画像を保存する（Ｓ２２）。
（３）金具の検出：金具検出手法において、金具検出モデルを用いて対象の金具を検出する（Ｓ２３）。また、同時にワンホット表現を行い、金具画像をパーツ毎にインデックス画像に変換する。
【0038】
（４）正規化した復元誤差の算出：ＶＡＥ等の復元誤差についてパーツ毎の領域に応じた重みをつける（Ｓ２４）。重みのつけ方の例として図９に示すように、金具のインデックス１に対しての異常が生じた場合について述べる。インデックス１に異常が生じている場合には、インデックス１の領域が画像には存在しない、またはその領域が少ないことが想定される。そのためＶＡＥ等の異常検知モデルでは図１０のように入力画像Ａに対して出力画像Ｂが出力される。実際の画像を解析した結果を図１１に模式的に示す。以下、図１０、図１１のインデックス１を含む領域に着目して説明する。
【0039】
従来では、この入力画像Ａと出力画像Ｂとの２つの差分画像Ｃの領域の画素数の大小を用いて正常異常の判定をする。しかしながら、この例に示すように、インデックス１のような小さいパーツは復元される領域が画像全体に対して小さいため、検出が困難である恐れがある。そこで、本実施形態では、差分画像Ｃのインデックス１の領域の画素数に対して、入力画像Ａのインデックス１と出力画像Ｂのインデックス１の領域の和集合の画素数を除算してやる。この操作により、インデックス復元誤差として０～１までの数値が算出される（図１０）。
【0040】
以下［数１］にインデックス復元誤差の式を示す。ここで、Ａ∪Ｂは、同一インデックスにおけるワンホット表現した入力画像Ａと出力画像Ｂとの画素同士の論理和をとり、全体の画素数の和を取ったもので、Ｃは、差分画像の同一員デックスにおける和である。
【0041】
【数1】
【0042】
上記では、インデックス１に異常が生じた場合の処理について述べたが各インデックスにおいても同様に算出する。すなわち、差分画像Ｃの各インデックスについて０～１に正規化を行った数値を算出する。ここにおいては、差分が生じている場合すなわち異常が起こっている場合は、算出された値は、１に近づく、差分が生じていない場合すなわち正常な状態では、０に近づく。
【0043】
（５）正規化値の異常検知：前段の（４）において算出した正規化復元誤差の値を評価する（Ｓ２５）。異常検知の評価では各インデックスの正規化復元誤差のトータル値と各インデックスの正規化復元誤差の値を用いる。最初に正規化復元誤差のトータル値が閾値以上の場合には異常と判定を行い、その後各インデックスの正規化復元誤差の最も高い箇所を異常発生個所として検出する（Ｓ２６）。
（６）すべての撮像が終了すると一連の動作が終了する（Ｓ２７）。
（６）すべての撮像が終了すると一連の動作が終了する（Ｓ２７）。
【0044】
以上述べたように、本実施形態では、画像データをワンホット表現するインデックス画像を生成することで、探索空間を小さく抑え、学習処理及び異常検出処理が容易になるため安定した処理が可能となる。さらに、ＶＡＥ等の復元誤差についてパーツ毎の領域に応じた重みをつけて、異常を検出するので、画像のなかの小さい領域のパーツに対しても、学習モデルを増やす等のコストを上昇させることなく、検出精度を向上させることができる。したがって、本実施形態によれば、高精度な異常検出を安価に安定して行うことができる。
【0045】
＜実施形態２＞
実施形態１では、正規化誤差の評価方法として、正規化復元誤差のトータル値と各インデックスの正規化復元誤差の値を利用していた。本実施形態では、各インデックスの正規化復元誤差のみを評価の対象とし、インデックス毎に閾値を設定する。他の構成については、実施形態１と同じである。したがって本実施形態では、実施形態１に係る効果に加え、パーツ毎に特化した異常検知を精度よく行うことが可能となる。
実施形態１では、正規化誤差の評価方法として、正規化復元誤差のトータル値と各インデックスの正規化復元誤差の値を利用していた。本実施形態では、各インデックスの正規化復元誤差のみを評価の対象とし、インデックス毎に閾値を設定する。他の構成については、実施形態１と同じである。したがって本実施形態では、実施形態１に係る効果に加え、パーツ毎に特化した異常検知を精度よく行うことが可能となる。
【0046】
なお、本発明は、上述の実施形態に限定されるものではなく、上述の構成に対して、構成要素の付加、削除又は転換を行った様々な変形例も含むものとする。
【実施例0047】
次に、正常データ２９８枚、異常データ２３８４枚を従来手法（単純差分）及び本発明の手法で解析した結果を以下の［表１］と［表２］に示す。［表１］は一般的な単純差分による解析結果を示し、［表２］は本発明の評価指標によって解析した結果を示す。表では、各行は対象とする解析対象のデータの種類及び枚数を示しており、各列は閾値に応じた各データの解析正解率を示している。表より正常データの正解率が同一の所においてすべての箇所で本発明の手法の方が、従来例に比べて解析精度が高いことがわかる。特に、画像上の金具パーツ部分が小さい、表においては破線で囲まれた領域に、本発明における手法の正解率が高いという効果が顕著に表れている。
【0048】
【表1】
【表2】
【符号の説明】
【0049】
１ 車両
１１ カメラ
１２ 記憶装置
１３ 架線金具異常検出装置
１３１ データ処理部
１３１１ 検出対象検出及び認識処理部
１３１２ 画像変換部
１３１３ 異常判定部
１３２ 学習処理部
１４ インターフェース
２ 軌道
３ 架線金具
１１ カメラ
１２ 記憶装置
１３ 架線金具異常検出装置
１３１ データ処理部
１３１１ 検出対象検出及び認識処理部
１３１２ 画像変換部
１３１３ 異常判定部
１３２ 学習処理部
１４ インターフェース
２ 軌道
３ 架線金具
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】