▶ 株式会社明電舎の特許一覧 ▶ 公益財団法人鉄道総合技術研究所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022159010
(43)【公開日】2022-10-17
(54)【発明の名称】架線金具異常検出装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221006BHJP
B60M 1/28 20060101ALI20221006BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 650Z
B60M1/28 R
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022040647
(22)【出願日】2022-03-15
(31)【優先権主張番号】P 2021060933
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(71)【出願人】
【識別番号】000173784
【氏名又は名称】公益財団法人鉄道総合技術研究所
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】野田 祥希
(72)【発明者】
【氏名】川畑 匠朗
(72)【発明者】
【氏名】深井 寛修
(72)【発明者】
【氏名】望月 凛平
(72)【発明者】
【氏名】松村 周
(72)【発明者】
【氏名】根津 一嘉
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
【課題】高精度な異常検出を安定して行うことが可能な技術を提供すること。
【解決手段】正常状態の検出対象の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部と、検出対象の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備える架線金具異常検出装置とする。
【選択図】図２
【解決手段】正常状態の検出対象の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部と、検出対象の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備える架線金具異常検出装置とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部と、
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備える架線金具異常検出装置。
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備える架線金具異常検出装置。
【請求項2】
前記異常判定は、ＡＬＯＣＣにより行われることを特徴とする請求項１に記載の架線金具異常検出装置。
【請求項3】
前記異常判定は、
エンコーダに入力される前記ワンホット表現インデックス画像データである入力データと、
前記エンコーダからの出力が入力されるデコーダから出力される出力データと、の復元誤差に基づいて行われることを特徴とする請求項１に記載の架線金具異常検出装置。
エンコーダに入力される前記ワンホット表現インデックス画像データである入力データと、
前記エンコーダからの出力が入力されるデコーダから出力される出力データと、の復元誤差に基づいて行われることを特徴とする請求項１に記載の架線金具異常検出装置。
【請求項4】
前記異常判定は、
ジェネレータに入力される前記ワンホット表現インデックス画像データである入力データと、
前記ジェネレータから出力される出力データと、の誤差に基づいて行われることを特徴とする請求項１に記載の架線金具異常検出装置。
ジェネレータに入力される前記ワンホット表現インデックス画像データである入力データと、
前記ジェネレータから出力される出力データと、の誤差に基づいて行われることを特徴とする請求項１に記載の架線金具異常検出装置。
【請求項5】
前記異常判定は、
前記ワンホット表現インデックス画像データの潜在変数空間における分布及び距離に基づいて行われることを特徴とする請求項１に記載の架線金具異常検出装置。
前記ワンホット表現インデックス画像データの潜在変数空間における分布及び距離に基づいて行われることを特徴とする請求項１に記載の架線金具異常検出装置。
【請求項6】
前記学習及び前記異常判定が対象パーツ毎に行われることを特徴とする、請求項１から請求項５のいずれか一項に記載の架線金具異常検出装置。
【請求項7】
正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データのＲＧＢ情報を用いて対象パーツ毎に学習を行う学習処理部と、
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データのＲＧＢ情報を生成し、前記ワンホット表現インデックス画像データのＲＧＢ情報を用いて対象パーツ毎に異常判定を行うデータ処理部と、を備え、
前記学習及び前記異常判定が対象パーツ毎に行われる架線金具異常検出装置。
検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データのＲＧＢ情報を生成し、前記ワンホット表現インデックス画像データのＲＧＢ情報を用いて対象パーツ毎に異常判定を行うデータ処理部と、を備え、
前記学習及び前記異常判定が対象パーツ毎に行われる架線金具異常検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データを用いて架線金具の異常を検出する架線金具異常検出装置に関する。
【背景技術】
【0002】
一般に、機械設備等の管理及び保守には目視による点検が行われるが、この点検に対して自動化の要請がある。
例えば、鉄道設備の分野においては、走行車両の屋根上のカメラを用いて得られた画像データによる架線金具の異常検出が試みられている。
なお、架線金具とは、電気鉄道設備における車両に電力を供給するための電車線を規定の位置に保持し、又は複数の線条間を電気的に接続し、若しくは区分するための金具をいう。
例えば、鉄道設備の分野においては、走行車両の屋根上のカメラを用いて得られた画像データによる架線金具の異常検出が試みられている。
なお、架線金具とは、電気鉄道設備における車両に電力を供給するための電車線を規定の位置に保持し、又は複数の線条間を電気的に接続し、若しくは区分するための金具をいう。
【0003】
従来、画像データを用いて異常検出を行う様々な技術が提案されている。
従来技術の一例である非特許文献１は、正常クラスの画像のみを学習して、異常検出を行うＡＬＯＣＣ（Adversarially Learned One-Class Classifier）を開示している。
また、従来技術の一例である非特許文献２は、ＧＡＮｓ（Generative Adversarial Networks）と呼ばれる敵対的生成モデルにおける、データから潜在空間へマッピングするエンコーダを学習するＢｉＧＡＮｓ（Bidirectional Generative Adversarial Networks）を開示している。
また、従来技術の一例である非特許文献３は、ＶＡＥ（Variational Auto Encoder）と呼ばれる、潜在変数に対して多次元のガウス分布を仮定するオートエンコーダを開示している。
なお、ここで、オートエンコーダは、エンコーダを用いて入力を潜在変数に次元圧縮し、次元圧縮された潜在変数に対してデコーダを用いて復元を行うネットワークである。
また、従来技術の一例である非特許文献４は、画素単位で物体の種類を認識する手法を開示している。
また、従来技術の一例である特許文献１は、ニューラルネットワーク等の生成モデルを用いて画像を生成し、生成された画像と撮影された画像との類似度を求め、この類似度が小さい場合に異常であると判定する技術を開示している。
従来技術の一例である非特許文献１は、正常クラスの画像のみを学習して、異常検出を行うＡＬＯＣＣ（Adversarially Learned One-Class Classifier）を開示している。
また、従来技術の一例である非特許文献２は、ＧＡＮｓ（Generative Adversarial Networks）と呼ばれる敵対的生成モデルにおける、データから潜在空間へマッピングするエンコーダを学習するＢｉＧＡＮｓ（Bidirectional Generative Adversarial Networks）を開示している。
また、従来技術の一例である非特許文献３は、ＶＡＥ（Variational Auto Encoder）と呼ばれる、潜在変数に対して多次元のガウス分布を仮定するオートエンコーダを開示している。
なお、ここで、オートエンコーダは、エンコーダを用いて入力を潜在変数に次元圧縮し、次元圧縮された潜在変数に対してデコーダを用いて復元を行うネットワークである。
また、従来技術の一例である非特許文献４は、画素単位で物体の種類を認識する手法を開示している。
また、従来技術の一例である特許文献１は、ニューラルネットワーク等の生成モデルを用いて画像を生成し、生成された画像と撮影された画像との類似度を求め、この類似度が小さい場合に異常であると判定する技術を開示している。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】M.Sabokrouら、“Adversarially Learned One-Class Classifier for Novelty Detection”、［online］、2018年5月24日、［2021年2月4日検索］、インターネット<URL: https://arxiv.org/pdf/1802.09088.pdf>
【非特許文献2】J.Donahueら、“Adversarial Feature Learning”、［online］、2017年4月3日、［2021年2月4日検索］、インターネット<URL: https://arxiv.org/pdf/1605.09782v7.pdf>
【非特許文献3】D.P.Kingmaら、“Auto-Encoding Variational Bayes”、［online］、2014年5月1日、［2021年2月4日検索］、インターネット<URL: https://arxiv.org/pdf/1312.6114v10.pdf>
【非特許文献4】H.Zhao ら、“Pyramid Scene Parsing Network”、［online］、2017年4月27日、［2021年2月4日検索］、インターネット<URL: https://arxiv.org/pdf/1612.01105.pdf>
【特許文献】
【0005】
【特許文献1】特開２０１９－１３３３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記の従来技術は、各々下記の問題がある。
非特許文献１に開示された技術では、ＲＧＢ画像データを用いて異常検出を行うが、学習を収束させることが困難であり、安定性に欠ける。
非特許文献１に開示された技術では、ＲＧＢ画像データを用いて異常検出を行うが、学習を収束させることが困難であり、安定性に欠ける。
【0007】
非特許文献２に開示された技術では、エンコーダ（Encoder）、ジェネレータ（Generator）及びディスクリミネータ（Discriminator）の３つのネットワークを用いて敵対的学習を行うが、ジェネレータがほぼ同一のデータしか出力しなくなる現象（Missing Mode）に陥りやすく、安定性に欠ける。
【0008】
非特許文献３に開示された技術では、エンコーダ（Encoder）及びデコーダ（Decoder）からなるオートエンコーダ（Auto-Encoder）の１種を用いて、潜在変数に多次元ガウス分布を仮定し、生成モデルとして意味のある潜在変数の分布を作成することができ、潜在変数の分布を用いた異常検出が可能であるが、オートエンコーダを用いているため、ＧＡＮｓと比べて復元誤差が大きく、安定性に欠ける。
【0009】
非特許文献４に開示された技術では、画素単位の認識を行っているが、異常検出に適用されるものではない。
【0010】
特許文献１に開示された技術では、生成モデルを用いて生成された生成画像と撮影画像との類似度を用いて、類似度が小さい場合に異常であると判定して異常検出を行うが、ＲＧＢ画像データそのものを用いて異常検出を行うため、学習の難易度が高く、安定性に欠ける。
【0011】
このように、非特許文献１～３及び特許文献１に開示された技術では、高精度な異常検出を安定して行うことが困難である。
本発明は、上記に鑑みてなされたものであって、高精度な異常検出を安定して行うことが可能な技術を提供することを目的とする。
本発明は、上記に鑑みてなされたものであって、高精度な異常検出を安定して行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
上述の課題を解決して目的を達成する本発明の一態様は、正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データを用いて学習を行う学習処理部と、検出対象である架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データを生成し、前記ワンホット表現インデックス画像データを用いて異常判定を行うデータ処理部と、を備える架線金具異常検出装置である。
【0013】
上記構成の架線金具異常検出装置において、前記異常判定は、ＡＬＯＣＣにより行われてもよい。
【0014】
上記構成の架線金具異常検出装置において、前記異常判定は、エンコーダに入力される前記ワンホット表現インデックス画像データである入力データと、前記エンコーダからの出力が入力されるデコーダから出力される出力データと、の復元誤差に基づいて行われてもよい。
【0015】
上記構成の架線金具異常検出装置において、前記異常判定は、ジェネレータに入力される前記ワンホット表現インデックス画像データである入力データと、前記ジェネレータから出力される出力データと、の誤差に基づいて行われてもよい。
【0016】
上記構成の架線金具異常検出装置において、前記異常判定は、前記ワンホット表現インデックス画像データの潜在変数空間における分布及び距離に基づいて行われてもよい。
【0017】
上記構成の架線金具異常検出装置において、前記学習及び前記異常判定が対象パーツ毎に行われてもよい。
【0018】
又は、本発明の一態様は、正常状態の検出対象である架線金具の撮影により生じた画像データの各画素を変換して生成された、複数の正常状態のワンホット表現インデックス画像データのＲＧＢ情報を用いて対象パーツ毎に学習を行う学習処理部と、検出対象である前記架線金具の撮影により生じた画像データの各画素を変換してワンホット表現インデックス画像データのＲＧＢ情報を生成し、前記ワンホット表現インデックス画像データのＲＧＢ情報を用いて対象パーツ毎に異常判定を行うデータ処理部と、を備える架線金具異常検出装置である。
【発明の効果】
【0019】
本発明によれば、高精度な異常検出を安定して行うことができる。
【図面の簡単な説明】
【0020】
【図3】図３（Ａ）は、実施形態１において画像変換部によって変換されたワンホット表現インデックス画像データを示す図であり、図３（Ｂ）は、実施形態１において画像変換部によって変換される前の２５６階調３チャンネルのＲＧＢ画像データを示す図である。
【発明を実施するための形態】
【0021】
以下、添付図面を参照して、本発明を実施するための形態について説明する。
ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。
ただし、本発明は、以下の実施形態の記載によって限定解釈されるものではない。
【0022】
＜実施形態１＞
図１は、本実施形態に係る架線金具異常検出装置１３の設置例を示す図である。
図１には、鉄道車両である車両１と、車両１が走行する鉄道軌道２と、異常検出対象である架線金具３と、が示されている。
図１に示す車両１は、カメラ１１と、記憶装置１２と、架線金具異常検出装置１３と、インターフェース１４と、を備える。
図１は、本実施形態に係る架線金具異常検出装置１３の設置例を示す図である。
図１には、鉄道車両である車両１と、車両１が走行する鉄道軌道２と、異常検出対象である架線金具３と、が示されている。
図１に示す車両１は、カメラ１１と、記憶装置１２と、架線金具異常検出装置１３と、インターフェース１４と、を備える。
【0023】
カメラ１１は、車両１の屋根上に設置され、架線金具３を撮影し、画像データを出力する。
カメラ１１としては、エリアセンサカメラ及びラインセンサカメラを例示することができる。
なお、カメラ１１の撮影のために、架線金具３に投光する、図示しない照明装置が必要に応じて設けられていてもよい。
カメラ１１としては、エリアセンサカメラ及びラインセンサカメラを例示することができる。
なお、カメラ１１の撮影のために、架線金具３に投光する、図示しない照明装置が必要に応じて設けられていてもよい。
【0024】
記憶装置１２は、カメラ１１から出力された画像データ及びデータ処理部１３１で変換されたインデックス画像データを記憶する。
【0025】
インターフェース１４は、ポインティングデバイス及びキーボードの少なくともいずれかを含む入力部と、ディスプレイを含む出力部と、を備える。
【0026】
図２は、本実施形態に係る架線金具異常検出装置１３の構成を示すブロック図である。
架線金具異常検出装置１３は、データ処理部１３１と、学習処理部１３２と、を備え、記憶装置１２に記憶された画像データに基づいて架線金具３の異常検出を行う。
データ処理部１３１は、検出対象検出及び認識処理部１３１１と、画像変換部１３１２と、異常判定部１３１３と、を備え、記憶装置１２に記憶された画像データに基づいて、異常判定モデルにより異常判定を行う。
架線金具異常検出装置１３は、データ処理部１３１と、学習処理部１３２と、を備え、記憶装置１２に記憶された画像データに基づいて架線金具３の異常検出を行う。
データ処理部１３１は、検出対象検出及び認識処理部１３１１と、画像変換部１３１２と、異常判定部１３１３と、を備え、記憶装置１２に記憶された画像データに基づいて、異常判定モデルにより異常判定を行う。
【0027】
検出対象検出及び認識処理部１３１１は、記憶装置１２に記憶された画像データの各画素に対して架線金具３の検出及び認識処理を行う。
架線金具３の検出には、例えば金具検出モデルを用いる。
画素単位の認識処理には、例えば非特許文献４の技術を用いる。
架線金具３の検出には、例えば金具検出モデルを用いる。
画素単位の認識処理には、例えば非特許文献４の技術を用いる。
【0028】
金具検出モデルは、架線画像に対して、手動で作成した正解データを用いて物体検出モデルＳＳＤ（Single Shot Multibox Detector）の学習を行うことで作成される。
なお、ここで作成する正解データは、架線画像中の金具を囲む矩形領域の位置情報である矩形領域の４頂点の座標及び正解ラベルの２つを含むデータである。
また、ＳＳＤは、画像の特徴抽出を行う層であるベースネットワークと物体の検出を行う層である検出器と、により構成され、単一のネットワークで矩形領域の作成とクラス識別とを行うことができる。
また、検出器は異なるスケールの特徴マップからの予測を組み合わせることによって、様々な大きさの物体を精度よく検出することができる。
また、ここでは、金具検出のアルゴリズムにＳＳＤを用いる例を示したが、本発明はこれに限定されるものではない。
金具検出モデルに用いることのできるアルゴリズムとして、ＹＯＬＯ（You Only Look Once）、Ｆａｓｔｅｒ－ＲＣＮＮ（Regions with Convolutional Neural Networks）、ＦＰＮ－ＦＲＣＮ（Feature Pyramid Network－Faster Regions with Convolutional Neural Networks）、Ｍ２Ｄｅｔを例示することができる。
なお、ここで作成する正解データは、架線画像中の金具を囲む矩形領域の位置情報である矩形領域の４頂点の座標及び正解ラベルの２つを含むデータである。
また、ＳＳＤは、画像の特徴抽出を行う層であるベースネットワークと物体の検出を行う層である検出器と、により構成され、単一のネットワークで矩形領域の作成とクラス識別とを行うことができる。
また、検出器は異なるスケールの特徴マップからの予測を組み合わせることによって、様々な大きさの物体を精度よく検出することができる。
また、ここでは、金具検出のアルゴリズムにＳＳＤを用いる例を示したが、本発明はこれに限定されるものではない。
金具検出モデルに用いることのできるアルゴリズムとして、ＹＯＬＯ（You Only Look Once）、Ｆａｓｔｅｒ－ＲＣＮＮ（Regions with Convolutional Neural Networks）、ＦＰＮ－ＦＲＣＮ（Feature Pyramid Network－Faster Regions with Convolutional Neural Networks）、Ｍ２Ｄｅｔを例示することができる。
【0029】
画像変換部１３１２は、各画素について架線金具３の検出及び認識処理が行われた画像データを適切な形式に変換する。
画像変換部１３１２は、画像データを例えばワンホット（one-hot）表現インデックス画像データに変換する。
画像変換部１３１２は、画像データを例えばワンホット（one-hot）表現インデックス画像データに変換する。
【0030】
学習処理部１３２は、データ処理部１３１において用いる異常判定モデルの学習を行う。
【0031】
なお、鉄道設備における架線金具３の異常は、主にテクスチャの模様の変化よりも形状の変化を生じさせるものである。
本実施形態では、適用例として鉄道設備における架線金具３を例示して説明するが、画像から形状変化による異常を検出することが可能な異常であれば、検出対象は架線金具に限定されるものではない。
本実施形態では、適用例として鉄道設備における架線金具３を例示して説明するが、画像から形状変化による異常を検出することが可能な異常であれば、検出対象は架線金具に限定されるものではない。
【0032】
従来技術である非特許文献１～３及び特許文献１に開示された技術では、いずれもＲＧＢ画像データをそのまま用いるため、各画素のデータは２５６階調３チャンネルである。
そのため、各画素における探索空間は２５６３となり、情報量が多く、異常検出の難易度が高く、安定した運用が困難である。
そのため、各画素における探索空間は２５６３となり、情報量が多く、異常検出の難易度が高く、安定した運用が困難である。
【0033】
図３（Ａ）は、本実施形態において画像変換部１３１２によって変換されたワンホット表現インデックス画像データを示す図であり、図３（Ｂ）は、本実施形態において画像変換部１３１２によって変換される前の２５６階調３チャンネルのＲＧＢ画像データを示す図である。
図３（Ａ）に示すように、インデックス画像データは、クラス０～９の各クラスにおいて［０，１］の量的データとしてインデックス値を有する。
図３（Ｂ）に示すように、ＲＧＢ画像データは、ＲＧＢ３チャンネルの各チャンネルにおいて［０～２５５］の量的データを有する。
図３（Ａ）に示すように、インデックス画像データは、クラス０～９の各クラスにおいて［０，１］の量的データとしてインデックス値を有する。
図３（Ｂ）に示すように、ＲＧＢ画像データは、ＲＧＢ３チャンネルの各チャンネルにおいて［０～２５５］の量的データを有する。
【0034】
図４（Ａ）は、本実施形態において一画素におけるインデックス画像データの各クラスの確率（％）を示す図であり、図４（Ｂ）は、本実施形態において一画素における２５６階調３チャンネルのＲＧＢ画像データ及び各チャンネルを示す図である。
図４（Ａ）に示すように、インデックス画像データでは、各クラスの確率を配し、データをクラス別に扱うため、より適切な重みの更新が可能である。
図４（Ａ）では、クラス１又はクラス９に近いときに１が５０％、９が５０％とする。
図４（Ｂ）では、ＲＧＢの各チャンネルにおいて、０～２５５までの連続した数値のうち、対応した数値の組み合わせを配するため、範囲が広く、且つ組み合わせ数も多い。
図４（Ａ）に示すように、インデックス画像データでは、各クラスの確率を配し、データをクラス別に扱うため、より適切な重みの更新が可能である。
図４（Ａ）では、クラス１又はクラス９に近いときに１が５０％、９が５０％とする。
図４（Ｂ）では、ＲＧＢの各チャンネルにおいて、０～２５５までの連続した数値のうち、対応した数値の組み合わせを配するため、範囲が広く、且つ組み合わせ数も多い。
【0035】
図５は、異常検出モデルの学習処理を示すフローチャートである。
まず、学習処理を開始すると、カメラ１１は正常状態での検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１）。
記憶装置１２は、撮影により取得された正常状態の検出対象である架線金具３の画像データを記憶する（Ｓ２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の正常状態での画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ３）。
ここで、架線金具３の検出及び認識処理には、金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ４）。
Ｓ１～Ｓ４の処理は、撮影終了まで行う。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５）、処理を終了する。
まず、学習処理を開始すると、カメラ１１は正常状態での検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１）。
記憶装置１２は、撮影により取得された正常状態の検出対象である架線金具３の画像データを記憶する（Ｓ２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の正常状態での画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ３）。
ここで、架線金具３の検出及び認識処理には、金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ４）。
Ｓ１～Ｓ４の処理は、撮影終了まで行う。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５）、処理を終了する。
【0036】
図６は、学習済みの異常検出モデルを用いた異常検出処理を示すフローチャートである。
まず、カメラ１１は、検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１１）。
記憶装置１２は、撮影により取得された検出対象である架線金具３の画像データを記憶する（Ｓ１２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ１３）。
ここで、架線金具３の検出及び認識処理には金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ１４）。
異常判定部１３１３は、記憶装置１２に記憶された、架線金具３のインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、異常を検出しない場合にはＳ１１に戻り、異常を検出（Ｓ１６）するとインターフェースに出力し（Ｓ１７）、処理を終了する。
ここで、Ｓ１５における異常検出は、以下に示すようにＡＬＯＣＣにより行う。
まず、カメラ１１は、検出対象である架線金具３を撮影し、画像データを記憶装置１２に出力する（Ｓ１１）。
記憶装置１２は、撮影により取得された検出対象である架線金具３の画像データを記憶する（Ｓ１２）。
データ処理部１３１は、記憶装置１２に記憶された、架線金具３の画像データの各画素に対して、検出及び認識処理を行い、インデックス画像データを生成する（Ｓ１３）。
ここで、架線金具３の検出及び認識処理には金具検出モデルを用いる。
記憶装置１２は、生成されたインデックス画像データを記憶する（Ｓ１４）。
異常判定部１３１３は、記憶装置１２に記憶された、架線金具３のインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、異常を検出しない場合にはＳ１１に戻り、異常を検出（Ｓ１６）するとインターフェースに出力し（Ｓ１７）、処理を終了する。
ここで、Ｓ１５における異常検出は、以下に示すようにＡＬＯＣＣにより行う。
【0037】
図７は、本実施形態における異常検出の概念を示す図である。
図７に示すＡＬＯＣＣにおいては、エンコーダ（Encoder）、デコーダ（Decoder）及びディスクリミネータ（Discriminator）に学習処理を行い、学習済みのディスクリミネータ（Discriminator）を用いて異常検出を行う。
異常検出には、エンコーダ（Encoder）及びデコーダ（Decoder）により復元を行った画像データを用いてもよいし、復元を行っていない画像データを用いてもよい。
図７に示すＡＬＯＣＣにおいては、エンコーダ（Encoder）、デコーダ（Decoder）及びディスクリミネータ（Discriminator）に学習処理を行い、学習済みのディスクリミネータ（Discriminator）を用いて異常検出を行う。
異常検出には、エンコーダ（Encoder）及びデコーダ（Decoder）により復元を行った画像データを用いてもよいし、復元を行っていない画像データを用いてもよい。
【0038】
本実施形態では、画像データをワンホット表現するインデックス画像を生成することで、探索空間を小さく抑え、学習処理及び異常検出処理が容易になるため安定した処理が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行うことができる。
従って、本実施形態によれば、高精度な異常検出を安定して行うことができる。
【0039】
＜実施形態２＞
実施形態１では、異常検出にＡＬＯＣＣを用いたが、本発明はこれに限定されるものではない。
例えば、異常検出に用いるＡＬＯＣＣに代えて、入力画像と出力画像との差分をとり、その差分である復元誤差に基づいて異常検出を行ってもよい。
なお、異常検出の手法以外については実施形態１と同じであるため、その説明は省略し、実施形態１を援用する。
実施形態１では、異常検出にＡＬＯＣＣを用いたが、本発明はこれに限定されるものではない。
例えば、異常検出に用いるＡＬＯＣＣに代えて、入力画像と出力画像との差分をとり、その差分である復元誤差に基づいて異常検出を行ってもよい。
なお、異常検出の手法以外については実施形態１と同じであるため、その説明は省略し、実施形態１を援用する。
【0040】
図８は、本実施形態における異常検出の概念を示す図である。
図８には、エンコーダ（Encoder）及びデコーダ（Decoder）が示されている。
図８に示すように、入力データがエンコーダ（Encoder）に入力され、エンコーダ（Encoder）の出力がデコーダ（Decoder）に入力され、デコーダ（Decoder）から出力データが出力される。
この入力データと出力データとの差分、すなわち復元誤差が所定値以上である場合には異常と判定され、復元誤差が所定値未満である場合には正常と判定される。
なお、エンコーダ（Encoder）及びデコーダ（Decoder）の学習処理は、一般的なオートエンコーダ（Auto-Encoder）を用いたものでもよく、敵対的学習を用いたものでもよい。
図８には、エンコーダ（Encoder）及びデコーダ（Decoder）が示されている。
図８に示すように、入力データがエンコーダ（Encoder）に入力され、エンコーダ（Encoder）の出力がデコーダ（Decoder）に入力され、デコーダ（Decoder）から出力データが出力される。
この入力データと出力データとの差分、すなわち復元誤差が所定値以上である場合には異常と判定され、復元誤差が所定値未満である場合には正常と判定される。
なお、エンコーダ（Encoder）及びデコーダ（Decoder）の学習処理は、一般的なオートエンコーダ（Auto-Encoder）を用いたものでもよく、敵対的学習を用いたものでもよい。
【0041】
本実施形態によっても、画像データをワンホット表現するインデックス画像を生成することで、探索空間を小さく抑え、学習処理及び異常検出処理が容易になるため安定した処理が可能となる。
また、本実施形態によれば、一般的な手法である復元誤差を用いた異常検出が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行うことができる。
また、本実施形態によれば、一般的な手法である復元誤差を用いた異常検出が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行うことができる。
【0042】
＜実施形態３＞
実施形態１では、異常検出にＡＬＯＣＣを用いた形態について説明し、実施形態２では、入力画像と出力画像との差分である復元誤差を用いた形態について説明したが、本発明はこれに限定されるものではない。
例えば、入力画像と、入力画像に最も近い画像を出力するジェネレータ（Generator）が生成する画像と、の差分をとり、その差分に基づいて異常検出してもよい。
なお、異常検出の手法以外については実施形態１と同じであるため、その説明は省略し、実施形態１を援用する。
実施形態１では、異常検出にＡＬＯＣＣを用いた形態について説明し、実施形態２では、入力画像と出力画像との差分である復元誤差を用いた形態について説明したが、本発明はこれに限定されるものではない。
例えば、入力画像と、入力画像に最も近い画像を出力するジェネレータ（Generator）が生成する画像と、の差分をとり、その差分に基づいて異常検出してもよい。
なお、異常検出の手法以外については実施形態１と同じであるため、その説明は省略し、実施形態１を援用する。
【0043】
図９は、本実施形態における異常検出の概念を示す図である。
図９には、ジェネレータ（Generator）が示されている。
図９に示すジェネレータ（Generator）は、画像生成パラメータを探索し、探索的に潜在変数を変更することで入力画像に最も近い画像を出力する。
ここで、探索は、勾配法ベースの手法を用いればよいが、これに限定されるものではない。
図９には、ジェネレータ（Generator）が示されている。
図９に示すジェネレータ（Generator）は、画像生成パラメータを探索し、探索的に潜在変数を変更することで入力画像に最も近い画像を出力する。
ここで、探索は、勾配法ベースの手法を用いればよいが、これに限定されるものではない。
【0044】
本実施形態によっても、画像データをワンホット表現するインデックス画像を生成することで、探索空間を小さく抑え、学習処理及び異常検出処理が容易になるため安定した処理が可能となる。
また、本実施形態によれば、高精度な復元が可能なジェネレータ（Generator）を用いた異常検出が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行うことができる。
また、本実施形態によれば、高精度な復元が可能なジェネレータ（Generator）を用いた異常検出が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行うことができる。
【0045】
＜実施形態４＞
実施形態１～３の手法は、画像データをワンホット表現するインデックス画像データによる画像特徴空間を用いた異常検出であるが、本発明はこれに限定されるものではない。
画像特徴空間に代えて、潜在変数に変換した潜在変数空間を用いて異常検出を行ってもよい。
実施形態１～３の手法は、画像データをワンホット表現するインデックス画像データによる画像特徴空間を用いた異常検出であるが、本発明はこれに限定されるものではない。
画像特徴空間に代えて、潜在変数に変換した潜在変数空間を用いて異常検出を行ってもよい。
【0046】
図１０は、本実施形態における異常検出の概念を示す図である。
図１０においては、入力データはエンコーダ（Encoder）に入力されて正常の多次元ガウス分布を学習する。
そして、入力データは学習済みのエンコーダ（Encoder）に入力されてガウス分布の中心からの距離により異常の判定が行われる。
ここで、潜在変数の取得には非特許文献３に開示されたＶＡＥを用いたが、本発明はこれに限定されるものではない。
図１０においては、入力データはエンコーダ（Encoder）に入力されて正常の多次元ガウス分布を学習する。
そして、入力データは学習済みのエンコーダ（Encoder）に入力されてガウス分布の中心からの距離により異常の判定が行われる。
ここで、潜在変数の取得には非特許文献３に開示されたＶＡＥを用いたが、本発明はこれに限定されるものではない。
【0047】
本実施形態によっても、画像データをワンホット表現するインデックス画像を生成することで、探索空間を小さく抑え、学習処理及び異常検出処理が容易になる。
また、本実施形態によれば、確率分布に基づいた異常検出が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行い、異常検出を確率分布に基づいて行うことができる。
また、本実施形態によれば、確率分布に基づいた異常検出が可能となる。
従って、本実施形態によれば、高精度な異常検出を安定して行い、異常検出を確率分布に基づいて行うことができる。
【0048】
＜実施形態５＞
実施形態１～４によれば、高精度な異常検出を安定して行うことが可能であるものの、画像全体から異常検出を行うため、異常発生箇所の特定を行うことは困難である。
本実施形態では、異常発生箇所の特定も可能とした架線金具異常検出装置について説明する。
なお、実施形態１～４と同じである場合には同じ符号を付してその説明は省略し、実施形態１～４を援用する。
実施形態１～４によれば、高精度な異常検出を安定して行うことが可能であるものの、画像全体から異常検出を行うため、異常発生箇所の特定を行うことは困難である。
本実施形態では、異常発生箇所の特定も可能とした架線金具異常検出装置について説明する。
なお、実施形態１～４と同じである場合には同じ符号を付してその説明は省略し、実施形態１～４を援用する。
【0049】
図１１は、本実施形態における異常検出モデルの学習処理を示すフローチャートである。
Ｓ１～Ｓ４の処理は、図５と同じである。
データ処理部１３１は、架線金具３の対象パーツについてインデックスの抽出を行うことで、対象パーツを抽出する（Ｓ６）。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の対象パーツの正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５ａ）、処理を終了する。
Ｓ１～Ｓ４の処理は、図５と同じである。
データ処理部１３１は、架線金具３の対象パーツについてインデックスの抽出を行うことで、対象パーツを抽出する（Ｓ６）。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の対象パーツの正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５ａ）、処理を終了する。
【0050】
図１２は、本実施形態における学習済みの異常検出モデルを用いた異常検出処理を示すフローチャートである。
Ｓ１１～Ｓ１４の処理は、図６と同じである。
データ処理部１３１は、対象パーツについてインデックス画像データがあるか否かを判定し（Ｓ２１）、インデックス画像データがない場合（Ｓ２１：Ｎ）には、対象パーツについてパーツなし異常検出（Ｓ２２）として、Ｓ１６に移行する。
インデックス画像データがある場合（Ｓ２１：Ｙ）には、異常判定部１３１３は、記憶装置１２に記憶された、対象パーツのインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、入力画像と出力画像との差分をとり、復元誤差が閾値以上であるか否かを判定する（Ｓ２３）。
復元誤差が閾値以上である場合（Ｓ２３：Ｙ）には、異常判定部１３１３は、異常検出（Ｓ２４）として、Ｓ１６に移行する。
異常判定部１３１３は、異常を検出しない場合にはＳ１１に戻り、異常を検出（Ｓ１６）するとインターフェースに出力し（Ｓ１７）、処理を終了する。
ここで、異常検出処理は、Ｓ２３に示す復元誤差による異常検出処理に代えて、実施形態１にて説明したようにＡＬＯＣＣにより行ってもよい。
Ｓ１１～Ｓ１４の処理は、図６と同じである。
データ処理部１３１は、対象パーツについてインデックス画像データがあるか否かを判定し（Ｓ２１）、インデックス画像データがない場合（Ｓ２１：Ｎ）には、対象パーツについてパーツなし異常検出（Ｓ２２）として、Ｓ１６に移行する。
インデックス画像データがある場合（Ｓ２１：Ｙ）には、異常判定部１３１３は、記憶装置１２に記憶された、対象パーツのインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、入力画像と出力画像との差分をとり、復元誤差が閾値以上であるか否かを判定する（Ｓ２３）。
復元誤差が閾値以上である場合（Ｓ２３：Ｙ）には、異常判定部１３１３は、異常検出（Ｓ２４）として、Ｓ１６に移行する。
異常判定部１３１３は、異常を検出しない場合にはＳ１１に戻り、異常を検出（Ｓ１６）するとインターフェースに出力し（Ｓ１７）、処理を終了する。
ここで、異常検出処理は、Ｓ２３に示す復元誤差による異常検出処理に代えて、実施形態１にて説明したようにＡＬＯＣＣにより行ってもよい。
【0051】
図１３は、本実施形態における異常検出を示す概念図である。
図１３に示すように、本実施形態においては、原画像は、ワンホット（one-hot）化されてワンホット（one-hot）表現インデックス画像データに変換され、各インデックスに対応する異常検出モデルを用いて異常が検出される。
図１３に示すように、本実施形態においては、原画像は、ワンホット（one-hot）化されてワンホット（one-hot）表現インデックス画像データに変換され、各インデックスに対応する異常検出モデルを用いて異常が検出される。
【0052】
以上、本実施形態において説明したように、対象パーツごとに学習処理を行い、学習済みの異常検出モデルを用いて対象パーツごとに異常検出を行うことで、異常発生箇所の特定が可能である。
【0053】
＜実施形態６＞
実施形態５の手法は、画像データをワンホット表現するインデックス画像データによる画像特徴空間を用いた異常検出であるが、対象パーツごとに異常検出を行う場合にも実施形態４と同様に、潜在変数に変換した潜在変数空間を用いて異常検出を行ってもよい。
実施形態５の手法は、画像データをワンホット表現するインデックス画像データによる画像特徴空間を用いた異常検出であるが、対象パーツごとに異常検出を行う場合にも実施形態４と同様に、潜在変数に変換した潜在変数空間を用いて異常検出を行ってもよい。
【0054】
本実施形態によれば、対象パーツごとに異常検出を行う場合に、探索空間を小さく抑え、学習処理及び異常検出処理が容易になる。
また、本実施形態によれば、確率分布に基づいた対象パーツごとの異常検出が可能となる。
従って、本実施形態によれば、対象パーツごとに、高精度な異常検出を安定して行い、異常検出を確率分布に基づいて行うことができる。
また、本実施形態によれば、確率分布に基づいた対象パーツごとの異常検出が可能となる。
従って、本実施形態によれば、対象パーツごとに、高精度な異常検出を安定して行い、異常検出を確率分布に基づいて行うことができる。
【0055】
＜実施形態７＞
実施形態１～６では、形状に基づく異常検出を行っており、錆等のテクスチャの変化として現れる異常を検出することは困難である。
本実施形態では、テクスチャの異常検出を行うことで、錆等を検出することを可能とした架線金具異常検出装置について説明する。
なお、実施形態１～６と同じである場合には同じ符号を付してその説明は省略し、実施形態１～６を援用する。
実施形態１～６では、形状に基づく異常検出を行っており、錆等のテクスチャの変化として現れる異常を検出することは困難である。
本実施形態では、テクスチャの異常検出を行うことで、錆等を検出することを可能とした架線金具異常検出装置について説明する。
なお、実施形態１～６と同じである場合には同じ符号を付してその説明は省略し、実施形態１～６を援用する。
【0056】
図１４は、本実施形態における異常検出モデルの学習処理を示すフローチャートである。
Ｓ１～Ｓ４の処理は、図５と同じである。
データ処理部１３１は、実施形態４と同様に、架線金具３の対象パーツについてインデックスの抽出を行うことで、対象パーツを抽出する（Ｓ６ａ）。
データ処理部１３１は、Ｓ６ａにおいて抽出された対象パーツのインデックス画像データを用いて原画像にマスク処理を行う（Ｓ７）ことで、対象パーツの抽出画像データ（ＲＧＢ情報）を作成し、各パーツの異常検出モデルを作成する。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の対象パーツの正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５ａ）、処理を終了する。
Ｓ１～Ｓ４の処理は、図５と同じである。
データ処理部１３１は、実施形態４と同様に、架線金具３の対象パーツについてインデックスの抽出を行うことで、対象パーツを抽出する（Ｓ６ａ）。
データ処理部１３１は、Ｓ６ａにおいて抽出された対象パーツのインデックス画像データを用いて原画像にマスク処理を行う（Ｓ７）ことで、対象パーツの抽出画像データ（ＲＧＢ情報）を作成し、各パーツの異常検出モデルを作成する。
学習処理部１３２は、記憶装置１２に記憶された、架線金具３の対象パーツの正常状態でのインデックス画像データ群を用いて異常検出モデルの学習処理を行い（Ｓ５ａ）、処理を終了する。
【0057】
図１５は、本実施形態における学習済みの異常検出モデルを用いた異常検出処理を示すフローチャートである。
Ｓ１１～Ｓ１４及びＳ２１～Ｓ２２の処理は、図１２と同じである。
インデックス画像データがある場合（Ｓ２１：Ｙ）には、データ処理部１３１は、マスク処理による対象パーツの抽出を行い（Ｓ３１）、異常判定部１３１３は、記憶装置１２に記憶された、対象パーツのインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、潜在変数のガウス分布中心からの距離が閾値以上であるか否かを判定する（Ｓ２３ａ）。
潜在変数のガウス分布中心からの距離が閾値以上である場合（Ｓ２３ａ：Ｙ）には、異常判定部１３１３は、異常検出（Ｓ２４）として、Ｓ１６に移行する。
異常判定部１３１３は、異常を検出しない場合にはＳ１１に戻り、異常を検出（Ｓ１６）するとインターフェースに出力し（Ｓ１７）、処理を終了する。
Ｓ１１～Ｓ１４及びＳ２１～Ｓ２２の処理は、図１２と同じである。
インデックス画像データがある場合（Ｓ２１：Ｙ）には、データ処理部１３１は、マスク処理による対象パーツの抽出を行い（Ｓ３１）、異常判定部１３１３は、記憶装置１２に記憶された、対象パーツのインデックス画像データ群を用いて学習済みの異常検出モデルによる異常検出処理を行い（Ｓ１５）、潜在変数のガウス分布中心からの距離が閾値以上であるか否かを判定する（Ｓ２３ａ）。
潜在変数のガウス分布中心からの距離が閾値以上である場合（Ｓ２３ａ：Ｙ）には、異常判定部１３１３は、異常検出（Ｓ２４）として、Ｓ１６に移行する。
異常判定部１３１３は、異常を検出しない場合にはＳ１１に戻り、異常を検出（Ｓ１６）するとインターフェースに出力し（Ｓ１７）、処理を終了する。
【0058】
図１６は、本実施形態における異常検出を示す概念図である。
図１６に示すように、本実施形態においては、原画像は、ワンホット（one-hot）化されてワンホット（one-hot）表現インデックス画像データに変換され、各インデックスにマスク処理を行うことで各インデックスの領域抽出画像（ＲＧＢ情報）が生成され、生成された各インデックスの領域抽出画像（ＲＧＢ情報）に対応する異常検出モデルを用いて異常が検出される。
図１６に示すように、本実施形態においては、原画像は、ワンホット（one-hot）化されてワンホット（one-hot）表現インデックス画像データに変換され、各インデックスにマスク処理を行うことで各インデックスの領域抽出画像（ＲＧＢ情報）が生成され、生成された各インデックスの領域抽出画像（ＲＧＢ情報）に対応する異常検出モデルを用いて異常が検出される。
【0059】
以上、本実施形態において説明したように、対象パーツの抽出画像データ（ＲＧＢ情報）ごとに学習処理を行い、学習済みの異常検出モデルを用いて対象パーツごとにテクスチャの異常検出を行うことが可能となる。
そのため、形状に基づくものではない、錆等の異常発生箇所の特定が可能である。
そのため、形状に基づくものではない、錆等の異常発生箇所の特定が可能である。
【0060】
なお、本発明は、上述の実施形態に限定されるものではなく、上述の構成に対して、構成要素の付加、削除又は転換を行った様々な変形例も含むものとする。
【符号の説明】
【0061】
１ 車両
１１ カメラ
１２ 記憶装置
１３ 架線金具異常検出装置
１３１ データ処理部
１３１１ 検出対象検出及び認識処理部
１３１２ 画像変換部
１３１３ 異常判定部
１３２ 学習処理部
１４ インターフェース
２ 軌道
３ 架線金具
１１ カメラ
１２ 記憶装置
１３ 架線金具異常検出装置
１３１ データ処理部
１３１１ 検出対象検出及び認識処理部
１３１２ 画像変換部
１３１３ 異常判定部
１３２ 学習処理部
１４ インターフェース
２ 軌道
３ 架線金具
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】