特開 2023-75660 架線金具異常検知装置および架線金具異常検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023075660

(43)【公開日】2023-05-31

(54)【発明の名称】架線金具異常検知装置および架線金具異常検知方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230524BHJP

   B61L 23/04 20060101ALI20230524BHJP

   G01N 21/88 20060101ALI20230524BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610B

B61L23/04

G01N21/88 J

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021188701

(22)【出願日】2021-11-19

(71)【出願人】

【識別番号】000006105

【氏名又は名称】株式会社明電舎

(71)【出願人】

【識別番号】000173784

【氏名又は名称】公益財団法人鉄道総合技術研究所

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】望月 凛平

(72)【発明者】

【氏名】野田 祥希

(72)【発明者】

【氏名】松村 周

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051AC16

2G051CA03

2G051CA04

2G051EB05

5L096BA03

5L096CA02

5L096EA43

5L096FA19

5L096KA04

5L096KA15

(57)【要約】

【課題】正常データと少量の異常データを利用した半教師あり異常検知手法を取り入れることにより、実運用上で取得された少量の異常データを有効に活用した架線金具異常検知装置および架線金具異常検知方法を提供する。
【解決手段】車両２屋根上に取り付けられるカメラ３と、前記カメラ３から出力された画像データを保存する保存装置５と、前記画像データを変換したワンホット表現インデックス画像データを用いて半教師あり異常検知学習によって異常検知モデルの学習を行う学習処理部９と、前記異常検知モデルによって異常判定を行うデータ処理部７と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両屋根上に取り付けられるカメラと、
前記カメラから出力された画像データを保存する保存装置と、
前記画像データを変換したワンホット表現インデックス画像データを用いて半教師あり異常検知学習によって異常検知モデルの学習を行う学習処理部と、
前記異常検知モデルによって異常判定を行うデータ処理部と、を備える、架線金具異常検知装置。

【請求項2】

前記学習処理部は、
前記画像データから架線金具の検出を行う金具検出部と、
前記検出された架線金具の画像データに対してセマンティックセグメンテーションを実施し、前記画像データをワンホット表現インデックス画像データに変換するセグメンテーション部と、
モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択する学習選択部と、
教師なし異常検知学習を行う教師なし学習部と、
半教師あり異常検知学習を行う半教師あり学習部と、
教師あり異常検知学習を行う教師あり学習部と、を備える請求項１に記載の架線金具異常検知装置。

【請求項3】

前記セグメンテーション部の前記セマンティックセグメンテーションの実施に替えて、前記セマンティックセグメンテーションを実施するセグメンテーションモデルを学習する際に利用するアノテーション画像を用いる、請求項２に記載の架線金具異常検知装置。

【請求項4】

車両屋根上に取り付けられたカメラで撮影すること、
前記カメラで撮影した画像データを保存すること、
前記画像データを変換したワンホット表現インデックス画像データを用いて半教師あり異常検知学習によって異常検知モデルの学習を行うこと、
前記異常検知モデルによって異常判定を行うこと、を含む、架線金具異常検知方法。

【請求項5】

前記異常検知モデルの学習の内容は、
前記画像データから架線金具の検出を行うこと、
前記検出された架線金具の画像データに対してセマンティックセグメンテーションを実施し、前記画像データをワンホット表現インデックス画像データに変換すること、
モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択し学習を行うこと、を含む請求項４に記載の架線金具異常検知方法。

【請求項6】

セマンティックセグメンテーションを実施することに替えて、前記セマンティックセグメンテーションを実施するセグメンテーションモデルを学習する際に利用するアノテーション画像を供給すること、を含む請求項５に記載の架線金具異常検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、架線金具異常検知装置および架線金具異常検知方法に関する。

【背景技術】

【0002】

鉄道設備を点検するためには、車両にカメラを搭載し、鉄道設備を撮像してその撮像画像を解析して異常を検知することが行われている。

【0003】

画像解析の手法として機械学習によって異常検知モデルを作成し、この異常検知モデルを利用して異常を検知する方法がある。機械学習の手法としては、例えば、非特許文献１に示されるような、ＤＥＥＰ ＳＡＤと呼ばれるものが開示されている。
また、従来技術の一例である特許文献１は、ニューラルネットワーク等の生成モデルを用いて画像を生成し、生成された画像と撮影された画像との差を求めて、この差が大きい場合に異常であると判定する技術を開示している。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Lukas Ruff, Robert A. Vandermeulen, Nico Gornitz, Alexander Binder, Emmanuel Muller, Klaus-Robert Muller, Marius Kloft, “Deep Semi-Supervised Anomaly Detection”, International Conference on Learning Representations 2020(ICLR2020)

【特許文献】

【0005】

【特許文献1】特開２０１９－１３３３０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の異常判定では、正常データのみを用いて学習を行った画像生成器の入力画像と生成画像との差分によって異常を判断しているが、正常データとの差が小さい異常に対して異常検出が困難であるという課題がある。
深層学習を用いた異常検知方法として教師あり異常検知、半教師あり異常検知、教師なし異常検知があるが、ここで、教師あり異常検知、教師なし異常検知の課題を以下に示す。本明細書においては、正常データのみを用いて学習する手法を教師なし学習と表現している。

【0007】

＜教師あり学習＞
鉄道設備点検において異常データを取得できる機会は稀であり、取得できるデータはほとんどが正常データであるため、正常データと異常データの双方が必要な教師あり学習は利用することが困難である。仮に教師あり学習をした場合でも正常データと異常データとの量の比率のバランスが取れていない場合、正常データばかりが学習されてしまい異常検出が機能しないことが多い。また、学習するすべてのデータに対してラベル付けする必要があり、非常にコストがかかる。

【0008】

＜教師なし学習＞
教師なし学習では正常なデータのみを用いて学習を行っており、正常な状態や正常なデータ分布から外れたデータを異常として判定することを行う。しかし、わずかな歪みを持った異常データや画角によって異常に見えてしまう正常データなどがあるため、正常と異常の境界付近のデータを識別することが困難な場合がある。学習データの追加や変更によってそれらの問題を解決することも、正常と異常の指標がないため困難な場合がある。教師なし学習の場合、人間が異常と識別できるデータを識別できない場合がある。

【0009】

本発明は、上述した実情に鑑みてなされたものであり、本発明が解決しようとする課題は、正常データと少量の異常データを利用した半教師あり異常検知手法を取り入れることにより、実運用上で取得された少量の異常データを有効に活用した架線金具異常検知装置および架線金具異常検知方法を提供することである。

【課題を解決するための手段】

【0010】

本発明は、上記課題を解決するため、以下の手段を採用する。
本発明の架線金具異常検知装置は、車両屋根上に取り付けられるカメラと、前記カメラから出力された画像データを保存する保存装置と、前記画像データを変換したワンホット表現インデックス画像データを用いて半教師あり異常検知学習によって異常検知モデルの学習を行う学習処理部と、前記異常検知モデルによって異常判定を行うデータ処理部と、を備える。
本発明によれば、半教師あり異常検知学習によって異常検知モデルの学習を行うので、取得した画像データを有効に活用してモデルの学習を行い、そのモデルを利用して架線金具の異常を検知することができる。

【0011】

本発明の一態様では、前記学習処理部は、前記画像データから架線金具の検出を行う金具検出部と、前記検出された架線金具の画像データに対してセマンティックセグメンテーションを実施し、前記画像データをワンホット表現インデックス画像データに変換するセグメンテーション部と、モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択する学習選択部と、教師なし異常検知学習を行う教師なし学習部と、半教師あり異常検知学習を行う半教師あり学習部と、教師あり異常検知学習を行う教師あり学習部と、を備える。
この一態様では、モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択するので、取得した画像データの種類に応じて適切な学習方法が選択できる。

【0012】

本発明の一態様では、前記セグメンテーション部の前記セマンティックセグメンテーションの実施に替えて、前記セマンティックセグメンテーションを実施するセグメンテーションモデルを学習する際に利用するアノテーション画像を用いる。
この一態様では、セマンティックセグメンテーションの実施に替えて、アノテーション画像を用いるので、モデル学習を効率よく行うことができる。

【0013】

本発明の架線金具異常検知方法は、車両屋根上に取り付けられたカメラで撮影すること、前記カメラで撮影した画像データを保存すること、前記画像データを変換したワンホット表現インデックス画像データを用いて半教師あり異常検知学習によって異常検知モデルの学習を行うこと、前記異常検知モデルによって異常判定を行うこと、を含む。
本発明によれば、半教師あり異常検知学習によって異常検知モデルの学習を行うので、取得した画像データを有効に活用してモデルの学習を行い、そのモデルを利用して架線金具の異常を検知することができる。

【0014】

本発明の一態様では、前記異常検知モデルの学習の内容は、前記画像データから架線金具の検出を行うこと、前記検出された架線金具の画像データに対してセマンティックセグメンテーションを実施し、前記画像データをワンホット表現インデックス画像データに変換すること、モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択し学習を行うこと、を含む。
この一態様では、モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択するので、取得した画像データの種類に応じて適切な学習方法が選択できる。

【0015】

本発明の一態様では、セマンティックセグメンテーションを実施することに替えて、前記セマンティックセグメンテーションを実施するセグメンテーションモデルを学習する際に利用するアノテーション画像を供給すること、を含む。
この一態様では、セマンティックセグメンテーションの実施に替えて、アノテーション画像を用いるので、モデル学習を効率よく行うことができる。

【発明の効果】

【0016】

本発明によれば、正常データと少量の異常データを利用した半教師あり異常検知手法を取り入れることにより、実運用上で取得された少量の異常データを有効に活用した架線金具異常検知装置および架線金具異常検知方法を提供することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る架線金具異常検知装置の設置例を示す図である。

【図2】本発明の実施形態に係る架線金具異常検知装置の構成を示すブロック図である。

【図3】本発明の実施形態に係る学習済みの異常検知モデルを用いた異常検出処理を示すフローチャートである。

【図4】本発明の実施形態に係るセグメンテーション部によって変換される前の２５６階調３チャンネルのＲＧＢ画像データを示す図である。

【図5】本発明の実施形態に係るセグメンテーション部によって変換されたワンホット表現インデックス画像データを示す図である。

【図6】本発明の実施形態に係る異常検知モデルの学習処理を示すフローチャートである。

【図7】本発明の実施形態に係る異常検知方法の概念を示す図である。

【図8】本発明の実施形態に係る異常検知モデルの学習処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、添付図面を参照して、本発明の実施の形態について説明する。
（第１実施形態）
図１は、本発明の実施形態に係る架線金具異常検知装置の設置例を示す図である。図２は、実施形態に係る架線金具異常検知装置の構成を示すブロック図である。図１に示すように、本実施形態に係る架線金具異常検知装置１は、レールＲ上を走行する車両２に設置され、架線Ｋの異常検知に用いられる。一例として、架線Ｋとは、吊架線Ｋ１と、この吊架線Ｋ１にハンガＫ２で吊られるトロリ線Ｋ３とを含む構成が考えられる。架線金具異常検知装置１は、車両２屋根上に取り付けられるカメラ３と、このカメラ３から出力された画像データを保存する保存装置５と、この画像データを変換したワンホット表現インデックス画像データを用いて半教師あり異常検知学習によって異常検知モデルの学習を行う学習処理部９と、この異常検知モデルによって異常判定を行うデータ処理部７と、架線金具異常検知装置１の設定や検知結果を入出力するＵＩ（ユーザーインターフェイス）部１１を備える。

【0019】

カメラ３は、例えばエリアセンサカメラもしくはラインセンサカメラ等を用いてよい。必要に応じて照明等を用いるが、必要なのは図1に示す監視画像例のように線状金具を撮影する手段であり、構成は問わない。保存装置５は、例えばハードディスク（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等で構成することができる。データ処理部７、学習処理部９は、ハードウェアにより構成しても良いし、各機能についてそれぞれソフトウェアにより実現しても良い。データ処理部７、学習処理部９は、例えばパーソナルコンピュータ等の情報処理装置である。後述するそれぞれの機能ブロックは、上記情報処理装置内のＣＰＵやＧＰＵによって実行されるソフトウェア、プログラムであってよい。または、データ処理部７、学習処理部９は、クラウドサービス上で提供されるソフトウェア、プログラムであってよい。ＵＩ部１１は、例えばパーソナルコンピュータへの入出力を行うキーボード、マウス、タッチパネル、ディスプレイ等で構成してよい。

【0020】

図２に示すように、データ処理部７は、カメラ３で撮像した画像データから架線金具の検出を行う金具検出部７１と、この検出された架線金具の画像データに対してセマンティックセグメンテーションを実施し、前記画像データをワンホット表現インデックス画像データに変換するセグメンテーション部７２と、異常検知学習によって得られた異常検知モデルによって架線金具の異常を検知する異常検知部７３と、を備える。

【0021】

学習処理部９は、画像データから架線金具の検出を行う金具検出部９１と、検出された架線金具の画像データに対してセマンティックセグメンテーションを実施し、前記画像データをワンホット表現インデックス画像データに変換するセグメンテーション部９２と、モデル学習用に与えられる画像データの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかを選択する学習選択部９３と、教師なし異常検知学習を行う教師なし学習部９４と、半教師あり異常検知学習を行う半教師あり学習部９５と、教師あり異常検知学習を行う教師あり学習部９６と、を備える。

【0022】

ここで、データ処理部７の金具検出部７１と学習処理部９の金具検出部９１とは、ＣＰＵ上で実行される同一のライブラリであってよい。データ処理部７のセグメンテーション部７２と学習処理部９のセグメンテーション部９２とは、ＣＰＵ上で実行される同一のライブラリであってよい。

【0023】

＜架線金具異常検知＞
図３は、データ処理部７で行われる、学習済みの異常検知モデル１７を用いた異常検出処理を示すフローチャートである。この図を参照して、本実施形態における異常検知の動作について説明する。異常検知の処理は、図２におけるデータ処理部７で行われる。異常検知処理が開始されると（Ｓ０１）、車両上に取り付けられたカメラ３によって、架線Ｋの撮影が連続的に行われる（Ｓ０２）。撮影された画像は、保存装置５に送られ画像データとして保存される（Ｓ０３）。保存された画像データは、データ処理部７の金具検出部７１に送られ、保存装置５から呼び出された金具検出モデル１３を使用し撮影された画像データの中から設備点検の対象となる金具を検出し切り出す処理を行う（Ｓ０４）。ここではどのような手法で金具を検出してもよい。検出手法としては、例えば、単純な画像処理やパターンマッチングや深層学習の物体検出手法等をあげることができる。

【0024】

金具検出部７１で金具を検出し切り出しが行われた画像データは、次にセグメンテーション部７２に送られる。セグメンテーション部７２では切り出された金具画像に対して、事前に学習し、保存装置５に保存されていたセグメンテーションモデル１５を用いて、セマンティックセグメンテーションを実施する（Ｓ０５）。図４は、セマンティックセグメンテーションを実施する前のＲＧＢ画像データである。ＲＧＢ画像データは、ＲＧＢ３チャンネルの各チャンネルにおいて［０～２５５］の量的データを有する。図５は、セマンティックセグメンテーションを実施した後のインデックス画像データである。インデックス画像データは、複数のクラスの各クラスにおいて［０，１］の量的データとしてインデックス値を有する。このようにセマンティックセグメンテーションを実施することによって、図４に示す画像をワンホット（ｏｎｅ－ｈｏｔ）表現化して図５に示すワンホット表現インデックス画像データに変換をすることで探索空間を小さくし異常検知の学習難易度を低減することができる。

【0025】

セマンティックセグメンテーションを実施された画像データは、異常検知部７３に送られる。異常検知部７３では、後述する学習フローチャートに基づいて学習し、保存装置５に保存されていた異常検知モデル１７を用いて異常検知を行う（Ｓ０６）。次に、撮影が終了したかどうかの確認が行われ（Ｓ０７）、撮影が継続する場合は、カメラによる撮影が継続され（Ｓ０７：ＮＯ）、撮影が終了した場合は（Ｓ０７：ＹＥＳ）、処理を終了する（Ｓ０８）。

【0026】

＜異常検知モデルの学習＞
図６は、学習処理部９で行われる、異常検知モデルの学習処理を示すフローチャートである。この図を参照して、本実施形態における異常検知モデルの学習について説明する。ここで使用される金具検出モデル１３とセグメンテーションモデル１５は、図３において異常検知に使用したモデルと同じものを用いてよい。異常検知モデルの学習は、図２における学習処理部９で行われる。異常検知モデルの学習が開始されると（Ｓ１０）、保存装置５から学習用に用意された画像データが学習処理部９の金具検出部９１に送られる（Ｓ１１）。

【0027】

金具検出部９１では、金具検出モデル１３を使用し受信した画像データの中から設備点検の対象となる金具を検出し切り出す処理を行う（Ｓ１２）。ここでの金具検出の処理は、図３における金具検出（Ｓ０４）と同じ処理であってよく、前述したようにＣＰＵで実行されるライブラリとして用意されていてよい。金具検出部９１において金具検出処理が終了した画像データは、セグメンテーション部９２に送られる。

【0028】

セグメンテーション部９２では切り出された金具画像に対して、事前に学習したセグメンテーションモデル１５を用いて、セマンティックセグメンテーションを実施する（Ｓ１３）。ここでのセマンティックセグメンテーションの処理は、図３におけるセグメンテーション（Ｓ０５）と同じ処理であってよく、前述したようにＣＰＵで実行されるライブラリとして用意されていてよい。セグメンテーション部９２においてセマンティックセグメンテーションが実施された画像データは、学習選択部９３に送られる。

【0029】

学習選択部９３では、送られてきた画像データを受信し、予め定められた学習用の画像データが蓄積された後、これらの画像データについて教師データとして異常データのインデックスの有無を確認する。学習選択部９３では、確認した異常データの量に基づいて、異常検知モデルの学習方法を選択する（Ｓ１４）。ここで、異常データまたは正常データのインデックス（フラグ）は、金具検出（Ｓ１２）の後に任意の画像データに対して付されている。

【0030】

これまで処理され蓄積された画像データは、異常データがない場合は、教師なし学習部９４に送られ、教師なし異常検知学習が行われる（Ｓ１５）。異常データの量が予め定められた閾値より少ない場合は、画像データは、半教師あり学習部９５に送られ、半教師あり異常検知学習が行われる（Ｓ１６）。異常データの量が予め定められた閾値異常の場合は、画像データは、教師あり学習部９６に送られ、教師あり異常検知学習が行われる（Ｓ１７）。

【0031】

ここで、教師なし異常検知学習の方法としては、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＡｎｏＧＡＮ（Ａｎｏｍａｌｙ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）等をあげることができる。半教師あり異常検知学習の方法としては、後述するＤｅｅｐ ＳＡＤ（Ｄｅｅｐ Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ）、ＦＣＤＤ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄａｔａ Ｄｅｓｃｒｉｐｔｉｏｎ）等をあげることができる。教師あり異常検知学習の方法としては、ＳＶＭ（サポートベクタマシン）、ＲｅｓＮｅｔなどのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を用いた２クラス分類等をあげることができる。

【0032】

教師なし学習部９４、半教師あり学習部９５、教師有り学習部９６のいずれかでモデル学習処理をおこない生成された異常検知モデルは、保存装置５に保存され（Ｓ１８）、一連の異常検知モデルの学習処理が終了する（Ｓ１９）。

【0033】

＜半教師あり異常検知学習＞
本実施形態における半教師あり異常検知学習ではワンホット表現に変換したワンホット表現インデックス画像データに対して学習を実施する。ここで使用する半教師あり学習手法は正常データと少量の異常データを利用できる手法であればどのような手法を用いてもよい。ここでは、非特許文献１に記載の半教師あり異常検知手法Ｄｅｅｐ ＳＡＤ（Ｄｅｅｐ Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ）を用いる場合について示す。

【0034】

図７は、Ｄｅｅｐ ＳＡＤにおけるモデル学習の構造を示す概念図である。Ｄｅｅｐ ＳＡＤの学習では入力されたワンホット表現に変換したワンホット表現インデックス画像データＤをＥｎｃｏｄｅｒ（Ｅ）によって特徴量Ｔの抽出を行い、この特徴抽出した結果を潜在変数空間Ｇ上で距離学習を行う。Ｄｅｅｐ ＳＡＤの学習は以下の［数１］に示す目的関数を最小化することにより実施される。

【0035】

【数1】

【0036】

ここで、ｘは入力データ、ｙは正常＝１または異常＝－１のラベル情報、ｎはラベルなしデータのデータ数、ｍはラベルありデータのデータ数、ηはラベルデータとラベルなしデータの学習の重みづけをするハイパーパラメータ、φはＥｎｃｏｄｅｒの出力、Ｗはネットワークの重みパラメータ、ｃは学習データより算出した超球の中心である。［数１］において、第１項は、ラベルなしのデータの計算、第２項が、ラベルありのデータの計算、第３項は、正規化のための重み付け要素である。目的関数からわかるようにＤｅｅｐ ＳＡＤでは正常データ、少量の異常データ、ラベルなしデータのすべてのデータを学習に活用できる。Ｄｅｅｐ ＳＡＤによる異常検知では以下の［数２］に示す超球の中心ｃからの距離が異常度（ｓｃｏｒｅ）として算出され、その異常度に対して閾値を設けることで異常検知を行う。

【0037】

【数2】

【0038】

異常度（score）は正常であれば小さく、異常であれば大きくなるため、設定した閾値より小さい場合は正常、大きい場合は異常の判定をする。

【0039】

以上述べたように、本実施形態では、異常データの少ないモデル学習用の画像データであっても半教師あり異常検知学習を行って異常検知モデルを作成して異常検知を行うことができる。したがって、正常なデータ、異常なデータ、正常異常が区別されていないデータのすべてを活用することができ、モデル学習におけるコストを低減することができる。正常データの分布を仮定した教師なし学習がベースとなっているため、正常データと異常データがアンバランスなデータセットであっても正常データと異常データが分離可能である。したがって、アンバランスデータセットに対する有効な学習が実施可能である。

【0040】

本実施形態の半教師あり学習では、教師なし学習においては分離が困難であったデータを、半教師あり学習の教師あり学習部分により明示的に分離することが可能になる。したがって、少量の異常データの活用による異常検出精度の向上が可能となる。モデル学習する際には、画像データをワンホット表現するインデックス画像を生成することで、探索空間を小さく抑え、学習処理及び異常検知処理が容易になるため安定した処理が可能となる。また、本実施形態は、実運用におけるデータ取得の過渡期において有効に利用することができ、実運用において取得された異常データを学習に加えていくことにより、より頑健な異常検出装置に改善していくことが可能である。さらに、異常検知モデル学習用のデータの異常データの量に基づいて、教師なし異常検知学習、半教師あり異常検知学習、教師あり異常検知学習のいずれかが選択できるので、モデル学習用のデータの特徴に応じて最適な学習方法を選択することができる。

【0041】

（第２実施形態）
図８は、本実施形態における異常検知モデルの学習処理に係るフローチャートである。本実施形態が、第１実施形態と異なるのは、図６におけるセマンティックセグメンテーションを実施する処理Ｓ１３が、セグメンテーションモデルを学習する際に利用したアノテーション画像を用いる処理Ｓ２３に変更されることである。その他の処理については、同様の処理が行われるので、同じ符号を付してその説明を省略する。本実施形態では、第１実施形態と同様の作用効果に加え、モデル学習の際に、以前にセグメンテーションモデルを学習する際に利用したアノテーション画像を供給し用いるので、学習処理の工程を短縮して効率よく異常検知モデルの学習を行うことができる。

【符号の説明】

【0042】

１ 架線金具異常検知装置
３ カメラ
５ 保存装置
７ データ処理部
９ 学習処理部
９１ 金具検出部
９２ セグメンテーション部
９３ 学習選択部
９４ 教師なし学習部
９５ 半教師あり学習部
９６ 教師あり学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】