知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085677
(43)【公開日】2024-06-27
(54)【発明の名称】異常検知装置及び異常検知方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240620BHJP
G05B 23/02 20060101ALI20240620BHJP
【ＦＩ】
G01N21/88 J
G05B23/02 T
G05B23/02 301Y
G05B23/02 302Z
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022200335
(22)【出願日】2022-12-15
(71)【出願人】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】野田 祥希
【テーマコード（参考）】
2G051
3C223
【Ｆターム（参考）】
2G051AA90
2G051AB20
2G051EB05
3C223AA11
3C223AA21
3C223BB08
3C223CC01
3C223FF45
3C223GG01
3C223HH08
3C223HH13
(57)【要約】 （修正有）
【課題】異常を検知した場合に、異常に関する詳細な情報を出力する。
【解決手段】対象物の異常を検知する異常検知装置１は正常画像を基に深層学習され、推論結果から異常スコア値と異常部分とが出力される異常検知モデル３１と、入力画像の異常スコア値が第１閾値以上の場合に、異常部分を入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と対処の方法を示す異常キャプションを付与して生成された異常データと、正常キャプションを付与して生成された正常データと、を基に、入力に対応して正常キャプションまたは異常キャプションを出力する深層学習されたキャプションモデル４４と、推論対象画像を異常検知モデル３１に入力し、第１閾値以上の場合には異常部分を推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれキャプションモデル４４に入力してキャプションを生成する、推論部５を備える。
【選択図】図１
【解決手段】対象物の異常を検知する異常検知装置１は正常画像を基に深層学習され、推論結果から異常スコア値と異常部分とが出力される異常検知モデル３１と、入力画像の異常スコア値が第１閾値以上の場合に、異常部分を入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と対処の方法を示す異常キャプションを付与して生成された異常データと、正常キャプションを付与して生成された正常データと、を基に、入力に対応して正常キャプションまたは異常キャプションを出力する深層学習されたキャプションモデル４４と、推論対象画像を異常検知モデル３１に入力し、第１閾値以上の場合には異常部分を推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれキャプションモデル４４に入力してキャプションを生成する、推論部５を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物の異常を検知する異常検知装置であって、
前記対象物が正常である場合の正常画像を基に深層学習された異常検知モデルであって、前記対象物が撮影された画像が入力された際の当該異常検知モデルの推論結果から、当該画像内の前記対象物に異常があれば値が高くなるように設定された異常スコア値と、前記画像の異常に相当する部分である異常部分と、が出力可能な、異常検知モデルと、
前記対象物に異常がある場合の異常画像と前記正常画像を含む入力画像が前記異常検知モデルに入力された際の前記異常スコア値が第１閾値以上の場合に、前記異常部分を前記入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与して生成された異常データと、前記異常スコア値が前記第１閾値よりも小さい場合に、前記入力画像に対して前記対象物が正常であることを示す正常キャプションを付与して生成された正常データと、を基に、前記正常画像または前記異常部分強調画像が入力されると、入力に対応して前記正常キャプションまたは前記異常キャプションを出力するように深層学習されたキャプションモデルと、
前記対象物が撮影された推論対象画像を前記異常検知モデルに入力し、前記異常スコア値が前記第１閾値よりも小さい場合には前記推論対象画像を、前記第１閾値以上の場合には前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として前記キャプションモデルに入力してキャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、推論部と、
を備えている、異常検知装置。
前記対象物が正常である場合の正常画像を基に深層学習された異常検知モデルであって、前記対象物が撮影された画像が入力された際の当該異常検知モデルの推論結果から、当該画像内の前記対象物に異常があれば値が高くなるように設定された異常スコア値と、前記画像の異常に相当する部分である異常部分と、が出力可能な、異常検知モデルと、
前記対象物に異常がある場合の異常画像と前記正常画像を含む入力画像が前記異常検知モデルに入力された際の前記異常スコア値が第１閾値以上の場合に、前記異常部分を前記入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与して生成された異常データと、前記異常スコア値が前記第１閾値よりも小さい場合に、前記入力画像に対して前記対象物が正常であることを示す正常キャプションを付与して生成された正常データと、を基に、前記正常画像または前記異常部分強調画像が入力されると、入力に対応して前記正常キャプションまたは前記異常キャプションを出力するように深層学習されたキャプションモデルと、
前記対象物が撮影された推論対象画像を前記異常検知モデルに入力し、前記異常スコア値が前記第１閾値よりも小さい場合には前記推論対象画像を、前記第１閾値以上の場合には前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として前記キャプションモデルに入力してキャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、推論部と、
を備えている、異常検知装置。
【請求項2】
前記キャプションモデルは、前記入力画像が前記異常検知モデルに入力された際の前記異常スコア値が前記第１閾値よりも小さく、かつ、前記第１閾値よりも小さく設定された第２閾値以上の場合には、異常の予兆がある場合とし、前記異常部分を前記入力画像に重ね合わせて作成された異常予兆部分強調画像に対して、異常予兆の種類と、当該異常予兆の種類に対する対処の方法と、を示す異常予兆キャプションを付与して生成された異常予兆データを更に基にして、前記正常画像、前記異常部分強調画像、または前記異常予兆部分強調画像が入力されると、入力に対応して前記正常キャプション、前記異常キャプション、または前記異常予兆キャプションを出力するように深層学習され、
前記推論部は、前記推論対象画像の前記異常スコア値が前記第１閾値よりも小さく、かつ前記第２閾値以上の場合には、前記推論対象画像の前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常予兆部分強調画像を前記推論時モデル入力画像として前記キャプションモデルに入力して前記キャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、請求項１に記載の異常検知装置。
前記推論部は、前記推論対象画像の前記異常スコア値が前記第１閾値よりも小さく、かつ前記第２閾値以上の場合には、前記推論対象画像の前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常予兆部分強調画像を前記推論時モデル入力画像として前記キャプションモデルに入力して前記キャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、請求項１に記載の異常検知装置。
【請求項3】
前記対象物は複数の部位により構成されており、
前記異常画像を基に、複数の前記部位の中から、異常が生じた異常部位を判定するように深層学習された、異常部位判定モデルを更に備え、
前記キャプションモデルの学習に際し、前記入力画像を前記異常部位判定モデルに入力して前記異常部位を判定し、当該入力画像に対して作成された前記異常部分強調画像に対して、前記異常部位判定モデルによって判定された前記異常部位と、前記異常の種類と、当該異常の種類に対する前記対処の方法と、を示すように、前記異常キャプションを生成する、キャプション生成部を備えている、請求項１または２に記載の異常検知装置。
前記異常画像を基に、複数の前記部位の中から、異常が生じた異常部位を判定するように深層学習された、異常部位判定モデルを更に備え、
前記キャプションモデルの学習に際し、前記入力画像を前記異常部位判定モデルに入力して前記異常部位を判定し、当該入力画像に対して作成された前記異常部分強調画像に対して、前記異常部位判定モデルによって判定された前記異常部位と、前記異常の種類と、当該異常の種類に対する前記対処の方法と、を示すように、前記異常キャプションを生成する、キャプション生成部を備えている、請求項１または２に記載の異常検知装置。
【請求項4】
前記異常画像を基に、前記異常の種類を判定するように深層学習された、異常種類判定モデルを更に備え、
前記キャプションモデルの学習に際し、前記入力画像を前記異常種類判定モデルに入力して前記異常の種類を判定し、当該入力画像に対して作成された前記異常部分強調画像に対して、前記異常種類判定モデルによって判定された前記異常の種類と、当該異常の種類に対する前記対処の方法と、を示すように、前記異常キャプションを生成する、キャプション生成部を備えている、請求項１に記載の異常検知装置。
前記キャプションモデルの学習に際し、前記入力画像を前記異常種類判定モデルに入力して前記異常の種類を判定し、当該入力画像に対して作成された前記異常部分強調画像に対して、前記異常種類判定モデルによって判定された前記異常の種類と、当該異常の種類に対する前記対処の方法と、を示すように、前記異常キャプションを生成する、キャプション生成部を備えている、請求項１に記載の異常検知装置。
【請求項5】
対象物の異常を検知する異常検知方法であって、
前記対象物が正常である場合の正常画像を基に深層学習された異常検知モデルであって、前記対象物が撮影された画像が入力された際の当該異常検知モデルの推論結果から、当該画像内の前記対象物に異常があれば値が高くなるように設定された異常スコア値と、前記画像の異常に相当する部分である異常部分と、が出力可能な、異常検知モデルに、前記対象物が撮影された推論対象画像を入力し、
前記対象物に異常がある場合の異常画像と前記正常画像を含む入力画像が前記異常検知モデルに入力された際の前記異常スコア値が第１閾値以上の場合に、前記異常部分を前記入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与して生成された異常データと、前記異常スコア値が前記第１閾値よりも小さい場合に、前記入力画像に対して前記対象物が正常であることを示す正常キャプションを付与して生成された正常データと、を基に、前記正常画像または前記異常部分強調画像が入力されると、入力に対応して前記正常キャプションまたは前記異常キャプションを出力するように深層学習されたキャプションモデルに、前記推論対象画像の前記異常スコア値が前記第１閾値よりも小さい場合には前記推論対象画像を、前記第１閾値以上の場合には前記推論対象画像の前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として入力してキャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、異常検知方法。
前記対象物が正常である場合の正常画像を基に深層学習された異常検知モデルであって、前記対象物が撮影された画像が入力された際の当該異常検知モデルの推論結果から、当該画像内の前記対象物に異常があれば値が高くなるように設定された異常スコア値と、前記画像の異常に相当する部分である異常部分と、が出力可能な、異常検知モデルに、前記対象物が撮影された推論対象画像を入力し、
前記対象物に異常がある場合の異常画像と前記正常画像を含む入力画像が前記異常検知モデルに入力された際の前記異常スコア値が第１閾値以上の場合に、前記異常部分を前記入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与して生成された異常データと、前記異常スコア値が前記第１閾値よりも小さい場合に、前記入力画像に対して前記対象物が正常であることを示す正常キャプションを付与して生成された正常データと、を基に、前記正常画像または前記異常部分強調画像が入力されると、入力に対応して前記正常キャプションまたは前記異常キャプションを出力するように深層学習されたキャプションモデルに、前記推論対象画像の前記異常スコア値が前記第１閾値よりも小さい場合には前記推論対象画像を、前記第１閾値以上の場合には前記推論対象画像の前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として入力してキャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、異常検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異常検知装置及び異常検知方法に関する。
【背景技術】
【0002】
工場で生産した製品の不良の有無を確認したり、稼働中の設備の異常の有無を確認して円滑に運用を進めたりするような目的で、部品、製品、設備等の外観検査が行われている。外観検査は、その対象となる物品（以下、対象物と称する）を撮影して対象物が含まれる画像を取得し、当該画像を自動的に解析して異常を検知することによって、行われることがある。
上記のような手法は、例えば環境や建物等に生じた異常を検知する目的においても、採用され得る。これに関し、特許文献１には、電力関連施設、工場、プラント等からの、油の流出の監視を行う作業者の作業を支援する、油流出監視システムが開示されている。
具体的には、特許文献１の油流出監視システムは、現場を撮影した映像を取得する映像取得部と、上記映像に写っている油を検出する機械学習モデルである油検出モデルを記憶する記憶部と、上記映像において油が写っている領域を油検出モデルを用いて特定する油検出部と、油が写っている上記領域を示す情報である領域情報を拡張現実として上記映像とともに表示する映像表示部と、を備える。
上記のような手法は、例えば環境や建物等に生じた異常を検知する目的においても、採用され得る。これに関し、特許文献１には、電力関連施設、工場、プラント等からの、油の流出の監視を行う作業者の作業を支援する、油流出監視システムが開示されている。
具体的には、特許文献１の油流出監視システムは、現場を撮影した映像を取得する映像取得部と、上記映像に写っている油を検出する機械学習モデルである油検出モデルを記憶する記憶部と、上記映像において油が写っている領域を油検出モデルを用いて特定する油検出部と、油が写っている上記領域を示す情報である領域情報を拡張現実として上記映像とともに表示する映像表示部と、を備える。
【0003】
上記のような異常検知設備においては、対象物に異常があると検知した場合に、画像のどの部分に、どのような異常があるか、といった異常の詳細が、異常検知設備によってより具体的に示されると、利便性がより向上する。
例えば、上記の特許文献１に記載された油流出監視システムは、映像に写っている油に関する、油種、性状、汚れ具合等の属性情報を、機械学習モデルである油属性判定モデルにより取得し、映像表示部は、取得した属性情報や当該属性情報に基づく情報を拡張現実として上記映像とともに表示する。
例えば、上記の特許文献１に記載された油流出監視システムは、映像に写っている油に関する、油種、性状、汚れ具合等の属性情報を、機械学習モデルである油属性判定モデルにより取得し、映像表示部は、取得した属性情報や当該属性情報に基づく情報を拡張現実として上記映像とともに表示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１１２３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載された構成においては、映像に関連して表示される情報は、機械学習モデルである油属性判定モデルにより取得された属性情報に基づいている。すなわち、油属性判定モデルが出力するのは、単なる油の属性に関する情報であるため、油流出監視システムが表示し得る情報は、この属性情報に関連するものに限定されてしまい、更なる詳細な情報を提供することが容易ではない。
異常を検知した場合に、異常に関するより詳細な情報を出力することが望まれている。
異常を検知した場合に、異常に関するより詳細な情報を出力することが望まれている。
【0006】
本発明が解決しようとする課題は、異常を検知した場合に、異常に関する詳細な情報を出力することができる、異常検知装置及び異常検知方法を提供することである。
【課題を解決するための手段】
【0007】
本発明は、上記課題を解決するため、以下の手段を採用する。すなわち、本発明は、対象物の異常を検知する異常検知装置であって、前記対象物が正常である場合の正常画像を基に深層学習された異常検知モデルであって、前記対象物が撮影された画像が入力された際の当該異常検知モデルの推論結果から、当該画像内の前記対象物に異常があれば値が高くなるように設定された異常スコア値と、前記画像の異常に相当する部分である異常部分と、が出力可能な、異常検知モデルと、前記対象物に異常がある場合の異常画像と前記正常画像を含む入力画像が前記異常検知モデルに入力された際の前記異常スコア値が第１閾値以上の場合に、前記異常部分を前記入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与して生成された異常データと、前記異常スコア値が前記第１閾値よりも小さい場合に、前記入力画像に対して前記対象物が正常であることを示す正常キャプションを付与して生成された正常データと、を基に、前記正常画像または前記異常部分強調画像が入力されると、入力に対応して前記正常キャプションまたは前記異常キャプションを出力するように深層学習されたキャプションモデルと、前記対象物が撮影された推論対象画像を前記異常検知モデルに入力し、前記異常スコア値が前記第１閾値よりも小さい場合には前記推論対象画像を、前記第１閾値以上の場合には前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として前記キャプションモデルに入力してキャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、推論部と、を備えている、異常検知装置を提供する。
【0008】
また、本発明は、対象物の異常を検知する異常検知方法であって、前記対象物が正常である場合の正常画像を基に深層学習された異常検知モデルであって、前記対象物が撮影された画像が入力された際の当該異常検知モデルの推論結果から、当該画像内の前記対象物に異常があれば値が高くなるように設定された異常スコア値と、前記画像の異常に相当する部分である異常部分と、が出力可能な、異常検知モデルに、前記対象物が撮影された推論対象画像を入力し、前記対象物に異常がある場合の異常画像と前記正常画像を含む入力画像が前記異常検知モデルに入力された際の前記異常スコア値が第１閾値以上の場合に、前記異常部分を前記入力画像に重ね合わせて作成された異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与して生成された異常データと、前記異常スコア値が前記第１閾値よりも小さい場合に、前記入力画像に対して前記対象物が正常であることを示す正常キャプションを付与して生成された正常データと、を基に、前記正常画像または前記異常部分強調画像が入力されると、入力に対応して前記正常キャプションまたは前記異常キャプションを出力するように深層学習されたキャプションモデルに、前記推論対象画像の前記異常スコア値が前記第１閾値よりも小さい場合には前記推論対象画像を、前記第１閾値以上の場合には前記推論対象画像の前記異常部分を前記推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として入力してキャプションを生成し、前記推論時モデル入力画像とともに前記キャプションを出力する、異常検知方法を提供する。
【発明の効果】
【0009】
本発明によれば、異常を検知した場合に、異常に関する詳細な情報を出力することができる、異常検知装置及び異常検知方法を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態における異常検知装置のブロック図である。
【図2】上記実施形態の異常検知方法における、異常検知モデルとキャプションモデルの学習時のフローチャートである。
【図3】正常データの説明図である。
【図4】対象物に異常がある画像の説明図である。
【図7】異常データの説明図である。
【図8】上記実施形態の異常検知方法における、異常の検知時のフローチャートである。
【図9】上記実施形態の第１変形例における正常データの説明図である。
【図10】上記第１変形例における異常データの説明図である。
【図11】上記実施形態の第３変形例における、異常検知モデルとキャプションモデルの学習時のフローチャートである。
【図12】異常予兆データの説明図である。
【図13】上記第３変形例における、異常の検知時のフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態における異常検知装置のブロック図である。
異常検知装置１は、対象物が撮影された画像を基に、対象物の異常を検知する。対象物としては、工場で生産した製品や部品等が挙げられる。この場合には、異常検知装置１は、例えば、対象物の不良の有無を確認して対象物の品質を維持するために用いられ得る。また、対象物としては、稼働中の設備等が挙げられる。この場合には、異常検知装置１は、例えば、稼働中の対象物の異常の有無を確認して、対象物を円滑に運用するために用いられ得る。あるいは、異常検知装置１は、環境や建物等を対象物とし、これらに生じた異常を検知するためにも、用いられ得る。
図１は、本実施形態における異常検知装置のブロック図である。
異常検知装置１は、対象物が撮影された画像を基に、対象物の異常を検知する。対象物としては、工場で生産した製品や部品等が挙げられる。この場合には、異常検知装置１は、例えば、対象物の不良の有無を確認して対象物の品質を維持するために用いられ得る。また、対象物としては、稼働中の設備等が挙げられる。この場合には、異常検知装置１は、例えば、稼働中の対象物の異常の有無を確認して、対象物を円滑に運用するために用いられ得る。あるいは、異常検知装置１は、環境や建物等を対象物とし、これらに生じた異常を検知するためにも、用いられ得る。
【0012】
異常検知装置１は、例えばパーソナルコンピュータやサーバ等の情報処理装置である。異常検知装置１は、画像データベース２、異常検知モデル学習部３、キャプションモデル学習部４、推論部５、入力部６、撮影部７、及び表示部８を備えている。
これら異常検知装置１の構成要素のうち、異常検知モデル学習部３、キャプションモデル学習部４、及び推論部５は、例えば上記の情報処理装置内のＣＰＵにより実行されるソフトウェア、プログラムであってよい。また、画像データベース２は、上記情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置により実現されていてよい。
異常検知モデル学習部３、キャプションモデル学習部４、及び推論部５の各々は、全てが同一の情報処理装置の中に設けられても構わないし、複数の情報処理装置の中に、これらが分散して、互いに連携しながら動作するように設けられても構わない。
これら異常検知装置１の構成要素のうち、異常検知モデル学習部３、キャプションモデル学習部４、及び推論部５は、例えば上記の情報処理装置内のＣＰＵにより実行されるソフトウェア、プログラムであってよい。また、画像データベース２は、上記情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置により実現されていてよい。
異常検知モデル学習部３、キャプションモデル学習部４、及び推論部５の各々は、全てが同一の情報処理装置の中に設けられても構わないし、複数の情報処理装置の中に、これらが分散して、互いに連携しながら動作するように設けられても構わない。
【0013】
画像データベース２は、対象物に関する、対象物が撮影された画像が格納された、データベースである。画像データベース２は、正常画像データベース２ａと異常画像データベース２ｂを備えている。正常画像データベース２ａには、画像データベース２に格納された画像のうち、対象物に異常がない、正常である場合の画像である正常画像が、分類されて格納されている。異常画像データベース２ｂには、画像データベース２に格納された画像のうち、対象物に異常がある、正常ではない場合における画像である異常画像が、分類されて格納されている。異常画像データベース２ｂにおいては、各異常画像に対して、当該異常画像に対応する異常の種類が、対応付けて格納されている。
【0014】
異常検知モデル学習部３は、異常検知モデル３１を備えている。異常検知モデル学習部３は、異常検知モデル３１を、正常画像を基に、深層学習する。異常検知モデル３１は、対象物が撮影された画像が入力されると、その際の異常検知モデル３１の推論結果から、当該画像内の対象物に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分と、が出力可能となるように、構成されている。
【0015】
キャプションモデル学習部４は、異常検知モデル３１、画像加工部４１、キャプション生成部４２、及び学習処理部４３を備えている。学習処理部４３は、キャプションモデル４４を備えている。キャプションモデル学習部４は、キャプションモデル４４を深層学習する。
キャプションモデル学習部４における異常検知モデル３１は、異常検知モデル学習部３によって深層学習された、学習済みの異常検知モデル３１と同一のものである。深層学習された学習済みの異常検知モデル３１は、異常検知モデル学習部３からキャプションモデル学習部４にコピーされて、あるいはキャプションモデル学習部４が異常検知モデル学習部３内の異常検知モデル３１と通信しながら、キャプションモデル学習部４によって使用される。
キャプションモデル学習部４における異常検知モデル３１は、異常検知モデル学習部３によって深層学習された、学習済みの異常検知モデル３１と同一のものである。深層学習された学習済みの異常検知モデル３１は、異常検知モデル学習部３からキャプションモデル学習部４にコピーされて、あるいはキャプションモデル学習部４が異常検知モデル学習部３内の異常検知モデル３１と通信しながら、キャプションモデル学習部４によって使用される。
【0016】
キャプションモデル学習部４は、画像データベース２の、異常画像と前記正常画像を含む画像を、入力画像として、学習済みの異常検知モデル３１に入力する。キャプションモデル学習部４は、異常検知モデル３１による推論結果から、入力画像の異常スコア値と異常部分を生成し、出力する。
画像加工部４１は、異常スコア値が第１閾値以上の場合に、異常部分を、入力画像に重ね合わせて、異常部分強調画像を作成する。
キャプション生成部４２は、異常スコア値が第１閾値以上の場合に、異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与し、異常データを生成する。
キャプション生成部４２はまた、異常スコア値が第１閾値よりも小さい場合に、入力画像に対して対象物が正常であることを示す正常キャプションを付与し、正常データを生成する。
学習処理部４３は、正常データと異常データを基に、キャプションモデル４４を、正常画像または異常部分強調画像が入力されると、対応する正常キャプションまたは異常キャプションを出力するように、深層学習する。
画像加工部４１は、異常スコア値が第１閾値以上の場合に、異常部分を、入力画像に重ね合わせて、異常部分強調画像を作成する。
キャプション生成部４２は、異常スコア値が第１閾値以上の場合に、異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションを付与し、異常データを生成する。
キャプション生成部４２はまた、異常スコア値が第１閾値よりも小さい場合に、入力画像に対して対象物が正常であることを示す正常キャプションを付与し、正常データを生成する。
学習処理部４３は、正常データと異常データを基に、キャプションモデル４４を、正常画像または異常部分強調画像が入力されると、対応する正常キャプションまたは異常キャプションを出力するように、深層学習する。
【0017】
撮影部７は、例えばカメラ等であり、異常検知の対象となる対象物の画像を撮影し、推論対象画像として、推論部５へ送信する。
推論部５は、画像加工部５１を備えている。推論部５は、画像加工部５１と、上記のようにして学習された、異常検知モデル３１とキャプションモデル４４を用いて、撮影部７から送信された推論対象画像の中の対象物に異常があれば、これを検知する。
より詳細には、推論部５は、対象物が撮影された推論対象画像を異常検知モデルに入力する。推論部５は、異常検知モデル３１による推論結果から、推論対象画像の異常スコア値と異常部分を生成し、出力する。推論部５は、異常スコア値が第１閾値よりも小さい場合には推論対象画像を、第１閾値以上の場合には異常部分を推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像としてキャプションモデルに入力してキャプションを生成し、推論時モデル入力画像とともに、キャプションを出力する。
画像加工部５１は、推論対象画像の異常スコア値が第１閾値以上の場合に、推論対象画像の異常部分を、推論対象画像に重ね合わせて、推論時異常部分強調画像を作成する。画像加工部５１は、機能的には、キャプションモデル学習部４の画像加工部４１と同様に動作する。
推論部５における異常検知モデル３１は、異常検知モデル学習部３によって深層学習された、学習済みの異常検知モデル３１と同一のものである。深層学習された学習済みの異常検知モデル３１は、異常検知モデル学習部３から推論部５にコピーされて、あるいは推論部５が異常検知モデル学習部３内の異常検知モデル３１と通信しながら、推論部５によって使用される。
推論部５におけるキャプションモデル４４は、キャプションモデル学習部４によって深層学習された、学習済みのキャプションモデル４４と同一のものである。深層学習された学習済みのキャプションモデル４４は、キャプションモデル学習部４から推論部５にコピーされて、あるいは推論部５がキャプションモデル学習部４内のキャプションモデル４４と通信しながら、推論部５によって使用される。
推論部５は、画像加工部５１を備えている。推論部５は、画像加工部５１と、上記のようにして学習された、異常検知モデル３１とキャプションモデル４４を用いて、撮影部７から送信された推論対象画像の中の対象物に異常があれば、これを検知する。
より詳細には、推論部５は、対象物が撮影された推論対象画像を異常検知モデルに入力する。推論部５は、異常検知モデル３１による推論結果から、推論対象画像の異常スコア値と異常部分を生成し、出力する。推論部５は、異常スコア値が第１閾値よりも小さい場合には推論対象画像を、第１閾値以上の場合には異常部分を推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像としてキャプションモデルに入力してキャプションを生成し、推論時モデル入力画像とともに、キャプションを出力する。
画像加工部５１は、推論対象画像の異常スコア値が第１閾値以上の場合に、推論対象画像の異常部分を、推論対象画像に重ね合わせて、推論時異常部分強調画像を作成する。画像加工部５１は、機能的には、キャプションモデル学習部４の画像加工部４１と同様に動作する。
推論部５における異常検知モデル３１は、異常検知モデル学習部３によって深層学習された、学習済みの異常検知モデル３１と同一のものである。深層学習された学習済みの異常検知モデル３１は、異常検知モデル学習部３から推論部５にコピーされて、あるいは推論部５が異常検知モデル学習部３内の異常検知モデル３１と通信しながら、推論部５によって使用される。
推論部５におけるキャプションモデル４４は、キャプションモデル学習部４によって深層学習された、学習済みのキャプションモデル４４と同一のものである。深層学習された学習済みのキャプションモデル４４は、キャプションモデル学習部４から推論部５にコピーされて、あるいは推論部５がキャプションモデル学習部４内のキャプションモデル４４と通信しながら、推論部５によって使用される。
【0018】
入力部６は、例えばキーボードやマウス等であり、使用者による、異常検知装置１への入力を受け付ける。
表示部８は、例えばディスプレイやプリンタ等であり、異常検知装置１内の情報を表示し、使用者による閲覧を可能とする。
表示部８は、例えばディスプレイやプリンタ等であり、異常検知装置１内の情報を表示し、使用者による閲覧を可能とする。
【0019】
上記のように、異常検知装置１においては、推論部５によって対象物の異常を検知する際に、前段階として、異常検知モデル３１とキャプションモデル４４の深層学習を行う必要がある。
すなわち、異常検知装置１は大別して、深層学習時における学習と、対象物の異常の検知の、２通りの動作を行う。説明を簡単にするために、以下ではまず、深層学習時における、異常検知装置１の各構成要素の挙動を、フローチャートに基づいて説明した後に、異常を検知する場合での各構成要素の挙動を、同様にフローチャートに基づいて説明する。
すなわち、異常検知装置１は大別して、深層学習時における学習と、対象物の異常の検知の、２通りの動作を行う。説明を簡単にするために、以下ではまず、深層学習時における、異常検知装置１の各構成要素の挙動を、フローチャートに基づいて説明した後に、異常を検知する場合での各構成要素の挙動を、同様にフローチャートに基づいて説明する。
【0020】
図２は、本実施形態の異常検知方法における、異常検知モデルとキャプションモデルの学習時のフローチャートである。
異常検知装置１においては、まず、異常検知モデル学習部３が、異常検知モデル３１を深層学習する（ステップＳ１）。
異常検知モデル３１は、機械学習器が、正常画像データベース２ａに格納された、対象物が正常である場合の正常画像を基に深層学習されることで、生成される。すなわち、異常検知モデル３１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習されたものである。
対象物が撮影された画像が異常検知モデル３１に入力されると、その際の推論結果から、当該画像内の対象物に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分と、が出力され得るように、異常検知モデル３１は構成されている。
異常検知装置１においては、まず、異常検知モデル学習部３が、異常検知モデル３１を深層学習する（ステップＳ１）。
異常検知モデル３１は、機械学習器が、正常画像データベース２ａに格納された、対象物が正常である場合の正常画像を基に深層学習されることで、生成される。すなわち、異常検知モデル３１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習されたものである。
対象物が撮影された画像が異常検知モデル３１に入力されると、その際の推論結果から、当該画像内の対象物に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分と、が出力され得るように、異常検知モデル３１は構成されている。
【0021】
本実施形態においては、異常検知モデル３１としては、例えば教師なし機械学習である、オートエンコーダ（ＡｕｔｏＥｎｃｏｄｅｒ）が使用され得る。オートエンコーダにおいては、画像が入力されると、畳み込み処理によって低次元に圧縮された後に、逆畳み込み処理によって復元されるようにして、入力された画像が再構成される。この、入力された画像と再構成された画像との間の誤差である、平均二乗誤差等の再構成誤差が小さくなるように、オートエンコーダ内の各種のパラメータが調整されることで、オートエンコーダは学習される。
正常画像データベース２ａに格納された、対象物が正常である場合の正常画像を基に、オートエンコーダを深層学習することによって、異常検知モデル３１を生成する場合には、学習済みの異常検知モデル３１に対して正常画像を入力すると、再構成誤差が小さい値となり、対象物に異常がある場合の異常画像を入力すると、再構成誤差が大きな値となる。ここで、上記の異常スコア値は、画像内の対象物に異常があれば値が高くなるように設定される必要がある。このため、異常検知モデル３１としてオートエンコーダを使用した場合においては、再構成誤差を、異常スコア値として採用することができる。
また、正常画像データベース２ａに格納された、対象物が正常である場合の正常画像を基に、オートエンコーダを深層学習することによって、異常検知モデル３１を生成する場合には、学習済みの異常検知モデル３１に異常画像を入力すると、概念的には、異常画像に似た正常画像が再構成されて出力される。このため、入力された画像と再構成された画像との類似度や差分を計算することにより、異常と考えられる領域を浮かび上がらせ、抽出することができる。このような処理を行うことで、オートエンコーダを使用した場合には、推論結果から、入力された画像のなかで、対象物の異常に相当する部分である異常部分が出力されるように構成することができる。
正常画像データベース２ａに格納された、対象物が正常である場合の正常画像を基に、オートエンコーダを深層学習することによって、異常検知モデル３１を生成する場合には、学習済みの異常検知モデル３１に対して正常画像を入力すると、再構成誤差が小さい値となり、対象物に異常がある場合の異常画像を入力すると、再構成誤差が大きな値となる。ここで、上記の異常スコア値は、画像内の対象物に異常があれば値が高くなるように設定される必要がある。このため、異常検知モデル３１としてオートエンコーダを使用した場合においては、再構成誤差を、異常スコア値として採用することができる。
また、正常画像データベース２ａに格納された、対象物が正常である場合の正常画像を基に、オートエンコーダを深層学習することによって、異常検知モデル３１を生成する場合には、学習済みの異常検知モデル３１に異常画像を入力すると、概念的には、異常画像に似た正常画像が再構成されて出力される。このため、入力された画像と再構成された画像との類似度や差分を計算することにより、異常と考えられる領域を浮かび上がらせ、抽出することができる。このような処理を行うことで、オートエンコーダを使用した場合には、推論結果から、入力された画像のなかで、対象物の異常に相当する部分である異常部分が出力されるように構成することができる。
【0022】
異常検知モデル３１としては、上記のような、推論結果から異常スコア値や異常部分を出力することができるような性質を有するものであれば、オートエンコーダに限らず、他の種類の機械学習器、学習モデルを使用しても構わない。例えば、異常検知モデル３１としては、エンドツーエンド（ＥＮＤ ＴＯ ＥＮＤ）で学習するＰａｔｃｈ ＣｏｒｅやＣＳ－Ｆｌｏｗ等のモデルや、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）を使用しても構わない。
【0023】
異常検知モデル学習部３による、異常検知モデル３１の深層学習が終了すると、次にキャプションモデル学習部４が、キャプションモデル４４を深層学習する。
これには、キャプションモデル学習部４が、画像データベース２内の、異常画像と、正常画像と、の双方を含む画像全体から、画像を一つずつ取り出し、これを入力画像として異常検知モデル３１に入力する（ステップＳ３）。
すなわち、キャプションモデル学習部４は、異常検知モデル学習部３によって事前に深層学習されて、各パラメータの値が調整、決定された、学習済みの異常検知モデル３１を、例えばＣＰＵ上でプログラムとして実行させる。
キャプションモデル学習部４は、入力画像に対する異常検知モデル３１の推論結果から、異常スコア値を取得する。キャプションモデル学習部４はまた、入力画像と、異常検知モデル３１の推論結果としての再構成された画像との差分を計算し、異常部分を取得する。
キャプションモデル学習部４は、異常スコア値を、第１閾値と比較する（ステップＳ５）。
第１閾値は、異常スコア値が第１閾値以上であれば、入力画像の中の対象物に異常があり、異常スコア値が第１閾値よりも小さければ、入力画像の中の対象物が正常であると判別できるように、適切な値として事前に決定されている。
これには、キャプションモデル学習部４が、画像データベース２内の、異常画像と、正常画像と、の双方を含む画像全体から、画像を一つずつ取り出し、これを入力画像として異常検知モデル３１に入力する（ステップＳ３）。
すなわち、キャプションモデル学習部４は、異常検知モデル学習部３によって事前に深層学習されて、各パラメータの値が調整、決定された、学習済みの異常検知モデル３１を、例えばＣＰＵ上でプログラムとして実行させる。
キャプションモデル学習部４は、入力画像に対する異常検知モデル３１の推論結果から、異常スコア値を取得する。キャプションモデル学習部４はまた、入力画像と、異常検知モデル３１の推論結果としての再構成された画像との差分を計算し、異常部分を取得する。
キャプションモデル学習部４は、異常スコア値を、第１閾値と比較する（ステップＳ５）。
第１閾値は、異常スコア値が第１閾値以上であれば、入力画像の中の対象物に異常があり、異常スコア値が第１閾値よりも小さければ、入力画像の中の対象物が正常であると判別できるように、適切な値として事前に決定されている。
【0024】
異常スコア値が第１閾値よりも小さい場合には（ステップＳ５のＮｏ）、キャプション生成部４２が、対象物が正常であることを示す正常キャプションを生成する（ステップＳ７）。
そして、キャプション生成部４２は、正常キャプションを、異常検知モデル３１への入力となった入力画像に付与し、関連付けることで、対象物が正常である場合におけるキャプションモデル４４の学習データである、入力画像と正常キャプションを含む、正常データを生成する（ステップＳ９）。
図３は、正常データの説明図である。
図３に示される正常データＮＤにおいては、入力画像ＩＧに、キャプション生成部４２により生成された正常キャプションＮＣが付与されて構成されている。正常キャプションＮＣは、例えばテキストデータとして生成される。正常データＮＤが生成される場合においては、異常スコア値が第１閾値よりも小さいため、入力画像ＩＧの中の対象物１００は正常であり、異常検知モデル３１の推論結果を基に異常部分が出力されたとしても、その領域の面積は非常に小さいものであると考えられる。本実施形態における対象物１００の名称を便宜的に「部品Ａ」とすると、正常キャプションＮＣとしては、例えば、「部品Ａに異常なし」等と、対象物１００が正常であることを示す趣旨のものとなる。
そして、キャプション生成部４２は、正常キャプションを、異常検知モデル３１への入力となった入力画像に付与し、関連付けることで、対象物が正常である場合におけるキャプションモデル４４の学習データである、入力画像と正常キャプションを含む、正常データを生成する（ステップＳ９）。
図３は、正常データの説明図である。
図３に示される正常データＮＤにおいては、入力画像ＩＧに、キャプション生成部４２により生成された正常キャプションＮＣが付与されて構成されている。正常キャプションＮＣは、例えばテキストデータとして生成される。正常データＮＤが生成される場合においては、異常スコア値が第１閾値よりも小さいため、入力画像ＩＧの中の対象物１００は正常であり、異常検知モデル３１の推論結果を基に異常部分が出力されたとしても、その領域の面積は非常に小さいものであると考えられる。本実施形態における対象物１００の名称を便宜的に「部品Ａ」とすると、正常キャプションＮＣとしては、例えば、「部品Ａに異常なし」等と、対象物１００が正常であることを示す趣旨のものとなる。
【0025】
異常スコア値が第１閾値以上の場合には（ステップＳ５のＹｅｓ）、画像加工部４１がまず、異常部分を、入力画像ＩＧに重ね合わせて、異常部分強調画像を作成する（ステップＳ１１）。
図４は、対象物に異常がある画像の説明図である。図５は、図４の画像における異常部分の説明図である。図６は、図５の異常部分を図４の異常画像に重ね合わせて作成された異常部分強調画像の説明図である。
ステップＳ１１が実行される場合においては、異常スコア値が第１閾値以上であるため、入力画像ＩＧの中の対象物１００には異常があり、異常検知モデル３１の推論結果を基に出力された異常部分ＡＰの領域の面積は、一定以上に大きい面積を有するものであると考えられる。
画像加工部４１は、この異常部分ＡＰを、より厳密には異常部分ＡＰを含むように生成された差分画像ＡＡを、入力画像ＩＧに重ね合わせて、図６に示されるような、異常部分強調画像ＡＥを作成する。このようにして作成された異常部分強調画像ＡＥは、入力画像ＩＧとなった異常画像ＡＩの中の、異常１０１に相当する部分が、入力画像ＩＧよりも強調された画像となっている。
図４は、対象物に異常がある画像の説明図である。図５は、図４の画像における異常部分の説明図である。図６は、図５の異常部分を図４の異常画像に重ね合わせて作成された異常部分強調画像の説明図である。
ステップＳ１１が実行される場合においては、異常スコア値が第１閾値以上であるため、入力画像ＩＧの中の対象物１００には異常があり、異常検知モデル３１の推論結果を基に出力された異常部分ＡＰの領域の面積は、一定以上に大きい面積を有するものであると考えられる。
画像加工部４１は、この異常部分ＡＰを、より厳密には異常部分ＡＰを含むように生成された差分画像ＡＡを、入力画像ＩＧに重ね合わせて、図６に示されるような、異常部分強調画像ＡＥを作成する。このようにして作成された異常部分強調画像ＡＥは、入力画像ＩＧとなった異常画像ＡＩの中の、異常１０１に相当する部分が、入力画像ＩＧよりも強調された画像となっている。
【0026】
次に、キャプション生成部４２が、対象物に異常があることを示す異常キャプションを生成する（ステップＳ１３）。
そして、キャプション生成部４２は、異常キャプションを、画像加工部４１により作成された異常部分強調画像ＡＥに付与し、関連付けることで、対象物１００に異常がある場合におけるキャプションモデル４４の学習データである、異常部分強調画像ＡＥと異常キャプションを含む、異常データを生成する（ステップＳ１５）。
図７は、異常データの説明図である。
図７に示される異常データＡＤにおいては、異常部分強調画像ＡＥに、キャプション生成部４２により生成された異常キャプションＡＣが付与されて構成されている。異常キャプションＡＣは、例えばテキストデータとして生成される。異常キャプションＡＣとしては、例えば、「部品Ａに異常Ｎ１あり、対処Ｈ１を実施してください」等と、対象物１００に異常があることを示すとともに、異常の種類と、当該異常の種類に対する対処の方法と、を併せて示す趣旨のものとなる。
異常キャプションＡＣには、上記のような異常の種類と、当該異常の種類に対する対処の方法に加えて、他の情報をも含むようにしてもよい。例えば、異常キャプションＡＣには、異常がはじめて生じた後に経過したと考えられる時間、当該異常の種類に対応する異常の深刻度等の情報が、付加情報として、付与されていてもよい。
そして、キャプション生成部４２は、異常キャプションを、画像加工部４１により作成された異常部分強調画像ＡＥに付与し、関連付けることで、対象物１００に異常がある場合におけるキャプションモデル４４の学習データである、異常部分強調画像ＡＥと異常キャプションを含む、異常データを生成する（ステップＳ１５）。
図７は、異常データの説明図である。
図７に示される異常データＡＤにおいては、異常部分強調画像ＡＥに、キャプション生成部４２により生成された異常キャプションＡＣが付与されて構成されている。異常キャプションＡＣは、例えばテキストデータとして生成される。異常キャプションＡＣとしては、例えば、「部品Ａに異常Ｎ１あり、対処Ｈ１を実施してください」等と、対象物１００に異常があることを示すとともに、異常の種類と、当該異常の種類に対する対処の方法と、を併せて示す趣旨のものとなる。
異常キャプションＡＣには、上記のような異常の種類と、当該異常の種類に対する対処の方法に加えて、他の情報をも含むようにしてもよい。例えば、異常キャプションＡＣには、異常がはじめて生じた後に経過したと考えられる時間、当該異常の種類に対応する異常の深刻度等の情報が、付加情報として、付与されていてもよい。
【0027】
ここで、既に説明したように、異常画像データベース２ｂにおいては、各異常画像ＡＩに対して、当該異常画像ＡＩに対応する異常の種類が、予め対応付けて格納されている。異常キャプションＡＣを生成する場合においては、これが付与される対象となる異常部分強調画像ＡＥの基となる入力画像ＩＧは、対象物１００に異常がある場合の異常画像ＡＩであると考えられるため、異常画像ＡＩに対応付けて格納されている異常の種類を取得することができる。このようにして、上記のステップＳ１３において異常キャプションＡＣを生成するに際し、異常キャプションＡＣ内に情報として含まれる異常の種類を、自動的に取得することができる。
これに替えて、後に変形例として説明するように、異常画像ＡＩから、異常画像ＡＩに含まれる異常の種類を判定するように深層学習された、異常種類判定モデルを設け、これにより異常の種類を判定するように構成してもよい。
また、異常キャプションＡＣを自動で生成するに際し、異常の種類と、これに対する対処の方法と、の対応関係を、予め保持しておけば、異常の種類が決定されると、これに伴って対処の方法も決定されるので、より望ましい。
これに替えて、後に変形例として説明するように、異常画像ＡＩから、異常画像ＡＩに含まれる異常の種類を判定するように深層学習された、異常種類判定モデルを設け、これにより異常の種類を判定するように構成してもよい。
また、異常キャプションＡＣを自動で生成するに際し、異常の種類と、これに対する対処の方法と、の対応関係を、予め保持しておけば、異常の種類が決定されると、これに伴って対処の方法も決定されるので、より望ましい。
【0028】
異常の種類の各々に対して、複数の対処の方法が提案されるように、異常キャプションＡＣが生成されるようにしてもよい。この場合においては、異常キャプションＡＣとしては、例えば、「部品Ａに異常Ｎ１あり、対処Ｈ１または対処Ｈ２を実施してください」等というものとなり得る。
あるいは、異常画像ＡＩにおいて、対象物１００に、複数の種類の異常が生じている場合や、異常の種類の候補が複数考えられるがそのなかから一つの候補を明確には限定できないような場合等においては、複数の種類の異常の可能性があることを通知する趣旨の異常キャプションＡＣが生成されるようにしてもよい。この場合においては、異常キャプションＡＣとしては、例えば、「部品Ａに異常Ｎ１または異常Ｎ２あり、対処Ｈ１または対処Ｈ２を実施してください」等というものとなり得る。
あるいは、異常画像ＡＩにおいて、対象物１００に、複数の種類の異常が生じている場合や、異常の種類の候補が複数考えられるがそのなかから一つの候補を明確には限定できないような場合等においては、複数の種類の異常の可能性があることを通知する趣旨の異常キャプションＡＣが生成されるようにしてもよい。この場合においては、異常キャプションＡＣとしては、例えば、「部品Ａに異常Ｎ１または異常Ｎ２あり、対処Ｈ１または対処Ｈ２を実施してください」等というものとなり得る。
【0029】
ステップＳ９における正常データＮＤの生成、またはステップＳ１５における異常データＡＤの生成が終了すると、キャプションモデル学習部４は、キャプションモデル４４を十分に学習させるだけの学習データが生成されたかを判断する（ステップＳ１７）。
この判断は、これまでに生成された正常データＮＤと異常データＡＤの総量が一定以上となったか否かで行われてもよい。あるいは、画像データベース２内の全ての、あるいは所定の割合の数の、画像に対して、ステップＳ３～Ｓ１５までの処理が行われたか否かによって、上記の判断がなされてもよい。
学習データの生成が終了していないと判断した場合においては（ステップＳ１７のＮｏ）、ステップＳ３に戻り、ステップＳ３以降の処理を繰り返す。
この判断は、これまでに生成された正常データＮＤと異常データＡＤの総量が一定以上となったか否かで行われてもよい。あるいは、画像データベース２内の全ての、あるいは所定の割合の数の、画像に対して、ステップＳ３～Ｓ１５までの処理が行われたか否かによって、上記の判断がなされてもよい。
学習データの生成が終了していないと判断した場合においては（ステップＳ１７のＮｏ）、ステップＳ３に戻り、ステップＳ３以降の処理を繰り返す。
【0030】
学習データの生成が終了したと判断した場合においては（ステップＳ１７のＹｅｓ）、学習処理部４３が、正常データＮＤと、異常データＡＤと、を基に、キャプションモデル４４を、深層学習する（ステップＳ１９）。
より詳細には、学習処理部４３は、対象物１００が正常である場合の正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応する正常キャプションＮＣを出力するように、キャプションモデル４４を深層学習する。また、学習処理部４３は、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応する異常キャプションＡＣを出力するように、キャプションモデル４４を深層学習する。このようなキャプションモデル４４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習されたものである。
より詳細には、学習処理部４３は、対象物１００が正常である場合の正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応する正常キャプションＮＣを出力するように、キャプションモデル４４を深層学習する。また、学習処理部４３は、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応する異常キャプションＡＣを出力するように、キャプションモデル４４を深層学習する。このようなキャプションモデル４４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される、適切な学習パラメータが学習されたものである。
【0031】
このようなキャプションモデル４４としては、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と、自然言語を扱うための再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）から構成される、ニューラル画像キャプション（Ｎｅｕｒａｌ Ｉｍａｇｅ Ｃａｐｔｉｏｎ）が使用され得る。ニューラル画像キャプションは、入力された画像から、畳み込みニューラルネットワークによって特徴を抽出して再帰型ニューラルネットワークに渡し、再帰型ニューラルネットワークにおいては、この特徴を初期値として、文字列としてのキャプションを再帰的に生成する。
【0032】
次に、異常検知モデル３１とキャプションモデル４４の学習が終了した後の、実際に対象物１００を撮影して、対象物１００の異常を検知する場合における、各構成要素の挙動を説明する。
図８は、本実施形態の異常検知方法における、異常の検知時のフローチャートである。
まず、使用者が、撮影部７により、異常の検知を行う対象となる対象物１００を撮影することで、異常の検知を推論する対象となる、対象物１００が撮影された推論対象画像を取得し、異常検知装置１に入力する（ステップＳ３１）。
対象物１００による撮影は、使用者により手動に行われるのではなく、例えば工場において対象物１００が製品として生産される場合においては、生産物としての対象物１００が搬送されるベルトコンベア等を撮影するように撮影部７を設け、対象物１００が搬送されたときに自動的に対象物１００を撮影するようにしてもよい。
あるいは、稼働中の設備に異常がないか定期的に確認するような場合には、当該設備を対象物１００として常時撮影するように撮影部７を設け、定期的に対象物１００を撮影するようにしてもよい。
図８は、本実施形態の異常検知方法における、異常の検知時のフローチャートである。
まず、使用者が、撮影部７により、異常の検知を行う対象となる対象物１００を撮影することで、異常の検知を推論する対象となる、対象物１００が撮影された推論対象画像を取得し、異常検知装置１に入力する（ステップＳ３１）。
対象物１００による撮影は、使用者により手動に行われるのではなく、例えば工場において対象物１００が製品として生産される場合においては、生産物としての対象物１００が搬送されるベルトコンベア等を撮影するように撮影部７を設け、対象物１００が搬送されたときに自動的に対象物１００を撮影するようにしてもよい。
あるいは、稼働中の設備に異常がないか定期的に確認するような場合には、当該設備を対象物１００として常時撮影するように撮影部７を設け、定期的に対象物１００を撮影するようにしてもよい。
【0033】
推論部５は、このようにして撮影された推論対象画像を、異常検知モデル３１に入力する（ステップＳ３３）。
すなわち、推論部５は、異常検知モデル学習部３によって事前に深層学習されて、各パラメータの値が調整、決定された、学習済みの異常検知モデル３１を、例えばＣＰＵ上でプログラムとして実行させる。
推論部５は、推論対象画像に対する異常検知モデル３１の推論結果から、異常スコア値を取得する。推論部５はまた、推論対象画像と、異常検知モデル３１の推論結果としての再構成された画像との差分を計算し、異常部分ＡＰを取得する。
推論部５は、異常スコア値を、第１閾値と比較する（ステップＳ３５）。この第１閾値は、キャプションモデル学習部４において使用されたものと同じ値であってよい。
すなわち、推論部５は、異常検知モデル学習部３によって事前に深層学習されて、各パラメータの値が調整、決定された、学習済みの異常検知モデル３１を、例えばＣＰＵ上でプログラムとして実行させる。
推論部５は、推論対象画像に対する異常検知モデル３１の推論結果から、異常スコア値を取得する。推論部５はまた、推論対象画像と、異常検知モデル３１の推論結果としての再構成された画像との差分を計算し、異常部分ＡＰを取得する。
推論部５は、異常スコア値を、第１閾値と比較する（ステップＳ３５）。この第１閾値は、キャプションモデル学習部４において使用されたものと同じ値であってよい。
【0034】
異常スコア値が第１閾値よりも小さい場合は（ステップＳ３５のＮｏ）、入力された推論対象画像内に撮影された対象物１００には異常がないと考えられる場合である。このため、推論部５は、推論対象画像そのものを、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ３７）。
すなわち、推論部５は、キャプションモデル学習部４によって事前に深層学習されて、各パラメータの値が調整、決定された、学習済みのキャプションモデル４４を、例えばＣＰＵ上でプログラムとして実行させる。
ここで、キャプションモデル４４は、対象物１００が正常である場合の正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応する正常キャプションＮＣを出力するように、深層学習されている。このため、異常がないと考えられる推論対象画像が推論時モデル入力画像としてキャプションモデル４４に入力された際には、キャプションモデル４４は、例えば、「部品Ａに異常なし」等の、推論対象画像内に撮影された対象物１００には異常がなく正常であることを示す、正常キャプションＮＣを、推論対象画像に対するキャプションとして生成する。
すなわち、推論部５は、キャプションモデル学習部４によって事前に深層学習されて、各パラメータの値が調整、決定された、学習済みのキャプションモデル４４を、例えばＣＰＵ上でプログラムとして実行させる。
ここで、キャプションモデル４４は、対象物１００が正常である場合の正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応する正常キャプションＮＣを出力するように、深層学習されている。このため、異常がないと考えられる推論対象画像が推論時モデル入力画像としてキャプションモデル４４に入力された際には、キャプションモデル４４は、例えば、「部品Ａに異常なし」等の、推論対象画像内に撮影された対象物１００には異常がなく正常であることを示す、正常キャプションＮＣを、推論対象画像に対するキャプションとして生成する。
【0035】
その後、推論部５は、推論時モデル入力画像である推論対象画像とともに、生成されたキャプションを、表示部８に表示する（ステップＳ３９）。
表示部８に表示された推論対象画像内に撮影された対象物１００においては、異常部分が（存在しないか微小な領域であるために）強調されておらず、また表示されたキャプションにおいても対象物１００には異常がなく正常であることを示す趣旨となっている。したがって、使用者は、これらの情報を基に、推論対象画像内に撮影された対象物１００からは、異常が検知されず、正常であると判断することができる。
表示部８に表示された推論対象画像内に撮影された対象物１００においては、異常部分が（存在しないか微小な領域であるために）強調されておらず、また表示されたキャプションにおいても対象物１００には異常がなく正常であることを示す趣旨となっている。したがって、使用者は、これらの情報を基に、推論対象画像内に撮影された対象物１００からは、異常が検知されず、正常であると判断することができる。
【0036】
他方、異常スコア値が第１閾値以上の場合は（ステップＳ３５のＹｅｓ）、入力された推論対象画像内に撮影された対象物１００は異常があると考えられる場合である。この場合には、図６の異常部分強調画像ＡＥと同様に、画像加工部５１が、異常部分ＡＰを、推論対象画像に重ね合わせて、推論時異常部分強調画像を作成する（ステップＳ４１）。
そして、推論部５は、推論時異常部分強調画像を、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ４３）。
ここで、キャプションモデル４４は、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応する異常キャプションＡＣを出力するように、深層学習されている。このため、異常があると考えられる推論時異常部分強調画像が推論時モデル入力画像としてキャプションモデル４４に入力された際には、キャプションモデル４４は、例えば、「部品Ａに異常Ｎ１あり、対処Ｈ１を実施してください」等の、推論時異常部分強調画像内に撮影された対象物１００に異常があることを示すとともに、異常の種類と、当該異常の種類に対する対処の方法と、を併せて示す、異常キャプションＡＣを、推論時異常部分強調画像に対するキャプションとして生成する。
そして、推論部５は、推論時異常部分強調画像を、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ４３）。
ここで、キャプションモデル４４は、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応する異常キャプションＡＣを出力するように、深層学習されている。このため、異常があると考えられる推論時異常部分強調画像が推論時モデル入力画像としてキャプションモデル４４に入力された際には、キャプションモデル４４は、例えば、「部品Ａに異常Ｎ１あり、対処Ｈ１を実施してください」等の、推論時異常部分強調画像内に撮影された対象物１００に異常があることを示すとともに、異常の種類と、当該異常の種類に対する対処の方法と、を併せて示す、異常キャプションＡＣを、推論時異常部分強調画像に対するキャプションとして生成する。
【0037】
その後、推論部５は、推論時モデル入力画像である推論時異常部分強調画像とともに、生成されたキャプションを、表示部８に表示する（ステップＳ４５）。
表示部８に表示された推論時異常部分強調画像内に撮影された対象物１００においては、異常が強調されて表示されている。また、表示されたキャプションにおいては、異常の種類と、当該異常の種類に対する対処の方法とが示されている。したがって、使用者は、これらの情報を基に、推論対象画像内に撮影された対象物１００に、どのような種類の異常が生じたのかを認識し、当該異常に対してどのような対処を取ればよいのかを把握することができる。
表示部８に表示された推論時異常部分強調画像内に撮影された対象物１００においては、異常が強調されて表示されている。また、表示されたキャプションにおいては、異常の種類と、当該異常の種類に対する対処の方法とが示されている。したがって、使用者は、これらの情報を基に、推論対象画像内に撮影された対象物１００に、どのような種類の異常が生じたのかを認識し、当該異常に対してどのような対処を取ればよいのかを把握することができる。
【0038】
次に、上記の異常検知装置及び異常検知方法の効果について説明する。
【0039】
上記のような異常検知装置１は、対象物１００の異常を検知する異常検知装置１であって、対象物１００が正常である場合の正常画像ＮＩを基に深層学習された異常検知モデル３１であって、対象物１００が撮影された画像が入力された際の当該異常検知モデル３１の推論結果から、当該画像内の対象物１００に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分ＡＰと、が出力可能な、異常検知モデル３１と、対象物１００に異常がある場合の異常画像ＡＩと正常画像ＮＩを含む入力画像ＩＧが異常検知モデル３１に入力された際の異常スコア値が第１閾値以上の場合に、異常部分ＡＰを入力画像ＩＧに重ね合わせて作成された異常部分強調画像ＡＥに対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを付与して生成された異常データＡＤと、異常スコア値が第１閾値よりも小さい場合に、入力画像ＩＧに対して対象物１００が正常であることを示す正常キャプションＮＣを付与して生成された正常データＮＤと、を基に、正常画像ＮＩまたは異常部分強調画像ＡＥが入力されると、入力に対応して正常キャプションＮＣまたは異常キャプションＡＣを出力するように深層学習されたキャプションモデル４４と、対象物１００が撮影された推論対象画像を異常検知モデル３１に入力し、異常スコア値が第１閾値よりも小さい場合には推論対象画像を、第１閾値以上の場合には異常部分ＡＰを推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像としてキャプションモデル４４に入力してキャプションを生成し、推論時モデル入力画像とともにキャプションを出力する、推論部５と、を備えている。
また、上記のような異常検知方法は、対象物１００の異常を検知する異常検知方法であって、対象物１００が正常である場合の正常画像ＮＩを基に深層学習された異常検知モデル３１であって、対象物１００が撮影された画像が入力された際の当該異常検知モデル３１の推論結果から、当該画像内の対象物１００に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分ＡＰと、が出力可能な、異常検知モデル３１に、対象物１００が撮影された推論対象画像を入力し、対象物１００に異常がある場合の異常画像ＡＩと正常画像ＮＩを含む入力画像ＩＧが異常検知モデル３１に入力された際の異常スコア値が第１閾値以上の場合に、異常部分ＡＰを入力画像ＩＧに重ね合わせて作成された異常部分強調画像ＡＥに対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを付与して生成された異常データＡＤと、異常スコア値が第１閾値よりも小さい場合に、入力画像ＩＧに対して対象物１００が正常であることを示す正常キャプションＮＣを付与して生成された正常データＮＤと、を基に、正常画像ＮＩまたは異常部分強調画像ＡＥが入力されると、入力に対応して正常キャプションＮＣまたは異常キャプションＡＣを出力するように深層学習されたキャプションモデル４４に、推論対象画像の異常スコア値が第１閾値よりも小さい場合には推論対象画像を、第１閾値以上の場合には推論対象画像の異常部分ＡＰを推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として入力してキャプションを生成し、推論時モデル入力画像とともにキャプションを出力する。
上記のような構成によれば、異常検知の対象となる、対象物１００が撮影された推論対象画像は、異常検知モデル３１に入力される。異常検知モデル３１は、対象物１００が正常である場合の正常画像ＮＩを基に深層学習されている。また、異常検知モデル３１に対して、対象物１００が撮影された画像が入力されると、その際の推論結果から、当該画像内の対象物１００に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分ＡＰと、が出力可能である。
異常スコア値は、推論対象画像内の対象物１００に異常がない場合においては、低い値となり、異常がある場合においては、高い値となる。このため、推論対象画像内の対象物１００に異常がない場合においては、異常検知モデル３１の推論結果から出力された異常スコア値は第１閾値よりも小さい値となり、推論対象画像が推論時モデル入力画像としてキャプションモデル４４に入力される。キャプションモデル４４は、異常スコア値が第１閾値よりも小さい値となるような入力画像ＩＧに対して対象物１００が正常であることを示す正常キャプションＮＣを付与して生成された正常データＮＤを基に、正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応して正常キャプションＮＣを出力するように深層学習されている。したがって、キャプションモデル４４は、推論対象画像に対して正常キャプションＮＣを出力する。結果として、異常検知装置１は、推論時モデル入力画像すなわち推論対象画像とともに、正常キャプションＮＣを出力するため、これらを基に、使用者は、対象物１００に異常がなく、正常であることを確認することができる。
また、推論対象画像内の対象物１００に異常がある場合においては、異常検知モデル３１の推論結果から出力された異常スコア値は第１閾値以上となり、異常検知モデル３１の推論結果から出力された異常部分ＡＰを推論対象画像に重ね合わせて作成された推論時異常部分強調画像が、推論時モデル入力画像としてキャプションモデル４４に入力される。キャプションモデル４４は、異常スコア値が第１閾値以上となるような入力画像ＩＧが入力された場合に、入力画像ＩＧを異常検知モデル３１に入力して得られる異常部分ＡＰを、入力画像ＩＧに重ね合わせて作成された、異常部分強調画像ＡＥに対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを付与して生成された異常データＡＤを基に、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応して異常キャプションＡＣを出力するように深層学習されている。したがって、キャプションモデル４４は、推論時異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを出力する。結果として、異常検知装置１は、推論時モデル入力画像すなわち推論時異常部分強調画像とともに、異常の種類と、当該異常の種類に対する対処の方法と、を異常キャプションＡＣとして出力するため、これらを基に、使用者は、対象物１００に異常があること、画像中の異常だと考えられる部分、異常の種類と、及び異常に対する対処の方法とを、併せて確認することができる。
このようにして、異常を検知した場合に、異常に対する対処の方法を含む、異常に関する詳細な情報を出力することができる。
また、上記のような異常検知方法は、対象物１００の異常を検知する異常検知方法であって、対象物１００が正常である場合の正常画像ＮＩを基に深層学習された異常検知モデル３１であって、対象物１００が撮影された画像が入力された際の当該異常検知モデル３１の推論結果から、当該画像内の対象物１００に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分ＡＰと、が出力可能な、異常検知モデル３１に、対象物１００が撮影された推論対象画像を入力し、対象物１００に異常がある場合の異常画像ＡＩと正常画像ＮＩを含む入力画像ＩＧが異常検知モデル３１に入力された際の異常スコア値が第１閾値以上の場合に、異常部分ＡＰを入力画像ＩＧに重ね合わせて作成された異常部分強調画像ＡＥに対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを付与して生成された異常データＡＤと、異常スコア値が第１閾値よりも小さい場合に、入力画像ＩＧに対して対象物１００が正常であることを示す正常キャプションＮＣを付与して生成された正常データＮＤと、を基に、正常画像ＮＩまたは異常部分強調画像ＡＥが入力されると、入力に対応して正常キャプションＮＣまたは異常キャプションＡＣを出力するように深層学習されたキャプションモデル４４に、推論対象画像の異常スコア値が第１閾値よりも小さい場合には推論対象画像を、第１閾値以上の場合には推論対象画像の異常部分ＡＰを推論対象画像に重ね合わせて作成された推論時異常部分強調画像を、それぞれ推論時モデル入力画像として入力してキャプションを生成し、推論時モデル入力画像とともにキャプションを出力する。
上記のような構成によれば、異常検知の対象となる、対象物１００が撮影された推論対象画像は、異常検知モデル３１に入力される。異常検知モデル３１は、対象物１００が正常である場合の正常画像ＮＩを基に深層学習されている。また、異常検知モデル３１に対して、対象物１００が撮影された画像が入力されると、その際の推論結果から、当該画像内の対象物１００に異常があれば値が高くなるように設定された異常スコア値と、画像の異常に相当する部分である異常部分ＡＰと、が出力可能である。
異常スコア値は、推論対象画像内の対象物１００に異常がない場合においては、低い値となり、異常がある場合においては、高い値となる。このため、推論対象画像内の対象物１００に異常がない場合においては、異常検知モデル３１の推論結果から出力された異常スコア値は第１閾値よりも小さい値となり、推論対象画像が推論時モデル入力画像としてキャプションモデル４４に入力される。キャプションモデル４４は、異常スコア値が第１閾値よりも小さい値となるような入力画像ＩＧに対して対象物１００が正常であることを示す正常キャプションＮＣを付与して生成された正常データＮＤを基に、正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応して正常キャプションＮＣを出力するように深層学習されている。したがって、キャプションモデル４４は、推論対象画像に対して正常キャプションＮＣを出力する。結果として、異常検知装置１は、推論時モデル入力画像すなわち推論対象画像とともに、正常キャプションＮＣを出力するため、これらを基に、使用者は、対象物１００に異常がなく、正常であることを確認することができる。
また、推論対象画像内の対象物１００に異常がある場合においては、異常検知モデル３１の推論結果から出力された異常スコア値は第１閾値以上となり、異常検知モデル３１の推論結果から出力された異常部分ＡＰを推論対象画像に重ね合わせて作成された推論時異常部分強調画像が、推論時モデル入力画像としてキャプションモデル４４に入力される。キャプションモデル４４は、異常スコア値が第１閾値以上となるような入力画像ＩＧが入力された場合に、入力画像ＩＧを異常検知モデル３１に入力して得られる異常部分ＡＰを、入力画像ＩＧに重ね合わせて作成された、異常部分強調画像ＡＥに対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを付与して生成された異常データＡＤを基に、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応して異常キャプションＡＣを出力するように深層学習されている。したがって、キャプションモデル４４は、推論時異常部分強調画像に対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを出力する。結果として、異常検知装置１は、推論時モデル入力画像すなわち推論時異常部分強調画像とともに、異常の種類と、当該異常の種類に対する対処の方法と、を異常キャプションＡＣとして出力するため、これらを基に、使用者は、対象物１００に異常があること、画像中の異常だと考えられる部分、異常の種類と、及び異常に対する対処の方法とを、併せて確認することができる。
このようにして、異常を検知した場合に、異常に対する対処の方法を含む、異常に関する詳細な情報を出力することができる。
【0040】
特に、上記のような構成においては、キャプションモデル４４は、異常部分強調画像ＡＥに対して、異常の種類と、当該異常の種類に対する対処の方法と、を示す異常キャプションＡＣを付与して生成された異常データＡＤを基に、異常部分強調画像ＡＥが入力されると、対応する異常キャプションＡＣを出力するように深層学習されている。すなわち、このキャプションモデル４４を学習する段階において、異常キャプションＡＣに、異常に関する他の様々な、例えば異常がはじめて生じた後に経過したと考えられる時間、当該異常の種類に対応する異常の深刻度等の付加情報を追加することで、異常が検知されたときに表示されるキャプションの情報量を、容易に増やすことができる。
これにより、異常を検知した場合に、異常に対する対処の方法を含む、異常に関する詳細な情報を、効率的に、出力することができる。
これにより、異常を検知した場合に、異常に対する対処の方法を含む、異常に関する詳細な情報を、効率的に、出力することができる。
【0041】
［実施形態の第１変形例］
次に、図１、図２、図８、図９、図１０を用いて、上記実施形態として示した異常検知装置及び異常検知方法の第１変形例を説明する。図９は、本変形例における正常データの説明図である。図１０は、本変形例における異常データの説明図である。本変形例における異常検知装置１Ａ及び異常検知方法は、対象物１００が複数の部位１０２で構成されており、異常が生じた部位１０２を特定するようなキャプションを出力する点が異なっている。
例えば図９において、入力画像ＩＧに撮影されている対象物１００は、左側に位置する部位１０２Ａ、中央に位置する部位１０２Ｂ、及び右側に位置する部位１０２Ｃの、３つの部位１０２により構成されている。以下においては、部位１０２Ａ、部位１０２Ｂ、及び部位１０２Ｃの名称を、それぞれ、「部品Ａ」、「部品Ｂ」、「部品Ｃ」と呼称する。
次に、図１、図２、図８、図９、図１０を用いて、上記実施形態として示した異常検知装置及び異常検知方法の第１変形例を説明する。図９は、本変形例における正常データの説明図である。図１０は、本変形例における異常データの説明図である。本変形例における異常検知装置１Ａ及び異常検知方法は、対象物１００が複数の部位１０２で構成されており、異常が生じた部位１０２を特定するようなキャプションを出力する点が異なっている。
例えば図９において、入力画像ＩＧに撮影されている対象物１００は、左側に位置する部位１０２Ａ、中央に位置する部位１０２Ｂ、及び右側に位置する部位１０２Ｃの、３つの部位１０２により構成されている。以下においては、部位１０２Ａ、部位１０２Ｂ、及び部位１０２Ｃの名称を、それぞれ、「部品Ａ」、「部品Ｂ」、「部品Ｃ」と呼称する。
【0042】
図２を用いて、本変形例の、異常検知モデル３１とキャプションモデル４４の学習時の処理について説明する。具体的には、本変形例においては、主にキャプション生成部４２の処理内容が、上記実施形態とは異なっている。
本変形例においても、正常画像ＮＩと異常画像ＡＩには、全ての部位１０２を含む、対象物１００全体が撮影されている。このため、ステップＳ１の、異常検知モデル３１の学習は、対象物１００が複数の部位１０２で構成されていたとしても、対象物１００全体を対象としたものとして、上記実施形態と同様に行われる。
異常検知モデル３１の学習が終了すると、画像データベース２内に格納された画像全体から、画像を一つずつ取り出し、これを入力画像ＩＧとして異常検知モデル３１に入力する（ステップＳ３）。
キャプションモデル学習部４は、入力画像ＩＧに対する異常検知モデル３１の推論結果から、異常スコア値を取得する。キャプションモデル学習部４はまた、入力画像ＩＧと、異常検知モデル３１の推論結果としての再構成された画像との差分を計算し、異常部分を取得する。
キャプションモデル学習部４は、異常スコア値を、第１閾値と比較する（ステップＳ５）。
本変形例においても、正常画像ＮＩと異常画像ＡＩには、全ての部位１０２を含む、対象物１００全体が撮影されている。このため、ステップＳ１の、異常検知モデル３１の学習は、対象物１００が複数の部位１０２で構成されていたとしても、対象物１００全体を対象としたものとして、上記実施形態と同様に行われる。
異常検知モデル３１の学習が終了すると、画像データベース２内に格納された画像全体から、画像を一つずつ取り出し、これを入力画像ＩＧとして異常検知モデル３１に入力する（ステップＳ３）。
キャプションモデル学習部４は、入力画像ＩＧに対する異常検知モデル３１の推論結果から、異常スコア値を取得する。キャプションモデル学習部４はまた、入力画像ＩＧと、異常検知モデル３１の推論結果としての再構成された画像との差分を計算し、異常部分を取得する。
キャプションモデル学習部４は、異常スコア値を、第１閾値と比較する（ステップＳ５）。
【0043】
異常スコア値が第１閾値よりも小さい場合には（ステップＳ５のＮｏ）、キャプション生成部４２が、対象物１００が正常であることを示す正常キャプションＮＣを生成する（ステップＳ７）。この際の正常キャプションＮＣは、図９に示されるように、例えば、「部品Ａに異常なし、部品Ｂに異常なし、部品Ｃに異常なし」等と、各部位１０２が正常であり、結果として対象物１００が全体として正常であることを示す趣旨のものとなる。
そして、キャプション生成部４２は、正常キャプションＮＣを、異常検知モデル３１への入力となった入力画像ＩＧに付与し、関連付けることで、正常データＮＤを生成する（ステップＳ９）。
そして、キャプション生成部４２は、正常キャプションＮＣを、異常検知モデル３１への入力となった入力画像ＩＧに付与し、関連付けることで、正常データＮＤを生成する（ステップＳ９）。
【0044】
異常スコア値が第１閾値以上の場合には（ステップＳ５のＹｅｓ）、画像加工部４１がまず、異常部分ＡＰを、入力画像ＩＧに重ね合わせて、図１０に示されるような、異常部分強調画像ＡＥを作成する（ステップＳ１１）。
次に、キャプション生成部４２が、対象物に異常があることを示す異常キャプションＡＣを生成する（ステップＳ１３）。この際の異常キャプションＡＣは、例えば、「部品Ａに異常なし、部品Ｂに異常なし、部品Ｃに異常Ｎ２あり、対処Ｈ２を実施してください」等と、対象物１００のなかで異常がある部位１０２がどれかが明確に特定され、当該部位１０２における異常の種類と、当該異常の種類に対する対処の方法と、を併せて示す趣旨のものとなる。
そして、キャプション生成部４２は、異常キャプションＡＣを、画像加工部４１により作成された異常部分強調画像ＡＥに付与し、関連付けることで、異常データＡＤを生成する（ステップＳ１５）。
次に、キャプション生成部４２が、対象物に異常があることを示す異常キャプションＡＣを生成する（ステップＳ１３）。この際の異常キャプションＡＣは、例えば、「部品Ａに異常なし、部品Ｂに異常なし、部品Ｃに異常Ｎ２あり、対処Ｈ２を実施してください」等と、対象物１００のなかで異常がある部位１０２がどれかが明確に特定され、当該部位１０２における異常の種類と、当該異常の種類に対する対処の方法と、を併せて示す趣旨のものとなる。
そして、キャプション生成部４２は、異常キャプションＡＣを、画像加工部４１により作成された異常部分強調画像ＡＥに付与し、関連付けることで、異常データＡＤを生成する（ステップＳ１５）。
【0045】
上記のような処理を、ステップＳ１７において学習データの生成が終了したと判断されるまで実行し、その後、学習処理部４３が、正常データＮＤと、異常データＡＤと、を基に、キャプションモデル４４を、深層学習する（ステップＳ１９）。
このようにして深層学習されたキャプションモデル４４は、図８として示されるような手順で異常の検知を行う場合においては、推論対象画像に撮影された対象物１００を構成するいずれかの部位１０２に異常があると、どの部位１０２に異常があるのかを特定できるようなキャプションを出力するようになっている。
このようにして深層学習されたキャプションモデル４４は、図８として示されるような手順で異常の検知を行う場合においては、推論対象画像に撮影された対象物１００を構成するいずれかの部位１０２に異常があると、どの部位１０２に異常があるのかを特定できるようなキャプションを出力するようになっている。
【0046】
上記のステップＳ１３の、キャプション生成部４２による異常キャプションＡＣの生成処理においては、対象物１００を構成するどの部位１０２に異常があるのかを、自動的に判定するのが望ましい。このために、例えば、異常画像ＡＩを基に、複数の部位１０２の中から、異常が生じた異常部位１０２を判定するように深層学習された、異常部位判定モデル（図示無し）を、キャプションモデル学習部４が備えるように構成するのが望ましい。このような異常部位判定モデルを備えている場合においては、キャプション生成部４２は、キャプションモデル４４の学習に際し、異常部位判定モデルに入力画像ＩＧを入力することで、異常部位１０２を判定し、これを基に異常キャプションＡＣを自動的に生成することが可能となる。
このような異常部位判定モデルは、例えばセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）を用いることで実現することができる。
このような異常部位判定モデルは、例えばセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）を用いることで実現することができる。
【0047】
上記のような異常検知装置１Ａにおいては、対象物１００は複数の部位１０２により構成されており、異常画像ＡＩを基に、複数の部位１０２の中から、異常が生じた異常部位１０２を判定するように深層学習された、異常部位判定モデルを更に備え、キャプションモデル４４の学習に際し、入力画像ＩＧを異常部位判定モデルに入力して異常部位を判定し、入力画像ＩＧに対して作成された異常部分強調画像ＡＥに対して、異常部位判定モデルによって判定された前記異常部位１０２と、異常の種類と、当該異常の種類に対する対処の方法と、を示すように、異常キャプションＡＣを生成する、キャプション生成部４２を備えている。
上記のような構成によれば、対象物１００が複数の部位１０２により構成されている場合において、部位１０２ごとに異常を検知して、異常が生じた部位１０２である異常部位１０２と、異常の種類と、対処の方法を出力することができる。これにより、対象物１００において異常が生じた部位１０２を特定することが可能となり、対象物１００に生じた異常に関する情報を、より詳細に、出力することができる。
また、キャプションモデル４４を学習する際に、入力画像ＩＧを異常部位判定モデルに入力して異常部位１０２を自動的に判定することができる。このため、キャプションモデル４４の学習に用いる異常データＡＤ中の異常キャプションＡＣを生成するに際し、異常部分強調画像ＡＥ内のどの部位１０２に異常が生じているのかを、人手で調べる必要がない。これにより、キャプションモデル４４を学習する際の作業性が向上する。
上記のような構成によれば、対象物１００が複数の部位１０２により構成されている場合において、部位１０２ごとに異常を検知して、異常が生じた部位１０２である異常部位１０２と、異常の種類と、対処の方法を出力することができる。これにより、対象物１００において異常が生じた部位１０２を特定することが可能となり、対象物１００に生じた異常に関する情報を、より詳細に、出力することができる。
また、キャプションモデル４４を学習する際に、入力画像ＩＧを異常部位判定モデルに入力して異常部位１０２を自動的に判定することができる。このため、キャプションモデル４４の学習に用いる異常データＡＤ中の異常キャプションＡＣを生成するに際し、異常部分強調画像ＡＥ内のどの部位１０２に異常が生じているのかを、人手で調べる必要がない。これにより、キャプションモデル４４を学習する際の作業性が向上する。
【0048】
複数の部位１０２により構成された対象物１００において、例えば複数の異なる部位１０２で異常が検知された場合には、これらの異常は、複数の異なる部位の各々において、独立に生じたものである可能性がある。しかし、ある特殊な組み合わせの複数の部位１０２において異常が同時に検知された場合においては、例えば対象物１００のいずれかの部分に主となる異常が生じ、これに起因して複数の部位１０２に対して異常が検知されている状況や、複数の部位１０２の異常が互いに関連し、特別な対処が必要であるような状況等が考えられ得る。
ここで、例えば、異常を検知する学習モデルとして、異常の属性情報を推論するように構成し、この異常の属性情報を基にして、使用者に情報を提供する構成を採用することが考えられ得る。しかし、このような構成においては、例えば対象物１００から複数の異常が検出された場合において、その各々に関する異常の情報を個別に出力することはできたとしても、各異常の関連性を推論し、表示することは容易ではない。
これに対し、本変形例のような構成においては、例えば複数の部位１０２において異常が検知された場合に、これらの異常の関連性について説明するようなキャプションを生成して出力するように、キャプションモデル４４を学習することも可能である。
ここで、例えば、異常を検知する学習モデルとして、異常の属性情報を推論するように構成し、この異常の属性情報を基にして、使用者に情報を提供する構成を採用することが考えられ得る。しかし、このような構成においては、例えば対象物１００から複数の異常が検出された場合において、その各々に関する異常の情報を個別に出力することはできたとしても、各異常の関連性を推論し、表示することは容易ではない。
これに対し、本変形例のような構成においては、例えば複数の部位１０２において異常が検知された場合に、これらの異常の関連性について説明するようなキャプションを生成して出力するように、キャプションモデル４４を学習することも可能である。
【0049】
本第１変形例が、既に説明した実施形態と同様な効果を奏することは言うまでもない。
【0050】
［実施形態の第２変形例］
次に、上記実施形態として示した異常検知装置及び異常検知方法の第２変形例を説明する。図２にステップＳ１３として示される、対象物１００に異常があることを示す異常キャプションＡＣを生成する処理において、生成される異常キャプションＡＣには、入力画像ＩＧに含まれる異常の種類が含まれる。したがって、上記実施形態においては、入力画像ＩＧとなる異常画像ＡＩ内の、対象物１００の異常の種類が、各異常画像ＡＩに対して、予め対応付けて格納されていた。
これに替えて、異常画像ＡＩからこれに含まれる異常の種類を判定するように深層学習された、異常種類判定モデルを設け、これにより異常の種類を判定するように構成してもよい。このような異常種類判定モデルは、例えば異常の種類の数だけ出力ノードが設けられた、多クラス分類を行う畳み込みニューラルネットワークを用いて実現され得る。
この場合には、キャプション生成部４２は、異常部分強調画像ＡＥに対して異常の種類と対処の方法を含めた異常キャプションＡＣを生成する際に、異常の種類として、基となる異常画像ＡＩ（入力画像ＩＧ）を異常種類判定モデルに入力して判定された結果を用いることができる。
次に、上記実施形態として示した異常検知装置及び異常検知方法の第２変形例を説明する。図２にステップＳ１３として示される、対象物１００に異常があることを示す異常キャプションＡＣを生成する処理において、生成される異常キャプションＡＣには、入力画像ＩＧに含まれる異常の種類が含まれる。したがって、上記実施形態においては、入力画像ＩＧとなる異常画像ＡＩ内の、対象物１００の異常の種類が、各異常画像ＡＩに対して、予め対応付けて格納されていた。
これに替えて、異常画像ＡＩからこれに含まれる異常の種類を判定するように深層学習された、異常種類判定モデルを設け、これにより異常の種類を判定するように構成してもよい。このような異常種類判定モデルは、例えば異常の種類の数だけ出力ノードが設けられた、多クラス分類を行う畳み込みニューラルネットワークを用いて実現され得る。
この場合には、キャプション生成部４２は、異常部分強調画像ＡＥに対して異常の種類と対処の方法を含めた異常キャプションＡＣを生成する際に、異常の種類として、基となる異常画像ＡＩ（入力画像ＩＧ）を異常種類判定モデルに入力して判定された結果を用いることができる。
【0051】
上記のような異常検知装置は、異常画像ＡＩを基に、異常の種類を判定するように深層学習された、異常種類判定モデルを更に備え、キャプションモデル４４の学習に際し、入力画像ＩＧを異常種類判定モデルに入力して異常の種類を判定し、入力画像ＩＧに対して作成された異常部分強調画像ＡＥに対して、異常部位判定モデルによって判定された異常の種類と、当該異常の種類に対する対処の方法と、を示すように、異常キャプションＡＣを生成する、キャプション生成部４２を備えている。
上記のような構成によれば、キャプションモデル４４を学習する際に、入力画像ＩＧを異常種類判定モデルに入力して、入力画像ＩＧ内の対象物１００に生じている異常の種類を自動的に判定することができる。このため、異常画像ＡＩに、対象物１００の異常の種類を予め対応付ける必要がなくなり、キャプションモデル４４を学習する際の作業性が向上する。
上記のような構成によれば、キャプションモデル４４を学習する際に、入力画像ＩＧを異常種類判定モデルに入力して、入力画像ＩＧ内の対象物１００に生じている異常の種類を自動的に判定することができる。このため、異常画像ＡＩに、対象物１００の異常の種類を予め対応付ける必要がなくなり、キャプションモデル４４を学習する際の作業性が向上する。
【0052】
本第２変形例が、既に説明した実施形態と同様な効果を奏することは言うまでもない。
【0053】
［実施形態の第３変形例］
次に、図１、図１１～図１３を用いて、上記実施形態として示した異常検知装置及び異常検知方法の第３変形例を説明する。図１１は、本変形例における、異常検知モデルとキャプションモデルの学習時のフローチャートである。図１２は、異常予兆データの説明図である。図１３は、本変形例における、異常の検知時のフローチャートである。本変形例における異常検知装置１Ｂ及び異常検知方法は、対象物１００に異常はないが、将来的に異常となり得るような異常予兆がある場合に、この異常予兆を検知し、異常予兆に関するキャプションを出力する点が異なっている。
上記実施形態においては、異常スコア値は、異常検知モデル３１に入力された画像内の対象物１００に異常があれば値が高くなるように設定されている。このため、キャプションモデル学習部４においては、異常検知モデル３１に入力画像ＩＧを入力した際の異常スコア値が、第１閾値以上であれば、入力画像ＩＧ内の対象物１００に異常が生じていると推定して、異常データＡＤを作成し、第１閾値よりも小さければ、正常データＮＤを作成した。同様に、推論部５においては、異常検知モデル３１に推論対象画像を入力した際の異常スコア値が、第１閾値以上であれば、推論対象画像内の対象物１００に異常が生じていると推定して、推論時異常部分強調画像とともに異常キャプションＡＣを表示し、第１閾値よりも小さければ、推論対象画像とともに正常キャプションＮＣを表示した。
これに対し、対象物１００に異常はないが、将来的に異常となり得るような異常予兆がある場合においては、異常スコア値は、対象物１００に異常がある場合の値よりも小さく、異常がなく正常である場合の値よりも大きい値となるはずである。したがって、本変形例においては、異常検知装置１Ｂは、第１閾値よりも小さい第２閾値を設定し、異常スコア値が第２閾値以上で、かつ第１閾値よりも小さい場合に、画像中の対象物１００に異常予兆があると推論する。
次に、図１、図１１～図１３を用いて、上記実施形態として示した異常検知装置及び異常検知方法の第３変形例を説明する。図１１は、本変形例における、異常検知モデルとキャプションモデルの学習時のフローチャートである。図１２は、異常予兆データの説明図である。図１３は、本変形例における、異常の検知時のフローチャートである。本変形例における異常検知装置１Ｂ及び異常検知方法は、対象物１００に異常はないが、将来的に異常となり得るような異常予兆がある場合に、この異常予兆を検知し、異常予兆に関するキャプションを出力する点が異なっている。
上記実施形態においては、異常スコア値は、異常検知モデル３１に入力された画像内の対象物１００に異常があれば値が高くなるように設定されている。このため、キャプションモデル学習部４においては、異常検知モデル３１に入力画像ＩＧを入力した際の異常スコア値が、第１閾値以上であれば、入力画像ＩＧ内の対象物１００に異常が生じていると推定して、異常データＡＤを作成し、第１閾値よりも小さければ、正常データＮＤを作成した。同様に、推論部５においては、異常検知モデル３１に推論対象画像を入力した際の異常スコア値が、第１閾値以上であれば、推論対象画像内の対象物１００に異常が生じていると推定して、推論時異常部分強調画像とともに異常キャプションＡＣを表示し、第１閾値よりも小さければ、推論対象画像とともに正常キャプションＮＣを表示した。
これに対し、対象物１００に異常はないが、将来的に異常となり得るような異常予兆がある場合においては、異常スコア値は、対象物１００に異常がある場合の値よりも小さく、異常がなく正常である場合の値よりも大きい値となるはずである。したがって、本変形例においては、異常検知装置１Ｂは、第１閾値よりも小さい第２閾値を設定し、異常スコア値が第２閾値以上で、かつ第１閾値よりも小さい場合に、画像中の対象物１００に異常予兆があると推論する。
【0054】
具体的には、異常検知モデル３１とキャプションモデル４４の学習時に関する、図１１に示されるフローチャートにおいては、上記実施形態において図２として示したフローチャートに対し、ステップＳ５１、Ｓ５３、Ｓ５５、Ｓ５７に関する処理が追加されたものとなっている。したがって、ここではまず、これらの追加された処理について、主に説明する。
ステップＳ５において、異常スコア値が第１閾値よりも小さい場合には（ステップＳ５のＮｏ）、キャプションモデル学習部４は、異常スコア値を、更に、第１閾値よりも小さい値である第２閾値と比較する（ステップＳ５１）。
異常スコア値が第２閾値よりも小さい場合には（ステップＳ５１のＮｏ）、キャプション生成部４２が、対象物が正常であることを示す正常キャプションを生成する（ステップＳ７）。
ステップＳ５において、異常スコア値が第１閾値よりも小さい場合には（ステップＳ５のＮｏ）、キャプションモデル学習部４は、異常スコア値を、更に、第１閾値よりも小さい値である第２閾値と比較する（ステップＳ５１）。
異常スコア値が第２閾値よりも小さい場合には（ステップＳ５１のＮｏ）、キャプション生成部４２が、対象物が正常であることを示す正常キャプションを生成する（ステップＳ７）。
【0055】
異常スコア値が第２閾値以上の場合には（ステップＳ５１のＹｅｓ）、画像加工部４１がまず、異常部分ＡＰを、入力画像ＩＧに重ね合わせて、異常予兆部分強調画像を作成する（ステップＳ５３）。
ステップＳ５３が実行される場合においては、異常スコア値が第２閾値以上で、かつ第１閾値よりも小さい場合であるため、入力画像ＩＧの中の対象物１００には異常予兆１０３があり、例えば、異常検知モデル３１の推論結果を基に出力された異常部分ＡＰの領域の面積は、一定以上に大きい面積を有するものの、異常であると認識される程度の大きさには至っていないような状態であると考えられる。
画像加工部４１は、このような入力画像ＩＧが異常検知モデル３１に入力されて生成される異常部分ＡＰを、入力画像ＩＧに重ね合わせて、図１２に示されるような異常予兆部分強調画像ＦＥを作成する。このようにして作成された異常予兆部分強調画像ＦＥは、入力画像ＩＧの中の、異常予兆１０３に相当する部分が、入力画像ＩＧよりも強調された画像となっている。
ステップＳ５３が実行される場合においては、異常スコア値が第２閾値以上で、かつ第１閾値よりも小さい場合であるため、入力画像ＩＧの中の対象物１００には異常予兆１０３があり、例えば、異常検知モデル３１の推論結果を基に出力された異常部分ＡＰの領域の面積は、一定以上に大きい面積を有するものの、異常であると認識される程度の大きさには至っていないような状態であると考えられる。
画像加工部４１は、このような入力画像ＩＧが異常検知モデル３１に入力されて生成される異常部分ＡＰを、入力画像ＩＧに重ね合わせて、図１２に示されるような異常予兆部分強調画像ＦＥを作成する。このようにして作成された異常予兆部分強調画像ＦＥは、入力画像ＩＧの中の、異常予兆１０３に相当する部分が、入力画像ＩＧよりも強調された画像となっている。
【0056】
次に、キャプション生成部４２が、対象物に異常予兆があることを示す異常予兆キャプションＦＣを生成する（ステップＳ５５）。
そして、キャプション生成部４２は、異常予兆キャプションＦＣを、画像加工部４１により作成された異常予兆部分強調画像ＦＥに付与し、関連付けることで、対象物１００に異常予兆１０３がある場合におけるキャプションモデル４４の学習データである、異常予兆データＦＤを生成する（ステップＳ５７）。
図１２に示される異常予兆データＦＤにおいては、異常予兆部分強調画像ＦＥに、キャプション生成部４２により生成された異常予兆キャプションＦＣが付与されて構成されている。異常予兆キャプションＦＣは、例えばテキストデータとして生成される。異常予兆キャプションＦＣとしては、例えば、「部品Ａに異常Ｎ３の予兆あり、対処Ｈ３を実施してください」等と、対象物１００に異常予兆があることを示すとともに、異常予兆の種類と、当該異常予兆の種類に対する対処の方法と、を併せて示す趣旨のものとなる。
そして、キャプション生成部４２は、異常予兆キャプションＦＣを、画像加工部４１により作成された異常予兆部分強調画像ＦＥに付与し、関連付けることで、対象物１００に異常予兆１０３がある場合におけるキャプションモデル４４の学習データである、異常予兆データＦＤを生成する（ステップＳ５７）。
図１２に示される異常予兆データＦＤにおいては、異常予兆部分強調画像ＦＥに、キャプション生成部４２により生成された異常予兆キャプションＦＣが付与されて構成されている。異常予兆キャプションＦＣは、例えばテキストデータとして生成される。異常予兆キャプションＦＣとしては、例えば、「部品Ａに異常Ｎ３の予兆あり、対処Ｈ３を実施してください」等と、対象物１００に異常予兆があることを示すとともに、異常予兆の種類と、当該異常予兆の種類に対する対処の方法と、を併せて示す趣旨のものとなる。
【0057】
異常予兆データＦＤを含む学習データの生成が終了すると（ステップＳ１７のＹｅｓ）、学習処理部４３が、正常データＮＤと、異常データＡＤと、及び異常予兆データＦＤと、を基に、キャプションモデル４４を、深層学習する（ステップＳ１９）。
より詳細には、学習処理部４３は、対象物１００が正常である場合の正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応する正常キャプションＮＣを出力するように、キャプションモデル４４を深層学習する。また、学習処理部４３は、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応する異常キャプションＡＣを出力するように、キャプションモデル４４を深層学習する。更に、学習処理部４３は、異常予兆部分強調画像ＦＥが入力されると、入力された異常予兆部分強調画像ＦＥに対応する異常予兆キャプションＦＣを出力するように、キャプションモデル４４を深層学習する。
より詳細には、学習処理部４３は、対象物１００が正常である場合の正常画像ＮＩが入力されると、入力された正常画像ＮＩに対応する正常キャプションＮＣを出力するように、キャプションモデル４４を深層学習する。また、学習処理部４３は、異常部分強調画像ＡＥが入力されると、入力された異常部分強調画像ＡＥに対応する異常キャプションＡＣを出力するように、キャプションモデル４４を深層学習する。更に、学習処理部４３は、異常予兆部分強調画像ＦＥが入力されると、入力された異常予兆部分強調画像ＦＥに対応する異常予兆キャプションＦＣを出力するように、キャプションモデル４４を深層学習する。
【0058】
次に、異常検知モデル３１とキャプションモデル４４の学習が終了した後の、実際に対象物１００を撮影して、対象物１００の異常を検知する場合における、各構成要素の挙動を説明する。この場合に関し、図１３に示されるフローチャートにおいては、上記実施形態において図８として示したフローチャートに対し、ステップＳ７１、Ｓ７３、Ｓ７５、Ｓ７７に関する処理が追加されたものとなっている。したがって、ここでは、これらの追加された処理について、主に説明する。
ステップＳ３５において、異常スコア値が第１閾値よりも小さい場合には（ステップＳ３５のＮｏ）、推論部５は、異常スコア値を、更に、第１閾値よりも小さい値である第２閾値と比較する（ステップＳ７１）。
異常スコア値が第２閾値よりも小さい場合には（ステップＳ７１のＮｏ）、推論部５は、推論対象画像そのものを、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ３７）。
ステップＳ３５において、異常スコア値が第１閾値よりも小さい場合には（ステップＳ３５のＮｏ）、推論部５は、異常スコア値を、更に、第１閾値よりも小さい値である第２閾値と比較する（ステップＳ７１）。
異常スコア値が第２閾値よりも小さい場合には（ステップＳ７１のＮｏ）、推論部５は、推論対象画像そのものを、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ３７）。
【0059】
異常スコア値が第２閾値以上の場合は（ステップＳ５１のＹｅｓ）、入力された推論対象画像内に撮影された対象物１００には異常予兆があると考えられる場合である。この場合には、画像加工部５１が、異常部分ＡＰを、推論対象画像に重ね合わせて、推論時異常予兆部分強調画像を作成する（ステップＳ７３）。
そして、推論部５は、推論時異常予兆部分強調画像を、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ７５）。
ここで、キャプションモデル４４は、異常予兆部分強調画像ＦＥが入力されると、入力された異常予兆部分強調画像ＦＥに対応する異常予兆キャプションＦＣを出力するように、深層学習されている。このため、異常予兆があると考えられる推論時異常予兆部分強調画像が推論時モデル入力画像としてキャプションモデル４４に入力された際には、キャプションモデル４４は、例えば、「部品Ａに異常Ｎ３の予兆あり、対処Ｈ３を実施してください」等の、推論時異常予兆部分強調画像内に撮影された対象物１００に異常予兆があることを示すとともに、異常予兆の種類と、当該異常予兆の種類に対する対処の方法と、を併せて示す、異常予兆キャプションＦＣを、推論時異常予兆部分強調画像に対するキャプションとして生成する。
そして、推論部５は、推論時異常予兆部分強調画像を、推論時モデル入力画像として、キャプションモデル４４に入力する（ステップＳ７５）。
ここで、キャプションモデル４４は、異常予兆部分強調画像ＦＥが入力されると、入力された異常予兆部分強調画像ＦＥに対応する異常予兆キャプションＦＣを出力するように、深層学習されている。このため、異常予兆があると考えられる推論時異常予兆部分強調画像が推論時モデル入力画像としてキャプションモデル４４に入力された際には、キャプションモデル４４は、例えば、「部品Ａに異常Ｎ３の予兆あり、対処Ｈ３を実施してください」等の、推論時異常予兆部分強調画像内に撮影された対象物１００に異常予兆があることを示すとともに、異常予兆の種類と、当該異常予兆の種類に対する対処の方法と、を併せて示す、異常予兆キャプションＦＣを、推論時異常予兆部分強調画像に対するキャプションとして生成する。
【0060】
その後、推論部５は、推論時モデル入力画像である推論時異常予兆部分強調画像とともに、生成されたキャプションを、表示部８に表示する（ステップＳ７７）。
表示部８に表示された推論時異常予兆部分強調画像内に撮影された対象物１００においては、異常予兆が強調されて表示されている。また、表示されたキャプションにおいては、異常予兆の種類と、当該異常予兆の種類に対する対処の方法とが示されている。したがって、使用者は、これらの情報を基に、推論対象画像内に撮影された対象物１００に、どのような種類の異常予兆が生じているのかを認識し、当該異常予兆に対してどのような対処を取ればよいのかを把握することができる。
表示部８に表示された推論時異常予兆部分強調画像内に撮影された対象物１００においては、異常予兆が強調されて表示されている。また、表示されたキャプションにおいては、異常予兆の種類と、当該異常予兆の種類に対する対処の方法とが示されている。したがって、使用者は、これらの情報を基に、推論対象画像内に撮影された対象物１００に、どのような種類の異常予兆が生じているのかを認識し、当該異常予兆に対してどのような対処を取ればよいのかを把握することができる。
【0061】
上記のような異常検知装置１Ｂにおいては、キャプションモデル４４は、入力画像ＩＧが異常検知モデル３１に入力された際の異常スコア値が第１閾値よりも小さく、かつ、第１閾値よりも小さく設定された第２閾値以上の場合には、異常の予兆がある場合とし、異常部分ＡＰを入力画像ＩＧに重ね合わせて作成された異常予兆部分強調画像ＦＥに対して、異常予兆の種類と、当該異常予兆の種類に対する対処の方法と、を示す異常予兆キャプションＦＣを付与して生成された異常予兆データＦＤを更に基にして、正常画像ＮＩ、異常部分強調画像ＡＥ、または異常予兆部分強調画像ＦＥが入力されると、入力に対応して正常キャプションＮＣ、異常キャプションＡＣ、または異常予兆キャプションＦＣを出力するように深層学習され、推論部５は、推論対象画像の異常スコア値が第１閾値よりも小さく、かつ第２閾値以上の場合には、推論対象画像の異常部分ＡＰを推論対象画像に重ね合わせて作成された推論時異常予兆部分強調画像を推論時モデル入力画像としてキャプションモデル４４に入力してキャプションを生成し、推論時モデル入力画像とともにキャプションを出力する。
上記のような構成によれば、異常に加え、異常となる前の異常予兆を検知することができる。これにより、対象物の異常の発生を未然に検知し、対策することが可能となる。
上記のような構成によれば、異常に加え、異常となる前の異常予兆を検知することができる。これにより、対象物の異常の発生を未然に検知し、対策することが可能となる。
【0062】
本第３変形例が、既に説明した実施形態と同様な効果を奏することは言うまでもない。
【0063】
なお、本発明の異常検知装置及び異常検知方法は、図面を参照して説明した上述の実施形態及び各変形例に限定されるものではなく、その技術的範囲において他の様々な変形例が考えられる。例えば、上記実施形態及び各変形例で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。
【符号の説明】
【0064】
１、１Ａ、１Ｂ 異常検知装置
３ 異常検知モデル学習部
３１ 異常検知モデル
４ キャプションモデル学習部
４１、５１ 画像加工部
４２ キャプション生成部
４３ 学習処理部
４４ キャプションモデル
５ 推論部
１００ 対象物
１０１ 異常
１０２ 部位
１０３ 異常予兆
ＩＧ 入力画像
ＮＤ 正常データ
ＮＩ 正常画像
ＮＣ 正常キャプション
ＡＤ 異常データ
ＡＩ 異常画像
ＡＰ 異常部分
ＡＥ 異常部分強調画像
ＡＣ 異常キャプション
ＦＤ 異常予兆データ
ＦＥ 異常予兆部分強調画像
ＦＣ 異常予兆キャプション
３ 異常検知モデル学習部
３１ 異常検知モデル
４ キャプションモデル学習部
４１、５１ 画像加工部
４２ キャプション生成部
４３ 学習処理部
４４ キャプションモデル
５ 推論部
１００ 対象物
１０１ 異常
１０２ 部位
１０３ 異常予兆
ＩＧ 入力画像
ＮＤ 正常データ
ＮＩ 正常画像
ＮＣ 正常キャプション
ＡＤ 異常データ
ＡＩ 異常画像
ＡＰ 異常部分
ＡＥ 異常部分強調画像
ＡＣ 異常キャプション
ＦＤ 異常予兆データ
ＦＥ 異常予兆部分強調画像
ＦＣ 異常予兆キャプション
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】