特許 7323841 異常検出方法、異常検出システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-08-01

(45)【発行日】2023-08-09

(54)【発明の名称】異常検出方法、異常検出システム及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230802BHJP

   G06V 10/82 20220101ALI20230802BHJP

   G06V 10/778 20220101ALI20230802BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610Z

G06V10/82

G06V10/778

【請求項の数】 8

(21)【出願番号】P 2022192334

(22)【出願日】2022-11-30

【審査請求日】2022-12-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(72)【発明者】

【氏名】山下聖悟

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２１－１４０７３９（ＪＰ，Ａ）

【文献】特開２０２０－０３０５６５（ＪＰ，Ａ）

【文献】特開２０２２－１２６６２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／７７８

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

異常検出システムが実行する異常検出方法であって、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含み、
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
異常検出方法。

【請求項2】

前記選択処理は、異常度が閾値以下の正常画像を前記第１再学習用画像として選択する
請求項１に記載の異常検出方法。

【請求項3】

前記選択処理は、対象画像を一覧表示し、一覧表示された対象画像の中からユーザにより選択された対象画像を前記第１再学習用画像として選択する
請求項１に記載の異常検出方法。

【請求項4】

前記再学習処理は、所定時間ごとに実行される
請求項１に記載の異常検出方法。

【請求項5】

検出処理により対象画像から異常が検出された場合、異常部分画像を学習することにより異常画像に含まれる異常を分類するように学習された異常分類モデルを利用して、検出された異常を分類する分類処理を更に含む
請求項１に記載の異常検出方法。

【請求項6】

前記選択処理は、前記検出処理により異常が検出された対象画像の中の少なくとも一部からクロッピングした異常部分画像を第２再学習用画像として選択し、
前記再学習処理は、前記第２再学習用画像を前記異常分類モデルに再学習させる
請求項５に記載の異常検出方法。

【請求項7】

コンピュータに、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含み、
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
異常検出方法を実行させるためのプログラム。

【請求項8】

正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出部と、
前記検出部により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択部と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習部と、
を含み、
前記選択部は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
異常検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常検出方法、異常検出システム及びプログラムに関する。

【背景技術】

【0002】

近年、ＡＩモデルにより画像から異常を検出する技術が広く利用されている。一般に、検出対象となる異常の画像を学習させたＡＩモデルに異常を検出する対象を撮影した画像を入力すると、ＡＩモデルが画像に含まれる異常を検出する。例えば、引用文献１には、欠陥候補を学習した欠陥候補検出モデルを利用して、金属製品の表面画像から欠陥候補を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－１２６６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来技術では、異常を検出する対象となる画像の撮影環境が時間に応じて変化したり、異常を検出する対象が時期により外観が変化するもの（野菜など）であったりした場合、ＡＩモデルによる異常の検出精度が経時的に低下するおそれがあった。

【0005】

本発明は、上記の課題を鑑みてなされたものであり、ＡＩモデルによる異常の検出精度の低下を抑制することを目的とする。

【課題を解決するための手段】

【0006】

一実施形態に係る異常検出方法は、異常検出システムが実行する異常検出方法であって、正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、を含む。

【発明の効果】

【0007】

一実施形態によれば、ＡＩモデルによる異常の検出精度の低下を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】異常検出システム１０００の構成の一例を示す図である。

【図2】情報処理装置１００のハードウェア構成の一例を示す図である。

【図3】異常検出装置１の機能構成の一例を示す図である。

【図4】対象画像情報１２１の一例を示す図である。

【図5】対象画像ｉｍの一例を示す図である。

【図6】第１学習用画像情報１２２１の一例を示す図である。

【図7】第１学習用画像ｉｍＬ１の一例を示す図である。

【図8】第２学習用画像情報１２２２の一例を示す図である。

【図9】第２学習用画像ｉｍＬ２の一例を示す図である。

【図10】第１再学習用画像情報１２３１の一例を示す図である。

【図11】第１再学習用画像ｉｍｒＬ１の一例を示す図である。

【図12】第２再学習用画像情報１２３２の一例を示す図である。

【図13】第２再学習用画像ｉｍｒＬ２の一例を示す図である。

【図14】検出結果情報１２６の一例を示す図である。

【図15】学習処理の一例を示すフローチャートである。

【図16】選択画面の一例を示す図である。

【図17】選択画面の一例を示す図である。

【図18】選択画面の一例を示す図である。

【図19】異常検出処理の一例を示すフローチャートである。

【図20】クロッピング方法の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0010】

＜システム構成＞
まず、本実施形態に係る異常検出システム１０００の概要について説明する。本実施形態に係る異常検出システム１０００は、ＡＩモデルを利用して、対象画像ｉｍから異常を検出する情報処理システムである。

【0011】

対象画像ｉｍは、異常検出対象ｔを撮影した画像である。異常検出対象ｔは、異常を検出する対象となる任意の物体である。異常は、欠陥、不良、異物などの、異常検出対象ｔの正常な状態とは異なる任意の状態又は物体である。情報処理システムは、ネットワークを介して接続された複数の情報処理装置からなるシステムである。

【0012】

以下、対象画像ｉｍのうち、異常検出対象ｔが異常を含む画像を異常画像、異常検出対象ｔが異常を含まない画像を正常画像という。また、異常画像に含まれる異常の部分をクロッピングした（切り出した）画像を異常部分画像という。

【0013】

異常検出システム１０００は、監視カメラの映像からの異常検出、工場に設置されたベルトコンベアの映像からの異常検出、製品の外観検査のために撮影された画像からの異常検出など、任意の画像からの異常検出に利用できる。

【0014】

異常検出システム１０００は、正常画像を学習させることにより、異常を検出するＡＩモデルを学習させる。また、異常検出システム１０００は、所定のタイミングでＡＩモデルに新たな正常画像を再学習させる。これにより、異常検出システム１０００は、異常検出対象ｔや撮影環境の経時的な変化に起因するＡＩモデルの異常の検出精度の経時的な低下を抑制することができる。

【0015】

したがって、異常検出システム１０００は、異常検出対象ｔや撮影環境が経時的に変化する場合に、好適に利用することができる。例えば、異常検出対象ｔが経時的に変化する場合として、異常検出対象ｔが野菜、果物、鮮魚、精肉などの生鮮食品である場合が挙げられる。また、撮影環境が経時的に変化する場合として、撮影環境が屋外であったり、日照のある屋内であったりする場合が挙げられる。

【0016】

図１は、異常検出システム１０００の構成の一例を示す図である。図１に示すように、異常検出システム１０００は、ネットワークＮを介して相互に通信可能に接続された、異常検出装置１と、ユーザ端末２と、撮影装置３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、異常検出システム１０００は、異常検出装置１、ユーザ端末２及び撮影装置３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。

【0017】

異常検出装置１は、対象画像ｉｍから異常を検出する情報処理装置である。異常検出装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。異常検出装置１について、詳しくは後述する。

【0018】

ユーザ端末２は、異常検出システム１０００のユーザが利用する情報処理装置である。ユーザ端末２は、例えば、ＰＣ、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。ユーザ端末２は、撮影装置３と有線又は
無線により接続され、撮影装置３から対象画像ｉｍを受信し、ネットワークＮを介して、対象画像ｉｍを異常検出装置１に送信する。ユーザ端末２は、撮影装置３とネットワークＮを介して接続されてもよい。また、ユーザ端末２は、ネットワークＮや記録メディアから対象画像ｉｍを取得し、対象画像ｉｍを異常検出装置１に送信してもよい。また、ユーザは、ユーザ端末２を操作して、正常画像及び異常画像のアノテーションや、異常部分画像のクリッピングなどを行ってもよい。

【0019】

撮影装置３は、異常検出対象ｔを撮影する情報処理装置である。撮影装置３は、デジタルカメラ、監視カメラ、スマートフォン、又はＡＩカメラであるが、これに限られない。撮影装置３は、異常検出対象ｔを撮影した対象画像ｉｍをユーザ端末２に送信する。図１の例では、ベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）を、固定して設置された撮影装置３で撮影する場合を想定しているが、異常検出対象ｔも撮影装置３もこれに限られない。

【0020】

＜情報処理装置のハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。

【0021】

プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

【0022】

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。

【0023】

ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

【0024】

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。

【0025】

入出力Ｉ／Ｆ１０５は、情報処理装置１００に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。

【0026】

ドライブ装置１０６は、記録メディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はＳＤカードリーダである。記録メディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、ＵＳＢ（登録商標）メモリ、ＳＤカード、又はこれらの組み合わせである。

【0027】

なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、記録メディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。

【0028】

＜機能構成＞
次に、異常検出装置１の機能構成について説明する。図３は、異常検出装置１の機能構成の一例を示す図である。図３に示すように、異常検出装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。

【0029】

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２との間で情報の送受信を行う。また、通信部１１は、有線又は無線により、撮影装置３から対象画像ｉｍを受信する。

【0030】

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、対象画像情報１２１と、学習用画像情報１２２と、再学習用画像情報１２３と、異常検出モデル１２４と、異常分類モデル１２５と、検出結果情報１２６と、を記憶する。

【0031】

対象画像情報１２１は、対象画像ｉｍに関する情報である。

【0032】

図４は、対象画像情報１２１の一例を示す図である。図４の対象画像情報１２１は、情報項目として、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。

【0033】

「対象画像ＩＤ」は、対象画像ｉｍの識別情報である。以下では、「対象画像ＩＤ」が「ｉｍＸＸＸ」である対象画像ｉｍを、対象画像ｉｍＸＸＸと称する。

【0034】

「撮影日時」は、対象画像ｉｍを撮影装置３が撮影した日時である。図４の例では、対象画像ｉｍ００１の「撮影日時」は「２０２２／８／２２ １５：００：５４」である。これは、対象画像ｉｍ００１が２０２２／８／２２の１５：００：５４に撮影されたことを示している。

【0035】

「画像データ」は、対象画像ｉｍの画像データである。図４の例では、対象画像ｉｍ００１の「画像データ」は「ｉｍ００１．ｐｎｇ」である。これは、対象画像ｉｍ００１の画像データのファイル名がｉｍ００１．ｐｎｇであることを示している。

【0036】

なお、対象画像情報１２１は、図４の例に限られない。対象画像情報１２１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、対象画像情報１２１は、対象画像ｉｍを撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。

【0037】

図５は、対象画像ｉｍの一例を示す図である。図５の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。対象画像ｉｍ００１は、正常な（異常のない）じゃがいもを撮影した正常画像である。対象画像ｉｍ００２は、異常な（芽がある）じゃがいもを撮影した異常画像である。対象画像ｉｍ００３は、異常な（変色がある）じゃがいもを撮影した異常画像である。対象画像情報１２１には、このように正常画像及び異常画像の対象画像情報１２１が含まれる。

【0038】

学習用画像情報１２２は、ＡＩモデルに学習させる学習用画像に関する情報である。学習用画像情報１２２は、第１学習用画像情報１２２１と、第２学習用画像情報１２２２と、を含む。

【0039】

第１学習用画像情報１２２１は、第１学習用画像ｉｍＬ１に関する情報である。第１学習用画像ｉｍＬ１は、異常検出モデル１２４に学習させるための学習用画像である。第１学習用画像ｉｍＬ１は、対象画像ｉｍの中から選択された正常画像である。

【0040】

図６は、第１学習用画像情報１２２１の一例を示す図である。図６の第１学習用画像情報１２２１は、情報項目として、「第１学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。

【0041】

「第１学習用画像ＩＤ」は、第１学習用画像ｉｍＬ１の識別情報である。以下では、「第１学習用画像ＩＤ」が「ｉｍＬ１ＸＸ」である第１学習用画像ｉｍＬ１を、第１学習用画像ｉｍＬ１ＸＸと称する。

【0042】

「対象画像ＩＤ」は、第１学習用画像ｉｍＬ１に対応する対象画像ｉｍの識別情報である。図６の例では、第１学習用画像ｉｍＬ１０１と対象画像ｉｍ００１とが対応する。これは、対象画像ｉｍ００１が第１学習用画像ｉｍＬ１として選択され、「第１学習用画像ＩＤ」として「ｉｍＬ１０１」を割り当てられたことを示している。

【0043】

「撮影日時」は、第１学習用画像ｉｍＬ１を撮影装置３が撮影した日時を示す情報である。図６の例では、第１学習用画像ｉｍＬ１０１の「撮影日時」は「２０２２／８／２２ １５：００：５４」である。これは、第１学習用画像ｉｍＬ１が２０２２／８／２２の１５：００：５４に撮影されたことを示している。第１学習用画像ｉｍＬ１の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。

【0044】

「画像データ」は、第１学習用画像ｉｍＬ１の画像データである。図６の例では、第１学習用画像ｉｍＬ１０１の「画像データ」は「ｉｍＬ１０１．ｐｎｇ」である。これは、第１学習用画像ｉｍＬ１０１の画像データのファイル名がｉｍＬ１０１．ｐｎｇであることを示している。第１学習用画像ｉｍＬ１の画像自体は、対応する対象画像ｉｍと同じである。

【0045】

なお、第１学習用画像情報１２２１は、図６の例に限られない。第１学習用画像情報１２２１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第１学習用画像情報１２２１は、第１学習用画像ｉｍＬ１を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。

【0046】

図７は、第１学習用画像ｉｍＬ１の一例を示す図である。図７の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第１学習用画像ｉｍＬ１０１～ｉｍＬ１０３は、正常な（異常のない）じゃがいもを撮影した正常画像である。第１学習用画像情報１２２１には、このように複数の正常画像の第１学習用画像情報１２２１が含まれる。

【0047】

第２学習用画像情報１２２２は、第２学習用画像ｉｍＬ２に関する情報である。第２学習用画像ｉｍＬ２は、異常分類モデル１２５に学習させるための学習用画像である。第２学習用画像ｉｍＬ２は、対象画像ｉｍの中から選択された異常画像から、異常の部分をクリッピングした異常部分画像である。

【0048】

図８は、第２学習用画像情報１２２２の一例を示す図である。図８の第２学習用画像情報１２２２は、情報項目として、「第２学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常種類」と、を含む。

【0049】

「第２学習用画像ＩＤ」は、第２学習用画像ｉｍＬ２の識別情報である。以下では、「第２学習用画像ＩＤ」が「ｉｍＬ２ＸＸ」である第２学習用画像ｉｍＬ２を、第２学習用画像ｉｍＬ２ＸＸと称する。

【0050】

「対象画像ＩＤ」は、第２学習用画像ｉｍＬ２に対応する対象画像ｉｍの識別情報である。図８の例では、第２学習用画像ｉｍＬ２０１と対象画像ｉｍ００２とが対応する。これは、対象画像ｉｍ００２が異常画像として選択され、その異常の部分をクリッピングした画像が第２学習用画像ｉｍＬ２であり、「第２学習用画像ＩＤ」として「ｉｍＬ２０１」を割り当てられたことを示している。

【0051】

「撮影日時」は、第２学習用画像ｉｍＬ２を撮影装置３が撮影した日時を示す情報である。図８の例では、第２学習用画像ｉｍＬ２０１の「撮影日時」は「２０２２／８／２２ １５：００：５５」である。これは、第２学習用画像ｉｍＬ２が２０２２／８／２２の１５：００：５５に撮影されたことを示している。第２学習用画像ｉｍＬ２の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。

【0052】

「画像データ」は、第２学習用画像ｉｍＬ２の画像データである。図８の例では、第２学習用画像ｉｍＬ２０１の「画像データ」は「ｉｍＬ２０１．ｐｎｇ」である。これは、第２学習用画像ｉｍＬ２０１の画像データのファイル名がｉｍＬ２０１．ｐｎｇであることを示している。第２学習用画像ｉｍＬ２の画像自体は、対応する対象画像ｉｍの異常部分と同じである。

【0053】

「異常種類」は、第２学習用画像ｉｍＬ２に含まれる異常の種類を示す情報である。図８の例では、第２学習用画像ｉｍＬ２０１の「異常種類」は「芽」である。これは、第２学習用画像ｉｍＬ２０１が、じゃがいもの芽の部分を撮影した画像であることを示している。

【0054】

なお、第２学習用画像情報１２２２は、図８の例に限られない。第２学習用画像情報１２２２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第２学習用画像情報１２２２は、第２学習用画像ｉｍＬ２を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。

【0055】

図９は、第２学習用画像ｉｍＬ２の一例を示す図である。図９の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第２学習用画像ｉｍＬ２０１は、じゃがいもの芽を撮影した異常部分画像である。第２学習用画像ｉｍＬ２０２は、じゃがいもの変色した部分を撮影した異常部分画像である。第２学習用画像ｉｍＬ２０３は、じゃがいもの傷を撮影した異常部分画像である。第２学習用画像情報１２２２には、このように複数の異常部分画像の第２学習用画像情報１２２２が含まれる。

【0056】

再学習用画像情報１２３は、ＡＩモデルに再学習させる再学習用画像に関する情報である。再学習用画像情報１２３は、第１再学習用画像情報１２３１と、第２再学習用画像情報１２３２と、を含む。

【0057】

第１再学習用画像情報１２３１は、第１再学習用画像ｉｍｒＬ１に関する情報である。第１再学習用画像ｉｍｒＬ１は、異常検出モデル１２４に再学習させるための再学習用画像である。第１再学習用画像ｉｍｒＬ１は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍの中から選択された正常画像である。

【0058】

図１０は、第１再学習用画像情報１２３１の一例を示す図である。図１０の第１再学習用画像情報１２３１は、情報項目として、「第１再学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、を含む。

【0059】

「第１再学習用画像ＩＤ」は、第１再学習用画像ｉｍｒＬ１の識別情報である。以下では、「第１再学習用画像ＩＤ」が「ｉｍｒＬ１ＸＸ」である第１再学習用画像ｉｍｒＬ１を、第１再学習用画像ｉｍｒＬ１ＸＸと称する。

【0060】

「対象画像ＩＤ」は、第１再学習用画像ｉｍｒＬ１に対応する対象画像ｉｍの識別情報である。図１０の例では、第１再学習用画像ｉｍｒＬ１０１と対象画像ｉｍ１０２とが対応する。これは、対象画像ｉｍ１０２が第１再学習用画像ｉｍｒＬ１として選択され、「第１再学習用画像ＩＤ」として「ｉｍｒＬ１０１」を割り当てられたことを示している。

【0061】

「撮影日時」は、第１再学習用画像ｉｍｒＬ１を撮影装置３が撮影した日時を示す情報である。図１０の例では、第１再学習用画像ｉｍｒＬ１０１の「撮影日時」は「２０２２／１１／２３ １３：００：０１」である。これは、第１再学習用画像ｉｍｒＬ１が２０２２／１１／２３の１３：００：０１に撮影されたことを示している。第１再学習用画像ｉｍｒＬ１の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。

【0062】

「画像データ」は、第１再学習用画像ｉｍｒＬ１の画像データである。図１０の例では、第１再学習用画像ｉｍｒＬ１０１の「画像データ」は「ｉｍｒＬ１０１．ｐｎｇ」である。これは、第１再学習用画像ｉｍｒＬ１０１の画像データのファイル名がｉｍｒＬ１０１．ｐｎｇであることを示している。第１再学習用画像ｉｍｒＬ１の画像自体は、対応する対象画像ｉｍと同じである。

【0063】

なお、第１再学習用画像情報１２３１は、図１０の例に限られない。第１再学習用画像情報１２３１は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第１再学習用画像情報１２３１は、第１再学習用画像ｉｍｒＬ１を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。

【0064】

図１１は、第１再学習用画像ｉｍｒＬ１の一例を示す図である。図１１の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第１再学習用画像ｉｍｒＬ１０１～ｉｍｒＬ１０３は、正常な（異常のない）じゃがいもを撮影した正常画像である。第１再学習用画像情報１２３１には、このように複数の正常画像の第１再学習用画像情報１２３１が含まれる。

【0065】

第２再学習用画像情報１２３２は、第２再学習用画像ｉｍｒＬ２に関する情報である。第２再学習用画像ｉｍｒＬ２は、異常分類モデル１２５に再学習させるための再学習用画像である。第２再学習用画像ｉｍｒＬ２は、前回の学習処理又は再学習処理の実行後に異常検出処理の対象となった対象画像ｉｍの中から選択された異常画像から、異常の部分をクリッピングした異常部分画像である。

【0066】

図１２は、第２再学習用画像情報１２３２の一例を示す図である。図１２の第２再学習用画像情報１２３２は、情報項目として、「第２再学習用画像ＩＤ」と、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常種類」と、を含む。

【0067】

「第２再学習用画像ＩＤ」は、第２再学習用画像ｉｍｒＬ２の識別情報である。以下では、「第２再学習用画像ＩＤ」が「ｉｍｒＬ２ＸＸ」である第２再学習用画像ｉｍｒＬ２を、第２再学習用画像ｉｍｒＬ２ＸＸと称する。

【0068】

「対象画像ＩＤ」は、第２再学習用画像ｉｍｒＬ２に対応する対象画像ｉｍの識別情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１と対象画像ｉｍ１０１とが対応する。これは、対象画像ｉｍ１０１が異常画像として選択され、その異常の部分をクリッピングした画像が第２再学習用画像ｉｍｒＬ２であり、「第２再学習用画像ＩＤ」として「ｉｍｒＬ２０１」を割り当てられたことを示している。

【0069】

「撮影日時」は、第２再学習用画像ｉｍｒＬ２を撮影装置３が撮影した日時を示す情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「撮影日時」は「２０２２／１１／２３ １３：００：００」である。これは、第２再学習用画像ｉｍｒＬ２が２０２２／１１／２３の１３：００：００に撮影されたことを示している。第２再学習用画像ｉｍｒＬ２の撮影日時は、対応する対象画像ｉｍの撮影日時と同じである。

【0070】

「画像データ」は、第２再学習用画像ｉｍｒＬ２の画像データである。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「画像データ」は「ｉｍｒＬ２０１．ｐｎｇ」である。これは、第２再学習用画像ｉｍｒＬ２０１の画像データのファイル名がｉｍｒＬ２０１．ｐｎｇであることを示している。第２再学習用画像ｉｍｒＬ２の画像自体は、対応する対象画像ｉｍの異常部分と同じである。

【0071】

「異常種類」は、第２再学習用画像ｉｍｒＬ２に含まれる異常の種類を示す情報である。図１２の例では、第２再学習用画像ｉｍｒＬ２０１の「異常種類」は「変色」である。これは、第２再学習用画像ｉｍｒＬ２０１が、じゃがいもの変色した部分を撮影した画像であることを示している。

【0072】

なお、第２再学習用画像情報１２３２は、図１２の例に限られない。第２再学習用画像情報１２３２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、第２再学習用画像情報１２３２は、第２再学習用画像ｉｍｒＬ２を撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。

【0073】

図１３は、第２再学習用画像ｉｍｒＬ２の一例を示す図である。図１３の例では、異常検出対象ｔは、じゃがいもであり、じゃがいもの異常として、芽、傷及び変色を想定している。第２再学習用画像ｉｍｒＬ２０１は、じゃがいもの変色した部分を撮影した異常部分画像である。第２再学習用画像ｉｍｒＬ２０２は、じゃがいもの芽の部分を撮影した異常部分画像である。第２再学習用画像ｉｍｒＬ２０３は、じゃがいもの傷を撮影した異常部分画像である。第２再学習用画像情報１２３２には、このように複数の異常部分画像の第２再学習用画像情報１２３２が含まれる。

【0074】

異常検出モデル１２４は、正常画像を学習することにより、対象画像ｉｍから異常検出対象ｔの異常を検出するように学習されたＡＩモデルである。異常検出モデル１２４は、対象画像ｉｍを入力されると、対象画像ｉｍに含まれる異常の有無を出力する。異常検出モデル１２４は、例えば、パッチコア（ＰａｔｃｈＣｏｒｅ）であるが、これに限られない。パッチコアについて、詳しくは後述する。異常検出モデル１２４として、正常画像を学習することにより異常を検出可能となる任意のＡＩモデルを利用できる。

【0075】

異常分類モデル１２５は、異常部分画像を学習することにより、異常部分画像から異常の種類を分類できるように学習されたＡＩモデルである。異常分類モデル１２５は、異常部分画像を入力されると、異常部分画像に含まれる異常の種類を出力する。異常分類モデル１２５は、例えば、ＣＮＮ（Convolutional Neural Network）であるが、これに限られない。異常分類モデル１２５として、異常部分画像を学習することにより異常の種類を分類可能となる任意のＡＩモデルを利用できる。

【0076】

検出結果情報１２６は、対象画像ｉｍに対する異常の検出処理及び分類処理の結果を示す情報である。

【0077】

図１４は、検出結果情報１２６の一例を示す図である。図１４の検出結果情報１２６は、情報項目として、「対象画像ＩＤ」と、「撮影日時」と、「画像データ」と、「異常」と、「異常種類」と、を含む。

【0078】

「対象画像ＩＤ」は、異常の検出対象となった対象画像ｉｍの識別情報である。

【0079】

「撮影日時」は、対象画像ｉｍを撮影装置３が撮影した日時を示す情報である。図１４の例では、対象画像ｉｍ１０１の「撮影日時」は「２０２２／１１／２３ １３：００：００」である。これは、対象画像ｉｍ１０１が２０２２／１１／２３の１３：００：００に撮影されたことを示している。

【0080】

「画像データ」は、対象画像ｉｍの画像データである。図１４の例では、対象画像ｉｍ１０１の「画像データ」は「ｉｍ１０１．ｐｎｇ」である。これは、対象画像ｉｍ１０１の画像データのファイル名がｉｍ１０１．ｐｎｇであることを示している。

【0081】

「異常」は、対象画像ｉｍに含まれる異常の有無を示す情報である。図１４の例では、対象画像ｉｍ１０１の「異常」は「有」である。これは、対象画像ｉｍ１０１が異常を有する異常検出対象ｔを撮影した画像であることを示している。

【0082】

「異常種類」は、対象画像ｉｍに含まれる異常の種類を示す情報である。図１４の例では、対象画像ｉｍ１０１の「異常種類」は「変色」である。これは、対象画像ｉｍ１０１が、変色した部分を有する異常検出対象ｔを撮影した画像であることを示している。

【0083】

なお、検出結果情報１２６は、図１４の例に限られない。検出結果情報１２６は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。例えば、検出結果情報１２６は、対象画像ｉｍを撮影した撮影装置３に関する情報や、その撮影環境に関する情報を含んでもよい。また、図１４の例では、検出結果情報１２６は、対象画像情報１２１を含むが、対象画像情報１２１と検出結果情報１２６とは別個に保存されてもよい。

【0084】

制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、異常検出装置１の動作全体を制御する。制御部１３は、取得部１３１と、学習部１３２と、検出部１３３と、分類部１３４と、選択部１３５と、再学習部１３６と、を備える。

【0085】

取得部１３１は、ユーザ端末２から対象画像ｉｍを取得し、対象画像情報１２１として記憶部１２に保存する。

【0086】

学習部１３２は、学習用画像をＡＩモデルに学習させる。具体的には、学習部１３２は、第１学習用画像ｉｍＬ１を異常検出モデル１２４に学習させる。また、学習部１３２は、第２学習用画像ｉｍＬ２を異常分類モデル１２５に学習させる。

【0087】

検出部１３３は、異常検出モデル１２４を利用して、対象画像ｉｍに含まれる異常を検出する。具体的には、検出部１３３は、異常検出モデル１２４に対象画像ｉｍを入力し、異常検出モデル１２４が出力した異常の有無を、検出結果として取得し、検出結果情報１２６として記憶部１２に保存する。

【0088】

分類部１３４は、検出部１３３により対象画像ｉｍに異常が検出された場合、異常分類モデル１２５を利用して、対象画像ｉｍに含まれる異常の種類を分類する。具体的には、分類部１３４は、異常が検出された対象画像ｉｍから異常の部分をクリッピングして異常部分画像を生成し、異常分類モデル１２５に異常部分画像を入力し、異常分類モデル１２５が出力した異常の種類を、分類結果として取得し、検出結果情報１２６として記憶部１２に保存する。

【0089】

選択部１３５は、対象画像ｉｍの中から、第１学習用画像ｉｍＬ１と、第２学習用画像ｉｍＬ２と、第１再学習用画像ｉｍｒＬ１と、第２再学習用画像ｉｍｒＬ２と、を選択する。選択部１３５は、記憶部１２に保存された対象画像ｉｍの中から自動的に第１学習用画像ｉｍＬ１を選択してもよいし、記憶部１２に保存された対象画像ｉｍをユーザに提示し、ユーザにより選択された対象画像ｉｍを第１学習用画像ｉｍＬ１として選択してもよい。第２学習用画像ｉｍＬ２、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２についても同様である。

【0090】

再学習部１３６は、再学習用画像をＡＩモデルに再学習させる。具体的には、再学習部１３６は、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる。また、再学習部１３６は、第２再学習用画像ｉｍｒＬ２を異常分類モデル１２５に再学習させる。

【0091】

なお、異常検出装置１の機能構成は、上記の例に限られない。例えば、異常検出装置１は、上記の機能構成の一部を備え、残りをユーザ端末２が備えてもよい。また、異常検出装置１は、上記以外の機能構成を備えてもよい。また、異常検出装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。

【0092】

＜異常検出システム１０００が実行する学習処理＞
次に、異常検出システム１０００が実行する学習処理について説明する。図１５は、学習処理の一例を示すフローチャートである。以下では、異常検出システム１０００がベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）の異常を検出する場合を例に説明する。じゃがいもの異常は、芽、傷及び変色の３種類であるものとするが、異常はこれに限られない。

【0093】

（ステップＳ１０１）
まず、ユーザ端末２が、撮影装置３が予め撮影した複数の対象画像ｉｍを取得する（ステップＳ１０１）。対象画像ｉｍは、ベルトコンベアで搬送されるじゃがいもを撮影装置３で撮影した画像である。ここで取得する対象画像ｉｍは、正常画像及び異常画像を含む。

【0094】

（ステップＳ１０２）
次に、ユーザ端末２は、ユーザからの操作に応じて、対象画像ｉｍを選択画面に一覧表示する（ステップＳ１０２）。この選択画面は、対象画像ｉｍの中から、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択するための画面である。ユーザは、選択画面に表示された対象画像ｉｍを参照して、これらの中から第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択する。

【0095】

図１６は、選択画面の一例を示す図である。図１６の選択画面は、対象画像領域Ａ１と、操作領域Ａ２と、を有する。

【0096】

対象画像領域Ａ１は、対象画像ｉｍを一覧表示する領域である。図１６の例では、対象画像ｉｍ００１～ｉｍ００６が表示されている。対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５は正常画像であり、対象画像ｉｍ００２，ｉｍ００３，ｉｍ００６は異常画像である。

【0097】

操作領域Ａ２は、選択画面の操作ボタンを表示する領域である。図１６の例では、正常ボタンＢ１と、異常ボタンＢ２～Ｂ４と、送信ボタンＢ５と、が表示されている。

【0098】

正常ボタンＢ１は、正常画像を選択するためのボタンである。異常ボタンＢ２は、芽があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。異常ボタンＢ３は、傷があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。異常ボタンＢ４は、変色があるじゃがいもの対象画像ｉｍ（異常画像）を選択するためのボタンである。送信ボタンＢ５は、選択した対象画像ｉｍを異常検出装置１に送信するためのボタンである。

【0099】

ユーザは、これらのボタンを操作して対象画像ｉｍをアノテーションし、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２を選択し、異常検出モデル１２４及び異常分類モデル１２５にそれぞれ学習させる。

【0100】

（ステップＳ１０３）
選択画面が表示されると、ユーザは、ユーザ端末２を操作して、対象画像領域Ａ１に表示された対象画像ｉｍの中から正常画像を第１学習用画像ｉｍＬ１として選択する（ステップＳ１０３）。

【0101】

図１７は、選択画面の一例を示す図である。図１７の例では、正常ボタンＢ１が選択された状態で、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５が選択されている。これは、ユーザが、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５を正常画像と判断し、第１学習用画像ｉｍＬ１として選択したことを示している。この状態でユーザが送信ボタンＢ５を選択すると、ユーザ端末２は、対象画像ｉｍ００１，ｉｍ００４，ｉｍ００５を第１学習用画像ｉｍＬ１として異常検出装置１に送信する。

【0102】

（ステップＳ１０４）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した第１学習用画像ｉｍＬ１を取得すると（ステップＳ１０４）、取得した第１学習用画像ｉｍＬ１に撮影日時などの情報を対応づけて、学習用画像情報１２２として記憶部１２に保存する（図６参照）。

【0103】

（ステップＳ１０５）
その後、学習部１３２は、記憶部１２に保存された第１学習用画像ｉｍＬ１を異常検出モデル１２４に学習させる（ステップＳ１０５）。

【0104】

ここで、パッチコアについて説明する。パッチコアは、画像データセット（例えば、ＩｍａｇｅＮｅｔ）を学習済みの画像認識モデル（例えば、ＲｅｓＮｅｔ）に正常画像を入力し、得られた中間層の局所的な特徴量（以下「パッチ特徴量」という。）をメモリバンクに保存し、メモリバンクに保存されたパッチ特徴量と、画像認識モデルに対象画像を入力して得られたパッチ特徴量と、の距離に基づいて、対象画像の異常を検出するものである。パッチ特徴量は、画像における位置情報を保持しているため、対象画像のエリアごとに異常の検出が行われる。すなわち、パッチコアでは、対象画像のエリアごとにパッチ特徴量間の距離が算出され、距離が閾値以上であるエリアが、異常のあるエリアとして検出される。パッチ特徴量間の距離は、エリアの異常度に相当し、対象画像上に異常度のヒートマップを表示することができる。

【0105】

異常検出モデル１２４がパッチコアである場合、まず、学習済みの画像認識モデルを用意する。既存の学習済みの画像認識モデルを用意してもよいし、既存の画像認識モデルに画像データセットを学習させてもよい。次に、複数の第１学習用画像ｉｍＬ１を画像認識モデルに入力し、各第１学習用画像ｉｍＬ１のパッチ特徴量を取得し、メモリバンクに保存する。以上の工程がパッチコアの学習処理に相当し、画像認識モデル及びメモリバンクがパッチコアのＡＩモデル（異常検出モデル１２４）に相当する。

【0106】

学習部１３２は、こうして得られた学習済みの異常検出モデル１２４を、記憶部１２に保存する。

【0107】

（ステップＳ１０６）
次に、ユーザは、ユーザ端末２を操作して、対象画像領域Ａ１に表示された対象画像ｉｍの中から異常画像を異常種類ごとに選択する（ステップＳ１０６）。

【0108】

（ステップＳ１０７）
そして、ユーザは、選択した異常画像の中の、異常を含む少なくとも一部を、第２学習用画像ｉｍＬ２としてクロッピングする（ステップＳ１０７）。

【0109】

図１８は、選択画面の一例を示す図である。図１８の例では、異常ボタンＢ２が選択された状態で、対象画像ｉｍ００２が選択され、対象画像ｉｍ００２におけるじゃがいもの芽の部分がクロッピングされている。これは、ユーザが、対象画像ｉｍ００２をじゃがいもに芽がある異常画像と判断し、対象画像ｉｍ００２の芽の部分の画像を、異常種類「芽」の第２学習用画像ｉｍＬ２（異常部分画像）として選択したことを示している。この状態でユーザが送信ボタンＢ５を選択すると、ユーザ端末２は、対象画像ｉｍ００２のクロッピングされた芽の部分の画像を、第２学習用画像ｉｍＬ２として異常検出装置１に送信する。

【0110】

（ステップＳ１０８）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した第２学習用画像ｉｍＬ２を取得すると（ステップＳ１０８）、取得した第２学習用画像ｉｍＬ２に撮影日時や異常種類などの情報を対応づけて、学習用画像情報１２２として記憶部１２に保存する（図８参照）。

【0111】

（ステップＳ１０９）
その後、学習部１３２は、記憶部１２に保存された第２学習用画像ｉｍＬ２（異常部分画像）を異常分類モデル１２５に学習させる（ステップＳ１０９）。具体的には、第２学習用画像ｉｍＬ２の第２学習用画像情報１２２２を利用して、第２学習用画像ｉｍＬ２を入力すると、その異常種類を出力するように、異常分類モデル１２５に教示有り学習させる。異常の種類が芽、傷及び変色の３種類である場合、異常分類モデル１２５は、３種類のいずれかを出力する。異常分類モデル１２５が分類する異常種類の数は、任意に設定可能である。

【0112】

＜異常検出システム１０００が実行する検出処理＞
次に、異常検出システム１０００が実行する検出処理について説明する。図１９は、検出処理の一例を示すフローチャートである。以下では、異常検出システム１０００がベルトコンベアで搬送されるじゃがいも（異常検出対象ｔ）の異常を検出する場合を例に説明する。じゃがいもの異常は、芽、傷及び変色の３種類であるものとするが、異常はこれに限られない。また、記憶部１２には、学習用画像を学習済みの異常検出モデル１２４及び異常分類モデル１２５が保存されているものとする。また、異常検出モデル１２４は、パッチコアであるものとする。

【0113】

（ステップＳ２０１）
まず、ユーザ端末２が、撮影装置３から対象画像ｉｍを取得し（ステップＳ２０１）、異常検出装置１に送信する。対象画像ｉｍは、ベルトコンベアで搬送されるじゃがいもを撮影装置３でリアルタイムに撮影した画像である。ここで取得する対象画像ｉｍは、正常画像及び異常画像を含む。撮影装置３が１秒ごとに対象画像ｉｍを撮影する場合、ユーザ端末２は新たに撮影された対象画像ｉｍを１秒ごとに取得し、異常検出装置１に送信する。なお、対象画像ｉｍの撮影間隔は任意に設定可能である。

【0114】

（ステップＳ２０２）
異常検出装置１の取得部１３１は、ユーザ端末２が送信した対象画像ｉｍを取得すると（ステップＳ２０２）、取得した対象画像ｉｍに撮影日時などの情報を対応づけて、検出結果情報１２６として記憶部１２に保存する（図１４参照）。なお、この時点では、「異常」及び「異常種類」の項目は空欄となる。

【0115】

（ステップＳ２０３）
新たな対象画像ｉｍが保存されると、検出部１３３は、異常検出モデル１２４を利用して、この対象画像ｉｍから異常を検出する（ステップＳ２０３）。具体的には、検出部１３３は、パッチコアの画像認識モデルに対象画像ｉｍを入力し、この対象画像ｉｍのパッチ特徴量を取得する。次に、検出部１３３は、対象画像ｉｍのパッチ特徴量と、メモリバンクに保存されたパッチ特徴量と、の距離を、対象画像ｉｍのエリアごとに算出する。そして、検出部１３３は、パッチ特徴量間の距離が予め設定された閾値以上のエリアが存在する場合、対象画像ｉｍに異常があると判定する。すなわち、対象画像ｉｍの異常が検出される。距離が閾値以上のエリアが、対象画像ｉｍにおける異常の部分に相当する。

【0116】

（ステップＳ２０４）
対象画像ｉｍに異常が検出されなかった場合（ステップＳ２０４：ＮＯ）、処理はステップＳ２０６に進む。対象画像ｉｍに異常が検出された場合（ステップＳ２０４：ＹＥＳ）、処理はステップＳ２０５に進む。

【0117】

（ステップＳ２０５）
分類部１３４は、異常分類モデル１２５を利用して、異常が検出された対象画像ｉｍに含まれる異常の種類を分類する（ステップＳ２０５）。まず、分類部１３４は、異常が検出された対象画像ｉｍの中から異常部分画像をクロッピングする。分類部１３４は、例えば、ステップＳ２０３で異常と判定されたエリアを覆う矩形の領域を、異常部分画像としてクロッピングすればよい。

【0118】

図２０は、異常部分画像のクロッピング方法の一例を示す図である。図２０の左図は異常として芽を含む対象画像ｉｍ、中図はステップＳ２０３で算出された距離（異常度）をヒートマップとして可視化した図、右図は異常部分画像を示す図である。

【0119】

図２０に示すように、芽を含む対象画像ｉｍに対して異常検出処理が実行されると、芽を含む部分の距離（異常度）が高くなり、対象画像ｉｍから異常が検出される。中図では、芽を含む部分の色が濃く表示されている。分類部１３４は、異常として検出された部分、すなわち、中図の色が濃く表示された部分を含む矩形の領域を、異常部分画像としてクロッピングする（左図）。これにより、分類部１３４は、異常が検出された対象画像ｉｍから自動的に異常部分画像をクロッピングすることができる。なお、中図では、芽以外の部分の色も濃くなっているが、これらの距離（異常度）は閾値以下であり、異常としては検出されていない。

【0120】

分類部１３４は、こうして得られた異常部分画像を異常分類モデル１２５に入力し、異常分類モデル１２５が出力した異常種類を対象画像ｉｍの異常の種類として取得する。これにより、対象画像ｉｍの異常が分類される。図２０の例では、異常種類は芽に分類される。分類部１３４は、

【0121】

（ステップＳ２０６）
その後、検出部１３３及び分類部１３４は、異常の検出結果及び分類結果を検出結果情報１２６として記憶部１２に保存する（ステップＳ２０６）。これにより、図１４のような検出結果情報１２６が生成される。

【0122】

（ステップＳ２０７）
次に、再学習部１３６は、異常検出モデル１２４及び異常分類モデル１２５の再学習タイミングが到来したか判定する（ステップＳ２０７）。再学習タイミングは、異常検出モデル１２４及び異常分類モデル１２５の再学習処理を実行するタイミングである。ここでは、異常検出モデル１２４及び異常分類モデル１２５の再学習タイミングが同じである場合を想定しているが、異なってもよい。再学習タイミングは、例えば、所定時間（例えば１時間、１日、１週間）ごとであってもよいし、対象画像ｉｍに対する異常検出処理を所定回数実行するごとであってもよいし、ユーザにより指定されたタイミングでもよいし、異常な対象画像ｉｍの割合又は各異常種類の割合が変化したタイミングであってもよい。割合が変化したタイミングは、例えば、過去の複数の期間でそれぞれ算出された複数の割合に基づいて設定された割合の範囲（以下「標準範囲」という。）を逸脱したタイミングである。例えば、過去の異常な対象画像ｉｍの割合に基づいて、異常な対象画像ｉｍの割合の標準範囲が１０％～２０％に設定された場合、ある期間の異常な対象画像ｉｍの割合が１０％未満又は２０％を超えると、再学習タイミングとなる。なお、標準範囲の設定方法は任意である。

【0123】

再学習タイミングが到来していない場合（ステップＳ２０７：ＮＯ）、処理は終了する。再学習タイミングが到来した場合（ステップＳ２０７：ＹＥＳ）、処理はステップＳ２０８に進む。

【0124】

（ステップＳ２０８）
再学習タイミングが到来した場合、選択部１３５は、検出結果情報１２６を参照して、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択する（ステップＳ２０８）。

【0125】

選択部１３５は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍのうち、異常が検出されなかった対象画像ｉｍ（正常画像）の中から少なくとも一部を第１再学習用画像ｉｍｒＬ１として選択する。図１４の例では、対象画像ｉｍ１０２，ｉｍ１０５，ｉｍ１０６の中から第１再学習用画像ｉｍｒＬ１が選択される。選択部１３５は、全ての正常画像を第１再学習用画像ｉｍｒＬ１として選択してもよいし、一部を第１再学習用画像ｉｍｒＬ１として選択してもよい。例えば、選択部１３５は、その対象画像ｉｍの異常度（パッチ特徴量間の距離）の最大値が閾値以下である対象画像ｉｍを、第１再学習用画像ｉｍｒＬ１として選択する。

【0126】

また、選択部１３５は、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍのうち、異常が検出された対象画像ｉｍ（異常画像）の中から少なくとも一部からクロッピングした異常部分画像を第２再学習用画像ｉｍｒＬ２として選択する。図１４の例では、対象画像ｉｍ１０１，ｉｍ１０３，ｉｍ１０４からクロッピングした異常部分画像が第２再学習用画像ｉｍｒＬ２として選択される。選択部１３５は、全ての異常画像からクロッピングした異常部分画像を第２再学習用画像ｉｍｒＬ２として選択してもよいし、一部を第２再学習用画像ｉｍｒＬ２として選択してもよい。異常部分画像をクロッピングする方法は上述の通りである（図２０参照）。

【0127】

選択部１３５は、こうして選択した第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２に撮影日時などの情報を対応づけて、再学習画像情報１２３として記憶部１２に保存する。

【0128】

（ステップＳ２０９）
再学習部１３６は、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる（ステップＳ２０９）。具体的には、再学習部１３６は、複数の第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４の画像認識モデルに入力し、各第１再学習用画像ｉｍｒＬ１のパッチ特徴量を取得し、メモリバンクに追加する。以上の工程が異常検出モデル１２４の再学習に相当し、これにより、異常検出モデル１２４が更新される。再学習部１３６は、再学習された異常検出モデル１２４を記憶部１２に保存する。

【0129】

（ステップＳ２１０）
また、再学習部１３６は、第２再学習用画像ｉｍｒＬ２を異常分類モデル１２５に再学習させる（ステップＳ２１０）。具体的には、再学習部１３６は、複数の第２再学習用画像ｉｍｒＬ２と異常種類の組みを異常分類モデル１２５に再学習させる。これにより、異常分類モデル１２５が更新される。再学習部１３６は、再学習された異常分類モデル１２５を記憶部１２に保存する。

【0130】

＜まとめ＞
以上説明した通り、本実施形態によれば、異常検出システム１０００は、正常画像（第１学習用画像ｉｍＬ１）を学習することにより対象画像ｉｍから異常を検出するように学習された異常検出モデル１２４を利用して、複数の対象画像ｉｍから異常を検出する検出処理と、検出処理により異常が検出されなかった対象画像ｉｍの中の少なくとも一部を第１再学習用画像ｉｍｒＬ１として選択する選択処理と、第１再学習用画像ｉｍｒＬ１を異常検出モデル１２４に再学習させる再学習処理と、を含む異常検出処理を実行する。これにより、異常検出モデル１２４が常に新しい第１再学習用画像ｉｍｒＬ１により再学習されるため、対象画像ｉｍの撮影環境が時間に応じて変化したり、異常検出対象ｔが時期により外観が変化するもの（野菜など）であったりした場合であっても、異常検出モデル１２４による異常の検出精度の経時的な低下を抑制することができる。

【0131】

例えば、図７の第１学習用画像ｉｍＬ１と、図１１の第１再学習用画像ｉｍｒＬ１と、はじゃがいもの色が全体的に異なっている。じゃがいものような野菜の場合、収穫する時期により、同じ品種であってもこのような色の変化が生じる場合がある。また、季節によって撮影環境の日照が変化し、このような色の変化が生じることもある。さらに、１日の間でも、時間帯によって日照条件などが変化し、色の変化が生じることもある。このような場合、図７の第１学習用画像ｉｍＬ１を学習した異常検出モデル１２４を利用し続けると、経時的に異常の検出精度が低下するおそれがある。

【0132】

一方で、このような外観の変化は、徐々に進行することが多い。言い換えると、短時間で急激に異常の検出精度が低下する可能性は低い。このため、本実施形態のように、異常検出モデル１２４を、常に新しい第１再学習用画像ｉｍｒＬ１で再学習することにより、このような外観の変化に応じた異常の検出精度の低下を抑制することができる。

【0133】

なお、本実施形態では、対象画像ｉｍから異常が検出された場合、その異常の種類を分類したが、異常の種類の分類は行わなくてもよい。

【0134】

また、本実施形態では、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２は、異常検出装置１により自動的に選択されたが、第１学習用画像ｉｍＬ１及び第２学習用画像ｉｍＬ２と同様に、ユーザにより選択されてもよい。

【0135】

例えば、ユーザ端末２は、ユーザからの操作に応じて、前回の再学習処理（再学習処理がまだ１度も実行されていない場合は学習処理）の実行後に異常検出処理の対象となった対象画像ｉｍを選択画面に一覧表示する。この選択画面は、対象画像ｉｍの中から、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択するための画面である。ユーザは、選択画面に表示された対象画像ｉｍを参照して、これらの中から第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を選択すればよい（図１６～図１８参照）。選択部１３５は、ユーザにより選択された第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２を、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２として選択し、記憶部１２に保存する。これにより、第１再学習用画像ｉｍｒＬ１及び第２再学習用画像ｉｍｒＬ２をユーザが選択することができる。

【0136】

＜付記＞
本実施形態は、以下の開示を含む。

【0137】

（付記１）
異常検出システムが実行する異常検出方法であって、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法。

【0138】

（付記２）
前記選択処理は、前回の再学習処理の実行後に検出処理の対象となった対象画像の中から前記第１再学習用画像を選択する
付記１に記載の異常検出方法。

【0139】

（付記３）
前記選択処理は、異常度が閾値以下の正常画像を前記第１再学習用画像として選択する
付記１に記載の異常検出方法。

【0140】

（付記４）
前記選択処理は、対象画像を一覧表示し、一覧表示された対象画像の中からユーザにより選択された対象画像を前記第１再学習用画像として選択する
付記１に記載の異常検出方法。

【0141】

（付記５）
前記再学習処理は、所定時間ごとに実行される
付記１に記載の異常検出方法。

【0142】

（付記６）
検出処理により対象画像から異常が検出された場合、異常部分画像を学習することにより異常画像に含まれる異常を分類するように学習された異常分類モデルを利用して、検出された異常を分類する分類処理を更に含む
付記１に記載の異常検出方法。

【0143】

（付記７）
前記選択処理は、前記検出処理により異常が検出された対象画像の中の少なくとも一部からクロッピングした異常部分画像を第２再学習用画像として選択し、
前記再学習処理は、前記第２再学習用画像を前記異常分類モデルに再学習させる
付記６に記載の異常検出方法。

【0144】

（付記８）
コンピュータに、
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、
前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、
を含む異常検出方法を実行させるためのプログラム。

【0145】

（付記９）
正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出部と、
前記検出部により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択部と、
前記第１再学習用画像を前記異常検出モデルに再学習させる再学習部と、
を含む異常検出システム。

【0146】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0147】

１：異常検出装置
２：ユーザ端末
３：撮影装置
１１：通信部
１２：記憶部
１３：制御部
１２１：対象画像情報
１２２：学習用画像情報
１２３：再学習用画像情報
１２４：異常検出モデル
１２５：異常分類モデル
１２６：検出結果情報
１３１：取得部
１３２：学習部
１３３：検出部
１３４：分類部
１３５：選択部
１３６：再学習部

【要約】

【課題】 ＡＩモデルによる異常の検出精度の低下を抑制する。
【解決手段】
一実施形態に係る異常検出方法は、異常検出システムが実行する異常検出方法であって、正常画像を学習することにより画像から異常を検出するように学習された異常検出モデルを利用して、複数の対象画像から異常を検出する検出処理と、前記検出処理により異常が検出されなかった対象画像の中の少なくとも一部を第１再学習用画像として選択する選択処理と、前記第１再学習用画像を前記異常検出モデルに再学習させる再学習処理と、を含む。
【選択図】図１９

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】