知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024157084
(43)【公開日】2024-11-07
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241030BHJP
【ＦＩ】
G06T7/00 610Z
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023071192
(22)【出願日】2023-04-25
(71)【出願人】
【識別番号】510058391
【氏名又は名称】株式会社調和技研
(74)【代理人】
【識別番号】100207619
【弁理士】
【氏名又は名称】渡辺 知晴
(72)【発明者】
【氏名】竹田 裕紀
(72)【発明者】
【氏名】鈴木 卓麻
(72)【発明者】
【氏名】中田 侑輝
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096FA31
5L096FA35
5L096GA51
5L096KA04
(57)【要約】
【課題】より少量のデータから高い精度で異常を検知することができる技術を提供する。
【解決手段】判定対象画像取得部６０は、工場端末３から送信されてくる判定対象画像情報を取得する。判定基準取得部６１は、学習サーバ２から送信されてくる判定対象画像に異常があるか否かの判定を行うための判定基準である閾値に関する判定基準情報を取得する。判定部６２は、判定対象画像取得部６０で取得された判定対象画像情報により算出された異常スコア及び判定基準取得部６１で取得された判定基準情報に基づいて、判定対象画像に異常があるか否かを判定する。判定結果管理部６３は、判定部６２による判定対象画像に対する判定の結果に関する判定結果情報を、工場端末３へ送信する。
【選択図】図３
【解決手段】判定対象画像取得部６０は、工場端末３から送信されてくる判定対象画像情報を取得する。判定基準取得部６１は、学習サーバ２から送信されてくる判定対象画像に異常があるか否かの判定を行うための判定基準である閾値に関する判定基準情報を取得する。判定部６２は、判定対象画像取得部６０で取得された判定対象画像情報により算出された異常スコア及び判定基準取得部６１で取得された判定基準情報に基づいて、判定対象画像に異常があるか否かを判定する。判定結果管理部６３は、判定部６２による判定対象画像に対する判定の結果に関する判定結果情報を、工場端末３へ送信する。
【選択図】図３
【特許請求の範囲】
【請求項1】
判定対象を含む画像を判定対象画像として取得する判定対象画像取得手段と、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得手段と、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知手段と、
を備える情報処理装置。
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得手段と、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知手段と、
を備える情報処理装置。
【請求項2】
前記異常検知手段は、前記学習用画像により得られた度数分布から正常である場合の範囲を推定して決定された第１の閾値に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記異常検知手段は、正常画像から疑似的な異常画像である疑似異常画像を生成し、正常画像及び前記疑似異常画像に基づいて決定された第２の閾値に基づいて前記判定対象画像が正常画像か異常画像であるかを判定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
前記異常検知手段は、前記異常検知手段による判定の結果が、人による前記判定対象画像の判定の結果と異なる場合、当該人による判定の結果を加味して変更された第３の閾値に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する、
請求項２又は３に記載の情報処理装置。
請求項２又は３に記載の情報処理装置。
【請求項5】
正常画像を学習用画像として取得する学習用画像取得手段と、
異常画像を含むことなく、正常画像のみから構成された前記学習用画像に対して統計処理を適用して、算出したスコアに基づいて、異常検知の判定基準を生成する判定基準生成手段と、
を備える情報処理装置。
異常画像を含むことなく、正常画像のみから構成された前記学習用画像に対して統計処理を適用して、算出したスコアに基づいて、異常検知の判定基準を生成する判定基準生成手段と、
を備える情報処理装置。
【請求項6】
コンピュータが実行する情報処理方法であって、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む情報処理方法。
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む情報処理方法。
【請求項7】
コンピュータに、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む処理を実行させるプログラム。
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、機械学習の技術の進歩は著しく、製造業等の現場においても、機械学習の技術の利用が試みられている。
この点、例えば、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）と呼ばれる技術を利用して、正常時の画像のみを用いて学習を行った結果を用いて、異常品を検知するための技術が提案されている（特許文献１を参照）。
この点、例えば、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）と呼ばれる技術を利用して、正常時の画像のみを用いて学習を行った結果を用いて、異常品を検知するための技術が提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－０８５４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の特許文献１に記載の技術のみでは、学習のために非常に多くのデータが必要となり、また、仮に十分なデータを収集できたとしても、異常データがない、もしくは少ない場合は適切な基準が決められず、判定の精度もそこまで高いものではなかった。
【0005】
本発明は、このような状況に鑑みてなされたものであり、より簡便な学習によって、高い精度で異常が検知できる技術を提供することを目的とする。
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得手段と、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得手段と、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知手段と、
を備える。
判定対象を含む画像を判定対象画像として取得する判定対象画像取得手段と、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得手段と、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知手段と、
を備える。
【0007】
本発明の一態様の情報処理方法及びプログラムも、本発明の一態様の情報処理装置に対応する情報処理方法又はプログラムとして提供される。
【発明の効果】
【0008】
本発明によれば、より簡便な学習によって、高い精度で異常が検知できる技術を提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。
【図2】本発明の一実施形態に係る情報処理システムを構成する推論サーバのハードウェア構成の一例を示す図である。
【図3】本発明の一実施形態に係る情報処理システムを構成する推論サーバ、学習サーバ、工場端末及び撮像装置の機能的構成の一例を示す図である。
【図4】本発明の一実施形態に係る情報処理システムを構成する学習サーバが判定基準（閾値）を生成する方法の一例を説明する図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。
【0011】
＜概要の説明＞
まず、図１は、本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。
図１に示す情報処理システムは、推論サーバ１と、学習サーバ２と、工場端末３と、撮像装置４とを含み構成される。推論サーバ１と、学習サーバ２と、工場端末３とは、インターネット等の所定のネットワークＮを介して相互に接続されている。なお、ネットワークＮは必須の構成要素ではないし、例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ブルートゥース（登録商標）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が利用されてもよい。
まず、図１は、本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。
図１に示す情報処理システムは、推論サーバ１と、学習サーバ２と、工場端末３と、撮像装置４とを含み構成される。推論サーバ１と、学習サーバ２と、工場端末３とは、インターネット等の所定のネットワークＮを介して相互に接続されている。なお、ネットワークＮは必須の構成要素ではないし、例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ブルートゥース（登録商標）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が利用されてもよい。
【0012】
推論サーバ１は、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等により構成され、本システムの管理者等により管理される。推論サーバ１は、異常検知の対象となる工場等の状況を撮像した画像（以下、「判定対象画像」と呼ぶ）に対して、後述する判定基準（閾値）を適用し、異常があるか否かを判定するための各種処理を実行する。
【0013】
学習サーバ２は、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等により構成され、本システムの管理者等により管理される。学習サーバ２は、事前に取得された学習用の正常時の画像データ（以下、「学習用画像」と呼ぶ）に対して、統計的機械学習をはじめとする各種処理を適用し、後述する判定基準（閾値）を決定するための各種処理を実行する。
【0014】
工場端末３は、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット、スマートフォン等により構成され、本システムにかかるサービス（以下、「異常検知サービス」と呼ぶ）の提供を受けるユーザにより管理される。工場端末３は、学習用画像や判定対象画像等を含む各種画像データを取得し、それぞれの情報を推論サーバ１又は学習サーバ２に送信する。
また、撮像装置４は、各種ビデオカメラ等で構成され、例えば、工場端末３が設置される工場内の各所に１台又は複数台が配置される。
また、撮像装置４は、各種ビデオカメラ等で構成され、例えば、工場端末３が設置される工場内の各所に１台又は複数台が配置される。
【0015】
＜ハードウェア構成＞
図２は、本発明の一実施形態に係る情報処理システムの推論サーバを構成するハードウェア構成の一例を示す図である。
図２に示すように、推論サーバ１は、制御部１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。
図２は、本発明の一実施形態に係る情報処理システムの推論サーバを構成するハードウェア構成の一例を示す図である。
図２に示すように、推論サーバ１は、制御部１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。
【0016】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び半導体メモリを含むマイクロコンピュータ等で構成され、ＲＯＭ２２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、制御部１１が各種の処理を実行する上において必要な情報等も適宜記憶される。
ＲＡＭ１３には、制御部１１が各種の処理を実行する上において必要な情報等も適宜記憶される。
【0017】
制御部１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、ドライブ２０が接続されている。
【0018】
出力部１６は、各種液晶ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
【0019】
入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。
【0020】
記憶部１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、各種データを記憶する。本実施形態では、例えば、各種プログラムや各種データベースを含む各種情報が記憶されている。
【0021】
通信部１９は、インターネットを含むネットワークＮを介して他の装置との間で行う通信を制御する。
【0022】
ドライブ２０は、必要に応じて設けられる。ドライブ２０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。またリムーバブルメディア３１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0023】
なお、学習サーバ２及び工場端末３のハードウェア構成は、上述の推論サーバ１のハードウェア構成と基本的に同様とすることができるので、説明を省略する。
【0024】
図３は、本発明の一実施形態に係る情報処理システムを構成する推論サーバ、学習サーバ、工場端末及び撮像装置の機能的構成の一例を示す図である。
【0025】
図３に示すように、推論サーバ１の制御部１１では、各種プログラム等を実行することにより、判定対象画像取得部６０と、判定基準取得部６１と、判定部６２と、判定結果管理部６３とが機能する。
【0026】
推論サーバ１の判定対象画像取得部６０は、判定対象を含む画像を判定対象画像として取得する。
具体的に判定対象画像取得部６０は、工場端末３から送信されてくる異常検知の判定対象となる画像に関する情報（以下、「判定対象画像情報」と呼ぶ）を、通信部１９を介して取得する。
また、推論サーバ１の判定対象画像取得部６０は、取得した判定対象画像情報に基づいて、対象となる画像が異常を含むか否かに関するスコア（以下、「異常スコア」と呼ぶ）を算出する。なお、異常スコアの算出方法の詳細は、学習サーバ２の機能的構成の説明に合わせて、後述する。
具体的に判定対象画像取得部６０は、工場端末３から送信されてくる異常検知の判定対象となる画像に関する情報（以下、「判定対象画像情報」と呼ぶ）を、通信部１９を介して取得する。
また、推論サーバ１の判定対象画像取得部６０は、取得した判定対象画像情報に基づいて、対象となる画像が異常を含むか否かに関するスコア（以下、「異常スコア」と呼ぶ）を算出する。なお、異常スコアの算出方法の詳細は、学習サーバ２の機能的構成の説明に合わせて、後述する。
【0027】
推論サーバ１の判定基準取得部６１は、正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する。
具体的に判定基準取得部６１は、学習サーバ２から送信されてくる判定対象画像に異常があるか否かの判定を行うための判定基準となる閾値に関する情報（以下、「判定基準情報」と呼ぶ）を、通信部１９を介して取得する。
具体的に判定基準取得部６１は、学習サーバ２から送信されてくる判定対象画像に異常があるか否かの判定を行うための判定基準となる閾値に関する情報（以下、「判定基準情報」と呼ぶ）を、通信部１９を介して取得する。
【0028】
推論サーバ１の判定部６２は、前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する。具体的に判定部６２は、判定対象画像取得部６０で取得された判定対象画像情報により算出された異常スコア及び判定基準取得部６１で取得された判定基準情報に基づいて、判定対象画像に異常があるか否かを判定する。なお、異常スコアの詳細は、後述する。
【0029】
推論サーバ１の判定結果管理部６３は、判定部６２による判定対象画像に対する判定の結果に関する情報（以下、「判定結果情報」と呼ぶ）を、工場端末３へ送信する。
【0030】
図３に示すように、学習サーバ２の制御部２００では、各種プログラム等を実行することにより、学習用画像取得部２２０と、学習部２２１と、判定基準生成部２２２とが機能する。
学習サーバ２の学習用画像取得部２２０は、正常画像を学習用画像として取得する。
具体的に学習用画像取得部２２０は、工場端末３から送信されてくる学習用画像に関する情報（以下、「学習用画像情報」と呼ぶ）を、通信部２１０を介して取得する。
ここで、本発明の目的の一つは、できるだけ異常時の画像を利用せず、かつできるだけ少量の正常時の画像のみから学習を行い、高い精度の異常検知を行う点にある。すなわち、ここで言う学習画像とは、例えば、異常時の画像を含まない、相対的に少量の正常画像から構成される。通常、製造業等の現場では、異常時の画像データを取得するのが困難であり、機械学習等の技術を適用する場合に弊害となることが多かった。本発明では、このような課題を解決するため、正常画像のみから構成され、かつ相対的に少量の学習用データのみから高い精度で工場等の異常を検知する方法を検討したものである。
学習サーバ２の学習用画像取得部２２０は、正常画像を学習用画像として取得する。
具体的に学習用画像取得部２２０は、工場端末３から送信されてくる学習用画像に関する情報（以下、「学習用画像情報」と呼ぶ）を、通信部２１０を介して取得する。
ここで、本発明の目的の一つは、できるだけ異常時の画像を利用せず、かつできるだけ少量の正常時の画像のみから学習を行い、高い精度の異常検知を行う点にある。すなわち、ここで言う学習画像とは、例えば、異常時の画像を含まない、相対的に少量の正常画像から構成される。通常、製造業等の現場では、異常時の画像データを取得するのが困難であり、機械学習等の技術を適用する場合に弊害となることが多かった。本発明では、このような課題を解決するため、正常画像のみから構成され、かつ相対的に少量の学習用データのみから高い精度で工場等の異常を検知する方法を検討したものである。
【0031】
学習サーバ２の学習部２２１は、異常画像を含むことなく、正常画像のみから構成された前記学習用画像に対して統計処理を適用して、スコアを算出する。
具体的に学習部２２１は、学習用画像取得部２２０で取得された学習用画像情報に対して、所定の統計処理を適用し、対象となる画像の異常スコアを算出する。
ここで、学習部２２１が適用する統計処理とは、例えば、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ），ＰａｔｃｈＣｏｒｅ，ＰａＤｉＭ等の汎用的な異常検知のためのアルゴリズムが含まれ得る。学習部２２１は、このような任意のアルゴリズムを適用又は応用し、所定の画像から異常スコアを算出することができる。
なお、例えば、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）については、上述の特許文献１を参照することができる。同様に例えば、ＰａｔｃｈＣｏｒｅについては後述する非特許文献１を参照することができる。
［非特許文献１］“
”Towards Total Recall in Industrial Anomaly Detection”，Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard Scholkopf , Thomas Brox, Peter Gehler
（CVPR2022）URL：https://openaccess.thecvf.com/content/CVPR2022/papers/Roth_Towards_Total_Recall_in_Industrial_Anomaly_Detection_CVPR_2022_paper.pdf
具体的に学習部２２１は、学習用画像取得部２２０で取得された学習用画像情報に対して、所定の統計処理を適用し、対象となる画像の異常スコアを算出する。
ここで、学習部２２１が適用する統計処理とは、例えば、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ），ＰａｔｃｈＣｏｒｅ，ＰａＤｉＭ等の汎用的な異常検知のためのアルゴリズムが含まれ得る。学習部２２１は、このような任意のアルゴリズムを適用又は応用し、所定の画像から異常スコアを算出することができる。
なお、例えば、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ）については、上述の特許文献１を参照することができる。同様に例えば、ＰａｔｃｈＣｏｒｅについては後述する非特許文献１を参照することができる。
［非特許文献１］“
”Towards Total Recall in Industrial Anomaly Detection”，Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard Scholkopf , Thomas Brox, Peter Gehler
（CVPR2022）URL：https://openaccess.thecvf.com/content/CVPR2022/papers/Roth_Towards_Total_Recall_in_Industrial_Anomaly_Detection_CVPR_2022_paper.pdf
【0032】
学習サーバ２の判定基準生成部２２２は、算出したスコアに基づいて、異常検知の判定基準を生成する。
具体的に判定基準生成部２２２は、学習部２２１が算出した学習用画像の異常スコアに対して、所定の統計処理を適用することで、判定対象画像に判定を行うための判定基準（閾値）を生成する。なお、判定基準生成部２２２が、具体的に判定基準を生成する方法の一例は、図４等を参照しながら後述する。
また、判定基準生成部２２２は、生成した判定基準に関する判定基準情報を、推論サーバ１へ送信する。
具体的に判定基準生成部２２２は、学習部２２１が算出した学習用画像の異常スコアに対して、所定の統計処理を適用することで、判定対象画像に判定を行うための判定基準（閾値）を生成する。なお、判定基準生成部２２２が、具体的に判定基準を生成する方法の一例は、図４等を参照しながら後述する。
また、判定基準生成部２２２は、生成した判定基準に関する判定基準情報を、推論サーバ１へ送信する。
【0033】
図３に示すように、工場端末３の制御部３００では、各種プログラム等を実行することにより、画像管理部３２０と、判定結果取得部３２１とが機能する。
工場端末３の画像管理部３２０は、撮像装置４により撮像された各種画像に関する情報を取得し、管理する。
具体的に画像管理部３２０は、学習を行う前段階においては、撮像装置４により取得された学習用画像に関する学習用画像情報を取得し、その情報を学習サーバ２へ送信する。そして、学習後の推論段階においては、撮像装置４により取得された判定対象画像の判定対象画像情報を取得し、その情報を推論サーバ１へ送信する。
工場端末３の画像管理部３２０は、撮像装置４により撮像された各種画像に関する情報を取得し、管理する。
具体的に画像管理部３２０は、学習を行う前段階においては、撮像装置４により取得された学習用画像に関する学習用画像情報を取得し、その情報を学習サーバ２へ送信する。そして、学習後の推論段階においては、撮像装置４により取得された判定対象画像の判定対象画像情報を取得し、その情報を推論サーバ１へ送信する。
【0034】
工場端末３の判定結果取得部３２１は、推論サーバ１から送信されてくる判定結果情報を、通信部３１０を介して取得する。
【0035】
次に図４を参照しながら、判定基準生成部２２２が、判定基準を生成する場合の具体的な処理の一例を説明する。図４は、本発明の一実施形態に係る情報処理システムを構成する学習サーバが判定基準を生成する方法の一例を説明する図である。
【0036】
ここで、学習サーバ２の学習部２２１は、上述した通り、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ），ＰａｔｃｈＣｏｒｅ，ＰａＤｉＭ等のアルゴリズムを適用することで、正常時の工場内の学習用画像のみから、異常スコアを算出することができる。これに対して、判定基準生成部２２２は、学習用画像のそれぞれから算出された異常スコアの度数分布を検討し、
例えば、判定基準生成部は、
の範囲の異常スコアを正常な工場内の画像の範囲として規定することで、閾値を設定する。
具体的に例えば、図４に示すように学習用画像により算出された異常スコアの分布が、平均値＋３σを閾値と設定した。本システムは、このような方法を採用することで、極めて少ない正常時の学習用画像データのみから、高い精度で異常画像を検知することを実現した。
例えば、判定基準生成部は、
【数1】
具体的に例えば、図４に示すように学習用画像により算出された異常スコアの分布が、平均値＋３σを閾値と設定した。本システムは、このような方法を採用することで、極めて少ない正常時の学習用画像データのみから、高い精度で異常画像を検知することを実現した。
【0037】
まず、図５を参照しながら、学習サーバ２により実行される判定基準処理の流れの一例を説明する。図５は、図３の機能的構成を有する学習サーバにより実行される処理のうち、判定基準生成処理の流れの一例を説明する図である。
【0038】
ステップＳ１において、学習サーバ２の学習用画像取得部２２０は、工場端末３から送信されてくる学習用画像に関する学習用画像情報を、通信部２１０を介して取得する。
【0039】
ステップＳ２において、学習サーバ２の学習部２２１は、学習用画像取得部２２０で取得された学習用画像情報に対して、所定の統計処理を適用し、対象となる画像が異常を含むか否かに関する異常スコアを算出する。
【0040】
ステップＳ３において、学習サーバ２の判定基準生成部２２２は、学習部２２１が算出した学習用画像の異常スコアに対して、所定の統計処理を適用することで、判定対象画像に判定を行うための判定基準（閾値）を生成する。
【0041】
ステップＳ４において、学習サーバ２の判定基準生成部２２２は、生成した判定基準に関する判定基準情報を、推論サーバ１へ送信する。これにより学習サーバ２の判定基準生成処理は終了する。
【0042】
【0043】
ステップＳ２１において、推論サーバ１の判定対象画像取得部６０は、工場端末３から送信されてくる判定対象画像に関する判定対象画像情報を、通信部１９を介して取得する。
【0044】
ステップＳ２２において、推論サーバ１の判定対象画像取得部６０は、取得した判定対象画像情報に基づいて、判定対象画像の異常スコアを算出する。
【0045】
ステップＳ２３において、推論サーバ１の判定基準取得部６１は、学習サーバ２から送信されてくる判定対象画像に異常があるか否かの判定を行うための判定基準である閾値に関する判定基準情報を、通信部１９を介して取得する。
【0046】
ステップＳ２４において、推論サーバ１の判定部６２は、判定対象画像取得部６０で取得された判定対象画像情報により算出された異常スコア及び判定基準取得部６１で取得された判定基準情報に基づいて、判定対象画像に異常があるか否かを判定する。
【0047】
ステップＳ２５において、推論サーバ１の判定結果管理部６３は、判定部６２による判定対象画像に対する判定の結果に関する判定結果情報を、工場端末３へ送信する。これにより推論サーバ１の判定処理は終了する。
【0048】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0049】
ここで、図７及び図８を参照しながら、学習サーバ２が、判定基準（閾値）を生成する他の方法を説明する。図７及び図８は、いずれも本発明の一実施形態に係る情報処理システムを構成する学習サーバが判定基準（閾値）を生成する方法の他の一例を示す図である。
【0050】
上述の実施形態（特に図４の実施形態）では、正常時の状況を示す学習用画像のみから算出された異常スコアの分布に基づいて判定基準（閾値）を生成する例を説明した。これに対して、図７及び図８に示す実施形態では、正常時の状況を示す学習用画像から疑似的な異常時の状況を示す学習用画像（以下、「疑似異常画像」と呼ぶ）を作成し、通常の正常時の状況を示す学習用画像情報及び疑似異常画像に関する情報（以下、「疑似異常画像情報」と呼ぶ）から異常スコアを算出し、算出された異常スコアから判定基準（閾値）を生成する。
【0051】
具体的には、図７に示すように、例えば、正常時の状況を示す画像の一部を、コピー＆ペースト等の方法で改ざんし、疑似的に異常時の状況と近い学習用画像を生成することができる。そして、図８に示すように、通常の学習用画像と疑似異常画像とを含む画像により算出された異常スコアの分布から判定基準（閾値）を生成することができる。学習サーバ２は、このような方法を利用して、判定基準（閾値）を生成することもできる。なお、図７及び図８の実施形態において、本発明の出願人等は、各種組み合わせや条件を変更し、異常を検知する精度（Ｆ１スコアが高い、異常画像の見逃しがないか等）が高くなるように判定基準（閾値）を検討した。
【0052】
また、上述の実施形態では簡易的な説明に留めたが、本システムの有用な点を改めて説明する。
（１）本システムは、学習用画像に異常時の画像を含むことなく正常時の画像のみから異常検知を実現できる。
（２）本システムは、上述のアルゴリズムを含む既存のアルゴリズムと比較して、少ないデータ量（学習用画像情報）で、異常検知を実現できることが期待される。
（３）本システムは、上述のアルゴリズムを含む既存のアルゴリズムと比較して、（少ないデータ量にもかかわらず）高い精度で、異常検知を実現できることが期待される。
（４）異常検知を実現する従来の手法においては、正常時の画像のみから閾値を設定し、異常検知を行う方法は、上述のアルゴリズムを含めて開示されていないと考えられる。
（５）本システムは、一度、判定基準（閾値）生成後であっても、疑似異常画像（図７及び図８の実施形態）を追加して、判定基準（閾値）を再度生成することで、精度の改善や向上を図ることができる。
このような効果から、本システムは、学習用のデータを収集するコストが削減でき、容易に異常検知システムの構築が可能となるため、様々な製品の外観検査に対して導入が期待できる。
（１）本システムは、学習用画像に異常時の画像を含むことなく正常時の画像のみから異常検知を実現できる。
（２）本システムは、上述のアルゴリズムを含む既存のアルゴリズムと比較して、少ないデータ量（学習用画像情報）で、異常検知を実現できることが期待される。
（３）本システムは、上述のアルゴリズムを含む既存のアルゴリズムと比較して、（少ないデータ量にもかかわらず）高い精度で、異常検知を実現できることが期待される。
（４）異常検知を実現する従来の手法においては、正常時の画像のみから閾値を設定し、異常検知を行う方法は、上述のアルゴリズムを含めて開示されていないと考えられる。
（５）本システムは、一度、判定基準（閾値）生成後であっても、疑似異常画像（図７及び図８の実施形態）を追加して、判定基準（閾値）を再度生成することで、精度の改善や向上を図ることができる。
このような効果から、本システムは、学習用のデータを収集するコストが削減でき、容易に異常検知システムの構築が可能となるため、様々な製品の外観検査に対して導入が期待できる。
【0053】
また、上述の実施形態（特に図４の実施形態）において説明した判定基準（閾値）の生成基準は例示であり、限定されない。本システムは、必ずしも平均値＋３σを閾値として設定する必要はなく、任意の基準で閾値を設定してもよい。
【0054】
また、上述の実施形態では説明を省略したが、本システムは、本システムによる判定の結果が、人による判定の結果と異なる場合、人による判定の結果を考慮して、判定基準（閾値）を変更する機能を備えていてもよい。これにより、本システムは、さらに精度よく判定対象画像から異常画像を検知することができる。
【0055】
また、上述の実施形態では説明を省略したが、推論サーバ１による判定は一度のみ行われる必要はなく、一定の間隔又は所定のトリガに応じて、定期的に複数回行われてもよい。例えば、工場端末３は、常時５分ごとに判定対象画像情報を推論サーバ１に送信し、判定結果を取得してもよい。
【0056】
また、上述の実施形態において、本システムは、オートエンコーダ（Ａｕｔｏ Ｅｎｃｏｄｅｒ），ＰａｔｃｈＣｏｒｅ，ＰａＤｉＭ等の汎用的な異常検知のためのアルゴリズムを採用し、正常データから異常スコアを算出するものとして説明したが、限定されない。本システムは、これらのアルゴリズムに該当しない他の任意のアルゴリズム又はそれらを改良した任意のアルゴリズムを採用し、異常スコアの算出に利用してもよい。
【0057】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３等の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３等の例に限定されない。また、機能ブロックの存在場所も、図３等の例に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成されてもよいし、ソフトウェア単体で構成されてもよいし、それらの組み合わせで構成されてもよい。
換言すると、図３等の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３等の例に限定されない。また、機能ブロックの存在場所も、図３等の例に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成されてもよいし、ソフトウェア単体で構成されてもよいし、それらの組み合わせで構成されてもよい。
【0058】
また例えば、上述の実施形態では、推論サーバ１、学習サーバ２、工場端末３はそれぞれ１台、撮像装置４のみ複数台設置されるものとして説明したが、限定されない。
すなわち、本システムを構成する各種ハードウェアや使用者の数は上述の例に限定されず任意である。また、本システムは、上述の各種ハードウェアだけでなく、他のハードウェア等を含み組み合わせて構成されてもよい。
また例えば、本システムは、いわゆるクラウド型のシステムのようにＷｅｂ等を介して各種処理を実行し、処理結果を各種ハードウェアに送る等の構成を採用してもよい。
すなわち、本システムを構成する各種ハードウェアや使用者の数は上述の例に限定されず任意である。また、本システムは、上述の各種ハードウェアだけでなく、他のハードウェア等を含み組み合わせて構成されてもよい。
また例えば、本システムは、いわゆるクラウド型のシステムのようにＷｅｂ等を介して各種処理を実行し、処理結果を各種ハードウェアに送る等の構成を採用してもよい。
【0059】
また、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
【0060】
また、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータであってもよい。
すなわち、例えば、上述の実施形態における各種ハードウェアには、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。
すなわち、例えば、上述の実施形態における各種ハードウェアには、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。
【0061】
また、このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成されてもよい。
【0062】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理は勿論、並列的又は個別に実行されてもよい。また、上述の実施形態で記載するステップは、一部が省略されてもよい。
【0063】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味している。
【0064】
これらの他の実施形態を採用した場合においても、本実施形態の作用効果は発揮される。また、本実施形態と他の実施形態、及び他の実施形態同士を適宜組み合わせることも可能である。
【0065】
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
即ち、本発明の第１の態様は、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得手段（例えば、判定対象画像取得部６０）と、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得手段（例えば、判定基準取得部６１）と、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知手段（例えば、判定部６２）と、
を備える情報処理装置であれば足りる。
即ち、本発明の第１の態様は、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得手段（例えば、判定対象画像取得部６０）と、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得手段（例えば、判定基準取得部６１）と、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知手段（例えば、判定部６２）と、
を備える情報処理装置であれば足りる。
【0066】
また、第１の態様において、前記異常検知手段は、前記学習用画像により得られた度数分布から正常である場合の範囲を推定して決定された第１の閾値に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定してもよい。
【0067】
また、第１の態様において、前記異常検知手段は、正常画像から疑似的な異常画像である疑似異常画像を生成し、正常画像及び前記疑似異常画像に基づいて決定された第２の閾値に基づいて前記判定対象画像が正常画像か異常画像であるかを判定してもよい。
【0068】
また、第１の態様において、前記異常検知手段は、前記異常検知手段による判定の結果が、人による前記判定対象画像の判定の結果と異なる場合、当該人による判定の結果を加味して変更された第３の閾値に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定してもよい。
【0069】
また、本発明の第２の態様は、
正常画像を学習用画像として取得する学習用画像取得手段と、
異常画像を含むことなく、正常画像のみから構成された前記学習用画像に対して統計処理を適用して、算出したスコアに基づいて、異常検知の判定基準を生成する判定基準生成手段と、
を備える情報処理装置であれば足りる。
正常画像を学習用画像として取得する学習用画像取得手段と、
異常画像を含むことなく、正常画像のみから構成された前記学習用画像に対して統計処理を適用して、算出したスコアに基づいて、異常検知の判定基準を生成する判定基準生成手段と、
を備える情報処理装置であれば足りる。
【0070】
また、本発明の第３の態様は、
コンピュータが実行する情報処理方法であって、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む情報処理方法であれば足りる。
コンピュータが実行する情報処理方法であって、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む情報処理方法であれば足りる。
【0071】
また、本発明の第４の態様は、
コンピュータに、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む処理を実行させるプログラムであれば足りる。
コンピュータに、
判定対象を含む画像を判定対象画像として取得する判定対象画像取得ステップと、
正常画像により構成された学習用画像に対して、統計処理を適用して算出したスコアに基づいて決定された判定基準に関する情報を取得する判定基準取得ステップと、
前記判定基準に基づいて、前記判定対象画像が正常画像か異常画像であるかを判定する異常検知ステップと、
を含む処理を実行させるプログラムであれば足りる。
【符号の説明】
【0072】
１・・・推論サーバ
１１・・・制御部
６０・・・判定対象画像取得部
６１・・・判定基準取得部
６２・・・判定部
６３・・・判定結果管理部
２・・・学習サーバ
２００・・・制御部
２２０・・・学習用画像取得部
２２１・・・学習部
２２２・・・判定基準生成部
３・・・工場端末
３００・・・制御部
３２０・・・画像管理部
３２１・・・判定結果取得部
４・・・撮像装置
１１・・・制御部
６０・・・判定対象画像取得部
６１・・・判定基準取得部
６２・・・判定部
６３・・・判定結果管理部
２・・・学習サーバ
２００・・・制御部
２２０・・・学習用画像取得部
２２１・・・学習部
２２２・・・判定基準生成部
３・・・工場端末
３００・・・制御部
３２０・・・画像管理部
３２１・・・判定結果取得部
４・・・撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
