▶ 学校法人明治大学の特許一覧 ▶ 新日鉄住金ソリューションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022156604
(43)【公開日】2022-10-14
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221006BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021060383
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】801000027
【氏名又は名称】学校法人明治大学
(71)【出願人】
【識別番号】000191076
【氏名又は名称】日鉄ソリューションズ株式会社
(74)【代理人】
【識別番号】100117857
【弁理士】
【氏名又は名称】南林 薫
(72)【発明者】
【氏名】宮本 龍介
(72)【発明者】
【氏名】佐藤 聖
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096BA20
5L096CA02
5L096EA11
5L096HA13
5L096JA28
5L096KA04
5L096KA15
(57)【要約】
【課題】対象となる画像に多様な変化が顕在化し得るような状況下においても、所望の変化が顕在化したことをより好適な態様で検出可能とする。
【解決手段】複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成手段と、前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、を備える、情報処理装置。
【選択図】図３
【解決手段】複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成手段と、前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、を備える、情報処理装置。
【選択図】図３
【特許請求の範囲】
【請求項1】
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成手段と、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、
を備える、情報処理装置。
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、
を備える、情報処理装置。
【請求項2】
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
入力画像の特徴を前記基準画像の特徴により近づける前記正規化処理を当該入力画像に施すように構築される、
請求項１に記載の情報処理装置。
前記複数の正常画像のうちのいずれかを前記基準画像として、
入力画像の特徴を前記基準画像の特徴により近づける前記正規化処理を当該入力画像に施すように構築される、
請求項１に記載の情報処理装置。
【請求項3】
前記学習済モデルは、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
請求項２に記載の情報処理装置。
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
請求項２に記載の情報処理装置。
【請求項4】
前記学習済モデルは、前記判別器による判別の対象とする前記正規化画像の生成に、前記基準画像と特徴がより類似する前記他の正常画像を利用する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記複数の正常画像は、撮像に係る条件が互いに異なる複数の画像を含む、
請求項１～４のいずれか１項に記載の情報処理装置。
請求項１～４のいずれか１項に記載の情報処理装置。
【請求項6】
前記撮像に係る条件は、撮像環境に関する条件と、撮像装置の撮像に係るパラメタに関する条件と、被写体に関する条件と、のうちの少なくともいずれかを含む、
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
前記撮像環境に関する条件は、照明環境に関する条件を含む、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記被写体に関する条件は、所定の被写体の状態に関する条件を含む、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項9】
前記被写体に関する条件は、当該被写体である複製物の生成に係るばらつきに関する条件を含む、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項10】
前記判定手段は、前記正規化画像と前記基準画像とを画素単位で比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定する、
請求項１～９のいずれか１項に記載の情報処理装置。
請求項１～９のいずれか１項に記載の情報処理装置。
【請求項11】
前記判定手段は、前記正規化画像と前記基準画像とを画素単位で当該画素を構成する色の要素ごとに比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定する、
請求項１０に記載の情報処理装置。
請求項１０に記載の情報処理装置。
【請求項12】
前記出力手段は、前記正規化画像と前記基準画像とが略一致しないと判定された場合に、異常を示す前記報知情報を所定の出力先に出力する、
請求項１～１１のいずれか１項に記載の情報処理装置。
請求項１～１１のいずれか１項に記載の情報処理装置。
【請求項13】
情報処理装置が実行する情報処理方法であって、
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を含む、情報処理方法。
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を含む、情報処理方法。
【請求項14】
コンピュータに、
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を実行させる、プログラム。
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を実行させる、プログラム。
【請求項15】
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築手段を備え、
前記構築手段は、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルを構築する、
情報処理装置。
前記構築手段は、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルを構築する、
情報処理装置。
【請求項16】
情報処理装置が実行する情報処理方法であって、
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを含み、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
情報処理方法。
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを含み、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
情報処理方法。
【請求項17】
コンピュータに、
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを実行させ、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
プログラム。
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを実行させ、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
画像解析や各種認識に係る技術の発展に伴い、画像中に被写体として撮像された各種の物体の検出や識別が可能となってきており、このような所謂画像認識技術の応用に係る各種の検討がなされている。例えば、特許文献１には、監視カメラ等の撮像装置を利用して遠隔地から所望の対象を監視する所謂遠隔監視に対して画像認識技術を適用することで、ユーザが画像を目視で確認せずとも、異常の発生を検知可能とする技術が提案されている。
【0003】
また、近年では、機械学習に基づき構築された学習済モデルを画像認識に応用する技術も検討されている。例えば、特許文献２には、監視カメラによる撮像結果に応じた画像を利用した監視対象物の監視に、機械学習に基づく学習済モデルを利用する技術の一例が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－４８９１０号公報
【特許文献2】特開２０１９－２１９１４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、撮像装置等を利用して所望の対象を撮像することで得られる画像は、当該対象の変化のみに限らず、例えば、照明環境の変化等のような他の要因により変化が生じる可能性がある。このように、各種の認識や検出に係る処理に利用されるデータには、当該認識や当該検出の対象となる変化のみに限らず、各種の多様な要因による変化が顕在化する場合がある。このような状況下では、例えば、所望のデータ（例えば、撮像結果に応じた画像）の解析結果を利用して所望の対象の監視を行うような場合に、当該データに顕在化した変化が、監視対象に生じた異常によるものか、正常な状態でも生じ得るものかを識別することが困難な場合がある。
【0006】
本発明は上記の問題を鑑み、対象となる画像に多様な変化が顕在化し得るような状況下においても、所望の変化が顕在化したことをより好適な態様で検出可能とすることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る情報処理装置は、複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成手段と、前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、を備える。
【発明の効果】
【0008】
本発明によれば、対象となる画像に多様な変化が顕在化し得るような状況下においても、所望の変化が顕在化したことをより好適な態様で検出することが可能となる。
【図面の簡単な説明】
【0009】
【図1】情報処理システムのシステム構成の一例を示した図である。
【図2】情報処理装置のハードウェア構成の一例を示した図である。
【図3】情報処理システムの機能構成の一例を示したブロック図である。
【図4】情報処理システムの実現に係る技術思想について説明するための図である。
【図5】学習済モデルの構築に利用される正常画像の一例について示した図である。
【図6】学習済モデルの構築に係る仕組みの一例について説明するための図である。
【図7】監視対象に生じた異常の検出に係る仕組みについて説明するための図である。
【図8】検出される異常の一例について示した図である。
【図9】異常の検知に係る精度のシミュレーション結果の一例を示したグラフである。
【図10】学習済モデルの構築に利用される正常画像の一例について示した図である。
【図11】検出される異常の一例について示した図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
＜システム構成＞
図１を参照して、本実施形態に係る情報処理システムのシステム構成の一例について説明する。本実施形態に係る情報処理システムは、ネットワークを介して接続された撮像装置（例えば、ビデオカメラ等）を利用して、遠隔地に設置された監視対象（例えば、各種設備等）の状態を監視可能とする仕組みを提供する。例えば、図１は、本実施形態に係る情報処理システム１は、遠隔地に設置された設備８００ａ～８００ｄそれぞれの状態を、撮像装置３００ａ～３００ｄそれぞれによる撮像結果に応じた画像に基づき監視する場合の構成の一例を示している。具体的には、情報処理システム１は、撮像装置３００ａ～３００ｄと、情報処理装置１００及び２００と、端末装置４００とを含む。なお、以降では、撮像装置３００ａ～３００ｄのそれぞれを特に区別しない場合には、「撮像装置３００」と称する場合がある。同様に、設備８００ａ～８００ｄそれぞれを特に区別しない場合には、「設備８００」と称する場合がある。また、撮像装置３００ａ～３００ｄのそれぞれと、情報処理装置１００及び２００のそれぞれと、端末装置４００とは、ネットワークＮ１を介して各種情報やデータを送受信可能に構成されている。
図１を参照して、本実施形態に係る情報処理システムのシステム構成の一例について説明する。本実施形態に係る情報処理システムは、ネットワークを介して接続された撮像装置（例えば、ビデオカメラ等）を利用して、遠隔地に設置された監視対象（例えば、各種設備等）の状態を監視可能とする仕組みを提供する。例えば、図１は、本実施形態に係る情報処理システム１は、遠隔地に設置された設備８００ａ～８００ｄそれぞれの状態を、撮像装置３００ａ～３００ｄそれぞれによる撮像結果に応じた画像に基づき監視する場合の構成の一例を示している。具体的には、情報処理システム１は、撮像装置３００ａ～３００ｄと、情報処理装置１００及び２００と、端末装置４００とを含む。なお、以降では、撮像装置３００ａ～３００ｄのそれぞれを特に区別しない場合には、「撮像装置３００」と称する場合がある。同様に、設備８００ａ～８００ｄそれぞれを特に区別しない場合には、「設備８００」と称する場合がある。また、撮像装置３００ａ～３００ｄのそれぞれと、情報処理装置１００及び２００のそれぞれと、端末装置４００とは、ネットワークＮ１を介して各種情報やデータを送受信可能に構成されている。
【0012】
情報処理システム１を構成する各装置間を接続するネットワークＮ１の種別は特に限定されない。具体的な一例として、ネットワークＮ１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、専用線、または、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていてもよい。また、ネットワークＮ１は、有線のネットワークにより構成されていてもよいし、無線のネットワークにより構成されていてもよい。また、ネットワークＮ１は、複数のネットワークを含んでもよく、一部のネットワークとして、他のネットワークとは異なる種別のネットワークが含まれてもよい。また、各装置間の通信が論理的に確立されていればよく、ネットワークＮ１の物理的な構成は特に限定されない。具体的な一例として、各装置間の通信が他の通信装置等により中継されてもよい。加えて、情報処理システム１を構成する一連の装置が、必ずしも共通のネットワークに接続されていなくてもよい。すなわち、情報やデータの送受信が行われる装置間の通信を確立することが可能であれば、一部の２以上の装置間と、他の２以上の装置間と、のそれぞれが互いに異なるネットワークにより接続されてもよい。
【0013】
撮像装置３００は、例えば、所謂デジタルビデオカメラ（例えば、監視カメラ等）のような動画像や静止画像等の画像を撮像可能に構成された撮像装置により実現され得る。撮像装置３００は、撮像結果に応じた画像のデータ（以降では、「画像データ」とも称する）を、ネットワークＮ１を介して他の装置（例えば、情報処理装置１００及び２００等）に送信する。
【0014】
情報処理装置１００及び２００は、撮像装置３００から送信される当該撮像装置３００による設備８００の撮像結果に応じた画像データに基づき、当該設備８００の状態を監視可能とする仕組みを提供する。
具体的には、情報処理装置２００は、撮像装置３００から送信される画像データに対応する画像に対して所定の解析処理を施すことで、被写体として撮像された設備８００の状態に異常が発生した場合に、当該異常の発生を検知する。この際に、情報処理装置２００は、当該検知の結果に応じた報知情報を、所定の出力先（例えば、後述する端末装置４００）に出力する。これにより、設備８００に異常が発生した場合に、当該異常の発生をユーザ（例えば、管理者）に報知することが可能となる。
情報処理装置１００は、情報処理装置２００が上記解析処理に利用する学習済モデルを機械学習に基づき構築する。具体的な一例として、情報処理装置１００は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）と称される所謂ニューラルネットワークを利用して、上記学習済モデルの構築を行ってもよい。
なお、情報処理装置１００及び２００については、構成や処理について詳細を別途後述する。
具体的には、情報処理装置２００は、撮像装置３００から送信される画像データに対応する画像に対して所定の解析処理を施すことで、被写体として撮像された設備８００の状態に異常が発生した場合に、当該異常の発生を検知する。この際に、情報処理装置２００は、当該検知の結果に応じた報知情報を、所定の出力先（例えば、後述する端末装置４００）に出力する。これにより、設備８００に異常が発生した場合に、当該異常の発生をユーザ（例えば、管理者）に報知することが可能となる。
情報処理装置１００は、情報処理装置２００が上記解析処理に利用する学習済モデルを機械学習に基づき構築する。具体的な一例として、情報処理装置１００は、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）と称される所謂ニューラルネットワークを利用して、上記学習済モデルの構築を行ってもよい。
なお、情報処理装置１００及び２００については、構成や処理について詳細を別途後述する。
【0015】
端末装置４００は、ユーザが情報処理装置１００及び２００のそれぞれや各撮像装置３００の管理に利用する端末装置を模式的に示している。具体的な一例として、端末装置４００は、情報処理装置１００及び２００のそれぞれや各撮像装置３００の管理に係る入力をユーザから受け付ける入力インタフェースの役割や、当該ユーザへの各種情報の出力に係る出力インタフェースの役割を担う。
【0016】
なお、図１に示す構成はあくまで一例であり、別途後述する情報処理システム１の各構成要素の機能を実現することが可能であれば、必ずしも当該情報処理システム１のシステム構成は限定されない。具体的な一例として、情報処理装置１００、情報処理装置２００、及び端末装置４００のうちの２以上の装置が一体的に構成されていてもよい。また、他の一例として、情報処理装置１００、情報処理装置２００、及び端末装置４００のうち少なくともいずれかの装置の機能が、複数の装置が協働することにより実現されてもよい。
【0017】
＜ハードウェア構成＞
図２を参照して、本実施形態に係る情報処理システム１における情報処理装置１００及び２００のそれぞれや端末装置４００として適用可能な情報処理装置９００のハードウェア構成の一例について説明する。図２に示すように、本実施形態に係る情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９３０とを含む。また、情報処理装置９００は、補助記憶装置９４０と、ネットワークＩ／Ｆ９７０とを含む。また、情報処理装置９００は、出力装置９５０と、入力装置９６０とのうち少なくともいずれかを含んでもよい。ＣＰＵ９１０と、ＲＯＭ９２０と、ＲＡＭ９３０と、補助記憶装置９４０と、出力装置９５０と、入力装置９６０と、ネットワークＩ／Ｆ９７０とは、バス９８０を介して相互に接続されている。
図２を参照して、本実施形態に係る情報処理システム１における情報処理装置１００及び２００のそれぞれや端末装置４００として適用可能な情報処理装置９００のハードウェア構成の一例について説明する。図２に示すように、本実施形態に係る情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９３０とを含む。また、情報処理装置９００は、補助記憶装置９４０と、ネットワークＩ／Ｆ９７０とを含む。また、情報処理装置９００は、出力装置９５０と、入力装置９６０とのうち少なくともいずれかを含んでもよい。ＣＰＵ９１０と、ＲＯＭ９２０と、ＲＡＭ９３０と、補助記憶装置９４０と、出力装置９５０と、入力装置９６０と、ネットワークＩ／Ｆ９７０とは、バス９８０を介して相互に接続されている。
【0018】
ＣＰＵ９１０は、情報処理装置９００の各種動作を制御する中央演算装置である。例えば、ＣＰＵ９１０は、情報処理装置９００全体の動作を制御してもよい。ＲＯＭ９２０は、ＣＰＵ９１０で実行可能な制御プログラムやブートプログラムなどを記憶する。ＲＡＭ９３０は、ＣＰＵ９１０の主記憶メモリであり、ワークエリア又は各種プログラムを展開するための一時記憶領域として用いられる。
【0019】
補助記憶装置９４０は、各種データや各種プログラムを記憶する。補助記憶装置９４０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）に代表される不揮発性メモリ等のような、各種データを一時的または持続的に記憶可能な記憶デバイスにより実現される。
【0020】
出力装置９５０は、各種情報を出力する装置であり、ユーザに対する各種情報の提示に利用される。本実施形態では、出力装置９５０は、ディスプレイ等の表示デバイスにより実現される。出力装置９５０は、各種表示情報を表示させることで、ユーザに対して情報を提示する。ただし、他の例として、出力装置９５０は、音声や電子音等の音を出力する音響出力デバイスにより実現されてもよい。この場合には、出力装置９５０は、音声や電信等の音を出力することで、ユーザに対して情報を提示する。また、出力装置９５０として適用されるデバイスは、ユーザに対して情報を提示するために利用する媒体に応じて適宜変更されてもよい。
【0021】
入力装置９６０は、ユーザからの各種指示の受け付けに利用される。本実施形態では、入力装置９６０は、マウス、キーボード、タッチパネル等の入力デバイスを含む。ただし、他の例として、入力装置９６０は、マイクロフォン等の集音デバイスを含み、ユーザが発話した音声を集音してもよい。この場合には、集音された音声に対して音響解析や自然言語処理等の各種解析処理が施されることで、この音声が示す内容がユーザからの指示として認識される。また、入力装置９６０として適用されるデバイスは、ユーザからの指示を認識する方法に応じて適宜変更されてもよい。また、入力装置９６０として複数種類のデバイスが適用されてもよい。
【0022】
ネットワークＩ／Ｆ９７０は、外部の装置とのネットワークを介した通信に利用される。なお、ネットワークＩ／Ｆ９７０として適用されるデバイスは、通信経路の種別や適用される通信方式に応じて適宜変更されてもよい。
【0023】
ＣＰＵ９１０は、ＲＯＭ２２０又は補助記憶装置９４０に記憶されたプログラムをＲＡＭ９３０に展開し、このプログラムを実行することで、図３に示す情報処理装置１００及び２００それぞれの機能構成や、図４、図６、及び図７等を参照して説明する情報処理装置１００及び２００それぞれの処理が実現される。
【0024】
＜機能構成＞
図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に情報処理装置１００及び２００それぞれの構成に着目して説明する。
図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に情報処理装置１００及び２００それぞれの構成に着目して説明する。
【0025】
まず、情報処理装置１００の機能構成の一例について説明する。前述したように、情報処理装置１００は、後述する情報処理装置２００が、撮像装置３００から送信される画像データに対応する画像に対して所定の解析処理を施すために利用する学習済モデルを、機械学習に基づき構築する。学習処理部１１０は、当該学習済モデルの構築に係る各種処理を実行する構成要素を模式的に示している。すなわち、学習処理部１１０が、学習済モデルの構築に係る「構築部」の一例に相当する。
【0026】
学習処理部１１０は、正しい状態を示す複数の画像（以下、当該画像を「正常画像」とも称する）を入力として、機械学習に基づき上記学習済モデルを構築する。この際に、学習処理部１１０は、複数の正常画像のうちのいずれかを基準画像として、当該基準画像以外の他の正常画像の特徴を当該基準画像の特徴により近づける画像処理を当該他の正常画像に施すように、上記学習済モデルを構築してもよい。なお、以降の説明では、当該画像処理を「正規化処理」とも称し、対象となる画像に対して当該正規化処理が施されることで生成される画像を「正規化画像」とも称する。
【0027】
例えば、学習処理部１１０は、ＧＡＮと称されるニューラルネットワークを利用した機械学習に基づき、学習済モデルの構築を行ってもよい。この場合には、学習処理部１１０は、ＧＡＮを構成する生成部１０１（Generator）と判別部１０３（Discriminator）とを含んでもよい。なお、生成部１０１及び判別部１０３を利用した学習済モデルの構築に係る仕組みや、情報処理装置２００が当該学習済モデルを利用して入力された画像に対して施す正規化処理の内容については、詳細を別途後述する。
【0028】
機械学習に基づき構築された上記学習済モデルは、情報処理装置２００に出力される。なお、情報処理装置２００が上記学習済モデルを取得することが可能であればその方法は特に限定はされない。具体的な一例として、情報処理装置１００がネットワークＮ１を介して情報処理装置２００に学習済モデルを送信してもよい。また、他の一例として、情報処理装置１００は、構築した学習済モデルを所望の記憶領域に記憶させてもよい。この場合には、情報処理装置２００は、当該記憶領域から学習済モデルを読み出すことで、当該学習済モデルを取得してもよい。
また、上記学習済モデルの構築に使用した基準画像が、当該学習済モデルとあわせて情報処理装置２００に出力されてもよい。
また、上記学習済モデルの構築に使用した基準画像が、当該学習済モデルとあわせて情報処理装置２００に出力されてもよい。
【0029】
次いで、情報処理装置２００の機能構成の一例について説明する。情報処理装置２００は、生成部２０１と、判定部２０３と、出力制御部２０５とを含む。
【0030】
生成部２０１は、撮像装置３００による監視対象となる設備８００の撮像結果に応じたが画像データを当該撮像装置３００から取得する。生成部２０１は、取得した当該画像データに対応する画像に対して、情報処理装置１００から取得された学習済モデルを利用して正規化処理を施すことで正規化画像を生成する。これにより、撮像装置３００による撮像結果に応じた画像に対して、当該画像の特徴を基準画像の特徴により近づける正規化処理が施され、正規化画像が生成される。
【0031】
判定部２０３は、生成部２０１により生成された正規化画像と上記基準画像とが略一致するか否かを判定する。この際に、判定部２０３は、正規化画像と基準画像とを画素単位で比較することで、これらの画像が略一致するか否かを判定してもよい。具体的な一例として、判定部２０３は、正規化画像と基準画像との比較に、各画素の画素値の差の絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を利用してもよい。
また、この際に、判定部２０３は、正規化画像と基準画像とを画素単位で当該画素を構成する要素（例えば、ＲＧＢ）ごとに比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定してもよい。より具体的には、正規化画像と基準画像との間で、各画素の成分の要素値（例えば、ＲＧＢ）ごとに差の絶対値を算出したうえで、各要素値について算出した差の絶対値の平均が閾値を超えるか否かに応じて、対象となる画素が略一致するか否かを判定してもよい。そのうえで、正規化画像と基準画像との間で略一致する画素の数に基づき、当該正規化画像と当該基準画像とが略一致するか否かが判定されてもよい。
なお、「成分の要素値」としては、例えば、近傍の画素の平均値、近傍の画素との差分等のように、近傍の画素との様々な計算値が適用され得る。このような計算値のより具体的な一例としては、ＨＯＧ特徴量、ＳＩＦＴ特徴量、及びＳＵＲＦ特徴量等のような、エッジを強調した特徴量等が挙げられる。
また、この際に、判定部２０３は、正規化画像と基準画像とを画素単位で当該画素を構成する要素（例えば、ＲＧＢ）ごとに比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定してもよい。より具体的には、正規化画像と基準画像との間で、各画素の成分の要素値（例えば、ＲＧＢ）ごとに差の絶対値を算出したうえで、各要素値について算出した差の絶対値の平均が閾値を超えるか否かに応じて、対象となる画素が略一致するか否かを判定してもよい。そのうえで、正規化画像と基準画像との間で略一致する画素の数に基づき、当該正規化画像と当該基準画像とが略一致するか否かが判定されてもよい。
なお、「成分の要素値」としては、例えば、近傍の画素の平均値、近傍の画素との差分等のように、近傍の画素との様々な計算値が適用され得る。このような計算値のより具体的な一例としては、ＨＯＧ特徴量、ＳＩＦＴ特徴量、及びＳＵＲＦ特徴量等のような、エッジを強調した特徴量等が挙げられる。
【0032】
この際に、上記正規化画像の生成元となる画像の特徴と基準画像の特徴との差が、上記学習済モデルの構築に利用された複数の正常画像それぞれの特徴に応じて再現可能な範囲内であれば、上記比較において当該正規化画像と上記基準画像とが略一致することとなる。一方で、上記正規化画像の生成元となる画像に対して、上記複数の正常画像それぞれの特徴からは類推することが困難な特徴が顕在化している場合には、上記比較において当該正規化画像と上記基準画像とが略一致しないこととなる。これにより、監視対象となる設備８００の状態の変化として、正常時には想定され得ない状態の変化が生じた場合には、上記正規化画像と上記基準画像とが略一致しないこととなり、当該変化の発生を検出することが可能となる。なお、上述した監視対象（例えば、設備８００）に生じた異常の検知に係る仕組みについては具体的な例とともに詳細を別途後述する。
【0033】
そして、判定部２０３は、上記判定の結果に応じた情報を出力制御部２０５に出力する。
【0034】
出力制御部２０５は、判定部２０３による上記判定の結果に応じた情報を所定の出力先に出力する。例えば、出力制御部２０５は、判定部２０３による上記判定の結果に応じた報知情報を端末装置４００に出力してもよい。これにより、判定部２０３による上記判定の結果に応じた報知情報を、端末装置４００を介してユーザに報知することが可能となる。また、他の一例として、出力制御部２０５は、判定部２０３による上記判定の結果に応じた情報を、所定の記憶領域に記憶させてもよい。
【0035】
なお、上記はあくまで一例であり、上述した情報処理システム１の各構成要素（特に、情報処理装置１００及び２００それぞれの構成要素）に相当する機能を実現することが可能であれば、情報処理システム１の機能構成は限定されない。例えば、情報処理装置１００及び２００それぞれの機能構成が、複数の装置が協同することで実現されてもよい。
具体的な一例として、情報処理装置１００の一連の構成要素のうちの一部の構成要素が、当該情報処理装置１００とは異なる他の装置に設けられていてもよい。また、他の一例として、情報処理装置１００の一連の構成要素のうち少なくとも一部の構成要素の処理に係る負荷が、複数の装置に分散されてもよい。これらは、情報処理装置２００についても同様である。
具体的な一例として、情報処理装置１００の一連の構成要素のうちの一部の構成要素が、当該情報処理装置１００とは異なる他の装置に設けられていてもよい。また、他の一例として、情報処理装置１００の一連の構成要素のうち少なくとも一部の構成要素の処理に係る負荷が、複数の装置に分散されてもよい。これらは、情報処理装置２００についても同様である。
【0036】
＜技術的特徴＞
続いて、本実施形態に係る情報処理システム１の技術的特徴として、情報処理装置１００による学習済モデルの構築に係る特徴と、情報処理装置２００による監視対象の異常の検知に係る特徴とのそれぞれについて、以下により詳細に説明する。
続いて、本実施形態に係る情報処理システム１の技術的特徴として、情報処理装置１００による学習済モデルの構築に係る特徴と、情報処理装置２００による監視対象の異常の検知に係る特徴とのそれぞれについて、以下により詳細に説明する。
【0037】
まず、図４を参照して、本実施形態に係る情報処理システム１の実現に係る技術思想について説明する。なお、以降では、本実施形態に係る情報処理システム１の技術的特徴をよりわかりやすくするために、学習済モデルの構築にＧＡＮが使用されるものとして各説明を行うものとする。
【0038】
図４において、生成部１０１と判別部１０３との組は敵対的生成ネットワーク（ＧＡＮ）を構成している。また、学習済モデルの構築には、撮像に係る条件（例えば、照明条件のような撮像環境に関する条件等）が互いに異なる複数の正常画像Ｄ１１３が利用される。具体的には、複数の正常画像Ｄ１１３のうちいずれかを基準画像Ｄ１１１として、当該基準画像Ｄ１１１以外の他の正常画像Ｄ１１３が生成部１０１に入力される。
【0039】
生成部１０１は、入力された正常画像Ｄ１１３に対して、学習済モデルにより、当該正常画像Ｄ１１３の特徴を基準画像Ｄ１１１の特徴により近づける正規化処理を施すことで、正規化画像Ｄ１１５を生成する。
判別部１０３は、基準画像Ｄ１１１と生成部１０１により生成された正規化画像Ｄ１１５とのうちのいずれかの画像が入力され、当該画像が基準画像Ｄ１１１と正規化画像Ｄ１１５とのいずれかを判定する。
このような構成に基づき、生成部１０１は、判別部１０３との組によるＧＡＮを利用して、当該判別部１０３が、正規化画像Ｄ１１５と基準画像Ｄ１１１との判別がより困難となる正規化処理が正常画像Ｄ１１３に施されるように、上記学習済モデルを構築する。
以上のようにして、生成部１０１は、監視対象ごとに個別に上記学習済モデルを構築し、当該学習済モデルと、当該学習済モデルの構築時に利用した基準画像Ｄ１１１（当該監視対象が被写体として撮像された画像）とを対応付ける。
判別部１０３は、基準画像Ｄ１１１と生成部１０１により生成された正規化画像Ｄ１１５とのうちのいずれかの画像が入力され、当該画像が基準画像Ｄ１１１と正規化画像Ｄ１１５とのいずれかを判定する。
このような構成に基づき、生成部１０１は、判別部１０３との組によるＧＡＮを利用して、当該判別部１０３が、正規化画像Ｄ１１５と基準画像Ｄ１１１との判別がより困難となる正規化処理が正常画像Ｄ１１３に施されるように、上記学習済モデルを構築する。
以上のようにして、生成部１０１は、監視対象ごとに個別に上記学習済モデルを構築し、当該学習済モデルと、当該学習済モデルの構築時に利用した基準画像Ｄ１１１（当該監視対象が被写体として撮像された画像）とを対応付ける。
【0040】
生成部１０１により構築された学習済モデルは、情報処理装置２００の生成部２０１による入力画像に対する正規化処理に適用される。具体的には、生成部２０１は、撮像装置３００による撮像結果に応じた撮像画像Ｄ１２３に対して、上記学習済モデルを利用して、当該撮像画像Ｄ１２３の特徴を基準画像Ｄ１１１の特徴により近づける正規化処理を施すことで、正規化画像Ｄ１２５を生成する。
この際に、撮像画像Ｄ１２３と基準画像Ｄ１１１との間の差が、学習済モデルの構築に利用された複数の正常画像Ｄ１１３それぞれの特徴に基づき類推可能な差であれば、当該差が解消された正規化画像Ｄ１２５を生成することが可能となる。すなわち、この場合には、判定部２０３が、正規化画像Ｄ１２５と基準画像Ｄ１１１とが略一致するとの判定結果を出力することとなる。
これに対して、撮像画像Ｄ１２３と基準画像Ｄ１１１との間の差が、学習済モデルの構築に利用された複数の正常画像Ｄ１１３それぞれの特徴に基づき類推することが困難な差である場合には、正規化画像Ｄ１２５の生成に際してこの差を解消することが困難となる。すなわち、この場合には、判定部２０３が、正規化画像Ｄ１２５と基準画像Ｄ１１１とが略一致しないとの判定結果を出力することとなる。
この際に、撮像画像Ｄ１２３と基準画像Ｄ１１１との間の差が、学習済モデルの構築に利用された複数の正常画像Ｄ１１３それぞれの特徴に基づき類推可能な差であれば、当該差が解消された正規化画像Ｄ１２５を生成することが可能となる。すなわち、この場合には、判定部２０３が、正規化画像Ｄ１２５と基準画像Ｄ１１１とが略一致するとの判定結果を出力することとなる。
これに対して、撮像画像Ｄ１２３と基準画像Ｄ１１１との間の差が、学習済モデルの構築に利用された複数の正常画像Ｄ１１３それぞれの特徴に基づき類推することが困難な差である場合には、正規化画像Ｄ１２５の生成に際してこの差を解消することが困難となる。すなわち、この場合には、判定部２０３が、正規化画像Ｄ１２５と基準画像Ｄ１１１とが略一致しないとの判定結果を出力することとなる。
【0041】
このような特性により、例えば、監視対象となる設備８００の撮像結果に応じた画像に変化が顕在化した場合においても、当該設備８００が正常な状態で顕在化し得る変化であれば、正常と判定されることとなる。そのうえで、監視対象となる設備８００の撮像結果に応じた画像に正常な状態では顕在化し得ない変化が顕在化した場合には、この変化の発生を異常として検知することが可能となる。このような構成により、監視対象が正常な状態で想定され得る変化が発生したとしても、当該変化の発生が異常として検出される事態の発生を防止し、想定範囲外の変化が発生した場合に、当該変化の発生を異常として検出することが可能となる。すなわち、本実施形態に係る情報処理システムに依れば、対象となる画像に多様な変化が顕在化し得るような状況下においても、所望の変化が顕在化したことをより好適な態様で検出することが可能となる。
【0042】
（学習済モデルの構築）
次いで、図５及び図６を参照して、入力画像に対して正規化処理を施すことで正規化画像を生成するために利用される学習済モデルの構築に係る仕組みについて、特にＧＡＮを利用する場合に着目して説明する。
次いで、図５及び図６を参照して、入力画像に対して正規化処理を施すことで正規化画像を生成するために利用される学習済モデルの構築に係る仕組みについて、特にＧＡＮを利用する場合に着目して説明する。
【0043】
一般的に使用される機械学習の手法として、学習時に対象となるモデルに対して学習用のデータとあわせて当該データに対する正解ラベルを与えることで、予測値を正解ラベルにより近づけるように当該モデルの構築を行う、所謂教師あり学習と称される手法が挙げられる。教師あり学習を利用することで、例えば、学習時に正常な状態と異常な状態とのそれぞれをラベル付けした画像を利用することで、判別時に入力画像が正常な状態と異常な状態とのいずれを示しているかを分類するように学習済モデルを構築することも可能となる。
【0044】
しかしながら、一般的な機械学習に基づき構築された学習済モデルを監視対象に生じた異常の検出に利用する場合には、学習時に正常な状態を示すデータに加えて、異常な状態を示すデータが必要となる場合がある。これに対して、学習時に異常な状態を示すデータ（換言すると、不正解のデータ）を準備することが困難な場合がある。例えば、図１が示す例のように、監視対象となる設備８００ごとに当該設備８００の監視を実現するための学習済モデルを構築するような状況下では、当該設備８００が異常な状態を示す一通りの画像を準備することが困難な場合がある。
【0045】
このような状況を鑑み、本実施形態に係る情報処理システムでは、学習済モデルの構築に際し、監視対象の正常な状態を示す正常画像を利用した機械学習を適用している。
【0046】
一方で、監視対象の撮像結果に応じた画像については、照明環境の違い等に伴いその時々で変化するような状況も想定され得る。このような状況を想定した場合には、単に正常画像を利用した機械学習を適用するのみでは、各画像が互いに異なる状態を示す画像として分類され、結果として監視対象が正常か否かを判別することが困難となる場合がある。
そこで、本実施形態では、入力されるデータ（例えば、監視対象の撮像結果に応じた画像）に顕在化した変化が許容される範囲内であれば正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出可能とする技術を提案する。具体的には、本実施形態に係る情報処理システムでは、ＧＡＮと称されるニューラルネットワークを利用することで、監視対象の異常な状態を示す異常画像を利用せずとも、上述したように、入力されるデータに顕在化した異常の検出を実現するための学習済モデルを構築する。
このような仕組みを適用することで、本実施形態に係る情報処理システムでは、異常画像を使用せずとも、正常画像を利用することで、監視対象の異常の検出に利用可能な学習済モデルの構築を可能としている。
なお、以降では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、学習用のデータとして画像が利用される場合に着目して学習済モデルの構築に係る仕組みについて説明を行うものとする。
そこで、本実施形態では、入力されるデータ（例えば、監視対象の撮像結果に応じた画像）に顕在化した変化が許容される範囲内であれば正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出可能とする技術を提案する。具体的には、本実施形態に係る情報処理システムでは、ＧＡＮと称されるニューラルネットワークを利用することで、監視対象の異常な状態を示す異常画像を利用せずとも、上述したように、入力されるデータに顕在化した異常の検出を実現するための学習済モデルを構築する。
このような仕組みを適用することで、本実施形態に係る情報処理システムでは、異常画像を使用せずとも、正常画像を利用することで、監視対象の異常の検出に利用可能な学習済モデルの構築を可能としている。
なお、以降では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、学習用のデータとして画像が利用される場合に着目して学習済モデルの構築に係る仕組みについて説明を行うものとする。
【0047】
まず、図５を参照して、学習済モデルの構築に利用される画像（正常画像）の一例について説明する。前述したように、本実施形態に係る情報処理システムでは、学習済モデルの構築に際し、撮像に係る条件が互いに異なる複数の正常画像Ｄ１１３が利用される。
例えば、図５に示す正常画像Ｄ１１３ａ～Ｄ１１３ｄは、照明環境の条件が互いに異なる状態での監視対象となる設備８００の撮像結果に応じた画像の一例を示している。具体的には、図５に示す例では、監視対象となる設備８００は正常な状態であるにも関わらず、時間の経過とともに日照条件等が変化することでその時々で照明環境の条件が変化し、結果として明度や色度等が互いに異なる画像が得られている。
また、正常な状態の設備８００の撮像結果に応じた画像であれば、図５に示す例に限らず、各種条件の変化に応じた画像が正常画像として適用されてもよい。具体的な一例として、時間の経過や天候（例えば、雨や風）の変化に伴い、撮像環境や撮像装置の状態が変化し、結果として、明度や色度、日照に伴う影の形、レンズへの水滴の付着の有無、撮像装置の微細なずれ等の変化が生じ、当該変化が撮像結果に応じた画像に顕在化する場合がある。このような画像についても、対象となる設備が正常な状態で撮像された結果に応じた画像であれば、正常画像として適用されてもよい。
例えば、図５に示す正常画像Ｄ１１３ａ～Ｄ１１３ｄは、照明環境の条件が互いに異なる状態での監視対象となる設備８００の撮像結果に応じた画像の一例を示している。具体的には、図５に示す例では、監視対象となる設備８００は正常な状態であるにも関わらず、時間の経過とともに日照条件等が変化することでその時々で照明環境の条件が変化し、結果として明度や色度等が互いに異なる画像が得られている。
また、正常な状態の設備８００の撮像結果に応じた画像であれば、図５に示す例に限らず、各種条件の変化に応じた画像が正常画像として適用されてもよい。具体的な一例として、時間の経過や天候（例えば、雨や風）の変化に伴い、撮像環境や撮像装置の状態が変化し、結果として、明度や色度、日照に伴う影の形、レンズへの水滴の付着の有無、撮像装置の微細なずれ等の変化が生じ、当該変化が撮像結果に応じた画像に顕在化する場合がある。このような画像についても、対象となる設備が正常な状態で撮像された結果に応じた画像であれば、正常画像として適用されてもよい。
【0048】
次いで、図６を参照して、学習済モデルの構築に係る仕組みの一例について、図５に示す一連の正常画像Ｄ１１３を利用して学習済モデルを構築する場合に着目して説明する。なお、図６に示す例では、便宜上、図５に示す正常画像Ｄ１１３ａ～Ｄ１１３ｄのうち、正常画像Ｄ１１３ａが基準画像Ｄ１１１として利用されるものとする。すなわち、図６に示す基準画像Ｄ１１１と正常画像Ｄ１１３（正常画像Ｄ１１３ｂ～Ｄ１１３ｄ）とは、図４に示す基準画像Ｄ１１１と正常画像Ｄ１１３とに相当する。
【0049】
具体的には、正常画像Ｄ１１３ａ～Ｄ１１３ｄのうち、基準画像Ｄ１１１として利用される正常画像Ｄ１１３ａ以外の他の正常画像Ｄ１１３ｂ～Ｄ１１３ｄは、生成部１０１に入力される。生成部１０１は、入力された正常画像Ｄ１１３（正常画像Ｄ１１３ｂ～Ｄ１１３ｄのそれぞれ）に対して、当該正常画像Ｄ１１３の特徴を基準画像Ｄ１１１（正常画像Ｄ１１３ａ）の特徴により近づける正規化処理を施すことで正規化画像Ｄ１１５を生成する。具体的な一例として、図６に示す例では、生成部１０１に入力された正常画像Ｄ１１３の明度や色度が調整されることで、基準画像Ｄ１１１と特徴が類似する正規化画像Ｄ１１５が生成されている。
【0050】
判別部１０３には、基準画像Ｄ１１１と生成部１０１により生成された正規化画像Ｄ１１５とのそれぞれが入力される。判別部１０３は、入力された画像が基準画像Ｄ１１１と正規化画像Ｄ１１５とのいずれかを判別する。
前述したように、生成部１０１と判別部１０３との組はＧＡＮを構成している。このような構成に基づき、生成部１０１は、判別部１０３が基準画像Ｄ１１１正規化画像Ｄ１１５との判別がより困難となる正規化処理を入力される正常画像Ｄ１１３に施すように、入力画像に対する当該正規化処理の適用に係る学習済モデルを構築する。また、判別部１０３は、基準画像Ｄ１１１と正規化画像Ｄ１１５とをより精度良く判別可能となるように、基準画像Ｄ１１１正規化画像Ｄ１１５との判別に係る精度をより向上させる。
前述したように、生成部１０１と判別部１０３との組はＧＡＮを構成している。このような構成に基づき、生成部１０１は、判別部１０３が基準画像Ｄ１１１正規化画像Ｄ１１５との判別がより困難となる正規化処理を入力される正常画像Ｄ１１３に施すように、入力画像に対する当該正規化処理の適用に係る学習済モデルを構築する。また、判別部１０３は、基準画像Ｄ１１１と正規化画像Ｄ１１５とをより精度良く判別可能となるように、基準画像Ｄ１１１正規化画像Ｄ１１５との判別に係る精度をより向上させる。
【0051】
以上のような構成により、入力画像と上記基準画像Ｄ１１１との差が、正常画像Ｄ１１３ａ～Ｄ１１３ｄ間における特徴の違いに基づき類推可能な範囲であれば、当該入力画像に基づき当該基準画像Ｄ１１１と特徴がより類似する正規化画像Ｄ１１５を精度良く生成可能な上記学習済モデルを構築することが可能となる。
そして、構築された上記学習済モデルと、当該学習済モデルの構築に利用された基準画像Ｄ１１１とは、情報処理装置２００による監視対象となる設備８００の監視（換言すると、当該設備８００に生じた異常の検出）に利用される。
そして、構築された上記学習済モデルと、当該学習済モデルの構築に利用された基準画像Ｄ１１１とは、情報処理装置２００による監視対象となる設備８００の監視（換言すると、当該設備８００に生じた異常の検出）に利用される。
【0052】
なお、上記では、学習済モデルの構築に利用されるデータが画像のデータの場合の一例について説明したが、必ずしも当該データの種別を限定されず、他の種別のデータが利用されてもよい。具体的な一例として、音声、楽曲、及び環境音等の音響のデータが学習済モデルの構築に利用されてもよい。この場合には、当該学習済モデルは、入力された音響のデータに対して、当該音響のデータの特徴を基準となる音響のデータの特徴により近づける正規化処理を施すように構築されることとなる。
【0053】
（異常の検出）
次いで、図７～図９を参照して、機械学習に基づき構築された、入力画像に対する正規化処理の適用に係る学習済モデルを利用することで、監視対象に異常が発生した場合に当該異常を検出する仕組みについて説明する。なお、以降では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、図５及び図６を参照して説明した学習済モデルを利用して監視対象に生じた異常を検出する場合の一例に着目して、上記仕組みの説明を行うものとする。
次いで、図７～図９を参照して、機械学習に基づき構築された、入力画像に対する正規化処理の適用に係る学習済モデルを利用することで、監視対象に異常が発生した場合に当該異常を検出する仕組みについて説明する。なお、以降では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、図５及び図６を参照して説明した学習済モデルを利用して監視対象に生じた異常を検出する場合の一例に着目して、上記仕組みの説明を行うものとする。
【0054】
まず、図７を参照して、監視対象に生じた異常の検出に係る仕組みについて説明する。図７において、Ｄ１１１は、図６を参照して説明した基準画像Ｄ１１１に相当する。また、Ｄ１２３は、撮像装置３００による監視対象となる設備８００の撮像結果に応じた撮像画像に相当する。すなわち、図７に示す基準画像Ｄ１１１と撮像画像Ｄ１２３とは、図４に示す基準画像Ｄ１１１と撮像画像Ｄ１２３とに相当する。また、基準画像Ｄ１１１と撮像画像Ｄ１２３とは、共通の設備８００を被写体とした撮像結果に基づく画像となる。
【0055】
生成部２０１は、入力された撮像画像Ｄ１２３に対して、機械学習に基づきあらかじめ構築された学習済モデルを利用して、当該撮像画像Ｄ１２３の特徴を基準画像Ｄ１１１の特徴により近づける正規化処理を施すことで、正規化画像Ｄ１２５を生成する。そのうえで、判定部２０３が、生成された当該正規化画像Ｄ１２５と当該基準画像Ｄ１１１とが略一致するか否か（例えば、これらの画像の特徴が略一致するか否か）を判定する。
この際に、撮像画像Ｄ１２３の特徴と基準画像Ｄ１１１との特徴を上記学習済モデルの構築に利用された一連の正常画像Ｄ１１３（例えば、図５に示す正常画像Ｄ１１３ａ～Ｄ１１３ｄ）それぞれの特徴から類推することが可能であれば、生成される正規化画像Ｄ１２５の特徴が基準画像Ｄ１１１の特徴と略一致することとなる。
この際に、撮像画像Ｄ１２３の特徴と基準画像Ｄ１１１との特徴を上記学習済モデルの構築に利用された一連の正常画像Ｄ１１３（例えば、図５に示す正常画像Ｄ１１３ａ～Ｄ１１３ｄ）それぞれの特徴から類推することが可能であれば、生成される正規化画像Ｄ１２５の特徴が基準画像Ｄ１１１の特徴と略一致することとなる。
【0056】
一方で、撮像画像Ｄ１２３に対して、上記一連の基準画像Ｄ１１１それぞれの特徴から類推することが困難な基準画像Ｄ１１１との間の差分が含まれる場合には、生成される正規化画像Ｄ１２５の特徴が当該基準画像Ｄ１１１の特徴と略一致しないこととなる。具体的な一例として、監視対象となる設備８００に何らかの異常が生じることで、当該設備８００が正常な状態では想定され得ない変化が撮像画像Ｄ１２３に顕在化した場合に、生成される正規化画像Ｄ１２５にも当該変化の影響が顕在化することとなる。そのため、この場合には、生成された正規化画像Ｄ１２５と基準画像Ｄ１１１とが略一致しないこととなる。
【0057】
ここで、図８を参照して、正規化画像Ｄ１２５と基準画像Ｄ１１１との比較により検出される異常の一例について具体的な例を挙げて説明する。Ｄ１１１１は、基準画像Ｄ１１１の一例を示している。また、Ｄ１２５１は、機械学習に基づき構築された学習済モデルを利用して、撮像画像Ｄ１２３に対して、当該撮像画像Ｄ１２３の特徴を基準画像Ｄ１１１１の特徴により近づける正規化処理を施すことで生成された正規化画像Ｄ１２５の一例を示している。具体的には、正規化画像Ｄ１２５１は、監視対象となる設備８００に異常が発生している場合に生成される正規化画像Ｄ１２５の一例を示している。なお、当該学習済モデルについては、図７を参照して説明した例と同様に、図５及び図６を参照して説明した学習済モデルが適用されるものとする。
【0058】
正規化画像Ｄ１２５１には、基準画像Ｄ１１１１には存在しない差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３が顕在化している。具体的には、差分Ｖ１２５１は、監視対象となる設備８００の一部に亀裂等の破損が生じることで顕在化した差分を模式的に示している。また、差分Ｖ１２５２は、設備８００の一部に変形が生じることで顕在化した差分を模式的に示している。また、差分Ｖ１２５３は、設備８００の一部の破損によるオイル漏れ等により一部が変色することで顕在化した差分を模式的に示している。
【0059】
差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３それぞれが顕在化した要因となる設備８００の破損、変形、及び変色等の状態変化については、当該設備８００が正常な状態では想定され得ない状態変化に相当する。そのため、照明環境の条件が異なるのみの正常画像Ｄ１１３ａ～Ｄ１１３ｄそれぞれの特徴からは、差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３それぞれに対応する変化を類推することは困難である。このような状況下では、撮像画像Ｄ１２３に対して、当該撮像画像Ｄ１２３の特徴を基準画像Ｄ１１１１の特徴により近づける正規化処理が施されたとしても、生成される正規化画像Ｄ１２５１には、差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３が顕在化することとなる。
このような特性を利用することで、生成される正規化画像Ｄ１２５１を基準画像Ｄ１１１１と比較して差分（例えば、差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３等）を検出することにより、監視対象となる設備８００に異常が生じたことを検出することが可能となる。
また、上記に例示した異常以外にも、例えば、監視対象の傾き、一部の部品の脱落、何らかの要因による煙等の発生、油漏れや水漏れ、一部の部品の破断、及び動物や植物等の接触等のような、正常な状態では想定されない事態の発生を検出することが可能である。
このような特性を利用することで、生成される正規化画像Ｄ１２５１を基準画像Ｄ１１１１と比較して差分（例えば、差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３等）を検出することにより、監視対象となる設備８００に異常が生じたことを検出することが可能となる。
また、上記に例示した異常以外にも、例えば、監視対象の傾き、一部の部品の脱落、何らかの要因による煙等の発生、油漏れや水漏れ、一部の部品の破断、及び動物や植物等の接触等のような、正常な状態では想定されない事態の発生を検出することが可能である。
【0060】
一方で、前述したように、撮像画像Ｄ１２３と基準画像Ｄ１１１との差が一連の正常画像Ｄ１１３（例えば、正常画像Ｄ１１３ａ～Ｄ１１３ｄ）それぞれの特徴から類推することが可能であれば、正規化画像Ｄ１２５と基準画像Ｄ１１１とが略一致する。これにより、撮像画像Ｄ１２３に対して設備８００が正常な状態において想定され得る変化が顕在化したとしても、設備８００が正常な状態にあるものと判定することが可能となる。
【0061】
以上のような特徴から、本実施形態に係る情報処理システムに依れば、撮像画像Ｄ１２３に顕在化した変化が許容される範囲内であれば、正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出することが可能となる。
【0062】
例えば、図９は、本実施形態に係る情報処理システムによる監視対象に発生した異常の検知に係る精度のシミュレーション結果の一例を示したグラフである。具体的には、図９は、縦軸を真陽性率とし、横軸を偽陽性率としたうえで、画像間の比較により異常と判定するための閾値を変化させた場合のＲＯＣ（Ｒｅｃｅｉｖｅｒ Ｏｐｅｒａｔｉｎｇ Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線の一例を示している。図９に示すように、本実施形態に係る情報処理システムに依れば、正常と判定されるべき状態を異常として検出する所謂過検出の発生をより低く抑えながら、より高い精度で異常の発生を検出することが可能となる。
【0063】
（補足）
なお、上記はあくまで一例であり、本開示に係る技術の適用対象を限定するものではない。
例えば、図５及び図６を参照して説明した学習済モデルの適用対象は、必ずしも、図７～図９を参照して説明したような所定の対象の監視に係るシステムのみには限定されない。具体的な一例として、所定の形式のデータに対して、当該データの特徴を、基準となる同様の形式のデータの特徴により近づけるような処理（例えば、正規化処理）が適用されるような状況下であれば、上記学習済モデルを適用することが可能である。この場合に当該処理の適用対象となるデータの種別については、前述したように、画像のデータのみには限定されない。
また、図７～図９を参照して説明したような所定の対象の監視に係るシステムにおいて、撮像画像に対する正規化処理に利用される学習済モデルについては、必ずしもＧＡＮを利用して構築された学習済モデルのみには限定されない。すなわち、入力された撮像画像に対して当該撮像画像の特徴を所定の基準画像の特徴により近づける正規化処理を施すことが可能であれば、当該正規化処理の実現に利用される学習済モデルの構築方法や種別は特に限定はされない。
このように、図５及び図６を参照して説明した学習済モデルの構築に係る技術と、図７～図９を参照して説明した所定の対象の監視に係る技術とは、それぞれ独立して実施可能である。また、各技術と組み合わせて利用される他の技術についても、特に限定はされない。
なお、上記はあくまで一例であり、本開示に係る技術の適用対象を限定するものではない。
例えば、図５及び図６を参照して説明した学習済モデルの適用対象は、必ずしも、図７～図９を参照して説明したような所定の対象の監視に係るシステムのみには限定されない。具体的な一例として、所定の形式のデータに対して、当該データの特徴を、基準となる同様の形式のデータの特徴により近づけるような処理（例えば、正規化処理）が適用されるような状況下であれば、上記学習済モデルを適用することが可能である。この場合に当該処理の適用対象となるデータの種別については、前述したように、画像のデータのみには限定されない。
また、図７～図９を参照して説明したような所定の対象の監視に係るシステムにおいて、撮像画像に対する正規化処理に利用される学習済モデルについては、必ずしもＧＡＮを利用して構築された学習済モデルのみには限定されない。すなわち、入力された撮像画像に対して当該撮像画像の特徴を所定の基準画像の特徴により近づける正規化処理を施すことが可能であれば、当該正規化処理の実現に利用される学習済モデルの構築方法や種別は特に限定はされない。
このように、図５及び図６を参照して説明した学習済モデルの構築に係る技術と、図７～図９を参照して説明した所定の対象の監視に係る技術とは、それぞれ独立して実施可能である。また、各技術と組み合わせて利用される他の技術についても、特に限定はされない。
【0064】
＜変形例＞
続いて、図１０及び図１１を参照して、本実施形態に係る情報処理システムの変形例として、本実施形態に係る情報処理システムを所謂量産品等の複製物の検品に応用した場合の一例について説明する。具体的には、本変形例に係る情報処理システムは、複製物の製造時に生じるばらつきが許容される誤差の範囲内であれば正常な状態と判定可能なロバスト性を有しつつ、許容範囲外のばらつきが生じた場合に異常な状態として検出する。
続いて、図１０及び図１１を参照して、本実施形態に係る情報処理システムの変形例として、本実施形態に係る情報処理システムを所謂量産品等の複製物の検品に応用した場合の一例について説明する。具体的には、本変形例に係る情報処理システムは、複製物の製造時に生じるばらつきが許容される誤差の範囲内であれば正常な状態と判定可能なロバスト性を有しつつ、許容範囲外のばらつきが生じた場合に異常な状態として検出する。
【0065】
例えば、図１０は、本変形例において学習済モデルの構築に利用される正常画像の一例について示した図である。具体的には、正常画像Ｄ１１３ｅは、規格通りに生成された複製物を被写体とした画像である。これに対して、正常画像Ｄ１１３ｆ～Ｄ１１３ｈのそれぞれは、許容される誤差の範囲で製造に係るばらつきが生じた複製物を被写体とした画像である。
具体的には、正常画像Ｄ１１３ｆは、許容される誤差の範囲でサイズのばらつきが生じた複製物を被写体とした画像を模式的に示している。また、正常画像Ｄ１１３ｇは、許容される誤差の範囲で少なくとも一部に変色が生じた複製物を被写体とした画像を模式的に示している。また、正常画像Ｄ１１３ｈは、許容される誤差の範囲で一部に欠損または変形が生じた複製物を被写体とした画像を模式的に示している。
具体的には、正常画像Ｄ１１３ｆは、許容される誤差の範囲でサイズのばらつきが生じた複製物を被写体とした画像を模式的に示している。また、正常画像Ｄ１１３ｇは、許容される誤差の範囲で少なくとも一部に変色が生じた複製物を被写体とした画像を模式的に示している。また、正常画像Ｄ１１３ｈは、許容される誤差の範囲で一部に欠損または変形が生じた複製物を被写体とした画像を模式的に示している。
【0066】
本変形例に係る情報処理システムでは、図１０に示す正常画像Ｄ１１３ｅ～Ｄ１１３ｈのうち、正常画像Ｄ１１３ｅを基準画像Ｄ１１１としたうえで、他の正常画像Ｄ１１３ｆ～Ｄ１１３ｈそれぞれを生成部１０１に入力する。そのうえで、生成部１０１とＧＡＮを構成する判別部１０３に、当該生成部１０１が他の正常画像Ｄ１１３ｆ～Ｄ１１３ｈそれぞれに基づき生成する正規化画像Ｄ１１５と、上記基準画像Ｄ１１１とを判別させる。このような構成に基づき、生成部１０１は、判別部１０３が基準画像Ｄ１１１と正規化画像Ｄ１１５との判別がより困難となる正規化処理を入力される正常画像Ｄ１１３に施すように、入力画像に対する当該正規化処理の適用に係る学習済モデルを構築する。
これにより、入力画像と上記基準画像Ｄ１１１との差が、正常画像Ｄ１１３ｅ～Ｄ１１３ｈ間における特徴の違いに基づき類推可能な範囲であれば、当該入力画像に基づき当該基準画像Ｄ１１１と特徴がより類似する正規化画像Ｄ１１５を精度良く生成可能な上記学習済モデルが構築される。
これにより、入力画像と上記基準画像Ｄ１１１との差が、正常画像Ｄ１１３ｅ～Ｄ１１３ｈ間における特徴の違いに基づき類推可能な範囲であれば、当該入力画像に基づき当該基準画像Ｄ１１１と特徴がより類似する正規化画像Ｄ１１５を精度良く生成可能な上記学習済モデルが構築される。
【0067】
また、製造された複製品の検品時には、生成部２０１により、当該複製品の撮像結果に応じた撮像画像Ｄ１２３に対して上記学習済モデルに基づき、当該撮像画像の特徴を上記基準画像Ｄ１１１（正常画像Ｄ１１３ｅ）の特徴により近づける正規化処理が施されることで正規化画像Ｄ１２５が生成される。そのうえで、判定部２０３により、生成された当該正規化画像Ｄ１２５と当該基準画像Ｄ１１１とが略一致するか否かに応じて、検品の対象となる複製物に許容範囲外の製造に係るばらつきが生じたか否かが判定される。
【0068】
なお、この際に、製造された複製物に生じた製造に係るばらつきが正常画像Ｄ１１３ｅ～Ｄ１１３ｈ間における特徴の違いに基づき類推可能な範囲であれば、当該複製物の撮像画像Ｄ１２３に基づき生成された正規化画像Ｄ１２５の特徴が、基準画像Ｄ１１１の特徴と略一致することとなる。すなわち、この場合には、判定部２０３は、検品対象となる複製物が問題なしである（製造に係るばらつきが許容される誤差の範囲内である）と判定することとなる。
これに対して、製造された複製物に生じた製造に係るばらつきが正常画像Ｄ１１３ｅ～Ｄ１１３ｈ間における特徴の違いに基づき類推が困難な場合には、当該複製物の撮像画像Ｄ１２３に基づき生成された正規化画像Ｄ１２５の特徴が、基準画像Ｄ１１１の特徴と略一致しないこととなる。すなわち、この場合には、判定部２０３は、検品対象となる複製物が不良である（製造に係るばらつきが許容される誤差の範囲外である）と判定することとなる。
これに対して、製造された複製物に生じた製造に係るばらつきが正常画像Ｄ１１３ｅ～Ｄ１１３ｈ間における特徴の違いに基づき類推が困難な場合には、当該複製物の撮像画像Ｄ１２３に基づき生成された正規化画像Ｄ１２５の特徴が、基準画像Ｄ１１１の特徴と略一致しないこととなる。すなわち、この場合には、判定部２０３は、検品対象となる複製物が不良である（製造に係るばらつきが許容される誤差の範囲外である）と判定することとなる。
【0069】
ここで、図１１を参照して、正規化画像Ｄ１２５と基準画像Ｄ１１１との比較により検出される異常の一例について具体的な例を挙げて説明する。Ｄ１１１３は、本変形例に係る基準画像Ｄ１１１の一例を示している。基準画像Ｄ１１１３は、図１０に示す正常画像Ｄ１１３ｅに相当する。また、Ｄ１２５３は、機械学習に基づき構築された学習済モデルを利用して、検品対象となる複製物の撮像画像Ｄ１２３に対して正規化処理が施された正規化画像Ｄ１２５の一例を示している。具体的には、検品対象となる複製物に生じた製造に係るばらつきが許容される誤差の範囲外の場合に生成される正規化画像Ｄ１２５の一例を示している。
【0070】
正規化画像Ｄ１２５３には、基準画像Ｄ１１１３には存在しない差分Ｖ１２５４、Ｖ１２５５、及びＶ１２５６が顕在化している。具体的には、差分Ｖ１２５４は、検品対象となる複製物の一部に許容される誤差の範囲外の欠損や変形が生じることで顕在化した差分を模式的に示している。また、差分１２５５は、正常時には存在しない異物が混入することで顕在化した差分を模式的に示している。また、差分Ｖ１２５３は、検品対象となる複製物の一部に許容される誤差の範囲外の変色が生じることで顕在化した差分を模式的に示している。
【0071】
差分Ｖ１２５４、Ｖ１２５５、及びＶ１２５６それぞれが顕在化した要因となる複製品に生じた製造に係るばらつきについては、上述の通り許容される誤差の範囲外のばらつきに相当する。そのため、撮像画像Ｄ１２３に対して、当該撮像画像Ｄ１２３の特徴を基準画像Ｄ１１１３の特徴により近づける正規化処理が施されたとしても、生成される正規化画像Ｄ１２５３には、差分Ｖ１２５４、Ｖ１２５５、及びＶ１２５６が顕在化することとなる。
このような特性を利用することで、生成される正規化画像Ｄ１２５３を基準画像Ｄ１１１１と比較して差分（例えば、差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３等）を検出することにより、製造された複製物に許容される誤差の範囲外の製造に係るばらつきが生じたか否かを判定する（すなわち、複製物の検品を行う）ことが可能となる。
また、上記に例示したばらつき以外にも、例えば、ひび、汚れ、変形、異常な大きさ等のような、規格通りに製造された場合には想定され得ない製造に係るばらつきの発生を検出することが可能である。
このような特性を利用することで、生成される正規化画像Ｄ１２５３を基準画像Ｄ１１１１と比較して差分（例えば、差分Ｖ１２５１、Ｖ１２５２、及びＶ１２５３等）を検出することにより、製造された複製物に許容される誤差の範囲外の製造に係るばらつきが生じたか否かを判定する（すなわち、複製物の検品を行う）ことが可能となる。
また、上記に例示したばらつき以外にも、例えば、ひび、汚れ、変形、異常な大きさ等のような、規格通りに製造された場合には想定され得ない製造に係るばらつきの発生を検出することが可能である。
【0072】
＜むすび＞
以上説明したように、本実施形態に係る情報処理装置２００は、複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成し、当該正規化画像と所定の基準画像とが略一致するか否かを判定したうえで、当該判定の結果に応じて報知情報を所定の出力先に出力する。
このような構成により、入力画像に顕在化した変化が許容される範囲内であれば正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出することが可能となる。これにより、例えば、撮像装置による撮像結果に応じた撮像画像を利用して所定の対象の状態を監視するような状況下においても、想定され得る状態の変化を異常として検知するような過検出の発生をより低く抑えながら、異常の発生をより高い精度で検出することが可能となる。
以上説明したように、本実施形態に係る情報処理装置２００は、複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成し、当該正規化画像と所定の基準画像とが略一致するか否かを判定したうえで、当該判定の結果に応じて報知情報を所定の出力先に出力する。
このような構成により、入力画像に顕在化した変化が許容される範囲内であれば正常な状態として判定可能なロバスト性を有しつつ、許容範囲外の変化が顕在化した場合に異常な状態として検出することが可能となる。これにより、例えば、撮像装置による撮像結果に応じた撮像画像を利用して所定の対象の状態を監視するような状況下においても、想定され得る状態の変化を異常として検知するような過検出の発生をより低く抑えながら、異常の発生をより高い精度で検出することが可能となる。
【0073】
また、本実施形態に係る情報処理装置１００は、入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する。具体的には、情報処理装置１００は、複数の正常画像のうちのいずれかを基準画像として、学習済モデルと、複数の正常画像のうちの基準画像以外の他の正常画像に対して当該学習済モデルにより正規化処理が施されることで生成された正規化画像と上記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、判別器が当該正規化画像と当該基準画像との判別がより困難となる上記正規化処理を入力画像に施すように上記学習済モデルを構築する。
このような構成により、異常な状態を示す画像を準備することが困難な状況下においても、上記学習済モデルを構築することが可能となる。また、上記構成により、入力画像に顕在化した変化が上記複数の正常画像の特徴から類推可能な範囲の変化であれば、当該入力画像に基づき基準画像と特徴が略一致する正規化画像を生成可能な学習済モデルを構築することが可能となる。また、本実施形態に係る情報処理システムにおいては、正規化画像との比較対象とする基準画像を制限することで、学習済モデルの構築に係る処理負荷をより低減することが可能である。
このような構成により、異常な状態を示す画像を準備することが困難な状況下においても、上記学習済モデルを構築することが可能となる。また、上記構成により、入力画像に顕在化した変化が上記複数の正常画像の特徴から類推可能な範囲の変化であれば、当該入力画像に基づき基準画像と特徴が略一致する正規化画像を生成可能な学習済モデルを構築することが可能となる。また、本実施形態に係る情報処理システムにおいては、正規化画像との比較対象とする基準画像を制限することで、学習済モデルの構築に係る処理負荷をより低減することが可能である。
【0074】
なお、前述したように、学習済モデルの構築に利用されるデータは必ずしも画像のデータのみには限定されず、他の種別のデータが利用されてもよい。この場合には、正解となる複数のデータ（正常画像に相当するデータ）が入力されることで学習済モデルの構築が行われることとなる。具体的には、正解となる複数のデータのうち、いずれかが基準となるデータ（基準画像に相当するデータ）として利用され、他のデータに対して当該他のデータの特徴を基準となるデータの特徴により近づける正規化処理を施すように学習済モデルの構築が行われる。
より具体的な一例として、音響のデータを入力とする場合には、当該学習済モデルは、入力された音響のデータに対して、当該音響のデータの特徴を基準となる音響のデータの特徴により近づける正規化処理を施すように構築されることとなる。
また、学習済モデルを利用した判定時には、当該学習済モデルに入力されるデータ（すなわち、正規化処理が施されるデータ）は、主に基準となるデータと同じ種別のデータとなる。もちろん、学習済モデルに入力されるデータの種別に応じて、当該データの取得に係る構成（画像のデータを対象とする場合における撮像装置３００に相当する構成）が適宜変更されてもよい。また、学習済モデルにより正規化処理が施されたデータ（正規化画像に相当するデータ）と、基準となるデータとの比較に基づき所望の判定（例えば、異常が検出されたか否かの判定等）が行われることとなる。
より具体的な一例として、音響のデータを入力とする場合には、当該学習済モデルは、入力された音響のデータに対して、当該音響のデータの特徴を基準となる音響のデータの特徴により近づける正規化処理を施すように構築されることとなる。
また、学習済モデルを利用した判定時には、当該学習済モデルに入力されるデータ（すなわち、正規化処理が施されるデータ）は、主に基準となるデータと同じ種別のデータとなる。もちろん、学習済モデルに入力されるデータの種別に応じて、当該データの取得に係る構成（画像のデータを対象とする場合における撮像装置３００に相当する構成）が適宜変更されてもよい。また、学習済モデルにより正規化処理が施されたデータ（正規化画像に相当するデータ）と、基準となるデータとの比較に基づき所望の判定（例えば、異常が検出されたか否かの判定等）が行われることとなる。
【0075】
以上、本発明を上述した実施形態と共に説明したが、本発明は上述した実施形態にのみ限定されるものではなく、本発明の技術思想を逸脱しない範囲内で種々の変更等が可能であり、上述した実施形態あるいは変形例を適時組み合わせてもよい。
また、本発明には、上述した実施形態の機能を実現するための方法、プログラム、及び当該プログラムを格納したコンピュータが読み取り可能な記録媒体が含まれる。
また、本発明には、上述した実施形態の機能を実現するための方法、プログラム、及び当該プログラムを格納したコンピュータが読み取り可能な記録媒体が含まれる。
【符号の説明】
【0076】
１ 情報処理システム
１００ 情報処理装置
１０１ 生成部
１０３ 判別部
１１０ 学習処理部
２００ 情報処理装置
２０１ 生成部
２０３ 判定部
２０５ 出力制御部
３００ 撮像装置
４００ 端末装置
１００ 情報処理装置
１０１ 生成部
１０３ 判別部
１１０ 学習処理部
２００ 情報処理装置
２０１ 生成部
２０３ 判定部
２０５ 出力制御部
３００ 撮像装置
４００ 端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2022-06-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成手段と、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、
を備え、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
情報処理装置。
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、
を備え、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
情報処理装置。
【請求項2】
前記学習済モデルは、前記判別器による判別の対象とする前記正規化画像の生成に、前記基準画像と特徴がより類似する前記他の正常画像を利用する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記複数の正常画像は、撮像に係る条件が互いに異なる複数の画像を含む、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項4】
前記撮像に係る条件は、撮像環境に関する条件と、撮像装置の撮像に係るパラメタに関する条件と、被写体に関する条件と、のうちの少なくともいずれかを含む、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記撮像環境に関する条件は、照明環境に関する条件を含む、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記被写体に関する条件は、所定の被写体の状態に関する条件を含む、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項7】
前記被写体に関する条件は、当該被写体である複製物の生成に係るばらつきに関する条件を含む、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項8】
前記判定手段は、前記正規化画像と前記基準画像とを画素単位で比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定する、
請求項１～７のいずれか１項に記載の情報処理装置。
請求項１～７のいずれか１項に記載の情報処理装置。
【請求項9】
前記判定手段は、前記正規化画像と前記基準画像とを画素単位で当該画素を構成する色の要素ごとに比較することで、当該正規化画像と当該基準画像とが略一致するか否かを判定する、
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
前記出力手段は、前記正規化画像と前記基準画像とが略一致しないと判定された場合に、異常を示す前記報知情報を所定の出力先に出力する、
請求項１～９のいずれか１項に記載の情報処理装置。
請求項１～９のいずれか１項に記載の情報処理装置。
【請求項11】
情報処理装置が実行する情報処理方法であって、
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を含み、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
情報処理方法。
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を含み、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
情報処理方法。
【請求項12】
コンピュータに、
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を実行させ、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
プログラム。
複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成ステップと、
前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定ステップと、
前記判定の結果に応じて報知情報を所定の出力先に出力する出力ステップと、
を実行させ、
前記学習済モデルは、
前記複数の正常画像のうちのいずれかを前記基準画像として、
前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、
当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される、
プログラム。
【請求項13】
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築手段を備え、
前記構築手段は、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルを構築する、
情報処理装置。
前記構築手段は、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルを構築する、
情報処理装置。
【請求項14】
情報処理装置が実行する情報処理方法であって、
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを含み、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
情報処理方法。
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを含み、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
情報処理方法。
【請求項15】
コンピュータに、
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを実行させ、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
プログラム。
入力画像の特徴を所定の基準画像の特徴により近づける正規化処理を当該入力画像に施すことで正規化画像に生成する学習済モデルを機械学習に基づき構築する構築ステップを実行させ、
前記構築ステップにおいて、
複数の正常画像のうちのいずれかを前記基準画像として、
前記学習済モデルと、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して当該学習済モデルにより前記正規化処理が施されることで生成された前記正規化画像と前記基準画像とを判別する判別器と、の組により構成された敵対的生成ネットワークを利用して、
前記判別器が当該正規化画像と当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように前記学習済モデルが構築される、
プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
本発明に係る情報処理装置は、複数の正常画像を入力とした機械学習に基づきあらかじめ構築された学習済モデルを利用した正規化処理を入力画像に施すことで正規化画像を生成する生成手段と、前記正規化画像と所定の基準画像とが略一致するか否かを判定する判定手段と、前記判定の結果に応じて報知情報を所定の出力先に出力する出力手段と、を備え、前記学習済モデルは、前記複数の正常画像のうちのいずれかを前記基準画像として、前記機械学習において、前記複数の正常画像のうちの前記基準画像以外の他の正常画像に対して前記正規化処理を施すことで生成された前記正規化画像と、前記基準画像と、を判別する判別器と敵対的生成ネットワークを構成し、当該判別器が、複数の前記他の正常画像それぞれから生成された前記正規化画像と、当該基準画像との判別がより困難となる前記正規化処理を入力画像に施すように構築される。