(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126706
(43)【公開日】2024-09-20
(54)【発明の名称】情報処理装置および情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240912BHJP
G06N 3/045 20230101ALI20240912BHJP
G06N 5/045 20230101ALI20240912BHJP
G06T 7/00 20170101ALI20240912BHJP
【ＦＩ】
G06N20/00
G06N3/045
G06N5/045
G06T7/00 350C
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023035279
(22)【出願日】2023-03-08
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】木村 克行
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096CA04
5L096CA22
5L096DA02
5L096HA11
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
【課題】複数種類のデータが入力される学習済モデルの解釈性を高める方法を提供する。
【解決手段】情報処理装置は、１または複数の第１のデータと、１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出する算出部と、１または複数の第１のデータおよび１または複数の第２のデータのうち少なくとも１つのデータについて、第１の学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを含む。
【選択図】図１６
【解決手段】情報処理装置は、１または複数の第１のデータと、１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出する算出部と、１または複数の第１のデータおよび１または複数の第２のデータのうち少なくとも１つのデータについて、第１の学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを含む。
【選択図】図１６
【特許請求の範囲】
【請求項1】
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出する算出部と、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを備える、情報処理装置。
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを備える、情報処理装置。
【請求項2】
前記１または複数の第１のデータの各々は、画像データを含み、
前記１または複数の第２のデータの各々は、スカラ値の時系列データを含む、請求項１に記載の情報処理装置。
前記１または複数の第２のデータの各々は、スカラ値の時系列データを含む、請求項１に記載の情報処理装置。
【請求項3】
前記生成部は、前記第１の学習済モデルに比較して、学習が不足している第２の学習済モデルを用いて、前記顕著性マップを生成する、請求項１に記載の情報処理装置。
【請求項4】
前記顕著性マップを表示出力する表示出力部をさらに備える、請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
前記表示出力部は、前記推論結果が予め定められた値である場合に、前記１または複数の第１のデータおよび前記１または複数の第１のデータのうち少なくとも一部を可視化した画像とともに、前記顕著性マップを表示出力する、請求項４に記載の情報処理装置。
【請求項6】
前記第１の学習済モデルは、前記１または複数の第１のデータおよび前記１または複数の第２のデータの各々に対応付けられた複数のニューラルネットワークを含む、請求項１～３のいずれか１項に記載の情報処理装置。
【請求項7】
情報処理プログラムであって、コンピュータに、
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出するステップと、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップを生成するステップとを実行させる、情報処理プログラム。
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出するステップと、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップを生成するステップとを実行させる、情報処理プログラム。
【請求項8】
１または複数の第１のデータと、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを含む学習データを複数用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納する学習部と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部とを備え、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる、情報処理装置。
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部とを備え、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる、情報処理装置。
【請求項9】
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、請求項８に記載の情報処理装置。
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、請求項８に記載の情報処理装置。
【請求項10】
前記ユーザインターフェイス画面は、
ユーザ操作によって指定された学習の状態における、前記モデルの精度の評価結果と、
ユーザ操作によって指定された学習の状態における、前記モデルが出力する特徴量の分布と、
ユーザ操作によって指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップとのうち少なくとも１つを含む、請求項９に記載の情報処理装置。
ユーザ操作によって指定された学習の状態における、前記モデルの精度の評価結果と、
ユーザ操作によって指定された学習の状態における、前記モデルが出力する特徴量の分布と、
ユーザ操作によって指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップとのうち少なくとも１つを含む、請求項９に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置および情報処理プログラムに関する。
【背景技術】
【0002】
生産現場においても、学習済モデルを用いた異常検知などの機能が実用化されている。このような学習済モデルがどのように判断を行ったのかを可視化する技術が知られている。このような技術は、説明可能なＡＩ（ＸＡＩ：Explainable AI）と称されることもある。
【0003】
例えば、画像認識モデルにおいて、入力と対応する推論とについて、入力のいずれの部分を推論の根拠にしているかを顕著性マップで可視化する技術が公知である（例えば、非特許文献１など）。また、テーブルデータに対して、入力と対応する推論とについて、いずれのデータを推論の根拠にしているかをグラフで可視化する技術が公知である（例えば、非特許文献２など）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】"Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, 2017 IEEE International Conference on Computer Vision (ICCV), 22-29 October 2017, <URL:https://arxiv.org/abs/1610.02391>
【非特許文献2】"A Unified Approach to Interpreting Model Predictions", Scott M. Lundberg, Su-In Lee, Part of Advances in Neural Information Processing Systems 30 (NIPS 2017), Jan 24th, 2018, < URL:https://arxiv.org/abs/1602.049 >
【発明の概要】
【発明が解決しようとする課題】
【0005】
複数種類のデータを入力して推論を行うタスクにおいて、上述したようなＸＡＩは開示されていない。
【0006】
本発明は、複数種類のデータが入力される学習済モデルの解釈性を高める方法を提供することを一つの目的とする。
【課題を解決するための手段】
【0007】
本発明の一例に従う情報処理装置は、１または複数の第１のデータと、１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出する算出部と、１または複数の第１のデータおよび１または複数の第２のデータのうち少なくとも１つのデータについて、第１の学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップを生成する生成部とを含む。
【0008】
この構成によれば、データ形式が異なる複数種類のデータを学習済モデルに入力することで、多面的な推論結果を算出できる。また、当該学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップが生成されるので、入力されるデータがどのように着目されているのかをユーザが把握することを支援できる。
【0009】
１または複数の第１のデータの各々は、画像データを含んでもよい。１または複数の第２のデータの各々は、スカラ値の時系列データを含んでもよい。この構成によれば、製造ラインなどから収集される複数種類のデータを用いた学習済モデルに基づく推論を容易に行うことができる。
【0010】
生成部は、第１の学習済モデルに比較して、学習が不足している第２の学習済モデルを用いて、顕著性マップを生成してもよい。この構成によれば、学習が不足している第２の学習済モデルを用いることで、第１の学習済モデルの解釈性をより高めることができる。
【0011】
情報処理装置は、顕著性マップを表示出力する表示出力部をさらに含んでもよい。この構成によれば、ユーザに対して顕著性マップを視覚的に提供できる。
【0012】
表示出力部は、推論結果が予め定められた値である場合に、１または複数の第１のデータおよび１または複数の第１のデータのうち少なくとも一部を可視化した画像とともに、顕著性マップを表示出力してもよい。この構成によれば、第１の学習済モデルに入力されたデータと顕著性マップとを対比して解釈性を高めることができる。
【0013】
第１の学習済モデルは、１または複数の第１のデータおよび１または複数の第２のデータの各々に対応付けられた複数のニューラルネットワークを含んでもよい。この構成によれば、入力されるデータ毎に顕著性マップを生成できる。
【0014】
本発明の別の一例に従う情報処理プログラムは、コンピュータに、１または複数の第１のデータと、１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを第１の学習済モデルに入力して推論結果を算出するステップと、１または複数の第１のデータおよび１または複数の第２のデータのうち少なくとも１つのデータについて、第１の学習済モデルが推論結果を算出するために着目した部分を示す顕著性マップを生成するステップとを実行させる。
【0015】
本発明のさらに別の一例に従う情報処理装置は、１または複数の第１のデータと、１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータとを含む学習データを複数用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納する学習部と、複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、複数の学習データのうち第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部とを含む。第２のモデルは、第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる。この構成によれば、データ形式が異なる複数種類のデータに基づいて推論を行う学習済モデルを生成できる。また、第２のモデルを用いて、生成された学習済モデルの解釈性を高めるための顕著性マップを容易に生成できる。
【0016】
決定部は、学習に用いられた学習データの数に対する、モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを第２のモデルとして決定してもよい。この構成によれば、学習曲線を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【0017】
ユーザインターフェイス画面は、ユーザ操作によって指定された学習の状態における、モデルの精度の評価結果と、ユーザ操作によって指定された学習の状態における、モデルが出力する特徴量の分布と、ユーザ操作によって指定された学習の状態における、モデルの出力に基づいて生成された顕著性マップとのうち少なくとも１つを含んでもよい。この構成によれば、各種情報を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【発明の効果】
【0018】
本発明によれば、複数種類のデータが入力される学習済モデルの解釈性を高めることができる。
【図面の簡単な説明】
【0019】
【図1】本実施の形態に従う分類モデルの構成例を示す模式図である。
【図2】本実施の形態に従う分類モデルに入力されるデータの一例を示す模式図である。
【図3】本実施の形態に従うセンサデータを生成するための処理例を説明するための図である。
【図4】本実施の形態に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。
【図5】本実施の形態に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。
【図6】本実施の形態に従う情報処理装置のハードウェア構成例を示す模式図である。
【図7】本実施の形態に従う情報処理装置のソフトウェア構成例を示す模式図である。
【図8】本実施の形態に従う分類モデルおよびＸＡＩモデルに用いるモデルの学習曲線の一例を示す図である。
【図9】本実施の形態に従うＸＡＩ手法により画像ＸＡＩを生成する処理の一例を説明するための図である。
【図10】本実施の形態に従うＸＡＩ手法によりセンサデータＸＡＩを生成する処理の一例を説明するための図である。
【図11】本実施の形態に従うＸＡＩ手法により低次特徴量を生成する処理の一例を説明するための図である。
【図12】本実施の形態に従うモデル学習途中に算出される精度の一例を示す図である。
【図13】本実施の形態に従うモデル学習途中に算出される画像ＸＡＩおよびセンサデータＸＡＩと低次特徴量の分布との一例を示す図である。
【図14】本実施の形態に従う情報処理装置が提供するユーザインターフェイス画面の一例を示す図である。
【図15】本実施の形態に従う情報処理装置が学習過程でデータベースに順次格納するデータの一例を示す模式図である。
【図16】本実施の形態に従う情報処理装置が学習過程により生成したモデルの構成例を示す図である。
【図17】本実施の形態に従う情報処理装置の学習過程の処理手順を示すフローチャートである。
【図18】本実施の形態に従う情報処理装置の運用過程の処理手順を示すフローチャートである。
【図19】本実施の形態に従う製造ラインの運転画面例を示す模式図である。
【発明を実施するための形態】
【0020】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0021】
本明細書において、「または」との用語は、「または」の意味加えて、「および」の意味を包含する。
【0022】
＜Ａ．適用例＞
本発明が適用される場面の一例について説明する。
本発明が適用される場面の一例について説明する。
【0023】
本実施の形態においては、複数種類のデータが入力される学習済モデルを用いる。学習済モデルには、データ形式が異なる複数のデータが入力される。複数種類のデータは、どのようなデータの組合せであってもよいが、以下では、画像データおよびセンサデータを用いる例について説明する。
【0024】
本明細書において、「画像データ」は、任意のカメラにより撮像されるデータ、および、公知の方法によって生成される画像データを包含する。画像データは、行列状に配置された複数の値を含むデータであり、一種のベクトル値とも言える。
【0025】
本明細書において、「センサデータ」は、任意のセンサ（例えば、温度センサまたは圧力センサなど）により収集または検出されるデータに加えて、製造ラインなどに配置されるアクチュエータ（例えば、モータまたはシリンダなど）から収集されるデータ、および、製造ラインを制御するための制御装置が有しているデータを包含する。センサデータは、例えば、何らかの値を示すスカラ値である。また、センサデータは、画像データとは区別される。
【0026】
本実施の形態において、モデルまたは学習済モデルには、１または複数の画像データ（第１のデータ）と、１または複数の画像データとはデータ形式が異なる、１または複数のセンサデータ（第２のデータ）とが入力される。
【0027】
図１は、本実施の形態に従う分類モデル２の構成例を示す模式図である。一例として、製造ラインから収集される１または複数の画像データ２０、ならびに、１または複数のセンサデータ２２に基づいて、「ＯＫ」（正常）と、「ＮＧ Ｌｖ．１」（異常１）と、「ＮＧ Ｌｖ．２」（異常２）との３クラス分類を行う分類タスクについて説明する。
【0028】
図１には、１つの画像データ２０および２つのセンサデータ２２－１，２２－２が入力される分類モデル２を例示する。
【0029】
分類モデル２は、どのような種類のモデルであってもよい。画像データ２０に対する分類タスクを想定すると、分類モデル２としては、例えば、ＶＧＧ、ＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔ、または、ＥｆｆｉｃｉｅｎｔＮｅｔなどを用いることができる。なお、分類タスクに限らず、どのようなタスクであってもよい。また、タスクに応じたモデルを選択すればよい。
【0030】
より具体的には、分類モデル２は、画像データ２０が入力されるニューラルネットワーク１０と、センサデータ２２－１，２２－２が入力されるニューラルネットワーク１２－１，１２－２と、全結合層（ＦＣ：Fully-Connected layer）１４とを含む。
【0031】
例えば、ニューラルネットワーク１０は、２次元ＣＮＮ（Convolutional Neural Network）であってもよい。ニューラルネットワーク１２－１，１２－２は、１次元ＣＮＮであってもよい。
【0032】
このように、分類モデル２は、１または複数の画像データ２０および１または複数のセンサデータ２２の各々に対応付けられた複数のニューラルネットワークを含んでいてもよい。
【0033】
分類モデル２から出力される推論結果３０は、例えば、分類結果を示す。推論結果３０は、クラス毎の可能性を示す値（確率）であってもよい。なお、異常１および異常２は、異常モードの違いを意味する。推論結果３０は、製造ラインなどに配置された制御装置などに出力されてもよい。
【0034】
次に、ＸＡＩ手法により分類モデル２の顕著性マップを生成する処理について説明する。
【0035】
ＸＡＩ手法により生成される顕著性マップは、学習済モデルが推論結果を出力するために着目した部分を可視化したものである。顕著性マップは、例えば、画像データ２０の２次元配列に対応させたヒートマップ、または、センサデータ２２の時間波形に対応させたヒートマップなどを含む。以下では、画像データ２０が入力されるニューラルネットワーク１０から生成される顕著性マップを「画像ＸＡＩ」とも称す。また、センサデータ２２が入力されるニューラルネットワーク１２から生成される顕著性マップを「センサデータＸＡＩ」とも称す。
【0036】
図２は、本実施の形態に従う分類モデル２に入力されるデータの一例を示す模式図である。図２には、クラス毎に、画像データ２０と、センサデータ２２－１，２２－２とを並べて示す。センサデータ２２－１，２２－２は、対応するセンサにより収集または検出される時系列データを１サイクルタイム毎に分割したものであってもよい。
【0037】
図３は、本実施の形態に従うセンサデータ２２を生成するための処理例を説明するための図である。図３を参照して、センサデータ２２の時系列データに対して、制御装置などからの情報に基づいて、製造周期単位（サイクルタイム）毎にフレーム２３を設定してもよい。時系列データの各フレーム２３に対応する部分が１つのセンサデータ２２として出力されてもよい。すなわち、センサデータ２２の各々は、スカラ値の時系列データであってもよい。
【0038】
なお、必要に応じて、画像データ２０とセンサデータ２２との間で時刻合わせが行われてもよい。
【0039】
図４および図５は、本実施の形態に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。図４および図５には、一例として、ピロー包装機で包装されたワークを撮像した画像データ２０、ピロー包装機のトップシールの刃の温度を示すセンサデータ２２－１、および、トップシール軸のモータトルクを示すセンサデータ２２－２に基づいて、トップシールの状態を評価するタスクの結果例を示す。
【0040】
【0041】
より具体的には、図４および図５には、クラス毎に、画像データ２０と、画像ＸＡＩ４０と、センサデータＸＡＩ４２－１，４２－２とを並べて示す。センサデータＸＡＩ４２－１，４２－２は、センサデータ２２の時系列データのうちいずれのタイミング（期間）のデータに着目されているのかを可視化する。
【0042】
図４を参照して、適正に学習された分類モデル２からＸＡＩ手法により生成される顕著性マップにおいては、いずれのクラスについても、画像ＸＡＩ４０およびセンサデータＸＡＩ４２－１，４２－２に同様の反応が出ており、分類モデル２についての解釈性が低い。
【0043】
これに対して、図５を参照して、分類モデル２からＸＡＩ手法により生成される顕著性マップにおいては、クラス毎に特徴的な部分が着目されていることが分かる。すなわち、学習が不足している分類モデル２からＸＡＩ手法により生成される顕著性マップは、分類モデル２についての解釈性が高い。
【0044】
本実施の形態において、このような学習が不足している学習済モデルからＸＡＩ手法により生成される顕著性マップを用いることで、学習済モデルについての解釈性を高められるという新たな知見に基づくものである。
【0045】
本実施の形態において、本来のタスクを実行するための学習済モデルである分類モデル２と、顕著性マップを生成するために用いられる学習済モデルであるＸＡＩモデル４とが用意される。分類モデル２は、所定数の学習データを用いて学習されたモデルである。これに対して、ＸＡＩモデル４は、当該所定数より少ない数の学習データを用いて学習されたモデルである。すなわち、ＸＡＩモデル４は、分類モデル２に比較して、学習が不足している学習済モデルである。ＸＡＩモデル４を用いて顕著性マップが生成される。
【0046】
＜Ｂ．ハードウェア構成例＞
次に、本実施の形態に従う情報処理装置１００のハードウェア構成例を説明する。
次に、本実施の形態に従う情報処理装置１００のハードウェア構成例を説明する。
【0047】
図６は、本実施の形態に従う情報処理装置１００のハードウェア構成例を示す模式図である。図６を参照して、情報処理装置１００は、コンピュータの一例であり、１または複数のプロセッサ１０２と、メモリ１０４と、ストレージ１０６と、表示出力部１１４と、入力部１１６と、通信回路１１８とを含む。
【0048】
１または複数のプロセッサ１０２は、ストレージ１０６に格納されているプログラムに含まれるコンピュータ読取可能命令を実行することで、後述するような処理および機能を提供する。１または複数のプロセッサ１０２がプログラムに含まれるコンピュータ読取可能命令を実行する場合には、プログラムの一部または全部がメモリ１０４に展開されてもよい。
【0049】
ストレージ１０６は、非一過性のコンピュータ読取可能媒体である。ストレージ１０６には、例えば、ＯＳ（Operating System）１０８と、モデル生成プログラム１１０とが格納される。ＯＳ１０８は、コンピュータとして必要な機能を提供するためのコンピュータ読取可能命令と、モデル生成プログラム１１０を実行する環境を生成するためのコンピュータ読取可能命令とを含む。
【0050】
モデル生成プログラム１１０は、本発明に係る情報処理プログラムに対応し、後述するような学習済モデル（分類モデル２およびＸＡＩモデル４）を生成するためのコンピュータ読取可能命令を含む。
【0051】
モデル運用プログラム１１２は、本発明に係る情報処理プログラムに対応し、後述するような学習済モデルを運用するためのコンピュータ読取可能命令を含む。
【0052】
表示出力部１１４は、プロセッサ１０２による処理結果などを表示出力する。例えば、表示出力部１１４は、顕著性マップ（画像ＸＡＩ４０およびセンサデータＸＡＩ４２）を表示出力する。また、表示出力部１１４は、製造ラインの運転画面（図１９参照）を表示出力してもよい。
【0053】
ここで、「表示出力」は、情報処理装置１００が有しているディスプレイまたは情報処理装置１００の外部に存在するディスプレイに対して、表示画面を表示するためのデータまたは信号を出力することを意味する。
【0054】
入力部１１６は、ユーザ操作を受け付ける。入力部１１６は、例えば、キーボードまたはマウスなどを含んでいてもよいし、キーボードまたはマウスと接続するためのインターフェイスを含んでいてもよい。また、入力部１１６は、ディスプレイと一体型のタッチパネルのようなタッチ操作が可能なデバイスを含んでいてもよい。
【0055】
通信回路１１８は、制御装置３００（図７参照）との間でデータをやり取りする。
本明細書において、「プロセッサ」との用語は、ＣＰＵ（Central Processing Unit）などのコンピュータ読取可能命令を実行することで処理を行う演算回路に加えて、ハードワイヤード回路も包含する。ハードワイヤード回路の一例としては、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などが挙げられる。
本明細書において、「プロセッサ」との用語は、ＣＰＵ（Central Processing Unit）などのコンピュータ読取可能命令を実行することで処理を行う演算回路に加えて、ハードワイヤード回路も包含する。ハードワイヤード回路の一例としては、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などが挙げられる。
【0056】
＜Ｃ．ソフトウェア構成例＞
次に、本実施の形態に従う情報処理装置１００のソフトウェア構成例について説明する。
次に、本実施の形態に従う情報処理装置１００のソフトウェア構成例について説明する。
【0057】
図７は、本実施の形態に従う情報処理装置１００のソフトウェア構成例を示す模式図である。図７を参照して、製造ライン４００などには、１または複数のカメラ４１０、ならびに、１または複数のセンサ４２０－１，４２０－２，…が配置される。
【0058】
制御装置３００は、ＰＬＣ（Programmable Logic Controller）などのコンピュータである。制御装置３００は、制御プログラム３１０に従って制御演算を実行し、実行結果に基づいて製造ライン４００に対して制御指令３５０を出力する。制御装置３００は、情報処理装置１００からの推論結果３０を制御演算に反映する。
【0059】
制御装置３００は、データベース３２０を有しており、データ収集部３２２が製造ライン４００から収集した画像データ２０およびセンサデータ２２を収集し、データベース３２０に格納する。
【0060】
情報処理装置１００は、制御装置３００を介して、１または複数の画像データ２０、ならびに、１または複数のセンサデータ２２を収集する。より具体的には、制御装置３００は、予め定められた周期で、または、所定のトリガを受けて、データベース３２０に格納されている画像データ２０およびセンサデータ２２を情報処理装置１００へ送信する。
【0061】
情報処理装置１００は、データベース１５０と、運用部１６０と、学習部１６６と、モデル決定部１６８と、ＸＡＩ可視化部１７０とを含む。
【0062】
データベース１５０は、記憶部に相当し、ストレージ１０６（図６）を用いて実現されてもよいし、情報処理装置１００に外付けされた記憶装置、または、ネットワークを介して接続された記憶装置を用いて実現されてもよい。学習部１６６と、モデル決定部１６８と、ＸＡＩ可視化部１７０とは、情報処理装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１１０を実行することで実現されてもよい。運用部１６０は、情報処理装置１００の１または複数のプロセッサ１０２がモデル運用プログラム１１２を実行することで実現されてもよい。
【0063】
データベース１５０は、画像データ２０およびセンサデータ２２に加えて、学習過程においてＸＡＩ手法により生成される、画像ＸＡＩ４０と、センサデータＸＡＩ４２と、モデルパラメータ１６５と、低次特徴量１８０とを格納する。
【0064】
運用部１６０は、画像データ２０に対して分類を行う分類モデル２と、画像データ２０についての画像ＸＡＩ４０およびセンサデータＸＡＩ４２を出力するＸＡＩモデル４とを運用する。より具体的には、運用部１６０は、算出部に相当し、１または複数の画像データ２０（第１のデータ）と１または複数のセンサデータ２２（第２のデータ）とを分類モデル２に入力して推論結果３０を算出する。
【0065】
また、運用部１６０は、１または複数の画像データ２０（第１のデータ）と１または複数のセンサデータ２２（第２のデータ）をＸＡＩモデル４にも入力する。ＸＡＩモデル４から出力される推論結果は、後述するように、ＸＡＩ可視化部１７０での処理に用いられる。
【0066】
このように、運用過程において、画像データ２０が分類モデル２に入力され、推論結果３０が出力される。推論結果３０は、例えば、分類結果を示す。推論結果３０は、製造ライン４００などに配置された制御装置などに出力される。
【0067】
学習部１６６は、分類モデル２およびＸＡＩモデル４に用いるモデルを学習する。学習部１６６は、１または複数の画像データ２０と、１または複数のセンサデータ２２とを含む学習データ（正解ラベルが付与されている）を複数用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータ（例えば、モデルパラメータ１６５）をデータベース１５０（記憶部）に順次格納する。
【0068】
学習部１６６は、モデルパラメータ１６５に加えて、画像データ２０と、センサデータ２２と、画像ＸＡＩ４０と、センサデータＸＡＩ４２と、モデルパラメータ１６５と、低次特徴量１８０とをデータベース１５０に順次格納してもよい。
【0069】
モデル決定部１６８は、決定部に相当し、後述の図１４に示すようなユーザインターフェイス画面を生成するとともに、ユーザ操作を受け付ける。モデル決定部１６８は、複数の学習データのうち所定数（第１の数）の学習データを用いて学習された状態のモデルを分類モデル２として決定するとともに、ユーザ操作に従って、複数の学習データのうち当該所定数より少ない数（第２の数）の学習データを用いて学習された状態のモデルをＸＡＩモデル４として出力する。
【0070】
ＸＡＩ可視化部１７０は、生成部に相当し、１または複数の画像データ２０（第１のデータ）および１または複数のセンサデータ２２（第２のデータ）のうち少なくとも１つのデータについて、分類モデル２が推論結果３０を算出するために着目した部分を示す顕著性マップを生成する。
【0071】
説明の便宜上、以下では、分類モデル２に入力されるデータの各々について、顕著性マップを生成する処理を説明するが、顕著性マップ（画像ＸＡＩまたはセンサデータＸＡＩ）は、分類モデル２に入力されるすべてのデータについて生成される必要はなく、少なくとも一部のデータについて生成されてもよい。
【0072】
ＸＡＩ可視化部１７０は、１または複数の画像データ２０、および、１または複数のセンサデータ２２（分類モデル２への入力と同じ）をＸＡＩモデル４に入力したときの出力に基づいて、１または複数の画像ＸＡＩ４０、および、１または複数のセンサデータＸＡＩ４２（顕著性マップ）を生成する。より具体的には、ＸＡＩ可視化部１７０は、ＸＡＩモデル４の推論結果および特徴量マップなどに基づいて、画像ＸＡＩ４０およびセンサデータＸＡＩ４２を生成する。
【0073】
ＸＡＩ可視化部１７０は、運用過程においても、１または複数の画像データ２０、および、１または複数のセンサデータ２２をＸＡＩモデル４に入力して取得される推論結果に基づいて、１または複数の画像ＸＡＩ４０、および、１または複数のセンサデータＸＡＩ４２（顕著性マップ）を生成する。
【0074】
なお、図７には、情報処理装置１００とは別に制御装置３００が配置されている構成例を示すが、情報処理装置１００と制御装置３００とを一体化してもよい。
【0075】
あるいは、情報処理装置１００が学習済モデル（分類モデル２およびＸＡＩモデル４）を生成し、制御装置３００が学習済モデル（分類モデル２およびＸＡＩモデル４）を運用するようにしてもよい。そのため、本明細書において、「情報処理装置」は、情報処理装置１００、制御装置３００、および、情報処理装置１００と制御装置３００との組合せのいずれであってもよい。
【0076】
また、情報処理装置１００の機能は、複数の装置により実現されてもよいし、一部の機能をクラウドなどのコンピューティングリソースを用いて実現してもよい。
【0077】
＜Ｄ．分類モデルおよびＸＡＩモデル＞
次に、分類モデル２およびＸＡＩモデル４の学習および生成について説明する。
次に、分類モデル２およびＸＡＩモデル４の学習および生成について説明する。
【0078】
本実施の形態において、ＸＡＩモデル４は、分類モデル２と同一の構造を有している。ただし、分類モデル２とＸＡＩモデル４との間では、学習状態が異なっている。
【0079】
図８は、本実施の形態に従う分類モデル２およびＸＡＩモデル４に用いるモデルの学習曲線の一例を示す図である。図８には、サンプル数（エポック単位）に対するモデルの誤差の変化を示す。図８には、モデルを学習するために用いた学習データに対する誤差と、学習データとは別の検証データに対する誤差とを示す。なお、取得された画像データ２０およびセンサデータ２２の集合を、交差検証法（例えば、Ｋ－交差検証など）で分割することで、学習データおよび検証データを用意することができる。
【0080】
図８に示すように、学習のサンプル数が増加することによって、モデルの学習データに対する誤差が低下していることが分かる。一方で、学習のサンプル数が増加することによって、モデルの検証データに対する誤差が途中から増加していることが分かる。すなわち、学習のサンプル数が増加しすぎることで、モデルが過学習になり得ることが示されている。
【0081】
そのため、不足学習および過学習のいずれでもない適正な学習状態のモデルが分類モデル２として用いられる。適正な学習状態のモデルを用いることで、汎用性が高く、高い精度が期待できる。
【0082】
これに対して、ＸＡＩモデル４は、不足学習のモデルが用いられる。上述したように、不足学習の状態のモデルを用いることで、分類モデルについての解釈性を高められる。
【0083】
本実施の形態に従う情報処理装置１００は、モデルの学習過程において、ＸＡＩモデル４として適切な学習状態を把握できるように、後述するようなユーザインターフェイス画面を提供する。また、情報処理装置１００は、学習過程において、モデル（モデルパラメータ１６５）をデータベース１５０に順次格納する。
【0084】
なお、図８に示す学習曲線の縦軸は、誤差に代えて、あるいは、誤差に加えて、精度を用いてもよい。誤差が低いほど良いモデルであり、精度が高いほど良いモデルである。
【0085】
＜Ｅ．ＸＡＩ手法＞
次に、画像ＸＡＩ４０およびセンサデータＸＡＩ４２を生成するためのＸＡＩ手法について説明する。例えば、顕著性マップを用いて可視化するＸＡＩ手法としては、Ｇｒａｄ－ＣＡＭ、ＸＧｒａｄ－ＣＡＭ、または、ＳｃｏｒｅＣＡＭ、Ｅｉｇｅｎ－ＣＡＭなどの任意のアルゴリズムを用いることができる。
次に、画像ＸＡＩ４０およびセンサデータＸＡＩ４２を生成するためのＸＡＩ手法について説明する。例えば、顕著性マップを用いて可視化するＸＡＩ手法としては、Ｇｒａｄ－ＣＡＭ、ＸＧｒａｄ－ＣＡＭ、または、ＳｃｏｒｅＣＡＭ、Ｅｉｇｅｎ－ＣＡＭなどの任意のアルゴリズムを用いることができる。
【0086】
図９は、本実施の形態に従うＸＡＩ手法により画像ＸＡＩ４０を生成する処理の一例を説明するための図である。図１０は、本実施の形態に従うＸＡＩ手法によりセンサデータＸＡＩ４２を生成する処理の一例を説明するための図である。図１１は、本実施の形態に従うＸＡＩ手法により低次特徴量１８０を生成する処理の一例を説明するための図である。
【0087】
【0088】
図９を参照して、画像ＸＡＩ４０は、ニューラルネットワーク１０から出力される特徴量マップ５０から生成される。より具体的には、情報処理装置１００は、１または複数の画像データ２０をニューラルネットワーク１０に入力して特徴量マップ５０を算出し、特徴量マップ５０を全結合層１４に入力して推論結果３０を出力する（ステップＳ１）。続いて、情報処理装置１００は、推論結果３０からニューラルネットワーク１０の最終層が出力する特徴量マップ５０までの勾配５２を算出する（ステップＳ２）。
【0089】
情報処理装置１００は、特徴量マップ５０までの勾配５２に対して、ＧＡＰ（Global Average Pooling）処理を実行する（ステップＳ３）。ＧＡＰ処理により、特徴量マップ５０までの勾配５２の次元数を減少させたプーリング結果５４が生成される。
【0090】
続いて、情報処理装置１００は、特徴量マップ５０とプーリング結果５４との重み付け和を算出し、重み付け和を活性化関数１７２（例えば、ＲｅＬＵ（Rectified Linear Unit）など）に入力することで、画像ＸＡＩ４０を生成する（ステップＳ４）。
【0091】
図１０を参照して、センサデータＸＡＩ４２は、ニューラルネットワーク１２から出力される特徴量マップ６０から生成される。より具体的には、情報処理装置１００は、１または複数のセンサデータ２２をニューラルネットワーク１２に入力して特徴量マップ６０を算出し、特徴量マップ６０を活性化関数全結合層１４に入力して推論結果３０を出力する（ステップＳ１１）。
【0092】
続いて、情報処理装置１００は、推論結果３０からニューラルネットワーク１２の最終層が出力する特徴量マップ６０までの勾配６２を算出する（ステップＳ１２）。
【0093】
情報処理装置１００は、特徴量マップ６０までの勾配６２に対して、ＧＡＰ（Global Average Pooling）処理を実行する（ステップＳ１３）。ＧＡＰ処理により、特徴量マップ６０までの勾配６２の次元数を減少させたプーリング結果６４が生成される。
【0094】
続いて、情報処理装置１００は、特徴量マップ６０とプーリング結果６４との重み付け和を算出し、重み付け和を活性化関数１７４に入力することで、センサデータＸＡＩ４２を生成する（ステップＳ１４）。
【0095】
情報処理装置１００は、画像ＸＡＩ４０およびセンサデータＸＡＩ４２の生成に加えて、あるいは、画像ＸＡＩ４０およびセンサデータＸＡＩ４２の生成に代えて、特徴量マップ５０および特徴量マップ６０を次元圧縮した特徴量を算出してもよい。
【0096】
図１１を参照して、情報処理装置１００は、分類モデル２の学習に併せて、順次出力される特徴量マップ５０および特徴量マップ６０に対して、ＧＡＰ処理を実行する（ステップＳ２１）。ＧＡＰ処理により、特徴量マップ５０および特徴量マップ６０の次元数を減少させたプーリング結果７０が生成される。
【0097】
続いて、情報処理装置１００は、プーリング結果７０をさらに次元圧縮して２次元の低次特徴量１８０を算出する（ステップＳ２２）。次元圧縮の手法としては、ＰＣＡ（Principal Component Analysis）またはＵＭＡＰ（Uniform Manifold Approximation and Projection）などのアルゴリズムを用いることができる。
【0098】
＜Ｆ．ＸＡＩモデル４の生成＞
次に、ＸＡＩモデル４を生成する処理について説明する。
次に、ＸＡＩモデル４を生成する処理について説明する。
【0099】
上述したように、ＸＡＩモデル４には、不足学習の状態のモデルが用いられる。モデルが不足学習の状態であることをユーザが確認し、情報処理装置１００が、ユーザ操作に従って、ＸＡＩモデル４として決定してもよい。また、情報処理装置１００が、不足学習の状態のモデルをＸＡＩモデル４の候補として提示してもよい。
【0100】
モデルが不足学習の状態であることを判断するために、モデルの精度または画像特徴量を用いてもよい。
【0101】
例えば、情報処理装置１００は、分類モデル２の要求精度の指定を受け付け、当該指定された要求精度に対して、可能な限りエポック数（サンプル数）が少ないものをＸＡＩモデル４の候補として提示してもよい。
【0102】
図１２は、本実施の形態に従うモデル学習途中に算出される精度の一例を示す図である。
【0103】
例えば、マクロ平均（Ｆ１－Ｓｃｏｒｅ）が０．９５以上であるとの要求精度が指定された場合には、指定された要求精度を満たす学習状態のうち、エポック数（サンプル数）が最も少ない学習状態をＸＡＩモデル４の候補として提示する。
【0104】
図１２（Ａ）には、エポック数が１０である場合の分類モデル２の精度の一例を示し、図１２（Ｂ）には、エポック数が４０である場合の分類モデル２の精度の一例を示す。いずれの精度についても、マクロ平均（ｍａｃｒｏａｖｇ）は、「０．９５」以上となっており、エポック数が少ない図１２（Ａ）に示す状態の分類モデル２がＸＡＩモデル４の候補として提示される。
【0105】
また、情報処理装置１００は、モデル学習途中の状態を可視化してもよい。モデル学習途中の状態としては、例えば、画像ＸＡＩ４０そのものであってもよいし、特徴量マップ５０および特徴量マップ６０から算出される低次特徴量１８０の分布１８２であってもよい。
【0106】
図１３は、本実施の形態に従うモデル学習途中に算出される画像ＸＡＩ４０およびセンサデータＸＡＩ４２と低次特徴量１８０の分布１８２との一例を示す図である。
【0107】
図１３（Ａ）には、エポック数が１０である場合の分類モデル２から出力される画像ＸＡＩ４０およびセンサデータＸＡＩ４２と低次特徴量１８０の分布１８２との一例を示し、図１２（Ｂ）には、エポック数が４０である場合の分類モデル２から出力される画像ＸＡＩ４０およびセンサデータＸＡＩ４２と低次特徴量１８０の分布１８２との一例を示す。
【0108】
ユーザは、画像ＸＡＩ４０、センサデータＸＡＩ４２、または低次特徴量１８０の分布１８２を確認して、ＸＡＩモデル４として適切な学習状態を判断することもできる。情報処理装置１００は、ユーザ操作に従って、選択された学習状態のモデルをＸＡＩモデル４として決定してもよい。
【0109】
このように、ユーザは、画像ＸＡＩ４０、センサデータＸＡＩ４２、または低次特徴量１８０の分布１８２を確認することで、定性的にＸＡＩモデル４を決定してもよい。
【0110】
図１４は、本実施の形態に従う情報処理装置１００が提供するユーザインターフェイス画面２００の一例を示す図である。図１４を参照して、ユーザインターフェイス画面２００は、学習曲線２１０と、精度評価結果２２０と、画像特徴量の分布２３０とを含む。
【0111】
学習曲線２１０は、学習過程において生成されたモデルの誤差または精度の変化を示す。情報処理装置１００は、学習に用いられた学習データの数に対する、モデルの誤差および精度の少なくとも一方の変化を示す学習曲線２１０を含むユーザインターフェイス画面２００を生成する。
【0112】
情報処理装置１００は、学習曲線２１０に関連付けて、分類モデル２として決定された学習状態の位置に分類モデル位置２１４を表示するとともに、ＸＡＩモデル４に適していると算出された学習状態の位置に推奨位置２１６を表示する。
【0113】
情報処理装置１００は、ユーザによるスライダ２１２の操作に応じて、位置表示２１３を変化させる。情報処理装置１００は、ユーザによる選択ボタン２１８の選択に応じて、位置表示２１３が表示されている学習状態に対応するモデルをＸＡＩモデル４として決定する。このように、情報処理装置１００は、ユーザインターフェイス画面２００に対するユーザ操作に応じて、選択された状態のモデルをＸＡＩモデル４として決定する。
【0114】
情報処理装置１００は、ユーザによるスライダ２１２の操作に応じて、精度評価結果２２０の表示内容を更新する。精度評価結果２２０に併せて、予め指定された要求精度２２２が表示されてもよい。このように、ユーザインターフェイス画面２００は、情報処理装置１００は、ユーザ操作によって指定された学習の状態における、モデルの精度の評価結果（精度評価結果２２０）を含んでいてもよい。
【0115】
情報処理装置１００は、ユーザによるスライダ２１２の操作に応じて、低次特徴量１８０の分布２３０を更新する。このように、ユーザインターフェイス画面２００は、ユーザ操作によって指定された学習の状態における、モデルが出力する低次特徴量１８０の分布２３０（特徴量の分布）を含んでいてもよい。
【0116】
情報処理装置１００は、低次特徴量１８０の分布２３０の各サンプル（画像特徴量）のいずれかがポインタ２３４により選択されると、選択されたサンプルに対応する画像データ２０、画像ＸＡＩ４０、およびセンサデータＸＡＩ４２を表示してもよい。画像データ２０、画像ＸＡＩ４０、およびセンサデータＸＡＩ４２が表示されることで、ユーザは、学習の状態を視覚的に確認できる。このように、ユーザインターフェイス画面２００は、モデルの出力に基づいて生成された顕著性マップ（画像ＸＡＩ４０およびセンサデータＸＡＩ４２）を含んでいてもよい。
【0117】
なお、情報処理装置１００は、ユーザによるプルダウンメニュー２３２に対する選択に応じて、低次特徴量１８０の分布２３０に用いる画像特徴量の算出アルゴリズムを適宜異ならせてもよい。
【0118】
このように、情報処理装置１００は、ユーザがＸＡＩモデル４を決定できるように、ユーザインターフェイス画面２００を提供する。なお、ユーザインターフェイス画面２００に表示される情報の一部を省略してもよい。
【0119】
図１５は、本実施の形態に従う情報処理装置１００が学習過程でデータベース１５０に順次格納するデータの一例を示す模式図である。図１５を参照して、情報処理装置１００は、エポック数に対応付けて、モデルパラメータ１６５と、画像ＸＡＩ４０と、センサデータＸＡＩ４２と、低次特徴量１８０とをデータベース１５０に順次格納する。
【0120】
情報処理装置１００は、いずれかのエポック数が指定されると、指定されたエポック数に対応するモデルパラメータ１６５をモデルに反映することで、分類モデル２およびＸＡＩモデル４を生成する。
【0121】
図１６は、本実施の形態に従う情報処理装置１００が学習過程により生成したモデルの構成例を示す図である。
【0122】
図１６を参照して、情報処理装置１００は、適切に学習されたモデルである分類モデル２と、不足学習のモデルであるＸＡＩモデル４とを生成する。ＸＡＩモデル４は、ＸＡＩ手法により画像ＸＡＩ４０およびセンサデータＸＡＩ４２を生成するためのＸＡＩ可視化部１７０に関連付けられる。
【0123】
＜Ｇ．処理手順例＞
次に、本実施の形態に従う情報処理装置１００が実行する処理手順の一例について説明する。
次に、本実施の形態に従う情報処理装置１００が実行する処理手順の一例について説明する。
【0124】
（ｇ１：モデル学習）
モデル（分類モデル２およびＸＡＩモデル４）の学習において、情報処理装置１００は、学習データ（正解ラベルが付与された１または複数の画像データ２０ならびに１または複数のセンサデータ２２）を図１に示すような分類モデル２に入力して推論結果３０を出力する。上述したような３クラス分類を行う場合には、出力クラス数は「３」になる。続いて、情報処理装置１００は、誤差逆伝播法により、推論結果３０と入力された学習データの正解ラベルとの誤差に基づいて、分類モデル２に含まれるニューラルネットワークのモデルパラメータ１６５を更新する。
モデル（分類モデル２およびＸＡＩモデル４）の学習において、情報処理装置１００は、学習データ（正解ラベルが付与された１または複数の画像データ２０ならびに１または複数のセンサデータ２２）を図１に示すような分類モデル２に入力して推論結果３０を出力する。上述したような３クラス分類を行う場合には、出力クラス数は「３」になる。続いて、情報処理装置１００は、誤差逆伝播法により、推論結果３０と入力された学習データの正解ラベルとの誤差に基づいて、分類モデル２に含まれるニューラルネットワークのモデルパラメータ１６５を更新する。
【0125】
なお、画像データ２０が入力されるニューラルネットワーク、および、センサデータ２２が入力されるニューラルネットワークのモデルパラメータ１６５をまとめて更新してもよいし、ニューラルネットワークのモデルパラメータ１６５の各々を個別に更新してもよい。
【0126】
分類モデル２の学習については、どのような学習アルゴリズムを用いてもよい。
（ｇ２：学習過程）
図１７は、本実施の形態に従う情報処理装置１００の学習過程の処理手順を示すフローチャートである。図１７に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１１０を実行することで実現されてもよい。
（ｇ２：学習過程）
図１７は、本実施の形態に従う情報処理装置１００の学習過程の処理手順を示すフローチャートである。図１７に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１１０を実行することで実現されてもよい。
【0127】
図１７を参照して、情報処理装置１００は、複数のエポックに分割された学習データ（正解ラベルが付与された画像データ２０およびセンサデータ２２）のうち１つのエポックを選択する（ステップＳ１００）。そして、情報処理装置１００は、選択中のエポックに含まれる１つの学習データを選択する（ステップＳ１０２）。
【0128】
情報処理装置１００は、選択された学習データ（画像データ２０およびセンサデータ２２）を分類モデル２およびＸＡＩモデル４を生成するためのモデルに入力する（ステップＳ１０４）。情報処理装置１００は、モデルの推論結果と入力された学習用データに付与された正解ラベルとの誤差に基づいて、モデルパラメータ１６５を更新する（ステップＳ１０６）。
【0129】
また、情報処理装置１００は、選択された学習データ（画像データ２０およびセンサデータ２２）がモデルに入力されて算出された特徴量マップ５０を取得し、推論結果３０から特徴量マップ５０までの勾配５２を算出する（ステップＳ１０８）。そして、情報処理装置１００は、特徴量マップ５０、および、推論結果３０から特徴量マップ５０までの勾配５２に基づいて、画像ＸＡＩ４０およびセンサデータＸＡＩ４２を生成する（ステップＳ１１０）。
【0130】
また、情報処理装置１００は、学習データがモデルに入力されて算出された特徴量マップ５０から低次特徴量１８０を算出する（ステップＳ１１２）。
【0131】
なお、ステップＳ１０４およびＳ１０６の処理と、ステップＳ１０８～Ｓ１１２の処理との実行順序は問わない。また、ステップＳ１０４およびＳ１０６の処理と、ステップＳ１０８～Ｓ１１２の処理とを並列的に実行してもよい。また、画像ＸＡＩ４０およびセンサデータＸＡＩ４２の生成（ステップＳ１１０）については、各エポックの最後の学習データについてのみ実行されてもよい。
【0132】
情報処理装置１００は、選択中のエポックに含まれるすべての学習データが選択されたか否かを判断する（ステップＳ１１４）。選択されていない学習データが存在すれば（ステップＳ１１４においてＮＯ）、ステップＳ１０２以下の処理が繰り返される。
【0133】
すべての学習データが選択されていれば（ステップＳ１１４においてＹＥＳ）、情報処理装置１００は、エポック数に対応付けて、モデルパラメータ１６５と、画像ＸＡＩ４０と、センサデータＸＡＩ４２と、低次特徴量１８０とをデータベース１５０に格納する（ステップＳ１１６）。
【0134】
情報処理装置１００は、用意されたすべてのエポックが選択されたか否かを判断する（ステップＳ１１８）。選択されていないエポックが存在すれば（ステップＳ１１８においてＮＯ）、ステップＳ１００以下の処理が繰り返される。
【0135】
このように、情報処理装置１００は、複数のエポック（学習データ）を用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータをデータベース１５０に順次格納する（ステップＳ１００～Ｓ１１８）。
【0136】
用意されたすべてのエポックが選択されていれば（ステップＳ１１８においてＹＥＳ）、情報処理装置１００は、格納されているモデルパラメータ１６５と、画像ＸＡＩ４０と、センサデータＸＡＩ４２と、低次特徴量１８０とに基づいて、ＸＡＩモデル４の決定に必要な情報を生成し（ステップＳ１２０）、生成した情報を含むユーザインターフェイス画面を表示出力する（ステップＳ１２２）。
【0137】
情報処理装置１００は、ユーザ操作に従って、所定の学習状態のモデルを分類モデル２として決定するとともに、指定された学習状態のモデルをＸＡＩモデル４として決定する（ステップＳ１２４）。そして、処理は終了する。
【0138】
このように、情報処理装置１００は、複数のエポック（学習データ）のうち所定数のエポックを用いて学習された状態のモデルを分類モデル２として決定する。また、情報処理装置１００は、複数のエポック（学習データ）のうち所定数より少ない数のエポックを用いて学習された状態のモデルをＸＡＩモデル４として決定する。
【0139】
なお、ステップＳ１２４において、ＸＡＩモデル４に関連付けられるＸＡＩ可視化部１７０が併せて生成されてもよい。
【0140】
（ｇ３：運用過程）
図１８は、本実施の形態に従う情報処理装置１００の運用過程の処理手順を示すフローチャートである。図１８に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル運用プログラム１１２を実行することで実現されてもよい。
図１８は、本実施の形態に従う情報処理装置１００の運用過程の処理手順を示すフローチャートである。図１８に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル運用プログラム１１２を実行することで実現されてもよい。
【0141】
図１８を参照して、情報処理装置１００は、新たな画像データ２０およびセンサデータ２２が入力されると（ステップＳ２００においてＹＥＳ）、画像データ２０およびセンサデータ２２を分類モデル２に入力し（ステップＳ２０２）、推論結果３０を出力する（ステップＳ２０４）。
【0142】
すなわち、情報処理装置１００は、１または複数の画像データ２０（第１のデータ）と、１または複数の画像データとはデータ形式が異なる、１または複数のセンサデータ２２（第２のデータ）とを分類モデル２（第１の学習済モデル）に入力して推論結果３０を算出する。
【0143】
また、情報処理装置１００は、画像データ２０およびセンサデータ２２をＸＡＩモデル４に入力し（ステップＳ２０６）、特徴量マップ５０、および、推論結果３０から特徴量マップ５０までの勾配５２を算出する（ステップＳ２０８）。そして、情報処理装置１００は、特徴量マップ５０、および、推論結果３０から特徴量マップ５０までの勾配５２に基づいて、画像ＸＡＩ４０およびセンサデータＸＡＩ４２を生成する（ステップＳ２１０）。
【0144】
すなわち、情報処理装置１００は、１または複数の画像データ２０（第１のデータ）と、１または複数のセンサデータ２２（第２のデータ）のうち少なくとも１つのデータについて、分類モデル２が推論結果３０を算出するために着目した部分を示す顕著性マップ（画像ＸＡＩ４０およびセンサデータＸＡＩ４２）を生成する。
【0145】
なお、ステップＳ２０２およびＳ２０４の処理と、ステップＳ２０６～Ｓ２１０の処理との実行順序は問わない。また、ステップＳ２０２およびＳ２０４の処理と、ステップＳ２０６～Ｓ２１０の処理とを並列的に実行してもよい。
【0146】
ステップＳ２００～Ｓ２１０の処理は、画像データ２０およびセンサデータ２２が入力されるたびに繰り返される。
【0147】
運用過程において、情報処理装置１００は、画像データ２０に対する推論結果３０に加えて、画像データ２０と画像ＸＡＩ４０およびセンサデータＸＡＩ４２とを並べて表示出力してもよい。
【0148】
＜Ｈ．推論結果３０の利用例＞
次に、分類モデル２が出力する推論結果の利用例について説明する。
次に、分類モデル２が出力する推論結果の利用例について説明する。
【0149】
【0150】
運転画面２５０は、対象の製造ライン４００を示すオブジェクト２６０に加えて、推論結果３０を示すオブジェクト２６２を表示する。分類モデル２に入力されるセンサデータ２２と対応する製造ライン４００の部分が予め対応付けられている。
【0151】
例えば、推論結果３０が「異常」を示す場合には、製造ライン４００の対応する部分の近傍に、画像ＸＡＩ４０またはセンサデータＸＡＩ４２－１，４２－２を表示してもよい。
【0152】
図１９に示す例では、製造ライン４００の出口側の近傍に、ワークを撮像して得られた画像データ２０から生成された画像ＸＡＩ４０が表示されている。また、画像データ２０自体も表示されている。
【0153】
また、トップシール上刃の温度センサの近傍に、温度を示すセンサデータ２２－１から生成されたセンサデータＸＡＩ４２－１が表示されている。また、トップシール軸の近傍に、モータトルクを示すセンサデータ２２－２から生成されたセンサデータＸＡＩ４２－２が表示されている。
【0154】
このように、情報処理装置１００（表示出力部１１４）または制御装置３００は、分類モデル２の推論結果３０が予め定められた値（例えば、「異常」）である場合に、１または複数の画像データ２０および１または複数のセンサデータ２２のうち少なくとも一部を可視化した画像とともに、顕著性マップ（画像ＸＡＩ４０またはセンサデータＸＡＩ４２）を表示出力してもよい。
【0155】
図１９に示すような運転画面２５０を提供することで、何らかの異常が発生していると判断された場合に、当該異常の発生した原因などについて、より容易に解釈できる。
【0156】
＜Ｉ．変形例＞
図１には、複数のニューラルネットワークの出力層を全結合層（ＦＣ）で結合する分類モデルを例示するが、このようなモデル構造に限らず、任意のモデル構造を採用できる。例えば、１または複数の画像データ２０、ならびに、１または複数のセンサデータ２２をそれぞれ個別のニューラルネットワークに入力するとともに、複数のニューラルネットワークをアンサンブル学習で融合してもよい。
図１には、複数のニューラルネットワークの出力層を全結合層（ＦＣ）で結合する分類モデルを例示するが、このようなモデル構造に限らず、任意のモデル構造を採用できる。例えば、１または複数の画像データ２０、ならびに、１または複数のセンサデータ２２をそれぞれ個別のニューラルネットワークに入力するとともに、複数のニューラルネットワークをアンサンブル学習で融合してもよい。
【0157】
＜Ｊ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
上述したような本実施の形態は、以下のような技術思想を含む。
【0158】
［構成１］
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを第１の学習済モデル（２）に入力して推論結果（３０）を算出する算出部（１６０）と、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップ（４０，４２）を生成する生成部（１７０）とを備える、情報処理装置。
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを第１の学習済モデル（２）に入力して推論結果（３０）を算出する算出部（１６０）と、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップ（４０，４２）を生成する生成部（１７０）とを備える、情報処理装置。
【0159】
［構成２］
前記１または複数の第１のデータの各々は、画像データを含み、
前記１または複数の第２のデータの各々は、スカラ値の時系列データを含む、構成１に記載の情報処理装置。
前記１または複数の第１のデータの各々は、画像データを含み、
前記１または複数の第２のデータの各々は、スカラ値の時系列データを含む、構成１に記載の情報処理装置。
【0160】
［構成３］
前記生成部は、前記第１の学習済モデルに比較して、学習が不足している第２の学習済モデルを用いて、前記顕著性マップを生成する、構成１または２に記載の情報処理装置。
前記生成部は、前記第１の学習済モデルに比較して、学習が不足している第２の学習済モデルを用いて、前記顕著性マップを生成する、構成１または２に記載の情報処理装置。
【0161】
［構成４］
前記顕著性マップを表示出力する表示出力部（１１４）をさらに備える、構成１～３のいずれか１項に記載の情報処理装置。
前記顕著性マップを表示出力する表示出力部（１１４）をさらに備える、構成１～３のいずれか１項に記載の情報処理装置。
【0162】
［構成５］
前記表示出力部は、前記推論結果が予め定められた値である場合に、前記１または複数の第１のデータおよび前記１または複数の第１のデータのうち少なくとも一部を可視化した画像（２０，２２）とともに、前記顕著性マップを表示出力する、構成４に記載の情報処理装置。
前記表示出力部は、前記推論結果が予め定められた値である場合に、前記１または複数の第１のデータおよび前記１または複数の第１のデータのうち少なくとも一部を可視化した画像（２０，２２）とともに、前記顕著性マップを表示出力する、構成４に記載の情報処理装置。
【0163】
［構成６］
前記第１の学習済モデルは、前記１または複数の第１のデータおよび前記１または複数の第２のデータの各々に対応付けられた複数のニューラルネットワーク（１０，１２）を含む、構成１～５のいずれか１項に記載の情報処理装置。
前記第１の学習済モデルは、前記１または複数の第１のデータおよび前記１または複数の第２のデータの各々に対応付けられた複数のニューラルネットワーク（１０，１２）を含む、構成１～５のいずれか１項に記載の情報処理装置。
【0164】
［構成７］
情報処理プログラム（１１０）であって、コンピュータ（１００）に、
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを第１の学習済モデル（２）に入力して推論結果（３０）を算出するステップ（Ｓ２００～Ｓ２０４）と、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップ（４０，４２）を生成するステップ（Ｓ２０６～Ｓ２１０）とを実行させる、情報処理プログラム。
情報処理プログラム（１１０）であって、コンピュータ（１００）に、
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを第１の学習済モデル（２）に入力して推論結果（３０）を算出するステップ（Ｓ２００～Ｓ２０４）と、
前記１または複数の第１のデータおよび前記１または複数の第２のデータのうち少なくとも１つのデータについて、前記第１の学習済モデルが前記推論結果を算出するために着目した部分を示す顕著性マップ（４０，４２）を生成するステップ（Ｓ２０６～Ｓ２１０）とを実行させる、情報処理プログラム。
【0165】
［構成８］
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを含む学習データ（２）を複数用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納する学習部（１６６）と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデル（２）として決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデル（４）として決定する決定部（１６８）とを備え、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部（１７０）に関連付けられる、情報処理装置。
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを含む学習データ（２）を複数用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納する学習部（１６６）と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデル（２）として決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデル（４）として決定する決定部（１６８）とを備え、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部（１７０）に関連付けられる、情報処理装置。
【0166】
［構成９］
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線（２１０）を含むユーザインターフェイス画面（２００）を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、構成８に記載の情報処理装置。
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線（２１０）を含むユーザインターフェイス画面（２００）を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、構成８に記載の情報処理装置。
【0167】
［構成１０］
前記ユーザインターフェイス画面は、
ユーザ操作によって指定された学習の状態における、前記モデルの精度の評価結果（２２０）と、
ユーザ操作によって指定された学習の状態における、前記モデルが出力する特徴量の分布（２３０）と、
ユーザ操作によって指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップ（４０，４２）とのうち少なくとも１つを含む、構成９に記載の情報処理装置。
前記ユーザインターフェイス画面は、
ユーザ操作によって指定された学習の状態における、前記モデルの精度の評価結果（２２０）と、
ユーザ操作によって指定された学習の状態における、前記モデルが出力する特徴量の分布（２３０）と、
ユーザ操作によって指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップ（４０，４２）とのうち少なくとも１つを含む、構成９に記載の情報処理装置。
【0168】
［構成１１］
情報処理プログラムであって、コンピュータに、
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを含む学習データ（２）を複数用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップ（ステップＳ１００～Ｓ１１８）と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデル（２）として決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデル（４）として決定するステップ（Ｓ１２４）とを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップ（４０，４２）を生成するための生成部（１７０）に関連付けられる、情報処理プログラム。
情報処理プログラムであって、コンピュータに、
１または複数の第１のデータ（２０）と、前記１または複数の第１のデータとはデータ形式が異なる１または複数の第２のデータ（２２）とを含む学習データ（２）を複数用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップ（ステップＳ１００～Ｓ１１８）と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデル（２）として決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデル（４）として決定するステップ（Ｓ１２４）とを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップ（４０，４２）を生成するための生成部（１７０）に関連付けられる、情報処理プログラム。
【0169】
［構成１２］
構成７または１１に記載の情報処理プログラムを格納した非一過性のコンピュータ読取可能媒体（１０６）。
構成７または１１に記載の情報処理プログラムを格納した非一過性のコンピュータ読取可能媒体（１０６）。
【0170】
＜Ｋ．利点＞
本実施の形態によれば、複数種類のデータ（例えば、画像データおよびセンサデータ）を同一の学習済モデルに入力して推論結果を算出するので、多面的に推論を行うことができる。例えば、同一の製造ラインから１または複数の画像データを収集するとともに、１または複数のセンサデータを収集して、収集したすべてのデータを分類モデルに入力することで、画像データ単体またはセンサデータ単体では検知できなかった異常なども検知できる。
本実施の形態によれば、複数種類のデータ（例えば、画像データおよびセンサデータ）を同一の学習済モデルに入力して推論結果を算出するので、多面的に推論を行うことができる。例えば、同一の製造ラインから１または複数の画像データを収集するとともに、１または複数のセンサデータを収集して、収集したすべてのデータを分類モデルに入力することで、画像データ単体またはセンサデータ単体では検知できなかった異常なども検知できる。
【0171】
また、分類タスクを実行する分類モデルをＸＡＩ手法により可視化すると、推論結果にかかわらず可視化された顕著性マップの同じ箇所に反応が出てしまい、解釈性が低いという課題が生じ得る。これに対して、本実施の形態によれば、学習が適切な状態のモデルを分類モデルとして用いるとともに、学習が不足している状態のモデルをＸＡＩモデルとして用いることで、分類モデルが着目している部分を可視化できる。
【0172】
このように、本実施の形態によれば、学習済モデルの解釈性を高めることができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0173】
２ 分類モデル、４ ＸＡＩモデル、１０，１２ ニューラルネットワーク、１４ 全結合層、２０ 画像データ、２２ センサデータ、２３ フレーム、３０ 推論結果、４０ 画像ＸＡＩ、４２ センサデータＸＡＩ、５０，６０ 特徴量マップ、５２，６２ 勾配、５４，６４，７０ プーリング結果、１００ 情報処理装置、１０２ プロセッサ、１０４ メモリ、１０６ ストレージ、１０８ ＯＳ、１１０ モデル生成プログラム、１１２ モデル運用プログラム、１１４ 表示出力部、１１６ 入力部、１１８ 通信回路、１５０，３２０ データベース、１６０ 運用部、１６５ モデルパラメータ、１６６ 学習部、１６８ モデル決定部、１７０ ＸＡＩ可視化部、１７２，１７４ 活性化関数、１８０ 低次特徴量、１８２，２３０ 分布、２００ ユーザインターフェイス画面、２１０ 学習曲線、２１２ スライダ、２１３ 位置表示、２１４ 分類モデル位置、２１６ 推奨位置、２１８ 選択ボタン、２２０ 精度評価結果、２２２ 要求精度、２３２ プルダウンメニュー、２３４ ポインタ、２５０ 運転画面、２６０，２６２ オブジェクト、３００ 制御装置、３１０ 制御プログラム、３２２ データ収集部、３５０ 制御指令、４００ 製造ライン、４１０ カメラ、４２０ センサ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
