(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126705
(43)【公開日】2024-09-20
(54)【発明の名称】情報処理装置および情報処理プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240912BHJP
G06F 3/0481 20220101ALI20240912BHJP
【ＦＩ】
G06N20/00 130
G06F3/0481
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023035278
(22)【出願日】2023-03-08
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】木村 克行
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA28
5E555BA01
5E555BA86
5E555BB01
5E555BC17
5E555CA02
5E555CA12
5E555CA18
5E555CB02
5E555CB12
5E555CB33
5E555CC05
5E555DB53
5E555DB56
5E555DB58
5E555DC13
5E555EA19
5E555EA27
5E555FA00
(57)【要約】
【課題】学習済モデルの解釈性を高める方法を提供する。
【解決手段】情報処理装置は、複数の学習データを用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納する学習部と、複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、複数の学習データのうち第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、第２のモデルの出力に基づいて顕著性マップを生成する生成部とを含む。
【選択図】図１２
【解決手段】情報処理装置は、複数の学習データを用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納する学習部と、複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、複数の学習データのうち第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、第２のモデルの出力に基づいて顕著性マップを生成する生成部とを含む。
【選択図】図１２
【特許請求の範囲】
【請求項1】
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納する学習部と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、
前記第２のモデルの出力に基づいて顕著性マップを生成する生成部とを備える、情報処理装置。
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、
前記第２のモデルの出力に基づいて顕著性マップを生成する生成部とを備える、情報処理装置。
【請求項2】
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、請求項１に記載の情報処理装置。
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、請求項１に記載の情報処理装置。
【請求項3】
前記決定部は、指定された学習の状態における、前記モデルの精度の評価結果を含むユーザインターフェイス画面を生成する、請求項１に記載の情報処理装置。
【請求項4】
前記決定部は、指定された学習の状態における、前記モデルが出力する特徴量の分布を含むユーザインターフェイス画面を生成する、請求項１に記載の情報処理装置。
【請求項5】
前記決定部は、指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップを含むユーザインターフェイス画面を生成する、請求項１に記載の情報処理装置。
【請求項6】
情報処理プログラムであって、コンピュータに、
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップと、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するステップと、
ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定するステップとを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる、情報処理プログラム。
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップと、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するステップと、
ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定するステップとを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる、情報処理プログラム。
【請求項7】
入力データを第１のモデルに入力して推論結果を算出する算出部と、
前記入力データを第２のモデルに入力して取得される出力に基づいて顕著性マップを生成する生成部とを備え、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理装置。
前記入力データを第２のモデルに入力して取得される出力に基づいて顕著性マップを生成する生成部とを備え、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理装置。
【請求項8】
前記情報処理装置は、前記入力データと前記顕著性マップとを並べて表示出力する、請求項７に記載の情報処理装置。
【請求項9】
前記第１のモデルおよび前記第２のモデルには、前記入力データとして入力画像が入力されるとともに、前記入力画像に対する分類結果を前記推論結果として出力する、請求項７または８に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置および情報処理プログラムに関する。
【背景技術】
【0002】
生産現場においても、学習済モデルを用いた異常検知などの機能が実用化されている。このような学習済モデルがどのように判断を行ったのかを可視化する技術が知られている。このような技術は、説明可能なＡＩ（ＸＡＩ：Explainable AI）と称されることもある。
【0003】
例えば、画像認識モデルにおいて、入力と対応する推論とについて、入力のいずれの部分を推論の根拠にしているかを顕著性マップで可視化する技術が公知である（例えば、非特許文献１など）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】"Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, 2017 IEEE International Conference on Computer Vision (ICCV), 22-29 October 2017, <URL:https://arxiv.org/abs/1610.02391>
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、ワークを撮像した画像に基づいて分類を行うタスクの場合には、推論結果にかかわらず可視化された顕著性マップの同じ箇所に反応が出てしまい、解釈性が低いという課題が生じ得る。
【0006】
本発明は、学習済モデルの解釈性を高める方法を提供することを一つの目的とする。
【課題を解決するための手段】
【0007】
本発明の一例に従う情報処理装置は、複数の学習データを用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納する学習部と、複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するとともに、ユーザ操作に従って、複数の学習データのうち第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定する決定部と、第２のモデルの出力に基づいて顕著性マップを生成する生成部とを含む。
【0008】
この構成によれば、第１のモデルを用いて本来の推論を行うことができるとともに、第２のモデルを用いて、第１のモデルが推論を行うときに着目した部分を視覚的に把握できる。
【0009】
決定部は、学習に用いられた学習データの数に対する、モデルの誤差および精度の少なくとも一方の変化を示す学習曲線を含むユーザインターフェイス画面を生成し、ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを第２のモデルとして出力してもよい。この構成によれば、学習曲線を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【0010】
決定部は、指定された学習の状態における、モデルの精度の評価結果を含むユーザインターフェイス画面を生成してもよい。この構成によれば、モデルの精度の評価結果を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【0011】
決定部は、指定された学習の状態における、モデルが出力する特徴量の分布を含むユーザインターフェイス画面を生成してもよい。この構成によれば、特徴量の分布を含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【0012】
決定部は、指定された学習の状態における、モデルの出力に基づいて生成された顕著性マップを含むユーザインターフェイス画面を生成してもよい。この構成によれば、顕著性マップを含むユーザインターフェイス画面を提供することで、ユーザが第２のモデルとして適切な学習状態を選択するのを支援できる。
【0013】
本発明の別の一例に従う情報処理プログラムは、コンピュータに、複数の学習データを用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータを順次格納するステップと、複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するステップと、ユーザ操作に従って、複数の学習データのうち第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定するステップとを実行させる。第２のモデルは、第２のモデルの出力に基づいて顕著性マップを生成するための生成部に関連付けられる。
【0014】
本発明のさらに別の一例に従う情報処理装置は、入力データを第１のモデルに入力して推論結果を算出する算出部と、入力データを第２のモデルに入力して取得される出力に基づいて顕著性マップを生成する生成部とを含む。第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、第２のモデルは、第１の数より少ない第２の数の学習データを用いて学習されたモデルである。
【0015】
この構成によれば、第１のモデルを用いて本来の推論を行うことができるとともに、第２のモデルを用いて、第１のモデルが推論を行うときに着目した部分を視覚的に把握できる。
【0016】
情報処理装置は、入力データと顕著性マップとを並べて表示出力してもよい。この構成によれば、入力データと、推論結果が出力された理由を示唆する顕著性マップとに基づいて、推論結果が正しく無いような場合に、原因の究明を支援できる。
【0017】
第１のモデルおよび第２のモデルには、入力データとして入力画像が入力されるとともに、入力画像に対する分類結果を推論結果として出力してもよい。この構成によれば、第１のモデルを用いて入力画像に対する分類タスクを実現できる。
【発明の効果】
【0018】
本発明によれば、学習済モデルの解釈性を高めることができる。
【図面の簡単な説明】
【0019】
【図1】関連技術に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。
【図2】本実施の形態に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。
【図3】本実施の形態に従う情報処理装置のハードウェア構成例を示す模式図である。
【図4】本実施の形態に従う情報処理装置のソフトウェア構成例を示す模式図である。
【図5】本実施の形態に従う分類モデルおよびＸＡＩモデルに用いるモデルの学習曲線の一例を示す図である。
【図6】本実施の形態に従うＸＡＩ手法の一例を説明するための図である。
【図7】本実施の形態に従うモデル学習途中に算出される精度の一例を示す図である。
【図8】本実施の形態に従うモデル学習途中に算出されるＸＡＩ画像および画像特徴量の分布の一例を示す図である。
【図9】本実施の形態に従う情報処理装置が提供するユーザインターフェイス画面の一例を示す図である。
【図10】本実施の形態に従う情報処理装置が学習過程でデータベースに順次格納するデータの一例を示す模式図である。
【図11】本実施の形態に従う情報処理装置が学習過程により生成したモデルの構成例を示す図である。
【図12】本実施の形態に従う情報処理装置の学習過程の処理手順を示すフローチャートである。
【図13】本実施の形態に従う情報処理装置の運用過程の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0020】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0021】
本明細書において、「または」との用語は、「または」の意味加えて、「および」の意味を包含する。
【0022】
＜Ａ．適用例＞
本発明が適用される場面の一例について説明する。以下では、ワークを撮像した画像に基づいて分類（例えば、異常の有無）を行うタスクについて説明するが、本発明は、さまざまなタスクに適用可能である。
本発明が適用される場面の一例について説明する。以下では、ワークを撮像した画像に基づいて分類（例えば、異常の有無）を行うタスクについて説明するが、本発明は、さまざまなタスクに適用可能である。
【0023】
以下の説明においては、任意の学習済モデルからＸＡＩ手法により生成される顕著性マップを説明する。ＸＡＩ手法により生成される顕著性マップは、学習済モデルが推論結果を出力するために着目した部分を可視化したものであり、ヒートマップとも称される。以下では、顕著性マップの画像を「ＸＡＩ画像」とも称す。すなわち、ＸＡＩ手法により生成される画像がＸＡＩ画像である。
【0024】
図１は、関連技術に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。図１には、ピロー包装機で包装されたワークを撮像した入力画像２０に基づいて、トップシール２２の状態を評価するタスクの結果例を示す。
【0025】
図１に示すタスクは、入力画像２０に対して、「ＯＫ」（正常）と、「ＮＧ Ｌｖ．１」（異常１）と、「ＮＧ Ｌｖ．２」（異常２）との３クラス分類を行うものである。３クラス分類を行う学習済モデル（以下、「分類モデル」とも称す。）は、クラス毎に可能性を示す値（確率）を出力する。なお、異常１および異常２は、異常モードの違いを意味する。
【0026】
本実施の形態に従うモデルには、入力データとして入力画像２０が入力される。モデルは、入力画像２０に対する分類結果を推論結果３０として出力する。
【0027】
図１には、クラス毎の入力画像２０と、関連技術に従うＸＡＩ手法により生成される顕著性マップ１２とを並べて示す。図１に示すように、関連技術に従うＸＡＩ手法により生成される顕著性マップ１２では、いずれのクラスについてもトップシール２２の全体に反応が出ており、トップシール２２のいずれの部分から特徴量が算出されたかのを知ることが難しい。すなわち、関連技術に従うＸＡＩ手法により生成される顕著性マップ１２では、分類モデルについての解釈性が低い。
【0028】
図２は、本実施の形態に従うＸＡＩ手法により生成される顕著性マップの一例を示す図である。図２には、図１と同様に、ピロー包装機で包装されたワークを撮像した入力画像２０に基づいて、トップシール２２の状態を評価するタスクの結果例を示す。
【0029】
図２には、クラス毎の入力画像２０と、学習が不足しているＸＡＩモデルが出力するＸＡＩ画像２４と、十分に学習されているＸＡＩモデルが出力するＸＡＩ画像２６とを並べて示す。ＸＡＩモデルは、顕著性マップを出力するための学習済モデルである。学習が不足しているＸＡＩモデルは、学習において入力されたサンプル数が相対的に少なく、十分に学習されているＸＡＩモデルは、学習において入力されたサンプル数が相対的に多い。
【0030】
図２を参照して、十分に学習されているＸＡＩモデルが出力するＸＡＩ画像２６は、図１に示す関連技術に従うＸＡＩモデルが出力する顕著性マップ１２と同様に、いずれのクラスについてもトップシール２２の全体に反応が出ており、分類モデルについての解釈性が低い。
【0031】
これに対して、学習が不足しているＸＡＩモデルが出力するＸＡＩ画像２４は、クラス毎に特徴的な部分に着目されていることを示している。すなわち、学習が不足しているＸＡＩモデルが出力するＸＡＩ画像２４は、分類モデルについての解釈性が高い。
【0032】
本実施の形態において、このような学習が不足しているＸＡＩモデルが出力するＸＡＩ画像を用いることで、分類モデルについての解釈性を高められるという新たな知見に基づくものである。
【0033】
本実施の形態において、分類モデル１６２（第１のモデル）は、所定数（第１の数）の学習データを用いて学習されたモデルである。これに対して、ＸＡＩモデル１６４（第２のモデル）は、当該所定数より少ない数（第２の数）の学習データを用いて学習されたモデルである。
【0034】
＜Ｂ．ハードウェア構成例＞
次に、情報処理装置１００のハードウェア構成例を説明する。
次に、情報処理装置１００のハードウェア構成例を説明する。
【0035】
図３は、本実施の形態に従う情報処理装置１００のハードウェア構成例を示す模式図である。図３を参照して、情報処理装置１００は、コンピュータの一例であり、１または複数のプロセッサ１０２と、メモリ１０４と、ストレージ１０６と、表示出力部１１４と、入力部１１６と、インターフェイス回路１１８とを含む。
【0036】
１または複数のプロセッサ１０２は、ストレージ１０６に格納されているプログラムに含まれるコンピュータ読取可能命令を実行することで、後述するような処理および機能を提供する。１または複数のプロセッサ１０２がプログラムに含まれるコンピュータ読取可能命令を実行する場合には、プログラムの一部または全部がメモリ１０４に展開されてもよい。
【0037】
ストレージ１０６は、非一過性のコンピュータ読取可能媒体である。ストレージ１０６には、例えば、ＯＳ（Operating System）１０８と、モデル生成プログラム１１０と、モデル運用プログラム１１２とが格納される。ＯＳ１０８は、コンピュータとして必要な機能を提供するためのコンピュータ読取可能命令と、モデル生成プログラム１１０を実行する環境を生成するためのコンピュータ読取可能命令とを含む。
【0038】
モデル生成プログラム１１０は、本発明に係る情報処理プログラムに対応し、後述するような学習済モデルを生成するためのコンピュータ読取可能命令を含む。
【0039】
モデル運用プログラム１１２は、本発明に係る情報処理プログラムに対応し、後述するような学習済モデルを運用するためのコンピュータ読取可能命令を含む。
【0040】
表示出力部１１４は、プロセッサ１０２による処理結果などを表示出力する。ここで、「表示出力」は、情報処理装置１００が有しているディスプレイまたは情報処理装置１００の外部に存在するディスプレイに対して、表示画面を表示するためのデータまたは信号を出力することを意味する。
【0041】
入力部１１６は、ユーザ操作を受け付ける。入力部１１６は、例えば、キーボードまたはマウスなどを含んでいてもよいし、キーボードまたはマウスと接続するためのインターフェイスを含んでいてもよい。また、入力部１１６は、ディスプレイと一体型のタッチパネルのようなタッチ操作が可能なデバイスを含んでいてもよい。
【0042】
インターフェイス回路１１８は、製造ラインなどに配置されたカメラ５０から画像データを取得する。
【0043】
本明細書において、「プロセッサ」との用語は、ＣＰＵ（Central Processing Unit）などのコンピュータ読取可能命令を実行することで処理を行う演算回路に加えて、ハードワイヤード回路も包含する。ハードワイヤード回路の一例としては、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などが挙げられる。
【0044】
＜Ｃ．ソフトウェア構成例＞
次に、本実施の形態に従う情報処理装置１００のソフトウェア構成例について説明する。
次に、本実施の形態に従う情報処理装置１００のソフトウェア構成例について説明する。
【0045】
図４は、本実施の形態に従う情報処理装置１００のソフトウェア構成例を示す模式図である。図４を参照して、情報処理装置１００は、データベース１５０と、運用部１６０と、学習部１６６と、モデル決定部１６８と、ＸＡＩ可視化部１７０とを含む。
【0046】
データベース１５０は、記憶部に相当し、ストレージ１０６（図３）を用いて実現されてもよいし、情報処理装置１００に外付けされた記憶装置、または、ネットワークを介して接続された記憶装置を用いて実現されてもよい。学習部１６６と、モデル決定部１６８と、ＸＡＩ可視化部１７０とは、情報処理装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１１０を実行することで実現されてもよい。運用部１６０は、情報処理装置１００の１または複数のプロセッサ１０２がモデル運用プログラム１１２を実行することで実現されてもよい。
【0047】
データベース１５０は、製造ライン１０などに配置されたカメラ５０から取得される入力画像２０と、学習過程においてＸＡＩ手法により生成されるＸＡＩ画像２４と、モデルパラメータ１６５と、画像特徴量１８０とを格納する。
【0048】
運用部１６０は、算出部に相当し、入力画像２０に対して分類を行う分類モデル１６２と、入力画像２０についてのＸＡＩ画像２４を出力するＸＡＩモデル１６４とを運用する。より具体的には、運用部１６０は、入力画像２０（入力データ）を分類モデル１６２に入力して推論結果３０を算出する。また、運用部１６０は、入力画像２０（入力データ）をＸＡＩモデル１６４にも入力する。ＸＡＩモデル１６４から出力される推論結果は、後述するように、ＸＡＩ可視化部１７０での処理に用いられる。
【0049】
このように、運用過程において、入力画像２０が分類モデル１６２に入力され、推論結果３０が出力される。推論結果３０は、例えば、分類結果を示す。推論結果３０は、製造ライン１０などに配置された制御装置などに出力される。
【0050】
学習部１６６は、分類モデル１６２およびＸＡＩモデル１６４に用いるモデルを学習する。学習部１６６は、複数の学習データ（例えば、正解ラベルが付与された入力画像２０からなるデータセット）を用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータ（例えば、モデルパラメータ１６５）をデータベース１５０（記憶部）に順次格納する。学習部１６６は、モデルパラメータ１６５に加えて、入力画像２０と、ＸＡＩ画像２４と、画像特徴量１８０とをデータベース１５０に順次格納してもよい。
【0051】
モデル決定部１６８は、決定部に相当し、後述の図９に示すようなユーザインターフェイス画面を生成するとともに、ユーザ操作を受け付ける。モデル決定部１６８は、複数の学習データのうち所定数の学習データを用いて学習された状態のモデルを分類モデル１６２として決定するとともに、ユーザ操作に従って、複数の学習データのうち当該所定数より少ない数の学習データを用いて学習された状態のモデルをＸＡＩモデル１６４として決定する。
【0052】
ＸＡＩ可視化部１７０は、生成部に相当し、ＸＡＩモデル１６４の出力に基づいてＸＡＩ画像２４（顕著性マップ）を生成する。より具体的には、ＸＡＩ可視化部１７０は、ＸＡＩモデル１６４の推論結果および特徴量マップなどに基づいて、ＸＡＩ画像２４を生成する。
【0053】
ＸＡＩ可視化部１７０は、運用過程においても、入力画像２０をＸＡＩモデル１６４に入力して取得される推論結果（出力）に基づいてＸＡＩ画像２４（顕著性マップ）を生成する。
【0054】
なお、図４には、単一の情報処理装置１００において実現されるソフトウェア構成例を示すが、複数の装置により実現されてもよいし、一部の機能をクラウドなどのコンピューティングリソースを用いて実現してもよい。また、学習済モデル（分類モデル１６２およびＸＡＩモデル１６４）を学習する装置と、学習済モデル（分類モデル１６２およびＸＡＩモデル１６４）を運用する装置とが別体であってもよい。
【0055】
例えば、学習済モデルを運用する情報処理装置１００は、ＰＬＣ（Programmable Logic Controller）などの制御装置であってもよい。
【0056】
＜Ｄ．分類モデルおよびＸＡＩモデル＞
次に、分類モデル１６２およびＸＡＩモデル１６４の学習および生成について説明する。
次に、分類モデル１６２およびＸＡＩモデル１６４の学習および生成について説明する。
【0057】
本実施の形態において、分類モデル１６２およびＸＡＩモデル１６４のモデル構造は、実質的に同じである。ただし、分類モデル１６２とＸＡＩモデル１６４との間では、学習状態が異なっている。
【0058】
分類モデル１６２およびＸＡＩモデル１６４は、どのような種類のモデルを用いてもよい。例えば、入力画像２０に対する分類タスクを想定すると、モデル（分類モデル１６２およびＸＡＩモデル１６４）としては、例えば、ＶＧＧ、ＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔ、または、ＥｆｆｉｃｉｅｎｔＮｅｔなどを用いることができる。なお、分類タスクに限らず、どのようなタスクであってもよい。また、タスクに応じたモデルを選択すればよい。
【0059】
図５は、本実施の形態に従う分類モデル１６２およびＸＡＩモデル１６４に用いるモデルの学習曲線の一例を示す図である。図５には、サンプル数（エポック単位）に対するモデルの誤差の変化を示す。図５には、モデルを学習するために用いた学習データに対する誤差と、学習データとは別の検証データに対する誤差とを示す。なお、取得された入力画像２０の集合を、交差検証法（例えば、Ｋ－交差検証など）で分割することで、学習データおよび検証データを用意することができる。
【0060】
図５に示すように、学習のサンプル数が増加することによって、モデルの学習データに対する誤差が低下していることが分かる。一方で、学習のサンプル数が増加することによって、モデルの検証データに対する誤差が途中から増加していることが分かる。すなわち、学習のサンプル数が増加しすぎることで、モデルが過学習になり得ることが示されている。
【0061】
そのため、不足学習および過学習のいずれでもない適正な学習状態のモデルが分類モデル１６２として用いられる。適正な学習状態のモデルを用いることで、汎用性が高く、高い精度が期待できる。
【0062】
これに対して、ＸＡＩモデル１６４は、不足学習のモデルが用いられる。上述したように、不足学習の状態のモデルを用いることで、分類モデルについての解釈性を高められる。
【0063】
本実施の形態に従う情報処理装置１００は、モデルの学習過程において、ＸＡＩモデル１６４として適切な学習状態を把握できるように、後述するようなユーザインターフェイス画面を提供する。また、情報処理装置１００は、学習過程において、モデル（モデルパラメータ１６５）をデータベース１５０に順次格納する。
【0064】
なお、図５に示す学習曲線の縦軸は、誤差に代えて、あるいは、誤差に加えて、精度を用いてもよい。誤差が低いほど良いモデルであり、精度が高いほど良いモデルである。
【0065】
＜Ｅ．ＸＡＩ手法＞
次に、ＸＡＩ画像２４を生成するためのＸＡＩ手法について説明する。例えば、顕著性マップを用いて可視化するＸＡＩ手法としては、Ｇｒａｄ－ＣＡＭ、ＸＧｒａｄ－ＣＡＭ、または、ＳｃｏｒｅＣＡＭ、Ｅｉｇｅｎ－ＣＡＭなどの任意のアルゴリズムを用いることができる。
次に、ＸＡＩ画像２４を生成するためのＸＡＩ手法について説明する。例えば、顕著性マップを用いて可視化するＸＡＩ手法としては、Ｇｒａｄ－ＣＡＭ、ＸＧｒａｄ－ＣＡＭ、または、ＳｃｏｒｅＣＡＭ、Ｅｉｇｅｎ－ＣＡＭなどの任意のアルゴリズムを用いることができる。
【0066】
【0067】
図６を参照して、モデル（分類モデル１６２およびＸＡＩモデル１６４）は、例えば、ＣＮＮ（Convolutional Neural Network）１６２０と、全結合層（ＦＣ：Fully-Connected layer）１６２２とを含む。
【0068】
図６に示すモデル（分類モデル１６２およびＸＡＩモデル１６４）の学習において、情報処理装置１００は、学習データ（正解ラベルが付与された入力画像２０）をＣＮＮ１６２０に入力して特徴量マップ１９０を算出し、特徴量マップ１９０を全結合層１６２２に入力して推論結果３０を出力する。上述したような３クラス分類を行う場合には、出力クラス数は「３」になる。続いて、情報処理装置１００は、誤差逆伝播法により、推論結果３０と正解ラベルとの誤差に基づいて、ＣＮＮ１６２０のモデルパラメータ１６５を更新する。
【0069】
ＸＡＩ画像２４は、ＣＮＮ１６２０から出力される特徴量マップ１９０から生成される。より具体的には、情報処理装置１００は、入力画像２０をＣＮＮ１６２０に入力して特徴量マップ１９０を算出し、特徴量マップ１９０を全結合層１６２２に入力して推論結果３０を出力する（ステップＳ１）。
【0070】
続いて、情報処理装置１００は、推論結果３０からＣＮＮ１６２０の最終層が出力する特徴量マップ１９０までの勾配１９２を算出する（ステップＳ２）。
【0071】
情報処理装置１００は、特徴量マップ１９０までの勾配１９２に対して、ＧＡＰ（Global Average Pooling）処理を実行する（ステップＳ３）。ＧＡＰ処理により、特徴量マップ１９０までの勾配１９２の次元数を減少させたプーリング結果１９４が生成される。
【0072】
続いて、情報処理装置１００は、特徴量マップ１９０とプーリング結果１９４との重み付け和を算出し、重み付け和を活性化関数１６４０（例えば、ＲｅＬＵ（Rectified Linear Unit）など）に入力することで、ＸＡＩ画像２４を生成する（ステップＳ４）。
【0073】
情報処理装置１００は、ＸＡＩ画像２４の生成に加えて、あるいは、ＸＡＩ画像２４の生成に代えて、特徴量マップ１９０を次元圧縮した特徴量を算出してもよい。具体的には、情報処理装置１００は、分類モデル１６２の学習に併せて、順次出力される特徴量マップ１９０に対して、ＧＡＰ処理を実行する（ステップＳ５）。ＧＡＰ処理により、特徴量マップ１９０の次元数を減少させたプーリング結果１９６が生成される。
【0074】
続いて、情報処理装置１００は、プーリング結果１９６をさらに次元圧縮して２次元の画像特徴量１８０を算出する（ステップＳ６）。次元圧縮の手法としては、ＰＣＡ（Principal Component Analysis）またはＵＭＡＰ（Uniform Manifold Approximation and Projection）などのアルゴリズムを用いることができる。
【0075】
＜Ｆ．ＸＡＩモデル１６４の生成＞
次に、ＸＡＩモデル１６４を生成する処理について説明する。
次に、ＸＡＩモデル１６４を生成する処理について説明する。
【0076】
上述したように、ＸＡＩモデル１６４には、不足学習の状態のモデルが用いられる。モデルが不足学習の状態であることをユーザが確認し、情報処理装置１００が、ユーザ操作に従って、不足学習の状態のモデルをＸＡＩモデル１６４として決定してもよい。また、情報処理装置１００が、不足学習の状態のモデルをＸＡＩモデル１６４の候補として提示してもよい。
【0077】
モデルが不足学習の状態であることを判断するために、モデルの精度または画像特徴量を用いてもよい。
【0078】
例えば、情報処理装置１００は、分類モデル１６２の要求精度の指定を受け付け、当該指定された要求精度に対して、可能な限りエポック数（サンプル数）が少ないものをＸＡＩモデル１６４の候補として提示してもよい。
【0079】
図７は、本実施の形態に従うモデル学習途中に算出される精度の一例を示す図である。
例えば、マクロ平均（Ｆ１－Ｓｃｏｒｅ）が０．９５以上であるとの要求精度が指定された場合には、指定された要求精度を満たす学習状態のうち、エポック数（サンプル数）が最も少ない学習状態をＸＡＩモデル１６４の候補として提示する。
例えば、マクロ平均（Ｆ１－Ｓｃｏｒｅ）が０．９５以上であるとの要求精度が指定された場合には、指定された要求精度を満たす学習状態のうち、エポック数（サンプル数）が最も少ない学習状態をＸＡＩモデル１６４の候補として提示する。
【0080】
図７（Ａ）には、エポック数が１０である場合の分類モデル１６２の精度の一例を示し、図７（Ｂ）には、エポック数が４０である場合の分類モデル１６２の精度の一例を示す。いずれの精度についても、マクロ平均（ｍａｃｒｏａｖｇ）は、「０．９５」以上となっており、エポック数が少ない図７（Ａ）に示す状態の分類モデル１６２がＸＡＩモデル１６４の候補として提示される。
【0081】
また、情報処理装置１００は、モデル学習途中の状態を可視化してもよい。モデル学習途中の状態としては、例えば、ＸＡＩ画像２４そのものであってもよいし、特徴量マップ１９０から算出される画像特徴量１８０の分布１８２であってもよい。
【0082】
図８は、本実施の形態に従うモデル学習途中に算出されるＸＡＩ画像２４および画像特徴量１８０の分布１８２の一例を示す図である。
【0083】
図８（Ａ）には、エポック数が１０である場合の分類モデル１６２から出力されるＸＡＩ画像２４および画像特徴量１８０の分布１８２の一例を示し、図７（Ｂ）には、エポック数が４０である場合の分類モデル１６２から出力されるＸＡＩ画像２４および画像特徴量１８０の分布１８２の一例を示す。
【0084】
ユーザは、ＸＡＩ画像２４または画像特徴量１８０の分布１８２を確認して、ＸＡＩモデル１６４として適切な学習状態を判断することもできる。情報処理装置１００は、ユーザ操作に従って、選択された学習状態のモデルをＸＡＩモデル１６４として決定してもよい。
【0085】
このように、ユーザがＸＡＩ画像２４または画像特徴量１８０の分布１８２を確認することで、定性的にＸＡＩモデル１６４を決定してもよい。
【0086】
図９は、本実施の形態に従う情報処理装置１００が提供するユーザインターフェイス画面２００の一例を示す図である。図９を参照して、ユーザインターフェイス画面２００は、学習曲線２１０と、精度評価結果２２０と、画像特徴量の分布２３０とを含む。
【0087】
学習曲線２１０は、学習過程において生成されたモデルの誤差または精度の変化を示す。情報処理装置１００は、学習に用いられた学習データの数に対する、モデルの誤差および精度の少なくとも一方の変化を示す学習曲線２１０を含むユーザインターフェイス画面２００を生成する。
【0088】
情報処理装置１００は、学習曲線２１０に関連付けて、分類モデル１６２として決定された学習状態の位置に分類モデル位置２１４を表示するとともに、ＸＡＩモデル１６４に適していると算出された学習状態の位置に推奨位置２１６を表示する。
【0089】
情報処理装置１００は、ユーザによるスライダ２１２の操作に応じて、位置表示２１３を変化させる。情報処理装置１００は、ユーザによる選択ボタン２１８の選択に応じて、位置表示２１３が表示されている学習状態に対応するモデルをＸＡＩモデル１６４として決定する。このように、情報処理装置１００は、ユーザインターフェイス画面２００に対するユーザ操作に応じて、選択された状態のモデルをＸＡＩモデル１６４として決定する。
【0090】
情報処理装置１００は、ユーザによるスライダ２１２の操作に応じて、精度評価結果２２０の表示内容を更新する。精度評価結果２２０に併せて、予め指定された要求精度２２２が表示されてもよい。このように、情報処理装置１００は、指定された学習の状態における、モデルの精度の評価結果（精度評価結果２２０）を含むユーザインターフェイス画面２００を生成する。
【0091】
情報処理装置１００は、ユーザによるスライダ２１２の操作に応じて、画像特徴量１８０の分布１８２を更新する。このように、情報処理装置１００は、指定された学習の状態における、モデルが出力する画像特徴量１８０の分布１８２（特徴量の分布）を含むユーザインターフェイス画面２００を生成する。
【0092】
情報処理装置１００は、画像特徴量１８０の分布１８２の各サンプル（画像特徴量）のいずれかがポインタ２３４により選択されると、選択されたサンプルに対応する入力画像２０およびＸＡＩ画像２４を表示してもよい。このように、情報処理装置１００は、モデルの出力に基づいて生成された顕著性マップ（ＸＡＩ画像２４）を含むユーザインターフェイス画面２００を生成する。入力画像２０およびＸＡＩ画像２４が表示されることで、ユーザは、学習の状態を視覚的に確認できる。
【0093】
なお、情報処理装置１００は、ユーザによるプルダウンメニュー２３２に対する選択に応じて、画像特徴量１８０の分布１８２に用いる画像特徴量の算出アルゴリズムを適宜異ならせてもよい。
【0094】
このように、情報処理装置１００は、ユーザがＸＡＩモデル１６４を決定できるように、ユーザインターフェイス画面を提供する。
【0095】
図１０は、本実施の形態に従う情報処理装置１００が学習過程でデータベース１５０に順次格納するデータの一例を示す模式図である。図１０を参照して、情報処理装置１００は、エポック数に対応付けて、モデルパラメータ１６５と、ＸＡＩ画像２４と、画像特徴量１８０とをデータベース１５０に順次格納する。
【0096】
情報処理装置１００は、いずれかのエポック数が指定されると、指定されたエポック数に対応するモデルパラメータ１６５をモデルに反映することで、分類モデル１６２およびＸＡＩモデル１６４を生成する。
【0097】
図１１は、本実施の形態に従う情報処理装置１００が学習過程により生成したモデルの構成例を示す図である。
【0098】
図１１を参照して、情報処理装置１００は、適切に学習されたＣＮＮ１６２０Ａおよび全結合層１６２２Ａを含む分類モデル１６２と、不足学習の状態のＣＮＮ１６２０Ｂおよび全結合層１６２２Ｂを含むＸＡＩモデル１６４とを生成する。ＸＡＩモデル１６４は、ＸＡＩ手法によりＸＡＩ画像２４を生成するためのＸＡＩ可視化部１７０に関連付けられる。ＸＡＩ可視化部１７０は、例えば、活性化関数１６４０を含む。
【0099】
＜Ｇ．処理手順例＞
次に、本実施の形態に従う情報処理装置１００が実行する処理手順の一例について説明する。
次に、本実施の形態に従う情報処理装置１００が実行する処理手順の一例について説明する。
【0100】
（ｇ１：学習過程）
図１２は、本実施の形態に従う情報処理装置１００の学習過程の処理手順を示すフローチャートである。図１２に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１１０を実行することで実現されてもよい。
図１２は、本実施の形態に従う情報処理装置１００の学習過程の処理手順を示すフローチャートである。図１２に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル生成プログラム１１０を実行することで実現されてもよい。
【0101】
図１２を参照して、情報処理装置１００は、複数のエポックに分割された学習データ（正解ラベルが付与された入力画像２０）のうち１つのエポックを選択する（ステップＳ１００）。そして、情報処理装置１００は、選択中のエポックに含まれる１つの学習データを選択する（ステップＳ１０２）。
【0102】
情報処理装置１００は、選択された学習データの入力画像２０を分類モデル１６２およびＸＡＩモデル１６４を生成するためのモデルに入力する（ステップＳ１０４）。情報処理装置１００は、モデルの推論結果と入力された学習用データに付与された正解ラベルとの誤差に基づいて、モデルパラメータ１６５を更新する（ステップＳ１０６）。
【0103】
また、情報処理装置１００は、選択された学習データの入力画像２０がモデルに入力されて算出された特徴量マップ１９０を取得し、推論結果３０から特徴量マップ１９０までの勾配１９２を算出する（ステップＳ１０８）。そして、情報処理装置１００は、特徴量マップ１９０、および、推論結果３０から特徴量マップ１９０までの勾配１９２に基づいて、ＸＡＩ画像２４を生成する（ステップＳ１１０）。
【0104】
また、情報処理装置１００は、入力画像２０がモデルに入力されて算出された特徴量マップ１９０から画像特徴量１８０を算出する（ステップＳ１１２）。
【0105】
なお、ステップＳ１０４およびＳ１０６の処理と、ステップＳ１０８～Ｓ１１２の処理との実行順序は問わない。また、ステップＳ１０４およびＳ１０６の処理と、ステップＳ１０８～Ｓ１１２の処理とを並列的に実行してもよい。また、ＸＡＩ画像２４の生成（ステップＳ１１０）については、各エポックの最後の入力画像２０についてのみ実行されてもよい。
【0106】
情報処理装置１００は、選択中のエポックに含まれるすべての学習データが選択されたか否かを判断する（ステップＳ１１４）。選択されていない学習データが存在すれば（ステップＳ１１４においてＮＯ）、ステップＳ１０２以下の処理が繰り返される。
【0107】
すべての学習データが選択されていれば（ステップＳ１１４においてＹＥＳ）、情報処理装置１００は、エポック数に対応付けて、モデルパラメータ１６５と、ＸＡＩ画像２４と、画像特徴量１８０とをデータベース１５０に格納する（ステップＳ１１６）。
【0108】
情報処理装置１００は、用意されたすべてのエポックが選択されたか否かを判断する（ステップＳ１１８）。選択されていないエポックが存在すれば（ステップＳ１１８においてＮＯ）、ステップＳ１００以下の処理が繰り返される。
【0109】
このように、情報処理装置１００は、複数のエポック（学習データ）を用いてモデルを順次学習するとともに、モデルの学習途中の状態を示すデータをデータベース１５０に順次格納する（ステップＳ１００～Ｓ１１８）。
【0110】
用意されたすべてのエポックが選択されていれば（ステップＳ１１８においてＹＥＳ）、情報処理装置１００は、格納されているモデルパラメータ１６５と、ＸＡＩ画像２４と、画像特徴量１８０とに基づいて、ＸＡＩモデル１６４の決定に必要な情報を生成し（ステップＳ１２０）、生成した情報を含むユーザインターフェイス画面を表示出力する（ステップＳ１２２）。
【0111】
情報処理装置１００は、ユーザ操作に従って、所定の学習状態のモデルを分類モデル１６２として決定するとともに、指定された学習状態のモデルをＸＡＩモデル１６４として決定する（ステップＳ１２４）。そして、処理は終了する。
【0112】
このように、情報処理装置１００は、複数のエポック（学習データ）のうち所定数のエポックを用いて学習された状態のモデルを分類モデル１６２として決定する。また、情報処理装置１００は、複数のエポック（学習データ）のうち所定数より少ない数のエポックを用いて学習された状態のモデルをＸＡＩモデル１６４として決定する。
【0113】
なお、ステップＳ１２４において、ＸＡＩモデル１６４に関連付けられるＸＡＩ可視化部１７０が併せて生成されてもよい。
【0114】
（ｇ２：運用過程）
図１３は、本実施の形態に従う情報処理装置１００の運用過程の処理手順を示すフローチャートである。図１３に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル運用プログラム１１２を実行することで実現されてもよい。
図１３は、本実施の形態に従う情報処理装置１００の運用過程の処理手順を示すフローチャートである。図１３に示す各ステップは、情報処理装置１００の１または複数のプロセッサ１０２がモデル運用プログラム１１２を実行することで実現されてもよい。
【0115】
図１３を参照して、情報処理装置１００は、新たな入力画像２０が入力されると（ステップＳ２００においてＹＥＳ）、入力画像２０を分類モデル１６２に入力し（ステップＳ２０２）、推論結果３０を出力する（ステップＳ２０４）。
【0116】
また、情報処理装置１００は、入力画像２０をＸＡＩモデル１６４に入力し（ステップＳ２０６）、特徴量マップ１９０、および、推論結果３０から特徴量マップ１９０までの勾配１９２を算出する（ステップＳ２０８）。そして、情報処理装置１００は、特徴量マップ１９０、および、推論結果３０から特徴量マップ１９０までの勾配１９２に基づいて、ＸＡＩ画像２４を生成する（ステップＳ２１０）。
【0117】
なお、ステップＳ２０２およびＳ２０４の処理と、ステップＳ２０６～Ｓ２１０の処理との実行順序は問わない。また、ステップＳ２０２およびＳ２０４の処理と、ステップＳ２０６～Ｓ２１０の処理とを並列的に実行してもよい。
【0118】
ステップＳ２００～Ｓ２１０の処理は、入力画像２０が入力されるたびに繰り返される。
【0119】
運用過程において、情報処理装置１００は、入力画像２０に対する推論結果３０に加えて、入力画像２０とＸＡＩ画像２４とを並べて表示出力してもよい。
【0120】
＜Ｈ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
上述したような本実施の形態は、以下のような技術思想を含む。
【0121】
［構成１］
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータ（１６５）を順次格納する学習部（１６６）と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデル（１６２）として決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデル（１６４）として決定する決定部（１６８）と、
前記第２のモデルの出力に基づいて顕著性マップを生成する生成部（１７０）とを備える、情報処理装置。
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータ（１６５）を順次格納する学習部（１６６）と、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデル（１６２）として決定するとともに、ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデル（１６４）として決定する決定部（１６８）と、
前記第２のモデルの出力に基づいて顕著性マップを生成する生成部（１７０）とを備える、情報処理装置。
【0122】
［構成２］
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線（２１０）を含むユーザインターフェイス画面（２００）を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、構成１に記載の情報処理装置。
前記決定部は、
学習に用いられた学習データの数に対する、前記モデルの誤差および精度の少なくとも一方の変化を示す学習曲線（２１０）を含むユーザインターフェイス画面（２００）を生成し、
前記ユーザインターフェイス画面に対するユーザ操作に応じて、選択された状態のモデルを前記第２のモデルとして決定する、構成１に記載の情報処理装置。
【0123】
［構成３］
前記決定部は、指定された学習の状態における、前記モデルの精度の評価結果（２２０）を含むユーザインターフェイス画面（２００）を生成する、構成１または２に記載の情報処理装置。
前記決定部は、指定された学習の状態における、前記モデルの精度の評価結果（２２０）を含むユーザインターフェイス画面（２００）を生成する、構成１または２に記載の情報処理装置。
【0124】
［構成４］
前記決定部は、指定された学習の状態における、前記モデルが出力する特徴量の分布（１８２）を含むユーザインターフェイス画面（２００）を生成する、構成１～３のいずれか１項に記載の情報処理装置。
前記決定部は、指定された学習の状態における、前記モデルが出力する特徴量の分布（１８２）を含むユーザインターフェイス画面（２００）を生成する、構成１～３のいずれか１項に記載の情報処理装置。
【0125】
［構成５］
前記決定部は、指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップ（２４）を含むユーザインターフェイス画面（２００）を生成する、構成１～４のいずれか１項に記載の情報処理装置。
前記決定部は、指定された学習の状態における、前記モデルの出力に基づいて生成された顕著性マップ（２４）を含むユーザインターフェイス画面（２００）を生成する、構成１～４のいずれか１項に記載の情報処理装置。
【0126】
［構成６］
情報処理プログラム（１１０）であって、コンピュータ（１００）に、
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップと、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するステップ（Ｓ１００～Ｓ１１８）と、
ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定するステップ（Ｓ１２４）とを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部（１７０）に関連付けられる、情報処理プログラム。
情報処理プログラム（１１０）であって、コンピュータ（１００）に、
複数の学習データを用いてモデルを順次学習するとともに、前記モデルの学習途中の状態を示すデータを順次格納するステップと、
前記複数の学習データのうち第１の数の学習データを用いて学習された状態のモデルを第１のモデルとして決定するステップ（Ｓ１００～Ｓ１１８）と、
ユーザ操作に従って、前記複数の学習データのうち前記第１の数より少ない第２の数の学習データを用いて学習された状態のモデルを第２のモデルとして決定するステップ（Ｓ１２４）とを実行させ、
前記第２のモデルは、前記第２のモデルの出力に基づいて顕著性マップを生成するための生成部（１７０）に関連付けられる、情報処理プログラム。
【0127】
［構成７］
入力データ（２０）を第１のモデル（１６２）に入力して推論結果（３０）を算出する算出部（１６０）と、
前記入力データを第２のモデル（１６４）に入力して取得される出力に基づいて顕著性マップ（２４）を生成する生成部（１７０）とを備え、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理装置。
入力データ（２０）を第１のモデル（１６２）に入力して推論結果（３０）を算出する算出部（１６０）と、
前記入力データを第２のモデル（１６４）に入力して取得される出力に基づいて顕著性マップ（２４）を生成する生成部（１７０）とを備え、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理装置。
【0128】
［構成８］
前記情報処理装置は、前記入力データと前記顕著性マップとを並べて表示出力する、構成７に記載の情報処理装置。
前記情報処理装置は、前記入力データと前記顕著性マップとを並べて表示出力する、構成７に記載の情報処理装置。
【0129】
［構成９］
前記第１のモデルおよび前記第２のモデルには、前記入力データとして入力画像が入力されるとともに、前記入力画像に対する分類結果を前記推論結果として出力する、構成７または８に記載の情報処理装置。
前記第１のモデルおよび前記第２のモデルには、前記入力データとして入力画像が入力されるとともに、前記入力画像に対する分類結果を前記推論結果として出力する、構成７または８に記載の情報処理装置。
【0130】
［構成１０］
情報処理プログラム（１１２）であって、コンピュータ（１００）に、
入力データ（２０）を第１のモデル（１６２）に入力して推論結果（３０）を算出するステップ（Ｓ２０２，Ｓ２０４）と、
前記入力データを第２のモデルに入力して取得される出力に基づいて顕著性マップを生成するステップ（Ｓ２０６，Ｓ２０８，Ｓ２１０）とを実行させ、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理プログラム。
情報処理プログラム（１１２）であって、コンピュータ（１００）に、
入力データ（２０）を第１のモデル（１６２）に入力して推論結果（３０）を算出するステップ（Ｓ２０２，Ｓ２０４）と、
前記入力データを第２のモデルに入力して取得される出力に基づいて顕著性マップを生成するステップ（Ｓ２０６，Ｓ２０８，Ｓ２１０）とを実行させ、
前記第１のモデルは、第１の数の学習データを用いて学習されたモデルであり、
前記第２のモデルは、前記第１の数より少ない第２の数の学習データを用いて学習されたモデルである、情報処理プログラム。
【0131】
［構成１１］
構成６または１０に記載の情報処理プログラムを格納した非一過性のコンピュータ読取可能媒体（１０６）。
構成６または１０に記載の情報処理プログラムを格納した非一過性のコンピュータ読取可能媒体（１０６）。
【0132】
＜Ｉ．利点＞
入力画像に対する分類タスクを実行する分類モデルをＸＡＩ手法により可視化すると、推論結果にかかわらず可視化された顕著性マップの同じ箇所に反応が出てしまい、解釈性が低いという課題が生じ得る。これに対して、本実施の形態によれば、学習が適切な状態のモデルを分類モデルとして用いるとともに、学習が不足している状態のモデルをＸＡＩモデルとして用いることで、分類モデルが着目している部分を可視化できる。
入力画像に対する分類タスクを実行する分類モデルをＸＡＩ手法により可視化すると、推論結果にかかわらず可視化された顕著性マップの同じ箇所に反応が出てしまい、解釈性が低いという課題が生じ得る。これに対して、本実施の形態によれば、学習が適切な状態のモデルを分類モデルとして用いるとともに、学習が不足している状態のモデルをＸＡＩモデルとして用いることで、分類モデルが着目している部分を可視化できる。
【0133】
このように、本実施の形態によれば、学習済モデルの解釈性を高めることができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0134】
１０ 製造ライン、１２ 顕著性マップ、２０ 入力画像、２２ トップシール、２４，２６ ＸＡＩ画像、３０ 推論結果、５０ カメラ、１００ 情報処理装置、１０２ プロセッサ、１０４ メモリ、１０６ ストレージ、１０８ ＯＳ、１１０ モデル生成プログラム、１１２ モデル運用プログラム、１１４ 表示出力部、１１６ 入力部、１１８ インターフェイス回路、１５０ データベース、１６０ 運用部、１６２ 分類モデル、１６４ ＸＡＩモデル、１６５ モデルパラメータ、１６６ 学習部、１６８ モデル決定部、１７０ ＸＡＩ可視化部、１８０ 画像特徴量、１８２，２３０ 分布、１９０ 特徴量マップ、１９２ 勾配、１９４，１９６ プーリング結果、２００ ユーザインターフェイス画面、２１０ 学習曲線、２１２ スライダ、２１３ 位置表示、２１４ 分類モデル位置、２１６ 推奨位置、２１８ 選択ボタン、２２０ 精度評価結果、２２２ 要求精度、２３２ プルダウンメニュー、２３４ ポインタ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】