知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-15
(45)【発行日】2023-05-23
(54)【発明の名称】解析プログラム、解析装置及び解析方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230516BHJP
G06N 3/04 20230101ALI20230516BHJP
【ＦＩ】
G06T7/00 350C
G06N3/04
【請求項の数】
14
(21)【出願番号】P 2019103236
(22)【出願日】2019-05-31
(65)【公開番号】P2020197875
(43)【公開日】2020-12-10
【審査請求日】2022-02-08
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】村田 康之
(72)【発明者】
【氏名】平▲柳▼ 幸彦
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】国際公開第２０１３／１１８２１８（ＷＯ，Ａ１）
【文献】米国特許第０９２９８８８３（ＵＳ，Ｂ２）
【文献】米国特許第０８４９４２７３（ＵＳ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータに実行させるための解析プログラム。
【請求項2】
前記ラベルが推論された際の前記推論部の情報から、前記ラベルの推論に影響する度合いを示すマップを生成し、生成された前記マップに応じた大きさに、前記所定の領域を絞り込む、請求項１に記載の解析プログラム。
【請求項3】
Ｇｒａｄ－ＣＡＭ法を用いることで、前記推論部の情報から推論の際に前記推論部が注目した前記誤推論画像の各画像部分の注目度合いを示すマップを生成し、前記所定の領域を、所定のレベル以上の注目度合いを有する画像部分に絞り込む、請求項２に記載の解析プログラム。
【請求項4】
前記誤推論画像のうちの前記所定の領域を、推論の正解ラベルのスコアが最大となるように変更しながら、前記リファイン画像を生成する、請求項３に記載の解析プログラム。
【請求項5】
前記誤推論画像の全体を、推論の正解ラベルのスコアが最大となるように変更しながら、前記リファイン画像を生成する、請求項３に記載の解析プログラム。
【請求項6】
前記所定のレベルを上げて前記所定の領域を絞り込むことで、前記推論部が推論したラベルのスコアが許容値を下回った場合に、絞り込む前の領域を、前記誤推論の原因となる画像箇所として特定する、請求項４または５に記載の解析プログラム。
【請求項7】
前記リファイン画像を生成する際に前記誤推論画像から変更された変更部分と、前記推論部の情報から算出される前記誤推論画像の特徴部分とを重畳することで、前記誤推論画像の各画素の重要特徴を示すマップを生成し、前記誤推論画像をスーパーピクセルに分割し、
前記スーパーピクセルごとに、前記各画素の重要特徴を示すマップの画素値を加算した場合の加算値が、所定の閾値以上となるスーパーピクセルに、前記所定の領域を絞り込む、請求項２に記載の解析プログラム。
【請求項8】
前記誤推論画像と前記リファイン画像との差分に基づいて、前記リファイン画像を生成する際に前記誤推論画像から変更された変更部分を算出し、ＢＰ法またはＧＢＰ法を用いることで、前記推論部の情報から推論の際に前記推論部が用いた前記リファイン画像の特徴部分を算出する、請求項７に記載の解析プログラム。
【請求項9】
前記誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら前記リファイン画像を生成する場合において、前記リファイン画像を生成するごとに、前記誤推論画像の各画素の重要特徴を示すマップをそれぞれ生成し、前記スーパーピクセルごとに、前記各画素の重要特徴を示すマップのそれぞれの画素値の平均値を加算することで、前記加算値を算出する、請求項７に記載の解析プログラム。
【請求項10】
前記所定の領域が絞り込まれた後に、前記誤推論画像を、推論の正解ラベルのスコアが最大となるように、再度、変更してリファイン画像を生成し、再度、所定の閾値以上となるスーパーピクセルに、前記所定の領域を絞り込む、請求項７に記載の解析プログラム。
【請求項11】
前記誤推論画像と前記リファイン画像との差分に基づいて算出される差分画像から、前記所定の領域を切り出した画像と、前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記所定の領域を切り出した画像と、を乗算することで得られる乗算画像を、前記誤推論画像にて可視化する、請求項１に記載の解析プログラム。
【請求項12】
前記誤推論画像と前記リファイン画像との差分に基づいて算出される差分画像から、前記所定の領域を切り出した画像と、前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記所定の領域を切り出した画像と、
ＢＰ法またはＧＢＰ法を用いることで、前記推論部の情報から推論の際に前記推論部が用いた前記リファイン画像の特徴部分のうち、前記所定の領域を切り出した画像と、
を乗算することで得られる乗算画像を、前記誤推論画像にて可視化する請求項１に記載の解析プログラム。
【請求項13】
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成するリファイン画像生成部と、前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する特定部と
を有する解析装置。
【請求項14】
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータが実行する解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解析プログラム、解析装置及び解析方法に関する。
【背景技術】
【0002】
従来より、ＣＮＮ（Convolutional Neural Network）を用いた画像認識処理において、誤ったラベルが推論された場合の誤推論の原因を解析する解析技術が知られている。一例として、スコア最大化法（Activation Maximization）等が挙げられる。また、ＣＮＮを用いた画像認識処理において、推論の際に特徴として反応した特徴部分を解析する解析技術が知られている。一例として、Ｇｒａｄ－ＣＡＭ法、ＧＢＰ（Guided Back Propagation）法等が挙げられる。
【0003】
このうち、スコア最大化法は、推論の正解ラベルが最大スコアとなるように入力画像を変更した際の変更部分を、誤推論の原因となる画像箇所として特定する方法である。また、Ｇｒａｄ－ＣＡＭ法は、推論したラベルから逆伝播した情報を用いて推論の際の注目部分を算出し、算出した注目部分を、推論の際に反応した特徴部分として特定する方法である。更に、ＧＢＰ法は、推論したラベルから逆伝播し、入力画像までたどることで、推論の際に反応した特徴部分を可視化する方法である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－０９７８０７号公報
【文献】特開２０１８－０４５３５０号公報
【非特許文献】
【0005】
【文献】Ramprasaath R．Selvariju，et al．：Grad-cam：Visual explanations from deep networks via gradient-based localization．The IEEE International Conference on Computer Vision(ICCV)，pp．618-626，2017．
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した解析技術の場合、誤推論の原因となる画像箇所を十分な精度で特定することができないという問題がある。
【0007】
一つの側面では、誤推論の原因となる画像箇所を特定する際の精度を向上させることを目的としている。
【課題を解決するための手段】
【0008】
一態様によれば、解析プログラムは、
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、
前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータに実行させる。
画像認識処理において、誤ったラベルが推論された際の入力画像である誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成し、
前記誤推論画像のうちの所定の領域が前記リファイン画像で置き換えられた画像が、推論部に入力されることで推論されたラベルのスコアに基づいて、前記所定の領域を絞り込み、誤推論の原因となる画像箇所を特定する、
処理をコンピュータに実行させる。
【発明の効果】
【0009】
誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】解析装置の機能構成の一例を示す図である。
【図2】解析装置のハードウェア構成の一例を示す図である。
【図3】誤推論原因抽出部の機能構成の一例を示す第１の図である。
【図4】リファイン画像生成部の処理の具体例を示す図である。
【図5】変更可能領域及び変更不可領域の変化例を示す図である。
【図6】合成画像が生成されるまでの処理の具体例を示す第１の図である。
【図7】判断部の処理の具体例を示す図である。
【図8】誤推論原因抽出処理の流れを示す第１のフローチャートである。
【図9】誤推論原因抽出処理の流れを示す第２のフローチャートである。
【図10】誤推論原因抽出部の機能構成の一例を示す第２の図である。
【図11】合成画像が生成されるまでの処理の具体例を示す第２の図である。
【図12】誤推論原因抽出処理の流れを示す第３のフローチャートである。
【図13】誤推論原因抽出部の機能構成の一例を示す第３の図である。
【図14】マップ生成部の処理の具体例を示す図である。
【図15】スーパーピクセル分割部の処理の具体例を示す図である。
【図16】重要スーパーピクセル決定部の処理の具体例を示す図である。
【図17】合成画像が生成されるまでの処理の具体例を示す第３の図である。
【図18】誤推論原因抽出処理の流れを示す第４のフローチャートである。
【図19】誤推論原因抽出処理の流れを示す第５のフローチャートである。
【図20】誤推論原因抽出処理の具体例を示す第１の図である。
【図21】誤推論原因抽出部の機能構成の一例を示す第４の図である。
【図22】誤推論原因抽出処理の具体例を示す第２の図である。
【図23】誤推論原因抽出部の機能構成の一例を示す第５の図である。
【図24】誤推論原因抽出処理の具体例を示す第３の図である。
【図25】誤推論原因抽出部の機能構成の一例を示す第６の図である。
【図26】詳細原因解析部の機能構成の一例を示す第１の図である。
【図27】詳細原因解析部の処理の具体例を示す第１の図である。
【図28】詳細原因解析処理の流れを示す第１のフローチャートである。
【図29】誤推論原因抽出部の機能構成の一例を示す第７の図である。
【図30】詳細原因解析部の機能構成の一例を示す第２の図である。
【図31】詳細原因解析部の処理の具体例を示す第２の図である。
【図32】詳細原因解析処理の流れを示す第２のフローチャートである。
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。
【0013】
推論部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、推論部１１０は、入力画像１０が入力されることで、入力画像１０に含まれるオブジェクトの種類（本実施形態では、車両の種類）を示すラベルを推論し、推論したラベルを出力する。
【0014】
誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの種類を示すラベル（既知）と、推論部１１０により推論されたラベルとが一致するか否かを判定する。また、誤推論画像抽出部１２０は、一致しないと判定した際の（誤ったラベルが推論された際の）入力画像を、“誤推論画像”として抽出し、誤推論画像格納部１３０に格納する。
【0015】
誤推論原因抽出部１４０は、誤推論画像について、誤推論の原因となる画像箇所を特定し、誤推論原因情報を出力する。具体的には、誤推論原因抽出部１４０は、リファイン画像生成部１４１と、マップ生成部１４２と、特定部１４３とを有する。
【0016】
リファイン画像生成部１４１は、誤推論画像格納部１３０に格納された誤推論画像を読み出す。また、リファイン画像生成部１４１は、読み出した誤推論画像を入力した際の正解ラベルのスコアが最大となるように誤推論画像を変更し、スコア最大化リファイン画像を生成する。
【0017】
マップ生成部１４２は、誤推論の原因を解析する従来の解析技術等を用いて、ラベルの推論に影響する領域を識別するマップを生成する。
【0018】
特定部１４３は、誤推論画像のうち、生成されたマップに含まれる、ラベルの推論に影響する領域について、生成されたリファイン画像で置き換える。また、特定部１４３は、当該領域をリファイン画像で置き換えた誤推論画像を入力としてラベルを推論し、推論したラベルのスコアから、置き換えの効果を判定する。
【0019】
また、特定部１４３は、ラベルの推論に影響する領域の大きさを変えながら（絞り込みながら）入力することでラベルを推論し、推論したラベルのスコアの変遷から、誤推論の原因となる画像箇所を特定する。更に、特定部１４３は、特定した誤推論の原因となる画像箇所を、誤推論原因情報として出力する。
【0020】
このように、ラベルの推論に影響する領域をリファイン画像で置き換える際、置き換えの効果を参照しながら領域を絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。
【0021】
＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【0022】
また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。
【0023】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics Processing Unit）など）を組み合わせてもよい。
【0024】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【0025】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0026】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤推論画像格納部１３０は、補助記憶装置２０４において実現される。
【0027】
表示装置２０５は、誤推論原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。
【0028】
Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。
【0029】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0030】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。
【0031】
＜誤推論原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す第１の図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す第１の図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。
【0032】
（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、スコア誤差演算部３０４を有する。
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、スコア誤差演算部３０４を有する。
【0033】
画像リファイナ部３０１は、例えば、画像の生成モデルとしてＣＮＮを用いて、マスク画像からリファイン画像を生成する。マスク画像とは、誤推論画像の一部がマスクされた画像である。画像リファイナ部３０１では、マスクされていない領域の誤推論画像を変更することで、リファイン画像を生成する。
【0034】
なお、画像リファイナ部３０１では、生成したリファイン画像を用いて推論した際に、正解ラベルのスコアが最大となるように、誤推論画像を変更する。また、画像リファイナ部３０１では、例えば、画像の生成モデルを用いてリファイン画像を生成する際には、誤推論画像からの変更量（リファイン画像と誤推論画像との差分）が小さくなるように、リファイン画像を生成する。これにより、画像リファイナ部３０１によれば、視覚的に変更前の画像（誤推論画像）に近い画像（リファイン画像）を得ることができる。
【0035】
具体的には、画像リファイナ部３０１では、画像の生成モデルとしてＣＮＮを用いる場合、
・生成したリファイン画像を用いて推論した際のスコアと正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像と誤推論画像との差分である画像差分値と、
を最小化するようにＣＮＮの学習を行う。
・生成したリファイン画像を用いて推論した際のスコアと正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像と誤推論画像との差分である画像差分値と、
を最小化するようにＣＮＮの学習を行う。
【0036】
画像誤差演算部３０２は、誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。画像誤差演算部３０２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出する。
【0037】
推論部３０３は、合成画像を入力として推論し、推論したラベルのスコアを出力する、学習済みのＣＮＮを有する。合成画像とは、マスクされていない領域の誤推論画像を変更することで得られたリファイン画像と、マスクされた領域の誤推論画像とを合成することで得られる画像である。つまり、合成画像とは、マスクされていない領域をリファイン画像で置き換えた誤推論画像に他ならない。
【0038】
なお、推論部３０３により出力されたスコアは、スコア誤差演算部３０４に通知される。
【0039】
スコア誤差演算部３０４は、推論部３０３により通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差を算出し、画像リファイナ部３０１にスコア誤差を通知する。スコア誤差演算部３０４により通知されたスコア誤差は、画像リファイナ部３０１においてＣＮＮの学習に用いられる。
【0040】
なお、画像リファイナ部３０１が有するＣＮＮの学習中に画像リファイナ部３０１から出力されるリファイン画像は、リファイン画像格納部３０５に格納される。画像リファイナ部３０１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像を、以下では、“スコア最大化リファイン画像”と称す。
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像を、以下では、“スコア最大化リファイン画像”と称す。
【0041】
（２）マップ生成部の詳細
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、注目領域導出部３１１を有する。
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、注目領域導出部３１１を有する。
【0042】
注目領域導出部３１１は、推論部３０３がスコア最大化リファイン画像を含む合成画像を用いてラベルを推論した際の、推論部構造情報（ＣＮＮのネットワークの構造、モデルパラメータ等）と特徴マップとを、推論部３０３より取得する。
【0043】
また、注目領域導出部３１１は、Ｇｒａｄ－ＣＡＭ法を用いることで、推論部構造情報及び特徴マップに基づいて、誤推論画像上の各画像部分の注目度合いを算出し、注目度合いマップを生成する。
【0044】
具体的には、注目領域導出部３１１は、推論部構造情報と特徴マップとに基づいて、以下の手順により、注目度合いマップを生成する。
・推論部３０３が推論したラベルから、そのラベルのみ誤差があるとして逆伝播し、畳み込み最終層で得られる勾配情報についてチャネルごとに平均値を求め、各チャネルの重要度を決定する。
・各チャネルの特徴マップに重要度を重みとして乗算し、全てのチャネルの同一座標の値を足し合わせた結果に、活性化関数（ＲｅＬＵ）を適用することで正値のみの画像を生成する。
・生成した画像において、画素値が大きい（勾配が大きい）注目部分をヒートマップにより可視化することで注目度合いマップを生成する。
・推論部３０３が推論したラベルから、そのラベルのみ誤差があるとして逆伝播し、畳み込み最終層で得られる勾配情報についてチャネルごとに平均値を求め、各チャネルの重要度を決定する。
・各チャネルの特徴マップに重要度を重みとして乗算し、全てのチャネルの同一座標の値を足し合わせた結果に、活性化関数（ＲｅＬＵ）を適用することで正値のみの画像を生成する。
・生成した画像において、画素値が大きい（勾配が大きい）注目部分をヒートマップにより可視化することで注目度合いマップを生成する。
【0045】
なお、注目領域導出部３１１は、生成した注目度合いマップを、注目度合いマップ格納部３１２に格納する。
【0046】
（３）特定部の詳細
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、変更領域制限情報生成部３２１、マスク画像生成部３２２、領域抽出部３２３、合成部３２４、判断部３２５を有する。
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、変更領域制限情報生成部３２１、マスク画像生成部３２２、領域抽出部３２３、合成部３２４、判断部３２５を有する。
【0047】
変更領域制限情報生成部３２１は、注目度合いマップ格納部３１２より、注目度合いマップを読み出す。また、変更領域制限情報生成部３２１は、読み出した注目度合いマップにおいて、注目度合いが所定のレベル以上の領域（ラベルの推論に影響する領域）を変更可能領域と規定し、注目度合いが所定のレベル未満の領域を変更不可領域と規定する。また、変更領域制限情報生成部３２１は、規定した変更可能領域及び変更不可領域を、マスク画像生成部３２２及び領域抽出部３２３に通知する。
【0048】
なお、変更領域制限情報生成部３２１では、変更可能領域及び変更不可領域を規定する際に用いるレベルを徐々に上げることで、変更可能領域を狭くし、変更不可領域を広げていく（変更可能領域を絞り込む）。このように、変更領域制限情報生成部３２１では、変更可能領域及び変更不可領域の大きさを更新するごとに、更新後の変更可能領域及び変更不可領域を、マスク画像生成部３２２及び領域抽出部３２３に通知する。また、更新後の変更可能領域及び変更不可領域を通知したことに応じて、判断部３２５から所定の指示があった場合に、変更領域制限情報生成部３２１では、更新直前の変更可能領域を、誤推論の原因となる画像箇所として特定する。更に、変更領域制限情報生成部３２１は、特定した画像箇所を誤推論原因情報として出力する。
【0049】
マスク画像生成部３２２は、通知された変更可能領域及び変更不可領域に基づいて、誤推論画像を処理する。具体的には、マスク画像生成部３２２は、誤推論画像のうち、変更不可領域に対応する画像部分をマスクし、変更可能領域に対応する画像部分をマスクしないマスク画像を生成する。また、マスク画像生成部３２２は、生成したマスク画像を、画像リファイナ部３０１に入力する。
【0050】
領域抽出部３２３は、通知された変更可能領域及び変更不可領域に基づいて、リファイン画像（またはスコア最大化リファイン画像）と、誤推論画像とを処理する。具体的には、領域抽出部３２３は、誤推論画像から、変更不可領域に対応する画像部分を抽出し、合成部３２４に出力する。また、領域抽出部３２３は、リファイン画像（またはスコア最大化リファイン画像）から、変更可能領域に対応する画像部分を抽出し、合成部３２４に出力する。
【0051】
合成部３２４は、領域抽出部３２３より出力された、誤推論画像の変更不可領域に対応する画像部分と、リファイン画像（またはスコア最大化リファイン画像）の変更可能領域に対応する画像部分とを合成し、合成画像を生成する。また、合成部３２４は、生成した合成画像を推論部３０３に入力する。
【0052】
判断部３２５は、スコア最大化リファイン画像を含む合成画像が推論部３０３に入力されたことに応じて推論部３０３より出力される正解ラベルのスコアを取得する。また、判断部３２５は、取得した正解ラベルのスコアの変遷を監視し、所定のスコア許容値を下回った場合に、変更領域制限情報生成部３２１に所定の指示を通知する。
【0053】
なお、判断部３２５は、取得した正解ラベルのスコアの変遷が所定のスコア許容値以上を維持していると判断した場合、変更可能領域及び変更不可領域を規定する際に用いるレベルを上げるよう、変更領域制限情報生成部３２１に指示する。
【0054】
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部の処理の具体例について説明する。
次に、誤推論原因抽出部１４０の各部の処理の具体例について説明する。
【0055】
（１）リファイン画像生成部の処理の具体例
はじめに、リファイン画像生成部１４１の処理の具体例について説明する。図４は、リファイン画像生成部の処理の具体例を示す図である。図４の左側の例は、正解ラベル＝“車種Ａ”の車両が含まれる誤推論画像４１０を入力として推論した結果、ラベル＝“車種Ｂ”と誤推論した様子を示している。
はじめに、リファイン画像生成部１４１の処理の具体例について説明する。図４は、リファイン画像生成部の処理の具体例を示す図である。図４の左側の例は、正解ラベル＝“車種Ａ”の車両が含まれる誤推論画像４１０を入力として推論した結果、ラベル＝“車種Ｂ”と誤推論した様子を示している。
【0056】
また、図４の左側の例は、誤推論画像４１０を入力として推論した際のスコアが、
・車種Ａのスコア＝０．０１４２、
・車種Ｂのスコア＝０．４５４９、
・車種Ｃのスコア＝０．００１８、
・車種Ｄのスコア＝０．００１１、
であったことを示している。
・車種Ａのスコア＝０．０１４２、
・車種Ｂのスコア＝０．４５４９、
・車種Ｃのスコア＝０．００１８、
・車種Ｄのスコア＝０．００１１、
であったことを示している。
【0057】
一方、図４の右側の例は、リファイン画像生成部１４１が、誤推論画像４１０からリファイン画像を生成する処理を行い、スコア最大化リファイン画像４２０を生成した様子を示している。図４の右側の例では、リファイン画像生成部１４１が、誤推論画像４１０に対して、ヘッドライト４２１の色や、道路標示４２２の色を変更することで、スコア最大化リファイン画像４２０を生成したことを示している。
【0058】
また、図４の右側の例は、スコア最大化リファイン画像４２０を入力として推論した場合、正解ラベル＝“車種Ａ”と一致するラベルを推論できたことを示している。更に、図４の右側の例は、スコア最大化リファイン画像４２０を入力として推論した際のスコアが、
・車種Ａのスコア＝０．９９２７、
・車種Ｂのスコア＝０．００４２、
・車種Ｃのスコア＝０．００２２、
・車種Ｄのスコア＝０．０００３、
であったことを示している。
・車種Ａのスコア＝０．９９２７、
・車種Ｂのスコア＝０．００４２、
・車種Ｃのスコア＝０．００２２、
・車種Ｄのスコア＝０．０００３、
であったことを示している。
【0059】
このように、リファイン画像生成部１４１によれば、誤推論画像４１０を変更することで、正解ラベルと一致するラベルを推論でき、かつ、正解ラベルのスコアが最大となるスコア最大化リファイン画像４２０を生成することができる。
【0060】
なお、図４の右側の例で示すように、リファイン画像生成部１４１により生成されるスコア最大化リファイン画像４２０の場合、誤推論画像４１０に対して、車両と無関係な路面標示まで変更される可能性がある。正解ラベルのスコアを最大化する学習での誤差逆伝播は、正解ラベルのスコアに影響するＣＮＮの経路（ユニット）に影響を及ぼすが、影響を及ぼされた経路（ユニット）が必ずしも誤推論の原因と関係しているとは限らないためである。
【0061】
つまり、従来のスコア最大化法のように、変更部分に基づいて誤推論の原因となる画像箇所を特定しようとした場合、十分な精度で特定することができないという問題がある（変更部分について、更なる絞り込みが必要である）。
【0062】
（２）特定部の処理の具体例
次に、特定部１４３の各部（変更領域制限情報生成部３２１、マスク画像生成部３２２、領域抽出部３２３、合成部３２４、判断部３２５）の処理の具体例について説明する。
次に、特定部１４３の各部（変更領域制限情報生成部３２１、マスク画像生成部３２２、領域抽出部３２３、合成部３２４、判断部３２５）の処理の具体例について説明する。
【0063】
（２－１）変更領域制限情報生成部の処理の具体例
はじめに、特定部１４３に含まれる変更領域制限情報生成部３２１の処理の具体例について説明する。図５は、変更可能領域及び変更不可領域の変化例を示す図である。図５の場合、マップ生成部１４２において生成された注目度合いマップ５１０には、注目度合いのレベルが異なる５つの画像部分が含まれている。
はじめに、特定部１４３に含まれる変更領域制限情報生成部３２１の処理の具体例について説明する。図５は、変更可能領域及び変更不可領域の変化例を示す図である。図５の場合、マップ生成部１４２において生成された注目度合いマップ５１０には、注目度合いのレベルが異なる５つの画像部分が含まれている。
【0064】
具体的には、注目度合いマップ５１０の画像部分５１１は、第１のレベルの注目度合いを有する画像部分である。同様に、画像部分５１２～５１５は、それぞれ、第２のレベルから第５のレベルの注目度合いを有する画像部分である。
【0065】
上述したとおり、変更領域制限情報生成部３２１では、変更可能領域及び変更不可領域を規定する際、判断部３２５からの指示に応じてレベルを徐々に上げ、変更可能領域を狭くし、変更不可領域を広げていく。
【0066】
図５において、画像５２１から画像５２４は、変更領域制限情報生成部３２１が規定する変更可能領域及び変更不可領域を模式的に示した図であり、白色部分は、変更可能領域を表し、黒色部分は、変更不可領域を表している。
【0067】
具体的には、画像５２１は、変更領域制限情報生成部３２１が、注目度合いマップ５１０において、注目度合いが第２のレベル以上の画像部分を変更可能領域と規定し、注目度合いが第２のレベル未満の画像部分を変更不可領域と規定したことを示している。
【0068】
同様に、画像５２２は、変更領域制限情報生成部３２１が、注目度合いマップ５１０において、注目度合いが第３のレベル以上の画像部分を変更可能領域と規定し、注目度合いが第３のレベル未満の画像部分を変更不可領域と規定したことを示している。
【0069】
以下、画像５２３及び画像５２４は、それぞれ、注目度合いが第４のレベル以上、第５のレベル以上の画像部分を変更可能領域と規定し、注目度合いが第４のレベル未満、第５のレベル未満の画像部分を変更不可領域と規定したことを示している。
【0070】
（２－２）マスク画像生成部、領域抽出部及び合成部の処理の具体例
次に、特定部１４３に含まれるマスク画像生成部３２２、領域抽出部３２３及び合成部３２４の処理（合成画像が生成されるまでの処理）の具体例について説明する。図６は、合成画像が生成されるまでの処理の具体例を示す第１の図である。図６の上段において、画像５２１は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、白色部分と黒色部分として表したものである。
次に、特定部１４３に含まれるマスク画像生成部３２２、領域抽出部３２３及び合成部３２４の処理（合成画像が生成されるまでの処理）の具体例について説明する。図６は、合成画像が生成されるまでの処理の具体例を示す第１の図である。図６の上段において、画像５２１は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、白色部分と黒色部分として表したものである。
【0071】
図６の上段に示すように、マスク画像生成部３２２は、誤推論画像４１０のうち、変更不可領域に対応する画像部分（黒色部分）をマスクし、変更可能領域に対応する画像部分（白色部分）をマスクしないマスク画像６１０を生成する。また、領域抽出部３２３は、画像リファイナ部３０１にてマスク画像６１０が変更されることで生成されたリファイン画像６２０を取得する。更に、領域抽出部３２３は、取得したリファイン画像６２０から、変更可能領域に対応する画像部分を抽出する。
【0072】
一方、図６の下段において、画像５２１’は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、黒色部分と白色部分として表したものである。なお、画像５２１’は、画像５２１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図６の下段では、白色部分を変更不可領域、黒色部分を変更可能領域としている）。
【0073】
図６の下段に示すように、領域抽出部３２３は、誤推論画像４１０から、変更不可領域に対応する画像部分６１１を抽出する。
【0074】
図６に示す合成画像６３０は、リファイン画像６２０から抽出された変更可能領域に対応する画像部分と、誤推論画像４１０から抽出された変更不可領域に対応する画像部分６１１とを合成することで得られた合成画像である。
【0075】
なお、図６の例は、第２のレベルに基づいて規定された変更可能領域及び変更不可領域を用いて合成画像６３０を生成するまでの処理を示したが、第３のレベル～第５のレベルについても同様の処理が行われ、順次、合成画像が生成される。
【0076】
（２－３）判断部の処理の具体例
次に、特定部１４３に含まれる判断部３２５の処理の具体例について説明する。図７は、判断部の処理の具体例を示す図である。図７において、横軸は、変更領域制限情報生成部３２１により規定される変更不可領域の大きさを表している（あるいは、注目度合いのレベルであってもよい）。また、図７において、縦軸は、判断部３２５により取得されるスコアを表している。
次に、特定部１４３に含まれる判断部３２５の処理の具体例について説明する。図７は、判断部の処理の具体例を示す図である。図７において、横軸は、変更領域制限情報生成部３２１により規定される変更不可領域の大きさを表している（あるいは、注目度合いのレベルであってもよい）。また、図７において、縦軸は、判断部３２５により取得されるスコアを表している。
【0077】
図７に示すように、変更不可領域の大きさが大きくなるにつれて（変更可能領域を絞り込むにつれて）、判断部３２５により取得される正解ラベルのスコアは低下していく。判断部３２５では、正解ラベルのスコアの変遷を監視し、予め定められたスコア許容値を下回った場合に、変更領域制限情報生成部３２１に通知する。
【0078】
これにより、変更領域制限情報生成部３２１では、スコア許容値を下回る直前の変更可能領域を、誤推論の原因となる画像箇所として特定することができる。
【0079】
図７の例の場合、画像５２３で表される変更不可領域が規定された際の正解ラベルのスコアから、画像５２４で表される変更不可領域が規定された際の正解ラベルのスコアに遷移する際に、スコア許容値を下回っている。このため、変更領域制限情報生成部３２１では、画像５２３の白色部分で示す変更可能領域を、誤推論の原因となる画像箇所として特定する。
【0080】
【0081】
ステップＳ８０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、リファイン画像を出力するＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。更に、変更領域制限情報生成部３２１は、変更可能領域及び変更不可領域を規定する際に用いるレベルに初期値を設定する（変更可能領域を誤推論画像全体、変更不可領域をゼロに設定する）。
【0082】
ステップＳ８０２において、マスク画像生成部３２２は、変更領域制限情報生成部３２１より変更可能領域及び変更不可領域を取得する（ここでは、変更可能領域が誤推論画像全体であり、変更不可領域がゼロであるとする）。また、マスク画像生成部３２２は、取得した変更可能領域及び変更不可領域に基づいて、マスク画像を生成する。
【0083】
ステップＳ８０３において、画像リファイナ部３０１は、マスク画像を変更し、リファイン画像を生成する。
【0084】
ステップＳ８０４において、領域抽出部３２３は、リファイン画像から変更可能領域に対応する画像部分を抽出する。
【0085】
ステップＳ８０５において、領域抽出部３２３は、誤推論画像から変更不可領域に対応する画像部分を抽出する。
【0086】
ステップＳ８０６において、合成部３２４は、リファイン画像から抽出された変更可能領域に対応する画像部分と、誤推論画像から抽出された変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0087】
ステップＳ８０７において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。
【0088】
ステップＳ８０８において、注目領域導出部３１１は、ステップＳ８０７において推論した際の推論部構造情報及び特徴マップに基づいて、Ｇｒａｄ－ＣＡＭ法により、注目度合いマップを生成する。
【0089】
ステップＳ８０９において、変更領域制限情報生成部３２１は、注目度合いマップにおいて、所定のレベル以上の画像部分を変更可能領域と規定し、所定のレベル未満の画像部分を変更不可領域と規定する。
【0090】
続いて、図９のステップＳ９０１において、画像リファイナ部３０１は、画像差分値とスコア誤差とを用いてＣＮＮの学習を行う。
【0091】
ステップＳ９０２において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ９０２において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ９０２においてＮｏの場合には）、ステップＳ８０２に戻り、リファイン画像の生成を継続する。
【0092】
一方、ステップＳ９０２において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ９０２においてＹｅｓの場合には）、ステップＳ９０３に進む。なお、この時点で、リファイン画像格納部３０５には、スコア最大化リファイン画像が格納されている。
【0093】
ステップＳ９０３において、判断部３２５は、ステップＳ８０７において算出された正解ラベルのスコアが、スコア許容値より小さいか否かを判定する。ステップＳ９０３において、スコア許容値以上であると判定された場合には（ステップＳ９０３においてＮｏの場合には）、ステップＳ９０４に進む。
【0094】
ステップＳ９０４において、変更領域制限情報生成部３２１は、レベルを上げることにより変更可能領域及び変更不可領域を更新し、図８のステップＳ８０２に戻る。
【0095】
一方、ステップＳ９０３において、スコア許容値より小さいと判定された場合には（ステップＳ９０３においてＹｅｓの場合には）、ステップＳ９０５に進む。
【0096】
ステップＳ９０５において、変更領域制限情報生成部３２１は、前回の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力する。
【0097】
以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、誤推論画像を、推論の正解ラベルのスコアが最大となるように変更しながら、リファイン画像を生成する。また、第１の実施形態に係る解析装置１００は、リファイン画像を含む合成画像を入力として推論した際の推論部の構造情報から、Ｇｒａｄ－ＣＡＭ法を用いて注目度合いマップを生成する。また、第１の実施形態に係る解析装置１００は、生成した注目度合いマップに基づいて規定した変更可能領域（正解ラベルの推論に影響する領域）が、リファイン画像で置き換えられた誤推論画像を推論部に入力することで推論する。更に、第１の実施形態に係る解析装置１００は、推論した正解ラベルのスコアから、変更可能領域を絞り込むことで、誤推論の原因となる画像箇所を特定する。
【0098】
このように、正解ラベルの推論に影響する領域をリファイン画像で置き換え、置き換えの効果を参照しながら領域を絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。つまり、第１の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【0099】
［第２の実施形態］
上記第１の実施形態では、マスク画像からスコア最大化リファイン画像を生成するものとして説明した。これに対して、第２の実施形態では、誤推論画像からスコア最大化リファイン画像を生成する。これにより、変更可能領域及び変更不可領域が更新されるごとに、スコア最大化リファイン画像を生成する必要がなくなり、誤推論原因抽出処理時の解析装置１００の処理負荷を低減させることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
上記第１の実施形態では、マスク画像からスコア最大化リファイン画像を生成するものとして説明した。これに対して、第２の実施形態では、誤推論画像からスコア最大化リファイン画像を生成する。これにより、変更可能領域及び変更不可領域が更新されるごとに、スコア最大化リファイン画像を生成する必要がなくなり、誤推論原因抽出処理時の解析装置１００の処理負荷を低減させることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0100】
＜誤推論原因抽出部の機能構成＞
はじめに、第２の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図１０は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３に示した誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部１０１０、特定部１０２０の機能が、図３のリファイン画像生成部１４１、特定部１４３の機能と異なる点である。
はじめに、第２の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図１０は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３に示した誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部１０１０、特定部１０２０の機能が、図３のリファイン画像生成部１４１、特定部１４３の機能と異なる点である。
【0101】
（１）リファイン画像生成部の詳細
図１０に示すように、リファイン画像生成部１０１０において、画像リファイナ部３０１には、誤推論画像が入力される。また、画像リファイナ部３０１により出力されるリファイン画像は、推論部３０３に入力される。これにより、リファイン画像生成部１０１０では、誤推論画像からスコア最大化リファイン画像を生成する。
図１０に示すように、リファイン画像生成部１０１０において、画像リファイナ部３０１には、誤推論画像が入力される。また、画像リファイナ部３０１により出力されるリファイン画像は、推論部３０３に入力される。これにより、リファイン画像生成部１０１０では、誤推論画像からスコア最大化リファイン画像を生成する。
【0102】
（２）特定部の詳細
図１０に示すように、特定部１０２０は、マスク画像生成部３２２を有しておらず、変更領域制限情報生成部３２１により規定された変更可能領域及び変更不可領域は、領域抽出部３２３にのみ通知される。
図１０に示すように、特定部１０２０は、マスク画像生成部３２２を有しておらず、変更領域制限情報生成部３２１により規定された変更可能領域及び変更不可領域は、領域抽出部３２３にのみ通知される。
【0103】
なお、紙面の都合上、図１０の特定部１０２０には推論部３０３を含めて示しているが、当該推論部３０３は、リファイン画像生成部１０１０に含まれる推論部３０３と同じものである。
【0104】
＜特定部の処理の具体例＞
次に、特定部１０２０において合成画像が生成されるまでの処理の具体例について説明する。図１１は、合成画像が生成されるまでの処理の具体例を示す第２の図である。図１１の上段において、画像５２１は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、白色部分と黒色部分として表したものである。
次に、特定部１０２０において合成画像が生成されるまでの処理の具体例について説明する。図１１は、合成画像が生成されるまでの処理の具体例を示す第２の図である。図１１の上段において、画像５２１は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、白色部分と黒色部分として表したものである。
【0105】
図１１の上段に示すように、領域抽出部３２３は、画像リファイナ部３０１にて誤推論画像４１０が変更されることで生成されたスコア最大化リファイン画像４２０を取得する。また、領域抽出部３２３は、取得したスコア最大化リファイン画像４２０から、変更可能領域に対応する画像部分１１１０を抽出する。
【0106】
一方、図１１の下段において、画像５２１’は、変更領域制限情報生成部３２１が第２のレベルに基づいて規定した変更可能領域及び変更不可領域を、それぞれ、黒色部分と白色部分として表したものである。なお、画像５２１’は、画像５２１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図１１の下段では、白色部分を変更不可領域、黒色部分を変更可能領域としている）。
【0107】
図１１の下段に示すように、領域抽出部３２３は、誤推論画像４１０から、変更不可領域に対応する画像部分１１１１を抽出する。
【0108】
図１１に示す合成画像１１２０は、スコア最大化リファイン画像４２０から抽出された変更可能領域に対応する画像部分と、誤推論画像４１０から抽出された変更不可領域に対応する画像部分１１１１とを合成することで得られた合成画像である。
【0109】
なお、図１１の例は、第２のレベルに基づいて規定された変更可能領域及び変更不可領域を用いて合成画像１１２０を生成するまでの処理を示したが、第３のレベル～第５のレベルについても同様の処理が行われ、順次、合成画像が生成される。
【0110】
＜誤推論原因抽出処理の流れ＞
次に、第２の実施形態に係る解析装置１００における、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１２は、誤推論原因抽出処理の流れを示す第３のフローチャートである。
次に、第２の実施形態に係る解析装置１００における、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１２は、誤推論原因抽出処理の流れを示す第３のフローチャートである。
【0111】
ステップＳ１２０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、変更領域制限情報生成部３２１は、変更可能領域及び変更不可領域を規定する際に用いるレベルに初期値を設定する（例えば、第２のレベルに設定する）。
【0112】
ステップＳ１２０２において、画像リファイナ部３０１は、誤推論画像を変更し、リファイン画像を生成する。
【0113】
ステップＳ１２０３において、推論部３０３は、リファイン画像を入力として推論し、正解ラベルのスコアを算出する。
【0114】
ステップＳ１２０４において、画像リファイナ部３０１は、画像差分値とスコア誤差を用いてＣＮＮの学習を行う。
【0115】
ステップＳ１２０５において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１２０５において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１２０５においてＮｏの場合には）、ステップＳ１２０２に戻り、リファイン画像の生成を継続する。
【0116】
一方、ステップＳ１２０５において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１２０５においてＹｅｓの場合は）、ステップＳ１２０６に進む。なお、この時点で、リファイン画像格納部３０５には、スコア最大化リファイン画像が格納されている。
【0117】
ステップＳ１２０６において、注目領域導出部３１１は、ステップＳ１００３において推論した際の推論部構造情報及び特徴マップに基づいて、Ｇｒａｄ－ＣＡＭ法により、注目度合いマップを生成する。
【0118】
ステップＳ１２０７において、変更領域制限情報生成部３２１は、注目度合いマップにおいて、所定のレベル以上の領域を変更可能領域と規定し、所定のレベル未満の領域を変更不可領域と規定する。
【0119】
ステップＳ１２０８において、領域抽出部３２３は、スコア最大化リファイン画像から変更可能領域に対応する画像部分を抽出する。
【0120】
ステップＳ１２０９において、領域抽出部３２３は、誤推論画像から変更不可領域に対応する画像部分を抽出する。
【0121】
ステップＳ１２１０において、合成部３２４は、スコア最大化リファイン画像から抽出された変更可能領域に対応する画像部分と、誤推論画像から抽出された変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0122】
ステップＳ１２１１において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。
【0123】
ステップＳ１２１２において、判断部３２５は、ステップＳ１２１１において算出された正解ラベルのスコアが、スコア許容値より小さいか否かを判定する。ステップＳ１２１２において、スコア許容値以上であると判定された場合には（ステップＳ１２１２においてＮｏの場合には）、ステップＳ１２１３に進む。
【0124】
ステップＳ１２１３において、変更領域制限情報生成部３２１は、レベルを上げることにより変更可能領域及び変更不可領域を更新し、ステップＳ１２０８に戻る。
【0125】
一方、ステップＳ１２１２において、スコア許容値より小さいと判定された場合には（ステップＳ１２１２においてＹｅｓの場合には）、ステップＳ１２１４に進む。
【0126】
ステップＳ１２１４において、変更領域制限情報生成部３２１は、前回の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力する。
【0127】
以上の説明から明らかなように、第２の実施形態に係る解析装置１００は、誤推論画像全体に対してスコア最大化リファイン画像を生成する。また、第２の実施形態に係る解析装置１００は、スコア最大化リファイン画像を入力として推論した際の、推論部の構造情報から、Ｇｒａｄ－ＣＡＭ法を用いて注目度合いマップを生成する。また、第２の実施形態に係る解析装置１００は、生成した注目度合いマップに基づいて規定した変更可能領域（正解ラベルの推論に影響する領域）を、スコア最大化リファイン画像で置き換えた誤推論画像を、推論部に入力することで推論する。更に、第２の実施形態に係る解析装置１００は、推論した正解ラベルのスコアから、変更可能領域を絞り込むことで、誤推論の原因となる画像箇所を特定する。
【0128】
このように、正解ラベルの推論に影響する領域をスコア最大化リファイン画像で置き換え、置き換えの効果を参照しながら領域を絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。つまり、第２の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【0129】
また、第２の実施形態によれば、上記第１の実施形態と比較して、スコア最大化リファイン画像を生成する回数を減らすことが可能となり、マスク画像ごとにスコア最大化リファイン画像を生成する必要がなくなる。この結果、第２の実施形態によれば、誤推論原因抽出処理時の解析装置１００の処理負荷を低減させることができる。
【0130】
［第３の実施形態］
上記第１及び第２の実施形態では、所定のスコア許容値を下回る直前の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力した。しかしながら、誤推論の原因となる画像箇所の出力方法はこれに限定されず、例えば、所定のスコア許容値を下回る直前の変更可能領域に限定して、ＧＢＰ法により可視化した特徴部分を出力してもよい。これにより、誤推論画像全体に対してＧＢＰ法により可視化する場合と比較して、限定した範囲の誤推論の原因を示すことができるからである。
上記第１及び第２の実施形態では、所定のスコア許容値を下回る直前の変更可能領域を、誤推論の原因となる画像箇所として特定し、出力した。しかしながら、誤推論の原因となる画像箇所の出力方法はこれに限定されず、例えば、所定のスコア許容値を下回る直前の変更可能領域に限定して、ＧＢＰ法により可視化した特徴部分を出力してもよい。これにより、誤推論画像全体に対してＧＢＰ法により可視化する場合と比較して、限定した範囲の誤推論の原因を示すことができるからである。
【0131】
また、上記第１及び第２の実施形態では、変更領域制限情報生成部３２１が変更可能領域及び変更不可領域を更新するにあたり、最初に低いレベルを設定し、レベルを徐々に上げていくものとして説明した。しかしながら、変更領域制限情報生成部３２１は、最初に高いレベルを設定しておき、レベルを徐々に下げていってもよい。
【0132】
なお、この場合、判断部３２５では、推論部３０３により推論される正解ラベルのスコアが、予め定められたスコア許容値を上回った直後の変更可能領域を、誤推論の原因となる画像箇所として特定する。
【0133】
あるいは、レベルを徐々に上げていった場合に特定した、誤推論の原因となる画像箇所と、レベルを徐々に下げていった場合に特定した、誤推論の原因となる画像箇所と、を用いて、最終的な誤推論の原因となる画像箇所を特定するようにしてもよい。
【0134】
［第４の実施形態］
上記第１乃至第３の実施形態では、Ｇｒａｄ－ＣＡＭ法を用いて生成した注目度合いマップに基づいて、変更可能領域及び変更不可領域を規定した。しかしながら、変更可能領域及び変更不可領域を規定するためのマップは、注目度合いマップに限定されない。
上記第１乃至第３の実施形態では、Ｇｒａｄ－ＣＡＭ法を用いて生成した注目度合いマップに基づいて、変更可能領域及び変更不可領域を規定した。しかしながら、変更可能領域及び変更不可領域を規定するためのマップは、注目度合いマップに限定されない。
【0135】
また、上記第１及び第２の実施形態では、注目度合いマップにおいて、注目度合いのレベルを上げることで、変更可能領域（正解ラベルの推論に影響する領域）を絞り込んだが、変更可能領域を絞り込む方法はこれに限定されない。
【0136】
以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。
【0137】
＜誤推論原因抽出部の機能構成＞
はじめに、第４の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図１３は、誤推論原因抽出部の機能構成の一例を示す第３の図である。図１０に示した誤推論原因抽出部の機能構成との相違点は、マップ生成部１３１０及び特定部１３２０である。以下、マップ生成部１３１０及び特定部１３２０の詳細について説明する。
はじめに、第４の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図１３は、誤推論原因抽出部の機能構成の一例を示す第３の図である。図１０に示した誤推論原因抽出部の機能構成との相違点は、マップ生成部１３１０及び特定部１３２０である。以下、マップ生成部１３１０及び特定部１３２０の詳細について説明する。
【0138】
（１）マップ生成部の詳細
はじめに、マップ生成部１３１０の詳細について説明する。図１３に示すように、マップ生成部１３１０は、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３を有する。
はじめに、マップ生成部１３１０の詳細について説明する。図１３に示すように、マップ生成部１３１０は、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３を有する。
【0139】
重要特徴マップ生成部１３１１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部１３１１は、ＢＰ（Back Propagation）法またはＧＢＰ（Guided Back Propagation）法を用いることで、推論部構造情報に基づいて“重要特徴マップ”を生成する。重要特徴マップとは、推論の際に反応した特徴部分を可視化したマップである。
【0140】
なお、ＢＰ法は、推論したラベルが正解する入力データ（ここでは、スコア最大化リファイン画像）の推論を行うことで得た分類確率から各クラスの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
【0141】
ここで、重要特徴マップを生成するにあたっては、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法あるいはＧＢＰ法を用いて処理を行ってもよい。その場合、可視化される特徴部分は、正解ラベルのスコアのみに影響を与える特徴部分となる。
【0142】
劣化尺度マップ生成部１３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて“劣化尺度マップ”を生成する。劣化尺度マップとは、変更部分と各変更部分の変更度合いとを示したマップである。
【0143】
重畳部１３１３は、重要特徴マップ生成部１３１１において生成された重要特徴マップと、劣化尺度マップ生成部１３１２において生成された劣化尺度マップとを重畳して、重要特徴指標マップを生成する。
【0144】
（２）特定部の詳細
次に、特定部１３２０の詳細について説明する。図１３に示すように、特定部１３２０は、スーパーピクセル分割部１３２１、重要スーパーピクセル決定部１３２２、重要スーパーピクセル評価部１３２３を有する。
次に、特定部１３２０の詳細について説明する。図１３に示すように、特定部１３２０は、スーパーピクセル分割部１３２１、重要スーパーピクセル決定部１３２２、重要スーパーピクセル評価部１３２３を有する。
【0145】
スーパーピクセル分割部１３２１は、誤推論画像を、誤推論画像に含まれるオブジェクト（本実施形態では車両）の部品ごとの領域である“スーパーピクセル”に分割し、スーパーピクセル分割情報を出力する。なお、誤推論画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。
【0146】
重要スーパーピクセル決定部１３２２は、スーパーピクセル分割部１３２１により出力されたスーパーピクセル分割情報に基づいて、重畳部１３１３により生成された重要特徴指標マップの各画素の値を、スーパーピクセルごとに加算する。
【0147】
また、重要スーパーピクセル決定部１３２２は、各スーパーピクセルのうち、加算した各画素の加算値が所定の閾値（重要特徴指標閾値）以上のスーパーピクセルを抽出する。また、重要スーパーピクセル決定部１３２２は、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。
【0148】
更に、重要スーパーピクセル決定部１３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出し、リファイン画像から、変更可能領域に対応する画像部分を抽出し、両者を合成することで、合成画像を生成する。画像リファイナ部３０１からは、学習回数に応じた数のリファイン画像が出力されるため、重要スーパーピクセル決定部１３２２では、当該数のリファイン画像それぞれについて、合成画像を生成する。
【0149】
なお、重要スーパーピクセル決定部１３２２では、変更可能領域及び変更不可領域を規定する際に用いる重要特徴指標閾値を徐々に下げることで、抽出するスーパーピクセルの数を増やす（変更可能領域を広げ、変更不可領域を狭めていく）。また、重要スーパーピクセル決定部１３２２では、抽出したスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えながら、変更可能領域及び変更不可領域を更新する。
【0150】
重要スーパーピクセル評価部１３２３は、重要スーパーピクセル決定部１３２２において生成された合成画像が推論部３０３に入力されるごとに推論される正解ラベルのスコアを取得する。上述したように、重要スーパーピクセル決定部１３２２では、画像リファイナ部３０１により出力されたリファイン画像の数、重要特徴指標閾値を下げる回数、スーパーピクセルの組み合わせの数、に応じた数の合成画像を生成する。このため、重要スーパーピクセル評価部１３２３では、当該数に応じた正解ラベルのスコアを取得する。また、重要スーパーピクセル評価部１３２３は、取得したスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0151】
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部（ここでは、マップ生成部１３１０及び特定部１３２０）の処理の具体例について説明する。
次に、誤推論原因抽出部１４０の各部（ここでは、マップ生成部１３１０及び特定部１３２０）の処理の具体例について説明する。
【0152】
（１）マップ生成部の処理の具体例
はじめに、マップ生成部１３１０の処理の具体例について説明する。図１４は、マップ生成部の処理の具体例を示す図である。
はじめに、マップ生成部１３１０の処理の具体例について説明する。図１４は、マップ生成部の処理の具体例を示す図である。
【0153】
図１４に示すように、マップ生成部１３１０において重要特徴マップ生成部１３１１は、推論部３０３がスコア最大化リファイン画像を入力として推論した際の推論部構造情報１４０１を、推論部３０３から取得する。また、重要特徴マップ生成部１３１１は、取得した推論部構造情報１４０１に基づいて、重要特徴マップ１４２１を生成する。重要特徴マップ生成部１３１１では、ＢＰ法またはＧＢＰ法を用いることで、重要特徴マップ１４２１を生成する。
【0154】
また、重要特徴マップ生成部１３１１は、生成した重要特徴マップ１４２１をグレイスケール化し、グレイスケール化重要特徴マップ１４２２を生成する。なお、グレイスケール化の処理において、重要特徴マップ生成部１３１１は、重要特徴マップ１４２１に対してスケーリング処理を行ってもよく、また、各画素の値として、絶対値を算出してもよい。
【0155】
図１４に示すグレイスケール化重要特徴マップ１４２２は、重要特徴マップ１４２１を０から２５５の画素値に変換することでグレイスケール化されている。このため、グレイスケール化重要特徴マップ１４２２において、画素値が２５５に近い画素は、推論時に注目される画素であり、画素値が０に近い画素は、推論時に注目されない画素である。
【0156】
一方、劣化尺度マップ生成部１３１２は、リファイン画像格納部３０５よりスコア最大化リファイン画像１４１２を読み出し、誤推論画像１４１１との間でＳＳＩＭ（Structural Similarity）演算を行う。これにより、劣化尺度マップ生成部１３１２は、劣化尺度マップ１４３１を生成する。劣化尺度マップは０から１の値をとり、画素値が１に近いほど、画像の差分が小さいことを表し、画素値が０に近いほど、画像の差分が大きいことを表す。
【0157】
また、重畳部１３１３は、重要特徴マップ生成部１３１１により生成されたグレイスケール化重要特徴マップ１４２２と、劣化尺度マップ生成部１３１２により生成された劣化尺度マップ１４３１とを用いて、重要特徴指標マップ１４４１を生成する。
【0158】
具体的には、重畳部１３１３は、下式に基づいて、重要特徴指標マップ１４４１を生成する。
【0159】
（式１）
重要特徴指標マップ＝グレイスケール化重要特徴マップ×（１－劣化尺度マップ）
重要特徴指標マップ＝グレイスケール化重要特徴マップ×（１－劣化尺度マップ）
【0160】
上式において、（１－劣化尺度マップ）の項は、０から１の値をとり、１に近いほど画像の差分が大きく、０に近いほど画像の差分が小さい。したがって、重要特徴指標マップ１４４１は、推論時に注目される画素の注目度合いを示すグレイスケール化重要特徴マップに、画像の差分の大小による強弱をつけた画像となる。
【0161】
具体的には、重要特徴指標マップ１４４１は、
・劣化尺度マップ１４３１において画像の差分が小さい部分は、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ１４３１において画像の差分が大きい部分は、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
・劣化尺度マップ１４３１において画像の差分が小さい部分は、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ１４３１において画像の差分が大きい部分は、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
【0162】
【0163】
（式２）
（反転した）重要特徴指標マップ＝２５５－［グレイスケール化重要特徴マップ×（１－劣化尺度マップ）］
（反転した）重要特徴指標マップ＝２５５－［グレイスケール化重要特徴マップ×（１－劣化尺度マップ）］
【0164】
ここで、重畳部１３１３が、上式に基づいて、グレイスケール化重要特徴マップ１４２２と劣化尺度マップ１４３１とを重畳することによる利点について説明する。
【0165】
重要特徴マップ生成部１３１１において生成されるグレイスケール化重要特徴マップ１４２２は、スコア最大化リファイン画像を入力として推論し、正解ラベルのスコアが最大となった際に、推論部３０３が算出した注目部分に他ならない。
【0166】
一方、劣化尺度マップ生成部１３１２において生成される劣化尺度マップ１４３１は、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分を表しており、誤推論の原因となる領域を表している。ただし、劣化尺度マップ生成部１３１２において生成される劣化尺度マップ１４３１は、正解ラベルのスコアを最大化するために必要な最小限の領域ではない。
【0167】
重畳部１３１３では、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分と、推論部３０３が算出した注目部分とを重畳することで、正解ラベルのスコアを最大化するために必要な領域を絞り込む。これにより、誤推論の原因となる領域を絞り込むことができる。
【0168】
（２）特定部に含まれるスーパーピクセル分割部の処理の具体例
次に、特定部１３２０に含まれるスーパーピクセル分割部１３２１の処理の具体例について説明する。図１５は、スーパーピクセル分割部の処理の具体例を示す図である。図１５に示すように、スーパーピクセル分割部１３２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行うＳＬＩＣ部１５１０を有する。ＳＬＩＣ部１５１０は、誤推論画像１４１１を、誤推論画像１４１１に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部１３２１は、ＳＬＩＣ部１５１０によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報１５０１を出力する。
次に、特定部１３２０に含まれるスーパーピクセル分割部１３２１の処理の具体例について説明する。図１５は、スーパーピクセル分割部の処理の具体例を示す図である。図１５に示すように、スーパーピクセル分割部１３２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行うＳＬＩＣ部１５１０を有する。ＳＬＩＣ部１５１０は、誤推論画像１４１１を、誤推論画像１４１１に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部１３２１は、ＳＬＩＣ部１５１０によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報１５０１を出力する。
【0169】
（３）特定部に含まれる重要スーパーピクセル決定部の処理の具体例
次に、特定部１３２０に含まれる重要スーパーピクセル決定部１３２２の処理の具体例について説明する。図１６は、重要スーパーピクセル決定部の処理の具体例を示す図である。
次に、特定部１３２０に含まれる重要スーパーピクセル決定部１３２２の処理の具体例について説明する。図１６は、重要スーパーピクセル決定部の処理の具体例を示す図である。
【0170】
図１６に示すように、重要スーパーピクセル決定部１３２２は、領域抽出部１６１０、合成部１６１１を有する。
【0171】
重要スーパーピクセル決定部１３２２では、重畳部１３１３より出力された重要特徴指標マップ１４４１と、スーパーピクセル分割部１３２１より出力されたスーパーピクセル分割情報１５０１とを重ね合わせる。これにより、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像１６０１を生成する。なお、図１６では、重要特徴指標マップ１４４１として、（反転した）重要特徴指標マップを表示している。
【0172】
また、重要スーパーピクセル決定部１３２２では、生成した重要スーパーピクセル画像１６０１内の各スーパーピクセルについて、重要特徴指標マップ１４４１の各画素の値を加算する。
【0173】
なお、マップ生成部１３１０において、重要特徴指標マップ１４４１生成時にスケーリング処理が行われていたとしても、重要スーパーピクセル決定部１３２２における加算操作は、当該スケーリング処理の影響を受けない。
【0174】
また、重要スーパーピクセル決定部１３２２では、スーパーピクセルごとの加算値が、重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。なお、図１６において、重要スーパーピクセル画像１６０２は、スーパーピクセルごとの加算値の一例を明示したものである
また、重要スーパーピクセル決定部１３２２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。更に、重要スーパーピクセル決定部１３２２は、規定した変更可能領域及び変更不可領域を領域抽出部１６１０に通知する。
また、重要スーパーピクセル決定部１３２２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。更に、重要スーパーピクセル決定部１３２２は、規定した変更可能領域及び変更不可領域を領域抽出部１６１０に通知する。
【0175】
領域抽出部１６１０は、誤推論画像１４１１から、変更不可領域に対応する画像部分を抽出し、リファイン画像１６２１から、変更可能領域に対応する画像部分を抽出する。
【0176】
合成部１６１１は、リファイン画像１６２１から抽出した変更可能領域に対応する画像部分と、誤推論画像１４１１から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0177】
図１７は、領域抽出部及び合成部の処理の具体例を示す第２の図である。図１７において、上段は、領域抽出部１６１０が、リファイン画像１６２１から、変更可能領域に対応する画像部分（画像１７０１の白色部分）を抽出した様子を示している。
【0178】
一方、図１７において、下段は、領域抽出部１６１０が、誤推論画像１４１１から、変更不可領域に対応する画像部分（画像１７０１’の白色部分）を抽出した様子を示している。なお、画像１７０１’は、画像１７０１の白色部分と黒色部分とを反転した画像である（説明の便宜上、図１７の下段では、白色部分を、変更不可領域に対応する画像部分としている）。
【0179】
合成部１６１１は、図１７に示すように、領域抽出部１６１０より出力された、リファイン画像１６２１の変更可能領域に対応する画像部分と、誤推論画像１４１１の変更不可領域に対応する画像部分とを合成し、合成画像１７２０を生成する。
【0180】
このように、特定部１３２０によれば、合成画像１７２０を生成する際、重要特徴マップ１４２１及び劣化尺度マップ１４３１を用いることで、リファイン画像１６２１で置き換える領域を、スーパーピクセル単位で絞り込むことができる。
【0181】
【0182】
ステップＳ１８０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、判断部３２５は、重要特徴指標閾値及びその下限値を、ユーザが指示した値に設定する。
【0183】
ステップＳ１８０２において、画像リファイナ部３０１は、誤推論画像を変更し、リファイン画像を生成する。
【0184】
ステップＳ１８０３において、推論部３０３は、リファイン画像を入力として推論し、正解ラベルのスコアを算出する。
【0185】
ステップＳ１８０４において、画像リファイナ部３０１は、画像差分値とスコア誤差とを用いてＣＮＮの学習を行う。
【0186】
ステップＳ１８０５において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１８０５において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１８０５においてＮｏの場合には）、ステップＳ１８０２に戻り、リファイン画像の生成を継続する。
【0187】
一方、ステップＳ１８０５において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１８０５においてＹｅｓの場合は）、ステップＳ１８０６に進む。なお、この時点で、リファイン画像格納部３０５には、学習ごとに生成されたリファイン画像（スコア最大化リファイン画像を含む）が格納されている。
【0188】
ステップＳ１８０６において、重要特徴マップ生成部１３１１は、推論部３０３よりスコア最大化リファイン画像を入力として推論された際の推論部構造情報を取得し、取得した推論部構造情報に基づいて重要特徴マップを生成する。
【0189】
ステップＳ１８０７において、劣化尺度マップ生成部１３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、劣化尺度マップを生成する。
【0190】
ステップ１８０８において、重畳部１３１３は、重要特徴マップと劣化尺度マップとに基づいて、重要特徴指標マップを生成する。
【0191】
ステップＳ１８０９において、スーパーピクセル分割部１３２１は、誤推論画像をスーパーピクセルに分割し、スーパーピクセル分割情報を生成する。
【0192】
ステップＳ１８１０において、重要スーパーピクセル決定部１３２２は、重要特徴指標マップの各画素の値を、スーパーピクセル単位で加算する。
【0193】
ステップＳ１８１１において、重要スーパーピクセル決定部１３２２は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域を規定する。また、重要スーパーピクセル決定部１３２２は、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。
【0194】
続いて、図１９のステップＳ１９０１において、重要スーパーピクセル決定部１３２２は、リファイン画像格納部３０５からリファイン画像を読み出す。
【0195】
ステップＳ１９０２において、重要スーパーピクセル決定部１３２２は、リファイン画像から、変更可能領域に対応する画像部分を抽出する。
【0196】
ステップＳ１９０３において、重要スーパーピクセル決定部１３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出する。
【0197】
ステップＳ１９０４において、重要スーパーピクセル決定部１３２２は、リファイン画像から抽出した変更可能領域に対応する画像部分と、誤推論画像から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0198】
ステップＳ１９０５において、推論部３０３は、合成画像を入力として推論し、正解ラベルのスコアを算出する。また、重要スーパーピクセル評価部１３２３は、推論部３０３により算出された正解ラベルのスコアを取得する。
【0199】
ステップＳ１９０７において、画像リファイナ部３０１は、リファイン画像格納部３０５に格納された全てのリファイン画像を読み出したか否かを判定する。ステップＳ１９０７において、読み出していないリファイン画像があると判定した場合には（ステップＳ１９０７においてＮｏの場合には）、ステップＳ１９０１に戻る。
【0200】
一方、ステップＳ１９０７において、全てのリファイン画像を読み出したと判定した場合には（ステップＳ１９０７においてＹｅｓの場合には）、ステップＳ１９０８に進む。
【0201】
ステップＳ１９０８において、重要スーパーピクセル決定部１３２２は、重要特徴指標閾値が下限値に到達したか否かを判定する。ステップＳ１９０８において、下限値に到達していないと判定した場合には（ステップＳ１９０８においてＮｏの場合には）、ステップＳ１９０９に進む。
【0202】
ステップＳ１９０９において、重要スーパーピクセル決定部１３２２は、重要特徴指標閾値を下げた後、図１８のステップＳ１８１１に戻る。
【0203】
一方、ステップＳ１９０８において、下限値に到達したと判定した場合には（ステップＳ１９０８においてＹｅｓの場合には）、ステップＳ１９１０に進む。
【0204】
ステップＳ１９１０において、重要スーパーピクセル評価部１３２３は、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0205】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２０は、誤推論原因抽出処理の具体例を示す第１の図である。
次に、誤推論原因抽出処理の具体例について説明する。図２０は、誤推論原因抽出処理の具体例を示す第１の図である。
【0206】
図２０に示すように、はじめに、リファイン画像生成部１０１０により、誤推論画像からスコア最大化リファイン画像が生成されると、マップ生成部１３１０では、重要特徴指標マップを生成する。
【0207】
続いて、誤推論画像に基づいて、スーパーピクセル分割部１３２１によりスーパーピクセル分割情報が生成されると、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像を生成する。
【0208】
続いて、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像に基づいて変更可能領域及び変更不可領域を規定する。このとき、重要スーパーピクセル決定部１３２２では、重要特徴指標閾値を変えるとともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択する組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部１３２２では、生成した複数の変更可能領域と変更不可領域との組を用いて、合成画像を生成する（図２０の例は、スコア最大化リファイン画像を利用して合成画像を生成する場合を示している）。
【0209】
続いて、重要スーパーピクセル評価部１３２３では、生成された合成画像を入力として推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部１３２３では、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0210】
なお、リファイン画像生成部１０１０により生成された複数のリファイン画像を利用して合成画像を生成するにあたっては、
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
【0211】
以上の説明から明らかなように、第４の実施形態に係る解析装置１００は、誤推論画像について、推論の正解ラベルのスコアが最大となるように変更しながら、スコア最大化リファイン画像を生成する。また、第４の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて生成された重要特徴マップと劣化尺度マップとを取得し、両者を重畳することで、重要特徴指標マップを生成する。また、第４の実施形態に係る解析装置１００は、誤推論画像を分割することでスーパーピクセルを生成し、重要特徴指標マップの各画素値を、スーパーピクセル単位で加算する。また、第４の実施形態に係る解析装置１００は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルの組み合わせに基づいて、変更可能領域と変更不可領域とを規定する。また、第４の実施形態に係る解析装置１００は、規定した変更可能領域（正解ラベルの推論に影響する領域）をリファイン画像で置き換えた誤推論画像を、推論部に入力することで推論する。更に第４の実施形態に係る解析装置１００は、重要特徴指標閾値及び選択するスーパーピクセルの組み合わせを変えながら推論し、推論した正解ラベルの各スコアから、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定する。
【0212】
このように、正解ラベルの推論に影響するスーパーピクセルをリファイン画像で置き換え、置き換えの効果を参照しながら、スーパーピクセルを絞り込むことで、誤推論の原因となる画像箇所を精度よく特定することができる。つまり、第４の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【0213】
［第５の実施形態］
上記第４の実施形態では、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて、重要特徴指標マップを生成した。これに対して、第５の実施形態では、スコア最大化リファイン画像を生成するまでの学習中に取得した、重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。また、重要スーパーピクセル決定部１３２２では、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。以下、第５の実施形態について、上記第４の実施形態との相違点を中心に説明する。
上記第４の実施形態では、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて、重要特徴指標マップを生成した。これに対して、第５の実施形態では、スコア最大化リファイン画像を生成するまでの学習中に取得した、重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。また、重要スーパーピクセル決定部１３２２では、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。以下、第５の実施形態について、上記第４の実施形態との相違点を中心に説明する。
【0214】
＜誤推論原因抽出部の機能構成＞
はじめに、第５の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図２１は、誤推論原因抽出部の機能構成の一例を示す第４の図である。図１３に示す誤推論原因抽出部の機能構成との相違点は、マップ生成部２１１０である。以下、マップ生成部２１１０の詳細について説明する。
はじめに、第５の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図２１は、誤推論原因抽出部の機能構成の一例を示す第４の図である。図１３に示す誤推論原因抽出部の機能構成との相違点は、マップ生成部２１１０である。以下、マップ生成部２１１０の詳細について説明する。
【0215】
図２１に示すように、マップ生成部２１１０は、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３に加えて、平均化部２１１１を有する。
【0216】
マップ生成部２１１０は、画像リファイナ部３０１の学習中に生成されたリファイン画像と、当該リファイン画像を入力として推論部３０３が推論した際の推論部構造情報とを、逐次、取得する。また、リファイン画像及び推論部構造情報を取得するごとに、マップ生成部２１１０では、重要特徴マップ生成部１３１１、劣化尺度マップ生成部１３１２、重畳部１３１３が動作し、重要特徴指標マップを生成する。
【0217】
平均化部２１１１は、重要特徴マップ生成部１３１１及び劣化尺度マップ生成部１３１２がリファイン画像及び推論部構造情報を取得するごとに重畳部１３１３が生成した複数回分の重要特徴指標マップの平均値を算出し、平均重要特徴指標マップを生成する。
【0218】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２２は、誤推論原因抽出処理の具体例を示す第２の図である。
次に、誤推論原因抽出処理の具体例について説明する。図２２は、誤推論原因抽出処理の具体例を示す第２の図である。
【0219】
図２２に示すように、リファイン画像生成部１０１０において、画像リファイナ部３０１が、１回目の学習結果に基づき、誤推論画像からリファイン画像を生成すると、マップ生成部１３１０では、重要特徴指標マップを生成する。
【0220】
また、リファイン画像生成部１０１０において、画像リファイナ部３０１が、２回目の学習結果に基づき、誤推論画像からリファイン画像を生成すると、マップ生成部１３１０では、重要特徴指標マップを生成する。以降、同様の処理を繰り返し、リファイン画像生成部１０１０がスコア最大化リファイン画像を生成すると、マップ生成部１３１０では、重要特徴指標マップを生成する。
【0221】
続いて、平均化部２１１１では、１回目のリファイン画像が生成されてからスコア最大化リファイン画像が生成されるまでの間に生成された、複数回分の重要特徴指標マップを取得する。また、平均化部２１１１では、取得した複数回分の重要特徴指標マップの平均値を算出し、平均重要特徴指標マップを生成する。
【0222】
続いて、スーパーピクセル分割部１３２１では、誤推論画像に基づいて、スーパーピクセル分割情報を生成し、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像を生成する。
【0223】
続いて、重要スーパーピクセル決定部１３２２では、重要スーパーピクセル画像に基づいて変更可能領域及び変更不可領域を規定する。このとき、重要スーパーピクセル決定部１３２２では、重要特徴指標閾値を変えるととともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択する組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部１３２２では、生成した複数の変更可能領域と変更不可領域との組を用いて、合成画像を生成する（図２２の例は、スコア最大化リファイン画像を利用して合成画像を生成する場合を示している）。
【0224】
続いて、重要スーパーピクセル評価部１３２３では、生成された合成画像を入力として推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部１３０３では、取得した正解ラベルに基づいて誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0225】
なお、上記誤推論原因抽出処理において、リファイン画像を取得して重要特徴指標マップを生成する間隔は任意であり、１回の学習ごとに重要特徴指標マップを生成しても、複数回の学習ごとに重要特徴指標マップを生成してもよい。また、リファイン画像を取得して重要特徴指標マップを生成するにあたり、推論部３０３の正解ラベルのスコアを評価し、所定の閾値よりも大きい場合に、リファイン画像を取得して重要特徴指標マップを生成してもよい。
【0226】
また、リファイン画像生成部１０１０により生成された複数のリファイン画像を利用して合成画像を生成するにあたっては、
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
【0227】
以上の説明から明らかなように、第５の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成するまでの学習中に生成した、重要特徴指標マップに基づいて、平均重要特徴指標マップを生成する。また、第５の実施形態に係る解析装置１００は、平均重要特徴指標マップに基づいて、重要特徴指標閾値以上のスーパーピクセルを抽出する。
【0228】
これにより、第５の実施形態によれば、上記第４の実施形態による効果に加えて、更に、リファイン画像のゆらぎによる、重要特徴指標マップへの影響を低減させることが可能となる。
【0229】
［第６の実施形態］
上記第４の実施形態では、スコア最大化リファイン画像が生成され、重要特徴指標マップが生成されると、特定部１３２０では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。
上記第４の実施形態では、スコア最大化リファイン画像が生成され、重要特徴指標マップが生成されると、特定部１３２０では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。
【0230】
また、上記第５の実施形態では、スコア最大化リファイン画像が生成され、平均重要特徴指標マップが生成されると、特定部１３２０では、変更可能領域及び変更不可領域を規定し、誤推論の原因となる画像箇所を特定する処理を開始するものとして説明した。
【0231】
これに対して、第６の実施形態では、特定部１３２０が変更可能領域及び変更不可領域を規定した後に、リファイン画像生成部が、規定された変更可能領域を加味して、再度、スコア最大化リファイン画像を生成しなおす。
【0232】
このように、変更可能領域を加味してスコア最大化リファイン画像を再生成することで、第６の実施形態によれば、正解ラベルの推論に影響する特徴部分がより明確になった重要特徴指標マップ（あるいは平均重要特徴指標マップ）を生成することが可能となる。この結果、合成画像を入力としてラベルを推論した際のスコアを上げることが可能となる。
【0233】
以下、第６の実施形態について、上記第４または第５の実施形態との相違点を中心に説明する。
【0234】
＜誤推論原因抽出部の機能構成＞
はじめに、第６の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図２３は、誤推論原因抽出部の機能構成の一例を示す第５の図である。図２１に示す誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部２３１０及び特定部２３２０である。以下、リファイン画像生成部２３１０及び特定部２３２０の詳細について説明する。
はじめに、第６の実施形態に係る解析装置の、誤推論原因抽出部の機能構成について説明する。図２３は、誤推論原因抽出部の機能構成の一例を示す第５の図である。図２１に示す誤推論原因抽出部の機能構成との相違点は、リファイン画像生成部２３１０及び特定部２３２０である。以下、リファイン画像生成部２３１０及び特定部２３２０の詳細について説明する。
【0235】
（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部２３１０の詳細について説明する。図２３に示すように、リファイン画像生成部２３１０は、リファイン画像生成部１０１０の画像誤差演算部３０２とは機能の異なる画像誤差演算部２３１１を有する。
はじめに、リファイン画像生成部２３１０の詳細について説明する。図２３に示すように、リファイン画像生成部２３１０は、リファイン画像生成部１０１０の画像誤差演算部３０２とは機能の異なる画像誤差演算部２３１１を有する。
【0236】
画像誤差演算部２３１１は、画像誤差演算部３０２と同様、学習中に画像リファイナ部３０１に入力される誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。ただし、画像誤差演算部２３１１の場合、画像リファイナ部３０１に画像差分値を入力する際、補正部２３２１より通知された変更可能領域に対応する画像部分について、画像差分値を補正する。
【0237】
具体的には、画像誤差演算部２３１１は、変更可能領域に対応する画像部分の画像差分値に１未満の係数をかけて補正する。これにより、画像リファイナ部３０１では、変更可能領域に対応する画像部分の画像差分値を、変更可能領域以外の領域に対応する画像部分の画像差分値よりも弱めて再学習したうえで、スコア最大化リファイン画像を再生成することができる。
【0238】
（２）特定部の詳細
次に、特定部２３２０の詳細について説明する。図２３に示すように、特定部２３２０は、スーパーピクセル分割部１３２１、重要スーパーピクセル決定部１３２２、重要スーパーピクセル評価部１３２３に加えて、補正部２３２１を有する。
次に、特定部２３２０の詳細について説明する。図２３に示すように、特定部２３２０は、スーパーピクセル分割部１３２１、重要スーパーピクセル決定部１３２２、重要スーパーピクセル評価部１３２３に加えて、補正部２３２１を有する。
【0239】
補正部２３２１は、重要スーパーピクセル決定部１３２２において規定された変更可能領域を取得し、画像誤差演算部２３１１に通知する。これにより、リファイン画像生成部２３１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成することができる。
【0240】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２４は、誤推論原因抽出処理の具体例を示す第３の図である。図２２を用いて説明した、誤推論原因抽出処理の具体例との相違点は、重要スーパーピクセル画像に基づいて変更可能領域と変更不可領域との組が生成された際、補正部２３２１が、変更可能領域を画像誤差演算部２３１１に通知する点である。これにより、リファイン画像生成部２３１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成し、マップ生成部２１１０では、平均重要特徴指標マップを再生成することができる。
次に、誤推論原因抽出処理の具体例について説明する。図２４は、誤推論原因抽出処理の具体例を示す第３の図である。図２２を用いて説明した、誤推論原因抽出処理の具体例との相違点は、重要スーパーピクセル画像に基づいて変更可能領域と変更不可領域との組が生成された際、補正部２３２１が、変更可能領域を画像誤差演算部２３１１に通知する点である。これにより、リファイン画像生成部２３１０では、変更可能領域を加味して再学習したうえで、スコア最大化リファイン画像を再生成し、マップ生成部２１１０では、平均重要特徴指標マップを再生成することができる。
【0241】
なお、上記誤推論原因抽出処理において、リファイン画像を取得して重要特徴指標マップを生成する間隔は任意であり、１回の学習ごとに重要特徴指標マップを生成しても、複数回の学習ごとに重要特徴指標マップを生成してもよい。また、リファイン画像を取得して重要特徴指標マップを生成するにあたり、推論部３０３の正解ラベルのスコアを評価し、所定の閾値よりも大きい場合に、リファイン画像を取得して重要特徴指標マップを生成してもよい。
【0242】
また、リファイン画像生成部２３１０により生成された複数のリファイン画像を利用して合成画像を生成するにあたっては、
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
・最後の回のリファイン画像を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像（スコア最大化リファイン画像）を利用して合成画像を生成する方法、あるいは、
・それぞれのリファイン画像を利用して生成した合成画像を入力とした推論での正解ラベルのスコアが一番よいリファイン画像を利用して合成画像を生成する方法、
等の生成方法が考えられる。
【0243】
以上の説明から明らかなように、第６の実施形態に係る解析装置１００は、変更可能領域を加味して再学習したうえでスコア最大化リファイン画像を再生成し、平均重要特徴指標マップを再生成する。
【0244】
これにより、第６の実施形態によれば、正解ラベルの推論に影響する特徴部分がより明確になった重要特徴指標マップ（あるいは平均重要特徴指標マップ）を生成することが可能となり、合成画像を入力として推論した際のスコアを上げることが可能となる。
【0245】
［第７の実施形態］
上記第４乃至第６の実施形態では、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力するものとして説明した。しかしながら、誤推論原因情報の出力方法はこれに限定されず、例えば、変更可能領域内の重要部分を可視化して出力してもよい。以下、第７の実施形態について、上記第４乃至第６の実施形態との相違点を中心に説明する。
上記第４乃至第６の実施形態では、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力するものとして説明した。しかしながら、誤推論原因情報の出力方法はこれに限定されず、例えば、変更可能領域内の重要部分を可視化して出力してもよい。以下、第７の実施形態について、上記第４乃至第６の実施形態との相違点を中心に説明する。
【0246】
＜誤推論原因抽出部の機能構成＞
はじめに、第７の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２５は、誤推論原因抽出部の機能構成の一例を示す第６の図である。図１３に示す誤推論原因抽出部の機能構成との相違点は、詳細原因解析部２５１０を有する点である。
はじめに、第７の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２５は、誤推論原因抽出部の機能構成の一例を示す第６の図である。図１３に示す誤推論原因抽出部の機能構成との相違点は、詳細原因解析部２５１０を有する点である。
【0247】
詳細原因解析部２５１０は、誤推論画像とスコア最大化リファイン画像とを用いて、変更可能領域内の重要部分を可視化し、作用結果画像として出力する。
【0248】
＜詳細原因解析部の機能構成＞
次に、詳細原因解析部２５１０の機能構成について説明する。図２６は、詳細原因解析部の機能構成の一例を示す第１の図である。図２６に示すように、詳細原因解析部２５１０は、画像差分演算部２６０１、ＳＳＩＭ演算部２６０２、切り出し部２６０３、作用部２６０４を有する。
次に、詳細原因解析部２５１０の機能構成について説明する。図２６は、詳細原因解析部の機能構成の一例を示す第１の図である。図２６に示すように、詳細原因解析部２５１０は、画像差分演算部２６０１、ＳＳＩＭ演算部２６０２、切り出し部２６０３、作用部２６０４を有する。
【0249】
画像差分演算部２６０１は、誤推論画像とスコア最大化リファイン画像との画素単位での差分を演算し、差分画像を出力する。
【0250】
ＳＳＩＭ演算部２６０２は、誤推論画像とスコア最大化リファイン画像とを用いて、ＳＳＩＭ演算を行うことで、ＳＳＩＭ画像を出力する。
【0251】
切り出し部２６０３は、差分画像から変更可能領域に対応する画像部分を切り出す。また、切り出し部２６０３は、ＳＳＩＭ画像から変更可能領域に対応する画像部分を切り出す。更に、切り出し部２６０３は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像とを乗算して、乗算画像を生成する。
【0252】
作用部２６０４は、誤推論画像と乗算画像とに基づいて、作用結果画像を生成する。
【0253】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部２５１０の処理の具体例について説明する。図２７は、詳細原因解析部の処理の具体例を示す図である。
次に、詳細原因解析部２５１０の処理の具体例について説明する。図２７は、詳細原因解析部の処理の具体例を示す図である。
【0254】
図２７に示すように、はじめに、画像差分演算部２６０１において、誤推論画像（Ａ）とスコア最大化リファイン画像（Ｂ）との差分（＝（Ａ）－（Ｂ））が演算され、差分画像が出力される。差分画像は、誤推論の原因となる画像箇所での画素修正情報である。
【0255】
続いて、ＳＳＩＭ演算部２６０２において、誤推論画像（Ａ）とスコア最大化リファイン画像（Ｂ）とに基づいてＳＳＩＭ演算が行われる（ｙ＝ＳＳＩＭ（（Ａ），（Ｂ））。更に、ＳＳＩＭ演算部２６０２において、ＳＳＩＭ演算の結果が反転されることで（ｙ’＝２５５－（ｙ×２５５））、ＳＳＩＭ画像が出力される。ＳＳＩＭ画像は、誤推論の原因となる画像箇所を高精度に指定した画像であり、画素値が大きいと差分が大きく、画素値が小さいと差分が小さいことを表す。なお、ＳＳＩＭ演算の結果を反転する処理は、例えば、ｙ’＝１－ｙを算出することにより行ってもよい。
【0256】
続いて、切り出し部２６０３において、差分画像から変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｃ）が出力される。同様に、切り出し部２６０３において、ＳＳＩＭ画像から変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｄ）が出力される。
【0257】
ここで、変更可能領域は、誤推論の原因となる画像部分を領域にまで絞り込んだものであり、詳細原因解析部２５１０では、絞り込んだ領域の中で、更に、画素粒度での原因解析を行うことを目的としている。
【0258】
このため、切り出し部２６０３では、切り出し画像（Ｃ）と切り出し画像（Ｄ）とを乗算し、乗算画像（Ｇ）を生成する。乗算画像（Ｇ）は、誤推論の原因となる画像箇所での画素修正情報を更に高精度に指定した、画素修正情報に他ならない。
【0259】
また、切り出し部２６０３では、乗算画像（Ｇ）に対して強調処理を行い、強調乗算画像（Ｈ）を出力する。なお、切り出し部２６０３では、強調乗算画像（Ｈ）を下式に基づいて算出する。
【0260】
（式３）
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）－ｍｉｎ（Ｇ））
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）－ｍｉｎ（Ｇ））
【0261】
続いて作用部２６０４では、誤推論画像（Ａ）から強調乗算画像（Ｈ）を減算することで重要部分を可視化し、作用結果画像を生成する。
【0262】
なお、図２７に示した強調処理の方法は一例にすぎず、可視化した際に重要部分がより識別しやすくなる方法であれば、他の方法により強調処理を行ってもよい。
【0263】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部２５１０による詳細原因解析処理の流れについて説明する。図２８は、詳細原因解析処理の流れを示す第１のフローチャートである。
次に、詳細原因解析部２５１０による詳細原因解析処理の流れについて説明する。図２８は、詳細原因解析処理の流れを示す第１のフローチャートである。
【0264】
ステップＳ２８０１において、画像差分演算部２６０１は、誤推論画像とスコア最大化リファイン画像との差分画像を算出する。
【0265】
ステップＳ２８０２において、ＳＳＩＭ演算部２６０２は、誤推論画像とスコア最大化リファイン画像とに基づいて、ＳＳＩＭ画像を演算する。
【0266】
ステップＳ２８０３において、切り出し部２６０３は、変更可能領域に対応する差分画像を切り出す。
【0267】
ステップＳ２８０４において、切り出し部２６０３は、変更可能領域に対応するＳＳＩＭ画像を切り出す。
【0268】
ステップＳ２８０５において、切り出し部２６０３は、切り出した差分画像と切り出したＳＳＩＭ画像とを乗算し、乗算画像を生成する。
【0269】
ステップＳ２８０６において、切り出し部２６０３は、乗算画像に対して強調処理を行う。また、作用部２６０４は、強調処理された乗算画像を、誤推論画像から減算し、作用結果画像を出力する。
【0270】
以上の説明から明らかなように、第７の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像とに基づいて、差分画像とＳＳＩＭ画像とを生成し、変更可能領域を切り出して乗算する。これにより、第７の実施形態に係る解析装置１００によれば、変更可能領域内において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。
【0271】
［第８の実施形態］
上記第７の実施形態では、誤推論画像とスコア最大化リファイン画像とに基づいて生成した差分画像とＳＳＩＭ画像とを用いて、誤推論の原因となる画像箇所を画素単位で可視化する場合について説明した。
上記第７の実施形態では、誤推論画像とスコア最大化リファイン画像とに基づいて生成した差分画像とＳＳＩＭ画像とを用いて、誤推論の原因となる画像箇所を画素単位で可視化する場合について説明した。
【0272】
これに対して、第８の実施形態では、更に、重要特徴マップを用いて、誤推論の原因となる画像箇所を画素単位で可視化する。以下、第８の実施形態について、上記第７の実施形態との相違点を中心に説明する。
【0273】
＜誤推論原因抽出部の機能構成＞
はじめに、第８の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２９は、誤推論原因抽出部の機能構成の一例を示す第７の図である。図２５に示す誤推論原因抽出部の機能構成との相違点は、図２９の場合、詳細原因解析部２９１０の機能が、図２５に示す詳細原因解析部２５１０の機能とは異なる点、及び、詳細原因解析部２９１０が、推論部３０３より推論部構造情報を取得する点である。
はじめに、第８の実施形態に係る解析装置１００における、誤推論原因抽出部の機能構成について説明する。図２９は、誤推論原因抽出部の機能構成の一例を示す第７の図である。図２５に示す誤推論原因抽出部の機能構成との相違点は、図２９の場合、詳細原因解析部２９１０の機能が、図２５に示す詳細原因解析部２５１０の機能とは異なる点、及び、詳細原因解析部２９１０が、推論部３０３より推論部構造情報を取得する点である。
【0274】
詳細原因解析部２９１０は、誤推論画像とスコア最大化リファイン画像と推論部構造情報とに基づいて生成した、差分画像とＳＳＩＭ画像と重要特徴マップとを用いて、誤推論の原因となる画像箇所を画素単位で可視化する。
【0275】
なお、詳細原因解析部２９１０が誤推論の原因となる画像箇所を画素単位で可視化する際に用いる差分画像、ＳＳＩＭ画像、重要特徴マップは、以下のような属性を有する。
・差分画像：画素ごとの差分情報であり、指定したクラスの分類確率をよくするために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・ＳＳＩＭ画像：画像全体及び局所領域の変化状況を考慮した差分情報であり、画素ごとの差分情報よりもアーティファクト（意図しないノイズ）が少ない情報である。つまり、より高い精度の差分情報である（ただし、正値のみの情報である）。
・重要特徴マップ：正解ラベルの推論に影響を与える特徴部分を可視化したマップである。
・差分画像：画素ごとの差分情報であり、指定したクラスの分類確率をよくするために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・ＳＳＩＭ画像：画像全体及び局所領域の変化状況を考慮した差分情報であり、画素ごとの差分情報よりもアーティファクト（意図しないノイズ）が少ない情報である。つまり、より高い精度の差分情報である（ただし、正値のみの情報である）。
・重要特徴マップ：正解ラベルの推論に影響を与える特徴部分を可視化したマップである。
【0276】
＜詳細原因解析部の機能構成＞
次に、詳細原因解析部２９１０の機能構成について説明する。図３０は、詳細原因解析部の機能構成の一例を示す第２の図である。図２６に示す機能構成との相違点は、図３０の場合、ＢＰ演算部３００１を有する点、及び、切り出し部３００２の機能が、図２６の切り出し部２６０３の機能とは異なる点である。
次に、詳細原因解析部２９１０の機能構成について説明する。図３０は、詳細原因解析部の機能構成の一例を示す第２の図である。図２６に示す機能構成との相違点は、図３０の場合、ＢＰ演算部３００１を有する点、及び、切り出し部３００２の機能が、図２６の切り出し部２６０３の機能とは異なる点である。
【0277】
ＢＰ演算部３００１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得する。また、ＢＰ演算部３００１は、ＢＰ法を用いることで、推論部構造情報に基づいて、重要特徴マップを生成する。
【0278】
切り出し部３００２は、差分画像及びＳＳＩＭ画像から、変更可能領域に対応する画像部分を切り出すことに加えて、重要特徴マップから、変更可能領域に対応する画像部分を切り出す。更に、切り出し部３００２は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像と重要特徴マップとを乗算して、乗算画像を生成する。
【0279】
このように、差分画像とＳＳＩＭ画像と重要特徴マップとを乗算することで、作用結果画像において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。
【0280】
なお、乗算の際に差分画像を用いることで、作用結果画像は、正解ラベルのスコアが上がる画像に自動的に修正されることになる。したがって、このような利点を考慮しないのであれば、詳細原因解析部２９１０は、（差分画像を用いずに）ＳＳＩＭ画像と重要特徴マップとを用いて乗算を行い、作用結果画像を出力してもよい。
【0281】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部２９１０の処理の具体例について説明する。図３１は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図２７に示した詳細原因解析部２５１０の処理の具体例との相違点は、ＢＰ演算部３００１において、推論部構造情報（Ｉ）に基づいて、ＢＰ法を用いた処理が行われ、重要特徴マップが生成されている点である。また、切り出し部３００２において、重要特徴マップから変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｊ）が出力されている点である。更に、切り出し部３００２において、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とが乗算され、乗算画像（Ｇ）が生成されている点である。
次に、詳細原因解析部２９１０の処理の具体例について説明する。図３１は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図２７に示した詳細原因解析部２５１０の処理の具体例との相違点は、ＢＰ演算部３００１において、推論部構造情報（Ｉ）に基づいて、ＢＰ法を用いた処理が行われ、重要特徴マップが生成されている点である。また、切り出し部３００２において、重要特徴マップから変更可能領域に対応する画像部分が切り出され、切り出し画像（Ｊ）が出力されている点である。更に、切り出し部３００２において、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とが乗算され、乗算画像（Ｇ）が生成されている点である。
【0282】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部２９１０による詳細原因解析処理の流れについて説明する。図３２は、詳細原因解析処理の流れを示す第２のフローチャートである。図２８に示したフローチャートとの相違点は、ステップＳ３２０１、ステップＳ３２０２、ステップＳ３２０３である。
次に、詳細原因解析部２９１０による詳細原因解析処理の流れについて説明する。図３２は、詳細原因解析処理の流れを示す第２のフローチャートである。図２８に示したフローチャートとの相違点は、ステップＳ３２０１、ステップＳ３２０２、ステップＳ３２０３である。
【0283】
ステップＳ３２０１において、ＢＰ演算部３００１は、スコア最大化リファイン画像を入力として推論した際の推論部構造情報を、推論部３０３より取得し、ＢＰ法を用いることで、推論部構造情報に基づいて重要特徴マップを生成する。
【0284】
ステップＳ３２０２において、切り出し部３００２は、重要特徴マップから、変更可能領域に対応する画像部分を切り出す。
【0285】
ステップＳ３２０３において、切り出し部３００２は、変更可能領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像と重要特徴マップとを乗算して、乗算画像を生成する。
【0286】
以上の説明から明らかなように、第８の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像と推論部構造情報とに基づいて、差分画像とＳＳＩＭ画像と重要特徴マップとを生成し、変更可能領域を切り出して乗算する。これにより、第８の実施形態に係る解析装置１００によれば、変更可能領域内において、誤推論の原因となる画像箇所を画素単位で視認することが可能となる。
【0287】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0288】
１００ ：解析装置
１４０ ：誤推論原因抽出部
１４１ ：リファイン画像生成部
１４２ ：マップ生成部
１４３ ：特定部
３０１ ：画像リファイナ部
３０２ ：画像誤差演算部
３０３ ：推論部
３０４ ：スコア誤差演算部
３１１ ：注目領域導出部
３２１ ：変更領域制限情報生成部
３２２ ：マスク画像生成部
３２３ ：領域抽出部
３２４ ：合成部
３２５ ：判断部
１０１０ ：リファイン画像生成部
１０２０ ：特定部
１３１０ ：マップ生成部
１３１１ ：重要特徴マップ生成部
１３１２ ：劣化尺度マップ生成部
１３１３ ：重畳部
１３２０ ：特定部
１３２１ ：スーパーピクセル分割部
１３２２ ：重要スーパーピクセル決定部
１３２３ ：重要スーパーピクセル評価部
１６１０ ：領域抽出部
１６１１ ：合成部
２１１０ ：マップ生成部
２１１１ ：平均化部
２３１０ ：リファイン画像生成部
２３１１ ：画像誤差演算部
２３２０ ：特定部
２３２１ ：補正部
２５１０ ：詳細原因解析部
２６０１ ：画像差分演算部
２６０２ ：ＳＳＩＭ演算部
２６０３ ：切り出し部
２６０４ ：作用部
２９１０ ：詳細原因解析部
３００１ ：ＢＰ演算部
３００２ ：切り出し部
１４０ ：誤推論原因抽出部
１４１ ：リファイン画像生成部
１４２ ：マップ生成部
１４３ ：特定部
３０１ ：画像リファイナ部
３０２ ：画像誤差演算部
３０３ ：推論部
３０４ ：スコア誤差演算部
３１１ ：注目領域導出部
３２１ ：変更領域制限情報生成部
３２２ ：マスク画像生成部
３２３ ：領域抽出部
３２４ ：合成部
３２５ ：判断部
１０１０ ：リファイン画像生成部
１０２０ ：特定部
１３１０ ：マップ生成部
１３１１ ：重要特徴マップ生成部
１３１２ ：劣化尺度マップ生成部
１３１３ ：重畳部
１３２０ ：特定部
１３２１ ：スーパーピクセル分割部
１３２２ ：重要スーパーピクセル決定部
１３２３ ：重要スーパーピクセル評価部
１６１０ ：領域抽出部
１６１１ ：合成部
２１１０ ：マップ生成部
２１１１ ：平均化部
２３１０ ：リファイン画像生成部
２３１１ ：画像誤差演算部
２３２０ ：特定部
２３２１ ：補正部
２５１０ ：詳細原因解析部
２６０１ ：画像差分演算部
２６０２ ：ＳＳＩＭ演算部
２６０３ ：切り出し部
２６０４ ：作用部
２９１０ ：詳細原因解析部
３００１ ：ＢＰ演算部
３００２ ：切り出し部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】