(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-10
(45)【発行日】2023-10-18
(54)【発明の名称】解析装置、解析プログラム及び解析方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231011BHJP
【ＦＩ】
G06T7/00 350C
【請求項の数】
8
(21)【出願番号】P 2019200865
(22)【出願日】2019-11-05
(65)【公開番号】P2021076926
(43)【公開日】2021-05-20
【審査請求日】2022-07-08
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】中尾 鷹詔
(72)【発明者】
【氏名】村田 康之
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開平１０－１０５６９４（ＪＰ，Ａ）
【文献】特開２０１６－０９９７３４（ＪＰ，Ａ）
【文献】久保田智規他，ＣＮＮを用いた物体認識における誤認識の原因を可視化する一手法，情報処理学会 研究報告 ２０１９－ＣＶＩＭ－２１８［ｏｎｌｉｎｅ］，日本，情報処理学会，2019年08月28日，pp.99-104
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００ － ３／６０
Ｇ０６Ｔ ５／００ － ５／５０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第３のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する特定部と
を有する解析装置。
【請求項2】
前記特定部は、前記領域単位の画素値の加算値が、所定の条件を満たす領域を第１の領域として規定し、
前記領域単位の画素値の加算値が、所定の条件を満たさない領域を第２の領域として規定する、請求項１に記載の解析装置。
【請求項3】
前記特定部は、前記リファイン画像から抽出した前記第１の領域の画像と、前記誤推論画像から抽出した前記第２の領域の画像とを合成することで合成画像を生成し、
生成した前記合成画像を入力して、正解ラベルが推論された際のスコアに基づいて、前記誤推論の原因となる画像箇所を領域単位で特定する、請求項２に記載の解析装置。
【請求項4】
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記第３のマップの画素値に基づいて、所定の指標に応じた領域単位の画素値の加算値を算出し、
算出した加算値が、所定の条件を満たす領域を第１の領域として規定し、算出した加算値が、所定の条件を満たさない領域を第２の領域として規定し、
前記第１の領域を細分化することで、互いに同一サイズ及び同一形状の微調整ブロックを生成し、
生成した微調整ブロックの一部を前記第１の領域から前記第２の領域へと変更し、
前記リファイン画像から抽出した、前記微調整ブロックの一部を除く前記第１の領域の画像と、前記誤推論画像から抽出した、前記微調整ブロックの一部を含む前記第２の領域の画像とを合成することで合成画像を生成し、
生成した前記合成画像を入力して、正解ラベルが推論された際のスコアに基づいて、誤推論の原因となる画像箇所を領域単位かつ微調整ブロック単位で特定する、
特定部と
を有する解析装置。
【請求項5】
前記特定部は、前記誤推論画像を、互いに同一サイズ及び同一形状の矩形領域に分割し、
分割した前記矩形領域ごとに、前記第３のマップの画素値を加算することで、前記所定の指標に応じた領域単位の画素値の加算値を算出する、請求項４に記載の解析装置。
【請求項6】
前記特定部は、前記第３のマップの画素値を、前記微調整ブロックごとに加算した加算値に基づいて、前記第１の領域から前記第２の領域へと変更する、前記微調整ブロックの一部を決定する、請求項５に記載の解析装置。
【請求項7】
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第３のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する、
処理をコンピュータに実行させるための解析プログラム。
【請求項8】
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成し、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第３のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する、
処理をコンピュータが実行する解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解析装置、解析プログラム及び解析方法に関する。
【背景技術】
【0002】
近年、ＣＮＮ（Convolutional Neural Network）を用いた画像認識処理において、誤ったラベルが推論された場合の誤推論の原因を解析する解析技術が提案されている。一例として、スコア最大化法（Activation Maximization）が挙げられる。また、画像認識処理において推論時に注目される画像箇所を解析する解析技術が提案されている。一例として、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法等が挙げられる。
【0003】
スコア最大化法は、推論の正解ラベルが最大スコアとなるように入力画像を変更した際の変更部分を、誤推論の原因となる画像箇所として特定する方法である。また、ＢＰ法やＧＢＰ法は、推論したラベルから逆伝播し、入力画像までたどることで、推論の際に反応した特徴部分を可視化する方法である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－０９７８０７号公報
【文献】特開２０１８－０４５３５０号公報
【文献】Ramprasaath R. Selvariju, et al.: Grad-cam: Visual explanations from deep networks via gradient-based localization. The IEEE International Conference on Computer Vision (ICCV), pp. 618-626, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した解析技術の場合、いずれも誤推論の原因となる画像箇所を十分な精度で特定することができないという問題がある。
【0006】
一つの側面では、誤推論の原因となる画像箇所を特定する際の精度を向上させることを目的としている。
【課題を解決するための手段】
【0007】
一態様によれば、解析装置は、
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第３のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する特定部とを有する。
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示す第１のマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示す第２のマップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す第３のマップを生成するマップ生成部と、
前記誤推論画像を、前記誤推論画像に含まれる要素オブジェクトの領域に分割し、分割した前記要素オブジェクトの領域ごとに、前記第３のマップの画素値を加算し、前記要素オブジェクトの領域ごとの加算値を、前記要素オブジェクトの領域それぞれの面積で除算した値を用いて、誤推論の原因となる画像箇所を領域単位で特定する特定部とを有する。
【発明の効果】
【0008】
誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】解析装置の機能構成の一例を示す図である。
【図2】解析装置のハードウェア構成の一例を示す図である。
【図3】誤推論原因抽出部の機能構成の一例を示す第１の図である。
【図4】リファイン画像生成部の処理の具体例を示す図である。
【図5】マップ生成部の処理の具体例を示す図である。
【図6】スーパーピクセル分割部の処理の具体例を示す第１の図である。
【図7】重要スーパーピクセル決定部の処理の具体例を示す第１の図である。
【図8】領域抽出部及び合成部の処理の具体例を示す第１の図である。
【図9】誤推論原因抽出処理の流れを示す第１のフローチャートである。
【図10】誤推論原因抽出処理の流れを示す第２のフローチャートである。
【図11】誤推論原因抽出処理の具体例を示す第１の図である。
【図12】スーパーピクセル分割部の処理の具体例を示す第２の図である。
【図13】重要スーパーピクセル決定部の処理の具体例を示す第２の図である。
【図14】領域抽出部及び合成部の処理の具体例を示す第２の図である。
【図15】詳細原因抽出処理の流れを示す第３のフローチャートである。
【図16】誤推論原因抽出部の機能構成の一例を示す第２の図である。
【図17】重要スーパーピクセル決定部の処理の具体例を示す第３の図である。
【図18】細分化部の処理の具体例を示す第１の図である。
【図19】領域抽出部及び合成部の処理の具体例を示す第３の図である。
【図20】誤推論原因抽出処理の具体例を示す第２の図である。
【図21】誤推論原因抽出処理の流れを示す第４のフローチャートである。
【図22】細分化部の処理の具体例を示す第２の図である。
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。
【0012】
推論部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、推論部１１０は、入力画像１０が入力されることで、入力画像１０に含まれるオブジェクトの種類（本実施形態では、車両の種類）を示すラベルを推論し、推論したラベルを出力する。
【0013】
誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの種類を示すラベル（正解ラベル）と、推論部１１０により推論されたラベルとが一致するか否かを判定する。また、誤推論画像抽出部１２０は、一致しないと判定した（誤ったラベルが推論された）入力画像を、"誤推論画像"として抽出し、誤推論画像格納部１３０に格納する。
【0014】
誤推論原因抽出部１４０は、誤推論画像について、誤推論の原因となる画像箇所を特定し、誤推論原因情報を出力する。具体的には、誤推論原因抽出部１４０は、リファイン画像生成部１４１と、マップ生成部１４２と、特定部１４３とを有する。
【0015】
リファイン画像生成部１４１は画像生成部の一例である。リファイン画像生成部１４１は、誤推論画像格納部１３０に格納された誤推論画像を読み出す。また、リファイン画像生成部１４１は、読み出した誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。
【0016】
マップ生成部１４２は、誤推論の原因を解析する既知の解析技術等を用いて、正解ラベルを推論するための各画素の重要度を示すマップを生成する。
【0017】
特定部１４３は、誤推論画像を複数の領域に分割し、分割した複数の領域のうち、生成されたマップに基づいて規定した領域を、生成されたスコア最大化リファイン画像で置き換える。また、特定部１４３は、当該領域をスコア最大化リファイン画像で置き換えた誤推論画像を入力してラベルを推論し、推論したラベルのスコアから、置き換えの効果を判定する。
【0018】
また、特定部１４３は、領域を更新しながらラベルを推論し、推論したラベルのスコアから、誤推論の原因となる画像箇所を領域単位で特定する。更に、特定部１４３は、特定した誤推論の原因となる画像箇所を、誤推論原因情報として出力する。
【0019】
このように、
・既知の解析技術を用いて、正解ラベルを推論するための各画素の重要度を示すマップを生成し、
・生成したマップに基づいて規定した領域を、スコア最大化リファイン画像で置き換え、
・置き換えの効果を参照しながら、誤推論の原因となる画像箇所を領域単位で特定する、
ことで、誤推論原因抽出部１４０によれば、誤推論の原因となる画像箇所を精度よく特定することができる。
・既知の解析技術を用いて、正解ラベルを推論するための各画素の重要度を示すマップを生成し、
・生成したマップに基づいて規定した領域を、スコア最大化リファイン画像で置き換え、
・置き換えの効果を参照しながら、誤推論の原因となる画像箇所を領域単位で特定する、
ことで、誤推論原因抽出部１４０によれば、誤推論の原因となる画像箇所を精度よく特定することができる。
【0020】
＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【0021】
また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。
【0022】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics Processing Unit）など）を組み合わせてもよい。
【0023】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【0024】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0025】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤推論画像格納部１３０は、補助記憶装置２０４において実現される。
【0026】
表示装置２０５は、誤推論原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。
【0027】
Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。
【0028】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0029】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。
【0030】
＜誤推論原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す第１の図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す第１の図である。以下、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の詳細について説明する。
【0031】
（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、スコア誤差演算部３０４を有する。
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、スコア誤差演算部３０４を有する。
【0032】
画像リファイナ部３０１は、例えば、画像の生成モデルとしてＣＮＮを用いて、誤推論画像からリファイン画像を生成する。
【0033】
なお、画像リファイナ部３０１では、生成したリファイン画像を用いて推論した際に、正解ラベルのスコアが最大となるように、誤推論画像を変更する。また、画像リファイナ部３０１では、誤推論画像からの変更量（リファイン画像と誤推論画像との差分）が小さくなるように、リファイン画像を生成する。
【0034】
より具体的には、画像リファイナ部３０１では、
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差と、
・生成したリファイン画像と誤推論画像との差分である画像差分値（例えば、画像差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）やそれらの組み合わせ）と、
が最小化するようにＣＮＮの学習を行う。
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差と、
・生成したリファイン画像と誤推論画像との差分である画像差分値（例えば、画像差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）やそれらの組み合わせ）と、
が最小化するようにＣＮＮの学習を行う。
【0035】
画像誤差演算部３０２は、誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。画像誤差演算部３０２では、例えば、画素ごとの差分（Ｌ１差分）演算やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部３０１に入力する。
【0036】
推論部３０３は、学習済みのＣＮＮを用いて画像認識処理を行う。推論部３０３が有する学習済みのＣＮＮは、画像リファイナ部３０１により生成されたリファイン画像（またはスコア最大化リファイン画像）、または重要スーパーピクセル決定部３２２で生成された合成画像を入力してラベルを推論し、スコアを出力する。なお、ここでいう合成画像とは、誤推論画像のうち、マップ生成部１４２で生成されたマップ（重要特徴指標マップ）に基づいて抽出した領域について、スコア最大化リファイン画像で置き換えた誤推論画像を指すものとする。
【0037】
推論部３０３により出力されたスコアは、スコア誤差演算部３０４または重要スーパーピクセル評価部３２３に通知される。
【0038】
スコア誤差演算部３０４は、推論部３０３により通知されたスコアと、正解ラベルのスコアを最大化したスコアとの誤差を算出し、画像リファイナ部３０１にスコア誤差を通知する。スコア誤差演算部３０４により通知されたスコア誤差は、画像リファイナ部３０１においてＣＮＮの学習に用いられる。
【0039】
なお、画像リファイナ部３０１が有するＣＮＮの学習中に画像リファイナ部３０１から出力されるリファイン画像は、リファイン画像格納部３０５に格納される。画像リファイナ部３０１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われる。これにより、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像であるスコア最大化リファイン画像が、リファイン画像格納部３０５に格納される。
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われる。これにより、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像であるスコア最大化リファイン画像が、リファイン画像格納部３０５に格納される。
【0040】
（２）マップ生成部の詳細
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３を有する。
次に、マップ生成部１４２の詳細について説明する。図３に示すように、マップ生成部１４２は、重要特徴マップ生成部３１１、劣化尺度マップ生成部３１２、重畳部３１３を有する。
【0041】
重要特徴マップ生成部３１１は、スコア最大化リファイン画像を入力してラベルを推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部３１１は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、推論部構造情報に基づいて"グレイスケール化重要特徴マップ"を生成する。グレイスケール化重要特徴マップは第２のマップの一例であり、スコア最大化リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップを、グレイスケール化したものである。
【0042】
なお、ＢＰ法は、推論したラベルが正解する入力画像（ここでは、スコア最大化リファイン画像）の推論を行うことで得た各スコアから各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配情報の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の大小のうち正値のみを画像化することで、特徴部分を可視化する方法である。
【0043】
更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコアに影響を与える特徴部分のみを可視化する。
【0044】
劣化尺度マップ生成部３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、第１のマップの一例である"劣化尺度マップ"を生成する。劣化尺度マップは、スコア最大化リファイン画像を生成する際に変更がなされた各画素の変更度合いを示している。
【0045】
重畳部３１３は、重要特徴マップ生成部３１１において生成されたグレイスケール化重要特徴マップと、劣化尺度マップ生成部３１２において生成された劣化尺度マップとを重畳し、第３のマップの一例である"重要特徴指標マップ"を生成する。重要特徴指標マップは、正解ラベルを推論するための各画素の重要度を示している。
【0046】
（３）特定部の詳細
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２、重要スーパーピクセル評価部３２３を有する。
次に、特定部１４３の詳細について説明する。図３に示すように、特定部１４３は、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２、重要スーパーピクセル評価部３２３を有する。
【0047】
スーパーピクセル分割部３２１は、誤推論画像を、誤推論画像に含まれるオブジェクト（本実施形態では車両）の要素オブジェクト（本実施形態では、車両の部品）ごとの領域である"スーパーピクセル"に分割し、スーパーピクセル分割情報を出力する。なお、誤推論画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。
【0048】
重要スーパーピクセル決定部３２２は、スーパーピクセル分割部３２１により出力されたスーパーピクセル分割情報に基づいて、重畳部３１３により生成された重要特徴指標マップの各画素の画素値を、スーパーピクセルごとに加算する。
【0049】
また、重要スーパーピクセル決定部３２２は、各スーパーピクセルのうち、加算値が所定の条件を満たす（重要特徴指標閾値以上）のスーパーピクセルを抽出する。また、重要スーパーピクセル決定部３２２は、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせたスーパーピクセル群を、変更可能領域（スコア最大化リファイン画像によって置き換えられる第１の領域）と規定する。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル群以外のスーパーピクセル群を、変更不可領域（スコア最大化リファイン画像によって置き換えられない第２の領域）と規定する。
【0050】
更に、重要スーパーピクセル決定部３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出するとともに、スコア最大化リファイン画像から、変更可能領域に対応する画像部分を抽出し、両者を合成することで、合成画像を生成する。
【0051】
なお、重要スーパーピクセル決定部３２２では、変更可能領域及び変更不可領域を規定する際に用いる重要特徴指標閾値を徐々に下げることで、抽出するスーパーピクセルの数を増やす（変更可能領域を広げ、変更不可領域を狭めていく）。また、重要スーパーピクセル決定部３２２では、抽出したスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えながら、規定する変更可能領域及び変更不可領域を更新する。
【0052】
重要スーパーピクセル評価部３２３は、重要スーパーピクセル決定部３２２において生成された合成画像が推論部３０３に入力されるごとに推論される正解ラベルのスコアを取得する。
【0053】
上述したように、重要スーパーピクセル決定部３２２では、重要特徴指標閾値を下げる回数、スーパーピクセルの組み合わせの数、に応じた数の合成画像を生成する。このため、重要スーパーピクセル評価部３２３では、当該数に応じた数の正解ラベルのスコアを取得する。
【0054】
また、重要スーパーピクセル評価部３２３は、取得したスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0055】
このとき、重要スーパーピクセル評価部３２３では、面積がなるべく小さくなるように、変更可能領域を特定する。例えば、重要スーパーピクセル評価部３２３では、推論部３０３より取得したスコアを評価する際、重要特徴指標閾値を下げる前のスーパーピクセルあるいはスーパーピクセルの組み合わせのうち、面積が小さいものから優先して評価する。また、重要スーパーピクセル評価部３２３では、重要特徴指標閾値が下がることで、正解ラベルが推論されるようになった時点での変更可能領域（正解ラベルを推論可能な限界の重要特徴指標閾値により抽出され、面積が最小の変更可能領域）を特定する。
【0056】
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の処理の具体例について説明する。
次に、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、マップ生成部１４２、特定部１４３）の処理の具体例について説明する。
【0057】
（１）リファイン画像生成部の処理の具体例
はじめに、リファイン画像生成部１４１の処理の具体例について説明する。図４は、リファイン画像生成部の処理の具体例を示す図である。図４の左側の例は、正解ラベル＝"車種Ａ"の車両が含まれる誤推論画像４１０を入力してラベルを推論した結果、ラベル＝"車種Ｂ"と誤推論した様子を示している。
はじめに、リファイン画像生成部１４１の処理の具体例について説明する。図４は、リファイン画像生成部の処理の具体例を示す図である。図４の左側の例は、正解ラベル＝"車種Ａ"の車両が含まれる誤推論画像４１０を入力してラベルを推論した結果、ラベル＝"車種Ｂ"と誤推論した様子を示している。
【0058】
また、図４の左側の例は、誤推論画像４１０を入力してラベルを推論した際のスコアが、
・車種Ａのスコア＝０．０１４２、
・車種Ｂのスコア＝０．４５４９、
・車種Ｃのスコア＝０．００１８、
であったことを示している。
・車種Ａのスコア＝０．０１４２、
・車種Ｂのスコア＝０．４５４９、
・車種Ｃのスコア＝０．００１８、
であったことを示している。
【0059】
一方、図４の右側の例は、リファイン画像生成部１４１が、誤推論画像４１０からリファイン画像を生成する処理を行い、スコア最大化リファイン画像４２０を生成した様子を示している。図４の右側の例の場合、
・ヘッドライト４２１の色、
・道路標示４２２の色、
・フロントグリル４２３の色、
・左側のヘッドライト４２１とフロントグリル４２３との間の車体４２４の色、
を変更することで、スコア最大化リファイン画像４２０が生成されたことを示している。
・ヘッドライト４２１の色、
・道路標示４２２の色、
・フロントグリル４２３の色、
・左側のヘッドライト４２１とフロントグリル４２３との間の車体４２４の色、
を変更することで、スコア最大化リファイン画像４２０が生成されたことを示している。
【0060】
また、図４の右側の例は、スコア最大化リファイン画像４２０を入力してラベルを推論した結果、正解ラベル＝"車種Ａ"と一致するラベルが推論されたことを示している。更に、図４の右側の例は、スコア最大化リファイン画像４２０を入力してラベルを推論した際のスコアが、
・車種Ａのスコア＝０．９９２７、
・車種Ｂのスコア＝０．００４２、
・車種Ｃのスコア＝０．００２２、
であったことを示している。
・車種Ａのスコア＝０．９９２７、
・車種Ｂのスコア＝０．００４２、
・車種Ｃのスコア＝０．００２２、
であったことを示している。
【0061】
このように、リファイン画像生成部１４１によれば、誤推論画像４１０を変更することで、正解ラベルと一致するラベルを推論でき、かつ、正解ラベルのスコアが最大となるスコア最大化リファイン画像４２０を生成することができる。
【0062】
なお、図４の右側の例に示すように、リファイン画像生成部１４１により生成されるスコア最大化リファイン画像４２０の場合、誤推論画像４１０に対して、車両と無関係な路面標示まで変更されている。正解ラベルのスコアを最大化する学習での誤差逆伝播は、正解ラベルのスコアに影響するＣＮＮの経路（ユニット）に影響を及ぼすが、影響を及ぼされた経路（ユニット）が必ずしも誤推論の原因と関係しているとは限らないためである。
【0063】
つまり、既知のスコア最大化法のように、変更部分に基づいて誤推論の原因となる画像箇所を特定しようとした場合、十分な精度で特定することができないという問題がある（変更部分について、更なる絞り込みが必要である）。本実施形態に係る誤推論原因抽出部１４０ではマップ生成部１４２、特定部１４３が機能することで、更なる絞り込みが行われる。
【0064】
（２）マップ生成部の処理の具体例
次に、マップ生成部１４２の処理の具体例について説明する。図５は、マップ生成部の処理の具体例を示す図である。
次に、マップ生成部１４２の処理の具体例について説明する。図５は、マップ生成部の処理の具体例を示す図である。
【0065】
図５に示すように、マップ生成部１４２において重要特徴マップ生成部３１１は、推論部３０３がスコア最大化リファイン画像４２０を入力してラベルを推論した際の推論部構造情報５０１を、推論部３０３から取得する。また、重要特徴マップ生成部３１１は、取得した推論部構造情報５０１に基づいて、例えば、選択的ＢＰ法を用いて重要特徴マップを生成する。
【0066】
また、重要特徴マップ生成部３１１は、生成した重要特徴マップをグレイスケール化し、グレイスケール化重要特徴マップ５０２を生成する。
【0067】
図５に示すグレイスケール化重要特徴マップ５０２は、０から２５５の画素値でグレイスケール化されている。グレイスケール化重要特徴マップ５０２において、画素値が２５５に近い画素は、推論時に注目度合いが高い画素（注目画素）であり、画素値が０に近い画素は、推論時に注目度合いが低い画素（非注目画素）である。
【0068】
一方、劣化尺度マップ生成部３１２は、リファイン画像格納部３０５よりスコア最大化リファイン画像４２０を読み出し、誤推論画像４１０との間でＳＳＩＭ（Structural Similarity）演算を行う。これにより、劣化尺度マップ生成部３１２は、劣化尺度マップ５１３を生成する。劣化尺度マップ５１３は０から１の値をとり、画素値が１に近いほど、変更度合いが小さいことを表し、画素値が０に近いほど、変更度合いが大きいことを表す。
【0069】
また、重畳部３１３は、重要特徴マップ生成部３１１により生成されたグレイスケール化重要特徴マップ５０２と、劣化尺度マップ生成部３１２により生成された劣化尺度マップ５１３とを用いて、重要特徴指標マップ５２０を生成する。
【0070】
具体的には、重畳部３１３は、下式に基づいて、重要特徴指標マップ５２０を生成する。
（式１）
重要特徴指標マップ＝グレイスケール化重要特徴マップ×（１－劣化尺度マップ）
上式において、（１－劣化尺度マップ）の項は、０から１の値をとり、１に近いほど変更度合いが大きく、０に近いほど変更度合いが小さい。つまり、重要特徴指標マップ５２０は、推論時に注目した各画素の注目度合いを示すグレイスケール化重要特徴マップに、変更度合いの大小による強弱をつけることで生成されたものであり、正解ラベルを推論するための各画素の重要度を示している。
（式１）
重要特徴指標マップ＝グレイスケール化重要特徴マップ×（１－劣化尺度マップ）
上式において、（１－劣化尺度マップ）の項は、０から１の値をとり、１に近いほど変更度合いが大きく、０に近いほど変更度合いが小さい。つまり、重要特徴指標マップ５２０は、推論時に注目した各画素の注目度合いを示すグレイスケール化重要特徴マップに、変更度合いの大小による強弱をつけることで生成されたものであり、正解ラベルを推論するための各画素の重要度を示している。
【0071】
具体的には、重要特徴指標マップ５２０は、
・劣化尺度マップ５１３において変更度合いが小さい部分について、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ５１３において変更度合いが大きい部分について、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
・劣化尺度マップ５１３において変更度合いが小さい部分について、グレイスケール化重要特徴マップの画素値を小さくし、
・劣化尺度マップ５１３において変更度合いが大きい部分について、グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
【0072】
なお、より見やすくするために、重要特徴指標マップは白黒を反転させてもよい。図５に示す重要特徴指標マップは、下式に基づいて白黒を反転させたものを表示している。
（式２）
（反転した）重要特徴指標マップ＝２５５－［グレイスケール化重要特徴マップ×（１－劣化尺度マップ）］
ここで、重畳部３１３が、上式に基づいて、グレイスケール化重要特徴マップ５０２と劣化尺度マップ５１３とを重畳することによる利点について説明する。
（式２）
（反転した）重要特徴指標マップ＝２５５－［グレイスケール化重要特徴マップ×（１－劣化尺度マップ）］
ここで、重畳部３１３が、上式に基づいて、グレイスケール化重要特徴マップ５０２と劣化尺度マップ５１３とを重畳することによる利点について説明する。
【0073】
上述したように、重要特徴マップ生成部３１１において生成されるグレイスケール化重要特徴マップ５０２は、正解ラベルのスコアが最大となった際に、推論部３０３が注目した注目部分に他ならない。
【0074】
一方、劣化尺度マップ生成部３１２において生成される劣化尺度マップ５１３は、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分を表しており、誤推論の原因となる部分を表している。ただし、劣化尺度マップ生成部３１２において生成される劣化尺度マップ５１３は、正解ラベルを推論するための最小限の部分ではない。
【0075】
重畳部３１３では、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分と、推論部３０３が注目した注目部分とを重畳することで、正解ラベルを推論するための最小限の部分を、正解ラベルを推論するための重要な部分をとして可視化する。
【0076】
（３）特定部の処理の具体例
次に、特定部１４３の各部（ここでは、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２）の処理の具体例について説明する。
次に、特定部１４３の各部（ここでは、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２）の処理の具体例について説明する。
【0077】
（３－１）スーパーピクセル分割部の処理の具体例
はじめに、特定部１４３に含まれるスーパーピクセル分割部３２１の処理の具体例について説明する。図６は、スーパーピクセル分割部の処理の具体例を示す図である。図６に示すように、スーパーピクセル分割部３２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行う分割部６１０を有する。分割部６１０は、誤推論画像４１０を、誤推論画像４１０に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部３２１は、分割部６１０によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報６０１を出力する。
はじめに、特定部１４３に含まれるスーパーピクセル分割部３２１の処理の具体例について説明する。図６は、スーパーピクセル分割部の処理の具体例を示す図である。図６に示すように、スーパーピクセル分割部３２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行う分割部６１０を有する。分割部６１０は、誤推論画像４１０を、誤推論画像４１０に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部３２１は、分割部６１０によりスーパーピクセルに分割されることで生成されたスーパーピクセル分割情報６０１を出力する。
【0078】
（３－２）重要スーパーピクセル決定部の処理の具体例
次に、特定部１４３に含まれる重要スーパーピクセル決定部３２２の処理の具体例について説明する。図７は、重要スーパーピクセル決定部の処理の具体例を示す第１の図である。
次に、特定部１４３に含まれる重要スーパーピクセル決定部３２２の処理の具体例について説明する。図７は、重要スーパーピクセル決定部の処理の具体例を示す第１の図である。
【0079】
図７に示すように、重要スーパーピクセル決定部３２２は、領域抽出部７１０、合成部７１１を有する。
【0080】
重要スーパーピクセル決定部３２２では、重畳部３１３より出力された重要特徴指標マップ５２０と、スーパーピクセル分割部３２１より出力されたスーパーピクセル分割情報６０１とを重ね合わせる。これにより、重要スーパーピクセル決定部３２２では、重要スーパーピクセル画像７０１を生成する。なお、図７では、重要特徴指標マップ５２０として、（白黒を反転した）重要特徴指標マップを用いた場合を示している。
【0081】
また、重要スーパーピクセル決定部３２２では、生成した重要スーパーピクセル画像７０１内のスーパーピクセルごとに、重要特徴指標マップ５２０の各画素の画素値を加算する。なお、図７において、重要スーパーピクセル画像７０２は、スーパーピクセルごとの加算値の一例を明示したものである。
【0082】
また、重要スーパーピクセル決定部３２２では、スーパーピクセルごとの加算値を、各スーパーピクセルの面積で除算する。これにより、重要スーパーピクセル決定部３２２では、各スーパーピクセルについて、単位面積あたりの加算値（正規化加算値）を算出する。つまり、重要スーパーピクセル決定部３２２では、重要特徴指標マップ５２０の各画素の画素値に基づいて、所定の指標に応じた領域単位の画素値の加算値として、スーパーピクセル単位の正規化加算値を算出する。
【0083】
このように、正規化加算値を算出することで、スーパーピクセルごとの面積の違いに起因する加算値のばらつきをなくすことができる。なお、図７において、重要スーパーピクセル画像７０３は、スーパーピクセル単位の正規化加算値の一例を明示したものである。
【0084】
また、重要スーパーピクセル決定部３２２では、各スーパーピクセルについて、正規化加算値が、重要特徴指標閾値以上であるかを判定し、正規化加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。
【0085】
また、重要スーパーピクセル決定部３２２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせたスーパーピクセル群を、変更可能領域と規定する。図７の重要スーパーピクセル画像７０３に含まれる斜線領域は、変更可能領域の一例を示している。また、重要スーパーピクセル決定部３２２は、組み合わせたスーパーピクセル群以外のスーパーピクセル群を、変更不可領域と規定する。更に、重要スーパーピクセル決定部３２２は、規定した変更可能領域及び変更不可領域を領域抽出部７１０に通知する。
【0086】
領域抽出部７１０は、誤推論画像４１０から、変更不可領域に対応する画像部分を抽出し、スコア最大化リファイン画像４２０から、変更可能領域に対応する画像部分を抽出する。
【0087】
合成部７１１は、スコア最大化リファイン画像４２０から抽出した変更可能領域に対応する画像部分と、誤推論画像４１０から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0088】
図８は、領域抽出部及び合成部の処理の具体例を示す第１の図である。図８において、上段は、領域抽出部７１０が、スコア最大化リファイン画像４２０から、変更可能領域８０１（白色部分）の画像部分を抽出した様子を示している。
【0089】
一方、図８において、下段は、領域抽出部７１０が、誤推論画像４１０から、変更不可領域８０１'（白色部分）の画像部分を抽出した様子を示している。なお、図８において、変更不可領域８０１'は、変更可能領域８０１の白色部分と黒色部分とを反転したものである（説明の便宜上、図８の下段では、白色部分を、変更不可領域としている）。
【0090】
合成部７１１は、図８に示すように、領域抽出部７１０より出力された、スコア最大化リファイン画像４２０の変更可能領域８０１の画像部分と、誤推論画像４１０の変更不可領域８０１'の画像部分とを合成し、合成画像８２０を生成する。
【0091】
このように、特定部１４３では、重要特徴指標マップ５２０の画素値をスーパーピクセルごとに加算する際、正規化する。これにより、特定部１４３によれば、スーパーピクセルの大きさに依存することなく、変更可能領域となるスーパーピクセルを抽出することができる。
【0092】
【0093】
ステップＳ９０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、重要スーパーピクセル決定部３２２は、重要特徴指標閾値及びその下限値を、ユーザが指示した値に設定する。
【0094】
ステップＳ９０２において、画像リファイナ部３０１は、誤推論画像を変更し、リファイン画像を生成する。
【0095】
ステップＳ９０３において、推論部３０３は、リファイン画像を入力してラベルを推論し、正解ラベルのスコアを算出する。
【0096】
ステップＳ９０４において、画像リファイナ部３０１は、画像差分値とスコア誤差とを用いてＣＮＮの学習を行う。
【0097】
ステップＳ９０５において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ９０５において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ９０５においてＮｏの場合には）、ステップＳ９０２に戻り、リファイン画像の生成を継続する。
【0098】
一方、ステップＳ９０５において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ９０５においてＹｅｓの場合は）、ステップＳ９０６に進む。なお、この時点で、リファイン画像格納部３０５には、スコア最大化リファイン画像が格納されている。
【0099】
ステップＳ９０６において、重要特徴マップ生成部３１１は、推論部３０３よりスコア最大化リファイン画像を入力してラベルが推論された際の推論部構造情報を取得し、取得した推論部構造情報に基づいてグレイスケール化重要特徴マップを生成する。
【0100】
ステップＳ９０７において、劣化尺度マップ生成部３１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、劣化尺度マップを生成する。
【0101】
ステップ９０８において、重畳部３１３は、グレイスケール化重要特徴マップと劣化尺度マップとに基づいて、重要特徴指標マップを生成する。
【0102】
ステップＳ９０９において、スーパーピクセル分割部３２１は、誤推論画像をスーパーピクセルに分割し、スーパーピクセル分割情報を生成する。
【0103】
ステップＳ９１０において、重要スーパーピクセル決定部３２２は、重要特徴指標マップの各画素の画素値を、スーパーピクセルごとに加算する。また、重要スーパーピクセル決定部３２２は、スーパーピクセルごとに算出した加算値を、各スーパーピクセルの面積で除算することで、スーパーピクセルごとの正規化加算値を算出する。
【0104】
ステップＳ９１１において、重要スーパーピクセル決定部３２２は、正規化加算値が重要特徴指標閾値以上となるスーパーピクセルから、変更可能領域と変更不可領域とを規定する。
【0105】
続いて、図１０のステップＳ１００１において、重要スーパーピクセル決定部３２２は、リファイン画像格納部３０５からスコア最大化リファイン画像を読み出す。
【0106】
ステップＳ１００２において、重要スーパーピクセル決定部３２２は、スコア最大化リファイン画像から、変更可能領域に対応する画像部分を抽出する。
【0107】
ステップＳ１００３において、重要スーパーピクセル決定部３２２は、誤推論画像から、変更不可領域に対応する画像部分を抽出する。
【0108】
ステップＳ１００４において、重要スーパーピクセル決定部３２２は、スコア最大化リファイン画像から抽出した変更可能領域に対応する画像部分と、誤推論画像から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0109】
ステップＳ１００５において、推論部３０３は、合成画像を入力してラベルを推論し、正解ラベルのスコアを算出する。また、重要スーパーピクセル評価部３２３は、推論部３０３により算出された正解ラベルのスコアを取得する。
【0110】
ステップＳ１００６において、重要スーパーピクセル決定部３２２は、重要特徴指標閾値が下限値に到達したか否かを判定する。ステップＳ１００６において、下限値に到達していないと判定した場合には（ステップＳ１００６においてＮｏの場合には）、ステップＳ１００７に進む。
【0111】
ステップＳ１００７において、重要スーパーピクセル決定部３２２は、重要特徴指標閾値を下げた後、図９のステップＳ９１１に戻る。
【0112】
一方、ステップＳ１００６において、下限値に到達したと判定した場合には（ステップＳ１００６においてＹｅｓの場合には）、ステップＳ１００８に進む。
【0113】
ステップＳ１００８において、重要スーパーピクセル評価部３２３は、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0114】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図１１は、誤推論原因抽出処理の具体例を示す第１の図である。
次に、誤推論原因抽出処理の具体例について説明する。図１１は、誤推論原因抽出処理の具体例を示す第１の図である。
【0115】
図１１に示すように、はじめに、リファイン画像生成部１４１により、誤推論画像からスコア最大化リファイン画像が生成されると、マップ生成部１４２では、重要特徴指標マップを生成する。
【0116】
続いて、誤推論画像に基づいて、スーパーピクセル分割部３２１によりスーパーピクセル分割情報が生成されると、重要スーパーピクセル決定部３２２では、スーパーピクセルごとに正規化加算値が算出された重要スーパーピクセル画像を生成する。
【0117】
続いて、重要スーパーピクセル決定部３２２では、重要特徴指標閾値のもと、重要スーパーピクセル画像において変更可能領域及び変更不可領域を規定する。なお、重要スーパーピクセル決定部３２２では、重要特徴指標閾値を変えるとともに、重要特徴指標閾値を超えるスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えることで、複数の変更可能領域と変更不可領域との組を生成する。また、重要スーパーピクセル決定部３２２では、生成した複数の変更可能領域と変更不可領域との組それぞれを用いて、合成画像を生成する。
【0118】
続いて、重要スーパーピクセル評価部３２３では、生成された合成画像を入力して推論部３０３が推論した正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部３２３では、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤推論原因情報として出力する。
【0119】
以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。
【0120】
また、第１の実施形態に係る解析装置１００は、スコア最大化リファイン画像を生成した際の推論部構造情報に基づいて、スコア最大化リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すグレイスケール化重要特徴マップを生成する。
【0121】
また、第１の実施形態に係る解析装置１００は、スコア最大化リファイン画像と誤推論画像との差分に基づいて、スコア最大化リファイン画像を生成する際に変更された画素の変更度合いを示す劣化尺度マップを生成する。
【0122】
また、第１の実施形態に係る解析装置１００は、グレイスケール化重要特徴マップと、劣化尺度マップと、を重畳することで、正解ラベルを推論するための各画素の重要度を示す重要特徴指標マップを生成する。
【0123】
また、第１の実施形態に係る解析装置１００は、誤推論画像を分割することでスーパーピクセルを生成し、重要特徴指標マップの各画素値を、スーパーピクセル単位で加算した後、スーパーピクセルの面積で除算することで、正規化加算値を算出する。
【0124】
また、第１の実施形態に係る解析装置１００は、正規化加算値が重要特徴指標閾値以上となるスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルの組み合わせに基づいて、変更可能領域と変更不可領域とを規定する。
【0125】
また、第１の実施形態に係る解析装置１００は、規定した変更可能領域をスコア最大化リファイン画像で置き換えた誤推論画像を、推論部に入力することで正解ラベルを推論する。
【0126】
また、第１の実施形態に係る解析装置１００は、重要特徴指標閾値及び選択するスーパーピクセルの組み合わせを変えながら、各合成画像についてラベルを推論する。更に、第１の実施形態に係る解析装置１００は、推論した正解ラベルの各スコアから、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定する。
【0127】
このように、第１の実施形態では、置き換えの効果を参照しながら、誤推論の原因となる画像箇所を、正規化加算値が算出されたスーパーピクセル単位で特定する。これにより、第１の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
【0128】
［第２の実施形態］
上記第１の実施形態のスーパーピクセル分割部３２１において、分割部６１０は、スーパーピクセルとして、誤推論画像を、要素オブジェクト（車両の部品）ごとに分割する場合について説明した。しかしながら、誤推論画像の分割方法はこれに限定されない。例えば、スーパーピクセルとして、誤推論画像を、互いに同一サイズ及び同一形状の矩形領域に分割するようにしてもよい。これにより、各スーパーピクセルの面積の違いに起因する加算値のばらつきを抑えることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を説明する。
上記第１の実施形態のスーパーピクセル分割部３２１において、分割部６１０は、スーパーピクセルとして、誤推論画像を、要素オブジェクト（車両の部品）ごとに分割する場合について説明した。しかしながら、誤推論画像の分割方法はこれに限定されない。例えば、スーパーピクセルとして、誤推論画像を、互いに同一サイズ及び同一形状の矩形領域に分割するようにしてもよい。これにより、各スーパーピクセルの面積の違いに起因する加算値のばらつきを抑えることができる。以下、第２の実施形態について、上記第１の実施形態との相違点を説明する。
【0129】
＜特定部の処理の具体例＞
はじめに、特定部１４３の各部（ここでは、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２）の処理の具体例について説明する。
はじめに、特定部１４３の各部（ここでは、スーパーピクセル分割部３２１、重要スーパーピクセル決定部３２２）の処理の具体例について説明する。
【0130】
（１）スーパーピクセル分割部の処理の具体例
図１２は、スーパーピクセル分割部の処理の具体例を示す第２の図である。図１２に示すように、スーパーピクセル分割部３２１は、分割部１２１０を有する。図６に示した分割部６１０との相違点は、図１２の分割部１２１０の場合、誤推論画像４１０を、互いに同一サイズ及び同一形状の矩形領域に分割する（なお、分割の方式は任意である）。
図１２は、スーパーピクセル分割部の処理の具体例を示す第２の図である。図１２に示すように、スーパーピクセル分割部３２１は、分割部１２１０を有する。図６に示した分割部６１０との相違点は、図１２の分割部１２１０の場合、誤推論画像４１０を、互いに同一サイズ及び同一形状の矩形領域に分割する（なお、分割の方式は任意である）。
【0131】
なお、互いに同一サイズ及び同一形状に分割された矩形領域は、スーパーピクセル（要素オブジェクトのような、互いに異なるサイズ及び異なる形状に分割された領域）の特殊な態様と捉えることができる。したがって、以下では、互いに同一サイズ及び同一形状の分割された矩形領域も、スーパーピクセルと称す。
【0132】
スーパーピクセル分割部３２１は、分割部１２１０により、互いに同一サイズ及び同一形状の矩形領域に分割されることで生成された、スーパーピクセル分割情報１２０１を出力する。
【0133】
（２）重要スーパーピクセル決定部の処理の具体例
次に、特定部１４３に含まれる重要スーパーピクセル決定部３２２の処理の具体例について説明する。図１３は、重要スーパーピクセル決定部の処理の具体例を示す第２の図である。
次に、特定部１４３に含まれる重要スーパーピクセル決定部３２２の処理の具体例について説明する。図１３は、重要スーパーピクセル決定部の処理の具体例を示す第２の図である。
【0134】
図１３に示すように、重要スーパーピクセル決定部３２２は、領域抽出部７１０、合成部７１１を有する。
【0135】
重要スーパーピクセル決定部３２２では、重畳部３１３より出力された重要特徴指標マップ５２０と、スーパーピクセル分割部３２１より出力されたスーパーピクセル分割情報１２０１とを重ね合わせる。これにより、重要スーパーピクセル決定部３２２では、重要スーパーピクセル画像１３０１を生成する。なお、図１３では、重要特徴指標マップ５２０として、（白黒を反転した）重要特徴指標マップを用いた場合を示している。
【0136】
また、重要スーパーピクセル決定部３２２では、生成した重要スーパーピクセル画像１３０１内の各スーパーピクセル（ここでは、互いに同一サイズ及び同一形状の矩形領域）について、重要特徴指標マップ５２０の各画素の画素値を加算する。なお、図１３において、重要スーパーピクセル画像１３０２は、スーパーピクセルごとの加算値の一例を明示したものである。
【0137】
図１３に示すように、重要スーパーピクセル画像１３０２の場合、各スーパーピクセルは、互いに同一サイズ及び同一形状の矩形領域であるため、スーパーピクセルごとの加算値は、正規化加算値に等しい。つまり、スーパーピクセルが互いに同一サイズ及び同一形状の矩形領域の場合、スーパーピクセルごとに加算値を算出することは、所定の指標に応じた領域単位の画素値の加算値として、スーパーピクセル単位の正規化加算値を算出することと等価である。
【0138】
重要スーパーピクセル決定部３２２では、各スーパーピクセルについて、加算値が重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。
【0139】
また、重要スーパーピクセル決定部３２２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせたスーパーピクセル群を、変更可能領域と規定する。図１３の重要スーパーピクセル画像１３０２に含まれる斜線領域は、変更可能領域の一例を示している。また、重要スーパーピクセル決定部３２２では、組み合わせたスーパーピクセル群以外のスーパーピクセル群を変更不可領域と規定する。更に、重要スーパーピクセル決定部３２２は、規定した変更可能領域及び変更不可領域を領域抽出部７１０に通知する。
【0140】
領域抽出部７１０は、誤推論画像４１０から、変更不可領域に対応する画像部分を抽出し、スコア最大化リファイン画像４２０から、変更可能領域に対応する画像部分を抽出する。
【0141】
合成部７１１は、スコア最大化リファイン画像４２０から抽出した変更可能領域に対応する画像部分と、誤推論画像４１０から抽出した変更不可領域に対応する画像部分とを合成し、合成画像を生成する。
【0142】
図１４は、領域抽出部及び合成部の処理の具体例を示す第２の図である。図１４において、上段は、領域抽出部７１０が、スコア最大化リファイン画像４２０から、変更可能領域１４０１（白色部分）の画像部分を抽出した様子を示している。
【0143】
一方、図１４において、下段は、領域抽出部７１０が、誤推論画像４１０から、変更不可領域１４０１'（白色部分）の画像部分を抽出した様子を示している。なお、変更不可領域１４０１'は、変更可能領域１４０１の白色部分と黒色部分とを反転したものである（説明の便宜上、図１４の下段では、白色部分を、変更不可領域としている）。
【0144】
合成部７１１は、図１４に示すように、スコア最大化リファイン画像４２０の変更可能領域１４０１に対応する画像部分と、誤推論画像４１０の変更不可領域１４０１'に対応する画像部分とを合成し、合成画像１４２０を生成する。
【0145】
このように、特定部１４３では、重要特徴指標マップ５２０の画素値を、均等分割したスーパーピクセルごとに加算することで、変更可能領域となるスーパーピクセルを抽出する際、正規化演算を行うことなく抽出することができる。
【0146】
＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１５は、誤推論原因抽出処理の流れを示す第３のフローチャートである。第２の実施形態において、誤推論原因抽出部１４０は、図１５に示す第３のフローチャートと、図１０に示した第２のフローチャートとを実行することで、誤推論原因抽出処理を行う。
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１５は、誤推論原因抽出処理の流れを示す第３のフローチャートである。第２の実施形態において、誤推論原因抽出部１４０は、図１５に示す第３のフローチャートと、図１０に示した第２のフローチャートとを実行することで、誤推論原因抽出処理を行う。
【0147】
図１５に示す第３のフローチャートの各工程のうち、図９に示した第１のフローチャートとの相違点は、ステップＳ１５０１及びステップＳ１５０２である。したがって、ここでは、ステップＳ１５０１及びステップＳ１５０２について説明する。
【0148】
ステップＳ１５０１において、スーパーピクセル分割部３２１は、誤推論画像をスーパーピクセル（互いに同一サイズ及び同一形状の矩形領域）に分割し、スーパーピクセル分割情報を生成する。
【0149】
ステップＳ１５０２において、重要スーパーピクセル決定部３２２は、各スーパーピクセルについて、重要特徴指標マップの画素値を加算する。
【0150】
以上の説明から明らかなように、第２の実施形態に係る解析装置１００は、誤推論画像を、互いに同一サイズ及び同一形状の矩形領域に分割することで、スーパーピクセルを生成する。また、第２の実施形態に係る解析装置１００は、重要特徴指標マップの各画素値を、スーパーピクセル単位で加算する。
【0151】
これにより、第２の実施形態によれば、上記第１の実施形態と同様の効果を維持しつつ、上記第１の実施形態と比較して、正規化演算を行うことなく正規化加算値を算出することが可能になる、といった効果を更に享受することができる。
【0152】
［第３の実施形態］
上記第１及び第２の実施形態では、変更可能領域及び変更不可領域を、スーパーピクセル単位で規定するものとして説明した。しかしながら、変更可能領域及び変更不可領域の規定方法はこれに限定されず、例えば、変更可能領域内を更に細分化することで微調整ブロックを生成し、微調整ブロック単位で変更可能領域及び変更不可領域を規定するようにしてもよい。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
上記第１及び第２の実施形態では、変更可能領域及び変更不可領域を、スーパーピクセル単位で規定するものとして説明した。しかしながら、変更可能領域及び変更不可領域の規定方法はこれに限定されず、例えば、変更可能領域内を更に細分化することで微調整ブロックを生成し、微調整ブロック単位で変更可能領域及び変更不可領域を規定するようにしてもよい。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
【0153】
＜誤推論原因抽出部の機能構成＞
はじめに、第３の実施形態に係る解析装置１００における、誤推論原因抽出部１４０の機能構成の詳細について説明する。図１６は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３に示した誤推論原因抽出部１４０の機能構成との相違点は、重要スーパーピクセル決定部１６２２である。
はじめに、第３の実施形態に係る解析装置１００における、誤推論原因抽出部１４０の機能構成の詳細について説明する。図１６は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３に示した誤推論原因抽出部１４０の機能構成との相違点は、重要スーパーピクセル決定部１６２２である。
【0154】
図１６に示す重要スーパーピクセル決定部１６２２の場合、生成した合成画像が推論部３０３に入力され、推論部３０３よりスコアが出力されると、当該スコアを取得し、次の合成画像の生成に利用する。なお、重要スーパーピクセル決定部１６２２の処理の詳細は、図１７、図１８を用いて後述する。
【0155】
＜重要スーパーピクセル決定部の処理の具体例＞
次に、重要スーパーピクセル決定部１６２２の処理の具体例について説明する。図１７は、重要スーパーピクセル決定部の処理の具体例を示す第３の図である。図１３との相違点は、細分化部１７１０を有している点である。
次に、重要スーパーピクセル決定部１６２２の処理の具体例について説明する。図１７は、重要スーパーピクセル決定部の処理の具体例を示す第３の図である。図１３との相違点は、細分化部１７１０を有している点である。
【0156】
細分化部１７１０は、規定された変更可能領域を細分化し、微調整ブロックを生成する。また、細分化部１７１０は、変更可能領域内に生成した微調整ブロックの一部を、変更可能領域から変更不可領域へと変更することで、誤推論の原因となる画像箇所を、より細かい粒度で特定する。
【0157】
なお、細分化部１７１０では、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更可能領域へと変更するにあたり、推論部３０３より取得したスコアを参照する。
【0158】
【0159】
また、細分化部１７１０では、微調整ブロック１８０１の一部を、変更可能領域から変更不可領域へと変更する。そして、細分化部１７１０では、領域抽出部７１０に、微調整ブロック１８０１の一部を除く変更可能領域、及び、微調整ブロック１８０１の一部を含む変更不可領域を通知する（以下、微調整済み変更可能領域及び微調整済み変更不可領域と称す）。
【0160】
また、細分化部１７１０では、微調整済み変更可能領域及び微調整済み変更不可領域（図１８の符号１８１０＿１参照）を通知したことに応じて、推論部３０３よりスコアを取得する。また、細分化部１７１０では、取得したスコアに基づいて、微調整ブロックの他の一部を、変更可能領域から変更不可領域へと変更し、微調整済み変更可能領域及び微調整済み変更不可領域（例えば、図１８の符号１８１０＿２）を、領域抽出部７１０に通知する。
【0161】
図１８の例は、細分化部１７１０が、これらの処理（微調整処理）をｎ回繰り返したことを示している。このように、微調整済み変更可能領域及び変更不可領域を規定することで、誤推論の原因となる画像箇所を、より細かい粒度で特定することができる。なお、細分化部１７１０では、重要特徴指標閾値が変更されたり、選択するスーパーピクセルの組み合わせが変更されることで、変更可能領域及び変更不可領域の規定が更新されるたびに、上記微調整処理を実行する。
【0162】
図１９は、領域抽出部及び合成部の処理の具体例を示す第３の図である。図１９において、上段は、領域抽出部７１０が、スコア最大化リファイン画像４２０から、微調整済み変更可能領域１８１０＿１（白色部分）に対応する画像部分を抽出した様子を示している。
【0163】
一方、図１９において、下段は、領域抽出部７１０が、誤推論画像４１０から、微調整済み変更不可領域１８１０＿１'（白色部分）に対応する画像部分を抽出した様子を示している。なお、微調整済み変更不可領域１８１０＿１'は、微調整済み変更可能領域１８１０＿１の白色部分と黒色部分とを反転したものである（説明の便宜上、図１９の下段では、白色部分を、微調整済み変更不可領域としている）。
【0164】
合成部７１１は、図１９に示すように、スコア最大化リファイン画像４２０の微調整済み変更可能領域１８１０＿１に対応する画像部分１９０１と、誤推論画像４１０の微調整済み変更不可領域１８１０＿１'に対応する画像部分１９０２とを合成する。これにより、合成部７１１では、合成画像１９１０を生成する。
【0165】
このように、特定部１４３によれば、合成画像１９１０を生成する際、スコア最大化リファイン画像４２０で置き換える領域を、スーパーピクセル単位かつ微調整ブロック単位で特定することができる。
【0166】
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出処理の具体例について説明する。図２０は、誤推論原因抽出処理の具体例を示す第２の図である。
次に、誤推論原因抽出処理の具体例について説明する。図２０は、誤推論原因抽出処理の具体例を示す第２の図である。
【0167】
図２０に示す誤推論原因抽出処理の具体例のうち、変更可能領域及び変更不可領域を規定するまでの処理は、図１１で示した誤推論原因抽出処理の具体例と同じであるため、変更可能領域及び変更不可領域を規定するまでの処理の説明は省略する。
【0168】
図２０に示すように、複数の変更可能領域及び変更不可領域の組を生成すると、重要スーパーピクセル決定部３２２では、それぞれの組について、微調整処理を行う。図２０において、微調整済み変更可能領域及び変更不可領域１－１に重ねて示した複数の微調整済み変更可能領域及び変更不可領域は、対応する変更可能領域及び変更不可領域の組に対して、複数回、微調整処理が行われることを示している。
【0169】
同様に、図２０において、微調整済み変更可能領域及び変更不可領域２－１に重ねて示した複数の微調整済み変更可能領域及び変更不可領域は、対応する他の変更可能領域及び変更不可領域の組に対して、複数回、微調整処理が行われることを示している。
【0170】
同様に、図２０において、微調整済み変更可能領域及び変更不可領域３－１に重ねて示した複数の微調整済み変更可能領域及び変更不可領域は、対応する他の変更可能領域及び変更不可領域の組に対して、複数回、微調整処理が行われることを示している。
【0171】
なお、図２０に示すように、重要スーパーピクセル決定部３２２では、微調整処理を行うごとに、合成画像を生成する。また、重要スーパーピクセル決定部３２２では、生成した合成画像を入力して推論部３０３が推論を行うごとに、正解ラベルのスコアを取得する。これにより、重要スーパーピクセル決定部３２２では、正解ラベルのスコアを参照しながら、微調整処理を進めることができる。
【0172】
また、重要スーパーピクセル評価部３２３では、生成された合成画像を入力して推論部３０３が推論を行うごとに、正解ラベルのスコアを取得する。これにより、重要スーパーピクセル評価部３２３では、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ（変更可能領域）及び微調整ブロックの組み合わせ（微調整済み変更可能領域）を特定する。また、重要スーパーピクセル評価部３２３は、特定したスーパーピクセルの組み合わせ及び微調整ブロックの組み合わせを、誤推論原因情報として出力する。
【0173】
＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図２１は、誤推論原因抽出処理の流れを示す第４のフローチャートである。第３の実施形態において、誤推論原因抽出部１４０は、図１５に示した第３のフローチャートと、図２１に示す第４のフローチャートとを実行することで、誤推論原因抽出処理を行う。
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図２１は、誤推論原因抽出処理の流れを示す第４のフローチャートである。第３の実施形態において、誤推論原因抽出部１４０は、図１５に示した第３のフローチャートと、図２１に示す第４のフローチャートとを実行することで、誤推論原因抽出処理を行う。
【0174】
図２１に示す第４のフローチャートの各工程のうち、図１０に示した第２のフローチャートとの相違点は、ステップＳ２１０１～Ｓ２１０３、ステップＳ２１０４、ステップＳ２１０５である。したがって、ここでは、ステップＳ２１０１～Ｓ２１０３、ステップＳ２１０４、ステップＳ２１０５について説明する。
【0175】
ステップＳ２１０１において、細分化部１７１０は、変更可能領域を細分化し、微調整ブロックを生成するとともに、微調整ブロックの一部を、変更可能領域から変更不可領域へと変更することで、微調整済み変更可能領域及び微調整済み変更不可領域を生成する。
【0176】
ステップＳ２１０２において、領域抽出部７１０は、スコア最大化リファイン画像より、微調整済み変更可能領域に対応する画像部分を抽出する。
【0177】
ステップＳ２１０３において、領域抽出部７１０は、誤推論画像から、微調整済み変更不可領域に対応する画像部分を抽出する。
【0178】
ステップＳ２１０４において、細分化部１７１０は、微調整処理を終了するか否かを判定する。ステップＳ２１０４において、微調整処理を終了しないと判定した場合には（ステップＳ２１０４においてＮｏの場合には）、ステップＳ２１０１に戻る。
【0179】
一方、ステップＳ２１０４において、微調整処理を終了すると判定した場合には（ステップＳ２１０４においてＹｅｓの場合には）、ステップＳ１００７に進む。
【0180】
ステップＳ２１０５において、重要スーパーピクセル評価部３２３は、取得した正解ラベルのスコアに基づいて、誤推論の原因となるスーパーピクセルの組み合わせ及び微調整ブロックの組み合わせを特定する。更に、重要スーパーピクセル評価部３２３は、特定したスーパーピクセルの組み合わせ及び微調整ブロックの組み合わせを、誤推論原因情報を出力する。
【0181】
以上の説明から明らかなように、第３の実施形態に係る解析装置１００は、変更可能領域を細分化し、微調整ブロックを生成するとともに、微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する。
【0182】
これにより、第３の実施形態によれば、上記第１及び第２の実施形態と同様の効果を維持しつつ、上記第１及び第２の実施形態と比較して、誤推論の原因となる画像箇所を、より細かい粒度で特定することができる。
【0183】
［第４の実施形態］
上記第３の実施形態では、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する際、推論部３０３のスコアを参照しながら行うものとして説明した。しかしながら、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する際の手順はこれに限定されない。
上記第３の実施形態では、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する際、推論部３０３のスコアを参照しながら行うものとして説明した。しかしながら、変更可能領域内の微調整ブロックの一部を、変更可能領域から変更不可領域へと変更する際の手順はこれに限定されない。
【0184】
例えば、重要特徴指標マップの各画素値を、微調整ブロックごとに加算し、微調整ブロック単位の加算値に基づいて、変更可能領域から変更不可領域へと変更する微調整ブロックを決定してもよい。
【0185】
【0186】
続いて、細分化部１７１０では、生成した微調整ブロック１８０１ごとに、重要特徴指標マップの各画素値を加算し、加算値２２０１を得る。続いて細分化部１７１０では、加算値２２０１において、最小となる微調整ブロックを特定し、特定した微調整ブロックを変更可能領域から変更不可領域へと変更する。
【0187】
図２２において、微調整済み変更可能領域及び微調整済み変更不可領域２２１１は、加算値が最小の微調整ブロックを、変更可能領域から変更不可領域へと変更した様子を示している。同様に、微調整済み変更可能領域及び微調整済み変更不可領域２２１２は、加算値が最小の微調整ブロックと、加算値が２番目に小さい微調整ブロックとを、変更可能領域から変更不可領域へと変更した様子を示している。
【0188】
このように、微調整ブロック単位の加算値に基づいて微調整処理を行うことで、上記第３の実施形態と比較して、誤推論の原因となる画像箇所を、短い時間で特定することができる。
【0189】
［第５の実施形態］
上記第３及び第４の実施形態では、スーパーピクセルが、互いに同一サイズ及び同一形状の矩形領域である場合に、変更可能領域を細分化して、微調整ブロックを生成するものとして説明した。しかしながら、スーパーピクセルが、要素オブジェクト（車両の部品）ごとの領域である場合も、同様に変更可能領域を細分化して、微調整ブロックを生成してもよい。
上記第３及び第４の実施形態では、スーパーピクセルが、互いに同一サイズ及び同一形状の矩形領域である場合に、変更可能領域を細分化して、微調整ブロックを生成するものとして説明した。しかしながら、スーパーピクセルが、要素オブジェクト（車両の部品）ごとの領域である場合も、同様に変更可能領域を細分化して、微調整ブロックを生成してもよい。
【0190】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0191】
１００ ：解析装置
１４０ ：誤推論原因抽出部
１４１ ：リファイン画像生成部
１４２ ：マップ生成部
１４３ ：特定部
３０１ ：画像リファイナ部
３０２ ：画像誤差演算部
３０３ ：推論部
３０４ ：スコア誤差演算部
３１１ ：重要特徴マップ生成部
３１２ ：劣化尺度マップ生成部
３１３ ：重畳部
３２１ ：スーパーピクセル分割部
３２２ ：重要スーパーピクセル決定部
３２３ ：重要スーパーピクセル評価部
６１０ ：分割部
７１０ ：領域抽出部
７１１ ：合成部
１２１０ ：分割部
１６２２ ：重要スーパーピクセル決定部
１７１０ ：細分化部
１４０ ：誤推論原因抽出部
１４１ ：リファイン画像生成部
１４２ ：マップ生成部
１４３ ：特定部
３０１ ：画像リファイナ部
３０２ ：画像誤差演算部
３０３ ：推論部
３０４ ：スコア誤差演算部
３１１ ：重要特徴マップ生成部
３１２ ：劣化尺度マップ生成部
３１３ ：重畳部
３２１ ：スーパーピクセル分割部
３２２ ：重要スーパーピクセル決定部
３２３ ：重要スーパーピクセル評価部
６１０ ：分割部
７１０ ：領域抽出部
７１１ ：合成部
１２１０ ：分割部
１６２２ ：重要スーパーピクセル決定部
１７１０ ：細分化部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】