(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】解析装置及び解析プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231129BHJP
G06V 10/776 20220101ALI20231129BHJP
G06V 10/82 20220101ALI20231129BHJP
【ＦＩ】
G06T7/00 350C
G06V10/776
G06V10/82
【請求項の数】
8
(21)【出願番号】P 2022516817
(86)(22)【出願日】2020-04-24
(86)【国際出願番号】 JP2020017823
(87)【国際公開番号】W WO2021215006
(87)【国際公開日】2021-10-28
【審査請求日】2022-10-25
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】中尾 鷹詔
(72)【発明者】
【氏名】村田 康之
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０２０－０４２７６５（ＪＰ，Ａ）
【文献】久保田智規，村田康之，上原義文，中川章，ＣＮＮを用いた物体認識における誤認識の原因を可視化する一手法，電子情報通信学会技術研究報告 Ｖｏｌ．１１９ Ｎｏ．１９３ ［ｏｎｌｉｎｅ］，日本，一般社団法人電子情報通信学会 The Institute of Ele，2019年08月28日，第119巻第193号，p99～104
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／７７６
Ｇ０６Ｖ １０／８２
(57)【特許請求の範囲】
【請求項1】
画像認識処理の認識結果が予め定められた状態になる画像が生成されるよう、画像の生成モデルに対して第１の学習処理を実行する第１学習部と、前記第１学習部により第１の学習処理が実行された前記生成モデルが生成する画像の認識精度を、目的の認識精度まで段階的に変更しながら、該第１の学習処理が実行された前記生成モデルに対して第２の学習処理を実行する第２学習部と、
前記第２の学習処理の過程で生成される各認識精度の画像に対して、画像認識処理が実行されることで算出された各逆誤差伝播の情報を取得し、取得した該各逆誤差伝播の情報に基づき、各認識精度における誤認識の原因となる各画像箇所を示す評価情報を生成する生成部と
を有する解析装置。
【請求項2】
前記第１学習部は、入力した画像と同じ状態の画像が生成されるよう、画像の生成モデルに対して第１の学習処理を実行し、前記第２学習部は、前記第１学習部により第１の学習処理が実行された前記生成モデルが生成する画像の認識精度を、前記目的の認識精度まで段階的に上げながら、該第１の学習処理が実行された前記生成モデルに対して第２の学習処理を実行する、請求項１に記載の解析装置。
【請求項3】
前記生成部は、取得した前記各逆誤差伝播の情報に基づいて、前記画像認識処理の際に反応した特徴部分を可視化した重要特徴マップをそれぞれ生成し、
生成したそれぞれの重要特徴マップ同士の差分を算出することで、複数の差分マップを生成し、
生成したそれぞれの重要特徴マップのうち、所定の重要特徴マップと、該所定の重要特徴マップに前記複数の差分マップを順次加算したそれぞれの加算後の重要特徴マップとを、前記評価情報として生成する、請求項２に記載の解析装置。
【請求項4】
前記生成部は、前記入力した画像、または、前記第１の学習処理が実行されることで生成される画像と、前記第２の学習処理が実行されることで生成される、前記目的の認識精度を有する画像と、の差分を算出することで得られる劣化尺度マップに、前記所定の重要特徴マップを重畳した重要特徴指標マップと、該重要特徴指標マップに前記複数の差分マップを順次加算したそれぞれの加算後の重要特徴指標マップとを、前記評価情報として生成する、請求項３に記載の解析装置。
【請求項5】
前記入力した画像、または、前記第１の学習処理が実行されることで生成される画像を、スーパーピクセルごとに分割し、前記重要特徴指標マップの各画素の値をスーパーピクセルごとに加算し、加算値が所定の閾値以上となるスーパーピクセルの組み合わせが示す領域を、前記評価情報として生成する特定部を更に有する、請求項４に記載の解析装置。
【請求項6】
前記特定部は、前記加算値が所定の閾値以上となるスーパーピクセルの組み合わせに基づいて、前記入力した画像、または、前記第１の学習処理が実行されることで生成される画像と、前記第２の学習処理が実行されることで生成される画像とを合成し、合成画像に対して実行する画像認識処理の結果に基づいて、前記スーパーピクセルの組み合わせを特定する、請求項５に記載の解析装置。
【請求項7】
前記特定部は、特定した前記スーパーピクセルの組み合わせが示す領域に含まれる画像であって、前記入力した画像、または、前記第１の学習処理が実行されることで生成される画像と、前記第２の学習処理が実行されることで生成される画像との画素単位での差分を算出し、算出した画素単位での差分により得られる画像を、前記評価情報として生成する、請求項６に記載の解析装置。
【請求項8】
画像認識処理の認識結果が予め定められた状態になる画像が生成されるよう、画像の生成モデルに対して第１の学習処理を実行し、前記第１の学習処理が実行された前記生成モデルが生成する画像の認識精度を、目的の認識精度まで段階的に変更しながら、該第１の学習処理が実行された前記生成モデルに対して第２の学習処理を実行し、
前記第２の学習処理の過程で生成される各認識精度の画像に対して、画像認識処理が実行されることで算出された各逆誤差伝播の情報を取得し、取得した該各逆誤差伝播の情報に基づき、各認識精度における誤認識の原因となる各画像箇所を示す評価情報を生成する、
処理をコンピュータに実行させるための解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解析装置及び解析プログラムに関する。
【背景技術】
【0002】
従来より、ＣＮＮ（Convolutional Neural Network）を用いた画像認識処理において、誤認識があった場合に、誤認識の原因となる画像箇所を解析する解析技術が知られている。一例として、スコア最大化法（Activation Maximization）等が挙げられる。
【0003】
スコア最大化法によれば、スコアが最大となるように入力画像を変更し、リファイン画像を生成することで、生成したリファイン画像の、入力画像からの変更部分を誤認識の原因となる画像箇所として可視化することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－０９７８０７号公報
【文献】特開２０１８－０４５３５０号公報
【文献】Ramprasaath R. Selvariju, et al.: Grad-cam: Visual explanations from deep networks via gradient-based localization. The IEEE International Conference on Computer Vision (ICCV), pp. 618-626, 2017.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、スコア最大化法の場合、変更が完了した後の画像箇所については明示されるが、変更の途中過程での画像箇所については明示されない。このため、ユーザは、最大スコアに影響している画像箇所を把握することはできるが、途中過程のスコア（途中過程の認識精度）で、どの画像箇所が影響しているのか（つまり、途中過程での各画像箇所の影響度）までは把握することができない。
【0006】
一つの側面では、誤認識の原因となる各画像箇所の影響度を可視化することを目的としている。
【課題を解決するための手段】
【0007】
一態様によれば、解析装置は、
画像認識処理の認識結果が予め定められた状態になる画像が生成されるよう、画像の生成モデルに対して第１の学習処理を実行する第１学習部と、
前記第１学習部により第１の学習処理が実行された前記生成モデルが生成する画像の認識精度を、目的の認識精度まで段階的に変更しながら、該第１の学習処理が実行された前記生成モデルに対して第２の学習処理を実行する第２学習部と、
前記第２の学習処理の過程で生成される各認識精度の画像に対して、画像認識処理が実行されることで算出された各逆誤差伝播の情報を取得し、取得した該各逆誤差伝播の情報に基づき、各認識精度における誤認識の原因となる各画像箇所を示す評価情報を生成する生成部とを有する。
画像認識処理の認識結果が予め定められた状態になる画像が生成されるよう、画像の生成モデルに対して第１の学習処理を実行する第１学習部と、
前記第１学習部により第１の学習処理が実行された前記生成モデルが生成する画像の認識精度を、目的の認識精度まで段階的に変更しながら、該第１の学習処理が実行された前記生成モデルに対して第２の学習処理を実行する第２学習部と、
前記第２の学習処理の過程で生成される各認識精度の画像に対して、画像認識処理が実行されることで算出された各逆誤差伝播の情報を取得し、取得した該各逆誤差伝播の情報に基づき、各認識精度における誤認識の原因となる各画像箇所を示す評価情報を生成する生成部とを有する。
【発明の効果】
【0008】
誤認識の原因となる各画像箇所の影響度を可視化することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す第１の図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、画像認識部１１０、誤認識画像抽出部１２０、誤認識原因抽出部１４０として機能する。
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す第１の図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、画像認識部１１０、誤認識画像抽出部１２０、誤認識原因抽出部１４０として機能する。
【0012】
画像認識部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、画像認識部１１０は、入力画像１０が入力されることで、画像認識処理を実行し、入力画像１０に含まれるオブジェクトの種類（本実施形態では、車両の種類）を示す認識結果（例えば、ラベル）を出力する。
【0013】
誤認識画像抽出部１２０は、入力画像１０に含まれる認識結果（例えば、オブジェクトの種類を示すラベル（既知））と、画像認識部１１０による認識結果（例えば、ラベル）とが一致するか否かを判定する。また、誤認識画像抽出部１２０は、一致しないと判定した際の（誤った認識結果が出力された際の）入力画像を、"誤認識画像"として抽出し、誤認識画像格納部１３０に格納する。
【0014】
誤認識原因抽出部１４０は、誤認識画像について、各認識精度における誤認識の原因となる各画像箇所を特定し、特定した各認識精度における各画像箇所を示す誤認識原因情報（評価情報の一例）を出力することで、各画像箇所の影響度を可視化する。
【0015】
具体的には、誤認識原因抽出部１４０は、画像リファイナ初期化部１４１と、リファイン画像生成部１４２と、マップ生成部１４３とを有する。
【0016】
画像リファイナ初期化部１４１は、第１学習部の一例である。画像リファイナ初期化部１４１は、誤認識画像格納部１３０に格納された誤認識画像を読み出し、読み出した誤認識画像を入力として、画像リファイナ部を初期化するための第１の学習処理を実行する。
【0017】
画像リファイナ部とは、ＣＮＮを用いて、誤認識画像を変更し、所定の認識精度を有するリファイン画像を生成する生成モデルである。画像リファイナ初期化部１４１は、第１の学習処理を実行し、生成モデルのモデルパラメータを更新することで、画像リファイナ部を初期化する。
【0018】
リファイン画像生成部１４２は、第２学習部の一例であり、画像リファイナ初期化部１４１により初期化された画像リファイナ部が適用される。リファイン画像生成部１４２は、誤認識画像格納部１３０に格納された誤認識画像を読み出し、認識結果が、各認識精度となるように、画像リファイナ部に対して第２の学習処理を実行し、各認識精度のリファイン画像を生成する。リファイン画像生成部１４２では、目的の認識精度まで段階的に認識精度を上げながら、各認識精度のリファイン画像を生成する。なお、各認識精度のリファイン画像のうち、認識精度を最大化したリファイン画像（目的の認識精度のリファイン画像）を、"認識精度最大化リファイン画像"と称す。
【0019】
マップ生成部１４３は生成部の一例である。マップ生成部１４３は、誤認識の原因を解析する従来の解析技術等を用いて、各認識精度において誤認識の原因となる各画像箇所を示すマップをそれぞれ生成する。マップ生成部１４３は、生成した各マップを、誤認識原因情報として出力することで、各画像箇所の影響度を可視化する。
【0020】
このように、解析装置１００では、各認識精度において、誤認識の原因となる各画像箇所を示すマップをそれぞれ生成して出力することで、誤認識の原因となる各画像箇所の影響度を可視化する。
【0021】
＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
【0022】
また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。
【0023】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics Processing Unit）など）を組み合わせてもよい。
【0024】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【0025】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0026】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤認識画像格納部１３０は、補助記憶装置２０４において実現される。
【0027】
表示装置２０５は、誤認識原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。
【0028】
Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。
【0029】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0030】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。
【0031】
＜誤認識原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤認識原因抽出部１４０の各部（画像リファイナ初期化部１４１、リファイン画像生成部１４２、マップ生成部１４３）の詳細について説明する。なお、以下、各部の詳細を説明するにあたっては、認識精度が"スコア"であるとし、各認識精度のリファイン画像が、
・目標スコア７０％のリファイン画像、
・目標スコア８０％のリファイン画像、
・目標スコア９０％のリファイン画像、
・目標スコア１００％のリファイン画像（スコア最大化リファイン画像）、
であるとする。ただし、認識精度は"スコア"に限定されない（認識結果を表すものであれば、"スコア"以外の認識精度を用いてもよい）。また、７０％～１００％の範囲で、１０％のきざみ幅とする目標スコアの設定も一例にすぎず、任意の範囲、任意のきざみ幅が設定可能であるとする。
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤認識原因抽出部１４０の各部（画像リファイナ初期化部１４１、リファイン画像生成部１４２、マップ生成部１４３）の詳細について説明する。なお、以下、各部の詳細を説明するにあたっては、認識精度が"スコア"であるとし、各認識精度のリファイン画像が、
・目標スコア７０％のリファイン画像、
・目標スコア８０％のリファイン画像、
・目標スコア９０％のリファイン画像、
・目標スコア１００％のリファイン画像（スコア最大化リファイン画像）、
であるとする。ただし、認識精度は"スコア"に限定されない（認識結果を表すものであれば、"スコア"以外の認識精度を用いてもよい）。また、７０％～１００％の範囲で、１０％のきざみ幅とする目標スコアの設定も一例にすぎず、任意の範囲、任意のきざみ幅が設定可能であるとする。
【0032】
（１）画像リファイナ初期化部の詳細
はじめに、画像リファイナ初期化部１４１の詳細について説明する。図３は、画像リファイナ初期化部の機能構成の一例を示す図である。図３に示すように、画像リファイナ初期化部１４１は、画像リファイナ部３０１と、比較／変更部３０２とを有する。
はじめに、画像リファイナ初期化部１４１の詳細について説明する。図３は、画像リファイナ初期化部の機能構成の一例を示す図である。図３に示すように、画像リファイナ初期化部１４１は、画像リファイナ部３０１と、比較／変更部３０２とを有する。
【0033】
このうち、画像リファイナ部３０１は、上述したように、ＣＮＮを用いて誤認識画像を変更し、所定の認識精度を有するリファイン画像を生成する生成モデルである。画像リファイナ初期化部１４１では、画像リファイナ部３０１に対して、第１の学習処理を実行する。
【0034】
具体的には、画像リファイナ初期化部１４１では、画像リファイナ部３０１及び比較／変更部３０２に対して誤認識画像を入力する。これにより、画像リファイナ部３０１では、リファイン画像を出力する。また、画像リファイナ部３０１より出力されたリファイン画像は、比較／変更部３０２に入力される。
【0035】
比較／変更部３０２では、画像リファイナ部３０１より出力されたリファイン画像と、画像リファイナ初期化部１４１により入力された誤認識画像との差分（画像差分値）を算出する。また、比較／変更部３０２では、算出した画像差分値を逆誤差伝播させることで、画像リファイナ部３０１のモデルパラメータを更新する。
【0036】
このように、画像リファイナ部３０１に対して、第１の学習処理を実行することで、画像リファイナ部３０１は、入力される誤認識画像と同じ状態の誤認識画像を出力するように、モデルパラメータが更新される。
【0037】
ここでいう同じ状態の誤認識画像とは、本実施形態では、入力された誤認識画像と同じ画像を指すものとして説明するが、必ずしも画像自体が同じである必要はなく、画像認識処理を実行した場合の認識結果が同じとなる画像であってもよい。
【0038】
つまり、画像リファイナ部３０１は、どのような誤認識画像が入力された場合であっても、それぞれの誤認識画像と同じ状態の誤認識画像が出力されるようにモデルパラメータが更新されることで、初期化される。
【0039】
なお、第１の学習処理が実行されることでモデルパラメータが更新された画像リファイナ部（第１の学習済み生成モデル）は、リファイン画像生成部１４２に適用される。これにより、従来のように、乱数でモデルパラメータが初期化された、素性のわからない状態の画像リファイナ部を用いることなく、所定の状態の画像リファイナ部を用いて第２の学習処理を実行することが可能になる。
【0040】
（２）リファイン画像生成部の詳細
次に、リファイン画像生成部１４２の詳細について説明する。図４は、リファイン画像生成部の機能構成の一例を示す第１の図である。
次に、リファイン画像生成部１４２の詳細について説明する。図４は、リファイン画像生成部の機能構成の一例を示す第１の図である。
【0041】
図４に示すように、リファイン画像生成部１４２は、画像リファイナ部４０１、画像誤差演算部４０２、画像認識部４０３、認識誤差演算部４０４を有する。
【0042】
画像リファイナ部４０１は、第１の学習処理が実行されることで画像リファイナ初期化部１４１によりモデルパラメータが更新された、第１学習済み生成モデルである。リファイン画像生成部１４２では、画像リファイナ部４０１に対して、第２の学習処理を実行し、誤認識画像から、各目標スコアのリファイン画像を生成する。
【0043】
具体的には、リファイン画像生成部１４２は、画像リファイナ部４０１及び画像誤差演算部４０２に対して、誤認識画像を入力する。これにより、画像リファイナ部４０１では、リファイン画像を生成する。また、画像リファイナ部４０１では、生成したリファイン画像を用いて画像認識処理が実行された際に、正解ラベルのスコアが、各目標スコアになるように、誤認識画像を変更する。また、画像リファイナ部４０１では、誤認識画像からの変更量（生成したリファイン画像と誤認識画像との差分）が小さくなるように、リファイン画像を生成する。これにより、画像リファイナ部４０１によれば、視覚的に変更前の画像（誤認識画像）に近い画像（リファイン画像）を生成することができる。
【0044】
つまり、リファイン画像生成部１４２は、
・生成したリファイン画像を用いて画像認識処理が実行された際のスコアと、正解ラベルの目標スコアとの誤差（スコア誤差）と、
・生成したリファイン画像と誤認識画像との差分である画像差分値と、
が最小化するように、各目標スコアにおいて第２の学習処理を実行し、画像リファイナ部４０１のモデルパラメータを更新する。
・生成したリファイン画像を用いて画像認識処理が実行された際のスコアと、正解ラベルの目標スコアとの誤差（スコア誤差）と、
・生成したリファイン画像と誤認識画像との差分である画像差分値と、
が最小化するように、各目標スコアにおいて第２の学習処理を実行し、画像リファイナ部４０１のモデルパラメータを更新する。
【0045】
画像誤差演算部４０２は、誤認識画像と、第２の学習処理の過程で画像リファイナ部４０１により生成されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部４０１に入力する。画像誤差演算部４０２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部４０１に入力する。
【0046】
画像認識部４０３は、画像リファイナ部４０１により生成されたリファイン画像を入力として画像認識処理を行い、認識結果（ラベルのスコア）を出力する、学習済みのＣＮＮである。なお、画像認識部４０３により出力されるスコアは、認識誤差演算部４０４に通知される。
【0047】
認識誤差演算部４０４は、画像認識部４０３により通知されたスコアと、目標スコアとの誤差を算出し、画像リファイナ部４０１に認識誤差（スコア誤差）を通知する。
【0048】
画像リファイナ部４０１に対する第２の学習処理は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが目標スコアに対して所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが目標スコアに対して所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われる。
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが目標スコアに対して所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが目標スコアに対して所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われる。
【0049】
なお、画像リファイナ部４０１により生成された各目標スコアのリファイン画像が、画像認識部４０３により画像認識処理が行われた際の、画像認識部４０３の構造情報は、マップ生成部１４３に通知される。本実施形態において、画像認識部４０３の構造情報には、
・目標スコア７０％のリファイン画像が画像認識処理された際の画像認識部構造情報、
・目標スコア８０％のリファイン画像が画像認識処理された際の画像認識部構造情報、
・目標スコア９０％のリファイン画像が画像認識処理された際の画像認識部構造情報、
・目標スコア１００％のリファイン画像が画像認識処理された際の画像認識部構造情報、
が含まれる。
・目標スコア７０％のリファイン画像が画像認識処理された際の画像認識部構造情報、
・目標スコア８０％のリファイン画像が画像認識処理された際の画像認識部構造情報、
・目標スコア９０％のリファイン画像が画像認識処理された際の画像認識部構造情報、
・目標スコア１００％のリファイン画像が画像認識処理された際の画像認識部構造情報、
が含まれる。
【0050】
（３）マップ生成部の詳細
次に、マップ生成部１４３の詳細について説明する。図５は、マップ生成部の機能構成の一例を示す第１の図である。
次に、マップ生成部１４３の詳細について説明する。図５は、マップ生成部の機能構成の一例を示す第１の図である。
【0051】
図５に示すように、マップ生成部１４３は、重要特徴マップ生成部５１１、差分マップ生成部５１２を有する。
【0052】
重要特徴マップ生成部５１１は、リファイン画像生成部１４２より、画像認識部４０３の構造情報を取得する。また、重要特徴マップ生成部５１１は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、画像認識部４０３の構造情報に基づいて"重要特徴マップ"を生成する。重要特徴マップは、画像認識処理の際に反応した特徴部分を可視化したマップである。
【0053】
なお、ＢＰ法は、目標スコアのリファイン画像について画像認識処理を行うことで得た分類確率から、各ラベルの目標スコアに対する誤差を計算し、入力層まで逆誤差伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
【0054】
更に、選択的ＢＰ法は、正解ラベルのスコアと目標スコアとの誤差を計算し、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルの目標スコアのみに影響を与える特徴部分となる。
【0055】
重要特徴マップ生成部５１１は、生成した重要特徴マップのうち、目標スコア７０％に対応する重要特徴マップ５２０を、誤認識原因情報の１つとして出力する。また、重要特徴マップ生成部５１１は、生成した重要特徴マップを、差分マップ生成部５１２に通知する。
【0056】
差分マップ生成部５１２は、重要特徴マップ生成部５１１により生成された重要特徴マップ同士の差分を算出することで、複数の差分マップを生成する。具体的には、差分マップ生成部５１２は、
・目標スコア７０％に対応する重要特徴マップと、目標スコア８０％に対応する重要特徴マップとの画像差分値を算出することで、差分マップ５２１を生成する。
・目標スコア８０％に対応する重要特徴マップと、目標スコア９０％に対応する重要特徴マップとの画像差分値を算出することで、差分マップ５２２を生成する。
・目標スコア９０％に対応する重要特徴マップと、目標スコア１００％に対応する重要特徴マップとの画像差分値を算出することで、差分マップ５２３を生成する。
・目標スコア７０％に対応する重要特徴マップと、目標スコア８０％に対応する重要特徴マップとの画像差分値を算出することで、差分マップ５２１を生成する。
・目標スコア８０％に対応する重要特徴マップと、目標スコア９０％に対応する重要特徴マップとの画像差分値を算出することで、差分マップ５２２を生成する。
・目標スコア９０％に対応する重要特徴マップと、目標スコア１００％に対応する重要特徴マップとの画像差分値を算出することで、差分マップ５２３を生成する。
【0057】
また、差分マップ生成部５１２は、
・目標スコア７０％に対応する重要特徴マップ５２０に差分マップ５２１を加算した重要特徴マップを、誤認識原因情報の１つとして出力する。
・目標スコア７０％に対応する重要特徴マップ５２０に、差分マップ５２１と、差分マップ５２２とを加算した重要特徴マップを、誤認識原因情報の１つとして出力する。
・目標スコア７０％に対応する重要特徴マップ５２０に、差分マップ５２１と、差分マップ５２２と、差分マップ５２３とを加算した重要特徴マップを、誤認識原因情報の１つとして出力する。
・目標スコア７０％に対応する重要特徴マップ５２０に差分マップ５２１を加算した重要特徴マップを、誤認識原因情報の１つとして出力する。
・目標スコア７０％に対応する重要特徴マップ５２０に、差分マップ５２１と、差分マップ５２２とを加算した重要特徴マップを、誤認識原因情報の１つとして出力する。
・目標スコア７０％に対応する重要特徴マップ５２０に、差分マップ５２１と、差分マップ５２２と、差分マップ５２３とを加算した重要特徴マップを、誤認識原因情報の１つとして出力する。
【0058】
＜誤認識原因抽出処理の流れ＞
次に、誤認識原因抽出部１４０による、誤認識原因抽出処理の流れについて説明する。図６は、誤認識原因抽出処理の流れを示す第１のフローチャートである。誤認識画像格納部１３０に誤認識画像が新たに格納されると、図６に示す誤認識原因抽出処理が開始される。
次に、誤認識原因抽出部１４０による、誤認識原因抽出処理の流れについて説明する。図６は、誤認識原因抽出処理の流れを示す第１のフローチャートである。誤認識画像格納部１３０に誤認識画像が新たに格納されると、図６に示す誤認識原因抽出処理が開始される。
【0059】
ステップＳ６０１において、誤認識原因抽出部１４０は、誤認識画像格納部１３０より誤認識画像を取得する。
【0060】
ステップＳ６０２において、画像リファイナ初期化部１４１は、画像リファイナ部３０１（生成モデル）を初期化するために、第１の学習処理を実行し、第１学習済み生成モデルを生成する。
【0061】
ステップＳ６０３において、リファイン画像生成部１４２は、初期の目標スコア（７０％）と、目標スコアのきざみ幅（１０％）とを設定する。
【0062】
ステップＳ６０４において、リファイン画像生成部１４２は、現在の目標スコアに到達するように、画像リファイナ部４０１（第１学習済み生成モデル）に対して、第２の学習処理を実行する。これにより、画像リファイナ部４０１は、現在の目標スコアのリファイン画像を生成する。
【0063】
ステップＳ６０５において、マップ生成部１４３は、現在の目標スコアのリファイン画像を入力として画像認識部４０３が画像認識処理を行った際の、画像認識部４０３の構造情報を取得する。
【0064】
ステップＳ６０６において、リファイン画像生成部１４２は、現在の目標スコアが最大スコア（１００％）に到達したか否かを判定する。ステップＳ６０６において、現在の目標スコアが最大スコアに到達していないと判定した場合には（ステップＳ６０６においてＮＯの場合には）、ステップＳ６０７に進む。
【0065】
ステップＳ６０７において、リファイン画像生成部１４２は、現在の目標スコアに、きざみ幅を加算し、ステップＳ６０４に戻る。
【0066】
一方、ステップＳ６０６において、現在の目標スコアが最大スコアに到達したと判定した場合には（ステップＳ６０６においてＹＥＳの場合には）、ステップＳ６０８に進む。
【0067】
ステップＳ６０８において、マップ生成部１４３は、各目標スコアに対応する、画像認識部４０３の構造情報に基づいて、各目標スコアに対応する重要特徴マップを生成する。
【0068】
ステップＳ６０９において、マップ生成部１４３は、各目標スコアに対応する重要特徴マップに基づいて、差分マップを生成する。
【0069】
ステップＳ６１０において、マップ生成部１４３は、初期の目標スコアに対応する重要特徴マップを、誤認識原因情報の１つとして出力する。また、マップ生成部１４３は、初期の目標スコアに対応する重要特徴マップに、差分マップを順次加算し、加算後の重要特徴マップそれぞれを、誤認識原因情報の１つとして出力する。
【0070】
以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、誤認識画像を入力として、画像リファイナ部を初期化するための第１の学習処理を実行し、第１学習済み生成モデルを生成する。また、第１の実施形態に係る解析装置１００は、第１学習済み生成モデルを用いて、各認識精度（各目標スコア）のリファイン画像を生成し、各認識精度のリファイン画像について画像認識処理を行った際の構造情報に基づいて、重要特徴マップを生成する。また、第１の実施形態に係る解析装置１００は、初期の認識精度に対応する重要特徴マップを誤認識原因情報の１つとして出力する。更に、第１の実施形態に係る解析装置１００は、各認識精度に対応する重要特徴マップ間の差分マップを、初期の認識精度に対応する重要特徴マップに順次加算し、加算後の重要特徴マップそれぞれを誤認識原因情報の１つとして出力する。
【0071】
このように、第１の実施形態に係る解析装置によれば、途中過程の認識精度で、誤認識の原因となる画像箇所のうちの、どの画像箇所が影響しているのか（影響度）を、各認識精度に対応する重要特徴マップを出力することで可視化することができる。
【0072】
［第２の実施形態］
上記第１の実施形態では、各認識精度のリファイン画像について画像認識処理を行った際の構造情報に基づいて生成された各重要特徴マップを、誤認識原因情報として出力した。しかしながら、誤認識原因情報として出力するマップは重要特徴マップに限定されない。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
上記第１の実施形態では、各認識精度のリファイン画像について画像認識処理を行った際の構造情報に基づいて生成された各重要特徴マップを、誤認識原因情報として出力した。しかしながら、誤認識原因情報として出力するマップは重要特徴マップに限定されない。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0073】
＜誤認識原因抽出部の機能構成＞
（１）リファイン画像生成部の詳細
図７は、リファイン画像生成部の機能構成の一例を示す第２の図である。上記第１の実施形態において、図４を用いて説明したリファイン画像生成部１４２との相違点は、図７の場合、スコア最大化リファイン画像格納部７１０を有する点である。
（１）リファイン画像生成部の詳細
図７は、リファイン画像生成部の機能構成の一例を示す第２の図である。上記第１の実施形態において、図４を用いて説明したリファイン画像生成部１４２との相違点は、図７の場合、スコア最大化リファイン画像格納部７１０を有する点である。
【0074】
スコア最大化リファイン画像格納部７１０は、画像リファイナ部４０１により生成されたリファイン画像のうち、目標スコア１００％のリファイン画像（スコア最大化リファイン画像）を格納する。
【0075】
（２）マップ生成部の詳細
次に、マップ生成部１４３の詳細について説明する。図８は、マップ生成部の機能構成の一例を示す第２の図である。
次に、マップ生成部１４３の詳細について説明する。図８は、マップ生成部の機能構成の一例を示す第２の図である。
【0076】
図８に示すように、マップ生成部１４３は、重要特徴マップ生成部５１１、差分マップ生成部５１２に加えて、劣化尺度マップ生成部８０１、重畳部８０２を有する。
【0077】
劣化尺度マップ生成部８０１は、スコア最大化リファイン画像格納部７１０に格納されたスコア最大化リファイン画像を取得する。また、劣化尺度マップ生成部８０１は、誤認識画像を取得する。更に、劣化尺度マップ生成部８０１は、スコア最大化リファイン画像と、誤認識画像との差分を算出し、劣化尺度マップ８１０を生成する。
【0078】
つまり、劣化尺度マップとは、誤認識画像からスコア最大化リファイン画像を生成する際の、変更部分と各変更部分の変更度合いとを示したマップである。
【0079】
重畳部８０２は、重要特徴マップ生成部５１１において生成された重要特徴マップ５２０と、劣化尺度マップ生成部８０１において生成された劣化尺度マップ８１０とを重畳することで、目標スコア７０％に対応する重要特徴指標マップ８２０を生成する。また、重畳部８０２は、生成した目標スコア７０％に対応する重要特徴指標マップ８２０を、誤認識原因情報の１つとして出力する。
【0080】
また、重畳部８０２は、目標スコア７０％に対応する重要特徴指標マップ８２０に、差分マップ５２１、５２２、５２３を、順次、加算し、
・目標スコア８０％に対応する重要特徴指標マップ８２１、
・目標スコア９０％に対応する重要特徴指標マップ８２２、
・目標スコア１００％に対応する重要特徴指標マップ８２３、
を含む複数の重要特徴指標マップそれぞれを、誤認識原因情報の１つとして出力する。
・目標スコア８０％に対応する重要特徴指標マップ８２１、
・目標スコア９０％に対応する重要特徴指標マップ８２２、
・目標スコア１００％に対応する重要特徴指標マップ８２３、
を含む複数の重要特徴指標マップそれぞれを、誤認識原因情報の１つとして出力する。
【0081】
＜誤認識原因抽出処理の流れ＞
次に、誤認識原因抽出部１４０による、誤認識原因抽出処理の流れについて説明する。図９は、誤認識原因抽出処理の流れを示す第２のフローチャートである。上記第１の実施形態において、図６を用いて説明した誤認識原因抽出処理との相違点は、ステップＳ９０１～ステップＳ９０４である。
次に、誤認識原因抽出部１４０による、誤認識原因抽出処理の流れについて説明する。図９は、誤認識原因抽出処理の流れを示す第２のフローチャートである。上記第１の実施形態において、図６を用いて説明した誤認識原因抽出処理との相違点は、ステップＳ９０１～ステップＳ９０４である。
【0082】
ステップＳ９０１において、マップ生成部１４３は、画像リファイナ部４０１において生成されたスコア最大化リファイン画像を取得する。
【0083】
ステップＳ９０２において、マップ生成部１４３は、スコア最大化リファイン画像と誤認識画像との差分を算出し、劣化尺度マップを生成する。
【0084】
ステップＳ９０３において、マップ生成部１４３は、劣化尺度マップに、初期の目標スコアに対応する重要特徴マップを重畳することで、初期の目標スコアに対応する重要特徴指標マップを生成し、誤認識原因情報の１つとして出力する。
【0085】
ステップＳ９０４において、マップ生成部１４３は、初期の目標スコアに対応する重要特徴指標マップに、順次、差分マップを加算し、各目標スコアに対応する重要特徴指標マップを生成する。また、マップ生成部１４３は、各目標スコアに対応する重要特徴指標マップそれぞれを、誤認識原因情報の１つとして出力する。
【0086】
以上の説明から明らかなように、第２の実施形態に係る解析装置１００は、上記第１の実施形態に係る解析装置１００が有する機能に加えて、更に、劣化尺度マップ生成部を有し、劣化尺度マップを生成する。また、第２の実施形態に係る解析装置１００は、更に、重畳部を有し、劣化尺度マップに、初期の認識精度に対応する重要特徴マップを重畳することで、重要特徴指標マップを生成し、誤認識原因情報の１つとして出力する。更に、第２の実施形態に係る解析装置１００は、初期の認識精度に対応する重要特徴指標マップに、各認識精度に対応する重要特徴マップ間の差分マップを、順次、加算し、加算後の重要特徴指標マップそれぞれを誤認識原因情報の１つとして出力する。
【0087】
このように、第２の実施形態に係る解析装置によれば、途中過程の認識精度で、誤認識の原因となる画像箇所のうちの、どの画像箇所が影響しているのか（影響度）を、各認識精度に対応する重要特徴指標マップを出力することで可視化することができる。
【0088】
［第３の実施形態］
上記第１及び第２の実施形態では、各認識精度に対応する重要特徴マップ、または、各認識精度に対応する重要特徴指標マップを、誤認識原因情報として出力した。これに対して、第３の実施形態では、各認識精度に対応する重要特徴指標マップに基づいて特定した、各認識精度におけるスーパーピクセルの組み合わせ（変更可能領域）を、誤認識原因情報として出力する。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
上記第１及び第２の実施形態では、各認識精度に対応する重要特徴マップ、または、各認識精度に対応する重要特徴指標マップを、誤認識原因情報として出力した。これに対して、第３の実施形態では、各認識精度に対応する重要特徴指標マップに基づいて特定した、各認識精度におけるスーパーピクセルの組み合わせ（変更可能領域）を、誤認識原因情報として出力する。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
【0089】
＜解析装置の機能構成＞
図１０は、解析装置の機能構成の一例を示す第２の図である。上記第１の実施形態において図１を用いて説明した解析装置１００の機能構成との相違点は、図１０の場合、誤認識原因抽出部１４０が、特定部１００１を有する点である。
図１０は、解析装置の機能構成の一例を示す第２の図である。上記第１の実施形態において図１を用いて説明した解析装置１００の機能構成との相違点は、図１０の場合、誤認識原因抽出部１４０が、特定部１００１を有する点である。
【0090】
特定部１００１は、誤認識画像のうち、生成された重要特徴指標マップに基づいて規定した変更可能領域について、生成されたリファイン画像で置き換える。また、特定部１００１は、変更可能領域をリファイン画像で置き換えた誤認識画像を入力として画像認識処理を実行し、出力された認識結果（ラベルのスコア）から、置き換えの効果を判定する。
【0091】
また、特定部１００１は、変更可能領域の大きさを変えながら画像認識処理を繰り返し、認識結果（ラベルのスコア）から、各認識精度（各目標スコア）における誤認識の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定する。更に、特定部１００１は、各認識精度において特定した誤認識の原因となるスーパーピクセルの組み合わせ（変更可能領域）を、誤認識原因情報として出力する。
【0092】
このように、変更可能領域をリファイン画像で置き換える際、置き換えの効果を参照することで、各認識精度（各目標スコア）における誤認識の原因となる各画像箇所を精度よく特定することができる。
【0093】
＜特定部の機能構成＞
次に、特定部１００１の機能構成について説明する。図１１は、特定部の機能構成の一例を示す第１の図である。図１１に示すように、特定部１００１は、スーパーピクセル分割部１１０１、重要スーパーピクセル決定部１１０２、画像認識部１１０３、重要スーパーピクセル評価部１１０４を有する。
次に、特定部１００１の機能構成について説明する。図１１は、特定部の機能構成の一例を示す第１の図である。図１１に示すように、特定部１００１は、スーパーピクセル分割部１１０１、重要スーパーピクセル決定部１１０２、画像認識部１１０３、重要スーパーピクセル評価部１１０４を有する。
【0094】
スーパーピクセル分割部１１０１は、誤認識画像を、誤認識画像に含まれるオブジェクト（本実施形態では車両）の部品ごとの領域である"スーパーピクセル"に分割し、スーパーピクセル分割情報を出力する。なお、誤認識画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。
【0095】
重要スーパーピクセル決定部１１０２は、スーパーピクセル分割部１１０１により出力されたスーパーピクセル分割情報に基づいて、重畳部８０２により生成された、
・目標スコア７０％に対応する重要特徴指標マップの各画素の値、
・目標スコア８０％に対応する重要特徴指標マップの各画素の値、
・目標スコア９０％に対応する重要特徴指標マップの各画素の値、
・目標スコア１００％に対応する重要特徴指標マップの各画素の値、
を、それぞれ、スーパーピクセルごとに加算する。
・目標スコア７０％に対応する重要特徴指標マップの各画素の値、
・目標スコア８０％に対応する重要特徴指標マップの各画素の値、
・目標スコア９０％に対応する重要特徴指標マップの各画素の値、
・目標スコア１００％に対応する重要特徴指標マップの各画素の値、
を、それぞれ、スーパーピクセルごとに加算する。
【0096】
また、重要スーパーピクセル決定部１１０２は、各スーパーピクセルのうち、加算した各画素の加算値が所定の閾値（重要特徴指標閾値）以上のスーパーピクセルを、目標スコアごとに抽出する。また、重要スーパーピクセル決定部１１０２は、目標スコアごとに抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。
【0097】
更に、重要スーパーピクセル決定部１１０２は、誤認識画像から、変更不可領域に対応する画像部分を抽出し、リファイン画像から、変更可能領域に対応する画像部分を抽出し、両者を合成することで、合成画像を生成する。画像リファイナ部４０１からは、
・目標スコア７０％のリファイン画像、
・目標スコア８０％のリファイン画像、
・目標スコア９０％のリファイン画像、
・目標スコア１００％のリファイン画像、
が出力されるため、重要スーパーピクセル決定部１１０２では、それぞれのリファイン画像について、
・目標スコア７０％に対応する合成画像、
・目標スコア８０％に対応する合成画像、
・目標スコア９０％に対応する合成画像、
・目標スコア１００％に対応する合成画像、
を生成する。
・目標スコア７０％のリファイン画像、
・目標スコア８０％のリファイン画像、
・目標スコア９０％のリファイン画像、
・目標スコア１００％のリファイン画像、
が出力されるため、重要スーパーピクセル決定部１１０２では、それぞれのリファイン画像について、
・目標スコア７０％に対応する合成画像、
・目標スコア８０％に対応する合成画像、
・目標スコア９０％に対応する合成画像、
・目標スコア１００％に対応する合成画像、
を生成する。
【0098】
なお、重要スーパーピクセル決定部１１０２では、変更可能領域及び変更不可領域を規定する際に用いる重要特徴指標閾値を徐々に下げることで、抽出するスーパーピクセルの数を増やす（変更可能領域を広げ、変更不可領域を狭めていく）。また、重要スーパーピクセル決定部１１０２では、抽出したスーパーピクセルの中から選択するスーパーピクセルの組み合わせを変えながら、変更可能領域及び変更不可領域を更新する。
【0099】
画像認識部１１０３は、図４の画像認識部４０３と同じ機能を有し、重要スーパーピクセル決定部１１０２により生成された各合成画像を入力として画像認識処理を行い、認識結果（ラベルのスコア）を出力する。
【0100】
重要スーパーピクセル評価部１１０４は、画像認識部１１０３より出力された、認識結果（ラベルのスコア）を取得する。上述したように、重要スーパーピクセル決定部１１０２では、各目標スコアについて、重要特徴指標閾値を下げる回数、スーパーピクセルの組み合わせの数、に応じた数の合成画像を生成する。このため、重要スーパーピクセル評価部１１０４では、各目標スコアについて、当該数に応じた数のスコアを取得する。また、重要スーパーピクセル評価部１１０４は、各目標スコアにおける誤認識の原因となるスーパーピクセルの組み合わせ（変更可能領域）を認識結果に基づいて特定し、誤認識原因情報として出力する。
【0101】
＜特定部の各部の処理の具体例＞
次に、特定部１００１の各部（ここでは、スーパーピクセル分割部１１０１、重要スーパーピクセル決定部１１０２）の処理の具体例について説明する。
次に、特定部１００１の各部（ここでは、スーパーピクセル分割部１１０１、重要スーパーピクセル決定部１１０２）の処理の具体例について説明する。
【0102】
（１）スーパーピクセル分割部の処理の具体例
はじめに、スーパーピクセル分割部１１０１の処理の具体例について説明する。図１２は、スーパーピクセル分割部の処理の具体例を示す図である。図１２に示すように、スーパーピクセル分割部１１０１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行うＳＬＩＣ部１２１０を有する。ＳＬＩＣ部１２１０は、誤認識画像を、誤認識画像に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部１１０１は、ＳＬＩＣ部１２１０によりスーパーピクセルに分割されることで生成された、誤認識画像についてのスーパーピクセル分割情報を出力する。
はじめに、スーパーピクセル分割部１１０１の処理の具体例について説明する。図１２は、スーパーピクセル分割部の処理の具体例を示す図である。図１２に示すように、スーパーピクセル分割部１１０１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行うＳＬＩＣ部１２１０を有する。ＳＬＩＣ部１２１０は、誤認識画像を、誤認識画像に含まれる車両の部品ごとの部分画像であるスーパーピクセルに分割する。また、スーパーピクセル分割部１１０１は、ＳＬＩＣ部１２１０によりスーパーピクセルに分割されることで生成された、誤認識画像についてのスーパーピクセル分割情報を出力する。
【0103】
（２）重要スーパーピクセル決定部の処理の具体例
次に、重要スーパーピクセル決定部１１０２の処理の具体例について説明する。図１３は、重要スーパーピクセル決定部の処理の具体例を示す図である。
次に、重要スーパーピクセル決定部１１０２の処理の具体例について説明する。図１３は、重要スーパーピクセル決定部の処理の具体例を示す図である。
【0104】
図１３に示すように、重要スーパーピクセル決定部１１０２は、領域抽出部１３１０、合成部１３１１を有する。
【0105】
重要スーパーピクセル決定部１１０２では、
・重畳部８０２より出力された目標スコア７０％～目標スコア１００％に対応する重要特徴指標マップ（ここでは、説明の簡略化のため目標スコアＸ％に対応する重要特徴指標マップとする）と、
・スーパーピクセル分割部１１０１より出力されたスーパーピクセル分割情報と、
を重ね合わせる。これにより、重要スーパーピクセル決定部１１０２では、目標スコアＸ％に対応する重要スーパーピクセル画像１３０１を生成する。
・重畳部８０２より出力された目標スコア７０％～目標スコア１００％に対応する重要特徴指標マップ（ここでは、説明の簡略化のため目標スコアＸ％に対応する重要特徴指標マップとする）と、
・スーパーピクセル分割部１１０１より出力されたスーパーピクセル分割情報と、
を重ね合わせる。これにより、重要スーパーピクセル決定部１１０２では、目標スコアＸ％に対応する重要スーパーピクセル画像１３０１を生成する。
【0106】
また、重要スーパーピクセル決定部１１０２では、生成した重要スーパーピクセル画像１３０１内の各スーパーピクセルについて、目標スコアＸ％に対応する重要特徴指標マップの各画素の値を加算する。
【0107】
また、重要スーパーピクセル決定部１１０２では、スーパーピクセルごとの加算値が、重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。なお、図１３において、目標スコアＸ％に対応する重要スーパーピクセル画像１３０２は、スーパーピクセルごとの加算値の一例を明示したものである。
【0108】
また、重要スーパーピクセル決定部１１０２では、抽出したスーパーピクセルの中から、選択したスーパーピクセルを組み合わせて変更可能領域と規定し、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。更に、重要スーパーピクセル決定部１１０２は、規定した変更可能領域及び変更不可領域を領域抽出部１３１０に通知する。
【0109】
領域抽出部１３１０は、誤認識画像から、変更不可領域に対応する画像部分を抽出する。また、領域抽出部１３１０は、目標スコア７０％～目標スコア１００％のリファイン画像（ここでは、説明の簡略化のため、目標スコアＸ％のリファイン画像とする）から、変更可能領域に対応する画像部分を抽出する。
【0110】
合成部１３１１は、目標スコアＸ％のリファイン画像から抽出した変更可能領域に対応する画像部分と、誤認識画像から抽出した変更不可領域に対応する画像部分とを合成し、目標スコアＸ％に対応する合成画像を生成する。
【0111】
図１４は、領域抽出部及び合成部の処理の具体例を示す図である。図１４において、上段は、領域抽出部１３１０が、目標スコアＸ％のリファイン画像１４０１から、変更可能領域に対応する画像部分（画像１４０２の白色部分）を抽出した様子を示している。
【0112】
一方、図１４において、下段は、領域抽出部１３１０が、誤認識画像１４１１から、変更不可領域に対応する画像部分（画像１４０２'の白色部分）を抽出した様子を示している。なお、画像１４０２'は、画像１４０２の白色部分と黒色部分とを反転した画像である（説明の便宜上、図１４の下段では、白色部分を、変更不可領域に対応する画像部分としている）。
【0113】
合成部１３１１は、図１４に示すように、領域抽出部１３１０より出力された、
・目標スコアＸ％のリファイン画像１４０１の変更可能領域に対応する画像部分１４０３と、
・誤認識画像１４１１の変更不可領域に対応する画像部分１４１３と、
を合成し、目標スコアＸ％に対応する合成画像１４２０を生成する。
・目標スコアＸ％のリファイン画像１４０１の変更可能領域に対応する画像部分１４０３と、
・誤認識画像１４１１の変更不可領域に対応する画像部分１４１３と、
を合成し、目標スコアＸ％に対応する合成画像１４２０を生成する。
【0114】
このように、特定部１００１では、合成画像１４２０を生成する際、目標スコアＸ％に対応する重要特徴指標マップの各画素の値を、スーパーピクセル単位で加算する。これにより、特定部１００１によれば、目標スコアＸ％のリファイン画像で置き換える領域を、スーパーピクセル単位で特定することができる。
【0115】
＜誤認識原因抽出処理の流れ＞
次に、誤認識原因抽出部１４０による誤認識原因抽出処理の流れについて説明する。図１５は、誤認識原因抽出処理の流れを示す第３のフローチャートである。上記第２の実施形態において、図９を用いて説明した誤認識原因抽出処理との相違点は、ステップＳ１５０１、Ｓ１５０２である。
次に、誤認識原因抽出部１４０による誤認識原因抽出処理の流れについて説明する。図１５は、誤認識原因抽出処理の流れを示す第３のフローチャートである。上記第２の実施形態において、図９を用いて説明した誤認識原因抽出処理との相違点は、ステップＳ１５０１、Ｓ１５０２である。
【0116】
ステップＳ１５０１において、マップ生成部１４３は、初期の目標スコアに対応する重要特徴指標マップに、順次、差分マップを加算し、各目標スコアに対応する重要特徴指標マップを生成する。
【0117】
ステップＳ１５０２において、特定部１００１は、
・誤認識画像と、
・各目標スコアのリファイン画像と、
・各目標スコアに対応する重要特徴指標マップと、
に基づいて特定した各認識精度における変更可能領域を、誤認識原因情報として出力する変更可能領域特定処理を実行する。なお、変更可能領域特定処理の詳細は後述する。
・誤認識画像と、
・各目標スコアのリファイン画像と、
・各目標スコアに対応する重要特徴指標マップと、
に基づいて特定した各認識精度における変更可能領域を、誤認識原因情報として出力する変更可能領域特定処理を実行する。なお、変更可能領域特定処理の詳細は後述する。
【0118】
【0119】
ステップＳ１６０１において、スーパーピクセル分割部１１０１は、誤認識画像をスーパーピクセルに分割し、スーパーピクセル分割情報を生成する。
【0120】
ステップＳ１６０２において、重要スーパーピクセル決定部１１０２は、現在の目標スコアに対応する重要特徴指標マップの各画素の値を、スーパーピクセル単位で加算する。なお、変更可能領域特定処理を開始するにあたり、"現在の目標スコア"には、デフォルト値として、初期の目標スコア（７０％）が設定されているものとする。
【0121】
ステップＳ１６０３において、重要スーパーピクセル決定部１１０２は、加算値が重要特徴指標閾値以上のスーパーピクセルを抽出し、抽出したスーパーピクセルの中から選択したスーパーピクセルを組み合わせて変更可能領域を規定する。また、重要スーパーピクセル決定部１１０２は、組み合わせたスーパーピクセル以外のスーパーピクセルを変更不可領域と規定する。
【0122】
ステップＳ１６０４において、重要スーパーピクセル決定部１１０２は、現在の目標スコアのリファイン画像を読み出す。
【0123】
ステップＳ１６０５において、重要スーパーピクセル決定部１１０２は、現在の目標スコアのリファイン画像から、変更可能領域に対応する画像部分を抽出する。
【0124】
ステップＳ１６０６において、重要スーパーピクセル決定部１１０２は、誤認識画像から、変更不可領域に対応する画像部分を抽出する。
【0125】
ステップＳ１６０７において、重要スーパーピクセル決定部１１０２は、リファイン画像から抽出した変更可能領域に対応する画像部分と、誤認識画像から抽出した変更不可領域に対応する画像部分とを合成し、現在の目標スコアに対応する合成画像を生成する。
【0126】
ステップＳ１６０８において、画像認識部１１０３は、現在の目標スコアに対応する合成画像を入力として画像認識処理を行い、正解ラベルのスコアを算出する。また、重要スーパーピクセル評価部１１０４は、画像認識部１１０３により算出された正解ラベルのスコアを取得する。
【0127】
ステップＳ１６０９において、重要スーパーピクセル決定部１１０２は、重要特徴指標閾値が下限値に到達したか否かを判定する。ステップＳ１６０９において、下限値に到達していないと判定した場合には（ステップＳ１６０９においてＮＯの場合には）、ステップＳ１６１０に進む。
【0128】
ステップＳ１６１０において、重要スーパーピクセル決定部１１０２は、重要特徴指標閾値を下げた後、ステップＳ１６０３に戻る。
【0129】
一方、ステップＳ１６０９において、下限値に到達したと判定した場合には（ステップＳ１６０９においてＹＥＳの場合には）、ステップＳ１６１１に進む。
【0130】
ステップＳ１６１１において、重要スーパーピクセル評価部１１０４は、取得した正解ラベルのスコアに基づいて、現在の目標スコアにおける誤認識の原因となるスーパーピクセルの組み合わせ（変更可能領域）を特定し、誤認識原因情報の１つとして出力する。
【0131】
ステップＳ１６１２において、特定部１００１は、現在の目標スコアが最大スコア（１００％）に到達したか否かを判定する。ステップＳ１６１２において、現在の目標スコアが最大スコアに到達していないと判定した場合には（ステップＳ１６１２においてＮＯの場合には）、ステップＳ１６１３に進む。
【0132】
ステップＳ１６１３において、特定部１００１は、現在の目標スコアに、きざみ幅を加算し、ステップＳ１６０２に戻る。
【0133】
一方、ステップＳ１６１２において、現在の目標スコアが最大スコアに到達したと判定した場合には（ステップＳ１６１２においてＹＥＳの場合には）、変更可能領域特定処理を終了する。
【0134】
以上の説明から明らかなように、第３の実施形態に係る解析装置１００は、上記第２の実施形態に係る解析装置１００が有する機能に加えて、更に、特定部１００１を有する。また、第３の実施形態に係る解析装置１００は、特定部１００１が、各認識精度に対応する重要特徴指標マップに基づいて特定した、各認識精度におけるスーパーピクセルの組み合わせ（変更可能領域）を、誤認識原因情報として出力する。
【0135】
このように、第３の実施形態に係る解析装置によれば、途中過程の認識精度で、誤認識の原因となる画像箇所のうちの、どの画像箇所が影響しているのか（影響度）を、各認識精度に対応する変更可能領域を出力することで可視化することができる。
【0136】
［第４の実施形態］
上記第３の実施形態では、各認識精度に対応するスーパーピクセルの組み合わせ（変更可能領域）を、誤認識原因情報として出力するものとして説明した。しかしながら、誤認識原因情報の出力方法はこれに限定されず、例えば、変更可能領域内の重要部分を画素単位で出力してもよい。以下、第４の実施形態について、上記第３の実施形態との相違点を中心に説明する。
上記第３の実施形態では、各認識精度に対応するスーパーピクセルの組み合わせ（変更可能領域）を、誤認識原因情報として出力するものとして説明した。しかしながら、誤認識原因情報の出力方法はこれに限定されず、例えば、変更可能領域内の重要部分を画素単位で出力してもよい。以下、第４の実施形態について、上記第３の実施形態との相違点を中心に説明する。
【0137】
＜特定部の機能構成＞
はじめに、第４の実施形態に係る解析装置１００における、特定部の機能構成について説明する。図１７は、特定部１００１の機能構成の一例を示す第２の図である。図１１に示した特定部１００１の機能構成との相違点は、詳細原因解析部１７０１を有する点である。
はじめに、第４の実施形態に係る解析装置１００における、特定部の機能構成について説明する。図１７は、特定部１００１の機能構成の一例を示す第２の図である。図１１に示した特定部１００１の機能構成との相違点は、詳細原因解析部１７０１を有する点である。
【0138】
詳細原因解析部１７０１は、誤認識画像と各目標スコアのリファイン画像とを用いて、変更可能領域内の重要部分を算出し、作用結果画像として出力する。
【0139】
＜詳細原因解析部の機能構成＞
次に、詳細原因解析部１７０１の機能構成について説明する。図１８は、詳細原因解析部の機能構成の一例を示す第１の図である。図１８に示すように、詳細原因解析部１７０１は、画像差分演算部１８０１、ＳＳＩＭ演算部１８０２、切り出し部１８０３、作用部１８０４を有する。
次に、詳細原因解析部１７０１の機能構成について説明する。図１８は、詳細原因解析部の機能構成の一例を示す第１の図である。図１８に示すように、詳細原因解析部１７０１は、画像差分演算部１８０１、ＳＳＩＭ演算部１８０２、切り出し部１８０３、作用部１８０４を有する。
【0140】
画像差分演算部１８０１は、誤認識画像と各目標スコアのリファイン画像（ここでは、説明の簡略化のため、目標スコアＸ％のリファイン画像とする）との画素単位での差分を演算し、差分画像を出力する。
【0141】
ＳＳＩＭ演算部１８０２は、誤認識画像と目標スコアＸ％のリファイン画像とを用いて、ＳＳＩＭ演算を行うことで、ＳＳＩＭ画像を出力する。
【0142】
切り出し部１８０３は、差分画像から目標スコアＸ％に対応する変更可能領域について画像部分を切り出す。また、切り出し部１８０３は、ＳＳＩＭ画像から目標スコアＸ％に対応する変更可能領域について画像部分を切り出す。更に、切り出し部１８０３は、目標スコアＸ％における変更可能領域について画像部分を切り出した、差分画像とＳＳＩＭ画像とを乗算して、乗算画像を生成する。
【0143】
作用部１８０４は、誤認識画像と乗算画像とに基づいて、目標スコアＸ％に対応する作用結果画像を生成する。
【0144】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部１７０１の処理の具体例について説明する。図１９は、詳細原因解析部の処理の具体例を示す図である。
次に、詳細原因解析部１７０１の処理の具体例について説明する。図１９は、詳細原因解析部の処理の具体例を示す図である。
【0145】
図１９に示すように、はじめに、画像差分演算部１８０１において、誤認識画像（Ａ）と目標スコアＸ％のリファイン画像（Ｂ）との差分（＝（Ａ）－（Ｂ））が演算され、差分画像が出力される。差分画像は、目標スコアＸ％における誤認識の原因となる各画像箇所での画素修正情報である。
【0146】
続いて、ＳＳＩＭ演算部１８０２において、誤認識画像（Ａ）と目標スコアＸ％のリファイン画像（Ｂ）とに基づいてＳＳＩＭ演算が行われる（ｙ＝ＳＳＩＭ（（Ａ），（Ｂ））。更に、ＳＳＩＭ演算部１８０２において、ＳＳＩＭ演算の結果が反転されることで（ｙ'＝２５５－（ｙ×２５５））、ＳＳＩＭ画像が出力される。ＳＳＩＭ画像は、目標スコアＸ％における誤認識の原因となる各画像箇所を高精度に指定した画像であり、画素値が大きいと差分が大きく、画素値が小さいと差分が小さいことを表す。なお、ＳＳＩＭ演算の結果を反転する処理は、例えば、ｙ'＝１－ｙを算出することにより行ってもよい。
【0147】
続いて、切り出し部１８０３において、差分画像から目標スコアＸ％に対応する変更可能領域について画像部分が切り出され、切り出し画像（Ｃ）が出力される。同様に、切り出し部１８０３において、ＳＳＩＭ画像から目標スコアＸ％に対応する変更可能領域について画像部分が切り出され、切り出し画像（Ｄ）が出力される。
【0148】
ここで、目標スコアＸ％に対応する変更可能領域は、目標スコアＸ％における誤認識の原因となる画像部分の領域を特定したものであり、詳細原因解析部１７０１では、特定した領域の中で、更に、画素粒度での原因解析を行うことを目的としている。
【0149】
このため、切り出し部１８０３では、切り出し画像（Ｃ）と切り出し画像（Ｄ）とを乗算し、乗算画像（Ｇ）を生成する。乗算画像（Ｇ）は、目標スコアＸ％における誤認識の原因となる各画像箇所での画素修正情報を更に高精度に指定した、画素修正情報に他ならない。
【0150】
また、切り出し部１８０３では、乗算画像（Ｇ）に対して強調処理を行い、強調乗算画像（Ｈ）を出力する。なお、切り出し部１８０３では、強調乗算画像（Ｈ）を下式に基づいて算出する。
（式３）
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）－ｍｉｎ（Ｇ））
続いて作用部１８０４では、誤認識画像（Ａ）から強調乗算画像（Ｈ）を減算することで重要部分を可視化し、目標スコアＸ％に対応する作用結果画像を生成する。
（式３）
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）－ｍｉｎ（Ｇ））
続いて作用部１８０４では、誤認識画像（Ａ）から強調乗算画像（Ｈ）を減算することで重要部分を可視化し、目標スコアＸ％に対応する作用結果画像を生成する。
【0151】
なお、図１９に示した強調処理の方法は一例にすぎず、可視化した際に重要部分がより識別しやすくなる方法であれば、他の方法により強調処理を行ってもよい。
【0152】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部１７０１による詳細原因解析処理の流れについて説明する。図２０は、詳細原因解析処理の流れを示す第１のフローチャートである。
次に、詳細原因解析部１７０１による詳細原因解析処理の流れについて説明する。図２０は、詳細原因解析処理の流れを示す第１のフローチャートである。
【0153】
ステップＳ２００１において、画像差分演算部１８０１は、誤認識画像と目標スコアＸ％のリファイン画像との差分画像を演算する。
【0154】
ステップＳ２００２において、ＳＳＩＭ演算部１８０２は、誤認識画像と目標スコアＸ％のリファイン画像とに基づいて、ＳＳＩＭ画像を演算する。
【0155】
ステップＳ２００３において、切り出し部１８０３は、目標スコアＸ％に対応する変更可能領域について差分画像を切り出す。
【0156】
ステップＳ２００４において、切り出し部１８０３は、目標スコアＸ％に対応する変更可能領域についてＳＳＩＭ画像を切り出す。
【0157】
ステップＳ２００５において、切り出し部１８０３は、切り出した差分画像と切り出したＳＳＩＭ画像とを乗算し、乗算画像を生成する。
【0158】
ステップＳ２００６において、切り出し部１８０３は、乗算画像に対して強調処理を行う。また、作用部１８０４は、強調処理された乗算画像を、誤認識画像から減算し、目標スコアＸ％に対応する作用結果画像を出力する。
【0159】
以上の説明から明らかなように、第４の実施形態に係る解析装置１００は、誤認識画像と各認識精度のリファイン画像とに基づいて、差分画像とＳＳＩＭ画像とを生成し、各認識精度に対応する変更可能領域を切り出して乗算することで重要部分を出力する。
【0160】
このように、変更可能領域内の重要部分を画素単位で出力することで、第４の実施形態に係る解析装置によれば、誤認識の原因となる各画像箇所の影響度を画素単位で可視化することができる。
【0161】
［第５の実施形態］
上記第４の実施形態では、誤認識画像と各認識精度のリファイン画像とに基づいて生成した差分画像とＳＳＩＭ画像とを用いて、誤認識の原因となる各画像箇所の影響度を画素単位で可視化する場合について説明した。
上記第４の実施形態では、誤認識画像と各認識精度のリファイン画像とに基づいて生成した差分画像とＳＳＩＭ画像とを用いて、誤認識の原因となる各画像箇所の影響度を画素単位で可視化する場合について説明した。
【0162】
これに対して、第５の実施形態では、更に、各認識精度に対応する重要特徴マップを用いることで、誤認識の原因となる各画像箇所の影響度を画素単位で可視化する。以下、第５の実施形態について、上記第４の実施形態との相違点を中心に説明する。
【0163】
＜詳細原因解析部の機能構成＞
はじめに、第５の実施形態に係る解析装置１００における、詳細原因解析部の機能構成について説明する。図２１は、詳細原因解析部の機能構成の一例を示す第２の図である。図１９に示した詳細原因解析部の機能構成との相違点は、図２１の場合、重要特徴マップ生成部２１０１を有する点である。
はじめに、第５の実施形態に係る解析装置１００における、詳細原因解析部の機能構成について説明する。図２１は、詳細原因解析部の機能構成の一例を示す第２の図である。図１９に示した詳細原因解析部の機能構成との相違点は、図２１の場合、重要特徴マップ生成部２１０１を有する点である。
【0164】
重要特徴マップ生成部２１０１は、各目標スコアに対応する画像認識部構造情報（ここでは、説明の簡略化のため、目標スコアＸ％に対応する画像認識部構造情報）を、画像認識部４０３より取得する。また、重要特徴マップ生成部２１０１は、選択的ＢＰ法を用いることで、目標スコアＸ％に対応する画像認識部構造情報に基づいて、目標スコアＸ％に対応する重要特徴マップを生成する。
【0165】
本実施形態において、詳細原因解析部１７０１は、
・誤認識画像と、
・目標スコアＸ％のリファイン画像と、
・目標スコアＸ％に対応する画像認識部構造情報と、
に基づいて生成した、差分画像とＳＳＩＭ画像と目標スコアＸ％に対応する重要特徴マップとを用いて、変更可能領域内の重要部分を可視化し、目標スコアＸ％に対応する作用結果画像として出力する。
・誤認識画像と、
・目標スコアＸ％のリファイン画像と、
・目標スコアＸ％に対応する画像認識部構造情報と、
に基づいて生成した、差分画像とＳＳＩＭ画像と目標スコアＸ％に対応する重要特徴マップとを用いて、変更可能領域内の重要部分を可視化し、目標スコアＸ％に対応する作用結果画像として出力する。
【0166】
なお、本実施形態において詳細原因解析部１７０１が目標スコアＸ％に対応する作用結果画像を出力する際に用いる差分画像、ＳＳＩＭ画像、目標スコアＸ％に対応する重要特徴マップは、以下のような属性を有する。
・差分画像：画素ごとの差分情報であり、指定したラベルの分類確率を誤認識の状態から上げるために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・ＳＳＩＭ画像：画像全体及び局所領域の変化状況を考慮した差分情報であり、画素ごとの差分情報よりもアーティファクト（意図しないノイズ）が少ない情報である。つまり、より高い精度の差分情報である（ただし、正値のみの情報である）。
・目標スコアＸ％に対応する重要特徴マップ：正解ラベルの画像認識処理に影響を与える特徴部分を可視化したマップである。
・差分画像：画素ごとの差分情報であり、指定したラベルの分類確率を誤認識の状態から上げるために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・ＳＳＩＭ画像：画像全体及び局所領域の変化状況を考慮した差分情報であり、画素ごとの差分情報よりもアーティファクト（意図しないノイズ）が少ない情報である。つまり、より高い精度の差分情報である（ただし、正値のみの情報である）。
・目標スコアＸ％に対応する重要特徴マップ：正解ラベルの画像認識処理に影響を与える特徴部分を可視化したマップである。
【0167】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部１７０１の処理の具体例について説明する。図２２は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図１９の詳細原因解析部１７０１の処理の具体例との相違点は、重要特徴マップ生成部２１０１が、目標スコアＸ％に対応する画像認識部構造情報（Ｉ）に基づいて重要特徴マップ生成処理を行い、重要特徴マップを生成している点である。また、切り出し部１８０３が、目標スコアＸ％に対応する重要特徴マップから、目標スコアＸ％に対応する変更可能領域について画像部分を切り出し、切り出し画像（Ｊ）を出力している点である。更に、切り出し部１８０３が、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とを乗算し、乗算画像（Ｇ）を生成している点である。
次に、詳細原因解析部１７０１の処理の具体例について説明する。図２２は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図１９の詳細原因解析部１７０１の処理の具体例との相違点は、重要特徴マップ生成部２１０１が、目標スコアＸ％に対応する画像認識部構造情報（Ｉ）に基づいて重要特徴マップ生成処理を行い、重要特徴マップを生成している点である。また、切り出し部１８０３が、目標スコアＸ％に対応する重要特徴マップから、目標スコアＸ％に対応する変更可能領域について画像部分を切り出し、切り出し画像（Ｊ）を出力している点である。更に、切り出し部１８０３が、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とを乗算し、乗算画像（Ｇ）を生成している点である。
【0168】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部１７０１による詳細原因解析処理の流れについて説明する。図２３は、詳細原因解析処理の流れを示す第２のフローチャートである。図２０に示したフローチャートとの相違点は、ステップＳ２３０１、ステップＳ２３０２、ステップＳ２３０３である。
次に、詳細原因解析部１７０１による詳細原因解析処理の流れについて説明する。図２３は、詳細原因解析処理の流れを示す第２のフローチャートである。図２０に示したフローチャートとの相違点は、ステップＳ２３０１、ステップＳ２３０２、ステップＳ２３０３である。
【0169】
ステップＳ２３０１において、重要特徴マップ生成部２１０１は、目標スコアＸ％のリファイン画像を入力として画像認識処理した際の、目標スコアＸ％に対応する画像認識部構造情報を、画像認識部４０３より取得する。また、重要特徴マップ生成部２１０１は、選択的ＢＰ法を用いることで、目標スコアＸ％に対応する画像認識部構造情報に基づいて目標スコアＸ％に対応する重要特徴マップを生成する。
【0170】
ステップＳ２３０２において、切り出し部２１０２は、目標スコアＸ％に対応する重要特徴マップから、目標スコアＸ％に対応する変更可能領域について画像部分を切り出す。
【0171】
ステップＳ２３０３において、切り出し部２１０２は、目標スコアＸ％に対応する変更可能領域について画像部分を切り出した、差分画像とＳＳＩＭ画像と目標スコアＸ％に対応する重要特徴マップとを乗算して、乗算画像を生成する。
【0172】
以上の説明から明らかなように、第５の実施形態に係る解析装置１００は、
・誤認識画像と、
・各認識精度のリファイン画像と、
・各認識精度に対応する画像認識部構造情報と、
に基づいて、差分画像とＳＳＩＭ画像と各認識精度に対応する重要特徴マップとを生成し、各認識精度に対応する変更可能領域を切り出して乗算することで重要部分を出力する。
・誤認識画像と、
・各認識精度のリファイン画像と、
・各認識精度に対応する画像認識部構造情報と、
に基づいて、差分画像とＳＳＩＭ画像と各認識精度に対応する重要特徴マップとを生成し、各認識精度に対応する変更可能領域を切り出して乗算することで重要部分を出力する。
【0173】
このように、変更可能領域内の重要部分を画素単位で出力することで、第５の実施形態に係る解析装置によれば、誤認識の原因となる各画像箇所の影響度を画素単位で可視化することができる。
【0174】
［第６の実施形態］
第６の実施形態では、誤認識画像と各認識精度のリファイン画像とに基づいて生成した差分画像を用いて、誤認識の原因となる各画像箇所の影響度を画素単位で可視化する実施形態（上記第４の実施形態とは異なる実施形態）について説明する。以下、第６の実施形態について、上記第４の実施形態との相違点を中心に説明する。
第６の実施形態では、誤認識画像と各認識精度のリファイン画像とに基づいて生成した差分画像を用いて、誤認識の原因となる各画像箇所の影響度を画素単位で可視化する実施形態（上記第４の実施形態とは異なる実施形態）について説明する。以下、第６の実施形態について、上記第４の実施形態との相違点を中心に説明する。
【0175】
＜詳細原因解析部の機能構成＞
はじめに、第６の実施形態に係る解析装置１００における、詳細原因解析部の機能構成について説明する。図２４は、詳細原因解析部の機能構成の一例を示す第３の図である。図１８に示した詳細原因解析部１７０１の機能構成との相違点は、図２４の場合、ＳＳＩＭ演算部１８０２を有していない点である。
はじめに、第６の実施形態に係る解析装置１００における、詳細原因解析部の機能構成について説明する。図２４は、詳細原因解析部の機能構成の一例を示す第３の図である。図１８に示した詳細原因解析部１７０１の機能構成との相違点は、図２４の場合、ＳＳＩＭ演算部１８０２を有していない点である。
【0176】
本実施形態において、詳細原因解析部１７０１は、
・誤認識画像と、
・目標スコアＸ％のリファイン画像と、
に基づいて生成した差分画像を用いて、変更可能領域内の重要部分を可視化し、目標スコアＸ％に対応する作用結果画像として出力する。
・誤認識画像と、
・目標スコアＸ％のリファイン画像と、
に基づいて生成した差分画像を用いて、変更可能領域内の重要部分を可視化し、目標スコアＸ％に対応する作用結果画像として出力する。
【0177】
なお、本実施形態において詳細原因解析部１７０１が目標スコアＸ％に対応する作用結果画像を出力する際に用いる差分画像は、以下のような属性を有する。
・差分画像：画素ごとの差分情報であり、指定したラベルの分類確率を誤認識の状態から上げるために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
・差分画像：画素ごとの差分情報であり、指定したラベルの分類確率を誤認識の状態から上げるために画素をどのくらい修正すればよいかを示す、正負値を有する情報である。
【0178】
＜詳細原因解析部の処理の具体例＞
次に、詳細原因解析部１７０１の処理の具体例について説明する。図２５は、詳細原因解析部の処理の具体例を示す第３の図である。なお、図１９の詳細原因解析部１７０１の処理の具体例との相違点は、ＳＳＩＭ演算部１８０２から切り出した切り出し画像（Ｄ）に関する記載がない点、及び、切り出し画像（Ｃ）との乗算処理に関する記載がない点である。
次に、詳細原因解析部１７０１の処理の具体例について説明する。図２５は、詳細原因解析部の処理の具体例を示す第３の図である。なお、図１９の詳細原因解析部１７０１の処理の具体例との相違点は、ＳＳＩＭ演算部１８０２から切り出した切り出し画像（Ｄ）に関する記載がない点、及び、切り出し画像（Ｃ）との乗算処理に関する記載がない点である。
【0179】
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部１７０１による詳細原因解析処理の流れについて説明する。図２６は、詳細原因解析処理の流れを示す第３のフローチャートである。図２０に示したフローチャートとの相違点は、ステップＳ２００２、Ｓ２００４、Ｓ２００５の各工程がない点、及び、ステップＳ２００６に代えて、ステップＳ２４０１の工程が実行される点である。
次に、詳細原因解析部１７０１による詳細原因解析処理の流れについて説明する。図２６は、詳細原因解析処理の流れを示す第３のフローチャートである。図２０に示したフローチャートとの相違点は、ステップＳ２００２、Ｓ２００４、Ｓ２００５の各工程がない点、及び、ステップＳ２００６に代えて、ステップＳ２４０１の工程が実行される点である。
【0180】
図２６に示すように、ステップＳ２００１において、画像差分演算部１８０１は、誤認識画像と目標スコアＸ％のリファイン画像との差分画像を演算する。
【0181】
ステップＳ２００３において、切り出し部２１０２は、差分画像から、目標スコアＸ％に対応する変更可能領域を切り出す。
【0182】
ステップＳ２４０１において、切り出し部１８０３は、切り出した差分画像に対して強調処理を行う。また、作用部１８０４は、強調処理された差分画像を、誤認識画像から減算し、目標スコアＸ％に対応する作用結果画像を出力する。
【0183】
以上の説明から明らかなように、第６の実施形態に係る解析装置１００は、誤認識画像と各認識精度のリファイン画像とに基づいて、差分画像を生成し、各認識精度に対応する変更可能領域を切り出して強調することで重要部分を出力する。
【0184】
このように、変更可能領域内の重要部分を画素単位で出力することで、第６の実施形態に係る解析装置によれば、誤認識の原因となる各画像箇所の影響度を画素単位で可視化することができる。
【0185】
［その他の実施形態］
上記各実施形態では、リファイン画像生成部１４２、マップ生成部１４３、特定部１００１が、誤認識画像を用いて処理を行う場合について説明した。しかしながら、リファイン画像生成部１４２、マップ生成部１４３、特定部１００１は、誤認識画像に代えて、画像リファイナ初期化部１４１で第１の学習処理が実行されることで生成されたリファイン画像を用いて処理を行ってもよい。
上記各実施形態では、リファイン画像生成部１４２、マップ生成部１４３、特定部１００１が、誤認識画像を用いて処理を行う場合について説明した。しかしながら、リファイン画像生成部１４２、マップ生成部１４３、特定部１００１は、誤認識画像に代えて、画像リファイナ初期化部１４１で第１の学習処理が実行されることで生成されたリファイン画像を用いて処理を行ってもよい。
【0186】
また、上記各実施形態では、認識精度がスコアであるとして説明したが、スコア以外の認識精度を用いてもよい。ここでいうスコア以外の認識精度には、例えば、位置及び大きさ、存在確率、ＩｏＵ（Intersection over Union）、セグメント、その他、深層学習の出力に関する情報等が含まれる。
【0187】
また、上記各実施形態では、誤認識画像に１つのオブジェクトが含まれる場合について説明したが、複数のオブジェクトが含まれていてもよい。この場合、オブジェクトごとに誤認識原因情報を出力してもよいし、複数のオブジェクトを含む誤認識原因情報を出力してもよい。
【0188】
また、上記各実施形態では、入力される誤認識画像と同じ状態の誤認識画像が生成されるように、第１の学習処理を実行するものとして説明した。しかしながら、第１の学習処理の方法はこれに限定されない。
【0189】
画像リファイナ部３０１に対して第１の学習処理を実行する目的は、モデルパラメータを不明な初期状態ではなく、決められた初期状態に学習してから第２の学習処理を行うことである。したがって、第１の学習処理は、入力される誤認識画像と同じ状態の誤認識画像が生成されるように、モデルパラメータを更新する方法以外に、所定のターゲットとなるスコアを決めて、当該スコアが出力される画像が生成されるように初期化してもよい。
【0190】
この場合、第１の学習処理のスコアは、必ずしも、第２の学習処理を実行することで生成されるリファイン画像に対して画像認識処理を実行した場合のスコアよりも小さいスコアである必要はない。例えば、スコア＝１００％となる画像が生成されるように、画像リファイナ部３０１に対して第１の学習処理を実行し、第２の学習処理において、スコア＝９０％、８０％、７０％となるリファイン画像が生成されるようにしてもよい。あるいは、それ以外のスコアの変動パターンに従って、第１及び第２の学習処理が実行されてもよい。
【0191】
また、上記第４乃至第６の実施形態において強調処理するための係数は、作用結果画像やリファイン画像への作用の強さを調整するように選択してもよい。例えば、誤認識の原因を示す画素値の大きさが判別しにくい場合には、強調を強くするように係数を選択してもよい。あるいは、乗算の作用によって変更される画素値のスケールが最適に調整されるように係数を選択してもよいし、強調処理しないように係数を選択してもよい。
【0192】
また、生成モデルが生成する画像の認識精度が目的の認識精度になるように学習する第１の学習処理において、先に挙げた深層学習の出力に関する情報等に、深層学習の隠れ層の出力を合わせて用いてもよい（あるいは、単独で用いてもよい）。
【0193】
例えば、隠れ層の出力として特徴マップを合わせて用いた場合には、解析対象の深層学習（画像認識部）の出力に関する情報と、解析対象の深層学習（画像認識部）の隠れ層の出力に関する情報とが、
・入力される誤認識画像を処理した場合と、
・第１の学習処理によって生成された画像を処理した場合と、
で同じ状態になるように第１の学習処理を実行してもよい。
・入力される誤認識画像を処理した場合と、
・第１の学習処理によって生成された画像を処理した場合と、
で同じ状態になるように第１の学習処理を実行してもよい。
【0194】
解析対象の深層学習（画像認識部）の隠れ層の出力に関する情報を評価する場合、例えば、
・Ｌ１／Ｌ２／ＳＳＩＭ、
・Ｎｅｕｒａｌ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ ｌｏｓｓ、
・Ｍａｘ ＰｏｏｌｉｎｇまたはＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇ、
など、同じ状態であるかを評価するための何らかの処理を実行することで評価してもよい。
・Ｌ１／Ｌ２／ＳＳＩＭ、
・Ｎｅｕｒａｌ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ ｌｏｓｓ、
・Ｍａｘ ＰｏｏｌｉｎｇまたはＡｖｅｒａｇｅ Ｐｏｏｌｉｎｇ、
など、同じ状態であるかを評価するための何らかの処理を実行することで評価してもよい。
【0195】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0196】
１００ ：解析装置
１４０ ：誤認識原因抽出部
１４１ ：画像リファイナ初期化部
１４２ ：リファイン画像生成部
１４３ ：マップ生成部
３０１ ：画像リファイナ部
３０２ ：比較／変更部
４０１ ：画像リファイナ部
４０２ ：画像誤差演算部
４０３ ：画像認識部
４０４ ：認識誤差演算部
５１１ ：重要特徴マップ生成部
５１２ ：差分マップ生成部
８０１ ：劣化尺度マップ生成部
８０２ ：重畳部
１００１ ：特定部
１１０１ ：スーパーピクセル分割部
１１０２ ：重要スーパーピクセル決定部
１１０３ ：画像認識部
１１０４ ：重要スーパーピクセル評価部
１２１０ ：ＳＬＩＣ部
１３１０ ：領域抽出部
１３１１ ：合成部
１７０１ ：詳細原因解析部
１８０１ ：画像差分演算部
１８０２ ：ＳＳＩＭ演算部
１８０３ ：切り出し部
１８０４ ：作用部
２１０１ ：重要特徴マップ生成部
２１０２ ：切り出し部
１４０ ：誤認識原因抽出部
１４１ ：画像リファイナ初期化部
１４２ ：リファイン画像生成部
１４３ ：マップ生成部
３０１ ：画像リファイナ部
３０２ ：比較／変更部
４０１ ：画像リファイナ部
４０２ ：画像誤差演算部
４０３ ：画像認識部
４０４ ：認識誤差演算部
５１１ ：重要特徴マップ生成部
５１２ ：差分マップ生成部
８０１ ：劣化尺度マップ生成部
８０２ ：重畳部
１００１ ：特定部
１１０１ ：スーパーピクセル分割部
１１０２ ：重要スーパーピクセル決定部
１１０３ ：画像認識部
１１０４ ：重要スーパーピクセル評価部
１２１０ ：ＳＬＩＣ部
１３１０ ：領域抽出部
１３１１ ：合成部
１７０１ ：詳細原因解析部
１８０１ ：画像差分演算部
１８０２ ：ＳＳＩＭ演算部
１８０３ ：切り出し部
１８０４ ：作用部
２１０１ ：重要特徴マップ生成部
２１０２ ：切り出し部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】