特開 2023-152655 可視化プログラム、可視化方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023152655

(43)【公開日】2023-10-17

(54)【発明の名称】可視化プログラム、可視化方法および情報処理装置

(51)【国際特許分類】

   G06V 10/776 20220101AFI20231005BHJP

   G06V 10/82 20220101ALI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

【ＦＩ】

G06V10/776

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022203222

(22)【出願日】2022-12-20

(31)【優先権主張番号】17/709,455

(32)【優先日】2022-03-31

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】枌 尚弥

(72)【発明者】

【氏名】内山 友樹

(72)【発明者】

【氏名】福井 和広

(72)【発明者】

【氏名】新沼 厚一郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA01

5L096DA01

5L096GA10

5L096GA30

5L096GA51

5L096HA11

(57)【要約】      （修正有）

【課題】クラスの識別に重要となる画像領域の特定に要する時間を削減できる可視化プログラム、可視化方法および情報処理装置を提供する。
【解決手段】画像を取得し、取得した画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成する情報処理装置であって、画像を入力とし、画像に含まれる対象物のクラスを出力として訓練された第１モデルに、画像を入力することで、画像に含まれる対象物の第１尤度を算出し、画像が入力された場合に、画像に含まれる対象物の尤度の近似値を算出する第２モデルに、遮蔽画像を入力することで、遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、第１尤度と、第２尤度とを基にして、画像の領域のうち、クラスの識別に影響する領域を特定し、特定したクラスの識別に影響する領域を表示する。
【選択図】図５

【特許請求の範囲】

【請求項1】

画像を取得し、
取得した前記画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成し、
前記画像を入力とし、前記画像に含まれる対象物のクラスを出力として訓練された第１モデルに、前記画像を入力することで、前記画像に含まれる対象物の第１尤度を算出し、
前記画像が入力された場合に、前記画像に含まれる対象物の尤度の近似値を算出する第２モデルに、前記遮蔽画像を入力することで、前記遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、
前記第１尤度と、前記第２尤度とを基にして、前記画像の領域のうち、前記クラスの識別に影響する領域を特定し、
特定した前記クラスの識別に影響する領域を表示する
処理をコンピュータに実行させることを特徴とする可視化プログラム。

【請求項2】

前記第２尤度を算出する処理は、前記画像の遮蔽する領域がそれぞれ異なる複数の遮蔽画像を、前記第２モデルに入力することで、複数の遮蔽モデルに対する第２尤度をそれぞれ算出し、前記特定する処理は、複数の第２尤度のうち、前記第１尤度との差分が閾値以上となる第２尤度に関する遮蔽画像の遮蔽された領域と同領域となる前記画像の領域を、前記クラスの識別に影響する領域として特定することを特徴とする請求項１に記載の可視化プログラム。

【請求項3】

前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の画素値を所定値に変更することで、前記遮蔽画像を生成することを特徴とする請求項１に記載の可視化プログラム。

【請求項4】

前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の周辺領域の画素値を基にして、前記遮蔽する一部の領域の画素値を特定し、前記遮蔽する一部の領域の画素値を、特定した画素値に変更することで、前記遮蔽画像を生成することを特徴とする請求項１に記載の可視化プログラム。

【請求項5】

画像を取得し、
取得した前記画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成し、
前記画像を入力とし、前記画像に含まれる対象物のクラスを出力として訓練された第１モデルに、前記画像を入力することで、前記画像に含まれる対象物の第１尤度を算出し、
前記画像が入力された場合に、前記画像に含まれる対象物の尤度の近似値を算出する第２モデルに、前記遮蔽画像を入力することで、前記遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、
前記第１尤度と、前記第２尤度とを基にして、前記画像の領域のうち、前記クラスの識別に影響する領域を特定し、
特定した前記クラスの識別に影響する領域を表示する
処理をコンピュータが実行することを特徴とする可視化方法。

【請求項6】

画像を取得し、
取得した前記画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成し、
前記画像を入力とし、前記画像に含まれる対象物のクラスを出力として訓練された第１モデルに、前記画像を入力することで、前記画像に含まれる対象物の第１尤度を算出し、
前記画像が入力された場合に、前記画像に含まれる対象物の尤度の近似値を算出する第２モデルに、前記遮蔽画像を入力することで、前記遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、
前記第１尤度と、前記第２尤度とを基にして、前記画像の領域のうち、前記クラスの識別に影響する領域を特定し、
特定した前記クラスの識別に影響する領域を表示する
処理を実行する制御部を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、本発明は、可視化プログラムを記録した記録媒体、可視化方法および情報処理装置に関する。

【背景技術】

【0002】

画像に含まれる対象物を認識する際に、Deep Learningモデル（以下、ＤＬモデル）が用いられている。ＤＬモデルはブラックボックスとして扱われことが多いが、ＤＬモデルの挙動の根拠を理解することで、ＤＬモデルの性能を向上させたり、ＤＬモデルを安心して利用できたりするため、ＤＬモデルを可視化する技術が求められている。

【0003】

たとえば、ＤＬモデルを可視化する従来技術として、ＯＳＭ（Occlusion Sensitivity Map）等がある。従来技術（ＯＳＭ等）では、ＤＬモデルが画像データのクラスを識別する場合に、識別に重要となる画像領域を可視化する。

【0004】

図８は、従来技術を説明するための図である。従来技術では、元の画像ＩＭ１０に対して、遮蔽領域の位置を変更しながら、複数の遮蔽画像を生成する。たとえば、画像ＩＭ１０に、遮蔽領域１１－１を設定することで、遮蔽画像ＩＭ１０－１を生成する。従来技術では、他も同様にして、画像ＩＭ１０に対して、遮蔽領域１１－２～１１－８を設定することで、遮蔽画像ＩＭ１０－２～１０－８を生成する。

【0005】

従来技術では、画像ＩＭ１０をＤＬモデルに入力して、基準となるクラス類似度を算出する。基準となるクラス類似度を、基準クラス類似度と表記する。

【0006】

従来技術では、遮蔽画像ＩＭ１０－１をＤＬモデルに入力し、遮蔽画像ＩＭ１０－１のクラス類似度を算出する。従来技術では、他も同様にして、遮蔽画像ＩＭ１０－２～１０－８をＤＬモデルに入力し、遮蔽画像ＩＭ１０－２～１０－８のクラス類似度を算出する。

【0007】

従来技術では、遮蔽画像ＩＭ１０－１～１０－８の各クラス類似度と、基準クラス類似度とを比較して、クラス類似度の低下が大きい遮蔽画像を特定し、特定した遮蔽画像の遮蔽領域を、クラスの識別に重要な領域として強調表示する。

【0008】

図９は、従来技術の処理結果を示す図である。図９において、画像ＩＭ１５を、ＤＬモデルの可視化に利用した元画像とする。従来技術の実行結果は、実行結果５に示すものとなり、クラスの識別に重要な領域として、領域５ａが強調表示されている。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Zeiler M.D., Fergus R.“Visualizing and Understanding Convolutional Networks” In: Fleet D., Pajdla T., Schiele B., Tuytelaars T. (eds) Computer Vision ECCV 2014. Lecture Notes in Computer Science, vol 8689. Springer, Cham

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、上述した従来技術では、遮蔽領域が異なる全ての遮蔽画像に対して、ＤＬモデルによる計算を行うため、クラスの識別に重要となる画像領域を特定するまでに時間を要する。

【0011】

１つの側面では、本発明は、クラスの識別に重要となる画像領域の特定に要する時間を削減できる可視化プログラム、可視化方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、画像を取得し、取得した画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成する。コンピュータは、画像を入力とし、画像に含まれる対象物のクラスを出力として訓練された第１モデルに、画像を入力することで、画像に含まれる対象物の第１尤度を算出する。コンピュータは、画像が入力された場合に、画像に含まれる対象物の尤度の近似値を算出する第２モデルに、遮蔽画像を入力することで、遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出する。コンピュータは、第１尤度と、第２尤度とを基にして、画像の領域のうち、クラスの識別に影響する領域を特定し、特定したクラスの識別に影響する領域を表示する。

【発明の効果】

【0013】

クラスの識別に重要となる画像領域の特定に要する時間を削減できる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。

【図2】図２は、遮蔽画像テーブルのデータ構造の一例を示す図である。

【図3】図３は、ＤＬモデルの一例を示す図である。

【図4】図４は、マスクを説明するための図である。

【図5】図５は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。

【図6】図６は、画像生成部のその他の処理を説明するための図である。

【図7】図７は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図8】図８は、従来技術を説明するための図である。

【図9】図９は、従来技術の処理結果を示す図である。

【発明を実施するための形態】

【0015】

以下に、本願の開示する可視化プログラム、可視化方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0016】

本実施例に係る情報処理装置は、画像の一部の領域を遮蔽した遮蔽画像を用いて、クラスの識別に重要となる画像領域を特定する場合に、テイラー展開に基づく近似モデルを用いて、遮蔽画像に含まれる対象物の尤度を算出し、計算コストを削減する。

【0017】

図１は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図１に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0018】

通信部１１０は、ネットワークを介して外部装置等とデータ通信を実行する。通信部１１０は、外部装置から、処理対象となる画像データ１４１を受信する。通信部１１０は、訓練済みのＤＬモデル１４３のデータを外部装置から受信してもよい。

【0019】

入力部１２０は、利用者からの操作を受付ける入力装置であり、たとえば、キーボードやマウス等により実現される。

【0020】

表示部１３０は、制御部１５０の処理結果を出力するための表示装置であり、たとえば、液晶モニタやプリンタ等により実現される。

【0021】

記憶部１４０は、画像データ１４１、遮蔽画像テーブル１４２、ＤＬモデル１４３を有する。記憶部１４０は、各種の情報を記憶する記憶装置であり、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

【0022】

画像データ１４１は、処理対象となる画像データである。たとえば、画像データ１４１は、複数のピクセルが含まれ、各ピクセルには画素値が設定される。かかる画像データ１４１の一部の領域を遮蔽することで、後述する遮蔽画像データが生成される。

【0023】

遮蔽画像テーブル１４２は、画像データ１４１の一部の領域が遮蔽された複数の遮蔽画像を保持するテーブルである。図２は、遮蔽画像テーブルのデータ構造の一例を示す図である。図２に示すように、この遮蔽画像テーブル１４２は、項番と、遮蔽画像データと、遮蔽領域座標と、尤度（近似値）とを有する。

【0024】

項番は、遮蔽画像テーブル１４２のレコード（遮蔽画像データ）を識別する番号である。遮蔽画像データは、画像データ１４１の全領域のうち、一部の領域（小領域）が遮蔽された画像データである。以下の説明では、遮蔽された領域を「遮蔽領域」と表記する。遮蔽領域座標は、遮蔽領域の座標である。たとえば、遮蔽領域座標には、遮蔽領域の左上隅の座標と、遮蔽領域の右下隅の座標とが設定される。尤度は、遮蔽画像データに含まれる対象物の尤度の近似値が設定される。

【0025】

ＤＬモデル１４３は、画像データを入力とし、画像データに含まれる対象物のクラスを出力として訓練されたモデルである。たとえば、ＤＬモデル１４３は、ＣＮＮ（Convolutional Neural Network）である。ＤＬモデル１４３は、「第１モデル」の一例である。

【0026】

図３は、ＤＬモデルの一例を示す図である。たとえば、ＤＬモデル１４３を関数「ｆ」で示し、ＤＬモデル１４３に入力する画像データ１４１を「ｘ」とする。ＤＬモデル１４３に画像データｘを入力すると、画像データｘに含まれる対象物の尤度（確からしさ）「ｐ」が出力され「ｆ（ｘ）＝ｐ」で示される。

【0027】

図１の説明に戻る。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0028】

制御部１５０は、取得部１５１、画像生成部１５２、尤度算出部１５３、近似値算出部１５４、表示処理部１５５を有する。

【0029】

取得部１５１は、外部装置等から画像データ１４１を取得する。取得部１５１は、取得した画像データ１４１を、記憶部１４０に登録する。取得部１５１は、入力部１２０を介して、画像データ１４１を取得してもよい。

【0030】

画像生成部１５２は、画像データ１４１の領域のうち、一部の領域を遮蔽することで、遮蔽画像データを生成する。画像生成部１５２は、遮蔽画像データと、遮蔽領域座標との関係を、遮蔽画像テーブル１４２に登録する。画像生成部１５２は、遮蔽領域の座標を変更しながら、上記処理を繰り返し実行することで、複数の遮蔽画像データを生成する。

【0031】

たとえば、画像生成部１５２が画像データ１４１から遮蔽画像データを生成する処理は「occ：occlusion」に対応し、式（１）のｇ（ｘ）で表現される。式（１）において、「ｘ」は、画像データ１４１に対応し、各ピクセルの画素値である。「ｍ」はマスクである。「ｖ」は、リプレイスバリュー（replace values）であり、固定値が設定される。式（１）の「ｘ」と「ｍ」との間の記号はアダマール積（Hadamard Product）を示す。

【0032】

【数1】

【0033】

図４は、マスクを説明するための図である。図４に示すように、マスクｍは、行列で示され、行列の成分（ｉ，ｊ）は、０または１が設定される。たとえば、画像データｘのピクセル（ｉ，ｊ）を遮蔽領域とする場合には、マスクｍの行列の（ｉ，ｊ）が「０」に設定される。画像データｘのピクセル（ｉ，ｊ）を遮蔽領域としない場合には、マスクｍの行列の（ｉ，ｊ）が「１」に設定される。

【0034】

画像生成部１５２が、式（１）に対応する処理を実行することで、画像データｘに含まれる各ピクセルのうち、マスクｍの行列の成分が「０」となる成分に対応するピクセルの画素値が、ｖの値に置き換わる。

【0035】

図１の説明に戻る。尤度算出部１５３は、画像データ１４１を、訓練済みのＤＬモデル１４３に入力することで、画像データ１４１に含まれる対象物の尤度を算出する。以下の説明では、画像データ１４１に含まれる対象物の尤度を「第１尤度」と表記する。尤度算出部１５３は、第１尤度のデータを、近似値算出部１５４、表示処理部１５５に出力する。ＤＬモデル１４３から複数クラスの尤度がそれぞれ出力される場合には、各尤度のうち、最大尤度を、第１尤度としてもよい。

【0036】

近似値算出部１５４は、近似式を基にして、遮蔽画像データに含まれる対象物の尤度の近似値を算出する。近似値算出部１５４が利用する近似式ｆ（ｇ（ｘ））は、テイラー展開（Taylor expansion）によって、式（２）によって示される。式（２）に示す近似式は、「第２モデル」の一例である。

【0037】

【数2】

【0038】

たとえば、近似値算出部１５４は、式（２）の右辺に含まれる第１項から第５項のうち、第１項と、第２項とを用いて、近似値を算出する。式（２）の第１項「ｆ（ｘ）」は、尤度算出部１５３によって算出される第１尤度である。画像データ１４１から生成された各遮蔽画像データの近似値を算出する場合に、同一の第１尤度を再利用できるため、計算コストが削減される。式（２）に含まれるｘ、ｇ（ｘ）に関する説明は、式（１）の説明と同様である。

【0039】

近似値算出部１５４は、遮蔽画像テーブル１４２から遮蔽画像データを取得し、式（２）の第１項と、第２項とを用いて、近似値を算出する。以下の説明では、遮蔽画像データに含まれる対象物の尤度の近似値を「第２尤度」と表記する。近似値算出部１５４は、遮蔽画像データと、第２尤度との関係を、遮蔽画像テーブル１４２に登録する。近似値算出部１５４は、遮蔽画像テーブル１４２の各遮蔽画像データについて、上記処理を繰り返し実行することで、各遮蔽画像データの第２尤度を算出し、第２尤度を遮蔽画像テーブル１４２に登録する。

【0040】

表示処理部１５５は、第１尤度と、遮蔽画像テーブル１４２に登録された各第２尤度とを比較し、クラス識別に重要となる領域が遮蔽された遮蔽画像データを特定する。たとえば、表示処理部１５５は、第１尤度と第２尤度との差分が閾値以上となる遮蔽画像データの遮蔽領域座標を特定する。表示処理部１５５が特定した遮蔽領域座標を、特定領域座標と表記する。

【0041】

表示処理部１５５は、画像データ１４１の領域のうち、特定領域座標に対応する領域を強調した画像データの表示画面を生成し、生成した表示画面を表示部１３０に出力して表示させる。表示処理部１５５は、どのように領域を強調してもよい。たとえば、表示処理部１５５は、画像データ１４１の領域のうち、特定領域座標に対応する領域を所定の色で塗りつぶしてもよいし、特定領域座標に対応する領域の輪郭を所定の色に設定してもよい。

【0042】

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図５は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図５に示すように、情報処理装置１００の取得部１５１は、画像データ１４１を取得し、記憶部１４０に登録する（ステップＳ１０１）。

【0043】

情報処理装置１００の画像生成部１５２は、画像データ１４１に対して、異なる遮蔽領域を持った複数の遮蔽画像データを生成し、遮蔽画像テーブル１４２に登録する（ステップＳ１０２）。

【0044】

情報処理装置１００の尤度算出部１５３は、画像データ１４１をＤＬモデル１４３に入力し、第１尤度を算出する（ステップＳ１０３）。情報処理装置１００の近似値算出部１５４は、近似式を基にして、各遮蔽画像データの第２尤度をそれぞれ算出し、遮蔽画像テーブル１４２に登録する（ステップＳ１０４）。

【0045】

情報処理装置１００の表示処理部１５５は、第１尤度と、各第２尤度とを比較し、第１尤度との差分が閾値以上となる第２尤度に対する遮蔽画像データを特定する（ステップＳ１０５）。

【0046】

表示処理部１５５は、特定した遮蔽画像データの遮蔽領域に対応する画像データ１４１上の領域を強調表示する画像データの表示画面を生成する（ステップＳ１０６）。表示処理部１５５は、生成した表示画面を、表示部１３０に出力して表示させる（ステップＳ１０７）。

【0047】

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、画像データ１４１をＤＬモデル１４３に入力して、第１尤度を算出し、複数の遮蔽画像データに対応する尤度の近似値（第２尤度）を、近似式を基にして算出する。情報処理装置１００は、第１尤度と、複数の第２尤度とを基にして、画像データのうち、クラスの識別に影響する領域を特定し、表示する。このように、遮蔽画像データの第２尤度を算出する場合に、近似式を用いることで、クラスの識別に重要となる画像領域の特定に要する時間を削減できる。

【0048】

たとえば、従来技術では、複数の遮蔽画像データの尤度を算出する場合に、遮蔽画像データをそれぞれＤＬモデルに入力して、各遮蔽画像データの尤度を算出していた。これに対して、本実施例に係る情報処理装置１００は、式（２）に示すように、画像データ１４１をＤＬモデル１４３に入力して、第１尤度を１回算出すれば、かかる第１尤度を流用して、各遮蔽画像データの第２尤度を算出でき、計算コストを削減可能である。

【0049】

情報処理装置１００は、複数の第２尤度のうち、第１尤度との差分が閾値以上となる第２尤度に関する遮蔽画像データの遮蔽された領域と同領域となる画像データ１４１の領域を、クラスの識別に影響する領域として特定する。これによって、クラスの識別に影響する領域を適切に特定することができる。

【0050】

情報処理装置１００は、遮蔽画像データを生成する場合に、画像データ１４１の一部の領域の画素値を一定の画素値に変更することで、遮蔽画像データを生成する。たとえば、情報処理装置１００の画像生成部１５２は、予め設定されたｖ（リプレイスバリュー）に応じた画素値によって、遮蔽画像データを生成する。これによって、容易に、遮蔽画像データを生成できる。

【0051】

なお、情報処理装置１００の画像生成部１５２は、遮蔽画像データを生成する場合に、遮蔽する領域の周囲領域の画素値を基にして、遮蔽する領域の画素値を調整してもよい。また、画像生成部１５２は、遮蔽する領域の大きさを、遮蔽画像データ毎に変更してもよい。

【0052】

図６は、画像生成部のその他の処理を説明するための図である。たとえば、画像生成部１５２は、画像データ１４１に設定する遮蔽領域の大きさを最小で領域Ａ１の大きさとし、最大で領域Ａ２の大きさとする。領域Ａ１，Ａ２の大きさは、事前に設定される。

【0053】

画像生成部１５２によって、ｖの値が調整される場合、情報処理装置１００の近似値算出部１５４は、式（３）に示す「Conditional sampling」を基にして、各遮蔽画像データの第２尤度を算出してもよい。

【0054】

【数3】

【0055】

式（３）において、「ｖ_ｉ」は、リプレイスバリューであり、たとえば、０～２５５の値を取る。「ｐ（ｖ_ｉ｜ｘ）」は、遮蔽領域の周囲領域の画素値がｘである場合に、ｖ_ｉとなる確率（prior probability）であり、ガウス分布に基づく。ｇ（ｘ；ｍ，ｖ_ｉ）は、式（１）に対応する。ただし、ｖの値は、固定値ではなく、０～２５５の値を取る。

【0056】

なお、式（３）は、式（４）の関係を用いると、式（５）のようにまとめることが可能である。式（５）において、「Ｊ」は、ヤコビ行列である。「μ」は、ｖ_ｉの平均値である。

【0057】

【数4】

【0058】

【数5】

【0059】

情報処理装置１００は、式（５）を利用することで、遮蔽する領域の周囲の画素値に応じて遮蔽領域の画素を設定した遮蔽画像データに対する近似値（第２尤度）を算出することができる。

【0060】

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図７は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0061】

図７に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

【0062】

ハードディスク装置２０７は、取得プログラム２０７ａ、画像生成プログラム２０７ｂ、尤度算出プログラム２０７ｃ、近似値算出プログラム２０７ｄ、表示処理プログラム２０７ｅを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｅを読み出してＲＡＭ２０６に展開する。

【0063】

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。画像生成プログラム２０７ｂは、画像生成プロセス２０６ｂとして機能する。尤度算出プログラム２０７ｃは、尤度算出プロセス２０６ｃとして機能する。近似値算出プログラム２０７ｄは、近似値算出プロセス２０６ｄとして機能する。表示処理プログラム２０７ｅは、表示処理プロセス２０６ｅとして機能する。

【0064】

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。画像生成プロセス２０６ｂの処理は、画像生成部１５２の処理に対応する。尤度算出プロセス２０６ｃの処理は、尤度算出部１５３の処理に対応する。近似値算出プロセス２０６ｄの処理は、近似値算出部１５４の処理に対応する。表示処理プロセス２０６ｅの処理は、表示処理部１５５の処理に対応する。

【0065】

なお、各プログラム２０７ａ～２０７ｅについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｅを読み出して実行するようにしてもよい。

【0066】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0067】

（付記１）画像を取得し、
取得した前記画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成し、
前記画像を入力とし、前記画像に含まれる対象物のクラスを出力として訓練された第１モデルに、前記画像を入力することで、前記画像に含まれる対象物の第１尤度を算出し、
前記画像が入力された場合に、前記画像に含まれる対象物の尤度の近似値を算出する第２モデルに、前記遮蔽画像を入力することで、前記遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、
前記第１尤度と、前記第２尤度とを基にして、前記画像の領域のうち、前記クラスの識別に影響する領域を特定し、
特定した前記クラスの識別に影響する領域を表示する
処理をコンピュータに実行させることを特徴とする可視化プログラム。

【0068】

（付記２）前記第２尤度を算出する処理は、前記画像の遮蔽する領域がそれぞれ異なる複数の遮蔽画像を、前記第２モデルに入力することで、複数の遮蔽モデルに対する第２尤度をそれぞれ算出し、前記特定する処理は、複数の第２尤度のうち、前記第１尤度との差分が閾値以上となる第２尤度に関する遮蔽画像の遮蔽された領域と同領域となる前記画像の領域を、前記クラスの識別に影響する領域として特定することを特徴とする付記１に記載の可視化プログラム。

【0069】

（付記３）前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の画素値を所定値に変更することで、前記遮蔽画像を生成することを特徴とする付記１に記載の可視化プログラム。

【0070】

（付記４）前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の周辺領域の画素値を基にして、前記遮蔽する一部の領域の画素値を特定し、前記遮蔽する一部の領域の画素値を、特定した画素値に変更することで、前記遮蔽画像を生成することを特徴とする付記１に記載の可視化プログラム。

【0071】

（付記５）画像を取得し、
取得した前記画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成し、
前記画像を入力とし、前記画像に含まれる対象物のクラスを出力として訓練された第１モデルに、前記画像を入力することで、前記画像に含まれる対象物の第１尤度を算出し、
前記画像が入力された場合に、前記画像に含まれる対象物の尤度の近似値を算出する第２モデルに、前記遮蔽画像を入力することで、前記遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、
前記第１尤度と、前記第２尤度とを基にして、前記画像の領域のうち、前記クラスの識別に影響する領域を特定し、
特定した前記クラスの識別に影響する領域を表示する
処理をコンピュータが実行することを特徴とする可視化方法。

【0072】

（付記６）前記第２尤度を算出する処理は、前記画像の遮蔽する領域がそれぞれ異なる複数の遮蔽画像を、前記第２モデルに入力することで、複数の遮蔽モデルに対する第２尤度をそれぞれ算出し、前記特定する処理は、複数の第２尤度のうち、前記第１尤度との差分が閾値以上となる第２尤度に関する遮蔽画像の遮蔽された領域と同領域となる前記画像の領域を、前記クラスの識別に影響する領域として特定することを特徴とする付記５に記載の可視化方法。

【0073】

（付記７）前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の画素値を所定値に変更することで、前記遮蔽画像を生成することを特徴とする付記５に記載の可視化方法。

【0074】

（付記８）前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の周辺領域の画素値を基にして、前記遮蔽する一部の領域の画素値を特定し、前記遮蔽する一部の領域の画素値を、特定した画素値に変更することで、前記遮蔽画像を生成することを特徴とする付記５に記載の可視化方法。

【0075】

（付記９）画像を取得し、
取得した前記画像の領域のうち、一部の領域を遮蔽した遮蔽画像を生成し、
前記画像を入力とし、前記画像に含まれる対象物のクラスを出力として訓練された第１モデルに、前記画像を入力することで、前記画像に含まれる対象物の第１尤度を算出し、
前記画像が入力された場合に、前記画像に含まれる対象物の尤度の近似値を算出する第２モデルに、前記遮蔽画像を入力することで、前記遮蔽画像に含まれる対象物の尤度の近似値となる第２尤度を算出し、
前記第１尤度と、前記第２尤度とを基にして、前記画像の領域のうち、前記クラスの識別に影響する領域を特定し、
特定した前記クラスの識別に影響する領域を表示する
処理を実行する制御部を有する情報処理装置。

【0076】

（付記１０）前記第２尤度を算出する処理は、前記画像の遮蔽する領域がそれぞれ異なる複数の遮蔽画像を、前記第２モデルに入力することで、複数の遮蔽モデルに対する第２尤度をそれぞれ算出し、前記特定する処理は、複数の第２尤度のうち、前記第１尤度との差分が閾値以上となる第２尤度に関する遮蔽画像の遮蔽された領域と同領域となる前記画像の領域を、前記クラスの識別に影響する領域として特定することを特徴とする付記９に記載の情報処理装置。

【0077】

（付記１１）前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の画素値を所定値に変更することで、前記遮蔽画像を生成することを特徴とする付記９に記載の情報処理装置。

【0078】

（付記１２）前記遮蔽画像を生成する処理は、前記遮蔽する一部の領域の周辺領域の画素値を基にして、前記遮蔽する一部の領域の画素値を特定し、前記遮蔽する一部の領域の画素値を、特定した画素値に変更することで、前記遮蔽画像を生成することを特徴とする付記９に記載の情報処理装置。

【符号の説明】

【0079】

１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 画像データ
１４２ 遮蔽画像データ
１４３ ＤＬモデル
１５０ 制御部
１５１ 取得部
１５２ 画像取得部
１５３ 尤度算出部
１５４ 近似値算出部
１５５ 表示処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】