特許 7589101 特徴判定モデル評価システム及び特徴判定モデル評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】特徴判定モデル評価システム及び特徴判定モデル評価方法

(51)【国際特許分類】

   G06V 10/776 20220101AFI20241118BHJP

【ＦＩ】

G06V10/776

【請求項の数】 15

(21)【出願番号】P 2021073698

(22)【出願日】2021-04-23

(65)【公開番号】P2022167713

(43)【公開日】2022-11-04

【審査請求日】2024-01-25

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】安井 雅彦

(72)【発明者】

【氏名】浜 直史

(72)【発明者】

【氏名】和久井 一則

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２１－０２２１５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／７７６

(57)【特許請求の範囲】

【請求項1】

プロセッサと、
集計結果の表示に用いられるインタフェース部と、
を備え、
前記プロセッサは、
領域分割部を実行して、
データセットのデータ中の対象領域と前記対象領域以外の領域である背景領域とを分割し、
背景合成部を実行して、
背景データと前記対象領域が合成された背景合成データを生成し、
特徴判定部を実行して、
前記データセット又は前記背景合成データに対して特徴の有無を判定し、
判定寄与計算部を実行して、
前記判定についてのデータ内部の各構成要素の寄与値を前記背景合成データから計算し、
判定注視領域集計部を実行して、
前記寄与値に基づく寄与の分布と、前記対象領域又は判定根拠として妥当であるべき領域である判定根拠検討対象領域と、の重なりを集計し、データセットの一部ないし全体の前記集計結果を取得する、
ことを特徴とする特徴判定モデル評価システム。

【請求項2】

請求項１に記載の特徴判定モデル評価システムであって、
前記プロセッサは、
前記領域分割部の実行において、
ユーザにより設定される領域分割モデルを取り込んで前記対象領域と前記背景領域との分割を行い、又は、データセットに前記対象領域と前記背景領域とを区別するメタデータが付与されている場合において前記メタデータを用いて前記対象領域と前記背景領域との分割を行う、
ことを特徴とする特徴判定モデル評価システム。

【請求項3】

請求項１に記載の特徴判定モデル評価システムであって、
前記プロセッサは、
特徴判定部の実行において、
ユーザにより設定される特徴判定モデルを取り込んで特徴の有無の判定を行う、
ことを特徴とする特徴判定モデル評価システム。

【請求項4】

請求項１に記載の特徴判定モデル評価システムであって、
前記プロセッサは、
判定寄与計算部の実行において、
ユーザにより設定される寄与計算モデルを取り込んで前記寄与値を計算する、
ことを特徴とする特徴判定モデル評価システム。

【請求項5】

請求項１に記載の特徴判定モデル評価システムであって、
前記プロセッサは、
判定注視領域集計部の実行において、
背景合成データそれぞれにおける寄与の分布から寄与閾値を決定し、前記寄与閾値以上である構成要素と、前記対象領域又は前記判定根拠検討対象領域と、の重なりから、前記特徴判定部の判定結果が妥当か否かを決定する、
ことを特徴とする特徴判定モデル評価システム。

【請求項6】

請求項１に記載の特徴判定モデル評価システムであって、
前記プロセッサは、
判定注視領域集計部の実行において、
前記判定に関与しない領域である参照領域の内部における構成要素の寄与の分布を用いて寄与閾値を決定し、前記寄与閾値以上である構成要素と、前記対象領域又は前記判定根拠検討対象領域と、の重なりから、前記特徴判定部の判定結果が妥当か否かを決定し、
前記参照領域は、
参照領域を決定することに用いる参照領域決定部の実行において決定されることにより、又は、前記インタフェース部を用いてユーザが背景データに登録することにより、設定される、
ことを特徴とする特徴判定モデル評価システム。

【請求項7】

請求項１に記載の特徴判定モデル評価システムであって、
前記インタフェース部は、
データセットの一部ないし全体の前記集計結果として、データセットの中の１つのデータから生成される背景合成データに関する、前記対象領域又は前記判定根拠検討対象領域と閾値以上の寄与値を有する構成要素との重なりがある背景合成データの割合と、前記特徴判定部において正答した背景合成データの割合と、を、組み合わせた表示を行う、
ことを特徴とする特徴判定モデル評価システム。

【請求項8】

電子計算機を用いて行う特徴判定モデル評価方法であって、
データセットのデータ中の対象領域と前記対象領域以外の領域である背景領域とを分割し、
背景データと前記対象領域が合成された背景合成データを生成し、
前記データセット又は前記背景合成データに対して特徴の有無を判定し、
前記判定についてのデータ内部の各構成要素の寄与値を前記背景合成データから計算し、
前記寄与値に基づく寄与の分布と、前記対象領域又は判定根拠として妥当であるべき領域である判定根拠検討対象領域と、の重なりを集計し、データセットの一部ないし全体の集計結果を取得して表示する、
ことを特徴とする特徴判定モデル評価方法。

【請求項9】

請求項８に記載の特徴判定モデル評価方法であって、
ユーザにより設定される領域分割モデルを用いて前記対象領域と前記背景領域との分割を行い、又は、データセットに前記対象領域と前記背景領域とを区別するメタデータが付与されている場合において前記メタデータを用いて前記対象領域と前記背景領域との分割を行う、
ことを特徴とする特徴判定モデル評価方法。

【請求項10】

請求項８に記載の特徴判定モデル評価方法であって、
ユーザにより設定される特徴判定モデルを用いて特徴の有無の判定を行う、
ことを特徴とする特徴判定モデル評価方法。

【請求項11】

請求項８に記載の特徴判定モデル評価方法であって、
ユーザにより設定される寄与計算モデルを用いて前記寄与値を計算する、
ことを特徴とする特徴判定モデル評価方法。

【請求項12】

請求項８に記載の特徴判定モデル評価方法であって、
背景合成データそれぞれにおける寄与の分布から寄与閾値を決定し、前記寄与閾値以上である構成要素と、前記対象領域又は前記判定根拠検討対象領域と、の重なりから、前記判定の結果が妥当か否かを決定する、
ことを特徴とする特徴判定モデル評価方法。

【請求項13】

請求項８に記載の特徴判定モデル評価方法であって、
前記判定に関与しない領域である参照領域の内部における構成要素の寄与の分布を用いて寄与閾値を決定し、前記寄与閾値以上である構成要素と、前記対象領域又は前記判定根拠検討対象領域と、の重なりから、前記判定の結果が妥当か否かを決定する、
ことを特徴とする特徴判定モデル評価方法。

【請求項14】

請求項８に記載の特徴判定モデル評価方法であって、
データセットの一部ないし全体の前記集計結果として、データセットの中の１つのデータから生成される背景合成データに関する、前記対象領域又は前記判定根拠検討対象領域と閾値以上の寄与値を有する構成要素との重なりがある背景合成データの割合と、前記判定の結果において正答した背景合成データの割合と、を、組み合わせた表示を行う、
ことを特徴とする特徴判定モデル評価方法。

【請求項15】

請求項８に記載の特徴判定モデル評価方法を電子計算機に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は特徴判定モデル評価システム及び特徴判定モデル評価方法に関する。

【背景技術】

【0002】

データに含まれる対象における特徴を判定する特徴判定モデルがあるとき、この特徴判定モデルの出力結果に対してデータ内の各構成要素に寄与を分配し、これを判定根拠類推の一助とすることができる手法がある。非特許文献１には、この手法に関しており、対象データの各構成要素に対する特徴判定モデルの出力結果への寄与を算出するための方法が記載されている。

【0003】

その一方、非特許文献２及び非特許文献３には、画像データに特徴判定モデルを適用し、その際の寄与分布と対象領域との重なりを用いてその際の判定が妥当か否かについて評価する内容が記載されている。

【0004】

これまで、非特許文献２及び非特許文献３に記載されるような特徴判定モデルの結果の集計方式とこれに基づいた評価では、判定結果が正答か誤答かという観点と、判定根拠が妥当か不当かという観点とがあったが、いずれもこのように２値の分類となっていてデータセットをこれらの組合せで得られる４象限への分類となっていた。しかし、特徴判定モデルのデータセットに対する挙動を考察する際には、このような４象限への分類は不十分で、より精緻に分類することが求められていた。

【0005】

また、上記集計及び評価では、非特許文献４に記載されるように、同じ対象であっても背景が異なれば特徴判定モデルの挙動は異なる、という観点からの評価ができていなかった。ここで、非特許文献４には、画像データから、対象領域と背景領域とを分割した上で、別に用意された背景データに対象領域を合成することで、特徴判定モデルの学習データを拡充する内容が記載されている。

【0006】

さらには、上記集計及び評価では、判定根拠が妥当かどうかの決定の際、寄与の分布とデータ内の対象領域との重なりを用いていたが、場合によっては、対象領域ではない背景部分に寄与があっても妥当な場合がありえる。このように、背景領域内に寄与があっても妥当な場合を正しく評価できていなかった。

【0007】

さらに、上記集計及び評価を行う場合、計算機等を用いた処理が必要工数の観点からも望ましい。このとき、閾値を決定して寄与の値の大小から特徴判定モデルの注視領域と非注視領域とに分割することが求められる。しかし、この閾値を決定する際には以下の問題点がある。

【0008】

１つのデータについての寄与分布の相対的な値、例えば四分位点等を用いて閾値を決定すると、寄与の分布が非常に小さい場合でも注視領域を必ず定義できてしまう。これは、１つのデータ全体に亘って、特徴判定モデルがどの構成要素も注視していないような、寄与の大小の変動幅が非常に小さいときでも注視領域を定義できてしまうこととなり、判定根拠が妥当か否かの集計方式がユーザの意図するものでなくなる場合がある。

【0009】

一方で、事前設定した共通の閾値を用いた場合、非特許文献１に記載される寄与値算出過程から類推される閾値の補正方式を対象データ毎に施したとしても、寄与分布のオーダーがその補正のオーダーを遥かに上回る場合があり、判定根拠が妥当か否かの集計方式がユーザの意図するものでなくなる場合がある。

【先行技術文献】

【非特許文献】

【0010】

【文献】Lundberg, Scott M., and Su-In Lee. "A unified approach to interpreting model predictions." Advances in Neural Information Processing Systems (pp. 4765-4774). 2017.

【文献】Zhang, Jiajun, Pengyuan Ren, and Jianmin Li. "Deep Template Matching for Pedestrian Attribute Recognition with the Auxiliary Supervision of Attribute-wise Keypoints." arXiv preprint arXiv:2011.06798 (2020).

【文献】Chen, Lei, et al. "Adapting Grad-CAM for embedding networks." Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020.

【文献】Yaghoubi, Ehsan, et al. "Person Re-identification: Implicitly Defining the Receptive Fields of Deep Learning Classification Frameworks." Pattern Recognition Letters (2021).

【発明の概要】

【発明が解決しようとする課題】

【0011】

そこで、本発明が解決しようとする課題は、特徴判定モデルの結果の集計と評価を行う際、特徴判定結果の正答と誤答や、判定根拠の妥当と不当という２値ではなく、２値以上のより連続値に近い評価ができること、及び、データに含まれる対象領域が様々な背景中でも特徴判定モデルが正しく機能するかが評価できること、及び、背景領域に判定根拠がある場合には、この領域が注視領域となっても判定根拠が妥当だとして評価ができること、である。

【課題を解決するための手段】

【0012】

本発明の第１の態様によれば、下記の特徴判定モデル評価システムが提供される。特徴判定モデル評価システムは、プロセッサと、集計結果の表示に用いられるインタフェース部と、を備える。プロセッサは、領域分割部を実行して、データセットのデータ中の対象領域と対象領域以外の領域である背景領域とを分割する。プロセッサは、背景合成部を実行して、背景データと対象領域が合成された背景合成データを生成する。プロセッサは、特徴判定部を実行して、データセット又は背景合成データに対して特徴の有無を判定する。プロセッサは、判定寄与計算部を実行して、判定についてのデータ内部の各構成要素の寄与値を背景合成データから計算する。プロセッサは、判定注視領域集計部を実行して、寄与値に基づく寄与の分布と、対象領域又は判定根拠として妥当であるべき領域である判定根拠検討対象領域と、の重なりを集計し、データセットの一部ないし全体の集計結果を取得する。

【0013】

本発明の第２の態様によれば、下記の特徴判定モデル評価方法が提供される。特徴判定モデル評価方法は、電子計算機を用いて行う方法である。特徴判定モデル評価方法は、データセットのデータ中の対象領域と対象領域以外の領域である背景領域とを分割し、背景データと対象領域が合成された背景合成データを生成し、データセット又は背景合成データに対して特徴の有無を判定し、判定についてのデータ内部の各構成要素の寄与値を背景合成データから計算し、寄与値に基づく寄与の分布と、対象領域又は判定根拠として妥当であるべき領域である判定根拠検討対象領域と、の重なりを集計し、データセットの一部ないし全体の集計結果を取得する。

【発明の効果】

【0014】

本発明の特徴判定モデル評価システム及び特徴判定モデル評価方法によれば、特徴判定モデルの結果の集計と評価を行う際、特徴判定結果の正答と誤答や、判定根拠の妥当と不当という２値ではなく、２値以上のより連続値に近い評価ができ、データに含まれる対象領域が様々な背景中でも特徴判定モデルが正しく機能するかが評価でき、及び、背景領域に判定根拠がある場合には、この領域が注視領域となっても判定根拠が妥当だとして評価ができる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態の評価システムの構成例を示す図である。

【図2】第１実施形態のデータセットに含まれる画像データの一例を示す図である。

【図3】第１実施形態の画像データから分割された対象領域と背景領域の一例を示す図である。

【図4】第１実施形態の背景データセットに含まれる背景データの一例を示す図である。

【図5】第１実施形態の背景合成データの一例を示す図である。

【図6】第１実施形態の画素ごとの寄与値を表したヒートマップの一例を示す図である。

【図7】第１実施形態の注視領域画像の一例を示す図である。

【図8】第１実施形態の集計結果の一例を示す図である。

【図9】第１実施形態の判定根拠検討対象領域指定画面の一例を示す図である。

【図10】第１実施形態の集計結果を表示したインタフェース画面の一例を示す図である。

【図11】第１実施形態のシステムが行う処理の一例を示す図である。

【図12】第１実施形態の設定画面の一例を示す図である。

【図13】第２実施形態の評価システムの構成例を示す図である。

【図14】第２実施形態の参照領域の一例を示す図である。

【図15】第２実施形態の参照領域における寄与分布の一例を示す図である。

【図16】第２実施形態の設定画面の一例を示す図である。

【図17】第３実施形態のデータセットの一例を示す図である。

【図18】第３実施形態の背景データセットの一例を示す図である。

【図19】第３実施形態の背景合成データの一例を示す図である。

【図20】第３実施形態の背景合成データの寄与分布の一例を示す図である。

【図21】第３実施形態の注視領域の一例を示す図である。

【発明を実施するための形態】

【0016】

図１は、第１実施形態の評価システム（特徴判定モデル評価システム）を示す構成例である。第１実施形態では、データは画像データであり、後述する特徴判定部の処理における判定対象は、画像に含まれる人物像とする。

【0017】

データセット１０００には、評価する対象を含んだデータが保存され、本実施形態では、図２に示すように、評価の対象となる人物が写り込んだ画像データ１１００が保存されている。

【0018】

領域分割部１００１は、データセット１０００から受け取ったデータから、対象領域と背景領域とを分割することに用いられる。本実施形態では、領域分割部１００１は、データセット１０００から受け取った画像データから、対象物である人物の領域を切り出し、対象領域データとして対象領域データ保存領域１００２に保存することに用いられる。領域分割部１００１によって、図３に示すように、画像データ１１００から分割された対象領域１２００と背景領域１２０１に関するデータが取得される。

【0019】

背景データセット１００３には、データセット１０００の内容とユーザの評価目的に応じた背景データが保存されている。図４に示すように、背景データ（１３００～１３０４）は、一例として、人物を含まないデータとすることができる。

【0020】

背景結合部１００４は、対象領域データと背景データを合成し、背景合成データを作成することに用いられる。本実施形態では、図５に示すように、人物の領域と背景データが合成された背景合成データ（１４００～１４０４）が作成される。

【0021】

特徴判定部１００５は、データにおける特徴の有無の判定を行うことに用いられる。本実施形態では、背景合成データを入力に基づいて、特徴の対象として、人物の服装についてフォーマルかカジュアルかの判定が行われるが、これは一例であり、例えば、男性であるか女性であるか、などの他の特徴についての判定が行われてもよい。本実施形態では、特徴判定部１００５において、フォーマル／カジュアルに対応するラベルそれぞれに確率値が算出されて出力される。ここで、フォーマル/カジュアルの確率値は、例えば［０．２２３，０．７７７］のように出力される。

【0022】

判定寄与計算部１００６は、背景合成データが有する各構成要素について特徴判定部１００５が行った判定に関する寄与を示す寄与値を計算することに用いられる。本実施形態では、判定寄与計算部１００６は、背景合成データにおける各ピクセルが特徴判定部１００５における出力値にどのくらい寄与しているかという値を、ピクセルごとに寄与値として計算し、当該寄与値を寄与データ保存領域１００７に保存することに用いられる。ここで、寄与値は、適宜の寄与値算出方式により算出され、本実施形態では、一例として、非特許文献１に記載される方式により算出される。寄与値は、適宜の説明可能性（ＸＡＩ）に関する技術（例えば、ＳＨＡＰ；ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉоｎｓ）に基づいて求めることができる。

【0023】

また、判定寄与計算部１００６は、寄与値の分布様態を示すデータを生成することに用いられ、本実施形態では、計算した寄与値に基づくヒートマップを生成することに用いられる。本実施形態では、図６に示すように、特徴判定部１００５が出力した結果について計算した画素ごとの寄与値を表したヒートマップ１５００が生成される。図６のヒートマップの一例は、白い領域ほど寄与値が高く、黒い領域ほど寄与値が小さいことを表している。

【0024】

判定注視領域集計部１００８は、寄与値の分布様態から、特徴判定部１０５が出力結果に至る際に注視したであろう注視領域を決定することに用いられる。判定注視領域集計部１００８によって、一例として、図７に示すような注視領域画像１６００が作成される。図７では、注視領域画像１６００において、特徴判定モデルの注視領域１６０１が白色で示され、非注視領域１６０２が黒色で示されている。ここで、注視領域１６０１か非注視領域１６０２かについて閾値に基づく判定が行われてもよく、注視領域１６０１か非注視領域１６０２かについて判定する際の寄与値の閾値の決定方法の一例として、ユーザは、後述するインタフェース部１００９を用いて、以下の２方式から所望の方法を選択することができる。

【0025】

１つ目の方式は、背景合成データ毎にその内部の寄与分布の相対的な値、例えば四分位点等を用いて閾値を決定する方法である。そして、２つ目の方式は、事前に共通の閾値を設定しておき、非特許文献１に記載される寄与値算出方式に基づいて、事前設定した共通の閾値から、背景合成データにおける特徴判定部１００５の出力結果の確率値と、この出力結果のラベルにおける基準値（ｒｅｆｅｒｅｎｃｅ ｖａｌｕｅ）と、を減算することで補正を行い、閾値を決定する方式である。なお、ここでは、ユーザによって閾値の決定方法が選択される例について説明されたが、コンピュータによって閾値の決定方法が自動的に選択されてもよい。

【0026】

さらに、判定注視領域集計部１００８は、データセットの一部ないし全体に亘って行われる上記処理に基づく結果を集計することに用いられる。図８は、判定注視領域集計部１００８によって作成される上記処理の結果を集計したヒートマップ１７００の一例を示す。

【0027】

ヒートマップ１７００は、データセット１０００の全体ないしその一部のデータをプロットしたヒートマップであり、背景合成データの中で注視領域、及び、判定根拠として妥当であるべき領域である判定根拠検討対象領域、が重なるデータの割合を縦軸で示す。その一方で、ヒートマップ１７００は、特徴判定部１００５の出力が正答するデータの割合を横軸で示す。例えば、データセットに含まれる１つのデータ１１００から生成された背景合成データ（１４００～１４０４）の５つの中で、注視領域と判定根拠検討対象領域とが重なるデータ数が３であり、特徴判定部１００５の出力が正答するデータ数が４であるとき、このヒートマップ１７００の位置（１７０１）に示される１件が該当する。

【0028】

インタフェース部１００９は、キーボード、マウス、タッチパネル及びディスプレイ等の装置である。インタフェース部１００９は、判定注視領域集計部１００８の処理によって得られた集計結果を表示することに用いられる。また、インタフェース部１００９は、上記処理に対する所望する設定をユーザが入力することに用いられる。

【0029】

図９は、インタフェース部１００９に表示される判定根拠検討対象領域指定画面１８００の一例である。ユーザは、判定根拠検討対象領域の指定にあたって判定根拠検討対象領域指定画面１８００を利用することができる。

【0030】

ここで、領域分割部１００１によって、対象領域の抽出の際に対象領域内の各部位の領域、例えば、頭部、胴体部、のように分割した領域データを出力可能な場合には、画面中のフレーム（１８０１～１８０６）のように、各領域を判定根拠検討対象領域に加えることが可能である。

【0031】

本実施形態では、対象領域に対応する判定根拠検討対象領域である全身１８０１の他に、判定根拠検討対象領域として、上半身１８０２、下半身１８０３、頭部１８０４、胴体部１８０５、脚部１８０６が登録されている。また、対象領域中の判定根拠検討対象領域を追加する場合には、追加ボタン１８０７を押下することで、新規の登録用フレーム１８０８が出現する。そして、ユーザは、この中の各部位をクリック操作することで、各部位を判定根拠検討対象領域に含めるか否かについて設定することができる。また、判定根拠検討対象領域の名称は、名称登録用窓１８０９に文字入力することで反映される。

【0032】

その一方で、背景データセットの背景データに判定根拠がある場合には、ユーザは、フレーム（１８１０～１８１４）にて、背景データ内の判定根拠検討対象領域を設定することができる。この際には、マウス操作を用いて背景データにおける判定根拠検討対象領域１８１５を設定できる。

【0033】

図１０は、上記で判定根拠検討対象領域が設定された判定根拠検討対象領域毎に、図８で示した形式のヒートマップがインタフェース部１００９に表示された画面１９００の一例である。ここで、強調表示枠１９０１は、誤答割合が多く且つ判定根拠検討対象領域と注視領域との重なる割合が多いデータを含むヒートマップを強調表示している。この表示により、特徴判定部１００５の挙動の中で、誤答の原因となる挙動をユーザは知ることができる。なお、図１０の例は、対象領域に関する判定根拠検討対象領域についてのヒートマップの表示を示しているが、判定根拠検討対象領域が背景データに設定された場合では、背景データに関する判定根拠検討対象領域についてのヒートマップが表示されてもよい。

【0034】

次に、図１１を参照しながら、本実施形態の評価システムが行う処理について説明する。図１１は、本実施形態の評価システムが行う処理の一例を説明するフローチャートである。なお、この処理は、適宜のプログラムをプロセッサが実行して行われる。

【0035】

先ず、データセット１０００から、評価対象となるデータが１つ選出される（ステップＳ１００）。次に、領域分割部１００１が実行されて、選出した評価対象となるデータにおける対象領域と背景領域とを分割する処理が行われる（ステップＳ１０１）。次に、背景データセット１００３から、背景データが１つ選出される（ステップＳ１０２）。そして、背景合成部１００４が実行されて、領域分割部１００１の実行によって得られた対象領域が選出された背景データに合成され、背景合成データが取得される（ステップＳ１０３）。

【0036】

次に、特徴判定部１００５が実行されて、背景合成データに特徴が含まれるかの判定（すなわち、特徴有無の判定）が行われ、この判定の正誤データが取得される（ステップＳ１０４）。なお、データセット１０００のデータに対して判定が行われ、判定の正誤データが取得されてもよい。そして、判定寄与計算部１００６が実行されて、この特徴有無の判定の際における、背景合成データの構成要素ごとの寄与値が計算される（ステップＳ１０５）。

【0037】

そして、判定注視領域集計部１００８が実行されて、背景合成データの構成要素のうちで注視領域に含まれる構成要素が決定される。さらに、判定根拠検討対象領域毎に注視領域との重なりの有無が取得される（ステップＳ１０６）。

【0038】

上記ステップＳ１０３～ステップＳ１０６の処理が、背景データセットに含まれる背景データ全てに行われる（ステップＳ１０７）。そして、判定注視領域集計部１００８が実行されて、評価対象データについて、特徴判定部１００５の正答割合と、判定根拠検討対象領域毎に注視領域と重なりがある割合と、が取得される（ステップＳ１０８）。

【0039】

上記ステップＳ１０１～ステップＳ１０８の処理がデータセット１０００のデータ全てに亘って行われる（ステップＳ１０９）。そして、ステップＳ１００～ステップＳ１０９の処理で得た集計結果がデータセット全体に亘って集計される（ステップＳ１１０）。

【0040】

さらに、本実施形態の評価システムは、ユーザによって適宜に決定される所望のモデルを用いて、領域分割部１００１、特徴判定部１００５、及び、判定寄与計算部１００６の処理を実行することができる。次に、これらの処理において使用されるモデル（領域分割モデル、特徴判定モデル、寄与計算モデル）の設定方法について説明する。図１２は、領域分割部、特徴判定部、判定寄与計算部に所望のモデルを登録するためのインタフェース部に表示される画面２０００の一例である。

【0041】

画面２０００における入力窓２００１を利用して、ユーザは、領域分割部１００１において動作する対象データと背景データとを分離する機構を備えたプログラムのソースコードを、ファイルあるいはディレクトリ形式で登録することができる。また、入力窓２００２を利用して、ユーザは、特徴判定部１００５において動作する判定機構（例えば、人物を対象とするときの服装や性別についての判定機構）を備えたプログラムのソースコードを、ファイルあるいはディレクトリ形式で登録することができる。入力窓２００３を利用して、ユーザは、判定寄与計算部１００６において動作する特徴判定部１００５の出力結果に対するデータの各構成要素（例えば、各画素）の寄与値を算出するプログラムのソースコードを、ファイルあるいはディレクトリ形式で登録することができる。

【0042】

本実施形態によれば、評価用のデータセット１０００に含まれるデータ１件あたり、その対象領域を背景データセット１００３に含まれる背景データに合成した１件以上の背景合成データを作成する。そして、特徴判定モデル（つまり、特徴判定部１００５）を適用し、この正誤を得る。また、この際の判定寄与計算を行い、注視領域と判定根拠検討対象領域との重なりの有無を得る。そして、本実施形態に係る評価システム及び評価方法は、これらの情報をデータセット１０００の全体に亘って集計することができる。また、背景データセット１００３に関しても、背景に判定根拠がある場合と判定根拠がない場合を用意することができ、集計の際に、背景内の判定根拠検討対象領域と注視領域とが重なるか否かを集計、評価することができる。その結果、特徴判定モデルのデータセットに対する挙動を適切に把握することができる。ここで、集計結果は、インタフェース部１００９を用いて出力することが可能である。

【0043】

その一方で、第１実施形態の場合であっても、例えば寄与分布のオーダーによっては、判定根拠が妥当か否かの集計方式がユーザの意図するものでなくなる場合がある。次に、この課題を解決する第２実施形態について説明する。第２実施形態では、判定注視領域集計部１００８が用いる寄与値の閾値の決定方法を中心に説明する。以下において第１実施形態との差異を中心に説明し、同様の説明については省略することがある。

【0044】

図１３は、第２実施形態における評価システムを示す構成例である。本実施形態では、参照領域決定部２１００の構成を有することについて第１実施形態の場合と異なるが、それ以外の構成については第１実施形態の場合と同様である。

【0045】

図１４は、本実施形態において、背景データ（１３００、１３０１）に設定される参照領域（２２００、２２０１）の一例である。ここで、参照領域は、参照領域決定部２１００をプロセッサが実行することにより、特徴判定部１００５の決定に全く関与しない領域として選出される。例えば、図１４に示すように、背景データの空を写した部分や地面を写した部分が、参照領域として選出される。参照領域は、参照領域決定部２１００の実行において、データセットの各対象領域とも重ならず、背景データ内の判定根拠検討対象領域とも重ならない領域として、自動的に選出される。その一方で、参照領域決定部２１００の実行に代えて、ユーザが参照領域を適宜に設定してもよい。すなわち、ユーザは、インタフェース部１００９を通して、背景データの内容とデータセットの各対象領域とが重ならない領域で、参照領域を適宜に設定することができる。

【0046】

また、第２実施形態では、注視領域の抽出に用いる寄与値の閾値決定の際に、第１実施形態において説明した内容を発展させた方式が用いられる。すなわち、事前に共通の閾値を設定しておき、非特許文献１に記載される寄与値算出方式に基づいて、事前設定した共通の閾値から、背景合成データにおける特徴判定部１００５の出力結果の確率値と、この出力結果のラベルにおける基準値（ｒｅｆｅｒｅｎｃｅ ｖａｌｕｅ）と、を減算することで補正を行い、閾値を決定するという方式を、発展させた方式が用いられる。次に、この方法に関する説明をする。

【0047】

図１５は、背景データ１３００は共有されている一方で、合成された対象領域が２３００と２３０１とで異なる２つの例の背景合成データについて、画像１枚全体の寄与値の分布と参照領域２２００内部の寄与の分布を表した積み上げヒストグラム２３０２と積み上げヒストグラム２３０３である。これらのヒストグラムでは、白色部分が参照領域内部の分布を表し、灰色部分が参照領域以外の部分を表す。

【0048】

ここで、参照領域の寄与の分布は、特徴判定部１００５の出力に寄与しない領域として選択されているので、寄与値の分布様態としては平均０、分散０となるべきである。しかしながら、そうならない場合が多く、このような場合、第２実施形態の評価システムは、上記した第１実施形態での閾値の補正方式に加えて、参照領域の寄与値の平均と分散を用いることができる。

【0049】

図１５に表されるように、背景データを共有して対象領域が異なる場合、つまり、画像一枚全体の寄与値の分布は類似するにも関わらず、参照領域の分布が異なる（ヒストグラム２３０２、２３０３のように、参照領域の分布が異なる）場合では、参照領域の寄与の分散が大きくなるとき、あるいは寄与の分散が小さくなるときであっても、参照領域（つまり、特徴判定部１００５の出力に寄与しない領域）からの影響を考慮して注視領域決定のための閾値が大きく設定されるべきである。同様に考えて、参照領域の寄与の平均がゼロよりも大きいとき、あるいは寄与の平均がゼロのときであっても、参照領域（つまり、特徴判定部１００５の出力に寄与しない領域）からの影響を考慮して注視領域決定のための閾値が大きく設定されるべきである。

【0050】

そこで、本実施形態では、参照領域の寄与値の平均と分散を利用した閾値が設定される。図１６は、インタフェース部を通して、参照領域の寄与値の平均と分散を用いた閾値の補正方式の設定内容をユーザが入力する画面２４００の一例である。この例では、ユーザは、入力窓２４０１に閾値（注視領域決定のための閾値）の補正式を記載する。そして、この例では、参照領域の寄与値のデータに基づき、参照領域の寄与値の平均の３倍の値と、参照領域の寄与値の分散の２乗の４倍の値と、を加えるという閾値の補正方式が設定されている。なお、ユーザの操作に代えて、コンピュータが適宜のプログラムを実行することにより、参照領域の寄与値の平均と分散を利用した閾値の補正が自動的に行われてもよい。

【0051】

この例では、背景データを共有して対象領域が異なる２つのヒストグラム（２３０２、２３０３）が説明された。しかしながら、閾値の補正に用いるヒストグラムは、この例に限定されない。例えば、対象領域を共有して背景データが異なるヒストグラムが用いられてもよい。また、この例では、閾値の補正にあたって考慮するヒストグラムの数は２つであったが、閾値の補正にあたって考慮するヒストグラムの数は、２つ以外でもよく、適宜に決定することができる。そして、対象データごとの寄与の分布の様式に準じた補正が行われてもよい。

【0052】

また、閾値の補正にあたり、参照領域の寄与値の平均の３倍の値と、参照領域の寄与値の分散の２乗の４倍の値と、が用いられる例について説明されたが、閾値の補正に用いる寄与値の平均の値と分散の値は、この例に限定されず、閾値の補正に利用するヒストグラムを参照して適宜に決定することができる。

【0053】

本実施形態によれば、評価システムは、注視領域の決定の際に、特徴判定モデルが判定根拠とするべきでない領域を参照領域として定め、この参照領域内の寄与の分布の状態から、特徴判定モデルの注視領域を決定する際に用いる事前決定した閾値に適切な補正をかける手順ないし機構を備える。そして、この補正を適用することにより、特徴判定モデルのデータセットに対する挙動をより適切に把握するためのデータを取得することができる。

【0054】

次に、第３実施形態について説明する。第３実施形態では、画像データに代えて表形式のデータを対象とする。以下、第１実施形態および第２実施形態との差異を中心に説明し、同様の説明については省略する場合がある。

【0055】

図１７は、第３実施形態におけるデータセットの内容の一例を示した表２５００である。表２５００は、ある年度の各支店での月あたりの売上高を示している。ここで、データセット内のデータの対象領域２５０２と背景領域２５０３は、それぞれマス目を灰色、白色で塗り分けることで示している。この例では、売上が４００以上の月が対象領域であり、それ未満の月が背景領域である。また、この例では、特徴判定部１００５の処理において、支店での利益高が２０００以上か否かの判定が行われる。

【0056】

図１８は、第３実施形態における背景データセットの内容の一例を示した表２６００を示している。また、図１８には、背景データセット内の背景データであるｂｇ１ｄａｔａ２６０１の参照領域２６０２が示されている。図１９は、データセットのＡ支店のデータ２５０１と背景データｂｇ１ｄａｔａ２６０１から作成される背景合成データｂｇ１＿Ａ支店２７００を示している。図２０は、背景合成データ２７００における寄与値の分布２８００を示している。図２１は、背景合成データ２７００における寄与値の分布から決定する注視領域を示した表２９００である。表中１が入っている部分が注視領域、０が入っている部分が非注視領域である。

【0057】

第３実施形態では、下記の処理が行われる。先ず、データセット２５００から、評価対象となる支店のデータが１つ選出される。本実施形態では、一例として、図１７に示すデータセットから、Ａ支店のデータが選出される。そして、領域分割部１００１が実行されて、売上が４００以上であるかどうかに基づいて、対象領域と背景領域に分割される。

【0058】

次に、背景データセット２６００から、背景データが１つ選出される。本実施形態では、一例として、図１８に示す背景データセットから、ｂｇ１ｄａｔａ２６０１が選出される。そして、背景合成部１００４が実行されて、領域分割部１００１の実行によって得られた対象領域が選出された背景データに合成される。これにより、図１９に示す背景合成データが取得される。

【0059】

次に、特徴判定部１００５が実行されて、背景合成データに特徴が含まれるかの判定（すなわち、背景合成データにおける特徴有無の判定）が行われ、この判定の正誤データが取得される。なお、データセット２５００のデータに対して判定が行われ、判定の正誤データが取得されてもよい。本実施形態では、一例として、支店での利益高が２０００以上か否かについての判定が行われる。

【0060】

そして、判定寄与計算部１００６が実行されて、この特徴有無の判定の際における背景合成データの構成要素ごとの寄与値が計算される。これにより、図２０に示すように、構成要素ごと（本実施形態では、月ごと）の寄与値のデータが取得される。

【0061】

そして、判定注視領域集計部１００８が実行されて、背景合成データの構成要素の中で注視領域に含まれる構成要素が決定される。これにより、図２１に示すように、注視領域に関するデータが取得される。なお、注視領域を決定する際の閾値は、上記で説明された方法を用いて決定されてもよい。例えば、第２実施形態の場合のようにして閾値が決定されてもよく、参照領域２６０２に基づく補正を行って閾値が決定されてもよい。

【0062】

さらに、判定根拠検討対象領域毎に注視領域との重なりの有無が取得される。ここで、判定根拠検討対象領域は、複数ないし単数の構成要素（本実施形態では、複数ないし単数の任意の月）とすることができ、ユーザは、インタフェース部１００９を介して、判定根拠検討対象領域を適宜に設定可能である。

【0063】

上述した実施形態の場合と同様に、上記の処理が、背景データセット２６００に含まれる背景データ全てに行われる。そして、判定注視領域集計部１００８が実行されて、評価対象データについて、特徴判定部１００５の正答割合と、判定根拠検討対象領域毎に注視領域と重なりがある割合と、が取得される。

【0064】

そして、上記の処理が、データセット２５００のデータ全てに亘って行われ、上記の処理で得た結果がデータセット全体に亘って集計されることにより、各支店のデータについて、特徴判定部１００５の正答割合と、判定根拠検討対象領域毎に注視領域と重なりがある割合と、が取得され、特徴判定モデルのデータセットに対する挙動を把握することができる。

【0065】

以上実施形態について説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、実施形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

【0066】

データセットに対象領域と背景領域とを区別するメタデータが付与されている場合においては、当該メタデータに基づく領域分割が行われてもよい。例えば、人物を対象とするときにおいて全身１８０１とのメタデータがデータセットに付与されているとき、当該メタデータを用いて領域分割が行われてもよい。

【0067】

プロセッサの一例としてはＣＰＵが考えられるが、所定の処理を実行する主体であれば他の半導体デバイス（例えば、ＧＰＵ）でもよい。データやプログラムは、適宜の記憶装置（例えば、ＲＯＭ、ＨＤＤ）に記憶させておくことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】