特許 7177806 画像判定装置、画像判定方法及び画像判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-15

(45)【発行日】2022-11-24

(54)【発明の名称】画像判定装置、画像判定方法及び画像判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221116BHJP

   G06N 20/00 20190101ALI20221116BHJP

   G06N 3/08 20060101ALI20221116BHJP

【ＦＩ】

G06T7/00 350C

G06N20/00

G06N3/08

【請求項の数】 10

(21)【出願番号】P 2020160374

(22)【出願日】2020-09-25

(65)【公開番号】P2022053637

(43)【公開日】2022-04-06

【審査請求日】2021-08-05

(73)【特許権者】

【識別番号】394013002

【氏名又は名称】三菱電機インフォメーションシステムズ株式会社

(74)【代理人】

【識別番号】110002491

【氏名又は名称】弁理士法人クロスボーダー特許事務所

(72)【発明者】

【氏名】中尾 尭理

(72)【発明者】

【氏名】阿部 紘和

(72)【発明者】

【氏名】山足 光義

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２０－８８９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００８２４６８（ＵＳ，Ａ１）

【文献】柿下容弓, 外1名，“Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋのモデル逆解析による識別根拠可視化技術”，情報処理学会論文誌数理モデル化と応用（ＴＯＭ），日本，情報処理学会，2019年07月17日，第12巻, 第2号，p.20-33

【文献】寺元陶冶, 外1名，“ＶＧＧモデルの視覚野的解釈における解析の検討”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2019年02月25日，第118巻, 第470号，p.239-244

【文献】Alexander Kolesnikov, 外1名，"Improving Weakly-Supervised Object Localization By Micro-Annotation"，Computer Vision and Pattern Recognition，米国，2016年05月18日，p.1-13，[検索日 2022.08.18], インターネット＜ＵＲＬ：https://arxiv.org/pdf/1605.05538.pdf＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算部と
を備え、
前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である画像判定装置。

【請求項2】

ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算部と
を備え、
前記設定値は、前記各画素の評価値として取り得る値に基づき設定された値である画像判定装置。

【請求項3】

前記評価値計算部は、複数の対象データそれぞれについて、その対象データにおける各画素の評価値を計算し、
前記活性度計算部は、前記複数の対象データそれぞれについて、その対象データにおける各画素の評価値を、前記複数の対象データに共通して事前に定められた前記設定値で除して、前記各画素の活性度を計算する
請求項１又は２に記載の画像判定装置。

【請求項4】

前記画像判定装置は、さらに、
前記活性度計算部によって計算された前記各画素の活性度を示すヒートマップを表示する表示部
を備える請求項１から３までのいずれか１項に記載の画像判定装置。

【請求項5】

前記設定値は、前記複数の学習データにおける各画素の評価値のうちの最大値である
請求項１に記載の画像判定装置。

【請求項6】

前記設定値は、前記複数の学習データにおける各画素の評価値から外れ値を除いて残った残り値のうちの最大値である
請求項１に記載の画像判定装置。

【請求項7】

画像判定装置の評価値計算部が、ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算し、
前記画像判定装置の活性度計算部が、前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算し、
前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である画像判定方法。

【請求項8】

画像判定装置の評価値計算部が、ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算し、
前記画像判定装置の活性度計算部が、前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算し、
前記設定値は、前記各画素の評価値として取り得る値に基づき設定された値である画像判定方法。

【請求項9】

ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算処理と
を行う画像判定装置としてコンピュータを機能させ、
前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である画像判定プログラム。

【請求項10】

ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算処理と
を行う画像判定装置としてコンピュータを機能させ、
前記設定値は、前記各画素の評価値として取り得る値に基づき設定された値である画像判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ニューラルネットワークを用いて構成された学習済みの属性判定モデルによる画像判定技術に関する。

【背景技術】

【0002】

画像データから対象物体を検出する属性判定モデルによる検出結果を分析して、属性判定モデルに不足している学習データを特定するといったことが行われている（特許文献１参照）。

【0003】

検出結果を分析する際、属性判定モデルによる判断根拠となった箇所を可視化することが行われる。判断根拠となった箇所を可視化する技術としては、ＧｒａｄＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）がある。
ＧｒａｄＣＡＭでは、属性判定モデルの対象の層の特徴量と、検出対象の属性の傾き情報との重み付け和が正規化され、ヒートマップとして表示される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１９２０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＧｒａｄＣＡＭは、ある１つの画像データから物体が検出された場合に、その画像データにおける判断根拠となった箇所を可視化する技術である。ＧｒａｄＣＡＭでは、判断根拠となった箇所を明確にするため、重み付け和の最大値を用いて正規化が行われる。
重み付け和の最大値を用いて正規化が行われると、１つの画像データにおける判断根拠となった箇所は明確になるが、他の画像データにおける判断根拠となった箇所と反応の強さを比較することはできなくなる。
本開示は、複数の画像データ間で判断根拠となった箇所の反応の強さを比較可能にすることを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る画像判定装置は、
ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算部と、
前記評価値計算部によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算部と
を備える。

【0007】

前記評価値計算部は、複数の対象データそれぞれについて、その対象データにおける各画素の評価値を計算し、
前記活性度計算部は、前記複数の対象データそれぞれについて、その対象データにおける各画素の評価値を、前記複数の対象データに共通して事前に定められた前記設定値で除して、前記各画素の活性度を計算する。

【0008】

前記画像判定装置は、さらに、
前記活性度計算部によって計算された前記各画素の活性度を示すヒートマップを表示する表示部
を備える。

【0009】

前記設定値は、前記モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データにおける各画素の評価値から決定された値である。

【0010】

前記設定値は、前記複数の学習データにおける各画素の評価値のうちの最大値である。

【0011】

前記設定値は、前記複数の学習データにおける各画素の評価値から外れ値を除いて残った残り値のうちの最大値である。

【0012】

本開示に係る画像判定方法は、
画像判定装置の評価値計算部が、ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算し、
前記画像判定装置の活性度計算部が、前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する。

【0013】

本開示に係る画像判定プログラムは、
ニューラルネットワークを用いて構成されたモデルによって処理対象の画像データである対象データを分析した場合において前記対象データの各画素の判断根拠となった度合から、前記対象データにおける各画素の評価値を計算する評価値計算処理と、
前記評価値計算処理によって計算された前記各画素の評価値を、前記各画素の評価値の最大値とは別に事前に定められた設定値で除して、前記各画素の活性度を計算する活性度計算処理と
を行う画像判定装置としてコンピュータを機能させる。

【発明の効果】

【0014】

本開示では、対象データの各画素の評価値の最大値とは別に事前に定められた設定値を用いて正規化が行われる。そのため、他の画像データにおける判断根拠となった箇所と反応の強さを比較することが可能になる。

【図面の簡単な説明】

【0015】

【図1】実施の形態１に係る画像判定装置１０の構成図。

【図2】実施の形態１に係る画像判定装置１０の全体的な動作を示すフローチャート。

【図3】実施の形態１に係る評価値計算処理のフローチャート。

【図4】画像データの各画素の評価値のうち最大値を用いて正規化が行われた場合の例を示す図。

【図5】事前に設定された設定値を用いて正規化が行われた場合の例を示す図。

【図6】変形例１に係る画像判定装置１０の構成図。

【図7】実施の形態２に係る画像判定装置１０の構成図。

【図8】実施の形態２に係る画像判定装置１０の動作を示すフローチャート。

【図9】変形例３に係る画像判定装置１０の動作を示すフローチャート。

【発明を実施するための形態】

【0016】

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る画像判定装置１０の構成を説明する。
画像判定装置１０は、コンピュータである。
画像判定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

【0017】

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

【0018】

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

【0019】

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

【0020】

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

【0021】

画像判定装置１０は、機能構成要素として、画像取得部２１と、モデル処理部２２と、評価値計算部２３と、活性度計算部２４と、表示部２５とを備える。画像判定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、画像判定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、画像判定装置１０の各機能構成要素の機能が実現される。

【0022】

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

【0023】

＊＊＊動作の説明＊＊＊
図２及び図３を参照して、実施の形態１に係る画像判定装置１０の動作を説明する。
実施の形態１に係る画像判定装置１０の動作手順は、実施の形態１に係る画像判定方法に相当する。また、実施の形態１に係る画像判定装置１０の動作を実現するプログラムは、実施の形態１に係る画像判定プログラムに相当する。

【0024】

図２を参照して、実施の形態１に係る画像判定装置１０の全体的な動作を説明する。
（ステップＳ１１：モデル読込処理）
モデル処理部２２は、物体の属性判定モデル（学習済みモデルの一例、以下単にモデルと表することもある）をストレージ１３から読み込む。属性判定モデルは、画像データに含まれる対象物体の属性を判定する、ニューラルネットワークを用いて構成されたモデルである。対象物体は、予め指定された種類の物体である。属性判定モデルは、事前に生成され、ストレージ１３に記憶されているものとする。
この際、モデル処理部２２は、属性判定モデルによる検出処理を実行するために必要なネットワークの設計情報と、パラメータと、ラベル情報といった情報も合わせてストレージ１３から読み込む。

【0025】

（ステップＳ１２：設定値読込処理）
活性度計算部２４は、後述する正規化で使用される設定値をストレージ１３から読み込む。設定値は、事前に定められストレージ１３に記憶されているものとする。

【0026】

（ステップＳ１３：画像取得処理）
画像取得部２１は、処理対象の画像データである対象データを取得する。
具体的には、画像取得部２１は、ユーザによって指定された画像データを対象データとして取得する。

【0027】

（ステップＳ１４：属性判定処理）
モデル処理部２２は、ステップＳ１１で読み込まれた属性判定モデルを用いて、ステップＳ１３で取得された対象データに含まれる予め指定された種類の物体である対象物体を検出する。

【0028】

（ステップＳ１５：評価値計算処理）
評価値計算部２３は、属性判定モデルによって対象データを分析した場合において対象データの各画素の判断根拠となった度合から対象データにおける各画素の評価値を計算する。実施の形態１では、評価値計算部２３は、属性判定モデルにおける対象の層の出力結果から、対象データにおける各画素の評価値を計算する。評価値は、各画素が対象物体の検出の判断根拠となった度合を示す。ここでは、評価値が大きいほど判断根拠となった度合が高いとする。
具体的には、評価値計算部２３は、ＧｒａｄＣＡＭといった属性判定モデルによる判断根拠となった箇所を可視化する手法と同様に、評価値を計算する。

【0029】

図３を参照して、実施の形態１に係る評価値計算処理を説明する。
（ステップＳ１５１：出力結果取得処理）
評価値計算部２３は、属性判定モデルにおける対象の層の出力結果を取得する。例えば、評価値計算部２３は、属性判定モデルを構成する複数の層のうち識別層に近い特徴抽出層を対象の層として、対象の層の出力結果を取得する。
ここでは、対象の層の出力結果は、Ｎ×（Ｗ行×Ｈ列）の行列形式になっているとする。つまり、対象の層の出力結果は、（Ｗ行×Ｈ列）の行列１×・・・×（Ｗ行×Ｈ列）の行列Ｎの形式になっている。Ｎは特徴マップ数であり、Ｗは特徴マップの幅であり、Ｈは特徴マップの高さである。なお、出力結果の形式は、属性判定モデルによって異なる。

【0030】

（ステップＳ１５２：勾配データ取得処理）
評価値計算部２３は、属性判定処理における逆伝播処理時の勾配データを取得する。逆伝播処理時の勾配データについては、ＧｒａｄＣＡＭで用いられるものであるため、説明は省略する。
ここでは、勾配データは、Ｎ×Ｇの行列形式になっているとする。Ｎは特徴マップ数であり、Ｇは勾配値である。つまり、勾配データは、Ｇ１×・・・×ＧＮの形式になっている。なお、勾配データの形式は、属性判定モデルによって異なる。

【0031】

（ステップＳ１５３：重み付け和計算処理）
評価値計算部２３は、ステップＳ１５１で取得された出力結果と、ステップＳ１５２で取得された勾配データの重み付け和を計算する。ここでは、重み付け和は、（Ｗ行×Ｈ列）の行列であり、重み付け和＝（Ｗ行×Ｈ列）の行列１×Ｇ１＋・・・？（Ｗ行×Ｈ列）の行列Ｎ×ＧＮである。
評価値計算部２３は、対象データの各画素について、重み付け和における対応する要素の値を、その画素の評価値とする。

【0032】

（ステップＳ１６：活性度計算処理）
活性度計算部２４は、ステップＳ１５で計算された各画素の評価値を、ステップＳ１２で読み込まれた設定値で正規化して、各画素の活性度を計算する。ここで、設定値は、各画素の評価値の最大値とは別に事前に定められた値である。したがって、活性度計算部２４は、各画素の評価値を、各画素の評価値の最大値とは別に事前に定められた設定値で除して、各画素の活性度を計算することになる。
具体的には、活性度計算部２４は、各画素の評価値のうち最小値を特定する。活性度計算部２４は、各画素の評価値から最小値を減算する。そして、活性度計算部２４は、最小値を減算した後の各画素の評価値を、設定値で除して、各画素の活性度を計算する。ここで、各画素の評価値から最小値を減算するのは、評価値の最小値を０にして、活性度を０から設定値までの値に正規化するためである。

【0033】

（ステップＳ１７：切り捨て処理）
活性度計算部２４は、ステップＳ１６で計算された各画素の活性度のうち、値が１．０以上の活性度は、値を全て１．０に設定する。

【0034】

（ステップＳ１８：表示処理）
表示部２５は、ステップＳ１７で得られた各画素の活性度を示すヒートマップを生成して、表示する。
具体的には、表示部２５は、通信インタフェース１４を介して、各画素の活性度を示すヒートマップを表示装置に送信して、表示装置にヒートマップを表示する。

【0035】

なお、未処理の画像データが存在する場合には、処理がステップＳ１３に戻され、新たな画像データが対象データとして取得される。その結果、複数の画像データについて、各画素の活性度が計算され、ヒートマップが生成される。つまり、設定値は、複数の画像データに共通して定められた値である。
複数の画像データについてのヒートマップが生成された場合には、ステップＳ１８で表示部２５は、各画像データについてのヒートマップを並べて表示してもよい。

【0036】

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る画像判定装置１０は、各画素の評価値の最大値とは別に事前に定められた設定値を用いて、各画素の評価値を正規化して活性度を計算する。そのため、他の画像データにおける判断根拠となった箇所と反応の強さを比較することが可能になる。

【0037】

図４及び図５を参照して、実施の形態１に係る画像判定装置１０によって得られる効果を説明する。
図４及び図５では、画像データ１及び画像データ２それぞれから対象物体であるスーツケースが検出された際の判断根拠となった度合を示すヒートマップが生成されている。図４及び図５のヒートマップでは、ハッチングの密度が高い部分（濃い部分）ほど、活性度が高いものとする。
図４では、判断根拠となった度合である活性度が計算される際、対象とする画像データの各画素の評価値のうち最大値を用いて正規化が行われている。つまり、画像データ１についての活性度は、画像データ１の各画素の評価値のうち最大値を用いて正規化が行われて計算されており、画像データ２についての活性度は、画像データ２の各画素の評価値のうち最大値を用いて正規化が行われて計算されている。一方、図５では、各画素の評価値の最大値とは別に事前に設定された設定値を用いて正規化が行われている。つまり、画像データ１及び画像データ２についての活性度は、設定値を用いて正規化が行われて計算されている。
図４及び図５では、画像データ１の各画素の評価値のうち最大値が１００、画像データ２の各画素の評価値のうち最大値が１０、設定値が１１０であるとする。

【0038】

図４に示すように、各画素の評価値のうち最大値を用いて正規化され活性度が計算された場合には、画像データ１及び画像データ２の両方とも、判断根拠となった箇所の活性度が非常に高くなり、判断根拠となった箇所が明確になる。したがって、画像データ１及び画像データ２について、それぞれどの部分が対象物体の判断根拠となったかの分析を行うことが可能になる。しかし、画像データ１及び画像データ２では、判断根拠となった箇所の活性度は同程度の値になるため、画像データ１のヒートマップと画像データのヒートマップとを比較することは難しい。

【0039】

一方、図５に示すように、事前に設定された設定値を用いて正規化され活性度が計算された場合には、画像データ１と画像データ２とでは判断根拠となった箇所の活性度の値が大きく異なる。具体的には、評価値の最大値が大きい画像データ１では、判断根拠となった箇所の活性度が高くなるのに対して、評価値の最大値が小さい画像データ２では、判断根拠となった箇所の活性度があまり高くならない。
これは、属性判定モデルは、画像データ１及び画像データ２のどちらからも対象物体であるスーツケースを検出しているが、画像データ１に示すスーツケースに比べ、画像データ２に示すスーツケースについては、判断根拠となった箇所の評価値が高くなっていないことを表している。つまり、画像データ２に示すスーツケースについては、検出はされているものの、画像データ１に示すスーツケースに比べ検出の根拠があまり強くないことを表している。したがって、画像データ２に示すスーツケースについては、属性判定モデルの学習が不足している可能性があるということが分かる。つまり、画像データ１のヒートマップと画像データ２のヒートマップとを比較することにより、画像データ１に示すスーツケースに比べ、画像データ２に示すスーツケースについての学習データを用いて、属性判定モデルを改善することが有効であるということが分かる。

【0040】

単純に対象物体が検出されているか否かを分析して、学習データとして用いるべきデータを特定するとする。この場合には、画像データ１及び画像データ２のどちらからもスーツケースは検出されているため、画像データ１に示すスーツケース及び画像データ２に示すスーツケースは学習データとして用いるべきデータとして特定されない。
しかし、実施の形態１に係る画像判定装置１０を用いることにより、画像データ２に示すスーツケースについての学習データを用いることが有効であると特定することが可能である。
また属性判定モデルとして、画像データ２の特徴を持つ学習データの学習が不足していることが確認できる。そのため本実施の形態の出力結果により、画像データ２の特徴を持つ学習データを追加し属性判定モデルを追加学習するように、構成することができる。

【0041】

図４及び図５の例では、異なるタイプのスーツケースのうちどちらについて学習させるべきかが判断された。このように同じ種類であるが特徴の異なる対象物体について、どの特徴の対象物体について学習させるべきか判断することが可能である。また、これに限らず、対象物体の撮像された向きの違い、形状の違い、オクルージョンの有無といった様々なケースについて、学習させるべき対象を特定することが可能である。また、複数の種類の物体を検出し、属性を判定する属性判定モデルの場合には、どの種類に関して学習させるべきかを判断することも可能である。

【0042】

なお、設定値は、比較される複数の画像データの各画素の評価値の最大値に近い値であることが望ましい。設定値がこの最大値に近い値であれば、比較される各画像データの評価値の最大値が正規化によって隠れてしまうことがなく、かつ、正規化して得られた活性度が０に近い範囲に集中することなく、０から１の範囲でばらつかせることができる。その結果、画像データにおける判断根拠となった箇所の反応の強さの比較を適切に行うことができる。

【0043】

＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。

【0044】

図６を参照して、変形例１に係る画像判定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、画像判定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

【0045】

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

【0046】

＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

【0047】

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

【0048】

実施の形態２．
実施の形態２では、適切な設定値を特定する方法を説明する。実施の形態２では、実施の形態１と同一の点については説明を省略する。

【0049】

＊＊＊構成の説明＊＊＊
図７を参照して、実施の形態２に係る画像判定装置１０の構成を説明する。
画像判定装置１０は、機能構成要素として、設定値特定部２６を備える点が図１に示す画像判定装置１０と異なる。設定値特定部２６の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。

【0050】

＊＊＊動作の説明＊＊＊
図８を参照して、実施の形態２に係る画像判定装置１０の動作を説明する。
実施の形態２に係る画像判定装置１０の動作手順は、実施の形態２に係る画像判定方法に相当する。また、実施の形態２に係る画像判定装置１０の動作を実現するプログラムは、実施の形態２に係る画像判定プログラムに相当する。

【0051】

ステップＳ２１の処理は、図２のステップＳ１１の処理と同じである。

【0052】

ステップＳ２２からステップＳ２５の処理が、属性判定モデルを生成する際に学習用に用いられた複数の画像データである複数の学習データそれぞれを対象として実行される。

【0053】

（ステップＳ２２：画像取得処理）
画像取得部２１は、対象の学習データを取得する。
具体的には、複数の学習データのうち未だ選択されていない学習データをストレージ１３から読み出す。複数の学習データは、ストレージ１３に記憶されているものとする。

【0054】

ステップＳ２３からステップＳ２４の処理は、図２のステップＳ１４からステップＳ１５の処理と同様である。つまり、ステップＳ２３では、モデル処理部２２が属性判定モデルを用いて対象の学習データに含まれる対象物体を検出する。ステップＳ２４では、評価値計算部２３が対象の学習データにおける各画素の評価値を計算する。

【0055】

（ステップＳ２５：最大値記録処理）
設定値特定部２６は、ステップＳ２４で計算された各画素の評価値のうち最大値を仮設定値としてメモリ１２に書き込む。

【0056】

（ステップＳ２６：設定値特定処理）
設定値特定部２６は、ステップＳ２５でメモリ１２に書き込まれた各学習データについての仮設定値のうち最大値を、設定値として特定する。

【0057】

つまり、設定値特定部２６は、属性判定モデルを生成する際に学習用に用いられた複数の学習データにおける各画素の評価値のうちの最大値を設定値として特定する。

【0058】

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る画像判定装置１０は、属性判定モデルを生成する際に学習用に用いられた複数の学習データを用いて設定値を特定する。属性判定モデルは、学習データに対して正しく特徴を取得できるようにパラメータ調整がされている。したがって、学習データを用いて設定値を特定することにより、画像データにおける判断根拠となった箇所の反応の強さの比較に適した設定値を特定することが可能である。

【0059】

特に、実施の形態２に係る画像判定装置１０は、複数の学習データにおける各画素の評価値のうちの最大値を設定値として特定する。複数の学習データにおける各画素の評価値のうちの最大値は、属性判定モデルを用いて処理される画像データの各画素の評価値の最大値に近い値となる可能性が高い。したがって、画像データにおける判断根拠となった箇所の反応の強さの比較に適した設定値を特定することが可能である。

【0060】

＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、属性判定モデルが１種類の物体を対象物体として検出する場合を想定して説明した。しかし、属性判定モデルが２種類以上の物体を対象物体として検出する場合もある。

【0061】

図９を参照して、変形例３に係る画像判定装置１０の動作を説明する。
変形例３に係る画像判定装置１０の動作は、ステップＳ２４からステップＳ２５の処理が、対象物体の各種類を対象として実行される点が図８に示す実施の形態２に係る画像判定装置１０の動作と異なる。つまり、属性判定モデルが２種類以上の物体を対象物体として検出する場合には、対象物体の種類毎に評価値を計算して、評価値の最大値を特定する。

【0062】

＜変形例４＞
実施の形態２では、複数の学習データにおける各画素の評価値のうちの最大値を設定値として特定した。しかし、一部の画素の評価値だけが突出して大きい値となってしまう可能性がある。この場合に、最大値を設定値としてしまうと、ほとんどの値が０に近い値となり、反応の強さの比較を適切に行うことができない可能性がある。
そこで、設定値特定部２６は、複数の学習データにおける各画素の評価値から外れ値を除いて残った残り値のうちの最大値を設定値として特定してもよい。外れ値は、検定統計量を用いる方法と、スミルノフ・グラブス検定を用いる方法といった既存の方法によって検出することができる。

【0063】

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

【符号の説明】

【0064】

１０ 画像判定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ モデル処理部、２３ 評価値計算部、２４ 活性度計算部、２５ 表示部、２６ 設定値特定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】