特許 6958719 画像解析装置、画像解析方法および画像解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6958719

(24)【登録日】2021年10月11日

(45)【発行日】2021年11月2日

(54)【発明の名称】画像解析装置、画像解析方法および画像解析プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211021BHJP

【ＦＩ】

   G06T7/00 350B

【請求項の数】9

【全頁数】20

(21)【出願番号】特願2020-504502(P2020-504502)

(86)(22)【出願日】2018年3月5日

(86)【国際出願番号】JP2018008405

(87)【国際公開番号】WO2019171440

(87)【国際公開日】20190912

【審査請求日】2020年8月27日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】白石 壮馬

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１２−０８３９３８（ＪＰ，Ａ）

【文献】 特開２０１６−０６２２５３（ＪＰ，Ａ）

【文献】 特開２０１７−１５６８８６（ＪＰ，Ａ）

【文献】 桑原 周太郎 他 ，形の詳細を考慮した，手描きスケッチによる３Ｄモデル検索，Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２０１７ 予稿集 ［ＤＶＤ−ＲＯＭ］，日本，2017年06月24日，pp.8-15

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像と前記画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成する生成部と、
生成された類似組を用いて所定の認識モデルが前記生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な前記所定の認識モデルのパラメータを学習する学習部とを備える
ことを特徴とする画像解析装置。

【請求項2】

学習データに含まれる画像内の認識に使用される領域を認識領域として特定する特定部を備え、
学習部は、生成された類似組に含まれる各画像内の特定された認識領域を用いて学習する
請求項１記載の画像解析装置。

【請求項3】

学習部は、生成された類似組に含まれる各画像内の特定された認識領域のうち画像間で重複する認識領域を除いて所定の認識モデルのパラメータを学習する
請求項２記載の画像解析装置。

【請求項4】

複数の学習データの類似度を判定する判定部を備え、
生成部は、判定された類似度に基づいて類似組を生成する
請求項１から請求項３のうちのいずれか１項に記載の画像解析装置。

【請求項5】

学習データに含まれる画像の特徴量を抽出する抽出部を備え、
判定部は、複数の学習データからそれぞれ抽出された特徴量間の距離に基づいて前記複数の学習データの類似度を判定する
請求項４記載の画像解析装置。

【請求項6】

学習データは、前記学習データに含まれる画像に表示されている認識対象の物体が属するカテゴリを示す情報を含み、
判定部は、複数の学習データからそれぞれ抽出された特徴量に基づいて前記複数の学習データがそれぞれ示す認識対象の物体がそれぞれ属する複数のカテゴリの類似度を判定する
請求項４記載の画像解析装置。

【請求項7】

生成部は、各画像に表示されている認識対象の物体が属するカテゴリが類似する学習データ同士の組を類似組として生成し、
学習部は、所定の認識モデルが生成された類似組に含まれる各認識対象の物体がそれぞれ属するカテゴリをそれぞれ認識可能な前記所定の認識モデルのパラメータを学習する
請求項６記載の画像解析装置。

【請求項8】

画像と前記画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成し、
生成された類似組を用いて所定の認識モデルが前記生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な前記所定の認識モデルのパラメータを学習する
ことを特徴とする画像解析方法。

【請求項9】

コンピュータに、
画像と前記画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成する生成処理、および
生成された類似組を用いて所定の認識モデルが前記生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な前記所定の認識モデルのパラメータを学習する学習処理
を実行させるための画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法および画像解析プログラムに関する。

【背景技術】

【0002】

カメラ等の撮像装置で取得された画像内の対象物体を認識する一般的な物体認識技術が開発されている。例えば、非特許文献１には、多層ニューラルネットワークを用いて学習および識別を行う物体認識技術が記載されている。

【0003】

非特許文献１に記載されている物体認識技術における学習では、対象物体の外観を表す特徴量のうち、識別に有効な特徴量が抽出される。また、非特許文献１に記載されている物体認識技術における識別では、学習において抽出された特徴量と同種の特徴量が、属するカテゴリが未知である対象物体が表示されている画像から抽出される。

【0004】

次いで、属するカテゴリが未知である対象物体が表示されている画像から抽出された特徴量と学習結果とに基づいて、対象物体が属するカテゴリを示すスコアまたは確率が特定される。

【0005】

非特許文献１に記載されている物体認識技術における学習では、多数のカテゴリが存在する場合、対象物体が属するカテゴリと類似しないカテゴリと比べて、対象物体が属するカテゴリと類似するカテゴリの識別に有効な特徴量が得られにくいという問題がある。類似するカテゴリの識別に有効な特徴量が得られないと、対象物体の認識率が低下する。

【0006】

特許文献１には、上記の問題を解決する、複数のモデル画像が類似している場合であっても正しく物体を認識できる画像識別装置が記載されている。特許文献１に記載されている画像識別装置は、以下に説明する特徴点マッチング方法で物体を認識する。

【0007】

特許文献１に記載されている画像識別装置は、予めデータベースに格納されている画像から特徴点および特徴量を抽出する。また、特許文献１に記載されている画像識別装置は、データベースに格納されている画像からの抽出方法と同様の方法で識別対象の画像から特徴点および特徴量を抽出する。

【0008】

次いで、特許文献１に記載されている画像識別装置は、データベースに格納されている画像から得られた特徴量と、識別対象の画像から得られた特徴量とが所定値以上の類似度を有している場合、特徴量が抽出された特徴点同士を対応付ける。対応付けの結果に基づいて、特許文献１に記載されている画像識別装置は、識別対象の画像に表示されている物体を識別する。

【0009】

特許文献１に記載されている画像識別装置は、識別対象の画像から得られる特徴点のうち識別対象の画像に表示されている物体が属するカテゴリと類似するカテゴリとの相関が低い特徴点を用いて、対応付けの結果に重みを付与する。

【0010】

対応付けの結果に重みを付与することによって、特許文献１に記載されている画像識別装置は、識別対象の画像に表示されている物体が属するカテゴリと類似するカテゴリを精度よく見分けることができる。すなわち、特許文献１に記載されている画像識別装置は、対象物体の認識率を向上させることができる。

【0011】

また、非特許文献２には、画像から「キーポイント」と呼ばれる特徴点を抽出し、「特徴量記述」を計算するスケール不変特徴変換という手法が記載されている。

【0012】

また、非特許文献３には、グラフラプラシアンに関する内容が記載されている。また、非特許文献４には、オブジェクトの分類精度を大きく損なわずに位置検出精度を向上させることができるクラスアクティベーションマップ技術が記載されている。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特開２００９−１１６３８５号公報

【非特許文献】

【0014】

【非特許文献1】Karen Simonyan, and Andrew Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," In ICLR, 2015.

【非特許文献2】David G. Lowe, "Distinctive Image features from Scale-Invariant Keypoints," International Journal of Computer Vision, 2004, 60(2), pages 91-110.

【非特許文献3】Andrew Y. Ng, Michale I. Jordan, and Yair Weiss, "On Spectral Clustering: Analysis and an algorithm," In Advances in Neural Information Processing Systems 14, 2001.

【非特許文献4】B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba, "Learning Deep Features for Discriminative Localization," Proc CVPR, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0015】

特許文献１に記載されている対応付けの結果に重みを付与する方法は、特徴点マッチング方法以外の方法には適用されない。また、特徴点を抽出し、かつ重みを付与する認識方法は負荷が重いため、より容易に画像に表示されている対象物体を認識できる方法が求められている。

【0016】

［発明の目的］
そこで、本発明は、上述した課題を解決する、画像に表示されている認識対象の物体を高い精度でより容易に認識できる画像解析装置、画像解析方法および画像解析プログラムを提供することを１つの目的とする。

【課題を解決するための手段】

【0017】

本発明による画像解析装置は、画像と画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成する生成部と、生成された類似組を用いて所定の認識モデルが生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な所定の認識モデルのパラメータを学習する学習部とを備えることを特徴とする。

【0018】

本発明による画像解析方法は、画像と画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成し、生成された類似組を用いて所定の認識モデルが生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な所定の認識モデルのパラメータを学習することを特徴とする。

【0019】

本発明による画像解析プログラムは、コンピュータに、画像と画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成する生成処理、および生成された類似組を用いて所定の認識モデルが生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な所定の認識モデルのパラメータを学習する学習処理を実行させることを特徴とする。

【発明の効果】

【0020】

本発明によれば、画像に表示されている認識対象の物体を高い精度でより容易に認識できる。

【図面の簡単な説明】

【0021】

【図1】本発明による画像解析装置の第１の実施形態の構成例を示すブロック図である。

【図2】第１の実施形態におけるカテゴリ間の類似度を表す行列の例を示す説明図である。

【図3】対象識別装置３００の構成例を示すブロック図である。

【図4】第１の実施形態の画像解析装置１００による特徴量学習処理の動作を示すフローチャートである。

【図5】本発明による画像解析装置の第２の実施形態の構成例を示す説明図である。

【図6】第２の実施形態の注目領域特定手段２７０が特定する注目領域の例を示す説明図である。

【図7】第２の実施形態の第２特徴量学習手段２６０による注目領域が用いられた学習の例を示す説明図である。

【図8】第２の実施形態の画像解析装置２００による特徴量学習処理の動作を示すフローチャートである。

【図9】本発明による画像解析装置のハードウェア構成例を示す説明図である。

【図10】本発明による画像解析装置の概要を示すブロック図である。

【発明を実施するための形態】

【0022】

実施形態１．
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による画像解析装置の第１の実施形態の構成例を示すブロック図である。図１に示す画像解析装置１００は、特徴量学習技術を提供する装置である。

【0023】

なお、図１は、第１の実施形態の画像解析装置の構成の理解を容易にすることを目的とする図である。第１の実施形態の画像解析装置の構成は、図１に示す構成に限定されない。

【0024】

図１に示す画像解析装置１００は、学習データ保持手段１１０と、第１特徴量抽出手段１２０と、類似度判定手段１３０と、類似組生成手段１４０と、類似組学習データ保持手段１５０と、第２特徴量学習手段１６０とを備えている。

【0025】

学習データ保持手段１１０は、認識モデルの学習に使用されるデータである学習データを保持する機能を有する。学習データ保持手段１１０は、例えば、画像と画像に表示されている対象物体が属するカテゴリを示すラベルとの組を学習データとして保持する。

【0026】

学習データ保持手段１１０が保持する画像は、例えば、ＲＧＢ画像、グレースケール画像、または赤外線画像である。また、学習データ保持手段１１０は、他の種類の画像を保持してもよい。

【0027】

また、学習データ保持手段１１０は、上記の組の代わりに数値と数値が示す対象物体が属するカテゴリを示すラベルとの組を学習データとして保持してもよい。本実施形態では、学習データ保持手段１１０が画像を保持する場合を例に説明する。

【0028】

第１特徴量抽出手段１２０は、学習データ保持手段１１０が保持する画像から特徴量（以下、第１特徴量という。）を抽出する機能を有する。例えば、第１特徴量抽出手段１２０は、非特許文献１に記載されている方法と同様に、対象物体の外観を表す特徴量を第１特徴量として抽出してもよい。また、第１特徴量抽出手段１２０は、非特許文献２に記載されている特徴点マッチングを用いて第１特徴量を抽出してもよい。

【0029】

類似度判定手段１３０は、第１特徴量抽出手段１２０により抽出された学習データ保持手段１１０が保持する画像ごとの第１特徴量に基づいて、学習データ保持手段１１０が保持する画像間の類似度を判定する機能を有する。

【0030】

学習データ保持手段１１０が保持する画像間の類似度を判定するために、類似度判定手段１３０は、例えば、第１特徴量から求められる特徴空間内の距離に基づいて類似度を判定する方法を用いる。

【0031】

また、類似度判定手段１３０は、学習データ保持手段１１０が保持する画像に表示されている対象物体が属するカテゴリ間の類似度を判定する機能を有する。例えば、類似度判定手段１３０は、第１特徴量抽出手段１２０が抽出した第１特徴量に基づいて、学習データ保持手段１１０が保持する画像に対して識別処理を実行する。識別処理の実行結果に基づいて、類似度判定手段１３０は、カテゴリ間の類似度を判定する。

【0032】

また、類似度判定手段１３０による画像に表示されている対象物体が属するカテゴリ間の類似度の判定には、例えば、以下の方法が用いられてもよい。

【0033】

＜第１カテゴリ間類似度判定方法＞
表示されている対象物体が、M 種類のカテゴリのうち、i 番目のカテゴリC_iに属する学習データ保持手段１１０が保持する画像をx ∈C_iとする。

【0034】

また、画像x から第１特徴量抽出手段１２０により抽出された第１特徴量と予め学習された識別器とに基づいて得られるカテゴリC_j(j=1, ・・・,M) らしさをp_cj(x)とすると、以下の要素を(i,j) 要素とするM ×M の行列S が求められる。

【0035】

S_i,j = Σ_{x ∈Ci}{p_cj(x)} ・・・式（１）

【0036】

なお、行列S が求められる際に使用される識別器は、例えば、ロジスティック回帰識別器である。上記の行列S を用いて、以下の行列D が求められる。

【0037】

D = (S+S^T)/2 ・・・式（２）

【0038】

式（２）における行列D の(i,j) 要素は、カテゴリC_iとカテゴリC_jの類似度を表す。上記の方法で求められる行列D の例を図２に示す。図２は、第１の実施形態におけるカテゴリ間の類似度を表す行列の例を示す説明図である。

【0039】

図２に示す行列D は、M=3 の時の行列である。また、図２に示すA 〜C は、カテゴリの種類を表す。図２に示すように、例えば、カテゴリA とカテゴリB の類似度は、「0.3 」である。以上の方法で、類似度判定手段１３０は、カテゴリ間の類似度を判定できる。

【0040】

＜第２カテゴリ間類似度判定方法＞
類似度判定手段１３０は、例えば非特許文献２に記載されている特徴点マッチングを用いて、表示されている対象物体が所定のカテゴリに属する画像と、表示されている対象物体が所定のカテゴリ以外の別のカテゴリに属する画像とのマッチングを行う。

【0041】

マッチングの度合いが所定の閾値以上となる特徴点が得られた場合、類似度判定手段１３０は、所定のカテゴリに対して、上記の別のカテゴリが類似すると判定できる。

【0042】

類似組生成手段１４０は、学習データ保持手段１１０が保持する組に対して類似組を生成する機能を有する。例えば、類似組生成手段１４０は、類似度判定手段１３０で得られた画像間の類似度に基づいて画像の類似組を生成する。

【0043】

画像の類似組の生成には、例えば、学習データ保持手段１１０が保持する所定の画像から第１特徴量抽出手段１２０により抽出された第１特徴量と、学習データ保持手段１１０が保持する所定の画像以外の別の画像から第１特徴量抽出手段１２０により抽出された第１特徴量との距離が用いられる。類似組生成手段１４０は、上記の距離が閾値未満である画像同士の組を、画像の類似組として生成する。

【0044】

また、類似組生成手段１４０は、例えば、学習データ保持手段１１０が保持する各画像に対して、第１特徴量抽出手段１２０により抽出された第１特徴量と、学習データ保持手段１１０が保持する所定の画像から第１特徴量抽出手段１２０により抽出された第１特徴量との距離をそれぞれ算出する。

【0045】

次いで、類似組生成手段１４０は、算出された距離が短い順に１つ以上の任意の数の画像を選択する。類似組生成手段１４０は、所定の画像と、選択された各画像とを含む組を画像の類似組として生成してもよい。

【0046】

また、類似組生成手段１４０は、類似度判定手段１３０で得られた、表示されている対象物体が属するカテゴリ間の類似度に基づいてカテゴリの類似組を生成する。類似組生成手段１４０は、例えば、上記のいずれかのカテゴリ間類似度判定方法に基づいてカテゴリ間の類似度を判定する。

【0047】

次いで、類似組生成手段１４０は、判定されたカテゴリ間の類似度に基づいてカテゴリの類似組を生成する。なお、カテゴリの類似組は、以下の方法で生成されてもよい。

【0048】

＜カテゴリの類似組の生成方法＞
類似組生成手段１４０は、全M 種類のカテゴリ間の類似度を表すM ×M の行列D に対して、非特許文献３に記載されているスペクトラルクラスタリングを適用することによって、M 種類のカテゴリをK 個の組に分ける（K はクラスタ数）。

【0049】

類似組生成手段１４０は、分けられた組に含まれるカテゴリ同士を類似するカテゴリとみなし、分けられた組をカテゴリの類似組として生成する。

【0050】

また、類似組生成手段１４０は、K₁,K₂,・・・,K_u のようにu 個のクラスタ数を使用してクラスタリングを適用してもよい。u 個のクラスタ数が使用されると、M 種類のカテゴリが、カテゴリの類似組に階層的に分けられる。

【0051】

類似組学習データ保持手段１５０は、学習データ保持手段１１０が保持する学習データと、類似度判定手段１３０が判定した類似度と、類似組生成手段１４０が生成した類似組とに基づいて、類似組学習データを保持する機能を有する。

【0052】

類似組学習データは、例えば、類似組生成手段１４０が生成した類似組に基づいた、学習データ保持手段１１０が保持する学習データの組である。また、類似組学習データには、類似度判定手段１３０が判定した類似度が含まれてもよい。

【0053】

また、類似組学習データは、類似組生成手段１４０が生成したカテゴリの類似組に基づいた、学習データ保持手段１１０が保持する画像と、正解カテゴリを示すラベルと、正解カテゴリに類似するカテゴリを示すラベルとを含む組でもよい。なお、正解カテゴリは、画像に表示されている対象物体が属するカテゴリである。

【0054】

第２特徴量学習手段１６０は、類似組学習データ保持手段１５０が保持する類似組学習データに基づいて、第２特徴量を学習する機能を有する。第２特徴量は、類似する各画像または類似する各カテゴリを高い精度で認識するために求められる特徴量である。

【0055】

第２特徴量は、例えば多層ニューラルネットワーク等の認識モデルのパラメータである。第２特徴量学習手段１６０は、例えば、以下の方法で第２特徴量を学習する。

【0056】

＜第２特徴量学習方法１＞
第２特徴量学習手段１６０は、例えば、多層ニューラルネットワークを用いる。また、類似組学習データ保持手段１５０は、類似組生成手段１４０が生成した画像の類似組を保持しているとする。

【0057】

第２特徴量学習手段１６０は、多層ニューラルネットワークの重みを更新する。第２特徴量学習手段１６０は、例えば多層ニューラルネットワークに入力された、類似組学習データ保持手段１５０が保持する画像の類似組に含まれ、かつ異なるカテゴリに関する画像の対から得られるそれぞれの第１特徴量間の距離が長くなるように重みを更新する。

【0058】

また、第２特徴量学習手段１６０は、多層ニューラルネットワークに入力された、類似組学習データ保持手段１５０が保持する画像の類似組に含まれ、かつ同一のカテゴリに関する画像の対から得られるそれぞれの第１特徴量間の距離が短くなるように重みを更新する。

【0059】

第２特徴量学習手段１６０は、上記のように重みを更新することによって得られる多層ニューラルネットワークが有する中間層の値を第２特徴量とする学習を行う。

【0060】

＜第２特徴量学習方法２＞
また、第２特徴量学習手段１６０は、例えば、類似組学習データ保持手段１５０が画像ごとにカテゴリの類似組を保持する場合、以下の学習を行ってもよい。

【0061】

全M カテゴリの識別を目的とした学習を行う場合、非特許文献１に記載されている多層ニューラルネットワークに対して、第２特徴量学習手段１６０は、表示されている対象物体がカテゴリC_iに属する画像x を入力する。画像x を入力することによって、第２特徴量学習手段１６０は、各カテゴリに対するスコアy(x)=[y₁(x),y₂(x),・・・,y_M(x)] をそれぞれ得る。

【0062】

次いで、第２特徴量学習手段１６０は、重みw=[s_Ci(C₁),s_Ci(C₂), ・・・,s_Ci(C_M)] を用いて、以下のようにy_w(x) を求める。

【0063】

y_w(x) = y(x) * w ・・・式（３）

【0064】

なお、式（３）における「* 」は、要素ごとの積を意味する。また、s_Ci(C_j) は、カテゴリC_iに対するカテゴリC_jの類似具合を示すスカラー値である。例えば、s_Ci(C_j) は、以下のように表記される。

【0065】

【数1】

【0066】

すなわち、s_Ci(C_j) は、カテゴリ間の類似度を表す。

【0067】

第２特徴量学習手段１６０は、y_w(x) を用いてsoftmax cross entropy 損失を求め、損失が小さくなるようにパラメータを更新することによって、多層ニューラルネットワークのパラメータを学習する。

【0068】

また、第２特徴量学習手段１６０は、y(x)およびw を用いて、以下のようにweighted_softmaxを求める。

【0069】

weighted_softmax(y(x)) = w * exp(y(x)) ・・・式（５）

【0070】

さらに、第２特徴量学習手段１６０は、画像x の表示されている対象物体が属するカテゴリC_jに対応するi 番目の要素が1 で、i 番目の要素以外の要素が0 となるようなラベルベクトルをt として、以下のLossを計算する。

【0071】

【数2】

【0072】

第２特徴量学習手段１６０は、式（６）で計算される損失Lossに基づいてパラメータを更新することによってパラメータを学習してもよい。また、カテゴリの類似組の生成時にu 個の階層的な類似組が生成されていた場合、多層ニューラルネットワークに対して、第２特徴量学習手段１６０は、それぞれの階層に対応するu 個の多層ニューラルネットワークのパラメータを学習してもよい。

【0073】

＜第２特徴量学習方法３＞
また、第２特徴量学習手段１６０は、例えば、以下のような学習を行ってもよい。

【0074】

まず、第２特徴量学習手段１６０は、同一の類似組学習データに含まれる学習データ、または同一の類似組学習データに含まれるカテゴリに属する学習データからZ 枚の画像x₁,x₂,・・・,x_z およびZ 個のラベルベクトルl₁,l₂,・・・,l_z を選択する。

【0075】

次に、第２特徴量学習手段１６０は、比率r₁,r₂,・・・,r_z を用いて、画像とラベルベクトルを以下のように新たに生成する。

【0076】

【数3】

【0077】

なお、使用される比率はランダムに選択されてもよい。第２特徴量学習手段１６０は、画像とラベルベクトルの生成を複数回行う。第２特徴量学習手段１６０は、生成された画像とラベルベクトルを含む新たな学習データを学習時の入力データとラベルデータとして用いることによって、多層ニューラルネットワークのパラメータを学習してもよい。

【0078】

次に、本実施形態の画像解析装置１００が学習した第２特徴量を用いて対象物体を識別する装置を図３に示す。図３は、対象識別装置３００の構成例を示すブロック図である。図３に示す対象識別装置３００は、本実施形態の画像解析装置１００が学習した第２特徴量を用いて対象物体を識別する。

【0079】

図３に示す対象識別装置３００は、取得手段３１０と、第１特徴量抽出手段３２０と、第２特徴量抽出手段３３０と、統合判定手段３４０とを備えている。

【0080】

取得手段３１０は、対象物体を示す認識対象の画像情報または音情報を取得する機能を有する。取得手段３１０は、ＲＧＢカメラ、デプスカメラ、赤外線カメラ、またはマイクロフォン等のセンサから、認識対象の情報を取得する。取得手段３１０は、取得された認識対象の情報を第１特徴量抽出手段３２０に入力する。

【0081】

また、取得手段３１０は、学習された第２特徴量を画像解析装置１００から取得する機能を有する。取得手段３１０は、取得された第２特徴量を第２特徴量抽出手段３３０に入力する。

【0082】

第１特徴量抽出手段３２０は、本実施形態の第１特徴量抽出手段１２０と同様の機能を有する。すなわち、第１特徴量抽出手段３２０は、取得手段３１０により取得された認識対象の情報から第１特徴量を抽出する。第１特徴量抽出手段３２０は、抽出された第１特徴量を統合判定手段３４０に入力する。

【0083】

第２特徴量抽出手段３３０は、入力された第２特徴量を用いて認識モデル（例えば、識別器）を生成する機能を有する。第２特徴量抽出手段３３０は、生成された認識モデルを統合判定手段３４０に入力する。

【0084】

統合判定手段３４０は、入力された第１特徴量と認識モデルとに基づいて、認識対象の情報に対して認識を行う機能を有する。

【0085】

統合判定手段３４０は、例えば第２特徴量に基づいて予め生成された識別器から、対象物体が各カテゴリに属する確率をそれぞれ得る。次いで、統合判定手段３４０は、識別器から得られた確率に基づいて、対象物体の認識を行う。

【0086】

また、第２特徴量抽出手段３３０は、特徴量Ａ（例えば、[aaaa]）と特徴量Ｂ（例えば、[bbbb]）とが結合された第２特徴量（例えば、[aaaabbbb]）を用いて予め識別器を生成する。統合判定手段３４０は、生成された識別器を用いて、対象物体の認識を行ってもよい。認識を行った後、統合判定手段３４０は、認識結果を出力する。

【0087】

［動作の説明］
以下、本実施形態の画像解析装置１００の特徴量を学習する動作を図４を参照して説明する。図４は、第１の実施形態の画像解析装置１００による特徴量学習処理の動作を示すフローチャートである。

【0088】

第１特徴量抽出手段１２０は、学習データ保持手段１１０が保持する学習データから第１特徴量を抽出する（ステップS101）。第１特徴量抽出手段１２０は、抽出された第１特徴量を類似度判定手段１３０に入力する。

【0089】

次いで、類似度判定手段１３０は、カテゴリ間の類似度を判定するか否かを判断する（ステップS102）。カテゴリ間の類似度を判定する場合（ステップS102におけるYes ）、類似度判定手段１３０は、入力された第１特徴量に基づいて、予め学習された識別器を用いて各学習データを識別する（ステップS103）。

【0090】

次いで、類似度判定手段１３０は、ステップS103で得られた各学習データの識別結果に基づいて、各学習データに含まれるカテゴリ間の類似度を判定する（ステップS104）。なお、各学習データの識別結果は、識別器が出力する。類似度判定手段１３０は、判定された類似度を類似組生成手段１４０に入力する。

【0091】

次いで、類似組生成手段１４０は、入力されたカテゴリ間の類似度に基づいて、類似度が高いカテゴリ同士を１つの組にまとめることによって、カテゴリの類似組を生成する（ステップS105）。カテゴリの類似組を生成した後、画像解析装置１００は、ステップS108の処理を行う。

【0092】

カテゴリ間の類似度を判定しない場合（ステップS102におけるNo）、類似度判定手段１３０は、各学習データ（例えば、画像）間の類似度を判定する方法を選択する。

【0093】

類似度判定手段１３０は、ステップS101で取得された第１特徴量間の距離に基づいて、学習データ保持手段１１０が保持する学習データ間の類似度を判定する（ステップS106）。類似度判定手段１３０は、判定された学習データ間の類似度を類似組生成手段１４０に入力する。

【0094】

次いで、類似組生成手段１４０は、入力された学習データ間の類似度に基づいて、類似度が高い学習データ同士を１つの組にまとめることによって、学習データの類似組を生成する（ステップS107）。学習データの類似組を生成した後、画像解析装置１００は、ステップS108の処理を行う。

【0095】

次いで、類似組学習データ保持手段１５０は、学習データ保持手段１１０が保持する学習データと、ステップS105またはステップS107で得られた類似組の情報に基づいて、類似組学習データを生成する（ステップS108）。類似組学習データ保持手段１５０は、生成された類似組学習データを保持する。

【0096】

次いで、第２特徴量学習手段１６０は、類似組学習データ保持手段１５０が保持する類似組学習データに基づいて、第２特徴量を学習する（ステップS109）。第２特徴量を学習した後、画像解析装置１００は、特徴量学習処理を終了する。

【0097】

［効果の説明］
本実施形態の画像解析装置１００は、学習データを保持する学習データ保持手段１１０と、学習データから第１特徴量を抽出する第１特徴量抽出手段１２０と、抽出された第１特徴量に基づいて誤認識されやすい複数のデータの類似度を判定する類似度判定手段１３０とを備える。

【0098】

また、本実施形態の画像解析装置１００は、類似度判定手段１３０が判定した類似度に基づいて類似組を生成する類似組生成手段１４０と、学習データと類似組とに基づいて生成される類似組学習データを保持する類似組学習データ保持手段１５０とを備える。また、本実施形態の画像解析装置１００は、類似組学習データに基づいて、第２特徴量を学習する第２特徴量学習手段１６０を備える。

【0099】

本実施形態の画像解析装置１００の類似組生成手段１４０は、類似性が高く誤認識されやすい画像の組およびカテゴリの組を生成するため、類似する各画像または類似する各カテゴリを高い精度で認識するために求められる特徴量を学習できる。

【0100】

実施形態２．
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。図５は、本発明による画像解析装置の第２の実施形態の構成例を示す説明図である。図５に示す画像解析装置２００は、特徴量学習技術を提供する装置である。

【0101】

なお、図５は、第２の実施形態の画像解析装置の構成の理解を容易にすることを目的とする図である。第２の実施形態の画像解析装置の構成は、図５に示す構成に限定されない。

【0102】

図５に示す画像解析装置２００は、学習データ保持手段２１０と、第１特徴量抽出手段２２０と、類似度判定手段２３０と、類似組生成手段２４０と、類似組学習データ保持手段２５０と、第２特徴量学習手段２６０と、注目領域特定手段２７０とを備えている。

【0103】

学習データ保持手段２１０、第１特徴量抽出手段２２０、類似度判定手段２３０、類似組生成手段２４０、および類似組学習データ保持手段２５０が有する各機能は、第１の実施形態の学習データ保持手段１１０、第１特徴量抽出手段１２０、類似度判定手段１３０、類似組生成手段１４０、および類似組学習データ保持手段１５０が有する各機能とそれぞれ同様である。

【0104】

注目領域特定手段２７０は、識別器が各画像に表示されている対象物体が属する各カテゴリを識別するために重視する画像内の領域である注目領域を特定する機能を有する。注目領域特定手段２７０は、学習データ保持手段２１０が保持する画像に対して第１特徴量抽出手段２２０により抽出された第１特徴量に基づいた識別が行われる際に、注目領域を特定する。

【0105】

図６は、第２の実施形態の注目領域特定手段２７０が特定する注目領域の例を示す説明図である。図６における上段には、人間、犬、花の各サンプル画像が示されている。すなわち、図６に示す例では、注目領域特定手段２７０は、人間、犬、花の３カテゴリを識別先の対象とする。

【0106】

また、図６に示す識別対象画像には、人間が表示されている。図６における下段の２列目に示すように、注目領域特定手段２７０は、識別対象画像に人間が表示されていると認識されるための注目領域を、顔、手、足に特定する。なお、図６に示す白色の円が、注目領域を表す。また、注目領域は、顔、手、足以外の部位に特定されてもよい。

【0107】

また、注目領域特定手段２７０は、図６における下段の３列目に示すように、人間が表示されている識別対象画像に犬が表示されていると認識されるための注目領域を、顔に特定する。その理由は、人間の顔と犬の顔が両者の中で比較的類似する部位であるためである。よって、注目領域は、顔以外の犬と類似する部位に特定されてもよい。

【0108】

また、注目領域特定手段２７０は、図６における下段の４列目に示すように、人間が表示されている識別対象画像に花が表示されていると認識されるための注目領域を、服の中の花柄の部分に特定する。また、注目領域は、花柄の部分以外の部分に特定されてもよい。注目領域特定手段２７０は、特定されたカテゴリごとの注目領域を示す情報を保持する。

【0109】

注目領域を特定するために、注目領域特定手段２７０は、例えば特徴点マッチングによる識別において、各カテゴリとマッチングが成功した特徴点の周辺のみを抽出する。

【0110】

また、多層ニューラルネットワークが識別器として使用される場合、注目領域特定手段２７０は、識別器が重視する領域を判定する手法に、例えば非特許文献４に記載されている手法を用いる。非特許文献４に記載されている手法が用いられると、多層ニューラルネットワークは、各カテゴリの出力に寄与している画像の位置を識別時に特定できる。

【0111】

第２特徴量学習手段２６０は、類似組学習データ保持手段２５０と注目領域特定手段２７０とを用いて第２特徴量を学習する機能を有する。例えば、第２特徴量学習手段２６０は、類似組学習データ保持手段２５０が保持するカテゴリの類似組と、注目領域特定手段２７０が有するカテゴリごとの注目領域を示す情報とに基づいて、第２特徴量を学習できる。

【0112】

具体的には、第２特徴量学習手段２６０は、カテゴリの類似組に含まれる各カテゴリの注目領域から、類似組に含まれる各カテゴリで共通する注目領域を除外した上で学習を行う。

【0113】

図７は、第２の実施形態の第２特徴量学習手段２６０による注目領域が用いられた学習の例を示す説明図である。図７に示す例でも、第２特徴量学習手段２６０は、人間、犬、花の３カテゴリを識別先の対象とする。

【0114】

類似組生成手段２４０が、予め人間と犬の２カテゴリが属する類似組を生成したとする。図７に示す人間が表示されている識別対象画像に対して、第２特徴量学習手段２６０は、識別対象画像に人間が表示されていると認識されるための注目領域と、犬が表示されていると認識されるための注目領域のうち、重複している領域であるAND 領域を得る。

【0115】

図７に示す例であれば、得られるAND 領域は、例えば人間と犬の中で比較的類似している部位である顔の領域である。AND 領域を得た後、第２特徴量学習手段２６０は、図７に示す加工後識別対象画像のように、AND 領域を所定の模様で塗り潰す。所定の模様で塗り潰すことによって、第２特徴量学習手段２６０は、AND 領域を学習の対象から除外する。

【0116】

または、第２特徴量学習手段２６０は、AND 領域を所定の模様で塗り潰す代わりにAND 領域から得られる第２特徴量を強制的に０にする。または、第２特徴量学習手段２６０は、AND 領域から得られる注目度の大きさに応じた確率を０にする。

【0117】

以上の処理を実行した後、第２特徴量学習手段２６０は、加工後識別対象画像における他の領域（例えば、体の部分）を用いて、第１の実施形態と同様に学習を行う。AND 領域が学習の対象から除外されているため、第２特徴量学習手段２６０は、表示されている対象物体が属するカテゴリがより高精度に識別されるために求められる第２特徴量を学習できる。

【0118】

また、本実施形態で学習された第２特徴量も、図３に示す対象識別装置３００で使用されてよい。対象識別装置３００は、第１の実施形態における識別方法と同様の方法で対象物体を識別できる。

【0119】

［動作の説明］
以下、本実施形態の画像解析装置２００の特徴量を学習する動作を図８を参照して説明する。図８は、第２の実施形態の画像解析装置２００による特徴量学習処理の動作を示すフローチャートである。

【0120】

第１特徴量抽出手段２２０は、学習データ保持手段２１０が保持する学習データから第１特徴量を抽出する（ステップS201）。第１特徴量抽出手段２２０は、抽出された第１特徴量を類似度判定手段２３０に入力する。

【0121】

次いで、類似度判定手段２３０は、入力された第１特徴量に基づいて、予め学習された識別器を用いて各学習データを識別する（ステップS202）。

【0122】

次いで、類似度判定手段２３０は、ステップS202で得られた各学習データの識別結果に基づいて、各学習データに含まれるカテゴリ間の類似度を判定する（ステップS203）。なお、各学習データの識別結果は、識別器が出力する。類似度判定手段２３０は、判定された類似度を類似組生成手段２４０に入力する。

【0123】

次いで、類似組生成手段２４０は、入力されたカテゴリ間の類似度に基づいて、類似度が高いカテゴリ同士を１つの組にまとめることによって、カテゴリの類似組を生成する（ステップS204）。

【0124】

次いで、注目領域特定手段２７０は、識別器が識別時に重視する領域である注目領域を、各学習データに含まれるカテゴリごとに特定する（ステップS205）。注目領域特定手段２７０は、特定されたカテゴリごとの注目領域を示す情報を保持する。

【0125】

次いで、類似組学習データ保持手段２５０は、学習データ保持手段２１０が保持する学習データと、ステップS204で類似組生成手段２４０が生成した類似組の情報に基づいて、類似組学習データを生成する（ステップS206）。類似組学習データ保持手段２５０は、生成された類似組学習データを保持する。

【0126】

次いで、第２特徴量学習手段２６０は、類似組学習データ保持手段２５０が保持する類似組学習データと、注目領域特定手段２７０が保持する注目領域を示す情報とに基づいて、第２特徴量を学習する（ステップS207）。第２特徴量を学習した後、画像解析装置２００は、特徴量学習処理を終了する。

【0127】

［効果の説明］
本実施形態の画像解析装置２００の注目領域特定手段２７０は、類似するカテゴリに表示されている対象物体がそれぞれ属する各画像における注目領域を特定する。次いで、第２特徴量学習手段２６０がカテゴリ間で共通の注目領域を除外することによって、より違いの大きい部分が優先して学習される。すなわち、本実施形態の画像解析装置２００は、類似するカテゴリにそれぞれ属する画像に表示されている対象物体の認識に有効な特徴量を学習できる。

【0128】

以下、各実施形態の画像解析装置１００、および画像解析装置２００のハードウェア構成の具体例を説明する。図９は、本発明による画像解析装置のハードウェア構成例を示す説明図である。

【0129】

図９に示す画像解析装置は、ＣＰＵ（Central Processing Unit）１０１と、主記憶部１０２と、通信部１０３と、補助記憶部１０４とを備える。また、ユーザが操作するための入力部１０５や、ユーザに処理結果または処理内容の経過を提示するための出力部１０６を備えてもよい。

【0130】

主記憶部１０２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１０２は、例えばＲＡＭ（Random Access Memory）である。

【0131】

通信部１０３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。

【0132】

補助記憶部１０４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、半導体メモリが挙げられる。

【0133】

入力部１０５は、データや処理命令を入力する機能を有する。入力部１０５は、例えばキーボードやマウス等の入力デバイスである。

【0134】

出力部１０６は、データを出力する機能を有する。出力部１０６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。

【0135】

また、図９に示すように、画像解析装置において、各構成要素は、システムバス１０７に接続されている。

【0136】

補助記憶部１０４は、例えば、第１特徴量抽出手段１２０、類似度判定手段１３０、類似組生成手段１４０、第２特徴量学習手段１６０、第１特徴量抽出手段２２０、類似度判定手段２３０、類似組生成手段２４０、第２特徴量学習手段２６０、および注目領域特定手段２７０を実現するためのプログラムを記憶している。

【0137】

また、主記憶部１０２は、例えば、学習データ保持手段１１０、類似組学習データ保持手段１５０、学習データ保持手段２１０、および類似組学習データ保持手段２５０の記憶領域として利用される。

【0138】

なお、画像解析装置１００、および画像解析装置２００は、ハードウェアにより実現されてもよい。例えば、画像解析装置１００は、内部に図１に示すような機能、または図５に示すような機能を実現するプログラムが組み込まれたＬＳＩ（Large Scale Integration）等のハードウェア部品が含まれる回路が実装されてもよい。

【0139】

また、画像解析装置１００、および画像解析装置２００は、図９に示すＣＰＵ１０１が図１に示す各構成要素が有する機能、または図５に示す各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。

【0140】

ソフトウェアにより実現される場合、ＣＰＵ１０１が補助記憶部１０４に格納されているプログラムを、主記憶部１０２にロードして実行し、画像解析装置１００、または画像解析装置２００の動作を制御することによって、各機能がソフトウェアにより実現される。

【0141】

また、図３に示す対象識別装置３００は、ハードウェアにより実現されてもよい。また、対象識別装置３００は、図９に示すＣＰＵ１０１が図３に示す各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。

【0142】

また、各構成要素の一部または全部は、汎用の回路（circuitry）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0143】

各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0144】

次に、本発明の概要を説明する。図１０は、本発明による画像解析装置の概要を示すブロック図である。本発明による画像解析装置１０は、画像と画像に表示されている認識対象の物体を示す情報とを含む複数の学習データのうち類似する学習データ同士の組である類似組を生成する生成部１１（例えば、類似組生成手段２４０、および類似組学習データ保持手段２５０）と、生成された類似組を用いて所定の認識モデルが生成された類似組に含まれる各画像に表示されている認識対象の物体をそれぞれ認識可能な所定の認識モデルのパラメータ（例えば、第２特徴量）を学習する学習部１２（例えば、第２特徴量学習手段２６０）とを備える。

【0145】

そのような構成により、画像解析装置は、画像に表示されている認識対象の物体を高い精度でより容易に認識できる。

【0146】

また、画像解析装置１０は、学習データに含まれる画像内の認識に使用される領域を認識領域として特定する特定部（例えば、注目領域特定手段２７０）を備え、学習部１２は、生成された類似組に含まれる各画像内の特定された認識領域を用いて学習してもよい。

【0147】

そのような構成により、画像解析装置は、画像に表示されている認識対象の物体をより高い精度で認識できる。

【0148】

また、学習部１２は、生成された類似組に含まれる各画像内の特定された認識領域のうち画像間で重複する認識領域を除いて所定の認識モデルのパラメータを学習してもよい。

【0149】

そのような構成により、画像解析装置は、画像に表示されている認識対象の物体をより高い精度で認識できる。

【0150】

また、画像解析装置１０は、複数の学習データの類似度を判定する判定部（例えば、類似度判定手段１３０、または類似度判定手段２３０）を備え、生成部１１は、判定された類似度に基づいて類似組を生成してもよい。

【0151】

そのような構成により、画像解析装置は、類似度が指定された値よりも高い複数の学習データを入力として学習を実行できる。

【0152】

また、画像解析装置１０は、学習データに含まれる画像の特徴量を抽出する抽出部（例えば、第１特徴量抽出手段１２０、または第１特徴量抽出手段２２０）を備え、判定部は、複数の学習データからそれぞれ抽出された特徴量間の距離に基づいて複数の学習データの類似度を判定してもよい。

【0153】

そのような構成により、画像解析装置は、画像の特徴量に基づいて複数の学習データの類似度を判定できる。

【0154】

また、学習データは、学習データに含まれる画像に表示されている認識対象の物体が属するカテゴリを示す情報を含み、判定部は、複数の学習データからそれぞれ抽出された特徴量に基づいて複数の学習データがそれぞれ示す認識対象の物体がそれぞれ属する複数のカテゴリの類似度を判定してもよい。

【0155】

そのような構成により、画像解析装置は、認識対象の各物体がそれぞれ属するカテゴリが類似する複数の学習データを入力として学習を実行できる。

【0156】

また、生成部１１は、各画像に表示されている認識対象の物体が属するカテゴリが類似する学習データ同士の組を類似組として生成し、学習部１２は、所定の認識モデルが生成された類似組に含まれる各認識対象の物体がそれぞれ属するカテゴリをそれぞれ認識可能な所定の認識モデルのパラメータを学習してもよい。

【0157】

そのような構成により、画像解析装置は、類似する画像に表示されている認識対象の各物体がそれぞれ属するカテゴリを高い精度で認識できる。

【0158】

また、学習部１２は、学習時に類似するカテゴリ間のみの誤りに対する損失を強調するように重みづけを行ってもよい。また、判定部は、カテゴリ識別における各カテゴリらしさの積算値に基づいて複数のカテゴリの類似度を判定してもよい。

【0159】

また、画像解析装置１０は、学習データを保持する学習データ保持部（例えば、学習データ保持手段１１０、または学習データ保持手段２１０）を備えてもよい。また、画像解析装置１０は、学習データ保持部が保持する学習データと、生成部１１が生成する類似組に基づいて生成される、類似組を示す情報を有する学習データを保持する類似組学習データ保持部（例えば、類似組学習データ保持手段１５０、または類似組学習データ保持手段２５０）を備えてもよい。

【0160】

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0161】

１０、１００、２００ 画像解析装置
１１ 生成部
１２ 学習部
１０１ ＣＰＵ
１０２ 主記憶部
１０３ 通信部
１０４ 補助記憶部
１０５ 入力部
１０６ 出力部
１０７ システムバス
１１０、２１０ 学習データ保持手段
１２０、２２０、３２０ 第１特徴量抽出手段
１３０、２３０ 類似度判定手段
１４０、２４０ 類似組生成手段
１５０、２５０ 類似組学習データ保持手段
１６０、２６０ 第２特徴量学習手段
２７０ 注目領域特定手段
３００ 対象識別装置
３１０ 取得手段
３３０ 第２特徴量抽出手段
３４０ 統合判定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】