特許 7208479 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-11

(45)【発行日】2023-01-19

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230112BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 5

(21)【出願番号】P 2018190587

(22)【出願日】2018-10-09

(65)【公開番号】P2020060883

(43)【公開日】2020-04-16

【審査請求日】2021-06-10

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】宮▲崎▼ 信浩

(72)【発明者】

【氏名】馬場 孝之

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１８－１１６５８９（ＪＰ，Ａ）

【文献】特開２０１６－０１８５３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｎ ２０／００－２０／２０

(57)【特許請求の範囲】

【請求項1】

入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出する部位抽出部と、
抽出した前記部分領域の画像データに対して画像変換処理を施す部位変換部と、
画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成する部位合成部と
前記入力画像に対する認識対象の領域の画像データを前記入力画像から抽出する領域抽出部と、
前記認識対象の領域の画像の各画素を、Ｎをｙ軸方向の分割数、Ｍをｘ軸方向の分割数とすると、Ｎ×Ｍの各領域に分割することで、前記認識対象の領域を前記部分領域に分割する領域分割部を備え、
前記部位抽出部は、分割された前記部分領域に基づいて、前記認識対象の領域の画像データから前記部分領域の画像データを抽出する
情報処理装置。

【請求項2】

前記部位変換部は、前記部分領域の画像データに対して、拡大、縮小、平行移動、回転、カラー変化、コントラスト変化、又はこれらの組み合わせにより、画像変換処理を行うことを特徴とする請求項１記載の情報処理装置。

【請求項3】

前記認識対象は人であって、前記特定の部位は姿勢推定処理により推定された人の何れかの部位であることを特徴とする請求項１乃至２のいずれかに記載の情報処理装置。

【請求項4】

部位抽出部、部位変換部、部位合成部、領域抽出部、及び領域分割部を有する情報処理装置における情報処理方法であって、
前記部位抽出部により、入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出し、
前記部位変換部により、抽出した前記部分領域の画像データに対して画像変換処理を施し、
前記部位合成部により、画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成し、
前記領域抽出部により、前記入力画像に対する認識対象の領域の画像データを前記入力画像から抽出し、
前記領域分割部により、前記認識対象の領域の画像の各画素を、Ｎをｙ軸方向の分割数、Ｍをｘ軸方向の分割数とすると、Ｎ×Ｍの各領域に分割することで、前記認識対象の領域を前記部分領域に分割し、
前記部位抽出部による前記入力画像からの抽出は、分割された前記部分領域に基づいて行われる
ことを特徴とする情報処理方法。

【請求項5】

入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出し、
抽出した前記部分領域の画像データに対して画像変換処理を施し、
画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成し、
前記入力画像に対する認識対象の領域の画像データを前記入力画像から抽出し、
前記認識対象の領域の画像の各画素を、Ｎをｙ軸方向の分割数、Ｍをｘ軸方向の分割数とすると、Ｎ×Ｍの各領域に分割することで、前記認識対象の領域を前記部分領域に分割し、
前記入力画像に対する認識対象の特定の部位に対応する部分領域の画像データの前記入力画像から抽出は、分割された前記部分領域に基づいて行う
処理をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

昨今、機械学習を利用して、画像認識が行われる場合がある。例えば、複数の人物の画像を学習データとしてメモリなどに記憶しておき、学習データを基に人物と判定する識別器を生成し、監視カメラで撮像された画像を識別器により判定することで、撮像された画像が人物であるかを認識する、などである。

【0003】

そのため、例えば、画像認識装置では、できるだけ多くの学習データがあった方が、画像認識の精度が高くなり、撮像画像に写っている人物が誰であるかを正確に認識することが可能となる。

【0004】

学習データとしては、例えば、認識対象が写っている画像と、その画像に写っている対象が何であるかを表すラベルとをペアにして、メモリなどに記憶する場合がある。例えば、車の画像に「車」というラベルを付したり、人の画像に「人」というラベルを付したりする、などである。例えば、インターネットの画像検索では、このようなラベル付けによって、検索用語に対応する画像を表示させることが可能となる。

【0005】

学習データの作成や収集は、人手による場合、そのコストが膨大となる。そのため、人手によらず、効率的に、学習データの作成や収集が行われる場合がある。

【0006】

このような技術分野に関して、例えば、以下がある。すなわち、文字や図形等の原図パターンに共通に含まれる代表的な部分パターンに対して所定の幾何変換処理した結果を標準化部分パターンとして登録し、入力された原図パターンの一部を標準化部分パターンに置き換える幾何変換パターンを生成するパターン生成装置がある。

【0007】

この技術によれば、人為的な整形処理を必要最小限に抑えて高品質なパターンを効率良く生成することができる、とされる。

【0008】

また、各クラスタに属する領域画像の数に基づいたクラスタに対する領域画像の分類状態から、領域画像の分布の少ないクラスタを特定し、そのクラスタに属する領域画像を画像データから除去して学習データを作成する学習データ作成装置がある。

【0009】

この技術によれば、ウェブ上から収集した画像データから人手を介さずに学習データを自動作成することができる、とされる。

【0010】

さらに、ウェブから花画像を収集し、収集した花画像に対して回転と反転操作を加え、全体で１００クラス約３００万枚からなる花画像データセットを構築し、このデータセットに対して、畳み込みニューラルネットワークを用いて分類を行い、その精度を調査したものがある。

【0011】

実験の結果、このようなデータ拡張を行うことで分類精度が２．８％向上し、花の特徴を捉えた絵であっても、正しく分類できることが確かめられた、とされる。

【0012】

さらに、画像を平行移動させたり、スケールを変化させたり、色変化させたり、或いは、コントラストを変化させたりすることで、画像変換を行って学習データを拡張させる技術もある。

【先行技術文献】

【特許文献】

【0013】

【文献】特開平９－３２６０３７号公報

【文献】特開２０１２－２２４１９号公報

【非特許文献】

【0014】

【文献】三浦健太、喜田拓也、“花画像データセットの構築と畳み込みニューラルネットワークによる分類”、DEIM Forum 2017 C4-3、2017

【文献】Alexey Dosovitskiy, Jost Tobias Springenberg and Thomas Brox、”Unsupervised feature leaning by augmenting single image”、arXiv、16 Feb 2014

【発明の概要】

【発明が解決しようとする課題】

【0015】

しかしながら、花画像に回転と反転操作を加えたり、画像を平行移動させたりしてデータ拡張を行う技術は、いずれも、画像全体に対して、処理を行う技術に過ぎないため、収集できる学習データのバリエーションは限られる。

【0016】

また、原図パターンに共通に含まれる代表的な部分パターンに対して所定の幾何変換処理する技術も、文字や図形に共通に含まれる「代表的」な部分パターンに対して処理を行うに過ぎないため、収集できる学習データのバリエーションは限られる。

【0017】

そこで、一開示は、学習データのバリエーションを効率的に収集するようにした情報処理装置、情報処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0018】

一開示は、入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出する部位抽出部と、抽出した前記部分領域の画像データに対して画像変換処理を施す部位変換部と、画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成する部位合成部とを備える情報処理装置。

【発明の効果】

【0019】

一開示によれば、学習データのバリエーションを効率的に収集することが可能となる。

【図面の簡単な説明】

【0020】

【図1】図１は情報処理システムの構成例を表す図である。

【図2】図２（Ａ）は入力画像、図２（Ｂ）は領域抽出後の画像の例を夫々表す図である。

【図3】図３（Ａ）は領域分割の画像例、図３（Ｂ）は部位抽出後の画像例を夫々表す図である。

【図4】図４（Ａ）から図４（Ｃ）は部位変換後の画像例、図４（Ｄ）は認識対象の領域の画像から部分領域を除いた画像例を夫々表す図である。

【図5】図５（Ａ）から図５（Ｃ）は合成画像の例を表す図である。

【図6】図６は動作例を表すフローチャートである。

【図7】図７は領域抽出処理の例を表すフローチャートである。

【図8】図８は領域分割処理の例を表すフローチャートである。

【図9】図９（Ａ）は認識対象の領域の画像例、図９（Ｂ）はモデル画像の例、図９（Ｃ）は領域分割の例を夫々表す図である。

【図10】図１０は領域分割処理の例を表すフローチャートである。

【図11】図１１（Ａ）は認識対象の領域の画像例、図１１（Ｂ）は領域分割の例を夫々表す図である。

【図12】図１２は領域分割処理の例を表すフローチャートである。

【図13】図１３（Ａ）は認識対象の領域の画像例、図１３（Ｂ）は領域分割の例を夫々表す図である。

【図14】図１４は部位抽出処理の例を表すフローチャートである。

【図15】図１５（Ａ）から図１５（Ｃ）は抽出された部分領域の画像例を表す図である。

【図16】図１６は部位変換処理の例を表すフローチャートである。

【図17】図１７（Ａ）と図１７（Ｂ）は部位変換処理後の画像の例を表す図である。

【図18】図１８は部位合成処理の例を表すフローチャートである。

【図19】図１９は部位合成処理の例を表すフローチャートである。

【図20】図２０（Ａ）から図２０（Ｇ）は合成処理の例を表す図である。

【図21】図２１（Ａ）から図２１（Ｇ）は合成処理の例を表す図である。

【図22】図２２は情報処理装置のハードウェア構成例を表す図である。

【発明を実施するための形態】

【0021】

以下、本発明を実施するための形態について説明する。なお、以下の実施例は開示の技術を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0022】

［第１の実施の形態］
＜情報処理システムの構成例＞
図１は、情報処理システム１０の構成例を表す図である。

【0023】

情報処理システム１０は、情報処理装置１００と画像出力装置２００、記憶装置３００、及び表示装置４００を備える。

【0024】

情報処理装置１００は、例えば、画像出力装置２００から出力された画像（又は入力画像）の画像データから学習データを生成する。その際、情報処理装置１００は、入力画像のうち特定の部位を表す部分領域の画像データを抽出し、部分領域の画像データに対して、拡大や縮小、回転などの部位変換処理を施す。そして、情報処理装置１００は、部位変換処理後の画像データを、部分領域が抽出された元の入力画像の画像データに合成することで、学習データを生成する。このように、情報処理装置１００では、１枚の入力画像に対して、複数のバリエーションの画像を生成し、複数の画像の画像データを学習データとして生成する。学習データは、例えば、他の装置において、監視カメラで撮像された画像に対して、機械学習により画像認識が行われる際の学習データとして用いられる。情報処理装置１００は、例えば、学習データ拡張装置でもある。

【0025】

情報処理装置１００は、領域抽出部１１０と領域分割部１２０、部位抽出部１３０、部位変換部１４０、及び部位合成部１５０を備える。

【0026】

領域抽出部１１０は、画像出力装置２００から出力された画像（又は入力画像）の画像データに対して、認識対象の領域を推定（又は抽出）し、推定した認識対象の領域の画像データを抽出する。例えば、図２（Ａ）が入力画像のとき、領域抽出部１１０は、認識対象の領域として、図２（Ｂ）に示す「人」の領域を推定し、推定した「人」の領域の画像データを、入力画像の画像データから抽出する。領域抽出処理の例は、動作例で説明する。図１に戻り、領域抽出部１１０は、推定した領域の画像の画像データを領域分割部１２０へ出力する。

【0027】

領域分割部１２０は、領域抽出部１１０で抽出された認識対象領域の画像を、１又は複数の部分領域の画像に分割する。例えば、図２（Ｂ）が領域抽出部１１０で抽出された「人」の領域を表す画像の場合、領域分割部１２０は、図２（Ｂ）に示す「人」の画像を、図３（Ａ）に示す、「頭部」、「胴体」、「右腕」、「左腕」、「右足」、「左足」の６つの部位を表す６つの部分領域に分割する。部分領域は、例えば、入力画像に写っている人物に対して、その人物の特定の部位を表す画像となっている。領域分割処理の例は、動作例で説明する。図１に戻り、領域分割部１２０は、部分領域の画像の画像データを部位抽出部１３０へ出力する。

【0028】

部位抽出部１３０は、入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、入力画像から抽出する。例えば、部位抽出部１３０は、図３（Ａ）に示す分割された部分領域に基づいて、図２（Ｂ）に示す認識対象の領域を示す画像から、図３（Ｂ）に示す特定の部位に対応する部分領域の画像を抽出する。部位抽出処理の例は、動作例で説明する。図１に戻り、部位抽出部１３０は、抽出した部分領域の画像の画像データを、部位変換部１４０へ出力する。

【0029】

部位変換部１４０は、部位抽出部１３０で抽出された部分領域の画像の画像データに対して、部位変換処理（以下、「変換処理」と称する場合がある。）を施す。変換処理としては、例えば、拡大、縮小、平行移動、回転、色変化、コントラスト変化などがある。例えば、図３（Ｂ）に示す部分領域の画像に対して、部位変換部１４０は、回転処理を施すことで、図４（Ａ）から図４（Ｃ）に示す３つの画像を生成する。変換処理の例は、動作例で説明する。図１に戻り、部位変換部１４０は、変換処理後の部分領域の画像の画像データを、部位合成部１５０へ出力する。

【0030】

部位合成部１５０は、部位変換部１４０で変換処理された部分領域の画像の画像データと、部分領域以外の認識対象領域の画像データとを合成する。例えば、部位変換部１４０で変換処理された部分領域の画像を、図４（Ａ）から図４（Ｃ）とする。また、部分領域以外の認識対象の画像を、図４（Ｄ）とする。この場合、部位合成部１５０は、図４（Ａ）から図４（Ｃ）に示す画像の各々と、図４（Ｄ）に示す画像とを合成する。図５（Ａ）から図５（Ｃ）は、合成画像の例を表す。部位合成処理の例は、動作例で説明する。部位合成部１５０は、合成後の画像データを学習データとして、記憶装置３００に記憶したり、表示装置４００へ表示したりする。

【0031】

画像出力装置２００は、例えば、学習データとして用いる画像の画像データを生成し、生成した画像の画像データを情報処理装置１００へ出力する。

【0032】

記憶装置３００は、例えば、部位合成部１５０から出力された合成画像の画像データを記憶する。また、記憶装置３００は、例えば、領域抽出部１１０から部位合成部１５０において、各処理を行う際に画像データなどを記憶したり、処理の際に読み出されたりすることができる。記憶装置３００は、例えば、ＨＤＤ（Hard Disk Drive）や半導体メモリなどの記憶装置であってよい。

【0033】

表示装置４００は、部位合成部１５０から合成画像の画像データを受け取り、合成画像を表示する。

【0034】

なお、記憶装置３００と表示装置４００は、情報処理装置１００内に含まれてもよい。

【0035】

＜動作例＞
図６は、情報処理装置１００における動作例を表すフローチャートである。

【0036】

情報処理装置１００は、処理を開始すると（Ｓ１０）、画像出力装置２００から画像（又は入力画像）を取得する（Ｓ１１）。例えば、領域抽出部１１０は、画像出力装置２００から出力された画像の画像データを入力する。

【0037】

次に、情報処理装置１００は、領域抽出処理を行う（Ｓ１２）。以下、領域抽出処理の例について説明する。

【0038】

＜１．領域抽出処理＞
図７は、領域抽出処理の例を表すフローチャートである。

【0039】

領域抽出部１１０は、領域抽出処理を開始し（Ｓ１２０）、画像データを取得すると（Ｓ１２１）、取得した画像データに対してセグメンテーション（又は領域分割）技術を適用する（Ｓ１２２）。

【0040】

セグメンテーション技術は、例えば、入力画像の各画素の画素値、具体的にはＲＧＢ（Red Green Blue）やＣＭＹＫ（Cyan Magenta Yellow Key plate）の分布が一定範囲内にある領域を入力画像から抽出することで、入力画像から認識対象物を抽出する技術である。本処理（Ｓ１２２）では、公知のセグメンテーション技術が適用されてよい。そのような例として、Ａｎｎａ Ｋｈｏｒｅｖａ，Ｒｏｄｒｉｇｏ Ｂｅｎｅｓｏｎ，Ｊａｎ Ｈｏｓａｎｇ，Ｍａｔｔｈｉａｓ Ｈｅｉｎ，Ｂｅｒｎｔ Ｓｃｈｉｅｌｅ，“Ｓｉｍｐｌｅ Ｄｏｅｓ Ｉｔ：Ｗｅａｋｌｙ Ｓｕｐｅｒｖｉｓｅｄ Ｉｎｓｔａｎｃｅ ａｎｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ”，ＣＶＰＲ，２０１７がある。

【0041】

次に、領域抽出部１１０は、セグメンテーション技術で得られた認識対象の領域を記憶装置３００へ保存する（Ｓ１２３）。例えば、領域抽出部１１０は、セグメンテーション技術により、図２（Ｂ）に示す画像の画像データを記憶装置３００へ記憶する。

【0042】

図７に戻り、そして、領域抽出部１１０は、領域抽出処理を終了する（Ｓ１２４）。

【0043】

以上が領域抽出処理の例である。

【0044】

図６に戻り、次に、情報処理装置１００は、領域分割処理を行う（Ｓ１３）。以下、領域分割処理の例について説明する。領域分割処理については３つの例がある。以下、順番に説明する。

【0045】

＜２．領域分割処理＞
＜２－１．１番目の領域分割処理の例＞
図８は、領域分割処理の１番目の例を表すフローチャートである。１番目の例は、例えば、領域抽出処理（Ｓ１２）で抽出された認識対象の領域の画像に対して、予め用意したモデル画像（以下では、「モデル」と称する場合がある。）との類似度に基づいて、部位を推定して領域を分割する例である。

【0046】

図８に示すように、領域分割部１２０は、領域分割処理を開始すると（Ｓ１３０）、領域抽出部１１０で得られた認識対象の領域を、記憶装置３００から読み出す（Ｓ１３１）。例えば、図９（Ａ）は、記憶装置３００から読み出された認識対象の領域を表す画像の例である。

【0047】

図８に戻り、次に、領域分割部１２０は、あらかじめ定義した部分領域に関するモデル画像の画像データを記憶装置３００から読み出す（Ｓ１３２）。例えば、図９（Ｂ）はモデル画像の例を表す。図９（Ｂ）の例は、「右腕」のモデル画像である。

【0048】

図８に戻り、次に、領域分割部１２０は、部分領域に関するモデル画像の画像データを用いて、認識対象の領域を走査し、モデル画像に対する認識対象画像の類似度を算出する（Ｓ１３３）。

【0049】

ここで、類似度の算出例を説明する。モデル画像の高さをｈ、幅をｗとする。また、モデル画像の座標（又は画素。以下では、「座標」と称する場合がある。）（ｘ’，ｙ’）の画素値ＴをＴ（ｘ’，ｙ’）とする。また、認識対象画像の座標（ｘ，ｙ）の画素値ＩをＩ（ｘ，ｙ）とする。領域分割部１２０は、類似度Ｒ（ｘ，ｙ）を、以下の式により算出する。

【0050】

【数1】

【0051】

式（１）で、Ｒ（ｘ，ｙ）は、例えば、正規化相互相関関数を表している。式（１）に示すように、類似度Ｒ（ｘ，ｙ）は、認識対象画像Ｉの画素値Ｉ（ｘ，ｙ）を、モデル画像の高さｈと幅ｈまで順次加算したときの画素値Ｉ（ｘ＋ｘ’，ｙ＋ｙ’）と、モデル画像Ｔの画素値Ｔ（ｘ’，ｙ’）との乗算値を正規化した値を表す。

【0052】

例えば、領域分割部１２０は、記憶装置３００から認識対象の画像の画像データと、モデル画像の画像データ、及び式（１）とを読み出し、式（１）にこれらの画像データ（又は各画素の画素値）を代入することで、類似度Ｒ（ｘ，ｙ）を算出する。

【0053】

なお、式（１）は、類似度の一例である。例えば、認識対象画像Ｉの画素値Ｉ（ｘ，ｙ）とモデル画像Ｔの画素値Ｔ（ｘ’，ｙ’）との差分絶対値和（ＳＡＤ（Sum of Absolute Difference））や差の２乗和（ＳＳＤ（Sum of Squared Difference））などを類似度としてもよい。或いは、マッチング処理における公知の手法により、類似度が算出されてもよい。

【0054】

次に、領域分割部１２０は、認識対象の領域内で類似度が最も高い位置を記憶装置３００に保存する（Ｓ１３４）。例えば、領域分割部１２０は、類似度Ｒ（ｘ，ｙ）が最も高いとき（又は最も「１」に近づいたとき）の画素の位置座標の（ｘ，ｙ）を算出する。

【0055】

図９（Ｃ）は、例えば、「右腕」のモデル画像に対して、類似度Ｒ（ｘ，ｙ）が最も高いときの座標（ｘ，ｙ）の例を表している。位置座標（ｘ，ｙ）は、例えば、右腕の分割領域において、最も左上の座標を表す。領域分割部１２０は、この位置座標（ｘ，ｙ）と、モデル画像（又は領域）の高さｈ、及び幅ｗ、更に、どの部位かを表す情報を、分割領域に関する情報として、記憶装置３００に記憶する。

【0056】

図８に戻り、次に、領域分割部１２０は、他に抽出する部分領域が存在するか否かを判定する（Ｓ１３５）。例えば、領域分割部１２０は、モデル画像として、「胴体」の画像や「頭部」の画像などがあり、これらのモデル画像と認識対象の画像とで類似度を算出したか否かを判定する。

【0057】

領域分割部１２０は、他に抽出する部分領域があれば（Ｓ１３５でＹｅｓ）、Ｓ１３２へ移行して、処理を繰り返す。例えば、領域分割部１２０は、他の部分領域のモデル画像があって、その部分領域の類似度を算出していないとき（Ｓ１３５でＹｅｓ）、その部分領域のモデル画像を記憶装置３００から読み出して、その部分領域の類似度を算出する（Ｓ１３２～Ｓ１３４）。

【0058】

一方、領域分割部１２０は、他に抽出する部分領域がなければ（Ｓ１３５でＮｏ）、領域分割処理を終了する（Ｓ１３６）。

【0059】

以上が、１番目の領域分割処理の例である。

【0060】

＜２－２．２番目の領域分割処理の例＞
図１０は、２番目の領域分割処理の例を表すフローチャートである。２番目の例は、姿勢推定技術（又は姿勢推定処理）を利用して、領域抽出処理（Ｓ１２）で得た画像を分割する例である。

【0061】

領域分割部１２０は、領域分割処理を開始すると（Ｓ１４０）、記憶装置３００から認識対象領域の画像を取得し（又は読み出し）（Ｓ１４１）、取得した画像に対して姿勢推定技術を適用する（Ｓ１４２）。

【0062】

姿勢推定技術として、例えば、Ｂｉｎ Ｆａｎ ａｎｄ Ｚｅｎｇ－Ｆｕ Ｗａｎｇ，“Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｏｆ Ｈｕｍａｎ Ｂｏｄｙ Ｂａｓｅｄ Ｏｎ Ｓｉｌｈｏｕｅｔｔｅ Ｉｍａｇｅｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ａｃｑｕｉｓｉｔｉｏｎ，ｐａｇｅｓ ２９６－３００，２００４がある。

【0063】

図１１（Ａ）と図１１（Ｂ）は、この姿勢推定技術を説明するための図である。最初に、領域分割部１２０は、取得した画像（ここでは、「シルエット画像」と称する場合がある。）の各画素（ｘ，ｙ）について、シルエット画像内に位置するか否かを確認する。具体的には、図１１（Ａ）の例では、領域分割部１２０は、各画素（ｘ，ｙ）の画素値に基づいて、閾値判定などを行うことで、各画素（ｘ，ｙ）が「人物」の枠内にあるか否かを判定する。例えば、枠内にあるときは、Ｉ（ｘ，ｙ）＝０、枠外にあるときは、Ｉ（ｘ，ｙ）＝１とする。

【0064】

次に、領域分割部１２０は、この結果に基づいて、以下に示すエネルギー関数を利用して、エネルギー関数が最小となる点Ｐ（ｘ，ｙ）を算出する。

【0065】

【数2】

【0066】

式（２）において、ｒは円の半径、αは半径ｒの影響度合い（infection degree）をそれぞれ表す。また、積分領域Ｄは、シルエット画像内の円（又は入力画像の人物内に含まれる円）を表す。

【0067】

式（２）に示すエネルギー関数は、例えば、シルエット画像内に円を保ち、かつ、円の半径を最大にするような円の中心を算出する関数であり、その中心が点Ｐ（ｘ，ｙ）となる。本姿勢推定技術では、この中心Ｐ（ｘ，ｙ）を骨格点としている。

【0068】

本姿勢推定技術は、例えば、骨格の形状はどのような姿勢でも直線である場合が多く、関節により骨格が接続される点に着目している。

【0069】

そのため、領域分割部１２０は、式（２）で算出した骨格点Ｐ（ｘ，ｙ）からシルエット画像のエッジ部分までの直線の長さが一定以上の直線を探索し、その直線に沿って、式（２）に示すエネルギー関数が最小となる点Ｐを順次算出する。例えば、領域分割部１２０は、エネルギー関数を利用して、胴体部分における円の中心から、直線方向へ（又は骨格に沿って）、骨格点Ｐ（ｘ，ｙ）を探索する処理を行っている。

【0070】

そして、領域分割部１２０は、探索した骨格点Ｐ（ｘ，ｙ）を接続して、例えば、図１１（Ｂ）に示す骨格を推定する。この場合、領域分割部１２０は、例えば、モデル画像と比較して、骨格が「右腕」、「左腕」、「右足」など、認識対象画像の特定の部位を求める。

【0071】

例えば、領域分割部１２０は、以下の処理を行う。すなわち、領域抽出部１１０で抽出された画像に対して、各画素の画素値に基づいて、Ｉ（ｘ，ｙ）を算出する。また、領域抽出部１１０は、記憶装置３００から式（２）を読み出し、エネルギー関数が最小となる点Ｐ（ｘ，ｙ）を算出する。領域抽出部１１０は、領域抽出部１１０で抽出された画像について、各画素の画素値に基づいて、点Ｐ（ｘ，ｙ）からこの画像のエッジ点までの距離ｄを求める。そして、領域抽出部１１０は、点Ｐ（ｘ，ｙ）からその距離ｄが一定以上となっているエッジ点までの直線上において、式（１）を利用してエネルギー関数が最小となる点Ｐ（ｘ’，ｙ’）を順次算出する。領域分割部１２０は、点Ｐ（ｘ，ｙ）から各点Ｐ（ｘ’，ｙ’）を結合した線分を、骨格として、各点Ｐ（ｘ，ｙ），（ｘ’，ｙ’）を記憶装置３００に記憶する。また、領域分割部１２０は、記憶装置３００からモデル画像の骨格点を読み出し、算出した各骨格と比較して、各骨格と対応する部位の情報も記憶装置３００に記憶する。

【0072】

図１０に戻り、次に、領域分割部１２０は、姿勢推定技術で得られた結果を記憶装置３００へ保存する（Ｓ１４３）。例えば、領域分割部１２０は、各骨格点Ｐの座標（ｘ，ｙ），（ｘ’，ｙ’）を記憶装置３００へ保存する。

【0073】

そして、領域分割部１２０は、領域分割処理を終了する（Ｓ１４３）。

【0074】

以上が、２番目の領域分割処理の例である。

【0075】

＜２－３．３番目の領域分割処理の例＞
図１２は、３番目の領域分割処理の例を表すフローチャートである。３番目の例は、領域抽出部１１０で抽出された認識対象の領域の画像をＮ×Ｍ（Ｎは縦方向（又は高さ方向、或いはｙ軸方向）の分割数、Ｍは横方向（又は幅方向、或いはｘ軸方向）の分割数であり、Ｎ，Ｍは１以上の整数）分割する例である。具体的には、情報処理装置１００は、例えば、入力画像の各画素を、Ｎ×Ｍの各領域に分割する例である。

【0076】

領域分割部１２０は、領域分割処理を開始すると（Ｓ１５０）、領域抽出部１１０で得られた認識対象の画像を記憶装置３００から読み出す（Ｓ１５１）。

【0077】

次に、領域分割部１２０は、予め設定した領域分割数を記憶装置３００から読み出す（Ｓ１５２）。

【0078】

図１３（Ａ）と図１３（Ｂ）は、３番目の領域分割処理の例を表す図である。図１３（Ａ）から図１３（Ｂ）は、画像を１×２（Ｎ＝１，Ｍ＝２）に分割する例である。ＮとＭは、例えば、記憶装置３００に記憶されており、領域分割部１２０は処理の際に記憶装置３００から読み出して、分割数を設定する。

【0079】

図１２に戻り、次に、領域分割部１２０は、領域分割数を基に認識対象の画像を分割する（Ｓ１５３）。図１３（Ｂ）の例では、領域分割部１２０は、画像を１×２に分割する。

【0080】

図１２に戻り、次に、領域分割部１２０は、分割した領域を記憶装置３００に記憶する（Ｓ１５４）。例えば、領域分割部１２０は、分割した各領域の位置座標（又は画素）を記憶装置３００に記憶する。図１３（Ｂ）の例では、領域分割部１２０は、分割した左側の領域に属する各画素の位置座標と、右側の領域に属する各画素の位置座標とを、記憶装置３００に記憶する。

【0081】

図１２に戻り、そして、領域分割部１２０は、領域分割処理を終了する（Ｓ１５５）。

【0082】

以上が、３番目の領域分割処理の例である。

【0083】

図６に戻り、次に、情報処理装置１００は、部位抽出処理を行う（Ｓ１６）。以下、部位抽出処理の例について説明する。

【0084】

＜３．部位抽出処理＞
図１４は、部位抽出処理の例を表すフローチャートである。

【0085】

部位抽出部１３０は、部位抽出処理を開始すると（Ｓ１６０）、領域分割部１２０で得られた処理結果を記憶装置３００から読み出す（Ｓ１６１）。

【0086】

図１５（Ａ）は、領域分割部１２０において１番目の領域分割処理が行われた場合の部位抽出処理の例を表す図である。１番目の領域分割処理では、分割した各領域の左上の画素の位置座標（ｘ，ｙ）とその領域の高さｈと幅ｗ、及びどの部位かを表す情報が算出され、記憶装置３００に処理結果として記憶された。従って、領域分割部１２０は、分割した各領域の左上の画素の位置座標（ｘ，ｙ）と、モデル画像の高さｈと幅ｗ、及び部位の情報を記憶装置３００から読み出す。

【0087】

また、図１５（Ｂ）は、領域分割部１２０において２番目の領域分割処理が行われた場合の部位抽出処理の例を表す図である。２番目の領域分割処理では、各骨格の座標（ｘ，ｙ），（ｘ’，ｙ’）と部位の情報とが算出され、記憶装置３００に処理結果として記憶された。従って、領域分割部１２０は、各骨格の座標（ｘ，ｙ），（ｘ’，ｙ’）と部位の情報とを記憶装置３００から読み出す。

【0088】

さらに、図１５（Ｃ）は、領域分割部１２０において３番目の領域分割処理が行われた場合の部位抽出処理の例を表す図である。３番目の領域分割処理では、分割した各領域に含まれる画素の位置座標（ｘ，ｙ）が処理結果として記憶装置３００に記憶された。従って、領域分割部１２０は、分割した各領域に含まれる各画素の位置座標（ｘ，ｙ）を記憶装置３００から読み出す。

【0089】

図１４に戻り、次に、部位抽出部１３０は、読み出した処理結果から領域又は部位を１つ選択する（Ｓ１６２）。例えば、記憶装置３００には、どの領域又は部位から順番に部位抽出処理を行うかを表す情報が記憶されており、部位抽出部１３０は、１番目の領域又は部位の情報を読み出す。例えば、部位抽出部１３０は、図１５（Ａ）と図１５（Ｂ）の例では、「右腕」の部位を１つ選択し、図１５（Ｃ）の例では、「左側」の領域を選択する。

【0090】

例えば、部位抽出部１３０は、選択した領域又は部位に含まれる各画像の画素値を、記憶装置３００から読み出して、Ｓ１６２の処理を行う。これにより、情報処理装置１００は、図１５（Ａ）から図１５（Ｃ）に示すように、「右腕」の部位や「左側」の領域の画像が、認識対象画像から抽出することができる。

【0091】

図１４に戻り、次に、部位抽出部１３０は、選択した領域又は部位に対して部位変換処理（以下、「変換処理」と称する場合がある。）を実施するか否かを判定する（Ｓ１６３）。例えば、記憶装置３００には、変換処理を行う領域又は部位に関する情報が記憶され、部位抽出部１３０は、Ｓ１６２で選択した領域又は部位と、記憶装置３００に記憶された領域又は部位とが一致するか否かにより判定してもよい。或いは、部位抽出部１３０は、例えば、選択した領域又は部位に関する情報を、表示装置４００へ出力し、表示装置４００でその情報を表示して、ユーザにより部位変換処理を実施するか否かを選択させるようにしてもよい。この場合、部位抽出部１３０は、ユーザの選択結果を入力し、その選択結果に応じて、変換処理を実施するか否かを判別してもよい。

【0092】

部位抽出部１３０は、選択した領域又は部位に変換処理を実施すると判定したとき（Ｓ１６３でＹｅｓ）、処理フラグを「１」に設定し、処理フラグを記憶装置３００に記憶する（Ｓ１６４）。

【0093】

そして、部位抽出部１３０は、部位抽出処理を実施していない領域又は部位が存在するか否かを判定する（Ｓ１６５）。例えば、部位抽出部１３０は、Ｓ１６３の処理を行った領域又は部位についてはフラグを「１」に設定することで、部位抽出処理を実施していない領域又は部位の存在を判定してもよい。

【0094】

部位抽出部１３０は、部位抽出処理を実施していない領域又は部位が存在するとき（Ｓ１６５でＹｅｓ）、Ｓ１６２へ移行して、そのような領域又は部位に対して上述した処理を繰り返す（Ｓ１６２～Ｓ１６５）。

【0095】

一方、部位抽出部１３０は、部位抽出処理を実施していない領域又は部位が存在しないとき（又は認識対象画像のすべての領域又は部位について部位抽出処理を行ったとき）（Ｓ１６５でＮｏ）、部位抽出処理を終了する（Ｓ１６６）。

【0096】

一方、部位抽出部１３０は、選択した領域又は部位に変換処理を実施しないと判定したとき（Ｓ１６３でＮｏ）、処理フラグを設定することなく、Ｓ１６５へ処理を移行する。

【0097】

上述したように、部位抽出処理により、例えば、図１５（Ａ）から図１５（Ｃ）に示す、「右腕」の画像や、「左側」の画像が、認識対象画像から抽出される。

【0098】

図６に戻り、次に、情報処理装置１００は、部位変換処理を行う（Ｓ１７）。以下、部位変換処理の例について説明する。

【0099】

＜４．部位変換処理＞
図１６は、部位変換処理の例を表すフローチャートである。

【0100】

部位変換部１４０は、部位変換処理を開始すると（Ｓ１７０）、領域分割部１２０で得られた処理結果を記憶装置３００から読み出す（Ｓ１７１）。例えば、部位抽出部１３０におけるＳ１６１（図１４）の処理と同様の処理を行う。すなわち、部位変換部１４０は、分割した各領域の左上の画素の位置座標（ｘ，ｙ）と、その領域の高さｈと幅ｗ、及び部位の情報を読み出したり、分割した各領域に含まれる各画素の位置座標（ｘ，ｙ）を読み出したりする。

【0101】

次に、部位変換部１４０は、読み出した処理結果から領域又は部位を１つ選択する（Ｓ１７２）。この処理も、例えば、部位抽出部１３０におけるＳ１６２（図１４）と同様の処理を行う。

【0102】

次に、部位変換部１４０は、選択した領域又は部位について、処理フラグが「１」であるか否かを判定する（Ｓ１７３）。例えば、部位変換部１４０は、選択した領域又は部位に対応する処理フラグとして「１」が記憶装置３００に記憶されているか否かを判定する。

【0103】

部位変換部１４０は、選択した領域又は部位の処理フラグが「１」のとき（Ｓ１７３でＹｅｓ）、選択した領域又は部位に対して部位変換処理を行う（Ｓ１７４）。

【0104】

部位変換部１４０は、例えば、拡大又は縮小による部位変換処理を行う場合は、以下の式を用いて、部位変換処理を行う。

【0105】

【数3】

【0106】

式（３）において、（ｘ，ｙ）は変換前の各画素の位置座標、（ｘ’，ｙ’）は変換後の各画素の位置座標をそれぞれ表す。また、式（３）において、Ｚ_ｘは画像の幅方向（又は横方向、或いはｘ軸方向）の拡大率又は縮小率を表し、Ｚ_ｙは画像の高さ方向（又は縦方向、或いはｙ軸方向）の拡大率又は縮小率を表す。

【0107】

また、部位変換部１４０は、例えば、平行移動による部位変換処理を行う場合は、以下の式を用いて、部位変換処理を行う。

【0108】

【数4】

【0109】

式（４）において、Ｔｘは画像の幅方向の平行移動量を表し、Ｔｙは画像の高さ方向の平行移動量を表す。

【0110】

さらに、部位変換部１４０は、例えば、回転による部位変換処理を行う場合は、以下の式を用いて、部位変換処理を行う。

【0111】

【数5】

【0112】

式（５）において、θは半時計回り方向における回転角を表す。

【0113】

さらに、部位変換部１４０は、例えば、カラー変換による部位変換処理を行う場合は、以下の式を用いて、部位変換処理を行う。

【0114】

【数6】

【0115】

式（６）において、Ｒ_ｘ，ｙ、Ｇ_ｘ，ｙ、Ｂ_ｘ，ｙは、部位変換処理前における画素の位置座標（ｘ，ｙ）におけるＲＧＢの各値を表し、Ｒ’_ｘ、ｙ、Ｇ’_ｘ，ｙ、Ｂ’_ｘ，ｙは、部位変換処理後における画素の位置座標（ｘ，ｙ）におけるＲＧＢの各値を表す。

【0116】

コントラスト変換など、他の部位変換処理であってもよく、いずれの場合でも、部位変換部１４０では、公知の手法により、変換処理を行うようにしてもよい。

【0117】

なお、部位変換部１４０は、記憶装置３００から、部位変換処理に応じた式（例えば式（３）から式（６）など）を読み出して、部位抽出部１３０で抽出した領域又は部位内の各画素の画素値を式に代入し、変換後の位置座標や画素値を得ることで、変換処理（Ｓ１７４）を行う。

【0118】

図１７（Ａ）は、「右腕」の部位に対して、回転による部位変換処理を行った場合の画像の例を表す図である。また、図１７（Ｂ）は、「左側」の領域に対して、縮小、拡大、平行移動による各部位変換処理を行った場合の画像の例を表す図である。

【0119】

図１６に戻り、次に、部位変換部１４０は、部位変換処理結果を記憶装置３００に保存する（Ｓ１７５）。例えば、部位変換部１４０は、式（３）から式（６）などを用いて変換処理を行った後の各座標位置（ｘ’，ｙ’）や、（Ｒ’_ｘ、ｙ，Ｇ’_ｘ，ｙ，Ｂ’_ｘ，ｙ）を記憶装置３００に記憶する。

【0120】

次に、部位変換部１４０は、別の変換処理を実施するか否かを判定する（Ｓ１７６）。例えば、部位変換部１４０は、Ｓ１７４による変換処理を行った後、更に、他の変換処理を行うか否かを判定する。本部位変換部１４０は、拡大、縮小、平行移動、回転、カラー変化、コントラスト変化などを各々、或いはこれらの変換処理を組み合わせて、部位変換を行うことが可能である。

【0121】

部位変換部１４０は、別の変換処理を実施すると判定したとき（Ｓ１７６でＹｅｓ）、Ｓ１７４へ処理を移行させて、別の変換処理を行う（Ｓ１７４～Ｓ１７５）。

【0122】

一方、部位変換部１４０は、別の変換処理を実施しないと判定したとき（Ｓ１７６でＮｏ）、処理を実施していない領域があるか否かを判定する（Ｓ１７７）。例えば、部位変換部１４０は、変換処理を実施した領域の情報を記憶装置３００に記憶し、この情報に基づいて、処理を実施していない領域の有無を判定してもよい。

【0123】

部位変換部１４０は、部位変換処理を実施していない領域が存在するとき（Ｓ１７７でＹｅｓ）、Ｓ１７２に処理を移行して、その領域に対して、上述した処理を繰り返す（Ｓ１７２からＳ１７６）。

【0124】

一方、部位変換部１４０は、部位変換処理を実施していない領域が存在しないとき（Ｓ１７７でＮｏ）、部位変換処理を終了する（Ｓ１７８）。

【0125】

以上が、部位変換処理の例である。

【0126】

図６に戻り、次に、情報処理装置１００は、部位合成処理を行う（Ｓ１９）。以下、部位合成処理の例を説明する。

【0127】

＜部位合成処理の例＞
図１８は、部位合成処理の例を表すフローチャートである。

【0128】

部位合成部１５０は、部位合成処理を開始すると（Ｓ１９０）、領域分割部１２０で得られた処理結果を記憶装置３００から読み出す（Ｓ１９１）。部位合成部１５０は、例えば、部位抽出部１３０におけるＳ１６１（図１４）の処理と同様の処理を行う。

【0129】

次に、部位合成部１５０は、読み出した処理結果から領域又は部位を１つ選択する（Ｓ１９２）。この処理も、例えば、部位合成部１５０は、部位抽出部１３０におけるＳ１６２（図１４）と同様の処理を行う。

【0130】

次に、選択した領域又は部位の処理フラグは「１」であるか否かを判定する（Ｓ１９３）。例えば、部位合成部１５０は、選択した領域又は部位に対応する処理フラグとして「１」が記憶装置３００に記憶されているか否かを判定する。

【0131】

部位合成部１５０は、選択した領域又は部位の処理フラグが「１」のとき（Ｓ１９３でＹｅｓ）、選択した領域又は部位と、選択した領域又は部位に対して部位変換処理で得られた処理結果とを、記憶装置３００から読み出す（Ｓ１９４）。例えば、部位合成部１５０は、選択した部位として、「右腕」、選択した部位に対する変換処理の結果として、変換処理後の座標位置（ｘ’，ｙ’）を、記憶装置３００から読み出す。

【0132】

一方、部位合成部１５０は、選択した領域又は部位について処理フラグが「１」ではないとき（Ｓ１９３でＮｏ）、Ｓ１９４の処理を行うことなく、Ｓ１９５へ移行する。

【0133】

部位合成部１５０は、Ｓ１９４の処理を行った後、又はＳ１９３でＮｏと判定した後、領域分割部１２０で得られた処理結果を記憶装置３００から読み出したものの、選択していない領域又は部位が存在するか否かを判定する（Ｓ１９５）。例えば、部位合成部１５０は、領域分割処理を行った領域又は部位で、まだ選択していない領域又は部位があるか否かを判定する。

【0134】

部位合成部１５０は、選択してない領域又は部位が存在するとき（Ｓ１９５でＹｅｓ）、そのような領域又は部位を選択して、Ｓ１９３以降の処理を繰り返す（Ｓ１９４）。

【0135】

一方、部位合成部１５０は、認識対象画像の中で選択していない領域又は部位が存在しないとき（Ｓ１９５でＮｏ）、記憶装置３００から読み出した、部位変換処理で得られた結果が存在する領域又は部位同士の全ての組み合わせを算出する（Ｓ１９６）。例えば、図１７（Ａ）に示すように、「右腕」の部位に対して３つの回転処理結果が記憶装置３００に記憶された場合、部位合成部１５０は、組合せとして、３つの組合せがあることを算出する。部位合成部１５０は、１つの領域又は部位に対して、部位変換処理により、いくつの変換処理結果を得たかを確認することで、組合せを算出する。１つの領域又は部位に対する変換処理結果の個数は、例えば、部位変換部１４０により処理を行った後、記憶装置３００に記憶され、部位合成部１５０は記憶装置３００から個数を読み出すことで、組合せを算出してもよい。

【0136】

図１９に戻り、次に、部位合成部１５０は、領域抽出部１１０で得られた認識対象の画像を記憶装置３００から読み出す（Ｓ１９７）。例えば、部位合成部１５０は、認識対象の画像として、図２（Ｂ）に示す画像の画像データを記憶装置３００から読み出す。

【0137】

図１９に戻り、次に、部位合成部１５０は、Ｓ１９６で算出した組み合わせから１つを選択する（Ｓ１９８）。例えば、部位合成部１５０は、図１７（Ａ）に示す３つの部位変換処理結果のうち、左側の処理結果を選択する。

【0138】

図１９に戻り、次に、部位合成部１５０は、組み合わせから選択した処理結果に対応する領域又は部位を、Ｓ１９７で読み出した認識対象画像から取り除く処理を行う（Ｓ２００）。

【0139】

図２０（Ａ）は、組み合わせから選択した部位が「右腕」の場合、認識対象画像から「右腕」を取り除いた後の画像の例を表す図である。図２０（Ａ）に示すように、「右腕」がない人物の画像となっている。

【0140】

例えば、部位変換処理を行った画像の座標位置（又は画素）は、部位変換部１４０により、記憶装置３００に記憶されている。そのため、部位合成部１５０は、その座標位置を記憶装置３００から読み出して、その座標位置にある、Ｓ１９７で読み出した認識対象画像の画素値を、所定値（例えば、「０」）に変換する。部位合成部１５０は、Ｓ１９７で記憶装置３００から読み出した人物の画像の画素値に対して、「右腕」の部位を表す各画素の画素値を所定値にすることで、図２０（Ａ）に示す画像を得ることができる。このように、部位合成部１５０は、例えば、認識対象の領域において、部分領域の各画素に対応する画素の画素値を所定値に変換することで、部分領域以外の認識対象の領域の画像データを生成する。

【0141】

図１９に戻り、次に、該当する領域を取り除いた認識対象の画像に、部位変換処理で得られた結果を合成する（Ｓ２０１）。

【0142】

図２０（Ｂ）は、部位変換処理で得られた結果を表す画像の例を表し、図２０（Ｅ）は、その画像を合成した後の画像の例を表す。

【0143】

例えば、部位合成部１５０は、Ｓ２００で取得した画像（例えば図２０（Ａ））の各画素の画素値に、部位変換処理で得られた画像（例えば図２０（Ｂ））の各画素の画素値を加算することで、合成画像（例えば図２０（Ｅ））の画像データを得ることができる。

【0144】

図１９に戻り、部位合成部１５０は、合成結果を記憶装置３００に保存する（Ｓ２０２）。例えば、部位合成部１５０は、合成画像の各画素の画素値を記憶装置３００に記憶する。

【0145】

次に、部位合成部１５０は、処理を実施していない組み合わせが存在するか否かを判定する（Ｓ２０３）。図２０（Ａ）の例では、部位変換処理により、更に、２つの回転画像が得られ、その処理結果が記憶装置３００に記憶されている。部位合成部１５０は、例えば、部位変換処理により得られた結果が、記憶装置３００に記憶されたままで部位合成処理（Ｓ２０１）を行っていないか否かかにより判定する。

【0146】

部位合成部１５０は、処理を実施していない組み合わせが存在するとき（Ｓ２０３でＹｅｓ）、Ｓ１９８へ移行して、他の組み合わせに対して上述した処理を繰り返す（Ｓ１９８～Ｓ２０２）。例えば、図２０（Ａ）の例では、部位変換処理を行った画像（図２０（Ｃ）と図２０（Ｄ））と、Ｓ２００で取得した画像（図２０（Ａ））との組み合わせが存在する。そのため、部位合成部１５０は、これらの組み合わせに対して、合成画像（図２０（Ｆ）と図２０（Ｇ））の画像データを取得する。

【0147】

図１９に戻り、一方、部位合成部１５０は、処理を実施していない組み合わせが存在しないとき（Ｓ２０３でＮｏ）、別の認識対象の領域又は部位への合成を実施するか否かを判定する（Ｓ２０４）。

【0148】

部位合成部１５０は、別の認識対の領域又は部位への合成を実施するとき（Ｓ２０４でＹｅｓ）、Ｓ１９７へ移行して、上述した処理を繰り返す（Ｓ１９７～Ｓ２０３）。

【0149】

一方、部位合成部１５０は、別の認識対の領域又は部位への合成を実施しないとき（Ｓ２０４でＮｏ）、部位合成処理を終了する（Ｓ２０５）。

【0150】

図２０（Ａ）～図２０（Ｇ）の例では、「右腕」の部位を合成する例について説明した。例えば、別の認識対として、「左腕」や「頭部」などの部位に対する合成を行うときは、部位合成部１５０は、そのような部位に関する情報や位置座標を記憶装置３００から読み出して、部位合成処理（Ｓ２０１）を行う。部位合成部１５０は、例えば、部位合成処理を行っていない部位に関する情報が記憶装置３００に記憶されているか否かにより、Ｓ２０４を判別する。

【0151】

図２１（Ａ）から図２１（Ｇ）は、領域分割処理として、１×２により認識対象画像を分割した場合の部位合成処理の例を表している。この場合も、部位合成部１５０は、Ｓ１９７で記憶装置３００から読み出した認識対象画像（人全体の画像）から、組み合わせで選択した領域（「左側」の領域）を取り除いた画像（図２１（Ａ））を生成する（Ｓ２００）。そして、部位合成部１５０は、その画像に対して、部位変換処理で変換した画像（図２１（Ｂ），図２１（Ｃ），図２１（Ｄ））を合成し、合成画像（図２１（Ｅ），図２１（Ｆ），図２１（Ｇ））を得る。

【0152】

以上、部位合成処理について説明した。

【0153】

図６に戻り、情報処理装置１００は、次に、部位合成処理の結果を表示装置４００へ出力する（Ｓ２０）。

【0154】

次に、情報処理装置１００は、処理を続行するか否かを判定し（Ｓ２１）、続行するときは（Ｓ２１でＹｅｓ）、Ｓ１１へ移行して、上述した処理を繰り返す（Ｓ１１～Ｓ２０）。

【0155】

一方、情報処理装置１００は、処理を続行しないときは（Ｓ２１でＮｏ）、一連の処理を終了する（Ｓ２２）。

【0156】

このように本第１の実施の形態では、情報処理装置１００は、認識対象の画像から、特定の部位を表す部分領域の画像データを抽出し、抽出した部分領域の画像に対して変換処理を施す。そして、情報処理装置１００は、変換処理された画像データと、部分領域以外の認識対象の画像の画像データとを合成し、合成画像の画像データを生成する。

【0157】

情報処理装置１００では、画像全体に対して変換処理を行うことなく、画像の一部を抽出して、変換処理を行うことで、一部だけ異なる複数の画像を得ることができる。従って、情報処理装置１００では、１枚の画像から、画像の一部が変化した、複数枚のバリエーションの画像を収集することが可能となる。よって、画像全体に対して変換処理を施す場合と比較して、本情報処理装置１００では、画像の一部が変化した複数枚のバリエーションの画像を、学習データとして収集できることから、学習データのバリエーションを効率的に収集することが可能となる。

【0158】

この画像データのバリエーションを学習データとして、記憶装置３００に記憶しておくことで、例えば、他の画像認識装置などで、多くのバリエーションが存在する、監視カメラから得られた画像の画像データを識別するための機械学習を行うことが可能となる。学習データとして、バリエーションの画像が非常に多く含まれるため、画像認識装置では、監視カメラで得られた画像がどのような画像であるかを精度良く、認識することが可能となる。

【0159】

[その他の実施の形態]
図２２は、情報処理装置１００のハードウェア構成例を表す図である。

【0160】

情報処理装置１００は、ＩＦ（Interface）１７０、ＣＰＵ（Central Processing Unit）１７１、ＲＯＭ（Read Only Memory）１７２、ＲＡＭ（Random Access Memory）１７３、及びメモリ１７４を備える。

【0161】

ＩＦ１７０は、例えば、画像出力装置２００から出力された画像データを入力し、入力した画像データをＣＰＵ１７１へ出力したり、メモリ１７４に記憶したりする。また、ＩＦ１７０は、ＣＰＵ１７１やメモリ１７４から画像データなどを受け取り、これを、記憶装置３００や表示装置４００へ出力する。

【0162】

ＣＰＵ１７１は、例えば、ＲＯＭ１７２に記憶されたプログラムを読み出して、読み出したプログラムをＲＡＭ１７３にロードし、ロードしたプログラムを実行する。これにより、ＣＰＵ１７１は、領域抽出部１１０、領域分割部１２０、部位抽出部１３０、部位変換部１４０、及び部位合成部１５０の機能を実現する、ＣＰＵ１７１は、例えば、領域抽出部１１０、領域分割部１２０、部位抽出部１３０、部位変換部１４０、及び部位合成部１５０に対応する。

【0163】

なお、ＣＰＵ１７１に代えて、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのプロセッサやコントローラなどであってもよい。

【0164】

また、メモリ１７４は、記憶装置３００の代わりとして、情報処理装置１００内に設けられてもよい。

【0165】

以上まとめると、付記のようになる。

【0166】

（付記１）
入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出する部位抽出部と、
抽出した前記部分領域の画像データに対して画像変換処理を施す部位変換部と、
画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成する部位合成部と
を備えることを特徴とする情報処理装置。

【0167】

（付記２）
さらに、前記入力画像に対する認識対象の領域の画像データを前記入力画像から抽出する領域抽出部を備えることを特徴とする付記１記載の情報処理装置。

【0168】

（付記３）
さらに、記憶装置から読み出した前記特定の部位に対応するモデル画像のモデルデータと前記認識対象の領域の画像データとに基づいて算出した類似度に基づいて、前記認識対象の領域を前記特定の部位に対応する部分領域に分割する領域分割部を備え、
前記部位抽出部は、分割された前記部分領域に基づいて、前記認識対象の領域の画像データから前記部分領域の画像データを抽出することを特徴とする付記２記載の情報処理装置。

【0169】

（付記４）
前記領域分割部は、前記記憶装置から読み出した以下の式（７）に、前記認識対象の領域の画像の画素（ｘ，ｙ）における画素値Ｉ（ｘ，ｙ）、前記モデル画像の画素（ｘ’，ｙ’）における画素値Ｔ（ｘ’，ｙ’）を代入することで、前記類似度を算出し、前記類似度が最も高い前記画素（ｘ，ｙ）を探索することで、前記認識対象の領域を前記部分領域に分割することを特徴とする付記３記載の情報処理装置。

【数7】

（ただし、ｗはモデル画像のｘ軸方向の長さ、ｈはモデル画像のｙ軸方向の長さをそれぞれ表す）

【0170】

（付記５）
さらに、前記認識対象の領域の画像における各画素の画素値と閾値とを比較して、各画素が人物の枠内に含まれるか否かを判定し、判定結果をＩ（ｘ，ｙ）とすると、記憶装置から読み出した以下の式（８）に判定結果Ｉ（ｘ，ｙ）を代入することで、エネルギー関数を算出し、算出したエネルギー関数に基づいて、人物の骨格点Ｐ（ｘ，ｙ）を接続した前記認識対象の領域の画像に含まれる人物の骨格を推定することで、前記認識対象の領域を前記部分領域に分割する領域分割部を備え、
前記部位抽出部は、分割された前記部分領域に基づいて、前記認識対象の領域の画像データから前記部分領域の画像データを抽出することを特徴とする付記２記載の情報処理装置。

【数8】

（ただし、ｒは円の半径、αは半径ｒの影響度合い（infection degree）、積分領域Ｄは、入力画像の人物内に含まれる円を表す。）

【0171】

（付記６）
さらに、前記認識対象の領域の画像の各画素を、Ｎをｙ軸方向の分割数、Ｍをｘ軸方向の分割数とすると、Ｎ×Ｍの各領域に分割することで、前記認識対象の領域を前記部分領域に分割する領域分割部を備え、
前記部位抽出部は、分割された前記部分領域に基づいて、前記認識対象の領域の画像データから前記部分領域の画像データを抽出することを特徴とする付記２記載の情報処理装置。

【0172】

（付記７）
前記部位変換部は、前記部分領域の画像データに対して、拡大、縮小、平行移動、回転、カラー変化、コントラスト変化、又はこれらの組み合わせにより、画像変換処理を行うことを特徴とする付記１記載の情報処理装置。

【0173】

（付記８）
前記部位合成部は、前記認識対象の領域において、前記部分領域の各画素に対応する画素の画素値を所定値に変換して、前記部分領域以外の前記認識対象の領域の画像データを生成し、生成した前記部分領域以外の前記認識対象の領域の画像データと、前記部位変換部で変換処理された前記画像データとを合成することを特徴とする付記２記載の情報処理装置。

【0174】

（付記９）
前記認識対象は人であって、前記特定の部位は姿勢推定処理により推定された人の何れかの部位であることを特徴とする付記１，２，３，６，及び７のいずれかに記載の情報処理装置。

【0175】

（付記１０）
部位抽出部、部位変換部、及び部位合成部を有する情報処理装置における情報処理方法であって、
前記部位抽出部により、入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出し、
前記部位変換部により、抽出した前記部分領域の画像データに対して画像変換処理を施し、
前記部位合成部により、画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成する
ことを特徴とする情報処理方法。

【0176】

（付記１１）
入力画像に対する認識対象の特定の部位に対応する部分領域の画像データを、前記入力画像から抽出し、
抽出した前記部分領域の画像データに対して画像変換処理を施し、
画像変換処理された前記画像データを前記認識対象の画像データに部分合成して学習データを生成する
処理をコンピュータに実行させることを特徴とするプログラム。

【符号の説明】

【0177】

１０：情報処理システム １００：情報処理装置
１１０：領域抽出部 １２０：領域分割部
１３０：部位抽出部 １４０：部位変換部
１５０：部位合成部 １７１：ＣＰＵ
２００：画像出力装置 ３００：記憶装置
４００：表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】