特許 7234595 検出装置、処理装置、検出方法、及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-28

(45)【発行日】2023-03-08

(54)【発明の名称】検出装置、処理装置、検出方法、及び処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230301BHJP

   G06T 7/50 20170101ALI20230301BHJP

【ＦＩ】

G06T1/00 315

G06T7/50

【請求項の数】 19

(21)【出願番号】P 2018216403

(22)【出願日】2018-11-19

(65)【公開番号】P2020086636

(43)【公開日】2020-06-04

【審査請求日】2021-07-15

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100107836

【弁理士】

【氏名又は名称】西 和哉

(72)【発明者】

【氏名】中川 源洋

(72)【発明者】

【氏名】田中 幹也

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開平１１－３１２２２８（ＪＰ，Ａ）

【文献】国際公開第２０１２／１６１２９１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５０－ ７／５９３

(57)【特許請求の範囲】

【請求項1】

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記算出部は、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出し、
前記変形検出部は、前記算出部から得られる前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出する、検出装置。

【請求項2】

前記算出部は、前記物体の領域ごとに、前記第１方向における前記物体の空間周波数成分が極大となる第１周波数と、前記第２方向における前記物体の空間周波数が極大となる第２周波数とを算出し、
前記変形検出部は、前記物体において前記第２周波数が第１周波数以上である領域を、前記第２物体が変形した領域と判別する、
請求項１に記載の検出装置。

【請求項3】

前記第１方向は鉛直方向に設定され、前記第２方向は水平方向に設定され、
前記変形検出部は、前記算出部の算出結果に基づいて、前記第２物体が重力によって変形した領域を検出する、
請求項１または請求項２に記載の検出装置。

【請求項4】

前記第１物体は人体を含み、
前記モデル生成部は、前記第１物体のモデル情報として、前記人体の骨格と姿勢との一方または双方を表す情報を生成する、
請求項１から請求項３のいずれか一項に記載の検出装置。

【請求項5】

前記算出部は、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、
前記変形検出部は、前記算出部が算出した前記ピーク周波数が閾値を超える前記物体の領域を検出し、
前記モデル生成部は、前記変形検出部が検出した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成する、
請求項１から請求項４のいずれか一項に記載の検出装置。

【請求項6】

前記第１物体は人体を含み、
前記閾値は、人体において隣り合う関節の間隔に基づいて設定される、
請求項５に記載の検出装置。

【請求項7】

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記第１物体は人体を含み、
前記モデル生成部は、前記第１物体のモデル情報として、前記人体の骨格と姿勢との一方または双方を表す情報を生成する、検出装置。

【請求項8】

前記算出部は、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、
前記変形検出部は、前記算出部が算出した前記ピーク周波数が閾値を超える前記物体の領域を検出し、
前記モデル生成部は、前記変形検出部が検出した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成する、
請求項７に記載の検出装置。

【請求項9】

前記第１物体は人体を含み、
前記閾値は、人体において隣り合う関節の間隔に基づいて設定される、
請求項８に記載の検出装置。

【請求項10】

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記算出部は、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、
前記変形検出部は、前記算出部が算出した前記ピーク周波数が閾値を超える前記物体の領域を検出し、
前記モデル生成部は、前記変形検出部が検出した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成し、
前記第１物体は人体を含み、
前記閾値は、人体において隣り合う関節の間隔に基づいて設定される、検出装置。

【請求項11】

前記変形検出部は、前記第２物体が変形した領域を検出し、
前記モデル生成部は、前記変形検出部が検出した前記変形した領域を前記物体から除外した領域に対する前記検出部の検出結果に基づいて、前記第１物体のモデル情報を生成する、請求項１から請求項１０のいずれか一項に記載の検出装置。

【請求項12】

前記検出部は、前記物体の各点の位置を検出する位置検出部を含み、
前記算出部は、前記位置を用いて前記物体の空間周波数成分を算出する、
請求項１から請求項１１のいずれか一項に記載の検出装置。

【請求項13】

前記検出部は、前記物体を撮像して前記物体の画像を取得する撮像部を含み、
前記算出部は、前記画像を用いて前記物体の空間周波数成分を算出する、
請求項１から請求項１２のいずれか一項に記載の検出装置。

【請求項14】

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出する検出部と、
前記検出部の検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記検出部の検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモ
デル情報を生成するモデル生成部と、を備え、
前記変形検出部は、前記第１物体の表面から離れる変形をした第２物体の領域を検出する、検出装置。

【請求項15】

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、前記物体の空間周波数成分を算出する算出部と、
前記算出部の算出結果に基づいて、前記第２物体の変形を検出する変形検出部と、
前記物体を検出した検出結果および前記変形検出部の検出結果に基づいて、前記第１物体のモデル情報を生成するモデル生成部と、を備え、
前記算出部は、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出し、
前記変形検出部は、前記算出部から得られる前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出する、処理装置。

【請求項16】

第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出することと、
前記物体を検出した検出結果に基づいて、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出することと、
前記物体の空間周波数成分の算出結果に基づいて、前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出することと、
前記物体を検出した検出結果および前記第２物体が変形した領域の検出結果に基づいて、前記第１物体のモデル情報を生成することと、を含む検出方法。

【請求項17】

コンピュータに、
第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、第１方向における前記物体の空間周波数成分と、前記第１方向と交差する第２方向における前記物体の空間周波数成分とを算出することと、
前記物体の空間周波数成分の算出結果に基づいて、前記第１方向の前記物体の空間周波数成分と前記第２方向の前記物体の空間周波数成分との比較によって、前記第２物体が変形した領域を検出することと、
前記物体を検出した検出結果および前記第２物体が変形した領域の検出結果に基づいて、前記第１物体のモデル情報を生成することと、を実行させる処理プログラム。

【請求項18】

コンピュータに、
人体を含む第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、前記物体の空間周波数成分を算出することと、
前記物体の空間周波数成分の算出結果に基づいて、前記第２物体の変形を検出することと、
前記物体を検出した検出結果および前記第２物体の変形の検出結果に基づいて、前記第１物体のモデル情報として、前記人体の骨格と姿勢との一方または双方を表す情報を生成することと、を実行させる処理プログラム。

【請求項19】

コンピュータに、
人体を含む第１物体と、前記第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、前記物体の空間周波数成分を算出し、前記物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出することと、
前記物体の空間周波数成分の算出結果に基づいて、前記第２物体の変形を検出し、算出した前記ピーク周波数が、人体において隣り合う関節の間隔に基づいて設定され閾値を超える前記物体の領域を検出することと、
前記物体を検出した検出結果および前記ピーク周波数が閾値を超える前記物体の領域を前記物体から除外した領域に対する検出結果に基づいて、前記第１物体のモデル情報を生成することと、を実行させる処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出装置、処理装置、検出方法、及び処理プログラムに関する。

【背景技術】

【0002】

物体を検出する技術として、例えば下記の特許文献１に記載された技術がある。検出される物体は、第１物体（例、人体）と、第１物体に付帯する第２物体物（例、服）とを含む場合がある。第１物体の情報を取得する場合、例えば、第２物体の変形が及ぼす影響を低減可能なことが望まれる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１３４５４６号公報

【発明の概要】

【0004】

本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、算出部は、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出し、変形検出部は、算出部から得られる第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出する、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、第１物体は人体を含み、モデル生成部は、第１物体のモデル情報として、人体の骨格と姿勢との一方または双方を表す情報を生成する、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、算出部は、物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出し、変形検出部は、算出部が算出したピーク周波数が閾値を超える物体の領域を検出し、モデル生成部は、変形検出部が検出した領域を物体から除外した領域に対する検出部の検出結果に基づいて、第１物体のモデル情報を生成し、第１物体は人体を含み、閾値は、人体において隣り合う関節の間隔に基づいて設定される、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、変形検出部は、第１物体の表面から離れる変形をした第２物体の領域を検出する、検出装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出する検出部と、検出部の検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、検出部の検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備える検出装置が提供される。

【0005】

本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、物体を検出した検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備え、算出部は、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出し、変形検出部は、算出部から得られる第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出する、処理装置が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出する算出部と、算出部の算出結果に基づいて、第２物体の変形を検出する変形検出部と、物体を検出した検出結果および変形検出部の検出結果に基づいて、第１物体のモデル情報を生成するモデル生成部と、を備える処理装置が提供される。

【0006】

本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出することと、物体を検出した検出結果に基づいて、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出することと、物体の空間周波数成分の算出結果に基づいて、第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出することと、物体を検出した検出結果および第２物体が変形した領域の検出結果に基づいて、第１物体のモデル情報を生成することと、を含む検出方法が提供される。
本発明の態様に従えば、第１物体と、第１物体に付帯した第２物体とを含む物体を検出することと、物体を検出した検出結果に基づいて、物体の空間周波数成分を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出することと、物体を検出した検出結果および第２物体の変形の検出結果に基づいて、第１物体のモデル情報を生成することと、を含む検出方法が提供される。

【0007】

本発明の態様に従えば、コンピュータに、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、第１方向における物体の空間周波数成分と、第１方向と交差する第２方向における物体の空間周波数成分とを算出することと、物体の空間周波数成分の算出結果に基づいて、第１方向の物体の空間周波数成分と第２方向の物体の空間周波数成分との比較によって、第２物体が変形した領域を検出することと、物体を検出した検出結果および第２物体が変形した領域の検出結果に基づいて、第１物体のモデル情報を生成することと、を実行させる処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、人体を含む第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出することと、物体を検出した検出結果および第２物体の変形の検出結果に基づいて、第１物体のモデル情報として、人体の骨格と姿勢との一方または双方を表す情報を生成することと、を実行させる処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、人体を含む第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出し、物体の領域ごとに空間周波数成分が極大となるピーク周波数を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出し、算出したピーク周波数が、人体において隣り合う関節の間隔に基づいて設定され閾値を超える物体の領域を検出することと、物体を検出した検出結果およびピーク周波数が閾値を超える物体の領域を物体から除外した領域に対する検出結果に基づいて、第１物体のモデル情報を生成することと、を実行させる処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、第１物体と、第１物体に付帯した第２物体とを含む物体を検出した検出結果に基づいて、物体の空間周波数成分を算出することと、物体の空間周波数成分の算出結果に基づいて、第２物体の変形を検出することと、物体を検出した検出結果および第２物体の変形の検出結果に基づいて、第１物体のモデル情報を生成することと、を実行させる処理プログラムが提供される。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る検出装置を示す図である。

【図2】第１実施形態に係る検出部を示す図である。

【図3】（Ａ）および（Ｂ）は、第１実施形態に係る物体の変形を示す図である。

【図4】（Ａ）から（Ｃ）は、第１実施形態に係る算出部および変形検出部の処理を示す図である。

【図5】第１実施形態に係る姿勢推定部の処理を示す図である。

【図6】第１実施形態に係る検出方法を示すフローチャートである。

【図7】第２実施形態に係る検出装置を示す図である。

【図8】（Ａ）および（Ｂ）は、第２実施形態に係る算出部および変形検出部の処理を示す図である。

【図9】第３実施形態に係る検出装置を示す図である。

【図10】第４実施形態に係る検出装置を示す図である。

【発明を実施するための形態】

【0009】

［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る検出装置を示す図である。検出装置１（検出システム）は、例えば、モーションキャプチャ装置、動作検出システム、運動支援システムなどである。検出装置１は、物体Ｍを検出する。物体Ｍは、第１物体Ｍ１と、第１物体Ｍ１に付帯した第２物体Ｍ２とを含む。例えば、物体Ｍは、その構成部を動かして動作する物体又は静止する物体である。図１において、第１物体Ｍ１は人体であり、第２物体Ｍ２は人体の少なくとも一部を覆う衣服である。以下の説明において、適宜、第１物体Ｍ１を人体Ｍ１とし、第２物体Ｍ２を付帯物Ｍ２とする。

【0010】

人体Ｍ１は、例えば、フェンシング、野球、サッカー、ゴルフ、テニス、剣道、アメリカンフットボール、アイスホッケー、又は体操などのスポーツ、ランニング、エクササイズ、ヨガ、ボディビル、ファッションショーなどのウォーキング又はポージング、ゲーム、人物認証、若しくは仕事などにおいて動作する人体である。人体Ｍ１は、静止した人体でもよい。また、物体Ｍは、人体でなくてもよく、例えば、人以外の動物、人型または人以外の動物型のロボット、若しくは動物型以外のロボットでもよい。

【0011】

図１の符号Ｍ１ａは、人体Ｍ１において付帯物Ｍ２に覆われた被覆部である。被覆部Ｍ１ａは、付帯物Ｍ２が人体Ｍ１の表面に沿って覆う場合、人体Ｍ１の形状を仮想的に表す。付帯物Ｍ２（例、衣服、タオル、たすき、紙）は、例えば人体Ｍ１よりも容易に変形する物体である。例えば、付帯物Ｍ２は、動き、風又は重力によって容易に変形して、その一部が人体Ｍ１の表面から浮き上がる（離れる）。図１の符号Ｍ２ａは、付帯物Ｍ２において人体Ｍ１の表面から浮き上がるように変形した変形領域（例、人体Ｍ１の少なくとも一部に付帯された初期状態の領域とは異なる領域）である。

【0012】

以下の説明において、図１などに示すＸＹＺ直交座標系を参照する。このＸＹＺ直交座標系において、Ｙ方向は鉛直方向（重力が働く方向）である。Ｘ方向およびＺ方向は、それぞれ水平方向である。Ｘ、Ｙ、Ｚの各方向において、適宜、矢印が指す側を＋側（例、＋Ｙ側）と称し、その反対側を－側（例、－Ｙ側）と称する。例えば、＋Ｙ側は鉛直方向の上方であり、－Ｙ側は鉛直方向の下方である。

【0013】

検出装置１は、検出部２と処理装置３とを備える。検出部２は、物体Ｍを検出する。検出部２は、検出装置１による検出の対象となる対象領域ＡＲ（例、検出装置１の検出領域、視野）に配置された物体Ｍ（人体Ｍ１）を検出する。本実施形態において、検出部２は、物体Ｍの各点の位置情報を検出する位置検出部を含む。検出部２は、人体Ｍ１の位置情報の例として、人体Ｍ１の表面上の各点の三次元座標を含む点群データを検出する。検出部２は、第１検出部４と、点群データ生成部５とを含む。

【0014】

第１検出部４は、例えば携帯型の装置（携帯機器）の少なくとも一部である。第１検出部４は、据え置き型の装置の少なくとも一部でもよい。第１検出部４は、処理装置３の内部に設けられてもよい（例、内蔵されてもよい）。また、点群データ生成部５は、処理装置３の外部の装置に設けられてもよい（例、外部接続されてもよい）。例えば、検出部２は、処理装置３の外部の装置であって、第１検出部４で構成されてもよいし、第１検出部４と点群データ生成部５とを内蔵してもよい。上記位置検出部は、第１検出部４および点群データ生成部５を含んでもよく、この場合、検出部２が位置検出部でもよい。また、上記位置検出部は、第１検出部４を含み、点群データ生成部５を含まなくてもよい。検出装置１の一部または全体は、携帯可能な装置（例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末）でもよい。また、検出装置１の一部または全体は、据え置き型の装置（例、定点カメラ）でもよい。

【0015】

図２は、第１実施形態に係る検出部を示す図である。第１検出部４は、人体Ｍ１の位置情報としてデプスを検出する。第１検出部４は、例えばデプスセンサ（デプスカメラ）を含む。第１検出部４は、所定の点から、対象領域ＡＲに配置される物体の表面における各点までのデプス（位置情報、距離、奥行き、深度）を検出する。所定の点は、例えば、第１検出部４による検出の基準になる位置の点（例、視点、検出元の点、第１検出部４の位置を表す点、後述する撮像素子８の画素の位置）である。

【0016】

第１検出部４は、照射部６、光学系７、及び撮像素子８を備える。照射部６は、対象領域ＡＲ（空間、検出領域）に光Ｌａ（例、パターン光、照射光）を照射（例、投影）する。光学系７は、例えば結像光学系（撮像光学系）を含む。撮像素子８は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子８は、２次元的に配列された複数の画素を有する。撮像素子８は、光学系７を介して、対象領域ＡＲを撮像する。撮像素子８は、光Ｌａの照射によって対象領域ＡＲの物体から放射される光Ｌｂ（赤外光、戻り光、反射光）を検出する。

【0017】

第１検出部４は、例えば、照射部６から照射される光Ｌａのパターン（例、強度分布）と、撮像素子８によって検出された光Ｌｂのパターン（強度分布、撮像画像）とに基づいて、撮像素子８の各画素に対応する対象領域ＡＲ上の点から、撮像素子８の各画素までのデプスを検出する。第１検出部４は、その検出結果として、対象領域ＡＲにおけるデプスの分布を表したデプスマップ（例、デプス画像、奥行き情報、距離情報）を処理装置３（図１参照）に出力する。第１検出部４は、人体Ｍ１の位置情報として、デプスマップを処理装置３に出力する。

【0018】

なお、第１検出部４は、TOF（time of flight）法によってデプスを検出するデバイスでもよい。第１検出部４は、TOF法以外の手法でデプスを検出するデバイスでもよい。第１検出部４は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによってデプスを検出してもよい。第１検出部４は、例えば、位相差センサを含み、位相差法によってデプスを検出してもよい。第１検出部４は、例えば、DFD(depth from defocus)法によってデプスを検出してもよい。また、第１検出部４は、例えばステレオカメラを含み、複数の視点から対象物ＯＢを撮像した撮像画像を用いて、三角測量によってデプスを検出してもよい。

【0019】

なお、第１検出部４は、赤外光以外の光（例、可視光）を物体Ｍに照射し、物体Ｍから出射する光（例、可視光）を検出してもよい。第１検出部４は、例えばステレオカメラなどを含み、複数の視点から物体Ｍを検出（例、撮像）してもよい。第１検出部４は、複数の視点から物体Ｍを撮像した撮像画像を用いて、三角測量によってデプスを検出してもよい。第１検出部４は、光学的な手法以外の手法（例、超音波を用いたスキャン）でデプスを検出してもよい。

【0020】

図１の説明に戻り、点群データ生成部５は、第１検出部４が検出したデプスに基づいて、人体Ｍ１の位置情報として物体の点群データを生成する。図１において、第１検出部４が処理装置３の外部に設けられ（外付けされ、外部接続され）、点群データ生成部５が処理装置３の内部に設けられる（内蔵される）。処理装置３は、第１検出部４と通信可能に接続される。第１検出部４は、その検出結果を処理装置３に出力する。処理装置３は、第１検出部４から出力された検出結果を処理する。

【0021】

処理装置３は、点群データ生成部５、算出部１１、変形検出部１２、モデル生成部１３、及び記憶部１４を備える。記憶部１４は、例えば、不揮発性のメモリ、ハードディスク（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などである。記憶部１４は、処理装置３で処理される元データ、及び処理装置３で処理されたデータ（例、処理装置３で生成されたデータ）を記憶する。記憶部１４は、点群データの元データとして、第１検出部４から出力されるデプスマップを記憶する。デプスマップは、例えば、対象領域ＡＲの各点におけるデプスを階調値で表したグレースケールの画像で表される。この画像において、各画素は対象領域ＡＲの各点に対応し、各画素の階調値は対象領域ＡＲの各点におけるデプスに対応する。

【0022】

点群データ生成部５は、物体Ｍの位置情報として点群データを生成する点群処理を実行する。点群データ生成部５は、記憶部１４からデプスマップを読み出し、デプスマップから平面画像への透視変換などによって、点群データを算出する。点群データ生成部５は、デプスマップの各画素の階調値（デプスの測定値）に基づいて、各画素に相当する実空間上の点の３次元座標を算出する。以下の説明において、適宜、１つの点の三次元座標を点データと称する。点群データは、複数の点データを一組にしたデータである。

【0023】

実施形態に係る処理装置３は、物体Ｍの位置情報（例、点群データ）に基づいて、物体Ｍの少なくとも一部のモデル情報を生成する。モデル情報は、例えば３次元のＣＧモデルデータであり、物体Ｍの形状情報を含む。第１物体Ｍ１（人体Ｍ１）の形状情報は、例えば、人体Ｍ１の骨格と姿勢との一方または双方を表す情報を含む。第１物体Ｍ１の形状情報は、第１物体Ｍ１の形状を表す点群データとサーフェス情報との一方または双方を含んでもよい。人体Ｍ１のサーフェス情報については、後に図７等で説明する。また、モデル情報は、物体Ｍの少なくとも一部のテクスチャ情報を含んでもよい。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。

【0024】

図１において、人体Ｍ１の動き等によって付帯物Ｍ２が時間的に変形した変形領域Ｍ２ａは、人体Ｍ１の表面から離れて浮き上がっている。この場合、物体Ｍ（付帯物Ｍ２および人体Ｍ１）の外形は、変形領域Ｍ２ａの部分において人体Ｍ１の外形とかけ離れている。実施形態に係る処理装置３は、検出部２の検出結果に基づいて、付帯物Ｍ２の変形領域Ｍ２ａの少なくとも一部を検出（例、推定、特定、判別）する。そして、処理装置３は、検出した変形領域Ｍ２ａを物体Ｍから除外した部分に対する検出部２の検出結果に基づいて、人体Ｍ１のモデル情報を生成する。そのため、処理装置３は、人体Ｍ１の高精度なモデル情報を取得可能である。

【0025】

次に、図１、図３（Ａ）および（Ｂ）、並びに図４（Ａ）から（Ｃ）を参照しつつ、処理装置３において、付帯物Ｍ２の変形を検出する処理について説明する。図３（Ａ）および図３（Ｂ）は、第１実施形態に係る物体の変形を示す図である。図３（Ａ）には、概念図として、物体Ｍにおいて変形した変形部Ｍ３を示した。符号ＭＦは、変形部Ｍ３の表面を平面で近似した近似平面である。近似平面ＭＦは、変形部Ｍ３の表面の各点からの距離の二乗和が最小になる平面である。符号Ｄ１は、近似平面ＭＦに平行な方向から選択される第１方向である。符号Ｄ２は、近似平面ＭＦに平行、かつ第１方向Ｄ１と交差（例、直交）する方向から選択される第２方向である。符号Ｄ３は、近似平面ＭＦに直交する方向に設定される第３方向である。

【0026】

また、符号Ｆは、変形部Ｍ３に働く力（例、張力）である。力Ｆの方向は、例えば既知である。例えば、力Ｆが重力である場合、力Ｆの方向は、鉛直方向である。ここでは、力Ｆの方向が第１方向Ｄ１であるとする。変形部Ｍ３には、力Ｆ（例、張力）によって、しわＭ４（変形）が発生する。しわＭ４は、凸部Ｍ４ａと凹部Ｍ４ｂとを含む。凸部Ｍ４ａは、近似平面ＭＦに対して、第３方向Ｄ３の一方側（例、物体Ｍの外側）に向かって突出した部分である。凹部Ｍ４ｂは、近似平面ＭＦに対して、第３方向Ｄ３の一方側（例、物体Ｍの外側）に向かって窪んだ部分である。凸部Ｍ４ａおよび凹部Ｍ４ｂは、それぞれ、力Ｆに平行な第１方向Ｄ１に延びている。凸部Ｍ４ａと凹部Ｍ４ｂとは、第１方向Ｄ１に交差する第２方向Ｄ２に並んでいる。

【0027】

第３方向Ｄ３における変形部Ｍ３の表面の位置（座標）は、第１方向Ｄ１において変化量が小さい。例えば、凸部Ｍ４ａにおける第３方向Ｄ３の座標は、第１方向Ｄ１においてほぼ一定である。また、凹部Ｍ４ｂにおける第３方向Ｄ３の座標は、第１方向Ｄ１においてほぼ一定である。変形部Ｍ３の表面の空間周波数成分は、第１方向Ｄ１において、低周波数成分の比率が高い。また、第３方向Ｄ３における変形部Ｍ３の表面の位置（座標）は、第２方向Ｄ２において、第１方向Ｄ１に比べて変化量が大きい。変形部Ｍ３の表面の空間周波数成分は、第２方向Ｄ２において、第１方向Ｄ１に比べて高周波数成分の比率が高い。

【0028】

図３（Ｂ）の符号Ｍ２ｂは、変形領域Ｍ２ａの一部の領域（以下、部分領域という）である。部分領域Ｍ２ｂは、図３（Ａ）の変形部Ｍ３に相当する。図３（Ｂ）において、変形領域Ｍ２ａは、鉛直方向（Ｙ方向）の重力を受けて変形しており、図３（Ａ）の第１方向は、例えば図３（Ｂ）のＹ方向である。変形領域Ｍ２ａにおいて、しわＭ４はＹ方向と交差する方向（例、Ｘ方向）に並んでいる。図３（Ａ）の第２方向Ｄ２は、例えば、図３（Ｂ）のＸ方向である。部分領域Ｍ２ｂの空間周波数成分は、Ｘ方向（第２方向Ｄ２）において、Ｙ方向（第１方向Ｄ１）に比べて高周波数成分の比率が高い。

【0029】

実施形態に係る処理装置３（図１参照）は、物体Ｍの空間周波数の異方性に基づいて、物体Ｍの変形を検出する。算出部１１は、検出部２の検出結果に基づいて、物体Ｍの空間周波数成分を算出する。例えば、検出部２は物体Ｍの各点の位置を検出し、算出部１１は、検出部２が検出した位置を用いて物体Ｍの空間周波数を算出する。以下の説明において、適宜、物体Ｍの少なくとも一部の空間周波数成分を算出する処理を、周波数解析処理と称する。変形検出部１２は、算出部１１の算出結果に基づいて、第２物体Ｍ２の変形を検出（推定）する。以下の説明において、適宜、物体Ｍの少なくとも一部の変形を検出する処理を、変形検出処理と称する。

【0030】

図４（Ａ）から（Ｃ）は、第１実施形態に係る算出部および変形検出部の処理を示す図である。算出部１１は、点群データ生成部５が生成した点群データを検出部２の検出結果として用いて、周波数解析処理を実行する。算出部１１は、点群データ生成部５が生成した点群データを記憶部１４から読み出して、周波数解析処理を実行する。算出部１１は、検出部２の検出結果（例、点群データ）を用いたフーリエ変換によって、各空間周波数に対する空間周波数成分（パワー）の分布（パワースペクトル）を算出する。算出部１１は、二次元のフーリエ変換によって、図３（Ａ）に示した第１方向Ｄ１における空間周波数成分と、第２方向Ｄ２における空間周波数成分とを算出する。

【0031】

算出部１１は、物体Ｍの領域ごとに、周波数解析処理を実行する。図４（Ａ）の符号ＡＲ２は、図１の対象領域ＡＲから選択される領域である。算出部１１は、対象領域ＡＲを複数の領域に分割し、分割された複数の領域の１つを領域ＡＲ２（解析対象の領域）として選択する。領域ＡＲ２は、例えば、図３（Ｂ）の部分領域Ｍ２ｂに相当する。

【0032】

周波数解析処理において、算出部１１は、物体Ｍを複数の領域に分割した各領域の点群データに基づいて、領域ごとの近似平面ＭＦ（図３（Ａ）参照）を算出する。例えば、算出部１１は、各領域の点群データに対して最小二乗法を適用して、近似平面ＭＦを算出する。算出部１１は、近似平面ＭＦを、予め設定された第１方向Ｄ１（例、鉛直方向、Ｙ方向）に平行という条件を満たす平面として算出する。算出部１１は、近似平面ＭＦに平行、かつ予め設定された第１方向Ｄ１（例、鉛直方向、Ｙ方向）に直交する方向を第２方向Ｄ２（例、水平方向、Ｘ方向）に設定する。

【0033】

算出部１１は、各領域の点群データに対して二次元フーリエ変換を施し、予め設定された第１方向Ｄ１および設定した第２方向Ｄ２に基づいて、第１方向Ｄ１の空間周波数成分と、第２方向Ｄ２の空間周波数成分とを算出する。図４（Ｂ）のＫｙは、実空間上のＹ方向に対応する周波数空間（周波数領域）上の方向（以下、第１軸方向と称する）である。図４（Ｂ）のＫｘは、実空間上のＸ方向に対応する周波数空間上の方向（以下、第２軸方向と称する）である。

【0034】

図４（Ｂ）の符号ＡＲ３は、図４（Ａ）のしわＭ４に対応する周波数空間上の領域である。符号Ｐ１は、しわＭ４に対応する領域ＡＲ３においてパワーが極値（この場合、極大）となるピーク周波数である。符号Ｋｐは、直流成分に対応する原点０とピーク周波数Ｐ１とを結ぶ方向である。図４（Ｃ）には、方向Ｋｐの座標（空間周波数）に対するパワーの分布を表すパワースペクトルを示した。

【0035】

算出部１１は、物体Ｍの領域ごとに、空間周波数に対するパワーの分布を表すパワースペクトルを算出する。パワースペクトルの原点およびその周囲には、直流成分に対応するパワーの極大を有する低周波数成分の分布が表れる。算出部１１は、パワースペクトルにおいて低周波数成分の分布を除く領域からパワーが極大となるピーク周波数Ｐ１を検出する。付帯物Ｍ２（衣類）に発生するしわＭ４の実空間上のスケール（サイズ）は、付帯物Ｍ２の材質（例、物性値）に基づいて予め調べておくことができる。算出部１１は、しわＭ４のスケールに対応して予め設定される空間周波数のバンドにおいてパワーが極大となる場合に、パワーが極大となる位置をしわＭ４に対応するピーク周波数Ｐ１として検出してもよい。

【0036】

算出部１１は、第１軸方向Ｋｙにおけるピーク周波数Ｐ１の座標を、第１方向における物体Ｍの空間周波数成分が極大となる第１周波数ｆ１として算出する。また、算出部１１は、第２軸方向Ｋｘにおけるピーク周波数Ｐ１の座標を、第２方向における物体Ｍの空間周波数成分が極大となる第２周波数ｆ２として算出する。算出部１１は、算出した第１周波数ｆ１および第２周波数ｆ２を、部分領域Ｍ２ｂの位置および大きさを示す情報と関連付けて、記憶部１４に記憶させる。

【0037】

変形検出部１２は、算出部１１から得られる第１方向Ｄ１（Ｙ方向）の物体Ｍの空間周波数成分と第２方向Ｄ２（Ｘ方向）の物体Ｍの空間周波数成分との比較によって、第２物体Ｍ２（付帯物Ｍ２、衣類）が変形した変形領域Ｍ２ａを検出する。図３（Ｂ）で説明したように、付帯物Ｍ２に第１方向Ｄ１の力Ｆが作用した場合、付帯物Ｍ２の変形によるしわＭ４は、第１方向Ｄ１に交差する第２方向Ｄ２に並び、変形によって第１方向Ｄ１と第２方向Ｄ２とで空間周波数成分の異方性が表れる。変形検出部１２は、空間周波数成分の異方性に基づいて、第２物体Ｍ２（付帯物Ｍ２、衣類）が変形した変形領域Ｍ２ａを検出する。例えば、第１方向Ｄ１が鉛直方向（Ｙ方向）に設定され、第２方向Ｄ２が水平方向（Ｘ方向）に設定される場合、変形検出部１２は、変形領域Ｍ２ａとして、第２物体Ｍ２が時間的な変化（この場合、重力）によって変形した領域を検出する。

【0038】

変形検出部１２は、物体Ｍにおいて第２周波数ｆ２が基準値の第１周波数ｆ１以上である領域を、第２物体Ｍ２が変形した変形領域Ｍ２ａと判別する。変形検出部１２は、物体Ｍの部分領域Ｍ２ｂごとに、記憶部１４から第１周波数ｆ１および第２周波数ｆ２を読み出す。変形検出部１２は、第１周波数ｆ１と第２周波数ｆ２とを比較し、第２周波数ｆ２が第１周波数ｆ１以上であると判定した場合に、部分領域Ｍ２ｂが変形領域Ｍ２ａに属すると判定する。

【0039】

変形検出部１２は、分割された複数の領域（部分領域Ｍ２ｂ）のそれぞれについて、変形領域Ｍ２ａに属するか否かを判定することによって、変形領域Ｍ２ａの少なくとも一部を検出する。変形検出部１２は、変形検出処理の処理結果として、部分領域Ｍ２ｂが変形領域Ｍ２ａに属するか否かを示す属性情報（例、フラグ）を生成する。変形検出部１２は、部分領域Ｍ２ｂの位置と上記属性情報とを関連付けて記憶部１４に記憶させる。

【0040】

図１の説明に戻り、モデル生成部１３は、検出部２の検出結果および変形検出部１２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。モデル生成部１３は、変形検出部１２が検出した変形領域Ｍ２ａ（変形した付帯物Ｍ２）を物体Ｍから除外した領域に対する検出部２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。例えば、モデル生成部１３は、変形検出部１２が検出した変形領域Ｍ２ａの位置情報を第１物体Ｍ１の位置情報として用いないで、第１物体Ｍ１のモデル情報を生成する。モデル生成部１３は、第１物体Ｍ１を変形領域Ｍ２ａと区別して、第１物体Ｍ１のモデル情報を生成する。モデル生成部１３は、変形領域Ｍ２ａが第１物体Ｍ１と異なる物体（第２物体Ｍ２、付帯物Ｍ２）に属する領域（部分）であると判別（識別）して、第１物体Ｍ１のモデル情報を生成する。

【0041】

本実施形態に係るモデル生成部１３は、第１物体Ｍ１のモデル情報として、人体Ｍ１の骨格と姿勢との一方または双方を表す情報を生成する。モデル生成部１３は、点群データ生成部５と姿勢推定部１６とを含む。姿勢推定部１６は、人体Ｍ１の少なくとも一部の姿勢を推定する姿勢推定処理を実行する。ここで、図１および図５を参照しつつ、姿勢推定処理について説明する。図５は、第１実施形態に係る姿勢推定部の処理を示す図である。

【0042】

姿勢推定部１６は、点群データ生成部５が生成した点群データに基づいて、姿勢推定処理を実行する。姿勢推定部１６は、点群データから得られる人体Ｍ１の形状に対して、認識処理（例、パターン認識、形状認識、骨格認識）を実行する。姿勢推定部１６は、認識処理によって、人体Ｍ１の特徴部分（例、特徴点）の位置情報を生成する。人体Ｍ１の特徴部分は、例えば、人体Ｍ１のうち他の部分と区別可能な部分である。人体Ｍ１の特徴部分は、例えば、人体Ｍ１の末端部（手先、足先、頭部）と、関節と、末端部とその隣の関節との間の中間部と、隣り合う２つの関節の間の中間部と、の少なくとも１つを含む。特徴部分の位置情報は、例えば、特徴部分を代表する点の座標（例、３次元座標）を含む。

【0043】

図５において、符号Ｑ１から符号Ｑ９は、それぞれ、姿勢推定部１６が推定した特徴部分に相当する。符号Ｑ１は頭部であり、符号Ｑ２は肩、符号Ｑ３は背中（背骨中央）、符号Ｑ４は腰、符号Ｑ５は膝、符号Ｑ６は足首、符号Ｑ７は肘、符号Ｑ８は手首、符号Ｑ９は手先である。

【0044】

ここで、変形領域Ｍ２ａが第１物体Ｍ１に属するものとして特徴部分を推定する場合を想定する。図５の符号Ｑｘは、変形領域Ｍ２ａが第１物体Ｍ１に属するものとして、推定される背中（背骨中央）である。図５において、人体Ｍ１は前かがみの姿勢であり、変形領域Ｍ２ａは、人体Ｍ１の腹から前方に垂れた部分である。変形領域Ｍ２ａを人体Ｍ１の腹とし、腹側の表面と背側の表面との中間に背骨が存在するとした場合、背中Ｑｘの位置は、背中Ｑ３と比べて人体Ｍ１の腹側にシフトした位置として推定される。

【0045】

本実施形態に係る姿勢推定部１６は、変形領域Ｍ２ａの少なくとも一部を、第１物体Ｍ１（人体Ｍ１）と異なる物体（付帯物Ｍ２）に属する部分であると識別し、第１物体Ｍ１から除外して姿勢推定処理を実行するので、特徴部分（例、背中Ｑ３）を高精度に推定可能である。姿勢推定部１６は、上記認識処理の結果として、各特徴部分の位置と、各特徴部分の情報（例、属性情報、名称（背中、腰））と、２つの特徴部分の接続関係を示す接続情報とを一組にした姿勢情報（例、骨格情報、スケルトンデータ）を生成する。姿勢推定部１６は、上記姿勢情報を図１の記憶部１４に記憶させる。

【0046】

姿勢推定部１６は、上記姿勢情報に基づいて、人体Ｍ１の姿勢を推定する。姿勢推定部１６は、接続関係がある一対の特徴部分を結ぶ第１線と、第１線に接続され、接続関係がある一対の特徴部分を結ぶ第２線との相対位置（例、角度）に基づいて、第１線および第２線を含む部分の姿勢を推定する。ここで、上記第１線は膝Ｑ５と腰Ｑ４とを結ぶ大腿部Ｑ１１であるとし、上記第２線は、腰Ｑ４と背中Ｑ３とを結ぶ背骨Ｑ１２であるとする。姿勢推定部１６は、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αを算出する。姿勢推定部１６は、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αが閾値以下である場合、腰が曲がった姿勢であると判定する。姿勢推定部１６は、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αが閾値よりも大きい場合、腰が伸びた姿勢であると判定する。

【0047】

姿勢推定部１６は、人体Ｍ１の予め設定された各特徴部分について上述のように姿勢を推定することで、人体Ｍ１の一部または全体の姿勢を推定する。姿勢推定部１６は、変形領域Ｍ２ａの少なくとも一部を第１物体Ｍ１から除外して姿勢推定処理を実行するので、人体Ｍ１において隣り合う特徴部分の相対位置を高精度に推定することができ、姿勢を高精度に推定することができる。

【0048】

なお、姿勢推定部１６は、物体の姿勢を定義した姿勢定義情報を参照して、姿勢を推定してもよい。上記の姿勢定義情報は、例えば、姿勢の種類を表す情報と、各特徴部分の相対位置を定義する情報とを一組にした情報である。姿勢の種類を表す情報は、例えば、歩行姿勢、座位、ヨガのポーズ名など姿勢の名称である。各特徴部分の相対位置を定義する情報は、例えば、大腿部Ｑ１１と背骨Ｑ１２とがなす角度αの範囲あるいは閾値である。姿勢推定部１６は、上記姿勢情報と上記姿勢定義情報とを照合して、人体Ｍ１の姿勢を推定（識別）してもよい

【0049】

次に、上述の検出装置１の動作に基づいて、実施形態に係る検出方法について説明する。図６は、第１実施形態に係る検出方法を示すフローチャートである。検出装置１の構成については、適宜、図１を参照する。ステップＳ１において、検出部２は、物体Ｍの各点の位置情報を検出する。ステップＳ１の処理は、ステップＳ２の処理およびステップＳ３の処理を含む。ステップＳ２において、第１検出部４は、所定の点（例、視点、第１検出部４の位置）から各点までのデプスを検出する。ステップＳ３において、点群データ生成部５は、デプスの検出結果に基づいて、点群データを生成する。

【0050】

ステップＳ４において、算出部１１は、位置情報に基づいて物体Ｍの空間周波数成分を算出する。算出部１１は、点群データ生成部５が生成した点群データを位置情報として用いて、上記の周波数解析処理を実行する。算出部１１は、物体Ｍを複数の領域に分割し、分割された領域（例、部分領域Ｍ２ｂ）ごとに周波数解析処理を実行する（図４参照）。算出部１１は、物体Ｍの領域ごとに、第１方向Ｄ１の物体Ｍの空間周波数成分と、第２方向Ｄ２の物体Ｍの空間周波数成分とを算出する。算出部１１は、第１方向Ｄ１の物体Ｍの空間周波数成分が極大となる第１周波数ｆ１（図４参照）を算出する。また、算出部１１は、第２方向Ｄ２の物体Ｍの空間周波数成分が極大となる第２周波数ｆ２（図４参照）を算出する。

【0051】

ステップＳ５において、変形検出部１２は、物体Ｍの空間周波数成分に基づいて第２物体Ｍ２の変形を検出する。変形検出部１２は、ステップＳ４において算出部１１が算出した空間周波数成分に基づいて、上記の変形検出処理を実行する。変形検出部１２は、部分領域Ｍ２ｂ（図４参照）ごとに、第１周波数ｆ１と第２周波数ｆ２とを比較し、第２周波数ｆ２が第１周波数ｆ１以上である場合に、この部分領域Ｍ２ｂが変形領域Ｍ２ａ（図１参照）に属すると判定する。

【0052】

ステップＳ６において、モデル生成部１３は、変形の検出結果に基づいて第１物体Ｍ１のモデル情報を生成する。ステップＳ６の処理は、ステップＳ７の処理およびステップＳ８の処理を含む。ステップＳ７において、姿勢推定部１６は、第２物体Ｍ２が変形した領域を除外して物体Ｍの特徴部分を検出する。姿勢推定部１６は、ステップＳ５において変形検出部１２が検出した変形領域Ｍ２ａを物体Ｍから除外した領域が第１物体Ｍ１に属する領域であると識別して、物体Ｍ（第１物体Ｍ１）の特徴部分を検出する（図５参照）。そして、ステップＳ８において、姿勢推定部１６は、特徴部分の相対位置に基づいて第１物体Ｍ１の姿勢を推定する。

【0053】

本実施形態に係る検出装置１は、空間周波数成分に基づいて物体Ｍの変形を検出し、変形の検出結果に基づいて第１物体Ｍ１のモデル情報を生成するので、第２物体Ｍ２の変形が第１物体Ｍ１のモデル情報に及ぼす影響を低減可能である。例えば、検出装置１は、変形領域Ｍ２ａを除外して第１物体Ｍ１のモデル情報を生成する場合、第１物体Ｍ１の高精度なモデル情報を取得可能である。例えば、図１において、第２物体Ｍ２（例、付帯物Ｍ２）は、第１物体Ｍ１（例、人体Ｍ１）の表面に沿う部分が第１物体Ｍ１の形状を近似的に表すが、変形領域Ｍ２ａにおいて第１物体Ｍ１との形状の差が大きいことがある。検出装置１は、変形領域Ｍ２ａを除外して第１物体Ｍ１の形状を検出することによって、第１物体Ｍ１の形状を高精度に検出することができ、例えば第１物体Ｍ１の姿勢を高精度に推定することができる。

【0054】

なお、本実施形態に係る算出部１１は、点群データに基づいて空間周波数成分を算出するが、デプスマップに対してフーリエ変換を施して空間周波数成分を算出してもよい。また、本実施形態に係る検出装置１は、第１方向Ｄ１の空間周波数成分と第２方向Ｄ２の空間周波数成分との比較によって変形領域Ｍ２ａを検出するが、検出部２による物体Ｍの検出タイミングが異なる複数の検出結果で空間周波数成分を比較して、変形領域Ｍ２ａを検出してもよい。

【0055】

例えば、検出部２は、第１タイミングと、第１タイミングと異なる第２タイミングとのそれぞれにおいて物体Ｍを検出してもよい。算出部１１は、第１タイミングにおける検出部２の検出結果に基づいて、物体Ｍの第１空間周波数成分を算出してもよい。また、算出部１１は、第２タイミングにおける検出部２の検出結果に基づいて、物体Ｍの第２空間周波数成分を算出してもよい。変形検出部１２は、第１空間周波数成分と第２空間周波数成分との比較によって、変形領域Ｍ２ａの少なくとも一部を検出してもよい。例えば、変形検出部１２は、物体Ｍの一部の領域に関して、第１空間周波数成分（パワー）がピークとなる空間周波数に対して、第２空間周波数成分（パワー）がピークとなる空間周波数が高周波数へシフトしている場合、この領域が第２タイミングにおいて変形していると判定してもよい。

【0056】

本実施形態において、第１方向Ｄ１は鉛直方向に設定されるが、第１方向Ｄ１は、鉛直方向と異なる方向に設定されてもよい。第１方向Ｄ１は、第２物体Ｍ２（付帯物Ｍ２）に力が働くと想定される方向に設定されてもよい。例えば、第１方向Ｄ１は、第２物体Ｍ２（付帯物Ｍ２）に水平方向の力が働くことが想定される場合、水平方向に設定されてもよい。また、第１方向Ｄ１および第２方向Ｄ２は、予め設定されてもよいし、検出部２の検出結果に基づいて設定されてもよい。例えば、検出部２の検出結果に対してフーリエ変換を施して得られるパワースペクトル（図４（Ｂ）、（Ｃ）参照）において、パワーが極大となるピーク周波数Ｐ１と原点０とを結ぶ方向（Ｋｐ）に対応する実空間上の方向を第２方向とし、第２方向に交差（例、直交）する方向を第１方向に設定してもよい。

【0057】

［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図７は、第２実施形態に係る検出装置を示す図である。図８は、第２実施形態に係る算出部および変形検出部の処理を示す図である。

【0058】

本実施形態に係る検出装置１は、例えば第１物体Ｍ１の微細な構造（例、髪の毛、皮膚のしわ、頭部）に対応する検出結果の少なくとも一部を除外して、第１物体Ｍ１のモデル情報を生成する。本実施形態に係るモデル生成部１３は、点群データ生成部５とサーフェス情報生成部１７とを備える。点群データ生成部５は、第１実施形態で説明したように、第１検出部４が検出した物体Ｍのデプスに基づいて、物体Ｍの形状情報として点群データを生成する。

【0059】

算出部１１は、物体Ｍの領域ごとに、空間周波数成分が極大となるピーク周波数を算出する。図８において、符号ＡＲ４は、人体Ｍ１の頭部の領域であり、髪の毛などの微細な構造を含む。符号Ｐ２は、領域ＡＲ４に対応するパワースペクトルにおいて、パワーが極大となるピーク周波数である。ｆ３は、第１軸方向Ｋｙにおけるピーク周波数Ｐ２の座標（空間周波数）である。ｆ４は、第２軸方向Ｋｘにおけるピーク周波数Ｐ２の座標（空間周波数）である。ピーク周波数Ｐ２の空間周波数は、原点０からピーク周波数Ｐ２までの距離（ｆ３の二乗とｆ４の二乗との和の平方根）で表される。例えば、髪の毛は衣服のしわに比べて微細な構造であり、ピーク周波数Ｐ２は、ピーク周波数Ｐ１よりも高周波数である。

【0060】

算出部１１は、物体Ｍの領域ごとに、空間周波数成分（パワー）が極大となるピーク周波数を算出する。変形検出部１２は、算出部１１が算出したピーク周波数が閾値Ｖ１を超える物体Ｍの領域（以下、高周波領域と称する）を検出する。閾値Ｖ１は、例えば、人体Ｍ１における可動域のスケールに相当する空間周波数未満に設定される。人体Ｍ１における可動域のスケールは、例えば、隣り合う関節の間隔（例、肘と肩との間隔）である。図８において、ピーク周波数Ｐ２は、原点を中心として半径が閾値Ｖ１の円の領域ＡＲ５の外側に配置される。この場合、変形検出部１２は、ピーク周波数Ｐ２に対応する領域ＡＲ４を高周波領域として検出（特定）する。領域ＡＲ４は、例えば、人体Ｍ１の可動域（腕、足、首）に比べて微細な構造が支配的な領域と推定される。

【0061】

モデル生成部は、変形検出部１２が検出した高周波領域を物体Ｍから除外した領域に対する検出部２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。サーフェス情報生成部１７は、第１物体Ｍ１のモデル情報（例、形状情報）としてサーフェス情報を算出するサーフェス処理を実行する。

【0062】

サーフェス情報は、例えばポリゴンデータ、ベクタデータ、及びドローデータの少なくとも１つを含む。サーフェス情報は、物体の表面上の複数の点の座標と、複数の点間の連結情報とを含む。連結情報（例、属性情報）は、例えば、物体表面の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。また、連結情報は、例えば、物体表面（サーフェス）の輪郭に相当する複数の線を互いに関連付ける情報を含む。

【0063】

サーフェス情報生成部１７は、高周波領域を物体Ｍから除外した領域に対する検出部２の検出結果（例、点群データ）に基づいて、サーフェス処理を実行する。例えば、サーフェス情報生成部１７は、変形検出部１２が検出した高周波領域に関する点群データを用いないで、サーフェス処理を実行する。サーフェス情報生成部１７は、サーフェス処理において、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定する。

【0064】

また、サーフェス情報生成部１７は、サーフェス処理において、点群データを点間の平面情報を持つポリゴンデータに変換する。サーフェス情報生成部１７は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。サーフェス情報生成部１７は、算出したサーフェス情報を記憶部１４に記憶させる。

【0065】

なお、モデル情報は、物体Ｍのテクスチャ情報を含んでもよい。モデル生成部１３は、３次元の点座標及びその関連情報で規定された面のテクスチャ情報を生成してもよい。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。モデル生成部１３は、生成したテクスチャ情報を記憶部１４に記憶させてもよい。

【0066】

また、モデル情報は、画像の空間情報（例、照明条件、光源情報）を含んでもよい。光源情報は、物体Ｍに対して光（例、照明光）を照射する光源の位置、この光源から物体Ｍへ光が照射される方向（照射方向）、この光源から照射される光の波長、及びこの光源の種類のうち少なくとも１項目の情報を含む。モデル生成部１３は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。モデル生成部１３は、生成した空間情報を記憶部１４に記憶させてもよい。モデル生成部１３は、テクスチャ情報と空間情報との一方または双方を生成しなくてもよい。

【0067】

本実施形態に係る検出装置１は、例えば第１物体Ｍ１の微細な構造（例、髪の毛、皮膚のしわ）に対応する検出結果の少なくとも一部を除外して、第１物体Ｍ１のモデル情報を生成する。この場合、検出装置１は、第１物体Ｍ１の外形を推定する上で、第１物体Ｍ１の微細な構造がノイズとして影響を及ぼすことを低減可能である。また、上記した各実施形態において、検出装置１のモデル生成部１３は、変形検出部１２によって特定された変形領域Ｍ２ａの部分を他の部分（被覆部Ｍ１ａ、人体Ｍ１）に対して強調したモデル情報を生成してもよい。例えば、モデル生成部１３は、変形領域Ｍ２ａを相対的に強調した画像を生成し、その生成した画像を人体Ｍ１のモデル情報に重畳させて変形領域Ｍ２ａが強調された新たなモデル情報を生成する。

【0068】

［第３実施形態］
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、第３実施形態に係る検出装置を示す図である。本実施形態に係る検出装置１は、例えば第１物体Ｍ１のモデル情報に基づいてレンダリング処理を実行し、レンダリング処理によって得られる画像を表示する。本実施形態に係る検出装置１（検出システム）は、モデル生成部１３と、レンダリング処理部１８（レンダリング処理装置、情報処理装置）と、入力装置１９と、表示装置２０とを備える。

【0069】

レンダリング処理部１８は、例えば、グラフィックス プロセッシング ユニット（GPU）を含む。なお、レンダリング処理部１８は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部１８は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。

【0070】

レンダリング処理部１８は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部１８は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部１８は、例えば、算出した推定画像のデータを記憶部１４に記憶させる。

【0071】

また、レンダリング処理部１８は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部１８は、推定画像上の物体の表面に、対象物と別のテクスチャを貼り付けた推定画像を算出することができる。

【0072】

レンダリング処理部１８は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部１８は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。

【0073】

入力装置１９は、処理装置３に対する各種情報（例、データ、指令）の入力に利用される。ユーザは、入力装置１９を操作することによって、処理装置３に対して各種情報を入力可能である。入力装置１９は、例えば、キーボード、マウス、トラックボール、タッチパネル、及び音声入力デバイス（例、マイク）の少なくとも一つを含む。

【0074】

表示装置２０は、処理装置３から出力される画像のデータに基づいて、この画像を表示する。例えば、処理装置３は、レンダリング処理部１８が生成した推定画像のデータを表示装置２０に出力する。表示装置２０は、処理装置３から出力された推定画像のデータに基づいて、推定画像を表示する。表示装置２０は、例えば、液晶ディスプレイを含む。表示装置２０および入力装置１９は、タッチパネルなどでもよい。

【0075】

本実施形態に係るモデル生成部１３は、物体Ｍから変形領域Ｍ２ａの少なくとも一部を除いた物体（例、第１物体Ｍ１、人体Ｍ１）の形状を表すモデル情報を生成する。レンダリング処理部１８は、例えば、変形領域Ｍ２ａが人体Ｍ１の形状に及ぼす影響を低減した推定画像を生成可能である。ユーザは、例えば、衣服の変形の影響が低減された人体Ｍ１の推定画像を見ることができる。

【0076】

なお、検出装置１は、入力装置１９を備えなくてもよい。例えば、検出装置１は、各種の指令、情報が通信を介して入力される形態でもよい。また、検出装置１は、表示装置２０を備えなくてもよい。例えば、検出装置１は、レンダリング処理により生成された推定画像のデータを通信を介して表示装置へ出力し、この表示装置が推定画像を表示してもよい。レンダリング処理部１８は、図９において処理装置３に設けられるが、処理装置３の外部の装置に設けられてもよい。上記外部の装置は、処理装置３と通信可能に接続されるクラウドコンピュータでもよい。

【0077】

［第４実施形態］
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第３実施形態に係る検出装置を示す図である。本実施形態において、検出部２は、第１検出部４及び第２検出部２１を含む。第２検出部２１は、物体Ｍを撮像する撮像部であり、撮像によって物体Ｍを検出する。第２検出部２１は、例えば、物体Ｍのカラー画像（例、ＲＧＢ画像）または白黒画像（例、グレイ画像）を取得する。

【0078】

本実施形態において、検出部２は物体Ｍを撮像して物体Ｍの画像を取得し、算出部１１は、検出部２が取得した画像を用いて物体Ｍの空間周波数を算出する。例えば、算出部１１は、第２検出部２１が撮像した撮像画像（例、物体Ｍを含むＲＧＢ画像）をフーリエ変換することによって、物体Ｍの空間周波数を算出する。変形検出部１２は、算出部１１が算出した物体Ｍの空間周波数に基づいて、物体Ｍの変形を検出する。そして、モデル生成部１３は、第１検出部４の検出結果および変形検出部１２の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成する。この場合、例えば、モデル生成部１３は、第１検出部４の検出結果から、変形検出部１２が検出した変形領域Ｍ２ａの検出結果を除外して、第１物体Ｍ１のモデル情報を生成する。

【0079】

なお、算出部１１は、第１検出部４の検出結果に基づいて物体Ｍの空間周波数を検出し、かつ第２検出部２１の検出結果に基づいて物体Ｍの空間周波数を検出してもよい。また、変形検出部１２は、第１検出部４の検出結果に基づく物体Ｍの空間周波数と、第２検出部２１の検出結果に基づく物体Ｍの空間周波数とに基づいて、物体Ｍの変形を検出してもよい。

【0080】

なお、第２検出部２１は、例えばステレオカメラを含み、複数の位置から物体Ｍを撮像して物体Ｍの各点の位置情報（例、デプス）を算出してもよい。モデル生成部１３は、第２検出部２１の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成してもよい。例えば、算出部１１は、第１検出部４の検出結果に基づいて物体Ｍの空間周波数を算出し、変形検出部１２は、第１検出部４の検出結果に基づく物体Ｍの空間周波数に基づいて、物体Ｍの変形を検出してもよい。そして、モデル生成部１３は、第２検出部２１の検出結果から、変形検出部１２が第１検出部４の検出結果に基づいて検出した変形領域Ｍ２ａの検出結果を除外して、第１物体Ｍ１のモデル情報を生成してもよい。

【0081】

なお、モデル生成部１３は、第１検出部４の検出結果と、第１検出部４の検出結果に基づいて変形検出部１２が検出した変形とに基づいて第１物体Ｍ１の第１のモデル情報を生成し、かつ第２検出部２１の検出結果と、第２検出部２１の検出結果に基づいて変形検出部１２が検出した変形とに基づいて第１物体Ｍ１の第２のモデル情報を生成してもよい。また、モデル生成部１３は、上記第１のモデル情報を生成しなくてもよく、この場合、検出装置１は、第１検出部４を備えなくてもよい。

【0082】

上述の実施形態において、処理装置３は、例えばコンピュータシステムを含む。処理装置３は、記憶部１４に記憶されている処理プログラムを読み出し、この処理プログラムに従って各種の処理を実行する。この処理プログラムは、コンピュータに、第１物体Ｍ１と、第１物体Ｍ１に付帯した第２物体Ｍ２とを含む物体Ｍを検出した検出結果に基づいて、物体Ｍの空間周波数成分を算出することと、物体Ｍの空間周波数成分の算出結果に基づいて、第２物体Ｍ２の変形を検出することと、物体Ｍを検出した検出結果および第２物体Ｍ２の変形の検出結果に基づいて、第１物体Ｍ１のモデル情報を生成することと、を実行させる。この処理プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。

【0083】

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

【符号の説明】

【0084】

１・・・検出装置、２・・・検出部、３・・・処理装置、５・・・点群データ生成部、１１・・・算出部、１２・・・変形検出部、１３・・・モデル生成部、Ｄ１・・・第１方向、Ｄ２・・・第２方向、Ｍ・・・物体、Ｍ１・・・第１物体（人体）、Ｍ２・・・第２物体（付帯物）、ｆ１・・・第１周波数、ｆ２・・・第２周波数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】