特許 7030355 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-02-25

(45)【発行日】2022-03-07

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220228BHJP

   G06T 7/00 20170101ALI20220228BHJP

【ＦＩ】

G06T19/00 A

G06T7/00 660B

【請求項の数】 8

(21)【出願番号】P 2020195640

(22)【出願日】2020-11-26

【審査請求日】2020-11-30

(73)【特許権者】

【識別番号】518301154

【氏名又は名称】株式会社Ｒｉｄｇｅ－ｉ

(74)【代理人】

【識別番号】110002516

【氏名又は名称】特許業務法人白坂

(72)【発明者】

【氏名】柳原 尚史

(72)【発明者】

【氏名】小松 平佳

(72)【発明者】

【氏名】モタズ アドナン モスタファ サブリ

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１７－４９６７６（ＪＰ，Ａ）

【文献】特開２００７－４７１８（ＪＰ，Ａ）

【文献】米国特許第１０４４５９３０（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付部と、
前記受付部によって受け付けた画像情報に基づいて、前記第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、当該複数の画像情報に基づいて、前記第１被写体の身体モデルを生成する生成部と、
前記生成部によって生成された身体モデルを出力する出力部と、
を備える情報処理装置。

【請求項2】

前記生成部は、前記受付部によって受け付けた画像情報に基づいて、被写体の奥行方向の深度情報を有する前記第１被写体の複数の画像情報を生成する
請求項１に記載の情報処理装置。

【請求項3】

前記生成部は、複数の方向から被写体としての第２被写体を視認した場合の画像情報を学習することにより生成される学習モデルと、前記受付部によって受け付けた画像情報とに基づいて、前記第１被写体を複数の方向から視認する場合の複数の画像情報を生成する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記生成部は、前記複数の画像情報に基づいて生成される前記第１被写体の３次元の姿勢に基づいて、第１被写体の身体モデルを生成する
請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記生成部は、前記複数の画像情報に基づいて生成される被写体の３次元の姿勢と、被写体の実在する立体的な画像とを学習することにより生成される学習モデルを利用することにより、前記第１被写体の３次元の姿勢に基づいて前記第１被写体の身体モデルを生成する
請求項４に記載の情報処理装置。

【請求項6】

前記生成部は、身体モデルとして前記第１被写体の３次元の姿勢を示す身体モデルを生成する
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

コンピュータが、
１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付ステップと、
前記受付ステップによって受け付けた画像情報に基づいて、前記第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、当該複数の画像情報に基づいて、前記第１被写体の身体モデルを生成する生成ステップと、
前記生成ステップによって生成された身体モデルを出力する出力ステップと、
を実行する情報処理方法。

【請求項8】

コンピュータに、
１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付機能と、
前記受付機能によって受け付けた画像情報に基づいて、前記第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、当該複数の画像情報に基づいて、前記第１被写体の身体モデルを生成する生成機能と、
前記生成機能によって生成された身体モデルを出力する出力機能と、
を実現させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来から、被写体のモデルを作成する技術が存在する。特許文献１に記載された技術は、被写体の周囲に画像センサ及び距離センサを配置し、画像センサにより撮像された被写体の画像と、距離センサにより得られた被写体までの距離とに基づいて、被写体の３次元モデルを生成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－６７３９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載された技術は、被写体の周囲に複数のセンサを配置しなければならず、被写体の３次元モデルを生成するために特殊な装置が必要となる。このため、特許文献１では、３次元モデルを種々の用途に利用するのに装置を設置する手間と装置の費用が必要になり、３次元モデルを種々の用途に利用させるのが難しくなる。

【0005】

本発明は、被写体の身体モデルを従来よりも容易に生成することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

一態様の情報処理装置は、１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付部と、受付部によって受け付けた画像情報に基づいて、第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体の身体モデルを生成する生成部と、生成部によって生成された身体モデルを出力する出力部と、を備える。

【0007】

一態様の情報処理装置では、生成部は、受付部によって受け付けた画像情報に基づいて、被写体の奥行方向の深度情報を有する第１被写体の複数の画像情報を生成することとしてもよい。

【0008】

一態様の情報処理装置では、生成部は、複数の方向から被写体としての第２被写体を視認した場合の画像情報を学習することにより生成される学習モデルと、受付部によって受け付けた画像情報とに基づいて、第１被写体を複数の方向から視認する場合の複数の画像情報を生成することとしてもよい。

【0009】

一態様の情報処理装置では、生成部は、複数の画像情報に基づいて生成される第１被写体の３次元の姿勢に基づいて、第１被写体の身体モデルを生成することとしてもよい。

【0010】

一態様の情報処理装置では、生成部は、複数の画像情報に基づいて生成される被写体の３次元の姿勢と、被写体の実在する立体的な画像とを学習することにより生成される学習モデルを利用することにより、第１被写体の３次元の姿勢に基づいて第１被写体の身体モデルを生成することとしてもよい。

【0011】

一態様の情報処理装置では、生成部は、身体モデルとして第１被写体の３次元の姿勢を示す身体モデルを生成することとしてもよい。

【0012】

一態様の情報処理方法では、コンピュータが、１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付ステップと、受付ステップによって受け付けた画像情報に基づいて、第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体の身体モデルを生成する生成ステップと、生成ステップによって生成された身体モデルを出力する出力ステップと、を実行する。

【0013】

一態様の情報処理プログラムは、コンピュータに、１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付機能と、受付機能によって受け付けた画像情報に基づいて、第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体の身体モデルを生成する生成機能と、生成機能によって生成された身体モデルを出力する出力機能と、を実現させる。

【発明の効果】

【0014】

一態様の情報処理装置は、１つの方向から被写体としての第１被写体を撮像することに基づく画像情報に基づいて、第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体の身体モデルを生成し、その身体モデルを出力するので、被写体の身体モデルを従来よりも容易に生成することができる。
また、一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る情報処理システムについて説明するための図である。

【図2】一実施形態に係る情報処理装置について説明するためのブロック図である。

【図3】第１被写体、第１被写体の立体的な画像（複数の画像情報）及び身体モデルについて説明するための図である。

【図4】ＶＡＥＧＡＮを利用した生成部について説明するためのブロック図である。

【図5】一実施形態に係る情報処理方法について説明するためのフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

【0017】

まず、情報処理システム１の概略について説明する。
図１は、一実施形態に係る情報処理システム１について説明するための図である。

【0018】

情報処理システム１は、カメラ部１０、サーバ２０及び情報処理装置３０を備える。

【0019】

カメラ部１０は、例えば、室内及び室外等に配され、被写体を撮像する。被写体は、例えば、人物等であってもよいし、動物等を始めとする生物及び車両等の物体等であってもよい。カメラ部１０は、例えば、監視カメラ等であってもよいし、それ以外の用途で使用される種々のカメラであってもよい。カメラ部１０は、例えば、静止画又は動画等によって被写体を撮像し、画像情報を生成する。カメラ部１０は、例えば、画像情報をサーバ２０又は情報処理装置３０に送信してもよい。カメラ部１０は、図１に示すように１つ有ってもよく、又は、複数あってもよい。カメラ部１０は、複数ある場合に、同一の位置を異なる方向から撮像するように配されてもよく、異なる位置を撮像するように配されてもよい。カメラ部１０は、異なる位置を撮像する場合、一例として、複数の部屋があるときにはそれぞれの部屋（異なる部屋）に配されてもよく、同一の部屋の異なる位置を撮像するように配されてもよい。

【0020】

サーバ２０は、カメラ部１０によって送信された画像情報を蓄積する。サーバ２０は、情報処理装置３０から要求があった場合に、例えば、要求のあった画像情報を情報処理装置３０に送信する。

【0021】

情報処理装置３０は、例えば、パーソナルコンピュータ、ラップトップ及びサーバ等である。情報処理装置３０は、カメラ部１０又はサーバ２０から画像情報を取得する。情報処理装置３０は、画像情報に記録される被写体（第１被写体１００）の姿勢を示す身体モデル１０１を生成して出力する。この場合、まず、情報処理装置３０は、１つの方向から被写体（第１被写体１００）を撮像した画像情報に基づいて、その被写体（第１被写体１００）を複数の方向から撮像したような画像情報（立体的な画像１０２（図３（Ｂ）参照））を生成する。次に、情報処理装置３０は、その被写体を複数の方向から撮像したような画像情報（立体的な画像１０２）に基づいて、被写体（第１被写体１００）の身体モデル１０１を生成する。情報処理装置３０は、例えば、身体モデル１０１として、その被写体の姿勢を示すようなモデルを生成する。情報処理装置３０は、例えば、身体モデル１０１として、その被写体（第１被写体１００）の３次元の姿勢を示すモデルを生成してもよい。身体モデル１０１は、例えば、被写体（例えば、人物）の関節の位置と、互いに隣接する関節を結ぶ線とで示されるモデルであってもよい。

【0022】

次に、情報処理装置３０について詳細に説明する。
図２は、一実施形態に係る情報処理装置３０について説明するためのブロック図である。

【0023】

情報処理装置３０は、通信部３５、記憶部３６、表示部３７、受付部３２、生成部３３及び出力制御部３４を備える。通信部３５、記憶部３６及び表示部３７は、本発明の「出力部」の一実施形態であってもよい。受付部３２、生成部３３及び出力制御部３４は、情報処理装置３０の制御部３１（例えば、演算処理装置等）の一機能として実現されてもよい。

【0024】

通信部３５は、例えば、サーバ２０及びカメラ部１０との間で情報の送受信を行う。通信部３５は、例えば、外部装置（図示せず）との間で情報の送受信を行うこととしてもよい。外部装置は、例えば、携帯端末及び情報端末等であってもよい。携帯端末は、例えば、携帯電話及びタブレット等であってもよい。情報端末は、例えば、パーソナルコンピュータ及びラップトップ等であってもよい。外部装置は、カメラ装置（図示せず）を有していてもよく、カメラ装置を有していなくともよい。外部装置は、カメラ装置を有している場合、そのカメラ装置で生成される画像情報をサーバ２０又は情報処理装置３０に送信することとしてもよい。
通信部３５は、例えば、サーバ２０及びカメラ部１０から画像情報を取得する。また、通信部３５は、外部装置がカメラ装置を有している場合には、その外部装置から画像情報を取得することとしてもよい。

【0025】

記憶部３６は、例えば、種々の情報及びプログラムを記憶する。記憶部３６は、例えば、後述する出力制御部３４の制御に基づいて後述する受付部３２によって受け付けた画像情報を記憶することとしてもよい。記憶部３６は、例えば、後述する生成部３３によって生成される身体モデル１０１の情報を記憶することとしてもよい。なお、記憶部３６は、身体モデル１０１の情報を記憶する場合、出力制御部３４の制御に基づいて、身体モデル１０１の情報と、その身体モデル１０１を生成する際に基礎となった画像情報とを対応付けて、その身体モデル１０１の情報を記憶部３６に記憶してもよい。

【0026】

表示部３７は、例えば、文字及び画像等を表示する。表示部３７は、例えば、後述する出力制御部３４の制御に基づいて後述する受付部３２によって受け付けた画像情報を表示することとしてもよい。表示部３７は、例えば、生成部３３によって生成される身体モデル１０１を表示することとしてもよい。表示部３７は、身体モデル１０１を表示する場合、出力制御部３４の制御に基づいて、身体モデル１０１と、その身体モデル１０１を生成する際に基礎となった画像情報に対応する画像との両方を表示してもよい。

【0027】

受付部３２は、例えば、通信部３５によって受信した画像情報を受け付ける。この場合、画像情報は、１つの方向から被写体（第１被写体１００）を撮像することに基づく画像情報であってもよい。すなわち、受付部３２は、１つのカメラ部１０及びカメラ装置（図示せず）によって第１被写体１００を撮像することによって生成される画像情報を受け付けることとしてもよい。第１被写体１００は、種々のものであってよく、例えば、人物であってもよいし、動物等を始めとする生物及び車両等の物体等であってもよい。すなわち、第１被写体１００は、後述する身体モデル１０１（モデル）を生成する対象であってよい。

【0028】

図３は、第１被写体１００、第１被写体１００の立体的な画像１０２（複数の画像情報）及び身体モデル１０１について説明するための図である。
生成部３３は、受付部３２によって受け付けた画像情報に基づいて、第１被写体１００を複数の方向から視認するような場合の複数の画像情報を生成する。すなわち、生成部３３は、図３（Ａ）に例示するような第１被写体１００が画像情報に記録される場合、図３（Ｂ）に例示するように、その第１被写体１００を複数の方向から見たような立体的な画像１０２（複数の画像情報）を生成する。
次に、生成部３３は、その複数の画像情報に基づいて、第１被写体１００の身体モデル１０１を生成する。すなわち、生成部３３は、図３（Ｂ）に例示する立体的な画像１０２（複数の画像情報）に基づいて、２次元空間で表現される立体的な身体モデル１０１を生成する。

【0029】

一例として、生成部３３は、ＶＡＥＧＡＮ等を利用して、身体モデル１０１を生成することとしてもよい。ＶＡＥＧＡＮは、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）とＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用する。ＶＡＥは複数の視点からの画像情報を生成し、ＧＡＮはＶＡＥが生成した複数の画像情報から３次元の姿勢を推定すると共に真贋を推定する。

【0030】

具体的には、ＶＡＥは、例えば、第１被写体１００を１つの方向から撮像した画像情報に基づいて、第１被写体１００を複数の方向から視認するよう複数の画像情報を生成することとしてもよい。ＧＡＮは、複数の画像情報に基づいて第１被写体１００の２次元空間上での姿勢を生成すると共に、生成された姿勢の真贋を見極めることとしてもよい。ＧＡＮは、複数の画像情報に基づいて立体的な第１被写体１００の姿勢を推定し、その推定結果を２次元空間上での第１被写体１００の姿勢へと射影してもよい。ＧＡＮは、その投射の際の誤差をゼロにするように学習する。

【0031】

図４は、ＶＡＥＧＡＮを利用した生成部３３について説明するためのブロック図である。
生成部３３は、エンコーダ３３１、ジェネレータ３３２及びディスクリミネータ３３３を備える。

【0032】

エンコーダ（Ｅｎｃｏｄｅｒ）３３１は、２次元で第１被写体１００が記録される画像情報（入力画像）から深度情報を有する画像（立体的な画像１０２）を生成する。すなわち、エンコーダ３３１は、１つの方向から第１被写体１００を見た場合の画像情報から、複数の方向（Ｎ個の方向（Ｎ＝２，３，４…））から第１被写体１００を見た場合の複数の画像情報（Ｎカメラビュー）を生成する。この場合、エンコーダ３３１は、画像情報（入力画像）に記録される第１被写体１００を低次元のモデルに変換する。低次元のモデルは、例えば、第１被写体１００（一例として、人物）の複数の特徴点（一例として、関節等）と、互いに隣接する特徴点を接続した線とで構成されるモデル等であってもよい。

【0033】

ジェネレータ（Ｇｅｎｅｒａｔｏｒ）３３２は、複数の画像情報に基づいて生成される第１被写体１００の姿勢を出力する。
ディスクリミネータ（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）３３３は、例えば、ジェネレータ３３２から出力される第１被写体１００の姿勢に基づいて、運動チェーンスペース（ＫＣＳ：Ｋｉｎｅｍａｔｉｃ Ｃｈａｉｎ Ｓｐａｃｅ）で記述された第１被写体１００の３次元姿勢（姿勢情報）の真贋を見分けようとする。ディスクリミネータ３３３によって第１被写体１００の３次元姿勢の真贋が見分けられた後、リプロジェクション（Ｒｅｐｒｏｊｅｃｔｉｏｎ）（図示せず）によって第１被写体１００の３次元姿勢が２次元の画像に射影される。
この際、ディスクリミネータ３３３は、Ｗａｓｓｅｒｓｔｅｉｎ損失関数が最小になるように、実在する立体的な画像とジェネレータ３３２が生成した実在しない立体的な画像１０２を学習して学習モデルを生成する。ディスクリミネータ３３３は、ジェネレータ３３２が生成した第１被写体１００の立体的な画像１０２を入力し、その姿勢と、学習モデルとに基づいて、ジェネレータ３３２が生成した第１被写体１００の立体的な画像１０２の真贋を判定する。ディスクリミネータ３３３による判定の結果、ジェネレータ３３２が生成した第１被写体の立体的な画像１０２が正しい場合、リプロジェクションによって第１被写体１００の立体的な画像１０２を２次元の画像に射影する。
ＫＳＣは、第１被写体１００（一例として、人物等）の姿勢を表す身体モデル１０１の「骨」の繋がりを表す運動学的な空間であり、概略すると関節同士の距離（例えば、「骨」の長さ）が定数であるように記述するものである。ディスクリミネータ３３３は、前述した運動学的な空間上で画像情報が生成されたものか実世界のものかを見破ろうとするように設計されている。

【0034】

以下、生成部３３について具体的に説明する。
生成部３３は、複数の画像情報を生成することとして、受付部３２によって受け付けた画像情報に基づいて、被写体の奥行方向の深度情報を有する第１被写体１００の複数の画像情報を生成することとしてもよい。複数の方向から被写体を視認する場合、その被写体を立体的に観察することが可能である。この場合、立体的に観察することによって、被写体は深度情報を有すると考えることが可能である。本実施形態の場合も同様に、複数の方向から第１被写体１００を視認したような画像情報を生成する場合、画像情報は、深度情報を有すると考えることが可能である。

【0035】

生成部３３は、複数の画像情報として、すなわち、少なくとも２つ以上の方向から見た画像情報を生成する。この場合、例えば、生成部３３は、第１被写体１００の周囲、すなわち、第１被写体１００が配される平面の方向に沿って間隔をあけて囲むようにその第１被写体１００を見た複数の画像情報を生成することとしてもよい。また、例えば、生成部３３は、複数の画像情報を生成する場合、第１被写体１００の平面方向に加えて、第１被写体１００に対して高さ方向の視点を有する複数の画像情報を生成することとしてもよい。

【0036】

より具体的には、生成部３３は、複数の画像情報を生成することとして、学習モデル（第１学習モデル）と、受付部３２によって受け付けた画像情報とに基づいて、第１被写体１００を複数の方向から視認する場合の複数の画像情報を生成することとしてもよい。第１学習モデルは、例えば、複数の方向から被写体（第２被写体）を視認した場合の画像情報を学習することにより生成されてもよい。第１学習モデルは、情報処理装置３０（例えば、生成部３３又は制御部３１等）によって生成されてもよいし、情報処理装置３０の外部で生成されたものを生成部３３が取得してもよい。一例として、生成部３３は、１の方向から第２被写体を見た場合の画像情報と、その時に第２被写体を他の１又は複数の方向から見た場合の画像情報とを学習することにより、第２被写体の姿勢を示す第１学習モデルを生成する。第２被写体は、身体モデルの生成の対象となる第１被写体１００と同類のものである。例えば、第１被写体１００が人物の場合には、第２被写体も人物となる。
生成部３３は、第１学習モデルと、第１被写体１００が記録される画像情報に基づいて、第１被写体１００の立体的な（深度情報を有する）姿勢を推定する複数の画像情報を生成する。

【0037】

次に、生成部３３は、身体モデル１０１を生成することとして、複数の画像情報に基づいて生成される第１被写体１００の３次元の姿勢に基づいて、第１被写体１００の身体モデル１０１を生成することとしてもよい。生成部３３は、上述したように第１被写体１００の立体的な姿勢が推定されると、その第１被写体１００の姿勢と、後述する学習モデル（第２学習モデル）とに基づいて、第１被写体１００の身体モデル１０１を生成する。この場合、生成部３３は、身体モデル１０１として第１被写体１００の３次元の姿勢を示す身体モデルを生成することとしてもよい。身体モデル１０１は、第１被写体１００の複数の特徴点（例えば、関節等）と、互いに隣接する特徴点を結ぶ線とで構成されるモデル等であってもよい。

【0038】

上述したように、生成部３３は、身体モデル１０１を生成することとして、学習モデル（第２学習モデル）と、第１被写体１００の複数の画像情報とに基づいて、第１被写体１００の身体モデル１０１を生成することとしてもよい。第２学習モデルは、例えば、被写体としての第３被写体の姿勢との真贋を見分けるように学習することにより生成されてもよい。例えば、情報処理装置３０（例えば、生成部３３又は制御部３１等）は、学習モデル（第２学習モデル）を生成してもよい。なお、第２学習モデルは、前述したように情報処理装置３０（例えば、生成部３３又は制御部３１等）によって生成されてもよいし、情報処理装置３０の外部で生成されたものを生成部３３が取得してもよい。一例として、情報処理装置３０（例えば、生成部３３又は制御部３１等）は、複数の画像情報に基づいて生成される被写体（第３被写体）の立体的な（３次元の）姿勢と、その第３被写体の実在する立体的な画像（姿勢）とを学習することに基づいて、第２学習モデルを生成してもよい。実在する立体的な画像（姿勢）は、上述したジェネレータ３３２によって生成される画像ではないというような意味であり、一例として、被写体の立体的な画像（姿勢）を撮像するカメラ部（一例として、３次元カメラ等）（図示せず）によって生成される画像等を始めとする種々の立体的な画像であってもよい。第３被写体は、身体モデル１０１の生成の対象となる第１被写体１００と同類のものである。例えば、第１被写体１００が人物の場合には、第３被写体も人物となる。
生成部３３は、複数の画像情報に基づいて生成される被写体の３次元の姿勢と、被写体の実在する立体的な画像とを学習することにより生成された学習モデル（第２学習モデル）を利用することにより、上述したように生成部３３によって生成された第１被写体１００を複数の方向から見たような複数の画像情報に基づいて、第１被写体１００の身体モデル１０１を生成する。

【0039】

出力制御部３４は、生成部３３によって生成された身体モデル１０１を出力するよう出力部を制御する。出力部は、上述したように、例えば、通信部３５、記憶部３６及び表示部３７等であってもよい。
出力制御部３４は、例えば、身体モデル１０１の情報を外部に送信するよう通信部３５を制御してもよい。出力制御部３４は、例えば、サーバ２０及び外部装置等の少なくとも一方に身体モデル１０１の情報を送信するよう制御してもよい。
出力制御部３４は、例えば、身体モデル１０１の情報を記憶部３６に記憶するよう制御してもよい。
出力制御部３４は、例えば、身体モデル１０１を表示部３７に表示するよう制御してもよい。

【0040】

情報処理装置３０では、上述したように生成される身体モデル１０１は、第１被写体１００を示すものである。すなわち、情報処理装置３０は、第１被写体１００の特徴を有するように身体モデル１０１を生成する。第１被写体１００の特徴は、例えば、互いに隣接する関節の長さ（骨の長さ）であってもよい。したがって、情報処理装置３０は、受付部３２によって受け付ける画像情報に複数の被写体が記録される場合には、それぞれの身体モデル１０１を生成することにより、被写体それぞれを識別することが可能である。情報処理装置３０は、受付部３２によって受け付ける画像情報（画像）が、時間的に連続して若しくは間欠的に生成される静止画、又は、動画の場合には、複数の被写体それぞれの移動を追跡することが可能になる。

【0041】

また、情報処理装置３０は、複数のカメラ部１０又はカメラ装置（図示せず）によって画像情報が生成される場合でも、例えば、１のカメラ部１０によって生成される画像情報に基づいて第１被写体１００の身体モデル１０１を生成することにより、他のカメラ部１０によって生成される画像情報に第１被写体１００が記録されるときには、１のカメラ部１０及び他のカメラ部１０それぞれで生成される画像情報に基づいて第１被写体１００の身体モデル１０１を生成することにより、それぞれの第１被写体１００が同一か否かを推定することが可能になる。

【0042】

したがって、一例として、情報処理装置３０は、１のカメラ部１０によって生成される画像情報に第１被写体１００が記録され、他のカメラ部１０によって生成される画像情報にその第１被写体１００が記録されていない場合に、その第１被写体１００が移動して他のカメラ部１０によって生成される画像情報にその第１被写体１００が記録されるようになるときでも、２つの画像情報に基づいてそれぞれの第１被写体１００の身体モデル１０１を生成することにより、第１被写体１００が同一（同一人物）か否かを推定することが可能になる。

【0043】

次に、一実施形態に係る情報処理方法について説明する。
図５は、一実施形態に係る情報処理方法について説明するためのフローチャートである。

【0044】

ステップＳＴ１０１において、受付部３２は、画像情報を受け付ける。受付部３２は、例えば、カメラ部１０、サーバ２０及び外部装置（図示せず）等から送信される画像情報を、通信部３５を介して受け付ける。画像情報は、１つの方向から被写体（第１被写体１００）を撮像することに基づく画像情報であってもよい。

【0045】

ステップＳＴ１０２において、生成部３３は、ステップＳＴ１０１で受け付けた画像情報に基づいて、その画像情報に記録される第１被写体１００を複数の方向から視認するような場合の複数の画像情報を生成する。この場合、複数の画像情報は、第１被写体１００を複数の方向から視認することにより、第１被写体１００に対する奥行方向の情報（深度情報）を有すると考えることが可能である。生成部３３は、一例として、ＶＡＥを利用して、複数の画像情報を生成することとしてもよい。

【0046】

ステップＳＴ１０３において、生成部３３は、ステップＳＴ１０２で生成された複数の画像情報に基づいて、第１被写体１００の身体モデル１０１を生成する。この場合、生成部３３は、ステップＳＴ１０２で生成される複数の画像情報に基づいて生成される第１被写体１００の３次元の姿勢と、第２学習モデルとに基づいて、第１被写体１００の身体モデル１０１を生成することとしてもよい。すなわち、生成部３３は、一例として、ＧＡＮを利用して、第１被写体１００の身体モデル１０１を生成してもよい。この場合、生成部３３は、２次元空間で表現される立体的な身体モデル１０１を生成してもよい。

【0047】

ステップＳＴ１０４において、出力制御部３４は、ステップＳＴ１０３で生成された身体モデル１０１を出力するよう制御する。出力制御部３４は、例えば、身体モデル１０１の情報を外部に送信するよう通信部３５を制御してもよい。出力制御部３４は、例えば、身体モデル１０１の情報を記憶部３６に記憶するよう制御してもよい。出力制御部３４は、例えば、身体モデル１０１を表示部３７に表示するよう制御してもよい。

【0048】

次に、本実施形態の効果について説明する。
情報処理装置３０は、１つの方向から被写体としての第１被写体１００を撮像することに基づく画像情報を受け付ける受付部３２と、受付部３２によって受け付けた画像情報に基づいて、第１被写体１００を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体１００の身体モデル１０１を生成する生成部３３と、生成部３３によって生成された身体モデル１０１を出力する出力部と、を備える。
これにより、情報処理装置３０は、第１被写体１００の身体モデル１０１を従来よりも容易に生成することができる。
また、情報処理装置３０は、生成部３３に例えばＶＡＥＧＡＮを利用して身体モデル１０１を生成するため、より正確な身体モデル１０１を生成することができる。
また、情報処理装置３０では、生成される身体モデル１０１は第１被写体１００を示すものである。このため、情報処理装置３０は、身体モデル１０１に基づいて第１被写体１００を特定することが可能である。例えば、情報処理装置３０は、受付部３２によって受け付けた画像情報に複数の被写体（一例として、人物等）が記録される場合には、それぞれの被写体の身体モデル１０１を生成することができ、身体モデル１０１に基づいて複数の被写体を識別することができる。したがって、情報処理装置３０は、時間的に連続して又は間欠的に撮像される静止画又は動画を画像情報として受け付けることにより、複数の被写体それぞれが移動する場合でも、それらの被写体を追跡することができる。

【0049】

情報処理装置３０では、生成部３３は、受付部３２によって受け付けた画像情報に基づいて、被写体の奥行方向の深度情報を有する第１被写体１００の複数の画像情報を生成することとしてもよい。
これにより、情報処理装置３０は、第１被写体１００の立体的な画像１０２を得ることができ、第１被写体１００の立体的な姿勢を推定することができる。

【0050】

情報処理装置３０では、生成部３３は、複数の方向から被写体としての第２被写体を視認した場合の画像情報を学習することにより生成される学習モデルと、受付部３２によって受け付けた画像情報とに基づいて、第１被写体１００を複数の方向から視認する場合の複数の画像情報を生成することとしてもよい。
これにより、情報処理装置３０は、例えば、ＶＡＥ等を利用して、複数の画像情報を生成することができる。情報処理装置３０は、学習を相対的に多くすることにより、第１被写体１００の種々の姿勢に応じた複数の画像情報を生成することができる。

【0051】

情報処理装置３０では、生成部３３は、複数の画像情報に基づいて生成される、第１被写体１００の３次元の姿勢に基づいて、第１被写体１００の身体モデル１０１を生成することとしてもよい。
すなわち、情報処理装置３０は、第１被写体１００の身体モデル１０１を生成することができる。

【0052】

情報処理装置３０では、生成部３３は、複数の画像情報に基づいて生成される被写体の３次元の姿勢と、被写体の実在する立体的な画像とを学習することにより生成される学習モデルを利用することにより、第１被写体１００の３次元の姿勢に基づいて、第１被写体１００の身体モデル１０１を生成することとしてもよい。
これにより、情報処理装置３０は、例えば、ＧＡＮを利用して、第１被写体１００の身体モデル１０１を生成することができる。情報処理装置３０は、例えば、ＧＡＮを利用することで、生成される身体モデル１０１の真贋を推定するため、より正確な身体モデル１０１を生成することができる。

【0053】

情報処理装置３０では、生成部３３は、身体モデル１０１として第１被写体１００の３次元の姿勢を示す身体モデル１０１を生成することとしてもよい。
すなわち、情報処理装置３０は、第１被写体１００の立体的な姿勢を推定した後、２次元空間で表現される身体モデル１０１を生成することができる。

【0054】

情報処理方法では、コンピュータが、１つの方向から被写体としての第１被写体１００を撮像することに基づく画像情報を受け付ける受付ステップと、受付ステップによって受け付けた画像情報に基づいて、第１被写体１００を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体１００の身体モデル１０１を生成する生成ステップと、生成ステップによって生成された身体モデル１０１を出力する出力ステップと、を実行する。
これにより、情報処理方法は、第１被写体１００の身体モデル１０１を従来よりも容易に生成することができる。
また、情報処理装置３０は、生成ステップにおいて例えばＶＡＥＧＡＮを利用して身体モデル１０１を生成するため、より正確な身体モデル１０１を生成することができる。
また、情報処理方法では、生成される身体モデル１０１は第１被写体１００を示すものである。このため、情報処理方法は、身体モデル１０１に基づいて第１被写体１００を特定することが可能である。例えば、情報処理方法は、受付部３２によって受け付けた画像情報に複数の被写体（一例として、人物等）が記録される場合には、それぞれの被写体の身体モデル１０１を生成することができ、身体モデル１０１に基づいて複数の被写体を識別することができる。したがって、情報処理方法は、時間的に連続して又は間欠的に撮像される静止画又は動画を画像情報として受け付けることにより、複数の被写体それぞれが移動する場合でも、それらの被写体を追跡することができる。

【0055】

情報処理プログラムは、コンピュータに、１つの方向から被写体としての第１被写体１００を撮像することに基づく画像情報を受け付ける受付機能と、受付機能によって受け付けた画像情報に基づいて、第１被写体１００を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体１００の身体モデル１０１を生成する生成機能と、生成機能によって生成された身体モデル１０１を出力する出力機能と、を実現させる。
これにより、情報処理プログラムは、第１被写体１００の身体モデル１０１を従来よりも容易に生成することができる。
また、情報処理装置３０は、生成機能に例えばＶＡＥＧＡＮを利用して身体モデル１０１を生成するため、より正確な身体モデル１０１を生成することができる。
また、情報処理プログラムでは、生成される身体モデル１０１は第１被写体１００を示すものである。このため、情報処理プログラムは、身体モデル１０１に基づいて第１被写体１００を特定することが可能である。例えば、情報処理プログラムは、受付部３２によって受け付けた画像情報に複数の被写体（一例として、人物等）が記録される場合には、それぞれの被写体の身体モデル１０１を生成することができ、身体モデル１０１に基づいて複数の被写体を識別することができる。したがって、情報処理プログラムは、時間的に連続して又は間欠的に撮像される静止画又は動画を画像情報として受け付けることにより、複数の被写体それぞれが移動する場合でも、それらの被写体を追跡することができる。

【0056】

上述した情報処理装置３０の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置３０の受付部３２、生成部３３及び出力制御部３４は、コンピュータの演算処理装置等による受付機能、生成機能及び出力制御機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置３０の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置３０の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置３０の受付部３２、生成部３３及び出力制御部３４は、コンピュータの演算処理装置等を構成する受付回路、生成回路及び出力制御回路として実現されてもよい。
また、情報処理装置３０の通信部３５、記憶部３６及び表示部３７（出力部）は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置３０の通信部３５、記憶部３６及び表示部３７（出力部）は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置３０の通信部３５、記憶部３６及び表示部３７（出力部）は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。

【符号の説明】

【0057】

１ 情報処理システム
１０ カメラ部
２０ サーバ
３０ 情報処理装置
３１ 制御部
３２ 受付部
３３ 生成部
３４ 出力制御部
３５ 通信部
３６ 記憶部
３７ 表示部

【要約】

【課題】被写体の身体モデルを従来よりも容易に生成することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、１つの方向から被写体としての第１被写体を撮像することに基づく画像情報を受け付ける受付部と、受付部によって受け付けた画像情報に基づいて、第１被写体を複数の方向から視認するような場合の複数の画像情報を生成し、その複数の画像情報に基づいて、第１被写体の身体モデルを生成する生成部と、生成部によって生成された身体モデルを出力する出力部と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】