特開 2022-147658 ３次元モデル生成装置、３次元モデル生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022147658

(43)【公開日】2022-10-06

(54)【発明の名称】３次元モデル生成装置、３次元モデル生成方法およびプログラム

(51)【国際特許分類】

   G06T 17/00 20060101AFI20220929BHJP

   G06T 13/40 20110101ALI20220929BHJP

   G06F 3/04845 20220101ALI20220929BHJP

【ＦＩ】

G06T17/00

G06T13/40

G06F3/0484 150

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021048997

(22)【出願日】2021-03-23

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】野口 浩史

【テーマコード（参考）】

5B050

5B080

5E555

【Ｆターム（参考）】

5B050AA08

5B050BA08

5B050BA09

5B050BA12

5B050CA01

5B050DA04

5B050EA19

5B050EA24

5B050EA26

5B050FA02

5B050FA05

5B080AA00

5B080CA00

5B080FA02

5B080FA08

5B080GA11

5B080GA22

5E555AA25

5E555BA02

5E555BB02

5E555BC01

5E555BE17

5E555CA42

5E555DA08

5E555DA09

5E555DB32

5E555EA05

5E555EA19

5E555EA27

5E555FA00

(57)【要約】

【課題】ＶＲ空間に参加させるための全身の３次元モデルを容易に生成可能とする。
【解決手段】撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成する上半身モデル生成部と、撮影画像情報に基づいて被写体の属性を解析して予め設定された複数の下半身の３次元モデルから被写体の上半身に対する下半身の３次元モデルを選択する下半身モデル選択部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成する上半身モデル生成部と、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択する下半身モデル選択部と、
を備える３次元モデル生成装置。

【請求項2】

仮想空間の状況を示す情報に応じて前記選択された下半身の３次元モデルの動きを選択する下半身モーション選択部を備える、
請求項１に記載の３次元モデル生成装置。

【請求項3】

前記撮影画像情報に基づいて前記被写体の上半身の姿勢を解析して状態を推定する上半身姿勢推定部を備え、
前記下半身モーション選択部は、前記仮想空間の状況を示す情報と前記上半身姿勢推定部が推定した上半身の姿勢との基づき、下半身の３次元モデルの動きを選択する、
請求項２に記載の３次元モデル生成装置。

【請求項4】

撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、
を含む３次元モデル生成方法。

【請求項5】

撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、
を３次元モデル生成装置として動作するコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元モデル生成装置、３次元モデル生成方法およびプログラムに関する。

【背景技術】

【0002】

近年、仮想現実（ＶＲ：Virtual Reality）を実現したＶＲ空間を複数のユーザで共有することで、ＶＲ空間を利用した会議が増加している。このような会議では、ユーザに対応したアバターを生成し、ＶＲ空間に参加することが考えられる。複数のユーザが参加するウェブ会議は、ユーザ同士が離れた場所から端末およびネットワークを通して行われる。この場合、自分をカメラにより撮影し、自分の２次元撮影画像に基づいて３次元画像を生成し、自分の３次元画像をＶＲ空間に参加させる。このような３次元モデル生成方法としては、例えば、下記特許文献１に記載されたものがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１１３４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、カメラで撮影した自分の２次元撮影画像に基づいて３次元画像を生成するとき、一般的に、自分の上半身の３次元画像を生成している。しかし、ＶＲ空間のようなコミュニケーション空間では、空間の臨場感を出すために、自分の全身の３次元画像を生成して会議に参加することが求められている。

【0005】

本発明は、上記に鑑みてなされたものであって、ＶＲ空間に参加させるための全身の３次元モデルを容易に生成可能とすることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る３次元モデル生成装置は、撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成する上半身モデル生成部と、前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択する下半身モデル選択部と、を備える。

【0007】

本発明に係る３次元モデル生成方法は、撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、を含む。

【0008】

本発明に係るプログラムは、撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、を３次元モデル生成装置として動作するコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、ＶＲ空間に参加させるための全身の３次元モデルを容易に生成することができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、第１実施形態に係る３次元モデル生成システムを表すブロック構成図である。

【図2】図２は、下半身モデルデータベースにおける男性の下半身モデルの一例を表す説明図である。

【図3】図３は、下半身モデルデータベースにおける女性の下半身モデルの一例を表す説明図である。

【図4】図４は、全身モデルの生成方法の一例を表す説明図である。

【図5】図５は、第２実施形態に係る３次元モデル生成システムを表すブロック構成図である。

【図6】図６は、下半身３次元モーションデータベースにおける下半身の３次元モーションの一例を表す説明図である。

【図7】図７は、第３実施形態に係る３次元モデル生成システムを表すブロック構成図である。

【図8】図８は、上半身モデルの正姿勢に対する下半身モデルの姿勢の一例を表す説明図である。

【図9】図９は、上半身モデルの後傾姿勢に対する下半身モデルの姿勢の一例を表す説明図である。

【図10】図１０は、上半身モデルの前傾姿勢に対する下半身モデルの姿勢の一例を表す説明図である。

【図11】図１１は、上半身モデルの頬杖姿勢に対する下半身モデルの姿勢の一例を表す説明図である。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して、本発明に係る３次元モデル生成装置、３次元モデル生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0012】

＜第１実施形態＞
［３次元モデル生成システム］
第１実施形態では、仮想現実を実現したＶＲ空間を複数のユーザで共有する会議において、ユーザの３次元モデル（アバター）を生成する装置および方法について説明する。なお、３次元モデル生成装置および方法は、ＶＲ空間を利用した会議だけではなく、例えば、ＶＲ空間を利用した展示会、展覧会、宴会などにも適用することができる。

【0013】

図１は、第１実施形態に係る３次元モデル生成システムを表すブロック構成図である。

【0014】

第１実施形態において、図１に示すように、３次元モデル生成システム１０は、カメラ（撮影装置）１１と、３次元モデル生成装置１２と、表示装置１３とを備える。

【0015】

カメラ１１は、ユーザ（被写体）を撮影した撮影画像情報を取得する。カメラ１１は、ユーザである自分の上半身を撮影可能である。この場合、カメラ１１は、ユーザの頭部から少なくとも腰部までの上半身を撮影することが好ましい。カメラ１１は、撮影画像情報を３次元モデル生成装置１２へ送信する。

【0016】

３次元モデル生成装置１２は、カメラ１１が撮影した撮影画像情報に基づいて、ユーザの全身の３次元モデルを生成する。３次元モデル生成装置１２は、生成した全身の３次元モデル を仮想空間構成システム１４へ送信する。３次元モデル生成装置１２は、例えばＣＰＵな（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）どの演算回路を含む。３次元モデル生成装置１２の具体的な構成は後述する。

【0017】

仮想空間構成システム１４は、インターネッなどのネットワークを介して複数のユーザのパーソナルコンピュータ（３次元モデル生成装置１２）に接続する。仮想空間構成システム１４は、複数のユーザのパーソナルコンピュータ（３次元モデル生成装置１２）で生成された全身の３次元モデルに基づき、ＶＲ空間の情報を生成する。仮想空間構成システム１４は、生成したＶＲ空間の情報を表示装置１３へ出力する。なお、仮想空間構成システム１４は、例えば、サーバなどである。

【0018】

表示装置１３は、仮想空間構成システム１４から取得したＶＲ空間の情報をもとに、ユーザ自身から見たＶＲ空間の画像を表示する。表示装置１３は、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）や、液晶ディスプレイなどである。

【0019】

下半身モデルデータベース２６は、予め設定された複数の下半身の３次元モデルが格納されている。下半身モデルデータベース２６は、３次元モデル生成装置１２の要求に基づき、所定の下半身の３次元モデルを３次元モデル生成装置１２へ出力するが、詳細は後述する。なお、下半身モデルデータベース２６は、例えば、サーバなどであり、少なくともＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置やメモリを含む。なお、仮想空間構成システム１４と下半身モデルデータベース２６とは一体の構成であってもよい。

【0020】

３次元モデル生成装置１２は、上半身モデル生成部２１と、下半身モデル選択部２２と、全身モデル生成部２３とを備える。また、３次元モデル生成装置１２は、性別解析部２４と、服装解析部２５とを備える。下半身モデル選択部２２は、下半身モデルデータベース２６に接続される。

【0021】

上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。具体的に、カメラ１１が撮影したユーザの上半身２次元モデルに基づいて上半身の３次元モデルを生成する。上半身の３次元モデルを生成方法としては、例えば、光切断法やパターン投影法など既存の技術を利用することが好ましい。

【0022】

性別解析部２４および服装解析部２５は、ユーザの属性を解析する。ここで、属性とは、ユーザの性別と服装であるが、それ以外であってもよい。性別解析部２４は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、ユーザが男性であるか女性であるかを特定する。服装解析部２５は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの服装を解析し、服装の種類を特定する。なお、性別解析部２４および服装解析部２５による解析は、例えば、ＡＩ（人工知能）を用いた画像解析であり、深層学習（ディープラーニング）などの機械学習を用いればよい。但し、性別解析部２４および服装解析部２５による解析は、ＡＩを用いた画像解析に限定されるものではなく、その他の解析方法を用いてもよい。

【0023】

下半身モデル選択部２２は、性別解析部２４および服装解析部２５の解析結果に基づいて下半身の３次元モデルを選択する。下半身モデルデータベース２６は、予め設定された複数の下半身の３次元モデルが格納されている。下半身モデル選択部２２は、性別解析部２４が特定したユーザの性別と服装解析部２５が特定した服装の種類に基づいて、下半身モデルデータベース２６に格納された複数の下半身の３次元モデルの中から、ユーザの性別と服装の種類に最適な同姓で同様の服装をした下半身の３次元モデルを選択する。

【0024】

全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させることで、全身の３次元モデルを生成する。なお、下半身モデル選択部２２は、色情報やテクスチャ情報を有していない。そのため、全身モデル生成部２３は、ユーザの上半身の３次元モデルと下半身の３次元モデルを合成させるとき、上半身の３次元モデルにおける色情報やテクスチャ情報に応じて下半身の３次元モデルに色情報やテクスチャ情報を付加して全身の３次元モデルを生成する。

【0025】

［３次元モデル生成方法］
図２は、下半身モデルデータベースにおける男性の下半身モデルの一例を表す説明図、図３は、下半身モデルデータベースにおける女性の下半身モデルの一例を表す説明図、図４は、全身モデルの生成方法の一例を表す説明図である。

【0026】

第１実施形態の３次元モデル生成方法は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成するステップと、カメラ１１の撮影画像情報に基づいてユーザの属性を解析して予め設定された複数の下半身の３次元モデルからユーザの上半身に最適な下半身の３次元モデルを選択するステップと、上半身の３次元モデルと下半身の３次元モデルを合成させて全身の３次元モデルを生成するステップとを含む。

【0027】

図１に示すように、上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。性別解析部２４は、ユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、服装解析部２５は、ユーザの上半身の撮影画像情報に基づいてユーザの服装を解析する。下半身モデル選択部２２は、性別解析部２４が解析したユーザの性別と服装解析部２５が解析したユーザの服装の種類に基づいて最適な下半身の３次元モデルを選択する。

【0028】

図２に示すように、下半身モデルデータベース２６は、ユーザが男性であれば、（ａ）スーツのパンツ姿、（ｂ）ボタンシャツのパンツ姿などの複数の下半身の３次元モデルが格納されている。また、図３に示すように、下半身モデルデータベース２６は、ユーザが女性であれば、（ａ）パンツ姿、（ｂ）スカート姿などの複数の下半身の３次元モデルが格納されている。なお、性別として、男性と女性だけでなく、大人の男性および女性や子供の男性および女性の下半身の３次元モデルを用意したり、ユニセックスの下半身の３次元モデルを用意したりしてもよい。

【0029】

図１に示すように、全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させる。図１および図４に示すように、上半身モデル生成部２１がスーツのジャケット姿をした上半身の３次元モデル（ａ）を生成すると、下半身モデル選択部２２は、下半身モデルデータベース２６からスーツのパンツ姿をした下半身の３次元モデル（ｂ）を選択する。この場合、下半身モデル選択部２２は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルに対して最適な下半身の３次元モデルを選択する。ここで、最適な下半身の３次元モデルとは、上半身の３次元モデルに対して性別や服装の種類が類似している下半身の３次元モデルである。

【0030】

全身モデル生成部２３は、上半身の３次元モデルと下半身の３次元モデルを合成させるとき、上半身の３次元モデルのウエストサイズと下半身の３次元モデルのウエストサイズとが同じになるように、下半身の３次元モデルのスケール比を調整する。また、全身モデル生成部２３は、上半身の３次元モデルの服装と下半身の３次元モデルの服装の繋がりを考慮して上下方向における結合位置を調整する。このとき、全身モデル生成部２３は、生成した全身の３次元モデルが予め決めておいた平均身長となるように、上半身の３次元モデルと下半身の３次元モデルとの結合位置を調整してもよい。さらに、全身モデル生成部２３は、上半身３次元モデルと下半身３次元モデルとの接合部分に違和感を生じさせないように、接合部分似対して平滑化処理を行う。そして、全身モデル生成部２３は、全身の３次元モデルを生成するとき、上半身の３次元モデルにおける服装の色やテクスチャに合わせて、下半身の３次元モデルに色やテクスチャを付加する。

【0031】

＜第２実施形態＞
［３次元モデル生成システム］
図５は、第２実施形態に係る３次元モデル生成システムを表すブロック構成図である。

【0032】

第２実施形態において、図５に示すように、３次元モデル生成システム１０Ａは、カメラ１１と、３次元モデル生成装置１２Ａと、表示装置１３とを備える。ここで、カメラ１１と表示装置１３は、第１実施形態と同様であることから、説明は省略する。

【0033】

下半身モーションデータベース３７は、予め設定された複数の下半身の３次元モーションが格納されている。なお、３次元モーションとは、３次元モデルの動きを意味する。下半身モーションデータベース３７は、３次元モデル生成装置１２の要求に基づき、所定の下半身の３次元モデルを３次元モデル生成装置１２へ出力するが、詳細は後述する。なお、下半身モデルデータベース２６は、例えば、サーバなどであり、少なくともＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置やメモリを含む。なお、仮想空間構成システム１４と下半身モデルデータベース２６とは一体の構成であってもよい。

【0034】

３次元モデル生成装置１２Ａは、カメラ１１が撮影した撮影画像情報に基づいて、ユーザの全身の３次元モデルを生成すると共に、全身の３次元モーションを生成する。

【0035】

３次元モデル生成装置１２Ａは、上半身モデル生成部２１と、下半身モデル選択部２２と、全身モデル生成部２３と、性別解析部２４と、服装解析部２５とを備え、下半身モデル選択部２２に下半身モデルデータベース２６が接続される。また、３次元モデル生成装置１２Ａは、ヘッドトラッキング部（上半身モーション取得部）３１と、フェイストラッキング部（上半身モーション取得部）３２と、ハンドトラッキング部（上半身モーション取得部）３３と、ボーン付加部３４と、下半身モーション選択部３５と、全身モーション生成部３６とを備える。下半身モーション選択部３５は、下半身モーションデータベース３７に接続される。

【0036】

上半身モデル生成部２１と下半身モデル選択部２２と全身モデル生成部２３と性別解析部２４と服装解析部２５と下半身モデルデータベース２６は、第１実施形態と同様であることから、説明は省略する。

【0037】

ヘッドトラッキング部３１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの頭の位置を追跡することで、ユーザの頭の３次元モーションを取得する。フェイストラッキング部３２は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの顔の表情を追跡することで、ユーザの顔の３次元モーションを取得する。ハンドトラッキング部３３は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの手の位置を追跡することで、ユーザの手の３次元モーションを取得する。ヘッドトラッキング部３１とフェイストラッキング部３２とハンドトラッキング部３３による解析は、例えば、ＡＩを用いた画像解析であるが、その他の解析方法を用いてもよい。

【0038】

ボーン付加部３４は、全身モデル生成部２３が生成したユーザの全身の３次元モデルに対して、ユーザの関節情報を付加する。ユーザの関節情報は、ユーザに応じて予め設定しておくことが好ましい。

【0039】

下半身モーション選択部３５は、仮想空間構成システム１４から取得したＶＲ空間のシチュエーション情報に応じて最適な下半身の３次元モーションを選択する。ＶＲ空間のシチュエーション情報とは、ＶＲ空間の状況を示す情報である。ＶＲ空間のシチュエーション情報とは、例えば、会議と設定された情報であり、また３次元モデルが座るという状況を示す情報である。下半身モーション選択部３５は、ＶＲ空間のシチュエーション情報に基づいて、下半身モーションデータベース３７に格納された複数の下半身の３次元モーションの中から、ＶＲ空間のシチュエーション情報に最適な下半身の３次元モーションを選択する。

【0040】

全身モーション生成部３６は、全身モデル生成部２３が生成してボーン付加部３４が関節情報を付加したユーザの全身の３次元モデルに対して、ヘッドトラッキング部３１が取得したユーザの頭の３次元モーションと、フェイストラッキング部３２が取得したユーザの顔の３次元モーションと、ハンドトラッキング部３３が取得したユーザの手の３次元モーションと、下半身モーション選択部３５が選択した下半身の３次元モーションとを合成させることで、全身の３次元モーションを生成する。

【0041】

３次元モデル生成装置１２Ａは、ユーザの全身の３次元モデルおよび全身の３次元モーションを生成すると、生成した全身の３次元モデルおよび全身の３次元モーションを仮想空間構成システム１４に出力する。３次元モデル生成システム１０は、接続されたユーザの全身の３次元モデルおよび全身の３次元モーションに基づいてＶＲ空間を生成する。表示装置１３は、仮想空間構成システム１４が生成したＶＲ空間の情報に基づいて、ユーザ自身から見たＶＲ空間の画像を表示する。

【0042】

［３次元モデル生成方法］
図６は、下半身３次元モーションデータベースにおける下半身の３次元モーションの一例を表す説明図である。

【0043】

図５に示すように、上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。性別解析部２４は、ユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、服装解析部２５は、ユーザの上半身の撮影画像情報に基づいてユーザの服装を解析する。下半身モデル選択部２２は、性別解析部２４が解析したユーザの性別と服装解析部２５が解析したユーザの服装の種類に基づいて最適な下半身の３次元モデルを選択する。全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させ、全身の３次元モデルを生成する。そして、ボーン付加部３４は、全身モデル生成部２３が生成したユーザの全身の３次元モデルにユーザの関節情報を付加する。

【0044】

下半身モーション選択部３５は、下半身モーションデータベース３７からＶＲ空間のシチュエーション情報に適合した下半身の３次元モーションを選択する。ＶＲ空間のシチュエーション情報に適合した下半身の３次元モーションとは、例えば、ＶＲ空間におけるユーザの姿勢（立位姿勢、座位姿勢など）に応じた下半身の３次元モーションである。例えば、図６に示すように、ユーザが座位姿勢であれば、下半身の３次元モーションは、（ａ）左足を組む姿勢、（ｂ）右足を組む姿勢、（ｃ）膝を合わせる姿勢、（ｄ）膝を開く姿勢、（ｅ）足首を交差させる姿勢、（ｆ）足をそろえる姿勢、を繰り返し行うモーションである。また、ユーザの姿勢が立位姿勢であれば、同様に、足を組む姿勢、足を閉じる姿勢、足を開く姿勢などを組み合わせて下半身の３次元モーションを構成すればよい。なお、下半身の３次元モーションを構成する姿勢の数は、６個に限るものではない。

【0045】

全身モーション生成部３６は、ユーザの全身の３次元モデルに対して、頭の３次元モーションと顔の３次元モーションと手の３次元モーションを合成すると共に、下半身の３次元モーションを合成させることで、全身の３次元モーションを生成する。

【0046】

＜第３実施形態＞
［３次元モデル生成システム］
図７は、第３実施形態に係る３次元モデル生成システムを表すブロック構成図である。

【0047】

第３実施形態において、図７に示すように、３次元モデル生成システム１０Ｂは、カメラ１１と、３次元モデル生成装置１２Ｂと、表示装置１３とを備える。ここで、カメラ１１と表示装置１３は、第１実施形態と同様であることから、説明は省略する。

【0048】

３次元モデル生成装置１２Ｂは、カメラ１１が撮影した撮影画像情報に基づいて、ユーザの全身の３次元モデルを生成すると共に、全身の３次元モーションを生成する。

【0049】

３次元モデル生成装置１２Ｂは、上半身モデル生成部２１と、下半身モデル選択部２２と、全身モデル生成部２３と、性別解析部２４と、服装解析部２５とを備え、下半身モデル選択部２２に下半身モデルデータベース２６が接続される。また、３次元モデル生成装置１２Ｂは、ヘッドトラッキング部３１と、フェイストラッキング部３２と、ハンドトラッキング部３３と、ボーン付加部３４と、下半身モーション選択部３５と、全身モーション生成部３６とを備える。下半身モーション選択部３５は、下半身モーションデータベース３７に接続される。さらに、３次元モデル生成装置１２Ｂは、上半身姿勢推定部４１を備える。

【0050】

上半身モデル生成部２１と下半身モデル選択部２２と全身モデル生成部２３と性別解析部２４と服装解析部２５と下半身モデルデータベース２６は、第１実施形態と同様であることから、説明は省略する。また、ヘッドトラッキング部３１とフェイストラッキング部３２とハンドトラッキング部３３とボーン付加部３４は、第２実施形態と同様であることから、説明は省略する。

【0051】

上半身姿勢推定部４１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの上半身の姿勢を解析して状態を推定する。上半身姿勢推定部４１は、例えば、ユーザの正姿勢、前傾姿勢、後傾姿勢などを特定する。上半身姿勢推定部４１による解析は、例えば、ＡＩを用いた画像解析であるが、その他の解析方法を用いてもよい。

【0052】

下半身モーション選択部３５は、仮想空間構成システム１４から取得したＶＲ空間のシチュエーション情報と上半身姿勢推定部４１が推定したユーザの上半身の姿勢状態に応じて最適な下半身の３次元モーションを選択する。全身モーション生成部３６は、ユーザの全身の３次元モデルに、ユーザの頭の３次元モーションと、ユーザの顔の３次元モーションと、ユーザの手の３次元モーションと、ユーザの下半身の３次元モーションとを合成させることで、全身の３次元モーションを生成する。

【0053】

３次元モデル生成装置１２Ａは、ユーザの全身の３次元モデルおよび全身の３次元モーションを生成すると、生成した全身の３次元モデルおよび全身の３次元モーションを仮想空間構成システム１４に出力する。３次元モデル生成システム１０は、接続されたユーザの全身の３次元モデルおよび全身の３次元モーションに基づいてＶＲ空間を生成する。表示装置１３は、仮想空間構成システム１４が生成したＶＲ空間の情報に基づいて、ユーザ自身から見たＶＲ空間の画像を表示する。

【0054】

［３次元モデル生成方法］
図８は、上半身モデルの正姿勢に対する下半身モデルの姿勢の一例を表す説明図、図９は、上半身モデルの後傾姿勢に対する下半身モデルの姿勢の一例を表す説明図、図１０は、上半身モデルの前傾姿勢に対する下半身モデルの姿勢の一例を表す説明図、図１１は、上半身モデルの頬杖姿勢に対する下半身モデルの姿勢の一例を表す説明図である。

【0055】

図７に示すように、上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。性別解析部２４は、ユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、服装解析部２５は、ユーザの上半身の撮影画像情報に基づいてユーザの服装を解析する。下半身モデル選択部２２は、性別解析部２４が解析したユーザの性別と服装解析部２５が解析したユーザの服装の種類に基づいて最適な下半身の３次元モデルを選択する。全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させ、全身の３次元モデルを生成する。そして、ボーン付加部３４は、全身モデル生成部２３が生成したユーザの全身の３次元モデルにユーザの関節情報を付加する。

【0056】

上半身姿勢推定部４１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの上半身の姿勢を解析して状態を推定する。図８に示すように、上半身姿勢推定部４１は、ユーザの上半身が正姿勢（ａ）であったとき、正姿勢（ａ）に応じた下半身の３次元モーション（ｂ）（ｃ）を選択する。また、図９に示すように、上半身姿勢推定部４１は、ユーザの上半身が後傾姿勢（ａ）であったとき、後傾姿勢（ａ）に応じた下半身の３次元モーション（ｂ）（ｃ）を選択する。また、図１０に示すように、上半身姿勢推定部４１は、ユーザの上半身が前傾姿勢（ａ）であったとき、前傾姿勢（ａ）に応じた下半身の３次元モーション（ｂ）を選択する。また、図１１に示すように、上半身姿勢推定部４１は、ユーザの上半身が頬杖姿勢（ａ）であったとき、頬杖姿勢（ａ）に応じた下半身の３次元モーション（ｂ）を選択する。なお、下半身の３次元モーションを構成する姿勢の数は、１個または複数設定されている。

【0057】

全身モーション生成部３６は、ユーザの全身の３次元モデルに対して、頭の３次元モーションと顔の３次元モーションと手の３次元モーションを合成すると共に、下半身の３次元モーションを合成させることで、全身の３次元モーションを生成する。

【0058】

［実施形態の作用効果］
本実施形態では、カメラ（撮影装置）１１が取得したユーザ（被写体）の上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する上半身モデル生成部２１と、撮影画像情報に基づいてユーザの属性を解析して予め設定された複数の下半身の３次元モデルからユーザの上半身に対する下半身の３次元モデルを選択する下半身モデル選択部２２とを備える。

【0059】

そのため、ユーザの上半身の撮影画像情報に基づいて生成した上半身の３次元モデルに対する下半身の３次元モデルを選択する。そのため、ＶＲ空間に参加させるための全身の３次元モデルを容易に生成することができる。

【0060】

本実施形態では、仮想空間の状況を示す情報に応じて選択された下半身の３次元モデルの動きを選択する下半身モーション選択部３５を備える。そのため、ユーザの全身の３次元モデルを生成すると共に、下半身の３次元モーションを生成することとなり、ＶＲ空間のようなコミュニケーション空間の臨場感を出すことができる。

【0061】

本実施形態では、撮影画像情報に基づいてユーザの上半身の姿勢を解析して状態を推定する上半身姿勢推定部４１を備え、下半身モーション選択部３５は、仮想空間の状況を示す情報と上半身姿勢推定部４１が推定した上半身の姿勢とに基づき、下半身の３次元モデルの動きを選択する。そのため、上半身の３次元モーションと下半身の３次元モーションとの関連性を高めることができる。

【0062】

これまで本発明に係る３次元モデル生成装置１２，１２Ａ，１２Ｂについて説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

【0063】

図示した３次元モデル生成装置１２，１２Ａ，１２Ｂの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0064】

３次元モデル生成装置１２，１２Ａ，１２Ｂの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0065】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0066】

１０，１０Ａ，１０Ｂ ３次元モデル生成システム
１１ カメラ（撮影装置）
１２，１２Ａ，１２Ｂ ３次元モデル生成装置
１３ 表示装置
２１ 上半身モデル生成部
２２ 下半身モデル選択部
２３ 全身モデル生成部
２４ 性別解析部
２５ 服装解析部
２６ 下半身モデルデータベース
３１ ヘッドトラッキング部（上半身モーション取得部）
３２ フェイストラッキング部（上半身モーション取得部）
３３ ハンドトラッキング部（上半身モーション取得部）
３４ ボーン付加部
３５ 下半身モーション選択部
３６ 全身モーション生成部
３７ 下半身モーションデータベース
４１ 上半身姿勢推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】