特許 6489726 ３Ｄデータシステム及び３Ｄデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6489726

(24)【登録日】2019年3月8日

(45)【発行日】2019年3月27日

(54)【発明の名称】３Ｄデータシステム及び３Ｄデータ処理方法

(51)【国際特許分類】

   G06T 13/40 20110101AFI20190318BHJP

   G06T 7/00 20170101ALI20190318BHJP

   G06T 7/521 20170101ALI20190318BHJP

【ＦＩ】

   G06T13/40

   G06T7/00 250

   G06T7/521

【請求項の数】14

【全頁数】20

(21)【出願番号】特願2018-532802(P2018-532802)

(86)(22)【出願日】2017年9月8日

(86)【国際出願番号】JP2017032396

【審査請求日】2018年6月21日

【早期審査対象出願】

(73)【特許権者】

【識別番号】316014722

【氏名又は名称】株式会社ＶＲＣ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】謝 英弟

(72)【発明者】

【氏名】井口 道久

(72)【発明者】

【氏名】楠田 幸久

(72)【発明者】

【氏名】後藤 道明

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１３−２５７６５６（ＪＰ，Ａ）

【文献】 特開２０１３−２００８６７（ＪＰ，Ａ）

【文献】 特開２００２−５８０４５（ＪＰ，Ａ）

【文献】 特開２００１−３２７６３９（ＪＰ，Ａ）

【文献】 特表２０１２−５２８３９０（ＪＰ，Ａ）

【文献】 特表２００５−５２３４８８（ＪＰ，Ａ）

【文献】 森島繁生, 外１３名，“新映像技術「ダイブイントゥザムービー」”，電子情報通信学会誌，日本，社団法人電子情報通信学会，２０１１年 ３月２２日，第９４巻, 第３号，p.250-268

【文献】 佐藤貴子, 外４名，“人体骨格ＣＧモデルを用いた人体動作データベースの構築”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２０００年 ５月 ２日，第１００巻, 第３１号，p.73-80

【文献】 今井さやか, 外２名，“Ｍｅｄｉａｔｏｒ概念に基づく身体形状・動作のモデル化とデータベース設計”，情報処理学会論文誌，日本，社団法人情報処理学会，２０００年 ２月１５日，第４１巻, 第ＳＩＧ１（ＴＯＤ５）号，p.100-108

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／５２１

(57)【特許請求の範囲】

【請求項1】

対象となる被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得する画像取得部と、
前記撮影画像及び前記距離情報から得られる前記対象となる被写体の３Ｄモデルを示す３Ｄモデリングデータを用いて、当該対象となる被写体の動的な個性を推定する推定部と、
前記３Ｄモデリングデータに対し、前記推定部により推定された個性を示すデータを、当該３Ｄモデルの動的な個性を示す個性データとして付加する付加部と、
前記個性データが付加された前記３Ｄモデリングデータを記憶する記憶部と
を有する３Ｄデータシステム。

【請求項2】

前記３Ｄモデリングデータから複数の特徴点を取得する特徴取得部と、
前記複数の特徴点の位置関係に関する特徴量を計算する計算部と
を有し、
前記推定部は、前記特徴量を用いて前記対象となる被写体の個性を推定する
請求項１に記載の３Ｄデータシステム。

【請求項3】

前記対象となる被写体を複数のグループのいずれかに分類する分類部を有し、
前記推定部は、前記分類に基づいて前記被写体の個性を推定する
請求項１に記載の３Ｄデータシステム。

【請求項4】

前記分類部は、
既存の複数の被写体を、当該複数の被写体の各々の撮影画像から得られた特徴量に基づいて前記複数のグループに分類し、
前記対象となる被写体を、前記既存の複数の被写体の特徴量に基づいて得られた複数のグループのいずれかに分類する
請求項３に記載の３Ｄデータシステム。

【請求項5】

前記撮影画像から前記被写体の静的な特徴量を計算する計算部を有し、
前記分類部は、前記静的な特徴量を用いて、前記被写体を前記複数のグループのいずれかに分類する
請求項３又は４に記載の３Ｄデータシステム。

【請求項6】

前記画像取得部は、前記被写体に関し、各々ポーズが異なる複数の撮影画像を取得し、
前記３Ｄデータシステムは、前記複数の撮影画像から前記被写体の動的な特徴量を計算する計算部を有し、
前記分類部は、前記動的な特徴量を用いて、前記被写体を前記複数のグループのいずれかに分類する
請求項３又は４に記載の３Ｄデータシステム。

【請求項7】

前記複数のグループの各々は、当該グループを代表する個性を示す代表個性データを有し、
前記推定部は、前記被写体が属するグループの代表個性データにより示される個性を、
当該被写体の個性として推定する
請求項３乃至６のいずれか一項に記載の３Ｄデータシステム。

【請求項8】

前記複数のグループの各々は、当該グループを代表する特徴量を示す代表特徴量、及び当該グループを代表する個性を示す代表個性データを有し、
前記代表特徴量と前記被写体から得られた前記特徴量との差に応じて前記代表個性データを補正する補正部を有し、
前記推定部は、前記補正部により補正された前記代表個性データにより示される個性を、前記被写体の個性として推定する
請求項７に記載の３Ｄデータシステム。

【請求項9】

前記分類部は、既存の複数の被写体を、当該複数の被写体の各々の撮影画像から得られた特徴量に基づいて前記複数のグループに分類し、
前記推定部は、前記複数のグループの各々について、当該グループに属する既存の被写体の少なくとも一部に関して取得された、各々ポーズが異なる複数の撮影画像から得られた個性データを前記代表個性データとして用いる
請求項７又は８に記載の３Ｄデータシステム。

【請求項10】

前記分類部は、前記分類後のグループの数がそれぞれ異なる複数のレベルの中から選択された少なくとも１つのレベルに従って前記被写体を分類し、
前記推定部は、
前記複数のレベルのうち第１レベルの分類においては、当該分類後のグループにおける前記特徴量の代表値と、前記被写体の前記特徴量との差に基づいて、前記被写体の個性を推定し、
前記第１レベルよりも前記分類後のグループの数が多い第２レベルの分類においては、当該分類後のグループを代表する個性を、前記被写体の個性を推定する
請求項３乃至９のいずれか一項に記載の３Ｄデータシステム。

【請求項11】

被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得するステップと、
前記撮影画像及び前記距離情報から得られる前記被写体の３Ｄモデルを示す３Ｄモデリングデータを用いて、当該被写体の動的な個性を推定するステップと、
前記３Ｄモデリングデータに対し、当該３Ｄモデルの動的な個性データとして付加するステップと、
前記個性データが付加された前記３Ｄモデリングデータを記憶するステップと
を有する３Ｄデータ処理方法。

【請求項12】

対象となる被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得する画像取得部と、
前記撮影画像及び前記距離情報から得られる前記対象となる被写体の３Ｄモデルを示す３Ｄモデリングデータに対し、当該３Ｄモデルに動きを与えるためのボーン構造を示すボーンデータ及び当該３Ｄモデルに付随するメタデータを付加する付加部と、
前記ボーンデータ及びメタデータが付加された前記３Ｄモデリングデータを記憶する記憶部と
を有する３Ｄデータシステム。

【請求項13】

前記メタデータは、仮想空間に位置する前記３Ｄモデルを表示する際に用いられる仮想カメラの位置又は画角を制限するデータを含む
請求項１２に記載の３Ｄデータシステム。

【請求項14】

前記メタデータは、前記３Ｄモデルの音声データを含む
請求項１２又は１３に記載の３Ｄデータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄモデリングデータを扱う技術に関する。

【背景技術】

【0002】

人間や物品等を撮影して３Ｄデータ化し、仮想空間内で用いる技術が知られている。特許文献１には、人間の３Ｄモデルに異なるポーズを取らせたりモーションを行わせたりするための技術が記載されている。より詳細には、特許文献１には、被写体に基本ポーズ及びそれ以外の変形ポーズをとらせた上で撮影し、ポーズ毎に被写体の３Ｄモデリングデータを生成し、異なるポーズ間でモデルを比較して各部の回転の支点を検出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−５８０４５号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

特許文献１の技術によっては、３Ｄモデリングデータに対して外見以外の個性を与えることができなかった。これに対し本発明は、３Ｄモデリングデータに対し外見以外の個性を与える技術を提供する。

【課題を解決するための手段】

【0005】

本発明は、対象となる被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得する画像取得部と、前記撮影画像及び前記距離情報から得られる前記対象となる被写体の３Ｄモデリングデータに対し、当該３Ｄモデリングデータの動的な個性を示す個性データを付加する付加部と、前記個性データが付加された前記３Ｄモデリングデータを記憶する記憶部とを有する３Ｄデータシステムを提供する。

【0006】

この３Ｄデータシステムは、前記３Ｄモデリングデータを用いて、前記対象となる被写体の個性を推定する推定部を有し、前記付加部は、前記推定部により推定された個性を示すデータを前記個性データとして付加してもよい。

【0007】

この３Ｄデータシステムは、前記撮影画像から複数の特徴点を取得する特徴取得部と、前記複数の特徴点の位置関係に関する特徴量を計算する計算部とを有し、前記推定部は、前記特徴量を用いて前記対象となる被写体の個性を推定してもよい。

【0008】

この３Ｄデータシステムは、前記対象となる被写体を複数のグループのいずれかに分類する分類部を有し、前記推定部は、前記分類に基づいて前記被写体の個性を推定してもよい。

【0009】

前記分類部は、既存の複数の被写体を、当該複数の被写体の各々の撮影画像から得られた特徴量に基づいて前記複数のグループに分類し、前記対象となる被写体を、前記既存の複数の被写体の特徴量に基づいて得られた複数のグループのいずれかに分類してもよい。

【0010】

前記特徴取得部は、前記撮影画像から前記被写体の静的な特徴量を取得し、前記分類部は、前記静的な特徴量を用いて、前記被写体を前記複数のグループのいずれかに分類してもよい。

【0011】

前記画像取得部は、前記被写体に関し、各々ポーズが異なる複数の撮影画像を取得し、前記特徴取得部は、前記複数の撮影画像から前記被写体の動的な特徴量を取得し、前記分類部は、前記動的な特徴量を用いて、前記被写体を前記複数のグループのいずれかに分類してもよい。

【0012】

前記複数のグループの各々は、当該グループを代表する個性を示す代表個性データを有し、前記推定部は、前記被写体が属するグループの代表個性データにより示される個性を、当該被写体の個性として推定してもよい。

【0013】

前記複数のグループの各々は、当該グループを代表する特徴量を示す代表特徴量、及び当該グループを代表する個性を示す代表個性データを有し、前記代表特徴量と前記被写体から得られた前記特徴量との差に応じて前記代表個性データを補正する補正部を有し、前記推定部は、前記補正部により補正された前記代表個性データにより示される個性を、前記被写体の個性として推定してもよい。

【0014】

前記分類部は、既存の複数の被写体を、当該複数の被写体の各々の撮影画像から得られた特徴量に基づいて前記複数のグループに分類し、前記推定部は、前記複数のグループの各々について、当該グループに属する既存の被写体の少なくとも一部に関して取得された、各々ポーズが異なる複数の撮影画像から得られた個性データを前記代表個性データとして用いてもよい。

【0015】

前記分類部は、前記分類後のグループの数がそれぞれ異なる複数のレベルの中から選択された少なくとも１つのレベルに従って前記被写体を分類し、前記推定部は、前記複数のレベルのうち第１レベルの分類においては、当該分類後のグループにおける前記特徴量の代表値と、前記被写体の前記特徴量との差に基づいて、前記被写体の個性を推定し、前記第１レベルよりも前記分類後のグループの数が多い第２レベルの分類においては、当該分類後のグループを代表する個性を、前記被写体の個性を推定してもよい。

【0016】

また、本発明は、被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得するステップと、前記撮影画像及び前記距離情報から得られる前記被写体の３Ｄモデリングデータに対し、当該３Ｄモデリングデータの動的な個性データを付加するステップと、前記個性データが付加された前記３Ｄモデリングデータを記憶するステップとを有する３Ｄデータ処理方法を提供する。

【0017】

さらに、本発明は、対象となる被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得する画像取得部と、前記撮影画像及び前記距離情報から得られる前記対象となる被写体の３Ｄモデルを示す３Ｄモデリングデータに対し、当該３Ｄモデルに動きを与えるためのボーン構造を示すボーンデータ及び当該３Ｄモデルの属性を示すメタデータを付加する付加部と、前記ボーンデータ及びメタデータが付加された前記３Ｄモデリングデータを記憶する記憶部とを有する３Ｄデータシステムを提供する。

【0018】

前記メタデータは、仮想空間に位置する前記３Ｄモデルを表示する際に用いられる仮想カメラの位置又は画角を制限するデータを含んでもよい。

【0019】

前記メタデータは、前記３Ｄモデルの音声データを含んでもよい。

【発明の効果】

【0020】

本発明によれば、３Ｄモデリングデータに対し外見以外の個性を与えることができる。

【図面の簡単な説明】

【0021】

【図1】一実施形態に係る３Ｄデータシステム１の概略を示す図。

【図2】３Ｄデータシステム１の機能構成を例示する図。

【図3】３Ｄデータ入力システム１０の構成を例示する図。

【図4】３Ｄデータ処理システム２０のハードウェア構成を例示する図。

【図5】３Ｄデータシステム１の一実施形態に係る動作を例示する図。

【図6】被写体の３Ｄモデリングデータを生成する処理の詳細を例示する図。

【図7】標準モデルの調整を例示する図。

【図8】特徴点の位置関係を例示する図。

【図9】３Ｄモデリングデータに個性を付加する処理の詳細を例示する図。

【図10】３Ｄモデリングデータの分類を例示する図。

【図11】３Ｄモデリングデータの動きを例示する図。

【図12】顔面から抽出される特徴点を例示する図。

【図13】３Ｄモデリングデータを利用する処理の詳細を例示する図。

【図14】変形例１に係る３Ｄデータシステム１の概略を示す図。

【符号の説明】

【0022】

１…３Ｄデータシステム、１０…３Ｄデータ入力システム、１１…取得部、１２…生成部、１３…取得部、２０…３Ｄデータ処理システム、２１…付加部、２２…記憶部、２３…分類部、２４…推定部、３０…アプリケーション、２０１…ＣＰＵ、２０２…メモリ、２０３…ストレージ、２０４…ネットワークＩＦ

【発明を実施するための形態】

【0023】

１．構成
図１は、一実施形態に係る３Ｄデータシステム１の概略を示す図である。３Ｄデータシステム１は、被写体の表面を撮影した画像（以下「撮影画像」という）を用いて３Ｄモデリングデータを生成し、これを記憶し、さらに要求に応じて３Ｄモデリングデータをアプリケーションに提供するシステムである。「被写体」は３Ｄモデリングデータを生成する対象となる物体をいい、人間や動物などの生物、及び人形や家具などの無生物を含む。３Ｄモデリングデータは、３Ｄモデルを表示するためのデータをいう。３Ｄモデルとは、３次元仮想空間における立体のデータをいう。３Ｄモデルは、少なくとも、被写体の表面形状及び表面の色彩に関する情報を含む。

【0024】

３Ｄデータシステム１は、３Ｄデータ入力システム１０、３Ｄデータ処理システム２０、及びアプリケーション３０を有する。３Ｄデータ入力システム１０は、撮影画像から３Ｄモデリングデータを生成する。３Ｄデータ入力システム１０は、例えばいわゆる３Ｄスキャナを含む。３Ｄデータ処理システム２０は、３Ｄデータ入力システム１０により生成された３Ｄモデリングデータを処理及び記憶する。アプリケーション３０は、３Ｄモデリングデータを利用した製品又はサービスをユーザに提供する。なお図では３Ｄデータ入力システム１０及びアプリケーション３０はそれぞれ１つずつ示されているが、３Ｄデータシステム１は、３Ｄデータ入力システム１０及びアプリケーション３０の少なくともいずれか一方を複数、有してもよい。一例として、３Ｄデータ入力システム１０はローカルなシステムであり、３Ｄデータ処理システム２０はネットワーク上のシステム、いわゆるクラウドシステムである。

【0025】

図２は、３Ｄデータシステム１の機能構成を例示する図である。３Ｄデータシステム１は、取得部１１、生成部１２、付加部２１、記憶部２２、及び出力部２５を有する。取得部１１は、撮影画像及び距離情報を取得する（画像取得部の一例）。撮影画像は、被写体の表面を撮影した画像である。距離情報は、基準点から被写体の表面までの距離を示す情報である。取得部１１は、カメラ等の撮影装置及び距離センサー（いずれも図２では図示略）から撮影画像及び距離情報を取得する。生成部１２は、撮影画像及び距離情報を用いて、被写体の３Ｄモデリングデータを生成する。付加部２１は、生成部１２により生成された３Ｄモデリングデータに対し、その３Ｄモデリングデータの動的な個性データを付加する。個性データとは、３Ｄモデルの個性（多くの場合、被写体の個性に相当する）を示すデータである。この例において、個性データは動的な個性を示す。記憶部２２は、種々のデータ、例えば、個性データが付加された３Ｄモデリングデータを記憶する。出力部２５は、アプリケーション３０からの要求に応じて３Ｄモデリングデータ及び個性データを出力する。

【0026】

３Ｄデータシステム１は、さらに、推定部２４を有する。推定部２４は、３Ｄモデリングデータを用いて、対象となる被写体の個性を推定する。付加部２１が３Ｄモデリングデータに付加する個性データには、推定部２４により推定された個性を示すデータが含まれる。

【0027】

３Ｄデータシステム１は、さらに、取得部１３及び計算部１４を有する。取得部１３は、３Ｄモデリングデータから（又は撮影画像から）複数の特徴点を取得する（特徴取得部の一例）。これらの特徴点は、３Ｄモデル（又は被写体）の形状に関する特徴を示す点（図７等を参照して後述する）をいいう。計算部１４は、複数の特徴点の位置関係に関する特徴量を計算する。推定部２４は、対象となる被写体の個性を、この特徴量を用いて推定する。

【0028】

３Ｄデータシステム１は、さらに、分類部２３を有する。分類部２３は、被写体を複数のグループのいずれかに分類する。推定部２４は、対象となる被写体の個性を、この分類に基づいて推定する。

【0029】

一例において、複数の特徴点の位置関係に関する特徴量は、被写体（３Ｄモデル）の静的な特徴を示す。静的な特徴とは、単一のポーズの被写体から得られる特徴をいう。これに対し動的な特徴とは、３Ｄモデルに複数のポーズ（又はモーション）を与えるための特徴（図１１等を参照して後述する）をいう。既に説明したように、推定部２４が推定する個性は、被写体の動的な個性、すなわち動的な特徴である。推定部２４は、この例においては、静的な特徴を用いて動的な特徴を推定する。

【0030】

この例において、取得部１１、生成部１２．取得部１３、及び計算部１４は３Ｄデータ入力システム１０に実装され、付加部２１、記憶部２２、分類部２３、及び推定部２４は３Ｄデータ処理システム２０に実装される。なお、３Ｄデータ入力システム１０及び３Ｄデータ処理システム２０における機能の分担はあくまで例示であり、機能の分担は図２の例に限定されない。

【0031】

図３は、３Ｄデータ入力システム１０の構成を例示する図である。この例において、３Ｄデータ入力システム１０は、いわゆる３Ｄスキャナである。３Ｄデータ入力システム１０は、センサー群ＳＤ、ステージＴ、フレームＦ、及び画像処理装置１００を有する。センサー群ＳＤは、カメラＣ及び距離センサーＤのセットを複数、含む。センサー群ＳＤが固定された状態において、各カメラＣは、被写体Ｓの表面のうちある限られた一部の領域のみを撮影する。距離センサーＤは、その距離センサーＤが設置された位置（基準位置の一例）から被写体Ｓの表面までの距離を検知する。距離センサーＤは、赤外光等の可視光外の波長で所定のパターン図形（例えば格子）の像を投写する投写部、及び投写された像を読み取る撮像部を有する。セットになっているカメラＣ及び距離センサーＤは、共通のマウント台Ｍに固定され、両者の光軸はほぼ同じ位置を向いている。フレームＦ（センサー群ＳＤ）は、ステージＴに対し相対的に回転する。設置面に対しフレームＦが固定された状態でステージＴが回転してもよいし、設置面に対しステージＴが固定された状態でフレームＦがステージＴの回りを回転してもよい。フレームＦとステージＴとが相対的に回転している間に、カメラＣは被写体Ｓを撮影する。フレームＦとステージＴと相対的に静止している状態では、センサー群ＳＤは被写体Ｓの表面のうちある限られた一部の領域のみしかカバーしていない。しかし、フレームＦとステージＴとを相対的に３６０°回転させ、その間に連続的に撮影することによって、センサー群ＳＤは被写体Ｓの表面の全領域を撮影する。

【0032】

なお図３はあくまで３Ｄデータ入力システム１０の構成の一例であって、３Ｄデータ入力システム１０はこの構成に限定されない。例えば、３Ｄデータ入力システム１０において、被写体Ｓの表面の全領域を空間的にカバーできる十分な数のセンサー群ＳＤが、適切な位置に設置されていてもよい。この場合、センサー群ＳＤはステージＴに対して固定される。さらに別の例示で、３Ｄデータ入力システム１０は、ステージＴを上から見たときに所定の間隔（例えば１２０°おき）に複数のフレームＦを有してもよい。この場合、フレームＦとステージＴとが相対的に１２０°回転すれば、センサー群ＳＤは被写体Ｓの表面の全領域を撮影することができる。

【0033】

図４は、３Ｄデータ処理システム２０のハードウェア構成を例示する図である。３Ｄデータ処理システム２０は、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２、ストレージ２０３、及びネットワークＩＦ２０４を有するコンピュータ装置である。ＣＰＵ２０１は、プログラムに従って処理を実行し、３Ｄデータ処理システム２０の他のハードウェア要素を制御する制御装置である。メモリ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。ストレージ２０３は、各種のプログラム及びデータを記憶する不揮発性の補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）の少なくとも一方を含む。ネットワークＩＦ２０４は、所定の通信規格（例えばＴＣＰ／ＩＰ）に従った通信を行うためのインターフェースであり、例えばＮＩＣ（Network Interface Card）を含む。

【0034】

この例において、ストレージ２０３は、コンピュータ装置を３Ｄデータ処理システム２０として機能させるためのプログラム（以下「３Ｄデータ処理プログラム」という）を記憶している。ＣＰＵ２０１が３Ｄデータ処理プログラムを実行することにより、コンピュータ装置に図２の機能が実装される。３Ｄデータ処理プログラムを実行しているＣＰＵ２０１は、付加部２１、記憶部２２、分類部２３、及び推定部２４の一例である。

【0035】

アプリケーション３０は、３Ｄモデリングデータを用いるものであれば、どのようなものであってもよい。一例として、アプリケーション３０は、ＩＤカード、名刺、ヴァーチャルコミュニケーション、ビデオゲーム、着せ替え（試着）、採寸、ヴァーチャルシアター、フィットネス、医療、及び映画製作のうち少なくとも１つを含む。

【0036】

２．動作
図５は、３Ｄデータシステム１の一実施形態に係る動作（３Ｄデータ処理方法）を例示する図である。図５は動作の概要を示している。ステップＳ１において、３Ｄデータ入力システム１０は、被写体の３Ｄモデリングデータを生成する。ステップＳ２において、３Ｄデータ処理システム２０は、３Ｄモデリングデータに個性データを付加する処理を行う。個性データが与えられることにより、３Ｄモデリングデータの動きに個性が与えられる。ステップＳ３において、アプリケーション３０は、３Ｄモデリングデータ及び個性データを用いて、ユーザに製品又はサービスを提供する。

【0037】

２−１．動作例１
２−１−１．３Ｄモデリングデータの生成
図６は、被写体の３Ｄモデリングデータを生成する処理の詳細を例示する図である。図６は、３Ｄデータシステム１が複数の被写体（以下「既存の被写体」という）の各々について３Ｄモデリングデータを既に記憶した状態で、新たな被写体（以下「対象被写体Ｓ」という）について３Ｄモデリングデータを生成する状況を想定する。図６の処理は、例えば、３Ｄデータ入力システム１０に対しユーザが３Ｄモデリングデータの生成を指示したことを契機として開始される。

【0038】

ステップＳ１１において、３Ｄデータ入力システム１０は、対象被写体Ｓを撮影し、撮影画像を得る。対象被写体Ｓはあらかじめ決められたポーズで撮影される。３Ｄデータ入力システム１０は、撮影画像に加え、カメラＣまでの距離を計測するための画像（例えば赤外線のパターン図形の像。以下「パターン画像」という）を取得する。

【0039】

ステップＳ１２において、３Ｄデータ入力システム１０は、撮影画像から３Ｄモデリングデータを生成する。３Ｄデータ入力システム１０は、カメラＣからパターン画像における各点までの距離、すなわち対象被写体Ｓの表面の立体形状を、パターン画像を用いて計算する。３Ｄデータ入力システム１０は、計算された立体形状に対して撮影画像を貼り付ける。こうして、対象被写体Ｓの３Ｄモデリングデータが得られる。

【0040】

ステップＳ１３において、３Ｄデータ入力システム１０は、３Ｄモデリングデータから特徴点を取得する。この特徴点は、３Ｄモデリングデータから得られる。形状の特徴点は、例えば、３Ｄモデルにおける、いわゆるボーンの端点である。ボーンは、３Ｄモデルに動き（モーション）を与えるための仮想的な構造である。

【0041】

この例において、３Ｄデータ入力システム１０は、３Ｄモデルのボーン構造の標準モデルを有している。標準モデルは、例えば現実の人体の骨格構造に準じたボーン構造を有する。標準モデルは、例えば、成人男性、成人女性、老人男性、老人女性、幼年男子、及び幼年女子などのカテゴリーに分類される。３Ｄデータ入力システム１０は、これら複数の標準モデルの中からユーザの属性に応じた標準モデルを選択する。３Ｄデータ入力システム１０は、例えば、撮影画像を用いてユーザの属性（例えば年齢及び性別）を自動的に判断する。あるいは、３Ｄデータ入力システム１０は、自身の属性を入力するようユーザに促し、ユーザの入力に従ってそのユーザの属性を設定してもよい。３Ｄデータ入力システム１０は、選択された標準モデルを生成された３Ｄモデルに合わせて調整し、調整した標準モデルを３Ｄモデルに当てはめる。

【0042】

図７は、標準モデルの調整を例示する図である。図７（Ａ）の左は３Ｄモデルを、右はボーンの標準モデルを示す。ボーンの標準モデルにおいて、端点はドット（●）で表されている。これら複数の端点はいずれも、３Ｄモデルの特徴点の一例である。３Ｄデータ入力システム１０は、例えば、３Ｄモデルと適合するように標準モデルの高さ（身長）を伸び縮みさせる（図７（Ａ））。さらに、３Ｄデータ入力システム１０は、各ボーンの端点の位置を、ボーンに垂直な方向における中心位置に移動させる（図７（Ｂ））。

【0043】

図７（Ｃ）は、調整後の標準モデルを示している。この図における各ボーンの端点が、３Ｄモデリングデータから取得された特徴点に相当する。この図は、３Ｄモデリングデータの仮想的な重心を通り、かつ対象被写体Ｓの正面に対して平行な断面を示す。なお図７は単一の断面のみを示しているが、方向が異なる複数の断面において３Ｄモデルと適合するように標準モデルを調整してもよい。

【0044】

再び図６を参照する。ステップＳ１４において、３Ｄデータ入力システム１０は、複数の特徴点の位置関係を示す特徴量を計算する。この例において、３Ｄデータ入力システム１０は、特定の特徴点に関し、他の特徴点との間の位置関係を示す特徴量を計算する。特定の特徴点は、例えば膝の関節に相当する位置の特徴点である。この場合において、特定の特徴点と、隣り合う他の特徴点との間の位置関係とは、膝の関節の、足首及び股関節との位置関係をいい、いわゆるＯ脚、Ｘ脚、又はＸＯ脚等の度合いを示す。

【0045】

図８は、特徴点の位置関係を例示する図である。図８（Ａ）は正常な脚を、（Ｂ）はＯ脚を、（Ｃ）はＸ脚を、それぞれ示している。特定の特徴量に関する特徴量は、例えば、股関節に相当する特徴点Ｐ１及び足首に相当する特徴点Ｐ３を結ぶ直線Ｌの長さＬ１に対する、膝に相当する特徴点Ｐ２と直線Ｌとの距離ｄ１の比率として定義される。なおここで示した特定の特徴点及び特定の特徴点に関する特徴量の定義はあくまで例示であり、具体的にはどのように設定されてもよい。１つの３Ｄモデルが「特定の特徴点」を複数、有してもよい。例えば、つま先、膝、肘、手先、首、及び頭の先が特定の特徴点として設定されてもよい。

【0046】

再び図６を参照する。ステップＳ１５において、３Ｄデータ入力システム１０は、特徴点に関する特徴量及び３Ｄモデリングデータを、３Ｄデータ処理システムに出力する。この例において、３Ｄモデリングデータには、被写体の属性（ＩＤ、年齢、及び性別等）を示すデータ（以下「属性データ」という）がさらに付加される。

【0047】

２−１−２．個性データの付加
図９は、３Ｄモデリングデータに個性データを付加する処理の詳細を例示する図である。この処理は、例えば、３Ｄデータ入力システム１０から３Ｄモデリングデータが入力されたことを契機として開始される。

【0048】

ステップＳ２１において、３Ｄデータ処理システム２０は、対象被写体Ｓの３Ｄモデリングデータを、複数のグループのいずれかに分類する。分類は、例えば以下の観点のいずれかで行われる。
（１）被写体の静的な特徴量に基づく分類。
（２）被写体の動的な特徴量に基づく分類。
（３）被写体の属性に基づく分類。
（４）上記２つ以上の組み合わせによる分類。

【0049】

被写体の静的な特徴量に基づく分類とは、少なくとも１種類の静的な特徴量を用いて、３Ｄモデリングデータを分類することをいう。１種類の静的な特徴量とは、例えば、膝の関節と足首及び股関節との位置関係の特徴量をいう。２種類の特徴量とは、例えば、膝の関節と足首及び股関節との位置関係の特徴量、並びに肘の関節と手首及び肩関節との位置関係の特徴量をいう。この例によれば、被写体の静的な特徴量から動的な特徴量を推定することができる。

【0050】

被写体の動的な特徴量に基づく分類とは、少なくとも１種類の動的な特徴量を用いて、３Ｄモデリングデータを分類することをいう。分類に用いられる特徴量は、推定の対象となる個性に関する特徴量とは異なる種類の特徴量である。この例によれば、被写体の第１種類の動的な特徴量から第２種類の動的な特徴量を推定することができる。例えば、推定の対象となる個性（第２種類の動的な特徴量の一例）がジャンプの動作における膝の最高位置である場合、分類に用いられる特徴量は、歩く動作における膝の最高位置（第１種類の動的な特徴量の一例）である。

【0051】

被写体の属性に基づく分類とは、少なくとも１種類の被写体の属性を用いて、３Ｄモデリングデータを分類することをいう。被写体の属性とは、例えば、被写体の年齢、性別、人種、国籍、職業、又は既往歴をいう。この例によれば、被写体の属性から動的な特徴量を推定することができる。

【0052】

上記２つ以上の組み合わせによる分類とは、静的な特徴量に基づく分類、動的な特徴量に基づく分類、及び被写体の属性に基づく分類のうち２つ以上の組み合わせを用いた分類をいう。この例によれば、より多様な推定を行うことができる。

【0053】

ここでは、一例として、（４）の組み合わせによる分類が用いられる例を説明する。具体的には、３Ｄモデリングデータは、まず被写体の属性に基づいて分類され（第１段の分類）、さらに、被写体の静的な特徴量に基づいて分類される（第２段の分類）。被写体の属性に基づく分類は、被写体の年齢及び性別に基づく分類である。この例では、ボーン構造の標準モデルを選択する際に用いられた属性が、そのまま３Ｄモデリングデータの分類に用いられる。すなわち、第１段の分類において、３Ｄモデリングデータの分類とボーン構造の標準モデルとは一対一に対応する。

【0054】

図１０は、３Ｄモデリングデータの分類を例示する図である。図１０は、第２段の分類を示す。この例において、第２段の分類は、Ｎ種類の特徴量を用いて行われる。具体的には、３Ｄデータ処理システム２０は、各特徴量を座標軸としたＮ次元空間において各３Ｄモデリングデータをプロットし、このプロット群を数学的アルゴリズムに従ってクラスタリング（グループ化）する。ここでは説明を簡単にするため、Ｎ＝２の例を示す。すなわち、第２段の分類は、特徴量Ａ及び特徴量Ｂという、２種類の特徴量を用いて行われる。一例において、特徴量Ａは膝に関する特徴量であり、特徴量Ｂは胸椎に関する特徴量である。この図は、縦軸に特徴量Ａを、横軸に特徴量Ｂをとった２次元座標に、各３Ｄモデリングデータをプロットしたものである。１つのプロットは１つの３Ｄモデリングデータに対応する。例えば過去に１万人の３Ｄモデリングデータ及び特徴量が得られているとすると、１万個のプロットが得られる。３Ｄデータ処理システム２０は、これらのプロットを、最短距離法又はｋ平均法など既知のクラスタリング手法を用い、部分集合に分割すなわちグループ化する。図１０の例において、これらのプロットは、グループＧ１〜Ｇ５の５つのグループに分類される。

【0055】

例えば、既存の被写体の３Ｄモデリングデータについて図１０に例示した分類が得られている場合、３Ｄデータ処理システム２０は、対象被写体Ｓの３Ｄモデリングデータのプロットと最も距離の近い既存のプロットを特定し、対象被写体Ｓの３Ｄモデリングデータを、その既存のプロットと同じグループに分類する。あるいは、３Ｄデータ処理システム２０は、対象被写体Ｓの３Ｄモデリングデータ及び既存の３Ｄモデリングデータを再度、クラスタリング手法を用いて分類し、対象被写体Ｓの３Ｄモデリングデータがどのグループに属するか判断する。

【0056】

既に説明したように第１段の分類はボーン構造の標準モデル毎に行われているので、第２段の分類は、標準モデル毎に行わることに等しい。例えば、対象被写体Ｓが成人男子である場合、既存の被写体を含む成人男子の母集団に対してクラスタリング手法が適用され、得られた結果を用いて対象被写体Ｓの３Ｄモデリングデータが分類される。

【0057】

再び図９を参照する。ステップＳ２２において、３Ｄデータ処理システム２０は、対象被写体Ｓの３Ｄモデリングデータの個性（すなわち対象被写体Ｓの個性）を、分類に基づいて推定する。この動きの例において個性とは３Ｄモデルの特徴点の（変位の）軌跡を定義するための情報をいい、より詳細には３Ｄモデルを歩かせたときの膝及び手先の最高位置をいう。この例の個性データは、歩行動作における膝及び手先の最高位置を示すデータである。あるいは、個性データは、肘及び手先の最高位置に加え、中間状態における位置を示すデータを含んでもよい。

【0058】

図１１は、３Ｄモデリングデータの動きを例示する図である。この例は、３Ｄモデリングデータが歩いているときのボーンの相対的な位置関係を示している。図１１（Ａ）は基本姿勢を示す。図１１（Ｂ）は左足を持ち上げた姿勢を示す。図１１（Ｃ）は左足を地面に下ろした姿勢を示す。図１１（Ｄ）は右足を持ち上げた姿勢を示す。図１１（Ｅ）は右足を下ろした姿勢を示す。これらの姿勢を繰り返し３Ｄモデリングデータに取らせることにより、３Ｄモデルを歩かせることができる。図１１（Ａ）〜（Ｅ）はいわゆるキーフレームに相当し、キーフレーム間の姿勢は補間により計算される。キーフレームの姿勢は、標準モデル毎に定義されており、３Ｄデータ処理システム２０においてあらかじめ記憶されている。

【0059】

この例において、以下のデータが個性として定義される。
（１）図１１（Ｂ）の姿勢における左膝の位置及び右手先の位置。
（２）図１１（Ｄ）の姿勢における右膝の位置及び左手先の位置。
より詳細には、標準モデルに対して定義されたキーフレームにおける特徴点の位置からのずれ（差）が個性として定義される。例えば、標準モデルの図１１（Ｂ）の姿勢における左膝の位置Ｐ２ｓからのずれベクトルｄ（Ｐ２）が個性データの一例である。

【0060】

３Ｄデータシステム１に記憶されている３Ｄモデリングデータの一部については、３Ｄモデリングを生成するための撮影の際、又は別のタイミングで、被写体の動きが実際に撮影される。以下、実際の動きが撮影された被写体を「特定被写体」という。すなわち、特定被写体の個性データは、推定されたものではなく、実測されたものである。例えば、３Ｄデータ入力システム１０は、特定被写体が歩いている様子を撮影し、図１１に例示したキーフレームに相当する画像（各々ポーズが異なる複数の撮影画像の一例）を取得する。３Ｄデータ処理システム２０は、こうして得られた動きのデータから、各グループを代表する動きのデータを決定する。こうしてグループ毎に、そのグループを代表する個性データ（代表個性データ）が得られる。

【0061】

グループを代表する個性データは、例えば、そのグループに含まれる特定被写体の中からランダムに選択された被写体の個性データである。あるいは、グループを代表する個性データは、そのグループに含まれる特定被写体のうち、Ｎ次元座標空間においてそのグループの中心座標に最も近い位置にプロットされている被写体の個性データである。さらにあるいは、グループを代表する個性データは、そのグループに含まれる複数の特定被写体の個性データの平均値等の統計的代表値である。

【0062】

３Ｄデータ処理システム２０は、対象被写体Ｓの３Ｄモデリングデータが属するグループを代表する個性データを、対象被写体となる３Ｄモデリングデータの個性データとして用いる。これはすなわち、対象被写体Ｓの個性が、対象被写体Ｓの３Ｄモデリングデータが属するグループを代表する個性と同一であると推定することに相当する。例えば、対象となる３ＤモデリングデータがグループＧ４に属する場合、３Ｄデータ処理システム２０は、グループＧ４を代表する個性データを、対象被写体Ｓの３Ｄモデリングデータの個性データとして用いることを決定する。

【0063】

再び図９を参照する。ステップＳ２３において、３Ｄデータ処理システム２０は、推定された個性を示す個性データを、対象被写体Ｓの３Ｄモデリングデータに付加する。ここで、「付加する」とは、少なくとも両者の対応関係が分かる状態で記憶することをいう。こうして、アプリケーション３０が対象被写体Ｓの３Ｄモデリングデータを利用することが可能となる。

【0064】

なお、１つの３Ｄモデリングデータに付加される個性データは１種類に限定されない。１つの３Ｄモデリングデータに複数種類の個性データが付加されてもよい。例えば、ある被写体の３Ｄモデリングデータに対し、歩く動作に関する個性データ、ジャンプする動作に関する個性データ、パンチする動作に関する個性データ、及びキックする動作に関する個性データが付加されてもよい。あるいは、これらの動作を総合的に規定する個性データを定義してもよい。

【0065】

２−１−３．個性データ
ここまで説明した個性データはあくまで例示である。個性データとしては、上記で説明した例に代えて、又は加えて、以下のデータを含んでもよい。

【0066】

（１）髪の硬さ
３Ｄモデルが移動すると、その反動で髪が揺れる。髪の硬さは、髪の揺れ方に影響する個性データである。髪が硬いと揺れ方が小さく、髪が柔らかいと揺れ方が大きい。例えば、一部の髪の毛先の位置を特徴点として抽出すれば、特徴点の動きとして髪の硬さを表現することができる。

【0067】

（２）まばたき
まばたきの仕方にも個性がある。例えば、一度に複数回のまばたきをまとめてする者、まばたきの速度が遅い者、又はまぶたを閉じた状態を保持する時間が長い者等がいる。例えば、まぶたの下端を特徴点として抽出すれば、特徴点の動きとしてまばたきの仕方を表現することができる。

【0068】

（３）表情
笑顔等の表情にも個性がある。図１２は、顔面から抽出される特徴点（図中の●）を例示する図である。例えば、口角、目尻、表情筋の端部を特徴点として抽出すれば、特徴点の動きとして表情を表現することができる。

【0069】

（４）音声
個性データは音声データを含んでもよい。音声データは３Ｄモデリングデータから抽出される特徴点の奇跡に関する情報を含んでいないが、音声は被写体の声帯の振動によって生じるものである点、及び時間変化を伴う点において、被写体の動的な個性を示しているといえる。音声は被写体の身体的な特徴や属性と相関している場合があり（少年の声は高い等）、個性データの推定とも相性が良い。

【0070】

（５）皮膚の状態
皮膚の張りや弛みといった状態は、比較的長い時間スケール（数十年単位）で変化する動的な個性であるといえる。皮膚の状態の変化は、成長や老化を示しているともいえる。例えば、顔の凹凸から特徴点を抽出すれば、特徴点の時間変化として成長や老化を表現することができる。

【0071】

（６）動作の癖
歩く、走る、といった標準的な動作における個性とは別の動作、例えば、髪をかき上げる、頭をかく、鼻を触る、貧乏揺すりをする等の動作が被写体の個性を表すことがある。これらの動作もデータ化することができる。

【0072】

（７）視点の位置、画角
アプリケーション３０において、３Ｄモデルは仮想空間に配置される。仮想空間には仮想カメラが設置される。アプリケーション３０は、この仮想カメラにより取得された２次元画像を表示装置に表示する。仮想カメラはあくまで仮想的なものであるので、理論上、アプリケーション３０は、視点の位置及び画角を任意に設定することができる。しかし、アプリケーションによっては、３Ｄモデルを基準とする、仮想カメラの相対的な位置を制限したいという要望がある。具体例としては、例えば女性アイドル歌手の３Ｄモデルを取り扱う場合において、３Ｄモデルの腰より下に仮想カメラが来ないように制限したいという要望がある。あるいは、仮想カメラの画角をある範囲を超えて小さくできないようにしたいという要望がある。これらの要望に応えるため、仮想カメラの視点の（３Ｄモデルに対する相対的な）位置を制限するためのデータを個性データとして用いることができる。この情報により、ユーザに見せない領域を３Ｄモデル毎に定義することができる。

【0073】

（８）可動制限
関節の可動範囲は被写体の個性を表している。例えば、体操選手は両脚（股関節）を１８０°開くことができるが、一般人は９０°程度しか開くことができない。各関節の可動範囲をデータ化すれば、個性データとして用いることができる。この場合において、関節の可動範囲は、現実の可動範囲と別の事情により制限されてもよい。例えば、特定の３Ｄモデルにおいては、股関節の可動範囲は６０°程度に制限される。このように、関節の可動範囲を制限するためのデータを個性データとして用いることができる。

【0074】

２−１−４．３Ｄモデリングデータの利用
図１３は、３Ｄモデリングデータを利用する処理の詳細を例示する図である。図１３の処理は、例えば、アプリケーション３０のユーザが、３Ｄモデリングデータの取得を指示したことを契機として開始される。

【0075】

ステップＳ３１において、アプリケーション３０は、３Ｄデータ処理システム２０に３Ｄモデリングデータを要求する。この要求は、３Ｄモデリングデータを特定する情報、例えば被写体のＩＤを含む。あるいは、この要求は、３Ｄデータシステム１が記憶している３Ｄモデリングデータから所望のデータを検索するための検索キーを含んでいてもよい。この場合、３Ｄデータ処理システム２０は、検索キーに適合する３Ｄモデリングデータの一覧をアプリケーション３０に送信する。アプリケーション３０は、この一覧の中から一の３Ｄモデリングデータを選択する。選択された３Ｄモデリングデータを特定する情報は、３Ｄデータ処理システム２０に出力される。

【0076】

この要求は、３Ｄモデリングデータを特定する情報に加え、個性データを特定する情報を含んでもよい。１つの３Ｄモデリングデータに複数種類の個性データが付加されている場合において、特定のアプリケーション３０がこれら複数種類の個性データを全て必要としているとは限らない。そこで、アプリケーション３０は自身が必要とする個性データをのみを３Ｄデータ処理システム２０に要求する。

【0077】

ステップＳ３２において、３Ｄデータ処理システム２０は、要求された３Ｄモデリングデータ及び個性データを、要求元のアプリケーション３０に出力する。アプリケーション３０が特定の個性データのみを要求している場合、３Ｄデータ処理システム２０は、３Ｄモデリングデータに加え、要求された個性データのみを出力する。

【0078】

ステップＳ３３において、アプリケーション３０は、３Ｄデータ処理システム２０から取得した３Ｄモデリングデータ及び個性データを用いて製品又はサービスを提供する。３Ｄデータシステム１において、異なる種類のアプリケーションが、共通の３Ｄモデリングデータ及び個性データを用いることができる。アプリケーション３０は、例えば、ＩＤカード、名刺、ヴァーチャルコミュニケーション、ビデオゲーム、着せ替え（試着）、採寸、ヴァーチャルシアター、フィットネス、医療、及び映画製作のうち少なくとも１つを含む。アプリケーション３０は、スマートフォン等の携帯端末で動作してもよいし、据え置きのパーソナルコンピュータで動作してもよい。

【0079】

ＩＤカードは、ユーザの身分証明に用いられるアプリケーションである。ＩＤカードにおいて、ユーザの写真の代わりに３Ｄモデルが表示される。

【0080】

名刺は、ユーザの個人情報を他のユーザに伝達するためのアプリケーションである。名刺のデータには、ユーザの３Ｄモデリングデータが含まれる。例えばユーザＵＡの名刺データは、別のユーザＵＢに出力される。ユーザＵＢは自分のコンピュータ装置においてユーザＵＡの３Ｄモデルを含む名刺データを閲覧することができる。

【0081】

ヴァーチャルコミュニケーションは、仮想空間において他のユーザとコミュニケーションを行うためのアプリケーションである。仮想空間において、各ユーザはいわゆるアバターを用いて表示される。このアバターとして本実施形態に係る３Ｄモデルが用いられる。ヴァーチャルコミュニケーションを用いれば、例えば遠隔地にいる複数のユーザが会議をすることができる。会議において、各ユーザのアバターは個性を有しており、リアリティが増す。

【0082】

ビデオゲームにおいて、ゲーム中に登場するキャラクターとして、本実施形態に係る３Ｄモデルが用いられる。例えば、格闘ゲームにおいて、プレイヤーは、自身の３Ｄモデルをプレイヤーキャラクターとして用いることができる。この３Ｄモデルは、そのプレイヤーに対応する動きの特徴（例えば、走り方、ジャンプの仕方等）を有している。

【0083】

着せ替えは、仮想空間において人体モデルに服を着せるアプリケーションである。この人体モデルとして、本実施形態に係る３Ｄモデルが用いられる。人体モデルは服を着た状態で仮想空間内を移動する（いわゆるランウェイウォーク）。このとき、この人体モデルは、そのユーザに対応する動きの特徴（例えば、歩き方）を有している。

【0084】

採寸は、被写体Ｓの体のサイズ（身長、胸囲、胴囲等）を測定するアプリケーションである。

【0085】

バーチャルシアターは、仮想空間において、仮想キャラクター（アバター）に実演（歌唱、演劇、ダンス等）を行わせ、その実演を鑑賞するアプリケーションである。キャラクターはそれぞれ個性を有する。実演は、例えば仮想空間上のステージで行われる。ユーザは、仮想カメラで撮影されたこの実演を鑑賞することができる。仮想カメラ（視点）の位置は例えばユーザの指示に応じて制御される。ユーザは、特定の演者に仮想カメラを寄せたり、ステージを俯瞰したり、仮想カメラの位置を自在に制御できる。

【0086】

フィットネスは運動の前後において被写体の体を３Ｄモデル化して記録するアプリケーションである。記憶された３Ｄモデルを比較することにより、運動により筋肉が増強された部分や、余分なぜい肉が落ちた部分を視覚的に確認することができる。

【0087】

医療は治療の前後において被写体の体を３Ｄモデル化して記録するアプリケーションである。記憶された３Ｄモデルを比較することにより、治療、投薬、リハビリの効果を視覚的に確認することができる。

【0088】

映画製作は、映画の中に３Ｄモデルを登場させるアプリケーションである。例えば、俳優の３Ｄモデリングデータ及び個性データを取得しておけば、実際に俳優に演技をさせなくても、その俳優を映画の中野キャラクターとして登場させることができる。

【0089】

２−２．動作例２
動作例１においては、対象被写体Ｓの個性データが推定される例を説明した。この例において、個性データの推定は行われない。個性データは３Ｄデータシステム１においてあらかじめ用意されており、ユーザ（例えば対象被写体Ｓ本人）が、あらかじめ用意された複数の個性データの中から所望のデータを選択する。

【0090】

３Ｄデータシステム１において、個性データには、検索のためのタグが付与されている。このタグは、例えば、年齢、性別、人種、国籍、職業、又は既往歴を含む。ユーザは、これらの属性を検索キーとして個性データを検索することができる。例えば、３Ｄデータシステム１は、指定された個性データを対象被写体Ｓの３Ｄモデリングデータに当てはめてプレビュー表示してもよい。

【0091】

３Ｄデータシステム１においてあらかじめ用意される個性データには、例えば有名スポーツ選手や俳優の個性データが含まれてもよい。この場合、個性データには、スポーツ選手や俳優を特定する識別子（名前）が付与されている。プロサッカー選手がボールをキックする際の動作に関する個性データを用いれば、ユーザは、例えば、サッカーゲームにおいて、自分の撮影画像から得られた３Ｄモデルをプレイヤーのキャラクターとして登場させ、このキャラクターに有名プロサッカー選手のフォームでキックをさせることができる。

【0092】

この例によれば、個性を推定することなく、３Ｄモデリングデータに個性データを付加することができる。なお、動作例２は、動作例１と併用されてもよい。例えば、３Ｄデータシステム１は、推定による個性データの付加とあらかじめ用意された個性データの付加のいずれかをユーザに選択させ、ユーザに選択された手法で個性データを付加してもよい。

【0093】

３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。実施形態の少なくとも一部及び以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

【0094】

３−１．変形例１
図１４は、変形例１に係る３Ｄデータシステム１の概略を示す図である。この例において、３Ｄデータ処理システム２０は、３Ｄモデリングデータ、ボーンデータ、及びメタデータのセットを複数、記憶する。ボーンデータは、３Ｄモデルのボーン構造を示すデータである。ボーンデータは、例えば被写体を複数のポーズで撮影することにより実測されたものであってもよいし、あらかじめ用意されたボーン構造の標準モデルを３Ｄモデルに合わせて調整することにより得られたものでもよい。メタデータは、３Ｄモデルに付随するデータをいい、例えば、被写体の属性、撮影装置の属性、音声、コピー制限等を示すデータである。実施形態で例示した個性データ及び属性データは、メタデータの一例であるということもできる。なお、メタデータは、３Ｄモデル動的な個性を示す情報を含んでいなくてもよい。この場合においても、３Ｄデータシステム１は、アプリケーション３０に対し、３Ｄモデリングデータ、ボーンデータ、及びメタデータのセットを容易に提供することができるという効果を奏する。

【0095】

３Ｄモデリングデータ、ボーンデータ、及びメタデータのセットは、３Ｄデータ処理システム２０においてあらかじめ決められていてもよい。あるいは、３Ｄモデリングデータ、ボーンデータ、及びメタデータのセットは、アプリケーション３０又はユーザの要求に応じて組み替えられてもよい。例えば、メタデータが関節の可動範囲を制限するデータ（以下「制限データ」という）及び音声データを含む場合において、３Ｄデータ処理システム２０は、制限データ及び音声データのテンプレートを複数、記憶している。３Ｄデータ処理システム２０は、ユーザにより選択された制限データ及び音声データを、指定された３Ｄモデリングデータに付加する。この例によれば、ユーザが所望のメタデータを選択し、３Ｄモデリングデータに付加することができる。なお、図１４の例において、３Ｄモデリングデータを含むデータセットは、ボーンデータを含んでいなくてもよい。一例において、３Ｄデータ処理システム２０は、３Ｄモデリングデータ及びメタデータ（例えば制限データ）のみを記憶していてもよい。

【0096】

３−２．変形例２
推定部２４が個性を推定する方法は実施形態において例示されたものに限定されない。分類後の各グループは、そのグループを代表する個性データ（代表個性データ）に加え、そのグループを代表する特徴量（代表特徴量）を有してもよい。３Ｄデータ処理システム２０は、補正部（図示略）を有する。この補正部は、代表特徴量と対象被写体Ｓの３Ｄモデリングデータから得られた特徴量との差に応じて、代表個性データを補正する。例えば、補正部は、代表個性データに対し、代表特徴量と対象被写体Ｓの３Ｄモデリングデータから得られた特徴量との差及び係数を乗算した結果（ベクトル）を加算することにより代表個性データを補正する。この例によれば、例えば、静的な特徴量の差を用いて動的な個性データを補正することができる。

【0097】

３−３．変形例３
分類部２３による分類が複数のレベルに区分されてもよい。これら複数のレベルは、各々、分類後のグループの数が異なる。例えば、同じ種類の特徴量に基づく分類が、低レベル（グループ数が少ない）、中レベル（グループ数が中くらい）、及び高レベル（グループ数が多い）に区分される。これら複数の区分のうちどの区分の分類を用いるか、例えば、ユーザの指示により、又はアプリケーション３０の要求により決定される。推定部２４は、例えば低レベル（第１レベルの一例）の分類が用いられる場合、変形例２のように、グループの代表特徴量と対象被写体Ｓの特徴量との差に基づいて個性データを推定（補正）する。推定部２４は、例えば高レベル（第２レベルの一例）の分類が用いられる場合、グループの代表個性データをそのまま、対象被写体Ｓの３Ｄモデルの個性データとして用いる。

【0098】

３−４．変形例４
実施形態において個性データは動的な特徴量の標準データからのずれベクトルとして定義される例を説明した。しかし、個性データはずれベクトルに限定されず，動的な特徴量そのもの（絶対値）を表すデータであってもよい。この場合、標準データを定義する必要がない。なお、ずれベクトルを用いる場合は、アプリケーション３０側で標準データを保持していれば、標準データ及びずれベクトルを伝送する場合と比較して、ずれベクトルのみを送信すればよいので、システム間で伝送されるデータ量を削減することができる。

【0099】

３−５．変形例５
３Ｄモデリングデータに基づく分類が行われる場合において、グループの代表個性データは実測されたデータに限定されない。推定により得られた個性データが、グループの代表個性データとして用いられてもよい。

【0100】

３−６．他の変形例
３Ｄデータシステム１において、３Ｄデータ入力システム１０及び３Ｄデータ処理システム２０における機能の分担は、図２において例示されたものに限定されない。例えば、生成部１２に相当する機能が、３Ｄデータ処理システム２０すなわちクラウドに実装されてもよい。あるいは、付加部２１又は分類部２３に相当する機能が、３Ｄデータ入力システム１０に実装されてもよい。

【0101】

３Ｄデータ入力システム１０、３Ｄデータ処理システム２０、及びアプリケーション３０は、それぞれ、異なる１以上のコンピュータ装置に実装されてもよいし、機能の少なくとも一部が共通のコンピュータ装置に実装されてもよい。また、物理的に複数のコンピュータ装置が、３Ｄデータ入力システム１０、３Ｄデータ処理システム２０、又はアプリケーション３０として機能してもよい。

【要約】

３Ｄデータシステム（１）は、対象となる被写体の表面を撮影した撮影画像、及び基準点から前記表面までの距離を示す距離情報を取得する画像取得部（１１）と、前記撮影画像及び前記距離情報から得られる前記対象となる被写体の３Ｄモデルを示す３Ｄモデリングデータに対し、当該３Ｄモデルの動的な個性を示す個性データを付加する付加部（２１）と、前記個性データが付加された前記３Ｄモデリングデータを記憶する記憶部（２２）とを有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】