IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社VRCの特許一覧

特開2024-52519情報処理装置、情報処理方法、及びプログラム
<>
  • 特開-情報処理装置、情報処理方法、及びプログラム 図1
  • 特開-情報処理装置、情報処理方法、及びプログラム 図2
  • 特開-情報処理装置、情報処理方法、及びプログラム 図3
  • 特開-情報処理装置、情報処理方法、及びプログラム 図4
  • 特開-情報処理装置、情報処理方法、及びプログラム 図5
  • 特開-情報処理装置、情報処理方法、及びプログラム 図6
  • 特開-情報処理装置、情報処理方法、及びプログラム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052519
(43)【公開日】2024-04-11
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20240404BHJP
【FI】
G06T19/00 A
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023113997
(22)【出願日】2023-07-11
(62)【分割の表示】P 2022563436の分割
【原出願日】2022-09-30
(71)【出願人】
【識別番号】316014722
【氏名又は名称】株式会社VRC
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】謝 英弟
(72)【発明者】
【氏名】張 彦鵬
(72)【発明者】
【氏名】劉 雨佳
(72)【発明者】
【氏名】許 夢▲セン▼
(72)【発明者】
【氏名】井口 道久
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050AA03
5B050BA09
5B050BA12
5B050CA07
5B050CA08
5B050DA01
5B050EA26
5B050FA02
5B050FA05
(57)【要約】
【課題】2つの3Dモデルを融合する際に、その詳細を調整することが可能な技術を提供する。
【解決手段】情報処理装置は、第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得する第1取得手段と、前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得する第2取得手段と、前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成する生成手段とを有する。
【選択図】図2
【特許請求の範囲】
【請求項1】
第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得する第1取得手段と、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得する第2取得手段と、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成する生成手段と
を有する情報処理装置。
【請求項2】
前記第1の3Dモデル及び前記第1のテンプレートの頂点の対応関係を特定する特定手段を有し、
前記生成手段は、前記対応関係に基づいて前記第1の3Dモデル及び前記第1のテンプレートの一方を変更する
請求項1に記載の情報処理装置。
【請求項3】
前記特定手段は、
前記第1の3Dモデル及び前記第1のテンプレートのトポロジから、各頂点が属する部位を特定し、
前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定する
請求項2に記載の情報処理装置。
【請求項4】
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を前記パラメータに従って変更する
請求項1に記載の情報処理装置。
【請求項5】
前記パラメータが、前記第1の3Dモデルと前記第1のテンプレートとの混合比を示し、
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を、前記混合比に従って混合する
請求項4に記載の情報処理装置。
【請求項6】
前記第1の3Dモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、
前記生成手段は、前記指定された要素を前記パラメータに従って変更した第2の3Dモデルを生成する
請求項1に記載の情報処理装置。
【請求項7】
前記第1取得手段は、前記第1のテンプレートと異なる第2のテンプレートを取得し、
前記第2取得手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートを融合するパラメータを取得し、
前記生成手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートの1つを、前記パラメータ並びに当該第1の3Dモデル、当該第1のテンプレート、及び当該第2のテンプレートの残りに従って変更した前記第2の3Dモデルを生成する
請求項1に記載の情報処理装置。
【請求項8】
前記第2の3Dモデルのデータが、前記第1の3Dモデル及び前記テンプレートのデータを含む
請求項1に記載の情報処理装置。
【請求項9】
第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得するステップと、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成するステップと
を有する情報処理方法。
【請求項10】
コンピュータに、
第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得するステップと、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、3Dモデルを融合する技術に関する。
【背景技術】
【0002】
2つの3Dモデルを融合又は合成する技術が知られている。例えば特許文献1は、全身の3Dモデルと頭部の3Dモデルとを別々に生成し、全身の3Dモデルと頭部の3Dモデルとを合成する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許第10796480号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術においては、全身の3Dモデルにおいて単に頭部の3Dモデルを置換するだけであり、その融合の詳細をユーザが調整することはできなかった。
【0005】
これに対し本発明は、2つの3Dモデルを融合する際に、その詳細を調整することが可能な技術を提供する。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得する第1取得手段と、前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得する第2取得手段と、前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成する生成手段とを有する情報処理装置が提供される。
【0007】
この情報処理装置は、前記第1の3Dモデル及び前記第1のテンプレートの頂点の対応関係を特定する特定手段を有し、前記生成手段は、前記対応関係に基づいて前記第1の3Dモデル及び前記第1のテンプレートの一方を変更してもよい。
【0008】
前記特定手段は、前記第1の3Dモデル及び前記第1のテンプレートのトポロジから、各頂点が属する部位を特定し、前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定してもよい。
【0009】
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を前記パラメータに従って変更してもよい。
【0010】
前記パラメータが、前記第1の3Dモデルと前記第1のテンプレートとの混合比を示し、前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を、前記混合比に従って混合してもよい。
【0011】
この情報処理装置は、前記第1の3Dモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、前記生成手段は、前記指定された要素を前記パラメータに従って変更した第2の3Dモデルを生成してもよい。
【0012】
前記第1取得手段は、前記第1のテンプレートと異なる第2のテンプレートを取得し、前記第2取得手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートを融合するパラメータを取得し、前記生成手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートの1つを、前記パラメータ並びに当該第1の3Dモデル、当該第1のテンプレート、及び当該第2のテンプレートの残りに従って変更した前記第2の3Dモデルを生成してもよい。
【0013】
前記第2の3Dモデルのデータが、前記第1の3Dモデル及び前記テンプレートのデータを含んでもよい。
【0014】
本発明の別の一態様は、第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得するステップと、前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成するステップとを有する情報処理方法を提供する。
【0015】
本発明のさらに別の一態様は、コンピュータに、第1の3Dモデル及び当該第1の3Dモデルに対応する第1のテンプレートを取得するステップと、前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルを生成するステップとを実行させるためのプログラムを提供する。
【発明の効果】
【0016】
本発明によれば、2つの3Dモデルを融合する際に、その詳細を調整することができる。
【図面の簡単な説明】
【0017】
図1】一実施形態に係る3Dデータシステム1の概要を示す図。
図2】3Dデータシステム1の機能構成を例示する図。
図3】サーバ10のハードウェア構成を例示する図。
図4】ユーザ端末20のハードウェア構成を例示する図。
図5】3Dデータシステム1の動作を例示するシーケンスチャート。
図6】3Dモデルの融合処理の詳細を例示する図。
図7】融合3Dモデルの表示画面を例示する図。
【発明を実施するための形態】
【0018】
1.構成
図1は、一実施形態に係る3Dデータシステム1の概要を示す図である。3Dデータシステム1は、3Dデータを提供するサービス(以下「3Dサービス」という)を提供する。本稿において「システム」とは、協働してある機能を提供する1又は複数の装置をいう。3Dデータシステム1は、サーバ10及びユーザ端末20を有する。サーバ10は、3Dデータサービスにおけるサーバとして機能する装置であり、ユーザ端末20等の他の装置に3Dデータを提供する。ユーザ端末20は、3Dデータサービスにおけるクライアントとして機能する装置であり、サーバから提供された3Dデータを用いて、ユーザとインタラクションする。特にこの例において、3Dデータシステム1は、ユーザの(全身の)3Dモデルとテンプレートとを融合して、新たな3Dモデルを生成する。この例において、テンプレートは、ある人間の(全身の)3Dモデルである。テンプレートの被写体となる人間は、例えば、歌手、俳優、コメディアン、又はプロスポーツ選手など、いわゆる有名人である。あるいは、テンプレートは、家族、友人、又は同僚など、そのユーザと個人的な繋がりのある一般人であってもよい。
【0019】
図2は、3Dデータシステム1の機能構成を例示する図である。3Dデータシステム1は、記憶手段11、取得手段12、取得手段13、生成手段14、制御手段19、記憶手段21、受け付け手段22、表示手段23、及び制御手段29を有する。このうち、記憶手段11、取得手段12、取得手段13、生成手段14、及び制御手段19はサーバ10に、記憶手段21、受け付け手段22、表示手段23、及び制御手段29はユーザ端末20に、それぞれ実装される。
【0020】
記憶手段11は、各種のデータ及びプログラムを記憶する。この例において、記憶手段11は、データベース111及びデータベース112を記憶する。データベース111は、複数のユーザの各々について、そのユーザの3Dデータを記録したデータベースである。ユーザの3Dデータとは、そのユーザの3Dモデリングデータを含むデータである。3Dモデリングデータとは、そのユーザの3Dモデルを表すデータである。3Dモデルとは、そのユーザの立体形状を模したグラフィックオブジェクトである。3Dモデルは、仮想空間においていわゆるアバターとして用いられる。
【0021】
取得手段12は、対象3Dモデル(第1の3Dモデルの一例)のデータ及びテンプレート(第1のテンプレートの一例)のデータを取得する(第1取得手段の一例)。対象3Dモデルとは、融合の対象となる3Dモデルである。取得手段13は、対象3Dモデルとテンプレートとを融合するパラメータを取得する(第2取得手段の一例)。このパラメータは、融合処理において用いられるパラメータであり、融合により生成される3Dモデル(以下「融合3Dモデル」という。第2の3Dモデルの一例)を特徴付けるパラメータである。
【0022】
生成手段14は、対象3Dモデル、テンプレート、及びパラメータを用いて融合3Dモデルを生成する。融合3Dモデルは、対象3Dモデル及びテンプレートを、パラメータを用いて融合又は合成した3Dモデルである。融合3Dモデルは、対象3Dモデル及びテンプレートの一方を、パラメータ並びに対象3Dモデル及びテンプレートの他方に従って変更した3Dモデルであるということもできる。
【0023】
制御手段19は、各種の制御を行う。
【0024】
記憶手段21は、各種のデータを記憶する。受け付け手段22は、ユーザからの指示又は情報の入力を受け付ける。表示手段23は、各種の情報を表示する。制御手段29は、各種の制御を行う。
【0025】
図3は、サーバ10のハードウェア構成を例示する図である。サーバ10は、CPU(Central Processing Unit)101、メモリ102、ストレージ103、及び通信IF104を有するコンピュータ装置又は情報処理装置である。CPU101は、プログラムに従って各種の演算を行う処理装置である。メモリ102は、CPU101がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばRAM(Random Access Memory)を含む。ストレージ103は、各種のプログラム及びデータを記憶する補助記憶装置であり、例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive)を含む。通信IF104は、所定の通信規格(例えばイーサネット)に従って他の装置と通信する装置であり、例えばNIC(Network Interface Card)を含む。
【0026】
この例において、ストレージ103が記憶するプログラムには、コンピュータを3Dデータシステム1におけるサーバ10として機能させるためのプログラム(以下「サーバプログラム」という)が含まれる。CPU101がサーバプログラムを実行している状態において、メモリ102及びストレージ103の少なくとも一方が記憶手段11の一例であり、CPU101が取得手段12、取得手段13、生成手段14、及び制御手段19の一例である。
【0027】
図4は、ユーザ端末20のハードウェア構成を例示する図である。ユーザ端末20は、CPU201、メモリ202、ストレージ203、通信IF204、入力装置205、及び出力装置206を有するコンピュータ装置、例えば、パーソナルコンピュータ、スマートフォン、又はタブレット端末である。CPU201は、プログラムに従って各種の演算を行う処理装置である。メモリ202は、CPU201がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばRAMを含む。ストレージ203は、各種のプログラム及びデータを記憶する補助記憶装置であり、例えばHDD又はSSDを含む。通信IF204は、所定の通信規格(例えばWiFi(登録商標)又はLTE(登録商標)など))に従って他の装置と通信する装置であり、例えばアンテナ及びモデムチップセットを含む。入力装置205は、ユーザ又は他の装置から指示又は情報の入力を受け付ける装置であり、例えば、タッチスクリーン、キーボード、ポインティングデバイス、及びマイクロフォンの少なくとも一種を含む。出力装置206は、ユーザ又は他の装置に情報を出力する装置であり、例えば、ディスプレイ及びスピーカの少なくとも一種を含む。
【0028】
この例において、ストレージ203が記憶するプログラムには、コンピュータを3Dデータシステム1におけるユーザ端末20として機能させるためのプログラム(以下「クライアントプログラム」という)が含まれる。CPU201がクライアントプログラムを実行している状態において、メモリ202及びストレージ203の少なくとも一方が記憶手段21の一例であり、入力装置205が受け付け手段22の一例であり、出力装置206が表示手段23の一例であり、CPU101が制御手段29の一例である。
【0029】
2.動作
図5は、3Dデータシステム1の一実施形態に係る動作を例示するシーケンスチャートである。このフローの開始前の時点において、ユーザは3Dスキャナ(図示略)を用いて自身の3Dデータを生成する。この3Dデータは、サーバ10においてデータベース111に記録される。この例において、データベース111は、あるユーザについて、異なる複数のタイミング(例えば異なる日時)で撮影された画像を用いて生成された複数の3Dデータを記憶している。
【0030】
図5のフローに先立ち、ユーザは、ユーザ端末20から、3Dデータシステム1にログインを要求する。サーバ10は、ユーザ端末20から送信される認証情報を用いてログイン処理を行う。
【0031】
ステップS1において、ユーザ端末20は、対象3Dモデルの指定を受け付ける。詳細には以下のとおりである。ユーザ端末20は、3Dデータ一覧をサーバ10に要求する。この要求は、候補となる3Dデータを絞り込むための情報を含む。候補となる3Dデータを絞り込むための情報は、例えば、ユーザIDである。この要求を受けると、サーバ10は、条件を満たす3Dデータの一覧をデータベース111から抽出する。サーバ10は、抽出した3Dデータの一覧をユーザ端末20に送信する。抽出された3Dデータは、例えば、ユーザ端末20から3Dデータシステム1にログインしているユーザの3Dデータである。ユーザ端末20は、3Dデータの一覧を表示する。ユーザは、この一覧の中から、融合の対象3Dデータを選択する。ユーザ端末20は、選択された3Dデータの識別情報をサーバ10に送信する。
【0032】
ステップS2において、ユーザ端末20は、融合に用いられるテンプレートの指定を受け付ける。詳細には以下のとおりである。ユーザ端末20は、テンプレート一覧サーバ10に要求する。この要求は、候補となるテンプレートを絞り込むための情報を含む。候補となるテンプレートを絞り込むための情報は、例えば、テンプレートのジャンルである。この要求を受けると、条件を満たすテンプレートの一覧をデータベース112から抽出する。サーバ10は、抽出したテンプレートの一覧をユーザ端末20に送信する。ユーザ端末20は、テンプレートの一覧を表示する。ユーザは、この一覧の中から、対象テンプレートを選択する。ユーザ端末20は、選択されたテンプレートの識別情報をサーバ10に送信する。
【0033】
ステップS3において、サーバ10は、対象3Dデータと選択されたテンプレートとを融合する。詳細には以下のとおりである。対象3Dデータと選択されたテンプレートとを融合させるとは、対象3Dモデルとテンプレートとを所定のアルゴリズムに従って融合し、新たな3Dモデルを生成することをいう。こうして生成された3Dモデルを融合3Dモデルという。
【0034】
図6は、ステップS3における3Dモデルの融合処理の詳細を例示する図である。ステップS301において、サーバ10は、対象3Dモデルのトポロジから、その3Dモデルを構成する各頂点がどの部位に相当するか特定する。3Dモデルにおける部位とは、例えば、頭、胴、腕、手、腰、脚、及び足など身体の部位をいう。さらに、3Dモデルにおける部位は、顔において目、鼻、口、及び耳など、より詳細な分類を含んでもよい。一例において、部位の特定は、機械学習を用いて行われる。この場合、種々の被写体から生成した3Dモデリングデータを入力とし、この3Dモデルを構成する各頂点がどの部位に属するかの分類をしたデータを出力とする教師データを与えて学習済の機械学習モデルが用いられる。
【0035】
ステップS302において、サーバ10は、テンプレートの3Dモデルのトポロジから、その3Dモデルを構成する各頂点がどの部位に相当するか特定する。具体的な手法は対象3Dモデルと同様である。
【0036】
ステップS303において、サーバ10は、対象3Dモデルの頂点とテンプレートの3Dモデルの頂点との対応を特定する。この例において、サーバ10に記録されている3Dデータにより表される3Dモデルと、テンプレートの3Dモデルとはトポロジが統一されている。ここで、トポロジの統一について説明する。3Dモデルの形状をジオメトリという。ジオメトリはメッシュで構成される。メッシュは、エッジで囲まれた面である。エッジは、2つの頂点を結ぶ辺である。このメッシュの流れのことをトポロジという。すなわちトポロジとは、3Dモデルにおけるエッジの分布又は構造を指す。2つの3Dモデルのトポロジが「統一されている」とは、2つの3Dモデルの頂点がすべて一対一に対応することをいう。あるいは、2つの3Dモデルのトポロジが「統一されている」とは、エッジの長さを規格化したときに、2つの3Dモデルのトポロジが同一となることをいう。
【0037】
対象3Dモデルのトポロジとテンプレートのトポロジとが統一されているため、対象3Dモデルの頂点は、全てテンプレートの3Dモデルの頂点と一対一に対応する。
【0038】
ステップS304において、サーバ10は、対象3Dモデルにおける各頂点の特性と、対応するテンプレートの頂点の特性とを融合する。頂点の特性とは、例えば、頂点の相対位置の座標である。すなわち、サーバ10は、対象3Dモデルのジオメトリとテンプレートのジオメトリとを融合する。対象3Dモデルの、ある頂点の座標をVo、テンプレートの、頂点Voと対応する頂点の座標をVtと表すと、融合後の頂点の座標Vmは、
【数1】
と表される。ここで、αは混合比(又は重み)を表す。α=0のとき融合3Dモデルのジオメトリは対象3Dモデルと同一であり、α=1のとき融合3Dモデルのジオメトリはテンプレートと同一である。また、メッシュに貼り付けるテクスチャについても同様に、2つの3Dモデルのテクスチャを重み付きで融合することにより、2つの3Dモデルを融合させることができる。サーバ10は、このようにして対象3Dモデルとテンプレートとを融合する。
【0039】
再び図5を参照する。ステップS4において、サーバ10は、融合3Dモデルのデータをユーザ端末20に送信する。ユーザ端末20は、融合3Dモデルを表示する(ステップS5)。
【0040】
図7は、融合3Dモデルの表示画面を例示する図である。この画面は、表示領域91、表示領域92、表示領域93、及び表示領域94を有する。表示領域91は、融合3Dモデルを表示する領域である。表示領域91には、例えば、融合3Dモデルを表示する視点(すなわち融合3Dモデルを映す仮想カメラの位置)を設定するためのUIオブジェクト、及び融合3Dモデルに与えるモーションを設定するためのUIオブジェクトも表示される。
【0041】
表示領域92は、対象3Dモデルを表示する領域である。表示領域93は、テンプレートを表示する領域である。対象3Dモデル及びテンプレートを表示する視点、並びに対象3Dモデル及びテンプレートのモーションは、融合3Dモデルの視点及びモーションと同期する。
【0042】
表示領域94は、融合3Dモデルに関する指示を入力するためのUIオブジェクトを表示する領域である。融合3Dモデルに関する指示には、例えば、3Dモデルとテンプレートとを融合する際のパラメータの設定が含まれる。このパラメータは、例えば、対象3Dモデルとテンプレートとの混合比である。この例では、混合比を設定するUIオブジェクトとしてスライドバーが示されている。融合3Dモデルを最初に表示した時点では、混合比は自動的に初期値に設定される。なお図7では、対象3Dモデルが体幅の広い男性であり、テンプレートが体幅の細い男性である。融合3Dモデルは、対象3Dモデルに、テンプレートの体型を融合させた例を示している。
【0043】
再び図5を参照する。ユーザがスライドバーをドラッグ又はクリックする等して混合比を指定すなわち変更すると、ユーザ端末20は、指定された混合比をサーバ10に送信する(ステップS6)。混合比の指定を受け付けると、サーバ10は、指定された混合比で、対象3Dモデルとテンプレートとを融合し、新たな(すなわち更新された)融合3Dモデルを生成する(ステップS7)。サーバ10は、生成された融合3Dモデルのデータをユーザ端末20に送信する(ステップS8)。ユーザ端末20は、更新された融合3Dモデルを表示する(ステップS9)。
【0044】
このように、ユーザ端末20は、ユーザの指示により指定された混合比で生成された融合3Dモデルをリアルタイムで表示する。ユーザは、自身の指示の影響をリアルタイムで確認しながら、対象3Dモデルとテンプレートとを融合することができる。
【0045】
融合3Dモデルの保存を希望するときは、ユーザは、UIオブジェクトから融合3Dモデルの保存を指示する。ユーザ端末20は、融合3Dモデルを保存する指示を受け付ける(ステップS8)。ユーザ端末20は、融合3Dモデルを保存する指示をサーバ10に送信する(ステップS9)。この指示を受信すると、サーバ10は、データベース111に、融合3Dモデルを示す3Dデータ(以下「融合3Dデータ」という)を記録する。融合3Dデータは、融合3Dモデルの3Dモデリングデータ及び融合3Dモデルの属性データを含む。融合3Dモデルの属性データは、融合3Dモデルを生成する際に元となった3Dモデル及びテンプレートのデータを含む。融合3Dデータが元の3Dモデル及びテンプレートのデータを含むことで、サーバ10から融合3Dデータを受信したユーザ端末20は、融合3Dモデルを元の3Dモデル及びテンプレートに分離したり、混合比を変えて融合し直したりすることができる。
【0046】
融合3Dモデルは種々の用途に適用が可能である。一例において、融合3Dモデルはエンターテイメント用途に用いられる。エンターテイメント用途とは、例えば、ビデオゲームのキャラクタ、動画コンテンツ、又はSNS(Social Networking System)のスタンプを含む。別の例において融合3Dモデルは、スポーツトレーニングに用いられる。3Dデータシステム1は、スポーツトレーニングのため、ユーザ自身の3Dモデルのモーションと、手本となるトレーナー又はスポーツ選手のモーション(例えば、ランニング、テニスラケット若しくはバットのスイング、又はボールのキックなど)とを融合させる。ユーザは、融合3Dモデルのモーションの動画を見て、自身のモーションの改善点を把握することができる。あるいは、トレーニング補助システム(図示略)が、この融合3Dモデルに基づいてユーザ本人の特性に合った練習プログラムを提案することができる。さらに別の例において、融合3Dモデルは、骨盤矯正に用いられる。3Dデータシステム1は、骨盤矯正のため、ユーザ自身の3Dモデルの骨格と、標準の3Dモデルの骨格とを融合させる(この場合、3Dデータは骨格のデータを含む)。ユーザは、融合3Dモデルのモーションの骨格を見て、トレーニングをすれば自身の骨盤がどこまで改善できるかをシミュレーションすることができる。
【0047】
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下において説明する事項のうち、2つ以上のものが組み合わせて適用されてもよい。
【0048】
3-1.融合される特性
対象3Dモデルとテンプレートとにおいて融合される特性は、ジオメトリに限定されない。融合される特性は、対象3Dモデル及びテンプレートの、ジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種であってもよい。一般にリギングとは、3Dモデルにボーン(スケルトンといわれることもある)とメッシュとの対応関係を設定すること、並びにそれを制御する仕組み及びインターフェースをいうが、ここでは3Dモデルに設定されたボーンとメッシュとの対応関係のことをいい、特定の部位のボーンとメッシュとの組み合わせ(又は群)をリグという。この「対応関係」は、ボーンと関節との位置関係の定義、及びスキンと連動する重みすなわちスキンウェイトを含む。例えば、対象3Dモデルのリギングとテンプレートのリギングが融合されるとは、ボーン(又はジョイント)の相対位置を融合することをいう。モーションとは、3Dモデルの動き(例えば上記のリグの動き)をいう。モーションは、例えば、複数のリグの相対位置の時間変化である。モーションを融合するとは、例えば、以下の処理をいう。対象3Dモデルとテンプレートとで共通するモーション(例えば「歩く」モーション)が指定される。これら2つのモーションの時間長が規格化される。これら2つのモーションが時間フレームに分割される。各フレームにおいて、対象3Dモデルのリグ及びテンプレートのリグの相対位置が融合される。
【0049】
図7の表示画面は、融合される特性の指定を受け付けるためのUIオブジェクトを含んでもよい。ユーザは、ジオメトリ、テクスチャ、リギング、及びモーションのうち、所望の特性を融合させることができる。
【0050】
さらに、ユーザの3Dデータが、3Dモデルの外観以外の、ユーザの特徴を表すデータを含んでもよい。ユーザの特徴とは、例えば、そのユーザの声、話し方又は言葉遣い、及びモーション(例えば、歩き方、走り方、表情、又は仕草など)である。これらの特徴はデータ化又は数値化されて記録される。対象3Dモデル及びテンプレートについてこれらの特徴を融合する際は、必要に応じて規格化が行われる。規格化は、データを融合する際の基準値を一致させる処理である。規格化は、例えば、モーションであればそのモーションの開始から終了までの時間を一致させる処理である。
【0051】
3-2.テンプレートの数
対象3Dモデルと融合されるテンプレートの数は1つに限定されない。3Dデータシステム1は、対象モデルと複数のテンプレートとを融合して1つの融合3Dモデルを生成してもよい。この場合、融合3Dモデルの表示画面は、複数のテンプレートを融合する混合比を設定するためのUIオブジェクトを含む。例えば、対象3Dモデルを第1テンプレート及び第2テンプレートの2つのテンプレートと融合させる場合、このUIオブジェクトは、(全体に対する)第1テンプレートの混合比及び第2テンプレートの混合比をそれぞれ設定することができる。
【0052】
3-3.対象モデルの数
テンプレートと融合される対象3Dモデルの数は1つに限定されない。3Dデータシステム1は、テンプレートと複数の対象3Dモデルとを融合してもよい。この場合、融合3Dモデルは、対象3Dモデルと同じ数、生成される。例えば、テンプレートが第1対象3Dモデル及び第2対象3Dモデルの2つの3Dモデルと融合される場合、第1対象3Dモデルとテンプレートとを融合した第1融合3Dモデル、及び第2対象3Dモデルとテンプレートとを融合した第2融合3Dモデルの2つの融合3Dモデルが生成される。これら2つの融合3Dモデルにおいて、テンプレートとの混合比は共通である。例えば融合3Dモデルの表示画面は、第1対象3Dモデルを表示する領域、第2対象3Dモデルを表示する領域、テンプレートを表示する領域、第1融合3Dモデルを表示する領域、第2融合3Dモデルを表示する領域、及び融合3Dモデルに関する指示を入力するためのUIオブジェクトを表示する領域を含む。このUIオブジェクトにおいて単一の混合比を設定すると、この混合比が第1融合3Dモデル及び第2融合3Dモデルの双方に適用される。この例によれば、例えば友人同士のグループに同じテンプレートを適用して融合3Dモデルを生成することができる。
【0053】
さらに、対象3Dモデル及びテンプレートは、いずれも複数であってもよい。すなわち、対象3Dモデルが第1、第2、・・・、及び第i対象3Dモデルを含み、テンプレートが第1、第2、・・・、及び第jテンプレートを含む。iとjとは同じでもよいし異なっていてもよい。
【0054】
3-4.テンプレートの内容
テンプレートは人間の全身の3Dモデルに限定されない。テンプレートは、人間の身体の一部(例えば、頭、胸、腕、手、腹、腰、脚、又は足)であってもよい。あるいは、3Dモデルはジオメトリ(すなわち形状)及びテクスチャ(すなわち表面の色彩、模様)など複数の要素を含んでいるところ、テンプレートはこれらのうちの一部、例えば、全身のジオメトリのみでテクスチャ無し、又は全身のテクスチャ無しでジオメトリのみ、といったデータであってもよい。対象3Dモデルが全身であるのにテンプレートが身体の一部しかない場合、3Dデータシステム1は、身体のその一部のみ、対象3Dモデルとテンプレートとを融合させる。
【0055】
3-5.対象3Dモデル及びテンプレートの被写体
対象3Dモデル及びテンプレートは、人間を被写体とするものに限定されない。対象3Dモデル及びテンプレートの少なくとも一方は、動物又はロボットなど、人間以外の生物又は人間型の非生物であってもよい。
【0056】
3-6.パラメータ
融合処理に用いられるパラメータは融合比に限定されない。実施形態において、融合処理が、加重平均又は重み付き平均を計算する例を説明した(この重みが融合比である)。しかし、融合処理は、幾何平均を計算する処理又は調和平均を計算する処理など、加重平均を計算する処理以外の処理であってもよい。融合処理に用いられるパラメータは、融合処理の内容に応じて定義される。
【0057】
3-7.融合される要素
実施形態においては、対象3Dモデルの全身のジオメトリ及びテクスチャが、それぞれ、テンプレートの全身のジオメトリ及びテクスチャと融合される例を説明した。しかし、融合される要素はこれに限定されない。例えば、融合される要素は、ユーザにより指定されてもよい。この場合、受け付け手段22は、3Dモデルを構成する要素のうち一部の要素の指定を受け付ける。3Dデータシステム1は、受け付け手段22を介して指定された要素を融合する。例えば、受け付け手段22が、対象3Dモデル又はテンプレートの全身のうちの一部(例えば、頭、腕、脚など)の指定をユーザから受け付け、生成手段14が、受け付け手段22を介して指定された部位について、対象3Dモデルとテンプレートとを融合する。あるいは、受け付け手段22が、融合される要素としてジオメトリ又はテクスチャの指定を受け付けてもよい。ジオメトリが指定された場合、生成手段14は、対象3Dモデルのジオメトリとテンプレートのジオメトリとを融合する(テクスチャは対象3Dモデルのまま)。テクスチャが指定された場合、生成手段14は、対象3Dモデルのテクスチャとテンプレートのテクスチャとを融合する(ジオメトリは対象3Dモデルのまま)。さらにあるいは、融合される要素は、身長、体重、胸囲、又は胴囲など、3Dモデルに関する。
【0058】
この場合において、融合処理は、指定された要素のみを融合するものに限定されない。例えば、3Dデータシステム1は、指定された要素と連動して、指定されていない他の要素を融合してもよい。あるテンプレートにおいてある要素と連動する要素は、3Dデータシステム1においてあらかじめ定義され、例えばデータベース(図示略)に記録される。一例としては、あるテンプレートに対して、頭部と連動する要素として、頭身比(頭部の高さと身長との比率)及び頭肩比(頭部の幅と肩幅との比率)が定義されている。さらに、頭部と頭身比とが連動する程度、及び頭部と頭肩比とが連動する程度を示すパラメータが併せて記録されている。ユーザが、対象3Dモデルとこのテンプレートの頭部を融合させることを指定すると、3Dデータシステム1は、テンプレートの頭部だけでなく、頭身比及び頭肩比を対象3Dモデルと融合させる。
【0059】
3-8.融合処理
融合処理の詳細は、実施形態の例(図6)に限定されない。例えば、3Dデータ及びテンプレートに、部位を特定する情報があらかじめ埋め込まれている場合、ステップS301及びステップS302の処理は省略可能である。あるいは、3Dデータシステム1は、機械学習等のAI(Artificial Intelligence)技術を用いて、対象3Dデータ及びテンプレートにおける、部位の対応関係を特定してもよい。
【0060】
実施形態においては対象3Dモデルとテンプレートとのトポロジが統一されている例を説明したが、これらのトポロジは統一されていなくてもよい。トポロジが統一されていない場合、3Dデータシステム1は、両者の対応点を特定又は検出する。3Dデータシステム1は、対応点の周りの点を、対応点の変化に応じて補間することによって両者を融合する。
【0061】
3-9.他の実施形態
3Dデータシステム1における機能とハードウェアとの関係は、実施形態において例示したものに限定されない。例えば、物理的に複数の装置が協働して、サーバ10としての機能を有してもよい。特に、各種のデータベースは、サーバ10とは別の装置に記憶されてもよい。この場合、サーバ10は、このデータベースにアクセスする手段を有していればよい。また、サーバ10は、物理サーバであってもよいし、仮想サーバ(いわゆるクラウドを含む)であってもよい。また、実施形態においてサーバ10が有するものとして説明した機能の一部を、ユーザ端末20等の他の装置が有してもよい。すなわち、サーバ10の機能は一部が省略されてもよい。
【0062】
CPU101等により実行されるプログラムは、DVD-ROM等のコンピュータ読み取り可能な非一時的記録媒体に記録された状態で提供されてもよいし、インターネット等のコンピュータネットワークを介してダウンロード可能な状態で提供されてもよい。
【符号の説明】
【0063】
1…3Dデータシステム、10…サーバ、11…記憶手段、12…取得手段、13…取得手段、14…生成手段、19…制御手段、21…記憶手段、22…受け付け手段、23…表示手段、29…制御手段、101…CPU、102…メモリ、103…ストレージ、104…通信IF、201…CPU、202…メモリ、203…ストレージ、204…通信IF、205…入力装置、206…出力装置
図1
図2
図3
図4
図5
図6
図7
【手続補正書】
【提出日】2023-07-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の3Dモデル及び当該第1の3Dモデルと統一されたトポロジを有する3Dモデルである第1のテンプレートであって、当該第1の3Dモデルとは異なる対象をモデルにした3Dモデルである前記第1のテンプレートを取得する第1取得手段と、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得する第2取得手段と、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルであって、第1の3Dモデルとは別の新たな第2の3Dモデルをデータとして記憶するために当該第2の3Dモデルを生成する生成手段と
を有する情報処理装置。
【請求項2】
前記第1の3Dモデル及び前記第1のテンプレートの頂点の対応関係を特定する特定手段を有し、
前記生成手段は、前記対応関係に基づいて前記第1の3Dモデル及び前記第1のテンプレートの一方を変更する
請求項1に記載の情報処理装置。
【請求項3】
前記特定手段は、
前記第1の3Dモデル及び前記第1のテンプレートのトポロジから、各頂点が属する部位を特定し、
前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定する
請求項2に記載の情報処理装置。
【請求項4】
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を前記パラメータに従って変更する
請求項1に記載の情報処理装置。
【請求項5】
前記パラメータが、前記第1の3Dモデルと前記第1のテンプレートとの混合比を示し、
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を、前記混合比に従って混合する
請求項4に記載の情報処理装置。
【請求項6】
前記第1の3Dモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、
前記生成手段は、前記指定された要素を前記パラメータに従って変更した第2の3Dモデルを生成する
請求項1に記載の情報処理装置。
【請求項7】
前記第1取得手段は、前記第1のテンプレートと異なる第2のテンプレートを取得し、
前記第2取得手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートを融合するパラメータを取得し、
前記生成手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートの1つを、前記パラメータ並びに当該第1の3Dモデル、当該第1のテンプレート、及び当該第2のテンプレートの残りに従って変更した前記第2の3Dモデルを生成する
請求項1に記載の情報処理装置。
【請求項8】
前記第2の3Dモデルのデータが、前記第1の3Dモデル及び前記テンプレートのデータを含む
請求項1に記載の情報処理装置。
【請求項9】
コンピュータが、
第1の3Dモデル及び当該第1の3Dモデルと統一されたトポロジを有する3Dモデルである第1のテンプレートであって、当該第1の3Dモデルとは異なる対象をモデルにした3Dモデルである前記第1のテンプレートを取得するステップと、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルであって、第1の3Dモデルとは別の新たな第2の3Dモデルをデータとして記憶するために当該第2の3Dモデルを生成するステップと
を有する情報処理方法。
【請求項10】
コンピュータに、
第1の3Dモデル及び当該第1の3Dモデルと統一されたトポロジを有する3Dモデルである第1のテンプレートであって、当該第1の3Dモデルとは異なる対象をモデルにした3Dモデルである前記第1のテンプレートを取得するステップと、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルであって、第1の3Dモデルとは別の新たな第2の3Dモデルをデータとして記憶するために当該第2の3Dモデルを生成するステップと
を実行させるためのプログラム。
【手続補正書】
【提出日】2023-10-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1の3Dモデル及び当該第1の3Dモデルと統一されたトポロジを有する3Dモデルである第1のテンプレートであって、当該第1の3Dモデルとは異なる対象をモデルにした3Dモデルである前記第1のテンプレートを取得する第1取得手段と、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得する第2取得手段と、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルであって、第1の3Dモデルとは別の新たな第2の3Dモデルを更新する毎に、データとして記憶するために当該第2の3Dモデルを生成する生成手段と
を有する情報処理装置。
【請求項2】
前記第1の3Dモデル及び前記第1のテンプレートの頂点の対応関係を特定する特定手段を有し、
前記生成手段は、前記対応関係に基づいて前記第1の3Dモデル及び前記第1のテンプレートの一方を変更する
請求項1に記載の情報処理装置。
【請求項3】
前記特定手段は、
前記第1の3Dモデル及び前記第1のテンプレートのトポロジから、各頂点が属する部位を特定し、
前記特定された部位の対応関係に基づいて前記頂点の対応関係を特定する
請求項2に記載の情報処理装置。
【請求項4】
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートの少なくとも一方のジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を前記パラメータに従って変更する
請求項1に記載の情報処理装置。
【請求項5】
前記パラメータが、前記第1の3Dモデルと前記第1のテンプレートとの混合比を示し、
前記生成手段が、前記第1の3Dモデル及び前記第1のテンプレートのジオメトリ、テクスチャ、リギング、及びモーションの少なくとも1種を、前記混合比に従って混合する
請求項4に記載の情報処理装置。
【請求項6】
前記第1の3Dモデルを構成する要素のうち一部の要素の指定を受け付ける受け付け手段を有し、
前記生成手段は、前記指定された要素を前記パラメータに従って変更した第2の3Dモデルを生成する
請求項1に記載の情報処理装置。
【請求項7】
前記第1取得手段は、前記第1のテンプレートと異なる第2のテンプレートを取得し、
前記第2取得手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートを融合するパラメータを取得し、
前記生成手段は、前記第1の3Dモデル、前記第1のテンプレート、及び前記第2のテンプレートの1つを、前記パラメータ並びに当該第1の3Dモデル、当該第1のテンプレート、及び当該第2のテンプレートの残りに従って変更した前記第2の3Dモデルを生成する
請求項1に記載の情報処理装置。
【請求項8】
前記第2の3Dモデルのデータが、前記第1の3Dモデル及び前記第1のテンプレートのデータを含む
請求項1に記載の情報処理装置。
【請求項9】
コンピュータが、
第1の3Dモデル及び当該第1の3Dモデルと統一されたトポロジを有する3Dモデルである第1のテンプレートであって、当該第1の3Dモデルとは異なる対象をモデルにした3Dモデルである前記第1のテンプレートを取得するステップと、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルであって、第1の3Dモデルとは別の新たな第2の3Dモデルを更新する毎に、データとして記憶するために当該第2の3Dモデルを生成するステップと
を有する情報処理方法。
【請求項10】
コンピュータに、
第1の3Dモデル及び当該第1の3Dモデルと統一されたトポロジを有する3Dモデルである第1のテンプレートであって、当該第1の3Dモデルとは異なる対象をモデルにした3Dモデルである前記第1のテンプレートを取得するステップと、
前記第1の3Dモデルと前記第1のテンプレートとを融合するパラメータを取得するステップと、
前記第1の3Dモデル及び前記第1のテンプレートの一方を、前記パラメータ並びに当該第1の3Dモデル及び当該第1のテンプレートの他方に従って変更した第2の3Dモデルであって、第1の3Dモデルとは別の新たな第2の3Dモデルを更新する毎に、データとして記憶するために当該第2の3Dモデルを生成するステップと
を実行させるためのプログラム。