特許 7418677 情報処理システム、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】情報処理システム、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240115BHJP

   G06T 19/00 20110101ALI20240115BHJP

【ＦＩ】

G06T13/40

G06T19/00 C

【請求項の数】 8

(21)【出願番号】P 2023113355

(22)【出願日】2023-07-10

【審査請求日】2023-07-14

【早期審査対象出願】

(73)【特許権者】

【識別番号】523125079

【氏名又は名称】株式会社ＬＡＩＬＡ

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】橋浦 秀夫

(72)【発明者】

【氏名】鈴木 孝昌

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０２２－０８８００７（ＪＰ，Ａ）

【文献】特許第６８０４１２５（ＪＰ，Ｂ１）

【文献】特開２００３－１０３０４７（ＪＰ，Ａ）

【文献】特許第７０３９０９４（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

衣服を複数方向から撮影した複数の画像に基づいて、三次元の衣服モデルを生成する生成部と、
前記衣服モデルの所定の箇所に調整点を付与する付与部と、
前記衣服モデルを着用させる三次元の人体モデルに設定されたボーンのうち、前記衣服モデルの所定の箇所に対応するボーンと、前記衣服モデルの調整点とを関連付ける関連付け部と、
前記衣服モデルを着用した前記人体モデルを、前記人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、前記衣服モデルの動きをシミュレーションするシミュレーション部と、を備え、
前記シミュレーション部は、前記人体モデルが、前記衣服の撮影時の形状である初期形状の前記衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、前記シミュレーションを開始させ、前記モーションデータに基づき、前記人体モデルを仮想的な面上で動作させ、前記衣服モデルに含まれる、前記衣服の素材に応じた重みデータに応じた前記シミュレーションにおいて、前記人体モデルに着用させた前記衣服モデルと前記仮想的な面との衝突が発生するか否かを判定し、衝突の発生なく前記モーションデータに基づく前記動作が完了するまで、前記重みデータを変更しながら前記初期姿勢からのシミュレーションを繰り返し実行する、
情報処理システム。

【請求項2】

前記所定の箇所は、前記衣服モデルの初期形状における、前記衣服の身頃に対する袖の開き角の算出を可能とする、少なくとも３以上の点である、請求項１に記載の情報処理システム。

【請求項3】

前記衝突の発生なく前記モーションデータに基づく動作が完了した場合の重みデータによる前記衣服モデルの動きで、前記衣服モデルを着用した前記人体モデルの前記モーションデータに基づくアニメーションを表示させるアニメーションデータを、前記人体モデルと関連付けて記憶する記憶部をさらに備え、
前記記憶部は、複数のモーションデータ、複数の人体モデル、および複数の衣服モデルによる複数の組み合わせについて、それぞれ前記アニメーションデータを記憶する、請求項１に記載の情報処理システム。

【請求項4】

前記シミュレーション部によって実行されたシミュレーションにおける、重みデータを含む衣服モデル、調整点、人体モデル、及びモーションデータに関する条件を入力、前記条件によるシミュレーション結果を出力とする機械学習によって、所定の衣服モデルに対する調整点及び重みデータを出力する学習モデルを生成する学習部をさらに備える、請求項３に記載の情報処理システム。

【請求項5】

複数の前記衣服モデルが配置された仮想空間を生成する仮想空間生成部と、
記仮想空間をユーザの表示装置に表示させる表示データを、前記表示装置に出力する出力部と、をさらに備え、
前記出力部は、前記ユーザによる、前記仮想空間における前記衣服モデルの選択操作を検出したことに応じて、前記ユーザによって選択された前記衣服モデルを着用した人体モデルによるアニメーションを表示させるアニメーションデータを、前記表示装置に送信する、請求項４に記載の情報処理システム。

【請求項6】

前記仮想空間における前記衣服モデルの配置に関する配置指示を、前記仮想空間の複数の管理ユーザから受け付ける受付部、をさらに備える、請求項５に記載の情報処理システム。

【請求項7】

情報処理装置が実行する情報処理方法であって、
衣服を複数方向から撮影した複数の画像に基づいて、三次元の衣服モデルを生成するステップと、
前記衣服モデルの所定の箇所に調整点を付与するステップと、
前記衣服モデルを着用させる三次元の人体モデルに設定されたボーンのうち、前記衣服モデルの所定の箇所に対応するボーンと、前記衣服モデルの調整点とを関連付けるステップと、
前記衣服モデルを着用した前記人体モデルを、前記人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、前記衣服モデルの動きをシミュレーションするステップと、を含み、
前記シミュレーションするステップは、前記人体モデルが、前記衣服の撮影時の形状である初期形状の前記衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、前記シミュレーションを開始させ、前記モーションデータに基づき、前記人体モデルを仮想的な面上で動作させ、前記衣服モデルに含まれる、前記衣服の素材に応じた重みデータに応じた前記シミュレーションにおいて、前記人体モデルに着用させた前記衣服モデルと前記仮想的な面との衝突が発生するか否かを判定し、衝突の発生なく前記モーションデータに基づく前記動作が完了するまで、前記重みデータを変更しながら前記初期姿勢からのシミュレーションを繰り返し実行する、情報処理方法。

【請求項8】

情報処理装置に、
衣服を複数方向から撮影した複数の画像に基づいて、三次元の衣服モデルを生成する機能と、
前記衣服モデルの所定の箇所に調整点を付与する機能と、
前記衣服モデルを着用させる三次元の人体モデルに設定されたボーンのうち、前記衣服モデルの所定の箇所に対応するボーンと、前記衣服モデルの調整点とを関連付ける機能と、
前記衣服モデルを着用した前記人体モデルを、前記人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、前記衣服モデルの動きをシミュレーションする機能と、を実現させ、
前記シミュレーションする機能は、前記人体モデルが、前記衣服の撮影時の形状である初期形状の前記衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、前記シミュレーションを開始させ、前記モーションデータに基づき、前記人体モデルを仮想的な面上で動作させ、前記衣服モデルに含まれる、前記衣服の素材に応じた重みデータに応じた前記シミュレーションにおいて、前記人体モデルに着用させた前記衣服モデルと前記仮想的な面との衝突が発生するか否かを判定し、衝突の発生なく前記モーションデータに基づく前記動作が完了するまで、前記重みデータを変更しながら前記初期姿勢からのシミュレーションを繰り返し実行する、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

近年、情報通信技術の発展によって仮想空間に関する技術開発が進み、ファッションの世界でも、仮想空間を活用したサービスが多数提案されている。例えば、ユーザが、現実世界に存在する店舗を仮想空間に再現したバーチャル店舗を訪問して、商品の閲覧や購入が可能であるサービスや、仮想空間を行き来するアバターに着用させる衣服や靴等（バーチャルアイテム）の購入が可能であるサービスが提供されている。また、ＮＦＴ（Non-Fungible Token：非代替性トークン）の技術によって、バーチャルアイテムの偽造や改ざんを防ぐことが可能であるため、バーチャルアイテム固有の価値を維持しての取引が可能となり、バーチャルアイテムの流通が進んでいる（例えば、非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】メタバース総研、“［事例１４選］メタバースのアパレル業界での活用方法やメリットとは”、［online］、令和５年５月２２日検索、インターネット＜URL：https://metaversesouken.com/metaverse/fashion-2/＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

出願人は、希少性の高いヴィンテージ（vintage）服を多数コレクションしており、それらの衣服をＮＦＴによって価値を守りつつデジタル化して、仮想空間で流通させることを試みている。しかしながら、実世界に存在する衣服をデジタル化してアバターに着用させた場合に、仮想空間において、実世界における人物の動きに追随する衣服の動きを再現することは困難であった。

【課題を解決するための手段】

【0005】

本発明の一実施形態に係る情報処理システムは、衣服を複数方向から撮影した複数の画像に基づいて、三次元の仮想空間に表示可能な衣服モデルを生成する生成部と、衣服モデルの所定の箇所に調整点を付与する付与部と、衣服モデルを着用させる三次元の人体モデルに設定された複数のボーンのうち、衣服モデルの所定の箇所に対応するボーンと、衣服モデルの調整点とを関連付ける関連付け部と、衣服モデルを着用した人体モデルを、人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、衣服モデルの動きをシミュレーションするシミュレーション部と、を備え、シミュレーション部は、人体モデルが、衣服の撮影時の形状である初期形状の衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、シミュレーションを開始させる。

【0006】

本発明の一実施形態に係る情報処理システムにおいて、所定の箇所は、衣服モデルの初期形状における、衣服の身頃に対する袖の開き角の算出を可能とする、少なくとも３以上の点であってよい。

【0007】

本発明の一実施形態に係る情報処理システムにおいて、シミュレーション部は、モーションデータに基づき、人体モデルを仮想的な面上で動作させ、衣服モデルに含まれる、衣服の素材に応じた重みデータに応じたシミュレーションにおいて、人体モデルに着用させた衣服モデルと仮想的な面との衝突が発生するか否かを判定し、衝突の発生なくモーションデータに基づく動作が完了するまで、重みデータを変更しながら初期姿勢からのシミュレーションを繰り返し実行してよい。

【0008】

本発明の一実施形態に係る情報処理システムにおいて、衝突の発生なくモーションデータに基づく動作が完了した場合の重みデータによる衣服モデルの動きで、衣服モデルを着用した人体モデルのモーションデータに基づくアニメーションを表示させるアニメーションデータを、人体モデルと関連付けて記憶する記憶部をさらに備え、記憶部は、複数のモーションデータ、複数の人体モデル、および複数の衣服モデルによる複数の組み合わせについて、それぞれアニメーションデータを記憶してよい。

【0009】

本発明の一実施形態に係る情報処理システムにおいて、シミュレーション部によって実行されたシミュレーションにおける、重みデータを含む衣服モデル、調整点、人体モデル、及びモーションデータに関する条件を入力、条件によるシミュレーション結果を出力とする機械学習によって、所定の衣服モデルに対する調整点及び重みデータを出力する学習モデルを生成する学習部をさらに備えてよい。

【0010】

本発明の一実施形態に係る情報処理システムは、複数の衣服モデルが配置された仮想空間を生成する仮想空間生成部と、仮想空間をユーザの表示装置に表示させる表示データを、表示装置に出力する出力部と、をさらに備え、出力部は、ユーザによる、仮想空間における衣服モデルの選択操作を検出したことに応じて、ユーザによって選択された衣服モデルを着用した人体モデルによるアニメーションを表示させるアニメーションデータを、表示装置に送信してよい。

【0011】

本発明の一実施形態に係る情報処理システムは、仮想空間における衣服モデルの配置に関する配置指示を、仮想空間の複数の管理ユーザから受け付ける受付部をさらに備えてよい。

【0012】

本発明の一実施形態に係る、情報処理装置が実行する情報処理方法は、衣服を複数方向から撮影した複数の画像に基づいて、三次元の衣服モデルを生成するステップと、衣服モデルの所定の箇所に調整点を付与するステップと、衣服モデルを着用させる三次元の人体モデルに設定されたボーンのうち、衣服モデルの所定の箇所に対応するボーンと、衣服モデルの調整点とを関連付けるステップと、衣服モデルを着用した人体モデルを、人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、衣服モデルの動きをシミュレーションするステップと、を含み、シミュレーションするステップは、人体モデルが、衣服の撮影時の形状である初期形状の衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、シミュレーションを開始させる。

【0013】

本発明の一実施形態に係る情報処理プログラムは、情報処理装置に、衣服を複数方向から撮影した複数の画像に基づいて、三次元の衣服モデルを生成する機能と、衣服モデルの所定の箇所に調整点を付与する機能と、衣服モデルを着用させる三次元の人体モデルに設定されたボーンのうち、衣服モデルの所定の箇所に対応するボーンと、衣服モデルの調整点とを関連付ける機能と、衣服モデルを着用した人体モデルを、人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、衣服モデルの動きをシミュレーションする機能と、を実現させ、シミュレーションする機能は、人体モデルが、衣服の撮影時の形状である初期形状の衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、シミュレーションを開始させる、情報処理プログラム。

【発明の効果】

【0014】

本発明の一実施形態によれば、実世界に存在する衣服をデジタル化してアバターに着用させた場合に、実世界における人物の動きに追随する衣服の動きを、仮想空間におけるアバターの動きに追随する衣服の動きとして再現可能な情報処理システム等を提供することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の一実施形態に係る情報処理システム構成の概略図である。

【図2】図２は、本発明の一実施形態に係る情報処理システムの機能ブロック図の一例である。

【図3】図３は、本発明の一実施形態に係る情報処理方法の一例を示すフローチャートである。

【図4】図４（ａ）～（ｃ）は、本発明の一実施形態に係る情報処理システムの概略を説明するための図である。

【図5】図５（ａ）、（ｂ）は、本発明の一実施形態に係る情報処理システムの概略を説明するための図である。

【図6】図６は、本発明の一実施形態に係る情報処理方法の一例を示すフローチャートである。

【図7】図７は、本発明の一実施形態に係る情報処理システムにおいて記憶されるデータテーブルの一例である。

【図8】図８は、本発明の一実施形態に係る情報処理システムにおいて実現される仮想空間の一例を示す概略図である。

【発明を実施するための形態】

【0016】

以降、図を用いて、本開示に係る発明（本発明ともいう）の一実施形態を説明する。なお、図は一例であって、本発明は図に示すものに限定されない。例えば、図示したサーバ（情報処理装置）、ユーザ端末（通信装置）のブロック図、フローチャート、データテーブル、ユーザ端末の表示画面等は一例であって、本発明はこれらに限定されない。

【0017】

また、本明細書において、「仮想空間」は、情報処理装置（コンピュータ）やネットワーク上に構築された、物質的には存在しない仮想的な情報空間を指すものとし、利用者がアバターを操作して他者との交流が可能な空間である、いわゆる「メタバース」を含むものとする。なお、「アバター」は、人物、または、動物、生物、物等を擬人化したキャラクタオブジェクトであって、「デジタルヒューマン（バーチャルヒューマン）」とも呼称されてよい。なお、以降では、アバターとしては人物を一例とし、「人体モデル」と称することもある。

【0018】

また、本明細書において、「衣服」は、人物またはアバターが身に着けるものであって、洋装、和装等を問わず、ズボン、スカート、ワンピース、オールインワン、シャツ、Ｔシャツ、ジャケット、コート、水着等を含む。さらに、「衣服」には、帽子、スカーフ、手袋、ネクタイ、ベルト等の服飾品、ネックレス、イヤリング、時計、眼鏡、仮面等の装飾品、靴、サンダル、下駄等の履物、衛生用品としてのマスクを含んでよい。

【0019】

＜システム構成＞
図１は、本発明の一実施形態に係る情報処理システムの構成例を示す図である。情報処理システム６００は、人体モデルに着用させることが可能な、実世界に存在する衣服（以降、「実衣服」とも称する）をデジタル化した衣服モデルを提供し、実世界における衣服の動きを仮想空間上で再現可能とする情報通信システムである。また、情報処理システム６００は、複数の実衣服をデジタル化し、立体的な三次元（３Ｄ）の形状を閲覧可能な状態で展示したデジタルミュージアムを提供する情報通信システムであってよい。

【0020】

情報処理システム６００は、サーバ１００と、データベースサーバ４００と、ユーザの通信端末（ユーザ端末）２００（２００Ａ，２００Ｂ）とを少なくとも含む。サーバ１００は、通信端末２００Ａ，２００Ｂと、ネットワーク５００を介して接続され、通信端末２００との間で各種情報の送受信を行うとともに、情報処理システムに係る種々の処理を実行する。なお、図１において、サーバ１００は１つのみ示してあるが、これに限られるものではなく、複数存在してもよい。また、サーバ１００は、ネットワークを介して通信を行うことで協調動作する分散型サーバシステムであって、エッジサーバを含んでもよく、いわゆるクラウドサーバでもよい。すなわち、サーバ１００は、物理的なサーバに限らず、仮想的なサーバも含まれてよい。また、サーバ１００の各機能部の機能又は処理は、実現可能な範囲において、機械学習又はＡＩ（Artificial Intelligence）により実現されてもよい。

【0021】

ネットワーク５００は、無線ネットワークや有線ネットワークを含んでよく、例えば、ワイヤレスＬＡＮ（wireless LAN：ＷＬＡＮ）や広域ネットワーク（wide area network：ＷＡＮ）、ＩＳＤＮｓ（integrated service digital networks）、無線ＬＡＮｓ、ＣＤＭＡ（code division multiple access）、ＬＴＥ（long term evolution）、ＬＴＥ－Ａｄｖａｎｃｅｄ、第４世代通信（４Ｇ）、第５世代通信（５Ｇ）、及び第６世代通信（６Ｇ）以降の移動体通信システム等やこれらの組み合わせであってもよい。

【0022】

ユーザ端末２００Ａ，２００Ｂは、情報処理システム６００によって提供される仮想空間サービスを利用するユーザの通信端末であってよい。なお、図１において、ユーザ端末は、ユーザＡ，Ｂに関するものをそれぞれユーザ端末２００Ａ，２００Ｂとして２台のみ示してある。しかしながら、ユーザ端末は、仮想空間サービスを利用するユーザの数だけ存在してよく、また、特に区別しない場合、単にユーザ端末２００と記す。

【0023】

ユーザ端末２００には、情報処理システム６００が提供する仮想空間サービスを利用するためのアプリケーション（以降、「アプリ」とも称する）がインストールされ、サーバ１００との間で各種情報の送受信が可能であってよい。なお、ユーザ端末２００へのアプリのインストールは必須ではなく、ユーザ端末２００とサーバ１００とは、ウェブブラウザを介して各種情報の送受信を行ってもよい。なお、図１では、ユーザ端末２００Ａとしてスマートフォンを、ユーザ端末２００Ｂとしてノートパソコンを示してあるが、ユーザ端末２００としては、これ以降に説明する各実施形態において記載する機能を実現できる端末であればどのような端末であってもよい。例えば、ユーザ端末２００は、コンピュータ（例えば、タブレット）、ハンドヘルドコンピュータデバイス（限定でなく例として、ＰＤＡ（personal digital assistant）、ウェアラブル端末（メガネ型デバイス、時計型デバイスなど）、ＨＭＤ（Head Mount Display：ヘッドマウントディスプレイ）であってよい。

【0024】

データベースサーバ４００は、情報処理システム６００で利用する各種情報（データ）を記憶（格納）する。なお、図１において、データベースサーバ４００はサーバ１００とは別に１つのみ示してあるが、サーバ１００に一体化されていてもよい。すなわち、データベースサーバ４００は、サーバ１００の揮発性メモリ又は不揮発性メモリであってもよい。また、データベースサーバ４００は、複数の記憶装置から構成されてもよい。なお、データベースサーバ４００は、ネットワーク５００とは異なる専用の内部ネットワークにて、サーバ１００と接続されてもよいし、ネットワーク５００を介してサーバ１００と接続されてもよい。

【0025】

＜ユーザ端末＞
図２は、本発明の一実施形態に係るユーザ端末２００の構成図である。図２を用いて、本発明の一実施形態に係るユーザ端末２００のハードウェア構成、機能構成について説明する。

【0026】

（１）ユーザ端末のハードウェア構成
ユーザ端末２００は、制御部２１０、通信部２２０、表示部２３０、入出力部２４０、記憶部２７０を備える。

【0027】

制御部２１０は、典型的にはプロセッサであって、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等で実現される。制御部２１０は、記憶部２７０に記憶されるプログラムを読み出し、読み出したプログラムに含まれるコード又は命令を実行することによって、各実施形態に示す機能、方法を実行する。

【0028】

記憶部２７０は、ユーザ端末２００が動作するうえで必要とする各種プログラムや各種データを記憶する。記憶部２７０は、例えば、フラッシュメモリ等を含んでよく、また、制御部２１０に対する作業領域を提供するメモリ（ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等）を含んでよい。

【0029】

通信部２２０は、ＮＩＣ（Network Interface Card）等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク５００を介して、サーバ１００との間で各種データの送受信を行ってよい。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。なお、通信部２２０が物理的に構造化された回路で構成される場合には、通信回路と表現する場合もある。

【0030】

表示部２３０は、フレームバッファに書き込まれた表示データに従って、データを表示するモニタであって、例えば、タッチパネル、タッチディスプレイ等であってよい。

【0031】

入出力部２４０は、ユーザ端末２００に対する各種操作を入力する入力装置、及び、ユーザ端末２００で処理された処理結果を出力する出力装置を含んでよい。入出力部２４０は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。入力装置は、ユーザ２０からの入力操作を受け付けて、当該入力に係る情報を制御部２１０に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現されてよい。入力装置は、例えば、タッチパネル、タッチディスプレイ、カメラ、マイクを含んでよい。出力装置は、制御部２１０で処理された処理結果を出力してよい。出力装置は、例えば、ディスプレイ、タッチパネル、スピーカ等を含んでよい。

【0032】

（２）ユーザ端末の機能構成
ユーザ端末２００は、制御部２１０を備える。制御部２１０は、通信部２２０によるネットワーク５００を介したサーバ１００との間の通信を制御し、各種情報の送受信を実行する。また、制御部２１０は、表示部２３０へのデータの表示を制御し、例えば、サーバ１００から送信された情報に応じた画面を、表示部２３０に表示させる。さらに、制御部２１０は、入出力部２４０を介した外部装置との各種情報の伝達を制御し、例えば、入力装置で受け付けたユーザの入力操作に応じて、各種情報を各機能部へ伝達したり、タッチパネル、モニタ、スピーカ等の図示しない出力装置に対し、各機能部からの情報を伝達したりする。

【0033】

＜サーバ＞
図２は、本発明の一実施形態に係るサーバ１００の構成図である。図２を用いて、本発明の一実施形態に係るサーバ（情報処理装置）１００のハードウェア構成、機能構成について説明する。

【0034】

（１）サーバのハードウェア構成
サーバ１００は、ハードウェア構成として、制御部１１０、通信部１２０、入出力部１３０、記憶部１７０を備える。なお、サーバ１００は、図示しないが、一般的なサーバが備える構成を適宜備えてもよい。

【0035】

制御部１１０は、典型的にはプロセッサであって、中央処理装置（ＣＰＵ）やＭＰＵ等であってよい。制御部１１０は、記憶部１７０に記憶されたプログラムを読み出し、読み出したプログラムに含まれるコード又は命令を実行することによって、各実施形態に示す機能、方法を実行してよい。

【0036】

記憶部１７０は、サーバ１００が動作するうえで必要とする各種プログラムや、各種データを記憶（格納）する。例えば、詳細は後述するが、記憶部１７０は、衣服モデルを着用した人体モデルの動作に追随する衣服モデルの動きに関するデータを記憶してよい。記憶部１７０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含んでよい。また、記憶部１７０は、制御部１１０に対する作業領域を提供するメモリを含んでよい。

【0037】

通信部１２０は、ＮＩＣ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、サーバ１００と他の装置との間で情報の送受信を行う。

【0038】

（２）サーバの機能構成
サーバ１００は、制御部１１０によって実現される機能として、生成部１１１、付与部１１２、関連付け部１１３、シミュレーション部１１４、出力部１１５、学習部１１６、及び受付部１１７を備える。なお、図２において、これ以降に説明する各実施形態で必須でない機能部はなくともよい。また、各機能部の機能又は処理は、実現可能な範囲において、機械学習又はＡＩにより実現されてもよい。

【0039】

以降、本発明の一実施形態について、サーバ１００の各機能部の処理とともに、図３～７を用いて説明する。

【0040】

図３は、一実施形態に係るサーバ１００による処理を示すフローチャートの一例である。まず、生成部１１１は、衣服を複数方向から撮影した複数の画像に基づいて、三次元の仮想空間で表示可能な衣服モデルを生成する（ステップＳ１１）。ここで、「三次元の仮想空間で表示可能な衣服モデル」とは、見かけ上、三次元で立体的にユーザに視認させるように衣服モデルを表示させることを指してよい。

【0041】

なお、上述のように、本発明の一実施形態において、衣服モデルは、衣服を複数方向から撮影した複数の画像に基づくフォトグラメトリによって生成される。なお、「フォトグラメトリ（Photogrammetry）」とは、被写体を様々なアングルから撮影し、そのデジタル画像を解析、統合して立体的な３ＤＣＧ（3 Dimensional Computer Graphics）モデルを作成する手法である。複数方向からの撮影手法については特に限定されず、多数（例えば、２００台）の撮影部（カメラ）を、撮影対象を囲むように規則的に設置して、複数の画像を撮影してもよいし、撮影対象を載置したターンテーブルを回転させながらカメラで撮影することで、複数の画像を撮影してもよい。あるいは、撮影対象は移動させず、カメラを移動させながら撮影することで、複数の画像を撮影してもよい。なお、複数の画像から三次元のモデルを生成する手法については、既存のものが用いられてよい。

【0042】

図４（ａ）は、生成部１１１によって生成された衣服モデルの一例である。生成部１１１は、衣服の撮影時に用いられた例えばトルソーやマネキンといった、衣服を固定するための物体は、画像処理によって消去した上で、衣服モデル１０を生成してよい。衣服モデル１０は、ポリゴンメッシュ、テクスチャ情報、衣服の素材に基づく重みデータを含んでよい。

【0043】

付与部１１２は、衣服モデル１０の所定の箇所に調整点を付与する（ステップＳ１２）。「調整点」とは、後述する衣服モデルと人体モデルとの位置合わせに用いられる、仮想的な点（マーカー）であってよい。図５（ａ）、（ｂ）は、所定の箇所及び調整点を説明する図である。一実施形態において、所定の箇所は、衣服モデル１０の初期形状における、衣服の身頃に対する袖の開き角の算出を可能とする、少なくとも３以上の点であってよい。なお、初期形状とは、衣服の撮影時の形状を指す。詳細は後述するが、衣服モデルを人体モデルに着用させ、人体モデルの動きに追随する衣服の動きをシミュレーションする際に、衣服モデルが人体モデルからずれ落ちる現象が発生する。本発明の一実施形態によれば、衣服モデルの所定の箇所に付与した調整点を用いて、シミュレーション時に衣服がずれ落ちる可能性を低減することができる。

【0044】

図５（ａ）、（ｂ）は、それぞれ、衣服モデルとしてワンピース、Ｔシャツの場合を説明する概略図である。図５（ａ）のように、衣服モデル１０がワンピースの場合、調整点は、首部分Ｍ１０、右手首部分Ｍ１１、左手首部分Ｍ１２、腰部分Ｍ１３、右脚部分Ｍ１４及び左脚部分Ｍ１５に付与されてよい。また、図５（ｂ）のように、衣服モデル１０′がＴシャツの場合、調整点は、首部分Ｍ２０、右袖口部分Ｍ２１、左袖口部分Ｍ２２、及び腰部分Ｍ２３に付与されてよい。なお、調整点は、仮想空間サービスを提供する管理ユーザが操作する図示しない管理ユーザ端末から、管理ユーザの操作に基づき指定されてもよい。あるいは、付与部１１２は、衣服モデルと、当該衣服モデルに付与された調整点との対応を学習してあらかじめ生成された学習モデルを用いて、任意の衣服モデルに対し、自動的に調整点を付与してもよい。また、付与された調整点を、ユーザが修正可能であってもよいし、補正もプログラムによって実行されてもよい。

【0045】

なお、上述のように、調整点は、衣服の種類によって設定されてよい。例えば、Ｔシャツは首、右手首及び左手首に、スカートは腰、右脚及び左脚に、ワンピースは首、右手首、左手首、腰、右脚及び左脚に、ズボンは腰、右膝、左膝、右足及び左足に、調整点が付与されてよい。また、調整点は袖のない衣服でも適用可能であって、例えば、タンクトップの場合は両肩及び腰に、チューブトップの場合は両脇及び腰に対応する部分に、調整点が設定されてよい。なお、調整点を管理ユーザ端末で指定する場合、衣服モデルの種類に応じて、設定すべき調整点が、管理ユーザ端末において通知されてよい。

【0046】

関連付け部１１３は、衣服モデル１０を着用させる三次元の人体モデルに設定されたボーンのうち、衣服モデル１０の所定の箇所に対応するボーンと衣服モデル１０の調整点とを関連付ける（ステップＳ１３）。ここで、図４（ｂ）に、人体モデル２１とボーン２２との関係を示す。一般に、ボーンは、三次元アニメーション（３Ｄアニメーション）において、三次元モデルを動かすための動きの単位となる要素を示し、ボーンの動きに三次元モデルが変形しながら追従することでアニメーションが生成される。人体のアニメーションの作成に際し、人体と同様に関節２３を定義し、ボーン２２同士を関節２３によって連結することで、関節２３部分でボーンを曲げたり、回転させたりすることができる。

【0047】

図５（ａ）に示す例では、関連付け部１１３は、衣服モデル１０において、首、右手首、左手首、腰、右脚及び左脚部分に付与された調整点を、人体モデル２１における、首、右手首、左手首、腰、右脚及び左脚部分に対応するボーンに関連付ける。また、図５（ｂ）に示す例では、関連付け部１１３は、衣服モデル１０′において、首、右袖口、左袖口、及び腰部分に付与された調整点を、人体モデル２１における、首、右肘、左肘、及び腰部分に対応するボーンに関連付ける。ここで、「関連付ける」とは、調整点とボーンの位置とが一致するように設定することを指してよい。これにより、ボーンの動きに調整点が追随して動くことになる。

【0048】

シミュレーション部１１４は、衣服モデル１０を着用した人体モデル２１をモーションデータに基づいて動作させた場合の、衣服モデル１０の動きをシミュレーションする（ステップＳ１３）。モーションデータは、人体モデル２１の連続的な動作を定義するデータであってよい。衣服モデル１０の動きのシミュレーションは、布（クロス）に作用する物理法則に関する物理演算である、いわゆるクロスシミュレーションであってよい。

【0049】

図６のフローチャートを用いて、本発明の一実施形態に係るサーバ１００の処理を引き続き説明する。シミュレーション部１１４は、人体モデル２１が、衣服の撮影時の形状である初期形状の衣服モデルにおける各調整点の位置に、当初各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、シミュレーションを開始させる（ステップＳ２１）。このことを、図４，５を用いて説明する。

【0050】

図５の衣服モデル１０は初期形状であって、シミュレーション部１１４は、図５の初期形状にある衣服モデル１０の調整点と、当該調整点に関連付けられた人体モデル２１のボーンとが一致するように、人体モデル２１の姿勢を変形してよい。ここで、「変形」とは、人体モデル２１の、腕や肩幅、座高といったパーツの長さを変更することが含まれてよい。また、シミュレーション部１１４は、図５に示す初期形状にある衣服モデル１０において、肩の角度θを、次の式で算出する。ここで、肩の角度θは、衣服モデル１０の初期形状における、衣服の身頃に対する袖の開き角であってよい。

【0051】

【数1】

【0052】

なお、上の式において、αは首と手首との間のベクトル、βは首と腰との間のベクトルである。

【0053】

シミュレーション部１１４は、人体モデル２１の腕の位置を、胴体からの開き角がθとなる位置（初期姿勢）に変形してから、人体モデル２１に衣服モデル１０を着用させた状態で、クロスシミュレーションを開始してよい。なお、シミュレーション部１１４は、モーションデータに基づき、人体モデル２１を仮想的な面上で動作させ、衣服モデル１０に含まれる、衣服の素材に応じた重みデータに応じたシミュレーションを行う（ステップＳ２２）。例えば、シミュレーション部１１４は、図４（ｃ）に示すように、人体モデル２１が仮想空間における地面を歩行した場合の、衣服モデルの時間変化をシミュレーションしてよい。このとき、シミュレーション部１１４は、布の種類（シルク、デニム、麻素材等）に応じて衣服のポリゴンメッシュに設定された重みに基づいて、クロスシミュレーションを行う。

【0054】

シミュレーション部１１４は、人体モデル２１がモーションデータに基づく動作を行っている間に、人体モデル２１に着用させた衣服モデル１０と仮想的な面（地面）との衝突が発生したか否かを判定してよい（ステップＳ２３）。衝突が発生したことは、衣服モデル１０が人体モデル２１からずれ落ちてしまったことを意味する。ステップＳ２３でＹＥＳと判定された場合、シミュレーション部１１４は、衣服モデル１０に設定された重みデータを変更してよい（ステップＳ２４）。衣服モデル１０のずれ落ちは、例えば、人体モデル１０の肩幅と、衣服モデル１０の襟ぐりの深さとの関係に応じて生じ得る。ずり落ちが生じた場合、シミュレーション部１１４は、衣服モデル１０の重みを、ずり落ちを制御する方向に変更してよい。例えば、シミュレーション部は、衣服モデル１０の重みを、部分的に重くしてもよい。すなわち、シミュレーション部１１４は、クロスシミュレーションにおいて一般的に設定される、重力を再現するための重みに加え、衣服モデル１０において部分的に重みを変更する（重くする）ことにより、ずり落ちの発生を防止してよい。なお、衣服モデル１０において重みを変更する部分は、一例として、肩部分、襟部分等であってよいが、これらに限定されない。また、重みは軽くされてもよい。シミュレーション部１１４は、ステップＳ２４で変更された重みデータを用いて、ステップＳ２２のクロスシミュレーションを再度実行してよい。

【0055】

シミュレーション中に、地面と衣服モデル１０との衝突が発生せず（ステップＳ２３でＮＯ）、モーションデータに基づく人体モデル２１の動作が完了（すなわち、シミュレーションが成功）した場合、シミュレーション部１１４は、衝突の発生なくモーションデータに基づく動作が完了した場合の重みデータによる衣服モデル１０の動きで、衣服モデル１０を着用した人体モデル２１の、モーションデータに基づくアニメーションを表示させるアニメーションデータを、人体モデル２１と関連付けて、データベースサーバ４００に記憶させる（ステップＳ２５）。アニメーションデータには、衣服モデル１０を着用させた状態で人体モデル２１を歩行させた際の、衣服モデル１０のポリゴンメッシュの時間変化（衣服モデル１０の形状の時間変化）が含まれてよい。

【0056】

シミュレーション部１１４は、複数のモーションデータ、複数の人体モデル、および複数の衣服モデルによる複数の組み合わせについて、上述したシミュレーションを行ってよい。そして、シミュレーションが成功した際のアニメーションデータを、データベースサーバ４００に記憶させてよい。すなわち、データベースサーバ４００は、複数のモーションデータ、複数の人体モデル、および複数の衣服モデルによる複数の組み合わせについて、それぞれ前記アニメーションデータを記憶してよく、図７に、データベースサーバ４００に格納されるアニメーションデータテーブルの一例を示す。なお、図は一例であって、データベースサーバ４００に格納されるデータはこれ以下でもこれ以上であってもよく、また、データ形式は図示したものに限定されない。

【0057】

アニメーションデータテーブルＴＢ１０には、各人体モデルを識別する識別情報（図の例では、「avatar_X」、「avatar_Y」、「avatar_Z」）ごとに、複数の衣服モデルの識別情報（cloth_1、cloth_2、cloth_3）、モーションデータの識別情報（motion_1、motion_2）が関連付けられたアニメーションデータが、アニメーションデータの識別情報（ＩＤ：Identifier）で識別可能に格納されている。例えば、アニメーションＩＤ「animation_X11」で識別されるアニメーションデータは、人体モデル「avatar_X」が、衣服モデル「cloth_1」を着用し、モーションデータ「motion_1」の動きをした場合の、衣服モデルの形状の時間変化を示す。また、アニメーションＩＤ「animation_X22」で識別されるアニメーションデータは、人体モデル「avatar_X」が、衣服モデル「cloth_2」を着用し、モーションデータ「motion_2」の動きをした場合の、衣服モデルの形状の時間変化を示す。

【0058】

ユーザ端末２００は、ユーザから、アニメーションを表示させたい人体モデル、衣服、動作の選択操作を受け付け、アニメーションのリクエストとして、サーバ１００へ送信することができる。サーバ１００の出力部１１５は、データベースサーバ４００から、リクエストに応じたアニメーションデータを選択し、通信部１２０を介してユーザ端末２００へ出力させてよい。ユーザ端末２００の表示部２３０は、サーバ１００から受信したアニメーションデータに基づき、図４（ｃ）に示すような、アバター２１に着用させた衣服が、アバター２１の歩行に合わせて動くアニメーションを表示することができる。

【0059】

このように、本発明の一実施形態によれば、フォトグラメトリによって実衣服の三次元データである衣服データを生成し、人体モデルの動きに合わせて衣服が動く様子をアニメーションで再現することができる。この際、衣服データに人体モデルの形状を合わせてシミュレーションを開始することで、衣服が人体モデルからずり落ちる現象が発生する可能性を低減し、クロスシミュレーションが成功する確率を向上させることができる。

【0060】

なお、本発明の一実施形態によれば、学習部１１６は、シミュレーション部１１４によって実行されたシミュレーションにおける、重みデータを含む衣服モデル、調整点、人体モデル、及びモーションデータに関する条件を入力、当該条件によるシミュレーション結果を出力とする機械学習によって、所定の衣服モデルに対する調整点及び重みデータを出力する学習モデルを生成してもよい。

【0061】

これにより、シミュレーションが失敗する確率を減らし、演算負荷を低減させることができる。

【0062】

＜衣服モデルの展示＞
上述のように、出願人は、希少性の高いヴィンテージ服を多数コレクションしており、それらの衣服を展示する仮想空間上の博物館（デジタルミュージアム）を提供している。図８は、ユーザ端末２００に表示されるデジタルミュージアムの一例である。図８に示すように、デジタルミュージアム４０は、衣服モデル４１を仮想空間上に複数配置したものであって、ユーザは、アバターを介してデジタルミュージアムを訪問することが可能であってよい。すなわち、サーバ１００は、図示しない仮想空間生成部をさらに備え、衣服モデルが配置された仮想空間を表示させる表示情報を生成してよい。なお、ユーザのアバターによって衣服モデル４１が選択されたことをトリガとして、ユーザ端末２００において、選択された衣服モデルについての上述したアニメーションが開始されてもよい。

【0063】

なお、サーバ１００の受付部１１７は、仮想空間（デジタルミュージアム）４０における衣服モデル４１の配置に関する配置指示を、仮想空間の複数の管理ユーザから受け付けてもよい。すなわち、サーバ１００は、複数の管理ユーザのユーザ端末２００からの要求に応じて、複数のユーザ端末２００を、同一の仮想空間４０に同時に接続させてよい。これは、複数の管理ユーザのアバターが、同一の仮想空間４０内に同時に存在することを意味してよい。

【0064】

本発明の一実施形態において、複数の衣服モデル４１を表示するためのデータは、例えばデータベースサーバ４００に格納され、管理ユーザは、データベースサーバ４００にアクセスして、衣服モデル４１を仮想空間４０に配置してよい。なお、「仮想空間に配置する」とは、仮想空間に対して設定している座標系に対して、衣服モデル４１に当該座標系における位置座標を設定することであってよい。これにより、仮想空間４０内に衣服モデル４１が配置されたようにユーザに視認させることができる。

【0065】

仮想空間４０内に配置された衣服モデル４１は、管理ユーザによって操作可能（アクセス可能）であってよい。例えば、本発明の一実施形態によれば、管理ユーザのアバターは、仮想空間４０内の衣服モデル４１を持ち運ぶことができてよい。すなわち、サーバ１００の受付部１１７は、管理ユーザ１００のユーザ端末２００において、入出力部２４０で入力された操作指示に応じた、衣服モデル４１の配置指示を受け付ける。サーバ１００の出力部１１５は、配置指示に応じて、管理ユーザのアバターが衣服モデル４１を持ち運ぶ様子の動画像を、仮想空間４０内に存在する他の管理ユーザのユーザ端末２００に表示させる表示情報を、他の管理ユーザのユーザ端末２００に出力してよい。なお、仮想空間４０内のアバター同士は、既存の技術によるボイスチャットやテキストチャットによって、会話が可能であってよく、衣服モデル４１の配置について、管理ユーザ同士で意見を交換できてよい。

【0066】

なお、管理ユーザ間で異なる権限を付与し、データベースサーバ４００にアクセスして仮想空間４０内に衣服モデル４１を移動可能な管理ユーザが、制限されてもよい。これにより、同じ衣服モデル４１が重複することを回避することができる。

【0067】

このように、本発明の一実施形態によれば、複数ユーザによる共同作業が可能であるため、仮想空間を効率的に設計することができる。

【0068】

なお、仮想空間４０内に配置可能なオブジェクトは、衣服モデルに限定されない。例えば、仮想空間４０には、動物、魚、昆虫等の生物や、草木、花木等の植物、絵画、陶磁器、彫刻等の工芸品・美術品等が、ユーザの指示に応じて配置されてよい。

【0069】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。

【0070】

例えば、上述では、シミュレーションが失敗した際に重みデータを調整する態様について説明した。しかしながら、調整するパラメータとしてはこれに限定されず、ポリゴンメッシュの大きさ、調整点を関連付けるボーンの変更等であってもよい。

【0071】

また、上述では、人体モデル、衣服モデル及びモーションデータの組み合わせに対するアニメーションをあらかじめ記憶しておき、ユーザの選択に応じてアニメーションデータが出力される態様について説明した。しかしながら、ユーザ自身の人体モデル（ユーザアバター）を生成し、ユーザアバターに対して衣服モデルを着用させた場合のクロスシミュレーションが行われてもよい。

【0072】

本開示の各実施形態のプログラムは、情報処理装置に読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムや制御プログラムを含む。サーバの各機能部をソフトウェアにより実現する場合、サーバは、プロセッサがメモリ上にロードされたプログラムを実行することにより、生成部１１１、付与部１１２、関連付け部１１３、シミュレーション部１１４、出力部１１５、学習部１１６及び受付部１１７として機能する。

【0073】

記憶媒体は適切な場合、１つ又は複数の半導体ベースの、又は他の集積回路（ＩＣ）（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向けＩＣ（ＡＳＩＣ）等）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、又はこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組合せでよい。

【0074】

また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、サーバに提供されてもよい。

【0075】

また、本開示の各実施形態は、プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。なお、本開示のプログラムは、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｙｔｈｏｎ等のスクリプト言語、Ｃ言語、Ｇｏ言語、Ｓｗｉｆｔ，Ｋｏｌｔｉｎ、Ｊａｖａ（登録商標）等を用いて実装されてよい。

【符号の説明】

【0076】

１００ サーバ（情報処理装置）
１１０ 制御部
１１１ 生成部
１１２ 付与部
１１３ 関連付け部
１１４ シミュレーション部
１１５ 出力部
１１６ 学習部
１１７ 受付部
１２０ 通信部
１３０ 入出力部
１７０ 記憶部
２００ ユーザ端末（通信装置）
２１０ 制御部
２２０ 通信部
２３０ 表示部
２４０ 入出力部
２７０ 記憶部
４００ データベースサーバ
５００ ネットワーク
６００ 情報処理システム
１０，１０′ 衣服モデル
２１ 人体モデル
２２ ボーン
２３ 関節
Ｍ１０～Ｍ１５，Ｍ２０～Ｍ２３ 調整点
４０ 仮想空間
４１ 衣服モデル

【要約】

【課題】実世界における人物の動きに追随する衣服の動きを、仮想空間で再現可能な情報処理システムを提供する
【解決手段】情報処理システムは、衣服を複数方向から撮影した複数の画像に基づいて三次元の仮想空間に表示可能な衣服モデルを生成する生成部、衣服モデルの所定の箇所に調整点を付与する付与部、衣服モデルを着用させる三次元の人体モデルに設定された複数のボーンのうち、衣服モデルの所定の箇所に対応するボーンと衣服モデルの調整点とを関連付ける関連付け部、衣服モデルを着用した人体モデルを人体モデルの連続的な動作を定義するモーションデータに基づいて動作させた場合の、衣服モデルの動きをシミュレーションし、人体モデルが、衣服の撮影時の形状である初期形状の衣服モデルにおける各調整点の位置に、当該各調整点に関連付けられたボーンを位置づけた初期姿勢にある状態から、シミュレーションを開始させるシミュレーション部を備える。
【選択図】 図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】