特開 2024-79350 情報処理装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024079350

(43)【公開日】2024-06-11

(54)【発明の名称】情報処理装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 17/00 20060101AFI20240604BHJP

   G06T 19/00 20110101ALI20240604BHJP

【ＦＩ】

G06T17/00

G06T19/00 A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022192242

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】522145100

【氏名又は名称】株式会社スペースデータ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】佐藤 航陽

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050BA20

5B050CA01

5B050DA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B080AA00

5B080BA00

5B080CA00

5B080FA02

5B080FA17

5B080GA22

(57)【要約】

【課題】種々の物品について、視覚的品質およびカスタマイズ性が高い三次元モデルを生成可能な技術を提供する。
【解決手段】本開示の一態様のプログラムは、物品を撮影した写真を含む画像情報を取得する手段、画像情報に基づくモデル入力データに、物品の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物品の属性情報を生成する手段、属性情報を含む属性データベースを生成する手段、属性データベースに基づいて、三次元モデルを生成する手段、として機能させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータを、
物品を撮影した写真を含む画像情報を取得する手段、
前記画像情報に基づくモデル入力データに、前記物品の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物品の属性情報を生成する手段、
前記属性情報を含む属性データベースを生成する手段、
前記属性データベースに基づいて、三次元モデルを生成する手段、
として機能させるプログラム。

【請求項2】

前記属性情報は、前記物品の光学的特性に関する情報を含む、
請求項１に記載のプログラム。

【請求項3】

前記光学的特性に関する情報は、前記物品の表面の少なくとも１つの位置または領域における反射率または透過率に関する情報を含む、
請求項２に記載のプログラム。

【請求項4】

前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに、特定の光学的条件下での物品の色に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する前記物品の色に関する属性情報を生成する、
請求項１に記載のプログラム。

【請求項5】

前記属性データベースは、当該属性データベースによって表現される物品を構成する材料に関する属性情報を含む、
請求項１に記載のプログラム。

【請求項6】

前記コンピュータを、前記三次元モデルから当該三次元モデルによって表現される物品の三次元ＣＧ（Computer Graphics）を生成する手段として機能させ、
前記三次元ＣＧは、前記物品に対する付属物が取り除かれた状態の前記物品の外観を表現する、
請求項１に記載のプログラム。

【請求項7】

前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに前記物品に対する付属物に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物品に対する付属物に関する属性情報を生成する、
請求項６に記載のプログラム。

【請求項8】

前記コンピュータを、前記三次元モデルから当該三次元モデルによって表現される物品の三次元ＣＧ（Computer Graphics）を生成する手段として機能させ、
前記三次元ＣＧは、前記物品の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物品の外観を表現する、
請求項１に記載のプログラム。

【請求項9】

前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに物品の色に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物品の色に関する属性情報を生成する、
請求項８に記載のプログラム。

【請求項10】

前記コンピュータを、
前記三次元モデルから当該三次元モデルによって表現される物品の三次元ＣＧ（Computer Graphics）を生成する手段、
前記三次元ＣＧを生成する手段によって生成された三次元ＣＧと、前記三次元モデルを編集するためのユーザ指示を受け付けるための情報とを表示する手段としてさらに機能させる、
請求項１に記載のプログラム。

【請求項11】

前記コンピュータを、前記ユーザ指示に応じて前記三次元モデルに対応する属性データベースを更新する手段としてさらに機能させ、
前記三次元ＣＧを生成する手段は、更新された前記属性データベースから前記三次元ＣＧを新たに生成する、
請求項１０に記載のプログラム。

【請求項12】

物品を撮影した写真を含む画像情報を取得する手段と、
前記画像情報に基づくモデル入力データに、前記物品の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物品の属性情報を生成する手段と、
前記属性情報を含む属性データベースを生成する手段と、
前記属性データベースに基づいて、三次元モデルを生成する手段と
を具備する情報処理装置。

【請求項13】

コンピュータが、
物品を撮影した写真を含む画像情報を取得するステップと、
前記画像情報に基づくモデル入力データに、前記物品の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する物品の属性情報を生成するステップと、
前記属性情報を含む属性データベースを生成するステップと、
前記属性データベースに基づいて、三次元モデルを生成するステップと
を実行する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、方法、およびプログラムに関する。

【背景技術】

【0002】

従来、物品を複数のアングルから撮影し、これらの画像を合成することで、物品の三次元モデルを生成する技術（例えばフォトグラメトリーなど）が知られている。

【0003】

特許文献１には、画像データの有無に拘わらず３次元モデルを生成可能とすることを企図した技術思想が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2022-163920号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えばフォトグラメトリーにより生成された三次元モデルは、映画、ビデオゲーム、ＶＲ（Virtual Reality）・メタバース、などの高品質な視覚的品質が要求されるコンテンツにおいて利用するにあたっていくつかの問題がある。

【0006】

第１に、三次元モデルの視覚的品質が、合成に用いられる画像（以下、「ベース画像」という）の光学的条件および解像度により大きく左右される。仮に、異なる光学的条件下で撮影された複数のベース画像を合成して三次元モデルを生成したとすると、観者に違和感を与えるおそれがある。また、かかる三次元モデルを仮想空間に配置すると、当該仮想空間に設定される光学的条件次第で、当該モデルの見た目がいっそう不自然となるおそれがある。例えば、ベース画像に影などのノイズが写り込んでいると、仮想空間における時間帯（朝夕）や天気による光の効果をコンテンツ制作者の意図したとおりに表現できないことがある。また、低い解像度のベース画像を合成に利用すると拡大表示時に粗が目立つ。故に、かかる三次元モデルは、特にビデオゲームのようにプレイヤーが自由に三次元モデルを観察できるコンテンツにおいて、要求される視覚的品質を満たせないおそれがある。

【0007】

第２に、かかる三次元モデルは、複数のベース画像を合成することで生成されるので、軽微なカスタマイズであっても、破綻のおそれがあるため容易には施せず、融通が効かない。また、かかる三次元モデルは、特にベース画像と異なる光学的条件下で、物品を構成する材料に特有の質感を再現することが困難である。

【0008】

第３に、ベース画像には、人の容貌、車のナンバープレート、商品タグ、商標、著作物などが含まれ得る。故に、ベース画像を用いる三次元モデルは第三者の権利を侵害するリスクがあるため、コンテンツ制作者が当該三次元モデルの採用をためらうおそれがある。

【0009】

特許文献１には、対象物の変化度合いを推定して３次元モデルを補正する旨の記載がある。しかしながら、ベースとなる３次元モデルは、複数のカメラの特徴点の対応点からエピポーラ拘束条件にて視差ベクトルを求め、各点の奥行き方向の情報を得て、３次元形状の表面上のテクスチャをマッピングすることで生成されている。故に、特許文献１に記載された技術思想は、上記と同様の問題を有している。

【0010】

本開示の目的は、種々の物品について、視覚的品質およびカスタマイズ性が高い三次元モデルを生成可能な技術を提供することである。

【課題を解決するための手段】

【0011】

本開示の一態様のプログラムは、物品を撮影した写真を含む画像情報を取得する手段、画像情報に基づくモデル入力データに、物品の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する物品の属性情報を生成する手段、属性情報を含む属性データベースを生成する手段、属性データベースに基づいて、三次元モデルを生成する手段、として機能させる。

【図面の簡単な説明】

【0012】

【図1】本実施形態の情報処理装置の構成を示すブロック図である。

【図2】本実施形態の一態様の説明図である。

【図3】本実施形態の属性情報のデータ構造を示す図である。

【図4】本実施形態の三次元モデル生成処理のフローチャートである。

【図5】本実施形態の三次元モデル生成処理によって生成される第２属性情報を例示する図である。

【図6】本実施形態の三次元モデル編集処理のフローチャートである。

【図7】本実施形態の三次元モデル編集処理において表示される画面例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0014】

（１）情報処理装置の構成
情報処理装置の構成について説明する。図１は、本実施形態の情報処理装置の構成を示すブロック図である。

【0015】

情報処理装置１０は、コンピュータ（例えば、パーソナルコンピュータ、サーバコンピュータ、ワークステーション、など）である。

【0016】

図１に示すように、情報処理装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。情報処理装置１０は、ディスプレイ２１に接続される。

【0017】

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0018】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

【0019】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

【0020】

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、情報処理装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

【0021】

入出力インタフェース１３は、情報処理装置１０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、情報処理装置１０に接続される出力デバイスに情報（例えば、画像）を出力するように構成される。
入力デバイスは、例えば、カメラ、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。

【0022】

通信インタフェース１４は、情報処理装置１０と外部装置（例えば、図示しないサーバ、またはクライアント装置）との間の通信を制御するように構成される。

【0023】

ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

【0024】

（２）実施形態の一態様
本実施形態の一態様について説明する。図２は、本実施形態の一態様の説明図である。

【0025】

図２に示すように、カメラＣＭ１１は、物品を典型的には複数の異なる方向から撮影する。情報処理装置１０は、カメラＣＭ１１によって撮影された写真を含む複数の画像情報を取得する。なお、これら画像情報は、１台のカメラＣＭ１１に限らず、当該カメラＣＭ１１を含む複数のカメラによって撮影された写真を含むことができる。情報処理装置１０は、カメラＣＭ１１から直接的に画像情報を取得してもよいし、図示しない外部サーバに蓄積された画像情報を取得してもよい。写真に対応する画像情報は、当該写真を撮影したカメラの位置または姿勢の少なくとも１つに関する情報と関連付けられ得る。

【0026】

ここで、物品とは、有体物である動産を意味する。物品は、人工物は勿論、自然物（例えば、植物、動物、石、など）、または自然物を加工した物を含み得る。人工物は、工業製品は勿論、美術品（例えば、彫刻、絵画、等）を含み得る。

【0027】

情報処理装置１０は、取得した画像情報から物品を認識し、当該物品に対応する部分を抽出する。情報処理装置１０は、この抽出結果に基づくモデル入力データに、属性予測モデルＬＭ１２を適用する。属性予測モデルＬＭ１２は、モデル入力データに対応する物品の属性を予測することで、属性情報を生成する。

【0028】

情報処理装置１０は、属性予測モデルＬＭ１２によって出力される属性情報を含む属性データベースＡＤ１３を生成する。

【0029】

属性データベースＡＤ１３は、対応する物品を属性情報によって構造化した情報に相当する。故に、属性データベースＡＤ１３から生成（モデリング）可能な三次元モデルＴＭ１４は、複数の写真を合成することで生成された三次元モデルとは異なり、拡大により劣化することがない。また、カメラＣＭ１１により撮影された写真に影などのノイズが写り込んでいたとしても、当該ノイズは三次元モデルＴＭ１４によって表される物品のベースの色の予測に影響を与えるに過ぎず、三次元モデルＴＭ１４の局所的なノイズとはならない。故に、かかる三次元モデルＴＭ１４は、その配置される仮想空間における光学的条件に関わらず、コンテンツ制作者の意図したとおりの光の効果を表現できる。

【0030】

人の容貌は、物品として認識されないので、三次元モデルＴＭ１４には反映されない。また、例えば車のナンバープレートまたは商品タグなどの物品に対する付属物は、属性予測モデルＬＭ１２によって当該物品の属性の１つとして予測可能であり、当該付属物を取り除いた状態、または当該付属物の形態（例えば記載内容）を別の形態（例えば別の文字、数字、記号、絵、またはそれらの組み合わせ）に置き換えた状態の物品を表現する三次元モデルＴＭ１４を生成することができる。故に、第三者の権利を侵害するリスクの低い三次元モデルＴＭ１４を生成することができる。

【0031】

さらに、属性予測モデルＬＭ１２が属性情報として物品の光学的特性を予測するようにしてもよい。ここで、光学的特性に関する情報は、物品の表面の少なくとも１つの位置または領域における反射率または透過率に関する情報を含み得る。反射率または透過率に関する情報は、具体的な数値を表してもよいし、物品を構成する各要素（パーツ）の材料を表してもよい。かかる属性情報に基づいて三次元モデルＴＭ１４を生成し、三次元ＣＧ（Computer Graphics）をレンダリングすることで、オリジナルの物品が備えていた質感を様々な光学的条件の下で再現することができるうえ、かつオリジナルの物品が備えていた質感を容易に調整することが可能となる。

【0032】

（３）データ構造
本実施形態の属性データベースに格納される属性情報のデータ構造について説明する。図３は、本実施形態の属性情報のデータ構造を示す図である。

【0033】

属性情報は、対象の物品が備える属性に関する情報である。図３に示すように、属性情報は、例えば物品ＩＤと、要素情報とを含むことができる。
物品ＩＤは、対象の物品を識別する情報である。

【0034】

要素情報は、対象の物品を構成する要素（部分）の属性に関する情報である。なお、対象の物品が一要素から構成される場合に、要素情報は当該物品全体の属性に関する情報を指す。要素の数は任意である。複数の要素から構成される物品として、例えば特定の木材からなる天板と特定の金属からなる脚とにより構成される机、などが挙げられる。一要素から構成される物品として、例えば陶器のカップ、などが挙げられる。

【0035】

このほか、属性情報は、種別情報を含んでもよい。種別情報は、対象となる物品の種別（例えば一般名称）に関する情報であってよい。また、特定の種別情報に対応する、属性情報（特に要素情報）のデータ構造が予め定められてもよい。

【0036】

図３に示すように、要素情報は、要素ＩＤと、位置関係情報と、形状情報と、光学的特性情報と、色情報と、付属物情報とを含むことができる。

【0037】

要素ＩＤは、対象の要素を識別する情報である。
位置関係情報は、対象の要素と、他の要素、または対象の物品全体との位置関係（接続関係を含み得る）に関する情報である。換言すれば、位置関係情報は、物品における要素間の境界を定義する。

【0038】

形状情報は、対象の要素の形状（典型的には三次元形状）に関する情報である。一例として、形状情報は、対象の要素の形状を表現する三次元メッシュを定義する情報である。なお、形状情報は、対象の要素ではなく、物品全体に対して定義されてもよい。この場合には、形状情報と位置関係情報との組み合わせにより、各要素の形状は特定可能である。

【0039】

光学的特性情報は、対象の要素の光学的特性に関する情報である。光学的特性は、例えば、可視光に対する反射、透過、吸収、または屈折の特性を含むことができる。一例として、光学的特性情報は、対象の要素の反射率、および透過率に関する情報を含むことができる。さらに、光学的特性情報は、対象の要素の吸収率、または屈折率などの他の特性に関する情報を含んでもよい。

【0040】

色情報は、対象の要素の色に関する情報である。特に、色情報は、特定の光学的条件下での、対象の要素の色を表し得る。なお、色情報は、光学的特性情報に基づいて計算されてもよく、この場合に色情報は省略可能である。

【0041】

付属物情報は、対象の要素に対する付属物に関する情報である。付属物は、例えば、車のナンバープレート、商品タグ、などである。付属物情報のデータ構造は、要素情報のデータ構造と同様であってもよいし、異なっていてもよい。

【0042】

なお、光学的特性情報または色情報の少なくとも１つは、対象の要素を構成する材料に対して別途定められた材料情報の参照により補うことができる。この場合に、光学的特性情報または色情報の少なくとも１つは省略可能である。材料情報は、予め定義されていてもよいし、ユーザによって独自に定義されてもよい。材料情報は、対象の要素を構成する材料に関する情報である。材料情報は、材料の物理的特性（例えば、光学的特性（色を含み得る）、力学的特性、または熱力学的特性）、密度（単位体積あたりの質量）、または化学的特性に関する情報を含むことができる。

【0043】

（４）情報処理
本実施形態の情報処理について説明する。

【0044】

（４－１）三次元モデル生成処理
本実施形態の三次元モデル生成処理について説明する。図４は、本実施形態の三次元モデル生成処理のフローチャートである。図５は、本実施形態の三次元モデル生成処理によって生成される第２属性情報を例示する図である。

【0045】

図４の三次元モデル生成処理は、例えば三次元モデルの生成要求に応じて開始する。
まず、情報処理装置１０は、入力情報の取得（Ｓ１１０）を実行する。
具体的には、情報処理装置１０は、画像情報を入力情報として取得する。入力情報の取得（Ｓ１１０）の第１例として、情報処理装置１０は、情報処理装置１０の外部のカメラにより、三次元モデル生成の対象となる物品（以下、「対象物品」という）を撮影することで生成された画像情報を取得する。入力情報の取得（Ｓ１１０）の第２例として、情報処理装置１０は、内蔵のカメラにより対象物品を撮影することで生成された画像情報を取得する。入力情報の取得（Ｓ１１０）の第３例として、情報処理装置は、情報処理装置１０の外部のカメラにより対象物品を撮影することで生成された画像情報と、内蔵のカメラにより対象物品を撮影することで生成された画像情報とを取得する。

【0046】

画像情報のほか、情報処理装置１０は、三次元物品情報を入力情報として取得してもよい。三次元物品情報は、は、対象物品の三次元情報である。三次元物品情報は、例えば、対象物品についての三次元ＣＡＤ（Computer-Aided Design）データである。或いは、三次元物品情報は、対象物品を例えばＬｉＤＡＲ（Light Detection And Ranging）などの測距センサによりセンシングした結果（例えば三次元点群データ）であってもよい。

【0047】

ステップＳ１１０の後に、情報処理装置１０は、物品の認識（Ｓ１１１）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報（画像情報）に基づいて、当該入力情報においていずれかの種別の物品に対応する部分を認識し、当該部分を抽出する。情報処理装置１０は、認識した物品に対して当該物品を識別する物品ＩＤを割り当てる。

【0048】

一例として、情報処理装置１０は、画像情報に基づく入力データに物品認識モデルを適用することで、画像情報において物品に対応する部分（画素領域）を認識する。ここで、物品認識モデルは、大量（例えば数千程度）の教師データを用いた教師あり学習によって構築することができる。各教師データは、衛星写真に基づく学習用入力データと、当該学習用入力データにおいて認識されるべき物品（正解）を表す正解データとを含む。物品認識モデルは、情報処理装置１０上に構築されてもよいし、外部装置（例えばクラウドサーバ）上に構築されてもよい。

【0049】

ステップＳ１１１の後に、情報処理装置１０は、第１属性情報の解析（Ｓ１１２）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報に対して第１属性情報の解析を行う。第１属性情報とは、物品を構造的に表現するために属性データベースに含まれる属性情報のうち、何らかの既定のアルゴリズムによる解析に適した属性情報である。解析対象となる第１属性情報は、ステップＳ１１１において認識した物品の種別、および当該物品についてステップＳ１１０において取得することのできた入力情報に依存し得る。なお、情報処理装置１０は、本ステップＳ１１２を省略可能である。

【0050】

一例として、情報処理装置１０は、入力情報に対して対象物品の形状の解析を行う。形状の解析の第１例として、情報処理装置１０は、複数の異なる方向から対象物品を撮影することで生成された画像情報に基づいて、対象物品の三次元構造を復元することで対象物品全体の形状情報を生成する。形状の解析の第２例として、情報処理装置１０は、三次元物品情報に基づいて対象物品全体または対象物品を構成する各要素の形状情報を生成（例えば、抽出、変換、など）する。形状の解析の第３例として、情報処理装置１０は、上記第１例および第２例を組み合わせることで対象物品全体または対象物品を構成する各要素の形状情報を生成する。

【0051】

ステップＳ１１２の後に、情報処理装置１０は、第２属性情報の予測（Ｓ１１３）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報（特に、画像情報のうちステップＳ１１１において物品に対応すると認識された部分）に基づくモデル入力データに属性予測モデルを適用することで、第２属性情報を生成する。第２属性情報とは、物品を構造的に表現するために属性データベースに含まれる属性情報のうち、属性予測モデルによる予測（推論）に適した属性情報である。予測対象となる第２属性情報は、ステップＳ１１１において認識した物品の種別、および当該物品についてステップＳ１１０において取得することのできた入力情報に依存し得る。なお、情報処理装置１０は、本ステップＳ１１３を省略可能である。

【0052】

ここで、属性予測モデルは、大量（例えば数千程度）の教師データを用いた教師あり学習によって、例えば属性データベースを定義する属性毎に構築することができる。各教師データは、学習用の画像（様々な材料で構成された物品の撮影画像）に基づく学習用入力データと、当該学習用入力データから予測すべき属性情報（正解）を表す正解データとを含む。属性予測モデルは、情報処理装置１０上に構築されてもよいし、外部装置（例えばクラウドサーバ）上に構築されてもよい。属性予測モデルは、物品の種別ごとに（つまり、単一の物品の種別に対して適用可能に）構築されてもよいし、複数の物品の種別に対して適用可能に構築されてもよい。

【0053】

情報処理装置１０は、入力情報に属性予測モデルを適用することで、図５に示す第２属性情報ＡＴ３０を予測する。第２属性情報ＡＴ３０は、位置関係情報ＡＴ３１、光学的特性情報ＡＴ３２、色情報ＡＴ３３、および付属物情報ＡＴ３４を含む。情報処理装置１０は、図５に示されていない第２属性情報の解析を行ってもよいし、図５に示す第２属性情報のいずれかの解析を行わなくてもよい。

【0054】

情報処理装置１０は、例えば画像情報に基づくモデル入力データに位置関係予測モデルを適用することで、対象物品を構成する各要素の位置関係情報を生成する。

【0055】

情報処理装置１０は、例えば画像情報に基づくモデル入力データに光学的特性予測モデルを適用することで、対象物品全体または対象物品を構成する各要素の光学的特性情報ＡＴ３２を生成する。

【0056】

情報処理装置１０は、例えば画像情報に基づくモデル入力データに色予測モデルを適用することで、対象物品全体または対象物品を構成する各要素の色情報ＡＴ３３を生成する。

【0057】

情報処理装置１０は、例えば画像情報に基づくモデル入力データに付属物予測モデルを適用することで、対象物品全体または対象物品を構成する各要素の付属物情報ＡＴ３４を生成する。

【0058】

ステップＳ１１３の後に、情報処理装置１０は、属性データベースの生成（Ｓ１１４）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１１において割り当てた物品ＩＤに、ステップＳ１１２またはステップＳ１１３の少なくとも１つにおいて生成した属性情報を関連付けることで、属性データベースを生成する。属性データベースは、ステップＳ１１２またはステップＳ１１３の少なくとも１つにおいて生成した属性情報を含み、当該属性情報によって物品を構造的に表現する。

【0059】

ステップＳ１１４の後に、情報処理装置１０は、三次元モデルの生成（Ｓ１１５）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１４において生成した属性データベースに対してモデリング処理を行うことで、三次元モデルを生成する。

【0060】

ステップＳ１１４を以て、情報処理装置１０は、図４に示す三次元モデル生成処理を終了する。ただし、情報処理装置１０は、ステップＳ１１１において複数の物品を認識した場合には、各物品に対してステップＳ１１２からステップＳ１１４の処理を繰り返してもよい。

【0061】

（４－２）三次元モデル編集処理
本実施形態の三次元モデル編集処理について説明する。図６は、本実施形態の三次元モデル編集処理のフローチャートである。図７は、本実施形態の三次元モデル編集処理において表示される画面例を示す図である。

【0062】

図６に示す三次元モデル編集処理は、三次元モデルのユーザ（例えば、図４に示す三次元モデル生成処理によって生成された三次元モデルの提供を有償または無償で受ける者）が、編集対象となる三次元モデルを自らのユーザ端末の入力デバイスを操作して選択したことに応じて開始する。

【0063】

なお、本処理は、様々な形態で実行可能である。第１例として、サーバとしての情報処理装置１０が、クライアントとしてのユーザ端末からの要求に応じて本処理を実行してもよい。第２例として、三次元モデルはユーザ環境（ユーザが利用するクラウド環境を含む）において保存され、ユーザ端末またはユーザ環境内のサーバ（クラウドサーバを含む）が本処理を実行してもよい。以降の説明では、第１例を前提に述べるが、第２例では、「情報処理装置１０」を、「ユーザ端末」または「ユーザ環境内のサーバ」として適宜読み替えることができる。

【0064】

図６に示すように、情報処理装置１０は、モデリング・レンダリング（Ｓ２１０）を実行する。
具体的には、情報処理装置１０は、編集対象となる三次元モデルに対応する属性データベースを読み込み、当該属性データベースに含まれる属性情報から、当該属性データベースによって表現される物品の三次元モデルを生成（モデリング）する。そして、情報処理装置１０は、三次元モデルに対してレンダリング処理を行うことで、三次元ＣＧを生成する。

【0065】

ここで、情報処理装置１０は、例えば図３に示した属性情報に基づいて、付属物が取り除かれた状態の物品の外観を表現する三次元ＣＧを生成する。例えば、情報処理装置１０は、物品を構成する各要素の位置関係情報、形状情報、光学的特性情報、色情報、および付属物情報に基づいて、付属物が取り除かれた状態の物品の三次元ＣＧを再現する。

【0066】

また、情報処理装置１０は、例えば図３に示した属性情報に基づいて、物品の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物品の外観を表現する三次元ＣＧを生成する。例えば、情報処理装置１０は、物品を構成する各要素の位置関係情報、形状情報、光学的特性情報、色情報、および付属物情報に基づいて、物品の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物品のテクスチャを再現する。これにより、第三者の個人情報、商標、著作物などが三次元ＣＧに表れることを防止できる。

【0067】

ステップＳ２１０の後に、情報処理装置１０は、三次元ＣＧの表示（Ｓ２１１）を実行する。
具体的には、情報処理装置１０は、ステップＳ２１０において生成した三次元ＣＧと、編集対象となる三次元モデルに対する編集指示をユーザから受け付けるためのＵＩ（User Interface）とをユーザ端末のディスプレイに表示する。一例として、情報処理装置１０は、図７に示す画面をユーザ端末のディスプレイに表示する。

【0068】

図７に示す画面は、表示オブジェクトＡ２１，Ａ２２と、操作オブジェクトＢ２１，Ｂ２２とを含む。
表示オブジェクトＡ２１は、ステップＳ２１０において生成した三次元ＣＧを表示する。情報処理装置１０は、表示オブジェクトＡ２１に対するユーザ指示に応じて、三次元ＣＧをロール軸、ピッチ軸、もしくはヨー軸周りの回転、または拡大もしくは縮小して当該表示オブジェクトＡ２１に表示する。表示オブジェクトＡ２１は、物品全体に対応する三次元ＣＧと、物品を構成する一部の要素に対応する三次元ＣＧとの表示を例えばユーザ指示に応じて切り替えてもよい。

【0069】

表示オブジェクトＡ２２は、編集対象となる三次元モデルに対応する属性データベースの備える属性情報の値を表示するとともに、当該属性情報の値を編集する指示を受け付ける。情報処理装置１０は、編集指示を受け付けるために種々の入力フォーム（例えば、テキストフィールド、メニュー、チェックボックス、ラジオボタン、など）を表示オブジェクトＡ２２上に配置することができる。ユーザは、ユーザ端末の入力デバイスを操作することで、所望の編集指示を情報処理装置１０に与える。情報処理装置１０は、表示オブジェクトＡ２２において受け付けた編集指示に応じて、編集対象となる三次元モデルに対応する属性データベースを（一時的に）更新し、更新された属性データベースに基づく三次元ＣＧを表示オブジェクトＡ２２に表示する。これにより、ユーザは、属性情報の値の編集に伴う三次元ＣＧの見た目の変化を確認しながら、三次元モデルを自由にカスタマイズすることができる。

【0070】

ユーザは、表示オブジェクトＡ２２に対して例えば以下の編集指示を行うことができる。
・編集する対象となる構成要素の選択
・選択した構成要素の名前の編集
・選択した構成要素の形状の編集
・選択した構成要素の色の編集
・選択した構成要素の材料の編集
・選択した構成要素の光学的特性の編集
・選択した構成要素に対する付属物の編集

【0071】

操作オブジェクトＢ２１は、三次元モデルに対する１つ前の編集指示を取り消す指示を受け付ける。ユーザは、ユーザ端末の入力デバイスを操作して操作オブジェクトＢ２１を選択することで、取消指示を情報処理装置１０に与える。情報処理装置１０は、取消指示を受けると、１つ前の編集指示を取り消す。これにより、三次元モデルの属性情報は、１つ前の編集指示がなされる前の状態に戻る。

【0072】

操作オブジェクトＢ２２は、三次元モデルの編集を確定する指示を受け付ける。ユーザは、ユーザ端末の入力デバイスを操作して操作オブジェクトＢ２２を選択することで、確定指示を情報処理装置１０に与える。情報処理装置１０は、確定指示を受けると、確定指示時における最新の三次元モデル（つまり、一連の有効な編集指示を反映した三次元モデル）によって、編集対象の三次元モデルに対応する属性データベースを上書きする。これにより、三次元モデルの編集が確定する。なお、上書きを行うことは必須でなく、情報処理装置１０は、編集対象の三次元モデルとは別に編集後の三次元モデルを保存してもよい。これにより、編集前（オリジナル）の三次元モデルと編集後の三次元モデルとを併存させることができる。

【0073】

ステップＳ２１１において三次元モデルの編集が確定する（例えば、操作オブジェクトＢ２２の選択が検出される）前にユーザが編集指示（例えば、表示オブジェクトＡ２２に対する操作）を行うと、情報処理装置１０は、編集指示の取得（Ｓ２１２）を実行する。
具体的には、情報処理装置１０は、ユーザ端末から編集指示（例えば、編集対象となる属性情報、および当該属性情報の編集値）を取得する。

【0074】

ステップＳ２１２の後に、情報処理装置１０は、属性データベースの更新（Ｓ２１３）を実行する。
具体的には、情報処理装置１０は、ステップＳ２１２において取得した編集指示を反映するように、編集対象の三次元モデルに対応する属性データベースを更新する。
ステップＳ２１３の後に、情報処理装置１０は、モデリング・レンダリング（Ｓ２１０）、および三次元ＣＧの表示（Ｓ２１１）を再実行する。つまり、情報処理装置１０は、更新された属性データベースから三次元モデル、そして三次元ＣＧを新たに生成し、当該三次元ＣＧを表示する。これにより、ステップＳ２１２において取得した編集指示が反映された三次元ＣＧをユーザに提示することができる。

【0075】

他方、ステップＳ２１１において三次元モデルの編集が確定した場合に、情報処理装置１０は、属性データベースの保存（Ｓ２１４）を実行する。
具体的には、情報処理装置１０は、最新の三次元モデルに対応する属性データベースを記憶装置１１に保存する。
ステップＳ２１４を以て、情報処理装置１０は、図６に示す三次元モデル編集処理を終了する。

【0076】

（５）小括
以上説明したように、情報処理装置１０は、物品を撮影した写真を含む画像情報に基づくモデル入力データに、物品の属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する物品の属性情報を生成し、当該属性情報を含む属性データベースから三次元モデルを生成する。これにより、三次元モデル、および当該三次元モデルから生成される三次元ＣＧは、拡大により劣化することがない。また、仮に画像情報に影などのノイズが写り込んでいたとしても、当該ノイズは三次元モデルによって表される物品のベースの色の予測に影響を与えるに過ぎず、当該三次元モデルから生成される三次元ＣＧのノイズとはならない。故に、かかる三次元ＣＧは、その配置される仮想空間に設定された光学的条件に関わらず、コンテンツ制作者の意図したとおりの光の効果を表現できる。

【0077】

属性データベースは、物品の光学的特性に関する情報を含んでもよい。これにより、三次元ＣＧが配置される仮想空間に設定された光学的条件に関わらず、元となる物品の光沢や透明感などの特有の質感を再現し、リアリティを高めることができる。

【0078】

光学的特性に関する情報は、物品の表面の少なくとも１つの位置または領域における反射率または透過率に関する情報を含んでもよい。これにより、元となる物品の局所的な光沢や透明感などの特有の質感を再現し、リアリティを高めることができる。

【0079】

情報処理装置１０は、画像情報に基づくモデル入力データに、特定の光学的条件下での物品の色に関する属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する物品の色に関する属性情報を生成してもよい。これにより、撮影時の光学的条件に関わらず、基準となる特定の光学的条件下での物品の色を、三次元ＣＧにおいて再現することができる。

【0080】

属性データベースは、当該属性データベースによって表現される物品の材料に関する属性情報を含んでもよい。これにより、三次元モデルから生成される三次元ＣＧにおいて、物品を構成する材料の特性を反映し、リアリティを高めることができる。

【0081】

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される物品の三次元ＣＧを生成してもよく、三次元ＣＧは、付属物が取り除かれた状態の物品の外観を表現してもよい。これにより、三次元ＣＧに付属物が写り込む事態を防止することができるので、第三者の権利を侵害するリスクの低い三次元モデルを提供することができる。

【0082】

また、情報処理装置１０は、画像情報に基づくモデル入力データに特定の種別の付属物に関する属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する物品に対する付属物に関する属性情報を生成してもよい。これにより、付属物を取り除いた状態の物品の形状を容易に再現することができる。

【0083】

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される物品の三次元ＣＧを生成してもよく、三次元ＣＧは、物品の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該物品の外観を表現してもよい。これにより、三次元ＣＧにブランド名、ブランドロゴ、キャラクター画像などの著作物が写り込む事態を防止することができるので、第三者の権利を侵害するリスクの低い三次元モデルを提供することができる。

【0084】

また、情報処理装置１０は、画像情報に基づくモデル入力データに物品の色に関する属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する物品の色に関する属性情報を生成してもよい。これにより、ブランド名、ブランドロゴ、キャラクター画像等を取り除いた状態の物品の色（ベースの色）を容易に再現することができる。

【0085】

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される物品の三次元ＣＧを生成し、当該三次元ＣＧと三次元モデルを編集するためのユーザ指示を受け付ける情報とを表示してもよい。これにより、ユーザは、三次元ＣＧの確認と三次元モデルのカスタマイズとを同時に行うことができる。

【0086】

また、情報処理装置１０は、ユーザ指示に応じて三次元モデルに対応する属性データベースを更新し、更新された属性データベースから三次元ＣＧを新たに生成してもよい。これにより、ユーザは、属性データベースを更新したことによる三次元ＣＧへの影響を容易に確認し、カスタマイズ作業を効率的に行うことができる。

【0087】

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、情報処理装置１０と接続されてもよい。ディスプレイ２１は、情報処理装置１０と一体化されていてもよいし、外付けであってもよい。

【0088】

上記の情報処理の各ステップは、情報処理装置１０が行ってもよいし、外部装置（例えば、クライアント装置、またはサーバ）と協同で行ってもよいし、外部装置が行ってもよい。また、上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

【0089】

実施形態では、物品の属性情報を第１属性情報および第２属性情報に整理して説明した。しかしながら、前述の整理は例示に過ぎず、各属性情報は実施形態の説明とは異なる方法で生成されてよい。また、各属性情報は、解析または予測のいずれか一方のみによって生成されることもあれば、一部を解析により、残部を予測により生成されることもある。また同一の属性情報であっても、当該属性情報について取得することのできた入力情報次第で、解析のみにより生成されるか、予測のみにより生成されるか、両者の併用により生成されるかが異なり得る。

【0090】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【符号の説明】

【0091】

１０ ：情報処理装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】