知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-22
(45)【発行日】2024-04-01
(54)【発明の名称】画像処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240325BHJP
G06T 15/20 20110101ALI20240325BHJP
【ＦＩ】
G06T19/00 A
G06T15/20 500
【請求項の数】
15
(21)【出願番号】P 2022149598
(22)【出願日】2022-09-20
【審査請求日】2022-09-22
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】▲高▼間 康文
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開２０２２－１２６２０５（ＪＰ，Ａ）
【文献】中国特許出願公開第１０６９７１３０２（ＣＮ，Ａ）
【文献】国際公開第２０２１／１７４１３９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／２０
(57)【特許請求の範囲】
【請求項1】
第１ユーザのユーザ情報を取得する第１取得手段と、複数の撮像画像に基づいて生成され前記第１ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第２ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第１取得手段により取得された前記ユーザ情報により特定される前記第１ユーザを現所有者とする前記素材データを示す情報を出力する第１出力手段と、
前記第１出力手段により出力された情報により示される前記素材データのうち、前記第１ユーザにより選択された前記素材データを示す情報を取得する第２取得手段と、
前記第２取得手段により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第２出力手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記素材データは、前記複数の撮像画像に含まれる被写体の形状を示す前景形状モデルおよび前記被写体の動き情報を示す前景骨格モデルの少なくとも何れかであることを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記前景形状モデルは、前記被写体の３次元形状のメッシュモデルであることを特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記前景骨格モデルは、前記被写体の経時的な動きを示すボーンモデルであることを特徴とする請求項２に記載の情報処理装置。
【請求項5】
前記第１ユーザにより選択された前記素材データが同一被写体の前記前景形状モデルおよび前記前景骨格モデルである場合、前記仮想視点画像は前記同一被写体の経時的な動きを示すメッシュモデルを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項6】
前記素材データは、非代替性トークンが紐づけられていることを特徴とする請求項１に記載の情報処理装置。
【請求項7】
前記第２取得手段は、仮想視点画像を生成するための仮想視点の位置および仮想視点からの視線方向を示す仮想視点情報を取得し、前記第２出力手段は、前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記仮想視点情報とに基づいて生成された前記仮想視点画像を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項8】
前記第２取得手段は、前記第１ユーザにより選択された前記素材データを配置する仮想空間上の位置と向きを示す配置情報を取得し、前記第２出力手段は、前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記配置情報とに基づいて生成された前記仮想視点画像を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項9】
前記素材データを特定するための情報は、前記素材データと関連付けて記憶装置に記憶されていることを特徴とする請求項１に記載の情報処理装置。
【請求項10】
前記素材データを特定するための情報は、素材データの識別情報であることを特徴とする請求項１に記載の情報処理装置。
【請求項11】
前記第１出力手段により出力される前記素材データを示す情報は、前記素材データを示す画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項12】
前記素材データを示す画像は、前記素材データの種類により異なることを特徴とする請求項１１に記載の情報処理装置。
【請求項13】
前記素材データは、背景の形状を示す背景形状モデルと、背景画像と、仮想視点の軌跡を示すカメラパスとの少なくとも何れかであることを特徴とする請求項１に記載の情報処理装置。
【請求項14】
第１ユーザのユーザ情報を取得する第１取得工程と、複数の撮像画像に基づいて生成され前記第１ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第２ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第１取得工程により取得された前記ユーザ情報により特定される前記第１ユーザを現所有者とする前記素材データを示す情報を出力する第１出力工程と、
前記第１出力工程により出力された情報により示される前記素材データのうち、前記第１ユーザにより選択された前記素材データを示す情報を取得する第２取得工程と、
前記第２取得工程により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第２出力工程と、
を有することを特徴とする情報処理方法。
【請求項15】
コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は画像処理システム、画像処理方法及びコンピュータプログラム等に関する。
【背景技術】
【0002】
複数のカメラで異なる方向から撮影することで得られる複数の画像を用いて、指定された仮想視点からの仮想視点画像を生成する技術が注目されている。特許文献１には、複数のカメラを異なる位置に設置して被写体を撮像し、撮像画像から推定される被写体の３次元形状モデルを用いて、仮想視点画像を生成する方法について記載されている。
【0003】
一方、仮想空間やコンピュータゲーム内のデジタルアイテムや、デジタルアート作品などのデジタルコンテンツに非代替性トークン（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ－Ｔｏｋｅｎ：ＮＦＴ）を付与し、所有権を証明するブロックチェーン技術に注目が集まっている。特許文献２には、デジタルアイテムに所有権を付与する方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－０４５９２０号公報
【文献】米国特許出願公開第２０１７／３１６６０８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、仮想視点画像生成に使われる１つ以上のデジタルコンテンツの所有権に応じて、その生成方法やデジタルコンテンツの表示処理を制御する方法は開示されていない。
【0006】
本開示は、仮想視点画像を生成するためのデジタルコンテンツに付与した所有権とシステムのユーザ情報に基づいてコンテンツの表示処理を制御することを可能にする。
【課題を解決するための手段】
【0007】
本開示の１つの実施態様の情報処理装置は、
第１ユーザのユーザ情報を取得する第１取得手段と、
複数の撮像画像に基づいて生成され前記第１ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第２ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第１取得手段により取得された前記ユーザ情報により特定される前記第１ユーザを現所有者とする前記素材データを示す情報を出力する第１出力手段と、
前記第１出力手段により出力された情報により示される前記素材データのうち、前記第１ユーザにより選択された前記素材データを示す情報を取得する第２取得手段と、
前記第２取得手段により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第２出力手段と、
を有することを特徴とする。
第１ユーザのユーザ情報を取得する第１取得手段と、
複数の撮像画像に基づいて生成され前記第１ユーザを現所有者とする素材データと複数の撮像画像に基づいて生成され第２ユーザを現所有者とする素材データとを含む複数の素材データであって、ブロックチェーンに素材データを特定するための情報が記録されている複数の素材データのうち、前記第１取得手段により取得された前記ユーザ情報により特定される前記第１ユーザを現所有者とする前記素材データを示す情報を出力する第１出力手段と、
前記第１出力手段により出力された情報により示される前記素材データのうち、前記第１ユーザにより選択された前記素材データを示す情報を取得する第２取得手段と、
前記第２取得手段により取得された情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する第２出力手段と、
を有することを特徴とする。
【発明の効果】
【0008】
本開示によれば、仮想視点画像を生成するためのデジタルコンテンツに付与した所有権とシステムのユーザ情報に基づいてコンテンツの表示処理を制御することができる。
【図面の簡単な説明】
【0009】
【図1】実施形態１における画像処理システムの構成図である。
【図2】実施形態１におけるコンテンツ表示装置４のハードウェア構成図である。
【図3】実施形態１における仮想視点コンテンツを登録する処理の流れを示す図である。
【図4】ブロックチェーンのデータ構造を示す図である。
【図5】実施形態１における仮想視点コンテンツの販売ステータスを更新する流れを示す図である。
【図6】実施形態１におけるユーザが仮想視点コンテンツを購入する際の処理の流れを示す図である。
【図7】実施形態１における仮想視点コンテンツの購入画面を示す図である。
【図8】実施形態１におけるユーザの所有する仮想視点コンテンツを用いて仮想視点画像を生成する処理を示す図である。
【図9】実施形態１における仮想視点画像を生成するための操作画面を示す図である。
【図10】実施形態１における選択された仮想視点コンテンツと仮想視点情報に基づいて仮想視点画像を生成する処理を示すフローチャートである。
【図11】実施形態２における画像処理システムの構成図である。
【図12】実施形態２における仮想視点コンテンツを登録する流れを示す図である。
【図13】実施形態２における仮想視点コンテンツの購入画面を示す図である。
【図14】実施形態２における仮想視点画像を生成するための操作画面を示す図である。
【図15】実施形態２におけるユーザの所有する仮想視点コンテンツを用いて仮想視点画像を生成する処理を示す図である。
【図16】実施形態３における仮想カメラ情報および仮想カメラパス情報を仮想視点コンテンツとして登録する流れを示す図である。
【図17】実施形態３における仮想視点コンテンツの購入画面を示す図である。
【図18】実施形態３における仮想視点画像を生成するための操作画面を示す図である。
【図19】実施形態３におけるユーザの所有する仮想視点コンテンツを用いて仮想視点画像を生成する処理を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して実施形態を詳しく説明する。ただし、本開示は以下の実施形態に限定するものではない。なお、各図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複する説明は省略する。
【0011】
（実施形態１）
本実施形態では、仮想視点画像を生成するために用いるデジタルコンテンツに非代替性トークンを付与し、それらの所有者情報とユーザ情報に基づいて、デジタルコンテンツの表示処理を制御する方法について述べる。非代替性トークン（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ：以下、ＮＦＴとする）は、ブロックチェーン上に発行・流通するためのトークンの一つである。ＮＦＴを活用することで、デジタルコンテンツに唯一無二の価値を持たせることができる。ＮＦＴの規格の一例としては、ＥＲＣ―７２１やＥＲＣ―１１５５と呼ばれるトークン規格がある。
本実施形態では、仮想視点画像を生成するために用いるデジタルコンテンツに非代替性トークンを付与し、それらの所有者情報とユーザ情報に基づいて、デジタルコンテンツの表示処理を制御する方法について述べる。非代替性トークン（Ｎｏｎ－Ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ：以下、ＮＦＴとする）は、ブロックチェーン上に発行・流通するためのトークンの一つである。ＮＦＴを活用することで、デジタルコンテンツに唯一無二の価値を持たせることができる。ＮＦＴの規格の一例としては、ＥＲＣ―７２１やＥＲＣ―１１５５と呼ばれるトークン規格がある。
【0012】
本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
【0013】
仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。
【0014】
仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。
【0015】
仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。
【0016】
本実施形態における仮想視点画像を生成するために用いるデジタルコンテンツは、キャラクターの形状モデルと骨格モデル、仮想世界においてキャラクターが存在する空間情報を表す背景形状モデルと背景テクスチャ画像を対象とする。本実施形態において、キャラクターの形状モデルおよび骨格モデルを、それぞれ前景形状モデルおよび前景骨格モデルと呼称する。キャラクターとは、人物やボールなどの所定のオブジェクトである。なお、既存のＣＧツールを用いて作成される。これらのデジタルコンテンツは、ＦＢＸなどに代表されるファイルフォーマットで表す。前景形状モデルは一般的な三角形もしくは四角形を要素とする３次元形状のメッシュモデルとし、各要素の頂点は座標を持つ。前景骨格モデルはキャラクターの腕や足のような部位の関節や、関節間の接続関係を予め定め、その位置や角度によって、キャラクターの３次元姿勢を表現するボーンモデルである。言い換えれば、前景骨格モデルはキャラクターの動き情報を表現する。また、メッシュの各頂点がどの部位に属するかという情報もＣＧツールなどで予め生成すれば、前景骨格モデルの動きに応じてメッシュモデルを変形できる。つまり、同一被写体の前景形状モデルと前景骨格モデルを組み合わせることにより、経時的な動きを行うメッシュモデルを生成することができる。なお、本実施形態では、前景形状モデルのメッシュには色情報が含まれておらず、コンテンツ表示装置にて設定された色で前景形状モデルのメッシュが表示される。例えば、設定された色がグレーであれば、全ての前景形状モデルのメッシュの各頂点がグレーで表示される。ただし、これに限定されず、デジタルコンテンツの作成者が予め色情報を設定してもよいし、前景形状モデルのメタデータに合わせて色情報を変更してもよい。例えば、バスケットボールの選手を示すキャラクターの前景形状モデルであれば、チームカラーに合わせて色情報を設定する。背景形状モデルの表現方法は前景形状モデルと同様である。背景テクスチャ画像は背景形状モデルの各要素の頂点と画像上の座標との対応関係に基づいてメッシュモデルに貼られる画像であり、ＢＭＰやＰＮＧのような一般的な画像フォーマットで表す。背景形状モデルと背景テクスチャ画像は同一の背景モデル（３次元形状オブジェクト）に対応している。言い換えれば、デジタルコンテンツは仮想視点画像を生成するための素材データである。以下、仮想視点画像を生成するために用いるデジタルコンテンツを仮想視点コンテンツと呼称する。
【0017】
［システム構成］
第１実施形態に関わる画像処理システムについて図面を参照しながら説明する。
第１実施形態に関わる画像処理システムについて図面を参照しながら説明する。
【0018】
図１は、第１実施形態による画像処理システムの構成図である。画像処理システムはデータベースシステム１、ブロックチェーンシステム２、コンテンツ提供装置３，コンテンツ表示装置４から構成される。
【0019】
データベースシステム１は、前景形状モデル、前景骨格モデル、背景形状モデル、背景テクスチャ画像を保存・管理する。本実施形態において、データベースシステム１は、各仮想視点コンテンツのコンテンツデータとメタデータがそれぞれ保存・管理する。各仮想視点コンテンツのコンテンツデータとは、前景形状モデル、前景骨格モデル、背景形状モデル、背景テクスチャ画像そのものである。各仮想視点コンテンツのメタデータとは、コンテンツデータに付随するデータである。例えば、バスケットボールの選手の前景形状モデルを保存・管理する場合、メタデータは、前景形状モデルがブロックチェーンに登録された日付、前景形状モデルが作成された日付、前景形状モデルの作成者の名前、選手の名称、音声データなどである。さらに、メタデータは、仮想視点コンテンツの販売ステータス（販売の可否と、販売可の場合の販売価格）を含む。仮想視点コンテンツの販売ステータスは、販売不可が初期値として設定されており、現在の所有者が販売ステータスを変更することができる。なお、ユーザ間での取引後は初期値の販売不可に変更されるように設定することにより、仮想視点コンテンツの意図しない売買を防ぐことができる。
【0020】
ブロックチェーンシステム２は、コンテンツ提供装置３の要求により、仮想視点コンテンツと所有者情報をブロックチェーンに記録する。具体的には、仮想視点コンテンツのコンテンツＩＤと所有者のユーザＩＤ、仮想視点コンテンツに付与するＮＦＴを記録する。詳細は、図５にて記載する。その際、仮想視点コンテンツの作成者が定めた数のＮＦＴを該コンテンツに対して発行する。例えば、５００個のＮＦＴを発行した場合、最大５００名が該コンテンツを所有できるようになる。即ち、コンテンツの資産価値を向上させるために、例えば配布するコンテンツの数量を制限してシリアル番号で管理するなどして稀少性を持たせることができる。
【0021】
コンテンツ提供装置３は、ユーザ管理部１３００、要求受信部１３１０、登録部１３２０、データ取得部１３３０、レンダリング部１３４０、配信部１３５０で構成される情報処理装置である。コンテンツ提供装置３は、ユーザが作成した仮想視点コンテンツをデータベースシステム１に登録したり、データベースシステム１から取得する仮想視点コンテンツにより作成される仮想視点画像をユーザへ配信したりする。ユーザ管理部１３００はシステムを使用するユーザのアカウントを新規登録、編集、削除、管理する。管理する情報はユーザＩＤ、名前、ユーザの役割、仮想視点コンテンツを売買するための口座情報等が挙げられる。ユーザの役割としては、仮想視点コンテンツを作成し販売する販売者、仮想視点コンテンツに基づいて生成される仮想視点画像を視聴する視聴者、仮想視点画像を配信する配信者等が挙げられる。要求受信部１３１０は、コンテンツ表示装置４から受信する要求情報に応じて、処理を登録部１３２０やデータ取得部１３３０、データ制御部１３４０に振り分ける。例えば、ユーザが作成した仮想視点コンテンツをデータベースシステム１に登録する場合、コンテンツ登録要求が登録部１３２０へ送られる。コンテンツ登録要求を登録部１３２０が受信すると、登録部１３２０は仮想視点コンテンツのコンテンツデータとメタデータをデータベースシステム１へ送る。また、ユーザが仮想視点コンテンツを購入する場合、要求受信部１３１０は購入要求を受信する。そして、要求受信部１３１０は仮想視点コンテンツの取得要求をデータ取得部１３３０へ送る。データ取得部１３３０は、仮想視点コンテンツのコンテンツデータとメタデータをデータベースシステム１から取得し、データ制御部１３４０へ送信する。データ制御部１３４０は、仮想視点コンテンツのコンテンツデータから、購入画面に表示する簡易的な仮想視点画像の生成に用いる仮想視点コンテンツのコンテンツデータを抽出し、レンダリング部１３５０に送信する。レンダリング部１３５０は、仮想視点コンテンツを示す画像や、仮想視点コンテンツと仮想視点情報から生成される仮想視点画像を生成し、配信部１３６０に送信する。レンダリング部１３５０が仮想視点画像を生成する方法の一例として、コンテンツデータに基づいて仮想空間上に配置された仮想視点コンテンツを仮想カメラから見た前景画像（被写体領域の画像）と背景画像（被写体を含まない画像）を生成する。そして、生成した背景画像に前景画像を重ねることで仮想視点画像を生成する。配信部１３６０はレンダリング部１３５０から取得した画像をコンテンツ表示装置４の画像取得部へ配信する。なお、ユーザが自身の所有する仮想視点コンテンツを選択して仮想視点画像を生成する場合、要求受信部１３１０は、コンテンツ表示装置４から仮想視点コンテンツの選択情報を受信する。そして、要求自身部１３１０は、選択情報をデータ制御部１３４０に送信し、仮想視点画像に表示する仮想視点コンテンツを制御する。選択された仮想視点コンテンツのコンテンツデータをレンダリング部１３５０に送信し、仮想視点画像を生成する。生成された仮想視点画像はレンダリング部１３５０から配信部１３６０に送信される。その後、配信部１３６０は、仮想視点画像をコンテンツ表示装置４に送信する。
【0022】
コンテンツ表示装置４は、画像取得部１４００、画面表示部１４１０、操作部１４２０、制御部１４３０、要求送信部１４４０で構成される。コンテンツ表示装置４は、コンテンツの表示処理を制御しながら、ユーザに仮想視点画像の視聴環境を提供する。画像取得部１４００は、コンテンツ提供装置３の配信部１３６０から送信される画像を取得する。取得した画像は制御部１４３０に送信される。画面表示部１４１０は、制御部１４３０から受信した画像を表示する。具体的には、仮想視点コンテンツの視聴画面、コンテンツリスト表示画面、コンテンツ登録画面等をディスプレイに表示する。視聴画面には仮想視点コンテンツのレンダリング結果の画像を表示する領域や、表示方法を選択するＧＵＩが含まれる。コンテンツリスト表示画面には購入したいコンテンツを選択するための一覧が表示される。コンテンツ登録画面には、登録したいデータの場所や購入価格などの情報を入力するＧＵＩが含まれる。操作部１４２０は、ユーザの入力情報を受け取り、制御部１４３０に送信する。操作部１４２０は、例えば、キーボードやマウス、タッチパネルなどである。制御部１４３０は、画像取得部１４００から受信した画像を画面表示部１４１０に送信する。この際、取得した画像に適宜編集を加えた画像を画面表示部１４１０に送信してもよい。また、操作部１４２０から受信する入力情報を要求送信部１４４０に送信する。要求送信部１４４０は、制御部１４３０から受信した要求をコンテンツ提供装置３に送信する。要求はユーザアカウントの新規登録や管理、コンテンツの新規登録や取得・購入、仮想視点操作が挙げられる。以下、本実施形態では、コンテンツ表示装置４は、タッチパネルを有するタブレット端末として説明する。なお、コンテンツ表示装置４はこれに限定されず、ノートＰＣ等のデバイスでもよい。
【0023】
図２は、コンテンツ表示装置４のハードウェア構成を示す図である。なお、コンテンツ提供装置３のハードウェア構成も同様である。コンテンツ表示装置４は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いてシステムの全体を制御することで、図１に示すコンテンツ表示装置４の各機能を実現する。なお、各システムがＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えば、ハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
【0024】
表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがシステムを操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。
【0025】
通信Ｉ／Ｆ２１７は、システムの外部の装置との通信に用いられる。例えば、各システムが外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、各部をつないで情報を伝達する。
【0026】
本実施形態では表示部２１５と操作部２１６がシステムの内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方がシステムの外部に別の装置として存在していてもよい。
【0027】
［動作フロー］
図３は、仮想視点コンテンツをデータベースシステム１に登録する処理の流れを示す図である。本実施形態では、仮想視点コンテンツを登録するユーザのアカウントが予め生成されており、ユーザがユーザＩＤとパスワードを入力することによりログイン処理を行った後の流れを示す。その際、ユーザＩＤはコンテンツ提供装置３のユーザ管理部１３００に記録されているものとする。また、仮想視点コンテンツが予め作成され、コンテンツ表示装置４に保存されているものとする。図５、図６、図７においても、同様の条件であるため、以降省略する。
図３は、仮想視点コンテンツをデータベースシステム１に登録する処理の流れを示す図である。本実施形態では、仮想視点コンテンツを登録するユーザのアカウントが予め生成されており、ユーザがユーザＩＤとパスワードを入力することによりログイン処理を行った後の流れを示す。その際、ユーザＩＤはコンテンツ提供装置３のユーザ管理部１３００に記録されているものとする。また、仮想視点コンテンツが予め作成され、コンテンツ表示装置４に保存されているものとする。図５、図６、図７においても、同様の条件であるため、以降省略する。
【0028】
＜Ｓ３００＞
Ｓ３００において、コンテンツ表示装置４は、登録する仮想視点コンテンツのコンテンツデータとメタデータを、コンテンツ提供装置３に送信する。なお、メタデータには、仮想視点コンテンツに発行するＮＦＴの発行数が含まれる。
Ｓ３００において、コンテンツ表示装置４は、登録する仮想視点コンテンツのコンテンツデータとメタデータを、コンテンツ提供装置３に送信する。なお、メタデータには、仮想視点コンテンツに発行するＮＦＴの発行数が含まれる。
【0029】
＜Ｓ３０１＞
Ｓ３０１において、コンテンツ提供装置３は、受信した仮想視点コンテンツのコンテンツデータとメタデータが既定の条件を満たすか否か判定する。具体的には、メタデータにデータ種別やＮＦＴの発行数の情報が含まれているかを判定する。なお、データベースシステム１に登録されている仮想視点コンテンツと同じ仮想視点コンテンツか否か判定してもよい。その場合、受信した仮想視点コンテンツのコンテンツデータのハッシュ値と、データベースシステム１に登録されている仮想視点コンテンツのコンテンツデータのハッシュ値とを比較する。ハッシュ値が同じであれば、同じ仮想視点コンテンツとして条件を満たさないと判定し、ハッシュ値が異なれば、異なる仮想視点コンテンツとして条件を満たすと判定する。なお、類似品を判定する学習モデルを作成し、判定させてもよい。本実施形態では、条件を満たしたものとして以降の処理を説明する。
Ｓ３０１において、コンテンツ提供装置３は、受信した仮想視点コンテンツのコンテンツデータとメタデータが既定の条件を満たすか否か判定する。具体的には、メタデータにデータ種別やＮＦＴの発行数の情報が含まれているかを判定する。なお、データベースシステム１に登録されている仮想視点コンテンツと同じ仮想視点コンテンツか否か判定してもよい。その場合、受信した仮想視点コンテンツのコンテンツデータのハッシュ値と、データベースシステム１に登録されている仮想視点コンテンツのコンテンツデータのハッシュ値とを比較する。ハッシュ値が同じであれば、同じ仮想視点コンテンツとして条件を満たさないと判定し、ハッシュ値が異なれば、異なる仮想視点コンテンツとして条件を満たすと判定する。なお、類似品を判定する学習モデルを作成し、判定させてもよい。本実施形態では、条件を満たしたものとして以降の処理を説明する。
【0030】
＜Ｓ３０２＞
Ｓ３０２において、コンテンツ提供装置３は、Ｓ３０１にて条件を満たすと判定した仮想視点コンテンツのコンテンツデータとメタデータをデータベースシステム１に送信する。
Ｓ３０２において、コンテンツ提供装置３は、Ｓ３０１にて条件を満たすと判定した仮想視点コンテンツのコンテンツデータとメタデータをデータベースシステム１に送信する。
【0031】
＜Ｓ３０３＞
Ｓ３０３において、データベースシステム１は、Ｓ３０２にて受信した仮想視点コンテンツのコンテンツデータとメタデータを対応付けて登録する。なお、登録する際に、仮想視点コンテンツに対し、コンテンツＩＤを発行する。コンテンツＩＤは、仮想視点コンテンツに割り振られるシリアルナンバーであり、データベースシステム１において仮想視点コンテンツを検索する際に使用される。また、仮想視点コンテンツの販売ステータスも初期値で設定される。本ステップにより、データベースシステム１に仮想視点コンテンツを登録することができる。
Ｓ３０３において、データベースシステム１は、Ｓ３０２にて受信した仮想視点コンテンツのコンテンツデータとメタデータを対応付けて登録する。なお、登録する際に、仮想視点コンテンツに対し、コンテンツＩＤを発行する。コンテンツＩＤは、仮想視点コンテンツに割り振られるシリアルナンバーであり、データベースシステム１において仮想視点コンテンツを検索する際に使用される。また、仮想視点コンテンツの販売ステータスも初期値で設定される。本ステップにより、データベースシステム１に仮想視点コンテンツを登録することができる。
【0032】
＜Ｓ３０４＞
Ｓ３０４において、データベースシステム１は、コンテンツＩＤをコンテンツ提供装置３に送信する。
Ｓ３０４において、データベースシステム１は、コンテンツＩＤをコンテンツ提供装置３に送信する。
【0033】
＜Ｓ３０５＞
Ｓ３０５において、コンテンツ提供装置３は、Ｓ３００にて受信した仮想視点コンテンツに発行するＮＦＴの発行数と、ユーザＩＤと、コンテンツＩＤをブロックチェーンシステム２に送信する。
Ｓ３０５において、コンテンツ提供装置３は、Ｓ３００にて受信した仮想視点コンテンツに発行するＮＦＴの発行数と、ユーザＩＤと、コンテンツＩＤをブロックチェーンシステム２に送信する。
【0034】
＜Ｓ３０６＞
Ｓ３０６において、ブロックチェーンシステム２は、Ｓ３００にて受信したＮＦＴの発行数に基づき、仮想視点コンテンツにＮＦＴを発行し、トランザクションを記録する。トランザクションには、少なくともＮＦＴと所有者情報としてユーザＩＤ、仮想視点コンテンツに対応するコンテンツＩＤが含まれる。本実施形態では、仮想視点コンテンツを登録する処理を行ったユーザのユーザＩＤを、最初の所有者として記録する。本ステップにより、仮想視点コンテンツの所有者情報をブロックチェーンに記録することができる。
Ｓ３０６において、ブロックチェーンシステム２は、Ｓ３００にて受信したＮＦＴの発行数に基づき、仮想視点コンテンツにＮＦＴを発行し、トランザクションを記録する。トランザクションには、少なくともＮＦＴと所有者情報としてユーザＩＤ、仮想視点コンテンツに対応するコンテンツＩＤが含まれる。本実施形態では、仮想視点コンテンツを登録する処理を行ったユーザのユーザＩＤを、最初の所有者として記録する。本ステップにより、仮想視点コンテンツの所有者情報をブロックチェーンに記録することができる。
【0035】
図４は、ブロックチェーンのデータ構造を示す図である。４０１が最新のブロック、４００が一つ前のブロックを示す。各ブロックは、前ブロックのハッシュ値４１０、ナンス値４２０、トランザクション４３０で構成される。ナンス値はブロックを生成するために使用される。トランザクション４３０には、１以上のトランザクションが記録される。トランザクションは、仮想視点コンテンツの取引を示す情報として、仮想視点コンテンツに対応するＮＦＴと仮想視点コンテンツに対応するコンテンツＩＤ、仮想視点コンテンツの所有者情報、例えばユーザＩＤが記載される（不図示）。また、トランザクションに仮想視点コンテンツの作成者のユーザＩＤを記録することにより、取引により所有者が変更しても、仮想視点コンテンツの作成者を特定することもできる。なお、スマートコントラクト（ＮＦＴ購入者への自動契約実行）に関する記述をブロックチェーンに保存し登録しても良い。例えば、スマートコントラクトに作成者のユーザＩＤと追及権の行使の有無を記述すれば、コンテンツが売買される度に作成者に収益を還元するようにできる。
【0036】
図５は、ユーザが所有している仮想視点コンテンツの販売ステータスを設定するための処理の流れを示す図である。
【0037】
＜Ｓ５００＞
Ｓ５００において、コンテンツ表示装置４は、コンテンツ提供装置３にユーザが所有する仮想視点コンテンツの情報を要求する。なお、ユーザが所有するすべての仮想視点コンテンツの情報を要求する必要はなく、例えば、ユーザが所有する前景形状モデルの情報を要求してもよい。また、ユーザが所有する、あるスポーツ選手の前景形状モデルの情報を要求してもよい。
Ｓ５００において、コンテンツ表示装置４は、コンテンツ提供装置３にユーザが所有する仮想視点コンテンツの情報を要求する。なお、ユーザが所有するすべての仮想視点コンテンツの情報を要求する必要はなく、例えば、ユーザが所有する前景形状モデルの情報を要求してもよい。また、ユーザが所有する、あるスポーツ選手の前景形状モデルの情報を要求してもよい。
【0038】
＜Ｓ５０１＞
Ｓ５０１において、コンテンツ提供装置３は、ユーザＩＤをブロックチェーンシステム２に送信し、ブロックチェーンシステム２に記録されているトランザクションを照会することにより、ユーザの所有する仮想視点コンテンツを特定する。この際、特定した仮想視点コンテンツのコンテンツＩＤを取得する。
Ｓ５０１において、コンテンツ提供装置３は、ユーザＩＤをブロックチェーンシステム２に送信し、ブロックチェーンシステム２に記録されているトランザクションを照会することにより、ユーザの所有する仮想視点コンテンツを特定する。この際、特定した仮想視点コンテンツのコンテンツＩＤを取得する。
【0039】
＜Ｓ５０２＞
Ｓ５０２において、コンテンツ提供装置３は、Ｓ５０１で取得したコンテンツＩＤをデータベースシステム１に送信する。コンテンツＩＤを受信したデータベースシステム１は、コンテンツＩＤに対応する仮想視点コンテンツのコンテンツデータとメタデータをコンテンツ提供装置３に送信する。
Ｓ５０２において、コンテンツ提供装置３は、Ｓ５０１で取得したコンテンツＩＤをデータベースシステム１に送信する。コンテンツＩＤを受信したデータベースシステム１は、コンテンツＩＤに対応する仮想視点コンテンツのコンテンツデータとメタデータをコンテンツ提供装置３に送信する。
【0040】
＜Ｓ５０３＞
Ｓ５０３において、コンテンツ提供装置３は、仮想視点コンテンツのメタデータを示す画像をコンテンツ表示装置４に送信する。なお、本実施形態では、メタデータを示す画像をコンテンツ表示装置４に送信するが、これに限定されず、メタデータそのものを送信してもよいし、コンテンツデータを送信してもよい。
Ｓ５０３において、コンテンツ提供装置３は、仮想視点コンテンツのメタデータを示す画像をコンテンツ表示装置４に送信する。なお、本実施形態では、メタデータを示す画像をコンテンツ表示装置４に送信するが、これに限定されず、メタデータそのものを送信してもよいし、コンテンツデータを送信してもよい。
【0041】
＜Ｓ５０４＞
Ｓ５０４において、コンテンツ表示装置４は、Ｓ５０３で受信した仮想視点コンテンツのメタデータを示す画像を表示する。ユーザは、この画像を参考に仮想視点コンテンツの販売ステータスを設定する。
Ｓ５０４において、コンテンツ表示装置４は、Ｓ５０３で受信した仮想視点コンテンツのメタデータを示す画像を表示する。ユーザは、この画像を参考に仮想視点コンテンツの販売ステータスを設定する。
【0042】
＜Ｓ５０５＞
Ｓ５０５において、コンテンツ表示装置４は、ユーザの操作に基づいて仮想視点コンテンツの販売ステータスを更新する指示を、コンテンツ提供装置３に送信する。
Ｓ５０５において、コンテンツ表示装置４は、ユーザの操作に基づいて仮想視点コンテンツの販売ステータスを更新する指示を、コンテンツ提供装置３に送信する。
【0043】
＜Ｓ５０６＞
Ｓ５０６において、コンテンツ提供装置３は、Ｓ５０５にて受信した販売ステータスの更新指示が条件を満たしているか判定する。例えば、コンテンツ提供装置３にて、仮想視点コンテンツの最低販売価格や最大販売価格の条件を設定し、ユーザが指示した販売ステータスが条件を満たしているかを判定する。なお、本実施形態では、条件を満たしているとして以降の処理を説明する。
Ｓ５０６において、コンテンツ提供装置３は、Ｓ５０５にて受信した販売ステータスの更新指示が条件を満たしているか判定する。例えば、コンテンツ提供装置３にて、仮想視点コンテンツの最低販売価格や最大販売価格の条件を設定し、ユーザが指示した販売ステータスが条件を満たしているかを判定する。なお、本実施形態では、条件を満たしているとして以降の処理を説明する。
【0044】
＜Ｓ５０７＞
Ｓ５０７において、コンテンツ提供装置３は、Ｓ５０６にて条件を満たしていると判定された更新指示をデータベースシステム１に送信する。
Ｓ５０７において、コンテンツ提供装置３は、Ｓ５０６にて条件を満たしていると判定された更新指示をデータベースシステム１に送信する。
【0045】
＜Ｓ５０８＞
Ｓ５０８において、データベースシステム１は、Ｓ５０７で受信した販売ステータスの更新指示に基づいて、仮想視点コンテンツの販売ステータスを更新する。
Ｓ５０８において、データベースシステム１は、Ｓ５０７で受信した販売ステータスの更新指示に基づいて、仮想視点コンテンツの販売ステータスを更新する。
【0046】
上記処理により、ユーザは自身の所有する仮想視点コンテンツの販売ステータスを設定することができる。
【0047】
図６は、ユーザが仮想視点コンテンツを購入する際の処理の流れを示す図である。
【0048】
＜Ｓ６００＞
Ｓ６００において、コンテンツ表示装置４は、購入可能な仮想視点コンテンツの要求情報をコンテンツ提供装置３に送信する。なお、要求情報に、データの種別やコンテンツの名称等の要求条件を指定しても構わない。
Ｓ６００において、コンテンツ表示装置４は、購入可能な仮想視点コンテンツの要求情報をコンテンツ提供装置３に送信する。なお、要求情報に、データの種別やコンテンツの名称等の要求条件を指定しても構わない。
【0049】
＜Ｓ６０１＞
Ｓ６０１において、コンテンツ提供装置３は、ユーザのアカウント情報を確認し、ユーザの購入可能条件を確認する。本実施形態では、例えば、ユーザの購入履歴を確認することで、仮想視点コンテンツの購入回数が２回以下の場合、購入可能な仮想視点コンテンツを一部制限してもする。しかし、これに限定されず、購入可能条件を設けなくてもよいし、ファントークン等を用いてユーザの活動に応じて購入可能な仮想視点コンテンツを決定してもよい。購入可能条件は、ユーザ管理部１３００でユーザ毎に管理されているものとする。
Ｓ６０１において、コンテンツ提供装置３は、ユーザのアカウント情報を確認し、ユーザの購入可能条件を確認する。本実施形態では、例えば、ユーザの購入履歴を確認することで、仮想視点コンテンツの購入回数が２回以下の場合、購入可能な仮想視点コンテンツを一部制限してもする。しかし、これに限定されず、購入可能条件を設けなくてもよいし、ファントークン等を用いてユーザの活動に応じて購入可能な仮想視点コンテンツを決定してもよい。購入可能条件は、ユーザ管理部１３００でユーザ毎に管理されているものとする。
【0050】
＜Ｓ６０２＞
Ｓ６０２において、コンテンツ提供装置３は、Ｓ６０１にて確認した購入可能条件を含め、データベースシステム１に購入可能な仮想視点コンテンツの要求情報を送信する。
Ｓ６０２において、コンテンツ提供装置３は、Ｓ６０１にて確認した購入可能条件を含め、データベースシステム１に購入可能な仮想視点コンテンツの要求情報を送信する。
【0051】
＜Ｓ６０３＞
Ｓ６０３において、データベースシステム１は、販売ステータスが販売可となっている仮想視点コンテンツを特定する。また、Ｓ６００にて要求条件を受信している場合は、要求条件を考慮した仮想視点コンテンツを特定する。例えば、Ａ選手のダンクシーンの前景形状モデルとＡ選手のダンクシーンの前景骨格モデルと指定されている場合、それらに該当するまたは関連する仮想視点コンテンツを特定する。なお、ユーザの購入可能条件を受信している場合は、条件に応じた仮想視点コンテンツを特定する。これらの条件を含め販売ステータスが販売可となっている仮想視点コンテンツを特定する。
Ｓ６０３において、データベースシステム１は、販売ステータスが販売可となっている仮想視点コンテンツを特定する。また、Ｓ６００にて要求条件を受信している場合は、要求条件を考慮した仮想視点コンテンツを特定する。例えば、Ａ選手のダンクシーンの前景形状モデルとＡ選手のダンクシーンの前景骨格モデルと指定されている場合、それらに該当するまたは関連する仮想視点コンテンツを特定する。なお、ユーザの購入可能条件を受信している場合は、条件に応じた仮想視点コンテンツを特定する。これらの条件を含め販売ステータスが販売可となっている仮想視点コンテンツを特定する。
【0052】
＜Ｓ６０４＞
Ｓ６０４において。データベースシステム１は、特定した販売ステータスが販売可となっている仮想視点コンテンツのコンテンツデータとメタデータをコンテンツ提供装置３に送信する。
Ｓ６０４において。データベースシステム１は、特定した販売ステータスが販売可となっている仮想視点コンテンツのコンテンツデータとメタデータをコンテンツ提供装置３に送信する。
【0053】
＜Ｓ６０５＞
Ｓ６０５において、コンテンツ提供装置３は、Ｓ６０４にて受信した仮想視点コンテンツのコンテンツデータとメタデータから仮想視点コンテンツを示す画像を生成し、コンテンツ表示装置４に送信する。仮想視点コンテンツを示す画像とは、コンテンツデータとメタデータを両方用いて作成しても良いし、何れか一方のみを用いて作成してもよい。例えば、コンテンツデータが前景形状モデルであり、メタデータに前景形状モデルの作成日と販売価格が含まれる場合、前景形状モデルを示すアイコンと作成日、販売価格を示す画像を生成してもよい。なお、本実施形態では、仮想視点コンテンツを示す画像をコンテンツ表示装置に送信するが、これに限定されず、画像とともにメタデータに含まれる音声データや販売価格の数値データそのものを送信してもよい。
Ｓ６０５において、コンテンツ提供装置３は、Ｓ６０４にて受信した仮想視点コンテンツのコンテンツデータとメタデータから仮想視点コンテンツを示す画像を生成し、コンテンツ表示装置４に送信する。仮想視点コンテンツを示す画像とは、コンテンツデータとメタデータを両方用いて作成しても良いし、何れか一方のみを用いて作成してもよい。例えば、コンテンツデータが前景形状モデルであり、メタデータに前景形状モデルの作成日と販売価格が含まれる場合、前景形状モデルを示すアイコンと作成日、販売価格を示す画像を生成してもよい。なお、本実施形態では、仮想視点コンテンツを示す画像をコンテンツ表示装置に送信するが、これに限定されず、画像とともにメタデータに含まれる音声データや販売価格の数値データそのものを送信してもよい。
【0054】
＜Ｓ６０６＞
Ｓ６０６において、コンテンツ表示装置４は、Ｓ６０５にて受信した購入可能な仮想視点コンテンツを示す画像を表示する。なお、複数の仮想視点コンテンツが購入可能である場合、仮想視点コンテンツを一覧表示してもよい。コンテンツ表示装置４に表示される仮想視点コンテンツの購入画面の詳細は、図７にて説明する。
Ｓ６０６において、コンテンツ表示装置４は、Ｓ６０５にて受信した購入可能な仮想視点コンテンツを示す画像を表示する。なお、複数の仮想視点コンテンツが購入可能である場合、仮想視点コンテンツを一覧表示してもよい。コンテンツ表示装置４に表示される仮想視点コンテンツの購入画面の詳細は、図７にて説明する。
【0055】
＜Ｓ６０７＞
Ｓ６０７において、コンテンツ表示装置４は、ユーザ操作に基づいて、コンテンツ提供装置３に仮想視点コンテンツの購入要求を送信する。
Ｓ６０７において、コンテンツ表示装置４は、ユーザ操作に基づいて、コンテンツ提供装置３に仮想視点コンテンツの購入要求を送信する。
【0056】
＜Ｓ６０８＞
Ｓ６０８において、コンテンツ提供装置３は、仮想視点コンテンツの売買が成立したか確認する。例えば、ユーザからの購入処理が完了した場合に売買が成立したとする。購入処理についての説明は省略する。以降のステップでは、売買が成立したものとして説明する。
Ｓ６０８において、コンテンツ提供装置３は、仮想視点コンテンツの売買が成立したか確認する。例えば、ユーザからの購入処理が完了した場合に売買が成立したとする。購入処理についての説明は省略する。以降のステップでは、売買が成立したものとして説明する。
【0057】
＜Ｓ６０９＞
Ｓ６０９において、コンテンツ提供装置３は、データベースシステム１に売買が成立した仮想視点コンテンツの情報を送信する。
Ｓ６０９において、コンテンツ提供装置３は、データベースシステム１に売買が成立した仮想視点コンテンツの情報を送信する。
【0058】
＜Ｓ６１０＞
Ｓ６１０において、データベースシステム１は、売買が成立した仮想視点コンテンツの販売ステータスを初期値に設定する。
Ｓ６１０において、データベースシステム１は、売買が成立した仮想視点コンテンツの販売ステータスを初期値に設定する。
【0059】
＜Ｓ６１１＞
Ｓ６１１において、コンテンツ提供装置３は、ブロックチェーンシステム２に購入者のユーザＩＤを送信する。
Ｓ６１１において、コンテンツ提供装置３は、ブロックチェーンシステム２に購入者のユーザＩＤを送信する。
【0060】
＜Ｓ６１２＞
Ｓ６１２において、ブロックチェーンシステム２は、Ｓ６０９で受信したユーザＩＤを現在の所有者としてトランザクションを記録する。
Ｓ６１２において、ブロックチェーンシステム２は、Ｓ６０９で受信したユーザＩＤを現在の所有者としてトランザクションを記録する。
【0061】
上記処理により、ユーザが仮想視点コンテンツを購入した際に、データベースシステム１の販売ステータスを更新し、ブロックチェーンシステム２に新たなトランザクションを記録することができる。
【0062】
図７は、Ｓ６０６において、コンテンツ表示装置４に表示される仮想視点コンテンツの購入画面を示す図である。本実施形態では、複数の仮想視点コンテンツをまとめて１つのコンテンツとして販売するがこれに限定されず、１つの仮想視点コンテンツを販売してもよい。購入画面には、例えば、登録されたコンテンツの名前、仮想視点コンテンツが登録された登録日、コンテンツに含まれるデータ種別の情報が表示される。また、仮想視点コンテンツが特定のスポーツの特定の試合に関する仮想視点コンテンツの場合は、試合日を表示する。例えば、バスケットボールのリーグ開幕戦を撮影した画像に基づいて作成された前景形状モデルと前景骨格モデルであれば、リーグ開幕戦の日にちを試合日として表示する。データ種別を示すアイコン７００はコンテンツに前景骨格モデルが含まれることを示す。同様に、アイコン７１０は前景形状モデルが含まれることを示す。さらに、アイコン７２０は背景形状モデル、アイコン７３０は背景テクスチャ画像が含まれることを示す。つまり、Ｃｏｎｔｅｎｔ ｎａｍｅ１のコンテンツにはキャラクターの前景骨格モデルと前景形状モデルが含まれ、Ｃｏｎｔｅｎｔ ｎａｍｅ２には背景形状モデルと背景テクスチャ画像が含まれることを示す。そして、Ｃｏｎｔｅｎｔ ｎａｍｅ３にはキャラクターの前景骨格モデルと前景形状モデル、背景形状モデルと背景テクスチャ画像が含まれることを示す。なお、複数の仮想視点コンテンツがセットとして販売されているが、前景形状モデルと前景骨格モデルが示すキャラクターは同一のキャラクターであり、背景形状モデルと背景テクスチャ画像が示す背景モデルも同一の３次元形状オブジェクトである。ＮＦＴが付与された仮想視点コンテンツである場合、残りのコンテンツ数やコンテンツの総数も表示する。なお、各コンテンツにおけるコンテンツの総数は、各コンテンツに含まれる仮想視点コンテンツのＮＦＴの発行数に基づいて設定される。ユーザが購入したいコンテンツとデータ種別をＧＵＩで選択し、購入を決定すると、制御部１４３０から要求送信部１４４０に購入要求と購入情報を送信する。購入情報は選択したコンテンツに含まれる仮想視点コンテンツのコンテンツＩＤとする。
【0063】
なお、ユーザが各アイコンを選択することにより、各アイコンに対応する仮想視点コンテンツの詳細情報を別途表示してもよい。例えば、アイコン７００を選択した場合、アイコン７００に対応する前景骨格モデルのキャラクターの名称、前景骨格モデルの作成者の名称などである。また、仮想視点コンテンツのコンテンツデータに基づいて生成される簡易的な情報を表示してもよい。具体的には、前景骨格モデルが２０秒間の動きを示す情報である場合は、５秒間の動きを示すボーンモデルの映像を作成し表示してもよい。このようにすることにより、ユーザが販売されているコンテンツに含まれる仮想視点コンテンツの詳細を容易に把握することができる。
【0064】
【0065】
＜Ｓ８００＞
Ｓ８００において、コンテンツ提供装置３は、データベースシステム１から受信した仮想視点コンテンツのコンテンツデータとメタデータから、ユーザの所有する仮想視点コンテンツを示す画像を生成し、コンテンツ表示装置４に送信する。具体的には、仮想視点コンテンツのデータ種別を示すアイコンと仮想視点コンテンツの名称を含む画像を作成し、送信する。
Ｓ８００において、コンテンツ提供装置３は、データベースシステム１から受信した仮想視点コンテンツのコンテンツデータとメタデータから、ユーザの所有する仮想視点コンテンツを示す画像を生成し、コンテンツ表示装置４に送信する。具体的には、仮想視点コンテンツのデータ種別を示すアイコンと仮想視点コンテンツの名称を含む画像を作成し、送信する。
【0066】
＜Ｓ８０１＞
Ｓ８０１において、コンテンツ表示装置４は、受信した仮想視点コンテンツを示す画像を表示することにより、ユーザが所有する仮想視点コンテンツのリストを表示する。詳細は図９にて説明する。
Ｓ８０１において、コンテンツ表示装置４は、受信した仮想視点コンテンツを示す画像を表示することにより、ユーザが所有する仮想視点コンテンツのリストを表示する。詳細は図９にて説明する。
【0067】
＜Ｓ８０２＞
Ｓ８０２において、コンテンツ表示装置４は、ユーザ操作に基づいて、仮想視点画像の生成に用いる仮想視点コンテンツを選択する。ユーザは、所有する仮想視点コンテンツを示す画像をそれぞれ選択することにより、仮想視点画像の生成に用いる仮想視点コンテンツを選択することができる。このとき、各仮想視点コンテンツのデータ種別に応じて、仮想視点コンテンツの選択に制限を設ける。例えば、選択できる仮想視点コンテンツの個数やデータ種別である。具体的には、仮想視点画像に表示されるキャラクターが一つになるように前景形状モデルと前景骨格モデルが選択できる。また、仮想視点画像に表示される背景モデルが一つになるように背景形状モデルと背景テクスチャ画像が選択できる。さらに、ユーザ操作に基づいて、仮想視点画像を生成するための仮想視点情報を設定する。仮想視点情報は、仮想カメラの位置と向きを示す情報である。本実施形態では、ユーザ操作を容易にするために、選択された仮想視点コンテンツに応じて仮想視点情報を設定する。仮想視点情報の設定に関する詳細は図９にて説明する。
Ｓ８０２において、コンテンツ表示装置４は、ユーザ操作に基づいて、仮想視点画像の生成に用いる仮想視点コンテンツを選択する。ユーザは、所有する仮想視点コンテンツを示す画像をそれぞれ選択することにより、仮想視点画像の生成に用いる仮想視点コンテンツを選択することができる。このとき、各仮想視点コンテンツのデータ種別に応じて、仮想視点コンテンツの選択に制限を設ける。例えば、選択できる仮想視点コンテンツの個数やデータ種別である。具体的には、仮想視点画像に表示されるキャラクターが一つになるように前景形状モデルと前景骨格モデルが選択できる。また、仮想視点画像に表示される背景モデルが一つになるように背景形状モデルと背景テクスチャ画像が選択できる。さらに、ユーザ操作に基づいて、仮想視点画像を生成するための仮想視点情報を設定する。仮想視点情報は、仮想カメラの位置と向きを示す情報である。本実施形態では、ユーザ操作を容易にするために、選択された仮想視点コンテンツに応じて仮想視点情報を設定する。仮想視点情報の設定に関する詳細は図９にて説明する。
【0068】
＜Ｓ８０３＞
Ｓ８０３において、コンテンツ表示装置４は、Ｓ８０２にて選択された仮想視点コンテンツを示す情報と仮想視点情報をコンテンツ提供装置３に送信する。
Ｓ８０３において、コンテンツ表示装置４は、Ｓ８０２にて選択された仮想視点コンテンツを示す情報と仮想視点情報をコンテンツ提供装置３に送信する。
【0069】
＜Ｓ８０４＞
Ｓ８０４において、コンテンツ提供装置３は、選択された仮想視点コンテンツと設定された仮想視点情報に基づいて仮想視点画像を生成する。具体的には、Ｓ５０２において取得した仮想視点コンテンツのコンテンツデータのうち、選択された仮想視点コンテンツのコンテンツデータを仮想空間上に配置し、設定された仮想視点情報に基づいて仮想視点画像を生成する。
Ｓ８０４において、コンテンツ提供装置３は、選択された仮想視点コンテンツと設定された仮想視点情報に基づいて仮想視点画像を生成する。具体的には、Ｓ５０２において取得した仮想視点コンテンツのコンテンツデータのうち、選択された仮想視点コンテンツのコンテンツデータを仮想空間上に配置し、設定された仮想視点情報に基づいて仮想視点画像を生成する。
【0070】
＜Ｓ８０５＞
Ｓ８０５において、コンテンツ提供装置３は、Ｓ８０４で作成した仮想視点画像をコンテンツ表示装置４に送信する。なお、コンテンツ表示装置４は受信した仮想視点画像を表示する。詳細は図９にて説明する。
Ｓ８０５において、コンテンツ提供装置３は、Ｓ８０４で作成した仮想視点画像をコンテンツ表示装置４に送信する。なお、コンテンツ表示装置４は受信した仮想視点画像を表示する。詳細は図９にて説明する。
【0071】
上記処理により、ユーザは自身の所有する仮想視点コンテンツを選択して、選択した仮想視点コンテンツを用いて生成された仮想視点画像を視聴できる。
【0072】
図９は、ユーザが仮想視点画像を生成するための操作画面を示す図である。仮想視点画像生成画面９００は、レンダリング画像表示領域９０１と仮想視点コンテンツ選択ＧＵＩ９０２で構成される。レンダリング画像表示領域９０１は、ユーザが選択した仮想視点コンテンツに基づいて作成された仮想視点画像を表示する。仮想視点コンテンツ選択ＧＵＩ９０２は、ユーザの所有する仮想視点コンテンツに対応するボタンを表示する。本実施形態では、前景骨格モデルの表示を制御するボタン９１０、前景形状モデルの表示を制御するボタン９１１、背景形状モデルの表示を制御するボタン９１２、背景テクスチャ画像の表示を制御するボタン９１３で構成される。ユーザは、これらのボタンを押すことにより仮想視点画像の生成に用いる仮想視点コンテンツを選択することができる。本実施形態では、各仮想視点コンテンツに対応するアイコンを各ボタンとして表示する。また、選択されたボタンと選択されていないボタンは区別して表示される。例えば、選択したボタンの輝度や色彩を変更してもよいし、選択されたことを示すアイコンを重畳表示してもよい。さらには、選択されたボタンの周囲を強調表示してもよい。選択された仮想視点コンテンツを用いて生成された仮想視点画像はレンダリング画像表示領域９０１に表示される。また、仮想視点画像の生成に用いる仮想視点情報（仮想カメラの位置および向き）は、選択した仮想視点コンテンツに応じて操作できるものとする。具体的には、前景骨格モデルまたは前景形状モデルの何れかが選択された場合には、それらに対応する３次元形状オブジェクトを仮想視点画像の中心に捉えるように仮想カメラが操作できる。仮想空間上における３次元形状オブジェクトの重心位置が、仮想カメラの注視点位置に位置するように仮想カメラの位置と向きを制御する。例えば、ユーザは、レンダリング画像表示領域９０１に対してスライド操作やピンチイン・ピンチアウト操作等のタッチ操作を行うことにより、３次元形状オブジェクトを中心にした球面軌道または円周軌道上で仮想カメラを操作できる。なお、３次元形状オブジェクトが仮想視点画像の中心に維持していれば、仮想カメラの操作は球面軌道や円周軌道に限定されない。前景骨格モデルまたは前景形状モデルの何れかが選択されておらず、背景形状モデルが選択されている場合は、背景形状モデルの重心位置が仮想視点画像の中心に維持するように仮想カメラの位置と向きを変更できる。操作方法は、前景骨格モデルまたは前景形状モデルの何れかが選択された場合と同様である。背景テクスチャ画像のみが選択されている場合は、レンダリング画面表示領域９０１に背景テクスチャ画像が表示される。背景テクスチャ画像は２次元画像であるため、仮想視点の操作は受け付けない。したがって、ユーザは仮想視点コンテンツ選択ＧＵＩ９０２において自身の所有する仮想視点コンテンツを選択し、レンダリング画像表示領域９０１にタッチ操作を行うことで、所望の仮想視点画像を生成することができる。なお、仮想視点画像の生成に用いる仮想視点コンテンツには条件を設けてもよい。本実施形態では、背景形状モデルおよび背景テクスチャ画像は、それぞれ１つのみ選択可能とする。
【0073】
図１０，コンテンツ提供装置３が、選択された仮想視点コンテンツと仮想視点情報に基づいて仮想視点画像を生成する処理を示すフローチャートである。
【0074】
＜Ｓ１０００＞
Ｓ１０００において、コンテンツ提供装置３は、コンテンツ表示装置４にユーザが所有する仮想視点コンテンツを示す画像を送信する。コンテンツ表示装置４は、受信した仮想視点コンテンツを示す画像を一覧表示する。
Ｓ１０００において、コンテンツ提供装置３は、コンテンツ表示装置４にユーザが所有する仮想視点コンテンツを示す画像を送信する。コンテンツ表示装置４は、受信した仮想視点コンテンツを示す画像を一覧表示する。
【0075】
＜Ｓ１００１＞
Ｓ１０００において、コンテンツ提供装置３は、コンテンツ表示装置４から仮想視点コンテンツの選択情報を取得する。仮想視点コンテンツの選択情報は、ユーザによってどの仮想視点コンテンツが選択されたかを示す情報である。選択情報を受信しない場合は、選択情報を受信するまで待機する。
Ｓ１０００において、コンテンツ提供装置３は、コンテンツ表示装置４から仮想視点コンテンツの選択情報を取得する。仮想視点コンテンツの選択情報は、ユーザによってどの仮想視点コンテンツが選択されたかを示す情報である。選択情報を受信しない場合は、選択情報を受信するまで待機する。
【0076】
＜Ｓ１００２＞
Ｓ１００２において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から前景骨格モデルまたは前景形状モデルが選択されたか判定する。前景骨格モデルまたは前景形状モデルが選択されている場合は、Ｓ１００３に進む。前景骨格モデルまたは前景形状モデルが選択されていない場合は、Ｓ１００４に進む。
Ｓ１００２において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から前景骨格モデルまたは前景形状モデルが選択されたか判定する。前景骨格モデルまたは前景形状モデルが選択されている場合は、Ｓ１００３に進む。前景骨格モデルまたは前景形状モデルが選択されていない場合は、Ｓ１００４に進む。
【0077】
＜Ｓ１００３＞
Ｓ１００３において、コンテンツ提供装置３は、選択された前景骨格モデルまたは前景形状モデルを仮想空間上に配置し、仮想カメラの注視点位置を前景骨格モデルまたは前景形状モデルの重心位置になるように仮想視点情報を設定する。なお、前景骨格モデルまたは前景形状モデルに向きが存在する場合は、仮想カメラは前景骨格モデルまたは前景形状モデルの正面に位置するように設定される。
Ｓ１００３において、コンテンツ提供装置３は、選択された前景骨格モデルまたは前景形状モデルを仮想空間上に配置し、仮想カメラの注視点位置を前景骨格モデルまたは前景形状モデルの重心位置になるように仮想視点情報を設定する。なお、前景骨格モデルまたは前景形状モデルに向きが存在する場合は、仮想カメラは前景骨格モデルまたは前景形状モデルの正面に位置するように設定される。
【0078】
＜Ｓ１００４＞
Ｓ１００４において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から背景形状モデルが選択されたか判定する。背景形状モデルが選択されている場合は、Ｓ１００５に進む。背景形状モデルが選択されていない場合は、Ｓ１０１０に進む。
Ｓ１００４において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から背景形状モデルが選択されたか判定する。背景形状モデルが選択されている場合は、Ｓ１００５に進む。背景形状モデルが選択されていない場合は、Ｓ１０１０に進む。
【0079】
＜Ｓ１００５＞
Ｓ１００５において、コンテンツ提供装置３は、選択された背景形状モデルを仮想空間上に配置し、仮想カメラの注視点位置を背景形状モデルの重心位置になるように仮想視点情報を設定する。なお、背景形状モデルに向きが存在する場合は、仮想カメラは背景形状モデルの正面に位置するように設定される。
Ｓ１００５において、コンテンツ提供装置３は、選択された背景形状モデルを仮想空間上に配置し、仮想カメラの注視点位置を背景形状モデルの重心位置になるように仮想視点情報を設定する。なお、背景形状モデルに向きが存在する場合は、仮想カメラは背景形状モデルの正面に位置するように設定される。
【0080】
＜Ｓ１００６＞
Ｓ１００６において、コンテンツ提供装置３は、選択された仮想視点コンテンツと仮想視点情報に基づいて仮想視点画像を生成する。下記、選択された仮想視点コンテンツによって生成される仮想視点画像を説明する。
Ｓ１００６において、コンテンツ提供装置３は、選択された仮想視点コンテンツと仮想視点情報に基づいて仮想視点画像を生成する。下記、選択された仮想視点コンテンツによって生成される仮想視点画像を説明する。
【0081】
ユーザにより、前景骨格モデルのみが選択された場合は、前景骨格モデルに既存のＣＧレンダリング方法を用いることで仮想視点画像を生成する。なお、前景骨格モデルはキャラクターの動きを表す情報である。そのため、予め大きさの異なるボーンモデルをいくつか生成しておき、前景骨格モデルのキャラクターの体型に近いボーンモデルに動き情報を適用させる。したがって、ユーザが前景骨格モデルを選択した際に生成される仮想視点画像は、ボーンモデルに前景骨格モデルの動き情報を適用させた画像である。これにより、ユーザは前景骨格モデルに基づいた関節位置や関節の接続関係をＣＧ表示した結果を視聴できる。
【0082】
ユーザにより、前景形状モデルのみが選択された場合は、前景形状モデルに既存のＣＧレンダリング方法を用いることで仮想視点画像を生成する。これにより、ユーザは前景形状モデルをポリゴンやワイヤフレーム方法のようなＣＧ表示した結果を視聴できる。
【0083】
ユーザにより、同じキャラクターに対応する前景骨格モデルと前景形状モデルが選択された場合は、前景骨格モデルの関節位置や角度情報を用いて前景形状モデルを変形し、既存のＣＧレンダリング方法を用いて仮想視点画像を生成する。これにより、ユーザは前景形状モデルに動きを付けたアニメーションを視聴できる。
【0084】
ユーザにより、背景形状モデルのみが選択された場合は、背景形状モデルをポリゴンやワイヤフレーム方式でレンダリングし、仮想視点画像を生成する。これにより、ユーザは背景形状モデルをＣＧ表示した結果を視聴できる。
【0085】
ユーザにより、同じ背景モデルに対応する背景形状モデルと背景テクスチャ画像が選択された場合は、背景形状モデルに背景テクスチャ画像をテクスチャマッピング手法によりレンダリングすることで仮想視点画像を生成する。これにより、ユーザは背景形状モデルに背景テクスチャ画像を張り付けた表示結果を視聴できる。
【0086】
ユーザにより、同じキャラクターの前景骨格モデルと前景形状モデル、同じ背景モデルに対応する背景形状モデルと背景テクスチャ画像が選択された場合、それぞれを組み合わせた仮想視点画像を生成する。具体的には、背景形状モデルに背景テクスチャ画像をマッピングした背景モデルを仮想空間上に配置し、前景形状モデルに前景骨格モデルによるアニメーションを付けたキャラクターを組み合わせて仮想視点画像を生成する。キャラクターを仮想空間上のどこに配置するかについては、背景モデル毎に異なり、予め背景形状モデルに規定されているものとする。これにより、ユーザは背景モデルが配置された仮想空間内で動くキャラクターをＣＧ表示した画像を視聴できる。なお、本実施形態では、背景形状モデルにキャラクターを配置する位置が設定されているものとしたが、これに限定されない。ユーザ操作によりキャラクターを配置する位置を設定できるようにしてもよい。その場合、キャラクターを配置する仮想空間上の位置やキャラクターの向きを示す配置情報をコンテンツ提供装置３に送信する。
【0087】
＜Ｓ１００７＞
Ｓ１００７において、コンテンツ提供装置３は、Ｓ１００６にて生成した仮想視点画像をコンテンツ表示装置４に送信する。
Ｓ１００７において、コンテンツ提供装置３は、Ｓ１００６にて生成した仮想視点画像をコンテンツ表示装置４に送信する。
【0088】
＜Ｓ１００８＞
Ｓ１００８において、コンテンツ提供装置３は、コンテンツ表示装置４から仮想カメラを指定する仮想視点情報を受信したか判定する。つまり、Ｓ１００１にて受信した選択情報に前景骨格モデル、前景形状モデル、背景骨格モデルのいずれかが含まれている場合、コンテンツ表示装置４からユーザによる仮想カメラの操作情報を受け付けることになる。言い換えれば、３次元形状オブジェクトを仮想空間上に配置する仮想視点コンテンツが選択された場合には、ユーザによる仮想カメラの操作を受け付けることになる。仮想カメラの操作情報を受信した場合はＳ１００９に進み、受信しない場合は本処理を終了する。なお、これに限定されず、受信しない場合は、Ｓ１００１に進むようにして本処理をループさせるようにしてもよい。
Ｓ１００８において、コンテンツ提供装置３は、コンテンツ表示装置４から仮想カメラを指定する仮想視点情報を受信したか判定する。つまり、Ｓ１００１にて受信した選択情報に前景骨格モデル、前景形状モデル、背景骨格モデルのいずれかが含まれている場合、コンテンツ表示装置４からユーザによる仮想カメラの操作情報を受け付けることになる。言い換えれば、３次元形状オブジェクトを仮想空間上に配置する仮想視点コンテンツが選択された場合には、ユーザによる仮想カメラの操作を受け付けることになる。仮想カメラの操作情報を受信した場合はＳ１００９に進み、受信しない場合は本処理を終了する。なお、これに限定されず、受信しない場合は、Ｓ１００１に進むようにして本処理をループさせるようにしてもよい。
【0089】
＜Ｓ１００９＞
Ｓ１００９において、コンテンツ提供装置３は、受信した操作情報を基に仮想視点情報を更新する。なお、仮想視点操作の更新には制限が設けられており、受信した操作情報をそのまま仮想視点情報に反映せず、選択した仮想視点コンテンツを仮想視点画像の中心に位置するように操作情報を修正して仮想視点情報を更新する。例えば、３次元形状オブジェクトを中心にした球面軌道または円周軌道上に仮想カメラが位置するように操作情報を修正して仮想視点情報を更新する。その後、Ｓ１００６に進む。
Ｓ１００９において、コンテンツ提供装置３は、受信した操作情報を基に仮想視点情報を更新する。なお、仮想視点操作の更新には制限が設けられており、受信した操作情報をそのまま仮想視点情報に反映せず、選択した仮想視点コンテンツを仮想視点画像の中心に位置するように操作情報を修正して仮想視点情報を更新する。例えば、３次元形状オブジェクトを中心にした球面軌道または円周軌道上に仮想カメラが位置するように操作情報を修正して仮想視点情報を更新する。その後、Ｓ１００６に進む。
【0090】
＜Ｓ１０１０＞
Ｓ１０１０において、コンテンツ提供装置３は、選択された背景テクスチャ画像をコンテンツ表示装置４に送信する。本実施形態では、仮想視点コンテンツのデータ種別を前景骨格モデル、前景形状モデル、背景形状モデル、背景テクスチャ画像としているため、Ｓ１００２およびＳ１００４の処理により、選択情報に背景テクスチャ画像のみが含まれていると判定できる。背景テクスチャ画像は、２次元の画像であるため仮想視点を設定する必要はなく、そのままコンテンツ表示装置４に送信する。
Ｓ１０１０において、コンテンツ提供装置３は、選択された背景テクスチャ画像をコンテンツ表示装置４に送信する。本実施形態では、仮想視点コンテンツのデータ種別を前景骨格モデル、前景形状モデル、背景形状モデル、背景テクスチャ画像としているため、Ｓ１００２およびＳ１００４の処理により、選択情報に背景テクスチャ画像のみが含まれていると判定できる。背景テクスチャ画像は、２次元の画像であるため仮想視点を設定する必要はなく、そのままコンテンツ表示装置４に送信する。
【0091】
上記処理により、ユーザは自身の所有する仮想視点コンテンツの中から特定の仮想視点コンテンツを選択し、選択した仮想視点コンテンツを用いて仮想視点画像を生成する。このようにすることにより、ユーザは仮想視点コンテンツを所有するだけでなく、所有する仮想視点コンテンツを組み合わせて所望する仮想視点画像を生成することができる。
【0092】
なお、仮想視点画像の生成に用いるキャラクターを一人として説明したがこれに限定されない。複数のキャラクターを表示する仮想視点画像を生成してもよい。その場合、ユーザは各キャラクターの設置位置と向きを設定できる。さらに、仮想視点画像の中心に位置させるキャラクターを選択することにより、仮想視点の位置および視線方向を決定する。具体的には、選択したキャラクターを中心に、仮想視点の位置および視線方向を設定できる。
【0093】
本実施形態により、予め作られた前景骨格モデルと前景形状モデル、背景形状モデル、背景テクスチャ画像をデータベースシステムに保存およびブロックチェーンに記録できる。さらに、ブロックチェーンの記録からユーザの仮想視点コンテンツの所有状況を確認し、所有状況に基づき表示方法を制御することにより、コンテンツ提供装置３はコンテンツ制作者の権利を守りつつ、コンテンツ所有者にコンテンツを表示できる。また、コンテンツ所有者は、自身の所有する仮想視点コンテンツを組み合わせることにより、所望の仮想視点画像を生成することができる。
【0094】
本実施形態では、前景形状モデルのメッシュには色情報が含まれていない場合を記載したが、これに限定されず、コンテンツ制作者が予め色情報を設定してもよい。また、コンテンツ所有者が色情報を設定してもよい。
【0095】
本実施形態では、ブロックチェーンにデータベース上での仮想視点コンテンツのコンテンツデータに紐づけられたコンテンツＩＤを記録したが、これに限定されない。仮想視点コンテンツのメタデータの場所を示す情報（ＵＲＩ）を記録してもよい。その場合、メタデータ中にコンテンツＩＤが保存される。
【0096】
（実施形態２）
実施形態１では、仮想視点コンテンツが既存のＣＧツールを用いて作成される場合において説明した。本実施形態では、被写体を複数カメラで撮影する多視点カメラ撮影システムと仮想視点コンテンツ生成システムで仮想視点コンテンツを生成する。本実施形態における仮想視点画像を生成するために用いる仮想視点コンテンツにおいて、前景形状モデルと前景骨格モデルは多視点カメラによって撮影した被写体の画像から生成されるものとする。また、前景形状モデルに張り付ける前景テクスチャ画像も仮想視点コンテンツに含む。背景形状モデルと背景テクスチャ画像も実画像に基づいて作成されたものとするが、これに限定されず実施形態１と同様にＣＧツールを用いて作成されてもよい。
実施形態１では、仮想視点コンテンツが既存のＣＧツールを用いて作成される場合において説明した。本実施形態では、被写体を複数カメラで撮影する多視点カメラ撮影システムと仮想視点コンテンツ生成システムで仮想視点コンテンツを生成する。本実施形態における仮想視点画像を生成するために用いる仮想視点コンテンツにおいて、前景形状モデルと前景骨格モデルは多視点カメラによって撮影した被写体の画像から生成されるものとする。また、前景形状モデルに張り付ける前景テクスチャ画像も仮想視点コンテンツに含む。背景形状モデルと背景テクスチャ画像も実画像に基づいて作成されたものとするが、これに限定されず実施形態１と同様にＣＧツールを用いて作成されてもよい。
【0097】
［システム構成］
第２実施形態に関わる画像処理システムについて図面を参照しながら説明する。
第２実施形態に関わる画像処理システムについて図面を参照しながら説明する。
【0098】
【0099】
多視点カメラ撮影システム５は撮像装置と画像処理装置で構成される。撮像装置は、異なる方向から被写体を撮影する複数のカメラで構成される。各カメラは、カメラを識別するための識別番号を持つ。複数カメラは、被写体を取り囲むようにそれぞれ異なる位置・異なる方向に設置される。なお、カメラは被写体の全周にわたって設置されなくてもよく、設置場所の制限等によっては一部の方向にのみ設置されてもよい。カメラの数は限定されず、例えばサッカーやラグビーを撮影する場合、競技場の周囲に数十～数百台程度のカメラが設置されてもよい。望遠カメラと広角カメラなど画角が異なるカメラが設置されてもよい。複数カメラは現実世界の１つの時刻情報で同期され、撮像した映像には毎フレームの画像に撮像時刻情報が付与される。画像処理装置は、カメラの撮像画像から前景画像を生成する。前景画像とは、撮像画像から、被写体領域（前景領域）を抽出することにより生成される画像である。前景領域として抽出される被写体は、一般的に、時系列に撮像を行った場合において動きのある（その位置や形が変化し得る）動的被写体（動体）を指す。動的被写体の例としては、競技において、それが行われるフィールド内にいる選手や審判などの人物、球技であれば人物に加えボールなどもあげられる。また、コンサートやエンタテイメントにおいては、歌手、演奏者、パフォーマー、司会者などが被写体である。なお、本実施形態では、撮像装置が１つのカメラと１つの画像処理装置を有する、すなわち１つのカメラに１つの画像処理装置が設けられているとして説明した。１つの画像処理装置に複数のカメラが接続されてもよい。さらに、画像処理装置は、カメラの異常を検知する手段を併せ持ち、異常の有無を知らせる異常情報を、形状推定装置２へ送る。カメラの異常とは、例えば、熱や振動など一般的なセンサの値を評価することで検知できる。
【0100】
また、画像処理装置は、カメラの位置、姿勢（向き、撮像方向）、焦点距離、光学中心、歪み、Ｆ値などの状態情報を保持する。カメラの位置、姿勢（向き、撮像方向）は、画像処理装置により制御される。以下では、カメラの状態をカメラパラメータとして説明を行うが、そのパラメータには、雲台等の別の装置により制御されるパラメータが含まれていてもよい。カメラの位置、姿勢（向き、撮像方向）に関するカメラパラメータは、いわゆる外部パラメータである。カメラの焦点距離、画像中心、歪みに関するパラメータは、いわゆる内部パラメータである。カメラの位置と姿勢は、３次元座標空間の原点とＸｗ軸、Ｙｗ軸、Ｚｗで表現された１つの世界座標系で表現される。また、カメラの撮像画像におけるカメラ画像座標系（以下、画像座標系という）は、２次元座標原点と、Ｘｉ軸、Ｙｉ軸で表される。
【0101】
仮想視点コンテンツ生成システム６は、多視点カメラ撮影システム５の撮影装置で写した被写体の３次元形状を推定する。そのために、多視点カメラ撮影システム５の画像処理装置から各カメラの前景画像とカメラパラメータを取得する。もしくは、各カメラのカメラパラメータを算出するようにしてもよい。この場合、例えば、仮想視点コンテンツ生成システム６は、あらかじめ各カメラで撮像したカメラ校正用のマーカ画像（例えば、チェッカーボード）から特徴点を抽出し対応付ける。そして、対応点を各カメラに投影した時の誤差が最小になるように最適化しながら、各カメラを校正することでカメラパラメータを算出する。校正方法は既存のいかなる方法であってもよい。なお、カメラパラメータは、撮像画像に同期して取得されてもよいし、事前準備の段階で取得されてもよいし、必要に応じて撮像画像に非同期で取得されてもよい。仮想視点コンテンツ生成システム６は、前景画像とカメラパラメータに基づいて被写体の前景形状モデルを推定する。前景形状モデルは、例えば、視体積交差法（ｓｈａｐｅ ｆｒｏｍ ｓｉｌｈｏｕｅｔｔｅ）により推定する。この処理の結果、被写体の前景形状モデルを表現した点群情報を得る。各点の座標は、例えば、カメラの外部パラメータの座標系と同じ座標系（世界座標系）で表現する。さらに、得られた点群を隣接点の有無に基づく一般的な３次元ラベリング手法で処理することで、被写体毎の点群情報に分割する。各点にはラベリング結果である被写体ＩＤが付与され、該ＩＤを指定することにより、被写体毎の点群情報が得られる。さらに、得られた点群情報に対して、Ｍａｒｃｈｉｎｇ Ｃｕｂｅｓ法をかけることで、点群情報を三角パッチの集合として表現できる。そして、各三角パッチの法線と各カメラの視線ベクトルを基に三角パッチの最も正面らしい位置にあるカメラを選択し、三角パッチを射影することでテクスチャ情報が得られる。このようにすることで、被写体毎に三角パッチで表現された前景形状モデルと前景テクスチャ画像が生成できる。形状推定方法はこれ以外の一般的な方法を用いてもよい。前景骨格モデルの推定は骨格モデルに対応した標準形状モデルを各カメラに射影した画像上の領域と前景領域とが一致するように変形させ、最も一致した際の骨格情報を前景骨格モデルとして推定する。前景骨格モデルの推定方法はこれに限定されず、２次元画像上で２次元の骨格情報を推定し、各カメラとの対応に基づいて、３次元の骨格モデルを推定する方法など、種々の方法を用いてもよい。運動情報には、例えば、ピッチャーの腕の速度や、サッカー選手の足の速度、選手の走行距離などの情報が挙げられる。被写体の走行距離は各フレームの骨格モデルにおける関節の３次元位置を用いて同じ被写体であることを判定し、被写体位置を追跡し続けることで算出することが可能である。仮想視点コンテンツ生成システム６で生成される仮想視点コンテンツは、コンテンツ提供装置３のデータ取得部１３３０に送信される。その後、データ制御部１３４０を介して登録部１３２０に送信し、データベースシステム１に保存およびブロックチェーンシステム２に記録される。
【0102】
【0103】
＜Ｓ１２０００＞
Ｓ１２０００において、多視点カメラ撮影システム５は、全カメラから撮影した画像から前景画像を抽出する。
Ｓ１２０００において、多視点カメラ撮影システム５は、全カメラから撮影した画像から前景画像を抽出する。
【0104】
＜Ｓ１２００１＞
Ｓ１２００１において、多視点カメラ撮影システム５は、Ｓ１２０００にて抽出した全カメラの前景画像を仮想視点コンテンツ生成システム６に送信する。
Ｓ１２００１において、多視点カメラ撮影システム５は、Ｓ１２０００にて抽出した全カメラの前景画像を仮想視点コンテンツ生成システム６に送信する。
【0105】
＜Ｓ１２００２＞
Ｓ１２００２において、仮想視点コンテンツ生成システム６は、Ｓ１２００１にて受信した前景画像に基づいて被写体の前景形状モデルと前景骨格モデル、前景テクスチャ画像を生成する。
Ｓ１２００２において、仮想視点コンテンツ生成システム６は、Ｓ１２００１にて受信した前景画像に基づいて被写体の前景形状モデルと前景骨格モデル、前景テクスチャ画像を生成する。
【0106】
＜Ｓ１２００３＞
Ｓ１２００３において、仮想視点コンテンツ生成システム６は、生成した前景形状モデルと前景骨格モデル、前景テクスチャ画像を、コンテンツ提供装置３を介してデータベースシステム１に送信する。なお、コンテンツ提供装置３を介さずデータベースシステム１に直接送信してもよい。
Ｓ１２００３において、仮想視点コンテンツ生成システム６は、生成した前景形状モデルと前景骨格モデル、前景テクスチャ画像を、コンテンツ提供装置３を介してデータベースシステム１に送信する。なお、コンテンツ提供装置３を介さずデータベースシステム１に直接送信してもよい。
【0107】
本処理により、多視点カメラ撮影システム５および仮想視点コンテンツ生成システム６で生成された仮想視点コンテンツをデータベースシステム１に登録し、ブロックチェーンシステム２に記録することができる。
【0108】
図１３は、コンテンツ表示装置４に表示される仮想視点コンテンツの購入画面を示す図である。実施形態１と異なり、新たに多視点カメラ撮影システム５および仮想視点コンテンツ生成システム６より生成された仮想視点コンテンツのデータ種別を示すアイコンが表示される。つまり、実画像から生成された仮想視点コンテンツと既存のＣＧツールなどで作成された仮想視点コンテンツは異なるデータ種別の仮想視点コンテンツとして表示する。アイコン１３０００は実画像から生成された前景形状モデルが含まれることを示す。同様に、アイコン１３０１０は該前景形状モデルに貼られる前景テクスチャ画像が含まれることを示す。また、アイコン１３０２０は、Ｃｏｎｔｅｎｔ ｎａｍｅ５のコンテンツに被写体画像から推定した前景骨格モデルが含まれることを示す。
【0109】
図１４は、仮想視点画像を生成するための操作画面を示す図である。図９の操作画面に加えて、仮想視点コンテンツ選択ＧＵＩにボタン１４０１０、ボタン１４０１１、ボタン１４０１２が追加される。各ボタンは、実画像から生成された前景形状モデルの表示を制御するボタン１４０１０、実画像から生成された前景テクスチャ画像の表示を制御するボタン１４０１１、実画像から生成された前景骨格モデルの表示を制御する１４０１２である。また、上記ボタンを押すことによって、実画像から生成された前景形状モデルおよび実画像から生成された前景骨格モデルが選択された場合、レンダリング画像表示領域９０１に対してタッチ操作を行うことで仮想カメラを操作することができる。本実施形態では、前景形状モデルが選択されていなければ、前景テクスチャ画像は選択できないように制御される。
【0110】
図１５は、ユーザが所有する実画像から生成された仮想視点コンテンツを用いて仮想視点画像を生成する処理を示す図である。なお、Ｓ１０００～Ｓ１００５、Ｓ１００７～Ｓ１０１０は図１０と同様であるため省略する。
【0111】
＜Ｓ１５００＞
Ｓ１５００において、図１０のＳ１００６に加えて、ユーザが前景テクスチャ画像を選択した際の処理について記載する。なお、前景形状モデルが選択されていることを条件に、前景テクスチャ画像を選択できるものとする。ユーザにより、前景形状モデルと前景テクスチャ画像が選択された場合、前景形状モデルに前景テクスチャ画像をテクスチャマッピング手法によりレンダリングすることで仮想視点画像を生成する。これにより、ユーザは実画像から生成された被写体の仮想視点画像を生成できる。
Ｓ１５００において、図１０のＳ１００６に加えて、ユーザが前景テクスチャ画像を選択した際の処理について記載する。なお、前景形状モデルが選択されていることを条件に、前景テクスチャ画像を選択できるものとする。ユーザにより、前景形状モデルと前景テクスチャ画像が選択された場合、前景形状モデルに前景テクスチャ画像をテクスチャマッピング手法によりレンダリングすることで仮想視点画像を生成する。これにより、ユーザは実画像から生成された被写体の仮想視点画像を生成できる。
【0112】
本実施形態により、多視点カメラで撮影された多視点カメラ画像から生成された被写体の前景形状モデルと前景骨格モデル、前景テクスチャ画像を用いて、仮想視点画像を生成できる。言い換えれば、実画像から生成される仮想視点コンテンツを組み合わせて仮想視点画像を生成できる。
【0113】
（実施形態３）
実施形態１および実施形態２では、仮想視点コンテンツの位置が仮想視点画像の中心に位置するように仮想カメラの操作が制限された。しかしながら、複数のキャラクターを仮想空間上に配置する場合において、特定のキャラクターを中心に仮想カメラの位置と向きを決定すると選択した全てのキャラクターを仮想視点画像内に表示できないことがある。また、ユーザの所望する画角にてキャラクターを映す仮想視点画像を生成することができないことがある。本実施形態では、仮想視点画像を生成するための仮想カメラ情報に非代替性トークンを付与し、その所有者情報とユーザ情報に基づいて、仮想視点画像の表示に関わる処理を制御する方法について述べる。本実施形態における仮想視点コンテンツは、実施形態１および実施形態２の仮想視点コンテンツに加えて、仮想カメラ情報とする。仮想カメラ情報には仮想カメラの外部パラメータと内部パラメータ、コンテンツを特定する情報を含む。また、仮想カメラパス情報を仮想視点コンテンツに含んでもよい。仮想カメラパス情報は仮想カメラ情報に時刻情報を加えた情報であって、仮想カメラのカメラワークを表現できる。言い換えれば、仮想カメラパス情報は、仮想カメラの軌跡を表現できる。
実施形態１および実施形態２では、仮想視点コンテンツの位置が仮想視点画像の中心に位置するように仮想カメラの操作が制限された。しかしながら、複数のキャラクターを仮想空間上に配置する場合において、特定のキャラクターを中心に仮想カメラの位置と向きを決定すると選択した全てのキャラクターを仮想視点画像内に表示できないことがある。また、ユーザの所望する画角にてキャラクターを映す仮想視点画像を生成することができないことがある。本実施形態では、仮想視点画像を生成するための仮想カメラ情報に非代替性トークンを付与し、その所有者情報とユーザ情報に基づいて、仮想視点画像の表示に関わる処理を制御する方法について述べる。本実施形態における仮想視点コンテンツは、実施形態１および実施形態２の仮想視点コンテンツに加えて、仮想カメラ情報とする。仮想カメラ情報には仮想カメラの外部パラメータと内部パラメータ、コンテンツを特定する情報を含む。また、仮想カメラパス情報を仮想視点コンテンツに含んでもよい。仮想カメラパス情報は仮想カメラ情報に時刻情報を加えた情報であって、仮想カメラのカメラワークを表現できる。言い換えれば、仮想カメラパス情報は、仮想カメラの軌跡を表現できる。
【0114】
［システム構成］
実施形態３における画像処理システムは、図１１と同様であるため省略する。
実施形態３における画像処理システムは、図１１と同様であるため省略する。
【0115】
【0116】
＜Ｓ１６００＞
Ｓ１６００において、コンテンツ提供装置３は、仮想カメラ情報の仮想視点コンテンツを生成する。本実施形態では、仮想カメラ操作権と仮想カメラパスを仮想カメラ情報とする。仮想カメラ操作権は、視聴者が仮想カメラを操作しながら、自由な視点で仮想視点画像を視聴する権利である。ユーザが所有している仮想カメラ操作権を選択すると、実施形態１および実施形態２と異なり、制限なしに仮想カメラを操作することができる。仮想カメラ操作権のコンテンツデータとして、仮想カメラ操作権を示す画像または３次元形状オブジェクトを生成する。メタデータとして、制限なしに仮想カメラを自由に操作できる操作条件と発行数を生成する。例えば、操作条件にバスケットボールに関する仮想視点コンテンツと設定されている場合、バスケットボールに関する仮想視点コンテンツが選択されている場合のみ、仮想カメラの制限をなしにする。または、特定のキャラクターに関する仮想視点コンテンツに対して制限なしにしてもよいし、操作条件を設けなくてもよい。仮想カメラパスは、仮想カメラの位置と向きの軌跡である。ユーザが所有している仮想カメラパスを選択すると、設定された仮想カメラパス上を仮想カメラが移動する。または、仮想カメラパス上を仮想カメラが移動するように操作可能としてもよい。
Ｓ１６００において、コンテンツ提供装置３は、仮想カメラ情報の仮想視点コンテンツを生成する。本実施形態では、仮想カメラ操作権と仮想カメラパスを仮想カメラ情報とする。仮想カメラ操作権は、視聴者が仮想カメラを操作しながら、自由な視点で仮想視点画像を視聴する権利である。ユーザが所有している仮想カメラ操作権を選択すると、実施形態１および実施形態２と異なり、制限なしに仮想カメラを操作することができる。仮想カメラ操作権のコンテンツデータとして、仮想カメラ操作権を示す画像または３次元形状オブジェクトを生成する。メタデータとして、制限なしに仮想カメラを自由に操作できる操作条件と発行数を生成する。例えば、操作条件にバスケットボールに関する仮想視点コンテンツと設定されている場合、バスケットボールに関する仮想視点コンテンツが選択されている場合のみ、仮想カメラの制限をなしにする。または、特定のキャラクターに関する仮想視点コンテンツに対して制限なしにしてもよいし、操作条件を設けなくてもよい。仮想カメラパスは、仮想カメラの位置と向きの軌跡である。ユーザが所有している仮想カメラパスを選択すると、設定された仮想カメラパス上を仮想カメラが移動する。または、仮想カメラパス上を仮想カメラが移動するように操作可能としてもよい。
【0117】
図１７は、コンテンツ表示装置４に表示される仮想視点コンテンツの購入画面を示す図である。実施形態１および実施形態２と異なり、新たに仮想カメラ情報を示すアイコンが表示される。データ種別を示すアイコン１７０００はコンテンツに被写体の前景形状モデルが含まれることを示す。同様に、アイコン１７０１０は多視点カメラを構成する実カメラの画像が含まれることを示す。さらに、アイコン１７０２０は、コンテンツに仮想カメラ操作権が含まれることを示す。アイコン１７０３０は、コンテンツに仮想カメラパス情報が含まれることを示す。アイコン１７０４０は、コンテンツに仮想視点画像の視聴権が含まれることを示す。ユーザは該視聴権を購入することで、システムが定めた仮想カメラ情報で生成された仮想視点画像を視聴できる。ただし、仮想カメラを操作することはできない。また、ユーザは別の仮想カメラパスを購入することで、既に購入した前景形状モデルと前景画像から別の仮想カメラパス情報を用いて生成した仮想視点画像を視聴できる。この場合、ユーザはコンテンツリスト表示画面から仮想カメラパス情報を選択する。選択の際、例えば、同コンテンツのタイムコードを含む、仮想カメラパスの一覧をコンテンツ提供装置より取得することで、仮想カメラパス情報を選択する。そして、選択した仮想カメラパス情報を用いて仮想視点画像を生成し、表示することで、ユーザは他の仮想カメラパス情報を用いた仮想視点画像を視聴できる。視聴権を持つユーザ向けの画像を生成するために利用される仮想カメラ情報は、例えば、配信権限を持たせたユーザが操作した仮想カメラ情報とする。
【0118】
図１８は、仮想視点画像を生成するための操作画面を示す図である。図９の操作画面に加えて、仮想視点コンテンツ選択ＧＵＩにボタン１８０１０、ボタン１８０１１、ボタン１８０１２、ボタン１８０１３、ボタン１８０１４が追加される。各ボタンは、被写体の前景形状モデルの表示を制御するボタン１８０１０、実カメラの画像の表示を制御するボタン１８０１１で構成される。さらに、仮想視点の操作が可能であることを示すボタン１８０１２、仮想カメラパス情報を用いた仮想視点画像の表示を制御するボタン１８０１３、仮想視点画像の視聴権を有することを示すボタン１８０１４でも構成される。なお、仮想カメラ操作権に操作条件が設定されている場合、操作条件を満たす場合のみボタン１８０１２を押して選択することができる。
【0119】
図１９は、ユーザが所有する仮想カメラ情報を含む仮想視点コンテンツを用いて仮想視点画像を生成する処理を示す図である。なお、Ｓ１０００～Ｓ１００５、Ｓ１００７～Ｓ１０１０は図１０と同様、Ｓ１５００は図１５と同様であるため省略する。また、仮想カメラ操作権の操作条件は満たしているものとする。
【0120】
＜Ｓ１９００＞
Ｓ１９００において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から仮想カメラ操作権が選択されているか判定する。仮想カメラ操作権が選択されている場合は、Ｓ１９０１に進む。仮想カメラ操作権が選択されていない場合は、Ｓ１９０２に進む。
Ｓ１９００において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から仮想カメラ操作権が選択されているか判定する。仮想カメラ操作権が選択されている場合は、Ｓ１９０１に進む。仮想カメラ操作権が選択されていない場合は、Ｓ１９０２に進む。
【0121】
＜Ｓ１９０１＞
Ｓ１９０１において、コンテンツ提供装置３は、Ｓ１００８にて受信した仮想カメラの操作情報をそのまま仮想視点情報に反映する。このようにすることにより、実施形態１および実施形態２と異なり、ユーザが自由に仮想カメラを操作することができる。その後、Ｓ１５００に進む。
Ｓ１９０１において、コンテンツ提供装置３は、Ｓ１００８にて受信した仮想カメラの操作情報をそのまま仮想視点情報に反映する。このようにすることにより、実施形態１および実施形態２と異なり、ユーザが自由に仮想カメラを操作することができる。その後、Ｓ１５００に進む。
【0122】
＜Ｓ１９０２＞
Ｓ１９０２において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から仮想カメラパス情報が選択されているか判定する。仮想カメラパス情報が選択されている場合は、Ｓ１９０３に進む。仮想カメラパス情報が選択されていない場合は、Ｓ１９０４に進む。
Ｓ１９０２において、コンテンツ提供装置３は、Ｓ１００１にて受信した仮想視点コンテンツの選択情報から仮想カメラパス情報が選択されているか判定する。仮想カメラパス情報が選択されている場合は、Ｓ１９０３に進む。仮想カメラパス情報が選択されていない場合は、Ｓ１９０４に進む。
【0123】
＜Ｓ１９０３＞
Ｓ１９０３において、コンテンツ提供装置３は、仮想カメラパス情報に従って仮想視点情報を更新する。ただしこれに限定されず、仮想カメラパス上に沿って仮想カメラを操作できるようにしてもよい。その後、Ｓ１５００に進む。
Ｓ１９０３において、コンテンツ提供装置３は、仮想カメラパス情報に従って仮想視点情報を更新する。ただしこれに限定されず、仮想カメラパス上に沿って仮想カメラを操作できるようにしてもよい。その後、Ｓ１５００に進む。
【0124】
＜Ｓ１９０４＞
Ｓ１９０４において、コンテンツ提供装置３は、仮想視点コンテンツを仮想視点画像の中心に位置するように仮想カメラの操作を更新する。その後、Ｓ１５００に進む。
Ｓ１９０４において、コンテンツ提供装置３は、仮想視点コンテンツを仮想視点画像の中心に位置するように仮想カメラの操作を更新する。その後、Ｓ１５００に進む。
【0125】
上記処理により、ユーザが仮想カメラの操作権を所有する場合は、自由に仮想カメラを操作でき、所望の位置と向きから撮影した仮想視点画像を生成することができる。また、ユーザが仮想カメラパス情報を所有する場合は、予め設定された位置と向きに仮想カメラが設定され、仮想カメラの動きにあわせて仮想視点コンテンツを仮想空間上に配置することができる。
【0126】
本実施形態により、画像処理システムは仮想視点画像生成のためのコンテンツの作成者の権利を守りつつ、仮想カメラ情報の操作権と仮想カメラパス情報の所有者情報とシステムのユーザ情報に応じて、視聴者に自由な視点での仮想視点画像視聴環境を提供できる。また、仮想視点画像の視聴権の所有者情報とユーザ情報に応じて、視聴者に配信者が設定した仮想カメラ情報に基づく仮想視点画像視聴環境を提供できる。
【0127】
上記の実施形態では、仮想視点画像を生成するために用いる仮想視点コンテンツにＮＦＴを付与することを記載したが、これに限定されない。仮想視点コンテンツにＮＦＴを付与しない場合、データベースシステムに仮想視点コンテンツとその仮想視点コンテンツの所有者情報を対応付けて記憶してもよい。
【0128】
以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものでない。例えば、以上の実施形態１～４を適宜組み合わせてもよい。
【0129】
尚、本実施形態における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。
【0130】
尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。
【0131】
（構成１）第１ユーザのユーザ情報を取得する第１取得手段と、
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、前記第１ユーザを現所有者とする１以上の前記素材データと第２ユーザを現所有者とする１以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、前記第１ユーザが現所有者である前記素材データを示す情報を出力する第１出力手段と、
前記第１出力手段により出力された前記素材データを示す情報のうち、前記ユーザにより選択された前記素材データを示す情報を取得する第２取得手段と、
前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する出力手段と、
を有することを特徴とする装置。
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、前記第１ユーザを現所有者とする１以上の前記素材データと第２ユーザを現所有者とする１以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、前記第１ユーザが現所有者である前記素材データを示す情報を出力する第１出力手段と、
前記第１出力手段により出力された前記素材データを示す情報のうち、前記ユーザにより選択された前記素材データを示す情報を取得する第２取得手段と、
前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する出力手段と、
を有することを特徴とする装置。
【0132】
（構成２）前記素材データは、前記複数の撮像装置により撮像される被写体の形状モデルおよび骨格モデルの少なくとも何れかであることを特徴とする構成１に記載の装置。
【0133】
（構成３）前記形状モデルは、前記撮像装置により撮像される前記被写体の３次元形状のメッシュモデルであることを特徴とする構成２に記載の装置。
【0134】
（構成４）前記骨格モデルは、前記撮像装置により撮像される前記被写体の経時的な動きを示すボーンモデルであることを特徴とする構成２に記載の装置。
【0135】
（構成５）前記選択手段により選択される前記素材データが同一被写体の前記形状モデルおよび前記骨格モデルである場合、前記仮想視点画像は前記同一被写体の経時的な動きを示すメッシュモデルを含むことを特徴とする構成２に記載の装置。
【0136】
（構成６）前記素材データは、非代替性トークンが紐づけられていることを特徴とする構成１乃至５の何れか１項に記載の装置。
【0137】
（構成７）前記第２取得手段は、仮想視点画像を生成するための仮想視点の位置および仮想視点からの視線方向を示す仮想視点情報を取得し、
前記出力手段は、前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記仮想視点情報とに基づいて生成された仮想視点画像を出力することを特徴とする構成１乃至６の何れか１項に記載の装置。
前記出力手段は、前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記仮想視点情報とに基づいて生成された仮想視点画像を出力することを特徴とする構成１乃至６の何れか１項に記載の装置。
【0138】
（構成８）前記第２取得手段は、前記ユーザにより選択された前記素材データを配置する仮想空間上の位置と向きを示す配置情報を取得し、
前記出力手段は、前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記配置情報とに基づいて生成された仮想視点画像を出力することを特徴とする構成１乃至７の何れか１項に記載の装置。
前記出力手段は、前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データと前記配置情報とに基づいて生成された仮想視点画像を出力することを特徴とする構成１乃至７の何れか１項に記載の装置。
【0139】
（構成９）複数の撮像装置により撮像された複数の撮像画像に基づいて生成された素材データであって、ユーザが所有する複数の素材データのうち、ユーザ操作に基づいて特定の素材データを選択する選択手段と、
前記選択手段により選択された前記特定の素材データを示す情報を出力する出力手段と、
前記選択された前記特定の素材データに基づいて生成された仮想視点画像を表示する制御を行う表示制御手段と
を有することを特徴とする装置。
前記選択手段により選択された前記特定の素材データを示す情報を出力する出力手段と、
前記選択された前記特定の素材データに基づいて生成された仮想視点画像を表示する制御を行う表示制御手段と
を有することを特徴とする装置。
【0140】
（構成１０）更に、仮想視点画像に対応する仮想カメラを操作する操作手段を有し、
前記仮想視点画像は、前記仮想カメラの位置および向きと前記選択された特定の素材データとに基づいて生成されることを特徴とする構成９に記載の装置。
前記仮想視点画像は、前記仮想カメラの位置および向きと前記選択された特定の素材データとに基づいて生成されることを特徴とする構成９に記載の装置。
【0141】
（構成１１）前記素材データは、仮想カメラの操作権であって、
前記操作手段は、前記選択手段により前記仮想カメラの操作権が選択されてない場合、前記選択された特定の素材データが仮想視点画像の中心に位置するように前記仮想カメラの位置および向きの操作を制限され、前記選択手段により前記仮想カメラの操作権が選択されている場合、前記制限なしに仮想カメラの位置および向きを操作できることを特徴とする構成１０に記載の装置。
前記操作手段は、前記選択手段により前記仮想カメラの操作権が選択されてない場合、前記選択された特定の素材データが仮想視点画像の中心に位置するように前記仮想カメラの位置および向きの操作を制限され、前記選択手段により前記仮想カメラの操作権が選択されている場合、前記制限なしに仮想カメラの位置および向きを操作できることを特徴とする構成１０に記載の装置。
【0142】
（構成１２）前記素材データは、仮想カメラパスであって、
前記操作手段は、前記選択手段により前記仮想カメラパスが選択されてない場合、前記選択された特定の素材データが仮想視点画像の中心に位置するように前記仮想カメラの位置および向きの操作を制限され、前記選択手段により前記仮想カメラパスが選択されている場合、前記仮想カメラの位置が前記仮想カメラパス上にあり、前記仮想カメラの向きを操作できることを特徴とする構成１０に記載の装置。
前記操作手段は、前記選択手段により前記仮想カメラパスが選択されてない場合、前記選択された特定の素材データが仮想視点画像の中心に位置するように前記仮想カメラの位置および向きの操作を制限され、前記選択手段により前記仮想カメラパスが選択されている場合、前記仮想カメラの位置が前記仮想カメラパス上にあり、前記仮想カメラの向きを操作できることを特徴とする構成１０に記載の装置。
【0143】
（構成１３）更に、前記素材データを仮想空間上に配置する位置および前記素材データの向きを指定する指定手段を有することを特徴とする構成９乃至１１の何れか１項に記載の装置。
【0144】
（構成１４）前記表示制御手段は、前記素材データに対応するアイコンを表示する制御を行い、
前記選択手段は、前記素材データに対応するアイコンに対するユーザ操作に基づいて、前記特定の素材データを選択することを特徴とする構成９乃至１３の何れか１項に記載の装置。
前記選択手段は、前記素材データに対応するアイコンに対するユーザ操作に基づいて、前記特定の素材データを選択することを特徴とする構成９乃至１３の何れか１項に記載の装置。
【0145】
（構成１５）前記選択手段は、前記素材データに対応するアイコンに対するユーザのタッチ操作に基づいて、前記特定の素材データを選択することを特徴とする構成１４に記載の装置。
【0146】
（構成１６）前記表示制御手段は、前記選択手段により選択された前記素材データに対応するアイコンと選択されていない前記素材データに対応するアイコンを区別して表示する制御を行うことを特徴とする構成１４又は１５に記載の装置。
【0147】
（構成１７）前記表示制御手段は、前記選択手段により選択された前記素材データに対応するアイコンに、選択されたことを示すアイコンを重畳表示する制御を行うことを特徴とする構成１６に記載の装置。
【0148】
（構成１８）前記表示制御手段は、前記素材データのデータ種別に応じたアイコンを表示することを特徴とする構成１４乃至１７の何れか１項に記載の装置。
【0149】
（構成１９）前記データ種別は、被写体の３次元形状モデル、被写体の骨格モデル、仮想カメラの操作権、仮想カメラパスの少なくとも何れかであることを特徴とする構成１８に記載の装置。
【0150】
（構成２０）複数の撮像装置により撮像される複数の撮像画像に基づいて生成される素材データであって、第１の領域にユーザが所有する前記素材データを表示する制御を行う第１表示制御手段と、
前記第１表示制御手段により表示される前記素材データのうち、ユーザ操作に基づいて１以上の素材データを指定する指定手段と、
第２の領域に前記指定された前記素材データに基づいて生成された仮想視点画像を表示する制御を行う第２表示制御手段と
を有することを特徴とする装置。
前記第１表示制御手段により表示される前記素材データのうち、ユーザ操作に基づいて１以上の素材データを指定する指定手段と、
第２の領域に前記指定された前記素材データに基づいて生成された仮想視点画像を表示する制御を行う第２表示制御手段と
を有することを特徴とする装置。
【0151】
（構成２１）前記第１の領域と前記第２の領域は、同一のデバイスに表示される領域であることを特徴とする構成２０に記載の装置。
【0152】
（方法）第１ユーザのユーザ情報を取得する第１取得工程と、
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、前記第１ユーザを現所有者とする１以上の前記素材データと第２ユーザを現所有者とする１以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、前記第１ユーザが現所有者である前記素材データを示す情報を出力する第１出力工程と、
前記第１出力手段により出力された前記素材データを示す情報のうち、前記ユーザにより選択された前記素材データを示す情報を取得する第２取得工程と、
前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する出力工程と、
を有することを特徴とする方法。
複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、前記第１ユーザを現所有者とする１以上の前記素材データと第２ユーザを現所有者とする１以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、前記第１ユーザが現所有者である前記素材データを示す情報を出力する第１出力工程と、
前記第１出力手段により出力された前記素材データを示す情報のうち、前記ユーザにより選択された前記素材データを示す情報を取得する第２取得工程と、
前記第２取得手段により取得された前記素材データを示す情報に対応する前記素材データに基づいて生成された仮想視点画像を出力する出力工程と、
を有することを特徴とする方法。
【0153】
（プログラム）コンピュータを、構成１から８のいずれか１項に記載の装置の各手段として機能させるためのプログラム。
【符号の説明】
【0154】
１ データベースシステム
２ ブロックチェーンシステム
３ コンテンツ提供装置
４ コンテンツ表示装置
２ ブロックチェーンシステム
３ コンテンツ提供装置
４ コンテンツ表示装置
【要約】
【課題】 仮想視点画像を生成するためのデジタルコンテンツに付与した所有権とシステムのユーザ情報に基づいてコンテンツの表示処理を制御することを可能にする。
【解決手段】 複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、第１ユーザを現所有者とする１以上の前記素材データと第２ユーザを現所有者とする１以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、第１ユーザが現所有者である前記素材データを示す情報を出力する第１出力手段と、ユーザにより選択された素材データを示す情報を取得する第２取得手段と、第２取得手段により取得された素材データを示す情報に対応する素材データに基づいて生成された仮想視点画像を出力する。
【選択図】 図１
【解決手段】 複数の撮像装置により撮像された複数の撮像画像に基づいて生成される前記素材データであって、第１ユーザを現所有者とする１以上の前記素材データと第２ユーザを現所有者とする１以上の前記素材データとがブロックチェーンに記録されている複数の前記素材データにおいて、第１ユーザが現所有者である前記素材データを示す情報を出力する第１出力手段と、ユーザにより選択された素材データを示す情報を取得する第２取得手段と、第２取得手段により取得された素材データを示す情報に対応する素材データに基づいて生成された仮想視点画像を出力する。
【選択図】 図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】