2024-11831 情報処理システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024011831

(43)【公開日】2024-01-25

(54)【発明の名称】情報処理システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240118BHJP

   G06T 19/00 20110101ALI20240118BHJP

   H04N 21/234 20110101ALI20240118BHJP

【ＦＩ】

G06T13/40

G06T19/00 A

H04N21/234

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022114100

(22)【出願日】2022-07-15

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和３年１１月１２日にＣＧＷＯＲＬＤ ２０２１ クリエイティブカンファレンスのｈｔｔｐｓ：／／ｃｇｗｏｒｌｄ．ｊｐ／ｓｐｅｃｉａｌ／ｃｇｗｃｃ２０２１／ｓｃｈｅｄｕｌｅ／ｋａｙａｃ／にて発表

(71)【出願人】

【識別番号】522303087

【氏名又は名称】株式会社カヤックアキバスタジオ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】天野 清之

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050AA03

5B050BA08

5B050BA09

5B050BA12

5B050BA13

5B050CA07

5B050CA08

5B050DA01

5B050EA04

5B050EA24

5B050EA26

5B050FA02

5B050GA08

5C164FA29

5C164SA41S

5C164SB01P

5C164SB41S

5C164YA11

5C164YA21

(57)【要約】      （修正有）

【課題】仮想空間を活用したアニメーション制作やライブ配信の可能性を追求する情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】情報処理システムは、仮想撮像装置４３０を仮想空間４１０に設置し、仮想撮像装置で仮想空間のオブジェクト４２０を撮像し、仮想撮像装置で撮像された撮像データを仮想空間において編集する。オブジェクトは、現実空間における対象物の動作に合わせて仮想空間において動作するものである。仮想撮像装置は、モーションキャプチャスタジオ１１０がある現実空間におけるコントローラの操作によって制御される。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理システムであって、
仮想撮像装置を仮想空間に設置し、
前記仮想撮像装置で前記仮想空間のオブジェクトを撮像し、
前記仮想撮像装置で撮像された撮像データを前記仮想空間において編集し、
前記オブジェクトは現実空間における対象物の動作に合わせて前記仮想空間において動作するものであり、
前記仮想撮像装置は現実空間におけるコントローラの操作によって制御される、
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記仮想空間において編集された撮像データをブロックチェーンシステムに保存する、
情報処理システム。

【請求項3】

請求項１に記載の情報処理システムにおいて、
前記仮想空間において編集された撮像データを前記仮想空間において配信する、
情報処理システム。

【請求項4】

請求項１に記載の情報処理システムにおいて、
前記仮想空間において編集された撮像データを、非代替性トークンを利用して前記ブロックチェーンシステムに保存する、
情報処理システム。

【請求項5】

請求項１に記載の情報処理システムにおいて、
前記撮像データは、オリジナルの撮像データと紐付ける情報とともに、前記ブロックチェーンシステムに保存する、
情報処理システム。

【請求項6】

請求項１に記載の情報処理システムにおいて、
前記仮想撮像装置で撮像された撮像データを前記仮想空間内において学習済みモデルを用いて編集する、
情報処理システム。

【請求項7】

請求項６に記載の情報処理システムにおいて、
前記学習済みモデルは、前記仮想空間において撮像された撮像データを入力すると、編集済みの撮像データを出力するよう学習された学習済みモデルである、
情報処理システム。

【請求項8】

請求項１に記載の情報処理システムにおいて、
少なくとも２種類以上の仮想撮像装置を前記仮想空間に設置する、
情報処理システム。

【請求項9】

請求項１に記載の情報処理システムにおいて、
複数の仮想撮像装置それぞれは、それぞれ異なる現実空間におけるコントローラの操作によって制御される、
情報処理システム。

【請求項10】

請求項１に記載の情報処理システムにおいて、
前記仮想空間において動作する前記オブジェクトを、前記現実空間において対象物が動くのに合わせてリアルタイムで前記現実空間の画面上に表示する、
情報処理システム。

【請求項11】

請求項１に記載の情報処理システムにおいて、
前記仮想撮像装置は、前記オブジェクトを自動で追尾し、撮像する、
情報処理システム。

【請求項12】

情報処理方法であって、
仮想撮像装置を仮想空間に設置し、
前記仮想撮像装置で前記仮想空間のオブジェクトを撮像し、
前記仮想撮像装置で撮像された撮像データを前記仮想空間において編集し、
前記オブジェクトは現実空間における対象物の動作に合わせて前記仮想空間において動作するものであり、
前記仮想撮像装置は現実空間におけるコントローラの操作によって制御され、
仮想空間上で撮像データを編集する、
情報処理方法。

【請求項13】

プログラムであって、
コンピュータを、請求項１から請求項１１までの何れか１項に記載の情報処理システムを制御するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

３次元のコンピュータグラフィックス（３ＤＣＧ）による仮想空間を使用したゲームやライブ配信を行う技術の開発が進んでいる。３ＤＣＧの仮想空間上においては、現実空間での対象体の動きに合わせ、アバターを動かす技術が知られている。
特許文献１には、仮想空間内のオブジェクトに、その対応する現実空間内の対象体と同一又は類似の印象を与える姿勢を取らせる技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１３５４２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような技術により、現実空間の対象物の動作に合わせ、仮想空間内のオブジェクトを動かすことができる。しかしながら、仮想空間を活用したアニメーション制作やライブ配信の可能性を追求するには充分ではなかった。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、仮想撮像装置を仮想空間に設置する。仮想撮像装置で仮想空間のオブジェクトを撮像する。仮想撮像装置で撮像された撮像データを仮想空間において編集する。オブジェクトは現実空間における対象物の動作に合わせて仮想空間において動作するものである。仮想撮像装置は現実空間におけるコントローラの操作によって制御される。

【図面の簡単な説明】

【0006】

【図1】情報処理システム１０００のシステム構成の一例を示す図である。

【図2】現実空間のキャプチャスタジオシステム１１０と仮想空間４１０の対応関係の一例を示す図である。

【図3】サーバー装置１００のハードウェア構成の一例を示す図である。

【図4】キャプチャスタジオシステム１１０に関する情報処理に関するフローチャート図である。

【図5】仮想撮像装置４３０の種類の一例を示す図である。

【図6】仮想撮像装置４３０の位置ＸＹＺの一例を示す図である。

【図7】仮想撮像装置４３０の回転ＸＹＺの一例を示す図である。

【図8】キャプチャスタジオシステム１１０の編集画面の一例を示す図である。

【図9】アセットの配置の一例を示す図である。

【発明を実施するための形態】

【0007】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0008】

本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。

【0009】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0010】

<実施形態１>
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、キャプチャスタジオシステム１１０と、サーバー装置１００と、ブロックチェーン１３０と、含む。図１に示されるように、キャプチャスタジオシステム１１０と、サーバー装置１００と、ブロックチェーン１３０とは、ネットワーク１２０を介して通信可能に接続されている。

【0011】

キャプチャスタジオシステム１１０は、キャプチャスタジオ内の対象物の動作をデジタル化するために必要な機能を備える。情報処理システム１０００は、キャプチャスタジオシステム１１０から受け付けた情報に基づき、現実空間における出演者１１２の動作に合わせ、仮想空間４１０においてオブジェクト４２０を動作させる。ここで、出演者１１２は、ヒトや動物など動くものである。

【0012】

モーションキャプチャの形式としては、光学式、慣性センサ式、機械式、磁気式、ビデオ式などがある。光学式は、対象物に反射マーカを装着し、撮像及び計測空間周囲にカメラを設置して、マーカの位置をトラッキングするシステムである。慣性センサ式は、反射マーカの代わりに、ジャイロセンサ（角速度計）、加速度計からなる慣性センサを対象者の身体各部に装着し、動きとして計測された情報から逆算して位置・姿勢を求める。機械式は、機械的に回転角や変位を測定するセンサを利用して各関節角等の計測を行う。磁気式は、磁気センサを装着し、それに対して磁気発生装置から磁場を送る。磁気式は、磁気センサ内では、３軸方向に直行するコイルで検出した磁力線を基に時期発生装置からの位置及び姿勢を求める。ビデオ式は、ビデオカメラで撮像された映像を解析し、３Ｄモーションファイルとして取り込む。モーションキャプチャの形式としては、何れの形式を用いてもよいし、複数の形式を組み合わせてもよい。

【0013】

一例として、光学式の場合について説明する。モーションキャプチャスタジオは、複数台の専用カメラ１１１を設置する。専用カメラ１１１は、反射マーカ１１４を認識できる位置に設置するため、モーションキャプチャスタジオの周囲を囲むように複数台設置する。モーションキャプチャスタジオにおいて動作する出演者１１２は、反射マーカ１１４を貼付している。反射マーカ１１４の動きでモーションキャプチャを行うので、反射マーカ１１４は出演者１１２の各関節等に貼付してあるとよい。サーバー装置１００は、各専用カメラ１１１から受け付けた、複数の反射マーカ１１４の位置に基づき、２次元座標値（Ｘ，Ｙ）を算出する。サーバー装置１００は、各専用カメラ１１１からの２次元座標値の情報と、モーションキャプチャ前にキャリブレーションで定義された複数の専用カメラ１１１の互いの位置関係とに基づいて、奥行き（Ｚ軸）を算出し、３次元の情報とする。サーバー装置１００は、これらのデータを組み合わせることにより、各反射マーカ１１４の３次元位置を算出し、モーションキャプチャスタジオの出演者１１２の動きをデジタル化することができる。

【0014】

情報処理システム１０００では、現実空間における出演者１１２の動作に合わせて、仮想空間４１０においてオブジェクト４２０が動作する。仮想撮像装置４３０は、仮想空間４１０上のオブジェクト４２０を撮像する。図２は、現実空間のキャプチャスタジオシステム１１０と仮想空間４１０の対応関係の一例を示す図である。
キャプチャスタジオシステム１１０は、出演者１１２の動作をモーションキャプチャすることに加え、サーバー装置１００に対して仮想空間でのオブジェクトの撮像及び撮像データの再生、編集、保存に関する様々な指示を出すことを行う。例えば、キャプチャスタジオシステム１１０は、サーバー装置１００に対し、（１）仮想空間４１０上に仮想撮像装置４３０を設置する指示を出すこと、（２）仮想撮像装置４３０の制御の指示を出すこと、（３）撮像データの再生指示を出すこと、（４）再生した撮像データに対し編集指示を出すこと、（５）撮像データをブロックチェーン１３０に保存させる指示を出すこと、などを行う。

【0015】

キャプチャスタジオシステム１１０からサーバー装置１００に対する指示は、専用カメラ１１１、キーボード、マイク、コントローラ１１３などの入力装置により行う。仮想撮像装置４３０の動作指示は、キーボード又はコントローラ１１３により行われる。コントローラ１１３の形状は、ゲームパッド型、キーボード型、ジョイスティック型、タッチパネル型、マウス型などがある。コントローラ１１３は、仮想撮像装置４３０の移動、回転、レンズフォーカス、ズームなどを操作するためのボタンを備える。コントローラ１１３が、ゲームパッド型の場合、ゲームのコントローラのように使用することができる。コントローラ１１３の代わりにキーボードを使用する場合は、各キーをそれぞれの指示のために割り当てることができる。キャプチャスタジオシステム１１０は、仮想撮像装置４３０の制御の一部又は全部を自動化する指示を出すこともできる。

【0016】

キャプチャスタジオシステム１１０は、ディスプレイを備える。キャプチャスタジオシステム１１０のディスプレイは、上記指示を出すために必要な画面を表示することができる。サーバー装置１００は、キャプチャスタジオシステム１１０のディスプレイに対し、仮想空間４１０において動作するオブジェクト４２０を表示させることができる。また、サーバー装置１００は、キャプチャスタジオシステム１１０のディスプレイに対し、撮像データの再生を表示させることができる。さらに、サーバー装置１００は、ディスプレイに対し、撮像データの再生とともに、編集の指示受付画面を表示することもできる。ディスプレイは、ヘッドマウントディスプレイやスマートグラスあってもよい。このような態様により、例えば、監督やカメラマンが、ヘッドマウントディスプレイを装着し、キャプチャスタジオの脇で仮想空間４１０において動作するオブジェクト４２０を見ながら、出演者１１２に指示を出すこともできる。

【0017】

キャプチャスタジオシステム１１０において、コントローラ１１３やディスプレイは、モーションキャプチャスタジオ内にあってもよいが、モーションキャプチャスタジオとは物理的に離れた場所、つまり、モーションキャプチャスタジオがある現実空間とは異なる現実空間にあってもよい。キャプチャスタジオシステム１１０と物理的に離れた場所にあるコントローラ１１３やディスプレイは、キャプチャスタジオシステム１１０と、ネットワーク１２０を介して、通信可能に接続されている。

【0018】

サーバー装置１００は、キャプチャスタジオシステム１１０からの指示に基づき、処理を実行する。キャプチャスタジオシステム１１０からの指示は、監督、カメラマン、脚本家、撮影スタッフ、編集スタッフなどがコントローラ１１３や図示していないＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン等を介して行う。サーバー装置１００は、キャプチャスタジオシステム１１０からの指示等に基づき、例えば、（１）仮想空間４１０において現実空間における出演者１１２の動作に合わせてオブジェクト４２０を動作させる、（２）仮想空間４１０に仮想撮像装置４３０を設置する、（３）仮想空間４１０において仮想撮像装置４３０による撮像を行う、（４）仮想空間４１０において、撮像データを編集する、（５）撮像データをブロックチェーンに保存する、などの処理を実行する。

【0019】

ブロックチェーン１３０は、情報を記録するデータベース技術の一種で、ブロックと呼ばれる単位でデータを管理し、それを鎖（チェーン）のように連結してデータを保管する技術である。各々のブロックには直前のブロックの内容を表すハッシュ値と呼ばれるデータが、書き込まれている。仮にデータを改ざんした場合は、それによって導き出されるハッシュ値も異なるため、それ以降のすべてのブロックのハッシュ値を変更する必要があるが、これは極めて困難である。したがって、ブロックチェーンで管理されているデータの改ざんは難しい。キャプチャスタジオシステム１１０は、生成された撮像データをブロックチェーン１３０に保存させることにより、撮像データの正当性を保証することができる。ブロックチェーン１３０は、ネットワーク１２０上のクラウドサービスとして提供されてもよい。

【0020】

２．ハードウェア構成
（１）サーバー装置１００のハードウェア構成
図３は、サーバー装置１００のハードウェア構成の一例を示す図である。サーバー装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、サーバー装置１００の全体を制御する。記憶部２０２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部２０１が、記憶部２０２に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置１００の機能等が実現される。通信部２０３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバー装置１００をネットワーク１２０に接続し、他の装置（例えば、キャプチャスタジオシステム１１０等）との通信を司る。

【0021】

３．情報処理
（概要）
ここで、簡単にキャプチャスタジオシステム１１０による情報処理の概要を説明する。
キャプチャスタジオシステム１１０は、現実空間であるキャプチャスタジオにおいて動作する出演者１１２の動きに合わせ、仮想空間４１０においてオブジェクト４２０を動作させる。キャプチャスタジオシステム１１０は、仮想空間４１０において仮想撮像装置４３０を設置する指示をサーバー装置１００に出す。サーバー装置１００により設置された仮想撮像装置４３０は、仮想空間４１０において動作するオブジェクト４２０を撮像する。現実空間におけるコントローラ１１３からのサーバー装置１００への操作指示により仮想撮像装置４３０が制御される。キャプチャスタジオシステム１１０は、サーバー装置１００に指示を出し、仮想撮像装置４３０で撮像された撮像データを仮想空間４１０において編集させることができる。

【0022】

（詳細）
図４は、キャプチャスタジオシステム１１０に関する情報処理に関するフローチャート図である。
Ａ３０１において、キャプチャスタジオシステム１１０は、仮想空間４１０に仮想撮像装置４３０を設置することをサーバー装置１００に指示する。サーバー装置１００は、３ＤＣＧの仮想空間４１０において、キャプチャスタジオシステム１１０から指示された位置、向きに仮想撮像装置４３０を設置する。キャプチャスタジオシステム１１０からの指示には、カメラの動作指示や撮影方法の指示が含まれてもよい。仮想撮像装置４３０は、例えば、仮想空間４１０上のオブジェクト４２０の正面に設置されてもよいし、仮想空間４１０を取り囲むように設置されてもよい。また、仮想撮像装置４３０は、複数設置されてもよい。

【0023】

Ａ３０２において、キャプチャスタジオシステム１１０は、各専用カメラ１１１により、現実空間の出演者１１２に貼付された反射マーカ１１４の位置情報を取得する。キャプチャスタジオシステム１１０の各専用カメラ１１１は複数ある。サーバー装置１００の制御部２０１は、キャプチャスタジオシステム１１０の専用カメラ１１１から、反射マーカ１１４の位置情報を受け付ける。制御部２０１は、各専用カメラ１１１の位置関係と各反射マーカ１１４の位置関係の情報に基づき、各反射マーカ１１４が貼付された部分の３次元の位置情報を算出する。制御部２０１は、各反射マーカ１１４の３次元の位置情報の変化を算出することで、各反射マーカ１１４の動作をキャプチャすることができる。各反射マーカ１１４の動作を組み合わせることで、出演者１１２の動作をデジタル化することができる。

【0024】

Ａ３０３において、制御部２０１は、デジタル化した出演者１１２の動作に合わせて、仮想空間４１０においてオブジェクト４２０の動作を生成する。オブジェクト４２０は、出演者１１２の体のサイズや関節位置をモデリングした３ＤＣＧのオブジェクトである。

【0025】

Ａ３０４において、制御部２０１は、キャプチャスタジオシステム１１０から、仮想撮像装置４３０に対し、制御指示を受け付ける。コントローラ１１３から受け付ける仮想撮像装置の制御としては、レンズの種類やレンズフォーカス（Ｆ値）の変更、レンズフォーカス（被写体との距離）の変更、ズームの変更、向きの変更（上下左右・パン・チルト）、移動、回転などがある。キャプチャスタジオシステム１１０は、仮想撮像装置を動かすレールの設定、速度の調整、カメラパスへの追従、自動操縦等の制御指示を出すこともできる。

【0026】

Ａ３０５において、制御部２０１は、Ａ３０４において受け付けた動作指示に基づき、仮想撮像装置４３０を制御する。

【0027】

Ａ３０６において、制御部２０１は、仮想撮像装置４３０により撮像された撮像データを生成する。撮像データは、サーバー装置１００の記憶部２０２に記憶される。

【0028】

Ａ３０７において、サーバー装置１００の制御部２０１は、仮想撮像装置４３０により撮像された撮像データを仮想空間４１０において再生する。制御部２０１は、再生される撮像を、キャプチャスタジオシステム１１０のディスプレイに表示させることができる。キャプチャスタジオシステム１１０のディスプレイは、キャプチャスタジオの同じ現実空間にあってもよいし、離れた場所にあってもよい。

【0029】

Ａ３０８において、制御部２０１は、キャプチャスタジオシステム１１０より、撮像データに関する編集指示を受け付ける。Ａ３０９において、制御部２０１は、キャプチャスタジオシステム１１０からの、編集指示に基づき、仮想空間４１０において、撮像データを編集する。

【0030】

Ａ３１０において、制御部２０１は、編集した撮像データをサーバー装置１００の記憶部２０２に、記憶させる。このとき、制御部２０１は、編集前のオリジナルの撮像データ及びオリジナルの撮像を保持し、編集後の撮像データとともに保存させる。

【0031】

Ａ３１１において、制御部２０１は、キャプチャスタジオシステム１１０からの指示を受け、仮想空間において編集された撮像データをブロックチェーンシステムに保存する。なお、キャプチャスタジオシステム１１０から、撮像データをサーバー装置１００に保存する指示を受けた場合には、制御部２０１は、ブロックチェーン１３０にではなく、サーバー装置１００に保存することもできる。なお、制御部２０１は、撮像データの種類及び／又は撮像データの内容に基づいて、ブロックチェーンシステムに保存するか、サーバー装置１００の記憶部２０２等に保存するかを切り替えるようにしてもよい。以下では説明の簡略化のため、撮像データはブロックチェーンシステムに保存するものとして説明を行う。

【0032】

制御部２０１は、仮想空間４１０において、キャプチャスタジオシステム１１０からの指示を受け、編集された撮像データを、非代替性トークンを利用してブロックチェーン１３０に保存することができる。非代替性トークンは、ブロックチェーン上に記録される一意で代替不可能なデータ単位である。非代替性トークンを利用することで、監督やカメラマンなどは、撮像データの所有権などを証明することができる。

【0033】

キャプチャスタジオシステム１１０からの指示を受け、制御部２０１は、撮像データを、オリジナルの撮像データと紐付ける情報とともに、ブロックチェーンシステムに保存する。オリジナルの撮像データと編集後の撮像データとを紐付ける情報としては、撮像メタデータがある。撮像メタデータとは、仮想撮像装置４３０の機種、撮影者、撮像日時、焦点距離、アイリス値、シャッター速度値、センサ感度値、仮想空間４１０における仮想撮像装置４３０の位置ＸＹＺ、仮想空間４１０における仮想撮像装置４３０の回転ＸＹＺ、仮想空間４１０における仮想撮像装置４３０のタイムコード等である。
制御部２０１は、オリジナルの撮像データを編集可能な状態で、オリジナルの撮像データと紐付ける撮像メタデータを編集できないように保護した状態でブロックチェーン１３０に保存する。このような態様により、オリジナルの撮像データ及び撮像者及び出演者の権利を守ることができる。サーバー装置１００は、編集後の撮像データをブロックチェーン１３０に保存する際には、オリジナルの撮像データを編集可能な状態で、オリジナルの撮像データと紐付ける撮像メタデータとともに、編集後の撮像データと紐づける編集後の撮像メタデータを編集できないように保護した状態でブロックチェーン１３０に保存する。このような態様により、編集履歴や移転履歴を確認することができる。

【0034】

制御部２０１は、キャプチャスタジオシステム１１０からの編集指示に基づいて、仮想空間４１０内において、撮像データの編集を行う。例えば、制御部２０１は、キャプチャスタジオシステム１１０からの指示に基づいて、仮想空間内でコントローラ１１３等を操作する操作者のアバターを動かし、仮想空間内のアバターを介して撮像データを編集する。ここで、アバターとは、仮想空間内で操作者の分身として動作するキャラクターである。アバターは、仮想空間内に視覚的に表示されていてもよいが、仮想空間内に視覚的に表示されていなくてもよい。キャプチャスタジオシステム１１０から制御部２０１に対する指示は、例えば、キーボード、マイク、コントローラ１１３などの入力装置を介して行われてもよいし、ユーザーのジェスチャー等を介して行われてもよい。指示がジェスチャーで行われる場合は、ジェスチャーを撮像した動画がキャプチャスタジオシステム１１０からサーバー装置１００に送信される。制御部２０１は、動画に基づきジェスチャーを解析し、ジェスチャーに応じた指示を特定し、特定した指示に応じた処理を実行する。
ここで、編集とは、複数の仮想撮像装置により撮像した撮像データについてパラメータの調整や加工などを行うこと、複数の撮像データを組み合わせで一つの撮像データにすること、撮像データに音声や音楽、テロップなどを組み合わせることなどをいう。

【0035】

制御部２０１は、キャプチャスタジオシステム１１０からの編集指示に基づいて、仮想撮像装置４３０で撮像された撮像データを仮想空間４１０内において学習済みモデルを用いて仮想空間内において編集する。編集に用いられる学習済みモデルは、仮想空間４１０において撮像された撮像データを入力すると、編集済みの撮像データを出力するように学習された学習済みモデルである。制御部２０１は、新たな撮像データが撮像されると、撮像データを教師データとして、記憶部２０２に記憶された学習済みモデルを更新する。つまり、キャプチャスタジオシステム１１０によって得られる撮像データを教師データとして学習済みモデルを更新することができる。このような態様によれば、編集時間を短縮することができる。

【0036】

制御部２０１は、キャプチャスタジオシステム１１０からの指示により、仮想空間４１０において編集された撮像データを、仮想空間４１０において配信する。仮想空間４１０において配信されるため、視聴者は仮想空間４１０内でリアリティのある配信を楽しむことができる。

【0037】

図５は、仮想撮像装置４３０の種類の一例を示す図である。情報処理システム１０００は、仮想空間４１０において、仮想撮像装置４３０を無限に生成することができる。また、情報処理システム１０００は、仮想空間４１０において、様々な種類の仮想撮像装置４３０を設置することができる。仮想撮像装置４３０の種類としては、例えば、図５ａは仮想ハンドカメラである。図５ｂは、仮想空間４１０上の一箇所に台で固定された仮想スタジオカメラである。図５ｃは、仮想空間４１０上に任意で作成したレールの上を移動しながら撮像可能な仮想ドリーカメラである。図５ｄは、空中を飛行可能なドローンに搭載された仮想ドローンカメラである。仮想ハンドカメラは、移動及び回転が容易なため構図を探ることや、臨場感のあるカメラワークで撮像することができる仮想撮像装置である。仮想ハンドカメラは、現実空間のモーションキャプチャスタジオにおいて監督やカメラマンが自ら動きながらコントローラ１１３による操作指示をサーバー装置１００に行うことができる仮想撮像装置である。仮想スタジオカメラは、リング型のハンドルを両手で上下に移動させて高さを、片手で回転することでカメラ全体の向きを調整することが可能なスタジオカメラ型の仮想撮像装置である。カメラ自体は固定式のため、手ブレの少ない安定した画を撮像することができる。仮想ドリーカメラは、仮想空間４１０において設置したレールの上を動く仮想撮像装置である。仮想ドリーカメラは、一定の速度でレール上を動かすことができるため、一定速度で近寄ったり遠ざかったりする画を撮像したい場合に適した仮想撮像装置である。仮想ドローンカメラは、通常のカメラでは撮像不可能な空中からのダイナミックな映像の撮像が可能な仮想撮像装置である。キャプチャスタジオシステム１１０は、少なくとも２種類以上の仮想撮像装置４３０を仮想空間４１０に設置するようにサーバー装置１００に指示を出すことができる。このような態様によれば、機能用途にあわせて仮想撮像装置４３０を使い分けることができ、従来の現実空間での撮像と同様に撮像ができる一方で、現実空間では撮ることができない構図での撮像もできる。

【0038】

キャプチャスタジオシステム１１０からサーバー装置１００への指示により、仮想撮像装置４３０は、オブジェクト４２０を自動で追尾し、撮像する。キャプチャスタジオシステム１１０は、現実空間におけるコントローラ１１３の操作によってサーバー装置１００に仮想撮像装置の制御指示が出すだけではなく、自動で制御するように指示を出すことが可能である。例えば、サーバー装置１００は、キャプチャスタジオシステム１１０からの指示によりＵｎｉｔｙの「ｃｉｎｅｍａｓｃｅｎｅ」のパス機能を使用し、オブジェクト４２０に対して、仮想ドリーカメラや仮想ドローンカメラを追従させた撮像をすることができる。サーバー装置１００は、キャプチャスタジオシステム１１０からの指示により、仮想ドリーカメラにおいて、仮想空間４１０上の任意の位置に任意の長さ及び任意の角度のレールを設置することができ、レール上を移動するスピードを制御することができる。また、サーバー装置１００は、仮想ドローンカメラでの撮像時に、キャプチャスタジオシステム１１０からの指示により、ターゲットを指定することで、自動追尾による撮像も可能である。このように、サーバー装置１００は、キャプチャスタジオシステム１１０からの指示により、仮想ドリーカメラ、仮想ドローンカメラなどによる撮像については、制御の一部を自動制御にすることができる。このような態様によれば、幅広いシチュエーションでの撮像に対応することができる。

【0039】

サーバー装置１００は、仮想ドローンカメラを、ドローン搭載のカメラの回転のみをオブジェクト４２０の動作に自動追従させることもできれば、ドローン本体の回転自体をオブジェクト４２０の動作に追従させることもできる。また、サーバー装置１００は、ドローンの本体の移動及び回転については、オブジェクト４２０に自動追従させ、ドローン搭載のカメラの回転については、コントローラで操作するというように、カメラの制御の一部のみ自動とすることもできる。

【0040】

キャプチャスタジオシステム１１０においては、サーバー装置１００の仮想撮像装置４３０のうちの一台の仮想撮像装置への操作指示を、複数人で同時に行うこともできる。例えば、仮想撮像装置４３０において移動や回転を制御する人と、レンズのフォーカスのＦ値や対象までの距離調整、レンズのズーム値、カメラのＰＡＮ操作、速度調整などを制御する人とで、分業することができる。このような態様により、より複雑な撮像が可能となる。

【0041】

キャプチャスタジオシステム１１０においては、複数の仮想撮像装置４３０のそれぞれに対し、それぞれ異なる現実空間にあるコントローラ１１３又はキーボードから、サーバー装置１００に制御指示を出すことができる。例えば、監督やカメラマンは、現実空間上のキャプチャスタジオシステム１１０が設置された場所からコントローラ１１３又はキーボードによりサーバー装置１００への制御指示を出すこともできるが、キャプチャスタジオシステム１１０が設置された場所とは別の場所からコントローラ１１３又はキーボードによりサーバー装置１００への制御指示を出すこともできる。このような態様によれば、遠隔地からの撮像も可能となる。

【0042】

制御部２０１は、仮想空間４１０において動作するオブジェクト４２０を、現実空間において出演者１１２が動くのに合わせてリアルタイムで現実空間の画面上に表示する。情報処理システム１０００は、モーションキャプチャスタジオで出演者１１２が動作するところから、仮想空間４１０上での撮像し、再生や編集を行いする作業をリアルタイムで行うことができるシステムである。監督やカメラマンなどは、コンピュータのディスプレイやヘッドマウントディスプレイにより、仮想空間４１０上で動作するオブジェクト４２０をリアルタイムで見ながら、現実空間にいる出演者１１２に動作指示を出すことができる。ここで、リアルタイムとは、出演者１１２がモーションキャプチャスタジオで動作してから１０分以内を指す。また、監督やカメラマンは、撮像後すぐに撮像データを確認し、仮想撮像装置４３０の各種撮像メタデータの変更や撮り直しの指示を行うことができる。監督やカメラマンは、キャプチャスタジオシステム１１０を使用することにより、コミュニケーションを取りながらの撮像が可能となる。

【0043】

従来は、モーションキャプチャされたデータを基に３ＤＣＧの経験者により、３ＤＣＧの撮像データが制作されていた。したがって、従来のモーションキャプチャスタジオでは、監督やカメラマンは撮像中に、仮想空間４１０におけるオブジェクト４２０の動作を確認することはできなかった。また、仮想空間４１０上の仮想撮像装置４３０による撮像データをその場で、確認することもできなかった。しかし、キャプチャスタジオシステム１１０では、モーションキャプチャスタジオでの撮像時に撮像データの確認が可能となった。そのため、プロの監督やカメラマンのこれまでの現実空間での豊富な撮像経験を生かした撮像を行うことができる。その場で撮像データの確認可能であるため、コミュニケーションを取りながら、出演者１１２の動作のモーションキャプチャが可能となる。このことにより、従来と比べ、クリエイティブな撮像が可能となる。

【0044】

情報処理システム１０００は、仮想撮像装置４３０の撮像パラメータの変更を行うと、新たな撮像データを生成する。
本実施形態の仮想撮像装置４３０は、キャプチャスタジオシステム１１０からの指示に基づき、サーバー装置１００により、仮想空間４１０上に設置される。図６は、仮想撮像装置４３０の位置ＸＹＺの一例を示す図である。仮想空間４１０上の仮想撮像装置４３０の位置は、ｘ軸、ｙ軸、及び、ｚ軸での特定が可能である。図７は、仮想撮像装置４３０の回転ＸＹＺの一例を示す図である。仮想空間４１０上の仮想撮像装置４３０の向きは、ｘ軸、ｙ軸、及び、ｚ軸回りの回転により特定が可能である。つまり、仮想空間４１０において、各仮想撮像装置４３０の位置及び向きは、位置に関するＸＹＺ、回転に関するＸＹＺにより、特定できる。

【0045】

オリジナルの撮像データは、「現実空間における出演者１１２の動作に合わせて、仮想空間４１０において動作するオブジェクト４２０の３ＤＣＧデータ」をいう。編集後の撮像データは、オリジナルの撮像データと「仮想撮像装置４３０の各種パラメータ値」に基づき算出されるものである。仮想撮像装置４３０の各種パラメータ値とは、撮像メタデータのうち、カメラの動作及び制御に関するパラメータ値である。焦点距離、アイリス値、シャッター速度値、センサ感度値、仮想空間４１０における仮想撮像装置４３０の位置ＸＹＺ、仮想空間４１０における仮想撮像装置４３０の回転ＸＹＺ、時間軸のパラメータであるタイムコードなどである。サーバー装置１００は、キャプチャスタジオシステム１１０から、仮想撮像装置４３０の各種パラメータ値を変更する編集指示を受付けると、新たな撮像データを生成する。仮想撮像装置４３０の各種パラメータ値の変更により全く異なる撮像も生じる。特に、仮想空間４１０における仮想撮像装置４３０の位置ＸＹＺ、仮想空間４１０における仮想撮像装置４３０の回転ＸＹＺ、時間軸のパラメータであるタイムコードが、変更されると、オリジナルの撮像データと全く異なる構図の編集後の撮像データを得ることができる。このような態様により、よりクリエイティブな創作を行うことができる。
なお、キャプチャスタジオシステム１１０からの編集指示により、撮像パラメータ値が変更され、サーバー装置１００が新たな撮像データを生成した場合であっても、ブロックチェーンシステムには、オリジナルの撮像データと紐付ける情報として、オリジナルの撮像メタデータの情報も保持される。

【0046】

図８は、キャプチャスタジオシステム１１０の編集画面の一例を示す図である。サーバー装置１００は。複数の編集後の撮像データを、１画面上に同時に表示させることができる。監督やカメラマンは、編集画面で複数のパターンの撮像データを比較しながら、編集作業を行うことができるため、よりクオリティの高い制作物の制作できる。

【0047】

編集段階において、キャプチャスタジオシステム１１０により、サーバー装置１００に対し、新たな仮想撮像装置４３０を追加で設置する指示を出すことができる。サーバー装置１００は、新たな撮像データを生成することもできる。このような態様により、監督やカメラマンは、よりクオリティの高い制作物の制作できる。

【0048】

図９は、アセット９０１の配置の一例を示す図である。アセット９０１とは、仮想空間４１０に配置することができる物品のデータであり、例えば、椅子や机、跳び箱、鍋などのデータである。アセット９０１は、仮想空間４１０において自由な位置に配置でき、監督やカメラマンは、ディスプレイを通して、仮想空間４１０に配置されたアセット９０１を見ることができる。したがって、監督やカメラマンは、実際の完成した撮像データを想像しながらキャプチャスタジオシステム１１０からサーバー装置１００に撮像の指示を行うことができる。例えば、仮想空間４１０内にアセット９０１として椅子を配置するケースで説明する。監督やカメラマンは、キャプチャスタジオシステム１１０により仮想空間４１０に椅子を配置する指示を出すと、サーバー装置１００は、仮想空間４１０に椅子のアセット９０１を設置する。サーバー装置１００は、キャプチャスタジオシステム１１０のディスプレイに椅子のアセット９０１が設置された仮想空間４１０を表示する。監督やカメラマンは、ディスプレイを介して、仮想空間４１０に設置された椅子のアセット９０１を見ることができる。監督やカメラマンは、オブジェクト４２０に椅子に座った動作させたい場合、現実空間のキャプチャスタジオにも椅子を用意し、出演者１１２が椅子に座って動作させることもできる。この場合、サーバー装置１００は、椅子に座って動作した出演者１１２の動作に合わせ、オブジェクト４２０を動作させる。監督やカメラマンは、アセット９０１の位置を調整する指示をキャプチャスタジオシステム１１０からサーバー装置１００に出すと、サーバー装置１００は椅子に座って動作するオブジェクト４２０を生成する。このような態様により、物品を使用するシーンにおいてもオブジェクト４２０にリアリティのある動きをさせることができる。

【0049】

発明者らは、現実空間の出演者１１２の動作に合わせ、仮想空間４１０内のオブジェクト４２０を動かす技術と、バーチャルカメラの撮像技術を組み合わせた撮像システムを開発し、現実空間での出演者１１２の動作から撮像、編集、配信、保持までを一貫して行えるようにした。また、撮像したデータをブロックチェーン１３０上への保存も可能とした。

【0050】

<付記>
次に記載の各態様で提供されてもよい。

【0051】

（１）情報処理システムであって、仮想撮像装置を仮想空間に設置し、前記仮想撮像装置で前記仮想空間のオブジェクトを撮像し、前記仮想撮像装置で撮像された撮像データを前記仮想空間において編集し、前記オブジェクトは現実空間における対象物の動作に合わせて前記仮想空間において動作するものであり、前記仮想撮像装置は現実空間におけるコントローラの操作によって制御される、情報処理システム。

【0052】

（２）上記（１）に記載の情報処理システムにおいて、前記仮想空間において編集された撮像データをブロックチェーンシステムに保存する、情報処理システム。

【0053】

（３）上記（１）又は（２）に記載の情報処理システムにおいて、前記仮想空間において編集された撮像データを前記仮想空間において配信する、情報処理システム。

【0054】

（４）上記（１）から（３）までの何れか１項に記載の情報処理システムにおいて、前記仮想空間において編集された撮像データを、非代替性トークンを利用して前記ブロックチェーンシステムに保存する、情報処理システム。

【0055】

（５）上記（１）から（４）までの何れか一項に記載の情報処理システムにおいて、前記撮像データは、オリジナルの撮像データと紐付ける情報とともに、前記ブロックチェーンシステムに保存する、情報処理システム。

【0056】

（６）上記（１）から（５）までの何れか一項に記載の情報処理システムにおいて、前記仮想撮像装置で撮像された撮像データを前記仮想空間内において学習済みモデルを用いて編集する、情報処理システム。

【0057】

（７）上記（６）に記載の情報処理システムにおいて、前記学習済みモデルは、前記仮想空間において撮像された撮像データを入力すると、編集済みの撮像データを出力するよう学習された学習済みモデルである、情報処理システム。

【0058】

（８）上記（１）から（７）までの何れか一項に記載の情報処理システムにおいて、少なくとも２種類以上の仮想撮像装置を前記仮想空間に設置する、情報処理システム。

【0059】

（９）上記（１）から（８）までの何れか一項に記載の情報処理システムにおいて、複数の仮想撮像装置それぞれは、それぞれ異なる現実空間におけるコントローラの操作によって制御される、情報処理システム。

【0060】

（１０）上記（１）から（９）までの何れか一項に記載の情報処理システムにおいて、前記仮想空間において動作する前記オブジェクトを、前記現実空間において対象物が動くのに合わせてリアルタイムで前記現実空間の画面上に表示する、情報処理システム。

【0061】

（１１）上記（１）から（１０）までの何れか一項に記載の情報処理システムにおいて、前記仮想撮像装置は、前記オブジェクトを自動で追尾し、撮像する、情報処理システム。

【0062】

（１２）情報処理方法であって、仮想撮像装置を仮想空間に設置し、前記仮想撮像装置で前記仮想空間のオブジェクトを撮像し、前記仮想撮像装置で撮像された撮像データを前記仮想空間において編集し、前記オブジェクトは現実空間における対象物の動作に合わせて前記仮想空間において動作するものであり、前記仮想撮像装置は現実空間におけるコントローラの操作によって制御され、仮想空間上で撮像データを編集する、情報処理方法。

【0063】

（１３）プログラムであって、コンピュータを、上記（１）から（１１）までの何れか１項に記載の情報処理システムを制御するためのプログラム。
もちろん、この限りではない。

【0064】

例えば、上記のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体として提供してもよい。実施形態では、全ての情報処理をサーバー装置により実施させたが、キャプチャスタジオシステム１１０に情報処置装置を備え、キャプチャスタジオシステム１１０の制御部が、一部の情報処理を行う変形例があってもよい。また、実施例では、撮像データの編集は、キャプチャスタジオシステム１１０からの指示により、実施することとしたが、キャプチャスタジオシステム１１０の外にある情報処理端末から編集指示を行う変形例があってもよい。
また、上記した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。

【0065】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許又は実用新案登録に関する請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0066】

１０００；情報処理システム
１００ ：サーバー装置
１１０ ：モーションキャプチャスタジオシステム
１１１ ：専用カメラ
１１２ ：出演者
１１３ ：コントローラ
１１４ ：反射マーカ
１２０ ：ネットワーク
１３０ ：ブロックチェーン
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
４１０ ：仮想空間
４２０ ：オブジェクト
４３０ ：仮想撮像装置
９０１ ：アセット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】