特開 2023-181217 情報処理システム、情報処理方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181217

(43)【公開日】2023-12-21

(54)【発明の名称】情報処理システム、情報処理方法、および情報処理プログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231214BHJP

   H04N 13/117 20180101ALI20231214BHJP

   H04N 13/366 20180101ALI20231214BHJP

   H04N 13/344 20180101ALI20231214BHJP

   G06T 19/00 20110101ALI20231214BHJP

   G06F 3/01 20060101ALI20231214BHJP

   G06F 3/04815 20220101ALI20231214BHJP

【ＦＩ】

H04N7/15 170

H04N7/15

H04N13/117

H04N13/366

H04N13/344

G06T19/00 300A

G06F3/01 510

G06F3/04815

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023173869

(22)【出願日】2023-10-05

(62)【分割の表示】P 2022138117の分割

【原出願日】2016-10-26

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （公開１） 掲載日 平成２８年６月２０日 ｈｔｔｐ：／／ｃｅｄｅｃ．ｃｅｓａ．ｏｒ．ｊｐ／２０１６／ｗｈａｔｓｎｅｗ／ｓｅｓｓｉｏｎ．ｈｔｍｌ＃ｓｅｓｓｉｏｎ０６２０ ｈｔｔｐ：／／ｃｅｄｅｃ．ｃｅｓａ．ｏｒ．ｊｐ／２０１６／ｓｅｓｓｉｏｎ／ＡＣ／８６５６．ｈｔｍｌ （公開２） 掲載日 平成２８年８月２２日 ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＫｗＯＺＧｓＺＮ２Ａ８ （公開３） 開催日 平成２８年８月２４日～平成２８年８月２６日 集会名 コンピュータエンターテインメントデベロッパーズ 開催場所 パシフィコ横浜・会議センター カンファレンス（ＣＥＤＥＣ２０１６）（横浜市西区みなとみらい１－１－１） （公開４） 掲載日 平成２８年９月１３日 ｈｔｔｐ：／／ｂｌｏｇ．ｓｈｉｒａｉ．ｌａ／ｂｌｏｇ／２０１６／０９／ｔｇｓ２０１６／ （公開５） 展示日 平成２８年９月１５日～平成２８年９月１８日 展示会名 東京ゲームショウ２０１６ 開催場所 幕張メッセ（千葉市美浜区中瀬２－１） （公開６） 掲載日 平成２８年９月２０日 ｈｔｔｐ：／／ｂｌｏｇ．ｓｈｉｒａｉ．ｌａ／ｂｌｏｇ／２０１６／０９／ｄｃｅｘｐｏ２０１６／ （公開７） 掲載日 平成２８年１０月５日 ｈｔｔｐ：／／ｂｌｏｇ．ｓｈｉｒａｉ．ｌａ／ｂｌｏｇ／２０１６／１０／ｖｉｒｔｕａｌ－ｃａｆｅ／

(71)【出願人】

【識別番号】504437801

【氏名又は名称】グリー株式会社

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】白井 暁彦

(72)【発明者】

【氏名】鈴木 久貴

(72)【発明者】

【氏名】山口 裕太

(72)【発明者】

【氏名】米澤 一造

(57)【要約】

【課題】ＣＧで描画された３次元空間内における事象の、２次元映像デバイスを用いたリアルタイムおよび非同期の双方向参加が可能な技術を提供する。
【解決手段】情報処理システムは、撮影対象を多視点で撮影した多視点３次元動画データを生成する動画データ生成手段と、多視点３次元動画データに対して視点の設定を受け付ける手段と、受け付けた視点から撮影対象をみたときの動画を生成する手段と、生成された動画を視聴者装置に提供する手段と、視聴者装置から動画に対する反応を受け付ける手段と、設定された視点と、多視点３次元動画データ中の時刻と、反応とを記録する手段と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のアバターを含む３次元空間における、オブジェクトの３次元データを生成する第１データ生成手段と、
前記３次元データに基づいて、前記複数のアバターのうちの第１アバターの動きに対応する第１バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データを生成する第２データ生成手段と、を備える情報処理システム。

【請求項2】

前記３次元データは、前記第１アバターとは異なる第２アバターを含み、
前記第２データ生成手段は、前記３次元データに基づいて、前記第２アバターの動きに対応する第２バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データをさらに生成する、請求項１に記載の情報処理システム。

【請求項3】

ユーザからの要求に従って、前記ユーザの視聴装置に、前記第１バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データを提供するか、前記第２バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データを提供するか、を切り替える提供手段を備える、請求項２に記載の情報処理システム。

【請求項4】

前記第２データ生成手段は、前記３次元データに基づいて、前記複数のアバターの動きに追従しない第３バーチャルカメラの視点位置から見たオブジェクトの２次元データをさらに生成する、請求項１に記載の情報処理システム。

【請求項5】

前記第２データ生成手段は、プラットフォーム上で実行される所定のアプリケーションプログラムからの要求に応じて、前記第３バーチャルカメラの視点位置から見たオブジェクトの２次元データを生成する、請求項４に記載の情報処理システム。

【請求項6】

前記第２データ生成手段は、ユーザからの反応に基づいて、前記第３バーチャルカメラの視点位置から見たオブジェクトの２次元データを生成する、請求項４に記載の情報処理システム。

【請求項7】

前記３次元データ及び前記２次元データは、タイムコードに対応付けられる、請求項１から６のいずれか１項に記載の情報処理システム。

【請求項8】

第１データ生成手段が、複数のアバターを含む３次元空間における、オブジェクトの３次元データを生成する第１データ生成ステップと、
第２データ生成手段が、前記３次元データに基づいて、前記複数のアバターのうちの第１アバターの動きに対応する第１バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データを生成する第２データ生成ステップと、を実行する情報処理方法。

【請求項9】

複数のアバターを含む３次元空間における、オブジェクトの３次元データを生成する第１データ生成処理と、
前記３次元データに基づいて、前記複数のアバターのうちの第１アバターの動きに対応する第１バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データを生成する第２データ生成処理と、をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法、および情報処理プログラムに関する。

【背景技術】

【0002】

近年、ＩＣＴ（Information and Communication Technology：情報通信技術）の発展に伴い、ＣＧ（Computer Graphics）で描画された仮想的な３次元空間を用いた様々なコンテンツが提案されている。このようなコンテンツとして、ＶＲ（Virtual Reality）コンテンツやゲームコンテンツ、ｅスポーツ（electronic sports）コンテンツ等が例示される。

【0003】

上記コンテンツを利用する利用者（以下、ユーザとも称す）は、例えば、ＨＭＤ（Head-Mount Display）等の３次元映像を視聴可能なデバイスを装着することで、ＣＧで描画された仮想的な３次元空間をユーザ視点で立体視することが可能になる。さらに、ユーザの頭部や腕部といった身体の動きや位置等を検知するセンサ等が装着される場合には、例えば、ユーザの動作に応じて３次元空間内の移動、３次元空間内に配置されたオブジェクトへの働きかけといった行動が可能になる。３次元空間内に配置されたオブジェクトには、例えば、上記コンテンツを利用する他のユーザが操作可能なオブジェクト（例えば、キャラクタやアバター）が含まれる。

【0004】

ゲーム、ｅスポーツ等のコンテンツでは、例えば、他のユーザの操作するオブジェクトとの間で、自身の行動によって生じたイベントに対する応答や会話、競争や対戦等が可能になる。コンテンツに参加するユーザ間では、それぞれの視点で、上記行動によって生じたイベントによる３次元空間内の衝突や物理的な相互作用を、コンテンツの定める所定のルールに従って楽しむことができる。

【0005】

なお、本明細書で説明する技術に関連する技術が記載されている先行技術文献としては、以下の特許文献が存在している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１１－１５０４０２号公報

【特許文献2】特開２００１－３００１３１号公報

【特許文献3】特開平１１－１２３２８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

コンテンツの形態として、会議場やオフィス、学校、ショッピングモールといった３次元空間をＣＧで描画し、上記３次元空間内に複数のユーザがリアルタイムで参加するリモート会議やＶＲオフィス、ｅ－ラーニング、ｅ－コマース等が想定される。

【0008】

上記の形態では、例えば、描画された３次元空間のユーザ間のやり取りを発言者等としてリアルタイムに参加するだけでなく、事後や聴者として映像で視聴する利用者向けの配信や、その視聴環境・視聴形態、メディア変換の需要は想定される。

【0009】

配信等された３次元空間の映像を事後に視聴する場合には、例えば、ＨＭＤ等の３次元映像を視聴するための専用デバイスの購入や３次元映像受信のための視聴環境整備に係る負担が想定される。

【0010】

本開示は、撮影対象の多視点３次元動画データに基づいて、受け付けた視点からの動画を再現できる技術の提供を目的とする。

【課題を解決するための手段】

【0011】

開示の技術の一側面は、情報処理システムによって例示される。この情報処理システムは、複数のアバターを含む３次元空間における、オブジェクトの３次元データを生成する第１データ生成手段と、前記３次元データに基づいて、前記複数のアバターのうちの第１アバターの動きに対応する第１バーチャルカメラの視点位置の映像に基づくオブジェクトの２次元データを生成する第２データ生成手段と、を備える。

【発明の効果】

【0012】

開示の技術の一側面によれば、撮影対象の多視点３次元動画データに基づいて、受け付けた視点からの動画を再現できる技術を提供できる。

【図面の簡単な説明】

【0013】

【図1】情報処理システムの一例を示す構成図である。

【図2】コンピュータのハードウェア構成の一例を示す構成図である。

【図3】３ＤＣＧ空間内のオブジェクトについて保存されるデータ構成の一例を示す図である。

【図4】シーンマネージャのイベントに係る事象の記録処理を例示するフローチャートである。

【図5】シーンマネージャのバーチャルカメラの設定処理を例示するフローチャートである。

【図6】バーチャルカメラのカメラ方向の設定を説明する説明図である。

【図7】実空間の会議場を撮影するカメラを備える情報処理システムの一例を示す構成図である。

【図8】クロマキー合成を用いる際の、実空間における被写体の撮影を説明する図である。

【図9】クロマキー合成を用いる際の、実空間における被写体の撮影を説明する図である。

【図10】合成映像の一例を示す図である。

【図11】２Ｄ映像デバイスに表示された合成映像の一例を示す図である。

【図12】ＨＭＤを装着した被写体がリモート会議に参加する形態の説明図である。

【図13】ＨＭＤを装着しない被写体がリモート会議に参加する形態の説明図である。

【図14】ＨＭＤを装着しない被写体が事後に再生されるリモート会議に参加する形態の説明図である。

【図15】実空間を撮影するカメラを備える場合の、シーンマネージャのイベントに係る事象の記録処理を例示するフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照して、一実施形態に係る情報処理システムについて説明する。以下の実施形態の構成は例示であり、本情報処理システムは、以下の実施形態の構成には限定されない。

【0015】

＜実施形態＞
〔１．システム構成〕
図１は、本実施形態に係る情報処理システムの一例を示す構成図である。先ず、図１に示す情報処理システム１０の概要を説明する。図１の形態においては、例えば、ＣＧで作成された３次元空間（以下、「３ＤＣＧ空間」とも称す）内に会議場が設けられ、リモート会議等のコンテンツが提供される。ここで、「リモート会議」とは、ネットワークに接続する複数の会議参加者が３ＤＣＧ空間内の会議場を共有し、リアルタイムで行う会議をいう。ネットワークに接続する複数の会議参加者は、３ＤＣＧ空間で操作可能なオブジェクト（アバター等）を介し、会議における発言や対話、他者への働きかけや移動等の行動を行う。会議進行の様子は、会議参加者の備えるＨＭＤ等に、それぞれのアバター視点から見た３ＤＣＧの動画映像として提供される。
但し、情報処理システム１０が提供するコンテンツは、３ＤＣＧ空間で仮想的に形成されたＶＲオフィス、ゲーム、ｅ－ラーニング等であってもよい。コンテンツは、３ＤＣＧ空間内において、ユーザの行動や移動等で生じたイベントによる衝突や物理的な相互作用を、コンテンツの定める所定のルールに従って提供可能であればよい。
以下においては、情報処理システム１０の提供するコンテンツは、３ＤＣＧ空間に設けられた会議場を使用するリモート会議として説明する。また、ＣＧで作成された３次元空間の動画映像を「立体映像」とも称する。

【0016】

３ＤＣＧ空間内には、例えば、机、椅子、白板、壁、床、窓、扉、天井といったリモート会議の会議場を構成する様々な構成物のオブジェクトが配置される。同様にして、リモート会議に参加する複数の会議参加者についてのアバターが３ＤＣＧ空間内に配置される。アバターは、会議参加者が操作可能なオブジェクトである。３ＤＣＧ空間内に配置されるオブジェクトは、例えば、描画要素であるポリゴン（polygon）の集合体である。オブジェクトを構成する各ポリゴンは共通の座標軸を有する。３ＤＣＧ空間内のワールド座標系における、オブジェクトの形状、配置位置、向き等は、上記座標軸上の３次元座標（Ｘ，Ｙ，Ｚ）により表される。

【0017】

会議参加者は、例えば、ＨＭＤ等の立体映像を視認可能するデバイス（以下、３Ｄ映像デバイスとも称す）、身体の動きや位置を検知するセンサデバイス、マイクやヘッドフォン等の音響デバイスを備え、リモート会議に参加する。進行中のリモート会議の様子は、会議参加者に対し、それぞれのアバター視点を介した立体映像としてリアルタイムに提供される。会議参加者は、会議進行に伴うプロセスの立体映像をアバター視点で視聴すると共に、立体映像を視聴しながらアバターを操作し、会議場の移動や他の会議参加者への対話や働きかけ（行動）を行う。リモート会議内での発言は、例えば、マイクやヘッドフォン等の音響デバイスを介して行われる。会議進行に伴うプロセスで生じた各会議参加者の行動に対応したイベント（例えば、会話や提案、離席等の行動）は、視聴中の立体映像に反映される。

【0018】

本実施形態に係る情報処理システム１０は、リモート会議が進行する３ＤＣＧ空間を、任意の視点位置から見た立体映像として中継する機能を備える。リモート会議が進行する３ＤＣＧ空間内の視点位置は、例えば、仮想的なカメラであるバーチャルカメラによって指定される。バーチャルカメラは、リモート会議が進行する３ＤＣＧ空間内の任意の位置に移動可能である。バーチャルカメラは、会議場内に配置されたオブジェクトやアバター、および、会議進行に伴うプロセスで発生したイベント等の事象を、任意の視点位置から見た立体映像として中継する。リモート会議が進行する３ＤＣＧ空間を中継する中継者が存在する場合には、バーチャルカメラの視点位置は中継者の操作に従って設定される。

【0019】

本実施形態に係る情報処理システム１０は、バーチャルカメラの中継する立体映像を２次元映像に変換する機能を備える。変換後の２次元映像は、例えば、リモート会議の様子を視聴する視聴者にリアルタイム、あるいは、事後に配信される。視聴者は、例えば、スマートフォン、携帯電話、タブレットＰＣ（Personal Computer）等の２次元映像が視聴可能なデバイス（以下、２Ｄ映像デバイスとも称す）を介して、リモート会議の配信映像を視聴する。

【0020】

本実施形態に係る情報処理システム１０は、２次元映像を視聴する視聴者からのメッセージ（文字、音声、動作等のリアクション信号）を受け付ける機能を備える。情報処理システム１０は、例えば、受け付けたメッセージに基づいて、リモート会議が進行する３ＤＣＧ空間内の、バーチャルカメラの視点位置を移動させる。情報処理システム１０は、例えば、受け付けたメッセージを中継者に通知し、通知を受けた中継者の操作に従ってバーチャルカメラの視点位置を移動させる。リモート会議が進行中の場合には、バーチャルカメラの中継する立体映像は視点位置の移動に従って更新され、視聴者から受け付けた視点位置が視聴中の２次元映像に反映される。

【0021】

本実施形態に係る情報処理システム１０は、リモート会議が進行する３ＤＣＧ空間の事象、バーチャルカメラ情報（視点位置、焦点距離、回転、ズームパラメータ等）を記録する機能を有する。３ＤＣＧ空間の事象は、会議進行に伴うプロセスで発生した、各会議参加者の行動に伴うイベントに応じて３ＤＣＧ空間内を移動する各オブジェクトの座標を含む。３ＤＣＧ空間の事象には、会議参加者の音声データが含まれる。例えば、記録された音声データ等に基づいてリモート会議の議事録等が作成される。情報処理システム１０は、記録された上記情報に基づいてバーチャルカメラの視点位置による立体映像を生成し、生成された立体映像に基づく２次元映像を、事後の視聴者に配信する。事後の視聴においても視聴者からのメッセージが受け付けられ、事後の視聴者による視点位置が視聴中の２次元映像に反映される。

【0022】

次に、図１に示す情報処理システム１０の構成を説明する。
図１に示す情報処理システム１０は、シーンマネージャＳＭと、バーチャルカメラＶＣと、カメラプロセッサＣと、レンダラＲと、配信サーバＣＨとを主に備える。上記の各構成は、ＬＡＮ（Local Area Network）等のネットワークを介して接続する。ネットワークには、バーチャルカメラＶＣ、カメラプロセッサＣ、レンダラＲのそれぞれが複数に接続し得る。図１においては、バーチャルカメラＶＣ１、ＶＣ２、ＶＣ３、カメラプロセッサＣ１、Ｃ２、Ｃ３、レンダラＲ１、Ｒ２、Ｒ３が例示される。なお、以下の説明においては、複数のバーチャルカメラＶＣ１、ＶＣ２、ＶＣ３を総称してバーチャルカメラＶＣという。カメラプロセッサＣ、レンダラＲについても同様である。

【0023】

また、シーンマネージャＳＭと配信サーバＣＨとは、外部ネットワークに接続する。外部ネットワークは、インターネットといった公衆ネットワーク、携帯電話網、有線無線ＬＡＮ（Local Area Network）を含む。外部ネットワークには、２次元映像を視聴する視聴者（Ｖｉｅｗｅｒ）の２Ｄ映像デバイスが複数に接続する。なお、情報処理システム１０は、シーンマネージャＳＭと、配信サーバＣＨとを複数に備えるとしてもよい。また、情報処理システム１０は、バーチャルカメラＶＣと、カメラプロセッサＣと、レンダラＲとが有する機能を一体化して備えるとしてもよい。

【0024】

図１において、Ａ１は、バーチャルカメラＶＣ１の視点位置を操作する配信者Ｕ１が視聴中の立体映像を表す。配信者Ｕ１が視聴中の立体映像Ａ１には、バーチャルカメラＶＣ１の視点位置から見たリモート会議の会議参加者（Ｐ１、Ｐ２、Ｐ３）のアバターが含まれる。なお、アバターの視点位置の立体映像には、バーチャルカメラＶＣ１の視点位置を操作する配信者Ｕ１は描画されない。

【0025】

立体映像Ａ１内のバーチャルカメラＶＣ２、ＶＣ３は、３ＤＣＧ空間内にオブジェクトとして配置されたバーチャルカメラＶＣである。バーチャルカメラＶＣ２は、例えば、会議参加者Ｐ２の動きを追従する。バーチャルカメラＶＣ３は、例えば、会議参加者Ｐ３の動きを追従する。

【0026】

配信者Ｕ１は、自身が操作するバーチャルカメラＶＣ１の立体映像を視聴するＨＭＤ１を装着する。配信者Ｕ１が装着するＨＭＤ１には、ヘッドフォン、インカムといった音響デバイスが含まれる。また、配信者Ｕ１は、例えば、３ＤＣＧ空間内におけるバーチャルカメラＶＣ１の視点位置を指定するためのコントローラＣＮを備える。コントローラＣＮは、３ＤＣＧ空間を立体視するための２つの視点位置を操作するユーザ入力デバイスである。コントローラＣＮには、バーチャルカメラＶＣ１の回転角度を検知するセンサ（加速度センサ、ジャイロセンサ、地磁気センサ、画像センサ等）が含まれる。なお、バーチャルカメラＶＣ１、ＶＣ２、ＶＣ３で中継中の立体映像を切替える機能を有するとしてもよい。また、バーチャルカメラＶＣ１の視点位置を操作する配信者は、複数に存在するとしてもよい。

【0027】

シーンマネージャＳＭは、リモート会議といった３ＤＣＧ空間の立体映像を作成するアプリケーションプログラムが動作するプラットフォームである。プラットフォームは、例えば、サーバ、ＷＳ（WorkStation）等の情報処理装置によって構成されたコンピュータシステムである。

【0028】

シーンマネージャＳＭは、アプリケーションプログラムの実行により、３ＤＣＧ空間の映像を作成し、リモート会議参加者にアバター視点を介した立体映像をリアルタイムで提供する。同様に、シーンマネージャＳＭは、アプリケーションプログラムの実行により、バーチャルカメラＶＣの視点位置から見た３ＤＣＧ空間の立体映像を作成し、レンダラＲに送信する。シーンマネージャＳＭは、バーチャルカメラＶＣ１の視点位置を操作する配信者Ｕ１に対して、バーチャルカメラＶＣ１、ＶＣ２、ＶＣ３のそれぞれの視点位置から見た３ＤＣＧ空間の立体映像を出力する。配信者Ｕ１は、ＨＭＤ等を介してバーチャルカメラＶＣ１、ＶＣ２、ＶＣ３の視点位置から見た３ＤＣＧ空間の立体映像を視聴する。なお、ＨＭＤ等に表示される立体映像は、配信者Ｕ１の操作入力を受け付けるコントローラＣＮを介して切替えられる。

【0029】

シーンマネージャＳＭは、３ＤＣＧ空間の会議室を構成する構造物やアバター等のオブジェクトのデータをタイムコードに対応付けて保存・管理する。ここで、「タイムコード」とは、３ＤＣＧ空間内における絶対的な時間を表現するカウンタである。リモート会議の進行に伴うプロセスで発生したイベントに係る全ての事象は、タイムコードにより保存・管理される。

【0030】

シーンマネージャＳＭは、外部ネットワークに接続されたスマートフォン等の２Ｄ映像デバイスから送信されたメッセージを受信する。メッセージには、事後あるいはリアルタイムに配信された２次元映像の視聴者からの、文字、音声、動作等のリアクション信号等が含まれる。シーンマネージャＳＭは、受け付けたメッセージに基づいて、リモート会議が進行する３ＤＣＧ空間内の、バーチャルカメラＶＣの視点位置を移動させる。あるいは、シーンマネージャＳＭは、３ＤＣＧ空間内の、バーチャルカメラＶＣ１の視点位置を操作する配信者Ｕ１に対して、受け付けたメッセージに基づく視点位置を通知する。配信者は、例えば、ＨＭＤに表示された視点位置の移動の通知（文字やマーカ等）、あるいは、音声通知等を介してシーンマネージャＳＭからの指示を受け付け、バーチャルカメラＶＣ１の視点位置を移動させる。なお、シーンマネージャＳＭが受信したメッセージは、タイムコードに対応付けられて保存される。

【0031】

コンピュータプログラムの実行によってシーンマネージャＳＭが提供する機能は、「撮影対象を多視点で撮影した多視点３次元動画データを生成する動画データ生成手段」の一例である。同様にして、コンピュータプログラムの実行によってシーンマネージャＳＭが提供する機能は、「視聴者装置から動画に対する反応を受け付ける手段の」一例である。
同様にして、コンピュータプログラムの実行によってシーンマネージャＳＭが提供する機
能は、「設定された視点と、多視点３次元動画データ中の時刻と、反応を記録する手段」
の一例である。

【0032】

バーチャルカメラＶＣは、リモート会議が進行する３ＤＣＧ空間の立体映像を中継するための視点位置を指定する仮想的なデバイスである。バーチャルカメラＶＣは、３ＤＣＧ空間を立体映像として中継するために、２つの視点位置、２つの視点位置から決定される輻輳点をカメラ情報として有する。配信者Ｕ１の操作が介在しないバーチャルカメラＶＣでは、３ＤＣＧ空間内における配置位置はシーンマネージャＳＭによって決定される。バーチャルカメラＶＣは、例えば、３ＤＣＧ空間内に会議参加者が視覚可能なオブジェクトとして描画されてもよく、会議参加者に視認されないようにしてもよい。また、バーチャルカメラＶＣのオブジェクトは、立体映像Ａ１内のバーチャルカメラＶＣ２、ＶＣ３のように、配信者Ｕ１の視聴する立体映像内に限定して描画し、視聴者には見せないようにしてもよい。バーチャルカメラＶＣの焦点距離やズームパラメータ、回転、視点位置等のバーチャルカメラ情報（以下、単に「カメラ情報」とも称す）はシーンマネージャＳＭ、あるいは、バーチャルカメラＶＣを操作する配信者Ｕ１により制御される。バーチャルカメラＶＣは、「多視点３次元動画データに対して視点の設定を受け付ける手段」の一例である。

【0033】

カメラプロセッサＣは、バーチャルカメラＶＣのカメラ情報をタイムコードに対応付けて記録し、保存するコンピュータである。カメラプロセッサＣは、バーチャルカメラＶＣのカメラ情報に基づいて、シーンマネージャＳＭと連携し、リモート会議が進行する３ＤＣＧ空間内の立体映像を生成する。カメラプロセッサＣは、バーチャルカメラＶＣのカメラ情報、バーチャルカメラＶＣの視点位置から見た３ＤＣＧ空間内の立体映像をレンダラＲに出力する。

【0034】

レンダラＲは、バーチャルカメラＶＣによって視点位置が指定された３ＤＣＧ空間の立体映像を２次元映像（ビデオ）に変換する、所謂レンダリング処理を行うコンピュータである。レンダリング処理では、３ＤＣＧ空間内のオブジェクトの２次元平面へのアフィン変換等の座標変換、照明処理等の描画処理が行われ、３ＤＣＧ空間に配置されたポリゴン単位のデータが、バーチャルカメラＶＣの視点位置から見たピクセル単位のデータに変換される。レンダラＲは、変換後のピクセル単位のデータに基づいて描画されたフレーム単位の２次元画像から２次元映像を作成し、作成した２次元映像を配信サーバＣＨに出力する。カメラプロセッサＣとレンダラＲは、「受け付けた視点から撮影対象をみたときの動画を生成する手段」の一例である。

【0035】

配信サーバＣＨは、レンダラＲから出力された２次元映像（ビデオ）を、外部ネットワークに接続されたスマートフォン等の２Ｄ映像デバイスに配信するコンピュータである。配信サーバＣＨは、上記２Ｄ映像デバイスを介して事後、あるいは、リアルタイムで視聴中の視聴者からの要求に従って、複数のレンダラＲ１、Ｒ２、Ｒ３等から出力された２次元映像の配信切り替えを行う。配信サーバＣＨは、「生成された動画を視聴者装置に提供する手段」の一例である。

【0036】

〔２．装置構成〕
図２は、コンピュータのハードウェア構成の一例を示す構成図である。図１に示すシーンマネージャＳＭ、カメラプロセッサＣ、レンダラＲ、配信サーバＣＨは、図２に示すコンピュータ１００を用いて実現される。図２に例示のコンピュータ１００は、接続バス１０６によって相互に接続されたＣＰＵ（Central Processing Unit）１０１、主記憶装置１０２、補助記憶装置１０３、通信ＩＦ（Interface）１０４、入出力ＩＦ１０５を備える。ＣＰＵ１０１はプロセッサとも呼ばれる。ただし、ＣＰＵ１０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０１がマルチコア構成であってもよい。また、上記構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。

【0037】

ＣＰＵ１０１は、コンピュータ１００全体の制御を行う中央処理演算装置である。ＣＰＵ１０１は、補助記憶装置１０３に記憶されたプログラムを主記憶装置１０２の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行うことで所定の目的に合致した機能を提供する。主記憶装置１０２は、ＣＰＵ１０１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶装置１０２は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。

【0038】

補助記憶装置１０３は、ＯＳ（Operating System）、ＣＰＵ１０１により実行される各プログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶装置１０３は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＵＳＢ（Universal Serial Bus）メモリ等である。補助記憶装置１０３には、ＣＤ（Compact Disc）ドライブ装置、ＤＶＤ（Digital Versatile Disc）ドライブ装置、ＢＤ（Blu-ray（登録商標） Disc）ドライブ装置等が含まれる。記録媒体としては、例えば、不揮発性半導体メモリ（フラッシュメモリ）を含むシリコンディスク、ハードディスク、ＣＤ、ＤＶＤ、ＢＤ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカード等がある。

【0039】

通信ＩＦ１０４は、コンピュータ１００に接続するネットワーク、外部ネットワークとのインターフェースである。通信ＩＦ１０４には、所定の規格に基づいて通信を行う無線通信モジュールが含まれる。入出力ＩＦ１０５は、コンピュータ１００に接続する他の装置との間でデータの入出力を行うインターフェースである。

【0040】

ＣＰＵ１０１のプログラムの実行により、図１に示すシーンマネージャＳＭ、カメラプロセッサＣ、レンダラＲ、配信サーバＣＨの処理が提供される。但し、上記それぞれの処理の少なくとも一部が、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）等によって提供されてもよい。同様にして、上記それぞれの処理の少なくとも一部が、ＦＰＧＡ（Field-Programmable Gate Array）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用ＬＳＩ（large scale integration）、その他のデジタル回路であってもよい。また、シーンマネージャＳＭ、カメラプロセッサＣ、レンダラＲ、配信サーバＣＨの少なくとも一部にアナログ回路を含むとしてもよい。

【0041】

〔３．データ構成〕
図３は、シーンマネージャＳＭにおいて記録・保存される３ＤＣＧ空間内のオブジェクトについてのデータ構成の一例を示す図である。図３に示すように、シーンマネージャＳＭにおいて記録・保存される３ＤＣＧ空間内のオブジェクトについてのデータは、タイムコード毎のレコードとして記録される。上記レコードは、「ＴＣ」、「Ｏｂｊｅｃｔ」、「Ｐｏｓ（ｘ，ｙ，ｚ）」、「Ｒｏｔ（ｐ，ｙ，ｒ）」、「ＦＯＶ（ｆ）」、「Ｓｃａｌｅ（ｓ）」、「Ｏｐｔｉｏｎ｛Ｔｒｉｇｇｅｒ，Ｔａｒｇｅｔ，…｝」といったフィールドを有する。

【0042】

「ＴＣ」フィールドには、３ＤＣＧ空間内における絶対的な時間を表現するカウンタのカウンタ値が格納される。カウンタ値は、例えば、０．１ｍｓといった周期で計測される。なお、「ＴＣ」フィールドには、計測されたカウンタ値から算出された時刻情報が格納されるとしてもよい。図３においては、“ｈ：ｍｍ：ｓｓ”といった時暦、分歴、秒歴の形式の時刻情報が例示される。

【0043】

「Ｏｂｊｅｃｔ」フィールドには、３ＤＣＧ空間内に配置されるオブジェクトを一意に識別する識別情報が格納される。また、「Ｏｂｊｅｃｔ」フィールドに格納されるデータ例としては、バーチャルカメラＶＣを一意に識別する識別情報が挙げられる。図３においては、リモート会議の参加者の操作可能なアバター（Ｐ１，Ｐ２）が例示される。同様に、配信者Ｕ１が操作するバーチャルカメラＶＣ１（ＨＩＤ１、ＨＩＤ２）、アバターを追従するバーチャルカメラＶＣ２（ＣＡＭ１）が例示される。バーチャルカメラＶＣ１は、３ＤＣＧ空間を立体視するための２つの視点位置（ＨＩＤ１、ＨＩＤ２）を有する。バーチャルカメラＶＣ１の視点位置（ＨＩＤ１、ＨＩＤ２）は、配信者Ｕ１の備えるユーザ入力デバイスを介して操作される。

【0044】

「Ｐｏｓ（ｘ，ｙ，ｚ）」フィールドには、「Ｏｂｊｅｃｔ」フィールドに格納されたオブジェクトの３ＤＣＧ空間の座標が格納される。「Ｏｂｊｅｃｔ」フィールドに格納されたオブジェクトが、会議参加者のアバターの場合には、そのオブジェクトを構成する複数のポリゴンの重心座標が格納される。「Ｏｂｊｅｃｔ」フィールドに格納されたオブジェクトが、バーチャルカメラＶＣの場合には、視点位置の座標が格納される。配信者Ｕ１が操作するバーチャルカメラＶＣ１の場合には、ＨＩＤ１、ＨＩＤ２のそれぞれについての視点位置の座標が格納される。

【0045】

「Ｒｏｔ（ｐ，ｙ，ｒ）」フィールドには、「Ｏｂｊｅｃｔ」フィールドに格納されたオブジェクトの移動に伴う、ローカル座標の回転を表すパラメータ座標が格納される。バーチャルカメラＶＣの場合には、視点位置のピッチ軸、ヨー軸、ロール軸についての回転方向を表すパラメータ座標が格納される。配信者Ｕ１が操作するバーチャルカメラＶＣ１の場合には、ＨＩＤ１、ＨＩＤ２のそれぞれについての上記座標が格納される。

【0046】

「ＦＯＶ（ｆ）」フィールドには、バーチャルカメラＶＣのカメラ情報として画角を表すパラメータが格納される。「Ｓｃａｌｅ（ｓ）」フィールドには、「Ｏｂｊｅｃｔ」フィールドに格納されたオブジェクトの３ＤＣＧ空間の移動に伴う拡大／縮小のパラメータが格納される。「Ｏｐｔｉｏｎ｛Ｔｒｉｇｇｅｒ，Ｔａｒｇｅｔ，…｝」フィールドには、例えば、３ＤＣＧ空間におけるオブジェクトに質感を与えるためのパラメータ、動作等を示すパラメータが格納される。バーチャルカメラＶＣの場合には、例えば、ズーム対象標や、配信者Ｕ１が操作するバーチャルカメラＶＣ１の起動・停止等の情報が格納される。

【0047】

〔４．処理フロー〕
以下、図４、５に示すフローチャートを参照し、情報処理システム１０におけるシーンマネージャＳＭの処理を主に説明する。なお、図１に示すシーンマネージャＳＭ、カメラプロセッサＣ、レンダラＲ、配信サーバＣＨは、ＣＰＵ１０１が補助記憶装置１０３に記憶されている各種プログラムや各種データを主記憶装置１０２に読み出して実行することで、図４に示す処理を行う。なお、図５で後述するバーチャルカメラＶＣ１の設定処理についても同様である。

【0048】

図４は、シーンマネージャＳＭのイベントに係る事象の記録処理を示すフローチャートである。シーンマネージャＳＭは、情報処理システム１０を介して提供するリモート会議の進行に伴うプロセスで発生した会議参加者（アバター）間のやり取り、バーチャルカメラＶＣのカメラ情報をタイムコードＴＣに対応付けて記録する。シーンマネージャＳＭは、例えば、図３を用いて説明したデータ構成により、３ＤＣＧ空間内に配置されるオブジェクト、バーチャルカメラＶＣのカメラ情報を補助記憶装置１０３に記録する。同様にして、シーンマネージャＳＭは、配信サーバＣＨから配信された２Ｄ映像の視聴者からのメッセージをタイムコードＴＣに対応付けて記録する。シーンマネージャＳＭでは、アプリケーションプログラムの実行により作成された、３ＤＣＧ空間の映像は、リモート会議参加者にアバター視点を介した立体映像としてリアルタイムに提供される。

【0049】

図４のフローチャートにおいて、処理の開始は、リモート会議といったコンテンツを提供するアプリケーションプログラムの実行のときが例示される。シーンマネージャＳＭは、３ＤＣＧ空間内における絶対的な時間を表現するカウンタであるタイムコードＴＣを初期化（リセット）する（Ｓ１）。シーンマネージャＳＭは、例えば、会議場を構成する様々なオブジェクトを３ＤＣＧ空間内のワールド座標系に配置する。そして、シーンマネージャＳＭは、会議参加者のログインを受け付けるまで待機する（Ｓ２）。但し、リモート会議に参加する会議参加者の人数や役職等が事前に通知されている場合には、予め会議参加者に割当てられたアバターを３ＤＣＧ空間内に配置するとしてもよい。なお、上記オブジェクトは、例えば、シーンマネージャＳＭが参照する補助記憶装置１０３に予め登録される。図４の、待機状態（Ｓ２）においては、シーンマネージャＳＭは、Ｓ３からＳ７の処理で例示される複数のイベント待ちの状態にある。

【0050】

シーンマネージャＳＭは、３ＤＣＧ空間を用いて提供されるリモート会議の会議参加者（プレーヤー）のログイン、ログアウトを受け付ける（Ｓ３）。シーンマネージャＳＭは、会議参加者のログイン、ログアウトを受け付けた場合には（Ｓ３、受け付け）、受け付けた会議参加者のログイン、ログアウトをタイムコードＴＣに対応付けられたキー記録として記録する（Ｓ８）。キー記録には、例えば、会議参加者を一意に識別する識別情報、会議参加者に対応付けられた３Ｄ空間内のアバターの識別情報等が含まれる。

【0051】

シーンマネージャＳＭは、ログインを受け付けた会議参加者に、アバター視点から見たリモート会議が行われる３ＤＣＧ空間の立体映像を提供する。ログインした会議参加者は、例えば、ＨＭＤ等を介して立体映像を視聴しながらアバターを操作し、会議場の移動や他の会議参加者への対話や働きかけを行う。３ＤＣＧ空間で生じた会議参加者の行動によるイベントは、視聴中の立体映像に反映される。

【0052】

シーンマネージャＳＭは、リモート会議が進行する３ＤＣＧ空間を中継する複数の配信者Ｕｎのログイン、ログアウトを受け付ける（Ｓ４）。シーンマネージャＳＭは、配信者Ｕｎのログイン、ログアウトを受け付けた場合には（Ｓ４、受け付け）、受け付けた配信者Ｕｎのログイン、ログアウトをタイムコードＴＣに対応付けられたキー記録として記録する（Ｓ８）。キー記録には、例えば、配信者Ｕｎを一意に識別する識別情報、配信者Ｕｎが操作するバーチャルカメラＶＣｎの識別情報が含まれる。なお、３ＤＣＧ空間内における、配信者Ｕｎが操作するバーチャルカメラＶＣｎの初期の配置位置は、シーンマネージャＳＭにより決定される。

【0053】

配信者Ｕｎは、バーチャルカメラＶＣｎの視点位置（ＨＩＤ１、ＨＩＤ２）を操作し、リモート会議が進行する３ＤＣＧ空間を中継する。バーチャルカメラＶＣｎの視点位置（ＨＩＤ１、ＨＩＤ２）は、３ＤＣＧ空間内の任意の位置に設定される。シーンマネージャＳＭは、ログインを受け付けた配信者Ｕｎに、バーチャルカメラＶＣｎの視点位置から見た３ＤＣＧ空間の立体映像を出力する。配信者Ｕｎは、ＨＭＤ等に表示された立体映像を視聴しながらバーチャルカメラＶＣｎの視点位置を操作し、リモート会議が進行する３ＤＣＧ空間を中継する。バーチャルカメラＶＣｎの操作を介して中継された立体映像には、例えば、リモート会議の進行に伴うイベントに応じた３ＤＣＧ空間内の移動、特定のアバターへのズームアップ等が反映される。

【0054】

シーンマネージャＳＭは、会議参加者によるアバターへの操作入力を受け付ける（Ｓ５）。シーンマネージャＳＭは、受け付けた操作入力により、リモート会議が進行する３ＤＣＧ空間に配置されたオブジェクト移動、回転、拡大・縮小が生じた場合には（Ｓ５、Ｙｅｓ）、タイムコードＴＣに対応付けて上記オブジェクト移動、回転、拡大・縮小を表すパラメータをキー記録として記録する（Ｓ９）。シーンマネージャＳＭは、例えば、図３に示すデータ構成を用いて対象オブジェクトについての各種パラメータを記録する。

【0055】

シーンマネージャＳＭは、配信者ＵｎによるバーチャルカメラＶＣｎへの操作入力を受け付ける（Ｓ６）。シーンマネージャＳＭは、配信者ＵｎによるバーチャルカメラＶＣｎへの操作入力を受け付けた場合には（Ｓ６、Ｙｅｓ）、バーチャルカメラＶＣｎのカメラ情報をタイムコードＴＣに対応付けてキー記録として記録する（Ｓ１０）。シーンマネージャＳＭは、例えば、図３に示すデータ構成を用いて操作対象のバーチャルカメラＶＣｎについてのカメラ情報を記録する。

【0056】

シーンマネージャＳＭは、配信サーバＣＨから配信された２Ｄ映像の視聴者からのメッセージ（視聴者反応）を受け付ける（Ｓ７）。視聴者から受け付けたメッセージには、文字、音声、動作等のリアクション信号が含まれる。シーンマネージャＳＭは、配信サーバＣＨから配信された２Ｄ映像の視聴者からのメッセージを受け付けた場合には（Ｓ７、Ｙｅｓ）、受け付けたメッセージをタイムコードＴＣに対応付けて視聴者反応として記録する（Ｓ１１）。

【0057】

コンテンツの提供者（サービス事業者）は、例えば、シーンマネージャＳＭに記録されたメッセージに含まれる、配信された２Ｄ映像についての評価や要望等を提供するコンテンツやサービス内容に反映する。

【0058】

次に、図５に示すフローチャートを参照し、シーンマネージャＳＭのバーチャルカメラＶＣ１の設定処理を説明する。図５は、シーンマネージャＳＭのバーチャルカメラＶＣ１の設定処理を示すフローチャートである。なお、図５に示すフローチャートの処理の開始およびＳ１の処理は、図４に示す処理と同様である。

【0059】

シーンマネージャＳＭは、コントローラＣＮを介し、配信者Ｕｎの操作するバーチャルカメラＶＣｎの操作入力を受け付ける（Ｓ２１）。操作入力には、バーチャルカメラＶＣｎのカメラ情報、例えば、３ＤＣＧ空間内の視点位置（ＨＩＤ１、ＨＩＤ２の各座標）、ズームイン・ズームアウト（拡大・縮小）、カメラの向き（回転取得センサ）、画角、映像取得開始（ＨＩＤトリガーＯＮ／ＯＦＦ）等を表すパラメータが含まれる。シーンマネージャＳＭは、受け付けたバーチャルカメラＶＣｎのカメラ情報を取得し、主記憶装置１０２の所定の領域に一時的に記憶する。シーンマネージャＳＭの処理は、Ｓ２２の処理に移行する。

【0060】

シーンマネージャＳＭは、操作入力に映像取得開始を表すパラメータ（ＨＩＤトリガーＯＮ）が含まれている場合には（Ｓ２２、Ｙｅｓ）、Ｓ２３の処理に移行する。シーンマネージャＳＭは、操作入力に映像取得開始を表すパラメータ（ＨＩＤトリガーＯＮ）が含まれていない場合には（Ｓ２２、Ｎｏ）、Ｓ２１の処理に戻る。

【0061】

シーンマネージャＳＭは、リモート会議が提供される３ＤＣＧ空間内を任意の視点で中継するバーチャルカメラＶＣｎが既に配置されているかを判定する（Ｓ２３）。シーンマネージャＳＭは、上記のバーチャルカメラＶＣｎが既に配置されている場合には（Ｓ２３，Ｙｅｓ）、Ｓ２６の処理に移行する。シーンマネージャＳＭは、上記のバーチャルカメラＶＣｎが未だ配置されていない場合には（Ｓ２３，Ｎｏ）、Ｓ２４の処理に移行する。

【0062】

Ｓ２４の処理では、シーンマネージャＳＭは、図６を用いて後述するカメラ方向設定アルゴリズムに従って、バーチャルカメラＶＣｎの視点位置（ＨＩＤ１、ＨＩＤ２）を設定する。シーンマネージャＳＭは、Ｓ２４の処理で設定された視点位置（ＨＩＤ１、ＨＩＤ２）に、３ＤＣＧ空間内を任意の視点で中継するバーチャルカメラＶＣｎを配置する（Ｓ２５）。３ＤＣＧ空間におけるバーチャルカメラＶＣｎの配置位置は、２つの視点位置（ＨＩＤ１、ＨＩＤ２）の中間点により表される。シーンマネージャＳＭの処理は、Ｓ２７の処理に移行する。

【0063】

Ｓ２６の処理では、シーンマネージャＳＭは、バーチャルカメラＶＣｎの位置、角度等を更新する。シーンマネージャＳＭは、Ｓ２１の処理で受け付けたＨＩＤ１、ＨＩＤ２の各座標からバーチャルカメラＶＣｎの位置を更新し、カメラの向きからカメラの回転角度を更新する。シーンマネージャＳＭの処理は、Ｓ２７の処理に移行する。

【0064】

Ｓ２７の処理では、シーンマネージャＳＭは、Ｓ２５、Ｓ２６の処理で設定されたバーチャルカメラＶＣｎのカメラ情報等を補助記憶装置１０３に記録する。上記カメラ情報は、例えば、図３を用いて説明したデータ構成により記録される。シーンマネージャＳＭの処理は、Ｓ２８の処理に移行する。

【0065】

Ｓ２８の処理では、シーンマネージャＳＭは、タイムコードＴＣのカウント値が記録可能時間に到達したかを判定する。ここで、記録可能時間とは、予め定められた設定時間であり、例えば、補助記憶装置１０３等のメモリ容量等から求めることができる。シーンマネージャＳＭは、タイムコードＴＣのカウント値が記録可能時間に到達している場合には（Ｓ２８，Ｙｅｓ）、図５に示す処理を終了する。また、シーンマネージャＳＭは、タイムコードＴＣのカウント値が記録可能時間に到達していない場合には（Ｓ２８，Ｎｏ）、Ｓ２１の処理に移行し、図５に示す処理を継続する。

【0066】

次に、図６を参照し、カメラ方向設定アルゴリズムを説明する。図６は、バーチャルカメラＶＣｎのカメラ方向の設定を説明する説明図である。図６においては、バーチャルカメラＶＣｎの視点方向の、右方向への回転（時計回り）を上面視した上面図が例示される。図６に示すバーチャルカメラＶＣｎの状態は、（１）→（２）→（３）の順で変化する。なお、（１）に示す状態は、初期状態を表す。

【0067】

図６において、ＨＩＤ１、ＨＩＤ２は、３ＤＣＧ空間内におけるバーチャルカメラＶＣｎの視点位置を表し、ＨＩＤ１とＨＩＤ２の中間点Ｐ１が、バーチャルカメラＶＣｎの配置位置を表す。上記視点位置、配置位置は、ワールド座標系で表される。ＨＩＤ１、ＨＩＤ２の視点位置は、バーチャルカメラＶＣｎを操作する配信者Ｕｎによって設定される。なお、ＨＩＤ１とＨＩＤ２との間の距離は、バーチャルカメラＶＣｎの画角（ＦＯＶ）、または、焦点処理（ｆ）に対応付けられる。バーチャルカメラＶＣｎの画角（ＦＯＶ）は、例えば、配信者Ｕｎの操作入力、或いは、シーンマネージャＳＭの制御によって、ＨＩＤ１とＨＩＤ２との間の距離を広げることで、バーチャルカメラＶＣｎの画角（ＦＯＶ）の広角化が可能になる。

【0068】

中間点Ｐ１に配置されたバーチャルカメラＶＣｎの、３ＤＣＧ空間内の注視点は「ＶＤ」で表され、中間点Ｐ１から注視点ＶＤに向かう矢印が３ＤＣＧ空間内におけるバーチャルカメラＶＣｎの視軸方向を表す。「ＶＤ１」はＨＩＤ１による視軸方向を表し、「ＶＤ２」はＨＩＤ２による視軸方向を表す。なお、図６に示すＰ２、Ｐ３は、配信者Ｕｎの左右の視点を表す。

【0069】

図６に示すカメラ方向設定アルゴリズムにおいては、ＨＩＤ１の視軸方向の単位ベクトルを定数倍（ｈ）した終点座標ＶＰ１と、ＨＩＤ２の視軸方向の単位ベクトルを定数倍（ｈ）した終点座標ＶＰ２との中間点を用いて、カメラ方向が移動するバーチャルカメラＶＣｎの注視点ＶＤを設定する。

【0070】

図６（１）に示すように、初期状態においては、終点座標ＶＰ１、ＶＰ２、注視点ＶＤ
の座標は、バーチャルカメラＶＣｎの視軸に直交する同一平面上に存在する。図６（１）状態で、配信者Ｕｎの操作入力よってバーチャルカメラＶＣｎの回転角度のセンサ値が入力される。シーンマネージャＳＭは、例えば、ＨＩＤ１の視軸の方向を維持した状態で、ＨＩＤ２の視軸を入力された回転角度に沿って右方向に回転させる（図６（２））。

【0071】

図６（２）に示すように、シーンマネージャＳＭは、例えば、ＨＩＤ１の終点座標ＶＰ１と、回転移動したＨＩＤ２の終点座標ＶＰ２との中間点にバーチャルカメラＶＣｎの注視点ＶＤを設定する。３ＤＣＧ空間におけるバーチャルカメラＶＣｎの視軸方向は、ＨＩＤ１とＨＩＤ２との中間点Ｐ１と、回転移動後の上記注視点ＶＤとを結ぶ直線方向となる。

【0072】

シーンマネージャＳＭは、図６（２）に示す状態から、ＨＩＤ２の視軸を入力された回転角度に沿って右方向に回転させると共に、ＨＩＤ１の視軸を右方向に回転させる（図６（３））。このときの、ＨＩＤ１の視軸の右方向への回転移動量は、図６（２）に示すＨＩＤ２の視軸の回転移動量に相当する。

【0073】

図６（３）に示すように、シーンマネージャＳＭは、回転移動後のＨＩＤ１の終点座標ＶＰ１と、ＨＩＤ２の終点座標ＶＰ２との中間点にバーチャルカメラＶＣｎの注視点ＶＤを設定する。３ＤＣＧ空間におけるバーチャルカメラＶＣｎの視軸方向は、ＨＩＤ１とＨＩＤ２との中間点Ｐ１と、回転移動によって更新された注視点ＶＤとを結ぶ直線方向になる。

【0074】

シーンマネージャＳＭは、入力された回転角度のセンサ値が反映されるまで、上述した処理を連続して実行し、バーチャルカメラＶＣｎの注視点ＶＤと視軸方向を回転させる。シーンマネージャＳＭにおいては、図６を用いて説明したカメラ方向設定アルゴリズムを実行することで、バーチャルカメラＶＣｎのより自然な回転操作を立体映像に反映する。

【0075】

以上、説明したように、情報処理システム１０は、リモート会議が進行する３ＤＣＧ空間の任意の位置にバーチャルカメラを設定できる。情報処理システム１０は、バーチャルカメラを介し、リモート会議が進行するプロセスで発生した会議参加者間のやり取り等の事象を、任意の視点位置から見た立体映像として中継できる。情報処理システム１０は、中継された立体映像を２次元映像に変換できる。情報処理システム１０は、リモート会議の様子を視聴する視聴者の有する、スマートフォン等の２Ｄ映像デバイスにリアルタイムに配信できる。

【0076】

情報処理システム１０においては、３次元映像で視聴するための専用デバイスや通信回線の帯域拡張といった環境整備を視聴者に負担させることなく、３ＤＣＧ空間で進行中のリモート会議の様子がリアルタイムに視聴できる。

【0077】

情報処理システム１０は、２次元映像を視聴する視聴者からのメッセージ（文字、音声、動作等のリアクション信号）を受け付けることができる。情報処理システム１０は、例えば、受け付けたメッセージに基づいて、リモート会議が進行する３ＤＣＧ空間内のバー
チャルカメラの中継する視点位置を移動できる。視点位置が更新されたバーチャルカメラの中継する立体映像は、２次元映像に変換されて視聴者に配信される。情報処理システム１０は、配信中の２次元映像に視聴者の意図を反映できる。情報処理システム１０においては、視聴者の反応や視点を考慮した２次元映像が配信できる。すなわち、例えば、会議に発言者として参加するユーザ間のやり取りを、事後あるいはリアルタイムに視聴する視聴者の反応や視点を考慮した映像の配信が望まれるが、これを、情報処理システム１０により実現できる。

【0078】

情報処理システム１０は、リモート会議が進行する３ＤＣＧ空間のオブジェクトの状態、バーチャルカメラの状態を示す情報を、タイムコードに関連付けて記録・保存することができる。情報処理システム１０は、タイムコードに関連付けて記録・保存された情報に基づいて、リモート会議の立体映像を再現することができる。情報処理システム１０は、再現されたリモート会議の２次元映像を、事後に視聴する視聴者の２Ｄ映像デバイスに配信できる。情報処理システム１０は、事後に配信する２次元映像についても視聴者からのメッセージを受け付けることができる。情報処理システム１０においては、事後においても視聴者の反応や視点を考慮した２次元映像が配信できる。

【0079】

本実施形態に係る情報処理システム１０によれば、ＣＧで描画された３次元空間内における事象の、２次元映像デバイスを用いたリアルタイムおよび非同期の双方向参加が可能な技術が提供できる。

【0080】

〔変形例〕
実施形態においては、情報処理システム１０の提供するコンテンツは、３ＤＣＧ空間を用いたコンテンツとして説明した。情報処理システム１０は、例えば、実際の会議場をＣＣＤ（Charge-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を備えるカメラで撮影し、撮影された会議場にアバター等のオブジェクトを配置する形態としてもよい。実際の会議場を用いることで、リモート会議における臨場感や没入感の向上が期待できる。

【0081】

図７は、実空間の会議場Ａ２を撮影するカメラＲＣを備える情報処理システムの一例を示す構成図である。カメラＲＣは、外部ネットワークに接続し、リモート会議の会議場となる実空間の映像を取得する。実空間の会議場の映像を撮影するカメラＲＣは、複数に存在し得る。

【0082】

実空間の会議場の映像を撮影するカメラＲＣは、会議場に対して固定されているものとする。シーンマネージャＳＭは、例えば、カメラＲＣの位置、傾き、画角等のカメラ情報を用いて撮像された映像の動画フレームを解析し、会議場を撮影するカメラの視軸を推定する。そして、シーンマネージャＳＭは、固定されたカメラの視軸に基づいて、３ＤＣＧで描画されたアバター等のオブジェクトを配置するワールド座標系を特定する。シーンマネージャＳＭは、ワールド座標系に３ＤＣＧで作成されたオブジェクトを配置するための基準となるマーカ等を設定する。そして、シーンマネージャＳＭは、マーカ位置に３ＤＣＧで作成されたアバター等のオブジェクトを配置し、実施形態で説明したリモート会議のコンテンツを提供するとすればよい。なお、実空間を撮影するカメラＲＣが固定でない場合には、実空間内に撮影位置の推定基準となるマーカ（実マーカ）を設置すればよい。

【0083】

リモート会議の会議参加者には、例えば、実空間で撮影中の会議場と３ＤＣＧで作成されたアバター等が合成された３次元空間が、アバター視点から見た立体映像として提供される。実空間から撮影された会議場においても、会議参加者は自身のアバターを操作し、会議における発言や対話、他者への働きかけや会議場内の移動等の行動が可能になる。
リモート会議の様子を中継する配信者Ｕｎは、実施形態と同様にしてバーチャルカメラＶＣｎを操作し、合成された３次元空間の任意の視点位置から見た立体映像を中継することができる。

【0084】

なお、情報処理システム１０は、会議参加者や配信者といった被写体を撮影し、撮影された被写体の実空間における映像を３ＤＣＧ空間に合成するとしてもよい。実空間における被写体の映像と３ＤＣＧ空間の映像との合成として、クロマキー（Chroma key）合成が例示される。図８、図９は、クロマキー合成を用いる際の、実空間における被写体の撮影を説明する図である。

【0085】

図８、図９において、背景２０はグリーンバック、あるいは、ブルーバックといった所定色の背景である。クロマキー合成においては、所定色の背景２０が撮影された領域に、３ＤＣＧの映像が合成される。被写体２１の映像は、背景２０で指定される所定色の実空間を背景として、カメラ２２によって撮影される。カメラ２２は、例えば、カメラの配置位置、傾き、画角といったカメラ情報と共に被写体２１の実空間における映像を撮影する。被写体２１の位置は、センサ２３によって特定される。なお、カメラ２２は、例えば、撮影対象になる空間の奥行きを取得可能な奥行きカメラであってもよい。

【0086】

図９に示すように、被写体２１は、自身の頭部の動きを検知可能なＨＭＤ２５や腕部の
動きを検知するモーションセンサ２４を備えるとしてもよい。被写体２１が、情報処理シテム１０の提供する立体映像の配信者の場合には、実施形態で説明したように、合成された３ＤＣＧ空間を任意の視点位置から中継するバーチャルカメラＶＣの操作デバイスを備える。ＨＭＤ２５、モーションセンサ２４を介して検知された被写体２１の動きは、合成される３ＤＣＧ空間内の動作や行動に反映される。

【0087】

図１０は、合成映像の一例を示す図である。図１０においては、図９に示す所定色の背景２０に対する映像内の部分領域に対して、３ＤＣＧ空間の映像２６を合成した状態が例示される。情報処理システム１０においては、被写体２１が会議参加者の場合には、被写体２１と３ＤＣＧ空間で作成された映像２６とを合成した立体映像がリモート会議の会議参加者に提供される。

【0088】

図１１は、２Ｄ映像デバイスに表示された合成映像の一例を示す図である。図１１においては、２Ｄ映像デバイス２７に表示された画面内には、ＨＭＤ等を装着した被写体２１と３ＤＣＧ空間の映像２６とが合成された状態で表示される。なお、図１１の２Ｄ映像デバイス２７は、ＨＭＤ等を装着した被写体２１と３ＤＣＧ空間の映像２６とが合成された立体映像を、裸眼で視聴可能なデバイスであってもよい。被写体２１が、情報処理システム１０の提供する立体映像の配信者の場合には、例えば、合成された３ＤＣＧ空間で進行中の事象を任意の視点位置から中継すると共に、事象の解説や事象に至る背景を音声にて視聴者に通知できる。

【0089】

次に、カメラで撮影された被写体がリモート会議に参加する形態について説明する。図１２は、ＨＭＤを装着した被写体がリモート会議に参加する形態の説明図である。図１２において、「Ｃ１１」は、図８、図９で説明した被写体Ｕａを撮影するカメラを表す。また、「Ｒ１１」は、被写体Ｕａの装着するＨＭＤにリアルタイムに表示される映像を表し、「Ｒ１２」は、外部ネットワークに接続する視聴者に配信される映像を表す。「Ｒ１３」は、カメラＣ１１で撮影された被写体Ｕａが合成されたリモート会議のリアルタイム映像を表す。被写体Ｕａは、ＨＭＤに表示される映像を視聴しながらリモートに参加する。ＨＭＤには、例えば、ＨＭＤを介して検知された被写体Ｕａの頭部の動きに対応する視点位置の映像が表示される。

【0090】

図８、図９を用いて説明したように、被写体Ｕａは、グリーンバック等のクロマキー合成が可能な背景を設置し、ＲＧＢ映像を撮影可能なカメラＣ１１、あるいは、撮影された映像領域から背景の切り出しが可能な奥行きカメラＣ１１で自身を撮影する。カメラＣ１１は、少なくともカメラ位置（Ｐｏｓ（ｘ，ｙ，ｚ））、回転（Ｒｏｔ（ｐ，ｙ，ｒ））を含むカメラ情報をタイムコードＴＣに対応付けて記録すると共に、上記カメラ情報と被写体Ｕａの映像をシーンマネージャＳＭに出力する。

【0091】

シーンマネージャＳＭは、カメラＣ１１の映像と３ＤＣＧのオブジェクトとをタイムコードＴＣを合致させて合成する。シーンマネージャＳＭによって合成されたカメラＣ１１の映像と３ＤＣＧ空間のオブジェクトは、映像Ｒ１３に示すように、被写体Ｕａを含むクロマキー合成されたリアルタイム映像が生成される。映像Ｒ１３の生成処理は、例えば、グリーンバック等で撮影されたフレーム毎のＲＧＢ画像の色空間を回転し、ＨＳＢ（Hue、Saturation、Brightness）空間に変換する。そして、上記生成処理においては、変換された画像に対する背景除去処理、および、カメラＣ１１の視軸方向から視た３ＤＣＧ映像との合成処理がリアルタイムで行われる。生成された映像Ｒ１３は、配信サーバＣＨを介し、外部ネットワークに接続する視聴者の２Ｄ映像デバイスに２次元映像として配信される。

【0092】

図１３は、ＨＭＤを装着しない被写体がリモート会議に参加する形態の説明図である。
被写体がＨＭＤを装着しない形態においても、図１２と同様の処理が行われる。但し、被写体Ｕａは、リアルタイムで進行するリモート会議の立体映像を裸眼で視聴可能な表示デバイスに表示された映像、あるいは、情報処理システム１０によって変換された２Ｄ映像を視聴しながら参加すればよい。シーンマネージャＳＭは、例えば、補助記憶装置１０３に、カメラＣ１１の映像と３ＤＣＧ空間のオブジェクトを合成したリモート会議のデータを、オフライン動画ファイル（ＳＶ）として保存するとしてもよい。なお、シーンマネージャＳＭは、図１２の形態についても同様にして、上記リモート会議のデータを補助記憶装置１０３に保存できる。

【0093】

図１３に示す形態は、例えば、事後に再生されるリモート会議の映像についても適用が可能である。図１４は、ＨＭＤを装着しない被写体が事後に再生されるリモート会議に参加する形態の説明図である。図１４においては、補助記憶装置１０３等にオフライン動画ファイル（ＳＶ）として保存された映像が、被写体Ｕａの視聴可能な映像として再生される。但し、再生される事後の映像は、他の資料映像やシーンを記録した動画やシーケンスといった互換を有する動画映像であってもよい。

【0094】

図１４において、情報処理システム１０のシーンマネージャＳＭは、補助記憶装置１０３に保存されたオフライン動画ファイル（ＳＶ）を読み出して再生する。再生されたオフライン動画ファイル（ＳＶ）は、被写体Ｕａが視聴可能な表示デバイスに映像Ｒ１１として表示される。ここで、映像Ｒ１１は、被写体Ｕａが視聴可能な形態であれば、立体映像であってもよく、２Ｄ映像であってもよい。

【0095】

図１４の被写体Ｕａは、グリーンバック等のクロマキー合成が可能な背景を設置し、ＲＧＢ映像を撮影可能なカメラＣ１１、あるいは、撮影された映像領域から背景の切り出しが可能な奥行きカメラＣ１１で自身を撮影する。カメラＣ１１は、少なくともカメラ位置（Ｐｏｓ（ｘ，ｙ，ｚ））、回転（Ｒｏｔ（ｐ，ｙ，ｒ））を含むカメラ情報をタイムコードＴＣに対応付けて記録すると共に、上記カメラ情報と被写体Ｕａの映像をシーンマネージャＳＭに出力する。シーンマネージャＳＭは、カメラＣ１１の映像と３ＤＣＧのオブジェクトとをタイムコードＴＣを合致させて合成し、被写体Ｕａがクロマキー合成された映像Ｒ１３に示す映像を生成する。なお、映像Ｒ１３の生成処理については、図１３を用いて説明した。

【0096】

オフライン動画ファイル（ＳＶ）を用いて生成された映像Ｒ１３は、配信サーバＣＨを介し、外部ネットワークに接続する視聴者の２Ｄ映像デバイスに２次元映像として配信される。視聴者には、オフライン動画ファイル（ＳＶ）を用いて再生された立体映像内に、事後の参加者としてリモート会議に参加する被写体Ｕａを含む２次元映像が配信される。シーンマネージャＳＭは、再生されたオフライン動画ファイル（ＳＶ）に対して被写体Ｕａが合成された映像データを補助記憶装置１０３に保存できる。

【0097】

図１４に示す形態では、例えば、被写体Ｕａの身振りや手振り等のアクションを含む演技が、再生されたオフライン動画ファイル（ＳＶ）に対して反映される。被写体Ｕａの演技によっては、例えば、過去に進行されたリモート会議内に被写体Ｕａが存在しているかのような映像を合成し、タイムコードＴＣに対応付けて記録することが可能になる。
この結果、図１４に示す形態の情報処理システム１０においては、リアルタイムで会議に参加できなかった人物が、ＨＭＤの装着無しに会議に参加し、発言を記録するといったデータの共有化が可能になる。
補助記憶装置１０３に保存されたオフライン動画ファイル（ＳＶ）は、再帰的に使用できるため、複数の会議参加者がタイムコード上において前後して参加する「時間を超えた会議」が可能になる。

【0098】

図１５は、実空間における被写体を撮影するカメラを備える場合の、イベントに係る事象の記録処理を示すフローチャートである。情報処理システム１０が実空間における被写体を撮影するカメラを備える場合には、例えば、シーンマネージャＳＭは、図４に示すＳ１の処理の実行前に、図１５に示すＳ３１からＳ３３の処理を実行するとすればよい。

【0099】

図１５のＳ３１の処理では、シーンマネージャＳＭは、実空間における被写体を撮影するカメラ（実カメラ）の存在を判定する。シーンマネージャＳＭは、実カメラが存在する場合には（Ｓ３１，有）、Ｓ３３の処理に移行する。一方、シーンマネージャＳＭは、実カメラが存在しない場合には（Ｓ３１，無）、Ｓ３２の処理に移行する。Ｓ３２の処理では、シーンマネージャＳＭは、実施形態で説明した３ＤＣＧ空間のコンテンツ映像を生成する。また、Ｓ３３の処理では、シーンマネージャＳＭは、変形例で説明した実カメラで撮影された被写体の映像と３ＤＣＧ空間のオブジェクトとの座標系を合致させて合成されたコンテンツ映像（合成映像）を生成する。図１５に示す処理を実行するシーンマネージャＳＭにおいては、Ｓ３２あるいはＳ３３の処理で生成された映像コンテンツのオブジェクトを対象として、図４に示すイベントに係る事象の記録処理が行われる。

【0100】

なお、図１５のＳ３１に示す処理は、例えば、コンテンツ提供者、あるいは、配信者の操作入力であってもよい。例えば、Ｓ３２の処理で生成されるコンテンツとＳ３３の処理で生成されるコンテンツのそれぞれが提供可能な場合に、シーンマネージャＳＭは、操作入力に従って生成するコンテンツの選択が可能になる。

【0101】

他の変形例として、情報処理システム１０は、視聴者からのメッセージを収集して解析し、配信者の視点を評価するとしてもよい。評価の高い配信者には、配信希望者が相対的に集まるため、例えば、配信映像に含まれる広告等の広告効果が期待できる。また、情報処理システム１０においては、視聴者からのメッセージを収集して解析することで、視聴者の興味の傾向を把握することが可能になる。また、情報処理システム１０の提供する、事後における映像配信のサービス形態として、視聴者を配信者に採用することも可能である。配信映像に対する、視聴者の視点から見た演出・編集が可能になる。

【0102】

なお、以上の実施形態に関し、さらに以下の付記を開示する。

【0103】

［付記１］
撮影対象を多視点で撮影した多視点３次元動画データを生成する動画データ生成手段と、
前記多視点３次元動画データに対して視点の設定を受け付ける手段と、
前記受け付けた視点から前記撮影対象をみたときの動画を生成する手段と、
前記生成された動画を視聴者装置に提供する手段と、
前記視聴者装置から前記動画に対する反応を受け付ける手段と、
前記設定された視点と、前記多視点３次元動画データ中の時刻と、前記反応とを記録する手段と、
を備える情報処理システム。

【0104】

［付記２］
前記多視点３次元動画データに対して視点の設定を受け付ける手段は、
前記視聴者から受け付けた反応に基づいて、前記多視点３次元動画データに対する視点を設定する、付記１に記載の情報処理システム。

【0105】

［付記３］
撮像装置をさらに備え、
前記動画データ生成手段は、前記撮像装置で撮影された撮影対象を含む多視点３次元動画データを生成する、付記１または２に記載の情報処理システム。

【0106】

［付記４］
相互に接続するコンピュータが、
撮影対象を多視点で撮影した多視点３次元動画データを生成するステップと、
前記多視点３次元動画データに対して受け付けた視点から前記撮影対象を見たときの動画を生成するステップと、
前記生成された動画を視聴者装置に提供するステップと、
前記視聴者装置から前記動画に対する反応を受け付けるステップと、
前記設定された視点と、前記視点が設定された時刻と、前記反応とを記録するステップと、
を実行する情報処理方法。

【0107】

［付記５］
前記設定された視点と前記視点が設定された時刻とにおいて前記生成された動画を視聴者に視聴させるステップを有し、
視聴する状態における視聴者およびその反応を記録し保存する撮影手段によって前記生成された動画と他の動画との間で、少なくとも座標系、色調、視点方向を合わせた合成処理を実行する、付記４に記載の情報処理方法。

【0108】

［付記６］
前記設定された視点と、前記視点が設定された時刻と前記生成された動画を保存する手段を有し、
視聴する状態における視聴者およびその反応を記録し保存する撮影手段によって前記生成された動画と、前記保存された動画もしくは互換を有する他の動画との間で、少なくとも座標系、色調、視点方向を合わせた合成処理を実行する、付記４に記載の情報処理方法。

【符号の説明】

【0109】

１０ 情報処理システム
２０ 背景
２１ 被写体
２２ カメラ
２３ センサ
２４ モーションセンサ
２５ ＨＭＤ
２６ 映像
２７ ２Ｄ映像デバイス
１００ コンピュータ
１０１ ＣＰＵ
１０２ 主記憶装置
１０３ 補助記憶装置
１０４ 入出力ＩＦ
１０５ 通信ＩＦ
１０６ 接続バス
Ｃ、Ｃ１、Ｃ２、Ｃ３ カメラプロセッサ
Ｃ１１ カメラ
ＶＣ、ＶＣ１、ＶＣ２、ＶＣ３ バーチャルカメラ（仮想カメラ）
Ｐ１、Ｐ２ アバター
Ｒ、Ｒ１、Ｒ２、Ｒ３ レンダラ
ＲＣ カメラ（実カメラ）
ＳＭ シーンマネージャ
ＳＶ オフライン動画ファイル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】