特開 2022-179583 ３ＤＡＲコンテンツ作成装置、３ＤＡＲコンテンツ再生装置、及び、３ＤＡＲコンテンツ作成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179583

(43)【公開日】2022-12-02

(54)【発明の名称】３ＤＡＲコンテンツ作成装置、３ＤＡＲコンテンツ再生装置、及び、３ＤＡＲコンテンツ作成システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221125BHJP

   H04N 13/293 20180101ALI20221125BHJP

   H04N 13/279 20180101ALI20221125BHJP

   H04N 13/286 20180101ALI20221125BHJP

   H04N 13/239 20180101ALI20221125BHJP

   H04N 7/18 20060101ALI20221125BHJP

   H04N 13/341 20180101ALN20221125BHJP

【ＦＩ】

G06T19/00 600

H04N13/293

H04N13/279

H04N13/286

H04N13/239

H04N7/18 K

H04N7/18 U

H04N13/341

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022158017

(22)【出願日】2022-09-30

(62)【分割の表示】P 2020520971の分割

【原出願日】2018-05-24

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】清水 宏

(72)【発明者】

【氏名】奥 万寿男

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】渡辺 光信

(57)【要約】

【課題】
背景映像と３ＤＡＲオブジェクトの奥行き関係を考慮する３Ｄ表示が可能な３ＤＡＲコンテンツ作成装置、３ＤＡＲコンテンツ再生装置、及び、３ＤＡＲコンテンツ作成システムを提供する。
【解決手段】
３ＤＡＲコンテンツ作成装置であって、カメラと、カメラの位置情報を検出する位置情報センサと、コントローラを有し、コントローラは、カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、背景映像の特徴点と３Ｄ映像を持つＡＲオブジェクトに対し、カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、背景映像の特徴点とＡＲオブジェクトの奥行きを評価し合成映像を得る構成とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラと、前記カメラの位置情報を検出する位置情報センサと、コントローラと、通信部を有し、
前記通信部は、他の装置と通信し、前記他の装置が３Ｄ表示能力を備えているか否かを示す表示能力情報を受信し、
前記コントローラは、前記カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、前記背景映像の特徴点に対し、前記カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、前記背景映像の特徴点に付与された位置座標とＡＲオブジェクトに付与された位置座標を用いて、前記背景映像と前記ＡＲオブジェクトの３Ｄ合成映像を取得し、
前記コントローラは、前記背景映像と前記ＡＲオブジェクトを２Ｄ化し、２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトの２Ｄ合成映像を取得する２Ｄ化処理を有し、
前記コントローラは、前記通信部により受信した前記表示能力情報に基づき前記他の装置が３Ｄ表示能力を備えているか否かを判断し、前記他の装置が３Ｄ表示能力を備えている場合に前記３Ｄ合成映像を前記他の装置に配信し、前記他の装置が３Ｄ表示能力を備えていない場合に前記２Ｄ合成映像を前記他の装置に配信することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項2】

カメラと、前記カメラの位置情報を検出する位置情報センサと、コントローラと、通信部を有し、
前記コントローラは、前記カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、前記背景映像の特徴点に対し、前記カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、
前記通信部は、他の装置と通信し、前記他の装置との距離と方向を示す第一の情報と前記他の装置が３Ｄ表示能力を備えているか否かを示す第二の情報を受信し、
前記コントローラは、前記通信部により受信した前記第一の情報を前記カメラの位置情報を基準とする情報に変換し、前記他の装置に関するＡＲオブジェクトに対し、前記変換された情報から背景映像に対する空間の位置座標を付与し、前記背景映像の特徴点に付与された位置座標と前記ＡＲオブジェクトに付与された位置座標とを比較することにより前面に表示させる方を判断し、前記背景映像と前記ＡＲオブジェクトの３Ｄ合成映像を取得し、
前記コントローラは、前記背景映像と前記ＡＲオブジェクトを２Ｄ化し、２Ｄ化した背景映像と２Ｄ化したＡＲオブジェクトの２Ｄ合成映像を取得する２Ｄ化処理を有し、
前記コントローラは、前記通信部により受信した前記第二の情報に基づき前記他の装置が３Ｄ表示能力を備えているか否かを判断し、前記他の装置が３Ｄ表示能力を備えている場合に前記３Ｄ合成映像を前記他の装置に配信し、前記他の装置が３Ｄ表示能力を備えていない場合に前記２Ｄ合成映像を前記他の装置に配信することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項3】

請求項１または請求項２に記載の３ＤＡＲコンテンツ作成装置であって、
前記カメラは３Ｄ映像を背景映像として撮影する３Ｄカメラであって、
前記コントローラは、前記背景映像の特徴点を頂点とする面データの集合として空間形状面データを生成することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項4】

請求項１または請求項２に記載の３ＤＡＲコンテンツ作成装置であって、
背景映像を撮影するカメラよりも広い撮影領域を有し、広角映像を得る広角カメラを備え、
前記コントローラは、前記背景映像の特徴点に対し広角映像に対応する空間の位置座標を付与することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項5】

請求項４に記載の３ＤＡＲコンテンツ作成装置であって、
前記広角映像を得る広角カメラは、おおよそ周囲３６０度の映像を得る３６０度カメラであることを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項6】

請求項１または請求項２に記載の３ＤＡＲコンテンツ作成装置であって、
前記３Ｄ合成映像を３Ｄ表示する３Ｄディスプレイを有することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項7】

請求項４に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記背景映像、もしくは前記背景映像と前記広角映像を保存することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項8】

請求項１または請求項２に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記カメラの移動を計測し、計測した移動データに基づき、前記背景映像の特徴点に付与する空間の位置座標の再計算を行ない、計測した移動データを保存することを特徴とする３ＤＡＲコンテンツ作成装置。

【請求項9】

請求項３に記載の３ＤＡＲコンテンツ作成装置であって、
前記コントローラは、前記映像の特徴点を頂点とする面データをひとつ以上指定して、指定された面データの領域の背景映像をマスクすることを特徴とする３ＤＡＲコンテンツ作成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄ（3Dimensional：３次元）映像と３ＤのＡＲ（Augmented Reality：仮想現実）オブジェクトから成る３ＤＡＲコンテンツを作成する３ＤＡＲコンテンツ作成装置、及び３ＤＡＲコンテンツを再生・表示する３ＤＡＲコンテンツ再生装置、さらに、それらを有する３ＤＡＲコンテンツ作成システムに関する。

【背景技術】

【0002】

プレーヤの目線で捉える映像をカメラで撮影して、スポーツ等のアクティビティ体験を共有することが行われている。この時プレーヤは、カメラをヘルメットやヘアバンドに固定して装着する、いわゆる“アクションカム”を用いることが多い。視聴者は、アクションカム等で撮影する映像を、ネットワークを介して“スマートフォン”などの表示デバイスで、リアルタイムに視聴することや、カメラ内部の保存デバイスに一時格納した後、タイムシフトして視聴することができる。

【0003】

また、ＡＲの利用が行われている。ＡＲでは、ＡＲトリガーと呼ばれる映像をカメラで撮影して、ＡＲトリガーで紐付けしているＣＧ（Computer Graphics）等の情報を、カメラ映像に合成して、表示させる。

【0004】

さらに、特開２０１６－５３７８８号公報（特許文献１）では、カメラ映像上に３ＤＡＲオブジェクトを投影表示して、ＡＲコンテンツを提供する方法を提案している。また、カメラ映像と３ＤＡＲオブジェクトを保存する方法を開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６－５３７８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、３ＤＡＲオブジェクトを２Ｄ化して、カメラ映像上にオーバレイ表示することが開示されているが、背景映像は２Ｄ映像であり、背景映像と３ＤＡＲオブジェクトの奥行き関係を考慮する３Ｄ表示を行うことはできず、３ＤＡＲコンテンツを視聴者に提供するには十分でないという課題がある。また、３ＤＡＲオブジェクトが、３６０度全周方向に配置されている場合には、３６０度のカメラ映像と組み合わせた３ＤＡＲコンテンツの提供が必要となる。

【0007】

本発明は、上記課題に鑑みてなされたものであり、その目的は、カメラ映像に３ＤＡＲオブジェクトを合成して３ＤＡＲコンテンツを作成する装置、３ＤＡＲコンテンツの再生装置、および３ＤＡＲコンテンツの作成システムを提供することにある。

【課題を解決するための手段】

【0008】

本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、３ＤＡＲコンテンツ作成装置であって、カメラと、カメラの位置情報を検出する位置情報センサと、コントローラを有し、コントローラは、カメラが撮影する背景映像の少なくとも一部の映像の特徴点の奥行きを計測し、背景映像の特徴点と３Ｄ映像を持つＡＲオブジェクトに対し、カメラの位置情報および計測した特徴点の奥行きから背景映像に対応する空間の位置座標を付与し、背景映像の特徴点とＡＲオブジェクトの奥行きを評価し合成映像を得る構成とする。

【発明の効果】

【0009】

本発明によれば、背景映像と３ＤＡＲオブジェクトの奥行き関係を考慮する３Ｄ表示が可能な３ＤＡＲコンテンツ作成装置、３ＤＡＲコンテンツ再生装置、及び、３ＤＡＲコンテンツ作成システムを提供できる。また、３ＤＡＲオブジェクトが３６０度全周方向に配置された場合にも、３６０度方向に３ＤＡＲコンテンツの作成・保存が可能なシステムを提供できる。

【図面の簡単な説明】

【0010】

【図1】実施例１における３ＤＡＲコンテンツ作成装置の外観模式図である。

【図2】実施例１における３ＤＡＲコンテンツ作成装置の構成ブロック図である。

【図3】実施例１における３６０度の３ＤＡＲコンテンツの第一の表示例である。

【図4】実施例１における３ＤＡＲコンテンツの第二の表示例である。

【図5】実施例１における３６０度の３ＤＡＲコンテンツの第三の表示例である。

【図6】実施例１におけるメニューオブジェクトを説明する図である。

【図7】実施例１における３Ｄ映像の空間形状データを説明する図である。

【図8】実施例１における３ＤＡＲオブジェクトのパラメータ設定を説明する図である。

【図9】実施例１における３ＤＡＲコンテンツのマスク処理を説明する図である。

【図10A】実施例１における３ＤＡＲコンテンツを構成するデータの例である。

【図10B】実施例１における３ＤＡＲコンテンツを構成するデータの例である。

【図10C】実施例１における３ＤＡＲコンテンツを構成するデータの例である。

【図11】実施例１における３ＤＡＲコンテンツ作成装置の処理フロー図である。

【図12】実施例２における３ＤＡＲコンテンツ作成装置の外観模式図である。

【図13】実施例２における３ＤＡＲコンテンツ作成装置の構成ブロック図である。

【図14】実施例２における３ＤＡＲコンテンツ作成装置の表示例である。

【図15】実施例３における３ＤＡＲコンテンツ作成システムの構成図である。

【図16】実施例４における３ＤＡＲコンテンツ作成システムの構成図である。

【図17】実施例５における３ＤＡＲコンテンツ再生装置の構成ブロック図である。

【図18】実施例５における３ＤＡＲコンテンツ再生装置の処理フロー図である。

【図19】実施例５における表示設定オブジェクトを説明する図である。

【図20】実施例５における３ＤＡＲコンテンツ再生装置の第一の表示例である。

【図21】実施例５における３ＤＡＲコンテンツ再生装置の３６０度の第二の表示例であり、操作オブジェクトを説明する図である。

【図22】実施例５における合成処理部の処理フロー図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら本発明の実施例について説明する。

【実施例0012】

図１は本実施例における３ＤＡＲコンテンツ作成装置の外観模式図である。図１において、１は３ＤＡＲコンテンツ作成装置、１０ａ、１０ｂは広角カメラ、１１ａ、１１ｂは３Ｄカメラ、１２はディスプレイ、１３は偏光光学レンズ、１４ａ、１４ｂはスピーカ、１５はコントローラ、１６ａ、１６ｂは装着部、１７はセンサである。

【0013】

３ＤＡＲコンテンツの作成者は、装着部１６ａ、１６ｂで、３ＤＡＲコンテンツ作成装置１（以下装置１と記す場合もある）を自身の頭部に装着する。装着部１６ａは頭部上下方向、装着部１６ｂは頭部前後方向に固定するものである。

【0014】

広角カメラ１０ａは、頭部前方（作成者の視線の前方）を撮影するように取り付けられており、例えばカメラの撮影画角が上下左右１８０度のカメラであって、前方の半球の範囲を撮影する。広角カメラ１０ｂは、頭部後方（作成者の視線の後方）を撮影するように取り付けられており、同様にカメラの撮影画角が上下左右１８０度の後方の半球の範囲を撮影する。広角カメラ１０ａと１０ｂを合わせて、ほぼ頭部周囲の３６０度を撮影する。

【0015】

３Ｄカメラ１１ａ、１１ｂにおいて、１１ａは装置１の左側に装着され、作成者の左側前方視線の映像を撮影し、１１ｂは装置１の右側に装着され、作成者の右側前方視線の映像を撮影する。左右の視差のある２つの映像によりステレオ映像である３Ｄカメラで撮影する映像（以下３Ｄ映像と記す場合がある）を撮影する。なお、３Ｄカメラは、赤外光等を照射して反射光を捉えることで距離計測を行うカメラであっても良い。この時、３Ｄカメラを広角カメラに隣接して設置し、広角カメラで撮影する映像の中心を含む領域の距離計測を行わせるようにしても良い。ただし、この時３Ｄ（ステレオ）映像は得られない。

【0016】

コントローラ１５は、広角カメラ１０ａ、１０ｂ、３Ｄカメラ１１ａ、１１ｂの撮影映像を取り込み、内部の保存デバイスに保存するほか、ディスプレイ１２に映し出す映像やスピーカ１４ａ、１４ｂに流す音を作成する。ディスプレイ１２に映し出す映像は、広角カメラ１０ａ、１０ｂの映像（以下広角映像と記す場合がある）、３Ｄカメラ１１ａ、１１ｂの３Ｄ映像に、３ＤＡＲオブジェクトを合成して得る映像である。さらに偏光光学レンズ１３の駆動信号を生成し、ディスプレイ１２に映し出す合成した３Ｄ映像に同期して、左側のみの透過と右側のみの透過を繰り返して、左側視線の映像を作成者の左目で、右側視線の映像を作成者の右目で視認させるようにして、作成者に合成した３Ｄ映像を確認させる。

【0017】

またコントローラ１５は、３Ｄカメラ１１ａ、１１ｂで撮影する３Ｄ映像の各部に対して、左右の視差を利用して奥行き（距離）情報を算出する。この奥行き情報と映像のエッジ情報等と合わせて、図７にて後述するセグメント化した空間形状の面データを得る。空間形状の面データ、および３ＤＡＲオブジェクトは、装置１のＧＰＳ等のセンサ１７による位置情報と広角カメラの撮影映像に対応する位置座標空間で管理する。

【0018】

図２は本実施例における３ＤＡＲコンテンツ作成装置の構成ブロック図である。図２において、図１と同一のものには同一の番号を付している。また、１７ａは位置情報センサ、１７ｂは地磁気センサ、１７ｃはジャイロセンサであり、図１でのセンサ１７に対応し、装着部１６ａ、１６ｂ等に装備される。１８はユーザ操作入力部であり、タッチパネル等で装置１の操作を行う。さらに、１５１ａは空間形状面処理部、１５１ｂは奥行き情報処理部、１５１ｃは明るさ情報処理部、１５１ｄは色情報処理部、１５２は合成処理部、１５３はマスク処理部、１５４ａはＣＰＵ、１５４ｂはＲＡＭ、１５４ｃはＲＯＭ、１５４ｄは通信部、１５５は空間位置座標処理部、１５６ａは広角映像保持部、１５６ｂは３Ｄ映像保持部、１５６ｃは空間形状面データ保持部、１５６ｄは３ＤＡＲオブジェクト保持部、１５６ｅは２Ｄ映像保持部、１５６ｆは２ＤＡＲオブジェクト保持部、１５６ｇは視線移動データ保持部、１５７は２Ｄ化処理部、１５８は２Ｄ合成映像・サムネイルデータ保持部、１５９はユーザ操作データ保持部であり、コントローラ１５を構成する。

【0019】

広角カメラ１０ａの映像はコントローラ１５に取り込まれ、広角映像保持部１５６ａに格納する。また、３Ｄカメラの映像は、３Ｄ映像保持部１５６ｂに格納するほか、明るさ情報処理部１５１ｃ、色情報処理部１５１ｄの入力となる。

【0020】

明るさ情報処理部１５１ｃ、色情報処理部１５１ｄはそれぞれ明るさ情報、色情報の変化点（エッジなど）を抽出する。奥行き情報処理部１５１ｂでは、これらの変化点の左右視差を計測し、奥行きデータを得る。奥行きデータは空間位置座標処理部１５５等に送られる。空間形状面処理部１５１ａでは、変化点、奥行きデータに基づき、特徴点を抽出し空間形状面データを生成し、空間形状面データ保持部１５６ｃに格納する。空間形状面データとは、図７で後述するように、特徴点を頂点とするポリゴンデータであり、３Ｄ映像を抽象化する面データである。各々の頂点には、奥行きデータが与えられ、これら空間形状面データにより、３Ｄ映像の３Ｄ形状が把握できる。

【0021】

位置情報センサ１７ａは、例えばＧＰＳセンサや高度センサであり、装置１の現在位置を測定する。地磁気センサ１７ｂは、装置１の方角を測定する。ジャイロセンサ１７ｃは、測定する装置１の加速度から、装置１の速度や変位などの動きを把握する。地磁気センサ１７ｂの方角とジャイロセンサ１７ｃの動きにより頭部の動きが検出され、それにより装置１のユーザの視線の移動が検知される。視線の移動データは、視線移動データ保持部１５６ｇに格納する。

【0022】

空間位置座標処理部１５５は、装置１の位置と方向、さらに前記空間形状面データ（以下面データと記すこともある）の各頂点の奥行きデータ、および３ＤＡＲオブジェクトの位置等を管理する。これらのデータは、時刻情報と広角カメラで捉える位置座標空間に関連付けられる。具体的には、時刻Ｔ０（初期状態）にて現在位置がＰ０＝（ｘ０、ｙ０、ｚ０）と視線の方向が（水平方向、垂直方向）＝（θ０、φ０）を初期値として、以降この初期値との差分の位置を求め、空間位置座標とする。即ち、装置１の空間上の位置および方向が基準となる座標系が定められ、装置１の移動や向きの変化に伴って、空間位置座標系が移動する。

【0023】

初期状態で、３Ｄ映像内の面データの頂点がＰ１＝（ｒ１、θ１、φ１）である場合、この頂点には、空間位置座標としてＰ１が付与される。ここで、（ｒ１、θ１、φ１）は極座標系で、ｒ１が距離、θ１が水平角度、φ１が垂直角度である。

【0024】

装置１が移動した場合、この移動量がＰ２＝（ｒ２，θ２、φ２）であるならば、このＰ２を基準に、空間位置座標を再計算する。移動前の３Ｄ映像の空間位置座標系の原点は、移動後の空間位置座標系では－Ｐ２であり、以前のＰ１が付与されている頂点の空間位置座標は、Ｐ３＝Ｐ１－Ｐ２（但し、極座標系の合成演算である）となる。また、新しい３Ｄ映像内の面データの頂点がＰ４＝（ｒ４、θ４、φ４）である場合、この頂点にはＰ４が付与される。

【0025】

装置１がさらに移動する場合にも同様に、以前の３Ｄ映像や面データの頂点の空間位置座標が、現在の装置１の位置を基準に再計算され、かつ新たな３Ｄ映像や面データの頂点にも空間位置座標が付与される。この結果、装置１の移動があった場合にも、移動後の広角カメラ１０ａ、１０ｂで捉える位置座標空間に一連の３Ｄ映像、および３Ｄ映像内の面データ、さらには後記する３ＤＡＲオブジェクトを配置することが可能となる。

【0026】

なお、装置１の移動量が初期値から大きくなりすぎた場合、空間位置座標を初期化して、空間位置座標の計算を再開しても良い。

【0027】

また、３ＤＡＲオブジェクトにも空間位置座標を与えて、広角カメラ１０ａ、１０ｂで捉える位置座標空間に配置する。空間位置座標が付与された３ＤＡＲオブジェクトは、３ＤＡＲオブジェクト保持部に格納される。

【0028】

３ＤＡＲオブジェクトへの位置座標空間への配置は、コンテンツ作成者がユーザ操作入力部１８から実行する。ユーザ操作入力部１８からは、３ＤＡＲオブジェクトの回転、大きさの変更、色修正などの操作も行うことができ、操作データは操作時刻とともに、ユーザ操作データ保持部１５９に格納する。

【0029】

３Ｄ映像保持部１５６ｂの３Ｄ映像や、３ＤＡＲオブジェクト保持部１５６ｄの３ＤＡＲオブジェクトは、読み出された後、２Ｄ化処理部１５７で２Ｄ化映像として、それぞれ２Ｄ映像保持部１５６ｅ、２ＤＡＲオブジェクト保持部１５６ｆに格納する。これら２Ｄ映像や２ＤＡＲオブジェクトは、３ＤＡＲコンテンツ再生装置で表示が２Ｄ表示デバイスに行われる場合でも、３ＤＡＲコンテンツの表示を可能とさせるためのものであり、２Ｄ映像や２ＤＡＲオブジェクトに付与する空間情報座標により、２Ｄ映像や２ＤＡＲオブジェクトの奥行き関係の保持や、視線移動による表示画像の切り替えなど、奥行きを感じることのできる３ＤＡＲコンテンツの視聴を可能とさせる。

【0030】

合成処理部１５２は、広角映像（広角カメラで撮影する映像）や、３Ｄ映像（３Ｄカメラで撮影する映像）、および３ＤＡＲオブジェクトを合成して、ディスプレイ１２に３ＤＡＲコンテンツを表示する。合成処理部１５２では、３Ｄ映像の面データを参照し、３Ｄ映像と３ＤＡＲオブジェクトの前後関係を見て、後ろに位置する映像が前に位置する映像によって覆われるようにする。なおディスプレイ１２は、平面形状を例えば凹状の形状として、３ＤＡＲコンテンツの視認性を向上させるものであってもよい。

【0031】

また、マスク処理部１５３では、３Ｄ映像で例えば個人情報が含まれ、３ＤＡＲコンテンツ再生装置で限定されていない視聴者に表示するのを避けたい領域等の面データを指定して、マスク処理する。マスク処理では、単にマスクするほか、他の映像に置換してもよい。

【0032】

通信部１５４ｄは、ネットワークに３ＤＡＲコンテンツ作成装置１をつなげる役割を担い、例えば３ＤＡＲコンテンツ作成装置１とネットワークを介して繋がり、３ＤＡＲコンテンツ再生装置からの要求に応じ３ＤＡＲコンテンツを送信する。

【0033】

なお、図２での各処理部の処理は、ＣＰＵがメモリに記憶したプログラムを実行するソフトウェア処理によって実行してもよいし、専用の信号処理回路によるハードウェア処理により実行してもよい。また、ソフトウェア処理とハードウェア処理の併用でもよい。

【0034】

図３は、本実施例における３ＤＡＲコンテンツ作成装置１で作成する３６０度の３ＤＡＲコンテンツの第一の表示例であり、ディスプレイ１２に表示し、作成者が確認する。

【0035】

図３において、２は広角映像、３は３Ｄ映像、４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆは３ＤＡＲオブジェクトである。

【0036】

広角映像２は、広角カメラ１０ａと１０ｂの２つのカメラの映像を加工したものであり、作成者の頭部上方に設置したと仮定する仮想の広角カメラの撮影する映像に加工し、表示している。作成者の視線は、広角映像２の垂直上方を向いており、広角映像２の“２ａの矢印”で示す上半分は、広角カメラ１０ａで撮影した映像で、作成者の視線の前方の映像であり、広角映像２の“２ｂの矢印”で示す下半分は、広角カメラ１０ｂの映像で、作成者の視線の後方の映像である。

【0037】

広角映像２には、３Ｄ映像３がオーバレイされている。３Ｄカメラ１１ａ、１１ｂは、作成者の前方を撮影しており、３Ｄ映像３内に映し出される被写体が前方にあるように広角映像２の上部に配置される。３Ｄカメラの映像３は、３Ｄ映像であり、図２の装置１では、作成者は３Ｄ映像として確認できる。

【0038】

図３は、自転車の３ＤＡＲオブジェクト４ａ（作成者が乗っていると想定）が街角を移動しながら街角をガイドするという想定のコンテンツである。作成者が街角を移動する度に、広角映像２および３Ｄ映像３は更新される。これに合わせて３ＤＡＲオブジェクト４ａも移動する。３ＤＡＲオブジェクト４ｂも同様に自転車のオブジェクトであり、３ＤＡＲオブジェクト４ａに伴走するという設定がされている。自転車の３ＤＡＲオブジェクト４ａ、４ｂは、３Ｄ映像３に３Ｄ映像のオブジェクトとして重畳される。

【0039】

３ＤＡＲオブジェクト４ｃ、４ｄは、作成者が街角を移動する過程で、立ち寄った、あるいは紹介したショップ等のオブジェクトであり、例えばショップ等に立ち寄った時に、作成者はオブジェクトを配置する。図３では、３ＤＡＲオブジェクト４ｃ、４ｄは、ショップの形状のまま置かれているが、広角映像２上に重畳する場合には、空間位置座標に合わせて４ｃ、４ｄの形状を変形させて広角映像２に重畳しても良い。一度配置したオブジェクトは、その後作成者が移動した場合には、空間位置座標の再計算が行われ、作成者が前方に移動するとともに、３Ｄ映像外の広角映像２の後方（１０ｂ）の位置に自動的に表示される。

【0040】

３ＤＡＲオブジェクト４ｅ、４ｆは、公開されている公共物のオブジェクトであり、公開されている位置情報を空間位置座標に変換して、３ＤＡＲオブジェクトとして広角映像２、もしくは３Ｄ映像３に合成する。これらのオブジェクトの空間位置座標は、街角に固定されたものであり、作成者が移動する前から、事前に配置することが可能である。また一度配置すると、作成者が近づくように移動すると、空間位置座標が再計算され、近づくように表示が更新される。

【0041】

図４は、本実施例における３ＤＡＲコンテンツ作成装置１で作成する３ＤＡＲコンテンツの第二の表示例である。図４においては、ディスプレイ１２の全面に３Ｄカメラ１１ａ、１１ｂの３Ｄ映像３を映し出している。さらに図３で説明した３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆが合成表示されている。この場合でも、広角カメラ１０ａ、１０ｂで撮影は行われており、広角映像２の位置座標空間はバックグラウンドで維持されており、図３と図４の表示画面は任意に切り替え可能である。

【0042】

なお、前述した３Ｄ映像を撮影しない場合において、３Ｄ映像３は、奥行きデータを伴う２Ｄ映像であっても良い。２Ｄ映像としては、例えば広角映像を作成者の視線に合わせて切り出した映像としても良い。

【0043】

図５は、本実施例における３ＤＡＲコンテンツ作成装置１で作成する３６０度の３ＤＡＲコンテンツの第三の表示例である。図５においては、ディスプレイ１２には広角映像２が写しだされ、その上に３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆが合成表示されている。図５において、装置１は３Ｄ表示機能を有しているため、３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆは３Ｄ映像として、広角映像２に合成される。この時、広角映像２の一部には、空間形状の面データで奥行き情報が付与されており、該奥行き情報を補助データとして、合成が行われる。図５では、３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆは、元の形状のまま置かれているが、広角映像２上に重畳する場合には、それぞれの空間位置座標に合わせて４ａ、４ｂ、４ｅ、４ｆの形状を変形させて広角映像２に重畳しても良い。

【0044】

また、３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆは、２Ｄ化処理部１５７により、２ＤＡＲオブジェクトとして、２ＤＡＲオブジェクト保持部１５６ｆに保持される。同時に、２Ｄ化した３ＤＡＲオブジェクト４ａ、４ｂ、４ｅ、４ｆと広角映像２とを同様に合成した２Ｄ合成映像は、２Ｄ合成映像・サムネイル保持部に格納される。２Ｄ合成映像は、例えば３ＤＡＲコンテンツ再生装置に配信して、３ＤＡＲコンテンツを選択するサムネイル映像として利用させることや、２Ｄ表示機能しか有しない３ＤＡＲコンテンツ再生装置においても、３ＤＡＲコンテンツの２Ｄ合成映像を視聴させる。

【0045】

図６は、本実施例における異なるタイプの３ＤＡＲオブジェクトを説明する図である。図６では、作成者の視線が移動し、３Ｄカメラ１１ａ、１１ｂがパンする場合であり、３Ｄ映像はディスプレイ１２ａの表示領域からディスプレイ１２ｂ表示領域に移動する。図６では、ディスプレイ１２ａ、１２ｂの表示領域が移動するように図示しているが、実際にはディスプレイ１２は固定されており、表示される映像が移動する。

【0046】

図６には、２つタイプの３ＤＡＲオブジェクトが置かれている。ひとつは４ａであり、もうひとつは５ａ、５ｂである。５ａ、５ｂは、ひとつのオブジェクトであるが、ディスプレイ１２ａ、１２ｂに、それぞれに映し出されるケースである。３ＤＡＲオブジェクト５ａ、５ｂは、例えばコンテンツ制御のための制御オブジェクトであって、このタイプのオブジェクトは、３Ｄカメラのパンによる映像の移動にかかわらず、ディスプレイ１２の固定位置に置かれるのが良い。従って、ディスプレイ１２ａと１２ｂの表示領域内で同じ位置になるように、その空間位置座標を維持する。コンテンツ制御のための制御オブジェクトのように、ユーザが表示を切り替えたり制御したりする場合に使用するオブジェクトは、できるだけ他の実像の影になって隠れたりしないように、見やすい近距離に置かれる。ただし、画面の中央に常時配置するのは、視野の邪魔になってしまうため、表示領域の端に近い位置で、できるだけ同じ位置に表示できるようにする。一方、図３、図４ならびに図５で説明した自転車の３ＤＡＲオブジェクト４ａは、空間位置座標はパンの移動によって逆方向に変化し、ディスプレイ１２ａと１２ｂで表示領域内の位置が異なる。

【0047】

図７は、本実施例における３Ｄ映像の空間形状の面データを説明する図である。図７に示すように、空間形状面データ６は、３Ｄカメラの映像３の全域をカバーするポリゴン（図では３角形）であり、その頂点には、奥行きデータが付与される。奥行きデータと３Ｄカメラの空間位置座標から、各頂点の空間位置座標を算出する。従って、この面データの奥行きの空間位置座標と３ＤＡＲオブジェクトに付与している空間位置座標とを比較することにより、映像を合成するにあたり、どちらの画像を前面に表示させればよいのか判断できる。

【0048】

図８は、本実施例における３ＤＡＲオブジェクトのパラメータ設定を説明する図である。図８はメニュー表示の一例であって、図２のユーザ操作入力部１８でタッチパネルによる操作やリモコン操作によりユーザが設定する。

【0049】

なお、３ＤＡＲオブジェクトのパラメータ設定するためのパラメータ設定オブジェクト７もまた３ＤＡＲオブジェクトの一種であってよく、オブジェクト毎に設定する。

【0050】

図８において、設定できるパラメータの、“透明度”と“表示優先”は、３ＤＡＲオブジェクトとカメラ映像との表示の関係を設定する項目である。透明度は、３ＤＡＲオブジェクトを前面にある場合で、バックグラウンドの映像を幾分か表示できるようにし、表示優先は、面データとの奥行きの関係に係らず、３ＤＡＲオブジェクトを前方にオーバレイする。例えば、図６の５ａ、５ｂで示した制御オブジェクトのような場合である。

【0051】

“位置補正（水平）”、“位置補正（垂直）”、“回転補正（水平）“、”回転補正（垂直）“、”サイズ“は、３ＤＡＲオブジェクトの配置の位置、姿勢の回転制御、大きさの変更を行う項目である。

【0052】

さらに”移動モード“、”表示モード“では、カメラ、即ち作成者の視線の移動に対して、３ＤＡＲオブジェクトの移動、および表示を行う方法を設定する項目で、空間位置座標の再計算方法に関連する。

【0053】

一般に、３ＤＡＲオブジェクトは、現時刻の広角画像の位置、および視線方向を原点とした座標空間の位置Ｐｘに配置される。配置後、広角画像の位置、および視線方向が移動量Ｐｙ移動した場合、座標空間は更新され、前座標空間でＰｘに配置された３ＤＡＲオブジェクトの新座標空間での位置はＰｘ－Ｐｙに更新される。この様な、背景画像に固定して、座標空間の更新の度に、位置が再計算される３ＤＡＲオブジェクトに対しては、移動モード、表示モードともに“座標”が選択される。

【0054】

移動モードで“伴走”が選択される３ＤＡＲオブジェクトは、図１５で後述する、コンテンツ作成装置との位置関係を、通信によって得るタイプであって、図４から図６の３ＤＡＲオブジェクト４ａが相当する。

【0055】

表示モードで“画面連動”が選択される３ＤＡＲオブジェクトは、図６の５ａ、５ｂが相当し、常に表示画面の特定位置に３ＤＡＲオブジェクトが表示されるように、視線に対する位置が固定されるタイプである。なお、“伴走”と“画面連動”は、排他的であり、同時に選択されることは禁止される。

【0056】

図９は、本実施例における３ＤＡＲコンテンツのマスク処理を説明する図である。図９では、空間形状の面データの中からマスクする面領域８ａをタッチ等のユーザ操作で選択し、マスク設定オブジェクト８ｂでマスク処理を実行する。

【0057】

図１０Ａ、図１０Ｂ、図１０Ｃは、本実施例における３ＤＡＲコンテンツを構成するデータを説明する図である。３ＤＡＲコンテンツを構成するデータ（以下構成データと記す）は、図２の説明にあるように、視線移動データ、オブジェクト操作データ、広角映像データ、３Ｄ映像データ、空間形状面データ、２Ｄ映像データ、３ＤＡＲオブジェクトデータ、２ＤＡＲオブジェクトデータ、２Ｄ合成映像データの一部もしくは全部とヘッダデータである。

【0058】

ヘッダデータの格納については、図２の説明では明示していないが、例えばＲＯＭ１５４ｃの一部に割り当ててもよい。また図２には、それぞれのデータが別々の格納部に置かれる例を説明しているが、物理的にひとつの保存媒体に、論理的に区別された領域に格納しても良い。

【0059】

図１０Ａでは、ヘッダデータ、視線移動データ、オブジェクト操作データ、広角データの内容が記されている。

【0060】

各構成データには、“CONTENTS ID”の項目があり、該“CONTENTS ID”のＩＤデータは、例えばＵＵＩＤ（Universally Unique Identifier）等の規則に従って与えられた番号であり、全てのコンテンツにおいてユニークな番号となっている。また各構成データは、“CONTENT TYPE”の項目により、何のデータであるかを識別可能としている。

【0061】

ヘッダデータにはこの他、“CONTENTS TITLE”の項目にコンテンツ名を、“CONTENTS HOLDER”の項目に所有者を、“COPYRIGHT POLICY”の項目には、著作権コントロールデータが記載される。また、各構成データのうちコンテンツに付随するデータの有無を“Accompanying Content”の項目で示している。３ＤＡＲコンテンツとしては、全ての構成データが揃っている場合もあるが、一部の構成データがない場合もある。

【0062】

視線移動データは、視線移動を検知時刻系列に従った位置データのタイムラインデータである。視線移動は、連続した動きである場合、広角映像のフレーム単位のデータとしても良く、あるいはデータや処理の削減のため、連続した動きの後の動きが収まった時刻で行うようにしても良い。図１０Ａは、コンテンツの開始時刻Ｔ０から、２つの動きがあったとして、Ｔ１とＴ２で、装置の位置データを記載している。Ｔ０におけるデータＰ０は、ＧＰＳ等の位置情報であるが、Ｔ１とＴ２のデータＰ１、Ｐ２は前回時刻の位置を基準としてどれだけ動いたかを示す情報である。（ｒ＊、θ＊、φ＊）が位置変化を、δ＊視線方向の変化を表す。

【0063】

オブジェクト操作データは、オブジェクト操作の内容を、操作を行った時刻系列で記載したタイムラインデータであり、ＴＯ０でＯｂｊｅｃｔ１を空間位置座標系の位置（ｒ３、θ３、φ３）に配置（ＳＥＴ）し、ＴＯ１で回転（ＲＯＴ）操作を、ＴＯ２で拡大（ＥＮＬ）操作を行い、さらにＴＯ３でＯｂｊｅｃｔ２を配置している。

【0064】

広角映像データは、映像と音声（無くても良い）のデータであって、ＣＯＮＴＡＩＮＥＲとＣＯＤＥＣの種別が記載される。映像と音声のデータは、前記移動データのタイムラインに準じて、Ｔ０からＴ１の期間のデータ、Ｔ１からＴ２の期間のデータ、Ｔ２から次の時刻までの期間のデータとで、分割されて“CONTENT BODY”の項目に格納する。これにより、コンテンツのタイムサーチなどが容易になる。さらに、Ｔ２での装置の位置（現在位置）を基準として、Ｔ０およびＴ１の位置データは、－（Ｐ１＋Ｐ２）、－Ｐ２にそれぞれ再計算して、書き換える。

【0065】

図１０Ｂでは、３Ｄ映像データ、空間形状面データ、３ＤＡＲオブジェクトデータについて説明する。

【0066】

３Ｄ映像データは、映像と音声のデータであり、ＣＯＮＴＡＩＮＥＲとＣＯＤＥＣの種別が記載される。また映像はステレオ映像であり、左視線のVisual(L)データと右視線のVisual(R)データから成り、２つのデータをインタリーブさせて、前記視線移動データのタイムラインに沿って、“CONTENT BODY”に格納する。また、広角映像データの場合と同様、位置データの書き換えも行っている。

【0067】

空間形状面データは、前記３Ｄカメラで計測する奥行きデータを有する面データ（３角形のポリゴンデータ）の集合であり、前記視線移動データのタイムラインに沿って、“TIME LINE OF CONTENT BODY”に格納する。ポリゴンにはＰＯＬ１、ＰＯＬ２‥‥のように、各々のポリゴンを区別する識別子が与えられ、計測する頂点の奥行きデータa＊に対して、空間位置座標の移動を考慮したデータを再計算し、例えば、－（ａ１＋Ｐ１＋Ｐ２）といったように各頂点のデータとして格納する。

【0068】

３ＤＡＲオブジェクトデータは、３ＤＡＲコンテンツに使用されるＡＲオブジェクトの３Ｄデータである。ＡＲオブジェクトには、“Object Name”、“Copyright Policy”が与えられ、３ＤＡＲコンテンツで設定する、図８に示した“設定パラメータ”を記載する。

【0069】

“ＣＯＮＴＥＮＴ ＢＯＤＹ”には、ＡＲオブジェクトの３Ｄデータを記載する場合や、第３者のＡＲオブジェクトを利用する場合には、ＡＲオブジェクトの３Ｄデータが入手可能なＵＲＬを記載する場合もある。

【0070】

図１０Ｃでは、２Ｄ映像データ、２ＤＡＲオブジェクトデータ、２Ｄ合成映像データについて説明する。

【0071】

２Ｄ映像データは、３Ｄ映像データを２Ｄ化処理したデータであり、２Ｄ化した映像データが“TIME LINE OF CONTENT BODY”に記載されること以外は、３Ｄ映像データと同様のデータ構造をとる。

【0072】

２ＤＡＲオブジェクトデータは、３ＤＡＲオブジェクトを２Ｄ化処理したデータであり、２Ｄ化したデータが“CONTENT BODY”に記載されることを除いて、３ＤＡＲオブジェクトデータと同様のデータ構造をとる。

【0073】

２Ｄ合成映像データは、広角映像もしくは２Ｄ映像に２ＤＡＲオブジェクトを合成した映像データであり、２Ｄ合成映像データが“TIME LINE OF CONTENT BODY”に記載されること以外は、３Ｄ映像データと同様のデータ構造をとる。

【0074】

なお、図１０Ａ、図１０Ｂ、図１０Ｃで説明したデータ構造は一例であって、この他の項目を有するものであっても良く、本発明の動作に直接関与しない一部の項目を含まなくても構わない。

【0075】

図１１は、本実施例における３ＤＡＲコンテンツ作成装置の処理フロー図である。図１１において、Ｓ１０１で動作モードを判定する。制作モードであれば、Ｓ１０２においてカメラ設定を実行する。他の動作モードは再生配信モードであり、説明は後述する。

【0076】

Ｓ１０２のカメラ設定は、広角カメラと３Ｄカメラに対応する。カメラ設定の後は、Ｓ１０４でカメラ映像の記録が行われるが、並行して実行されるＳ１１８からＳ１２１は、空間情報処理プロセス、動き情報処理プロセスである。

【0077】

Ｓ１０４の後は、Ｓ１０５で表示設定が行われ、広角カメラ映像の表示方法や３Ｄカメラの映像の表示設定が行われる。そして、Ｓ１０６で背景画像表示を開始する。次に、３ＤＡＲコンテンツ製作過程をライブ配信するかを判定し（Ｓ１０７）、配信する場合には配信を開始する（Ｓ１０８）。配信しない場合には、スキップする。

【0078】

Ｓ１０９以降は、３ＤＡＲオブジェクトに関する処理である。Ｓ１０９では３ＤＡＲコンテンツに配置する３ＤＡＲオブジェクトを選択する。３ＤＡＲオブジェクトの選択は、予め作成したり、外部のサイトからダウンロードしたりして、３ＤＡＲコンテンツ作成装置のＲＯＭ領域等に格納してある３ＤＡＲオブジェクトを読み出すことにより選択する。Ｓ１１０で３ＤＡＲオブジェクトを表示させ、３ＤＡＲオブジェクトのパラメータ設定し、３ＤＡＲオブジェクトの配置に対する空間位置座標を計算し、確定させる（Ｓ１１１）。一度確定した後でも、パラメータ再設定等で、３ＤＡＲオブジェクトを操作することは可能である（Ｓ１１２）。これは、３ＤＡＲオブジェクトを動かすことが３ＤＡＲコンテンツのストーリの一部とするアニメーション等に有効である。一連の操作や３ＤＡＲオブジェクトはＳ１１３とＳ１１４で記録される。これは３ＤＡＲコンテンツ再生装置で再生可能とさせるためである。また、３ＤＡＲコンテンツ再生装置が２Ｄディスプレイにしか対応していない場合を想定して、３ＤＡＲオブジェクトを２Ｄ化し（Ｓ１１５）、２Ｄ化オブジェクトも記録する（Ｓ１１６）。３ＤＡＲオブジェクトの選択以降の処理は、所望の３ＤＡＲオブジェクトがある限り繰り返される（Ｓ１２５のＹ）。

【0079】

Ｓ１１８とＳ１１９の空間情報処理プロセスは、３Ｄ映像から空間形状の面データを抽出し、面データの頂点の空間位置座標を計算する。これらの面データ等は空間形状面情報として記録する（Ｓ１１９）。
Ｓ１２０とＳ１２１は、動き情報処理プロセスである。３ＤＡＲコンテンツ作成装置１の動きは、ジャイロセンサ、地磁気センサ等で捉える。動き情報処理では、必要な空間位置座標の更新が行われる（Ｓ１２０）。動き情報、および更新された空間位置座標は、動き情報等として記録される（Ｓ１２１）。

【0080】

Ｓ１０１で再生配信モードと判定されれば、３ＤＡＲコンテンツの再生が実行され（Ｓ１２２）、再生されたコンテンツの配信が行われる（Ｓ１２３）。再生および配信は、コンテンツの終了、もしくは終了命令で終了する（Ｓ１２４）。

【0081】

一連の３ＤＡＲコンテンツの作成、もしくは再生配信が終わると（Ｓ１２５のＮ）Ｓ１２６で終わる。
以上説明したように、本実施例の３ＤＡＲコンテンツ作成装置によれば、３ＤＡＲコンテンツ作成装置１が移動しながらでも、移動後の広角カメラの映像に関連付けられた位置座標空間で、３Ｄカメラの映像、および３ＤＡＲオブジェクトの空間位置座標を与えているため、広角カメラの映像に３Ｄカメラの映像、および３ＤＡＲオブジェクトの合成が容易となる。また、３Ｄカメラで撮影する映像の範囲外にある３ＤＡＲオブジェクトも取り扱い可能であり、視線移動が伴う場合にでも、広角映像および３Ｄ映像への３ＤＡＲオブジェクトの合成表示がスムーズに行えるようになる。また、３Ｄ映像の奥行き情報を利用して、３Ｄ映像と３ＤＡＲオブジェクトの奥行き方向の前後関係を考慮した３Ｄ合成が行われるため、３ＤＡＲコンテンツの作成が可能となる。

【実施例0082】

図１２は、本実施例における３ＤＡＲコンテンツ作成装置の外観模式図である。図１２において、図１と同一の構成要素については、同一の符号を付し、その説明は省略する。図１２において図１と異なる点は、３ＤＡＲコンテンツ作成装置１ａ（以下、装置１ａと記すことがある）は、広角カメラ１０ｃ、３Ｄプロジェクタ１９、透過型スクリーン２０を備えている点であり、背景映像と３ＤＡＲオブジェクトの合成は、３Ｄプロジェクタ１９、透過型スクリーン２０で行われる。

【0083】

広角カメラ１０ｃは、その筐体の前後にレンズの開口部を設けており、それぞれの開口部に取り付けられたレンズを通して、装置１ａの前方の映像と後方の映像を撮影する。図１の広角カメラ１０ａと１０ｂを合わせた機能を持ち、図１の装置１にも適用可能である。

【0084】

図１３は、本実施例における装置１ａの構成ブロック図である。図１３においては、図２に対して、合成処理部１５２とディスプレイ１２が、３Ｄプロジェクタ１９と透過型スクリーン２０に置き換えられている。

【0085】

３Ｄプロジェクタ１９は、３ＤＡＲオブジェクトを透過型スクリーン２０に投射する。３ＤＡＲコンテンツの作成者は、透過型スクリーン２０越しに、背景映像を見ながら、投射された３ＤＡＲオブジェクトを確認する。これにより、背景映像と３ＤＡＲオブジェクトが合成された映像を確認する。

【0086】

なお、本装置１ａにおいても、広角カメラ１０ｃの映像、３Ｄカメラ１１ａ、１１ｂの映像は、それぞれ広角映像保持部１５６ａ、３Ｄ映像保持部１５６ｂに記録されており、処理フローとしては、図１１に示した処理フローが、合成処理部１５２を除いて適用される。

【0087】

図１４は、本実施例における３ＤＡＲコンテンツ作成装置の表示例であり、透過型スクリーン２０に、３ＤＡＲオブジェクト４ａ、４ｂが投射されている例である。透過型スクリーン２０からは、背景画像が透視でき、その上に３ＤＡＲオブジェクト４ａ、４ｂが合成された映像となる。

【0088】

以上説明したように、本実施例によれば、３ＤＡＲコンテンツの作成者は、透過スクリーンから見る実際の背景映像を確認でき、訓練されていない作成者でも安全に利用可能なコンテンツ作成が行えるという利点がある。