特開 2024-54570 合成映像提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024054570

(43)【公開日】2024-04-17

(54)【発明の名称】合成映像提供システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240410BHJP

   H04N 21/2343 20110101ALI20240410BHJP

   G03B 15/00 20210101ALI20240410BHJP

   G03B 17/24 20210101ALI20240410BHJP

【ＦＩ】

H04N5/232 290

H04N21/2343

H04N5/232 300

G03B15/00 H

G03B17/24

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022160872

(22)【出願日】2022-10-05

(71)【出願人】

【識別番号】516049674

【氏名又は名称】株式会社ＡＣＷ－ＤＥＥＰ

(71)【出願人】

【識別番号】000002255

【氏名又は名称】ＳＷＣＣ株式会社

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(74)【代理人】

【識別番号】100220917

【弁理士】

【氏名又は名称】松本 忠大

(72)【発明者】

【氏名】中山 雄裕

(72)【発明者】

【氏名】山口 聡

(72)【発明者】

【氏名】瀬間 信幸

(72)【発明者】

【氏名】関口 憲治

【テーマコード（参考）】

5C122

5C164

【Ｆターム（参考）】

5C122DA03

5C122EA42

5C122FH11

5C122FH18

5C122FH23

5C122FK12

5C122GA01

5C122GA23

5C122GC37

5C122GC75

5C122HB05

5C164FA12

5C164PA38

5C164SA25S

5C164SB02P

5C164SB36S

5C164SD12S

(57)【要約】

【課題】交流希望者に対し、従前の非接触式の交流とは異なる新規な交流体験を与えることが可能な手段を提供する。
【解決手段】交流希望者の撮影映像および交流対象者の撮影映像を合成してなる合成映像を提供する合成映像提供システムであって、撮影部１０、保存部２０、計測部３０および合成部４０を少なくとも有する。撮影部１０はリアルタイムで交流希望者を撮影した第１の撮影映像１１を、深度情報を有する状態で取得し、保存部２０は予め交流対象者を撮影した第２の撮影映像２１を、深度情報を有する状態で保存する。合成部４０は、計測部３０で取得した位置情報３１に基づいて、第１の撮影映像１１および第２の撮影映像２１を合成素材の一部または全部とする合成映像４２を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

交流希望者の撮影映像および交流対象者の撮影映像を合成してなる合成映像を提供する、合成映像提供システムであって、
撮影部、保存部、計測部および合成部を少なくとも有し、
前記撮影部は、
リアルタイムで前記交流希望者を撮影した、第１の撮影映像を、深度情報を有する状態で取得する機能を有し、
前記保存部は、
予め前記交流対象者を撮影した、第２の撮影映像を、深度情報を有する状態で保存する機能を有し、
前記計測部は、前記第１の撮影映像および前記第２の撮影映像の合成に使用する位置情報を取得する機能を有し、
前記合成部は、
前記位置情報に基づいて、前記第１の撮影映像および前記第２の撮影映像を合成素材の一部または全部とする合成映像を生成する機能を有する、
ことを特徴とする、合成映像提供システム。

【請求項2】

任意の色で着色した、少なくとも１つの交流補助具を更に有し、
前記合成部は、
前記交流補助具が映り込んでいる前記第１の撮影映像に対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
前記任意の色の色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行って、前記交流補助具を除去してなる、処理後の第１の撮影映像を生成し、
前記合成部は、
前記処理後の第１の撮影映像および前記第２の撮影映像を少なくとも含んだ合成映像を生成する機能を有することを特徴とする、
請求項１に記載の合成映像提供システム。

【請求項3】

前記交流補助具が、前記合成映像中の前記交流対象者を模擬する人形体であることを特徴とする、
請求項２に記載の合成映像提供システム。

【請求項4】

表示部を更に有し、
前記表示部は、
前記合成映像を表示する機能を有することを特徴とする
請求項１に記載の合成映像提供システム。

【請求項5】

映像提供部を更に有し、
前記映像提供部は、
前記交流希望者に対し、前記合成映像に基づく静止画または動画を提供するためのリンクを生成する機能を有することを特徴とする、
請求項１に記載の合成映像提供システム。

【請求項6】

前記保存部は、さらに、
前記合成素材の一部として使用可能な素材映像を保存する機能を有することを特徴とする、
請求項１に記載の合成映像提供システム。

【請求項7】

前記合成映像の中に、前記第２の撮影映像が複数含まれることを特徴とする、
請求項１に記載の合成映像提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、交流希望者の撮影映像および交流対象者の撮影映像を合成してなる合成映像を提供するための、合成映像提供システムに関する。

【背景技術】

【0002】

芸能人、俳優、スポーツ選手、文化人、アナウンサー、その他の有名人に代表される、多数のファン（以下「交流希望者」ともいう。）を有する者（以下「交流対象者」ともいう）は、従前から、ファンイベント、サイン会、握手会などで、同一空間での対面交流の機会を設けている。

【0003】

近年では、新型コロナウィルス感染症（COVID-19）の蔓延をきっかけとして、いわゆる三密（密集、密接、密閉）を避ける観点から、各種の動画配信サービスを利用したライブ配信（非特許文献１，２）などを用いた非接触式の交流も行われている。

【0004】

その他のファン向けのサービスとしては、例えば、以下のサービスが知られている。
（１）コンサート会場等で、交流対象者の等身大パネルを有する撮影ブースを設け、交流希望者が自由に写真撮影を可能とするもの。
（２）交流対象者の撮影データを背景素材としたプリントシール機を設け、交流対象者および交流希望者がおさまった写真データを、プリントシールの発行とは別に、交流希望者の携帯端末でダウンロード可能とするもの（非特許文献３）

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】https://www.youtube.com/intl/ALL_jp/howyoutubeworks/product-features/live/

【非特許文献2】https://www.withlive.jp/

【非特許文献3】https://o.puri.jp/

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記した従前のサービスでは、以下の点で改善の余地がある。
（１）ライブ配信等を利用した交流の場合、物理的な接触の実感が伴わないため、従前行われていた、交流希望者と交流対象者との同一空間での対面交流と同等の充実感を与えることが難しい。
（２）ライブ配信を行うにあたって、交流対象者の時間制約（スケジュール調整、拘束時間の長期化）が大きい。
（３）プリントシール機では、交流希望者の入手物が静止画に限定される。
（４）プリントシール機では、背景素材は平面情報であるため、交流希望者の撮影レイヤーに対し、前方または後方に配置するしかない。
（５）プリントシール機は専用品であるため、構成する各種ハードウェア・ソフトウェアが高価でありコストの圧縮に限界がある。

【0007】

よって、本発明は、交流希望者に対し、従前の非接触式の交流とは異なり、交流対象者との新規な交流体験を与えることが可能な手段を提供することを目的の１つとする。

【課題を解決するための手段】

【0008】

上記した課題を解決すべくなされた本願発明は、交流希望者の撮影映像および交流対象者の撮影映像を合成してなる合成映像を提供する、合成映像提供システムであって、撮影部、保存部、計測部および合成部を少なくとも有し、前記撮影部は、リアルタイムで前記交流希望者を撮影した、第１の撮影映像を、深度情報を有する状態で取得する機能を有し、前記保存部は、予め前記交流対象者を撮影した、第２の撮影映像を、深度情報を有する状態で保存する機能を有し、前記計測部は、前記第１の撮影映像および前記第２の撮影映像の合成に使用する位置情報を取得する機能を有し、前記合成部は、前記位置情報に基づいて、前記第１の撮影映像および前記第２の撮影映像を合成素材の一部または全部とする合成映像を生成する機能を有するよう構成した。
当該構成によれば、各撮影映像に係る深度情報に基づいて、各映像の前後が入れ替わるように表示される、斬新な合成映像を提供することができる。

【0009】

また、本願発明は、任意の色で着色した、少なくとも１つの交流補助具を更に有し、前記合成部は、前記交流補助具が映り込んでいる前記第１の撮影映像に対し、前記深度情報に基づく除去処理である、デプス系除去処理、および、前記任意の色の色空間情報の値に基づく除去処理である、クロマ系除去処理、を行って、前記交流補助具を除去してなる、処理後の第１の撮影映像を生成し、前記合成部は、前記処理後の第１の撮影映像および前記第２の撮影映像を少なくとも含んだ合成映像を生成する機能を有するよう構成することもできる。
当該構成によれば、交流希望者と交流対象者との位置合わせをより正確に行った合成映像を提供することができる。

【0010】

また、本願発明は、前記交流補助具を、前記合成映像中の前記交流対象者を模擬する人形体で構成することもできる。
当該構成によれば、人形体への接触によって、あたかも交流対象者に触れたような感覚を得られる新規な交流体験を得ることができる。

【0011】

また、本願発明は、前記合成映像を表示する表示部を更に有する構成とすることもできる。
当該構成によれば、表示部に表示される合成映像を交流希望者が確認することで、第２の撮影映像内の交流対象者の振る舞いにあわせるように交流希望者の振る舞いを変えることが容易となり、より自然な合成映像を提供することができる。

【0012】

また、本願発明は、前記保存部に、さらに合成素材の一部として使用可能な素材映像を保存する機能を有するよう構成することもできる。
当該構成によれば、よりバリエーションに富んだ合成映像を提供することができる。

【0013】

また、本願発明は、前記合成映像の中に、前記第２の撮影映像を複数含めるよう構成することもできる。
当該構成によれば、従前の非接触式の交流では実現することが不可能な交流体験が可能な合成映像を提供することができる。

【発明の効果】

【0014】

本発明によれば、交流希望者に対し、交流対象者との新規な交流体験を与えることができる。

【図面の簡単な説明】

【0015】

【図1】本発明に係る合成映像提供システムの機能ブロック図。

【図2】本発明に係る合成映像提供システムの使用イメージを示す図。

【図3】第２の撮影映像に対する除去処理の流れを示すイメージ図。

【図4】第１の撮影映像に対する除去処理の流れを示すイメージ図。

【図5】実施例１に係る合成映像の生成の流れを示すイメージ図。

【図6】実施例２に係る合成映像のイメージ図。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら、本発明の詳細について説明する。

【0017】

＜１＞全体構成（図１）
図１に示す合成映像提供システムＡは、撮影部１０、保存部２０、計測部３０および合成部４０を少なくとも具備しており、その他、表示部５０や映像提供部６０などを適宜追加して使用することができる。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、撮影拠点の数、各部の数、各部の配置場所、各撮影拠点における構成の異同は特段限定しない。
以下、各部の詳細ならびに演算手順の詳細について説明する。

【0018】

＜２＞撮影部（図１）
撮影部１０は、第１の撮影映像１１を取得するための部位である。
本発明では、撮影部１０として、デプスカメラや３Ｄカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いる。
また、本発明において、撮影部１０の画角等は特段限定しない。

【0019】

＜２．１＞第１の撮影映像
第１の撮影映像１１は、リアルタイムで交流希望者Ｂを撮影することで得られる映像データであり、合成映像４２を生成するための合成素材として使用される。
第１の撮影映像１１は、深度情報が紐付けられた映像データであるため、後述するデプス系除去処理によって、カメラから所定の離隔距離内にある物体や人物を抽出することができる。

【0020】

＜３＞保存部（図１）
保存部２０は、前記した第１の撮影映像１１以外に、合成映像４２を生成するための合成素材としてされる映像データを保存するための部位である。
本発明において、保存部２０で保存される映像データは、少なくとも第２の撮影映像２１を含むものとし、その他、素材映像２２を含めることができる。
以下、各映像データの詳細について説明する。

【0021】

＜３．１＞第２の撮影映像
第２の撮影映像２１は、予め交流対象者Ｃを撮影することで得られる映像データであり、合成映像４２を生成するための合成素材として使用される。
本発明では、第２の撮影映像２１を撮影するカメラには、デプスカメラや３Ｄカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いるものとする。
したがって、第２の撮影映像２１を撮影するカメラは、前記した第１の撮影映像１１を撮影するための撮影部１０と同じカメラを用いても良いし、異なるカメラを用いても良い。

【0022】

＜３．１．１＞除去処理の有無
また、本発明は、保存部２０に保存される第２の撮影映像２１を、撮影した映像データそのものとしても良いし、当該映像データに対し、後述する第１の撮影映像１１に対して行う「任意部分の除去処理」を実行した映像データであってもよい。

【0023】

＜３．２＞素材映像
素材映像２２は、前記した第１の撮影映像１１および第２の撮影映像２１の他に、合成映像の合成素材として使用される映像データである。
素材映像２２は、現実の場所を予め撮影しておいた映像、予め製作されたＣＧ映像、ＶＲ空間を提供する仮想映像（ＶＲ映像）またはこれらの組合せ映像などを用いることができる。
素材映像２２は、主に、合成映像４２中の背景を担うイメージとなる。
したがって、本発明では、例えば第１の撮影映像１１および第２の撮影映像２１にて背景となる箇所が除去されていなければ、合成映像４２に素材映像２２を用いる必要は無い。

【0024】

また、本発明は、素材映像２２に対して、後述する第１の撮影映像１１に対して行う「任意部分の除去処理」を行うことを除外するものではない。

【0025】

＜４＞計測部（図１）
計測部３０は、当該計測部３０を設置した箇所の位置情報３１を取得する機能を具備する装置である。
この「位置情報３１」は、空間座標に限定されるものではなく、取り付けた者の姿勢や向きを認識可能な情報を少なくとも含むものとする。
計測部３０は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、ＧＰＳ装置、トラッカー等を用いることができる。
また、計測部３０は、ある箇所に設置するタイプに限定されるものではなく、人に装着または手持ちさせるタイプ、物体に取り付けるタイプ、人が操作するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
本発明では、計測部３０を設置する箇所は、撮影部１０や、後述する交流補助具７０（図１において図示せず）等が候補となる。
計測部３０で得た位置情報３１は、第１の撮影映像１１と第２の撮影映像２１とを合成する際の基準情報として使用することができる。

【0026】

＜５＞合成部（図１）
合成部４０は、少なくとも第１の撮影映像１１および第２の撮影映像２１を合成素材の一部または全部として、合成映像４２を生成する機能を有する。
合成部４０での処理は、主として、合成前の事前処理と、合成処理とに別れる。
以下、各処理の詳細について説明する。

【0027】

＜５．１＞合成前の事前処理
合成部４０は、合成映像４２を生成する前に、各合成素材について、任意部分の除去処理を行ってもよい。
この「任意部分の除去処理」とは、映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。

【0028】

＜５．１．１＞デプス系除去処理
デプス系除去処理は、除去処理対象となる映像について、当該映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
映像に紐付けられている深度情報は、デプスカメラを用いた場合において撮影映像に予め埋め込まれているデータや、撮影映像を画像解析して別途生成するデータ、または別途設けた３Ｄスキャナ等から得られるデータなどを用いることができる。

【0029】

デプス系除去処理の一例としては、撮影映像に紐付けられている深度情報に基づいて、所定の距離以上の深度情報を有する部分を除去する処理がある。
例えば、撮影部１０から、５０ｃｍ以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部１０から、５０ｃｍ未満の深度情報を有する箇所の映像のみが抽出されたものとなる。

【0030】

なお、デプス系除去処理による抽出箇所は、画角内の人物の身体に限らないため、人物がコントローラやファングッズ等の物体を手持ちしている場合や、画角内の椅子、机、梯子、食品等の物体が存在する場合には、これらも同時に抽出されることになる。

【0031】

＜５．１．２＞クロマ系除去処理
クロマ系除去処理は、除去処理対象となる映像について、当該映像の色空間情報の値に基づいた除去を行う処理である。

【0032】

クロマ系除去処理は、ＲＧＢ，ＲＧＢＡ，ＣＭＹ，ＨＳＶ，ＨＬＳなどの周知の色空間情報に基づき、各色空間で定義される要素および数値範囲の中で所定の範囲を設定することによって、特定の均質色に対応する部分を除去して行う。
例えば、ＨＳＶ色空間情報を用いてクロマ系除去処理を行う場合、ＨＳＶ色空間情報は、色相（ｈｕｅ：０°～３６０°）、彩度（ｓａｔｕｒａｔｉｏｎ：０％～１００％）、明度（ｖａｌｕｅ：０％～１００％）のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。

【0033】

クロマ系除去処理を実施する際には、予め、撮影部１０の画角に含まれる箇所に、任意の均一色を呈する背景材を設置する方法や、除去したい物体に対し予め任意の均一色で着色を施しておく方法を適宜採用すればよい。

【0034】

＜５．１．３＞各除去処理の組合せ
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、除去処理対象である撮影映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった物を除去することもできる。

【0035】

＜５．２＞合成処理
合成部４０にて、各合成素材を合成する際には、計測部３０から得られる位置情報３１を用いるものとする。
例えば、第１の撮影映像を撮影するブースにおいて、撮影部１０の位置情報と、第１の撮影映像１１上での第２の撮影映像２１を合成する予定箇所の位置情報の二点を特定できれば、これらの位置情報を用いて、第１の撮影映像１１と第２の撮影映像２１とを正確な位置で合成することができる。

【0036】

＜６＞表示部（図１）
表示部５０は、合成部４０で生成した合成映像４２を表示する機能を有する。
表示部５０は、一般的なディスプレイ、モニター、プロジェクター等に限らず、ＶＲ、ＡＲ、ＸＲ等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることもできる。

【0037】

＜７＞映像提供部（図１）
映像提供部６０は、合成部４０で生成した合成映像４２を、交流希望者Ｂに提供する機能を有する。
本発明において、映像提供部６０による、合成映像４２の提供手法は特段限定しないが、例えば、生成した合成映像４２を、保存部２０やその他の保存手段で保存しておき、この合成映像４２をダウンロード可能なリンクを、テキストや二次元コードの形で、交流希望者Ｂに提供する方法などが考えられる。

【0038】

＜８＞交流補助具
その他、本発明に係る合成映像提供システムＡにおいて、更に交流補助具７０（図１において図示せず）を設けることもできる。

【0039】

交流補助具７０は、例えば、第１の撮影映像１１の撮影時においては、撮影場所にいる交流希望者Ｂにとって、撮影場所にいない交流対象者Ｃとの合成映像４２上での位置の把握や、交流補助具７０との接触によってあたかも交流対象者Ｃと触れあったような感覚を得るためや、交流希望者Ｂが小さな子どもなどの場合に、交流対象者Ｃとの背丈や目線の調整のため、等に使用される。

【0040】

交流補助具７０は、合成映像４２内で表示されないよう、クロマ系除去処理によって除去対象となる色空間情報に基づく任意の色で着色していることが好ましい。

【0041】

本発明では、交流補助具７０として、人を模した人形体や、人が乗り降り可能な高さ調整台などを用いることができる。
人形体の形状は、人体の一部または全体を模擬したものを用いることができ、交流イベントでの交流内容に適した形状を選択することができる。
たとえば、交流内容が、交流対象者Ｃと交流希望者Ｂとでハイタッチを行う場合には、交流対象者Ｃを模擬した人形体を用意することが考えられる。また、ハイタッチにて手を合わせる位置に、人形体に代えてガイドを設けてもよい。
また、交流内容が、交流対象者Ｃと交流希望者Ｂとでハンドサインを作る場合には、交流対象者Ｃの手指を模擬した人形体を用意することが考えられる。
また、交流内容が、交流対象者Ｃの腕に交流希望者Ｂがぶら下がることを想定している場合には、交流対象者Ｃの腕を模擬した人形体を用意することが考えられる。
また、交流内容が、交流希望者Ｂが交流対象者Ｃと肩を組むことを想定している場合には、交流対象者Ｃの肩周辺を模擬した人形体を用意することが考えられる。

【実施例0042】

＜１＞全体構成（図２）
図２は、本発明に係る合成映像提供システムを、アイドルのコンサート会場内の撮影ブースに設けた場合を想定したイメージ図である。
本実施例では、ファンが交流希望者Ｂに相当し、アイドルが交流対象者Ｃに相当する。

【0043】

図２に示すように、撮影ブースは、交流希望者Ｂの為のスペースを用意しておき、周囲をクロマ系除去処理によって除去対象となる色空間情報に基づく任意の色で着色した背景材Ｊで覆っている。
また、撮影ブースの所定位置には、交流希望者Ｂを撮影するためのデプスカメラＤ、交流対象者Ｃを模擬した人形体Ｅ、人形体Ｅに取り付けるトラッカーＦ、合成映像を生成する情報処理装置Ｇ、および合成映像を表示するディスプレイＨ等を設置している。
本実施例では、デプスカメラＤが撮影部１０として機能し、情報処理装置Ｇが少なくとも保存部２０、合成部４０として機能し、人形体Ｅが交流補助具７０として機能し、トラッカーＦが計測部３０として機能し、ディスプレイＨが表示部５０として機能する。
本実施例においては、デプスカメラＤは固定されるため、デプスカメラＤの位置情報は予め求めておくものとする。

【0044】

＜２＞合成映像の生成手順（図３～図５）
次に、合成映像４２の生成の流れについて説明する。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。

【0045】

（１）事前準備（第２の撮影映像２１および素材映像２２の用意）（図３）
始めに、交流対象者Ｃを撮影対象として、第２の撮影映像２１を撮影する。
第２の撮影映像２１は、予め交流希望者Ｂの立ち位置を想定して、交流希望者Ｂの周囲を回る動作や、交流希望者Ｂに話しかける動作、交流対象者Ｃの決めポーズを取る動作、交流対象者Ｃと交流希望者Ｂとでハイタッチを行う動作、交流対象者Ｃと交流希望者Ｂとでハンドサインのポーズを取る動作、などを複数用意しておくことが好ましい。
第２の撮影映像２１を撮影する際に、デプスカメラを用いつつ、撮影箇所に、均一色の背景材Ｊを配置しておけば、第１の撮影映像１１と同様、前記したデプス系除去処理およびクロマ系除去処理を行うことができる。

【0046】

図３に、第２の撮影映像に対する除去処理のイメージを示す。
本実施例では、図３（ａ）に示す、デプスカメラで交流対象者Ｃを撮影した映像に対し、デプス系除去処理を行うことにより、図３（ｂ）に示すように、交流対象者Ｃよりも奥側に位置する物体が除去された映像が生成される。
さらに、図３（ｂ）に示す映像に、クロマ系除去処理を行うことにより、図３（ｃ）に示す、交流対象者Ｃのみが抽出された映像を、第２の撮影映像２１として、情報処理装置Ｇに予め保存している。

【0047】

また、必要に応じて、素材映像２２も情報処理装置Ｇに予め保存しておく。

【0048】

（２）第１の撮影映像の取得（図２，図４）
次に、コンサート会場に設けた撮影ブースで、交流希望者Ｂを撮影対象とした第１の撮影映像１１を取得する。
第１の撮影映像１１は、予め交流対象者Ｃの立ち位置に、交流補助具７０を設置するなどして、その周りを交流希望者Ｂに自由に動いてもらうことも可能なほか、第２の撮影映像２１で用意している交流対象者Ｃの各種の振る舞いにあわせて動いてもらうこともできる。

【0049】

（３）合成映像の生成（図４，図５）
情報処理装置Ｇでは、保存してある第２の撮影映像２１および素材映像２２と、リアルタイムに送信される第１の撮影映像１１とを合成して、合成映像４２を生成する。
本実施例では、第１の撮影映像１１に、デプス系除去処理およびクロマ系除去処理を行ったものと、保存してある第２の撮影映像２１および素材映像２２を、トラッカーＦで得た位置情報およびデプスカメラＤの位置情報に基づいて合成処理を行っている。

【0050】

（３．１）第１の撮影映像に対する除去処理（図４）
図４に、第１の撮影映像１１に対する除去処理のイメージを示す。
本実施例では、図４（ａ）に示す、デプスカメラＤで交流希望者Ｂおよび交流補助具７０を撮影した第１の撮影映像１１に対し、デプス系除去処理を行うことにより、図４（ｂ）に示すように、交流希望者Ｂよりも奥側に位置する物体が除去された映像が生成される。
このとき、交流補助具７０は、交流希望者Ｂとの位置関係の都合上、デプス系除去処理では除去しきれない場合がある。
そこで、図４（ｂ）に示した映像に対し、さらにクロマ系除去処理を行うことにより、図４（ｃ）に示す、交流希望者Ｂのみを抽出した映像（処理後の第１の撮影映像４１）を生成することができる。
なお、図４（ｃ）に示す、処理後の第１の撮影映像４１では、交流希望者Ｂの腕の一部が、人形体Ｅの首の後方に回り込んでいるため、画面上欠損して見える状態となる。

【0051】

（３．２）合成処理（図５）
図５に、合成映像の生成イメージを示す。
本実施例では、情報処理装置Ｇに保存された、第２の撮影映像２１および素材映像２２と、処理後の第１の撮影映像４１とを、トラッカーＦから取得した位置情報３１を少なくとも用いて合成処理を行う。
合成対象となるいずれの映像も、深度情報が紐付けられているため、合成映像４２では、交流対象者Ｃや交流希望者Ｂの移動によって、位置関係が前後することになる。
図５に示す、処理後の第１の撮影映像４１単体では、交流希望者Ｂの腕の一部が欠損しているように表示されていたものの、合成映像４２上では、当該箇所は第２の撮影映像２１の交流対象者Ｃの首や頭部によって隠されるため、違和感は無くなる。
また、素材映像２２に含まれていた流れ星は、合成映像４２上では、交流希望者Ｂよりも前方を通過し、同じく素材映像２２に含まれていた看板は、交流希望者Ｂよりも後方に配置され、一部が交流希望者Ｂによって隠れるように表示される。

【0052】

（４）合成映像の表示（図２）
情報処理装置Ｇで生成された合成映像４２は、ディスプレイＨへと送信され、交流希望者Ｂ等によってリアルタイムで閲覧することができる。
当該構成によれば、交流希望者Ｂ自身が、合成映像４２を確認しながら、第２の撮影映像２１での交流対象者Ｃの振る舞いに合わせるように、自己の振る舞いの調整が容易となる。

【0053】

なお、ディスプレイＨを交流希望者Ｂと向かい合うように設置している際には、合成映像４２を左右に反転した状態で表示しておく構成が望ましい。
当該構成によれば、交流希望者Ｂがより違和感なく、合成映像４２上での自己の振る舞いの調整が容易となる。

【0054】

＜３＞合成映像の保管・提供（図示せず）
生成した合成映像４２は、動画または静止画の形式で、情報処理装置Ｇや、その他の保存手段に保存しておき、交流希望者Ｂの求めに応じて提供可能に構成してもよい。
合成映像４２の提供方法は、合成映像４２のダウンロードリンクを読み取り可能な二次元コードを交流希望者Ｂに提供するなど、公知の方法を用いればよい。

【0055】

＜４＞まとめ
本発明に係る構成によれば、交流希望者Ｂと交流対象者Ｃとの同一空間での対面交流が出来ない場合であっても、交流希望者Ｂに対し、交流対象者Ｃとあたかも対面交流しているような新規な交流体験を提供することができる。

【実施例0056】

＜１＞全体構成（図６）
本発明に係る合成映像提供システムＡでは、合成部４０において、複数の第２の撮影映像２１を合成することもできる（図６）。
例えば、第２の撮影映像２１について、交流対象者Ｃが異なるポージングをしたパターンで複数用意し、撮影ブースに設置してある複数のトラッカーＦから取得する位置情報３１に基づいて、素材映像２２上の任意の複数座標に、第２の撮影映像２１を別々に合成することができる。
このとき、第２の撮影映像２１内の交流対象者Ｃの縮尺を縮めて、交流希望者Ｂの肩や掌に交流対象者Ｃを載せるように、各映像を合成することも可能となる。
また、第２の撮影映像２１に対し、逆再生や、スローモーション、ストップモーションなど、種々の映像加工を施した上で、合成映像４２の合成素材とすることもできる。

【0057】

＜２＞まとめ
本実施例に係る構成によれば、交流希望者Ｂと交流対象者Ｃとの同一空間での対面交流が出来ない場合であっても、交流希望者Ｂに対し、従前の非接触式の交流では実現することが不可能な交流対象者Ｃとの非現実的な交流体験を提供することができる。