ホーム > 特許ランキング > 株式会社ＡＣＷ－ＤＥＥＰ
▶ 株式会社ＡＣＷ−ＤＥＥＰの特許一覧 ▶ 昭和電線ケーブルシステム株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-10-11
(45)【発行日】2022-10-19
(54)【発明の名称】多拠点空間共有システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20221012BHJP
H04N 7/14 20060101ALI20221012BHJP
H04N 7/15 20060101ALI20221012BHJP
H04N 21/431 20110101ALI20221012BHJP
G06F 3/01 20060101ALI20221012BHJP
G06T 19/00 20110101ALI20221012BHJP
【ＦＩ】
H04N7/18 U
H04N7/14
H04N7/15 170
H04N21/431
G06F3/01 510
G06T19/00 A
【請求項の数】
8
(21)【出願番号】P 2022066899
(22)【出願日】2022-04-14
【審査請求日】2022-04-15
【早期審査対象出願】
(73)【特許権者】
【識別番号】516049674
【氏名又は名称】株式会社ＡＣＷ－ＤＥＥＰ
(73)【特許権者】
【識別番号】306013120
【氏名又は名称】昭和電線ケーブルシステム株式会社
(74)【代理人】
【識別番号】100082418
【弁理士】
【氏名又は名称】山口 朔生
(74)【代理人】
【識別番号】100167601
【弁理士】
【氏名又は名称】大島 信之
(74)【代理人】
【識別番号】100201329
【弁理士】
【氏名又は名称】山口 真二郎
(74)【代理人】
【識別番号】100220917
【弁理士】
【氏名又は名称】松本 忠大
(72)【発明者】
【氏名】山口 聡
(72)【発明者】
【氏名】新舘 均
(72)【発明者】
【氏名】箕輪 昌啓
(72)【発明者】
【氏名】沈 恒偉
(72)【発明者】
【氏名】瀬間 信幸
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１６－３２２７７（ＪＰ，Ａ）
【文献】特開２０２１－７７０７８（ＪＰ，Ａ）
【文献】特開２０１６－４８５３４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｈ０４Ｎ ７／１０－７／５６
Ｈ０４Ｎ ２１／００－２１／８５８
Ｇ０６Ｆ ３／０１－３／０４８９５
Ｇ０６Ｔ １９／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、
各拠点に１つ以上配置し、それぞれ拠点映像を取得する、撮影部と、
前記複数の拠点映像のうち１つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、
前記合成映像を表示する、表示部と、を少なくとも具備し、
複数の拠点に、前記表示部および前記複数の撮影部を設けてなり、
前記表示部が、各拠点のユーザが装着する、ＨＭＤ（ヘッドマウントディスプレイ）であり、
前記複数の撮影部が、
前記ＨＭＤに取り付けて当該ＨＭＤの前方を撮影可能な、第１のカメラと、
前記ＨＭＤの装着者を撮影する、第２のカメラと、を少なくとも含み、
前記一方の拠点のＨＭＤに表示される合成映像を構成する、前記合成素材として、
前記一方の拠点で撮影される、前記第１のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、
その他の拠点で撮影される、前記第２のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、が含まれることを特徴とする、
多拠点空間共有システム。
【請求項2】
多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、
各拠点に１つ以上配置し、それぞれ拠点映像を取得する、撮影部と、
前記複数の拠点映像のうち１つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、
前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、
前記合成映像を表示する、表示部と、を少なくとも具備し、
複数の拠点に１つ以上の前記撮影部を設け、かつ、少なくとも何れか１つの拠点に前記表示部を設けてなり、
前記表示部が、ディスプレイ、モニターまたはプロジェクターであり、
前記表示部を設けた拠点における前記撮影部のうち何れか１つが、前記表示部の表示画面の前方を撮影する、第３のカメラであり、
前記表示部に表示される合成映像を構成する、前記合成素材として、
前記第３のカメラによる拠点映像に対し、任意部分の除去処理を行った拠点映像と、
その他の拠点に設けた前記撮影部における拠点映像または当該拠点映像に対し、任意部分の除去処理を行った拠点映像と、が含まれることを特徴とする、
多拠点空間共有システム。
【請求項3】
前記除去処理対象の拠点映像のうち少なくとも１つに、深度情報が紐付けられており、前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の拠点映像に対し、
前記深度情報に基づく除去処理である、デプス系除去処理、および、
色空間情報の値に基づく除去処理である、クロマ系除去処理、
を行うことを特徴とする、
請求項１または２に記載の多拠点空間共有システム。
【請求項4】
前記除去処理対象の拠点映像のうち少なくとも１つに、深度情報が紐付けられており、
前記加工部は、
前記深度情報が紐付けられた前記除去処理対象の拠点映像に対し、
前記深度情報に基づく除去処理である、デプス系除去処理を行うことを特徴とする、
請求項１または２に記載の多拠点空間共有システム。
【請求項5】
前記加工部は、
前記除去処理対象の拠点映像に対し、色空間情報の値に基づく除去処理である、クロマ系除去処理を行うことを特徴とする、
請求項１または２に記載の多拠点空間共有システム。
【請求項6】
前記合成部による合成素材の一部として使用可能な素材映像を保存する、保存部をさらに具備することを特徴とする、請求項１または２に記載の多拠点空間共有システム。
【請求項7】
前記素材映像に、ＶＲ空間を提供する仮想映像が含まれることを特徴とする、請求項６に記載の多拠点空間共有システム。
【請求項8】
前記ユーザの位置情報を計測する、計測部をさらに具備し、前記合成部は、前記位置情報に基づいて、前記合成映像を生成することを特徴とする、
請求項１または２に記載の多拠点空間共有システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示させるための多拠点空間共有システムに関する。
【背景技術】
【0002】
出願人は、仮想空間上にユーザ周辺の現実映像を合成してなる拡張仮想空間をユーザに体験させるためのシステムとして、以下の特許文献１，２に示す発明を着想している。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６７１７４８６号公報
【文献】特許第６９９１４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記発明の発展系として、種々の用途に適用可能な多拠点空間共有システムおよび合成映像生成システムを提供することを目的の１つとする。
【課題を解決するための手段】
【0005】
上記課題を解決すべく、本発明では、多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、各拠点に１つ以上配置し、それぞれ拠点映像を取得する、撮影部と、前記複数の拠点映像のうち１つ以上の拠点映像に対し、任意部分の除去処理を行う、加工部と、前記除去処理後の拠点映像を含む、前記複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する、合成部と、前記合成映像を表示する、表示部と、を少なくとも具備するよう構成した。
当該構成により、多拠点で撮影された複数の拠点映像を組み合わせた１つの合成映像を生成して、各拠点間の人や物を１つの合成映像の中で共有可能とした。
当該構成により、多拠点で撮影された複数の拠点映像を組み合わせた１つの合成映像を生成して、各拠点間の人や物を１つの合成映像の中で共有可能とした。
【発明の効果】
【0006】
本発明によれば、以下に記載する効果のうち、少なくとも何れか１つの効果を奏する。
（１）多拠点で撮影された複数の拠点映像を組み合わせてなる１つの合成映像を生成することで、各拠点の人や物を１つの合成映像の中で共有することができる。
（２）近年メタバースとも呼ばれる仮想空間上に、異なる拠点で撮影された実際のユーザの撮影映像を組み込むことができるため、ＣＧからなるアバターを介したコミュニケーションが必要なく、ユーザ間でのよりリアルなコミュニケーションが可能となる。
（３）ユーザのリアルタイム映像を合成映像に組み込むことができるため、各ユーザが離れた場所にあっても各ユーザ間でコラボレーションしながら作業を行う必要性の高い用途（医療行為、工事作業、教育、その他の製作作業など）等への適用に好適である。
（１）多拠点で撮影された複数の拠点映像を組み合わせてなる１つの合成映像を生成することで、各拠点の人や物を１つの合成映像の中で共有することができる。
（２）近年メタバースとも呼ばれる仮想空間上に、異なる拠点で撮影された実際のユーザの撮影映像を組み込むことができるため、ＣＧからなるアバターを介したコミュニケーションが必要なく、ユーザ間でのよりリアルなコミュニケーションが可能となる。
（３）ユーザのリアルタイム映像を合成映像に組み込むことができるため、各ユーザが離れた場所にあっても各ユーザ間でコラボレーションしながら作業を行う必要性の高い用途（医療行為、工事作業、教育、その他の製作作業など）等への適用に好適である。
【図面の簡単な説明】
【0007】
【図1】本発明に係る多拠点空間共有システムの機能ブロック図。
【図2】本発明に係る多拠点空間共有システムの構成例１を示す機能ブロック図。
【図3】本発明に係る多拠点空間共有システムの構成例２を示す機能ブロック図。
【図4】本発明に係る多拠点空間共有システムの構成例３を示す機能ブロック図。
【図5】デプス系除去処理のイメージ図。
【図6】クロマ系除去処理のイメージ図。
【図7】デプス系除去処理とクロマ系除去処理の組合せのイメージ図。
【図8】実施例１に係る多拠点空間共有システムの構成図。
【図9】実施例１に係る多拠点空間共有システムでの合成映像のイメージ図。
【図10】実施例２に係る多拠点空間共有システムの構成図。
【図11】実施例２に係る多拠点空間共有システムでの合成映像のイメージ図。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、本発明の詳細について説明する。
【0009】
＜１＞全体構成（図１）
本発明に係る多拠点空間共有システムは、各拠点で撮影された複数の拠点映像を含んで合成してなる合成映像を、少なくとも一人以上のユーザに表示するためのシステムである。
図１に示す多拠点空間共有システムは、撮影部１０、加工部２０、合成部３０および表示部４０を少なくとも具備しており、その他、計測部５０および保存部６０を具備している。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、拠点の数、各部の数、各部の配置場所、各拠点における構成の異同は特段限定しない。
本発明に係る多拠点空間共有システムは、各拠点で撮影された複数の拠点映像を含んで合成してなる合成映像を、少なくとも一人以上のユーザに表示するためのシステムである。
図１に示す多拠点空間共有システムは、撮影部１０、加工部２０、合成部３０および表示部４０を少なくとも具備しており、その他、計測部５０および保存部６０を具備している。
各部は、ハードウェアおよびソフトウェアを任意に組み合わせて実現することができるほか、各部を個別の装置とする構成や、複数の各部を一つの装置に組み込んで一体化した構成等を採用することができる。
また、本発明において、拠点の数、各部の数、各部の配置場所、各拠点における構成の異同は特段限定しない。
【0010】
次に、図２～図４に、本発明に係る多拠点空間共有システムの構成例を示す。
なお、本発明において、各構成例から任意の箇所を取りだして、更に組み合わせた態様を採用することができることは言うまでも無い。
また、各拠点で表示される合成映像は、同一の映像であっても良いし、異なる映像であっても良く、用途に応じて適宜選択することができる。
なお、本発明において、各構成例から任意の箇所を取りだして、更に組み合わせた態様を採用することができることは言うまでも無い。
また、各拠点で表示される合成映像は、同一の映像であっても良いし、異なる映像であっても良く、用途に応じて適宜選択することができる。
【0011】
＜１．１＞構成例１（図２）
本例は、拠点毎に、各部を全て具備する装置を配置する構成である。
各拠点に設置した装置では、他拠点からの拠点映像を受信して、自拠点の拠点映像とともに、合成素材の一部または全部として合成映像を生成し、自拠点の表示部４０に表示することで、ユーザに合成映像を体験させる。
本例は、拠点毎に、各部を全て具備する装置を配置する構成である。
各拠点に設置した装置では、他拠点からの拠点映像を受信して、自拠点の拠点映像とともに、合成素材の一部または全部として合成映像を生成し、自拠点の表示部４０に表示することで、ユーザに合成映像を体験させる。
【0012】
＜１．２＞構成例２（図３）
本例は、前記構成例１において、加工部２０や合成部３０を、各拠点とは異なる場所（データセンター等）に設置したサーバで担う構成である。
サーバは、各拠点からの拠点映像を受信して、適宜除去処理を行いつつ各拠点向けの合成映像を生成し、この合成映像を、各拠点の表示部４０に送信して、ユーザに合成映像を体験させる。
本例は、前記構成例１において、加工部２０や合成部３０を、各拠点とは異なる場所（データセンター等）に設置したサーバで担う構成である。
サーバは、各拠点からの拠点映像を受信して、適宜除去処理を行いつつ各拠点向けの合成映像を生成し、この合成映像を、各拠点の表示部４０に送信して、ユーザに合成映像を体験させる。
【0013】
＜１．３＞構成例３（図４）
本例は、各拠点での目的に応じて、拠点毎に各部の組合せが異なる構成である。
図４では、一方の拠点（拠点１）では、当該拠点にいる人や物を拠点映像として撮影する撮影部１０のみを配置し、他方の拠点（拠点２）では、一方の拠点（拠点１）からの拠点映像を受信して、合成素材の一部または全部として合成映像を生成して拠点２の表示部４０に表示し、ユーザに合成映像を体験させる。
本例は、各拠点での目的に応じて、拠点毎に各部の組合せが異なる構成である。
図４では、一方の拠点（拠点１）では、当該拠点にいる人や物を拠点映像として撮影する撮影部１０のみを配置し、他方の拠点（拠点２）では、一方の拠点（拠点１）からの拠点映像を受信して、合成素材の一部または全部として合成映像を生成して拠点２の表示部４０に表示し、ユーザに合成映像を体験させる。
【0014】
以下、各部の詳細ならびに演算手順の詳細について説明する。
【0015】
＜２＞撮影部（図１）
撮影部１０は、合成映像の素材の一部または全部となる、拠点映像を取得するための機能を有する。
撮影部１０は、各拠点のうち合成対象の映像を取得する複数の拠点において、各拠点に１つ以上配置するものとする。
撮影部１０は、合成映像の素材の一部または全部となる、拠点映像を取得するための機能を有する。
撮影部１０は、各拠点のうち合成対象の映像を取得する複数の拠点において、各拠点に１つ以上配置するものとする。
【0016】
＜２．１＞拠点映像の種類
撮影部１０は、ノートＰＣ、タブレット、スマートフォンに内蔵されているカメラや、ＰＣとの接続インターフェースを備えたＷＥＢカメラやデジタルカメラ、拠点に常設されている固定式カメラ、ユーザが装着するヘッドマウントディスプレイ（以下、「ＨＭＤ」ともいう。）の内蔵カメラ、またはＨＭＤに外付けするカメラなどを用いることができる。
また、撮影部１０には、デプスカメラや３Ｄカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いることもできる。
また、本発明において、撮影部１０の画角等は特段限定しない。
撮影部１０は、ノートＰＣ、タブレット、スマートフォンに内蔵されているカメラや、ＰＣとの接続インターフェースを備えたＷＥＢカメラやデジタルカメラ、拠点に常設されている固定式カメラ、ユーザが装着するヘッドマウントディスプレイ（以下、「ＨＭＤ」ともいう。）の内蔵カメラ、またはＨＭＤに外付けするカメラなどを用いることができる。
また、撮影部１０には、デプスカメラや３Ｄカメラとも呼ばれる、撮影映像に深度情報を紐付けることが可能なカメラを用いることもできる。
また、本発明において、撮影部１０の画角等は特段限定しない。
【0017】
＜３＞計測部（図１）
計測部５０は、ユーザの位置情報を取得する機能を具備する装置である。
この「位置情報」とは、ユーザの姿勢や位置を認識可能な情報を少なくとも含むものであり、この位置情報に基づいて、合成映像の表示を変更することができる。
計測部５０は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、ＧＰＳ装置、トラッカー等を用いることができる。
また、計測部５０は、拠点に設置するタイプ、ユーザが装着するＨＭＤに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが使用するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
計測部５０は、ユーザの位置情報を取得する機能を具備する装置である。
この「位置情報」とは、ユーザの姿勢や位置を認識可能な情報を少なくとも含むものであり、この位置情報に基づいて、合成映像の表示を変更することができる。
計測部５０は、角度センサ、加速度センサ、ジャイロスコープなどのセンサ群、モーションキャプチャー装置、ＧＰＳ装置、トラッカー等を用いることができる。
また、計測部５０は、拠点に設置するタイプ、ユーザが装着するＨＭＤに内蔵されているタイプ、ユーザの身体に別途装着するタイプ、ユーザが使用するコントローラに内蔵されているタイプなど、あらゆるタイプが含まれる。
【0018】
＜４＞加工部（図１）
加工部２０は、各撮影部１０によって得られる拠点映像のうち、１つ以上の拠点映像に対し、任意部分の除去処理を行って、除去処理後の拠点映像を取得する機能を有する。
この「任意部分の除去処理」とは、拠点映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。
加工部２０は、各撮影部１０によって得られる拠点映像のうち、１つ以上の拠点映像に対し、任意部分の除去処理を行って、除去処理後の拠点映像を取得する機能を有する。
この「任意部分の除去処理」とは、拠点映像を構成するフレーム画像に対して、任意の部分を除去して、その余の箇所を抽出する処理である。
本発明において、「任意部分の除去処理」の手法は特段限定しないが、代表的な除去処理として、クロマ系除去処理とデプス系除去処理がある。
以下、各除去処理の詳細について説明する。
【0019】
＜４．１＞デプス系除去処理（図５）
デプス系除去処理は、除去処理対象である拠点映像について、当該拠点映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
拠点映像に紐付けられている深度情報は、撮影部１０としてデプスカメラを用いた場合において拠点映像に予め埋め込まれているデータや、拠点映像を画像解析して別途生成するデータ、または別途設けた３Ｄスキャナ等から得られるデータなどを用いることができる。
デプス系除去処理は、除去処理対象である拠点映像について、当該拠点映像に紐付けられている深度情報の値に基づいた除去を行う処理である。
拠点映像に紐付けられている深度情報は、撮影部１０としてデプスカメラを用いた場合において拠点映像に予め埋め込まれているデータや、拠点映像を画像解析して別途生成するデータ、または別途設けた３Ｄスキャナ等から得られるデータなどを用いることができる。
【0020】
デプス系除去処理の一例としては、拠点映像に対し、該拠点映像の深度情報に基づいて、所定の距離以上の深度情報を有する部分を除去する処理がある。
例えば、撮影部１０から、５０ｃｍ以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部１０から、５０ｃｍ未満の深度情報を有する箇所の映像のみが抽出されたものとなる。
例えば、撮影部１０から、５０ｃｍ以上の深度情報を有する箇所を除去対象とした場合、除去処理後の拠点映像は、撮影部１０から、５０ｃｍ未満の深度情報を有する箇所の映像のみが抽出されたものとなる。
【0021】
例えば、ユーザが装着したＨＭＤの前方を撮影するデプスカメラを撮影部１０として想定した場合、図５に示すように、拠点映像Ａ１に対しデプス系除去処理を行った除去処理後の拠点映像Ａ２は、当該ユーザの手元Ｂのみが抽出された映像となる。
【0022】
なお、デプス系除去処理による抽出箇所は、ユーザの身体に限らないため、ユーザが持つコントローラや、ユーザの周辺に存在する物体（椅子、机、梯子、食品等）も含めて抽出することができる。
【0023】
＜４．２＞クロマ系除去処理（図６）
クロマ系除去処理は、除去処理対象である拠点映像について、当該拠点映像の色空間情報の値に基づいた除去を行う処理である。
クロマ系除去処理は、除去処理対象である拠点映像について、当該拠点映像の色空間情報の値に基づいた除去を行う処理である。
【0024】
クロマ系除去処理は、ＲＧＢ，ＲＧＢＡ，ＣＭＹ，ＨＳＶ，ＨＬＳなどの周知の色空間情報に基づき、各色空間で定義される要素および数値範囲の中で所定の範囲を設定することによって、特定の均質色に対応する部分を除去して行う。
例えば、ＨＳＶ色空間情報を用いてクロマ系除去処理を行う場合、ＨＳＶ色空間情報は、色相（ｈｕｅ：０°～３６０°）、彩度（ｓａｔｕｒａｔｉｏｎ：０％～１００％）、明度（ｖａｌｕｅ：０％～１００％）のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。
例えば、ＨＳＶ色空間情報を用いてクロマ系除去処理を行う場合、ＨＳＶ色空間情報は、色相（ｈｕｅ：０°～３６０°）、彩度（ｓａｔｕｒａｔｉｏｎ：０％～１００％）、明度（ｖａｌｕｅ：０％～１００％）のパラメータを含んだ情報であり、各パラメータの数値範囲を設定することで、特定の均質色に対応する部分を除去することになる。
【0025】
クロマ系除去処理を実施する際には、予め、拠点に設けた撮影部１０の画角に含まれる箇所に、均一色を呈する背景材Ｃを設置しておくことが望ましい。
【0026】
＜４．３＞各除去処理の組合せ（図７）
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、図７に示すように、除去処理対象である１つの拠点映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった、ユーザの手指間の隙間や、ユーザの足元周辺の床部分等を、より明瞭に除去することもできる。
本発明では、上記した「任意部分の除去処理」の実施内容、実施順、実施回数は特段限定せず、本発明に係るシステムの用途に応じて適宜決定することができる。
なお、図７に示すように、除去処理対象である１つの拠点映像に対し、デプス系除去処理を行ってから、更にクロマ系除去処理を行うことで、デプス系除去処理では明瞭に除去しきれなかった、ユーザの手指間の隙間や、ユーザの足元周辺の床部分等を、より明瞭に除去することもできる。
【0027】
＜５＞保存部（図１）
保存部６０は、拠点映像以外の合成素材（以下「素材映像」ともいう）を保存しておく機能を有する。
保存部６０で保存される素材映像には、拠点映像とは別に、現実の場所を予め撮影しておいた映像、予め製作されたＣＧ映像、ＶＲ空間を提供する仮想映像（ＶＲ映像）またはこれらの組合せ映像を用いることができる。
保存部６０は、拠点映像以外の合成素材（以下「素材映像」ともいう）を保存しておく機能を有する。
保存部６０で保存される素材映像には、拠点映像とは別に、現実の場所を予め撮影しておいた映像、予め製作されたＣＧ映像、ＶＲ空間を提供する仮想映像（ＶＲ映像）またはこれらの組合せ映像を用いることができる。
【0028】
＜５．１＞素材映像の選択
また、各ユーザに体験させる合成映像の生成では、合成映像毎に同一の素材映像を提供しても良いし、異なる素材映像を提供してもよく、本発明に係る多拠点空間共有システムの用途に応じて適宜決定すればよい。
また、本発明は、素材映像に対して、前記した「任意部分の除去処理」を行うことを除外するものでもない。
また、各ユーザに体験させる合成映像の生成では、合成映像毎に同一の素材映像を提供しても良いし、異なる素材映像を提供してもよく、本発明に係る多拠点空間共有システムの用途に応じて適宜決定すればよい。
また、本発明は、素材映像に対して、前記した「任意部分の除去処理」を行うことを除外するものでもない。
【0029】
＜６＞合成部（図１）
合成部３０は、複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する機能を有する。
この「複数の拠点映像」には、撮影部１０による拠点映像と、加工部２０によって除去処理が施された後の拠点映像の何れもが含まれる。
したがって、全ての拠点映像に対し、除去処理後の拠点映像を合成素材としても良いし、一部の拠点映像は、除去処理後の拠点映像を合成素材とし、その余の拠点映像は、加工部２０を経由せずにそのまま合成素材とすることもできる。
また、合成素材には、前記した保存部６０に保存されている素材映像を含めることもできる。
合成部３０での合成は、単純に各合成素材を重ね合わせても良いし、計測部５０から得られる位置情報や、拠点映像等に紐付けられている深度情報等を用いて、素材映像でのＶＲ空間上での位置を計算して合成素材を重ね合わせても良い。
合成部３０は、複数の拠点映像を、合成素材の一部または全部として、合成映像を生成する機能を有する。
この「複数の拠点映像」には、撮影部１０による拠点映像と、加工部２０によって除去処理が施された後の拠点映像の何れもが含まれる。
したがって、全ての拠点映像に対し、除去処理後の拠点映像を合成素材としても良いし、一部の拠点映像は、除去処理後の拠点映像を合成素材とし、その余の拠点映像は、加工部２０を経由せずにそのまま合成素材とすることもできる。
また、合成素材には、前記した保存部６０に保存されている素材映像を含めることもできる。
合成部３０での合成は、単純に各合成素材を重ね合わせても良いし、計測部５０から得られる位置情報や、拠点映像等に紐付けられている深度情報等を用いて、素材映像でのＶＲ空間上での位置を計算して合成素材を重ね合わせても良い。
【0030】
＜７＞表示部（図１）
表示部４０は、合成部３０で生成した合成映像を、ユーザに表示する機能を有する。
表示部４０は、一般的なディスプレイ、モニター、プロジェクター等に限らず、ＶＲ、ＡＲ、ＸＲ等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
表示部４０は、合成部３０で生成した合成映像を、ユーザに表示する機能を有する。
表示部４０は、一般的なディスプレイ、モニター、プロジェクター等に限らず、ＶＲ、ＡＲ、ＸＲ等の空間体験で使用可能な、ヘッドマウントディスプレイやゴーグル、ハウジングに収容してゴーグル化可能なスマートフォンなどの携帯端末などを用いることができる。
【実施例1】
【0031】
＜１＞全体構成（図８）
図８は、前記した構成例１に係る多拠点空間共有システムを、医療教育の現場で活用した場合の構成イメージ図である。
各拠点には、デプスカメラである第１のカメラＸ１を備えたヘッドマウントディスプレイＹ１と、このヘッドマウントディスプレイＹ１を装着するユーザＵ１（Ｕ２）を撮影する第２のカメラＸ２と、情報処理装置Ｚを備えている。
各ヘッドマウントディスプレイＹ１には、図示しないトラッカーが内蔵されており、ヘッドマウントディスプレイＹ１の位置から、装着したユーザＵ１（Ｕ２）の位置情報を適宜取得している。
本実施例では、各拠点の第１のカメラＸ１および第２のカメラＸ２が、撮影部１０として機能し、情報処理装置Ｚが、少なくとも加工部２０、合成部３０および保存部６０として機能し、ヘッドマウントディスプレイＹ１が、表示部４０および計測部５０として機能する構成を呈している。
図８は、前記した構成例１に係る多拠点空間共有システムを、医療教育の現場で活用した場合の構成イメージ図である。
各拠点には、デプスカメラである第１のカメラＸ１を備えたヘッドマウントディスプレイＹ１と、このヘッドマウントディスプレイＹ１を装着するユーザＵ１（Ｕ２）を撮影する第２のカメラＸ２と、情報処理装置Ｚを備えている。
各ヘッドマウントディスプレイＹ１には、図示しないトラッカーが内蔵されており、ヘッドマウントディスプレイＹ１の位置から、装着したユーザＵ１（Ｕ２）の位置情報を適宜取得している。
本実施例では、各拠点の第１のカメラＸ１および第２のカメラＸ２が、撮影部１０として機能し、情報処理装置Ｚが、少なくとも加工部２０、合成部３０および保存部６０として機能し、ヘッドマウントディスプレイＹ１が、表示部４０および計測部５０として機能する構成を呈している。
【0032】
なお、本発明は、上記した図８に示す構成に替えて、前記した構成例２のように、別途設けたデータセンターに設置されたサーバに、加工部２０、合成部３０および保存部６０の機能を割り当てても良い。
【0033】
次に、拠点１側の合成映像の生成および表示の流れについて説明する。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。
（１）第１のカメラＸ１で撮影された拠点映像は、拠点１の情報処理装置Ｚに送られ、当該情報処理装置Ｚ内で、任意部分の除去処理（本例では、デプス系除去処理およびクロマ系除去処理）が施され、ユーザＵ１の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
（２）次に、拠点１の情報処理装置Ｚでは、拠点２の第２のカメラＸ２で撮影された拠点映像を、拠点２の情報処理装置Ｚを介して受信する。本実施例では、第２のカメラＸ２に係る撮影映像には深度情報が紐付けられていないことから、第２のカメラＸ２で撮影された拠点映像にはクロマ系除去処理のみを施して、ユーザＵ２を抽出した除去処理後の拠点映像を生成し、合成素材とする。
（３）さらに、拠点１の情報処理装置Ｚには、手術台に乗せられた患者を表示する仮想空間の映像が、合成素材として保存されている。
（４）拠点１の情報処理装置Ｚでは、前記（１）（２）（３）の合成素材を適宜組み合わせて、合成映像を生成する。このとき、前記（２）の除去処理後の拠点映像には深度情報が紐付けられていないため、（３）の仮想空間の映像上に予め仮想表示枠を設けておき、この仮想表示枠に前記（２）の除去処理後の拠点映像を合成するものとする。
（５）拠点１の情報処理装置Ｚで生成された合成映像は、ユーザＵ１の位置情報に基づいて表示態様を変更するように、ユーザＵ１が装着するヘッドマウントディスプレイＹ１で表示される。
なお、本発明において、下記の各処理は、動作に矛盾のない範囲で順番を入れ換えたり、並行実施したりすることができる。
（１）第１のカメラＸ１で撮影された拠点映像は、拠点１の情報処理装置Ｚに送られ、当該情報処理装置Ｚ内で、任意部分の除去処理（本例では、デプス系除去処理およびクロマ系除去処理）が施され、ユーザＵ１の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
（２）次に、拠点１の情報処理装置Ｚでは、拠点２の第２のカメラＸ２で撮影された拠点映像を、拠点２の情報処理装置Ｚを介して受信する。本実施例では、第２のカメラＸ２に係る撮影映像には深度情報が紐付けられていないことから、第２のカメラＸ２で撮影された拠点映像にはクロマ系除去処理のみを施して、ユーザＵ２を抽出した除去処理後の拠点映像を生成し、合成素材とする。
（３）さらに、拠点１の情報処理装置Ｚには、手術台に乗せられた患者を表示する仮想空間の映像が、合成素材として保存されている。
（４）拠点１の情報処理装置Ｚでは、前記（１）（２）（３）の合成素材を適宜組み合わせて、合成映像を生成する。このとき、前記（２）の除去処理後の拠点映像には深度情報が紐付けられていないため、（３）の仮想空間の映像上に予め仮想表示枠を設けておき、この仮想表示枠に前記（２）の除去処理後の拠点映像を合成するものとする。
（５）拠点１の情報処理装置Ｚで生成された合成映像は、ユーザＵ１の位置情報に基づいて表示態様を変更するように、ユーザＵ１が装着するヘッドマウントディスプレイＹ１で表示される。
【0034】
【0035】
＜２．１＞拠点１側の合成映像
図９（ａ）は、拠点１のユーザＵ１が視認する合成映像のイメージ図である。
この合成映像では、前記（３）に係る、手術台と、手術台に乗せられた患者を表示する仮想空間の映像からなる素材映像Ｄと、仮想空間上の手術台を挟んで手前側に、前記（１）に係る、除去処理後の拠点映像に含まれるユーザＵ１の周辺映像が合成され、さらに、前記手術台を挟んで奥側に、仮想的に配置した仮想表示枠Ｄ１に、前記（２）に係る除去処理後の拠点映像に含まれる、ユーザＵ２の映像が合成されている。
また、ユーザＵ１が手術台に近づくように移動すると、ユーザＵ１のヘッドマウントディスプレイＹ１から得られる位置情報に基づいて合成映像も手術台に接近した位置にユーザＵ１が移動するように表示が変更される。
図９（ａ）は、拠点１のユーザＵ１が視認する合成映像のイメージ図である。
この合成映像では、前記（３）に係る、手術台と、手術台に乗せられた患者を表示する仮想空間の映像からなる素材映像Ｄと、仮想空間上の手術台を挟んで手前側に、前記（１）に係る、除去処理後の拠点映像に含まれるユーザＵ１の周辺映像が合成され、さらに、前記手術台を挟んで奥側に、仮想的に配置した仮想表示枠Ｄ１に、前記（２）に係る除去処理後の拠点映像に含まれる、ユーザＵ２の映像が合成されている。
また、ユーザＵ１が手術台に近づくように移動すると、ユーザＵ１のヘッドマウントディスプレイＹ１から得られる位置情報に基づいて合成映像も手術台に接近した位置にユーザＵ１が移動するように表示が変更される。
【0036】
＜２．２＞拠点２側の合成映像
図９（ｂ）は、拠点２のユーザＵ２が視認する合成映像のイメージ図である。
この合成映像では、素材映像Ｄの手術台を挟んで奥側に、拠点１の第２のカメラＸ２からなる、除去処理後の拠点映像が、仮想表示枠Ｄ１上に合成されている。
また、素材映像Ｄの手術台を挟んで手前側には、ユーザＵ２の周辺映像が合成されることになるが、ユーザＵ２は両手を上げており、第１のカメラＸ１の画角内に両手が映らない状態であるため、合成映像上にはユーザＵ２の手元は表示されていない。
図９（ｂ）は、拠点２のユーザＵ２が視認する合成映像のイメージ図である。
この合成映像では、素材映像Ｄの手術台を挟んで奥側に、拠点１の第２のカメラＸ２からなる、除去処理後の拠点映像が、仮想表示枠Ｄ１上に合成されている。
また、素材映像Ｄの手術台を挟んで手前側には、ユーザＵ２の周辺映像が合成されることになるが、ユーザＵ２は両手を上げており、第１のカメラＸ１の画角内に両手が映らない状態であるため、合成映像上にはユーザＵ２の手元は表示されていない。
【0037】
＜３＞補足説明
上記説明では、素材映像である仮想空間上に手術台と患者を用意しているが、例えば、何れかの拠点に、実物の手術台と患者の模型を用意した態様とすることができる。
例えば、拠点１側に実物模型を用意した場合には、以下の方法等を採用することができる。
（方法１）拠点１側の第１のカメラＸ１で、実物の手術台と患者の模型を撮影し、デプス系除去処理で抽出対象とする距離を長めにして、第１のカメラＸ１に基づく除去処理後の拠点映像内に実物の手術台と患者の模型を含める方法。
（方法２）拠点１側の第２のカメラＸ２でもって実物の手術台と患者の模型を撮影した映像を、拠点２側に送信するだけでなく、拠点１側の合成映像の素材映像として利用する方法。
上記説明では、素材映像である仮想空間上に手術台と患者を用意しているが、例えば、何れかの拠点に、実物の手術台と患者の模型を用意した態様とすることができる。
例えば、拠点１側に実物模型を用意した場合には、以下の方法等を採用することができる。
（方法１）拠点１側の第１のカメラＸ１で、実物の手術台と患者の模型を撮影し、デプス系除去処理で抽出対象とする距離を長めにして、第１のカメラＸ１に基づく除去処理後の拠点映像内に実物の手術台と患者の模型を含める方法。
（方法２）拠点１側の第２のカメラＸ２でもって実物の手術台と患者の模型を撮影した映像を、拠点２側に送信するだけでなく、拠点１側の合成映像の素材映像として利用する方法。
【0038】
＜４＞まとめ
以上説明した構成によれば、遠隔地にいるユーザ間で、１つの空間を共有しつつ、合成映像の中で自分の手元や周辺領域、および相手の姿を現実映像で認識することができることになる。したがって、本実施例で説明した医療教育のように、各人の行動を互いに確認しあう必要性の高い用途に好適である。
以上説明した構成によれば、遠隔地にいるユーザ間で、１つの空間を共有しつつ、合成映像の中で自分の手元や周辺領域、および相手の姿を現実映像で認識することができることになる。したがって、本実施例で説明した医療教育のように、各人の行動を互いに確認しあう必要性の高い用途に好適である。
【実施例2】
【0039】
＜１＞全体構成（図１０）
図１０は、前記した構成例３に係る多拠点空間共有システムを、水族館が提供するサービスとして活用した場合の構成イメージ図である。
拠点１には、ユーザＵ３の前方に設置したディスプレイＹ２と、当該ディスプレイＹ２の上部に取り付けて、ユーザＵ３を撮影する第３のカメラＸ３と、情報処理装置Ｚとを設けている。
拠点２は、水族館の館内の水槽Ｔを撮影する第４のカメラＸ４を設けている。
第３のカメラＸ３および第４のカメラＸ４は何れも、撮影映像に深度情報を紐付けることが可能なデプスカメラである。
本実施例では、第３のカメラＸ３および第４のカメラＸ４が、撮影部１０として機能し、情報処理装置Ｚが、少なくとも加工部２０および合成部３０として機能し、ディスプレイＹ２が表示部４０として機能する構成を呈している。
図１０は、前記した構成例３に係る多拠点空間共有システムを、水族館が提供するサービスとして活用した場合の構成イメージ図である。
拠点１には、ユーザＵ３の前方に設置したディスプレイＹ２と、当該ディスプレイＹ２の上部に取り付けて、ユーザＵ３を撮影する第３のカメラＸ３と、情報処理装置Ｚとを設けている。
拠点２は、水族館の館内の水槽Ｔを撮影する第４のカメラＸ４を設けている。
第３のカメラＸ３および第４のカメラＸ４は何れも、撮影映像に深度情報を紐付けることが可能なデプスカメラである。
本実施例では、第３のカメラＸ３および第４のカメラＸ４が、撮影部１０として機能し、情報処理装置Ｚが、少なくとも加工部２０および合成部３０として機能し、ディスプレイＹ２が表示部４０として機能する構成を呈している。
【0040】
拠点１側での合成映像の生成および表示の流れについて、以下に説明する。
（１）第３のカメラＸ３で撮影された拠点映像は、拠点１の情報処理装置Ｚに送られ、当該情報処理装置Ｚ内で、任意部分の除去処理（本例では、デプス系除去処理およびクロマ系除去処理）が施されて、ユーザＵ３の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
（２）次に、拠点１の情報処理装置Ｚでは、拠点２の第４のカメラＸ４で水槽Ｔを撮影した拠点映像を受信し、水槽Ｔ内の魚介類の映像に深度情報が紐付けられた形で抽出された、除去処理後の拠点映像を生成し、合成素材とする。
（３）拠点１の情報処理装置Ｚでは、前記（１）（２）の合成素材を適宜組み合わせて、合成映像を生成する。各映像は深度情報を有することから、一定の深度位置を基準として合成を行えば良い。
（１）第３のカメラＸ３で撮影された拠点映像は、拠点１の情報処理装置Ｚに送られ、当該情報処理装置Ｚ内で、任意部分の除去処理（本例では、デプス系除去処理およびクロマ系除去処理）が施されて、ユーザＵ３の周辺のみが抽出された、除去処理後の拠点映像を生成し、合成素材とする。
（２）次に、拠点１の情報処理装置Ｚでは、拠点２の第４のカメラＸ４で水槽Ｔを撮影した拠点映像を受信し、水槽Ｔ内の魚介類の映像に深度情報が紐付けられた形で抽出された、除去処理後の拠点映像を生成し、合成素材とする。
（３）拠点１の情報処理装置Ｚでは、前記（１）（２）の合成素材を適宜組み合わせて、合成映像を生成する。各映像は深度情報を有することから、一定の深度位置を基準として合成を行えば良い。
【0041】
＜２＞合成映像例（図１１）
本実施例に係る多拠点空間共有システムにおいて、拠点１のディスプレイＹ２に表示される合成映像のイメージ図を、図１１に示す。
図１１に示した合成映像には、前記（２）に係る、深度情報が紐付けられた形で水槽Ｔが撮影された映像と、深度情報が紐付けられた形で撮影されたユーザＵ３の映像とが合成されている。
前記（１）（２）の何れの拠点映像も深度情報を有するため、例えば水槽Ｔの手前側で魚が移動する場合には、魚は、ユーザＵ３の前を横切るように表示されることとなり、ユーザＵ３が前を横切る魚よりも前に手を伸ばした際には、魚がユーザＵ３の手に隠れるように表示されることとなる。
したがって、あたかもユーザＵ３が水槽Ｔ内にいて、ユーザＵ３の周辺を魚が移動しているような映像をディスプレイＹ２に映すことができ、ユーザＵ３が水層Ｔの内部に入り込んで魚と空間を共有したような体験をすることができる。
本実施例に係る多拠点空間共有システムにおいて、拠点１のディスプレイＹ２に表示される合成映像のイメージ図を、図１１に示す。
図１１に示した合成映像には、前記（２）に係る、深度情報が紐付けられた形で水槽Ｔが撮影された映像と、深度情報が紐付けられた形で撮影されたユーザＵ３の映像とが合成されている。
前記（１）（２）の何れの拠点映像も深度情報を有するため、例えば水槽Ｔの手前側で魚が移動する場合には、魚は、ユーザＵ３の前を横切るように表示されることとなり、ユーザＵ３が前を横切る魚よりも前に手を伸ばした際には、魚がユーザＵ３の手に隠れるように表示されることとなる。
したがって、あたかもユーザＵ３が水槽Ｔ内にいて、ユーザＵ３の周辺を魚が移動しているような映像をディスプレイＹ２に映すことができ、ユーザＵ３が水層Ｔの内部に入り込んで魚と空間を共有したような体験をすることができる。
【0042】
＜３＞補足説明
上記説明では、何れの拠点映像も深度情報が紐付けられた態様としているが、例えば、拠点２側の拠点映像にのみ深度情報が紐付けられた態様とし、拠点２の拠点映像中の所定の深度位置に、拠点１側の拠点映像を合成するように構成してもよい。
上記説明では、何れの拠点映像も深度情報が紐付けられた態様としているが、例えば、拠点２側の拠点映像にのみ深度情報が紐付けられた態様とし、拠点２の拠点映像中の所定の深度位置に、拠点１側の拠点映像を合成するように構成してもよい。
【0043】
＜４＞まとめ
以上説明した構成によれば、水族館の開園が困難な状況下においても、遠隔地のユーザに対し、仮想的なふれ合いの機会を与えたり、現実では不可能な、展示水槽の内部にユーザが入り込むような体験を提供したりすることができる。
したがって、水族館に限らず、動物園、遊園地、球技場などの施設において、開園中に提供可能な体験とは異なる、新たな体験を顧客に提供することができる。
以上説明した構成によれば、水族館の開園が困難な状況下においても、遠隔地のユーザに対し、仮想的なふれ合いの機会を与えたり、現実では不可能な、展示水槽の内部にユーザが入り込むような体験を提供したりすることができる。
したがって、水族館に限らず、動物園、遊園地、球技場などの施設において、開園中に提供可能な体験とは異なる、新たな体験を顧客に提供することができる。
【実施例3】
【0044】
なお、本発明は、前記した加工部２０および合成部３０を少なくとも含んで構成した、合成映像生成システムとしての活用も可能である。
合成素材となる映像データは特段限定されず、リアルタイムに撮影されている映像データや、予め撮影・保存されている映像データを適宜用いることができる。
また、本実施例に係る合成映像生成システムには、さらに計測部５０や保存部６０を具備することもできる。
本実施例に係る合成映像生成システムによれば、動画作成作業において、予め撮影済みのデータを適宜組み合わせて合成映像を作成する場合にも適用が可能である。
合成素材となる映像データは特段限定されず、リアルタイムに撮影されている映像データや、予め撮影・保存されている映像データを適宜用いることができる。
また、本実施例に係る合成映像生成システムには、さらに計測部５０や保存部６０を具備することもできる。
本実施例に係る合成映像生成システムによれば、動画作成作業において、予め撮影済みのデータを適宜組み合わせて合成映像を作成する場合にも適用が可能である。
【符号の説明】
【0045】
１０ 撮影部
２０ 加工部
３０ 合成部
４０ 表示部
５０ 計測部
６０ 保存部
Ａ１ 拠点映像
Ａ２ 除去処理後の拠点映像
Ｂ 手元
Ｃ 背景材
Ｕ１、Ｕ２ ユーザ
Ｘ１ 第１のカメラ
Ｘ２ 第２のカメラ
Ｘ３ 第３のカメラ
Ｘ４ 第４のカメラ
Ｙ１ ヘッドマウントディスプレイ
Ｙ２ ディスプレイ
Ｚ 情報処理装置
２０ 加工部
３０ 合成部
４０ 表示部
５０ 計測部
６０ 保存部
Ａ１ 拠点映像
Ａ２ 除去処理後の拠点映像
Ｂ 手元
Ｃ 背景材
Ｕ１、Ｕ２ ユーザ
Ｘ１ 第１のカメラ
Ｘ２ 第２のカメラ
Ｘ３ 第３のカメラ
Ｘ４ 第４のカメラ
Ｙ１ ヘッドマウントディスプレイ
Ｙ２ ディスプレイ
Ｚ 情報処理装置
【要約】
【課題】多拠点で撮影された複数の拠点映像を組み合わせた１つの合成映像を生成して、各拠点間の人や物を１つの合成映像の中で共有すること。
【解決手段】多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、各拠点に１つ以上配置し、それぞれ拠点映像を取得する撮影部１０と、前記複数の拠点映像のうち１つ以上の拠点映像に対し、任意部分の除去処理を行う加工部２０と、前記除去処理後の拠点映像を含む前記複数の拠点映像を合成素材の一部または全部として合成映像を生成する合成部３０と、合成映像を表示する表示部４０と、を少なくとも具備する。
【選択図】図１
【解決手段】多拠点で撮影された複数の拠点映像を用いた合成映像をユーザに表示する、多拠点空間共有システムであって、各拠点に１つ以上配置し、それぞれ拠点映像を取得する撮影部１０と、前記複数の拠点映像のうち１つ以上の拠点映像に対し、任意部分の除去処理を行う加工部２０と、前記除去処理後の拠点映像を含む前記複数の拠点映像を合成素材の一部または全部として合成映像を生成する合成部３０と、合成映像を表示する表示部４０と、を少なくとも具備する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】