特許 7467810 複合現実感提供システムおよび複合現実感提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】複合現実感提供システムおよび複合現実感提供方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240409BHJP

   G06F 3/04815 20220101ALI20240409BHJP

【ＦＩ】

G06T19/00 600

G06F3/04815

【請求項の数】 6

(21)【出願番号】P 2021101213

(22)【出願日】2021-05-07

(65)【公開番号】P2022173028

(43)【公開日】2022-11-17

【審査請求日】2022-10-06

(73)【特許権者】

【識別番号】519358416

【氏名又は名称】ＫＹＯＴＯ’Ｓ ３Ｄ ＳＴＵＤＩＯ株式会社

(72)【発明者】

【氏名】西村 和也

(72)【発明者】

【氏名】石田 航平

【審査官】村松 貴士

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０３８０７６９（ＵＳ，Ａ１）

【文献】国際公開第２０２０／０２６４１９（ＷＯ，Ａ１）

【文献】特開２０１８－１０９８３５（ＪＰ，Ａ）

【文献】特開２０１９－１５３２７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

複数の映像を組み合わせることにより実現させる複合現実空間をユーザに提供する複合現実感提供システムであって、
現実空間映像を撮像する撮像部と、
前記撮像部の光軸方向を算出する視線方向算出部と、
前記ユーザの位置を計測する位置計測部と、
前記ユーザが枠状物体の一方向側に位置する第１領域に位置する場合、前記ユーザの位置、前記枠状物体の位置および前記撮像部の光軸方向に基づいて、前記ユーザの位置とは異なる位置において撮影して得られる撮影映像とコンピュータグラフィックス映像との少なくとも一方からなる第１仮想空間映像から、前記ユーザの視点から前記枠状物体の他方向側の第２領域を見たときの前記第２領域の周縁部分を含む仮想平面に対して前記ユーザの視点側とは反対側の前記第２領域の内側に対応する第２仮想空間映像を抽出し、前記ユーザが前記第２領域に位置する場合、前記第１仮想空間映像から、前記ユーザの視点の位置に応じた第３仮想空間映像を抽出する映像抽出部と、
前記現実空間映像に予め設定された場所に設置された枠状物体の現実空間映像が含まれる場合、前記位置計測部により計測される前記ユーザの位置が前記第１領域に含まれるとき、前記現実空間映像における前記枠状物体の現実空間映像の内側に前記第２仮想空間映像の少なくとも一部を合成する第１合成処理を実行し、前記位置計測部により計測される前記ユーザの位置が前記第２領域に含まれるとき、前記現実空間映像における前記枠状物体の現実空間映像の外側に前記第３仮想空間映像の少なくとも一部を合成する第２合成処理を実行して合成映像を生成する合成処理部と、
前記合成映像を表示する表示部と、を備える、
複合現実感提供システム。

【請求項2】

前記合成処理部は、前記ユーザが前記第１領域に位置する場合、前記ユーザの視点から前記第２領域を臨んだときに前記第２仮想空間映像のうちの少なくとも前記枠状物体の現実空間映像の外側に位置する部分を現実空間映像に置き換える映像フィルタを用いて合成映像を生成する、
請求項１に記載の複合現実感提供システム。

【請求項3】

前記枠状物体の少なくとも一部に予め設けられたマークの現実空間映像に基づいて、前記ユーザの位置に対する前記枠状物体の相対的な位置を特定する位置特定部を更に備える、
請求項１または２に記載の複合現実感提供システム。

【請求項4】

前記マークは、予め設定された厚さの板材から形成され、
前記位置特定部は、前記マークの現実空間映像から前記マークの厚さを特定し、特定した厚さに基づいて、前記枠状物体の相対的な位置を特定する、
請求項３に記載の複合現実感提供システム。

【請求項5】

前記第２領域は、球状であり、
前記第１仮想空間映像は、３６０度カメラで撮影した画像または動画像である、
請求項１から４のいずれか１項に記載の複合現実感提供システム。

【請求項6】

複数の映像を組み合わせることにより実現させる複合現実空間をユーザに提供する複合現実感提供方法であって、
現実空間映像を撮像部により撮像するステップと、
前記撮像部の光軸方向を算出するステップと、
前記ユーザの位置を計測するステップと、
前記ユーザが枠状物体の一方向側に位置する第１領域に位置する場合、前記ユーザの位置、前記枠状物体の位置および前記撮像部の光軸方向に基づいて、前記ユーザの位置とは異なる位置において撮影して得られる撮影映像とコンピュータグラフィックス映像との少なくとも一方からなる第１仮想空間映像から、前記ユーザの視点から前記枠状物体の他方向側の第２領域を見たときの前記第２領域の周縁部分を含む仮想平面に対して前記ユーザの視点側とは反対側の前記第２領域の内側に対応する第２仮想空間映像を抽出し、前記ユーザが前記第２領域に位置する場合、前記第１仮想空間映像から、前記ユーザの視点の位置に応じた第３仮想空間映像を抽出するステップと、
前記現実空間映像に予め設定された場所に設置された枠状物体の現実空間映像が含まれる場合、計測される前記ユーザの位置が前記第１領域に含まれるとき、前記現実空間映像における前記枠状物体の現実空間映像の内側に前記第２仮想空間映像の少なくとも一部を合成する第１合成処理を実行し、計測される前記ユーザの位置が前記第２領域に含まれるとき、前記現実空間映像における前記枠状物体の現実空間映像の外側に前記第３仮想空間映像の少なくとも一部を合成する第２合成処理を実行して合成映像を生成するステップと、
前記合成映像を表示部に表示させるステップと、を含む、
複合現実感提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複合現実感提供システムおよび複合現実感提供方法に関する。

【背景技術】

【0002】

画像提供サーバと複数のクライアント端末とが通信可能に構成され現実空間画像に仮想物体を合成して複数のクライアント端末それぞれに表示する複合現実感表示システムが提案されている（例えば特許文献１参照）。ここで、画像提供サーバは、仮想物体を描画し、描画した仮想物体と、全方位画像取得カメラにて撮影された全方位画像を合成する合成手段と、合成画像情報を複数のクライアント端末に向けて配信する。一方、クライアント端末は、当該クライアント端末の画面を観察するユーザの視線を定義する位置姿勢情報に基づいて、画像提供サーバから受信した合成画像情報が示す合成画像から部分領域画像を抽出して表示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－０４８５９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に記載された複合現実感表示システムにおいて、ユーザの位置によってユーザが体験する複合現実感を切り替えることによりユーザにより多くの種類の複合現実感を利用したサービスを提供できるようにすることが要請されつつある。

【0005】

本発明は、上記事由に鑑みてなされたものであり、ユーザにより多くの種類の複合現実感を提供することができる複合現実感提供システムおよび複合現実感提供方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る複合現実感提供システムは、
複数の映像を組み合わせることにより実現させる複合現実空間をユーザに提供する複合現実感提供システムであって、
現空間映像を撮像する撮像部と、
前記撮像部の光軸方向を算出する視線方向算出部と、
前記ユーザの位置を計測する位置計測部と、
前記ユーザが枠状物体の一方向側に位置する第１領域に位置する場合、前記ユーザの位置、前記枠状物体の位置および前記撮像部の光軸方向に基づいて、前記ユーザの位置とは異なる位置において撮影して得られる撮影映像とコンピュータグラフィックス映像との少なくとも一方からなる第１仮想空間映像から、前記ユーザの視点から前記枠状物体の他方向側の第２領域を見たときの前記第２領域の周縁部分を含む仮想平面に対して前記ユーザの視点側とは反対側の前記第２領域の内側に対応する第２仮想空間映像を抽出し、前記ユーザが前記第２領域に位置する場合、前記第１仮想空間映像から、前記ユーザの視点の位置に応じた第３仮想空間映像を抽出する映像抽出部と、
前記現実空間映像に予め設定された場所に設置された枠状物体の現実空間映像が含まれる場合、前記位置計測部により計測される前記ユーザの位置が前記第１領域に含まれるとき、前記現実空間映像における前記枠状物体の現実空間映像の内側に前記第２仮想空間映像の少なくとも一部を合成する第１合成処理を実行し、前記位置計測部により計測される前記ユーザの位置が前記第２領域に含まれるとき、前記現実空間映像における前記枠状物体の現実空間映像の外側に前記第３仮想空間映像の少なくとも一部を合成する第２合成処理を実行して合成映像を生成する合成処理部と、
前記合成映像を表示する表示部と、を備える。

【発明の効果】

【0007】

本発明によれば、映像抽出部が、ユーザが第１領域に位置する場合、第１仮想空間映像から、ユーザの視点から第２領域を見たときの第２領域の周縁部分を含む仮想平面に対してユーザの視点側とは反対側の第２領域の内側に対応するユーザの視点の位置に応じた第２仮想空間映像を抽出する。また、映像抽出部は、ユーザが第２領域に位置する場合、第１仮想空間映像から、ユーザの視点の位置に応じた第３仮想空間映像を抽出する。そして、合成処理部が、現実空間映像に枠状物体の現実空間映像が含まれる場合、ユーザの位置が第１領域に含まれるとき、現実空間映像における枠状物体の現実空間映像の内側に第２仮想空間映像の少なくとも一部を合成する第１合成処理を実行する。また、合成処理部は、ユーザの位置が第２領域に含まれるとき、現実空間映像における枠状物体の現実空間映像の外側に第３仮想空間映像の少なくとも一部を合成する第２合成処理を実行して合成映像を生成する。これにより、ユーザの位置が第１領域と第２領域とのいずれに含まれるかによってユーザが体験する複合現実感を切り替えることができるので、ユーザにより多くの種類の複合現実感を利用したサービスを提供できる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る複合現実感提供システムの概略構成を示す図である。

【図2】実施の形態に係る複合現実感提供システムのハードウェア構成を示すブロック図である。

【図3】実施の形態に係る複合現実感提供システムの機能構成を示すブロック図である。

【図4】実施の形態に係る複合現実感提供システムの使用例を示す図である。

【図5】（Ａ）は実施の形態に係る複合現実感提供システムの使用例を示す図であり、（Ｂ）は端末装置の表示部に表示される映像の一例を示す模式図である。

【図6】（Ａ）は実施の形態に係る複合現実感提供システムの使用例を示す図であり、（Ｂ）は端末装置の表示部に表示される映像の一例を示す模式図である。

【図7】（Ａ）は抽出したオブジェクトの一例を示す図であり、（Ｂ）は実施の形態に係る位置特定部が端末装置とゲートとの間の距離を算出する処理を説明するための図であり、（Ｃ）は実施の形態に係る位置特定部が端末装置からゲートを臨む方向を算出する処理を説明するための図である。

【図8】（Ａ）は合成処理におけるユーザの視点と第２領域と映像フィルタとの位置関係を示す図であり、（Ｂ）はユーザの視点から第２領域方向を見たときの第２領域の周縁部分と映像フィルタとの位置関係を示す図である。

【図9】実施の形態に係る複合現実感提供システムの動作を示すシーケンス図である。

【図10】実施の形態に係る複合現実感提供システムの動作を示すシーケンス図である。

【図11】実施の形態に係るクラウドサーバが実行する複合現実感提供の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示の実施の形態に係る複合現実感提供システムについて図面を参照しながら説明する。本実施の形態に係る複合現実感提供システムは、複数の映像を組み合わせることにより実現させる複合現実空間をユーザに提供する。この複合現実感提供システムは、ユーザの視線方向の現実空間を撮像する撮像部と、ユーザの視線方向を算出する視線方向算出部と、ユーザの位置を計測する位置計測部と、映像抽出部と、合成処理部と、合成処理部により生成された合成映像を表示する表示部と、を備える。ここで、映像抽出部は、ユーザが予め設定された場所に設置された枠状物体の一方向側に位置する第１領域に位置する場合、ユーザの位置、枠状物体の位置およびユーザの視線方向に基づいて、ユーザの位置とは異なる位置において撮影して得られる撮影映像とコンピュータグラフィックス映像との少なくとも一方からなる第１仮想空間映像から、ユーザの視点から枠状物体の他方向側の第２領域を見たときの第２領域の周縁部分を含む仮想平面に対してユーザの視点側とは反対側の第２領域の内側に対応するユーザの視点の位置に応じた第２仮想空間映像を抽出し、ユーザが前記第２領域に位置する場合、第１仮想空間映像から、ユーザの視点の位置に応じた第３仮想空間映像を抽出する。合成処理部は、現実空間映像に枠状物体の現実空間映像が含まれる場合、位置計測部により計測されるユーザの位置が第１領域に含まれるとき、現実空間映像における枠状物体の現実空間映像の内側に第２仮想空間映像の少なくとも一部を合成する第１合成処理を実行し、位置計測部により計測されるユーザの位置が第２領域に含まれるとき、現実空間映像における枠状物体の現実空間映像の外側に第３仮想空間映像の少なくとも一部を合成する第２合成処理を実行して合成映像を生成する。

【0010】

本実施の形態に係る複合現実感提供システムは、図１に示すように、クラウドサーバ１と、クラウドサーバ１とインターネットのようなネットワークＮＷ１を介して通信可能な端末装置５と、を備える。この複合現実感提供システムは、イベント開催地、観光地等の様々な場所で屋外屋内を問わず端末装置５を所持するユーザに対して複合現実感を提供することできる。

【0011】

端末装置５は、例えば携帯電話、ＰＤＡ、スマートフォン等のモバイル端末装置である。なお、端末装置５は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、デジタルサイネージ端末等であってもよい。端末装置５は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１と、主記憶部５０２と、補助記憶部５０３と、表示部５０４と、入力部５５１と、撮像部５５２と、広域通信部５０６と、計時部５０７と、加速度検出部５８１と、地磁気検出部５８２と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信部５８３と、これらを互いに接続するバス５０９と、を備える。主記憶部５０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリを有し、ＣＰＵ５０１の作業領域として使用される。また、主記憶部５０２は、表示部５０４に表示させる画像情報を一時的に記憶する画像専用メモリ（図示せず）を有する。補助記憶部５０３は、半導体フラッシュメモリのような不揮発性メモリであり、ＣＰＵ５０１が各種処理を実行するためのプログラムを記憶する。表示部５０４は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置である。入力部５５１は、例えば表示部５０４に重ねて配置される透明なタッチパッドである。

【0012】

撮像部５５２は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等を有するカメラを有し、カメラで撮像して得られる映像を示す映像情報を主記憶部５０２の画像専用メモリへ転送する。ここで、ユーザが撮像部５５２のカメラの光軸方向と自身の視線方向とが一致するように端末装置５を所持して撮像を行う場合、撮像部５５２は、ユーザの視線方向の現実空間を撮像することになる。また、撮像部５５２は、ＣＰＵ５０１から撮像開始指示情報が転送されたことを契機として現実空間の連続撮像を開始する。また、撮像部５５２は、ＣＰＵ５０１から撮像終了指示情報が転送されたことを契機として現実空間の連続撮像を終了する。

【0013】

広域通信部５０６は、ネットワークＮＷ１に接続され、ＣＰＵ５０１から転送される情報を、ネットワークＮＷ１を介してクラウドサーバ１へ送信したり、クラウドサーバ１からネットワークＮＷ１を介して受信した情報をＣＰＵ５０１へ転送したりする。計時部５０７は、例えばリアルタイムクロックを有し、後述の予め設定された映像送信時期が到来すると、映像送信時期が到来したことをＣＰＵ５０１に通知する。

【0014】

加速度検出部５８１は、例えば静電容量式の３軸加速度センサを有し、予め設定された３軸方向それぞれに加わる加速度を検出し、検出した加速度の大きさおよび方向を示す加速度検出情報をＣＰＵ５０１へ転送する。地磁気検出部５８２は、ホールセンサ、ＭＲ（Ｍａｇｎｅｔｏ Ｒｅｓｉｓｔａｎｃｅ）センサ、ＭＩ（Ｍａｇｎｅｔｏ Ｉｍｐｅｄａｎｃｅ）センサ等を有し、地球上に発生する磁場の大きさおよび方向を示す磁場検出情報をＣＰＵ５０１へ転送する。ここで、磁場検出情報は、前述の３軸方向における磁場の大きさおよび方向を示すベクトル情報である。ＧＮＳＳ受信部５８３は、測位用の人工衛星から放射されるＧＮＳＳ信号を受信し、ＧＮＳＳ信号に基づいて人工衛星の位置情報、時刻情報等を含むＧＮＳＳ情報を生成してＣＰＵ５０１へ転送する。

【0015】

ＣＰＵ５０１は、補助記憶部５０３が記憶するプログラムを主記憶部５０２に読み出して実行することにより、図３に示すように、受付部５１１、位置通知部５１２、位置計測部５１３、映像送信部５１４、合成映像取得部５１５および表示制御部５１６として機能する。また、図２に示す主記憶部５０２の画像専用メモリには、図３に示すように、撮像映像記憶部５２１と、合成映像記憶部５２２と、が設けられている。撮像映像記憶部５２１は、撮像部５５２により撮像して得られる映像を示す映像情報を一時的に記憶する。撮像映像記憶部５２１は、複数フレーム分の映像情報をＦＩＦＯ方式で記憶するものであってもよい。また、撮像部５５２から転送される映像情報は、逐次撮像映像記憶部５２１に記憶されていく。

【0016】

合成映像記憶部５２２は、クラウドサーバ１から送信される合成映像を示す合成映像情報を一時的に記憶する。ここで、合成映像記憶部５２２は、複数フレーム分の映像情報をＦＩＦＯ方式で記憶するものであってもよい。

【0017】

図３に戻って、受付部５１１は、ユーザが入力部５５１に対して行った操作内容を受け付ける。受付部５１１は、例えばユーザが合成映像の表示部５０４への表示を開始させるための表示開始操作を行うと、その表示開始操作を受け付けて、表示開始操作情報を、位置通知部５１２、姿勢通知部５１７および映像送信部５１４に通知する。一方、受付部５１１は、例えばユーザが合成映像の表示部５０４への表示を終了させるための表示終了操作を行うと、その表示終了操作を受け付けて、表示終了操作情報を、位置通知部５１２、姿勢通知部５１７および映像送信部５１４に通知する。

【0018】

位置計測部５１３は、ＧＮＳＳ受信部５８３から転送されるＧＮＳＳ情報、加速度検出部５８１から転送される加速度検出情報および地磁気検出部５８２から転送される磁場検出情報を取得する。そして、位置計測部５１３は、取得したＧＮＳＳ情報、加速度検出情報および磁場検出情報に基づいて、端末装置５の位置を計測し、計測して得られたユーザの位置を示す位置座標情報を位置通知部５１２に通知する。

【0019】

位置通知部５１２は、位置計測部５１３から位置座標情報が通知されると、通知された位置座標情報を、ネットワークＮＷ１を介してクラウドサーバ１へ定期的に送信する。ここで、位置通知部５１２は、受付部５１１から表示開始操作情報が通知されたことを契機として、位置座標情報のクラウドサーバ１への送信を開始する。また、位置通知部５１２は、その後、予め設定された映像送信時期が到来する毎に位置座標情報をクラウドサーバ１へ送信する。映像送信時期は、例えばユーザが表示開始操作を行った後、数ｍｓｅｃ間隔で到来するように設定することができる。一方、位置通知部５１２は、受付部５１１から表示終了操作情報が通知されたことを契機として、位置座標情報のクラウドサーバ１への送信を停止する。

【0020】

姿勢通知部５１７は、加速度検出部５８１から転送される加速度検出情報および地磁気検出部５８２から転送される磁場検出情報を取得する。そして、姿勢通知部５１７は、取得した加速度検出情報および磁場検出情報に基づいて、端末装置５の姿勢を特定し、特定した姿勢を示す姿勢情報をクラウドサーバ１へ送信する。

【0021】

映像送信部５１４は、撮像映像記憶部５２１が記憶する映像情報を１フレーム分ずつクラウドサーバ１へ送信する。ここで、映像送信部５１４は、受付部５１１から表示開始操作情報が通知されたことを契機として、撮像映像記憶部５２１が記憶する映像情報のクラウドサーバ１への送信を開始する。一方、映像送信部５１４は、受付部５１１から表示終了操作情報が通知されたことを契機として、映像情報のクラウドサーバ１への送信を停止する。

【0022】

合成映像取得部５１５は、クラウドサーバ１から合成映像情報を取得すると、取得した合成映像情報を合成映像記憶部５２２に記憶させる。表示制御部５１６は、合成映像記憶部５２２が記憶する合成映像情報を１フレーム分ずつ表示部５０４に表示させる。

【0023】

本実施の形態に係る複合現実感提供システムでは、ユーザが、例えば図４に示すように、イベント開催地、観光地等に設置されたゲートＧＡＴＥを含む景色を端末装置５の撮像部５５２により撮像すると、表示部５０４に現実空間の映像に仮想空間の映像が合成された合成映像が表示されるというものである。ここで、ゲートＧＡＴＥは、例えば「どこでもドア」という板材から形成された厚さのある予め設定された文字列を示すマークＭ１が配設された枠状物体である。例えば図５（Ａ）に示すように、ユーザがゲートＧＡＴＥの一方向側に位置する第１領域Ａ１に位置するとき、端末装置５は、図５（Ｂ）に示すように、ゲートＧＡＴＥの現実空間映像ＯＢ１の内側が後述する第２仮想空間映像ＶＰ２であり、ゲートＧＡＴＥの現実空間映像ＯＢ１の外側が現実空間映像ＲＰである合成映像Ｇ１を表示部５０４に表示させる。一方、例えば図６（Ａ）に示すように、ユーザがゲートＧＡＴＥの他方向側に位置する第２領域Ａ２に位置するとき、端末装置５は、図６（Ｂ）に示すように、ゲートＧＡＴＥの現実空間映像ＯＢ１の内側が現実空間映像ＲＰであり、ゲートＧＡＴＥの現実空間映像ＯＢ１の外側が後述する第３仮想空間映像ＶＰ３である合成映像Ｇ２を表示部５０４に表示させる。ここで、第２領域Ａ２は、例えば一部がゲートＧＡＴＥに接するように配置された球状の領域に設定される。なお、第２領域Ａ２の形状は、球状に限定されるものではなく、例えば楕円体状のような他の立体的形状に設定されてもよい。

【0024】

図２に戻って、クラウドサーバ１は、ＣＰＵ１０１と、主記憶部１０２と、補助記憶部１０３と、広域通信部１０６と、各部を接続するバス１０９と、を備える。ＣＰＵ１０１は、例えばマルチコアプロセッサである。主記憶部１０２は、揮発性メモリであり、ＣＰＵ１０１の作業領域として使用される。補助記憶部１０３は、不揮発性メモリを有し、ＲＯＭ、ストレージとして機能し、クラウドサーバ１の各種機能を実現するためのプログラムを記憶する。広域通信部１０６は、ネットワークＮＷ１を介して端末装置５と通信する。

【0025】

ＣＰＵ１０１は、補助記憶部１０３が記憶するプログラムを主記憶部１０２に読み出して実行することにより、図３に示すように、映像取得部１１１、オブジェクト抽出部１１２、位置取得部１１３、姿勢取得部１１４、視線方向算出部１１５、映像抽出部１１６、映像処理部１１７、合成処理部１１８、合成映像送信部１１９および位置特定部１２０として機能する。また、図２に示す補助記憶部１０３は、図３に示すように、現実空間映像記憶部１３１と、仮想空間映像記憶部１３２と、合成映像記憶部１３３と、を有する。現実空間映像記憶部１３１は、端末装置５から取得した現実空間映像を示す映像情報を記憶する。

【0026】

仮想空間映像記憶部１３２は、ユーザの位置とは異なる位置において撮影して得られる撮影映像からなる第１仮想空間映像を示す仮想空間映像情報を記憶する。第１仮想空間映像は、例えば３６０度カメラで撮影した画像または動画像である。合成映像記憶部１３３は、合成処理部１１８により生成された合成映像情報を記憶する。

【0027】

映像取得部１１１は、端末装置５から送信される映像情報を取得すると、取得した映像情報を現実空間映像記憶部１３１に記憶させる。オブジェクト抽出部１１２は、現実空間映像記憶部１３１が記憶する映像情報が示す現実空間映像の中から前述のゲートＧＡＴＥに対応するオブジェクト、即ち、ゲートＧＡＴＥの現実空間映像が含まれる場合、そのゲートＧＡＴＥの現実空間映像を抽出する。オブジェクト抽出部１１２は、抽出したゲートＧＡＴＥの現実空間映像を示すゲート映像情報を位置特定部１２０に通知する。

【0028】

位置特定部１２０は、オブジェクト抽出部１１２から通知されるゲート映像情報が示すゲートＧＡＴＥの現実空間映像に含まれるマークＭ１の現実空間映像に基づいて、ゲートＧＡＴＥの位置を特定する。具体的には、位置特定部１２０は、例えば図７（Ａ）に示すように、マークＭ１の現実空間映像に表われているマークＭ１を構成する文字「ド」の側壁部分の垂直方向の幅Ｗ１と、水平方向の幅Ｗ２と、に基づいて、端末装置５とゲートＧＡＴＥとの間の距離を算出する。ここで、位置特定部１２０は、例えば図７（Ａ）に示すように、マークＭ１の正面部分の幅Ｗ１０と幅Ｗ１との比率並びに幅Ｗ１０の実際の長さから、幅Ｗ１の実際の幅Ｗ１ｒを推定する。次に、位置特定部１２０は、マークＭ１の厚さ方向が水平方向と平行であると看做して、マークＭ１の実際の厚さ幅Ｗ０に対する幅Ｗ１の実際の長さＷ１ｒの比率の逆余弦（ａｒｃｃｏｓ（Ｗ１ｒ／Ｗ０））を計算することにより、端末装置５の撮像部５５２の視点位置ＰＳからマークＭ１の奥側の位置ＰＭ１を臨む視線方向と水平方向、即ち、図７（Ｂ）のＹ軸方向とのなす仰角Ｔ１を算出する。また、位置特定部１２０は、端末装置５の撮像部５５２の視点位置ＰＳの地面からの高さを一般的な人の目線の高さの平均値に設定した上で、ゲートＧＡＴＥに設けられたマークＭ１の地面からの高さから設定した目線の高さの平均値を差し引いて得られる長さＨ１を算出する。そして、位置特定部１２０は、算出した長さＨ１と、算出した仰角Ｔ１の正接の逆数（１／ｔａｎ（Ｔ１））と、の積を、マークＭ１の厚さ方向における端末装置５とゲートＧＡＴＥとの間の距離Ｌ１として算出する。

【0029】

また、位置特定部１２０は、図７（Ａ）に示すように、マークＭ１の正面部分の幅Ｗ１０と幅Ｗ２との比率並びに幅Ｗ１０の実際の長さから、幅Ｗ２の実際の幅Ｗ２ｒを推定する。次に、位置特定部１２０は、マークＭ１の実際の厚さ幅Ｗ０に対する幅Ｗ２の実際の長さＷ２ｒの比率の逆余弦（ａｒｃｃｏｓ（Ｗ１ｒ／Ｗ０））を計算することにより、図７（Ｃ）に示すように、端末装置５の撮像部５５２の視点位置ＰＳからマークＭ１の奥側の位置ＰＭ１を臨む視線方向とマークＭ１の厚さ方向、即ち、図７（Ｃ）におけるＹ軸方向とのなす角度Ｔ２を算出する。そして、位置特定部１２０は、３箇所以上の複数箇所における距離Ｌ１と角度Ｔ２とを算出し、端末装置５から送信される複数箇所それぞれにおける位置座標情報と算出した複数箇所それぞれにおける距離Ｌ１および角度Ｔ２とを用いて、マークＭ１の位置座標を算出する。その後、位置特定部１２０は、予め設定されたマークＭ１の位置に対するゲートＧＡＴＥの内側部分の周縁部分の相対的な位置を示す情報に基づいて、算出したマークＭ１の位置座標からゲートＧＡＴＥの内側部分の周縁部分の位置座標を算出する。位置特定部１２０は、算出したゲートＧＡＴＥの内側部分の周縁部分の位置座標を示す位置座標情報を映像抽出部１１６および合成処理部１１８に通知する。

【0030】

位置取得部１１３は、端末装置５から送信される位置座標情報を取得し、取得した位置座標情報を映像抽出部１１６に通知する。姿勢取得部１１４は、端末装置５から送信される姿勢情報を取得し、取得した姿勢情報を視線方向算出部１１５に通知する。視線方向算出部１１５は、姿勢取得部１１４から通知される姿勢情報に基づいて、予め設定された基準方向に対する撮像部５５２の光軸方向、即ち、視線方向を算出する。そして、視線方向算出部１１５は、算出した視線方向を示す視線方向情報を映像抽出部１１６に通知する。

【0031】

映像抽出部１１６は、仮想空間映像記憶部１３２が記憶する第１仮想空間映像から、第１領域Ａ１にいるユーザの視点から第２領域Ａ２を見たときの第２領域Ａ２の内側に対応する第２仮想空間映像、または、第２領域Ａ２内にいるユーザの視点から見える第３仮想空間映像を抽出する。具体的には、映像抽出部１１６は、位置取得部１１３から通知される端末装置５の位置座標情報と、位置特定部１２０から通知されるゲートＧＡＴＥの位置座標情報と、に基づいて、端末装置５がゲートＧＡＴＥの予め設定された一方向側の第１領域Ａ１（図５（Ａ）参照）またはゲートＧＡＴＥの他方向側の第２領域（図６（Ａ）参照）のいずれに位置するかを特定する。そして、映像抽出部１１６は、位置取得部１１３から通知される位置座標情報が示す位置が第１領域Ａ１内に位置すると判定すると、前述の第２仮想空間映像を抽出する。即ち、映像抽出部１１６は、例えば図８（Ａ）に示すように、ユーザの視点ＰＳから第２領域Ａ２を見たときの第２領域Ａ２の周縁部分ＥＡ２を含む仮想平面ＶＰＬに対してユーザの視点ＰＳ側とは反対側の第２領域Ａ２の内側に対応するユーザの視点ＰＳの位置に応じた第２仮想空間映像を抽出する。図３に戻って、一方、映像抽出部１１６は、位置取得部１１３から通知される位置座標情報が示す位置が第２領域Ａ２内に位置すると判定すると、第１仮想空間映像から、ユーザの視点の位置から第２領域Ａ２の内側を見たときの第３仮想空間映像を抽出する。ここで、映像抽出部１１６は、位置取得部１１３から通知される位置座標情報と、視線方向算出部１１５から通知される視線方向情報と、に基づいて、第１仮想空間映像の抽出部分を特定し、特定した部分を採用する第２仮想空間映像または第３仮想空間映像として抽出する。そして、映像抽出部１１６は、抽出した第２仮想空間映像または第３仮想空間映像を示す仮想空間映像情報を合成処理部１１８に通知する。

【0032】

合成処理部１１８は、現実空間映像記憶部１３１から映像情報を取得し、取得した映像情報が示す現実空間映像にゲートＧＡＴＥの現実空間映像が含まれる場合、位置取得部１１３から通知される端末装置５の位置座標情報と、位置特定部１２０から通知されるゲートＧＡＴＥの位置座標情報と、から、ユーザが前述の第１領域Ａ１、第２領域Ａ２のいずれに位置するかを判定する。そして、合成処理部１１８は、ユーザの位置が前述の第１領域Ａ１に含まれる場合、現実空間映像におけるゲートＧＡＴＥの現実空間映像の内側に前述の第２仮想空間映像の一部を合成する第１合成処理を実行する。ここで、合成処理部１１８は、図８（Ａ）に示すように、ユーザの視点ＰＳから第２領域Ａ２を臨んだときに第２仮想空間映像のうちの少なくともゲートＧＡＴＥの現実空間映像の外側に位置する部分を現実空間映像に置き換える映像フィルタＦＩを用いて合成映像を生成する。これにより、図８（Ｂ）に示すように、ユーザの視点ＰＳからゲートＧＡＴＥ方向を見たとき、第２領域Ａ２の周縁部分ＥＡ２の内側に対応する第２仮想空間映像の一部が映像フィルタＦＩにより現実空間映像に置き換えられた状態となる。そして、端末装置５の表示部５０４に表示される画角領域ＰＡの合成映像は、第２領域Ａ２の周縁部分ＥＡ２の内側に対応する第２仮想空間映像のうち映像フィルタＦＩで覆われていない部分のみを含むものとなる。

【0033】

一方、合成処理部１１８は、ユーザの位置が前述の第２領域Ａ２に含まれる場合、現実空間映像におけるゲートＧＡＴＥの現実空間映像の外側に第３仮想空間映像の一部を合成する第２合成処理を実行する。この場合、合成処理部１１８は、第３仮想空間映像からゲートＧＡＴＥの現実空間映像の内側部分に現実空間映像が合成された合成映像を生成する。また、合成処理部１１８は、生成した合成映像を示す合成映像情報を合成映像記憶部１３３に記憶させる。合成映像送信部１１９は、合成映像記憶部１３３が記憶する合成映像情報を端末装置５へ送信する。

【0034】

次に、本実施の形態に係る複合現実感提供システムの動作について、図９および図１０を参照しながら説明する。ここで、ユーザが既に入力部５５１に対して合成映像の表示部５０４への表示を開始させるための表示開始操作を行っているものとする。まず、図９に示すように、予め設定された映像送信時期が到来すると、端末装置５は、撮像部５５２による撮像を実行する（ステップＳ１）。次に、端末装置５は、ＧＮＳＳ信号、加速度検出部５８１により検出される加速度および地磁気検出部５８２により検出される磁場の大きさおよび方向に基づいて、端末装置５の位置、姿勢を計測する（ステップＳ２）。続いて、撮像部５５２により撮像して得られる現実空間映像を示す映像情報と、端末装置５の位置を示す位置座標情報と、端末装置５の姿勢を示す姿勢情報と、が、端末装置５からクラウドサーバ１へ送信される（ステップＳ３）。

【0035】

一方、クラウドサーバ１は、端末装置５から送信される映像情報、位置座標情報および姿勢情報を取得すると、現実空間映像の中に前述のゲートＧＡＴＥの現実空間映像が含まれる場合、そのゲートＧＡＴＥの現実空間映像を抽出する（ステップＳ４）。その後、クラウドサーバ１は、抽出したゲートＧＡＴＥの現実空間映像に含まれるマークＭ１の現実空間映像と、端末装置５から取得した位置座標情報と、に基づいて、ゲートＧＡＴＥの位置を特定する（ステップＳ５）。

【0036】

次に、クラウドサーバ１は、取得した姿勢情報に基づいて、前述の視線方向を算出する（ステップＳ６）。続いて、クラウドサーバ１は、端末装置５が前述の第１領域Ａ１に位置すると判定したとする（ステップＳ７）。この場合、クラウドサーバ１は、仮想空間映像記憶部１３２が記憶する第１仮想空間映像から、前述の第２仮想空間映像を抽出する（ステップＳ８）。その後、クラウドサーバ１は、現実空間映像におけるゲートＧＡＴＥの現実空間映像の内側に、第２仮想空間映像のうちのゲートＧＡＴＥの現実空間映像の外側に位置する部分を現実空間映像に置き換える映像フィルタＦＩを用いて、抽出した第２仮想空間映像の一部を合成する第１合成処理を実行する（ステップＳ９）。続いて、クラウドサーバ１が前述の第１合成処理を実行することにより生成された合成映像情報が、クラウドサーバ１から端末装置５へ送信される（ステップＳ１０）。一方、端末装置５は、合成映像情報を取得すると、取得した合成映像情報が示す合成映像を表示部５０４に表示させる（ステップＳ１１）。

【0037】

また、予め設定された映像送信時期が到来し、ステップＳ１乃至Ｓ５までの一連の処理が実行された後において、クラウドサーバ１が、端末装置５が前述の第２領域Ａ２に位置すると判定したとする（ステップＳ１２）。この場合、クラウドサーバ１は、仮想空間映像記憶部１３２が記憶する第１仮想空間映像から、前述の第３仮想空間映像を抽出する（ステップＳ１３）。その後、図１０に示すように、クラウドサーバ１は、現実空間映像におけるゲートＧＡＴＥの現実空間映像の外側に第３仮想空間映像の一部を合成する第２合成処理を実行する第２合成処理を実行する（ステップＳ１４）。続いて、クラウドサーバ１が前述の第２合成処理を実行することにより生成された合成映像情報が、クラウドサーバ１から端末装置５へ送信される（ステップＳ１５）。一方、端末装置５は、合成映像情報を取得すると、取得した合成映像情報が示す合成映像を表示部５０４に表示させる（ステップＳ１６）。

【0038】

次に、本実施の形態に係るクラウドサーバ１が実行する複合現実感提供処理について、図１１を参照しながら説明する。なお、この複合現実感提供処理は、クラウドサーバ１において複合現実感提供処理を実行するためのプログラムが起動されたことを契機として開始される。まず、映像取得部１１１、位置取得部１１３および姿勢取得部１１４は、それぞれ、端末装置５から送信される映像情報、位置座標情報および姿勢情報を取得したか否かを判定する（ステップＳ１０１）。ここで、映像取得部１１１、位置取得部１１３および姿勢取得部１１４が、映像情報、位置座標情報および姿勢情報を取得しない限り（ステップＳ１０１：Ｎｏ）、ステップＳ１０１の処理が繰り返し実行される。

【0039】

一方、映像取得部１１１、位置取得部１１３および姿勢取得部１１４が、映像情報、位置座標情報および姿勢情報を取得したと判定したとする（ステップＳ１０１：Ｙｅｓ）。この場合、オブジェクト抽出部１１２は、映像情報が示す現実空間映像の中に前述のゲートＧＡＴＥの現実空間映像が含まれるか否かを判定する（ステップＳ１０２）。ここで、オブジェクト抽出部１１２が、映像情報が示す現実空間映像の中に前述のゲートＧＡＴＥの現実空間映像が含まれないと判定すると（ステップＳ１０２：Ｎｏ）、後述のステップ１０５の処理が実行される。一方、オブジェクト抽出部１１２は、現実空間映像の中にゲートＧＡＴＥの現実空間映像が含まれると判定すると（ステップＳ１０２：Ｙｅｓ）、現実空間映像の中からゲートＧＡＴＥの現実空間映像を抽出する（ステップＳ１０３）。次に、位置特定部１２０は、前述のように抽出したゲートＧＡＴＥの現実空間映像に含まれるマークＭ１の現実空間映像と、端末装置５から取得した位置座標情報と、に基づいて、ゲートＧＡＴＥの位置を特定する（ステップＳ１０４）。

【0040】

続いて、視線方向算出部１１５は、取得した姿勢情報に基づいて、前述の視線方向を算出する（ステップＳ１０５）。その後、映像抽出部１１６および映像処理部１１７は、それぞれ、位置取得部１１３から通知される端末装置５の位置座標情報と、位置特定部１２０から通知されるゲートＧＡＴＥの位置座標情報と、から、端末装置５、即ち、ユーザが前述の第１領域Ａ１内に位置するか否かを判定する（ステップＳ１０６）。ここで、映像抽出部１１６および映像処理部１１７が、ユーザが前述の第１領域Ａ１内に位置すると判定したとする（ステップＳ１０６：Ｙｅｓ）。この場合、映像抽出部１１６は、仮想空間映像記憶部１３２が記憶する第１仮想空間映像から、前述の第２仮想空間映像を抽出する（ステップＳ１０７）。次に、合成処理部１１８は、現実空間映像におけるゲートＧＡＴＥの現実空間映像の内側に、抽出した第２仮想空間映像の一部を合成する第１合成処理を実行する（ステップＳ１０８）。ここで、合成処理部１１８は、ユーザの視点から第２領域Ａ２を臨んだときに第２仮想空間映像のうちの少なくともゲートＧＡＴＥの現実空間映像の外側に位置する部分を現実空間映像に置き換える映像フィルタＦＩを用いて合成映像を生成する。その後、後述のステップＳ１１３の処理が実行される。

【0041】

また、ステップＳ１０６において、映像抽出部１１６および映像処理部１１７が、ユーザが前述の第２領域Ａ２内に位置すると判定したとする（ステップＳ１０６：Ｎｏ）。この場合、映像抽出部１１６は、仮想空間映像記憶部１３２が記憶する第１仮想空間映像から、前述の第３仮想空間映像を抽出する（ステップＳ１０９）。次に、合成処理部１１８は、現実空間映像におけるゲートＧＡＴＥの現実空間映像の外側に、抽出した第３仮想空間映像の一部を合成する第２合成処理を実行する第２合成処理を実行する（ステップＳ１１０）。ここで、合成処理部１１８は、第３仮想空間映像からゲートＧＡＴＥの現実空間映像の内側部分に現実空間映像が合成された合成映像を生成する。そして、合成処理部１１８は、生成した合成映像を示す合成映像情報を合成映像記憶部１３３に記憶させる。その後、合成映像送信部１１９は、合成映像記憶部１３３が記憶する合成映像情報を端末装置５へ送信する（ステップＳ１１１）。次に、再びステップＳ１０１の処理が実行される。

【0042】

以上説明したように、本実施の形態に係る複合現実感提供システムによれば、映像抽出部１１６が、ユーザが第１領域Ａ１に位置する場合、第１仮想空間映像から、ユーザの視点ＰＳから第２領域Ａ２を見たときの第２領域Ａ２の周縁部分ＥＡ２を含む仮想平面ＶＰＬに対してユーザの視点ＰＳ側とは反対側の第２領域Ａ２の内側に対応する第２仮想空間映像を抽出する。また、映像抽出部１１６は、ユーザが第２領域Ａ２に位置する場合、第１仮想空間映像から、前述の第３仮想空間映像を抽出する。そして、合成処理部１１８が、現実空間映像にゲートＧＡＴＥの現実空間映像が含まれる場合、ユーザの位置が第１領域Ａ１に含まれるとき、現実空間映像におけるゲートＧＡＴＥの現実空間映像の内側に第２仮想空間映像の一部を合成する第１合成処理を実行する。また、合成処理部１１８は、ユーザの位置が第２領域Ａ２に含まれるとき、現実空間映像におけるゲートＧＡＴＥの現実空間映像の外側に第３仮想空間映像の一部を合成する第２合成処理を実行して合成映像を生成する。これにより、ユーザの位置が第１領域Ａ１と第２領域Ａ２とのいずれに含まれるかによってユーザが体験する複合現実感を切り替えることができるので、ユーザにより多くの種類の複合現実感を利用したサービスを提供できる。

【0043】

以上、本発明の実施の形態について説明したが、本発明は前述の実施の形態によって限定されるものではない。例えば、第１仮想空間映像が、コンピュータグラフィックス映像、或いは、ユーザの位置とは異なる位置において撮影して得られる撮影映像とコンピュータグラフィックス映像とを組み合わせた映像であってもよい。

【0044】

実施の形態では、位置計測部５１３が、ＧＮＳＳ受信部５８３から転送されるＧＮＳＳ情報を用いて端末装置５の位置を計測する例について説明したが、これに限定されるものではない。例えば位置計測部５１３が、加速検出部５８１から転送される加速度検出情報および地磁気検出部５８２から転送される磁場検出情報のみに基づいて、端末装置５の位置を計測するものであってもよい。この場合、位置計測部５１３は、例えばゲートＧＡＴＥの撮像を開始した時点における位置を基準位置として、加速度検出情報および磁場検出情報のみに基づいて、基準位置からの移動経路を算出することにより端末装置５の位置を計測するようにすればよい。

【0045】

或いは、位置計測部５１３が、ＧＮＳＳ受信部５８３から転送されるＧＮＳＳ情報および地磁気検出部５８２から転送される磁場検出情報のみに基づいて、端末装置５の位置を計測するものであってもよい。

【0046】

また、本開示に係るクラウドサーバ１および端末装置５の各種機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体（ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行するクラウドサーバ１および端末装置５を構成してもよい。

【0047】

また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示版（ＢＢＳ（Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ））にアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行するクラウドサーバ１および端末装置５として機能する。

【0048】

以上、本発明の実施の形態および変形例について説明したが、本開示はこれらに限定されるものではない。本開示は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。

【産業上の利用可能性】

【0049】

本発明は、イベント開催地等において複合現実感を端末装置のユーザに提供するシステムとして好適である。

【符号の説明】

【0050】

１：クラウドサーバ、５：端末装置、１０１，５０１：ＣＰＵ、１０２，５０２：主記憶部、１０３，５０３：補助記憶部、１０６，５０６：広域通信部、１０９，５０９：バス、１１１：映像取得部、１１２：オブジェクト抽出部、１１３：位置取得部、１１４：姿勢取得部、１１５：視線方向算出部、１１６：映像抽出部、１１８：合成処理部、１１９：合成映像送信部、１３１：現実空間映像記憶部、１３２：仮想空間映像記憶部、１３３：合成映像記憶部、５０４：表示部、５０５：入力部、５０６：広域通信部、５１１：受付部、５１２：位置通知部、５１３：位置計測部、５１４：映像送信部、５１５：合成映像取得部、５１６：表示制御部、５１７：姿勢通知部、５２１：撮像映像記憶部、５２２：合成映像記憶部、５５１：入力部、５５２：撮像部、５８１：加速度検出部、５８２：地磁気検出部、５８３：ＧＮＳＳ受信部、Ａ１：第１領域、Ａ２：第２領域、ＥＡ２：周縁部分、ＦＩ：映像フィルタ、ＧＡ１，ＧＡ２：合成映像、ＧＡＴＥ：ゲート、Ｍ１：マーク、ＮＷ１ ネットワーク、ＯＢ１：現実空間映像、ＶＰ２：第２仮想空間映像、ＶＰ３：第３仮想空間映像、ＶＰＬ：仮想平面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】