特許 7281576 映像投影システム及び映像投影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-05-17

(45)【発行日】2023-05-25

(54)【発明の名称】映像投影システム及び映像投影方法

(51)【国際特許分類】

   H04N 5/74 20060101AFI20230518BHJP

   G09G 5/00 20060101ALI20230518BHJP

   G06T 19/00 20110101ALI20230518BHJP

【ＦＩ】

H04N5/74 Z

G09G5/00 510B

G09G5/00 550X

G06T19/00 600

【請求項の数】 7

(21)【出願番号】P 2022060570

(22)【出願日】2022-03-31

【審査請求日】2022-05-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(72)【発明者】

【氏名】松ヶ谷 篤史

【審査官】佐野 潤一

(56)【参考文献】

【文献】国際公開第２０１６／１３６３１１（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１６７９１８（ＷＯ，Ａ１）

【文献】特開２０１８－０５６９２４（ＪＰ，Ａ）

【文献】特開２０１７－１３８９０７（ＪＰ，Ａ）

【文献】特開２０２２－０２４１８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ １５／００－１９／００

(57)【特許請求の範囲】

【請求項1】

仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとの対応付けを行うオブジェクト制御装置と、
前記仮想現実空間上の第１仮想オブジェクトに対応する現実空間上の第１現実オブジェクトに対して、前記第１仮想オブジェクトについて前記仮想現実空間上で知覚される第１仮想現実空間映像に基づいた第１現実空間映像を投影する映像投影装置と、
を備え、
前記第１仮想オブジェクトは、装着者に拡張現実空間を見せることができるＡＲデバイスを装着したユーザに関連する仮想オブジェクトであり、
前記映像投影装置は、前記ＡＲデバイスに対して、前記第１現実オブジェクトに重畳して表示される前記第１現実空間映像を送信する、
映像投影システム。

【請求項2】

前記ユーザに関連する仮想オブジェクトは、前記ユーザの分身であるアバターである、
請求項１に記載の映像投影システム。

【請求項3】

仮想現実空間制御装置をさらに備え、
前記映像投影装置は、現実空間上の第２現実オブジェクトに第２現実空間映像を投影し、前記第２現実オブジェクトの投影に用いられた前記第２現実空間映像を前記仮想現実空間制御装置へ送信し、
前記仮想現実空間制御装置は、前記映像投影装置から受信した前記第２現実空間映像に基づいて、前記第２現実オブジェクトに対応する第２仮想オブジェクトを前記仮想現実空間上に配置し、
前記仮想現実空間制御装置は、前記第２仮想オブジェクトが配置された仮想現実空間をＶＲデバイスのユーザに見せるための仮想現実空間映像を、前記ＶＲデバイスへ送信する、
請求項１又は２のいずれか１項に記載の映像投影システム。

【請求項4】

現実空間において前記第２現実オブジェクトの周辺の状況を示す周辺情報を取得する現実周辺情報取得装置をさらに備え、
前記仮想現実空間制御装置は、前記仮想現実空間において、前記第２仮想オブジェクトを配置すると共に前記周辺情報に基づいた情報を前記仮想現実空間上で知覚し得る出力方法で出力する、
請求項３に記載の映像投影システム。

【請求項5】

前記第１現実オブジェクトは、前記拡張現実空間を構築するための現実空間上の基準点に使用される、
請求項１から４のいずれか１項に記載の映像投影システム。

【請求項6】

ユーザの属性情報を格納するユーザデータベースをさらに備え、
前記映像投影装置は、前記第１現実空間映像を知覚するユーザの前記属性情報に基づいて、当該属性情報に合わせた前記第１現実空間映像を前記第１現実オブジェクトに投影する、
請求項１から５のいずれか１項に記載の映像投影システム。

【請求項7】

オブジェクト制御装置が、仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとの対応付けを行うステップと、
映像投影装置が、前記仮想現実空間上の第１仮想オブジェクトに対応する現実空間上の第１現実オブジェクトに対して、前記第１仮想オブジェクトについて前記仮想現実空間上で知覚される第１仮想現実空間映像に基づいた第１現実空間映像を投影するステップと、
を含む映像投影方法であって、
前記第１仮想オブジェクトは、装着者に拡張現実空間を見せることができるＡＲデバイスを装着したユーザに関連する仮想オブジェクトであり、
前記第１現実オブジェクトは、前記拡張現実空間を構築するための現実空間上の基準点に使用されるロボットであり、
前記映像投影装置は、前記ＡＲデバイスに対して、前記第１現実オブジェクトに重畳して表示される前記第１現実空間映像を送信する、
映像投影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像投影システム及び映像投影方法に関する。

【背景技術】

【0002】

近年、ユーザに対して仮想現実（Virtual Reality：ＶＲ）や拡張現実（Augmented Reality：ＡＲ）を用いたサービスを提供するためのサービスシステムが知られている（例えば、特許文献１参照）。特許文献１には、現実空間の位置に応じて仮想現実空間又は拡張現実空間でサービスを提供する仮想現実又は拡張現実サービス提供システムが記載されている。

【0003】

また、映像投影技術として「ダイナミックプロジェクションマッピング（動的プロジェクションマッピング）」が知られている。ダイナミックプロジェクションマッピングは、映像を投影する動く対象物に追従し、対象物の表面に一致させながら継続的に映像投影する技術である。ダイナミックプロジェクションマッピングによれば、動く対象物にぴったり貼りついているような映像を投影することができる。これにより、対象物の形状はそのままに、対象物において現実とは異なる表面であると見る者に知覚させることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４１７４６７号公報

【非特許文献】

【0005】

【文献】「動きに貼り付く映像技術「ダイナミックプロジェクションマッピング」の変遷」、ITmedia NEWS、2021年3月31日、インターネット＜ＵＲＬ：https://www.itmedia.co.jp/news/articles/2103/31/news174.html＞

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来、仮想現実空間（メタバースと称される場合もある）を体験したユーザが現実空間に戻ると、それまで体験していた仮想現実空間の世界とは独立した世界になるため、ユーザの満足度が十分に上がらない可能性があった。

【0007】

本発明は、このような事情を考慮してなされたものであり、その目的は、仮想現実空間と現実空間との間でよりシームレスな体験をユーザに提供することにある。

【課題を解決するための手段】

【0008】

（１）本発明の一態様は、仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとの対応付けを行うオブジェクト制御装置と、前記仮想現実空間上の第１仮想オブジェクトに対応する現実空間上の第１現実オブジェクトに対して、前記第１仮想オブジェクトについて前記仮想現実空間上で知覚される第１仮想現実空間映像に基づいた第１現実空間映像を投影する映像投影装置と、を備え、前記第１仮想オブジェクトは、装着者に拡張現実空間を見せることができるＡＲデバイスを装着したユーザに関連する仮想オブジェクトであり、前記映像投影装置は、前記ＡＲデバイスに対して、前記第１現実オブジェクトに重畳して表示される前記第１現実空間映像を送信する、映像投影システムである。
（２）本発明の一態様は、前記ユーザに関連する仮想オブジェクトは、前記ユーザの分身であるアバターである、上記（１）の映像投影システムである。
（３）本発明の一態様は、仮想現実空間制御装置をさらに備え、前記映像投影装置は、現実空間上の第２現実オブジェクトに第２現実空間映像を投影し、前記第２現実オブジェクトの投影に用いられた前記第２現実空間映像を前記仮想現実空間制御装置へ送信し、前記仮想現実空間制御装置は、前記映像投影装置から受信した前記第２現実空間映像に基づいて、前記第２現実オブジェクトに対応する第２仮想オブジェクトを前記仮想現実空間上に配置し、前記仮想現実空間制御装置は、前記第２仮想オブジェクトが配置された仮想現実空間をＶＲデバイスのユーザに見せるための仮想現実空間映像を、前記ＶＲデバイスへ送信する、上記（１）又は（２）のいずれか１項に記載の映像投影システムである。
（４）本発明の一態様は、現実空間において前記第２現実オブジェクトの周辺の状況を示す周辺情報を取得する現実周辺情報取得装置をさらに備え、前記仮想現実空間制御装置は、前記仮想現実空間において、前記第２仮想オブジェクトを配置すると共に前記周辺情報に基づいた情報を前記仮想現実空間上で知覚し得る出力方法で出力する、上記（３）の映像投影システムである。
（５）本発明の一態様は、前記第１現実オブジェクトは、前記拡張現実空間を構築するための現実空間上の基準点に使用される、上記（１）から（４）のいずれかの映像投影システムである。
（６）本発明の一態様は、ユーザの属性情報を格納するユーザデータベースをさらに備え、前記映像投影装置は、前記第１現実空間映像を知覚するユーザの前記属性情報に基づいて、当該属性情報に合わせた前記第１現実空間映像を前記第１現実オブジェクトに投影する、上記（１）から（５）のいずれかの映像投影システムである。

【0009】

（７）本発明の一態様は、オブジェクト制御装置が、仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとの対応付けを行うステップと、映像投影装置が、前記仮想現実空間上の第１仮想オブジェクトに対応する現実空間上の第１現実オブジェクトに対して、前記第１仮想オブジェクトについて前記仮想現実空間上で知覚される第１仮想現実空間映像に基づいた第１現実空間映像を投影するステップと、を含む映像投影方法であって、前記第１仮想オブジェクトは、装着者に拡張現実空間を見せることができるＡＲデバイスを装着したユーザに関連する仮想オブジェクトであり、前記映像投影装置は、前記ＡＲデバイスに対して、前記第１現実オブジェクトに重畳して表示される前記第１現実空間映像を送信する、映像投影方法である。

【発明の効果】

【0010】

本発明によれば、仮想現実空間と現実空間との間でよりシームレスな体験をユーザに提供することができるという効果が得られる。

【図面の簡単な説明】

【0011】

【図1】一実施形態に係る映像投影システムの構成例を示すブロック図である。

【図2】一実施形態に係る映像投影装置１の構成例を示すブロック図である。

【図3】一実施形態に係る仮想現実空間制御装置４の構成例を示すブロック図である。

【図4】一実施形態に係るオブジェクト制御装置６の構成例を示すブロック図である。

【図5】一実施形態に係る映像投影方法の概念図である。

【図6】一実施形態に係る映像投影方法の手順の例を示すシーケンス図である。

【発明を実施するための形態】

【0012】

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る映像投影システムの構成例を示すブロック図である。図１において、映像投影システムは、映像投影装置１と、ＡＲデバイス２と、現実周辺情報取得装置３と、仮想現実空間制御装置４と、ＶＲデバイス５と、オブジェクト制御装置６と、ユーザデータベース７とを備える。これら各装置は、インターネット等の通信ネットワークＮＷを介して、外部の装置との間でデータを送受する。

【0013】

映像投影装置１は、現実のオブジェクト（現実オブジェクト）２００に対して、現実に知覚することができる映像（現実空間映像）を投影する。現実オブジェクト２００は、映像投影装置１が映像を投影する対象物である。現実オブジェクト２００は、動く対象物である。映像投影装置１は、ダイナミックプロジェクションマッピングにより、動く現実オブジェクト２００に追従し、現実オブジェクト２００の表面に一致させながら継続的に現実空間映像を投影する。

【0014】

映像投影装置１は、通信ネットワークＮＷを介してＡＲデバイス２との間でデータを送受する。ＡＲデバイス２は、拡張現実（ＡＲ）に対応したデバイスである。ＡＲデバイス２は、例えばメガネ形状のデバイス（ＡＲグラス）である。ＡＲデバイス２は、ユーザに対して拡張現実空間を見せることができる。ＡＲデバイス２は、映像投影装置１から受信する現実空間映像を現実オブジェクト２００に重畳して表示する。現実オブジェクト２００は、拡張現実空間を構築するための現実空間上の基準点に使用される。これにより、ＡＲデバイス２は、ユーザに対して、映像投影装置１から受信する現実空間映像が現実オブジェクト２００に重畳して表示された拡張現実空間を見せることができる。

【0015】

現実周辺情報取得装置３は、現実オブジェクト２００の周辺の状況を示す周辺情報を取得する。周辺情報は、例えば天候や雑踏などの状況を示す情報である。例えば、現実周辺情報取得装置３は、所定の情報配信サーバから周辺情報を取得する。例えば、現実周辺情報取得装置３は、カメラやマイクロフォンや各種のセンサなどの情報検知機器を備え、当該情報検知機器が検知した情報から周辺情報を取得する。

【0016】

仮想現実空間制御装置４は、仮想現実（ＶＲ）の空間（仮想現実空間）のサービス（仮想現実空間サービス）を提供するための情報処理を実行する。仮想現実空間サービスとして、仮想のオブジェクト（仮想オブジェクト）を仮想現実空間上に表示させるサービスを提供する。仮想オブジェクトは、例えばユーザの分身として仮想現実空間上に表示されるキャラクター（アバター）である。また、仮想現実空間サービスにより、ユーザは、仮想現実空間上の自分のアバターを移動させたり向きを変えたり等の所定の操作を行うことができる。

【0017】

仮想現実空間制御装置４は、通信ネットワークＮＷを介して、ユーザが使用するＶＲデバイス５との間でデータを送受する。ＶＲデバイス５は、例えばヘッドマウントディスプレー（ＨＭＤ）である。ヘッドマウントディスプレーは、装着者に対して、コンピューターグラフィックス（ＣＧ）により作られた仮想現実空間を、リアルな空間（実空間）のように見せることができる。また、ヘッドマウントディスプレーが備える各種センサーによって動きや傾きなどが検出され、装着者が仮想現実空間上を移動しているように見せたり、仮想現実空間上のオブジェクトを見る方向を変えたりすることができる。ユーザは、ヘッドマウントディスプレーが備える操作部を使用して、仮想現実空間上の自分のアバターを移動させたり向きを変えたり等の所定の操作を行うことができる。ヘッドマウントディスプレーが備える操作部は、例えば、ヘッドマウントディスプレー本体とは別個の装置として構成されるものであって、ヘッドマウントディスプレー本体との間で近距離無線通信を行う。

【0018】

オブジェクト制御装置６は、通信ネットワークＮＷを介して、映像投影装置１及び仮想現実空間制御装置４との間でデータを送受する。オブジェクト制御装置６は、仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとの対応付けを行う。

【0019】

ユーザデータベース７は、映像投影システムが提供する映像投影サービスに登録された各ユーザに関する情報（ユーザ情報）を格納する。ユーザ情報は、ユーザの属性情報（ユーザ属性情報）を含む。ユーザ属性情報は、例えばユーザの嗜好を示す嗜好情報（ユーザ嗜好情報）を含む。

【0020】

図２は、本実施形態に係る映像投影装置１の構成例を示すブロック図である。図２において、映像投影装置１は、通信部１０と、投影制御部１１と、投影部１２と、を備える。

【0021】

映像投影装置１の各機能は、映像投影装置１がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、映像投影装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。

【0022】

通信部１０は、通信ネットワークＮＷを介して、外部の装置との間でデータを送受する。

【0023】

投影制御部１１は、現実オブジェクト２００に対して現実空間映像を投影する制御を行う。投影制御部１１は、ダイナミックプロジェクションマッピングにより、動く現実オブジェクト２００に追従し、現実オブジェクト２００の表面に一致させながら継続的に現実空間映像を投影するように、制御を行う。

【0024】

投影部１２は、投影制御部１１によって制御される現実空間映像を現実オブジェクト２００に投影する。

【0025】

また、投影制御部１１は、ＡＲデバイス２に対して、現実オブジェクト２００に重畳して表示される現実空間映像を送信する。

【0026】

図３は、本実施形態に係る仮想現実空間制御装置４の構成例を示すブロック図である。図３において、仮想現実空間制御装置４は、通信部４０と、仮想オブジェクト制御部４１と、仮想現実空間映像処理部４２と、を備える。

【0027】

仮想現実空間制御装置４の各機能は、仮想現実空間制御装置４がＣＰＵ及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、仮想現実空間制御装置４として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、仮想現実空間制御装置４は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、仮想現実空間制御装置４の各機能はクラウドコンピューティングにより実現されてもよい。また、仮想現実空間制御装置４は、単独のコンピュータにより実現するものであってもよく、又は仮想現実空間制御装置４の機能を複数のコンピュータに分散させて実現するものであってもよい。また、仮想現実空間制御装置４として、例えばＷＷＷシステム等を利用してウェブサイトを開設するように構成してもよい。

【0028】

通信部４０は、通信ネットワークＮＷを介して、外部の装置との間でデータを送受する。

【0029】

仮想オブジェクト制御部４１は、オブジェクト制御装置６との間で、仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとを対応付ける制御を行う。

【0030】

仮想現実空間映像処理部４２は、ユーザに対して仮想現実空間を見せるための仮想現実空間映像をＶＲデバイス５へ送信する。仮想現実空間映像は、例えばヘッドマウントディスプレーで表示されることにより、コンピューターグラフィックスにより作られた仮想現実空間を装着者に対して実空間のように見せることができる映像である。

【0031】

図４は、本実施形態に係るオブジェクト制御装置６の構成例を示すブロック図である。図４において、オブジェクト制御装置６は、通信部６０と、オブジェクト対応付け制御部６１と、を備える。

【0032】

オブジェクト制御装置６の各機能は、オブジェクト制御装置６がＣＰＵ及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、オブジェクト制御装置６として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、オブジェクト制御装置６は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、オブジェクト制御装置６の各機能はクラウドコンピューティングにより実現されてもよい。また、オブジェクト制御装置６は、単独のコンピュータにより実現するものであってもよく、又はオブジェクト制御装置６の機能を複数のコンピュータに分散させて実現するものであってもよい。また、オブジェクト制御装置６として、例えばＷＷＷシステム等を利用してウェブサイトを開設するように構成してもよい。

【0033】

通信部６０は、通信ネットワークＮＷを介して、外部の装置との間でデータを送受する。

【0034】

オブジェクト対応付け制御部６１は、仮想現実空間制御装置４との間で、仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとを対応付ける制御を行う。

【0035】

図５は、本実施形態に係る映像投影方法の概念図である。図５において、仮想現実空間上には仮想オブジェクト１００が表示されている。仮想オブジェクト１００は、例えばユーザのアバターである。また、現実空間には現実オブジェクト２００が実在している。現実オブジェクト２００は、例えばロボットである。当該ロボットは、自律的に動くロボットであってもよく、又は人の操作によって動くロボットであってもよい。

【0036】

オブジェクト制御装置６（オブジェクト対応付け制御部６１）は、仮想現実空間制御装置４（仮想オブジェクト制御部４１）との間で、仮想オブジェクト１００と現実オブジェクト２００との対応付けを行う。また、映像投影装置１には、映像を投影する対象物として現実オブジェクト２００が設定される。

【0037】

仮想現実空間制御装置４（仮想現実空間映像処理部４２）は、仮想現実空間上に表示される仮想オブジェクト１００の映像（仮想現実空間映像）を映像投影装置１へ送信する。映像投影装置１は、仮想現実空間制御装置４から受信した仮想オブジェクト１００の映像に基づいた現実空間映像を、ダイナミックプロジェクションマッピングにより現実オブジェクト２００に投影する。映像投影装置１は、ダイナミックプロジェクションマッピングにより、動く現実オブジェクト２００に追従し、現実オブジェクト２００の表面に一致させながら継続的に当該現実空間映像を投影する。

【0038】

これにより、現実空間に実在するユーザ２１０に対して、現実オブジェクト２００（例えばロボット）があたかも仮想オブジェクト１００（例えば仮想現実空間上のアバター）に変身したと知覚させることができる。

【0039】

また、映像投影装置１は、ＡＲデバイス２に対して、現実オブジェクト２００に重畳して表示される当該現実空間映像を送信する。ＡＲデバイス２は、映像投影装置１から受信する当該現実空間映像を現実オブジェクト２００（例えばロボット）に重畳して表示する。現実オブジェクト２００は、拡張現実空間を構築するための現実空間上の基準点に使用される。これにより、ＡＲデバイス２は、ユーザに対して、映像投影装置１から受信する当該現実空間映像が現実オブジェクト２００（例えばロボット）に重畳して表示された拡張現実空間を見せることができる。例えば、ＡＲグラスを装着したユーザに対して、仮想現実空間上のアバターが現実空間のロボット上にマッピングされ、あたかもそこに飛び出してきたかのように知覚させることができる（疑似ホログラム）。

【0040】

次に図６を参照して本実施形態に係る映像投影方法の手順を説明する。図６は、本実施形態に係る映像投影方法の手順の例を示すシーケンス図である。

【0041】

オブジェクト制御装置６には、現実オブジェクト２００（例えばロボット）の情報（現実空間上の位置や姿勢など）と、当該現実オブジェクト２００に映像を投影する映像投影装置１の通信アドレスとが予め設定される。また、オブジェクト制御装置６には、現実オブジェクト２００に対応付ける仮想オブジェクト１００（例えば仮想現実空間上のアバター）を示す識別情報（仮想オブジェクトＩＤ）が予め設定される。

【0042】

（ステップＳ１０１） オブジェクト制御装置６のオブジェクト対応付け制御部６１は、仮想現実空間制御装置４（仮想オブジェクト制御部４１）に対して仮想オブジェクトＩＤ及び映像投影装置１の通信アドレスを通知し、仮想現実空間制御装置４（仮想オブジェクト制御部４１）との間で、当該仮想オブジェクトＩＤの仮想オブジェクト１００と現実オブジェクト２００との対応付けを行う。仮想オブジェクト制御部４１は、当該仮想オブジェクトＩＤを現実オブジェクト２００に対応付ける仮想オブジェクト１００の仮想オブジェクトＩＤ（現実対応付け仮想オブジェクトＩＤ）に設定すると共に、オブジェクト制御装置６から通知された映像投影装置１の通信アドレスを当該現実対応付け仮想オブジェクトＩＤに関連付けて記録する。

【0043】

（ステップＳ１０２） オブジェクト制御装置６のオブジェクト対応付け制御部６１は、映像投影装置１に対して、現実オブジェクト２００の情報（現実空間上の位置や姿勢など）を通知する。映像投影装置１の投影制御部１１は、オブジェクト制御装置６から通知された現実オブジェクト２００の情報に基づいて、ダイナミックプロジェクションマッピングにより映像を投影する対象物として現実オブジェクト２００を設定する。

【0044】

（ステップＳ１０３） 仮想現実空間制御装置４の仮想現実空間映像処理部４２は、仮想現実空間上に表示される現実対応付け仮想オブジェクトＩＤの仮想オブジェクト１００の映像（仮想現実空間映像）を、当該現実対応付け仮想オブジェクトＩＤに関連付けられた映像投影装置１の通信アドレスを宛先アドレスにして送信する。

【0045】

（ステップＳ１０４） 映像投影装置１の投影制御部１１は、仮想現実空間制御装置４から受信する仮想オブジェクト１００の映像に基づいた現実空間映像を、ダイナミックプロジェクションマッピングにより現実オブジェクト２００に投影する制御を行う。投影制御部１１は、ダイナミックプロジェクションマッピングにより、動く現実オブジェクト２００に追従し、現実オブジェクト２００の表面に一致させながら継続的に当該現実空間映像を投影するように、制御を行う。映像投影装置１の投影部１２は、投影制御部１１によって制御される当該現実空間映像を現実オブジェクト２００に投影する。これにより、現実空間に実在するユーザ２１０に対して、現実オブジェクト２００（例えばロボット）があたかも仮想オブジェクト１００（例えば仮想現実空間上のアバター）に変身したと知覚させることができる。

【0046】

また、映像投影装置１の投影制御部１１は、ＡＲデバイス２に対して、現実オブジェクト２００に重畳して表示される当該現実空間映像を送信する。ＡＲデバイス２は、映像投影装置１から受信する当該現実空間映像を現実オブジェクト２００（例えばロボット）に重畳して表示する。現実オブジェクト２００は、拡張現実空間を構築するための現実空間上の基準点に使用される。これにより、例えば、ＡＲグラスを装着したユーザに対して、仮想現実空間上のアバターが現実空間のロボット上にマッピングされ、あたかもそこに飛び出してきたかのように知覚させることができる。

【0047】

なお、映像投影装置１の投影制御部１１は、現実オブジェクト２００に投影される現実空間映像を知覚するユーザのユーザ属性情報に基づいて、当該ユーザ属性情報に合わせた現実空間映像を現実オブジェクト２００に投影してもよい。当該ユーザは、映像投影装置１に予め設定される。ユーザ属性情報は、ユーザデータベース７から取得される。例えば、仮想オブジェクト１００が「犬」の仮想オブジェクトである場合、投影制御部１１は、仮想オブジェクト１００の映像（犬のアバターの映像）に基づいた現実空間映像として、当該ユーザのユーザ属性情報に示される好みの犬種の映像を現実オブジェクト２００に投影する制御を行う。当該犬種の映像は、所定の映像データベース（図示せず）から取得される。

【0048】

また、上述した実施形態では、現実オブジェクト２００（第１現実オブジェクト）に対して仮想オブジェクト１００（第１仮想オブジェクト）の映像（第１仮想現実空間映像）に基づいた現実空間映像（第１現実空間映像）を投影したが、第１現実オブジェクトとは異なる現実オブジェクト２００（第２現実オブジェクト）に投影された現実空間映像（第２現実空間映像）に基づいて当該現実オブジェクト２００（第２現実オブジェクト）に対応する仮想オブジェクト（第２仮想オブジェクト）を仮想現実空間上に表示するようにしてもよい。

【0049】

仮想現実空間制御装置４は、映像投影装置１から第２現実オブジェクトに投影された第２現実空間映像を受信する。仮想現実空間制御装置４の仮想現実空間映像処理部４２は、当該第２現実空間映像に基づいて当該第２現実オブジェクトに対応する第２仮想オブジェクトを仮想現実空間上に表示する。

【0050】

また、仮想現実空間制御装置４の仮想現実空間映像処理部４２は、仮想現実空間において、第２仮想オブジェクトを表示すると共に、第２現実オブジェクトの周辺の状況を示す周辺情報に基づいた情報を仮想現実空間上で知覚し得る出力方法で出力してもよい。第２現実オブジェクトの周辺の状況を示す周辺情報は、現実周辺情報取得装置３から取得される。例えば、仮想現実空間映像処理部４２は、第２現実オブジェクト周辺の天候を示す周辺情報に基づいた降雨の情報を、仮想現実空間上で知覚し得る映像や音で出力する。例えば、仮想現実空間映像処理部４２は、第２現実オブジェクト周辺の雑踏を示す周辺情報に基づいた人込みの情報を、仮想現実空間上で知覚し得る映像や音で出力する。

【0051】

上述した実施形態によれば、仮想現実空間と現実空間との間でよりシームレスな体験をユーザに提供することができるという効果が得られる。

【0052】

なお、これにより、例えば仮想現実空間サービスを提供するシステムにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（SDGs）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【0053】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0054】

例えば、仮想現実空間制御装置４が仮想オブジェクト１００（例えばアバター）を操作することに連動して現実オブジェクト２００（例えばロボット）が操作されるように構成してもよい。具体的には、現実オブジェクト２００は、通信ネットワークＮＷに接続し、通信ネットワークＮＷを介して仮想現実空間制御装置４との間でデータを送受する。仮想現実空間制御装置４は、仮想オブジェクト１００に対する操作データを、現実オブジェクト２００に対応する操作データに変換して現実オブジェクト２００へ送信する。現実オブジェクト２００は、仮想現実空間制御装置４から受信した操作データに従って動作する。これにより、仮想オブジェクト１００（例えばアバター）の動作に連動して動作する現実オブジェクト２００（例えばロボット）に対して、当該仮想オブジェクト１００の映像に基づいた現実空間映像が投影されるので、ユーザに対して、仮想現実空間と現実空間との間のより一層のシームレスな体験を提供することができる。なお、仮想オブジェクト１００に対する操作データを現実オブジェクト２００に対応する操作データに変換する機能は、現実オブジェクト２００が備えてもよく、又は仮想現実空間制御装置４や現実オブジェクト２００とは別個に当該変換機能を備えた装置を設けてもよい。
なお、現実オブジェクト２００を操作することに連動して仮想オブジェクト１００が操作されるように構成してもよい。オブジェクト制御装置６が現実オブジェクト２００に対する操作データを仮想オブジェクト１００に対する操作データに変換して仮想現実空間制御装置４へ送信する。仮想現実空間制御装置４は、受信した操作データに従って操作した仮想オブジェクト１００の映像を映像投影装置１へ送信する。なお、現実オブジェクト２００に対する操作データを仮想オブジェクト１００に対する操作データに変換する機能は、現実オブジェクト２００が備えてもよく、又は仮想現実空間制御装置４が備えてもよく、又は仮想現実空間制御装置４や現実オブジェクト２００とは別個に当該変換機能を備えた装置を設けてもよい。

【0055】

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0056】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0057】

１…映像投影装置、２…ＡＲデバイス、３…現実周辺情報取得装置、４…仮想現実空間制御装置、５…ＶＲデバイス、６…オブジェクト制御装置、７…ユーザデータベース、ＮＷ…通信ネットワーク、１０，４０，６０…通信部、１１…投影制御部、１２…投影部、４１…仮想オブジェクト制御部、４２…仮想現実空間映像処理部、６１…オブジェクト対応付け制御部

【要約】

【課題】仮想現実空間と現実空間との間でよりシームレスな体験をユーザに提供すること。
【解決手段】仮想現実空間上の仮想オブジェクトと現実空間上の現実オブジェクトとの対応付けを行うオブジェクト制御装置と、仮想現実空間上の第１仮想オブジェクトに対応する現実空間上の第１現実オブジェクトに対して、第１仮想オブジェクトについて仮想現実空間上で知覚される第１仮想現実空間映像に基づいた第１現実空間映像を投影する映像投影装置と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】