特許 7528952 画像処理装置及び画像処理方法、並びに画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】画像処理装置及び画像処理方法、並びに画像表示システム

(51)【国際特許分類】

   H04N 13/361 20180101AFI20240730BHJP

   H04N 5/74 20060101ALI20240730BHJP

   H04N 13/368 20180101ALI20240730BHJP

   G09G 5/00 20060101ALI20240730BHJP

   G03B 21/14 20060101ALI20240730BHJP

【ＦＩ】

H04N13/361

H04N5/74 Z

H04N13/368

G09G5/00 510B

G09G5/00 550C

G09G5/00 510V

G03B21/14 Z

【請求項の数】 13

(21)【出願番号】P 2021561202

(86)(22)【出願日】2020-10-06

(86)【国際出願番号】 JP2020037926

(87)【国際公開番号】W WO2021106379

(87)【国際公開日】2021-06-03

【審査請求日】2023-08-17

(31)【優先権主張番号】P 2019216706

(32)【優先日】2019-11-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】弁理士法人大同特許事務所

(72)【発明者】

【氏名】カダム アクシャト

【審査官】西田 光宏

(56)【参考文献】

【文献】特開２０１９－０４７１５９（ＪＰ，Ａ）

【文献】特開２０１１－１９７５３７（ＪＰ，Ａ）

【文献】特開２０１２－０２７６４１（ＪＰ，Ａ）

【文献】特開２００８－２４４７５３（ＪＰ，Ａ）

【文献】特開２０１２－１２９７０１（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０７２９（ＷＯ，Ａ１）

【文献】特表２０１０－５１２０５８（ＪＰ，Ａ）

【文献】特開２００４－１１３５８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３０００９８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３５８１４０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／００－３０／６０

Ｇ０３Ｂ ２１／００ー２１／６４

Ｇ０６Ｑ ２０／１８

Ｇ０９Ｇ ３／００－３／３８

Ｇ０９Ｇ ５／００－５／４２

Ｈ０４Ｍ １／００－１／８２

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｈ０４Ｎ １３／００ー１３／３９８

(57)【特許請求の範囲】

【請求項1】

複数のユーザに表示するコンテンツに関する処理を実行する画像処理装置であって、
各ユーザの情報を取得するユーザ情報取得部と、
前記各ユーザの情報に基づいて２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する分類部と、
前記第１のオブジェクトグループからなる全ユーザに共通する共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成する生成部と、
を具備し、
前記共通画像を第１の表示装置に出力するとともに、ユーザ毎の個別画像を第２の表示装置に出力する、
画像処理装置。

【請求項2】

前記分類部は、前記オーバーラップ領域に含まれるオブジェクトを、背景に存在する前記第１のオブジェクトグループと、少なくとも一部のユーザにとって前景となる前記第２のオブジェクトグループに分類し、
前記生成部は、前記第１のオブジェクトグループを含む背景画像を共通画像として生成するとともに、前記第２のオブジェクトグループを含むユーザ毎の前景画像を個別画像として生成する、
請求項１に記載の画像処理装置。

【請求項3】

前記生成部は、前記第２のオブジェクトグループに含まれる各オブジェクトがユーザ毎の運動視差による効果を有する個別の前景画像を生成する、
請求項２に記載の画像処理装置。

【請求項4】

前記生成部は、前記第２のオブジェクトグループ中のユーザ毎に割り当てられたオブジェクトを含む個別画像を生成する、
請求項２に記載の画像処理装置。

【請求項5】

前記ユーザ情報取得部は、各ユーザの視野を特定するための情報を取得する、
請求項１に記載の画像処理装置。

【請求項6】

前記ユーザ情報取得部は、各ユーザの位置及び視線に関する情報を取得し、
前記分類部は、各ユーザと各オブジェクトとの距離に基づいて前記分類を実施する、
請求項１に記載の画像処理装置。

【請求項7】

各個別画像を表示する出力プロトコルを決定する決定部をさらに備える、
請求項１に記載の画像処理装置。

【請求項8】

前記共通画像を出力する第１の表示装置又はユーザ毎の個別画像を出力する第２の表示装置のうち少なくとも一方を備える、
請求項１に記載の画像処理装置。

【請求項9】

前記第１の表示装置又は前記第２の表示装置のうち少なくとも一方はプロジェクタである、
請求項７に記載の画像処理装置。

【請求項10】

前記決定部は、各個別画像を時分割で出力するタイミングに関する出力プロトコルを決定する、
請求項１に記載の画像処理装置。

【請求項11】

前記出力プロトコルを各ユーザが使用する機器に通知するための通信部をさらに備える、
請求項１に記載の画像処理装置。

【請求項12】

複数のユーザに表示するコンテンツに関する処理を実行する画像処理方法であって、
各ユーザの情報を取得するユーザ情報取得ステップと、
前記各ユーザの情報に基づいて２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する分類ステップと、
前記第１のオブジェクトグループからなる全ユーザに共通する共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成する生成ステップと、
前記共通画像を第１の表示装置に出力するとともに、ユーザ毎の個別画像を第２の表示装置に出力するステップと、
を有する画像処理方法。

【請求項13】

各ユーザの情報に基づいて、２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類して、前記第１のオブジェクトグループからなる全ユーザに共通の共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成するとともに、各個別画像を表示する出力プロトコルを各ユーザが使用するシャッター眼鏡に通知する画像処理装置と、
前記共通画像を出力する第１の表示装置と、
ユーザ毎の個別画像を出力する第２の表示装置と、
各ユーザが使用するシャッター眼鏡と、
を具備する画像処理表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示（以下、「本開示」とする）する技術は、投影画像を処理する画像処理装置及び画像処理方法、並びに画像表示システムに関する。

【背景技術】

【0002】

スクリーンに画像を投影するプロジェクション技術は古くから知られており、教育現場や会議、プレゼンテーションなどで広く利用されている。比較的大きなスクリーンで画像を拡大して表示できるので、複数人に対して同じ画像を同時に提示できるなどの利点がある。最近では、建造物などの任意形状を有するスクリーンの表面に画像を投影して表示するプロジェクションマッピング技術が頻繁に利用されるようになってきている。プロジェクションマッピング技術は、例えば、投影面の３次元形状を測定して、その測定結果に応じて投影画像を補正することによって歪みのない画像を投影することによって実現する（例えば、特許文献１を参照のこと）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－３２０６５２号公報

【文献】特開２０１９－１８４７３４号公報

【文献】特開２０１１－７１７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示に係る技術の目的は、任意形状のスクリーンに投影する画像を処理する画像処理装置及び画像処理方法、並びに画像表示システムを提供することにある。

【課題を解決するための手段】

【0005】

本開示に係る技術の第１の側面は、複数のユーザに表示するコンテンツに関する処理を実行する画像処理装置であって、
各ユーザの情報を取得するユーザ情報取得部と、
前記各ユーザの情報に基づいて２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する分類部と、
前記第１のオブジェクトグループからなる全ユーザに共通する共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成する生成部と、
各個別画像を表示する出力プロトコルを決定する決定部と、
を具備する画像処理装置である。

【0006】

前記分類部は、前記オーバーラップ領域に含まれるオブジェクトを、背景に存在する前記第１のオブジェクトグループと、少なくとも一部のユーザにとって前景となる前記第２のオブジェクトグループに分類し、前記生成部は、前記第１のオブジェクトグループを含む背景画像を共通画像として生成するとともに、前記第２のオブジェクトグループを含むユーザ毎の前景画像を個別画像として生成する。前記生成部は、例えば、前記第２のオブジェクトグループに含まれる各オブジェクトがユーザ毎の運動視差による効果を有する個別の前景画像を生成する。あるいは、前記生成部は、ユーザ毎に割り当てられたオブジェクトを含む個別画像を生成する。

【0007】

また、前記決定部は、各個別画像を時分割で出力するタイミングに関する出力プロトコルを決定する。第１の側面に係る画像処理装置は、前記出力プロトコルを各ユーザが使用するシャッター眼鏡などの機器に通知するための通信部をさらに備えていてもよい。

【0008】

また、本開示に係る技術の第２の側面は、複数のユーザに表示するコンテンツに関する処理を実行する画像処理方法であって、
各ユーザの情報を取得するユーザ情報取得ステップと、
前記各ユーザの情報に基づいて２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する分類ステップと、
前記第１のオブジェクトグループからなる全ユーザに共通する共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成する生成ステップと、
各個別画像を表示する出力プロトコルを決定する決定ステップと、
を有する画像処理方法である。

【0009】

また、本開示に係る技術の第３の側面は、
各ユーザの情報に基づいて、２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類して、前記第１のオブジェクトグループからなる全ユーザに共通の共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成するとともに、各個別画像を表示する出力プロトコルを各ユーザが使用するシャッター眼鏡に通知する画像処理装置と、
前記共通画像を出力する第１の表示装置と、
ユーザ毎の個別画像を出力する第２の表示装置と、
各ユーザが使用するシャッター眼鏡と、
を具備する画像表示システムである。

【発明の効果】

【0010】

本開示に係る技術によれば、複数人に同時に提示する投影画像を処理する画像処理装置及び画像処理方法、並びに画像表示システムを提供することができる。

【0011】

なお、本明細書に記載された効果は、あくまでも例示であり、本開示に係る技術によりもたらされる効果はこれに限定されるものではない。また、本開示に係る技術が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

【0012】

本開示に係る技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

【図面の簡単な説明】

【0013】

【図1】図１は、プロジェクションマッピングの動作例（上方から斜視した様子）を示した図である。

【図2】図２は、プロジェクションマッピングの動作例（上方から見下ろした様子）を示した図である。

【図3】図３は、複数のユーザが同時にプロジェクションマッピングを体験する動作例を示した図である。

【図4】図４は、ユーザＡとユーザＢの各々に対するＶＲ画像を部屋３０１の壁面にマッピングする仕組みを示した図である。

【図5】図５は、現実環境を共有するユーザＡとユーザＢの視野範囲５０１と５０２の間にオーバーラップ領域５０３が存在する様子を示した図である。

【図6】図６は、現実環境を共有するユーザの視野間のオーバーラップ領域を検出する仕組みを示した図である。

【図7】図７は、３人のユーザが同じ現実環境を共有する様子を示した図である。

【図8】図８は、３人のユーザが同じ現実環境を共有する場合のプロジェクションマッピングの動作例を示した図である。

【図9】図９は、３人のユーザが同じ現実環境を共有する場合のプロジェクションマッピングの動作例を示した図である。

【図10】図１０は、３人のユーザが同じ現実環境を共有する様子を示した図である。

【図11】図１１は、３人のユーザが同じ現実環境を共有する場合のプロジェクションマッピングの動作例を示した図である。

【図12】図１２は、３人のユーザが同じ現実環境を共有する場合のプロジェクションマッピングの動作例を示した図である。

【図13】図１３は、３人のユーザが同じ現実環境を共有する場合のプロジェクションマッピングの動作例を示した図である。

【図14】図１４は、想定する仮想環境を例示した図である。

【図15】図１５は、図１４に示した仮想環境をユーザＡの視点位置から観察される画像を示した図である。

【図16】図１６は、図１４に示した仮想環境をユーザＢの視点位置から観察される画像を示した図である。

【図17】図１７は、ユーザＡとユーザＢが共有する現実環境下でプロジェクタスタッキングを実施する例を示した図である。

【図18】図１８は、図１４に示した仮想環境から分離した背景画像を示した図である。

【図19】図１９は、図１４に示した仮想環境から分離した前景のオブジェクトにユーザＡ向けの運動視差による効果を与えた前景画像を示した図である。

【図20】図２０は、図１４に示した仮想環境から分離した前景のオブジェクトにユーザＢ向けの運動視差による効果を与えた前景画像を示した図である。

【図21】図２１は、背景画像を投影した様子を示した図である。

【図22】図２２は、背景画像にユーザＡ向けの前景画像を重畳して投影した様子を示した図である。

【図23】図２３は、背景画像にユーザＢ向けの前景画像を投影した様子を示した図である。

【図24】図２４は、第１のプロジェクタ２１００の動作例を示した図である。

【図25】図２５は、第２のプロジェクタ２２００の動作例を示した図である。

【図26】図２６は、自動車が遠方から手前に向かって走行している画像を示した図である。

【図27】図２７は、自動車が遠方から手前に向かって走行している画像を示した図である。

【図28】図２８は、自動車が前景の領域に到達したときのユーザＡ向けの画像を示した図である。

【図29】図２９は、自動車が前景の領域に到達したときのユーザＡ向けの画像を示した図である。

【図30】図３０は、前景画像を投影する第２のプロジェクタ２８０２の動作例を示した図である。

【図31】図３１は、共通の背景画像上にユーザ毎の個別の前景画像を時分割で重畳するプロジェクタスタッキングの表示例を示した図である。

【図32】図３２は、共通の背景画像上にユーザＡ用の前景画像を重畳したプロジェクタスタッキングの表示例を示した図である。

【図33】図３３は、共通の背景画像上にユーザＢ用の前景画像を重畳したプロジェクタスタッキングの表示例を示した図である。

【図34】図３４は、共通の背景画像上にユーザＣ用の前景画像を重畳したプロジェクタスタッキングの表示例を示した図である。

【図35】図３５は、前景画像を投影する第２のプロジェクタ３１１２の動作例を示した図である。

【図36】図３６は、画像処理装置３６００の機能的構成例を示した図である。

【図37】図３７は、画像処理装置３６００が実行する処理手順を示したフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本開示に係る技術の実施形態について詳細に説明する。

【実施例1】

【0015】

図１及び図２には、プロジェクションマッピングの動作例を模式的に示している。図示の例では、プロジェクションマッピング技術により提供される仮想現実（ＶＲ）空間を体験するユーザ１００が、矩形状の部屋１０１内に立っている。部屋１０１の四方の壁面が現実環境である。また、部屋１０１の外側には、ユーザ１００に提示するＶＲ画像が描画される、矩形状の仮想スクリーン１０２が配置される。但し、図１では現実環境及び仮想環境を上方から斜視した様子を示し、図２では現実環境及び仮想環境を上方から見下ろした様子を示している。

【0016】

プロジェクションマッピングにより部屋１０１の壁面を使って仮想スクリーン１０２上のＶＲ画像をユーザに提示する場合、図示しないカメラや距離センサーなどにより、部屋１０１の壁面の３次元形状を測定して、その測定結果に応じて投影画像を補正することによって歪みのないＶＲ画像を部屋１０１の壁面に投影する。従来、プロジェクションマッピング技術により投影される画像は、基本的に特定の視点（例えば、作成時の視点）のみから表示される画像である。このため、図１及び図２に示したような動作環境下で、ユーザ１００が部屋１０１内を移動しても、壁面に投影された画像は動かないので、ユーザ１００は仮想世界に完璧に没入することはできない。そこで、ユーザ１００の位置、姿勢、視線を追跡して、その追跡情報をフィードバックしてＶＲ画像を追従させる仕組みが必要である。

【0017】

また、図３には、複数のユーザが同時にプロジェクションマッピングを体験する動作例を模式的に示している。但し、同図では現実環境及び仮想環境を上方から見下ろした様子を示している。また、簡素化のため、図３ではユーザＡとユーザＢの２人としている。

【0018】

ここでは、各ユーザの動きに追従したＶＲ画像を提示することを想定している。このため、ユーザＡとユーザＢの位置、姿勢、視線をそれぞれ追跡する。そして、仮想スクリーン３０２上のＶＲ画像として、ユーザＡの位置、姿勢、視線から眺めるＶＲ画像（Ｖｉｅｗ ｆｏｒ Ｕｓｅｒ Ａ）と、ユーザＢの位置、姿勢、視線から眺めるＶＲ画像（Ｖｉｅｗ ｆｏｒ Ｕｓｅｒ Ｂ）の２種類を生成する。部屋３０１の壁面のうち、ユーザＡの視野（ＦｏＶ限界）の領域には、仮想スクリーン３０２上のユーザＡ用のＶＲ画像をプロジェクションマッピングにより投影する。また、部屋３０１の壁面のうち、ユーザＢの視野（ＦｏＶ限界）の領域には、仮想スクリーン３０２上のユーザＢ用のＶＲ画像をプロジェクションマッピングにより投影する。

【0019】

図４には、ユーザＡとユーザＢの各々に対するＶＲ画像を部屋３０１の壁面にマッピングする仕組みを図解している。図示しないカメラや距離センサー、あるいはその他のセンサーからのセンサー情報などに基づいて、部屋３０１内でのユーザＡとユーザＢの位置、姿勢、視線をそれぞれ追跡する。

【0020】

そして、仮想スクリーン３０２上のＶＲ画像として、ユーザＡの位置、姿勢、視線から眺めるＶＲ画像（Ｖｉｅｗ ｆｏｒ Ｕｓｅｒ Ａ）４０１と、ユーザＢの位置、姿勢、視線から眺めるＶＲ画像（Ｖｉｅｗ ｆｏｒ Ｕｓｅｒ Ｂ）４０２の２種類を生成する。ＶＲ画像４０１とＶＲ画像４０２はいずれも同じ仮想世界座標系にマッピングされる画像であるが、現実には例えばユーザ毎に個別のプレーンメモリなどに書き込まれる。

【0021】

次いで、一方のＶＲ画像４０１からユーザＡの視野領域の画像４１１を切り出すとともに、部屋３０１の壁面のうちユーザＡの視野領域３１１における３次元形状を測定して、その測定結果に応じて元のＶＲ画像４１１を補正することによって、部屋３０１の壁面のユーザＡの視野領域３１１に、歪みのないＶＲ画像を投影する。同様に、他方のＶＲ画像４０２からユーザＢの視野領域の画像４１２を切り出すとともに、部屋３０１の壁面のうちユーザＢの視野領域３１２における３次元形状を測定して、その測定結果に応じて元のＶＲ画像４１２を補正することによって、部屋３０１の壁面のユーザＢの視野領域３１２に、歪みのないＶＲ画像を投影する。

【0022】

部屋３０１の壁面には、ユーザＡの視野領域３１１にマッピングされたユーザＡ向けのＶＲ画像４０１と、ユーザＢの視野領域３１２にマッピングされたユーザＢ向けのＶＲ画像４０２を含む１枚の画像を生成して、プロジェクションマッピング技術を利用して投影される。なお、部屋３０１の壁面の広い範囲にわたって画像を投影するために、２台以上のプロジェクタが使用される。また、ユーザＡ用のＶＲ画像４０１とユーザＢ用のＶＲ画像４０２は、ともに同じコンテンツから生成してもよいし、それぞれ異なるコンテンツから生成してもよい。

【0023】

また、図３及び図４では１つの現実環境を２人のユーザが共有する場合のＶＲ画像の表示例を示したが、１つの現実環境を３人以上のユーザが共有する場合も同様の処理が実施されるものと理解されたい。

【0024】

図３及び図４では、簡素化のため、１つの現実環境を共有する複数のユーザ間で視野がオーバーラップしない例について説明した。しかしながら、１つの現実環境を共有する複数のユーザ間で視野がオーバーラップすることも想定される。あるユーザの視野に他のユーザに向けたＶＲ画像が映り込むと、ユーザのＶＲ体験が乱れてしまうという問題がある。

【0025】

図５には、部屋の壁面５００からなる現実環境を共有するユーザＡとユーザＢの視野範囲５０１と５０２の間にオーバーラップ領域５０３が存在する様子を示している。ユーザＡの部屋５００の壁面に対する位置、姿勢、視線から、ユーザＡ向けのＶＲ画像が生成され、プロジェクションマッピング技術を利用して、壁面５００の視野範囲５０１に投影される。また、ユーザＢの部屋５００の壁面に対する位置、姿勢、視線から、ユーザＢ向けのＶＲ画像が生成され、プロジェクションマッピング技術を利用して、壁面５００の視野範囲５０２に投影される。そして、ユーザＡの視野５０１のうちオーバーラップ領域５０３には、ユーザＢに向けたＶＲ画像が映り込むので、ユーザＡのＶＲ体験が乱れてしまう。同様に、ユーザＢの視野５０２のうちオーバーラップ領域５０３には、ユーザＡに向けたＶＲ画像が映り込むので、ユーザＢのＶＲ体験も乱れてしまう。

【0026】

そこで、本開示に係る技術では、複数のユーザの視野の間にオーバーラップ領域があるかどうかを精密に検出して、オーバーラップ領域が検出された場合には、オーバーラップ領域に各ユーザに向けられた個別のＶＲ画像を時分割で割り振って、それぞれのユーザに適した画像を作るようにする。各ユーザは、オーバーラップ領域における自分向けのＶＲ画像への切り換えに同期して開閉動作するシャッター眼鏡（例えば、特許文献３を参照のこと）を着用して現実環境を観察するようにする。これによって、各ユーザは、自分向けのＶＲ画像だけを視聴することが可能となり、他のユーザに向けられたＶＲ画像によってＶＲ体験が乱されることはなくなる。一方、ユーザの視野間にオーバーラップ領域が検出されない場合には、各ユーザ向けのＶＲ画像をすべて含む１枚の画像を生成して、プロジェクションマッピング技術を利用して現実環境上で投影する。

【0027】

複数のユーザが共有する現実環境で、各ユーザが完璧なＶＲ体験を行えるようにするには、ユーザの視野間のオーバーラップ領域を精密に検出する必要がある。ユーザの視野間のオーバーラップ領域を検出する方法について、図６を参照しながら説明する。但し、図６では、説明の簡素化のため、現実環境は平らな１枚の壁面６００とし、これをユーザＡとユーザＢの２人が共有するものとする。

【0028】

まず、フレーム毎に、ユーザＡとユーザＢの位置、姿勢、視線の情報を取得して、各々の視界範囲（動的視野）を推定する。

【0029】

次いで、ユーザＡ向けのＶＲ画像の６０１を、人間の視野限界と、ユーザＡから投影面となる壁面６００までの距離に応じて設定する。同様に、ユーザＢ向けのＶＲ画像の投影範囲６０２を、人間の視野限界と、ユーザＢから投影面となる壁面６００までの距離に応じて設定する。

【0030】

このようして、ユーザＡとユーザＢの各々の動的視野に対する壁面６００上での投影範囲６０１、６０２が得られると、ユーザＡとユーザＢ間で視野がオーバーラップするかどうかを精密に検出することができる。図６に示す例では、ユーザＡの投影範囲６０１とユーザＢの投影範囲６０２はオーバーラップしていないものとする。

【0031】

図７には、同じ現実環境をユーザＡ、ユーザＢ、ユーザＣの３人が共有する様子を示している。同図では、現実環境は、ＶＲ画像を投影する部屋の壁面７００からなる。そして、ユーザＡ、ユーザＢ、ユーザＣの各々に向けられたＶＲ画像を、プロジェクションマッピング技術によって各自に設定された投影範囲７０１、７０２、７０３に投影する。ここで、ユーザＡ向けのＶＲ画像の投影範囲７０１と、隣接するユーザＢ向けのＶＲ画像の投影範囲７０２の間にはオーバーラップ領域７１１が検出され、且つ、ユーザＢ向けのＶＲ画像の投影範囲７０２と、隣接するユーザＣ向けのＶＲ画像の投影範囲７０３の間にはオーバーラップ領域７１２が検出されたとする。

【0032】

上述したように、本開示に係る技術では、複数のユーザの視野の間にオーバーラップ領域が検出された場合には、オーバーラップ領域に各ユーザに向けられた個別のＶＲ画像を時分割で割り振って、それぞれのユーザに適した画像を作るようにする。

【0033】

図８及び図９には、図７に示した現実環境下で、ユーザＡ、ユーザＢ、ユーザＣの各々に向けられた個別のＶＲ画像を時分割で投影する動作例を示している。ここで、フレーム周期をＴ［ミリ秒］とする。フレーム周期Ｔは、フレームレートの逆数である。フレーム周期Ｔを２つに分割して、フレーム周期毎に、０～Ｔ／２の区間と、Ｔ／２～Ｔの区間とで壁面７００に投影する画像を順次切り替える。

【0034】

まず、フレーム周期Ｔの前半の０～Ｔ／２の区間では、図８に示すように、ユーザＢの位置、姿勢、視線に基づいて設定されたユーザＢの投影範囲７０２に、ユーザＢ向けのＶＲ画像８０２を投影する。ユーザＢは、０～Ｔ／２の区間に同期して開くシャッター眼鏡を着用して視線方向の壁面７００を観察することで、ユーザＢ向けのＶＲ画像だけを視聴することが可能となり、他のユーザ向けに表示されたＶＲ画像によってＶＲ体験が乱されることはなくなる。

【0035】

続いて、フレーム周期Ｔの後半のＴ／２～Ｔの区間では、図９に示すように、ユーザＡに設定された投影範囲７０１にユーザＡ向けのＶＲ画像９０１を投影するとともに、ユーザＣに設定された投影範囲７０３にユーザＣ向けのＶＲ画像９０３を投影する。ユーザＡとユーザＣは、Ｔ／２～Ｔの区間に同期して開くシャッター眼鏡を着用して視線方向の壁面７００を観察することで、ユーザＡ向けのＶＲ画像並びにユーザＣ向けのＶＲ画像だけをそれぞれ視聴することが可能となり、他のユーザに向けられたＶＲ画像によってＶＲ体験が乱されることはなくなる。

【0036】

図１０には、同じ現実環境をユーザＡ、ユーザＢ、ユーザＣの３人が共有する他の例を示している。図７～図９に示した例では、ユーザＡ向けのＶＲ画像の投影範囲７０１と、ユーザＣ向けのＶＲ画像の投影範囲７０３の間にはオーバーラップ領域が存在しなかった。これに対し、図１０に示す例では、ユーザＡの投影範囲１００１とユーザＢの投影範囲１００２間、並びにユーザＢの投影範囲１００２とユーザＣの投影範囲１００３の間にオーバーラップ領域１０１１及び１０１２が検出されるとともに、ユーザＡの投影範囲１００１とユーザＣの投影範囲１００３の間にもオーバーラップ領域１０１３が検出される。

【0037】

図１１乃至図１３には、図１０に示した現実環境下で、ユーザＡ、ユーザＢ、ユーザＣの各々に向けられた個別のＶＲ画像を時分割で投影する動作例を示している。この場合、フレーム周期Ｔを３つに分割して、フレーム周期毎に、０～Ｔ／３の区間と、Ｔ／３～２Ｔ／３の区間と、２Ｔ／３～Ｔの区間とで壁面１０００に投影する画像を順次切り替える。

【0038】

まず、フレーム周期Ｔの最初の０～Ｔ／３の区間では、図１１に示すように、ユーザＢの位置、姿勢、視線に基づいて設定されたユーザＢの投影範囲１００２に、ユーザＢ向けのＶＲ画像１１０２を投影する。ユーザＢは、０～Ｔ／３の区間に同期して開くシャッター眼鏡を着用して視線方向の壁面１０００を観察することで、ユーザＢ向けのＶＲ画像だけを視聴することが可能となり、ユーザＡ及びユーザＣに向けられたＶＲ画像によってユーザＢのＶＲ体験が乱されることはなくなる。

【0039】

続くＴ／３～２Ｔ／３の区間では、図１２に示すように、ユーザＡの位置、姿勢、視線に基づいて設定されたユーザＡの投影範囲１００１に、ユーザＡ向けのＶＲ画像１２０１を投影する。ユーザＡは、Ｔ／３～２Ｔ／３の区間に同期して開くシャッター眼鏡を着用して視線方向の壁面１０００を観察することで、ユーザＡ向けのＶＲ画像だけを視聴することが可能となり、ユーザＢ及びユーザＣに向けられたＶＲ画像によってユーザＡのＶＲ体験が乱されることはなくなる。

【0040】

続く２Ｔ／３～Ｔの区間では、図１３に示すように、ユーザＣの位置、姿勢、視線に基づいて設定されたユーザＣの投影範囲１００３に、ユーザＣ向けのＶＲ画像１３０３を投影する。ユーザＣは、２Ｔ／３～Ｔの区間に同期して開くシャッター眼鏡を着用して視線方向の壁面１０００を観察することで、ユーザＣ向けのＶＲ画像だけを視聴することが可能となり、ユーザＡ及びユーザＢに向けられたＶＲ画像によってユーザＣのＶＲ体験が乱されることはなくなる。

【0041】

なお、同じ現実環境を共有するユーザのうち、視野がオーバーラップするユーザ数が増大すると、フレーム区間の分割数が増加し、フレーム区間内で各ユーザがＶＲ画像を観察できる時間が短くなり輝度が低下するという点に留意されたい。

【実施例2】

【0042】

複数のプロジェクタを用いて同じ投影面を重畳して投影するプロジェクタスタッキングが知られている（例えば、特許文献２を参照のこと）。例えば同じ画像を重ねて投影することで、投影画像の輝度を向上させることができる。

【0043】

本開示に係る技術では、投影する画像の元のコンテンツを前景と背景に分離して、前景と背景をそれぞれ個別のプロジェクタを用いて投影することによって、運動視差による効果を保ち、ユーザがより完璧なＶＲ体験を行えるようにする。

【0044】

運動視差は、観察者と観察対象との相対移動によって生じる視差であり、近くの観察対象ほど速く動き、遠くの観察対象ほど遅く動く。そこで、仮想環境を背景と前景に分離し、フレーム毎にユーザの位置、姿勢、視線の情報を取得して、最適な前景画像及び背景画像を生成して、２台のプロジェクタを用いて現実環境でプロジェクタスタッキングを実施することで、運動視差による効果を保ち、ユーザがより完璧なＶＲ体験を行うことができる。

【0045】

プロジェクタスタッキングは、複数のユーザが共有する現実環境下で実施することを想定している。各ユーザの投影面に対する位置、姿勢、視線が相違するため、ユーザ毎に運動視差が異なる。プロジェクタスタッキングする際に、あるユーザに適合するように運動視差による効果を与えた画像を投影すると、他のユーザにとっては不自然な運動視差となりＶＲ体験が乱れてしまうという問題がある。

【0046】

視点から遠い対象物は運動視差による変化は小さいが、視点から近い対象物ほど運動視差による変化は大きくなる。例えば、図１４に示すように、ユーザＡとユーザＢの視野範囲がオーバーラップする領域内で、遠方に１本の木１４０１と前方に郵便ポスト１４０２が存在するという仮想環境１４００を想定する。このような場合、ユーザＡとユーザＢの間で、遠方の木１４０１の運動視差は小さいが、手前の郵便ポスト１４０２の運動視差は大きい。したがって、ユーザＡは図１５に示すように手前の郵便ポスト１４０２の左側の奥に木１４０１が見えるＶＲ画像を観察する一方、ユーザＢは図１６に示すように手前の郵便ポスト１４０２の右側の奥に木１４０１が見えるＶＲ画像を観察するようにすることが適当であると考えられる。ところが、ユーザＡに対する運動視差による効果のみが保たれた図１５に示す画像をプロジェクションマッピングにより現実環境に常時投影すると、これを観察するユーザＢにとっては不自然な運動視差となりＶＲ体験が乱れてしまう。

【0047】

そこで、本開示に係る技術では、複数のユーザ間で視野がオーバーラップするオーバーラップ領域に含まれる被写体（オブジェクト）を前景と背景に分離して、背景画像はユーザ間で運動視差の差が小さいことから共通の画像として扱うとともに、各ユーザの位置、姿勢、視線に応じた運動視差を再現したユーザ毎に最適な個別の前景画像を生成する。そして、ユーザ間で共通となる背景画像を、背景画像投影用の第１のプロジェクタを使って常時投影表示するとともに、ユーザ毎に異なる前景画像を、前景画像投影用の第２のプロジェクタを使って時分割で投影表示する。各ユーザは、自分向けの前景画像への切り換えに同期して開閉動作するシャッター眼鏡を着用して現実環境を観察するようにする。これによって、各ユーザは、ユーザ間で共通の背景画像に、最適な前景画像が重畳されたＶＲ画像を視聴することができる。最適な前景画像とは、ユーザ毎の運動視差による効果を保つ前景画像であり、ユーザはより完璧なＶＲ体験を行うことができる。

【0048】

なお、第１のプロジェクタ及び第２のプロジェクタはいずれも、プロジェクションマッピング技術を利用して現実環境上で投影する。また、第１のプロジェクタ及び第２のプロジェクタは、それぞれ複数台のプロジェクタ装置で構成されていてもよい。

【0049】

図１７には、ユーザＡとユーザＢが共有する現実環境下でプロジェクタスタッキングを実施する例を示している。同図では、現実環境は、ＶＲ画像を投影する部屋の壁面１７００からなり、図１４に示した仮想環境をプロジェクタスタッキングにより投影するものとする。

【0050】

まず、ユーザＡとユーザＢの位置、姿勢、視線の情報を取得して、ユーザＡの視野範囲１７０１とユーザＢの視野範囲１７０２がオーバーラップするオーバーラップ領域１７０３を特定すると、そのオーバーラップ領域に含まれるオブジェクトを前景と背景に分類する。例えば、フレーム毎にユーザＡ及びユーザＢの位置、姿勢、視線に基づいて、オーバーラップ領域１７０３中の各オブジェクトの運動視差を計算して、運動視差による変化が小さいオブジェクトを背景に分類し、運動視差による変化が所定値を超えるオブジェクトを前景に分類するようにしてもよい。ここで、一方のユーザにとって運動視差による変化は小さいが、他方のユーザにとっては運動視差による変化が大きくなるオブジェクトは前景に分類するようにしてもよい。図１７に示す例では、遠方の木１７１１が背景に分類され、前方の郵便ポスト１７１２が前景に分類されるものとする。

【0051】

次いで、図１８に示すように、背景に分類されたオブジェクト１７１１からなる背景画像１８００を生成する。背景画像１８００は、運動視差による変化が小さく、ユーザＡとユーザＢで共通する画像とする。また、ユーザＡ向けの前景画像１７０２と、ユーザＢ向けの前景画像１７０３をそれぞれ生成する。具体的には、図１９に示すように、フレーム毎にユーザＡの位置、姿勢、視線の情報を取得して、前景に分類されたオブジェクト１７１２がユーザＡにとって適切な運動視差による効果を保つようなユーザＡ向けの前景画像１９００を生成する。同様に、図２０に示すように、フレーム毎にユーザＢの位置、姿勢、視線の情報を取得して、前景に分類されたオブジェクト１７１２がユーザＢにとって適切な運動視差による効果を保つようなユーザＢ向けの前景画像２０００を生成する。

【0052】

そして、ユーザＡとユーザＢで共通となる背景のオブジェクト１８００を、背景画像投影用の第１のプロジェクタ２１００を使って、図２１に示すように、部屋の壁面１７００に常時投影表示する。さらに、ユーザＡ向けの前景画像１９００を、前景画像投影用の第２のプロジェクタ２２００を使って背景画像１８００上に重畳すると、図２２に示すような、プロジェクタスタッキングした投影画像２２０１が実現する。この投影画像２２０１は、ユーザＡにとって適切な運動視差による効果を保つ画像である。

【0053】

また、ユーザＢ向けの前景画像２０００を、前景画像投影用の第２のプロジェクタ２２００を使って背景画像１８００上に重畳すると、図２３に示すような、プロジェクタスタッキングした投影画像２３００が実現する。この投影画像２３０１は、ユーザＢにとって適切な運動視差による効果を保つ画像である。

【0054】

したがって、ユーザＡとユーザＢで共通となる背景画像１８００を、背景画像投影用の第１のプロジェクタ２１００を使って、部屋の壁面１７００に常時投影表示する。また、ユーザＡとユーザＢで異なる前景画像１９００又は２０００を、前景画像投影用の第２のプロジェクタ２２００を使って、部屋の壁面１７００に時分割で投影して、交互に背景画像１８００に重畳して表示する。

【0055】

なお、図２１～図２３には、簡素化のため、第１のプロジェクタ２１００及び第２のプロジェクタ２２００をそれぞれ１台ずつしか描いていないが、広角にわたって画像表示を行う場合には、第１のプロジェクタ２１００及び第２のプロジェクタ２２００はそれぞれ複数台のプロジェクタで構成されていてもよい。

【0056】

図２４には、第１のプロジェクタ２１００の動作例を示している。また、図２５には、第２のプロジェクタ２２００の動作例を示している。図２４に示すように、第１のプロジェクタ２１００は、フレーム毎に生成される背景画像１８００を、部屋の壁面１７００に常時投影表示する。一方、第２のプロジェクタ１７１２は、図２５に示すように、フレーム周期Ｔを２つに分割して、フレーム周期毎に、０～Ｔ／２の区間と、Ｔ／２～Ｔの区間とで壁面１７００に投影する画像を順次切り替える。フレーム周期Ｔの前半の０～Ｔ／２の区間では、ユーザＡの位置、姿勢、視線に対応する運動視差による効果を保つ前景画像１９００を投影する。また、フレーム周期Ｔの後半のＴ／２～Ｔの区間では、ユーザＢの位置、姿勢、視線に対応する運動視差による効果を保つ前景画像２０００を投影する。

【0057】

ユーザＡとユーザＢは、それぞれ自分向けの前景画像１９００又は２０００への切り換えに同期して開閉動作するシャッター眼鏡を着用して現実環境を観察するようにする。これによって、ユーザＡとユーザＢは、ユーザ間で共通の背景画像に、各々に最適な前景画像が重畳されたＶＲ画像を視聴することができる。最適な前景画像とは、ユーザ毎の運動視差による効果を保つ前景画像であり、ユーザＡとユーザＢはより完璧なＶＲ体験をそれぞれ行うことができる。

【0058】

なお、図１７～図２５では、元のコンテンツをユーザ間で共通する背景と、ユーザ毎の前景の２種類に分離して、２台のプロジェクタを使って背景画像と前景画像を重畳して表示する例について示した。変形例として、元のコンテンツを背景と中景と前景の３種類に分割する方法も考えられる。この場合、前景だけでなく中景もユーザ毎に運動視差による効果が異なり、且つ前景と中景とでは運動視差による効果が異なることから、前景画像と同様に中景画像についても、各ユーザ向けの中景画像を生成する。また、現実環境に、背景画像投影用の第１のプロジェクタと前景画像投影用の第２のプロジェクタに加えて、中景画像用投影用の第３のプロジェクタを設置する。そして、第３のプロジェクタは、ユーザ毎の運動視差による効果を保つ各中景画像を、前景画像の切り換えと同期して、時分割で投影表示する。したがって、各ユーザは、それぞれ自分向けの前景画像及び中景画像の切り換えに同期して開閉動作するシャッター眼鏡を着用して現実環境を観察することにより、自分の現在の位置、姿勢、視線に対応した運動視差による効果を保つＶＲ画像を観察して、より完璧なＶＲ体験を行うことができる。

【0059】

また、投影する画像が動画像であり、画像中のオブジェクトが動くことも想定される。例えば、被写体が自動車などの移動体の場合、観察するユーザとの相対位置が時々刻々と変化するため、時間の経過とともに背景から前景へ、あるいは逆に前景から背景へ切り替わることも想定される。背景にある自動車が走行していても運動視差による変化は小さいが、前景で走行している自動車の運動視差による変化は大きい。

【0060】

図２６には、ユーザＡとユーザＢの視野範囲がオーバーラップする領域内で、遠方から手前に向かって走行している自動車２６０１の画像を例示している。この時点では自動車２６０１は背景に属し、ユーザＡとユーザＢの間で自動車２６０１の運動視差は小さい。そこで、背景画像投影用の第１のプロジェクタを使って、図２６に示す画像を常時投影表示すればよい。

【0061】

図２７には、自動車２６０１が手前に向かって走行し続け、前景の領域に到達した画像を例示している。この時点では、ユーザＡとユーザＢの間で自動車２６０１の運動視差は大きくなっている。そこで、フレーム毎にユーザＡの位置、姿勢、視線に基づいて、自動車２６０１の運動視差を計算して、ユーザＡ向けの自動車２６０１を含む前景画像を生成する。そして、背景画像投影用の第１のプロジェクタ２８０１を使って投影した背景画像の上に、前景画像投影用の第２のプロジェクタ２８０２を使って自動車２６０１を含む前景画像を重畳して投影して、図２８に示すようなユーザＡにとって適切な運動視差による効果を保つ投影画像を表示することができる。

【0062】

同様に、フレーム毎にユーザＢの位置、姿勢、視線に基づいて、自動車２６０１の運動視差を計算して、ユーザＢ向けの自動車２６０１を含む前景画像を生成する。そして、背景画像投影用の第１のプロジェクタ２８０１を使って投影した背景画像の上に、前景画像投影用の第２のプロジェクタ２８０２を使って自動車２６０１を含む前景画像を重畳して投影して、図２９に示すようなユーザＢにとって適切な運動視差による効果を保つ投影画像を表示することができる。

【0063】

したがって、ユーザＡとユーザＢで共通となる背景画像を第１のプロジェクタ２８０１を使って常時投影表示する。第２のプロジェクタ２８０２を使って、ユーザＡとユーザＢで異なる前景画像を時分割で投影して、交互に背景画像に重畳して表示する。図３０には、前景画像を投影する第２のプロジェクタ２８０２の動作例を示している。第１のプロジェクタ２８０１の動作については図示を省略するが、背景画像を常時投影表示するものとする。図３０では、便宜上、自動車２６０１が前景に到達したタイミングを時刻０とする。そして、第２のプロジェクタ２８０２は、フレーム周期毎に、０～Ｔ／２の区間と、Ｔ／２～Ｔの区間とで現実環境下で背景画像に重畳して投影する画像を順次切り替える。フレーム周期Ｔの前半の０～Ｔ／２の区間では、ユーザＡの位置、姿勢、視線に対応する運動視差による効果を保つ自動車２６０１の画像（図２８を参照のこと）を投影する。また、フレーム周期Ｔの後半のＴ／２～Ｔの区間では、ユーザＢの位置、姿勢、視線に対応する運動視差による効果を保つ自動車２６０１の画像（図２９を参照のこと）を投影する。

【0064】

ユーザＡとユーザＢは、それぞれ自分向けの前景画像への切り換えに同期して開閉動作するシャッター眼鏡を着用して現実環境を観察するようにする。これによって、ユーザＡとユーザＢは、ユーザ間で共通の背景画像に、各々に最適な自動車２６０１の前景画像が重畳されたＶＲ画像を視聴することができる。最適な前景画像とは、ユーザ毎の運動視差による効果を保つ前景画像であり、ユーザＡとユーザＢはより完璧なＶＲ体験をそれぞれ行うことができる。

【0065】

なお、図２８及び図２９には、簡素化のため、第１のプロジェクタ２８０１及び第２のプロジェクタ２８０２をそれぞれ１台ずつしか描いていないが、広角にわたって画像表示を行う場合には、第１のプロジェクタ２８０１及び第２のプロジェクタ２８０２はそれぞれ複数台のプロジェクタで構成されていてもよい。

【0066】

ここまでは、ユーザ毎に運動視差による効果を与えた前景画像を表示するためにプロジェクタスタッキングを行う例について説明してきた。変形例として、運動視差による効果はなくても、ユーザ毎に用意された個別の前景画像を、ユーザ間で共通の背景画像に重畳するために、プロジェクタスタッキングを利用することもできる。

【0067】

図３１には、ユーザＡ、ユーザＢ、ユーザＣの３人に共通の背景画像３１００に、ユーザ毎に用意された個別の前景画像３１０１、３１０２、３１０３を時分割で重畳するプロジェクタスタッキングの表示例を示している。図示の例では、背景画像３１００は、壇上に登壇した講演者がプレゼンテーションを行う画像であり、前景画像３１０１、３１０２、３１０３はいずれもユーザ毎に用意された講演者の顔画像からなる。図３２には、背景画像３１００中の講演者の顔にユーザＡ用の顔画像３１０１が重畳された様子を示している。また、図３３には、背景画像３１００中の講演者の顔にユーザＢ用の顔画像３１０２が重畳された様子を示し、図３４には、背景画像３１００中の講演者の顔にユーザＣ用の顔画像３１０３が重畳された様子を示している。ユーザＡ、ユーザＢ、ユーザＣの各々に用意すべき顔画像は、例えばユーザ毎の好みや相性など所定のロジックに基づいて決定されるが、その詳細については説明を省略する。

【0068】

第１のプロジェクタ３１１１を使って、背景画像３１００を常時投影表示する。また、第２のプロジェクタ３１１２を使って、ユーザ毎に用意された個別の前景画像３１０１、３１０２、３１０３を、背景画像３１００の上に時分割で重畳して投影する。図３５には、第２のプロジェクタ３１１２の動作例を示している。第２のプロジェクタ３１１２は、フレーム周期Ｔを３つに分割して、フレーム周期毎に、０～Ｔ／３の区間と、Ｔ／３～２Ｔ／３の区間と、２Ｔ／３～Ｔの区間とで投影する画像を順次切り替える。フレーム周期Ｔの最初の０～Ｔ／３の区間では、第２のプロジェクタ３１１２は、ユーザＡ用の前景画像３１０１を、背景画像３１００の上に重畳して投影する。続くＴ／３～２Ｔ／３の区間では、第２のプロジェクタ３１１２は、ユーザＢ用の前景画像３１０２を、背景画像３１００の上に重畳して投影する。続く２Ｔ／３～Ｔの区間では、第２のプロジェクタ３１１２は、ユーザＣ用の前景画像３１０３を、背景画像３１００の上に重畳して投影する。

【0069】

ユーザＡ～Ｃは、それぞれ自分向けの前景画像３１０１～３１０３への切り換えに同期して開閉動作するシャッター眼鏡を着用して現実環境を観察するようにする。これによって、ユーザＡ～Ｃは、ユーザ間で共通の背景画像に、各々に最適な前景画像が重畳されたＶＲ画像を視聴することができる。

【0070】

なお、図３１～図３４には、簡素化のため、第１のプロジェクタ３１１１及び第２のプロジェクタ３１１２をそれぞれ１台ずつしか描いていないが、広角にわたって画像表示を行う場合には、第１のプロジェクタ３１１１及び第２のプロジェクタ３１１２はそれぞれ複数台のプロジェクタで構成されていてもよい。

【0071】

図３６には、プロジェクタスタッキングを実現するための処理を行う画像処理装置３６００の機能的構成例を示している。図示の画像処理装置３６００は、コンテンツ受信部３６０１と、ユーザ情報取得部３６０２と、視野推定部３６０３と、オーバーラップ領域判定部３６０４と、送信部３６０５と、コンテンツ処理部３６１０を備えている。コンテンツ処理部３６１０は、オブジェクト分類部３６１１と、共通画像生成部３６１２と、個別画像生成部３６１３と、出力プロトコル決定部３６１４を含んでいる。画像処理装置３６００は、例えばパーソナルコンピュータ（ＰＣ）などの情報処理装置を用いて構成することができる。

【0072】

コンテンツ受信部３６０１は、クラウド上のストリーム配信サーバや記録メディアなどのコンテンツソースから、コンテンツのストリームデータを受信する。コンテンツ受信部３６０１は、例えばＷｉ－Ｆｉ（登録商標）やＥｔｈｅｒｎｅｔ（登録商標）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの通信インターフェースを備えている。

【0073】

ユーザ情報取得部３６０２は、画像処理装置３６００を通じてプロジェクションマッピング又はプロジェクタスタッキングされる投影画像を観察する各ユーザの情報を取得する処理を行う。ユーザ情報取得部３６０２は、例えば、各ユーザの視野を特定するための位置、姿勢、視野などの情報を取得する。また、ユーザ情報取得部３６０２は、ユーザ毎に個別の前景画像を割り当てるために、各ユーザのプロファイル情報や機微情報を取得するようにしてもよい。また、ユーザ情報取得部３６０２は、上記のようにユーザ情報を取得するために、１以上のセンサデバイスを装備していてもよい。

【0074】

視野推定部３６０３は、ユーザ情報取得部３６０２が取得したユーザ情報（例えば、ユーザ毎の位置、姿勢、視野などの情報）に基づいて、各ユーザの視野領域を推定する。

【0075】

オーバーラップ領域判定部３６０４は、視野推定部３６０３が推定した各ユーザの視野領域に基づいて、ユーザ間で視野がオーバーラップするオーバーラップ領域があるかどうかを判定し、さらにオーバーラップ領域の範囲を特定する。

【0076】

オブジェクト分類部３６１１は、オーバーラップ領域判定部３６０４がユーザ間で視野がオーバーラップすると判定した場合に、コンテンツ受信部３６０１が受信した元のコンテンツに含まれるオブジェクト（被写体）のうち、そのオーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する。第１のオブジェクトグループは、ユーザの位置から遠く離れた背景にあり、ユーザ間で運動視差が小さいオブジェクトからなるグループである。一方、第２のオブジェクトグループは、ユーザの位置から近い前景にある、ユーザ間で運動視差が大きいオブジェクトからなるグループである。オブジェクトの背景又は前景の判断は、フレーム毎の行うものとする。

【0077】

共通画像生成部３６１２は、ユーザ間で視野がオーバーラップするオーバーラップ領域において、元のコンテンツから、背景に存在する第１のオブジェクトグループのオブジェクトからなり、ユーザ間で共通となる背景画像を生成する。共通画像生成部３６１２が生成した背景画像は、送信部３６０５を介して第１のプロジェクタ３６２０に出力される。

【0078】

個別画像生成部３６１３は、ユーザ間で視野がオーバーラップするオーバーラップ領域において、元のコンテンツから、前景に存在する第２のオブジェクトグループのオブジェクトからなり、ユーザ毎に異なる前景画像を生成する。また、個別画像生成部３６１３は、ユーザ間で視野がオーバーラップしない場合には、元のコンテンツから、各ユーザの視野に相当する個別画像を生成する。個別画像生成部３６１３が生成したユーザ毎の個別画像は、送信部３６０５を介して第２のプロジェクタ３６３０に出力される。

【0079】

第１のプロジェクタ３６２０は、共通画像生成部３６１２が生成したユーザ間で共通の背景画像を、部屋の壁面などの現実環境に投影する。また、第２のプロジェクタ３６３０は、個別画像生成部３６１３が生成したユーザ毎の個別画像を、部屋の壁面などの現実環境に投影する。第２のプロジェクタ３６３０は、ユーザ毎の個別画像がオーバーラップする場合には、出力プロトコル決定部３６１４が決定する出力プロトコルに従って、各個別画像を時分割で切り換えて出力する。

【0080】

なお、第１のプロジェクタ３６２０及び第２のプロジェクタ３６３０はともに、部屋の壁面などの現実環境における投影面の３次元形状を測定して、その測定結果に応じて投影画像を補正することによって歪みのない画像を投影するプロジェクションマッピングを実施するものとする。

【0081】

出力プロトコル決定部３６１４は、個別画像生成部３６１３がユーザ毎に生成した個別画像を第２のプロジェクタ３６３０で出力するプロトコルを決定する。出力プロトコル決定部３６１４は、共通画像生成部３６１２が生成したユーザ間で共通の共通画像の上に、個別画像生成部３６１３が生成したユーザ毎の個別画像をプロジェクタスタッキングするための出力プロトコルを決定する。また、出力プロトコル決定部３６１４は、オーバーラップする複数の個別画像を第２のプロジェクタ３６３０から投影する際に、各個別画像を時分割で切り換えて出力するプロトコルを決定する。出力プロトコル決定部３６１４は、決定した出力プロトコルを、送信部３６０５を介して、第２のプロジェクタ３６３０並びに各ユーザのシャッター眼鏡（図示しない）に出力する。

【0082】

なお、送信部３６０５は、例えばＷｉ－Ｆｉ（登録商標）やＥｔｈｅｒｎｅｔ（登録商標）、ＨＤＭＩ（登録商標）などの通信インターフェースを備えている。

【0083】

図３７には、図３６に示す画像処理装置３６００がプロジェクションマッピング又はプロジェクタスタッキングを行う処理手順をフローチャートの形式で示している。この処理手順は、例えば画像処理装置３６００がコンテンツ受信部３６０１でロジェクションマッピング又はプロジェクタスタッキングを行うコンテンツを受信したことにより起動する。

【0084】

ユーザ情報取得部３６０２は、画像処理装置３６００を通じてプロジェクションマッピング又はプロジェクタスタッキングされる投影画像を観察する各ユーザの情報を取得する処理を行う（ステップＳ３７０１）。ここでは、ユーザ情報取得部３６０２は、各ユーザの視野を特定するための位置、姿勢、視野などの情報を取得するものとする。

【0085】

次いで、視野推定部３６０３は、ユーザ情報取得部３６０２が取得したユーザ毎の位置、姿勢、視野などの情報に基づいて、各ユーザの視野領域を推定する（ステップＳ３７０２）。

【0086】

オーバーラップ領域判定部３６０４は、視野推定部３６０３が推定した各ユーザの視野領域に基づいて、ユーザ間で視野がオーバーラップするオーバーラップ領域があるかどうかを判定する（ステップＳ３７０３）。そして、オーバーラップ領域判定部３６０４は、オーバーラップ領域があると判定したときには、さらにオーバーラップ領域の範囲を特定する。

【0087】

オーバーラップ領域判定部３６０４がユーザ間で視野がオーバーラップすると判定した場合には（ステップＳ３７０３のＹｅｓ）、オブジェクト分類部３６１１は、コンテンツ受信部３６０１が受信した元のコンテンツに含まれるオブジェクト（被写体）のうち、そのオーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する（ステップＳ３７０５）。オーバーラップ領域の判定とオブジェクトの分類は、フレーム毎に行うものとする。

【0088】

そして、共通画像生成部３６１２は、ユーザ間で視野がオーバーラップするオーバーラップ領域において、元のコンテンツから、背景に存在する第１のオブジェクトグループのオブジェクトからなり、ユーザ間で共通となる背景画像を生成する。また、個別画像生成部３６１３は、ユーザ間で視野がオーバーラップするオーバーラップ領域において、元のコンテンツから、前景に存在する第２のオブジェクトグループのオブジェクトからなり、ユーザ毎に異なる前景画像を生成する（ステップＳ３７０５）。

【0089】

一方、オーバーラップ領域判定部３６０４がユーザ間で視野がオーバーラップしないと判定した場合には（ステップＳ３７０３のＮｏ）、個別画像生成部３６１３は、元のコンテンツから、各ユーザの視野に相当する個別画像を生成する（ステップＳ３７０８）。このとき、オブジェクト分類部３６１１によるオブジェクトの分類処理は実施されない。また、オーバーラップ領域は存在しないので、共通画像生成部３６１２はオーバーラップ領域における共通画像の生成処理を実施しない。

【0090】

次いで、出力プロトコル決定部３６１４は、個別画像生成部３６１３がユーザ毎に生成した個別画像を第２のプロジェクタ３６３０で出力するプロトコルを決定する（ステップＳ３７０６）。

【0091】

そして、共通画像生成部３６１２が生成した背景画像は、送信部３６０５を介して第１のプロジェクタ３６２０に出力される。また、個別画像生成部３６１３が生成したユーザ毎の個別画像は、送信部３６０５を介して第２のプロジェクタ３６３０に出力される。また、出力プロトコル決定部３６１４は、決定した出力プロトコルを、送信部３６０５を介して、第２のプロジェクタ３６３０並びに各ユーザのシャッター眼鏡（図示しない）に出力する（ステップＳ３７０７）。

【0092】

第１のプロジェクタ３６２０は、共通画像生成部３６１２が生成したユーザ間で共通の背景画像を、部屋の壁面などの現実環境に投影する。また、第２のプロジェクタ３６３０は、個別画像生成部３６１３が生成したユーザ毎の個別画像を、部屋の壁面などの現実環境に投影する。第２のプロジェクタ３６３０は、ユーザ毎の個別画像がオーバーラップする場合には、出力プロトコル決定部３６１４が決定する出力プロトコルに従って、各個別画像を時分割で切り換えて出力する。

【0093】

このように画像処理装置３６００で処理された画像を第１のプロジェクタ３６２０及び第２のプロジェクタ３６３０を使ってプロジェクションマッピング及びプロジェクタスタッキングを行うことにより、ユーザ間で視野がオーバーラップする場合であっても、各ユーザは他のユーザのＶＲ画像によって乱されることなく、完璧なＶＲ体験を行うことができる。その際、ユーザはヘッドマウントディスプレイのような重量物を装着する必要はなく、軽量なシャッター眼鏡を掛けるだけでよい。

【産業上の利用可能性】

【0094】

以上、特定の実施形態を参照しながら、本開示に係る技術について詳細に説明してきた。しかしながら、本開示に係る技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

【0095】

本開示に係る技術は、さまざまな現実環境において複数ユーザにＶＲコンテンツを提示する際に適用することができる。

【0096】

要するに、例示という形態により本開示に係る技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示に係る技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

【0097】

なお、本開示に係る技術は、以下のような構成をとることも可能である。

【0098】

（１）複数のユーザに表示するコンテンツに関する処理を実行する画像処理装置であって、
各ユーザの情報を取得するユーザ情報取得部と、
前記各ユーザの情報に基づいて２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する分類部と、
前記第１のオブジェクトグループからなる全ユーザに共通する共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成する生成部と、
各個別画像を表示する出力プロトコルを決定する決定部と、
を具備する画像処理装置。

【0099】

（２）前記分類部は、前記オーバーラップ領域に含まれるオブジェクトを、背景に存在する前記第１のオブジェクトグループと、少なくとも一部のユーザにとって前景となる前記第２のオブジェクトグループに分類し、
前記生成部は、前記第１のオブジェクトグループを含む背景画像を共通画像として生成するとともに、前記第２のオブジェクトグループを含むユーザ毎の前景画像を個別画像として生成する、
上記（１）に記載の画像処理装置。

【0100】

（３）前記生成部は、前記第２のオブジェクトグループに含まれる各オブジェクトがユーザ毎の運動視差による効果を有する個別の前景画像を生成する、
上記（２）に記載の画像処理装置。

【0101】

（４）前記生成部は、ユーザ毎に割り当てられたオブジェクトを含む個別画像を生成する、
上記（２）に記載の画像処理装置。

【0102】

（５）前記ユーザ情報取得部は、各ユーザの視野を特定するための情報を取得する、
上記（１）乃至（４）のいずれかに記載の画像処理装置。

【0103】

（６）前記ユーザ情報取得部は、各ユーザの位置及び視線に関する情報を取得し、
前記分類部は、各ユーザと各オブジェクトとの距離に基づいて前記分類を実施する、
上記（１）乃至（５）のいずれかに記載の画像処理装置。

【0104】

（７）前記共通画像を第１の表示装置に出力するとともに、ユーザ毎の個別画像を第２の表示装置に出力する、
上記（１）乃至（６）のいずれかに記載の画像処理装置。

【0105】

（８）前記共通画像を出力する第１の表示装置又はユーザ毎の個別画像を出力する第２の表示装置のうち少なくとも一方を備える、
上記（１）乃至（７）のいずれかに記載の画像処理装置。

【0106】

（９）前記第１の表示装置又は前記第２の表示装置のうち少なくとも一方はプロジェクタである、
上記（７）又は（８）のいずれかに記載の画像処理装置。

【0107】

（１０）前記決定部は、各個別画像を時分割で出力するタイミングに関する出力プロトコルを決定する、
上記（１）乃至（９）のいずれかに記載の画像処理装置。

【0108】

（１１）前記出力プロトコルを各ユーザが使用する機器に通知するための通信部をさらに備える、
上記（１）乃至（１０）のいずれかに記載の画像処理装置。

【0109】

（１２）複数のユーザに表示するコンテンツに関する処理を実行する画像処理方法であって、
各ユーザの情報を取得するユーザ情報取得ステップと、
前記各ユーザの情報に基づいて２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類する分類ステップと、
前記第１のオブジェクトグループからなる全ユーザに共通する共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成する生成ステップと、
各個別画像を表示する出力プロトコルを決定する決定ステップと、
を有する画像処理方法。

【0110】

（１３）各ユーザの情報に基づいて、２以上のユーザ間で視野がオーバーラップするオーバーラップ領域を特定し、前記オーバーラップ領域に含まれるオブジェクトを第１のオブジェクトグループと第２のオブジェクトグループに分類して、前記第１のオブジェクトグループからなる全ユーザに共通の共通画像を生成するとともに、前記第２のオブジェクトグループからなるユーザ毎に異なる個別画像を生成するとともに、各個別画像を表示する出力プロトコルを各ユーザが使用するシャッター眼鏡に通知する画像処理装置と、
前記共通画像を出力する第１の表示装置と、
ユーザ毎の個別画像を出力する第２の表示装置と、
各ユーザが使用するシャッター眼鏡と、
を具備する画像表示システム。

【符号の説明】

【0111】

３６００…画像処理装置、３６０１…コンテンツ受信部
３６０２…ユーザ情報取得部、３６０３…視野推定部
３６０４…オーバーラップ領域判定部、３６０５…送信部
３６１０…コンテンツ処理部、３６１１…オブジェクト分類部
３６１２…共通画像生成部、３６１３…個別画像生成部
３６１４…出力プロトコル決定部、３６２０…第１のプロジェクタ
３６３０…第２のプロジェクタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】