特許 7601353 画像制御システム、画像制御プログラム、画像制御プログラムが記録された記憶媒体、及び画像制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】画像制御システム、画像制御プログラム、画像制御プログラムが記録された記憶媒体、及び画像制御方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241210BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 11

(21)【出願番号】P 2022201437

(22)【出願日】2022-12-16

(65)【公開番号】P2024086350

(43)【公開日】2024-06-27

【審査請求日】2024-05-02

【早期審査対象出願】

(73)【特許権者】

【識別番号】516249470

【氏名又は名称】株式会社ＳＴＹＬＹ

(74)【代理人】

【識別番号】110003823

【氏名又は名称】弁理士法人柳野国際特許事務所

(72)【発明者】

【氏名】山口 征浩

【審査官】益戸 宏

(56)【参考文献】

【文献】特開平０６－１７６１３１（ＪＰ，Ａ）

【文献】特開２０１４－０７９８２４（ＪＰ，Ａ）

【文献】特開２０２１－０７７０７８（ＪＰ，Ａ）

【文献】特開２００９－２３７８７８（ＪＰ，Ａ）

【文献】齊藤滋 他３名，コード化した模様を内装に施した室内における位置同定システム，映像情報メディア学会技術報告，2006年06月06日，Vol.30, No.29，pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、該特定空間より大きな所定のコンテンツ画像を重ねて前記ディスプレイに表示する制御部を備え、
前記壁と天井の表面のうち少なくとも一部の領域であるオクルージョンオフ領域には、当該オクルージョンオフ領域を覆うように予め設定された特定模様が付されており、
前記制御部は、前記現実画像において前記特定模様が付された領域を前記オクルージョンオフ領域と判定し、前記オクルージョンオフ領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行せず、前記現実画像における前記オクルージョンオフ領域以外の領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行する画像制御システム。

【請求項2】

前記制御部は、さらに、前記現実画像から前記特定模様を消去する請求項１記載の画像制御システム。

【請求項3】

前記特定模様は、前記オクルージョンオフ領域内で付されている位置によって異なる模様とされており、
前記制御部は、さらに、前記現実画像に撮像された前記特定模様から、前記特定空間に対する前記表示端末の相対位置を特定し、前記特定された相対位置に応じて前記コンテンツ画像を表示する請求項１記載の画像制御システム。

【請求項4】

前記制御部は、さらに、前記現実画像から、前記特定空間の角に対応する線を消去する請求項１記載の画像制御システム。

【請求項5】

カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、該特定空間より大きな所定のコンテンツ画像を重ねて前記ディスプレイに表示する制御部を備え、
前記制御部は、前記現実画像に前記コンテンツ画像を重ねる際に、オクルージョンを実行することなく前記現実画像から前記特定空間の角に対応する線を消去する画像制御システム。

【請求項6】

前記表示端末をさらに備える請求項１～５のいずれか１項に記載の画像制御システム。

【請求項7】

前記制御部は、前記表示端末に内蔵される請求項６記載の画像制御システム。

【請求項8】

前記特定空間をさらに備える請求項１～５のいずれか１項に記載の画像制御システム。

【請求項9】

コンピュータを、請求項１～５のいずれか１項に記載の画像制御システムに用いられる前記制御部として機能させる画像制御プログラム。

【請求項10】

請求項９に記載の画像制御プログラムが記録された記憶媒体。

【請求項11】

カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、該特定空間より大きな所定のコンテンツ画像を重ねて前記ディスプレイに表示する複合現実制御工程を含み、
前記壁と天井の表面のうち少なくとも一部の領域であるオクルージョンオフ領域には、当該オクルージョンオフ領域を覆うように予め設定された特定模様が付されており、
前記複合現実制御工程は、前記現実画像において前記特定模様が付された領域を前記オクルージョンオフ領域と判定し、前記オクルージョンオフ領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行せず、前記現実画像における前記オクルージョンオフ領域以外の領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行する画像制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実又は複合現実を表示するための、拡張現実又は複合現実用の建物、拡張現実又は複合現実用の建物の設計方法、拡張現実又は複合現実用の内装、拡張現実又は複合現実用の内装の設計方法、画像制御システム、画像制御プログラム、画像制御プログラムが記録された記憶媒体、及び画像制御方法に関する。

【背景技術】

【0002】

従来より、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）において、手前に現実の物体が存在し、奥にＣＧ（Computer Graphics）の物体が位置する場合に、現実の物体を奥のＣＧより手前に表示するように描画するオクルージョンが知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－４３９０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、実際に撮影された現実画像と、ＣＧのコンテンツ画像とを重ねて表示する拡張現実や複合現実において、屋内などの閉鎖された空間内に、屋内空間より大きなコンテンツ画像を表示してオクルージョンを実行すると、コンテンツ画像の一部が屋内空間の天井や壁を突き抜けて、コンテンツ画像の一部が天井や壁に隠れてしまう。

【0005】

本発明の目的は、屋内空間より大きなコンテンツ画像を表示することが可能な拡張現実又は複合現実用の建物、拡張現実又は複合現実用の建物の設計方法、拡張現実又は複合現実用の内装、拡張現実又は複合現実用の内装の設計方法、画像制御システム、画像制御プログラム、画像制御プログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明に係る画像制御システムは、カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、所定のコンテンツ画像を重ねて前記ディスプレイに表示する制御部を備え、前記壁と天井の表面のうち少なくとも一部の領域であるオクルージョンオフ領域には、当該オクルージョンオフ領域を覆うように予め設定された特定模様が付されており、前記制御部は、前記現実画像において前記特定模様が付された領域を前記オクルージョンオフ領域と判定し、前記オクルージョンオフ領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行せず、前記現実画像における前記オクルージョンオフ領域以外の領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行する。

【0007】

また、本発明に係る画像制御方法は、カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、所定のコンテンツ画像を重ねて前記ディスプレイに表示する複合現実制御工程を含み、前記壁と天井の表面のうち少なくとも一部の領域であるオクルージョンオフ領域には、当該オクルージョンオフ領域を覆うように予め設定された特定模様が付されており、前記複合現実制御工程は、前記現実画像において前記特定模様が付された領域を前記オクルージョンオフ領域と判定し、前記オクルージョンオフ領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行せず、前記現実画像における前記オクルージョンオフ領域以外の領域と前記コンテンツ画像とを重ねる場合、オクルージョンを実行する。

【0008】

また、本発明に係る画像制御システムは、カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、所定のコンテンツ画像を重ねて前記ディスプレイに表示する制御部を備え、前記制御部は、前記現実画像に前記コンテンツ画像を重ねる際に、オクルージョンを実行することなく前記現実画像から前記特定空間の角に対応する線を消去する。

【0009】

また、本発明に係る画像制御システムは、カメラとディスプレイとを備えた拡張現実又は複合現実用の表示端末における前記カメラで撮像された、壁と天井とを有する特定空間の画像である現実画像に、オクルージョンを実行することなく所定のコンテンツ画像を重ねる制御部を備え、前記特定空間の内面は、無地である。

【0010】

これらの構成によれば、特定空間に、特定空間より大きなコンテンツ画像を表示することが可能となる。

【0011】

また、前記制御部は、さらに、前記現実画像から前記特定模様を消去することが好ましい。

【0012】

この構成によれば、ユーザにとって不要な模様である特定模様を消去することによって、ユーザにとって違和感のない画像を生成することができる。

【0013】

また、前記特定模様は、前記オクルージョンオフ領域内で付されている位置によって異なる模様とされており、前記制御部は、さらに、前記現実画像に撮像された前記特定模様から、前記特定空間に対する前記表示端末の相対位置を特定し、前記特定された相対位置に応じて前記コンテンツ画像を表示することが好ましい。

【0014】

この構成によれば、特定模様は、オクルージョンオフ領域内で付されている位置によって異なる模様とされているから、現実画像内における特定模様によって、現実画像を撮像した表示端末の、特定空間に対する相対位置を特定することが可能となる。

【0015】

また、前記制御部は、さらに、前記現実画像から、前記特定空間の角に対応する線を消去することが好ましい。

【0016】

この構成によれば、オクルージョンを実行しないために生じる違和感を低減することができる。

【0017】

また、前記表示端末をさらに備えることが好ましい。

【0018】

この構成によれば、表示端末は、画像制御システムに含まれる。

【0019】

また、前記制御部は、前記表示端末に内蔵されることが好ましい。

【0020】

この構成によれば、表示端末が制御部として機能する。

【0021】

また、前記特定空間をさらに備えることが好ましい。

【0022】

この構成によれば、特定空間は、画像制御システムに含まれる。

【0023】

また、本発明に係る拡張現実又は複合現実用の建物は、上述の画像制御システムに用いられる前記特定空間を備える。

【0024】

この拡張現実又は複合現実用の建物は、上述の画像制御システムに用いられる特定空間を構成する。

【0025】

また、本発明に係る拡張現実又は複合現実用の建物の設計方法は、上述の拡張現実又は複合現実用の建物の、前記壁と天井の表面のうち少なくとも一部の領域に、前記特定模様を付すように設計する。

【0026】

この設計方法によれば、拡張現実又は複合現実用の建物を設計することができる。

【0027】

また、本発明に係る拡張現実又は複合現実用の内装は、上述の画像制御システムに用いられる前記特定空間の内面の少なくとも一部に、前記特定模様が付されている。

【0028】

この拡張現実又は複合現実用の内装は、上述の画像制御システムに用いられる特定空間を構成する。

【0029】

また、本発明に係る拡張現実又は複合現実用の内装の設計方法は、上述の拡張現実又は複合現実用の内装の、内面の少なくとも一部に、前記特定模様を付すように設計する。

【0030】

この設計方法によれば、拡張現実又は複合現実用の内装を設計することができる。

【0031】

また、本発明に係る画像制御プログラムは、コンピュータを、上述の画像制御システムに用いられる前記制御部として機能させる。

【0032】

この画像制御プログラムは、コンピュータを、上述の画像制御システムに用いられる制御部として機能させる。

【0033】

また、本発明に係る記憶媒体には、上述の画像制御プログラムが記録されている。

【0034】

この記憶媒体は、上述の画像制御プログラムを記録する。

【発明の効果】

【0035】

このような構成の拡張現実又は複合現実用の建物、拡張現実又は複合現実用の建物の設計方法、拡張現実又は複合現実用の内装、拡張現実又は複合現実用の内装の設計方法、画像制御システム、画像制御プログラム、画像制御プログラムが記録された記憶媒体、及び画像制御方法は、屋内空間より大きなコンテンツ画像を表示することが可能となる。

【図面の簡単な説明】

【0036】

【図1】本発明の一実施形態に係る画像制御システムの構成の一例を示す概念図である。

【図2】特定空間に三次元のＣＧ画像を配置した場合の位置関係を説明するための概念的な説明図である。

【図3】図２に示す状態で、ユーザが従来の表示端末を用いて特定空間、ＣＧ画像、及び第三者を見た画像を説明する説明図である。

【図4】図３に示す状態で、オクルージョンを実行しなかった場合の画像を説明するための説明図である。

【図5】画像制御システムの動作の一例を示すフローチャートである。

【図6】表示端末で撮像された現実画像の一例を示す画像である。

【図7】ステップＳ５で生成された合成画像Ｇ２の一例を示す説明図である。

【図8】ステップＳ６で生成された合成画像Ｇ３の一例を示す説明図である。

【図9】ステップＳ７で生成された合成画像Ｇ４の一例を示す説明図である。

【発明を実施するための形態】

【0037】

以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。各図には、方向関係を明確にするために適宜ＸＹＺ直交座標軸を示している。図１は、本発明の一実施形態に係る画像制御システム１の構成の一例を示す概念図である。画像制御システム１は、建物２と、表示端末４と、制御部３とを備えている。

【0038】

建物２は、壁２１ａ，２１ｂ，２１ｃ、天井２２、及び床２３を有する特定空間２０を備えている。天井２２には、段差２２１が設けられている。壁２１ａ，２１ｃ、天井２２、及び床２３の一部を覆うように予め設定された特定模様６が付された内装を有している。天井２２の段差２２１、及び壁２１ｂの全面が特定模様６で覆われている。特定空間２０には、全面特定模様６で覆われた突起部２４が設けられている。突起部２４は、壁２１ａ，２１ｂ及び天井２２から張り出している。

【0039】

なお、画像制御システム１は、表示端末４を含んでいなくてもよく、建物２及び特定空間２０を含んでいなくてもよい。

【0040】

特定模様６で覆われた領域が、オクルージョンオフ領域５とされている。特定模様６は、オクルージョンオフ領域５内で付されている位置によって異なる模様とされている。特定模様６としては、例えば、ランダムドットパターンとして知られている模様やＱＲコード（登録商標）に類似したＡＲマーカー等、種々の模様を用いることができる。

【0041】

建物２の設計方法としては、壁と天井の表面のうち少なくとも一部の領域に、特定模様を付すように設計する方法を用いることができる。特定空間２０の内装の設計方法としては、特定空間２０の内面の少なくとも一部に、特定模様を付すように設計する方法を用いることができる。

【0042】

表示端末４は、カメラ４１とディスプレイ４２とを備えた端末装置である。表示端末４としては、いわゆるスマートフォン、ヘッドマウントディスプレイ等のカメラ付きＶＲゴーグル、いわゆるＡＲグラス等を用いることができる。表示端末４は、制御部３との間で通信可能とされている。表示端末４は、例えばＷｉＦｉ（登録商標）等の無線通信により制御部３と通信してもよく、移動体通信やインターネットを介して制御部３と通信してもよく、ケーブルを介して制御部３と有線通信してもよい。

【0043】

表示端末４は、カメラ４１で撮像された現実画像Ｇ１を制御部３へ送信し、制御部３からの指示に応じた画像をディスプレイ４２に表示する。

【0044】

制御部３は、例えばサーバ装置やゲーム機等のコンピュータを用いて構成することができる。あるいは、制御部３は、表示端末４に内蔵されていてもよい。

【0045】

制御部３は、例えば所定の演算処理を実行するＣＰＵ（Central Processing Unit）、データを一時的に記憶するＲＡＭ（Random Access Memory）、不揮発性の記憶装置、通信回路、及びこれらの周辺回路等から構成されている。制御部３は、例えば上述の記憶装置に記憶された画像制御プログラムを実行することによって動作する。

【0046】

制御部３は、表示端末４のカメラ４１で撮像された、特定空間２０の画像である現実画像Ｇ１に、所定のコンテンツ画像を重ねてディスプレイ４２に表示する。制御部３は、現実画像Ｇ１において特定模様６が付された領域をオクルージョンオフ領域５と判定し、オクルージョンオフ領域５とコンテンツ画像とを重ねる場合、オクルージョンを実行せず、現実画像Ｇ１におけるオクルージョンオフ領域５以外の領域とコンテンツ画像とを重ねる場合、オクルージョンを実行する。

【0047】

次に、画像制御システム１の動作について説明する前に、まず、本発明者の考える複合現実の利用シーンについて説明する。複合現実では、現実の空間内にユーザが存在する。そして、スマートフォンやヘッドマウントディスプレイ等の複合現実デバイスに対して、実際にカメラで撮像された現実画像にＣＧの画像を重ね合わせて表示する。ユーザは、複合現実デバイスを通して、言わば、ＣＧによって拡張された現実の空間を体験することになる。

【0048】

このとき、現実の空間サイズ、例えばユーザが居る部屋の大きさよりも大きなＣＧ画像を表示することができれば、ユーザに、現実の空間が拡がったような、空間の拡がりを感じさせることができると考えらえる。

【0049】

図２は、特定空間２０に三次元のＣＧ画像ＣＧ１，ＣＧ２を配置した場合の位置関係を説明するための概念的な説明図である。ＣＧ画像ＣＧ１は、特定空間２０よりも大きなキリンの三次元ＣＧ画像である。特定空間２０にＣＧ画像ＣＧ１を配置すると、図２に示すように、キリンの首が天井２２を突き抜ける。

【0050】

特定空間２０には、ＣＧ画像ＣＧ１の－Ｙ方向に、三次元の牛のＣＧ画像ＣＧ２が配置されている。ＣＧ画像ＣＧ２の－Ｘ方向には、現実の第三者Ｒ１が立っており、第三者Ｒ１の－Ｘ方向にユーザＵが立っている。ユーザＵは、表示端末４を用いて、ディスプレイ４２を介して特定空間２０を見ている。

【0051】

図３は、図２に示す状態で、ユーザＵが従来の表示端末を用いて特定空間２０、ＣＧ画像ＣＧ１，ＣＧ２、及び第三者Ｒ１を見た画像を説明する説明図である。この場合、特定空間２０の壁、天井、床、及び第三者Ｒ１は実際に撮影された現実画像となり、この現実画像にＣＧ画像ＣＧ１，ＣＧ２が重ね合わされる。

【0052】

そして、従来の表示端末の表示画像では、天井２２を突き抜けたキリンのＣＧ画像ＣＧ１の首は、オクルージョンによって天井２２の陰に隠れる。また、牛のＣＧ画像ＣＧ２は、第三者Ｒ１よりも奥に配置されているため、ＣＧ画像ＣＧ２の一部がオクルージョンによって第三者Ｒ１の陰に隠れる。

【0053】

このように、従来の表示端末を用いてオクルージョンを実行すると、特定空間２０よりも大きなＣＧ画像の全体を表示することはできない。

【0054】

図４は、図３に示す状態で、オクルージョンを実行しなかった場合の画像を説明するための説明図である。オクルージョンを実行しない場合、図３とは異なり、キリンのＣＧ画像ＣＧ１全体を表示することができる。一方、第三者Ｒ１よりも奥に配置されている牛のＣＧ画像ＣＧ２も全体が表示され、ＣＧ画像ＣＧ２よりも手前にいる第三者Ｒ１の現実画像がＣＧ画像ＣＧ２で覆い隠されてしまう。

【0055】

このように、第三者Ｒ１の現実画像がＣＧ画像ＣＧ２で覆い隠された状態で、ユーザＵが従来の表示端末を用いて特定空間２０を見ながら移動した場合、ユーザＵは第三者Ｒ１の存在に気付かずにぶつかってしまうおそれがある。従って、例えキリンのＣＧ画像ＣＧ１全体を表示することができたとしても、オクルージョンを実行しないことは好ましくない。

【0056】

以下、画像制御システム１の動作について説明する。図５は、画像制御システム１の動作の一例を示すフローチャートである。前提として、図１に示す特定空間２０に対し、図２に示す位置にユーザＵと第三者Ｒ１とが立っている場合を例に説明する。

【0057】

まず、図１に示す特定空間２０に対し、ユーザＵが表示端末４のカメラで撮影を行う。そうすると、表示端末４で撮像された現実画像Ｇ１が、制御部３によって取得される（ステップＳ１）。

【0058】

図６は、表示端末４で撮像された現実画像Ｇ１の一例を示す画像である。現実画像Ｇ１には、現実に存在する特定空間２０及び第三者Ｒ１の外観のみが写っている。

【0059】

次に、制御部３は、現実画像Ｇ１における特定模様６から、特定空間２０に対する表示端末４の相対位置を特定する（ステップＳ２）。特定模様６は、オクルージョンオフ領域５内で付されている位置によって異なる模様とされているから、現実画像Ｇ１内における特定模様６によって、現実画像Ｇ１を写した表示端末４の、特定空間２０に対する相対位置を特定することが可能となる。

【0060】

なお、表示端末４の、特定空間２０に対する相対位置を、特定模様６に基づいて特定する例に限らない。表示端末４の、特定空間２０に対する相対位置を特定する方法としては、公知の種々の方法を用いることができる。

【0061】

次に、制御部３は、ステップＳ２で特定された相対位置に基づいて、現実画像Ｇ１に対するＣＧ画像ＣＧ１，ＣＧ２の合成位置及び角度を決定する（ステップＳ３）。ＣＧ画像ＣＧ１，ＣＧ２は、コンテンツ画像の一例に相当する。なお、コンテンツ画像の一例として、キリンと牛を示したが、コンテンツ画像は特定の画像に限定されない。コンテンツ画像は、例えば星空や街の景色等であってもよい。

【0062】

次に、制御部３は、現実画像Ｇ１において特定模様６が付された領域をオクルージョンオフ領域５と判定する（ステップＳ４）。

【0063】

次に、制御部３は、オクルージョンオフ領域５とコンテンツ画像とを重ねる場合、オクルージョンを実行せず、現実画像Ｇ１におけるオクルージョンオフ領域５以外の領域とコンテンツ画像とを重ねる場合、オクルージョンを実行して合成画像Ｇ２を生成する（ステップＳ５）。ステップＳ５において、制御部３は、ステップＳ３で決定された合成位置及び角度に基づいて、コンテンツ画像であるＣＧ画像ＣＧ１，ＣＧ２を、現実画像Ｇ１に合成して合成画像Ｇ２を生成する。

【0064】

図７は、ステップＳ５で生成された合成画像Ｇ２の一例を示す説明図である。キリンのＣＧ画像ＣＧ１は、特定模様６で覆われたオクルージョンオフ領域５と重ね合わされる。そのため、ステップＳ７において、オクルージョンが実行されず、キリンのＣＧ画像ＣＧ１は特定空間２０よりも大きいにもかかわらず、図３とは異なりＣＧ画像ＣＧ１の全体が表示される。

【0065】

このように、現実の空間サイズよりも大きなＣＧ画像ＣＧ１が表示される合成画像Ｇ２によれば、表示端末４を用いるユーザＵに対し、現実の空間が拡がったような、空間の拡がりを感じさせることが可能となる。

【0066】

一方、牛のＣＧ画像ＣＧ２は、第三者Ｒ１の現実の画像と重ね合わされる。第三者Ｒ１の画像には特定模様６が付されていないから、ステップＳ５において、第三者Ｒ１はオクルージョンオフ領域５以外の領域となる。従って、オクルージョンオフ領域５以外の領域である第三者Ｒ１の画像と牛のＣＧ画像ＣＧ２は、オクルージョンを実行して重ね合わされる。その結果、第三者Ｒ１の画像が牛のＣＧ画像ＣＧ２に覆い隠されることがなく、ユーザＵが表示端末４を用いて特定空間２０を見ながら移動した場合であっても、図４と異なりユーザＵが第三者Ｒ１の存在に気付かずにぶつかってしまうおそれが低減される。

【0067】

次に、制御部３は、合成画像Ｇ２の現実画像Ｇ１部分から特定模様６を消去して合成画像Ｇ３を生成する（ステップＳ６）。図８は、ステップＳ６で生成された合成画像Ｇ３の一例を示す説明図である。

【0068】

画像制御システム１では、壁２１ａ，２１ｂ，２１ｃ、天井２２、床２３、及び突起部２４に付された特定模様６によって、屋内空間より大きなコンテンツ画像であるＣＧ画像ＣＧ１の表示と、ユーザＵが第三者Ｒ１等にぶつかってしまうおそれの低減とを両立している。しかしながら、特定模様６は、ユーザＵにとって不要な模様である。そこで、合成画像Ｇ２から特定模様６を消去することによって、ユーザＵにとって見やすい合成画像Ｇ３を生成することができる。

【0069】

次に、制御部３は、合成画像Ｇ３の現実画像Ｇ１部分から、特定空間２０の角に対応する線である角線Ｌを消去して合成画像Ｇ４を生成する（ステップＳ７）。図９は、ステップＳ７で生成された合成画像Ｇ４の一例を示す説明図である。

【0070】

図８に示す合成画像Ｇ３では、屋内空間より大きなＣＧ画像ＣＧ１を表示できるものの、段差２２１よりも奥にいるはずのキリンの首が段差２２１の手前に表示され、遠近のつじつまが合わず、空間がゆがんだような違和感が生じる。そこで、合成画像Ｇ３から角線Ｌを消去することによって、図９に示す合成画像Ｇ４のように、空間のゆがみを感じることが無くなり、違和感を低減することができる。

【0071】

次に、制御部３は、表示端末４のディスプレイ４２に合成画像Ｇ４を表示する（ステップＳ８）。これにより、ユーザＵは、表示端末４を介して特定空間２０を見ることによって、違和感なく特定空間２０が拡張されてＣＧ画像ＣＧ１が表示された複合現実感を体感することができ、かつユーザＵが第三者Ｒ１等にぶつかってしまうおそれを低減することができる。

【0072】

なお、制御部３は、ステップＳ７を実行することなくステップＳ８で合成画像Ｇ３を表示してもよく、ステップＳ６，Ｓ７を実行することなくステップＳ８で合成画像Ｇ２を表示してもよい。また、制御部３は、ステップＳ６を実行することなくステップＳ７で合成画像Ｇ２を処理対象としてもよい。

【0073】

また、特定模様６は、必ずしもオクルージョンオフ領域５内で付されている位置によって異なる模様でなくてもよく、制御部３はステップＳ２，Ｓ３を実行しなくてもよい。

【0074】

また、特定空間２０には特定模様６が付されていなくてもよく、制御部３はステップＳ２～Ｓ４，Ｓ６を実行せず、ステップＳ５において、オクルージョンを常時実行せずに現実画像Ｇ１とコンテンツ画像とを重ねてもよい。ステップＳ５において常時オクルージョンを実行しない場合であっても、ステップＳ７において角線Ｌを消去することによって、屋内空間より大きなコンテンツ画像を表示しつつ、空間がゆがんでいるような違和感を低減することができる。

【0075】

また、特定空間２０の内面が無地であり、制御部３はステップＳ２～Ｓ４，Ｓ６を実行せず、ステップＳ５において、常時オクルージョンを実行せずに現実画像Ｇ１とコンテンツ画像とを重ねて合成画像Ｇ２とし、ステップＳ７で合成画像Ｇ２を処理対象としてもよい。あるいは、ステップＳ７を実行せず、ステップＳ８で合成画像Ｇ２を表示してもよい。

【0076】

ステップＳ５において常時オクルージョンを実行しない場合であっても、特定空間２０の内面が無地であれば、ユーザＵはディスプレイ４２に表示された合成画像Ｇ４から遠近感を感じにくくなるため、屋内空間より大きなコンテンツ画像を表示しつつ、空間がゆがんでいるような違和感を低減することができる。

【符号の説明】

【0077】

１ 画像制御システム
２ 建物
３ 制御部
４ 表示端末
５ オクルージョンオフ領域
６ 特定模様
２０ 特定空間
２１ａ，２１ｂ，２１ｃ 壁
２２ 天井
２３ 床
２４ 突起部
４１ カメラ
４２ ディスプレイ
２２１ 段差
ＣＧ１，ＣＧ２ ＣＧ画像（コンテンツ画像）
Ｇ１ 現実画像
Ｇ２，Ｇ３，Ｇ４ 合成画像
Ｌ 角線
Ｒ１ 第三者
Ｕ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】