特許 7667617 空中ディスプレイシステム及び空中結像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-04-15

(45)【発行日】2025-04-23

(54)【発明の名称】空中ディスプレイシステム及び空中結像方法

(51)【国際特許分類】

   G02B 30/56 20200101AFI20250416BHJP

【ＦＩ】

G02B30/56

【請求項の数】 7

(21)【出願番号】P 2025009402

(22)【出願日】2025-01-22

【審査請求日】2025-01-23

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）展示日 ２０２４年１月２７日から現在に至る （２）展示会名、開催場所 森ビル デジタルアート ミュージアム エプソン チームラボボーダレス（東京都港区麻布台１－２－４） （３）公開者 チームラボ株式会社 （４）出品内容 チームラボ株式会社が、上記「森ビル デジタルアート ミュージアム エプソン チームラボボーダレス」にて、猪子寿之及び下山佳介が発明した空中ディスプレイシステムを展示した。

【早期審査対象出願】

(73)【特許権者】

【識別番号】501041894

【氏名又は名称】チームラボ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(74)【代理人】

【識別番号】100219933

【弁理士】

【氏名又は名称】元川 信輔

(72)【発明者】

【氏名】猪子 寿之

(72)【発明者】

【氏名】下山 佳介

【審査官】植田 裕美子

(56)【参考文献】

【文献】特開２０１７－１４２３７０（ＪＰ，Ａ）

【文献】国際公開第２０２４／２５７５８６（ＷＯ，Ａ１）

【文献】米国特許第０５２５７１３０（ＵＳ，Ａ）

【文献】特開２０２３－１８００５３（ＪＰ，Ａ）

【文献】特開２０１３－１９７９３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ３０／００－３０／６０

Ｈ０４Ｎ １３／３０２－１３／３２２

(57)【特許請求の範囲】

【請求項1】

映像を表示する表示装置と、
前記表示装置から入射した第１の映像光を屈折して空中で結像させる空中結像部材と、
前記空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成された壁と、
前記壁の前記開口以外の部位に対して第２の映像光を投影する投影装置を備え、
前記第１の映像光の少なくとも一部は前記壁の開口を通過し、
前記投影装置は、前記壁を境として、前記表示装置及び前記空中結像部材と同じ側に配置され、
前記壁のうち、前記第２の映像光が投影される部位の少なくとも一部は前記第２の映像光を少なくとも部分的に透過する
空中ディスプレイシステム。

【請求項2】

前記壁は、上壁部と下壁部を有し、前記上壁部と前記下壁部の間に前記開口が形成されている
請求項１に記載の空中ディスプレイシステム。

【請求項3】

映像を表示する表示装置と、
前記表示装置から入射した映像光を屈折して空中で結像させる空中結像部材と、
前記空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成された壁を備え、
前記映像光の少なくとも一部は前記壁の開口を通過し、
前記壁は、前記開口の周縁の少なくとも一部の縁の角度が、前記壁の厚さ方向からみて鋭角に成形されている
空中ディスプレイシステム。

【請求項4】

前記空中結像部材の結像面の前後の所定範囲内の物体の有無又は位置を検出する検出装置と、
前記検出装置の検出結果に応じて前記表示装置が表示する映像を制御する制御装置をさらに備える
請求項１に記載の空中ディスプレイシステム。

【請求項5】

前記空中結像部材は、
第１の反射面群と、
前記第１の反射面群に対して実質的に直交する方向に反射面を有する第２の反射面群を含み、
前記表示装置から入射した前記映像光を前記第１の反射面群及び前記第２の反射面群で順次反射させることにより空中結像を形成するように構成されている
請求項１に記載の空中ディスプレイシステム。

【請求項6】

表示装置が映像を表示する工程と、
空中結像部材が前記表示装置から入射した第１の映像光を屈折して空中で結像させる工程と、
前記空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成された壁が設けられており、投影装置が前記壁の前記開口以外の部位に対して第２の映像光を投影する工程を含み、
前記第１の映像光の少なくとも一部は前記壁の開口を通過し、
前記投影装置は、前記壁を境として、前記表示装置及び前記空中結像部材と同じ側に配置されており、
前記壁のうち、前記第２の映像光が投影される部位の少なくとも一部は前記第２の映像光を少なくとも部分的に透過する
空中結像方法。

【請求項7】

表示装置が映像を表示する工程と、
空中結像部材が前記表示装置から入射した映像光を屈折して空中で結像させる工程を含み、
前記空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成された壁が設けられており、
前記映像光の少なくとも一部は前記壁の開口を通過し、
前記壁は、前記開口の周縁の少なくとも一部の縁の角度が、前記壁の厚さ方向からみて鋭角に成形されている
空中結像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置によって表示されている映像の実像を空中に結像させるシステムやその方法に関する。

【背景技術】

【0002】

従来から、表示装置によって表示されている映像の実像を空中に結像させる光学素子が知られている。このような空中結像光学素子の一例として、例えば特許文献１には２面直交リフレクター方式の光学素子が開示されている。この方式では、直交配置された２つの反射面アレイを用い、入射した映像光を互いに直交する方向に順次反射させることにより、空中に映像の実像を形成することができる。このような空中結像光学素子を用いることで、高い光利用効率で明るく鮮明な実像を得ることができるとされている。

【先行技術文献】

【非特許文献】

【0003】

【文献】特許第５８５６３５７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１の空中結像光学素子は、非接触方式の入力装置に利用されることが想定されており、ユーザの手元付近の空間にアイコン画像の実像を結像させて、ユーザが指やタッチペン等でその実像を指示したことを検知することで、表示装置に物理的に接触しなくても信号入力ができるように構成されている。この場合、ユーザは手元付近の比較的近い範囲に目視すれば済むため、その画像の結像面に目の焦点を合わせやすく、結果としてその画像はユーザによって鮮明に視認されやすくなっている。

【0005】

一方で、比較的大型の映像作品や屋外又は店頭などに設置されるサイネージシステムにこのような空中結像光学素子を転用することを考えると、比較的広い展示空間に映像の実像を結像させることが必要となる。この場合、空間に結像された実像を観察者に鮮明に視認させるためには、広い展示空間の中でその観察者に結像面付近まで歩み寄ってもらい、かつ、その観察者に結像面に目の焦点を合わせてもらうという行動を強いることとなる。つまり、実像の結像面から離れた位置に立つ観察者にはその実像が不鮮明に見えることになり、また実像の結像面付近に立つ観察者であっても実像の結像面と目の焦点が合わないとやはりその実像は不鮮明に見えることになる。このように、例えば比較的広い展示空間に映像の実像が結像される場合のように、観察者が実像の結像位置を直感的に把握しづらい状況下においては、映像作品の美的効果やサイネージシステムの広告効果は低下することが懸念される。

【0006】

そこで、本発明は、観察者が実像の結像位置を直感的に把握しづらい環境であっても、観察者にその実像を鮮明に視認させやすくすることを主な目的とする。

【課題を解決するための手段】

【0007】

そこで、本発明の発明者は、上記の従来技術の課題を解決する手段について鋭意検討した結果、空中結像部材による実像の結像面付近に物理的な壁を設け、その結像面付近において壁に開口を形成しておくことで、観察者の視野内に壁と結像面が同時に入るようになることから、観察者が実像の結像位置を直感的に把握しやすくなるという知見を得た。そして、本発明者は、このような知見に基づけば従来技術の課題を解決できることに想到し、本発明を完成させた。具体的に説明すると、本発明は以下の構成又は工程を有する。

【0008】

本発明の第１の側面は、空中ディスプレイシステムに関する。空中ディスプレイシステムは、表示装置、空中結像部材、及び壁を備える。表示装置は、映像を表示する。なお、本願明細書において「映像」とは、動画及び静止画の両方又はいずれか一方を含む。空中結像部材は、表示装置から入射した映像光を屈折して空中で結像させる。空中結像部材としては、空中に実像を結像できる光学素子であれば公知の方式のものを採用できる。空中結像部材としては、前述した２面直交リフレクター方式（特許文献１）の他、例えばハーフミラーと再帰反射シートを組み合わせた再帰反射方式や、凹面鏡とハーフミラーの組み合わせた凹面鏡方式や、マイクロレンズアレイを使用したレンズアレイ方式のものを採用できる。壁は、空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成されている。この壁は、展示空間を観察者側と表示装置側とで仕切るように構成されている。なお、結像面の前後３００ｍｍの範囲内は、人間の明視距離（人間の目が楽にピントを合わせられる距離）を考慮して設定されたものである。結像面の前後３００ｍｍの範囲内とは、結像面に対して垂直な映像光の光軸に対して、結像面の後方３００ｍｍの位置から結像面前方３００ｍｍの位置までの長さ合計６００ｍｍの範囲である。そして、空中ディスプレイシステムは、表示装置から出射された映像光の少なくとも一部が壁の開口を通過するように構成されている。なお、開口の形状は、四角形状に限らず、円形や楕円形、三角形、五角形又はそれ以上の多角形とすることもできる。

【0009】

上記構成のように、空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成された壁を設けることで、観察者の目の焦点が自然と壁又はその開口に合うようになる。そして、観察者が開口に焦点を合わせた状態でその開口を通して空中結像を見ることになるため、結像面の位置を直感的に把握しやすくなり、結果として空中結像を鮮明に視認することができる。また、壁は展示空間を区切る基準として機能するため、観察者は壁があることによって空間の奥行きをより正確に把握できるようになり、これによっても空中結像の視認性が向上する。

【0010】

本発明に係る空中ディスプレイシステムにおいて、壁は上壁部と下壁部を有し、上壁部と下壁部の間に開口が形成されていることが好ましい。このように上壁部と下壁部の間に開口を形成することで、観察者からは上下に分かれた壁の間（開口）に空中結像が浮かび上がって見えることとなり、壁の存在によって生じる空中結像の視認性向上効果をより効果的に発揮させることができる。また、人間の視野は横方向（約２００度）に比べて上下方向（約１２０度）の方が狭く、上下方向の方が空間認識の手がかりを必要とする。そのため、上下方向に壁を設けることで、観察者は空間の広がりをより正確に把握でき、その空間の中に位置する空中結像の存在感をより一層際立たせることができる。

【0011】

本発明に係る空中ディスプレイシステムは、投影装置をさらに備える。投影装置は、壁の開口以外の部位に対して映像を投影する。なお、投影装置は、壁の表面側（つまり観察者側）に対して映像を投影するように配置されていてもよいし、壁の裏面側（つまり表示装置側）に対して映像を投影するように配置されていてもよい。このように壁の開口以外の部位に映像を投影することで、空中結像と壁面投影映像とを一体的につなげた映像表現が可能となる。例えば、開口を通して見える空中結像に連続するように壁面に映像を投影することで、映像の一部があたかも壁から飛び出して浮かんでいるような視覚効果を演出できる。また、例えば開口を通して見える空中結像の周囲に関連する映像を投影することで、空中結像があたかも壁から浮かび上がってきているかのような視覚効果を演出できる。さらに、例えば空中結像と壁面投影映像との間で映像の動きを連動させることで、映像の一部が壁から立体的に浮き出してくるような動的な演出も実現できる。このように、投影装置を追加することで、空中結像と壁面投影映像との境界を意識させない連続的な映像表現が可能となり、空中ディスプレイシステムの演出の幅が大きく広がるとともに、壁の存在をより効果的に活用することができる。

【0012】

本発明に係る空中ディスプレイシステムにおいて、投影装置は、壁を境として、表示装置及び空中結像部材と同じ側（つまり壁の裏面側）に配置されていることが好ましい。この場合、壁のうち、投影装置から映像光が投影される部位の少なくとも一部は当該映像光を少なくとも部分的に透過するように構成されている。例えば、投影装置から映像光が投影される壁の部位は、透明、半透明、又は網目状とすると良い。このように、投影装置を表示装置や空中結像部材と同じ側に配置することで、システム全体を壁の裏面側に一体的に設置することができる。これにより、観察者側には映像を楽しむための空間のみを提供することができ、装置類が観察者の目に入ることがない。また、投影装置を壁の裏面側に配置し、壁の一部を映像光が透過可能な構成とすることで、投影装置から投影された映像が壁の表面に柔らかく表示され、空中結像との違和感のない一体的な映像表現を実現できる。さらに、壁の透過率を調整することで、空中結像と壁面投影映像のバランスを最適化することができ、より自然な映像の連続性を実現できる。

【0013】

本発明に係る空中ディスプレイシステムにおいて、壁は、開口の周縁の少なくとも一部が鋭角に成形されていることが好ましい。このように壁の開口の周縁を鋭角に成形することで、開口の境界をより目立ちにくくすることができる。すなわち、開口の周縁が厚みをもって直角に切り立っている場合に比べて、鋭角に成形された周縁では壁の存在感が低減され、空中結像と周囲の空間との境界がより自然になる。特に、開口の周縁部分に映像を投影する場合、鋭角に成形された部分では映像が徐々に暗くなっていくため、空中結像と壁面との境界に段差的な見え方が生じることを抑制できる。これにより、空中結像が浮かんでいる空間と壁面との間の視覚的な連続性がより向上し、一体的な映像表現の効果を高めることができる。

【0014】

本発明に係る空中ディスプレイシステムは、検出装置と制御装置をさらに備えることが好ましい。検出装置は、空中結像部材の結像面の前後の所定範囲内の物体の有無又は位置を検出する。検出装置の例は、赤外線センサ、三次元センサ、深度センサ、ステレオカメラ、ＴｏＦカメラ、及び超音波センサである。また、制御装置は、検出装置の検出結果に応じて表示装置が表示する映像を制御する。このように検出装置と制御装置を備えることで、観察者の動作に応じてインタラクティブに映像を変化させることができる。例えば、観察者が空中結像に手を伸ばすと、その動作に応じて空中結像が変化したり、空中結像と壁面投影映像が連動して変化したりするような演出が可能となる。なお、結像面の前後の所定範囲内としては、例えば結像面の前後５００ｍｍ以内の範囲から選択すればよい。この検出範囲は、人が自然に手を伸ばして空中結像に触れようとする動作範囲に相当するため、観察者は無理なく直感的な動作で空中結像とインタラクションすることができる。これにより、観察者の自然な動作を検出して映像を制御することで、より魅力的でインタラクティブな映像表現を実現することができる。

【0015】

本発明に係る空中ディスプレイシステムにおいて、空中結像部材は、２面直交リフレクター方式とすることが好ましい。このような方式の空中結像部材は、第１の反射面群と、この第１の反射面群に対して実質的に直交する方向に反射面を有する第２の反射面群を含む。実質的に直交するとは８５～９５度の範囲である。そして、空中結像部材は、表示装置から入射した映像光を第１の反射面群及び第２の反射面群で順次反射させることにより空中結像を形成するように構成されている。このように２面直交リフレクター方式を採用することで、高い光利用効率で明るく鮮明な空中結像を形成することができる。また、この方式は、他の方式（例えば再帰反射方式や凹面鏡方式）と比較してコンパクトな構成で実現できるため、システム全体の設置の自由度を高めることができる。

【0016】

本発明の第２の側面は、空中結像方法に関する。本発明に係る空中結像方法では、表示装置が映像を表示する（表示工程）。また、空中結像部材が表示装置から入射した映像光を屈折して空中で結像させる工程（結像工程）。ここで、空中結像部材の結像面の前後３００ｍｍの範囲内に開口が形成された壁が設けられており、映像光の少なくとも一部は壁の開口を通過する。

【発明の効果】

【0017】

本発明によれば、例えば比較的広い展示空間のように観察者が実像の結像位置を直感的に把握しづらい環境であっても、観察者にその実像を鮮明に視認させやすくすることができる。

【図面の簡単な説明】

【0018】

【図1】図１は、本発明の一実施形態に係る空中ディスプレイシステムの全体構成を模式的に示した側面図である。

【図2】図１に示す空中ディスプレイシステムの正面図であり、壁面への映像投影と空中結像の様子を模式的に示す。

【図3】本発明の一実施形態に係る空中ディスプレイシステムの制御系の機能構成を示すブロック図である。

【図4】映像コンテンツの分割態様を示す図であり、（ａ）は映像コンテンツ全体、（ｂ）は投影装置から出力される映像、（ｃ）は表示装置から出力される映像をそれぞれ示している。

【発明を実施するための形態】

【0019】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0020】

図１は、本発明の一実施形態に係る空中ディスプレイシステム１００の全体構成を示している。図２は、本実施形態に係る空中ディスプレイシステム１００を正面視した様子を模式的に示している。さらに、図３は、本実施形態に係る空中ディスプレイシステム１００の主に制御系の機能構成を示すものである。図１に示すように、本実施形態に係る空中ディスプレイシステム１００は、主に空中ディスプレイ装置１０、壁２０、及び投影装置３０、検出装置４０を備えている。また、図３に示すように、空中ディスプレイシステム１００は、制御装置５０をさらに備えており、この制御装置５０によって空中ディスプレイ装置１０、投影装置３０、及び検出装置４０を制御する。

【0021】

例えば図１及び図２に示すように、本実施形態に係る空中ディスプレイシステム１００は、床面から天井までの高さが一般的な成人（１４００～２０００ｍｍ）の背丈を超える展示空間に実装することを想定している。空中ディスプレイシステム１００は、このような展示空間において、立位姿勢にある観察者の目線の先に映像の実像を空中で結像させ、このように空中で結像した実像を観察者に視認させる。また、このシステムでは、壁２０に映像を投影して、この投影された映像を空中で結像した実像とともに観察者に視認させる。床面から天井までの高さは特に制限されないが、例えば２０００ｍｍ以上であることが好ましく、特に２５００～４０００ｍｍとすることが好ましい。また、展示空間の横幅、特に壁２０の横幅は１０００ｍｍ以上であることが好ましく、１５００～４５００ｍｍであることが好ましい。本実施形態に係る空中ディスプレイシステム１００は、例えば美術館やショールーム等の展示施設、又は商業施設等における映像作品の展示や広告表示などに好適に用いることができる。観察者から見て、壁２０に投影された映像と開口２１を通して視認される空中結像とが一体となって見えるため、映像全体に奥行き感のある立体的な表現を実現できる。また、観察者は壁２０の前方であれば自由に移動しながら映像を楽しむことができ、複数の観察者が同時に観察することも可能である。なお、観察者の適切な観察位置は、壁２０の前方５００～３０００ｍｍの範囲内であることが好ましい。

【0022】

空中ディスプレイ装置１０は、展示空間内の空中において映像の実像を結像させるための装置である。空中ディスプレイ装置１０は、主に表示装置１１、空中結像部材１２、及び支持具１３を備える。表示装置１１は映像を表示することで映像光を出力し、空中結像部材１２はその映像光を用いて空中に実像を形成する。支持具１３は、空中結像部材１２を所定の位置及び姿勢に保持する。これらの構成要素は、後述する壁２０の裏面側にまとめて配置される。

【0023】

表示装置１１は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的なディスプレイを用いればよい。本実施形態において、表示装置１１は床面に沿って配置され、上方（天井側）に向かって映像光を出力する。なお、表示装置１１の配置はこれに限られず、例えば天井面に取り付けたり、ミラーなどの光学素子を用いて映像光の光路を折り曲げることで側壁に立てかけて取り付けたりすることも可能である。前述のとおり、本実施形態では、比較的広い展示空間に映像を結像させることを想定しているため、表示装置１１も大型のディスプレイを採用することが好ましい。空中結像の大きさは表示装置１１の表示サイズに依存するため、例えば表示装置１１は、表示画面の対角線の長さが４０インチ以上であることが好ましく、５０～８０インチであることが特に好ましい。また、表示装置１１はディスプレイ一台に限らず、複数台のディスプレイを繋げて設置した構成となっていてもよい。

【0024】

空中結像部材１２は、表示装置１１から入射した映像光を屈折して空中で実像を結像させる光学部材である。空中結像部材１２としては、空中に実像を結像できる光学素子であれば公知の方式のものを採用でき、例えば２面直交リフレクター方式、再帰反射方式、凹面鏡方式、又はレンズアレイ方式などを用いることができる。２面直交リフレクター方式は、第１の反射面群と、この第１の反射面群に対して実質的に直交する方向（実質的に直交するとは、８５～９５度の範囲を意味する）に反射面を有する第２の反射面群とを含む。そして、この方式では、表示装置１１から入射した映像光を第１の反射面群及び第２の反射面群で順次反射させることにより空中に実像を形成する。このような２面直交リフレクター方式は、高い光利用効率で明るく鮮明な実像を形成できるという利点を有する。また、再帰反射方式は、ハーフミラーと再帰反射シートとを組み合わせた構成を有し、ハーフミラーで反射した映像光を再帰反射シートによって入射方向に戻すことで実像を形成する。この方式は、構造がシンプルであり、製造が容易であるという利点を有する。凹面鏡方式は、凹面鏡とハーフミラーとを組み合わせた構成を有し、凹面鏡によって集光された映像光がハーフミラーを介して実像を形成する。この方式は、大きな実像を形成できるという利点を有する。レンズアレイ方式は、複数のマイクロレンズを規則的に配列した構成を有し、各マイクロレンズによって映像光を集光させることで実像を形成する。この方式は、薄型化が容易であるという利点を有する。特に２面直交リフレクター方式は、高い光利用効率で明るく鮮明な実像を形成できるという利点を有し、また他の方式と比較してコンパクトな構成で実現できるため、本実施形態ではこの方式を採用することが好ましい。

【0025】

また、空中結像部材１２は、薄型の板状であることが好ましく、その厚さは例えば１０～５０ｍｍ程度とすることができる。また、空中結像部材１２の平面サイズは、表示装置１１の表示画面サイズと同程度かそれ以上とすることが好ましい。具体的には、表示装置１１の表示画面サイズ、表示装置１１と空中結像部材１２との距離、及び空中結像部材１２の傾斜角度に基づいて決定される。例えば、表示装置１１の表示画面が５０インチの場合、空中結像部材１２は対角線の長さが６０インチ以上であることが好ましい。また、本実施形態において、空中結像部材１２は支持具１３によって、床面に対して約４５度の角度で傾斜して設置されている。この傾斜角度は、表示装置１１から出射された映像光を適切な位置で結像させるために設定されたものであり、３０～５０度の範囲で適宜調整可能である。なお、図１に示すように、空中結像部材１２の傾斜角度は、床面から立ち上がる方向に向かって徐々に後方（観察者と反対側）に傾く向きとなっている。

【0026】

また、図１に示すように、表示装置１１から出力された映像光は、拡散しながら空中結像部材１２に入射する。そして、空中結像部材１２は、表示装置１１から入射した映像光を所定の角度で屈折させることにより、空中に実像を結像する。ここで、空中結像部材１２に対する映像光の入射角と出射角は等しくなる。図１に示す例では、表示装置１１から垂直に出射された映像光の屈折角が９０度となるように空中結像部材１２が配置されている。すなわち、このような表示装置１１から垂直に進む映像光は空中結像部材１２に対して４５度の角度で入射し、入射角と等しい４５度の角度で出射する。このように、表示装置１１から拡散しながら出射されたすべての映像光は、空中結像部材１２によって屈折された後、同一の平面上に収束して実像を結像する。この各映像光の結像点が並ぶ平面を本願明細書では「結像面」といい、図１では符号Ｐの点線で示している。また、空中結像部材１２に映像光が入射する位置から表示装置１１の表示面までの距離（入射光路長Ｌ_ｉ）と、空中結像部材１２から映像光が出射する位置から結像面Ｐまでの距離（出射光路長Ｌ_ｏ）は等しくなる。このように入射光路長Ｌ_ｉと出射光路長Ｌ_ｏとが等しくなることから、結像面Ｐにおいて表示装置１１の表示面と同じサイズの実像が形成されることになる。そして、このように結像された実像は、あたかも結像面Ｐの位置に表示装置１１の表示面が存在するかのように観察者に視認される。

【0027】

なお、空中結像部材１２は、光の透過率の高い材質で形成されることが好ましく、例えばアクリル樹脂やガラスなどを用いることができる。特に、アクリル樹脂は加工性に優れ、かつ十分な透過率（９０％以上）を有することから好適である。また、２面直交リフレクター方式の空中結像部材１２である場合、その部材に含まれる反射面群は、アルミニウムなどの金属薄膜を蒸着することにより形成することができる。反射面群は、互いの面が直交するように（誤差±５度以内）高精度に形成される必要がある。

【0028】

支持具１３は、空中結像部材１２を所定の位置及び姿勢に保持するための部材である。支持具１３は、空中結像部材１２との相対位置を正確に調整できるよう、各種の調整機構を有することしてもよい。例えば、支持具１３には、空中結像部材１２の高さを調整する高さ調整機構、前後位置を調整する位置調整機構、及び傾斜角度を調整する角度調整機構を備えることができる。これらの調整機構により、例えば表示装置１１に表示された位置合わせ用マーカーを用いて、空中結像部材１２の位置及び姿勢を最適な状態に微調整することができる。なお、支持具１３は、展示空間の床面や側壁に固定可能な固定部を有し、空中結像部材１２を安定して保持できる構造となっている。

【0029】

壁２０は、展示空間を空中ディスプレイ装置１０の設置空間と観察者の立入空間とを仕切るように構築されている。本実施形態では、壁２０は、空中ディスプレイ装置１０によって結像される実像を観察者に視認しやすくさせるという役割を担う。加えて、壁２０は、投影装置３０によって映像が投影されるスクリーンとしての役割をも担う。このように空中ディスプレイ装置１０による空中結像と投影装置３０による壁面投影映像とを組み合わせることで、様々な映像演出を実現することができる。

【0030】

図１及び図２に示すように、本実施形態において、壁２０は、主に上壁部２２と下壁部２３とによって構成され、これらの間に開口２１が形成されている。空中ディスプレイ装置１０の表示装置１１によって出力された映像光は、空中結像部材１２により屈折し、壁２０の開口２１を通って観察者に届く。このときに、空中結像部材１２の結像面Ｐが壁２０の開口２１付近に形成されるように、空中ディスプレイ装置１０と壁２０の各配置が調整されている。具体的には、図１に示すように、上壁部２２と下壁部２３とが床面に対して垂直に一直線上に並ぶように構成されており、空中結像部材１２の結像面Ｐは、これらの上壁部２２と下壁部２３とを繋ぐ直線上に一致するように形成されることが最も好ましい。つまり、結像面Ｐは、上壁部２２と下壁部２３の間に形成された開口２１内において、上壁部２２と下壁部２３の延長線上に形成されていると良い。また、上壁部２２と下壁部２３には厚みがあるため、これらの上下の壁の厚みの範囲を開口２１の厚みととらえ、この開口２１の厚み範囲内に結像面Ｐを形成するように設計することとしてもよい。このように、結像面Ｐを上壁部２２と下壁部２３の間の開口２１内に形成することで、観察者から見て、壁２０までの距離と結像面Ｐまでの距離が一致することになる。また、観察者の視野には壁２０と結像面Ｐとが同時に入りこむ。これにより、観察者は、壁２０を頼りにして結像点Ｐを直感的に把握しやすくなるため、結像面Ｐに現れる映像の実像を鮮明に視認しやすくなる。

【0031】

上記のとおり、壁２０の開口２１内（上壁部２２と下壁部２３の延長線上）に結像面Ｐが形成されていることが最も好ましいが、厳密に結像面Ｐの位置を調整することは困難であるため、結像面Ｐと壁２０の開口２１の間に距離が存在していてもよい。具体的には、結像面Ｐに対して垂直に進む映像光の光軸を基準として、結像面Ｐの前後３００ｍｍの範囲内に開口２１（上壁部２２と下壁部２３の延長線）が存在していればよい。つまり、結像面Ｐの前後３００ｍｍの範囲内とは、結像面Ｐに対して垂直な映像光の光軸に対して、結像面の後方３００ｍｍの位置から結像面前方３００ｍｍの位置までの長さ合計６００ｍｍの範囲を意味する。このように、結像面Ｐは、開口２１の前後に３００ｍｍの範囲でずれていることも許容される。この数値範囲は、人間の視覚特性を考慮して定められたものである。すなわち、人間の目には明視距離と呼ばれる、目の疲労が最も少なく、最も楽に物体に対して焦点（ピント）を合わせることができる距離が存在する。この明視距離は一般的に約２５０ｍｍ～３００ｍｍであることが知られており、この距離範囲では焦点調節の負担が少なく、かつ両眼視差による立体視も効果的に機能する。また、この距離範囲であれば、人間は空間を直感的に把握しやすい。そのため、結像面Ｐの前後３００ｍｍの範囲内に開口２１を形成することで、壁２０を見た観察者の目の焦点が自然と開口２１に合い、その結果、開口２１内又はその付近の結像面Ｐに結像している実像も観察者によって鮮明に視認されやすくなる。ただし、このような結像面Ｐと開口２１の間の距離はより近いことが好ましく、０～２５０ｍｍ又は０～２００ｍｍであることがより好ましく、０～１５０ｍｍ又は０～１００ｍｍであることが特に好ましい。

【0032】

また、壁の開口２１の上下方向高さ（上壁部２２の下端から下壁部２３の上端までの直線距離）は、表示装置１１のサイズ（結像面Ｐのサイズ）に応じて適宜設定することができる。例えば、開口２１の高さは、表示装置１１の表示画面の縦幅と一致させることとしてもよいし、表示画面の縦幅よりも若干小さくすることとしてもよい。具体的な数値としては、壁の開口２１の高さは、例えば３００～１０００ｍｍ程度とすることができる。また、開口２１の左右方向の幅（左右方向の長さ）も、表示装置１１のサイズ（空中結像のサイズ）に応じて適宜設定することができる。例えば、開口２１の幅は、表示装置１１の表示画面の横幅と一致させることとしてもよいし、表示画面の縦幅よりも若干小さくすることとしてもよい。このように、壁の開口２１は、表示装置１１のサイズに設計される。そして、壁の開口２１と結像面Ｐのサイズは実質的に同じであり、開口２１と結像面Ｐと過不足なく重なっていることが好ましい。ただし、例えば結像面Ｐが開口２１よりも大きく結像面Ｐが開口２１に対して部分的に重なっていてもよいし、結像面Ｐが開口２１よりも小さく結像面Ｐと開口２１の周縁との間に隙間が形成されている部分があってもよい。

【0033】

また、壁２０における開口２１の周縁部、つまり上壁部２２の下端部と下壁部２３の上端部は、図１の拡大図に示すように、鋭角θに成形されていることが好ましい。具体的には、開口２１の周縁部の角度θは８０度以下であることが好ましく、６０度以下又は４５度以下であることが好ましい。なお、角度θの下限値は特に制限されないが、例えば１０度以上又は２０度以上とすればよい。このように開口２１の周縁部を鋭角に成形することで、開口２１の境界をより目立ちにくくすることができる。すなわち、開口２１の周縁が厚みをもって直角に切り立っている場合に比べて、鋭角に成形された周縁では壁２０の存在感が低減され、空中結像と周囲の空間との境界がより自然になる。また、後述するように開口２１の周縁部付近に映像を投影する場合、鋭角に成形された部分では映像が徐々に暗くなっていくため、空中結像と壁面との境界に段差的な見え方が生じることを抑制できる。これにより、空中結像が浮かんでいる空間と壁面との間の視覚的な連続性がより向上し、一体的な映像表現の効果を高めることができる。

【0034】

また、壁２０は、例えばアクリル板、ガラス板、又は樹脂板などの透明又は半透明な材料で形成することができる。樹脂板の好ましい例は、乳半ポリカーボネート板（乳白色の半透明ポリカーボネート板）である。特に投影装置３０から映像を投影する部位については、その映像光を適度に透過及び拡散させる必要があるため、例えば透過率３０～７０％程度のハーフミラー加工や、微細な凹凸による光拡散加工を施すことが好ましい。また、壁２０を形成する板材の厚さは、十分な強度を確保しつつ開口２１の周縁の鋭角な成形を可能とするため、例えば１０～３０ｍｍ程度とすることができる。なお、壁２０は単層構造に限らず、複数の板材を積層した多層構造としてもよく、この場合、各層に異なる光学特性を持たせることで、より効果的な映像表現が可能となる。また、壁２０は、金属やプラスチックなどで形成された網目状のメッシュスクリーンとしてもよい。メッシュスクリーンの場合、網目のピッチや開口率を調整することで、適度な透過性と投影特性を得ることができる。例えば、網目のピッチは０．５～５．０ｍｍ程度、開口率は３０～７０％程度とすることができる。このようなメッシュスクリーンを用いると、壁２０に投影された映像を視認しつつ、壁２０の向こう側の空間も部分的に視認することができるため、より開放的な空間演出が可能となる。また、メッシュスクリーンは、投影映像の視認性と空中結像の視認性とのバランスを網目のピッチや開口率によって調整できるという利点がある。

【0035】

投影装置３０は、壁２０の開口２１以外の部位に対して映像を投影する。投影装置３０としては、例えばＤＬＰ（Digital Light Processing）方式、液晶方式、又はレーザー方式などの公知のプロジェクタを用いることができる。図１に示すように、本実施形態において、投影装置３０は、空中ディスプレイ装置１０と同様に、壁２０を境として観察者と反対側の空間に配置されている。このように投影装置３０を壁２０の裏側に配置することで、観察者から投影装置３０が直接視認されにくくなるため、より没入感のある映像演出を実現できる。なお、本実施形態では、投影装置３０は図１に示すように天井に設置されているが、これに限らず例えば壁２０の裏面に設置することも可能である。

【0036】

また、本実施形態において、投影装置３０は、壁２０の裏面に対して映像を投影するように配置されているが、前述したとおり壁２０が透明、半透明、又はメッシュ状のものであれば、観察者はこの壁２０に投影された映像をこの壁２０を透過して視認することができる。なお、図示は省略するが、壁２０の表面（観察者側）に対して映像を投影するように投影装置３０を配置することも可能である。この場合、観察者はこの壁２０に投影されて反射された映像を視認することとなる。

【0037】

また、投影装置３０は、壁２０の材質や環境光の明るさに応じて、十分な輝度を確保できるものを選択する必要がある。例えば、５０００～２００００ルーメン程度の明るさを有するプロジェクタを用いることが好ましい。また、投影装置３０の解像度は、フルＨＤ（１９２０×１０８０画素）以上であることが好ましく、４Ｋ（３８４０×２１６０画素）以上であることがより好ましい。投影装置３０から壁２０までの投影距離は、投影装置３０の投影レンズの焦点距離に応じて適宜設定することができるが、例えば１０００～３０００ｍｍ程度とすることができる。また、本実施形態では、一台の投影装置３０で、壁２０の上壁部２２と下壁部２３の両方に映像を投影するようにしている。なお、このような構成の投影装置３０を天井の横方向に複数台並べている。ただし、上壁部２２用と下壁部２３用に分けて別々の投影装置３０を設けることとしてもよい。

【0038】

検出装置４０は、空中結像部材１２の結像面Ｐの所定の範囲内における物体（主に観察者の手や指）の有無又は位置を検出するためのセンサである。検出装置４０としては、例えば赤外線センサ、三次元センサ、深度センサ、ステレオカメラ、ＴｏＦ（Time of Flight）カメラ、又は超音波センサなどの公知のセンサを用いることができる。図１に示すように、本実施形態において、検出装置４０は、壁２０を境として観察者と同じ側の空間に配置されている。この検出装置４０は、壁２０の前面側の天井に設置されており、この壁２０の前面に沿って検知光などを照射することで、この壁２０の前面に近接した物体の有無やその位置情報を検出することができる。このように検出装置４０を壁２０の表側に配置することで、壁２０に近づいてきた観察者を早期に検出することが可能である。ただし、検出装置４０は、壁２０の裏側（空中ディスプレイ装置１０と同じ側）に配置することとしてもよい。この場合は、検出装置４０は、開口２１を通じて壁２０の裏側に侵入してきた観察者の手や指を検出することになる。また、検出装置４０の設置位置は、結像面Ｐ付近の空間を十分にカバーできる位置であれば、床面や天井面など任意の位置に設置することができる。

【0039】

また、検出装置４０による検出範囲は、例えば結像面Ｐの前後５００ｍｍの範囲内に設定されている。この検出範囲は、観察者が自然に手を伸ばして空中結像に触れようとする動作範囲に相当する。つまり、観察者が立ち止まった位置から手を伸ばして空中結像とインタラクション（相互作用）を行おうとする際に、無理なく手が届く範囲として設定されている。なお、検出装置４０は、この範囲内において少なくとも１０ｍｍ程度の位置分解能を有することが好ましく、また検出の応答時間は人間の動作に対してほぼリアルタイムに追従できるよう、例えば３０フレーム／秒以上のフレームレートで検出できることが好ましい。このような性能要件を満たすことで、観察者の直感的な動作に対して自然な応答を実現することができる。

【0040】

なお、検出装置４０は、結像面Ｐ付近の空間における物体の有無や位置だけでなく、その物体の動きやジェスチャーなどを検出できるものであってもよい。例えば、観察者の手が開口２１に近づいてきた際の接近速度や移動方向、指先でのタッピング動作やスワイプ動作なども検出可能である。また、複数の指の動き、例えばピンチイン・ピンチアウト動作なども検出できる。このように、検出装置４０は観察者の様々な動作やジェスチャーを検出することができ、これらの検出結果は制御装置５０を介して表示装置１１や投影装置３０の映像制御に反映される。具体的には、観察者が手を近づけると空中結像が退避するような動作をしたり、指でタッピングすると空中結像が変化したり、スワイプ動作に合わせて映像全体が変化したりするなど、観察者の動作に応じてインタラクティブな映像表現を実現することができる。

【0041】

制御装置５０は、図３に示すように、前述した空中ディスプレイ装置１０の表示装置１１、投影装置３０、及び検出装置４０と有線又は無線のＬＡＮ等で接続されており、空中ディスプレイシステム１００全体の制御を担う。例えば、制御装置５０は、表示装置１１と投影装置３０が出力する映像を生成し、これらの各装置１１，３０に映像を出力させるように制御を実行する。また、制御装置５０は、検出装置４０による検出信号に基づいて、表示装置１１と投影装置３０に出力させる映像を生成したり変化させたりする。制御装置５０は、一台のコンピュータにより構成されてもよいし、この制御装置５０が実行する機能を複数のコンピュータに分散し、これら複数のコンピュータによって制御装置５０を構築することも可能である。例えば、制御装置５０を分散構成とする場合、例えば表示装置１１及び投影装置３０用の映像を生成する映像生成用サーバと、検出装置４０からの入力情報を解析する情報処理用サーバとを別個に設けることができる。なお、これらの各サーバは、ネットワークを介して相互に接続され必要な情報の共有を行う。

【0042】

また、制御装置５０は、図３に示すように、少なくとも制御部５１と記憶部５２を有する。制御部５１は、例えばプロセッサとメモリから構成される。プロセッサの例は、公知のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、その他の制御回路である。プロセッサは、メモリに格納されたプログラムに従って所定の演算処理を行い、その演算結果をメモリの作業空間に書き出しながら各種の制御処理を実行する。メモリは、例えばＲＡＭ（Random Access Memory）等の揮発性メモリから構成され、上記したプロセッサによる演算処理に利用される。記憶部５２は、主に、表示装置１１と投影装置３０に出力させる映像コンテンツや、制御部５１での演算処理に用いられる情報を記憶するための要素（ストレージ）である。記憶部５２は、ＲＯＭ（Read Only Memory）等の不揮発性メモリから構成される。映像コンテンツとしては、例えば、空中結像させたり壁面投影させたりするためのテクスチャ画像、アニメーション用の画像シーケンス、各種の視覚効果を生成するためのパターン画像、検出装置４０の検出結果に応じて変化する映像エフェクトのためのパラメータ情報などが含まれる。また、記憶部５２には、検出装置４０により検出された対象物の位置や動きを追跡するためのトラッキングパラメータなどが記憶されていてもよい。また、記憶部５２には、制御部５１での処理に用いられるプログラムが記憶されていてもよい。例えば、画像処理プログラム、映像生成プログラム、各種演算処理用のライブラリなどを含むプログラム群が記憶される。これらのプログラムは、制御部５１のプロセッサによって実行されることにより、制御部５１が各種の機能を実現する。

【0043】

図４は、制御装置５０の制御部５１によって生成され、表示装置１１及び投影装置３０によってそれぞれ出力される映像コンテンツの一例を示している。図４（ａ）は、制御装置５０によって生成された映像コンテンツ全体の例を示しており、一枚の映像（動画又は静止画）となっており、この映像はＡ～Ｃパートの３段に区分することができる。Ａパートは、投影装置３０が壁２０の上壁部２２に投影する部分であり、Ｂパートは、空中ディスプレイ装置１０の表示装置１１が空中結像部材１２を介して壁２０の開口２１に対応する位置に設けられた結像面Ｐに空中結像させる部分であり、Ｃパートは、投影装置３０が壁２０の下壁部２３に投影する部分である。このように、映像全体の連続性又は一体性を表現するために、制御部５１はいったん各パートを連結した映像を生成し、その後に各パートに区分すると良い。例えば、各パート間での色調の統一、輝度バランスの調整、動きのタイミング同期などを行うことで、映像全体の一体感を高めることができる。

【0044】

一方で、図４（ｂ）は、投影装置３０から出力され壁２０に投影される映像の例を示している。図４（ｂ）に示すように、投影装置３０は、制御部５１によって生成された映像全体のうち、壁２０の上壁部２２に投影するＡパートと下壁部２３に投影するＣパートはそのまま出力するが、壁２０の開口２１に対応するＢパートはそのまま出力されずに、空白（無発光部分）又は黒色を表すＢ´パートに置き換えられる。これは、開口２１付近での二重投影を防ぎ、空中結像の視認性を確保するためである。つまり、本実施形態では、投影装置３０は、壁２０に対して、Ａパート、Ｂ´パート、及びＣパートをあわせて一枚の映像を投影することになる。また、図４（ｂ）は、表示装置１１から出力され壁２０の開口２１付近に空中結像される映像の例を示している。図４（ｃ）に示すように、表示装置１１は、制御部５１によって生成された映像全体のうち、Ｂパートのみを抜き出して表示する。このＢパートは、壁２０の開口２１を通して観察者に視認される部分であり、映像全体の中で最も注目されやすい中心的な要素となる。そのため、Ｂパートには映像コンテンツの特徴的な部分を配置することが好ましい。特徴的な部分としては、例えば観察者が触れたくなるような仮想物体や文字、アイコン画像である。また、Ｂパートの映像は空中に浮かんで見えることから、立体的な奥行き表現や、手前に飛び出すような動きを付与することで、より効果的な映像表現を実現できる。

【0045】

このように、制御部５１は、一つの映像コンテンツを壁面投影用（Ａパート，Ｃパート）と空中結像用（Ｂパート）とに分割し、投影装置３０と表示装置１１とにそれぞれ出力させることが好ましい。観察者は、例えば図１及び図２に示すように壁２０全体を観察するため、Ａ～Ｃパートが繋がった映像を視認することになる。ただし、その映像全体のうち観察者から最も手の届きやすいＢパートには実体（壁２０）が存在しないことから、観察者にはあたかも映像全体が空中に浮いているかのように錯覚させることができる。また、観察者が壁２０の開口２１に手を伸ばすと、その手指が検出装置４０によって検出されて、映像が変化する。例えば、手の接近に応じて映像内の仮想物体が変形したり、仮想物体が手を避けたり、指でのタッピング動作に応じて空中結像が変形したり、スワイプ動作に応じて映像全体がスクロールしたりするなど、様々なインタラクティブな映像表現が可能である。このため、観察者には実体のない映像に触れ、その接触により映像が変化したと錯覚させることができる。

【0046】

例えば、制御装置５０による映像生成処理は、以下の手順で実行される。まず制御装置５０は、検出装置４０により実物体（観察者の手指など）の近接や移動が検出されると、検出された実物体の位置、移動方向、及び移動速度に基づいて所定時間後の実物体位置を予測する。次に、予測された実物体位置と現在表示中の映像の仮想物体との相対関係を判定する。そして、実物体の仮想物体への接近が予測される場合、映像の一部又は全部について仮想物体の退避又は回避の動作パターンを決定する。このとき、映像表示の連続性を考慮し、仮想物体の退避又は回避の動作を一定時間（例えば０．５秒）かけて滑らかに実行するようにする。以上の処理を繰り返し実行することで、自然な映像変化を実現することができる。なお、仮想物体の退避又は回避の動作パターンとしては、映像が上下左右に逃げる動作、映像が変形する動作、映像が分裂又は合体する動作等を採用することができる。

【0047】

なお、図１及び図２では、観察者が立ち入る空間と空中ディスプレイ装置１０を設置する空間とを隔てる壁２０に対して投影装置３０から映像を投影した例を示している。ただし、この壁２０に対する映像投影に加えて、例えば図２に示した左右の横壁の両方又はいずれか一方に対して別の投影装置から映像を投影することとも可能である。

【0048】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0049】

１０…空中ディスプレイ装置 １１…表示装置
１２…空中結像部材 １３…支持具
２０…壁 ２１…開口
２２…上壁部 ２３…下壁部
３０…投影装置 ４０…検出装置
５０…制御装置 ５１…制御部
５２…記憶部 １００…空中ディスプレイシステム
Ｐ…結像面

【要約】

【課題】観察者が実像の結像位置を直感的に把握しづらい環境であっても、観察者にその実像を鮮明に視認させやすくする。
【解決手段】空中ディスプレイシステム１００は、映像を表示する表示装置１１と、表示装置１１から入射した映像光を屈折して空中で結像させる空中結像部材１２と、空中結像部材１２の結像面Ｐの前後３００ｍｍの範囲内に開口２１が形成された壁２０を備え、映像光の少なくとも一部が壁２０の開口２１を通過するように構成されている。
【選択図】図１

【図1】

【図2】

【図3】

【図4】