IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立マクセル株式会社の特許一覧

特開2024-178765空中浮遊映像表示装置、空中浮遊映像表示システム、および携帯端末
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178765
(43)【公開日】2024-12-25
(54)【発明の名称】空中浮遊映像表示装置、空中浮遊映像表示システム、および携帯端末
(51)【国際特許分類】
   G09G 5/00 20060101AFI20241218BHJP
   G02B 30/56 20200101ALI20241218BHJP
   G09G 5/37 20060101ALI20241218BHJP
   G09G 5/38 20060101ALI20241218BHJP
   G06F 3/01 20060101ALI20241218BHJP
   G06F 3/0346 20130101ALI20241218BHJP
   H04N 13/302 20180101ALI20241218BHJP
   G06F 3/04815 20220101ALI20241218BHJP
【FI】
G09G5/00 550C
G02B30/56
G09G5/00 555D
G09G5/00 550B
G09G5/00 510H
G09G5/37 320
G09G5/38 100
G06F3/01 570
G06F3/0346 421
H04N13/302
G06F3/04815
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023097155
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】永井 利昌
(72)【発明者】
【氏名】藤田 浩司
(72)【発明者】
【氏名】清水 拓也
(72)【発明者】
【氏名】鋪田 和夫
(72)【発明者】
【氏名】朝倉 祥
【テーマコード(参考)】
2H199
5B087
5C182
5E555
【Fターム(参考)】
2H199BA32
2H199BA41
2H199BA49
2H199BB12
2H199BB15
2H199BB20
5B087AA07
5B087BC32
5C182AA03
5C182AA11
5C182AA26
5C182AB08
5C182AB11
5C182AB25
5C182AB37
5C182AC02
5C182AC03
5C182AC13
5C182AC38
5C182AC39
5C182AC43
5C182AC46
5C182BA03
5C182BA06
5C182BA14
5C182BA25
5C182BA29
5C182BA39
5C182BA46
5C182BA47
5C182BA55
5C182BA65
5C182BA68
5C182BA73
5C182BA75
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182CA02
5C182CA13
5C182CA32
5C182CB03
5C182CB13
5C182CB14
5C182CB15
5C182CB24
5C182CB32
5C182CB42
5C182CB44
5C182CB47
5C182CB54
5C182CC04
5C182CC22
5C182CC24
5C182DA04
5C182DA14
5C182DA32
5C182DA41
5C182DA52
5C182DA65
5C182DA66
5E555AA11
5E555AA27
5E555BA02
5E555BB02
5E555BB04
5E555BC17
5E555BE16
5E555CA42
5E555CB66
5E555DA11
5E555DB32
5E555DB53
5E555FA00
(57)【要約】
【課題】より好適な空中浮遊映像表示装置を提供すること。本発明によれば、持続可能な開発目標(SDGs)の「3すべての人に健康と福祉を」、「9産業と技術革新の基盤をつくろう」、「11住み続けられるまちづくりを」に貢献する。
【解決手段】空中浮遊映像表示装置は、映像処理部と、映像処理部が映像処理を行った映像を表示する表示部と、表示部が表示する映像に基づいて空中浮遊映像を生成する光学システムと、空中浮遊映像の表示範囲に対する物体の接触を検知する検知部と、ユーザの携帯端末と通信する通信部とを備える。空中浮遊映像表示装置は、表示範囲への携帯端末の接触を検知した場合に、携帯端末側で指定された対象画像を、空中浮遊映像として表示させる。
【選択図】図16
【特許請求の範囲】
【請求項1】
空中浮遊映像表示装置であって、
映像処理部と、
前記映像処理部が映像処理を行った映像を表示する表示部と、
前記表示部が表示する映像に基づいて空中浮遊映像を生成する光学システムと、
前記空中浮遊映像の表示範囲に対する物体の接触を検知する検知部と、
ユーザの携帯端末と通信する通信部と、
を備え、
前記表示範囲への前記携帯端末の接触を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項2】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触の前、途中、または後に、前記携帯端末から前記空中浮遊映像表示装置への表示要求が発生し、
前記表示範囲への前記携帯端末の接触を検知した場合に、前記表示要求を受領し、前記携帯端末側で指定された対象画像を、前記携帯端末または外部機器から通信で取得し、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項3】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲のうち特定の領域への前記携帯端末の接触を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項4】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触の際の前記携帯端末の特定の姿勢を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項5】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触の後に、前記携帯端末が前記表示範囲よりも奥側の空間内に入ったことを検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項6】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触の際に、接触時間が一定時間以上となった場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項7】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触の操作を促すためのガイド画像を、前記空間浮遊映像として表示する、
空中浮遊映像表示装置。
【請求項8】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触の操作を促すためのガイド画像を、前記携帯端末の画面に表示させる、
空中浮遊映像表示装置。
【請求項9】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触によって生じる視認不可領域を検知した場合に、前記表示範囲のうち前記視認不可領域を含む非表示領域を決定し、前記非表示領域以外の表示領域に前記空間浮遊映像として表示する、
空中浮遊映像表示装置。
【請求項10】
請求項1記載の空中浮遊映像表示装置において、
前記検知部は、前記表示範囲を含む範囲に対する空中操作を検出する空中操作検出センサ、または、前記表示範囲を含む範囲を撮像する撮像部、の少なくとも一方である、
空中浮遊映像表示装置。
【請求項11】
請求項1記載の空中浮遊映像表示装置において、
前記携帯端末の画面に表示されるコードを認識して情報を取得し、
前記コードが認識され、かつ、前記表示範囲への前記携帯端末の接触を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項12】
請求項1記載の空中浮遊映像表示装置において、
前記空間浮遊映像に表示されるコードを前記携帯端末が認識して情報を取得し、
前記コードが認識され、かつ、前記表示範囲への前記携帯端末の接触を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示装置。
【請求項13】
請求項11または12に記載の空中浮遊映像表示装置において、
前記コードの情報は、以下の少なくとも1つの情報である;
前記携帯端末から前記空中浮遊映像表示装置への表示要求、
前記携帯端末と前記空中浮遊映像表示装置との通信の接続情報、
前記携帯端末のIDまたは前記ユーザのID、
前記対象画像のIDまたはURL、
空中浮遊映像表示装置。
【請求項14】
請求項1記載の空中浮遊映像表示装置において、
前記表示範囲への前記携帯端末の接触を検知した場合に、前記空間浮遊映像に表示されている画像を、前記携帯端末側に取得させる、
空中浮遊映像表示装置。
【請求項15】
空中浮遊映像表示装置とユーザの携帯端末とを有する空中浮遊映像表示システムであって、
前記空中浮遊映像表示装置は、
映像処理部と、
前記映像処理部が映像処理を行った映像を表示する表示部と、
前記表示部が表示する映像に基づいて空中浮遊映像を生成する光学システムと、
前記空中浮遊映像の表示範囲に対する物体の接触を検知する検知部と、
ユーザの携帯端末と通信する通信部と、
を備え、
前記空中浮遊映像表示装置は、前記表示範囲への前記携帯端末の接触を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させる、
空中浮遊映像表示システム。
【請求項16】
空中浮遊映像表示装置とユーザの携帯端末とを有する空中浮遊映像表示システムにおける前記携帯端末であって、
前記空中浮遊映像表示装置は、
映像処理部と、
前記映像処理部が映像処理を行った映像を表示する表示部と、
前記表示部が表示する映像に基づいて空中浮遊映像を生成する光学システムと、
前記空中浮遊映像の表示範囲に対する物体の接触を検知する検知部と、
前記ユーザの前記携帯端末と通信する通信部と、
を備え、
前記空中浮遊映像表示装置は、前記表示範囲への前記携帯端末の接触を検知した場合に、前記携帯端末側で指定された対象画像を、前記空中浮遊映像として表示させ、
前記携帯端末は、前記ユーザの操作に基づいて前記対象画像を指定し、指定された対象画像の画像データまたは情報を前記空中浮遊映像表示装置へ送信する、
携帯端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空中浮遊映像表示装置に関する。
【背景技術】
【0002】
空中浮遊情報表示技術については、例えば、特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-128722号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の開示では、空中浮遊映像の実用的な明るさや品位を得るための構成や、ユーザが空中浮遊映像をより楽しく視認するための構成などについての考慮は十分ではなかった。
【0005】
本発明の目的は、より好適な空中浮遊映像表示装置を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、以下のように構成すればよい。一実施の形態は、空中浮遊映像表示装置であって、映像処理部と、映像処理部が映像処理を行った映像を表示する表示部と、表示部が表示する映像に基づいて空中浮遊映像を生成する光学システムと、空中浮遊映像の表示範囲に対する物体の接触を検知する検知部と、ユーザの携帯端末と通信する通信部と、を備え、表示範囲への携帯端末の接触を検知した場合に、携帯端末側で指定された対象画像を、空中浮遊映像として表示させる。
【発明の効果】
【0007】
本発明によれば、より好適な空中浮遊映像表示装置を実現できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。
【図面の簡単な説明】
【0008】
図1】本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。
図2A】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
図2B】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
図2C】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
図2D】本発明の一実施例に係る、空中浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
図2E】本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板の投影図である。
図2F】本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板の上面図である。
図2G】本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板を構成する、コーナーリフレクタを示す斜視図である。
図2H】本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板を構成する、コーナーリフレクタを示す上面図である。
図2I】本発明の一実施例に係る、空中浮遊映像表示装置を構成する、再帰反射板を構成する、コーナーリフレクタを示す側面図である。
図3】本発明の一実施例に係る空間浮遊映像表示装置の構成例を示す図である。
図4A】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4B】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4C】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4D】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4E】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4F】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4G】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4H】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4I】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4J】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4K】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4L】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4M】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4N】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図4O】本発明の一実施例に係る空間浮遊映像表示装置の構成の一例を示す図である。
図5】本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。
図6】本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。
図7】本発明の一実施例に係る光源装置の具体的な構成の一例を示す断面図である。
図8】本発明の一実施例に係る空間浮遊映像表示装置の主要部を示す配置図である。
図9】本発明の一実施例に係る表示装置の構成を示す断面図である。
図10】本発明の一実施例に係る表示装置の構成を示す断面図である。
図11】本発明の一実施例に係る映像表示装置の光源拡散特性を説明するための説明図である。
図12】本発明の一実施例に係る映像表示装置の拡散特性を説明するための説明図である。
図13A】本発明の一実施例に係る画像処理が解決する課題の一例の説明図である。
図13B】本発明の一実施例に係る画像処理の一例の説明図である。
図13C】本発明の一実施例に係る映像表示処理の一例の説明図である。
図13D】本発明の一実施例に係る映像表示処理の一例の説明図である。
図14】本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。
図15】本発明の一実施例に係る空間浮遊映像表示システムの構成を示す図。
図16】本発明の一実施例に係る空間浮遊映像表示システムの概要を示す図。
図17】本発明の一実施例に係る携帯端末の構成を示す図。
図18A】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作を示す斜視図。
図18B】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作を示すXY平面図。
図18C】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作を示すYZ平面図。
図18D】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作を示すXZ平面図。
図19A】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の姿勢などを示す斜視図。
図19B】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の姿勢などの例を示すXY平面図。
図19C】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の姿勢などの例を示すYZ平面図。
図19D】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の姿勢などの例を示すXZ平面図。
図19E】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の姿勢などの例を示すYZ平面図。
図19F】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の姿勢などの例を示すYZ平面図。
図20A】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の位置などの例を示すYZ平面図。
図20B】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の位置などの例を示すXY平面図。
図20C】本発明の一実施例に係る空間浮遊映像への携帯端末の挿入・接触操作時の位置などの例を示すYZ平面図。
図21A】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例を示す説明図。
図21B】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例を示す説明図。
図22A】本発明の一実施例に係る空間浮遊映像への携帯端末の接触の例を示すXY平面図。
図22B】本発明の一実施例に係る空間浮遊映像への携帯端末の接触による視認不可領域の例を示すXZ平面図。
図22C】本発明の一実施例に係る空間浮遊映像への携帯端末の接触による遮光の例を示すYZ平面図。
図23A】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例および携帯端末の接触による視認不可領域の例を示すxy平面図。
図23B】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例および表示領域制限の例を示すxy平面図。
図24A】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例を示すxy平面図。
図24B】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例を示すxy平面図。
図24C】本発明の一実施例に係る空間浮遊映像へのガイド画像の表示例および表示領域制限の例を示す説明図。
図24D】本発明の一実施例に係るガイド音声出力例を示す説明図。
図25A】本発明の一実施例に係る空間浮遊映像表示装置におけるセンサの配置例を示すYZ平面断面図。
図25B】本発明の一実施例に係る空中操作検出センサの構成例を示すxy平面図。
図25C】本発明の一実施例に係る空間浮遊映像表示装置におけるセンサの配置例を示すYZ平面断面図。
図26A】本発明の一実施例に係る携帯端末におけるアプリケーション画面の表示例を示す説明図。
図26B】本発明の一実施例に係る携帯端末におけるアプリケーション画面の表示例を示す説明図。
図26C】本発明の一実施例に係る携帯端末におけるアプリケーション画面の表示例を示す説明図。
図27A】本発明の一実施例に係る携帯端末におけるQRコード画面の表示例を示す説明図。
図27B】本発明の一実施例に係る空間浮遊映像表示装置における携帯端末のQRコードの撮像の例を示すYZ平面断面図。
図28A】本発明の一実施例に係る空間浮遊映像におけるQRコードの表示例を示す斜視図。
図28B】本発明の一実施例に係る携帯端末による空間浮遊映像表示装置の空間浮遊映像のQRコードの撮像の例を示すYZ平面断面図。
図28C】本発明の一実施例に係る第2の表示装置の画面でのQRコードの表示例を示す斜視図。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。
【0010】
以下の実施例は、映像発光源からの映像光による映像を、ガラス等の空間を仕切る透明な部材を介して透過して、前記透明な部材の外部に空間浮遊映像として表示することが可能な映像表示装置に関する。なお、以下の実施例の説明において、空間に浮遊する映像を「空間浮遊映像」という用語で表現している。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現してもかまわない。実施例の説明で主として用いる「空間浮遊映像」との用語は、これらの用語の代表例として用いている。
【0011】
以下の実施例によれば、例えば、銀行のATMや駅の券売機やデジタルサイネージ等において好適な映像表示装置を実現できる。例えば、現状、銀行のATMや駅の券売機等では、通常、タッチパネルが用いられているが、透明なガラス面や光透過性の板材を用いて、このガラス面や光透過性の板材上に高解像度な映像情報を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、すなわち鋭角とし、更に特定の偏波に揃えることで、再帰反射板に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。また、本実施例の光源を含む装置により、消費電力を大幅に低減することが可能な、新規で利用性に優れた空間浮遊映像表示装置(空間浮遊映像表示システム)を提供することができる。また、例えば、車両において車両内部および/または外部において視認可能である、いわゆる、一方向性の空間浮遊映像表示が可能な車両用空間浮遊映像表示装置を提供することができる。
<実施例1>
【0012】
<空間浮遊映像表示装置の使用形態の一例>
図1は、本発明の一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図であり、本実施例に係る空間浮遊映像表示装置の全体構成を示す図である。空間浮遊映像表示装置の具体的な構成については、図2等を用いて詳述するが、映像表示装置1から挟角な指向特性でかつ特定偏波の光が、映像光束として出射し、空間浮遊映像表示装置内の光学系での反射等を経て再帰反射板2に一旦入射し、再帰反射して透明な部材100(ガラス等)を透過して、ガラス面の外側に、実像である空中像(空間浮遊映像3)を形成する。なお、以下の実施例においては、再帰反射部材の例として再帰反射板2(再帰性反射板)を用いて説明する。しかしながら、本発明の再帰反射板2は平面形状のプレートに限られず、平面または非平面の部材に貼り付けるシート状の再帰反射部材や、平面または非平面の部材にシート状の再帰反射部材を貼り付けたアセンブリ全体を含む概念の例として用いている。また、再帰反射板2の反射後の光線は結像する光学特性を有するため、再帰反射板2は結像光学部材または結像光学プレートと表現してもよい。
【0013】
また、店舗等においては、ガラス等の透光性の部材であるショーウィンド(「ウィンドガラス」とも言う)105により空間が仕切られている。本実施例の空間浮遊映像表示装置によれば、かかる透明な部材を透過して、浮遊映像を店舗(空間)の外部および/または内部に対して一方向に表示することが可能である。
【0014】
図1では、ウィンドガラス105の内側(店舗内)を奥行方向にしてその外側(例えば、歩道)が手前になるように示している。他方、ウィンドガラス105に特定偏波を反射する手段を設けることで反射させ、店内の所望の位置に空中像を形成することもできる。
【0015】
<空間浮遊映像表示装置の光学システムの構成例>
図2Aは、本発明の一実施例に係る空間浮遊映像表示装置の光学システムの構成の一例を示す図である。図2Aを用いて、空間浮遊映像表示装置の構成をより具体的に説明する。図2A(1)に示すように、ガラス等の透明な部材100の斜め方向には、特定偏波の映像光を挟角に発散させる表示装置1を備える。表示装置1は、液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えている。
【0016】
表示装置1からの特定偏波の映像光は、透明な部材100に設けた特定偏波の映像光を選択的に反射する膜を有する偏光分離部材101(図中は偏光分離部材101をシート状に形成して透明な部材100に粘着している)で反射され、再帰反射板2に入射する。再帰反射板2の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射板2への入射のときと出射のときの2回、λ/4板21を通過させられることで、特定偏波から他方の偏波へ偏光変換される。ここで、特定偏波の映像光を選択的に反射する偏光分離部材101は偏光変換された他方の偏波の偏光は透過する性質を有するので、偏光変換後の特定偏波の映像光は、偏光分離部材101を透過する。偏光分離部材101を透過した映像光が、透明な部材100の外側に、実像である空間浮遊映像3を形成する。なお、再帰反射板2へ入射する映像光の主光線は、図2Aでは再帰反射板2に対して90°に入射している例を記載している。ただし、再帰反射板2に対する映像光の主光線の入射角度は90°に限られず、例えば90°±15°でも使用可能である。
【0017】
ここで、図2Aの光学システムにおける偏光設計の第1の例を説明する。例えば、表示装置1からS偏光の映像光が偏光分離部材101へ射出される構成とし、偏光分離部材101がS偏光を反射しP偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101へ到達したS偏光の映像光は、偏光分離部材101により反射され、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はS偏光からP偏光へ変換される。P偏光へ変換された映像光は再び偏光分離部材101へ向かう。ここで、偏光分離部材101は、S偏光を反射しP偏光を透過する特性を有するので、P偏光の映像光は偏光分離部材101を透過し、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101に対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
【0018】
次に、図2Aの光学システムにおける偏光設計の第2の例を説明する。例えば、表示装置1からP偏光の映像光が偏光分離部材101へ射出される構成とし、偏光分離部材101がP偏光を反射しS偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101へ到達したP偏光の映像光は、偏光分離部材101により反射され、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はP偏光からS偏光へ変換される。S偏光へ変換された映像光は再び偏光分離部材101へ向かう。ここで、偏光分離部材101は、P偏光を反射しS偏光を透過する特性を有するので、S偏光の映像光は偏光分離部材101を透過し、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101に対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
【0019】
なお、空間浮遊映像3を形成する光は再帰反射板2から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。よって、図2Aの構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
【0020】
なお、再帰反射板2の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。また、反射角度も不揃いになることがある。このような不揃いの光は、設計上想定された偏光状態および進行角度を保たないことが有る。例えば、このような設計想定外の偏光状態および進行角度の光が、再帰反射板2の位置から偏光分離部材を介さずに直接液晶表示パネル11の映像表示面側へ再入射してしまうこともある。このような設計想定外の偏光状態および進行角度の光が、空間浮遊映像表示装置内の部品で反射したのち、液晶表示パネル11の映像表示面側へ再入射してしまうこともある。このような液晶表示パネル11の映像表示面側へ再入射した光が、表示装置1を構成する液晶表示パネル11の映像表示面で再反射し、ゴースト像を発生させ空間浮遊像の画質を低下させる可能性がある。そこで、本実施例では表示装置1の映像表示面に吸収型偏光板12を設けてもよい。表示装置1から出射する映像光は吸収型偏光板12を透過させ、偏光分離部材101から戻ってくる反射光は吸収型偏光板12で吸収させることで、上記再反射を抑制できる。これにより、空間浮遊像のゴースト像による画質低下を防止することができる。具体的には、表示装置1からS偏光の映像光が偏光分離部材101へ射出される構成であれば、吸収型偏光板12はP偏光を吸収する偏光板とすればよい。また、表示装置1からP偏光の映像光が偏光分離部材101へ射出される構成であれば、吸収型偏光板12はS偏光を吸収する偏光板とすればよい。
【0021】
上述した偏光分離部材101は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
【0022】
次に、図2A(2)に、代表的な再帰反射板2として、再帰反射板の表面形状の一例を示す。規則的に配列された6角柱の内部に入射した光線は、6角柱の壁面と底面で反射され再帰反射光として入射光に対応した方向に出射し、表示装置1に表示した映像に基づき実像である空間浮遊映像を表示する。
【0023】
この空間浮遊像の解像度は、液晶表示パネル11の解像度の他に、図2A(2)で示す再帰反射板2の再帰反射部の外形DとピッチPに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の直径Dが240μmでピッチが300μmであれば、空間浮遊像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。
【0024】
そこで、空間浮遊映像の解像度を表示装置1の解像度と同等にするためには、再帰反射部の直径とピッチを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射板と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計するとよい。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置するとよい。
【0025】
なお、本実施例に係る再帰反射板の表面形状は上述の例に限られない。再帰性反射を実現する様々な表面形状を有してよい。具体的には、三角錐プリズム、六角錐プリズム、その他多角形プリズムまたはこれらの組み合わせを周期的に配置した再帰反射素子を、本実施例の再帰反射板の表面に備えてもよい。または、これらのプリズムを周期的に配置してキューブコーナーを形成する再帰反射素子を、本実施例の再帰反射板の表面に備えてもよい。これらは、コーナーリフレクタアレイ、多面リフレクタアレイと表現することもできる。または、ガラスビーズを周期的に配置したカプセルレンズ型再帰反射素子を、本実施例の再帰反射板の表面に備えてもよい。これらの再帰反射素子の詳細な構成は、既存の技術を用いればよいので、詳細な説明は省略する。具体的には、特開2001-33609号公報、特開2001-264525号公報、特開2005-181555号公報、特開2008-70898号公報、特開2009-229942号公報などに開示される技術を用いればよい。
【0026】
<空間浮遊映像表示装置の光学システムの他の構成例1>
空間浮遊映像表示装置の光学システムの他の構成例について、図2Bを用いて説明する。なお、図2Bにおいて、図2Aと同一の符号を付している構成は、図2Aと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明は省略する。
【0027】
図2Bの光学システムでは、図2Aと同様に、表示装置1から特定偏波の映像光が出力される。表示装置1から出力された特定偏波の映像光は、偏光分離部材101Bに入力される。偏光分離部材101Bは、特定偏波の映像光を選択的に透過する部材である。偏光分離部材101Bは、図2Aの偏光分離部材101とは異なり、透明な部材100とは一体ではなく、独立して板状の形状をしている。よって、偏光分離部材101Bは、偏光分離板と表現してもよい。偏光分離部材101Bは、例えば、透明部材に偏光分離シートを貼り付けて構成して構成する反射型偏光板として構成してもよい。または、透明部材に特定偏波を選択的に透過させ、他の特定偏波の偏波を反射する金属多層膜などで形成すればよい。図2Bでは、偏光分離部材101Bは、表示装置1から出力された特定偏波の映像光を透過するように構成されている。
【0028】
偏光分離部材101Bを透過した映像光は、再帰反射板2に入射する。再帰反射板の映像光入射面にはλ/4板21を設ける。映像光は、再帰反射板への入射のときと出射のときの2回において、λ/4板21を通過させられることで特定偏波から他方の偏波へ偏光変換される。ここで、偏光分離部材101Bは、λ/4板21で偏光変換された他方の偏波の偏光は反射する性質を有するので、偏光変換後の映像光は、偏光分離部材101Bで反射される。偏光分離部材101Bで反射した映像光は、透明な部材100を透過し、透明な部材100の外側に実像である空間浮遊映像3を形成する。
【0029】
ここで、図2Bの光学システムにおける偏光設計の第1の例を説明する。例えば、表示装置1からP偏光の映像光が偏光分離部材101Bへ射出される構成とし、偏光分離部材101BがS偏光を反射しP偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101Bへ到達したP偏光の映像光は、偏光分離部材101Bを透過し、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はP偏光からS偏光へ変換される。S偏光へ変換された映像光は再び偏光分離部材101Bへ向かう。ここで、偏光分離部材101Bは、S偏光を反射しP偏光を透過する特性を有するので、S偏光の映像光は偏光分離部材101で反射され、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101Bに対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により好適に空間浮遊映像3を形成することができる。
【0030】
次に、図2Bの光学システムにおける偏光設計の第2の例を説明する。例えば、表示装置1からS偏光の映像光が偏光分離部材101Bへ射出される構成とし、偏光分離部材101BがP偏光を反射しS偏光を透過する特性を有する構成としてもよい。この場合、表示装置1から偏光分離部材101Bへ到達したS偏光の映像光は、偏光分離部材101Bを透過し、再帰反射板2へ向かう。当該映像光が再帰反射板2で反射される際に、再帰反射板2の入射面に設けられたλ/4板21を2回通過するので、当該映像光はS偏光からP偏光へ変換される。P偏光へ変換された映像光は再び偏光分離部材101Bへ向かう。ここで、偏光分離部材101Bは、P偏光を反射しS偏光を透過する特性を有するので、P偏光の映像光は偏光分離部材101で反射され、透明な部材100を透過する。透明な部材100を透過した映像光は、再帰反射板2により生成された光であるため、偏光分離部材101Bに対して表示装置1の表示映像と鏡面関係にある位置に、表示装置1の表示映像の光学像である空間浮遊映像3を形成する。このような偏光設計により、好適に空間浮遊映像3を形成することができる。
【0031】
なお、図2Bにおいては、表示装置1の映像表示面と、再帰反射板2の面は平行に配置されている。偏光分離部材101Bは、表示装置1の映像表示面および再帰反射板2の面に対して、角度α(例えば30°)だけ傾いて配置されている。すると、偏光分離部材101Bの反射においては、再帰反射板2から入射される映像光の進行方向(当該映像光の主光線の方向)に対して、偏光分離部材101Bで反射された映像光の進行方向(当該映像光の主光線の方向)は、角度β(例えば60°)だけ異なる方向となる。このように構成することにより、図2Bの光学システムでは、透明な部材100の外側に向けて図示される所定の角度で映像光が出力され、実像である空間浮遊映像3を形成する。図2Bの構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
【0032】
以上説明したように、図2Bの光学システムでは、図2Aの光学システムとは異なる構成の光学システムでありながら、図2Aの光学システムと同様に、好適な空間浮遊映像を形成することができる。
【0033】
なお、透明な部材100の偏光分離部材101B側の面に吸収型偏光板を設けてもよい。当該吸収型偏光板は、偏光分離部材101Bからの映像光の偏波を透過し、偏光分離部材101Bからの映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。このようにすれば、空間浮遊映像3を形成するための映像光は充分透過させながら、透明な部材100の空間浮遊映像3側から入射する外光を約50%低減することができる。これにより、透明な部材100の空間浮遊映像3側から入射する外光にもとづく図2Bの光学システム内の迷光を低減することができる。
【0034】
<空間浮遊映像表示装置の光学システムの他の構成例2>
空間浮遊映像表示装置の光学システムの他の構成例について、図2Cを用いて説明する。なお、図2Cにおいて、図2Bと同一の符号を付している構成は、図2Bと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明はしない。
【0035】
図2Bの光学システムに対する図2Cの光学システムの相違点は、表示装置1の映像表示面および再帰反射板2の面に対する、偏光分離部材101Bの配置角度のみである。その他の構成はいずれも、図2Bの光学システムと同様であるので繰り返しの説明は省略する。図2Cの光学システムの偏光設計も、図2Bの光学システムの偏光設計と同様であるため、繰り返しの説明は省略する。
【0036】
図2Cの光学システムでは、偏光分離部材101Bは、表示装置1の映像表示面および再帰反射板2の面に対して、角度αだけ傾いて配置されている。図2Cにおいて、その角度αは45°である。このように構成すると、偏光分離部材101Bの反射においては、再帰反射板2から入射される映像光の進行方向(当該映像光の主光線の方向)に対する、偏光分離部材101Bで反射された映像光の進行方向(当該映像光の主光線の方向)のなす角度βは90°となる。このように構成すると、表示装置1の映像表示面および再帰反射板2の面と、偏光分離部材101Bで反射された映像光の進行方向とが直角の関係になり、光学システムを構成する面の角度関係をシンプルにすることができる。透明な部材100の面を偏光分離部材101Bで反射された映像光の進行方向に対して直交するように配置すれば、更に光学システムを構成する面の角度関係をシンプルにすることができる。図2Cの構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に非常に好適である。
【0037】
以上説明したように、図2Cの光学システムでは、図2Aおよび図2Bの光学システムとは異なる構成の光学システムでありながら、図2Aおよび図2Bの光学システムと同様に、好適な空間浮遊映像を形成することができる。また、光学システムを構成する面の角度をよりシンプルにすることができる。
【0038】
なお、透明な部材100の偏光分離部材101B側の面に吸収型偏光板を設けてもよい。当該吸収型偏光板は、偏光分離部材101Bからの映像光の偏波を透過し、偏光分離部材101Bからの映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。このようにすれば、空間浮遊映像3を形成するための映像光は充分透過させながら、透明な部材100の空間浮遊映像3側から入射する外光を約50%低減することができる。これにより、透明な部材100の空間浮遊映像3側から入射する外光にもとづく図2Cの光学システム内の迷光を低減することができる。
【0039】
<空間浮遊映像表示装置の光学システムの他の構成例3>
空間浮遊映像表示装置の光学システムの他の構成例について、図2Dを用いて説明する。図2Dの光学システムは、図2A図2Cにおいて用いた再帰反射板2とは異なる、再帰反射板5を用いた光学システムである。以下、図2D図2Iを用いて、光学システムの他の構成例3についてより具体的に説明する。図2Dにおいて、図2A~Cと同一の符号を付している構成は、図2A図2Cと同一の機能、構成を有するものする。このような構成については、説明を単純化するために繰り返しの説明はしない。
【0040】
図2Dは、本発明の一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。ガラス等の透明な部材100の斜め方向には、映像光を出射する表示装置10を備える。表示装置10は、液晶表示パネル11と、光を生成する光源装置13とを備えている。
【0041】
表示装置10から出射された光束を代表する主光線9020は、再帰反射板5に向かって進行し、再帰反射板5に対して入射角αで入射する。入射角αは例えば45°などでよい。ただし、入射角αは45°に限られず、例えば45°±15°でも使用可能である。
【0042】
再帰反射板5は、少なくとも光線を一部の方向について再帰性反射する光学特性を有する光学部材である。また、反射後の光線は結像する光学特性を有するため、再帰反射板5は結像光学部材または結像光学プレートと表現してもよい。
【0043】
再帰反射板5の具体的な構成については、図2E図2F等を用いて詳述するが、再帰反射板5によって、主光線9020は、z方向に進行しつつ、x、y方向に関して再帰性反射される。これにより、反射光線9021は、再帰反射板5を基準に主光線9020に対して鏡面対称な光路を、再帰反射板5から離れる方向に進行し、透明な部材100を透過して、結像面において実像として空間浮遊映像3を形成する。
【0044】
空間浮遊映像3を形成する光束は、再帰反射板5から空間浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空間浮遊映像3の光学像を通過後も直進する。よって、空間浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像とは異なり、高い指向性を有する映像である。よって、図2の構成では、矢印Aの方向からユーザが視認する場合は、空間浮遊映像3は、明るい映像として視認される。しかし、矢印Bの方向から他の人物が視認する場合は、空間浮遊映像3は、映像として一切視認することはできない。この特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムに採用する場合に好適である。
【0045】
図2E図2Fを用いて再帰反射板5の構成の一例について説明する。再帰反射板5は、透明な部材50の表面に、複数のコーナーリフレクタ9040を、アレイ状に配列した構成となっている。これはコーナーリフレクタアレイまたは多面リフレクタアレイと呼んでもよい。コーナーリフレクタ9040の具体的な構成については、図2G図2H図2Iを用いて詳述するが、光源9110から出射された光線9111、9112、9113、9114は、コーナーリフレクタ9040の2つの鏡面9041、9042によって2回反射され、反射光線9121、9122、9123、9124となる。この2回反射は、x、y方向に関しては、入射方向と同一方向に折り返す(180°回転した方向に進む)再帰性反射となっており、z方向に関しては、全反射により入射角と反射角が一致する正反射となる。
【0046】
すなわち、光線9111~9114は、コーナーリフレクタ9040に対してz方向に対称な直線上に、反射光線9121~9124を生じ、空中実像9120を結像する。なお、光源9110から出射される光線9111~9114は、光源9110からの拡散光を代表した4光線であり、光源9110の拡散特性によっては、再帰反射板5に入射する光線はこれらに限定されないが、いずれの入射光線も同様の反射を引き起こし、空中実像9120を結像する。なお、図面を見やすくするために、光源9110の位置と空中実像9120のx方向の位置をずらして表記しているが、実際は光源9110の位置と空中実像9120のx方向の位置は同じ位置であり、z方向から見ると重なった位置になる。
【0047】
次に、図2G図2H図2Iにて再帰反射板5を構成するコーナーリフレクタ9040の構成および効果について説明する。コーナーリフレクタ9040は、特定の2つの面のみが鏡面9041、9042となっており、それ以外の4面は透明な部材で形成された、直方体である。再帰反射板5は、このコーナーリフレクタ9040が、その対応する鏡面が同一方向を向くようにアレイ配列された構成を有している。
【0048】
上面(+z方向)から見ると、光源9110から出射される光線9111は、特定の入射角で鏡面9041(または鏡面9042)に入射し、反射点9130にて全反射された後、鏡面9042(または鏡面9041)上の反射点9132で再度全反射される。
【0049】
光線9111の、鏡面9041(または鏡面9042)に対する入射角をθとすると、鏡面9041(または鏡面9042)で反射された、第一の反射光線9131の、鏡面9042(または鏡面9041)に対する入射角は、90°-θと表すことができる。したがって、光線9111に対して、第二の反射光線9121は、1回目の反射によって2θ、2回目の反射によって2×(90°-θ)の回転を得るため、合計で180°の反転光路となる。一方、側面(-xと-yの中間方向)から見ると、z方向に対する全反射は、1回のみしか生じない。したがって、鏡面9041または鏡面9042に対する入射角をφとすると、光線9111に対して、反射光線9121は、1回の反射によって2×φの回転を得る。
【0050】
以上より、コーナーリフレクタ9040に入射する光線は、x、y方向には反転光路となる再帰性反射を生じ、z方向には全反射による正反射となる。再帰反射板5を考えると、各光路においても同様の反射を引き起こすので、x、y方向に対しては収束性を持った反転光路によって、z軸方向に対して対称な点に結像する。
【0051】
ここで、図2A図2Cの光学システムでは、再帰反射板2が3軸方向の再帰性反射特性を有している。これにより、再帰反射板2に対して拡散性を持った入射光束が入射した場合、収束性を持った反射光束が、再帰反射板2に対して入射光線の光源が存在する側に向かって進行する。当該収束性を持った反射光束は、空中で結像して空間浮遊映像3を形成する。再帰反射板2から反射した収束性を持った反射光束の主光線の進行方向は、再帰反射板2に対して入射する拡散性を持った入射光束の主光線の進行方向の逆方向になる。
【0052】
これに対し、図2Dの光学システムでは、再帰反射板5が2軸方向の再帰性反射特性を有し、他の1軸方向については正反射する。これにより、再帰反射板5に対して拡散性を持った入射光束が入射した場合、コーナーリフレクタアレイにより反射された収束性を持った反射光束が、再帰反射板5に対して入射光線の光源が存在する側と反対側に向かって進行する。当該収束性を持った反射光束は、空中で結像し空間浮遊映像3を形成することとなる。
【0053】
再帰反射板5のコーナーリフレクタアレイにより反射した収束性を持った反射光束の主光線の進行方向は、再帰反射板5に対して入射する拡散性を持った入射光束の主光線の進行方向の逆方向にはならない。再帰反射板5に入射する拡散性を持った入射光束の主光線の進行方向についての再帰反射板5の板形状の面の法線方向成分と、再帰反射板5で反射して収束性を持った反射光束となった後の主光線の進行方向についての再帰反射板5の板形状の面の法線方向成分は、コーナーリフレクタアレイによる反射前後で変わらず直進する。
【0054】
すなわち、再帰反射板5における反射により、拡散性を持った入射光束は、収束性を持った反射光束に変換されるが、再帰反射板5の板形状の面の法線方向においては、当該光束は、再帰反射板5を通り抜けるように進行することになる。ここで、再帰反射板5に入射する拡散性を持った入射光束と、再帰反射板5から出射する収束性を持った反射光束とは、再帰反射板5の板形状の面を基準として幾何学的に面対称の関係になる。
【0055】
映像出力部10からの光線により結像した空間浮遊像の解像度は、液晶表示パネル11の解像度の他に、図2E図2Fで示す再帰反射板5の再帰反射部の直径DとピッチP(図示なし)に大きく依存する。例えば、7インチのWUXGA(1920×1200画素)液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の直径Dが240μmでピッチPが300μmであれば、空間浮遊像の1画素は300μm相当となる。このため、空間浮遊映像の実効的な解像度は1/3程度に低下する。
【0056】
そこで、空間浮遊映像の解像度を表示装置10の解像度と同等にするためには、再帰反射部の直径DとピッチPを液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射板と液晶表示パネルの画素によるモアレの発生を抑えるため、それぞれのピッチ比を1画素の整数倍から外して設計するとよい。また、形状は、再帰反射部のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置するとよい。
【0057】
なお、本実施例に係る再帰反射板(結像光学プレート)の形状は上述の例に限られない。再帰性反射を実現する様々な形状を有してよい。具体的には、各種キュービックコーナ体、コーナーリフレクタアレイでもよく、スリットミラーアレイ、二面コーナーリフレクタアレイ、多面リフレクタアレイ、その反射面の組み合わせを周期的に配置した形状でもよい。または、ガラスビーズを周期的に配置したカプセルレンズ型再帰性反射素子を、本実施例の再帰反射板の表面に備えてもよい。これらの再帰性反射素子の詳細な構成は、既存の技術を用いればよいので、詳細な説明は省略する。具体的には、特開2017-33005号公報、特開2019-133110号公報、特開2017-67933号公報、WO2009/131128号公報などに開示される技術を用いればよい。
【0058】
なお、図2Dの光学システムでは、表示装置10から出射する映像光はいずれの偏光状態でも構わない。S偏光でもP偏光でも問題ない。
【0059】
以上説明したように、図2Dの光学システムでは、図2A図2Cの光学システムとは異なる再帰反射板を用いた光学システムでありながら、図2A図2Cの光学システムと同様に、より好適な空間浮遊映像を形成することができる。
【0060】
以上説明した、図2A図2B図2C図2Dの光学システムによれば、より明るく、より高品位な空間浮遊映像を提供することができる。
【0061】
<<空間浮遊映像表示装置の内部構成のブロック図>>
【0062】
次に、空間浮遊映像表示装置1000の内部構成のブロック図について説明する。図3は、空間浮遊映像表示装置1000の内部構成の一例を示すブロック図である。
【0063】
空間浮遊映像表示装置1000は、再帰反射部1101、映像表示部1102、導光体1104、光源1105、電源1106、外部電源入力インタフェース1111、操作入力部1107、不揮発性メモリ1108、メモリ1109、制御部1110、映像信号入力部1131、音声信号入力部1133、通信部1132、空中操作検出センサ1351、空中操作検出部1350、音声出力部1140、マイク1139、映像制御部1160、ストレージ部1170、撮像部1180等を備えている。なお、リムーバブルメディアインタフェース1134、姿勢センサ1113、透過型自発光映像表示装置1650、第2の表示装置1680、または二次電池1112などを備えてもよい。
【0064】
空間浮遊映像表示装置1000の各構成要素は、筐体1190に配置されている。なお、図3に示す撮像部1180および空中操作検出センサ1351は、筐体1190の外側に設けられてもよい。
【0065】
図3の再帰反射部1101は、図2A図2B図2Cの再帰反射板2に対応している。再帰反射部1101は、映像表示部1102により変調された光を再帰性反射する。再帰反射部1101からの反射光のうち、空間浮遊映像表示装置1000の外部に出力された光により空間浮遊映像3が形成される。
【0066】
図3の映像表示部1102は、図2A図2B図2Cの液晶表示パネル11に対応している。図3の光源1105は、図2A図2B図2Cの光源装置13と対応している。そして、図3の映像表示部1102、導光体1104、および光源1105は、図2A図2B図2Cの表示装置1に対応している。
【0067】
映像表示部1102は、後述する映像制御部1160による制御により入力される映像信号に基づいて、透過する光を変調して映像を生成する表示部である。映像表示部1102は、図2A図2B図2Cの液晶表示パネル11に対応している。映像表示部1102として、例えば透過型液晶パネルが用いられる。また、映像表示部1102として、例えば反射する光を変調する方式の反射型液晶パネルやDMD(Digital Micromirror Device:登録商標)パネル等が用いられてもよい。
【0068】
光源1105は、映像表示部1102用の光を発生するもので、LED光源、レーザ光源等の固体光源である。電源1106は、外部から外部電源入力インタフェース1111介して入力されるAC電流をDC電流に変換し、光源1105に電力を供給する。また、電源1106は、空間浮遊映像表示装置1000内の各部に、それぞれ必要なDC電流を供給する。二次電池1112は、電源1106から供給される電力を蓄電する。また、二次電池1112は、外部電源入力インタフェース1111を介して、外部から電力が供給されない場合に、光源1105およびその他電力を必要とする構成に対して電力を供給する。すなわち、空間浮遊映像表示装置1000が二次電池1112を備える場合は、外部から電力が供給されない場合でもユーザは空間浮遊映像表示装置1000を使用することが可能となる。
【0069】
導光体1104は、光源1105で発生した光を導光し、映像表示部1102に照射させる。導光体1104と光源1105とを組み合わせたものを、映像表示部1102のバックライトと称することもできる。導光体1104は、主にガラスを用いた構成にしてもよい。導光体1104は、主にプラスチックを用いた構成にしてもよい。導光体1104は、ミラーを用いた構成にしてもよい。導光体1104と光源1105との組み合わせには、様々な方式が考えられる。導光体1104と光源1105との組み合わせについての具体的な構成例については、後で詳しく説明する。
【0070】
空中操作検出センサ1351は、ユーザ230の指による空間浮遊映像3の操作を検出するセンサである。空中操作検出センサ1351は、例えば空間浮遊映像3の表示範囲の全部と重畳する範囲をセンシングする。なお、空中操作検出センサ1351は、空間浮遊映像3の表示範囲の少なくとも一部と重畳する範囲のみをセンシングしてもよい。
【0071】
空中操作検出センサ1351の具体例としては、赤外線などの非可視光、非可視光レーザ、超音波等を用いた距離センサが挙げられる。また、空中操作検出センサ1351は、複数のセンサを複数組み合わせ、2次元平面の座標を検出できるように構成されたものでもよい。また、空中操作検出センサ1351は、ToF(Time of Flight)方式のLiDAR(Light Detection and Ranging)や、画像センサで構成されてもよい。
【0072】
空中操作検出センサ1351は、ユーザが指で空間浮遊映像3として表示されるオブジェクトに対するタッチ操作等を検出するためのセンシングができればよい。このようなセンシングは、既存の技術を用いて行うことができる。
【0073】
空中操作検出部1350は、空中操作検出センサ1351からセンシング信号を取得し、センシング信号に基づいてユーザ230の指による空間浮遊映像3のオブジェクトに対する接触の有無や、ユーザ230の指とオブジェクトとが接触した位置(接触位置)の算出等を行う。空中操作検出部1350は、例えば、FPGA(Field Programmable Gate Array)等の回路で構成される。また、空中操作検出部1350の一部の機能は、例えば制御部1110で実行される空間操作検出用プログラムによりソフトウェアで実現されてもよい。
【0074】
空中操作検出センサ1351および空中操作検出部1350は、空間浮遊映像表示装置1000に内蔵された構成としてもよいが、空間浮遊映像表示装置1000とは別体で外部に設けられてもよい。空間浮遊映像表示装置1000と別体で設ける場合、空中操作検出センサ1351および空中操作検出部1350は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置1000に情報や信号を伝達できるように構成される。
【0075】
また、空中操作検出センサ1351および空中操作検出部1350が別体で設けられてもよい。これにより、空中操作検出機能の無い空間浮遊映像表示装置1000を本体として、空中操作検出機能のみをオプションで追加できるようなシステムを構築することが可能である。また、空中操作検出センサ1351のみを別体とし、空中操作検出部1350が空間浮遊映像表示装置1000に内蔵された構成でもよい。空間浮遊映像表示装置1000の設置位置に対して空中操作検出センサ1351をより自由に配置したい場合等には、空中操作検出センサ1351のみを別体とする構成に利点がある。
【0076】
撮像部1180は、イメージセンサを有するカメラであり、空間浮遊映像3付近の空間、および/またはユーザ230の顔、腕、指などを撮像する。撮像部1180は、複数設けられてもよい。複数の撮像部1180を用いることで、あるいは深度センサ付きの撮像部を用いることで、ユーザ230による空間浮遊映像3のタッチ操作の検出処理の際、空中操作検出部1350を補助することができる。撮像部1180は、空間浮遊映像表示装置1000と別体で設けられてもよい。撮像部1180を空間浮遊映像表示装置1000と別体で設ける場合、有線または無線の通信接続路などを介して空間浮遊映像表示装置1000に撮像信号を伝達できるように構成すればよい。
【0077】
例えば、空中操作検出センサ1351が、空間浮遊映像3の表示面を含む平面(侵入検出平面)を対象として、この侵入検出平面内への物体の侵入の有無を検出する物体侵入センサとして構成された場合、侵入検出平面内に侵入していない物体(例えば、ユーザの指)が侵入検出平面からどれだけ離れているのか、あるいは物体が侵入検出平面にどれだけ近いのかといった情報を、空中操作検出センサ1351では検出できない場合がある。
【0078】
このような場合、複数の撮像部1180の撮像画像に基づく物体の深度算出情報や深度センサによる物体の深度情報等の情報を用いることにより、物体と侵入検出平面との距離を算出することができる。そして、これらの情報や、物体と侵入検出平面との距離等の各種情報は、空間浮遊映像3に対する各種表示制御に用いられる。
【0079】
また、空中操作検出センサ1351を用いずに、撮像部1180の撮像画像に基づき、空中操作検出部1350がユーザ230による空間浮遊映像3のタッチ操作を検出するようにしてもよい。
【0080】
また、撮像部1180が空間浮遊映像3を操作するユーザ230の顔を撮像し、制御部1110がユーザ230の識別処理を行うようにしてもよい。また、空間浮遊映像3を操作するユーザ230の周辺や背後に他人が立っており、他人が空間浮遊映像3に対するユーザ230の操作を覗き見ていないか等を判別するため、撮像部1180は、空間浮遊映像3を操作するユーザ230と、ユーザ230の周辺領域とを含めた範囲を撮像するようにしてもよい。
【0081】
操作入力部1107は、例えば操作ボタンや、リモートコントローラ等の信号受信部または赤外光受光部であり、ユーザ230による空中操作(タッチ操作)とは異なる操作についての信号を入力する。空間浮遊映像3をタッチ操作する前述のユーザ230とは別に、操作入力部1107は、例えば管理者が空間浮遊映像表示装置1000を操作するために用いられてもよい。
【0082】
映像信号入力部1131は、外部の映像出力装置を接続して映像データを入力する。映像信号入力部1131は、様々なデジタル映像入力インタフェースが考えられる。例えば、HDMI(登録商標)(High―Definition Multimedia Interface)規格の映像入力インタフェース、DVI(Digital Visual Interface)規格の映像入力インタフェース、またはDisplayPort規格の映像入力インタフェースなどで構成すればよい。
【0083】
または、アナログRGBや、コンポジットビデオなどのアナログ映像入力インタフェースを設けてもよい。音声信号入力部1133は、外部の音声出力装置を接続して音声データを入力する。音声信号入力部1133は、HDMI規格の音声入力インタフェース、光デジタル端子インタフェース、または、同軸デジタル端子インタフェース、などで構成すればよい。HDMI規格のインタフェースの場合は、映像信号入力部1131と音声信号入力部1133とは、端子およびケーブルが一体化したインタフェースとして構成されてもよい。音声出力部1140は、音声信号入力部1133に入力された音声データに基づいた音声を出力することが可能である。音声出力部1140は、スピーカーで構成してもよい。
【0084】
また、音声出力部1140は、内蔵の操作音やエラー警告音を出力してもよい。または、HDMI規格に規定されるAudio Return Channel機能のように、外部機器にデジタル信号として出力する構成を音声出力部1140としてもよい。マイク1139は、空間浮遊映像表示装置1000の周辺の音を収音し、信号に変換して音声信号を生成するマイクである。ユーザの声など人物の声をマイクが収録して、生成した音声信号を後述する制御部1110が音声認識処理を行って、当該音声信号から文字情報を取得するように構成してもよい。
【0085】
不揮発性メモリ1108は、空間浮遊映像表示装置1000で用いる各種データを格納する。不揮発性メモリ1108に格納されるデータには、例えば、空間浮遊映像3に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ1109は、空間浮遊映像3として表示する映像データや装置の制御用データ等を記憶する。
【0086】
制御部1110は、接続される各部の動作を制御する。また、制御部1110は、メモリ1109に記憶されるプログラムと協働して、空間浮遊映像表示装置1000内の各部から取得した情報に基づく演算処理を行ってもよい。
【0087】
通信部1132は、有線または無線の通信インタフェースを介して、外部機器や外部のサーバ等と通信を行う。通信部1132が有線の通信インタフェースを有する場合は、当該有線の通信インタフェースは、例えば、イーサネット規格のLANインタフェースなどで構成すればよい。通信部1132が無線の通信インタフェースを有する場合は、例えば、Wi―Fi方式の通信インタフェース、Bluetooth方式の通信インタフェース、4G、5Gなどの移動体通信インタフェースなどで構成すればよい。通信部1132を介した通信により、映像データ、画像データ、音声データ等の各種データが送受信される。
【0088】
また、リムーバブルメディアインタフェース1134は、着脱可能な記録媒体(リムーバブルメディア)を接続するインタフェースである。着脱可能な記録媒体(リムーバブルメディア)は、ソリッドステートドライブ(SSD)などの半導体素子メモリ、ハードディスクドライブ(HDD)などの磁気記録媒体記録装置、または光ディスクなどの光学記録メディアなどで構成してもよい。リムーバブルメディアインタフェース1134は着脱可能な記録媒体記録されている、映像データ、画像データ、音声データ等の各種データなどの各種情報を読み出すことが可能である。着脱可能な記録媒体に記録された映像データ、画像データ等は、映像表示部1102と再帰反射部1101とを介して空間浮遊映像3として出力される。
【0089】
ストレージ部1170は、映像データ、画像データ、音声データ等の各種データなどの各種情報を記録する記憶装置である。ストレージ部1170は、ハードディスクドライブ(HDD)などの磁気記録媒体記録装置や、ソリッドステートドライブ(SSD)などの半導体素子メモリで構成してもよい。ストレージ部1170には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部1170は、通信部1132を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。
【0090】
ストレージ部1170に記録された映像データ、画像データ等は、映像表示部1102と再帰反射部1101とを介して空間浮遊映像3として出力される。空間浮遊映像3として表示される、表示アイコンやユーザが操作するためのオブジェクト等の映像データ、画像データ等も、ストレージ部1170に記録される。
【0091】
空間浮遊映像3として表示される表示アイコンやオブジェクト等のレイアウト情報や、オブジェクトに関する各種メタデータの情報等もストレージ部1170に記録される。ストレージ部1170に記録された音声データは、例えば音声出力部1140から音声として出力される。
【0092】
映像制御部1160は、映像表示部1102に入力する映像信号に関する各種制御を行う。映像制御部1160は、映像処理回路と称してもよく、例えば、ASIC、FPGA、映像用プロセッサなどのハードウェアで構成されてもよい。なお、映像制御部1160は、映像処理部、画像処理部と称してもよい。映像制御部1160は、例えば、メモリ1109に記憶させる映像信号と、映像信号入力部1131に入力された映像信号(映像データ)等のうち、どの映像信号を映像表示部1102に入力するかといった映像切り替えの制御等を行う。
【0093】
また、映像制御部1160は、メモリ1109に記憶させる映像信号と、映像信号入力部1131から入力された映像信号とを重畳した重畳映像信号を生成し、重畳映像信号を映像表示部1102に入力することで、合成映像を空間浮遊映像3として形成する制御を行ってもよい。
【0094】
また、映像制御部1160は、映像信号入力部1131から入力された映像信号やメモリ1109に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。
【0095】
また、映像制御部1160は、映像表示部1102に入力する映像信号に対して、ユーザ230の空中操作(タッチ操作)を補助するための特殊効果映像処理等を行ってもよい。特殊効果映像処理は、例えば、空中操作検出部1350によるユーザ230のタッチ操作の検出結果や、撮像部1180によるユーザ230の撮像画像に基づいて行われる。
【0096】
姿勢センサ1113は、重力センサまたは加速度センサ、またはこれらの組み合わせにより構成されるセンサであり、空間浮遊映像表示装置1000が設置されている姿勢を検出することができる。姿勢センサ1113の姿勢検出結果に基づいて、制御部1110が、接続される各部の動作を制御してもよい。例えば、ユーザの使用状態としての好ましくない姿勢を検出した場合に、映像表示部1102の表示していた映像の表示を中止し、ユーザにエラーメッセージを表示するような制御を行ってもよい。または、姿勢センサ1113により空間浮遊映像表示装置1000の設置姿勢が変化したことを検出した場合に、映像表示部1102の表示していた映像の表示の向きを回転させる制御を行ってもよい。
【0097】
ここまで説明したように、空間浮遊映像表示装置1000には、様々な機能が搭載されている。ただし、空間浮遊映像表示装置1000は、これらのすべての機能を備える必要はなく、空間浮遊映像3を形成する機能があればどのような構成でもよい。
【0098】
<空間浮遊映像表示装置の構成例>
次に、空間浮遊映像表示装置の構成例について説明する。本実施例に係る空間浮遊映像表示装置の構成要素のレイアウトは、使用形態に応じて様々なレイアウトがあり得る。以下、図4A図4Mのそれぞれのレイアウトについて説明する。なお、図4A図4Mのいずれの例においても、空間浮遊映像表示装置1000を囲む太い線は空間浮遊映像表示装置1000の筐体構造の一例を示している。
【0099】
図4Aは、空間浮遊映像表示装置の構成の一例を示す図である。図4Aに示す空間浮遊映像表示装置1000は、図2Aの光学システムに対応する光学システムを搭載するものである。図4Aに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Aでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。なお、x方向がユーザから見て左右方向、y方向がユーザから見て前後方向(奥行方向)、z方向が上下方向(鉛直方向)である。以下、図4の各図においてx方向、y方向、z方向の定義は同じであるので、繰り返しの説明は省略する。
【0100】
図4Bは、空間浮遊映像表示装置の構成の一例を示す図である。図4Bに示す空間浮遊映像表示装置1000は、図2Aの光学システムに対応する光学システムを搭載するものである。図4Bに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Bでは、空間浮遊映像表示装置は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。ここで、図4Bに示すように、空中操作検出センサ1351は、ユーザ230の指を上側からセンシングすることで、ユーザの爪によるセンシング光の反射を、タッチ検出に利用することができる。一般的に、爪は指の腹よりも反射率が高いため、このように構成することによりタッチ検出の精度を上げることができる。
【0101】
図4Cは、空間浮遊映像表示装置の構成の一例を示す図である。図4Cに示す空間浮遊映像表示装置1000は、図2Bの光学システムに対応する光学システムを搭載するものである。図4Cに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Cでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
【0102】
図4Dは、空間浮遊映像表示装置の構成の一例を示す図である。図4Dに示す空間浮遊映像表示装置1000は、図2Bの光学システムに対応する光学システムを搭載するものである。図4Dに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Dでは、空間浮遊映像表示装置1000は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。ここで、図4Dに示すように、空中操作検出センサ1351は、ユーザ230の指を上側からセンシングすることで、ユーザの爪によるセンシング光の反射を、タッチ検出に利用することができる。一般的に、爪は指の腹よりも反射率が高いため、このように構成することによりタッチ検出の精度を上げることができる。
【0103】
図4Eは、空間浮遊映像表示装置の構成の一例を示す図である。図4Eに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Eに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。すなわち、図4Eでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、真上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
【0104】
図4Fは、空間浮遊映像表示装置の構成の一例を示す図である。図4Fに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Fに示す空間浮遊映像表示装置1000は、空間浮遊映像3が形成される側の面が、空間浮遊映像表示装置1000の正面(ユーザ230の方向)を向くように、縦置きにして設置される。すなわち、図4Fでは、空間浮遊映像表示装置1000は、透明な部材100が装置の正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ230側に形成される。空間浮遊映像3の光は、ユーザ手前方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
【0105】
図4Gは、空間浮遊映像表示装置の構成の一例を示す図である。図4Gに示す空間浮遊映像表示装置1000は、図2Cの光学システムに対応する光学システムを搭載するものである。図4Aから図4Fまでの空間浮遊映像表示装置の光学システムにおいては、表示装置1から発せられる映像光の中心の光路はyz平面上にあった。すなわち、図4Aから図4Fまでの空間浮遊映像表示装置の光学システム内においては、映像光はユーザから見て前後方向、上下方向に進行した。これに対し、図4Gに示す空間浮遊映像表示装置の光学システムにおいては、表示装置1から発せられる映像光の中心の光路はxy平面上にある。すなわち、図4Gに示す空間浮遊映像表示装置の光学システム内においては、映像光はユーザから見て左右方向および前後方向に進行する。図4Gに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が、装置の正面(ユーザ230の方向)を向くように設置される。すなわち、図4Gでは、空間浮遊映像表示装置1000は、透明な部材100が装置正面(ユーザ230の方向)に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対してユーザ側に形成される。空間浮遊映像3の光は、ユーザ手前方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
【0106】
図4Hは、空間浮遊映像表示装置の構成の一例を示す図である。図4Hの空間浮遊映像表示装置1000は、装置背面(ユーザ230が空間浮遊映像3を視認する位置の反対側、すなわち、ユーザ230に向かう空間浮遊映像3の映像光の進行方向の反対側)にガラスやプラスチックなどの透明板100Bを有する窓を有する点で、図4Gの空間浮遊映像表示装置と相違する。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。図4Hの空間浮遊映像表示装置1000は、空間浮遊映像3に対して、空間浮遊映像3の映像光の進行方向の反対側の位置に、透明板100Bを有する窓を備えている。よって、ユーザ230が空間浮遊映像3を視認する場合に、空間浮遊映像3の背景として、空間浮遊映像表示装置1000の後ろ側の景色を認識することができる。よって、ユーザ230は、空間浮遊映像3が空間浮遊映像表示装置1000の後ろ側の景色の前面の空中に浮遊しているように認識することができる。これにより、空間浮遊映像3の空中浮遊感をより強調することができる。
【0107】
なお、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、透明板100Bへ向かう可能性がある。透明板100Bの表面のコート性能によっては、この光が透明板100Bの表面で再び反射され迷光としてユーザに視認される可能性がある。よって、当該迷光を防止するために、空間浮遊映像表示装置1000装置の背面の前記窓に、透明板100Bを設けない構成としてもよい。
【0108】
図4Iは、空間浮遊映像表示装置の構成の一例を示す図である。図4Iの空間浮遊映像表示装置1000は、装置背面(ユーザ230が空間浮遊映像3を視認する位置の反対側)に配置される透明板100Bの窓に、遮光のための開閉ドア1410を設けている点で、図4Hの空間浮遊映像表示装置と相違する。その他の構成については、図4Hの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
【0109】
図4Iの空間浮遊映像表示装置1000の開閉ドア1410は、例えば、遮光板を有し、遮光板を移動(スライド)する機構、回転する機構または着脱する機構を備えることで、空間浮遊映像表示装置1000の奥側に位置する透明板100Bの窓(背面側窓)について、開口状態と遮光状態を切り替えることができる。開閉ドア1410による遮光板の移動(スライド)や回転は、図示しないモータの駆動による電動式としてもよい。当該モータは図3の制御部1110が制御してもよい。なお、図4Iの例では、開閉ドア1410の遮光板の枚数は2枚の例を開示している。これに対し、開閉ドア1410の遮光板の枚数は1枚でもよい。
【0110】
例えば、空間浮遊映像表示装置1000の透明板100Bの窓の奥に見える景色が屋外の場合は、天気によって太陽光の明るさが可変する。屋外の太陽光が強い場合、空間浮遊映像3の背景が明るくなり過ぎて、ユーザ230が空間浮遊映像3の視認性が下がる場合もある。このような場合に、開閉ドア1410の遮光板の移動(スライド)、回転または装着により、背面側窓を遮光状態にすれば、空間浮遊映像3の背景は暗くなるので、相対的に空間浮遊映像3の視認性を上げることができる。このような開閉ドア1410の遮光板による遮蔽動作は、ユーザ230の手の力により直接的に行われてもよい。図3の操作入力部1107を介した操作入力に応じて、制御部1110が図示しないモータを制御して開閉ドア1410の遮光板による遮蔽動作を行ってもよい。
【0111】
なお、背面側窓近傍など、空間浮遊映像表示装置1000の背面側(ユーザ230の反対側)に照度センサを設けて、背面側窓の先の空間の明るさを測定してもよい。この場合、当該照度センサの検出結果に応じて、図3の制御部1110が図示しないモータを制御して開閉ドア1410の遮光板による開閉動作を行ってもよい。このように開閉ドア1410の遮光板による開閉動作を制御することにより、ユーザ230が手動で開閉ドア1410の遮光板の開閉動作をしなくとも、空間浮遊映像3の視認性をより好適に維持することが可能となる。
【0112】
また、開閉ドア1410による遮光板を、手動による着脱式としてもよい。空間浮遊映像表示装置1000の使用用途、設置環境に応じて、背面側窓を開口状態とするか、遮光状態とするかをユーザが選択することができる。長期間にわたって背面側窓を遮光状態のまま使用する予定であれば、着脱式の遮光板を遮光状態のまま固定すればよい。また、長期間にわたって背面側窓を開口状態のまま使用する予定であれば、着脱式の遮光板を外した状態のまま使用すればよい。遮光板の着脱はネジを用いてもよく、引掛け構造を用いてもよく、嵌め込み構造を用いてもよい。
【0113】
なお、図4Iの空間浮遊映像表示装置1000の例でも、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、透明板100Bへ向かう可能性がある。透明板100Bの表面のコート性能によっては、この光が透明板100Bの表面で再び反射され迷光としてユーザに視認される可能性がある。よって、当該迷光を防止するために、空間浮遊映像表示装置1000装置の背面の前記窓に、透明板100Bを設けない構成としてもよい。透明板100Bを有しない窓に、上述の開閉ドア1410を備えるようにすればよい。当該迷光を防止するため上述の開閉ドア1410の遮光板の筐体内側の面は光反射率の低いコートまたは素材を有することが望ましい。
【0114】
図4Jは、空間浮遊映像表示装置の構成の一例を示す図である。図4Jの空間浮遊映像表示装置1000は、図4Hの空間浮遊映像表示装置の背面側窓に、ガラスやプラスチックである透明板100Bを配置する代わりに、電子制御透過率可変装置1620を配置する点で相違する。その他の構成については、図4Hの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。電子制御透過率可変装置1620の例は、液晶シャッターなどである。
【0115】
すなわち、液晶シャッターは2つの偏光板に挟まれた液晶素子を電圧制御することにより、光の透過光を制御することができる。よって、液晶シャッターを制御して透過率を大きくすれば、空間浮遊映像3の背景は、背面側窓越しの景色が透けて見える状態となる。また、液晶シャッターを制御して透過率を大きくすれば、空間浮遊映像3の背景として背面側窓越しの景色は見えない状態とすることができる。
また、液晶シャッターは中間長の制御が可能であるので、透過率50%などの状態にもすることができる。例えば、図3の操作入力部1107を介した操作入力に応じて、制御部1110が、電子制御透過率可変装置1620の透過率を制御すればよい。このように構成すれば、空間浮遊映像3の背景として背面側窓越しの景色を見たいものの、背景である背面側窓越しの景色が明る過ぎて空間浮遊映像3の視認性が下がってしまう場合などに、電子制御透過率可変装置1620の透過率を調整することにより、空間浮遊映像3の視認性を調整することが可能となる。
【0116】
なお、背面側窓近傍など、空間浮遊映像表示装置1000の背面側(ユーザ230の反対側)に照度センサを設けて、背面側窓の先の空間の明るさを測定してもよい。この場合、当該照度センサの検出結果に応じて、図3の制御部1110が、電子制御透過率可変装置1620の透過率を制御すればよい。このようにすれば、ユーザ230が図3の操作入力部1107を介した操作入力を行わなくとも、背面側窓の先の空間の明るさに応じて電子制御透過率可変装置1620の透過率を調整することができるので、空間浮遊映像3の視認性をより好適に維持することが可能となる。
【0117】
また、上述の例では、電子制御透過率可変装置1620として液晶シャッターの例を説明した。これに対し、電子制御透過率可変装置1620の別の例として、電子ペーパーを用いてもよい。電子ペーパーを用いても、上述と同様の効果を得ることができる。そのうえ、電子ペーパーは中間調状態を維持するための消費電力が非常に小さい。よって、液晶シャッターを採用した場合に比べて、低消費電力の空間浮遊映像表示装置を実現することができる。
【0118】
図4Kは、空間浮遊映像表示装置の構成の一例を示す図である。図4Kの空間浮遊映像表示装置1000は、透明な部材100の代わりに、透過型自発光映像表示装置1650を有する点で、図4Gの空間浮遊映像表示装置と相違する。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
【0119】
図4Kの空間浮遊映像表示装置1000では、透過型自発光映像表示装置1650の表示面を、映像光束が透過したのち、空間浮遊映像表示装置1000の外部に空間浮遊映像3を形成する。すなわち、2次元平面ディスプレイである透過型自発光映像表示装置1650で映像を表示しているときに、透過型自発光映像表示装置1650の映像の更にユーザ手前側に、空間浮遊映像3を飛び出す映像として表示することができる。このときユーザ230は奥行位置の異なる2つの映像を同時に視認することができる。透過型自発光映像表示装置1650は、例えば、特開2014-216761号公報などに開示される、透過型有機ELパネルなどの既存の技術を用いて構成すればよい。なお、透過型自発光映像表示装置1650は、図3に図示されていないが、図3の空間浮遊映像表示装置1000の一構成部として、制御部1110などの他の処理部と接続されるように構成すればよい。
【0120】
ここで、透過型自発光映像表示装置1650に、背景とキャラクターなどのオブジェクトの両者を表示した後に、キャラクターなどのオブジェクトだけ手前側の空間浮遊映像3に移動してくる、などの演出を行えば、ユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
【0121】
また、空間浮遊映像表示装置1000の内部を遮光状態にしておけば、透過型自発光映像表示装置1650の背景は十分暗くなる。よって、表示装置1に映像を表示せず、または表示装置1の光源を不点灯とし、透過型自発光映像表示装置1650だけに映像を表示している場合、ユーザ230には、透過型自発光映像表示装置1650は透過型ディスプレイではなく通常の2次元平面ディスプレイであるように見える(本発明の実施例における空間浮遊映像3はスクリーンのない空間に実像の光学像として表示するため、表示装置1の光源を不点灯とすれば、空間浮遊映像3の表示予定位置は何もない空間になる。)。よって、透過型自発光映像表示装置1650を、あたかも一般的な2次元平面ディスプレイとして使用して映像を表示しているときに、キャラクターやオブジェクトなどを突然、空間浮遊映像3として空中に表示することでユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
【0122】
なお、空間浮遊映像表示装置1000の内部をより暗くすればするほど、透過型自発光映像表示装置1650は2次元平面ディスプレイのように見える。よって、透過型自発光映像表示装置1650の空間浮遊映像表示装置1000の内部側の面(偏光分離部材101Bで反射した映像光の透過型自発光映像表示装置1650への入射面、すなわち、透過型自発光映像表示装置1650の空間浮遊映像3と反対側の面)に、偏光分離部材101Bで反射した映像光の偏波を透過し当該偏波と90°位相が異なる偏波を吸収する吸収型偏光板(図示せず)を設けてもよい。このようにすれば、空間浮遊映像3を形成する映像光への影響はさほど大きくないが、外部から透過型自発光映像表示装置1650を介して、空間浮遊映像表示装置1000の内部へ入射する光を大幅に低減することができ、空間浮遊映像表示装置1000の内部をより暗くすることができ、好適である。
【0123】
図4Lは、空間浮遊映像表示装置の構成の一例を示す図である。図4Lの空間浮遊映像表示装置1000は、図4Kの空間浮遊映像表示装置の変形例である。空間浮遊映像表示装置1000における構成の配置の向きが図4Kの空間浮遊映像表示装置と異なり、図4Fの空間浮遊映像表示装置に近い配置となっている。各構成の機能、動作などについては、図4Kの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
【0124】
図4Lの空間浮遊映像表示装置でも、透過型自発光映像表示装置1650を映像光の光束が透過したのち、透過型自発光映像表示装置1650よりもユーザ230側に空間浮遊映像3を形成する。
【0125】
図4Kの空間浮遊映像表示装置の例でも、図4Lの空間浮遊映像表示装置の例でも、ユーザ230からは、透過型自発光映像表示装置1650の映像の手前に、空間浮遊映像3が重なって表示される。ここで、空間浮遊映像3の位置と透過型自発光映像表示装置1650の映像の位置は、奥行方向に差があるように構成している。よって、ユーザが頭(視点の位置)を動かすと視差により2つの映像の奥行を認識することができる。よって、奥行位置の異なる2枚の映像を表示することで、立体視眼鏡などを必要とせず裸眼で、3次元的な映像体験をより好適にユーザに提供することができる。
【0126】
図4Mは、空間浮遊映像表示装置の構成の一例を示す図である。図4Mの空間浮遊映像表示装置1000は、図4Gの空間浮遊映像表示装置の偏光分離部材101Bに対してユーザから見て奥側に、第2の表示装置1680を設ける。その他の構成については、図4Gの空間浮遊映像表示装置と同じ構成であるため、繰り返しの説明を省略する。
【0127】
図4Mに示す構成例では、第2の表示装置1680が空間浮遊映像3の表示位置の奥側に設けられており、映像表示面が空間浮遊映像3に向けられている。かかる構成により、ユーザ230からみると、第2の表示装置1680の映像と、空間浮遊映像3との、2つの奥行の異なる位置に表示される映像を重ねて視認することができる。すなわち、第2の表示装置1680は、空間浮遊映像3を視認するユーザ230側の方向に映像を表示する向きに配置されている、といえる。なお、第2の表示装置1680は、図3に図示されていないが、図3の空間浮遊映像表示装置1000の一構成部として、制御部1110などの他の処理部と接続されるように構成すればよい。
【0128】
なお、図4Mの空間浮遊映像表示装置1000の第2の表示装置1680の映像光は、偏光分離部材101Bを透過したのち、ユーザ230に視認される。したがて、第2の表示装置1680の映像光がより好適に偏光分離部材101Bを透過するためには、第2の表示装置1680から出力される映像光は、偏光分離部材101Bがより好適に透過する振動方向の偏波の偏光であることが望ましい。すなわち、表示装置1から出力される映像光の偏波と同じ振動方向の偏波の偏光であることが望ましい。例えば、表示装置1から出力される映像光がS偏光である場合は、第2の表示装置1680から出力される映像光もS偏光とすることが望ましい。また、表示装置1から出力される映像光がP偏光である場合は、第2の表示装置1680から出力される映像光もP偏光とすることが望ましい。
【0129】
図4Mの空間浮遊映像表示装置の例も、空間浮遊映像3の奥に第2の映像を表示するという点で、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例と同様の効果を有する。ただし、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例と異なり、図4Mの空間浮遊映像表示装置の例では、空間浮遊映像3を形成するための映像光の光束が第2の表示装置1680を通過することはない。よって、第2の表示装置1680は、透過型自発光映像表示装置である必要はなく、2次元平面ディスプレイである液晶ディスプレイでよい。第2の表示装置1680は、有機ELディスプレイでもよい。よって、図4Mの空間浮遊映像表示装置の例では、図4Kの空間浮遊映像表示装置の例および図4Lの空間浮遊映像表示装置の例よりも、空間浮遊映像表示装置1000をより低コストで実現することが可能である。
【0130】
ここで、表示装置1から出力される映像光の偏光分布および偏光分離部材101Bの性能によっては、表示装置1から出力される映像光の一部が偏光分離部材101Bで反射され、第2の表示装置1680へ向かう可能性がある。この光(映像光の一部)は、第2の表示装置1680の表面で再び反射され迷光としてユーザに視認される可能性がある。
【0131】
よって、当該迷光を防止するために、第2の表示装置1680の表面に吸収型偏光板を設けてもよい。この場合、当該吸収型偏光板は、第2の表示装置1680から出力される映像光の偏波を透過し、第2の表示装置1680から出力される映像光の偏波と位相が90°異なる偏波を吸収する吸収型偏光板とすればよい。なお、第2の表示装置1680が液晶ディスプレイである場合は、当該液晶ディスプレイ内部の映像出射側にも吸収型偏光板が存在する。しかしながら、当該液晶ディスプレイ内部の映像出射側の吸収型偏光板の更に出射面にカバーガラス(映像表示面側のカバーガラス)が有る場合は、液晶ディスプレイ外部からの光により当該カバーガラスの反射で生じる迷光を防ぐことができない。よって、上述の吸収型偏光板を当該カバーガラスの表面に別途設ける必要がある。
【0132】
なお、2次元平面ディスプレイである第2の表示装置1680で映像を表示しているときに、第2の表示装置1680の映像の更にユーザ手前側に、空間浮遊映像3を映像として表示することができる。このときユーザ230は、奥行位置の異なる2つの映像を同時に視認することができる。空間浮遊映像3にキャラクターを表示して、第2の表示装置1680に背景を表示することにより、ユーザ230があたかもキャラクターが存在する空間を立体的に視認しているような効果を提供することができる。
【0133】
また、第2の表示装置1680に、背景とキャラクターなどのオブジェクトの両者を表示した後に、キャラクターなどのオブジェクトだけ手前側の空間浮遊映像3に移動してくる、などの演出を行えば、ユーザ230により効果的なサプライズ演出での映像体験を提供することができる。
【0134】
次に、図4Nは、空間浮遊映像表示装置の構成の一例を示す図である。図4Nの空間浮遊映像表示装置1000は、図2Dの光学システムを採用した空間浮遊映像表示装置である。図2A図2Cの光学システムを採用した空間浮遊映像表示装置の例と同様に、透明な部材100を透過してきた映像光により空間浮遊映像3として空中に結像する。また、ユーザから見て透明な部材100の奥側に配置された空中操作検出センサ1351のセンシング光を用いて、ユーザの指9004による空間浮遊映像3の操作を検出することができる。
【0135】
図2A図2Cの光学システムを採用した空間浮遊映像表示装置の例においても、図2Dの光学システムを採用した空間浮遊映像表示装置の例においても、透明な部材100の手前に空間浮遊映像3が結像し、ユーザから見て透明な部材100の奥側に配置された空中操作検出センサ1351のセンシング光を用いて、ユーザの指による空間浮遊映像3の操作を検出することができる。よって、図2Dの光学システムを採用した空間浮遊映像表示装置は、ユーザから見て透明な部材100の奥側に図2A図2Cの光学システムを配置した空間浮遊映像表示装置に対して、光学システムが異なっている。
【0136】
しかしながら、ユーザから見た図2Dの光学システムを採用した空間浮遊映像表示装置の使い勝手は、図2A図2Cの光学システムを採用した空間浮遊映像表示装置とほぼ同様の使い勝手を有することとなる。
【0137】
次に、図4Oは、空間浮遊映像表示装置の構成の一例を示す図である。図4Oは、図4Nの空間浮遊映像表示装置1000において、内部の光学システムの構成も見えるよう示した図である。図4Oに示す空間浮遊映像表示装置1000は、図2Dの光学システムに対応する光学システムを搭載するものである。図4Oに示す空間浮遊映像表示装置1000では、空間浮遊映像3が形成される側の面が上方を向くように、横置きにして設置される。
【0138】
すなわち、図4Oでは、空間浮遊映像表示装置1000は、透明な部材100が装置上面に設置される。空間浮遊映像3が、空間浮遊映像表示装置1000の透明な部材100の面に対して上方に形成される。空間浮遊映像3の光は、斜め上方向に進行する。空中操作検出センサ1351を図のように設けた場合は、ユーザ230の指による空間浮遊映像3の操作を検出することができる。
【0139】
ここで、図4Oの構成を図4Aの構成と比較し、その差異を確認する。図4Aにおいて、表示装置1と空間浮遊映像3とは偏光分離部材101の面を基準に面対称の関係にある。これに対し、図4Oにおいて、表示装置1と空間浮遊映像3とは再帰反射板5の面を基準に面対称の関係にある。また、図4Aの構成には、再帰反射板2とλ/4板21が存在するが、図4Oにはこれらが存在しない。また、図4Aにおいては吸収型偏光板12がある方がより好適であるが、図4Oでは、吸収型偏光板12は特に必要はない。
【0140】
すなわち、図4Aの構成における図2Aの光学システムを図2Dの光学システムに置き換え、図4Oの構成に置換するためには、以下のようにすればよい。すなわち、図4Aの構成における偏光分離部材101を再帰反射板5に置き変え、図4Aの構成から再帰反射板2とλ/4板21とを取り除けばよい。吸収型偏光板12はあってもなくてもよい。この考えに基づいた置換を行えば、図4A図4Gの空間浮遊映像表示装置の構成に搭載される図2A図2Cの光学システムを図2Dの光学システムに置換し、図2Dの光学システムを搭載する空間浮遊映像表示装置に置換することができる。このとき、図4Aおよび図4Bでは偏光分離部材101を再帰反射板5に置き変えればよく、図4C図4Gでは偏光分離部材101Bを再帰反射板5に置き変えればよい。
【0141】
このようにすれば、図4A図4Gの空間浮遊映像表示装置の構成において光学システムを図2Dの光学システムに置換した空間浮遊映像表示装置を実現することができる。これらの図2Dの光学システムに置換した空間浮遊映像表示装置においても、図4A図4Gの空間浮遊映像表示装置とほぼ同様の使い勝手の空間浮遊映像表示装置を実現することができる。
【0142】
<表示装置>
次に、本実施例の表示装置1について、図を用いて説明する。本実施例の表示装置1は、映像表示素子11(液晶表示パネル)と共に、その光源を構成する光源装置13を備えており、図5では、光源装置13を液晶表示パネルと共に展開斜視図として示している。
【0143】
この液晶表示パネル(映像表示素子11)は、図5に矢印30で示すように、バックライト装置である光源装置13から、挟角な拡散特性を有する、すなわち、指向性(直進性)が強く、かつ、偏光面を一方向に揃えたレーザ光に似た特性の照明光束を受光する。液晶表示パネル(映像表示素子11)は、入力される映像信号に応じて受光した照明光束を変調する。変調された映像光は、再帰反射板2により反射し、透明な部材100を透過して、実像である空間浮遊像を形成する(図1参照)。
【0144】
また、図5では、表示装置1を構成する液晶表示パネル11と、更に、光源装置13からの出射光束の指向特性を制御する光方向変換パネル54、および、必要に応じ挟角拡散板(図示せず)を備えて構成されている。すなわち、液晶表示パネル11の両面には偏光板が設けられ、特定の偏波の映像光が映像信号により光の強度を変調して出射する(図5の矢印30を参照)構成となっている。これにより、所望の映像を指向性(直進性)の高い特定偏波の光として、光方向変換パネル54を介して、再帰反射板2に向けて投写し、再帰反射板2で反射後、店舗(空間)の外部の監視者の眼に向けて透過して空間浮遊映像3を形成する。なお、上述した光方向変換パネル54の表面には保護カバー50(図6図7を参照)を設けてよい。
【0145】
<表示装置の例1>
図6には、表示装置1の具体的な構成の一例を示す。図6では、図5の光源装置13の上に液晶表示パネル11と光方向変換パネル54を配置している。この光源装置13は、図5に示したケース上に、例えば、プラスチックなどにより形成され、その内部にLED素子201、導光体203を収納して構成されており、導光体203の端面には、図5等にも示したように、それぞれのLED素子201からの発散光を略平行光束に変換するために、受光部に対して対面に向かって徐々に断面積が大きくなる形状を有し、内部を伝搬する際に複数回全反射することで発散角が徐々に小さくなるような作用を有するレンズ形状を設けている。表示装置1における上面には、かかる表示装置1を構成する液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面(本例では左側の端面)には、半導体光源であるLED(Light Emitting Diode)素子201や、その制御回路を実装したLED基板202が取り付けられる。LED基板202の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンクが取り付けられてもよい。
【0146】
また、光源装置13のケースの上面に取り付けられる液晶表示パネルのフレーム(図示せず)には、当該フレームに取り付けられた液晶表示パネル11と、更に、当該液晶表示パネル11に電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)(図示せず)などが取り付けられて構成される。すなわち、映像表示素子である液晶表示パネル11は、固体光源であるLED素子201と共に、電子装置を構成する制御回路(図3の映像制御部1160)からの制御信号に基づいて、透過光の強度を変調することによって表示映像を生成する。この時、生成される映像光は拡散角度が狭く特定の偏波成分のみとなるため、映像信号により駆動された面発光レーザ映像源に近い、従来にない新しい映像表示装置が得られることとなる。なお、現状では、レーザ装置により、上述した表示装置1で得られる画像と同等のサイズのレーザ光束を得ることは、技術的にも安全上からも不可能である。そこで、本実施例では、例えば、LED素子を備えた一般的な光源からの光束から、上述した面発光レーザ映像光に近い光を得る。
【0147】
続いて、光源装置13のケース内に収納されている光学系の構成について、図6と共に、図7を参照しながら詳細に説明する。
【0148】
図6および図7は断面図であるため、光源を構成する複数のLED素子201が1つだけ示されており、これらは導光体203の受光端面203aの形状により略コリメート光に変換される。このため、導光体端面の受光部とLED素子は、所定の位置関係を保って取り付けられている。
【0149】
なお、この導光体203は、各々、例えば、アクリル等の透光性の樹脂により形成されている。そして、この導光体203の端部のLED受光面は、例えば、放物断面を回転して得られる円錐凸形状の外周面を有し、その頂部では、その中央部に凸部(すなわち、凸レンズ面)を形成した凹部を有し、その平面部の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でもよい)を有するものである(図示せず)。なお、LED素子201を取り付ける導光体の受光部外形形状は、円錐形状の外周面を形成する放物面形状をなし、LED素子から周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0150】
他方、LED素子201は、その回路基板である、LED基板202の表面上の所定の位置にそれぞれ配置されている。このLED基板202は、LEDコリメータ(受光端面203a)に対して、その表面上のLED素子201が、それぞれ、前述した凹部の中央部に位置するように配置されて固定される。
【0151】
かかる構成によれば、導光体203の受光端面203aの形状によって、LED素子201から放射される光は略平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0152】
以上述べたように、光源装置13は、導光体203の端面に設けた受光部である受光端面203aに光源であるLED素子201を複数並べた光源ユニットを取り付けて構成され、LED素子201からの発散光束を導光体端面の受光端面203aのレンズ形状によって略平行光として、矢印で示すように、導光体203内部を導光し(図面に平行な方向)、光束方向変換手段204によって、導光体203に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向に)出射する。導光体内部または表面の形状によって、この光束方向変換手段204の分布(密度)を最適化することで、液晶表示パネル11に入射する光束の均一性を制御することができる。
【0153】
上述した光束方向変換手段204は、導光体表面の形状により、あるいは導光体内部に例えば屈折率の異なる部分を設けることで、導光体内を伝搬した光束を、導光体203に対して略平行に配置された液晶表示パネル11に向かって(図面から手前に垂直な方向に)出射する。この時、液晶表示パネル11を画面中央に正対し画面対角寸法と同じ位置に視点を置いた状態で画面中央と画面周辺部の輝度を比較した場合の相対輝度比が20%以上あれば実用上問題なく、30%を超えていれば更に優れた特性となる。
【0154】
なお、図6は上述した導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成とその作用を説明するための断面配置図である。図6において、光源装置13は、例えば、プラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されており、その上面には、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
【0155】
また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設けており、LED素子201から出射した自然光束210のうち片側の偏波(例えばP波)212を選択的に反射させる。反射光は、導光体203の一方(図の下方)の面に設けた反射シート205で再度、反射して、液晶表示パネル11に向かうようにする。そこで、反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をP偏光からS偏光に変換し、映像光としての光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度を変調された映像光束は(図6の矢印213)、再帰反射板2に入射する。再帰反射板2で反射した後に実像である空間浮遊像を得ることができる。
【0156】
図7は、図6と同様に、導光体203とLED素子201を含む光源装置13において、偏光変換する本実施例の光源の構成と作用を説明するための断面配置図である。光源装置13も、同様に、例えばプラスチックなどにより形成される表面または内部に光束方向変換手段204を設けた導光体203、光源としてのLED素子201、反射シート205、位相差板206、レンチキュラーレンズなどから構成されている。光源装置13における上面には、映像表示素子として、光源光入射面と映像光出射面に偏光板を備える液晶表示パネル11が取り付けられている。
【0157】
また、光源装置13に対応した液晶表示パネル11の光源光入射面(図の下面)にはフィルムまたはシート状の反射型偏光板49を設け、LED素子201から出射した自然光束210うち片側の偏波(例えばS波)211を選択的に反射させる。すなわち、図7の例では、反射型偏光板49の選択反射特性が図7と異なる。反射光は、導光体203の一方(図の下方)の面に設けた反射シート205で反射して、再度液晶表示パネル11に向かう。反射シート205と導光体203の間もしくは導光体203と反射型偏光板49の間に位相差板(λ/4板)を設けて反射シート205で反射させ、2回通過させることで反射光束をS偏光からP偏光に変換し、映像光として光源光の利用効率を向上する。液晶表示パネル11で映像信号により光強度変調された映像光束は(図7の矢印214)、再帰反射板2に入射する。再帰反射板2で反射した後に実像である空間浮遊像を得ることができる。
【0158】
図6および図7に示す光源装置においては、対応する液晶表示パネル11の光入射面に設けた偏光板の作用の他に、反射型偏光板で片側の偏光成分を反射するため、理論上得られるコントラスト比は、反射型偏光板のクロス透過率の逆数と液晶表示パネルに付帯した2枚の偏光板により得られるクロス透過率の逆数を乗じたものとなる。これにより、高いコントラスト性能が得られる。実際には、表示画像のコントラスト性能が10倍以上向上することを実験により確認した。この結果、自発光型の有機ELに比較しても遜色ない高品位な映像が得られた。
【0159】
<表示装置の例2>
図8には、表示装置1の具体的な構成の他の一例を示す。この光源装置13は、例えばプラスチックなどのケース内にLED、コリメータ、合成拡散ブロック、導光体等を収納して構成されており、その上面には液晶表示パネル11が取り付けられている。また、光源装置13のケースのひとつの側面には、半導体光源であるLED(Light Emitting Diode)素子14a、14bや、その制御回路を実装したLED基板が取り付けられると共に、LED基板の外側面には、LED素子および制御回路で発生する熱を冷却するための部材であるヒートシンク103が取り付けられている。
【0160】
また、ケースの上面に取り付けられた液晶表示パネルフレームには、当該フレームに取り付けられた液晶表示パネル11と、更に、液晶表示パネル11に電気的に接続されたFPC(Flexible Printed Circuits:フレキシブル配線基板)403などが取り付けられて構成されている。すなわち、液晶表示素子である液晶表示パネル11は、固体光源であるLED素子14a,14bと共に、電子装置を構成する制御回路(ここでは図示せず)からの制御信号に基づいて、透過光の強度を変調することによって、表示映像を生成する。
【0161】
<表示装置の例3>
続いて、図9を用いて、表示装置1の具体的な構成の他の例(表示装置の例3)を説明する。この表示装置1の光源装置は、LEDからの光(P偏光とS偏光が混在)の発散光束をコリメータ18により略平行光束に変換し、反射型導光体304の反射面により液晶表示パネル11に向け反射する。反射された光は、液晶表示パネル11と反射型導光体304の間に配置された反射型偏光板49に入射する。反射型偏光板49は、特定の偏波の光(例えばP偏光)を透過させ、透過した偏波光を液晶表示パネル11に入射させる。ここで、特定の偏波以外の他の偏波(例えばS偏光)は、反射型偏光板49で反射されて、再び反射型導光体304へ向かう。
【0162】
反射型偏光板49は、反射型導光体304の反射面からの光の主光線に対して垂直とならないように、液晶表示パネル11に対して傾きを以て設置されている。そして、反射型偏光板49で反射された光の主光線は、反射型導光体304の透過面に入射する。反射型導光体304の透過面に入射した光は、反射型導光体304の背面を透過し、位相差板であるλ/4板270を透過し、反射板271で反射される。反射板271で反射された光は、再びλ/4板270を透過し、反射型導光体304の透過面を透過する。反射型導光体304の透過面を透過した光は、再び反射型偏光板49に入射する。
【0163】
このとき、反射型偏光板49に再度入射する光は、λ/4板270を2回通過しているため、反射型偏光板49を透過する偏波(例えば、P偏光)へ偏光が変換されている。よって、偏光が変換されている光は反射型偏光板49を透過し、液晶表示パネル11に入射する。なお、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成(S偏光とP偏光を逆にする)してもかまわない。
【0164】
この結果、LEDからの光は特定の偏波(例えばP偏光)に揃えられ、液晶表示パネル11に入射し、映像信号に合わせて輝度変調されパネル面に映像を表示する。上述の例と同様に光源を構成する複数のLEDが示されており(ただし、縦断面のため図9では1個のみ図示している)、これらはコリメータ18に対して所定の位置に取り付けられている。
【0165】
なお、コリメータ18は、各々、例えばアクリル等の透光性の樹脂またはガラスにより形成されている。そして、このコリメータ18は、放物断面を回転して得られる円錐凸形状の外周面を有してもよい。また、コリメータ18の頂部(LED基板102に対向する側)における中央部に、凸部(すなわち、凸レンズ面)を形成した凹部を有してもよい。また、コリメータ18の平面部(上記の頂部とは逆の側)の中央部には、外側に突出した凸レンズ面(あるいは、内側に凹んだ凹レンズ面でもよい)を有している。なお、コリメータ18の円錐形状の外周面を形成する放物面は、LEDから周辺方向に出射する光をその内部で全反射することが可能な角度の範囲内において設定され、あるいは、反射面が形成されている。
【0166】
なお、LEDは、その回路基板である、LED基板102の表面上の所定の位置にそれぞれ配置されている。このLED基板102は、コリメータ18に対して、その表面上のLEDが、それぞれ、円錐凸形状の頂部の中央部(頂部に凹部が有る場合はその凹部)に位置するように配置されて固定される。
【0167】
かかる構成によれば、コリメータ18によって、LEDから放射される光のうち、特に、その中央部分から放射される光は、コリメータ18の外形を形成する凸レンズ面により集光されて平行光となる。また、その他の部分から周辺方向に向かって出射される光は、コリメータ18の円錐形状の外周面を形成する放物面によって反射され、同様に、集光されて平行光となる。換言すれば、その中央部に凸レンズを構成すると共に、その周辺部に放物面を形成したコリメータ18によれば、LEDにより発生された光のほぼすべてを平行光として取り出すことが可能となり、発生した光の利用効率を向上することが可能となる。
【0168】
更に、図9に示したコリメータ18により略平行光に変換された光は、反射型導光体304で反射される。当該光のうち、反射型偏光板49の作用により特定の偏波の光は反射型偏光板49透過し、反射型偏光板49の作用により反射された他方の偏波の光は再度導光体304を透過する。当該光は、反射型導光体304に対して、液晶表示パネル11とは逆の位置にある反射板271で反射する。このとき、当該光は位相差板であるλ/4板270を2度通過することで偏光変換される。反射板271で反射した光は、再び導光体304を透過して、反対面に設けた反射型偏光板49に入射する。当該入射光は、偏光変換がなされているので、反射型偏光板49を透過して、偏光方向を揃えて液晶表示パネル11に入射される。この結果、光源の光をすべて利用できるので光の幾何光学的な利用効率が2倍になる。また、反射型偏光板の偏光度(消光比)もシステム全体の消光比に乗せられるので、本実施例の光源装置を用いることで表示装置全体としてのコントラスト比が大幅に向上する。なお、反射型導光体304の反射面の面粗さおよび反射板271の面粗さを調整することで、それぞれの反射面での光の反射拡散角を調整することができる。液晶表示パネル11に入射する光の均一性がより好適になるように、設計毎に、反射型導光体304の反射面の面粗さおよび反射板271の面粗さを調整すればよい。
【0169】
なお、図9の位相差板であるλ/4板270は、必ずしもλ/4板270へ垂直に入射した偏光に対する位相差がλ/4である必要はない。図9の構成において、偏光が2回通過することで、位相が90°(λ/2)変わる位相差板であればよい。位相差板の厚さは、偏光の入射角度分布に応じて調整すればよい。
【0170】
<表示装置の例4>
更に、表示装置の光源装置等の光学系の構成についての他の例(表示装置の例4)を、図10を用いて説明する。表示装置の例3の光源装置において、反射型導光体304の代わりに拡散シートを用いる場合の構成例である。具体的には、コリメータ18の光の出射側には図面の垂直方向と水平方向(図の前後方向で図示せず)の拡散特性を変換する光学シートを2枚用い(光学シート207Aおよび光学シート207B)、コリメータ18からの光を2枚の光学シート(拡散シート)の間に入射させる。
【0171】
なお、上記の光学シートは、2枚構成ではなく1枚としてもよい。1枚構成とする場合には、1枚の光学シートの表面と裏面の微細形状で垂直と水平の拡散特性を調整する。また、拡散シートを複数枚使用して作用を分担してもよい。ここで、図10の例では、光学シート207Aと光学シート207Bの表面形状と裏面形状による反射拡散特性について、液晶表示パネル11から出射する光束の面密度が均一になるように、LEDの数量とLED基板(光学素子)102からの発散角およびコリメータ18の光学仕様を設計パラメータとして最適設計するとよい。つまり、導光体の代わりに複数の拡散シートの表面形状により拡散特性を調整する。
【0172】
図10の例では、偏光変換は、上述した表示装置の例3と同様の方法で行われる。すなわち、図10の例において、反射型偏光板49は、S偏光を反射(P偏光は透過)させる特性を有するように構成すればよい。その場合、光源であるLEDから発した光のうちP偏光を透過して、透過した光は液晶表示パネル11に入射する。光源であるLEDから発した光のうちS偏光を反射し、反射した光は、図10に示した位相差板270を通過する。位相差板270を通過した光は、反射板271で反射される。反射板271で反射した光は、再び位相差板270を通過することでP偏光に変換される。偏光変換された光は、反射型偏光板49を透過し、液晶表示パネル11に入射する。
【0173】
なお、図10の位相差板であるλ/4板270は、必ずしもλ/4板270へ垂直に入射した偏光に対する位相差がλ/4である必要はない。図10の構成において、偏光が2回通過することで、位相が90°(λ/2)変わる位相差板であればよい。位相差板の厚さは、偏光の入射角度分布に応じて調整すればよい。なお、図10においても、偏光変換に係る偏光設計について、上述の説明から偏波を逆に構成(S偏光とP偏光を逆にする)してもかまわない。
【0174】
液晶表示パネル11からの出射光は、一般的なTV用途の装置では画面水平方向(図12(a)X軸で表示)と画面垂直方向(図12(b)Y軸で表示)ともに同様な拡散特性を持っている。これに対して、本実施例の液晶表示パネルからの出射光束の拡散特性は、例えば図12の例1に示すように輝度が正面視(角度0度)の50%になる視野角が13度とすることで、一般的なTV用途の装置の62度に対して1/5となる。同様に、垂直方向の視野角は、上下不均等として上側の視野角を下側の視野角に対して1/3程度に抑えるように反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ、監視方向に向かう映像光量が大幅に向上し、輝度は50倍以上となる。
【0175】
更に、図12の例2に示す視野角特性とすれば、輝度が正面視(角度0度)の50%になる視野角が5度とすることで、一般的なTV用途の装置の62度に対して1/12となる。同様に、垂直方向の視野角は、上下均等として視野角を一般的なTV用途の装置に対して1/12程度に抑えるように、反射型導光体の反射角度と反射面の面積等を最適化する。この結果、従来の液晶TVに比べ、監視方向に向かう映像光量が大幅に向上し、輝度は100倍以上となる。
【0176】
以上述べたように、視野角を挟角とすることで、監視方向に向かう光束量を集中できるので、光の利用効率が大幅に向上する。この結果、一般的なTV用途の液晶表示パネルを使用しても、光源装置の光拡散特性を制御することで、同様な消費電力で大幅な輝度向上が実現可能で、明るい屋外に向けての情報表示システムに対応した映像表示装置とすることができる。
【0177】
大型の液晶表示パネルを使用する場合には、画面周辺の光は画面中央を監視者が正対した場合に監視者の方向に向かうように内側に向けることで、画面明るさの全面性が向上する。図11は、監視者のパネルからの距離Lと、パネルサイズ(画面比16:10)とをパラメータとしたときのパネル長辺と短辺の収斂角度を求めたものである。画面を縦長として監視する場合には、短辺に合わせて収斂角度を設定すればよく、例えば22インチパネルの縦使いで監視距離が0.8mの場合には、収斂角度を10度とすれば、画面4コーナーからの映像光を有効に監視者に向けることができる。
【0178】
同様に、15インチパネルの縦使いで監視する場合には、監視距離が0.8mの場合には、収斂角度を7度とすれば、画面4コーナーからの映像光を有効に監視者に向けることができる。以上述べたように、液晶表示パネルのサイズおよび縦使いか横使いかによって、画面周辺の映像光を、画面中央を監視するのに最適な位置にいる監視者に向けることで、画面明るさの全面性を向上できる。
【0179】
基本構成としては、図9に示すように、光源装置により挟角な指向特性の光束を液晶表示パネル11に入射させ、映像信号に合わせて輝度変調することで、液晶表示パネル11の画面上に表示した映像情報を、再帰反射板で反射させ得られた空間浮遊映像を、透明な部材100を介して室外または室内に表示する。
【0180】
以上説明した、本発明の一実施例に係る表示装置や光源装置を用いれば、光の利用効率がより高い空間浮遊映像表示装置を実現することが可能となる。
【0181】
<空間浮遊映像表示装置における映像表示処理の例>
次に、本実施例の画像処理が解決する課題の一例について、図13Aを用いて説明する。空間浮遊映像表示装置1000において、ユーザから見て空間浮遊映像3の奥側が空間浮遊映像表示装置1000の筐体内であり、十分暗い場合には、ユーザは、空間浮遊映像3の背景は黒であると視認する。
【0182】
ここで、図13Aを用いて、空間浮遊映像3において、キャラクター“パンダ”1525を表示する例を説明する。まず、図3の映像制御部1160は、図13A(1)に示すような、キャラクター“パンダ” 1525の画像を描画する画素領域と、背景画像である透明情報領域1520を含む画像について、キャラクター“パンダ”1525の画像を描画する画素領域と、背景画像である透明情報領域1520とを区別して認識する。
【0183】
キャラクター画像と背景画像を区別して認識する方法は、例えば、映像制御部1160の画像処理において、背景画像レイヤーと、背景画像レイヤーの前面にあるキャラクター画像のレイヤーを別のレイヤーとして処理できるように構成しておき、これらのレイヤーを合成するときの重畳関係により、キャラクター画像と背景画像を区別して認識してもよい。
【0184】
ここで、映像制御部1160は、キャラクター画像などのオブジェクトを描画する画素の黒と透明情報画素とは異なる情報として認識する。ただし、オブジェクトを描画する画素の黒と透明情報画素のいずれの画素も輝度が0であるとする。この場合、空間浮遊映像3を表示するとき、キャラクター“パンダ”1525の画像のうち黒を描画する画素と、背景画像である透明情報領域1520の画素とには、輝度の差がない。よって、空間浮遊映像3では、図13A(2)に示すように、キャラクター“パンダ”1525の画像のうち黒を描画する画素と透明情報領域1520の画素のいずれにも輝度はなく、光学的に同じ黒色の空間としてユーザ視認される。すなわち、オブジェクトであるキャラクター“パンダ” 1525の画像のうち黒を描画する部分は、背景に溶け込んでしまい、キャラクター“パンダ”1525の黒ではない部分だけが空間浮遊映像3の表示領域に浮遊している映像として認識されてしまう。
【0185】
本実施例の画像処理の一例について図13Bを用いて説明する。図13Bは、図13Aで説明した、オブジェクトの黒い画像領域が、背景に溶け込んでしまうという課題をより好適に解消する画像処理の一例を説明する図である。図13B(1)、(2)では、それぞれ、上側に空間浮遊映像3の表示状態、下側に、オブジェクトの画像の画像処理の入出力特性を示している。なお、オブジェクト(キャラクター“パンダ”1525)の画像やこれに対応するデータは、図3のストレージ部1170やメモリ1109から読み出してもよい。または、映像信号入力部1131から入力されてもよい。または、通信部1132を介して取得してもよい。
【0186】
ここで、図13B(1)の状態では、オブジェクトの画像の画像処理の入出力特性は、特に調整していないリニアな状態である。この場合、図13A(2)と同様の表示状態であり、オブジェクトの黒い画像領域が、背景に溶け込んでしまっている。これに対し、図13B(2)では、本実施例の映像制御部1160は、オブジェクト(キャラクター“パンダ”1525)の画像への画像処理の入出力特性を、下段に示す入出力特性にように調整する。
【0187】
すなわち、映像制御部1160は、オブジェクト(キャラクター“パンダ”1525)の画像について、入力画像の画素について低輝度領域の画素の輝度値を増加させた出力画素に変換する特性を有する、入出力特性の画像処理を施す。オブジェクト(キャラクター“パンダ”1525)の画像は、当該入出力特性の画像処理を施されたのちに、オブジェクト(キャラクター“パンダ”1525)の画像を含む映像が表示装置1に入力され、表示されることとなる。すると、空間浮遊映像3の表示状態は、図13B(2)上段に示すように、キャラクター“パンダ”1525の画像における黒を描画する画素領域の輝度が増加する。これにより、キャラクター“パンダ”1525の画像を描画する領域のうち、黒を描画する領域についても、背景の黒に溶け込ませず区別してユーザに認識させることができ、オブジェクトをより好適に表示することが可能となる。
【0188】
すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、窓を介した空間浮遊映像表示装置1000の筐体内部である背景の黒と区別して認識できるようになり、当該オブジェクトの視認性が改善する。よって、例えば、前記画像処理前(すなわち、前記オブジェクトの画像やこれに対応するデータを図3のストレージ部1170やメモリ1109から読み出した時点、または、前記オブジェクトの画像を映像信号入力部1131から入力した時点、または、通信部1132を介して前記オブジェクトのデータを取得した時点、など。)において、オブジェクトを構成する画素に輝度の値が0の画素が含まれているオブジェクトであっても、映像制御部1160による当該入出力特性の画像処理により、低輝度領域の画素の輝度値を大きくしたオブジェクトに変換されたのち、表示装置1に表示され、空間浮遊映像表示装置1000の光学システムによって、空間浮遊映像3に変換されることとなる。
【0189】
すなわち、当該入出力特性の画像処理後のオブジェクトを構成する画素には、輝度の値が0の画素は含まれない状態に変換されたのち、表示装置1に表示され、空間浮遊映像表示装置1000の光学システムによって、空間浮遊映像3に変換されることとなる。
【0190】
なお、図13B(2)の画像処理において、オブジェクト(キャラクター“パンダ”1525)の画像の領域のみ、図13B(2)の入出力特性の画像処理を施す方法としては、例えば、映像制御部1160の画像処理において、背景画像レイヤーと、背景画像レイヤーの前面にあるキャラクター画像のレイヤーを別のレイヤーとして処理できるように構成しておき、キャラクター画像のレイヤーに図13B(2)の入出力特性の画像処理を施し、背景画像レイヤーには当該画像処理を行わないようにする。
【0191】
その後、これらのレイヤーを合成すれば、図13B(2)に示すように、キャラクター画像のみ、入力画像の低輝度領域を持ち上げる特性の画像処理が施されることとなる。また、別の方法としては、キャラクター画像のレイヤーと背景画像レイヤーが合成されたのちに、キャラクター画像の領域にのみ、図13B(2)の入出力特性の画像処理を施すように構成してもよい。
【0192】
また、入力映像に対する入出力特性の低輝度領域を持ち上げる映像処理で用いる入出力映像特性は、図13B(2)の例に限られない。低輝度を持ち上げる映像処理であれば何でもよく、いわゆるブライト調整でもよい。または、国際公開2014/162533号に開示されるような、レティネックス処理の重みづけを変える利得を制御することで、視認性を向上する映像処理を行ってもよい。
【0193】
以上説明した、図13B(2)の画像処理によれば、キャラクターやオブジェクトなどの画像を描画する領域のうち黒を描画する領域について、背景の黒に溶け込ませずユーザに認識させることができ、より好適な表示を実現することが可能となる。
【0194】
なお、図13A図13Bの例では、背景が黒に見える空間浮遊映像表示装置(例えば、図4A~Gの空間浮遊映像表示装置1000や、図4I図4Jで背面側窓を遮光している状態の空間浮遊映像表示装置1000など)を例に、その課題とより好適な画像処理について説明した。しかしながら、当該画像処理は、これらの空間浮遊映像表示装置以外の装置においても有効である。
【0195】
具体的には、図4Hの空間浮遊映像表示装置1000や、図4I図4Jで背面側窓を遮光していない状態の空間浮遊映像表示装置1000では、空間浮遊映像3の背景は黒ではなく、窓を介した空間浮遊映像表示装置1000の後ろ側の景色となる。この場合も、図13Aおよび図13Bで説明した課題は同様に存在する。
【0196】
すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、窓を介した空間浮遊映像表示装置1000の後ろ側の景色に溶け込んでしまうこととなる。この場合も、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分が、窓を介した空間浮遊映像表示装置1000の後ろ側の景色と区別して認識できるようになり、当該オブジェクトの視認性が改善する。
【0197】
すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、窓を介した空間浮遊映像表示装置1000の後ろ側の景色と区別して認識でき、当該オブジェクトであるキャラクター“パンダ”1525が前記景色の前面にあることがより好適に認識できるようになり、当該オブジェクトの視認性が改善する。
【0198】
また、図4K図4L図4Mの空間浮遊映像表示装置1000において、上述のとおり、空間浮遊映像3とは奥行の異なる位置に別の映像(透過型自発光映像表示装置1650の映像、または第2の表示装置1680の映像、など)が表示されている場合は、空間浮遊映像3の背景は黒ではなく、当該別の映像となる。この場合も、図13Aおよび図13Bで説明した課題は同様に存在する。
【0199】
すなわち、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分は、空間浮遊映像3とは奥行の異なる位置に表示されている前記別の映像に溶け込んでしまうこととなる。この場合も、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像のうち黒を描画する部分が、前記別の映像と区別して認識できるようになり、当該オブジェクトの視認性が改善する。
【0200】
すなわち、図13B(2)の画像処理を用いることにより、オブジェクトであるキャラクター“パンダ”1525の画像を表示する領域が、前記別の映像と区別して認識でき、当該オブジェクトであるキャラクター“パンダ”1525が前記別の映像の前面にあることがより好適に認識できるようになり、当該オブジェクトの視認性が改善する。
【0201】
本実施例の映像表示処理の一例について、図13Cを用いて説明する。図13Cは、本実施例の映像表示の例のうち、空間浮遊映像3と、別の映像である第2の画像2050を同時に表示する映像表示例である。第2の画像2050は、図4Kまたは図4Lの透過型自発光映像表示装置1650の表示映像に対応してもよい。また、第2の画像2050は、図4Mの第2の表示装置1680の表示映像に対応してもよい。
【0202】
すなわち、図13Cの映像表示の一例は、図4K図4L図4Mの空間浮遊映像表示装置1000の映像表示例の具体例の一例を示したものである。本図の例では、空間浮遊映像3にはクマのキャラクターが表示されている。空間浮遊映像3でのクマのキャラクター以外の領域は黒表示であり、空間浮遊映像としては透明になる。また、第2の画像2050は、平原と山と太陽が描画された背景画像である。
【0203】
ここで、図13Cにおいて、空間浮遊映像3と、第2の画像2050は、奥行の異なる位置に表示されている。ユーザ230が矢印2040の視線方向で空間浮遊映像3と第2の画像2050の2つの映像を視認することにより、ユーザ230は、この2つの映像が重なった状態で映像を視認することができる。具体的には、第2の画像2050に描画される平原と山と太陽の背景の手前に、空間浮遊映像3のクマのキャラクターが重畳して見えることとなる。
【0204】
ここで、空間浮遊映像3は空中に実像として結像しているため、ユーザ230が少し視点を動かすと、視差により空間浮遊映像3と第2の画像2050の奥行を認識することができる。よって、ユーザ230は、2つの映像を重なった状態で視認しながら、空間浮遊映像3についてより強い空間浮遊感を得ることが可能となる。
【0205】
本実施例の映像表示処理の一例について図13Dを用いて説明する。図13D(1)は、図13Cの本実施例の映像表示の例のうち、空間浮遊映像3をユーザ230の視線方向から見た図である。ここで、空間浮遊映像3には、クマのキャラクターが表示されている。空間浮遊映像3でのクマのキャラクター以外の領域は黒表示であり、空間浮遊映像としては透明になる。
【0206】
図13D(2)は、図13Cの本実施例の映像表示の例のうち、第2の画像2050をユーザ230の視線方向から見た図である。本図の例では、第2の画像2050は、平原と山と太陽が描画された背景画像である。
【0207】
図13D(3)は、図13Cの本実施例の映像表示の例のうち、ユーザ230の視線方向において、第2の画像2050と空間浮遊映像3とが重畳して見える状態を示した図である。具体的には、第2の画像2050に描画される平原と山と太陽の背景の手前に、空間浮遊映像3のクマのキャラクターが重畳して見えることとなる。
【0208】
ここで、空間浮遊映像3と第2の画像2050とを同時に表示する場合に、空間浮遊映像3の視認性をより好適に確保するためには、両者の映像の明るさのバランスに留意することが望ましい。空間浮遊映像3の明るさに対して、第2の画像2050が明る過ぎれば、空間浮遊映像3の表示映像が透けてしまい、背景である第2の画像2050が透過して強く視認されるようになる。
【0209】
よって、少なくとも、空間浮遊映像3の表示位置における空間浮遊映像3の単位面積当たりの明るさが、第2の画像2050から空間浮遊映像3の表示位置に到達する映像光の単位面積当たりの明るさよりも大きくなるように、空間浮遊映像3の光源の出力および表示装置1の表示映像輝度、第2の画像2050を表示する表示装置の光源の出力および当該表示装置の表示映像輝度を設定すればよい。
【0210】
なお、空間浮遊映像3と第2の画像2050とを同時に表示する場合にこの条件を満たせばよいので、空間浮遊映像3を表示せず第2の画像2050のみを表示している第1の表示モードから、空間浮遊映像3と第2の画像2050とを同時に表示する第2の表示モードに切り替える場合に、第2の画像2050を表示する表示装置の光源の出力および/または当該表示装置の表示映像輝度を下げることにより、第2の画像2050の明るさを低減する制御を行ってもよい。これらの制御は、図3の制御部1110が表示装置1および第2の画像2050を表示する表示装置(図4Kまたは図4Lの透過型自発光映像表示装置1650または図4Mの第2の表示装置1680)を制御することにより実現すればよい。
【0211】
なお、上述の第1の表示モードから上述の第2の表示モードへの切り替えにおいて、第2の画像2050の明るさを低減する制御を行う場合、第2の画像2050の画面全体に対して均一に明るさを低減してもよい。または、第2の画像2050の画面全体に対して均一に明るさを低減せずに、空間浮遊映像3にオブジェクトが表示されている部分を最も明るさ低減効果が高い状態とし、その周辺は段階的に明るさ低減効果を緩めてもよい。すなわち、空間浮遊映像3が第2の画像2050に重畳されて視認される部分のみ、第2の画像2050の明るさ低減を実現すれば、空間浮遊映像3の視認性確保は十分であるからである。
【0212】
ここで、空間浮遊映像3と、第2の画像2050は奥行の異なる位置に表示されているので、ユーザ230が少し視点を変えると、視差により、第2の画像2050に対する空間浮遊映像3の重畳位置は変化する。よって、上述の第1の表示モードから上述の第2の表示モードへの切り替えにおいて、第2の画像2050の画面全体に対して不均一に明るさを低減する場合は、空間浮遊映像3に表示されているオブジェクトの輪郭に基づいてシャープに明るさを低減することは望ましくなく、上述のように位置によって段階的に明るさ低減効果を変えていく、明るさ低減効果のグラデーション処理を行うことが望ましい。
【0213】
なお、空間浮遊映像3に表示されるオブジェクトの位置がほぼ空間浮遊映像3の中央である空間浮遊映像表示装置1000においては、当該明るさ低減効果のグラデーション処理の最も明るさ低減効果が高い位置は、空間浮遊映像3の中央の位置にすればよい。
【0214】
以上説明した、本実施例の映像表示処理によれば、ユーザ230は空間浮遊映像3と第2の画像2050をより好適に視認できる。
【0215】
なお、空間浮遊映像3を表示する場合は第2の画像2050の表示を行わないように制御してもよい。第2の画像2050の表示を行わない方が空間浮遊映像3の視認性は高まるので、空間浮遊映像3の表示時は空間浮遊映像3をユーザが確実に視認しなければならない用途の空間浮遊映像表示装置1000などに好適である。
【0216】
<実施例2>
本発明の実施例2として、空間浮遊映像表示装置の別の構成例の一例について説明する。なお、本実施例に係る空間浮遊映像表示装置は実施例1で説明した、空間浮遊映像表示装置に格納される光学システムを、図14(1)または図14(2)に示す光学システムに変更したものである。本実施例では、実施例1との相違点を説明し、実施例1と同様の構成については、繰り返しの説明は省略する。なお、本実施例の以降の説明において、所定の偏光と他方の偏光とは、互いに位相が90°異なる偏波の偏光である。
【0217】
図14(1)は、本実施例にかかる光学システムおよび光路の一例である。図14(1)に示す光学システムは、図2Cの光学システムにおいて、表示装置1を偏光分離部材101Bにより近づけて、光学システム全体をよりコンパクトに構成したものである。図14(1)において、図2Cと同一の符号を付した構成については、繰り返しの詳細な説明は省略する。
【0218】
図14(1)では、図2Cと同様、表示装置1から出射した所定の偏光(図ではP偏光)の映像光が、表示装置1の映像表示面から垂直方向に進行する。ここで、偏光分離部材101Bは、図2C同様に、表示装置1から出射した所定の偏光(図ではP偏光)を選択的に透過させ、他方の偏光(図ではS偏光)を反射する。
【0219】
よって、表示装置1の映像表示面から垂直方向に進行した所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Bを透過し、λ/4板21が貼り付けられた再帰反射板2に到達する。再帰反射板2で再帰性反射され、再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21を2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。再び偏光分離部材101Bに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Bでユーザがいるべき位置に向かって反射される。偏光分離部材101Bで反射された映像の進行方向は、偏光分離部材101Bが配置される角度に基づいて定まる。
【0220】
図14(1)の例では、偏光分離部材101Bに向かって進行した映像光は、偏光分離部材101Bで直角に反射して図のように進行する。偏光分離部材101Bで反射された映像光は空間浮遊映像3Aを形成する。空間浮遊映像3Aは、ユーザによって、矢印Aの方向から好適に視認できる。
【0221】
ここで、再帰反射板2による再帰性反射の特性上、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3Aの形成位置に到達するまでの光路長とが、等しくなる関係にある。これの関係により、偏光分離部材101Bで反射された映像光の進行方向における空間浮遊映像3Aの形成位置が定まる。
【0222】
図14(1)の例では、表示装置1、偏光分離部材101B、および再帰反射板2を、図2Cの例よりも近づくように配置している。これにより、光学システム全体をよりコンパクトに構成することを実現している。しかしながら、図14(1)の光学システムから空間浮遊映像3Aが飛び出す量はさほど大きくない。例えば、光学システムから空間浮遊映像3Aが飛び出す量の一つの指標として、映像光の中心部分の光線が、偏光分離部材101Bで反射された位置から映像光が空間浮遊映像3Aを形成する位置までの距離を図に示している(図14(1)の例ではL1)。
【0223】
なお、図14(1)の光学システムにおける偏光設計について、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1から出射した映像光の所定の偏光をS偏光とし、偏光分離部材101Bの反射特性について、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
【0224】
次に、図14(2)に本実施例にかかる光学システムおよび光路の別の一例を示す。図14(2)の光学システムは、図14(1)の光学システム同様のコンパクトさを実現しつつ、光学システムから空間浮遊映像が飛び出す量をより大きくするために、図14(1)の光学システムにおける構成を変更したものである。図14(2)において、図14(1)と同一の符号を付した構成については、繰り返しの詳細な説明は省略する。
【0225】
図14(2)において、図14(1)同様、表示装置1から出射した所定の偏光(図ではP偏光)の映像光が、表示装置1の映像表示面から垂直方向に進行する。ここで、偏光分離部材101Bの偏光特性は、図14(1)と配置が90度異なっている。表示装置1の映像表示面から垂直方向に進行した所定の偏光(図ではP偏光)の映像光は、偏光分離部材101Bを透過する。
【0226】
ここで、図14(1)と異なり、映像光が偏光分離部材101Bを透過した先には、λ/4板21が貼り付けられた再帰反射板2ではなく、λ/4板21Bが貼り付けられた鏡面反射板4が配置されている。ここで、鏡面反射板4における反射は鏡面反射(正反射ともよばれる)であり、再帰性反射ではない。
【0227】
よって、偏光分離部材101Bを透過した映像光は、λ/4板21Bが貼り付けられた鏡面反射板4で鏡面反射する。鏡面反射板4で鏡面反射されて再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21を2回透過したことにより、表示装置1から出射時の所定の偏光(図ではP偏光)から他方の偏光(図ではS偏光)へと変換されている。再び偏光分離部材101Bに向かって進行した映像光は、他方の偏光(図ではS偏光)であるので、偏光分離部材101Bで反射される。
【0228】
ここで、図14(2)における偏光分離部材101Bの配置の向きは、図14(1)と異なるため、偏光分離部材101Bで反射された映像光は、ユーザがいるべき位置とは逆方向に進行する。偏光分離部材101Bで反射された映像光が進行する先には、λ/4板21Cが貼り付けられた再帰反射板2が配置されている。映像光は、再帰反射板2により再帰性反射される。再帰反射板2で再帰性反射され、再び偏光分離部材101Bに向かって進行する映像光は、λ/4板21Cを2回透過したことにより、他方の偏光(図ではS偏光)から再びの所定の偏光(図ではP偏光)へと変換されている。
【0229】
再び偏光分離部材101Bに向かって進行した映像光は、所定の偏光(図ではP偏光)であるので、偏光分離部材101Bを透過し、そのままユーザがいるべき位置に向かって進行する。偏光分離部材101Bを透過した映像光は空間浮遊映像3Bを形成する。空間浮遊映像3Bは、ユーザによって、矢印Aの方向から好適に視認できる。
【0230】
ここで、図14(2)においても、図14(1)と同様、再帰反射板2による再帰性反射の特性上、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長と、再帰反射板2から出射した映像光が空間浮遊映像3Bの形成位置に到達するまでの光路長とが、等しくなる関係にある。この関係により、偏光分離部材101Bを透過した映像光の進行方向における空間浮遊映像3Bの形成位置が定まる。
【0231】
図14(2)における、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長は、図14(1)における、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長に比べ、長い。図14(2)の光学システムにおいては、図14(1)の光学システムには存在しない、偏光分離部材101Bと鏡面反射板4との間を往復する光路が、表示装置1から出射した映像光が再帰反射板2に到達するまでの光路長に追加されているからである。
【0232】
これにより、図14(2)の光学システムにおける、映像光の中心部分の光線が、偏光分離部材101Bを透過した位置から映像光が空間浮遊映像3Bを形成する位置までの距離(図14(2)の例ではL2)は、図14(1)の光学システムにおける、映像光の中心部分の光線が、偏光分離部材101Bで反射された位置から映像光が空間浮遊映像3Aを形成する位置までの距離(図14(1)の例ではL1)に比べ、格段に長くなる。
【0233】
なお、図14(2)の光学システムにおける偏光設計についても、P偏光とS偏光の特性を入れ替えてもよい。具体的には、表示装置1から出射した映像光の所定の偏光をS偏光とし、偏光分離部材101Bの反射特性について、P偏光とS偏光の特性を入れ替えてもよい。この場合、図示される、P偏光とS偏光はいずれも逆になるが、光路などの光学設計は、まったく同様に実現可能である。
【0234】
以上説明した、本発明の実施例2における、図14(1)および図14(2)の光学システムによれば、よりコンパクトな光学システムを実現できる。特に、図14(2)の光学システムによれば、よりコンパクトな光学システムでありながら、光学システムから空間浮遊映像が飛び出す量をより大きくすることが可能となる。
【0235】
なお、図14(1)または図14(2)の光学システムを、空間浮遊映像表示装置に組み込む場合には、実施例1で説明した空間浮遊映像表示装置における光学システムを、図14(1)または図14(2)の光学システムへ置き換えれば実現できる。具体的には、図14(1)の光学システムを、図4E図4F図4G図4H図4I図4J図4K図4L、または図4Mの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、光学システムがコンパクトになるので、各図の空間浮遊映像表示装置の筐体をより小さくすることが可能である。
【0236】
また、具体的には、図14(2)の光学システムを、図4E図4F図4G図4K、または図4Lの空間浮遊映像表示装置の光学システムと置き換えてもよい。この場合、光学システムから空間浮遊映像が飛び出す量をより大きくすることが可能となる。また、光学システムがコンパクトになるので、各図の空間浮遊映像表示装置の筐体をより小さくすることが可能である。
【0237】
<実施例3>
本発明の実施例3として、空間浮遊映像表示装置の構成例を説明する。実施例3の空間浮遊映像表示装置は、基本構成としては、実施例1や実施例2の構成を同様に適用できる。実施例3の空間浮遊映像表示装置は、光学システムの構成としては例えば図2A等をベースとし、筐体、言い換えると本体の構成としては例えば図4Aをベースとして適用できる。また、実施例3は、空間浮遊映像表示装置と、それに接続される外部機器などとを有するシステム(空間浮遊映像表示システム等と記載する場合がある)である。外部機器は、例えばユーザの所持するスマートフォンやタブレットやウェアラブル端末(スマートウォッチ等)などの携帯端末がある。携帯端末は、モバイル情報処理端末装置と称してもよい。
【0238】
実施例3の空間浮遊映像表示装置・システムにおいて実現される基本的な機能などとして以下を有する。この空間浮遊映像表示システムは、空間浮遊映像表示装置と、ユーザの携帯端末とを、通信で接続して連携する。このシステムは、ユーザが有している画像/映像、例えば携帯端末内にありユーザが携帯端末の画面に表示している画像(対象画像等と記載する場合がある)を、空間浮遊映像表示装置に空間浮遊映像3として表示させる機能を有する。そのために、ユーザは、その携帯端末を、空間浮遊映像表示装置の空間浮遊映像3(それに対応する所定の結像位置、表示範囲)に接触させるように操作/動作を行う。この操作/動作は、予め決められた操作/動作であり、挿入操作/接触操作などと記載する場合がある。空間浮遊映像表示装置は、その接触操作を、センサ等を用いて判定・検知する。本実施例では、例えばユーザの入力操作に基づいて携帯端末が表示要求を発信しながら、ユーザが携帯端末を空間浮遊映像3の平面の位置に対し挿入・接触させるように接触操作を行う。
【0239】
空間浮遊映像表示装置または携帯端末は、その接触操作に基づいて、携帯端末側の対象画像を空間浮遊映像3として表示させるための表示要求/表示指示を発生させる。言い換えると、空間浮遊映像表示装置/携帯端末は、携帯端末と空間浮遊映像3との接触に関する所定の条件を満たした、所定の接触操作がされた、と判定した場合に、そのような表示要求/表示指示を発生させる。空間浮遊映像表示装置の特に図3の映像制御部1160は、その表示要求を受領し、携帯端末側から対象画像のデータを通信によって受信・取得する。そして、空間浮遊映像表示装置は、その対象画像を空間浮遊映像3として表示させるように、表示装置1の映像処理を実行する。
【0240】
本機能は、以下のような機能としてもよい。ユーザの携帯端末が、上記接触操作とともに、言い換えると接触の直前、途中、あるいは直後に、上記表示要求を発信する。空間浮遊映像表示装置は、上記接触操作に基づいて、携帯端末からの表示要求を受領、許可/有効化し、上記と同様に、対象画像を空間浮遊映像3として表示させる処理を実行する。当該表示要求は、対象画像のデータの送信とセットでもよい。本機能は、表示要求を空間浮遊映像表示装置が発生させるか携帯端末が発生させるかに違いがあるが、いずれであっても、所定の接触操作を契機として自動的に対象画像を空間浮遊映像3として表示させることについては同様である。
【0241】
本機能は、以下のような機能としてもよい。最初、携帯端末は、表示要求を発信せず、ユーザは、携帯端末を空間浮遊映像3に接触させる。空間浮遊映像表示装置は、所定の接触操作を判定・検知した場合、その携帯端末に、通信で、表示要求を受け入れる旨、言い換えると本機能による画像表示が可能である旨の、確認などの情報を送信する。携帯端末は、その確認などの情報を受信すると、対象画像のデータを空間浮遊映像表示装置に送信する。対象画像のデータは表示要求を伴ってもよい。空間浮遊映像表示装置は、その対象画像のデータを受信すると、対象画像を空間浮遊映像3として表示させる。
【0242】
[空間浮遊映像表示システム]
図15は、実施例3の空間浮遊映像表示システムであるシステム3000の構成を示す。このシステム3000は、空間浮遊映像表示装置1000と、ユーザ230の携帯端末2000とが、LAN3020および/またはインターネット3010等の通信網を介して接続されるシステムである。図15では、空間浮遊映像表示装置1000の筐体1190言い換えると本体、空間浮遊映像3、通信部1132(図3)の一部を模式で図示している。筐体1190には前述の図3のような各構成要素が実装されている。なお、図3の制御部1110や通信部1132などが、筐体1190内に実装されてもよいし、筐体1190外に実装されてもよい。筐体1190外に、撮像部1180のカメラ、空中操作検出センサ1351、マイクやスピーカー等が設置されていてもよい。
【0243】
本システム3000は、携帯端末2000と空間浮遊映像表示装置1000との間で、任意の通信インタフェースで通信を行う。携帯端末2000と空間浮遊映像表示装置1000とが直接的に通信接続、例えば近距離無線通信してもよいし、携帯端末2000と空間浮遊映像表示装置1000との間にインターネット3010等を介在して通信接続してもよい。なお、本システム3000では、携帯端末2000と空間浮遊映像表示装置1000との間で、画像データ等を授受するので、ある程度の通信速度が必要である。そのため、図15の例では、携帯端末2000と空間浮遊映像表示装置1000とがLAN3020で接続されている。すなわち、携帯端末2000と空間浮遊映像表示装置1000は、ルータ等を介して、同一のネットワークに接続され、IPアドレス等を用いて互いに識別等ができるように設定される。これに限らず、ミラーリング等による通信とすることも可能である。
【0244】
携帯端末2000は、アプリケーション2010や画像2020を有している。アプリケーション2010は、例えば携帯端末2000のディスプレイの画面に画像2020等を表示する任意のアプリケーションプログラムである。アプリケーション2010は、一般的なOSやアプリでもよいし、実施例3のシステム3000の空間浮遊映像表示装置1000と連携・通信等をするための専用アプリケーションとしてもよい。アプリケーション2010のデータは、空間浮遊映像表示装置1000から配信されてもよいし、インターネット3010上のサーバ等から配信されてもよい。画像2020は、対象画像となる画像データである。画像2020は、インターネット3010上のサーバ等に保持されていてもよいし、空間浮遊映像表示装置1000から配信されてもよい。画像2020は、静止画でも動画でもよい。画像2020は、プログラム等の形式のデータでもよい。
【0245】
携帯端末2000のアプリケーション2010は、対象画像(画像2020)を空間浮遊映像3として表示させるための表示要求2030を作成して、空間浮遊映像表示装置1000に送信してもよい。
【0246】
図16は、実施例3の空間浮遊映像表示システムの機能などの概要を示す。(1).まず、ユーザ230は、自分の携帯端末2000に対象画像1601などを有している。対象画像1601は、空間浮遊映像3として表示させる対象となる画像である。
【0247】
(2).ユーザ230は、携帯端末2000を、空間浮遊映像表示装置1000の空間浮遊映像3の表示範囲3Rに対し、挿入して接触させる接触操作1600を行う。この際、携帯端末2000は、表示要求2030を発信してもよい。表示要求2030は、対象画像1601を空間浮遊映像3として表示させるための要求や指示である。
【0248】
(3).空間浮遊映像表示装置1000は、接触操作1600を検知すると、携帯端末2000の対象画像1601を、空間浮遊映像3である画像1602として表示させる。この際、空間浮遊映像表示装置1000は、表示要求2030を受領し、表示要求2030に基づいて携帯端末2000の対象画像1601を取得してもよい。空間浮遊映像表示装置1000は、表示要求2030に対する何らかの応答を携帯端末2000へ送信してもよい。
【0249】
図17は、携帯端末2000の構成例を示す。携帯端末2000は、筐体2090に、制御部20011、表示パネル20012、外部電源入力IF(インタフェース)20013、電源20014、二次電池20015、ストレージ部20016、映像制御部20017、姿勢センサ20018、操作入力部20019、通信部(アンテナを含む)20020、音声出力部(スピーカーを含む)20021、音声入力部(マイクを含む)20022、映像信号入力部20023、音声信号入力部20024、撮像部20025、メモリ20026、不揮発性メモリ20027等を備える。これらの構成要素はバス等のアーキテクチャで接続されている。
【0250】
制御部20011は、携帯端末2000の全体および各部を制御するプロセッサ等を有する。制御部20011は、不揮発性メモリ20027またはストレージ部20016に格納されたプログラム等のデータをメモリ20026に展開して、プログラムに従った処理を実行する。これにより、各種の機能が実現される。制御部20011は、メモリ20026に記憶されるプログラムと協働して、携帯端末2000内の各部から取得した情報に基づく演算処理を行ってもよい。図15のアプリケーション2010は、例えば、制御部20011または映像制御部20017により実行される。
【0251】
メモリ20026は、表示パネル20012に表示するための映像データや携帯端末2000の制御用データ等を記憶する。制御部20011がストレージ部20016等から各種ソフトウェアのプログラムを読み出して、メモリ20026に展開して記憶してもよい。不揮発性メモリ20027やストレージ部20016は、携帯端末2000で用いる各種データや各種情報を保持する。不揮発性メモリ20027やストレージ部20016に格納されるデータ・情報には、例えば、表示パネル20012に表示するための各種操作用のデータ、表示アイコン、ユーザ230が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。
【0252】
表示パネル20012は、表示部であり、例えばタッチパネルであり、表示手段であるとともにタッチ操作入力を受け付ける入力手段である。表示パネル20012の画面には画像等が表示される。表示パネル20012にはタッチセンサを備えており、ユーザ230の指などによるタッチ操作入力を受け付ける。表示パネル20012は、液晶パネルや有機ELパネル等を適用できる。
【0253】
通信部20020は、各種の通信インタフェースが実装されたデバイスである。通信部20020は、通信インタフェース/通信方式として、例えば、4Gや5Gなどの移動体通信インタフェースや、Wi―Fi(登録商標)等の無線LAN通信インタフェースや、Bluetooth(登録商標)やNFC等の近距離通信インタフェースなどが実装されている。携帯端末2000の通信部20020は、これらの通信方式を用いて、空間浮遊映像表示装置1000の通信部1132(図3)との間で、通信可能である。同様に、空間浮遊映像表示装置1000からみれば、通信部1132は、それらの通信インタフェース/通信方式が実装されている。通信部20020は、いずれかの通信方式により、インターネット3010に接続された通信装置、例えば無線基地局などと通信可能である。これにより、携帯端末2000は、インターネット3010に接続されたサーバ等と通信可能である。
【0254】
電源20014は、外部から外部電源入力IF(インタフェース)20013を介して入力されるAC電流をDC電流に変換し、携帯端末2000の各部にそれぞれ必要なDC電流を供給する。二次電池20015は、電源20014から供給される電力を蓄電する。二次電池20015は、外部電源入力IF20013を介して外部から電力が供給されない場合に、電力を必要とする各部に対して電力を供給する。
【0255】
映像信号入力部20023は、外部の映像出力装置を接続して映像データを入力する。映像信号入力部20023は、様々なデジタル映像入力インタフェースが適用できる。例えば、HDMI(登録商標)(High―Definition Multimedia Interface)規格の映像入力インタフェース、DVI(Digital Visual Interface)規格の映像入力インタフェース、または、DisplayPort規格の映像入力インタフェース等が適用できる。または、アナログRGBや、コンポジットビデオなどのアナログ映像入力インタフェースを設けてもよい。映像信号入力部20023は、各種USBインタフェースなどでもよい。
【0256】
音声信号入力部20024は、外部の音声出力装置を接続して音声データを入力する。音声信号入力部20024は、HDMI規格の音声入力インタフェース、光デジタル端子インタフェース、または、同軸デジタル端子インタフェースなどが適用できる。音声信号入力部20024は、各種USBインタフェースなどでもよい。HDMI規格のインタフェースの場合は、映像信号入力部20023と音声信号入力部20024とは、端子およびケーブルが一体化したインタフェースとして構成されてもよい。
【0257】
音声出力部20021は、音声信号入力部20024に入力された音声データや、ストレージ部20016に格納されている音声データに基づいた音声を出力可能である。音声出力部20021は、スピーカーで構成してもよいし、イヤホン端子を有してもよい。また、音声出力部20021は、内蔵の操作音やエラー警告音を出力してもよい。音声出力部20021は、HDMI規格に規定されるAudio Return Channel機能のように、外部機器にデジタル信号として出力する構成を適用してもよい。
【0258】
マイクを含む音声入力部20022は、携帯端末2000の周辺の音を収音し、信号に変換して音声信号を生成する。音声入力部20022は、ユーザ230の声などの人物の声をマイクが収録して音声信号を生成し、制御部20011等がその音声信号から音声認識処理を行って文字情報を取得するようにしてもよい。
【0259】
撮像部20025は、例えばイメージセンサを有するカメラである。携帯端末2000は、例えば筐体2090における表示パネル20012側である前面にカメラ(インカメラ)を設けてもよいし、反対の背面にカメラ(アウトカメラ)を設けてもよい。本実施例では、撮像部20025は、インカメラとアウトカメラとの両方を有する。
【0260】
ストレージ部20016は、映像データ、画像データ、音声データ等の各種データやプログラム等の各種情報を記録する記憶装置である。ストレージ部20016は、例えばハードディスクドライブ(HDD)などの磁気記録媒体記録装置や、ソリッドステートドライブ(SSD)などの半導体素子メモリで構成してもよい。ストレージ部20016には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データやプログラム等の各種情報が記録されていてもよい。また、ストレージ部20016は、通信部20020を介して外部のサーバ等から取得された各種データや各種情報を記録してもよい。ストレージ部20016に記録された画像データ等は、映像制御部20017による処理を介して、表示パネル20012に出力・表示される。携帯端末2000は、ストレージ部20016に記録された各種データや情報を、通信部20020を介して、外部のサーバ等に出力・送信してもよい。
【0261】
映像制御部20017は、表示パネル20012に入力する映像信号に関する各種制御を行う。映像制御部20017は、映像処理回路、映像処理部、画像処理部などと称してもよい。映像制御部20017は、例えば、ASIC、FPGA、映像用プロセッサなどのハードウェアで構成されてもよい。映像制御部20017は、例えば、メモリ20026等に記憶させる映像信号や、映像信号入力部20023に入力された映像信号(映像データ)等のうち、どの映像信号を表示パネル20011に入力して表示させるかといった映像切り替え制御等を行う。また、映像制御部20017は、映像信号入力部20023から入力された映像信号やメモリ20026に記憶させる映像信号等に対し画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。映像制御部20017は、表示パネル20012に入力するための映像データを保持するビデオメモリ等を備えてもよい。
【0262】
姿勢センサ20018は、ジャイロセンサ、重力センサ、加速度センサ、地磁気センサなどの組み合わせにより構成されるセンサであり、携帯端末2000の姿勢を検出できる。姿勢は、例えば空間における直交する3軸(X,Y,Z)の方向、角度で表現できる。姿勢センサ20018の姿勢検出結果に基づいて、制御部20011が、各部の動作を制御してもよい。そのほか、携帯端末2000は、GPS受信器、近接センサ、照度センサ、測距センサなどを備えてもよい。
【0263】
操作入力部20019は、ユーザ230が操作入力するためのデバイスであり、例えば電源ボタンや音量ボタンなどがある。
【0264】
[映像表示方法]
図18図18A等)は、実施例3のシステム3000における空間浮遊映像表示装置1000と携帯端末2000との連携による映像表示方法についての説明図である。図18A等では、ユーザ230が携帯端末2000を空間浮遊映像表示装置1000の空間浮遊映像3の表示範囲3Rに接触させることにより、携帯端末2000から空間浮遊映像表示装置1000へ表示要求2030を行う様子を示している。図18Aは斜視図であり、図18Bは上方から見た上面図(XY平面図)であり、図18Cは、横から見た側面図(YZ平面図)であり、図18Dは、装置正面から見た正面図(XZ平面図)である。
【0265】
図18Aで、筐体1190の上面には、開口部1200を有し、開口部1200には、例えば図2Aと同様に、透明部材100(例えばガラス板)や偏光分離部材101が設けられている。表示範囲3Rは、実像である空間浮遊映像3が形成される空間内の所定の位置、平面を表している。図18Aでは、空間座標系を(X,Y,Z)で表している。X軸・X方向は、ユーザ230(矢印Aの方向の元にある図示しない視点)から見て左右方向(第1水平方向)である。Y軸・Y方向は、ユーザ230から見て前後方向(奥行き方向、第2水平方向)である。Z軸・Z方向は、ユーザ230から見て上下方向(鉛直方向)である。また、空間浮遊映像3における座標系を(x,y,z)で示している。x方向は画面水平方向、y方向は画面垂直方向、z方向は奥行き方向である。
【0266】
方向1801は、ユーザ230が接触操作の際に携帯端末2000を空間浮遊映像3の表示範囲3Rに対し挿入する方向(挿入方向)の例を示しており、本例ではY方向である。図18Aでは、携帯端末2000と表示範囲3Rとが接触する箇所の例を接触箇所1802で示している。本例では、接触箇所1802は、表示範囲3Rのうちの右下付近である。
【0267】
図18の実施例では、携帯端末2000と表示範囲3Rとの接触をもって、携帯端末2000から空間浮遊映像表示装置1000への表示要求2030が行われる。言い換えると、接触の直前、途中、または直後に、携帯端末2000から空間浮遊映像表示装置1000へ表示要求2030が発信される。例えば、空間浮遊映像表示装置1000は、この接触を判定・検知し、この接触を検知すると、携帯端末2000から送信されている表示要求2030を受領する。すなわち、空間浮遊映像表示装置1000は、その表示要求2030に基づいて、対象画像を空間浮遊映像3に表示させることを、許容する。空間浮遊映像表示装置1000は、その表示要求2030に伴う対象画像の画像データを携帯端末2000から転送によって受信する。空間浮遊映像表示装置1000は、取得した画像データに基づいて、表示装置1を制御して、空間浮遊映像3として対象画像を表示させる。言い換えると、空間浮遊映像表示装置1000は、ユーザ230が指定した対象画像を、空間浮遊映像に変換して、空間浮遊映像3として表示させる。
【0268】
携帯端末2000から送信される表示要求2030は、前述の各種の通信方式で可能であり、詳細を限定しない。本例では、LAN3020において無線通信で表示要求2030が送信されるものとするが、これに限らず、有線接続を用いてもよいし、携帯端末2000と空間浮遊映像表示装置1000とが赤外線通信などで接続されてもよい。
【0269】
携帯端末2000と表示範囲3Rとの接触の判定・検知は、後述するが、空中操作検出センサ1351等(図3)によるものや、撮像部1180(カメラ)によるものなどが挙げられる。そのほか、当該接触の判定・検知は、筐体1190の内外に取り付けられた各種センサ、あるいは携帯端末2000に有する各種センサ、例えばジャイロセンサを用いて、もしくはこれらを複合的に用いて、行うようにしてもよい。
【0270】
上記のように、本システム3000は、表示範囲3Rに対する携帯端末2000の接触操作の判定・検知を契機として、空間浮遊映像表示装置1000が携帯端末2000からの表示要求2030を認識し、空間浮遊映像表示装置1000が空間浮遊映像の対象画像の表示を開始する。上記のように、実施例3での特徴として、空間浮遊映像3の表示範囲3Rに携帯端末2000を接触・配置させるだけで、空間浮遊映像である対象画像を表示させることができる。
【0271】
[接触操作]
図19図19A等)は、携帯端末2000を空間浮遊映像3の表示範囲3Rに接触させる際の、姿勢変化方向などについて示している。携帯端末2000の姿勢変化方向1901は、図示のように様々な方向がある。図19Aでは、斜視図で、ピッチ角α、ロール角β、ヨー角γの3軸の回転角度を表している。本実施例では、基本として、接触操作時には、携帯端末2000の姿勢は任意でよく、すなわち、これらの角度(α,β,γ)の状態がどのような状態であってもよい。これにより、ユーザ230による接触操作が簡単となり、利便性が高い。
【0272】
図19Bは、XY平面図であり、接触操作時に、携帯端末2000の姿勢を、水平面(XY平面)内で回転させた姿勢とする場合の例を示している。ここでは、説明上、携帯端末2000の代表的な位置および向きを、図19Aのように、筐体の前面、特に表示パネル20012における中央の位置P1、および前面の長辺に沿った向きR1(ロール角βの軸と同じ)とする。本例では、接触時の携帯端末2000の向きR1およびそれに対応する挿入方向1801は、Z軸(ヨー角γ)の周りに回転しており、Y軸に対し左斜めに傾いた向きとなっている。姿勢変化方向1901は、Z軸(ヨー角γ)の周りの回転方向である。表示範囲3Rに対しては、携帯端末2000の筐体の上辺の付近が接触している(接触箇所1802)。ユーザ230は、例えば右手に持った携帯端末2000を、表示範囲3Rの中央付近に挿入している。
【0273】
図19Cは、YZ平面図であり、接触操作時に、携帯端末2000の姿勢を、YZ平面内で回転させた姿勢とする場合の例を示している。本例では、接触時の携帯端末2000の向きR1およびそれに対応する挿入方向1801は、X軸(ピッチ角α)の周りに回転しており、Y軸に対し斜め下に傾いた向きとなっている。姿勢変化方向1901は、X軸(ピッチ角α)の周りの回転方向である。挿入方向1801を表示範囲3Rに対し垂直とする場合である。表示範囲3Rに対しては、携帯端末2000の筐体の上辺の付近が接触している(接触箇所1802)。
【0274】
図19Dは、XZ平面図であり、接触操作時に、携帯端末2000の姿勢を、XZ平面内で回転させた姿勢とする場合の例を示している。本例では、接触時の携帯端末2000の向きR1およびそれに対応する挿入方向1801は、Y軸(ロール角β)の周りに回転しており、筐体の平板が鉛直に立つ向きとなっている。姿勢変化方向1901は、Y軸(ロール角β)の周りの回転方向である。
【0275】
図19Eは、YZ平面断面図であり、接触操作時の携帯端末2000の姿勢の別の例を示している。本例は、接触操作時に携帯端末2000の前面の表示パネル20012の画面が下向きとなるようにする場合を示す。図19Eでは、空間浮遊映像表示装置1000の構成として図4Aの構成に適用した例を示す。筐体1190の上面(XY平面)の透明部材100の開口部1200から、斜め上方向に映像光が出射し、空間浮遊映像3を形成する。空間浮遊映像3の表示範囲3Rの平面(xy平面)は、XY平面から45度程度傾いて配置されている。図19Eでは空中操作検出センサ1351等の図示は省略している(後述)。
【0276】
ユーザ230は、接触操作の際に、携帯端末2000を、画面1902を下向き(方向1903)にし、表示範囲3Rに対し挿入方向1801としてY方向で奥(正)に挿入する。図19Eでは、携帯端末2000が表示範囲3Rに接触して奥側に通過した状態(携帯端末2000b)を示している。この状態で、携帯端末2000bの画面1902が下向き(方向1903)となっている。このような接触操作としてもよい。
【0277】
図19Fは、YZ平面断面図であり、接触操作時の携帯端末2000の姿勢などの別の例を示している。本例は、接触操作時に携帯端末2000の前面の表示パネル20012の画面1902が、空間浮遊映像3の表示範囲3Rの平面(xy平面)に沿った向きとなるようにする場合を示す。ユーザ230は、携帯端末2000の画面1902を表示範囲3Rに対向して重ね合わせるように操作する。図19Fでは、携帯端末2000の画面1902が表示範囲3Rに接触した状態が維持されている。
【0278】
また、所定の接触操作は、携帯端末2000が表示範囲3Rに接触している時間(接触時間とする)が判定されるものとしてもよい。すなわち、空間浮遊映像表示装置1000は、接触時間をカウントし、判定条件として、接触時間が一定時間以上となった場合に、所定の接触操作がされたと判定する。
【0279】
図20図20A等)は、携帯端末2000を表示範囲3Rに挿入するように接触操作をする際に、挿入前、挿入中、および挿入後を含む各時点で、携帯端末2000の位置等が、基本的に任意の位置等でもよいことを示す説明図である。表示範囲3Rへの携帯端末2000の挿入は、携帯端末2000と表示範囲3Rとが接触すればよく、言い換えると接触判定が可能であればよく、任意の位置、挿入方向や姿勢角度をとることができる。また、表示範囲3Rと携帯端末2000の接触は、基本的に、表示範囲3Rのいずれの箇所で行われてもよい。
【0280】
このように、許容する接触操作・動作(対応する判定条件)を広くしておくことで、ユーザ操作が容易になる利点がある。逆に、許容する接触操作・動作(判定条件)を狭くすることも可能である。すなわち、接触操作時(挿入前、挿入中、挿入後など)に許容される携帯端末2000の位置、姿勢、挿入方向、接触時間、表示範囲3Rの接触領域などが限定されるように規定されてもよい。
【0281】
図20Aは、YZ平面で、挿入前の携帯端末2000の位置や挿入方向の各例を示している。図20Aでは、携帯端末2000の図示を省略し、携帯端末2000の位置を点で示している。黒丸点や白丸点(p1等)は、挿入前の携帯端末2000の位置の例を示す。図示のように、携帯端末2000が表示範囲3Rに接触すれば、様々な位置や挿入方向が可能である。
【0282】
図20Bは、XY平面で、挿入前の携帯端末2000の位置や挿入方向の各例を示している。挿入前の任意の位置(p11等)から、表示範囲3Rに接触するように、任意の挿入方向で、操作が可能である。また、位置p14の場合、挿入前に、携帯端末2000が、表示範囲3Rの右側で表示範囲3RよりもY方向で奥側にあり、挿入方向は、表示範囲3Rに対し、奥(+Y)から前(-Y)への方向、あるいは左右方向となる。このような場合でも、携帯端末2000が表示範囲3Rに接触すれば、接触操作として許容される。
【0283】
図20Cは、YZ平面図で、携帯端末2000が表示範囲3Rに接触した時の状態の例を示している。表示範囲3Rへの携帯端末2000の接触は、接触が検知・判定可能であれば、携帯端末2000の任意の部分の接触でよい。また、表示範囲3Rへ携帯端末2000が一度接触した後(接触操作が検知された後)であれば、携帯端末2000が表示範囲3Rから外れてもよい。
【0284】
状態2000c1は、接触時の携帯端末2000の状態の例を示し、その時の接触箇所(接触位置)c1は、表示範囲3R側での中央付近であり、携帯端末2000側での例えば筐体の上辺付近の一部である。状態2000c2は、接触時の携帯端末2000の状態の他の例を示し、その時の接触箇所c2は、表示範囲3Rの上部で、例えば筐体の下辺付近の一部である。状態2000c3は、接触時の携帯端末2000の状態の他の例を示し、その時の接触箇所c3は、表示範囲3R側での下部であり、一旦接触した後に、携帯端末2000が奥側に通過しており、表示範囲3Rには触れていない。また、状態2000c4は、接触した状態2000c1から、携帯端末2000がY方向で手前側に戻された状態である。
【0285】
[変形例:判定条件]
実施例3では、携帯端末2000の表示範囲3Rへの挿入・接触操作時の姿勢や位置などを任意としたが、これに限定されない。変形例では、携帯端末2000の挿入・接触操作時の姿勢や位置などを特定の状態に限定してもよい。すなわち、空間浮遊映像表示装置1000は、携帯端末2000の接触操作時に、特定の姿勢などの状態を判定・検知し、検知した場合のみ、表示要求2030を許容するようにしてもよい。変形例として、許容される所定の接触操作を狭く限定する場合、例えば以下のような判定条件が挙げられる。
【0286】
(1).空間浮遊映像3の表示範囲3Rの平面に対し、Y方向で前、すなわちユーザ230が空間浮遊映像3を視認する側から奥への方向に挿入する挿入方向のみが許容される。言い換えると、表示範囲3Rに対し後ろや横から接触させることは許容されない。また、空間浮遊映像3の表示範囲3Rの平面に対し、挿入方向が所定の角度範囲内である場合のみが許容される。
【0287】
(2).携帯端末2000が表示範囲3Rの平面に接触した時の接触箇所、すなわち携帯端末2000の位置、表示範囲3R内の領域が、一部に限定される。例えば、表示範囲3R内の中央の一部、右下の一部、左上の一部など。
【0288】
(3).携帯端末2000が表示範囲3Rの平面に接触した時の、携帯端末2000の姿勢が、一部の姿勢に限定される。例えば、表示範囲3Rの平面に対する角度が所定の角度範囲内であること等。例えば、図19Cのように、表示範囲3Rの平面に対し携帯端末2000の平板状の筐体が概略的に垂直に挿入される場合のみ、許容されるようにしてもよい。また、例えば、図19Fのように、表示範囲3Rの平面に対し携帯端末2000の平板状の筐体が概略的に平行に接触される場合のみ、許容されるようにしてもよい。
【0289】
(4).携帯端末2000が表示範囲3Rの平面に接触した後に、奥側に通過した後の状態における、携帯端末2000の姿勢や保持時間が限定される。例えば、図19Eの例のように、表示範囲3Rまたは開口部1200の平面に対する姿勢角度が所定の角度範囲内であること等。
【0290】
[ガイド表示]
図21Aは、空間浮遊映像3の表示範囲3Rへ携帯端末2000を挿入する接触操作の際に、空間浮遊映像表示システムが、ユーザ230に対するその挿入・接触操作に関するガイド情報を表示する例を示す。実施例3では、空間浮遊映像表示装置1000が、そのガイド情報、言い換えると携帯端末2000を挿入する箇所や方向などを誘導・案内するための情報、ユーザインタフェース情報を、空間浮遊映像3に表示する。これにより、ユーザ230は、そのガイド情報に従って、表示範囲3Rへ携帯端末2000を挿入する接触操作を容易に行うことができる。
【0291】
このガイド情報における誘導表示の例としては、以下が挙げられる。
(a).表示範囲3Rの全体(接触操作を受け付ける領域。一部領域でもよい。)を、所定の有色などで表示すること。あるいは、その表示範囲3Rの全体を表す枠を、有色などで表示すること。
(b).矢印等の表示で、挿入箇所や挿入方向を説明すること。
(c).自然言語や映像・画像・アニメーション等で、挿入箇所や挿入方向を説明すること。
【0292】
図21Aの例では、下部に、空間浮遊映像3を正面視する場合のxy平面図で、ガイド情報の表示例を示している。図21Aのガイド情報は、いくつかの誘導表示例をまとめて図示しており、これらのうち少なくとも1つを適用すればよい。誘導表示例2101は、表示範囲3Rの全体を表す矩形の枠を有色で表示する例である。誘導表示例2102は、矢印画像(他の所定の記号や図形などでもよい)の表示によって、挿入・接触を受け付ける領域をユーザに示す例である。本例の矢印画像は、表示範囲3Rの四辺から内側に向いた複数の矢印の画像である。誘導表示例2103は、自然言語の文字画像、例えば“Insert here”の表示によって、表示範囲3Rの領域への挿入・接触をユーザに伝える例である。誘導表示例2104は、映像・画像、例えばアニメーション等によって、表示範囲3Rの領域への挿入・接触をユーザに伝える例である。
【0293】
変形例としては、後述のように、携帯端末2000側の画面に、同様にガイド情報を表示してもよい。
【0294】
また、変形例として、携帯端末2000の挿入・接触操作時に、接触状況を伝えるためのガイド画像を空間浮遊映像3に表示してもよい。図21Bの例では、空間浮遊映像3の表示範囲3Rのうち、一部の領域2105のみが、挿入・接触操作を受け付ける所定の領域(挿入領域/接触領域)として規定されている。
【0295】
空間浮遊映像表示装置1000は、センサを用いて、表示範囲3Rに対する携帯端末2000の接触状況を検出し、検出した接触箇所に応じて、接触状況を表すガイド画像2106を表示する。このガイド画像2106は、そのガイド画像2106に対応する空間位置で携帯端末2000が表示範囲3Rに接触していることを表す画像である。本例では、ガイド画像2106は、接触箇所を中心に広がる波紋のようなエフェクト画像である。ユーザ230は、ガイド画像2106を見ることで、表示範囲3Rへの携帯端末2000の接触状況をよりわかりやすく認識できる。そして、ユーザ230は、ガイド画像2106に基づいて、携帯端末2000を、一部の領域2105である挿入領域へ移動させればよい。ユーザ230へのガイド情報/フィードバック情報は、上記のような画像表示のみに限らず、音声出力などを併用してもよい。
【0296】
[表示制限機能]
また、本システム3000は、以下のような機能(表示制限機能とする)を有してもよい。本システム3000は、接触操作の際に表示範囲3Rに携帯端末2000が挿入された際に、表示範囲3Rのうちで携帯端末2000が挿入されている列近傍の一部領域を空間浮遊映像3の非表示にした上で、残りの表示範囲3Rの領域に別の表示を行うようにしてもよい。携帯端末2000の挿入の操作に伴い、ユーザ230から表示範囲3Rを見ると、携帯端末2000によって遮光・遮蔽されて、表示映像である空間浮遊映像3が見えなくなる箇所が発生する場合がある。この機能は、このように見えなくなる箇所(一部領域)の空間浮遊映像3の表示を、一時的に非表示となるように制御する機能である。空間浮遊映像表示装置1000の特に図3の映像制御部1160などは、この機能において、表示装置1の光源装置13や映像表示素子(液晶表示パネル11)の制御によって、上記非表示を実現してもよい。
【0297】
また、空間浮遊映像表示装置1000は、上記接触操作に伴い表示範囲3Rの一部領域を非表示とした場合に、残りの表示領域と、表示映像である空間浮遊映像3とが合致するように、表示映像の表示サイズの縮小やアスペクト比の変更などを行ってもよい。
【0298】
図22図22A等)は、この表示制限機能の例を示す。図22Aは、XY平面図で、例えば図18A図18Dと同様に、ユーザ230が表示範囲3Rの一部に対しY方向で携帯端末2000を挿入・接触した場合を示している。領域2201は、表示範囲3Rへ挿入後に接触している状態の時の携帯端末2000の位置・領域を示す。図22Bは、図22Aの状態に対応したXZ平面図を示す。領域2202は、映像光の遮蔽によって生じる視認不可領域の例である。また、対応して、図22Cは、YZ平面図で、映像光の遮蔽の状態を示している。位置2203は、表示範囲3Rへ挿入後の接触している状態の携帯端末2000の位置・領域を示す。
【0299】
映像光成分2204は、開口部1200から外へ出射した映像光の光束のうち、携帯端末2000(位置2203)によって遮蔽されずに、ユーザ230の視点(目)に入射することで、表示範囲3Rに空間浮遊映像3を形成する成分を示す。映像光成分2205は、開口部1200から外へ出射した映像光の光束のうち、携帯端末2000(位置2203)によって遮蔽されて、ユーザ230の視点(目)には入射しないことで、表示範囲3Rに視認不可領域2202を形成する成分を示す。
【0300】
図23図23A等)は、空間浮遊映像3でのガイド画像の表示例ととともに、表示制限機能の動作例を示している。
【0301】
まず、図23Aは、空間浮遊映像3の表示範囲3Rの正面視(xy平面)において、接触操作が検知された場合に、表示要求2030が発生中であることを表すガイド画像2302が表示される例を示している。本例では、表示範囲3Rにおいて、全体を示す枠表示2301があり、その枠表示2301の中で、表示要求2030の発生中を表すガイド画像2302が表示されている。ガイド画像2302は、例えば、表示要求2030の発生中を表す文字画像、例えば“Requesting...”や矢印アイコン等である。また、この状態では、携帯端末2000による遮蔽によって、視認不可領域2202が生じている。
【0302】
図23Bは、空間浮遊映像表示装置1000が、図23Aのような視認不可領域2202の発生の検知に基づいて、表示範囲3Rのうち一部領域を非表示にし、残りの領域の表示を制御する例を示している。視認不可領域2202の発生の検知は、空中操作検出センサ1351や撮像部1180により検知可能である。
【0303】
空間浮遊映像表示装置1000の例えば図3の映像制御部1160は、接触操作の判定・検知とともに、視認不可領域2202を判定・検知し、表示範囲3Rのうち、視認不可領域2202を含む、非表示領域を決定する。本例では、空中操作検出センサ1351(後述)による検出に基づいて、表示範囲3Rのうち、X方向およびx方向での接触箇所2303言い換えると幅、列がわかる。よって、空間浮遊映像表示装置1000は、表示範囲3Rのうち、その接触箇所2303に対応する表示列を、斜線ハッチングパターンで示す非表示領域2304とするように決定する。非表示領域2304は、視認不可領域2202を包含している。表示範囲3Rのうち、非表示領域2304以外の領域は、表示領域2305となる。言い換えると、空間浮遊映像表示装置1000は、表示範囲3Rを、X方向およびx方向で非表示領域2304の幅の分だけサイズを縮小することで、表示領域2305を構成する。
【0304】
空間浮遊映像表示装置1000は、非表示領域2304には空間浮遊映像3を表示しないようにし、表示領域2305のみに空間浮遊映像3を表示するように、表示装置1の表示を制御する。本例では、表示範囲3Rの表示領域2305において、図23Aのような元の枠画像2301およびガイド画像2302から、アスペクト比を維持したまま、表示領域2305の幅に収まるように、縮小等調整されることで、枠画像2306およびガイド画像2307に変更されている。
【0305】
上記機能により、ユーザ230は、空間浮遊映像3におけるガイド画像2307等を視認しやすくなる。上記例は、視認不可領域2202に対し、より広い領域を非表示領域2304とする場合を示したが、これに限定されず、非表示領域は、視認不可領域と同じ領域としてもよいし、視認不可領域と少なくとも一部が重なる異なる領域としてもよい。また、ガイド画像の変更・調整は、アスペクト比の変更、色や輝度の変更、表示位置シフト等、様々に可能である。
【0306】
図24Aは、所定の接触操作が検知されて、言い換えると接触操作の成功と判定されて、表示要求2030が受領された場合の、ユーザ230への通知などのフィードバックとしての、空間浮遊映像3のガイド画像の表示例を示す。本例では、表示範囲3Rの全体に、成功を表すガイド画像2401が表示されている。ガイド画像2401は、成功を表す文字やアイコン等で構成されている。このように成功となった場合、対象画像を空間浮遊映像3として表示するフェーズに移行される。
【0307】
図24Bは、所定の接触操作が検知できない、言い換えると接触操作の失敗と判定されて、表示要求2030が受領されない場合の、ユーザ230への通知などのフィードバックとしての、空間浮遊映像3のガイド画像の表示例を示す。本例では、表示範囲3Rの全体に、失敗を表すガイド画像2402が表示されている。ガイド画像2402は、失敗やリトライを表す文字やアイコン等で構成されている。
【0308】
ユーザ230による表示範囲3Rへの携帯端末2000の挿入・接触操作が、適切に行われなかった場合、あるいは、適切に行われたものの本システム3000がセンサ不具合等によって適切に検知できなかった場合、空間浮遊映像表示装置1000は、上記のように、失敗あるいはエラーと判定し、ユーザ230へフィードバックとしてガイド画像2402を出力する。この場合、空間浮遊映像表示装置1000は、ユーザ230に接触操作のリトライを促してもよい。ユーザ230は、接触操作からやり直す。
【0309】
さらに、図24Cは、表示範囲3Rへの携帯端末2000の接触操作とともに携帯端末2000から空間浮遊映像表示装置1000への表示要求2030が適切に行われた旨(成功)のガイド画像を空間浮遊映像3として表示する場合に、視認不可領域2202に応じて表示領域を調整して表示する例を示す。非表示領域2404は、表示範囲3Rのうち、視認不可領域2202を含んだ領域であり、表示領域2405は、非表示領域2404以外の領域である。
【0310】
図24Cの下部の左側の(A)は、成功の場合の例であり、表示領域2405には、図24Aのようなガイド映像2401に基づいてサイズ等が調整されたガイド映像2401bが表示される。同様に、図24Cの下部の右側の(B)は、失敗の場合の例であり、表示領域2405には、図24Bのようなガイド映像2402に基づいてサイズ等が調整されたガイド映像2402bが表示される。
【0311】
上記ユーザ230へのフィードバックは、空間浮遊映像3でのガイド画像の表示やランプ発光などの視覚的手段に限らずに、音声出力などの聴覚的手段や、振動/エアー/超音波などの刺激を発生させる装置等の触覚的手段を用いてもよい。そのような装置、例えばエアー噴出機、超音波発生器が、筐体1190の内または外に設置されていてもよい。また、各手段を組み合わせて同時に用いてもよい。
【0312】
図24Dは、YZ平面で、接触操作および表示要求2030が成功や失敗の結果となった場合に、空間浮遊映像表示装置1000が、ユーザ230に対し、スピーカー等の図3での音声出力部1140から、成功や失敗を表す音声2408を発生する場合を示す。(A)は成功の場合の音声2408(音声通知例)であり、例えば「接続しました」となる。(B)は失敗の場合の音声2408(音声通知例)であり、例えば「接続できませんでした」「もう一度お試しください」となる。スピーカーは、筐体1190の内または外に設置されていてもよい。スピーカーは、超指向性スピーカー等としてもよい。上記例は自然言語の音声出力例であるが、これに限らず、所定の短音、例えばビープ音、アラート音や音楽の出力などとしてもよい。
【0313】
[空中操作検出センサ]
図25図25A等)は、実施例3の空間浮遊映像表示装置1000におけるセンサとして空中操作検出センサ1351および撮像部1180(カメラ)の実装例を示す。実施例3の空間浮遊映像表示装置1000の特に図3での空中操作検出部1350、制御部1110または映像制御部1160等は、これらのセンサを用いて、空間浮遊映像3の表示範囲3Rに対する携帯端末2000の挿入・接触操作を判定・検知する。
【0314】
図25Aは、YZ平面図で、筐体1190における空中操作検出センサ1351および撮像部1180(カメラ)の配置例を示す。図25Aでの光学システムの構成例は、図4A図18Eと同様である。図25Aの例では、空中操作検出センサ1351は、筐体1190の上面の透明部材100の付近において、Y方向でユーザ230に近い手前側に設置されている。この空中操作検出センサ1351は、一点鎖線矢印で示す光軸が図示のように斜め上、つまりy方向を向いており、その光軸は、空間浮遊映像3の表示範囲3Rと重なるように設定されている。また、図25Aの例では、撮像部1180(カメラ)は、筐体1190内において、一点鎖線矢印で示す光軸が上、つまりZ方向を向いて設置されている。撮像部1180(カメラ)の撮像範囲は、破線で示すように、表示範囲3Rおよび開口部1200を含む範囲となるように設定されている。
【0315】
図25Bは、空中操作検出センサ1351の構成例を示す。図25Bでは、空間浮遊映像3の表示範囲3Rに合わせたxy平面図を示している。空中操作検出センサ1351は、x方向(図25AでのX方向)に、複数の光学素子1351cが配列されている。光学素子1351cは、発光素子1351aと受光素子1351bとの対である。発光素子1351aは、例えば赤外線素子等で構成される。空中操作検出センサ1351の発光素子1351aの出射面は、図25Aでの筐体1190の透明部材100の上面と一致しているとする。発光素子1351aは、y方向に光a1例えば赤外線を出射する。その光a1は、物体によって遮られない場合、表示範囲3Rを通過する。その光a1は、物体によって遮られる場合、その物体で反射されて、反射光a2として戻ってくる。反射光a2は、受光素子1351bで受光される。
【0316】
例えば、表示範囲3Rのxy平面内に、ユーザ230の指による接触箇所2501がある場合、その接触箇所2501で光a1が反射して反射光a2として戻ってくる。あるx方向の位置の受光素子1351bは、その反射光a2を検出する。これにより、空中操作検出部1350は、そのx方向の位置に、接触箇所2501があることがわかる。また、空中操作検出部1350は、出射された光a1が反射光a2として戻ってくるまでの時間から、TOF方式で、距離を計算できる。例えば、接触箇所2501までの距離2502を計算できる。これにより、表示範囲3Rのxy平面における接触箇所2501の位置座標もわかる。
【0317】
また、図25Bでは、表示範囲3R内に、挿入・接触操作によって、携帯端末2000bが配置された場合を、接触箇所2503として示している。この場合も、同様に、空中操作検出センサ1351および空中操作検出部1350は、接触箇所2503の位置座標を検出できる。なお、図25Aの例では、空間浮遊映像3の上側には何もないが、空間浮遊映像3の上側にも筐体1190の一部を設けてもよい。その場合、空中操作検出センサ1351の光a1は、その筐体1190の一部によって反射されて、反射光a2として戻ってくる。
【0318】
空間浮遊映像表示装置1000は、上記空中操作検出センサ1351および空中操作検出部1350を用いることで、図25Aのように表示範囲3Rに携帯端末2000bが接触した場合に、接触操作として検知できる。上記配置例に限らず、空中操作検出センサ1351は、表示範囲3Rのxy平面に対し、上側に配置されてもよいし、前後つまりz方向やY方向にずらした位置に配置されてもよいし、その前後方向で複数の位置に複数の空中操作検出センサが配置されてもよい。
【0319】
また、図25Aの例で、表示範囲3Rに携帯端末2000bが配置された場合に、撮像部1180(カメラ)の撮像画像内には、その携帯端末2000bが写り込む。よって、撮像部1180に連携する映像制御部1160等は、撮像画像内からその携帯端末2000bを検出し、表示範囲3Rに携帯端末2000bが接触したかどうかを判定できる。これにより、空間浮遊映像表示装置1000は、上記撮像部1180を用いることによっても、図25Aのように表示範囲3Rに携帯端末2000bが接触した場合に、接触操作として検知できる。空間浮遊映像表示装置1000は、上記空中操作検出センサ1351と撮像部1180との少なくとも一方を用いて、接触操作を判定・検知すればよい。それらの両方を用いる場合には、判定・検知の精度をより高くできる。
【0320】
図25Aの例に限らず、撮像部1180(カメラ)の他の配置として、例えば、破線で撮像部1180bとして示すように、筐体1190の外側、Y方向で奥側の位置で、光軸が表示範囲3Rの方を向く配置としてもよい。撮像部1180bがユーザ230の顔などを撮像してもよいし、ユーザ230が近接したことを検出してもよい。また、図25Bのように空間浮遊映像3の平面に平行にセンシングする空中操作検出センサ1351に限らず、空間浮遊映像3の平面に対して垂直等の方向から当該平面をセンシングする測距センサやステレオカメラ等を用いてもよい。
【0321】
図25Cは、筐体1190における空中操作検出センサ1351および撮像部1180(カメラ)の他の配置例を示す。図25Cの例は、光学システムとしては、図2Bをベースとして、筐体1190を縦置きとし、空間浮遊映像3が鉛直方向(Z方向)に立つように形成される場合を示す。Y方向で筐体1190の後部には前述の光学システムの構成要素が搭載されており、筐体1190の前部において、上下の筐体部の間に、空間浮遊映像3が形成される。本例では、上側の筐体部に、空中操作検出センサ1351と撮像部1180(カメラ)が設置されている。空中操作検出センサ1351は、光軸が表示範囲3Rと重なるように下を向いている。撮像部1180(カメラ)は、表示範囲3Rを含むように撮像範囲が設定されている。このような構成でも、同様に、表示範囲3Rに携帯端末2000が挿入された場合に、空中操作検出センサ1351と撮像部1180(カメラ)との少なくとも一方を用いて、接触操作を検知できる。
【0322】
[手指と携帯端末との区別について]
空間浮遊映像表示装置1000は、空間浮遊映像3(表示範囲3R)に接触する物体として、ユーザ230の手指と携帯端末2000とを区別してもよいし、区別しなくてもよい。それらを区別する場合、技術的な手段として例えば以下が挙げられる。
【0323】
(1).携帯端末2000と空間浮遊映像表示装置1000との間で任意の通信を行う際の、接続要求などの通信情報から、空間浮遊映像表示装置1000が携帯端末2000を認識してもよい。空間浮遊映像表示装置1000は、空中操作検出センサ1351によって、何らかの物体が表示範囲3Rに接触していることを検知した時に、上記通信情報がある場合には、その物体が携帯端末2000であると推定してもよい。
【0324】
(2).空間浮遊映像表示装置1000は、撮像部1180(カメラ)による撮像画像などに基づいて、画像認識処理などによって、空間浮遊映像3に接触している物体が携帯端末2000であることを認識・判定してもよい。
【0325】
(3).空間浮遊映像表示装置1000は、空中操作検出センサ1351および空中操作検出部1350によって、空間浮遊映像3に接触している物体がユーザ230の手指であるか携帯端末2000であるかを区別するための判定を行ってもよい。例えば、通常の空中操作・タッチ操作としては、一本指による操作を受け付けるようにしておく(例えば図25Bの接触箇所2501のような検出)。表示範囲3Rに携帯端末2000が挿入された場合、接触箇所の面積は、一本指よりも携帯端末2000の方が大きくなることや、接触箇所の形状が直線状になることを利用する。空間浮遊映像表示装置1000は、空中操作検出センサ1351等により、接触箇所、例えば図25Bの接触箇所2503の面積や形状などを検出・判定し、それに基づいて、接触している物体が手指であるか携帯端末2000であるかを判定する。
【0326】
(4).空間浮遊映像表示装置1000と携帯端末2000との間で授受する情報において、携帯端末2000を表す情報、例えば後述のQRコードを持たせる。空間浮遊映像表示装置1000は、その情報を認識・取得することで、空間浮遊映像3に接触している物体がユーザ230の手指であるか携帯端末2000であるかを区別する。
【0327】
[携帯端末のアプリケーションおよび画面]
図26Aは、実施例3での携帯端末2000のアプリケーション2010等による表示部20012の画面の表示例を示す。携帯端末2000は、ユーザ230の入力操作に基づいて、OSやアプリケーション2010等の処理によって、表示部20012の画面に、アプリケーション画面2601を表示する。本例では、アプリケーション2010は、空間浮遊映像表示装置1000と連携して空間浮遊映像表示装置1000の各種機能をユーザ230が便利に利用できるようにするための専用アプリである。
【0328】
図26Aのアプリケーション画面2601では、ユーザ230に対し、空間浮遊映像表示装置1000の空間浮遊映像3に表示させるための画像2020(対象画像)を指定するように促すGUIを有する。例えば「空中ディスプレイに表示させる画像を指定してください」といったメッセージが表示される。ユーザ230は、携帯端末2000内にある画像から、空中ディスプレイに表示させる画像2020(図15)を選択する。選択された画像は、表示対象画像2602としてプレビュー表示される。ユーザ230は、表示対象画像2602を確認後、表示要求ボタン2603を押す。これにより、携帯端末2000は、その表示対象画像2602を対象画像とした表示要求2030を、近距離無線通信などによって空間浮遊映像表示装置1000に発信する。
【0329】
図26Bは、前述の図21Aのガイド画像の表示に関する変形例であり、携帯端末2000側の画面にガイド画像を表示する例である。図26Bのアプリケーション画面2601では、ユーザ230に対し接触操作を促すためのガイド画像2604を表示する。ガイド画像2604は、例えば、「スマートフォンを空中浮遊映像に接触させてください」といったメッセージが表示され、表示範囲3Rに携帯端末2000を挿入・接触させる動作を表す画像が表示される。
【0330】
図26Cは、前述の図23Aのガイド画像の表示および図24Aのガイド画像の表示に関する変形例であり、携帯端末2000側の画面にガイド画像を表示する例である。図26Cのアプリケーション画面2601では、状況に応じて、ユーザ230に対し、表示要求2030の途中であることを伝えるためのガイド画像2605や、表示要求2030が受領されて成功となったことを伝えるためのガイド画像2606等が表示される。
【0331】
実施例3では、1つの方式として、接触操作時に、上記のように、ユーザ230が、携帯端末2000のアプリケーション2010の画面で、対象の画像2020を指定して、表示要求ボタン2603を押し、携帯端末2000が表示要求2030を発信する。その後にユーザ230が携帯端末2000を表示範囲3Rに挿入する。
【0332】
これに限らず、他の実施例では、ユーザ230の操作を最低限としてもよい。例えば、ユーザ230は、携帯端末2000の画面に所望の対象画像を表示させ、その状態で携帯端末2000を表示範囲3Rに挿入する。空間浮遊映像表示装置1000は、接触操作を判定・検知し、成功の場合、表示要求2030を発生させる。空間浮遊映像表示装置1000は、携帯端末2000と通信して、表示要求2030に対応付けられる対象画像を取得し、空間浮遊映像3に表示させる。その対象画像は、その時に携帯端末2000の画面に表示されている画像である。
【0333】
[空間浮遊映像における対象画像の表示]
空間浮遊映像表示装置1000の映像制御部1160(図3)は、対象画像の画像データに基づいて、表示装置1(液晶表示パネル11)の画面に表示するための画像データを生成する。この画像データは、例えば、対象画像が2次元画像データである場合には、その2次元画像データから加工によって生成される2次元画像データである。また、対象画像が3次元画像データ(3次元モデルなど)である場合には、その3次元画像データから、仮想3次元空間内でのレンダリング等によって生成される2次元画像データである。
【0334】
上記機能によって、例えば図16に示したように、ユーザ230が携帯端末2000で表示・指定した対象画像1601(キャラクター画像の例)を、接触操作および表示要求2030に応じて、空間浮遊映像3として画像1602を表示させることができる。これにより、ユーザ230は、所望の対象画像1601を、空間浮遊映像3の画像1602として見て楽しむこと等ができる。
【0335】
その後、空間浮遊映像3における対象画像の表示を解除する方法については、特に限定しない。例えば、対象画像の表示を開始してから一定時間経過後に自動的に解除としてもよい。また、空間浮遊映像3、または携帯端末2000の画面に、表示解除ボタン等を設けてもよい。筐体1190に表示解除ボタン等を設けてもよい。
【0336】
以上のように、実施例3の空間浮遊映像表示システムによれば、携帯端末2000と連携することで、所望の画像を空間浮遊映像3として表示させて見ることができるサービス等をユーザ230に提供することができる。
【0337】
なお、携帯端末2000と空間浮遊映像表示装置1000との間で授受するデータ・情報は、表示対象画像のみに限らず可能であり、表示対象画像とともに、何かの管理・制御用のデータ・情報、例えばユーザ情報などを、授受するようにしてもよい。
【0338】
変形例として、予め空間浮遊映像3として背景画像やキャラクター画像などを表示しておき、その状態から、ユーザ230による携帯端末2000の接触操作および表示要求2030によって、その背景画像などの上に、対象画像を重ね合わせて表示させることも、同様に可能である。
【0339】
実施例3では、空間浮遊映像3に携帯端末2000が接触した場合に、成功として、表示要求2030を受領し、対象画像を表示させるものとしたが、これに限定されない。変形例では、ユーザ230が携帯端末2000を空間浮遊映像3に挿入して接触した後、空間浮遊映像3を通過して、奥側の空間内に携帯端末2000が入り、表示範囲3Rに接触していない状態となった場合(例えば図19E)に、成功とするものとしてもよい。
【0340】
また、変形例として以下も可能である。変形例での機能は、空間浮遊映像3として表示されている画像を、携帯端末2000側に取得する機能である。予め、空間浮遊映像表示装置1000は、空間浮遊映像3にキャラクター画像などを表示しておく(例えば図16の(3)と同様)。ユーザ230は、空間浮遊映像3として表示されている画像を、携帯端末2000側に取得したい場合に、前述と同様に空間浮遊映像3に対する携帯端末2000の接触操作を行う。この接触操作が成功すると、空間浮遊映像表示装置1000は、空間浮遊映像3として表示されている画像(それに対応する画像データ)を、その携帯端末2000へ送信する。これにより、ユーザ230は、携帯端末2000にその画像を取得して表示し、見て楽しむことができる(例えば図16の(1)と同様)。
【0341】
実施例3では、空間浮遊映像3に携帯端末2000を接触操作させて対象画像を表示させた後、空間浮遊映像3に携帯端末2000が接触していなくても、対象画像の表示が継続されるという機能としたが、これに限定されない。変形例では、空間浮遊映像3に携帯端末2000を接触させ続けている間のみ対象画像を表示させる機能としてもよい。空間浮遊映像表示装置1000は、表示範囲3Rから携帯端末2000が離れたことを検知した場合、空間浮遊映像3での対象画像の表示を解除する。
【0342】
<実施例4>
つぎに、図27A以降を用いて、他の実施例(実施例4とする)として、QRコード(2次元コード)等を用いる例を説明する。実施例4は実施例3の変形例である。携帯端末2000は、適宜に、表示部20012の画面にQRコードを表示する機能を有する。このQRコードは、例えば前述の表示要求2030を表すコードとしてもよい。
【0343】
実施例4では、携帯端末2000から空間浮遊映像表示装置1000への表示要求2030の際に、携帯端末2000側に空間浮遊映像表示装置1000を認識させること、あるいは、空間浮遊映像表示装置1000側に携帯端末2000を認識させることを目的として、以下のような操作・動作が行われてもよい。ユーザ230は、携帯端末2000側のアプリケーション2010等から、空間浮遊映像表示装置1000に対し、連携や接続を行う旨、および表示要求2030を行う旨の操作を行う(例えば図26A等と同様)。そのうえで、ユーザ230は、携帯端末2000を表示範囲3Rへ挿入する接触操作を行う。あるいは、例えば、ユーザ230は、挿入前の携帯端末2000の画面にQRコード等を表示したうえで、その携帯端末2000のQRコード等を、空間浮遊映像表示装置1000側の撮像部1180(カメラ)によって読み込ませるような姿勢として、表示範囲3Rへ挿入する接触操作を行う。
【0344】
図27Aは、携帯端末2000が、表示部20012の画面1902において、ユーザ230の入力操作に基づいて、QRコード画面2701を表示し、QRコード画面2701にQRコード2702等の画像情報を表示した例である。
【0345】
図27Bは、YZ平面図で、ユーザ230が、表示範囲3Rへの挿入前の位置の携帯端末2000aで画面1902にQRコードを表示させた状態(図27A)とし、その位置から携帯端末2000aを表示範囲3Rへ挿入し、接触した位置での携帯端末2000bの状態となった例を示す。この状態の携帯端末2000bは、画面1902が下を向いていて、撮像部1180(カメラ)の撮像範囲内にある。そのため、空間浮遊映像表示装置1000は、撮像画像から携帯端末2000bを検出できるとともに、画面1902に表示されているQRコード2702を検出できる。空間浮遊映像表示装置1000は、そのQRコードを認識して、そのQRコードに記述されているデータ・情報を取り出す。例えば、空間浮遊映像表示装置1000は、そのQRコードから、表示要求2030を取得する。
【0346】
空間浮遊映像表示装置1000は、空中操作検出センサ1351または撮像部1180によって表示範囲3Rへの携帯端末2000bの接触を検知するとともに、携帯端末2000bのQRコードから表示要求2030を取得する。これらの動作の成功に基づいて、空間浮遊映像表示装置1000は、表示要求2030に対応付けられた対象画像を空間浮遊映像3に表示させる。
【0347】
なお、図27Bでは、携帯端末2000bは表示範囲3Rに接触しているが、これに限らず、前述のように、携帯端末2000は、表示範囲3Rに接触した後に、表示範囲3Rよりも奥側に侵入して非接触の状態となってもよい。携帯端末2000の姿勢は、画面1902のQRコードが撮像部1180(カメラ)によって検出できる姿勢であればよい。例えば図25Aの撮像部1180bの場合であれば、携帯端末2000の姿勢は、画面1902をY方向の奥側に向けた姿勢とすればよい(例えば図19Eと同様でもよい)。
【0348】
実施例4では、上記のように、実施例3での所定の接触操作の判定条件に対し、QRコードの認識の条件が追加されている。言い換えると、実施例4では、空間浮遊映像表示装置1000は、所定の接触操作が検知され、かつ、QRコードが認識された、というAND条件を満たした場合に、表示要求2030を受領・許可し、空間浮遊映像3に対象画像を表示する。
【0349】
実施例4(図27B)では、ユーザ230は、携帯端末2000を、画面1902を下に向けた状態として、筐体1190の上面に平行な水平方向で、表示範囲3Rに対し挿入するようにしてもよい(図19Eと同様)。また、変形例では、ユーザ230は、携帯端末2000を、画面1902を下に向けた状態として、表示範囲3Rに対し挿入した後、画面1902を、筐体1190の透明部材100の上面に接触して置いてもよい。これらの場合でも、QRコードを認識可能である。
【0350】
[QRコード]
上記QRコード/バーコード等のコードに記述されるデータ・情報は、上記表示要求2030の例に限らずに、例えば以下が挙げられる。これらのデータ・情報は、組み合わせで用いてもよい。
【0351】
(1).接続情報:図15の通信網において、携帯端末2000と空間浮遊映像表示装置1000とが通信接続するための情報。例えば、IPアドレス、IDおよびパスワードなどの情報。ここでの通信網は、インターネット3010やLAN3020等のことで、あるいは、携帯端末2000と空間浮遊映像表示装置1000とのダイレクト通信でもよい。
【0352】
(2).端末ID/ユーザID:携帯端末2000のID等の情報。あるいは、ユーザ230のID等の情報。
【0353】
(3).画像ID:ユーザ230が表示させたい対象画像のIDやURL等の情報。
【0354】
上記接続情報をQRコードとする場合、携帯端末2000は、空間浮遊映像表示装置1000に対し、QRコードを提示することで、接続情報を伝え、携帯端末2000の通信部20020と、空間浮遊映像表示装置1000の通信部1132との間で、その接続情報を用いて無線接続がされる。
【0355】
上記端末ID/ユーザID等をQRコードとする場合、空間浮遊映像表示装置1000は、特定の携帯端末2000/ユーザ230を認識できる。空間浮遊映像表示装置1000は、特定の端末ID/ユーザIDに対応付けられた特定の携帯端末2000/ユーザ230のみを、本機能のサービス提供対象として、許可するようにしてもよい。
【0356】
上記画像IDをQRコードとする場合、対象画像は、携帯端末2000に保持している画像に限らずに利用可能となる。
【0357】
上記のように、実施例4の空間浮遊映像表示システムによれば、上記QRコードを用いることで、携帯端末2000と空間浮遊映像表示装置1000との間での所定の接触操作を規定するとともに、上記QRコードを用いた各種の制御が可能である。
【0358】
なお、QRコードを用いない実施例3等の形態の場合でも、上記のようなデータ・情報を、携帯端末2000と空間浮遊映像表示装置1000との間で、表示要求2030とともに授受して使用するようにしてもよい。
【0359】
実施例4の変形例として、空間浮遊映像表示装置1000は、近くにいる携帯端末2000に、上記QRコードの情報を送信し、その情報を受信した携帯端末2000が上記QRコードを表示してもよい。
【0360】
実施例3や4では、空間浮遊映像3に表示する対象画像のデータは、予め携帯端末2000に保持されているものとしたが、これに限定されない。変形例では、対象画像のデータが、空間浮遊映像表示装置1000側に保持されており、ユーザ230、携帯端末2000側がその対象画像を選択・指定し、表示要求2030を発信するものとしてもよい。また、他の変形例では、通信網上のサーバ等に、対象画像のデータが保持されており、ユーザ230、携帯端末2000側がその対象画像を選択・指定し、表示要求2030を発信するものとしてもよい。
【0361】
また、実施例4の変形例として、空間浮遊映像表示装置1000は、空間浮遊映像3に、上記QRコードの情報を表示し、ユーザ230は、携帯端末2000のカメラによって、空間浮遊映像3として表示しているQRコードの情報を認識してもよい。
【0362】
図28図28A等)は、この変形例を示す。図28Aは、空間浮遊映像表示装置1000が空間浮遊映像3であるQRコード2801を表示する例である。図28Bは、YZ平面図で、図28Aの空間浮遊映像3のQRコード2801を、携帯端末2000が撮像部20025のカメラ、例えばアウトカメラによって撮像して読み取る例である。携帯端末2000は、認識したQRコード2801から所定の情報を得る。QRコード2801の認識後、ユーザ230は、携帯端末2000を表示範囲3Rに接触させる。
【0363】
図28Cは、さらなる変形例であり、空間浮遊映像表示装置1000の第2の表示装置1680の画面にQRコード2802を表示する例である。空間浮遊映像表示装置1000は、例えば図4Mと同様に、空間浮遊映像3に対し奥側に重なるように配置される第2の表示装置1680を用いて、第2の表示装置1680の画面に、QRコード2802を表示する。また、空間浮遊映像表示装置1000は、図4Lと同様に、透過型自発光映像表示装置1650を用いて、透過型自発光映像表示装置1650の画面にQRコードを表示してもよい。
【0364】
ユーザ230は、携帯端末2000の撮像部20025のカメラによって、第2の表示装置1680の画面に表示されているQRコード2802を撮像し、携帯端末2000は、そのQRコードを認識して情報を得る。QRコード2802の認識後、ユーザ230は、携帯端末2000を表示範囲3Rに接触させる。
【0365】
本実施例に係る技術では、高解像度かつ高輝度な映像情報を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作することを可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供することを可能にする。これにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「3すべての人に健康と福祉を」に貢献する。
【0366】
また、本実施例に係る技術では、出射する映像光の発散角を小さく、更に特定の偏波に揃えることで、再帰反射板に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることを可能にする。本実施例に係る技術によれば、消費電力を大幅に低減することが可能な、利用性に優れた非接触ユーザインタフェースを提供することができる。これにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「9産業と技術革新の基盤をつくろう」および「11住み続けられるまちづくりを」に貢献する。
【0367】
以上、種々の実施例について詳述したが、しかしながら、本発明は、上述した実施例のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0368】
1…表示装置、2…再帰反射板、3…空間浮遊映像(空中浮遊映像)、3R…表示範囲、100…透明な部材、101、101B…偏光分離部材、11…液晶表示パネル、12…吸収型偏光板、13…光源装置、230…ユーザ、1000…空間浮遊映像表示装置、1110…制御部、1160…映像制御部、1180…撮像部、1200…開口部、1350…空中操作検出部、1351…空中操作検出センサ、1600…挿入・接触操作、1601…画像、1602…画像、2000…携帯端末、2030…表示要求、3000…システム。
図1
図2A
図2B
図2C
図2D
図2E
図2F
図2G
図2H
図2I
図3
図4A
図4B
図4C
図4D
図4E
図4F
図4G
図4H
図4I
図4J
図4K
図4L
図4M
図4N
図4O
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図13D
図14
図15
図16
図17
図18A
図18B
図18C
図18D
図19A
図19B
図19C
図19D
図19E
図19F
図20A
図20B
図20C
図21A
図21B
図22A
図22B
図22C
図23A
図23B
図24A
図24B
図24C
図24D
図25A
図25B
図25C
図26A
図26B
図26C
図27A
図27B
図28A
図28B
図28C