(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023012102
(43)【公開日】2023-01-25
(54)【発明の名称】代替現実用の画像表示装置
(51)【国際特許分類】
G02B 27/02 20060101AFI20230118BHJP
G02B 30/34 20200101ALI20230118BHJP
G02C 11/00 20060101ALI20230118BHJP
G03B 21/60 20140101ALI20230118BHJP
G03B 21/00 20060101ALI20230118BHJP
G09F 9/00 20060101ALI20230118BHJP
H04N 5/74 20060101ALI20230118BHJP
【FI】
G02B27/02 Z
G02B30/34
G02C11/00
G03B21/60
G03B21/00 D
G09F9/00 359
H04N5/74 Z
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021115549
(22)【出願日】2021-07-13
(71)【出願人】
【識別番号】520220238
【氏名又は名称】株式会社有電社
(74)【代理人】
【識別番号】100105968
【弁理士】
【氏名又は名称】落合 憲一郎
(72)【発明者】
【氏名】広田 修
(72)【発明者】
【氏名】木下 晴喜
(72)【発明者】
【氏名】奥 和博
(72)【発明者】
【氏名】鈴木 芳人
【テーマコード(参考)】
2H006
2H021
2H199
2K203
5C058
5G435
【Fターム(参考)】
2H006CA00
2H021BA03
2H021BA06
2H021BA27
2H021BA28
2H199BA06
2H199BA14
2H199BA15
2H199BB02
2H199BB06
2H199BB18
2H199BB19
2H199BB33
2H199CA04
2H199CA12
2H199CA42
2H199CA43
2H199CA46
2H199CA47
2H199CA93
2H199CA94
2K203FA62
2K203FA82
2K203FA83
2K203FB09
2K203GC22
2K203GC23
2K203HA63
2K203HA82
2K203KA85
2K203MA01
2K203MA21
5C058BA35
5C058EA01
5C058EA02
5C058EA32
5C058EA33
5G435AA01
5G435BB15
5G435DD05
5G435EE12
5G435EE49
5G435FF02
5G435FF03
5G435GG09
5G435GG46
5G435LL17
5G435LL18
(57)【要約】
【課題】 虚像タイプのデジタル映像の後方にベゼルレスの大型ディスプレイを配置し、虚像タイプとベゼルレスの直視タイプの大型デジタル映像を重畳することで代替現実用の高画質の画像表示装置を提供する。
【解決手段】 空中に浮かぶ虚像タイプのデジタル映像11を、目の前の現実の空間に重ねて表示することができるスマートグラス2またはAR/MRグラス3と、これらが表示する前記虚像タイプのデジタル映像の後方に、離間して配置される画面サイズが60インチ以上の大型ディスプレイ4とから構成され、前記スマートグラスまたはAR/MRグラスを透過して、前記虚像タイプのデジタル映像と、後方に離間した前記大型ディスプレイの画面に映る直視タイプのデジタル映像12を、重畳して視認できる画像表示装置であって、前記大型ディスプレイの画面に映る直視タイプのデジタル映像が、空中に浮かんで観えるように、前記大型ディスプレイの画面をベゼルレスとした。
【選択図】
図1
【特許請求の範囲】
【請求項1】
空中に浮かぶ虚像タイプのデジタル映像を、目の前の現実の空間に重ねて表示することができるスマートグラスまたはAR/MRグラスと、
前記スマートグラスまたはAR/MRグラスが表示する前記虚像タイプのデジタル映像の後方に、離間して配置される画面サイズが60インチ以上の大型ディスプレイと、
から構成され、前記スマートグラスまたはAR/MRグラスを透過して、前記虚像タイプのデジタル映像と、後方に離間した前記大型ディスプレイの画面に映る直視タイプのデジタル映像を、重畳して視認できる画像表示装置であって、
前記大型ディスプレイの画面に映る直視タイプのデジタル映像が、空中に浮かんで観えるように、前記大型ディスプレイの画面をベゼルレスとしたことを特徴とする代替現実用の画像表示装置。
【請求項2】
前記大型ディスプレイが、プロジェクターと反射型スクリーンまたは透過型スクリーンとからなるプロジェクションディスプレイであることを特徴とする請求項1に記載の代替現実用の画像表示装置。
【請求項3】
前記スマートグラスまたはAR/MRグラスを複数有することを特徴とする請求項1または2に記載の代替現実用の画像表示装置。
【請求項4】
前記スマートグラスまたはAR/MRグラスが表示する虚像タイプのデジタル映像と、前記大型ディスプレイの画面に映る直視タイプのデジタル映像との少なくとも一方は、遠隔地で撮影されネットワークを介して転送されたものであることを特徴とする請求項1~3のいずれか1項に記載の代替現実用の画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スマートグラスまたはAR/MRグラスによる虚像タイプのデジタル映像の後方に、ベゼルレスの大型ディスプレイを離間して配置し、虚像タイプのデジタル映像とベゼルレスの直視タイプのデジタル映像を離間して重畳することにより、代替現実を容易に高画質で実現できる画像表示装置に関する。
【背景技術】
【0002】
スマートグラスやAR/MRグラスなどの仮想現実の世界を体験できる専用の映像表示機器が次々に実用化され、さらに、仮想現実の世界をより現実の世界に近づけられる新規の技術開発が急速に進められている。仮想現実の技術は、以下のような範疇で区分される。VR(Virtual Reality:仮想現実)とは、VRゴーグルなどを利用して現実の空間から視界を遮断して、デジタル映像のみで構成される仮想の世界を体験できる技術である。AR(Augmented Reality:拡張現実)は、目の前の現実の空間とデジタル映像を重ね合わせて表示する技術のことであり、MR(Mixed Reality:複合現実)は、目の前の現実の空間とデジタル映像を重ね合わせて表示する点ではARと同じであるが、MRではお互いの位置関係まで認識可能であり、近づけばデジタル映像は大きくなり、回り込めば側面や裏面も見られるので、あたかもその場所にデジタル映像で表示される物体が本当に存在するかのように表示できる技術である。さらに、SR(Substitutional Reality:代替現実)は、目の前の現実の空間をデジタル映像による仮想の空間に置き替えて(代替して)、代替した仮想の空間を現実の空間のように認識させてしまう技術である。以上述べた仮想現実の技術は総称してxRと呼ばれている。
【0003】
xRの映像表示機器としては、スマートグラスやAR/MRグラスと呼ばれるヘッドマウントディスプレイ(HMD)やメガネ型ディスプレイなどがある。AR/MRグラスは、目の前の現実の空間の位置関係を認識する機能を有しているが、スマートグラスではこの機能は有しておらず、画像を表示する機能のみにすることで、軽量、小型、低価格を実現している。さらに、スマートグラスの次世代のものとして、画像を目の網膜に直接描く直描型や、コンタクトレンズのように目に直接着けて使用するコンタクト型が開発されている。
【0004】
xRの中でSRは、仮想の空間をより現実の空間に近づけられる可能性があり、視覚や聴覚だけでなく、触覚や臭覚などの他の知覚を組み合わせることも試みられている。特許文献1には、2つの画像表示素子123,124を視認者の目の前方に離間して重ねて配置できる、AR/MRグラスの発展した形態と見做されSRグラスと呼ぶべきAR/MAグラス120が開示されている(
図10参照)。このAR/MRグラス120により、視認者は離間した2つの虚像タイプのデジタル映像125,126を重畳して観ることができるので、後方用虚像タイプのデジタル映像126には現実の空間を代替した仮想の空間を映し、手前用虚像タイプのデジタル映像125には仮想のものを映すことで、SRを実現するものである。
【0005】
ここで、視認者の目の前方に、離間した2つの画像表示素子123,124が重畳されるので、手前のものは後方のものからの映像光を透過しなければならないため、手前用画像表示素子123は透明なものとする必要がある。さらに、後方用画像表示素子124からの映像光は、透明な手前用画像表示素子123を透過する時に明るさが減衰するので、その減衰分だけ明るくしておかなければならない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2018-191079号公報
【特許文献2】特許第5971742号公報
【特許文献3】特開2006-11176号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述したAR/MRグラスでは、
図10に示すように、AR/MRグラス120の右目、左目用レンズ121,122の前方に手前用と後方用の2つの画像表示素子123,124が離間して重畳することにより、後方用画像表示素子124からの映像光は手前用画像表示素子123を透過して目に入るので、透過することで減衰する明るさの分だけ明るくする必要がある。そのためには、後方用画像表示素子124の背面に配置されるバックライト127(特許文献1には開示されていない。)の光源を高出力化しなければならず、AR/MRグラス120の消費電力が増大する。また、2つの画像表示素子123,124を離間して配置するので、AR/MRグラス120の装置サイズが大きくなり、かつ重くなってしまう。AR/MRグラス120は、メガネのように軽くて小さく顔にフィットすることが望ましいが、大きさと重量に問題が生じる。
【0008】
一方、画質に関しては、
図10に示すようにバックライト127の光は、2つの画像表示素子123,124を透過するので、カラーフィルターの減衰分だけで1/9まで暗くなる。さらに、後方用画像表示素子124の映像光は手前用画像表示素子123を透過する際に僅かに拡散されるので、画像がボケて鮮明さが損なわれるという問題も起こる。
【0009】
本発明は、上記AR/MRグラス120における問題点に鑑み、AR/MRグラス120で2つの画像表示素子123,124を備える代わりに、1つの画像表示素子123だけとし、1つの手前用虚像タイプのデジタル映像125だけを表示し、もう1つの虚像タイプのデジタル映像126の代替として、高ダイナミックレンジ、広色域、高解像度および高コントラスト表示が可能な大型ディスプレイの画面に映る直視タイプのデジタル映像を用い、この直視タイプのものが虚像タイプのように空中に浮かんで観えるように、大型ディスプレイの画面をベゼルレスとして、AR/MRグラス120の手前用虚像タイプのデジタル映像125の後方に離間して配置することで、視認者の装着負担が少なく、高画質な代替現実用の画像表示装置を提供することを目的とする。ここで、ベゼルレスとは、ベゼルの幅を0mmまで狭めたことをいう。
【課題を解決するための手段】
【0010】
本発明者は、AR/MRグラスに2つの画像表示素子を具備し、空中に離間した2つの虚像タイプのデジタル映像を作ることによる、AR/MRグラスの装置および重量の増大と、デジタル映像が暗く鮮明でなくなるという画質の悪化の問題を解決するために検討を重ね、AR/MRグラスは1つの画像表示素子だけとし、空中に離間した2つの虚像タイプのデジタル映像のうち後方のものが視認される元々の位置に、高ダイナミックレンジ、広色域、高解像度および高コントラスト表示が可能な大型ディスプレイの画面を配置し、この画面に映るデジタル映像が虚像タイプのように空中に浮かんで観えるように、画面をベゼルレスとしたことで、本発明をなすに至った。
【0011】
すなわち、本発明は、以下の発明(1)乃至発明(4)のうちの少なくともいずれかである。
【0012】
発明(1)は、
空中に浮かぶ虚像タイプのデジタル映像を、目の前の現実の空間に重ねて表示することができるスマートグラスまたはAR/MRグラスと、
前記スマートグラスまたはAR/MRグラスが表示する前記虚像タイプのデジタル映像の後方に、離間して配置される画面サイズが60インチ以上の大型ディスプレイと、
から構成され、前記スマートグラスまたはAR/MRグラスを透過して、前記虚像タイプのデジタル映像と、後方に離間した前記大型ディスプレイの画面に映る直視タイプのデジタル映像を、重畳して視認できる画像表示装置であって、
前記大型ディスプレイの画面に映る直視タイプのデジタル映像が、空中に浮かんで観えるように、前記大型ディスプレイの画面をベゼルレスとしたことを特徴とする代替現実用の画像表示装置である。
【0013】
発明(2)は、発明(1)において、
前記大型ディスプレイが、プロジェクターと反射型スクリーンまたは透過型スクリーンとからなるプロジェクションディスプレイであることを特徴とする代替現実用の画像表示装置である。
【0014】
発明(3)は、発明(1)または(2)において、
前記スマートグラスまたはAR/MRグラスを複数有することを特徴とする代替現実用の画像表示装置である。
【0015】
発明(4)は、発明(1)~(3)のいずれか1つにおいて、
前記スマートグラスまたはAR/MRグラスが表示する虚像タイプのデジタル映像と、前記大型ディスプレイの画面に映る直視タイプのデジタル映像との少なくとも一方は、遠隔地で撮影されネットワークを介して転送されたものであることを特徴とする代替現実用の画像表示装置である。
【発明の効果】
【0016】
本発明によれば、スマートグラスまたはAR/MRグラスの小型化、軽量化により視認者の装着負担の軽減が図られ、この虚像タイプのデジタル映像と、大型で、明るく、高画質の直視タイプのデジタル映像を、空中に離間して鮮明に観られるようになることで、視認者の眼精疲労も少なく、高画質の代替現実を体験できるという優れた効果を奏する。
【図面の簡単な説明】
【0017】
【
図1】発明(1)に係る代替現実用の画像表示装置の一例を示す模式図である。
【
図2】発明(2)に係る大型ディスプレイを反射型プロジェクションディスプレイとした一例を示す断面図である。
【
図3】従来の空間結像アイリス面方式スクリーンを用いたプロジェクションディスプレイの一例を示す模式図である。
【
図4】従来の空間結像アイリス面方式スクリーンの一例を示す断面図である。
【
図5】発明(2)に係る大型ディスプレイを透過型プロジェクションディスプレイとした一例を示す断面図である。
【
図6】発明(3)に係るスマートグラスまたはAR/MRグラスを複数有する代替現実用の画像表示装置の一例を示す模式図である。
【
図7】発明(4)のテレイグジスタンスへの実施形態の概略を示す構成図である。
【
図8】発明(4)の遠隔作業サポートへの実施形態の概略を示す構成図である。
【
図9】従来の2眼式立体表示装置の例を示す概略図である。
【
図10】従来の2つの画像表示素子を有するAR/MRグラスの例を示す概略図である。
【発明を実施するための形態】
【0018】
本発明に係る代替現実用の画像表示装置は、MR(Mixed Reality:複合現実)の技術をさらに発展させて、目の前の現実の空間をデジタル映像で代替し、このデジタル映像と仮想のデジタル映像とを駆使して、現実の空間に近いデジタル映像を作り出すことを目的としたSR(Substitutional Reality:代替現実)を実現する画像表示装置である。2つのデジタル映像を用いて、お互いの映像の位置関係も認識できるSRを実現するにはいくつかの方式が考えられるが、これらを纏めると、表1のようになる。
【0019】
【0020】
表1において、Iは、従来技術の内、1つの画面での立体(3D:3次元)表示により、視認者に位置関係を認識させる方式である(
図9参照)。スマートグラスまたはAR/MRグラスの3D化が必要である。
図9に示す右目用と左目用画像表示素子113,114にそれぞれ異なるデジタル映像を映し、視認者がそれぞれの映像を同時に観ることで、虚像タイプの立体映像115を認識できると云うもので、2眼式立体表示と呼ばれる方式である。右目用、左目用の各反射型凹面鏡116,117は、右目用、左目用の各レンズ111,112の視認者側の面をハーフミラーに加工してなる。この2眼式立体表示装置110では、視認者の眼球において輻輳と調節の不一致が起こり、眼精疲労の原因となる。また、同じ位置にある虚像タイプの立体映像115を見続けるため、眼球の毛様筋は動かされなく、緊張状態が続くので、このことも眼精疲労の一因となる。
【0021】
IIは、本発明に係るもので、SR用の画像表示装置をスマートグラスやAR/MRグラスだけで構成するのではなく、スマートグラスまたはAR/MRグラス(虚像タイプ)とベゼルレスの大型ディスプレイ(直視タイプ)を用いる簡易立体方式である(
図1を用いて後で詳述する。)。この方式では、離間した虚像タイプのデジタル映像と直視タイプのものを重畳することで、1つだけの虚像タイプのデジタル映像より立体感のある映像となる。さらに、重畳した2つのデジタル映像を視認する場合、視認の最中でもどちらのデジタル映像を観るかで眼球の焦点を調節する必要が生じ、毛様筋を頻繁に動かすので緊張が緩和され、眼精疲労を低減することができるようになる。
【0022】
IIIは、従来技術の内、2つの画像表示素子を持つAR/MRグラス120を用い、2つの虚像タイプのデジタル映像125,126を重畳する簡易立体方式である(
図10参照)。2つの画像表示素子123,124を視認者の目の前方に設置するので、手前用画像表示素子123は透明にしなければならない。また、2つの画像表示素子123,124の映像光が手前用画像表示素子123の表面で重なるので、これらの映像の混じり合いが起こり、画像の明るさと鮮明さが損なわれる。さらに、AR/MRグラス120が大きく重くなる。
【0023】
IVは、従来技術の内、2つの画像表示素子を用いる光線空間法の立体方式である(図示せず)。この立体方式では、2つの離間した画像表示素子により映される、空中に離間した2つの光線空間圧縮画像を重畳して観ることで、2つの虚像タイプのデジタル映像の位置関係を認識できる。ただし、位置関係の認識は、原理的に2つの虚像タイプのデジタル映像間の位置に限られる。したがって、この方式では、MRにおける目に見える現実の空間を代替して表示する映像表示手段がない。すなわち、2画面からなる光線空間圧縮画像を目の前方で重畳するために、2つの画像表示素子を使うので、仮想の空間を映す画像表示素子をさらに1つ追加する必要がある。1つ画像表示素子を追加すると、手前の2つの画像表示素子を透明にしなければならない。さらに、3つの画像表示素子が前方で重なるので、これらのデジタル映像の混じり合いが起こり、映像の明るさおよび鮮明さが損なわれる。3つの画像表示素子を持つAR/MRグラスは、大きく重くなる。なお、表1のIVの「実況不可」とは、撮影した2画像から光線空間圧縮画像を膨大な計算により作成するため、実況放送のように僅かな遅れだけで画像表示装置で画像を視認することができないということを意味する。
【0024】
以上、表1に示すように、視認者の装着感が悪い、眼精疲労の発生、および膨大な画像処理が必要などの課題と問題点を検討した結果、SR実現方式としてIIの本発明の方式が最も実現性があるとの結論に至った。
【0025】
本発明の特徴は、本発明に係る代替現実用の画像表示装置が、従来にない虚像タイプと直視タイプのディスプレイの組合せで構成されることにある。
【0026】
まず、発明(1)について説明する。
発明(1)の代替現実用の画像表示装置1は、例えば
図1に示すように、視認者側から順に、空中に浮かぶ虚像タイプのデジタル映像11を、目の前の現実の空間に重ねて表示することができるスマートグラス2またはAR/MRグラス3と、画面サイズが60インチ以上の直視タイプの大型ディスプレイ4で構成される。ここで、スマートグラス2またはAR/MRグラス3は、右左の各目用レンズ6,7の視認者の目15,16側の面をハーフミラーに加工してなる凹面反射鏡17,18により、右左の各目用画像表示素子8,9の映像を拡大して空中に虚像タイプのデジタル映像として結像する。ここで、右左の各目用画像表示素子8,9の映像は、同じものでもどちらかが全黒(または画像表示素子がない)でもよい。一方、現実の空間を代替するデジタル映像は、大型ディスプレイ4の画面5に映る直視タイプのデジタル映像12であり、これら虚像タイプと直視タイプの2つの映像11,12は、スマートグラス2またはAR/MRグラス3の右左の各目用レンズ6,7を透過して視認者の目15,16に入り、重畳して視認される。
【0027】
スマートグラス2やAR/MRグラス3による虚像タイプのデジタル映像11には、ベゼルは存在しない。大型ディスプレイ4の画面5にベゼルが存在すると、その映像はディスプレイの画面に映った映像と認識され、虚像タイプのデジタル映像11のように映像が空中に浮かんでいるようには認識されなくなってしまう。したがって、大型ディスプレイ4の画面5にもベゼルレスが必要となるのである。ここで、大型ディスプレイ4の画面サイズを60インチ以上とした理由は、大型ディスプレイ4の画面5のサイズが、通常のスマートグラス2やAR/MRグラス3による虚像タイプのデジタル映像のサイズより、大きくなるようにするためである。なお、前記画面サイズは、その上限を特に限定されないが、室内設置の観点からは好ましくは100インチ以下である。
【0028】
SRを含めたxRにおいて、デジタル映像を現実の空間のように認識させるには、デジタル映像を空中に浮かんで観えるようにしただけでは不十分であり、デジタル映像そのものの高画質化が必須である。SRの実現には、フルハイビジョンと呼ばれるHDTVから、画素数を大幅に増やした超高精細テレビおよび映像システム・放送規格であるUHDTV(4KUHDTVや8KUHDTVなど)への画質および音質向上が必要になる。具体的には、<1>Higher Dynamic Range(HDR)、<2>More Color(BT.2020)、<3>Better Audio(ハイレゾ音)、<4>Appropriate Frame Rate(120Hz)、<5>More Resolution(4K、8K)を満たすことであるが、これらをほぼ満たせる発明(1)の代替現実用の画像表示装置に用いる大型ディスプレイを、反射型スクリーンと4K超短焦点プロジェクターとからなるプロジェクションディスプレイにより実現する。ここで、「超短焦点」とは、プロジェクターの設置位置が、スクリーンから20~80cm程度であることを指す。
【0029】
図2に示すように、4K超短焦点プロジェクター21を用いるので、反射型スクリーン22の表面を平坦に保たなければならない。反射型スクリーン22の表面にわずかな凹凸があっても映像は歪んでしまう。従来は、シート状の反射型スクリーンの4辺に均一に張力がかかるように一定間隔でバネを取り付けて、反射型スクリーンの表面を平坦に保っていた(図示せず)。このように、従来の方法ではバネを取り付けた部分がベゼルとなっている。このベゼルを無くすため、
図2のように、反射型スクリーン22の裏面に厚さ0.3mmのマグネットシート23を貼り、発泡ポリエチレン(PE)からなる芯材26をスチール25の薄板で挟み、マグネットシート23が、着磁する表面側のスチールにポリエステル系樹脂焼付塗装27を施した3mm厚の複合板24に、反射型スクリーン22を均一な磁力で付けることで、反射型スクリーン22の表面の平坦性を実現した。さらに、複合板24のサイズを反射型スクリーン22のサイズ以下にすることで、ベゼルレスを実現した。
【0030】
次に、発明(2)について
図2および
図3を用いて説明する。
発明(2)は、代替現実用の画像表示装置の大型ディスプレイを、発明(2)に係るプロジェクションディスプレイで実現するものである。発明(2)に係るプロジェクションディスプレイの反射型スクリーン22としては、デジタル映像の高輝度、高解像度、および明るい部屋でも高コントラストとなる点で、空間結像アイリス面方式スクリーン(例えば特許文献2参照)であることが好ましい。前記空間結像アイリス面方式とは、
図3に示すように、プロジェクター31から焦点距離fのスクリーン32の反射面までの距離aと、前記反射面から視認者の目308までの距離bとが、1/a+1/b=1/fの関係式を満たす(ただし、a,bはそれぞれ±10%以内の許容範囲を有する。)ようにして、視認者の目308の周辺に画像光が集まるエリア、すなわち空間結像アイリス面309とする方式である。この方式のスクリーンとしては、例えば
図4に示すように、平坦な基板35と、 基板35正面側を被覆する層をなし、該層の表面形状により面内の左右方向と上下方向とで拡散角度が異なる表面形状依存型の異方性拡散層39と、 基板35背面側を被覆する層をなし、該層の背面側が、レンズ面36aと非レンズ面36bを備え該層の背面側に凸となる単位レンズが複数配列したフレネルレンズ面形状であり、該フレネルレンズ面形状の面がスクリーン32の反射面になる、焦点距離fのレンズ層36と、レンズ層36の背面側の、レンズ面36a、又はレンズ面36a及び非レンズ面36bを被覆する層をなし、該層が高反射率(反射率70%以上)の金属からなる反射層37と、反射層37の背面側を被覆して、反射層37を保護する保護層38と、保護層38の背面側に貼合したマグネットシート33と、を有する。マグネットシート33は両面接着テープ(図示せず)にてスクリーン32裏面に貼合される。
【0031】
透過型スクリーンとしては、
図5に示すように、プリズムアレイ(光出射方向制御素子)41と入射許容角度領域内の任意の角度で入射した光の90%以上を拡散角度領域に拡散透過させる拡散フィルム42で構成されるリアプロジェクションディスプレイ用スクリーン(例えば特許文献3参照)43が、4K超短焦点プロジェクター21からの大角度の入射光に対応できることと、スクリーンの法線方向に対し上下±25°の範囲以外からスクリーンに入射する天井灯などの外光を拡散しないで透過させるようにした外光対策により、デジタル映像の高画質化が実現できるという点から好ましい。このリアプロジェクションディスプレイ用スクリーン43は、垂直方向に対する面の傾きがθp1およびθp2であるプリズムアレイ41と、内部屈折拡散フィルム42で構成される。前記内部屈折拡散フィルム42は、内部が屈折率の異なる層状構造となっており、ある角度領域から入射する光は角度均一に(入射角によらず同一の角度で均一に)拡散し、それ以外の領域から入射する光は拡散せずに透過するという特性を有する。拡散する入射角度領域と入射光が拡散する角度領域はほぼ同じになり、この入射角度領域を入射許容角度領域と呼ぶ。
図5においては、入射許容角度領域は、拡散光のスクリーンに対する拡散角をθfとすると、θf-min~θf-maxで表わされる。スクリーンの法線方向に対し上下±25°以外からスクリーンに入射する天井灯などの外光は拡散しないで透過するようにするには、入射許容角度領域は、65°~115°としなければならない。次に、入射許容角度領域が65°~115°の内部屈折拡散フィルム42を用いるためには、プリズムアレイ41から拡散フィルム42への入射光の角度θcの角度領域も65°~115°に制御しなければならない。
【0032】
4K超短焦点プロジェクター21を用いる場合、プリズムアレイ41に対する入射光θps=30°~65°と急傾きとなるので、プリズムアレイ41としては、屈折型ではなく
図5のような全反射型を用いる必要がある。プリズムアレイ41のプリズム角θp1とθp2は、上記θps、θc、入射許容角度領域をすべて満たすように設計した結果、θp1=105°およびθp2=65°のプリズムアレイ41となる。この場合は、フレネルレンズのように、スクリーン上下の場所によってプリズムアレイの角度θp1とθp2を変える必要がないため、製造の簡便性、製造コストの廉価性は飛躍的に向上する。
【0033】
なお、
図5では、プリズムアレイ41と内部屈折拡散フィルム42との間に隙間があるかのように描いたが、実際には、プリズムアレイ41のフラット面に内部屈折拡散フィルム42の対向面を隙間なく密着させて透過型スクリーンを構成する。
【0034】
次に、発明(3)について
図6を用いて説明する。
図6に示す発明(3)の代替現実用の画像表示装置50は、
図1に示した視認者が一人の場合ではなく、
図6に示すように視認者が複数(
図6の例では視認者A,Bの二人)の場合の一例で、2つのスマートグラス52(52A,52B)またはAR/MRグラス53(53A,53B)と、1つの大型ディスプレイ54とで構成されるものである。視認者Aに関して、スマートグラス52AまたはAR/MRグラス53Aの右目用レンズ56Aと左目用レンズ57Aの視認者A側の面はハーフミラー状の反射型凹面鏡CMIRとなっている。右目65A、左目66Aは夫々、右左の各目用画像表示素子58A,59Aから発して反射型凹面鏡CMIRで反射した画像光による虚像タイプのデジタル映像61Aと、大型ディスプレイ54の画面55上の直視タイプのデジタル映像62とを重畳して観ることができる。視認者Bに関しても同様である。
【0035】
このように、複数の視認者は、居る位置に関係なく位置が変わらない大型ディスプレイ54の画面55を観ることになるので、各視認者は、スマートグラス52またはAR/MRグラス53で観ている虚像タイプのデジタル映像61は各個人のデジタル映像で、大型ディスプレイ54の画面55に映る直視タイプのデジタル映像62は基準となる共通のデジタル映像として認識できるようになる。従来は、
図10に示すようにAR/MRグラス120により、前方と後方の2つの虚像タイプのデジタル映像125,126のうち後方の後方虚像126を共通のデジタル映像としていたので、視認者の位置が変化すると共通のデジタル映像の位置も変化してしまい、位置が変わらない基準となる共通のデジタル映像が無かった。これに対し、発明(3)では、複数の視認者にとって、位置が変わらない直視タイプのデジタル映像62を共通の基準となるデジタル映像として視認できるようになるので、お互いの位置関係の認識が容易になる。この共通の直視タイプのデジタル映像62を活用することで、各視認者間での位置に関する円滑な情報交換が図られるようになる。
【0036】
最後に、発明(4)について
図7および
図8を用いて説明する。
発明(4)は、スマートグラスまたはAR/MRグラスが表示する虚像タイプのデジタル映像と、大型ディスプレイの画面に映る直視タイプのデジタル映像のうち少なくとも一方は、遠隔地で撮影されネットワークを介して転送されたデジタル映像であることを特徴とする代替現実用の画像表示装置である。
【0037】
図7は、本発明の代替現実用の画像表示装置を後述するテレイグジスタンスに実施した一例である。ここで、AR/MRグラス73が表示する虚像タイプのデジタル映像71はオペレータ用目線カメラ75で撮影され、大型ディスプレイ74のベゼルレス画面に映る直視タイプのデジタル映像72は現場用カメラ76で撮影されたもので、それぞれネットワーク80を介して転送される遠隔地映像データ83である。
【0038】
近年、医療や建設等のさまざまな分野において、人間(以下、オペレータという)がロボットや重機等を遠隔操作して様々な作業を行うテレイグジスタンスと呼ばれる技術が実用化されている。テレイグジスタンス技術においては、オペレータはスマートグラス、AR/MRグラス、または直視タイプのディスプレイを通して、ロボットや重機等に設置されたカメラが撮影する遠隔地の映像を観て、あたかも作業現場に自分自身が居て作業を行っているかのような感覚を得られることが必要である。しかしながら、ロボットや重機等と作業現場の位置関係を正確に認識できないのが現状であり、ロボットや重機等を正確に遠隔操作するために、オペレータに臨場感のある現場の映像を提示できるテレイグジスタンス技術が望まれている。
【0039】
図7に、ベゼルレスの大型ディスプレイ74を用いたテレイグジスタンス構成図を示す。作業現場のデジタル映像は、重機に取り付けたオペレータ用目線カメラ75や様々な現場用カメラ76により撮影され、現場用制御装置77により遠隔地映像データ83としてネットワーク80を介してオペレータ用制御装置78に転送され、オペレータ用制御装置78により、遠隔地映像データ83から、AR/MRグラス73に送られる虚像映像データ81や大型ディスプレイ74に送られる直視映像データ82が作られる。ここで、現場用、オペレータ用夫々の制御装置77,78は、5G無線通信でも性能的には対応可能であるが、安全性を考慮すると通信会社による専用通信回線の方が好ましい。また、オペレータ70が装着するディスプレイをAR/MRグラス73としたのは、オペレータ70は、虚像タイプ、直視タイプ夫々のデジタル映像71,72を観ながら、操作装置79を用いて長時間重機等を操作しなければならないので、ヘッドマウントディスプレイのように周囲の視界を遮断するものは適さず、画面以外も時々見ることで気分転換が図られ、比較的軽量で装着感が少ないことを考慮したからである。オペレータ70は、作業現場の映像を大型ディスプレイのベゼルレス画面に映る直視タイプのデジタル映像72を観ながら、例えば、重機のシャベルの動きを虚像タイプのデジタル映像71で確認しながら、操作装置79のレバー等を操作して、作業現場に居るような感覚で、離れた所から作業を行うことが可能になる。
【0040】
図8は、本発明の代替現実用の画像表示装置を後述する遠隔作業サポートに実施した一例であるが、大型ディスプレイ94のベゼルレス画面に映る直視タイプのデジタル映像92が、遠隔地で撮影されネットワーク100を介して転送される遠隔地映像データ103を根源とする直視映像データ102である。
【0041】
近年、建設や土木現場の作業者不足が深刻になり、未経験の高齢者や外国人により不足を補う場合が増えている。技術習熟度が低い作業者でも、リアルタイムで技術習得者のサポートが受けられれば、基準を満たす作業を行うことは可能である。そのためには、技術習得者である監督者が、作業者の作業を遠隔から指示・チェック・評価できる遠隔作業サポートという技術が必要になる。
【0042】
図8に、ベゼルレスの大型ディスプレイ94を用いた遠隔作業サポート構成図を示す。遠隔作業サポートでは、作業者90Bは、AR/MRグラス96の虚像映像データ101Bだけでなく、監督者90Aと会話も可能になるように、目線カメラ95とヘッドセットマイク・スピーカセット105を装着し、監督者90Aは、AR/MRグラス93とヘッドセットマイク・スピーカセット106を装着し、ベゼルレスの大型ディスプレイ94の画面で、目線カメラ95で撮影した現場のデジタル映像を観ながら、作業者サポートに活用できそうな設計図面や作業手順書などのサポート資料を選んで、そのサポート資料のデータを監督者用制御装置98からネットワーク100を経由して作業者用制御装置97に転送する。転送されたサポート資料のデータは、AR/MRグラス96で目の前の作業現場の空間に重畳したデジタル映像に変換され、作業者90Bが作業をしながら観られることになる。一方、監督者90Aも、作業者90Bが目線カメラ95で撮影した現場の遠隔地映像データ103が、作業者用制御装置97とネットワーク100を介して、監督者用制御装置98に送信され、さらに、直視映像データ102として大型ディスプレイ94へ送られるので、大型ディスプレイ94の画面で現場のデジタル映像を観ることができ、さらに、サポート資料のデジタル映像は、AR/MRグラス93で虚像タイプのデジタル映像91として、大型ディスプレイ94の直視タイプのデジタル映像92に重畳して観ることができる。したがって、監督者90Aは、作業者90Bの作業現場とは離れているが、作業現場のデジタル映像とサポート資料のデジタル映像を空中に離間した2つのデジタル映像として認識できるようになるので、あたかも現地に作業者90Bと一緒に居て、作業の指示・チェック・評価を行っているような感覚を得ることができる。
【0043】
図8の遠隔作業サポートでは、現場の映像を、作業者90Bに取り付けた目線カメラ95により撮影し、制御装置97,98とネットワーク100を介して監督者90Aの前方の大型ディスプレイ94のベゼルレス画面に直視タイプのデジタル映像92として映し出し、サポート資料などの映像は、AR/MRグラス93の虚像タイプのデジタル映像91として空中に離間して重畳するので、まさしく代替現実の世界を作り出していると云える。ここで、各制御装置97,98は、5G無線通信でも性能的には対応可能であるが、安全性を考慮すると通信会社による専用通信回線の方が好ましい。また、AR/MRグラス93,96としたのは、特に作業者90Bにとって、虚像タイプのデジタル映像を時々観ながら作業現場で長時間作業を行うので、ヘッドマウントディスプレイのように周りの視界を遮断するよりは、目の前の現場を観やすいようにシースルー性にしたAR/MRグラス96の方が作業効率的に優れているからである。さらに、作業者90Bと監督者90Aとの会話を可能にするヘッドセットマイク・スピーカセット105,106を装着するので、より軽く装着感が少ないAR/MRグラス93,95の方が適しているからである。
【実施例0044】
発明(1)と(2)に係る、代替現実用の画像表示装置1の大型ディスプレイ4を、
図2の形態の反射型スクリーン22を用いる反射型プロジェクションディスプレイ20とし、さらに、反射型スクリーン22としては、高輝度、高解像度、および明るい部屋でも高コントラストの映像表示が可能な
図3と
図4の形態の空間結像アイリス面方式スクリーン32として、ベゼルレスのスクリーンを製作し、評価を行った。スクリーンの寸法は、2,243×1,196mmで、対角100.8インチである。スクリーン表面は、表面形状異方性拡散層39からなり縦方向±4°、横方向±15°の拡散角度のものを用い、裏面は、フレネルレンズ36の反射面をアルミ塗装37とし、その塗装面を黒色保護層38で覆った。さらに、保護層38に両面テープで厚さ0.3mmのマグネットシート33を貼合した。出来上がったスクリーンは、
図2のような複合板24を3枚横方向に平坦に接合し、全体の寸法をスクリーンより各4辺が2mm小さくなるようにした3分割複合板に、マグネットシート33で平坦に付け、ベゼルレスを実現した。
【0045】
次に、ベゼルレスの反射型スクリーン22の性能を評価した。スクリーンのピークゲインは、4.2であり、ハーフゲインとなる横方向の範囲は、左右28°であった。コントラストは、天井灯が点灯している明環境で、約35.0であった。比較として、ホワイトマットでは、約4.0であった。暗環境では、本スクリーンとホワイトマットともに、約1,000であった。以上より、代替現実用の画像表示装置において、本発明に係るプロジェクションディスプレイによりベゼルレスの大型ディスプレイを実現することは可能であることが判った。