(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022170640
(43)【公開日】2022-11-10
(54)【発明の名称】透過率制御部を備えた表示装置
(51)【国際特許分類】
G09G 5/00 20060101AFI20221102BHJP
G02B 27/02 20060101ALI20221102BHJP
G09F 9/00 20060101ALI20221102BHJP
G09G 5/377 20060101ALI20221102BHJP
【FI】
G09G5/00 510V
G02B27/02 Z
G09F9/00 359
G09G5/36 520L
G09G5/00 530M
G09G5/00 550C
【審査請求】未請求
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2021134340
(22)【出願日】2021-08-19
(31)【優先権主張番号】P 2020183379
(32)【優先日】2020-11-01
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】712013062
【氏名又は名称】伊原 正典
(72)【発明者】
【氏名】伊原 正典
【テーマコード(参考)】
2H199
5C182
5G435
【Fターム(参考)】
2H199CA04
2H199CA12
2H199CA23
2H199CA25
2H199CA29
2H199CA32
2H199CA47
2H199CA48
2H199CA53
2H199CA59
2H199CA63
2H199CA75
2H199CA86
2H199CA91
2H199CA92
2H199CA95
5C182AA02
5C182AA03
5C182AA04
5C182AA22
5C182AA31
5C182AB02
5C182AB08
5C182AB25
5C182AB31
5C182AB35
5C182AC02
5C182AC03
5C182BA14
5C182BA25
5C182BA26
5C182BA29
5C182BA45
5C182BA54
5C182BA56
5C182BA57
5C182BA65
5C182BB01
5C182BB15
5C182BB21
5C182BC01
5C182BC26
5C182CA21
5C182CB44
5C182CB52
5C182DA02
5C182DA44
5C182FA68
5G435AA01
5G435BB05
5G435BB12
5G435BB19
5G435CC09
5G435CC12
5G435DD05
5G435DD10
5G435DD11
5G435DD13
5G435EE12
5G435FF04
5G435FF08
5G435FF11
5G435GG03
5G435GG09
5G435GG11
5G435HH02
5G435LL07
5G435LL08
5G435LL17
(57)【要約】 (修正有)
【課題】一般的な透過型及び若しくは半透過型のHMD(ヘッド・マウント・ディスプレイ)やHUD(ヘッド・アップ・ディスプレイ)、コンタクトレンズ型AR/MRデバイスといった表示装置に於いて背景色の影響から黒色が表示できないという課題があった。
【解決手段】透過型・半透過型のHMDやHUD、コンタクトレンズにおける映像の光学的出力部から網膜に投影するまでの光学的経路において、具備された内部生成CG映像と周囲映像の光学的合成部となるハーフミラーや導光板、コンタクトレンズ屈折制御部などに合わせて、液晶やMEMS、熱制御、ECデバイスなどで構成される画素単位に制御可能な透過率制御部を具備することで、透過率の最も低い状態で黒色部を表現し、黒色部での背景色の影響を減らすことを実現するとともに、他の色が背景色と混ざらないようにし、より明瞭な色表現を実現し、課題の解決を図る。
【選択図】
図1
【特許請求の範囲】
【請求項1】
背景光及び若しくは外光を透過する透過型表示部におけるメインピクセルごとの白色光源及びカラーフィルターを具備しない表示装置であって、
背景光及び若しくは外光を全透過及び若しくは半透過する透過型表示部を具備する表示装置における前期透過型表示部に、
メインピクセルごとに分割された背景光及び若しくは外光の透過率を制御する透過率制御部と、
映像出力部から出力される画像及びもしくは映像に基づいた光学的情報と、
背景光及び若しくは外光とを、
メインピクセルごとに任意の光学系で得られる光学的視認像とを合成表示をする表示部
及び若しくは、
メインピクセルごとに自発光するサブピクセルを備えるとともに合成表示をする表示部
を具備する表示装置であって、
前記表示部に、
前記光学的情報と
前記背景光及び若しくは前記外光をメインピクセル単位の透過率制御情報と、
により合成することを特徴とするコンタクトレンズ型表示装置に於いて、
コンタクトレンズ表面の曲面に合わせて適宜配置された透過率制御部を備えることを特徴とする、
コンタクトレンズ型表示装置
【請求項2】
背景光及び若しくは外光を透過する透過型表示部におけるメインピクセルごとの白色光源及びカラーフィルターを具備しない表示装置であって、
背景光及び若しくは外光を全透過及び若しくは半透過する透過型表示部を具備する表示装置における前期透過型表示部に、
メインピクセルごとに分割された背景光及び若しくは外光の透過率を制御する透過率制御部と、
映像出力部から出力される画像及びもしくは映像に基づいた光学的情報と、
背景光及び若しくは外光とを、
メインピクセルごとに任意の光学系で得られる光学的視認像とを合成表示をする表示部
及び若しくは、
メインピクセルごとに自発光するサブピクセルを備えるとともに合成表示をする表示部
を具備する表示装置であって、
前記表示部に、
前記光学的情報と
前記背景光及び若しくは前記外光をメインピクセル単位の透過率制御情報と、
により合成することを特徴とするコンタクトレンズ型表示装置に於いて、
コンタクトレンズ表面上に視線を法線とする面に合わせて適宜配置された透過率制御部を備えることを特徴とする、
コンタクトレンズ型表示装置
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、透過率制御部を備えた表示装置に関する。
【背景技術】
【0002】
本発明はヘッドマウントディスプレイ(HMD)やヘッドアップディスプレイ(HUD)あるいはAR/MR用コンタクトレンズと呼ばれる情報表示端末に関連付けられた表示装置および通常透過(半透過)画像は背景の画像が透過してしまう半合成型表示装置が既に存在していることは広く知られている。
【0003】
後述される出願文献は、より具体的に前述の内容に関した表示装置の発明などが記載されている。また、後述される文献は光の透過率制御技術に関し説明が行われている。これらのヘッドマウントディスプレイやヘッドアップディスプレイは人体装着用のARやMRのHMD(ヘッドマウントディスプレイ)や車載用や航空機用、船舶用のARやMRのHUD(ヘッドアップディスプレイ)、ARやMR用コンタクトレンズ、携帯情報表示端末、デスクトップ表示装置としての利用状況が解説されている。また、非特許文献1は光の透過率を制御して室内の明るさなどを制御できるガラス窓などの知見になる。さらには、ノートPCのような形の端末やタブレット端末、スマートフォン型端末において、透過型・半透過型の構成を実現してもよい。透過型とは通常のメガネのように表示部から表示部を通した反対側の映像がカメラなどを用いずに90%以上などの高透過率で透過し、利用者が視認できるHMDなどであり、半透過型はサングラスのように透過率がある程度制限されているHMDなどを指す。さらには、フラットディスプレイのような薄型モニターなども含み、前述のHUDのようなデバイスのより大型の物も含む。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2019-516261号公報
【特許文献2】特表2018-525662号公報
【特許文献3】特表2015-536514号公報
【非特許文献】
【0005】
各URLは2020/02/01に確認
【非特許文献1】光を制御するニューガラス 河原秀夫、斉藤靖弘 著 1993年
【非特許文献2】HoloLens の スクリーンの仕組みと HoloLens 2 での視野角の拡大URL https://shinoblogavi.wordpress.com/2019/10/17/hololensscreen/
【非特許文献3】目に入れるだけのAR?サムスンが“スマートコンタクトレンズ”の特許を取得 URL https://www.moguravr.com/samsung-smart-contact-lens/
【非特許文献4】ARコンタクトレンズの可能性に驚愕!!!かがくのちからってすげー! URL http://iam1031nobosemon.hatenablog.com/entry/2018/06/20/190115
【非特許文献5】ARコンタクトレンズをMojo Visionが発表 現実世界をキャプションで説明 URL https://www.itmedia.co.jp/news/articles/2001/17/news076.html
【非特許文献6】透過型ヘッドマウントディスプレイ利用時の前景と背景の相互関係に関する研究URL https://www.jstage.jst.go.jp/article/jergo/41spl/0/41spl_0_194/_pdf
【非特許文献7】透明LCDディスプレイ(参考展示)パソニック社(登録商標)URL https://www.youtube.com/watch?v=gsbxCeJ78As
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の主たる課題は、一般的な透過型及び若しくは半透過型のARやMRに用いる透過型及び若しくは半透過型のHMD(ヘッドマウントディスプレイ)やHUD(ヘッドアップディスプレイ)、コンタクトレンズ型AR/MRデバイス、携帯型表示装置、据え置き透過型表示装置に於いて、透過若しくは半透過であるため背景色(外光)の影響から特定の範囲のみの黒色表示できないという課題があった。また、このように透過型(半透過型)であるため外光が明るすぎると表示が明瞭にならないという課題があった。
【0007】
また、非特許文献7のように、一見、画素(メインピクセル)単位に黒色表示をしているかのような表示方法もあるが、この方式は、画素(メインピクセル)単位にバックライト制御を行い、白色光に液晶とカラーフィルタで色を付けているため、透過率が実質33%以下と非常に低くなったり、バックライトが点灯して色が表示されると、画素(メインピクセル)単位のバックライトにより画素(メインピクセル)単位に出力される強い白色光源の発光によって背景画像(外光)が完全に遮断されたり、RGBそれぞれのサブピクセルのフィルタと液晶をバックライト光源や背景光(外光)が通過するので、背景光(外光)の実質透過率が33%程度以下に減衰してしまうという課題があり、背景光の透過率を画素(メインピクセル)単位に適切なアナログ制御が可能になっているわけではない。
【課題を解決するための手段】
【0008】
本発明は、前述の課題を解決するために、透過型及び若しくは半透過型のHMDやHUD、コンタクトレンズなどの表示装置における映像の光学的出力部からの信号を反射及び若しくは伝達し網膜に投影するまでの光学的経路において、具備された映像出力部としてのコンピュートモジュールなどによる内部生成画像・映像出力部からの出力される画像・映像としてのCG光源光と外光(背景色)の光学的合成部となるハーフミラーや導光板、光導波路、コンタクトレンズ屈折制御部などに合わせて、液晶やMEMS、熱制御、エレクトロクロミック・デバイスなどで構成される画素(メインピクセル)単位に分割された透過率制御部を用いることにより画素(メインピクセル)単位のバックライトやサブピクセルのカラーフィルタは用いずに、画素(メインピクセル)単位に制御可能な光学的透過率制御部を備える手段を具備することによって、黒色部における背景光や外光への影響を減少させるため、背景光や外光の光学的透過率を上げて任意の透過率制御を実現することでより確実な黒色の表示を実現しするとともに、光導波路や導光板、ハーフミラー、光学マイクロプロジェクタなどの光学系、透過型EL(有機EL含む)などを用いることで、表示に必要な映像出力部としてのコンピュートモジュールなどの映像生成装置からの画像や映像情報に基づいた他の色を背景光や外光に影響されることなく明瞭に表示することを可能とし、課題の解決を図っている。なお、コンピュートモジュールの映像出力部は、電気的な映像信号であっても、光学的な映像情報であってもよく、映像という単語には、画像、静止画、動画、3D立体といった視覚的情報に関わる一切を含むと考えてよい。
【0009】
さらには、前述の光学的合成部ではなく光学経路において光学的合成部より手前の外光(背景色)入力部であるHMDやHUD、コンタクトレンズの外光(背景色)入力面、もしくは外光(背景色)と内部生成画像・映像の合成後の最終的な視覚への出力面に、前述のような液晶やMEMSなどで構成される画素(メインピクセル)単位に分割可能な光学的透過率制御部を備える手段を具備する。これらの画素(メインピクセル)単位の透過率分割制御は液晶などの偏光による制御、MEMSなどの物理的透過面積の電気・磁気・電磁気などを用いた透過率制御、磁界による制御、電気的な変化による物理変化誘発による制御、さらには温度制御によるものやEC(Electrochromic、エレクトロクロミック材料、エレクトロクロミズム)特性によるデバイスであっても良い。
【0010】
なお、便宜的に外光(背景色)透過率を0と記載しているが、実際は人から見て黒く見えるであろう80から90%以上の外光(背景色)の減衰があることで黒色表示を表現しても良いし、必ずしもRGB値が0ではなく0に近い値、例えばRGBに基づく輝度が全体の20から10%未満になるように構成しても良いし、光学的焦点制御機能の改善で黒色部の輪郭を明瞭に構成できるように設計しても良いし、フラットパネルディスプレイの画面と同様の画素(メインピクセル)構成で透過率制御を行えるようにパネルの任意の位置に組み合わせて表示できるようにしてもよい。
【発明の効果】
【0011】
このように課題の解決方法を構成することで、内部生成されたCG映像における黒色信号部に対して周囲の状況から影響をうける外光(背景色)の光透過率を制御することにより、適宜、外光(背景色)の透過率を低減させることで、視覚(網膜など)への内部出力光としてのCG画像・映像が0且つ外光(背景光)の透過率0の状態を実現することで、外光(背景色)の入力輝度と表示(CG画像・映像)の輝度がなくなり、結果として人の目には黒色としての表示を可能にしたり、任意の色表現において外光(背景色)の影響をなくし表示色に忠実な色再現を実現できるようにしたり、することが可能となる。
【0012】
さらには、透過型及び若しくは半透過型表示装置における透過及び若しくは半透過部の画素(メインピクセル)単位の透過率制御により、黒色表示が実現されることで、装置利用者にとって、より最適な視覚映像を提供することも可能である。
【0013】
そして、本発明によれば、前述のように画素(メインピクセル)単位に強い白色のバックライト光があるわけではないので、映像出力部としてのコンピュートモジュールの表示色における色表現や透過される背景光(外光)に悪影響を及ぼさないという効果や、透過率制御後がサブピクセルのRGB単位ではなく、且つRGBフィルタがあるわけではないので、背景光(外光)の透過時の透過率が事実上33%以下になってしまうカラー表示液晶特有の色分解によるサブピクセル透過制御とは異なり、背景光の透過光量を十分に確保できるという効果もある。
【図面の簡単な説明】
【0014】
【
図3】HMDであり導光(光導波路)型の場合の構成
【
図7】画像認識を伴う制御ソフトウェア・フロー実施図
【
図10】物理構成の基本概念
図3(外側及び内側制御部設置)
【
図11】物理構成の基本概念
図4(プリズム型外部制御部設置)
【
図12】物理構成の基本概念
図5(導光板(光導波路)型外部制御部設置)
【
図13】タイリング及び若しくはマトリクス構成の基本概念図
【
図14】外光透過率制御ソフトウェア・フロー実施図
【
図17】従来型のHMDであり黒色表示ができない外部反射・屈折型の場合の構成
【発明を実施するための形態】
【実施例0015】
【0016】
まず、
図15によって、本発明における装置のHMD(ヘッドマウントディスプレイ)としての基本構成が提示されている。このなかで
図15(a)は一般的にいうパソコンと透過型・半透過型HMDを接続した図であり、
図15(b)はパソコンやスマートフォンのような映像出力部を具備する情報処理装置(コンピュートモジュール、コンピュート部)1501がHMDに内蔵された構成になっていることを図示している。このため、
図15(a)と
図15(b)とで実施される情報処理や装置構成は実質的に同等であっても、
図15(a)のような据え置きの情報処理装置1501に拘束されることなく
図15(b)であれば自由に移動することができ、
図15(b)の通信部1514は無線通信回路として構成されていることが、より好ましい。
【0017】
そして、これらの
図15(a)、(b)ともにHMDには各種センサ類(GPS、GNSS、加速度、ジャイロ、コンパス)といったものが内蔵されていても良く、それらのセンサは電子回路やMEMSによって構成されたものであっても良い。さらにはHMDに任意の数の画像センサ(IR含む)やストラクチャライト、ストラクチャセンサ、デプスカメラ、デプスセンサ、ToFカメラ(Time-of-Flight Camera)モジュール、マイク、マイクアレイ、超音波センサといった2020年時点でのスマートフォンやタブレットなどに含まれるセンサ類やHMDに含まれるセンサ類が内包されていても良い。
【0018】
また、これらのセンサ類が車載型HUD(ヘッド・アップ・ディスプレイ)などを運用する際に車両に搭載されたり、航空機搭載型HUDなどを運用する際に航空機に搭載されていたり、船舶等のHUDとして運用される際に船舶に搭載されていたりすることで本発明を運用する機器類に必要な装置類に適宜関連付けられたり搭載されていてもよく、そのような構成にすることで本発明をより効率的に使用できる構成となっていても良く、更には、HUDデバイスの応用として比較的近い形状のディスプレイ部を側面からの入光に伴うプリズムアレイや、レーザーMEMSなどによる薄型ディスプレイとして構成して、ノートPC型デバイスやタブレット型デバイス、スマートフォン型デバイスなどを透過率制御を伴う黒色表示可能型フラットディスプレイ型デバイスを構成してもよい。
【0019】
また、安全面から考えるなら、電源が確保されない状態において透過率制御部が透過率100%となるノーマリーホワイト設計が好ましい。さらに、別の安全面からは利用者の足元よりの画像は半透過にすることで、歩行や移動の疎外となる実体物が見えなくなる危険を回避しても良い。液晶などが電気制御により画素(メインピクセル)単位に透過率を制御できることは知られているとともに、荷電透過率制御部を二層にすることで偏光率制御などによる透過率制御を行っても良い。さらには、反射部品と組み合わせて透過率制御による反射率制御などを行っても良い。これらの荷電制御により、透過率を0~100%(10~90%でもよい)といったアナログな透過率制御を行ってもよく、荷電制御における制御方式は電流制御、電圧制御、パルス制御(パルス幅を含む)といった任意の方法で実現してもよい。
【0020】
図15の中で、
図15(a)において1501として記載される情報処理装置は、1511としてCPUやDSP、GPGPUなどの情報処理装置、1512としてGPUなどの画像情報処理装置、1513として記憶部(ROM、RAM、FLASH、SSD、HDD)といった任意の情報を記憶する一時記憶部やストレージ記憶部、揮発性記憶部、不揮発性記憶部などを含んだ記憶部、1514として1511から1513で扱われる情報を、ほかの情報処理装置や通信回線を用いて必要な情報を配信・収取するための通信部を備えており、適宜1500に接続されている。
【0021】
図15(b)における1501においては
図15(a)の1501と同様に1511から1514を当然のことながら含むものとし、
図15(a)における1500には
図15(b)における1500は1501から1504を当然のことながら含むものとする。なお、どちらの1500においてもセンサ類の図示はないが前記セクションにあるように、必要に応じて含まれると考えるべきである。なお、
図15(b)における1501は
図15(a)と同等・同類の構成で1500に内蔵された情報処理装置であり、HMDを外部の情報処理装置1501に接続していない単体の状態であっても動作することが想定されている。なお、VR用HMDやAR/MRHMDに関しては外部のホストコンピュータ(情報処理装置などで構成される)に繋いでもつながなくても利用可能なものがいろいろな形で製品化されている。
【0022】
つづけて、
図15(b)の光学処理装置1502について説明する。これらの光学処理装置1502は人間の視覚に対して適切な光学的視覚情報を提供する装置である。より具体的にはポリゴンミラーやMEMS制御によるレーザー光などを用いた光学視覚情報提供やMEMSミラーによる時分割色変更を用いた光学視覚情報提供、マイクロプロジェクタによる光学視覚情報提供、液晶パネルやOLEDパネルのような光学視覚情報の面表示デバイスの適切な光学的屈折といった、人間の視覚に対し適切な光学的情報を提供する装置及び若しくは装置群によって構成され、視覚用情報提供光源となる光学デバイス類は必ずしも片眼辺り一つの装置でなくても良いし、両眼用に別々に装置が構成されていても良い。
【0023】
そして、1503透過型映像表示部は1502光学処理装置に対して1501情報処理装置内で従来からある視覚情報精製技術に従い適切に生成されたCG画像情報(1006)を提供することにより生成される画像・映像信号が投影され、光学的な視覚情報の流れに従い利用者の視覚に光学的画像・映像を提供する。この際、1504透過率制御部(1004、8001に同じ)は周囲からの光(外光、背景光など:1007、8000)の透過率を画素(メインピクセル)単位に制御する情報を情報処理装置から受取ることでCG画像情報1006における黒色の表示としての不透過や外光・背景光が見える透過画素(メインピクセル)の透過率の制御・評価などを行うことで視覚に伝達される外光・背景光の透過率を制御し、より利便性の高い利用者向け画像の提供を可能とする透過型・半透過型表示装置としてのHMDを構成できる。
【0024】
つづいて、
図1と
図17を比較しながら本発明の従来技術との具体的違いを説明する。
図1は本発明における透過型HMDの一例であり、構成としては片眼用ARデバイスと解釈することができる。また、
図17は本発明における従来型の一般的な透過型HMDとしての片眼用ARデバイスとされるものである。なお、本発明は片眼用HMDのみに適応されるばかりではなく両眼用に適応させることも可能であり、その場合は視差補正などの適切な技術を組み合わせることで、本発明の実施をより品質の高いものとすることが可能である。
【0025】
図1(a)は本発明を適応させた透過型ARデバイスとしてのHMD(ヘッドマウントディスプレイ)を上から眺めた場合の図となっている。そして、
図1(b)は(a)と同様のHMDであり
図1(a)を横から眺めた場合の図となっている。そして、
図17は本発明を適応させていない従来型の透過型ARデバイスとしてのHMDを上から眺めた図となっている。透過型・半透過型の違いは便宜的に通常の眼鏡のように減衰の無い全透過であるか、サングラスのように減衰的透過である半透過なのかの違いを考慮することが好ましい。
【0026】
さて、
図1(a)と
図17を比較した場合、
図1に存在し
図17に存在しない部位として1004HMDユニット(透過率制御部)という部位があげられる。この部位は前述の課題の解決方法などで記載されている画素(メインピクセル)単位の透過率制御部に相当する。それ以外の1001、1002、1003は従来型HMDでも提供されているものであり、無線通信機能を備えた映像出力部を具備するコンピュートモジュール1001にて適切な情報収集と収集した情報から生成される適切な表示情報とが構成され、構成された前記表示情報をマイクロプロジェクタや光導波路、導光板、ハーフミラーなどで光学的情報に変換する光学モジュール1002と生成された光学的情報を適切な反射や屈折、拡大などにより視覚に提供するプリズムモジュール1003によって利用者の視覚に適切な表示情報を提供できるAR/MR用HMDとして構成されている。
【0027】
図1にあり
図17に無い本発明の特徴となる部位1004についてより詳しく説明する。一般的な透過率制御は
図1、
図17のような眼鏡型AR/MRデバイスの場合、眼鏡のレンズ部分全体の光透過率を制御することは容易であり、簡単な構成で実現することは可能である。本発明はそのようなメガネのレンズ部分全体の透過率を制御するのではなく、AR/MR用のCG画像情報1006がメガネなどのHMDやHUDに投影される場合において、投影されるCG画像情報1006の範囲内の縦横の画素(メインピクセル)数に応じた細かな画素(メインピクセル)単位の透過率制御部を適切に設置して外光(背景光)の影響を表示画素(メインピクセル)に与えないようにすることで黒色表示を実現する。
【0028】
さらに細かくは、外光(背景光)1007の入力面の最初もしくはCG画像情報1006と外光(背景光)1007との合成後の合成光投影面1005より視覚側の最後、外光(背景光)入力面1007の外側と外光(背景光)とCG画像1006の合成後の合成光投影面1005の内側との二つの面といった、いくつかの法方でCG表示画素(メインピクセル)単位に合わせた画素(メインピクセル)単位の透過率制御を行い、一般的な透過型・半透過型HMDにおけるAR/MR表示において周囲の画素(メインピクセル)より対象の画素(メインピクセル)の透過率を下げることによる黒色の表現を実現しようとするものである。
【0029】
もちろん、黒以外の表示色であっても透過率を画素(メインピクセル)単位に下げることで背景光の影響を受けない明瞭な画素(メインピクセル)単位の表示が可能になるばかりではなく、周囲が明るいときや白色の壁の上に白い文字を表示する場合などにおいて文字に黒や灰色の輪郭を与えてより見やすく表示することなども可能である。
【0030】
なお、透過率制御を画素(メインピクセル)単位で行う透過率制御部の解像度は必ずしも映像出力部を具備するコンピュートモジュール内で生成される画像・映像類の画素(メインピクセル)解像度と一致している必要はなく、より荒い解像度やより細かい解像度を用いて制御することも可能であり、より細かい解像度であれば透過率制御部の制御対象画素(メインピクセル)位置の座標系基準を動かすことで映像出力部を具備するコンピュートモジュール内で生成されたCG画像との細かな位置合わせの調整処理を表示座標系と黒色化する透過率制御画素(メインピクセル)の座標系調整で実現したり、透過率制御画素(メインピクセル)が荒い場合はCG画像の生成位置としての座標系基準を細かく動かすことで制御画素(メインピクセル)とCG画像の画素(メインピクセル)位置合わせを実現したりするようにしても良いし、メインピクセルの透過率制御部の前後(裏と表)に表示用のRGBサブピクセルを構成して、裏面からでも表面からでも映像が視認できるようにしてもよい。
【0031】
つづけて、
図1の1004について、
図8を用いて詳しく掘り下げる。
図8の構成は上から順に、8000外光(背景光)、8001透過率制御部、8010外光(透過率制御済み外光・背景光)、8020(表示用光学光投光部:CG画像光投光)、8011制御済み表示用光、8009視覚となっており、外光(背景光)8000とCG画像光投光部としての8020から得られるCG画像光(1006)とが表示内容合成部8002で合成(8011)され視覚(8009)に伝達される構成となっていることが示されている。
【0032】
より詳しく説明すると、外光(背景光)8000が入力され、
図1の1004に相当する
図8の8001透過率制御部が画素(メインピクセル)単位に透過率を制御できることを図示しており、制御された各画素(メインピクセル)の透過率に基づいて各画素(メインピクセル)の外光(背景光)8000の明るさに対して変化を生じさせることで透過率制御済み外光となり、画素(メインピクセル)ごとに明るさの違う面構造の外光(背景光)8010が構成される。
【0033】
構成された画素(メインピクセル)ごとに輝度の異なる面構造を持った透過率制御済み外光(背景光)8010は、光学モジュール(1002、4002等)から出力された光学的情報が表示用光学光投光部8020経由で取得されるCG画像光(1006)と組み合わされ表示内容合成部8002にて光学的な合成処理をすることにより制御済み合成光8011を生成し、生成された制御済み合成光8011を視覚8009に提供する。この際の光学的な合成処理の構成として、
図8は模式図的に表示内容合成部がマイクロプリズムアレイ構造によって構成されているかのように表現しているが、この部位に光導波路(導光板)やハーフミラー、マイクロプロジェクタ、MEMSミラーアレイを用いて、背景光透過の制御と表示用CG画像光の反射制御を行うことで光学的合成処理を実現することも可能であり、MEMSなどにおいては表示画素(メインピクセル)より細かい表示用としてRGBなどの自発光サブピクセルを用いて、透過率の制御や透過輝度の制御を行うなどの工夫をすることも容易に考えられる。
【0034】
さて、ここで、本発明の核となる画素(メインピクセル)単位の透過率制御方法について説明する。この方法はいくつかの方法が考えられるが、一番簡単な方法として液晶を用いる場合を例に説明していく。最初の液晶を用いる方法はTN型の偏光板と液晶層によって透過率を制御するものである。液晶は偏光板によって光の性質が整えられた光に対し、液晶層を通過するときに液晶部に荷電が加えられるか否かによって透過率を制御することが可能であり、液晶テレビなどの表示装置もこの原理によって画素(メインピクセル)毎の透過率を制御できるように作成されている。そして、液晶テレビにおいては画素(メインピクセル)単位、色単位にバックライトの白色光をどの程度透過するかによって、表示内容の制御を行うのが一般的である。
【0035】
本発明では表示用CG画像光(1006)と外光(背景光:1007、8000)との合成をマイクロプリズムアレイで行う前に外光(背景光)の入力側に液晶による光の画素(メインピクセル)単位透過率制御層を設けることで、従来の透過型HMDでは不可能だった黒色表示を行えるようにしたことが発明の核となっている。また、液晶の制御方式はTN型以外にもVA型やIPS(登録商標)型といった任意の液晶透過率制御方式を用いても良い。
【0036】
次に、同じ液晶であってもTN型の縦偏光と横偏光の違いで透過率制御を行うもの以外に視野角を広げる工夫としての円偏光やマルチドメインVA型といった方法を用いることもできる。この方法は視野角が広くなるメリットがあるが荷電制御によって透過率制御を行うことが可能である点はTN型と原理的には等価とみなすことができる。さらにIPS(登録商標)型といった、より解像度が高くより視野角の広い方法もあるが原理的には荷電によって透過率制御を行うという面ではTN型やVA型と等価である。
【0037】
次にMEMSによる透過率制御について説明する。MEMSはMicro Electro Mechanical Systemsと呼ばれるように極小の製造プロセスを使って、機械要素部品、センサ、アクチュエータ、電子回路を同一のシリコン基板、ガラス基板、有機材料などの上に集積化したデバイスを指すことが1980年代後半から一般的に知られるようになった技術である。この技術を用いると極小の面積中に可動性のある鏡やシャッターを構成することができ、レーザープロジェクタなどの反射光学系にも応用されている。
【0038】
本発明においてはこの手の微細加工技術を用いて、透過率制御部での光透過を離散的な1ビットフラグとしてのアナログ値の二値化処理を応用し、透過対象面積比率的に透過の率制御を行う方法、表示内容としてのCG画像光をMEMSミラーによってCG画像光を表示するか外光(背景光)を透過するかの選択に用いることで、CG画像光が黒色の場合に外光(背景光)を透過しないように制御構成をする方法、MEMSへの荷電量に従ってシャッター構造の開口率を制御して外光(背景光)透過率を制御する方法、といったいくつもの方法が考えられ適宜、実装されることが好ましい。
【0039】
ほかにも原理的には、高速な温度制御を実現することにより熱制御による透過率制御可能な部品、荷電量に従ってEC(Electrochromic)特性を用いた透過率制御可能な部品として構成される透過率制御部なども原理的には利用可能である。
【0040】
そして、これらの透過率制御部1004(8001)に用いる透過率制御用画素(メインピクセル)やCG表示画像1006に用いるCG画像光表示用画素は
図13の(a)、(b)、(c)、(d)といった任意のタイリング方式によって構成されても良く、より好ましくは透過率制御用画素とCG画像光表示用画素の画素レイアウトが同一であることが望まれるばかりではなく、各画素間のずれを補正するキャリブレーションによって整えられるとなおよい。
【0041】
基本的な実施例の最後に具体的な制御プログラムとしてのプログラム・フローとして実施要件が記載された
図14を説明する。まず、この制御プログラムはHMD自体やHMDに接続された情報処理装置といった本発明の表示装置に関連付けられた映像出力部を具備するコンピュートモジュール(コンピュート部)などとしての情報処理装置の機能を持つ1001、2001、3001、4001、5001といった装置部を代表する構成の情報処理装置1501内に組み込まれた記憶部(1513など)に記憶されている。そして、前述された映像出力部を具備するコンピュートモジュールなどの情報処理装置内において、最初のステップであるS1401でGPU処理により黒色部のマスク指定処理が行われる。この処理は外光(背景光)透過部での画素(メインピクセル)単位の透過率といった情報を生成する。この透過率などの情報(透過率情報)は例えばコンピュートモジュールが管理するビデオメモリ上のRGB情報とは別に4ビット深度や8ビット深度といった任意の透過率深度情報として任意のメモリ空間に構成されていても良いし、単に1ビットのマスク情報として構成されていても良い。また、これらの処理は他のプログラムと並列して適切に処理されていても良い。
【0042】
さらに、別の表現としてはRGBの各8ビット深度情報において、RGBすべてが0の場合のみ透過率が100%となり、それ以外の場合は透過率0%でRGBに応じた色情報が表示されるように構成されていても良く、これらの実装は利用されるアプリケーションやドライバに依存する形で任意の設計思想で構成されていても良いし、8ビット深度のRGBを仮定した場合であればRGBそれぞれが128未満の時は透過率を踏まえて例えば透過率50%で表示し、RGBがともに1の時は透過率100%表示し、RGBともに0の場合は透過率0%の黒で表示するといった任意の透過率設定アルゴリズムの設計をすることが可能である。
【0043】
さらには、RGBのいずれかが偶数の場合は透過表示、奇数の場合は不透過表示という表示方法を用いたり、RGBの最下位1ビットを透過率係数として利用し、RGB値は上位7ビット、RGBの最下位1ビットを3ビット情報とすることで8段階の透過度を設定できるようにしたり、10ビット深度のRGBにおいて、上位8ビットを色指定、RGBの下位2ビットを透過率指定に用いて6ビット構成による64段階の透過率指定を行うような構成も考えられ、同様にRGBそれぞれが12ビットの任意の構成において適切なビット割当を行うことで従来のRGB情報の一部に付加的な透過率情報を加える(埋め込む)ようにしても良い。
【0044】
つづけてS1402について説明する。前記セクションにまたがって説明された任意の方法に基づく透過率情報に基づいた信号を本発明での
図1で指定される透過率制御部1004(8001)に提供する。電圧や電流の高低、及び若しくはパルス幅のような時間軸制御などの任意の方法で1004(8001)の回路を適切に制御する。これらの制御はTFT液晶などであれば駆動電源の使用に従い電圧や電流及び若しくはそれらのパルス幅を制御する形で行う。この制御によって、透過率制御部は画素(メインピクセル)単位の外光(背景光:1007、8000)透過率制御を実現する。そして、本ステップS1402ではこれらの処理に必要な透過率制御情報を生成する。
【0045】
つづけてS1403について説明する。これまでの流れに加え従来から情報処理装置で利用者のHMDやHUDに対して実風景などの背景(外光:1007、8000)に合成表示するためのCG画像といった画像や映像を出力する映像出力部としてのコンピュートモジュールのより具体的な詳細である情報処理装置1501においての描画画像演算によってCG画像を生成する。これらのCG画像はCPU部1511やGPU部1512におけるCG演算処理の結果として得られ、CG画像情報として構成されたのち光学処理装置に提供される。コンピュートモジュールの映像出力部は、電気的な映像信号であっても、光学的な映像情報であってもよく、映像という単語には、画像、静止画、動画、3D立体といった視覚的情報に関わる一切を含むと考えてよい。
【0046】
そして、S1404は前述されたセクションに記載のS1402における透過率制御情報とS1403におけるCG画像情報とがそれぞれに透過率制御部(1504、1004、8001)と光学処理装置(1502)に提供され、光学処理装置からの光学的出力が透過型映像表示部(1503)に提供されると同時に、透過率制御部(1504、1004、8001)を通過した外光(背景光:1007、8000)と合成されるステップとしてのS1404が実施される。このステップの実施のために前述のRGB情報の一部に透過率情報を適切に埋め込むことで従来のRGB信号のまま画素(メインピクセル)単位の透過率制御を行うことも可能である。
【0047】
さらに、S1405においては前述のS1402、S1403そしてそれらに従ったS1404の結果として利用者の視覚に不透過部のある黒色表示を含んだAR及び若しくはMR画像が提示される。そして、最終的なS1406において利用者の視覚の認識として画素(メインピクセル)単位の情報として透過率制御部における画素(メインピクセル)単位の透過率が0、RGB信号が0という状態での情報が画素(メインピクセル)単位に提供されることになり、利用者のAR及び若しくはMR画像における任意の画素(メインピクセル)を黒色として提供できるようになるばかりではなく、不透過表示に伴った背景色の影響を受けない任意の色の表示も可能となるため、利用者に取っての視認性を大幅に改善することが可能となる。
【0048】
図2はHMD(ヘッドマウントディスプレイ)であり内部反射・屈折型の場合の構成である。光学系は基本的にマイクロプロジェクタによる屈折・反射によって合成用CG画像2006(1006)が利用者の視覚に合成光2005として提供される。この
図2は横から見た図ではあるが、内部にレンズやプリズム機構などを備え光学モジュールから適切に視覚にCG画像信号を可視化するとともに、外部からの入射光(2007、1007、8000:背景光、外光)を前述された画素(メインピクセル)単位の透過率制御により実現することで黒色などの従来の透過型・半透過型表示デバイスでは表現できなかった画像表現を実現する構成となっている。
【0049】
図3、HMD(ヘッドマウントディスプレイ)であり導光(光導波路)型の場合の構成である。光学系は基本的にスキャンライン光源による屈折・反射によって合成用CG画像3006(1006)が利用者の視覚に合成光3005として提供される。この
図2は横から見た図ではあるが、内部に光導波路や光学スキャン部品機構(撮像カメラなどであってもよい)などを備え光学モジュールから適切に視覚にCG画像信号を可視化するとともに、外部からの入射光(3007、1007、8000:背景光、外光)を前述された画素(メインピクセル)単位の透過率制御により実現することで黒色などの従来の透過型・半透過型表示デバイスでは表現できなかった画像表現を実現する構成となっている。
【0050】
図4、HUD(ヘッドアップディスプレイ)タイプもしくはコンソールタイプの透過型・半透過型表示デバイスである。構造そのものや原理そのものは
図1、
図2、
図3のいずれの構成でも構わないが比較的広い面積に設置し、車両運転や飛行機操縦、船舶操舵といった比較的広い面積での表示も可能とすることを想定している。そして、(a)が自家用車の運転席側から見た場合の画像であり、(b)が運転席を横から見た場合の画像である。このようなレイアウトで運転席にHUDを構成してもよく、色々な運転席に適宜あわせたレイアウトでの構成を実現しても良い。
【0051】
図5、コンタクトレンズ型AR/MRデバイスはいくつかの発表がなされている。これらのデバイスであっても透過率制御部を適宜、表示部に関連付けて備えることにより、本発明における黒色表現を実現することが可能となり、表示される画像オブジェクトの向こうが透けて見えることによる違和感などを低減させることも可能である。
【0052】
なお、
図1から
図5にかけて図示されるHMDやHUD、コンタクトレンズといった本発明のデバイスに付随する関連機器には任意の軸数のセンサ類が含まれていても良いものとする。そして、それらのセンサ類はジャイロ、加速度、地磁気さらに良ければGPSのような位置検出センサ類(GNSSやロランなど)が含まれていることが好ましい。さらには本発明のデバイスに任意の数の画像センサやストラクチャライト、ストラクチャセンサ、デプスカメラ、デプスセンサといった2020年時点でのスマートフォンに含まれるセンサ類やHMDに含まれるセンサ類が内包されていても良い。また、これらのセンサ類が車載型HUDなどを運用する際に車両に搭載されたり、航空機搭載型HUDなどを運用する際に航空機に搭載されていたり、船舶等のHUDとして運用される際に船舶に搭載されていたりすることで運用に必要な機器類に適宜関連付けられたり搭載されたりすることで、本発明を効率的に使用できる構成となっていても良い。
【0053】
図1から
図5においては、本発明のデバイスにセンサ類が搭載され、関連付けられた情報処理装置内で処理を行い本発明のデバイスにおける表示画像・映像を構成することで、本発明のデバイスに必要な画像・映像を送信し、本発明のデバイスはこれらの情報に基づいて、黒色の評価を行い、本発明のデバイスにおいて黒色表示したい箇所の透過率を制御し、RGBが0若しくは0に近い信号を本発明のデバイスの透過率制御部に送ることで、透過及び若しくは半透過型HMDでの黒色表示を実現する。この際、前述されるようにRGBに加えて透過率を含んだ情報を送るようにしても良く、例えばRGBKやRGBYといった四つの色構成情報におけるKデータを透過率情報として用い、本発明のデバイスの透過率をKの値やY値で制御することにより黒色表示を実現しても良い。
【0054】
さらに後続する実施例にあるように、本実施例に加えて両眼を対象とするAR/MRデバイスなどにおいて、日常空間ではAR/MR用のHMDとして利用し、アトラクションなどでは透過率制御部の透過制を0%とすることで、背景外光の入力が全てなくなった状態にすることで、結果的、実質的にVR用HMDといったAR/MR/VRにかかる共用デバイスとして構成・利用しても良い。なお、便宜的に外光(背景色)透過率を0と記載しているが、実際は人から見て黒く見えるであろう80から90%以上の外光(背景色)の減衰があることで黒色表示を表現しても良いし、必ずしもRGB値が0ではなく0に近い値、例えばRGBに基づく輝度が全体の20から10%未満になるように構成しても良いし、光学的焦点制御機能の改善で黒色部の輪郭を明瞭に構成できるようにしても良い。
【0055】
更には、液晶単体で乳白色のような不可視状態になる場合を考慮して、液晶より外側及びもしくは内側にMEMSデバイスを設置して液晶シャッターとMEMSシャッターを組み合わせた構造状にして制御することで、外光入力を制御し、黒色をより的確に表示できるようなハイブリッド構成や前後に置いたMEMS→液晶→MEMSといったハイブリッド構成にしてもよい。
【0056】
より具体的には、液晶→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)やMEMS→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)とし、MEMS部を内側や外側を黒色系に塗装したり、液晶の偏光で黒色系にしたりする方法。MEMS→液晶→表示部(光導波路・レーザー光源・有機ELなど・マイクロプロジェクタ)とし、MEMS部を内側や外側を黒色系に塗装する方法。MEMS1→MEMS2→液晶→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)で、MEMS1を黒色系塗装、MEMS2を鏡構成にして、表示部の反射状態を制御、液晶で透過率制御による輝度制御を行う方法。MEMS1→液晶→MEMS2→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)で、MEMS1を黒色系塗装、MEMS2を鏡構成にして、表示部の反射状態を制御、液晶で透過率制御などの任意の組み合わせによる輝度制御を行う方法。といった、いろいろな実装法と組合せてもよい。なお、前述の表示部に関する有機ELのような自発光型表示装置の場合、図示はされてはいないが反射型や光導波路型ではない、透過型画素(メインピクセル)単位自発光表示デバイスとして構成される大型のフラットパネルディスプレイの表示がその反対側や奥側に透過率制御部などが構成されていたり、黒色化視覚表示提供部が構成されていてもよいし、加えて、加法混色の自発光透過型RGBサブピクセルを構成する有機EL(無機ELなどを含む)などの自発光部を透過率制御部におけるメインピクセルの前後(裏と表)に表示用のRGBサブピクセルを構成して、裏面からでも表面からでも映像が視認できるように具備していてもよい。
また加えるならば、MEMSで構成された画素(メインピクセル)単位のセルが1セル単位にオン・オフでしか制御できない場合、前述の液晶における1セル単位に複数のサブピクセルを構成し、1セル内のサブピクセルを用いてディザリングといったアナログ情報の二値化離散処理を1セル単位に行うことでMEMSによる透過率制御を行いユーザーに違和感の少ないグレースケール表示を可能とすることで透過率制御を行っても良い。このディザリングのような離散的二値化処理はアナログ表現が不得手な透過率制御デバイスに組み合わせることで、より好適に本発明を用いるデバイスを構成することが可能となる。このためこれまでに記述された透過率制御方法は、熱制御型透過率制御デバイスやEC(Electrochromic)特性型透過率制御デバイスなどに用いても良い。