IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 伊原 正典の特許一覧

<>
  • 特開-透過率制御部を備えた表示装置 図1
  • 特開-透過率制御部を備えた表示装置 図2
  • 特開-透過率制御部を備えた表示装置 図3
  • 特開-透過率制御部を備えた表示装置 図4
  • 特開-透過率制御部を備えた表示装置 図5
  • 特開-透過率制御部を備えた表示装置 図6
  • 特開-透過率制御部を備えた表示装置 図7
  • 特開-透過率制御部を備えた表示装置 図8
  • 特開-透過率制御部を備えた表示装置 図9
  • 特開-透過率制御部を備えた表示装置 図10
  • 特開-透過率制御部を備えた表示装置 図11
  • 特開-透過率制御部を備えた表示装置 図12
  • 特開-透過率制御部を備えた表示装置 図13
  • 特開-透過率制御部を備えた表示装置 図14
  • 特開-透過率制御部を備えた表示装置 図15
  • 特開-透過率制御部を備えた表示装置 図16
  • 特開-透過率制御部を備えた表示装置 図17
  • 特開-透過率制御部を備えた表示装置 図18
  • 特開-透過率制御部を備えた表示装置 図19
  • 特開-透過率制御部を備えた表示装置 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022170640
(43)【公開日】2022-11-10
(54)【発明の名称】透過率制御部を備えた表示装置
(51)【国際特許分類】
   G09G 5/00 20060101AFI20221102BHJP
   G02B 27/02 20060101ALI20221102BHJP
   G09F 9/00 20060101ALI20221102BHJP
   G09G 5/377 20060101ALI20221102BHJP
【FI】
G09G5/00 510V
G02B27/02 Z
G09F9/00 359
G09G5/36 520L
G09G5/00 530M
G09G5/00 550C
【審査請求】未請求
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2021134340
(22)【出願日】2021-08-19
(31)【優先権主張番号】P 2020183379
(32)【優先日】2020-11-01
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】712013062
【氏名又は名称】伊原 正典
(72)【発明者】
【氏名】伊原 正典
【テーマコード(参考)】
2H199
5C182
5G435
【Fターム(参考)】
2H199CA04
2H199CA12
2H199CA23
2H199CA25
2H199CA29
2H199CA32
2H199CA47
2H199CA48
2H199CA53
2H199CA59
2H199CA63
2H199CA75
2H199CA86
2H199CA91
2H199CA92
2H199CA95
5C182AA02
5C182AA03
5C182AA04
5C182AA22
5C182AA31
5C182AB02
5C182AB08
5C182AB25
5C182AB31
5C182AB35
5C182AC02
5C182AC03
5C182BA14
5C182BA25
5C182BA26
5C182BA29
5C182BA45
5C182BA54
5C182BA56
5C182BA57
5C182BA65
5C182BB01
5C182BB15
5C182BB21
5C182BC01
5C182BC26
5C182CA21
5C182CB44
5C182CB52
5C182DA02
5C182DA44
5C182FA68
5G435AA01
5G435BB05
5G435BB12
5G435BB19
5G435CC09
5G435CC12
5G435DD05
5G435DD10
5G435DD11
5G435DD13
5G435EE12
5G435FF04
5G435FF08
5G435FF11
5G435GG03
5G435GG09
5G435GG11
5G435HH02
5G435LL07
5G435LL08
5G435LL17
(57)【要約】      (修正有)
【課題】一般的な透過型及び若しくは半透過型のHMD(ヘッド・マウント・ディスプレイ)やHUD(ヘッド・アップ・ディスプレイ)、コンタクトレンズ型AR/MRデバイスといった表示装置に於いて背景色の影響から黒色が表示できないという課題があった。
【解決手段】透過型・半透過型のHMDやHUD、コンタクトレンズにおける映像の光学的出力部から網膜に投影するまでの光学的経路において、具備された内部生成CG映像と周囲映像の光学的合成部となるハーフミラーや導光板、コンタクトレンズ屈折制御部などに合わせて、液晶やMEMS、熱制御、ECデバイスなどで構成される画素単位に制御可能な透過率制御部を具備することで、透過率の最も低い状態で黒色部を表現し、黒色部での背景色の影響を減らすことを実現するとともに、他の色が背景色と混ざらないようにし、より明瞭な色表現を実現し、課題の解決を図る。
【選択図】図1
【特許請求の範囲】
【請求項1】
背景光及び若しくは外光を透過する透過型表示部におけるメインピクセルごとの白色光源及びカラーフィルターを具備しない表示装置であって、
背景光及び若しくは外光を全透過及び若しくは半透過する透過型表示部を具備する表示装置における前期透過型表示部に、

メインピクセルごとに分割された背景光及び若しくは外光の透過率を制御する透過率制御部と、
映像出力部から出力される画像及びもしくは映像に基づいた光学的情報と、
背景光及び若しくは外光とを、
メインピクセルごとに任意の光学系で得られる光学的視認像とを合成表示をする表示部
及び若しくは、
メインピクセルごとに自発光するサブピクセルを備えるとともに合成表示をする表示部
を具備する表示装置であって、

前記表示部に、
前記光学的情報と
前記背景光及び若しくは前記外光をメインピクセル単位の透過率制御情報と、
により合成することを特徴とするコンタクトレンズ型表示装置に於いて、

コンタクトレンズ表面の曲面に合わせて適宜配置された透過率制御部を備えることを特徴とする、
コンタクトレンズ型表示装置
【請求項2】
背景光及び若しくは外光を透過する透過型表示部におけるメインピクセルごとの白色光源及びカラーフィルターを具備しない表示装置であって、
背景光及び若しくは外光を全透過及び若しくは半透過する透過型表示部を具備する表示装置における前期透過型表示部に、

メインピクセルごとに分割された背景光及び若しくは外光の透過率を制御する透過率制御部と、
映像出力部から出力される画像及びもしくは映像に基づいた光学的情報と、
背景光及び若しくは外光とを、
メインピクセルごとに任意の光学系で得られる光学的視認像とを合成表示をする表示部
及び若しくは、
メインピクセルごとに自発光するサブピクセルを備えるとともに合成表示をする表示部
を具備する表示装置であって、

前記表示部に、
前記光学的情報と
前記背景光及び若しくは前記外光をメインピクセル単位の透過率制御情報と、
により合成することを特徴とするコンタクトレンズ型表示装置に於いて、

コンタクトレンズ表面上に視線を法線とする面に合わせて適宜配置された透過率制御部を備えることを特徴とする、
コンタクトレンズ型表示装置
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、透過率制御部を備えた表示装置に関する。
【背景技術】
【0002】
本発明はヘッドマウントディスプレイ(HMD)やヘッドアップディスプレイ(HUD)あるいはAR/MR用コンタクトレンズと呼ばれる情報表示端末に関連付けられた表示装置および通常透過(半透過)画像は背景の画像が透過してしまう半合成型表示装置が既に存在していることは広く知られている。
【0003】
後述される出願文献は、より具体的に前述の内容に関した表示装置の発明などが記載されている。また、後述される文献は光の透過率制御技術に関し説明が行われている。これらのヘッドマウントディスプレイやヘッドアップディスプレイは人体装着用のARやMRのHMD(ヘッドマウントディスプレイ)や車載用や航空機用、船舶用のARやMRのHUD(ヘッドアップディスプレイ)、ARやMR用コンタクトレンズ、携帯情報表示端末、デスクトップ表示装置としての利用状況が解説されている。また、非特許文献1は光の透過率を制御して室内の明るさなどを制御できるガラス窓などの知見になる。さらには、ノートPCのような形の端末やタブレット端末、スマートフォン型端末において、透過型・半透過型の構成を実現してもよい。透過型とは通常のメガネのように表示部から表示部を通した反対側の映像がカメラなどを用いずに90%以上などの高透過率で透過し、利用者が視認できるHMDなどであり、半透過型はサングラスのように透過率がある程度制限されているHMDなどを指す。さらには、フラットディスプレイのような薄型モニターなども含み、前述のHUDのようなデバイスのより大型の物も含む。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2019-516261号公報
【特許文献2】特表2018-525662号公報
【特許文献3】特表2015-536514号公報
【非特許文献】
【0005】
各URLは2020/02/01に確認
【非特許文献1】光を制御するニューガラス 河原秀夫、斉藤靖弘 著 1993年
【非特許文献2】HoloLens の スクリーンの仕組みと HoloLens 2 での視野角の拡大URL https://shinoblogavi.wordpress.com/2019/10/17/hololensscreen/
【非特許文献3】目に入れるだけのAR?サムスンが“スマートコンタクトレンズ”の特許を取得 URL https://www.moguravr.com/samsung-smart-contact-lens/
【非特許文献4】ARコンタクトレンズの可能性に驚愕!!!かがくのちからってすげー! URL http://iam1031nobosemon.hatenablog.com/entry/2018/06/20/190115
【非特許文献5】ARコンタクトレンズをMojo Visionが発表 現実世界をキャプションで説明 URL https://www.itmedia.co.jp/news/articles/2001/17/news076.html
【非特許文献6】透過型ヘッドマウントディスプレイ利用時の前景と背景の相互関係に関する研究URL https://www.jstage.jst.go.jp/article/jergo/41spl/0/41spl_0_194/_pdf
【非特許文献7】透明LCDディスプレイ(参考展示)パソニック社(登録商標)URL https://www.youtube.com/watch?v=gsbxCeJ78As
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の主たる課題は、一般的な透過型及び若しくは半透過型のARやMRに用いる透過型及び若しくは半透過型のHMD(ヘッドマウントディスプレイ)やHUD(ヘッドアップディスプレイ)、コンタクトレンズ型AR/MRデバイス、携帯型表示装置、据え置き透過型表示装置に於いて、透過若しくは半透過であるため背景色(外光)の影響から特定の範囲のみの黒色表示できないという課題があった。また、このように透過型(半透過型)であるため外光が明るすぎると表示が明瞭にならないという課題があった。
【0007】
また、非特許文献7のように、一見、画素(メインピクセル)単位に黒色表示をしているかのような表示方法もあるが、この方式は、画素(メインピクセル)単位にバックライト制御を行い、白色光に液晶とカラーフィルタで色を付けているため、透過率が実質33%以下と非常に低くなったり、バックライトが点灯して色が表示されると、画素(メインピクセル)単位のバックライトにより画素(メインピクセル)単位に出力される強い白色光源の発光によって背景画像(外光)が完全に遮断されたり、RGBそれぞれのサブピクセルのフィルタと液晶をバックライト光源や背景光(外光)が通過するので、背景光(外光)の実質透過率が33%程度以下に減衰してしまうという課題があり、背景光の透過率を画素(メインピクセル)単位に適切なアナログ制御が可能になっているわけではない。
【課題を解決するための手段】
【0008】
本発明は、前述の課題を解決するために、透過型及び若しくは半透過型のHMDやHUD、コンタクトレンズなどの表示装置における映像の光学的出力部からの信号を反射及び若しくは伝達し網膜に投影するまでの光学的経路において、具備された映像出力部としてのコンピュートモジュールなどによる内部生成画像・映像出力部からの出力される画像・映像としてのCG光源光と外光(背景色)の光学的合成部となるハーフミラーや導光板、光導波路、コンタクトレンズ屈折制御部などに合わせて、液晶やMEMS、熱制御、エレクトロクロミック・デバイスなどで構成される画素(メインピクセル)単位に分割された透過率制御部を用いることにより画素(メインピクセル)単位のバックライトやサブピクセルのカラーフィルタは用いずに、画素(メインピクセル)単位に制御可能な光学的透過率制御部を備える手段を具備することによって、黒色部における背景光や外光への影響を減少させるため、背景光や外光の光学的透過率を上げて任意の透過率制御を実現することでより確実な黒色の表示を実現しするとともに、光導波路や導光板、ハーフミラー、光学マイクロプロジェクタなどの光学系、透過型EL(有機EL含む)などを用いることで、表示に必要な映像出力部としてのコンピュートモジュールなどの映像生成装置からの画像や映像情報に基づいた他の色を背景光や外光に影響されることなく明瞭に表示することを可能とし、課題の解決を図っている。なお、コンピュートモジュールの映像出力部は、電気的な映像信号であっても、光学的な映像情報であってもよく、映像という単語には、画像、静止画、動画、3D立体といった視覚的情報に関わる一切を含むと考えてよい。
【0009】
さらには、前述の光学的合成部ではなく光学経路において光学的合成部より手前の外光(背景色)入力部であるHMDやHUD、コンタクトレンズの外光(背景色)入力面、もしくは外光(背景色)と内部生成画像・映像の合成後の最終的な視覚への出力面に、前述のような液晶やMEMSなどで構成される画素(メインピクセル)単位に分割可能な光学的透過率制御部を備える手段を具備する。これらの画素(メインピクセル)単位の透過率分割制御は液晶などの偏光による制御、MEMSなどの物理的透過面積の電気・磁気・電磁気などを用いた透過率制御、磁界による制御、電気的な変化による物理変化誘発による制御、さらには温度制御によるものやEC(Electrochromic、エレクトロクロミック材料、エレクトロクロミズム)特性によるデバイスであっても良い。
【0010】
なお、便宜的に外光(背景色)透過率を0と記載しているが、実際は人から見て黒く見えるであろう80から90%以上の外光(背景色)の減衰があることで黒色表示を表現しても良いし、必ずしもRGB値が0ではなく0に近い値、例えばRGBに基づく輝度が全体の20から10%未満になるように構成しても良いし、光学的焦点制御機能の改善で黒色部の輪郭を明瞭に構成できるように設計しても良いし、フラットパネルディスプレイの画面と同様の画素(メインピクセル)構成で透過率制御を行えるようにパネルの任意の位置に組み合わせて表示できるようにしてもよい。
【発明の効果】
【0011】
このように課題の解決方法を構成することで、内部生成されたCG映像における黒色信号部に対して周囲の状況から影響をうける外光(背景色)の光透過率を制御することにより、適宜、外光(背景色)の透過率を低減させることで、視覚(網膜など)への内部出力光としてのCG画像・映像が0且つ外光(背景光)の透過率0の状態を実現することで、外光(背景色)の入力輝度と表示(CG画像・映像)の輝度がなくなり、結果として人の目には黒色としての表示を可能にしたり、任意の色表現において外光(背景色)の影響をなくし表示色に忠実な色再現を実現できるようにしたり、することが可能となる。
【0012】
さらには、透過型及び若しくは半透過型表示装置における透過及び若しくは半透過部の画素(メインピクセル)単位の透過率制御により、黒色表示が実現されることで、装置利用者にとって、より最適な視覚映像を提供することも可能である。
【0013】
そして、本発明によれば、前述のように画素(メインピクセル)単位に強い白色のバックライト光があるわけではないので、映像出力部としてのコンピュートモジュールの表示色における色表現や透過される背景光(外光)に悪影響を及ぼさないという効果や、透過率制御後がサブピクセルのRGB単位ではなく、且つRGBフィルタがあるわけではないので、背景光(外光)の透過時の透過率が事実上33%以下になってしまうカラー表示液晶特有の色分解によるサブピクセル透過制御とは異なり、背景光の透過光量を十分に確保できるという効果もある。
【図面の簡単な説明】
【0014】
図1】HMDであり外部反射・屈折型の場合の構成
図2】HMDであり内部反射・屈折型の場合の構成
図3】HMDであり導光(光導波路)型の場合の構成
図4】HUDで車載型の場合の構成
図5】コンタクトレンズ型の場合の構成
図6】画像認識を伴う場合の構成
図7】画像認識を伴う制御ソフトウェア・フロー実施図
図8】物理構成の基本概念図1(外側制御部設置)
図9】物理構成の基本概念図2(内側制御部設置)
図10】物理構成の基本概念図3(外側及び内側制御部設置)
図11】物理構成の基本概念図4(プリズム型外部制御部設置)
図12】物理構成の基本概念図5(導光板(光導波路)型外部制御部設置)
図13】タイリング及び若しくはマトリクス構成の基本概念図
図14】外光透過率制御ソフトウェア・フロー実施図
図15】本発明の全体構成例の概略図
図16】表示セル誤差の補正に関する概略図
図17】従来型のHMDであり黒色表示ができない外部反射・屈折型の場合の構成
図18】メガネ型HMDのその他の構成例1
図19】メガネ型HMDのその他の構成例2
【発明を実施するための形態】
【実施例0015】
まず、図1図8図13図14図15図17を用いて全般的な仕組みについて構成要件と実施要件の説明をする。
【0016】
まず、図15によって、本発明における装置のHMD(ヘッドマウントディスプレイ)としての基本構成が提示されている。このなかで図15(a)は一般的にいうパソコンと透過型・半透過型HMDを接続した図であり、図15(b)はパソコンやスマートフォンのような映像出力部を具備する情報処理装置(コンピュートモジュール、コンピュート部)1501がHMDに内蔵された構成になっていることを図示している。このため、図15(a)と図15(b)とで実施される情報処理や装置構成は実質的に同等であっても、図15(a)のような据え置きの情報処理装置1501に拘束されることなく図15(b)であれば自由に移動することができ、図15(b)の通信部1514は無線通信回路として構成されていることが、より好ましい。
【0017】
そして、これらの図15(a)、(b)ともにHMDには各種センサ類(GPS、GNSS、加速度、ジャイロ、コンパス)といったものが内蔵されていても良く、それらのセンサは電子回路やMEMSによって構成されたものであっても良い。さらにはHMDに任意の数の画像センサ(IR含む)やストラクチャライト、ストラクチャセンサ、デプスカメラ、デプスセンサ、ToFカメラ(Time-of-Flight Camera)モジュール、マイク、マイクアレイ、超音波センサといった2020年時点でのスマートフォンやタブレットなどに含まれるセンサ類やHMDに含まれるセンサ類が内包されていても良い。
【0018】
また、これらのセンサ類が車載型HUD(ヘッド・アップ・ディスプレイ)などを運用する際に車両に搭載されたり、航空機搭載型HUDなどを運用する際に航空機に搭載されていたり、船舶等のHUDとして運用される際に船舶に搭載されていたりすることで本発明を運用する機器類に必要な装置類に適宜関連付けられたり搭載されていてもよく、そのような構成にすることで本発明をより効率的に使用できる構成となっていても良く、更には、HUDデバイスの応用として比較的近い形状のディスプレイ部を側面からの入光に伴うプリズムアレイや、レーザーMEMSなどによる薄型ディスプレイとして構成して、ノートPC型デバイスやタブレット型デバイス、スマートフォン型デバイスなどを透過率制御を伴う黒色表示可能型フラットディスプレイ型デバイスを構成してもよい。
【0019】
また、安全面から考えるなら、電源が確保されない状態において透過率制御部が透過率100%となるノーマリーホワイト設計が好ましい。さらに、別の安全面からは利用者の足元よりの画像は半透過にすることで、歩行や移動の疎外となる実体物が見えなくなる危険を回避しても良い。液晶などが電気制御により画素(メインピクセル)単位に透過率を制御できることは知られているとともに、荷電透過率制御部を二層にすることで偏光率制御などによる透過率制御を行っても良い。さらには、反射部品と組み合わせて透過率制御による反射率制御などを行っても良い。これらの荷電制御により、透過率を0~100%(10~90%でもよい)といったアナログな透過率制御を行ってもよく、荷電制御における制御方式は電流制御、電圧制御、パルス制御(パルス幅を含む)といった任意の方法で実現してもよい。
【0020】
図15の中で、図15(a)において1501として記載される情報処理装置は、1511としてCPUやDSP、GPGPUなどの情報処理装置、1512としてGPUなどの画像情報処理装置、1513として記憶部(ROM、RAM、FLASH、SSD、HDD)といった任意の情報を記憶する一時記憶部やストレージ記憶部、揮発性記憶部、不揮発性記憶部などを含んだ記憶部、1514として1511から1513で扱われる情報を、ほかの情報処理装置や通信回線を用いて必要な情報を配信・収取するための通信部を備えており、適宜1500に接続されている。
【0021】
図15(b)における1501においては図15(a)の1501と同様に1511から1514を当然のことながら含むものとし、図15(a)における1500には図15(b)における1500は1501から1504を当然のことながら含むものとする。なお、どちらの1500においてもセンサ類の図示はないが前記セクションにあるように、必要に応じて含まれると考えるべきである。なお、図15(b)における1501は図15(a)と同等・同類の構成で1500に内蔵された情報処理装置であり、HMDを外部の情報処理装置1501に接続していない単体の状態であっても動作することが想定されている。なお、VR用HMDやAR/MRHMDに関しては外部のホストコンピュータ(情報処理装置などで構成される)に繋いでもつながなくても利用可能なものがいろいろな形で製品化されている。
【0022】
つづけて、図15(b)の光学処理装置1502について説明する。これらの光学処理装置1502は人間の視覚に対して適切な光学的視覚情報を提供する装置である。より具体的にはポリゴンミラーやMEMS制御によるレーザー光などを用いた光学視覚情報提供やMEMSミラーによる時分割色変更を用いた光学視覚情報提供、マイクロプロジェクタによる光学視覚情報提供、液晶パネルやOLEDパネルのような光学視覚情報の面表示デバイスの適切な光学的屈折といった、人間の視覚に対し適切な光学的情報を提供する装置及び若しくは装置群によって構成され、視覚用情報提供光源となる光学デバイス類は必ずしも片眼辺り一つの装置でなくても良いし、両眼用に別々に装置が構成されていても良い。
【0023】
そして、1503透過型映像表示部は1502光学処理装置に対して1501情報処理装置内で従来からある視覚情報精製技術に従い適切に生成されたCG画像情報(1006)を提供することにより生成される画像・映像信号が投影され、光学的な視覚情報の流れに従い利用者の視覚に光学的画像・映像を提供する。この際、1504透過率制御部(1004、8001に同じ)は周囲からの光(外光、背景光など:1007、8000)の透過率を画素(メインピクセル)単位に制御する情報を情報処理装置から受取ることでCG画像情報1006における黒色の表示としての不透過や外光・背景光が見える透過画素(メインピクセル)の透過率の制御・評価などを行うことで視覚に伝達される外光・背景光の透過率を制御し、より利便性の高い利用者向け画像の提供を可能とする透過型・半透過型表示装置としてのHMDを構成できる。
【0024】
つづいて、図1図17を比較しながら本発明の従来技術との具体的違いを説明する。図1は本発明における透過型HMDの一例であり、構成としては片眼用ARデバイスと解釈することができる。また、図17は本発明における従来型の一般的な透過型HMDとしての片眼用ARデバイスとされるものである。なお、本発明は片眼用HMDのみに適応されるばかりではなく両眼用に適応させることも可能であり、その場合は視差補正などの適切な技術を組み合わせることで、本発明の実施をより品質の高いものとすることが可能である。
【0025】
図1(a)は本発明を適応させた透過型ARデバイスとしてのHMD(ヘッドマウントディスプレイ)を上から眺めた場合の図となっている。そして、図1(b)は(a)と同様のHMDであり図1(a)を横から眺めた場合の図となっている。そして、図17は本発明を適応させていない従来型の透過型ARデバイスとしてのHMDを上から眺めた図となっている。透過型・半透過型の違いは便宜的に通常の眼鏡のように減衰の無い全透過であるか、サングラスのように減衰的透過である半透過なのかの違いを考慮することが好ましい。
【0026】
さて、図1(a)と図17を比較した場合、図1に存在し図17に存在しない部位として1004HMDユニット(透過率制御部)という部位があげられる。この部位は前述の課題の解決方法などで記載されている画素(メインピクセル)単位の透過率制御部に相当する。それ以外の1001、1002、1003は従来型HMDでも提供されているものであり、無線通信機能を備えた映像出力部を具備するコンピュートモジュール1001にて適切な情報収集と収集した情報から生成される適切な表示情報とが構成され、構成された前記表示情報をマイクロプロジェクタや光導波路、導光板、ハーフミラーなどで光学的情報に変換する光学モジュール1002と生成された光学的情報を適切な反射や屈折、拡大などにより視覚に提供するプリズムモジュール1003によって利用者の視覚に適切な表示情報を提供できるAR/MR用HMDとして構成されている。
【0027】
図1にあり図17に無い本発明の特徴となる部位1004についてより詳しく説明する。一般的な透過率制御は図1図17のような眼鏡型AR/MRデバイスの場合、眼鏡のレンズ部分全体の光透過率を制御することは容易であり、簡単な構成で実現することは可能である。本発明はそのようなメガネのレンズ部分全体の透過率を制御するのではなく、AR/MR用のCG画像情報1006がメガネなどのHMDやHUDに投影される場合において、投影されるCG画像情報1006の範囲内の縦横の画素(メインピクセル)数に応じた細かな画素(メインピクセル)単位の透過率制御部を適切に設置して外光(背景光)の影響を表示画素(メインピクセル)に与えないようにすることで黒色表示を実現する。
【0028】
さらに細かくは、外光(背景光)1007の入力面の最初もしくはCG画像情報1006と外光(背景光)1007との合成後の合成光投影面1005より視覚側の最後、外光(背景光)入力面1007の外側と外光(背景光)とCG画像1006の合成後の合成光投影面1005の内側との二つの面といった、いくつかの法方でCG表示画素(メインピクセル)単位に合わせた画素(メインピクセル)単位の透過率制御を行い、一般的な透過型・半透過型HMDにおけるAR/MR表示において周囲の画素(メインピクセル)より対象の画素(メインピクセル)の透過率を下げることによる黒色の表現を実現しようとするものである。
【0029】
もちろん、黒以外の表示色であっても透過率を画素(メインピクセル)単位に下げることで背景光の影響を受けない明瞭な画素(メインピクセル)単位の表示が可能になるばかりではなく、周囲が明るいときや白色の壁の上に白い文字を表示する場合などにおいて文字に黒や灰色の輪郭を与えてより見やすく表示することなども可能である。
【0030】
なお、透過率制御を画素(メインピクセル)単位で行う透過率制御部の解像度は必ずしも映像出力部を具備するコンピュートモジュール内で生成される画像・映像類の画素(メインピクセル)解像度と一致している必要はなく、より荒い解像度やより細かい解像度を用いて制御することも可能であり、より細かい解像度であれば透過率制御部の制御対象画素(メインピクセル)位置の座標系基準を動かすことで映像出力部を具備するコンピュートモジュール内で生成されたCG画像との細かな位置合わせの調整処理を表示座標系と黒色化する透過率制御画素(メインピクセル)の座標系調整で実現したり、透過率制御画素(メインピクセル)が荒い場合はCG画像の生成位置としての座標系基準を細かく動かすことで制御画素(メインピクセル)とCG画像の画素(メインピクセル)位置合わせを実現したりするようにしても良いし、メインピクセルの透過率制御部の前後(裏と表)に表示用のRGBサブピクセルを構成して、裏面からでも表面からでも映像が視認できるようにしてもよい。
【0031】
つづけて、図1の1004について、図8を用いて詳しく掘り下げる。図8の構成は上から順に、8000外光(背景光)、8001透過率制御部、8010外光(透過率制御済み外光・背景光)、8020(表示用光学光投光部:CG画像光投光)、8011制御済み表示用光、8009視覚となっており、外光(背景光)8000とCG画像光投光部としての8020から得られるCG画像光(1006)とが表示内容合成部8002で合成(8011)され視覚(8009)に伝達される構成となっていることが示されている。
【0032】
より詳しく説明すると、外光(背景光)8000が入力され、図1の1004に相当する図8の8001透過率制御部が画素(メインピクセル)単位に透過率を制御できることを図示しており、制御された各画素(メインピクセル)の透過率に基づいて各画素(メインピクセル)の外光(背景光)8000の明るさに対して変化を生じさせることで透過率制御済み外光となり、画素(メインピクセル)ごとに明るさの違う面構造の外光(背景光)8010が構成される。
【0033】
構成された画素(メインピクセル)ごとに輝度の異なる面構造を持った透過率制御済み外光(背景光)8010は、光学モジュール(1002、4002等)から出力された光学的情報が表示用光学光投光部8020経由で取得されるCG画像光(1006)と組み合わされ表示内容合成部8002にて光学的な合成処理をすることにより制御済み合成光8011を生成し、生成された制御済み合成光8011を視覚8009に提供する。この際の光学的な合成処理の構成として、図8は模式図的に表示内容合成部がマイクロプリズムアレイ構造によって構成されているかのように表現しているが、この部位に光導波路(導光板)やハーフミラー、マイクロプロジェクタ、MEMSミラーアレイを用いて、背景光透過の制御と表示用CG画像光の反射制御を行うことで光学的合成処理を実現することも可能であり、MEMSなどにおいては表示画素(メインピクセル)より細かい表示用としてRGBなどの自発光サブピクセルを用いて、透過率の制御や透過輝度の制御を行うなどの工夫をすることも容易に考えられる。
【0034】
さて、ここで、本発明の核となる画素(メインピクセル)単位の透過率制御方法について説明する。この方法はいくつかの方法が考えられるが、一番簡単な方法として液晶を用いる場合を例に説明していく。最初の液晶を用いる方法はTN型の偏光板と液晶層によって透過率を制御するものである。液晶は偏光板によって光の性質が整えられた光に対し、液晶層を通過するときに液晶部に荷電が加えられるか否かによって透過率を制御することが可能であり、液晶テレビなどの表示装置もこの原理によって画素(メインピクセル)毎の透過率を制御できるように作成されている。そして、液晶テレビにおいては画素(メインピクセル)単位、色単位にバックライトの白色光をどの程度透過するかによって、表示内容の制御を行うのが一般的である。
【0035】
本発明では表示用CG画像光(1006)と外光(背景光:1007、8000)との合成をマイクロプリズムアレイで行う前に外光(背景光)の入力側に液晶による光の画素(メインピクセル)単位透過率制御層を設けることで、従来の透過型HMDでは不可能だった黒色表示を行えるようにしたことが発明の核となっている。また、液晶の制御方式はTN型以外にもVA型やIPS(登録商標)型といった任意の液晶透過率制御方式を用いても良い。
【0036】
次に、同じ液晶であってもTN型の縦偏光と横偏光の違いで透過率制御を行うもの以外に視野角を広げる工夫としての円偏光やマルチドメインVA型といった方法を用いることもできる。この方法は視野角が広くなるメリットがあるが荷電制御によって透過率制御を行うことが可能である点はTN型と原理的には等価とみなすことができる。さらにIPS(登録商標)型といった、より解像度が高くより視野角の広い方法もあるが原理的には荷電によって透過率制御を行うという面ではTN型やVA型と等価である。
【0037】
次にMEMSによる透過率制御について説明する。MEMSはMicro Electro Mechanical Systemsと呼ばれるように極小の製造プロセスを使って、機械要素部品、センサ、アクチュエータ、電子回路を同一のシリコン基板、ガラス基板、有機材料などの上に集積化したデバイスを指すことが1980年代後半から一般的に知られるようになった技術である。この技術を用いると極小の面積中に可動性のある鏡やシャッターを構成することができ、レーザープロジェクタなどの反射光学系にも応用されている。
【0038】
本発明においてはこの手の微細加工技術を用いて、透過率制御部での光透過を離散的な1ビットフラグとしてのアナログ値の二値化処理を応用し、透過対象面積比率的に透過の率制御を行う方法、表示内容としてのCG画像光をMEMSミラーによってCG画像光を表示するか外光(背景光)を透過するかの選択に用いることで、CG画像光が黒色の場合に外光(背景光)を透過しないように制御構成をする方法、MEMSへの荷電量に従ってシャッター構造の開口率を制御して外光(背景光)透過率を制御する方法、といったいくつもの方法が考えられ適宜、実装されることが好ましい。
【0039】
ほかにも原理的には、高速な温度制御を実現することにより熱制御による透過率制御可能な部品、荷電量に従ってEC(Electrochromic)特性を用いた透過率制御可能な部品として構成される透過率制御部なども原理的には利用可能である。
【0040】
そして、これらの透過率制御部1004(8001)に用いる透過率制御用画素(メインピクセル)やCG表示画像1006に用いるCG画像光表示用画素は図13の(a)、(b)、(c)、(d)といった任意のタイリング方式によって構成されても良く、より好ましくは透過率制御用画素とCG画像光表示用画素の画素レイアウトが同一であることが望まれるばかりではなく、各画素間のずれを補正するキャリブレーションによって整えられるとなおよい。
【0041】
基本的な実施例の最後に具体的な制御プログラムとしてのプログラム・フローとして実施要件が記載された図14を説明する。まず、この制御プログラムはHMD自体やHMDに接続された情報処理装置といった本発明の表示装置に関連付けられた映像出力部を具備するコンピュートモジュール(コンピュート部)などとしての情報処理装置の機能を持つ1001、2001、3001、4001、5001といった装置部を代表する構成の情報処理装置1501内に組み込まれた記憶部(1513など)に記憶されている。そして、前述された映像出力部を具備するコンピュートモジュールなどの情報処理装置内において、最初のステップであるS1401でGPU処理により黒色部のマスク指定処理が行われる。この処理は外光(背景光)透過部での画素(メインピクセル)単位の透過率といった情報を生成する。この透過率などの情報(透過率情報)は例えばコンピュートモジュールが管理するビデオメモリ上のRGB情報とは別に4ビット深度や8ビット深度といった任意の透過率深度情報として任意のメモリ空間に構成されていても良いし、単に1ビットのマスク情報として構成されていても良い。また、これらの処理は他のプログラムと並列して適切に処理されていても良い。
【0042】
さらに、別の表現としてはRGBの各8ビット深度情報において、RGBすべてが0の場合のみ透過率が100%となり、それ以外の場合は透過率0%でRGBに応じた色情報が表示されるように構成されていても良く、これらの実装は利用されるアプリケーションやドライバに依存する形で任意の設計思想で構成されていても良いし、8ビット深度のRGBを仮定した場合であればRGBそれぞれが128未満の時は透過率を踏まえて例えば透過率50%で表示し、RGBがともに1の時は透過率100%表示し、RGBともに0の場合は透過率0%の黒で表示するといった任意の透過率設定アルゴリズムの設計をすることが可能である。
【0043】
さらには、RGBのいずれかが偶数の場合は透過表示、奇数の場合は不透過表示という表示方法を用いたり、RGBの最下位1ビットを透過率係数として利用し、RGB値は上位7ビット、RGBの最下位1ビットを3ビット情報とすることで8段階の透過度を設定できるようにしたり、10ビット深度のRGBにおいて、上位8ビットを色指定、RGBの下位2ビットを透過率指定に用いて6ビット構成による64段階の透過率指定を行うような構成も考えられ、同様にRGBそれぞれが12ビットの任意の構成において適切なビット割当を行うことで従来のRGB情報の一部に付加的な透過率情報を加える(埋め込む)ようにしても良い。
【0044】
つづけてS1402について説明する。前記セクションにまたがって説明された任意の方法に基づく透過率情報に基づいた信号を本発明での図1で指定される透過率制御部1004(8001)に提供する。電圧や電流の高低、及び若しくはパルス幅のような時間軸制御などの任意の方法で1004(8001)の回路を適切に制御する。これらの制御はTFT液晶などであれば駆動電源の使用に従い電圧や電流及び若しくはそれらのパルス幅を制御する形で行う。この制御によって、透過率制御部は画素(メインピクセル)単位の外光(背景光:1007、8000)透過率制御を実現する。そして、本ステップS1402ではこれらの処理に必要な透過率制御情報を生成する。
【0045】
つづけてS1403について説明する。これまでの流れに加え従来から情報処理装置で利用者のHMDやHUDに対して実風景などの背景(外光:1007、8000)に合成表示するためのCG画像といった画像や映像を出力する映像出力部としてのコンピュートモジュールのより具体的な詳細である情報処理装置1501においての描画画像演算によってCG画像を生成する。これらのCG画像はCPU部1511やGPU部1512におけるCG演算処理の結果として得られ、CG画像情報として構成されたのち光学処理装置に提供される。コンピュートモジュールの映像出力部は、電気的な映像信号であっても、光学的な映像情報であってもよく、映像という単語には、画像、静止画、動画、3D立体といった視覚的情報に関わる一切を含むと考えてよい。
【0046】
そして、S1404は前述されたセクションに記載のS1402における透過率制御情報とS1403におけるCG画像情報とがそれぞれに透過率制御部(1504、1004、8001)と光学処理装置(1502)に提供され、光学処理装置からの光学的出力が透過型映像表示部(1503)に提供されると同時に、透過率制御部(1504、1004、8001)を通過した外光(背景光:1007、8000)と合成されるステップとしてのS1404が実施される。このステップの実施のために前述のRGB情報の一部に透過率情報を適切に埋め込むことで従来のRGB信号のまま画素(メインピクセル)単位の透過率制御を行うことも可能である。
【0047】
さらに、S1405においては前述のS1402、S1403そしてそれらに従ったS1404の結果として利用者の視覚に不透過部のある黒色表示を含んだAR及び若しくはMR画像が提示される。そして、最終的なS1406において利用者の視覚の認識として画素(メインピクセル)単位の情報として透過率制御部における画素(メインピクセル)単位の透過率が0、RGB信号が0という状態での情報が画素(メインピクセル)単位に提供されることになり、利用者のAR及び若しくはMR画像における任意の画素(メインピクセル)を黒色として提供できるようになるばかりではなく、不透過表示に伴った背景色の影響を受けない任意の色の表示も可能となるため、利用者に取っての視認性を大幅に改善することが可能となる。
【0048】
図2はHMD(ヘッドマウントディスプレイ)であり内部反射・屈折型の場合の構成である。光学系は基本的にマイクロプロジェクタによる屈折・反射によって合成用CG画像2006(1006)が利用者の視覚に合成光2005として提供される。この図2は横から見た図ではあるが、内部にレンズやプリズム機構などを備え光学モジュールから適切に視覚にCG画像信号を可視化するとともに、外部からの入射光(2007、1007、8000:背景光、外光)を前述された画素(メインピクセル)単位の透過率制御により実現することで黒色などの従来の透過型・半透過型表示デバイスでは表現できなかった画像表現を実現する構成となっている。
【0049】
図3、HMD(ヘッドマウントディスプレイ)であり導光(光導波路)型の場合の構成である。光学系は基本的にスキャンライン光源による屈折・反射によって合成用CG画像3006(1006)が利用者の視覚に合成光3005として提供される。この図2は横から見た図ではあるが、内部に光導波路や光学スキャン部品機構(撮像カメラなどであってもよい)などを備え光学モジュールから適切に視覚にCG画像信号を可視化するとともに、外部からの入射光(3007、1007、8000:背景光、外光)を前述された画素(メインピクセル)単位の透過率制御により実現することで黒色などの従来の透過型・半透過型表示デバイスでは表現できなかった画像表現を実現する構成となっている。
【0050】
図4、HUD(ヘッドアップディスプレイ)タイプもしくはコンソールタイプの透過型・半透過型表示デバイスである。構造そのものや原理そのものは図1図2図3のいずれの構成でも構わないが比較的広い面積に設置し、車両運転や飛行機操縦、船舶操舵といった比較的広い面積での表示も可能とすることを想定している。そして、(a)が自家用車の運転席側から見た場合の画像であり、(b)が運転席を横から見た場合の画像である。このようなレイアウトで運転席にHUDを構成してもよく、色々な運転席に適宜あわせたレイアウトでの構成を実現しても良い。
【0051】
図5、コンタクトレンズ型AR/MRデバイスはいくつかの発表がなされている。これらのデバイスであっても透過率制御部を適宜、表示部に関連付けて備えることにより、本発明における黒色表現を実現することが可能となり、表示される画像オブジェクトの向こうが透けて見えることによる違和感などを低減させることも可能である。
【0052】
なお、図1から図5にかけて図示されるHMDやHUD、コンタクトレンズといった本発明のデバイスに付随する関連機器には任意の軸数のセンサ類が含まれていても良いものとする。そして、それらのセンサ類はジャイロ、加速度、地磁気さらに良ければGPSのような位置検出センサ類(GNSSやロランなど)が含まれていることが好ましい。さらには本発明のデバイスに任意の数の画像センサやストラクチャライト、ストラクチャセンサ、デプスカメラ、デプスセンサといった2020年時点でのスマートフォンに含まれるセンサ類やHMDに含まれるセンサ類が内包されていても良い。また、これらのセンサ類が車載型HUDなどを運用する際に車両に搭載されたり、航空機搭載型HUDなどを運用する際に航空機に搭載されていたり、船舶等のHUDとして運用される際に船舶に搭載されていたりすることで運用に必要な機器類に適宜関連付けられたり搭載されたりすることで、本発明を効率的に使用できる構成となっていても良い。
【0053】
図1から図5においては、本発明のデバイスにセンサ類が搭載され、関連付けられた情報処理装置内で処理を行い本発明のデバイスにおける表示画像・映像を構成することで、本発明のデバイスに必要な画像・映像を送信し、本発明のデバイスはこれらの情報に基づいて、黒色の評価を行い、本発明のデバイスにおいて黒色表示したい箇所の透過率を制御し、RGBが0若しくは0に近い信号を本発明のデバイスの透過率制御部に送ることで、透過及び若しくは半透過型HMDでの黒色表示を実現する。この際、前述されるようにRGBに加えて透過率を含んだ情報を送るようにしても良く、例えばRGBKやRGBYといった四つの色構成情報におけるKデータを透過率情報として用い、本発明のデバイスの透過率をKの値やY値で制御することにより黒色表示を実現しても良い。
【0054】
さらに後続する実施例にあるように、本実施例に加えて両眼を対象とするAR/MRデバイスなどにおいて、日常空間ではAR/MR用のHMDとして利用し、アトラクションなどでは透過率制御部の透過制を0%とすることで、背景外光の入力が全てなくなった状態にすることで、結果的、実質的にVR用HMDといったAR/MR/VRにかかる共用デバイスとして構成・利用しても良い。なお、便宜的に外光(背景色)透過率を0と記載しているが、実際は人から見て黒く見えるであろう80から90%以上の外光(背景色)の減衰があることで黒色表示を表現しても良いし、必ずしもRGB値が0ではなく0に近い値、例えばRGBに基づく輝度が全体の20から10%未満になるように構成しても良いし、光学的焦点制御機能の改善で黒色部の輪郭を明瞭に構成できるようにしても良い。
【0055】
更には、液晶単体で乳白色のような不可視状態になる場合を考慮して、液晶より外側及びもしくは内側にMEMSデバイスを設置して液晶シャッターとMEMSシャッターを組み合わせた構造状にして制御することで、外光入力を制御し、黒色をより的確に表示できるようなハイブリッド構成や前後に置いたMEMS→液晶→MEMSといったハイブリッド構成にしてもよい。
【0056】
より具体的には、液晶→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)やMEMS→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)とし、MEMS部を内側や外側を黒色系に塗装したり、液晶の偏光で黒色系にしたりする方法。MEMS→液晶→表示部(光導波路・レーザー光源・有機ELなど・マイクロプロジェクタ)とし、MEMS部を内側や外側を黒色系に塗装する方法。MEMS1→MEMS2→液晶→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)で、MEMS1を黒色系塗装、MEMS2を鏡構成にして、表示部の反射状態を制御、液晶で透過率制御による輝度制御を行う方法。MEMS1→液晶→MEMS2→表示部(光導波路・レーザー光源・有機EL・マイクロプロジェクタなど)で、MEMS1を黒色系塗装、MEMS2を鏡構成にして、表示部の反射状態を制御、液晶で透過率制御などの任意の組み合わせによる輝度制御を行う方法。といった、いろいろな実装法と組合せてもよい。なお、前述の表示部に関する有機ELのような自発光型表示装置の場合、図示はされてはいないが反射型や光導波路型ではない、透過型画素(メインピクセル)単位自発光表示デバイスとして構成される大型のフラットパネルディスプレイの表示がその反対側や奥側に透過率制御部などが構成されていたり、黒色化視覚表示提供部が構成されていてもよいし、加えて、加法混色の自発光透過型RGBサブピクセルを構成する有機EL(無機ELなどを含む)などの自発光部を透過率制御部におけるメインピクセルの前後(裏と表)に表示用のRGBサブピクセルを構成して、裏面からでも表面からでも映像が視認できるように具備していてもよい。
【実施例0057】
続けて細かな実施例を示す。これらの基本的な実施例1における物理構成の基本概念を図8から図12を用いて説明する。図8は透過率制御面が表示面に対し視覚軸上外側(外光側より)にあるものを例示している。図9は透過率制御面が表示面に対し視覚軸上内側(視覚より)にあるものを例示している。図10は透過率制御面が表示面に対し視覚軸上外側と内側に分割(外光側と視覚側にあり外光とCG画像光の合成部を挟み込む形に)してあるものを例示している。図11は実風景(外光、背景)に合成するために生成された画像・映像と実風景の合成のためのプリズム部の手前に透過率制御面を具備している。図11の透過率制御面は図8から図10のように任意の位置に構成されても良い。図12は実風景(外光)に合成するために生成された画像・映像と実風景の合成のための光導波路(導光板、導光路・ハーフミラー)部の手前に透過率制御面を具備している。図11図12の図示されている以外にも透過率制御面を図9図10のような任意の位置に変更した構成にしても良い。
【0058】
なお、図10の亜種として、制御部が表示面の前後に置かれる場合、光透過率の制御部の一部が表示面の視覚軸上の前後に一部だけ分割され配置されても良く、この詳細は図10の説明において、適宜、記載する。また、透過率制御部がプリズム部の反射面に光学的角度補正を含めて形成されたり、光導波路類の光学的伝達部に光学的補正を含めて形成されていたりしてもよく、これらの補正は外光(背景:1007)とCG画像光(1006)と合成光(1005)との角度や屈折率拡縮率に応じて適切に合成されるように形成されていれば実装そのものは適宜可能である。
【0059】
本発明の基本構成の物理構造にかかる図8の説明を行う。図8の説明は前記実施例1にて簡単にはしたが、より具体的には視覚軸上を真横からとらえた構成となっている。この図8のように真横から見た場合において8001が光透過率制御部になる。光透過率制御部は、液晶、MEMS、熱制御、EC(Electrochromic)特性による制御といった透過率制御可能な任意の部品として構成される。
【0060】
さらに、この透過率制御部は任意のマトリクス構造をもち、図13にあるように矩形タイル配列、六角タイル配列、三角タイル配列といった任意の二次元配列構造を持ち構成されると考えると分かりやすいが、実装が曲面に形成される場合においては適宜、歪ませることが好ましい。そして、この配列が対象デバイス(HMD、HUD、コンタクトレンズなど)任意曲面上に構成される場合必ずしも正多角形で構成される必要はなく、一部が三角形で一部が四角形などの任意のタイリング構造で実現されていても良い。これらのタイリング(マトリクス)構造はタイリングによって適宜分割されたセルごとに、任意の方法(電気的、磁気的、電磁気的など)で制御可能な構成となっている必要がある。図13ではこれらの例示のうち液晶による矩形タイリングが例示されている。なお矩形タイリングにおいても一ラインごとに半セルサイズだけずらした梯子のような配列構成であっても本発明の運用に問題があるわけではない。これらは形式的な例として図13の(a)、(b)、(c)、(d)にて表現される。
【0061】
そして図8に関し、例えば液晶である場合、偏光膜部と液晶部による可変偏光部とによって構成されることが想定される。例えば偏光膜とTN形液晶を用いることでセル単位の透過率制御が可能である。また円偏光の回転方向を切替えることで透過率を制御する方法もある。より具体的にはTN、VA、IPS(登録商標)といった偏光方式があり、適切な偏光板(偏光膜)とそれぞれの可変偏光方式の液晶パネルや可変偏光液晶パネルを組み合わせたり、液晶による可変偏光部を二つ重ね合わせることで適切な可変偏光部の制御を行ったりすることで、本発明で必要とする透過率制御部を構成することができ、結果として利用者からみた場合において視覚上の画素(メインピクセル)単位における黒色表示が可能となる。
【0062】
さらに図8に関し、例えばMEMSである場合、液晶と同様に微細に分割されたマトリクス部に関し、電圧や電流の量を制御することでセル単位のシャッターの開閉やミラーデバイスの傾斜による透過率制御が可能である。透過率制御は対象となる画素(メインピクセル)単位のMEMSデバイスのセルが視覚方向に適切な角度で曲がることにより実現可能である。視覚の中心部であれば視線に対し垂直方向にMEMSセルの可動部が変化することで光透過率は便宜的に98%を超えることが想定できる。この際MEMSデバイスの表面を艶消しの黒にすることで外光乱反射を防ぎ、利用者にとって違和感のない外光(実風景)を提供し、MEMSデバイスが外光(実風景)を遮蔽する視線に対して直交方向になった場合に利用者には視覚上では黒色表示となるようにする表示が可能となる。
【0063】
また加えるならば、MEMSで構成された画素(メインピクセル)単位のセルが1セル単位にオン・オフでしか制御できない場合、前述の液晶における1セル単位に複数のサブピクセルを構成し、1セル内のサブピクセルを用いてディザリングといったアナログ情報の二値化離散処理を1セル単位に行うことでMEMSによる透過率制御を行いユーザーに違和感の少ないグレースケール表示を可能とすることで透過率制御を行っても良い。このディザリングのような離散的二値化処理はアナログ表現が不得手な透過率制御デバイスに組み合わせることで、より好適に本発明を用いるデバイスを構成することが可能となる。このためこれまでに記述された透過率制御方法は、熱制御型透過率制御デバイスやEC(Electrochromic)特性型透過率制御デバイスなどに用いても良い。
【0064】
さらに図8に関し、例えば温度制御型可変透過デバイスであれば、前述のように構成された各セル単位に超小型発熱デバイスを設置し、セル単位の電気を用いた熱変化によって透過率制御を行うことも好ましい。
【0065】
さらに図8に関し、例えばEC(Electrochromic)特性制御型可変透過デバイスであれば、前述のように構成された各セル単位には電気化学的な酸化還元反応によって物質の可視光透過率が変化するEC現象を利用して、各セル単位に超小型EC(Electrochromic)特性デバイスを設置し、電気による化学変化を用いた透過率制御を行うことも好ましい。
【実施例0066】
図9に関しては、前述の図8の説明を踏まえたうえで、マトリクスのセル単位に液晶制御、MEMS制御、温度制御、EC(Electrochromic)特性制御といった方法での透過率制御を外光と表示内容の合成後(8021:外光未制御表示光)に行うことで、黒色表現を実施する。この際、外光とCG画像光が合成された後に透過率制御が行われるため透過率の高い画素(メインピクセル)に外光(背景:1007、8000)とCG画像(1006、8020)がある場合において表示画像がどうしても半透明合成されることが避けられない構成となる。
【実施例0067】
図10に関しては、例えば液晶において、偏光膜を外光と表示用光学光(8020:CG生成画像)との合成部8002の前に設置し、合成後に可変偏光部を備える、もしくは逆に可変偏光部を合成部8002の前に偏光膜を合成部の後に配置する、もしくは合成部8002の前部と後部にそれぞれ電子制御による可変偏光を設置することで、機能としてマトリクス内のセル単位に対する透過率制御を実現し、セル(画素(メインピクセル))単位の可変偏光デバイス(偏光方法は円偏光や単純な縦横偏光といった任意の偏光方法、TN、VA、IPS(登録商標)であってもよい)を設置したり、前後にMEMSデバイスを設置したり、といった任意の組み合わせで合成部8002の前後に可変透過率に影響するような部品配置を行うことが可能である。この場合も透過率の高い画素(メインピクセル)に外光(背景:1007、8000)とCG画像(1006、8020)がある場合において表示画像がどうしても半透明合成されることが避けられない構成となる。
【実施例0068】
図11に関しては、図8のマイクロプリズムアレイの構成を標準的なプリズムを用いた方法に置換えて外光(実風景)とユーザー用合成画像としてのCG画像(コンピュータ・グラフィック)を用いてAR/MRデバイス表示を行う事例を示している。より具体的には、外光(実風景)に対し、AR/MRに用いるCG画像情報がRGBともに0である場合、外光の透過率を0とし、表示用情報もRGB共に0であるため、ユーザーには黒色が表示される。また、別の方法としてはRGBとは別に例えば8ビットなどのビット深度を持つ透過率情報によって、透過率制御部の透過率を制御し、黒として表示するのか、灰色として表示するのか、背後の光を透過しないことにより、CGで生成された色がより正確に表示されるように制御するのか、を適宜指定できるようにしても良い。本実施例においてはプリズムの大きさや重さが実利用において課題となる場合があるものの高密度高屈折プラスチックレンズやプリズムの組み合わせで適切な光学系を構成すれば図8と同様の仕組みが実現できることを示しているとともに前述の任意の方法を組み合わせることでより良い黒色表示を可能とすることができる。
【実施例0069】
図12に関しては、図8のマイクロプリズムアレイの構成を標準的な導光板(光導波路・ハーフミラー)を用いた方法に置換えて、外光(実風景)とユーザー用合成画像としてのCG画像(コンピュータ・グラフィック)を用いてAR/MRデバイス表示を行う事例を示している。より具体的には、外光(実風景)に対し、AR/MRに用いるCG画像情報がRGBともに0である場合、外光の透過率を0とし、表示用情報もRGB共に0であるため、ユーザーには黒色が表示される。また、別の方法としてはRGBとは別に例えば8ビットなどのビット深度を持つ透過率情報によって、透過率制御部の透過率を制御し、黒として表示するのか、灰色として表示するのか、背後の光を透過しないことにより、CGで生成された色がより正確に表示されるように制御するのか、を適宜指定できるようにしても良い。本実施例においては光導波路内の回析や反射・屈折などによりプリズムやレンズの光学系よりも薄くできる特徴があり、本発明を導波路の適切な位置に設置することで図8と同様の効果を得ることができることを示しているとともに前述の任意の方法を組み合わせることでより良い黒色表示を可能とすることができる。
【実施例0070】
図16を用いて、透過率制御部と生成画像・映像合成部との合成実施における画像内の画素(メインピクセル)の表示位置における誤差を低減する方法について説明する。より具体的には、マイクロプロジェクタのような画素(メインピクセル)位置固定型投影装置を用いて、HMDなどでの生成画像・映像と透過率制御セルの位置合わせを行う場合、投影機の縦軸横軸などを極小のねじで上下左右に移動する(1601)ことにより課題の解決を図る方法。マイクロプロジェクタの画素(メインピクセル)解像度より充分に透過率制御面の画素(メインピクセル)解像度が高い場合、透過率制御面の画素(メインピクセル)座標を表示において縦横に補正し位置合わせをする方法。マイクロプロジェクタの投影面が曲面に投影される場合、透過率制御の座標系をGPUなどで制御し、曲面に投影できるように座標系の変換(任意次元のアフィン変換など)を行い適切な表示情報の座標系の変更により適切な座標での表示を構成する方法などが考えられる。なお、このような位置合わせ制御に物理的制(御例えばMEMSなど)を用いた場合に、表示品質が改善されることが知られている。
【0071】
また、マイクロプロジェクタのように画素(メインピクセル)位置が固定ではなくポリゴンミラーなどによるスキャンライン構成で行う場合、スキャンラインの開始位置を時間軸面などの制御によって算術的に微調整したり、光源の開始タイミングを算術的に微調整したりすることで、透過率制御部の制御セルの位置と表示画素(メインピクセル)の表示位置を適切な座標位置に調整する(1601)ことも可能であり、同時に、前述の透過率制御座標系をGPUなどで算術的に補正することでマイクロプロジェクタのような固定座標系デバイスでの座標補正と同様の透過率制御が可能になる。勿論、曲面投影などの補正も前述されるように同様に実施可能である。
【0072】
更には、表示用の生成画像・映像と透過率制御デバイスそれぞれのセル位置に関し、互いの解像度が充分に高ければ、算術的に両方の情報をGPUなどで補正したり、プロジェクタや光源などの制御を算術的に補正してMEMS(MEMSで構成されるギアやネジなどの構造も含む)による位置調整(1601)や表示画像自体の位置調整(1601)、形状調整をしたりすることで、利用者に向けた表示に関し、適切な画像・映像の生成・表示面と透過率制御面の位置合わせ(1601)を可能とする。
【0073】
なお、本実施例における位置補正方法はHMDに限らず、HUD、コンタクトレンズといったAR/MRデバイスで透過型・半透過型デバイスに適宜適応できるように構成することも好ましく、それらの細かい調整方法は本実施例のような旧来からの複数の投影装置や撮像装置において画素(メインピクセル)誤差を補正・修正する方法を応用することで本発明をより高品質に実現することが可能であるし、フラットパネルディスプレイの画面と同様の画素(メインピクセル)構成で透過率制御を行えるように組み合わせて表示できるようにしてもよい。
【0074】
これらの画面位置微調整するための補正技術は光学的に位置補正する方法、物理的に位置補正をする方法、プログラムを用いてソフトウェア的に位置補正する方法といった既存の任意の方法を組み合わせることで実現しても良い。
【実施例0075】
最後に、図6図7、に基づいた画像認識ユーザーインターフェース(UI)について説明する。図6図1のHMD(ヘッドマウントディスプレイ)に撮像カメラ6001が付随した構成となっている。このカメラは利用者の頭の動きに合わせて視界が変化し、ジャイロや加速度、コンパスなどによって、カメラの動きを検出する。もちろん、撮像画像の変化の仕方から頭の向きの変化の仕方を検出するような構成にしても良く、それらの情報の計算は付随の情報処理部やネットワークリンク先の情報処理装置で行われるようにしてもよい。
【0076】
図6のカメラ6001から得た情報は情報処理装置による適当な形状認識によって、適宜トラッキングされる。この図6の場合であれば腕の形状が認識され、見かけ上スマートフォンのアイコンのようなものが並んでいるかのように合成された映像が利用者の視覚には提示されている。この図6に例示されているスマートフォンのような画像は腕にプリントされているわけではなくAR/MR技術の利用により腕の画像に合成されて利用者に表示されているものと解釈してほしい。この腕画像の認識においては腕にトラッキング用のシールタトゥーが入れてあるとか、手首に巻いた特定のパターンを持つ腕輪があるとか、手首の内側の腱を検出するとか、赤外線カメラで腕の静脈を検出し静脈認証によって個々人に合わせたスマートフォンのようなUIが腕の上にトラッキングさせつつ表示されるとか、任意の手法によるトラッキング技術構成になっていると好ましい。
【0077】
また、腕の内側の認識ばかりではなくスマートフォンのようなUIに対する操作を行うために、指の形状を検出しトラッキングすることで、指がUI上で何らかの操作をしていることを検出し、任意のユーザーインターフェース(UI)として実施可能な構成となることにより本発明を用いたHMD(ヘッドマウントディスプレイ)において、有益なUIを実現するように構成しても良い。その際、指の重なっている部分の透過率を上げるとともに指の下に隠れる部分のHMD内の映像出力は行わないようにすることで指の上にUIが表示することを避けるようにしても良く、このような奥行き判定を必要とするUIに関してはストラクチャライトやデプスカメラを用いるなどの追加デバイスによる情報を含めてUIの挙動が正常になるように構成しても良い。
【0078】
つづけて図7を用いてUI処理系の実施要件を説明する。ステップS7001において、HMDに付随するカメラを用いUI(ユーザーインターフェース)投影面とUI操作用の指先などが撮影される。ステップS7002によって、撮像された画像からUI投影面やUI操作オブジェクトとしての指先などが検出され、UI提供に必要な画像特徴が抽出される。ステップS7003によって、指や腕などの位置情報が検出され、検出された情報に基づいて、指や腕の動きの検出が行われそれらの動作に対してトラッキングしながらUI画像の表示先の座標系における黒色情報位置がステップS7004で特定されHMDに提供される。
【0079】
この際、背景画像としての腕や操作オブジェクトとしての指に適切な映像が投影されるときの情報として、ステップS7005によって本発明による透過率制御が画素(メインピクセル)単位に行われUIの黒色部分には透過率が下げられることでステップS7006に従い利用者に画像が投影されることで利用者の視覚には腕に何も表示されていないにも関わらず、黒色のUIが表示されているかのように、視覚的には適宜表現されるように情報処理が実施される。
【0080】
なお本発明の明細書における用語に関し、作図の都合上同じような機能・効果に対し便宜的に異なる番号が振られているため、後述のように補足する。
【0081】
HMD及びHUD(1000、2000、3000、1500)、コンピュートモジュール及びコンピュート部及び情報処理装置及び映像出力部(1001、2001、3001、4001、5001、1501)、光学処理装置、光学モジュール、光学プロジェクタ、(1002、2002、3002、4002、1502)光学系光路、プリズムモジュール、光導波路、光学反射部(1003、2003、3003、4004、1503)、透過率制御部(1004、2004、3004、4003、5003、1504)、カメラユニット(6001)、表示位置制御部(1601)、外光(背景光)(1007、2007、3007、4007、5007、8000)、CG(画像映像)光(1006、2006、3006、4006、8020)、合成光(1005、2005、3005、4005、5005)、表示内容合成光(8010、8011、8032)、表示内容合成部(8002)、
【実施例0082】
図18に基づいて本実施例を説明する。この図に示されるのは、図1で示された透過率制御部が、メガネ状のHMDにおいて、メガネのレンズ面に構成されている構造となっている場合において、図9に相当する部品順序構成で外光(背景)入力に対して、CG光を合成し、透過率制御部を経過したのちに合成光に至る部品構成を持つAR用HMDを図示している。また、図19においてはよりメガネ的な構成にして曲面化された透過率制御部やCG光導光部を備えるように構成しても良く、本件各実施例のHMDは片眼仕様であるが視差のあるCG情報を提供することで、両眼用仕様として情報提供できるように構成しても良い。
【実施例0083】
また、特段図示はしないが20年程度前からある透過型フラットディスプレイの片側(後ろか前側)及び若しくは両側(前後両側)に本発明の透過率制御装置を備えることで、透過型フラットパネルディスプレイに画素(メインピクセル)単位の透過率制御部を具備することで、従来不可能だった透過型フラットパネルディスプレイにおける黒色表示を実現してもよい。
【実施例0084】
更には、コンタクトレンズの曲面や視線から見て光学的に適切な面に合わせて配置される発光部及び若しくは光学反射部などの色表示を可能とする箇所において、発光部及び若しくは光学反射部の構造に対し眼球側から見て外側の部位におけるコンタクトレンズの曲面若しくは視線を法線とする面に合わせて外光の透過率を遮蔽制御する配置を構成する透過率制御部を具備することが可能である。より具体的には図5に図示されるような構成で5003の透過率制御部として制御部が具備される設計となる。更に必要であれば屈折率などの制御や、光の入射角に合わせて透過率制御可能な構成として構成されることが好ましい。更には、コンタクトレンズなどの眼球上接触レンズ内において、眼球の網膜に対するレンズ体を経由した法線に直交する面方向になるように透過率制御部を構成するようにしてもよい。
【産業上の利用可能性】
【0085】
本発明によれば、従来の透過型及び若しくは半透過型表示装置において、全画面を含め画素(メインピクセル)単位の黒色表示や透過率制御が不可能だったHMD(ヘッドマウントディスプレイ)やHUD(ヘッドアップディスプレイ)、コンタクトレンズ型デバイスでの黒色表示ができるようになることにより、より表現豊かな表示装置としてのHMDやHUD、コンタクトレンズ型情報提供デバイス、透過型ノートPC型デバイス、透過型タブレット型デバイス、透過型スマートフォン型デバイス、透過・半透過型フラットパネルディスプレイなどをにおける黒色表示を実現することが可能となる。
【符号の説明】
【0086】
HMD 1000、2000、3000、1500
コンピュートモジュール 1001、2001、3001、4001、5001、1501
光学モジュール 1002、2002、3002、4002、1502
光学系光路 1003、2003、3003、4004、1503
透過率制御部 1004、2004、3004、4003、5003、1504
カメラユニット 6001
表示位置制御部 1601
外光(背景光) 1007、2007、3007、4007、5007、8000
CG(画像映像)光 1006、2006、3006、4006、8020
合成光 1005、2005、3005、4005、5005
表示内容合成光 8010、8011、8032
表示内容合成部 8002
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
【手続補正書】
【提出日】2021-11-26
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正の内容】
【0014】
図1】HMDであり外部反射・屈折型の場合の構成
図2】HMDであり内部反射・屈折型の場合の構成
図3】HMDであり導光(光導波路)型の場合の構成
図4】HUDで車載型の場合の構成
図5】コンタクトレンズ型の場合の構成
図6】画像認識を伴う場合の構成
図7】画像認識を伴う制御ソフトウェア・フロー実施図
図8】物理構成の基本概念図1(外側制御部設置)
図9】物理構成の基本概念図2(内側制御部設置)
図10】物理構成の基本概念図3(外側及び内側制御部設置)
図11】物理構成の基本概念図4(プリズム型外部制御部設置)
図12】物理構成の基本概念図5(導光板(光導波路)型外部制御部設置)
図13】タイリング及び若しくはマトリクス構成の基本概念図
図14】外光透過率制御ソフトウェア・フロー実施図
図15】本発明の全体構成例の概略図
図16】表示セル誤差の補正に関する概略図
図17】従来型のHMDであり黒色表示ができない外部反射・屈折型の場合の構成
図18】メガネ型HMDのその他の構成例1
図19】メガネ型HMDのその他の構成例2
図20】スマホ型表示装置の構成例