特許 5767403 双方向ディスプレイおよびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5767403

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】双方向ディスプレイおよびその制御方法

(51)【国際特許分類】

   G06F 3/042 20060101AFI20150730BHJP

   G06F 3/041 20060101ALI20150730BHJP

   G09G 3/30 20060101ALI20150730BHJP

   G09G 3/20 20060101ALI20150730BHJP

【ＦＩ】

   G06F3/042 472

   G06F3/041 412

   G09G3/30 J

   G09G3/20 611D

   G09G3/20 680A

   G09G3/20 680H

   G09G3/20 691E

   G09G3/20 621A

   G06F3/041 510

【請求項の数】17

【全頁数】20

(21)【出願番号】特願2014-513050(P2014-513050)

(86)(22)【出願日】2011年5月31日

(65)【公表番号】特表2014-522523(P2014-522523A)

(43)【公表日】2014年9月4日

(86)【国際出願番号】DE2011001181

(87)【国際公開番号】WO2012163312

(87)【国際公開日】20121206

【審査請求日】2014年2月10日

(73)【特許権者】

【識別番号】503306168

【氏名又は名称】フラウンホーファー・ゲゼルシャフト・ツール・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ

(74)【代理人】

【識別番号】110000475

【氏名又は名称】特許業務法人みのり特許事務所

(72)【発明者】

【氏名】ヘロルト，リーゴ

(72)【発明者】

【氏名】リヒター，ベルント

(72)【発明者】

【氏名】フォーゲル，ウーヴェ

【審査官】 菅原 浩二

(56)【参考文献】

【文献】 特開平０９−０２２７７８（ＪＰ，Ａ）

【文献】 特開２００６−３１７６８２（ＪＰ，Ａ）

【文献】 特開２０１０−０７２１８８（ＪＰ，Ａ）

【文献】 特開２０１０−２６２２３２（ＪＰ，Ａ）

【文献】 特開２００９−１１７９０４（ＪＰ，Ａ）

【文献】 特開２０００−３３３１４５（ＪＰ，Ａ）

【文献】 特開２００８−０５２５７３（ＪＰ，Ａ）

【文献】 特開２０１０−０３４１４１（ＪＰ，Ａ）

【文献】 特表平０９−５０４１２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４２

Ｇ０６Ｆ ３／０４１

Ｇ０９Ｇ ３／２０

Ｇ０９Ｇ ３／３０

(57)【特許請求の範囲】

【請求項1】

複数の発光画素（１ａ、１ｂ）で構成された複数の行（１ｚａ１、１ｚａ２）を有するとともに、当該複数の行（１ｚａ１、１ｚａ２）の各々が複数の発光画素（１ａ、１ｂ）を含む２次元のディスプレイアレイ（１）と、
複数の受光素子（２ａ、２ｂ）で構成された複数の行（２ｚｋ１、２ｚｋ２）を有するとともに、当該複数の行（２ｚｋ１、２ｚｋ２）の各々が複数の受光素子（２ａ、２ｂ）を含む２次元のカメラアレイ（２）と、
前記ディスプレイアレイ（１）および前記カメラアレイ（２）のタイムシーケンシャルな電気的制御を行う制御回路とを備えた双方向ディスプレイであって、
前記制御回路は、前記ディスプレイアレイ（１）の少なくとも１つの行（１ｚａ１）において発光動作がなされる間に、発光動作がなされている当該ディスプレイアレイ（１）の行（１ｚａ１）の最も近くに位置するカメラアレイ（２）の行（２ｚｋ１）による受光動作を停止させ、
また、前記制御回路は、前記ディスプレイアレイ（１）を構成する行（１ｚａ１、１ｚａ２）が発光動作を開始するタイミングを時間的にずらすとともに、前記カメラアレイ（２）を構成する行（２ｚｋ１、２ｚｋ２）が受光動作を開始するタイミングを時間的にずらし、
さらに、前記制御回路は、前記ディスプレイアレイ（１）の少なくとも１つの行（１ｚａ１）において発光動作が停止した後であって、前記ディスプレイアレイ（１）の他の少なくとも１つの行において発光動作がなされている間に、前記発光動作が停止した前記ディスプレイアレイ（１）の行（１ｚａ１）の最も近くに位置するカメラアレイ（２）の少なくとも１つの行（２ｚｋ１）による受光動作を開始させる
ことを特徴とする双方向ディスプレイ。

【請求項2】

前記ディスプレイアレイ（１）および前記カメラアレイ（２）が、それぞれ、行毎に電気的に制御可能となっていて、少なくとも１部分毎に入れ子状に配置され、
前記制御回路は、前記双方向ディスプレイの行毎に前記タイムシーケンシャルな電気的制御を行うことを特徴とする請求項１に記載の双方向ディスプレイ。

【請求項3】

前記制御回路は、前記ディスプレイアレイ（１）の複数の行（１ｚａ１、１ｚａ２）において発光動作がなされる間に、当該ディスプレイアレイ（１）の複数の行（１ｚａ１、１ｚａ２）の最も近くに位置するカメラアレイ（２）の複数の行（２ｚｋ１、２ｚｋ２）による受光動作を停止させることを特徴とする請求項１に記載の双方向ディスプレイ。

【請求項4】

前記制御回路は、前記ディスプレイアレイ（１）の１つの行（１ｚａ１）において発光動作がなされる間に、当該ディスプレイアレイ（１）の行（１ｚａ１）から最も遠い位置にあるカメラアレイの行（２ｚｋＬ）による受光動作を開始させることを特徴とする請求項１〜請求項３のいずれかに記載の双方向ディスプレイ。

【請求項5】

前記制御回路は、前記カメラアレイ（２）の１つ、または複数または全ての行（２ｚｋ１、２ｚｋ２）によって受光動作がなされている間に、前記ディスプレイアレイ（１）の１つまたは複数の行（１ｚａ１、１ｚａ２）におけるプログラミング、および／または前記ディスプレイアレイ（１）の前記１つまたは複数の行（１ｚａ１、１ｚａ２）に表示すべきデータの当該行への書き込みを行うが、当該行への当該データの表示は行わせないことを特徴とする請求項１〜請求項４のいずれかに記載の双方向ディスプレイ。

【請求項6】

前記制御回路は、前記ディスプレイアレイ（１）の行（１ｚａ１）の電気的制御と、当該ディスプレイアレイ（１）の行（１ｚａ１）に最も近い位置にある前記カメラアレイ（２）の行（２ｚｋ１）の電気的制御とを互いに時間的に独立して行うことを特徴とする請求項１〜請求項４のいずれかに記載の双方向ディスプレイ。

【請求項7】

前記ディスプレイアレイの少なくとも１行（１ｚａ１）に対して、当該ディスプレイアレイの行のプログラミングの終了、および／または当該ディスプレイアレイの行に表示すべきデータの当該ディスプレイアレイの行への書き込みの終了から、前記カメラアレイ（２）の１つの行、または複数の行、または全ての行による受光動作の開始までの間に、前記カメラアレイ（２）の行（２ｚｋ１、２ｚｋ２）による受光動作の継続時間Δｔ_ＫＥの少なくとも１／１０の長さである予め決定された時間間隔Δｔが存在することを特徴とする請求項１〜請求項６のいずれかに記載の双方向ディスプレイ。

【請求項8】

前記ディスプレイアレイ（１）の全ての行（１ｚａ１、１ｚａ２）に対し、発光動作の継続時間ｔ_ＡＥが等しい長さであり、および／または、
前記ディスプレイアレイ（１）の全ての行（１ｚａ１、１ｚａ２）に対し、各行の前記発光動作の停止および／または電気的励起の停止および／またはスイッチオフの継続時間ｔ_ＡＤが等しい長さであることを特徴とする請求項１〜請求項７のいずれかに記載の双方向ディスプレイ。

【請求項9】

前記ディスプレイアレイ（１）の全ての行に対し、前記カメラアレイ（２）のその都度最も近くに位置する１行による受光動作が、前記発光動作の時間間隔の外側においてなされることを特徴とする請求項１〜請求項８のいずれかに記載の双方向ディスプレイ。

【請求項10】

前記ディスプレイアレイ（１）の１つの行（１ｚａ１、１ｚａ２）における発光動作が、
当該行に表示すべきデータの当該行への書き込みおよび／または当該行のプログラミングと、当該行におけるデータの表示と、当該行に既に表示されているデータの消去と、を意味し、または、
前記書き込みおよび／またはプログラミングと、前記データの表示のみを意味し、または、
前記データの表示および前記データの消去のみを意味し、または
前記データの表示のみを意味することを特徴とする請求項１〜請求項９のいずれかに記載の双方向ディスプレイ。

【請求項11】

前記カメラアレイ（２）の１つの行（１ｚｋ１、１ｚｋ２）における受光動作が、
外部光源（３）から放射されて当該行に入射する光量の積分と、前記積分の開始までのスイッチオン遅延と、この積分された当該行の信号の読み出しと、を意味し、または、
前記積分と、前記スイッチオン遅延のみを意味し、または、
前記積分と、前記信号の読み出しのみを意味し、または、
前記積分のみを意味することを特徴とする請求項１〜請求項１０のいずれかに記載の双方向ディスプレイ。

【請求項12】

複数の表示すべき画像またはフレームに対応して、前記ディスプレイアレイ（１）の個々の行（１ｚａ１、１ｚａ２）による連続的な発光がなされ、この発光がなされるたびに、請求項１〜請求項１１のいずれかに記載の前記カメラアレイ（２）による受光動作がなされることを特徴とする請求項１〜請求項１１のいずれかに記載の双方向ディスプレイ。

【請求項13】

可視光を放射する前記ディスプレイアレイ（１）、および／または、赤外線を検出する前記カメラアレイ（２）を備えたことを特徴とする請求項１〜請求項１２のいずれかに記載の双方向ディスプレイ。

【請求項14】

前記ディスプレイアレイ（１）は、前記発光画素（１ａ、１ｂ）としてＯＬＥＤを有し、および／または、
前記カメラアレイ（２）は、前記受光素子（２ａ、２ｂ）としてフォトダイオードまたはフォトトランジスタを有し、および／または、
前記発光画素（１ａ、１ｂ）および／または前記受光素子（２ａ、２ｂ）は、分離したまたは入れ子状のマトリックスとして構成され、かつ、ＣＭＯＳ技術を用いて形成されたまたは集積化されたマトリックスとして構成され、および／または、
前記双方向ディスプレイは、横方向の長さが４μｍ〜４０μｍの発光画素（１ａ、１ｂ）、および／または、横方向の長さが４μｍ〜４０μｍの受光素子（２ａ、２ｂ）を備えたマイクロディスプレイからなっていることを特徴とする請求項１〜請求項１３のいずれかに記載の双方向ディスプレイ。

【請求項15】

双方向ディスプレイのタイムシーケンシャルな電気的制御を行う制御方法であって、
前記双方向ディスプレイは、複数の発光画素（１ａ、１ｂ）で構成された複数の行（１ｚａ１、１ｚａ２）を有するとともに、当該複数の行（１ｚａ１、１ｚａ２）の各々が複数の発光画素（１ａ、１ｂ）を含む２次元のディスプレイアレイ（１）と、複数の受光素子（２ａ、２ｂ）で構成された複数の行（２ｚｋ１、２ｚｋ２）を有するとともに、当該複数の行（２ｚｋ１、２ｚｋ２）の各々が複数の受光素子（２ａ、２ｂ）を含む２次元のカメラアレイ（２）とを備えるものとし、
前記ディスプレイアレイ（１）の少なくとも１つの行（１ｚａ１）において発光動作がなされる間に、発光動作がなされている当該ディスプレイアレイ（１）の行（１ｚａ１）の最も近くに位置するカメラアレイ（２）の行（２ｚｋ１）による受光動作を停止させ、
また、前記ディスプレイアレイ（１）を構成する行（１ｚａ１、１ｚａ２）が発光動作を開始するタイミングを時間的にずらすとともに、前記カメラアレイ（２）を構成する行（２ｚｋ１、２ｚｋ２）が受光動作を開始するタイミングを時間的にずらし、
さらに、前記ディスプレイアレイ（１）の少なくとも１つの行（１ｚａ１）において発光動作が停止した後であって、前記ディスプレイアレイ（１）の他の少なくとも１つの行において発光動作がなされている間に、前記発光動作が停止した前記ディスプレイアレイ（１）の行（１ｚａ１）の最も近くに位置するカメラアレイ（２）の少なくとも１つの行（２ｚｋ１）による受光動作を開始させる
ことを特徴とする方法。

【請求項16】

請求項１〜請求項１４のいずれかに記載の双方向ディスプレイを、視線追跡の分野において使用することを特徴とする方法。

【請求項17】

請求項１５に記載の方法を、視線追跡の分野において使用することを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、双方向ディスプレイおよびその制御方法に関するものである。

【背景技術】

【0002】

この種の双方向ディスプレイは、とりわけ、例えばいわゆる「ヘッドマウント・ディスプレイ（ＨＭＤ）」において視線の向きを検出するために使用され得る。したがって、以下では、本発明による双方向ディスプレイの実施例が、とりわけ、このヘッドマウント・ディスプレイに基づいて記載される。しかしながら、本発明による双方向ディスプレイは、他の用途、例えば、ディジタルカメラの注視制御ビューファインダーのメニューコントロールのためにも使用され得る。さらに、本発明による双方向ディスプレイは、顕微鏡のユーザーコントロール用、例えば、微動載置台を注視制御によって動かすためにも使用され得る。それ以外の分野においても、本発明の双方向ディスプレイは使用可能である。

【0003】

従来技術において、まず、視線追跡機能を備えたヘッドマウント・ディスプレイが知られている。このヘッドマウント・ディスプレイは、虚像を投影し、ユーザーの視線を検出する独立したコンポーネントを備えている（Ｊ．Ｐ．ローランド（Rolland）、Ｈ．ヒューア（Hua）、Ｐ．クリシュナシュワミー（Krishnashwamy）「ヘッドマウント・ディスプレイにおけるビデオベースの視線追跡法およびアルゴリズム」オプティクス・イクスプレス（Optics Express）、２００６年、第１４巻、第１０号、ｐ．４３２８−４３５０）。この場合、目はハーフミラーを通じて現実の世界を見ている。仮想的なディスプレイ画像は、接眼レンズによって拡大され、ハーフミラーを経て目に表示される。目は赤外線光源による照射を受け、目の像が、第２のハーフミラーおよびレンズを経てカメラ上に形成される。ディスプレイおよびカメラの空間的に分離された配置に起因して、この種のヘッドマウント・ディスプレイにおいては、光学的なまたは電気的なクロストークを全く生じさせない。しかしながら、このようなシステムアーキテクチャーは、多数個のコンポーネントを必要とするために、小型化および消費電力の低減に限度がある。

【0004】

また、従来技術（ＤＥ １０２００６０３０５４１ Ａ１）においては、電磁放射を行う１つまたはそれ以上の素子が、電磁放射を検出する１つまたはそれ以上の素子が共通の基板上に配置された光学的構成が知られている。この場合、電磁放射を行う素子、および電磁放射を検出する素子は、ＣＭＯＳ技術を用いて実現されている（電磁放射を行う素子は有機発光ダイオード（ＯＬＥＤ）から構成され、電磁放射を検出する素子はＣＭＯＳフォトダイオードから構成され得る）。ＤＥ １０２００６０３０５４１ Ａ１に記載された光学的構成は、本発明による双方向ディスプレイに対するディスプレイアレイおよびカメラアレイの基礎を形成し得る（これは、本発明による電気的制御によって補われる）。したがって、ＤＥ １０２００６０３０５４ Ａ１、並びにこの文献に記載された具体的な光学的構成は、ディスプレイアレイおよびカメラアレイの構成として、本発明の構成の一部をなしている。

【0005】

双方向ディスプレイ、例えば、双方向ＯＬＥＤマイクロディスプレイの形態の視線の方向を検出する「ヘッドマウント・ディスプレイ」は、ＤＥ １０２００６０３０５４１ Ａ１を基礎として、特に小型化される。しかしながら、この場合、高い機能性を伴う有利な小型化に加え、作動時に、ユーザーに対し強い光の仮想的画像を投影し、そして、視線追跡のために目の像を確実に検出するために、種々の問題が生じている。双方向ＯＬＥＤマイクロディスプレイのこのアーキテクチャーが原因で、入れ子状に配置されたアクティブマトリックス（ディスプレイアレイおよびカメラアレイの入れ子状の配置、以下の説明を参照されたい）の内部において、ＯＬＥＤピクセル（以下では、一般的に発光画素という）の、隣接するカメラピクセル（以下では、受光素子という）に対するクロストークが発生する。しかしながら、この光学的クロストークは、受光素子の出力信号のダイナミックレンジを著しく制限する。さらに、回路中において回路素子が隣接することに起因して、光学的なクロストークだけでなく、電気的なクロストークがまた発生する。そして、この電気的なクロストークは、ディスプレイアレイおよびカメラアレイの入れ子状の配置内における信号線上への容量性クロストークによって、受光素子の信号への干渉を引き起こす。

【0006】

ヘッドマウント・ディスプレイにおける双方向ディスプレイに伴う別の問題は、仮想的な像のマイクロディスプレイから網膜への投影と、双方向ディスプレイのカメラマトリックス上での目の像の形成との間の光学的なデカップリングである。しかしながら、このデカップリングは、目の像が近赤外領域で検出されることによって生じる。したがって、システム側においては、ユーザーの目が近赤外領域の光線の照射を受けねばならない。この場合、ユーザーの目によって反射される赤外線の強度は、システム内の種々の損失のプロセス、並びに最大放射強度の法律上の制限に基づいている。システムコンポーネントの最適化されていないサイズは、双方向マイクロディスプレイに生じる目の画像の品質を劣化させる。そして、システムの消費電力がさらに増加する。劣化した画像の品質は、視線追跡さえも不可能にする。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】ドイツ国特許出願公開第１０２００６０３０５４１号

【非特許文献】

【0008】

【非特許文献1】Ｊ．Ｐ．ローランド（Rolland）、Ｈ．ヒューア（Hua）、Ｐ．クリシュナシュワミー（Krishnashwamy）「ヘッドマウント・ディスプレイにおけるビデオベースの視線追跡法およびアルゴリズム」オプティクス・イクスプレス（Optics Express）、２００６年、第１４巻、第１０号、ｐ．４３２８−４３５０

【発明の概要】

【発明が解決しようとする課題】

【0009】

したがって、本発明の課題は、上記従来技術を出発点として、上述の問題を解決し、十分な光学的および／または電気的なカップリングが保証されるような小型の双方向ディスプレイを提供することにある。

【課題を解決するための手段】

【0010】

上記課題は、本願の特許請求の範囲の請求項１に記載された双方向ディスプレイ、および本願の特許請求の範囲の請求項１５に記載された当該双方向ディスプレイの制御方法によって解決される。本発明の好ましい実施態様が、本願の特許請求の範囲の各従属項に記載されている。本発明の好ましい利用法が請求項１６および請求項１７に記載されている。

【0011】

本発明を、まず、種々の好ましい実施例に基づいて説明する。個々の実施例において互いに組み合わせることで実現される本発明の個々の特徴は、それらを当該実施例で示された組み合わせにおいてのみ実現されるのではなく、本願の特許請求の範囲に規定された発明の保護範囲内における別の組み合わせにおいても実現可能である。特定の実施例において示された個々の特徴は、別の実施例において削除され、または当該実施例に取り入れられる。

【0012】

本発明による双方向ディスプレイは、ディスプレイアレイおよびカメラアレイの入れ子状のまたは重ね合わされたアレイ構造、すなわち、像再生および受像の両方を行うアレイ構造にその基礎を置いている。カメラおよびディスプレイの分解能の必要に応じて、１個の受光素子、すなわちカメラピクセルは、例えば、複数の発光画素、すなわち複数のイメージピクセルによって取り囲まれ、あるいは、１個の画素は、例えば、複数のカメラピクセルによって取り囲まれる。カメラピクセルおよびイメージピクセルがディスプレイの行毎に交互に配置されるような構成（カメラピクセルおよびイメージピクセルのチェス盤状パターン）は、発光画素および受光素子の入れ子状の配置の別の態様と考えられ得る。

【0013】

以下において別途言及されない場合には、発光画素の最大放射のスペクトル領域（例えば可視光領域の強度最大値）は、受光素子の最大感度のスペクトル領域（例えば、近赤外線領域）から十分に離れている。そして、この規準により、不十分であるにせよ、確かな光学的デカップリングが実現される。

【0014】

本発明による双方向ディスプレイは、複数個の発光画素を有するディスプレイアレイと、複数個の受光素子を有するカメラアレイを備えている。ディスプレイアレイおよびカメラアレイは、好ましくは行単位で電気的に制御され、また好ましくは、少なくとも１部分毎に、入れ子状に配置される（上記アクティブマトリックスに関する説明を参照されたい）。

【0015】

概ね、ディスプレイアレイおよびカメラアレイは共に２次元のアレイである。しかしながら、ディスプレイアレイおよびカメラアレイのうちの一方（例えばカメラアレイ）のみを、１次元のアレイとして、すなわち、他方アレイの１つの行内、または２つの行の間に入れ子状に配置された単一の行として形成することもできる。

【0016】

本発明によれば、ディスプレイアレイおよびカメラアレイのタイムシーケンシャルな電気的制御が実現される。この場合、ディスプレイアレイおよびカメラアレイの電気的制御は、とりわけ、ディスプレイアレイの１つの行において発光動作がなされる間に、当該ディスプレイアレイの最も近くに位置するカメラアレイの行（選択的には、カメラアレイの当該行とは別の行）による受光動作が停止するように行われる。こうして、双方向ディスプレイの行毎の電気的制御がなされる。すなわち、まず、ディスプレイアレイの１つの選択された行において発光動作が開始し、次いで、当該行における発光動作が終了した後、ディスプレイアレイの当該行の最も近くに位置するカメラアレイの行が起動され、カメラアレイの当該行による像の取り込みがなされる。

【0017】

本発明が、１行毎の電気的制御だけでなく、複数行毎または複数列毎の電気的制御をも含んでいることは言うまでもない。すなわち、アレイの複数行毎または複数列毎の分割は単に定義の問題であり、（アレイを例えば９０°回転させた場合に）複数の列は複数の行とみなすことができ、よって、対応するアレイの複数列毎の電気的制御は、本発明によって等しくカバーされている。

【0018】

本発明の別の好ましい実施例によれば、ディスプレイアレイおよびカメラアレイの電気的制御は、ディスプレイアレイの複数の行、好ましくは隣接する複数の行が（同時にまたは互いに時間的にずれて）において発光がなされる間に、ディスプレイアレイの当該行の最も近くに位置する（すなわち、隣接する）カメラアレイの複数の行の受光動作が停止するようになされる。

【0019】

この考え方をさらに進めることによって、電気的制御のより好ましい実施例が導き出される。その実施例では、ディスプレイアレイのいずれかの行において発光動作がなされている間に、カメラアレイによる受光動作がすべて停止する。この場合、ディスプレイアレイの電気的制御とカメラアレイの電気的制御が時間的に完全に分離される。そして、ディスプレイアレイのどこかで発光が生じた場合、カメラアレイの全体が、その光がカメラアレイのどこにおいても受光されないように制御される。

【0020】

しかしながら、他方において、ディスプレイアレイの１つの行（例えば、第１の、最上位の行）において発光動作がなされている間に、ディスプレイアレイの当該行に最も近い位置ではなく、ディスプレイアレイの当該行から十分な距離を隔てた位置にあるカメラアレイの１つの行による受光動作がなされるように、ディスプレイアレイおよびカメラアレイの電気的制御を行うこともできる。そして、とりわけ、ディスプレイアレイの当該行から最も遠い位置にあるカメラアレイの行によって受光動作がなされる構成とすることも可能である。この場合、ディスプレイアレイの発光動作を行っている行から十分な距離を隔てて位置するカメラアレイの複数の行が既に（互いに時間的にずれて、または同時に）受光動作を行っている間、または受光動作を開始したときに、ディスプレイアレイの複数の行が（互いに時間的にずれて、または同時に）発光動作をしているような構成も可能であることは言うまでもない。

【0021】

同様に、電気的制御を、カメラアレイの１つの行、または複数の行、または全ての行による受光動作がなされている間に、ディスプレイアレイの１つまたは複数の行におけるプログラミング、および／またはディスプレイアレイの当該１つまたは複数の行に表示すべきデータの当該行への書き込みがなされるように行うこともできる。この場合、ディスプレイアレイの当該１つまたは複数の行において、単に、プログラミングおよび／またはデータの書き込みはなされるが、光の反射に結合したデータの表示はなされない。

【0022】

また、電気的制御を、カメラアレイが外部光源（特に赤外線光源）によって露光され、および／または、カメラアレイの少なくとも１つの行によって受光がなされている間に、ディスプレイアレイのいずれの行においても発光動作または電気的励起がなされないように行うこともできる。

【0023】

本発明のさらに別の好ましい実施例によれば、（ディスプレイアレイの１つまたは複数の行に対して）ディスプレイアレイの行に対するプログラミングの終了、および／または当該行に表示されるデータの当該行への書き込みの終了から、（カメラアレイの１つまたは複数の行による）受光動作の開始までの間に、予め決定された時間間隔Δｔが存在する。この時間間隔は、カメラアレイの１つまたは複数の行による受光動作の継続時間Δｔ_ＫＥの好ましくは少なくとも１／１０、好ましくは少なくとも１／５、好ましくは少なくとも１／２である。

【0024】

本発明のさらに別の好ましい実施例によれば、ディスプレイアレイの全ての行に対し、発光動作の継続時間は等しい長さに設定される。また、ディスプレイアレイの全ての行に対し、各行の発光動作の停止および／または電気的励起の停止および／またはスイッチオフの継続時間ｔ_ＡＤを等しい長さに設定することもできる。

【0025】

カメラアレイの全ての行における受光動作が、同一の時間間隔ｔ_ＫＥでなされ、ディスプレイアレイの個々の行における発光動作が、互いに時間的にずれて、かつ、ディスプレイアレイの全ての行に対して時間間隔ｔ_ＫＥの外側においてなされ得る。

【0026】

同様に、カメラアレイの個々の行における受光動作、およびディスプレイアレイの個々の行における発光動作が、互いに時間的にずれてなされるような構成も可能である。この場合、ディスプレイアレイの全ての行に対し、カメラアレイのその都度最も近くに位置する１行による受光動作が、発光動作の時間間隔の外側においてなされる。

【0027】

本発明によれば、ディスプレイアレイの１つの行における発光動作の概念は、次のように定義される。すなわち、発光動作は、当該行に表示すべきデータの当該行への書き込みおよび／または当該行のプログラミングと、当該行におけるデータの表示と、当該行に既に表示されているデータの消去と、を意味する。この場合、１つの行（または、ディスプレイアレイの全体）における発光動作の概念は、当該行またはディスプレイアレイの全体の電気的動作の全時間間隔を含んでいる。

【0028】

しかしながら、本発明によれば、発光動作は、前記書き込みおよび／またはプログラミングと、前記データの表示のみを意味する（すなわち、それに続く、当該行に既に表示されているデータの消去は含まない）ものと解することもできる。また、発光動作を、前記データの表示および前記データの消去のみを意味するものと解することもできる。さらに、本発明における発光動作が、１つの行（またはディスプレイアレイの全体）における前記データの表示のみを意味するものと解することもできる。

【0029】

本発明による、ディスプレイアレイおよびカメラアレイの電気的な制御方法は、これらの定義に対応し、またはデータの書き込み、および／またはプログラミング、データの表示およびデータの消去に対する対応する時間間隔に従うように適合せしめられねばならない。

【0030】

同様に、カメラアレイの１つの行（または、カメラアレイの全ての行が同時に作動する限りにおいてのカメラアレイの全体）における受光動作は、外部光源から放射されて当該行に入射する光量の積分と、この積分の開始までのスイッチオン遅延（または、その継続時間）と、外部光源からの入射光子の積分によって生じた当該行の信号の読み出しと、を意味する。この定義において、受光動作（または、その継続時間）は、カメラアレイの１つの行（または、カメラアレイの全体）の電気的な動作の全位相を含んでいる。

【0031】

しかしながら、本発明によれば、（ディスプレイアレイおよびカメラアレイの電気的制御における時間制御または個々の継続時間がそれに対応して適合せしめられている場合に）、受光動作は、前記積分と、前記信号の読み出しのみを含む位相を意味するものと解することもできる。また、受光動作を、前記スイッチオン遅延と、前記積分のみを含む時間間隔として、または前記積分の時間間隔として定義することもできる。

【0032】

本発明によれば、発光動作および受光動作が、繰り返し連続して（すなわち、周期的に）、好ましくは周期的な時間間隔で、ディスプレイに表示される個々のディスプレイ画像またはフレームに対応して実行される（この場合、発光動作を生じさせるサイクルがまた受光動作を生じさせ、ディスプレイアレイの個々の行における発光動作と、カメラアレイの個々の行による受光動作との関係が前述の実施例と同様にして実現され得る）。

【0033】

好ましくは、ディスプレイアレイ（または、その個々の発光画素）は可視光を放射するが、赤外線はできるだけ僅かしか、好ましくは全く放射しない。それに対し、カメラアレイ（または、その個々の受光素子）は、好ましくは赤外線（好ましくは、近赤外線）を検出するが、可視光はできるだけ僅かしか、好ましくは全く検出しない。

【0034】

ディスプレイアレイの発光画素またはピクセルは、有機発光ダイオードＯＬＥＤから構成され得る。カメラアレイの受光素子またはピクセルは、フォトダイオードまたはフォトトランジスタから構成され得る。この場合、発光画素および受光素子は、分離したまたは入れ子状のマトリックスとして構成され、かつ、ＣＭＯＳ技術を用いて形成されたまたは集積化されたマトリックスとして構成され得る。

【0035】

双方向ディスプレイは、横方向の長さが４μｍ〜４０μｍの発光画素、および横方向の長さが４μｍ〜４０μｍの受光素子を備えたマイクロディスプレイから構成され得る。

【0036】

上述のように、本発明による発光画素および受光素子の集積化、またはディスプレイアレイおよびカメラアレイの入れ子状の配置は、ＤＥ １０２００６０３０５４１ Ａ１に記載されたのと同様にしてなされる。
以下、本発明が、複数の実施例に基づいて説明される。

【図面の簡単な説明】

【0037】

【図1】２次元のディスプレイアレイおよび２次元のカメラアレイを備え、これらのアレイが上下に重ね合わされた２つの格子の形状に入れ子状に配置された、本発明のディスプレイの概略構成を示す図である。

【図2】本発明によって実現される、ディスプレイアレイの電気的制御とカメラアレイの電気的制御との時間的に完全な分離を、従来技術におけるディスプレイ（またはディスプレイアレイ）およびカメラ（アレイ）のパラレル駆動と比較した図である。

【図3】本発明による、行をベースとしたディスプレイアレイとカメラアレイの複数の実現された電気的制御を、従来技術におけるパラレル駆動と比較した図である。

【図4】本発明によるディスプレイアレイおよびカメラアレイの別の電気的制御を説明する図である。

【図5】本発明の範囲内の受光素子として使用され得るフォトダイオードの放電回路の回路図である。

【図6】本発明による双方向ディスプレイを備えたヘッドマウント・ディスプレイ内において生じ得るような、視線検出方向への信号の流れの依存性を示す図である。

【発明を実施するための形態】

【0038】

図１は、本発明による、２次元のディスプレイアレイ１と２次元のカメラアレイ２を有する双方向ディスプレイの概略構成を示す図である。図１において、ディスプレイアレイ１の個々の発光画素１ａ、１ｂ、・・・の位置は、２次元の正方形格子の交点に一致し、同様に、カメラアレイ２の個々の受光素子２ａ、２ｂ、・・・の位置は、別の２次元の正方形格子の交点に一致している（この場合、ディスプレイアレイ１の格子の格子サイクルｐ１は、カメラアレイ２の格子の格子サイクルｐ２の１／２である）。ディスプレイアレイ１の格子およびカメラアレイ２の格子は、互いにずれて重ね合わされていて、カメラアレイ２の各受光素子２ａ、２ｂ、・・・が、ディスプレイアレイの各４個の発光画素１ａ、１ｂ、・・・によって規則的に四隅を取り囲まれている。

【0039】

双方向ディスプレイの第１の行１ｚａ１は、ディスプレイアレイ１の第１の行に対応し、双方向ディスプレイの第２の行２ｚｋ１は、カメラアレイ２の第１の行に対応し、双方向ディスプレイの第３の行１ｚａ２は、ディスプレイアレイ１の第２の行に対応する。また、双方向ディスプレイの第４の行１ｚａ３は、ディスプレイアレイ１の第３の行に対応し、双方向ディスプレイの第５の行２ｚｋ２は、カメラアレイ２の第２の行に対応する。

【0040】

すなわち、双方向ディスプレイは、それぞれが１０個の画素１ａ、１ｂ、・・・からなる全部で２Ｌ＝１０行から構成されるディスプレイアレイ１と、それぞれが５個の受光素子２ａ、２ｂ、・・・からなるＬ＝５行から構成されるカメラアレイ２を有している。ディスプレイアレイ１およびカメラアレイ２は、それぞれ、（互いに独立に）行単位で電気的に制御され、それによって、例えば、行毎のデータがディスプレイアレイ１の個々の行に書き込まれることで、個々の行にディスプレイ表示がなされ、その後、行毎にデータ消去がなされる。同様にして、受光素子２ａ、２ｂ、・・・によって生成された信号の読み出しが行単位でなされる。ディスプレイアレイ１およびカメラアレイ２のこのような行単位での制御の電気的な切り替えは、当業者に知られている。

【0041】

ディスプレイアレイ１の第１の行１ｚａ１の最も近くに位置するカメラアレイ２の行は、行２ｚｋ１である。カメラアレイの行２ｚｋ１は、また、ディスプレイアレイ１の第２の行１ｚａ２の最も近くに位置する。ディスプレイアレイ１の第３の行１ｚａ３の最も近くに位置するカメラアレイ２の行は、カメラアレイ２の第２の行２ｚｋ２である。

【0042】

本発明の最も簡単な実施例によれば、電気的制御は、ディスプレイアレイ１の第１の行１ｚａ１（および第２の行１ｚａ２）における発光動作がなされている間に、最も近くに位置するカメラアレイの行２ｚｋ１による受光動作が停止するように行われる（すなわち、この行におけるカメラ受光はスイッチオフされる）。これは、ディスプレイアレイ１のそのほかの行１ｚａ３、１ｚａ４、・・・についても、対毎に行われ得る。例えば、ディスプレイアレイ１のいずれかの行１ｚａにおける発光動作がなされている間に、例えばカメラアレイ２の全ての行２ｚｋの受光動作が停止していることは言うまでもない。本発明によるディスプレイアレイ１およびカメラアレイ２の電気的制御の詳細は、以下で説明する。

【0043】

図２は、図１に示した、本発明によるディスプレイアレイ１およびカメラアレイ２の第１の電気的制御を説明したものである（図２の下半分の部分Ｓを参照）。この構成では、従来技術において知られたディスプレイアレイ（「ディスプレイ」）およびカメラアレイ（「カメラ」）のパラレル駆動Ｐ）とは対照的に、ディスプレイアレイ１の電気的制御または電気的励起と、カメラアレイ２の電気的制御または電気的励起とは時間的に完全に独立になされる。

【0044】

図２は、時間間隔Δｔ_１＋Δｔ_２の画像表示の１サイクルを示したものである（すなわち、ディスプレイ画像の生成は、本発明では、個々の行における発光動作という）。このサイクルの間に、赤外線検出カメラアレイによって、受光素子２ａ、２ｂ、・・・に入射する赤外線の検出がなされる（すなわち、本発明では、カメラアレイの個々の行による受光動作という）。（図示されない）次のサイクルにおいて、場合によっては変更されたディスプレイ画像の表示がなされる（例えば、図３の「ディスプレイ画像２」を参照されたい）。

【0045】

パラレル駆動Ｐ）は、パラレルな制御方法を示している。この制御方法においては、双方向ディスプレイのアクティブマトリックスの内部のディスプレイアレイ１は、行毎にプログラムされ、ディスプレイアレイ１の個々の行におけるデータの書き込みおよび表示がなされている間に（「ディスプレイデータの書き込み」）、カメラアレイ２における積分およびカメラアレイ２の個々の行におけるカメラデータの読み出しがなされる。Ｐ）において書き込まれた全てのプロセスの時間的な基準値は、ピクセルクロック（Pixeltakt）である。新たな像点は、例えばピクセルクロックを用いて、ディスプレイアレイ内にプログラムされる。Ｐ）に示されたカメラスタート遅延時間間隔は、カメラ積分時間のサイクル内に適合せしめるための、ダイナミックな時間バッファーとして使用される。作動の間に、高いダイナミックレンジを達成するために、カメラ積分は、受光素子に入射する光量に応じて適合せしめられねばならない。

【0046】

これに対し、図２の下半分の部分に示した本発明による電気的制御においては、ディスプレイアレイ１（「ディスプレイ」）の電気的な動作（これにはディスプレイアレイの個々の行における発光動作の全体が含まれる）と、カメラアレイ２の電気的な動作は、カメラアレイ２の個々の行による受光動作がなされている間に、互いに完全に分離される。すなわち、第１の時間間隔Δｔ_１（これは、ほぼサイクルの最初の６０％に相当する）において、専らディスプレイアレイ１における電気的な動作がなされ、それに続くサイクルの第２の時間間隔Δｔ_２（これは、ほぼサイクルの最後の４０％に相当する）においては、専らカメラアレイ２における電気的な動作がなされるが、ディスプレイアレイ１の電気的な動作は全くなされない。言い換えれば、Δｔ_１においては、専らディスプレイアレイ１の制御が行われる一方、Δｔ_２においては、専らカメラアレイ２の制御が行われる。

【0047】

個々の行におけるディスプレイアレイへのデータの書き込み、当該データの表示および当該データの消去は、ディスプレイアレイにおける発光動作に対応している。カメラアレイ２の個々の行におけるカメラスタートの遅延、信号集積（「カメラ積分」）およびカメラデータの読み出しは、カメラアレイ２の行による受光動作に対応している。カメラスタート、カメラ積分およびカメラデータの読み出しの間に、図１に示したＯＬＥＤディスプレイアレイ１は、完全に消灯されるように切り替えられる。

【0048】

図３は、図１に示したディスプレイアレイ１およびカメラアレイ２の全部で３つの電気的制御を示したものである（本発明によるこれらの制御またはタイミングは、記号Ｖ２、Ｖ３、Ｖ４によって与えられる）。図３の縦座標は、ディスプレイアレイ１またはカメラアレイ２の異なる電気的制御を表し、横座標は、ディスプレイアレイ１の個々の行における発光度さおよびカメラアレイ２の個々の行における受光動作の継続時間を表している。ここでは、説明を簡単にするため、ディスプレイアレイ１においては、８つの行１ｚａ１〜１ｚａ８のみを図示するとともに、カメラアレイ２においては、４つの行２ｚｋ１〜２ｚｋ４のみを図示している。この場合、「ディスプレイ画像１」は第１のサイクルを示し（図２参照）、「ディスプレイ画像２」はそれに続く第２のサイクルを示している。

【0049】

縦座標の最も上の部分（「カメラ」）は、最初の行から最後の行までのカメラアレイ２の個々の行２ｚｋの行毎の制御を表している。すなわち、カメラアレイ２の全ての行に対する同一の時間間隔ｔ_ＫＥ（この時間間隔Δｔ_ＫＥは、例えば５マイクロ秒に設定される）においてのみ、カメラアレイ２の図示された行２ｚｋ１〜２ｚｋ４による同時的な受光動作がなされる（図示の実施例では、一定程度の、場合によっては現在のスイッチオン遅延を含む、カメラ２の個々の行における入射光量の積分がなされている間に、カメラの個々の行における受光動作が時間間隔ｔ_ＫＥに対応する。カメラの個々の行のデータの読み出しは、時間間隔にｔ_ＫＥに関係づけて時間的にずれてなされる。

【0050】

縦座標の上から２番目の部分（「ディスプレイＶ１」）は、従来技術において知られたディスプレイおよびカメラのパラレル駆動（図２のＰ）参照）の場合の、ディスプレイアレイ１の個々の行１ｚａにおける発光動作の時間的遷移を示している。このディスプレイアレイ１およびカメラアレイ２の公知の電気的制御Ｖ１においては、時間間隔ｔ_ＫＥ内にカメラの個々の行による受光動作がなされている間に、（ディスプレイアレイの行毎に）ディスプレイアレイの行へのディスプレイデータの書き込みの形態、または対応するディスプレイデータの表示または消去の形態（「ディスプレイのプログラミング」）でのディスプレイアレイ１における電気的動作がなされる（これらを総称して「ディスプレイの点灯」という）。このように、従来技術においては、ディスプレイアレイ１およびカメラアレイ２における電気的な動作は全く分離されていない。

【0051】

縦座標の中央の部分（「ディスプレイＶ２」）は、縦座標の最も上の部分（「カメラ」）と組み合わせて、以下ではタイミングＶ２というが、これは、図１に示したディスプレイアレイ１およびカメラアレイ２の電気的制御のための方法を示している。ディスプレイアレイの１つの行１ｚａにおける発光動作が、当該行の１つまたは複数の発光画素がデータを表示（すなわち点灯、「ディスプレイ点灯」）している時間間隔として定義されるならば、電気的制御時またはタイミングＶ２におけるディスプレイアレイの個々の行における発光動作は、カメラアレイ２のいずれの行における受光動作も生じさせない（「カメラオフ」）。

【0052】

ディスプレイアレイの行における発光動作が終了（「ディスプレイオフ」）して初めて、電気的動作が、カメラアレイ２においてタイミングＶ２で、時間間隔ｔ_ＫＥの間受光動作の形態で行われる（この場合、この受光動作はカメラアレイの全ての行においてなされ、カメラ積分の開始までのスイッチオン遅延およびカメラアレイの個々の行における積分がこの時間間隔に含まれる）。

【0053】

（時間間隔ｔ_ＫＥにおいて）カメラアレイ２による受光動作がなされている間は、ディスプレイアレイ１におけるいかなる発光動作もなされず、ディスプレイアレイ１の少なくとも２つの行のプログラミングのみがなされる（この場合、時間間隔ｔ_ＫＥにおけるカメラアレイ２による受光動作には含まれない、行毎に連続して実行されるカメラの読み出しが、それに続くサイクルの間に生じる）。ディスプレイアレイの行のプログラミングには、当該ディスプレイアレイの行へのデータの書き込み、およびその前に実行される古いデータの消去が含まれる。

【0054】

この場合、ディスプレイアレイ１の電気的制御およびカメラアレイ２の電気的制御の完全な分離はなされない。なぜなら、ディスプレイアレイの最後の２行のプログラミングは、まだカメラの露光がなされている間に実行され、そして、カメラの読み出しは、まだディスプレイが点灯しているときに実行されるからである。

【0055】

このタイミングＶ２が、ディスプレイアレイ１およびカメラアレイ２の改善された光学的デカップリングをもたらすことは明らかである。しかしながら、本発明によるディスプレイアレイおよびカメラアレイのデカップリングは、（スイッチオン遅延および積分を含む）カメラによる受光動作（「カメラの露光」）の間に、ディスプレイアレイ１におけるいかなる電気的な動作もなされないようにすることで、さらに改善される。この実施例は、タイミングＶ３に示されている。タイミングＶ３は、基本的にタイミングＶ２と同様に実行される。しかしながら、ディスプレイアレイのプログラミングは、ディスプレイアレイの個々の行に対し、当該行のプログラミングの終了からカメラアレイによる受光動作の開始（時間間隔ｔ_ＫＥの始端）までの間に、少なくとも時間間隔Δｔ（Δｔは例えば５マイクロ秒に設定される）の予め決定された中断が生じるように実行される。すなわち、ディスプレイアレイ１の全ての電気的な動作は、時間間隔ｔ_ＫＥの外側においてなされる。

【0056】

ディスプレイアレイ１およびカメラアレイ２の電気的制御Ｖ３では、図１に示したＯＬＥＤベースのディスプレイアレイ１において、点灯継続時間の増大を伴う、ディスプレイ中の行のプログラミングの終了（すなわち、図３において「ディスプレイの点灯」として示した時間間隔の始端）までの時間経過につれて、ディスプレイの光度が低下する。これは、発光面がパルス駆動され、観察者に対し、平均して、パルスレシオで低下する輝度をもたらすことに起因する。

【0057】

タイミングＶ３では、（カメラの露光が生じる時間間隔ｔ_ＫＥの間に）ディスプレイアレイの個々の行における発光動作の中断が、ディスプレイアレイ１の個々の行１ｚａに対して、個々の行のプログラミング（「ディスプレイのプログラミング」）の終了後の異なる時刻においてなされる。それによって、１サイクルにおけるディスプレイアレイの個々の行１ｚａが、全部合わせて、同一の時間間隔にわたって発光し、または点灯すること（時間間隔ｔ_ＫＥの時間長Δｔ_ＫＥを除いた、１サイクルにおける行のプログラミング、例えば図３における「ディスプレイ画像１」の終了から、次のサイクルにおける当該行の次のプログラミング、例えば図３における「ディスプレイ画像２」の開始までの時間間隔）が保証される。他方、ディスプレイアレイの観察者は、例えば４００Ｈｚの高いディスプレイ画像レートまたはフレームレートにより、最終的に、ディスプレイアレイ１の個々の行の前述の時間間隔に１サイクル毎に出力される光度にわたる積分に気づく。個々の行における発光動作の中断が、（行のプログラミングの終了から始まって）異なる時刻になされる場合、前述の積分に基づき観察者によって気づかれる行の輝度に対する、時間経過につれての１サイクル毎の光度の低下によって、異なる結果が生じる。言い換えれば、行のプログラミングの終了後の早い時刻までの時間間隔ｔ_ＫＥの間、発光動作が中断するディスプレイアレイの行と、行のプログラミングの終了後の遅れた時刻までの時間間隔ｔ_ＫＥの間、発光動作が中断する、観察者にとっては暗黒（黒色）の行とが生じる。しかしながら、これは望ましいことではない。

【0058】

この問題は、電気的制御Ｖ４、または対応するタイミングにおいて次のように解決される。すなわち、タイミングＶ３の場合と同様に、カメラアレイの全ての行２ｚｋにおいて、同一の時間間隔ｔ_ＫＥの間に、受光動作がなされる。さらに、ディスプレイアレイの異なる行１ｚａにおける発光動作が時間的にずれてなされ（その都度、対応する行のプログラミングの終了でもって始まり、この場合、時間間隔ｔ_ＫＥの外側、さらにカメラアレイ２の行２ｚｋの受光動作の外側において行１ｚａ毎に発光動作がなされる）、そして、ディスプレイアレイの行１ｚａのそれぞれに対し、発光動作の継続時間ｔ_ＡＥ（対応するディスプレイアレイのプログラミングの終了でもって始まる当該行におけるディスプレイデータの表示を含む「ディスプレイの点灯」）は同じ長さである。言い換えれば、全ての行１ｚａに対して、発光動作の継続時間ｔ_ＡＥは同等である。ディスプレイアレイの個々の行１ｚａの発光動作が停止している時間間隔ｔ_ＡＤ（すなわち、１つのサイクルにおける１つの行の発光動作の終了から次のサイクルにおける当該行の発光動作の開始までの時間間隔）は、ディスプレイアレイ１の全ての行に対して同じ長さである。それによって、ディスプレイアレイ１のそれぞれの行１ｚａに対し、カメラの露光の時間間隔が一定の時間間隔に収まることが保証される。そして、この時間間隔において、ディスプレイアレイ１の対応する行がスイッチオフされ、ディスプレイアレイのスイッチオフの継続時間とディスプレイアレイによる発光動作の継続時間の割合が等しくなる。それによって、タイミングＶ３の前記問題が、タイミングＶ４によるディスプレイアレイ１およびカメラアレイ２の電気的制御において生じる。

【0059】

図１に示したディスプレイアレイ１およびカメラアレイ２のさらに別の電気的制御（以下においてタイミングＶ５と呼ばれる）が、前述のタイミングＶ４と対比して図４に示してある（この図において、カメラアレイ２の電気的制御の時間経過が、ディスプレイアレイ１の電気的制御の時間経過に重ねあわせて表示されている。ここでは、カメラアレイ２の４つの行２ｚｋと、ディスプレイアレイ１の８つの行１ｚａだけが再び表示されている）。

【0060】

前述のタイミングＶ４では、カメラアレイの全ての行２ｚｋによる受光動作が同一の時間（時間間隔ｔ_ＫＥ）になされ（カメラアレイの個々の行２ｚｋの読み出しの時刻だけが対応してずらされ、すなわち、時間間隔ｔ_ＫＥの経過後時間的にずらされる）るが、これは、もはや、タイミングＶ５においては現実ではない。タイミングＶ５においては、時間間隔ｔ_ＡＥが時間的に互いにずらされる間に、ディスプレイアレイ１の個々の行１ｚａにおける発光動作がなされるのみならず、時間間隔ｔ_ＡＤの間にカメラアレイの個々の行２ｚｋにおける受光動作もまたなされ、また、この時間間隔ｔ_ＡＤの間に、ディスプレイアレイ１の対応する行１ｚａは、その都度停止またはスイッチオフされる。

【0061】

言い換えれば、タイミングＶ５における１つのサイクルは、ディスプレイアレイの個々の行１ｚａ（例えば行１ｚａ１）およびその最も近くに位置するカメラアレイの行２ｚｋ（例えばディスプレイアレイの行１ｚａ１の最も近くに位置する行としての２ｚｋ１）に対し、次のように経過する。すなわち、ディスプレイアレイの行１ｚａのプログラミング、（時間間隔ｔ_ＡＥの間の）ディスプレイアレイの行１ｚａの発光動作、ディスプレイアレイの行１ｚａの発光動作の終了（ディスプレイアレイの行１ｚａは時間間隔ｔ_ＡＤにわたってスイッチオフされた状態にある）、カメラアレイの対応する行２ｚｋにおける電気的な動作、すなわち、カメラアレイの当該行の受光動作の開始（受光動作は時間間隔ｔ_ＬＥの間生じる）、時間間隔ｔ_ＡＫの間のカメラアレイの当該行の読み出し、および、カメラの読み出しｔ_ＡＫの経過後に続く、次のサイクルの開始またはディスプレイアレイの対応する行１ｚａの新たなプログラミング。

【0062】

図４の縦座標「ディスプレイＶ５」に示したように、この場合、カメラアレイの最初の行２ｚｋ１における電気的な動作または受光動作が、（当該行２ｚｋ１の最も近くに位置するディスプレイアレイ１の行１ｚａ１のスイッチオフの後）当該行２ｚｋ１から最も遠い位置にあるディスプレイアレイ１の行、すなわちディスプレイアレイ１の最後の行１ｚａ（２Ｌ）がまだ発光動作をしているときに開始する。こうして、ディスプレイアレイ１の最後の行の、カメラアレイの最初の行２ｚｋ１、２ｚｋ２、・・・からの距離が十分に大きくなり、それによって、ディスプレイアレイ１の最後の行によって放射された光の、カメラアレイ２の最初の行の受光素子２におけるクロストークが無視し得るほど小さくなることが保証される。

【0063】

図４に示したタイミングＶ５は、タイミングＶ４に比べて、受光動作の際の時間的ずれによる、カメラアレイ２の行毎に許容される受光動作のための時間間隔ｔ_ＬＥの長さが、タイミングＶ４（この場合、カメラアレイの全ての行における受光動作が同時になされる）における時間間隔ｔ_ＫＥに基づき自由に用いられる時間Δｔ_ＫＥよりも長くなるという効果をもたらす（最大受光動作継続時間の最適化、すなわち、カメラアレイの行の最大積分時間の最適化）。

【0064】

こうして、本発明によれば、（例えばタイミングＶ２〜Ｖ５にわたって）ディスプレイアレイおよびカメラアレイの異なる行毎のシーケンシャルな制御が可能になり、この場合、（例えばタイミングＶ４に示すように）ディスプレイアレイ１およびカメラアレイ２における電気的制御または電気的な動作は、殆ど完全にまたは完全に互いに分離してなされる。

【0065】

（双方向ＯＬＥＤマイクロディスプレイの形態の）ＨＭＤ（ヘッドマウント・ディスプレイ）の分野における本発明の双方向ディスプレイおよびその電気的制御を最適に利用可能にするため、システムコンポーネントの設計およびその制御の方法が、本発明に基づき以下において提案される。図６は、本発明による双方向ＯＬＥＤマイクロディスプレイにその基礎を置いたＨＭＤにおける視線検出への依存性を示したものである。

【0066】

人間の目は、赤外線放射源３によって、法律に従って決定された制限値までの光子の照射を受けることができる。この制限値は、なかんずく、赤外線放射源３の配置に依存する。制限値は、ランプおよびランプシステムの光線生物学的安全性に関する規格ＤＩＮ ＥＮ ６２４７１、および、レーザー装置の安全性に関する規格ＤＩＮ ＥＮ ６０８２５−１において定められている。光子の一部は目によって反射されて、双方向光学系を透過する。次の信号処理において、再び光子の一部がＯＬＥＤ積層体を透過し、その後、フォトダイオード２ａ、２ｂ、・・・またはカメラアレイ２の内部において光電流Ｉ_ｐｈに変換される。カメラ−ピクセル回路は、光電流を電圧Ｕ_ｄｉｏに変換する（図５（ｔ＝時間）を参照されたい）。アナログ−ディジタル変換器は、電圧信号Ｕ_ｄｉｏをディジタル化し、ソフトウェア−視線追跡−アルゴリズムの使用に供する。

【0067】

目の像を確実に検出するには、一般に、カメラアレイ２のピクセルまたは受光素子２ａ、２ｂ、・・・の大きな電圧上昇が必要とされる。図６に示したシステムの内部において、この電圧上昇Ｕ_ｄｉｏは、次式に従って計算される。

【0068】

【数1】

（Ｕ_ｄｉｏ＝フォトダイオードの電圧、Ｕ_{ｓｐｅｒｒ}＝カメラピクセルの駆動電圧、Ｉ_ｐｈ＝光電流、Ｉ_ｓ＝フォトダイオードのカットオフ電流、Ｃ_ｒｌｚ＝フォトダイオードの体積電荷容量）

【0069】

光電流Ｉ_ｐｈの大きさは、法律に従って定められた人間の目に対する最大照射強度Ｈ_{ｉｒ＿ｍａｘ}、および図６に示したシステムの内部の反射および透過損失に間接的に依存する。光電流Ｉ_ｐｈは、集積された受光素子２ａ、２ｂ、・・・のスペクトル感度に直接的に依存する。

【0070】

システム内部における期待すべき最小の光電流Ｉ_{ｐｈ＿ｍｉｎ}（以下を参照されたい）が確認された後、設定可能なまたは許容し得る最大の積分時間Ｔ_ｉｎｔが決定される（Ｔ_ｉｎｔは、実質上、すなわち、場合によっては、個々の行におけるカメラスイッチオン遅延時間を除いて、タイミングＶ４の時間間隔ｔ_ＫＥ、またはタイミングＶ５の時間ｔ_ＬＥに対応する）。システム内部において決定された最大積分時間Ｔ_ｉｎｔが長すぎる場合には、ピクセルパルス周波数が増大し、それに伴って電力消費量も増大する。

【0071】

システムの全体を、目の像の確実な検出および最適の入力に関してチューニングするために、設定可能な最大の積分時間（または、フレームまたはディスプレイ画像が表示されている間のカメラアレイの行２ｚｋによる受光動作に関する最大の時間）の確認のための次の手法が採用され得る。

【0072】

・ＯＬＥＤ積層体の透過特性、またはディスプレイアレイおよびカメラアレイからなるアクティブマトリックスの入射光の波長λに関する依存性を、例えば、専門家によく知られた転移行列法（この方法については、ゼルネリウス（Sernelius）、Ｂｏ Ｅ．「金属表面からの反射」、リンケーピング（Linkoeping）大学、講義集、２０１０年を参照されたい）を用いて計算すること。
・本発明による双方向ＯＬＥＤディスプレイ内に集積された受光素子、またはフォトダイオード、またはフォトトランジスタの波長λに依存するスペクトル感度をシミュレートしまたは測定すること。
・アクティブマトリックスまたはＯＬＥＤ積層体の光透過曲線、および受光素子のスペクトル感度曲線を加えることによって達成可能な最大スペクトル感度を確認すること。
・数値範囲、８００ｎｍ＜λ＜１，０００ｎｍから、赤外線照射源３の最大の波長λを選択し、それによって、ＯＬＥＤ積層体またはアクティブマトリックス、および受光素子またはフォトダイオードにおいて高いスペクトル感度が達成されるようにすること。
・ＤＩＮ ＥＮ ６２４７１およびＤＩＮ ＥＮ ６０８２５−１に従って、人間の目に対する許容される最大の照射光強度を計算すること。
・双方向ディスプレイにおけるカメラアレイの光透過特性を計算すること。
・人間の目に関する達成可能な最小の反射量を評価すること。

【0073】

上記計算または評価に基づいて、カメラピクセル内部または受光素子内部における達成可能な最小の光電流Ｉ_{ｐｈ＿ｍｉｎ}が決定され、あるいは見積もられる。この値Ｉ_{ｐｈ＿ｍｉｎ}に基づき、上記式１に従って、カメラピクセル内部のＵ_ｄｉｏ?Ｕ_{ＳＰＥＲＲ}に対する設定可能な最大の積分時間Ｔ_ｉｎｔ（または、タイミングＶ４またはＶ５におけるｔ_ＫＥまたはｔ_ＡＤ）が計算によって決定される（あるいは、そのために、Ｔ_ｉｎｔがまたアナログシミュレーションによって決定される）。

【0074】

得られた積分時間Ｔ_ｉｎｔは、双方向ＯＬＥＤマイクロディスプレイの最適制御の設計、すなわち、図３および図４に示した、本発明によるディスプレイアレイ１およびカメラアレイ２の制御における時間間隔の選択のための基礎として使用される。

【0075】

従来技術において知られたパラレル駆動Ｐ）（図２の上側部分を参照されたい）では、ディスプレイアレイ１がデータを連続的に表示し、ディスプレイアレイ１の間に入れ子状に配置されたカメラアレイ２がそれと同時に使用者の視線を連続的に検出する一方、本発明に基づいて制御された双方向ディスプレイによれば、発光素子１ａ、１ｂ、・・・および受光素子２ａ、２ｂ、・・・の間の光学的および／または電気的クロストークは、最小限に抑えられ、またはほぼ完全に発生しなくなる。これは、ディスプレイアレイ１の輝度が高いとき、それにもかかわらず、カメラアレイ２によって取得されたカメラ画像が視線の向きの測定のために使用可能であるという効果をもたらす。本発明による、ディスプレイアレイの点灯時間と、カメラアレイによるカメラ画像の取得の分離は、このことに対して本質的である。

【0076】

上述のように、図２は、従来技術において知られたパラレルな制御法と、本発明によるシーケンシャルな制御法とを対比したものである。本発明によるシーケンシャルな制御法によれば、まず、ディスプレイにデータが書き込まれる。この位相において、ＯＬＥＤが点灯する。画像の行毎に時間的に同一の輝度で表示するために、各行のデータが、データの書き込みの場合と同じ順序で消去される。次いで、ＯＬＥＤが消灯され、積分時間間隔Ｔ_ｉｎｔがカメラアレイ２を伴って開始する。続いて、カメラアレイ２のデータの読み出しがなされる。必要なピクセルクロック周波数ｆ_{ｐｉｘｅｌ}が、次のようにして、本発明に基づくシーケンシャルな制御方法に対し、前もって計算された最大積分時間Ｔ_ｉｎｔ、およびディスプレイおよびカメラの解像度も考慮して、次式（式２）に従って計算される。

【0077】

【数2】

【0078】

Ｎ_{ｅｉｎ＿ｄ}?Ｎ_{ｌｏｓｃｈ＿ｄ}?ディスプレイの行数、ディスプレイの列数
Ｎ_{ｄａｒ＿ｄ}?点灯位相の間のピクセルクロックの個数
Ｎ_{ａｕｓ＿ｋ}?カメラの行数、カメラの列数、および

【0079】

【数3】

【0080】

本発明のタイミングＶ２において、ディスプレイのプログラミングの間に、カメラ露光の継続のために、ＯＬＥＤは完全に消灯される。すなわち、タイミングＶ２において、ディスプレイコントローラがまだデータの書き込みを行っている間に、ディスプレイアレイ１は、一定の時間窓に対してスイッチオフされる。本発明のタイミングＶ３は、露光時間の間およびディスプレイプログラミング位相後における、ディスプレイマトリックスの高速プログラミングおよびディスプレイのスイッチオフを記述する。タイミングＶ３においては、ディスプレイアレイ１は、ディスプレイコントローラが全てのデータの書き込みを終了した後に、一定の時間窓に対してスイッチオフされる。

【0081】

本発明のタイミングＶ４は、純粋なシーケンシャル駆動を記述しており（図２のＳを参照されたい）、この場合、ディスプレイアレイが行毎にプログラミングされ、一定の点灯時間の経過後、行毎にデータを消去される。ディスプレイアレイの最後の行のデータ消去が終了した後、カメラの露光がなされる。本発明のタイミングＶ４は、ディスプレイの調光のためにも使用可能である（輝度をパルス幅にわたって、より正確には、対応するディスプレイアレイがスイッチオフされている時間間隔ｔ_ＡＤにわって調整すること。図４を参照されたい）。すなわち、本発明による双方向ディスプレイの全輝度は、ディスプレイアレイの各行に対する点灯時間の変更によって制御され得る。タイミングＶ４においては、ディスプレイアレイの個々の行は、段階的にスイッチオフされ、その後、ディスプレイアレイが完全にスイッチオフされる。システム内部の設定可能な輝度が変更されると、より高い輝度となった場合には、ディスプレイアレイの各行または画像の各行に対する点灯時間がより長くなるように制御がなされる。

【0082】

本発明による双方向ディスプレイは、入れ子状に形成されたアクティブマトリックスを備えたＯＬＥＤマイクロディスプレイから構成され得る。しかしながら、ＣＭＯＳ回路上のディスプレイアレイおよびカメラアレイの分離がまた重要となる。本発明によってまた提案されたデータの読み出しに対する方法により、赤外線照射源は、双方向ＯＬＥＤマイクロディスプレイのカメラピクセルの内部に、可能な最大の光電流Ｉ_ｐｈを生じさせる。この光電流の定義により、式１を用いて、必要な最小の積分時間Ｔ_ｉｎｔが決定され得る。最適ではない、大きすぎる積分時間は、回路設計の労力を増大させ、システム周波数および電力消費量を増大させ、その高い周波数に起因してシステムの信頼性を低下させる。

【0083】

最適化された積分時間の使用下に、本発明のシーケンシャルな電気制御が導入され、それによって、ＯＬＥＤピクセルおよびカメラピクセル間の光学的および／電気的クロストークによる干渉が回避される。その結果、本発明によるディスプレイに基づいて実現されたＨＭＤシステムは、最適化された電力消費量でもって作動し、そして、干渉を受けることなく画像を取得する。さらには、本発明のシーケンシャルな電気制御によって、輝度の制御がまた可能である。

【0084】

こうして、非常に小型化された視線追跡型ＨＭＤは、高い信頼性を伴って作動する。ディスプレイの輝度がまた、カソード電圧調節器のような外部回路コンポーネントを備えずとも、変更可能に設定され得る。

【符号の説明】

【0085】

１ ディスプレイアレイ
１ａ、１ｂ 発光画素
２ カメラアレイ
２ａ、２ｂ 受光素子
３ 外部光源
１ｚａ１、１ｚａ２ ディスプレイアレイの行
２ｚｋ１、２ｚｋ２ カメラアレイの行

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】