(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】画像コンテンツをユーザの網膜に投影するための方法、方法を実施するための画像処理デバイス、および仮想網膜ディスプレイ用の光学システム
(51)【国際特許分類】
G02B 27/02 20060101AFI20240905BHJP
H04N 5/64 20060101ALI20240905BHJP
【FI】
G02B27/02 Z
H04N5/64 511A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024515074
(86)(22)【出願日】2022-07-08
(85)【翻訳文提出日】2024-03-07
(86)【国際出願番号】 EP2022069125
(87)【国際公開番号】W WO2023036496
(87)【国際公開日】2023-03-16
(31)【優先権主張番号】102021209877.0
(32)【優先日】2021-09-08
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】591245473
【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
(74)【代理人】
【識別番号】100118902
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100196508
【氏名又は名称】松尾 淳一
(72)【発明者】
【氏名】シュペヒト,ヘンドリク
(72)【発明者】
【氏名】ペーターセン,アンドレアス
(72)【発明者】
【氏名】ニッシュケ,クリスティアン
(72)【発明者】
【氏名】サバー,マジャール
(72)【発明者】
【氏名】スチコフ,ニコライ
(72)【発明者】
【氏名】アレマイエフ,タディヨス
【テーマコード(参考)】
2H199
【Fターム(参考)】
2H199CA02
2H199CA06
2H199CA29
2H199CA34
2H199CA42
2H199CA45
2H199CA47
2H199CA67
2H199CA68
2H199CA75
2H199CA96
(57)【要約】
本発明は、光学システム(68a)を用いて画像コンテンツをユーザの網膜(22a)に投影するための方法に関する。ここで、まず、画像データ(12a)が、画像処理デバイス(10a)を用いて捕捉される。次いで、画像データ(12a)の少なくとも第1のサブセット(17a)がブランキングされ、それにより、画像データのアクティブな第2のサブセット(19a)が生成される。ここで、第1のサブセット(17a)と第2のサブセット(19a)とが、画像データの全体量となる。次に、プロジェクタユニット(16a)は、共通の結像経路(28a、30a)で生成された、同一のアクティブな画像データを有するアイボックス(A、A1、またはB、B1)の常にただ1つのみが前記ユーザの第1の瞳孔領域の範囲内に配置されているように、画像データ(12a)を用いて制御される。第1の瞳孔領域は、瞳孔中点を取り囲む。アイボックス(A、A1、B、B1)の少なくとも一部は、ユーザの第2の瞳孔領域内にアクティブな画像データの少なくとも一部を備えて配置されている。第2の瞳孔領域は、瞳孔中点を取り囲む。第2の瞳孔領域は、第1の瞳孔領域内に配置されている。
【特許請求の範囲】
【請求項1】
光学システム(68a)を用いて画像コンテンツをユーザの網膜に投影するための方法であって、
画像コンテンツを画像データ(12a、330、400)の形で送達する画像源と、
前記画像データ(12a、330、400)のための画像処理デバイス(10a)と、
少なくとも1つの光ビーム(18a)を生成するための時間変調可能な光源(132a)、および前記画像コンテンツの走査投影のための前記少なくとも1つの光ビーム(18a)用の制御可能な偏向デバイス(92a)を備えたプロジェクタユニット(16a)と、
前記画像コンテンツを投影可能であり、前記投影された画像コンテンツをユーザの目(24a)に向けて偏向するように設計されている偏向ユニット(20a)と、
プロジェクタユニット(16a)と偏向ユニット(20a)との間に配置された光学セグメンテーション素子(32a)であって、少なくとも2つの異なる結像経路(28a、30a)を介して前記偏向ユニット(20a)の少なくとも1つの投影領域(34a)に前記画像コンテンツを投影するように構成されており、少なくとも個々の結像経路(28a、30a)が個別に制御可能である、光学セグメンテーション素子(32a)と、
前記偏向ユニット(20a)の前記少なくとも1つの投影領域(34a)に配置されており、前記投影された画像コンテンツを複製し、空間的にずらして前記ユーザの目(24a)に向けて偏向するように設計されている光学複製コンポーネント(150a)であって、空間的に互いにずらして配置された、前記画像コンテンツを備えた複数のアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が生成される、光学複製コンポーネント(150a)と
を少なくとも有し、
前記画像処理デバイス(10a)を用いて前記画像データ(12a、330、400)を捕捉(200)する方法ステップと、
前記画像データ(12a、330、400)の少なくとも第1のサブセット(17a、281、291、300、381、387)をブランキング(205)する方法ステップであって、それにより、前記画像データ(12a、300、4000)のアクティブな第2のサブセット(19a、280、290、380、393)が生成され、前記第1のサブセット(17a、281、291、300、381、387)と前記第2のサブセット(19a、280、290、380、393)とが、前記画像データ(12a、330)の全体量となる、方法ステップと、
共通の結像経路(28a、30a)で生成された、同一のアクティブな画像データを備えたアイボックス(A、A’、A’’、A’’’またはB、B’、B’’、B’’’またはC、C’、C’’、C’’’またはD、D’、D’’、D’’’)の常にただ1つのみが前記ユーザの第1の瞳孔領域(261)の範囲内に配置されているように、特に前記ブランキングされた画像データおよび前記アクティブな画像データを用いて前記プロジェクタユニット(16a)を制御(245)する方法ステップであって、前記第1の瞳孔領域(261)が、前記瞳孔中点(399)を取り囲み、前記アイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)の少なくとも一部が、前記ユーザの第2の瞳孔領域(262)内に前記アクティブな画像データの少なくとも一部を備えて配置されており、前記第2の瞳孔領域(262)が、前記瞳孔中点(399)を取り囲み、前記第2の瞳孔領域(262)が、前記第1の瞳孔領域(261)内に配置されている、方法ステップと、
を有する、方法。
【請求項2】
前記画像データ(12a、330、400)の少なくとも第3のサブセット(285、294、302、385、390、394)をブランキング(210)する方法ステップであって、それにより、前記画像データ(12a、330、400)のアクティブな第4のサブセット(284、386、389)が生成され、前記第3のサブセット(285、294、302、385、390、394)と前記第4のサブセット(284、386、389)とが、前記画像データ(12a、330、400)の全体量となり、前記第2のサブセット(19a、280、290、380、393)と前記第4のサブセット(284、386、389)とが、少なくとも部分的に互いに異なる、方法ステップをさらに含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記画像データ(12a、330、400)、特に前記画像データ(12a、330、400)の異なるサブセット(280、281、282、283、284、285、286、287、290、291、293、294、295、300、301、302、303、380、381、382、383、384、385、386、387、388、389、390、391、392、393、394、395、396)が、前記光学セグメンテーション素子(32a)を用いて、前記画像コンテンツの特にそれぞれ少なくとも一部を、少なくとも4つの異なる結像経路(28a、30a)を介して前記偏向ユニット(20a)の少なくとも1つの投影領域(34a)に投影することを可能にすることを特徴とする請求項1または2に記載の方法。
【請求項4】
前記画像データ(12a、330、400)の少なくとも第5のサブセット(282、292、382、388、395)をブランキング(215)する方法ステップであって、それにより、前記画像データ(12a、330、400)のアクティブな第6のサブセット(283、293、301)が生成され、前記第5のサブセット(282、292、382、388、395)と前記第6のサブセット(283、293、301)とが、前記画像データ(12a、330、400)の全体量となる、方法ステップと、
前記画像データ(12a、330、400)の少なくとも第7のサブセット(287、295、303、383、391、396)をブランキング(220)する方法ステップであって、それにより、前記画像データ(12a、330、400)のアクティブな第8のサブセット(286、384、392)が生成され、前記第7のサブセット(287、295、303、383、391、396)と前記第8のサブセット(286、384、392)とが、前記画像データ(12a、330、400)の全体量となり、前記第2のサブセット(19a、280、290、380、393)、前記第4のサブセット(284、386、389)、前記第6のサブセット(283、293、301)、および前記第8のサブセット(286、384、392)とが、少なくとも部分的に互いに異なる、方法ステップと、
をさらに含むことを特徴とする請求項3に記載の方法。
【請求項5】
前記画像データ(12a、330、400)のすべてのアクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が合わさって、少なくとも完全な画像コンテンツとなることを特徴とする請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記画像データ(12a、330、400)のすべてのアクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が合わさって、完全な画像コンテンツを越えるものとなることを特徴とする請求項5に記載の方法。
【請求項7】
前記画像データ(12a、330、400)の前記アクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が、少なくとも部分的に重複することを特徴とする請求項6に記載の方法。
【請求項8】
前記投影された画像コンテンツの輝度の分布が本質的に一様になるように、前記画像データ(12a、330、400)の前記アクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)の重複領域で、前記画像データ(12a、330、400)の前記アクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)の輝度を適合(225)する方法ステップをさらに有することを特徴とする請求項7に記載の方法。
【請求項9】
前記第1の瞳孔領域(261)が、前記ユーザの想定可能な最大の瞳孔径を有することを特徴とする請求項1~8のいずれか一項に記載の方法。
【請求項10】
前記第2の瞳孔領域(262)が、前記ユーザの想定可能な最小の瞳孔径を有することを特徴とする請求項1~9のいずれか一項に記載の方法。
【請求項11】
互いに空間的にずらして配置された前記複数のアイボックス(A、A、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)内の画像コンテンツが特に瞳孔面(252、256)で前記瞳孔中点(399)の最も近くにある、前記画像データ(12a、330、400)の前記少なくとも1つの生成されたアクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が、画像データ(12a、300、400)を少なくとも含むように、前記画像データ(12a、330、400)の前記少なくとも1つのブランキングされたサブセット(281、282、285、287、291、292、294、295、300、302、303、381、382、383、385、387、388、390、391、394、395、396)が選択されることを特徴とする請求項1~10のいずれか一項に記載の方法。
【請求項12】
前記生成されたアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)に対する前記ユーザの前記瞳孔位置、特に前記瞳孔中点(399)の位置に応じて、前記画像データ(12a、330、400)の前記ブランキングされたサブセット(281、282、285、287、291、292、294、295、300、302、303、381、382、383、385、387、388、390、391、394、395、396)のうちの少なくとも2つが、本質的に同じ大きさであることを特徴とする請求項2~11のいずれか一項に記載の方法。
【請求項13】
前記ユーザの前記瞳孔位置に応じて、前記第2のサブセット(19a、280、290、380、393)、前記第4のサブセット(284、386、389)、前記第6のサブセット(283、293、301)、および前記第8のサブセット(286、384、392)がそれぞれ前記画像データ(12a、330、400)の全体量の4分の1に相当することを特徴とする請求項4~12のいずれか一項に記載の方法。
【請求項14】
前記光学セグメンテーション素子(32a)および前記光学複製コンポーネント(150a)を用いて、前記複数のアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が、本質的にラスタ状に配置されているように生成されることを特徴とする請求項1~13のいずれか一項に記載の方法。
【請求項15】
前記アイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が、本質的に長方形、特に正方形に配置されており、または本質的に平行四辺形、特に菱形に配置されており、特に2つの内角が本質的に60°の角度を有することを特徴とする請求項14に記載の方法。
【請求項16】
前記画像コンテンツの歪みが前記少なくとも2つの結像経路(28a、30a)を介して少なくとも部分的に補償されるように、前記画像処理デバイス(10a)を用いて前記画像データ(12a、330、400)のプリディストーション(235)を行う方法ステップをさらに含むことを特徴とする請求項1~15のいずれか一項に記載の方法。
【請求項17】
前記画像データ(12a、330、400)のプリディストーション(235)とブランキング(205、210、215、220)とが同時に行われることを特徴とする請求項16に記載の方法。
【請求項18】
アイトラッカ(62a)を用いて、さらに前記生成されたアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)に対する前記ユーザの前記瞳孔位置、特に前記瞳孔中点(399)の位置が捕捉(235)されることを特徴とする請求項1~17のいずれか一項に記載の方法。
【請求項19】
請求項1~18のいずれか一項に記載の方法を実施するように構成された画像処理デバイス(10a)であって、
画像データ(12a、330、400)を捕捉し、
前記画像データ(12a、330、400)の少なくとも第1のサブセット(17a、281、291、300、381、387)をブランキングし、それにより、前記画像データのアクティブな第2のサブセット(19a、280、290、380、393)が生成され、前記第1のサブセット(17a、281、291、300、381、387)と前記第2のサブセット(19a、280、290、380、393)とが、前記画像データ(12a、330、400)の全体量となり、
共通の結像経路(28a、30a)で生成された、同一のアクティブな画像データを備えたアイボックス(A、A’、A’’、A’’’またはB、B’、B’’、B’’’またはC、C’、C’’、C’’’またはD、D’、D’’、D’’’)の常にただ1つのみが前記ユーザの第1の瞳孔領域(261)の範囲内に配置されているように、特に前記ブランキングされた画像データおよび前記アクティブな画像データ(12a、300、400)を用いてプロジェクタユニット(16a)を制御し、前記第1の瞳孔領域(261)が、前記瞳孔中点(399)を取り囲み、前記アイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)の少なくとも一部が、前記ユーザの第2の瞳孔領域(262)内に前記アクティブな画像データの少なくとも一部を備えて配置されており、前記第2の瞳孔領域(262)が、前記瞳孔中点(399)を取り囲み、前記第2の瞳孔領域(262)が、前記第1の瞳孔領域(261)内に配置されている、
ように構成されている画像処理デバイス(10a)。
【請求項20】
仮想網膜ディスプレイ(網膜走査ディスプレイ)用の光学システム(68a)であって、
画像コンテンツを画像データの形で送達する画像源と、
請求項19に記載の画像データ(12a、330、400)用の画像処理デバイス(10a)と、
少なくとも1つの光ビーム(18a)を生成するための時間変調可能な光源(132a)、および前記画像コンテンツの走査投影のための前記少なくとも1つの光ビーム(18a)用の制御可能な偏向デバイス(92)を備えたプロジェクタユニット(16a)と、
前記画像コンテンツを投影可能であり、前記投影された画像コンテンツをユーザの目(24a)に向けて偏向するように設計されている偏向ユニット(20a)と、
プロジェクタユニット(16a)と偏向ユニット(20a)との間に配置された光学セグメンテーション素子(32a)であって、少なくとも2つの異なる結像経路(28a、30a)を介して前記偏向ユニット(20a)の少なくとも1つの投影領域(34a)に前記画像コンテンツを投影するように構成されており、少なくとも個々の結像経路(28a、30a)が個別に制御可能である、光学セグメンテーション素子(32a)と、
前記偏向ユニット(20a)の前記少なくとも1つの投影領域(34a)に配置されており、前記投影された画像コンテンツを複製し、空間的にずらして前記ユーザの目(24a)に向けて偏向するように設計されている光学複製コンポーネント(150a)であって、空間的に互いにずらして配置された、前記画像コンテンツを備えた複数のアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が生成される、光学複製コンポーネント(150a)と、
を少なくとも有する光学システム(68a)。
【請求項21】
眼鏡フレーム(144a)および眼鏡レンズ(70a、72a)を備えたスマートグラス(66a)を含む光学システム(68a)において、前記少なくとも1つのプロジェクタユニット(16a)および前記少なくとも1つの光学セグメンテーション素子(32a)が、前記眼鏡フレーム(144a)に配置されており、前記少なくとも1つの光学複製コンポーネント(150a)を備えた前記少なくとも1つの偏向ユニット(20a)が、少なくとも1つの眼鏡レンズ(70a、72a)の領域内に配置されており、特に少なくとも1つの眼鏡レンズ(70a、72a)に組み込まれていることを特徴とする請求項20に記載の光学システム(68a)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光学システムを用いて画像コンテンツをユーザの網膜に投影するための方法に関する。さらに、本発明は、その方法を実施するための画像処理デバイス、およびその画像処理デバイスを備えた仮想網膜ディスプレイ(網膜走査ディスプレイ)用の光学システムに関する。
【背景技術】
【0002】
米国特許出願公開第2016/377865号明細書から、既に光学システムを用いて画像コンテンツをユーザの網膜に投影するための方法が知られている。
眼鏡レンズに組み込まれた偏向ユニットに対する瞳孔の距離は、例えば鼻にかけた眼鏡のずれによって変わることがあり、それにより、瞳孔が光学システムの射出瞳面内に位置しなくなる。射出瞳面の外では、偏向ユニットを用いた目への光ビームの偏向により生じるビーム束が明らかに発散されているので、ユーザに対して二重像が生じる可能性がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2016/377865号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
この問題に基づいて、本発明の目的は、偏向ユニットに対する瞳孔の距離にほぼ関係なく二重像を回避することができる、画像コンテンツをユーザの網膜に投影するための方法を開発することである。
【課題を解決するための手段】
【0005】
この課題を解決するために、請求項1に記載の光学システムを用いて画像コンテンツをユーザの網膜に投影するための方法が提案される。さらに、請求項19に記載の画像処理デバイス、および請求項20に記載の仮想網膜ディスプレイ(網膜走査ディスプレイ)用の光学システムが提案される。
【0006】
画像コンテンツをユーザの網膜に投影するための方法を実施する光学システムは、画像コンテンツを画像データの形で送達する少なくとも1つの画像源を有する。画像データは、特に、カラー画像データ、例えばRGB画像データとして構成されている。特に、画像データは、静止画像または動画像、例えばビデオとして構成されていてもよい。さらに、光学システムは、少なくとも1つの光ビームを生成するための時間変調可能な光源と、画像コンテンツの走査投影のための少なくとも1つの光ビーム用の制御可能な偏向デバイスとを備えたプロジェクタユニットを有する。プロジェクタユニットは、特に、画像データからの画像コンテンツを、走査および/またはラスタ化された光ビームの形で放射するように設計されている。偏向デバイスは、特にMEMSミラー(マイクロミラーアクチュエータ)として構成されており、少なくとも、プロジェクタユニットの光源からの少なくとも1つの光ビームを制御下で偏向する。さらに、光学システムは、画像コンテンツを投影可能であり、投影された画像コンテンツをユーザの目に向けて偏向するように設計されている偏向ユニットを有する。偏向ユニットは、ここでは特に、光学素子、例えば回折、反射、屈折、および/またはホログラフィック光学素子の配置を含む。しかしここで、好ましくは、偏向ユニットは、常に少なくとも1つのホログラフィック光学素子を含む。偏向ユニットは、特に、投影された画像コンテンツの強度の一部のみをユーザの目に向けて偏向するために提供される。投影された画像コンテンツの強度の少なくともさらなる部分が、偏向ユニットを通過する。偏向ユニットは、少なくとも垂直な視線方向からは、ユーザには本質的に透明に見える。特に、偏向ユニットは、投影領域を構成する。さらに、光学システムは、プロジェクタユニットと偏向ユニットとの間に配置された光学セグメンテーション素子を含み、光学セグメンテーション素子は、少なくとも2つの異なる結像経路を介して偏向ユニットの少なくとも1つの投影領域に画像コンテンツを投影するように構成されている。ここで、少なくとも個々の結像経路は、個別に制御可能である。特に、第1の時点で、完全な画像コンテンツが、選択的に少なくとも2つの異なる結像経路のうちの1つを介して偏向ユニットの少なくとも1つの投影領域に投影される。特に、第1の時点で、画像データの第1の部分が少なくとも2つの異なる結像経路のうちの第1の経路を介して偏向ユニットの少なくとも1つの投影領域に投影され、第1の時点の後の第2の時点で、画像データの第2の部分が少なくとも2つの異なる結像経路のうちの第2の経路を介して偏向ユニットの少なくとも1つの投影領域に投影される。特に、第1の時点で同時に、画像データの第1の部分が少なくとも2つの異なる結像経路のうちの第1の経路を介して偏向ユニットの少なくとも1つの投影領域に投影され、画像データの第2の部分が少なくとも2つの異なる結像経路のうちの第2の経路を介して偏向ユニットの少なくとも1つの投影領域に投影される。光学セグメンテーション素子は、特に空間的にセグメント化された光学素子として構成することができ、これは特に、画像データの空間的セグメンテーションを行うために提供される。光学セグメンテーション素子は、特に時間的にセグメント化された光学素子として構成されていてもよい。これにより、有利には、結像の良好な空間解像度を達成することができる。さらに、光学システムは光学複製コンポーネントを含み、光学複製コンポーネントは、偏向ユニットの少なくとも1つの投影領域に配置され、投影された画像コンテンツを複製し、空間的にずらしてユーザの目に向けて偏向するように設計されており、それにより、空間的に互いにずらして配置された、画像コンテンツを備えた複数のアイボックスが生成される。そのようなアイボックスは、特にユーザの瞳孔面に配置されており、特に偏向ユニットによって偏向された光ビーム束によって瞳孔面に交点として構成されている。一般的な瞳孔面は、例えば眼球の回転運動などにより、完全な平面からのずれを有することがある。特に、瞳孔面は、スマートグラスの眼鏡レンズの表面、特にスマートグラスの眼鏡レンズの光ビームを反射する部分の表面に対してほぼ平行に延びる。特に、光ビームがアイボックスを通過し、光ビームは、全体として完全な画像コンテンツを運ぶことができる。瞳孔面の位置は、瞳孔の位置に依存する。したがって、瞳孔面は、特に偏向ユニットと射出瞳面との間に位置する。射出瞳面は、特に、瞳孔面と本質的に平行な光学システム、好ましくはスマートグラスの面として構成されており、光学システムの使用時に光学システムのユーザの瞳孔がほぼ理想的にそこに位置する。この平面内で、光ビーム束は最適に合焦される。瞳孔面が射出瞳面の位置にある場合、射出瞳面上の射出瞳もアイボックスである。アイボックスとしての射出瞳は、最適に合焦された光ビーム束を表す。代替として、瞳孔面は偏向ユニットに対して射出瞳面の後ろに位置することもできる。光学複製コンポーネントとは、特に、投影された画像コンテンツの空間的にずらされた光学複製を生成する、光学素子を含む光学システムのコンポーネントとして理解すべきである。特に、光学複製コンポーネントは、偏向ユニットの少なくとも一部を構成する。特に、光学複製コンポーネントは、光学セグメンテーション素子の個々の結像経路を介して投影されるすべての画像コンテンツを複製するために提供される。特に、光学複製コンポーネントは、光学セグメンテーション素子によって行われるセグメンテーションの数の倍数(例えば2倍や3倍など)に対応する数のアイボックスを生成するために提供される。
【0007】
上記の光学システムを用いて画像コンテンツをユーザの網膜に投影するための方法では、まず、画像データが画像処理デバイスを用いて捕捉される。続いて、画像データの少なくとも第1のサブセットがブランキングされ、したがって画像データの第2のアクティブなサブセットが生成される。ここで、第1のサブセットと第2のサブセットとが、画像データの全体量となる。画像データのブランキングとは、特に、画像データのサブセットを非アクティブ化することを意味する。特に、画像データのブランキングとは、画像データのサブセットのマスキングを意味する。ここでは、画像データとしてのピクセルが特に非アクティブ化またはブランキングされる。特に、サブセットは、画像データの全体量の0~100%の範囲内の量を有する。次いで、プロジェクタユニットは、画像データの特にブランキングされたサブセットおよびアクティブなサブセットを用いて、共通の結像経路で生成された、同一のアクティブな画像データを備えたアイボックスの常にただ1つのみがユーザの第1の瞳孔領域の範囲内に配置されているように制御される。ここで、第1の瞳孔領域は、瞳孔中点を取り囲む。アイボックスの少なくとも一部は、ユーザの第2の瞳孔領域内にアクティブな画像データの少なくとも一部を備えて配置されている。第2の瞳孔領域は、瞳孔中点を取り囲む。第2の瞳孔領域は、第1の瞳孔領域内に配置されている。これにより、2つの瞳孔領域内での偏向ユニットに対する瞳孔の距離に関係なく、ユーザに対して二重像が現れないという利点が得られる。そのような二重像は、共通の結像経路のアイボックスでの同じ画像データを第1の瞳孔領域内に同時に表示することによって生じる。さらに、画像データの少なくとも一部が、より小さい第2の瞳孔領域内に常に配置されていることも同時に保証される。
【0008】
好ましくは、さらなる方法ステップで、画像データの少なくとも第3のサブセットがブランキングされ、したがって画像データのアクティブな第4のサブセットが生成される。ここで、第3のサブセットと第4のサブセットとが、画像データの全体量となる。第2のサブセットと第4のサブセットとは、少なくとも部分的に互いに異なる。サブセットの区別は、特にサブセット内の画像データの数を意味するものではない。そうではなく、個々の画像データは、特に画像コンテンツによって割り当てられた位置、特にピクセル位置を像面に有する。サブセットは、特に画像データのこれらの位置が異なる。ここでも、サブセットは、画像データの全体量の0~100%の範囲内の量を有する。特に、このさらなる方法ステップに関して、特に第1のサブステップで、画像データの少なくとも1つのコピー、特に完全なコピーが画像処理デバイスを用いて生成され、画像データの少なくとも2つの完全なインスタンスが存在する。第2のサブステップで、画像データの少なくとも2つの完全なインスタンスにおいて部分的なブランキングが行われ、画像データのブランキングされた第1のサブセットが画像データの第1のインスタンスで生じ、画像データのブランキングされた第3のサブセットが画像データの第2のインスタンスで生じる。それに対応して、画像データのアクティブな第2のサブセットが画像データの第1のインスタンスで生じ、画像データのアクティブな第4のサブセットが画像データの第2のインスタンスで生じる。代替として、2つのサブステップを組み合わせることもできる。代替として、両方のサブステップを、画像データのさらなる一時記憶を行わずに、例えば1つのパイプライン構造またはいくつかの並列パイプライン構造で、例えば画像処理デバイス内での画像データの電子的伝送、好ましくはデジタル伝送中に論理演算によって行うこともできる。
【0009】
好ましくは、画像データは、光学セグメンテーション素子を用いて、画像コンテンツを、少なくとも4つの異なる結像経路を介して偏向ユニットの少なくとも1つの投影領域に投影することを可能にする。特に、画像データの異なるサブセットは、光学セグメンテーション素子を用いて、画像コンテンツのそれぞれ少なくとも一部を少なくとも4つの異なる結像経路を介して偏向ユニットの少なくとも1つの投影領域に投影することを可能にする。異なる結像経路を介するこの投影は、同時に、または代替として順次に行うことができる。したがって、少なくとも4つの異なる結像経路は4つの異なるアイボックスも可能にし、光学複製コンポーネントを用いてアイボックスを任意に増やすことができる。このために、好ましくは、さらなる方法ステップで、画像データの少なくとも第5のサブセットがブランキングされ、したがって画像データのアクティブな第6のサブセットが生成される。ここで、第5のサブセットと第6のサブセットとが、画像データの全体量となる。さらに、画像データの少なくとも第7のサブセットがブランキングされ、したがって画像データのアクティブな第8のサブセットが生成される。ここで、第7のサブセットと第8のサブセットとが、画像データの全体量となる。第2、第4、第6、および第8のサブセットは、少なくとも部分的に互いに異なる。特に、これらのさらなる方法ステップに関して、画像データの2つのさらなる、特に完全なコピーが画像処理デバイスを用いて生成される。画像データの第5~第8のサブセットを生成するために、2つのサブステップでの手順が考えられ、第1のサブステップで、例えば画像メモリで画像データの少なくとも2つのさらなる完全なコピーが生成され、画像データの合計4つのインスタンスが存在する。第2のサブステップで、画像データのインスタンスにおいて部分的なブランキングが行われ、画像データのブランキングされた第1、第3、第5、および第7のサブセットが画像データの第1、第2、第3、および第4のインスタンスに生じる。したがって、画像データの第1、第2、第3、および第4のインスタンスに、画像データのアクティブな第2、第4、第6、および第8のサブセットが生じる。代替として、2つのサブステップを組み合わせることもできる。代替として、両方のサブステップを、画像データのさらなる一時記憶を行わずに、例えば1つのパイプライン構造またはいくつかの並列パイプライン構造で、例えば画像処理デバイス内での画像データの電子的伝送、好ましくはデジタル伝送中に論理演算によって行うこともできる。
【0010】
好ましくは、画像データのすべてのアクティブなサブセットが合わさって、少なくとも完全な画像コンテンツとなる。したがって、ユーザに完全な画像コンテンツが示されることが保証される。好ましくは、画像データのすべてのアクティブなサブセットが合わさって、完全な画像コンテンツを越えるものとなる。それにより、方法全体をよりロバストにすることができ、瞳孔位置が正確にはわかっていない場合でも、完全な画像コンテンツの視認性が保証される。画像データのアクティブなサブセットは好ましくは部分的に重複し、それにより、画像コンテンツの一部は、異なるアイボックスでユーザに多重に表示される。好ましくは、投影された画像コンテンツの輝度の分布が本質的に一様になるように、画像データのアクティブなサブセットの重複領域内での画像データのアクティブなサブセットの輝度が適合される。これに関して、特に、重複領域内の画像データ、特にピクセルのすべてのアクティブなサブセットの輝度が、同じ大きさの第1の調光係数で調光される。代替として、特に、重複領域内の画像データのアクティブなサブセットのうちの1つのみが、第2の調光係数で調光される。特に、調光係数は、輝度勾配を用いて生成される。特に、輝度勾配は、重複領域内で、画像データのブランキングされたサブセットまでの距離が減少するにつれて画像データのアクティブなサブセットの輝度が減少するように設定される。特に、ピクセルが画像データのアクティブなサブセットに属しているか、またはブランキングされたサブセットに属しているかに関する情報は、重複領域での調光係数に関するピクセルごとの情報と共に、共通の輝度マスク、特に画像情報の赤、緑、青チャンネルに追加されるアルファチャンネルで表すことができる。
【0011】
好ましくは、第1の瞳孔領域は、ユーザの想定可能な最大の瞳孔径を有する。ここで、想定可能な最大の瞳孔径は、特に、用途の基礎となる周囲輝度範囲の下端での目の適応によって調整される、取り得る最大のユーザ瞳孔径を表す。
【0012】
好ましくは、第2の瞳孔領域は、ユーザの想定可能な最小の瞳孔径を有する。ここで、想定可能な最小の瞳孔径は、特に、用途の基礎となる周囲輝度範囲の上端での目の適応によって調整される、取り得る最小のユーザ瞳孔径を表す。
【0013】
好ましくは、互いに空間的にずらして配置された複数のアイボックス内の画像コンテンツが特に瞳孔面で瞳孔中点の最も近くにある、画像データの少なくとも1つの生成されたアクティブなサブセットが、画像データを少なくとも含むように、特に画像処理デバイスを用いて画像データの少なくとも1つのブランキングされたサブセットが選択される。言い換えると、画像データの少なくとも1つの生成されたアクティブなサブセットは、互いに空間的にずらして配置された複数のアイボックスにおいて、特に瞳孔面で瞳孔中点までの最短距離を有する画像コンテンツを有する画像データを少なくとも含む。したがって、画像データの生成されたアクティブなサブセットが、第1の瞳孔領域内にあり、本質的に第2の瞳孔領域内にもあることが保証される。
【0014】
好ましくは、生成されたアイボックスに対するユーザの瞳孔位置、特に瞳孔中点の位置に応じて、ブランキングされたサブセットのうちの少なくとも2つが本質的に同じ大きさである。これは、ブランキングされたサブセットのうちの少なくとも2つが本質的に同じ大きさである少なくとも1つの瞳孔位置が存在することを意味する。これに関連して、好ましくは少なくとも4つの異なる結像経路に関連して、瞳孔位置に応じて、第2のサブセット、第4のサブセット、第6のサブセット、および第8のサブセットがそれぞれ画像データの全体量の4分の1に相当することが企図される。言い換えると、画像コンテンツは、像面で4等分に分割される。2つの異なる結像経路では、画像データのアクティブなサブセットがそれぞれ画像データの全体量の半分に相当する。等しい大きさのサブセットのこの配置構成は、特に、異なる結像経路で生成された各アイボックスの少なくとも同じ大きさの部分が第2の瞳孔領域内に位置するときに生じる。これに対する代替として、画像データのブランキングされたサブセットは、好ましくは、異なる大きさになるように構成される。この配置構成は、特に、異なる結像経路で生成された各アイボックスの異なる大きさの部分が第2の瞳孔領域内に位置するときに生じる。
【0015】
好ましくは、光学セグメンテーション素子および光学複製コンポーネントを用いて、複数のアイボックスは、本質的にラスタ状に配置されているように生成される。「ラスタ」とは、特に、面に分布された規則的なパターンを意味する。特に、アイボックスは互いに重なり合わないように配置されている。特に、光学システムの瞳孔面内でのアイボックスの配置(アイボックスパターン)に関する様々な幾何学的な配置パターンが考えられる。好ましくは、アイボックスは本質的に長方形に配置されている。特にこれに関連して、アイボックスは本質的に正方形に配置されている。特に、これに対する代替として、アイボックスは本質的に平行四辺形に配置されている。特にこれに関連して、アイボックスは本質的に菱形または斜方形に配置されている。特に、アイボックスは本質的に菱形に配置されており、2つの内角が本質的に60°の角度を有する。
【0016】
好ましくは、さらなる方法ステップで、画像コンテンツの歪みが少なくとも2つの結像経路を介して少なくとも部分的に補償されるように、画像処理デバイスを用いて画像データがプリディストーションされる。それにより、有利には、特に大きく有効な全体的なアイボックスを達成することができ、これは、特に同時に、できるだけ大きい視野を有し、さらに有利には二重像を生じない。好ましくは、画像データのプリディストーションとブランキングとが同時に行われる。特に、これに対する代替として、画像データのプリディストーションとブランキングとが時間的に順次に行われる。これに関連して、特に画像データのブランキングが、時間的に画像データのプリディストーションの前に行われる。特に、画像処理デバイスは、画像源からの画像データの回転、オフセット、スケーリングなどを行うようにさらに構成される。特に、画像処理デバイスは、数学的規則、例えばルックアップテーブルまたは方程式、特に多項式に対応して、画像データの個々のピクセルそれぞれに位置補正、特に赤、緑、および青チャンネルに関する個別の位置補正を割り当てるように構成され、これは、特に較正データを考慮に入れることができる。
【0017】
好ましくは、アイトラッカを用いて、さらに生成されたアイボックスに対するユーザの瞳孔位置が捕捉される。特に、アイトラッカを用いて、生成されたアイボックスに対する瞳孔中点の位置が捕捉される。したがって、ユーザの変化する瞳孔位置と、その結果必要な、画像データのブランキングされたサブセットおよびアクティブなサブセットの変化とを、この方法で自動的に考慮に入れることができる。
【0018】
本発明のさらなる主題は、画像コンテンツをユーザの網膜に投影するための前述の方法を実施するように構成された画像処理デバイスである。これに関連して、画像処理デバイスは、画像データを捕捉し、画像データの少なくとも第1のサブセットをブランキングするように構成される。したがって画像データのアクティブな第2のサブセットが生成され、第1のサブセットと第2のサブセットとが、画像データの全体量となる。さらに、画像処理デバイスは、共通の結像経路で生成された、同一のアクティブな画像データを備えたアイボックスの常にただ1つのみがユーザの第1の瞳孔領域の範囲内に配置されるように、画像データの特にブランキングされたサブセットおよびアクティブなサブセットを用いてプロジェクタユニットを制御するように構成されている。ここで、第1の瞳孔領域は、瞳孔中点を取り囲む。さらに、アイボックスの少なくとも一部は、ユーザの第2の瞳孔領域内にアクティブな画像データの少なくとも一部を備えて配置されている。ここで、第2の瞳孔領域は、瞳孔中点を取り囲む。第2の瞳孔領域は、第1の瞳孔領域内に配置されている。
【0019】
本発明のさらなる主題は、画像コンテンツを画像データの形で送達する前述の画像源を有する仮想網膜ディスプレイ(網膜走査ディスプレイ)用の光学システムである。さらに、光学システムは、画像コンテンツをユーザの網膜に投影するための前述の方法を同様に実施するように構成されている前述の画像処理デバイスを有する。さらに、光学システムは、少なくとも1つの光ビームを生成するための時間変調可能な光源と、画像コンテンツの走査投影のための少なくとも1つの光ビーム用の制御可能な偏向デバイスとを有する前述のプロジェクタユニットを有する。さらに、光学システムは、画像コンテンツを投影可能であり、投影された画像コンテンツをユーザの目に向けて偏向するように設計されている前述の偏向ユニットを含む。さらに、光学システムは、プロジェクタユニットと偏向ユニットとの間に配置された前述の光学セグメンテーション素子を備え、光学セグメンテーション素子は、少なくとも2つの異なる結像経路を介して偏向ユニットの少なくとも1つの投影領域に画像コンテンツを投影するように構成され、少なくとも個々の結像経路が個別に制御可能である。さらに、光学システムは、同様に前述した光学複製コンポーネントを備え、光学複製コンポーネントは、偏向ユニットの少なくとも1つの投影領域に配置され、投影された画像コンテンツを複製し、空間的にずらしてユーザの目に向けて偏向するように設計されており、それにより、空間的に互いにずらして配置された、画像コンテンツを有する複数のアイボックスが生成される。
【0020】
好ましくは、光学システムは、眼鏡フレームおよび眼鏡レンズを備えたスマートグラスを含む。ここで、少なくとも1つのプロジェクタユニットおよび少なくとも1つの光学セグメンテーション素子は、眼鏡フレームに配置されている。少なくとも1つの偏向ユニットは、少なくとも1つの光学複製コンポーネントと共に、眼鏡レンズの少なくとも一方の領域内に配置されている。特に、少なくとも1つの光学複製コンポーネントを備えた偏向ユニットは、少なくとも一方の眼鏡レンズに組み込まれる。
【図面の簡単な説明】
【0021】
【
図1】仮想網膜ディスプレイ(網膜走査ディスプレイ)用の光学システムを示す図である。
【
図2】スマートグラスを含む光学システムを示す図である。
【
図3】光学システムを用いて画像コンテンツをユーザの網膜に投影するための方法を示す図である。
【
図4a】瞳孔から偏向ユニットまでの様々な距離を示す図である。
【
図4b】目が光学システムの射出瞳面にあるときの瞳孔面でのアイボックスを示す図である。
【
図4c】目が光学システムの射出瞳面の前または後ろにあるときの瞳孔面でのアイボックスを示す図である。
【
図5a】
図5aは、目が光学システムの射出瞳面の前にあるときの、瞳孔中点の1つの位置、およびそれにより得られるアイボックスの正方形配置の様々なアクティブな部分とを示す図である。
【
図5b】
図5bは、画像データの関連するサブセットを示す図である。
【
図6a】
図6aは、目が光学システムの射出瞳面の前にあるときの、瞳孔中点の1つの位置、およびそれにより得られるアイボックスの正方形配置の様々なアクティブな部分とを示す図である。
【
図6b】
図6bは、画像データの関連するサブセットを示す図である。
【
図7a】
図7aは、目が光学システムの射出瞳面の前にあるときの、瞳孔中点の1つの位置、およびそれにより得られるアイボックスの正方形配置の様々なアクティブな部分とを示す図である。
【
図7b】
図7bは、画像データの関連するサブセットを示す図である。
【
図8a】
図8aは、目が光学システムの射出瞳面の前にあるときの、瞳孔中点の1つの位置、およびそれにより得られるアイボックスの菱形配置の様々なアクティブな部分を示す図である。
【
図8b】
図8bは、画像データの関連するサブセットを示す図である。
【
図9a】
図9aは、目が光学システムの射出瞳面の前にあるときの、瞳孔中点の1つの位置、およびそれにより得られるアイボックスの菱形配置の様々なアクティブな部分を示す図である。
【
図9b】
図9bは、画像データの関連するサブセットを示す図である。
【
図10a】
図10aは、目が光学システムの射出瞳面の前にあるときの、瞳孔中点の1つの位置、およびそれにより得られるアイボックスの菱形配置の様々なアクティブな部分を示す図である。
【
図10b】
図10bは、画像データの関連するサブセットを示す図である。
【
図11】画像データのプリディストーションを示す図である。
【発明を実施するための形態】
【0022】
図1は、光学システム68aの概略図を示す。光学システム68aは、画像源(ここには図示せず)を備える。画像源は、画像コンテンツを画像データ12aの形で送達する。画像源は、特に、
図2に示されるスマートグラス66aの一体部分である。代替として、画像源は、外部機器146aとして、または外部機器146aの一部として構成することもできる。光学システム68aは、画像処理デバイス10aを備える。画像データ12aは、例えば静止画像またはビデオフィードを形成することができる。さらに、光学システム68aは、画像データ12aを捕捉し、画像データの少なくとも第1のサブセット17aをブランキングするように構成された画像処理デバイス10aを備え、それにより、画像データ14aのアクティブな第2のサブセット19aが生成される。第1のサブセットと第2のサブセットとが、画像データの全体量となる。さらに、画像処理デバイスは、共通の結像経路28aまたは30aで生成された、画像データ14aの同一のアクティブなサブセット19aを有するアイボックスA、A’またはB、B’の常にただ1つのみがユーザの第1の瞳孔領域(ここには図示せず)の範囲内に配置されるように、画像データの特にブランキングされたサブセットおよびアクティブなサブセットを用いて光学システム68aのプロジェクタユニット16aを制御するように構成される。第1の瞳孔領域は、瞳孔中点(ここには図示せず)を取り囲み、アイボックスA、A’、B、B’の少なくとも一部は、ユーザの第2の瞳孔領域(ここには図示せず)内にアクティブな画像データの少なくとも一部を備えて配置されている。ここで、第2の瞳孔領域は、瞳孔中点を取り囲み、第2の瞳孔領域は、第1の瞳孔領域内に配置されている。画像処理デバイス10aは、演算ユニット78aと部分的に一体に構成することができる。
図1に示される例示的実施形態では、画像処理デバイス10aは、画像データの4つのコピー14aを生成し、コピー14aはそれぞれ完全な画像コンテンツを含む。次いで、コピーされた画像データは、画像処理デバイスによって部分的にブランキングされる。この場合、画像処理デバイス10aは、画像データのコピーされてブランキングされたサブセットのマトリックス状の配置を生成し、光学システム68aのプロジェクタユニット16aに出力するように設計されている。
【0023】
光学システム68aは、プロジェクタユニット16aを備える。プロジェクタユニット16aは、コピーされた画像データ14aを画像処理デバイス10aから受信する。プロジェクタユニット16aは、レーザプロジェクタユニットとして構成される。プロジェクタユニット16aは、画像データ14aを光ビーム18aの形で発出するように設計されている。光ビーム18aは、走査レーザビームとして構成される。走査レーザビームは、プロジェクタユニット16aの走査領域を通過するたびに、コピーされた画像データ14aのすべての画像98a、100aの結像を生成する。プロジェクタユニット16aは、プロジェクタ制御ユニット80aを含む。プロジェクタユニット16aは、時間変調可能な光源132aを含む。時間変調可能な光源132aは、光ビーム18aを生成するように設計されている。プロジェクタ制御ユニット80aは、光源132aによる光ビーム18aの生成および/または変調を制御または調整するために提供される。図示される例示的実施形態では、光源132aは、3つの(振幅変調可能な)レーザダイオード82a、84a、86aを含む。第1のレーザダイオード82aは、赤色レーザビームを生成する。第2のレーザダイオード84aは、緑色レーザビームを生成する。第3のレーザダイオード86aは、青色レーザビームを生成する。プロジェクタユニット16aは、ビーム結合および/またはビーム整形ユニット88aを備える。ビーム結合および/またはビーム整形ユニット88aは、レーザダイオード82a、84a、86aからの異なる色のレーザビームを結合、特に混合してカラー画像を生成するように設計されている。ビーム結合および/またはビーム整形ユニット88aは、プロジェクタユニット16aから出る光ビーム18a、特にレーザビームを整形するように設計されている。ビーム結合および/またはビーム整形ユニット88aの構成に関する詳細は、従来技術から知られているものと仮定される。プロジェクタユニット16aは、ビーム発散適合ユニット90aを含む。ビーム発散適合ユニット90aは、プロジェクタユニット16aから出る光ビーム18a、特にレーザビームのビーム発散を、好ましくは、特に光学システム68aの光学素子の配置に依存するそれぞれの現在発出されている光ビーム18aの経路長に適合させるために提供される。プロジェクタユニット16aから出る光ビーム18a、特にレーザビームのビーム発散は、好ましくは、光学システム68aの光学素子を通過した後、ビームが仮想網膜ディスプレイのユーザの目24aの網膜22aに当たる位置で十分に小さく鮮明なレーザスポットが生じるように適合され、さらに、光ビーム18a、特にレーザビームによって生成される画像データ12aの結像全体にわたって、ユーザの目24aの前の光学システム68aの瞳孔面54aの位置でビーム発散が少なくとも本質的に一定であるように適合される。例えば固定および/または可変焦点距離を有するレンズを用いたビーム発散適合ユニット90aの構成に関する詳細は、従来技術から知られているものと仮定される。プロジェクタユニット16aは、少なくとも1つの制御可能な偏向デバイス92aを含む。制御可能な偏向デバイス92aは、MEMSミラーとして構成される。MEMSミラーは、マイクロミラーアクチュエータ(図示せず)の一部である。制御可能な偏向デバイス92aは、制御下でレーザビームの偏向を行ってラスタ画像を生成するように設計されている。マイクロミラーアクチュエータの構成に関する詳細は、従来技術から知られているものと仮定される。プロジェクタ制御ユニット80aは、制御可能な偏向デバイス92aの動きを制御または調整するように設計されている(矢印94aを参照)。制御可能な偏向デバイス92aは、その現在位置信号をプロジェクタ制御ユニット80aに定期的に送り返す(矢印96aを参照)。
【0024】
光学システム68aは、偏向ユニット20aを備える。偏向ユニット20aに画像コンテンツを投影可能である。偏向ユニット20aは、投影された画像コンテンツをユーザの目24aに向けて偏向するように設計されている。偏向ユニット20aは、投影領域34aを形成する。投影領域34a内で偏向ユニット20aに当たる光ビーム18aは、少なくとも部分的にユーザの目24aの方向に偏向/投影される。偏向ユニット20aは、光ビーム18aの少なくとも一部、好ましくは画像データ12aから生成された少なくとも1つの画像98a、100aが光学システム68aの瞳孔面54a上、特にユーザの目24aの網膜22a上に結像されるように、光ビーム18aに影響を与える(屈折、散乱、および/または反射する)ように設計されている。光学システム68aは、様々な光学素子を用いて複数のアイボックスA、A’、B、B’を形成するように設計されている。光学システム68aは、生成されたアイボックスA、A’、B、B’が互いに離間配置されて生成されるように、様々な光学素子を用いて光ビーム18aに影響を与えるように設計されている。光学システム68aは、瞳孔面54aを形成する。アイボックスA、A’、B、B’はすべて、瞳孔面54a内で互いに左右におよび/または上下に位置する。図示される場合では、瞳孔面54aは、射出瞳面の位置に配置され、射出瞳面は、(スマートグラス66a内の)ユーザの目24aの最適な位置に関して提供された、特に(スマートグラス66a内の)ユーザの目24aの入射瞳の位置に関して提供された空間内の面として形成される。瞳孔面54aは、平らであることが好ましいが、小さい曲率によって完全な平面からは逸脱している。瞳孔面54aは、近似的に瞳孔面とみなす/呼ぶことができる。瞳孔面54aは、ユーザの視線方向でスマートグラス66aの眼鏡レンズ70a、72aの前に位置し、眼鏡レンズ70a、72aのレンズ面と少なくとも本質的に平行に延びる。この場合、「本質的に平行」という用語は、完全な平面からの最大20°の偏差も含まれることを特に理解すべきである(キーワード:眼鏡レンズ70a、72aのそり角および前傾角)。
【0025】
図1に例として示される光学システム68aは、コピーされてブランキングされた画像データ14aの空間画像セグメンテーションを生成するように設計されている。空間画像セグメンテーションにおいて、画像データ14aは、画像コンテンツ/画像データ12aのそれぞれ空間的に互いに分離された(場合によっては変調された)結像に分割される。ここで、各セグメントは、画像コンテンツ/画像データ12aの正確に1つの(この場合には部分的な)結像を含む。光学システム68aは、画像データ14aのコピーされてブランキングされたサブセットの空間セグメンテーションを生成するために、少なくとも1つの光学セグメンテーション素子32aを含む。光学セグメンテーション素子32aは、プロジェクタユニット16a、特にプロジェクタユニット16aの偏向デバイス92aと、偏向ユニット20aとの間に配置される。光学セグメンテーション素子32aを用いて、画像コンテンツは、異なる結像経路28a、30aを介して偏向ユニット20aの少なくとも1つの投影領域34aに投影可能である。光学セグメンテーション素子32aは、
図1の例示的実施形態では、セグメント化されたレンズ、特にセグメンテーションレンズとして構成される。代替として、光学セグメンテーション素子32aは、セグメンテーションミラー(図示せず)、セグメンテーション光学格子(図示せず)、体積ホログラム(図示せず)、またはビームスプリッタ(図示せず)として構成することもできる。光学セグメンテーション素子32aは、いくつかの個別セグメント36a、38a、特に個別レンズを含む。個別セグメント36a、38aそれぞれによって画像98a、100aのそれぞれ1つが投影される。これにより、各画像98a、100aごとに独自の仮想偏向デバイス(仮想MEMSミラー)102a、104aが生じ、仮想偏向デバイス102a、104aは、さらなる仮想偏向デバイス(仮想MEMSミラー)102a、104aおよび現実の偏向デバイス92aとは別個に配置される。特に、仮想偏向デバイス(仮想MEMSミラー)102a、104aは、(理論上は)点光源として構成することができる。しかし、一般に、仮想偏向デバイス(仮想MEMSミラー)102a、104aは点光源を構成せず、非点光源を構成する。それにより、各画像98a、100aは、異なる結像経路28a、30aを介して、特に異なる角度および異なる距離から、偏向ユニット20aの投影領域34aに照射される。
【0026】
図1に例として示される光学システム68aは、光学システム68aの光学素子のみによって画像複製を生成するように設計されている。光学システム68aは、光学複製コンポーネント150aを備える。光学複製コンポーネント150aは、偏向ユニット20aの投影領域34aに配置される。光学複製コンポーネント150aは、投影された画像コンテンツを複製し、空間的にずらしてユーザの目24aに向けて偏向するように設計されており、画像コンテンツを有する互いに空間的にずらして配置された複数のアイボックスA、A’、B、B’が生成される。光学複製コンポーネント150aは、画像複製を生成するために、少なくとも部分反射性であり、少なくとも部分透過性である。光学複製コンポーネント150aは、部分反射性および部分透過性の層106a、108aを含む。光学複製コンポーネント150aの層106a、108aは、異なる光学機能、特に異なる偏向角を有する。光学複製コンポーネント150aの層106a、108aは、偏向および/または集束ホログラフィック光学素子(HOE)として構成される。アイボックスA、A’、B、B’の全体は、光学セグメンテーション素子32aによる画像セグメンテーションと光学複製コンポーネント150aの画像複製との組合せによって生成される。光学複製コンポーネント150aは、スマートグラス66aの眼鏡レンズ72aの一方に組み込まれる。光学複製コンポーネント150aは、スマートグラス66aの視野内に配置される。
【0027】
図1に示される例示的実施形態では、光学複製コンポーネント150aは、2つのホログラフィック機能化層106a、108aを有する層構造で実現される。光学複製コンポーネント150aは、横方向では完全に重なり合う2つのホログラフィック機能化層106a、108aを含み、これらの層は、層状に順に配置される。ここで、層106a、108aは、面状に途切れなく構成される。光学複製コンポーネント150aは、異なるホログラフィック機能を有する少なくとも2つの上下に配置された層106a、108aを有する層構造で実現され、それにより、互いに空間的にずらして配置された複数のアイボックスA、A’、B、B’が生成される。ここで、各光ビーム18aの一部は、第1の層106aで偏向され、光ビーム18aの残りは、第1の層106aを通過する。第1の層106aを通過した光ビーム18aの成分のさらなる一部が、第2の層108aで偏向され、光ビーム18aの残りは、第2の層108aと、光学複製コンポーネント150aが組み込まれた眼鏡レンズ72aとを通過する。
【0028】
光学システム68aは、アイトラッカ62aを備える。アイトラッカ62aは、眼鏡テンプル74a、76aの一方に組み込まれる(
図2を参照)。アイトラッカ62aの代替構成も考えられる。アイトラッカ62aは、生成されたアイボックスA、A’、B、B’に対するユーザの瞳孔位置、特に瞳孔中点の位置を決定するように構成される。
【0029】
画像処理デバイス10aは、アイトラッカ62aを用いて捕捉された瞳孔位置に応じて、画像データ14aの少なくとも第1のブランキングされたサブセット17aを適応させるように構成され、共通の結像経路28aまたは30aで生成された、同一のアクティブな画像データ19aを備えたアイボックスA、A’またはB、B’の常にただ1つのみがユーザの第1の瞳孔領域の範囲内に配置され、アイボックスA、A’、B、B’の少なくとも一部が、ユーザの第2の瞳孔領域内にアクティブな画像データ19aの少なくとも一部を有して配置される。
【0030】
光学システム68aは、電子制御または調整ユニット26aを備える。制御または調整ユニット26aは、演算ユニット78aと部分的に一体に構成することができる。
図1に例として示される制御または調整ユニット26aは、画像処理デバイス10aを制御するために提供される。制御または調整ユニット26aは、アイトラッカ62aの測定データに基づいて画像処理デバイス10aを制御するように設計されている。制御または調整ユニット26aは、瞳孔位置に関する測定データをアイトラッカ62aから受信する(矢印110aを参照)。制御または調整ユニット26aは、アイトラッカ62aのデータに基づいて、画像処理デバイス10aを制御するための制御または調整コマンドを生成する。例えば、これらのコマンドは、画像データ14aのブランキングされたサブセット17aを増加または減少させるために提供することができる。
【0031】
図2は、スマートグラス66aを備えた光学システム68aの概略図を示す。スマートグラス66aは、眼鏡レンズ70a、72aを備える。眼鏡レンズ70a、72aは、主として透明である。スマートグラス66aは、眼鏡テンプル74a、76aを有する眼鏡フレーム144aを備える。スマートグラス66aは、光学システム68aの一部を構成する。光学システム68aは、
図2に示される場合では、外部機器146aを含む。外部機器146aは、例えばスマートフォンとして構成される。外部機器146aは、スマートグラス66aとのデータ通信接続148aを確立する。代替として、スマートグラス66aが、光学システム68aを完全に構成することもできる。光学システム68aは、仮想網膜ディスプレイを構成するために提供される。スマートグラス66aは、
図2に示される例では、演算ユニット78aを備える。演算ユニット78aは、眼鏡テンプル74a、76aの一方に組み込まれる。スマートグラス66aでの、例えば眼鏡レンズ縁部での演算ユニット78aの代替的な配置も考えられる。「演算ユニット78a」とは、特に、プロセッサ、メモリユニット、ならびに/またはメモリユニットに記憶された動作、制御、および/もしくは計算プログラムを備えたコントローラを意味する。演算ユニット78aは、スマートグラス66a、特にスマートグラス66aの個々のコンポーネントを操作するために提供される。
【0032】
図2の図示では、例えば、プロジェクタユニット16aおよび光学セグメンテーション素子32aが眼鏡フレーム144aに配置され、複製コンポーネント150aを備える偏向ユニット20aが眼鏡レンズ72aの範囲内に配置される、特に少なくとも眼鏡レンズ72aに組み込まれるが、代替として、少なくとも画像源が、画像処理デバイス10aと共に外部機器146aに配置され、画像データ14aが外部機器146aからスマートグラス66aのプロジェクタユニット16aに伝送されることも考えられる。
【0033】
図3は、光学システムを用いて画像コンテンツをユーザの網膜に投影するための方法をフローチャートの形で示す。光学システムは、ここでは特に、前述の
図1に従って構成される。この方法では、方法ステップ200で、画像処理デバイスを用いて画像データが捕捉される。後続の方法ステップ205で、画像データの少なくとも第1のサブセットがブランキングされ、それにより、画像データのアクティブな第2のサブセットが生成される。ここで、第1のサブセットと第2のサブセットとが、画像データの全体量となる。後続の方法ステップ245で、プロジェクタユニットは、画像データの特にブランキングされたサブセットおよびアクティブなサブセットを用いて、共通の結像経路で生成された、同一のアクティブな画像データを備えたアイボックスの常にただ1つのみがユーザの第1の瞳孔領域の範囲内に配置されるように制御される。ここで、第1の瞳孔領域は、瞳孔中点を取り囲む。特に、第1の瞳孔領域は、ユーザの想定可能な最大の瞳孔径を有する。アイボックスの少なくとも一部は、ユーザの第2の瞳孔領域内にアクティブな画像データの少なくとも一部を備えて配置されている。ここで、第2の瞳孔領域は、瞳孔中点を取り囲む。特に、第2の瞳孔領域は、ユーザの想定可能な最小の瞳孔径を有する。第2の瞳孔領域は、第1の瞳孔領域内に配置される。次いで、方法が終了される。
【0034】
方法ステップ205に続く任意選択の方法ステップ210で、画像データの少なくとも第3のサブセットがブランキングされ、したがって画像データのアクティブな第4のサブセットが生成される。ここで、第3のサブセットと第4のサブセットとが、画像データの全体量となる。第2のサブセットと第4のサブセットとは、少なくとも部分的に互いに異なる。
【0035】
さらに任意選択で、画像データ、特に画像データの異なるサブセットは、光学セグメンテーション素子を用いて、画像コンテンツの特にそれぞれ少なくとも一部を、少なくとも4つの異なる結像経路を介して偏向ユニットの少なくとも1つの投影領域に投影することを可能にする。方法ステップ210に続く任意選択の方法ステップ215で、画像データの少なくとも第5のサブセットがブランキングされ、したがって画像データのアクティブな第6のサブセットが生成される。第5のサブセットと第6のサブセットとが、画像データの全体量となる。さらに、これに関連して、次の方法ステップ220で、画像データの少なくとも第7のサブセットがブランキングされ、したがって画像データのアクティブな第8のサブセットが生成される。第7のサブセットと第8のサブセットとが、画像データの全体量となる。第2、第4、第6、および第8のサブセットは、少なくとも部分的に互いに異なる。任意選択で、第2、第4、第6、および第8のサブセットはそれぞれ、特に元の画像データの全体量の4分の1に相当する。
【0036】
さらに任意選択で、画像データのすべてのアクティブなサブセットが、少なくとも完全な画像コンテンツとなる。さらに、任意選択で、アクティブな画像データのサブセットは、少なくとも部分的に重複する。これに関連して、方法ステップ220に続く任意選択の方法ステップ225で、投影された画像コンテンツの輝度の分布が本質的に一様になるように、画像データのアクティブなサブセットの重複領域内でのアクティブな画像データの輝度が適合される。
【0037】
さらに任意選択で、生成された画像データの少なくとも1つのアクティブなサブセットが、互いに空間的にずらして配置された複数のアイボックスにおいて特に瞳孔面で瞳孔中点の最も近くにある画像コンテンツを有する画像データを少なくとも含むように、画像データの少なくとも1つのブランキングされたサブセットが選択される。
【0038】
さらに任意選択で、画像データのブランキングされたサブセットは、本質的に同じ大きさである。これに対する代替として、画像データのブランキングされたサブセットは、大きさが異なる。
【0039】
任意選択で、光学セグメンテーション素子および光学複製コンポーネントを用いて、複数のアイボックスは、本質的にラスタ状に配置されているように生成される。アイボックス、特にそれぞれ4つのアイボックスは、本質的に長方形、特に正方形に配置されている。代替として、アイボックス、特にそれぞれ4つのアイボックスは、本質的に平行四辺形、特に菱形に配置されている。特に、アイボックスは、本質的に菱形に配置されており、2つの内角が本質的に60°の角度を有する。
【0040】
方法ステップ225に続くさらなる任意選択の方法ステップ230で、画像コンテンツの歪みが少なくとも2つの結像経路を介して少なくとも部分的に補償されるように、画像処理デバイスを用いて画像データがプリディストーションされる。特に、画像データのプリディストーションとブランキングとが同時に行われる。代替として、画像データのプリディストーションとブランキングとは、時間的に順次に行われる。
【0041】
方法ステップ230に続くさらなる任意選択の方法ステップ235で、アイトラッカを用いて、さらに生成されたアイボックスに対するユーザの瞳孔位置、特に瞳孔中点の位置がアイトラッカを用いて捕捉される。後続の任意選択の方法ステップ240で、捕捉された瞳孔中点に応じて、画像データの少なくとも第1のサブセットのブランキングが行われる。
【0042】
図4aは、偏向ユニット(ここには図示せず)に対する瞳孔面252および256の距離が、アイボックスD’に属する光束の直径253および255に及ぼす影響を概略的に示す。ここで、瞳孔面256としての射出瞳面が最適な距離である。なぜなら、この距離では、偏向ユニットによって偏向された光ビームが、射出瞳の取り得る最小の直径255にアイボックスD’として合焦されるからである。4つの異なる結像経路および3回の複製の場合に瞳孔面256としての射出瞳面に生じるアイボックスAおよびD’としての射出瞳を
図4bに概略的に示す。この実施形態では、アイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’は、それぞれ長方形ラスタに配置される。偏向ユニットに対する瞳孔面256のこの距離では、共通の結像経路で生成された、同一のアクティブな画像データを備えたアイボックスA、A’、A’’、A’’’、またはB、B’、B’’、B’’’、またはC、C’、C’’、C’’’、またはD、D’、D’’、D’’’のただ1つのみがユーザの第1の瞳孔領域261の範囲内に配置される。ここで、第1の瞳孔領域261は、瞳孔中点264を取り囲む。さらに、アイボックスA’’’、B’’、C’、およびDの少なくとも一部は、ユーザの第2の瞳孔領域内にアクティブな画像データの少なくとも一部を備えて配置されている。第2の瞳孔領域262は、瞳孔中点399を取り囲む。第2の瞳孔領域262は、第1の瞳孔領域261内に配置される。ここで、第1の瞳孔領域261は、ユーザの想定可能な最大の瞳孔径を表す。第2の瞳孔領域262は、ユーザの想定可能な最小の瞳孔径を表す。この場合、ユーザに対して二重像は生じず、さらに、取り得る最小の瞳孔径でも画像がユーザに表示されるようになる。
【0043】
それに対し、
図4cでは、瞳孔面252での光束の直径が増加されている。この実施形態でも、アイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’は、それぞれ長方形ラスタに配置される。この場合、共通の結像経路に属するアイボックスA’’とA’’’、BとB’’、CとC’、およびDとD’’の一部が第1の瞳孔領域261内にあることがわかる。したがって、この時点で、ユーザに二重像が表示され、これは望ましくない。
【0044】
図5~10は、問題の解決策を例として示す。
図5aは、
図4cのアイボックスの配置と同様の、アイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’の長方形の配置を示す。瞳孔中点は、
図5aでは、アイボックスA’’’、B’’、C’、およびDの中央、特に中心に配置される。
図4cでの投影された画像データとは対照的に、この場合には、ユーザに対する二重像を防ぐために、アイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’の一部が非アクティブ化される。このために、この例示的実施形態では、画像データ330の第1のサブセット281がブランキングされ、それにより、アクティブな画像データの第2のサブセット280が生成される。第1のサブセット281と第2のサブセット280とが、画像データ330の全体量となる。さらに、画像データの第3のサブセット285がブランキングされ、したがって画像データのアクティブな第4のサブセット285が生成される。第3のサブセット285と第4のサブセット284とが、画像データ330の全体量となる。さらに、画像データ330の第5のサブセット282がブランキングされ、したがって画像データのアクティブな第6のサブセット283が生成される。第5のサブセット282と第6のサブセット283とが、画像データの全体量となる。さらに、画像データの第7のサブセット287がブランキングされ、したがって画像データのアクティブな第8のサブセット286が生成される。第7のサブセット287と第8のサブセット286とが、画像データ330の全体量となる。第2のサブセット280、第4のサブセット284、第6のサブセット283、および第8のサブセット286は互いに異なる。この区別は、それぞれのサブセット内の画像データの数を意味するものではなく、画像コンテンツによって割り当てられる、像面でのそれぞれの画像データの位置、特にピクセル位置を意味する。この例示的実施形態では、異なるサブセットを生成するために、画像データ330の合計3つの、特に完全なコピーが生成される。この例示的実施形態では、画像データのブランキングされたサブセット281、282、285、および287は本質的に同じ大きさであり、それぞれが画像データ330の全体量の4分の1に相当する。すべてのアクティブな画像データまたはアクティブなサブセット280、283、284、および285が、完全な画像コンテンツとなる。画像データ330の異なるサブセット280、281、282、283、284、285、286、および287は、光学セグメンテーション素子を用いて、画像コンテンツのそれぞれ一部分を、4つの異なる結像経路を介して偏向ユニットの少なくとも1つの投影領域に投影することを可能にする。したがって、アイボックスA、A’、A’’、およびA’’’のサブセット280および281、アイボックスB、B’、B’’、およびB’’’のサブセット284および285、アイボックスC、C’、C’’、およびC’’’のサブセット282および282、ならびにアイボックスD、D’、D’’、およびD’’’のサブセット286および286が割り当てられる。それに対応して、アイボックスA、A’、A’’、およびA’’’は、画像データのアクティブな部分領域270を有し、画像データのブランキングされた部分領域271を有する。それに対応して、アイボックスB、B’、B’’、およびB’’’は、画像データのアクティブな部分領域272を有し、画像データのブランキングされた部分領域273を有する。それに対応して、アイボックスC、C’、C’’およびC’’’は、画像データのアクティブな部分領域274を有し、画像データのブランキングされた部分領域275を有する。それに対応して、アイボックスD、D’、D’’、およびD’’’は、画像データのアクティブな部分領域277を有し、画像データのブランキングされた部分領域276を有する。サブセット280、281、282、283、284、285、286、および287の選択によって、共通の結像経路で生成された、同一のアクティブな画像データを備えたアイボックスA、A’、A’’、A’’’、またはB、B’、B’’、B’’’、またはC、C’、C’’、C’’’、またはD、D’、D’’、D’’’の常にただ1つのみが第1の瞳孔領域261の範囲内に配置されることが可能にされる。したがって、ユーザに対する二重像が妨げられる。さらに、部分領域270、272、274、および277を有するアイボックスA’’’、B’’、C’、およびDは、第2の瞳孔領域262内に配置される。サブセット280、283、284、および286が、互いに空間的にずらして配置された複数のアイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’において瞳孔中点399の最も近くにある画像コンテンツを有する画像データを含むように、ブランキングされたサブセット281、282、285、および287が選択される。
【0045】
図6aおよび6bは、
図5aおよび5bと比較して、生成されたアイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’に対する瞳孔中点399の異なる位置を示す。この場合、画像データ330の第1のサブセット291は、画像データの第2のアクティブなサブセット290が画像データ330の半分、特に上半分を有するようにブランキングされる。さらに、画像データ330の第3のブランキングされたサブセット294および画像データ330の第7のブランキングされたサブセット295はそれぞれ、画像データ330の全体量に相当する。さらに、画像データ330の第5のサブセット292は、画像データのアクティブな第6のサブセット291が画像データ330の半分、特に下半分を有するようにブランキングされる。したがって、アイボックスA、A’、A’’、およびA’’’、ならびにC、C’、C’’、およびC’’’の部分領域305および309のみがアクティブな画像データを有する。アイボックスA、A’、A’’、およびA’’’、ならびにC、C’、C’’、およびC’’’の部分領域306および308は非アクティブ化される。さらに、アイボックスB、B’、B’’、およびB’’’、ならびにD、D’、D’’、およびD’’’は、完全に非アクティブ化される。
【0046】
図7aおよび7bは、前の図面とは異なる、生成されたアイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’に対する瞳孔中点399の異なる位置を示す。この場合、瞳孔中点399は、アイボックスC’内の中央、特に中心に配置される。この場合、第6のサブセット301は、画像データの全体量に相当する。第1のサブセット300、第3のサブセット302、および第7のサブセット303も、画像データの全体量に相当する。したがって、アイボックスC、C’、C’’、およびC’’’のみが完全にアクティブ化される。それに対し、アイボックスA、A’、A’’、A’’’、B、B’、B’’、B’’’、D、D’、D’’、およびD’’’は、完全に非アクティブ化される。
【0047】
図8~10は、
図5~7とは異なる、アイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’の平行四辺形、特に菱形の配置を示す。
図8aのアイボックスA、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’に対する瞳孔中点399の配置に従って、
図8bで、画像データ330の第1のサブセット381は、画像データの生成されたアクティブな第2のサブセット281が画像データの全体量の半分、特に左半分を有するようにブランキングされる。さらに、画像データ330の第3のサブセット385は、それにより生成される画像データのアクティブな第4のサブセット386が画像データ330の全体量の4分の1、特に右上を有するようにブランキングされる。同様に、画像データ330の第7のサブセット383は、それにより生成される画像データのアクティブな第8のサブセット384が画像データ330の全体量の4分の1、特に右下を有するようにブランキングされる。画像データの第5のサブセット382は、画像データ330の全体量を有する。したがって、アイボックスA、A’、A’’、A’’’、B、B’、B’’、B’’’、D、D’、D’’、およびD’’’の部分領域350、353、および356のみがアクティブ化される。逆に、アイボックスA、A’、A’’、A’’’、B、B’、B’’、B’’’、D、D’、D’’、およびD’’’のさらなる部分領域351、352、および355、ならびに完全なアイボックスC、C’、C’’、およびC’’’は、非アクティブ化される。
【0048】
図9aおよび9bは、前の図面とは異なる、生成された射出瞳A、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’に対する瞳孔中点399の異なる位置を示す。この場合、瞳孔中点399は、アイボックスB’’およびDへの同じ最短距離を有する。この場合、第1のサブセット387も第5のサブセット388も、画像データ330の全体量に相当する。画像データ330の第3のサブセット389は、画像データのアクティブな第4のサブセット390が画像データ330の半分、特に上半分に対応するように選択される。画像データ330の第7のサブセット391は、画像データのアクティブな第8のサブセット392が画像データ330の半分、特に下半分に対応するように選択される。したがって、アイボックスB、B’、B’’、B’’’、D、D’、D’’、およびD’’’の部分領域361および364のみがアクティブ化される。逆に、アイボックスB、B’、B’’、B’’’、D、D’、D’’、およびD’’’のさらなる部分領域360および362、ならびに完全なアイボックスA、A’、A’’、A’’’、C、C’、C’’、およびC’’’は、非アクティブ化される。
【0049】
図10aおよび10bは、前の図面とは異なる、生成された射出瞳A、B、C、D、A’、B’、C’、D’、A’’、B’’、C’’、D’’、A’’’、B’’’、C’’’、およびD’’’に対する瞳孔中点399の異なる位置を示す。この場合、瞳孔中点399は、アイボックスA’’’内の中央、特に中心に配置される。この場合、第2のサブセット393は、画像データの全体量に相当する。第3のサブセット394、第5のサブセット395、および第7のサブセット396も、画像データの全体量に相当する。したがって、アイボックスA、A’、A’’、およびA’’’のみが完全にアクティブ化される。一方、アイボックスB、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、およびD’’’は、完全に非アクティブ化される。
【0050】
図11は、画像処理デバイスを用いて画像データをプリディストーションする任意選択の方法ステップを概略的に示し、画像コンテンツの歪みは、この場合には4つの異なる結像経路を介して少なくとも部分的に補償される。画像処理デバイス(ここには図示せず)を用いて捕捉された画像データ400は、その後、3回完全にコピーされてプリディストーションされる。次に、プリディストーションされた画像データ401a、401b、401c、および401dは、プロジェクタユニット(ここには図示せず)を制御するために使用され、次いで瞳孔面に結像される。歪みのない画像402がユーザに示される。
【手続補正書】
【提出日】2024-03-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
光学システム(68a)を用いて画像コンテンツをユーザの網膜に投影するための方法であって、
画像コンテンツを画像データ(12a、330、400)の形で送達する画像源と、
前記画像データ(12a、330、400)のための画像処理デバイス(10a)と、
少なくとも1つの光ビーム(18a)を生成するための時間変調可能な光源(132a)、および前記画像コンテンツの走査投影のための前記少なくとも1つの光ビーム(18a)用の制御可能な偏向デバイス(92a)を備えたプロジェクタユニット(16a)と、
前記画像コンテンツを投影可能であり、前記投影された画像コンテンツをユーザの目(24a)に向けて偏向するように設計されている偏向ユニット(20a)と、
プロジェクタユニット(16a)と偏向ユニット(20a)との間に配置された光学セグメンテーション素子(32a)であって、少なくとも2つの異なる結像経路(28a、30a)を介して前記偏向ユニット(20a)の少なくとも1つの投影領域(34a)に前記画像コンテンツを投影するように構成されており、少なくとも個々の結像経路(28a、30a)が個別に制御可能である、光学セグメンテーション素子(32a)と、
前記偏向ユニット(20a)の前記少なくとも1つの投影領域(34a)に配置されており、前記投影された画像コンテンツを複製し、空間的にずらして前記ユーザの目(24a)に向けて偏向するように設計されている光学複製コンポーネント(150a)であって、空間的に互いにずらして配置された、前記画像コンテンツを備えた複数のアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が生成される、光学複製コンポーネント(150a)と
を少なくとも有し、
前記画像処理デバイス(10a)を用いて前記画像データ(12a、330、400)を捕捉(200)する方法ステップと、
前記画像データ(12a、330、400)の少なくとも第1のサブセット(17a、281、291、300、381、387)をブランキング(205)する方法ステップであって、それにより、前記画像データ(12a、300、4000)のアクティブな第2のサブセット(19a、280、290、380、393)が生成され、前記第1のサブセット(17a、281、291、300、381、387)と前記第2のサブセット(19a、280、290、380、393)とが、前記画像データ(12a、330)の全体量となる、方法ステップと、
共通の結像経路(28a、30a)で生成された、同一のアクティブな画像データを備えたアイボックス(A、A’、A’’、A’’’またはB、B’、B’’、B’’’またはC、C’、C’’、C’’’またはD、D’、D’’、D’’’)の常にただ1つのみが前記ユーザの第1の瞳孔領域(261)の範囲内に配置されているように、特に前記ブランキングされた画像データおよび前記アクティブな画像データを用いて前記プロジェクタユニット(16a)を制御(245)する方法ステップであって、前記第1の瞳孔領域(261)が、前記瞳孔中点(399)を取り囲み、前記アイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)の少なくとも一部が、前記ユーザの第2の瞳孔領域(262)内に前記アクティブな画像データの少なくとも一部を備えて配置されており、前記第2の瞳孔領域(262)が、前記瞳孔中点(399)を取り囲み、前記第2の瞳孔領域(262)が、前記第1の瞳孔領域(261)内に配置されている、方法ステップと、
を有する、方法。
【請求項2】
前記画像データ(12a、330、400)の少なくとも第3のサブセット(285、294、302、385、390、394)をブランキング(210)する方法ステップであって、それにより、前記画像データ(12a、330、400)のアクティブな第4のサブセット(284、386、389)が生成され、前記第3のサブセット(285、294、302、385、390、394)と前記第4のサブセット(284、386、389)とが、前記画像データ(12a、330、400)の全体量となり、前記第2のサブセット(19a、280、290、380、393)と前記第4のサブセット(284、386、389)とが、少なくとも部分的に互いに異なる、方法ステップをさらに含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記画像データ(12a、330、400)、特に前記画像データ(12a、330、400)の異なるサブセット(280、281、282、283、284、285、286、287、290、291、293、294、295、300、301、302、303、380、381、382、383、384、385、386、387、388、389、390、391、392、393、394、395、396)が、前記光学セグメンテーション素子(32a)を用いて、前記画像コンテンツの特にそれぞれ少なくとも一部を、少なくとも4つの異なる結像経路(28a、30a)を介して前記偏向ユニット(20a)の少なくとも1つの投影領域(34a)に投影することを可能にすることを特徴とする請求項1に記載の方法。
【請求項4】
前記画像データ(12a、330、400)の少なくとも第5のサブセット(282、292、382、388、395)をブランキング(215)する方法ステップであって、それにより、前記画像データ(12a、330、400)のアクティブな第6のサブセット(283、293、301)が生成され、前記第5のサブセット(282、292、382、388、395)と前記第6のサブセット(283、293、301)とが、前記画像データ(12a、330、400)の全体量となる、方法ステップと、
前記画像データ(12a、330、400)の少なくとも第7のサブセット(287、295、303、383、391、396)をブランキング(220)する方法ステップであって、それにより、前記画像データ(12a、330、400)のアクティブな第8のサブセット(286、384、392)が生成され、前記第7のサブセット(287、295、303、383、391、396)と前記第8のサブセット(286、384、392)とが、前記画像データ(12a、330、400)の全体量となり、前記第2のサブセット(19a、280、290、380、393)、前記第4のサブセット(284、386、389)、前記第6のサブセット(283、293、301)、および前記第8のサブセット(286、384、392)とが、少なくとも部分的に互いに異なる、方法ステップと、
をさらに含むことを特徴とする請求項3に記載の方法。
【請求項5】
前記画像データ(12a、330、400)のすべてのアクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が合わさって、少なくとも完全な画像コンテンツとなることを特徴とする請求項1に記載の方法。
【請求項6】
前記画像データ(12a、330、400)のすべてのアクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が合わさって、完全な画像コンテンツを越えるものとなることを特徴とする請求項5に記載の方法。
【請求項7】
前記画像データ(12a、330、400)の前記アクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が、少なくとも部分的に重複することを特徴とする請求項6に記載の方法。
【請求項8】
前記投影された画像コンテンツの輝度の分布が本質的に一様になるように、前記画像データ(12a、330、400)の前記アクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)の重複領域で、前記画像データ(12a、330、400)の前記アクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)の輝度を適合(225)する方法ステップをさらに有することを特徴とする請求項7に記載の方法。
【請求項9】
前記第1の瞳孔領域(261)が、前記ユーザの想定可能な最大の瞳孔径を有することを特徴とする請求項1に記載の方法。
【請求項10】
前記第2の瞳孔領域(262)が、前記ユーザの想定可能な最小の瞳孔径を有することを特徴とする請求項1に記載の方法。
【請求項11】
互いに空間的にずらして配置された前記複数のアイボックス(A、A、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)内の画像コンテンツが特に瞳孔面(252、256)で前記瞳孔中点(399)の最も近くにある、前記画像データ(12a、330、400)の前記少なくとも1つの生成されたアクティブなサブセット(280、290、380、393、284、386、389、283、293、301、286、384、392)が、画像データ(12a、300、400)を少なくとも含むように、前記画像データ(12a、330、400)の前記少なくとも1つのブランキングされたサブセット(281、282、285、287、291、292、294、295、300、302、303、381、382、383、385、387、388、390、391、394、395、396)が選択されることを特徴とする請求項1に記載の方法。
【請求項12】
前記生成されたアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)に対する前記ユーザの前記瞳孔位置、特に前記瞳孔中点(399)の位置に応じて、前記画像データ(12a、330、400)の前記ブランキングされたサブセット(281、282、285、287、291、292、294、295、300、302、303、381、382、383、385、387、388、390、391、394、395、396)のうちの少なくとも2つが、本質的に同じ大きさであることを特徴とする請求項2に記載の方法。
【請求項13】
前記ユーザの前記瞳孔位置に応じて、前記第2のサブセット(19a、280、290、380、393)、前記第4のサブセット(284、386、389)、前記第6のサブセット(283、293、301)、および前記第8のサブセット(286、384、392)がそれぞれ前記画像データ(12a、330、400)の全体量の4分の1に相当することを特徴とする請求項4に記載の方法。
【請求項14】
前記光学セグメンテーション素子(32a)および前記光学複製コンポーネント(150a)を用いて、前記複数のアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が、本質的にラスタ状に配置されているように生成されることを特徴とする請求項1に記載の方法。
【請求項15】
前記アイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が、本質的に長方形、特に正方形に配置されており、または本質的に平行四辺形、特に菱形に配置されており、特に2つの内角が本質的に60°の角度を有することを特徴とする請求項14に記載の方法。
【請求項16】
前記画像コンテンツの歪みが前記少なくとも2つの結像経路(28a、30a)を介して少なくとも部分的に補償されるように、前記画像処理デバイス(10a)を用いて前記画像データ(12a、330、400)のプリディストーション(235)を行う方法ステップをさらに含むことを特徴とする請求項1に記載の方法。
【請求項17】
前記画像データ(12a、330、400)のプリディストーション(235)とブランキング(205、210、215、220)とが同時に行われることを特徴とする請求項16に記載の方法。
【請求項18】
アイトラッカ(62a)を用いて、さらに前記生成されたアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)に対する前記ユーザの前記瞳孔位置、特に前記瞳孔中点(399)の位置が捕捉(235)されることを特徴とする請求項1に記載の方法。
【請求項19】
請求項1に記載の方法を実施するように構成された画像処理デバイス(10a)であって、
画像データ(12a、330、400)を捕捉し、
前記画像データ(12a、330、400)の少なくとも第1のサブセット(17a、281、291、300、381、387)をブランキングし、それにより、前記画像データのアクティブな第2のサブセット(19a、280、290、380、393)が生成され、前記第1のサブセット(17a、281、291、300、381、387)と前記第2のサブセット(19a、280、290、380、393)とが、前記画像データ(12a、330、400)の全体量となり、
共通の結像経路(28a、30a)で生成された、同一のアクティブな画像データを備えたアイボックス(A、A’、A’’、A’’’またはB、B’、B’’、B’’’またはC、C’、C’’、C’’’またはD、D’、D’’、D’’’)の常にただ1つのみが前記ユーザの第1の瞳孔領域(261)の範囲内に配置されているように、特に前記ブランキングされた画像データおよび前記アクティブな画像データ(12a、300、400)を用いてプロジェクタユニット(16a)を制御し、前記第1の瞳孔領域(261)が、前記瞳孔中点(399)を取り囲み、前記アイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)の少なくとも一部が、前記ユーザの第2の瞳孔領域(262)内に前記アクティブな画像データの少なくとも一部を備えて配置されており、前記第2の瞳孔領域(262)が、前記瞳孔中点(399)を取り囲み、前記第2の瞳孔領域(262)が、前記第1の瞳孔領域(261)内に配置されている、
ように構成されている画像処理デバイス(10a)。
【請求項20】
仮想網膜ディスプレイ(網膜走査ディスプレイ)用の光学システム(68a)であって、
画像コンテンツを画像データの形で送達する画像源と、
請求項19に記載の画像データ(12a、330、400)用の画像処理デバイス(10a)と、
少なくとも1つの光ビーム(18a)を生成するための時間変調可能な光源(132a)、および前記画像コンテンツの走査投影のための前記少なくとも1つの光ビーム(18a)用の制御可能な偏向デバイス(92)を備えたプロジェクタユニット(16a)と、
前記画像コンテンツを投影可能であり、前記投影された画像コンテンツをユーザの目(24a)に向けて偏向するように設計されている偏向ユニット(20a)と、
プロジェクタユニット(16a)と偏向ユニット(20a)との間に配置された光学セグメンテーション素子(32a)であって、少なくとも2つの異なる結像経路(28a、30a)を介して前記偏向ユニット(20a)の少なくとも1つの投影領域(34a)に前記画像コンテンツを投影するように構成されており、少なくとも個々の結像経路(28a、30a)が個別に制御可能である、光学セグメンテーション素子(32a)と、
前記偏向ユニット(20a)の前記少なくとも1つの投影領域(34a)に配置されており、前記投影された画像コンテンツを複製し、空間的にずらして前記ユーザの目(24a)に向けて偏向するように設計されている光学複製コンポーネント(150a)であって、空間的に互いにずらして配置された、前記画像コンテンツを備えた複数のアイボックス(A、A’、A’’、A’’’、B、B’、B’’、B’’’、C、C’、C’’、C’’’、D、D’、D’’、D’’’)が生成される、光学複製コンポーネント(150a)と、
を少なくとも有する光学システム(68a)。
【請求項21】
眼鏡フレーム(144a)および眼鏡レンズ(70a、72a)を備えたスマートグラス(66a)を含む光学システム(68a)において、前記少なくとも1つのプロジェクタユニット(16a)および前記少なくとも1つの光学セグメンテーション素子(32a)が、前記眼鏡フレーム(144a)に配置されており、前記少なくとも1つの光学複製コンポーネント(150a)を備えた前記少なくとも1つの偏向ユニット(20a)が、少なくとも1つの眼鏡レンズ(70a、72a)の領域内に配置されており、特に少なくとも1つの眼鏡レンズ(70a、72a)に組み込まれていることを特徴とする請求項20に記載の光学システム(68a)。
【国際調査報告】