▶ トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-20
(54)【発明の名称】ディスプレイを介する深度測定
(51)【国際特許分類】
G01C 3/06 20060101AFI20231213BHJP
G09F 9/00 20060101ALI20231213BHJP
G01B 11/00 20060101ALI20231213BHJP
【ＦＩ】
G01C3/06 110A
G01C3/06 120P
G09F9/00 366G
G01B11/00 B ZNM
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023528715
(86)(22)【出願日】2021-11-12
(85)【翻訳文提出日】2023-07-14
(86)【国際出願番号】 EP2021081560
(87)【国際公開番号】W WO2022101429
(87)【国際公開日】2022-05-19
(31)【優先権主張番号】20207420.9
(32)【優先日】2020-11-13
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】20209973.5
(32)【優先日】2020-11-26
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】21192560.7
(32)【優先日】2021-08-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＦＩＲＥＷＩＲＥ
(71)【出願人】
【識別番号】517267802
【氏名又は名称】トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
(74)【代理人】
【識別番号】100100354
【弁理士】
【氏名又は名称】江藤 聡明
(74)【代理人】
【識別番号】100167106
【弁理士】
【氏名又は名称】倉脇 明子
(74)【代理人】
【識別番号】100194135
【弁理士】
【氏名又は名称】山口 修
(74)【代理人】
【識別番号】100206069
【弁理士】
【氏名又は名称】稲垣 謙司
(74)【代理人】
【識別番号】100185915
【弁理士】
【氏名又は名称】長山 弘典
(72)【発明者】
【氏名】メッツ，シュテファン
(72)【発明者】
【氏名】レンナルツ，クリスティアン
(72)【発明者】
【氏名】シック，フリードリヒ
(72)【発明者】
【氏名】ポデス，クリストフ
(72)【発明者】
【氏名】ベルナー，ニルス
【テーマコード（参考）】
2F065
2F112
5G435
【Ｆターム（参考）】
2F065AA06
2F065AA53
2F065FF11
2F065GG04
2F065GG07
2F065GG23
2F065HH06
2F065HH07
2F065HH15
2F065JJ01
2F065JJ09
2F112AA10
2F112AB10
2F112CA12
2F112DA40
5G435BB05
5G435DD11
5G435EE49
5G435LL04
5G435LL07
5G435LL08
(57)【要約】
ディスプレイ装置（１）が開示される。
前記ディスプレイ装置（１）は、
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源（５）と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサ（４）であって、前記光センサ（４）は、照射ビームによる照射に応答してシーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサ（４）と；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイ（２）であって、前記照射源（５）及び前記光センサ（４）は、ディスプレイ（２）の前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイ（２）と；
－ 少なくとも１つの制御ユニット（８）であって、前記制御ユニット（８）は、照射中に前記照射源（５）のエリアで、及び／又は測定中に前記光センサ（４）のエリアで、前記ディスプレイ（２）をオフにするように構成されている、少なくとも１つの制御ユニット（８）と、
を備える。
【選択図】図１
前記ディスプレイ装置（１）は、
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源（５）と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサ（４）であって、前記光センサ（４）は、照射ビームによる照射に応答してシーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサ（４）と；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイ（２）であって、前記照射源（５）及び前記光センサ（４）は、ディスプレイ（２）の前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイ（２）と；
－ 少なくとも１つの制御ユニット（８）であって、前記制御ユニット（８）は、照射中に前記照射源（５）のエリアで、及び／又は測定中に前記光センサ（４）のエリアで、前記ディスプレイ（２）をオフにするように構成されている、少なくとも１つの制御ユニット（８）と、
を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源（５）と；－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサ（４）であって、前記光センサ（４）は、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサ（４）と；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイ（２）であって、前記照射源（５）及び前記光センサ（４）は、前記ディスプレイ（２）の前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイ（２）と；
－ 少なくとも１つの制御ユニット（８）であって、前記制御ユニット（８）は、照射中に前記照射源（５）のエリアで、及び／又は測定中に前記光センサ（４）のエリアで、前記ディスプレイ（２）をオフにするように構成されている、少なくとも１つの制御ユニット（８）と、
を備えるディスプレイ装置（１）。
【請求項2】
前記透光性ディスプレイ（２）は、前記ディスプレイ（２）のフルサイズにわたって延びるディスプレイ材料を有するフルサイズディスプレイである、請求項１に記載のディスプレイ装置（１）。
【請求項3】
前記ディスプレイ（２）は、前記制御ユニット（８）が、照射中に前記照射源（５）のエリアで、及び／又は測定中に前記光センサ（４）のエリアで、前記ディスプレイ（２）をオフにしたときに、前記照射源（５）のエリア及び／又は前記は光センサ（４）のエリアに、黒色エリア（６）を示すように構成されている、請求項１又は２に記載のディスプレイ装置（１）。
【請求項4】
前記制御ユニット（８）は、前記照射源（５）のエリアの前記ディスプレイ（２）が調整可能なノッチとして機能するように、前記照射源（５）のエリアの前記ディスプレイ（２）をオフにするように、及び／又は、前記光センサ（４）のエリアの前記ディスプレイ（２）が調整可能なノッチとして機能するように、前記光センサ（４）のエリアの前記ディスプレイ（２）をオフにするように構成され、前記調整可能なノッチは、照射及び／又は測定中にアクティブになり、それ以外は非アクティブになるように構成されている、請求項１～３のいずれか１項に記載のディスプレイ装置（１）。
【請求項5】
前記ディスプレイ装置（１）は、前記光センサ（４）を用いて顔認識を行うように構成され、前記制御ユニット（８）は、顔認識の実行中に、顔認識がアクティブであることを示す表示を発するように構成され、前記透光性ディスプレイ（２）は、顔認識の実行中に、前記表示を表示するように構成されている、請求項１～４のいずれか１項に記載のディスプレイ装置（１）。
【請求項6】
前記光センサ（４）は、少なくとも１つのＣＭＯＳセンサを含む、請求項１～５のいずれか１項に記載のディスプレイ装置（１）。
【請求項7】
前記照射源（５）は、少なくとも１つの赤外光源を含む、請求項１～６のいずれか１項に記載のディスプレイ装置（１）。
【請求項8】
前記照射源（５）は、少なくとも１つの照射パターンを生成するように構成された少なくとも１つのレーザプロジェクタを備える、請求項１～７のいずれか１項に記載のディスプレイ装置（１）。
【請求項9】
前記照射源（５）は、少なくとも１つのフラッドイルミネーション発光ダイオードを含む、請求項１～８のいずれか１項に記載のディスプレイ装置（１）。
【請求項10】
前記ディスプレイ（２）、前記照射源（５）、及び前記光センサ（４）が、同期される、請求項１～９のいずれか１項に記載のディスプレイ装置（１）。
【請求項11】
前記ディスプレイ（２）は、少なくとも１つの有機発光ダイオード（ＯＬＥＤ）ディスプレイであるか、又はそれを備え、前記制御ユニット（８）が前記照射源（５）のエリアでディスプレイをオフにしたときは、前記ＯＬＥＤディスプレイは照射源（５）のエリアで非アクティブであり、及び／又は前記制御ユニット（８）が前記光センサ（４）のエリアでディスプレイ（２）をオフにしたときは、前記ＯＬＥＤディスプレイは前記光センサ（４）のエリアで非アクティブである、請求項１～１０のいずれか１項に記載のディスプレイ装置（１）。
【請求項12】
前記照射源（５）は、前記少なくとも１つのシーン上に、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成され、前記光センサは、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成され、前記ディスプレイ装置（１）は、少なくとも１つの評価装置（１０）をさらに備え、前記評価装置（１０）は、前記第１画像を評価するように構成され、前記第１画像の評価は、前記第１画像の反射特徴を識別することと、前記識別された反射特徴を明るさに関して並べ替えることとを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置（１０）は、ビームプロファイルの分析により、反射特徴の各々について少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成され、前記評価装置（１０）は、前記縦方向座標ｚＤＰＲを用いて、反射特徴と、対応する照射特徴とを明確にマッチングするように構成され、前記マッチングは、最も明るい反射特徴から始めて、反射特徴の明るさを減少させながら行われ、前記評価装置（１０）は、照射特徴とマッチングした反射特徴を実特徴として分類し、照射特徴とマッチングしなかった反射特徴を偽特徴として分類するように構成され、前記評価装置（１０）は、前記偽特徴を拒絶し、前記縦方向座標ｚＤＰＲを使用することによって、前記実特徴の深度マップを生成するように構成される、請求項１～１１のいずれか１項に記載のディスプレイ装置（１）。
【請求項13】
前記評価装置（１０）は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光法技術を使用して、反射特徴のそれぞれについて少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成される、請求項１２に記載のディスプレイ装置（１）。
【請求項14】
前記評価装置（１０）は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成され、前記結合縦方向座標は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの平均値であり、前記結合縦方向座標は、深度マップの生成に使用される、請求項１３に記載のディスプレイ装置（１）。
【請求項15】
前記評価装置（１０）は、光子比からの深度技術を使用することによって、前記反射特徴のそれぞれについて、ビームプロファイル情報を決定するように構成される、請求項１２～１４のいずれか１項に記載のディスプレイ装置（１）。
【請求項16】
前記評価装置（１０）は、前記反射特徴の少なくとも１つの前記ビームプロファイルを評価することによって、物体の少なくとも１つの材料特性ｍを決定するように構成される、請求項１２～１５のいずれか１項に記載のディスプレイ装置（１）。
【請求項17】
前記ディスプレイ装置（１）は、テレビ装置、携帯電話、スマートフォン、ゲームコンソール、タブレットコンピュータ、パーソナルコンピュータ、ラップトップ、タブレット、仮想現実装置、又は別のタイプのポータブルコンピュータからなる群から選択されるモバイル装置である、請求項１～１６のいずれか１項に記載のディスプレイ装置（１）。
【請求項18】
透光性ディスプレイ（２）を介して測定するための方法であって、請求項１～１７のいずれか１項に記載の少なくとも１つのディスプレイ装置（１）が使用され、以下のステップ：ａ）少なくとも１つの照射源（５）によって生成された少なくとも１つの照射光ビームを使用することによって、少なくとも１つのシーンを照射するステップであって、前記照射源（５）は、ディスプレイ（２）の前方に照射ビームの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサ（４）を使用することによって、前記照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するステップであって、前記光センサ（４）は少なくとも１つの感光エリアを有し、前記光センサ（４）は前記ディスプレイ（２）の前方に照射ビームの伝播方向に配置される、ステップと；
ｃ）少なくとも１つの制御ユニット（８）を使用することによって、前記ディスプレイ（２）を制御するステップであって、前記ディスプレイ（２）は、照射中に照射源（５）のエリアで、及び／又は測定中に光センサ（４）のエリアでオフにされる、ステップと、
を含む、透光性ディスプレイ（２）を介して測定するための方法。
【請求項19】
ディスプレイ装置に関する請求項１～１８のいずれか１項に記載のディスプレイ装置（１）の使用であって、使用目的が、交通技術における位置測定；娯楽用途；セキュリティ用途；監視用途；安全用途；ヒューマンマシンインターフェイス用途；追跡用途；写真用途；画像化用途又はカメラ用途；少なくとも１つの空間のマップを生成するためのマッピング用途；車両用のホーミング又は追跡ビーコン検出器；屋外用途；モバイル用途；通信用途；マシンビジョン用途；ロボット用途；品質管理用途；製造用途；自動車用途、からなる群から選択される、使用。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ装置と、透光性ディスプレイ(translucent display)を介する測定方法と、ディスプレイ装置の様々な使用に関する。本発明による装置、方法及び使用は、具体的には、例えば、日常生活、セキュリティ技術、ゲーミング、交通技術、生産技術、芸術、文書又は技術目的のためのデジタル写真又はビデオ撮影などの写真撮影、安全技術、情報技術、農業、作物保護、メンテナンス、化粧品、医療技術、又は科学の様々な分野において採用され得る。ただし、他の適用も可能である。
【背景技術】
【0002】
いくつかのディスプレイ装置が知られている。ディスプレイを備えた装置に関する最近の開発では、ディスプレイエリアは利用可能なスペース全体をカバーし、ディスプレイを囲むフレームはできるだけ小さくする必要があることを示している。その結果、電子部品及びセンサ（例えば、前面カメラ、フラッシュライト、近接センサ、さらには３Ｄ画像センサなど）は、もはやフレーム内に配置されることはできず、ディスプレイの下に配置されなければならないことになった。しかし、構造化光又は３Ｄ飛行時間（ＴｏＦ）に基づく３Ｄ画像システムなどの一般的な３Ｄ画像技術及びシステムのほとんどは、苦労なしにディスプレイの下に配置されることができない。
【0003】
今まで、構造化光又は３Ｄ－ＴｏＦに基づく３Ｄイメージングシステムが、ディスプレイの下で作動すること、すなわち、３Ｄイメージングシステムのコンポーネント又は装置を配置するための、マイクロ回路及び／又はマイクロ配線を含まない空のウィンドウを作成し、これらのウィンドウを通して「見る」ことなくしては、ディスプレイの下で作動することは知られていない。
【0004】
構造化光の場合、主な問題は、透明ディスプレイのマイクロ回路及び／又はマイクロ配線の微細構造であり、したがって、その結果としての、ディスプレイを通過する光の透過率が低いことである。この微細構造は、単一ピクセルをアドレス指定するための電極マトリックスに起因する。また、単一ピクセルの金属カソードは透明でないため、ピクセル自体は逆格子を示す。原則として、ディスプレイ構造は、特定の材料を用いることによって、電極を含めて全体として透明（transparent）又は透光性（translucent）にすることができる。しかし、今までのところ、高い表示品質と安定性を維持したまま、格子状の微細構造を有しない透明又は透光性ディスプレイは存在しない。
【0005】
構造化光ベースの３Ｄイメージ化装置は、数千の点と既知のパターンを有する点群をシーンの中に投影することに基づいている。透明又は透光性ディスプレイの微細構造は、レーザ光の回折格子構造のように機能する。構造化光イメージ化装置のプロジェクタの多くは、明確に定義されたドットパターンを投影するレーザ源に基づいているため、このパターンはディスプレイの回折格子効果を受け、ドットパターンの全てのスポットが高い回折次数を示すようになる。これは、回折格子構造によって引き起こされる追加の不要な点は、本来の期待されるパターンを回復するためアルゴリズムを非常に複雑にするため、構造化光イメージ化装置にとって致命的な影響を有する。
【0006】
さらに、従来の構造化光イメージ化装置で使用される投影点の数はかなり多い。半透明ディスプレイは光透過率が非常に低いため（例えば３Ｄイメージ化装置の典型的な波長である８５０ｎｍ及び９４０ｎｍの赤外線（ＩＲ）においてさえも）、イメージ化装置によって検出され得る構造化光プロジェクタがディスプレイを通すのに十分なパワーを得るために、非常に高い出力パワーが必要とされ、また、該構造化光プロジェクタはディスプレイの下に設置される必要があり、そのことは追加の光吸収をもたらす。点の数が多いことと、低光透過率の組み合せは、周囲光に対する低い堅牢性をもたらし得る。
【0007】
３Ｄ－ＴｏＦセンサの場合、多重反射をもたらすディスプレイ表面の反射、同様に、光がディスプレイを通過するときの遅延の差のため、異なるディスプレイ構造は異なる屈折率を有し、ディスプレイの背後で使用されるときに堅牢な機能を妨げる。さらに、３Ｄ－ＴｏＦセンサは、シーンを照射するための大量の光も必要とする。さらに、照射は均一である必要がある。ディスプレイの光透過率が低いと、十分な光を提供することが難しく、格子構造は照射の均一性に影響を与える。
【0008】
一般的な３Ｄ感知システムは、透明ディスプレイを通して測定するのに問題がある。現在の装置は、ディスプレイに設けたノッチを使用している。そうすることで、センサが回折光学効果によって妨害されない。
【0009】
ＤＥ２０２０１８００３６４４Ｕ１は、携帯電子装置を記載しており、該装置は、底壁と協働してキャビティを規定する底壁及び側壁であって、該側壁が該キャビティに通じる開口部を規定するエッジを有する底壁及び側壁と；開口部を覆いキャビティを囲む保護層と；キャビティ内かつ保護層と底壁との間に配置され保護層外の物体の深度マップを提供する役割を果たす視覚サブシステムであって、深度マップの情報を生成するために協働する光学部品を運ぶためのクリップアセンブリを備え、該クリップアセンブリは、光学部品を互いから一定の距離で支持し保持するように配置された第１ブラケットと第１ブラケットに固定された本体を有する第２ブラケット（第２ブラケットは、本体から離れて伸びる突起を有する）を備える、視覚サブシステムと、を備える。
【0010】
ＵＳ９，８７０，０２４Ｂ２は、カバー層、カラーフィルタ層、発光ダイオード又は有機発光ダイオードを含むディスプレイ層、薄膜トランジスタ層などの複数の層を含む電子ディスプレイを記載している。一実施形態では、層は、カメラの上方に配置された実質的に透明な領域を含む。実質的に透明な領域は、外部からの光がカメラに到達することを可能にし、カメラが画像を記録することを可能にする。
【0011】
ＵＳ１０，０５７，５４１Ｂ２は、撮像装置及び撮像方法を記載している。この撮像装置は、透明ディスプレイパネルと；透明ディスプレイパネルが黒画像を表示するときにシャッタ時間を同期させ、透明ディスプレイパネルの前方に位置する画像をキャプチャするための、透明ディスプレイパネルの底面に対向するカメラと、を備える。
【0012】
ＵＳ１０，２１５，９８８Ｂ２は、第１の複数の光指向開口部、光検出器、プロセッサ、ディスプレイ、及び第２の複数の光指向開口部を含むアクティブ光学部品を含むシーンからの光を表示するための光学システムを記載している。第１の複数の光指向開口部は、光検出器に光入力を提供するように配置されている。光検出器は、光入力を受信し、光入力を強度データ及び位置データに対応する電気信号に変換するように配置されている。プロセッサは、光検出器からデータを受信し、ディスプレイのためにデータを処理するように接続されている。第２の複数の光指向開口部は、ディスプレイから光出力を提供するように配置されている。
【0013】
スマートフォン、タブレットなどのモバイル装置は、通常、有機発光ダイオード（ＯＬＥＤ）エリアなどの前面ディスプレイを有する。しかし、前記モバイル装置は、その前面側に、指紋を識別するため、１つ以上のセルフポートレートカメラのため、３Ｄセンサのためなど、いくつかのセンサを必要とする。前面ディスプレイの存在による、前記センサを用いた測定の干渉の可能性を低減するために、センサが配置され、かつ、ディスプレイが存在しない又は邪魔されない特別なエリアを有するようにすることが知られている。このような特別なエリアは、いわゆるノッチと呼ばれる。オンにしたＯＬＥＤによってアクティブ光源を使用する測定は、干渉、例えばちらつき、カラーシフトによるアーチファクトが生じることが多く、依然として技術的な課題である場合があり得る。さらに、センサ技術をＯＬＥＤの背後に隠すと、例えば安全な認証が行われているなど、何かが行われている場合に消費者に直接フィードバックすることができなくなる。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】ＤＥ２０２０１８００３６４４Ｕ１
【特許文献2】ＵＳ９，８７０，０２４Ｂ２
【特許文献3】ＵＳ１０，０５７，５４１Ｂ２
【特許文献4】ＵＳ１０，２１５，９８８Ｂ２
【発明の概要】
【発明が解決しようとする課題】
【0015】
したがって、本発明の目的は、既知の装置及び方法の上述の技術的課題に対する装置及び方法を提供することである。具体的には、本発明の目的は、低い技術的努力で、かつ技術的資源及びコストの観点から低い要求で、ディスプレイを介した信頼性の高い深度測定を可能にし、同時に、ノッチ又はエッジエリアのないフルサイズのディスプレイを有する装置及び方法を提供することである。
【課題を解決するための手段】
【0016】
この問題は、独立特許請求項の特徴を備えた本発明によって解決される。個別に又は組み合わせて実現することができる本発明の有利な展開は、従属請求項及び／又は以下の明細書及び詳細な実施形態に示されている。
【0017】
以下で使用される場合、「有する」、「備える」、又は「含む」という用語、又はそれらの任意の文法上の変形は、非排他的な方法で使用される。したがって、これらの用語は、これらの用語によって導入された特徴の他に、この文脈で説明されている実体にさらなる特徴が存在しない状況と、１つ以上のさらなる特徴が存在する状況の両方を指し得る。一例として、「ＡはＢを有する」、「ＡはＢを備える」、及び「ＡはＢを含む」という表現は、Ｂ以外にＡに他の要素が存在しない状況（つまり、Ａは専らかつ排他的にＢから構成される状況）と、Ｂに加えて、１つ以上の要素、例えば要素Ｃ、要素ＣとＤ、又はさらに要素などが実体Ａに存在する状況の双方を指し得る。
【0018】
さらに、「少なくとも１つ」、「１つ以上」という用語、又は、特徴もしくは要素が１回以上存在し得ることを示す同様の表現は、典型的には、それぞれの特徴又は要素を導入するときに１回だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴又は要素を参照するときに、「少なくとも１つ」又は「１つ以上」という表現は、それらの特徴又は要素が１回以上現れ得るという事実にもかかわらず、繰り返されないことに留意されたい。
【0019】
さらに、以下で使用される場合、「好ましくは」、「より好ましくは」、「特に」、「より特に」、「具体的に」、「より具体的に」という用語、又は、同様の用語は、代替の可能性を制限することなく、任意の特徴に関連して使用される。したがって、これらの用語によって導入される特徴は、任意の特徴であり、いかなる意味でも特許請求の範囲を限定することを意図するものではない。本発明は、当業者であれば認識するように、代替的特徴を用いて実施することができる。同様に、「本発明の一実施形態では」又は同様の表現によって導入される特徴は、本発明の代替の実施形態に関するいかなる制限もなく、本発明の範囲に関するいかなる制限もなく、及び、そのような方法で導入される特徴を本発明の他の任意の又は非任意の特徴と組み合わせる可能性に関するいかなる制限もなく、任意の特徴であることが意図されている。
【0020】
本発明の第１の態様では、ディスプレイ装置が開示されている。本明細書で使用される場合、「ディスプレイ」という用語は、少なくとも１つの画像、少なくとも１つの図、少なくとも１つのヒストグラム、少なくとも１つのテキスト、少なくとも１つの記号などの情報項目を表示するように構成された任意の形状の装置を指し得る。ディスプレイは、少なくとも１つのモニタ又は少なくとも１つのスクリーンであり得る。ディスプレイは、任意の形状、好ましくは長方形の形状を有することができる。本明細書で使用される場合、「ディスプレイ装置」という用語は、一般に、少なくとも１つのディスプレイを含む少なくとも１つの電子装置を指し得る。例えば、ディスプレイ装置は、テレビ装置、携帯電話、スマートフォン、ゲームコンソール、タブレットコンピュータ、パーソナルコンピュータ、ラップトップ、タブレット、仮想現実装置、又は別のタイプのポータブルコンピュータからなる群から選択されるモバイル装置であってよい。
【0021】
ディスプレイ装置は、
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源及び前記光センサは、ディスプレイの前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイと；
－ 少なくとも１つの制御ユニットであって、前記制御ユニットは、照射中に前記照射源のエリアで、及び／又は測定中に前記光センサのエリアで、前記ディスプレイをオフにするように構成される、少なくとも１つの制御ユニットと、
を備える。
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源及び前記光センサは、ディスプレイの前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイと；
－ 少なくとも１つの制御ユニットであって、前記制御ユニットは、照射中に前記照射源のエリアで、及び／又は測定中に前記光センサのエリアで、前記ディスプレイをオフにするように構成される、少なくとも１つの制御ユニットと、
を備える。
【0022】
本明細書で使用される場合、「シーン」という用語は、少なくとも１つの任意の物体又は空間領域を指し得る。シーンは、少なくとも１つの物体及びその周囲の環境を含み得る。
【0023】
照射源は、照射ビーム、特に複数の照射特徴を含む少なくとも１つの照射パターンをシーン上に投影するように構成される。本明細書で使用される場合、「照射源」という用語は、一般に、シーンを照射するための少なくとも１つの照射ビームを提供するように適合された少なくとも１つの任意の装置を指し得る。照射源は、シーンを直接的又は間接的に照射するように適合されてよく、照射ビームは、シーンの表面によって反射又は散乱され、それによって、少なくとも部分的に光センサに向けられる。照射源は、例えば、光ビームをシーンに向けることによって、光ビームを反射するシーンを照射するように適合されてよい。
【0024】
照射源は、少なくとも１つの光源を含んでよい。照射源は、複数の光源を含んでいてもよい。照射源は、人工照射源、特に少なくとも１つのレーザ源、及び／又は少なくとも１つの白熱灯、及び／又は少なくとも１つの半導体光源、例えば少なくとも１つの発光ダイオード、特に有機及び／又は無機発光ダイオードを含み得る。一例として、照射源によって放出される光は、３００～１１００ｎｍ、特に５００～１１００ｎｍの波長を有し得る。追加的に又は代替的に、７８０ｎｍ～３．０μｍの範囲などの赤外スペクトル範囲の光が使用され得る。照射源は、少なくとも１つの赤外光源を備え得る。具体的には、シリコンフォトダイオードが適用可能な特には７００ｎｍ～１１００ｎｍの範囲の近赤外領域部分の光が使用されることができる。照射源は、赤外領域において、少なくとも１つの照射光ビーム、特に少なくとも１つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
【0025】
本明細書で使用される場合、「光線」という用語は、一般に、エネルギーの流れの方向を指し示す光の波面に垂直な線を指す。本明細書で使用される場合、「ビーム」という用語は、一般に、光線の集まりを指す。以下では、「光線」及び「ビーム」という用語を同義語として使用される。本明細書でさらに使用される場合、「光ビーム」という用語は、一般に光の量を指し、具体的には、本質的に同じ方向に進む光の量であって、光ビームが拡張角又は広がり角を有する可能性を含む。光ビームは空間的広がりを有することができる。具体的には、光ビームは、非ガウスビームプロファイルを有することができる。ビームプロファイルは台形ビームプロファイル；三角形ビームプロファイル；円錐形ビームからなる群から選択されてよい。台形ビームプロファイルは、プラトー領域と少なくとも１つのエッジ領域とを有することができる。光ビームは、具体的には、以下でさらに詳細に概説するように、ガウス光ビーム又はガウス光ビームの線形結合であり得る。しかしながら、他の実施形態も可能である。
【0026】
照射源は、単一波長で光を放出するように構成されることができる。具体的には、波長は、近赤外領域にあってよい。他の実施形態では、照射は、他の波長チャネルでの追加の測定を可能にする複数の波長を有する光を放出するように適合されてよい。
【0027】
照射源は、少なくとも１つのレーザプロジェクタを備え得る。レーザプロジェクタは、屈折光学系と組み合わされた垂直共振器面発光レーザ（ＶＣＳＥＬ）プロジェクタであってよい。しかしながら、他の実施形態も可能である。レーザプロジェクタは、少なくとも１つのレーザ源と、少なくとも１つの回折光学要素（ＤＯＥ）とを備えることができる。照射源は、少なくとも１つの多重ビーム光源(multiple beam light source)であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源は、少なくとも１つのレーザ源と、１つ以上の回折光学要素（ＤＯＥ）とを含んでいてよい。具体的には、照射源は、少なくとも１つのレーザ及び／又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ（ｂｒａｇｇ）反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が使用されてよい。追加的に又は代替的に、ＬＥＤ及び／又は電球などの非レーザ光源が使用されてよい。照射源は、照射パターンを生成するように適合された１つ以上の回折光学要素（ＤＯＥ）を含んでよい。例えば、照射源は、点群を生成及び／又は投影するように適合されてよく、例えば、照射源は、少なくとも１つのデジタル光処理プロジェクタ、少なくとも１つのＬＣｏＳプロジェクタ、少なくとも１つの空間光変調器；少なくとも１つの回折光学要素；発光ダイオードの少なくとも１つのアレイ；レーザ光源の少なくとも１つのアレイ、のうちの１つ以上を含み得る。それらの一般的に定義されるビームプロファイル及び取扱い性の他の特性を考慮すると、照射源としての少なくとも１つのレーザ源の使用が特に好ましい。照射源は、ディスプレイ装置のハウジングに一体化されてよい。
【0028】
さらに、照射源は、変調された光又は変調されていない光を放出するように構成されてよい。複数の照射源を使用する場合、異なる照射源は異なる変調周波数を有することができ、該異なる変調周波数は、以下にさらに詳細に概説するように、後に、光ビームを区別するために使用されることができる。
【0029】
照射源によって生成された１つ以上の光ビームは、一般的に、光軸に平行に伝播してもよいし、又は、光軸に対して傾斜して伝播してもよく、例えば、光軸と角度を含んで伝播してもよい。ディスプレイ装置は、１つ以上の光ビームがディスプレイ装置の光軸に沿ってディスプレイ装置からシーンに向かって伝播するように構成されてよい。この目的のために、ディスプレイ装置は、照射光ビームを光軸上に偏向させるための少なくとも１つの反射要素、好ましくは少なくとも１つのプリズムを含んでいてよい。一例として、レーザ光ビームなどの１つ以上の光ビーム、及び光軸は、１０°未満、好ましくは５°未満、さらには２°未満の角度を有してよい。しかし、他の実施形態も可能である。さらに、１つ以上の光ビームは、光軸上にあってもよいし、又は光軸から外れていてもよい。一例として、１つ以上の光ビームは、光軸に対して１０ｍｍ未満、好ましくは５ｍｍ未満、さらには１ｍｍ未満の距離を有して、光軸と平行であってもよく、又は光軸と一致さえしていてもよい。
【0030】
照射源は、少なくとも１つの照射パターンを生成するように構成される。前記照射パターンは、周期的な点パターンを含んでよい。本明細書で使用される場合、「少なくとも１つの照射パターン」という用語は、シーンの少なくとも一部を照射するように適合された少なくとも１つの照射特徴を含む少なくとも１つの任意のパターンを指す。本明細書で使用される場合、「照射特徴」という用語は、パターンの少なくとも部分的に広がった少なくとも１つの特徴を指す。照射パターンは、単一の照射特徴を含んでよい。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも１つの点パターン；少なくとも１つの線パターン；少なくとも１つのストライプパターン；少なくとも１つの市松模様パターン；周期的又は非周期的な特徴の配置を含む少なくとも１つのパターン、からなる群から選択されてよい。照射パターンは、三角形パターン、長方形パターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的な及び／又は一定の及び／又は周期的なパターンを含んでよい。照射パターンは、少なくとも１つの点；少なくとも１つの線；平行線又は交差線などの少なくとも２つの線；少なくとも１つの点と１つの線；周期的又は非周期的な特徴の少なくとも１つの配置；少なくとも１つの任意の形状の特徴からなる群から選択される少なくとも１つの照射特徴を示してよい。照射パターンは：少なくとも１つの点パターン、特に擬似ランダム点パターン；ランダム点パターン又は準ランダムパターン；少なくとも１つのソボル（Ｓｏｂｏｌ）パターン；少なくとも１つの準周期的パターン；少なくとも１つの既知の特徴を含む少なくとも１つのパターン；少なくとも１つの規則的なパターン；少なくとも１つの三角形パターン；少なくとも１つの六角形パターン；少なくとも１つの長方形パターン；凸状の均一なタイル状体（ｔｉｌｉｎｇ）を含む少なくとも１つのパターン；少なくとも１つの線を含む少なくとも１つの線パターン；平行線又は交差線などの少なくとも２つの線を含む少なくとも１つの線パターン、からなる群から選択される少なくとも１つのパターンを含むことができる。例えば、照射源は、点群を生成及び／又は投影するように適合され得る。照射源は、照射パターンが複数の点パターンを含むことができるように、点群を生成するように適合された少なくとも１つの光プロジェクタを含み得る。照射源は、照射源によって生成された少なくとも１つの光ビームから照射パターンを生成するように適合された少なくとも１つのマスクを含むことができる。
【0031】
照射パターンの２つの特徴間の距離及び／又は少なくとも１つの照射特徴の面積は、画像内の錯乱円に依存し得る。上記で概説したように、照射源は、少なくとも１つの照射パターンを生成するように構成された少なくとも１つの光源を含んでよい。具体的には、照射源は、レーザ放射を生成するように割り当てられた少なくとも１つのレーザ源及び／又は少なくとも１つのレーザダイオードを含む。照射源は、少なくとも１つの回折光学要素（ＤＯＥ）を含んでよい。ディスプレイ装置は、少なくとも１つの周期的な点パターンを投影するように適合された、少なくとも１つのレーザ源及びＤＯＥなどの少なくとも１つの点プロジェクタを含んでよい。本明細書でさらに使用される場合、「少なくとも１つの照射パターンを投影する」という用語は、少なくとも１つのシーンを照射するための少なくとも１つの照射パターンを提供することを指す。
【0032】
例えば、投影される照射パターンは、周期的な点パターンであってよい。投影される照射パターンは、低い点密度を有していてよい。例えば、照射パターンは、低い点密度を有する少なくとも１つの周期的な点パターンを含み得、該照射パターンは、視野あたり２５００個以下の点を有する。５５×３８°の視野において典型的に１０ｋ～３０ｋの点密度を有する構造化光と比較して、本発明による照射パターンは、より低密度であってよい。これにより、提案された技術は構造化光と比較して周囲光により少なく依存するように、点あたりのパワーを増やすことができる。
【0033】
本明細書で使用される場合、「光センサ」は、一般に、少なくとも１つの光ビームによって生成された照射及び／又は光スポットを検出するためなどの、光ビームを検出するための感光装置を指す。本明細書でさらに使用される場合、「感光エリア」は、一般的に、少なくとも１つの光ビームによって外部から照射され、該照射に応答して少なくとも１つのセンサ信号を生成する、光センサのエリアを指す。感光エリアは、具体的には、それぞれの光センサの表面に位置することができる。しかしながら、他の実施形態も可能である。ディスプレイ装置は、光センサを備える単一のカメラを備え得る。ディスプレイ装置は、それぞれが１つ又は複数の光センサを備える複数のカメラを備えてよい。ディスプレイ装置は、それぞれが感光エリアを有する複数の光センサを含んでよい。本明細書で使用される場合、「それぞれが少なくとも１つの感光エリアを有する光センサ」という用語は、それぞれが１つの感光エリアを有する複数の単一の光センサを備える構成と、複数の感光エリアを有する１つの結合された光センサを備える構成とを指す。「光センサ」という用語は、さらに、１つの出力信号を生成するように構成された感光装置を指す。ディスプレイ装置が複数の光センサを含む場合、各光センサは、正確に１つの感光エリアがそれぞれの光センサ内に存在するように、例えば、照射され得る正確に１つの感光エリアを提供し、該感光エリアの照射に応答して光センサ全体について正確に１つの均一なセンサ信号を生成するようにすることによって具現化されてよい。したがって、各光センサは、単一エリアの光センサであってよい。単一エリアの光センサの使用は、しかしながら、ディスプレイ装置の構成を特に簡単かつ効率的にする。したがって、一例として、それぞれが正確に１つの感光エリアを有する市販のシリコンフォトダイオードなどの市販の光センサが、構成において使用されてよい。しかしながら、他の実施形態も可能である。
【0034】
ディスプレイ装置は、飛行時間（ＴｏＦ）技術に基づく、及び／又は１つのデフォーカスからの深度技術に基づく、及び／又はビームプロファイル解析とも呼ばれる光子比からの深度技術に基づくなどの、少なくとも１つの距離測定を行うように構成され得る。光子比からの深度（ＤＰＲ）技術に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１を参照し、その全内容は参照により含まれる。光センサは、少なくとも１つの距離センサであってよく、又は少なくとも１つの距離センサを備えていてもよい。
【0035】
好ましくは、感光エリアは、ディスプレイ装置の光軸に対して実質的に垂直に方向付けされ得る。光軸は、直線の光軸であってもよいし、又は、１つ以上の偏向要素及び／又は１つ以上のビームスプリッタを使用することなどにより、屈折又は分割さえされてよく、後者の場合、実質的に垂直な方向付けは、光学構成のそれぞれの分岐又はビーム経路の局所的光軸に関して言及している。
【0036】
光センサは、具体的には、少なくとも１つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれを含んでいてもよい。具体的には、光センサは、赤外スペクトル範囲において感度を有してよい。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルが、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び／又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサは、赤外スペクトル範囲、好ましくは７００ｎｍ～３．０マイクロメートルの範囲に感度を有する少なくとも１つの無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１１００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ，Ｄ－６７０５６ Ｌｕｄｗｉｇｓｈａｆｅｎ ａｍ ＲｈｅｉｎのｔｒｉｎａｍｉＸ ＧｍｂＨのＨｅｒｔｚｓｔｕｅｃｋ（登録商標）というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサは、固有の光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅフォトダイオード、ＩｎＧａＡｓフォトダイオード、拡張ＩｎＧａＡｓフォトダイオード、ＩｎＡｓフォトダイオード、ＩｎＳｂフォトダイオード、ＨｇＣｄＴｅフォトダイオード、からなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、外因性光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅ：Ａｕフォトダイオード、Ｇｅ：Ｈｇフォトダイオード、Ｇｅ：Ｃｕフォトダイオード、Ｇｅ：Ｚｎフォトダイオード、Ｓｉ：Ｇａフォトダイオード、Ｓｉ：Ａｓフォトダイオードからなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、ＰｂＳもしくはＰｂＳｅセンサなどの少なくとも１つの光導電センサ、ボロメータ、好ましくはＶＯボロメータ及びアモルファスＳｉボロメータからなる群から選択されるボロメータを含み得る。
【0037】
光センサは、紫外、可視、又は赤外スペクトル範囲の１つ以上で感度を有してよい。具体的には、光センサは、５００ｎｍ～７８０ｎｍ、最も好ましくは６５０ｎｍ～７５０ｎｍ、又は６９０ｎｍ～７００ｎｍの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１０００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサは、具体的には、赤外スペクトル範囲、具体的には７８０ｎｍ～３．０μｍの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれを含んでいてもよい。例えば、光センサは、ＣＣＤセンサ要素、ＣＭＯＳセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれを含んでいてもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び／又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの１つ以上のフォトダイオードが使用され得る。
【0038】
光センサは、ピクセルのマトリックスを含む少なくとも１つのセンサ要素を含んでいてよい。したがって、一例として、光センサは、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサは、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それらを含んでいてもよい。一例として、光センサは、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置の一部であるか、又は、それを構成してもよい。本明細書で使用される場合、「センサ要素」という用語は、一般に、少なくとも１つのパラメータを感知するように構成された装置又は複数の装置の組み合わせを指す。この場合、パラメータは、具体的には光パラメータであってよく、センサ要素は、具体的には光センサ要素であってよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。センサ要素は、光センサのマトリックスを含む。センサ要素は、少なくとも１つのＣＭＯＳセンサを含み得る。マトリックスは、独立光センサなどの独立ピクセルで構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えば、ＣＣＤ検出器チップなどのＣＣＤ検出器の１つ以上、及び／又はＣＭＯＳ検出器チップなどのＣＭＯＳ検出器が使用されてもよい。したがって、一般に、センサ要素は、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それを含んでいてもよく、及び／又は、光センサは、センサアレイを形成してもよく、又は上述のマトリックスなどのセンサアレイの一部であってもよい。したがって、一例として、センサ要素は、例えばｍ行及びｎ列を有する長方形アレイなどのピクセルのアレイを有することができ、ここでｍ、ｎは独立して正の整数である。好ましくは、複数の列及び複数の行が与えられ、すなわち、ｎ＞１、ｍ＞１である。したがって、一例として、ｎは２～１６以上であり得、ｍは２～１６以上であり得る。好ましくは、行数と列数の比は１に近い。一例として、ｎ及びｍは、ｍ／ｎ＝１：１、４：３、１６：９又は類似のものを選択することなどにより、０．３≦ｍ／ｎ≦３となるように選択され得る。一例として、アレイは、ｍ＝２、ｎ＝２又はｍ＝３、ｎ＝３などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってもよい。
【0039】
マトリックスは独立した光センサなどの独立のピクセルから構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えばＣＣＤ検出器チップなどのＣＣＤ検出器、及び／又はＣＭＯＳ検出器チップなどのＣＭＯＳ検出器の１つ以上を使用することができる。したがって、一般に、光センサは、少なくとも１つのＣＣＤ及び／又はＣＭＯＳ装置であってよく及び／又はそれを含んでもよく、及び／又は、ディスプレイ装置の光センサは、センサアレイを形成するか、又は上記のマトリックスなどのセンサアレイの一部であり得る。
マトリックスは、具体的には、少なくとも１行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に方向付けられてよい。本明細書で使用される場合、「実質的に垂直」という用語は、例えば±２０°以下の許容誤差、好ましくは±１０°以下の許容誤差、より好ましくは±５°以下の許容誤差を有する垂直な向きの状態を指す。同様に、「実質的に平行」という用語は、例えば±２０°以下、好ましくは±１０°以下、より好ましくは±５°以下の許容誤差を有する平行な向きの状態を指す。したがって、一例として、２０°より小さい、具体的には１０°より小さい、又は５°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも１０行、好ましくは少なくとも５００行、より好ましくは少なくとも１０００行を有することができる。同様に、マトリックスは、少なくとも１０列、好ましくは少なくとも５００列、より好ましくは少なくとも１０００列を有することができる。マトリックスは、少なくとも５０個の光センサ、好ましくは少なくとも１０００００個の光センサ、より好ましくは少なくとも５００００００個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得るマトリックスの光センサの円形配置又は同心配置が好ましいことがある。
マトリックスは、具体的には、少なくとも１行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に方向付けられてよい。本明細書で使用される場合、「実質的に垂直」という用語は、例えば±２０°以下の許容誤差、好ましくは±１０°以下の許容誤差、より好ましくは±５°以下の許容誤差を有する垂直な向きの状態を指す。同様に、「実質的に平行」という用語は、例えば±２０°以下、好ましくは±１０°以下、より好ましくは±５°以下の許容誤差を有する平行な向きの状態を指す。したがって、一例として、２０°より小さい、具体的には１０°より小さい、又は５°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも１０行、好ましくは少なくとも５００行、より好ましくは少なくとも１０００行を有することができる。同様に、マトリックスは、少なくとも１０列、好ましくは少なくとも５００列、より好ましくは少なくとも１０００列を有することができる。マトリックスは、少なくとも５０個の光センサ、好ましくは少なくとも１０００００個の光センサ、より好ましくは少なくとも５００００００個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得るマトリックスの光センサの円形配置又は同心配置が好ましいことがある。
【0040】
したがって、一例として、センサ要素は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、センサ要素は、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それらを含んでいてもよい。一例として、センサ要素は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置の一部であるか、又は、それを構成してもよい。センサ要素は、光センサのマトリックスを読み取るために、ローリングシャッタ方式又はグローバルシャッタ方式を採用してもよい。
【0041】
ディスプレイ装置は、少なくとも１つの転送装置をさらに含み得る。ディスプレイ装置は、１つ以上の追加の光学要素などの１つ以上の追加の要素をさらに含み得る。ディスプレイ装置は、少なくとも１つのレンズ及び／又は少なくとも１つのレンズシステムなどの転送装置、少なくとも１つの回折光学要素からなる群から選択された少なくとも１つの光学要素を含むことができる。「転送システム」とも呼ばれる「転送装置」という用語は、一般に、光ビームのビームパラメータ、光ビームの幅、又は光ビームの方向の１つ以上を変更することによってなど、光ビームを変更するように適合された１つ以上の光学要素を指し得る。転送装置は、光ビームを光センサに導くように適合されてよい。転送装置は、具体的には：少なくとも１つのレンズ、例えば、少なくとも１つの焦点調節可能レンズ、少なくとも１つの非球面レンズ、少なくとも１つの球面レンズ、少なくとも１つのフレネルレンズからなる群から選択される少なくとも１つのレンズ；少なくとも１つの回折光学要素；少なくとも１つの凹面鏡；少なくとも１つのビーム偏向要素、好ましくは少なくとも１つのミラー；少なくとも１つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも１つ；少なくとも１つのマルチレンズシステム、の１つ以上を含み得る。本明細書で使用される場合、転送装置の「焦点距離」という用語は、転送装置に衝突する可能性がある入射平行光線が「フォーカルポイント(focal point)」とも呼ばれる「焦点(focus)」に集束される距離を指す。したがって、焦点距離は入射光ビームを収束させる転送装置の能力の指標を構成する。したがって、転送装置は、集束レンズの効果を有し得る１つ以上の画像化要素を含むことができる。例として、転送装置は、１つ以上のレンズ、特に１つ以上の屈折レンズ、及び／又は１つ以上の凸面ミラーを有することができる。この例では、焦点距離は、薄い屈折レンズの中心から薄いレンズの主焦点までの距離として定義することができる。凸型又は両凸型の薄レンズなどの、集束する薄い屈折レンズの場合、焦点距離は、正であると考えられ、転送装置としての薄レンズに衝突する平行光が単一のスポットに集束され得る距離を与えることができる。さらに、転送装置は、少なくとも１つの波長選択要素、例えば少なくとも１つの光フィルタを含むことができる。さらに、転送装置は、例えばセンサ領域の位置で、具体的にはセンサエリアで、電磁放射に予め定義されたビームプロファイルを印加するように設計され得る。転送装置の上記の任意の実施形態は、原則として、個別に、又は任意の所望の組み合わせで実現することができる。
【0042】
転送装置は、光軸を有していてよい。具体的には、ディスプレイ装置と転送装置は、共通の光軸を有する。本明細書で使用される場合、「転送装置の光軸」という用語は、一般に、レンズ又はレンズシステムの鏡面対称又は回転対称の軸を指す。ディスプレイ装置の光軸は、ディスプレイ装置の光学構成の対称の線であってよい。ディスプレイ装置は、少なくとも１つの転送装置、好ましくは、少なくとも１つのレンズを有する少なくとも１つの転送システムを含んでよい。転送システムは、一例として、少なくとも１つのビーム経路であって、該ビーム経路内の転送システムの要素が光軸に関して回転対称に配置されているビーム経路を含んでよい。さらに、以下でもさらに詳細に説明されるように、ビーム経路内に配置された１つ以上の光学要素は、光軸に対して中心ズレされているか、又は傾斜していてもよい。しかし、この場合、光軸は、ビーム経路内の光学要素の中心を相互接続することによって、例えば、レンズの中心を相互接続することなどによって、順次定義されてよく、この文脈では、光センサは光学要素として考慮されない。光軸は、一般にビーム経路を示してよい。そこでは、ディスプレイ装置は、光ビームがそれに沿って物体から光センサに進む単一のビーム経路を有してもよいし、複数のビーム経路を有してもよい。一例として、単一のビーム経路が与えられてもよいし、又はビーム経路が２つ以上の部分ビーム経路に分割されてもよい。後者の場合、各部分ビーム経路は、それ自身の光軸を有することができる。光センサは、１つかつ同一のビーム経路又は部分ビーム経路に配置されてよい。代替的に、しかし、光センサはまた、異なる部分ビーム経路に配置されてよい。
【0043】
転送装置は、縦方向座標が光軸に沿った座標であり、ｄが光軸からの空間的オフセットである座標系を構成してよい。座標系は、転送装置の光軸がｚ軸を形成し、ｚ軸からの距離及び極角が追加の座標として使用され得る極座標系であり得る。ｚ軸に平行又は逆平行な方向は、縦方向とみなすことができ、ｚ軸に沿った座標は縦方向座標とみなすことができる。ｚ軸に垂直な任意な方向は、横方向とみなすことができ、極座標及び／又は極角度は横方向座標とみなすことができる。
【0044】
ディスプレイ装置は、ディスプレイ装置の光軸がｚ軸を形成し、また追加的にｚ軸に直交しかつ互いに直交するｘ軸とｙ軸が提供され得る座標系を、構成することができる。一例として、ディスプレイ装置及び／又はディスプレイ装置の一部は、この座標系の原点など、この座標系における特定の点に所在し得る。この座標系において、ｚ軸に平行又は逆平行な方向を縦方向とみなすことができ、ｚ軸に沿った座標を、縦方向座標と考えることができる。縦方向に対して垂直な任意の方向を横方向と考え、ｘ座標及び／又はｙ座標を横方向座標と考えることができる。代替的に、他のタイプの座標系を使用してよい。したがって、一例として、光軸がｚ軸を形成し、ｚ軸からの距離及び極角が追加の座標として使用され得る極座標系を使用することができる。同様に、ｚ軸に平行又は逆平行な方向を縦方向とみなすことができ、ｚ軸に沿った座標を縦方向座標と考えることができる。ｚ軸に対して垂直な任意の方向を横方向と考え、極座標及び／又は極角を横方向座標と考えることができる。
【0045】
ディスプレイ装置は、情報を表示するように構成された少なくとも１つの透光性ディスプレイを備える。透光性ディスプレイは、少なくとも１つのスクリーンであってよく、又は少なくとも１つのスクリーンを備えていてもよい。スクリーンは、任意の形状、好ましくは長方形の形状を有することができる。本明細書で使用される場合、「透光性」という用語は、光、特に特定の波長範囲の光、好ましくは赤外領域の光を通過させるディスプレイの特性を指し得る。照射源及び光センサは、透光性ディスプレイの前方に照射パターンの伝播方向に配置される。情報は、少なくとも１つの画像、少なくとも１つの図、少なくとも１つのヒストグラム、少なくとも１つのグラフィック、テキスト、数字、少なくとも１つの記号、操作メニューなどの任意の情報であってよい。
【0046】
透光性ディスプレイは、ディスプレイのフルサイズにわたって延びるディスプレイ材料を有するフルサイズディスプレイであってよい。ディスプレイの「サイズ」という用語は、透光性ディスプレイの表面積を指し得る。「フルサイズディスプレイ」という用語は、透光性ディスプレイが凹部なし又は切り欠きなしであること、透光性ディスプレイがアクティブ表示エリア全体を有すること、又は表示エリア全体がアクティブ化可能であることのうちの１つ以上を指し得る。透光性ディスプレイは、ディスプレイ材料の連続的な分布を有していてよい。透光性ディスプレイは、凹部や切り欠きがないように設計されていてよい。例えば、ディスプレイ装置は、透光性ディスプレイが配置される長方形表示エリアなどの表示エリアを有する前面側を含むことができる。表示エリアは、透光性ディスプレイ、特にディスプレイ材料によって、具体的には、凹部やノッチがないように、完全に覆われていてよい。これにより、表示サイズ、特に情報を表示するように構成されたディスプレイ装置の面積を大きくすることを可能にすることができる。例えば、ディスプレイ装置の全体及び／又は全前面サイズが表示材料によって覆われてよいが、ディスプレイを囲むフレームは可能であり得る。
【0047】
透光性ディスプレイは、少なくとも１つの有機発光ダイオード（ＯＬＥＤ）ディスプレイであってよく、又はそれを含んでいてもよい。本明細書で使用される場合、「有機発光ダイオード」という用語は、広義の用語であり、当業者にとって通常で慣用的な意味を与えられるべきであり、特別な意味又はカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されることなく、発光エレクトロルミネセンス層が電流に応答して光を放出するように構成された有機化合物の膜である発光ダイオード（ＬＥＤ）を指し得る。ＯＬＥＤは、可視光を放出するように構成されていてよい。
【0048】
ディスプレイ装置は、少なくとも１つの制御ユニットを備える。制御ユニットは、照射中に照射源のエリアで、及び／又は測定中に光センサのエリアで、ディスプレイをオフにするように構成される。本明細書でさらに使用される場合、「制御ユニット」という用語は、一般に、特に少なくとも１つのプロセッサ及び／又は少なくとも１つの特定用途向け集積回路を使用することによって、照射源及び／又は光センサ及び／又はディスプレイ装置などのディスプレイの少なくとも１つのさらなるコンポーネントを制御するように構成された任意の装置を指す。したがって、一例として、制御ユニットは、多数のコンピュータコマンドを含むソフトウェアコードをそこに格納する少なくとも１つのデータ処理装置を備えることができる。制御ユニットは、指定された操作の１つ以上を実行するための、１つ以上のハードウェア要素を提供してよく、及び／又は、指定された操作の１つ以上を実行するための、そこで実行されるソフトウェアを有する１つ以上のプロセッサを提供してもよい。したがって、一例として、制御ユニットは、上述の制御を実行するように構成された１つ以上のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上のプログラム可能な装置を備えることができる。しかしながら追加的に又は代替的に、制御ユニットはまた、完全に又は部分的にハードウェアによって具体化されてよい。
【0049】
制御ユニットは、照射中に照射源のエリアで、及び／又は測定中に光センサのエリアで、ディスプレイをオフにするように構成される。本明細書で使用される場合、「照射中」という用語は、照射源がアクティブである、例えば、スイッチオンされている、及び／又は少なくとも１つの照射ビームを生成する準備がされている、及び／又はシーンを能動的に照射しているなどの、時間スパンを指し得る。本明細書で使用される場合、「測定中」という用語は、光センサがアクティブである、例えば、スイッチオンされている、及び／又は測定の準備がされている、及び／又は能動的に測定しているなどの、時間スパンを指し得る。本明細書で使用される場合、「あるエリアのディスプレイをオフにする」という用語は、特にディスプレイの特定のエリアへの出力供給を防止及び／又は中断及び／又は停止するように調整することを指し得る。上記で概説したように、ディスプレイは、少なくとも１つのＯＬＥＤディスプレイを備え得る。制御ユニットが照射源のエリアでディスプレイをオフにすると、ＯＬＥＤディスプレイは、照射源のエリアで非アクティブになり得る。制御ユニットが光センサのエリアでディスプレイをオフにしたとき、ＯＬＥＤディスプレイは光センサのエリアで非アクティブであってよい。制御ユニットは、測定がアクティブである間、ディスプレイのエリアをオフにするように構成されてよい。
【0050】
照射源は、照射ビーム、特に照射パターンがシーンに向かって放射される放射エリアを備えることができる。放射エリアは、照射源の開口角によって定義され得る。「照射源のエリアのディスプレイ」という用語は、放射エリアによってカバーされた透光性ディスプレイの部分を指し得る。「光センサのエリアのディスプレイ」という用語は、光センサの感光エリアによってカバーされたディスプレイの部分を指し得る。照射源及び光センサは、定義されたエリアに配置されてよい。照射源と光センサは、互いに対して固定された位置に配置されていてよい。例えば、照射源と光センサは、特に一定の距離を有して、互いに隣接して配置されてよい。照射源及び光センサは、放射エリア及び感光エリアによってカバーされる透光性ディスプレイのエリアが最小となるように配置されてよい。
【0051】
ディスプレイは、制御ユニットが照射中に照射源のエリアで、及び／又は測定中に光センサのエリアでディスプレイをオフにしたときに、照射源のエリア及び／又は光センサのエリアに、黒色エリアを示すように構成されていてよい。黒色エリアは、光を放出していないエリア及び／又はディスプレイの他のエリアと比較して、光の量が減少しているエリアであってよい。例えば、黒色エリアは、暗くなったエリアであってよい。具体的には、制御ユニットは、照射源のエリアのディスプレイが調整可能なノッチとして機能するように、照射源のエリアのディスプレイをオフにするように、及び／又は、光センサのエリアのディスプレイが調整可能なノッチとして機能するように、光センサのエリアのディスプレイをオフにするように構成される。調整可能なノッチは、照射及び／又は測定中にアクティブになり、それ以外は非アクティブになるように構成されることができる。調整可能なノッチは、ディスプレイ装置が使用されていないときに、顔ロック解除中などの測定中に、アクティブになり、光センサ、特にフロントセンサが必要ないときに、非アクティブになる仮想ノッチとして機能してよい。使用されるＯＬＥＤディスプレイの場合、これは、ディスプレイの作動が全くないことを意味する場合がある。これにより、ＩＲ光によってどのピクセルの色も変化しないことを確実にすることを可能にすることができる。さらに、ディスプレイ装置、特に制御ユニット及び／又はさらなる処理装置及び／又はさらなる光学要素は、例えばＩＲレーザのちらつきを知覚してディスプレイの色を補正するように構成されることができる。
【0052】
例えば、ディスプレイ装置の構成は、光センサ及びレンズシステムを備えるカメラと、プロジェクタ、特にレーザプロジェクタとを備え得る。プロジェクタとカメラは、透光性ディスプレイの後方で、シーンによって反射された光の伝播方向に固定されてよい。プロジェクタはドットパターンを生成し、ディスプレイを通して光ることができる。測定中、透光性ディスプレイは、透光性ディスプレイがこの時間中黒色エリアを表示するように、プロジェクタのエリアでオフにされることができる。カメラはディスプレイを通して見ることができる。
【0053】
調整可能なノッチは、鋭いエッジを含むことができる。しかし、他の実施形態では、調整可能なノッチは、あらゆる鋭いフリンジを回避するために輝度勾配で実現されることができる。ディスプレイ装置は、鋭いフリンジを回避するために、光センサが通常配置されるディスプレイのエッジに輝度勾配を導入するように構成された輝度低減要素を備えることができる。これにより、調整可能なノッチのエリアにおいて低減された輝度を提供することが可能となり得る。
【0054】
制御ユニットは、ディスプレイと照射源とが互いに干渉しない方式で、いわゆるトグルモードで、これらを同期させるように構成されることができる。
【0055】
例えば、ディスプレイ装置は、少なくとも１つの照射パターンを生成するように構成された少なくとも１つのプロジェクタと、シーンを照射するための追加のフラッドイルミネーションと、光センサとを備え得る。ディスプレイ装置は、これらの構成要素が、ディスプレイの前方に照射光ビームの伝播方向に配置されるように構成されることができる。透光性ディスプレイは、少なくとも１つのＯＬＥＤディスプレイであってよい。ＯＬＥＤディスプレイは、約２５％又は２５％超の透過率を有し得る。しかし、より透過率が低いＯＬＥＤディスプレイの実施形態さえも可能であり得る。ＯＬＥＤディスプレイは、マトリックス配置で配置された複数のピクセルを含んでよい。ＯＬＥＤは、マトリックスの上から下へ一行ずつコンテンツ行更新及び／又はリフレッシュすることができる。制御ユニットは、ディスプレイ、プロジェクタ、フラッドイルミネーション及び光センサを同期させるように構成されていてよい。ディスプレイ、特にディスプレイドライバは、更新及び／又はリフレッシュが最後の行から最初の行にラップアラウンドすることを示す少なくとも１つの信号を発するように構成され得る。照射装置及び光センサは、第１ライン又は第１ラインのうちの１つに配置されてよい。ディスプレイドライバは、制御ユニットの一部であってよい。ディスプレイドライバは、ディスプレイの要素であってよい。追加的に又は代替的に、信号は、外部の制御ユニットによって発せられることができる。例えば、更新及び／又はリフレッシュが最後の行から最初の行にラップアラウンドする場合、垂直同期（ＶＳＹＮＣ）信号（ディスプレイＶＳＹＮＣとも表される）が、ディスプレイによって発せられてよい。ディスプレイは、２つの動作モード、すなわち、「ビデオモード」又は「コマンドモード」で作動させられ得る。ビデオモードでは、ＶＳＹＮＣ信号は、ディスプレイドライバによって、ディスプレイから発せられ得る。コマンドモードでは、ＶＳＹＮＣ信号は、後述するように、外部制御ユニット（例えば、システムオンチップ）によって生成され、発せられ得る。光センサの露光は、ディスプレイのＶＳＹＮＣの直前に、すなわち、照射装置及び光センサが配置されている第１ラインのリフレッシュの直前に起こり得る。ＯＬＥＤディスプレイを介する光の放出は、ディスプレイのコンテンツが更新及び／又はリフレッシュされる、特に上書きされるわずか前にタイミングを合わせることができる。これにより、目に見える歪みを最小化することができる。
【0056】
光センサ、例えば、少なくとも１つのＩＲ－カメラは、プロジェクタ及びフラッドイルミネーションと同期され得る。光センサは、照射中、アクティブであってよく、すなわち、画像をキャプチャするためのモード及び／又は光を検出するためのモードにあってよい。例えば、光センサと照射源の同期は、光センサが、カメラＶＳＹＮＣとも呼ばれるＶＳＹＮＣ信号を制御ユニットに発し、ストロボ信号を照射源に発することによって実現され得、制御ユニットがカメラＶＳＹＮＣに応答して照射源を作動させるためのトリガ信号を照射源に発行する。トリガ信号とストロボ信号が照射源によって受信された場合、照射源は照射（複数可）を開始する。しかし、光センサと照射源を同期させるための他の実施形態も可能である。
【0057】
例えば、制御ユニットは、システムオンチップ（ＳｏＣ）を含んでよい。ＳｏＣは、ディスプレイインターフェイスを含んでよい。ＳｏＣは、少なくとも１つのアプリケーションに接続された少なくとも１つのアプリケーションプログラミングインターフェイス（ＡＰＩ）を備えることができる。ＳｏＣは、少なくとも１つの画像信号処理装置（ＩＳＰ）をさらに備えることができる。光センサは、少なくとも１つの接続を介して、ＳｏＣ、特にＩＳＰ及び／又はＡＰＩに接続され得る。接続は、電力制御、クロック信号（ＣＬＫ）の提供、画像信号の転送のうちの１つ以上のために構成され得る。追加的に又は代替的に、接続は、インター集積回路（Ｉ２Ｃ）として具現化されることができる。追加的に又は代替的に、接続は、ＭＩＰなどの画像データインターフェイスとして具現化されることができる。アプリケーションは、照射源の１つ以上による照射を要求することができる。ＳｏＣは、ＡＰＩを介して、接続を介して光センサに電力を供給することができる。光センサは、ＳｏＣにＶＳＹＮＣ信号を発することができ、照射源にストロボ信号を発することができる。ＳｏＣは、ＡＰＩを介して、カメラＶＳＹＮＣに応答して、照射源をそれぞれアクティブ化するためのトリガ信号を照射源に発することができる。それぞれのトリガ信号とストロボ信号がそれぞれの照射源によって、特にＡＮＤ論理ゲートによって受信された場合、照射源のそれぞれのドライバは、イルミネーションを駆動する。光センサの信号は、接続によりＳｏＣ、例えばＡＰＩ及びＩＳＰに転送され、及び、例えばメタデータなどと共に、さらなる評価のためにアプリケーションに提供され得る。
【0058】
さらに、光センサとディスプレイを同期させることができる。ディスプレイ装置は、ディスプレイＶＳＹＮＣを、カメラフレームの露光端に同期させるため、トリガ信号として、ディスプレイＶＳＹＮＣを光センサに渡すように構成されることができる。光センサのトリガの要求に応じて、ディスプレイＶＳＹＮＣは、光センサに渡される前に、要求を完全に満たすように適合され、特に調整されることができる。例えば、ディスプレイＶＳＹＮＣの周波数は半分に調整されることができる。
【0059】
制御ユニットは、光センサ及び／又は前記照射源がアクティブである場合に、表示を発するように構成されてよい。透光性ディスプレイは、光センサ及び／又は照射源がアクティブなときに前記表示を表示するように構成されてよい。例えば、ディスプレイ装置は、照射源と光センサとを用いて顔認識を行うように構成されてよい。顔認識のための方法及び技術は、当業者には一般的に知られている。制御ユニットは、顔認識の実行中に、顔認識がアクティブであることを示す表示を発するように構成されてよい。透光性ディスプレイは、顔認識の実行中に、前記表示を表示するように構成されてよい。例えば、表示は、少なくとも１つの警告要素であってよい。表示は、光センサ及び／又は照射源、特に顔認識がアクティブであることを示すアイコン及び／又はロゴ及び／又はシンボル及び／又はアニメーションのうちの１つ以上であってよい。例えば、黒色エリアは、安全認証がアクティブであることを示す識別マークを含んでよい。これにより、ユーザは、例えば、支払いや署名などのための安全な環境にいることを認識することができる。例えば、警告要素は、顔認証がアクティブであることを示すために、色及び／又は外観を変えることができる。この表示により、ユーザはさらに、スパイ行為を避けるために光センサ、特にカメラがオンになっていることを認識することができる。制御ユニット及び／又はさらなる安全ゾーンは、黒色エリアに少なくとも１つの透かしを表示するための少なくとも１つのコマンドを発するように構成されてよい。透かしは、低セキュリティアプリ、例えば店舗から模倣されないシンボルであり得る。
【0060】
しかし、透光性ディスプレイの裏側でシーンによって反射された光の伝播方向に照射源と光センサを配置することは、ディスプレイの回折格子が、シーン上に、及び光センサによってキャプチャされる画像内にも、複数のレーザポイントを発生させる結果を生じ得る。したがって、画像上のこれらの複数のスポットは、有用な距離情報を含まない可能性がある。以下で詳細に説明されるように、ディスプレイ装置は、回折格子のゼロ次数の反射特徴、すなわち実特徴を発見し評価するように構成された少なくとも１つの評価装置を備えてよく、高次の反射特徴、すなわち偽特徴を無視することができる。
【0061】
照射源は、少なくとも１つのシーン上に複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成されてよい。光センサは、照射特徴による照射に応答してシーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されてよい。ディスプレイ装置は、少なくとも１つの評価装置をさらに備えてよい。評価装置は、第１画像を評価するように構成されてよく、そこでは、第１画像の評価は、第１画像の反射特徴を識別することと、識別された反射特徴を明るさに関して並べ替えをすることとを含む。反射特徴の各々は、少なくとも１つのビームプロファイルを含むことができる。評価装置は、ビームプロファイルの分析により、反射特徴の各々に関して少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されることができる。評価装置は、縦方向座標ｚＤＰＲを用いて、反射特徴と、対応する照射特徴とを明確にマッチングするように構成されることができる。マッチングは、最も明るい反射特徴から始めて、反射特徴の明るさを減少させながら行われることができる。評価装置は、照射特徴とマッチングした反射特徴を実特徴として分類し、照射特徴とマッチングしなかった反射特徴を偽特徴として分類するように構成され得る。評価装置は、偽特徴を拒絶し、縦方向座標ｚＤＰＲを使用することによって、実特徴の深度マップを生成するように構成され得る。
【0062】
光センサは、照射特徴による照射に応答してシーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成され得る。本明細書で使用される場合、限定されることなく、「画像」という用語は、具体的には、センサ要素のピクセルなどの画像化装置からの複数の電子読取値など、光センサを使用することによって記録されたデータに関することができる。画像自体は、したがって、ピクセルを含み得、画像のピクセルは、センサ要素のマトリックスのピクセルに相関している。したがって、「ピクセル」を参照する場合、センサ要素の単一のピクセルによって生成された画像情報の単位を参照するか、又はセンサ要素の単一のピクセルを直接参照するかのいずれかである。本明細書で使用される場合、「二次元画像」という用語は、一般に、高さ及び幅の寸法などの横方向座標に関する情報を有する画像を指し得る。本明細書で使用される場合、「三次元画像」という用語は、一般に、横方向座標に関する情報と、追加的に、高さ、幅及び深さの寸法などの縦方向座標に関する情報と、を有する画像を指し得る。本明細書で使用される場合、「反射特徴」という用語は、具体的には少なくとも１つの照射特徴である照射に応答してシーンによって生成される画像平面内の特徴を指し得る。
【0063】
評価装置は、第１画像を評価するように構成されてよい。本明細書でさらに使用される場合、「評価装置」という用語は、一般に、好ましくは少なくとも１つのデータ処理装置を使用することによって、より好ましくは少なくとも１つのプロセッサ及び／又は少なくとも１つの特定用途向け集積回路を使用することによって、指定された操作を行うように適合された任意の装置を指す。したがって、一例として、少なくとも１つの評価装置は、多数のコンピュータコマンドを含んでそこに格納されたソフトウェアコードを有する少なくとも１つのデータ処理装置を含んでいてよい。評価装置は、指定された操作の１つ以上を実行するための１つ以上のハードウェア要素を提供してもよく、及び／又は、指定された操作の１つ以上を実行するためにその上で実行されるソフトウェアを有する１つ以上のプロセッサを提供してもよい。操作は、画像を評価することを含む。具体的には、ビームプロファイルを決定し、表面を表示することは、少なくとも１つの評価装置によって実行されてよい。したがって、一例として、１つ以上の命令は、ソフトウェア及び／又はハードウェアで実装されることができる。したがって、一例として、評価装置は、評価を実行するように構成された１つ以上のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上のプログラマブル装置を備えることができる。しかしながら、追加的又は代替的に、評価装置はまた、完全に又は部分的にハードウェアによって具現化されてもよい。
【0064】
評価装置及びディスプレイ装置は、完全に又は部分的に単一の装置に統合されてよい。したがって、一般に、評価装置はまたディスプレイ装置の一部を形成してよい。あるいは、評価装置及びディスプレイ装置は、完全に又は部分的に、別個の装置として具現化されてもよい。ディスプレイ装置は、さらなるコンポーネントを含むことができる。評価装置は、制御ユニットに接続されてよく、及び／又は制御ユニットの一部であってよい。
【0065】
評価装置は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）などの１つ以上の集積回路、及び／又は、１つ以上コンピュータ、好ましくは１つ以上のマイクロコンピュータ、及び／又はマイクロコントローラ、フィールドプログラマブルゲートアレイ、又はデジタル信号プロセッサなどの、１つ以上のデータ処理装置であるか、又はそれらを含んでいてもよい。追加のコンポーネント、例えば、１つ以上の前処理装置、及び／又は１つ以上のＡＤ変換器及び／又は１つ以上のフィルタなどの、センサ信号の受信及び／又は前処理を行う１つ以上装置などのデータ収集装置が含まれていてもよい。さらに、評価装置は、電流及び／又は電圧を測定するための１つ以上の測定装置などの、１つ以上の測定装置を備えることができる。さらに、評価装置は１つ以上のデータ記憶装置を含むことができる。さらに、評価装置は、１つ以上のインターフェイス、例えば１つ以上の無線インターフェイス及び／又は１つ以上の有線インターフェイスを含むことができる。
【0066】
評価装置は、光センサ及び／又は評価装置によって得られる情報などの情報を、表示すること、視覚化すること、分析すること、配布すること、通信すること、又は、さらに処理することのうちの１つ以上のために使用され得る少なくとも１つのさらなるデータ処理装置に、接続されることができ、又は、それを含むことができる。データ処理装置は、一例として、ディスプレイ、プロジェクタ、モニタ、ＬＣＤ、ＴＦＴ、ラウドスピーカ、マルチチャネルサウンドシステム、ＬＥＤパターン、又は、さらなる視覚化装置うちの少なくとも１つに接続されることができ、又は、それを組み込むことができる。それはさらに、Ｅメール、テキストメッセージ、電話、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、赤外線又はインターネットインターフェイス、ポート又は接続のうちの１つ以上を使用して、暗号化された情報又は暗号化されていない情報を送ることができる、通信装置又は通信インターフェイス、コネクタ又はポートのうちの少なくとも１つに、さらに接続されることができ、又はそれを組み込むことができる。それはさらに、プロセッサ、グラフィックプロセッサ、ＣＰＵ、Ｏｐｅｎ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎｓ Ｐｌａｔｆｏｒｍ（ＯＭＡＰ（登録商標））、集積回路、Ａｐｐｌｅ Ａシリーズ又はＳａｍｓｕｎｇ Ｓ３Ｃ２シリーズからの製品、マイクロコントローラ又はマイクロプロセッサなどのようなシステムオンチップ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、又はフラッシュメモリなどの１つ以上のメモリブロック、発振器もしくは位相同期ループなどのタイミングソース、カウンタタイマ、リアルタイムタイマ、又はパワーオン－リセット－ジェネレーター、電圧調整器、電力管理回路、又はＤＭＡコントローラのうちの少なくとも１つにさらに接続されることができ、又はそれを組み込むことができる。個々のユニットは、さらに、ＡＭＢＡバスなどのバスによって、モノのインターネット又はインダストリー４．０タイプのネットワークに接続され得るか、統合され得る。
【0067】
評価装置及び／又はデータ処理装置は、シリアル又はパラレルのインターフェイス又はポート、ＵＳＢ、Ｃｅｎｔｒｏｎｉｃｓ Ｐｏｒｔ、ＦｉｒｅＷｉｒｅ、ＨＤＭＩ（登録商標）、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＲＦＩＤ、Ｗｉ－Ｆｉ、ＵＳＡＲＴ、もしくはＳＰＩのうちの１つ以上などのさらなる外部インターフェイス又はポート、あるいは、ＡＤＣ又は、ＤＡＣ、又はＣａｍｅｒａＬｉｎｋのようなＲＧＢインターフェイスを使用して２Ｄカメラ装置のようなさらなる装置への標準化されたインターフェイスもしくはポートのうちの１つ以上などのアナログインターフェイス又はポートによって接続されていてもよく、又はそれらを有していてもよい。評価装置及び／又はデータ処理装置は、プロセッサ間インターフェイスもしくはポート、ＦＰＧＡ－ＦＰＧＡ－インターフェイス、又は、シリアルもしくはパラレルインターフェイスポートのうちの１つ以上によってさらに接続され得る。評価装置及びデータ処理装置は、さらに、光学ディスクドライブ、ＣＤ－ＲＷドライブ、ＤＶＤ＋ＲＷドライブ、フラッシュドライブ、メモリカード、ディスクドライブ、ハードディスクドライブ、ソリッドステートディスク、又はソリッドステートハードディスクのうちの１つ以上に接続され得る。
【0068】
評価装置及び／又はデータ処理装置は、フォンコネクタ、ＲＣＡコネクタ、ＶＧＡコネクタ、雄雌同体コネクタ、ＵＳＢコネクタ、ＨＤＭＩ（登録商標）コネクタ、８Ｐ８Ｃコネクタ、ＢＣＮコネクタ、ＩＥＣ６０３２０ Ｃ１４コネクタ、光ファイバコネクタ、Ｄサブミニチュアコネクタ、ＲＦコネクタ、同軸コネクタ、ＳＣＡＲＴコネクタ、ＸＬＲコネクタのうちの１つ以上などの、１つ以上のさらなる外部コネクタによって接続されていてもよく、又は、それらを有していてもよく、及び／又は、これらのコネクタのうちの１つ以上のための少なくとも１つの適切なソケットを組み込んでいてもよい。
【0069】
評価装置は、第１画像の評価を行うように構成され得る。第１画像の評価は、第１画像の反射特徴を識別することを含んでよい。評価装置は、反射特徴を識別するために、少なくとも１つの画像分析及び／又は画像処理を実行するように構成され得る。画像分析及び／又は画像処理は、少なくとも１つの特徴検出アルゴリズムを使用してよい。画像分析及び／又は画像処理は、以下：フィルタリング；少なくとも１つの関心領域の選択；センサ信号によって生成された画像と少なくとも１つのオフセットとの間の差分画像の形成；センサ信号によって生成された画像を反転することによるセンサ信号の反転；異なる時間にセンサ信号によって生成された画像間の差分画像の形成；背景補正；カラーチャネルへの分解；色相への分解；飽和；輝度チャネル；周波数分解；特異値分解；ブロブ検出器の適用；コーナー検出器の適用；ヘッセフィルタの行列式の適用；主曲率ベースの領域検出器の適用；最大安定極値領域検出器の適用；一般化されたハフ変換の適用；稜線検出器の適用；アフィン不変特徴検出器の適用；アフィン適応の関心点演算子の適用；ハリスアフィン領域検出器の適用；ヘッセアフィン領域検出器の適用；スケール不変特徴変換の適用；スケールスペース極値検出器の適用；局所特徴検出器の適用；高速化堅牢特徴アルゴリズムの適用；勾配位置及び方向のヒストグラムアルゴリズムの適用；方向付けられた勾配記述子のヒストグラムの適用；Ｄｅｒｉｃｈｅエッジ検出器の適用；差動エッジ検出器の適用；時空関心点検出器の適用；モラベックコーナー検出器の適用；キャニーエッジ検出器の適用；ガウスフィルタのラプラス演算子の適用；差分ガウスフィルタの適用；ソーベル（Ｓｏｂｅｌ）演算子の適用；ラプラス演算子の適用；シャール演算子の適用；プレウィット演算子の適用；ロバーツ演算子の適用；キルシュ演算子の適用；ハイパスフィルタの適用；ローパスフィルタの適用；フーリエ変換の適用；ラドン変換の適用；ハフ変換の適用；ウェーブレット変換の適用；閾値処理；バイナリ画像の生成、のうちの１つ以上を含み得る。関心領域は、ユーザが手動で決定されてもよく、又は、光センサによって生成された画像内の特徴を認識するなどによって、自動的に決定されてもよい。
【0070】
例えば、照射源は、複数の照射領域が、光センサ、例えばＣＭＯＳ検出器上に生成されるように、点群を生成及び／又は投影するように構成されてよい。さらに、例えばスペックル及び／又は外来光及び／又は多重反射によるなどの外乱が、光センサに存在し得る。評価装置は、少なくとも１つの関心領域、例えば、物体の縦方向座標の決定に使用される光ビームによって照射される１つ以上のピクセルを、決定するように適合され得る。例えば、評価装置は、フィルタリング方法、例えば、ブロブ分析及び／又はエッジフィルタ及び／又は物体認識方法を実行するように適合され得る。
【0071】
評価装置は、少なくとも１つの画像補正を行うように構成されてよい。画像補正は、少なくとも１つの背景減算を含み得る。評価装置は、例えば、さらなる照射なしの画像化によって、ビームプロファイルからの背景光から影響を除去するように適合されてよい。
【0072】
反射特徴の各々は、少なくとも１つのビームプロファイルを含む。本明細書で使用される場合、反射特徴の「ビームプロファイル」という用語は、一般に、ピクセルの関数としての、光センサ上の光スポットなどの反射特徴の少なくとも１つの強度分布を指し得る。ビームプロファイルは、台形ビームプロファイル；三角形ビームプロファイル；円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置は、ビームプロファイルの分析により、反射特徴の各々に関するビームプロファイルの情報を決定するように構成される。
【0073】
評価装置は、ビームプロファイルの分析により、反射特徴の各々に関して少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されてよい。本明細書で使用される場合、「ビームプロファイルの分析」という用語は、一般に、ビームプロファイルの評価を指し得、少なくとも１つの数学演算、及び／又は少なくとも１つの比較、及び／又は少なくとも１つの対称化、及び／又は少なくとも１つのフィルタリング、及び／又は少なくとも１つの正規化を含んでよい。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも１つを含み得る。評価装置は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び／又は正規化及び／又はフィルタリングするように構成されることができる。評価装置は、空間周波数分析及び／又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行され、中心までの同じ距離にある全ての強度を平均化することによって実行され得る。評価装置は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置は、例えば、照射なしの画像化によって、ビームプロファイルからの背景光から影響を除去するように構成されてよい。
【0074】
反射特徴は、画像の少なくとも１つのピクセルをカバーするか、又はその上に延びていてもよい。例えば、反射特徴は、複数のピクセルをカバーするか、又は複数のピクセルにわたって延在してもよい。評価装置は、反射特徴、例えば光スポットに接続及び／又は属する全てのピクセルを決定及び／又は選択するように構成されていてもよい。評価装置は、強度の中心を、
によって決定するように構成されてよく、ここで、Ｒｃｏｉは強度の中心位置、ｒｐｉｘｅｌはピクセル位置、及び
はｊが反射特徴に接続及び／又は属するピクセル数ｊ、Ｉｔｏｔａｌは総強度である。
【数1】
【数2】
【0075】
評価装置は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについて縦方向座標ｚＤＰＲを決定するように構成されてよい。光子比からの深度（ＤＰＲ）技術に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１を参照し、その全内容は参照により含まれる。
【0076】
評価装置は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。本明細書で使用される場合、「ビームプロファイルを決定する」という用語は、光センサによって提供される少なくとも１つの反射特徴を識別すること、及び／又は光センサによって提供される少なくとも１つの反射特徴を選択することと、反射特徴の少なくとも１つの強度分布を評価することとを指す。一例として、マトリックスの領域は、マトリックスを通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも１つのピクセルを決定することなどにより決定され得、断面軸が照射の中心を通して選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
【0077】
反射特徴の１つのビームプロファイルの分析は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定することを含み得る。ビームプロファイルの第１エリアは、エリアＡ１であり得、ビームプロファイルの第２エリアは、エリアＡ２であり得る。評価装置は、第１エリアと第２エリアとを積分するように構成されてよい。評価装置は、積分された第１エリア及び積分された第２エリアを除算すること、積分された第１エリア及び積分された第２エリアの倍数を除算すること、積分された第１エリア及び積分された第２エリアの線形結合を除算することの１つ以上によって、結合信号、特に商Ｑを導出するように構成され得る。評価装置は、ビームプロファイルの少なくとも２つのエリアを決定するように、及び／又はビームプロファイルをビームプロファイルの異なるエリアを有する少なくとも２つのセグメントに分割するように構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置は、２つ、３つ、４つ、５つ、又は最大１０個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置は、光スポットをビームプロファイルの少なくとも２つのエリアに分割するように、及び／又は、ビームプロファイルをビームプロファイルの異なるエリアを含む少なくとも２つのセグメントに分割するように構成されてよい。評価装置は、エリアのうちの少なくとも２つについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置は、決定された積分の少なくとも２つを比較するように構成されてよい。具体的には、評価装置は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定するように構成されてよい。本明細書で使用される場合、「ビームプロファイルのエリア」という用語は、一般に、商Ｑを決定するために使用される光センサ位置におけるビームプロファイルの任意の領域を指す。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、エリアが一致していなくてよい。例えば、評価装置は、ＣＭＯＳセンサのセンサ領域を少なくとも２つのサブ領域に分割するように構成されてよく、評価装置は、ＣＭＯＳセンサのセンサ領域を、少なくとも１つの左側部分と少なくとも１つの右側部分、及び／又は少なくとも１つの上部分と少なくとも１つの下部分、及び／又は少なくとも１つの内部分と少なくとも１つの外部分、とに分割するように構成され得る。追加的又は代替的に、ディスプレイ装置は、少なくとも２つの光センサを備えてよく、第１光センサ及び第２光センサの感光エリアは、第１光センサが反射特徴のビームプロファイルの第１エリアを決定するよう適合され、第２光センサが反射特徴のビームプロファイルの第２エリアを決定するよう適合されるように配置され得る。評価装置は、第１エリアと第２エリアとを積分するように適合されてよい。評価装置は、縦方向座標を決定するために、商Ｑと縦方向座標の間の少なくとも１つの予め決定された関係を用いるように構成されてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、予め決定された関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0078】
ビームプロファイルの第１エリアは、ビームプロファイルのエッジ情報を実質的に含んでよく、ビームプロファイルの第２エリアは、ビームプロファイルの中心情報を実質的に含んでよく、及び／又は、ビームプロファイルの第１エリアは、ビームプロファイルの左側部分に関する情報を実質的に含み、ビームプロファイルの第２エリアはビームプロファイルの右側部分に関する情報を実質的に含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び／又はビームプロファイルのプラトーの中心点及び／又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第２領域は、断面の内側領域を含んでよく、第１領域は、断面の外側領域を含んでよい。本明細書で使用される場合、「実質的に中心情報」という用語は、一般に、中心情報の割合、すなわち中心に対応する強度分布の割合と比較して、エッジ情報の割合が低いこと、すなわちエッジに対応する強度分布の割合が低いことを指す。好ましくは、中心情報は、１０％未満、より好ましくは５％未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。本明細書で使用される場合、「実質的にエッジ情報」という用語は、一般に、エッジ情報の割合と比較して、中心情報の割合が低いことを指す。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、１０％未満、好ましくは５％未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも１つのエリアは、ビームプロファイルの第２エリアとして決定及び／又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも１つのエリアは、ビームプロファイルの第１エリアとして決定及び／又は選択されてよい。例えば、断面の全エリアが第１領域として決定されてよい。
【0079】
第１エリアＡ１及び第２エリアＡ２の他の選択も可能であり得る。例えば、第１エリアは、ビームプロファイルの実質的に外側領域を含み、第２エリアは、ビームプロファイルの実質的に内側領域を含み得る。例えば、二次元ビームプロファイルの場合、ビームプロファイルは左側部分と右側部分に分割されることができ、そこでは、第１エリアはビームプロファイルの左側部分のエリアを実質的に含み、第２エリアはビームプロファイルの右側部分のエリアを実質的に含んでよい。
【0080】
エッジ情報は、ビームプロファイルの第１エリアにおける光子数に関する情報を含み、中心情報は、ビームプロファイルの第２エリアにおける光子数に関する情報を含み得る。評価装置は、ビームプロファイルの面積分を決定するように構成されてよい。評価装置は、第１エリアの積分及び／又は加算によってエッジ情報を決定するように構成されてよい。評価装置は、第２エリアの積分及び／又は加算によって中心情報を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は台形の積分を決定するように構成されてよい。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、ならびに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
【0081】
一実施形態では、Ａ１は、光センサ上の特徴点の全体又は完全なエリアに対応し得る。Ａ２は、光センサ上の特徴点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、特徴点の全エリアと比べてより小さくてもよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の０．１～０．９、好ましくは全半径の０．４～０．６の半径を有してよい。
【0082】
一実施形態では、照射パターンは、少なくとも１つの線パターンを含んでいてよい。Ａ１は、光センサ上の、特に光センサの感光エリア上の線パターンの全線幅を有するエリアに対応してもよい。光センサ上の線パターンは、光センサ上の線幅が増幅するように、照射パターンの線パターンと比較して拡大及び／又は変位されてもよい。特に、光センサのマトリックスの場合には、光センサ上の線パターンの線幅は、ある列から別の列へと変化してもよい。Ａ２は、光センサ上の線パターンの中心エリアであってよい。中心エリアの線幅は一定の値であってもよく、特に照射パターンの線幅に対応していてもよい。中心エリアの線幅は、全体の線幅に比べて小さくてもよい。例えば、中心エリアは、全線幅の０．１～０．９、好ましくは全線幅の０．４～０．６の線幅を有していてよい。線パターンは、光センサ上でセグメント化されていてよい。光センサのマトリックスの各列は、線パターンの中心エリアの強度の中心情報と、線パターンの中心エリアからエッジ領域までさらに外側に延びる領域からの強度のエッジ情報を含むことができる。
【0083】
一実施形態では、照射パターンは、少なくとも１つの点パターンを含んでいてよい。Ａ１は、光センサ上の点パターンの点の全半径を有するエリアに対応し得る。Ａ２は、光センサ上の点パターンの点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、全半径と相当する半径を有することができる。例えば、中心エリアは、全半径の０．１～０．９、好ましくは全半径の０．４～０．６の半径を有することができる。
【0084】
照射パターンは、少なくとも１つの点パターンと少なくとも１つの線パターンの両方を含むことができる。線パターン及び点パターンに加えて、又は代替として、他の実施形態も可能である。
【0085】
評価装置は、第１エリアと第２エリアを除算すること、第１エリアと第２エリアの倍数を除算すること、第１エリアと第２エリアの線形結合を除算することのうちの１つ以上によって商Ｑを導出するように構成されてよい。評価装置は、
によって商Ｑを導出するように構成されてよく、
式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【数3】
式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【0086】
追加的に又は代替的に、評価装置は、光スポットの少なくとも１つのスライス又はカットから、中心情報又はエッジ情報の一方又は両方を決定するように適合されてもよい。これは、例えば、商Ｑの面積分をスライス又はカットに沿った線積分で置き換えることによって実現され得る。精度を向上させるために、光スポットを通るいくつかのスライス又はカットを使用して平均してもよい。楕円形のスポットプロファイルの場合、いくつかのスライス又はカットにわたって平均化すると、改善された距離情報が得られ得る。
【0087】
例えば、ピクセルのマトリックスを有する光センサの場合、評価装置は、
－ 最高のセンサ信号を有するピクセルを決定し、少なくとも１つの中心信号を形成することと；
－ マトリックスのセンサ信号を評価し、少なくとも１つの和信号を形成することと；
－ 中心信号と和信号を結合させることによって商Ｑを決定することと；
－ 商Ｑを評価することにより、物体の少なくとも１つの縦方向座標ｚを決定することと、によって、ビームプロファイルを評価するように構成されてよい。
－ 最高のセンサ信号を有するピクセルを決定し、少なくとも１つの中心信号を形成することと；
－ マトリックスのセンサ信号を評価し、少なくとも１つの和信号を形成することと；
－ 中心信号と和信号を結合させることによって商Ｑを決定することと；
－ 商Ｑを評価することにより、物体の少なくとも１つの縦方向座標ｚを決定することと、によって、ビームプロファイルを評価するように構成されてよい。
【0088】
本明細書で使用される場合、「センサ信号」は、一般に、照射に応答して光センサ及び／又は光センサの少なくとも１つのピクセルによって生成される信号を指す。具体的には、センサ信号は、少なくとも１つのアナログ電気信号及び／又は少なくとも１つのデジタル電気信号などの少なくとも１つの電気信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも１つの電圧信号及び／又は少なくとも１つの電流信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも１つの光電流を含み得る。さらに、未処理のセンサ信号が使用されるか、又は、ディスプレイ装置、光センサ、もしくはその他の要素が、フィルタリングなどによる前処理など、センサ信号を処理又は前処理するように適合されることができ、それにより、センサ信号としても使用され得る二次センサ信号を生成する。「中心信号」という用語は、一般に、ビームプロファイルの実質的に中心情報を含む少なくとも１つのセンサ信号を指す。本明細書で使用される場合、「最高のセンサ信号」という用語は、関心領域の局所最大値又は最大値の一方又は両方を指す。例えば、中心信号は、マトリックス全体又はマトリックス内の関心領域のピクセルによって生成された複数のセンサ信号のうち、最高のセンサ信号を有するピクセルの信号であり得、該関心領域は、マトリックスのピクセルによって生成される画像内で予め決定された、又は決定可能であり得る。中心信号は、単一のピクセルから、又は光センサの一群から生じ得、後者の場合、一例として、ピクセルの一群のセンサ信号は、中心信号を決定するために、加算、積分、又は平均化され得る。中心信号が生じるピクセルの一群は、例えば、最高のセンサ信号を有する実際のピクセルから予め決定された距離より短く離れたピクセルなどの隣接するピクセルの一群であり得、又は、最高のセンサ信号から予め決定された範囲内にあるセンサ信号を生成するピクセルの一群であり得る。中心信号が生じるピクセルの一群は、最大のダイナミックレンジを可能にするように、できるだけ大きく選択され得る。評価装置は、複数のセンサ信号、例えば最高のセンサ信号を有するピクセルの周りの複数のピクセルを統合することによって中心信号を決定するように適合されてもよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は、台形の積分、特に台形のプラトーの積分を決定するように適合されてよい。
【0089】
上述したように、中心信号は、一般に、光スポットの中心にあるピクセルからのセンサ信号などの単一のセンサ信号であってもよいし、又は、光スポットの中心にあるピクセルから生じるセンサ信号の組み合せなど、複数のセンサ信号の組み合せであってもよいし、又は、前述の可能性の１つ以上から導出されるセンサ信号を処理することによって導出される二次センサ信号であってもよい。中心信号の決定は、センサ信号の比較が従来の電子機器によってかなり簡単に実施されるため、電子的に実行されてもよく、又は、ソフトウェアによって完全に又は部分的に実行されてもよい。具体的には、中心信号は、最高のセンサ信号；最高のセンサ信号から予め決定された許容範囲内にあるセンサ信号の一群の平均；最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの予め決定された一群からのセンサ信号の平均；最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの予め決定された一群からのセンサ信号の合計；最高のセンサ信号から予め決定された許容範囲内にあるセンサ信号の一群の合計；予め決定された閾値を超えるセンサ信号の一群の平均；予め決定された閾値を超えるセンサ信号の一群の合計；最高のセンサ信号を有する光センサを含む光センサの一群、及び隣接するピクセルの予め決定された一群からのセンサ信号の積分；最高のセンサ信号から予め決定された許容範囲内にあるセンサ信号の一群の積分；予め決定された閾値を超えるセンサ信号の一群の積分、からなる群から選択され得る。
【0090】
同様に、「和信号」という用語は、一般に、ビームプロファイルの実質的にエッジ情報を含む信号を指す。例えば、和信号は、マトリックス全体又はマトリックス内の関心領域のセンサ信号を加算すること、センサ信号を積分すること、又はセンサ信号を平均することによって導出することができ、該関心領域は、マトリックスの光センサによって生成される画像内で予め決定された、又は決定可能である。センサ信号を合計、積分、又は平均化する場合、センサ信号が生成される実際の光センサは、加算、積分、又は平均化から除外されてもよく、あるいは、加算、積分、又は平均化に含まれてもよい。評価装置は、マトリックス全体の、又はマトリックス内の関心領域の信号を積分することにより、和信号を決定するように適合され得る。例えば、ビームプロファイルは台形ビームプロファイルであり得、評価装置は、台形全体の積分を決定するように適合され得る。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、ならびに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
【0091】
同様に、中心信号及びエッジ信号はまた、例えばビームプロファイルの円形セグメントなどのビームプロファイルのセグメントを使用することによって決定され得る。例えば、ビームプロファイルは、ビームプロファイルの中心を通過しない分割線又は弦によって２つのセグメントに分割され得る。したがって、一方のセグメントは実質的にエッジ情報を含み、他方のセグメントは実質的に中心情報を含むことになる。例えば、中心信号中のエッジ情報の量をさらに減らすために、エッジ信号が中心信号からさらに減算されてもよい。
【0092】
商Ｑは、中心信号と和信号を結合して生成される信号であってよい。具体的には、決定は、中心信号と和信号の商、又はその逆の商を形成すること；中心信号の倍数と和信号の倍数の商、又はその逆の商を形成すること；中心信号の線形結合と、和信号の線形結合の商、又はその逆の商を形成すること、のうちの１つ以上を含み得る。追加的に又は代替的に、商Ｑは、中心信号と和信号の間の比較に関する少なくとも１つの情報項目を含む任意の信号又は信号の結合を含むことができる。
【0093】
本明細書で使用される場合、「物体の縦方向座標」という用語は、光センサと物体の間の距離を指す。評価装置は、縦方向座標を決定するために、商Ｑと縦方向座標の間の少なくとも１つの予め決定された関係を用いるように構成されてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの予め決定された関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0094】
評価装置は、ゼロ次数及び高次数の全ての反射特徴について距離を計算する少なくとも１つの光子比からの深度アルゴリズムを実行するように構成され得る。
【0095】
第１画像の評価は、識別された反射特徴を明るさに関して並べ替えをすること、を含んでよい。本明細書で使用される場合、「並べ替えをする」という用語は、さらなる評価のために、明るさに関して反射特徴を割り当てること、特に、最大の明るさを有する反射特徴から開始して、続いて減少する明るさを有する反射特徴のシーケンスを割り当てることを指し得る。減少する明るさによる並べ替えは、減少する明るさに従った並べ替え及び／又は減少する明るさに関する並べ替えを指し得る。本明細書で使用される場合、「明るさ」という用語は、第１画像における反射特徴の大きさ及び／又は第１画像における反射特徴の強度を指し得る。明るさは、可視スペクトル範囲又は赤外スペクトル範囲などの定義された通過帯域を指す場合もあれば、又は波長に依存しない場合もある。最も明るい反射特徴がＤＰＲ計算で優先される場合、縦方向座標ｚＤＰＲの決定の堅牢性を高めることができる。これは主に、回折格子のゼロ次数の反射特徴が、高次の偽特徴よりも常に明るいためである。
【0096】
評価装置は、縦方向座標ｚＤＰＲを用いて、反射特徴と、対応する照射特徴とを明確にマッチングするように構成されることができる。光子比からの深度技術で決定される縦方向座標は、いわゆる対応問題を解くために使用され得る。そのようにして、反射特徴ごとの距離情報を使用して、既知のレーザプロジェクタグリッドの対応関係を見つけることができる。本明細書で使用される場合、「マッチング」という用語は、対応する照射特徴及び反射特徴を識別すること及び／又は決定すること及び／又は評価することを指す。本明細書で使用される場合、「対応する照射特徴及び反射特徴」という用語は、照射パターンの照射特徴の各々がシーンで反射特徴を生成するという事実を指し得、そこでは、生成された反射特徴は、前記反射特徴を生成した照射特徴に割り当てられる。
【0097】
本明細書で使用される場合、「明確にマッチングする」という用語は、１つの反射特徴のみが１つの照射特徴に割り当てられること、及び／又は他の反射特徴が同じマッチングした照射特徴に割り当てられないことを指し得る。
【0098】
反射特徴に対応する照射特徴は、エピポーラ幾何学を使用して決定されることができる。エピポーラ幾何学の説明については、例えば、Ｘ．Ｊｉａｎｇ、Ｈ．Ｂｕｎｋｅによる「Ｄｒｅｉｄｉｍｅｎｓｉｏｎａｌｅｓ Ｃｏｍｐｕｔｅｒｓｅｈｅｎ」シュプリンガー、ベルリンハイデルベルク、１９９７年の第２章を参照されたい。エピポーラ幾何学は、照射画像、すなわち歪みのない照射パターンの画像、及び第１画像が、固定距離を有する異なる空間位置及び／又は空間配向で決定される画像であることを仮定し得る。距離は相対距離であり、ベースラインとも呼ばれる。照射画像は、参照画像とも呼ばれる。評価装置は、参照画像におけるエピポーラ線を決定するように適合され得る。参照画像と第１画像の相対位置は既知である場合がある。例えば、参照画像と第１画像の相対位置は、評価装置の少なくとも１つの記憶ユニット内に保存され得る。評価装置は、第１画像の選択された反射特徴からそれが由来する現実世界の特徴まで延びる直線を決定するように適合され得る。したがって、直線は、選択された反射特徴に対応する、あり得る物体特徴を含み得る。直線とベースラインはエピポーラ平面を展開する。参照画像が第１画像とは異なる相対的配置で決定されるため、対応するあり得る物体の特徴は、参照画像内のエピポーラ線と呼ばれる直線上に画像化され得る。エピポーラ線は、エピポーラ面と参照画像との交点であってよい。したがって、第１画像の選択された特徴に対応する参照画像の特徴は、エピポーラ線上に位置する。
【0099】
照射特徴を反射したシーンの物体までの距離に応じて、照射特徴に対応する反射特徴は、第１画像内で変位し得る。参照画像は、選択される反射特徴に対応する照射特徴が画像化される少なくとも１つの変位領域を含むことができる。変位領域は、１つの照射特徴のみを含んでよい。変位領域は、複数の照射特徴を含んでいてもよい。変位領域は、エピポーラ線又はエピポーラ線のセクションを含んでいてもよい。変位領域は、複数のエピポーラ線又は複数のエピポーラ線の複数のセクションを含んでいてもよい。変位領域は、エピポーラ線に沿って、エピポーラ線に直交して、又はその両方に延びることができる。評価装置は、エピポーラ線に沿って照射特徴を決定するように適合されてよい。評価装置は、反射特徴の縦方向座標ｚと、結合信号Ｑからの誤差間隔±εを決定し、±εに対応するエピポーラ線に沿った又はエピポーラ線に直交する変位領域を決定するように適合され得る。結合信号Ｑを使用した距離測定の測定不確実性は、測定不確実性が方向によって異なる場合があるため、第２画像内に非円形の変位領域をもたらす可能性がある。具体的には、エピポーラ線に沿った測定不確実性は、エピポーラ線に対して直交する方向の測定不確実性よりも大きくなり得る。変位領域は、エピポーラ線又は複数のエピポーラ線に対して直交方向に延びる範囲を含むことができる。評価装置は、選択された反射特徴を変位領域内の少なくとも１つの照射特徴とマッチングさせるように適合されてよい。評価装置は、決定された縦方向座標ｚＤＰＲを考慮する少なくとも１つの評価アルゴリズムを使用することによって、第１画像の選択された特徴と変位領域内の照射特徴とをマッチングさせるように適合されてよい。評価アルゴリズムは線形スケーリングアルゴリズムであり得る。評価装置は、変位領域に最も近い及び／又は変位領域内のエピポーラ線を決定するように適合されてよい。評価装置は、反射特徴の画像位置に最も近いエピポーラ線を決定するように適合されてよい。エピポーラ線に沿った変位領域の範囲は、エピポーラ線に直交する変位領域の範囲より大きくてよい。評価装置は、対応する照射特徴を決定する前にエピポーラ線を決定するように適合されてよい。評価装置は、各反射特徴の画像位置の周りの変位領域を決定してよい。評価装置は、変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てるなどによって、反射特徴の各画像位置の各変位領域にエピポーラ線を割り当てるように適合されてよい。評価装置は、割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿って割り当てられた変位領域内の照射特徴を決定することにより、反射特徴に対応する照射特徴を決定するように適合されてよい。
【0100】
追加的に又は代替的に、評価装置は以下のステップ：
－ 各反射特徴の画像位置の変位領域を決定する、ステップと；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てるなどによって、各反射特徴の変位領域にエピポーラ線を割り当てる、ステップと；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿って割り当てられた変位領域内の照射特徴を割り当てるなどによって、各反射特徴に少なくとも１つの照射特徴を割り当てる及び／又は決定するステップと、
を実行するように構成されてよい。
－ 各反射特徴の画像位置の変位領域を決定する、ステップと；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てるなどによって、各反射特徴の変位領域にエピポーラ線を割り当てる、ステップと；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿って割り当てられた変位領域内の照射特徴を割り当てるなどによって、各反射特徴に少なくとも１つの照射特徴を割り当てる及び／又は決定するステップと、
を実行するように構成されてよい。
【0101】
追加的に又は代替的に、評価装置は、照射画像内の反射特徴及び／又はエピポーラ線の距離を比較することによって、及び／又は、照射画像内の照射特徴及び／又はエピポーラ線のε重み付き距離などの誤差重み付き距離を比較し、より短い距離及び／又はε重み付き距離のエピポーラ線及び／又は照射特徴を、照射特徴及び／又は反射特徴に割り当てるなどことによって、反射特徴に割り当てられる複数のエピポーラ線及び／又は照射特徴の間で決定するように適合されてもよい。
【0102】
上記で説明されたように、回折格子により、複数の反射特徴が、例えば、照射特徴のそれぞれに対して、１つの実特徴と複数の偽特徴が、生成される。マッチングは、最も明るい反射特徴から始めて、反射特徴の明るさを減少させながら実行される。マッチングされた照射特徴に対して他の反射特徴を割り当てることはできない。ディスプレイアーチファクトのため、生成される偽特徴は一般に実特徴より暗い。反射特徴を明るさによって並べ替えることにより、より明るい反射特徴が対応マッチングで優先される。照射特徴の対応関係が既に使用されている場合、偽特徴は、使用されたすなわちマッチングされた照射特徴に、割り当てられることができない。
【0103】
評価装置は、照射特徴にマッチングする反射特徴を実特徴として分類し、照射特徴マッチングしなかった反射特徴を偽特徴として分類するように構成され得る。本明細書で使用される場合、「分類する」という用語は、反射特徴を少なくとも１つのカテゴリに割り当てることを指し得る。本明細書で使用される場合、「実特徴」という用語は、回折格子のゼロ次数の反射特徴を指し得る。本明細書で使用される場合、「偽特徴」という用語は、回折格子の高次の、すなわち次数≧１の反射特徴を指し得る。回折格子のゼロ次数は、より高次の偽特徴よりも常に明るい。
【0104】
評価装置は、偽特徴を拒絶し、縦方向座標ｚＤＰＲを使用することによって、実特徴のための深度マップを生成するように構成されてよい。本明細書で使用される場合、「深度」という用語は、物体と光センサとの間の距離を指し得、縦方向座標によって与えられ得る。本明細書で使用される場合、「深度マップ」という用語は、深度の空間分布を指し得る。ディスプレイ装置は、シーン、例えば顔のシーンから３Ｄマップを生成するために使用され得る。
【0105】
構造化光法では、一般的に、カメラと数千点などの細かい点グリッドを備えたプロジェクタを使用する。よく知られているプロジェクタパターンが、シーン上の点パッチの対応関係を見つけるのに使用される。点の対応関係が解れば、三角測量によって距離情報が得られる。カメラがディスプレイの後ろにある場合、回折によって画像が空間的に歪む。そのため、歪んだ画像上の点パターンを見つけることは困難な作業となる。構造化光法と比較して、本発明は、ディスプレイの回折格子に直接影響されない、ビームプロファイルを評価するための光子比からの深度技術を使用することを提案する。歪みはビームプロファイルに影響しない。
【0106】
深度マップは、三角測量及び／又はデフォーカスからの深度及び／又は構造化光などのさらなる深度測定技術を使用することによってさらに洗練され得る。評価装置は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光法技術を使用して、反射特徴のそれぞれについて少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成され得る。
【0107】
評価装置は、照射特徴及び反射特徴の変位を決定するように適合され得る。評価装置は、マッチングした照射特徴及び選択された反射特徴の変位を決定するように適合され得る。評価装置、例えば評価装置の少なくとも１つのデータ処理装置は、特に照射画像と第１画像のそれぞれの画像位置を比較することによって、照射特徴及び反射特徴の変位を決定するように構成され得る。本明細書で使用される場合、「変位」という用語は、照射画像内の位置と第１画像内の位置との間の差を指す。評価装置は、第２縦方向座標と変位との間の所定の関係を用いて、マッチングした特徴の第２縦方向情報を決定するように適合され得る。評価装置は、三角測量法を使用することによって所定の関係を決定するように適合され得る。第１画像内の選択された反射特徴の位置と、マッチングした照射特徴の位置、及び／又は、選択された反射特徴とマッチングした照射特徴の相対変位が既知である場合、対応する物体特徴の縦方向座標は、三角測量によって決定され得る。したがって、評価装置は、例えば続いて及び／又は列ごとに、反射特徴を選択するように、及び、照射特徴の各潜在的に可能な位置について三角測量を使用して対応する距離値を決定するように、適合され得る。変位及び対応する距離値は、評価装置の少なくとも１つの記憶装置に保存され得る。評価装置は、一例として、少なくとも１つのプロセッサ、少なくとも１つのＤＳＰ、少なくとも１つのＦＰＧＡ及び／又は少なくとも１つのＡＳＩＣなどの少なくとも１つのデータ処理装置を含むことができる。さらに、第２縦方向座標ｚと変位との間の少なくとも１つの予め決定された又は決定可能な関係を保存するために、予め決定された関係を記憶するための１つ以上のルックアップテーブルを提供するなど、少なくとも１つのデータ記憶装置が提供され得る。評価装置は、カメラ及び／又はディスプレイ装置の内因性及び／又は外因性の較正のためのパラメータを保存するように適合され得る。評価装置は、例えばツァイカメラ較正を実行するなどによって、カメラ及び／又はディスプレイ装置の内因性及び／又は外因性の較正のためのパラメータを生成するように適合され得る。評価装置は、転送装置の焦点距離、放射レンズの歪み係数、放射レンズの歪みの中心座標、走査とデジタル化のハードウェアタイミングの不完全性に起因する不確実性を説明するためのスケールファクタ、世界座標とカメラ座標間の変換の回転角度、世界座標とカメラ座標間の変換の並進コンポーネント、開口角、イメージセンサ形式、主点、スキュー係数、カメラ中心、カメラ向き、ベースライン、カメラ及び／又は照射源の回転又は並進パラメータ、開口部、焦点距離などの、パラメータを計算及び／又は推定するように適合され得る。
【0108】
評価装置は、第２縦方向座標ｚｔｒｉａｎｇと縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成されてよい。結合縦方向座標は、第２縦方向座標ｚｔｒｉａｎｇと縦方向座標ｚＤＰＲの平均値であってよい。結合縦方向座標は、深度マップの生成に使用されることができる。
【0109】
ディスプレイ装置は、さらなる照射源を備えていてよい。さらなる照射源は、少なくとも１つの発光ダイオード（ＬＥＤ）を含んでいてよい。さらなる照射源は、可視スペクトル範囲の光を生成するように構成されてよい。光センサは、シーンの少なくとも１つの二次元画像を含む少なくとも１つの第２画像を決定するように構成されていてよい。さらなる照射源は、第２画像の画像化のための追加の照射を提供するように構成されてよい。例えば、ディスプレイ装置の構成は、追加のフラッドイルミネーションＬＥＤによって拡張され得る。さらなる照射源は、ＬＥＤで、特に、照射パターンなしで、顔などのシーンを照射してよく、光センサは、二次元画像をキャプチャするように構成されてよい。二次元画像は、顔検出及び検証アルゴリズムに使用されてよい。ディスプレイのインパルス応答が既知である場合、光センサによってキャプチャされた歪んだ画像は修復されることができる。評価装置は、格子関数ｇで第２画像Ｉをデコンボリューションすることによって、少なくとも１つの補正画像Ｉ０を決定するように構成され得る（ここで、Ｉ＝Ｉ０
＊ｇ）。格子関数は、インパルス応答とも呼ばれる。歪みのない画像は、デコンボリューションアプローチ、例えばＶａｎ－Ｃｉｔｔｅｒｔ又はＷｉｅｎｅｒデコンボリューションによって復元され得る。ディスプレイ装置は、格子関数ｇを決定するように構成され得る。例えば、ディスプレイ装置は、小さな単一の明るい点を含む照射パターンで黒いシーンを照射するように構成されることができる。キャプチャされる画像は、格子関数であり得る。この手順は、較正中などに１回だけ実行され得る。ディスプレイを介した画像化であっても補正画像を決定するために、ディスプレイ装置は、画像をキャプチャするように構成され、キャプチャされたインパルス応答ｇでデコンボリューションアプローチを使用することができる。結果として得られる画像は、ディスプレイのアーチファクトが少ない再構成画像であり得、顔認識などのいくつかのアプリケーションに使用されることができる。
【0110】
評価装置は、反射特徴の少なくとも１つのビームプロファイル、好ましくは複数の反射特徴のビームプロファイルを評価することによって、物体の少なくとも１つの材料特性ｍを決定するように構成され得る。ビームプロファイルを評価することによって少なくとも１つの材料特性を決定することの詳細に関しては、ＷＯ２０２０／１８７７１９が参照され、その内容は参照により含まれる。
【0111】
本明細書で使用される場合、「材料特性」という用語は、材料の特徴付け及び／又は識別及び／又は分類のために構成された、材料の少なくとも１つの任意の特性を指す。例えば、材料特性は、粗さ、材料への光の透過深度、生物学的材料又は非生物学的材料として材料を特徴付ける特性、反射率、鏡面反射率、拡散反射率、表面特性、透光性の尺度、散乱、具体的には、後方散乱挙動などからなる群から選択される特性であってよい。少なくとも１つの材料特性は、散乱係数、透光性、透明性、ランバート表面反射からの偏差、スペックルなどからなる群から選択される特性であってもよい。本明細書で使用される場合、「少なくとも１つの材料特性を識別する」という用語は、材料特性を決定すること、物体に材料特性を割り当てることの１つ以上を指す。評価装置は、予め定義された及び／又は予め決定された材料特性のルックアップリスト及び／又はルックアップテーブルなどのリスト及び／又はテーブルを含む少なくとも１つのデータベースを含んでよい。材料特性のリスト及び／又はテーブルは、本発明によるディスプレイ装置を使用して少なくとも１つの試験測定を行うことにより、例えば既知の材料特性を有するサンプルを使用して材料試験を行うことにより、決定及び／又は生成されることができる。材料特性のリスト及び／又はテーブルは、製造業者サイトで、及び／又はディスプレイ装置のユーザによって、決定及び／又は生成されることができる。材料特性は、例えば、材料名、生物学的材料又は非生物学的材料などの材料グループ、透光性材料又は非透光性材料、金属又は非金属、皮膚又は非皮膚、毛皮又は非毛皮、カーペット又は非カーペット、反射性又は非反射性、鏡面反射性又は非鏡面反射性、泡又は非泡、毛髪又は非毛髪、粗さグループなどの１つ以上などの材料分類にさらに割り当てられてよい。評価装置は、材料特性及び関連する材料名及び／又は材料グループを含むリスト及び／又はテーブルを含む少なくとも１つのデータベースを含んでよい。
【0112】
例えば、この理論に拘束されることを望まないが、人間の皮膚は、表面反射と呼ばれる表面の後方反射によって生成される部分と、後方反射の拡散部分と呼ばれる皮膚を透過する光からの非常に拡散した反射によって生成される部分とを含む、後方散乱プロファイルとも呼ばれる反射ビームプロファイルを有し得る。人間の皮膚の反射プロファイルに関しては、「Ｌａｓｅｒｔｅｃｈｎｉｋｉｎｄｅｒ Ｍｅｄｉｚｉｎ：Ｇｒｕｎｄｌａｇｅｎ、Ｓｙｓｔｅｍｅ、Ａｎｗｅｎｄｕｎｇｅｎ」、「ＷｉｒｋｕｎｇｖｏｎＬａｓｅｒｓｔｒａｈｌｕｎｇ ａｕｆ Ｇｅｗｅｂｅ」１９９１年，１０１７１～２６６頁，Ｊｕｅｒｇｅｎ Ｅｉｃｈｌｅｒ，Ｔｈｅｏ Ｓｅｉｌｅｒ，Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ，ＩＳＢＮ ０９３９－０９７９を参照されたい。皮膚の表面反射は、波長が近赤外に向かって増加するのにつれて増加する可能性がある。さらに、透過深度は、波長が可視光から近赤外に増加するとともに増加する可能性がある。後方反射の拡散部分は、光の透過深度の増加とともに増加する可能性がある。これらの特性は、後方散乱プロファイルを分析することによって、皮膚を他の材料から区別するために使用されることができる。
【0113】
具体的には、評価装置は、反射ビームプロファイルとも呼ばれる反射特徴のビームプロファイルを、少なくとも１つの予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルと比較するように構成されてよい。予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルは、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、ディスプレイ装置の少なくとも１つのデータ記憶装置に記憶されてもよい。例えば、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルは、ディスプレイ装置を備えるモバイル装置の初期起動時に決定されてよい。例えば、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルは、例えばソフトウェアによって、具体的にはアプリストア等からダウンロードされたアプリによってなど、モバイル装置の少なくとも１つのデータ記憶装置に記憶されてよい。反射特徴は、反射ビームプロファイルと、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルとが同一である場合に、生体組織によって生成されたものとして示され得る。比較は、反射ビームプロファイルと、予め決定された又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含むことができる。比較は、反射ビームプロファイルと、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルとの間の偏差、例えば、点間距離の二乗和を決定することを含んでよい。評価装置は、決定された偏差を少なくとも１つの閾値と比較するように構成されてよく、決定された偏差が閾値より低く及び／又は閾値に等しい場合、表面は生体組織として示され、及び／又は生体組織の検出が確認される。閾値は、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、ディスプレイ装置の少なくとも１つのデータ記憶装置に記憶されてもよい。
【0114】
追加的に又は代替的に、反射特徴が生体組織によって生成されたかどうかを識別するために、評価装置は、エリアの画像に少なくとも１つの画像フィルタを適用するように構成されてよい。本明細書でさらに使用される場合、「画像」という用語は、二次元関数ｆ（ｘ，ｙ）を指し、ここで、明るさ及び／又は色の値は、画像内の任意のｘ，ｙ位置に対して与えられる。位置は、記録ピクセルに対応して離散化されてよい。明るさ及び／又は色は、光センサのビット深度に対応して離散化されてよい。本明細書で使用される場合、「画像フィルタ」という用語は、ビームプロファイル及び／又はビームプロファイルの少なくとも１つの特定領域に適用される少なくとも１つの数学演算を指す。具体的には、画像フィルタФは、画像ｆ又は画像内の関心領域を、実数Ф（ｆ（ｘ，ｙ））＝φにマッピングし、ここでφは特徴、特に材料特徴を示している。画像はノイズの影響を受ける可能性があり、特徴についても同様である。したがって、特徴はランダム変数であってよい。特徴は正規分布に従ってもよい。特徴が正規分布に従っていない場合は、ボックスコックス変換（Ｂｏｘ－Ｃｏｘ－Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などによって正規分布に従うように変換されてもよい。
【0115】
評価装置は、少なくとも１つの材料依存画像フィルタФ２を画像に適用することによって、少なくとも１つの材料特徴φ２ｍを決定するように構成されてよい。本明細書で使用される場合、「材料依存」画像フィルタはという用語は、材料依存の出力を有する画像を指す。材料依存画像フィルタの出力は、本明細書では「材料特徴φ２ｍ」又は「材料依存特徴φ２ｍ」と示される。材料特徴は、反射特徴を生成したエリアの表面の少なくとも１つの材料特性に関する少なくとも１つの情報であってもよく、又はそれを含んでいてもよい。
【0116】
材料依存画像フィルタは、輝度フィルタ；スポット形状フィルタ；二乗ノルム勾配；標準偏差；ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタ；グレーレベル発生ベースのコントラストフィルタ；グレーレベル発生ベースのエネルギーフィルタ；グレーレベル発生ベースの均一性フィルタ；グレーレベル発生ベースの非類似性フィルタ；ローのエネルギーフィルタ；閾値領域フィルタ；もしくはこれらの線形結合；又は、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又は｜ρФ２ｏｔｈｅｒ，Фｍ｜≧０．４０によるこれらの線形結合（Фｍは、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又はそれらの線形結合の１つである）の１つ以上に相関するさらなる材料依存画像フィルタФ２ｏｔｈｅｒ、からなる群から選択される少なくとも１つのフィルタであってよい。さらなる材料依存画像フィルタФ２ｏｔｈｅｒは、材料依存画像フィルタФｍの１つ以上と、｜ρФ２ｏｔｈｅｒ，Фｍ｜≧０．６０、好ましくは｜ρФ２ｏｔｈｅｒ，Фｍ｜≧０．８０によって相関していてもよい。
【0117】
材料依存画像フィルタは、仮説検証を通過する少なくとも１つの任意のフィルタΦであり得る。本明細書で使用される場合、「仮説検証を通過する」という用語は、ヌル仮説Ｈ０が棄却され、代替仮説Ｈ１が受け入れられるという事実を指す。仮説検証は、予め定義されたデータセットに画像フィルタを適用することによって、画像フィルタの材料依存性を検証することを含んでいてよい。データセットは、複数のビームプロファイル画像を含んでいてよい。本明細書で使用される場合、「ビームプロファイル画像」という用語は、ＮＢガウス放射状基底関数の合計を指し、
式中、ＮＢガウス放射状基底関数のそれぞれは、中心（ｘｌｋ，ｙｌｋ），、前因子ａｌｋ、及び、指数因子
によって、定義される。指数因子は、全ての画像の全てのガウス関数で同一である。中心位置、ｘｌｋ，ｙｌｋは、全ての画像
で同一である。データセット内のビームプロファイル画像のそれぞれは、材料分類と距離に対応していてよい。材料分類は、「材料Ａ」、「材料Ｂ」などのラベルであってよい。ビームプロファイル画像は、ｆｋ（ｘ，ｙ）に関する上記の式を、以下のパラメータテーブルと組み合わせて使用することによって生成されることができる：
ｘ，ｙ，の値は、
のピクセルに対応する整数である。画像は、３２×３２のピクセルサイズを有することができる。ビームプロファイル画像のデータセットは、ｆｋの連続的な記述を得るために、パラメータセットと組み合わせて、ｆｋに対する上述の式を使用することによって生成され得る。３２×３２画像の各ピクセルの値は、ｆｋ（ｘ、ｙ）のｘ，ｙに対して、０，．．．，３１からの整数値を挿入することによって得ることができる。例えば、ピクセル（６，９）の場合、値ｆｋ（６，９）が計算され得る。
【数4】
【数5】
【数6】
【表1】
【数7】
【0118】
続いて、各画像ｆｋ，,についてフィルタΦに対応する特徴値φｋが計算されることができ、Φ（ｆｋ（ｘ，ｙ），ｚｋ）＝φｋ、式中ｚｋは、予め定義されたデータセットからの画像ｆｋに対応する距離値である。これにより、対応する生成された特徴値φｋを有するデータセットが得られる。仮説検証では、フィルタが材料分類を区別しないヌル仮説を使用してよい。ヌル仮説は、Ｈ０：μ１＝μ２＝・・・＝μｊ，で与えられてよく、ここでμｍは、特徴値φｋに対応する各材料群の期待値である。インデックスｍは材料群を表す。仮説検証は、フィルタが少なくとも２つの材料分類を区別するということを代替仮説として用いることができる。その代替仮説は
によって与えられ得る。本明細書で使用される場合、「材料分類を区別しない」という用語は、材料分類の期待値が同一であることを指す。本明細書で使用される場合、「材料分類を区別する」という用語は、材料分類の少なくとも２つの期待値が異なることを指す。本明細書で使用される場合、「少なくとも２つの材料分類を区別する」は、「適切な材料分類」と同義で使用される。仮説検証は、生成された特徴値に関する少なくとも１つの分散分析（ＡＮＯＶＡ）を含み得る。特に、仮説検証は、各ｊ材料についての特徴値の平均値、すなわち
に対して、全ｊの平均値
を求めることを含んでもよく、ここでＮｍは、事前に定義されたデータセットにおける各ｊ材料の特徴値の数を示す。仮説検証は、全てのＮ特徴値の平均値
を決定することを含む。仮説検証は、
内の平均平方和を決定することを含んでいてよい：
仮説検証は、以下の間の平均平方和を決定することを含んでよい、
仮説検証は、Ｆ－テストの実行を含んでいてよい：
ここで、Ｉｘは正則化された不完全ベータ関数
であり、ここでオイラーベータ関数
は不完全ベータ関数である。画像フィルタは、ｐ値であるｐが予め定義された有意水準よりも小さいか等しい場合、仮説検証を通過し得る。フィルタは、ｐ≦０．０７５、好ましくはｐ≦０．０５、より好ましくはｐ≦０．０２５、最も好ましくはｐ≦０．０１である場合、仮説検証を通過し得る。例えば、予め定義された有意水準がα＝０．０７５の場合、画像フィルタはｐ値がα＝０．０７５より小さい場合に仮説検証を通過することができる。この場合、ヌル仮説Ｈ０が拒否され、代替仮説Ｈ１が受け入れられることができる。画像フィルタは、このように少なくとも２つの材料分類を区別する。このように、画像フィルタは仮説検証を通過する。
【数8】
【数9】
【数10】
【数11】
【数12】
仮説検証は、以下の間の平均平方和を決定することを含んでよい、
【数13】
【数14】
【数15】
【数16】
【0119】
以下では、反射画像が少なくとも１つの反射特徴、特にスポット画像を含むと仮定して、画像フィルタについて説明する。スポット画像ｆは、関数
によって与えられることができ、ここで、画像ｆの背景は既に差し引かれることができる。しかし、他の反射特徴も可能であり得る。
【数17】
【0120】
例えば、材料依存画像フィルタは、輝度フィルタであってよい。輝度フィルタは、スポットの輝度測定値を材料特徴として返すことができる。材料特徴は、
によって決定され得、式中、ｆはスポット画像である。スポットの距離はｚで示され、ここで、ｚは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び／又は三角測量技術を用いて得られる。材料の表面法線は
によって与えられ、少なくとも３つの測定点に展張された表面の法線として得られる。ベクトル
は、光源の方向ベクトルである。スポットの位置が、デフォーカスからの深度又は光子比からの深度技術を用いることによって及び／又は三角測量技術を用いることによって知られているため（ここで光源の位置はディスプレイ装置のパラメータとして知られている）、ｄｒａｙは、スポットの位置と光源の位置の間の差分ベクトルである。
【数18】
【数19】
【数20】
【0121】
例えば、材料依存画像フィルタは、スポット形状に依存した出力を有するフィルタであってよい。この材料依存画像フィルタは、材料の透光性に相関する値を材料特徴として返すことができる。材料の透光性は、スポットの形状に影響を与える。材料特徴は、
によって与えられ、式中、０＜α，β＜１はスポットの高さｈに対する重みであり、ＨはＨｅａｖｙｓｉｄｅ関数、すなわちＨ（ｘ）＝１：ｘ≧０，Ｈ（ｘ）＝０：ｘ＜０である。スポット高さｈは、以下によって決定され得、
式中、Ｂｒは半径ｒを有するスポットの内円である。
【数21】
【数22】
式中、Ｂｒは半径ｒを有するスポットの内円である。
【0122】
例えば、材料依存画像フィルタは、二乗ノルム勾配であってよい。この材料依存画像フィルタは、材料特徴としてのスポットのソフトとハードの遷移及び／又は粗さの測定値に相関する値を返してよい。材料特徴は、
によって、定義されてよい。例えば、材料依存画像フィルタは、標準偏差であってもよい。スポットの標準偏差は、
によって、決定されてよい。
【数23】
【数24】
【0123】
式中、μは
によって与えられる平均値である。
【数25】
【0124】
例えば、材料依存画像フィルタは、ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタであってよい。平滑性フィルタの一実施形態では、この画像フィルタは、体積散乱が拡散散乱材料と比較して少ないスペックルコントラストを示すという観察を参照することができる。この画像フィルタは、材料特徴としてスペックルコントラストに対応するスポットの平滑性を定量化することができる。材料特徴は、
によって、決定されてよく、式中、Ｆは平滑化関数であり、例えばメディアンフィルタ又はやガウスフィルタなどである。この画像フィルタは、上述の式で説明したように、距離ｚによる除算を含んでよい。距離ｚは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び／又は、三角測量技術を用いて決定されてよい。これにより、フィルタが距離の影響を受けなくなることが可能である。平滑化フィルタの一実施形態では、平滑化フィルタは、抽出されたスペックルノイズパターンの標準偏差に基づいてよい。スペックルノイズパターンＮは、
によって、経験的な方法で記述されることができ、式中、ｆ０は、スペックル除去したスポットの画像である。Ｎ（Ｘ）は、スペックルパターンをモデル化したノイズ項である。スペックル除去した画像の計算は困難な場合がある。したがって、スペックル除去した画像は、ｆの平滑化バージョン、すなわち、
によって近似化されてよく、式中、Ｆは、ガウスフィルタ又はやメディアンフィルタのような平滑化演算子である。したがって、スペックルパターンの近似は、
によって、与えられてよい。
【数26】
【数27】
【数28】
【数29】
【0125】
このフィルタの材料特徴は、
によって、決定されてよい。
【数30】
【0126】
式中、Ｖａｒは分散関数を表す。
【0127】
例えば、画像フィルタは、グレーレベル発生ベースのコントラストフィルタであってよい。この材料フィルタは、グレーレベル発生マトリックス
に基づいてよく、ここでｐｇ１，ｇ２はグレー結合(g1,g2)=[f(x1,y1),f(x2,y2)]、］の発生率であり、関係ρは、ρ（ｘ，ｙ）＝（ｘ＋ａ，ｙ＋ｂ）であって、（ｘ１，ｙ１）と（ｘ２，ｙ２）の間の距離を定義し、ａとｂは０，１から選択される。
【数31】
【0128】
グレーレベル発生ベースのコントラストフィルタの材料特徴は、
によって与えられてよい。
【数32】
【0129】
例えば、画像フィルタは、グレーレベル発生ベースのエネルギーフィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。
【0130】
グレーレベル発生ベースのエネルギーフィルタの材料特徴は、
によって与えられてよい。
【数33】
【0131】
例えば、画像フィルタは、グレーレベル発生ベースの均一性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの均一性フィルタの材料特徴は、
によって与えられてよい。
【数34】
【0132】
例えば、画像フィルタは、グレーレベル発生ベースの非類似性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの非類似性フィルタの材料特徴は、
によって与えられてよい。
【数35】
【0133】
例えば、画像フィルタは、ローエネルギーフィルタであってよい。この材料フィルタは、ローベクトルＬ５＝［１，４，６，４，１］及びＥ５＝［－１，－２，０，－２，－１］及び材料Ｌ５（Ｅ５）Ｔ及びＥ５（Ｌ５）Ｔに基づいている。画像ｆｋはこれらのマトリックス：
で畳み込まれている。
【数36】
【0134】
ここで、ローのエネルギーフィルタの材料特徴は、
によって、決定されてよい。
【数37】
【0135】
例えば、材料依存の画像フィルタは、閾値領域フィルタであってよい。この材料特徴は、画像平面内の２つのエリアを関連してよい。第１エリアΩ１、は、関数ｆがｆの最大値のα倍よりも大きいエリアであってもよい。第２エリアΩ２、は、関数ｆがｆの最大値のα倍よりも小さいが、ｆの最大値のε倍の閾値よりも大きいエリアであってよい。好ましくは、αは０．５、εは０．０５であり得る。スペックル又はノイズのために、エリアはスポット中心の内円と外円に単純に対応していない場合がある。例えば、Ω１は、外円のスペックル又は接続されていないエリアを含み得る。材料特徴は、
によって、決定されてよく、式中、Ω１＝｛ｘ｜ｆ（ｘ）＞α・ｍａｘ（ｆ（ｘ））｝及びΩ２＝｛ｘ｜ε・ｍａｘ（ｆ（ｘ））＜ｆ（ｘ）＜α・ｍａｘ（ｆ（ｘ））｝である。
【数38】
【0136】
評価装置は、反射特徴を生成した表面の材料特性を決定するために、材料特徴φ２ｍと反射特徴を生成した表面の材料特性との間の少なくとも１つの予め決定された関係を用いるように構成されていてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、予め決定された関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0137】
評価装置は、その対応する材料特性が少なくとも１つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴を識別するように構成されている。反射特徴は、材料特性が「生体組織」を示す場合に、生体組織によって生成されたものとして識別されることができる。反射特徴は、材料特性が少なくとも１つの閾値もしくは範囲より低く又は等しい場合に、生体組織によって生成されたものとして識別されてよく、決定された偏差が閾値より低く又は等しい場合は、反射特徴は、生体組織によって生成されたものと識別され、及び／又は生体組織の検出が確認される。少なくとも１つの閾値及び／又は範囲は、テーブル又はルックアップテーブルに格納され得、例えば経験的に決定され得、一例として、ディスプレイ装置の少なくとも１つのデータ記憶装置に格納されてよい。評価装置は、そうでなければ背景であるとして反射特徴を識別するように構成される。したがって、評価装置は、深度情報及び材料特性（例えば皮膚のイエス又はノー）を各投影スポットに割り当てるように構成され得る。
【0138】
材料特性は、縦方向座標ｚに関する情報がφ２ｍの評価のために考慮され得るように、縦方向座標ｚを決定した後に、φ２ｍを評価することによって決定されることができる。
【0139】
さらなる態様では、本発明は、透光性ディスプレイを通して測定するための方法を開示し、ここでは本発明によるディスプレイ装置が使用される。本方法は、以下のステップ：
ａ）少なくとも１つの照射源によって生成された少なくとも１つの照射光ビームを使用することによって、少なくとも１つのシーンを照射するステップであって、前記照射源は、ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、前記照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｃ）少なくとも１つの制御ユニットを使用することによって、前記ディスプレイを制御するステップであって、前記ディスプレイは照射中に照射源のエリアで、及び／又は測定中に光センサのエリアで、オフされる、ステップと、
を含む。
ａ）少なくとも１つの照射源によって生成された少なくとも１つの照射光ビームを使用することによって、少なくとも１つのシーンを照射するステップであって、前記照射源は、ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、前記照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｃ）少なくとも１つの制御ユニットを使用することによって、前記ディスプレイを制御するステップであって、前記ディスプレイは照射中に照射源のエリアで、及び／又は測定中に光センサのエリアで、オフされる、ステップと、
を含む。
【0140】
方法ステップは、所定の順序で実行されてもよいし、異なる順序で実行されてもよい。さらに、列挙されていない１つ以上の追加の方法ステップが存在してもよい。さらに、方法ステップの１つ、１つより多く、又は、全てさえも、繰り返し実行されてよい。詳細、選択肢、及び定義については、上述したディスプレイ装置を参照することができる。したがって、具体的には、上記で説明されたように、本方法は、上記で与えられ又は以下でさらに詳細に与えられる１つ以上の実施形態によるなどの、本発明によるディスプレイ装置の使用を含むことができる。
【0141】
少なくとも１つの制御ユニット及び／又は少なくとも１つの評価装置は、例えば本発明による方法の方法ステップの１つ以上又は全てさえも実行又はサポートするように構成された少なくとも１つのコンピュータプログラムなどの、少なくとも１つのコンピュータプログラムを実行するように構成され得る。一例として、物体の位置を決定することができる１つ以上のアルゴリズムが、実装され得る。
【0142】
本発明のさらなる態様においては、上記で与えられた又は以下でさらに詳細に与えられる１つ以上の実施形態などによる、本発明によるディスプレイ装置の使用が、交通技術における位置測定；娯楽用途；セキュリティ用途；監視用途；安全用途；ヒューマンマシンインターフェイス用途；追跡用途；写真用途；画像化用途又はカメラ用途；少なくとも１つの空間のマップを生成するためのマッピング用途；車両用のホーミング又は追跡ビーコン検出器；屋外用途；モバイル用途；通信用途；マシンビジョン用途；ロボット用途；品質管理用途；製造用途；自動車用途、からなる群から選択される使用目的のために、提案される。
【0143】
例えば、ディスプレイ装置は、運転者の監視、パーソナライズされた車両などのされた車両用途に使用されることができる。
【0144】
本発明のディスプレイ装置及び装置のさらなる使用に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１が参照され、その内容は参照によって含まれる。
【0145】
全体として、本発明の文脈において、以下の実施形態が好ましいと考えられる：
実施形態１：
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源及び前記光センサは、ディスプレイの前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイと；
－ 少なくとも１つの制御ユニットであって、前記制御ユニットは、照射中に前記照射源のエリアで、及び／又は測定中に前記光センサのエリアで、前記ディスプレイをオフにするように構成されている、少なくとも１つの制御ユニットと、
を備えるディスプレイ装置。
実施形態１：
－ 少なくとも１つの照射ビームを、少なくとも１つのシーンに投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するように構成される、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源及び前記光センサは、ディスプレイの前方に照射光ビームの伝播方向に配置される、少なくとも１つの透光性ディスプレイと；
－ 少なくとも１つの制御ユニットであって、前記制御ユニットは、照射中に前記照射源のエリアで、及び／又は測定中に前記光センサのエリアで、前記ディスプレイをオフにするように構成されている、少なくとも１つの制御ユニットと、
を備えるディスプレイ装置。
【0146】
実施形態２：前記透光性ディスプレイは、前記ディスプレイのフルサイズにわたって延びるディスプレイ材料を有するフルサイズディスプレイである、先行する実施形態に記載のディスプレイ装置。
【0147】
実施形態３：前記ディスプレイは、前記制御ユニットが照射中に前記照射源のエリアで、及び／又は測定中に前記光センサのエリアで、前記ディスプレイをオフにしたときに、前記照射源のエリア及び／又は前記は光センサのエリアに、黒色エリアを示すように構成されている、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0148】
実施形態４：前記制御ユニットは、前記照射源のエリアの前記ディスプレイが調整可能なノッチとして機能するように、前記照射源のエリアの前記ディスプレイをオフにするため、及び／又は、前記光センサのエリアの前記ディスプレイが調整可能なノッチとして機能するように、前記光センサのエリアの前記ディスプレイをオフにするために構成され、前記調整可能なノッチは、照射及び／又は測定中にアクティブになり、それ以外は非アクティブになるように構成されている、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0149】
実施形態５：前記ディスプレイ装置は、前記光センサを用いて顔認識を行うように構成され、前記制御ユニットは、顔認識の実行中に、顔認識がアクティブであることを示す表示を発するように構成され、前記透光性ディスプレイは、顔認識の実行中に、前記表示を表示するように構成されている、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0150】
実施形態６：前記光センサは、少なくとも１つのＣＭＯＳセンサを含む、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0151】
実施形態７：前記照射源は、少なくとも１つの赤外光源を含む、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0152】
実施形態８：前記照射源は、少なくとも１つのレーザプロジェクタを備え、前記レーザプロジェクタは、少なくとも１つのレーザ光源と少なくとも１つの回折光学要素（ＤＯＥ）とを備える、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0153】
実施形態９：前記照射源は、少なくとも１つの照射パターンを生成するように構成され、前記照射パターンは、周期的な点パターンを含む、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0154】
実施形態１０：前記照射源は、少なくとも１つのフラッドイルミネーション発光ダイオードを含む、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0155】
実施形態１１：前記ディスプレイ、前記照射源及び前記光センサが、同期される、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0156】
実施形態１２：前記ディスプレイは、少なくとも１つの有機発光ダイオード（ＯＬＥＤ）ディスプレイであるか、又はそれを備え、前記制御ユニットが前記照射源のエリアで前記ディスプレイをオフにしたときは、前記ＯＬＥＤディスプレイは照射源のエリアで非アクティブであり、及び／又は、前記制御ユニットが前記光センサのエリアで前記ディスプレイをオフにしたときは、前記ＯＬＥＤディスプレイは前記光センサのエリアで非アクティブである、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0157】
実施形態１３：前記照射源は、前記少なくとも１つのシーン上に、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成され、前記光センサは、前記照射特徴による照射に応答して、前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成され、前記ディスプレイ装置は、少なくとも１つの評価装置をさらに備え、前記評価装置は、前記第１画像を評価するように構成され、前記第１画像の評価は、前記第１画像の反射特徴を識別することと、前記識別された反射特徴を明るさに関して並べ替えることと、を含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置は、ビームプロファイルの分析により、反射特徴の各々について少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成され、前記評価装置は、前記縦方向座標ｚＤＰＲを用いて、反射特徴と、対応する照射特徴とを明確にマッチングするように構成され、前記マッチングは、最も明るい反射特徴から始めて、反射特徴の明るさを減少させながら行われ、前記評価装置は、照射特徴とマッチングした反射特徴を実特徴として分類し、照射特徴とマッチングしなかった反射特徴を偽特徴として分類するように構成され、前記評価装置は、前記偽特徴を拒絶し、前記縦方向座標ｚＤＰＲを使用することによって、前記実特徴の深度マップを生成するように構成される、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0158】
実施形態１４：前記評価装置は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光法技術を使用して、反射特徴のそれぞれについて、少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成される、先行する実施形態に記載のディスプレイ装置。
【0159】
実施形態１５：前記評価装置は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成され、前記結合縦方向座標は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの平均値であり、前記結合縦方向座標は、深度マップの生成に使用される、先行する実施形態に記載のディスプレイ装置。
【0160】
実施形態１６：前記評価装置は、光子比からの深度技術を使用することによって、前記反射特徴のそれぞれについてビームプロファイル情報を決定するように構成される、先行する３つの実施形態のいずれか１つに記載のディスプレイ装置。
【0161】
実施形態１７：前記評価装置は、前記反射特徴の少なくとも１つの前記ビームプロファイルを評価することによって、物体の少なくとも１つの材料特性ｍを決定するように構成される、先行する４つの実施形態のいずれか１つに記載のディスプレイ装置。
【0162】
実施形態１８：前記ディスプレイ装置は、さらなる照射源を備え、前記さらなる照射源は、少なくとも１つの発光ダイオード（ＬＥＤ）を含み、前記さらなる照射源は、可視スペクトル範囲の光を生成するように構成され、前記光センサは、前記シーンの少なくとも１つの二次元画像を含む少なくとも１つの第２画像を決定するように構成され、前記さらなる照射源は、前記第２画像の画像化のために追加の照射を提供するように構成され、前記評価装置は、格子関数ｇで第２画像Ｉをデコンボリューションすることによって、少なくとも１つの補正画像Ｉ０を決定するように構成され、ここで、Ｉ＝Ｉ０
＊ｇである、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0163】
実施形態１９：前記ディスプレイ装置は、テレビ装置、携帯電話、スマートフォン、ゲームコンソール、タブレットコンピュータ、パーソナルコンピュータ、ラップトップ、タブレット、仮想現実装置、又は別のタイプのポータブルコンピュータからなる群から選択されるモバイル装置である、先行する実施形態のいずれか１つに記載のディスプレイ装置。
【0164】
実施形態２０：先行する実施形態のいずれか１つに記載の少なくとも１つのディスプレイ装置が使用される、透光性ディスプレイを通して測定するための方法であって、前記方法は以下のステップ：
ａ）少なくとも１つの照射源によって生成された少なくとも１つの照射光ビームを使用することによって、少なくとも１つのシーンを照射するステップであって、前記照射源は、ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｃ）少なくとも１つの制御ユニットを使用することによって、前記ディスプレイを制御するステップであって、前記ディスプレイは、照射中に照射源のエリアで、及び／又は測定中に光センサのエリアで、オフされる、ステップと、
を含む、透光性ディスプレイを通して測定するための方法。
ａ）少なくとも１つの照射源によって生成された少なくとも１つの照射光ビームを使用することによって、少なくとも１つのシーンを照射するステップであって、前記照射源は、ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、照射ビームによる照射に応答して前記シーンによって生成される少なくとも１つの反射光ビームを測定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に照射ビームの伝播方向に配置される、ステップと；
ｃ）少なくとも１つの制御ユニットを使用することによって、前記ディスプレイを制御するステップであって、前記ディスプレイは、照射中に照射源のエリアで、及び／又は測定中に光センサのエリアで、オフされる、ステップと、
を含む、透光性ディスプレイを通して測定するための方法。
【0165】
実施形態２１：ディスプレイ装置に関する先行する実施形態のいずれか１つに記載のディスプレイ装置の使用であって、使用目的が、交通技術における位置測定；娯楽用途；セキュリティ用途；監視用途；安全用途；ヒューマンマシンインターフェイス用途；追跡用途；写真用途；画像化用途又はカメラ用途；少なくとも１つの空間のマップを生成するためのマッピング用途；車両用のホーミング又は追跡ビーコン検出器；屋外用途；モバイル用途；通信用途；マシンビジョン用途；ロボット用途；品質管理用途；製造用途；自動車用途、からなる群から選択される、使用。
【図面の簡単な説明】
【0166】
本発明のさらなる任意選択の詳細及び特徴は、従属請求項と関連して続く好ましい例示的な実施形態の説明から明らかである。この文脈において、特定の特徴は、孤立した形で、又は他の特徴と組み合わせて実施され得る。本発明は、例示的な実施形態に限定されるものではない。例示的な実施形態は、図に概略的に示されている。個々の図における同一の参照数字は、同一の要素又は同一の機能を有する要素、あるいは、機能に関して互いに対応する要素を指す。
【0167】
【発明を実施するための形態】
【0168】
実施形態の詳細な説明：
図１は、本発明のディスプレイ装置１の一実施形態を非常に概略的に示す。例えば、ディスプレイ装置は、テレビ装置、携帯電話、スマートフォン、ゲームコンソール、タブレットコンピュータ、パーソナルコンピュータ、ラップトップ、タブレット、仮想現実装置、又は別のタイプのポータブルコンピュータからなる群から選択されるモバイル装置であってよい。
図１は、本発明のディスプレイ装置１の一実施形態を非常に概略的に示す。例えば、ディスプレイ装置は、テレビ装置、携帯電話、スマートフォン、ゲームコンソール、タブレットコンピュータ、パーソナルコンピュータ、ラップトップ、タブレット、仮想現実装置、又は別のタイプのポータブルコンピュータからなる群から選択されるモバイル装置であってよい。
【0169】
ディスプレイ装置１は、情報を表示するように構成された少なくとも１つの透光性ディスプレイ２を備える。ディスプレイ装置１は、少なくとも１つの感光エリアを有する少なくとも１つの光センサ４を備える。ディスプレイ装置１は、少なくとも１つのシーンに少なくとも１つの照射ビームを投影するように構成された少なくとも１つの照射源５を備えている。シーンは、任意の物体又は空間領域であってよい。シーンは、少なくとも１つの物体及びその周囲の環境を含み得る。
【0170】
照射源５は、照射ビーム、特に複数の照射特徴を含む少なくとも１つの照射パターンをシーン上に投影するように構成される。照射源５は、シーンを直接的又は間接的に照射するように適合されてよく、照射ビームは、シーンの表面によって反射又は散乱され、それによって、少なくとも部分的に光センサに向けられる。照射源５は、例えば、光ビームをシーンに向けることによって、光ビームを反射するシーンを照射するように適合されてよい。
【0171】
照射源５は、少なくとも１つの光源を含んでよい。照射源５は、複数の光源を含んでいてもよい。照射源５は、人工照射源、特に少なくとも１つのレーザ源、及び／又は少なくとも１つの白熱灯、及び／又は少なくとも１つの半導体光源、例えば少なくとも１つの発光ダイオード、特に有機及び／又は無機発光ダイオードを含み得る。照射源５は、少なくとも１つの赤外光源を備え得る。照射源５は、赤外領域において、少なくとも１つの照射光ビーム、特に少なくとも１つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
【0172】
照射源５は、少なくとも１つのレーザプロジェクタを備え得る。レーザプロジェクタは、屈折光学系と組み合わされた垂直共振器面発光レーザ（ＶＣＳＥＬ）プロジェクタであってよい。しかしながら、他の実施形態も可能である。レーザプロジェクタは、少なくとも１つのレーザ源と、少なくとも１つの回折光学要素（ＤＯＥ）とを備えることができる。照射源５は、少なくとも１つの多重ビーム光源(multiple beam light source)であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源５は、少なくとも１つのレーザ源と、１つ以上の回折光学要素（ＤＯＥ）とを含んでいてよい。具体的には、照射源５は、少なくとも１つのレーザ及び／又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ（ｂｒａｇｇ）反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が使用されてよい。追加的に又は代替的に、ＬＥＤ及び／又は電球などの非レーザ光源が使用されてよい。照射源５は、照射パターンを生成するように適合された１つ以上の回折光学要素（ＤＯＥ）を含んでよい。例えば、照射源５は、点群を生成及び／又は投影するように適合されてよく、例えば、照射源５は、少なくとも１つのデジタル光処理プロジェクタ、少なくとも１つのＬＣｏＳプロジェクタ、少なくとも１つの空間光変調器；少なくとも１つの回折光学要素；発光ダイオードの少なくとも１つのアレイ；レーザ光源の少なくとも１つのアレイ、のうちの１つ以上を含み得る。それらの一般的に定義されるビームプロファイル及び取扱い性の他の特性を考慮すると、照射源５としての少なくとも１つのレーザ源の使用が特に好ましい。照射源５は、ディスプレイ装置のハウジングに一体化されてよい。
【0173】
照射源５は、少なくとも１つの照射パターンを生成するように構成される。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも１つの点パターン；少なくとも１つの線パターン；少なくとも１つのストライプパターン；少なくとも１つの市松模様パターン；周期的又は非周期的な特徴の配置を含む少なくとも１つのパターン、からなる群から選択されてよい。照射パターンは、三角形パターン、長方形パターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的な及び／又は一定の及び／又は周期的なパターンを含んでよい。照射パターンは、少なくとも１つの点；少なくとも１つの線；平行線又は交差線などの少なくとも２つの線；少なくとも１つの点と１つの線；周期的又は非周期的な特徴の少なくとも１つの配置；少なくとも１つの任意の形状の特徴からなる群から選択される少なくとも１つの照射特徴を示してよい。照射パターンは：少なくとも１つの点パターン、特に擬似ランダム点パターン；ランダム点パターン又は準ランダムパターン；少なくとも１つのソボル（Ｓｏｂｏｌ）パターン；少なくとも１つの準周期的パターン；少なくとも１つの既知の特徴を含む少なくとも１つのパターン；少なくとも１つの規則的なパターン；少なくとも１つの三角形パターン；少なくとも１つの六角形パターン；少なくとも１つの長方形パターン；凸状の均一なタイル状体（ｔｉｌｉｎｇ）を含む少なくとも１つのパターン；少なくとも１つの線を含む少なくとも１つの線パターン；平行線又は交差線などの少なくとも２つの線を含む少なくとも１つの線パターン、からなる群から選択される少なくとも１つのパターンを含むことができる。例えば、照射源５は、点群を生成及び／又は投影するように適合され得る。照射源５は、照射パターンが複数の点パターンを含むことができるように、点群を生成するように適合された少なくとも１つの光プロジェクタを含み得る。照射源５は、照射源５によって生成された少なくとも１つの光ビームから照射パターンを生成するように適合された少なくとも１つのマスクを含むことができる。
【0174】
光センサ４は、照射ビームによる照射に応答してシーンによって生成される少なくとも１つの反射光ビームを測定するように構成される。ディスプレイ装置１は、光センサ４を備える単一のカメラを備え得る。ディスプレイ装置１は、それぞれが１つ又は複数の光センサ４を備える複数のカメラを備えてよい。ディスプレイ装置１は、それぞれが感光エリアを有する複数の光センサ４を含んでよい。
【0175】
ディスプレイ装置１は、飛行時間（ＴｏＦ）技術に基づく、及び／又は１つのデフォーカスからの深度技術に基づく、及び／又はビームプロファイル解析とも呼ばれる光子比からの深度技術に基づくなどの、少なくとも１つの距離測定を行うように構成され得る。光子比からの深度（ＤＰＲ）技術に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１を参照し、その全内容は参照により含まれる。光センサ４は、少なくとも１つの距離センサであってよく、又は少なくとも１つの距離センサを備えていてもよい。
【0176】
光センサ４は、具体的には、少なくとも１つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれを含んでいてもよい。具体的には、光センサ４は、赤外スペクトル範囲において感度を有してよい。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルが、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び／又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサ４は、赤外スペクトル範囲、好ましくは７００ｎｍ～３．０マイクロメートルの範囲に感度を有する少なくとも１つの無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサ４は、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１１００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ，Ｄ－６７０５６ Ｌｕｄｗｉｇｓｈａｆｅｎ ａｍ ＲｈｅｉｎのｔｒｉｎａｍｉＸ ＧｍｂＨのＨｅｒｔｚｓｔｕｅｃｋ（登録商標）というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサ４は、固有の光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅフォトダイオード、ＩｎＧａＡｓフォトダイオード、拡張ＩｎＧａＡｓフォトダイオード、ＩｎＡｓフォトダイオード、ＩｎＳｂフォトダイオード、ＨｇＣｄＴｅフォトダイオード、からなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ４は、外因性光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅ：Ａｕフォトダイオード、Ｇｅ：Ｈｇフォトダイオード、Ｇｅ：Ｃｕフォトダイオード、Ｇｅ：Ｚｎフォトダイオード、Ｓｉ：Ｇａフォトダイオード、Ｓｉ：Ａｓフォトダイオードからなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ４は、ＰｂＳもしくはＰｂＳｅセンサなどの少なくとも１つの光導電センサ、ボロメータ、好ましくはＶＯボロメータ及びアモルファスＳｉボロメータからなる群から選択されるボロメータを含み得る。
【0177】
例えば、光センサ４は、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれを含んでいてもよい。例えば、光センサ４は、ＣＣＤセンサ要素、ＣＭＯＳセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれを含んでいてもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び／又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの１つ以上のフォトダイオードが使用され得る。
【0178】
ディスプレイ装置１は、情報を表示するように構成された少なくとも１つの透光性ディスプレイ２を備える。照射源５及び光センサ４は、透光性ディスプレイ２の前方に照射光ビームの伝播方向に配置される。透光性ディスプレイ２は、少なくとも１つのスクリーンであってよく、又は少なくとも１つのスクリーンを備えていてもよい。スクリーンは、任意の形状を有してよく、好ましくは長方形である。ディスプレイ２によって表示される情報は、少なくとも１つの画像、少なくとも１つの図、少なくとも１つのヒストグラム、少なくとも１つのグラフィック、テキスト、数字、少なくとも１つの記号、操作メニューなどの任意の情報であってよい。
【0179】
透光性ディスプレイ２は、ディスプレイ２のフルサイズにわたって延びるディスプレイ材料を有するフルサイズディスプレイであってよい。透光性ディスプレイ２は、凹部や切り欠きがなくてよい。透光性ディスプレイ２がアクティブ表示エリア全体を有してよい。透光性ディスプレイ２は表示エリア全体がアクティブ化可能になるように設計されてよい。透光性ディスプレイ２は、ディスプレイ材料の連続的な分布を有していてよい。透光性ディスプレイ２は、凹部や切り欠きがないように設計されていてよい。例えば、ディスプレイ装置１は、透光性ディスプレイ２が配置される長方形表示エリアなどの表示エリアを有する前面側を含むことができる。表示エリアは、透光性ディスプレイ、特にディスプレイ材料によって、具体的には、凹部やノッチがないように、完全に覆われていてよい。これにより、表示サイズ、特に情報を表示するように構成されたディスプレイ装置１の面積を大きくすることを可能にすることができる。例えば、ディスプレイ装置１の全体及び／又は全前面のサイズが表示材料によって覆われてよいが、ディスプレイ２を囲むフレームは可能であり得る。
【0180】
透光性ディスプレイ２は、少なくとも１つの有機発光ダイオード（ＯＬＥＤ）ディスプレイであってよく、又はそれを含んでいてよい。ＯＬＥＤは、可視光を放出するように構成されていてよい。
【0181】
ディスプレイ装置は、少なくとも１つの制御ユニット８を備える。制御ユニット８は、照射中に照射源５のエリアで、及び／又は測定中に光センサ４のエリアで、ディスプレイ２をオフにするように構成される。制御ユニット８は、特に少なくとも１つのプロセッサ及び／又は少なくとも１つの特定用途向け集積回路を使用することによって、照射源５及び／又は光センサ２及び／又はディスプレイ２などのディスプレイ装置１の少なくとも１つのさらなるコンポーネントを制御するように構成され得る。したがって、一例として、制御ユニット８は、多数のコンピュータコマンドを含むソフトウェアコードをそこに格納する少なくとも１つのデータ処理装置を備えることができる。制御ユニット８は、指定された操作の１つ以上を実行するための、１つ以上のハードウェア要素を提供してよく、及び／又は、指定された操作の１つ以上を実行するための、そこで実行されるソフトウェアを有する１つ以上のプロセッサを提供してもよい。したがって、一例として、制御ユニット８は、上述の制御を実行するように構成された１つ以上のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上のプログラム可能な装置を備えることができる。しかしながら追加的に又は代替的に、制御ユニット８はまた、完全に又は部分的にハードウェアによって具体化されてよい。
【0182】
制御ユニット８は、照射中に照射源５のエリアで、及び／又は測定中に光センサ４のエリアで、ディスプレイをオフにするように構成される。エリアでディスプレイ２をオフにすることは、特にディスプレイ２の特定のエリアへの出力供給を防止及び／又は中断及び／又は停止するように調整することを含み得る。上記で概説したように、ディスプレイ２は、少なくとも１つのＯＬＥＤディスプレイを備え得る。制御ユニット８が照射源５のエリアでディスプレイ２をオフにすると、ＯＬＥＤディスプレイは、照射源５のエリアで非アクティブになり得る。制御ユニット８が光センサ４のエリアでディスプレイ２をオフにしたとき、ＯＬＥＤディスプレイは光センサ４のエリアで非アクティブであってよい。制御ユニット８は、測定がアクティブである間、ディスプレイ２のエリアをオフにするように構成されてよい。
【0183】
照射源５は、照射ビーム、特に照射パターンがシーンに向かって放射される放射エリアを備えることができる。放射エリアは、照射源５の開口角によって定義され得る。照射源５及び光センサ４は、定義されたエリアに配置されてよい。照射源５と光センサ４は、互いに対して固定された位置に配置されていてよい。例えば、照射源５と光センサ４は、特に一定の距離を有して、互いに隣接して配置されてよい。照射源５及び光センサ４は、放射エリア及び感光エリアによってカバーされる透光性ディスプレイ２のエリアが最小となるように配置されてよい。
【0184】
ディスプレイ２は、制御ユニット８が照射中の照射源４のエリアで、及び／又は測定中に光センサ４のエリアで、ディスプレイ２をオフした場合に、照射源５のエリアで、及び／又は光センサ４のエリアで、黒色エリア６を示すように構成されていてよい。黒色エリア６は光を放出していないエリア及び／又は、ディスプレイ２の他のエリアと比較して、光の量が減少しているエリアであってよい。例えば、黒色エリア６は、暗くなったエリアであってよい。具体的には、制御ユニット８は、照射源５のエリアのディスプレイ２が調整可能なノッチとして機能するように、照射源５のエリアのディスプレイ２をオフにするように、及び／又は、光センサ４のエリアのディスプレイ２が調整可能なノッチとして機能するように、光センサ４のエリアのディスプレイ２をオフにするように構成される。調整可能なノッチは、照射及び／又は測定中にアクティブになり、それ以外は非アクティブになるように構成されることができる。調整可能なノッチは、ディスプレイ装置１が使用されていないときに、顔ロック解除中などの測定中に、アクティブになり、光センサ４、特にフロントセンサが必要ないときに、非アクティブになる仮想ノッチとして機能してよい。使用されるＯＬＥＤディスプレイの場合、これは、ディスプレイ２の作動が全くないことを意味する場合がある。これにより、ＩＲ光によってどのピクセルの色も変化しないことを確実にすることを可能にすることができる。さらに、ディスプレイ装置１、特に制御ユニッ８ト及び／又はさらなる処理装置及び／又はさらなる光学要素は、例えばＩＲレーザのちらつきを知覚してディスプレイの色を補正するように構成されることができる。
【0185】
調整可能なノッチは、鋭いエッジを含むことができる。しかし、他の実施形態では、調整可能なノッチは、あらゆる鋭いフリンジを回避するために輝度勾配で実現されることができる。ディスプレイ装置１は、鋭いフリンジを回避するために、光センサ４が通常配置されるディスプレイ２のエッジに輝度勾配を導入するように構成された輝度低減要素を備えることができる。これにより、調整可能なノッチのエリアにおいて低減された輝度を提供することが可能となり得る。
【0186】
制御ユニット８は、ディスプレイ２と照射源５とが互いに干渉しない方式で、いわゆるトグルモードでこれらを同期させるように構成されることができる。
制御ユニット８は、光センサ４及び／又は前記照射源５がアクティブである場合に、表示を発するように構成されてよい。透光性ディスプレイ２は、光センサ４及び／又は照射源５がアクティブなときに前記表示を表示するように構成されてよい。例えば、ディスプレイ装置１は、照射源５と光センサ４とを用いて顔認識を行うように構成されてよい。顔認識のための方法及び技術は、当業者には一般的に知られている。制御ユニット８は、顔認識の実行中に、顔認識がアクティブであることを示す表示を発するように構成されてよい。透光性ディスプレイ２は、顔認識を実行している間に前記表示を表示するように構成されてよい。例えば、表示は、少なくとも１つの警告要素であってよい。表示は、光センサ４及び／又は照射源５、特に顔認識がアクティブであることを示すアイコン及び／又はロゴ及び／又はシンボル及び／又はアニメーションのうちの１つ以上であってよい。例えば、黒色エリア６は、安全認証がアクティブであることを示す識別マークを含んでよい。これにより、ユーザは、例えば、支払いや署名などのための安全な環境にいることを認識することができる。例えば、警告要素は、顔認証がアクティブであることを示すために、色及び／又は外観を変えることができる。この表示により、ユーザはさらに、スパイ行為を避けるために光センサ、特にカメラがオンになっていることを認識することができる。制御ユニット８及び／又はさらなる安全ゾーンは、黒色エリアに少なくとも１つの透かしを表示するための少なくとも１つのコマンドを発するように構成されてよい。透かしは、低セキュリティアプリ、例えば店舗から模倣されないシンボルであり得る。
制御ユニット８は、光センサ４及び／又は前記照射源５がアクティブである場合に、表示を発するように構成されてよい。透光性ディスプレイ２は、光センサ４及び／又は照射源５がアクティブなときに前記表示を表示するように構成されてよい。例えば、ディスプレイ装置１は、照射源５と光センサ４とを用いて顔認識を行うように構成されてよい。顔認識のための方法及び技術は、当業者には一般的に知られている。制御ユニット８は、顔認識の実行中に、顔認識がアクティブであることを示す表示を発するように構成されてよい。透光性ディスプレイ２は、顔認識を実行している間に前記表示を表示するように構成されてよい。例えば、表示は、少なくとも１つの警告要素であってよい。表示は、光センサ４及び／又は照射源５、特に顔認識がアクティブであることを示すアイコン及び／又はロゴ及び／又はシンボル及び／又はアニメーションのうちの１つ以上であってよい。例えば、黒色エリア６は、安全認証がアクティブであることを示す識別マークを含んでよい。これにより、ユーザは、例えば、支払いや署名などのための安全な環境にいることを認識することができる。例えば、警告要素は、顔認証がアクティブであることを示すために、色及び／又は外観を変えることができる。この表示により、ユーザはさらに、スパイ行為を避けるために光センサ、特にカメラがオンになっていることを認識することができる。制御ユニット８及び／又はさらなる安全ゾーンは、黒色エリアに少なくとも１つの透かしを表示するための少なくとも１つのコマンドを発するように構成されてよい。透かしは、低セキュリティアプリ、例えば店舗から模倣されないシンボルであり得る。
【0187】
しかし、透光性ディスプレイ２の裏側でシーンによって反射された光の伝播方向に照射源５と光センサ４を配置することは、ディスプレイの回折格子が、シーン上に、及び光センサ４によってキャプチャされる画像内にも、複数のレーザポイントを発生させる結果を生じ得る。したがって、画像上のこれらの複数のスポットは、有用な距離情報を含まない可能性がある。ディスプレイ装置１は、回折格子のゼロ次数の反射特徴、すなわち実特徴を発見し評価するように構成された少なくとも１つの評価装置１０を備えてよく、高次の反射特徴、すなわち偽特徴を無視することができる。
【0188】
照射源５は、少なくとも１つのシーン上に複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成されてよい。光センサ４は、照射特徴による照射に応答してシーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されてよい。ディスプレイ装置１は、第１画像を評価するように構成された少なくとも１つの評価装置１０をさらに備えることができ、そこでは、第１画像の評価は、第１画像の反射特徴を識別することと、識別された反射特徴を明るさに関して並べ替ることと、を含む。反射特徴の各々は、少なくとも１つのビームプロファイルを含むことができる。評価装置１０は、ビームプロファイルの分析により、反射特徴の各々に関して少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されることができる。評価装置１０は、縦方向座標ｚＤＰＲを用いて、反射特徴と、対応する照射特徴とを明確にマッチングするように構成されることができる。マッチングは、最も明るい反射特徴から始めて、反射特徴の明るさを減少させながら行われることができる。評価装置１０は、照射特徴とマッチングした反射特徴を実特徴として分類し、照射特徴とマッチングしなかった反射特徴を偽特徴として分類するように構成され得る。評価装置１０は、偽特徴を拒絶し、縦方向座標ｚＤＰＲを使用することによって、実特徴の深度マップを生成するように構成され得る。
【0189】
評価装置１０は、反射特徴を識別するために、少なくとも１つの画像分析及び／又は画像処理を実行するように構成され得る。画像分析及び／又は画像処理は、少なくとも１つの特徴検出アルゴリズムを使用してよい。画像分析及び／又は画像処理は、以下：フィルタリング；少なくとも１つの関心領域の選択；センサ信号によって生成された画像と少なくとも１つのオフセットとの間の差分画像の形成；センサ信号によって生成された画像を反転することによるセンサ信号の反転；異なる時間にセンサ信号によって生成された画像間の差分画像の形成；背景補正；カラーチャネルへの分解；色相への分解；飽和；輝度チャネル；周波数分解；特異値分解；ブロブ検出器の適用；コーナー検出器の適用；ヘッセフィルタの行列式の適用；主曲率ベースの領域検出器の適用；最大安定極値領域検出器の適用；一般化されたハフ変換の適用；稜線検出器の適用；アフィン不変特徴検出器の適用；アフィン適応の関心点演算子の適用；ハリスアフィン領域検出器の適用；ヘッセアフィン領域検出器の適用；スケール不変特徴変換の適用；スケールスペース極値検出器の適用；局所特徴検出器の適用；高速化堅牢特徴アルゴリズムの適用；勾配位置及び方向のヒストグラムアルゴリズムの適用；方向付けられた勾配記述子のヒストグラムの適用；Ｄｅｒｉｃｈｅエッジ検出器の適用；差動エッジ検出器の適用；時空関心点検出器の適用；モラベックコーナー検出器の適用；キャニーエッジ検出器の適用；ガウスフィルタのラプラス演算子の適用；差分ガウスフィルタの適用；ソーベル（Ｓｏｂｅｌ）演算子の適用；ラプラス演算子の適用；シャール演算子の適用；プレウィット演算子の適用；ロバーツ演算子の適用；キルシュ演算子の適用；ハイパスフィルタの適用；ローパスフィルタの適用；フーリエ変換の適用；ラドン変換の適用；ハフ変換の適用；ウェーブレット変換の適用；閾値処理；バイナリ画像の生成、のうちの１つ以上を含み得る。関心領域は、ユーザが手動で決定されてもよく、又は、光センサによって生成された画像内の特徴を認識するなどによって、自動的に決定されてもよい。
【0190】
例えば、照射源５は、複数の照射領域が、光センサ４、例えばＣＭＯＳ検出器上に生成されるように、点群を生成及び／又は投影するように構成されてよい。さらに、例えばスペックル及び／又は外来光及び／又は多重反射によるなどの外乱が、光センサに存在し得る。評価装置１０は、少なくとも１つの関心領域、例えば、物体の縦方向座標の決定に使用される、光ビームによって照射される１つ以上のピクセルを、決定するように適合され得る。例えば、評価装置１０は、フィルタリング方法、例えば、ブロブ分析及び／又はエッジフィルタ及び／又は物体認識方法を実行するように適合され得る。
【0191】
評価装置１０は、少なくとも１つの画像補正を行うように構成されてよい。画像補正は、少なくとも１つの背景減算を含み得る。評価装置１０は、例えば、さらなる照射なしの画像化によって、ビームプロファイルからの背景光から影響を除去するように適合されてよい。
【0192】
反射特徴の各々は、少なくとも１つのビームプロファイルを含む。ビームプロファイルは、台形ビームプロファイル；三角形ビームプロファイル；円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置１０は、ビームプロファイルの分析により、反射特徴の各々に関するビームプロファイルの情報を決定するように構成される。
【0193】
評価装置１０は、ビームプロファイルの分析により、反射特徴の各々に関して少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成される。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも１つを含み得る。評価装置１０は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び／又は正規化及び／又はフィルタリングするように構成されることができる。評価装置１０は、空間周波数分析及び／又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行され、中心までの同じ距離にある全ての強度を平均化することによって実行され得る。評価装置１０は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置１０は、例えば、照射なしの画像化によって、ビームプロファイルからの背景光から影響を除去するように構成されてよい。
【0194】
評価装置１０は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについて縦方向座標ｚＤＰＲを決定するように構成されてよい。光子比からの深度（ＤＰＲ）技術に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１を参照し、その全内容は参照により含まれる。
【0195】
評価装置１０は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。ビームプロファイルを決定することは、光センサ４によって提供される少なくとも１つの反射特徴を識別すること、及び／又は光センサ４によって提供される少なくとも１つの反射特徴を選択することと、反射特徴の少なくとも１つの強度分布を評価することとを含んでよい。一例として、画像の領域は、画像を通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも１つのピクセルを決定することなどにより決定され得、断面軸が照射の中心を通して選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
【0196】
反射特徴の１つのビームプロファイルの分析は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定することを含み得る。ビームプロファイルの第１エリアは、エリアＡ１であり得、ビームプロファイルの第２エリアは、エリアＡ２であり得る。評価装置１０は、第１エリアと第２エリアとを積分するように構成されてよい。評価装置１０は、積分された第１エリア及び積分された第２エリアを除算すること、積分された第１エリア及び積分された第２エリアの倍数を除算すること、積分された第１エリア及び積分された第２エリアの線形結合を除算することの１つ以上によって、結合信号、特に商Ｑを導出するように構成され得る。評価装置１０は、ビームプロファイルの少なくとも２つのエリアを決定するように、及び／又はビームプロファイルをビームプロファイルの異なるエリアを有する少なくとも２つのセグメントに分割するように構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置１０は、２つ、３つ、４つ、５つ、又は最大１０個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置１０は、光スポットをビームプロファイルの少なくとも２つのエリアに分割するように、及び／又は、ビームプロファイルをビームプロファイルの異なるエリアを含む少なくとも２つのセグメントに分割するように構成されてよい。評価装置１０は、エリアのうちの少なくとも２つについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置１０は、決定された積分の少なくとも２つを比較するように構成されてよい。具体的には、評価装置１０は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定するように構成されてよい。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、エリアが一致していなくてよい。例えば、評価装置１０は、ＣＭＯＳセンサのセンサ領域を少なくとも２つのサブ領域に分割するように構成されてよく、評価装置は、ＣＭＯＳセンサのセンサ領域を、少なくとも１つの左側部分と少なくとも１つの右側部分、及び／又は少なくとも１つの上部分と少なくとも１つの下部分、及び／又は少なくとも１つの内部分と少なくとも１つの外部分、とに分割するように構成され得る。
【0197】
追加的又は代替的に、ディスプレイ装置１は、少なくとも２つの光センサ４を備えてよく、第１光センサ及び第２光センサの感光エリアは、第１光センサが反射特徴のビームプロファイルの第１エリアを決定するよう適合され、第２光センサが反射特徴のビームプロファイルの第２エリアを決定するよう適合されるように配置され得る。評価装置１０は、第１エリアと第２エリアとを積分するように適合されてよい。
【0198】
一実施形態では、Ａ１は、光センサ上の特徴点の全体又は完全なエリアに対応し得る。Ａ２は、光センサ上の特徴点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、特徴点の全エリアと比べてより小さくてもよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の０．１～０．９、好ましくは全半径の０．４～０．６の半径を有してよい。
【0199】
評価装置１０は、第１エリアと第２エリアを除算すること、第１エリアと第２エリアの倍数を除算すること、第１エリアと第２エリアの線形結合を除算することのうちの１つ以上によって商Ｑを導出するように構成されてよい。評価装置１０は、
によって商Ｑを導出するように構成されてよく、
式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【数39】
式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【0200】
評価装置１０は、縦方向座標を決定するために、商Ｑと縦方向座標の間の少なくとも１つの予め決定された関係を用いるように構成されてよい。予め決定された関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの予め決定された関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0201】
評価装置１０は、ゼロ次数及び高次数の全ての反射特徴について距離を計算する少なくとも１つの光子比からの深度アルゴリズムを実行するように構成され得る。
【0202】
第１画像の評価は、識別された反射特徴を明るさに関して並べ替えをすることを含む。並べ替えをすることは、さらなる評価のために、明るさに関して反射特徴を割り当てること、特に、最大の明るさを有する反射特徴から開始して、続いて減少する明るさを有する反射特徴の、シーケンスを割り当てることを含んでよい。最も明るい反射特徴がＤＰＲ計算で優先される場合、縦方向座標ｚＤＰＲの決定の堅牢性を高めることができる。これは主に、回折格子のゼロ次数の反射特徴が、高次の偽特徴よりも常に明るいためである。
【0203】
評価装置１０は、縦方向座標ｚＤＰＲを用いて、反射特徴と、対応する照射特徴とを明確にマッチングするように構成される。光子比からの深度技術で決定される縦方向座標は、いわゆる対応問題を解くために使用され得る。そのようにして、反射特徴ごとの距離情報を使用して、既知のレーザプロジェクタグリッドの対応関係を見つけることができる。
【0204】
反射特徴に対応する照射特徴は、エピポーラ幾何学を使用して決定されることができる。エピポーラ幾何学の説明については、例えば、Ｘ．Ｊｉａｎｇ、Ｈ．Ｂｕｎｋｅによる「Ｄｒｅｉｄｉｍｅｎｓｉｏｎａｌｅｓ Ｃｏｍｐｕｔｅｒｓｅｈｅｎ」シュプリンガー、ベルリンハイデルベルク、１９９７年の第２章を参照されたい。エピポーラ幾何学は、照射画像、すなわち歪みのない照射パターンの画像、及び第１画像が、固定距離を有する異なる空間位置及び／又は空間配向で決定される画像であることを仮定し得る。距離は相対距離であり、ベースラインとも呼ばれる。照射画像は、参照画像とも呼ばれる。評価装置１０は、参照画像におけるエピポーラ線を決定するように適合され得る。参照画像と第１画像の相対位置は既知である場合がある。例えば、参照画像と第１画像の相対位置は、評価装置の少なくとも１つの記憶ユニット内に保存され得る。評価装置１０は、第１画像の選択された反射特徴からそれが由来する現実世界の特徴まで延びる直線を決定するように適合され得る。したがって、直線は、選択された反射特徴に対応する、あり得る物体特徴を含み得る。直線とベースラインはエピポーラ平面を展開する。参照画像が第１画像とは異なる相対的配置で決定されるため、対応するあり得る物体の特徴は、参照画像内のエピポーラ線と呼ばれる直線上に画像化され得る。エピポーラ線は、エピポーラ面と参照画像との交点であってよい。したがって、第１画像の選択された特徴に対応する参照画像の特徴は、エピポーラ線上に位置する。
【0205】
照射特徴を反射したシーンの物体までの距離に応じて、照射特徴に対応する反射特徴は、第１画像内で変位し得る。参照画像は、選択される反射特徴に対応する照射特徴が画像化される少なくとも１つの変位領域を含むことができる。変位領域は、１つの照射特徴のみを含んでよい。変位領域は、複数の照射特徴を含んでいてもよい。変位領域は、エピポーラ線又はエピポーラ線のセクションを含んでいてもよい。変位領域は、複数のエピポーラ線又は複数のエピポーラ線の複数のセクションを含んでいてもよい。変位領域は、エピポーラ線に沿って、エピポーラ線に直交して、又はその両方に延びることができる。評価装置１０は、エピポーラ線に沿って照射特徴を決定するように適合されてよい。評価装置１０は、反射特徴の縦方向座標ｚと、結合信号Ｑからの誤差間隔±εを決定し、±εに対応するエピポーラ線に沿った又はエピポーラ線に直交する変位領域を決定するように適合され得る。結合信号Ｑを使用した距離測定の測定不確実性は、測定不確実性が方向によって異なる場合があるため、第２画像内に非円形の変位領域をもたらす可能性がある。具体的には、エピポーラ線に沿った測定不確実性は、エピポーラ線に対して直交する方向の測定不確実性よりも大きくなり得る。変位領域は、エピポーラ線又は複数のエピポーラ線に対して直交方向に延びる範囲を含むことができる。評価装置１０は、選択された反射特徴を変位領域内の少なくとも１つの照射特徴とマッチングさせるように適合されてよい。評価装置１０は、決定された縦方向座標ｚＤＰＲを考慮する少なくとも１つの評価アルゴリズムを使用することによって、第１画像の選択された特徴と変位領域内の照射特徴とをマッチングさせるように適合されてよい。評価アルゴリズムは線形スケーリングアルゴリズムであり得る。評価装置１０は、変位領域に最も近い及び／又は変位領域内のエピポーラ線を決定するように適合されてよい。評価装置は、反射特徴の画像位置に最も近いエピポーラ線を決定するように適合されてよい。エピポーラ線に沿った変位領域の範囲は、エピポーラ線に直交する変位領域の範囲より大きくてよい。評価装置１０は、対応する照射特徴を決定する前にエピポーラ線を決定するように適合されてよい。評価装置１０は、各反射特徴の画像位置の周りの変位領域を決定してよい。評価装置１０は、変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てるなどによって、反射特徴の各画像位置の各変位領域にエピポーラ線を割り当てるように適合されてよい。評価装置１０は、割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿って割り当てられた変位領域内の照射特徴を決定することにより、反射特徴に対応する照射特徴を決定するように適合されてよい。
【0206】
追加的に又は代替的に、評価装置１０は以下のステップ：
－ 各反射特徴の画像位置の変位領域を決定する、ステップと；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てるなどによって、各反射特徴の変位領域にエピポーラ線を割り当てる、ステップと；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を割り当てるなどによって、各反射特徴に少なくとも１つの照射特徴を割り当てる及び／又は決定するステップと、
を実行するように構成されてよい。
－ 各反射特徴の画像位置の変位領域を決定する、ステップと；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てるなどによって、各反射特徴の変位領域にエピポーラ線を割り当てる、ステップと；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を割り当てるなどによって、各反射特徴に少なくとも１つの照射特徴を割り当てる及び／又は決定するステップと、
を実行するように構成されてよい。
【0207】
追加的に又は代替的に、評価装置１０は、照射画像内の反射特徴及び／又はエピポーラ線の距離を比較することによって、及び／又は、照射画像内の照射特徴及び／又はエピポーラ線のε重み付き距離などの誤差重み付き距離を比較し、より短い距離及び／又はε重み付き距離のエピポーラ線及び／又は照射特徴を、照射特徴及び／又は反射特徴に割り当てることなどによって、反射特徴に割り当てられる複数のエピポーラ線及び／又は照射特徴の間で決定するように適合されてもよい。
【0208】
上記で説明されたように、回折格子により、複数の反射特徴が、例えば、照射特徴のそれぞれに対して、１つの実特徴と複数の偽特徴が生成される。マッチングは、最も明るい反射特徴から始めて、反射特徴の明るさを減少させながら実行される。マッチングされた照射特徴に対して他の反射特徴を割り当てることはできない。ディスプレイアーチファクトのため、生成される偽特徴は一般に実特徴より暗い。反射特徴を明るさによって並べ替えることにより、より明るい反射特徴が対応マッチングで優先される。照射特徴の対応関係が既に使用されている場合、偽特徴は、使用されたすなわちマッチングされた照射特徴に、割り当てられることができない。
【0209】
【0210】
図２Ａに示されるように、ディスプレイ装置１は、少なくとも１つの照射パターンを生成するように構成された少なくとも１つのプロジェクタ１２、例えばレーザプロジェクタモジュール、シーンを照射するための追加のフラッドイルミネーション１４、及び光センサ４、例えばシャッタを有するＩＲカメラモジュールを含む照射源５を備えることができる。ディスプレイ装置１は、これらの構成要素がディスプレイ２の前方に照射光ビームの伝播方向に配置されるように構成され得る。
【0211】
透光性ディスプレイ２は、少なくとも１つのＯＬＥＤディスプレイであってよい。ＯＬＥＤディスプレイは、約２５％又は２５％超の透過率を有し得る。しかし、より透過率が低いＯＬＥＤディスプレイの実施形態さえも可能であり得る。図２Ｃは、ＯＬＥＤディスプレイの実施形態を示す。参照番号１６で示されるのは、ＩＲカメラモジュール、プロジェクタ１２、及びフラッドイルミネーション１４のための潜在的に可能な位置である。ディスプレイ２は、解像度ＶｘＨ（Ｖは垂直方向の延長であり、Ｈが高さである。）を有することができる。ＯＬＥＤディスプレイは、マトリックス配列ＶｘＨに配置された複数のピクセルを備えることができる。ＯＬＥＤは、マトリックスの上から下へ一行ずつコンテンツを更新及び／又はリフレッシュすることができる。図２Ｃでは、最初のライン、例えばライン０が参照番号１８で示され、最終ラインＶが参照番号２０で示される。更新方向は、参照番号２２で示されている。制御ユニット８は、ディスプレイ２、プロジェクタ１２、フラッドイルミネーション１４及び光センサ４を同期させるように構成されていてよい。制御ユニット８の要素は、例えばＳｏＣ２６の一部として、及び／又はディスプレイ２、光センサ４及び照射源１２、１４の要素として、図２に示されている。ディスプレイ２、特にディスプレイドライバは、更新及び／又はリフレッシュが最後の行２０から最初の行１８にラップアラウンドすることを示す少なくとも１つの信号を発するように構成され得る。ディスプレイドライバは、制御ユニットの一部であってよい。例えば、更新及び／又はリフレッシュが最後の行２０から最初の行１８にラップアラウンドする場合、ディスプレイＶＳＹＮＣ２４とも表される垂直同期（ＶＳＹＮＣ）信号が、ディスプレイ２によって発せられてよい。
【0212】
ＯＬＥＤディスプレイを介した光の放出は、コンテンツが更新及び／又はリフレッシュされる、特に上書きされるわずか前にタイミングを合わせることができる。これにより、目に見える歪みを最小化することができる。光センサ４は、プロジェクタ１２及びフラッドイルミネーション１４と同期され得る。光センサ４は、照射中、アクティブであってよく、すなわち、画像をキャプチャするためのモード及び／又は光を検出するためのモードにあってよい。例えば、光センサ４と照射源５との同期は、図２Ａに示すように実現されてよい。
【0213】
図２Ａに示されるように、制御ユニットは、システムオンチップ（ＳｏＣ）２６を含んでよい。ＳｏＣ２６は、ディスプレイインターフェイス２８を含んでよい。ＳｏＣ２６は、少なくとも１つのアプリケーション３２に接続された少なくとも１つのアプリケーションプログラミングインターフェイス（ＡＰＩ）３０を備えることができる。ＳｏＣ２６は、少なくとも１つの画像信号処理装置（ＩＳＰ）３４をさらに備えることができる。光センサ４は、接続３５を介して、ＳｏＣ２６、特にＩＳＰ３４及び／又はＡＰＩ３０に接続され得る。接続３５は、電力制御、クロック信号（ＣＬＫ）の提供、画像信号の転送のうちの１つ以上のために構成され得る。追加的に又は代替的に、接続３５は、インター集積回路（Ｉ２Ｃ）として具現化されることができる。追加的に又は代替的に、接続は、ＭＩＰなどの画像データインターフェイスとして具現化されることができる。
【0214】
アプリケーション３２は、照射源１２、１４の１つ以上による照射４０を要求することができる。ＳｏＣ２６は、ＡＰＩ３０を介して、接続３５を介して光センサ４に電力を供給することができる。光センサ４は、ＳｏＣ２６にカメラＶＳＹＮＣ３６とも表記されるＶＳＹＮＣ信号を発することができ、照射源１２、１４にストロボ信号３８を発することができる。ＳｏＣ２６は、ＡＰＩ３０を介して、カメラＶＳＹＮＣ３６に応答して、照射源をそれぞれアクティブ化するためのトリガ信号４１，４２を照射源１２，１４に発することができる。それぞれのトリガ信号４１，４２とストロボ信号３８がそれぞれの照射源１２，１４によって、特にＡＮＤ論理ゲートによって受信された場合、照射源１２，１４のそれぞれのドライバ４３は、イルミネーションを駆動する。光センサ４の信号は、接続３５によりＳｏＣ２６、例えばＡＰＩ３０及びＩＳＰ３４に転送され、及び、例えばメタデータなどと共に、さらなる評価のためにアプリケーション３２に提供され得る４４。
【0215】
図２Ａにさらに示されるように、光センサ４とディスプレイ２は同期されていてよい。ディスプレイ２は、少なくとも１つのディスプレイシリアルインターフェイス（ＤＳＩ）４６、特にＭＩＰＩディスプレイシリアルインターフェイス（ＭＩＰＩ ＤＳＩ（登録商標））を介して、ディスプレイインターフェイス２８に接続されてよい。ディスプレイインターフェイス２８は、少なくとも１つのＳＷ信号４８を光センサ４に転送することができる。ディスプレイ２は、２つの動作モード、すなわち、「ビデオモード」又は「コマンドモード」で作動させられ得る。ビデオモードでは、ＶＳＹＮＣ信号は、ディスプレイ２から発せられ得る。コマンドモードでは、ＶＳＹＮＣ信号は、ＳｏＣによって生成されて発せられてよく、特に、ソフトウェアによって生成されてよい。したがって、ディスプレイ２のＶＳＮＣ信号は、ディスプレイ自体及び／又はＳｏＣ２６によって発せられ得る。
【0216】
ディスプレイ装置１は、ディスプレイＶＳＹＮＣ２４をカメラフレームの露光端に同期させるため、トリガ信号として、ディスプレイＶＳＹＮＣ２４を光センサ４に渡すように構成されることができる。光センサ４のトリガの要求に応じて、ディスプレイＶＳＹＮＣ２４は、光センサ４に渡される前に、要求を完全に満たすように、適合され、特に調整されることができる。例えば、ディスプレイＶＳＹＮＣの周波数は半分に調整されることができる。
【0217】
図２Ｂは、ディスプレイＶＳＹＮＣ２４、ストロボ信号３８、カメラＶＳＹＮＣ、及び時間の関数として、特に１／フレーム／秒（ＦＰＳ）としてのトリガ信号４１と４２の展開を示す。カメラの露光は、ディスプレイＶＳＹＮＣ２４の直前、すなわち、位置１６の透明エリアが位置する最初のラインのリフレッシュの直前で起こることが示されている。
【符号の説明】
【0218】
１ ディスプレイ装置
２ 透光性ディスプレイ
４ 光センサ
５ 照射源
６ 黒色エリア
８ 制御ユニット
１０ 評価装置
１２ プロジェクタ
１４ フラッドイルミネーション
１６ 位置
１８ ライン０
２０ ラインＶ
２４ ディスプレイＶＳＹＮＣ
２６ ＳｏＣ
２８ ディスプレイインターフェイス
３０ ＡＰＩ
３２ アプリケーション
３４ ＩＳＰ
３５ 接続
３６ カメラＶＳＹＮＣ
３８ ストロボ信号
４０ 要求
４１ トリガ信号
４２ トリガ信号
４４ 提供
４６ ＤＳＩ
４８ ＳＷ信号
２ 透光性ディスプレイ
４ 光センサ
５ 照射源
６ 黒色エリア
８ 制御ユニット
１０ 評価装置
１２ プロジェクタ
１４ フラッドイルミネーション
１６ 位置
１８ ライン０
２０ ラインＶ
２４ ディスプレイＶＳＹＮＣ
２６ ＳｏＣ
２８ ディスプレイインターフェイス
３０ ＡＰＩ
３２ アプリケーション
３４ ＩＳＰ
３５ 接続
３６ カメラＶＳＹＮＣ
３８ ストロボ信号
４０ 要求
４１ トリガ信号
４２ トリガ信号
４４ 提供
４６ ＤＳＩ
４８ ＳＷ信号
【図1】
【図2A】
【図2B】
【図2C】
【国際調査報告】