▶ トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-30
(54)【発明の名称】ディスプレイによる深度測定
(51)【国際特許分類】
G01C 3/06 20060101AFI20230123BHJP
【ＦＩ】
G01C3/06 110A
G01C3/06 140
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022531483
(86)(22)【出願日】2020-11-26
(85)【翻訳文提出日】2022-07-26
(86)【国際出願番号】 EP2020083468
(87)【国際公開番号】W WO2021105265
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】19211927.9
(32)【優先日】2019-11-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】517267802
【氏名又は名称】トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
(74)【代理人】
【識別番号】100100354
【弁理士】
【氏名又は名称】江藤 聡明
(74)【代理人】
【識別番号】100167106
【弁理士】
【氏名又は名称】倉脇 明子
(74)【代理人】
【識別番号】100194135
【弁理士】
【氏名又は名称】山口 修
(74)【代理人】
【識別番号】100206069
【弁理士】
【氏名又は名称】稲垣 謙司
(74)【代理人】
【識別番号】100185915
【弁理士】
【氏名又は名称】長山 弘典
(72)【発明者】
【氏名】シンドラー，パトリク
(72)【発明者】
【氏名】ライン，ベンヤミン
(72)【発明者】
【氏名】ボンジヒノーレ，クリスティアン
(72)【発明者】
【氏名】エバーシュパッハ，ミヒャエル
(72)【発明者】
【氏名】シレン，ペーター
【テーマコード（参考）】
2F112
【Ｆターム（参考）】
2F112AA09
2F112CA12
2F112FA35
2F112GA01
(57)【要約】
ディスプレイ装置（１１０）が提案されている。前記ディスプレイ装置（１１０）は、
－ 少なくとも１つのシーンに、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源（１１４）と；
－ 少なくとも１つの感光エリア（１２０）を有する少なくとも１つの光センサ（１１８）であって、前記光センサ（１１８）は、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像（１２２）を決定するように構成されている、少なくとも１つの光センサ（１２０）と；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイ（１１２）であって、前記照射源（１１４）と前記光センサ（１１８）が、前記ディスプレイ（１１２）の前で前記照射パターンの伝播方向に配置されている、少なくとも１つの透光性ディスプレイ（１１２）と；
－ 少なくとも１つの評価装置（１２４）であって、前記評価装置（１２４）は、前記第１画像（１２２）を評価するように構成され、前記第１画像（１２２）の前記評価は、前記第１画像（１２２）の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置（１２４）は、それらのビームプロファイルの分析によって前記反射特徴の各々の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている、少なくとも１つの評価装置（１２４）と、
を備え、
前記評価装置（１２４）は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置（１２４）は、前記照射特徴とマッチングする反射特徴を真の特徴として分類し、前記照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置（１２４）は、前記偽の特徴を除くように、及び、前記縦方向座標ｚＤＰＲを使用して前記真の特徴についての深度マップを生成するように構成されている。
【選択図】図１Ａ
－ 少なくとも１つのシーンに、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源（１１４）と；
－ 少なくとも１つの感光エリア（１２０）を有する少なくとも１つの光センサ（１１８）であって、前記光センサ（１１８）は、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像（１２２）を決定するように構成されている、少なくとも１つの光センサ（１２０）と；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイ（１１２）であって、前記照射源（１１４）と前記光センサ（１１８）が、前記ディスプレイ（１１２）の前で前記照射パターンの伝播方向に配置されている、少なくとも１つの透光性ディスプレイ（１１２）と；
－ 少なくとも１つの評価装置（１２４）であって、前記評価装置（１２４）は、前記第１画像（１２２）を評価するように構成され、前記第１画像（１２２）の前記評価は、前記第１画像（１２２）の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置（１２４）は、それらのビームプロファイルの分析によって前記反射特徴の各々の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている、少なくとも１つの評価装置（１２４）と、
を備え、
前記評価装置（１２４）は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置（１２４）は、前記照射特徴とマッチングする反射特徴を真の特徴として分類し、前記照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置（１２４）は、前記偽の特徴を除くように、及び、前記縦方向座標ｚＤＰＲを使用して前記真の特徴についての深度マップを生成するように構成されている。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
－ 少なくとも１つのシーンに、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源（１１４）と；－ 少なくとも１つの感光エリア（１２０）を有する少なくとも１つの光センサ（１１８）であって、前記光センサ（１１８）は、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像（１２２）を決定するように構成されている、少なくとも１つの光センサ（１１８）と；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイ（１１２）であって、前記照射源（１１４）と前記光センサ（１１８）が、前記ディスプレイ（１１２）の前で前記照射パターンの伝播方向に配置されている、少なくとも１つの透光性ディスプレイ（１１２）と；
－ 少なくとも１つの評価装置（１２４）であって、前記評価装置（１２４）は、前記第１画像（１２２）を評価するように構成され、前記第１画像（１２２）の前記評価は、前記第１画像（１２２）の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置（１２４）は、それらのビームプロファイルの分析によって前記反射特徴の各々の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている、少なくとも１つの評価装置（１２４）と、
を備えているディスプレイ装置（１１０）であって、
前記評価装置（１２４）は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置（１２４）は、前記照射特徴とマッチングする反射特徴を真の特徴として分類し、前記照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置（１２４）は、前記偽の特徴を除くように、及び、前記縦方向座標ｚＤＰＲを使用して前記真の特徴についての深度マップを生成するように構成されている、ディスプレイ装置（１１０）。
【請求項2】
前記評価装置（１２４）は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光技術を使用して、前記反射特徴のそれぞれについて少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成されている、請求項１に記載のディスプレイ装置（１１０）。
【請求項3】
前記評価装置（１２４）は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成され、前記結合縦方向座標は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの平均値であり、前記結合縦方向座標は、前記深度マップの生成のために使用される、請求項２に記載のディスプレイ装置（１１０）。
【請求項4】
前記照射源（１１４）は、少なくとも１つのレーザプロジェクタを備え、前記レーザプロジェクタは、少なくとも１つのレーザ源と少なくとも１つの回折光学素子（ＤＯＥ）を含む、請求項１～３のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項5】
前記照射源（１１４）は、前記照射源（１１４）から前記ディスプレイ（１１２）を通って前記シーンまで通過するビーム経路を有する少なくとも１つの光ビームを生成するように構成され、前記ディスプレイ（１１２）は、前記光ビームが、前記ディスプレイ（１１２）による回折を受け、その結果、前記照射パターンを生じるように、格子として機能するように構成されている、請求項１～４のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項6】
前記ディスプレイ（１１２）の配線は、前記格子のギャップ及び／又はスリット、及びリッジを形成するように構成されている、請求項５に記載のディスプレイ装置（１１０）。
【請求項7】
前記照射パターンは、周期的な点パターンを含む、請求項１～６のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項8】
前記照射パターンは、低い点密度を有し、前記照射パターンは、視野あたり２５００個以下の点を有する、請求項１～７のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項9】
前記評価装置（１２４）は、光子比からの深度技術を使用することによって、前記反射特徴のそれぞれについて、前記ビームプロファイルの情報を決定するように構成されている、請求項１～８のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項10】
前記光センサ（１１８）は、少なくとも１つのＣＭＯＳセンサを含む、請求項１～９のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項11】
前記ディスプレイ装置（１１０）は、さらなる照射源（１３８）を含み、前記さらなる照射源（１３８）は、少なくとも１つの発光ダイオード（ＬＥＤ）を含む、請求項１～１０のいずれか１項に記載のディスプレイ装置（１１０）。
【請求項12】
前記さらなる照射源（１３８）は、視覚的スペクトル範囲内の光を生成するように構成されている、請求項１１に記載のディスプレイ装置（１１０）。
【請求項13】
前記光センサ（１１８）は、前記シーンの少なくとも１つの二次元画像を含む少なくとも１つの第２画像を決定するように構成され、前記さらなる照射源（１３８）は、前記第２画像の画像化のための追加の照射を提供するように構成されている、請求項１１又は１２に記載のディスプレイ装置（１１０）。
【請求項14】
前記評価装置（１２４）は、回折格子関数ｇで前記第２画像Ｉをデコンボリューションすることによって、少なくとも１つの補正された画像Ｉ０を決定するように構成され、ここでＩ＝Ｉ０＊ｇである、請求項１３に記載のディスプレイ装置（１１０）。
【請求項15】
透光性のディスプレイ（１１２）を通しての深度測定のための方法であって、請求項１～１４のいずれか１項に記載の少なくとも１つのディスプレイ装置（１１０）が使用され、以下のステップ：ａ）少なくとも１つの照射源（１１４）を使用することによって、複数の照射特徴を含む少なくとも１つの照射パターンを少なくとも１つのシーンに投影するステップであって、前記照射源（１１４）は、ディスプレイ（１１２）の前方に前記照射パターンの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサ（１１８）を使用することによって、前記照射特徴による照射に応答して前記シーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像（１２２）を決定するステップであって、前記光センサ（１１８）は少なくとも１つの感光エリア（１２０）を有し、前記光センサ（１１８）は前記ディスプレイ（１１２）の前方に前記照射パターンの伝播方向に配置され、前記反射特徴のそれぞれが少なくとも１つのビームプロファイルを含んでいる、ステップと；
ｃ）少なくとも１つの評価装置（１２４）を使用することによって、前記第１画像（１２２）を評価するステップであって、前記評価は以下のサブステップ：
Ｃ１）前記第１画像（１２２）の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートするサブステップと；
Ｃ２）ビームプロファイルの分析により、前記反射特徴ごとに少なくとも１つの縦方向座標ｚＤＰＲを決定するサブステップと；
Ｃ３）前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするサブステップであって、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少させて実行されるサブステップと；
Ｃ４）照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するサブステップと；
Ｃ５）偽の特徴を排除し、前記縦方向座標ｚＤＰＲを使用することにより、前記真の特徴の深度マップを生成するサブステップと、を含む、
ステップと、を含む方法。
【請求項16】
ディスプレイ装置に関する請求項１～１５のいずれか１項に記載のディスプレイ装置（１１０）の使用であって、使用目的が：交通技術における位置測定；娯楽用途；セキュリティ用途；監視用途；安全用途；ヒューマンマシンインターフェース用途；追跡用途；写真用途；画像化用途又はカメラ用途；少なくとも１つの空間のマップを生成するためのマッピング用途；車両用のホーミング又は追跡ビーコン検出器；屋外用途；モバイル用途；通信用途；マシンビジョン用途；ロボット用途；品質管理用途；製造用途、からなる群から選択される、使用。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ装置と透光性ディスプレイによる深度測定のための方法、ならびにディスプレイ装置の様々な使用に関する。本発明による装置、方法及び使用は、具体的には、例えば、日常生活、セキュリティ技術、ゲーミング、交通技術、生産技術、芸術、文書又は技術目的のためのデジタル写真又はビデオ撮影などの写真撮影、セキュリティ技術、情報技術、農業、作物保護、メンテナンス、化粧品、医療技術、又は科学の様々な分野において採用され得る。ただし、他の適用も可能である。
【背景技術】
【0002】
いくつかのディスプレイ装置が知られている。ディスプレイを備えた装置に関する最近の開発では、ディスプレイエリアは利用可能な空間全体をカバーする必要があり、ディスプレイを囲むフレームは可能な限り小さくする必要があることを示している。その結果、電子構成要素及びセンサ（例えば、前面カメラ、フラッシュライト、近接センサ、さらには３Ｄ画像センサなど）は、もはやフレーム内に配置されることはできず、ディスプレイの下に配置しなければならないことになった。しかし、最も一般的な３Ｄイメージング技術及びシステム（例えば、構造化光又は３Ｄ飛行時間（ＴｏＦ）に基づく３Ｄイメージングシステムなど）は、苦労なしにディスプレイの下に配置されることはできない。
【0003】
今まで、構造化光又は３Ｄ－ＴｏＦに基づく３Ｄイメージングシステムが、ディスプレイの下で作動していること、すなわち、ウィンドウを通して「見る」ために、３Ｄイメージングシステムの構成要素又は装置を配置するための、マイクロ回路及び／又はマイクロ配線を含まない空のウィンドウを作成することなく、ディスプレイの下で作動していることは知られていない。
【0004】
構造化光の場合、主な問題は、透明ディスプレイのマイクロ回路及び／又はマイクロ配線の微細構造であり、及び、その結果として、ディスプレイを通過する光の透過率が低いことである。この微細構造は、単一ピクセルをアドレス指定するための電極マトリックスに起因する。また、単一ピクセルの金属カソードは透明でないため、ピクセル自体は逆格子を示す。原則として、ディスプレイ構造は、特定の材料を用いることで、電極を含めて全体として透明又は透光性にすることができるが、今までのところ、格子状の微細構造を有しない透明又は透光性のディスプレイは存在しない。
【0005】
構造化光ベースの３Ｄイメージ化装置は、数千の点と既知のパターンを有する点群をシーンの中に投影することに基づいている。透明又は透光性ディスプレイの微細構造は、レーザ光の回折格子構造のように機能する。構造化光イメージ化装置のプロジェクタの多くは、明確に定義されたドットパターンを投影するレーザ源に基づいているため、このパターンはディスプレイの回折格子効果を受け、ドットパターンの全てのスポットが高い回折次数を示すようになる。このことは、構造化光イメージ化装置にとって致命的な影響を有する、なぜなら、回折格子構造によって引き起こされる追加の不要な点は、本来の期待されるパターンを検索するためアルゴリズムが非常に複雑にするからである。
【0006】
さらに、従来の構造化光イメージ化装置で使用されている投影点の数はかなり多い。透明ディスプレイは光透過率が非常に低いため、例えば３Ｄイメージ化装置の典型的な波長である８５０ｎｍ及び９４０ｎｍの赤外線（ＩＲ）においてさえも、イメージ化装置によって検出され得る構造化光プロジェクタがディスプレイを通すのに十分なパワーを得るために、非常に高い出力パワーが必要とされ、また、該構造化光プロジェクタはディスプレイの下に設置する必要があり、そのことは追加の光吸収をもたらす。点の数が多いことと、低光透過率の組み合せは、低い周囲光堅牢性をもたらし得る。
【0007】
３Ｄ－ＴｏＦセンサの場合、マルチ反射をもたらすディスプレイ表面の反射、同様に、光がディスプレイを通過するときの遅延の差のため、異なるディスプレイ構造は異なる屈折率を有し、ディスプレイの背後で使用されるときに堅牢な機能を妨げる。さらに、３Ｄ－ＴｏＦセンサは、シーンを照射するための大量の光も必要とする。さらに、照射は均一である必要がある。ディスプレイの光透過率が低いと、十分な光を提供することが難しく、格子構造は照射の均一性に影響を与える。
【0008】
一般的な３Ｄ感知システムは、透明ディスプレイを通して測定するのに問題がある。現在の装置は、ディスプレイに設けた切欠を使用している。そうすることで、センサが回折光学効果によって妨害されない。
【0009】
ＤＥ２０２０１８００３６４４Ｕ１は、携帯電子装置を記載しており、該装置は、底壁と協働してキャビティを規定する底壁及び側壁であって、該側壁が該キャビティに通じる開口部を規定するエッジを有する底壁及び側壁と；開口部を覆いキャビティを囲む保護層と；キャビティ内かつ保護層と底壁との間に配置され保護層外の物体の深度マップを提供する役割を果たす視覚サブシステムであって、深度マップの情報を生成するために協働する光学部品を運ぶためのクリップアセンブリを備え、該クリップアセンブリは、光学部品を互いから一定の距離で支持し保持するように配置された第１ブラケットと第１ブラケットに固定された本体を有する第２ブラケット（第２ブラケットは、本体から離れて伸びる突起を有する）を備える、視覚サブシステムと、を備える。
【0010】
ＵＳ９，８７０，０２４Ｂ２は、カバー層、カラーフィルタ層、発光ダイオード又は有機発光ダイオードを含むディスプレイ層、薄膜トランジスタ層等の複数の層を含む電子ディスプレイを記載している。一実施形態では、層は、カメラの上方に配置された実質的に透明な領域を含む。実質的に透明な領域は、外部からの光がカメラに到達することを可能にし、カメラが画像を記録することを可能にする。
【0011】
ＵＳ１０，０５７，５４１Ｂ２は、撮像装置及び撮像方法を記載している。この撮像装置は、透明ディスプレイパネルと；透明ディスプレイパネルが黒画像を表示する期間にシャッター時間を同期させ、透明ディスプレイパネルの前方に位置する画像を取得するための、透明ディスプレイパネルの底面に対向するカメラと、を備える。
【0012】
ＵＳ１０，２１５，９８８Ｂ２は、第１の複数の光指向開口部、光検出器、プロセッサ、ディスプレイ、及び第２の複数の光指向開口部を含むアクティブ光学部品を含むシーンからの光を表示するための光学システムを記載している。第１の複数の光指向開口部は、光検出器に光入力を提供するように配置されている。光検出器は、光入力を受信し、光入力を強度データ及び位置データに対応する電気信号に変換するように配置されている。プロセッサは、光学検出器からデータを受信し、ディスプレイのためにデータを処理するように接続されている。第２の複数の光指向開口部は、ディスプレイから光出力を提供するように配置されている。
【0013】
ＷＯ２０１９／０４２９５６Ａ１は、少なくとも１つの物体の位置を決定するための検出器を記載している。検出器は、－光センサのマトリックスを有する少なくとも１つのセンサ要素であって、該光センサはそれぞれ感光エリアを有し、各光センサは、物体から検出器に伝播する反射光ビームによるそのそれぞれの感光エリアの照射に応答して少なくとも１つのセンサ信号を生成するように設計され、センサ要素は、少なくとも１つの反射画像を決定するように適合されている、センサ要素と；－少なくとも１つの評価装置であって、反射画像の少なくとも１つの反射特徴を選択するように適合されており、センサ信号からの結合信号Ｑを評価することによって、反射画像の選択された反射特徴の少なくとも１つの縦方向領域を決定するように構成され、縦方向領域に対応する少なくとも１つの参照画像内の少なくとも１つの変位領域を決定するように適合され、変位領域内の少なくとも１つの参照特徴と選択された反射特徴をマッチングするように適合されている、評価装置と、を備える。
【発明の概要】
【発明が解決しようとする課題】
【0014】
したがって、本発明の目的は、既知の装置及び方法の上述の技術的課題に直面する装置及び方法を提供することである。具体的には、本発明の目的は、低い技術的努力で、かつ技術的資源及びコストの観点から低い要求で、ディスプレイを通しての信頼性の高い深度測定を可能にする装置及び方法を提供することである。
【課題を解決するための手段】
【0015】
この問題は、独立特許請求項の特徴を備えた本発明によって解決される。個別に又は組み合わせて実現することができる本発明の有利な展開は、従属請求項及び／又は以下の明細書及び詳細な実施形態に示されている。
【0016】
以下で使用される場合、「有する」、「備える」、又は「含む」という用語、又はそれらの任意の文法上の変形は、非排他的な方法で使用される。したがって、これらの用語は、これらの用語によって導入された特徴の他に、この文脈で説明されている実体にさらなる特徴が存在しない状況と、１つ以上のさらなる特徴が存在する状況の両方を指し得る。一例として、「ＡはＢを有する」、「ＡはＢを備える」、及び「ＡはＢを含む」という表現は、Ｂ以外にＡに他の要素が存在しない状況（つまり、Ａは専らかつ排他的にＢを構成する状況）と、Ｂに加えて、１つ以上の要素、例えば要素Ｃ、要素ＣとＤ、又はさらに要素などが実体Ａに存在する状況の双方を指し得る。
【0017】
さらに、「少なくとも１つ」、「１つ以上」という用語、又は、特徴もしくは要素が１回以上存在し得ることを示す同様の表現は、典型的には、それぞれの特徴又は要素を導入するときに１回だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴又は要素を参照するときに、「少なくとも１つ」又は「１つ以上」という表現は、それらの特徴又は要素が１回以上現れ得るという事実にもかかわらず、繰り返されないことに留意されたい。
【0018】
さらに、以下で使用される場合、「好ましくは」、「より好ましくは」、「特に」、「より特に」、「具体的に」、「より具体的に」という用語、又は、同様の用語は、代替の可能性を制限することなく、任意の特徴に関連して使用される。したがって、これらの用語によって導入される特徴は、任意の特徴であり、いかなる意味でも特許請求の範囲を限定することを意図するものではない。本発明は、当業者であれば認識するように、代替的特徴を用いて実施することができる。同様に、「本発明の一実施形態では」又は同様の表現によって導入される特徴は、本発明の代替実施形態に関するいかなる制限もなく、本発明の範囲に関するいかなる制限もなく、及び、そのような方法で導入される特徴を本発明の他の任意の又は非任意の特徴と組み合わせる可能性に関するいかなる制限もなく、任意の特徴であることが意図されている。
【0019】
本発明の第１の態様では、ディスプレイ装置が開示されている。本明細書で使用される場合、「ディスプレイ」という用語は、少なくとも１つの画像、少なくとも１つの図、少なくとも１つのヒストグラム、少なくとも１つのテキスト、少なくとも１つの記号などの情報の一項目を表示するように構成された任意の形状の装置を指し得る。ディスプレイは、少なくとも１つのモニタ又は少なくとも１つのスクリーンであり得る。ディスプレイは、任意の形状、好ましくは長方形の形状を有することができる。本明細書で使用される場合、「ディスプレイ装置」という用語は、一般に、少なくとも１つのディスプレイを含む少なくとも１つの電子装置を指し得る。例えば、ディスプレイ装置は、テレビ装置、スマートフォン、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、少なくとも１つの仮想現実装置、又はそれらの組み合わせからなる群から選択される少なくとも１つの装置であってよい。
【0020】
ディスプレイ装置は、
－ 少なくとも１つのシーンに、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されている、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源と前記光センサが、前記ディスプレイの前で前記照射パターンの伝播方向に配置されている、少なくとも１つの透光性ディスプレイと；
－ 少なくとも１つの評価装置であって、前記評価装置は、前記第１画像を評価するように構成され、前記第１画像の前記評価は、前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置は、それらのビームプロファイルの分析によって前記反射特徴の各々の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている、少なくとも１つの評価装置と、
を備えており、
前記評価装置は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置は、照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置は、前記偽の特徴を除くように、及び、縦方向座標ｚＤＰＲを使用して真の特徴についての深度マップを生成するように構成されている。
－ 少なくとも１つのシーンに、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されている、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源と前記光センサが、前記ディスプレイの前で前記照射パターンの伝播方向に配置されている、少なくとも１つの透光性ディスプレイと；
－ 少なくとも１つの評価装置であって、前記評価装置は、前記第１画像を評価するように構成され、前記第１画像の前記評価は、前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置は、それらのビームプロファイルの分析によって前記反射特徴の各々の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている、少なくとも１つの評価装置と、
を備えており、
前記評価装置は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置は、照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置は、前記偽の特徴を除くように、及び、縦方向座標ｚＤＰＲを使用して真の特徴についての深度マップを生成するように構成されている。
【0021】
本明細書で使用される場合、「シーン」という用語は、少なくとも１つの任意の物体又は空間領域を指し得る。シーンは、少なくとも１つの物体及びその周囲の環境を含み得る。
【0022】
照射源は、シーン上に複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成される。本明細書で使用される場合、「照射源」という用語は、一般に、シーンの照射のために少なくとも１つの照射光ビームを提供するように適合された少なくとも１つの任意の装置を指し得る。照射源は、シーンを直接的又は間接的に照射するように適合されてよく、照射パターンは、シーンの表面によって反射又は散乱され、それによって、少なくとも部分的に光センサに向けられる。照射源は、例えば、光ビームを反射するシーンに光ビームを向けることによって、シーンを照射するように適合されてよい。照射源は、シーンを照射するための照射光ビームを生成するように構成されてよい。
【0023】
照射源は、少なくとも１つの光源を含んでよい。照射源は、複数の光源を含んでいてもよい。照射源は、人工照射源、特に少なくとも１つのレーザ源、及び／又は少なくとも１つの白熱灯、及び／又は少なくとも１つの半導体光源、例えば少なくとも１つの発光ダイオード、特に有機及び／又は無機発光ダイオードを含み得る。一例として、照射源によって放出される光は、３００～１１００ｎｍ、特に５００～１１００ｎｍの波長を有し得る。追加的に又は代替的に、７８０ｎｍ～３．０μｍの範囲などの赤外スペクトル範囲の光が使用され得る。具体的には、シリコンフォトダイオードが適用可能な特には７００ｎｍ～１１００ｎｍの範囲の近赤外領域部分の光が使用されることができる。照射源は、赤外領域において少なくとも１つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
【0024】
本明細書で使用される場合、「光線」という用語は、一般に、エネルギーの流れの方向を指し示す光の波面に垂直な線を指す。本明細書で使用される場合、「ビーム」という用語は、一般に、光線の集まりを指す。以下では、「光線」及び「ビーム」という用語を同義語として使用される。本明細書でさらに使用される場合、「光ビーム」という用語は、一般に光の量を指し、具体的には、本質的に同じ方向に進む光の量であって、光ビームが拡張角又は広がり角を有する可能性を含む。光ビームは空間的広がりを有することができる。具体的には、光ビームは、非ガウスビームプロファイルを有することができる。ビームプロファイルは台形ビームプロファイル；三角形ビームプロファイル；円錐形ビーム横方向の強度プロファイルプロファイル、からなる群から選択されてよい。台形ビームプロファイルは、プラトー領域と少なくとも１つのエッジ領域とを有することができる。光ビームは、具体的には、以下でさらに詳細に概説するように、ガウス光ビーム又はガウス光ビームの線形結合であり得る。しかしながら、他の実施形態も可能である。
【0025】
照射源は、単一波長で光を放出するように構成されることができる。具体的には、波長は、近赤外領域であってよい。他の実施形態では、照射は、他の波長チャネルでの追加の測定を可能にする複数の波長を有する光を放出するように適合されてよい。
【0026】
照射源は、少なくとも１つの多重ビーム光源(multiple beam light source)であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源は、少なくとも１つのレーザ源と１つ以上の回折光学素子（ＤＯＥ）を含んでいてよい。具体的には、照射源は、少なくとも１つのレーザ及び／又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ（bｒａｇｇ）反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が採用されてよい。追加的に又は代替的に、ＬＥＤ及び／又は電球などの非レーザ光源が使用されてもよい。照射源は、照射パターンを生成するように適合された１つ以上の回折光学素子（ＤＯＥ）を含んでよい。例えば、照射源は、点群を生成及び／又は投影するように適合されてよく、例えば、照射源は、少なくとも１つのデジタル光処理プロジェクタ、少なくとも１つのＬＣｏＳプロジェクタ、少なくとも１つの空間光変調器；少なくとも１つの回折光学素子；発光ダイオードの少なくとも１つのアレイ；レーザ光源の少なくとも１つのアレイ、のうちの１つ以上を含み得る。それらの一般的に定義されたビームプロファイル及び取扱い性の他の特性を考慮すると、照射源として少なくとも１つのレーザ源の使用が特に好ましい。照射源は、ディスプレイ装置のハウジングに一体化されてよい。
【0027】
一実施形態では、照射源は、単一又は多重ビーム源であってよく、少なくとも１つの点パターンなどの少なくとも１つの照射パターンを投影するように構成されていてよい。照射パターンは、以下のように生成されてよい。照射源は、少なくとも１つの光ビームを生成するように構成されてよい。照射源は、ディスプレイの前方に照射パターンの伝播方向に配置されてよい。したがって、光ビームのビーム経路は、照射源からディスプレイを通ってシーンまで通過することができる。ディスプレイを通過する間に、光ビームは、ディスプレイによる回折を受けることができ、その結果、点パターンなどの特徴的な照射パターンが生じることができる。この実施形態におけるディスプレイは、格子として機能することができる。ディスプレイの配線、特にスクリーンの配線は、格子のギャップ及び／又はスリット、及びリッジを形成するように構成されてよい。
【0028】
さらに、照射源は、変調された光又は変調されていない光を放出するように構成されてよい。複数の照射源を使用する場合、異なる照射源は異なる変調周波数を有することができ、該異なる変調周波数は、以下にさらに詳細に概説するように、後に、光ビームを区別するために使用されることができる。
【0029】
照射源によって生成された１つ又は複数の光ビームは、一般的に、光軸に平行に伝播してもよいし、又は、光軸に対して傾斜して伝播してもよく、例えば、光軸と角度を含んで伝播してもよい。ディスプレイ装置は、１つ又は複数の光ビームがディスプレイ装置の光軸に沿ってディスプレイ装置からシーンに向かって伝播するように構成されてよい。この目的のために、ディスプレイ装置は、照射光ビームを光軸上に偏向させるための少なくとも１つの反射要素、好ましくは少なくとも１つのプリズムを含んでいてよい。一例として、レーザ光ビームなどの１つ又は複数の光ビーム、及び光軸は、１０°未満、好ましくは５°未満、さらには２°未満の角度を有してよい。しかし、他の実施形態も実現可能である。さらに、１つ又は複数の光ビームは、光軸上にあってもよいし、又は光軸から外れていてもよい。一例として、１つ又は複数の光ビームは、光軸に対して１０ｍｍ未満、好ましくは５ｍｍ未満、さらには１ｍｍ未満の距離を有して、光軸と平行であってもよく、又は光軸と一致さえしていてもよい。
【0030】
本明細書で使用される場合、「少なくとも１つの照射パターン」という用語は、シーンの少なくとも一部を照射するように適合された少なくとも１つの照射特徴を含む少なくとも１つの任意のパターンを指す。本明細書で使用される場合、「照射特徴」という用語は、パターンの少なくとも部分的に広がった少なくとも１つの特徴を指す。照射パターンは、単一の照射特徴を含んでよい。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも１つの点パターン；少なくとも１つの線パターン；少なくとも１つのストライプパターン；少なくとも１つの市松模様パターン；周期的又は非周期的な特徴の配置を含む少なくとも１つのパターン、からなる群から選択されてよい。照射パターンは、三角形のパターン、長方形のパターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的及び／又は一定及び／又は周期的なパターンを含んでよい。照射パターンは、少なくとも１つの点；少なくとも１つの線；平行線又は交差線などの少なくとも２つの線；少なくとも１つの点と１つの線；周期的又は非周期的な特徴の少なくとも１つの配置；少なくとも１つの任意の形状の特徴からなる群から選択される少なくとも１つの照射特徴を示してよい。照射パターンは：少なくとも１つの点パターン、特に擬似ランダム点パターン；ランダム点パターン又は準ランダムパターン；少なくとも１つのソボル（Ｓｏｂｏｌ）パターン；少なくとも１つの準周期的パターン；少なくとも１つの既知の特徴を含む少なくとも１つのパターン；少なくとも１つの規則的なパターン；少なくとも１つの三角形パターン；少なくとも１つの六角形パターン；少なくとも１つの長方形パターン；凸状の均一なタイル状体（ｔｉｌｉｎｇ）を含む少なくとも１つのパターン；少なくとも１つの線を含む少なくとも１つの線パターン；平行線又は交差線などの少なくとも２つの線を含む少なくとも１つの線パターン、からなる群から選択される少なくとも１つのパターンを含むことができる。例えば、照射源は、点群を生成及び／又は投影するように適合され得る。照射源は、照射パターンが複数の点パターンを含むことができるように点群を生成するように適合された少なくとも１つの光プロジェクタを含み得る。照射源は、照射源によって生成された少なくとも１つの光ビームから照射パターンを生成するように適合された少なくとも１つのマスクを含むことができる。
【0031】
照射パターンの２つの特徴間の距離及び／又は少なくとも１つの照射特徴の面積は、画像内の錯乱円に依存し得る。上記で概説したように、照射源は、少なくとも１つの照射パターンを生成するように構成された少なくとも１つの光源を含んでよい。具体的には、照射源は、レーザ放射を生成するように割り当てられた少なくとも１つのレーザ源及び／又は少なくとも１つのレーザダイオードを含む。照射源は、少なくとも１つの回折光学素子（ＤＯＥ）を含んでよい。ディスプレイ装置は、少なくとも１つの周期的な点パターンを投影するように適合された、少なくとも１つのレーザ源及びＤＯＥなどの少なくとも１つの点プロジェクタを含んでよい。
【0032】
本明細書でさらに使用される場合、「少なくとも１つの照射パターンを投影する」という用語は、少なくとも１つのシーンを照射するための少なくとも１つの照射パターンを提供することを指す。
【0033】
例えば、投影される照射パターンは、周期的な点パターンであってよい。投影される照射パターンは、低い点密度を有していてよい。例えば、照射パターンは、低い点密度を有する少なくとも１つの周期的な点パターンを含み得、該照射パターンは、視野あたり２５００個以下の点を有する。５５×３８°の視野において典型的に１０ｋ～３０ｋの点密度を有する構造化光と比較して、本発明による照射パターンは、より低密度であってよい。これにより、提案された技術は構造化光と比較して周囲光により少なく依存するように、点あたりのパワーを増やすことができる。
【0034】
ディスプレイ装置は、光センサを備える１つのカメラを備えることができる。ディスプレイ装置は、それぞれが単数又は複数の光センサを備える複数のカメラを備えることができる。
【0035】
光センサは、少なくとも１つの感光エリアを有する。本明細書で使用される場合、「光センサ」は、一般に、少なくとも１つの光ビームによって生成された照射及び／又は光スポットを検出するためなどの、光ビームを検出するための感光装置を指す。本明細書でさらに使用される場合、「感光エリア」は、一般的に、少なくとも１つの光ビームによって外部から照射され、該照射に応答して少なくとも１つのセンサ信号を生成する、光センサのエリアを指す。感光エリアは、具体的には、それぞれの光センサの表面に位置することができる。しかしながら、他の実施形態も可能である。ディスプレイ装置は、それぞれが感光エリアを有する複数の光センサを含んでよい。本明細書で使用される場合、「それぞれが少なくとも１つの感光エリアを有する光センサ」という用語は、それぞれが１つの感光エリアを有する複数の単一の光センサを備える構成と、複数の感光エリアを有する１つの結合された光センサを備える構成とを指す。「光センサ」という用語は、さらに、１つの出力信号を生成するように構成された感光装置を指す。ディスプレイ装置が複数の光センサを含む場合、各光センサは、正確に１つの感光エリアがそれぞれの光センサ内に存在するように、例えば、照射され得る正確に１つの感光エリアを提供し、該感光エリアの照射に応答して光センサ全体について正確に１つの均一なセンサ信号を生成するようにすることによって具現化されてよい。したがって、各光センサは、単一エリアの光センサであってよい。単一エリアの光センサの使用は、しかしながら、ディスプレイ装置の構成を特に簡単かつ効率的にする。したがって、一例として、それぞれが正確に１つの感光エリアを有する市販のシリコンフォトダイオードなどの市販の光センサが、構成において使用されてよい。しかしながら、他の実施形態も可能である。
【0036】
好ましくは、感光エリアは、ディスプレイ装置の光軸に対して実質的に垂直に方向付けされ得る。光軸は、直線の光軸であってもよいし、又は、１つ以上の偏向要素及び／又は１つ以上のビームスプリッタを使用することなどにより、屈折又は分割さえされてよく、後者の場合、実質的に垂直な方向付けは、光学構成のそれぞれの分岐又はビーム経路の局所的光軸に関して言及している。
【0037】
光センサは、具体的には、少なくとも１つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、赤外スペクトル範囲において感度を有してよい。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルは、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び／又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサは、赤外スペクトル範囲、好ましくは７００ｎｍ～３．０マイクロメートルの範囲に感度を有する少なくとも無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１１００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ，Ｄ－６７０５６ Ｌｕｄｗｉｇｓｈａｆｅｎ ａｍ ＲｈｅｉｎのｔｒｉｎａｍｉＸ ＧｍｂＨのＨｅｒｔｚｓｔｕｅｃｋ（登録商標）というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサは、固有の光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅフォトダイオード、ＩｎＧａＡｓフォトダイオード、拡張ＩｎＧａＡｓフォトダイオード、ＩｎＡｓフォトダイオード、ＩｎＳｂフォトダイオード、ＨｇＣｄＴｅフォトダイオード、からなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、外因性光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅ：Ａｕフォトダイオード、Ｇｅ：Ｈｇフォトダイオード、Ｇｅ：Ｃｕフォトダイオード、Ｇｅ：Ｚｎフォトダイオード、Ｓｉ：Ｇａフォトダイオード、Ｓｉ：Ａｓフォトダイオードからなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、ＰｂＳもしくはＰｂＳｅセンサなどの少なくとも１つの光導電センサ、ボロメータ、好ましくはＶＯボロメータ及びアモルファスＳｉボロメータからなる群から選択されるボロメータを含み得る。
【0038】
光センサは、紫外、可視、又は赤外スペクトル範囲の１つ以上で感度を有してよい。具体的には、光センサは、５００ｎｍ～７８０ｎｍ、最も好ましくは６５０ｎｍ～７５０ｎｍ、又は６９０ｎｍ～７００ｎｍの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１０００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサは、具体的には、赤外スペクトル範囲、具体的には７８０ｎｍ～３．０μｍの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれらを含んでもよい。例えば、光センサは、ＣＣＤセンサ要素、ＣＭＯＳセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び／又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの１つ以上のフォトダイオードが使用され得る。
【0039】
光センサは、ピクセルのマトリックスを含む少なくとも１つのセンサ要素を含んでいてよい。したがって、一例として、光センサは、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサは、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それらを含んでいてもよい。一例として、光センサは、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置の一部であるか、又は、それを構成してもよい。
【0040】
本明細書で使用される場合、「センサ要素」という用語は、一般に、少なくとも１つのパラメータを感知するように構成された装置又は複数の装置の組み合わせを指す。この場合、パラメータは、具体的には光パラメータであってよく、センサ要素は、具体的には光センサ要素であってよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。センサ要素は、光センサのマトリックスを含む。センサ要素は、少なくとも１つのＣＭＯＳセンサを含み得る。マトリックスは、独立光センサなどの独立ピクセルで構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えば、ＣＣＤ検出器チップなどのＣＣＤ検出器の１つ以上、及び／又はＣＭＯＳ検出器チップなどのＣＭＯＳ検出器が使用されてもよい。したがって、一般に、センサ要素は、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それを含んでいてもよく、及び／又は、光センサは、センサアレイを形成してもよく、又は上述のマトリックスなどのセンサアレイの一部であってもよい。したがって、一例として、センサ要素は、例えばｍ行及びｎ列を有する長方形アレイなどのピクセルのアレイを有することができ、ここでｍ、ｎは独立して正の整数である。好ましくは、複数の列及び複数の行が与えられ、すなわち、ｎ＞１、ｍ＞１である。したがって、一例として、ｎは２～１６以上であり得、ｍは２～１６以上であり得る。好ましくは、行数と列数の比は１に近い。一例として、ｎ及びｍは、ｍ／ｎ＝１：１、４：３、１６：９又は類似のものを選択することなどにより、０．３≦ｍ／ｎ≦３となるように選択され得る。一例として、アレイは、ｍ＝２、ｎ＝２又はｍ＝３、ｎ＝３などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってもよい。
【0041】
マトリックスは独立した光センサなどの独立のピクセルから構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えばＣＣＤ検出器チップなどのＣＣＤ検出器の１つ以上、及び／又はＣＭＯＳ検出器チップなどのＣＭＯＳ検出器を使用することができる。したがって、一般に、光センサは、少なくとも１つのＣＣＤ及び／又はＣＭＯＳ装置であってよく及び／又はそれを含んでもよく、及び／又は、ディスプレイ装置の光センサは、センサアレイを形成するか、又は上記のマトリックスなどのセンサアレイの一部であり得る。
【0042】
マトリックスは、具体的には、少なくとも１行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に方向付けられてよい。本明細書で使用される場合、「実質的に垂直」という用語は、±２０°以下の許容誤差、好ましくは±１０°以下の許容誤差、より好ましくは±５°以下の許容誤差を有する垂直な向きの状態を指す。同様に、「実質的に平行」という用語は、例えば±２０°以下、好ましくは±１０°以下、より好ましくは±５°以下の許容誤差を有する平行な向きの状態を指す。したがって、一例として、２０°より小さい、具体的には１０°より小さい、又は５°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも１０行、好ましくは少なくとも５００行、より好ましくは少なくとも１０００行を有することができる。同様に、マトリックスは、少なくとも１０列、好ましくは少なくとも５００列、より好ましくは少なくとも１０００列を有することができる。マトリックスは、少なくとも５０個の光センサ、好ましくは少なくとも１０００００個の光センサ、より好ましくは少なくとも５００００００個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得るマトリックスの光センサの円形配置又は同心配置が好ましいことがある。
【0043】
したがって、一例として、センサ要素は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、センサ要素は、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それらを含んでいてもよい。一例として、センサ要素は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置の一部であるか、又は、それを構成してもよい。センサ要素は、光センサのマトリックスを読み取るために、ローリングシャッタ方式又はグローバルシャッタ方式を採用してもよい。
【0044】
ディスプレイ装置は、少なくとも１つの転送装置をさらに含むことができる。ディスプレイ装置は、１つ以上の追加の光学要素などの１つ以上の追加の要素をさらに含むことができる。ディスプレイ装置は、少なくとも１つのレンズ及び／又は少なくとも１つのレンズシステムなどの転送装置、少なくとも１つの回折光学素子の群から選択された少なくとも１つの光学要素を含むことができる。「転送システム」とも呼ばれる「転送装置」という用語は、一般に、光ビームのビームパラメータ、光ビームの幅、又は光ビームの方向の１つ以上を変更することによってなど、光ビームを変更するように適合された１つ以上の光学要素を指し得る。転送装置は、光ビームを光センサに導くように適合されてよい。転送装置は、具体的には：少なくとも１つのレンズ、例えば、少なくとも１つの焦点調節可能レンズ、少なくとも１つの非球面レンズ、少なくとも１つの球面レンズ、少なくとも１つのフレネルレンズからなる群から選択される少なくとも１つのレンズ；少なくとも１つの回折光学素子；少なくとも１つの凹面鏡；少なくとも１つのビーム偏向要素、好ましくは少なくとも１つのミラー；少なくとも１つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも１つ；少なくとも１つのマルチレンズシステム、からなる群から選択される少なくとも１つのレンズのうちの１つ以上を含み得る。本明細書で使用される場合、転送装置の「焦点距離」という用語は、転送装置に衝突する可能性がある入射平行光線が「フォーカルポイント(focal point)」とも呼ばれる「焦点(focus)」に集束される距離を指す。したがって、焦点距離は入射光ビームを収束させる転送装置の能力の指標を構成する。したがって、転送装置は、集束レンズの効果を有し得る１つ以上の画像化要素を含むことができる。例として、転送装置は、１つ以上のレンズ、特に１つ以上の屈折レンズ、及び／又は１つ以上の凸面ミラーを有することができる。この例では、焦点距離は、薄い屈折レンズの中心から薄いレンズの主焦点までの距離として定義することができる。凸型又は両凸型の薄レンズなどの、集束する薄い屈折レンズの場合、焦点距離は、正であると考えられ、転送装置としての薄レンズに衝突する平行光が単一のスポットに集束され得る距離を与えることができる。さらに、転送装置は、少なくとも１つの波長選択要素、例えば少なくとも１つの光フィルタを含むことができる。さらに、転送装置は、例えばセンサ領域の位置で、具体的にはセンサエリアで、電磁放射に所定のビームプロファイルを印加するように設計され得る。転送装置の上記の任意の実施形態は、原則として、個別に、又は任意の所望の組み合わせで実現することができる。
【0045】
転送装置は、光軸を有していてよい。具体的には、ディスプレイ装置と転送装置は、共通の光軸を有する。本明細書で使用される場合、「転送装置の光軸」という用語は、一般に、レンズ又はレンズシステムの鏡面対称又は回転対称の軸を指す。ディスプレイ装置の光軸は、ディスプレイ装置の光学構成の対称の線であってよい。ディスプレイ装置は、少なくとも１つの転送装置、好ましくは、少なくとも１つのレンズを有する少なくとも１つの転送システムを有する。転送システムは、一例として、少なくとも１つのビーム経路であって、該ビーム経路内の転送システムの要素が光軸に関して回転対称に配置されているビーム経路を含んでよい。さらに、以下でもさらに詳細に説明されるように、ビーム経路内に配置された１つ以上の光学要素は、光軸に対して中心ズレされているか、又は傾斜していてもよい。しかし、この場合、光軸は、ビーム経路内の光学要素の中心を相互接続することによって、例えば、レンズの中心を相互接続することなどによって、順次定義されてよく、この文脈では、光センサは光学要素として考慮されない。光軸は、一般にビーム経路を示してよい。そこでは、ディスプレイ装置は、光ビームがそれに沿って物体から光センサに進む単一のビーム経路を有してもよく、又は複数のビーム経路を有してもよい。一例として、単一のビーム経路が与えられてもよく、又はビーム経路が２つ以上の部分ビーム経路に分割されてもよい。後者の場合、各部分ビーム経路は、それ自身の光軸を有することができる。光センサは、１つかつ同一のビーム経路又は部分ビーム経路に配置されてよい。代替的に、しかし、光センサはまた、異なる部分ビーム経路に配置されてよい。
【0046】
転送装置は、縦方向座標が光軸に沿った座標であり、ｄが光軸からの空間的オフセットである座標系を構成してよい。座標系は、転送装置の光軸がｚ軸を形成し、ｚ軸からの距離及び極角が追加の座標として使用され得る極座標系であり得る。ｚ軸に平行又は逆平行な方向は、縦方向とみなすことができ、ｚ軸に沿った座標は縦方向座標とみなすことができる。ｚ軸に垂直な任意な方向は、横方向とみなすことができ、極座標及び／又は極角度は横方向座標とみなすことができる。
【0047】
ディスプレイ装置は、ディスプレイ装置の光軸がｚ軸を形成し、さらに、ｚ軸に直交し、互いに直交するｘ軸及びｙ軸が提供された座標系を構成することができる。一例として、ディスプレイ装置及び／又はディスプレイ装置の一部は、この座標系の原点など、この座標系における特定の点に所在し得る。この座標系において、ｚ軸に平行又は逆平行な方向を縦方向と考え、ｚ軸に沿った座標を、縦方向座標とみなすことができる。縦方向に対して垂直な任意の方向を横方向とみなすことができ、ｘ座標及び／又はｙ座標を横方向座標とみなすことができる。
【0048】
代替的に、他のタイプの座標系を使用してよい。したがって、一例として、光軸がｚ軸を形成し、ｚ軸からの距離及び極角が付加的な座標として使用され得る極座標系を使用することができる。同様に、ｚ軸に平行又は逆平行な方向を縦方向とみなすことができ、ｚ軸に沿った座標を縦方向座標とみなすことができる。ｚ軸に対して垂直な任意の方向を横方向とみなすことができ、また極座標及び／又は極角を横方向座標とみなすことができる。
【0049】
光センサは、照射特徴による照射に応答してシーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されている。本明細書で使用される場合、限定されることなく、「画像」という用語は、具体的には、センサ要素のピクセルなどのイメージング装置からの複数の電子読取値など、光センサを使用することによって記録されたデータに関する場合がある。画像自体は、したがって、ピクセルを含み得、画像のピクセルは、センサ要素のマトリックスのピクセルに相関している。したがって、「ピクセル」を参照する場合、センサ要素の単一のピクセルによって生成された画像情報の単位を参照するか、又はセンサ要素の単一のピクセルを直接参照するかのいずれかである。本明細書で使用される場合、「二次元画像」という用語は、一般に、高さ及び幅の寸法のみなどの横方向座標に関する情報を有する画像を指し得る。本明細書で使用される場合、「三次元画像」という用語は、一般に、横方向座標に関する情報ならびに、高さと幅及び深度の寸法などの縦方向座標に関する情報を有する画像を指し得る。本明細書で使用される場合、「反射特徴」という用語は、具体的には少なくとも１つの照射特徴を有する照射に応答してシーンによって生成される画像平面内の特徴を指し得る。
【0050】
ディスプレイ装置は、情報を表示するように構成された少なくとも１つの透光性ディスプレイを備える。本明細書で使用される場合、「透光性」という用語は、光、特に特定の波長範囲の光を通過させるディスプレイの特性を指し得る。照射源及び光センサは、ディスプレイの前方で照射パターンの伝播方向に配置される。照射源と光センサは、互いに対して固定された位置に配置されてよい。例えば、ディスプレイ装置の構成は、光センサとレンズシステムを備えるカメラと、レーザプロジェクタを備えることができる。レーザプロジェクタとカメラは、透光性ディスプレイの背後に、シーンによって反射された光の伝播方向に固定されてよい。レーザプロジェクタは、ドットパターンを生成し、ディスプレイを通して照射してよい。カメラは、ディスプレイを通して写すことができる。しかし、透光性ディスプレイの背後に、シーンによって反射された光の伝播方向に照射源と光センサを配置することは、ディスプレイの回折格子がシーン上及び第１画像内に複数のレーザポイントを生成する結果となり得る。これにより、第１画像上のこれらの複数のスポットは、有用な距離情報が含まない可能性がある。以下に詳細に概説するように、評価装置は、回折格子のゼロ次の反射特徴、すなわち真の特徴を見つけて評価するように構成されてよく、より高次の反射特徴、すなわち偽の特徴を無視することができる。
【0051】
前記ディスプレイ装置は、少なくとも１つの評価装置を含む。評価装置は、第１画像を評価するように構成されている。本明細書でさらに使用される場合、「評価装置」という用語は、一般に、好ましくは少なくとも１つのデータ処理装置を使用することによって、より好ましくは少なくとも１つのプロセッサ及び／又は少なくとも１つの特定用途向け集積回路を使用することによって、指定された操作を行うように適合された任意の装置を指す。したがって、一例として、少なくとも１つの評価装置は、多数のコンピュータコマンドを含んでそこに記憶されたソフトウェアコードを有する少なくとも１つのデータ処理装置を含んでいてもよい。評価装置は、指定された操作の１つ以上を実行するための１つ以上のハードウェア要素を提供してもよく、及び／又は、指定された操作の１つ以上を実行するためにその上で実行されているソフトウェアを有する１つ以上のプロセッサを提供してもよい。操作は、画像を評価することを含む。具体的には、ビームプロファイルを決定し、表面を表示することは、少なくとも１つの評価装置によって実行されてよい。したがって、一例として、１つ以上の命令は、ソフトウェア及び／又はハードウェアで実装されることができる。したがって、例として、評価装置は、上述の評価を実行するように構成された１つ以上のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上のプログラマブル装置から構成されていてもよい。しかしながら、追加的又は代替的に、評価装置はまた、完全に又は部分的にハードウェアによって具現化されてもよい。
【0052】
評価装置及びディスプレイ装置は、完全に又は部分的に単一の装置に統合されてよい。したがって、一般に、評価装置はまたディスプレイ装置の一部を形成してよい。あるいは、評価装置及びディスプレイ装置は、完全に又は部分的に、別個の装置として具現化されてもよい。ディスプレイ装置は、さらなる構成要素を含むことができる。
【0053】
評価装置は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）などの１つ以上の集積回路、及び／又は、１つ以上コンピュータ、好ましくは１つ以上のマイクロコンピュータ、及び／又はマイクロコントローラ、フィールドプログラマブルゲートアレイ、又はデジタル信号プロセッサなどの、１つ以上のデータ処理装置であるか、又はそれらを含んでいてもよい。追加の構成要素、例えば、１つ以上の前処理装置、及び／又は１つ以上のＡＤ変換器及び／又は１つ以上のフィルタなどの、センサ信号の受信及び／又は前処理を行う１つ以上装置などのデータ収集装置が含まれていてもよい。さらに、評価装置は、電流及び／又は電圧を測定するための１つ以上の測定装置などの、１つ以上の測定装置を備えることができる。さらに、評価装置は１つ以上のデータ記憶装置を含むことができる。さらに、評価装置は、１つ以上のインターフェイス、例えば１つ以上の無線インターフェイス及び／又は１つ以上の有線インターフェイスを含むことができる。
【0054】
評価装置は、光センサ及び／又は評価装置によって得られる情報などの情報を、表示すること、視覚化すること、分析すること、配布すること、通信すること、又は、さらに処理することのうちの１つ以上のために使用され得る少なくとも１つのさらなるデータ処理装置に、接続されることができ、又は、それを含むことができる。データ処理装置は、一例として、ディスプレイ、プロジェクタ、モニタ、ＬＣＤ、ＴＦＴ、ラウドスピーカ、マルチチャネルサウンドシステム、ＬＥＤパターン、又は、さらなる視覚化装置うちの少なくとも１つに接続されることができ、又は、それを組み込むことができる。それはさらに、Ｅメール、テキストメッセージ、電話、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、赤外線又はインターネットインターフェイス、ポート又は接続のうちの１つ又は複数を使用して、暗号化された情報又は暗号化されていない情報を送ることができる、通信装置又は通信インターフェイス、コネクタ又はポートのうちの少なくとも１つに、さらに接続されることができ、又はそれを組み込むことができる。それはさらに、プロセッサ、グラフィックプロセッサ、ＣＰＵ、Ｏｐｅｎ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎｓ Ｐｌａｔｆｏｒｍ（ＯＭＡＰ（登録商標））、集積回路、Ａｐｐｌｅ Ａシリーズ又はＳａｍｓｕｎｇ Ｓ３Ｃ２シリーズからの製品などのチップ上のシステム、マイクロコントローラ又はマイクロプロセッサなどのようなシステムオンチップ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、又はフラッシュメモリなどの１つ以上のメモリブロック、発振器もしくは位相同期ループなどのタイミングソース、カウンタタイマ、リアルタイムタイマ、又はパワーオン－リセット－ジェネレーター、電圧調整器、電力管理回路、又はＤＭＡコントローラのうちの少なくとも１つにさらに接続されることができ、又はそれを組み込むことができる。個々のユニットは、さらに、ＡＭＢＡバスなどのバスによって、モノのインターネット又はインダストリー４．０タイプのネットワークに接続され得るか、統合され得る。
【0055】
評価装置及び／又はデータ処理装置は、シリアル又はパラレルのインターフェイス又はポート、ＵＳＢ、Ｃｅｎｔｒｏｎｉｃｓ Ｐｏｒｔ、ＦｉｒｅＷｉｒｅ（登録商標）、ＨＤＭＩ（登録商標）、イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、Ｗｉ－Ｆｉ、ＵＳＡＲＴ、もしくはＳＰＩのうちの１つ以上などのさらなる外部インターフェイス又はポート、あるいは、ＡＤＣ又は、ＤＡＣ、又はＣａｍｅｒａＬｉｎｋのようなＲＧＢインターフェイスを使用して２Ｄカメラ装置のようなさらなる装置への標準化されたインターフェイスもしくはポートのうちの１つ以上などのアナログインターフェイス又はポートによって接続されていてもよく、又はそれらを有していてもよい。評価装置及び／又はデータ処理装置は、プロセッサ間インターフェイスもしくはポート、ＦＰＧＡ－ＦＰＧＡ－インターフェイス、又は、シリアルもしくはパラレルインターフェイスポートのうちの１つ以上によってさらに接続され得る。評価装置及びデータ処理装置は、さらに、光学ディスクドライブ、ＣＤ－ＲＷドライブ、ＤＶＤ＋ＲＷドライブ、フラッシュドライブ、メモリカード、ディスクドライブ、ハードディスクドライブ、ソリッドステートディスク、又はソリッドステートハードディスクのうちの１つ以上に接続され得る。
【0056】
評価装置及び／又はデータ処理装置は、フォンコネクタ、ＲＣＡコネクタ、ＶＧＡコネクタ、雄雌同体コネクタ、ＵＳＢコネクタ、ＨＤＭＩ（登録商標）コネクタ、８Ｐ８Ｃコネクタ、ＢＣＮコネクタ、ＩＥＣ６０３２０ Ｃ１４コネクタ、光ファイバコネクタ、Ｄサブミニチュアコネクタ、ＲＦコネクタ、同軸コネクタ、ＳＣＡＲＴコネクタ、ＸＬＲコネクタのうちの１つ以上などの、１つ以上のさらなる外部コネクタによって接続されていてもよく、又は、それらを有していてもよく、及び／又は、これらのコネクタのうちの１つ以上のための少なくとも１つの適切なソケットを組み込んでいてもよい。
【0057】
評価装置は、第１画像を評価するように構成されている。第１画像の評価は、第１画像の反射特徴を特定することを含んでいる。評価装置は、反射特徴を識別するために、少なくとも１つの画像分析及び／又は画像処理を実行するように構成され得る。画像分析及び／又は画像処理は、少なくとも１つの特徴検出アルゴリズムを使用してよい。画像分析及び／又は画像処理は、以下：フィルタリング；少なくとも１つの関心領域の選択；センサ信号によって生成された画像と少なくとも１つのオフセットとの間の差分画像の形成；センサ信号によって生成された画像を反転することによるセンサ信号の反転；異なる時間にセンサ信号によって生成された画像間の差分画像の形成；背景補正；カラーチャネルへの分解；色相への分解；飽和；輝度チャネル；周波数分解；特異値分解；ブロブ検出器の適用；コーナー検出器の適用；ヘッセフィルタの行列式の適用；主曲率ベースの領域検出器の適用；最大安定極値領域検出器の適用；一般化されたハフ変換の適用；稜線検出器の適用；アフィン不変特徴検出器の適用；アフィン適応の関心点演算子の適用；ハリスアフィン領域検出器の適用；ヘッセアフィン領域検出器の適用；スケール不変特徴変換の適用；スケールスペース極値検出器の適用；局所特徴検出器の適用；高速化堅牢特徴アルゴリズムの適用；勾配位置及び方向のヒストグラムアルゴリズムの適用；方向付けられた勾配記述子のヒストグラムの適用；Ｄｅｒｉｃｈｅエッジ検出器の適用；差動エッジ検出器の適用；時空関心点検出器の適用；モラベックコーナー検出器の適用；キャニーエッジ検出器の適用；ガウスフィルタのラプラス演算子の適用；差分ガウスフィルタの適用；ソーベル（Ｓｏｂｅｌ）演算子の適用；ラプラス演算子の適用；シャール演算子の適用；プレウィット演算子の適用；ロバーツ演算子の適用；キルシュ演算子の適用；ハイパスフィルタの適用；ローパスフィルタの適用；フーリエ変換の適用；ラドン変換の適用；ハフ変換の適用；ウェーブレット変換の適用；閾値処理；バイナリ画像の生成、のうちの１つ以上を含み得る。関心領域は、ユーザが手動で決定してもよく、又は、光センサによって生成された画像内の特徴を認識するなどによって、自動的に決定されてもよい。
【0058】
例えば、照射源は、複数の照射領域が、光センサ、例えばＣＭＯＳ検出器上に生成されるように、点群を生成及び／又は投影するように構成されてよい。さらに、例えばスペックル及び／又は外来光及び／又は多重反射によるなどの外乱が、光センサに存在し得る。評価装置は、少なくとも１つの関心領域、例えば、物体の縦方向座標の決定に使用される光ビームによって照射される１つ以上のピクセルを、決定するように適合され得る。例えば、評価装置は、フィルタリング方法、例えば、ブロブ分析及び／又はエッジフィルタ及び／又は物体認識方法を実行するように適合されてよい。
【0059】
評価装置は、少なくとも１つの画像補正を行うように構成されてよい。画像補正は、少なくとも１つの背景減算を含み得る。評価装置は、例えば、さらなる照射なしの画像化によって、ビームプロファイルから背景光からの影響を除去するように適合されてよい。
【0060】
反射特徴の各々は、少なくとも１つのビームプロファイルを含む。本明細書で使用される場合、反射特徴の「ビームプロファイル」という用語は、一般に、ピクセルの機能としての、光センサ上の光スポットなどの反射特徴の少なくとも１つの強度分布を指し得る。ビームプロファイルは、台形ビームプロファイル；三角形ビームプロファイル；円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置は、ビームプロファイルの分析により、反射特徴の各々に関するビームプロファイルの情報を決定するように構成される。
【0061】
評価装置は、ビームプロファイルの分析によって各反射特徴の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている。本明細書で使用される場合、「ビームプロファイルの分析」という用語は、一般に、ビームプロファイルの評価を指し得、少なくとも１つの数学演算、及び／又は少なくとも１つの比較、及び／又は少なくとも１つの対称化、及び／又は少なくとも１つのフィルタリング、及び／又は少なくとも１つの正規化を含んでよい。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも１つを含み得る。評価装置は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び／又は正規化及び／又はフィルタリングするように構成されることができる。評価装置は、空間周波数分析及び／又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行されてよく、中心までの同じ距離にある全ての強度を平均化することができる。評価装置は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置は、例えば、照射なしの画像化によって、ビームプロファイルから背景光の影響を除去するように構成されてもよい。
【0062】
反射特徴は、少なくとも１つの画像のピクセルをカバーするか、又はその上に延びていてもよい。例えば、反射特徴は、複数のピクセルをカバーするか、又は複数のピクセルにわたって延在してもよい。評価装置は、反射特徴、例えば光スポットに接続及び／又は属する全てのピクセルを決定及び／又は選択するように構成されていてもよい。評価装置は、強度の中心を、
によって決定するように構成されてよく、ここで、Ｒｃｏｉは強度の中心位置、ｒｐｉｘｅｌはピクセル位置、及び
はｊが反射特徴に接続及び／又は属するピクセル数ｊ、Ｉｔｏｔａｌは総強度である。
【数1】
【数2】
【0063】
評価装置は、ビームプロファイル分析とも呼ばれる、光子比からの深度技術を使用することによって、反射特徴のそれぞれについて縦方向座標ｚＤＰＲを決定するように構成され得る。光子比からの深度（ＤＰＲ）技術に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１が参照され、その全内容は参照により含まれるものとする。
【0064】
評価装置は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。本明細書で使用される場合、「ビームプロファイルを決定する」という用語は、光センサによって提供される少なくとも１つの反射特徴を識別すること、及び／又は光センサによって提供される少なくとも１つの反射特徴を選択すること、及び反射特徴の少なくとも１つの強度分布を評価することを指す。一例として、マトリックスの領域は、マトリックスを通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも１つのピクセルを決定することなどにより決定され得、断面軸が照射の中心を通して選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
【0065】
反射特徴の１つのビームプロファイルの分析は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定することを含み得る。ビームプロファイルの第１エリアは、エリアＡ１であり得、ビームプロファイルの第２エリアは、エリアＡ２であり得る。評価装置は、第１エリアと第２エリアとを積分するように構成されてもよい。評価装置は、積分された第１エリア及び積分された第２エリアを除算すること、積分された第１エリア及び積分された第２エリアの倍数を除算すること、積分された第１エリア及び積分された第２エリアの線形結合を除算することの１つ以上によって、結合信号、特に商Ｑを導出するように構成され得る。評価装置は、ビームプロファイルの少なくとも２つのエリアを決定するように、及び／又はビームプロファイルをビームプロファイルの異なるエリアを有する少なくとも２つのセグメントに分割するように構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置は、２つ、３つ、４つ、５つ、又は最大１０個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置は、光スポットをビームプロファイルの少なくとも２つのエリアに分割するように、及び／又は、ビームプロファイルをビームプロファイルの異なるエリアを含む少なくとも２つのセグメントに分割するように構成されてよい。評価装置は、少なくとも２つのエリアについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置は、決定された積分の少なくとも２つを比較するように構成されてよい。具体的には、評価装置は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定するように構成されてよい。本明細書で使用される場合、「ビームプロファイルのエリア」という用語は、一般に、商Ｑを決定するために使用される光センサ位置におけるビームプロファイルの任意の領域を指す。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、領域が一致していなくてよい。例えば、評価装置は、ＣＭＯＳセンサのセンサ領域を少なくとも２つのサブ領域に分割するように構成されてよく、評価装置は、ＣＭＯＳセンサのセンサ領域を、少なくとも１つの左側部分と少なくとも１つの右側部分、及び／又は少なくとも１つの上部分と少なくとも１つの下部分、及び／又は少なくとも１つの内部分と少なくとも１つの外部分、とに分割するように構成され得る。追加的又は代替的に、ディスプレイ装置は、少なくとも２つの光センサを備えてよく、第１光センサ及び第２光センサの感光エリアは、第１光センサが反射特徴のビームプロファイルの第１エリアを決定するよう適合され、第２光センサが反射特徴のビームプロファイルの第２エリアを決定するよう適合されるように配置され得る。評価装置は、第１エリアと第２エリアとを統合するように適合されてよい。評価装置は、縦方向座標を決定するために、商Ｑと縦方向座標の間の少なくとも１つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0066】
ビームプロファイルの第１エリアは、ビームプロファイルのエッジ情報を実質的に含んでよく、ビームプロファイルの第２エリアは、ビームプロファイルの中心情報を実質的に含んでよく、及び／又は、ビームプロファイルの第１エリアは、ビームプロファイルの左側部分に関する情報を実質的に含み、ビームプロファイルの第２エリアはビームプロファイルの右側部分に関する情報を実質的に含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び／又はビームプロファイルのプラトーの中心点及び／又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第２領域は、断面の内側領域を含んでよく、第１領域は、断面の外側領域を含んでよい。本明細書で使用される場合、「実質的に中心情報」という用語は、一般に、中心情報の割合、すなわち中心に対応する強度分布の割合と比較して、エッジ情報の割合が低いこと、すなわちエッジに対応する強度分布の割合が低いことを指す。好ましくは、中心情報は、１０％未満、より好ましくは５％未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。本明細書で使用される場合、「実質的にエッジ情報」という用語は、一般に、エッジ情報の割合と比較して、中心情報の割合が低いことを指す。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、１０％未満、好ましくは５％未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも１つのエリアは、ビームプロファイルの第２エリアとして決定及び／又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも１つのエリアは、ビームプロファイルの第１エリアとして決定及び／又は選択されてよい。例えば、断面の全エリアが第１領域として決定されてよい。
【0067】
第１エリアＡ１及び第２エリアＡ２の他の選択も実現可能であり得る。例えば、第１エリアは、ビームプロファイルの実質的に外側領域を含み、第２エリアは、ビームプロファイルの実質的に内側領域を含み得る。例えば、二次元ビームプロファイルの場合、ビームプロファイルは左側部分と右側部分に分割されることができ、そこでは、第１エリアはビームプロファイルの左側部分のエリアを実質的に含み、第２エリアはビームプロファイルの右側部分のエリアを実質的に含んでよい。
【0068】
エッジ情報は、ビームプロファイルの第１エリアにおける光子数に関する情報を含み、中心情報は、ビームプロファイルの第２エリアにおける光子数に関する情報を含み得る。評価装置は、ビームプロファイルの面積分を決定するように構成されてよい。評価装置は、第１エリアの積分及び／又は加算によってエッジ情報を決定するように構成されてよい。評価装置は、第２エリアの積分及び／又は加算によって中心情報を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は台形の積分を決定するように構成されてよい。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、並びに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
【0069】
一実施形態では、Ａ１は、光センサ上の特徴点の全体又は完全なエリアに対応し得る。Ａ２は、光センサ上の特徴点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、特徴点の全エリアと比べてより小さくてもよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の０．１～０．９、好ましくは全半径の０．４～０．６の半径を有してよい。
【0070】
一実施形態では、照射パターンは、少なくとも１つの線パターンを含んでいてよい。Ａ１は、光センサ上の、特に光センサの感光エリア上の線パターンの全線幅を有するエリアに対応してもよい。光センサ上の線パターンは、光センサ上の線幅が増幅するように、照射パターンの線パターンと比較して拡大及び／又は変位されてもよい。特に、光センサのマトリックスの場合には、光センサ上の線パターンの線幅は、ある列から別の列へと変化してもよい。Ａ２は、光センサ上の線パターンの中心エリアであってよい。中心エリアの線幅は一定の値であってもよく、特に照射パターンの線幅に対応していてもよい。中心エリアの線幅は、全体の線幅に比べて小さくてもよい。例えば、中心エリアは、全線幅の０．１～０．９、好ましくは全線幅の０．４～０．６の線幅を有していてよい。線パターンは、光センサ上でセグメント化されていてよい。光センサのマトリックスの各列は、線パターンの中心エリアの強度の中心情報と、線パターンの中心エリアからエッジ領域までさらに外側に延びる領域からの強度のエッジ情報を含むことができる。
【0071】
一実施形態では、照射パターンは、少なくとも１つの点パターンを含んでいてよい。Ａ１は、光センサ上の点パターンの点の全半径を有するエリアに対応し得る。Ａ２は、光センサ上の点パターンの点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、全半径と相当する半径を有することができる。例えば、中心エリアは、全半径の０．１～０．９、好ましくは全半径の０．４～０．６の半径を有することができる。
【0072】
照射パターンは、少なくとも１つの点パターンと少なくとも１つの線パターンの両方を含むことができる。線パターン及び点パターンに加えて、又は代替として、他の実施形態も実現可能である。
【0073】
評価装置は、第１エリアと第２エリアを除算すること、第１エリアと第２エリアの倍数を除算すること、第１エリアと第２エリアの線形結合を除算することのうちの１つ以上によって商Ｑを導出するように構成されてよい。評価装置は、
によって商Ｑを導出するように構成されてよく、
式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【数3】
式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【0074】
追加的に又は代替的に、評価装置は、光スポットの少なくとも１つのスライス又はカットから、中心情報又はエッジ情報の一方又は両方を決定するように適合されてもよい。これは、例えば、商Ｑの面積分をスライス又はカットに沿った線積分で置き換えることによって実現され得る。精度を向上させるために、光スポットを通るいくつかのスライス又はカットを使用して平均してもよい。楕円形のスポットプロファイルの場合、いくつかのスライス又はカットにわたって平均化すると、改善された距離情報が得られ得る。
【0075】
例えば、ピクセルのマトリックスを有する光センサの場合、評価装置は、
－ 最高のセンサ信号を有するピクセルを決定し、少なくとも１つの中心信号を形成することと；
－ マトリックスのセンサ信号を評価し、少なくとも１つの和信号を形成することと；
－ 中心信号と和信号を結合させることによって商Ｑを決定することと；
－ 商Ｑを評価することにより、物体の少なくとも１つの縦方向座標ｚを決定することと、
によって、ビームプロファイルを評価するように構成されてよい。
－ 最高のセンサ信号を有するピクセルを決定し、少なくとも１つの中心信号を形成することと；
－ マトリックスのセンサ信号を評価し、少なくとも１つの和信号を形成することと；
－ 中心信号と和信号を結合させることによって商Ｑを決定することと；
－ 商Ｑを評価することにより、物体の少なくとも１つの縦方向座標ｚを決定することと、
によって、ビームプロファイルを評価するように構成されてよい。
【0076】
本明細書で使用される場合、「センサ信号」は、一般に、照射に応答して光センサ及び／又は光センサの少なくとも１つのピクセルによって生成される信号を指す。具体的には、センサ信号は、少なくとも１つのアナログ電気信号及び／又は少なくとも１つのデジタル電気信号などの少なくとも１つの電気信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも１つの電圧信号及び／又は少なくとも１つの電流信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも１つの光電流を含み得る。さらに、未処理のセンサ信号が使用されるか、又は、ディスプレイ装置、光センサ、又はその他の要素が、センサ信号を処理又は前処理し、それによってセンサ信号としても使用できる二次センサ信号を生成するように適合されてもよい。「中心信号」という用語は、一般に、ビームプロファイルの実質的に中心情報を含む少なくとも１つのセンサ信号を指す。本明細書で使用される場合、「最高のセンサ信号」という用語は、関心領域の局所最大値又は最大値の一方又は両方を指す。例えば、中心信号は、マトリックス全体又はマトリックス内の関心領域のピクセルによって生成された複数のセンサ信号のうち、最高のセンサ信号を有するピクセルの信号であり得、該関心領域は、マトリックスのピクセルによって生成される画像内で予め決定された、又は決定可能であり得る。中心信号は、単一のピクセルから、又は光センサの一群から生じ得、後者の場合、一例として、ピクセルの一群のセンサ信号は、中心信号を決定するために、加算、積分、又は平均化され得る。中心信号が生じるピクセルの一群は、例えば、最高のセンサ信号を有する実際のピクセルから所定距離より短く離れたピクセルなどの隣接するピクセルの一群であり得、又は、最高のセンサ信号から所定の範囲内にあるセンサ信号を生成するピクセルの一群であり得る。中心信号が生じるピクセルの一群は、最大のダイナミックレンジを可能にするように、できるだけ大きく選択され得る。評価装置は、複数のセンサ信号、例えば最高のセンサ信号を有するピクセルの周りの複数のピクセルを統合することによって中心信号を決定するように適合されてもよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は、台形の積分、特に台形のプラトーの積分を決定するように適合されてよい。
【0077】
上述したように、中心信号は、一般に、光スポットの中心にあるピクセルからのセンサ信号などの単一のセンサ信号であってもよいし、又は、光スポットの中心にあるピクセルから生じるセンサ信号の組み合せなど、複数のセンサ信号の組み合せであってもよいし、又は、前述の可能性の１つ以上から導出されるセンサ信号を処理することによって導出される二次センサ信号であってもよい。中心信号の決定は、センサ信号の比較が従来の電子機器によってかなり簡単に実施されるため、電子的に実行されてもよく、又は、ソフトウェアによって完全に又は部分的に実行されてもよい。具体的には、中心信号は、最高のセンサ信号；最高のセンサ信号から所定の許容範囲内にあるセンサ信号の一群の平均；最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの所定の一群からのセンサ信号の平均；最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの所定の一群からのセンサ信号の合計；最高のセンサ信号から所定の許容範囲内にあるセンサ信号の一群の合計；所定の閾値を超えるセンサ信号の一群の平均；所定の閾値を超えるセンサ信号の一群の合計；最高のセンサ信号を有する光センサを含む光センサの一群、及び隣接するピクセルの所定の一群からのセンサ信号の積分；最高のセンサ信号から所定の許容範囲内にあるセンサ信号の一群の積分；所定の閾値を超えるセンサ信号の一群の積分、からなる群から選択され得る。
【0078】
同様に、「和信号」という用語は、一般に、ビームプロファイルの実質的にエッジ情報を含む信号を指す。例えば、和信号は、マトリックス全体又はマトリックス内の関心領域のセンサ信号を加算すること、センサ信号を積分すること、又はセンサ信号を平均することによって導出することができ、該関心領域は、マトリックスの光センサによって生成される画像内で予め決定された、又は決定可能である。センサ信号を合計、積分、又は平均化する場合、センサ信号が生成される実際の光センサは、加算、積分、又は平均化から除外されてもよく、あるいは、加算、積分、又は平均化に含まれてもよい。評価装置は、マトリックス全体の、又はマトリックス内の関心領域の信号を積分することにより、和信号を決定するように適合され得る。例えば、ビームプロファイルは台形ビームプロファイルであり得、評価装置は、台形全体の積分を決定するように適合され得る。さらに、台形ビームプロファイルが想定される場合、エッジ信号と中心信号の決定は、傾斜とエッジの位置及び中心プラトーの高さの決定など、台形ビームプロファイルの特性を利用し、そして幾何学的考察によってエッジ信号と中心信号を導出する等価評価に置き換えることができる。
【0079】
同様に、中心信号及びエッジ信号はまた、例えばビームプロファイルの円形セグメントなどのビームプロファイルのセグメントを使用することによって決定され得る。例えば、ビームプロファイルは、ビームプロファイルの中心を通過しない分割線又は弦によって２つのセグメントに分割され得る。したがって、一方のセグメントは実質的にエッジ情報を含み、他方のセグメントは実質的に中心情報を含むことになる。例えば、中心信号中のエッジ情報の量をさらに減らすために、エッジ信号が中心信号からさらに減算されてもよい。
【0080】
商Ｑは、中心信号と和信号を結合して生成される信号であってよい。具体的には、決定は、中心信号と和信号の商、又はその逆の商を形成すること；中心信号の倍数と和信号の倍数の商、又はその逆の商を形成すること；中心信号の線形結合と、和信号の線形結合の商、又はその逆の商を形成すること、のうちの１つ以上を含み得る。追加的に又は代替的に、商Ｑは、中心信号と和信号の間の比較に関する少なくとも１つの情報項目を含む任意の信号又は信号の結合を含むことができる。
【0081】
本明細書で使用される場合、「物体の縦方向座標」という用語は、光センサと物体の間の距離を指す。評価装置は、縦方向座標を決定するために、商Ｑと縦方向座標の間の少なくとも１つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの所定の関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0082】
評価装置は、ゼロ次及び高次の全ての反射特徴について距離を計算する少なくとも１つの光子比からの深度アルゴリズムを実行するように構成されてよい。
【0083】
第１画像の評価は、識別された反射特徴を輝度に関してソートすることを含む。本明細書で使用される場合、「ソートする」という用語は、輝度に関してさらなる評価のために反射特徴のシーケンスを割り当てること、特に、最大の輝度を有する反射特徴から始めて、続いて、輝度が減少する反射特徴を割り当てることを指し得る。本明細書で使用される場合、「輝度」という用語は、第１画像における反射特徴の大きさ、及び／又は第１画像における反射特徴の強度を指し得る。輝度は、可視スペクトル範囲又は赤外線スペクトル範囲などの定義されたパスバンドを指してもよく、又は波長非依存であってもよい。減少する輝度によるソートは、減少する輝度に従ってソートすること、及び／又は減少する輝度に関してソートすることを指し得る。ＤＰＲの計算のために最も明るい反射特徴が優先される場合は、縦方向座標ｚＤＰＲの決定の堅牢性を高めることができる。これは主に、回折格子のゼロ次を有する反射特徴が、より高次を有する偽の特徴よりも常に明るいためである。
【0084】
評価装置は、縦方向座標ｚＤＰＲ使用することによって、反射特徴と対応する照射特徴とを明確にマッチングするように構成されている。光子比からの深度技術を用いて決定された縦方向座標は、いわゆる対応問題を解決するために用いられることができる。そのようにして、反射特徴ごとの距離情報は、既知のレーザプロジェクタグリッドの対応関係を見出すために使用され得る。本明細書で使用される場合、「マッチング」という用語は、対応する照射特徴及び反射特徴を決定及び／又は評価することを指す。本明細書で使用される場合、「対応する照射特徴と反射特徴」という用語は、照射パターンの照射特徴のそれぞれがシーンにおいて反射特徴を生成するという事実を指し得、生成された反射特徴は、当該反射特徴を生成した照射特徴に割り当てられる。
【0085】
本明細書で使用される場合、「明確にマッチングする」という用語は、１つの反射特徴のみが１つの照射特徴に割り当てられること、及び／又は、他の反射特徴が同じマッチングした照射特徴に割り当てられることがないことを指し得る。
【0086】
反射特徴に対応する照射特徴は、エピポーラ幾何学を使用して決定され得る。エピポーラ幾何学の説明については、例えば、Ｘ．Ｊｉａｎｇ，Ｈ．Ｂｕｎｋｅ：“Ｄｒｅｉｄｉｍｅｎｓｉｏｎａｌｅｓ Ｃｏｍｐｕｔｅｒｓｅｈｅｎ”シュプリンガー、ベルリンハイデルベル，１９９７年の第２章を参照されたい。エピポーラ幾何学では、照射画像、すなわち、歪みのない照射パターン、及び第１画像は、異なる空間位置及び／又は固定距離を有する空間方向で決定された画像であり得ると想定することができる。距離は、ベースラインとも呼ばれる相対距離であり得る。照射画像は、参照画像としても示される場合がある。評価装置は、参照画像内のエピポーラ線を決定するように適合されてよい。参照画像と第１画像の相対位置は既知であり得る。例えば、参照画像と第１画像の相対位置は、評価装置の少なくとも１つの記憶ユニットに記憶されてよい。評価装置は、第１画像の選択された反射特徴からそれが発する現実世界の特徴へ延びる直線を決定するように適合され得る。したがって、直線は、選択された反射特徴に対応する、可能な物体特徴を含み得る。直線とベースラインはエピポーラ平面を展開する。参照画像が第１画像とは異なる相対的配置で決定されるため、対応する可能な物体の特徴は、参照画像内のエピポーラ線と呼ばれる直線上に画像化され得る。エピポーラ線は、エピポーラ平面と参照画像の交差であり得る。したがって、第１画像の選択された特徴に対応する参照画像の特徴は、エピポーラ線上に位置する。
【0087】
照射特徴を反射したシーンの物体までの距離に応じて、照射特徴に対応する反射特徴は、第１画像内で変位され得る。参照画像は、選択された反射特徴に対応する照射特徴が画像化されるであろう少なくとも１つの変位領域を含んでよい。変位領域は、１つの照射特徴のみを含んでいてよい。変位領域は、複数の照射特徴を含んでいてもよい。変位領域は、エピポーラ線又はエピポーラ線の一部を含むことができる。変位領域は、複数のエピポーラ線又は複数のエピポーラ線の複数の部分を含むことができる。変位領域は、エピポーラ線に沿って延在してもよく、エピポーラ線に直交して延在してもよく、又はその両方であってもよい。評価装置は、エピポーラ線に沿って照射特徴を決定するように適合されてよい。評価装置は、ｚ±εに対応するエピポーラ線に沿った変位領域又はエピポーラ線に直交する変位領域を決定するために、結合信号Ｑから反射特徴に対する縦方向座標ｚ及び誤差間隔±εを決定するように適合されていてよい。結合信号Ｑを用いた距離測定の測定不確実性は、測定不確実性が方向によって異なる可能性があるため、第２画像において非円形の変位領域をもたらす可能性がある。具体的には、１つ又は複数のエピポーラ線に沿った測定不確実性は、当該１つ又は複数のエピポーラ線に対して直交する方向における測定不確実性よりも大きくなる可能性がある。変位領域は、１つ又は複数のエピポーラ線に関して直交する方向の拡張を含んでいてよい。評価装置は、選択された反射特徴を変位領域内の少なくとも１つの照射特徴にマッチングするように適合されてよい。評価装置は、決定された縦方向座標ｚＤＰＲを考慮した少なくとも１つの評価アルゴリズムを使用することによって、第１画像の選択された特徴を変位領域内の照射特徴と一致させるように適合されてよい。評価アルゴリズムは、線形スケーリングアルゴリズムであってよい。評価装置は、変位領域に最も近い、及び／又は変位領域内のエピポーラ線を決定するように適合され得る。評価装置は、反射特徴の画像位置に最も近いエピポーラ線を決定するように適合され得る。エピポーラ線に沿った変位領域の範囲は、エピポーラ線に直交する変位領域の範囲よりも大きいことがあり得る。評価装置は、対応する照射特徴を決定する前に、エピポーラ線を決定するように適合され得る。評価装置は、各反射特徴の画像位置の周りの変位領域を決定し得る。評価装置は、例えば、変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることなどにより、反射特徴の各画像位置の各変位領域にエピポーラ線を割り当てるように適合され得る。評価装置は、割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を決定することによって、反射特徴に対応する照射特徴を決定するように適合され得る。
【0088】
追加的に又は代替的に、評価装置は以下のステップ：
－ 各反射特徴の画像位置に対する変位領域を決定するステップと；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることによるなど、各反射特徴の変位領域にエピポーラ線を割り当てるステップと；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を割り当てることによるなど、各反射特徴に少なくとも１つの照射特徴を割り当て及び／又は決定するステップと、
を実行するように構成されてもよい。
－ 各反射特徴の画像位置に対する変位領域を決定するステップと；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることによるなど、各反射特徴の変位領域にエピポーラ線を割り当てるステップと；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を割り当てることによるなど、各反射特徴に少なくとも１つの照射特徴を割り当て及び／又は決定するステップと、
を実行するように構成されてもよい。
【0089】
追加的に又は代替的に、評価装置は、例えば反射特徴及び／又は照射画像内のエピポーラ線の距離を比較することによって、及び／又は、照射特徴のε加重距離及び／又は照射画像内のエピポーラ線の誤差加重距離を比較することにより、そして、より短い距離及び／又はε加重距離のエピポーラ線及び／又は照射特徴を、照射特徴及び／又は反射特徴に割り当てられることなどにより、複数のエピポーラ線及び／又は反射特徴に割り当てられる照射特徴の間で決定するように適合されていてもよい。
【0090】
上述したように、回折格子により、複数の反射特徴、例えば、各照射特徴について１つの真の特徴と複数の偽の特徴が生成される。マッチングは、最も明るい反射特徴から始めて、反射特徴の輝度を減少させながら行われる。同じマッチングされた照射特徴には他の反射特徴は割り当てることはできない。ディスプレイのアーチファクトのため、生成される偽の特徴は一般に真の特徴よりも暗い。反射特徴を輝度によってソートすることにより、対応マッチングにはより明るい反射特徴が優先される。照射特徴の対応が既に使われている場合、偽の特徴は、使われた、つまりマッチングした照射特徴に割り当てることができない。
【0091】
評価装置は、照射特徴とマッチングした反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成される。本明細書で使用される場合、「分類する」という用語は、反射特徴を少なくとも１つのカテゴリに割り当てることを指し得る。本明細書で使用される場合、「真の特徴」という用語は、回折格子のゼロ次の反射特徴を指し得る。本明細書で使用される場合、「偽の特徴」という用語は、高次の回折格子の反射特徴、すなわち、次数≧１の反射特徴を指し得る。回折格子のゼロ次は、高次の偽の特徴より常に明るい。
【0092】
評価装置は、偽の特徴を排除し、縦方向座標ｚＤＰＲを使用することによって、真の特徴のための深度マップを生成するように構成される。本明細書で使用される場合、「深度」という用語は、物体と光センサとの間の距離を指し得、縦方向座標によって与えられ得る。本明細書で使用される場合、「深度マップ」という用語は、深度の空間分布を指し得る。ディスプレイ装置は、シーン、例えば顔から３Ｄマップを生成するために使用されてよい。
【0093】
構造化光法は、通常、カメラと、微細な点格子、例えば数千点を有するプロジェクタを使用する。よく知られたプロジェクタパターンが、シーン上の点パッチの対応を見つけるために使用される。距離情報は、点の対応が解決されていれば、三角測量によって得られる。カメラがディスプレイの背後にある場合、回折によって画像は空間的に歪む。そのため、歪んだ画像上で点パターンを見出だすことは困難な作業である。構造化光法と比較して、本発明は、ディスプレイの回折格子による影響を直接的に受けないビームプロファイルを評価するために、深度から光子比技術を使用することを提案する。歪みはビームプロファイルに影響しない。
【0094】
深度マップは三角測量、及び／又はデフォーカスからの深度及び／又は構造化光などのさらなる深度測定技術を使用することによってさらに精密化されることができる。評価装置は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光技術を使用して、反射特徴のそれぞれについて少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成されてよい。
【0095】
評価装置は、照射特徴と反射特徴の変位を決定するように適合されてよい。評価装置は、マッチングされた照射特徴と、選択された反射特徴の変位を決定するように適合されてよい。評価装置、例えば評価装置の少なくとも１つのデータ処理装置は、特に照射画像及び第１画像のそれぞれの画像位置を比較することによって、照射特徴及び反射特徴の変位を決定するように構成されてよい。本明細書で使用される場合、「変位」という用語は、照射画像における画像位置と第１画像における画像位置との間の差を指す。評価装置は、第２縦方向座標と変位との間の所定の関係を使用することによって、マッチングした特徴の第２縦方向座標を決定するように適合されてよい。評価装置は、三角測量法を使用することによって所定の関係を決定するように適合され得る。第１画像内の選択された反射特徴の位置と、マッチングした照射特徴の位置、及び／又は、選択された反射特徴とマッチングした照射特徴の相対変位が既知である場合、対応する物体特徴の縦方向座標は、三角測量によって決定され得る。したがって、評価装置は、例えば後続及び／又は列ごとに、反射特徴を選択するように適合することができ、照射特徴の各潜在的位置について三角測量を使用して対応する距離値を決定するように適合され得る。変位及び対応する距離値は、評価装置の少なくとも１つの記憶装置に記憶され得る。評価装置は、一例として、少なくとも１つのプロセッサ、少なくとも１つのＤＳＰ、少なくとも１つのＦＰＧＡ及び／又は少なくとも１つのＡＳＩＣなどの少なくとも１つのデータ処理装置を含むことができる。さらに、第２縦方向座標ｚと変位との間の少なくとも１つの予め決定された又は決定可能な関係を記憶するために、所定の関係を記憶するための１つ以上のルックアップテーブルを提供するなど、少なくとも１つのデータ記憶装置が提供され得る。評価装置は、カメラ及び／又はディスプレイ装置の内因性及び／又は外因性の較正のためのパラメータを記憶するように適合され得る。評価装置は、ツァイカメラ較正を実行するなどによって、カメラ及び／又はディスプレイ装置の内因性及び／又は外因性の較正のためのパラメータを生成するように適合され得る。評価装置は、転送装置の焦点距離、放射レンズの歪み係数、放射レンズの歪みの中心座標、走査とデジタル化のハードウェアタイミングの不完全性に起因する不確実性を説明するためのスケールファクタ、世界座標とカメラ座標間の変換の回転角度、世界座標とカメラ座標間の変換の並進コンポーネント、開口角、イメージセンサ形式、主点、スキュー係数、カメラ中心、カメラ向き、ベースライン、カメラ及び／又は照射源間の回転又は並進パラメータ、開口部、焦点距離などの、パラメータを計算及び／又は推定するように適合され得る。
【0096】
評価装置は、第２縦方向座標ｚｔｒｉａｎｇと縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成されてよい。結合縦方向座標は、第２縦方向座標ｚｔｒｉａｎｇと縦方向座標ｚＤＰＲの平均値であり得る。結合縦方向座標は、深度マップの決定のために使用されることができる。
【0097】
ディスプレイ装置は、さらなる照射源を含んでいてよい。さらなる照射源は、少なくとも１つの発光ダイオード（ＬＥＤ）を含み得る。さらなる照射源は、視覚的スペクトル範囲内の光を生成するように構成されてよい。光センサは、シーンの少なくとも１つの二次元画像を含む少なくとも１つの第２画像を決定するように構成されてよい。さらなる照射源は、第２画像の画像化のための追加の照射を提供するように構成されてよい。例えば、ディスプレイ装置の構成は、追加のフラッド照射ＬＥＤによって拡張されることができる。さらなる照射源は、ＬＥＤを用いて、特に、照射パターンなしで、顔などのシーンを照射してよく、また、光センサは、二次元画像をキャプチャするように構成されてよい。二次元画像は、顔検出及び検証アルゴリズムに使用され得る。ディスプレイのインパルス応答が既知である場合、光センサによってキャプチャされた歪んだ画像は修復されることができる。評価装置は、回折格子関数ｇで第２画像Ｉ（Ｉ＝Ｉ０＊ｇ）をデコンボリューションすることによって、少なくとも１つの補正された画像Ｉ０を決定するように構成されてよい。回折格子関数は、インパルス応答とも呼ばれる。歪みのない画像は、デコンボリューションアプローチ、例えば、Ｖａｎ－Ｃｉｔｔｅｒｔ又はＷｉｅｎｅｒデコンボリューションによって復元され得る。ディスプレイ装置は、
を決定するように構成されてよい。例えば、ディスプレイ装置は、小さな単一の輝点を含む照射パターンで黒いシーンを照射するように構成されてよい。キャプチャされた画像は、回折格子関数であり得る。この手順は、キャリブレーション中など、１度だけ実行され得る。ディスプレイを通した画像化であっても補正された画像を決定するために、ディスプレイ装置は、画像をキャプチャするように構成され、キャプチャされたインパルス応答ｇによるデコンボリューションアプローチを使用する。結果として得られる画像は、ディスプレイのアーチファクトが少ない再構成画像であり得、例えば顔認識などのいくつかのアプリケーションに使用されることができる。
【数4】
【0098】
評価装置は、反射特徴の少なくとも１つのビームプロファイル、好ましくは複数の反射特徴のビームプロファイルを評価することによって、物体の少なくとも１つの材料特性ｍを決定するように構成され得る。ビームプロファイルを評価することによって少なくとも１つの材料特性を決定することの詳細に関しては、ＷＯ２０２０／１８７７１９を参照し、その内容は参照により含まれるものとする。
【0099】
本明細書で使用される場合、「材料特性」という用語は、材料の特徴付け及び／又は識別及び／又は分類のために構成された、材料の少なくとも１つの任意の特性を指す。例えば、材料特性は、粗さ、材料への光の透過深度、生物学的材料又は非生物学的材料として材料を特徴付ける特性、反射率、鏡面反射率、拡散反射率、表面特性、透光性の尺度、散乱、具体的には、後方散乱挙動などからなる群から選択される特性であってよい。少なくとも１つの材料特性は、散乱係数、透光性、透明性、ランバート表面反射からの偏差、スペックルなどからなる群から選択される特性であってもよい。本明細書で使用される場合、「少なくとも１つの材料特性を識別する」という用語は、材料特性を決定すること、材料特性を物体に割り当てることの１つ以上を指す。評価装置は、予め定義された及び／又は予め決定された材料特性のルックアップリスト及び／又はルックアップテーブルなどのリスト及び／又はテーブルを含む少なくとも１つのデータベースを含んでよい。材料特性のリスト及び／又はテーブルは、本発明によるディスプレイ装置を使用して少なくとも１つの試験測定を行うことにより、例えば既知の材料特性を有するサンプルを使用して材料試験を行うことにより、決定及び／又は生成されることができる。材料特性のリスト及び／又はテーブルは、製造業者サイトで、及び／又はディスプレイ装置のユーザによって、決定及び／又は生成されることができる。材料特性は、例えば、材料名、生物学的材料又は非生物学的材料などの材料グループ、透光性材料又は非透光性材料、金属又は非金属、皮膚又は非皮膚、毛皮又は非毛皮、カーペット又は非カーペット、反射性又は非反射性、鏡面反射性又は非鏡面反射性、泡又は非泡、毛髪又は非毛髪、粗さグループなどの１つ以上などの材料分類にさらに割り当てられてよい。評価装置は、材料特性及び関連する材料名及び／又は材料グループを含むリスト及び／又はテーブルを含む少なくとも１つのデータベースを含んでよい。
【0100】
例えば、この理論に拘束されることを望まないが、人間の皮膚は、表面反射と呼ばれる表面の逆反射によって生成される部分と、逆反射の拡散部分と呼ばれる皮膚を透過する光からの非常に拡散した反射によって生成される部分と、を含む逆散乱プロファイルとも呼ばれる反射プロファイルを有し得る。人間の皮膚の反射プロファイルに関しては、「Ｌａｓｅｒｔｅｃｈｎｉｋｉｎｄｅｒ Ｍｅｄｉｚｉｎ：Ｇｒｕｎｄｌａｇｅｎ、Ｓｙｓｔｅｍｅ、Ａｎｗｅｎｄｕｎｇｅｎ」、「ＷｉｒｋｕｎｇｖｏｎＬａｓｅｒｓｔｒａｈｌｕｎｇ ａｕｆ Ｇｅｗｅｂｅ」１９９１年，１０１７１～２６６頁，Ｊｕｅｒｇｅｎ Ｅｉｃｈｌｅｒ，Ｔｈｅｏ Ｓｅｉｌｅｒ，Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ，ＩＳＢＮ ０９３９～０９７９を参照されたい。皮膚の表面反射は、波長が近赤外に向かって増加するのにつれて増加する可能性がある。さらに、透過深度は、波長が可視光から近赤外に向かって増加するとともに増加する可能性がある。逆反射の拡散部分は、光の透過深度の増加とともに増加する可能性がある。これらの特性は、逆散乱プロファイルを分析することによって、皮膚を他の材料から区別するために使用されることができる。
【0101】
具体的には、評価装置は、反射特徴のビームプロファイル（反射ビームプロファイルとも呼ばれる）を、少なくとも１つの予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルと比較するように構成されてよい。予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルは、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、ディスプレイ装置の少なくとも１つのデータ記憶装置に記憶されてもよい。例えば、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルは、ディスプレイ装置を備えるモバイル装置の初期起動時に決定されてもよい。例えば、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルは、例えばソフトウェアによって、具体的にはアプリストア等からダウンロードされたアプリによって、モバイル装置の少なくとも１つのデータ記憶装置に記憶されてよい。反射特徴は、反射ビームプロファイルと、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルとが同一である場合に、生体組織によって生成されるものとして識別されてよい。比較は、反射ビームプロファイルと、予め決定された又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含むことができる。比較は、反射ビームプロファイルと、予め決定された及び／又は予め記録された及び／又は予め定義されたビームプロファイルとの間の偏差、例えば、点間距離の二乗和を決定することを含んでよい。評価装置は、決定された偏差を少なくとも１つの閾値と比較するように構成されてよく、決定された偏差が閾値より低く及び／又は閾値に等しい場合、表面は生体組織として示され、及び／又は生体組織の検出が確認される。閾値は、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、ディスプレイ装置の少なくとも１つのデータ記憶装置に記憶されてもよい。
【0102】
追加的に又は代替的に、反射特徴が生物組織によって生成されたかどうかを識別するために、評価装置は、そのエリアの画像に少なくとも１つの画像フィルタを適用するように構成されることができる。本明細書でさらに使用される場合、「画像」という用語は、二次元関数ｆ（ｘ，ｙ）を指し、ここで、輝度及び／又は色の値は、画像内の任意のｘ，ｙ位置に対して与えられる。位置は、記録ピクセルに対応して離散化されてよい。また、輝度及び／又は色は、光センサのビット深度に対応して離散化されてよい。本明細書で使用される場合、「画像フィルタ」という用語は、ビームプロファイル及び／又はビームプロファイルの少なくとも１つの特定領域に適用される少なくとも１つの数学演算を指す。具体的には、画像フィルタФは、画像ｆ又は画像内の関心領域を、実数Ф（ｆ（ｘ，ｙ））＝φにマッピングし、ここでφは特徴、特に材料特徴を示している。画像はノイズの影響を受ける可能性があり、特徴についても同様である。したがって、特徴はランダム変数であってよい。特徴は正規分布に従ってもよい。特徴が正規分布に従っていない場合は、ボックスコックス変換（Ｂｏｘ－Ｃｏｘ－Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）などによって正規分布にされるように変換されてもよい。
【0103】
評価装置は、少なくとも１つの材料依存画像フィルタФ２を画像に適用することによって、少なくとも１つの材料特徴φ２ｍを決定するように構成され得る。本明細書で使用される場合、「材料依存」画像フィルタという用語は、材料依存の出力を有する画像を指す。材料依存画像フィルタの出力は、本明細書では「材料特徴φ２ｍ」又は「材料依存特徴φ２ｍ」と示される。材料特徴は、反射特徴を生成したエリアの表面の少なくとも１つの材料特性に関する少なくとも１つの情報であってもよく、又はそれを含んでいてもよい。
【0104】
材料依存画像フィルタは、輝度フィルタ；スポット形状フィルタ；二乗ノルム勾配；標準偏差；ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタ；グレーレベル発生ベースのコントラストフィルタ；グレーレベル発生ベースのエネルギーフィルタ；グレーレベル発生ベースの均一性フィルタ；グレーレベル発生ベースの非類似性フィルタ；ローのエネルギーフィルタ；閾値領域フィルタ；もしくはこれらの線形結合；からなる群から選択された少なくとも１つのフィルタ、又は、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタのうちの１つ以上に相関するさらなる材料依存画像フィルタФ２ｏｔｈｅｒ、又は、｜ρФ２ｏｔｈｅｒ，Фｍ｜≧０．４０によるそれらの線形結合、ここで、Фｍは、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタのうちの１つ以上、又はそれらの線形結合であり得る。さらなる材料依存画像フィルタФ２ｏｔｈｅｒは、材料依存画像フィルタФｍの１つ以上と、｜ρФ２ｏｔｈｅｒ，Фｍ｜≧０．６０、好ましくは｜ρФ２ｏｔｈｅｒ，Фｍ｜≧０．８０によって相関していてもよい。
【0105】
材料依存画像フィルタは、仮説検証を通過する少なくとも１つの任意のフィルタΦであり得る。本明細書で使用される場合、「仮説検証を通過する」という用語は、ヌル仮説Ｈ０が棄却され、代替仮説Ｈ１が受け入れられるという事実を指す。仮説検証は、予め定義されたデータセットに画像フィルタを適用することによって、画像フィルタの材料依存性を検証することを含んでいてよい。データセットは、複数のビームプロファイル画像を含んでいてよい。本明細書で使用される場合、「ビームプロファイル画像」という用語は、ＮＢガウス放射状基底関数の合計を指し、
式中、ＮＢガウス放射状基底関数のそれぞれは、
【数5】
【0106】
【数6】
【0107】
【数7】
【数8】
【0108】
【表1】
【0109】
【数9】
【数10】
【0110】
【数11】
【数12】
【数13】
【0111】
続いて、各画像
についてフィルタΦに対応する
【数14】
【0112】
【数15】
【数16】
【数17】
【数18】
【数19】
【数20】
【数21】
【0113】
【数22】
【数23】
【数24】
【数25】
に対して、
【数26】
【数27】
は、事前に定義されたデータセットにおける各Ｊ材料の特徴値の数を示す。仮説検証は、
【数28】
【数29】
【0114】
仮説検証は、以下の間の平均平方和を決定することを含んでよい。
【0115】
【数30】
【0116】
仮説検証は、Ｆ－テストの実行を含んでいてよい。
【0117】
【数31】
【0118】
ここで、
は正則化された不完全ベータ関数
であり、ここでオイラーベータ関数
は不完全ベータ関数である。画像フィルタは、ｐ値であるｐが予め定義された有意水準よりも小さいか等しい場合、仮説検証を通過し得る。フィルタは、ｐ≦０．０７５、好ましくはｐ≦０．０５、より好ましくはｐ≦０．０２５、最も好ましくはｐ≦０．０１である場合、仮説検証を通過し得る。例えば、予め定義された有意水準がα＝０．０７５の場合、画像フィルタはｐ値がα＝０．０７５より小さい場合に仮説検証を通過することができる。この場合、ヌル仮説Ｈ０が拒否され、代替仮説Ｈ１が受け入れられることができる。画像フィルタは、このように少なくとも２つの材料分類を区別する。このように、画像フィルタは仮説検証を通過する。
【数32】
【数33】
【数34】
【0119】
以下では、反射画像が少なくとも１つの反射特徴、特にスポット画像を含むと仮定して、画像フィルタについて説明する。スポット画像
は、
によって与えられることができ、画像ｆの背景は既に差し引かれることができる。しかし、他の反射特徴が可能であり得る。
【数35】
【数36】
【0120】
例えば、材料依存画像フィルタは、輝度フィルタであってよい。輝度フィルタは、スポットの輝度測定値を材料特徴として返すことができる。材料特徴は、
によって決定され得、式中、ｆはスポット画像である。スポットの距離はｚで示され、ここで、ｚは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び／又は三角測量技術を用いて得られる。材料の表面法線は
によって与えられ、少なくとも３つの測定点にまたがる表面の法線として得られる。ベクトル
は、光源の方向ベクトルである。スポットの位置が、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び／又は光源の位置がディスプレイ装置のパラメータとして知られている三角測量技術を用いることによって知られているため、
は、スポットの位置と光源の位置の間の差分ベクトルである。
【数37】
【数38】
【数39】
【数40】
【0121】
例えば、材料依存画像フィルタは、スポット形状に依存した出力を有するフィルタであってよい。この材料依存画像フィルタは、材料の透光性に相関する値を材料特徴として返すことができる。材料の透光性は、スポットの形状に影響を与える。材料特徴は、
によって与えられ、式中、
はスポットの高さｈに対する重みであり、ＨはＨｅａｖｙｓｉｄｅ関数、すなわち
である。スポット高さｈは、以下によって決定され得、
式中、Ｂｒは
を有するスポットの内円である。
【数41】
【数42】
【数43】
【数44】
【数45】
【0122】
例えば、材料依存画像フィルタは、二乗ノルム勾配であってよい。この材料依存画像フィルタは、材料特徴としてのスポットのソフトとハードの遷移及び／又は粗さの測定値に相関する値を返してよい。材料特徴は、
によって、定義されてよい。例えば、材料依存画像フィルタは、標準偏差であってもよい。スポットの標準偏差は、
によって、決定されてよく、式中、μは
によって与えられる平均値である。
【数46】
【数47】
【数48】
【0123】
例えば、材料依存画像フィルタは、ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタであってよい。平滑性フィルタの一実施形態では、この画像フィルタは、体積散乱が拡散散乱材料と比較して少ないスペックルコントラストを示すという観察を参照することができる。この画像フィルタは、材料特徴としてスペックルコントラストに対応するスポットの平滑性を定量化することができる。材料特徴は、
によって、決定されてよく、式中、
は平滑化関数であり、例えばメディアンフィルタ又はやガウスフィルタなどである。この画像フィルタは、上述の式で説明したように、距離ｚによる除算を含んでよい。距離ｚは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び／又は、三角測量技術を用いて決定されてよい。これにより、フィルタが距離の影響を受けなくなることが可能である。平滑化フィルタの一実施形態では、平滑化フィルタは、抽出されたスペックルノイズパターンの標準偏差に基づいてよい。スペックルノイズパターンＮは、
によって、経験的な方法で記述されることができる。式中、
は、スペックル除去したスポットの画像である。
【数49】
【数50】
【数51】
【数52】
【0124】
【数53】
【数54】
【数55】
【数56】
【数57】
【0125】
例えば、画像フィルタは、グレーレベル発生ベースのコントラストフィルタであってよい。この材料フィルタは、グレーレベル発生マトリックス
に基づいてよく、ここで
はグレー結合（ｇ１，ｇ２）＝［ｆ（ｘ１，ｙ１），ｆ（ｘ２，ｙ２）］、］の発生率であり、関係ρは、ρ（ｘ，ｙ）＝（ｘ＋ａ，ｙ＋ｂ）であって、（ｘ１，ｙ１）と（ｘ２，ｙ２）の間の距離を定義し、ａとｂは０，１から選択される。
【数58】
【数59】
【0126】
グレーレベル発生ベースのコントラストフィルタの材料特徴は、
によって与えられてよい。
【数60】
【0127】
例えば、画像フィルタは、グレーレベル発生ベースのエネルギーフィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。
【0128】
グレーレベル発生ベースのエネルギーフィルタの材料特徴は、
によって与えられてよい。
【数61】
【0129】
例えば、画像フィルタは、グレーレベル発生ベースの均一性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの均一性フィルタの材料特徴は、
によって与えられてよい。
【数62】
【0130】
例えば、画像フィルタは、グレーレベル発生ベースの非類似性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの非類似性フィルタの材料特徴は、
によって与えられてよい。
【数63】
【0131】
例えば、画像フィルタは、ローエネルギーフィルタであってよい。この材料フィルタは、ローベクトルＬ５＝［１，４，６，４，１］及びＥ５＝［－１，－２，０，－２，－１］及び材料Ｌ５（Ｅ５）Ｔ及びＥ５（Ｌ５）Ｔに基づいている。画像ｆｋはこれらのマトリックス：
で畳み込まれている。
【数64】
【0132】
ここで、ローのエネルギーフィルタの材料特徴は、
によって、決定されてよい。
【数65】
【0133】
例えば、材料依存の画像フィルタは、閾値領域フィルタであってよい。この材料特徴は、画像平面内の２つのエリアに関連してよい。第１エリアΩ１、は、関数ｆがｆの最大値のα倍よりも大きいエリアであってもよい。第２エリアΩ２、は、関数ｆがｆの最大値のα倍よりも小さいが、ｆの最大値のε倍の閾値よりも大きいエリアであってよい。好ましくは、αは０．５、εは０．０５であり得る。スペックル又はノイズのために、エリアはスポット中心の内円と外円に単純に対応していない場合がある。例えば、Ω１は、外円のスペックル又は接続されていないエリアを含み得る。材料特徴は、
によって、決定されてよく、式中、Ω１＝｛ｘ｜ｆ（ｘ）＞α・ｍａｘ（ｆ（ｘ））｝及びΩ２＝｛ｘ｜ε・ｍａｘ（ｆ（ｘ））＜ｆ（ｘ）＜α・ｍａｘ（ｆ（ｘ））｝である。
【数66】
【0134】
評価装置は、反射特徴を生成した表面の材料特性を決定するために、材料特徴φ２ｍと反射特徴を生成した表面の材料特性との間の少なくとも１つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0135】
評価装置は、対応する材料特性が少なくとも１つの予め決定された又は予め定義された基準を満たす場合に、生体組織を照射することによって生成されたものとして反射特徴を識別するように構成される。反射特徴は、材料特性が「生体組織」を示す場合に、生体組織によって生成されたものとして識別されることができる。反射特徴は、材料特性が少なくとも１つの閾値又は範囲を下回る又は等しい場合に、生体組織によって生成されたものとして識別されてよく、決定された偏差が閾値を下回る及び／又は等しい場合に、反射特徴は生体組織によって生成されたと識別され、及び／又は生体組織の検出が確認される。少なくとも１つの閾値及び／又は範囲は、テーブル又はルックアップテーブルに記憶されてもよく、少なくとも１つの閾値及び／又は範囲は、例えば経験的に決定されてもよく、及び、少なくとも１つの閾値及び／又は範囲は、一例としてディスプレイ装置の少なくとも１つのデータ記憶装置に記憶されてもよい。評価装置は、そうでなければ、反射特徴を背景であるとして識別するように構成される。したがって、評価装置は、深度情報と、材料特性例えば皮膚の「イエス」又は「ノー」を各投影スポットに割り当てるように構成されてもよい。
【0136】
材料特性は、縦方向座標ｚに関する情報がφ２ｍの評価に考慮され得るように、縦方向座標ｚの決定後にφ２ｍを評価することによって決定されてよい。
【0137】
さらなる態様では、本発明は、ディスプレイ装置を通しての深度測定のための方法を開示し、そこでは、本発明によるディスプレイ装置が使用される。本方法は、以下：
ａ）少なくとも１つの照射源を使用することによって、複数の照射特徴を含む少なくとも１つの照射パターンを少なくとも１つのシーンに投影するステップであって、前記照射源は、ディスプレイの前方に前記照射パターンの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、前記照射特徴による照射に応答して前記シーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に前記照射パターンの伝播方向に配置され、前記反射特徴のそれぞれが少なくとも１つのビームプロファイルを含んでいる、ステップと；
ｃ）少なくとも１つの評価装置を使用することによって、前記第１画像を評価するステップであって、前記評価は以下のサブステップ：
Ｃ１）前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートするサブステップと；
Ｃ２）ビームプロファイルの分析により、前記反射特徴ごとに少なくとも１つの縦方向座標ｚＤＰＲを決定するサブステップと；
Ｃ３）前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするサブステップであって、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少させて実行されるサブステップと；
Ｃ４）照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するサブステップと；
Ｃ５）偽の特徴を排除し、前記縦方向座標ｚＤＰＲを使用することにより、前記真の特徴の深度マップを生成するサブステップと、を含む、
ステップと、を含む。
ａ）少なくとも１つの照射源を使用することによって、複数の照射特徴を含む少なくとも１つの照射パターンを少なくとも１つのシーンに投影するステップであって、前記照射源は、ディスプレイの前方に前記照射パターンの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、前記照射特徴による照射に応答して前記シーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に前記照射パターンの伝播方向に配置され、前記反射特徴のそれぞれが少なくとも１つのビームプロファイルを含んでいる、ステップと；
ｃ）少なくとも１つの評価装置を使用することによって、前記第１画像を評価するステップであって、前記評価は以下のサブステップ：
Ｃ１）前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートするサブステップと；
Ｃ２）ビームプロファイルの分析により、前記反射特徴ごとに少なくとも１つの縦方向座標ｚＤＰＲを決定するサブステップと；
Ｃ３）前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするサブステップであって、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少させて実行されるサブステップと；
Ｃ４）照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するサブステップと；
Ｃ５）偽の特徴を排除し、前記縦方向座標ｚＤＰＲを使用することにより、前記真の特徴の深度マップを生成するサブステップと、を含む、
ステップと、を含む。
【0138】
方法ステップは、所定の順序で実行されてもよく、又は異なる順序で実行されてもよい。さらに、列挙されていない１つ以上の追加の方法ステップが存在してもよい。さらに、方法ステップの１つ、１つより多く、又は、全てさえも、繰り返し実行されてよい。詳細、選択肢、及び定義については、上述したディスプレイ装置を参照することができる。したがって、具体的には、上記で説明されたように、本方法は、上記で与えられ又は以下でさらに詳細に与えられる１つ以上の実施形態によるなどの、本発明によるディスプレイ装置の使用を含むことができる。
【0139】
少なくとも１つの評価装置は、例えば本発明による方法の方法ステップの１つ又は複数又は全てさえも実行又はサポートするように構成された少なくとも１つのコンピュータプログラムなどの、少なくとも１つのコンピュータプログラムを実行するように構成され得る。一例として、物体の位置を決定する１つ以上のアルゴリズムが、実装され得る。
【0140】
本発明のさらなる態様においては、上記で与えられた又は以下でさらに詳細に与えられる１つ以上の実施形態などによる、本発明によるディスプレイ装置の使用が、交通技術における位置測定；娯楽用途；セキュリティ用途；監視用途；安全用途；ヒューマンマシンインターフェース用途；追跡用途；写真用途；画像化又はカメラ用途；少なくとも１つの空間マップを生成するためのマッピング用途；車両用のホーミング又は追跡ビーコン検出器；屋外用途；モバイル用途；通信用途；マシンビジョン用途；ロボット用途；品質管理用途；製造用途、からなる群から選択される使用目的のために、提案される。
【0141】
本発明のディスプレイ装置及び装置のさらなる使用に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１が参照され、その内容は参照によって含まれる。
【0142】
全体として、本発明の文脈において、以下の実施形態が好ましいと考えられる。
【0143】
実施形態１：
－ 少なくとも１つのシーンに複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、前記照射特徴による照射に応答して前記シーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されている、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源と前記光センサが、前記ディスプレイの前に前記照射パターンの伝播方向に配置されている、透光性ディスプレイと；
－ 少なくとも１つの評価装置であって、前記評価装置は、前記第１画像を評価するように構成され、前記第１画像の前記評価は、前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置は、それらのビームプロファイルの分析によって前記反射特徴の各々について少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されており、前記評価装置は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置は、照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置は、前記偽の特徴を排除し、及び、前記縦方向座標ｚＤＰＲを使用し前記真の特徴について深度マップを生成するように構成されている、少なくとも１つの評価装置と、
を備える、ディスプレイ装置。
－ 少なくとも１つのシーンに複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源と；
－ 少なくとも１つの感光エリアを有する少なくとも１つの光センサであって、前記光センサは、前記照射特徴による照射に応答して前記シーンによって生成された複数の反射特徴を含む少なくとも１つの第１画像を決定するように構成されている、少なくとも１つの光センサと；
－ 情報を表示するように構成された少なくとも１つの透光性ディスプレイであって、前記照射源と前記光センサが、前記ディスプレイの前に前記照射パターンの伝播方向に配置されている、透光性ディスプレイと；
－ 少なくとも１つの評価装置であって、前記評価装置は、前記第１画像を評価するように構成され、前記第１画像の前記評価は、前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートすることを含み、前記反射特徴の各々は、少なくとも１つのビームプロファイルを含み、前記評価装置は、それらのビームプロファイルの分析によって前記反射特徴の各々について少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されており、前記評価装置は、前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするように構成されており、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少して実行され、前記評価装置は、照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するように構成されおり、前記評価装置は、前記偽の特徴を排除し、及び、前記縦方向座標ｚＤＰＲを使用し前記真の特徴について深度マップを生成するように構成されている、少なくとも１つの評価装置と、
を備える、ディスプレイ装置。
【0144】
実施形態２：前記評価装置は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光技術を使用して、前記反射特徴のそれぞれについて少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成されている、先行する実施形態によるディスプレイ装置。
【0145】
実施形態３：前記評価装置は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成され、前記結合縦方向座標は、前記第２縦方向座標ｚｔｒｉａｎｇと前記縦方向座標ｚＤＰＲの平均値であり、前記結合縦方向座標は、前記深度マップの決定のために使用される、先行する実施形態によるディスプレイ装置。
【0146】
実施形態４：前記照射源は、少なくとも１つのレーザプロジェクタを備え、前記レーザプロジェクタは、少なくとも１つのレーザ源と少なくとも１つの回折光学素子（ＤＯＥ）を含む、先行する実施形態のいずれか１つによるディスプレイ装置。
【0147】
実施形態５：前記照射源は、前記照射源から前記ディスプレイを通って前記シーンまで通過するビーム経路を有する少なくとも１つの光ビームを生成するように構成され、前記ディスプレイは、前記光ビームが、前記ディスプレイによる回折を受け、その結果、点パターンが生じるように、格子として機能するように構成されている、先行する実施形態のいずれか１つによるディスプレイ装置。
【0148】
実施形態６：前記ディスプレイの配線は、前記格子のギャップ及び／又はスリット及びリッジを形成するように構成されている、先行する実施形態によるディスプレイ装置。
【0149】
実施形態７：前記照射パターンは、周期的な点パターンを含む、先行する実施形態のいずれか１つによるディスプレイ装置。
【0150】
実施形態８：前記照射パターンは、低い点密度を有し、前記照射パターンは、視野あたり２５００個以下の点を有する、先行する実施形態のいずれか１つによるディスプレイ装置。
【0151】
実施形態９：前記評価装置は、光子比からの深度技術を使用することによって、前記反射特徴のそれぞれについて、前記ビームプロファイルの情報を決定するように構成されている、先行する実施形態のいずれか１つによるディスプレイ装置。
【0152】
実施形態１０：前記光センサは、少なくとも１つのＣＭＯＳセンサを含む、先行する実施形態のいずれか１つによるディスプレイ装置。
【0153】
実施形態１１：前記ディスプレイ装置は、さらなる照射源を含み、前記さらなる照射源は、少なくとも１つの発光ダイオード（ＬＥＤ）を含む、先行する実施形態のいずれか１つによるディスプレイ装置。
【0154】
実施形態１２：前記さらなる照射源は、視覚的スペクトル範囲内の光を生成するように構成されている、先行する実施形態によるディスプレイ装置。
【0155】
実施形態１３：前記光センサは、前記シーンの少なくとも１つの二次元画像を含む少なくとも１つの第２画像を決定するように構成され、前記さらなる照射源は、前記第２画像の画像化のための追加の照射を提供するように構成されている、先行する２つの実施形態のいずれか１つによるディスプレイ装置。
【0156】
実施形態１４：前記評価装置は、回折格子関数ｇで前記第２画像Ｉをデコンボリューションすることによって、少なくとも１つの補正された画像Ｉ０を決定するように構成され、ここでＩ＝Ｉ０＊ｇである、先行する実施形態によるディスプレイ装置。
【0157】
実施形態１５：透光性のディスプレイを通しての深度測定のための方法であって、先行する実施形態のいずれか１つによる少なくとも１つのディスプレイ装置が使用され、以下のステップ：
ａ）少なくとも１つの照射源を使用することによって、複数の照射特徴を含む少なくとも１つの照射パターンを少なくとも１つのシーンに投影するステップであって、前記照射源は、ディスプレイの前方に前記照射パターンの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に前記照射パターンの伝播方向に配置され、前記反射特徴のそれぞれは少なくとも１つのビームプロファイルを含んでいる、ステップと；
ｃ）少なくとも１つの評価装置を使用することによって、前記第１画像を評価するステップであって、前記評価は以下のサブステップ：
Ｃ１）前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートするサブステップと；
Ｃ２）ビームプロファイルの分析により、前記反射特徴ごとに少なくとも１つの縦方向座標ｚＤＰＲを決定するサブステップと；
Ｃ３）前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするサブステップであって、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少させて実行されるサブステップと；
Ｃ４）照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するサブステップと；
Ｃ５）偽の特徴を排除し、前記縦方向座標ｚＤＰＲを使用することにより、前記真の特徴の深度マップを生成するサブステップと、
を含むステップと、
を含む、ディスプレイ装置を介した深度測定のための方法。
ａ）少なくとも１つの照射源を使用することによって、複数の照射特徴を含む少なくとも１つの照射パターンを少なくとも１つのシーンに投影するステップであって、前記照射源は、ディスプレイの前方に前記照射パターンの伝播方向に配置される、ステップと；
ｂ）少なくとも１つの光センサを使用することによって、前記照射特徴による照射に応答して前記シーンによって生成される複数の反射特徴を含む少なくとも１つの第１画像を決定するステップであって、前記光センサは少なくとも１つの感光エリアを有し、前記光センサは前記ディスプレイの前方に前記照射パターンの伝播方向に配置され、前記反射特徴のそれぞれは少なくとも１つのビームプロファイルを含んでいる、ステップと；
ｃ）少なくとも１つの評価装置を使用することによって、前記第１画像を評価するステップであって、前記評価は以下のサブステップ：
Ｃ１）前記第１画像の前記反射特徴を識別し、前記識別された反射特徴を輝度に関してソートするサブステップと；
Ｃ２）ビームプロファイルの分析により、前記反射特徴ごとに少なくとも１つの縦方向座標ｚＤＰＲを決定するサブステップと；
Ｃ３）前記縦方向座標ｚＤＰＲを使用することにより、反射特徴を対応する照射特徴に明確にマッチングするサブステップであって、前記マッチングは、最も明るい反射特徴から始めて、前記反射特徴の輝度を減少させて実行されるサブステップと；
Ｃ４）照射特徴とマッチングする反射特徴を真の特徴として分類し、照射特徴とマッチングしない反射特徴を偽の特徴として分類するサブステップと；
Ｃ５）偽の特徴を排除し、前記縦方向座標ｚＤＰＲを使用することにより、前記真の特徴の深度マップを生成するサブステップと、
を含むステップと、
を含む、ディスプレイ装置を介した深度測定のための方法。
【0158】
実施形態１６：ディスプレイ装置に関する先行する実施形態のいずれか１つによるディスプレイ装置の使用であって、使用目的が：交通技術における位置測定；娯楽用途；セキュリティ用途；監視用途；安全用途；ヒューマンマシンインターフェース用途；追跡用途；写真用途；画像化又はカメラ用途；少なくとも１つの空間のマップを生成するためのマッピング用途；車両用のホーミング又は追跡ビーコン検出器；屋外用途；モバイル用途；通信用途；マシンビジョン用途；ロボット用途；品質管理用途；製造用途、からなる群から選択される、使用。
【図面の簡単な説明】
【0159】
本発明のさらなる任意の詳細及び特徴は、従属請求項と関連して続く好ましい例示的な実施形態の説明から明らかである。この文脈では、特定の特徴は、個別に実施されても、又は他の特徴と組み合わせて実施されてもよい。本発明は、例示的な実施形態に限定されない。例示的な実施形態は、図に模式的に示されている。個々の図における同一の符号は、同一の要素又は同一の機能を有する要素、又はその機能に関して互いに対応する要素を指している。
【0160】
具体的には、以下の図の中で：
【図4】ディスプレイ装置を使用した補正された２Ｄ画像の決定を示す図である。
【発明を実施する形態】
【0161】
実施形態の詳細な説明
図１Ａは、本発明によるディスプレイ装置１１０の一実施形態を非常に概略的に示している。ディスプレイ装置１１０は、情報を表示するように構成された少なくとも１つの透光性ディスプレイ１１２を有している。ディスプレイ１１２は、少なくとも１つの画像、少なくとも１つの図、少なくとも１つのヒストグラム、少なくとも１つのテキスト、少なくとも１つの記号などの情報項目を表示するように構成された任意の形状の装置であり得る。ディスプレイ１１２は、少なくとも１つのモニタ又は少なくとも１つのスクリーンであり得る。ディスプレイ１１２は、任意の形状、好ましくは長方形の形状を有してよい。例えば、ディスプレイ装置１１０は、テレビ装置、スマートフォン、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、少なくとも１つの仮想現実装置、又はそれらの組み合わせからなる群から選択される少なくとも１つの装置であってよい。
図１Ａは、本発明によるディスプレイ装置１１０の一実施形態を非常に概略的に示している。ディスプレイ装置１１０は、情報を表示するように構成された少なくとも１つの透光性ディスプレイ１１２を有している。ディスプレイ１１２は、少なくとも１つの画像、少なくとも１つの図、少なくとも１つのヒストグラム、少なくとも１つのテキスト、少なくとも１つの記号などの情報項目を表示するように構成された任意の形状の装置であり得る。ディスプレイ１１２は、少なくとも１つのモニタ又は少なくとも１つのスクリーンであり得る。ディスプレイ１１２は、任意の形状、好ましくは長方形の形状を有してよい。例えば、ディスプレイ装置１１０は、テレビ装置、スマートフォン、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレット、少なくとも１つの仮想現実装置、又はそれらの組み合わせからなる群から選択される少なくとも１つの装置であってよい。
【0162】
ディスプレイ装置１１０は、少なくとも１つのシーンに、複数の照射特徴を含む少なくとも１つの照射パターンを投影するように構成された少なくとも１つの照射源１１４を備える。シーンは、顔などの物体又は空間領域を指し得る。シーンは、少なくとも１つの物体及びその周囲の環境を含み得る。
【0163】
照射源１１４は、シーンを直接的又は間接的に照射するように適合されてよく、照射パターンは、シーンの表面によって反射又は散乱され、それによって、少なくとも部分的に光センサに向けられる。照射源１１４は、例えば、光ビームをシーンに向けることによってシーンを照射するように適合されてよく、シーンは光ビームを反射する。照射源１１４は、シーンを照射するための照射光ビームを生成するように構成されてよい。
【0164】
照射源１１４は、少なくとも１つの光源を含んでよい。照射源１１４は、複数の光源を含んでいてもよい。照射源１１４は、人工照射源、特に少なくとも１つのレーザ源、及び／又は少なくとも１つの白熱灯、及び／又は少なくとも１つの半導体光源、例えば少なくとも１つの発光ダイオード、特に有機及び／又は無機発光ダイオードを含み得る。一例として、照射源によって放出される光は、３００～１１００ｎｍ、特に５００～１１００ｎｍの波長を有し得る。追加的に又は代替的に、７８０ｎｍ～３．０μｍの範囲などの赤外スペクトル範囲の光が使用され得る。具体的には、シリコンフォトダイオードが適用可能な特には７００ｎｍ～１１００ｎｍの範囲の近赤外領域部分の光が使用されることができる。照射源１１４は、赤外領域で、少なくとも１つの照射パターンを生成するように構成されてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。照射源１１４は、単一波長で光を放出するように構成されることができる。具体的には、波長は、近赤外領域にあってよい。他の実施形態では、照射は、他の波長チャネルでの追加の測定を可能にする複数の波長を有する光を放出するように適合されてよい。
【0165】
照射源１１４は、少なくとも１つの多重ビーム光源であってよく、又は、それを含んでいてもよい。例えば、照射源１１４は、少なくとも１つのレーザ源と１つ以上の回折光学素子（ＤＯＥ）を含んでいてよい。具体的には、照射源１１４は、少なくとも１つのレーザ及び／又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ（bｒａｇｇ）反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が採用されてよい。追加的に又は代替的に、ＬＥＤ及び／又は電球などの非レーザ光源が使用されてもよい。照射源は、照射パターンを生成するように適合された１つ以上の回折光学素子（ＤＯＥ）を含んでよい。例えば、照射源１１４は、点群を生成及び／又は投影するように適合されてよく、例えば、照射源は、少なくとも１つのデジタル光処理プロジェクタ、少なくとも１つのＬＣｏＳプロジェクタ、少なくとも１つの空間光変調器；少なくとも１つの回折光学素子；発光ダイオードの少なくとも１つのアレイ；レーザ光源の少なくとも１つのアレイ、のうちの１つ以上を含み得る。それらの一般的に定義されたビームプロファイル及び取扱い性の他の特性を考慮すると、照射源１１４として少なくとも１つのレーザ源の使用が特に好ましい。照射源１１４は、ディスプレイ装置１１０のハウジング１１６に一体化されてよい。
【0166】
さらに、照射源１１４は、変調された光又は変調されていない光を放出するように構成されてよい。複数の照射源１１４を使用する場合、異なる照射源は異なる変調周波数を有することができ、該異なる変調周波数は、以下にさらに詳細に概説するように、後に、光ビームを区別するために使用されることができる。
【0167】
照射パターンはシーンの少なくとも一部を照射するように適合された少なくとも１つの照射特徴を含む少なくとも１つの任意のパターンであり得る。照射パターンは、単一の照射特徴を含んでよい。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも１つの点パターン；少なくとも１つの線パターン；少なくとも１つのストライプパターン；少なくとも１つの市松模様パターン；周期的又は非周期的な特徴の配置を含む少なくとも１つのパターン、からなる群から選択されてよい。照射パターンは、三角形のパターン、長方形のパターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的及び／又は一定及び／又は周期的なパターンを含んでよい。照射パターンは、少なくとも１つの点；少なくとも１つの線；平行線又は交差線などの少なくとも２つの線；少なくとも１つの点と１つの線；周期的又は非周期的な特徴の少なくとも１つの配置；少なくとも１つの任意の形状の特徴からなる群から選択される少なくとも１つの照射特徴を示してよい。照射パターンは：少なくとも１つの点パターン、特に擬似ランダム点パターン；ランダム点パターン又は準ランダムパターン；少なくとも１つのソボル（Ｓｏｂｏｌ）パターン；少なくとも１つの準周期的パターン；少なくとも１つの既知の特徴を含む少なくとも１つのパターン；少なくとも１つの規則的なパターン；少なくとも１つの三角形パターン；少なくとも１つの六角形パターン；少なくとも１つの長方形パターン；凸状の均一なタイル状体（ｔｉｌｉｎｇ）を含む少なくとも１つのパターン；少なくとも１つの線を含む少なくとも１つの線パターン；平行線又は交差線などの少なくとも２つの線を含む少なくとも１つの線パターン、からなる群から選択される少なくとも１つのパターンを含むことができる。例えば、照射源は、点群を生成及び／又は投影するように適合され得る。照射源１１４は、照射パターンが複数の点パターンを含むことができるように点群を生成するように適合された少なくとも１つの光プロジェクタを含み得る。照射源１１４は、照射源１１４によって生成された少なくとも１つの光ビームから照射パターンを生成するように適合された少なくとも１つのマスクを含むことができる。
【0168】
照射パターンの２つの特徴間の距離及び／又は少なくとも１つの照射特徴の面積は、画像内の錯乱円に依存し得る。上記で概説したように、照射源は、少なくとも１つの照射パターンを生成するように構成された少なくとも１つの光源を含んでよい。具体的には、照射源１１４は、レーザ放射を生成するように指定された少なくとも１つのレーザ源及び／又は少なくとも１つのレーザダイオードを含む。照射源１１４は、少なくとも１つの回折光学素子（ＤＯＥ）を含んでよい。ディスプレイ装置１１０は、少なくとも１つの周期的な点パターンを投影するように適合された、少なくとも１つのレーザ源及びＤＯＥなどの少なくとも１つの点プロジェクタを含んでよい。例えば、投影される照射パターンは、周期的な点パターンであり得る。投影された照射パターンは、低い点密度を有していてよい。例えば、照射パターンは、低い点密度を有する少なくとも１つの周期的な点パターンを含み得、該照射パターンは、視野あたり２５００個以下の点を有する。５５×３８°の視野において通常１０ｋ～３０ｋの点密度を有する構造化光と比較して、本発明による照射パターンは、より低密度であり得る。これにより、提案された技術は、構造化光と比較して周囲光により少なく依存するように、点あたりのパワーを増やすことができる。
【0169】
ディスプレイ装置１１０は、少なくとも１つの感光エリア１２０を有する少なくとも１つの光センサ１１８を有している。光センサ１１８は、照射特徴による照射に応答してシーンによって生成される複数の反射特徴を含む、例えば図２Ａ～図２Ｃ及び図３Ａ～図３Ｃに示される少なくとも１つの第１画像１２２を決定するように構成されている。ディスプレイ装置１１０は、光センサ１１８を有する単一のカメラを備え得る。ディスプレイ装置１１０は、それぞれが光センサ１１８、又は複数の光センサ１１８を含む複数のカメラを備え得る。
【0170】
光センサ１１８は、具体的には、少なくとも１つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれらを含んでいてもよい。具体的には、光センサ１１８は、赤外スペクトル範囲において感度を有してよい。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルは、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び／又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサ１１８は、赤外スペクトル範囲、好ましくは７００ｎｍ～３．０マイクロメートルの範囲に感度を有する少なくとも無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサ１１８は、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１１００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ，Ｄ－６７０５６ Ｌｕｄｗｉｇｓｈａｆｅｎ ａｍ ＲｈｅｉｎのｔｒｉｎａｍｉＸ ＧｍｂＨのＨｅｒｔｚｓｔｕｅｃｋ（登録商標）というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサ１１８は、固有の光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅフォトダイオード、ＩｎＧａＡｓフォトダイオード、拡張ＩｎＧａＡｓフォトダイオード、ＩｎＡｓフォトダイオード、ＩｎＳｂフォトダイオード、ＨｇＣｄＴｅフォトダイオード、からなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ１１８は、外因性光起電型の少なくとも１つの光センサ、より好ましくは、Ｇｅ：Ａｕフォトダイオード、Ｇｅ：Ｈｇフォトダイオード、Ｇｅ：Ｃｕフォトダイオード、Ｇｅ：Ｚｎフォトダイオード、Ｓｉ：Ｇａフォトダイオード、Ｓｉ：Ａｓフォトダイオードからなる群から選択される少なくとも１つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ１１８は、ＰｂＳもしくはＰｂＳｅセンサなどの少なくとも１つの光導電センサ、ボロメータ、好ましくはＶＯボロメータ及びアモルファスＳｉボロメータからなる群から選択されるボロメータを含み得る。
【0171】
光センサ１１８は、紫外、可視、又は赤外スペクトル範囲の１つ以上で感度を有してよい。具体的には、光センサは、５００ｎｍ～７８０ｎｍ、最も好ましくは６５０ｎｍ～７５０ｎｍ、又は６９０ｎｍ～７００ｎｍの可視スペクトル範囲で感度を有してよい。具体的には、光センサ１１８は近赤外領域で感度を有してよい。具体的には、光センサ１１８は、シリコンフォトダイオードが適用可能な特に７００ｎｍ～１０００ｎｍの範囲の近赤外領域の部分で感度を有してよい。光センサは、具体的には、赤外スペクトル範囲、具体的には７８０ｎｍ～３．０μｍの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれらを含んでもよい。例えば、光センサ１１８は、ＣＣＤセンサ要素、ＣＭＯＳセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも１つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び／又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの１つ以上のフォトダイオードが使用され得る。
【0172】
光センサ１１８は、ピクセルのマトリックスを有する少なくとも１つのセンサ要素を有していてよい。したがって、一例として、光センサ１１８は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサ１１８は、少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置であってもよく、及び／又は、それらを含んでいてもよい。一例として、光センサ１１８は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも１つのＣＣＤ装置及び／又はＣＭＯＳ装置の一部であるか、又は、それを構成してもよい。センサ要素は、一体の単一装置として形成されてもよいし、又はいくつかの装置の組み合わせとして形成されてもよい。マトリックスは、具体的には、１つ以上の行及び１つ以上の列を有する長方形のマトリックスであってもよく、又はそれを含んでいてもよい。行と列は、具体的には長方形方式に配置され得る。しかしながら、非長方形の配置などの他の配置も可能である。一例として、円形の配置も可能であり、そこでは要素は中心点のまわりに同心の円又は楕円に配置される。例えば、マトリックスは、ピクセルの単一の行であってもよい。他の配置も可能である。
【0173】
マトリックスのピクセルは、具体的には、サイズ、感度、並びに他の光学的、電気的及び機械的特性のうちの１つ以上で等しくてよい。マトリックスの全ての光センサ１１８の感光エリア１２０は、具体的には、共通の平面内に配置されてよく、該共通平面は、好ましくは、物体からディスプレイ装置１１０に伝播する光ビームが該共通平面上に光スポットを生成するように、シーンに面している。感光エリア１２０は、具体的には、それぞれの光センサ１１８の表面上に位置してよい。しかしながら、他の実施形態も実現可能である。光センサ１１８は、例えば、少なくとも１つのＣＣＤ及び／又はＣＭＯＳ装置を含むことができる。一例として、光センサ１１８は、ピクセル化された光学装置の一部であってもよく、又はそれを構成してもよい。一例として、光センサ１１８は、ピクセルのマトリックスを有し、各ピクセルが感光エリア１２０を形成する少なくとも１つのＣＣＤ及び／又はＣＭＯＳ装置の一部であってもよく、又はそれを構成してもよい。
【0174】
ディスプレイ装置１１０は、情報を表示するように構成された少なくとも１つの透光性ディスプレイ１１２を備える。照射源１１４及び光センサ１１８は、ディスプレイ１１２の前方に照射パターンの伝播方向に配置される。照射源１１４と光センサ１１８は、互いに関して固定された位置に配置されてよい。例えば、ディスプレイ装置１１０の構成は、光センサ１１８とレンズシステムを備えたカメラと、照射源１１４としてのレーザプロジェクタを備えることができる。レーザプロジェクタとカメラは、透光性ディスプレイの背後に、シーンによって反射された光の伝播方向に、固定されてよい。レーザプロジェクタは、ドットパターンを生成し、ディスプレイ１１２を通して照射してよい。カメラは、ディスプレイを通して写すことができる。しかし、透光性ディスプレイの背後に配置され、シーンによって反射される光の伝播方向に配置される照射源１１４と光センサ１１８の構成は、ディスプレイ１１２の回折格子がシーン及び第１画像に複数のレーザポイントを生成する結果となり得る。これにより、第１画像上のこれらの複数のスポットは、有用な距離情報を含まない可能性がある。ディスプレイ装置１１０は、少なくとも１つの評価装置１２４を含む。評価装置１２４は、回折格子のゼロ次の反射特徴、すなわち真の特徴を見つけて評価するように構成されてよく、及び、より高次の反射特徴、すなわち偽の特徴を無視することができる。
【0175】
評価装置１２４は、第１画像を評価するように構成される。評価装置１２４は、少なくとも１つのデータ処理装置を、より好ましくは少なくとも１つのプロセッサ及び／又は少なくとも１つの特定用途向け集積回路を使用することによって、含むことができる。したがって、一例として、少なくとも１つの評価装置１２４は、多数のコンピュータコマンドを含んでその上に記憶されたソフトウェアコードを有する少なくとも１つのデータ処理装置を含んでいてもよい。評価装置は、指定された操作の１つ以上を実行するための１つ以上のハードウェア要素を提供してもよく、及び／又は、指定された操作の１つ以上を実行するためにその上で実行されているソフトウェアを有する１つ以上のプロセッサを提供してもよい。操作は、画像を評価することを含む。具体的には、ビームプロファイルを決定し及び表面を表示することは、少なくとも１つの評価装置によって実行され得る。したがって、一例として、１つ以上の命令が、ソフトウェア及び／又はハードウェアで実装されることができる。したがって、例として、評価装置１２４は、上述の評価を実行するように構成された１つ以上のコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上のプログラマブル装置から構成されていてもよい。しかしながら、追加的又は代替的に、評価装置はまた、完全に又は部分的にハードウェアによって具現化されてもよい。
【0176】
第１画像の評価は、第１画像の反射特徴を特定することを含んでいる。評価装置１２４は、反射特徴を識別するために、少なくとも１つの画像分析及び／又は画像処理を実行するように構成され得る。画像分析及び／又は画像処理は、少なくとも１つの特徴検出アルゴリズムを使用してよい。画像分析及び／又は画像処理は、以下：フィルタリング；少なくとも１つの関心領域の選択；センサ信号によって生成された画像と少なくとも１つのオフセットとの間の差分画像の形成；センサ信号によって生成された画像を反転することによるセンサ信号の反転；異なる時間にセンサ信号によって生成された画像間の差分画像の形成；背景補正；カラーチャネルへの分解；色相への分解；飽和；輝度チャネル；周波数分解；特異値分解；ブロブ検出器の適用；コーナー検出器の適用；ヘッセフィルタの行列式の適用；主曲率ベースの領域検出器の適用；最大安定極値領域検出器の適用；一般化されたハフ変換の適用；稜線検出器の適用；アフィン不変特徴検出器の適用；アフィン適応の関心点演算子の適用；ハリスアフィン領域検出器の適用；ヘッセアフィン領域検出器の適用；スケール不変特徴変換の適用；スケールスペース極値検出器の適用；局所特徴検出器の適用；高速化堅牢特徴アルゴリズムの適用；勾配位置及び方向のヒストグラムアルゴリズムの適用；方向付けられた勾配記述子のヒストグラムの適用；Ｄｅｒｉｃｈｅエッジ検出器の適用；差動エッジ検出器の適用；時空関心点検出器の適用；モラベックコーナー検出器の適用；キャニーエッジ検出器の適用；ガウスフィルタのラプラス演算子の適用；差分ガウスフィルタの適用；ソーベル（Ｓｏｂｅｌ）演算子の適用；ラプラス演算子の適用；シャール演算子の適用；プレウィット演算子の適用；ロバーツ演算子の適用；キルシュ演算子の適用；ハイパスフィルタの適用；ローパスフィルタの適用；フーリエ変換の適用；ラドン変換の適用；ハフ変換の適用；ウェーブレット変換の適用；閾値処理；バイナリ画像の生成、のうちの１つ以上を含み得る。関心領域は、ユーザが手動で決定してもよく、又は、光センサによって生成された画像内の特徴を認識するなどによって、自動的に決定されてもよい。
【0177】
例えば、照射源１１４は、複数の照射領域が、光センサ１１８、例えばＣＭＯＳ検出器上に生成されるように、点群を生成及び／又は投影するように構成されてよい。さらに、例えばスペックル及び／又は外来光及び／又は多重反射によるなどの外乱が、光センサ１１８に存在し得る。評価装置１２４は、少なくとも１つの関心領域、例えば、物体の縦方向座標の決定に使用される光ビームによって照射される１つ以上のピクセルを、決定するように適合され得る。例えば、評価装置１２４は、フィルタリング方法、例えば、ブロブ分析及び／又はエッジフィルタ及び／又は物体認識方法を実行するように適合されてよい。
【0178】
評価装置１２４は、少なくとも１つの画像補正を行うように構成されてよい。画像補正は、少なくとも１つの背景減算を含み得る。評価装置１２４は、例えば、さらなる照射なしの画像化によって、ビームプロファイルから背景光からの影響を除去するように適合されてよい。
【0179】
反射特徴の各々は、少なくとも１つのビームプロファイルを含む。ビームプロファイルは、台形ビームプロファイル；三角形ビームプロファイル；円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置は、ビームプロファイルの分析により、反射特徴の各々についてビームプロファイル情報を決定するように構成される。
【0180】
評価装置１２４は、ビームプロファイルの分析によって各反射特徴の少なくとも１つの縦方向座標ｚＤＰＲを決定するように構成されている。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも１つを含み得る。評価装置１２４は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び／又は正規化及び／又はフィルタリングするように構成されることができる。評価装置１２４は、空間周波数分析及び／又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行されてよく、中心までの同じ距離にある全ての強度を平均化することができる。評価装置１２４は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置１２４は、例えば、照射なしの画像化によって、ビームプロファイルから背景光の影響を除去するように構成されてもよい。
【0181】
評価装置１２４は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについて縦方向座標ｚＤＰＲを決定するように構成され得る。光子比からの深度（ＤＰＲ）技術に関しては、ＷＯ２０１８／０９１６４９Ａ１、ＷＯ２０１８／０９１６３８Ａ１及びＷＯ２０１８／０９１６４０Ａ１を参照し、その全内容は参照により含まれるものとする。
【0182】
評価装置１２４は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。ビームプロファイルを決定は、光センサ１１８によって提供される少なくとも１つの反射特徴を識別すること、及び／又は光センサ１１８によって提供される少なくとも１つの反射特徴を選択すること、及び反射特徴の少なくとも１つの強度分布を評価することを含むことができる。一例として、画像の領域は、画像を通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも１つのピクセルを決定することなどによって決定され得、断面軸が照射の中心を通って選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
【0183】
反射特徴の１つのビームプロファイルの分析は、ビームプロファイルの少なくとも１つの第１エリア及び少なくとも１つの第２エリアを決定することを含み得る。ビームプロファイルの第１エリアは、エリアＡ１であり得、ビームプロファイルの第２エリアは、エリアＡ２であり得る。評価装置１２４は、第１エリアと第２エリアとを積分するように構成されてよい。評価装置は、積分された第１エリアと積分された第２エリアを除算すること、積分された第１エリアと積分された第２エリアの倍数を除算すること、積分された第１エリアと積分された第２エリアの線形結合を除算することのうちの１以上によって、結合信号、特に商Ｑを導出するように構成され得る。評価装置１２４は、ビームプロファイルの少なくとも２つのエリアを決定するように、及び／又は、ビームプロファイルを、ビームプロファイルの異なるエリアを含む少なくとも２つのセグメントに分割するように、構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置１２４は、２つ、３つ、４つ、５つ、又は最大１０個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置１２４は、光スポットをビームプロファイルの少なくとも２つのエリアに分割するように、及び／又は、ビームプロファイルを、ビームプロファイルの異なるエリアを含む少なくとも２つのセグメントに分割するように、構成されてよい。評価装置１２４は、少なくとも２つのエリアについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置１２４は、決定された積分の少なくとも２つを比較するように構成されてよい。具体的には、評価装置１２４は、ビームプロファイルの少なくとも１つの第１エリアと少なくとも１つの第２エリアを決定するように構成されてよい。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第１エリアとビームプロファイルの第２エリアは、領域が一致していなくてよい。例えば、評価装置１２４は、ＣＭＯＳセンサのセンサ領域を、少なくとも２つのサブ領域に分割するように構成されてよく、評価装置は、ＣＭＯＳセンサのセンサ領域を、少なくとも１つの左側部分と少なくとも１つの右側部分、及び／又は少なくとも１つの上部分と少なくとも１つの下部分、及び／又は少なくとも１つの内部分と少なくとも１つの外部分、とに分割するように構成され得る。
【0184】
追加的又は代替的に、ディスプレイ装置１１０は、少なくとも２つの光センサ１１８を備えてよく、第１光センサ及び第２光センサの感光エリアは、第１光センサが反射特徴のビームプロファイルの第１エリアを決定するよう適合され、第２光センサが反射特徴のビームプロファイルの第２エリアを決定するよう適合されるように配置され得る。評価装置１２４は、第１エリアと第２エリアとを積分するように適合されていてよい。
【0185】
一実施形態では、Ａ１は、光センサ上の特徴点の全体又は完全なエリアに対応し得る。Ａ２は、光センサ上の特徴点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、特徴点の全エリアと比べてより小さくてもよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の０．１～０．９、好ましくは全半径の０．４～０．６の半径を有してよい。
【0186】
評価装置１２４は、第１エリアと第２エリアを除算すること、第１エリアと第２エリアの倍数を除算すること、第１エリアと第２エリアの線形結合を除算することのうちの１つ以上によって商Ｑを導出するように構成されてよい。評価装置１２４は、
によって商Ｑを導出するように構成されてよく、式中、ｘ及びｙは横方向座標、Ａ１、Ａ２はそれぞれビームプロファイルの第１エリア及び第２エリア、Ｅ（ｘ、ｙ）はビームプロファイルを表す。
【数67】
【0187】
評価装置１２４は、縦方向座標を決定するために、商Ｑと縦方向座標の間の少なくとも１つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの１つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの所定の関係を記憶するための少なくとも１つのデータ記憶装置を備えてよい。
【0188】
評価装置１２４は、ゼロ次と高次の全ての反射特徴について距離を計算する少なくとも１つの光子比からの深度アルゴリズムを実行するように構成されてよい。
【0189】
第１画像の評価は、識別された反射特徴を輝度に関してソートすることを含む。ソートすることは、輝度に関して、特に、最大の輝度を有する反射特徴から始めて、続いて、輝度が減少する反射特徴へと、反射特徴のシーケンスをさらなる評価のために割り当てることを含み得る。最も明るい反射特徴がＤＰＲの計算に優先される場合は、縦方向座標ｚＤＰＲの決定の堅牢性を高めることができる。これは主に、回折格子のゼロ次の反射特徴が、より高次の偽の特徴よりも常に明るいためである。
【0190】
評価装置１２４は、縦方向座標ｚＤＰＲ使用することによって、反射特徴を対応する照射特徴に明確にマッチングするように構成されている。光子比からの深度技術を用いて決定された縦方向座標は、いわゆる対応問題を解決するために用いられることができる。そのようにして、反射特徴ごとの距離情報は、既知のレーザプロジェクタグリッドの対応関係を見出すのに使用されることができる。
【0191】
反射特徴に対応する照射特徴は、エピポーラ幾何学を使用して決定され得る。エピポーラ幾何学の説明については、例えば、Ｘ．Ｊｉａｎｇ，Ｈ．Ｂｕｎｋｅ：“Ｄｒｅｉｄｉｍｅｎｓｉｏｎａｌｅｓ Ｃｏｍｐｕｔｅｒｓｅｈｅｎ”シュプリンガー、ベルリンハイデルベル，１９９７年の第２章を参照されたい。エピポーラ幾何学では、照射画像、すなわち、歪みのない照射パターンと第１画像が、異なる空間位置及び／又は固定距離を有する空間方向で決定された画像であり得ると想定することができる。距離は、ベースラインとも呼ばれる相対距離であり得る。照射画像は、参照画像としても示される場合がある。評価装置１２４は、参照画像内のエピポーラ線を決定するように適合されてよい。参照画像と第１画像の相対位置は既知であり得る。例えば、参照画像と第１画像の相対位置は、評価装置の少なくとも１つの記憶ユニットに記憶されてよい。評価装置１２４は、第１画像の選択された反射特徴からそれが発する現実世界の特徴へ延びる直線を決定するように適合され得る。したがって、直線は、選択された反射特徴に対応する、可能な物体特徴を含み得る。直線とベースラインはエピポーラ平面を展開する。参照画像が第１画像とは異なる相対的配置で決定されるため、対応する可能な物体の特徴は、参照画像内のエピポーラ線と呼ばれる直線上に画像化され得る。エピポーラ線は、エピポーラ平面と参照画像の交差であり得る。したがって、第１画像の選択された特徴に対応する参照画像の特徴は、エピポーラ線上に位置する。
【0192】
照射特徴を反射したシーンの物体までの距離に応じて、照射特徴に対応する反射特徴は、第１画像１２２内で変位され得る。参照画像は、選択された反射特徴に対応する照射特徴が画像化されるであろう少なくとも１つの変位領域を含んでよい。変位領域は、１つの照射特徴のみを含んでよい。変位領域は、複数の照射特徴を含んでよい。変位領域は、エピポーラ線又はエピポーラ線の一部を含むことができる。変位領域は、複数のエピポーラ線又は複数のエピポーラ線の複数の部分を含むことができる。変位領域は、エピポーラ線に沿って延在してもよく、エピポーラ線に直交して延在してもよく、又はその両方であってもよい。評価装置１２４は、エピポーラ線に沿って照射特徴を決定するように適合されてよい。評価装置１２４は、ｚ±εに対応するエピポーラ線に沿った変位領域、又はエピポーラ線に直交する変位領域を決定するために、結合信号Ｑから反射特徴の縦方向座標ｚ及び誤差間隔±εを決定するように適合されていてよい。結合信号Ｑを用いた距離測定の測定不確実性は、測定不確実性が方向によって異なる可能性があるため、第２画像において非円形の変位領域を生じる可能性がある。具体的には、１つ又は複数のエピポーラ線に沿った測定不確実性は、１つ又は複数のエピポーラ線に対して直交する方向における測定不確実性よりも大きくなる可能性がある。変位領域は、１つ又は複数のエピポーラ線に対して直交する方向に拡張を含み得る。評価装置１２４は、選択された反射特徴を、変位領域内の少なくとも１つの照射特徴とマッチングするように適合されてよい。評価装置１２４は、決定された縦方向座標ｚＤＰＲを考慮した少なくとも１つの評価アルゴリズムを使用することによって、第１画像の選択された特徴を変位領域内の照射特徴とマッチングするように適合されてよい。評価アルゴリズムは、線形スケーリングアルゴリズムであってよい。評価装置１２４は、変位領域に最も近い、及び／又は変位領域内のエピポーラ線を決定するように適合され得る。評価装置は、反射特徴の画像位置に最も近いエピポーラ線を決定するように適合され得る。エピポーラ線に沿った変位領域の範囲は、エピポーラ線に直交する変位領域の範囲よりも大きいことがあり得る。評価装置１２４は、対応する照射特徴を決定する前に、エピポーラ線を決定するように適合され得る。評価装置１２４は、各反射特徴の画像位置の周りの変位領域を決定し得る。評価装置１２４は、例えば、変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることなどにより、反射特徴の各画像位置の各変位領域にエピポーラ線を割り当てるように適合され得る。評価装置１２４は、割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を決定することによって、反射特徴に対応する照射特徴を決定するように適合され得る。
【0193】
追加的に又は代替的に、評価装置１２４は以下のステップ：
－ 各反射特徴の画像位置に対する変位領域を決定すること；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることによるなど、各反射特徴の変位領域にエピポーラ線を割り当てること；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を割り当てることによるなど、各反射特徴に少なくとも１つの照射特徴を割り当て及び／又は決定すること、
を実行するように構成されてもよい。
－ 各反射特徴の画像位置に対する変位領域を決定すること；
－ 変位領域に最も近いエピポーラ線、及び／又は変位領域内のエピポーラ線、及び／又はエピポーラ線に直交する方向に沿った変位領域に最も近いエピポーラ線を割り当てることによるなど、各反射特徴の変位領域にエピポーラ線を割り当てること；
－ 割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられた変位領域内の照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域に最も近い照射特徴、及び／又は割り当てられたエピポーラ線に沿った割り当てられた変位領域内の照射特徴を割り当てることによるなど、各反射特徴に少なくとも１つの照射特徴を割り当て及び／又は決定すること、
を実行するように構成されてもよい。
【0194】
追加的に又は代替的に、評価装置１２４は、例えば反射特徴及び／又は照射画像内のエピポーラ線の距離を比較することによって、及び／又は、照射特徴のε加重距離及び／又は照射画像内のエピポーラ線の誤差加重距離を比較することにより、そして、より短い距離及び／又はε加重距離のエピポーラ線及び／又は照射特徴を、照射特徴及び／又は反射特徴に割り当てられることなどにより、複数のエピポーラ線及び／又は反射特徴に割り当てられる照射特徴の間で決定するように適合されていてもよい。
【0195】
上述したように、回折格子により、複数の反射特徴、例えば、各照射特徴について１つの真の特徴と複数の偽の特徴が生成される。マッチングは、最も明るい反射特徴から始めて、反射特徴の輝度を減少させながら行われる。同じマッチングされた照射特徴には他の反射特徴を割り当てることはできない。ディスプレイのアーチファクトのため、生成された偽の特徴は一般に真の特徴よりも暗い。反射特徴を輝度によってソートすることにより、より明るい反射特徴が、対応マッチングには優先される。照射特徴の対応関係が既に使用されている場合、偽の特徴は、使用された、つまりマッチングした照射特徴に割り当てることができない。
【0196】
図２Ａは、単一の光スポッを含む照射パターンについて、ディスプレイ１１２なしのシミュレートされた第１画像１２２を示している。図２Ｂは、ディスプレイ１１２の背後にある光センサ１１８によってキャプチャされた第１画像１２２を示す。回折格子が複数のスポットを生成していることが観察される。図２Ｂでは、真の特徴は参照符号１２６で示され、例示的な偽の特徴は参照符号１２８で示されている。図２Ｃは、ディスプレイ１１２の背後にある光センサ１１８によってキャプチャされた第１画像１２２のさらなる例を示し、この場合は、照射パターンは投影されたレーザグリッドである。複数のスポットが回折格子に起因して現れている。
【0197】
図３Ａは、投影されたレーザスポットを有するシーンのさらなる例示的な第１画像１２２を示している。回折格子１３０のゼロ次と高次１３２の反射特徴が示されている。図３Ｂ及び図３Ｃは、反射特徴と照射特徴のマッチングを示している。図３Ｂ及び３Ｃの左側部分には、第１画像１２２が示され、右側部分には、２つの照射特徴を含む対応する照射パターンが示されている。第１画像１２２は、６つの反射特徴を含むことができる。評価装置１２４は、第１画像１２２における反射特徴を識別し、それらを輝度に関してソートするように構成されてよい。図３Ｂに示すように、反射特徴のうちの２つは、他の反射特徴と比較してより明るくてよい。評価装置１２４は、ビームプロファイル分析を開始し、照射特徴と円１３４で示された２つのより明るい反射特徴のうちの１つとのマッチングを開始してよい。２つのより明るい反射特徴の各々は、矢印で示された１つの照射特徴とマッチングされてよい。評価装置１２４は、前記マッチングした特徴を真の特徴として分類してよい。図３Ｃに示されるように、照射パターンの２つの照射特徴は、より明るい反射特徴と既にマッチングされている。同じマッチングされた照射特徴には他の反射特徴を割り当てることはできない。反射特徴を輝度でソートすることで、より明るい反射特徴が対応マッチングには優先される。照射特徴の対応関係が既に使用されている場合、偽の特徴を、使用された照射特徴、すなわちマッチングされた照射特徴に割り当てることはできない。したがって、円１３６で示される２つの残りの反射特徴は、対応する照射特徴を有さず、パターンのどの点にも割り当てることができない。前記残りの反射特徴は、評価装置１２４によって偽の特徴として分類される。
【0198】
評価装置１２４は、偽の特徴を排除し、縦方向座標ｚＤＰＲを使用することによって、真の特徴のための深度マップを生成するように構成される。ディスプレイ装置１１０は、シーン、例えば顔のシーンから、３Ｄマップを生成するために使用されてよい。
【0199】
深度マップは、三角測量及び／又はデフォーカスからの深度及び／又は構造化光などのさらなる深度測定技術を使用することによってさらに精密化されることができる。評価装置は、三角測量及び／又はデフォーカスからの深度及び／又は構造化光技術を使用して、反射特徴のそれぞれについて少なくとも１つの第２縦方向座標ｚｔｒｉａｎｇを決定するように構成されてよい。評価装置１２４は、第２縦方向座標ｚｔｒｉａｎｇと縦方向座標ｚＤＰＲの結合縦方向座標を決定するように構成されてよい。結合縦方向座標は、第２縦方向座標ｚｔｒｉａｎｇと縦方向座標ｚＤＰＲの平均値であり得る。結合縦方向座標は、深度マップの決定のために使用されることができる。
【0200】
図１Ｂに示されるように、ディスプレイ装置１１０は、さらなる照射源１３８を含んでいてよい。さらなる照射源１３８は、少なくとも１つの発光ダイオード（ＬＥＤ）を含み得る。さらなる照射源１３８は、視覚的スペクトル範囲内の光を生成するように構成されてよい。光センサ１１８は、シーンの少なくとも１つの二次元画像を含む少なくとも１つの第２画像を決定するように構成されてよい。さらなる照射源１３８は、第２画像の画像化のための追加の照射を提供するように構成されてよい。例えば、ディスプレイ装置１１０の構成は、追加のフラッド照射ＬＥＤによって拡張されることができる。さらなる照射源１３８は、ＬＥＤを用いて、特に、照射パターンなしで、顔などのシーンを照射してよく、光センサ１１８は、二次元画像をキャプチャするように構成されてよい。二次元画像は、顔検出及び検証アルゴリズムに使用され得る。
【0201】
ディスプレイ１１２のインパルス応答が既知である場合、光センサ１１８によってキャプチャされた歪んだ画像は修復されることができる。評価装置１２４は、回折格子関数ｇで第２画像Ｉ（Ｉ＝Ｉ０＊ｇ）をデコンボリューションすることによって、少なくとも１つの補正された画像Ｉ０を決定するように構成されてよい。回折格子関数は、インパルス応答とも呼ばれる。歪みのない画像は、デコンボリューションアプローチ、例えば、Ｖａｎ－Ｃｉｔｔｅｒｔ又はＷｉｅｎｅｒデコンボリューションによって復元され得る。
【0202】
図４に示されるように、ディスプレイ装置１１０は、回折格子関数ｇを決定するように構成されることができる。ディスプレイ装置１１０は、参照符号１４０で示される小さな単一の輝点を有する照射パターンで、黒いシーンを照射するように構成されてよい。キャプチャされた画像１４２は、回折格子関数であり得る。この手順は、較正時などに１回だけ実行されてよい。ディスプレイ１１２を通して画像化する場合でも補正された画像を決定するために、ディスプレイ装置１１０は、画像をキャプチャし、キャプチャされたインパルス応答ｇを用いてデコンボリューションアプローチを使用するように構成されてよい。結果として得られる画像は、ディスプレイのアーチファクトが少ない再構成画像であってよく、いくつかのアプリケーション、例えば顔認識に使用されることができる。図５Ａ～図５Ｃは、光センサ１１８でキャプチャされた二次元画像の例を示す。図５Ａでは、例示的なシーンは、ディスプレイ１１２の背後に設けられた光センサ１１８でキャプチャされた。図５Ｂでは、例示的なシーンは、ディスプレイ１１２なしで光センサ１１８でキャプチャされた。図５Ｃは、デコンボリューションアプローチで再構成された画像を示している。
【0203】
符号の説明
１１０ ディスプレイ装置
１１２ ディスプレイ
１１４ 照射源
１１６ ハウジング
１１８ 光センサ
１２０ 感光エリア
１２２ 第１画像
１２４ 評価装置
１２６ 真の特徴
１２８ 偽の特徴
１３０ ゼロ次回折格子
１３２ 高次
１３４ 円
１３６ 円
１３８ さらなる照射源
１４０ 黒いシーンを照射すること
１４２ キャプチャされた画像
１１０ ディスプレイ装置
１１２ ディスプレイ
１１４ 照射源
１１６ ハウジング
１１８ 光センサ
１２０ 感光エリア
１２２ 第１画像
１２４ 評価装置
１２６ 真の特徴
１２８ 偽の特徴
１３０ ゼロ次回折格子
１３２ 高次
１３４ 円
１３６ 円
１３８ さらなる照射源
１４０ 黒いシーンを照射すること
１４２ キャプチャされた画像
【先行技術文献】
【特許文献】
【0204】
【特許文献1】ＤＥ２０２０１８００３６４４Ｕ１
【特許文献2】ＵＳ９，８７０，０２４Ｂ２
【特許文献3】ＵＳ１０，０５７，５４１Ｂ２
【特許文献4】ＵＳ１０，２１５，９８８Ｂ２
【特許文献5】ＷＯ２０１８／０９１６４９Ａ１
【特許文献6】ＷＯ２０１８／０９１６３８Ａ１
【特許文献7】ＷＯ２０１８／０９１６４０Ａ１
【特許文献8】ＷＯ２０１９／０４２９５６Ａ１
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】