(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-24
(54)【発明の名称】物体認識のための検出器
(51)【国際特許分類】
G01B 11/25 20060101AFI20230316BHJP
G06T 7/55 20170101ALI20230316BHJP
G06T 7/70 20170101ALI20230316BHJP
【FI】
G01B11/25 H
G06T7/55
G06T7/70 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022546630
(86)(22)【出願日】2021-01-29
(85)【翻訳文提出日】2022-10-03
(86)【国際出願番号】 EP2021052075
(87)【国際公開番号】W WO2021152070
(87)【国際公開日】2021-08-05
(32)【優先日】2020-01-31
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】517267802
【氏名又は名称】トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング
(74)【代理人】
【識別番号】100100354
【氏名又は名称】江藤 聡明
(74)【代理人】
【識別番号】100167106
【氏名又は名称】倉脇 明子
(74)【代理人】
【識別番号】100194135
【氏名又は名称】山口 修
(74)【代理人】
【識別番号】100206069
【氏名又は名称】稲垣 謙司
(74)【代理人】
【識別番号】100185915
【氏名又は名称】長山 弘典
(72)【発明者】
【氏名】ライン,ベンヤミン
(72)【発明者】
【氏名】シンドラー,パトリク
(72)【発明者】
【氏名】シック,フリードリヒ
(72)【発明者】
【氏名】ウンガー,ヤコブ
(72)【発明者】
【氏名】シレン,ペーター
(72)【発明者】
【氏名】ベルナー,ニルス
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA04
2F065AA53
2F065BB05
2F065DD03
2F065FF04
2F065FF09
2F065GG04
2F065HH02
2F065JJ03
2F065MM16
2F065PP22
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ28
2F065QQ31
2F065UU01
5L096CA04
5L096CA17
5L096FA03
5L096FA04
5L096FA06
5L096FA67
5L096FA69
(57)【要約】
- 少なくとも1つの物体(112)を含む少なくとも1つのエリア(116)上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源(114)と;
- 少なくとも1つの感光エリア(122)を有する光センサ(120)であって、前記光センサ(120)は、前記エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成され、前記光センサ(120)は、前記照射特徴による照射に応答して前記エリア(116)によって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成されている、光センサ(120)と;
- 少なくとも1つの評価装置(124)であって、前記評価装置(124)は、前記第1画像及び前記第2画像を評価するように構成され、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記評価装置(124)は、それらのビームプロファイルの分析によって前記反射特徴の各々についてビームプロファイル情報を決定するように構成され、前記評価装置(124)は、前記決定されたビームプロファイル情報を使用して少なくとも1つの三次元画像を決定するように構成され、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含み、前記評価装置(124)は、前記幾何学的特徴の画像領域の内側に位置する反射特徴を識別するように、及び/又は前記幾何学的特徴の画像領域の外側に位置する反射特徴を識別するように構成されている、評価装置(124)と、
を有し、
前記評価装置(124)は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴のビームプロファイル情報から少なくとも1つの深度レベルを決定するように構成されており、
前記評価装置(124)は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴のビームプロファイル情報から前記物体の少なくとも1つの材料特性を決定するように構成されており、
前記評価装置(124)は、前記深度レベル及び/又は前記材料特性、ならびに前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体の少なくとも1つの位置及び/又は向きを決定するように構成されている、物体認識のための検出器(110)。
【選択図】
図1
【特許請求の範囲】
【請求項1】
物体認識のための検出器(110)であって、
- 少なくとも1つの物体(112)を含む少なくとも1つのエリア(116)上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源(114)と;
- 少なくとも1つの感光エリア(122)を有する光センサ(120)であって、前記光センサ(120)は、前記エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成され、前記光センサ(120)は、前記照射特徴による照射に応答して前記エリア(116)によって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成されている、光センサ(120)と;
- 少なくとも1つの評価装置(124)であって、前記評価装置(124)は、前記第1画像及び前記第2画像を評価するように構成され、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記評価装置(124)は、それらのビームプロファイルの分析によって前記反射特徴の各々についてビームプロファイル情報を決定するように構成され、前記ビームプロファイル情報は、前記光センサ(120)の感光エリア(122)上の光スポットの強度分布に関する情報であり、前記評価装置(124)は、前記決定されたビームプロファイル情報を使用して少なくとも1つの三次元画像を決定するように構成され、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含み、前記評価装置(124)は、前記幾何学的特徴の画像領域の内側に位置する反射特徴を識別するように、及び/又は前記幾何学的特徴の画像領域の外側に位置する反射特徴を識別するように構成されている、評価装置(124)と、
を有し、
前記評価装置(124)は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴のビームプロファイル情報から少なくとも1つの深度レベルを決定するように構成されており、
前記評価装置(124)は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴のビームプロファイル情報から前記物体の少なくとも1つの材料特性を決定するように構成されており、
前記評価装置(124)は、前記深度レベル及び/又は前記材料特性、ならびに前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体の少なくとも1つの位置及び/又は向きを決定するように構成されている、検出器(110)。
【請求項2】
前記第1画像及び前記第2画像は、異なる時点において決定される、請求項1に記載の検出器(110)
【請求項3】
前記幾何学的特徴は:形状、少なくとも1つのエッジの相対位置、少なくとも1つのボアホール、少なくとも1つの反射点、少なくとも1つの線、少なくとも1つの表面、少なくとも1つの円、少なくとも1つのディスク、物体(112)全体、物体(112)の一部、からなる群から選択される前記物体(112)の少なくとも1つの特徴的要素である、請求項1又は2に記載の検出器(110)。
【請求項4】
前記評価装置(124)は、少なくとも1つのデータ記憶装置(130)を備え、前記データ記憶装置(130)は、幾何学的特徴及び/又は前記物体(112)の形状及び/又はサイズに関する予め決定された又は予め定義された情報の少なくとも1つのテーブル及び/又は少なくとも1つのルックアップテーブルを含む、請求項1~3のいずれか1項に記載の検出器(110)。
【請求項5】
前記検出器(110)は、少なくとも1つの第1フィルタ要素(128)を含み、前記第1フィルタ要素(128)は、赤外スペクトル範囲の光を透過させ、他のスペクトル範囲の光を少なくとも部分的に遮断するように構成されている、請求項1~4のいずれか1項に記載の検出器(110)。
【請求項6】
前記照射パターンは、低い点密度を有する少なくとも1つの周期的な点パターンを含み、前記照射パターンは、視野あたり2500個以下の点を有する、請求項1~5のいずれか1項に記載の検出器(110)。
【請求項7】
前記検出器(110)は、少なくとも1つの制御ユニット(126)を含み、前記制御ユニット(126)は、前記光センサ(120)及び/又は前記照射源(114)を制御するように構成され、前記制御ユニット(126)は、前記照射パターンの投影及び/又は前記第2画像の画像化をトリガするように構成されている、請求項1~6のいずれか1項に記載の検出器(110)。
【請求項8】
前記制御ユニットは、前記照射パターンの投影のための露光時間を適合させるように構成されている、請求項7に記載の検出器(110)
【請求項9】
前記評価装置(124)は、光子比からの深度技術を使用することによって、前記反射特徴のそれぞれについて前記ビームプロファイル情報を決定するように構成されている、請求項1~8のいずれか1項に記載の検出器(110)。
【請求項10】
前記光センサ(120)は、少なくとも1つのCMOSセンサを含む、請求項1~9のいずれか1項に記載の検出器(110)。
【請求項11】
請求項1~10のいずれか1項に記載の少なくとも1つの検出器(110)が使用される物体認識のための方法であって、前記方法は、以下のステップ:
a)少なくとも1つの物体(112)を含む少なくとも1つのエリア(116)上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するステップと;
b)光センサ(120)を使用して、前記エリア(116)の少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するステップであって、前記光センサ(120)が少なくとも1つの感光エリア(122)有する、ステップと;
c)前記光センサ(120)を使用することによって、前記照射特徴による照射に応答して前記エリア(116)によって生成された複数の反射特徴を含む少なくとも1つの第2画像を決定するステップと;
d)少なくとも1つの評価装置(124)を使用することによって、前記第1画像を評価するステップであって、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含むステップと;
e)前記評価装置(124)を使用することによって、前記第2画像を評価するステップであって、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記第2画像の評価は、ビームプロファイルの分析によって、前記反射特徴の各々についてビームプロファイル情報を決定することと、前記決定されたビームプロファイル情報を用いて少なくとも1つの三次元画像を決定することを含むステップと;
f)前記評価装置(124)を使用することによって、前記幾何学的特徴の内側に位置する反射特徴を識別し、及び/又は、前記幾何学的特徴の外側に位置する反射特徴を識別するステップと;
g)前記評価装置(124)を使用することによって、前記幾何学的特徴の内側及び/又は外側に位置する反射特徴の前記ビームプロファイル情報から少なくとも1つの深度レベルを決定するステップと;
h)前記評価装置(124)を使用することによって、前記幾何学的特徴の画像領域の内側及び/又は外側に位置する前記反射特徴の前記ビームプロファイル情報から前記物体(112)の少なくとも1つの材料特性を決定するステップと;
i)前記評価装置(124)を使用することによって、前記深度レベル及び/又は前記材料特性、ならびに前記物体(112)の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体(112)の少なくとも1つの位置及び/又は向きを決定するステップと、
を含む、方法。
【請求項12】
検出器に関する請求項1~10のいずれか1項に記載の検出器(110)の使用であって、使用目的が、交通技術における位置測定;娯楽用途;セキュリティ用途;監視用途;安全用途;ヒューマンマシンインターフェイス用途;追跡用途;写真用途;画像化用途又はカメラ用途;少なくとも1つの空間マップを生成するためのマッピング用途;車両用のホーミング又は追跡ビーコン検出器;屋外用途;モバイル用途;通信用途;マシンビジョン用途;ロボット用途;品質管理用途;製造用途、からなる群から選択される、検出器(110)の使用。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体認識のための検出器及び方法、ならびに検出器の様々な使用に関する。本発明による装置、方法及び使用は、具体的には、例えば、日常生活、セキュリティ技術、ゲーミング、交通技術、生産技術、芸術、文書又は技術目的のためのデジタル写真又はビデオ撮影などの写真撮影、安全技術、情報技術、農業、作物保護、メンテナンス、化粧品、医療技術、又は科学の様々な分野において採用され得る。ただし、他の適用も可能である。
【背景技術】
【0002】
金属物体の自動物体認識は困難である。金属物体は、角度によって照射源からの光を反射しないか、又はわずかにしか反射しないため、信頼性の高い三次元画像の生成は不可能である。金属物体の自動認識を可能にするために、3D測定が利用可能なデータを提供できない場合でも、3D画像情報と2D画像情報を組み合わせることが知られている。2D画像は、3D測定では記録できない画像情報を含んでいる可能性がある。しかし、3D飛行時間(ToF)カメラなどの3D画像センサでは、2D画像情報はないか、又は、解像度が非常に制限された2D画像情報しか利用できない。さらに、画像解析ソフトウェアによる正しい分析を確実にするために、画像キャプチャ中に2D画像又は3D画像が記録されたかどうかを判断する必要がある。これは、リアルタイム動作がないため、カメラのソフトウェアドライバコントローラを単に使用することでは不可能である。既知の方法では、さらなるカメラを用いることによって3Dデータに加えて高解像度の2D画像データが記録される。しかし、さらなるカメラの位置及び視角は、3Dカメラに加えてキャリブレーションが必要である。このキャリブレーションは、温度変化又は機械的ストレスによるデキャリブレーションなど、外部からの影響によりさらに不確実性が増す。さらに、2D及び3Dの画像を記録するために、両方のカメラシステムを同期させることは非常に複雑である。
【0003】
構造化光のような他の技術は、原理的に高解像度の2D画像データを生成する可能性がある。しかし、2D画像の記録のためにレーザをシャットダウンさせる必要があり、また、赤外波長領域のバンドパスフィルタを使用する場合は、画像記録のために追加の照射を必要とするため、2D画像化は行われない。
【0004】
US2016/0238377A1は、三次元表面のトポグラフィをモデル化するためのモデリング構成を記載している。この構成は、実質的に単色でコヒーレントな電磁放射を生成するように構成された光源と;人間の目によって検出される波長だけでなく光源によって放射される波長で、モデル化される表面を撮影するように構成されたカメラと;第1の光源に関連して設けられた格子とを備える。光源と該光源に関連して設けられた格子は、モデル化される表面上に既知の幾何学形状の回折パターンを生成するように組み合わせて構成される。
【0005】
Chen Guo-Hua等による「Transparent object detection and location based on RGB-D cam-era」,JOURNAL OF PHYSICS:CONFERENCE SERIES,vol.1183,2019年3月1日,012011頁,XP055707266,GB ISSN:1742-6588,DOI:10.1088/1742-6596/1183/1/012011は、深度画像、RGB画像、IR画像を利用した透明な物体の検出及び位置特定方法について記載している。検出プロセスでは、まずアクティブ深度センサ(Re-alSense)が深度画像から透明な候補を取得し、次にRGB画像とIR画像から対応する候補を個別に抽出する。続いて、SIFT機能を使用して候補の中から透明なものを認識する透明候補分類アルゴリズムが提示されている。位置特定プロセスでは、RGB画像とIR画像のグループが、光軸が物体の置かれている平面の法線方向に垂直になるようにカメラの向きを調整することによって得られた。そして、RGB画像とIR画像における物体の輪郭がそれぞれ抽出される。最後に、2つの輪郭のステレオマッチングにより三次元物体が再構築され、物体の現在のポーズ情報が最終的に算出される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、本発明の目的は、既知の装置及び方法の上述の技術的課題に対する装置及び方法を提供することである。具体的には、本発明の目的は、少ない技術的努力で、かつ、技術的資源及びコストの観点から低い要求で、信頼性の高い物体認識を可能にする装置及び方法を提供することである。
【課題を解決するための手段】
【0007】
この問題は、独立特許請求項の特徴を備えた本発明によって解決される。個別に又は組み合わせて実現することができる本発明の有利な展開は、従属請求項及び/又は以下の明細書及び詳細な実施形態に示されている。
【0008】
以下で使用される場合、「有する」、「備える」、又は「含む」という用語、又はそれらの任意の文法上の変形は、非排他的な方法で使用される。したがって、これらの用語は、これらの用語によって導入された特徴の他に、この文脈で説明されている実体にさらなる特徴が存在しない状況と、1つ以上のさらなる特徴が存在する状況の両方を指し得る。一例として、「AはBを有する」、「AはBを備える」、及び「AはBを含む」という表現は、B以外にAに他の要素が存在しない状況(つまり、Aは専らかつ排他的にBから構成される状況)と、Bに加えて、1つ以上の要素、例えば要素C、要素CとD、又はさらに要素などが実体Aに存在する状況の双方を指し得る。
【0009】
さらに、「少なくとも1つ」、「1つ以上」という用語、又は、特徴もしくは要素が1回以上存在し得ることを示す同様の表現は、典型的には、それぞれの特徴又は要素を導入するときに1回だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴又は要素を参照するときに、「少なくとも1つ」又は「1つ以上」という表現は、それらの特徴又は要素が1回以上現れ得るという事実にもかかわらず、繰り返されないことに留意されたい。
【0010】
さらに、以下で使用される場合、「好ましくは」、「より好ましくは」、「特に」、「より特に」、「具体的に」、「より具体的に」という用語、又は、同様の用語は、代替の可能性を制限することなく、任意の特徴に関連して使用される。したがって、これらの用語によって導入される特徴は、任意の特徴であり、いかなる意味でも特許請求の範囲を限定することを意図するものではない。本発明は、当業者であれば認識するように、代替的特徴を用いて実施することができる。同様に、「本発明の一実施形態では」又は同様の表現によって導入される特徴は、本発明の代替の実施形態に関するいかなる制限もなく、本発明の範囲に関するいかなる制限もなく、及び、そのような方法で導入される特徴を本発明の他の任意の又は非任意の特徴と組み合わせる可能性に関するいかなる制限もなく、任意の特徴であることが意図されている。
【0011】
本発明の第1の態様では、物体を認識するための検出器が開示されている。
【0012】
本明細書で使用される場合、「検出器」という用語は、一般に、少なくとも1つの物体を決定及び/又は検出及び/又は感知するように構成された任意のセンサ装置を指し得る。検出器は、固定式装置であっても、又は移動式装置であってもよい。さらに、検出器は独立型装置であってもよく、あるいはコンピュータ、車両又はいかなる他の装置のような別の装置の一部を形成していてもよい。さらに、検出器は携帯型装置であってよい。検出器の他の実施形態も実現可能である。
【0013】
本明細書で使用される場合、「物体」という用語は、一般に、その向き及び/又は位置が決定されるべき任意の物理的な物体を指し得る。物体は、少なくとも1つの物品であってよい。例えば、物体は、箱、ボトル、皿、紙、鞄、ネジ、ワッシャー、機械加工された金属片、ゴム製シール、プラスチック片、包装、梱包材からなる群から選択される少なくとも1つの物体であってよい。本明細書で使用される場合、「物体認識」という用語は、一般に、物体を識別し、物体の位置及び/又は向きに関する少なくとも1つの情報を決定することを指し得る。本明細書で使用される場合、「位置」という用語は、空間における物体及び/又は物体の少なくとも1つの部分の位置に関する少なくとも1つの情報項目を指し得る。したがって、少なくとも1つの情報項目は、物体の少なくとも1つの点と少なくとも1つの検出器との間の少なくとも1つの距離を意味し得る。距離は、縦方向座標であってもよく、又は物体の点の縦方向座標を決定するのに寄与してもよい。追加的又は代替的に、物体及び/又は物体の少なくとも1つの部分の位置に関する情報の1つ以上の他の項目が決定されてよい。一例として、追加的に、物体及び/又は物体の少なくとも1つの部分の少なくとも1つの横方向座標が決定されてもよい。したがって、物体の位置は、物体及び/又は物体の少なくとも1つの部分の少なくとも1つの縦方向座標を意味してよい。追加的に又は代替的に、物体の位置は、物体及び/又は物体の少なくとも1つの部分の少なくとも1つの横方向座標を意味し得る。本明細書で使用される場合、「向き」という用語は、空間における物体の角度位置を指す。向きは、3つの空間角度によって与えられ得る。
【0014】
検出器は:
- 少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源と;
- 少なくとも1つの感光エリアを有する光センサであって、前記光センサは、前記エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成され、前記光センサは、前記照射特徴による照射に応答して前記エリアによって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成されている、光センサと;
- 少なくとも1つの評価装置であって、前記評価装置は、前記第1画像及び前記第2の画像を評価するように構成され、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記評価装置は、それらのビームプロファイルの分析によって前記反射特徴の各々のビームプロファイル情報を決定するように構成され、前記評価装置は、前記決定されたビームプロファイル情報を使用して少なくとも1つの三次元画像を決定するように構成され、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含み、前記評価装置は、前記幾何学的特徴の画像領域の内側に位置する反射特徴を識別するように、及び/又は前記幾何学的特徴の画像領域の外側に位置する反射特徴を識別するように構成されている、評価装置と、を有し、
前記評価装置は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴の前記ビームプロファイル情報から少なくとも1つの深度レベルを決定するように構成されており、
前記評価装置は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴の前記ビームプロファイル情報から前記物体の少なくとも1つの材料特性を決定するように構成されており、
前記評価装置は、前記深度レベル及び/又は前記材料特性、ならびに前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体の少なくとも1つの位置及び/又は向きを決定するように構成されている。
【0015】
物体は、シーン内に位置していてよく、及び/又は、周辺環境を有していてもよい。具体的には、物体は、少なくとも1つのエリア内に位置し得る。本明細書で使用される場合、この文脈における「エリア」という用語は、一般に、少なくとも1つの表面及び/又は領域を指し得る。本明細書で使用される場合、「物体を含むエリア」という用語は、一般に、物体が位置する少なくとも1つの表面、及び/又は物体が位置する少なくとも1つの領域を指し得る。エリアは、周辺環境などの追加の要素を含んでよい。
【0016】
照射源は、少なくとも1つの物体を含む少なくとも1つのエリア上に複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成される。本明細書で使用される場合、「照射源」という用語は、一般に、物体の照射のために少なくとも1つの照射光ビームを提供するように適合された少なくとも1つの任意の装置を指し得る。照射源は、物体を直接的又は間接的に照射するように適合されてよく、照射パターンは、物体によって反射又は散乱され、それによって、少なくとも部分的に検出器に向けられる。照射源は、例えば、光ビームを反射する物体に光ビームを向けることによって、物体を照射するように適合されてよい。照射源は、物体を照射するための照射光ビームを生成するように構成されてよい。
【0017】
照射源は、少なくとも1つの光源を含んでよい。照射源は、複数の光源を含んでいてもよい。照射源は、人工照射源、特に少なくとも1つのレーザ源、及び/又は少なくとも1つの白熱灯、及び/又は少なくとも1つの半導体光源、例えば少なくとも1つの発光ダイオード、特に有機及び/又は無機発光ダイオードを含み得る。一例として、照射源によって放出される光は、300~1100nm、特に500~1100nmの波長を有し得る。追加的に又は代替的に、780nm~3.0μmの範囲などの赤外スペクトル範囲の光が使用され得る。具体的には、シリコンフォトダイオードが適用可能な特には700nm~1100nmの範囲の近赤外領域部分の光が使用されることができる。照射源は、赤外領域において少なくとも1つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
【0018】
本明細書で使用される場合、「光線」という用語は、一般に、エネルギーの流れの方向を指し示す光の波面に垂直な線を指す。本明細書で使用される場合、「ビーム」という用語は、一般に、光線の集まりを指す。以下では、「光線」及び「ビーム」という用語を同義語として使用される。本明細書でさらに使用される場合、「光ビーム」という用語は、一般に光の量を指し、具体的には、本質的に同じ方向に進む光の量であって、光ビームが拡張角又は広がり角を有する可能性を含む。光ビームは空間的広がりを有することができる。具体的には、光ビームは、非ガウスビームプロファイルを有することができる。ビームプロファイルは台形ビームプロファイル;三角形ビームプロファイル;円錐形ビームからなる群から選択されてよい。台形ビームプロファイルは、プラトー領域と少なくとも1つのエッジ領域とを有することができる。光ビームは、具体的には、以下でさらに詳細に概説するように、ガウス光ビーム又はガウス光ビームの線形結合であり得る。しかしながら、他の実施形態も可能である。転送装置は、ビームプロファイル、特にビームプロファイルの形状を調整、定義、及び決定することの1つ以上のために構成されている。
【0019】
照射源は、単一波長で光を放出するように構成されることができる。具体的には、波長は、近赤外領域にあってよい。近赤外領域では、以下に概説するように、人間の皮膚は、独特の反射ビームプロファイル及び顕著な吸収と拡散を示すため、近赤外光を使用することは有利であり得る。他の実施形態では、照射は、他の波長チャネルでの追加の測定を可能にする複数の波長を有する光を放出するように適合されてよい。
【0020】
照射源は、少なくとも1つの多重ビーム光源(multiple beam light source)であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源は、少なくとも1つのレーザ源と1つ以上の回折光学要素(DOE)を含んでいてよい。具体的には、照射源は、少なくとも1つのレーザ及び/又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ(bragg)反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が採用されてよい。追加的に又は代替的に、LED及び/又は電球などの非レーザ光源が使用されてもよい。照射源は、照射パターンを生成するように適合された1つ以上の回折光学要素(DOE)を含んでよい。例えば、照射源は、点群を生成及び/又は投影するように適合されてよく、例えば、照射源は、少なくとも1つのデジタル光処理プロジェクタ、少なくとも1つのLCoSプロジェクタ、少なくとも1つの空間光変調器;少なくとも1つの回折光学要素;発光ダイオードの少なくとも1つのアレイ;レーザ光源の少なくとも1つのアレイ、のうちの1つ以上を含み得る。それらの一般的に定義されたビームプロファイル及び取扱い性の他の特性を考慮すると、照射源として少なくとも1つのレーザ源の使用が特に好ましい。照射源は、検出器のハウジングに一体化されてよい。
【0021】
照射源は、スマートフォンなどのモバイル装置に取り付けられるものか、又はそれに一体化されるものかの1つであり得る。照射源は、オートフォーカス機能など、画像を決定する際に使用され得るさらなる機能のために使用され得る。照射装置は、モバイル装置内に一体化されることができ、又は、例えば、USBコネクタ、もしくはヘッドホンジャックなどの電話コネクタなどのコネクタを使用するなどによって、モバイル装置に取り付けられることができる。
【0022】
さらに、照射源は、変調された光又は変調されていない光を放出するように構成されてよい。複数の照射源を使用する場合、異なる照射源は異なる変調周波数を有することができ、該異なる変調周波数は、以下にさらに詳細に概説するように、後に、光ビームを区別するために使用されることができる。
【0023】
照射源によって生成された1つ又は複数の光ビームは、一般的に、光軸に平行に伝播してもよいし、又は、光軸に対して傾斜して伝播してもよく、例えば、光軸と角度を含んで伝播してもよい。検出器は、1つ又は複数の光ビームが検出器の光軸に沿って検出器から物体に向かって伝播するように構成されてよい。この目的のために、検出器は、照射光ビームを光軸上に偏向させるための少なくとも1つの反射要素、好ましくは少なくとも1つのプリズムを含んでいてよい。一例として、レーザ光ビームなどの1つ又は複数の光ビーム、及び光軸は、10°未満、好ましくは5°未満、さらには2°未満の角度を有してよい。しかし、他の実施形態も実現可能である。さらに、1つ又は複数の光ビームは、光軸上にあってもよいし、又は光軸から外れていてもよい。一例として、1つ又は複数の光ビームは、光軸に対して10mm未満、好ましくは5mm未満、さらには1mm未満の距離を有して、光軸と平行であってもよく、又は光軸と一致さえしていてもよい。
【0024】
本明細書で使用される場合、「少なくとも1つの照射パターン」という用語は、物体の少なくとも一部を照射するように適合された少なくとも1つの照射特徴を含む少なくとも1つの任意のパターンを指す。本明細書で使用される場合、「照射特徴」という用語は、パターンの少なくとも部分的に広がった少なくとも1つの特徴を指す。照射パターンは、単一の照射特徴を含んでよい。照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも1つの点パターン;少なくとも1つの線パターン;少なくとも1つのストライプパターン;少なくとも1つの市松模様パターン;周期的又は非周期的な特徴の配置を含む少なくとも1つのパターン、からなる群から選択されてよい。照射パターンは、三角形のパターン、長方形のパターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的及び/又は一定及び/又は周期的なパターンを含んでよい。照射パターンは、少なくとも1つの点;少なくとも1つの線;平行線又は交差線などの少なくとも2つの線;少なくとも1つの点と1つの線;周期的又は非周期的な特徴の少なくとも1つの配置;少なくとも1つの任意の形状の特徴からなる群から選択される少なくとも1つの照射特徴を示してよい。照射パターンは:少なくとも1つの点パターン、特に擬似ランダム点パターン;ランダム点パターン又は準ランダムパターン;少なくとも1つのソボル(Sobol)パターン;少なくとも1つの準周期的パターン;少なくとも1つの既知の特徴を含む少なくとも1つのパターン;少なくとも1つの規則的なパターン;少なくとも1つの三角形パターン;少なくとも1つの六角形パターン;少なくとも1つの長方形パターン;凸状の均一なタイル状体(tiling)を含む少なくとも1つのパターン;少なくとも1つの線を含む少なくとも1つの線パターン;平行線又は交差線などの少なくとも2つの線を含む少なくとも1つの線パターン、からなる群から選択される少なくとも1つのパターンを含むことができる。例えば、照射源は、点群を生成及び/又は投影するように適合され得る。照射源は、照射パターンが複数の点パターンを含むことができるように点群を生成するように適合された少なくとも1つの光プロジェクタを含み得る。照射源は、照射源によって生成された少なくとも1つの光ビームから照射パターンを生成するように適合された少なくとも1つのマスクを含むことができる。
【0025】
照射パターンの2つの特徴間の距離及び/又は少なくとも1つの照射特徴の面積は、画像内の錯乱円に依存し得る。上記で概説したように、照射源は、少なくとも1つの照射パターンを生成するように構成された少なくとも1つの光源を含んでよい。具体的には、照射源は、レーザ放射を生成するように割り当てられた少なくとも1つのレーザ源及び/又は少なくとも1つのレーザダイオードを含む。照射源は、少なくとも1つの回折光学要素(DOE)を含んでよい。検出器は、少なくとも1つの点パターンを投影するように適合された、少なくとも1つのレーザ源及びDOEなどの少なくとも1つの点プロジェクタを含んでよい。
【0026】
本明細書でさらに使用される場合、「少なくとも1つの照射パターンを投影する」という用語は、少なくとも1つの物体を照射するための少なくとも1つの照射パターンを提供することを指す。
【0027】
例えば、投影される照射パターンは、周期的な点パターンであってよい。投影される照射パターンは、低い点密度を有していてよい。例えば、照射パターンは、低い点密度を有する少なくとも1つの周期的な点パターンを含み得、該照射パターンは、視野あたり2500個以下の点を有する。55×38°の視野において典型的に10k~30kの点密度を有する構造化光と比較して、本発明による照射パターンは、より低密度であってよい。これにより、提案された技術は構造化光と比較して周囲光により少なく依存するように、点あたりのパワーを増やすことができる。
【0028】
検出器は、少なくとも1つのさらなる照射源を含んでいてよい。さらなる照射源は、少なくとも1つの発光ダイオード(LED)又は少なくとも1つの垂直共振器面発光レーザ(VCSEL)アレイなどの少なくとも1つのさらなる光源の1つ以上を含んでいてよい。さらなる照射源は、少なくとも1つのディフューザー又は少なくとも1つのレンズなどの少なくとも1つの光学要素を含んでいてよい。さらなる照射源は、第1画像の画像化のための追加の照射を提供するように構成されてよい。例えば、さらなる照射源は、反射パターンを記録することが可能でないか又は困難な状況、例えば反射率の高い金属表面の場合に、良好な照射、したがって二次元画像認識が可能であるように二次元画像に対してコントラストを確保するために、使用されてよい。
【0029】
検出器は、光センサを備える1つのカメラを備えることができる。検出器は、それぞれが単数又は複数の光センサを備える複数のカメラを備えることができる。
【0030】
光センサは、少なくとも1つの感光エリアを有する。本明細書で使用される場合、「光センサ」は、一般に、少なくとも1つの光ビームによって生成された照射及び/又は光スポットを検出するためなどの、光ビームを検出するための感光装置を指す。本明細書でさらに使用される場合、「感光エリア」は、一般的に、少なくとも1つの光ビームによって外部から照射され、該照射に応答して少なくとも1つのセンサ信号を生成する、光センサのエリアを指す。感光エリアは、具体的には、それぞれの光センサの表面に位置することができる。しかしながら、他の実施形態も可能である。検出器は、それぞれが感光エリアを有する複数の光センサを含んでよい。本明細書で使用される場合、「それぞれが少なくとも1つの感光エリアを有する光センサ」という用語は、それぞれが1つの感光エリアを有する複数の単一の光センサを備える構成と、複数の感光エリアを有する1つの結合された光センサを備える構成とを指す。「光センサ」という用語は、さらに、1つの出力信号を生成するように構成された感光装置を指す。検出器が複数の光センサを含む場合、各光センサは、正確に1つの感光エリアがそれぞれの光センサ内に存在するように、例えば、照射され得る正確に1つの感光エリアを提供し、該感光エリアの照射に応答して光センサ全体について正確に1つの均一なセンサ信号を生成するようにすることによって具現化されてよい。したがって、各光センサは、単一エリアの光センサであってよい。単一エリアの光センサの使用は、しかしながら、検出器の構成を特に簡単かつ効率的にする。したがって、一例として、それぞれが正確に1つの感光エリアを有する市販のシリコンフォトダイオードなどの市販の光センサが、構成において使用されてよい。しかしながら、他の実施形態も可能である。
【0031】
好ましくは、感光エリアは、検出器の光軸に対して実質的に垂直に方向付けされ得る。光軸は、直線の光軸であってもよいし、又は、1つ以上の偏向要素及び/又は1つ以上のビームスプリッタを使用することなどにより、屈折又は分割さえされてよく、後者の場合、実質的に垂直な方向付けは、光学構成のそれぞれの分岐又はビーム経路の局所的光軸に関して言及している。
【0032】
光センサは、具体的には、少なくとも1つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、赤外スペクトル範囲において感度を有してよい。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルは、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び/又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサは、赤外スペクトル範囲、好ましくは700nm~3.0マイクロメートルの範囲に感度を有する少なくとも無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に700nm~1100nmの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ,D-67056 Ludwigshafen am RheinのtrinamiX GmbHのHertzstueck(登録商標)というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサは、固有の光起電型の少なくとも1つの光センサ、より好ましくは、Geフォトダイオード、InGaAsフォトダイオード、拡張InGaAsフォトダイオード、InAsフォトダイオード、InSbフォトダイオード、HgCdTeフォトダイオード、からなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、外因性光起電型の少なくとも1つの光センサ、より好ましくは、Ge:Auフォトダイオード、Ge:Hgフォトダイオード、Ge:Cuフォトダイオード、Ge:Znフォトダイオード、Si:Gaフォトダイオード、Si:Asフォトダイオードからなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサは、PbSもしくはPbSeセンサなどの少なくとも1つの光導電センサ、ボロメータ、好ましくはVOボロメータ及びアモルファスSiボロメータからなる群から選択されるボロメータを含み得る。
【0033】
光センサは、紫外、可視、又は赤外スペクトル範囲の1つ以上で感度を有してよい。具体的には、光センサは、500nm~780nm、最も好ましくは650nm~750nm、又は690nm~700nmの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサは、シリコンフォトダイオードが適用可能な特に700nm~1000nmの範囲の近赤外領域の部分で感度を有してよい。光センサは、具体的には、赤外スペクトル範囲、具体的には780nm~3.0μmの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれらを含んでもよい。例えば、光センサは、CCDセンサ要素、CMOSセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び/又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの1つ以上のフォトダイオードが使用され得る。
【0034】
光センサは、ピクセルのマトリックスを含む少なくとも1つのセンサ要素を含んでいてよい。したがって、一例として、光センサは、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサは、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、光センサは、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。
【0035】
本明細書で使用される場合、「センサ要素」という用語は、一般に、少なくとも1つのパラメータを感知するように構成された装置又は複数の装置の組み合わせを指す。この場合、パラメータは、具体的には光パラメータであってよく、センサ要素は、具体的には光センサ要素であってよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。センサ要素は、光センサのマトリックスを含む。センサ要素は、少なくとも1つのCMOSセンサを含み得る。マトリックスは、独立光センサなどの独立ピクセルで構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えば、CCD検出器チップなどのCCD検出器の1つ以上、及び/又はCMOS検出器チップなどのCMOS検出器が使用されてもよい。したがって、一般に、センサ要素は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それを含んでいてもよく、及び/又は、光センサは、センサアレイを形成してもよく、又は上述のマトリックスなどのセンサアレイの一部であってもよい。したがって、一例として、センサ要素は、例えばm行及びn列を有する長方形アレイなどのピクセルのアレイを有することができ、ここでm、nは独立して正の整数である。好ましくは、複数の列及び複数の行が与えられ、すなわち、n>1、m>1である。したがって、一例として、nは2~16以上であり得、mは2~16以上であり得る。好ましくは、行数と列数の比は1に近い。一例として、n及びmは、m/n=1:1、4:3、16:9又は類似のものを選択することなどにより、0.3≦m/n≦3となるように選択され得る。一例として、アレイは、m=2、n=2又はm=3、n=3などを選択することなどにより、等しい数の行及び列を有する正方形アレイであってもよい。
【0036】
マトリックスは独立した光センサなどの独立のピクセルから構成されてよい。したがって、無機フォトダイオードのマトリックスを構成することができる。しかしながら、代替的に、市販のマトリックス、例えばCCD検出器チップなどのCCD検出器の1つ以上、及び/又はCMOS検出器チップなどのCMOS検出器を使用することができる。したがって、一般に、光センサは、少なくとも1つのCCD及び/又はCMOS装置であってよく及び/又はそれを含んでもよく、及び/又は、検出器の光センサは、センサアレイを形成するか、又は上記のマトリックスなどのセンサアレイの一部であり得る。
【0037】
マトリックスは、具体的には、少なくとも1行、好ましくは複数行及び複数列を有する長方形のマトリックスであってよい。一例として、行及び列は、実質的に垂直な方向に方向付けられてよい。本明細書で使用される場合、「実質的に垂直」という用語は、±20°以下の許容誤差、好ましくは±10°以下の許容誤差、より好ましくは±5°以下の許容誤差を有する垂直な向きの状態を指す。同様に、「実質的に平行」という用語は、例えば±20°以下、好ましくは±10°以下、より好ましくは±5°以下の許容誤差を有する平行な向きの状態を指す。したがって、一例として、20°より小さい、具体的には10°より小さい、又は5°より小さい許容誤差さえ許容され得る。広い視野を提供するために、マトリックスは、具体的には、少なくとも10行、好ましくは少なくとも500行、より好ましくは少なくとも1000行を有することができる。同様に、マトリックスは、少なくとも10列、好ましくは少なくとも500列、より好ましくは少なくとも1000列を有することができる。マトリックスは、少なくとも50個の光センサ、好ましくは少なくとも100000個の光センサ、より好ましくは少なくとも5000000個の光センサを含むことができる。マトリックスは、数メガピクセルの範囲の数のピクセルを含むことができる。しかしながら、他の実施形態も可能である。したがって、軸回転対称性が期待される構成では、ピクセルとも呼ばれ得るマトリックスの光センサの円形配置又は同心配置が好ましいことがある。
【0038】
したがって、一例として、センサ要素は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、センサ要素は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、センサ要素は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。センサ要素は、光センサのマトリックスを読み取るために、ローリングシャッタ方式又はグローバルシャッタ方式を採用してもよい。
【0039】
光センサは、エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成されている。
【0040】
本明細書で使用される場合、限定されることなく、「画像」という用語は、具体的には、センサ要素のピクセルなどの画像化装置からの複数の電子読取値など、光センサを使用することによって記録されたデータに関することができる。画像自体は、したがって、ピクセルを含み得、画像のピクセルは、センサ要素のマトリックスのピクセルに相関している。したがって、「ピクセル」を参照する場合、センサ要素の単一のピクセルによって生成された画像情報の単位を参照するか、又はセンサ要素の単一のピクセルを直接参照するかのいずれかである。
【0041】
本明細書で使用される場合、「二次元画像」という用語は、一般に、高さ及び幅の寸法のみなどの横方向座標に関する情報を有する画像を指し得る。本明細書で使用される場合、「三次元画像」という用語は、一般に、横方向座標に関する情報、及びさらに、高さと幅及び深度の寸法などの縦方向座標に関する情報を有する画像を指し得る。
【0042】
光センサは、照射特徴による照射に応答してエリアによって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成される。本明細書で使用される場合、「反射特徴」という用語は、具体的には、照射、特に少なくとも1つの照射特徴を有する照射に応答して物体によって生成される画像平面内の特徴を指し得る。
【0043】
第1画像及び第2画像は、異なる時点において決定され、特に記録されてよい。第1画像の記録と第2の制限時間は、時間的なシフトで行われてよい。具体的には、光センサを含む単一のカメラは、二次元画像と投影されたパターンの画像とを時間的にずらして記録してよい。第1画像及び第2画像を異なる時点で記録することは、評価装置が第1画像及び第2画像を区別することができ、適切な評価ルーチンを適用することができることを確実にし得る。さらに、必要に応じて、特に第2画像に対する照射から独立して、第1画像に対する照射状況を適合させることが可能である。検出器は、少なくとも1つの制御ユニットを含んでいてよい。本明細書で使用される場合、「制御ユニット」という用語は、検出器の1つ以上のコンポーネント又は要素の動作を制御するように構成された任意の装置を指し得る。制御ユニットは、検出器のハードウェアコンポーネントとして設計されてよい。特に、制御ユニットは、少なくとも1つのマイクロコントローラを含んでよい。制御ユニットは、光センサ及び/又は照射源を制御するように構成されてよい。制御ユニットは、照射パターンの投影及び/又は第2画像の画像化をトリガするように構成されていてよい。具体的には、制御ユニットは、光センサを制御するように、特に、トリガ信号を介してフレームレート及び/又は照射時間を制御するように構成されてよい。制御ユニットは、フレームからフレームへ照射時間を適合及び/又は調整するように構成されてよい。本明細書で使用される場合、「フレーム」という用語は、1つの画像を決定するための時間範囲を指し得る。これは、例えばエッジでコントラストを有するようにするために、第1画像のための照射時間を適合及び/又は調整することを可能にし、同時に、反射特徴のコントラストを維持するために、第2画像のための照射時間を適合及び/又は調整することを可能にし得る。さらに、制御ユニットは、同時にかつ独立して、照射源及び/又はさらなる照射源の要素を制御することができる。
【0044】
具体的には、制御ユニットは、照射パターンの投影のための露光時間を適合させるように構成されてよい。第2画像は、異なる照射時間で記録されてよい。エリアの暗い領域は、明るい領域と比較してより多くの光を必要とする可能性があり、その結果、明るい領域は飽和状態に陥る可能性がある。したがって、検出器は、反射パターンの複数の画像を記録するように構成されてよく、画像は、異なる照射時間で記録されてもよい。検出器は、前記画像から第2画像を生成及び/又は構成するように構成されてよい。評価装置は、異なる照射時間で記録された前記画像に対して少なくとも1つのアルゴリズムを実行するように構成されてよい。
【0045】
上記で概説したように、検出器は、第1画像を決定するためのエリアを照射するように構成されたさらなる照射源を含んでいてよい。制御ユニットは、さらなる照射源を制御するように構成されてよい。制御ユニットは、さらなる照射源によって生成された光によるエリアの照射をトリガし、第1画像を画像化するように構成されてよい。制御ユニットは、照射パターンの投影と、さらなる照射源によって生成された光による照射の露光時間を適合させるように構成されてよい。
【0046】
検出器は、少なくとも1つの第1フィルタ要素を含んでいてよい。本明細書で使用される場合、「フィルタ要素」という用語は、波長に応じて光を選択的に遮断及び透過するように構成された少なくとも1つの任意の光学要素を指し得る。第1フィルタ要素は、赤外スペクトル範囲の光を透過させ、他のスペクトル範囲の光を少なくとも部分的に遮断するように構成されてよい。第1フィルタ要素は、小さなスペクトル範囲の光を透過させるように構成された単色バンドパスフィルタであり得る。例えば、スペクトル範囲又は帯域幅は、±100nm、好ましくは±50nm、最も好ましくは±35nm又はそれ以下であってよい。例えば、第1フィルタ要素は、808nm、830nm、850nm、905nm又は940nmの中心波長を有する光を透過させるように構成されていてよい。例えば、第1フィルタ要素は、850nmの中心波長を有する光を70nm以下の帯域幅で透過させるように構成されてよい。第1フィルタ要素は、スペクトル範囲を小さくすることができるように、最小の角度依存性を有することができる。これにより、周囲光への依存度が低くなり、同時にケラレ効果の増大を防ぐことができる。例えば、検出器は、光センサを有する単一のカメラと、さらに、第1フィルタ要素とを含んでもよい。第1フィルタ要素は、周囲光の存在下でさえ反射パターンの記録が可能であり、同時に、レーザクラス1での目の安全作動が保証されるようにレーザ出力を低く維持することを確かにすることができる。
【0047】
第1フィルタ要素に加えて、又はその代わりに、検出器は、少なくとも1つの偏光フィルタを含むことができる。偏光フィルタは、レーザなどの照射源の偏光に対して90°回転して配置されることができる。これにより、例えば金属材料からの直接的な後方反射を弱めることができ、及び/又は、直接反射され拡散散乱されない場合でも、光子比からの深度技術を用いて評価できる投影パターンからの点の検出を可能にすることができる。二次元画像を決定するための照射源は、2D画像化が偏光フィルタによる影響を受けないように、又は輝度が低下することによってのみ影響を受けないように、非偏光であり得る。
【0048】
追加的に又は代替的に、検出器は、少なくとも1つの第2フィルタ要素を含んでいてよい。第2フィルタ要素は、バンドパスフィルタであってよい。第2フィルタ要素は、可視スペクトル範囲の光を透過させ、他のスペクトル範囲の光を少なくとも部分的に遮断するように構成され得る。
【0049】
照射源及び/又はさらなる照射源のスペクトルは、使用されるフィルタ要素に応じて選択されることができる。例えば、850nmの中心波長を有する第1フィルタ要素の場合、照射源は、少なくとも1つの赤外線(IR)-LEDなど、850nmの波長を生成する少なくとも1つの光源を含むことができる。
【0050】
評価装置は、第1画像及び第2画像を評価するように構成されている。本明細書でさらに使用される場合、「評価装置」という用語は、一般に、好ましくは少なくとも1つのデータ処理装置を使用することによって、より好ましくは少なくとも1つのプロセッサ及び/又は少なくとも1つの特定用途向け集積回路を使用することによって、指定された操作を行うように適合された任意の装置を指す。したがって、一例として、少なくとも1つの評価装置は、多数のコンピュータコマンドを含んでそこに記憶されたソフトウェアコードを有する少なくとも1つのデータ処理装置を含んでいてもよい。評価装置は、指定された操作の1つ以上を実行するための1つ以上のハードウェア要素を提供してもよく、及び/又は、指定された操作の1つ以上を実行するためにその上で実行されているソフトウェアを有する1つ以上のプロセッサを提供してもよい。操作は、画像を評価することを含む。具体的には、反射ビームプロファイルを決定し、表面を表示することは、少なくとも1つの評価装置によって実行されてよい。したがって、一例として、上述した命令の1つ以上は、ソフトウェア及び/又はハードウェアで実装されることができる。したがって、例として、評価装置は、上述の評価を実行するように構成された1つ以上のコンピュータ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)などの1つ以上のプログラマブル装置から構成されていてもよい。しかしながら、追加的又は代替的に、評価装置はまた、完全に又は部分的にハードウェアによって具現化されてもよい。
【0051】
評価装置及び検出器は、完全に又は部分的に単一の装置に統合されてよい。したがって、一般に、評価装置はまた検出器の一部を形成してよい。あるいは、評価装置及び検出器は、完全に又は部分的に、別個の装置として具現化されてもよい。検出器は、さらなるコンポーネントを含むことができる。
【0052】
評価装置は、1つ以上の特定用途向け集積回路(ASIC)などの1つ以上の集積回路、及び/又は、1つ以上コンピュータ、好ましくは1つ以上のマイクロコンピュータ、及び/又はマイクロコントローラ、フィールドプログラマブルゲートアレイ、又はデジタル信号プロセッサなどの、1つ以上のデータ処理装置であるか、又はそれらを含んでいてもよい。追加のコンポーネント、例えば、1つ以上の前処理装置、及び/又は1つ以上のAD変換器及び/又は1つ以上のフィルタなどの、センサ信号の受信及び/又は前処理を行う1つ以上装置などのデータ収集装置が含まれていてもよい。さらに、評価装置は、電流及び/又は電圧を測定するための1つ以上の測定装置などの、1つ以上の測定装置を備えることができる。さらに、評価装置は1つ以上のデータ記憶装置を含むことができる。さらに、評価装置は、1つ以上のインターフェイス、例えば1つ以上の無線インターフェイス及び/又は1つ以上の有線インターフェイスを含むことができる。
【0053】
評価装置は、光センサ及び/又は評価装置によって得られる情報などの情報を、表示すること、視覚化すること、分析すること、配布すること、通信すること、又は、さらに処理することのうちの1つ以上のために使用され得る少なくとも1つのさらなるデータ処理装置に、接続されることができ、又は、それを含むことができる。データ処理装置は、一例として、ディスプレイ、プロジェクタ、モニタ、LCD、TFT、ラウドスピーカ、マルチチャネルサウンドシステム、LEDパターン、又は、さらなる視覚化装置うちの少なくとも1つに接続されることができ、又は、それを組み込むことができる。それはさらに、Eメール、テキストメッセージ、電話、Bluetooth(登録商標)、Wi-Fi、赤外線又はインターネットインターフェイス、ポート又は接続のうちの1つ又は複数を使用して、暗号化された情報又は暗号化されていない情報を送ることができる、通信装置又は通信インターフェイス、コネクタ又はポートのうちの少なくとも1つに、さらに接続されることができ、又はそれを組み込むことができる。それはさらに、プロセッサ、グラフィックプロセッサ、CPU、Open Multimedia Applications Platform(OMAP(登録商標))、集積回路、Apple Aシリーズ又はSamsung S3C2シリーズからの製品などのチップ上のシステム、マイクロコントローラ又はマイクロプロセッサなどのようなシステムオンチップ、ROM、RAM、EEPROM、又はフラッシュメモリなどの1つ以上のメモリブロック、発振器もしくは位相同期ループなどのタイミングソース、カウンタタイマ、リアルタイムタイマ、又はパワーオン-リセット-ジェネレーター、電圧調整器、電力管理回路、又はDMAコントローラのうちの少なくとも1つにさらに接続されることができ、又はそれを組み込むことができる。個々のユニットは、さらに、AMBAバスなどのバスによって、モノのインターネット又はインダストリー4.0タイプのネットワークに接続され得るか、統合され得る。
【0054】
評価装置及び/又はデータ処理装置は、シリアル又はパラレルのインターフェイス又はポート、USB、Centronics Port、FireWire(登録商標)、HDMI(登録商標)、イーサネット(登録商標)、Bluetooth(登録商標)、RFID、Wi-Fi、USART、もしくはSPIのうちの1つ以上などのさらなる外部インターフェイス又はポート、あるいは、ADC又は、DAC、又はCameraLinkのようなRGBインターフェイスを使用して2Dカメラ装置のようなさらなる装置への標準化されたインターフェイスもしくはポートのうちの1つ以上などのアナログインターフェイス又はポートによって接続されていてもよく、又はそれらを有していてもよい。評価装置及び/又はデータ処理装置は、プロセッサ間インターフェイスもしくはポート、FPGA-FPGA-インターフェイス、又は、シリアルもしくはパラレルインターフェイスポートのうちの1つ以上によってさらに接続され得る。評価装置及びデータ処理装置は、さらに、光学ディスクドライブ、CD-RWドライブ、DVD+RWドライブ、フラッシュドライブ、メモリカード、ディスクドライブ、ハードディスクドライブ、ソリッドステートディスク、又はソリッドステートハードディスクのうちの1つ以上に接続され得る。
【0055】
評価装置及び/又はデータ処理装置は、フォンコネクタ、RCAコネクタ、VGAコネクタ、雄雌同体コネクタ、USBコネクタ、HDMI(登録商標)コネクタ、8P8Cコネクタ、BCNコネクタ、IEC60320 C14コネクタ、光ファイバコネクタ、Dサブミニチュアコネクタ、RFコネクタ、同軸コネクタ、SCARTコネクタ、XLRコネクタのうちの1つ以上などの、1つ以上のさらなる外部コネクタによって接続されていてもよく、又は、それらを有していてもよく、及び/又は、これらのコネクタのうちの1つ以上のための少なくとも1つの適切なソケットを組み込んでいてもよい。
【0056】
第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含む。本明細書で使用される場合、「幾何学的特徴」という用語は、物体の少なくとも1つの特徴的要素を指す。幾何学的特徴は:形状、少なくとも1つのエッジの相対位置、少なくとも1つのボアホール、少なくとも1つの反射点、少なくとも1つの線、少なくとも1つの表面、少なくとも1つの円、少なくとも1つのディスク、物体全体、物体の一部、などからなる群から選択される物体の少なくとも1つの特徴的要素であり得る。評価装置は、少なくとも1つのデータ記憶装置を備えることができる。データ記憶装置は、幾何学的特徴及び/又は物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報の少なくとも1つのテーブル及び/又は少なくとも1つのルックアップテーブルを含むことができる。追加的に又は代替的に、検出器は、ユーザが少なくとも1つの幾何学的特徴を入力することができる少なくとも1つのユーザインターフェースを備えることができる。
【0057】
評価装置は、第1のステップで第2画像を評価するように構成されてよい。第2画像の評価は、以下により詳細に概説されるように、反射特徴の3D情報を提供してよい。評価装置は、反射特徴の3D情報を考慮することによって、第1画像の幾何学的特徴の位置を推定するように構成されてよい。これにより、第1画像における幾何学的特徴の探索の労力が大幅に削減され得る。
【0058】
評価装置は、少なくとも1つの画像処理プロセスを用いることによって幾何学的特徴を識別するように構成されてよい。画像処理プロセスは、少なくとも1つのテンプレートマッチングアルゴリズム;少なくとも1つのハフ変換;Cannyエッジフィルタの適用;Sobelフィルタの適用;フィルタの組み合わせの適用、のうちの1つ以上を含むことができる。評価装置は、少なくとも1つの妥当性チェックを実行するように構成されてよい。妥当性チェックは、識別された幾何学的特徴を物体の少なくとも1つの既知の幾何学的特徴と比較することを含むことができる。例えば、ユーザは、妥当性チェックのために、ユーザインターフェースを介して既知の幾何学的特徴を入力することができる。
【0059】
評価装置は、第2画像の評価を行うように構成されている。第2画像の評価は、三次元画像を生成することを含んでよい。
【0060】
反射特徴の各々は、少なくとも1つのビームプロファイルを含む。本明細書で使用される場合、反射特徴の「ビームプロファイル」という用語は、一般に、ピクセルの関数としての、光センサ上の光スポットなどの反射特徴の少なくとも1つの強度分布を指し得る。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置は、ビームプロファイルの分析により、反射特徴の各々に関するビームプロファイルの情報を決定するように構成される。
【0061】
評価装置は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。本明細書で使用される場合、「ビームプロファイルを決定する」という用語は、光センサによって提供される少なくとも1つの反射特徴を識別すること、及び/又は光センサによって提供される少なくとも1つの反射特徴を選択すること、及び反射特徴の少なくとも1つの強度分布を評価することを指す。一例として、マトリックスの領域は、マトリックスを通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも1つのピクセルを決定することなどにより決定され得、断面軸が照射の中心を通して選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
【0062】
評価装置は、反射特徴を識別するために、少なくとも1つの画像分析及び/又は画像処理を実行するように構成され得る。画像分析及び/又は画像処理は、少なくとも1つの特徴検出アルゴリズムを使用してよい。画像分析及び/又は画像処理は、以下:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間にセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;輝度チャネル;周波数分解;特異値分解;ブロブ検出器の適用;コーナー検出器の適用;ヘッセフィルタの行列式の適用;主曲率ベースの領域検出器の適用;最大安定極値領域検出器の適用;一般化されたハフ変換の適用;稜線検出器の適用;アフィン不変特徴検出器の適用;アフィン適応の関心点演算子の適用;ハリスアフィン領域検出器の適用;ヘッセアフィン領域検出器の適用;スケール不変特徴変換の適用;スケールスペース極値検出器の適用;局所特徴検出器の適用;高速化堅牢特徴アルゴリズムの適用;勾配位置及び方向のヒストグラムアルゴリズムの適用;方向付けられた勾配記述子のヒストグラムの適用;Dericheエッジ検出器の適用;差動エッジ検出器の適用;時空関心点検出器の適用;モラベックコーナー検出器の適用;キャニーエッジ検出器の適用;ガウスフィルタのラプラス演算子の適用;差分ガウスフィルタの適用;ソーベル(Sobel)演算子の適用;ラプラス演算子の適用;シャール演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;キルシュ演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリ画像の生成、のうちの1つ以上を含み得る。関心領域は、ユーザが手動で決定してもよく、又は、光センサによって生成された画像内の物体を認識するなどによって、自動的に決定されてもよい。
【0063】
例えば、照射源は、複数の照射領域が、光センサ、例えばCMOS検出器上に生成されるように、点群を生成及び/又は投影するように構成されてよい。さらに、例えばスペックル及び/又は外来光及び/又は多重反射によるなどの外乱が、光センサに存在し得る。評価装置は、少なくとも1つの関心領域、例えば、物体の縦方向座標の決定に使用される光ビームによって照射される1つ以上のピクセルを、決定するように適合され得る。例えば、評価装置は、フィルタリング方法、例えば、ブロブ分析及び/又はエッジフィルタ及び/又は物体認識方法を実行するように適合されてよい。
【0064】
評価装置は、少なくとも1つの画像補正を行うように構成されてよい。画像補正は、少なくとも1つの背景減算を含み得る。評価装置は、例えば、さらなる照射なしの画像化によって、反射ビームプロファイルから背景光からの影響を除去するように適合されてよい。
【0065】
本明細書で使用される場合、「ビームプロファイルの分析」という用語は、一般に、ビームプロファイルの評価を指し得、少なくとも1つの数学演算、及び/又は少なくとも1つの比較、及び/又は少なくとも1つの対称化、及び/又は少なくとも1つのフィルタリング、及び/又は少なくとも1つの正規化を含んでよい。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも1つを含み得る。評価装置は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び/又は正規化及び/又はフィルタリングするように構成されることができる。評価装置は、空間周波数分析及び/又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行されてよく、中心までの同じ距離にある全ての強度を平均化することができる。評価装置は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置は、例えば、照射なしの画像化によって、反射ビームプロファイルから背景光の影響を除去するように構成されてもよい。
【0066】
反射特徴は、画像の少なくとも1つのピクセルをカバーするか、又はその上に延びていてもよい。例えば、反射特徴は、複数のピクセルをカバーするか、又は複数のピクセルにわたって延在してもよい。評価装置は、反射特徴、例えば光スポットに接続及び/又は属する全てのピクセルを決定及び/又は選択するように構成されていてもよい。評価装置は、強度の中心を、
【数1】
によって決定するように構成されてよく、ここで、R
coiは強度の中心位置、r
pixelはピクセル位置、及び
【数2】
はjが反射特徴に接続及び/又は属するピクセル数j、I
totalは総強度である。
【0067】
評価装置は、ビームプロファイルの分析によって、反射特徴のそれぞれについてビームプロファイル情報を決定するように構成されている。本明細書で使用される場合、「ビームプロファイル情報」という用語は、一般に、光センサの感光エリア上の光スポットの強度分布に関する情報を指し得る。ビームプロファイル情報は、照射特徴を反射した表面点又は領域の縦方向座標に関する情報を含むことができる。さらに、ビームプロファイル情報は、照射特徴を反射した前記表面点又は領域の材料特性に関する情報を含むことができる。
【0068】
ビームプロファイル情報は、照射特徴を反射した表面点又は領域の縦方向座標であってよい。評価装置は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについてビームプロファイル情報を決定するように構成されてよい。光子比からの深度(DPR)技術に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1を参照し、その全内容は参照により含まれる。
【0069】
反射特徴の1つのビームプロファイルの分析は、ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定することを含み得る。ビームプロファイルの第1エリアは、エリアA1であり得、ビームプロファイルの第2エリアは、エリアA2であり得る。評価装置は、第1エリアと第2エリアとを積分するように構成されてもよい。評価装置は、積分された第1エリア及び積分された第2エリアを除算すること、積分された第1エリア及び積分された第2エリアの倍数を除算すること、積分された第1エリア及び積分された第2エリアの線形結合を除算することの1つ以上によって、結合信号、特に商Qを導出するように構成され得る。評価装置は、ビームプロファイルの少なくとも2つのエリアを決定するように、及び/又はビームプロファイルをビームプロファイルの異なるエリアを有する少なくとも2つのセグメントに分割するように構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置は、2つ、3つ、4つ、5つ、又は最大10個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置は、光スポットをビームプロファイルの少なくとも2つのエリアに分割するように、及び/又は、ビームプロファイルをビームプロファイルの異なるエリアを含む少なくとも2つのセグメントに分割するように構成されてよい。評価装置は、エリアのうちの少なくとも2つについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置は、決定された積分の少なくとも2つを比較するように構成されてよい。具体的には、評価装置は、反射ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定するように構成されてよい。本明細書で使用される場合、「ビームプロファイルのエリア」という用語は、一般に、商Qを決定するために使用される光センサ位置におけるビームプロファイルの任意の領域を指す。ビームプロファイルの第1エリアと反射ビームプロファイルの第2エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第1エリアとビームプロファイルの第2エリアは、エリアが一致していなくてよい。例えば、評価装置は、CMOSセンサのセンサ領域を少なくとも2つのサブ領域に分割するように構成されてよく、評価装置は、CMOSセンサのセンサ領域を、少なくとも1つの左側部分と少なくとも1つの右側部分、及び/又は少なくとも1つの上部分と少なくとも1つの下部分、及び/又は少なくとも1つの内部分と少なくとも1つの外部分、とに分割するように構成され得る。追加的又は代替的に、検出器は、少なくとも2つの光センサを備えてよく、第1光センサ及び第2光センサの感光エリアは、第1光センサが反射特徴の反射ビームプロファイルの第1エリアを決定するよう適合され、第2光センサが反射特徴の反射ビームプロファイルの第2エリアを決定するよう適合されるように配置され得る。評価装置は、第1エリアと第2エリアとを統合するように適合されてよい。評価装置は、縦方向座標を決定するために、商Qと縦方向座標の間の少なくとも1つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
【0070】
ビームプロファイルの第1エリアは、ビームプロファイルのエッジ情報を実質的に含んでよく、ビームプロファイルの第2エリアは、ビームプロファイルの中心情報を実質的に含んでよく、及び/又は、ビームプロファイルの第1エリアは、ビームプロファイルの左側部分に関する情報を実質的に含み、ビームプロファイルの第2エリアはビームプロファイルの右側部分に関する情報を実質的に含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び/又はビームプロファイルのプラトーの中心点及び/又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第2領域は、断面の内側領域を含んでよく、第1領域は、断面の外側領域を含んでよい。本明細書で使用される場合、「実質的に中心情報」という用語は、一般に、中心情報の割合、すなわち中心に対応する強度分布の割合と比較して、エッジ情報の割合が低いこと、すなわちエッジに対応する強度分布の割合が低いことを指す。好ましくは、中心情報は、10%未満、より好ましくは5%未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。本明細書で使用される場合、「実質的にエッジ情報」という用語は、一般に、エッジ情報の割合と比較して、中心情報の割合が低いことを指す。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、10%未満、好ましくは5%未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第2エリアとして決定及び/又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第1エリアとして決定及び/又は選択されてよい。例えば、断面の全エリアが第1領域として決定されてよい。
【0071】
第1エリアA1及び第2エリアA2の他の選択も実現可能であり得る。例えば、第1エリアは、ビームプロファイルの実質的に外側領域を含み、第2エリアは、ビームプロファイルの実質的に内側領域を含み得る。例えば、二次元ビームプロファイルの場合、ビームプロファイルは左側部分と右側部分に分割されることができ、そこでは、第1エリアはビームプロファイルの左側部分のエリアを実質的に含み、第2エリアはビームプロファイルの右側部分のエリアを実質的に含んでよい。
【0072】
エッジ情報は、ビームプロファイルの第1エリアにおける光子数に関する情報を含み、中心情報は、ビームプロファイルの第2エリアにおける光子数に関する情報を含み得る。評価装置は、ビームプロファイルの面積分を決定するように構成されてよい。評価装置は、第1エリアの積分及び/又は加算によってエッジ情報を決定するように構成されてよい。評価装置は、第2エリアの積分及び/又は加算によって中心情報を決定するように構成されてよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は台形の積分を決定するように構成されてよい。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、ならびに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
【0073】
一実施形態では、A1は、光センサ上の特徴点の全体又は完全なエリアに対応し得る。A2は、光センサ上の特徴点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、特徴点の全エリアと比べてより小さくてもよい。例えば、円形の特徴点の場合、中心エリアは、特徴点の全半径の0.1~0.9、好ましくは全半径の0.4~0.6の半径を有してよい。
【0074】
一実施形態では、照射パターンは、少なくとも1つの線パターンを含んでいてよい。A1は、光センサ上の、特に光センサの感光エリア上の線パターンの全線幅を有するエリアに対応してもよい。光センサ上の線パターンは、光センサ上の線幅が増幅するように、照射パターンの線パターンと比較して拡大及び/又は変位されてもよい。特に、光センサのマトリックスの場合には、光センサ上の線パターンの線幅は、ある列から別の列へと変化してもよい。A2は、光センサ上の線パターンの中心エリアであってよい。中心エリアの線幅は一定の値であってもよく、特に照射パターンの線幅に対応していてもよい。中心エリアの線幅は、全体の線幅に比べて小さくてもよい。例えば、中心エリアは、全線幅の0.1~0.9、好ましくは全線幅の0.4~0.6の線幅を有していてよい。線パターンは、光センサ上でセグメント化されていてよい。光センサのマトリックスの各列は、線パターンの中心エリアの強度の中心情報と、線パターンの中心エリアからエッジ領域までさらに外側に延びる領域からの強度のエッジ情報を含むことができる。
【0075】
一実施形態では、照射パターンは、少なくとも1つの点パターンを含んでいてよい。A1は、光センサ上の点パターンの点の全半径を有するエリアに対応し得る。A2は、光センサ上の点パターンの点の中心エリアであり得る。中心エリアは一定値であってよい。中心エリアは、全半径と相当する半径を有することができる。例えば、中心エリアは、全半径の0.1~0.9、好ましくは全半径の0.4~0.6の半径を有することができる。
【0076】
照射パターンは、少なくとも1つの点パターンと少なくとも1つの線パターンの両方を含むことができる。線パターン及び点パターンに加えて、又は代替として、他の実施形態も実現可能である。
【0077】
評価装置は、第1エリアと第2エリアを除算すること、第1エリアと第2エリアの倍数を除算すること、第1エリアと第2エリアの線形結合を除算することのうちの1つ以上によって商Qを導出するように構成されてよい。評価装置は、
【数3】
によって商Qを導出するように構成されてよく、
式中、x及びyは横方向座標、A1、A2はそれぞれビームプロファイルの第1エリア及び第2エリア、E(x、y)はビームプロファイルを表す。
【0078】
追加的に又は代替的に、評価装置は、光スポットの少なくとも1つのスライス又はカットから、中心情報又はエッジ情報の一方又は両方を決定するように適合されてもよい。これは、例えば、商Qの面積分をスライス又はカットに沿った線積分で置き換えることによって実現され得る。精度を向上させるために、光スポットを通るいくつかのスライス又はカットを使用して平均してもよい。楕円形のスポットプロファイルの場合、いくつかのスライス又はカットにわたって平均化すると、改善された距離情報が得られ得る。
【0079】
例えば、ピクセルのマトリックスを有する光センサの場合、評価装置は、
- 最高のセンサ信号を有するピクセルを決定し、少なくとも1つの中心信号を形成することと;
- マトリックスのセンサ信号を評価し、少なくとも1つの和信号を形成することと;
- 中心信号と和信号を結合させることによって商Qを決定することと;
- 商Qを評価することにより、物体の少なくとも1つの縦方向座標zを決定することと、
によって、ビームプロファイルを評価するように構成されてよい。
【0080】
本明細書で使用される場合、「センサ信号」は、一般に、照射に応答して光センサ及び/又は光センサの少なくとも1つのピクセルによって生成される信号を指す。具体的には、センサ信号は、少なくとも1つのアナログ電気信号及び/又は少なくとも1つのデジタル電気信号などの少なくとも1つの電気信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも1つの電圧信号及び/又は少なくとも1つの電流信号であり得るか、又はそれらを含み得る。より具体的には、センサ信号は、少なくとも1つの光電流を含み得る。さらに、未処理のセンサ信号が使用されるか、又は、検出器、光センサ、もしくはその他の要素が、フィルタリングなどによる前処理など、センサ信号を処理又は前処理するように適合されることができ、それにより、センサ信号としても使用され得る二次センサ信号を生成する。「中心信号」という用語は、一般に、ビームプロファイルの実質的に中心情報を含む少なくとも1つのセンサ信号を指す。本明細書で使用される場合、「最高のセンサ信号」という用語は、関心領域の局所最大値又は最大値の一方又は両方を指す。例えば、中心信号は、マトリックス全体又はマトリックス内の関心領域のピクセルによって生成された複数のセンサ信号のうち、最高のセンサ信号を有するピクセルの信号であり得、該関心領域は、マトリックスのピクセルによって生成される画像内で予め決定された、又は決定可能であり得る。中心信号は、単一のピクセルから、又は光センサの一群から生じ得、後者の場合、一例として、ピクセルの一群のセンサ信号は、中心信号を決定するために、加算、積分、又は平均化され得る。中心信号が生じるピクセルの一群は、例えば、最高のセンサ信号を有する実際のピクセルから所定距離より短く離れたピクセルなどの隣接するピクセルの一群であり得、又は、最高のセンサ信号から所定の範囲内にあるセンサ信号を生成するピクセルの一群であり得る。中心信号が生じるピクセルの一群は、最大のダイナミックレンジを可能にするように、できるだけ大きく選択され得る。評価装置は、複数のセンサ信号、例えば最高のセンサ信号を有するピクセルの周りの複数のピクセルを統合することによって中心信号を決定するように適合されてもよい。例えば、ビームプロファイルは台形ビームプロファイルであってよく、評価装置は、台形の積分、特に台形のプラトーの積分を決定するように適合されてよい。
【0081】
上述したように、中心信号は、一般に、光スポットの中心にあるピクセルからのセンサ信号などの単一のセンサ信号であってもよいし、又は、光スポットの中心にあるピクセルから生じるセンサ信号の組み合せなど、複数のセンサ信号の組み合せであってもよいし、又は、前述の可能性の1つ以上から導出されるセンサ信号を処理することによって導出される二次センサ信号であってもよい。中心信号の決定は、センサ信号の比較が従来の電子機器によってかなり簡単に実施されるため、電子的に実行されてもよく、又は、ソフトウェアによって完全に又は部分的に実行されてもよい。具体的には、中心信号は、最高のセンサ信号;最高のセンサ信号から所定の許容範囲内にあるセンサ信号の一群の平均;最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの所定の一群からのセンサ信号の平均;最高のセンサ信号を有するピクセルを含むピクセルの一群、及び隣接するピクセルの所定の一群からのセンサ信号の合計;最高のセンサ信号から所定の許容範囲内にあるセンサ信号の一群の合計;所定の閾値を超えるセンサ信号の一群の平均;所定の閾値を超えるセンサ信号の一群の合計;最高のセンサ信号を有する光センサを含む光センサの一群、及び隣接するピクセルの所定の一群からのセンサ信号の積分;最高のセンサ信号から所定の許容範囲内にあるセンサ信号の一群の積分;所定の閾値を超えるセンサ信号の一群の積分、からなる群から選択され得る。
【0082】
同様に、「和信号」という用語は、一般に、ビームプロファイルの実質的にエッジ情報を含む信号を指す。例えば、和信号は、マトリックス全体又はマトリックス内の関心領域のセンサ信号を加算すること、センサ信号を積分すること、又はセンサ信号を平均することによって導出することができ、該関心領域は、マトリックスの光センサによって生成される画像内で予め決定された、又は決定可能である。センサ信号を合計、積分、又は平均化する場合、センサ信号が生成される実際の光センサは、加算、積分、又は平均化から除外されてもよく、あるいは、加算、積分、又は平均化に含まれてもよい。評価装置は、マトリックス全体の、又はマトリックス内の関心領域の信号を積分することにより、和信号を決定するように適合され得る。例えば、ビームプロファイルは台形ビームプロファイルであり得、評価装置は、台形全体の積分を決定するように適合され得る。さらに、台形ビームプロファイルが仮定される場合、エッジ信号及び中心信号の決定は、例えばエッジの傾斜及び位置の決定、及び中心プラトーの高さの決定、ならびに幾何学的考察によるエッジ信号及び中心信号の導出など、台形ビームプロファイルの特性を利用した同等評価で置き換えられてよい。
【0083】
同様に、中心信号及びエッジ信号はまた、例えばビームプロファイルの円形セグメントなどのビームプロファイルのセグメントを使用することによって決定され得る。例えば、ビームプロファイルは、ビームプロファイルの中心を通過しない分割線又は弦によって2つのセグメントに分割され得る。したがって、一方のセグメントは実質的にエッジ情報を含み、他方のセグメントは実質的に中心情報を含むことになる。例えば、中心信号中のエッジ情報の量をさらに減らすために、エッジ信号が中心信号からさらに減算されてもよい。
【0084】
商Qは、中心信号と和信号を結合して生成される信号であってよい。具体的には、決定は、中心信号と和信号の商、又はその逆の商を形成すること;中心信号の倍数と和信号の倍数の商、又はその逆の商を形成すること;中心信号の線形結合と、和信号の線形結合の商、又はその逆の商を形成すること、のうちの1つ以上を含み得る。追加的に又は代替的に、商Qは、中心信号と和信号の間の比較に関する少なくとも1つの情報項目を含む任意の信号又は信号の結合を含むことができる。
【0085】
本明細書で使用される場合、「物体の縦方向座標」という用語は、光センサと物体の間の距離を指す。評価装置は、縦方向座標を決定するために、商Qと縦方向座標の間の少なくとも1つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの所定の関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
【0086】
評価装置は、決定されたビームプロファイル情報を用いて、少なくとも1つの三次元画像及び/又は3Dデータを決定するように構成されていてよい。反射パターンを含むカメラによって記録された画像は、二次元画像であってよい。上記で概説したように、評価装置は、反射特徴の各々について縦方向座標を決定するように構成されてよい。評価装置は、反射パターンの二次元画像をそれぞれの反射特徴の決定された縦方向座標とマージすることによって、3Dデータ及び/又は3D画像を生成するように構成されてよい。
【0087】
評価装置は、シーン内、特にエリア内において物体を識別するために、決定された3Dデータ及び/又は三次元画像と、第1画像から決定された情報、すなわち少なくとも1つの幾何学的特徴及びその位置とをマージ及び/又は融合するように構成されてよい。
【0088】
評価装置は、幾何学的特徴の画像領域の内側に位置する反射特徴を識別するように、及び/又は、幾何学的特徴の画像領域の外側に位置する反射特徴を識別するように構成される。評価装置は、第1画像中の識別された幾何学的特徴の画像位置を決定するように構成されてよい。画像位置は、幾何学的特徴のピクセルのピクセル座標、例えば、x及びy座標によって定義されてよい。評価装置は、第1画像における幾何学的特徴の少なくとも1つの境界及び/又は限界を決定及び/又は割り当て及び/又は選択するように構成されてよい。境界及び/又は限界は、幾何学的特徴の少なくとも1つのエッジ又は少なくとも1つの輪郭によって与えられ得る。評価装置は、境界及び/又は限界の内側にある第1画像のピクセルと、第1画像におけるそれらの画像位置とを決定するように構成されていてよい。評価装置は、幾何学的特徴の境界及び/又は限界の内側の第1画像のピクセルに対応する第2画像のピクセルを識別することによって、第1画像内の幾何学的特徴に対応する第2画像の少なくとも1つの画像領域を決定するように構成されていてよい。本明細書で使用される場合、「画像領域」という用語は、例えば、ピクセルの量及び/又はピクセル座標によって与えられる画像のエリアを指し得る。本明細書で使用される場合、画像領域の「内側に位置する」という用語は、画像領域のピクセル及び/又は画像領域に属するピクセルを指し得る。本明細書で使用される場合、画像領域の「外側に位置する」という用語は、画像領域の内側のピクセルとして、画像の異なる位置又は領域にあるピクセルを指し得る。
【0089】
評価装置は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴のビームプロファイル情報から、少なくとも1つの深度レベルを決定するように構成される。物体を含むエリアは、異なる深度レベルの複数の要素を含み得る。本明細書で使用される場合、「深度レベル」という用語は、第2画像のピクセルの深度マップの区間又は階級を指し得る。上記で概説したように、評価装置は、反射特徴の各々について、そのビームプロファイルから縦方向座標を決定するように構成されていてよい。評価装置は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴の縦方向座標から深度レベルを決定するように構成されてよい。金属物体は、多くの場合、第2画像において正しく識別されない。しかし、レベルは、地面又は前記金属物体のカバー(これらはしばしば厚紙で作られているため)によって画定され得るため、正しく識別され得る。評価装置は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴の深度レベルから、物体が位置する深度レベルを決定するように構成されてよい。
【0090】
評価装置は、深度レベルと、物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報とを考慮することによって、物体の位置及び/又は向きを決定するように構成される。例えば、形状及び/又はサイズに関する情報は、検出器のユーザインターフェースを介してユーザによって入力されてよい。例えば、形状及びサイズに関する情報は、追加の測定で測定されてよい。上記で概説したように、評価装置は、物体が位置する深度レベルを決定するように構成される。さらに、物体の形状及び/又はサイズが既知である場合、評価装置は、物体の位置及び向きを決定することができる。
【0091】
例えば、箱の中にあるボトルなどの少なくとも1つの物体を検出器で検出し、測定することがタスクであり得る。検出器、特に光センサは、検出器が箱の中の物体に対して異なる位置に移動できるように、ロボットアームに設置されてもよい。タスクは、ロボットが物体まで移動し、箱から取り出すことであり得る。さらに、ユーザは、物体(この例ではボトル)を詳細に知っているため、サイズ、形態、形状も知り得、評価装置にプログラムすることができる。
【0092】
光センサは、二次元画像とその結果としての三次元深度マップを決定することができる。深度マップは、検出器と物体の位置を推定することができる。深度マップはまた、光沢のある物体(金属など)の、さまざまな効果によって歪められ得、及び/又は、3D深度マップがまばらになり得る。本発明は、2D画像によって3D深度マップに対応する追加情報を得ることを提案する。ボトルの例では、タスクは箱の中のボトルを検出することである。さらに、ボトルは回転対称であることが知られているかもしれない。ボトルの特定の特徴(例えば丸いボトルキャップなど)は、物体の検出に役立つ。これにより、物体検出のために、画像処理アルゴリズムを用いて2D画像中の円又は楕円を探索することになり得る。楕円のサイズの大まかな推定は、3D深度情報によって計算されることができる。詳細な物体検出のために、2D画像中の検出された楕円と、検出器と実世界の間の投影の既知の関係は、実世界の円のサイズと位置を決定するために使用され得る。検出器と実世界の間の投影の関係は、少なくとも1つの方程式系を用いて、サイズ、位置及び向きを決定するために使用され得る。
【0093】
評価装置は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴のビームプロファイル情報から、物体の少なくとも1つの材料特性を決定するために構成される。材料特性の決定の詳細に関しては、2019年3月15日に出願された欧州特許出願19163250.4を参照し、その全内容は参照により含まれるものとする。
【0094】
ビームプロファイル情報は、照射特徴を反射した表面点又は領域の材料特性に関する情報を含んでいてよい。物体は、照射パターンが投影される少なくとも1つの表面を含むことができる。表面は、照射パターンを少なくとも部分的に検出器に向かって反射し返すように適合されてよい。
【0095】
本明細書で使用される場合、「材料特性」という用語は、材料の特徴付け及び/又は識別及び/又は分類のために構成された、材料の少なくとも1つの任意の特性を指す。例えば、材料特性は、粗さ、材料への光の透過深度、生物学的材料又は非生物学的材料として材料を特徴付ける特性、反射率、鏡面反射率、拡散反射率、表面特性、半透明の尺度、散乱、具体的には、後方散乱挙動などからなる群から選択される特性であってよい。少なくとも1つの材料特性は、散乱係数、透光性、透明性、ランバート表面反射からの偏差、スペックルなどからなる群から選択される特性であってもよい。
【0096】
評価装置は、照射特徴を反射した表面点の材料特性を決定するように構成されてよい。本明細書で使用される場合、「材料特性を決定する」という用語は、材料特性を物体に割り当てることを指す。検出器は、予め定義された及び/又は予め決定された材料特性のルックアップリスト及び/又はルックアップテーブルなどのリスト及び/又はテーブルを含む少なくとも1つのデータベースを含んでよい。材料特性のリスト及び/又はテーブルは、本発明による検出器を使用して少なくとも1つの試験測定を行うことにより、例えば既知の材料特性を有するサンプルを使用して材料試験を行うことにより、決定及び/又は生成されることができる。材料特性のリスト及び/又はテーブルは、製造業者サイトで、及び/又は検出器のユーザによって、決定及び/又は生成されることができる。材料特性は、例えば、材料名、生物学的材料又は非生物学的材料などの材料グループ、透光性材料又は非透光性材料、金属又は非金属、皮膚又は非皮膚、毛皮又は非毛皮、カーペット又は非カーペット、反射性又は非反射性、鏡面反射性又は非鏡面反射性、泡又は非泡、毛髪又は非毛髪、粗さグループなどの1つ以上などの材料分類にさらに割り当てられてよい。データベースは、材料特性及び関連する材料名及び/又は材料グループを含むリスト及び/又はテーブルを含んでよい。
【0097】
具体的には、検出器は、生体組織、特にヒトの皮膚を検出するように構成されることができる。本明細書で使用される場合、「生体組織」という用語は、一般に、生きている細胞を含む生物学的材料を指す。検出器は、生体組織、特にヒトの皮膚の検出を行う、特に光学的に検出を行う装置であってもよい。「生体組織の検出」という用語は、検査対象又は試験下の表面が、生体組織、特にヒトの皮膚であるか又はそれを含むかを決定及び/又は検証すること、及び/又は、生体組織、特にヒトの皮膚を、他の組織、特に他の表面から区別すること、及び/又は、筋肉、脂肪、臓器などのヒト組織の異なるタイプを区別するなど、異なるタイプの生体組織を区別することを指す。例えば、生体組織は、皮膚、毛髪、筋肉、脂肪、臓器などのヒト組織又はその一部であってもよいし、それらを含んでいてもよい。例えば、生体組織は、皮膚、毛皮、筋肉、脂肪、臓器などの動物の組織又はその一部であってもよいし、それらを含んでいてもよい。例えば、生体組織は、植物の組織又はその一部であってもよいし、それらを含んでいてもよい。検出器は、動物組織又はその一部を、例えば農業機械又は搾乳機などの無機物組織の、金属面、プラスチック面の1つ以上から区別するように適合されることができる。検出器は、植物組織又はその一部を、例えば農業機械などの無機物組織、金属面、プラスチック面の1つ以上から区別するように適合されることができる。検出器は、食品及び/又は飲料を、皿及び/又はグラスから区別するように適合されることができる。検出器は、果物、肉、魚など、さまざまな種類の食品を区別するように適合されることができる。検出器は、化粧品及び/又は塗布された化粧品をヒトの皮膚から区別するように適合されることができる。検出器は、ヒトの皮膚を、発泡体、紙、木、ディスプレイ、スクリーンから区別するように適合されることができる。検出器は、ヒトの皮膚を布から区別するように適合されることができる。検出器は、メンテナンス製品を、金属部品などの機械部品の材料から区別するように適合されることができる。検出器は、有機物を無機物から区別するように適合されることができる。検出器は、ヒトの生体組織を、人工物の表面又は非生物の表面から区別するように適合されることができる。検出器は、特に非治療的及び非診断的用途に使用されることができる。
【0098】
例えば、材料特性は、物体が生体組織であるか、又は生体組織を含むかどうかの情報であってもよい。この理論に拘束されることを望まないが、人間の皮膚は、表面反射と呼ばれる表面の後方反射によって生成される部分と、後方反射の拡散部分と呼ばれる皮膚を透過する光からの非常に拡散した反射によって生成される部分とを含む、後方散乱プロファイルとも呼ばれる反射ビームプロファイルを有し得る。人間の皮膚の反射プロファイルに関しては、「Lasertechnikinder Medizin:Grundlagen、Systeme、Anwendungen」、「WirkungvonLaserstrahlung auf Gewebe」1991,171~266頁,Juergen Eichler,Theo Seiler,Springer Verlag,ISBN 0939-0979を参照されたい。皮膚の表面反射は、波長が近赤外に向かって増加するのにつれて増加する可能性がある。さらに、透過深度は、波長が可視光から近赤外に増加するとともに増加する可能性がある。後方反射の拡散部分は、光の透過深度の増加とともに増加する可能性がある。これらの特性は、後方散乱ビームプロファイルを分析することによって、皮膚を他の材料から区別するために使用されることができる。反射ビームプロファイルが少なくとも1つの予め決定された又は予め定義された基準を満たす場合、表面は生体組織として決定され得る。少なくとも1つの予め決定された又は予め定義された基準は、生体組織、特にヒトの皮膚を、他の材料から区別するのに適した少なくとも1つの特性及び/又は値であり得る。具体的には、評価装置は、ビームプロファイルを、少なくとも1つの予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルと比較するように適用されてよい。予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、検出器の少なくとも1つのデータ記憶装置に記憶されてもよい。例えば、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、検出器を備えるモバイル装置の初期起動時に決定されてもよい。例えば、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルは、例えばソフトウェアによって、具体的にはアプリストア等からダウンロードされたアプリによって、モバイル装置の少なくとも1つのデータ記憶装置に記憶されてよい。表面は、ビームプロファイルと、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとが同一である場合に、生体組織として示され得る。比較は、反射ビームプロファイルと、予め決定された又は予め定義されたビームプロファイルとを、それらの強度中心がマッチングするように重ね合わせることを含むことができる。比較は、ビームプロファイルと、予め決定された及び/又は予め記録された及び/又は予め定義されたビームプロファイルとの間の偏差、例えば、点間距離の二乗和を決定することを含んでよい。評価装置は、決定された偏差を少なくとも1つの閾値と比較するように適用されてよく、決定された偏差が閾値より低く及び/又は閾値に等しい場合、表面は生体組織として示され、及び/又は生体組織の検出が確認される。閾値は、テーブル又はルックアップテーブルに記憶されてよく、例えば経験的に決定されてもよく、及び一例として、検出器の少なくとも1つのデータ記憶装置に記憶されてもよい。
【0099】
追加的に又は代替的に、評価装置は、商Qを少なくとも1つの予め決定された又は予め定義された商の閾値と比較するように構成されていてよく、商Qが商の閾値より小さい及び/又は商の閾値等しい場合、表面は生体組織として示される。商の閾値は、テーブル又はルックアップテーブルに記憶されることができ、また、例えば経験的に決定されてよく、及び、一例として、検出器の少なくとも1つのデータ記憶装置に記憶されてよい。例えば、A1及びA2がそれぞれ実質的にエッジ情報及び実質的に中心情報を含むように選択された場合、表面反射はほとんど中心信号に寄与し、一方、皮膚透過からの拡散反射はほとんどエッジ積分に寄与し得る。
【0100】
例えば人間の皮膚と皮膚以外の物体を区別するためのさらなる基準として、ビームプロファイルのピーク強度が、検出器と物体の間の距離と組み合わせて使用され得る。ビームプロファイルのピーク強度は、距離に依存し得る。例えば、ビームプロファイルのピーク強度に物体と検出器との間の距離の二乗を乗じたものを基準として用いてよい。この基準を用いる場合、照射源の出力光強度を監視し、反射ビームプロファイルのピーク強度を照射源の出力光強度で割ったビームプロファイルの補正ピーク強度を使用することによって、偏差について、基準を補正してよい。物体と検出器との間の距離は、上記で概説したように、光子比から深度を使用することによって得られ得る。
【0101】
追加的に又は代替的に、評価装置は、反射特徴のそれぞれのビームプロファイルを評価することによって材料特性mを決定するように構成されてよい。本明細書でさらに使用される場合、「ビームプロファイルを評価する」という用語は、ビームプロファイルに及び/又はビームプロファイルの少なくとも1つの特定領域に、少なくとも1つの材料依存の画像フィルタを適用することを指し得る。評価装置は、反射特徴に少なくとも1つの材料依存の画像フィルタФ2を適用することによって、少なくとも1つの材料特徴φ2mを決定するように構成されてよい。本明細書でさらに使用される場合、「画像」という用語は、二次元関数f(x,y)を指し、ここで、明るさ及び/又は色の値は、画像内の任意のx,y位置に対して与えられる。位置は、記録ピクセルに対応して離散化されてよい。明るさ及び/又は色は、光センサのビット深度に対応して離散化されてよい。本明細書で使用される場合、「画像フィルタ」という用語は、ビームプロファイル及び/又はビームプロファイルの少なくとも1つの特定領域に適用される少なくとも1つの数学演算を指す。具体的には、画像フィルタФは、画像f又は画像内の関心領域を、実数Ф(f(x,y))=φにマッピングし、ここでφは特徴、特に距離依存の画像フィルタの場合は距離特徴、材料依存の画像フィルタの場合は材料特徴を示している。画像はノイズの影響を受ける可能性があり、特徴についても同様である。したがって、特徴はランダム変数であってよい。特徴は正規分布に従ってもよい。特徴が正規分布に従っていない場合は、ボックスコックス変換(Box-Cox-Transformation)などによって正規分布に従うように変換されてもよい。
【0102】
評価装置は、材料特徴量φ2mを評価することによって材料特性mを決定するように構成されてもよい。本明細書で使用される場合、「材料依存」画像フィルタはという用語は、材料依存の出力を有する画像を指す。材料依存画像フィルタの出力は、本明細書では「材料特徴φ2m」又は「材料依存特徴φ2m」と示される。材料特徴は、物体の少なくとも1つの材料特性に関する少なくとも1つの情報であってもよく、又はそれを含んでいてもよい。
【0103】
材料依存画像フィルタは、輝度フィルタ;スポット形状フィルタ;二乗ノルム勾配;標準偏差;ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタ;グレーレベル発生ベースのコントラストフィルタ;グレーレベル発生ベースのエネルギーフィルタ;グレーレベル発生ベースの均一性フィルタ;グレーレベル発生ベースの非類似性フィルタ;ローのエネルギーフィルタ;閾値領域フィルタ;もしくはこれらの線形結合;又は、|ρФ2other,Фm|≧0.40によって(Фmは、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又はそれらの線形結合の1つである)、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又は、それらの線形結合に相関するさらなる材料依存画像フィルタФ2other、からなる群から選択される少なくとも1つのフィルタであってよい。さらなる材料依存画像フィルタФ2otherは、材料依存画像フィルタФmの1つ以上と、|ρФ2other,Фm|≧0.60、好ましくは|ρФ2othe,Фm|≧0.80によって相関していてもよい。
【0104】
材料依存画像フィルタは、仮説検証を通過する少なくとも1つの任意のフィルタΦであり得る。本明細書で使用される場合、「仮説検証を通過する」という用語は、ヌル仮説H
0が棄却され、代替仮説H
1が受け入れられるという事実を指す。仮説検証は、予め定義されたデータセットに画像フィルタを適用することによって、画像フィルタの材料依存性を検証することを含んでいてよい。データセットは、複数のビームプロファイル画像を含んでいてよい。本明細書で使用される場合、「ビームプロファイル画像」という用語は、N
Bガウス放射状基底関数の合計を指し、
【数4】
式中、N
Bガウス放射状基底関数のそれぞれは、中心 (x
lk,y
lk),、前因子 a
lk、及び、指数因子
【数5】
によって、定義される。指数因子は、すべての画像のすべてのガウス関数で同一である。中心位置、x
lk,y
lkは、すべての画像
【数6】
で同一である。データセット内のビームプロファイル画像のそれぞれは、材料分類と距離に対応していてよい。材料分類は、「材料A」、「材料B」などのラベルであってよい。ビームプロファイル画像は、
【数7】
に関する上記の式を、以下のパラメータテーブルと組み合わせて使用することによって生成されることができる:
【0105】
【0106】
x,y,の値は、
【数8】
のピクセルに対応する整数である。画像は、32×32のピクセルサイズを有することができる。ビームプロファイル画像のデータセットは、
【数9】
の連続的な記述を得るために、パラメータセットと組み合わせて、
【数10】
に対する上述の式を使用することによって生成され得る。32×32画像の各ピクセルの値は、
【数11】
に対して、0,...,31からの整数値を挿入することによって得ることができる。例えば、ピクセル(6,9)の場合、
【数12】
が計算され得る。
【0107】
続いて、各画像
【数13】
についてフィルタΦに対応する特徴値φ
kが計算されることができ、
【数14】
式中z
kは、予め定義されたデータセットからの画像
【数15】
に対応する距離値である。これにより、対応する生成された特徴値φ
kを有するデータセットが得られる。仮説検証では、フィルタが材料分類を区別しないヌル仮説を使用してよい。ヌル仮説は、
【数16】
で与えられてよく、ここでμ
mは、特徴値φ
kに対応する各材料群の期待値である。インデックスmは材料群を表す。仮説検証は、フィルタが少なくとも2つの材料分類を区別するということを代替仮説として用いることができる。その代替仮説は
【数17】
によって与えられ得る。本明細書で使用される場合、「材料分類を区別しない」という用語は、材料分類の期待値が同一であることを指す。本明細書で使用される場合、「材料分類を区別する」という用語は、材料分類の少なくとも2つの期待値が異なることを指す。本明細書で使用される場合、「少なくとも2つの材料分類を区別する」は、「適切な材料分類」と同義で使用される。仮説検証は、生成された特徴値に関する少なくとも1つの分散分析(ANOVA)を含み得る。特に、仮説検証は、各J材料についての特徴値の平均値、すなわち、
【数18】
に対して、全Jの平均値
【数19】
を求めることを含んでもよく、ここでN
mは、事前に定義されたデータセットにおける各J材料の特徴値の数を示す。仮説検証は、すべてのN特徴値の平均値
【数20】
を決定することを含む。仮説検証は、
【数21】
内の平均平方和を決定することを含んでいてよい:
仮説検証は、以下の間の平均平方和を決定することを含んでよい、
【数22】
仮説検証は、F-テストの実行を含んでいてよい:
【数23】
ここで、I
Xは正則化された不完全ベータ関数
【数24】
であり、ここでオイラーベータ関数
【数25】
は不完全ベータ関数である。画像フィルタは、p値であるpが予め定義された有意水準よりも小さいか等しい場合、仮説検証を通過し得る。フィルタは、p≦0.075、好ましくはp≦0.05、より好ましくはp≦0.025、最も好ましくはp≦0.01である場合、仮説検証を通過し得る。例えば、予め定義された有意水準がα=0.075の場合、画像フィルタはp値がα=0.075より小さい場合に仮説検証を通過することができる。この場合、ヌル仮説H
0が拒否され、代替仮説H
1が受け入れられることができる。画像フィルタは、このように少なくとも2つの材料分類を区別する。このように、画像フィルタは仮説検証を通過する。
【0108】
以下では、反射特徴がスポット画像を含むと仮定して、画像フィルタについて説明する。
【0109】
【数26】
によって与えられることができ、ここで、画像fの背景は既に差し引かれることができる。しかし、他の反射特徴も可能であり得る。
【0110】
例えば、材料依存画像フィルタは、輝度フィルタであってよい。輝度フィルタは、スポットの輝度測定値を材料特徴として返すことができる。材料特徴は、
【数27】
によって決定され得、式中、fはスポット画像である。スポットの距離はzで示され、ここで、zは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び/又は三角測量技術を用いて得られる。材料の表面法線は
【数28】
によって与えられ、少なくとも3つの測定点に展張された表面の法線として得られる。ベクトル
【数29】
は、光源の方向ベクトルである。スポットの位置が、光子比からの深度技術を用いることによって知られているため(ここで光源の位置は検出器システムのパラメータとして知られている)、d
rayは、スポットの位置と光源の位置の間の差分ベクトルである。
【0111】
例えば、材料依存画像フィルタは、スポット形状に依存した出力を有するフィルタであってよい。この材料依存画像フィルタは、材料の透光性に相関する値を材料特徴として返すことができる。材料の透光性は、スポットの形状に影響を与える。材料特徴は、
【数30】
によって与えられ、式中、0<α,β<1はスポットの高さhに対する重みであり、HはHeavyside関数、すなわち
【数31】
である。スポット高さhは、以下によって決定され得、
【数32】
式中、B
rは半径rを有するスポットの内円である。
【0112】
例えば、材料依存画像フィルタは、二乗ノルム勾配であってよい。この材料依存画像フィルタは、材料特徴としてのスポットのソフトとハードの遷移及び/又は粗さの測定値に相関する値を返してよい。材料特徴は、
【数33】
によって、定義されてよい。例えば、材料依存画像フィルタは、標準偏差であってもよい。スポットの標準偏差は、
【数34】
によって、決定されてよい。
【0113】
式中、μは
【数35】
によって与えられる平均値である。
【0114】
例えば、材料依存画像フィルタは、ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタであってよい。平滑性フィルタの一実施形態では、この画像フィルタは、体積散乱が拡散散乱材料と比較して少ないスペックルコントラストを示すという観察を参照することができる。この画像フィルタは、材料特徴としてスペックルコントラストに対応するスポットの平滑性を定量化することができる。材料特徴は、
【数36】
によって、決定されてよく、式中、
【数37】
は平滑化関数であり、例えばメディアンフィルタ又はやガウスフィルタなどである。この画像フィルタは、上述の式で説明したように、距離zによる除算を含んでよい。距離zは、例えば、デフォーカスからの深度技術又は光子比からの深度技術を用いて、及び/又は、三角測量技術を用いて決定されてよい。これにより、フィルタが距離の影響を受けなくなることが可能である。平滑化フィルタの一実施形態では、平滑化フィルタは、抽出されたスペックルノイズパターンの標準偏差に基づいてよい。スペックルノイズパターンNは、
【数38】
によって、経験的な方法で記述されることができる。式中、
【数39】
は、スペックル除去したスポットの画像である。N(X)は、スペックルパターンをモデル化したノイズ項である。スペックル除去した画像の計算は困難な場合がある。したがって、スペックル除去した画像は、fの平滑化バージョン、すなわち、
【数40】
によって近似化されてよく、式中、
【数41】
は、ガウスフィルタ又はやメディアンフィルタのような平滑化演算子である。したがって、スペックルパターンの近似は、
【数42】
によって、与えられてよい。
【0115】
このフィルタの材料特徴は、
【数43】
によって、決定されてよい。
【0116】
式中、Varは分散関数を表す。
【0117】
例えば、画像フィルタは、グレーレベル発生ベースのコントラストフィルタであってよい。この材料フィルタは、グレーレベル発生マトリックス
【数44】
に基づいてよく、ここで
【数45】
はグレー結合(g
1,g
2)=[f(x
1,y
1),f(x
2,y
2)]、]の発生率であり、関係ρは、ρ(x,y)=(x+a,y+b)であって、(x
1,y
1)と(x
2,y
2)の間の距離を定義し、aとbは0,1から選択される。
【0118】
グレーレベル発生ベースのコントラストフィルタの材料特徴は、
【数46】
によって与えられてよい。
【0119】
例えば、画像フィルタは、グレーレベル発生ベースのエネルギーフィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。
【0120】
グレーレベル発生ベースのエネルギーフィルタの材料特徴は、
【数47】
によって与えられてよい。
【0121】
例えば、画像フィルタは、グレーレベル発生ベースの均一性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの均一性フィルタの材料特徴は、
【数48】
によって与えられてよい。
【0122】
例えば、画像フィルタは、グレーレベル発生ベースの非類似性フィルタであってよい。この材料フィルタは、上記で定義されたグレーレベル発生マトリックスに基づいている。グレーレベル発生ベースの非類似性フィルタの材料特徴は、
【数49】
によって与えられてよい。
【0123】
例えば、画像フィルタは、ローエネルギーフィルタであってよい。この材料フィルタは、ローベクトルL
5=[1,4,6,4,1]及びE
5=[-1,-2,0,-2,-1]及び材料L
5(E
5)
T及びE
5(L
5)
Tに基づいている。画像f
kはこれらのマトリックス:
【数50】
で畳み込まれている。
【0124】
ここで、ローのエネルギーフィルタの材料特徴は、
【数51】
によって、決定されてよい。
【0125】
例えば、材料依存の画像フィルタは、閾値領域フィルタであってよい。この材料特徴は、画像平面内の2つのエリアを関連してよい。第1エリアΩ1、は、関数fがfの最大値のα倍よりも大きいエリアであってもよい。第2エリアΩ2、は、関数fがfの最大値のα倍よりも小さいが、fの最大値のε倍の閾値よりも大きいエリアであってよい。好ましくは、αは0.5、εは0.05であり得る。スペックル又はノイズのために、エリアはスポット中心の内円と外円に単純に対応していない場合がある。例えば、Ω1は、外円のスペックル又は接続されていないエリアを含み得る。材料特徴は、
【数52】
【0126】
によって、決定されてよく、式中、Ω1={x|f(x)>α・max(f(x))}及びΩ2={x|ε・max(f(x))<f(x)<α・max(f(x))}である。
【0127】
材料特性mは、φ2mとm及び/又は反射特徴の縦方向座標zの間の予め決定された関係を用いて決定されてよい。評価装置は、特徴φ2mを評価することによって材料特性mを決定するように構成されてよい。評価装置は、物体の材料特性を決定するために、材料特徴φ2mと物体の材料特性との間の少なくとも1つの所定の関係を使用するように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。例えば、材料特性は、縦方向座標zに関する情報がφ2mの評価に考慮され得るように、縦方向座標zの決定後にφ2mを評価することによって決定されてよい。具体的には、材料特性mは関数m(z,φ2m)によって決定される。関数は、予め定義され及び/又は予め決定されていてよい。例えば、関数は、線形関数であってよい。
【0128】
上記のように、検出器は、物体を含むエリアの要素の材料を分類するように構成されてよい。構造化光とは対照的に、本発明による検出器は、第2画像の反射特徴のそれぞれを評価するように構成されてもよく、それによって、各反射特徴について、その材料特性に関する情報を決定することができる。
【0129】
評価装置は、材料特性と、物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報とを考慮して、物体の少なくとも1つの位置及び/又は向きを決定するように構成されている。一般に、物体の識別は、2D画像情報又は3D深度マップのみを用いて可能であり得る。しかし、2Dと3Dの情報を融合することで、品質を向上させることができる。反射面が、一般に光学3D測定では問題となる。反射面の場合は、2D画像情報を使用することのみが可能であり得る。反射率の高い物体の場合、3D測定は誤った深度マップに関連する可能性がある。このような物体の識別には、2D情報が不可欠となる場合がある。
【0130】
検出器は、その全部又は一部が少なくとも1つのハウジングに一体化されてよい。
【0131】
検出器は、1つ以上の追加の光学要素などの、1つ以上の追加の要素をさらに含み得る。検出器は、少なくとも1つのレンズ及び/又は少なくとも1つのレンズシステムなどの転送装置、少なくとも1つの回折光学要素からなる群から選択された少なくとも1つの光学要素を含むことができる。「転送システム」とも呼ばれる「転送装置」という用語は、一般に、光ビームのビームパラメータ、光ビームの幅、又は光ビームの方向の1つ以上を変更することによってなど、光ビームを変更するように適合された1つ以上の光学要素を指し得る。転送装置は、光ビームを光センサに導くように適合されてよい。転送装置は、具体的には:少なくとも1つのレンズ、例えば、少なくとも1つの焦点調節可能レンズ、少なくとも1つの非球面レンズ、少なくとも1つの球面レンズ、少なくとも1つのフレネルレンズからなる群から選択される少なくとも1つのレンズ;少なくとも1つの回折光学要素;少なくとも1つの凹面鏡;少なくとも1つのビーム偏向要素、好ましくは少なくとも1つのミラー;少なくとも1つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーのうちの少なくとも1つ;少なくとも1つのマルチレンズシステム、の1つ以上を含み得る。本明細書で使用される場合、転送装置の「焦点距離」という用語は、転送装置に衝突する可能性がある入射平行光線が「フォーカルポイント(focal point)」とも呼ばれる「焦点(focus)」に集束される距離を指す。したがって、焦点距離は入射光ビームを収束させる転送装置の能力の指標を構成する。したがって、転送装置は、集束レンズの効果を有し得る1つ以上の画像化要素を含むことができる。例として、転送装置は、1つ以上のレンズ、特に1つ以上の屈折レンズ、及び/又は1つ以上の凸面ミラーを有することができる。この例では、焦点距離は、薄い屈折レンズの中心から薄いレンズの主焦点までの距離として定義することができる。凸型又は両凸型の薄レンズなどの、集束する薄い屈折レンズの場合、焦点距離は、正であると考えられ、転送装置としての薄レンズに衝突する平行光が単一のスポットに集束され得る距離を与えることができる。さらに、転送装置は、少なくとも1つの波長選択要素、例えば少なくとも1つの光フィルタを含むことができる。さらに、転送装置は、例えばセンサ領域の位置で、具体的にはセンサエリアで、電磁放射に所定のビームプロファイルを印加するように設計され得る。転送装置の上記の任意の実施形態は、原則として、個別に、又は任意の所望の組み合わせで実現することができる。
【0132】
転送装置は、光軸を有していてよい。具体的には、検出器と転送装置は、共通の光軸を有する。本明細書で使用される場合、「転送装置の光軸」という用語は、一般に、レンズ又はレンズシステムの鏡面対称又は回転対称の軸を指す。検出器の光軸は、検出器の光学構成の対称の線であってよい。検出器は、少なくとも1つの転送装置、好ましくは、少なくとも1つのレンズを有する少なくとも1つの転送システムを有する。転送システムは、一例として、少なくとも1つのビーム経路であって、該ビーム経路内の転送システムの要素が光軸に関して回転対称に配置されているビーム経路を含んでよい。さらに、以下でもさらに詳細に説明されるように、ビーム経路内に配置された1つ以上の光学要素は、光軸に対して中心ズレされているか、又は傾斜していてもよい。しかし、この場合、光軸は、ビーム経路内の光学要素の中心を相互接続することによって、例えば、レンズの中心を相互接続することなどによって、順次定義されてよく、この文脈では、光センサは光学要素として考慮されない。光軸は、一般にビーム経路を示してよい。そこでは、検出器は、光ビームがそれに沿って物体から光センサに進む単一のビーム経路を有してもよいし、複数のビーム経路を有してもよい。一例として、単一のビーム経路が与えられてもよいし、又はビーム経路が2つ以上の部分ビーム経路に分割されてもよい。後者の場合、各部分ビーム経路は、それ自身の光軸を有することができる。光センサは、1つかつ同一のビーム経路又は部分ビーム経路に配置されてよい。代替的に、しかし、光センサはまた、異なる部分ビーム経路に配置されてよい。
【0133】
転送装置は、縦方向座標が光軸に沿った座標であり、dが光軸からの空間的オフセットである座標系を構成してよい。座標系は、転送装置の光軸がz軸を形成し、z軸からの距離及び極角が追加の座標として使用され得る極座標系であり得る。z軸に平行又は逆平行な方向は、縦方向とみなすことができ、z軸に沿った座標は縦方向座標とみなすことができる。z軸に垂直な任意な方向は、横方向とみなすことができ、極座標及び/又は極角度は横方向座標とみなすことができる。
【0134】
検出器の座標系であってよい、物体の位置を決定するための座標系に関して、検出器は、検出器の光軸がz軸を形成し、また追加的にz軸に直交しかつ互いに直交するx軸とy軸が提供され得る座標系を、構成することができる。一例として、検出器及び/又は検出器の一部は、この座標系の原点など、この座標系における特定の点に所在し得る。この座標系において、z軸に平行又は逆平行な方向を縦方向とみなすことができ、z軸に沿った座標を、縦方向座標と考えることができる。縦方向に対して垂直な任意の方向を横方向と考え、x座標及び/又はy座標を横方向座標と考えることができる。
【0135】
代替的に、他のタイプの座標系を使用してよい。したがって、一例として、光軸がz軸を形成し、z軸からの距離及び極角が追加の座標として使用され得る極座標系を使用することができる。同様に、z軸に平行又は逆平行な方向を縦方向とみなすことができ、z軸に沿った座標を縦方向座標と考えることができる。z軸に対して垂直な任意の方向を横方向と考え、極座標及び/又は極角を横方向座標と考えることができる。
【0136】
上述したように、検出器は、物体全体又は物体の1つ以上の部分の縦方向座標を決定する選択肢を含めて、物体の少なくとも1つの縦方向座標を決定することを可能にし得る。例えば、検出器は、上記で概説したように、光子比からの深度技術を使用することによって、物体の縦方向座標を決定するように構成されてよい。しかしさらに、1つ以上の横方向座標及び/又は回転座標を含む物体の他の座標が、検出器によって、特に評価装置によって決定され得る。したがって、一例として、1つ以上の横方向センサが、物体の少なくとも1つの横方向座標を決定するために使用されてよい。光センサの少なくとも1つは、そこから中心信号が生じるかどうかを決定してもよい。これは、物体の少なくとも1つの横方向座標に関する情報を提供することができ、ここで、一例として、単純なレンズ方程式が、光学的変換、及び横方向座標の導出のために使用されてよい。追加的又は代替的に、1つ以上の追加の横方向センサが使用されてよく、検出器によって含まれてよい。種々の横方向センサ、例えばWO2014/097181A1に開示されている横方向センサ及び/又は例えば象限ダイオード、CCD又はCMOSチップなどの他の位置感知装置(PSD)が、当技術分野で一般に知られている。追加的又は代替的に、一例として、本発明による検出器は、R.A.Street(編):Technology and Applications of Amorphous Silicon,Springer-Verlag Heidelberg、2010、346~349頁に開示されている1つ以上のPSDを含むことができる。他の実施形態も可能である。これらの装置は、一般に、本発明による検出器に実装されてもよい。一例として、光ビームの一部は、少なくとも1つのビーム分割要素によって、検出器内で分割されてもよい。分割部分は、一例として、CCD又はCMOSチップ又はカメラセンサのような横方向センサに向かって案内されてよく、横方向センサ上の分割部分によって生成される光スポットの横方向位置が決定され、それによって物体の少なくとも1つの横方向座標が決定されてよい。したがって、本発明による検出器は、簡単な距離測定装置のような一次元検出器であってもよいし、二次元の検出器として、又は三次元の検出器としてさえ具現化されてもよい。また、上述したように、あるいは以下にさらに詳細に説明するように、情景又は環境を一次元的に走査することにより、三次元画像を生成することもできる。したがって、本発明による検出器は、具体的には、一次元検出器、二次元検出器、又は三次元検出器のうちの1つであり得る。評価装置は、さらに、物体の少なくとも1つの横方向座標x,yを決定するように構成されてよい。評価装置は、縦方向座標と横方向座標の情報を組み合わせて、空間における物体の位置を決定するように適合されてよい。
【0137】
光センサのマトリックスの使用は、複数の優位及び利益を提供する。したがって、センサ要素上に、例えばセンサ要素のマトリックスの光センサの感光エリアの共通面上などに光ビームによって生成された光スポットの中心は、物体の横方向位置によって変化し得る。光センサのマトリックスの使用は、したがって、物体の位置に関して、具体的には物体の横方向位置に関して、著しい柔軟性を提供する。光センサのマトリックス上の光スポットの横方向位置、例えばセンサ信号を生成する少なくとも1つの光センサの横方向位置は、追加の情報項目として使用されることができ、それからは、物体の横方向位置に関する少なくとも1つの情報項目が、例えばWO2014/198629A1に開示されているように、導出され得る。追加的に又は代替的に、本発明による検出器は、少なくとも1つの縦方向座標に加えて、物体の少なくとも1つの横方向座標を検出するための少なくとも1つの追加の横方向検出器を含むことができる。
【0138】
さらなる態様において、本発明は、物体認識のための方法を開示し、そこでは、本発明による検出器が使用される。本方法は、以下のステップ:
a)少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するステップと;
b)光センサを使用して、前記エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するステップであって、前記光センサが少なくとも1つの感光エリア有する、ステップと;
c)前記光センサを使用することによって、前記照射特徴による照射に応答して前記エリアによって生成された複数の反射特徴を含む少なくとも1つの第2画像を決定するステップと;
d)少なくとも1つの評価装置を使用することによって、前記第1画像を評価するステップであって、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含むステップと;
e)前記評価装置を使用することによって、前記第2画像を評価するステップであって、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記第2画像の評価は、ビームプロファイルの分析によって、前記反射特徴の各々についてビームプロファイル情報を決定することと、前記決定されたビームプロファイル情報を用いて少なくとも1つの三次元画像を決定することを含むステップと;
f)前記評価装置を使用することによって、前記幾何学的特徴の内側に位置する反射特徴を識別し、及び/又は、前記幾何学的特徴の外側に位置する反射特徴を識別するステップと;
g)前記評価装置を使用することによって、前記幾何学的特徴の内側及び/又は外側に位置する反射特徴の前記ビームプロファイル情報から少なくとも1つの深度レベルを決定するステップと;
h)前記評価装置を使用することによって、前記幾何学的特徴の画像領域の内側及び/又は外側に位置する前記反射特徴の前記ビームプロファイル情報から前記物体の少なくとも1つの材料特性を決定するステップと;
i)前記評価装置を使用することによって、前記深度レベル及び/又は前記材料特性、ならびに前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体の少なくとも1つの位置及び/又は向きを決定するステップと、
を含む。
【0139】
方法ステップは、所定の順序で実行されてもよいし、異なる順序で実行されてもよい。さらに、列挙されていない1つ以上の追加の方法ステップが存在してもよい。さらに、方法ステップの1つ、1つより多く、又は、すべてさえも、繰り返し実行されてよい。詳細、選択肢、及び定義については、上述した検出器を参照することができる。したがって、具体的には、上記で説明されたように、本方法は、上記で与えられ又は以下でさらに詳細に与えられる1つ以上の実施形態によるなどの、本発明による検出器の使用を含むことができる。
【0140】
少なくとも1つの評価装置は、例えば本発明による方法の方法ステップの1つ又は複数又はすべてさえも実行又はサポートするように構成された少なくとも1つのコンピュータプログラムなどの、少なくとも1つのコンピュータプログラムを実行するように構成され得る。一例として、物体の位置を決定する1つ以上のアルゴリズムが、実装され得る。
【0141】
本発明のさらなる態様においては、上記で与えられた又は以下でさらに詳細に与えられる1つ以上の実施形態などによる、本発明による検出器の使用が、交通技術における位置測定;娯楽用途;セキュリティ用途;監視用途;安全用途;ヒューマンマシンインターフェイス用途;追跡用途;写真用途;画像化用途又はカメラ用途;少なくとも1つの空間マップを生成するためのマッピング用途;車両用のホーミング又は追跡ビーコン検出器;屋外用途;モバイル用途;通信用途;マシンビジョン用途;ロボット用途;品質管理用途;製造用途、からなる群から選択される使用目的のために、提案される。
【0142】
本発明の検出器及び装置のさらなる使用に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1が参照され、その内容は参照によって含まれる。
【0143】
具体的には、本発明は、ロボット用途などの機械制御の分野に適用されることができる。例えば、本発明は、ロボットアームの少なくとも1つのグリッパを制御するように適用されることができる。上記で概説したように、検出器は、物体、特に金属物体の位置を決定するために構成されることができ、これはグリッパ又は真空グリッパの制御に使用され得る。
【0144】
全体として、本発明の文脈において、以下の実施形態が好ましいと考えられる:
実施の形態1:
- 少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源と;
- 少なくとも1つの感光エリアを有する光センサであって、前記光センサは、前記エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成され、前記光センサは、前記照射特徴による照射に応答して前記エリアによって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成されている、光センサと;
- 少なくとも1つの評価装置であって、前記評価装置は、前記第1画像及び前記第2の画像を評価するように構成され、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記評価装置は、それらのビームプロファイルの分析によって前記反射特徴の各々についてビームプロファイル情報を決定するように構成され、前記評価装置は、前記決定されたビームプロファイル情報を使用して少なくとも1つの三次元画像を決定するように構成され、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含み、前記評価装置は、前記幾何学的特徴の画像領域の内側に位置する反射特徴を識別するように、及び/又は前記幾何学的特徴の画像領域の外側に位置する反射特徴を識別するように構成されている、評価装置と、
を有し、
前記評価装置は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴のビームプロファイル情報から少なくとも1つの深度レベルを決定するように構成されており、
前記評価装置は、前記幾何学的特徴の前記画像領域の内側及び/又は外側に位置する前記反射特徴のビームプロファイル情報から前記物体の少なくとも1つの材料特性を決定するように構成されており、
前記評価装置は、前記深度レベル及び/又は前記材料特性、ならびに前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体の少なくとも1つの位置及び/又は向きを決定するように構成されている、物体認識のための検出器。
【0145】
実施形態2:前記第1画像及び前記第2画像は、異なる時点において決定される、先行する実施形態による検出器。
【0146】
実施形態3:前記幾何学的特徴は:形状、少なくとも1つのエッジの相対位置、少なくとも1つのボアホール、少なくとも1つの反射点、少なくとも1つの線、少なくとも1つの表面、少なくとも1つの円、少なくとも1つのディスク、物体全体、物体の一部、などからなる群から選択される前記物体の少なくとも1つの特徴的要素である、先行する実施形態のいずれか1つによる検出器。
【0147】
実施形態4:前記評価装置は、少なくとも1つのデータ記憶装置を備え、前記データ記憶装置は、幾何学的特徴及び/又は前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報の少なくとも1つのテーブル及び/又は少なくとも1つのルックアップテーブルを含む、先行する実施形態のいずれか1つによる検出器。
【0148】
実施形態5:前記評価装置は、少なくとも1つの画像処理プロセスを用いることによって前記幾何学的特徴を識別するように構成され、前記画像処理プロセスは、少なくとも1つのテンプレートマッチングアルゴリズム;少なくとも1つのハフ変換;Cannyエッジフィルタの適用;Sobelフィルタの適用;フィルタの組み合わせの適用、のうちの1つ以上を含む、先行する実施形態のいずれか1つによる検出器。
【0149】
実施形態6:前記評価装置は、少なくとも1つの妥当性チェックを実行するように構成され、前記識別された幾何学的特徴は前記物体の少なくとも1つの既知の幾何学的特徴と比較される、先行する実施形態のいずれか1つによる検出器。
【0150】
実施形態7:前記照射源は、赤外領域において少なくとも1つの照射パターンを生成するように構成されている、先行する実施形態のいずれか1つによる検出器。
【0151】
実施形態8:前記検出器は、少なくとも1つの第1フィルタ要素を含み、前記第1フィルタ要素は、赤外スペクトル範囲の光を透過させ、他のスペクトル範囲の光を少なくとも部分的に遮断するように構成されている、先行する実施形態のいずれか1つによる検出器。
【0152】
実施形態9:前記第1フィルタ要素は、小さなスペクトル範囲の光を透過させるように構成された単色バンドパスフィルタであり、スペクトル範囲は、±100nm、好ましくは±50nm、最も好ましくは±35nmである、先行する実施形態による検出器。
【0153】
実施形態10:前記検出器は、少なくとも1つの第2フィルタ要素を含み、前記第2フィルタ要素は、可視スペクトル範囲の光を透過させ、他のスペクトル範囲の光を少なくとも部分的に遮断するように構成されている、先行する実施形態のいずれか1つによる検出器。
【0154】
実施形態11:前記照射パターンは、低い点密度を有する少なくとも1つの周期的な点パターンを含み、前記照射パターンは、視野あたり2500個以下の点を有する、先行する実施形態のいずれか1つによる検出器。
【0155】
実施形態12:前記検出器は、少なくとも1つの制御ユニットを含み、前記制御ユニットは、前記光センサ及び/又は前記照射源を制御するように構成されている、先行する実施形態のいずれか1つによる検出器。
【0156】
実施形態13:前記制御ユニットは、前記照射パターンの投影及び/又は前記第2画像の画像化をトリガするように構成されている、先行する実施形態による検出器。
【0157】
実施形態14:前記制御ユニットは、前記照射パターンの投影のための露光時間を適合させるように構成されている、先行する2つの実施形態のいずれか1つによる検出器。
【0158】
実施形態15:前記検出器は、前記第1画像を決定するための前記エリアを照射するように構成された少なくとも1つのさらなる照射源を含み、前記制御ユニットは、前記さらなる照射源を制御するように構成され、前記制御ユニットは、前記さらなる照射源によって生成された光による前記エリアの照射と、前記第1画像の画像化とをトリガするように構成されている、先行する2つの実施形態のいずれか1つによる検出器。
【0159】
実施形態16:前記さらなる照射源は、少なくとも1つの発光ダイオード(LED)又は少なくとも1つのVCSELアレイなどの少なくとも1つ光源の1つ以上を含み、前記さらなる照射源は、少なくとも1つのディフューザー又は少なくとも1つのレンズなどの少なくとも1つの光学要素を含んでいる、先行する実施形態による検出器。
【0160】
実施形態17:前記制御ユニットは、前記照射パターンの投影及び前記さらなる照射源によって生成された光による照射のための露光時間を適合させるように構成されている、先行する2つの実施形態のいずれか1つによる検出器。
【0161】
実施形態18:前記評価装置は、光子比からの深度技術を使用することによって、前記反射特徴のそれぞれについて前記ビームプロファイル情報を決定するように構成されている、先行する実施形態のいずれか1つによる検出器。
【0162】
実施形態19:前記光センサは、少なくとも1つのCMOSセンサを含む、先行する実施形態のいずれか1つによる検出器。
【0163】
実施形態20:先行する実施形態による少なくとも1つの検出器が使用される物体認識のための方法であって、前記方法は、以下のステップ:
a)少なくとも1つの物体を含む少なくとも1つのエリア上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するステップと;
b)光センサを使用して、前記エリアの少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するステップであって、前記光センサが少なくとも1つの感光エリア有する、ステップと;
c)前記光センサを使用することによって、前記照射特徴による照射に応答して前記エリアによって生成された複数の反射特徴を含む少なくとも1つの第2画像を決定するステップと;
d)少なくとも1つの評価装置を使用することによって、前記第1画像を評価するステップであって、前記第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含むステップと;
e)前記評価装置を使用することによって、前記第2画像を評価するステップであって、前記反射特徴の各々は、少なくとも1つのビームプロファイルを含み、前記第2画像の評価は、ビームプロファイルの分析によって、前記反射特徴の各々についてビームプロファイル情報を決定することと、前記決定されたビームプロファイル情報を用いて少なくとも1つの三次元画像を決定することを含むステップと;
f)前記評価装置を使用することによって、前記幾何学的特徴の内側に位置する反射特徴を識別し、及び/又は、前記幾何学的特徴の外側に位置する反射特徴を識別するステップと;
g)前記評価装置を使用することによって、前記幾何学的特徴の内側及び/又は外側に位置する反射特徴の前記ビームプロファイル情報から少なくとも1つの深度レベルを決定するステップと;
h)前記評価装置を使用することによって、前記幾何学的特徴の画像領域の内側及び/又は外側に位置する前記反射特徴の前記ビームプロファイル情報から前記物体の少なくとも1つの材料特性を決定するステップと;
i)前記評価装置を使用することによって、前記深度レベル及び/又は前記材料特性、ならびに前記物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報を考慮することによって、前記物体の少なくとも1つの位置及び/又は向きを決定するステップと、
を含む、方法。
【0164】
実施形態21:検出器に関する先行する実施形態のいずれか1つによる検出器の使用であって、使用目的が、交通技術における位置測定;娯楽用途;セキュリティ用途;監視用途;安全用途;ヒューマンマシンインターフェイス用途;追跡用途;写真用途;画像化用途又はカメラ用途;少なくとも1つの空間のマップを生成するためのマッピング用途;車両用のホーミング又は追跡ビーコン検出器;屋外用途;モバイル用途;通信用途;マシンビジョン用途;ロボット用途;品質管理用途;製造用途、からなる群から選択される、検出器の使用。
【図面の簡単な説明】
【0165】
本発明のさらなる任意選択の詳細及び特徴は、従属請求項と関連して続く好ましい例示的な実施形態の説明から明らかである。この文脈において、特定の特徴は、孤立した形で、又は他の特徴と組み合わせて実施され得る。本発明は、例示的な実施形態に限定されるものではない。例示的な実施形態は、図に模式的に示されている。個々の図における同一の参照数字は、同一の要素又は同一の機能を有する要素、あるいは、機能に関して互いに対応する要素を指す。
【0166】
具体的に、図面では:
【
図1】本発明による検出器の一実施形態を示す図である。
【発明を実施するための形態】
【0167】
実施形態の詳細な説明
図1は、物体認識のための検出器の一実施形態を高度に概略的な態様で示している。物体112は、一般に、その向き及び/又は位置が決定されるべき任意の物理的な物体を指し得る。物体112は、少なくとも1つの物品であり得る。例えば、物体は、箱、ボトル、皿、紙、鞄、ネジ、ワッシャー、機械加工された金属片、ゴム製シール、プラスチック片、包装、梱包材からなる群から選択される少なくとも1つの物体であってよい。
【0168】
検出器110は、少なくとも1つの物体112を含む少なくとも1つのエリア116上に、複数の照射特徴を含む少なくとも1つの照射パターンを投影するように構成された少なくとも1つの照射源114を含む。物体112は、シーン内に位置していてもよく、及び/又は、周辺環境を有していてもよい。具体的には、物体112は、少なくとも1つのエリア116内に位置し得る。エリア116は、少なくとも1つの表面及び/又は領域であり得る。エリア116は、周辺環境などの追加の要素を含んでいてよい。
【0169】
照射源114は、物体112を直接的又は間接的に照射するように適合されてよく、照射パターンは、物体112によって反射又は散乱され、それによって、少なくとも部分的に検出器110に向けられる。照射源114は、例えば、光ビームを物体112に向けることによって物体112を照射するように適合されてよく、物体112は光ビームを反射する。照射源114は、物体112を照射するための照射光ビームを生成するように構成されてよい。
【0170】
照射源114は、少なくとも1つの光源を含んでよい。照射源114は、複数の光源を含んでいてよい。照射源は、人工照射源、特に少なくとも1つのレーザ源、及び/又は少なくとも1つの白熱灯、及び/又は少なくとも1つの半導体光源、例えば少なくとも1つの発光ダイオード、特に有機及び/又は無機発光ダイオードを含み得る。一例として、照射源114によって放出される光は、300~1100nm、特に500~1100nmの波長を有し得る。追加的に又は代替的に、780nm~3.0μmの範囲などの赤外スペクトル範囲の光が使用され得る。具体的には、シリコンフォトダイオードが適用可能な特には700nm~1100nmの範囲の近赤外領域部分の光が使用されることができる。照射源114は、赤外領域において少なくとも1つの照射パターンを生成するように構成されていてよい。近赤外領域の光を使用することは、光が人間の目では検出されないか、又はわずかにしか検出されないが、シリコンセンサ、特に標準的なシリコンセンサによって検出されることを可能にする。
【0171】
照射源114は、少なくとも1つの多重ビーム光源であってもよく、又は、多重ビーム光源を含んでいてもよい。例えば、照射源114は、少なくとも1つのレーザ源と1つ以上の回折光学要素(DOE)を含んでいてよい。具体的には、照射源114は、少なくとも1つのレーザ及び/又はレーザ源を備えていてよい。様々なタイプのレーザ、例えば、半導体レーザ、ダブルヘテロ構造レーザ、外部キャビティレーザ、分離封じ込めヘテロ構造レーザ、量子カスケードレーザ、分散ブラッグ(bragg)反射器レーザ、ポラリトンレーザ、ハイブリッドシリコンレーザ、拡張キャビティダイオードレーザ、量子ドットレーザ、ボリュームブラッググレーティングレーザ、インジウムヒ素レーザ、トランジスタレーザ、ダイオード励起レーザ、分散フィードバックレーザ、量子ウェルレーザ、バンド間カスケードレーザ、ガリウムヒ素レーザ、半導体リングレーザ、拡張キャビティダイオードレーザ、又は垂直キャビティ面発光レーザなど、が採用されてよい。追加的に又は代替的に、LED及び/又は電球などの非レーザ光源が使用されてもよい。照射源114は、照射パターンを生成するように適合された1つ以上の回折光学要素(DOE)を含んでよい。例えば、照射源114は、点群を生成及び/又は投影するように適合されてよく、例えば、照射源は、少なくとも1つのデジタル光処理プロジェクタ、少なくとも1つのLCoSプロジェクタ、少なくとも1つの空間光変調器;少なくとも1つの回折光学要素;発光ダイオードの少なくとも1つのアレイ;レーザ光源の少なくとも1つのアレイ、のうちの1つ以上を含み得る。それらの一般的に定義されたビームプロファイル及び取扱い性の他の特性を考慮すると、照射源として少なくとも1つのレーザ源の使用が特に好ましい。照射源114は、検出器110のハウジングに一体化されてよい。
【0172】
照射パターンは、複数の照射特徴を含んでよい。照射パターンは、少なくとも1つの点パターン;少なくとも1つの線パターン;少なくとも1つのストライプパターン;少なくとも1つの市松模様パターン;周期的又は非周期的な特徴の配置を含む少なくとも1つのパターン、からなる群から選択されてよい。照射パターンは、三角形のパターン、長方形のパターン、六角形パターン、又はさらに凸状のタイル状パターンなどの規則的及び/又は一定及び/又は周期的なパターンを含んでよい。照射パターンは、少なくとも1つの点;少なくとも1つの線;平行線又は交差線などの少なくとも2つの線;少なくとも1つの点と1つの線;周期的又は非周期的な特徴の少なくとも1つの配置;少なくとも1つの任意の形状の特徴からなる群から選択される少なくとも1つの照射特徴を示してよい。照射パターンは:少なくとも1つの点パターン、特に擬似ランダム点パターン;ランダム点パターン又は準ランダムパターン;少なくとも1つのソボル(Sobol)パターン;少なくとも1つの準周期的パターン;少なくとも1つの既知の特徴を含む少なくとも1つのパターン;少なくとも1つの規則的なパターン;少なくとも1つの三角形パターン;少なくとも1つの六角形パターン;少なくとも1つの長方形パターン;凸状の均一なタイル状体(tiling)を含む少なくとも1つのパターン;少なくとも1つの線を含む少なくとも1つの線パターン;平行線又は交差線などの少なくとも2つの線を含む少なくとも1つの線パターン、からなる群から選択される少なくとも1つのパターンを含むことができる。例えば、照射源114は、点群を生成及び/又は投影するように適合され得る。照射源114は、照射パターンが複数の点パターンを含むことができるように点群を生成するように適合された少なくとも1つの光プロジェクタを含み得る。照射源114は、照射源114によって生成された少なくとも1つの光ビームから照射パターンを生成するように適合された少なくとも1つのマスクを含むことができる。
【0173】
具体的には、照射源114は、レーザ放射を生成するように割り当てられた少なくとも1つのレーザ源及び/又は少なくとも1つのレーザダイオードを含む。照射源114は、少なくとも1つの回折光学要素(DOE)を含んでよい。検出器110は、少なくとも1つの点パターンを投影するように適合された、少なくとも1つのレーザ源及びDOEなどの少なくとも1つの点プロジェクタを含んでよい。
【0174】
例えば、投影される照射パターンは、周期的な点パターンであってよい。投影される照射パターンは、低い点密度を有していてよい。例えば、照射パターンは、低い点密度を有する少なくとも1つの周期的な点パターンを含み得、該照射パターンは、視野あたり2500個以下の点を有する。55×38°の視野において典型的に10k~30kの点密度を有する構造化光と比較して、本発明による照射パターンは、より低密度であってよい。これにより、提案された技術は構造化光と比較して周囲光により少なく依存するように、点あたりのパワーを増やすことができる。
【0175】
検出器110は、少なくとも1つのさらなる照明源118を含み得る。さらなる照射源118は、少なくとも1つの発光ダイオード(LED)又は少なくとも1つの垂直共振器面発光レーザ(VCSEL)アレイなどの少なくとも1つのさらなる光源の1つ以上を含んでいてよい。さらなる照射源118は、少なくとも1つのディフューザー又は少なくとも1つのレンズなどの少なくとも1つの光学要素を含んでいてよい。さらなる照射源118は、第1画像の画像化のための追加の照射を提供するように構成されてよい。例えば、さらなる照射源118は、反射パターンを記録することが可能でないか又は困難な状況、例えば反射率の高い金属表面の場合に、良好な照射、したがって二次元画像認識が可能であるように二次元画像に対してコントラストを確保するために使用されてよい。
【0176】
検出器110は、少なくとも1つの感光エリア122を有する光センサ120を備える。光センサ120はエリア116の少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成されている。光センサ120は、照射特徴による照射に応答してエリア116によって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成されている。検出器110は、光センサ120を備える単一のカメラを含んでいてよい。検出器110は、各々が1つか複数の光センサ120を備える複数のカメラを含んでいてよい。
【0177】
光センサ120は、具体的には、少なくとも1つの光検出器、好ましくは無機光検出器、より好ましくは無機半導体光検出器、最も好ましくはシリコン光検出器であってもよく、又はそれらを含んでいてもよい。具体的には、光センサ120は、赤外スペクトル範囲において感度を有してよい。マトリックスの全てのピクセル、又はマトリックスの光センサの少なくとも一群は、具体的には同一であってよい。マトリックスの同一のピクセルの一群は、具体的には、異なるスペクトル範囲について提供されてもよく、又は全てのピクセルは、スペクトル感度に関して同一であってもよい。さらに、ピクセルは、サイズ及び/又はそれらの電子的又は光電子的特性に関して同一であってもよい。具体的には、光センサ120は、赤外スペクトル範囲、好ましくは700nm~3.0マイクロメートルの範囲に感度を有する少なくとも無機フォトダイオードであってもよく、又はそれらを含んでいてもよい。具体的には、光センサ120は、シリコンフォトダイオードが適用可能な特に700nm~1100nmの範囲の近赤外領域の部分で感度を有してよい。光センサに使用され得る赤外光センサは、例えば、ドイツ,D-67056 Ludwigshafen am RheinのtrinamiX GmbHのHertzstueck(登録商標)というブランド名で市販されている赤外光センサなど、市販の赤外光センサであってよい。したがって、一例として、光センサ120は、固有の光起電型の少なくとも1つの光センサ、より好ましくは、Geフォトダイオード、InGaAsフォトダイオード、拡張InGaAsフォトダイオード、InAsフォトダイオード、InSbフォトダイオード、HgCdTeフォトダイオード、からなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ120は、外因性光起電型の少なくとも1つの光センサ、より好ましくは、Ge:Auフォトダイオード、Ge:Hgフォトダイオード、Ge:Cuフォトダイオード、Ge:Znフォトダイオード、Si:Gaフォトダイオード、Si:Asフォトダイオードからなる群から選択される少なくとも1つの半導体フォトダイオードを含み得る。追加的又は代替的に、光センサ120は、PbSもしくはPbSeセンサなどの少なくとも1つの光導電センサ、ボロメータ、好ましくはVOボロメータ及びアモルファスSiボロメータからなる群から選択されるボロメータを含み得る。
【0178】
光センサ120は、紫外、可視、又は赤外スペクトル範囲の1つ以上で感度を有してよい。具体的には、光センサは、500nm~780nm、最も好ましくは650nm~750nm、又は690nm~700nmの可視スペクトル範囲で感度を有してよい。具体的には、光センサは近赤外領域で感度を有してよい。具体的には、光センサ120は、シリコンフォトダイオードが適用可能な特に700nm~1000nmの範囲の近赤外領域の部分で感度を有してよい。光センサ120は、具体的には、赤外スペクトル範囲、具体的には780nm~3.0μmの範囲で感度を有してよい。例えば、光センサは、それぞれ独立に、フォトダイオード、フォトセル、光伝導体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれらを含んでもよい。例えば、光センサ120は、CCDセンサ要素、CMOSセンサ要素、フォトダイオード、フォトセル、光導電体、フォトトランジスタ又はそれらの任意の組み合わせからなる群から選択される少なくとも1つの要素であってもよく、又はそれを含んでもよい。他の任意のタイプの感光性要素を使用してもよい。感光性要素は、一般に、完全に又は部分的に無機材料で作製されることができ、及び/又は、完全に又は部分的に有機材料で作製されることができる。最も一般的には、市販のフォトダイオード、例えば、無機半導体フォトダイオードなどの1つ以上のフォトダイオードが使用され得る。
【0179】
光センサ120は、ピクセルのマトリックスを有する少なくとも1つのセンサ要素を含んでいてよい。したがって、一例として、光センサ120は、ピクセル化された光学装置の一部であるか、又は、それを構成してもよい。例えば、光センサ120は、少なくとも1つのCCD装置及び/又はCMOS装置であってもよく、及び/又は、それらを含んでいてもよい。一例として、光センサ120は、ピクセルのマトリックスを有し、各ピクセルが感光エリアを形成する少なくとも1つのCCD装置及び/又はCMOS装置の一部であるか、又は、それを構成してもよい。センサ要素は、一体の単一装置として、又はいくつかの装置の組み合わせとして形成され得る。マトリックスは、具体的には、1つ以上の行及び1つ以上の列を有する長方形のマトリックスであってもよく、又はそれを含んでいてもよい。行と列は、具体的には長方形方式に配置され得る。しかしながら、非長方形の配置などの他の配置も可能である。一例として、円形の配置も可能であり、そこでは要素は中心点のまわりに同心の円又は楕円に配置される。例えば、マトリックスは、ピクセルの単一の行であってもよい。他の配置も可能である。
【0180】
マトリックスのピクセルは、具体的には、サイズ、感度、ならびに他の光学的、電気的及び機械的特性のうちの1つ以上で等しくてよい。マトリックスの全ての光センサ120の感光エリア122は、具体的には、共通の平面内に配置されてよく、該共通平面は、好ましくは、物体から検出器110に伝播する光ビームが該共通平面上に光スポットを生成するように、物体112に面している。感光エリア122は、具体的には、それぞれの光センサ120の表面上に位置してよい。しかしながら、他の実施形態も実現可能である。光センサ120は、例えば、少なくとも1つのCCD及び/又はCMOS装置を含むことができる。一例として、光センサ120は、ピクセル化された光学装置の一部であってもよく、又はそれを構成してもよい。一例として、光センサ120は、ピクセルのマトリックスを有し、各ピクセルが感光エリア122を形成する少なくとも1つのCCD及び/又はCMOS装置の一部であってもよく、又はそれを構成してもよい。
【0181】
光センサ120は、エリア116の少なくとも1つの二次元画像を含む少なくとも1つの第1画像を決定するように構成される。画像自体は、したがって、ピクセルを含み得、画像のピクセルは、センサ要素のマトリックスのピクセルに相関している。光センサ120は、照射特徴による照射に応答してエリア116によって生成される複数の反射特徴を含む少なくとも1つの第2画像を決定するように構成される。
【0182】
第1画像及び第2画像は、異なる時点において決定され、特に記録されてよい。第1画像の記録と第2の制限時間は、時間的なシフトで行われてよい。具体的には、光センサ120を含む単一のカメラは、時間的なシフトで、二次元画像と投影されたパターンの画像とを記録してよい。第1画像及び第2画像を異なる時点で記録することは、評価装置124が第1画像及び第2画像を区別することができ、適切な評価ルーチンを適用することができることを、確実にし得る。さらに、必要に応じて、特に第2画像に対する照射から独立して、第1画像に対する照射の状況を適合させることが可能である。検出器110は、少なくとも1つの制御ユニット126を含んでいてよい。制御ユニット126は、検出器110のハードウェアコンポーネントとして設計されてよい。特に、制御ユニット126は、少なくとも1つのマイクロコントローラを含んでよい。制御ユニット126は、光センサ120及び/又は照射源114を制御するように構成されてよい。制御ユニット126は、照射パターンの投影及び/又は第2画像の画像化をトリガするように構成されてよい。具体的には、制御ユニット126は、トリガ信号を介して、光センサ120、特にフレームレート及び/又は照射時間を制御するように構成されてよい。制御ユニット126は、フレームからフレームへ、照射時間を適合させ及び/又は調整するように構成されてよい。これは、例えばエッジでコントラストを有するように、第1画像のために照射時間を適合させ及び/又は調整することを可能にし、同時に、反射特徴のコントラストを維持するために、第2画像のために照射時間を適合させ及び/又は調整することを可能にし得る。さらに、制御ユニット126は、同時にかつ独立して、照射源114及び/又はさらなる照射源118の要素を制御することができる。
【0183】
具体的には、制御ユニット126は、照射パターンの投影のための露光時間を適合させるように構成されてよい。第2画像は、異なる照射時間で記録されてよい。エリア116の暗い領域は、明るい領域と比較してより多くの光を必要とする可能性があり、その結果、明るい領域は飽和状態に陥る可能性がある。したがって、検出器110は、反射パターンの複数の画像を記録するように構成されてよく、そこでは、画像は、異なる照射時間で記録されてよい。検出器110は、前記画像から第2画像を生成及び/又は構成するように構成されてよい。評価装置124は、異なる照射時間で記録された前記画像に対して少なくとも1つのアルゴリズムを実行するように構成されてよい。
【0184】
制御ユニット126は、さらなる照射源118を制御するように構成されてよい。制御ユニット126は、さらなる照射源118によって生成された光によるエリアの照射と、第1画像の画像化とをトリガするように構成されてよい。制御ユニット126は、照射パターンの投影及びさらなる照射源118によって生成された光による照射のための露光時間を適合させるように構成されてよい。
【0185】
検出器110は、少なくとも1つの第1フィルタ要素128を含んでいてよい。第1フィルタ要素128は、赤外スペクトル範囲の光を透過させ、他のスペクトル範囲の光を少なくとも部分的に遮断するように構成されてよい。第1フィルタ要素128は、小さなスペクトル範囲の光を透過させるように構成された単色バンドパスフィルタであり得る。例えば、スペクトル範囲又は帯域幅は、±100nm、好ましくは±50nm、最も好ましくは±35nm又はそれ以下でさえあってよい。例えば、第1フィルタ要素128は、808nm、830nm、850nm、905nm又は940nmの中心波長を有する光を透過させるように構成されていてよい。例えば、第1フィルタ要素128は、850nmの中心波長を有する光を70nm以下の帯域幅で透過させるように構成されてよい。第1フィルタ要素128は、スペクトル範囲を小さくすることができるように、最小の角度依存性を有することができる。これにより、周囲光への依存度が低くなり、同時にケラレ効果の増大を防ぐことができる。例えば、検出器110は、光センサ120を有する単一のカメラと、さらに、第1フィルタ要素128とを含んでもよい。第1フィルタ要素128は、周囲光の存在下でさえ反射パターンの記録が可能であり、同時に、レーザクラス1での目の安全作動が保証されるように、レーザ出力を低く維持することを確かにすることができる。
【0186】
追加的に又は代替的に、検出器110は、ここには示されていない少なくとも1つの第2フィルタ要素を含んでいてよい。第2フィルタ要素は、バンドパスフィルタであってよい。例えば、第1フィルタ要素は、可視光を遮断し、780nmの波長を超える光を通過させるように構成されたロングパスフィルタであってよい。バンドパスフィルタは、例えばCMOSチップの感光エリア122と転送装置129との間に配置されてよい。
【0187】
照射源114及び/又はさらなる照射源118のスペクトルは、使用されるフィルタ要素に応じて選択されることができる。例えば、850nmの中心波長を有する第1フィルタ要素128の場合、照射源114は、少なくとも1つの赤外線(IR)-LEDなど、850nmの波長を生成する少なくとも1つの光源を含むことができる。
【0188】
検出器110は:少なくとも1つのレンズ、例えば少なくとも1つの焦点調整可能なレンズ、少なくとも1つの非球面レンズ、少なくとも1つの球面レンズ、少なくとも1つのフレネルレンズからなる群から選択される少なくとも1つのレンズ;少なくとも1つの回折光学要素;少なくとも1つの凹面鏡;少なくとも1つのビーム偏向要素、好ましくは少なくとも1つのミラー;少なくとも1つのビーム分割要素、好ましくはビーム分割キューブ又はビーム分割ミラーの少なくとも1つ;少なくとも1つのマルチレンズシステム、のうちの1つ以上を含む少なくとも1つの転送装置129を含んでいてよい。特に、転送装置129は、画像平面内の少なくとも1つの物体点に集束するように適合された少なくとも1つのコリメートレンズを含んでいてよい。
【0189】
評価装置124は、第1画像と第2画像を評価するように構成されている。
【0190】
第1画像の評価は、少なくとも1つの予め定義された又は予め決定された幾何学的特徴を識別することを含む。幾何学的特徴は:形状、少なくとも1つのエッジの相対位置、少なくとも1つのボアホール、少なくとも1つの反射点、少なくとも1つの線、少なくとも1つの表面、少なくとも1つの円、少なくとも1つのディスク、物体全体、物体の一部、などからなる群から選択される物体112の少なくとも1つの特徴的要素であり得る。評価装置124は、少なくとも1つのデータ記憶装置130を備えることができる。データ記憶装置130は、幾何学的特徴及び/又は物体112の形状及び/又はサイズに関する予め決定された又は予め定義された情報の少なくとも1つのテーブル及び/又は少なくとも1つのルックアップテーブルを含むことができる。追加的に又は代替的に、検出器110は、ユーザが少なくとも1つの幾何学的特徴を入力することができる少なくとも1つのユーザインターフェース132を備えることができる。
【0191】
評価装置124は、第1のステップで第2画像を評価するように構成されてよい。第2画像の評価は、以下により詳細に概説されるように、反射特徴の3D情報を提供してよい。評価装置124は、反射特徴の3D情報を考慮することによって、第1画像における幾何学的特徴の位置を推定するように構成されてよい。これにより、第1画像における幾何学的特徴の探索の労力が大幅に削減され得る。
【0192】
評価装置124は、少なくとも1つの画像処理プロセスを用いることによって幾何学的特徴を識別するように構成されてよい。画像処理プロセスは、少なくとも1つのテンプレートマッチングアルゴリズム;少なくとも1つのハフ変換;Cannyエッジフィルタの適用;Sobelフィルタの適用;フィルタの組み合わせの適用、のうちの1つ以上を含むことができる。評価装置は、少なくとも1つの妥当性チェックを実行するように構成されてよい。妥当性チェックは、識別された幾何学的特徴を物体の少なくとも1つの既知の幾何学的特徴と比較することを含むことができる。例えば、ユーザは、妥当性チェックのために、ユーザインターフェースを介して既知の幾何学的特徴を入力することができる。
【0193】
評価装置124は、第2画像の評価を行うように構成されている。第2画像の評価は、三次元画像を生成することを含んでよい。
【0194】
反射特徴の各々は、少なくとも1つのビームプロファイルを含む。ビームプロファイルは、台形ビームプロファイル;三角形ビームプロファイル;円錐ビームプロファイル及びガウシアンビームプロファイルの線形結合からなる群から選択され得る。評価装置124は、ビームプロファイルの分析により、反射特徴の各々に関するビームプロファイルの情報を決定するように構成される。
【0195】
評価装置124は、反射特徴のそれぞれのビームプロファイルを決定するように構成されることができる。ビームプロファイルを決定することは、光センサ120によって提供される少なくとも1つの反射特徴を識別すること、及び/又は光センサ120によって提供される少なくとも1つの反射特徴を選択すること、及び反射特徴の少なくとも1つの強度分布を評価することを指す。一例として、マトリックスの領域は、マトリックスを通る軸又は線に沿ってなど、三次元強度分布又は二次元強度分布などの強度分布を決定するために使用され、評価されてよい。一例として、光ビームによる照射の中心は、最高の照射を有する少なくとも1つのピクセルを決定することなどにより決定され得、断面軸が照射の中心を通して選択され得る。強度分布は、照射の中心を通るこの断面軸に沿った座標の関数としての強度分布であり得る。他の評価アルゴリズムも可能である。
【0196】
評価装置124は、反射特徴を識別するために、少なくとも1つの画像分析及び/又は画像処理を実行するように構成され得る。画像分析及び/又は画像処理は、少なくとも1つの特徴検出アルゴリズムを使用してよい。画像分析及び/又は画像処理は、以下:フィルタリング;少なくとも1つの関心領域の選択;センサ信号によって生成された画像と少なくとも1つのオフセットとの間の差分画像の形成;センサ信号によって生成された画像を反転することによるセンサ信号の反転;異なる時間にセンサ信号によって生成された画像間の差分画像の形成;背景補正;カラーチャネルへの分解;色相への分解;飽和;輝度チャネル;周波数分解;特異値分解;ブロブ検出器の適用;コーナー検出器の適用;ヘッセフィルタの行列式の適用;主曲率ベースの領域検出器の適用;最大安定極値領域検出器の適用;一般化されたハフ変換の適用;稜線検出器の適用;アフィン不変特徴検出器の適用;アフィン適応の関心点演算子の適用;ハリスアフィン領域検出器の適用;ヘッセアフィン領域検出器の適用;スケール不変特徴変換の適用;スケールスペース極値検出器の適用;局所特徴検出器の適用;高速化堅牢特徴アルゴリズムの適用;勾配位置及び方向のヒストグラムアルゴリズムの適用;方向付けられた勾配記述子のヒストグラムの適用;Dericheエッジ検出器の適用;差動エッジ検出器の適用;時空関心点検出器の適用;モラベックコーナー検出器の適用;キャニーエッジ検出器の適用;ガウスフィルタのラプラス演算子の適用;差分ガウスフィルタの適用;ソーベル(Sobel)演算子の適用;ラプラス演算子の適用;シャール演算子の適用;プレウィット演算子の適用;ロバーツ演算子の適用;キルシュ演算子の適用;ハイパスフィルタの適用;ローパスフィルタの適用;フーリエ変換の適用;ラドン変換の適用;ハフ変換の適用;ウェーブレット変換の適用;閾値処理;バイナリ画像の生成、のうちの1つ以上を含み得る。関心領域は、ユーザが手動で決定してもよく、又は、光センサ120によって生成された画像内の物体を認識するなどによって、自動的に決定されてもよい。
【0197】
例えば、照射源114は、複数の照射領域が、光センサ、例えばCMOS検出器上に生成されるように、点群を生成及び/又は投影するように構成されてよい。さらに、例えばスペックル及び/又は外来光及び/又は多重反射によるなどの外乱が、光センサに存在し得る。評価装置124は、少なくとも1つの関心領域、例えば、物体112の縦方向座標の決定に使用される光ビームによって照射される1つ以上のピクセルを、決定するように適合され得る。例えば、評価装置124は、フィルタリング方法、例えば、ブロブ分析及び/又はエッジフィルタ及び/又は物体認識方法を実行するように適合されてよい。
【0198】
評価装置124は、少なくとも1つの画像補正を行うように構成されてよい。画像補正は、少なくとも1つの背景減算を含み得る。評価装置124は、例えば、さらなる照射なしの画像化によって、反射ビームプロファイルから背景光からの影響を除去するように適合されてよい。
【0199】
ビームプロファイルの分析は、ビームプロファイルを評価することを含むことができる。ビームプロファイルの分析は、少なくとも1つの数学演算、及び/又は少なくとも1つの比較、及び/又は少なくとも1つの対称化、及び/又は少なくとも1つのフィルタリング、及び/又は少なくとも1つの正規化を含んでよい。例えば、ビームプロファイルの分析は、ヒストグラム分析ステップ、差分測定の計算、ニューラルネットワークの適用、機械学習アルゴリズムの適用のうちの少なくとも1つを含み得る。評価装置124は、特に、より大きな角度での記録、エッジなどの記録からノイズ又は非対称性を除去するために、ビームプロファイルを対称化及び/又は正規化及び/又はフィルタリングするように構成されることができる。評価装置124は、空間周波数分析及び/又は中央値フィルタリングなどによってなど、高い空間周波数を除去することによって、ビームプロファイルをフィルタリングすることができる。集約は、光スポットの強度の中心によって実行されてよく、中心までの同じ距離にある全ての強度を平均化することができる。評価装置124は、特に記録された距離による強度差を考慮するように、ビームプロファイルを最大強度に正規化するように構成されてよい。評価装置124は、例えば、照射なしの画像化によって、反射ビームプロファイルから背景光の影響を除去するように構成されてもよい。
【0200】
反射特徴は、画像の少なくとも1つのピクセルをカバーするか、又はその上に延びていてもよい。例えば、反射特徴は、複数のピクセルをカバーするか、又は複数のピクセルにわたって延在してもよい。評価装置124は、反射特徴、例えば光スポットに接続及び/又は属する全てのピクセルを決定及び/又は選択するように構成されていてもよい。評価装置124は、強度の中心を、
【数53】
によって決定するように構成されてよく、ここで、R
coiは強度の中心位置、r
pixelはピクセル位置、及び
【数54】
はjが反射特徴に接続及び/又は属するピクセル数j、I
totalは総強度である。
【0201】
評価装置124は、ビームプロファイルの分析によって、反射特徴のそれぞれについてビームプロファイル情報を決定するように構成されている。ビームプロファイル情報は、照射特徴を反射した表面点又は領域の縦方向座標に関する情報を含むことができる。さらに、ビームプロファイル情報は、照射特徴を反射した前記表面点又は領域の材料特性に関する情報を含むことができる。
【0202】
ビームプロファイル情報は、照射特徴を反射した表面点又は領域の縦方向座標であってよい。評価装置124は、光子比からの深度技術を使用することによって、反射特徴のそれぞれについてビームプロファイル情報を決定するように構成されてよい。光子比からの深度(DPR)技術に関しては、WO2018/091649A1、WO2018/091638A1及びWO2018/091640A1を参照し、その全内容は参照により含まれる。
【0203】
反射特徴の1つのビームプロファイルの分析は、ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定することを含み得る。ビームプロファイルの第1エリアは、エリアA1であり得、ビームプロファイルの第2エリアは、エリアA2であり得る。評価装置124は、第1エリアと第2エリアとを積分するように構成されてもよい。評価装置124は、積分された第1エリア及び積分された第2エリアを除算すること、積分された第1エリア及び積分された第2エリアの倍数を除算すること、積分された第1エリア及び積分された第2エリアの線形結合を除算することの1つ以上によって、結合信号、特に商Qを導出するように構成され得る。評価装置124は、ビームプロファイルの少なくとも2つのエリアを決定するように、及び/又はビームプロファイルをビームプロファイルの異なるエリアを有する少なくとも2つのセグメントに分割するように構成されてもよく、エリアが一致しない限り、エリアの重なりは可能である。例えば、評価装置124は、2つ、3つ、4つ、5つ、又は最大10個のエリアなど、複数のエリアを決定するように構成されてよい。評価装置124は、光スポットをビームプロファイルの少なくとも2つのエリアに分割するように、及び/又は、ビームプロファイルをビームプロファイルの異なるエリアを含む少なくとも2つのセグメントに分割するように構成されてよい。評価装置124は、エリアのうちの少なくとも2つについて、それぞれのエリアにわたるビームプロファイルの積分を決定するように構成されてよい。評価装置124は、決定された積分の少なくとも2つを比較するように構成されてよい。具体的には、評価装置124は、反射ビームプロファイルの少なくとも1つの第1エリア及び少なくとも1つの第2エリアを決定するように構成されてよい。ビームプロファイルの第1エリアと反射ビームプロファイルの第2エリアは、隣接する領域又は重複する領域のいずれか一方又は両方であってよい。ビームプロファイルの第1エリアとビームプロファイルの第2エリアは、エリアが一致していなくてよい。例えば、評価装置124は、CMOSセンサのセンサ領域を少なくとも2つのサブ領域に分割するように構成されてよく、評価装置は、CMOSセンサのセンサ領域を、少なくとも1つの左側部分と少なくとも1つの右側部分、及び/又は少なくとも1つの上部分と少なくとも1つの下部分、及び/又は少なくとも1つの内部分と少なくとも1つの外部分、とに分割するように構成され得る。追加的又は代替的に、検出器110は、少なくとも2つの光センサ120を備えてよく、第1光センサ及び第2光センサの感光エリア122は、第1光センサが反射特徴の反射ビームプロファイルの第1エリアを決定するよう適合され、第2光センサが反射特徴の反射ビームプロファイルの第2エリアを決定するよう適合されるように配置され得る。評価装置124は、第1エリアと第2エリアとを統合するように適合されてよい。評価装置124は、縦方向座標を決定するために、商Qと縦方向座標の間の少なくとも1つの所定の関係を用いるように構成されてよい。所定の関係は、経験的関係、半経験的関係、及び分析的に導出された関係のうちの1つ以上であってよい。評価装置124は、例えばルックアップリスト又はルックアップテーブルなどの、所定の関係を記憶するための少なくとも1つのデータ記憶装置を備えてよい。
【0204】
ビームプロファイルの第1エリアは、ビームプロファイルのエッジ情報を実質的に含んでよく、ビームプロファイルの第2エリアは、ビームプロファイルの中心情報を実質的に含んでよく、及び/又は、ビームプロファイルの第1エリアは、ビームプロファイルの左側部分に関する情報を実質的に含み、ビームプロファイルの第2エリアはビームプロファイルの右側部分に関する情報を実質的に含んでよい。ビームプロファイルは、中心、すなわちビームプロファイルの最大値及び/又はビームプロファイルのプラトーの中心点及び/又は光スポットの幾何学的中心と、中心から延びる立下りエッジとを有してよい。第2領域は、断面の内側領域を含んでよく、第1領域は、断面の外側領域を含んでよい。好ましくは、中心情報は、10%未満、より好ましくは5%未満、のエッジ情報の割合を有し、最も好ましくは、中心情報はエッジ内容を含まない。エッジ情報は、ビームプロファイル全体の情報、特に中心領域及びエッジ領域からの情報を含み得る。エッジ情報は、10%未満、好ましくは5%未満の中心情報の割合を有し、より好ましくは、エッジ情報は中心情報を含まない。ビームプロファイルが中心に近いか又はその周囲にあり、実質的に中心情報を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第2エリアとして決定及び/又は選択されてよい。ビームプロファイルが断面の立下りエッジの少なくとも部分を含む場合は、ビームプロファイルの少なくとも1つのエリアは、ビームプロファイルの第1エリアとして決定及び/又は選択されてよい。例えば、断面の全エリアが第1領域として決定されてよい。
【0205】
第1エリアA1及び第2エリアA2の他の選択も実現可能であり得る。例えば、第1エリアは、ビームプロファイルの実質的に外側領域を含み、第2エリアは、ビームプロファイルの実質的に内側領域を含み得る。例えば、二次元ビームプロファイルの場合、ビームプロファイルは左側部分と右側部分に分割されることができ、そこでは、第1エリアはビームプロファイルの左側部分のエリアを実質的に含み、第2エリアはビームプロファイルの右側部分のエリアを実質的に含んでよい。
【0206】
評価装置124は、第1エリアと第2エリアを除算すること、第1エリアと第2エリアの倍数を除算すること、第1エリアと第2エリアの線形結合を除算することのうちの1つ以上によって商Qを導出するように構成されてよい。評価装置124は、
【数55】
によって商Qを導出するように構成されてよく、
式中、x及びyは横方向座標、A1、A2はそれぞれビームプロファイルの第1エリア及び第2エリア、E(x、y)はビームプロファイルを表す。
【0207】
評価装置124は、決定されたビームプロファイル情報を用いて、少なくとも1つの三次元画像及び/又は3Dデータを決定するように構成されていてよい。反射パターンを含むカメラによって記録された画像は、二次元画像であってよい。上記で概説したように、評価装置124は、反射特徴の各々について縦方向座標を決定するように構成されてよい。評価装置124は、反射パターンの二次元画像をそれぞれの反射特徴の決定された縦方向座標とマージすることによって、3Dデータ及び/又は3D画像を生成するように構成されてよい。
【0208】
評価装置124は、シーン内、特にエリア内における物体を識別するために、決定された3Dデータ及び/又は三次元画像と、第1画像から決定された情報すなわち少なくとも1つの幾何学的特徴及びその位置と、をマージ及び/又は融合するように構成されてよい。
【0209】
評価装置124は、幾何学的特徴の画像領域の内側に位置する反射特徴を識別するように、及び/又は、幾何学的特徴の画像領域の外側に位置する反射特徴を識別するように構成される。評価装置124は、第1画像内の識別された幾何学的特徴の画像位置を決定するように構成されてよい。画像位置は、ピクセルの座標、例えば、幾何学的特徴のピクセルのx及びy座標によって定義されてよい。評価装置124は、第1画像における幾何学的特徴の少なくとも1つの境界及び/又は限界を、決定及び/又は割り当て及び/又は選択するように構成されてよい。境界及び/又は限界は、幾何学的特徴の少なくとも1つのエッジ又は少なくとも1つの輪郭によって与えられ得る。評価装置124は、境界及び/又は限界の内側にある第1画像のピクセルと、第1画像におけるそれらの画像位置とを決定するように構成されていてよい。評価装置124は、幾何学的特徴の境界及び/又は限界の内側の第1画像のピクセルに対応する第2画像のピクセルを識別することによって、第1画像内の幾何学的特徴に対応する第2画像の少なくとも1つの画像領域を決定するように構成されてよい。
【0210】
評価装置124は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴のビームプロファイル情報から少なくとも1つの深度レベルを決定するように構成される。物体を含むエリアは、異なる深度レベルの複数の要素を含み得る。深度レベルは、第2画像のピクセルの深度マップの区間又は階級を指し得る。上記で概説したように、評価装置124は、反射特徴の各々について、そのビームプロファイルから縦方向座標を決定するように構成されてよい。評価装置124は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴の縦方向座標から深度レベルを決定するように構成されてよい。金属物体は、多くの場合、第2画像において正しく識別されることができない。しかし、レベルは、地面や前記金属物体のカバー(これらはしばしば厚紙で作られているため)によって定義され得るため、正しく識別されることができる。
図1は、エリア116が、物体112が位置する表面134を含む例を示している。評価装置124は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴の深度レベルから、物体112が位置する深度レベルを決定するように構成されてよい。
【0211】
評価装置124は、深度レベルと、物体112の形状及び/又はサイズに関する予め決定された又は予め定義された情報とを考慮することによって、物体の位置及び/又は向きを決定するように構成される。例えば、形状及び/又はサイズに関する情報は、ユーザインターフェース132を介してユーザによって入力されてよい。例えば、形状及びサイズに関する情報は、追加の測定で測定されてよい。上記で概説したように、評価装置124は、物体112が位置する深度レベルを決定するように構成される。さらに、物体112の形状及び/又はサイズが既知である場合、評価装置124は、物体の位置及び向きを決定することができる。
【0212】
例えば、箱の中にあるボトルなどの少なくとも1つの物体112を検出器110で検出し、測定することがタスクであり得る。検出器110、特に光センサ120は、検出器110が箱の中の物体に対して異なる位置に移動できるように、ロボットアーム142に設置されてよい。タスクは、ロボットが物体112まで移動し、箱から取り出すことであり得る。さらに、ユーザは、物体112(この例ではボトル)を詳細に知っているので、サイズ、形態、形状も知り得、評価装置124にプログラムすることができる。
【0213】
光センサ120は、二次元画像とその結果としての三次元深度マップを決定することができる。深度マップは、検出器110と物体112の位置を推定することができる。深度マップはまた、光沢のある物体(例えば金属)などの、さまざまな効果によって歪められ得、及び/又は、3D深度マップがまばらになり得る。本発明は、3D深度マップに対応する2D画像によって追加情報を得ることを提案する。ボトルの例では、タスクは箱の中のボトルを検出することである。さらに、ボトルは回転対称であることが知られている可能性がある。ボトルの特定の特徴(例えば丸いボトルキャップなど)は、物体の検出に役立つ。このため、画像処理アルゴリズムを用いて、物体検出のために、2D画像中の円又は楕円を探索することになり得る。楕円のサイズの大まかな推定は、3D深度情報によって計算されることができる。詳細な物体検出のために、2D画像中の検出された楕円と、検出器110と実世界の間の投影の既知の関係を用いて、実世界の円のサイズと位置を決定することができる。検出器110と実世界の間の投影の関係は、少なくとも1つの方程式系を用いて、サイズ、位置及び向きを決定することに使用され得る。
【0214】
評価装置124は、幾何学的特徴の画像領域の内側及び/又は外側に位置する反射特徴のビームプロファイル情報から、物体の少なくとも1つの材料特性を決定するために構成される。ビームプロファイル情報は、照射特徴を反射した表面点又は領域の材料特性に関する情報を含むことができる。物体112は、照射パターンが投影される少なくとも1つの表面を含むことができる。表面は、照射パターンを少なくとも部分的に検出器110に向かって反射し返すように適合されてよい。例えば、材料特性は、粗さ、材料への光の透過深度、生物学的材料又は非生物学的材料として材料を特徴付ける特性、反射率、鏡面反射率、拡散反射率、表面特性、半透明の尺度、散乱、具体的には、後方散乱挙動などからなる群から選択される特性であってよい。少なくとも1つの材料特性は、散乱係数、透光性、透明性、ランバート表面反射からの偏差、スペックルなどからなる群から選択される特性であってもよい。
【0215】
評価装置124は、照射特徴を反射した表面点の材料特性を決定するように構成されてよい。検出器110は、予め定義された及び/又は予め決定された材料特性のルックアップリスト及び/又はルックアップテーブルなどのリスト及び/又はテーブルを含む少なくとも1つのデータベース136を含んでよい。材料特性のリスト及び/又はテーブルは、本発明による検出器110を使用して少なくとも1つの試験測定を行うことにより、例えば既知の材料特性を有するサンプルを使用して材料試験を行うことにより、決定及び/又は生成されることができる。材料特性のリスト及び/又はテーブルは、製造業者サイトで、及び/又は検出器110のユーザによって、決定及び/又は生成されることができる。材料特性は、例えば、材料名、生物学的材料又は非生物学的材料などの材料グループ、透光性材料又は非透光性材料、金属又は非金属、皮膚又は非皮膚、毛皮又は非毛皮、カーペット又は非カーペット、反射性又は非反射性、鏡面反射性又は非鏡面反射性、泡又は非泡、毛髪又は非毛髪、粗さグループなどの1つ以上などの材料分類にさらに割り当てられてよい。データベース136は、材料特性及び関連する材料名及び/又は材料グループを含むリスト及び/又はテーブルを含んでよい。
【0216】
評価装置124は、反射特徴のそれぞれのビームプロファイルを評価することによって材料特性mを決定するように構成されてよい。評価装置124は、反射特徴に少なくとも1つの材料依存の画像フィルタФ2を適用することによって、少なくとも1つの材料特徴φ2mを決定するように構成されてよい。画像はは、二次元関数f(x,y)であり得、ここで、明るさ及び/又は色の値は、画像内の任意のx,y位置に対して与えられる。位置は、記録ピクセルに対応して離散化されてよい。明るさ及び/又は色は、光センサのビット深度に対応して離散化されてよい。画像フィルタは、ビームプロファイル及び/又はビームプロファイルの少なくとも1つの特定領域に適用される少なくとも1つの数学演算であり得る。具体的には、画像フィルタФは、画像f又は画像内の関心領域を、実数Ф(f(x,y))=φにマッピングし、ここでφは特徴、特に距離依存の画像フィルタの場合は距離特徴、材料依存の画像フィルタの場合は材料特徴を示している。画像はノイズの影響を受ける可能性があり、特徴についても同様である。したがって、特徴はランダム変数であってよい。特徴は正規分布に従ってもよい。特徴が正規分布に従っていない場合は、ボックスコックス変換(Box-Cox-Transformation)などによって正規分布に従うように変換されてもよい。評価装置は124、材料特徴φ2mを評価することによって材料特性mを決定するように構成されてよい。材料特徴は、物体112の少なくとも1つの材料特性に関する少なくとも1つの情報であってもよく、又はそれを含んでいてもよい。
【0217】
材料依存画像フィルタは、輝度フィルタ;スポット形状フィルタ;二乗ノルム勾配;標準偏差;ガウスフィルタ又はメディアンフィルタなどの平滑性フィルタ;グレーレベル発生ベースのコントラストフィルタ;グレーレベル発生ベースのエネルギーフィルタ;グレーレベル発生ベースの均一性フィルタ;グレーレベル発生ベースの非類似性フィルタ;ローのエネルギーフィルタ;閾値領域フィルタ;もしくはこれらの線形結合;又は、|ρФ2other,Фm|≧0.40によって(Фmは、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又はそれらの線形結合の1つである)、輝度フィルタ、スポット形状フィルタ、二乗ノルム勾配、標準偏差、平滑性フィルタ、グレーレベル発生ベースのエネルギーフィルタ、グレーレベル発生ベースの均一性フィルタ、グレーレベル発生ベースの非類似性フィルタ、ローのエネルギーフィルタ、もしくは閾値領域フィルタ、又は、それらの線形結合に相関するさらなる材料依存画像フィルタФ2other、からなる群から選択される少なくとも1つのフィルタであってよい。さらなる材料依存画像フィルタФ2otherは、材料依存画像フィルタФmの1つ以上と、|ρФ2other,Фm|≧0.60、好ましくは|ρФ2othe,Фm|≧0.80によって相関していてもよい。
【0218】
上記のように、検出器110は、物体112を含むエリア116の要素の材料を分類するように構成されてよい。構造化光とは対照的に、本発明による検出器110は、各反射特徴についてその材料特性に関する情報を決定することができるように、第2画像の反射特徴のそれぞれを評価するように構成されてよい。
【0219】
評価装置124は、材料特性と、物体の形状及び/又はサイズに関する予め決定された又は予め定義された情報とを考慮して、物体の少なくとも1つの位置及び/又は向きを決定するように構成されている。一般に、物体112の識別は、2D画像情報又は3D深度マップのみを用いて行われ得る。しかし、2Dと3Dの情報を融合することで、品質を向上させることができる。反射面が、一般に光学3D測定では問題となる。反射面の場合、2D画像情報のみを使用することは可能な場合がある。反射率の高い物体の場合、3D測定は誤った深度マップに関連する可能性がある。このような物体の識別には、2D情報が不可欠となり得る。
【0220】
検出器110は、その全部又は一部が少なくとも1つのハウジング138に一体化されてよい。
【0221】
検出器110の座標系であってよい、物体112の位置を決定するための座標系に関して、検出器は、検出器110の光軸がz軸を形成し、また追加的にz軸に直交しかつ互いに直交するx軸とy軸が提供され得る座標系140を、構成することができる。一例として、検出器110及び/又は検出器の一部は、この座標系の原点など、この座標系における特定の点に所在し得る。この座標系において、z軸に平行又は逆平行な方向を縦方向とみなすことができ、z軸に沿った座標を、縦方向座標と考えることができる。縦方向に対して垂直な任意の方向を横方向と考え、x座標及び/又はy座標を横方向座標と考えることができる。
【0222】
本発明は、ロボット用途などの機械制御の分野に適用されることができる。例えば、
図1に示されるように、本発明は、ロボットアーム142の少なくとも1つのグリッパを制御するために適用されてよい。上記で概説したように、検出器110は、物体、特に金属物体の位置を決定するために構成されることができ、このことはロボットアーム142の制御に用いられ得る。例えば、物体112は少なくとも1つの物品であり得る。例えば、物体112は、箱、ボトル、皿、紙、鞄、ネジ、ワッシャー、機械加工された金属片、ゴム製シール、プラスチック片、包装、梱包材からなる群から選択される少なくとも1つの物体であってよい。
【符号の説明】
【0223】
110 検出器
112 物体
114 照射源
116 エリア
118 さらなる照射源
120 光センサ
122 感光エリア
124 評価装置
126 制御ユニット
128 第1フィルタ要素
129 転送装置
130 データ記憶装置
132 ユーザインターフェース
134 表面
136 データベース
138 検出器システム
140 座標系
142 ロボットアーム
【0224】
引用文献
US2016/0238377A1
WO2018/091649A1
WO2018/091638A1
WO2018/091640A1
「Lasertechnikinder Medizin:Grundlagen、Systeme、Anwendungen」、「WirkungvonLaserstrahlung auf Gewebe」1991,171~266頁,Juergen Eichler,Theo Seiler,Springer Verlag,ISBN 0939-0979
R.A.Street(編):Technology and Applications of Amorphous Silicon,Springer-Verlag Heidelberg、2010、346~349頁
WO2014/198629A1
Chen Guo-Hua等による「Transparent object detection and location based on RGB-D camera」,JOURNAL OF PHYSICS:CONFERENCE SERIES,vol.1183,2019年3月1日,012011頁,XP055707266,GB ISSN:1742-6588,DOI:10.1088/1742-6596/1183/1/012011
【国際調査報告】