特許 6359466 サブ解像度での光学的検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6359466

(24)【登録日】2018年6月29日

(45)【発行日】2018年7月18日

(54)【発明の名称】サブ解像度での光学的検出

(51)【国際特許分類】

   G01B 11/00 20060101AFI20180709BHJP

   G01B 11/25 20060101ALI20180709BHJP

   G06T 1/00 20060101ALI20180709BHJP

【ＦＩ】

   G01B11/00 H

   G01B11/25 H

   G06T1/00 400M

【請求項の数】19

【外国語出願】

【全頁数】17

(21)【出願番号】特願2015-4519(P2015-4519)

(22)【出願日】2015年1月13日

(65)【公開番号】特開2015-143685(P2015-143685A)

(43)【公開日】2015年8月6日

【審査請求日】2017年10月25日

(31)【優先権主張番号】61/926,476

(32)【優先日】2014年1月13日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】508178054

【氏名又は名称】フェイスブック，インク．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】ロマノ ニタイ

(72)【発明者】

【氏名】グロスィンガー ナダヴ

(72)【発明者】

【氏名】アロン エミル

(72)【発明者】

【氏名】アルペルン ヤイル

【審査官】 河内 悠

(56)【参考文献】

【文献】 特表２００９−５３１６５５（ＪＰ，Ａ）

【文献】 特開平０７−０４３１１３（ＪＰ，Ａ）

【文献】 特開平０６−１６００８４（ＪＰ，Ａ）

【文献】 特開平０７−１２９７７０（ＪＰ，Ａ）

【文献】 国際公開第２０１３／８７４５０（ＷＯ，Ａ２）

【文献】 特開２０１１−１６３８５２（ＪＰ，Ａ）

【文献】 特開２００８−１１６４５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２５

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

装置であって、
構造化された光パターンをボリューム内に照らす構造化された光源と、
前記ボリューム内の１つまたは複数の被検出物から反射される前記構造化された光パターンを受けるように複数の検出ピクセルを有する、デジタル検出器と、
前記複数の検出ピクセルの前に配置され、前記デジタル検出器において、１つまたは複数の被検出物から反射される前記構造化された光パターンを、ピークと、前記複数の検出ピクセルの隣接するピクセルにわたる周囲構造における少なくとも１つの補助ピークとを有する光強度信号を示すピクセル値に変換するように構成されている回折素子と、
前記デジタル検出器に接続された電子プロセッサとを備え、
前記電子プロセッサは、
前記ピクセル値を受け、
前記ピクセル値を有する前記隣接するピクセルにわたって、前記ピークと、前記少なくとも１つの補助ピークを有する前記周囲構造との分布の評価を行い、
前記評価に基づいて、前記隣接するピクセルのうちの１つのピクセル内の領域内における前記ピークの位置を決定し、前記領域は、前記隣接するピクセルの明るさのレベルの組合せを前記複数の検出ピクセルの１つにおける複数の検出ゾーンの１つにマッピングすることにより、前記１つのピクセルのサイズよりも小さく、各検出ピクセルは、個々の検出ピクセルにおいて解像可能な明るさのレベルの使用される組合せによって決まるサイズの前記複数の検出ゾーンに分割可能であり、
前記隣接するピクセルにおける明るさのレベルの変化に基づいてボリューム内の１つまたは複数の被検出物の動きを検出するように構成されている、装置。

【請求項2】

前記分布が、前記隣接するピクセルにわたる前記ボリューム内の１つまたは複数の被検出物から反射され受光した前記構造化された光パターンの明るさを示す、請求項１に記載の装置。

【請求項3】

前記回折素子が、少なくとも一つの前記補助ピークを、前記ピークを検出する前記隣接するピクセルの前記１つのピクセルの近傍に配置するように構成されている、請求項１に記載の装置。

【請求項4】

前記明るさのレベルの前記組合せが、前記隣接するピクセルにわたる２次元空間における明るさのレベルである、請求項１に記載の装置。

【請求項5】

前記複数の検出ゾーンが、検出ピクセルあたり少なくとも５つの検出ゾーンを備えている、請求項１に記載の装置。

【請求項6】

前記ピークが、前記隣接するピクセルの第１の検出ピクセルの中央に位置するときに、前記少なくとも１つの補助ピークのそれぞれが、前記隣接するピクセルの２つ以上の検出ピクセルの間の境界に位置するように、前記回折素子が構成されている、請求項１に記載の装置。

【請求項7】

前記構造化された光源から前記ボリューム内への、前記構造化された光パターンの外側ビーム経路上に位置する別の回折素子をさらに備えている、請求項１に記載の装置。

【請求項8】

前記複数の検出ピクセルの前に位置している変形素子をさらに備えており、前記変形素子が、前記ボリューム内の１つまたは複数の被検出物から反射された前記構造化された光パターンを変形させて、前記隣接するピクセルの中央の検出ピクセルと他の検出ピクセルとにわたって、変形させられた明るさ分布を生成するように構成され、前記電子プロセッサが、さらに、前記変形された明るさの分布に基づいて前記ピークの前記位置を決定するように構成されている、請求項１に記載の装置。

【請求項9】

前記電子プロセッサが、さらに、前記隣接するピクセルにわたる変形させられた明るさの分布のレベルの組合せを、前記隣接するピクセルの１つの検出ピクセルにおける前記検出ゾーンの１つにマッピングするように構成されている、請求項８に記載の装置。

【請求項10】

前記回折素子が、前記デジタル検出器の前のレンズの上に位置している、請求項１に記載の装置。

【請求項11】

方法であって、
構造化された光パターンをボリューム内に照らすステップと、
前記ボリューム内の１つまたは複数の被検出物から反射される前記構造化された光パターンを、複数の検出ピクセルで受けるステップと、
１つまたは複数の被検出物から反射される前記構造化された光パターンを、ピークと、前記複数の検出ピクセルの隣接するするピクセルにわたる周囲構造における少なくとも１つの補助ピークとを有する光強度信号を示すピクセル値に変換するステップと、
前記ピクセル値を受けるステップと、
前記ピクセル値を有する前記隣接するピクセルにわたって、前記ピークと、前記少なくとも１つの補助ピークを有する前記周囲構造との分布の評価を行うステップと、
前記評価に基づいて、前記隣接するピクセルのうちの１つのピクセル内の領域内における前記ピークの位置を決定するステップと、前記領域は、前記隣接するピクセルの明るさのレベルの組合せを前記複数の検出ピクセルの１つにおける複数の検出ゾーンの１つにマッピングすることにより、前記１つのピクセルのサイズよりも小さく、各検出ピクセルは、個々の検出ピクセルにおいて解像可能な明るさのレベルの使用される組合せによって決まるサイズの前記複数の検出ゾーンに分割可能であり、
前記隣接するピクセルにおける明るさのレベルの変化に基づいてボリューム内の１つまたは複数の被検出物の動きを検出するステップと
を含んでいる、方法。

【請求項12】

前記分布が、前記隣接するピクセルにわたる前記ボリューム内の１つまたは複数の被検出物から反射され受光した前記構造化された光パターンの明るさを示す、請求項１１に記載の方法。

【請求項13】

前記隣接するピクセルにわたって前記マッピングを２次元空間において実行するステップをさらに含んでいる、請求項１１に記載の方法。

【請求項14】

前記複数の検出ゾーンが、検出ピクセルあたり少なくとも１０個の検出ゾーンを備えている、請求項１１に記載の方法。

【請求項15】

変換する前記ステップが、
前記ピークが、前記隣接するピクセルの第１の検出ピクセルの中央に位置するときに、前記少なくとも一つの補助ピークのそれぞれが、前記隣接するピクセルの２つ以上の検出ピクセルの境界に位置するように設計されている光学機能を適用することを含んでいる、請求項１１に記載の方法。

【請求項16】

前記構造化された光パターンを前記ボリューム内に照らす前記ステップを行うときにビームをコリメートすることをさらに含んでいる、請求項１１に記載の方法。

【請求項17】

前記ボリューム内の１つまたは複数の被検出物から反射される前記構造化された光パターンを変形して、前記隣接するピクセルの中央の検出ピクセルと他の検出ピクセルとにわたる変形された明るさの分布を生成するステップをさらに含んでおり、
前記ピークの位置を決定する前記ステップが、前記変形された明るさの分布に基づいて前記ピークの位置を推測することを含んでいる、
請求項１１に記載の方法。

【請求項18】

前記ピークの位置を決定する前記ステップが、前記隣接するピクセルにわたる分布のレベルの組合せを、前記隣接するピクセルのうちの１つの検出ピクセルにおける前記検出ゾーンの１つにマッピングすることを含んでいる、請求項１７に記載の方法。

【請求項19】

前記構造化された光パターンのビームがレーザビームを含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、そのいくつかの実施形態において、サブ解像度で光学的に検出する装置および方法に関し、より詳細には、以下に限定されないが、デジタル機器を動作させるためのユーザインタラクションを３次元空間において検出するそのような装置および方法に関する。

【背景技術】

【0002】

デジタル画像処理においては、サブピクセル解像度は、画像の公称ピクセル解像度を超える精度で画像内の線、点、またはエッジの位置を高い信頼性で測定するためのアルゴリズムによって処理することのできる明確に定義された線、点、またはエッジを含むデジタル画像において得ることができる。

【0003】

したがって、例えば、長さ５０ｃｍの自動車の画像（側面から見た場合）が５００ピクセル長である場合、カメラに面している船の側面における公称解像度（ピクセルサイズ）は、０．１ｃｍである。明確に解像される形状のサブピクセル解像度は、１／１０の大きさのオーダーである船の動きを測定することができる。既存の技術分野のこの説明においては動きが具体的に言及されており、なぜなら、絶対位置を測定するためには、正確なレンズモデルと、サブピクセル位置精度を達成するための画像内の既知の基準点が要求されるためである。しかしながら、単純な較正手順を使用して、（０．１ｍｍまでの）小さい動きを測定することができる。

【0004】

一般的には、デジタル画像処理システムは、いくつかの要因によって解像度において制限される。要因の１つは、検出器のピクセルサイズである。別の要因としては、検出されるシーンの特性と、シーンからの光を検出器にフォーカスさせるために使用される光学系の品質が挙げられる。

【0005】

したがって、システムの設計者がとりうるオプションとして、光学系を改良する、あるいは、より小さいピクセルサイズを有する検出器を使用する。しかしながら、これらのオプションのいずれもコストが増大する。ユーザインタラクションの検出を試みる場合（これは画像処理の特殊な場合である）、ユーザは画面から数メートルに位置し、検出する必要のある制御ジェスチャーは、個々の指の動きを伴う。

【0006】

３次元検出システムでは、しばしば能動照明（active illumination）を使用する。公知の一システムにおいては、レーザのアレイを使用して被検出物を照らす。能動照明を使用することで、解像度の問題がさらに複雑になり、なぜなら、三角測量式深度検出法（triangulation depth detection）に説明されているように、レーザ光ビーム位置は、ビームが反射される被検出物の深度と相関するためである。したがって、サブ解像度において光形状の位置を検出することにより、シーンの深度をより高い解像度で測定することも可能になる。被検出物がセンサからより遠くに位置しているときには、深度の問題がさらに重要になる。レーザビームは通常では少なくとも１本の軸線においてコリメートされ、各カメラピクセルは斜めにシーンをサンプリングするため、１個のピクセル未満によって光形状がサンプリングされることがあり、したがって正確な位置および深度の検出が阻止される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明において留意すべき点として、能動照明の結果として、反射して検出器に到達する光のビームは明るさのガウス分布を有し、ガウス分布のピークはピクセルのサイズよりも小さいことがあり、しかし分布全体としてはしばしばピクセルのサイズよりも大きい。本発明の実施形態は、隣接するピクセルにわたる光の分布を追跡するステップと、２次元または３次元において複数のピクセルにわたる全体的な分布パターンを、それ自体がピクセルのサイズよりも小さい、１つのピクセルにおけるスポットにマッピングするステップを含んでいる。

【課題を解決するための手段】

【0008】

いくつかの実施形態は、マッピングをより正確にする目的で、事前定義された方法で明るさ分布を変形させるステップを含んでいる。

【0009】

本発明の実施形態は、単なる動きではなく絶対的な位置をマッピングし、なぜなら構造化された光パターンを使用して絶対的な基準を提供できるためである。したがって本発明の実施形態では、たとえ動きがない場合でもサブ解像度で光形状を検出することができる。

【0010】

本発明のいくつかの実施形態の態様によると、ボリューム内の位置を光学的に検出する検出装置であって、
構造化された光パターンをボリュームに照らす構造化された光源と、
所定のサイズの複数の検出ピクセルを有するデジタル検出器であって、光パターンが、ボリューム内に放出されて反射されて検出ピクセルに戻ったときに、ピークおよび周囲の構造を備えた定義された分布を有する、デジタル検出器と、
複数の検出ピクセルの間でピークおよび周囲の構造の分布を評価して、この分布を使用してピークの位置を、所定のサイズより小さい領域内にマッピングするように構成されている電子プロセッサと、
を備えている検出装置、が提供される。

【0011】

実施形態においては、定義された分布は、偏光または明るさのいずれかである。

【0012】

実施形態は、検出ピクセルの前に位置する回折素子を備えていることができ、この回折素子は、入射するピークを、進路がそれていない（undiverted）主ピークと、主ピークを検出する検出ピクセルの近傍における検出ピクセルに到達する少なくとも１つの補助ピークとに変換するように構成されており、電子プロセッサは、これら複数のピークを使用して領域内の位置を推測することができる。

【0013】

実施形態においては、各検出ピクセルが複数のゾーンに分割されており、プロセッサは、検出ピクセルにおける明るさのレベルの組合せを検出ピクセルの１つにおけるゾーンの１つにマッピングするマッピングロジックを備えている。

【0014】

実施形態においては、マッピングロジックは、２次元においてマッピングする。

【0015】

実施形態においては、複数のゾーンは、検出ピクセルあたり少なくとも１０個のゾーン、または例えば２０個のゾーン、または例えば４０個のゾーンを備えている。

【0016】

実施形態においては、回折素子は、進路がそれていないピークが第１の検出ピクセルの中央に到達するときに、補助ピークそれぞれが、隣接する検出ピクセルの間の境界に到達するように構成されている。

【0017】

実施形態は、レーザビームの外側ビーム経路上に位置する回折素子を備えていることができる。

【0018】

実施形態は、検出ピクセルの前に位置している変形素子を備えていることができ、この変形素子は、入射する明るさ分布に変形を適用し、中央の検出ピクセルおよび隣接するピクセルにわたる入射する分布を変形させるように構成されており、電子プロセッサは、この変形を使用して位置を推測することができる。

【0019】

実施形態においては、各検出ピクセルが複数のゾーンに分割されており、プロセッサは、検出ピクセルにおける明るさのレベルの組合せを検出ピクセルの１つにおけるゾーンの１つにマッピングするマッピングロジックを備えている。

【0020】

実施形態においては、回折素子は、レンズの上に位置している。

【0021】

本発明の第２の態様によると、ボリューム内の位置をサブ解像度で光学的に検出する方法であって、
ボリューム内の被検出物に起因して、構造化された光パターンから検出器に反射され得るように、構造化された光パターンをボリューム内に照らすステップであって、検出器が所定のサイズの複数の検出ピクセルを有し、パターンが、ボリューム内に照らされて反射されて検出ピクセルに戻ったときに、ピークおよび周囲の明るさ構造を備えた明るさ分布を有する、ステップと、
それぞれのピクセルの間でピークおよび周囲の明るさ構造の分布を電子的に評価して、ピークの位置を、所定のサイズより小さい、１つの検出ピクセル内の領域内にマッピングするステップと、
を含んでいる、方法、が提供される。

【0022】

本方法は、入射するピークを、進路がそれていない主ピークと、主ピークを検出する検出ピクセルに隣接する検出ピクセルに到達する少なくとも１つの補助ピークとに変換するステップを含んでいることができ、電子的に評価するステップが、これら複数のピークを使用して領域内の位置を推測するステップを含んでいる。

【0023】

実施形態においては、各検出ピクセルは、複数のゾーンに分割され、電子的に評価するステップが、検出ピクセルにおける明るさのレベルの組合せを検出ピクセルの１つにおけるゾーンの１つにマッピングするマッピングロジックを適用するステップ、を含んでいる。

【0024】

実施形態は、２次元を使用してマッピングを実行するステップを含んでいることができる。

【0025】

実施形態においては、複数のゾーンは、検出ピクセルあたり少なくとも１０個のゾーン、または例えば２０個のゾーン、または４０個のゾーンを備えている。

【0026】

実施形態においては、変換するステップは、進路がそれていないピークが第１の検出ピクセルの中央に到達するときに、補助ピークそれぞれが、隣接する検出ピクセルの間の境界に到達するように設計されている光学機能を適用するステップ、を含んでいる。

【0027】

本方法は、ビームをコリメートするステップを含んでいることができる。

【0028】

本方法は、入射する明るさ分布に変形を適用し、中央の検出ピクセルおよび隣接するピクセルにわたる入射する分布を変形させるステップ、を含んでいることができ、電子的に評価するステップが、この変形を使用して位置を推測するステップを含んでいる。

【0029】

ビームは、レーザビームを備えていることができる。

【0030】

本明細書において使用されているすべての技術用語および科学用語の意味は、特に定義されない限り、本発明が属する技術分野における通常の技能を有する者によって一般に理解されている意味と同じである。本発明の実施形態を実施する、またはテストするときには、本明細書に記載されている方法および材料に類似するかまたは同等の方法および材料を使用することができるが、例示的な方法および材料が以降に記載してある。矛盾が生じる場合、定義を含めて本特許明細書に従うものとする。さらには、これらの材料、方法、および例は、説明のみを目的としており、本発明を制限することを意図していない。

【0031】

本発明の実施形態の方法もしくはシステムまたはその両方を実施する場合、選択されるタスクを、手動で、または自動的に、またはこれらを組み合わせて、実行または完了することができる。さらに、本発明の方法もしくはシステムまたはその両方の実施形態の実際の設備および機器に従って、いくつかの選択されるタスクを、オペレーティングシステムを使用して、ハードウェアによって、ソフトウェアによって、またはファームウェアによって、あるいはこれらの組合せによって、実施することができる。

【0032】

例えば、本発明の実施形態による選択されるタスクを実行するためのハードウェアは、チップまたは回路として実施することができる。ソフトウェアとしては、本発明の実施形態による選択されるタスクは、任意の適切なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として、実施することができる。本発明の例示的な実施形態においては、本明細書に記載されている方法もしくはシステムまたはその両方の例示的な実施形態による１つまたは複数のタスクは、データプロセッサ（例えば、複数の命令を実行するためのコンピューティングプラットフォーム）によって実行される。データプロセッサは、オプションとして、命令もしくはデータまたはその両方を格納するための揮発性メモリと、命令もしくはデータまたはその両方を格納するための不揮発性記憶装置（例えば、磁気ハードディスク、リムーバブルメディア）、の少なくとも一方を含んでいる。オプションとして、ネットワーク接続も提供される。オプションとして、ディスプレイもしくはユーザ入力デバイス（例えば、キーボード、マウス）またはその両方も提供される。

【0033】

本明細書には、本発明のいくつかの実施形態について、単なる一例として、添付の図面を参照しながら説明してある。以下では、図面を詳細に参照するが、図示されている細部は一例であり、本発明の実施形態を実例を挙げて説明することを目的としていることを強調しておく。この点において、当業者には、図面を参照しながらの説明によって、本発明の実施形態をどのように実施するかが明らかになるであろう。

【図面の簡単な説明】

【0034】

【図1】本発明の実施形態を適用することのできる状況を示している簡略図である。

【図2】３つのピクセルのグループにわたり到達する明るさ分布を示しており、分布の形状を識別する簡略化された概略図である。

【図3】中央のピクセルにおいて小さい距離だけシフトした図２の分布を示している簡略図である。

【図4】図２と図３の間のシフト時に３つのピクセルにおける明るさレベルがどのように変化するかを示しており、本発明の一実施形態によるサブピクセル解像がどのように機能するかを示した簡略図である。

【図5】構造化された光パターンを使用して図４のサブピクセル解像を実行する装置を示している簡略図である。

【図6】本発明の第２の実施形態による、サブピクセル検出を実行する装置を示している簡略図である。

【図7】図６の装置を使用しての、隣接するピクセルにわたる分割されたビームのビーム分布を示している簡略図である。

【図8】図７のピクセルにおいて検出される明るさを示している簡略図である。

【図9】小さいシフトの後、隣接するピクセルにわたる図７の分割されたビームのビーム分布を示している簡略図である。

【図10】図９のピクセルにおいて検出される明るさを示している簡略図である。

【図11】本発明の実施形態によるサブピクセル解像の方法を示している簡略化された流れ図である。

【発明を実施するための形態】

【0035】

上述したように、本発明は、そのいくつかの実施形態において、サブ解像度で光学的に検出する装置および方法に関し、より詳細には、以下に限定されないが、デジタル機器を動作させるためのユーザインタラクションを３次元空間において検出するそのような装置および方法に関する。

【0036】

一実施形態においては、ボリュームが、光ビームによって能動的に照らされる。光ビームは、例えば、平行線、スポット、または格子、またはこれらの組合せの形で構造化することができ、ビームはレーザによって生成することができる。ボリューム内の被検出物から反射される個々のビームは明確な形状を形成せず、不鮮明な線または不鮮明なスポットを形成し、明るさは中央を中心とする分布（一般にはガウス分布）を有する。ガウス分布のピーク部分は、個々の検出ピクセルのサイズよりもしばしば小さいが、ガウス分布全体はより大きいことがある。いくつかの隣接するピクセルにわたる明るさの分布は、中央のピクセル内のピークの位置に関する情報を与える。

【0037】

実施形態においては、ガウス分布はいくつかのピクセルにわたって広がり、マッピングすることのできる明るさ分布を提供する。実施形態においては、ガウス分布に変形または他の変化を適用することによって効果が高まる。例えば、検出素子の前に回折素子が配置されており、したがって隣接するピクセルに側方ピークが生成される。回折素子は、後からさらに詳しく説明するように、中央のピークがピクセルの真ん中に位置するとき、側方ピークが隣接するピクセルの縁部に入射し、追加の区別が与えられるように設計することができる。これに代えて、所定の方法でガウス分布を再形成する所定の変形を変形素子によって単純に適用することができる。

【0038】

本発明の少なくとも一実施形態について詳しく説明する前に、本発明は、以下の説明に記載されている、あるいは図面や例に示されている構成要素の構造および配置、および方法の細部に、その適用において必ずしも限定されないことを理解されたい。本発明は、別の実施形態とする、または、さまざまな方法で実施または実行することができる。

【0039】

次に図面を参照し、図１は、本発明の実施形態を適用することのできる例示的なシナリオを示している簡略化された概略図である。ユーザの手１０は、コンピュータ１２と対話する目的で指のジェスチャーを使用している。矢印１４は、手とコンピュータとの間の距離を示している。従来技術においては、高い解像度を得るために距離を小さくすることができるが、距離が大きくなるにつれて解像度は低下し、いかなる距離においても、ピクセルのサイズより小さい角度をなす被検出物における形状を解像することはできない。これに対して、本発明の実施形態においては、サブピクセルサイズの形状を解像することができる。本発明の実施形態を使用しない場合、４ないし５メートルの距離において、カメラのセンサーのピクセルそれぞれは空間内の比較的大きい領域を定義し、したがって、低い空間解像度でのみ光形状の位置の検出が可能である。三角測量法を使用するときには、深度検出の解像度も低下する。

【0040】

明白な解決策は、より多くのピクセルを有する検出器を作製することである。しかしながら、このような検出器は相当に高価であり、このようなピクセルのそれぞれの感度は要求されるよりも低く、なぜならピクセルのサイズが小さいため、ピクセルに集まる光が少ないためである。さらに、ピクセルの数が増すと、計算負荷が大幅に増大する。

【0041】

本発明の実施形態は、後から説明するように、構造化された光形状のサブピクセル解像度を提供することによって、この問題に対処する。

【0042】

次に図２を参照し、図２は、反射していくらか変形した光分布が、複数のピクセルから構成されている検出器に到達したときの光学的な状況を示している簡略化された概略図である。２次元において概略的に見ると、反射したビームは検出器の３つのピクセル２０Ａ，２０Ｂ，２０Ｃに明るさ分布２２として到達し、明るさ分布２２は、一般にはガウス分布、またはわずかに変形したガウス分布であり、中央のピーク２４と、ピークの周囲の比較的急傾斜の領域である減衰部２６と、明るさが０に近づいていく比較的平坦な底部２８とを有する。ピーク領域２４がピクセルのサイズより広いかまたは同じ広さであるときには、対応する形状を解像することができる。しかしながら、ピークがピクセルのサイズより狭い場合、従来技術においては、個々のピクセルよりも大きい解像度においてピークを特定することはできない。

【0043】

図２に示したように、ピーク２４は、検出器のピクセル２０Ｂの右側に位置している。

【0044】

次に図３を参照し、図３は図２と同じ図であり、少し後の時点を示しており、ガウス分布が矢印３０に従って動いており、したがってピーク２４がピクセル２０Ｂの反対側に横断している。従来技術のシステムでは、状況の変化を検出することができず、なぜならピークが依然として同じピクセル内にあるためである。

【0045】

次に図４を参照し、図４は、ピクセルＡ，Ｂ，Ｃそれぞれにおける明るさと、図２の状況と図３の状況の間での明るさの変化を示している概略的なグラフであり、したがって、図２と図３の間のサブピクセルオーダーの動きを検出することができる。実線によって示した明るさレベルは図２の状況を示している。点線は、ピークが図３の位置に動くときにもたらされる変化を示している。

【0046】

前述したように、本発明の実施形態は、一般には、構造化された光を使用することができる。光は、プロジェクタ、光ファイバ、またはスキャナを通じてレーザによって生成することができる。この構造は、スポットや平行線、格子などを含んでいることができ、あるいは異なる構造の組合せを使用することができる。例えば、特に関心のある領域には、シーンの残りとは対照的に微細な構造を適用することができる。

【0047】

図４に関して最初に気付く点として、ピクセルＢには変化がなく、なぜならピークがピクセルＢの境界内に存在し続けているためである。しかしながら、図２では、ピクセルＡが底部領域２８に対応しており、ピクセルＣが傾斜領域２６に対応している。図３では、状況が逆であり、ピークがピクセルＡから離れてピクセルＣの方に移動している。したがって、ピクセルＣが底部領域２８に対応し、ピクセルＡが傾斜領域２６に対応している。したがって図４に示したように、ピークがピクセルＡの方に動くにつれて、ピクセルＡにおける明るさが増大する。同時に、ピークはピクセルＣから離れる方向に動き、ピクセルＣにおける明るさが減少する。なお、明るさレベルの変化は、図示した位置の間で連続的であり、信号プロセッサ（後述する）は、明るさレベルの動的な変化を追跡し、ピークの動きを推定し、ピークがピクセルＢを横切って動くときにピクセルＢ内でのピークの連続的な位置を解像することができる。さらには、本発明の実施形態が機能するうえで、動きは要求されない。ピクセルの明るさの各組合せは、動きのない場合でもピークの正確な位置に対応する。したがって、１つのフレームにおいてサブ解像度が検出可能である。

【0048】

次に図５を参照し、図５は、本発明の実施形態による検出器装置を示している簡略化された概略図であり、この検出器装置は、ボリュームを照らして、被検出物の位置、被検出物の深度、およびオプションとして被検出物の動きをサブピクセル解像度において光学的に検出する。検出器装置５０は、構造化された光ビームをボリュームに照らす光源５２を備えている。光源は、一般には、端面発光型半導体レーザまたはＶＣＳＥＬレーザを使用するレーザ源である。

【0049】

デジタル検出器５４（一般にはカメラ）は、特定のサイズの検出ピクセル５８を有するセンサ５６を備えている。前述したように、レーザビームは、ボリューム内に照らされ、反射されて検出器のピクセル５８に戻るとき、ピークを持つ明るさ分布を有する。ある場合には、ピークがピクセルのサイズよりも小さい。別の場合は、光飽和の場合であり、ピークは飽和領域全体（ピクセル全体またはそれ以上）であり、したがって関心領域は、周囲のピクセルにおけるピークの周りの領域内である。電子プロセッサ６０は、隣接するピクセルの間の明るさの分布を評価し、実際のピクセルのサイズよりも小さい領域内のピークまたは下層の形状の位置を推測する。明るさの分布は静的である、または図４に関連して上述したように場合によっては動的である。ピークが横切るピクセルにおいて、全体的な明るさレベルはかなり平坦のままであるが、中央のピクセルを横切るときには、隣接するピクセルにおいてかなり急激に上昇および下降する。

【0050】

なお、前の実施形態と図５の実施形態のいずれも、構造化された光を使用することができる。したがって、いずれの場合にも、レーザの前に回折素子が配置される。さらに、一般にはコリメータも設けられる。図５の実施形態は、隣接するセンサの周囲の光分布を管理する目的で、カメラのセンサの前に位置する追加の回折素子を有することができる。

【0051】

上述したように、構造化された光はスキャナを使用して生成することもでき、したがって、光源の前の最初の回折素子は必要ない。

【0052】

次に図６を参照し、図６は、図５の実施形態のバリエーションを示した簡略図であり、この実施形態では回折素子６２が使用されている。レーザビームの構造化された光パターンを生成するため、レーザ源５２の前にパターン発生器要素６４を配置することができ、回折素子６２は、検出器５４に入射するビームそれぞれを３つのビーム（中央のビームと２つの側方ビーム）に分割する。３次元バージョンにおいては、この構造の効果として、リングによって囲まれた中央のピーク、あるいは、個別または連続的なピークによって囲まれた中央のピークの組合せであることが理解されるであろう。回折素子は、中央のピークがピクセルの中央に入射するとき、側方ピークが隣接するピークの境界に入射するように配置される。図７は、明るさの分布を示している。

【0053】

パターン発生器要素６４は、適切な回折素子、レーザスキャナ、または任意の他の複数のレーザの配置構成によって実施することができる。

【0054】

図７においては、主ビーム７０は、一連の５つのピクセルＡ〜Ｅのうちの中央のピクセルＣに入射する。側方ビーム７２はピクセルＡとピクセルＢの境界に、側方ビーム７４はピクセルＤとピクセルＥの境界に入射する。

【0055】

次に図８を参照し、図８は、ピクセルによって記録される対応する明るさレベルを示している。ピクセルＣは、フルビーム分布に対応する明るさレベル８０を感知する。ピクセルＡ，Ｂ，Ｄ，Ｅそれぞれは、それぞれビーム分布の１／２に等しい明るさレベル８２，８４，８６，８８を感知する。

【0056】

図９および図１０は、ピークを発生させる被検出物が矢印９０の方向にわずかに動く状況を示している。中央のピーク７０は、ピクセルＣとピクセルＤの間の境界の方に動く。側方ピーク７２はピクセルＢの中央の方に動き、側方ピクセル７４はピクセルＥの中央の方に動く。図１０を見ると、ピクセルＡにおける明るさレベル８２はほぼ０まで低下する。ピクセルＢにおけるレベル８４は、ほぼ最大値まで上昇する。ピクセルＣにおけるレベル８０は、いくらか低下する。ピクセルＤにおけるレベル８６は相当に低下するがピクセルＡほどではなく、なぜならピクセルＤは２つの底部を反映しているためである。ピクセルＥの明るさレベル８８はほぼ最大値まで上昇する。この場合も、状況は動的であり、ピクセルＣを横切るピークの位置ごとに、ピクセルＡ〜ピクセルＥにわたる明るさレベルの異なる形状が生じる。

【0057】

したがって、ピクセルＣを横切るピーク明るさの通過の解像度のレベルは、個々のピクセルにおける異なる明るさレベルを識別する能力と、関与するピクセル間の明るさレベルの異なる組合せの数によってのみ制限される。したがって、各検出ピクセルを複数の検出ゾーンに分割することができ、検出ゾーンのサイズは、解像可能な明るさレベルの数の使用される組合せによって決まる。プロセッサ６０は、検出ピクセルＡ〜Ｅにおける明るさのレベルの異なる組合せを、関与する検出ピクセルのグループの中央の１つにおけるゾーンの１つにマッピングするマッピングロジックを提供する。実施形態では、ピクセルのサイズの１／１０の解像度レベルを可能にすることができる。

【0058】

被検出物からのビームが検出器を横切って動くとき、異なるピクセルが中央のピクセルと隣接するピクセルの役割を果たすことが理解されるであろう。さらに、隣接するピクセルは、互いに隣り合う必要はなく、事前定義される任意のピクセル配置構造とすることができる。

【0059】

マッピングロジックは、２次元または３次元でマッピングすることができる。図は、簡潔さを目的として２次元を示しているが、当業者には、実際の状況においては一般的に３次元システムが要求されることが理解されるであろう。

【0060】

図６に戻り、回折素子の代わりに、素子６２を変形素子とすることができる。変形素子は、明るさのガウス分布を、単に、隣接するピクセルにわたって広がる任意の所定の形状に変形し、中央のピクセルにおけるピークの通過を解像することを可能にする。変形は、側方ピークを伴うことができ、したがって、回折素子の実施形態の場合と同様に機能する。これに代えて、変形は、中央のピークを先鋭化し（sharpen）、エネルギを底部領域に再分布させることができる。これに代えて、中央のピクセルおよび隣接するピクセルにおける明るさの変化に基づいてピークの位置に関する情報を与える任意の他の変形を使用することができる。

【0061】

次に図１１を参照し、図１１は、上述した装置において使用するための、ボリューム内の動きをサブ解像度で光学的に検出する方法を示している。本方法は、ボリューム内の被検出物によってビームを検出器に反射させることができるように光ビームをボリューム内に照らすステップを含んでいる。検出器は、上述したように検出ピクセルを有する。ボリューム内に照らされて反射して検出ピクセルに戻るビームは、ピークを有する明るさ分布（例えばガウス分布）を有する。ピークはピクセルのサイズより小さい。本方法は、隣接するピクセルの間の明るさの分布を電子的に評価するステップを含んでいる。次いで、分布を使用して、例えばマッピングによって、１つの中央の検出ピクセル内の領域（ピクセルのサイズよりも小さい）の中のピークの位置を推測する。

【0062】

被検出物が動くと、ピクセルの明るさレベルが変化し、グループの中央のピクセル内のピークの動きを追跡することができる。

【0063】

さらに、本方法は、ビームが検出器に到達するときに、側方ピークを生成するためにビームに回折を適用するステップを含んでいる。回折のレベルは、ピクセルのグループにわたる明るさレベルに対する動きの影響が最大になるように、主ピークがピクセルの中央に到達するときに側方ピークがピクセル間の隙間に到達するように、選択することができる。

【0064】

本方法は、各ピクセルを個別のゾーンに分割するステップを含んでいることができる。一般に、ゾーンの数は、明るさレベルの解像可能な数と、検出することのできる組合せとに基づいて選択する。画像処理は、ピクセルにおける明るさレベルの各パターンを中央のピクセルにおけるゾーンにマッピングする役割を果たす。マッピングは、２次元または３次元において行うことができる。

【0065】

マッピングの一般的な解像度は、ピクセルのサイズの約１／１０であり、これにより、標準的な従来の検出器が、４ないし５メートルの距離における指の動きを正確に検出することができる。

【0066】

ビームは、ビーム源においてコリメートすることができる。

【0067】

代替実施形態においては、本方法は、動きを正確に測定できるように、入射する明るさ分布に変形を適用して、中央の検出ピクセルおよび隣接するピクセルにわたって入射する分布を変形させるステップを含んでいることができる。

【0068】

本出願から発生する特許権の存続期間中、さまざまなタイプの照明ビームおよびさまざまなタイプの検出器を含む数多くの関連する検出技術が開発されることが予測されるが、対応する用語の範囲は、このような新規の技術すべてを含むものとする。

【0069】

本明細書において使用されている語「約」は、±１０％を意味する。

【0070】

語「備えている」、「含んでいる」、「有する」、およびこれらの活用形は、「〜を含んでいるがそれらに限定されない」を意味する。

【0071】

語「からなる」は、「〜を含んでおりそれらに限定される」を意味する。

【0072】

本明細書において使用されている単数形「ある（ａ）」、「ある（ａｎ）」、「その（ｔｈｅ）」は、文脈から明らかに単数形に限定されない限りは、対象要素の複数形も含む。

【0073】

明確さを目的として、個別の実施形態の文脈の中で説明されている本発明の複数の特徴は、１つの実施形態の中に組み合わせて設けることもでき、上の説明は、このような組合せが明示的に記載されているものと解釈すべきことを理解されたい。逆に、簡潔さを目的として、１つの実施形態の文脈の中で説明されている本発明のさまざまな特徴は、個別に設ける、または適切な部分組合せとして設ける、または本発明の任意の他の説明されている実施形態において適切に設けることもでき、上の説明は、このような個別の実施形態が明示的に記載されているものと解釈すべきである。さまざまな実施形態の文脈の中で説明されている特徴は、実施形態がそれらの要素なしでは動作・機能しない場合を除いて、それらの実施形態の本質的な特徴とはみなさないものとする。

【0074】

ここまで、本発明について、その特定の実施形態に関連して説明してきたが、当業者には数多くの代替形態、修正形態、および変形形態が明らかであろう。したがって、添付の請求項の概念および広い範囲内に含まれるそのような代替形態、修正形態、および変形形態は、すべて本発明に包含されるものとする。

【0075】

本明細書に記載されているすべての刊行物、特許、および特許出願は、これら個々の刊行物、特許、および特許出願それぞれが、参照によって本明細書に組み込まれることを明示的かつ個別に示されている場合と同じように、それぞれの内容全体が参照によって本明細書に組み込まれている。さらには、本出願において参考文献が引用または特定されていることは、そのような参考文献が本発明の従来技術として利用可能であることを認めるものとして解釈されない。セクションの見出しが使用されている場合、それらの見出しは必ずしも本発明を制限するものとして解釈されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】