(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-01
(45)【発行日】2023-05-12
(54)【発明の名称】3次元センサモジュールのためのドットプロジェクタの設計および作製
(51)【国際特許分類】
G01B 11/25 20060101AFI20230502BHJP
A61B 5/1171 20160101ALI20230502BHJP
【FI】
G01B11/25 H
A61B5/1171 200
(21)【出願番号】P 2022514752
(86)(22)【出願日】2020-09-03
(86)【国際出願番号】 SG2020050511
(87)【国際公開番号】W WO2021045685
(87)【国際公開日】2021-03-11
【審査請求日】2022-04-14
(32)【優先日】2019-09-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】522211759
【氏名又は名称】エイエムエス-オスラム エイジア パシフィック プライヴェット リミテッド
【氏名又は名称原語表記】ams-OSRAM Asia Pacific Pte. Ltd.
【住所又は居所原語表記】7000 Ang Mo Kio Avenue 5, #02-00, Singapore 569877, Singapore
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】リポール,オリビエ
【審査官】仲野 一秀
(56)【参考文献】
【文献】特表2018-534592(JP,A)
【文献】特表2016-507886(JP,A)
【文献】特表2020-531851(JP,A)
【文献】特表2018-509632(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
A61B 5/1171
(57)【特許請求の範囲】
【請求項1】
方法であって、
複数の発光体を有する光学ドットプロジェクタについて、前記光学ドットプロジェクタの基板に対する前記複数の発光体の位置と、対応する、前記ドットプロジェクタが結像面上に投影したドットの第1の位置との関係を求めるステップと、
前記関係に基づいて、前記光学ドットプロジェクタの1つ以上の光学素子の1つ以上の光学特性を近似する光学格子を決定するステップと、
前記光学ドットプロジェクタの前記1つ以上の光学素子を前記光学格子で置き換えたものに対応するドットの第2の位置を求めるステップと、
前記ドットプロジェクタが投影した前記ドットの、空間パターンにおける歪みを減じるために、前記ドットの第2の位置に基づいて、前記基板に対する前記複数の発光体の修正位置を求めるステップと、
複数の光学ドットプロジェクタを作製するステップとを含み、前記複数の光学ドットプロジェクタのうちの各光学ドットプロジェクタは、前記求めた修正位置に従って配置された対応する複数の発光体を有する、方法。
【請求項2】
前記関係は、前記光学ドットプロジェクタの前記基板に対する前記複数の発光体の前記位置の関数として、前記ドットプロジェクタが前記結像面上に投影したドットの前記第1の位置を示す、伝達関数を含む、請求項1に記載の方法。
【請求項3】
前記複数の発光体は、前記基板上に配置された複数の垂直共振器型面発光レーザ(VSCEL)発光体を含む、請求項1に記載の方法。
【請求項4】
前記光学格子は、前記結像面の水平寸法についてのドットの前記第1の位置の曲率に基づいて決定される、請求項1に記載の方法。
【請求項5】
前記光学格子はさらに、前記結像面の鉛直寸法についてのドットの前記第1の位置の曲率に基づいて決定される、請求項4に記載の方法。
【請求項6】
前記1つ以上の光学素子は1つ以上の回折光学素子を含む、請求項1に記載の方法。
【請求項7】
前記光学ドットプロジェクタの前記1つ以上の光学素子の前記光学特性を近似する前記光学格子を決定するステップは、第1の寸法についての前記光学格子の第1の周期性を決定するステップを含む、請求項1に記載の方法。
【請求項8】
前記光学ドットプロジェクタの前記1つ以上の光学素子の前記光学特性を近似する前記光学格子を決定するステップは、第2の寸法についての前記光学格子の第2の周期性を決定するステップをさらに含み、前記第2の寸法は前記第1の寸法に直交する、請求項7に記載の方法。
【請求項9】
複数の光学センサモジュールを作製するステップをさらに含み、前記複数の光学センサモジュールを作製するステップは、各光学センサモジュールごとに、前記複数の光学ドットプロジェクタのうちの対応する光学ドットプロジェクタと、対応するイメージセンサとを、前記光学センサモジュール内にパッケージングするステップを含む、請求項1に記載の方法。
【請求項10】
前記関係を求めるステップは、
前記光学ドットプロジェクタを用いて、前記ドットを前記結像面上に投影するステップと、
前記光学ドットプロジェクタの前記基板に対する前記複数の発光体の位置を測定するステップと、
前記結像面に対する前記ドットの第1の位置を測定するステップと、
前記光学ドットプロジェクタの前記基板に対する前記複数の発光体の前記測定した位置と、前記結像面に対する前記ドットの前記測定した第1の位置とに基づいて、前記関係を求めるステップとを含む、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元センサモジュールにおいて使用されるドットプロジェクタの設計および作製に関する。
【背景技術】
【0002】
背景
3次元センサモジュールは、被験体の物理的特性および/または動きを3次元で測定するために使用される。一例として、3次元センサモジュールを使用することにより、人の顔の輪郭を(たとえば顔認識による生体認証を行うために)測定することができる。別の例として、3次元センサモジュールを使用することにより、物体の動きを(たとえば動的イベントを3次元で記録するために)測定することができる。
【発明の概要】
【課題を解決するための手段】
【0003】
概要
本開示は、3次元センサモジュールにおいて使用されるドットプロジェクタを設計および作製するための技術を説明する。一例として、初期「サンプル」3次元センサモジュールが、試験または較正を目的として作製される。このサンプル3次元センサモジュールは、ドットプロジェクタを含み、その光源は、基板上において特定の配列の発光体を有する。ドットプロジェクタは、あるパターンの光を試験結像表面上に放出するように動作し、投影された光のパターンの特性が測定される。これらの測定値に基づいて、発光体のうちの1つ以上の位置を修正することにより、投影された光のパターンにおける、位置ずれ、ギャップ、および/またはドット密度の局所的なばらつきを、補償する。次に、1つ以上の「製品」3次元センサモジュールが作製され、各モジュールは修正された発光体配列を有する。
【0004】
これらの設計および作製技術はさまざまな利益を提供することができる。たとえば、いくつかの実装形態において、これらの技術を用いて製造された3次元センサモジュールは、(たとえばこれらの技術なしで製造された3次元センサモジュールと比較して)より均等に被験体上に分布する光のパターンを投影するように動作可能である。したがって、この3次元センサモジュールは、その視野全体にわたって物理的特徴および/または動きをより一貫して検出および測定することができる。さらに、この3次元センサモジュールは、物理的な特徴および/または動きを、一層詳細に検出および測定することができ、その理由は、そうでなければ3次元センサモジュールが被験体の特徴を検出することを不可能にする場合があるギャップの低減または排除にある。
【0005】
ある局面において、本開示は、複数の発光体を有する光学ドットプロジェクタについて、光学ドットプロジェクタの基板に対する複数の発光体の位置と、対応する、ドットプロジェクタが結像面上に投影したドットの第1の位置との関係を求めるステップを含む方法について説明する。この方法はまた、上記関係に基づいて、光学ドットプロジェクタの1つ以上の光学素子の1つ以上の光学特性を近似する光学格子を決定するステップを含む。この方法はさらに、光学ドットプロジェクタの1つ以上の光学素子を光学格子で置き換えたものに対応するドットの第2の位置を求めるステップと、ドットプロジェクタが投影したドットの、空間パターンにおける歪みを減じるために、ドットの第2の位置に基づいて、基板に対する複数の発光体の修正位置を求めるステップとを含む。この方法はさらに、複数の光学ドットプロジェクタを作製するステップを含み、複数の光学ドットプロジェクタのうちの各光学ドットプロジェクタは、求めた修正位置に従って配置された対応する複数の発光体を有する。
【0006】
この局面の実装形態は以下の特徴のうちの1つ以上を含み得る。
いくつかの実装形態において、上記関係は、光学ドットプロジェクタの基板に対する発光体の位置の関数として、ドットプロジェクタが結像面上に投影したドットの第1の位置を示す、伝達関数を含み得る。
【0007】
いくつかの実装形態において、発光体は、基板上に配置された複数の垂直共振器型面発光レーザ(VSCEL:vertical cavity surface emitting laser)発光体を含み得る。
【0008】
いくつかの実装形態において、光学格子は、結像面の水平寸法についてのドットの第1の位置の曲率に基づいて決定されてもよい。
【0009】
いくつかの実装形態において、光学格子はさらに、結像面の鉛直寸法についてのドットの第1の位置の曲率に基づいて決定されてもよい。
【0010】
いくつかの実装形態において、1つ以上の光学素子は1つ以上の回折光学素子を含み得る。
【0011】
いくつかの実装形態において、光学ドットプロジェクタの1つ以上の光学素子の光学特性を近似する光学格子を決定するステップは、第1の寸法についての光学格子の第1の周期性を決定するステップを含み得る。
【0012】
いくつかの実装形態において、光学ドットプロジェクタの1つ以上の光学素子の光学特性を近似する光学格子を決定するステップは、第2の寸法についての光学格子の第2の周期性を決定するステップをさらに含み得るものであり、第2の寸法は第1の寸法に直交する。
【0013】
いくつかの実装形態において、この方法は、複数の光学センサモジュールを作製するステップをさらに含み得る。光学センサモジュールを作製するステップは、各光学センサモジュールごとに、対応する光学ドットプロジェクタと、対応するイメージセンサとを、光学センサモジュール内にパッケージングするステップを含み得る。
【0014】
いくつかの実装形態において、上記関係を求めるステップは、光学ドットプロジェクタを用いて、ドットを結像面上に投影するステップと、光学ドットプロジェクタの基板に対する発光体の位置を測定するステップと、結像面に対するドットの第1の位置を測定するステップと、光学ドットプロジェクタの基板に対する発光体の測定した位置と、結像面に対するドットの測定した第1の位置とに基づいて、上記関係を求めるステップとを含み得る。
【0015】
1つ以上の実装形態の詳細が添付の図面および以下の説明に記載されている。その他の局面、特徴および利点は、明細書および図面からならびに請求項から明らかになるであろう。
【図面の簡単な説明】
【0016】
【
図1】一例としての3次元センサモジュールの概略図である。
【
図2】光源の平坦な基板上に配置された一例としてのいくつかの発光体の位置を示す図である。
【
図3A】結像面上に投影された一例としての光のパターンの図である。
【
図3B】結像面上に投影された一例としての光のパターンの図である。
【
図4】ドットプロジェクタを設計および作製するための一例としてのプロセスのフローチャートの図である。
【
図5】光源の平坦な基板上に配置された一例としてのいくつかの発光体の元の位置と修正された位置とを示す図である。
【
図6】結像面上に投影された一例としての光のパターンの図である。
【
図7】一例としてのコンピュータシステムの概略図である。
【発明を実施するための形態】
【0017】
詳細な説明
図1は、一例としての3次元センサモジュール100の概略図である。3次元センサモジュール100は、被験体の物理的特性および/または動きを3次元で測定するように動作可能である。一例として、3次元センサモジュール100を使用することにより、人の顔の輪郭を(たとえば顔認識による生体認証を行うために)測定することができる。別の例として、3次元センサモジュール100を使用することにより、ある時間にわたる物体の動きを(たとえば動的イベントを3次元で記録するために)測定することができる。
【0018】
いくつかの実装形態において、3次元センサモジュール100は、スタンドアロンデバイスとして実現することができる。いくつかの実装形態において、3次元センサモジュール100は、別のデバイスに組み込むことができる。たとえば、スマートフォン、タブレット、およびその他のポータブルコンピューティングデバイス等の電子デバイスは、3次元画像を記録し、運動を3次元で検知し、顔認識を実施し、および/またはジェスチャーを3次元で検出するための、1つ以上の3次元センサモジュール100を含み得る。
【0019】
3次元センサモジュール100は、ドットプロジェクタ110と、イメージセンサ120と、電子制御装置130とを含む。3次元センサモジュール100の動作中、ドットプロジェクタ110は、光のパターン132(たとえば既知の配列を有するドットのパターン)を被験体134(たとえば物体、人など)の上に投影する。イメージセンサ120(たとえば光検出器、電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)イメージセンサなど)は、被検体134の上に投影された光のパターン132を測定し、その測定値を解釈のために電子制御装置130に送信する。いくつかの実装形態において、イメージセンサ120は、特定の時点の投影されたドットの位置を示す1つ以上の画像を捕捉することができる。
【0020】
電子制御装置は、画像に基づいて、被験体の物理的特性および/または動きを、3次元で求める。たとえば、光のパターン132は、光のパターンが投影された被験体の物理的特性に応じて、画像内で異なって見える。例として、ある物理的特徴の位置、これらの特徴の深さ、および/または特定領域における物理的特徴の不在に応じて、光のパターン132は、より高密度のドット分布をある領域(たとえば3次元センサモジュール100により近い物理的特徴を有する領域)において示し、より低密度のドット分布を他の領域(たとえば3次元センサモジュール100からより遠い物理的特徴を有する領域)において示し、および/またはいくつかの領域(たとえば物理的特徴がない領域)ではドットが全くない。電子制御装置は、これらの画像に基づいて、被験体の表面を表すデータ(たとえば表面マップ)を生成することができる。さらに、電子制御装置は、画像に基づいて(たとえば表面マップの経時的変化を求めることにより)被験者の動きを求めることができる。
【0021】
ドットプロジェクタ110は、光を発するように動作可能な光源102と、1つ以上のレンズ104と、放出された光を特定のパターンに従って投影するように動作可能な1つ以上の回折光学素子106とを含む。
【0022】
光源102は、垂直共振器型面発光レーザ(VCSEL)またはイントラレッド(IR:intra-red)レーザ等の、1つ以上のレーザを含み得る。いくつかの実装形態において、光源102は、発光ダイオード(LED)、赤外線(IR:infra-red)LED、および有機LED(OLED)等の、光を生成する1つ以上の他のデバイスを含み得る。いくつかの実装形態において、光源102は、平面(たとえば基板の表面)上に配置された1つ以上の発光体を含み得る。一例として、
図2は、平坦な基板202(たとえばデカルト座標系のx方向およびy方向に拡がる表面)上に配置されたいくつかの代表的な発光体200(たとえばVSCEL)の位置を示す。代表的な発光体が
図2に示されているが、光源は、任意のパターンに従って配置された任意の数の発光体を含み得ることが理解される。
【0023】
レンズ104および回折光学素子106は、光源102と光通信し、光源102から放出された光の少なくとも一部を受ける。レンズ104は、光源102から放出された光を受け、回折光学素子106上にまたは回折光学素子を通して光を集める。光が回折光学素子106を通過するときに、回折光学素子106は、光を特定の方法で回折させ、結果として光のパターン132を放出する。たとえば、回折光学素子106は、光がある空間的位置では(たとえばこれらの位置での回折光の強め合う干渉に起因して)より強くなり、ある空間的位置では(たとえばこれらの位置での回折光の弱め合う干渉に起因して)より弱くなるまたは不在になるように、光を回折させることができる。
【0024】
いくつかの実装形態において、回折光学素子106は、光のパターン132が特定の空間的配列を有する複数のドット(たとえば光の離散的局所スポット)を含むように、構成されてもよい。例として、光のパターン132は、特定の結像面にわたって均等にまたはそれ以外の態様で分布する複数のドットを含み得る(たとえばそれによって結像面の特定部分をドットの分布で覆う)。一例として、
図3Aは、結像面302(たとえばドットプロジェクタ110の投影軸136に直交する物体の概念上の面または平坦な表面)上に投影された光のパターン132を示す。光のパターン132は、結像面302の一部にわたって分布する複数のドット300を含む。この例において、光のパターン132は、3×3の構成で配置された9つの異なる「セル」304a~304i(たとえばドットの包括繰り返しパターン)を含む。セル304a~304iの各々は、ドット300の概ね同様の分布を有する。しかしながら、光のパターン132は、ドットプロジェクタ110の光学素子の光学特性に起因する、「ピンクッション」効果を示す。例として、セル304a~304iの境界は、光のパターン132の中心に対するそれらの位置および/または角度の関係に応じて(たとえば双曲線関係に従って)変動する曲率度を示す。さらに、ドット300の分布はまた、この曲率に起因して、光のパターン132の中心に対するドットの位置および/または角度関係に応じて変化する。例として、中心セル304eのドット300は、一般的に、コーナーセル304a、304c、304g、および304iのドットよりも高密度で分布している。
【0025】
さらに、セル304a~304iは、ドットプロジェクタ110の光学素子の光学特性に起因する、セル間の位置ずれまたはギャップを示す場合がある。たとえば、
図3Bは、光のパターン132の全視野(FOV:field of view)(パネルA)、光のパターン132を拡大した部分(パネルB)、および光のパターン132をさらに拡大した部分(パネルC、D、およびE)を示す。
図3B(特にパネルD)に示されるように、セル304b、304c、304e、および304fは、これらのセルの界面で互いに位置ずれしており、その結果、これらのセル間にギャップが生じている(たとえばこれらのギャップ内にドットは投影されない)。いくつかの実装形態において、これは望ましくないことがある。例として、これらのギャップにドットが投影されていないために、3次元センサモジュール100は、これらのギャップと重複する被験体の特徴および/または被験体の動きを検出できない場合がある。
【0026】
さらに、セル304a~304iは、ドットプロジェクタ110の光学素子の光学特性に起因する、ドット密度の局所的ばらつきを示す場合がある。たとえば、パネルCに示されるように、セル304eは、ドットの密度が周囲よりも高い局所領域306(たとえば密集した線またはドットの塊として現れる)を含む。別の例として、パネルEに示されるように、セル304eは、ドットの密度が周囲よりも低い局所領域308(たとえば疎らなドットとして現れる)を含む。いくつかの実装形態において、これは望ましくないことがある。例として、3次元センサモジュール100は、ドット密度のばらつきに起因する、その視野全体における感度のばらつきを示す場合がある。
【0027】
3次元センサモジュール100の性能は、光の投影パターンにおける、これらの位置ずれ、ギャップ、および/またはドット密度の局所的ばらつきを排除するかそうでなければ低減することにより、高めることができる。いくつかの実装形態において、光源102の発光体の物理的配列(たとえば基板202上の発光体200の位置)を、結果として得られる光のパターンがより均一的になるように、修正または「予め歪ませる」ことができる。
【0028】
一例として、初期「サンプル」3次元センサモジュールが、試験または較正を目的として作製される。このサンプル3次元センサモジュールは、ドットプロジェクタを含み、その光源は、基板上において特定の配列の発光体を有する。ドットプロジェクタは、あるパターンの光を、試験結像表面(たとえば光プロジェクタの投影軸に直交し光プロジェクタから指定距離のところに配置された平坦な表面)上に放出するように動作する。投影された光のパターンの特性が測定される。これらの測定値に基づいて、発光体のうちの1つ以上の位置を修正する(たとえばドット光源の基板に対してx方向および/またはy方向にシフトする)ことにより、投影された光のパターンにおける、位置ずれ、ギャップ、および/またはドット密度の局所的なばらつきを、補償する。次に、1つ以上の「製品」3次元センサモジュールが作製され、各モジュールは修正された発光体配列を有する。
【0029】
特に、実装形態の一例において、(i)ドットプロジェクタの発光体の位置と、(ii)ドットプロジェクタによって生成されるドットとの関係(たとえばこの関係を定義する伝達関数)を求める。さらに、光学プロジェクタの挙動を近似する「理想化された」格子構成を決定する。さらに、回折光学素子106よりも前にあるプロジェクタの光学素子(たとえばレンズ104)を理想化された格子に置き換えた場合の、ドットの位置に関する決定が行われる。伝達関数は、発光体の「予め歪ませた」位置を求めるために、これらの位置とは逆に適用される。
【0030】
これらの設計および作製技術はさまざまな利益を提供することができる。たとえば、いくつかの実装形態において、これらの技術を用いて製造された3次元センサモジュールは、より均等に被験体上に分布する光のパターンを投影するように動作可能である(たとえばこれらの技術なしで製造された3次元センサモジュールと比較して、パターンのセル間の位置ずれおよび/またはギャップ、ドット密度の局所的なばらつきなどが少ない)。そのため、この3次元センサモジュールは、その視野全体にわたって物理的特徴および/または動きをより一貫して検出および測定することができる。さらに、この3次元センサモジュールは、物理的な特徴および/または動きを、一層詳細に検出および測定することができ、その理由は、そうでなければ3次元センサモジュールが被験体の特徴を検出することを不可能にする場合があるギャップ(たとえばブラインドスポット)の低減または排除にある。
【0031】
ドットプロジェクタを設計および作製するための一例としてのプロセス400が
図4に示される。いくつかの実装形態において、プロセス400の少なくとも一部は、1つ以上のコンピュータシステム(たとえば
図8に示される)によって実行することができる。
【0032】
プロセス400において、複数の発光体を有する光学ドットプロジェクタについて、光学ドットプロジェクタの基板に対する発光体の位置と、対応する、ドットプロジェクタが結像面上に投影したドットの第1の位置との関係を求める(ステップ402)。例として、この関係は、光学ドットプロジェクタの光学素子のうちの1つ以上の光学素子の光学特性と、結像面上へのドットの投影に対するそれらの影響とを、定義、説明、近似、または表すことができる。一例として、この関係は、各発光体について、光学ドットプロジェクタの基板(たとえば光学ドットプロジェクタの投影軸に直交する平坦なまたは実質的に平坦な表面)に対するその発光体の位置と、対応する、結像面(たとえば光学ドットプロジェクタの投影軸に直交し光学ドットプロジェクタから特定の距離のところに配置された平坦なまたは実質的に平坦な表面)に対する投影された1つまたは複数のドットの位置とを示すことができる。
【0033】
いくつかの実装形態において、この関係は、少なくとも部分的に、光学ドットプロジェクタの基板に対する発光体の位置の関数として、ドットプロジェクタによって結像面上に投影されるドットの第1の位置を示す、伝達関数として、表すことができる。例として、光学ドットプロジェクタが円対称性を示す場合、各ドットの径方向位置は、発光体の径方向位置の関数として表すことができる。一例として、これは、
R=f(r)
として表すことができ、式中、Rは、基板に対する特定のドットの径方向位置(たとえば投影軸からのドットの径方向距離)であり、rは、結像面に対する、対応する発光体の径方向位置(たとえば投影軸からの発光体の径方向距離)であり、f(r)は、rを入力とする伝達関数である。一般的な場合において、この関係は、
(X,Y)=f(x,y)
として表すことができ、式中、(X,Y)は、基板(たとえばxy面に沿って拡がる)に対する特定のドットのデカルト座標であり、(x,y)は、結像面(たとえばxy面に沿って拡がる)に対する、対応する発光体のデカルト座標であり、f(x,y)は、(x,y)を入力とする伝達関数である。なお、所与の距離zにおける位置は、以下の関係
tan(θ)=r/z
を用いて、対応する角度θに変換することができる。
【0034】
いくつかの実装形態において、これらの関係のうちの1つ以上は経験的に求めることができる。例として、予め定められた配列の発光体を有する初期「サンプル」ドットプロジェクタを、試験または較正を目的として作製することができる。ドットプロジェクタを、あるパターンの光を、試験結像表面(たとえば光プロジェクタの投影軸に直交し光プロジェクタから指定距離のところに配置された平坦な表面)上に放出するように動作させることができる。投影されたドットのうちの1つ以上のドットの位置を測定することができる。これらの測定値に基づいて、基板に対する発光体の位置と、結像面に対するドットの位置との関係を表す伝達関数を求めることができる。
【0035】
いくつかの実装形態において、発光体は、基板上に配置された1つ以上のVSCEL発光体、LED、IR LED、OLED、および/または任意の他のタイプの発光体を含み得る。
【0036】
上記関係に基づいて、光学ドットプロジェクタの1つ以上の光学素子の1つ以上の光学特性を近似する光学格子を決定する(ステップ404)。たとえば、ドットは、光学ドットプロジェクタを用いて結像面上に投影することができる。光学ドットプロジェクタの基板に対する発光体の位置を測定することができる。さらに、結像面に対するドットの第1の位置も、測定することができる。この関係を、光学ドットプロジェクタの基板に対する発光体の測定した位置と、結像面に対するドットの測定した第1の位置とに基づいて、求めることができる。
【0037】
いくつかの実装形態において、ドットプロジェクタの光学素子の光学的挙動を近似する「理想化された」格子構成を決定することができる。理想化された格子構成は、例として、格子構成の概念上の、理論上の、および/または簡略化された数学的表現であってもよい。一例として、理想化された格子は、等間隔のスリットおよび不透明なスリットの周期的配列を有する格子配列(たとえば「周期的格子」)であってもよい。したがって、光学ドットプロジェクタの1つ以上の光学素子の光学特性を近似する光学格子構成を決定することは、1つ以上の寸法についての光学格子の周期性(たとえば水平寸法xについての光学格子の周期性、および水平寸法xに直交する鉛直寸法yについての光学格子の周期性)を決定することを含み得る。
【0038】
いくつかの実装形態において、この光学格子の構成は、その他のパラメータのうちでも特に、1つ以上の寸法(たとえば水平および/または鉛直)についての、単一の発光体が生成するドットのグループの曲率と、そのグループ内のドットの数(たとえば回折光学素子の強め合う干渉次数の有効数)と、発光体から放出される光の波長とに基づいて、決定されてもよい。例として、単一寸法についての光学格子の構成は、以下の関係を用いて決定することができる。
【0039】
【0040】
式中、θは、投影軸に対する特定のドットの角度であり、pは、このドットに対応する回折次数であり、λは、放出光の波長であり、Λは、理想化された格子構成における格子間の距離(たとえば格子の「周期」)である。
【0041】
説明のための一例において、代表的な発光体は、概ねピンクッション型の21×21グリッドに対応する、441の対応するドットを結像面上に投影する。したがって、x方向において、ドットプロジェクタの回折光学素子は、21の異なる次数(たとえば次数-10,-9,…-1,0,+1,…,+10)を示す。発光体が波長940nmの光を放出し+10番目の次数に対応するドットがx方向において投影軸に対し15°の角度で位置する場合、上記関係は以下のように記述することができる。
【0042】
【0043】
したがって、x方向に沿う理想化された光学格子構成の周期は、Λx=36.3μmである。同様に、y方向においても、ドットプロジェクタの回折光学素子は、21の異なる次数(たとえば次数-10,-9,…-1,0,+1,…,+10)を示す。発光体が波長940nmの光を放出し+10番目の次数に対応するドットがx方向において投影軸に対し15°の角度で位置する場合、y方向に沿う理想化された光学格子構成の周期は、Λy=36.3μmである。
【0044】
光学ドットプロジェクタの1つ以上の光学素子を光学格子で置き換えたものに対応するドットの第2の位置を求める(ステップ406)。たとえば、計算のために、回折光学素子106よりも前にある光学ドットプロジェクタの光学素子が上述の理想化された格子構成で置き換えられていると仮定して、各発光体によって生成されるドットの位置を計算する。一例として、これらの位置は、以下の関係を用いて、3次元で求めることができる。
【0045】
【0046】
式中、Λxは、x寸法についての、理想化された光学格子の周期であり、Λyは、y寸法についての、理想化された光学格子の周期であり、(u,v,w)は、(x,y,z)軸における単位ベクトル座標を規定し、iは、入射光(たとえば入力光)であり、dは、回折された光(たとえば出力光)であり、λxは、波長(異なる屈折率を有する材料のように、入力材料と出力材料とが異なる場合に、異なり得る)である。空気中の方向に関心があり仮想格子のための式を使用するので、λiおよびλdの双方を、空気中の光の波長であるλに簡略化することができる。
【0047】
ドットの第2の位置に基づいて、基板に対する発光体の修正位置を求める(ステップ408)。いくつかの実装形態において、修正位置は、ステップ402に関して求めた伝達関数を用いて求めてもよい。例として、修正位置は、ステップ406に関して求めたドットの第2の位置と逆(たとえば、反対)に伝達関数を適用することによって求めてもよい。
【0048】
これらの修正位置は、ドットプロジェクタによって投影されるドットの空間パターンの歪みを低減する。一例として、
図5は、平坦な基板502上に配置されたいくつかの代表的な発光体の元の位置500(〇印で示される)と、(たとえばステップ408に関して求めた)それらの発光体の修正位置504(×印で示される)とを示す。さらに、
図6は、発光体の修正位置504に対応する光のパターン132の拡大された部分を示し、
図3BのパネルB(たとえばセル304b、304c、304e、および304fの間の界面)と同様の領域を示す。
図6に示されるように、発光体の修正位置504に対応する光のパターン132は、発光体の元の位置500に対応する光のパターン132と比較して、セル間のギャップが目立たないことを示す。さらに、発光体の修正位置504に対応する光のパターン132は、発光体の元の位置500に対応する光のパターン132と比較して、より一貫したドット密度を示す。
【0049】
求めた修正位置に従って配置された対応する発光体を各々が有する複数の光学ドットプロジェクタを作製する(ステップ410)。一例として、1つ以上の「製品」3次元センサモジュールを作製することができ、各モジュールが、ステップ408に関して求めた、修正された発光体配列を有する。これは、各々が修正された発光体配列を有するいくつかの光源102を製造することと、各光源102(たとえば1つ以上のドットプロジェクタ110を形成する)と光通信する1つ以上の回折光学素子106を装着することとを含み得る。
【0050】
さらに、1つ以上の光学センサモジュールを作製することができる。たとえば、3次元センサモジュール100は、対応する光学ドットプロジェクタと対応するイメージセンサとを共に(たとえばハウジングまたは筐体内に)パッケージングすることによって作製することができる。次に、作製した3次元センサモジュールを、スマートフォン、タブレット、およびその他のポータブルコンピューティングデバイス等の電子デバイスに設置することができる。
【0051】
システムの例
本明細書に記載の主題および動作のいくつかの実装形態は、デジタル電子回路において、または本明細書で開示される構造およびそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうちの1つ以上を組み合わせたものにおいて、実現することができる。たとえば、いくつかの実装形態において、3次元センサモジュール100の1つ以上の構成要素(たとえば電子制御装置130)は、デジタル電子回路を使用して、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで、またはそれらのうちの1つ以上を組み合わせたものにおいて、実現することができる。もう1つの例において、
図4に示されるプロセスは、少なくとも部分的に、デジタル電子回路を使用して、またはコンピュータソフトウェア、ファームウェア、もしくはハードウェアで、またはそれらのうちの1つ以上を組み合わせたものにおいて、実現することができる。
【0052】
本明細書に記載のいくつかの実装形態は、デジタル電子回路、コンピュータソフトウェア、ファームウェア、もしくはハードウェアの1つ以上のグループもしくはモジュールとして、または、それらのうちの1つ以上を組み合わせたもので、実現することができる。異なるモジュールを使用できるが、各モジュールが別個である必要はなく、複数のモジュールを、同一のデジタル電子回路、コンピュータソフトウェア、ファームウェア、もしくはハードウェア、またはそれらを組み合わせたものにおいて、実現することができる。
【0053】
本明細書に記載のいくつかの実装形態は、1つ以上のコンピュータプログラムとして、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するために、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして、実現することができる。コンピュータ記憶媒体は、コンピュータ読取可能記憶装置、コンピュータ読取可能記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、または、それらのうちの1つ以上を組み合わせたものであってもよく、またはそれに含まれていてもよい。加えて、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソースまたは宛先であってもよい。コンピュータ記憶媒体はまた、1つ以上の別個の物理的構成要素または媒体(たとえば複数のCD、ディスク、またはその他の記憶装置)であってもよく、またはそれに含まれれていてもよい。
【0054】
「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、複数のプログラマブルプロセッサ、複数のコンピュータ、複数のシステムオンチップ、または、これらを組み合わせたものを含む、データを処理するためのすべての種類の装置、デバイス、およびマシンを包含する。装置は、専用論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。装置はまた、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらを1つ以上組み合わせたものを構成するコードを含み得る。装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャ等の、さまざまな異なるコンピューティングモデルインフラストラクチャを実現することができる。
【0055】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている)は、コンパイル型または解釈型言語、宣言型または手続き型言語を含む、任意の形式のプログラミング言語で記述することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応していてもよいが、その必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分(たとえばマークアップ言語文書に格納された1つ以上のスクリプト)に、または当該プログラム専用の単一ファイルに、または複数の協調ファイル(たとえば1つ以上のモジュール、サブプログラム、またはコードの部分を格納するファイル)に、格納されてもよい。コンピュータプログラムは、1つのサイトに位置する、または複数のサイトにわたって分散され、通信ネットワークによって相互接続された、1つのコンピュータまたは複数のコンピュータ上で実行されるようにデプロイされてもよい。
【0056】
本明細書に記載のプロセスおよび論理フローのうちのいくつかは、入力データに対して演算し出力を生成することによって動作を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実行されてもよい。また、プロセスおよび論理フローは、専用論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行されてもよく、装置も、専用論理回路、たとえばFPGAまたはASICとして実現されてもよい。
【0057】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサおよび専用マイクロプロセッサの双方、ならびに任意の種類のデジタルコンピュータのプロセッサを含む。一般的に、プロセッサは、読出専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受信する。コンピュータは、命令に従って動作を実行するためのプロセッサと、命令およびデータを格納するための1つ以上のメモリデバイスとを含む。また、コンピュータは、データを格納するための1つ以上の大容量記憶装置、たとえば磁気、光磁気ディスク、または光ディスクを含み得る、または、上記1つ以上の大容量記憶装置からデータを受信するもしくはそれにデータを転送するもしくはその両方を行うように、当該1つ以上の大容量記憶装置に作動的に結合されてもよい。しかしながら、コンピュータはそのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するのに適したデバイスは、例として半導体メモリデバイス(たとえばEPROM、EEPROM、フラッシュメモリデバイスなど)、磁気ディスク(たとえば内蔵ハードディスク、リムーバブルディスクなど)、光磁気ディスク、ならびにCD-ROMおよびDVD-ROMディスクを含む、すべての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路によって補完されてもよく、または専用論理回路に組み込まれてもよい。
【0058】
ユーザとのやり取りを提供するために、ユーザに対して情報を表示するための表示装置(たとえばモニタまたは別のタイプの表示装置)と、ユーザがコンピュータに入力を与えることができるようにするキーボードおよびポインティングデバイス(たとえばマウス、トラックボール、タブレット、タッチセンシティブスクリーン、または別のタイプのポインティングデバイス)とを有するコンピュータ上で、動作を実現することができる。その他の種類のデバイスを使用することにより、ユーザとのやり取りを提供することもできる。たとえば、ユーザに提供されるフィードバックは、任意の形態の知覚フィードバック、たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってもよく、ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形態で受けることができる。加えて、コンピュータは、ユーザが使用するデバイスに文書を送信しユーザが使用するデバイスから文書を受信することにより、たとえばウェブブラウザから受信した要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することにより、ユーザとやり取りすることができる。
【0059】
コンピュータシステムは、単一のコンピューティングデバイスを、または、互いに近接してもしくは概ね離れて動作し典型的には通信ネットワークを介してやり取りする複数のコンピュータを、含み得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、インターネットワーク(たとえばインターネット)、衛星リンクを含むネットワーク、およびピアツーピアネットワーク(たとえばアドホックピアツーピアネットワーク)を含む。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じ得る。
【0060】
図7は、プロセッサ710と、メモリ720と、記憶装置730と、入出力装置740とを含む、一例としてのコンピュータシステム700を示す。構成要素710、720、730および740の各々は、たとえばシステムバス750によって相互接続されてもよい。いくつかの実装形態において、コンピュータシステム700は、ドットプロジェクタの動作、設計、および/または作製を制御するために使用されてもよい。たとえば、
図1に示される電子制御装置130は、ドットプロジェクタの1つ以上の構成要素の動作を制御するコンピュータシステム700を含み得る。別の例として、コンピュータシステム700は、
図4に関して説明したステップのうちのいくつかまたはすべてを実行するために使用されてもよい。プロセッサ710は、システム700内で実行するための命令を処理することができる。いくつかの実装形態において、プロセッサ710は、シングルスレッドプロセッサ、マルチスレッドプロセッサ、または別のタイプのプロセッサである。プロセッサ710は、メモリ720または記憶装置730に格納された命令を処理することができる。メモリ720および記憶装置730は、システム700内に情報を格納してもよい。
【0061】
入出力装置740は、システム800のための入出力動作を提供する。いくつかの実装形態において、入出力装置740は、ネットワークインターフェイスデバイス、たとえばイーサネット(登録商標)カード、シリアル通信デバイス、たとえばRS-232ポート、および/またはワイヤレスインターフェイスデバイス、たとえば802.11カード、3Gワイヤレスモデム、4Gワイヤレスモデム、5Gワイヤレスモデムなどのうちの1つ以上を含み得る。いくつかの実装形態において、入出力装置は、入力データを受信し出力データを他の入出力装置、たとえばキーボード、プリンタ、および表示装置760に送信するように構成されたドライバデバイスを含み得る。いくつかの実装形態において、モバイルコンピューティングデバイス、モバイル通信デバイス、およびその他のデバイスが使用されてもよい。
【0062】
本明細書は多数の詳細事項を含むが、これらは、特許請求し得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の実施例に固有の特徴の記述として解釈されねばならない。別々の実装形態の文脈において本明細書に記載されているいくつかの特徴を組み合わせることもできる。逆に、1つの実装形態の文脈において記載されているさまざまな特徴が、複数の実施形態において別々に、または任意の適切な下位の組み合わせにおいて実現されてもよい。
【0063】
複数の実装形態について説明した。それでもなお、本発明の精神および範囲から逸脱することなくさまざまな修正を行うことができる。したがって、その他の実装形態も特許請求の範囲に含まれる。