特許 7386185 共焦点カメラにおいて動的投影パターンを生成するための装置、方法、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-15

(45)【発行日】2023-11-24

(54)【発明の名称】共焦点カメラにおいて動的投影パターンを生成するための装置、方法、およびシステム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20231116BHJP

【ＦＩ】

G01B11/25 H

【請求項の数】 14

(21)【出願番号】P 2020568367

(86)(22)【出願日】2019-06-07

(65)【公表番号】

(43)【公表日】2021-10-11

(86)【国際出願番号】 US2019035958

(87)【国際公開番号】W WO2019236948

(87)【国際公開日】2019-12-12

【審査請求日】2022-06-06

(31)【優先権主張番号】16/003,628

(32)【優先日】2018-06-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517264281

【氏名又は名称】デンツプライ シロナ インコーポレイテッド

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】テウェス，マイケル

(72)【発明者】

【氏名】バーナー，マーカス

【審査官】眞岩 久恵

(56)【参考文献】

【文献】国際公開第２０１６／１８８９３９（ＷＯ，Ａ１）

【文献】特開平０２－０１０３１０（ＪＰ，Ａ）

【文献】特表平１０－５０８７３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

カメラであって、
投影のための複数の動的パターンを生成するための光学アレイ生成器であって、
複数の隣接する分離した領域を含む光源であって、前記複数の隣接する分離した領域の各々の光度は独立して制御される、光源と、
複数のレンズを備えるレンズアレイであって、各レンズは、前記光源からの光を像面上に結像させて前記複数の動的パターンを形成するように構築される、レンズアレイと、
前記光源の光を前記レンズアレイ上に向けるように構築されるコリメータと
をさらに含む、光学アレイ生成器と、
測定される物体の表面からの複数の反射像を記録するように前記カメラ内に配置された画像センサと、
前記複数の動的パターンの焦点を前記物体の前記表面に合わせ、かつ前記複数の反射像を前記画像センサ上に結像させるように前記カメラ内に配置された可変結像光学系と
を備え、
前記可変結像光学系は、前記複数の動的パターンの特徴が焦点深度での最大のコントラストで前記物体上に投影され、かつ／または前記複数の反射像の特徴が焦点深度での最大のコントラストで前記画像センサ上に結像されるように、前記可変結像光学系の焦点深度が投影および／または結像中に制御されるように構築される、
カメラ。

【請求項2】

前記光源は、ＬＥＤダイ、レーザダイオード、および他端に取り付けられた他の光源を有する複数の光ファイバの端部からなる群から選択される、請求項１に記載のカメラ。

【請求項3】

前記光源は、少なくとも３つの分離した領域を含む、請求項１に記載のカメラ。

【請求項4】

前記可変結像光学系の前記焦点深度は、前記物体の厚さより実質的に小さい、請求項１に記載のカメラ。

【請求項5】

前記画像センサは、画素内復調を行うように構築される、請求項１に記載のカメラ。

【請求項6】

前記動的パターンは、相補的市松模様パターンまたは相補的縞パターンである、請求項１に記載のカメラ。

【請求項7】

前記複数のレンズの各々は、シリンドリカルである、請求項１に記載のカメラ。

【請求項8】

物体を測定するための複数の動的パターンを生成するための方法であって、
光源の複数の隣接する分離した領域の各々の光度を電子制御してコリメータへの構造化光を生成することと、
前記コリメータを使用して前記光源からの前記構造化光をレンズアレイ上に向けることと、
前記レンズアレイの複数のレンズを使用して前記構造化光のサブ像を生成することであって、前記サブ像は、前記レンズアレイの像面内に形成されて前記複数の動的パターンを形成する、生成することと、
前記複数の動的パターンの特徴が焦点深度での最大のコントラストで前記物体上に投影され、かつ／または複数の反射像の特徴が焦点深度での最大のコントラストで画像センサ上に結像されるように、前記複数の動的パターンの焦点を前記物体の表面に合わせ、かつ前記複数の反射像を前記画像センサ上に結像させるようにカメラ内に配置された可変結像光学系の焦点深度を投影および／または結像中に制御することと
を含む、方法。

【請求項9】

前記物体の表面からの前記複数の反射像を前記画像センサで記録して画像スタックを作成するステップをさらに含む、請求項８に記載の方法。

【請求項10】

各センサ画素について、前記画像スタックにわたって最大振幅を決定することによって前記複数の反射像を処理して前記物体の３次元画像を得ることをさらに含む、請求項９に記載の方法。

【請求項11】

前記物体の領域について、前記動的パターンの前記最大のコントラストを生じる可変結像光学系の位置を決定することによって前記複数の反射像を処理して前記物体の３次元画像を得ることをさらに含む、請求項９に記載の方法。

【請求項12】

前記レンズアレイの前記像面内の前記動的パターンもずれるように前記光源を変位させることによって、前記レンズアレイを前記画像センサの画素と位置合わせすることをさらに含む、請求項８に記載の方法。

【請求項13】

前記投影のための複数の動的パターンを生成するための光学アレイ生成器の倍率を使用することによって横方向の微調整を行うことをさらに含み、前記レンズアレイの要求されるアライメント精度は、前記光源のアライメント精度まで低減され、
前記光学アレイ生成器は、
複数の隣接する分離した領域を含む光源であって、前記複数の隣接する分離した領域の各々の光度は独立して制御される、光源と、
複数のレンズを備えるレンズアレイであって、各レンズは、前記光源からの光を像面上に結像させて前記複数の動的パターンを形成するように構築される、レンズアレイと、
前記光源の光を前記レンズアレイ上に向けるように構築されるコリメータと
を含む、
請求項８に記載の方法。

【請求項14】

物体を測定するための複数の動的パターンを生成するためのシステムであって、
光源の複数の隣接する分離した領域の各々の光度を電子制御してコリメータへの構造化光を生成することと、
前記コリメータを使用して前記光源からの前記構造化光をレンズアレイ上に向けることと、
前記レンズアレイの複数のレンズを使用して前記構造化光のサブ像を生成することであって、前記サブ像は、前記レンズアレイの像面内に形成されて前記複数の動的パターンを形成する、生成することと、
前記複数の動的パターンの特徴が焦点深度での最大のコントラストで前記物体上に投影され、かつ／または複数の反射像の特徴が焦点深度での最大のコントラストで画像センサ上に結像されるように、前記複数の動的パターンの焦点を前記物体の表面に合わせ、かつ前記複数の反射像を前記画像センサ上に結像させるようにカメラ内に配置された可変結像光学系の焦点深度を投影および／または結像中に制御することと
を行うように動作可能な少なくとも１つのプロセッサ
を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、概して、共焦点カメラにおいて動的投影パターンを生成するための装置に関し、より具体的には、３次元（３Ｄ）測定のための物体の表面上への投影用カメラにおいて、光学アレイ生成器、共焦点測定／焦点深度技術を利用して動的パターンを生成するための装置、方法、およびシステムに関する。これは、例えば、物体の表面上に投影された構造化光がぼやけて見える照明を生成する縞投影法を含んでよく、表面形状の正確な幾何学的再構築のために使用されてよい。

【背景技術】

【0002】

縞投影法では、物体は、正弦波縞パターンなどの光の構造化パターンで照明されてよい。構造化パターンは、物体によって位相変調されてよく、次いで、投影に対して既知の角度のカメラで画像として記録されてよい。フーリエ変換などの技術が、記録された画像を解析することによって位相変調を計算するのに使用されてよい。好適な位相アンラッピングアルゴリズムを使用して、物体の高さの変動に比例してよい連続的な位相分布が得られてよく、システムは、アンラッピングされた位相分布を実世界３Ｄ座標にマッピングするように較正されてよい。

【0003】

特に３Ｄ情報は、構造化光／投影されたパターンの投影の方向に対してある角度で傾斜してよい観測角で物体の画像を撮影することによって得られてよい。次いで、投影されたパターンは、物体の表面形状に従って歪んでよい。投影されたパターンの特徴を、画像処理アルゴリズムを用いて歪んだ画像の対応する特徴と一致させてよい。測定される物体が半透明の場合、問題が生じる。光は半透明の物体を透過し、その深さ方向に拡散されてよい。そのような材料の例としては、ワックス、皮膚、または歯が挙げられてよい。結果として、物体表面上のパターンのコントラストは、拡散のため著しく低下する場合があり、物体の深さからの非構造化散乱光が、物体の表面によって反射された所望の光に重なる場合がある。コントラストの低下の結果として、ノイズが信号振幅より大きくなる場合があるため、投影された特徴を検出することができなくなる恐れがある。この状況の可能な改善は、信号に対してセンサのショットノイズを低減するために、センサ上の光量を増加させることであり得る。しかしながら、これは、画像センサ画素のフルウェルキャパシティによって技術的に制限され得る。さらに、「物体ノイズ」（例えば、粗い表面または一様でない着色による、物体自体が引き起こす外乱）は、光量を増加させることによって低減されない場合がある。加えて、これらの問題の解決を試みるいくつか装置は、嵩張りかつ広い空間を使用する構成を採用する。

【0004】

米国特許第７，８５２，４９２Ｂ２号は、光源の下流側で光ビームの光軸内に配置される第１のグリッドであって、物体を照射する前に第１のグリッドを通して光ビームが誘導されてよく、その結果、第１のグリッドのパターンが物体上に投影されてよい、第１のグリッドと、物体をセンサ上に結像させるための光学結像アセンブリと、反射された光ビームの光軸内に設けられ、第１のグリッドに整合するパターンを有する第２のグリッドであって、第１のグリッドのパターンを有する反射された光ビームが該第２のグリッドを通して誘導され、その結果、センサが、第１のグリッドのパターンと第２のグリッドのパターンとを重ね合わせることから生じるモアレパターンを有する物体によって反射された光ビームを感知する、第２のグリッドとを備える、物体のトモグラフィスキャンのための装置について記載している。米国特許第７，８５２，４９２Ｂ２号は、あらゆる目的のために参照により本明細書に組み込まれる。

【0005】

米国特許出願第１５／０２１，５８８号は、経時変化する照明パターンを生成するための光学系を例示し、ポッケルセル、回転偏光子、および構造化リターダなどを介する光学配置は、光源の切り替え可能な偏光方向をもたらす。これは、あらゆる目的のために参照により本明細書に組み込まれる。

【発明の概要】

【0006】

上記に関連する既存の限界ならびに他の限界は、ノイズを低減し、３次元（３Ｄ）測定のためのデータ密度を増加させながら、３次元（３Ｄ）測定のための物体の表面上への投影用カメラにおいて光学アレイ生成器、共焦点測定／焦点深度技術を利用して動的パターンを生成するための装置、方法、およびシステムによって克服することができる。ここでは、投影される光パターンを使用して測定される物体の表面上に光学的特徴を生成することができ、三角測量、共焦点測定／焦点深度原理に従って動作する光学的３Ｄ測定方法を使用して物体を測定することができる。ここでは、時間変動する光は、カメラによって撮像される物体上に投影されてよい。物体の厚さより非常に小さくてもよい焦点深度を有する可変結像光学系が、投影および検出に使用されてよい。可変結像光学系は、可動結像光学系、液体レンズ、フレキシブルレンズなどであってよい。したがって、時間変動する光のパターンは、可変結像光学系の焦点深度と交差する物体の領域にのみ、鮮明に（すなわち最大のコントラストで）結像させることができる。可変結像光学系を使用することによって、結像光学系の焦点面を物体の体積を通して移動させてよい。焦点外領域では光はぼやけて、焦点外領域を焦点領域から区別する一定の平均強度を生じる。したがって、物体の焦点領域／鮮明結像領域のみが、画像センサ上に変調された信号を生成することができる。ノイズ低減およびデータ密度を増加させるセットアップ／技術とともに、様々な構造化照明パターン、共焦点測定／焦点深度原理を使用することによって、物体の３Ｄ表面プロファイルを測定することができる。さらに、特定の周波数で変調することによって、さらなる処理のためにその周波数に対応する信号のみを検出することができる。

【0007】

一実施形態では、動的パターンを生成するための光学アレイ生成器が、カメラに設けられる。光学アレイ生成器は、コリメータ、ＬＥＤアレイ、およびレンズアレイ（マイクロレンズアレイとも呼ばれる）を備える。コリメータは、ＬＥＤアレイの光を、サブレンズを備えるレンズアレイ上に向けるように構築されてよい。レンズアレイの各サブレンズは、ＬＥＤアレイの像を生成するように構築されてよい。したがって、ＬＥＤアレイによって生成される像は、レンズアレイによってサブ像のアレイに増倍されてよい。レンズアレイのサブ像は、レンズアレイの焦点面内で組み合わさって合成像を形成する。レンズアレイのレンズは、照明路に高開口数を使用するため、高光効率を可能とする両凸であってよい。別の実施形態では、カメラに、測定される物体の表面上に合成像を投影する投影光学系が設けられてよい。本明細書の実施形態では、サブ像に変換されるＬＥＤアレイによって生成された像は、構造化され、可変（非静的）であってよい。実施形態では、光源はＬＥＤダイを備えてよい。別の実施形態では、レーザダイオードまたは他の発光素子が使用されてよい。さらに別の実施形態では、光源は、他端に取り付けられた光源を有する複数の光ファイバの一端に形成されてよい。さらに別の実施形態では、複数の光源を各々有する複数のコリメータが使用されてよい。さらに別の実施形態では、光源は、共通のハウジング中に少なくとも２つの分離した領域を備える。

【0008】

本明細書の別の例示的実施形態によれば、カメラシステムが提供される。カメラシステムは、測定される物体上に投影パターンを生成するように構成される光学アレイ生成器、反射された投影パターンを記録するためのセンサ、および記録された画像を処理するためのデジタル信号処理ユニットを含んでよい。実施形態では、センサは、画素内復調機能を備えるセンサであってよく、センサは、フォトダイオード、前置増幅器、同期復調器、および積分器を備える。別の実施形態では、センサは、光学アレイ生成器によって生成された異なる投影パターンについて連続した一連の画像を記録するための２Ｄセンサであってよい。別の実施形態では、システムは、記録された画像をさらに処理し、物体の３次元測定を表示するための取得ユニットを備える。本明細書の実施形態によれば、各領域が個々に電子制御されてよい複数の分離した領域を有する光源からの光は、コリメータによってレンズアレイに向けられて、レンズアレイの焦点面内にサブ像を含む合成像を生成してよく、この合成像が、照明および検出に使用されてよい可変結像光学系によって、測定される物体上に投影されてよい。可変結像光学系を使用することによって、可変結像光学系の焦点面を測定される物体の体積を通して移動させてよい。合成像の縞は、可変結像光学系の焦点面が物体表面と一致する場合にのみ見ることができる。本明細書の実施形態では、連続的に移動するパターンが、例えば、少なくとも３つの光源を使用し、それらを順次点灯することによって、物体表面上に生成されてよい。拡散したバックグラウンド光を含む像が、物体から反射され得、可変結像光学系およびビームスプリッタが、反射像を、記録するセンサに向ける。

【0009】

本明細書の別の例示的実施形態によれば、３次元（３Ｄ）測定のための物体の表面上への投影用カメラにおいて、光学アレイ生成器、共焦点測定／焦点深度技術を利用して動的パターンを生成するための方法が提供される。

【0010】

本明細書の例示的実施形態によれば、方法は、ＬＥＤアレイからの複数の投影パターンを生成することと、コリメータを使用してＬＥＤアレイの複数の投影パターンの各々をレンズアレイ上に向けることと、レンズアレイのサブレンズで複数の投影パターンの各々のサブ像を生成することであって、サブ像は、レンズアレイの焦点面内に形成されて合成像を形成してよい、生成することと、測定される物体の表面上に合成像を結像させることと、物体の表面からの反射像をセンサで記録することと、記録された画像を処理して物体の３次元画像を得ることとを含む。実施形態では、光源は少なくとも２つの分離した領域を備え、光源は、物体上に結像されてよい周期的パターンが形成され得るように切り替えることによって制御されてよい。光源の分離した領域を切り替えることによって、パターンは、レンズアレイの焦点面内で変動してよい。光源の分離した領域の配置およびレンズアレイ（例えば、球面レンズもしくはシリンドリカルレンズ）の設計に依存して、相補的市松模様パターンまたは相補的縞パターンが生成されてよい。光源の素早い切り替えは、相補的照明パターンの高速変化、したがって空間的および時間的変調を作り出す。本明細書の実施形態では、レンズアレイ像面内の投影パターンは、光源をずらすことによってずれてよく、その結果、投影パターンの横方向の微調整が達成され得る。ここで、アレイ生成器の倍率がＭ＝１５：１であってよい実施形態では、例えば１ミクロンのレンズアレイの要求されるアライメント精度は、１５ミクロンのＬＥＤ基板のアライメント精度まで低減されてよい。

【0011】

本明細書の別の実施形態では、パターン投影用の光源に加えて、他の光源が、カラー２Ｄ画像を提供するためなどのさらなる照明タスク用にコリメータの物体面に追加されてよい。さらに別の実施形態では、非球面レンズを備えるコリメータの使用が採用されてよい。別の実施形態では、照明レンズを使用して物体上にパターンを投影することができ、レンズの焦点深度は、測定される物体の厚さより非常に小さくてもよい。焦点深度が小さくなればなるほどは、縞パターンを物体上で鮮明に見ることができるｚ方向の範囲は小さくなる。したがって、物体の特定の領域について最も鮮明な縞パターンを生成するレンズの位置は、より正確に決定され得る。

【0012】

別の実施形態では、記録ステップは、画素内復調機能を備えるセンサで行われてよく、センサは、フォトダイオード、前置増幅器、同期復調器、および／または積分器を備えてよい。別の実施形態では、記録ステップは、光学アレイ生成器によって生成された異なる投影パターンについて連続した一連の画像を記録するための２Ｄセンサで行われてよい。別の実施形態では、処理ステップは、記録された画像に投影された特徴を位置付けること、および記録された画像を物体の３次元測定に処理することを含んでよい。

【0013】

装置、方法、およびシステムは、３次元測定において生成されるノイズを低減し、物体の走査時に収集されるデータの密度を増加させるのに有用であり得る。

【0014】

さらなる特徴および利点、ならびに本明細書の様々な実施形態の構造および動作は、添付の図面を参照しながら以下に詳細に記載されている。

【0015】

例示的実施形態は、本明細書で以下に示されている詳細な説明、および同様の要素が同様の符号によって表されている添付の図面から、より完全に理解されるであろうが、これらは例示のためにのみ与えられており、したがって、本明細書の例示的実施形態に限定されない。

【図面の簡単な説明】

【0016】

【図1】共焦点カメラにおいて投影パターンを使用して物体を測定することができる方法を示すシステムである。

【図2】図１のシステムの例示的コンピュータシステムのブロック図を示す。

【図3】構造化照明用プロジェクタの概略図である。

【図4】本明細書の実施形態による光学アレイ生成器を示す。

【図5】本明細書の実施形態による球面レンズアレイを用いたドットパターンの生成を示す。

【図6】本明細書の実施形態によるシリンドリカルレンズアレイを用いた縞パターンの生成を示す。

【図7】本明細書で議論される例示的実施形態を示す。

【発明を実施するための形態】

【0017】

図面のうち異なる図が、同じ構成要素を識別するために同じであり得る少なくともいくつかの符号を有する場合があるが、そのような各構成要素の詳細な説明は、各図に関して以下に提供されていない場合がある。

【0018】

発明の詳細な説明
本明細書に記載された例示的態様によれば、３次元（３Ｄ）測定のための物体の表面上への投影用カメラにおいて、光学アレイ生成器、共焦点測定／焦点深度技術を利用して動的パターンを生成するための装置、方法、およびシステムが提供されてよい。

【0019】

光学アレイ生成器、カメラ、およびカメラシステム
図１は、動的パターンを生成するためのカメラ１（例えば、歯科用カメラ）を備えるカメラシステム１０１のブロック図を示し、本明細書の少なくとも１つの例示的実施形態に従って構築および動作されてよい。システムは、物体の３次元表現を生成および表示するためのコンピュータシステム１００も備える。コンピュータシステム１００は、カメラ１に電気的に接続されてよい。カメラは、空間的および時間的に変調された光源を備える光学アレイ生成器２を含んでよく、光源（例えば、ＬＥＤアレイ２０）は、個々に電子制御されてよい分離した領域を備える。光学アレイ生成器２は、コリメータ２１、およびＬＥＤアレイの合成像２７を生成するためのサブレンズ２５を備えるレンズアレイ２２も備える。合成像２７はサブ像２６を含んでよく、各サブレンズはサブ像２６（２６Ａ’、２６Ｂ’）を生成してよい。結像光学系１３は、測定される物体１４上に合成像を投影する。本明細書の実施形態では、結像光学系１３は、走査プロセスまたは露光中、物体１４上に変動合成像を含む照明ビーム６２を投影する。物体は、例えば歯または他の物体であってもよい。可変結像光学系１３はまた、歯から反射像を受け取り、センサ４上に結像させてよい。本明細書の別の実施形態では、結像光学系１３は、走査プロセスまたは露光中、変動反射像（図示せず）を含む監視ビーム６３を物体１４から受け取る。受け取った像は、ビームスプリッタ３によってセンサ４に伝播して記録される。１つの例示的実施形態では、標準的な２Ｄセンサが取得に使用されてよい。この場合、復調は、ＣＰＵのような別個の計算ユニットで行われてよい。ここで、変調周波数は、２Ｄセンサの読み出し周波数に制限され得る。例えば、高速２Ｄセンサが毎秒５０００枚のフレームレートで使用され得る場合、最大復調周波数は、２５００Ｈｚであり得る（例えば、フレームレートは５００～１０，０００フレーム／ｓであってよい）。

【0020】

別の例示的実施形態では、センサは、画素内復調機能を備えるセンサであってよく、センサの各画素は、フォトダイオード、画素積分器、前置増幅器、同期復調器、および／または積分器を含んでよい。各画素のフォトダイオードは、物体１４からの光を光電流に変換する。次いで、光電流は、変調周期の半分毎に積分されてよく（例えば、２μｓ～５０μｓまたは０．０１μｓ～１ｍｓ）、増幅されて同期復調器に供給されてよい。復調器は、光学アレイ生成器２の光源の変調信号によって同期されてよい。変調周波数は、光源によってのみ制限され得ることがわかる。したがって、好適なＬＥＤまたはレーザダイオードが使用される場合、変調に使用される周波数はＭＨｚ範囲に増加し得る。高変調周波数（２０ｋＨｚ～５００ｋＨｚまたは１ｋＨｚ～１００ＭＨｚ）の使用は、非常に高い照度が使用される時でさえ画素積分器が飽和しない場合があるという利点を有し得る。変調周波数の良い選択は、画素積分器の飽和を避けるために、１つの復調画像について約５～１００変調周期であり得る。復調器出力は、積分器によって露光時間にわたって合計されてよい。露光終了時、積分信号は、光変調の振幅に比例してよい。一定のバックグラウンド光が、復調によって抑制されてよい。読み出しでは、画像マトリックスの画素は、スイッチマトリックスによって連続的にアドレス指定されてよく、積分器の電圧は、デジタル化されてデジタル信号前処理ユニット５に転送されてよい。

【0021】

焦点深度技術が共焦点カメラ１に使用され、光源１０から結像光学系１３に入射する所与のパターンについて、焦点深度は、パターン１５の焦点が物体１４上に合う結像光学系１３からの像距離の範囲であってよく、物体１４から結像光学系１３に入射する所与の反射パターンについて、焦点深度は、反射パターンの焦点がセンサ４上に合う結像光学系１３からの像距離の範囲であってよい。ここでは、像の位置は、光源に依存する。より具体的には、１つ以上の物体（例えば、歯）上への像の投影中、像は、焦点深度内にある１つ以上の物体の表面上でのみ鮮明であるかまたは焦点が合ってよい。反射像の検出中、例えば、センサ４上に像の焦点を合わせ、焦点の合っていない像を遮断するために適切に位置決めされた開口（図示せず）を使用することによって、焦点の合った像のみがセンサ上に形成されてよい。

【0022】

露光／走査中、デジタル信号前処理ユニット５は、センサ４の単一の画像フレームを収集し、このユニットのローカルメモリ内に画像スタックを構築してよい。続いて、信号を含んでいない画像スタックのすべてのデータ点を、物体の表面の一部ではない可能性があるため破棄することによって、データ量が減らされてよい。最終的に、残りのデータは、取得ユニット６およびディスプレイ１２８を備えるコンピュータシステム１００の一部であってよい取得ユニット６に送信されてよい。取得ユニットは、中央処理装置（ＣＰＵ）１２３およびランダムアクセスメモリ（ＲＡＭ）１３３を含むコンピュータプロセッサをさらに備えてよい。

【0023】

実施形態では、デジタル信号処理は、各センサ画素について、画像スタックにわたって最大振幅が決定され得るステップを含む。各画像は可変結像光学系の既知の位置に対応するため、画素に応じて見られる物体表面のｚ位置は、較正データを使用することによって計算されてよい。

【0024】

本明細書の実施形態では、前処理ユニット５からの画像スタックは、ＣＰＵ １２３によって受信されてよく、ＲＡＭ １３３に一時的に格納されてよい。次いで、スタックのｚ軸に沿って各ｘｙ画素の最大振幅を探すことによって解析されてよい。発見された各最大値は、物体の表面上の点（ｘ，ｙ，ｚ）に対応する。点に適用される歪み補正は、光学系の結像特性を補正する。記録しながらカメラを移動させると一連の点群が生じ、これは、異なる視点からの物体１４の異なる部分を示す。これらの点群は、ＣＰＵ １２３によって個々に回転および平行移動されて一貫した３Ｄモデルを与えてよい。この３Ｄモデルは、最後にディスプレイ１２８上でレンダリングされてよい。

【0025】

図３では、光源１０（例えば、コリメータ２１を備えるＬＥＤアレイ２０）は、レンズアレイ２２を照らしてレンズアレイ２２の焦点面２３内に合成像を形成する。光源は、個々に電子制御されてよい少なくとも２つの隣接する分離した領域を備えてよい。光源のこの配置は、レンズアレイ２２による周期的パターンを有するサブ像にさらに結像されてよい。レンズアレイの焦点面内に、可変結像光学系１３によって物体１４上に結像されてよい周期的パターンが形成されてよい。光源の分離した領域を切り替えることによって、パターンは、レンズアレイ２２の焦点面２３内で変動してよい。光源の分離した領域の配置およびレンズアレイ２２（例えば、球面レンズもしくはシリンドリカルレンズ）の設計に依存して、相補的市松模様パターンまたは相補的縞パターンが、図５および図６に示すように生成されてよい。光源の分離した領域の素早い切り替えは、相補的照明パターンの高速変化を作り出し、したがって、可変結像光学系１３による投影像１５としての物体１４への投影の空間的および時間的変調を生成する。可変結像光学系１３は、ビームスプリッタ３を介して画像センサ４上に物体を結像するために逆に使用されてよい。投影では、可変結像光学系１３は、物体の厚さより非常に小さくてもよい焦点深度を有してよい。したがって、１０、２１、および２２によって生成される時間変動する光のパターンは、可変結像光学系１３の焦点深度と交差する物体の領域にのみ、鮮明に結像させることができる。可変結像光学系（１３）を使用することによって、結像光学系の焦点面を、測定体積を通して移動させてよい。焦点外領域ではパターンはぼやけて、一定の平均強度を生じる。今度は、物体の鮮明結像領域のみが、画像センサ４上に変調された信号を生成することができる。実施形態では、センサ４は、変調された光に感受性があり得、一定のバックグラウンド信号を抑制し得る、特別に設計された画素を有してよい。したがって、センサの出力画像は、高度線（等高線）であってよく、物体表面と可変結像光学系１３の焦点深度との交差を追跡する。可変結像光学系１３を使用して、異なる高さでの交差を有する画像スタックが記録されてよい。ｚ軸に沿った各ｘｙ画素の最大振幅解析などの画像スタックの適切な評価によって、物体は３次元的に再構築されてよい。

【0026】

図４に、時間変動する動的パターンを生成するための光学アレイ生成器２の概略図を示す。図５は、本明細書の実施形態による光学アレイ生成器２の例示的ＬＥＤアレイ２０の上面図を示す。図４に示すように、コリメータ２１は、ＬＥＤアレイ２０の光をレンズアレイ２２上に向ける。レンズアレイの各サブレンズ２５は、ＬＥＤアレイのサブ像２６を生成してよい。サブ像２６は、レンズアレイ２２の焦点面２３内で組み合わさって合成像２７を形成する。次いで、この平面内の合成像２７は、カメラ１の結像光学系１３（投影光学系）を用いて物体表面上に結像される。本明細書の例示的実施形態では、図４に示すように、ＬＥＤアレイ２０の２つの光源（Ａ、Ｂ）は、コリメータ２１の物体面（Ｘ－Ｙ平面）内に置かれてよい。コリメータ２１の後ろで、光源から生じるビームは、２つの平行な光線束２４を形成する。ビームは、レンズアレイ２２によって像面２３に焦点を合わせられてよい。個々のレンズは、１つの焦点対（Ａ｀、Ｂ｀）を生成する。焦点Ａ｀とＢ｀との間のオフセットは、平行ビームの入射角およびレンズアレイの焦点距離の選択によって決定されてよい。実施形態では、複数のコリメータ２１および複数の光源が使用されてよいが、必須ではない。ここでは、光源は、コリメータ２１と結合されてよい。個々のコリメータは、レンズアレイ２２への必要な入射角に従って直線状に並べられてよい。入射角はカメラの光学設計に依存し得、例えば、２°～１０°または０．１°～３０°であってよい。しかしながら、別の実施形態では、コリメータを平行に並べ、偏向素子（例えば、鏡）を使用してレンズアレイ２２への光の入射角を設定することによって、カメラの設計で空間を節約してよい。本明細書の別の実施形態では、ＬＥＤアレイ２０は、図５に示すような２×２ＬＥＤアレイ３０または他のＬＥＤアレイであってよい。

【0027】

図７は、本明細書の別の実施形態を示す。コリメータアセンブリ５０は、例えば、２つのＬＥＤチップ６１からの光の焦点をレンズアレイ５１上に合わせてよい。本明細書の実施形態では、２つのＬＥＤダイの中心は、例えば１．５ｍｍ（または例えば０．５ｍｍ～１５ｍｍ）間隔であってよく、コリメータは、例えば１０ｍｍ（または例えば３ｍｍ～１００ｍｍ）の有効焦点距離を有してよい。これは、コリメータアセンブリ５０を出る平行光束について、逆正接の傾斜角（（１．５ｍｍ／２）／１０ｍｍ）＝４．３°（または例えば２°～１０°もしくは０．１°～３０°）をもたらす。例えばｎ＝１．５２のレンズアレイ５１の屈折率のため、角度は、アレイ基板の光軸（ｚ軸）に対して２．８°に減少してよい。縞は１００μ（または例えば２μ～２００μｍ）の（図６の縞Ａの中心から隣接する縞Ｂの中心までの）間隔を有するべきであるという要求から、したがって、（１００μｍ／２）／ｔａｎ（２．８°）＝１．０ｍｍ（または例えば５０μｍ～１０ｍｍ）のレンズアレイの厚さをもたらす。（レンズの中心から隣接するレンズの中心までの）レンズアレイのピッチは、縞の間隔の２倍（２００μｍ）であってよい。セクション５６は、拡大されたアレイの単一のレンズ対の断面を示す。レンズアレイは、薄板として設計されてよく、両面にレンズを有する。入射レンズ５７は、フーリエレンズとして働き、光源の像を焦点面５９内に生成する。出射レンズ５８は、視野レンズとして働く。平面５９内の光源の合成像は、結像光学系５２によって物体５３上に投影されてよい。同じ結像光学系およびビームスプリッタ５４を用いて、物体の像がセンサ５５上に最終的に生成されてよい。

【0028】

３Ｄ測定用カメラにおいて動的パターンを生成するためのコンピュータシステム
３次元（３Ｄ）測定のための物体の表面上への投影用共焦点カメラにおいて動的パターンを生成するためのシステム１０１について記載してきたが、次に、本明細書の例示的実施形態の少なくともいくつかに従って採用されてよいコンピュータシステム１００のブロック図を示す図２を参照する。この例示的コンピュータシステム１００に関して様々な実施形態が本明細書に記載されている場合があるが、本記載を読んだ後に、他のコンピュータシステムおよび／またはアーキテクチャを使用して本開示を実装する方法が当業者には明らかになるであろう。

【0029】

本明細書の１つの例示的実施形態では、コンピュータシステム１００の少なくともいくつかの構成要素は、図１のコンピュータシステム１００を形成するか、またはそこに含まれてよい。コンピュータシステム１００は、少なくとも１つのコンピュータプロセッサ１２２を備える。コンピュータプロセッサ１２２としては、例えば、図１に示すような中央処理装置１２３、多重処理装置、特定用途向け集積回路（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などが挙げられてよい。プロセッサ１２２は、通信インフラ１２４（例えば、通信バス、クロスオーバーバー（ｃｒｏｓｓ－ｏｖｅｒ ｂａｒ）装置、またはネットワーク）に接続されてよい。本明細書の実施形態では、プロセッサ１２２は、画素内復調機能を備えるセンサ４を有するカメラ１の前処理ユニット５から画像スタックを得るＣＰＵ １２３を含む。スタックは、メモリに一時的に格納され、次いで解析されてよい。記録しながらカメラ１を移動させると、一連の点群が形成されてよい。ＣＰＵ １２３は、点群を回転および平行移動させて、コンピュータシステム１００のディスプレイインタフェース１２６上でレンダリングするための一貫した３Ｄモデルを与えてよい。別の実施形態では、ＣＰＵは、センサ４によって検出された画像特徴を投影された特徴と一致させ、かつそれらを別個の点群を生じる各画像とともに三角形分割によって３Ｄ点群に変換してよい。ここでは、センサは、任意選択で画素内復調機能を有していなくもよい。カメラを移動させると、一連の点群が生じる。これらの点群は、ＣＰＵ １２３によって個々に回転および平行移動されて一貫した３Ｄモデルを与えてよい。この３Ｄモデルは、最後にディスプレイ１２８上でレンダリングされてよい。本明細書のさらに別の実施形態では、カメラ１のデジタル信号前処理ユニット５は、コンピュータシステム１００に組み込まれてよい。

【0030】

ディスプレイインタフェース（または他の出力インタフェース）１２６は、ディスプレイユニット１２８（これは１つの例示的実施形態では、図１のディスプレイユニット１２８を形成するか、またはそこに含まれてよい）上で表示するために、ビデオグラフィックス、テキスト、および他のデータを通信インフラ１２４（またはフレームバッファ（図示せず））から転送する。例えばディスプレイインタフェース１２６は、グラフィックス処理装置とともにビデオカードを含んでよい。

【0031】

コンピュータシステム１００は、情報をコンピュータプロセッサ１２２に送信するためにコンピュータシステム１００のユーザが使用することができる入力ユニット１３０も含んでよい。本明細書の１つの例示的実施形態では、入力ユニット１３０は、図１の入力ユニット１３０を形成するか、またはそこに含まれてよい。入力ユニット１３０としては、トラックボール、またはキーボードおよび／もしくはタッチスクリーンモニタなどの他の入力装置が挙げられてよい。一例では、ディスプレイユニット１２８、入力ユニット１３０、およびコンピュータプロセッサ１２２は、集合的にユーザインタフェースを形成してよい。

【0032】

動的パターンを生成する１つ以上のステップは、コンピュータ可読プログラム命令の形態で非一時的ストレージ装置に格納されてよい。手順を実行するために、プロセッサ１２２は、ストレージ装置上に格納されている適切な命令をメモリにロードし、次いでロードされた命令を実行する。

【0033】

図２のコンピュータシステム１００は、図１に示すようなランダムアクセスメモリ（「ＲＡＭ」）１３３であってよいメインメモリ１３２を備えてよく、二次メモリ１３４も含んでよい。二次メモリ１３４としては、例えば、ハードディスクドライブ１３６および／または取外し可能なストレージドライブ１３８（例えば、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブなど）が挙げられてよい。取外し可能なストレージドライブ１３８は、周知の方法で取外し可能なストレージユニット１４０から読み出し、かつ／またはそこに書き込む。取外し可能なストレージユニット１４０は、例えば、取外し可能なストレージドライブ１３８によって書き込みおよび読み出し可能なフロッピーディスク、磁気テープ、光ディスク、フラッシュメモリ装置などであってよい。取外し可能なストレージユニット１４０は、コンピュータ実行可能なソフトウェア命令および／またはデータを格納する非一時的コンピュータ可読ストレージ媒体を含んでよい。

【0034】

さらなる代替の実施形態では、二次メモリ１３４は、コンピュータ実行可能なプログラムまたはコンピュータシステム１００にロードされる他の命令を格納する他のコンピュータ可読媒体を含んでよい。そのような装置としては、取外し可能なストレージユニット１４４およびインタフェース１４２（例えば、プログラムカートリッジおよびカートリッジインタフェース）、取外し可能なメモリチップ（例えば、消去可能プログラム可能読み出し専用メモリ（「ＥＰＲＯＭ」）またはプログラム可能読み出し専用メモリ（「ＰＲＯＭ」））および関連するメモリソケット、ならびにソフトウェアおよびデータを取外し可能なストレージユニット１４４からコンピュータシステム１００の他の部分に転送するのを可能とする他の取外し可能なストレージユニット１４４およびインタフェース１４２が挙げられてよい。

【0035】

コンピュータシステム１００は、ソフトウェアおよびデータをコンピュータシステム１００と外部装置との間で転送するのを可能とする通信インタフェース１４６も含んでよい。そのようなインタフェースとしては、モデム、ネットワークインタフェース（例えば、イーサネットカードまたはＩＥＥＥ ８０２．１１無線ＬＡＮインタフェース）、通信ポート（例えば、ユニバーサルシリアルバス（「ＵＳＢ」）ポートまたはＦｉｒｅＷｉｒｅ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」）インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが挙げられてよい。通信インタフェース１４６を介して転送されるソフトウェアおよびデータは、信号の形態であってよく、この信号は、通信インタフェース１４６によって送信および／または受信することが可能であってよい電子信号、電磁信号、光信号、または別の種類の信号であってよい。信号は、通信路１４８（例えば、チャネル）を介して通信インタフェース１４６に提供されてよい。通信路１４８は信号を運び、ワイヤまたはケーブル、ファイバーオプティクス、電話線、セルラーリンク、無線周波数（「ＲＦ」）リンクなどを使用して実装されてよい。コンピュータシステム１００とリモートサーバまたはクラウドベースのストレージ（図示せず）との間でソフトウェアまたはデータまたは他の情報を転送するために、通信インタフェース１４６が使用されてよい。

【0036】

１つ以上のコンピュータプログラムまたはコンピュータ制御論理は、メインメモリ１３２および／または二次メモリ１３４に格納されてよい。コンピュータプログラムはまた、通信インタフェース１４６を介して受信されてもよい。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行されると、コンピュータシステム１００に以下に記載されるような方法を実行させるコンピュータ実行可能な命令を含む。したがって、コンピュータプログラムは、コンピュータシステム１００、およびカメラシステム１０１の他の構成要素を制御してよい。

【0037】

別の実施形態では、ソフトウェアは非一時的コンピュータ可読ストレージ媒体に格納され、取外し可能なストレージドライブ１３８、ハードディスクドライブ１３６、および／または通信インタフェース１４６を使用して、コンピュータシステム１００のメインメモリ１３２および／または二次メモリ１３４にロードされてよい。制御論理（ソフトウェア）は、プロセッサ１２２によって実行されると、コンピュータシステム１００、およびより一般に、いくつかの実施形態ではカメラシステムに、以下に記載された方法のいくつかを実行させる。

【0038】

最後に、別の例示的実施形態では、ＡＳＩＣ、ＦＰＧＡなどのようなハードウェア構成要素を使用して、本明細書に記載された機能を実行してよい。本明細書に記載された機能を実行するためのそのようなハードウェア構成の実装は、本記載を考慮すれば当業者には明らかであろう。

【0039】

３Ｄ測定用カメラにおいて動的パターンを生成するための方法
図２のコンピュータシステム１００について記載してきたが、次に、カメラシステム１０１について、異なるレンズの種類を使用して投影パターンを生成する方法を示す図４～６とともにさらに記載する。

【0040】

次に図５および図６を見ると、相補的市松模様パターン、相補的縞パターン、または他の相補的パターンが生成されてよい。球面レンズを備えるレンズアレイ２２を使用したパターンの生成を示す図５に示すように、ＬＥＤ配置３０のＬＥＤ ＡおよびＣのスイッチを入れると（左側）、縞パターンがレンズアレイ２２の像面内に生成されてよい（右側）。ＬＥＤ ＢおよびＤのスイッチを入れ、ＬＥＤ ＡおよびＣのスイッチを切ると、相補的縞パターンが生成される。本明細書の実施形態では、ＬＥＤアレイ２０中の各ＬＥＤ／ダイの強度は、個々に制御されてよい。

【0041】

シリンドリカルレンズを備えるレンズアレイ２２を使用した縞パターンの生成を示す図６に示すように、各レンズはパターンを生成し、すべてのパターンが組み合わさってレンズアレイ２２の像面内に生成される縞パターンを形成する。したがって、ＬＥＤの相互切り替えは、再び相補的縞パターンを生じる。

【0042】

本明細書の別の例示的実施形態では、マイクロレンズアレイ２２は、好ましくはセンサまたは検出器ピンホール（図示せず）の画素と位置合わせされる。コリメータ２１の物体面内で横方向に光源を変位させることによって、マイクロレンズアレイ２２の像面２３内の増倍されたパターンもずれてよい。これを使用してパターンの横方向の微調整を行うことができる。

【0043】

光学アレイ生成器の倍率を使用して、マイクロレンズアレイのアライメント／位置決め精度が、ＬＥＤアレイのアライメント／位置決め精度によって制御されてよく、その結果、マイクロレンズアレイのアライメントを直接変化させる代わりに、マイクロレンズアレイ自体を移動させることなく、むしろＬＥＤアレイを変位させてマイクロレンズアレイの正確なアライメントを行うことができる。例えば、アレイ生成器の倍率がＭ＝１５：１であってよい本明細書の実施形態では、１ミクロンのレンズアレイの要求されるアライメント精度は、したがって、１５ミクロンのＬＥＤ基板のアライメント精度まで低減されてよい。ここでは、１５ミクロンのＬＥＤ基板のアライメント精度は、達成がより容易であってよい。

【0044】

本明細書の別の実施形態では、パターン投影に使用される光源に加えて、さらなる光源が、さらなる照明タスク用にコリメータ２１の物体面に追加されてよい。例えば、３Ｄ測定に単色光を使用する共焦点スキャナがカラー２Ｄ画像を提供することも求められる場合、物体は、異なる色の光源で少なくとも短時間照明されてよい。これは、縞投影に使用されるＬＥＤダイの隣に異なる色のＬＥＤダイを置くことによって達成されてよい。ここでは、さらなるコリメータおよび二色性ビームスプリッタなどの結合光学系は省かれてよい。

【0045】

図７のレンズアレイ５１の放射照度が光源の切り替え時に局所的に一定でない場合、焦点外の物体領域中でさえ、さらなる望ましくないＡＣオフセットが生じる場合がある。これを避けるために、コリメータアセンブリ５０は、レンズアレイ５１の均一な照明（および入射角）が確保されるように（例えば、さらなるレンズの追加または非球面レンズの使用によって）光学的に補正されてよいが、コリメータの光源は、光軸に対してオフセットされ得る。あるいは、高開口数（ＮＡ）の高効率コリメータ光学系が必要であり得る。これらの要求は、非球面レンズを使用することによって効果的に実現され得る。したがって、本明細書の実施形態では、非球面素子を備えるコリメータが使用されてよい。

【0046】

本明細書の別の例示的実施形態では、物体５３上への投影のためにレンズアレイ５１の後ろに光を誘導するために、両凸レンズがレンズアレイ５１に使用されてよい。したがって、アレイの出射側のレンズは、焦点の後ろのビームコーンが像面に垂直であることを確実にするための視野レンズとして働いてよい（出射レンズ５８が視野レンズとして働く図７の例示的実施形態を参照）。

【0047】

本明細書に記載された実施形態の利点としては、小型化およびロバスト性が挙げられてよいが、これはグリッド構造がなく、パターン生成で動く部品がないためである。さらに、精巧で複雑な偏光光学系がないため、カメラのコストは低減されてよい。さらに、光学セットアップはスライドまたはグリッド構造を含まないため、コリメータ２１からのすべての光は、吸収されることなくレンズアレイ２２を通過して結像光学系１３に伝わり、カメラで生じる廃熱は低減されてよい。さらに、変調周波数は、光源によってのみ制限され得る。実施形態では、変調周波数は、好適なＬＥＤまたはレーザダイオードを使用することによってＭＨｚ範囲（例えば、１ｋＨｚ～１００ＭＨｚ）に増加し得る。

【0048】

上の記載を考慮すれば、本明細書に記載された例示的実施形態がカメラにおいて動的投影パターンを生成するための装置、方法、およびシステムを提供することが理解され得る。

【0049】

特に定義されない限り、本明細書で使用されるすべての技術および科学用語は、本発明が属する当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載されたものと同様または同等の方法および材料を本開示の実施または試験に使用することができるが、好適な方法および材料は上に記載されている。本明細書で言及されているすべての刊行物、特許出願、特許、および他の参考文献は、適用法および規則によって許容される程度までそれら全体が参照により組み込まれる。本開示はその趣旨または必須の特性から逸脱することなく他の特定の形態で具体化されてよく、したがって、本実施形態はあらゆる点で限定するものとしてではなく例示としてみなされることが望ましい。本記載の中で利用された任意の見出しは単に便宜上のものであり、法的または限定的効果を有しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】