特許第6355710号(P6355710)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ファロ テクノロジーズ インコーポレーテッドの特許一覧

<>
  • 特許6355710-非接触型光学三次元測定装置 図000002
  • 特許6355710-非接触型光学三次元測定装置 図000003
  • 特許6355710-非接触型光学三次元測定装置 図000004
  • 特許6355710-非接触型光学三次元測定装置 図000005
  • 特許6355710-非接触型光学三次元測定装置 図000006
  • 特許6355710-非接触型光学三次元測定装置 図000007
  • 特許6355710-非接触型光学三次元測定装置 図000008
  • 特許6355710-非接触型光学三次元測定装置 図000009
  • 特許6355710-非接触型光学三次元測定装置 図000010
  • 特許6355710-非接触型光学三次元測定装置 図000011
  • 特許6355710-非接触型光学三次元測定装置 図000012
  • 特許6355710-非接触型光学三次元測定装置 図000013
  • 特許6355710-非接触型光学三次元測定装置 図000014
  • 特許6355710-非接触型光学三次元測定装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6355710
(24)【登録日】2018年6月22日
(45)【発行日】2018年7月11日
(54)【発明の名称】非接触型光学三次元測定装置
(51)【国際特許分類】
   G01B 11/245 20060101AFI20180702BHJP
   G01B 11/25 20060101ALI20180702BHJP
【FI】
   G01B11/245 H
   G01B11/25 H
【請求項の数】8
【全頁数】25
(21)【出願番号】特願2016-500623(P2016-500623)
(86)(22)【出願日】2014年3月5日
(65)【公表番号】特表2016-514271(P2016-514271A)
(43)【公表日】2016年5月19日
(86)【国際出願番号】US2014020481
(87)【国際公開番号】WO2014149702
(87)【国際公開日】20140925
【審査請求日】2016年12月6日
(31)【優先権主張番号】61/791,797
(32)【優先日】2013年3月15日
(33)【優先権主張国】US
(31)【優先権主張番号】13/932,267
(32)【優先日】2013年7月1日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】598064510
【氏名又は名称】ファロ テクノロジーズ インコーポレーテッド
(74)【代理人】
【識別番号】110001210
【氏名又は名称】特許業務法人YKI国際特許事務所
(72)【発明者】
【氏名】ベッカー ベルント−ディートマー
(72)【発明者】
【氏名】ブリッジイズ ロバート イー
【審査官】 眞岩 久恵
(56)【参考文献】
【文献】 米国特許出願公開第2012/0062706(US,A1)
【文献】 特開2012−215496(JP,A)
【文献】 国際公開第2012/142074(WO,A2)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00−11/30
(57)【特許請求の範囲】
【請求項1】
非接触型光学三次元測定装置であって、
第1プロジェクタと第1カメラと第2プロジェクタと第2カメラとを含むアセンブリであって、前記第1プロジェクタと前記第1カメラと前記第2プロジェクタと前記第2カメラとが相互に対して固定関係にあり、前記第1プロジェクタが第1光源を有し、少なくとも一つのパターンを有する第1光を物体の表面に放射するように前記第1プロジェクタが構成され、前記第1カメラが第1レンズと第1感光アレイとを有し、前記表面で反射した前記第1光の第1部分を受容して相応の第1信号を生成するように前記第1カメラが構成され、前記第1カメラが第1視野を有して前記第1視野が前記第1カメラの第1視認角度領域であり、前記第2プロジェクタが第2光源を有して、前記物体の表面に第2光を放射するように前記第2プロジェクタが構成され、前記第2カメラが第2レンズと第2感光アレイとを有し、前記表面で反射した前記第2光の第2部分を受容して相応の第2信号を生成するように前記第2カメラが構成され、前記第2カメラが第2視野を有して前記第2視野が前記第2カメラの第2視認角度領域であり、前記第2視野が前記第1視野と異なる、アセンブリと、
前記第1プロジェクタと前記第2プロジェクタと前記第1カメラと前記第2カメラとに電気結合されて、第1時点で前記第1信号を収集させるとともに前記第1時点と異なる第2時点で前記第2信号を収集させることと、前記第1信号に少なくとも部分的に基づいて前記表面上の第1点の三次元座標を判断することと、前記第2信号に少なくとも部分的に基づいて前記表面上の第2点の三次元座標を判断することとを含む操作を実施するコンピュータ実行可能プログラムコードを実行するプロセッサと、
を包含
前記プロセッサにより実行させた時に、多経路干渉の存在を判断することと、前記多経路干渉が存在する場合は、前記第1時点と前記第2時点との間の第3時点で、前記アセンブリを第1位置から第2位置へ移動させることとを含む操作を実施するコンピュータ実行可能プログラムコードを実行するように前記プロセッサがさらに構成される、非接触型光学三次元測定装置。
【請求項2】
前記第2光が、前記第2光の伝搬方向に対して垂直な方向の線状光である、請求項1に記載の非接触型光学三次元測定装置。
【請求項3】
前記少なくとも一つのパターンが、少なくとも三つの非共線パターン要素を含む、請求項1に記載の非接触型光学三次元測定装置。
【請求項4】
前記第2光が第2パターンを含み、前記第2パターンが少なくとも三つの非共線パターン要素を有する、請求項3に記載の非接触型光学三次元測定装置。
【請求項5】
前記線状光が時間掃引される直線パターンである、請求項2に記載の非接触型光学三次元測定装置。
【請求項6】
前記線状光が時間掃引されるスポット光である、請求項2に記載の非接触型光学三次元測定装置。
【請求項7】
前記第1視野が前記第2視野の少なくとも2倍の大きさである、請求項1に記載の非接触型光学三次元測定装置。
【請求項8】
前記第1感光アレイが第1ピクセルを含み、前記第1ピクセルが前記表面の第1エリアで反射された光を捕捉するように構成され、前記第2感光アレイが第2ピクセルを含み、前記第2ピクセルが前記表面の第2エリアで反射された光を捕捉するように構成され、前記第2エリアが前記第1エリアより小さい、請求項1に記載の非接触型光学三次元測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
ここに開示される主題は、三次元座標スキャナに、詳しくは多数のデータ獲得方式を有する三角測距式スキャナに関する。
【背景技術】
【0002】
物体または環境の三次元座標の獲得は知られている。例えば飛行時間または三角測距方法など、様々な技術が使用されうる。レーザトラッカ、トータルステーション、または飛行時間スキャナなどの飛行時間システムは、レーザビームなどの光線を再帰反射器ターゲットまたは物体表面上のスポットへ向ける。光がターゲットまたはスポットに達してから戻るのに要する時間長に基づいてターゲットまたはスポットまでの距離を判断するのに、絶対距離計が使用される。レーザビームまたはターゲットを物体の表面上で移動させることにより、物体の座標が確認される。飛行時間システムは、比較的高精度を有するという利点を有するが、いくつかの事例では、飛行時間システムは通常、表面上の各ポイントを個別に測定しなければならないので、他のいくつかのシステムよりも低速である。
【0003】
対照的に、三次元座標を測定するのに三角測距法を使用するスキャナは、直線上の光パターン(レーザ線プローブからのレーザ線など)と、エリアを被覆する光パターン(構造化光など)のいずれかを表面に投影する。カメラとプロジェクタとを例えば共通のフレームに装着することにより、カメラがプロジェクタに固定関係で結合される。プロジェクタから放射された光は、表面で反射されてカメラにより検出される。カメラとプロジェクタとは固定関係で配置されるので、三角法の原理を使用して物体までの距離が判断されうる。触覚プローブを使用する座標測定装置と比較して、三角測距システムは広いエリアにわたって座標データを迅速に獲得できるという利点を提供する。ここで使用される際に、三角測距システムにより提供される三次元座標値の収集結果は、ポイントクラウドデータ(point cloud data)または単純にポイントクラウドと呼ばれる。
【0004】
幾つかの問題点が、レーザスキャナを使用するときの高精度のポイントクラウドデータの獲得を妨げる。これらは、例えば、物体表面の反射率の変化または投影光に対する表面の入射角の変化を結果的に生じる、カメラ像面で受容される光のレベル変化、孔のエッジなどエッジ付近での低解像度、多経路干渉を含むが、これらに限定されるわけではない。いくつかの事例では、オペレータは問題に気付かないか、これを解消することができない。これらの事例では、欠損または欠陥のあるポイントクラウドデータが結果的に生じる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、既存のスキャナはその想定目的に適しているが、不適切な条件に適応してデータ点獲得を改良できるスキャナを提供するという点では特に、改良の必要性が残っている。
【課題を解決するための手段】
【0006】
本発明は、非接触型光学三次元測定装置であって、第1プロジェクタと第1カメラと第2プロジェクタと第2カメラとを含むアセンブリであって、前記第1プロジェクタと前記第1カメラと前記第2プロジェクタと前記第2カメラとが相互に対して固定関係にあり、前記第1プロジェクタが第1光源を有し、少なくとも一つのパターンを有する第1光を物体の表面に放射するように前記第1プロジェクタが構成され、前記第1カメラが第1レンズと第1感光アレイとを有し、前記表面で反射した前記第1光の第1部分を受容して相応の第1信号を生成するように前記第1カメラが構成され、前記第1カメラが第1視野を有して前記第1視野が前記第1カメラの第1視認角度領域であり、前記第2プロジェクタが第2光源を有して、前記物体の表面に第2光を放射するように前記第2プロジェクタが構成され、前記第2カメラが第2レンズと第2感光アレイとを有し、前記表面で反射した前記第2光の第2部分を受容して相応の第2信号を生成するように前記第2カメラが構成され、前記第2カメラが第2視野を有して前記第2視野が前記第2カメラの第2視認角度領域であり、前記第2視野が前記第1視野と異なる、アセンブリと、前記第1プロジェクタと前記第2プロジェクタと前記第1カメラと前記第2カメラとに電気結合されて、第1時点で前記第1信号を収集させるとともに前記第1時点と異なる第2時点で前記第2信号を収集させることと、前記第1信号に少なくとも部分的に基づいて前記表面上の第1点の三次元座標を判断することと、前記第2信号に少なくとも部分的に基づいて前記表面上の第2点の三次元座標を判断することとを含む操作を実施するコンピュータ実行可能プログラムコードを実行するプロセッサと、を包含し、前記プロセッサにより実行させた時に、多経路干渉の存在を判断することと、前記多経路干渉が存在する場合は、前記第1時点と前記第2時点との間の第3時点で、前記アセンブリを第1位置から第2位置へ移動させることとを含む操作を実施するコンピュータ実行可能プログラムコードを実行するように前記プロセッサがさらに構成される。本発明の一態様によれば、非接触型光学三次元測定装置が提供される。非接触型光学三次元は、プロジェクタと第1カメラと第2カメラとを含むアセンブリであって、プロジェクタと第1カメラと第2カメラとが相互に対して固定され、プロジェクタと第1カメラとの間に第1距離が、プロジェクタと第2カメラとの間に第2距離が設けられ、プロジェクタが光源を有し、プロジェクタが、複数の空間的変化パターンのいずれかを有する第1光を物体の表面に放射するように構成され、第1カメラが第1レンズと第1感光アレイとを有し、第1カメラが、表面で反射された第1光の第1部分を受容して相応の第1デジタル信号を発生させるように構成され、第1カメラが第1視野を有して第1視野が第1カメラの第1視認角度領域であり、第2カメラが第2レンズと第2感光アレイとを有し、第2カメラが、表面で反射した第1光の第2部分を受容して相応の第2デジタル信号を発生させるように構成され、第2カメラが第2視野を有して第2視野が第2カメラの第2視認角度領域であり、第2視野が第1視野と異なる、アセンブリと、プロジェクタと第1カメラと第2カメラとに電気結合されたプロセッサと、プロセッサにより実行されたときに、第1時点で第1デジタル信号を収集させるとともに、第1時点と異なる第2時点で第2デジタル信号を収集させ、第1デジタル信号および第1距離に少なくとも部分的に基づいて表面上の第1点の三次元座標を判断し、第2デジタル信号および第2距離に少なくとも部分的に基づいて表面上の第2点の三次元座標を判断するコンピュータ可読媒体とを包含する。
【0007】
本発明の関連技術では、物体の表面上の三次元座標を判断するための方法が提供される。この方法は、プロジェクタと第1カメラと第2カメラとを含むアセンブリを提供することであって、プロジェクタと第1カメラと第2カメラとが相互に対して固定され、プロジェクタと第1カメラとの間に第1距離が、プロジェクタと第2カメラとの間に第2距離が設けられ、プロジェクタが光源を有し、プロジェクタが、複数の空間的変化パターンのいずれかを有する第1光を表面に放射するように構成され、第1カメラが第1レンズと第1感光アレイとを有し、第1カメラが、表面で反射された第1光の第1部分を受容するように構成され、第1カメラが第1視野を有して第1視野が第1カメラの第1視認角度領域であり、第2カメラが第2レンズと第2感光アレイとを有し、第2カメラが、表面で反射された第1光の第2部分を受容するように構成され、第2カメラが第2視野を有して第2視野が第2カメラの第2視認角度領域であり、第2視野が第1視野と異なる、アセンブリを提供し、プロジェクタと第1カメラと第2カメラとに電気結合されたプロセッサを提供し、複数の空間的変化パターンの中から選択された第1パターンを有する第1光を、第1例として、前記プロジェクタから前記表面へ放射し、第1例において第1カメラにより表面の第1像を獲得し、相応の第1デジタル信号をプロセッサへ送信し、表面上の第1点の三次元座標の第1集合を判断することであって、第1パターンと第1デジタル信号と第1距離とに少なくとも部分的に基づいて前記第1集合を判断し、第1集合の品質を評価する診断手順を実行し、複数の空間的変化パターンの中から選択される第1光の第2パターンを判断することであって、診断手順の結果に少なくとも部分的に基づいて前記第2パターンを判断し、第2パターンを有する第1光を、第2例として、プロジェクタから表面へ放射し、第2例で表面の第2像を第2カメラで獲得して相応の第2信号をプロセッサへ送信し、表面上の第2点の三次元座標の第2集合を判断することであって、第2パターンと第2デジタル信号と第2距離とに少なくとも部分的に基づいて前記第1集合を判断することを包含する。
【0008】
以上および他の利点および特徴は、図面とともに解釈される以下の説明からより明白になるだろう。
【0009】
発明と考えられる主題が詳しく指摘され、明細書の最後の請求項で明確に請求される。本発明の以上および他の特徴および利点は、添付図面とともに解釈されると以下の詳細な説明から明白である。
【図面の簡単な説明】
【0010】
図1】本発明の実施形態によるスキャナの概略上面図である。
図2図1のスキャナを操作する方法を示す流れ図である。
図3】本発明の別の実施形態によるスキャナの概略上面図である。
図4図3のスキャナを操作する方法を示す流れ図である。
図5A】一実施形態によるレーザスキャナの要素の概略図である。
図5B】一実施形態によるスキャナを操作する方法を示す流れ図である。
図6】本発明の別の実施形態によるスキャナの概略上面図である。
図7】一実施形態によるスキャナを操作する方法を示す流れ図である。
図8A】本発明の実施形態による遠隔プローブ装置とともに使用されるスキャナの斜視図である。
図8B】本発明の実施形態による遠隔プローブ装置とともに使用されるスキャナの斜視図である。
図9図5のスキャナを操作する方法を示す流れ図である。
図10】一実施形態によるスキャナの概略上面図である。
図11図10のスキャナを操作する方法を示す流れ図である。
図12】一実施形態による診断方法を示す流れ図である。
【発明を実施するための形態】
【0011】
詳細な説明では、図面を参照して、本発明の実施形態を利点および特徴とともに例として説明する。
【0012】
本発明の実施形態は、スキャナにより獲得されるデータポイントクラウドの三次元座標の信頼性および精度を高めるという利点を提供する。本発明の実施形態は、獲得データの異常を検出し、スキャナの操作を自動的に調節して所望の結果を得るという利点を提供する。本発明の実施形態は、獲得データの異常を検出して、付加的なデータ獲得が必要とされるエリアについてオペレータに指示を与えるという利点を提供する。本発明のまたさらなる実施形態は、獲得データの異常を検出して、付加的なデータ獲得が遠隔プローブで獲得されうる際にオペレータに指示を与えるという利点を提供する。
【0013】
スキャナ装置は、物体の三次元座標データを獲得する。一実施形態において、図1に示されたスキャナ20は、第1カメラと第2カメラとプロジェクタ28とを含むハウジング22を有する。プロジェクタ28は、物体34の表面32へ光30を放射する。例示的実施形態において、プロジェクタ28は、パターン発生器を照射する可視光源を使用する。可視光源は、例えばレーザ、スーパールミネセントダイオード、白熱光、キセノンランプ、発光ダイオード(LED)、または他の発光装置でありうる。一実施形態において、パターン発生器は、構造化光パターンがエッチングされたクロムオンガラスのスライドである。スライドは、必要に応じて定位置へ、また定位置から移動する単一パターンまたは多数パターンを有しうる。スライドは、手動または自動で操作位置に設置されうる。他の実施形態において、ソースパターンは、Texas Instruments Corporationにより製造されるデジタル光プロジェクタ(DLP)などのデジタルマイクロミラー装置(DMD)、液晶装置(LCD)、液晶オンシリコン(LCOS)装置、反射モードではなく伝導モードで使用される類似の装置により反射または伝導される光でありうる。プロジェクタ28はさらに、所望エリアを被覆するように射出光を変更するレンズシステム36を含みうる。
【0014】
一実施形態において、プロジェクタ28は、構造化光をエリア37に放射するように構成可能である。ここで使用される際に、「構造化光」は、物体上の点の座標を判断するのに使用されうる情報を伝える、物体のあるエリアに投影される光の二次元パターンを指す。一実施形態において、構造化光パターンは、エリア内に載置される少なくとも三つの非共線状パターン要素を内含する。三つの非共線状パターン要素の各々は、点座標を判断するのに使用されうる情報を伝える。別の実施形態では、エリアパターンとともに直線パターンを投影するように構成可能であるプロジェクタが設けられる。一実施形態において、プロジェクタは、二つの間で前後に切り換わるように構成されたデジタルマイクロミラー装置(DMD)である。一実施形態において、DMDプロジェクタは、ラスタパターンで直線を掃引するか、点を掃引しうる。
【0015】
概して、二つのタイプの構造化光パターン、つまり符号化光パターンと非符号化光パターンが設けられる。ここで使用される際に、符号化光パターンは、単一の像を獲得することにより物体の被照射表面の三次元座標が得られるものである。符号化光パターンでは、投影装置が物体に対して移動している間にポイントクラウドデータを取得および記録することが可能である。符号化光パターンの一つのタイプは、直線上に配置された要素の集合(幾何学的形状など)を含み、要素のうち少なくとも三つが非共線状である。このようなパターン要素はその配置のため認識可能である。
【0016】
対照的に、ここで使用される非符号化構造化光パターンは、単一パターンによる測定を可能にしないパターンである。一連の非符号化光パターンが順次、投影および撮像される。この事例では、物体に対して固定されたままプロジェクタを保持することが通常は必要である。
【0017】
スキャナ20は符号化と非符号化のいずれかの構造化光パターンを使用しうることが認識されるべきである。構造化光パターンは、「SPIE会報」第7932号で発表されたJason Gengによる雑誌論文「DLPベースの構造化光3D撮像技術および応用」に開示されたパターンを含みうる。加えて、以下で説明されるいくつかの実施形態において、プロジェクタ28はパターン形成された掃引線状光または掃引点状光を伝導する。掃引される線状および点状の光は、多経路干渉など何らかのタイプの異常を特定する際にエリア状の光よりも有利である。スキャナが静止されたままで直線を自動的に掃引することも、表面点のより均一なサンプリングが得られるという点で有利である。
【0018】
第1カメラ24は、センサの視野内にエリア48のデジタル像/表示を生成する感光センサ44を含む。センサは、電荷結合素子(CCD)タイプのセンサ、または例えばピクセルのアレイを有する相補型金属酸化膜半導体(CMOS)タイプのセンサでありうる。第1カメラ24はさらに、限定的ではないがレンズ46や例えば他の光学素子など、他の構成要素を含みうる。レンズ46は、関連の第1焦点距離を有する。センサ44とレンズ46とが協働して、第1視野「X」を画定する。例示的実施形態では、第1視野「X」は16度(インチあたり0.28インチ)である。
【0019】
同様に、第2カメラ26は、センサの視野内のエリア40にデジタル像/表示を生成する感光センサ38を含む。このセンサは、電荷結合素子(CCD)タイプのセンサ、または、例えばピクセルのアレイを有する相補型金属酸化膜半導体(CMOS)タイプのセンサでありうる。第2カメラ26はさらに、限定的ではないがレンズ42と例えば他の光学素子など、他の構成要素を含みうる。レンズ42は関連の第2焦点距離を有し、第2焦点距離は第1焦点距離と異なる。センサ38とレンズ42とが協働して、第2視野「Y」を画定する。例示的実施形態では、第2視野「Y」は50度(インチあたり0.85インチ)である。第2視野Yは第1視野Xより大きい。同様に、エリア40はエリア48より大きい。大きな視野は、測定される物体表面32の所与の領域の高速での獲得を可能にすることが認識されるべきであるが、感光アレイ44,38が同数のピクセルを有する場合には、視野が狭いほど高い解像度が得られる。
【0020】
例示的実施形態では、物体34の表面から反射した光をセンサ44が受容しうるような角度で、プロジェクタ28と第1カメラ24とが固定関係で配置される。同様に、物体34の表面32から反射した光をセンサ38が受容しうるような角度で、プロジェクタ28と第2カメラ26とが固定関係で配置される。プロジェクタ28と第1カメラ24と第2カメラ26とは固定の幾何学的関係を有するので、表面上の点の距離および座標はその三角法関係により判断されうる。カメラ24,26の視野(FOV)は図1では重複していないものとして示されているが、FOVは部分的に重複するか完全に重複してもよい。
【0021】
プロジェクタ28とカメラ24,26とは、ハウジング22内に載置された制御装置50に電気結合される。制御装置50は、一つ以上のマイクロプロセッサ、デジタル信号プロセッサ、メモリ、そして信号調節回路を含みうる。スキャナ20はさらに、オペレータにより手で起動されてスキャナ20による操作およびデータ捕捉を開始するアクチュエータ(不図示)を含みうる。一実施形態では、物体34の表面32を表すポイントクラウドのX,Y,Z座標データを判断する像処理が、制御装置50により実施される。座標データは、例えば揮発性または不揮発性メモリ54などに局所的に記憶されうる。メモリは、例えばフラッシュドライブまたはメモリカードなど、リムーバブルでありうる。他の実施形態では、スキャナ20に遠隔処理システム56へ座標データを送信させる通信回路52をスキャナ20が有する。スキャナ20と遠隔処理システム56との間の通信媒体58は、有線(イーサネット(登録商標)など)でも無線(ブルートゥース、IEEE802.11など)でもよい。一実施形態では、通信媒体58を通してスキャナ20により送信される獲得像に基づいて、座標データが遠隔処理システム56により判断される。
【0022】
両方向矢印47によって指示されるように、物体表面32とスキャナ20との間には相対運動が可能である。このような相対運動が行われる手法にはいくつかある。一実施形態では、スキャナはハンドヘルドスキャナであり、物体34が固定されている。相対運動は、物体表面でスキャナを移動させることにより行われる。別の実施形態では、スキャナがロボット式エンドエフェクタに装着される。ロボットが物体表面でスキャナを移動させる際に、ロボットにより相対運動が行われる。別の実施形態では、可動機械的機構、例えばガントリ座標測定機械や多関節アームCMMにスキャナ20または物体34が装着される。物体表面でスキャナ20を移動させる際に機械的機構を移動させることにより、相対運動が行われる。いくつかの実施形態では、オペレータの動作によって運動が行われ、他の実施形態では、コンピュータ制御下にある機構によって運動が行われる。
【0023】
さて図2を参照すると、方法1260によるスキャナ20の動作が説明されている。ブロック1262に示されているように、プロジェクタ28は最初に、物体34の表面32のエリア37へ構造化光パターンを放射する。プロジェクタ28からの光30は、第2カメラ26により受容される反射光62として表面32から反射される。表面32の三次元プロフィールは、第2カメラ26内の感光アレイ38により捕捉されるパターンの像に影響する。単数または複数のパターンの一つ以上の像から収集された情報を使用して、制御装置50または遠隔処理システム56は、感光アレイ38のピクセルとプロジェクタ28により放射される光のパターンとの間の一対一対応を判断する。この一対一対応を使用して、表面32上の点の三次元座標を判断するのに三角法の原理が使用される。この三次元座標データ(ポイントクラウドデータ)の獲得は、ブロック1264に示されている。表面32にわたってスキャナ20を移動させることにより、物体34の全体についてポイントクラウドが作成される。
【0024】
スキャンプロセス中に、制御装置50または遠隔処理システム56は、ブロック1266に示されているようにポイントクラウドデータの望ましくない条件または問題を検出しうる。このような問題を検出する方法は、図12に関して以下で記される。検出される問題は、例えば特定エリアでのポイントクラウドデータのエラーまたはその不在でありうる。このデータのエラーまたは不在は、このエリアから反射する光が過少であるか過多であることにより生じうる。反射光の過少または過多は、例えば物体表面32への光30の高いまたは可変の入射角の結果としての、あるいは低反射率(黒色や透明)の材料または光沢表面の結果としての物体表面32での反射率の差から生じうる。物体上のある点は、グリントとして知られる非常に高輝度の正反射率を発生させるような角度を持ちうる。
【0025】
ポイントクラウドデータのエラーまたは不在について考えられる別の理由は、微小な特徴、尖鋭なエッジ、または奥行の急激な変化を有する領域での解像度の欠如である。このような解像度の欠如は、例えば孔の結果でありうる。
【0026】
ポイントクラウドデータのエラーまたは不在について考えられる別の理由は、多経路干渉である。通常は、プロジェクタ28からの光線は表面32上の点に衝突し、ある角度範囲にわたって散乱される。散乱光は、カメラ26のレンズ42により感光アレイ38の小さなスポットに像形成される。同様に、散乱光は、カメラ24のレンズ46により感光アレイ44の小さなスポットに像形成されうる。表面32上の点に達した光がプロジェクタ28からの光線であるばかりでなく、二次光が表面32の別の部分で反射するときに、多経路干渉が発生する。このような二次光は、感光アレイ38,44により受容される光のパターンを乱すことにより、この点の三次元座標の正確な判断を妨げうる。多経路干渉の存在を特定するための方法は、図12に関して本出願で説明される。
【0027】
ブロック1266でポイントクラウドに問題がないと制御装置が判断した場合には、手順が終了する。さもなければ、スキャナが手動または自動モードで使用されるかどうかについての判断が、ブロック1268で行われる。モードが手動である場合、オペレータはブロック1270で所望の位置へスキャナを移動させるように案内される。
【0028】
オペレータにより所望される移動が指示される手法は多くある。一実施形態では、スキャナ本体の表示灯が所望の移動方向を指示する。別の実施形態では、オペレータが移動すべき方向を指示する光が表面に投影される。加えて、投影光の色は、スキャナが物体に近すぎるか遠すぎるかどうかを指示しうる。別の実施形態では、オペレータが光を投影する領域についての指示がディスプレイで行われる。このようなディスプレイは、ポイントクラウドデータ、CADモデル、またはその二つの組み合わせの図形表示でありうる。ディスプレイは、コンピュータモニタ、またはスキャン装置に組み込まれるディスプレイに提示されうる。
【0029】
これらの実施形態のいずれかでは、スキャナの概略位置を判断する方法が望まれる。一事例では、ジョイントの角度エンコーダを使用して、端部に装着されたスキャナの位置および配向を判断する多関節アームCMMにスキャナが装着されうる。別の事例で、スキャナは装置内に設けられる慣性センサを含む。慣性センサは例えば、ジャイロスコープ、加速度計、および磁力計を含みうる。スキャナの概略位置を判断する別の方法は、物体またはその周囲にマーカポイントとして設けられる写真計測ドットを照射することである。このようにして、スキャナの広角FOVカメラは、物体に対するスキャナの概略位置を判断できる。
【0030】
別の実施形態において、コンピュータ画面上のCADモデルは、付加的測定が所望される領域を指示し、オペレータは、物体上の特徴をスキャナ上の特徴と整合させることによりスキャナを適宜移動させる。スキャンが行われる際に画面上でCADモデルを更新することにより、オペレータは、部品の所望の領域が測定されたかどうかについて迅速なフィードバックが得られる。
【0031】
オペレータがスキャナを定位置へ移動させた後、ブロック1272で小型FOVカメラ24により測定が行われる。ブロック1272で比較的狭い領域を視認することにより、結果的に得られる三次元座標の解像度が向上し、孔やエッジなどの特徴を明らかにする良好な能力が得られる。
【0032】
狭角FOVカメラは広角FOVカメラよりも比較的狭い領域を視認するため、プロジェクタ28は比較的狭い領域を照射しうる。光を反射させて物体へ戻すことのできる比較的少ない照射点が物体に設けられるので、これは、多経路干渉の排除には有利である。照射領域を狭くすると、検査対象の物体の所与の反射率および入射角について最適な量の光を得るように、露出の制御を容易にしうる。ブロック1274では、すべての点が収集された場合に、ブロック1276で手順が終了する。さもなければ継続する。
【0033】
ブロック1268以降のモードが自動化される実施形態において、ブロック1278では、自動化機構がスキャナを所望の位置へ移動させる。いくつかの実施形態において、自動化機構は、スキャナと検査対象物体との相対位置についての情報を提供するセンサを有する。自動化機構がロボットである実施形態については、ロボットジョイント内の角変換器が、スキャナを保持するのに使用されるロボットエンドエフェクタの位置および配向についての情報を提供する。別のタイプの自動化機構により物体が移動される実施形態については、リニアエンコーダまたは他の多様なセンサが、物体とスキャナとの相対位置に関する情報を提供しうる。
【0034】
自動化機構がスキャナまたは物体を定位置へ移動させた後、ブロック1280では小型FOVカメラにより三次元測定が行われる。すべての測定が完了してブロック1284で手順が終了するまで、ブロック1282によりこのような測定が反復される。
【0035】
一実施形態において、第2カメラ26によるデータ獲得から第1カメラ24へスキャナが切り換わるときに、プロジェクタ28は構造化光パターンを変化させる。別の実施形態では、同じ構造化光パターンが両方のカメラ24,26で使用される。また別の実施形態では、第1カメラ24によりデータが獲得されるときに、掃引線または点により形成されるパターンをプロジェクタ28が放射する。第1カメラ24でデータを獲得した後に、プロセスは第2カメラ26を使用してスキャンを継続する。このプロセスは、オペレータがこの部品の所望のエリアをスキャンしてしまうまで継続する。
【0036】
図2のプロセスは線形または逐次プロセスとして示されているが、他の実施形態では、示された図の一つ以上のステップが並列して実行されうることが認識されるべきである。図2に示された方法において、この方法は、最初に物体全体を測定してから、獲得されたポイントクラウドデータの評価に従ってさらに詳細な測定を実行することを必要とする。スキャナ20の代替的な使用は、小型FOVを有するカメラ24を使用して詳細または臨界領域を測定することにより開始する。
【0037】
スキャンシステムにおいてカメラまたはプロジェクタのFOVを変更する手法としてカメラレンズまたはプロジェクタレンズを変更する手法を提供することは、既存のスキャンシステムでの一般的慣行であることも認識されるべきである。しかし、このような変更は時間を浪費し、一般的に、カメラまたはプロジェクタシステムの収差補正パラメータを判断するようにドットプレートなどの人工物がカメラまたはプロジェクタの前に置かれる付加的補正ステップを必要とする。ゆえに、図1のカメラ24,26など、異なるFOVを有する2台のカメラが提供されるスキャンシステムは、完全自動化モードでのスキャナの測定速度および実行可能性において重大な利点を提供する。
【0038】
第1座標獲得システム76と第2座標獲得システム78とを含むハウジング22を有するスキャナ20についての別の実施形態が、図3に示されている。第1座標獲得システム76は、第1プロジェクタ80と第1カメラ82とを含む。図1の実施形態と同様に、プロジェクタ80は物体34の表面32へ光84を放射する。例示的実施形態において、プロジェクタ80はパターン発生器を照射する可視光源を使用する。可視光源は、レーザ、スーパールミネセントダイオード、白熱光、発光ダイオード(LED)、または他の発光素子でありうる。一実施形態において、パターン発生器は、構造化光パターンがエッチングされたクロムオンガラスのスライドである。スライドは、必要に応じて定位置へまたは定位置から移動する単一パターンや多数パターンを有しうる。スライドは、手動または自動で操作位置に設置されうる。他の実施形態において、ソースパターンは、Texas Instruments Corporation製のデジタル光プロジェクタ(DLP)などのデジタルマイクロミラー装置(DMD)、液晶装置(LCD)、液晶オンシリコン(LCOS)装置、または反射モードでなく伝導モードで使用される類似の装置により反射または伝導される光でありうる。プロジェクタ80はさらに、所望の焦点特性を有するように射出光を変化させるレンズシステム86を含みうる。
【0039】
第1カメラ82は、センサの視野内のエリア90にデジタル像/表示を生成する感光アレイセンサ88を含む。センサは、電荷結合素子(CCD)タイプのセンサ、または例えばピクセルのアレイを有する相補型金属酸化膜半導体(CMOS)タイプのセンサでありうる。第1カメラ82はさらに、例えば限定的ではないがレンズ92および他の光学素子など、他の構成要素を含みうる。第1プロジェクタ80と第1カメラ82とは、物体34の表面32で反射した第1プロジェクタ80からの光85を第1カメラ82が検出しうるように、固定関係の角度で配置される。第1カメラ92と第1プロジェクタ80とは固定関係で配置されるので、エリア90内の表面32上の点の座標を判断するのに、上記の三角法の原理が使用されうる。明瞭化のため、第1プロジェクタ80の近くに第1カメラ82を有するものとして図3が描かれているが、カメラはハウジング22の反対側の近くに設けられてもよいことが認識されるべきである。第1カメラ82と第1プロジェクタ80とをさらに離間させることにより、3D測定の精度が向上することが予想される。
【0040】
第2座標獲得システム78は、第2プロジェクタ94と第2カメラ96とを含む。プロジェクタ94は、レーザ、発光ダイオード(LED)、スーパールミネセントダイオード(SLED)、キセノンバルブ、または他の適当なタイプの光源を包含しうる光源を有する。一実施形態において、レンズ98は、レーザ光源から受容した光を線状光100へ集束するのに使用され、一つ以上の円柱レンズ、または他の様々な形状のレンズを包含しうる。一つ以上の個別レンズまたはレンズの集合体を含みうるため、レンズは「レンズシステム」とも呼ばれる。線状光は実質的に直線状である、つまり直線からの最大偏差は長さの約1%未満である。一実施形態により利用されうる一つのレンズタイプは、ロッドレンズである。ロッドレンズは一般的に、周面が研磨されて両端部が研削されるガラスまたはプラスチック製の全円筒体の形状である。このようなレンズはロッドの直径を通る視準光を直線に変換する。使用されうる別のタイプのレンズは円柱レンズでありうる。円柱レンズは部分円筒体の形状を有するレンズである。例えば、円筒レンズの一表面は平坦であるのに対して、反対の表面は円筒形の形である。
【0041】
別の実施形態において、プロジェクタ94は、表面32のエリアを覆う二次元パターンの光を生成する。このとき、結果的に得られる座標獲得システム78は、構造化光スキャナと呼ばれる。
【0042】
第2カメラ96は、例えば電荷結合素子(CCD)タイプのセンサであるか相補型金属酸化膜半導体(CMOS)タイプのセンサなどのセンサ102を含む。第2カメラ96はさらに、例えば限定的ではないがレンズ104および他の光学素子など、他の構成要素を含みうる。第2プロジェクタ94と第2カメラ96とは、物体34で反射した第2プロジェクタ94からの光106を第2カメラ96が検出するような角度で配置される。第2プロジェクタ94と第2カメラ96とは固定関係で配置されるので、上記の三角法の原理が使用されて、光100により形成される直線上にある表面32上の点の座標を判断することが認識されるべきである。カメラ96とプロジェクタ94とがハウジング22の両側に設けられて3D測定精度を高めることも認識されるべきである。
【0043】
別の実施形態において、第2座標獲得システムは、固定の線状光ばかりでなく掃引線状光、掃引点状光、(エリアを被覆する)符号化光パターン、または(エリアを被覆する)連続光パターンを含みうる様々なパターンを投影するように構成される。各タイプの投影パターンは、速度、精度、および多経路干渉に対する免除などのような異なる利点を有する。各特定測定についての性能要件を評価することにより、および/または、回収されたデータや(CADモデルから、または収集されたスキャンデータに基づく3D復元から)予想される物体形状の特性を検討することにより、性能を最適化する投影パターンのタイプを選択することが可能である。
【0044】
別の実施形態では、第2座標獲得システム78から物体表面32までの距離は、第1座標獲得システム76から物体表面32までの距離と異なっている。例えば、カメラ96はカメラ88よりも物体32の近くに位置しうる。このようにして、第2座標獲得システム78の解像度および精度は第1座標獲得システム76のものよりも向上しうる。多くの事例では、比較的大きく滑らかな物体を低解像度システム76により迅速にスキャンしてから、高解像度システム78によりエッジおよび孔を含む詳細をスキャンすると有益である。
【0045】
スキャナ20は、手動モードまたは自動化モードで使用されうる。手動モードでは、使用されている獲得システムに従ってスキャナを物体表面から近くまたは遠くへ移動させるようにオペレータが促される。さらに、スキャナ20が移動される方向をオペレータに指示する光のビームまたはパターンをスキャナ20が投影しうる。代替的に、装置の表示灯は、スキャナが移動されるべき方向を指示しうる。自動モードでは、測定要件に従って、スキャナ20または物体34が自動的に相対移動されうる。
【0046】
図1の実施形態と同様に、第1座標獲得システム76と第2座標獲得システム78とは、ハウジング22に載置された制御装置50に電気結合されている。制御装置50は、一つ以上のマイクロプロセッサとデジタル信号プロセッサとメモリと信号調節回路とを含みうる。スキャナ20はさらに、オペレータにより手で起動されてスキャナ20による操作およびデータ捕捉を開始するアクチュエータ(不図示)を含みうる。一実施形態において、物体34の表面32を表すポイントクラウドのX,Y,Z座標データを判断する像処理は、制御装置50により実施される。座標データは、例えば揮発性または不揮発性メモリ54などに局所的に記憶されうる。例えばフラッシュドライブまたはメモリカードなど、メモリはリムーバブルでありうる。他の実施形態において、スキャナ20は、スキャナ20に遠隔処理システム56へ座標データを送信させる通信回路52を有する。スキャナ20と遠隔処理システム56との間の通信媒体58は、有線(イーサネット(登録商標)など)であっても無線(ブルートゥース、IEEE802.11など)であってもよい。一実施形態では、遠隔処理システム56により座標データが判断され、獲得された像をスキャナ20が通信媒体58で送信する。
【0047】
さて図4を参照して、図3のスキャナ20を操作する方法1400が説明される。ブロック1402では、スキャナ20の第1座標獲得システム76の第1プロジェクタ80が、物体34の表面32のエリア90へ構造化光パターンを放射する。プロジェクタ80からの光84が表面32から反射され、反射光85が第1カメラ82により受容される。上記のように、表面32の表面プロフィールの変化は、第1感光アレイ88により受容される光の像形成パターンに歪みを生じる。パターンは構造化光、直線や光、または点状光により形成されるので、いくつかの例では、制御装置50または遠隔処理システム56が、表面32上の点と感光アレイ88のピクセルとの間の一対一対応を判断することが可能である。こうして上記の三角法の原理がブロック1404で使用されてポイントクラウドデータを取得することができ、いわば表面32上の点のX,Y,Z座標を判断できる。スキャナ20を表面32に対して移動させることにより、ポイントクラウドが物体34全体から作成されうる。
【0048】
ブロック1406で、制御装置50または遠隔処理システム56は、ポイントクラウドデータが所望のデータ品質属性を備えるか、潜在的問題を有するかどうかを判断する。発生しうる問題のタイプは図2を参照して上述されており、この記載はここでは繰り返さない。ブロック1406でポイントクラウドが所望のデータ品質属性を有すると制御装置が判断した場合、手順は終了する。さもなければ、スキャナが手動または自動モードで使用されるかどうかについて、ブロック1408で判断が行われる。モードが手動である場合に、オペレータはブロック1410でスキャナを所望の位置へ移動させるように誘導される。
【0049】
図2を参照して上述したようにオペレータにより所望の移動を指示する手法はいくつかある。その記載はここでは繰り返さない。
【0050】
所望の移動を行う際にオペレータを誘導するため、スキャナの概略位置を判断する方法が必要とされる。図2を参照して説明されたように、方法は、多関節アームCMMへのスキャナ20の装着、スキャナ20内での慣性センサの使用、写真計測ドットの照射、または表示像への特徴の整合を含みうる。
【0051】
オペレータがスキャナを定位置へ移動させた後、ブロック1412では第2座標獲得システム78により測定が行われる。第2座標獲得システムを使用することにより、解像度または精度が向上するか問題が解消される。ブロック1414では、すべての点が収集された場合に、手順はブロック1416で終わる。さもなければ継続する。
【0052】
ブロック1408からの操作モードが自動化される場合には、ブロック1418で自動化機構がスキャナを所望の位置へ移動させる。たいていの事例では、スキャナと検査対象物体との相対位置についての情報を自動化機構がセンサに提供させる。自動化機構がロボットである事例では、ロボットジョイント内の角度変換器が、スキャナを保持するのに使用されるロボット式エンドエフェクタの位置および配向についての情報を提供する。他のタイプの自動化機構については、線形エンコーダまたは様々な他のセンサが、物体およびスキャナの相対位置についての情報を提供しうる。
【0053】
自動機構がスキャナまたは物体を定位置へ移動させた後、ブロック1420で、第2座標獲得システム78により三次元測定が行われる。このような測定は、すべての測定が完了するまでブロック1422によって反復される。手順はブロック1424で終了する。
【0054】
図4のプロセスは線形または逐次プロセスとして示されているが、他の実施形態では、示されたステップの一つ以上が並列して実行されうることが認識されるべきである。図4に示された方法では、この方法は最初に物体全体を測定してから、獲得されたポイントクラウドデータの評価に従ってさらに詳細な測定を実行することを含む。代替的なスキャナ20の使用は、第2座標獲得システム78を使用して詳細または臨界領域を測定することにより始まる。
【0055】
既存のスキャンシステムでカメラまたはプロジェクタのFOVを変更する手法としてカメラレンズまたはプロジェクタレンズを変更する手法を提供することは、既存のスキャンシステムによく見られる慣行であることも認識されるべきである。しかし、このような変更は時間を浪費し、ドットプレートなどの人工物がカメラまたはプロジェクタの前方に置かれてカメラまたはプロジェクタシステムについての収差補正パラメータを判断するという付加的な補償ステップを一般的に必要とする。ゆえに、図3のスキャンシステム20など異なる二つの座標獲得システムを設けるシステムは、完全自動モードについてはスキャナの測定速度と実行可能性において重大な利点を備える。
【0056】
多経路干渉の結果としてスキャナ測定を行う際にはエラーが発生しうる。多経路干渉の発生源についてこれから論じ、多経路干渉を回避または低減するための第一の方法が説明される。
【0057】
物体表面に衝突する光の一部がカメラへ戻る前に最初に物体の別の表面で散乱するときに、多経路干渉の事例が発生する。この散乱光を受容する物体上の点については、感光アレイへ送られる光は、プロジェクタから直接投影される光ばかりでなく、プロジェクタ上の異なる点へ送られて物体で散乱する光にも対応する。二次元(構造化)光を投影するスキャナの事例では特に、多経路干渉の結果は、プロジェクタからこの点での物体表面まで計算された距離を不正確にすることでありうる。
【0058】
多経路干渉の例が図5Aを参照して例示される。この実施形態において、スキャナ4570は、線状光4525を物体の表面4510Aへ投影する。線状光4525は、紙の平面に対して垂直である。一実施形態では、感光アレイの横列は紙の平面に対して平行であり、縦列は紙の平面に対して垂直である。各横列は、紙の平面に対して垂直な方向での投影線4525上の点を表す。直線上のこの点でのプロジェクタから物体までの距離は、各横列の重心を最初に計算することにより判明する。表面点4526について、感光アレイ4541上の重心は点4546で表される。感光アレイ上の重心の位置4546は、カメラ投影中心4544から物体点4526までの距離を計算するのに使用されうる。この計算は、三角測距の原理による三角法関係に基づく。これらの計算を実施するには、カメラ投影中心4544からプロジェクタ投影中心4523までの基線距離Dが必要とされる。加えて、プロジェクタシステム4520からカメラシステム4540までの相対的な配向についての知識が必要とされる。
【0059】
多経路干渉により生じるエラーを理解するには、点4527について検討する。この点から反射または散乱した光は、レンズ4542により感光アレイ4541上の点4548に像形成される。しかし、プロジェクタから直接的に受容されて点4527で散乱される光に加えて、付加的な光が、感光アレイに像形成される前に点4526から点4527へ反射される。光は予想外の位置へ散乱されて所与の横列に二つの重心が形成される可能性が非常に高い。結果的に、所与の横列での二つの重心の観察は、多経路干渉の存在を良好に示すものである。
【0060】
物体表面のエリアへ投影される構造化光の事例では、4527などの点からの二次反射は、通常、直線へ投影される光ほど明白ではなく、ゆえに、測定による3D表面座標にエラーを生じやすい。
【0061】
調節可能な照射パターンを有するプロジェクタをディスプレイ要素4521に使用することにより、照射パターンを変化させることが可能である。ディスプレイ要素4521は、デジタル光プロジェクタ(DLP)などのデジタルマイクロメカニカルミラー(DMM)でありうる。このような装置は、電気信号によって迅速な調節が可能で照射パターンを迅速に調節する多数の小型ミラーを内含する。電気調節式ディスプレイパターンを生成できる他の装置は、LCD(液晶ディスプレイ)とLCOS(液晶オンシリコン)ディスプレイとを含む。
【0062】
エリア全体に構造化光を投影するシステムにおいて多経路干渉を検査する手法は、線状光を投影するようにディスプレイを変更することである。横列での多数の重心の存在は、多経路干渉が存在することを指示するものであろう。線状光を掃引することにより、オペレータによるプローブの移動を必要とせずに、エリアがカバーされうる。
【0063】
電気調節式ディスプレイにより、線状光が所望の角度に設定されうる。投影される線状光の方向を変更することにより、多経路干渉が多くの事例で解消されうる。
【0064】
反射の回避が困難である多くの折り目や急角度を有する表面については、電気調節式ディスプレイが使用されて点状光を掃引する。いくつかの事例では、単一の点状光から二次反射が発生されうるが、反射したスポット状の光のうちいずれが有効であるかを判断するのは、通常は比較的容易である。
【0065】
電気調節式ディスプレイは、符号化および非符号化パターンの間を迅速に切り換えるのにも使用されうる。大抵の事例では、単一のカメラフレーム情報に基づいて3D測定を行うには符号化パターンが使用される。他方、測定による3D座標値において高精度を得るには、多数のパターン(逐次または非符号化パターン)が使用されうる。
【0066】
過去には、例えば、一連のグレイスケール直線パターンの後に各々が異なる位相を有する連続の正弦波パターンが続くなど、逐次パターンの中に一連のパターンの各々を投影するのに、電気調節式ディスプレイが使用されている。
【0067】
今回の進歩的方法は、多経路干渉などの問題を特定または解消するとともに、必要とされる精度を可能な限り迅速に得るのに単一ショットパターン(例えば符号化パターン)または多数ショットパターンが好適であるかどうかを指示するこれらの方法を選択する際に、以前の方法を超える利点を提供する。
【0068】
ラインスキャナの事例では、多経路干渉の存在を判断する手法が存在することが多い。多経路干渉が存在しないときには、物体表面上の点により反射された光が連続ピクセルの領域へ単一の横列として像形成される。横列の二つ以上の領域が大量の光を受容する場合には、多経路干渉が指示される。このような多経路干渉条件の例と、その結果生じる感光アレイの余分な照射領域とが図5Aに示されている。表面4510Aはここで、交点4526の近くに大きな湾曲を有する。交点おける垂直表面は直線4528であり、入射角は4531である。反射した線状光4529の方向は、入射角と等しい反射角4532から判明する。上記のように線状光4529は実際には、角度範囲にわたって散乱する光の方向全体を表す。散乱光の中心は点4527で表面4510Aに衝突し、これがレンズ4544により感光アレイ上の点4548で像形成される。点4548の近傍で受容される予想外に大量の光は、多経路干渉がおそらくは存在することを示す。ラインスキャナでは、多経路干渉についての主な懸念は、二つのスポット4546および4527がかなりの距離だけ分離されて別々に解析されるという図5Aに示された事例ではなく、むしろ二つのスポットが重複するか一緒ににじむ事例である。この事例では、図15Eでは点4546に対応する所望の点に対応する重心を判断することが可能ではない。やはり図5Aを参照することで理解されうるように二次元エリアにわたって光を投影するスキャナの事例では、問題は悪化する。感光アレイ4541に像形成される光のすべてが二次元座標の判断に必要とされる場合には、点4527での光が、プロジェクタから直接投影される所望のパターンの光とともに、物体表面から点4527へ反射される不要の光にも対応することは明白である。その結果、この事例では、エリア全体に投影される光について、間違った三次元座標が点4527で計算される可能性がある。
【0069】
投影される線状光については、多くの事例で、直線の方向を変更することにより多経路干渉を解消することが可能である。一つの可能性は、固有の二次元性能を有するプロジェクタを使用してラインスキャナを製作することで、ラインが掃引されるか、異なる方向に自動的に回転されることである。このようなプロジェクタの例は、上記のようにデジタルマイクロミラー(DMD)を使用するものである。例えば、構造化光により取得される特定のスキャンにおいて多経路干渉が疑われる場合には、掃引による線状光を使用する測定方法に切り換わるように測定システムが自動的に設定されうる。
【0070】
多経路干渉を軽減、最小化、または解消するための別の方法は、多経路干渉が指摘された領域にわたって線状光または光エリアではなく点状光を掃引することである。単一の点状光を照射することにより、二次反射で散乱した光は通常、容易に識別されうる。
【0071】
電気的調節可能ディスプレイにより投影される所望のパターンの判断は、以下で図12を参照して説明されるように、診断分析を利用して行われる。
【0072】
多経路干渉を診断および補正する際の使用の他に、投影光のパターンの変更では、必要な精度および解像度を最小量の時間で得るという利点が得られる。一実施形態において、光の符号化パターンを物体へ単一ショットで投影することにより、測定が最初に実施される。表面の三次元座標は、収集データを使用して判断され、より詳細な解析を必要とする孔、エッジ、または特徴をいくつかの領域が有するかどうかを判断するため、結果が解析される。このような詳細な解析は、例えば図1の狭角FOVカメラ24、図3の高解像度スキャナシステム78を使用することにより実施されうる。
【0073】
座標は、ターゲットまでのおおよその距離を判断するために解析され、こうして後述するように、正弦波位相シフトした光のパターンを表面に連続的に投影する方法など、より正確な測定方法のために開始距離を提供する。符号化光パターンを使用して表面上の各点について開始距離を求めると、多数の正弦波位相シフトスキャンでピッチを変化させることでこの情報を得る必要が無くなり、こうしてかなりの時間を節約する。
【0074】
さて図5Bを参照すると、スキャナ20により獲得された座標データの異常を克服するか精度を向上させるための実施形態が示されている。物体34などの物体をスキャナ20でスキャンすることにより、プロセス211がブロック212で開始する。スキャナ20は、例えば少なくとも一つのプロジェクタとカメラとを有する、図1,3,5および図7の実施形態で説明されたようなスキャナでありうる。この実施形態において、ブロック212でスキャナ20は第1光パターンを物体へ投影する。一実施形態では、この第1光パターンは符号化および構造化された光パターンである。プロセス211は、ブロック214で三次元座標データを獲得および判断する。座標データは質問ブロック216で解析され、上述した多経路干渉、要素周囲の低解像度、または表面角度や表面反射率の変化によるデータの不在など、何らかの異常が存在するかどうかを判断する。異常が検出されると、プロセス211はブロック218へ進み、ここでプロジェクタにより放射される光パターンが第2光パターンに変更される。一実施形態では、第2光パターンは掃引による線状光である。
【0075】
第2光パターンを投影した後に、プロセス211はブロック220へ進み、ここで異常が検出されたエリアについて三次元座標データが獲得され判断が行われる。プロセス211は質問ブロック216へループバックし、ここで異常が解決されたかどうかが判断される。それでも質問ブロック216が異常または欠如や精度や解像度を検出する場合には、プロセスがブロック218へループバックし、第3光パターンに切り換わる。一実施形態において、第3光パターンは連続正弦波位相シフトパターンである。別の実施形態において、第3光パターンは掃引による点状光である。この反復手順は、異常が解決されるまで継続する。異常のエリアからの座標データが判断されると、プロセス211はブロック222へ進み、ここで放射パターンが切り換わって第1構造化光パターンに戻り、スキャンプロセスが継続する。物体の所望エリアをオペレータがスキャンしてしまうまで、プロセス211が継続する。図11の方法を使用して取得される情報のスキャンが十分でないという事象では、ここに記された触覚プローブによる測定の問題が使用されうる。
【0076】
さて図6を参照すると、スキャナ20の別の実施形態が、可動装置120に取り付けられた状態で示されている。表面32上の点の三次元座標を判断するのに三角法の原理が使用されうるように、一定の幾何学的関係で配置された少なくとも一つのプロジェクタ122と少なくとも一つのカメラ124とをスキャナ20が有する。スキャナ20は、例えば図1または図3を参照して説明されたのと同じスキャナでありうる。一実施形態において、スキャナは、触覚プローブを有する図10のスキャナと同じである。しかし、図6の実施形態に使用されるスキャナは、構造化光またはラインスキャナなどのスキャナ、例えば、「一体型ラインレーザスキャナを備える可搬座標測定機械」という名称で2006年1月18日に出願された、同じ所有者による米国特許第7,246,030号に開示されているスキャナでよい。別の実施形態では、図6の実施形態で使用されるスキャナは、物体のエリアにわたって光を投影する構造化光スキャナである。
【0077】
例示的実施形態において、可動装置120は、旋回スイベルジョイント130により接続されたアームセグメント126,128による自動的移動を提供してアームセグメント126,128を移動させるロボット装置であり、結果的にスキャナ20が(図6の点線で記されるように)第1位置から第2位置へ移動する。可動装置120は、例えばアームセグメント126,128に結合されてアームセグメント126,128を第1位置から第2位置へ移動させる(不図示の)モータなどのアクチュエータを含みうる。多関節アームを有する可動装置120は例示を目的としたものであり、請求される発明はこのように制限されるべきではないことが認識されるべきである。他の実施形態では、例えばレール、ホイール、トラック、ベルト、ケーブル、または以上の組み合わせを介してスキャナ20を移動させる可動装置に、スキャナ20が取り付けられうる。他の実施形態では、ロボットは異なる数のアームセグメントを有する。
【0078】
一実施形態において、可動装置は、2010年1月20日に出願された、同じ保有者による米国特許出願番号第13/491,176号に記載されているような、多関節アーム座標測定機械(AACMM)である。この実施形態では、第1位置から第2位置へのスキャナ20の移動は、アームセグメント126,128をオペレータが手で動かすことを必要とする。
【0079】
自動化装置を有する実施形態については、可動装置120はさらに、アクチュエータに通電してアームセグメント126,128を移動させるように構成された制御装置132を含む。一実施形態において、制御装置132は制御装置134と通信する。以下で詳述するように、この配置は、獲得されたデータの異常に応じて制御装置132によりスキャナ20を移動させることができる。制御装置132,134が単一の処理ユニットに組み込まれうるか、いくつかの処理ユニットの中で機能が分散されうることが認識されるべきである。
【0080】
図12を参照して解析を実行することにより、スキャナ20の位置および配向を決めて所望の測定結果を得ることが可能である。いくつかの実施形態では、測定される特徴は所望の方向のスキャナを利用しうる。例えば、孔の直径の測定は、孔に対して概ね垂直となるようにスキャナカメラ124を配向することにより向上しうる。他の実施形態では、多経路干渉の可能性を低下させるか最小化するように、スキャナが位置決めされうる。このような解析は、診断手順の一部として利用可能なCADモデルに基づくか、装置120によるスキャナ20の二次移動に先立って初期位置のスキャナにより収集されるデータに基づきうる。
【0081】
さて図7を参照して、スキャナ20および可動装置120の操作が説明される。プロセスは、第1位置のスキャナ20で物体34をスキャンするブロック134から始まる。ブロック138では、物体34の表面32上の点についての座標データを、スキャナ20が獲得および判断する。可動装置120がスキャナ20を移動させて所望のエリアの表面点についてのデータを獲得しうる。質問ブロック140では、例えば多経路干渉など、点142での座標データの異常が存在するかどうか、または解像度や測定精度の向上を得るため方向を変える必要性が存在するかどうかが判断される。図6の点142は、表面32上の単一の点、点による線、またはエリアを表しうる。異常または精度向上の必要性が検出された場合、プロセスはブロック144へ続き、ここで可動装置120は、第1位置から第2位置など、スキャナ20の位置を移動させ、ブロック146で関心エリアを再スキャンして三次元座標データを獲得する。プロセスは質問ブロック140へループバックし、ここで座標データにやはり異常が見られるかどうか、または測定精度の向上が望ましいかどうかが判断される。これらの事例では、スキャナ20が再び動かされ、測定結果が所望のレベルに達するまでプロセスが継続する。座標データが得られると、プロセスは質問ブロック140からブロック148へ進み、ここで所望のエリアがスキャンされるまでスキャンプロセスが継続する。
【0082】
スキャナ20が触覚プローブ(図10)を含む実施形態において、第1位置から第2位置へのスキャナの移動は、関心エリアを触覚プローブと接触させるように構成されうる。スキャナ、ゆえに触覚プローブの位置はアームセグメント126,128の位置および配向から判断されうるので、表面32上の点の三次元座標が判断されうる。
【0083】
いくつかの実施形態では、図8A,8Bのスキャナ20により取得される測定結果が多経路干渉によって妨害されうる。他の事例では、測定結果は所望の解像度または精度を提供して表面32の特性、とりわけエッジ、孔、または複雑な特徴を正しく測定することができない。これらの事例では、オペレータが遠隔プローブ152を使用して表面32上の点またはエリアに問い合わせを行うことが望ましい。図8A,8Bに示された一実施形態において、スキャナ20は、プロジェクタ156により放射された光が表面32で反射されてカメラ154,155の一方または両方に受容されるように、プロジェクタ156と、プロジェクタ156に対して角度を持って配置されるカメラ154,155とを含む。表面32上の点の三次元座標を判断するのに三角法の原理が使用され得るように、プロジェクタ156とカメラ154,156とは一定の幾何学的関係で配置される。
【0084】
一実施形態において、プロジェクタ156は、図8Aに示されているように物体34の表面32上の関心エリア159へ可視光157を放射するように構成される。照射された関心エリア159の三次元座標は、カメラ154,155の一方または両方で照射領域159の像を使用することによって確認されうる。
【0085】
照射された関心領域159でオペレータがプローブ先端166を物体表面132と接触させうるように、スキャナ20は遠隔プローブ152と協働する構成を持つ。一実施形態において、遠隔プローブ152は少なくとも三つの非共線状の点状光168を含む。点状光168は、発光ダイオード(LED)により発生される光のスポット、またはプロジェクタ156や、図8Bに描かれていない別の光源からの赤外線または可視光源により照射される光の反射性輝点でありうる。この事例の赤外線または可視光源はスキャナ20に装着されうるか、スキャナ20の外部に設けられうる。スポット状の光168の三次元座標をスキャナで判断することにより、そしてプローブ152の幾何学形状についての情報を使用することにより、プローブ先端166の位置が判断され、こうして物体表面32の座標が判断されうる。このように使用される触覚プローブは、多経路干渉による潜在的な問題を解消し、また、孔、エッジ、および詳細な特徴の比較的正確な測定も可能にする。一実施形態において、プローブ166は、プローブのアクチュエータボタン(不図示)の押圧により起動されうる触覚プローブであるか、プローブ166は表面32との接触により起動されるタッチトリガプローブでありうる。アクチュエータボタンまたはタッチトリガプローブにより発生される信号に応じて、通信回路(不図示)はスキャナ20へ信号を送信する。一実施形態では、点状光168が幾何学的な光パターンで置き換えられ、これは直線または曲線を含みうる。
【0086】
さて図9を参照すると、図8A,8Bの静止スキャナ20を遠隔プローブ152とともに使用して物体34の表面32上の点についての座標データを獲得するためのプロセスが示されている。プロセスはブロック170から始まり、物体34の表面32がスキャンされる。プロセスは、ブロック172で表面32の三次元座標データを獲得および判断する。プロセスは次に、エリア159の座標データに異常があるかどうか、またはエリア159の精度や解像度に問題があるかどうかを質問ブロック174で判断する。異常は、例えば多経路干渉のため廃棄される無効データでありうる。異常は、例えば開口や孔などの特徴の周囲での表面反射率または解像度の欠如による欠損データでありうる。多経路干渉および関連の問題を検出(特定)するための診断手順が、図12を参照して挙げられる。
【0087】
エリア159が特定されると、スキャナ20は、エリア159の座標データが遠隔プローブ152を介して獲得されうることをブロック176でオペレータに指示する。このエリア159は、可視光157を放射してエリア159へ照射することにより指示されうる。一実施形態において、光157はプロジェクタ156により放射される。異常または問題のタイプをオペレータに伝えるように、光157の色が変更されうる。例えば、多経路干渉が発生したところでは、光157は赤色であるのに対して、低解像度は緑色でありうる。エリアはさらに物体の図形表示(CADモデルなど)を有するディスプレイ上で指示されうる。
【0088】
プロセスはそれからブロック178へ進み、センサ166が表面32に接触すると遠隔プローブ152の像を獲得する。LEDまたは反射性ターゲットでありうる点状光168は、例えばカメラ154,155の一つにより受容されうる。数学者には周知の最良適合技術を使用して、スキャナ20は、ブロック180で物体表面32の三次元座標が判断されるプローブ中心の三次元座標を、ブロック180で判断する。異常が検出されたエリア159内の点が獲得されると、プロセスが進んで、所望のエリアがスキャンされるまで物体34のスキャンをブロック182で継続する。
【0089】
さて図10を参照すると、操作中にオペレータにより把持されるスキャナ20の別の実施形態が示されている。この実施形態において、ハウジング22は、操作中にオペレータがスキャナ20を保持できるようにするハンドル186を含みうる。ハウジング22は、プロジェクタにより放射された光192が表面32で反射してカメラ190により受容されるように、相互に対して角度を成して配置されたプロジェクタ188およびカメラ190を含む。図10のスキャナ20は、図1および図3の実施形態と実質的に類似した手法で作動し、三角法の原理を使用して表面32上の点の三次元座標データを獲得する。
【0090】
スキャナ20はさらに、一体型プローブ部材184を含む。プローブ部材184は、一端部にセンサ194を含む。センサ194は、オペレータによるアクチュエータボタン(不図示)の押圧に反応しうる触覚プローブであるか、例えば表面32との接触に反応するタッチトリガプローブでありうる。後でより詳しく記されるように、プローブ部材184によりオペレータは、センサ194を表面32と接触させることで表面32上の点の座標を獲得できる。
【0091】
プロジェクタ188とカメラ190とセンサ194用のアクチュエータ回路とは、ハウジング22内に載置された制御装置50に電気結合される。制御装置50は、一つ以上のマイクロプロセッサとデジタル信号プロセッサとメモリと信号調節回路とを含みうる。スキャナ20はさらに、例えば、オペレータにより手で起動されてスキャナ20による操作およびデータ捕捉を開始しうるハンドル186上などのアクチュエータ(不図示)を含みうる。一実施形態において、物体34の表面32を表すポイントクラウドのX,Y,Z座標データを判断する像処理は、制御装置50により実施される。座標データは、例えば揮発性または不揮発性メモリ54などに局所的に記憶されうる。例えばフラッシュドライブやメモリカードなど、メモリはリムーバブルでありうる。他の実施形態では、スキャナ20が座標データを遠隔処理システム56に送信するための通信回路52をスキャナ20が有する。スキャナ20と遠隔処理システム56との間の通信媒体58は、有線(イーサネット(登録商標)など)または無線(ブルートゥース、IEEE 802.11など)である。一実施形態において、座標データは遠隔処理システム56により判断され、スキャナ20は、獲得した像を通信媒体58で送信する。
【0092】
さて図11を参照して、図10のスキャナ20の動作が説明される。プロセスはブロック196から始まり、オペレータは、スキャナ20を手で動かすことにより物体34の表面32をスキャンする。ブロック198で、三次元座標が判断および獲得される。質問ブロック200では、座標データに異常が存在するかどうか、または精度向上が必要とされるかどうかが判断される。上記のように、異常は、多経路干渉、表面反射率変化、または特徴の低解像度などいくつかの理由で発生しうる。異常が存在する場合に、プロセスはブロック202へ進み、ここでエリア204がオペレータに指示される。エリア204は、プロジェクタ188で可視光192を表面32へ投影することにより指示されうる。一実施形態では、検出された異常のタイプをオペレータに通知するため光192は有色である。
【0093】
それからオペレータは、ブロック206でスキャナを第1位置から第2位置(点線で指示)へ移動させる。第2位置では、センサ194が表面32と接触する。第2位置でのスキャナ20の位置および配向(6自由度)は、カメラ190により獲得される像に基づいて、周知の最良適合方法を使用して判断されうる。センサ194の寸法および配置はスキャナ20の機械的構造に関して周知であるので、エリア204の点の三次元座標データがブロック208で判断されうる。プロセスは次にブロック210へ進み、ここで物体のスキャンが継続する。スキャンプロセスは、所望のエリアがスキャンされてしまうまで継続する。
【0094】
多経路干渉ばかりでなく、解像度および材料のタイプ、表面の性質、および幾何学的形状の影響を含む品質全般も評価するのに、一般的アプローチが使用されうる。図12も参照すると、一実施形態において、方法4600はコンピュータ制御下で自動的に実行されうる。ステップ4602は、検査対象の物体の三次元座標についての情報が利用可能であるかどうかを判断するものである。第1タイプの三次元情報はCADデータである。CADデータは通常、検査対象物体の公称寸法を指す。第2タイプの三次元情報は、測定された三次元データ、例えばスキャナまたは他の装置により前に測定されたデータである。いくつかの事例では、ステップ4602は、座標測定装置、例えばレーザトラッカまたは6DOFスキャナ補助品の基準のフレームを物体の基準のフレームと整列させる、さらなるステップを含みうる。位置実施以形態において、物体の表面上の少なくとも3点をレーザトラッカで測定することにより、これが行われる。
【0095】
ステップ4602で提示される質問の答えが、三次元情報が利用可能であるということである場合には、ステップ4604で、多経路干渉に対する物体測定の被影響性を計算するのにコンピュータまたはプロセッサが使用される。一実施形態では、スキャナプロジェクタにより放射される各光線を投影することと、各事例について角度または反射率を計算することにより、これが行われる。コンピュータまたはソフトウェアは、多経路干渉の結果としてのエラーに対する被影響性を持つ物体表面の各領域を特定する。ステップ4604は、検査対象物体に対する6DOFプローブの様々な位置について多経路エラーに対する被影響性の解析も実行しうる。いくつかの事例では、上述したように、検査対象の物体に対する6DOFプローブの適当な位置および配向を選択することにより、多経路干渉が回避または最小化されうる。ステップ4602で提示される質問に対する答えが、三次元情報が利用可能でないということである場合に、ステップ4606は、所望または好適な測定方法を使用して物体表面の三次元座標を測定することである。多経路干渉の計算に続いて、予想されるスキャン品質の他の面を評価するのにステップ4608が実行されうる。このような品質係数の一つは、スキャンの解像度が検査対象物体の特徴に充分であるかどうかである。例えば、装置の解像度が3mmであって、有効スキャンデータが望ましいミリメートル未満の特徴が存在する場合には、これら物体の問題領域は後の補正動作のために注目されるべきである。解像度に一部関係する別の品質係数は、物体のエッジと孔のエッジとを測定する能力である。スキャナ性能についての知識は、スキャナ解像度が所与のエッジに充分なほど良好であるかどうかの判断を可能にする。別の品質係数は、所与の特徴から、戻ると予想される光の量である。小孔の内側から、例えば視斜角から、少量の光がスキャナへ戻ることが予想される。また、少量の光は、ある種および色の材料から予想される。ある種の材料はスキャナからの光については大きな浸透深さを有し、この事例では良好な測定結果は予想されない。いくつかの事例では、自動プログラムがユーザ追加情報を求める。例えば、コンピュータプログラムがCADデータに基づいてステップ4604,4608を実行している場合には、検査対象物体の表面特性について周知のタイプの材料が使用されない。これらの事例において、ステップ4608は、検査対象物体について材料特性を取得する別のステップを含みうる。
【0096】
ステップ4604,4608の解析に続いて、ステップ4610は、さらなる診断手順が実行されるべきであるかどうかを決定することである。可能な診断手順の第1例は、多経路干渉が観察されるかどうかに注目するためストライプを好適な角度で投影するステップ4612である。投影される直線ストライプについての多経路干渉の概略指示については、図5を参照して上で記した。診断ステップの別の例は、光のソースパターン、例えば図1のプロジェクタ36からの光30のソースパターンでのエピポーラ直線の方向に整列された直線の集合体を投影するステップ4614である。光のソースパターンでの線状光がエピポーラ直線と整列される事例については、感光アレイ上の像平面でこれらの直線がストレート線として現れる。エピポーララインの使用は、2012年4月11日に出願された同じ所有者による米国特許出願第13/443,946号に、さらに詳しく記されている。感光アレイのこれらのパターンがストレート線ではない場合、または直線が不鮮明であるかノイズを含む場合には、おそらくは多経路干渉の結果として問題が指摘される。
【0097】
ステップ4616は、実施される解析および診断手順に基づいて、好適な動作の組み合わせを選択することである。測定速度が特に重要である場合に、符号化光の2D(構造化)パターンを使用して測定するステップ4618が好ましい。高精度がより重要である場合には、連続パターン、例えば位相およびピッチの異なる連続した正弦波パターンを使用して符号化光の2D(構造化)パターンを測定するステップ4620が好ましい。方法4618または4620が選択される場合、スキャナを再配置する、言い換えると、スキャナの位置および配向を、ステップ4604の解析により得られる多経路干渉と正反射〈グリント〉を最小化する位置へ調節するステップ4628を選択することも望ましい。このような指示は、スキャナプロジェクタからの光で問題領域を照射することにより、またはこのような領域をモニタディスプレイに表示することにより、ユーザに提供されうる。代替的に、測定手順の次のステップは、コンピュータまたはプロセッサにより自動的に選択されうる。好適なスキャナ位置が多経路干渉およびグリントを解消しない場合いは、いくつかのオプションが利用可能である。いくつかの事例では、スキャナが再配置され有効な測定結果が組み合わされて、測定が反復されうる。他の事例では、代替的な測定ステップが手順に追加されるか、構造化光を使用する代わりに実施される。上記のように、光のストライプをスキャンするステップ4622は、多経路干渉による問題を有する危険性を低下させる、エリア全体の情報を取得する便利な手法を提供する。関心領域にわたって小さいスポット状の光を掃引するステップ4624は、多経路干渉による問題の危険性を低下させる。触覚プローブにより物体表面の領域を測定するステップは、多経路干渉の可能性を無くす。触覚プローブは、プローブ先端の大きさに基づく周知の解像度を提供して、検査対象物体に見られる低反射率の光または大きな光透過深さの問題を解消する。
【0098】
たいていの事例では、ステップ4618〜4628の組み合わせで収集されたデータの品質が、測定から得られて、前もって実行された解析結果と組み合わされたデータに基づいてステップ4630で評価されうる。ステップ4632で品質が受容可能であることが分かった場合、ステップ4634で測定が完了する。さもなければ、ステップ4604で解析が再開する。いくつかの事例では、3D情報は所望するほど正確ではなかった。この事例では、前のステップのいくつかを反復することが有益である。
【0099】
限定数の実施形態のみに関して発明が詳しく説明されたが、本発明がこのような開示実施形態に限定されないことが容易に理解されるべきである。むしろ、本発明は、上述していないが、発明の趣旨および範囲と適合するいくつかの変形、変更、代替例、または同等の構成を内含するように修正されてもよい。加えて、本発明の様々な実施形態が説明されたが、発明の態様は記載の実施形態のいくつかのみを含むことが理解されるはずである。したがって、本発明は上記の説明によって限定されると見なされるのではなく、添付の請求項の範囲のみにより制限される。
図1
図2
図3
図4
図5A
図5B
図6
図7
図8A
図8B
図9
図10
図11
図12