特許 5911904 形状および位置の光学的計測のための構造化光システムに関する正確な画像取得

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5911904

(24)【登録日】2016年4月8日

(45)【発行日】2016年4月27日

(54)【発明の名称】形状および位置の光学的計測のための構造化光システムに関する正確な画像取得

(51)【国際特許分類】

   G01B 11/25 20060101AFI20160414BHJP

   G01B 11/00 20060101ALI20160414BHJP

【ＦＩ】

   G01B11/25 H

   G01B11/00 A

【請求項の数】8

【全頁数】9

(21)【出願番号】特願2014-71058(P2014-71058)

(22)【出願日】2014年3月31日

(62)【分割の表示】特願2011-509687(P2011-509687)の分割

【原出願日】2009年5月14日

(65)【公開番号】特開2014-149301(P2014-149301A)

(43)【公開日】2014年8月21日

【審査請求日】2014年3月31日

(31)【優先権主張番号】12/122,034

(32)【優先日】2008年5月16日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】598028028

【氏名又は名称】ロッキード マーティン コーポレイション

【氏名又は名称原語表記】Ｌｏｃｋｈｅｅｄ Ｍａｒｔｉｎ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100088616

【弁理士】

【氏名又は名称】渡邉 一平

(74)【代理人】

【識別番号】100089347

【弁理士】

【氏名又は名称】木川 幸治

(74)【代理人】

【識別番号】100154379

【弁理士】

【氏名又は名称】佐藤 博幸

(74)【代理人】

【識別番号】100154829

【弁理士】

【氏名又は名称】小池 成

(72)【発明者】

【氏名】デュボア，マーク

(72)【発明者】

【氏名】ドレイク，トーマス・イー，ジュニア

(72)【発明者】

【氏名】オスターカンプ，マーク・エイ

(72)【発明者】

【氏名】カイザー，デーヴィッド・エル

(72)【発明者】

【氏名】ドゥー，ソー・エックス

(72)【発明者】

【氏名】ヤウン，ケネス・アール

【審査官】 目黒 大地

(56)【参考文献】

【文献】 特開２００７−０２４７６４（ＪＰ，Ａ）

【文献】 特開平０４−１１０７０６（ＪＰ，Ａ）

【文献】 特開２００５−３０８６１３（ＪＰ，Ａ）

【文献】 特開２００７−１２５６３３（ＪＰ，Ａ）

【文献】 特開２００７−１２７６１０（ＪＰ，Ａ）

【文献】 特開平０６−２４９６２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ１１／００−１１／３０

２１／００−２１／３２

Ｇ０１Ｃ３／００−３／３２

Ｇ０１Ｓ７／４８−７／５１

１７／００−１７／９５

(57)【特許請求の範囲】

【請求項1】

物体の３次元表示のための装置であって、
既知の形状および既知の波長の光学的パターンを前記物体に投射する光束源と、
光検出カメラと、
パンチルトユニットを備える、前記光束源および前記光検出カメラの動きを制御するための手段と、
前記光束源と、前記光検出カメラと、前記光束源および前記光検出カメラの動きを制御するための前記手段とを動かす手段と、
中央処理装置と、
運動制御システムと、
を備え、
前記光束源および前記光検出カメラは相互に結合しているものであり、
前記光束源と、前記光検出カメラと、前記光束源および前記光検出カメラの動きを制御するための前記手段とを動かす前記手段は、前記光束源と、前記光検出カメラと、前記光束源および前記光検出カメラの動きを制御するための前記手段とが、他の物体と衝突することを回避する手段を有するものであり、
衝突することを回避する前記手段は、前記光束源と、前記光検出カメラと、前記光束源および前記光検出カメラの動きを制御するための前記手段とを動かす前記手段の制御システムに対し、前記物体の検査が行われるエリア内のすべての固定物の位置がプログラムされることにより、衝突することを回避するものである装置。

【請求項2】

関節ロボットアームをさらに備え、前記関節ロボットアームは、前記光束源と、前記光検出カメラと、前記光束源および光検出カメラの動きを制御するための手段とを備える、請求項１に記載の装置。

【請求項3】

前記光検出カメラは、前記物体からの反射されたパターンの少なくとも一部を含む視野フィールドを有し、前記光検出カメラは前記反射をキャプチャするよう動作可能である、請求項１または請求項２のいずれかに記載の装置。

【請求項4】

前記中央処理装置は、ユーザインターフェースをさらに備え、前記中央処理装置は、前記光束源および光検出カメラの動きを制御するための前記手段を制御するよう動作可能である、請求項１から請求項３のいずれかに記載の装置。

【請求項5】

前記中央処理装置は、前記光検出カメラからの情報を記録するよう構成された、請求項１から請求項４のいずれかに記載の装置。

【請求項6】

前記中央処理装置は、前記光検出カメラにより記録された前記情報を処理するよう構成された、請求項５に記載の装置。

【請求項7】

前記物体による前記光束の遮断は、前記物体に対する構造化光表面情報を生成する、請求項１から請求項６のいずれかに記載の装置。

【請求項8】

前記中央処理装置は、前記光検出カメラにより取得された前記情報を用いて、前記物体の３次元表示を生成するよう構成された、請求項５または６に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して複合材料の測定のための非破壊技術の分野に関する。さらに詳細には、本発明は、３次元の複合物品の測定のための改良された技術に関する。

【背景技術】

【0002】

近年では、航空宇宙および他の産業分野において、複合材料の使用が増加してきている。複合材料は性能面における著しい改善を提供する一方で、その製造が困難である。したがって、複合材料は、製造する間、厳しい品質管理手順が要求される。加えて、複合材料は、不規則形状を有する物品の製造に適している。非破壊評価（「ＮＤＥ」：Ｎｏｎ−ｄｅｓｔｒｕｃｔｉｖｅ ｅｖａｌｕａｔｉｏｎ）技術は、例えば、混在物、層間剥離、および細孔の検出等の、複合構造物における損傷の識別を行うための方法として開発された。従来のＮＤＥの方法は、一般的に、低速で、大きな労力を要し、高価である。その結果、この試験手順は、逆に、複合構造物に関する製造コストを増大させてしまう。

【0003】

不規則表面を有する部品に関しては、計測データが、位置的３次元データに対して相関していることが好ましい。係る部品に関しては、部品形状の判定が、係る計測を物品上の位置に対して相関させるにあたっての重要な手がかりとなる。不規則形状を有する複合物部品をスキャンするための先行技術の方法は、スキャンする部品が台上に配置されて既知の位置に固定され、それによりスキャンのための開始基準点が提供されることを要求する。大きくおよび／または不規則な形状を有する物体に関して、部品を配置するための台または他の手段は高価であり、多くの場合、１つの部品のみの専用である。

【0004】

先行技術の方法によれば、複雑な形状の部品の３次元形状を判定するために部品をスキャンすることは、いくつかの異なったポーズすなわち視点での複数回のスキャンを要求する。この複数回のスキャンは、物体の３次元形状を判定するために、しばしば低速である。したがって、３次元位置データを迅速に取得するための方法および装置が必要とされる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体の３次元形状を判定するための非接触的な方法および装置が提供される。

【課題を解決するための手段】

【0006】

本発明の１つの態様において、物品を分析し３次元構造を提供するための方法が説明される。この方法は、（ａ）評価するために物品を配置するステップと、（ｂ）光束を用いて、物品をスキャンするステップと、（ｃ）カメラを用いて、物品上の光束を検出するステップと、（ｄ）カメラにより物品から検出された光をキャプチャし、処理するための第１のコンピュータに実装されたプロセスを実行するステップと、（ｅ）物品の形状に関する３次元データを取得するための第２のコンピュータに実装されたプロセスを実行するステップを含み、物品をスキャンすることおよび光束を検出することは、物品がスキャンされる間に、同時に行われる。

【0007】

特定の実施形態において、光は既知の波長およびパターンを有する。特定の実施形態において、カメラはＣＣＤイメージセンサを含む。特定の実施形態において、物品をスキャンすることは、パンチルトユニットを操作することを含み、このパンチルトユニットは、光束源および光検出カメラを備える。特定の実施形態において、第３のコンピュータに実装されたプロセスは、所定位置において物品上の光束を検出するよう、カメラに対して指示し、この第３のコンピュータに実装されたプロセスは、パンチルトユニットを制御する。特定の実施形態において、第３のコンピュータに実装されたプロセスは、パンチルトユニットの位置を記録し、パンチルトユニットの位置を、物品の形状に関する３次元データに対して相関させる。特定の実施形態において、この方法は、光束を用いて物品をスキャンすることの前に、光源およびカメラのキャリブレーションを行うことをさらに含む。

【0008】

他の実施形態において、物品の３次元表示を計測するための装置が提供される。この装置は、光束源と、光検出カメラと、光束源および光検出カメラの動きを制御するための手段と、中央処理装置と、運動制御システムとを含み、光束源および光検出手段は、相互に接続されている。

【0009】

特定の実施形態において、この装置は、光束源と、光検出手段と、光束源および光検出カメラの動きを制御するための手段とを備える関節ロボットアームをさらに備える。特定の実施形態において、光束源および光検出カメラの動きを制御するための手段は、パンチルトユニットを備える。特定の実施形態において、この装置は、中央処理装置およびユーザインターフェースをさらに備え、この中央処理装置は、光束源および光検出カメラの動きを制御するための手段を制御するよう動作可能である。特定の実施形態において、中央処理装置は、光検出手段からの情報を記録するよう構成される。特定の実施形態において、中央処理装置は、光検出手段により記録された情報を処理するよう構成される。特定の実施形態において、中央処理装置は、カメラにより取得された情報を用いて、物体の３次元表示を生成するよう構成される。

【図面の簡単な説明】

【0010】

【図1】本発明の１つの実施形態に係る、論理フロー図である。

【発明を実施するための形態】

【0011】

本発明は、異なる形態の複数の実施形態を含む。本開示は、本発明の原理の例示であると見なされるべきであり、且つ、本発明を、本明細書に例示され説明されるこれらの実施形態に限定することを意図するものではないという理解をもって、特定の実施形態が、詳細に説明され、図に示される。本明細書に論じた実施形態の様々な教示は、所望の結果を得るために、別個に用いられてもよく、または、任意の適切な組み合せにおいて用いられてもよいことが完全に認識されるべきである。上述した様々な特性、並びに、以下にさらに詳細に説明する他の特徴および特性は、実施形態の以下の詳細な説明を読み、添付の図面を参照することにより、より容易に当業者によって理解されるであろう。

【0012】

物品の形状および３次元座標を判定するための非接触的な方法および装置が、本明細書において説明される。物品の３次元計測が判定された後、部品はスキャンされ、物理データおよび分光データを物品上の特定の位置に対して相関させることができる。

【0013】

構造化光は、３次元複合材料をマッピングするための、１つの例示的な非接触技術である。なお、このマッピングは、（例えば、平面、格子、または他のさらに複雑な形状の）光パターンの物体上への既知の角度での投影を伴う。この技術は、様々な形状の物体の画像化および寸法情報の取得に有用である。通常、光パターンは、光束を、光シート状に放射すなわち拡散させることにより、生成される。１つの例示的な光源がレーザである。光シートが物体と交差すると、明るい光が物体の表面上において見られる。光の線を、通常、入射光の角度とは異なる検出角度から観察することにより、線の歪みが、観察する物体上における高さの変化に変換される。視点の複数回のスキャン（しばしばポーズと称される）を組み合わせると、物体全体の形状を提供することが可能である。光を用いて物体をスキャンすることにより、物体の形状に関する３次元情報を提供することができる。このことは、アクティブ三角測量と称されることもある。

【0014】

構造化光は、物体形状の判定に使用することができるため、１つの環境における物体の認識および位置決めにも使用することができる。これらの特徴により、構造化光は、プロセス制御または品質管理を実施する組立ラインでの使用における有用な技術となる。物体をスキャンすると、物品の形状が提供され、次に、その形状をアーカイブデータに対して比較することができる。この特長により、組立ラインのさらなる自動化が可能となり、その結果として、一般に、全般的コストが削減される。

【0015】

物体上に投影された光束は、カメラ等の光検出手段を用いて観察することができる。例示的な光検出手段は、ＣＣＤカメラ等を含む。正確さおよび信頼性の点でレーザが好ましいが、多様な異なる光源をスキャン源として用いることができる。

【0016】

構造化光束源は、スキャンする物体に対して光のパターンを投影し、主体上のパターンの歪みを観測する。なお、この歪みは物体表面上の変化に対応する。パターンは、１次元でもよく、また２次元でもよい。１次元パターンの１つの例として、線が挙げられる。線は、ＬＣＤプロジェクタまたは掃引レーザを用いて、主体上に投影される。カメラ等の検出手段は、線の形状を観察し、三角測量と同様の技術を用いて、線上の各ポイントの距離を計算する。単一線パターンの場合、線は視野フィールドにわたって掃引され、１回に１ストリップずつ距離情報を収集する。

【0017】

構造化光３次元スキャナの１つの特長は、スキャン速度である。１回に１ポイントずつスキャンするのではなく、特定の構造化光スキャナは、１回に、複数のポイントを、または視野フィールド全体を、スキャンすることが可能である。これにより、スキャン動作に起因する歪みの問題が軽減または排除される。いくつかの既存のシステムは、移動する物体をリアルタイムでスキャンすることが可能である。

【0018】

特定の実施形態において、構造化光システムの検出カメラは、スキャンレーザの波長等の特定波長のみに対応する光のみを通すよう設計されたフィルタを備える。検出カメラは、光画像を検出および記録し、かつ様々なアルゴリズムを用いて、その画像に対応する座標値を判定するよう、動作することができる。特定の実施形態において、レーザおよび検出カメラは、異なる角度から物体を観察する。

【0019】

特定の実施形態において、構造化光システムは、テクスチャカメラとして知られる第２カメラも備えることができる。テクスチャカメラは、物体の完全な画像を提供するよう、動作することができる。

【0020】

好適な実施形態において、部品をスキャン装置の最適な方法が判定される。なお、この方法は、各完全なスキャンに要求される、視野すなわち「ポーズ」の数を最適化（すなわち最小化）することを含む。それにより、スキャンの重なりが効果的に最小化され、また、後続スキャンを再構築する必要、または追加スキャンを行う必要が最小化される。特定の実施形態において、ポーズの数は計測されたデータにしたがって最適化することができる。他の特定の実施形態において、ポーズの数は、既存のＣＡＤデータに鑑みて、最適化することができる。さらに他の実施形態において、物体をスキャンすることの前にＣＡＤデータを分析して、スキャンする所与の物品または部品に要求されるスキャンの回数をプログラムまたは最適化することができる。

【0021】

特定の実施形態において、構造化光システムは、一連のデータポイントを提供して、物体の形状とスキャンする部品の特定の視野とに対応するポイント雲を生成する。次に、各視野すなわち各ポーズに対するポイント雲をマージして、部品全体の複合ポイント雲が組み合わされる。次に、個々のポイント雲データを、特定のセル座標システムに変換することができる。

【0022】

一旦、各部品に対する計測されたポーズの全部を組み合わせて部品全体に対する複合ポイント雲が提供され、部品に対する相対座標が判定されると、次に、部品に対応するデータセットを登録することができる。部品に対するデータセットの登録により、部品に対する座標点の完全な補完が提供され、空間内でのデータの操作が可能になる。その結果、後のスキャンにおいて同一の部品の識別が容易になる。一旦、部品が登録されると、同様の部品の識別がより容易となり、先行スキャンまたは確認済みのＣＡＤデータに対して後続スキャンを比較することによる同様の部品の確認がより容易となる。登録されたスキャンを収集すると、データベースを提供することができる。

【0023】

１つの態様において、本発明は、物品の３次元位置データを取得するための自動化された非破壊的な技術および装置を提供する。構造化光装置の１つの例示的な実施形態は、少なくとも１つの光源と、光を検出するための少なくとも１つの光学的手段とを備える。特定の実施形態において、光学手段は、光学的スキャナ、カメラ、ＣＣＤアレイ等を含むことができる。

【0024】

好適な実施形態において、構造化光システムは、構造化光信号を提供するためのレーザと、スキャンする物体のパノラマ画像を提供するための任意選択のテクスチャカメラと、ＣＣＤアレイを有する構造化光カメラとを含むことができる。特定の実施形態において、構造化光カメラは、レーザにより生成される光の波長の他の任意の波長の光をフィルタするよう設計されたフィルタを含むことができる。

【0025】

特定の実施形態において、システムは、アームを中心とする回転軸を有する関節ロボットアームと接続することができる。特定の実施形態において、システムは、構造化光システムをロボットアームに接続するパンチルトユニットを含むことができる。パンチルトユニットは、ロボットアームが静止状態にある間、部品がスキャンされることを可能にする。ロボットアームは、好ましくは、システムがアームおよび取り付けられたカメラの位置を認識することを可能にするセンサと、光源とを含み、それにより、自己認識型の絶対位置決めシステムが提供され、且つ、スキャンする部品を、参照される工具台上に位置決めする必要が排除される。加えて、自己認識型ロボットシステムは、工具台上における分析には大きすぎるかも知れない大きい物体のスキャンに適している。このシステムは、様々なカメラを制御してデータを収集するよう動作するソフトウェアを含むコンピュータに接続されてもよい。特定の実施形態において、システムは据置型システムであってもよい。特定の他の実施形態において、システムは、直線レールに接続することができる。特定の他の実施形態において、システムは、可動式基部に、または車両に、取り付けることができる。車両は、システムを様々な位置へと移動するために、ならびに、システムを航空機等の大きな物体の評価のために、有利に用いることができる。

【0026】

特定の実施形態において、関節ロボットアームまたはアームを動かすための他の手段を備える構造化光システムを動かす手段は、例えば、台等の一般的エリアにおいて物体との衝突を防ぐための手段を含むことができる。衝突回避は、すべての固定物および固定物体の位置をロボットアームの制御システムにプログラムすることを含む様々な手段により、または、物品または部品が検査される一般的エリア内の物体上に配置された様々なセンサの使用により、達成することができる。構造化光装置を動かすための手段は、スキャンする部品が占めるスペースを占めることが禁じられることが好ましい。

【0027】

ここで図１を参照すると、部品をスキャンして位置データを取得する例示的な方法のステップが提供される。第１のステップ１０２において、部品は、構造化光システムを用いてスキャンするために、所定の位置に配置付けられる。システムは、キャリブレーションされた構造化光システムと、ロボティック位置決めシステムとを含む。物品が定位置に配置されることは好都合であるが、一般に、部品が、先行技術において必要とされたように、既知の位置に配置される必要はない。第２のステップ１０４において、物品は、構造化光システムを用いてスキャンされる。特定の実施形態において、構造化光システムは所定の経路をたどり、構造化光システムに対する、部品表面の絶対位置を計測する。通常、構造化光カメラは、レーザ光のみを測定するフィルタを備える。これは、レーザにより生成された波長以外のすべての波長をフィルタで除去することにより達成することができる。システムが動かされ再配置されると、部品の全表面を確実にスキャンするために、部品の残りの画像をスキャンすることができる。ステップ１０６において、カメラは、レーザ光を用いて物品をスキャンすることにより生成された信号を収集する。カメラは、部品がスキャンされる間、所定位置において光を測定するよう構成される。ステップ１０８において、カメラによりキャプチャされた光データは、コンピュータに提供され、さらなる処理が施される。線検出アルゴリズムは、物体表面全体にわたる、各個のスキャンのための座標を判定する。加えて、コンピュータに対し、光源および光検出器の位置に関するデータが提供される。ステップ１１０において、コンピュータは、カメラを用いて取得した光データと、光源およびカメラの位置に関する位置データとを相関させる。第６のステップ１１２において、部品の全表面がスキャンされた後、スキャン済み物品の３次元画像を提供するために、データが処理される。特定の実施形態において、テクスチャカメラを用いて取得した画像に対して、３次元画像を相関させることができる。

【0028】

特定の実施形態において、分析する物体に対するＣＡＤデータが利用可能であることもある。それらの実施形態では、構造化光システムにより生成された３次元位置データを、ＣＡＤデータに対して比較するか、または、ＣＡＤデータ上に重ね合わせる。これは、製造プロセスを検証するための品質管理手順として用いることができる。他の実施形態において、構造化光データをＣＡＤデータに重ね合わせて、部品を確認することができる。構造化光システムを用いて収集されたデータは、物体の３次元構造に対応するデータ雲を提供するために用いることができる。システムに対して用いられるキャリブレーション技術に基づいて、絶対データ雲を生成することができる。次に、データ雲をＣＡＤ描画に対して位置を合わせると、構造化光データとＣＡＤデータとの間の相関が提供される。

【0029】

特定の実施形態において、装置は、テクスチャカメラとして知られる第２カメラを備えることができる。テクスチャカメラは、一般に、物体の画像をキャプチャして、部品を認識する目的のために用いることができる。構造化光カメラとは異なり、テクスチャカメラ画像をフィルタすることにより、画像から物体を取り除くことはできない。構造化光データが部品の仮想表面を提供するのに対し、テクスチャカメラは、構造化光と関連して用いることができる物体の実体画像を提供することができる。このように、構造化光データおよびＣＡＤデータの両方を、テクスチャカメラにより提供される視覚画像に対して、比較することができる。加えて、テクスチャカメラは、スキャンされる部品の表示を、オペレータに対して、またはアーカイブ目的のために、提供することができる。

【0030】

好ましくは、構造化光システムは、物体のスキャンを始める前に、キャリブレーションされる。キャリブレーションは、計測の正確さ、および、スキャンされる物体に対する座標データの準備を確実にするために必要である。特定の実施形態において、システムは、構造化光システムを用いて既知の形状を有する物体をスキャンし、データを収集し、構造化光計測を比較／キャリブレーションすることにより、局所で、すなわち、チルトおよび枢動機構に対して、キャリブレーションされる。

【0031】

当業者により理解されるように、複雑な形状を有する部品のスキャンは、複数回のスキャンを要求し得る。１つの実施形態において、スキャンは、スキャンが部品の継ぎ目または縁部において重なるようにして行われる。別の実施形態において、スキャンは行われる
同様の部品または同一の部品のＣＡＤデータまたは先行スキャンに対する構造化光データの登録、および比較は、最小限の重ね合わせにより、または、部品の重要部分の重ね合わせにより、表面エリアの１００％が確実にスキャンされることを支援することを可能にする。加えて、登録により、特徴および／または損傷が、スキャンされること、および複数の部品にわたって比較されることが可能となる。これにより、問題のエリアを分析し、将来の損傷を防ぐための解決策を開発することができる。加えて、データを記憶することにより、修復すべき部品を「構築された」データセットに対して比較することが可能となる。

【0032】

複雑な形状を有するより小さい部品に関しては、構造化光システムに対して必要な整列の手がかりを提供するために、ペグおよび脚柱を含む加工台を用いることができる。しかし、加工台を、検査する部品に対する基部および支持として用いるためには、部品に対する開始基準点ならびに部品の形状をあらかじめ知っておくことが必要となる。

【0033】

本明細書で用いられる場合、「約」、および「概略」という用語は、記載された値から５％の範囲内にある任意の値を含むものと解釈すべきである。さらに、値の範囲に対する「約」、および「概略」という用語の記載は、記載された範囲の最大値および最小値の両方を含むものと解釈すべきである。

【0034】

本発明は、その実施形態のいくつかについてのみ示し説明してきたが、本発明がそれらに限定されず、しかも本発明の範囲から逸脱することなく様々な変更が可能であることは当業者にとって明らかであろう。

【図1】