特許7127046モデルベースのピーク選択を使用した３Ｄプロファイル決定のためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-19
(45)【発行日】2022-08-29
(54)【発明の名称】モデルベースのピーク選択を使用した３Ｄプロファイル決定のためのシステム及び方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20220822BHJP
【ＦＩ】
G01B11/24 K
【請求項の数】
21
(21)【出願番号】P 2019543261
(86)(22)【出願日】2018-03-26
(65)【公表番号】
(43)【公表日】2020-04-23
(86)【国際出願番号】 US2018024268
(87)【国際公開番号】W WO2018183155
(87)【国際公開日】2018-10-04
【審査請求日】2019-09-19
(31)【優先権主張番号】15/934,766
(32)【優先日】2018-03-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/476,850
(32)【優先日】2017-03-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504382671
【氏名又は名称】コグネックス・コーポレイション
(74)【代理人】
【識別番号】100119378
【弁理士】
【氏名又は名称】栗原 弘幸
(72)【発明者】
【氏名】リ，デイヴィッド ワイ．
(72)【発明者】
【氏名】スン，リ
(72)【発明者】
【氏名】ヤコブソン，ロウェル ディー．
(72)【発明者】
【氏名】ワン，レイ
【審査官】櫻井 仁
(56)【参考文献】
【文献】特開２０００－００２５２０（ＪＰ，Ａ）
【文献】特開２０１７－０９０４５０（ＪＰ，Ａ）
【文献】特表２００８－５０６９５７（ＪＰ，Ａ）
【文献】米国特許出願公開第２００６／００７０４１７（ＵＳ，Ａ１）
【文献】特開昭６２－０２１０１１（ＪＰ，Ａ）
【文献】特開２００９－０８５７７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
オブジェクトの表面上のプロファイルを決定するためのシステムであって、前記表面に照明線を投影して反射光をセンサアセンブリで設定された露出レベルで受け取る変位センサと、
露出レベル設定を複数の離散的増分で変化させて、各増分に対する前記反射光の画像を保存するプロセッサと、
保存された前記画像を結合して、結合された前記画像をモデルオブジェクト表面に基づくモデル画像に関してアライメントし、モデル画像との近接度に基づいて結合された前記画像からのポイントが選択されて、前記表面の候補プロファイルを提供する決定プロセスとを含む、
上記システム。
【請求項2】
前記露出レベルはレーザ強度レベルを含む、請求項１に記載のシステム。
【請求項3】
前記露出レベルは、利得、露出時間及びセンサアセンブリの口径のうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項4】
前記表面は鏡面性と半透明性のうちの少なくとも１つを、少なくとも部分的に定義する、請求項１に記載のシステム。
【請求項5】
結合された前記画像内のポイントは、ｘ次元に沿った列に編成され、ｚ次元に沿った強度によって重み付けされる、請求項１に記載のシステム。
【請求項6】
前記ポイントは、所定の統計的手法に従って作成された２Ｄカーネルに基づいて重み付けされる、請求項５に記載のシステム。
【請求項7】
前記２Ｄカーネルは、ガウスカーネル、ステップカーネル若しくは均一カーネル、三角カーネル、バイウェイトカーネル及びエパネックニコフカーネルのうちの少なくとも１つを含む、請求項６に記載のシステム。
【請求項8】
前記候補プロファイルに対して前記モデル画像内の対応するポイントとの近接度に基づいて各列のポイントが選択される、請求項７に記載のシステム。
【請求項9】
前記ポイントのピークは、ピーク検出パラメータを使用して選択され、前記パラメータはセンサアセンブリによって表面上に観察される前記照明線のコントラスト閾値、強度閾値及び幅のうちの少なくとも１つを含む、請求項６に記載のシステム。
【請求項10】
各列のポイントは、前記候補プロファイルに対して前記モデル画像内の対応するポイントとの近接度に基づいて選択される、請求項５に記載のシステム。
【請求項11】
前記モデル画像は、オブジェクト表面の実際の画像、又は合成的に生成されたプロファイルに基づいている、請求項１に記載のシステム。
【請求項12】
オブジェクトの表面上のプロファイルを決定するための方法であって、照明線を前記表面上に投影して、反射光をセンサアセンブリで設定された露出レベルで受け取るステップと、
露出レベル設定を複数の離散的増分で変化させて、各増分に対する反射光の画像をそれぞれ保存するステップと、
保存された前記画像を結合し、結合された前記画像をモデルオブジェクト表面に基づくモデル画像に関してアライメントするステップと、
結合された前記画像からのポイントを前記モデル画像への近接度に基づいて選択して、前記表面の候補プロファイルを提供するステップとを含む、
上記方法。
【請求項13】
前記露出レベルを変化させるステップは、レーザ強度レベル、センサ利得、露出時間、及びセンサアセンブリの口径のうちの少なくとも１つを変化させることを含む、請求項１２に記載の方法。
【請求項14】
結合された前記画像内のポイントは、ｘ次元に沿った列に編成され、ｚ次元に沿った強度によって重み付けされる、請求項１２に記載の方法。
【請求項15】
前記ポイントは、所定の統計的手法に従って配置された２Ｄカーネルに基づいて重み付けされる、請求項１４に記載の方法。
【請求項16】
前記カーネルは、ガウスカーネル、ステップカーネル若しくは均一カーネル、三角カーネル、バイウェイトカーネル及びエパネックニコフカーネルのうちの少なくとも１つを含む、請求項１５に記載の方法。
【請求項17】
前記候補プロファイルに対する前記モデル画像内の対応するポイントを、前記モデル画像内の対応するポイントとの近接度に基づいて選択する、請求項１６に記載の方法。
【請求項18】
ポイントのピークを、センサアセンブリによって前記表面上に観察される照明線のコントラスト閾値、強度閾値及び幅のうちの少なくとも１つを含むピーク検出パラメータを使用して選択することを含む、請求項１４に記載の方法。
【請求項19】
前記モデル画像は、オブジェクト表面の実際の画像又は合成的に生成されたプロファイルに基づく、請求項１２に記載の方法。
【請求項20】
オブジェクトの表面上のプロファイルを決定するためのシステムであって、前記表面に照明線を投影して反射光をセンサアセンブリで設定された露出レベルで受け取る変位センサと、
露出レベル設定を複数の離散的増分で変化させて、各増分に対する前記反射光の画像を保存するプロセッサと、
保存された前記画像を結合してそこから２Ｄ画像を生成し、前記２Ｄ画像をモデルオブジェクト表面に基づくモデル画像に関してアライメントする決定プロセスとを含む、
上記システム。
【請求項21】
前記モデルオブジェクト表面に基づくモデル画像は、モデルオブジェクト表面の訓練された画像に基づくか、あるいは、ＣＡＤシステムを使用して合成的に定義されたものである、請求項１記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、１以上の３次元（３Ｄ）ビジョンシステムカメラ（「変位センサ」又は「プロファイラ」とも呼ばれる）を用いるビジョンシステムに関し、より具体的にはオブジェクト表面上の３Ｄ（高さ）プロファイルの決定に関する。
【背景技術】
【0002】
製造及び組立工程においてはオブジェクトの表面を分析して、特徴及び／又は不規則性の性質を決定することがしばしば望ましい。オブジェクト表面の変位（又は「プロファイル」）は、レーザ変位センサ（レーザビーム「プロファイラ」とも呼ばれる）の形のマシンビジョンシステム（本明細書では「ビジョンシステム」とも呼ばれる）を使用して決定できる。レーザ変位センサは、レーザビームの平面状のカーテン又は「扇」を使用して、スキャンされたオブジェクト表面の（３次元）プロファイルをキャプチャして決定する。従来の配置構成では、ビジョンシステムのカメラアセンブリは、ビームの平面を平面の外側から見るように配置されている。この配置構成は、オブジェクト平面上に投影された（例えば物理なｘ軸に沿って延びる）線のプロファイルをキャプチャするが、これはビーム平面とカメラとの間の基線（即ちｙ軸に沿った相対的間隔）のために、撮像された線は（画像のｘ軸に沿って）画像のｙ軸方向で撮像されたポイントの物理的ｚ軸の高さの関数として変化するように見える。この偏差はｘ－ｚ面の表面上のプロファイルを表しており、変位センサ内の適当な較正パラメータを使用して個々の画像ポイントのｘ－ｙ位置から導出される。レーザ変位センサは、ユーザが三角測量によってスキャンされたオブジェクトの表面の詳細を測定して特性評価することを望む広範な検査及び製造作業で有用である。典型的なレーザ変位センサは、ＣＣＤ又はＣＭＯＳ設計に基づくことができるレンズアセンブリと画像センサ（又は「イメージャ」）を備えたビジョンシステムカメラを使用する。イメージャは、レンズ／光学系を通して撮像されたシーンから集束光を受け取る画像平面上のグレースケール又はカラー感知ピクセルの所定のフィールドを定義する。
【0003】
特定のビジョンシステムの実装において、ビジョンシステムの全体視野（ＦＯＶ）（ここで「視野」という用語は測定範囲を指す）を拡張するために、複数の変位センサ（例えばレーザプロファイラ）が一緒に取り付けられて、オブジェクトの所望の領域（例えばその全幅）を十分な解像度で完全に撮像できるようにする。
【0004】
異なる光学特性を有する材料で作られ及び／又は内部反射を引き起こす可能性がある構造化された表面を有する、関心のあるオブジェクトの表面上に投影された線を読むことは困難な場合がある。例えば表面は不透明な領域、反射領域、半透明／透明な領域、又はこれらの領域の組み合わせを含んでいることがあり、それらは種々異なって反射し、またそれらの相対的角度に応じて内部反射を生じることもある。前者の場合に問題となるのは、すべての材料に対応する単一の露出設定を選択するのが難しいためであり、後者の場合に問題となるのは、内部反射のために変位センサが実際のプロファイルと混同する恐れがあることである。
【発明の概要】
【0005】
本発明は、離散的な間隔で適用される複数の露出レベルで表面を分析することによって生成された一連のピークから、正しいプロファイルを選択するためのシステム及び方法を提供することにより、先行技術の欠点を克服する。ピーク情報のクラウドは、モデルプロファイルとの比較によってオブジェクトプロファイルの正確な表現を表す最良の候補に分解される。
【0006】
例示的な実施形態では、オブジェクトの表面上のプロファイルを決定するためのシステム及び方法システムが提供され、表面に照明線を投影して、反射光をセンサアセンブリで設定された露出レベルで受け取る変位センサを含む。プロセッサは、露出レベル設定を複数の離散的増分で変化させて、各増分に対する反射光の画像を保存する。決定プロセスは、保存された画像を結合して、結合された画像をモデル画像に関してアライメントする。結合された画像からのポイントは、モデル画像との近接度／近さに基づいて選択されて、表面の候補プロファイルを提供する。例示的に、露出レベルは、レーザ強度レベル、利得、露出時間及び／又は口径を含む。表面は、鏡面性と半透明性のうちの少なくとも１つを、少なくとも部分的に定義できる。結合された画像内のポイントは、例示的にｘ次元に沿った列に編成され、ｚ次元に沿った強度によって重み付けされる。ポイントは、所定の統計的手法に従って作成された２Ｄカーネルに基づいて重み付けすることができる。例えば２Ｄカーネルは、とりわけガウスカーネル、ステップカーネル若しくは均一カーネル、三角カーネル、バイウェイトカーネル及びエパネックニコフカーネルのうちの少なくとも１つを含むことができる。各列のポイントは、候補プロファイルに対してモデル画像内の対応するポイントとの近接度に基づいて選択される。モデル画像は、オブジェクト表面の実際の画像、又は合成的に生成された（例えばＣＡＤ）プロファイルに基づくことができる。例示的にピークポイント検出（選択）パラメータは、センサアセンブリによって表面上に観察される照明線のコントラスト閾値、強度閾値及び幅のうちの少なくとも１つを含むことができる。
【0007】
以下の本発明の説明は、添付の図面を参照する。
【図面の簡単な説明】
【0008】
【図1】例示的な実施形態によるオブジェクトの画像を取得し、複数の露出レベルから画像データを処理する全体的なビジョンシステム配置構成の図である。
【0009】
【図2】変位センサの照明線を第１の露出レベルで部分的に露出過多の状態で示すオブジェクト表面の例示的な画像である。
【0010】
【0011】
【図4】例示的な形態による画像取得とプロファイル決定プロセスのフローチャートである。
【0012】
【0013】
【0014】
【発明を実施するための形態】
【0015】
例示的な実施形態による関心のある例示的なオブジェクト１１０のプロファイルを決定するために使用される全体的なビジョンシステム配置構成１００を示す図１を参照する。この配置構成１００は、広範に可能な実装の例である。非限定的な例として、変位センサ１２０がオブジェクト上の適当な位置でオブジェクトの表面１１２を測定する。この例における変位センサ１２０は、表面１１２上の線を画定する扇の形をした可視又はほぼ可視のレーザビームを（例えば適当な光学アセンブリを使用して）投射する照明源１２２を含む。任意の３Ｄ座標セット（例えばデカルトｘ、ｙ、ｚ軸など）１１６は、ｘ軸に沿って延びる線で示されている。画像センサ１２７と光学系１２９を含むカメラアセンブリ１２８は、扇１２４（破線の中心線１２５で表す）の平面に対して鋭角Θの光軸ＯＡを画定するように配向されている。この角度Θのために、線が２Ｄセンサ内ではｙ軸に沿ってｚ高さの関数としてずれているように見える。変位センサ１２０は、ｙ方向に沿った変化は送信された画像データ１３０における特定のｚ高さの変化を表わすように較正されている。
【0016】
画像データ１３０は、変位センサのハウジングと一体化することができるビジョンシステムプロセス（プロセッサ）１４０に提供されるか、又は図示のユーザインターフェース（キーボード１５２、マウス１５４、ディスプレイ／タッチスクリーン１５６）を有するＰＣなどのコンピューティングデバイス１５０上で完全に又は部分的にインスタンス化することができる。このＰＣは、カスタマイズされたプロセッサ（例えばＦＰＧＡなど）やその他の汎用コンピューティングデバイス、ラップトップ、タブレット、スマートフォンなどを含む広範な処理デバイスの例である。プロセッサは、適当なオペレーティング・システムによって操作される複数の機能モジュール又はプロセス／プロセッサを含む。例えばレーザ１２２の制御１３２（例えばオン／オフ／強度）とセンサアセンブリ１２８が、それぞれプロセスモジュール１４２及び１４４によって設けられている。プロセッサ１４０はまたエッジ検出器、ブロブ分析器、コントラストツールなどの様々なビジョンシステムツール１４６も含むが、これらは画像内の特徴を識別して、モデルデータ１４７の保存されたテンプレート又はモデルのデータへのアライメントを支援するために使用することができる。これはアライメントプロセスモジュール１４８によって実行される。プロセス（プロセッサ）１４０は、最も近いプロファイル候補のアライメントされた画像データを決定する一般化されたプロファイル決定モジュール１４９を含む。
【0017】
任意選択により、ブロック１６０に従い候補プロファイルは下流の利用プロセス及び／又はデバイスに提供される。例えばプロファイル情報を使用してオブジェクトの欠陥、品質又はタイプを判定できる。
【0018】
ここで図２を参照すると、オブジェクト２１０の例示的な画像２００が示されており、その中に投影された照明（例えば可視光レーザ）線２２０が存在する。現在の露出レベルのためにオブジェクト２１０の左側領域（矢印２３０）の線２２０は、オブジェクト２１０の右側領域（矢印２４０）より多く露出されているように見えることに留意されたい。それゆえ全体的に許容される３Ｄプロファイル画像（即ち鮮明で一貫した線を有する）を生成するためには左側領域（２３０）は右側領域（２４０）よりも低い露出レベルを必要とする。画像の他の部分は露出レベルの一層の違いから恩恵を受けることができる。全体的に望ましい線反射を提供する単一の露出レベルを設定することは、しばしば非現実的である。そのため（図２と）同じオブジェクト２１０により低い露出レベルを適用すると、図３の画像３００はその結果として得られた比較的均一なプロファイル線を示す。しかしより低い露出の画像３００は、今度は矢印３１０で示すようにぼやけたブロブを呈示する。これらのブロブ３１０は今や画像３００内で比較的目立ち、内部反射によって引き起こされている。プロファイルを分析する際に、これらのブロブ３１０は変位センサのプロセッサを混乱させ、第２の（偽りの）プロファイルとして現れる傾向があるだろう。
【0019】
図４を参照すると、オブジェクト表面に対して高品質プロファイルを決定するための一般化された全体的な手順４００が示されている。この手順はステップ４１０で初期露出レベルを設定して画像を取得する。本明細書で定義される「露出レベル」という用語は、本質的に画像センサ（図１の１２７）に当たる光量（光子）を規定する１つ以上の可変（制御可能）な特性／パラメータを指す。非限定的な例として、これらの特性／パラメータは（シャッタ）露出時間（例えばマイクロ秒）、利得、レンズ口径、レーザ線強度、及び線の波長を含むことができる。以下で説明するように、変位センサの内部較正プロセスは、線のｙ軸変位をｚ軸の高さ値に変換する。手順４００はステップ４２０で、与えられた露出レベルについてＺ軸ピーク及び関連するメタデータを検出し、この情報を画像データとして保存する。手順４００は決定ステップ４３０で、提供される次の露出レベル、強度及び／又は他の検出パラメータの組み合わせがあるかどうかを決定し、ある場合はこの次のレベルは変位センサ（又は外部照明器など）のハードウェア／ソフトウェアで増分されて、ステップ４１０と４２０を繰り返す。全露出レベル、強度及び／又は検出パラメータの組み合わせを使用してオブジェクト表面の画像を取得するまで、大量のピーク画像が作成される。次に、決定ステップ４３０はステップ４４０に分岐して、保存されているデータポイントを用いて全体的なｘ－ｚ画像が生成される。ステップ４５０でこの画像は保存されているモデルプロファイルと比較され、ステップ４６０で最良のプロファイル候補を定義するピークが選択される。次いで手順４００はステップ４７０で候補を出力する。候補は、リンクを介して処理システムに送られることにより、下流プロセスによって種々の製造、検査及びその他のタスクに使用できる。
【0020】
図５のより詳細な方法５００を参照すると、（例えば）静的オブジェクト表面の画像を異なる露出レベルで取得した後（図４のステップ４１０～４３０）、手順は「合成」２Ｄ画像を生成する。ステップ５１０で、すべてのプロファイルの画像内のすべての列についてすべての強度ピーク位置がサイズＮのピークセットＰに集められ、変位センサの較正パラメータを使用してＮピークはＰにおいて実際のｘ－ｚ空間におけるサイズＮの２ＤポイントＰ’のセットに変換される（ステップ５２０）。図６の合成画像６００を参照すると、上述の例示的なオブジェクト表面２１０についてＰ’のすべてのポイントの２Ｄプロットを示している。画像はすべての（水平な）ｘ位置に対して（垂直な）ｚ位置の範囲をカバーするポイントの「クラウド」として現れていることに留意されたい。水平軸をｘ軸、垂直軸をｚ軸とする合成画像６００内で、手順５００は（ステップ５３０で）、セットＰ’内の各ポイントｐについて重み（セットＰ内の対応するピークの強度値についての関数で計算）を有する２Ｄカーネル（例えばガウスカーネル）を蓄積する。加重２Ｄカーネルを生成するために、ガウス分布の他にも様々な統計的方法、例えば相互相関などを使用できることに留意されたい。ガウスカーネルの使用は、ステップカーネル若しくは均一カーネル、三角カーネル、バイウェイトカーネル、エパネックニコフカーネル、及び／又は他の適当な統計的手法を含む多様なカーネルタイプの例示によるものである。
【0021】
この重み付けされた合成画像は、次に手順ステップ５４０で適当なビジョンシステムアライメントツールを使用してモデルプロファイルデータにアライメントされる。より具体的には、手順は２Ｄ合成画像をモデルに対してアライメントすることによりオブジェクト表面の３Ｄプロファイルを再構成する。モデルはモデルオブジェクト表面の訓練された（取得された）画像に基づくことができ、及び／又は（例えば）ＣＡＤシステムを使用して合成的に定義できる。ステップ５５０では、手順は各列（ｘ位置）でについてｘでアライメントされたモデルに最も近い同じｘ座標を有するセットＰ’内のポイントｐを選択する。次に、ステップ５６０で手順は、ステップ５５０で選択されたすべてのｐを集め、その集合が再構成された３Ｄプロファイルである。
【0022】
手順４００及び５００を使用して、明確に定義されたピーク７１０のセットを有する例示的な画像７００を描写することができる。これらの真のピークは、表面に対するプロファイル候補として保存される。様々な実施形態において、手順が複数の可能な再構成プロファイルを生成する場合、１以上の候補を保存することができる。しかしながらモデルデータと取得された実行時画像データとのアライメントは、可能なプロファイルが多数あることを回避する傾向がある。欠陥がモデルデータと一致しない可能性のある領域を作成するため、検査対象の（実行時）表面とモデルの表面が異なる欠陥により、複数のプロファイルが発生する可能性があるが、それは欠陥がいかなるモデルデータとも一致しない領域を生み出すからである。
【0023】
ユーザインターフェースは、オブジェクト表面の性質に応じて制御されるパラメータ（又はパラメータの組み合わせ）のタイプを指定する種々の機能を含むことができることが想定されている。例えばいくつかの表面はセンサ利得を変えることによってより効果的に撮像できるが、他の表面はセンサの露出時間を変えることによってより効果的に撮像できる。
【0024】
上述したシステムと方法は、変位センサがプロファイルを生成するときに単一の露出レベルに適合しないオブジェクト表面（例えばファセット面、鏡面及び／又は透明／半透明の表面）を考慮するための効果的な方法で提供することは明らかであろう。このシステムと方法により、センサと周囲の環境内で様々なパラメータを制御することができ、広範な表面タイプに適応できる。
【0025】
以上は本発明の例示的な実施形態を詳細に説明したものである。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。更に、本明細書で使用される様々な方向及び／又は向きを表わす用語（及びそれらの文法的変化）、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」「前方」、「後方」、及びこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。加えて、与えられた測定、値又は特徴に関して「実質的に」又は「近似的に」という言葉が用いられている場合、それは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む（例えば１～２パーセント）。また、本明細書中で使用される「プロセス」及び／又は「プロセッサ」という言葉は広く電子ハードウェア及び／又はソフトウェアをベースとする多様な機能及びコンポーネントントを含むものと解釈すべきであることにも留意されたい。更に、表示されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び／又はサブプロセッサは、本明細書に記載された実施形態により多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組み合わせを用いて実施できることが明確に想定されている。従ってこの説明は例示の方法によるものとしてのみ受け取られるべきであり、それ以外に本発明の範囲を限定することを意味するものではない。
【0026】
以下に特許請求の範囲を記載する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】