特許第6792980号(P6792980)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ミツトヨの特許一覧

特許6792980マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
<>
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000002
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000003
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000004
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000005
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000006
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000007
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000008
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000009
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000010
  • 特許6792980-マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6792980
(24)【登録日】2020年11月11日
(45)【発行日】2020年12月2日
(54)【発明の名称】マシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法、コンピュータ読み取り可能非一時的記憶媒体及びマシンビジョン検査システム
(51)【国際特許分類】
   G01B 11/00 20060101AFI20201119BHJP
   G06T 1/00 20060101ALI20201119BHJP
【FI】
   G01B11/00 H
   G06T1/00 300
【請求項の数】20
【全頁数】25
(21)【出願番号】特願2016-167235(P2016-167235)
(22)【出願日】2016年8月29日
(65)【公開番号】特開2017-49249(P2017-49249A)
(43)【公開日】2017年3月9日
【審査請求日】2019年7月10日
(31)【優先権主張番号】14/841,051
(32)【優先日】2015年8月31日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】000137694
【氏名又は名称】株式会社ミツトヨ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ロバート カーミル ブリル
【審査官】 九鬼 一慶
(56)【参考文献】
【文献】 特開2015−104136(JP,A)
【文献】 特表2015−507262(JP,A)
【文献】 特開2006−215031(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
ストロボ照明を与えるための照明源と、ワークピースに隣接したZ高さ方向に沿った複数の位置にわたって撮像システムの焦点位置を周期的に変更させる可変焦点距離レンズを含む前記撮像システムと、を備えるマシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法であって、
前記マシンビジョン検査システムの第1のインスタンスの学習モード中に動作を実行して多露光タイミング差を決定することを含み、前記学習モード動作が、
代表的ワークピース上に異なるZ高さを有する第1及び第2の関心領域を画定することと、
各Z高さで合焦された前記代表的ワークピース上の前記第1及び第2の関心領域の各画像を含む少なくとも1つの画像スタックを収集するために、前記少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した前記周期的に変更される焦点位置の各位相タイミングに応じてタイミング調整されたストロボ照明の少なくとも1つのインスタンスを用いて、前記少なくとも1つの画像スタックの各画像を露光することと、
前記少なくとも1つの画像スタック内の前記第1及び第2の関心領域の焦点の解析に少なくとも部分的に基づいて、前記第1及び第2の関心領域に所定の合焦度を与える前記周期的に変更される焦点位置の第1及び第2の位相タイミングに対応したストロボ照明のインスタンスの第1及び第2の多露光タイミング値を決定することと、
前記マシンビジョン検査システムの使用インスタンスを動作させて、前記代表的ワークピースと同様の作業中ワークピース上の前記第1及び第2の関心領域の多露光画像を取得する場合、少なくとも部分的に前記第1及び第2の多露光タイミング値間の多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、前記代表的ワークピース上の前記第1及び第2の関心領域の位置を示すデータと、前記多露光タイミング差を示すデータと、を使用可能に記録することと、
を含む、方法。
【請求項2】
前記代表的ワークピース上の前記第1及び第2の関心領域の位置及び前記多露光タイミング差を示す、記録された前記データを用いて、前記マシンビジョン検査システムの使用インスタンスにより提供される多露光画像取得を制御する動作を規定することを更に含み、前記規定することが、
前記マシンビジョン検査システムの前記使用インスタンスの前記撮像システムの視野内で、前記代表的ワークピースと同様の作業中ワークピース上に前記第1及び第2の関心領域を位置決めすることと、
ストロボ照明のインスタンスのために用いる第1の多露光画像取得タイミング値を決定することと、
前記多露光タイミング差を示す、記録された前記データを用いて、前記第1の多露光画像取得タイミング値と第2の多露光画像取得タイミング値との間のタイミング差を決定することと、
前記作業中ワークピース上に前記第1及び第2の関心領域を含む前記作業中ワークピースの多露光画像を取得している間に、周期的に前記焦点位置を変更させつつ、前記第1及び第2の多露光画像取得タイミング値をストロボ照明の各インスタンスに使用するように前記撮像システムを動作させて、前記第1及び第2の関心領域について全体的な合焦度を向上させることと、
を含む、請求項1に記載の方法。
【請求項3】
前記所定の合焦度が、前記代表的ワークピース上の前記第1及び第2の関心領域それぞれの最良の合焦度であり、
前記第1及び第2の多露光画像取得タイミング値が、前記作業中ワークピース上の前記第1及び第2の関心領域の最良の合焦度を与える前記周期的に変更される焦点位置の第1及び第2の位相タイミングに対応する、請求項2に記載の方法。
【請求項4】
記録された前記データが前記代表的ワークピースのインスタンスを検査するためのパートプログラムに関連付けて記録され、記録された前記データの使用が前記マシンビジョン検査システムの前記使用インスタンスに対して前記パートプログラムを実行することを含む、請求項2に記載の方法。
【請求項5】
前記マシンビジョン検査システムの前記使用インスタンス及び前記第1のインスタンスが同一のマシンビジョン検査システムで動作される、請求項2に記載の方法。
【請求項6】
前記マシンビジョン検査システムの前記使用インスタンス及び前記第1のインスタンスが異なるマシンビジョン検査システムで動作される、請求項2に記載の方法。
【請求項7】
前記第1の多露光画像取得タイミング値を決定することが、画像解析を含む自動合焦動作を使用することを含み、
前記多露光タイミング差を示す、記録された前記データを用いて前記第1の多露光画像取得タイミング値と前記第2の多露光画像取得タイミング値との前記タイミング差を決定することが、画像解析を含む自動合焦動作の使用を含まない、請求項2に記載の方法。
【請求項8】
前記作業中ワークピースの前記多露光画像を使用して、追加画像からの画像データを用いることなく前記多露光画像の画像データに基づいて前記作業中ワークピースに対するワークピース要素検査動作を確定又は実行することを更に含み、前記検査動作が、前記第1の関心領域内で前記作業中ワークピース上に少なくとも第1のエッジ要素の位置を特定することと、前記第2の関心領域内で前記作業中ワークピース上に少なくとも第2のエッジ要素の位置を特定することと、を含む、請求項2に記載の方法。
【請求項9】
前記作業中ワークピースの前記多露光画像内の前記第1及び第2の関心領域の各々の画像品質を解析して、前記合焦度が、前記第1及び第2のエッジ要素の位置の特定において望ましい精度レベルに応じた所定の閾値を満たすことを確認することを更に含む、請求項8に記載の方法。
【請求項10】
前記検査動作が、前記作業中ワークピースの前記多露光画像内の前記第1及び第2のエッジ要素間の距離を求めることを更に含む、請求項8に記載の方法。
【請求項11】
前記学習モード中に、前記第1及び第2の関心領域を含む前記代表的ワークピースの多露光画像を取得している間に、周期的に前記焦点位置を変更させつつ、前記第1及び第2の多露光タイミング値をストロボ照明の各インスタンスに使用するように前記撮像システムを動作させることと、
前記代表的ワークピースの前記多露光画像を使用して前記代表的ワークピースに対するワークピース要素検査動作を確定することであって、前記検査動作が、前記第1の関心領域内の前記代表的ワークピース上の少なくとも第1のエッジ要素、及び前記第2の関心領域内の前記代表的ワークピース上の少なくとも第2のエッジ要素の位置を特定することを含む、請求項1に記載の方法。
【請求項12】
前記学習モード中に、前記少なくとも1つの画像スタック内の第3の関心領域の焦点の解析に少なくとも部分的に基づいて、ストロボ照明のインスタンスの第3の多露光タイミング値を決定することを更に含み、
前記データを記録することが、前記代表的ワークピース上の前記第3の関心領域の位置を示すデータと、前記第3の多露光タイミング値と前記第1又は第2の多露光タイミング値の少なくとも一方との間の追加の多露光タイミング差を示すデータと、を記録することを含み、前記マシンビジョン検査システムの使用インスタンスを動作させて、前記代表的ワークピースと同様の作業中ワークピース上の前記第1、第2、及び第3の関心領域の多露光画像を取得する場合、少なくとも部分的に前記多露光タイミング差及び前記追加の多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、記録された前記データが使用可能である、請求項1に記載の方法。
【請求項13】
前記学習モード中に、前記代表的ワークピース上の前記第1及び第2の関心領域が多露光ビデオツールを使用して選択され、前記多露光ビデオツールが、
記代表的ワークピース上に前記第1及び第2の関心領域を画定するために使用される要素を含む多露光ビデオツールグラフィカルユーザインタフェース(GUI)と、
前記第1及び第2の関心領域を画定した後に前記第1及び第2の多露光タイミング値を自動的に決定する動作と、
を含む、請求項1に記載の方法。
【請求項14】
前記学習モード中に、前記代表的ワークピース上で前記第1の関心領域内の第1のワークピース要素及び前記第2の関心領域内の第2のワークピース要素の位置を特定する少なくとも1つの他のビデオツールと関連付けて前記多露光ビデオツールが使用される、請求項13に記載の方法。
【請求項15】
前記少なくとも1つの他のビデオツールが、点ツール、矩形ツール、円形ツール、又は弓形ツールの少なくとも1つを含み、前記第1及び第2のワークピース要素がエッジ要素である、請求項14に記載の方法。
【請求項16】
前記学習モード中に、前記少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した前記周期的に変更される焦点位置の各位相タイミングに応じてタイミング調整されたストロボ照明の前記少なくとも1つのインスタンスが、前記周期的に変更される焦点位置の多数の周期にわたって前記各位相タイミングで繰り返される複数のインスタンスを含む、請求項1に記載の方法。
【請求項17】
前記第1及び第2の関心領域についての所定の合焦度の判定が、
前記第1及び第2の関心領域の各々についての略最良の焦点、
前記第1及び第2の関心領域の各々についての焦点ピークの判定、及び前記焦点ピークに近い画像に対応した第1及び第2の多露光タイミング値の判定、
前記多露光画像のX−Y面の方向に沿って所望の精度で検査を行うための寸法測定値を求めることができる焦点、
のうち1つ以上に従って行われる、請求項1に記載の方法。
【請求項18】
命令が記憶されたコンピュータ読み取り可能非一時的記憶媒体であって、前記命令が、
代表的ワークピース上に異なるZ高さを有する第1及び第2の関心領域を画定する動作と、
各Z高さで合焦された前記代表的ワークピース上の前記第1及び第2の関心領域の各画像を含む少なくとも1つの画像スタックを収集するために、前記少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した周期的に変更される焦点位置の各位相タイミングに対応するようにタイミング調整されたストロボ照明の少なくとも1つのインスタンスを用いて、前記少なくとも1つの画像スタックの各画像を露光する動作と、
前記少なくとも1つの画像スタック内の前記第1及び第2の関心領域の焦点の解析に少なくとも部分的に基づいて、前記第1及び第2の関心領域に所定の合焦度を与える前記周期的に変更される焦点位置の第1及び第2の位相タイミングに対応したストロボ照明のインスタンスの第1及び第2の多露光タイミング値を決定する動作と、
前記代表的ワークピースと同様の作業中ワークピース上の前記第1及び第2の関心領域の多露光画像を取得する場合、少なくとも部分的に前記第1及び第2の多露光タイミング値間の多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、前記代表的ワークピース上の前記第1及び第2の関心領域の位置を示すデータと、前記多露光タイミング差を示すデータと、を使用可能に記録する動作と、
を行うためにプロセッサによって実行可能である、コンピュータ読み取り可能非一時的記憶媒体。
【請求項19】
前記動作が更に、
前記代表的ワークピースと同様の作業中ワークピース上に前記第1及び第2の関心領域を位置決めすることと、
ストロボ照明のインスタンスのために用いる第1の多露光画像取得タイミング値を決定することと、
前記多露光タイミング差を示す、記録された前記データを用いて、前記第1の多露光画像取得タイミング値と第2の多露光画像取得タイミング値との間のタイミング差を決定することと、
前記作業中ワークピース上に前記第1及び第2の関心領域を含む前記作業中ワークピースの多露光画像を取得している間に、周期的に前記焦点位置を変更させつつ、前記第1及び第2の多露光画像取得タイミング値をストロボ照明の各インスタンスに使用するように撮像システムを動作させて、前記第1及び第2の関心領域について全体的な合焦度を向上させることと、
を含む、請求項18に記載のコンピュータ読み取り可能非一時的記憶媒体。
【請求項20】
ストロボ照明を与えるための照明源と、
ワークピースに隣接したZ高さ方向に沿った複数の位置にわたって撮像システムの焦点位置を周期的に変更させる可変焦点距離レンズを含む前記撮像システムと、
プログラミングされた命令を記憶するためのメモリと、
プロセッサであって、
代表的ワークピース上に異なるZ高さを有する第1及び第2の関心領域を画定することと、
各Z高さで合焦された前記代表的ワークピース上の前記第1及び第2の関心領域の各画像を含む少なくとも1つの画像スタックを収集するために、前記少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した前記周期的に変更される焦点位置の各位相タイミングに応じてタイミング調整されたストロボ照明の少なくとも1つのインスタンスを用いて、前記少なくとも1つの画像スタックの各画像を露光することと、
前記少なくとも1つの画像スタック内の前記第1及び第2の関心領域の焦点の解析に少なくとも部分的に基づいて、前記第1及び第2の関心領域に所定の合焦度を与える前記周期的に変更される焦点位置の第1及び第2の位相タイミングに対応したストロボ照明のインスタンスの第1及び第2の多露光タイミング値を決定することと、
前記代表的ワークピースと同様の作業中ワークピース上の前記第1及び第2の関心領域の多露光画像を取得する場合、少なくとも部分的に前記第1及び第2の多露光タイミング値間の多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、前記代表的ワークピース上の前記第1及び第2の関心領域の位置を示すデータと、前記多露光タイミング差を示すデータと、を使用可能に記録することと、
を含む動作を行うために前記プログラミングされた命令をするように構成された、プロセッサと、
を備える、マシンビジョン検査システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は精密計測に関し、更に具体的には、可変焦点距離レンズを用いて焦点位置を周期的に変更することができるマシンビジョン検査システムに関する。
【背景技術】
【0002】
精密マシンビジョン検査システム(又は短縮して「ビジョンシステム」)は、物体の精密な測定値を得ると共に物体の他の特徴を検査するために使用可能である。このようなシステムは、コンピュータと、カメラと、光学システムと、ワークピースの走査を可能とするために移動するステージと、を含み得る。汎用の「オフライン」精密ビジョンシステムとして特徴付けられる1つの例示的なシステムは、イリノイ州オーロラに位置するMitutoyo America Corporation(MAC)から入手可能なQUICK VISION(登録商標)シリーズのPCベースのビジョンシステム及びQVPAK(登録商標)ソフトウェアである。QUICK VISION(登録商標)シリーズのビジョンシステム及びQVPAK(登録商標)ソフトウェアの機能及び動作については、概ね、例えば2003年1月に発表されたQVPAK 3D CNC画像測定機ユーザガイドに記載されている。このタイプのシステムは、顕微鏡型の光学システムを利用し、小型又は大型のワークピースの検査画像を様々な倍率で提供するようにステージを移動させる。
【0003】
このようなマシンビジョン検査システムは一般に、自動化検査を行うようにプログラム可能である。具体的な検査イベントシーケンス、すなわち順次的な画像取得設定(例えば位置、照明、倍率等)、及び(例えば1つ以上のビデオツールを用いて)各画像をどのように解析/検査するか、を含む機械制御命令は、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶されている。
【0004】
ビデオツール(又は短縮して「ツール」)及び他のグラフィカルユーザインタフェース(GUI)機能によって、「非専門家」のオペレータによる動作及びプログラミングが可能となる。パートプログラムを生成するため、このようなツールを「手動モード」において手動で使用することができ、及び/又は「学習モード」中にそれらのパラメータ及び動作を記録することができる。ビデオツールには、例えばエッジ/境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。米国特許第6,542,180号は、検査プログラミングのためのビデオツールの使用を含むビジョンシステムを教示している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
いくつかの用途において、マシンビジョン検査システムの撮像システムは、単一の焦点位置で光学撮像システムが与える被写界深度よりも深い拡大被写界深度(EDOF)で画像を収集するように動作することが望ましい。EDOF画像を収集するための様々な方法が知られている。1つの方法は、焦点範囲全体にわたって異なる距離で合焦された複数の同一視野又は位置合わせされた画像から成る画像「スタック」を収集する。視野の各部分について最良の焦点で表す画像からその部分を抽出して、複合画像を構築する。しかしながら、この方法は比較的速度が遅い。別の例として、Nagahara等(「Flexible Depth of Field Photography」、Proceedings of the European Conference on Computer Vision、2008年10月)は、露光時間中に複数の焦点距離に応じて露光させて単一の画像を得る方法を開示している。この画像は比較的ぼやけているが、既知の又は所定のブラーカーネル(blur kernel)を用いてデコンボリューションを行うことで比較的鮮明なEDOF画像が得られる。この開示された方法では、撮像システムの光軸に沿って検出器を平行移動させることによって焦点距離を変化させる。この方法も比較的速度が遅く、機械的に複雑である。異なる焦点距離で要素を含む画像を提供するための改良された方法が望まれている。
【課題を解決するための手段】
【0006】
この概要は、以下で「発明を実施するための形態」において更に記載するいくつかの概念を簡略化した形態で紹介するために提示する。この概要は、特許請求される主題の重要な特徴を識別することを意図しておらず、特許請求される主題の範囲の決定に役立てるために用いることも意図していない。
【0007】
あるタイプのマシンビジョン検査システムのインスタンスによって与えられる多露光画像取得を制御する動作を規定するための方法が提供される。マシンビジョン検査システムは、ストロボ照明を与えるための照明源と、ワークピースに隣接したZ高さ方向に沿った複数の位置にわたって撮像システムの焦点位置を周期的に変更させる可変焦点距離レンズ(例えば可変音響式屈折率分布型レンズ)を含む撮像システムと、を備えている。この方法は、このタイプのマシンビジョン検査システムの第1のインスタンスの学習モード中に動作を実行して多露光タイミング差を決定することを含む。
【0008】
学習モード動作の一部として、代表的ワークピース上に異なるZ高さを有する第1及び第2の関心領域を画定する。各Z高さで合焦された代表的ワークピース上の第1及び第2の関心領域の各画像を含む少なくとも1つの画像スタックを収集する。少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した周期的に変更される焦点位置の各位相タイミングに応じてタイミング調整されたストロボ照明の少なくとも1つのインスタンスを用いて、少なくとも1つの画像スタックの各画像を露光する。少なくとも1つの画像スタック内の第1及び第2の関心領域の焦点の解析に少なくとも部分的に基づいて、第1及び第2の関心領域に充分な合焦度を与える周期的に変更される焦点位置の第1及び第2の位相タイミングに対応したストロボ照明のインスタンスの第1及び第2の多露光タイミング値を決定する。様々な実施において、第1及び第2の関心領域の充分な合焦度の判定は、最良の焦点(例えば焦点計測曲線のピーク及び/又は画像スタック内の最も合焦された画像から決定する)、ほぼ最良の焦点、多露光画像に基づいた所望の検査動作をサポートするのに充分な焦点、多露光画像のX−Y面で所望の精度で検査を行うための寸法測定値を求めるのに充分な焦点等のうち1つ以上に従って行われ得る。
【0009】
代表的ワークピース上の第1及び第2の関心領域の位置を示すデータと、第1及び第2の多露光タイミング値間の多露光タイミング差を示すデータと、を記録する。このタイプのマシンビジョン検査システムの使用インスタンス(using−instance)を動作させて、代表的ワークピースと同様の作業中ワークピース(current workpiece)上の第1及び第2の関心領域の多露光画像を取得する場合、少なくとも部分的に多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するためにこの記録データが使用可能である(例えば実行モード中)。様々な実施において、このタイプのマシンビジョン検査システムの使用インスタンス(例えば実行モード中に利用される)及び第1のインスタンス(例えば学習モード中に利用される)は、同一のマシンビジョン検査システムであり得るか、あるいは異なるマシンビジョン検査システムであり得る。
【0010】
様々な実施において、このタイプのマシンビジョン検査システムの使用インスタンスの動作の一部として(例えば実行モード中)、撮像システムの視野内で、代表的ワークピース(例えば学習モードからの)と同様の作業中ワークピース上に第1及び第2の関心領域を位置決めする。ストロボ照明のインスタンスのために用いる第1の多露光画像取得タイミング値を決定する。多露光タイミング差を示す記録データを用いて、第1の多露光画像取得タイミング値と第2の多露光画像取得タイミング値との間のタイミング差を決定する。作業中ワークピース上に第1及び第2の関心領域を含む作業中ワークピースの多露光画像を取得している間に、周期的に焦点距離を変更させつつ、第1及び第2の多露光画像取得タイミング値をストロボ照明の各インスタンスに使用するように撮像システムを動作させて、第1及び第2の関心領域について全体的な合焦度を向上させる。
【図面の簡単な説明】
【0011】
図1】汎用のマシンビジョン視覚検査システムの様々な典型的なコンポーネントを示す図である。
図2図1のものと同様の、本発明に開示する特徴を含むマシンビジョン検査システムの制御システム部及びビジョンコンポーネント部のブロック図である。
図3】マシンビジョン検査システムに適合させることができ、本明細書に開示する原理に従って動作することができる撮像システムの概略図である。
図4図3の撮像システムの可変焦点距離レンズの焦点距離を周期的に変更することによって制御される、撮像システムの焦点位置の周期的に変更されるZ高さを示すタイミング図のグラフであり、更に、各Z高さで合焦される画像を露光するため、どのようにストロボ照明をタイミング調整して周期的に変更される焦点位置の各位相タイミングに対応させるかを定性的に示す。
図5図4に示す焦点位置の周期的に変更されるZ高さの拡張部分、画像スタックを収集するために使用可能なものに対応する位相タイミング、並びに、周期的に変調される焦点位置の第1及び第2の位相タイミングに対応したストロボ照明の第1及び第2のインスタンスをどのように組み合わせて、異なるZ高さに位置する第1及び第2の関心領域において充分な合焦度を与える多露光画像を生成可能であるかを定性的に示すグラフである。
図6】多露光ツールを含むマシンビジョン検査システムのユーザインタフェースディスプレイを示す図であり、ワークピース上の第1の関心領域にピントが合っている。
図7】多露光ツールを用いてワークピースの多露光画像が取得された、図6のマシンビジョン検査システムのユーザインタフェースディスプレイを示す図である。
図8図7のマシンビジョン検査システムのユーザインタフェースディスプレイを示す図であり、ワークピースの多露光画像上でワークピース要素検査動作を実行するために使用される追加のビデオツールを含む。
図9】多露光タイミング差を決定及び記録するためのルーチンの1つの例示的な実施を示すフロー図である。
図10】ワークピースの多露光画像を取得するために、記録された多露光タイミング差を利用するルーチンの1つの例示的な実施を示すフロー図である。
【発明を実施するための形態】
【0012】
図1は、本明細書に開示する原理に従って使用可能である1つの例示的なマシンビジョン検査システム10のブロック図である。マシンビジョン検査システム10は画像測定機12を含み、これは、制御コンピュータシステム14と、更に、モニタ又はディスプレイ16、プリンタ18、ジョイスティック22、キーボード24、及びマウス26とデータ及び制御信号を交換可能に接続されている。モニタ又はディスプレイ16は、マシンビジョン検査システム10の制御及び/又はプログラミングに適したユーザインタフェースを表示することができる。様々な実施において、タッチスクリーンタブレット等が、コンピュータシステム14、ディスプレイ16、ジョイスティック22、キーボード24、及びマウス26のいずれか又は全ての機能の代用となること及び/又はこれらの機能を冗長的に与えることが可能である。
【0013】
より一般的には、制御コンピュータシステム14は、いかなるコンピューティングシステム又はデバイス、及び/又は分散型コンピューティング環境等も含むことができるか又はそれらから構成可能である。それらはいずれも、本明細書に記載する機能を実現するためにソフトウェアを実行する1つ以上のプロセッサを含み得る。プロセッサには、プログラマブル汎用又は特殊用途マイクロプロセッサ、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)等、又はそのようなデバイスの組み合わせが含まれる。ソフトウェアは、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュメモリ等のメモリ、又はそのようなコンポーネントの組み合わせに記憶することができる。また、ソフトウェアは、光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他のいずれかのタイプの不揮発性記憶媒体のような1つ以上の記憶デバイスに記憶することができる。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む1つ以上のプログラムモジュールを含み得る。分散型コンピューティング環境では、有線又は無線のいずれかの構成において、プログラムモジュールの機能性は、多数のコンピューティングシステム又はデバイス間で組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。
【0014】
画像測定機12は、可動ワークピースステージ32と、ズームレンズ又は交換可能レンズを含み得る光学撮像システム34と、を含む。ズームレンズ又は交換可能レンズは一般に、光学撮像システム34によって得られる画像の倍率を様々に変化させる(例えば0.5倍から100倍まで)。同様のマシンビジョン検査システムが、本発明の譲受人に譲渡された米国特許第7,454,053号、第7,324,682号、第8,111,905号、及び8,111,938号にも記載されている。
【0015】
図2は、図1のマシンビジョン検査システムと同様の、本明細書に記載する特徴を含むマシンビジョン検査システム100の制御システム部120及びビジョンコンポーネント部200のブロック図である。以下で詳述するように、制御システム部120を用いてビジョンコンポーネント部200を制御する。ビジョンコンポーネント部200は、光学アセンブリ部205と、光源220、230、及び240と、中央に透明部212を有するワークピースステージ210と、を含む。ワークピースステージ210は、ワークピース20を載置することができるステージの表面に対して概ね平行な面内にあるx軸及びy軸に沿って移動制御可能である。
【0016】
光学アセンブリ部205は、カメラシステム260及び交換可能対物レンズ250を含み、レンズ286と288を有するターレットレンズアセンブリ280も含む場合がある。ターレットレンズアセンブリ280の代わりに、固定もしくは手作業で交換可能な倍率可変レンズ(magnification−altering lens)、又はズームレンズ構成等を含んでもよい。様々な実施において、これらのレンズは、光学アセンブリ部205の可変倍率レンズ部の一部として含まれ得る。様々な実施において、交換可能対物レンズ250は、固定倍率対物レンズのセット(例えば0.5倍から100倍までの範囲のセット等)から選択することができる。
【0017】
光学アセンブリ部205は、制御可能モータ294を用いることで、x軸及びy軸に概ね直交したz軸に沿って制御可能に移動させることができる。制御可能モータ294はアクチュエータを駆動して、ワークピース20の画像の焦点を変えるために光学アセンブリ部205をz軸に沿って動かす。制御可能モータ294は信号ライン296を介して入出力インタフェース130に接続されている。マシンビジョン検査システム100を用いて撮像されるワークピース20、又は複数のワークピース20を保持しているトレイもしくは固定具は、ワークピースステージ210上に配置されている。ワークピースステージ210は、光学アセンブリ部205に対して移動するように制御され、交換可能対物レンズ250がワークピース20上の複数の位置間で及び/又は複数のワークピース20間で移動できるようになっている。
【0018】
透過照明光源220、落射照明光源230、及び斜め照明光源240(例えばリング光源)の1つ以上が、それぞれ光源光222、232、及び/又は242を発して、ワークピース又は複数のワークピース20を照明することができる。落射照明光源230は、ミラー290を含む経路に沿うように光源光232を発することができる。光源光はワークピース光255として反射又は透過され、撮像のために用いられるこのワークピース光は交換可能対物レンズ250及びターレットレンズアセンブリ280を通過し、カメラシステム260によって集光される。カメラシステム260によりキャプチャされたワークピース(複数のワークピース)20の画像は、制御システム部120への信号ライン262に出力される。光源220、230、及び240は、それぞれ信号ライン又はバス221、231、及び241を介して制御システム部120に接続することができる。制御システム部120は、画像の倍率を変更するため、ターレットレンズアセンブリ280を軸284に沿って回転させることで、信号ライン又はバス281を介してターレットレンズを1つ選択することができる。
【0019】
図2に示すように、様々な例示的な実施において制御システム部120は、コントローラ125、入出力インタフェース130、メモリ140、ワークピースプログラム発生器及び実行器170、及び電源部190を含む。これらのコンポーネント及び以下で説明する追加のコンポーネントの各々は、1つ以上のデータ/制御バス及び/又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。入出力インタフェース130は、撮像制御インタフェース131、移動制御インタフェース132、照明制御インタフェース133、及びレンズ制御インタフェース134を含む。レンズ制御インタフェース134は、レンズ焦点動作回路及び/又はルーチン等を含むレンズコントローラを含むことができる。様々な実施において、レンズ制御インタフェース134は更に、倍率変更を実行又は検出した場合に選択されるか又は自動的に実施される倍率変更調整モードも含むことができる。これについては、2015年7月9日に出願され、同時係属中の、本発明の譲受人に譲渡された「Adaptable Operating Frequency of a Variable Focal Length Lens in an Adjustable Magnification Optical System」と題する米国特許出願第14/795,409号に詳述されている。
【0020】
様々な実施において、撮像制御インタフェース131は拡大被写界深度モードを含むことができる。これについては、同時係属中の、本発明の譲受人に譲渡された米国特許出願第2015/0145980号に詳述されている。拡大被写界深度モードは、ユーザによって選択されると、単一の焦点位置で合焦する場合にビジョンコンポーネント部200が与え得るよりも大きい被写界深度でワークピースの少なくとも1枚の画像(例えば複合画像)を提供することができる。移動制御インタフェース132は、位置制御要素132a及び速度/加速度制御要素132bを含み得るが、これらの要素はマージされる及び/又は区別できない場合もある。照明制御インタフェース133は、照明制御要素133a、133n、及び133flを含むことができ、これらは、マシンビジョン検査システム100の様々な対応する光源について、例えば選択、パワー、オン/オフ切り換え、及びストロボパルスタイミングを適用可能な場合に制御する。
【0021】
メモリ140は、画像ファイルメモリ部141、エッジ検出メモリ部140ed、1つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部142、及びビデオツール部143を含むことができる。ビデオツール部143は、対応する各ビデオツールのためのGUIや画像処理動作等を確定するビデオツール部143a及び他のビデオツール部(例えば143n)、並びに関心領域(ROI:region of interest)発生器143roiを含む。関心領域発生器143roiは、ビデオツール部143内に含まれる様々なビデオツールにおいて動作可能である様々なROIを規定する自動、半自動、及び/又は手動の動作をサポートする。ビデオツール部は、焦点高さ測定動作のためのGUIや画像処理動作等を確定する自動合焦ビデオツール143afも含む。自動合焦ビデオツール143afは、多露光動作のために利用可能である多露光ツール143mxを含む。これについては以下で更に詳しく説明する。
【0022】
様々な実施において、学習モード中に多露光ツール143mxを用いて、多露光タイミング差を決定し記録することができる。これを後にワークピースの多露光画像を取得するために利用することができる。様々な実施において、多露光ツール143mxは、これ以外の場合には従来の自動合焦ビデオツールのための方法に従って動作する自動合焦ビデオツール143afの特別モードとしてもよく、又は、多露光ツール143mxは自動合焦ビデオツール143afとは無関係な別個のビデオツールとしてもよい。様々な実施において、自動合焦ビデオツール143af又は追加のビデオツールは、高速で焦点高さを測定するために利用可能である高速焦点高さツールも含むことができる。これについては、同時係属中の、本発明の譲受人に譲渡された米国特許出願第2014/0368726号に詳述されている。
【0023】
本開示の文脈において、当業者に既知であるように、「ビデオツール」という言葉は概ね、マシンビジョンユーザが、ビデオツールに含まれる動作の段階的シーケンスを生成することなく、また汎用のテキストベースのプログラミング言語等に頼ることもなく、比較的シンプルなユーザインタフェース(例えばグラフィカルユーザインタフェース、編集可能パラメータウィンドウ、メニュー等)を用いて実施可能である、自動又はプログラミングされた比較的複雑な動作セットのことである。例えばビデオツールは、予めプログラミングされた複雑な画像処理動作及び計算セットを含み、これらの動作及び計算を規定する少数の変数及びパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。基礎にある動作及び計算の他に、ビデオツールは、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。例えば多くのマシンビジョンビデオツールによってユーザは、マウスを用いたシンプルな「ハンドルドラッグ」動作を行ってグラフィックの関心領域(ROI)インジケータを構成して、ビデオツールの特定のインスタンスの画像処理動作による解析対象となる画像サブセットの位置パラメータを定義することができる。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。
【0024】
透過照明光源220、落射照明光源230、及び斜め照明光源240のそれぞれの信号ライン又はバス221、231、及び241は全て、入出力インタフェース130に接続されている。カメラシステム260からの信号ライン262及び制御可能モータ294からの信号ライン296も、入出力インタフェース130に接続されている。信号ライン262は、画像データの伝達に加えて、画像の取得を開始するコントローラ125からの信号を伝達することができる。
【0025】
1つ以上のディスプレイデバイス136(例えば図1のディスプレイ16)及び1つ以上の入力デバイス138(例えば図1のジョイスティック22、キーボード24、及びマウス26)も、入出力インタフェース130に接続することができる。ディスプレイデバイス136及び入力デバイス138を用いて、様々なグラフィカルユーザインタフェース(GUI)機能を含み得るユーザインタフェースを表示することができる。それらの機能は、検査動作の実行、及び/又はパートプログラムの生成及び/又は修正、カメラシステム260によってキャプチャされた画像の閲覧、及び/又はビジョンシステムコンポーネント部200の直接制御のために使用可能である。ディスプレイデバイス136は、(例えば自動合焦ビデオツール143af、多露光ツール143mx等に関連付けて)ユーザインタフェース機能を表示することができる。
【0026】
様々な例示的な実施において、ユーザがマシンビジョン検査システム100を用いてワークピース20のためのパートプログラムを生成する場合、ユーザはマシンビジョン検査システム100を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによってパートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野(FOV)内に載置し、照明レベルを設定し、合焦又は自動合焦を行い、画像を取得し、(例えばそのワークピース要素上でビデオツールの1つ以上のインスタンスを用いて)画像に適用される検査訓練シーケンスを提供することを含み得る。学習モードの動作では、このシーケンス(複数のシーケンス)がキャプチャ又は記録されて、対応するパートプログラム命令に変換されるようになっている。パートプログラムが実行された場合、これらの命令はマシンビジョン検査システムに訓練した画像取得動作を再現させると共に、検査動作を行って、パートプログラムの生成時に用いた代表的ワークピースと同様の作業中ワークピース(例えば実行モードのワークピース)又は複数のワークピース上の特定のワークピース要素(すなわち対応位置での対応する要素)を自動的に検査させる。
【0027】
図3は、マシンビジョン検査システムに適合させることができ、本明細書に開示する原理に従って動作することができる撮像システム300の概略図である。撮像システム300は、この撮像システム300の視野内で(例えばストロボ又は連続波照明によって)ワークピース320を照明するように構成可能である光源330、対物レンズ350、チューブレンズ351、リレーレンズ352、可変焦点距離レンズ(VFL)370、リレーレンズ386、及びカメラシステム360を備えている。
【0028】
動作において、光源330は、部分ミラー390を含む経路に沿って対物レンズ350を介してワークピース320の表面まで光源光332を発するように構成可能である。対物レンズ350は、ワークピース320に隣接した焦点位置FPで集束するワークピース光355を受光し、ワークピース光355をチューブレンズ351に出力する。様々な実施において、対物レンズ350は交換可能対物レンズとすることができ、チューブレンズ351はターレットレンズアセンブリの一部として含めることができる(例えば図2の交換可能対物レンズ250及びターレットレンズアセンブリ280と同様)。様々な実施において、対物レンズ350、チューブレンズ351、又は本明細書で言及する他のレンズは、個別のレンズ、複合レンズ等から形成するか、又はこれらのレンズと連携して動作することができる。チューブレンズ351はワークピース光355を受光し、これをリレーレンズ352に出力する。
【0029】
リレーレンズ352はワークピース光355を受光し、これをVFLレンズ370に出力する。VFLレンズ370はワークピース光355を受光し、これをリレーレンズ386に出力する。リレーレンズ386はワークピース光355を受光し、これをカメラシステム360に出力する。様々な実施において、カメラシステム360は画像露光期間中にワークピース320の画像をキャプチャすることができ、この画像を制御システム部に提供することができる(例えば図2において画像を制御システム部120に与えるためのカメラシステム260の動作と同様)。
【0030】
VFLレンズ370は、1回以上の画像露光中に撮像システムの焦点位置FPを変えるように電子的に制御可能である。焦点位置FPは、焦点位置FP1と焦点位置FP2によって画定される範囲R内で動かすことができる。様々な実施において、範囲Rはユーザによって選択可能であるか、又は設計パラメータから与えられ得るか、又は他の方法で自動的に決定され得ることは認められよう。一般に図3の例に関して、図示した寸法のいくつかは一定の縮尺通りに描かれていない場合があることは認められよう。例えば、VFLレンズ370の寸法は図示するものと異なる比率を有し得る(例えば、所望の量の撮像倍率(lensing power)等を与えるため、いくつかの用途では幅がより狭く長さが50mm以上であり得る)。
【0031】
様々な実施において、マシンビジョン検査システムは、撮像システム300の焦点位置を周期的に変更するために、レンズコントローラ374と連携して動作するか又は他の方法でVFLレンズ370を制御するように構成可能な制御システム(例えば図2の制御システム120)を備えることができる。いくつかの実施では、VFLレンズ370は極めて高速に(例えば、少なくとも300Hz、又は3kHz、又は70kHz、又はそれ以上の速度で周期的に)焦点位置を調整又は変更することができる。1つの例示的な実施では、(1倍の対物レンズ350では)範囲Rは約10mmとすることができる。様々な実施において、VFLレンズ370は、焦点位置FPを変えるために撮像システムにおける巨視的な機械的調整及び/又は対物レンズ350とワークピース320との間の距離の調整を必要としないことが好ましい。このような場合、本明細書に開示する原理に従って高速で多露光画像を取得することができ、又は980号公報に記載されているように拡大被写界深度画像を取得することができ、更に、同一の撮像システムを用いて固定焦点検査画像を取得する場合に精度を低下させる巨視的な調整要素も、これに関連した位置決めの非再現性も存在しない。726号公報に記載されている通り、焦点位置FPの変化を利用して、ワークピース320に隣接したZ高さ方向に沿った複数の位置における複数の画像を含む画像スタックを高速に取得することができる。
【0032】
様々な実施において、VFLレンズ370は可変音響式屈折率分布型(「TAG:tunable acoustic gradient index of refraction」)レンズとすることができる。可変音響式屈折率分布型レンズは、流体媒質中で音波を用いて焦点位置を変更し、焦点距離範囲を数百kHzの周波数で周期的にスイープすることができる高速VFLレンズである。このようなレンズは、論文「High−speed varifocal imaging with a tunable acoustic gradient index of refraction lens」(Optics Letters、Vol.33、No.18、2008年9月15日)の教示によって理解することができる。可変音響式屈折率分布型レンズ及びこれに関連した制御可能信号発生器は、例えばTAG Optics, Inc.(ニュージャージー州プリンストン)から入手可能である。例えば、モデルTL2.B.xxxシリーズのレンズは最大で約600KHzで変調可能である。
【0033】
様々な実施において、726号公報に詳述されている通り、カメラシステム360は、グローバルシャッタを有するセンサ、すなわち各画素を同時に露光するセンサを備えることができる。このような実施形態は、ワークピースも撮像システム300のどの部分も動かすことなく画像スタックを測定する機能を与えるという点で有利である。様々な代替的な実施では、カメラシステム360は、電子ローリングシャッタ(ERS)システムを有するセンサを備えることができる。例えばカメラシステムは、電子ローリングシャッタ(ERS)システムと対にしてSXGA解像度を用いた白黒CMOSセンサを備えることができる(例えばカリフォルニア州サンホゼのAptina ImagingのモデルMT9M001)。
【0034】
VFLレンズ370は、VFLレンズ370を動作させる信号を発生することができるレンズコントローラ374によって駆動され得る。一実施形態において、レンズコントローラ374は市販の制御可能信号発生器とすればよい。いくつかの実施では、レンズコントローラ374は、図2を参照して先に概説したように、撮像制御インタフェース131及び/又はレンズ制御インタフェース134及び/又は多露光ツール143mxを介して、ユーザ及び/又はオペレーティングプログラムによって構成又は制御され得る。いくつかの実施では、焦点位置FPが経時的に正弦波状に高周波数で変更されるように、周期信号を用いてVFLレンズ370を動作させることができる。例えばいくつかの例示的な実施では、可変音響式屈折率分布型レンズは400kHzという速さの焦点走査速度向けに構成可能であるが、様々な実施及び/又は用途ではより低速の焦点位置調整及び/又は変更周波数が望ましい場合があることは認められよう。例えば様々な実施では、300Hz、又は3kHz、又は70kHz、又は250kHz等の周波数とし得る。低速の焦点位置調整を用いる実施では、VFLレンズ370は制御可能液体レンズ等を含み得る。
【0035】
図3の実施では、リレーレンズ352及び386並びにVFLレンズ370は4f光学構成に含まれるものとして示され、リレーレンズ352及びチューブレンズ351はケプラー式望遠鏡構成に含まれるものとして示され、チューブレンズ351及び対物レンズ350は顕微鏡構成に含まれるものとして示されている。ここに示す構成は全て例示に過ぎず、本開示に対する限定でないことは理解されよう。ケプラー式望遠鏡構成の一部として、チューブレンズ351の焦点距離FTUBEは、リレーレンズ352の焦点距離fと同様、レンズ351と352との中点とほぼ等距離にあるものとして示されている。代替的な実施では、チューブレンズ351の焦点距離FTUBEを、リレーレンズ352の焦点距離f(これは4f光学構成の4fの1つに対応する)とは異なるものにしてもよい。チューブレンズ351がターレットレンズアセンブリの一部として含まれ得る様々な実施では、ターレットレンズアセンブリの他のチューブレンズが動作位置まで回転した場合、同じ位置に焦点を有する(すなわちリレーレンズ352の焦点と合致する)ことが望ましい場合がある。
【0036】
409号出願に詳述されている通り、焦点距離fに対する焦点距離FTUBEの比を用いて、チューブレンズ351に入力するワークピース光355の平行ビームに対してリレーレンズ352から出射するワークピース光355の平行ビームの直径を変えることができる。チューブレンズ351に入力するワークピース光355の平行ビーム及びリレーレンズ352から出力するワークピース光355の平行ビームに関して、様々な実施では、そのような平行ビームがより長い経路長に拡張され得ること、及び/又は(例えば異なるカメラシステム等へ向けられた)追加の光路を与えるためにそのような平行ビームに対してビームスプリッタが使用され得ることは認められよう。
【0037】
様々な実施において、図示する4f光学構成は、VFLレンズ370(例えば可変音響式屈折率分布型レンズ等の開口径(NA)が小さいデバイスであり得る)を、対物レンズ350のフーリエ面FPLに配置することを可能とする。この構成は、ワークピース320におけるテレセントリシティ(telecentricity)を維持すると共に、尺度変化及び画像歪みを最小限に抑えることができる(例えば、ワークピース320の各Z高さ及び/又は焦点位置FPで一定の倍率を与えることを含む)。ケプラー式望遠鏡構成(例えばチューブレンズ351及びリレーレンズ352を含む)は、顕微鏡構成と4f光学構成との間に含めることができ、上記のように、VFLレンズの位置で対物レンズ有効径の望ましいサイズの投影を与えて画像収差等を最小限に抑えるように構成可能である。
【0038】
様々な実施において、いくつかのタイプの寸法測定では回折限界に近いか又は回折限界の撮像が必要であり得ることは認められよう。図3に示す構成は、結像される対物レンズ350の瞳の軸外範囲をVFLレンズ370内に限定することによって収差を低減する。この構成では、半径方向の範囲は、その最低共振周波数fR,MINでのVFLレンズ370(例えば可変音響式屈折率分布型)の定在波の屈折率プロファイルにおいて一次ベッセルリング(1st Bessel ring)の半径方向の範囲よりも小さく維持することができる。これについては、409号出願に詳述されている。このように、顕微鏡構成(すなわち対物レンズ350及びチューブレンズ351を含む)からの光はVFLレンズ370の最大有効径CAVFL,MAXを超えない。この光が最大有効径を超える実施では、光は、望ましくない屈折率を有し得るVFLレンズ370の定在波の領域と相互作用して収差を増大させ、寸法測定の精度を低減させる恐れがある。光源330及びカメラシステム360を含む撮像システム300のいくつかの例示的な動作について、図4及び図5を参照して以下で詳述する。
【0039】
図4は、先に概説したように、図3の撮像システムにおける可変焦点距離レンズ(例えばVFLレンズ370)の焦点距離を周期的に変更することによって制御された、撮像システムの焦点位置の周期的に変更されるZ高さを示すタイミング図400のグラフである。周期的に変更されるZ高さは、「Z高さサイクル」と示す正弦曲線410によって表されている。Z高さと位相タイミングとの関係は、既知の原理に従った較正によって確立することができる(例えば既知のZ高さまで表面を繰り返し進ませ、次いでこの既知のZ高さで画像が最も合焦する位相タイミングを手作業で又は計算によって求め、その関係をルックアップテーブル等に記憶する)。
【0040】
また、グラフ400は、各Z高さ(例えばzφ0、zφ1、zφ12、zφn等)で合焦される画像を露光するため、どのようにストロボ照明をタイミング調整して周期的に変更される焦点位置の各位相タイミング(例えばφ0、φ1、φ12、φn等)に対応させるかを定性的に示している。すなわち図示する例では、デジタルカメラが積分期間中に画像を取得している間に、ストロボパルスが焦点変更周期に対して短く、位相タイミングφ0で与えられる場合、焦点位置は高さzφ0となり、得られる画像内では高さzφ0に位置するワークピース表面にピントが合っている。むろん、これと同じことが、グラフ400に示す他の例示的な位相タイミング及びZ高さにも当てはまる。
【0041】
グラフ400に示す位相タイミングは単なる例示であり、限定ではないことは理解されよう。より一般的には、ユーザが選択するか又は制御システムが自動的に選択する位相タイミングは、焦点位置の周期的に変更されるZ高さの最小Z高さと最大Z高さを表す焦点位置範囲zφ0〜zφn内に、関連付けられた焦点位置Z高さを有する。また、特定の位相タイミングでの1回のストロボパルスでは画像の露光が充分でない場合は、ストロボパルスを当該特定の位相タイミングで、画像積分期間内の所望の回数にわたって繰り返せばよいことは理解されよう(グラフ400において例示的な位相タイミングφ0、φ1、φ12で繰り返されるインスタンスで概略的に示すように)。いくつかの実施形態又は実施において、一千又は数千のそのようなパルスを積分期間において積分することができる。その効果は、得られる画像において、当該特定の位相タイミング及び/又はZ高さに対応した画像露光が増大することである。(1つの具体的な例示として、72kHzの周波数で変更される可変焦点距離レンズと毎秒30フレームで動作するカメラ内の撮像アレイでは、単一のカメラフレーム取得時間は、可変焦点距離レンズ及びこれによる焦点位置Z高さの2,400サイクルに相当する)。例示的な位相タイミングφ1及びφ12はZ高さサイクルの立ち上がり勾配上に示されていることは認められよう。いくつかの実施形態では、Z高さサイクルの立ち下がり勾配中の同一のZ高さに対応して積分期間でパルスを積分してもよい。
【0042】
図5はグラフ500であり、これは、図4に示す焦点位置の周期的に変更されるZ高さ410’を水平方向に拡張させた部分と、画像スタックを収集するために使用可能なものに対応する位相タイミング(グラフ500では縦の破線の位相タイミング位置で表す)とを示し、更に、周期的に変更される焦点位置の第1及び第2の位相タイミング(例えば例示的な位相タイミングφ10及びφ27)に対応したストロボ照明の第1及び第2の特定のインスタンスをどのように組み合わせて、異なるZ高さに位置する第1及び第2の関心領域(例えば関心領域ROI1ではZ高さzROI1、関心領域ROI2ではZ高さzROI2)において充分な合焦度を与える多露光画像を生成可能であるかを定性的に示す。
【0043】
画像スタックを収集するために使用可能なものに対応する位相タイミング(グラフ500では縦の破線の位相タイミング位置で表す)に関して、本明細書に開示する原理によれば、1つの実施では、代表的ワークピース上の第1及び第2の関心領域について学習モード中に1つの画像スタック(又は多数の画像スタック)を取得することができる。例えば画像スタックを取得するには、位相タイミングφ0と一致する1つ以上のストロボ照明パルスを用いて(1つ以上の期間にわたって)第1の画像を露光すればよい。同様に、位相タイミングφ1を用いて画像スタックの第2の画像を取得することができ、図示する例ではこれをφ35まで行う。画像スタックは1つの視野を様々な焦点位置を用いて撮像したものであり、一般に、対応する位相タイミングを用いて取得した所望のZ高さでの所望の数の画像を含み得ることは理解されよう。
【0044】
周期的に変更される焦点位置の第1及び第2の位相タイミング(例えば例示的な位相タイミングφ10及びφ27)に対応したストロボ照明の第1及び第2の特定のインスタンスをどのように組み合わせて多露光画像を生成可能であるかを示す図5に関しては、以下のように説明される。図5に示すように、代表的ワークピース上の視野内の第1及び第2の関心領域ROI1及びROI2は、画像スタックの各画像において充分な合焦度を有することが示されている。ROI1は、位相タイミングφ10に対応したZ高さzROI1において最良に又は充分に合焦されることが示され、ROI2は、位相タイミングφ27に対応したZ高さzROI2において最良に又は充分に合焦されることが示されている。例えば動作の学習モード中にこれを決定するには、この動作の学習モード中に取得した画像スタックの各画像において、第1の関心領域ROI1及び第2の関心領域ROI2のコントラストを(例えば既知の方法に従って)解析すればよい。次いで、ROI1及びROI2のそれぞれに最良の又は充分なコントラスト又は焦点を与えることが示された特定の画像及び/又は内挿したZ高さを決定すればよい(例えば以下で詳述するように)。様々な実施形態において、これらのZ高さ及び/又はZ高さ間の差及び/又は第1及び第2のZ高さに対応する第1及び第2の位相タイミング(又は対応する多露光タイミング差を示す他のデータ)を、ROI1及びROI2のそれぞれに対応するパートプログラムに記録することができる。代表的ワークピースと同様のワークピースが撮像システムに対して同様のZ高さにあると仮定すると、第1の位相タイミングを第1の多露光タイミング値として用いて、多露光画像内でROI1にピントを合わせて露光することができると共に、第2の位相タイミングを第2の多露光タイミング値として用いて、同じ多露光画像内でROI2にピントを合わせて露光することができる。
【0045】
様々な実施において、関心領域について最良の又は充分な合焦度を有する画像の判定は様々な技法に従って行うことができる。1つの具体的な例示として、焦点曲線の解析を含む技法を利用可能である。焦点曲線は、(例えば引例に記載されているような)既知の方法に従って確立され得る焦点曲線データポイントに基づいて形成することができる。簡潔に述べると、1つの例示的な方法では、画像スタック内の各キャプチャ画像について、その画像内の各関心領域に基づいた焦点計測値が算出され、その焦点計測値が焦点曲線上のデータポイントとなる(例えば、画像キャプチャを行った対応する位相タイミング及びZ高さに関連付けられる)。この結果、単に「焦点曲線」又は「自動焦点曲線」とも称されることがある焦点曲線データが得られる。画像スタック及び焦点曲線の判定及び解析のための例示的な技法は、本発明の譲受人に譲渡された米国特許第6,542,180号に教示されている。1つの実施では、関心領域について充分な合焦度を有する画像の判定は、焦点曲線のピークにあるか又はピーク近傍にある画像に応じて行えばよい(例えば、画像スタック内の他の画像に比べて各関心領域について最大又は最大に近い焦点計測値を有する画像)。
【0046】
様々な実施において、そのような技法を、画像解析を含む自動合焦動作の一部として利用することができる。例えば本明細書に開示する原理に従って、そのような技法を学習モード中に使用して第1及び第2の多露光タイミング値を自動的に決定すると共に、対応する多露光タイミング差を示すデータを記録することができる。後に(例えば実行モード中に)、そのような技法を使用して、作業中ワークピース上の第1の関心領域に充分な合焦度を与える第1の多露光画像取得タイミング値を自動的に決定することができる。次いで、第2の関心領域について画像解析を含む自動合焦動作を使用することなく、対応する多露光タイミング差を示す記録データに基づいて第2の多露光画像取得タイミング値を決定することができる。画像解析のために焦点曲線を用いる実施において、これが意味するのは、作業中ワークピース上の第2の関心領域については焦点曲線の生成及び解析が必要ないということであり、これによって(例えば実行モード中の)プロセス全体をより高速かつ高効率で実行することができる。
【0047】
図6図8は、多露光ツール770のためのグラフィカルユーザインタフェース(GUI)を含むマシンビジョン検査システムのユーザインタフェースディスプレイ700を示す図である。図6に示す例示的な状態では、ユーザインタフェースディスプレイ700は視野ウィンドウ703を含み、これは、第1の表面711(例えば文字「MICRO」を含む)と第2の表面712(例えば文字「NCODER」を含む)を含むワークピース画像710Aを表示している。第1及び第2の表面711及び712は異なるZ高さにある。ユーザインタフェースディスプレイ700は、選択バー720及び740、リアルタイムX−Y−Z(位置)座標ウィンドウ730、及び光制御ウィンドウ750等の様々な測定及び/又は動作選択バーも含む。
【0048】
視野ウィンドウ703は、ワークピース画像710Aに重ねられた多露光ツール770を含む。多露光ツール770は、(例えば第1のZ高さに対応した第1の表面711上で)第1の関心領域ROI1を画定する第1の部分771と、(例えば第2のZ高さに対応した第2の表面712上で)第2の関心領域ROI2を画定する第2の部分772と、を含む。様々な実施において、ユーザが編集のために多露光ツール770(又はその一部)を選択すると、ユーザインタフェースは自動的にツールパラメータダイアログボックス760を表示し、ユーザによる特定のアスペクト(例えばツール位置及び大きさ等)の調整を可能とする。この代わりに又はこれに加えて、ユーザは、多露光ツール770の位置、大きさ、向き等を変えるために、様々なアスペクトをグラフィック的に(例えばツールを全体的に又はその特定部分をクリック及びドラッグすることで)調整することができる。
【0049】
図6に示す例示的な状態では、多露光ツール770を用いて、第1の関心領域ROI1について充分な合焦度を有するワークピース画像710Aが取得されている。例えば学習モード中、又は以降の動作中(例えば実行モード中)に、(例えば取得した画像スタック内の画像の)画像解析を含む自動合焦動作を用いて、第1の関心領域ROI1に充分な合焦度を与える第1の多露光タイミング値を決定することができる。第1の関心領域ROI1について充分な合焦度を有する画像が画像スタックから選択された場合、図6のワークピース画像710Aに示すように、同一画像において第2の関心領域ROI2は比較的ピントが合っていない場合があることは認められよう。先に注記したように、これは少なくとも部分的に、第1及び第2の関心領域ROI1及びROI2のそれぞれにおける表面711と712とのZ高さの差によるものであり得る。
【0050】
上述の通り、学習モード中に、画像解析を含む自動合焦動作を用いて、第2の関心領域ROI2に充分な合焦度を与える第2の多露光タイミング値を決定することができる(図示せず)。次いで、代表的ワークピース上の第1及び第2の関心領域の位置を示すデータを記録すると共に、第1及び第2の多露光タイミング値間の多露光タイミング差を示すデータを記録することができる。様々な実施において、代表的ワークピースと同様の作業中ワークピース上の第1及び第2の関心領域の多露光画像を取得する場合、少なくとも部分的に多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、このような記録データが使用可能である。
【0051】
図7は、多露光ツール770を用いてワークピースの多露光画像が取得された図6のマシンビジョン検査システムのユーザインタフェースディスプレイ700を示す図である。例えば(例えば実行モード中に)、いったん(例えば画像解析を含む自動合焦動作を用いて)第1の多露光画像取得タイミング値が決定されると、多露光タイミング差を示す記録データを用いて、この第1の多露光画像取得タイミング値と第2の多露光画像取得タイミング値とのタイミング差を決定することができる。次いで、作業中ワークピースの多露光画像を取得している間に、周期的に焦点距離を変更させつつ、第1及び第2の多露光画像取得タイミング値をストロボ照明の各インスタンスに使用するように撮像システムを動作させることにより、第1及び第2の関心領域について全体的な合焦度を向上させることができる。別の例として、学習モード中、代表的ワークピースの多露光画像を取得している間に、周期的に焦点距離を変更させつつ、第1及び第2の多露光タイミング値をストロボ照明の各インスタンスに使用するように撮像システムを動作させることも可能である。
【0052】
いずれの場合であっても、図7に示す例示的な状態において、取得されたワークピース画像710B(これは上述のような多露光画像である)は、第1及び第2の関心領域ROI1及びROI2について全体的な合焦度が向上したことを示している。より具体的には、図7のワークピース画像710Bでは(例えば図6のワークピース画像710Aに比べて)、第2の関心領域ROI2の合焦度が大幅に向上し(例えば、文字「OD」のピンぼけの軽減と可読性によって示される)、一方で、第1の関心領域ROI1の合焦度はストロボ照明の第2のインスタンスによってわずかに低下しただけである(例えば、ピントの合っている表面が他の焦点面からのピンぼけの光(defocused light)によって多少影響を受けるため)。この結果、第1及び第2の関心領域ROI1及びROI2について全体的な合焦度は向上している。
【0053】
図8は、図7のマシンビジョン検査システムのユーザインタフェースディスプレイを示す図800であり、このディスプレイは、ワークピースの多露光画像710B上でワークピース要素検査動作(例えばワークピース要素の位置特定)を実行するために使用される追加のビデオツールも含む。図8に示す例示的な状態において、第1及び第2の関心領域ROI1及びROI2内で第1及び第2のエッジ要素EF1及びEF2の位置をそれぞれ特定するため、点ツール980A及び980Bを用いる。他の実施では、他のワークピース要素の位置を特定するために他のビデオツール(例えば矩形ツール、円形ツール、弓形ツール等)を利用可能である。エッジ要素の位置を特定すると共に他のワークピース要素検査動作を実行するためのそのようなビデオツールの動作については、引例、及び米国特許第7,627,162号に詳述されている。
【0054】
いったん様々な要素の位置を特定したら、追加の検査動作を実行することができる。例えば図8の実施では、いったんエッジ要素EF1及びEF2の位置を特定したら、エッジ要素EF1とEF2との間の距離D1を求めることができる。距離D1を求める等の検査動作は、多数の画像を必要とし得る従来のシステム(例えば、異なるZ高さの各関心領域に異なる画像を用いる際、機械的なZステージの不正確さに由来する画像又は要素間の位置合わせのずれがあると測定誤差等を生じる恐れがある)に比べ、単一の多露光画像710B上で実行される場合の方が高精度である可能性が高いことは認められよう。様々な実施において、第1及び第2の関心領域ROI1及びROI2の各々の画像品質を解析することで、合焦度が、第1及び第2のエッジ要素EF1及びEF2の位置の特定において望ましい精度レベルに応じた所定の閾値を満たすことを確認できる。この所定の閾値を用いて、第1及び第2の関心領域ROI1及びROI2について合焦度が充分であるか否かを判定することができる。
【0055】
第1及び第2の関心領域ROI1及びROI2に関して多露光画像710Bを充分に合焦させることで、検査動作(例えば上述したもの等)の高精度な実行が可能となることは認められよう。従来のシステムにおいては、異なるZ高さのワークピース要素のそのような検査動作では、そのようなワークピース要素を正確に特定及び測定するために多数の画像の使用及び/又は画像の後処理が必要であった。追加画像からの画像データの使用を必要とすることなく、異なるZ高さのワークピース要素を含む多露光画像を高速に取得できることによって、そのような動作についてシステムの速度及び効率が向上する。
【0056】
様々な代替的な実施では、多露光画像に、ある特定の選択的な後処理(例えば追加画像からの画像データを用いたデコンボリューション)を実行することができる。例えば、上述のように980号公報に記載された積分点像分布関数(point spread function)デコンボリューションと同様の技法を用いればよい。そのような実施において、後処理に用いる点像分布関数は、Z走査範囲全体でなく、(例えば第1及び第2の関心領域ROI1及びROI2に対応した)指定されたZレベルについてのみ積分を行えばよい。
【0057】
図9は、(例えば学習モード中に)多露光タイミング差を決定及び記録するためのルーチン1000の1つの例示的な実施を示すフロー図である。ブロック1010において、代表的ワークピース上に異なるZ高さを有する第1及び第2の関心領域を画定する。ブロック1020において、各Z高さで合焦された代表的ワークピース上の第1及び第2の関心領域の各画像を含む少なくとも1つの画像スタックを収集する。様々な実施において、少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した周期的に変更される焦点位置の各位相タイミングに対応するようにタイミング調整したストロボ照明の少なくとも1つのインスタンスを用いて、少なくとも1つの画像スタックの各画像を露光する。様々な実施において、少なくとも1つの画像スタックの各画像について各Z高さでの合焦に対応した周期的に変更される焦点位置の各位相タイミングに対応するようにタイミング調整したストロボ照明の少なくとも1つのインスタンスは、画像積分期間内の多数の焦点サイクル周期にわたって各位相タイミングで繰り返される複数のインスタンス照明を含むことができる。
【0058】
ブロック1030において、少なくとも1つの画像スタック内の第1及び第2の関心領域の焦点の解析に少なくとも部分的に基づいて、第1及び第2の関心領域に充分な合焦度を与える周期的に変更される焦点位置の第1及び第2の位相タイミングに対応したストロボ照明のインスタンスの第1及び第2の多露光タイミング値を決定する。ブロック1040において、代表的ワークピース上の第1及び第2の関心領域の位置を示すデータと、第1及び第2の多露光タイミング値間の多露光タイミング差を示すデータと、を記録する。様々な実施において、代表的ワークピースと同様の作業中ワークピース上の第1及び第2の関心領域の多露光画像を取得する場合、少なくとも部分的に多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、このような記録データが使用可能である。
【0059】
様々な実施において、記録データは、代表的ワークピースのインスタンスを検査するためのパートプログラムに関連付けて記録することができ、記録データの使用は、マシンビジョン検査システムの使用インスタンスに対してパートプログラムを実行することを含み得る。様々な実施において、このタイプのマシンビジョン検査システムの使用インスタンス(例えば実行モード中に利用される)及び第1のインスタンス(例えば学習モード中に利用される)は、同一のマシンビジョン検査システムであってもよく、あるいは異なるマシンビジョン検査システムであってもよい。
【0060】
様々な実施において、学習モード中に、少なくとも1つの画像スタック内の第3の関心領域の焦点の解析に少なくとも部分的に基づいて、ストロボ照明のインスタンスの第3の(又はそれ以上の)多露光タイミング値を決定することができる。これに対応して、データの記録は、代表的ワークピース上の第3の関心領域の位置を示すデータと、第3の多露光タイミング値と第1又は第2の多露光タイミング値の少なくとも一方との間の追加の多露光タイミング差を示すデータと、を記録することを含み得る。このため、このタイプのマシンビジョン検査システムの使用インスタンスを動作させて、代表的ワークピースと同様の作業中ワークピース上の第1、第2、及び第3の(又はそれ以上の)関心領域の多露光画像を取得する場合、少なくとも部分的に多露光タイミング差及び追加の多露光タイミング差に基づいて多露光画像取得を制御する動作を規定するために、このような記録データが使用可能である。
【0061】
図10は、(例えば実行モード中に)ワークピースの多露光画像を取得するために、記録された多露光タイミング差を利用するルーチン1100の1つの例示的な実施を示すフロー図である。ブロック1110において、代表的ワークピースと同様の作業中ワークピース上に第1及び第2の関心領域を位置決めする。ブロック1120において、ストロボ照明のインスタンスのために用いる第1の多露光画像取得タイミング値を決定する。ブロック1130において、多露光タイミング差を示す記録データを用いて、第1の多露光画像取得タイミング値と第2の多露光画像取得タイミング値との間のタイミング差を決定する。ブロック1140において、作業中ワークピース上に第1及び第2の関心領域を含む作業中ワークピースの多露光画像を取得している間に、ストロボ照明の各インスタンスの第1及び第2の多露光画像取得タイミング値の使用に応じて周期的に焦点位置が変更されるように周期的に焦点位置を変更させつつ、第1及び第2の多露光画像取得タイミング値をストロボ照明の各インスタンスに使用するように撮像システムを動作させて、第1及び第2の関心領域について合焦度を向上させる。
【0062】
本開示の好適な実施について図示及び記載したが、本開示に基づいて、図示及び記載した特徴の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。様々な代替的な形態を用いて本明細書に開示した原理を実施してもよい。更に、上述の様々な実施を組み合わせて別の実施を提供することも可能である。
【0063】
前述の記載に照らして、実施に対してこれら及び他の変更を行うことができる。一般に、以下の特許請求の範囲において、用いる用語は本明細書及び特許請求の範囲に開示される特定の実施に特許請求の範囲を限定するものとして解釈されず、そのような特許請求の範囲の権利が与えられる均等物の全範囲に従う全ての可能な実施を包含するものとして解釈される。
【符号の説明】
【0064】
10 マシンビジョン検査システム
12 画像測定機
14 制御コンピュータシステム
16 ディスプレイ
18 プリンタ
20,320 ワークピース
22 ジョイスティック
24 キーボード
26 マウス
32 可動ワークピースステージ
34 光学撮像システム
100 マシンビジョン検査システム
120 制御システム部
125 コントローラ
130 入出力インタフェース
131 撮像制御インタフェース
132 移動制御インタフェース
132a 位置制御要素
132b 加速度制御要素
133 照明制御インタフェース
133a 照明制御要素
134 レンズ制御インタフェース
136 ディスプレイデバイス
138 入力デバイス
140 メモリ
140ed エッジ検出メモリ部
141 画像ファイルメモリ部
142 ワークピースプログラムメモリ部
143,143a ビデオツール部
143af 自動合焦ビデオツール
143mx 多露光ツール
143roi 発生器
143roi 関心領域発生器
170 実行器
190 電源部
200 ビジョンコンポーネント部
205 光学アセンブリ部
210 ワークピースステージ
212 透明部
220 光源(透過照明光源)
221,281 バス
222,232,332 光源光
230 光源(落射照明光源)
240 光源(斜め照明光源)
250 交換可能対物レンズ
255,355 ワークピース光
260,360 カメラシステム
262 信号ライン
280 ターレットレンズアセンブリ
284 軸
286 レンズ
290,390 ミラー
294 制御可能モータ
296 信号ライン
300 撮像システム
330 光源
350 対物レンズ
351 チューブレンズ
352,386 リレーレンズ
370 可変焦点距離(VFL)レンズ
374 レンズコントローラ
700 ユーザインタフェースディスプレイ
703 視野ウィンドウ
710A,710B ワークピース画像
711,712 表面
720 選択バー
730 座標ウィンドウ
750 光制御ウィンドウ
760 ツールパラメータダイアログボックス
770 多露光ツール
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10