特許 7075744 拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-18

(45)【発行日】2022-05-26

(54)【発明の名称】拡大被写界深度を有する画像を取得するためのマシンビジョン検査システム及び方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20220519BHJP

   G02B 21/06 20060101ALI20220519BHJP

   G02B 3/14 20060101ALI20220519BHJP

【ＦＩ】

G02B21/36

G02B21/06

G02B3/14

【請求項の数】 20

(21)【出願番号】P 2017223987

(22)【出願日】2017-11-21

(65)【公開番号】P2018084821

(43)【公開日】2018-05-31

【審査請求日】2020-10-06

(31)【優先権主張番号】15/360,671

(32)【優先日】2016-11-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000137694

【氏名又は名称】株式会社ミツトヨ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ケイシー エドワード エムトマン

(72)【発明者】

【氏名】ロバート カーミル ブリル

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２０１５－１０４１３６（ＪＰ，Ａ）

【文献】特開２０１５－００１５３１（ＪＰ，Ａ）

【文献】特開２００９－１６８９６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１６６４２６（ＵＳ，Ａ１）

【文献】米国特許第０８１９４３０７（ＵＳ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

Ｇ０２Ｂ ３／１４

(57)【特許請求の範囲】

【請求項1】

マシンビジョン検査システムの撮像システムを動作させて、ある被写界深度を有する少なくとも１つの画像を提供するための方法であって、
（ａ）前記マシンビジョン検査システムの視野内にワークピースを配置することと、
（ｂ）前記撮像システムの焦点位置を、少なくとも３ｋＨｚの周波数で、前記ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって周期的に変更する、ことと、
（ｃ）前記周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて予備画像を露光することであって、
前記複数の離散画像露光増分の各々は、対応する前記離散画像露光増分の前記離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
前記各制御されたタイミングは、前記周期的に変更される焦点位置の前記複数の周期に分散し、前記焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるようにされ、
前記各制御されたタイミングは、前記セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが前記第１の制御されたタイミングに対して遅延するように制御され、前記第２の制御されたタイミングが、前記第１の制御されたタイミングの後、その周期的な変更中に前記焦点位置の変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成されることと、
（ｄ）前記予備画像を処理することにより、前記画像積分時間中に前記焦点範囲内で発生するぼけた画像成分を除去して、前記被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供することと、
を含む方法。

【請求項2】

ステップ（ｃ）において、各離散画像露光増分は、焦点位置が同一方向に変化しているときに各離散焦点位置で取得され、前記照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される、請求項１に記載の方法。

【請求項3】

前記周期的に変更される焦点位置は時間の関数としてほぼ正弦波状に変化する、請求項１に記載の方法。

【請求項4】

「ｉ番目」の制御されたタイミングの各々は、各増加する時間Ｔｉ及び各増分持続時間Ｄｉを含み、
前記各増分持続時間Ｄｉ中で各増加光量Ｌｉが用いられ、
前記予備画像の各離散画像露光増分は、積（Ｌｉ＊Ｄｉ）が各離散画像露光増分でほぼ等しくなるような各増加光量Ｌｉ及び各増分持続時間Ｄｉの組み合わせにより露光される、請求項１に記載の方法。

【請求項5】

第１の焦点位置に対応した離散画像露光増分は、第１の増分持続時間Ｄｉと第１の増加光量Ｌｉとの組み合わせを含み、
前記第１の焦点位置より前記焦点範囲の中央から遠い第２の焦点位置に対応した離散画像露光増分は、前記第１の増分持続時間Ｄｉより長い第２の増分持続時間Ｄｉと前記第１の増加光量Ｌｉより小さい第２の増加光量Ｌｉとの組み合わせを含む、請求項４に記載の方法。

【請求項6】

前記周期的に変更される焦点位置は時間の関数としてほぼ正弦波状に変化し、
前記第１の増分持続時間及び前記第２の増分持続時間は、前記第１の増分持続時間及び前記第２の増分持続時間の間にほぼ同じ量の焦点位置変化を与えるように制御される、請求項５に記載の方法。

【請求項7】

前記焦点範囲は、単一の焦点位置における撮像システムの被写界深度の少なくとも１０倍に及び、
前記各制御されたタイミングは、前記画像積分時間中に少なくとも２０箇所の離散焦点位置のセットを与えるように構成されている、請求項１に記載の方法。

【請求項8】

前記撮像システムは、前記撮像システムにおいて要素間の間隔を巨視的に調整することなく前記撮像システムの焦点位置を周期的に変更するように構成された可変音響式屈折率分布型（ＴＡＧ）レンズを備え、
前記周波数は少なくとも３０ｋＨｚであり、
前記周期的に変更される焦点位置の一つの周期中に最大で６つの離散画像露光増分が与えられる、請求項７に記載の方法。

【請求項9】

前記少なくとも２０箇所の離散焦点位置は前記焦点範囲の少なくとも５０％に分散している、請求項７に記載の方法。

【請求項10】

前記予備画像に用いられる前記複数の離散画像露光増分は、前記画像積分時間中に、前記少なくとも２０箇所の離散焦点位置の各々で取得される離散画像露光増分の第１のインスタンス及び第２のインスタンスを少なくとも含み、
同一の離散焦点位置において離散画像露光増分の前記第１及び第２のインスタンスを取得するため用いられる前記各制御されたタイミングは、前記第２のインスタンスに用いられる制御されたタイミングが、前記第１のインスタンスに用いられる制御されたタイミングに対して遅延し、前記第１のインスタンスに用いられる前記制御されたタイミング後、その周期的な変更中に前記焦点位置変化方向がＭ回（Ｍは少なくとも１）反転した後に生じるよう制御されるように構成される、請求項７に記載の方法。

【請求項11】

前記予備画像を処理してぼけた画像成分を除去することは、前記撮像システムを特徴付ける所定の関数を用いて前記予備画像に対応した画像データのデコンボリューション処理を行って前記ＥＤＯＦ画像を提供することを含む、請求項１に記載の方法。

【請求項12】

前記撮像システムは可変焦点距離レンズを備え、
前記撮像システムの焦点位置を周期的に変更することは、前記可変焦点距離レンズの焦点位置を変更することを含み、
前記撮像システムは、前記可変焦点距離レンズから予備画像光を受光し空間的にフィルタリングするように位置付けられた光学フィルタを更に備え、
ステップ（ｄ）において、前記予備画像を処理してぼけた画像成分を除去することは、前記光学フィルタを用いて前記予備画像光を空間的にフィルタリングして、前記光学フィルタにより出力される光に基づいて前記ＥＤＯＦ画像を提供することを含む、請求項１に記載の方法。

【請求項13】

ステップ（ｃ）及びステップ（ｄ）を繰り返して、前記被写界深度全体を通して実質的に合焦された複数のＥＤＯＦ画像を提供することと、
前記ワークピースの前記複数のＥＤＯＦ画像を、前記マシンビジョン検査システムに含まれるディスプレイ上に与えられたライブビデオディスプレイウィンドウに表示することと、を更に備える、請求項１に記載の方法。

【請求項14】

前記照明源は多数の色源を含み、
前記各制御されたタイミングは、各色源でそれぞれ異なる色源タイミングを含み、
前記撮像システムにおける軸上色収差を補償する前記色源タイミング間のタイミングオフセットを含むことで、前記色源の各々が同一の離散焦点位置を与える、請求項１に記載の方法。

【請求項15】

ある被写界深度を有する、ワークピースの少なくとも１つの画像を提供するための撮像システムであって、
対物レンズと、可変焦点距離音響式屈折率分布型（ＴＡＧ）レンズと、カメラと、
画像積分時間中に前記カメラ内で動作できる制御可能ストロボ照明光源又は高速カメラシャッタの少なくとも１つと、
前記カメラと、存在する場合は前記ストロボ照明光源とを制御するように、かつ、前記ＴＡＧレンズを制御して、前記撮像システムの焦点位置を周期的に変更するように構成された制御システムと、
を備え、前記制御システムは、
（ａ）前記ＴＡＧレンズを制御して、少なくとも３０ｋＨｚの周波数で、前記ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって前記焦点位置を周期的に変更し、
（ｂ）前記撮像システムを動作させて、前記周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて予備画像を露光し、ここで、
前記複数の離散画像露光増分の各々は、対応する前記離散画像露光増分の前記離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
前記各制御されたタイミングは、前記周期的に変更される焦点位置の前記複数の周期に分散し、前記焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるように構成され、
前記各制御されたタイミングは、前記セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが前記第１の制御されたタイミングに対して遅延するように制御され、前記第２の制御されたタイミングが、前記第１の制御されたタイミングの後、その周期的な変更中に前記焦点位置の変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成され、
（ｃ）前記予備画像を処理して、前記画像積分時間中に前記焦点範囲内で発生するぼけた画像成分を除去して、前記被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供する、
ように構成されている、撮像システム。

【請求項16】

「ｉ番目」の制御されたタイミングの各々は、各増加する時間Ｔｉ及び各増分持続時間Ｄｉを含み、
前記各増分持続時間Ｄｉ中で各増加光量Ｌｉが用いられ、
前記予備画像の各離散画像露光増分は、積（Ｌｉ＊Ｄｉ）が各離散画像露光増分でほぼ等しくなるような各増加光量Ｌｉ及び各増分持続時間Ｄｉの組み合わせにより露光される、請求項１５に記載の撮像システム。

【請求項17】

第１の焦点位置に対応した離散画像露光増分は、第１の増分持続時間Ｄｉと第１の増加光量Ｌｉとの組み合わせを含み、
前記第１の焦点位置より前記焦点範囲の中央から遠い第２の焦点位置に対応した離散画像露光増分は、前記第１の増分持続時間Ｄｉより長い第２の増分持続時間Ｄｉと前記第１の増加光量Ｌｉより小さい第２の増加光量Ｌｉとの組み合わせを含み、
前記周期的に変更される焦点位置は時間の関数としてほぼ正弦波状に変化し、
前記第１の増分持続時間及び前記第２の増分持続時間は、前記第１の増分持続時間及び前記第２の増分持続時間の間にほぼ同じ量の焦点位置変化を与えるように制御される、請求項１６に記載の撮像システム。

【請求項18】

前記焦点範囲は、単一の焦点位置における撮像システムの被写界深度の少なくとも１０倍に及び、
前記各制御されたタイミングは、前記画像積分時間中に少なくとも２０箇所の離散焦点位置のセットを与えるように構成されている、請求項１５に記載の撮像システム。

【請求項19】

前記周期的に変更される焦点位置の一つの周期中に最大で６つの離散画像露光増分が与えられる、請求項１５に記載の撮像システム。

【請求項20】

前記予備画像を処理してぼけた画像成分を除去することは、前記撮像システムを特徴付ける所定の関数を用いて前記予備画像に対応した画像データのデコンボリューション処理を行って前記ＥＤＯＦ画像を提供することを含む、請求項１５に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般にマシンビジョン検査システムに関し、より詳細には、拡大被写界深度撮像動作に関する。

【背景技術】

【0002】

精密マシンビジョン検査システム（又は略して「ビジョンシステム」）は、物体の精密な寸法測定値を得ると共に他の様々な物体の特徴を検査するために使用される。そのようなシステムは、コンピュータと、カメラと、光学システムと、ワークピースの走査及び検査を可能とするために移動する精密ステージと、を含み得る。汎用の「オフライン」精密ビジョンシステムとして特徴付けられる１つの例示的な従来技術のシステムは、イリノイ州オーロラに位置するＭｉｔｕｔｏｙｏ Ａｍｅｒｉｃａ Ｃｏｒｐｏｒａｔｉｏｎ（ＭＡＣ）から入手可能なＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのＰＣベースのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアである。ＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアの機能及び動作については、概ね、例えば２００３年１月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣビジョン測定機ユーザガイド、及び、１９９６年９月に発表されたＱＶＰＡＫ ３Ｄ ＣＮＣビジョン測定機動作ガイドに記載されている。このタイプのシステムは、顕微鏡型の光学システムを利用し、小型又は比較的大型のワークピースの検査画像を様々な倍率で提供するようにステージを移動させる。

【0003】

汎用の精密マシンビジョン検査システムは一般に、自動化ビデオ検査を行うようにプログラム可能である。このようなシステムは通常、「非専門家」の作業者が動作及びプログラミングを実行できるように、ＧＵＩ機能及び既定の画像解析「ビデオツール」を含む。例えば米国特許第６，５４２，１８０号は、様々なビデオツールを使用する自動化ビデオ検査を利用したビジョンシステムを示している。

【0004】

具体的な検査イベントシーケンス（すなわち、各画像をどのように取得するか、及び取得した各画像をどのように解析／検査するか）を含むマシン制御命令は、一般に、特定のワークピース構成に固有の「パートプログラム」又は「ワークピースプログラム」として記憶されている。例えばパートプログラムは、各画像をどのように取得するか、どの照明レベルで、どの倍率レベルで、どのようにワークピースに対してカメラを位置決めするか等を規定する。更にパートプログラムは、例えば自動合焦ビデオツールのような１つ以上のビデオツールを用いることにより、取得した画像をどのように解析／検査するかを規定する。

【0005】

ビデオツール（又は略して「ツール」）及びその他のグラフィカルユーザインタフェース機能を、手動で用いて、（「手動モード」で）手動の検査及び／又はマシン制御動作を達成することができる。自動検査プログラム又は「パートプログラム」を生成するため、それらのセットアップパラメータ及び動作も学習モード中に記録することができる。ビデオツールには、例えばエッジ／境界検出ツール、自動合焦ツール、形状又はパターンマッチングツール、寸法測定ツール等が含まれ得る。

【発明の概要】

【発明が解決しようとする課題】

【0006】

いくつかの用途において、マシンビジョン検査システムの撮像システムは、単一の焦点位置で光学撮像システムによって与えられる被写界深度よりも深い拡大被写界深度（ＥＤＯＦ：ｅｘｔｅｎｄｅｄ ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）で画像を収集するように動作することが望ましい。拡大被写界深度で画像を収集するための様々な方法が知られている。そのような方法の１つは、焦点範囲全体にわたる様々な距離で合焦された同一視野又は位置合わせされた複数の画像から成る画像「スタック」を収集することである。画像スタックから、視野のモザイク画像（多数の画像により合成された画像）が構築される。モザイク画像における視野の各部分は、その部分を最もよい焦点で表す特定の画像から抽出されている。しかしながら、この方法は比較的速度が遅い。別の例として、Ｎａｇａｈａｒａ等（「Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、２００８年１０月）は、一つの画像をその露光時間中に複数の焦点距離に沿って露光させる方法を開示している。この画像は比較的ぼけているが、複数の焦点距離にわたって取得された画像情報を含んでいる。この画像に、既知の又は所定の像のボケ核（以下、ブラーカーネル（ｂｌｕｒ ｋｅｒｎｅｌ））を用いてデコンボリューションを行うことで、拡大被写界深度で比較的クリアな画像が得られる。Ｎａｇａｈａｒａに記載された方法では、撮像システムの光軸に沿って画像検出器を平行移動させることによって焦点距離を変化させる。この結果、露光中の様々な時点において検出器上で様々な焦点面が合焦される。しかしながら、このような方法は比較的速度が遅く、機械的に複雑である。更に、検出器の位置を変えることは、（例えば数マイクロメータのオーダーの精度を得るための）精密測定等で使用しなければならない固定焦点検査画像を取得するために用いる場合、再現性及び／又は精度に対して悪影響を及ぼし得る。光学構成要素の機械的な平行移動に頼ることなく高速で実行することができる、拡大被写界深度（ＥＤＯＦ）画像を提供するための改良された方法が望まれている。

【課題を解決するための手段】

【0007】

典型的な高速可変焦点レンズは、焦点位置を（線形とは対照的に）正弦波状に変更し得るが、これは一般に、拡大被写界深度（ＥＤＯＦ）画像の取得に用いられる焦点位置変更サイクル全体を通して均等な又は「バランスのとれた（ｂａｌａｎｃｅｄ）」露光を提供しない。これに対して、高速可変焦点レンズを用いた様々な用途では、拡大被写界深度（ＥＤＯＦ）画像の取得に用いられる焦点位置変更サイクル全体を通して均等な又は「バランスのとれた」露光を与えることが望ましい。

【0008】

単一の焦点位置における撮像システムの被写界深度よりも深い被写界深度を有する少なくとも１つの画像を提供するために、マシンビジョン検査システムの撮像システムを動作させる方法が開示される。様々な実施形態においてこの方法は、本明細書に記載する原理に従って、複数の離散画像露光増分を含む画像露光を用いて予備ＥＤＯＦ画像（ｐｒｅｌｉｍｉｎａｒｙ ＥＤＯＦ ｉｍａｇｅ）を露光することを含む。

【0009】

様々な実施形態において、この方法は、マシンビジョン検査システムの視野内にワークピースを配置することを含み得る。好ましくは、撮像システムにおいて要素間の間隔を巨視的に調整することなく、可変焦点撮像システムの焦点位置を周期的に変更する。焦点位置は、少なくとも３ｋＨｚの変更周波数で、ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって周期的に変更される。

【0010】

様々な実施形態では、周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて予備ＥＤＯＦ画像を露光する。ここで、
複数の離散画像露光増分の各々は、対応する離散画像露光増分の離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
各制御されたタイミングは、周期的に変更される焦点位置の複数の周期に分散し、焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるように構成され、
各制御されたタイミングは、セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、第１の制御されたタイミングの後、その周期的な変更中に焦点位置の変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成される。

【0011】

様々な実施形態では、予備ＥＤＯＦ画像を処理して、画像積分時間中に焦点範囲内で発生するぼけた画像成分を除去して、被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供することができる。いくつかの実施形態では、そのような処理は、その焦点範囲全体を通して撮像システムを特徴付けるブラーカーネル（例えば積分点像分布関数（ｉｎｔｅｇｒａｔｅｄ ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ））を用いてデコンボリューション動作を実行することを含み得る。

【0012】

いくつかの実施形態では、各離散画像露光増分は、各離散画像露光増分が名目上等しい露光エネルギーを予備ＥＤＯＦ画像に与えるような、増分露光持続時間と増分露光持続時間中に用いられる照明強度との組み合わせを含む。いくつかの実施形態では、異なる焦点位置に対応する増分露光持続時間は、各離散画像露光増分中にほぼ同じ量の焦点位置変化が起こるように調整される。

【0013】

本明細書に開示するいくつかの実施形態では、（部分的な連続を含む）連続的なＥＤＯＦ画像露光を用いることができる。しかしながら、そのような方法の１つの欠点は、関連するＥＤＯＦ画像露光が焦点範囲全体を通して一様でないことであり、これは多くの実施形態で悪影響を生じる。この節において上記で強調した代替的な方法は、先に概説したように、複数の離散画像露光増分を用いて高速可変焦点レンズ（又は撮像システム）の焦点範囲内で予備ＥＤＯＦ画像を取得することを含む。そのようなＥＤＯＦ画像露光方法は、様々な実施形態において、より適応性が高く、高精度で、及び／又はロバストな方法であり得るという点で、いっそう望ましい場合がある。

【0014】

そのような方法を、極めて高速で周期的に変更される可変焦点レンズ（例えばＴＡＧレンズ）と併用する場合、（可変焦点レンズの固有の特徴として）焦点位置は迅速に変化し得るので、実際のシステムにおいて、タイミング、制御、及び「露光量」について深刻な問題が発生するおそれがある。そのような問題に対する実際的な解決策を与えるため、以下に開示する様々な実施形態では、ＥＤＯＦ画像露光の構成部分として用いられる離散画像露光増分を複数の周期的な焦点変更にわたって取得する。この取得の際、上記で概説し以下で更に詳細かつ多様に開示するいくつかの原理に従って構成され、制御されたタイミングを用いる。

【図面の簡単な説明】

【0015】

本発明の前述の態様及び付随する利点の多くは、以下の詳細な説明を添付図面と関連付けて参照することでより良く理解すれば、いっそう容易に認められよう。

【0016】

【図1】汎用の精密マシンビジョン検査システムの種々の典型的な構成要素を示す図である。

【図2】図１のシステムと同様の、本発明に開示する特徴を含むマシンビジョン検査システムの制御システム部及びビジョン構成要素部のブロック図である。

【図3】マシンビジョン検査システムに適合させることができ、本明細書に開示する原理に従って動作することができるＥＤＯＦ撮像システムの第１の実施形態の概略図である。

【図4】本明細書に開示する原理に従ったＥＤＯＦ撮像システム（例えば図３の撮像システム３００）の一実施形態において使用することができる、画像露光中の焦点高さの例示的なタイミング図を示す。

【図5】本明細書に開示する原理に従ってマシンビジョン検査システムに適合させると共に動作させることができるＥＤＯＦ撮像システムの第２の実施形態の概略図を示す。

【図6A】ＥＤＯＦ撮像システムからの画像の光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、撮像システムのフーリエ面において使用できる光学フィルタの第１の実施形態を特徴付けるグラフである。

【図6B】撮像システムのフーリエ面において使用できる光学フィルタの第２の実施形態を特徴付けるグラフである。

【図7】ＥＤＯＦ撮像システムからの予備画像の計算によるデコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をほぼリアルタイムで与えるための、マシンビジョン検査システムの撮像システムを動作させる方法の一実施形態を示すフロー図である。

【図8A】本明細書に記載する原理に従った、離散画像露光増分の使用を含む、ＥＤＯＦ撮像システム（例えば図３の撮像システム）に適した３つの異なる画像露光実施の様々な態様のうち１つを示す例示的なタイミング図である。

【図8B】本明細書に記載する原理に従った、離散画像露光増分の使用を含む、ＥＤＯＦ撮像システム（例えば図３の撮像システム）に適した３つの異なる画像露光実施の様々な態様のうち１つを示す例示的なタイミング図である。

【図8C】本明細書に記載する原理に従った、離散画像露光増分の使用を含む、ＥＤＯＦ撮像システム（例えば図３の撮像システム）に適した３つの異なる画像露光実施の様々な態様のうち１つを示す例示的なタイミング図である。

【図9】離散焦点位置と、対応する離散画像露光増分に関連したいくつかの他の特徴と、を規定するために用いることができる制御されたタイミング構成の１つの例示的な実施の詳細を含むタイミング図を示す。

【図10】本明細書に開示する原理に従って、単一の焦点位置における撮像システムの被写界深度よりも深い被写界深度を有する少なくとも１つのＥＤＯＦ画像を与えるために、（例えば検査システムにおける）撮像システムを動作させるための、離散画像露光増分の使用を含む方法の一実施形態を示すフロー図である。

【発明を実施するための形態】

【0017】

図１は、本明細書に開示する方法に従って使用可能である１つの例示的なマシンビジョン検査システム１０のブロック図である。マシンビジョン検査システム１０は、制御コンピュータシステム１４とデータ及び制御信号を交換するように動作可能に接続された画像測定機１２を含む。制御コンピュータシステム１４は更に、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６とデータ及び制御信号を交換できるように接続されている。モニタ又はディスプレイ１６は、マシンビジョン検査システム１０の動作の制御及び／又はプログラミングに適したユーザインタフェースを表示することができる。様々な実施形態において、タッチスクリーンタブレット等が、コンピュータシステム１４、ディスプレイ１６、ジョイスティック２２、キーボード２４、及びマウス２６のいずれか又は全ての機能の代用となり得ること及び／又はこれらの機能を冗長的に与え得ることは認められよう。

【0018】

制御コンピュータシステム１４は一般にいかなるコンピューティングシステム又はデバイスからも構成可能であることは当業者には認められよう。適切なコンピューティングシステム又はデバイスには、パーソナルコンピュータ、サーバコンピュータ、マイクロコンピュータ、メインフレームコンピュータ、上記のいずれかを含む分散型コンピューティング環境等が含まれ得る。このようなコンピューティングシステム又はデバイスは、本明細書に記載する機能を実現するためにソフトウェアを実行する１つ以上のプロセッサを含み得る。プロセッサには、プログラマブル汎用又は特殊用途マイクロプロセッサ、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）等、又はそのようなデバイスの組み合わせが含まれる。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ等のメモリ、又はそのような構成要素の組み合わせに記憶することができる。また、ソフトウェアは、光学ベースのディスク、フラッシュメモリデバイス、又はデータを記憶するための他のいずれかのタイプの不揮発性記憶媒体のような１つ以上の記憶デバイスに記憶してもよい。ソフトウェアは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む１つ以上のプログラムモジュールを含み得る。分散型コンピューティング環境では、プログラムモジュールの機能性は、有線又は無線のいずれかの構成において、多数のコンピューティングシステム又はデバイス間で組み合わせるか又は分散させ、サービスコールを介してアクセスすることができる。

【0019】

画像測定機１２は、可動ワークピースステージ３２と、ズームレンズ又は交換可能レンズを含み得る光学撮像システム３４と、を含む。ズームレンズ又は交換可能レンズは一般に、光学撮像システム３４によって得られる画像に様々な倍率を与える。マシンビジョン検査システム１０は、本発明の譲受人に譲渡された米国特許第７，４５４，０５３号、第７，３２４，６８２号、第８，１１１，９０５号、及び８，１１１，９３８号にも記載されている。

【0020】

図２は、図１のマシンビジョン検査システムと同様の、本明細書に記載する特徴を含むマシンビジョン検査システム１００の制御システム部１２０及びビジョン構成要素部２００のブロック図である。以下で詳述するように、制御システム部１２０を用いてビジョン構成要素部２００を制御する。ビジョン構成要素部２００は、光学アセンブリ部２０５と、光源２２０、２３０、及び２４０と、中央の透明部２１２を有するワークピースステージ２１０と、を含む。ワークピースステージ２１０は、ワークピース２０を位置決めすることができるステージの表面に対して概ね平行な面内にあるＸ軸及びＹ軸に沿って制御可能に移動させることができる。光学アセンブリ部２０５は、カメラシステム２６０及び交換可能対物レンズ２５０を含み、レンズ２８６と２８８を有するターレットレンズアセンブリ２８０も含む場合がある。ターレットレンズアセンブリの代わりに、固定もしくは手作業で交換可能な倍率可変レンズ（ｍａｇｎｉｆｉｃａｔｉｏｎ－ａｌｔｅｒｉｎｇ ｌｅｎｓ）、又はズームレンズ構成等を含んでもよい。

【0021】

光学アセンブリ部２０５は、制御可能モータ２９４を用いることで、Ｘ軸及びＹ軸に概ね直交したＺ軸に沿って制御可能に移動させることができる。制御可能モータ２９４はアクチュエータを駆動して、ワークピース２０の画像の焦点を変えるために光学アセンブリ部２０５をＺ軸に沿って動かす。制御可能モータ２９４は信号ライン２９６を介して入出力インタフェース１３０に接続されている。

【0022】

マシンビジョン検査システム１００を用いて撮像されるワークピース２０、又は複数のワークピース２０を保持しているトレイもしくは固定具は、ワークピースステージ２１０上に配置されている。交換可能対物レンズ２５０がワークピース２０上の複数の位置間で及び／又は複数のワークピース２０間で移動するように、ワークピースステージ２１０は、光学アセンブリ部２０５に対して移動するように制御される。透過照明光源２２０、落射照明光源２３０、及び斜め照明光源２４０（例えばリング光）の１つ以上（まとめて光源と呼ぶ）が、それぞれ光源光２２２、２３２、及び／又は２４２を発して、１つ又は複数のワークピース２０を照明することができる。光源２３０は、ミラー２９０を含む経路に沿うように光２３２を発することができる。光源光はワークピース光２５５として反射又は透過され、撮像のため用いられるワークピース光は、交換可能対物レンズ２５０及びターレットレンズアセンブリ２８０を通過して、カメラシステム２６０によって集光される。カメラシステム２６０によりキャプチャされた１つのワークピース（又は複数のワークピース）２０の画像は、制御システム部１２０への信号ライン２６２に出力される。光源２２０、２３０、及び２４０は、それぞれ信号ライン又はバス２２１、２３１、及び２４１を介して制御システム部１２０に接続することができる。画像の倍率を変更するため、制御システム部１２０は、ターレットレンズアセンブリ２８０を軸２８４に沿って回転させることで、信号ライン又はバス２８１を介してターレットレンズを１つ選択することができる。

【0023】

図２に示すように、種々の例示的な実施形態において制御システム部１２０は、制御部１２５、入出力インタフェース１３０、メモリ１４０、ワークピースプログラム生成器及び実行器１７０、及び電源部１９０を含む。これらの構成要素及び以下で説明する追加の構成要素の各々は、１つ以上のデータ／制御バス及び／又はアプリケーションプログラミングインタフェースによって、又は様々な要素間の直接接続によって、相互接続することができる。

【0024】

入出力インタフェース１３０は、撮像制御インタフェース１３１、移動制御インタフェース１３２、照明制御インタフェース１３３、及びレンズ制御インタフェース１３４を含む。撮像制御インタフェース１３１は、拡大被写界深度（ＥＤＯＦ）モード１３１ｅを含むことができる。このモードは、ユーザによって選択されて、単一の焦点位置で合焦された場合にビジョン構成要素部２００によって与え得るよりも深い被写界深度でワークピースの少なくとも１つの画像を収集することができる。レンズ制御インタフェース１３４は、レンズ焦点駆動回路及び／又はルーチン等を含むＥＤＯＦレンズ制御部を含み得る。拡大被写界深度モード及びＥＤＯＦレンズ制御インタフェース及び／又は制御部に関連した動作及び構成要素については、以下で図３～図７を参照して更に説明する。移動制御インタフェース１３２は、位置制御要素１３２ａ及び速度／加速度制御要素１３２ｂを含み得るが、これらの要素は併合される場合、及び／又は区別できない場合もある。照明制御インタフェース１３３は、照明制御要素１３３ａ、１３３ｎ、及び１３３ｆｌを含むことができ、これらは、マシンビジョン検査システム１００の様々な対応する光源について、例えば選択、パワー、オン／オフ切り換え、及びストロボパルスタイミングを適用可能な場合に制御する。

【0025】

メモリ１４０は、画像ファイルメモリ部１４１、エッジ検出メモリ部１４０ｅｄ、１つ以上のパートプログラム等を含み得るワークピースプログラムメモリ部１４２、及びビデオツール部１４３を含むことができる。ビデオツール部１４３は、対応する各ビデオツールのためのＧＵＩや画像処理動作等を確定するビデオツール部１４３ａ及び他のビデオツール部（例えば１４３ｎ）、並びに関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）生成器１４３ｒｏｉを含む。関心領域生成器１４３ｒｏｉは、ビデオツール部１４３内に含まれる様々なビデオツールにおいて動作可能である様々なＲＯＩを規定する自動、半自動、及び／又は手動の動作をサポートする。ビデオツール部は、例えば焦点高さ測定動作のためのＧＵＩや画像処理動作等を確定する自動合焦ビデオツール１４３ａｆも含む。本開示のコンテキストにおいて、当業者に既知であるように、「ビデオツール」という言葉は概ね、マシンビジョンユーザが、ビデオツールに含まれる動作の段階的シーケンスを生成することなく、また汎用のテキストベースのプログラミング言語等に頼ることもなく、比較的シンプルなユーザインタフェース（例えばグラフィカルユーザインタフェース、編集可能パラメータウィンドウ、メニュー等）を介して実施可能である比較的複雑な自動化又はプログラミングされた動作セットのことである。例えばビデオツールは、あらかじめプログラミングされた複雑な画像処理動作セット及び計算を含み、これらの動作及び計算を規定する少数の変数及びパラメータを調整することによって特定のインスタンスでこれらを適用及びカスタム化することができる。ビデオツールは、基礎にある動作及び計算の他に、ビデオツールの特定のインスタンス向けにそれらのパラメータをユーザが調整することを可能とするユーザインタフェースも備えている。例えば、多くのマシンビジョンビデオツールによってユーザは、マウスを用いたシンプルな「ハンドルドラッグ」動作を行ってグラフィックの関心領域（ＲＯＩ）インジケータを構成して、ビデオツールの特定のインスタンスの画像処理動作で解析対象となる画像サブセットの位置パラメータを定義することができる。場合によっては、目に見えるユーザインタフェース機能がビデオツールと称され、基礎にある動作は暗黙的に含まれることに留意すべきである。

【0026】

透過照明光源２２０、落射照明光源２３０と２３０’、及び斜め照明光源２４０のそれぞれの信号ライン又はバス２２１、２３１、及び２４１は全て、入出力インタフェース１３０に接続されている。カメラシステム２６０からの信号ライン２６２、及び制御可能モータ２９４からの信号ライン２９６も、入出力インタフェース１３０に接続されている。信号ライン２６２は、画像データの伝達に加えて、画像取得を開始する制御部１２５からの信号も伝達することができる。

【0027】

１つ以上のディスプレイデバイス１３６（例えば図１のディスプレイ１６）及び１つ以上の入力デバイス１３８（例えば図１のジョイスティック２２、キーボード２４、及びマウス２６）も、入出力インタフェース１３０に接続することができる。ディスプレイデバイス１３６及び入力デバイス１３８を用いて、様々なグラフィカルユーザインタフェース（ＧＵＩ）機能を含み得るユーザインタフェースを表示することができる。それらの機能は、検査動作の実行、及び／又はパートプログラムの生成及び／又は修正、カメラシステム２６０によってキャプチャされた画像の閲覧、及び／又はビジョン構成要素部２００の直接制御のために使用可能である。ディスプレイデバイス１３６は、自動合焦ビデオツール１４３ａｆ等に関連付けてユーザインタフェース機能を表示することができる。

【0028】

種々の例示的な実施において、ユーザがマシンビジョン検査システム１００を用いてワークピース２０のためのパートプログラムを生成する場合、ユーザは、マシンビジョン検査システム１００を学習モードで動作させて所望の画像取得訓練シーケンスを提供することによって、パートプログラム命令を発生させる。例えば訓練シーケンスは、代表的ワークピースの特定のワークピース要素を視野（ＦＯＶ：Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）内に位置決めし、光レベルを設定し、合焦又は自動合焦を行い、画像を取得し、（例えばそのワークピース要素でビデオツールのうち１つのインスタンスを用いて）画像に適用される検査訓練シーケンスを提供することを含み得る。学習モードは、このシーケンス（複数のシーケンス）がキャプチャ又は記録されて、対応するパートプログラム命令に変換されるように動作する。パートプログラムが実行された場合、これらの命令はマシンビジョン検査システムに訓練した画像取得を再現させると共に、検査動作を行って、パートプログラムの生成時に用いた代表的ワークピースに合致する実行モード（ｒｕｎ ｍｏｄｅ）の１つのワークピース又は複数のワークピース上の特定のワークピース要素（すなわち対応位置での対応する要素）を自動的に検査させる。本明細書に開示されるシステム及び方法は、ユーザが視覚検査及び／又はワークピースプログラム生成のためにワークピースをナビゲートしながら、リアルタイムでＥＤＯＦビデオ画像を視認できるので、そのような学習モード及び／又は手動動作の際に特に有用である。ユーザは、ワークピース上の様々な顕微鏡的要素の高さに応じて高倍率画像を常に再合焦する必要がない。この再合焦は、特に高倍率では、退屈であると共に長い時間を要する可能性がある。

【0029】

図３は、マシンビジョン検査システムに適合させることができ、本明細書に開示する原理に従って動作することができるＥＤＯＦ撮像システム３００の第１の実施形態の概略図である。撮像システム３００は、単一の焦点位置における光学撮像システムよりも深い拡大被写界深度を有する（様々な実施形態では１０～２０倍以上）ワークピースの少なくとも１つの画像を提供するように構成できる。撮像システム３００は、撮像システム３００の視野内でワークピースを照明するように構成可能である光源３３０、対物レンズ３５０、リレーレンズ３５１、リレーレンズ３５２、可変焦点距離レンズ３７０、チューブレンズ３８６、及びカメラシステム３６０を含む。

【0030】

動作において、光源３３０は、光源光３３２を、ミラー３９０を含む経路に沿ってワークピース３２０の表面へと発するように構成することができる。対物レンズ３５０は、ワークピース３２０に近接した焦点位置ＦＰで集束されたワークピース光を含むワークピース光３３２を受光し、ワークピース光３５５をリレーレンズ３５１に出力する。リレーレンズ３５１はワークピース光３５５を受光し、これをリレーレンズ３５２に出力する。リレーレンズ３５２はワークピース光３５５を受光し、これを可変焦点距離レンズ３７０に出力する。これと共に、ワークピース３２０の各Ｚ高さ及び／又は焦点位置ＦＰで一定の倍率を与えるため、リレーレンズ３５１及びリレーレンズ３５２は、対物レンズ３５０と可変焦点距離レンズ３７０との間に４ｆ光学リレーを提供する。可変焦点距離レンズ３７０はワークピース光３５５を受光し、これをチューブレンズ３８６に出力する。可変焦点距離レンズ３７０は、１回以上の画像露光中に撮像システムの焦点位置ＦＰを変えるよう電子的に制御可能である。焦点位置ＦＰは、焦点位置ＦＰ１と焦点位置ＦＰ２によって画定される範囲Ｒ内で動かすことができる。いくつかの実施形態において、範囲Ｒは、例えば撮像制御インタフェース１３１のＥＤＯＦモード１３１ｅにおいて、ユーザによって選択可能であることは認められよう。

【0031】

様々な実施形態において、マシンビジョン検査システムは、撮像システム３００の焦点位置を周期的に変更するため、可変焦点距離レンズ３７０を制御するように構成可能である制御システム（例えば制御システム部１２０）を備える。いくつかの実施形態では、可変焦点距離レンズ３７０は迅速に焦点位置を調整又は変更することができる（例えば周期的に、少なくとも３００Ｈｚ、又は３ｋＨｚ、又はこれらよりもはるかに高いレートで）。いくつかの実施形態において、範囲Ｒは、（例えば１倍の対物レンズ３５０では）約１０ｍｍの大きさとすることができる。様々な実施形態において、可変焦点距離レンズ３７０は、焦点位置ＦＰを変えるために撮像システムの巨視的な機械的調整及び／又は対物レンズ３５０とワークピース３２０との間の距離の調整を必要としないように、有利に選択される。そのような場合、ＥＤＯＦ画像を高レートで取得することができ、更に、（例えば数マイクロメートルのオーダーの精度の）精密測定等に使用しなければならない固定焦点検査画像を取得するため同一の撮像システムを用いる場合に、精度を低下させる巨視的な調整要素も、これに伴う位置決めの非再現性も存在しない。例えばいくつかの実施形態では、ユーザへの表示画像としてＥＤＯＦ画像を使用し、その後、焦点位置の周期的な変更を終了させて（例えば、前述のＥＤＯＦモード制御要素１３１ｅ、又はアクティブ測定動作に基づく自動終了等を用いて）、撮像システムの固定焦点位置を与えることが望ましい。次いで、システムを用いて、固定焦点位置で撮像システムを使用して特定の要素の測定画像を露光することができる。この安定した高解像度測定画像を処理して、ワークピースを高精度で測定できる。

【0032】

様々な実施において、可変焦点距離レンズ３７０は可変音響式屈折率分布型（「ＴＡＧ」：ｔｕｎａｂｌｅ ａｃｏｕｓｔｉｃ ｇｒａｄｉｅｎｔ ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ）レンズとすることができる。可変音響式屈折率分布型レンズは、流体媒質中で音波を用いて焦点位置を変更する高速可変焦点距離レンズであり、焦点距離範囲を数百ｋＨｚの周波数で周期的にスイープすることができる。このようなレンズは、論文「Ｈｉｇｈ－ｓｐｅｅｄ ｖａｒｉｆｏｃａｌ ｉｍａｇｉｎｇ ｗｉｔｈ ａ ｔｕｎａｂｌｅ ａｃｏｕｓｔｉｃ ｇｒａｄｉｅｎｔ ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ ｌｅｎｓ」（Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ、Ｖｏｌ．３３、Ｎｏ．１８、２００８年９月１５日）の教示によって理解することができる。可変音響式屈折率分布型レンズ及びこれに関連した制御可能信号生成器は、例えばＴＡＧ Ｏｐｔｉｃｓ， Ｉｎｃ．（ニュージャージー州プリンストン）から入手可能である。例えば、ＳＲ３８シリーズのレンズは最大で１．０ＭＨｚの変更が可能である。

【0033】

可変焦点距離レンズ３７０は、これを制御する信号を生成することができるＥＤＯＦレンズ制御部３７４によって駆動され得る。一実施形態において、ＥＤＯＦレンズ制御部３７４は、上記で言及したもののような市販の制御可能な信号生成器であってよい。いくつかの実施形態では、ＥＤＯＦレンズ制御部３７４は、図２を参照して先に概説したように、撮像制御インタフェース１３１及び／又はＥＤＯＦモード１３１ｅのユーザインタフェース及び／又はレンズ制御インタフェース１３４を介して、ユーザ及び／又は動作プログラムによって構成又は制御され得る。いくつかの実施形態では、可変焦点距離レンズ３７０は、焦点位置ＦＰが高周波数で経時的に正弦波状に変更されるように、周期的な信号を用いて駆動することができる。例えばいくつかの例示的な実施形態では、可変音響式屈折率分布型レンズは４００ｋＨｚという高さの焦点走査速度向けに構成可能であるが、様々な実施形態及び／又は用途では、より低速の焦点位置調整及び／又は変更周波数が望ましい場合があることは認められよう。例えば、様々な実施形態において、３００Ｈｚ、又は３ｋＨｚ等の周期的な変更を使用することができる。低速の焦点位置調整を用いる実施形態では、可変焦点距離レンズ３７０は制御可能液体レンズ（ｆｌｕｉｄ ｌｅｎｓ）等を含み得る。

【0034】

図３に示すＥＤＯＦ撮像システムの実施形態を使用できるのは、ＥＤＯＦ撮像システム及びこれに伴う信号処理が、ＥＤＯＦ撮像システムからの予備画像の計算によるデコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をほぼリアルタイムで与えるように構成されている場合である。例えば制御システム（例えば図２に示す制御システム部１２０）は、画像露光中にＥＤＯＦ焦点範囲全体にわたって変更焦点位置を少なくとも１度スイープする過程で予備画像を収集し、ぼけている可能性のあるこの予備画像を処理して比較的クリアな画像を決定するように構成されている。一実施形態において、予備画像は、予備画像の焦点範囲に対応した既知の又は所定の点像分布関数（ＰＳＦ：ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）を用いて処理又はデコンボリューションを行うことができる。点像分布関数Ｐ（ＦＰ）は、錯乱円（ｂｌｕｒ ｃｉｒｃｌｅ）、すなわち、撮像システムから所与の距離における点光源の円形像を、錯乱円の半径ｒ及び焦点位置ＦＰの関数として特徴付ける。点像分布関数は、既知の方法に従って、撮像システム（例えば撮像システム３００）について実験的に決定されるか、又はピルボックス（ｐｉｌｌ ｂｏｘ）もしくはガウス曲線のような関数でモデル化された点像分布関数を用いて推定するか、又は例えばフーリエ光学のような基本的な回折原理を用いて推定すればよい。焦点範囲内の様々な焦点距離におけるそのような点像分布関数は、それらに予想される露光成分又は適用性に従って重み付けを行うことができる。例えば、露光中に焦点距離が移動する場合、各焦点距離はその露光内の対応する時間期間だけ画像露光に寄与するので、その距離に対応した点像分布関数にそれに応じた重み付けを行うことができる。このような重み付けした点像分布関数成分を、予想される焦点範囲Ｒ全体で合計又は積分すればよい。あるいは、焦点距離の変化が既知の時間関数である場合、そのような点像分布関数成分を、予想される焦点範囲Ｒのスイープに対応した時間期間にわたって積分すればよい。これは、下記の式３を参照して示す手法に類似している。

【0035】

変更焦点位置を用いる撮像システムについて、積分点像分布関数ｈは以下の関係に従う。

【数1】

ここで、Ｐ（ＦＰ（ｔ））は点像分布関数であり、ＦＰ（ｔ）は時間に依存した焦点位置である。マシンビジョン検査システムの撮像システムの焦点位置は、予備画像の画像露光又は積分時間に相当する合計積分時間Ｔにわたって、時間ｔの関数として変更され得る。

【0036】

予備画像のデコンボリューションは、いくつかの用途では「ブラー関数（ｂｌｕｒ ｆｕｎｃｔｉｏｎ）」と称され得る積分点像分布関数ｈから、露光においてそれぞれ持続時間を有する複数の焦点位置の範囲にわたって露光された深い被写界深度の画像をデコンボリューションする逆演算（ｉｎｖｅｒｓｅ ｆｕｎｃｔｉｏｎ）として理解することができる。予備画像は、以下の式によって、拡大被写界深度画像ｆ（ｘ，ｙ）（次元ｍ×ｎの画像アレイに対応する）のコンボリューションである２次元関数ｇ（ｘ，ｙ）として、積分点像分布関数ｈを用いて表すことができる。

【数2】

【0037】

周波数領域では、このコンボリューションを、ｆ及びｈのフーリエ変換の積によって、Ｆ及びＨとして表すことができる。

【数3】

【0038】

ｆ及びｈのフーリエ変換は、高速フーリエ変換（ＦＦＴ）アルゴリズムを用いて効率的に求めることができる。（周波数領域の）ＥＤＯＦ画像は、ここではＨ_rと表記するＨの逆数によって画像Ｇを処理する（すなわち、これを乗算する）ことによって求めることができる。逆数Ｈ_rは、いくつかの既知の方法で計算できる。例えば、以下の式によって、単純なＨの擬似逆行列（ｐｓｅｕｄｏ ｉｎｖｅｒｓｅ）を求めることができる。

【数4】

【0039】

ここで、Ｈ＊はＨの複素共役であり、ｋは撮像システム３００の特性に基づいて経験的に選択される実数である。１つの例示的な実施形態では、ｋは０．０００１である。最終的に、拡大被写界深度画像ｆは以下のように計算することができる。

【数5】

【0040】

擬似逆行列に代わる更にロバストな代替案を、ウィーナーデコンボリューション（Ｗｉｅｎｅｒ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）、又はルーシー・リチャードソン反復アルゴリズム（Ｌｕｃｙ－Ｒｉｃｈａｒｄｓｏｎ ｉｔｅｒａｔｉｖｅ ａｌｇｏｒｉｔｈｍ）に従って計算することができる。これらは、Ｋｅｎｎｅｔｈ Ｒ．ＣａｓｔｌｅｍａｎによるＤｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（Ｐｒｅｎｔｉｃｅ－Ｈａｌｌ，Ｉｎｃ．１９９６年）に記載されている。更に、画像の処理は、ブロックベースのノイズ除去（ｄｅｎｏｉｓｉｎｇ）を含むことができる。

【0041】

異なる実施形態では、図５及び図６を参照して以下に詳述するように、デコンボリューションは、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、フーリエ光学の基本的な方法に従ってＥＤＯＦ撮像システムのフーリエ面に配置された受動光学フィルタを用いて光学的に実行することができる。

【0042】

例示的な実施形態において、撮像システム３００は、露光中に所望の焦点範囲全体で取得された情報を含むぼけた画像である予備画像を提供することができる。次いで、予備画像を上述のように計算によって処理することで、撮像システム３００が単一の焦点位置で与え得るよりも深い（例えば１００倍深い）被写界深度を含む拡大被写界深度画像を与えることができる。例えば、単一の焦点位置では被写界深度は９０μｍであり、撮像システム３００の同じ実施形態を用いて提供される拡大被写界深度画像は９ｍｍの大きさであり得る。

【0043】

図４は、本明細書に開示される原理に従ったＥＤＯＦ撮像システム（例えば撮像システム３００）の一実施形態において使用することができる、画像露光中の焦点高さの例示的なタイミング図４００を示す。加えて、タイミング図４００は、撮像システムのカメラの露光時間も示す。一般的に言えば、以下の説明においてフレーム露光とも称するＥＤＯＦ画像露光は、露光中の所望の焦点範囲にわたる撮像システムの焦点高さ変更の少なくとも１回のスイープの間に、撮像システムによって実行され得る。タイミング図４００に示す特定の例では、１回のフレーム露光は、所望の焦点範囲にわたる撮像システムの焦点高さの周期的な変更の少なくとも１つのサイクルに対応して実行される。可変音響式屈折率分布型レンズを用いて、高速の周期的変更が好都合に実行される。更に具体的には、一実施形態において、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像を提供するため、図４に反映される以下のステップを少なくとも１回繰り返す。

【0044】

・撮像システムにおいて要素間の空間を巨視的に調整することなく、焦点軸方向に沿った複数の焦点位置にわたって撮像システムの焦点位置（焦点面）を周期的に変更することであって、焦点位置が少なくとも３００Ｈｚの周波数でワークピースの表面高さを含む焦点範囲内で周期的に変更されることと、
・焦点範囲内で焦点位置を変更しながら、画像積分時間中に予備画像を露光することと、
・予備画像を処理して、画像積分時間中に発生したぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像を提供すること。

【0045】

上の記載では、ぼけた画像成分が計算によって除去される場合、予備画像は、ぼけた画像成分をもともと含むぼけた画像であり得る。この場合の予備画像は、検出された及び／又は記録された画像データを含む。予備画像を処理してぼけた画像成分を除去することは、予備画像に対する計算処理を行って、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像（第２の又は変更済み画像）を与えることを含む。従ってこの実施形態では、予備画像及び与えられたＥＤＯＦ画像は、異なる画像及び／又は画像データを含む。

【0046】

これに対して、ぼけた画像成分が光学フィルタ及び受動フーリエ画像処理方法を用いて除去される場合、予備画像及びＥＤＯＦ画像は同時に生成され、予備画像は必ずしも検出された又は記録された画像ではない。予備画像を処理してぼけた画像成分を除去することは、ＥＤＯＦ撮像システムに入力される予備画像光に対して受動光学処理を行って、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦されたＥＤＯＦ画像をＥＤＯＦ撮像システムの出力又は検出器において与えることを含む。従ってそのような実施形態では、予備画像は、ＥＤＯＦ撮像システムを通過する間に、かつＥＤＯＦ撮像システムのカメラ又は検出器で検出されるよりも前に、光学的に処理されるので、このような実施形態では、検出された又は記録された画像は、ＥＤＯＦ画像のみである。

【0047】

本明細書に概説した方法のいずれかに従って、及び／又は図４に示すように、焦点位置の変更のための制御は、図２に示すＥＤＯＦモード要素１３１ｅ及びレンズ制御インタフェース１３４、及び／又は図３及び図５にそれぞれ示すＥＤＯＦレンズ制御部３７４及び５７４を参照して概説するように達成することができる。

【0048】

本明細書に開示する原理に従って構成されるＥＤＯＦ撮像システムは、高速の拡大被写界深度撮像を行うので、そのような撮像システムを用いて、例えば毎秒３０フレーム以上のような高レートのビデオ撮像のために拡大被写界深度画像を繰り返し収集することができ、このような複数の拡大被写界深度画像をリアルタイムビデオフレームとして表示できる。

【0049】

いくつかの実施形態では、（例えばＥＤＯＦモード要素１３１ｅのユーザインタフェース機能を用いた）ユーザ入力に応答して、周期的な変更の範囲Ｒの名目上の中心に関連付けた制御信号成分を調整して、この範囲の所望の名目上の中心の周りで周期的な変更が行われるようにすることができる。いくつかの実施形態では、そのような調整を、画像露光中に自動的に変化するように制御して、例えば１回の周期的な変更で達成されるよりも焦点範囲を更に拡大することも可能である。

【0050】

タイミング図は、各フレーム露光において７周期の焦点高さ変更を示すが、例示の目的のため、様々な実施形態では、本明細書に開示する原理に従って構成されるマシンビジョン検査システムは、これよりはるかに多数のフレーム露光当たりの周期で焦点高さを変更する撮像システムを含み得る。例えば、例示的な撮像システムは、毎秒３０フレームでビデオ画像を収集すると共に３０ｋＨｚのレートで焦点高さを変更し、従ってフレーム露光当たり１０００周期の焦点高さ変更を与えることができる。そのような構成の１つの利点は、周期的な変更におけるフレーム露光間のタイミングの関係が重大でないことである。例えば式１は、ぼけた画像成分を除去するため用いられる積分点像分布関数が、画像露光全体を通して時間の関数としての焦点位置に依存することを示している。想定された積分点像分布関数が画像露光全体を通して時間の関数としての実際の焦点位置に合致しないならば、ぼけた画像成分は理想的に処理されない。想定された積分点像分布関数が焦点範囲全体を通して焦点の全周期の変更に基づき、かつ、画像露光中に１つの周期のみ（又は少ない周期）の周期的な焦点変更が用いられるならば、非整数周期の後に露光が終了した場合、実際の積分焦点位置は、想定された積分点像分布関数に比べて、著しく「アンバランス（ｕｎｂａｌａｎｃｅｄ）」となり得る。これに対して、画像露光中の累積周期数が多ければ、例えば少なくとも５周期であるか、又は好ましくはより多ければ、非整数周期の後に露光が終了した場合、この不完全な周期のアンバランスな成分は比較的小さく、想定された積分点像分布関数はほぼ理想的に動作する。

【0051】

いくつかの実施形態では、周期的に変更される焦点位置の少なくとも１周期の過程で第１の画像を収集することは、整数周期の過程で画像を露光することを含み得る。前述の検討に基づき、これは、ＥＤＯＦ画像露光が比較的少数（例えば５周期以下）の周期的な焦点変更を含む場合、特に有益となり得る。例えばこれは、過剰露光を回避するため及び／又は動き静止（ｍｏｔｉｏｎ ｆｒｅｅｚｅ）のため等で露光時間が比較的短くなければならない場合に生じることがある。

【0052】

タイミング図４００に示す例において、焦点位置は正弦波状に変更される。いくつかの実施形態では、画像積分時間は、所望の焦点範囲全体にわたる焦点変化を含む（例えば、図４に示すような周期的に変更される焦点位置の少なくとも１周期）。いくつかの実施形態では、正弦波状の変更の線形部分期間のみで画像を露光することが好ましい場合がある。これによって、焦点位置変更内の各高さで、よりバランスのとれた露光時間が可能となる（例えば、正弦波状の焦点変更の極値における比較的長い焦点位置滞留時間（ｄｗｅｌｌ ｔｉｍｅ）を排除することができる）。従って、いくつかの実施形態では、画像積分時間中に画像を露光することは、周期的に変更される焦点位置と同期させた強度変動（例えばオン／オフサイクル又はより漸進的な強度変動）を有する照明を提供することで、周期的に変更される焦点位置の範囲内のそれぞれ異なる焦点位置において各露光成分に異なる影響を与えることを含む。ストロボ照明がオフである場合、フレーム露光が受光する画像成分は実質的にゼロであり得ることは認められよう。タイミング図４００は、画像を露光するため用いることができる２つの例示的な積分期間ＩＰＡ及びＩＰＢを示す。例示的な積分期間ＩＰＡ及びＩＰＢは、正弦波状の変更の極値付近の領域を除外している、すなわち、これらは双方とも、正弦波状の変更の極値部分から、周期長の少なくとも１５パーセントだけ離れている。積分期間ＩＰＡ及びＩＰＢは、既知の方法に従ってフレーム露光中に対応するストロボ照明を与えることにより制御することができる。

【0053】

図５は、本明細書に開示する原理に従ってマシンビジョン検査システムに適合させると共に動作させることができるＥＤＯＦ撮像システム５００の第２の実施形態の概略図を示す。撮像システム５００は図３の撮像システム３００と同様である。図３の３ＸＸ及び図５の５ＸＸと同様に付番された要素は同様又は同一であると理解することができ、顕著な相違点のみが図５を参照して記載されることは認められよう。図５に示すＥＤＯＦ撮像システムの実施形態を使用できるのは、ＥＤＯＦ撮像システムが、このＥＤＯＦ撮像システムにおいて予備画像光の受動光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像を撮像システムのカメラ及び／又は検出器にリアルタイムで出力するように構成されている場合である。図５に示す実施形態では、撮像システム５００は更に、第１のフィルタリングレンズ５５３、第２のフィルタリングレンズ５５４、及び光学デコンボリューションフィルタ５５６を備えている。第１のフィルタリングレンズ５５３及び第２のフィルタリングレンズ５５４は、フーリエ面に配置された光学デコンボリューションフィルタ５５６と共に４ｆ光学リレーを提供する。光学デコンボリューションフィルタ５５６は、撮像システム５００のために決定された積分点像分布関数から導出することができる。これについては図６を参照して以下で更に詳しく説明する。動作において、光学デコンボリューションフィルタ５５６は、可変焦点距離レンズ５７０から予備画像光を受光し、この画像光を光学的にフィルタリングすることで処理するように構成されている。これによって、リアルタイムでカメラ５６０に出力される比較的クリアなＥＤＯＦ画像である出力ＥＤＯＦ画像をカメラ５６０に与える。

【0054】

図６Ａは、ＥＤＯＦ撮像システムからの画像の光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、ＥＤＯＦ撮像システムのフーリエ面において（例えば図５の光学デコンボリューションフィルタ５５６の一実施形態として）使用できる第１の例示的な光学フィルタを特徴付けるグラフ６００Ａである。グラフは光学透過曲線６１０Ａを示している。光学透過曲線６１０Ａは、光学フィルタの中央で最小値となる線形光学透過プロファイルを備えている。瞳径のエッジ付近における光学フィルタの周辺部では、光学透過値は１００パーセントである。瞳径を超えると光学透過はゼロになる。グラフ６００Ａによって特徴付けられる光学フィルタは、デコンボリューション処理において高域空間フィルタとして作用する。

【0055】

図６Ｂは、ＥＤＯＦ撮像システムからの画像の光学デコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をリアルタイムで与えるため、ＥＤＯＦ撮像システムのフーリエ面において（例えば図５の光学デコンボリューションフィルタ５５６の一実施形態として）使用できる第２の例示的な光学フィルタを特徴付けるグラフ６００Ｂである。グラフは光学透過曲線６１０Ｂを示している。光学透過曲線６１０Ｂは、光学フィルタの中央で最小値となる二次光学透過プロファイルを備えている。瞳径のエッジ付近における光学フィルタの周辺部では、光学透過値は１００パーセントである。瞳径を超えると光学透過はゼロになる。グラフ６００Ｂによって特徴付けられる光学フィルタも、デコンボリューション処理において高域空間フィルタとして作用する。グラフ６００Ａ及びグラフ６００Ｂによって特徴付けられる光学フィルタは例示であって限定ではなく、例えば位相変調フィルタのような他の透過プロファイルを備えた光学フィルタも使用され得ることは認められよう。

【0056】

図７は、ＥＤＯＦ撮像システムからの予備画像の計算によるデコンボリューションを実行し、比較的クリアなＥＤＯＦ画像をほぼリアルタイムで与えるための、マシンビジョン検査システムの撮像システムの動作及びそれに関連した信号処理の方法の一実施形態を示すフロー図７００である。

【0057】

ブロック７１０では、マシンビジョン検査システムの視野にワークピースを配置する。

【0058】

ブロック７２０では、撮像システムにおいて要素間の間隔を巨視的に調整することなく、焦点軸方向に沿った複数の焦点位置にわたって撮像システムの焦点位置を周期的に変更する。焦点位置は、少なくとも３００Ｈｚ（又は、いくつかの実施形態ではより高い周波数）の周波数で、ワークピースの表面高さを含む焦点範囲で周期的に変更される。

【0059】

ブロック７３０では、焦点範囲内で焦点位置を変更しながら、画像積分時間中に予備画像を露光する。

【0060】

ブロック７４０では、予備画像からのデータを処理して、画像積分時間中に焦点範囲で生じるぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された画像を提供する。

【0061】

ＴＡＧレンズのような極めて高速で周期的に変更される可変焦点レンズを用いる場合、焦点位置は迅速に変化するので、これを用いてＥＤＯＦ画像を取得する有一の方法は、上述のいくつかの例におけるように、高速可変焦点レンズの焦点範囲内でＥＤＯＦ画像を連続的に露光することであると考えられる。しかしながら、このＥＤＯＦ画像露光方法は、様々な実施においていくつかのデメリットを有する。例えば、周期的に変更される可変焦点レンズを用いる方法に伴う１つの欠点は、焦点位置が一定レートでなく正弦波状に変化することである。これは、（部分的な連続を含む）連続的なＥＤＯＦ画像露光が焦点範囲全体を通して一様でないことを意味し、多くの実施で悪影響を生じる。いくつかの実施形態においてより望ましい、このようなレンズを用いてＥＤＯＦ画像を取得する代替的な方法を以下に説明する。この代替的な方法は、以下に記載する原理に従って、複数の離散画像露光増分を用いて焦点範囲内で予備ＥＤＯＦ画像を取得することを含む。そのような方法は、様々な実施において、より適応性が高く、高精度で、及び／又はロバストな方法であり得る。極めて高速で周期的に変更される可変焦点レンズ（例えばＴＡＧレンズ）を用いた場合、焦点位置は迅速に変化し得るので、実際のシステムにおいて、タイミング、制御、及び「露光量」について深刻な問題が発生するおそれがあることは認められよう。そのような問題に対する実際的な解決策を与えるため、以下に開示する原理に従って、ＥＤＯＦ画像露光の構成部分として用いられる離散画像露光増分を複数の周期的な焦点変更にわたって取得する。

【0062】

図８Ａ～図８Ｃは、ＥＤＯＦ撮像システム（例えば撮像システム３００）に適した３つの異なる画像露光実施の様々な態様をそれぞれ示す例示的なタイミング図８００Ａ～８００Ｃである。タイミング図８００Ａ～８００Ｃは、可変焦点撮像システムの焦点範囲にわたる焦点高さ又は焦点位置の周期的な変更中にＥＤＯＦ画像露光を取得できるという点で、タイミング図４００とある程度類似している。しかしながら、連続的な画像露光を用い得るタイミング図４００に示された実施形態とは異なり、タイミング図８００Ａ～８００Ｃに示す実施形態では、ＥＤＯＦ撮像システムは、以下に記載する原理に従って、複数の離散画像露光増分を含む画像露光を用いて予備画像を露光するように構成されている。

【0063】

具体的には、タイミング図８００Ａは、可変焦点撮像システムの周期的に変更される焦点位置ＭＦＰを示している。これは、可変焦点撮像システムで撮像されるワークピースの表面に対する距離（複数の距離）を含む焦点範囲ＦＲにわたって焦点軸方向に沿った複数の焦点位置（焦点面Ｚ位置軸に沿って示されている）で、周期的に変更される（時間軸に沿って示されている）。可変焦点撮像システムは、極めて高い焦点変更周波数で動作することができる（例えば、様々な実施形態では少なくとも３ｋＨｚ、又は３０ｋＨｚ、又はそれ以上）。図８００Ａに示すように、周期的に変更される焦点位置ＭＦＰの複数周期を含むカメラ画像積分時間中に、各焦点位置ＦＰ（例えば焦点位置Ｚ１～Ｚ８のそれぞれ１つ）で取得された複数の離散画像露光増分ＥＩを含む画像露光を用いて、予備画像が露光される。注：略語ＥＩ及び／又はＦＰ（及び／又は、以下で使用され図９に示す、制御されたタイミングを表すＣＴ）は、特定の「ｉ番目」の露光増分ＥＩ、又は焦点位置ＦＰ、又は制御されたタイミングＣＴを表す指数「ｉ」を含み得る。露光増分ＥＩの場合、指数「ｉ」は概ね、１から予備画像露光に含まれる離散画像露光増分の数までの範囲である（例えば図８Ａに示す例ではＥＩ₁～ＥＩ₁₆）。

【0064】

複数の離散画像露光増分ＥＩの各々は、対応する離散画像露光増分ＥＩの離散焦点位置ＦＰを規定する制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される。周期的に変更される焦点位置を有する可変焦点撮像システムは、各変更周期内の特定のタイミング又は位相において特定の焦点位置を有することは認められよう。周期的な変更の瞬時位相は、可変焦点レンズの駆動信号に基づいて、又は焦点位置を直接監視すること等によって知ることができる。従って、焦点位置と周期的な変更の位相との間の較正関係がわかれば、所望の焦点位置における露光増分を取得するため、特定の位相タイミングで露光を短時間で行えるようにストロボ要素（例えばストロボ照明源、又は高速電子カメラシャッタ）を制御することができる。この原理は、例えば米国特許第８，１９４，３０７号及び第９，１４３，６７４号を参照して更に詳しく理解できる。上述のような制御されたタイミングを用いる様々な態様については、図９を参照して詳述する。

【0065】

図８００Ａに示すように、それぞれの制御されたタイミング（例えば各増加する時間Ｔ１～Ｔ１６で表されている）は、周期的に変更される焦点位置ＭＦＰの複数の周期に分散し、焦点軸方向に沿ってほぼ均等に離間した離散焦点位置ＦＰのセット（それらの焦点位置値Ｚ１～Ｚ８で表されている）を与えるように構成されている。「未処理の」又は予備ＥＤＯＦ画像に対する均等に離間された及び／又は「重み付けされた」露光成分は、後でＥＤＯＦ画像を改善するため実行される信号処理及び／又は計算動作に関して有利であり得ることがわかっている。例えばそのような露光成分は、焦点範囲全体を通して可変焦点撮像システムを特徴付けるブラーカーネルを用いて予備ＥＤＯＦ画像にデコンボリューション動作を実行することによって改善したＥＤＯＦ画像を提供する場合に有利であり得る。そのようなデコンボリューション動作は、例えば、公報ＷＯ２００９１２０７１８Ａ１号に記載されている。しかしながら、ＥＤＯＦ画像の焦点範囲全体を通して均等に離間した及び／又は重み付けした露光成分を与える既知の方法は、充分に高速でなく、（ＥＤＯＦ画像鮮明度及び品質の点で）高精度でなく、再現性もない。

【0066】

前述のように、極めて高速で周期的に変更される可変焦点レンズ（例えばＴＡＧレンズ）を用いる場合、焦点位置は迅速に変化し得るので、実際のシステムでは、タイミング、制御、及び「露光量」について深刻な問題が発生することがある。具体的には、いずれかの特定の変更中、撮像システム焦点位置は、数十ナノ秒の期間内に所望の焦点位置の隣接対を連続的に通過するので、そのような連続的な隣接焦点位置における離散的な露光は非現実的及び／又は不正確となり得る。そのような問題に現実的な解決策を与えるため、均等に離間した所望の焦点位置ＦＰ（例えばＺ１～Ｚ８）で離散画像露光増分ＥＩを取得するため用いられる各制御されたタイミングは、セット（例えばセットＺ１～Ｚ８）内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、第１の制御されたタイミングの後、周期的な変更中に焦点位置変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように構成されている。そのような方向の反転は、焦点範囲ＦＲの限界で、すなわち正弦波状に変更された焦点位置ＭＦＰの極値で生じる。様々な実施形態では、セット内の全ての離散焦点位置の隣接対は、この原理に従う。そのようなタイミング構成により、良好な精度で、実際的、経済的、かつ多目的に、近接した焦点位置で離散画像露光増分を取得することが現実的となる。

【0067】

図８００Ａに関する動作を明確にすると、周期的に変更される焦点位置ＭＦＰの間、所望の焦点位置ＦＰ＝Ｚ１に対応した位相タイミングｔｚ１を有する増加する時間Ｔ１で取得される離散画像露光増分ＥＩ₁において、カメラ画像積分時間が開始する。続いて、周期的に変更される焦点位置ＭＦＰは、この例では、隣接した焦点位置Ｚ２、位置Ｚ３、及び位置Ｚ４を通過する。焦点位置がＺ４に到達する前に、次の離散画像露光増分を得るため必要な動作を完了することは現実的でないと想定される。これに対して、離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、焦点位置がＺ５に到達する時点Ｔ２である。所望の焦点位置ＦＰ＝Ｚ５に対応した位相タイミングｔｚ５を有する増加する時間Ｔ２において、離散画像露光増分ＥＩ２が取得される。離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、時点Ｔ３である。所望の焦点位置ＦＰ＝Ｚ８に対応した位相タイミングｔｚ８を有する増加する時間Ｔ３において、離散画像露光増分ＥＩ３が取得される。離散画像露光増分ＥＩの取得は同様に、所望の焦点位置ＦＰ＝Ｚ４に対応した位相タイミングｔｚ４を有する増加する時間Ｔ８において取得される離散画像露光増分ＥＩ８の取得まで継続する。この時点までに、所望の均等に離間した焦点位置Ｚ１～Ｚ８の各々において離散画像露光増分ＥＩ１～ＥＩ８が画像積分時間中に取得されている（サブセット８１０Ａ’で表されている）。いくつかの実施形態では、この時点で画像積分時間を終了することも可能である。しかしながら図８００Ａに示す例では、前の取得パターンを繰り返して、所望の均等に離間した焦点位置Ｚ１～Ｚ８の各々に対応した時点Ｔ９～Ｔ１６において離散画像露光増分ＥＩ₉～ＥＩ₁₆を得る（サブセット８１０Ａ’’で表されている）ことによって、予備ＥＤＯＦ画像露光の輝度及び／又は「画像信号」を強化する。次いで画像積分時間は終了する。これによって、離散画像露光増分セット８１０Ａ及び／又は均等に離間した焦点位置を含む予備ＥＤＯＦ画像露光全体で、焦点位置Ｚ１～Ｚ８の各々の均等な「画像重み付け」が維持されることは認められよう。

【0068】

上述のように露光された予備ＥＤＯＦ画像（例えばデジタルカメラ等で与えられる画像データ）を処理して、画像積分時間中に焦点範囲内で発生するぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供することができる。例えば１つの実施において、予備ＥＤＯＦ画像を処理してぼけた画像成分を除去することは、撮像システムを特徴付ける所定の関数（例えば、均等に離間した焦点位置に対応する焦点範囲にわたって撮像システムを特徴付ける積分点像分布関数）を用いてその画像データのデコンボリューション処理を行い、よりクリアなＥＤＯＦ画像を提供することを含み得る。

【0069】

図８００Ａにおいて、各離散画像露光増分ＥＩは、焦点位置が同一方向に変化している場合に取得される。いくつかの実施形態では、（図８Ｃを参照して以下に説明するような、双方向での焦点位置変化中に露光増分を取得することに比べて）より正確に離間した及び／又は反復可能な焦点位置が与えられる。この際、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える（例えばＺ１におけるＥＩ₁）場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミング（例えばＺ２におけるＥＩ₄）が第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、焦点位置方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されることに留意すべきである。

【0070】

タイミング図８００Ｂはタイミング図８００Ａと同様であり、以下で別段の記載がない限り、概ね類推によって理解することができる。図８００Ｂにおいて、複数の離散画像露光増分ＥＩ₁～ＥＩ₈の各々は、離散焦点位置ＦＰ（例えば、均等に離間した焦点位置Ｚ１～Ｚ８の１つ）を規定する制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される。各制御されたタイミング（例えば各増加する時間Ｔ１～Ｔ８で表されている）は、画像積分時間内で、周期的に変更される焦点位置ＭＦＰの複数の周期に分散している。

【0071】

図８００Ｂに関する動作を明確にすると、周期的に変更される焦点位置ＭＦＰの間、所望の焦点位置ＦＰ＝Ｚ１に対応した位相タイミングｔｚ１を有する増加する時間Ｔ１で取得される離散画像露光増分ＥＩ₁において、カメラ画像積分時間が開始する。続いて、増加する時間Ｔ１の後、周期的に変更される焦点位置ＭＦＰは、その周期的な変更中に焦点位置変化方向が２回反転する。周期的な変更が極めて高い周波数を有する場合であっても、Ｚ１に隣接した所望の焦点位置ＦＰ＝Ｚ２に対応した位相タイミングｔｚ２を有する時点Ｔ２において離散画像露光増分ＥＩ₂を得ることが現実的となる。離散画像露光増分ＥＩの取得は同様に、所望の焦点位置ＦＰ＝Ｚ８に対応した位相タイミングｔｚ８を有する増加する時間Ｔ８において取得される離散画像露光増分ＥＩ８の取得まで継続する。この時点までに、所望の均等に離間した焦点位置Ｚ１～Ｚ８の各々において離散画像露光増分ＥＩ₁～ＥＩ₈が画像積分時間中に取得されている（８１０Ｂを形成する）。この例では、この時点で画像積分時間が終了する。これによって、離散画像露光増分セット８１０Ｂ及び／又は均等に離間した焦点位置を含む予備ＥＤＯＦ画像露光全体で、焦点位置Ｚ１～Ｚ８の各々の均等な「画像重み付け」が維持されることは認められよう。

【0072】

タイミング図８００Ｃはタイミング図８００Ａと同様であり、以下で別段の記載がない限り、概ね類推によって理解することができる。図８００Ｃにおいて、複数の離散画像露光増分ＥＩ₁～ＥＩ₁₆の各々は、離散焦点位置ＦＰ（例えば、均等に離間した焦点位置Ｚ１～Ｚ８の１つ）を規定する各制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定される。各制御されたタイミング（例えば、各増加する時間Ｔ１（＝ｔｚ１）、Ｔ２（＝ｔｚ４）、Ｔ３（＝ｔｚ８）、Ｔ４（＝ｔｚ７）等で表されている）は、画像積分時間内で、周期的に変更される焦点位置ＭＦＰの複数の周期に分散している。

【0073】

図８００Ｃに関する動作を明らかにすると、所望の焦点位置ＦＰ＝Ｚ１に対応した位相タイミングｔｚ１を有する増加する時間Ｔ１において、離散画像露光増分ＥＩ₁が取得される。続いて、周期的に変更される焦点位置ＭＦＰは、この例では、隣接した焦点位置Ｚ２及び位置Ｚ３を通過する。焦点位置がＺ３に到達する前に、次の離散画像露光増分を得るため必要な動作を完了することは現実的でないと想定される。これに対して、離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、焦点位置がＺ４に到達する時点Ｔ２である。所望の焦点位置ＦＰ＝Ｚ４に対応した位相タイミングｔｚ４を有する増加する時間Ｔ２において、離散画像露光増分ＥＩ２が取得される。離散画像露光増分を得る次の実際の時点（すなわち充分な経過時間の後）は、時点Ｔ３である。所望の焦点位置ＦＰ＝Ｚ８に対応した位相タイミングｔｚ８を有する増加する時間Ｔ３において、離散画像露光増分ＥＩ３が取得される。焦点位置変化は、時点Ｔ３（＝ｔｚ８）後の方向反転の際に遅くなるので、離散画像露光増分を得る次の実際の時点は、所望の焦点位置ＦＰ＝Ｚ７に対応した位相タイミングｔｚ７を有する時点Ｔ４となる。この焦点位置は、直前に取得した離散画像露光増分の焦点位置Ｚ８に隣接し、焦点変化方向が１回だけ反転（Ｎ＝１）した後のものあることに留意すべきである。この例では離散画像露光増分が双方向の焦点変化中に取得されるので、Ｎ＝１であることに留意すべきである。より一般的には、この例では、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングは、焦点位置方向が様々な回数だけ反転した後に生じ得ることに留意すべきである（この例では、様々な隣接対についてＮは１から４までの範囲である）。

【0074】

図８００Ｃに示す例では、各焦点位置において離散画像露光増分を繰り返す（２回目は異なる順序で）ことによって、予備ＥＤＯＦ画像露光の輝度及び／又は「画像信号」を強化する。時点Ｔ１～Ｔ８で得られた離散画像露光増分ＥＩ₁～ＥＩ₈（図８Ｃにサブセット８１０Ｃ’で表されている）は、所望の均等に離間した焦点位置Ｚ１～Ｚ８の各々に対応する。時点Ｔ９～Ｔ１６で得られた離散画像露光増分ＥＩ₉～ＥＩ₁₆（図８Ｃにサブセット８１０Ｃ’’で表されている）は、所望の均等に離間した焦点位置Ｚ１～Ｚ８の各々に対応して繰り返された離散画像露光増分を提供する。サブセット８１０Ｃ’及び８１０Ｃ’’は共に、離散画像露光増分セット８１０Ｃ及び／又は均等に離間した焦点位置を含む予備ＥＤＯＦ画像露光全体に寄与する。この図（及び図８００Ａ）に示すパターン又は繰り返しは限定ではない。更に一般的には、様々な実施において、各焦点位置で離散画像露光増分を繰り返すことは、予備ＥＤＯＦ画像に用いられる複数の離散画像露光増分が、画像積分時間中に各離散焦点位置（例えば、いくつかの実施形態では少なくとも２０箇所のほぼ均等に離間した焦点位置の各々）で取得される離散画像露光増分の第１のインスタンス及び第２のインスタンスを少なくとも含むように構成され得る。同一の離散焦点位置で離散画像露光増分の第１及び第２のインスタンスを取得するため用いられる各制御されたタイミングは、第２のインスタンスに用いられる制御されたタイミングが、第１のインスタンスに用いられる制御されたタイミングに対して遅延し、第１のインスタンスに用いられる制御されたタイミング後、その周期的な変更中に焦点位置変化方向がＭ回（Ｍは少なくとも１）反転した後に生じるよう制御されるように構成され得る。

【0075】

前述のタイミング図は例示に過ぎず、限定ではないことは認められよう。図示し上述した原理に基づいて、他のタイミング構成及び組み合わせも実現可能である。いくつかの実施形態において、焦点範囲は、単一の焦点位置における撮像システムの被写界深度の少なくとも１０倍に及ぶことがあり、各制御されたタイミングは、画像積分時間中に少なくとも２０箇所のほぼ等しく離間した離散焦点位置（例えばＺ１～Ｚ２０）のセットを与えるように構成されている。いくつかの実施形態では、少なくとも２０箇所の離散焦点位置は、焦点範囲の少なくとも５０％に分散させて、比較的深い拡大被写界深度を与えることができる。いくつかの実施形態では、少なくとも２０箇所の離散焦点範囲は、焦点範囲の少なくとも７０％、又は８０％に分散させることができる。

【0076】

いくつかの実施形態では、周期的に変更される焦点位置の一つの周期中に、より多くの離散画像露光増分を与えることも可能である。しかしながら、他の実施形態では、特に焦点位置の高周波数の周期的な変更を用いる実施形態では、周期的に変更される焦点位置の一つの周期中に最大で６つの離散画像露光増分が与えられ得る。

【0077】

いくつかの実施形態では、図８００Ａ～８００Ｃのいずれかに関して上述した動作、又はそれらの組み合わせは、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された複数のＥＤＯＦ画像を与えるためのものであり得る。複数のＥＤＯＦ画像は、マシンビジョン検査システムに含まれるディスプレイ上に与えられたライブビデオディスプレイウィンドウに表示することができる。

【0078】

様々な実施形態では、対応する離散画像露光増分の離散焦点位置を規定する各制御されたタイミングを有する照明源ストロボ動作を用いて離散画像露光増分を与えることが、現時点では現実的である。しかしながら、画像積分時間全体にわたって時間調整されたサブ露光増分を生成することができる電子的な「シャッタストロボ」機能を有するデジタルカメラが、ますます利用可能となっている。いくつかの実施形態において、そのようなカメラは、連続照明又は周囲照明を用いて、上述の制御されたタイミングを与えることができる。

【0079】

いくつかの実施形態では、多数の色源を含む照明源と組み合わせて照明源ストロボ動作を用いることができる。そのような場合、撮像システムにおける軸上色収差によって、様々な色源が異なる焦点位置において合焦し得る。そのような場合、上述の各制御されたタイミングは各色源でそれぞれ異なる色源タイミングを含み、撮像システムにおける軸上色収差を補償する色源タイミング間のタイミングオフセットを含むので、各色源が同一の離散焦点位置を与えることができることは認められよう。

【0080】

タイミング図８００Ａ～８００Ｃを参照して上述した動作は、それに応じて構成された、例えば図２、図３、又は図５のいずれかに示す撮像システムの１つと同様のＥＤＯＦ撮像システムにおいて実施されて、撮像システムが単一の焦点位置で与えるよりも深い被写界深度を有するワークピース画像を与え得ることは理解されよう。

【0081】

図９は、離散焦点位置ＦＰと、対応する離散画像露光増分ＥＩを決定するいくつかの他の特徴と、を規定するために用いることができる制御されたタイミングＣＴの１つの例示的な実施の詳細を示すタイミング図９００を示している。具体的には、制御タイミングは、焦点位置ＦＰと、対応する離散画像露光増分ＥＩの他のいくつかの他の特徴と、を決定するため、照明源ストロボ動作又はカメラシャッタストロボ動作で実施することができる。タイミング図９００は、２つの代表的な離散画像露光増分ＥＩ₁及びＥＩ₂を示すタイミング図８００Ａの一部の更に詳細な図として理解することができ、概ねこれに対する類推によって理解され得る。しかしながら、制御されたタイミングＣＴの１つの例示的な実施に関連した追加の原理について記載する。

【0082】

図９に示す実施形態では、各制御されたタイミングＣＴｉは、各増加する時間Ｔｉ及び各増分持続時間Ｄｉを含み、各増分持続時間Ｄｉ中に各増加光量Ｌｉが用いられる。具体的には、露光増分ＥＩ₁を決定する図示の制御されたタイミングＣＴ１は、増加する時間Ｔ１（図８Ａ～図８Ｃを参照して前述した）及び各増分持続時間Ｄ１（例えば時間調整されたストロボ持続時間）を含む。露光増分ＥＩ₂を決定する図示の制御されたタイミングＣＴ２は同様に、増加する時間Ｔ２及び各増分持続時間Ｄ２を含む。各増分持続時間は、所望の焦点位置に対応した中央又は平均の増加する時間を与えるように位置付けられていることがわかる。例えば、増分持続時間Ｄ１は、所望の焦点位置ＦＰ₁（＝Ｚ１）に対応した増加する時間Ｔ１（＝ｔｚ１）を与えるように位置付けられ、増分持続時間Ｄ２は、所望の焦点位置ＦＰ₂（＝Ｚ５）に対応した増加する時間Ｔ２（＝ｔｚ５）を与えるように位置付けられている。様々な実施において、各増分持続時間Ｄｉ中に各増加光量Ｌｉが用いられ、各離散画像露光増分で積（Ｌｉ＊Ｄｉ）がほぼ同一となるように各増加光量Ｌｉ及び各増分持続時間Ｄｉの組み合わせを用いて各離散画像露光増分が露光される。この実施の態様は厳密には必須でないが、各所望の焦点位置で、予備ＥＤＯＦ画像において等しい「重み付け」が得られる傾向があり、これはいくつかの実施形態では有利であり得る。

【0083】

また、図９に示す実施形態は、焦点範囲ＦＲの中央に比較的近い焦点位置（ＦＰ２）（第１の焦点位置）に対応した離散画像露光増分（ＥＩ₂）が、比較的短い増分持続時間Ｄ２（第１の増分持続時間Ｄｉ）と比較的大きい増加光量（第１の増加光量Ｌｉ）（例えばＬ２、図示せず）との組み合わせを含み、かつ、第１の焦点位置より焦点範囲ＦＲの中央から遠い焦点位置（ＦＰ１）（第２の焦点位置）に対応した離散画像露光増分（ＥＩ₁）が、第１の増分持続時間より長い第２の増分持続時間Ｄ１（第２の増分持続時間Ｄｉ）と第１の増加光量より小さい第２の増加光量（第２の増加光量Ｌｉ）（例えばＬ１、図示せず）との組み合わせを含む態様も含む。周期的に変更される焦点位置が時間の関数としてほぼ正弦波状に変化する様々な実施形態では、これによって、積（Ｌｉ＊Ｄｉ）が各離散画像露光増分でほぼ同一となり、同時に、各増分持続時間内でほぼ同じ量の焦点位置変化ΔＦＰを与えるように各増分持続時間を制御することができる。例えば、これによって、正弦波状の焦点変更のためにそれぞれの露光増分で焦点変化率が異なるにもかかわらず、図９においてΔＦＰ１＝ΔＦＰ２となることがわかる。この実施の態様も厳密には必須でないが、各所望の焦点位置で、予備ＥＤＯＦ画像において別の態様の等しい「重み付け」が得られる傾向があり、これはいくつかの実施形態では有利であり得る。

【0084】

図１０は、単一の焦点位置における撮像システムの被写界深度よりも深い被写界深度を有する少なくとも１つのＥＤＯＦ画像を与えるため、マシンビジョン検査システムの撮像システムを動作させるための方法の一実施形態を示すフロー図１０００である。この方法は、本明細書に開示する原理に従って、複数の離散画像露光増分を含む画像露光を用いて予備ＥＤＯＦ画像を露光することを含む。

【0085】

ブロック１０１０では、マシンビジョン検査システムの視野内にワークピースを配置する。

【0086】

ブロック１０２０では、撮像システムにおいて要素間の間隔を巨視的に調整することなく、撮像システムの焦点位置を周期的に変更する。焦点位置は、少なくとも３ｋＨｚの変更周波数で、ワークピースの表面高さを含む焦点範囲内で、焦点軸方向に沿った複数の焦点位置にわたって周期的に変更される。

【0087】

ブロック１０３０では、周期的に変更される焦点位置の複数の周期を含む画像積分時間中に、各離散焦点位置で取得された複数の離散画像露光増分を含む画像露光を用いて、予備画像を露光する。ここで、
複数の離散画像露光増分の各々は、対応する離散画像露光増分の離散焦点位置を規定する制御されたタイミングを有する照明源ストロボ動作又はカメラシャッタストロボ動作の各インスタンスによって決定され、
各制御されたタイミングは、周期的に変更される焦点位置の複数の周期に分散し、焦点軸方向に沿ってほぼ均等に離間した離散焦点位置のセットを与えるように構成され、
各制御されたタイミングは、セット内の複数の離散焦点位置の隣接対について、第１の制御されたタイミングが隣接対の第１の離散焦点位置設定値を与える場合、隣接対の第２の離散焦点位置を与える第２の制御されたタイミングが第１の制御されたタイミングに対して遅延するように制御され、第２の制御されたタイミングが、第１の制御されたタイミングの後、その周期的な変更中に焦点位置変化方向がＮ回（Ｎは少なくとも１）反転した後に生じるよう制御されるように更に構成されている。

【0088】

ブロック１０４０では、予備画像を処理して、画像積分時間中に焦点範囲内で発生するぼけた画像成分を除去して、撮像システムが単一の焦点位置で与えるよりも深い被写界深度全体を通して実質的に合焦された拡大被写界深度（ＥＤＯＦ）画像を提供する。例えば、そのような処理は、焦点範囲全体を通して撮像システムを特徴付けるブラーカーネル（及び、例えば積分点像分布関数）を用いたデコンボリューション動作を実行することを含み得る。

【0089】

本発明の様々な実施形態について図示及び記載したが、本開示に基づいて、図示及び記載した特徴の構成及び動作のシーケンスにおける多数の変形が当業者には明らかであろう。従って、本発明の精神及び範囲から逸脱することなく様々な変更を行い得ることは認められよう。

【符号の説明】

【0090】

１０…マシンビジョン検査システム、１２…画像測定機、１４…コンピュータシステム、１６…ディスプレイ、１８…プリンタ、２０…ワークピース、２２…ジョイスティック、２４…キーボード、２６…マウス、３２…可動ワークピースステージ、３４…光学撮像システム、１００…マシンビジョン検査システム、１２０…制御システム部、１２５…制御部、１３０…入出力インタフェース、１３１…撮像制御インタフェース、１３１ｅ…ＥＤＯＦモード、１３２…移動制御インタフェース、１３２ａ…位置制御要素、１３２ｂ…加速度制御要素、１３３…照明制御インタフェース、１３３ａ…照明制御要素、１３３ｎ…照明制御要素、１３４…レンズ制御インタフェース、１３６…ディスプレイデバイス、１３８…入力デバイス、１４０…メモリ、１４０ｅｄ…エッジ検出メモリ部、１４１…画像ファイルメモリ部、１４２…ワークピースプログラムメモリ、１４３…ビデオツール部、１４３ａ…ビデオツール部、１４３ａｆ…自動合焦ビデオツール、１４３ｒｏｉ…関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）生成器、１７０…実行器、１９０…電源部、２００…ビジョン構成要素部、２０５…光学アセンブリ部、２１０…ワークピースステージ、２１２…透明部、２２０…透過照明光源、２２０…光源、２２１…バス、２２２…光源光、２３０…落射照明光源、２３０…光源、２３１…バス、２３２…光源光、２４０…照明光源、２５０…交換可能対物レンズ、２５５…ワークピース光、２６０…カメラシステム、２６２…信号ライン、２８０…ターレットレンズアセンブリ、２８１…バス、２８４…軸、２８６…レンズ、２９０…ミラー、２９４…制御可能モータ、２９６…信号ライン、３００…撮像システム、３２０…ワークピース、３３０…光源、３３２…光源光、３５０…対物レンズ、３５１…リレーレンズ、３５２…リレーレンズ、３５５…ワークピース光、３６０…カメラシステム、３７０…可変焦点距離レンズ、３７４…レンズ制御部、３８６…チューブレンズ、３９０…ミラー、５００…撮像システム、５５３…第１のフィルタリングレンズ、５５４…第２のフィルタリングレンズ、５５６…光学デコンボリューションフィルタ、５６０…カメラ、５７０…可変焦点距離レンズ、５７４…レンズ制御部、６１０Ｂ…光学透過曲線、８１０Ａ…離散画像露光増分セット、８１０Ａ’…サブセット、８１０Ａ’’…サブセット、８１０Ｂ…離散画像露光増分セット、８１０Ｃ…離散画像露光増分セット、８１０Ｃ’…サブセット、８１０Ｃ’’…サブセット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】