IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社キーエンスの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173417
(43)【公開日】2023-12-07
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   H04N 23/63 20230101AFI20231130BHJP
   H04N 23/661 20230101ALI20231130BHJP
   G01C 3/06 20060101ALI20231130BHJP
   G03B 15/00 20210101ALI20231130BHJP
   G03B 17/18 20210101ALI20231130BHJP
【FI】
H04N5/232 939
H04N5/232 060
G01C3/06 120Q
G03B15/00 T
G03B17/18 Z
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022085665
(22)【出願日】2022-05-26
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】孫 卓力
【テーマコード(参考)】
2F112
2H102
5C122
【Fターム(参考)】
2F112AD01
2F112CA12
2H102AA71
5C122DA12
5C122EA42
5C122EA63
5C122FA11
5C122FD05
5C122FD06
5C122FE02
5C122FK23
5C122FK33
5C122GA34
5C122HA82
5C122HA88
5C122HB01
(57)【要約】
【課題】カメラの設置条件の変化の有無を容易に検知する可能にする。
【解決手段】画像処理装置は、検査対象画像を生成するカメラと、カメラの設定用コントローラとを備える。カメラは、検査対象物を撮像する撮像素子と、撮像素子に検査対象物からの反射光を結像させるための可変焦点レンズと、を備える。コントローラは、可変焦点レンズの第1焦点距離を含む第1光学条件を設定するための制御部と、第1焦点距離を含む第1光学条件設定を記憶する記憶部と、カメラと通信するための通信インタフェース部と、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2焦点距離を含む第2光学条件を取得可能な光学条件取得部と、記憶部に記憶された第1光学条件設定に含まれる第1焦点距離と、カメラから光学条件取得部を介して取得された第2焦点距離と、を比較可能な比較画面を表示する表示制御部と、を備える。
【選択図】図37
【特許請求の範囲】
【請求項1】
検査対象物を撮像して検査対象画像を生成するカメラと、当該カメラの設定を行うためのコントローラとを備える画像処理装置であって、
前記カメラは、
検査対象物を撮像する撮像素子と、
前記撮像素子に検査対象物からの反射光を結像させるための可変焦点レンズと、を備え、
前記コントローラは、
前記可変焦点レンズの第1焦点距離を含む第1光学条件を設定するための制御部と、
前記第1焦点距離を含む第1光学条件設定を記憶する記憶部と、
前記カメラと通信するための通信インタフェース部と、
前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから前記可変焦点レンズの第2焦点距離を含む第2光学条件を取得可能な光学条件取得部と、
前記記憶部に記憶された第1光学条件設定に含まれる第1焦点距離と、前記カメラから前記光学条件取得部を介して取得された第2焦点距離と、を比較可能な比較画面を表示する表示制御部と、を備えることを特徴とする、画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記記憶部は、異なる時点で設定され、それぞれが焦点距離を含む複数の光学条件設定を記憶し、
前記制御部は、前記複数の光学条件設定の中から、前記比較画面に表示される比較対象の光学条件設定の選択を受け付けることを特徴とする画像処理装置。
【請求項3】
請求項1に記載の画像処理装置において、
前記カメラは、
当該カメラのカメラパラメータを記憶するための記憶部と、
検査対象物までの距離である設置距離を測定する測距部と、
前記カメラパラメータと前記設置距離とに基づいて視野サイズ又は画素分解能を算出する演算部と、を更に備え、
前記制御部は、第1視野サイズ又は第1画素分解能を更に含む前記第1光学条件を設定し、
前記コントローラの記憶部は、前記第1視野サイズ又は第1画素分解能を更に含む前記第1光学条件設定を記憶し、
前記光学条件取得部は、前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから第2視野サイズ又は第2画素分解能を更に含む前記第2光学条件を取得し、
前記表示制御部は、前記コントローラの記憶部に記憶された前記第1光学条件設定に含まれる第1視野サイズ又は第1画素分解能と、前記カメラから前記光学条件取得部を介して取得された第2視野サイズ又は第2画素分解能と、を比較可能な比較画面を表示することを特徴とする、画像処理装置。
【請求項4】
請求項3に記載の画像処理装置において、
前記カメラは、ズーム可能に構成され、
前記制御部は、第1ズーム倍率を更に含む前記第1光学条件を設定し、
前記演算部は、前記カメラパラメータと前記設置距離と前記第1ズーム倍率とに基づいて、前記視野サイズ又は画素分解能を算出し、
前記コントローラの記憶部は、前記第1ズーム倍率を更に含む前記第1光学条件設定を記憶し、
前記光学条件取得部は、前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから第2ズーム倍率を更に含む前記第2光学条件を取得し、
前記表示制御部は、前記コントローラの記憶部に記憶された前記第1光学条件設定に含まれる第1ズーム倍率と、前記カメラから前記光学条件取得部を介して取得された第2ズーム倍率と、を比較可能な比較画面を表示することを特徴とする、画像処理装置。
【請求項5】
請求項4に記載の画像処理装置において、
前記カメラは、光学ズームが可能なズーム光学系を更に備え、
前記制御部は、前記ズーム光学系の第1光学倍率を更に含む前記第1光学条件を設定し、
前記コントローラの記憶部は、前記第1光学倍率を更に含む前記第1光学条件設定を記憶し、
前記光学条件取得部は、前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから第2光学倍率を更に含む前記第2光学条件を取得し、
前記表示制御部は、前記コントローラの記憶部に記憶された前記第1光学条件設定に含まれる第1光学倍率と、前記カメラから前記光学条件取得部を介して取得された第2光学倍率と、を比較可能な比較画面を表示する、ことを特徴とする画像処理装置。
【請求項6】
請求項4に記載の画像処理装置において、
前記カメラは、前記検査対象画像よりも大きな画素数の撮像画像を生成するとともに、当該カメラの視野範囲の全部または一部の領域である出力領域に対応する、当該撮像画像よりも小さな画素数の検査対象画像を生成し、
前記演算部は、前記第1ズーム倍率に基づいて、前記出力領域を変更するとともに、前記撮像画像の画素数と前記検査対象画像の画素数とに基づくスケーリング倍率を算出し、
前記制御部は、第1スケーリング倍率を更に含む前記第1光学条件を設定し、
前記コントローラの記憶部は、前記第1スケーリング倍率を更に含む前記第1光学条件設定を記憶し、
前記光学条件取得部は、前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから第2スケーリング倍率を更に含む前記第2光学条件を取得し、
前記表示制御部は、前記コントローラの記憶部に記憶された前記第1光学条件設定に含まれる第1スケーリング倍率と、前記カメラから前記光学条件取得部を介して取得された第2スケーリング倍率と、を比較可能な比較画面を表示する、ことを特徴とする、画像処理装置。
【請求項7】
請求項6に記載の画像処理装置において、
前記制御部は、前記出力領域を前記視野範囲内の異なる位置に移動させる指示を受け付け可能に構成され、
前記演算部は、前記視野範囲内の基準位置からの前記出力領域の移動量を算出し、
前記制御部は、第1移動量を更に含む前記第1光学条件を設定し、
前記コントローラの記憶部は、前記第1移動量を更に含む前記第1光学条件設定を記憶し、
前記光学条件取得部は、前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから第2移動量を更に含む前記第2光学条件を取得し、
前記表示制御部は、前記コントローラの記憶部に記憶された前記第1光学条件設定に含まれる第1移動量と、前記カメラから前記光学条件取得部を介して取得された第2移動量と、を比較可能な比較画面を表示する、ことを特徴とする画像処理装置。
【請求項8】
請求項1に記載の画像処理装置において、
前記カメラは、当該カメラの姿勢条件を計測する加速度センサを更に備え、
前記制御部は、第1姿勢条件を更に含む前記第1光学条件を設定し、
前記記憶部は、前記第1姿勢条件を更に含む前記第1光学条件設定を記憶し、
前記光学条件取得部は、前記第1光学条件の設定時とは異なる時点で、前記通信インタフェース部を介して、前記カメラから第2移動量を更に含む前記第2光学条件を取得し、
前記表示制御部は、前記コントローラの記憶部に記憶された前記第1光学条件設定に含まれる第1移動量と、前記カメラから前記光学条件取得部を介して取得された第2移動量と、を比較可能な比較画面を表示する、ことを特徴とする、画像処理装置。
【請求項9】
請求項1に記載の画像処理装置において、
前記記憶部に記憶された光学条件設定に含まれる第1焦点距離と、前記カメラから前記光学条件取得部を介して取得された第2焦点距離との差分を抽出する差分抽出部を更に備え、
前記表示制御部は、前記差分抽出部により差分が抽出されたことを併せて表示可能な前記比較画面を表示することを特徴とする画像処理装置。
【請求項10】
請求項1に記載の画像処理装置において、
前記コントローラの記憶部は、前記第1光学条件設定に基づいて生成された第1検査対象画像を、当該第1光学条件設定と対応付けて記憶し、
前記制御部は、比較対象として選択された前記第1光学条件設定に対応する前記第1検査対象画像と同等の検査対象画像が生成されるように、前記カメラの光学条件を自動的に調整可能に構成されることを特徴とする、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、例えばワーク等の検査対象物を撮像して得られた検査対象画像を生成する画像処理装置に関する。
【背景技術】
【0002】
従来より、例えば特許文献1に開示されているように、検査対象物を撮像した検査対象画像に基づいて、検査対象物の良否を判定するように構成された画像検査システムが知られている。特許文献1に開示された画像検査システムは、標準化規格に適合した撮像装置に対して多段階の処理を順序立てて行わせることができるようにし、撮像装置の機種選定の自由度向上と、画像検査の精度向上とを両立させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-169958号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、画像検査に用いられる産業用カメラは、設置時に光学条件が適切な条件となるように調整される必要がある。当該光学条件は、その設定時におけるカメラから検査対象物までの設置距離やカメラの姿勢条件を含むカメラの設置条件に依存して算出される。設置後の運用時に何等かの原因により、カメラの設置条件が変化してしまった場合、同じ光学条件で検査対象物を撮像したとしても、適切な検査対象画像を生成できなくなる恐れがある。その場合、ユーザは当該変化後の設置条件で光学条件を修正するか、元の光学条件が適用可能なように設置条件を元の状態に復帰させる必要がある。
【0005】
本開示は、かかる点に鑑みたものであり、その目的とするところは、カメラの設置条件の変化の有無を容易に検知できるようにすることにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本開示の一態様では、検査対象物を撮像して検査対象画像を生成するカメラと、当該カメラの設定を行うためのコントローラとを備える画像処理装置を前提とすることができる。カメラは、検査対象物を撮像する撮像素子と、撮像素子に検査対象物からの反射光を結像させるための可変焦点レンズと、を備えている。コントローラは、可変焦点レンズの第1焦点距離を含む第1光学条件を設定するための制御部と、第1焦点距離を含む光学条件設定を記憶する記憶部と、カメラと通信するための通信インタフェースと、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから可変焦点レンズの第2焦点距離を含む第2光学条件を取得する光学条件取得部と、記憶部に記憶された第1光学条件設定に含まれる第1焦点距離と、カメラから光学条件取得部を介して取得された第2焦点距離と、を比較可能な比較画面を表示する表示制御部と、を備えている。
【0007】
カメラから検査対象物までの設置距離やカメラの姿勢条件が変化すると、検査対象物にフォーカスを合わせたときの焦点距離も変化する。この構成によれば、設置後の運用時に何等かの原因によりカメラの設置条件が変化してしまった場合であっても、ユーザは焦点距離の比較結果に基づいて、カメラの設置条件の変化の有無を容易に検知することができる。
【0008】
また、記憶部は、異なる時点で設定され、それぞれが焦点距離を含む複数の光学条件設定を記憶し、制御部は、複数の光学条件設定の中から、比較画面に表示される比較対象の光学条件設定の選択を受け付ける。この構成によれば、例えば複数の種類の検査対象物を検査する場合に、検査対象物の種類ごとに複数の光学条件設定を記憶しておくことで、検査を実行しようとする検査対象物の種類に対応する光学条件設定を比較対象として適宜選択することができる。
【0009】
また、カメラは、当該カメラのカメラパラメータを記憶するための記憶部と、検査対象物までの距離である設置距離を測定する測距部と、カメラパラメータと設置距離とに基づいて視野サイズ又は画素分解能を算出する演算部と、を更に備え、制御部は、第1視野サイズ又は第1画素分解能を更に含む第1光学条件を設定し、コントローラの記憶部は、第1視野サイズ又は第1画素分解能を更に含む第1光学条件設定を記憶し、光学条件取得部は、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2視野サイズ又は第2画素分解能を更に含む第2光学条件を取得し、表示制御部は、コントローラの記憶部に記憶された第1光学条件設定に含まれる第1視野サイズ又は第1画素分解能と、カメラから光学条件取得部を介して取得された第2視野サイズ又は第2画素分解能と、を比較可能な比較画面を表示してもよい。この構成によれば、例えば変化後の設置条件で光学条件を修正するか、設置条件を元の状態に復帰させる場合に、検査精度に重要な条件である、視野サイズ又は画素分解能を比較することで、適切に作業が進められているかを確認することができる。
【0010】
また、カメラは、ズーム可能に構成され、制御部は、第1ズーム倍率を更に含む第1光学条件を設定し、演算部は、カメラパラメータと設置距離と第1ズーム倍率とに基づいて、視野サイズ又は画素分解能を算出し、コントローラの記憶部は、第1ズーム倍率を更に含む第1光学条件設定を記憶し、光学条件取得部は、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2ズーム倍率を更に含む第2光学条件を取得し、表示制御部は、コントローラの記憶部に記憶された第1光学条件設定に含まれる第1ズーム倍率と、カメラから光学条件取得部を介して取得された第2ズーム倍率と、を比較可能な比較画面を表示してもよい。この構成によれば、例えば変化後の設置条件で光学条件を修正するか、設置条件を元の状態に復帰させる場合に、検査対象画像の生成に重要な条件である、カメラのズーム倍率も比較することで、適切に作業が進められているかを確認することができる。
【0011】
また、カメラは、光学ズームが可能なズーム光学系を更に備え、制御部は、ズーム光学系の第1光学倍率を更に含む第1光学条件を設定し、コントローラの記憶部は、第1光学倍率を更に含む第1光学条件設定を記憶し、光学条件取得部は、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2光学倍率を更に含む前記第2光学条件を取得し、表示制御部は、コントローラの記憶部に記憶された第1光学条件設定に含まれる第1光学倍率と、カメラから光学条件取得部を介して取得された第2光学倍率と、を比較可能な比較画面を表示してもよい。
【0012】
また、カメラは、検査対象画像よりも大きな画素数の撮像画像を生成するとともに、当該カメラの視野範囲の全部または一部の領域である出力領域に対応する、当該撮像画像よりも小さな画素数の検査対象画像を生成し、演算部は、第1ズーム倍率に基づいて、出力領域を変更するとともに、撮像画像の画素数と検査対象画像の画素数とに基づくスケーリング倍率を算出し、制御部は、第1スケーリング倍率を更に含む第1光学条件を設定し、コントローラの記憶部は、第1スケーリング倍率を更に含む第1光学条件設定を記憶し、光学条件取得部は、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2スケーリング倍率を更に含む第2光学条件を取得し、表示制御部は、コントローラの記憶部に記憶された第1光学条件設定に含まれる第1スケーリング倍率と、カメラから光学条件取得部を介して取得された第2スケーリング倍率と、を比較可能な比較画面を表示してもよい。
【0013】
また、制御部は、出力領域を視野範囲内の異なる位置に移動させる指示を受け付け可能に構成され、演算部は、視野範囲内の基準位置からの前記出力領域の移動量を算出し、制御部は、第1移動量を更に含む第1光学条件を設定し、コントローラの記憶部は、第1移動量を更に含む第1光学条件設定を記憶し、光学条件取得部は、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2移動量を更に含む第2光学条件を取得し、表示制御部は、コントローラの記憶部に記憶された第1光学条件設定に含まれる第1移動量と、カメラから光学条件取得部を介して取得された第2移動量と、を比較可能な比較画面を表示してもよい。
【0014】
また、カメラは、当該カメラの姿勢条件を計測する加速度センサを更に備え、制御部は、第1姿勢条件を更に含む第1光学条件を設定し、記憶部は、第1姿勢条件を更に含む第1光学条件設定を記憶し、光学条件取得部は、第1光学条件の設定時とは異なる時点で、通信インタフェース部を介して、カメラから第2移動量を更に含む第2光学条件を取得し、表示制御部は、コントローラの記憶部に記憶された第1光学条件設定に含まれる第1移動量と、カメラから光学条件取得部を介して取得された第2移動量と、を比較可能な比較画面を表示してもよい。
【0015】
これらの構成によれば、例えば変化後の設置条件で光学条件を修正するか、設置条件を元の状態に復帰させる場合に、検査対象画像の生成に重要な条件である、カメラの光学倍率、スケーリング倍率、視野範囲内の基準位置からの出力領域の移動量、姿勢条件も比較することで、適切に作業が進められているかを確認することができる。
【0016】
また、記憶部に記憶された光学条件設定に含まれる第1焦点距離と、カメラから光学条件取得部を介して取得された第2焦点距離との差分を抽出する差分抽出部を更に備え、表示制御部は、差分抽出部により差分が抽出されたことを併せて表示可能な比較画面を表示する。この構成によれば、差分が抽出されたことを併せて表示することで、ユーザは焦点距離の変化の有無を発見しやすくなる。
【0017】
また、コントローラの記憶部は、第1光学条件設定に基づいて生成された第1検査対象画像を、当該第1光学条件設定と対応付けて記憶し、制御部は、比較対象として選択された第1光学条件設定に対応する第1検査対象画像と同等の検査対象画像が生成されるように、カメラの光学条件を自動的に調整可能に構成してもよい。この構成によれば、選択した検査対象画像を再現するような光学条件が自動的に算出されるため、ユーザ自身が光学条件を詳細に調整する必要がなくなる。
【発明の効果】
【0018】
以上説明したように、設置後の運用時に何等かの原因によりカメラの設置条件が変化してしまった場合であっても、ユーザは焦点距離の比較結果に基づいて、カメラの設置条件の変化の有無を容易に検知することができる。
【図面の簡単な説明】
【0019】
図1】実施形態に係る産業用カメラを備えた画像検査システムの使用状態を示す全体図である。
図2】産業用カメラを上方から見た斜視図である。
図3】産業用カメラの正面図である。
図4】産業用カメラの側面図である。
図5】産業用カメラを下方から見た斜視図である。
図6】産業用カメラの内部構造を示す断面図である。
図7】画像検査システムのブロック図である。
図8】ダウンスケーリングの概念を説明する図である。
図9】具体的なワークを撮像した画像に基づいてダウンスケーリングを行う場合を説明する図である。
図10】任意の位置のズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。
図11】ズーム指示等を受け付けるユーザインタフェース画面の一例を示す図である。
図12】マウスを用いた領域選択によるズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。
図13】任意の位置をパンチルトした後、ダウンスケーリングを行う場合を説明する図である。
図14】画像の縦横比を変更した状態でダウンスケーリングを行う場合を説明する図である。
図15】固定箇所を中心にダウンスケーリングした後、パンチルトを行う場合を説明する図である。
図16】ダウンスケーリングのみで対応可能なズーム倍率の場合を説明する図である。
図17】ダウンスケーリングと光学ズームで対応する場合を説明する図である。
図18】光学ズームとダウンスケーリングを組み合わせる場合の例を説明する図である。
図19】ダウンスケーリング時の縦横比のみを変更する場合の例を説明する図である。
図20】ダウンスケーリング時に画素数を増減させる場合の例を説明する図である。
図21】回転後の検査対象画像を生成する場合の例を説明する図である。
図22】ダウンスケーリングをプロセッサで実現する場合の例を示す図である。
図23】カラー撮像画像をダウンスケーリングした場合の概念図である。
図24】カラー撮像画像をダウンスケーリングする場合の手順を示す図である。
図25】カラー撮像画像を構成する各画素の補間処理及びダウンスケーリングの例を示す図である。
図26】ローパスフィルタが適用された場合を説明する図である。
図27】ズーム倍率入力時の処理手順の一例を示すフローチャートである。
図28】視野分解能指定時の処理手順の一例を示すフローチャートである。
図29】パンチルトの処理手順の一例を示すフローチャートである。
図30】縦横比変更の処理手順の一例を示すフローチャートである。
図31】光学条件設定を開始する場合のユーザインタフェース画面の一例を示す図である。
図32】光学条件データ管理用のユーザインタフェース画面の一例を示す図である。
図33】新規作成時に表示される確認ウインドウの一例を示す図である。
図34】新規に光学条件を取得した場合を示す図32相当図である。
図35】光学条件のコピー時に表示される確認ウインドウの一例を示す図である。
図36】光学条件の削除時に表示される確認ウインドウの一例を示す図である。
図37】複数の光学条件を比較可能に表示するのユーザインタフェース画面の一例を示す図である。
図38】初回立ち上げ時における光学条件の設定手順の一例を示すフローチャートである。
図39】光学条件の保存及び変更を行う場合の設定手順の一例を示すフローチャートである。
図40】光学条件を見直す場合の設定手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0021】
図1は、本発明の実施形態に係る産業用カメラ1を備えた画像検査システム2の使用状態を示す全体図である。図1に示す画像検査システム2は、2台の産業用カメラ1と、コントロール用パーソナルコンピュータ(以下、コントローラという)3とを備えている。産業用カメラ1の台数は、2台に限定されるものではなく、1台であってもよいし、3台以上であってもよい。産業用カメラ1は、詳細は後述するが、図2図5等に示すような形状を有しており、図6に示すような内部構造を有している。この産業用カメラ1は、検査対象物であるワークWを撮像して得られた検査対象画像を生成する。このような検査対象画像を生成する産業用カメラ1を含む画像検査システム2を画像処理装置と呼ぶこともできる。
【0022】
図示しないが、例えばプログラマブルロジックコントローラや、ワークWの到着を検出するセンサ等から出力されるトリガ信号を産業用カメラ1が受信可能になっている。トリガ信号を受信した産業用カメラ1は撮像処理を実行して検査対象画像を生成する。また、産業用カメラ1は、トリガ信号を外部から受信することなく、内部で繰り返し撮像処理を実行して検査対象画像を生成してもよい。図示しないが、画像検査システム2は、ワークWを照明する照明部を備えていてもよく、照明部は産業用カメラ1の撮像処理と同期してワークWを照明するように制御される。
【0023】
本例では、図1に示すように、産業用カメラ1が使用される現場として、複数のワークWがベルトコンベアB等の搬送装置によって順次搬送される現場である場合について説明するが、静止したワークWを検査する現場であってもよい。産業用カメラ1は、カメラ取付部材4に取り付けられており、所定の位置に所定の姿勢で設置される。
【0024】
コントローラ3は、産業用カメラ1の各種設定等を行うものであり、例えばデスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ等で構成できる他、画像検査専用の演算処理装置で構成することもでき、その形態は特に限定されない。コントローラ3は、本体部5と、記憶部6と、キーボード7と、マウス8と、モニタ9とを備えている。本体部5は、ケーブル10を介して産業用カメラ1と通信可能に接続されている。本体部5には、中央演算処理装置、ROM、RAM等で構成された制御部5aが設けられている。また、記憶部6は、ハードディスクドライブやソリッドステートドライブ等で構成されており、制御部5aを動作させるためのプログラムや、産業用カメラ1の設定情報、各種画像等が記憶される。記憶部6は、その一部が産業用カメラ1に設けられていてもよく、この場合、産業用カメラ1の設定情報、各種画像等を産業用カメラ1で保持することができる。
【0025】
キーボード7及びマウス8は、コントローラ3を操作するための操作部であり、キーボード7及びマウス8の操作状態は制御部5aによって検出される。操作部は、キーボード7及びマウス8に限定されるものではなく、いわゆるタッチパネル式の操作部であってもよい。モニタ9は、例えば液晶ディスプレイ装置等で構成されており、制御部5aによって制御されて産業用カメラ1を設定するための各種ユーザインタフェース、各種画像等の表示が可能になっている。また、コントローラ3は、表示部としてのモニタ9を制御する表示制御部5dを備えている。
【0026】
(産業用カメラの構成)
図6に示すように、産業用カメラ1は、レンズユニット20と、センサ基板30と、メイン基板40と、筐体50と、記憶部39とを有している。記憶部39には、産業用カメラ1の設定情報、各種画像等が記憶される。筐体50は、例えばアルミニウム合金等の高剛性な部材で構成されている。尚、説明の便宜上、図2図5に示すように上下方向、左右方向及び前後方向を定義するが、これは使用時の姿勢を限定するものではなく、どのような姿勢であっても産業用カメラ1を使用できる。
【0027】
図7に示すように、産業用カメラ1には加速度センサ32が取り付けられている。加速度センサ32は、産業用カメラ1の姿勢条件を計測するためのセンサであり、例えば鉛直方向に対する傾きや水平方向に対する傾き等の計測が可能である。具体的には、加速度センサ32を用いることで、ピッチ、チルト、ロール等の各角度を基準からの差に基づいて算出し、その算出結果から産業用カメラ1の姿勢条件が計測される。
【0028】
筐体50は、上側部分51と、下側部分52とを有している。上側部分51は、下側部分52に比べて前後方向に長く形成されている。下側部分52は、上側部分51の後側から下方へ突出するように形成されている。図2図3に示すように、上側部分51の前面部には受光窓51aが形成されている。また、図6に示すように、上側部分51には、レンズユニット20とセンサ基板30が収容され、下側部分52には、メイン基板40が収容されている。つまり、筐体50には、後述するイメージセンサ31、プロセッサ41、出力部42が内蔵されている。
【0029】
レンズユニット20は、電動で光学ズームが可能なズーム光学系を備えたズームレンズであり、所定の範囲内であれば、光学ズーム倍率を任意の倍率に切り替えることができる。レンズユニット20は、筐体50に固定され、当該筐体50と一体化されている。
【0030】
すなわち、レンズユニット20の光軸は筐体50の前後方向と一致している。レンズユニット20は、第1レンズ群21、第2レンズ群22、第3レンズ群23、第4レンズ群24、第5レンズ群25、及び、第1~第5レンズ群21~25を保持する鏡筒26を有している。第1~第5レンズ群21~25は、受光窓51aから入射した光を集光する集光レンズを構成している。また、第1~第5レンズ群21~25の各レンズ群を構成するレンズの枚数は特に限定されるものではなく、何枚であってもよいし、レンズ群の数についても4つ以下であってもよいし、6つ以上であってもよい。また、レンズユニット20は、手動で光学ズームが可能なズーム光学系であってもよい。
【0031】
第1レンズ群21は、筐体50の前面部に配置された固定レンズ群であり、ワークWからの反射光を受光する。第1レンズ群21が受光窓51aから筐体50の外部に臨んでいる。第2レンズ群22は、第1レンズ群21の後方に配置されたズーム用可動レンズ群であり、第1レンズ群21から出射した光を受光する。第3レンズ群23は、第2レンズ群22の後方に配置された固定レンズ群であり、第2レンズ群22から出射した光を受光する。第4レンズ群24は、第3レンズ群23の後方に配置されたフォーカス用可動レンズ群であり、第3レンズ群23から出射した光を受光する。第5レンズ群25は、第4レンズ群24の後方に配置された固定レンズ群であり、第4レンズ群24から出射した光を受光する。
【0032】
鏡筒26には、ズーム用ボールねじ56aと、ズーム用ガイドシャフト56bと、ズーム用ボールねじ56aを正逆方向に回転させるズーム用モータ56cとが設けられている。第2レンズ群22はズーム用ボールねじ56a及びズーム用ガイドシャフト56bに支持されており、ズーム用モータ56cによってズーム用ボールねじ56aが回転すると、第2レンズ群22が光軸方向に移動し、これにより、所望のズーム倍率が得られるようになっている。ズーム用ボールねじ56a、ズーム用ガイドシャフト56b及びズーム用モータ56cは、第2レンズ群22を光軸方向に駆動し、光学倍率を調整するズーム用レンズ駆動機構である。
【0033】
また、鏡筒26には、フォーカス用ボールねじ56dと、フォーカス用ガイドシャフト56eと、フォーカス用ボールねじ56dを正逆方向に回転させるフォーカス用モータ56fとが設けられている。第4レンズ群24はフォーカス用ボールねじ56d及びフォーカス用ガイドシャフト56eに支持されており、フォーカス用モータ56fによってフォーカス用ボールねじ56dが回転すると、第4レンズ群24が光軸方向に移動し、これにより、フォーカス調整が行われるようになっている。フォーカス用ボールねじ56d、フォーカス用ガイドシャフト56e及びフォーカス用モータ56fは、第4レンズ群24を光軸方向に駆動し、焦点位置を調整するズーム用レンズ駆動機構である。
【0034】
図7に示すように、メイン基板40には、ズーム制御部40a、AF制御部40b及びインタフェース部40cが設けられている。インタフェース部40cは、例えばズーム指示等を外部から受け付ける部分であり、インタフェース部40cが光学ズームのズーム指示を受け付けた場合、ズーム制御部40aは、ズーム用モータ56cを制御し、インタフェース部40cで受け付けたズーム倍率となるように、第2レンズ群22を光軸方向に移動させる。
【0035】
産業用カメラ1は、検査対象物までの距離である設置距離を測定する測距部43を備えている。設置距離とは、産業用カメラ1からワークWまでの距離である。測距部43は、例えばTOF(Time Of Flight)センサであってもよいし、産業用カメラ1が有するAF制御部40bで取得された合焦時の情報に基づいて設置距離を測定するように構成されていてもよいし、ユーザがキーボード7やマウス8により入力した値に基づいて設置距離を得るように構成されていてもよい。
【0036】
AF制御部40bは、従来から周知のコントラスト方式や、位相差方式のオートフォーカス制御を実行する部分である。AF制御部40bがフォーカス用モータ56fを制御して焦点位置がワークWに合うように、第4レンズ群24を光軸方向に移動させる。
【0037】
図6に示すように、センサ基板30は、第5レンズ群25の後方に配置されている。センサ基板30には、イメージセンサ31が実装されている。図7に示すように、イメージセンサ31は、集光レンズにより集光された光を受光する光電変換部31aと、光電変換部31aにより取得された撮像画像から検査対象画像を生成するロジック部31bと、カラーフィルタ31c(図6に示す)を有しており、検査対象物を撮像して得られたカラー検査対象画像の生成が可能になっている。光電変換部31aとカラーフィルタ31cとにより、各色が所定の配列パターンで形成されたカラー撮像画像の生成が可能になる。また、光電変換部31aによりモノクロ撮像画像の生成も可能である。以下の説明は、モノクロ撮像画像とカラー撮像画像の両方に適用可能である。
【0038】
光電変換部31aは、検査対象画像よりも画素数が大きな撮像画像を生成することが可能になっている。また、ロジック部31bは、光電変換部31aと同一チップに実装されており、画像生成部を構成する部分である。具体的には、光電変換部31aは、CMOS型撮像素子であり、複数のウエハの積み重ねで構成され、当該ウエハの一部によりロジック部31bが構成されている。ウエハの一部には、メモリ等が含まれていてもよい。
【0039】
また、光電変換部31aは、グローバルシャッタ方式またはローリングシャッタ方式のCMOS型撮像素子である。グローバルシャッタ方式の場合は、移動体に対しても歪みの無い画像を撮像することができる。ローリングシャッタ方式の場合は、グローバルシャッタ方式の場合の半分程度の画素ピッチで高画素化を実現することができるため、レンズユニット20の各レンズサイズを小型化することができ、ひいては筐体50の小型化が可能になり、設置時の自由度が向上する。光電変換部31aの画素群により、イメージセンサ31の視野範囲が形成されている。イメージセンサ31の視野範囲を光電変換部31aの視野範囲ともいう。
【0040】
ロジック部31bは、光電変換部31aの画素群(イメージセンサ31の視野範囲)の全部または一部の領域である出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、当該撮像画像よりも小さな画素数の検査対象画像を生成し、当該検査対象画像を出力する部分である。ここでダウンスケーリングとは、対象となる画像の画素分解能を下げる処理のことをいう。
【0041】
ダウンスケーリングの概念について図8に基づいて説明する。図8は、ワークWを産業用カメラ1で撮像する場合を模式的に示している。例えば光電変換部31aの画素数が20MP(メガピクセル)であったとする(図面においては、単に20M等と表記する)。図8の左側に示すように、光学ズームすることで、通常視野よりも狭い視野になり、注目領域(ROI)は光学ズーム後の視野よりも更に狭い領域になる。図8の右側に示すように、画素数20MPで撮像した撮像画像A1から注目領域を切り出した場合、画素分解能はそのままで例えば画素数が5MPの注目領域A2となる。光学ズーム後の撮像画像A3から注目領域を切り出した場合も同様に画素分解能はそのままで画素数が5MPの注目領域A4となる。
【0042】
撮像画像A1からダウンスケーリングする際、スケーリング倍率(ダウンスケーリング倍率ともいう)は任意に設定可能である。スケーリング倍率は、撮像画素数を出力画素数で除して求めることができ、例えば20MPで撮像した画像と同じ視野の画像を10MPで出力する場合には、スケーリング倍率が2倍となる。
【0043】
ダウンスケーリングは、画像の縦横比が一定のままで行うこともできるし、画像の縦横比を変化させて行うこともできる。画像の縦横比が一定のままの場合、上述したように、例えば20MPで撮像した画像と同じ視野の画像を10MPで出力する場合には、スケーリング倍率が2倍となる。一方、画像の縦横比を変化させる場合、例えば5000×4000の20MPの画素数で撮像した画像を同じ視野のまま2500×2000の5MPの画素数で出力すると、スケーリング倍率は4倍となる。また、3200×4000の注目領域を2000×2500にダウンスケーリングする場合、スケーリング倍率は2.56倍となる。
【0044】
画像の縦横比が一定のままでスケーリング倍率を例えば4倍とした場合には、画素数が5MPのワーク全体画像A5が得られることになる。画像A5に対して光学ズームとダウンスケーリングを併用することで、画像A5よりも画素分解能の高い注目領域A4が得られる。また、光学ズーム後の撮像画像A3からダウンスケーリングすることで、画像A3よりも画素分解能の低いワーク画像A6が得られる。
【0045】
図9は、具体的なワークWを撮像した画像に基づいてダウンスケーリングを説明するための図である。光電変換部31aの画素群の全部、すなわち撮像部の視野範囲の全部の領域である出力領域に対応する撮像画像を第1撮像画像B1とする。ロジック部31bは、第1撮像画像B1に対し、任意の第1のスケーリング倍率でダウンスケーリングし、第1撮像画像B1の画素数(例:20MP)よりも小さな第1画素数(例:1.6MP)の検査対象画像B2を生成する。
【0046】
インタフェース部40cは、光電変換部31a、すなわち撮像部の視野範囲において検査対象画像として出力する領域である出力領域の指定を受け付けることができる。この出力領域は、例えば図8を用いて説明した注目領域に対応する領域であってもよい。インタフェース部40cは、出力領域の位置、大きさ、及び形状の少なくとも1つを変更する指示を受け付けることもできる。
【0047】
例えば、インタフェース部40cは、光電変換部31aの出力領域を相対的に小さな領域に変更する第1ズーム指示をユーザから受け付け可能に構成されている。。具体的には、第1ズーム指示により、出力領域が、光電変換部31aの画素群の一部、すなわち撮像部の視野範囲の一部の領域へと変更される。第2撮像画像B1’は、第1ズーム指示により変更された後の出力領域に対応する撮像画像である。第2撮像画像B1’は、第1撮像画像B1と異なるタイミングで撮像されており、第1撮像画像B1とは独立している。ロジック部31bは、第2撮像画像B1’に対し、第2のスケーリング倍率でダウンスケーリングし、第2撮像画像B1’の画素数(例:5MP)よりも小さな第1画素数(例:1.6MP)の検査対象画像B3を生成する。また、第2撮像画像B1’は、第1撮像画像B1に基づいて生成されたものであってもよく、例えば、第1撮像画像B1の一部を切り取ることで生成してもよい。第1ズーム指示により相対的に小さな領域に変更された画像は、図9に示す第2撮像画像B2である。第2撮像画像B2は、第1撮像画像B1と異なるタイミングで撮像されており、第1撮像画像B1とは独立している。また、第2撮像画像B2は、第1撮像画像B1に基づいて生成されたものであってもよく、この場合、第1撮像画像B1における変更後の出力領域に対応する部分のみから成る第2撮像画像B2とすることができる。また、インタフェース部40cは、第1ズーム倍率を整数だけでなく、小数点以下の精度で調整する指示を受け付け可能に構成されている。
【0048】
図7に示すように、メイン基板40には、各種演算を実行するとともに、イメージセンサ31を制御するプロセッサ41が設けられている。プロセッサ41は、演算部41aを有しており、演算部41aで演算された結果に基づいてプロセッサ41がイメージセンサ31のロジック部31bを制御し、所望の検査対象画像をロジック部31bに生成させる。
【0049】
演算部41aは、光電変換部31aの視野範囲内における変更後の出力領域に対応する第2撮像画像B1’を、上記第1画素数とするのに必要な第2のスケーリング倍率を算出する。演算部41aは、算出した第2のスケーリング倍率をロジック部31bに出力する。ロジック部31bは、第2撮像画像B1’を演算部41aで算出された第2のスケーリング倍率でダウンスケーリングすることにより、第1画素数の検査対象画像B3を生成する。第1画素数の検査対象画像B3は、光電変換部31aの出力領域に対応する第1撮像画像B1よりも低分解能であるが、必要な検査精度を確保できるだけの分解能は有しており、検査精度の上で問題は生じない。
【0050】
演算部41aは、インタフェース部40cにより受け付けた第1ズーム倍率が高ければ高いほど、第2のスケーリング倍率を小さくするように演算する。ロジック部31bは、演算部41aで演算された第2のスケーリング倍率が小さくなればなるほど、第2撮像画像B1’に対するダウンスケーリング量を少なくする。これにより、ロジック部31bは高い画素分解能の検査対象画像を生成する。
【0051】
演算部41aは、インタフェース部40cにより受け付けた第1ズーム倍率に基づいて、第1画素数の検査対象画像B3の1画素が、第2撮像画像B1’の何画素に相当するかの比率を計算する。この比率を利用して、演算部41aは、第2のスケーリング倍率を算出する。
【0052】
インタフェース部40cが第1ズーム倍率を小数点以下の精度で調整指示を受け付けた場合には、演算部41aは、小数点以下の精度で調整指示を受け付けたズーム倍率に基づいて、検査対象画像B3の1画素が、第2撮像画像B1’の何画素に相当するかの比率を小数点以下まで計算する。これにより、演算部41aは第2のスケーリング倍率を小数点以下の精度で算出する。ロジック部31bは、小数点以下の精度で算出された第2のスケーリング倍率に基づいて検査対象画像を生成する。
【0053】
図10は、任意の位置のズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。インタフェース部40cは、光電変換部31aの出力領域を相対的に小さな領域に変更する第1ズーム指示を、検査対象画像の任意の位置のズーム指示として受け付け可能に構成されている。具体的には、図10の撮像画像B1の中の枠C1は、説明の便宜上、撮像部の視野範囲内においてズーム指示を受け付けた位置及び領域を示すものであり、ユーザは、図9の撮像画像B1全体がダウンスケーリングされた検査対象画像B2が表示されたモニタ9を確認しながら、マウス8等を介して枠C1を検査対象画像B2に対して指定してもよい。枠C1の位置は検査対象画像B2(すなわち撮像部の視野範囲)のどこに配置してもよく、配置された位置をインタフェース部40cが検出する。また、枠C1の大きさや形状もユーザが任意に設定することができる。
【0054】
インタフェース部40cによって任意の位置として枠C1が指定されたズーム指示を受け付けると、ロジック部31bは、撮像部の視野範囲内において、上記任意の位置を含む出力領域に対応する領域(すなわち枠C1に対応する撮像画像であり、1.6MPより大きい画素数とする)を1.6MPとするのに必要なスケーリング倍率でダウンスケーリングする。これにより、ロジック部31bは任意の位置を含む検査対象画像B4を生成する。枠C1の位置は、撮像部の視野範囲の中心からX方向(画像の横方向)またはY方向(画像の縦方向)にずれていてもよく、撮像部の視野範囲の中心、すなわち光軸からずれた位置にある領域をダウンスケーリングできる。すなわち、一般の光学ズームでは光軸中心に沿ったズームとなるが、本例のダウンスケーリングでは、光軸中心だけなく、光軸中心からずれている領域もズーム可能であり、ダウンスケーリング可能な領域の位置設定の自由度が高い。
【0055】
図11は、ズーム指示を受付可能な設定用のユーザインタフェース画面100を示している。このユーザインタフェース画面100は、コントローラ3の制御部5aが生成してモニタ9に表示させる。ユーザインタフェース画面100上では、キーボード7やマウス8による操作が可能になっており、どのような操作がなされたかは制御部5aが検出して記憶する。
【0056】
ユーザインタフェース画面100には、画像表示領域101が設けられている。画像表示領域101には、光電変換部31aの視野範囲全体における出力領域の位置を示した俯瞰画像D1と、出力領域に対応する検査対象画像D2とが表示されるようになっている。すなわち、図7に示す産業用カメラ1のインタフェース部40cは、光電変換部31aの視野範囲全体における出力領域の位置を示した俯瞰画像D1と、出力領域に対応する検査対象画像D2とを外部に出力可能に構成されている。具体的には、メイン基板40には、出力部42が設けられている。出力部42は、イメージセンサ31から出力された俯瞰画像D1、検査対象画像D2を外部に出力する部分である。出力の際、例えば入出力端子60及びケーブル10を介して産業用カメラ1からコントローラ3へ画像データが送信される。
【0057】
図11に示すユーザインタフェース画面100には、ユーザがズーム倍率を調整するためのズーム調整領域101Aが設けられている。ズーム調整領域101Aをマウス8で「T」側に操作することでテレ側にズームされて視野範囲が狭まる一方、「W」側に操作することで反対に視野範囲が拡大する。また、マウス8のホイールを操作することによっても、ズーム倍率を調整できる。調整されたズーム倍率はコントローラ3側で一旦記憶されて産業用カメラ1のインタフェース部40cに転送され、インタフェース部40cで受け付けられる。
【0058】
ズーム倍率の調整は、数値によっても可能である。すなわち、ユーザインタフェース画面100には、数値入力領域102が設けられている。数値入力領域102は、ユーザがズーム倍率を数値で入力することによって調整するためのものであり、キーボード7やマウス8等によって任意に数値を入力できる。
【0059】
図12は、マウス8を用いた領域選択によるズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。枠C10は、マウス8の操作によって形成されたものであり、例えば左上から右下(または右上から左下等)にドラッグ操作することで形成できる。ロジック部31bは、枠C10で囲んだ領域に対応する撮像画像をダウンスケーリングすることにより、5MPの検査対象画像を生成する。また、枠C11も同様にしてマウス8の操作によって形成することができ、枠C11内の領域が拡大される。このとき、撮像画像B1における枠C11内の領域が5MP未満であり、出力する検査対象画像のサイズが5MPである場合、最大分解能(撮像画像B1の分解能)を超えてしまうため、枠C11を含む5MPの領域が、スケーリング倍率が1倍でダウンスケーリングされて(つまり、実質的にはダウンスケーリングされずに)、検査対象画像として出力される。
【0060】
図13は、任意の位置をパンチルトした後、ダウンスケーリングを行う場合を説明する図である。インタフェース部40cは、任意の位置を、X方向及びY方向に調整する第1パンチルト指示を受け付け可能に構成されている。例えば、光電変換部31aの視野範囲の中央を注目領域として枠C1で指定した後、枠C1の位置をX方向及びY方向に移動させ、例えば符号C1’で示す位置に配置する。枠C1でダウンスケーリングした場合には検査対象画像B5が得られる。ロジック部31bは、X方向及びY方向に調整された後の任意の位置(枠C1’の位置)に対応する撮像画像をダウンスケーリングすることにより、X方向及びY方向の位置が調整された検査対象画像B5’を生成する。ロジック部31bは、枠C1’で囲まれた領域内の一部を更にダウンスケーリングすることにより、検査対象画像B6を生成する。
【0061】
X方向及びY方向の調整は、図11に示すユーザインタフェース画面100を使用することで可能になる。ユーザインタフェース画面100には、視野位置調整領域103が設けられている。視野位置調整領域103は、上下左右それぞれの方向に向いた矢印等を組み合わせて構成されており、例えば上向きの矢印を操作するとで、枠C1の位置が上へ移動する。同様にして、枠C1の位置を下、左、右の任意の位置に調整できる。枠C1をマウス8によって直接ドラッグ操作してもよい。
【0062】
図14は、画像の縦横比を変更した状態でダウンスケーリングを行う場合を説明する図である。インタフェース部40cは、光電変換部31aの出力領域の縦横比の変更を受け付け可能に構成されている。例えば枠C1で示すように、撮像部の視野範囲内の任意の位置のズーム指示を受け付けると、ロジック部31bは、枠C1に対応する撮像画像をダウンスケーリングすることにより、検査対象画像B7を生成する。その後、枠C1で特定される領域の縦横比をユーザが自由に指定できる。縦横比を変更した後の領域を枠C2で示す。ロジック部31bは、縦横比が変更された出力領域(枠C2で囲まれた領域)に対応する領域をダウンスケーリングすることにより、検査対象画像B7’を生成する。そこから、枠C2で囲まれた領域内の一部を更にダウンスケーリングすることにより、検査対象画像B7’ ’を生成する。
【0063】
図15は、固定箇所を中心にダウンスケーリングした後、パンチルトを行う場合を説明する図である。例えば光電変換部31aの視野中心を固定箇所とした場合、ロジック部31bが、撮像部の視野範囲の中心を含む枠C1をダウンスケーリングすることにより検査対象画像B5を生成した後、図13に示すようにパンチルトすることで、ロジック部31bが、パンチルト後の領域に対応する撮像画像をダウンスケーリングすることにより検査対象画像B8を生成する。
【0064】
また、インタフェース部40cは、検査対象画像の画素数を、第1画素数から第2画素数に変更する画素数変更指示を受け付け可能に構成されている。第2画素数は、第1画素数よりも大きい画素数である。具体的には、図11に示すユーザインタフェース画面100には、画素数設定領域104が設けられている。画素数設定領域104では、検査対象画像の画素数を予め決められている選択肢の中からプルダウンメニューの形式で選択可能になっている。選択可能な画素数は、例えば1.6MP以上5MP以下の範囲とすることができるが、これに限られるものではない。
【0065】
また、画素数設定領域104では、縦横比も選択できる。すなわち、画素数設定領域104のプルダウンメニューには、それぞれが検査対象画像の画素数と縦横比の組合せである、複数の選択肢が表示される。ユーザは、これら選択肢の内からいずれか一つの選択肢の選択が可能になっている。選択された画素数に関する情報は、インタフェース部40cで受け付けられ、画素数変更指示として産業用カメラ1のプロセッサ41に送信される。
【0066】
画素数変更指示をプロセッサ41が受け取ると、演算部41aは、光電変換部31aの視野範囲内において、画素数変更指示の前と同じ出力領域に対応する撮像画像を、第2画素数とするのに必要なスケーリング倍率を算出する。演算部41aが算出したスケーリング倍率はロジック部31bに送られ、ロジック部31bは、撮像画像を、そのスケーリング倍率でダウンスケーリングすることにより、第2画素数の検査対象画像を生成する。縦横比が変更された場合、ロジック部31bは、光電変換部31aの視野範囲内において、縦横比が変更された出力領域に対応する領域をダウンスケーリングすることにより、縦横比が変更された検査対象画像を生成する。つまり、ロジック部31bは、画素数設定領域104で選択された検査対象画像の画素数と縦横比の組み合わせにしたがって、検査対象画像を生成する。
【0067】
図16は、ズーム倍率がダウンスケーリングのみで対応可能な場合、即ち光学ズームが不要な場合を説明する図である。図16の上側は撮像画像E1、E2であり、下側は検査対象画像E3、E4である。左側の撮像画像E1と右側の撮像画像E2の視野を一定とし、右側の撮像画像E2ではワークWが存在しない黒い領域の信号は読み出さないようにしているので、左側の撮像画像E1の画素数は20MP、右側の撮像画像E2の画素数は10MPとなる。左側の撮像画像E1をスケーリング倍率4倍でダウンスケーリングすると左側の検査対象画像E3が得られる。左側の検査対象画像E3は、画素数20MP分の領域を画素数5MPで出力することで得られた画像である。また、右側の撮像画像E2は、黒い領域の信号は読み出さないので、スケーリング倍率2倍でダウンスケーリングすることが可能になり、右側の検査対象画像E4が得られる。右側の検査対象画像E4は、画素数10MP分の領域を画素数5MPで出力することで得られる画像である。また、左側の検査対象画像E3の中心をズームすることで、より細かく分解された右側の検査対象画像E4が得られる。
【0068】
すなわち、光学ズームを使っていないにも関わらず、検査対象画像E3よりも画素分解能を高めつつ、ワークWを拡大して表示させた検査対象画像E4が得られる。本明細書では、このズーム処理のことを「センサズーム」と呼ぶことがある。
【0069】
図17は、ズーム倍率がある倍率以上であり、ダウンスケーリングと光学ズームの両方で対応する必要がある場合を説明する図である。図17の上側は撮像画像F1、光学ズーム画像F2、撮像画像F3であり、下側は検査対象画像E4、E5、E6である。撮像画像F1が生成された範囲に対して光学ズームすることで、視野範囲の狭い光学ズーム画像F2が得られる。右側の撮像画像F3ではワークWが存在しない黒い領域の信号は読み出さないようにしている。右側の撮像画像F3の枠F7で囲まれた部分を注目領域とする。この注目領域の画素数は6MPである。
【0070】
左側の撮像画像F1をスケーリング倍率4倍でダウンスケーリングすると左側の検査対象画像F4が得られる。中央の検査対象画像F5は、光学ズームによって取得された画像であることから光電変換部31aの視野中心に沿ってズームされる。よって、ワークWの中心が光電変換部31aの視野中心からずれていると、ズーム後の画像において、ワークWが画像中心からずれることになる。中央の検査対象画像F5は画素分解能が向上している。右側の検査対象画像F6は、右側の撮像画像F3の枠F7で囲まれた注目領域をスケーリング倍率1.2倍でダウンスケーリングした画像であり、画素数は5MPとなる。
【0071】
図18は、光学ズームとダウンスケーリングを組み合わせる場合の例を説明する図であり、パターン1とパターン2とを示している。パターン1では、指定されたズーム倍率が低い領域からダウンスケーリング限界近傍倍率まで、光学ズームをオフにして当該光学ズームを行わずに、ダウンスケーリングによるズームを行う。ダウンスケーリングはダウンスケーリング限界近傍倍率で固定する。ダウンスケーリング限界近傍倍率を超えると、光学ズームをオンにして当該光学ズームの倍率上限までズームする。このとき、指定されたズーム倍率が大きくなるにつれて光学ズームの光学倍率も大きくなる。光学ズームの倍率上限を超えると、光学ズームは固定し、ダウンスケーリングによるセンサズームを行う。このパターン1によれば、光学ズーム後においても、ダウンスケーリングを実行可能(すなわちセンサズームの余力を残すことが可能)であるため、検査対象画像として最終的に出力する領域を定める際の微調整を光学ズームではなく、センサズームにより実行することができる。
【0072】
パターン2では、ズーム倍率が低い領域からダウンスケーリング限界倍率(1倍)まで、光学ズームを行わずに、ダウンスケーリングによるズームを行う。ダウンスケーリング限界倍率までダウンスケーリングを行っているので、以降、ダウンスケーリングは行わない。ダウンスケーリング限界倍率を超えると、光学ズームを使用して光学ズームの倍率上限までズームする。
【0073】
つまり、図16図18を用いて説明したように、ロジック部31bは、インタフェース部40cを介してユーザにより指示されたズーム倍率が所定の倍率以下である場合は、当該指示されたズーム倍率に基づいて算出された第2のスケーリング倍率で第2撮像画像をダウンスケーリングすることにより検査対象画像を生成するように構成されている。一方、ロジック部31bは、インタフェース部40cを介してユーザにより指示されたズーム倍率が前記所定の倍率よりも大きい場合は、ズーム光学系による光学ズームにより、当該指示されたズーム倍率に相当する検査対象画像を生成するように構成されている。前記所定の倍率は、第2のスケーリング倍率が下限値の1倍近傍のスケーリング限界近傍倍率となるズーム倍率とすることができる。
【0074】
また、インタフェース部40cを介してユーザにより指示されたズーム倍率が前記所定の倍率よりも大きい場合、演算部41aは、ズーム光学系による光学ズームを行う。また、ロジック部31bは、スケーリング限界近傍倍率でダウンスケーリングを行うことにより、指示されたズーム倍率の検査対象画像を生成する。
【0075】
また、インタフェース部40cは、光学ズームの光学倍率が上限値に達した後も、より大きなズーム倍率を受け付け可能に構成されている。インタフェース部40cが受け付け可能なズーム倍率の上限値に達すると、演算部41aは、上限値の光学倍率で光学ズームの駆動を実行する。また、ロジック部31bは、インタフェース部40cが受け付け可能なズーム倍率の上限値の光学倍率で撮像された出力領域に対応する撮像画像をスケーリング倍率が1倍でダウンスケーリングして(実質的にはダウンスケーリングを行うことなく)、検査対象画像を生成する。つまり、演算部41aは、ユーザからズーム倍率の指定を受け付けると、受け付けたズーム倍率に基づいて、光学ズームの光学倍率、及びダウンスケーリングのスケーリング倍率を算出する。そして、算出した光学倍率に基づいてズーム光学系を駆動する。
【0076】
また、演算部41aは、インタフェース部40cによりズーム倍率の変更を変更指示信号として受け付け可能になっている。変更指示信号に基づいて変更指示されたズーム倍率が前記所定の倍率以下である場合は、演算部41aにより算出されたスケーリング倍率で撮像画像のダウンスケーリングを実行するように、イメージセンサ31に制御信号を送信して、ダウンスケーリングを実行させる。一方、変更指示信号に基づいて変更指示されたズーム倍率が所定の倍率よりも大きい場合は、ズーム光学系、即ちズーム用モータ56cに光学ズームを行うように駆動信号を送信する。ズーム用モータ56cは駆動信号によって動作し、所望のズーム倍率が得られる。
【0077】
図19に示すように、ダウンスケーリング時に画像の縦横比を変えることができる。FIG.19A、FIG.19Bでは、横長の注目領域を縦長に変更した場合を示しているが、反対に縦長の注目領域を横長に変更することもできる。この変更指示は、図11に示すユーザインタフェース画面100の画素数設定領域104を介してユーザが行える。尚、FIG.19Bに示すように、光電変換部31aの形状の制約上、変更指示を受けた縦横比では光電変換部31aで撮像可能な範囲外に注目領域が位置する場合が考えられる。この場合には、変更指示を受けた縦横比をできるだけ満たすように、演算部41aがダウンスケーリング時のスケーリング倍率を再計算し、ロジック部31bは、再計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。
【0078】
図20に示すように、ユーザによる設定に基づいて、ダウンスケーリング時に画素数を増減させることができる。FIG.20A、20B、20Cは、空間分解能(スケーリング倍率)を変えずに画素数を変更する場合を示している。FIG.20A、20Bでは、光電変換部31aで撮像可能な範囲内で画素数を変更しているので、演算部41aは、ユーザによる設定を反映させたスケーリング倍率を計算し、ロジック部31bは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。一方、FIG.20Cは、ユーザによる設定を反映させると、光電変換部31aで撮像可能な範囲を超えてしまうので、演算部41aは、ユーザによる設定を用いずに、画素数の変更を制限するようにスケーリング倍率を計算する。計算時には、ユーザによる設定にできるだけ近いスケーリング倍率となるようにする。そして、ロジック部31bは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。
【0079】
FIG.20D、20E、20Fは、撮像視野を変えずに画素数を変更する場合を示している。FIG.20D、20Eでは、最小分解能以上の画素数への変更であるため、演算部41aは、ユーザによる設定を反映させたスケーリング倍率を計算し、ロジック部31bは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。一方、FIG.20Fは、最小分解能未満の画素数への変更であるため、演算部41aは、ユーザによる設定を用いずに、画素数の変更を制限するようにスケーリング倍率を計算し、ロジック部31bは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。つまり、演算部41aは、ユーザによる設定に基づいて、第1画素数から第2画素数への変更を制限可能に構成されている。
【0080】
また、インタフェース部40cは、ユーザによる画素数変更指示の後に、出力領域をさらに相対的に小さな領域に変更する第2ズーム指示、及び出力領域をX方向及びY方向にさらに調整する第2パンチルト指示を受け付け可能に構成されている。第2ズーム指示は、第2ズーム指示と同じように、ユーザの指示によって受け付けることができる。また、第2パンチルト指示は、第1パンチルト指示と同じように、ユーザの指示によって受け付けることができる。
【0081】
インタフェース部40cが第2ズーム指示及び第2パンチルト指示を受け付けた場合、演算部41cは、光電変換部31aの視野範囲内において、第2ズーム指示および第2パンチルト指示の少なくとも一方により変更された出力領域に対応する撮像画像を、第2画素数とするのに必要なスケーリング倍率を算出する。ロジック部31bは、演算部41cが算出したスケーリング倍率で撮像画像をダウンスケーリングすることにより、第2画素数の検査対象画像を生成する。
【0082】
図21は、回転後の検査対象画像を生成する場合の例を説明する図であり、回転設定用ユーザインタフェース画面110を示している。回転設定用ユーザインタフェース画面110には、光電変換部31aの出力領域に対応する検査対象画像が表示される画像表示領域111と、回転角度設定領域112とが設けられている。回転角度設定領域112では、画像の回転方向の設定と、回転角度の設定が可能になっており、これら設定項目はユーザによるキーボード7やマウス8の操作で設定可能になっている。
【0083】
回転角度設定領域112で回転方向および回転角度が設定されると、演算部41aは、検査対象画像の画素数及び形状を固定した状態で、検査対象画像を設定された方向に設定された角度だけ回転させる。つまり、演算部41aが検査対象画像に対して任意の角度の回転変換処理を適用する。これにより、回転後の検査対象画像を生成して画像表示領域111に表示させることができるので、例えば産業用カメラ1の設置方向が傾いていたときに、その傾きをソフトウェア上で補正できる。
【0084】
図22は、ダウンスケーリングをプロセッサ41で実現する場合の例を示す図である。この図に示すように、レンズユニットは光学ズームできない非ズームレンズとしている。イメージセンサ31は、光電変換部31aで撮像した画像をダウンスケーリングすることなく、プロセッサ41に出力する。プロセッサ41には、ダウンスケーリング部41Aが設けられており、ダウンスケーリング部41Aは上述したようなダウンスケーリングを実行して検査対象画像を生成する。その他の処理は、イメージセンサ31でダウンスケーリングを実行する場合と同じである。
【0085】
(カラー撮像画像の処理)
イメージセンサ31でカラー撮像画像を生成できるので、インタフェース部40cでは、光電変換部31aの視野範囲においてカラー検査対象画像として出力する領域である出力領域の指定を受け付けることができる。
【0086】
イメージセンサ31では、カラーフィルタ31cを有していることで、各色が所定の配列パターンで形成されたカラー撮像画像の生成が可能である。具体的には、光電変換部31aが出力するカラー撮像画像の配列パターンは、図23に示すようにベイヤ配列である。ベイヤ配列では、赤成分(R画素)および青成分(B画素)に加えて第1の緑成分(Gr画素)と第2の緑成分(Gb画素)とが所定の配列パターンで配列される。配列パターンはベイヤ配列に限られるものではなく、他の配列パターンであってもよい。
【0087】
また、光電変換部31aは、画素数の異なるカラー検査対象画像を生成可能に構成されている。光電変換部31aでカラー撮像画像が生成された場合には、プロセッサ41は、カラーの検査対象画像に対して上述したような演算処理や画像処理を実行する。本例では、カラーフィルタ31cを有しているので、3板式のカメラを用いることなく、またRGBを時系列で点灯することなく、カラー撮像画像を生成できる。
【0088】
ロジック部31bは、光電変換部31aの視野範囲の出力領域に対応するカラー撮像画像を取得した後、当該カラー撮像画像の各色を、上記配列パターンに基づいて個別にダウンスケーリングし、ダウンスケーリング後の各色の画素値を、各色の配列パターンがカラー撮像画像の配列パターンと一致するように配置する。これにより、カラー撮像画像の画素数よりも小さな画素数のカラー検査対象画像を生成することができる。
【0089】
例えば図23に示すように、ロジック部31bは、カラー撮像画像のベイヤ配列に含まれる赤成分、当該赤成分と行方向に隣接する第1の緑成分、青成分、及び当該青成分と当該行方向に隣接する第2の緑成分を、それぞれ個別にダウンスケーリングする。そして、ロジック部31bは、ダウンスケーリング後の当該青成分、当該第1の緑成分、当該赤成分、及び当該第2の緑成分の各色の画素値を、各色の配列パターンが当該カラー撮像画像のベイヤ配列の配列パターンと一致するように配置することにより、カラー検査対象画像を生成する。
【0090】
すなわち、ユーザがカラー検査対象画像として出力する領域を出力領域として指定すると、出力領域に対応するカラー撮像画像の各色が所定の配列パターンに基づいて個別にダウンスケーリングされる。ダウンスケーリング後の各色の画素値は、各色の配列パターンがカラー撮像画像の配列パターンと一致するように配置される。これにより、カラー撮像画像の画素数よりも小さな任意の画素数のカラー検査対象画像を生成することが可能になる。
【0091】
具体例について説明すると、ロジック部31bは、カラー撮像画像の各色に対して、X又はY方向の一方である第1方向にダウンスケーリングした後、当該第1方向のダウンスケーリングにより得られた画像に対して、Y又はY方向の他方である第2方向にダウンスケーリングすることによって、カラー検査対象画像を生成するように構成されている。より具体的には、図24に示すように、ロジック部31bは、カラー撮像画像の各色に対して第1方向にダウンスケーリングした後、第1方向のダウンスケーリングにより得られた画像に対して第2方向にダウンスケーリングすることによって、カラー検査対象画像を生成する。図24では、Gr画素に対して、第1方向である水平方向(X方向)に画素補間するとともにダウンスケーリングし、その後、第2方向である垂直方向(Y方向)に画素補間するとともにダウンスケーリングする。また、R画素、B画素、Gb画素のそれぞれに対しても、Gr画素と同様に水平方向に画素補間するとともにダウンスケーリングした後、垂直方向に画素補間するとともにダウンスケーリングする。
【0092】
図25に水平方向の場合を示すように、画素補間する際には、同色の隣接した2画素値の加算平均を演算する。また、ダウンスケーリングの際には、ダウンスケーリングにより得られる検査対象画像の一画素に含まれる、ダウンスケーリング前の撮像画像の各画素のサブピクセルレベルでのサイズに応じた加重平均を演算する。図25中、α、β、γは、入力画素の大きさを1とした場合のサブピクセルサイズを示している。また、αとγはそれぞれ1未満の値を設定することができるため、小数点以下の精度でスケーリング倍率を算出することもできる。また、画像中の他のR画素群に対しても同様の処理を実行する。図25ではR画素について示しているが、他の色の画素も同様である。
【0093】
垂直方向についても、水平方向のダウンスケーリング後の画素を用いて、垂直方向に同様の処理を実行する。つまり、ロジック部31bは、ダウンスケーリング後の検査対象画像の各画素に対応する、ダウンスケーリング前のカラー撮像画像の位置の近傍範囲に存在する同一色の複数の画素に基づいて検査対象画像の各画素の画素値を算出する。そして、ロジック部31bは、カラー撮像画像の近傍範囲をダウンスケーリングのスケーリング倍率に基づいて決定する。
【0094】
図26に示すように、カラー撮像画像を処理する際にはローパスフィルタを適用することもできる。この場合、指定したローパスフィルタ領域(LPF領域)分だけ、ダウンスケーリング後の検査対象画像の一画素が拡大されたものとみなしてダウンスケーリングする。ローパスフィルタ領域は当該ダウンスケーリング後の一画素の両側に均等に適用する。片側あたりのローパスフィルタ領域(サブピクセルサイズ)は、ダウンスケーリングによる縮小度にローパスフィルタ設定値を乗じて得た値を1/2することで算出する。また、ローパスフィルタ設定値は0以上の値であり、かつ、{3×(縮小度-1)}/縮小度で求められる値よりも小さな値とする。図26中、α、β、γ、δは、入力画素の大きさを1とした場合のサブピクセルサイズを示している。また、画像中の他のR画素群に対しても同様の処理を実行する。図26ではR画素について示しているが、他の色の画素も同様である。
【0095】
また、プロセッサ41は、インタフェース部40cが画素数を変更する指示を受け付けると、画素数の変更前後でカラー検査対象画像の各色の配列パターンを一致させる。これにより、変更前のカラー検査対象画像の画像処理における各色の配列パターンに関する設定を変更することなく、変更後のカラー検査対象画像の画像処理を実行することができる。
【0096】
インタフェース部40cが出力領域の位置、大きさ、及び形状の少なくとも1つを変更する指示を受け付けた場合、ロジック部31bは、出力領域の変更前に生成したカラー検査対象画像と各色の配列パターンが一致する、変更後の出力領域に対応するカラー検査対象画像を生成する。
【0097】
また、ロジック部31bは、カラー撮像画像をプロセッサ41に転送する際の転送速度と比較して、カラーの検査対象画像をプロセッサ41に転送する転送速度が相対的に速くなるように、カラー撮像画像をダウンスケーリングする。すなわち、図22に示すように、イメージセンサ31の外部でダウンスケーリングすることも可能であるが、この場合、カラー撮像画像のデータ量が大きいので、プロセッサ41への転送速度が問題となることが考えられる。カラー撮像画像をダウンスケーリングして、カラー撮像画像をプロセッサ41に転送する際の転送速度よりも速い速度でカラーの検査対象画像をプロセッサ41に転送することで、処理速度を高速化でき、高速な移動体に対する画像検査が可能になる。また、イメージセンサ31から出力された検査対象画像の画素数に応じて、ロジック部31bからプロセッサ41までの転送速度を変化させることもできる。
【0098】
(設定時のフロー)
以上のように、産業用カメラ1を備えた画像検査システム2では様々な処理を実行することができ、その処理の手順は矛盾が生じない範囲で任意に設定できる。以下では、処理手順の一例についてフローチャートに基づいて説明する。
【0099】
図27は、ズーム倍率入力時の処理手順の一例を示すフローチャートである。スタート後のステップSA1では撮像設定を起動する。撮像設定の起動時は、第2レンズ群22を広角側に移動させる。ステップSA2では、ユーザによるズーム倍率の入力をインタフェース部40cが受け付ける。ズーム倍率の入力時には、図11に示すようなユーザインタフェース画面100が使用されるので、ズーム調整領域101Aを操作して入力できる。他の例として、ズーム倍率を数値で入力してもよい。
【0100】
ステップSA3では、ステップSA2の入力値(ズーム倍率)が第1のズーム値(第1のズーム倍率)よりも大きいか否かを判定する。NOと判定される場合には、ステップSA4に進んでダウンスケーリング設定変更を行う。ステップSA5でトリガ信号が入力するとステップSA6に進んで検査対象画像を表示させる。
【0101】
ステップSA3でYESと判定された場合にはステップSA7に進み、ステップSA2の入力値(ズーム倍率)が第2のズーム値(第2のズーム倍率)よりも大きいか否かを判定する。NOと判定される場合には、ステップSA8に進んでダウンスケーリングを既定のズーム倍率で固定し、それ以上のズームはステップSA9において光学ズームで対応する。その後、ステップSA5に進む。
【0102】
ステップSA7でYESと判定された場合には、ステップSA10で光学ズームのズーム倍率を最大にするとともに、ダウンスケーリングのスケーリング倍率を1に設定し、ステップSA9に進む。
【0103】
図28は、視野または分解能を指定する時の処理手順の一例を示すフローチャートである。スタート後のステップSB1では、ユーザインタフェース上のWD計測ボタン(図示せず)が押下される。ステップSB2ではWD計測を行う。ステップSB3では、産業用カメラ1に予め記憶されている内部データと現状の焦点位置情報とに基づいて視野及び分解能を計算する。ステップSB4では、ユーザがX視野、Y視野、空間分解能のいずれかを、ユーザインタフェースを介して入力する。ステップSB5では、ステップSB4で入力された値を用いてズーム倍率を計算する。ステップSB6では、ステップSB5で計算したズーム倍率が設定可能なズーム倍率であるか否かを判定する。ステップSB6でNOと判定された場合は、図19のFIG.19Bや図20のFIG.20C、20Fに示すようになるので、ステップSB7に進んで設定可能なズーム倍率にクリッピングする。ステップSB6でYESと判定された場合には、ステップSB8に進んで図27に示すフローと同様な手順を実行する。
【0104】
図29は、パンチルトの処理手順の一例を示すフローチャートである。スタート後のステップSC1では、ユーザが図11に示すユーザインタフェース画面100上の視野位置調整領域103を操作して上下左右の位置調整を行う。ステップSC2では、ステップSC1で位置調整した領域がイメージセンサ31の最大視野範囲よりも狭いか否かを判定する。ステップSC2でNOと判定された場合には、ステップSC3で最大範囲をクリッピングする。その後、ステップSC4に進み、注目領域の位置を変更する。ステップSC2でYESと判定された場合もステップSC4に進む。
【0105】
図30は、縦横比変更の処理手順の一例を示すフローチャートである。スタート後のステップSD1では、ユーザが図11に示すユーザインタフェース画面100の画素数設定領域104を操作して所望の縦横比に変更する。ステップSD2では、変更後の画素領域が同じスケーリング倍率でのイメージセンサ31の視野範囲内に収まっているか否かを判定する。NOと判定された場合にはステップSD3に進み、ステップSD1で変更された縦横比となるようにズーム倍率を変更する。ステップSD4では、図27に示すフローと同様な手順を実行する。その後、ステップSD5に進み、注目領域のサイズを変更する。ステップSD2でYESと判定された場合も、ステップSD5に進む。
【0106】
(光学条件設定及び表示機能)
画像検査システム2は、産業用カメラ1の光学条件を設定するとともに、複数の光学条件を比較可能に表示する光学条件設定及び表示機能を有している。すなわち、図7に示すように、コントローラ3は、図6の第4レンズ群24に対応する可変焦点レンズの焦点距離を含む光学条件を設定するための制御部5aと、焦点距離を含む光学条件設定を記憶する記憶部6とを備えている。記憶部6は、異なる時点で、それぞれが焦点距離を含む複数の光学条件設定を記憶可能に構成される。なお、光学条件設定は、産業用カメラ1の記憶部39に記憶されてもよい。
【0107】
コントローラ3は、産業用カメラ1と通信するための通信インタフェース部5cを備えている。コントローラ3は、制御部5aによる第1焦点距離を含む第1光学条件の設定時とは異なる時点で、通信インタフェース部5cを介して、産業用カメラ1から可変焦点レンズの第2焦点距離を含む第2光学条件を取得可能な光学条件取得部5bを備えている。第1光学条件とは、例えば、検査の運用開始時点で設定された光学条件のことである。第2光学条件とは、例えば、検査の運用開始後の異なる時点、すなわち第1光学条件の設定後に設定された光学条件のことであり、現在の光学条件であってもよい。
【0108】
また、演算部41aは、測距部43により測定された設置距離と、記憶部39に記憶されたカメラパラメータとに基づいて、視野サイズ又は画素分解能を算出することができる。この場合、制御部5aは、当該視野サイズ又は画素分解能を更に含む光学条件を設定し、光学条件取得部5bは、通信インタフェース部5cを介して、産業用カメラ1から視野サイズ又は画素分解能を更に含む光学条件を取得し、記憶部6は、当該光学倍率を更に含む光学条件設定を記憶してもよい。
【0109】
また、図11に示すユーザインタフェース画面100を介してユーザによりズーム倍率が指定された場合、制御部5aは、ズーム倍率を更に含む光学条件を設定し、光学条件取得部5bは、通信インタフェース部5cを介して、産業用カメラ1からズーム倍率を更に含む光学条件を取得し、記憶部6は、ズーム倍率を更に含む光学条件設定を記憶してもよい。この場合、前述の視野サイズ又は画素分解能は、演算部43によって、ユーザにより指定されたズーム倍率と、設置距離と、カメラパラメータとに基づいて算出されることとなる。
【0110】
また、産業用カメラ1が、光学ズームが可能なズーム光学系を備える場合、制御部5aは、ズーム光学系の光学倍率を更に含む光学条件を設定し、光学条件取得部5bは、通信インタフェース部5cを介して、産業用カメラ1から光学倍率を更に含む光学条件を取得し、記憶部6は、光学倍率を更に含む光学条件設定を記憶してもよい。
【0111】
また、ユーザによりズーム倍率が指定された場合、図16に示すように、演算部41aは、当該ズーム倍率に基づいて、産業用カメラ1の視野範囲の全部または一部の領域である出力領域を変更するとともに、撮像画像の画素数と検査対象画像の画素数とに基づくスケーリング倍率を算出することもできる。この場合、制御部5aは、スケーリング倍率を更に含む光学条件を設定し、光学条件取得部5bは、通信インタフェース部5cを介して、産業用カメラ1からスケーリング倍率を更に含む光学条件を取得し、記憶部6は、スケーリング倍率を更に含む光学条件設定を記憶してもよい。
【0112】
また、図11に示すユーザインタフェース画面100を介してユーザの視野位置調整領域103の操作によって設定された枠C1の位置に基づいて、演算部43は、視野範囲D1内の基準位置(例えば、視野範囲D1の中央または左上)からの出力領域(枠C1)の移動量を算出する。この場合、制御部5aは、出力領域の移動量を更に含む光学条件を設定し、光学条件取得部5bは、通信インタフェース部5cを介して、産業用カメラ1から出力領域の移動量を更に含む光学条件を取得し、記憶部6は、出力領域の移動量を更に含む光学条件設定を記憶してもよい。
【0113】
また、制御部5aは、加速度センサ32によって計測された産業用カメラ1の姿勢条件を更に含む光学条件を設定し、光学条件取得部5bは、通信インタフェース部5cを介して、産業用カメラ1の姿勢条件を更に含む光学条件を取得し、記憶部6は、産業用カメラ1の姿勢条件を更に含む光学条件設定を記憶する。
【0114】
以下、ユーザインタフェースの例を示しながら光学条件設定及び表示機能について詳細に説明する。図31は、設定用のユーザインタフェース画面100であり、右側には光学条件の設定を開始するための開始ボタン105が設けられている。開始ボタン105をユーザがマウス8等で操作すると、図32に示す光学条件データ管理用のユーザインタフェース画面120を表示制御部5dが生成してモニタ9に表示させる。ユーザインタフェース画面120には、カメラ選択タブ121と、一覧表示領域122と、光学条件表示領域123とが設けられている。本例では、2台の産業用カメラ1がコントローラ3に接続されているので、カメラ選択タブ121には「カメラ1」と「カメラ2」とが表示される。
【0115】
一覧表示領域122には、カメラ選択タブ121で選択された光学条件の管理リストが一覧形式で表示される。光学条件表示領域123には、一覧表示領域122で選択された管理リストに含まれる光学条件の詳細が表示される。具体的には、光学条件表示領域123には、上述した視野サイズ、画素分解能、ズーム倍率、光学ズームの光学倍率、ダウンスケーリング時のスケーリング倍率等が表示され、これら光学条件は、産業用カメラ1に固有のデータIDに関連付けられている。また、図示しないが、各光学条件に対応して保存された検査対象画像をビューアで表示するための画像表示ボタンまたはサムネイルを一覧表示領域122や光学条件表示領域123に設けても良い。
【0116】
また、ユーザインタフェース画面100には、新規作成ボタン124a、コピーボタン124b、削除ボタン124c、比較ボタン124dも設けられている。新規作成ボタン124aは、光学条件を新規に作成する場合に操作するボタンであり、表示制御部5dは新規作成ボタン124aが操作されたことを検出すると、図33に示すような確認ウインドウ130を生成してモニタ9に表示させる。確認ウインドウ130には、産業用カメラ1を特定するためのカメラIDが表示されるとともに、光学条件のデータID、光学条件のデータ名等が表示される。また、確認ウインドウ130には、コントローラ3に接続されている接続先の産業用カメラ1から光学条件を取得するためのボタン131が設けられている。光学条件取得部5bは、ボタン131が操作されたことを検出すると、コントローラ3に接続されている産業用カメラ1から現在の光学条件を取得する。例えば、光学条件取得部5bが接続されている産業用カメラ1に対して現在の光学条件を送信させる信号を送ると、産業用カメラ1は現在の光学条件を、通信インタフェース部5cを介して、光学条件取得部5bにデータとして送信する。コントローラ3は、接続先の産業用カメラ1から現在の光学条件を受信すると、図34に示すように、一覧表示領域122に新規に取得された管理リストが表示される。
【0117】
コピーボタン124bは、光学条件設定をコピーする場合に操作するボタンであり、表示制御部5dはコピーボタン124bが操作されたことを検出すると、図35に示すような確認ウインドウ140を生成してモニタ9に表示させる。確認ウインドウ140には、コピー元の光学条件設定が表示されるコピー元表示領域141と、コピー先を指定するコピー先指定領域142とが設けられている。コピー元表示領域141には、例えば図34の一覧表示領域122で選択されている管理リスト(アクティブになっている管理リスト)に対応する光学条件設定のデータID及びデータ名が表示される。確認ウインドウ140のOKボタンを操作すると、コピー元表示領域141のデータID及びデータ名で特定される光学条件設定が、コピー先指定領域142で指定されているデータID及びデータ名にコピーされる。このとき全ての光学条件設定をコピーしてもよいし、一部の光学条件設定のみコピーしてもよい。
【0118】
削除ボタン124cは、光学条件設定を削除する場合に操作するボタンであり、表示制御部5dは削除ボタン124cが操作されたことを検出すると、図36に示すような確認ウインドウ150を生成してモニタ9に表示させる。確認ウインドウ150には、削除対象となっている光学条件設定が表示される削除対象表示領域151が設けられている。削除対象表示領域151には、例えば図34の一覧表示領域122で選択されている管理リスト(アクティブになっている管理リスト)に対応する光学条件設定のデータID及びデータ名が表示される。確認ウインドウ150のOKボタンを操作すると、削除対象表示領域151のデータID及びデータ名で特定される光学条件設定が削除される。
【0119】
光学条件取得部5bが現在の産業用カメラ1の光学条件を取得した場合、現在の光学条件と、記憶部6に記憶された過去の光学条件設定に含まれる光学条件とを比較可能な形態でユーザに提供することができる。すなわち、表示制御部5dは、記憶部6に記憶された光学条件設定に含まれる光学条件と、産業用カメラ1から光学条件取得部5bを介して取得された産業用カメラ1の光学条件(例えば、現在の光学条件)と、を比較可能な比較画面を生成し、モニタ9に表示させる。
【0120】
産業用カメラ1から検査対象物Wまでの設置距離や産業用カメラ1の姿勢条件が変化すると、検査対象物Wにフォーカスを合わせたときの焦点距離も変化する。ここで比較対象とする光学条件を可変焦点レンズの焦点距離にすれば、設置後の運用時に何等かの原因によりカメラの設置条件が変化してしまった場合であっても、ユーザは焦点距離の比較結果に基づいて、カメラの設置条件の変化の有無を容易に検知することができる。
【0121】
表示制御部5dは、比較ボタン124dが操作されたことを検出すると、図37に示すように一覧表示領域122に表示されている管理リストのそれぞれに選択領域122aを表示する。選択領域122aは、例えばチェックボックスや選択ボタン等で構成されており、ユーザが選択した管理リストがどのリストであるかをモニタ9上で識別可能になっている。つまり、制御部5aは、複数の光学条件設定の中から、比較画面に表示される比較対象の光学条件設定の選択を受け付けることができるように構成されている。
【0122】
選択領域122aで複数の管理リストが選択されると、表示制御部5dは、比較領域125を生成してユーザインタフェース画面120に組み込み、モニタ9に表示させる。比較領域125が組み込まれたユーザインタフェース画面120が比較画面である。比較画面の形態は図示した形態に限られるものではない。
【0123】
比較領域125には、選択領域122aで選択された複数の光学条件設定が所定方向に並ぶように表示される。比較領域125では、現在の産業用カメラ1により取得される、焦点距離(図中、フォーカスと表記)、ズーム倍率、検査対象画像の視野サイズ又は画素分解能等と、記憶部6に記憶された過去の焦点距離、ズーム倍率、検査対象画像の視野サイズ又は画素分解能等とを比較することが可能になっている。例えば、カメラの設置条件が変化してしまった場合に、変化後の設置条件で光学条件を修正するか、設置条件を元の状態に復帰させる際、焦点距離の他、ズーム倍率、視野サイズ、画素分解能といった検査対象画像の生成に重要な光学条件も比較することができるため、ユーザは適切に作業が進められているかを確認することができる。
【0124】
コントローラ3は、光学条件取得部5bにより取得した現在の産業用カメラ1の光学条件と、記憶部6に記憶された過去の光学条件設定に含まれる光学条件との差分を抽出する差分抽出部5eを備えている。図37では、差分抽出部5eによって差分が抽出された光学条件を識別するための識別記号125aを表示している。これにより、どの光学条件で差分が生じているか、ユーザが把握しやすくなる。また、図示しないが、選択された各光学条件設定に対応して保存された検査対象画像をビューアで比較表示するための画像表示ボタンまたはサムネイルを一覧表示領域122や比較領域125に設けても良い。この構成により、選択した複数の光学条件設定に含まれる光学条件の差分を画像にも基づいて比較することができる。
【0125】
また、記憶部6は、光学条件に基づいて生成された検査対象画像を、当該光学条件と対応付けて記憶する。制御部5aは、比較対象として選択された光学条件設定に対応する検査対象画像と同等の検査対象画像が生成されるように、現在の産業用カメラ1の光学条件を自動的に調整可能に構成されている。例えば、運用時に産業用カメラ1で生成された検査対象画像に含まれる検査対象物と、過去に撮像された参照画像に含まれる検査対象物との位置関係を特定し、運用時に産業用カメラ1で生成された検査対象画像に含まれる検査対象物が、参照画像に含まれる検査対象物と実質的に同一の位置となるように、運用時の検査対象画像の生成条件を算出することができる。生成条件は、産業用カメラ1の視野範囲内において、検査対象物を参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含んでおり、これにより、産業用カメラ1は、運用時に位置情報の出力領域に対応する検査対象画像を生成することが可能になる。
【0126】
次に、光学条件設定及び表示に関する手順の具体例について説明する。図38は、初回立ち上げ時における光学条件の設定手順の一例を示すフローチャートである。スタート後のステップSE1では、検査設定として「001」を新規作成する。ステップSE2では、検査設定001に対応する光学条件として「000」が自動作成される。ステップSE3では光学条件を調整し、ステップSE4では調整した光学条件を含む光学条件設定(ファイル)を保存する。ステップSE5では検査設定001を保存する。
【0127】
図39は、光学条件の保存及び変更を行う場合の設定手順の一例を示すフローチャートである。スタート後のステップSF1では、図38に示すフローチャートで設定した検査設定001を選択する。ステップSF2では、図32に示す光学条件データ管理用のユーザインタフェース画面120をモニタ9に表示させる。ステップSF3では、光学条件000をコピーして光学条件001を作成する。ステップSF4では光学条件001に切り替え、ステップSF5では光学条件001の光学条件を調整する。ステップSF6では調整後の光学条件を含む光学条件設定を保存し、ステップSF7では検査設定001を保存する。
【0128】
図40は、光学条件を見直す場合の設定手順の一例を示すフローチャートである。スタート後のステップSG1では、図38に示すフローチャートで設定した検査設定001を選択する。ステップSG2では図32に示す光学条件データ管理用のユーザインタフェース画面120をモニタ9に表示させる。ステップSG3では、図37に示す比較画面で現在の光学条件001と過去の光学条件000とを比較する。ステップSG4では、過去の光学条件に戻した方がよいか否かを判定する。戻した方がよければステップSG5に進み、光学条件000を選択してステップSG6に進む。一方、戻さなくてもよい場合にはステップSG4からステップSG6に進み、検査設定001を保存する。
【0129】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0130】
以上説明したように、本発明に係る産業用カメラは、各種検査対象物を検査するための検査対象画像を生成する場合に利用できる。
【符号の説明】
【0131】
1 産業用カメラ
2 画像検査システム(画像処理装置)
5b 光学条件取得部
5c 通信インタフェース部
5d 表示制御部
5e 差分抽出部
20 レンズユニット
31 イメージセンサ
31a 光電変換部
31b ロジック部
31c カラーフィルタ
32 加速度センサ
40c インタフェース部
41 プロセッサ
41a 演算部
43 測距部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40