(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173421
(43)【公開日】2023-12-07
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20231130BHJP
G03B 15/00 20210101ALI20231130BHJP
G03B 17/18 20210101ALI20231130BHJP
【ＦＩ】
H04N5/232
H04N5/232 300
G03B15/00 T
G03B17/18 Z
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022085671
(22)【出願日】2022-05-26
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】孫 卓力
(72)【発明者】
【氏名】嶋田 侑眞
【テーマコード（参考）】
2H102
5C122
【Ｆターム（参考）】
2H102AA71
5C122DA12
5C122EA42
5C122FA11
5C122FH09
5C122GA34
5C122HA01
5C122HA88
5C122HB01
(57)【要約】
【課題】運用時に光学条件が変化しても、設定時と同様な検査対象画像の生成を可能にする。
【解決手段】画像処理装置は、検査対象画像を生成するための撮像部と、検査対象物が事前に撮像された参照画像を記憶する記憶部と、運用時に生成された検査対象画像に含まれる検査対象物と参照画像に含まれる検査対象物との位置関係を特定し、運用時に撮像部で生成された検査対象画像に含まれる検査対象物が参照画像に含まれる検査対象物と実質的に同一の位置となるように、検査対象画像の生成条件を算出する演算部とを備えている。生成条件は、撮像部の視野範囲内において、検査対象物を参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含んでいる。撮像部は、運用時に位置情報の出力領域に対応する検査対象画像を生成する。
【選択図】図３９
【解決手段】画像処理装置は、検査対象画像を生成するための撮像部と、検査対象物が事前に撮像された参照画像を記憶する記憶部と、運用時に生成された検査対象画像に含まれる検査対象物と参照画像に含まれる検査対象物との位置関係を特定し、運用時に撮像部で生成された検査対象画像に含まれる検査対象物が参照画像に含まれる検査対象物と実質的に同一の位置となるように、検査対象画像の生成条件を算出する演算部とを備えている。生成条件は、撮像部の視野範囲内において、検査対象物を参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含んでいる。撮像部は、運用時に位置情報の出力領域に対応する検査対象画像を生成する。
【選択図】図３９
【特許請求の範囲】
【請求項1】
検査対象物を撮像して得られた検査対象画像を生成する画像処理装置であって、
検査対象物を撮像し、検査対象画像を生成するための撮像部と、
検査対象物が事前に撮像された参照画像を記憶する記憶部と、
運用時に前記撮像部で生成された検査対象画像に含まれる検査対象物と、前記参照画像に含まれる検査対象物との位置関係を特定し、運用時に前記撮像部で生成された検査対象画像に含まれる検査対象物が、当該参照画像に含まれる検査対象物と実質的に同一の位置となるように、運用時の検査対象画像の生成条件を算出する演算部と、を備え、
前記生成条件は、前記撮像部の視野範囲内において、検査対象物を前記参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含み、
前記撮像部は、運用時に前記位置情報の出力領域に対応する検査対象画像を生成する、ことを特徴とする、画像処理装置。
検査対象物を撮像し、検査対象画像を生成するための撮像部と、
検査対象物が事前に撮像された参照画像を記憶する記憶部と、
運用時に前記撮像部で生成された検査対象画像に含まれる検査対象物と、前記参照画像に含まれる検査対象物との位置関係を特定し、運用時に前記撮像部で生成された検査対象画像に含まれる検査対象物が、当該参照画像に含まれる検査対象物と実質的に同一の位置となるように、運用時の検査対象画像の生成条件を算出する演算部と、を備え、
前記生成条件は、前記撮像部の視野範囲内において、検査対象物を前記参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含み、
前記撮像部は、運用時に前記位置情報の出力領域に対応する検査対象画像を生成する、ことを特徴とする、画像処理装置。
【請求項2】
請求項１に記載の画像処理装置において、
前記記憶部に記憶された参照画像の選択を受け付けるインタフェース部を更に備え、
前記記憶部は、前記撮像部が生成した検査対象画像を参照画像として記憶可能に構成されるとともに、当該参照画像が生成されたときの光学条件が規定された光学条件ファイルを、当該参照画像と関連付けて記憶可能に構成されており、
前記撮像部の光学条件の初期条件は、前記選択された参照画像に関連する光学条件ファイルの光学条件に設定されることを特徴とする、画像処理装置。
前記記憶部に記憶された参照画像の選択を受け付けるインタフェース部を更に備え、
前記記憶部は、前記撮像部が生成した検査対象画像を参照画像として記憶可能に構成されるとともに、当該参照画像が生成されたときの光学条件が規定された光学条件ファイルを、当該参照画像と関連付けて記憶可能に構成されており、
前記撮像部の光学条件の初期条件は、前記選択された参照画像に関連する光学条件ファイルの光学条件に設定されることを特徴とする、画像処理装置。
【請求項3】
請求項２に記載の画像処理装置において、
前記インタフェース部は、検査対象画像又は参照画像上で、検査対象画像に含まれる検査対象物と前記参照画像に含まれる検査対象物との位置関係を特定するための対応点サーチ用の特徴領域の指定を受け付け可能に構成されることを特徴とする、画像処理装置。
前記インタフェース部は、検査対象画像又は参照画像上で、検査対象画像に含まれる検査対象物と前記参照画像に含まれる検査対象物との位置関係を特定するための対応点サーチ用の特徴領域の指定を受け付け可能に構成されることを特徴とする、画像処理装置。
【請求項4】
請求項１に記載の画像処理装置において、
検査対象画像の生成条件には、前記出力領域の位置情報に加えて、前記参照画像に含まれる検査対象物と同じ姿勢となるように、検査対象画像を回転させる回転方向及び角度に関する情報が含まれることを特徴とする、画像処理装置。
検査対象画像の生成条件には、前記出力領域の位置情報に加えて、前記参照画像に含まれる検査対象物と同じ姿勢となるように、検査対象画像を回転させる回転方向及び角度に関する情報が含まれることを特徴とする、画像処理装置。
【請求項5】
請求項１に記載の画像処理装置において、
検査対象画像の生成条件には、前記参照画像に含まれる検査対象物と、検査対象画像内の検査対象物が略同一の大きさとなるように計算されたズーム倍率が含まれ、
前記演算部は、前記計算されたズーム倍率にしたがって、ズームすることにより、前記参照画像と検査対象画像に含まれる検査対象物を略同一の大きさにすることを特徴とする、画像処理装置。
検査対象画像の生成条件には、前記参照画像に含まれる検査対象物と、検査対象画像内の検査対象物が略同一の大きさとなるように計算されたズーム倍率が含まれ、
前記演算部は、前記計算されたズーム倍率にしたがって、ズームすることにより、前記参照画像と検査対象画像に含まれる検査対象物を略同一の大きさにすることを特徴とする、画像処理装置。
【請求項6】
請求項１に記載の画像処理装置において、
検査対象画像の生成条件には、画像の明るさに関する条件が含まれ、
前記画像の明るさに関する条件は、前記参照画像の明るさを分析し、当該分析結果に基づいて、検査対象画像の明るさが略同一な明るさになるような撮像条件として算出されることを特徴とする、画像処理装置。
検査対象画像の生成条件には、画像の明るさに関する条件が含まれ、
前記画像の明るさに関する条件は、前記参照画像の明るさを分析し、当該分析結果に基づいて、検査対象画像の明るさが略同一な明るさになるような撮像条件として算出されることを特徴とする、画像処理装置。
【請求項7】
請求項１に記載の画像処理装置において、
前記参照画像の撮像時の前記撮像部の姿勢に関する情報を表示するとともに、現在の前記撮像部の姿勢と、前記参照画像の撮像時の前記撮像部の姿勢とを比較表示する表示部を備えることを特徴とする、画像処理装置。
前記参照画像の撮像時の前記撮像部の姿勢に関する情報を表示するとともに、現在の前記撮像部の姿勢と、前記参照画像の撮像時の前記撮像部の姿勢とを比較表示する表示部を備えることを特徴とする、画像処理装置。
【請求項8】
請求項１に記載の画像処理装置において、
前記インタフェース部を介して前記参照画像が指定された後、当該参照画像の撮像時の前記撮像部の姿勢と、現在の前記撮像部の姿勢とを比較表示し、
前記撮像部の姿勢を比較表示した後、前記演算部が前記検査対象画像の生成条件を算出するとともに、前記撮像部が前記位置情報の出力領域に対応する検査対象画像を生成することを特徴とする、画像処理装置。
前記インタフェース部を介して前記参照画像が指定された後、当該参照画像の撮像時の前記撮像部の姿勢と、現在の前記撮像部の姿勢とを比較表示し、
前記撮像部の姿勢を比較表示した後、前記演算部が前記検査対象画像の生成条件を算出するとともに、前記撮像部が前記位置情報の出力領域に対応する検査対象画像を生成することを特徴とする、画像処理装置。
【請求項9】
請求項３に記載の画像処理装置において、
前記演算部は、前記対応点サーチの前に、前記参照画像の輝度値に基づいて、前記撮像部の露光時間を調整することを特徴とする、画像処理装置。
前記演算部は、前記対応点サーチの前に、前記参照画像の輝度値に基づいて、前記撮像部の露光時間を調整することを特徴とする、画像処理装置。
【請求項10】
請求項４に記載の画像処理装置において、
前記演算部は、検査対象画像に対して前記角度の回転変換処理を適用することにより、回転後の検査対象画像を生成することを特徴とする、画像処理装置。
前記演算部は、検査対象画像に対して前記角度の回転変換処理を適用することにより、回転後の検査対象画像を生成することを特徴とする、画像処理装置。
【請求項11】
請求項３に記載の画像処理装置において、
前記対応点サーチの前に、前記撮像部のフォーカス調整を実行することを特徴とする、画像処理装置。
前記対応点サーチの前に、前記撮像部のフォーカス調整を実行することを特徴とする、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、例えばワーク等の検査対象物を撮像して得られた検査対象画像を生成する画像処理装置に関する。
【背景技術】
【0002】
従来より、例えば特許文献１に開示されているように、検査対象物を撮像して得られた検査対象画像に基づいて、検査対象物の良否を判定するように構成された画像検査装置が知られている。特許文献１に開示された画像検査装置は、標準化規格に適合した撮像装置に対して多段階の処理を順序立てて行わせることができるようにし、撮像装置の機種選定の自由度向上と、画像検査の精度向上とを両立させている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１６９９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、画像処理装置では、様々な光学条件やカメラの設置条件で、ユーザが検査したい検査対象物の検査が可能か否かを実験する机上テストを行うことがある。検査が可能と判断されれば、机上テストで算出された光学条件や設置条件と同じ条件となるように、工場ラインなどにカメラを設置し、運用フェーズに移行する。
【0005】
ところが、机上テスト環境と、実際の運用環境は厳密には異なるため、机上テスト時と同じ光学条件や設置条件を運用環境で再現しても、必ずしも机上テスト時に得られた画像と同じ検査対象画像が得られないことがある。また、設置時には同じ検査対象画像が得られたとしても、運用フェーズで何等かの理由で光学条件が変化してしまい、画質が変わってしまうことがある。このような場合、運用フェーズにおいて机上テスト時に得られた理想的な検査対象画像を生成するための設置条件、光学条件を再度、探索する必要があり、手間がかかる。
【0006】
本開示は、かかる点に鑑みたものであり、その目的とするところは、運用時に光学条件が変化しても、設定時と同様な検査対象画像の生成を可能にすることにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本開示の一態様では、検査対象物を撮像して得られた検査対象画像を生成する画像処理装置を前提とすることができる。画像処理装置は、検査対象物を撮像し、検査対象画像を生成するための撮像部と、検査対象物が事前に撮像された参照画像を記憶する記憶部と、運用時に前記撮像部で生成された検査対象画像に含まれる検査対象物と、前記参照画像に含まれる検査対象物との位置関係を特定し、運用時に前記撮像部で生成された検査対象画像に含まれる検査対象物が、当該参照画像に含まれる検査対象物と実質的に同一の位置となるように、運用時の検査対象画像の生成条件を算出する演算部とを備えている。前記生成条件は、前記撮像部の視野範囲内において、検査対象物を前記参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含んでおり、前記撮像部は、運用時に前記位置情報の出力領域に対応する検査対象画像を生成することができる。
【0008】
この構成によれば、運用時に生成された検査対象画像に含まれる検査対象物と、参照画像に含まれる検査対象物の位置関係を特定することができる。特定した結果に基づいて、検査対象画像の検査対象物が、参照画像に含まれる検査対象物と実質的に同一の位置となるように、検査対象画像の生成条件が算出される。生成条件には、検査対象物を参照画像と実質的に同一の位置で出力することができる出力領域の位置情報が含まれているので、運用時に光学条件が変化したとしても、位置情報に基づく出力領域に対応させることで、参照画像と実質的に同一の位置に検査対象物を有する検査対象画像を生成することができる。
【0009】
また、記憶部に記憶された参照画像の選択を受け付けるインタフェース部を更に備えていてもよい。この場合、記憶部は、撮像部が生成した検査対象画像を参照画像として記憶するとともに、当該参照画像が生成されたときの光学条件が規定された光学条件ファイルを、当該参照画像と関連付けて記憶することができる。撮像部の光学条件の初期条件は、選択された参照画像に関連する光学条件ファイルの光学条件に設定できる。
【0010】
また、インタフェース部は、検査対象画像又は参照画像上で、検査対象画像に含まれる検査対象物と参照画像に含まれる検査対象物との位置関係を特定するための対応点サーチ用の特徴領域の指定を受け付けることができる。
【0011】
また、検査対象画像の生成条件には、出力領域の位置情報に加えて、参照画像に含まれる検査対象物と同じ姿勢となるように、検査対象画像を回転させる回転方向及び角度に関する情報が含まれていてもよい。
【0012】
また、検査対象画像の生成条件には、参照画像に含まれる検査対象物と、検査対象画像内の検査対象物が略同一の大きさとなるように計算されたズーム倍率が含まれていてもよい。この場合、演算部は、計算されたズーム倍率にしたがって、ズームすることにより、参照画像と検査対象画像に含まれる検査対象物を略同一の大きさにすることができる。
【0013】
また、検査対象画像の生成条件には、画像の明るさに関する条件が含まれていてもよい。この場合、画像の明るさに関する条件は、参照画像の明るさを分析し、当該分析結果に基づいて、検査対象画像の明るさが略同一な明るさになるような撮像条件として算出できる。
【0014】
また、参照画像の撮像時の撮像部の姿勢に関する情報を表示するとともに、現在の撮像部の姿勢と、参照画像の撮像時の撮像部の姿勢とを比較表示する表示部を備えていてもよい。インタフェース部を介して参照画像が指定された後、当該参照画像の撮像時の撮像部の姿勢と現在の撮像部の姿勢とを比較表示することもできる。撮像部の姿勢を比較表示した後、演算部が検査対象画像の生成条件を算出するとともに、撮像部が位置情報の出力領域に対応する検査対象画像を生成できる。
【0015】
また、演算部は、対応点サーチの前に、参照画像の輝度値に基づいて、撮像部の露光時間を調整することができる。また、対応点サーチの前に、撮像部のフォーカス調整を実行してもよい。これにより、対応点サーチの精度が向上する。
【0016】
また、演算部は、検査対象画像に対して回転変換処理を適用することにより、回転後の検査対象画像を生成できる。
【発明の効果】
【0017】
以上説明したように、運用時に生成された検査対象画像に含まれる検査対象物が、参照画像に含まれる検査対象物と実質的に同一の位置となるように、運用時の検査対象画像の生成条件を算出し、その生成条件には、撮像部の視野範囲内において検査対象物を参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報が含まれているので、運用時に光学条件が変化しても、設定時と同様な検査対象画像を生成できる。
【図面の簡単な説明】
【0018】
【図1】実施形態に係る産業用カメラを備えた画像検査システムの使用状態を示す全体図である。
【図2】産業用カメラを上方から見た斜視図である。
【図3】産業用カメラの正面図である。
【図4】産業用カメラの側面図である。
【図5】産業用カメラを下方から見た斜視図である。
【図6】産業用カメラの内部構造を示す断面図である。
【図7】画像検査システムのブロック図である。
【図8】ダウンスケーリングの概念を説明する図である。
【図9】具体的なワークを撮像した画像に基づいてダウンスケーリングを行う場合を説明する図である。
【図10】任意の位置のズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。
【図11】ズーム指示等を受け付けるユーザインタフェース画面の一例を示す図である。
【図12】マウスを用いた領域選択によるズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。
【図13】任意の位置をパンチルトした後、ダウンスケーリングを行う場合を説明する図である。
【図14】画像の縦横比を変更した状態でダウンスケーリングを行う場合を説明する図である。
【図15】固定箇所を中心にダウンスケーリングした後、パンチルトを行う場合を説明する図である。
【図16】ダウンスケーリングのみで対応可能なズーム倍率の場合を説明する図である。
【図17】ダウンスケーリングと光学ズームで対応する場合を説明する図である。
【図18】光学ズームとダウンスケーリングを組み合わせる場合の例を説明する図である。
【図19】ダウンスケーリング時の縦横比のみを変更する場合の例を説明する図である。
【図20】ダウンスケーリング時に画素数を増減させる場合の例を説明する図である。
【図21】回転後の検査対象画像を生成する場合の例を説明する図である。
【図22】ダウンスケーリングをプロセッサで実現する場合の例を示す図である。
【図23】カラー撮像画像をダウンスケーリングした場合の概念図である。
【図24】カラー撮像画像をダウンスケーリングする場合の手順を示す図である。
【図25】カラー撮像画像を構成する各画素の補間処理及びダウンスケーリングの例を示す図である。
【図26】ローパスフィルタが適用された場合を説明する図である。
【図27】ズーム倍率入力時の処理手順の一例を示すフローチャートである。
【図28】視野分解能指定時の処理手順の一例を示すフローチャートである。
【図29】パンチルトの処理手順の一例を示すフローチャートである。
【図30】縦横比変更の処理手順の一例を示すフローチャートである。
【図31】検査対象画像の生成条件算出時における明るさの自動調整手順の一例を示すフローチャートである。
【図32】検査対象画像の生成条件算出時におけるサーチ手順の一例を示すフローチャートである。
【図33】検査対象画像の生成条件算出時における最終画像取得手順の一例を示すフローチャートである。
【図34】検査対象画像の生成条件算出機能を開始する際に表示されるユーザインタフェース画面の一例を示す図である。
【図35】検査対象画像を表示したユーザインタフェース画面の一例を示す図である。
【図36】検査対象画像に加えて参照画像を表示したユーザインタフェース画面の一例を示す図である。
【図37】カメラの姿勢を表示したユーザインタフェース画面の一例を示す図である。
【図38】カメラの姿勢を詳細表示するためのウインドウの一例を示す図である。
【図39】回転変換処理後のユーザインタフェース画面の一例を示す図である。
【図40】対応点サーチ用の特徴領域とズームとの関係を説明する図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0020】
図１は、本発明の実施形態に係る産業用カメラ１を備えた画像検査システム２の使用状態を示す全体図である。図１に示す画像検査システム２は、２台の産業用カメラ１と、コントロール用パーソナルコンピュータ（以下、コントローラという）３とを備えている。産業用カメラ１の台数は、２台に限定されるものではなく、１台であってもよいし、３台以上であってもよい。産業用カメラ１は、詳細は後述するが、図２～図５等に示すような形状を有しており、図６に示すような内部構造を有している。この産業用カメラ１は、検査対象物であるワークＷを撮像して得られた検査対象画像を生成する撮像部に相当する。このような検査対象画像を生成する産業用カメラ１を含む画像検査システム２を画像処理装置と呼ぶこともできる。
【0021】
図示しないが、例えばプログラマブルロジックコントローラや、ワークＷの到着を検出するセンサ等から出力されるトリガ信号を産業用カメラ１が受信可能になっている。トリガ信号を受信した産業用カメラ１は撮像処理を実行して検査対象画像を生成する。また、産業用カメラ１は、トリガ信号を外部から受信することなく、内部で繰り返し撮像処理を実行して検査対象画像を生成してもよい。図示しないが、画像検査システム２は、ワークＷを照明する照明部を備えていてもよく、照明部は産業用カメラ１の撮像処理と同期してワークＷを照明するように制御される。
【0022】
本例では、図１に示すように、産業用カメラ１が使用される現場として、複数のワークＷがベルトコンベアＢ等の搬送装置によって順次搬送される現場である場合について説明するが、静止したワークＷを検査する現場であってもよい。産業用カメラ１は、カメラ取付部材４に取り付けられており、所定の位置に所定の姿勢で設置される。
【0023】
コントローラ３は、産業用カメラ１の各種設定等を行うものであり、例えばデスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ等で構成できる他、画像検査専用の演算処理装置で構成することもでき、その形態は特に限定されない。コントローラ３は、本体部５と、記憶部６と、キーボード７と、マウス８と、モニタ９とを備えている。本体部５は、ケーブル１０を介して産業用カメラ１と通信可能に接続されている。本体部５には、中央演算処理装置、ＲＯＭ、ＲＡＭ等で構成された制御部５ａが設けられている。また、記憶部６は、ハードディスクドライブやソリッドステートドライブ等で構成されており、制御部５ａを動作させるためのプログラムや、産業用カメラ１の設定情報、各種画像等が記憶される。記憶部６は、その一部が産業用カメラ１に設けられていてもよく、この場合、産業用カメラ１の設定情報、各種画像等を産業用カメラ１で保持することができる。
【0024】
キーボード７及びマウス８は、コントローラ３を操作するための操作部であり、キーボード７及びマウス８の操作状態は制御部５ａによって検出される。操作部は、キーボード７及びマウス８に限定されるものではなく、いわゆるタッチパネル式の操作部であってもよい。モニタ９は、例えば液晶ディスプレイ装置等で構成されており、制御部５ａによって制御されて産業用カメラ１を設定するための各種ユーザインタフェース、各種画像等の表示が可能になっている。
【0025】
（産業用カメラの構成）
図６に示すように、産業用カメラ１は、レンズユニット２０と、センサ基板３０と、メイン基板４０と、筐体５０と、記憶部３９とを有している。記憶部３９には、産業用カメラ１の設定情報、各種画像等が記憶される。
図６に示すように、産業用カメラ１は、レンズユニット２０と、センサ基板３０と、メイン基板４０と、筐体５０と、記憶部３９とを有している。記憶部３９には、産業用カメラ１の設定情報、各種画像等が記憶される。
【0026】
筐体５０は、例えばアルミニウム合金等の高剛性な部材で構成されている。尚、説明の便宜上、図２～図５に示すように上下方向、左右方向及び前後方向を定義するが、これは使用時の姿勢を限定するものではなく、どのような姿勢であっても産業用カメラ１を使用できる。
【0027】
図７に示すように、産業用カメラ１には加速度センサ３２が取り付けられている。加速度センサ３２は、産業用カメラ１の姿勢に関する情報を取得するためのセンサであり、例えば鉛直方向に対する傾きや水平方向に対する傾き等の計測が可能である。具体的には、加速度センサ３２を用いることで、ピッチ、チルト、ロール等の各角度を基準からの差に基づいて算出し、その算出結果から産業用カメラ１の姿勢に関する情報が取得される。
【0028】
筐体５０は、上側部分５１と、下側部分５２とを有している。上側部分５１は、下側部分５２に比べて前後方向に長く形成されている。下側部分５２は、上側部分５１の後側から下方へ突出するように形成されている。図２や図３に示すように、上側部分５１の前面部には受光窓５１ａが形成されている。また、図６に示すように、上側部分５１には、レンズユニット２０とセンサ基板３０が収容され、下側部分５２には、メイン基板４０が収容されている。つまり、筐体５０には、後述するイメージセンサ３１、プロセッサ４１、出力部４２が内蔵されている。
【0029】
レンズユニット２０は、電動で光学ズームが可能なズーム光学系を備えたズームレンズであり、所定の範囲内であれば、光学ズーム倍率を任意の倍率に切り替えることができる。レンズユニット２０は、筐体５０に固定され、当該筐体５０と一体化されている。
【0030】
すなわち、レンズユニット２０の光軸は筐体５０の前後方向と一致している。レンズユニット２０は、第１レンズ群２１、第２レンズ群２２、第３レンズ群２３、第４レンズ群２４、第５レンズ群２５、及び、第１～第５レンズ群２１～２５を保持する鏡筒２６を有している。第１～第５レンズ群２１～２５は、受光窓５１ａから入射した光を集光する集光レンズを構成している。また、第１～第５レンズ群２１～２５の各レンズ群を構成するレンズの枚数は特に限定されるものではなく、何枚であってもよいし、レンズ群の数についても４つ以下であってもよいし、６つ以上であってもよい。また、レンズユニット２０は、手動で光学ズームが可能なズーム光学系であってもよい。
【0031】
第１レンズ群２１は、筐体５０の前面部に配置された固定レンズ群であり、ワークＷからの反射光を受光する。第１レンズ群２１が受光窓５１ａから筐体５０の外部に臨んでいる。第２レンズ群２２は、第１レンズ群２１の後方に配置されたズーム用可動レンズ群であり、第１レンズ群２１から出射した光を受光する。第３レンズ群２３は、第２レンズ群２２の後方に配置された固定レンズ群であり、第２レンズ群２２から出射した光を受光する。第４レンズ群２４は、第３レンズ群２３の後方に配置されたフォーカス用可動レンズ群であり、第３レンズ群２３から出射した光を受光する。第５レンズ群２５は、第４レンズ群２４の後方に配置された固定レンズ群であり、第４レンズ群２４から出射した光を受光する。
【0032】
鏡筒２６には、ズーム用ボールねじ５６ａと、ズーム用ガイドシャフト５６ｂと、ズーム用ボールねじ５６ａを正逆方向に回転させるズーム用モータ５６ｃとが設けられている。第２レンズ群２２はズーム用ボールねじ５６ａ及びズーム用ガイドシャフト５６ｂに支持されており、ズーム用モータ５６ｃによってズーム用ボールねじ５６ａが回転すると、第２レンズ群２２が光軸方向に移動し、これにより、所望のズーム倍率が得られるようになっている。ズーム用ボールねじ５６ａ、ズーム用ガイドシャフト５６ｂ及びズーム用モータ５６ｃは、第２レンズ群２２を光軸方向に駆動し、光学倍率を調整するズーム用レンズ駆動機構である。
【0033】
また、鏡筒２６には、フォーカス用ボールねじ５６ｄと、フォーカス用ガイドシャフト５６ｅと、フォーカス用ボールねじ５６ｄを正逆方向に回転させるフォーカス用モータ５６ｆとが設けられている。第４レンズ群２４はフォーカス用ボールねじ５６ｄ及びフォーカス用ガイドシャフト５６ｅに支持されており、フォーカス用モータ５６ｆによってフォーカス用ボールねじ５６ｄが回転すると、第４レンズ群２４が光軸方向に移動し、これにより、フォーカス調整が行われるようになっている。フォーカス用ボールねじ５６ｄ、フォーカス用ガイドシャフト５６ｅ及びフォーカス用モータ５６ｆは、第４レンズ群２４を光軸方向に駆動し、焦点位置を調整するズーム用レンズ駆動機構である。
【0034】
図７に示すように、メイン基板４０には、ズーム制御部４０ａ、ＡＦ制御部４０ｂ及びインタフェース部４０ｃが設けられている。インタフェース部４０ｃは、例えばズーム指示等を外部から受け付ける部分であり、インタフェース部４０ｃが光学ズームのズーム指示を受け付けた場合、ズーム制御部４０ａは、ズーム用モータ５６ｃを制御し、インタフェース部４０ｃで受け付けたズーム倍率となるように、第２レンズ群２２を光軸方向に移動させる。
【0035】
ＡＦ制御部４０ｂは、従来から周知のコントラスト方式や、位相差方式のオートフォーカス制御を実行する部分である。ＡＦ制御部４０ｂがフォーカス用モータ５６ｆを制御して焦点位置がワークＷに合うように、第４レンズ群２４を光軸方向に移動させる。
【0036】
図６に示すように、センサ基板３０は、第５レンズ群２５の後方に配置されている。センサ基板３０には、撮像部としてのイメージセンサ３１が実装されている。図７に示すように、イメージセンサ３１は、集光レンズにより集光された光を受光する光電変換部３１ａと、光電変換部３１ａにより取得された撮像画像から検査対象画像を生成するロジック部３１ｂと、カラーフィルタ３１ｃ（図６に示す）を有しており、検査対象物を撮像して得られたカラー検査対象画像の生成が可能になっている。光電変換部３１ａとカラーフィルタ３１ｃとにより、各色が所定の配列パターンで形成されたカラー撮像画像の生成が可能になる。また、光電変換部３１ａによりモノクロ撮像画像の生成も可能である。以下の説明は、モノクロ撮像画像とカラー撮像画像の両方に適用可能である。
【0037】
光電変換部３１ａは、検査対象画像よりも画素数が大きな撮像画像を生成することが可能になっている。また、ロジック部３１ｂは、光電変換部３１ａと同一チップに実装されており、画像生成部を構成する部分である。具体的には、光電変換部３１ａは、ＣＭＯＳ型撮像素子であり、複数のウエハの積み重ねで構成され、当該ウエハの一部によりロジック部３１ｂが構成されている。ウエハの一部には、メモリ等が含まれていてもよい。
【0038】
また、光電変換部３１ａは、グローバルシャッタ方式またはローリングシャッタ方式のＣＭＯＳ型撮像素子である。グローバルシャッタ方式の場合は、移動体に対しても歪みの無い画像を撮像することができる。ローリングシャッタ方式の場合は、グローバルシャッタ方式の場合の半分程度の画素ピッチで高画素化を実現することができるため、レンズユニット２０の各レンズサイズを小型化することができ、ひいては筐体５０の小型化が可能になり、設置時の自由度が向上する。光電変換部３１ａの画素群により、イメージセンサ３１の視野範囲が形成されている。イメージセンサ３１の視野範囲を光電変換部３１ａの視野範囲ともいう。
【0039】
ロジック部３１ｂは、光電変換部３１ａの画素群（イメージセンサ３１の視野範囲）の全部または一部の領域である出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、当該撮像画像よりも小さな画素数の検査対象画像を生成し、当該検査対象画像を出力する部分である。ここでダウンスケーリングとは、対象となる画像の画素分解能を下げる処理のことをいう。
【0040】
ダウンスケーリングの概念について図８に基づいて説明する。図８は、ワークＷを産業用カメラ１で撮像する場合を模式的に示している。例えば光電変換部３１ａの画素数が２０ＭＰ（メガピクセル）であったとする（図面においては、単に２０Ｍ等と表記する）。図８の左側に示すように、光学ズームすることで、通常視野よりも狭い視野になり、注目領域（ＲＯＩ）は光学ズーム後の視野よりも更に狭い領域になる。図８の右側に示すように、画素数２０ＭＰで撮像した撮像画像Ａ１から注目領域を切り出した場合、画素分解能はそのままで例えば画素数が５ＭＰの注目領域Ａ２となる。光学ズーム後の撮像画像Ａ３から注目領域を切り出した場合も同様に画素分解能はそのままで画素数が５ＭＰの注目領域Ａ４となる。
【0041】
撮像画像Ａ１からダウンスケーリングする際、スケーリング倍率（ダウンスケーリング倍率ともいう）は任意に設定可能である。スケーリング倍率は、撮像画素数を出力画素数で除して求めることができ、例えば２０ＭＰで撮像した画像と同じ視野の画像を１０ＭＰで出力する場合には、スケーリング倍率が２倍となる。
【0042】
ダウンスケーリングは、画像の縦横比が一定のままで行うこともできるし、画像の縦横比を変化させて行うこともできる。画像の縦横比が一定のままの場合、上述したように、例えば２０ＭＰで撮像した画像と同じ視野の画像を１０ＭＰで出力する場合には、スケーリング倍率が２倍となる。一方、画像の縦横比を変化させる場合、例えば５０００×４０００の２０ＭＰの画素数で撮像した画像を同じ視野のまま２５００×２０００の５ＭＰの画素数で出力すると、スケーリング倍率は４倍となる。また、３２００×４０００の注目領域を２０００×２５００にダウンスケーリングする場合、スケーリング倍率は２．５６倍となる。
【0043】
画像の縦横比が一定のままでスケーリング倍率を例えば４倍とした場合には、画素数が５ＭＰのワーク全体画像Ａ５が得られることになる。画像Ａ５に対して光学ズームとダウンスケーリングを併用することで、画像Ａ５よりも画素分解能の高い注目領域Ａ４が得られる。また、光学ズーム後の撮像画像Ａ３からダウンスケーリングすることで、画像Ａ３よりも画素分解能の低いワーク画像Ａ６が得られる。
【0044】
図９は、具体的なワークＷを撮像した画像に基づいてダウンスケーリングを説明するための図である。光電変換部３１ａの画素群の全部、すなわち撮像部の視野範囲の全部の領域である出力領域に対応する撮像画像を第１撮像画像Ｂ１とする。ロジック部３１ｂは、第１撮像画像Ｂ１に対し、任意の第１のスケーリング倍率でダウンスケーリングし、第１撮像画像Ｂ１の画素数（例：２０ＭＰ）よりも小さな第１画素数（例：１．６ＭＰ）の検査対象画像Ｂ２を生成する。
【0045】
インタフェース部４０ｃは、光電変換部３１ａ、すなわち撮像部の視野範囲において検査対象画像として出力する領域である出力領域の指定を受け付けることができる。この出力領域は、例えば図８を用いて説明した注目領域に対応する領域であってもよい。インタフェース部４０ｃは、出力領域の位置、大きさ、及び形状の少なくとも１つを変更する指示を受け付けることもできる。
【0046】
例えば、インタフェース部４０ｃは、光電変換部３１ａの出力領域を相対的に小さな領域に変更する第１ズーム指示をユーザから受け付け可能に構成されている。具体的には、第１ズーム指示により、出力領域が、光電変換部３１ａの画素群の一部、すなわち撮像部の視野範囲の一部の領域へと変更される。第２撮像画像Ｂ１’は、第１ズーム指示により変更された後の出力領域に対応する撮像画像である。第２撮像画像Ｂ１’は、第１撮像画像Ｂ１と異なるタイミングで撮像されており、第１撮像画像Ｂ１とは独立している。ロジック部３１ｂは、第２撮像画像Ｂ１’に対し、第２のスケーリング倍率でダウンスケーリングし、第２撮像画像Ｂ１’の画素数（例：５ＭＰ）よりも小さな第１画素数（例：１．６ＭＰ）の検査対象画像Ｂ３を生成する。また、第２撮像画像Ｂ１’は、第１撮像画像Ｂ１に基づいて生成されたものであってもよく、例えば、第１撮像画像Ｂ１の一部を切り取ることで生成してもよい。また、インタフェース部４０ｃは、第１ズーム倍率を整数だけでなく、小数点以下の精度で調整する指示を受け付け可能に構成されている。
【0047】
図７に示すように、メイン基板４０には、各種演算を実行するとともに、イメージセンサ３１を制御するプロセッサ４１が設けられている。プロセッサ４１は、演算部４１ａを有しており、演算部４１ａで演算された結果に基づいてプロセッサ４１がイメージセンサ３１のロジック部３１ｂを制御し、所望の検査対象画像をロジック部３１ｂに生成させる。
【0048】
演算部４１ａは、光電変換部３１ａの視野範囲内における変更後の出力領域に対応する第２撮像画像Ｂ１’を、上記第１画素数とするのに必要な第２のスケーリング倍率を算出する。演算部４１ａは、算出した第２のスケーリング倍率をロジック部３１ｂに出力する。ロジック部３１ｂは、第２撮像画像Ｂ１’を演算部４１ａで算出された第２のスケーリング倍率でダウンスケーリングすることにより、第１画素数の検査対象画像Ｂ３を生成する。第１画素数の検査対象画像Ｂ３は、光電変換部３１ａの出力領域に対応する第１撮像画像Ｂ１よりも低分解能であるが、必要な検査精度を確保できるだけの分解能は有しており、検査精度の上で問題は生じない。
【0049】
演算部４１ａは、インタフェース部４０ｃにより受け付けた第１ズーム倍率が高ければ高いほど、第２のスケーリング倍率を小さくするように演算する。ロジック部３１ｂは、演算部４１ａで演算された第２のスケーリング倍率が小さくなればなるほど、第２撮像画像Ｂ１’に対するダウンスケーリング量を少なくする。これにより、ロジック部３１ｂは高い画素分解能の検査対象画像を生成する。
【0050】
演算部４１ａは、インタフェース部４０ｃにより受け付けた第１ズーム倍率に基づいて、第１画素数の検査対象画像Ｂ３の１画素が、第２撮像画像Ｂ１’の何画素に相当するかの比率を計算する。この比率を利用して、演算部４１ａは、第２のスケーリング倍率を算出する。
【0051】
インタフェース部４０ｃが第１ズーム倍率を小数点以下の精度で調整指示を受け付けた場合には、演算部４１ａは、小数点以下の精度で調整指示を受け付けたズーム倍率に基づいて、検査対象画像Ｂ３の１画素が、第２撮像画像Ｂ１’の何画素に相当するかの比率を小数点以下まで計算する。これにより、演算部４１ａは第２のスケーリング倍率を小数点以下の精度で算出する。ロジック部３１ｂは、小数点以下の精度で算出された第２のスケーリング倍率に基づいて検査対象画像を生成する。
【0052】
図１０は、任意の位置のズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。インタフェース部４０ｃは、光電変換部３１ａの出力領域を相対的に小さな領域に変更する第１ズーム指示を、検査対象画像の任意の位置のズーム指示として受け付け可能に構成されている。具体的には、図１０の撮像画像Ｂ１の中の枠Ｃ１は、説明の便宜上、撮像部の視野範囲内においてズーム指示を受け付けた位置及び領域を示すものであり、ユーザは、図９の撮像画像Ｂ１全体がダウンスケーリングされた検査対象画像Ｂ２が表示されたモニタ９を確認しながら、マウス８等を介して枠Ｃ１を検査対象画像Ｂ２に対して指定してもよい。枠Ｃ１の位置は検査対象画像Ｂ２（すなわち撮像部の視野範囲）のどこに配置してもよく、配置された位置をインタフェース部４０ｃが検出する。また、枠Ｃ１の大きさや形状もユーザが任意に設定することができる。
【0053】
インタフェース部４０ｃによって任意の位置として枠Ｃ１が指定されたズーム指示を受け付けると、ロジック部３１ｂは、撮像部の視野範囲内において、上記任意の位置を含む出力領域に対応する領域（すなわち枠Ｃ１に対応する撮像画像であり、１．６ＭＰより大きい画素数とする）を１．６ＭＰとするのに必要なスケーリング倍率でダウンスケーリングする。これにより、ロジック部３１ｂは任意の位置を含む検査対象画像Ｂ４を生成する。枠Ｃ１の位置は、撮像部の視野範囲の中心からＸ方向（画像の横方向）またはＹ方向（画像の縦方向）にずれていてもよく、撮像部の視野範囲の中心、すなわち光軸からずれた位置にある領域をダウンスケーリングできる。すなわち、一般の光学ズームでは光軸中心に沿ったズームとなるが、本例のダウンスケーリングでは、光軸中心だけなく、光軸中心からずれている領域もズーム可能であり、ダウンスケーリング可能な領域の位置設定の自由度が高い。
【0054】
図１１は、ズーム指示を受付可能な設定用のユーザインタフェース画面１００を示している。このユーザインタフェース画面１００は、コントローラ３の制御部５ａが生成してモニタ９に表示させる。ユーザインタフェース画面１００上では、キーボード７やマウス８による操作が可能になっており、どのような操作がなされたかは制御部５ａが検出して記憶する。
【0055】
ユーザインタフェース画面１００には、画像表示領域１０１が設けられている。画像表示領域１０１には、光電変換部３１ａの視野範囲全体における出力領域の位置を示した俯瞰画像Ｄ１と、出力領域に対応する検査対象画像Ｄ２とが表示されるようになっている。すなわち、図７に示す産業用カメラ１のインタフェース部４０ｃは、光電変換部３１ａの視野範囲全体における出力領域の位置を示した俯瞰画像Ｄ１と、出力領域に対応する検査対象画像Ｄ２とを外部に出力可能に構成されている。具体的には、メイン基板４０には、出力部４２が設けられている。出力部４２は、イメージセンサ３１から出力された俯瞰画像Ｄ１、検査対象画像Ｄ２を外部に出力する部分である。出力の際、例えば入出力端子６０及びケーブル１０を介して産業用カメラ１からコントローラ３へ画像データが送信される。
【0056】
図１１に示すユーザインタフェース画面１００には、ユーザがズーム倍率を調整するためのズーム調整領域１０１Ａが設けられている。ズーム調整領域１０１Ａをマウス８で「Ｔ」側に操作することでテレ側にズームされて視野範囲が狭まる一方、「Ｗ」側に操作することで反対に視野範囲が拡大する。また、マウス８のホイールを操作することによっても、ズーム倍率を調整できる。調整されたズーム倍率はコントローラ３側で一旦記憶されて産業用カメラ１のインタフェース部４０ｃに転送され、インタフェース部４０ｃで受け付けられる。
【0057】
ズーム倍率の調整は、数値によっても可能である。すなわち、ユーザインタフェース画面１００には、数値入力領域１０２が設けられている。数値入力領域１０２は、ユーザがズーム倍率を数値で入力することによって調整するためのものであり、キーボード７やマウス８等によって任意に数値を入力できる。
【0058】
図１２は、マウス８を用いた領域選択によるズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。枠Ｃ１０は、マウス８の操作によって形成されたものであり、例えば左上から右下（または右上から左下等）にドラッグ操作することで形成できる。ロジック部３１ｂは、枠Ｃ１０で囲んだ領域に対応する撮像画像をダウンスケーリングすることにより、５ＭＰの検査対象画像を生成する。また、枠Ｃ１１も同様にしてマウス８の操作によって形成することができ、枠Ｃ１１内の領域が拡大される。このとき、撮像画像Ｂ１における枠Ｃ１１内の領域が５ＭＰ未満であり、出力する検査対象画像のサイズが５ＭＰである場合、最大分解能（撮像画像Ｂ１の分解能）を超えてしまうため、枠Ｃ１１を含む５ＭＰの領域が、スケーリング倍率が１倍でダウンスケーリングされて（つまり、実質的にはダウンスケーリングされずに）、検査対象画像として出力される。
【0059】
図１３は、任意の位置をパンチルトした後、ダウンスケーリングを行う場合を説明する図である。インタフェース部４０ｃは、任意の位置を、Ｘ方向及びＹ方向に調整する第１パンチルト指示を受け付け可能に構成されている。例えば、光電変換部３１ａの視野範囲の中央を注目領域として枠Ｃ１で指定した後、枠Ｃ１の位置をＸ方向及びＹ方向に移動させ、例えば符号Ｃ１’で示す位置に配置する。枠Ｃ１でダウンスケーリングした場合には検査対象画像Ｂ５が得られる。ロジック部３１ｂは、Ｘ方向及びＹ方向に調整された後の任意の位置（枠Ｃ１’の位置）に対応する撮像画像をダウンスケーリングすることにより、Ｘ方向及びＹ方向の位置が調整された検査対象画像Ｂ５’を生成する。ロジック部３１ｂは、枠Ｃ１’で囲まれた領域内の一部を更にダウンスケーリングすることにより、検査対象画像Ｂ６を生成する。
【0060】
Ｘ方向及びＹ方向の調整は、図１１に示すユーザインタフェース画面１００を使用することで可能になる。ユーザインタフェース画面１００には、視野位置調整領域１０３が設けられている。視野位置調整領域１０３は、上下左右それぞれの方向に向いた矢印等を組み合わせて構成されており、例えば上向きの矢印を操作するとで、枠Ｃ１の位置が上へ移動する。同様にして、枠Ｃ１の位置を下、左、右の任意の位置に調整できる。枠Ｃ１をマウス８によって直接ドラッグ操作してもよい。
【0061】
図１４は、画像の縦横比を変更した状態でダウンスケーリングを行う場合を説明する図である。インタフェース部４０ｃは、光電変換部３１ａの出力領域の縦横比の変更を受け付け可能に構成されている。例えば枠Ｃ１で示すように、撮像部の視野範囲内の任意の位置のズーム指示を受け付けると、ロジック部３１ｂは、枠Ｃ１に対応する撮像画像をダウンスケーリングすることにより、検査対象画像Ｂ７を生成する。その後、枠Ｃ１で特定される領域の縦横比をユーザが自由に指定できる。縦横比を変更した後の領域を枠Ｃ２で示す。ロジック部３１ｂは、縦横比が変更された出力領域（枠Ｃ２で囲まれた領域）に対応する領域をダウンスケーリングすることにより、検査対象画像Ｂ７’を生成する。そこから、枠Ｃ２で囲まれた領域内の一部を更にダウンスケーリングすることにより、検査対象画像Ｂ７’ ’を生成する。
【0062】
図１５は、固定箇所を中心にダウンスケーリングした後、パンチルトを行う場合を説明する図である。例えば光電変換部３１ａの視野中心を固定箇所とした場合、ロジック部３１ｂが、撮像部の視野範囲の中心を含む枠Ｃ１をダウンスケーリングすることにより検査対象画像Ｂ５を生成した後、図１３に示すようにパンチルトすることで、ロジック部３１ｂが、パンチルト後の領域に対応する撮像画像をダウンスケーリングすることにより検査対象画像Ｂ８を生成する。
【0063】
また、インタフェース部４０ｃは、検査対象画像の画素数を、第１画素数から第２画素数に変更する画素数変更指示を受け付け可能に構成されている。第２画素数は、第１画素数よりも大きい画素数である。具体的には、図１１に示すユーザインタフェース画面１００には、画素数設定領域１０４が設けられている。画素数設定領域１０４では、検査対象画像の画素数を予め決められている選択肢の中からプルダウンメニューの形式で選択可能になっている。選択可能な画素数は、例えば１．６ＭＰ以上５ＭＰ以下の範囲とすることができるが、これに限られるものではない。
【0064】
また、インタフェース部４０ｃは、検査対象画像の画素数を、第１画素数から第２画素数に変更する画素数変更指示を受け付け可能に構成されている。第２画素数は、第１画素数よりも大きい画素数である。具体的には、図１１に示すユーザインタフェース画面１００には、画素数設定領域１０４が設けられている。画素数設定領域１０４では、検査対象画像の画素数を予め決められている選択肢の中からプルダウンメニューの形式で選択可能になっている。選択可能な画素数は、例えば１．６Ｍ以上５Ｍ以下の範囲とすることができるが、これに限られるものではない。選択可能な画素数の上限は、ユーザとの契約によって設定することができ、例えばユーザとの契約が低額料金である場合には選択可能な画素数の上限を低くし、高額料金である場合には選択可能な画素数の上限を高くして高精度な検査を可能にする。
【0065】
また、画素数設定領域１０４では、縦横比も選択できる。すなわち、画素数設定領域１０４のプルダウンメニューには、それぞれが検査対象画像の画素数と縦横比の組合せである、複数の選択肢が表示される。ユーザは、これら選択肢の内からいずれか一つの選択肢の選択が可能になっている。選択された画素数に関する情報は、インタフェース部４０ｃで受け付けられ、画素数変更指示として産業用カメラ１のプロセッサ４１に送信される。
【0066】
画素数変更指示をプロセッサ４１が受け取ると、演算部４１ａは、光電変換部３１ａの視野範囲内において、画素数変更指示の前と同じ出力領域に対応する撮像画像を、第２画素数とするのに必要なスケーリング倍率を算出する。演算部４１ａが算出したスケーリング倍率はロジック部３１ｂに送られ、ロジック部３１ｂは、撮像画像を、そのスケーリング倍率でダウンスケーリングすることにより、第２画素数の検査対象画像を生成する。縦横比が変更された場合、ロジック部３１ｂは、光電変換部３１ａの視野範囲内において、縦横比が変更された出力領域に対応する領域をダウンスケーリングすることにより、縦横比が変更された検査対象画像を生成する。つまり、ロジック部３１ｂは、画素数設定領域１０４で選択された検査対象画像の画素数と縦横比の組み合わせにしたがって、検査対象画像を生成する。
【0067】
図１６は、ズーム倍率がダウンスケーリングのみで対応可能な場合、即ち光学ズームが不要な場合を説明する図である。図１６の上側は撮像画像Ｅ１、Ｅ２であり、下側は検査対象画像Ｅ３、Ｅ４である。左側の撮像画像Ｅ１と右側の撮像画像Ｅ２の視野を一定とし、右側の撮像画像Ｅ２ではワークＷが存在しない黒い領域の信号は読み出さないようにしているので、左側の撮像画像Ｅ１の画素数は２０ＭＰ、右側の撮像画像Ｅ２の画素数は１０ＭＰとなる。左側の撮像画像Ｅ１をスケーリング倍率４倍でダウンスケーリングすると左側の検査対象画像Ｅ３が得られる。左側の検査対象画像Ｅ３は、画素数２０ＭＰ分の領域を画素数５ＭＰで出力することで得られた画像である。また、右側の撮像画像Ｅ２は、黒い領域の信号は読み出さないので、スケーリング倍率２倍でダウンスケーリングすることが可能になり、右側の検査対象画像Ｅ４が得られる。右側の検査対象画像Ｅ４は、画素数１０ＭＰ分の領域を画素数５ＭＰで出力することで得られる画像である。また、左側の検査対象画像Ｅ３の中心をズームすることで、より細かく分解された右側の検査対象画像Ｅ４が得られる。
【0068】
すなわち、光学ズームを使っていないにも関わらず、検査対象画像Ｅ３よりも画素分解能を高めつつ、ワークＷを拡大して表示させた検査対象画像Ｅ４が得られる。本明細書では、このズーム処理のことを「センサズーム」と呼ぶことがある。
【0069】
図１７は、ズーム倍率がある倍率以上であり、ダウンスケーリングと光学ズームの両方で対応する必要がある場合を説明する図である。図１７の上側は撮像画像Ｆ１、光学ズーム画像Ｆ２、撮像画像Ｆ３であり、下側は検査対象画像Ｅ４、Ｅ５、Ｅ６である。撮像画像Ｆ１が生成された範囲に対して光学ズームすることで、視野範囲の狭い光学ズーム画像Ｆ２が得られる。右側の撮像画像Ｆ３ではワークＷが存在しない黒い領域の信号は読み出さないようにしている。右側の撮像画像Ｆ３の枠Ｆ７で囲まれた部分を注目領域とする。この注目領域の画素数は６ＭＰである。
【0070】
左側の撮像画像Ｆ１をスケーリング倍率４倍でダウンスケーリングすると左側の検査対象画像Ｆ４が得られる。中央の検査対象画像Ｆ５は、光学ズームによって取得された画像であることから光電変換部３１ａの視野中心に沿ってズームされる。よって、ワークＷの中心が光電変換部３１ａの視野中心からずれていると、ズーム後の画像において、ワークＷが画像中心からずれることになる。中央の検査対象画像Ｆ５は画素分解能が向上している。右側の検査対象画像Ｆ６は、右側の撮像画像Ｆ３の枠Ｆ７で囲まれた注目領域をスケーリング倍率１．２倍でダウンスケーリングした画像であり、画素数は５ＭＰとなる。
【0071】
図１８は、光学ズームとダウンスケーリングを組み合わせる場合の例を説明する図であり、パターン１とパターン２とを示している。パターン１では、指定されたズーム倍率が低い領域からダウンスケーリング限界近傍倍率まで、光学ズームをオフにして当該光学ズームを行わずに、ダウンスケーリングによるズームを行う。ダウンスケーリングはダウンスケーリング限界近傍倍率で固定する。ダウンスケーリング限界近傍倍率を超えると、光学ズームをオンにして当該光学ズームの倍率上限までズームする。このとき、指定されたズーム倍率が大きくなるにつれて光学ズームの光学倍率も大きくなる。光学ズームの倍率上限を超えると、光学ズームは固定し、ダウンスケーリングによるセンサズームを行う。このパターン１によれば、光学ズーム後においても、ダウンスケーリングを実行可能（すなわちセンサズームの余力を残すことが可能）であるため、検査対象画像として最終的に出力する領域を定める際の微調整を光学ズームではなく、センサズームにより実行することができる。
【0072】
パターン２では、ズーム倍率が低い領域からダウンスケーリング限界倍率（１倍）まで、光学ズームを行わずに、ダウンスケーリングによるズームを行う。ダウンスケーリング限界倍率までダウンスケーリングを行っているので、以降、ダウンスケーリングは行わない。ダウンスケーリング限界倍率を超えると、光学ズームを使用して光学ズームの倍率上限までズームする。
【0073】
つまり、図１６～図１８を用いて説明したように、ロジック部３１ｂは、インタフェース部４０ｃを介してユーザにより指示されたズーム倍率が所定の倍率以下である場合は、当該指示されたズーム倍率に基づいて算出された第２のスケーリング倍率で第２撮像画像をダウンスケーリングすることにより検査対象画像を生成するように構成されている。一方、ロジック部３１ｂは、インタフェース部４０ｃを介してユーザにより指示されたズーム倍率が前記所定の倍率よりも大きい場合は、ズーム光学系による光学ズームにより、当該指示されたズーム倍率に相当する検査対象画像を生成するように構成されている。前記所定の倍率は、第２のスケーリング倍率が下限値の１倍近傍のスケーリング限界近傍倍率となるズーム倍率とすることができる。
【0074】
また、インタフェース部４０ｃを介してユーザにより指示されたズーム倍率が前記所定の倍率よりも大きい場合、演算部４１ａは、ズーム光学系による光学ズームを行う。また、ロジック部３１ｂは、スケーリング限界近傍倍率でダウンスケーリングを行うことにより、指示されたズーム倍率の検査対象画像を生成する。
【0075】
また、インタフェース部４０ｃは、光学ズームの光学倍率が上限値に達した後も、より大きなズーム倍率を受け付け可能に構成されている。インタフェース部４０ｃが受け付け可能なズーム倍率の上限値に達すると、演算部４１ａは、上限値の光学倍率で光学ズームの駆動を実行する。また、ロジック部３１ｂは、インタフェース部４０ｃが受け付け可能なズーム倍率の上限値の光学倍率で撮像された出力領域に対応する撮像画像をスケーリング倍率が１倍でダウンスケーリングして（実質的にはダウンスケーリングを行うことなく）、検査対象画像を生成する。つまり、演算部４１ａは、ユーザからズーム倍率の指定を受け付けると、受け付けたズーム倍率に基づいて、光学ズームの光学倍率、及びダウンスケーリングのスケーリング倍率を算出する。そして、算出した光学倍率に基づいてズーム光学系を駆動する。
【0076】
また、演算部４１ａは、インタフェース部４０ｃによりズーム倍率の変更を変更指示信号として受け付け可能になっている。変更指示信号に基づいて変更指示されたズーム倍率が前記所定の倍率以下である場合は、演算部４１ａにより算出されたスケーリング倍率で撮像画像のダウンスケーリングを実行するように、イメージセンサ３１に制御信号を送信して、ダウンスケーリングを実行させる。一方、変更指示信号に基づいて変更指示されたズーム倍率が所定の倍率よりも大きい場合は、ズーム光学系、即ちズーム用モータ５６ｃに光学ズームを行うように駆動信号を送信する。ズーム用モータ５６ｃは駆動信号によって動作し、所望のズーム倍率が得られる。
【0077】
図１９に示すように、ダウンスケーリング時に画像の縦横比を変えることができる。ＦＩＧ．１９Ａ、ＦＩＧ．１９Ｂでは、横長の注目領域を縦長に変更した場合を示しているが、反対に縦長の注目領域を横長に変更することもできる。この変更指示は、図１１に示すユーザインタフェース画面１００の画素数設定領域１０４を介してユーザが行える。尚、ＦＩＧ．１９Ｂに示すように、光電変換部３１ａの形状の制約上、変更指示を受けた縦横比では光電変換部３１ａで撮像可能な範囲外に注目領域が位置する場合が考えられる。この場合には、変更指示を受けた縦横比をできるだけ満たすように、演算部４１ａがダウンスケーリング時のスケーリング倍率を再計算し、ロジック部３１ｂは、再計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。
【0078】
図２０に示すように、ユーザによる設定に基づいて、ダウンスケーリング時に画素数を増減させることができる。ＦＩＧ．２０Ａ、２０Ｂ、２０Ｃは、空間分解能（スケーリング倍率）を変えずに画素数を変更する場合を示している。ＦＩＧ．２０Ａ、２０Ｂでは、光電変換部３１ａで撮像可能な範囲内で画素数を変更しているので、演算部４１ａは、ユーザによる設定を反映させたスケーリング倍率を計算し、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。一方、ＦＩＧ．２０Ｃは、ユーザによる設定を反映させると、光電変換部３１ａで撮像可能な範囲を超えてしまうので、演算部４１ａは、ユーザによる設定を用いずに、画素数の変更を制限するようにスケーリング倍率を計算する。計算時には、ユーザによる設定にできるだけ近いスケーリング倍率となるようにする。そして、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。
【0079】
ＦＩＧ．２０Ｄ、２０Ｅ、２０Ｆは、撮像視野を変えずに画素数を変更する場合を示している。ＦＩＧ．２０Ｄ、２０Ｅでは、最小分解能以上の画素数への変更であるため、演算部４１ａは、ユーザによる設定を反映させたスケーリング倍率を計算し、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。一方、ＦＩＧ．２０Ｆは、最小分解能未満の画素数への変更であるため、演算部４１ａは、ユーザによる設定を用いずに、画素数の変更を制限するようにスケーリング倍率を計算し、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。つまり、演算部４１ａは、ユーザによる設定に基づいて、第１画素数から第２画素数への変更を制限可能に構成されている。
【0080】
また、インタフェース部４０ｃは、ユーザによる画素数変更指示の後に、出力領域をさらに相対的に小さな領域に変更する第２ズーム指示、及び出力領域をＸ方向及びＹ方向にさらに調整する第２パンチルト指示を受け付け可能に構成されている。第２ズーム指示は、第２ズーム指示と同じように、ユーザの指示によって受け付けることができる。また、第２パンチルト指示は、第１パンチルト指示と同じように、ユーザの指示によって受け付けることができる。
【0081】
インタフェース部４０ｃが第２ズーム指示及び第２パンチルト指示を受け付けた場合、演算部４１ｃは、光電変換部３１ａの視野範囲内において、第２ズーム指示および第２パンチルト指示の少なくとも一方により変更された出力領域に対応する撮像画像を、第２画素数とするのに必要なスケーリング倍率を算出する。ロジック部３１ｂは、演算部４１ｃが算出したスケーリング倍率で撮像画像をダウンスケーリングすることにより、第２画素数の検査対象画像を生成する。
【0082】
図２１は、回転後の検査対象画像を生成する場合の例を説明する図であり、回転設定用ユーザインタフェース画面１１０を示している。回転設定用ユーザインタフェース画面１１０には、光電変換部３１ａの出力領域に対応する検査対象画像が表示される画像表示領域１１１と、回転角度設定領域１１２とが設けられている。回転角度設定領域１１２では、画像の回転方向の設定と、回転角度の設定が可能になっており、これら設定項目はユーザによるキーボード７やマウス８の操作で設定可能になっている。
【0083】
回転角度設定領域１１２で回転方向および回転角度が設定されると、演算部４１ａは、検査対象画像の画素数及び形状を固定した状態で、検査対象画像を設定された方向に設定された角度だけ回転させる。つまり、演算部４１ａが検査対象画像に対して任意の角度の回転変換処理を適用する。これにより、回転後の検査対象画像を生成して画像表示領域１１１に表示させることができるので、例えば産業用カメラ１の設置方向が傾いていたときに、その傾きをソフトウェア上で補正できる。
【0084】
図２２は、ダウンスケーリングをプロセッサ４１で実現する場合の例を示す図である。この図に示すように、レンズユニットは光学ズームできない非ズームレンズとしている。イメージセンサ３１は、光電変換部３１ａで撮像した画像をダウンスケーリングすることなく、プロセッサ４１に出力する。プロセッサ４１には、ダウンスケーリング部４１Ａが設けられており、ダウンスケーリング部４１Ａは上述したようなダウンスケーリングを実行して検査対象画像を生成する。その他の処理は、イメージセンサ３１でダウンスケーリングを実行する場合と同じである。
【0085】
（カラー撮像画像の処理）
イメージセンサ３１でカラー撮像画像を生成できるので、インタフェース部４０ｃでは、光電変換部３１ａの視野範囲においてカラー検査対象画像として出力する領域である出力領域の指定を受け付けることができる。
イメージセンサ３１でカラー撮像画像を生成できるので、インタフェース部４０ｃでは、光電変換部３１ａの視野範囲においてカラー検査対象画像として出力する領域である出力領域の指定を受け付けることができる。
【0086】
イメージセンサ３１では、カラーフィルタ３１ｃを有していることで、各色が所定の配列パターンで形成されたカラー撮像画像の生成が可能である。具体的には、光電変換部３１ａが出力するカラー撮像画像の配列パターンは、図２３に示すようにベイヤ配列である。ベイヤ配列では、赤成分（Ｒ画素）および青成分（Ｂ画素）に加えて第１の緑成分（Ｇｒ画素）と第２の緑成分（Ｇｂ画素）とが所定の配列パターンで配列される。配列パターンはベイヤ配列に限られるものではなく、他の配列パターンであってもよい。
【0087】
また、光電変換部３１ａは、画素数の異なるカラー検査対象画像を生成可能に構成されている。光電変換部３１ａでカラー撮像画像が生成された場合には、プロセッサ４１は、カラーの検査対象画像に対して上述したような演算処理や画像処理を実行する。本例では、カラーフィルタ３１ｃを有しているので、３板式のカメラを用いることなく、またＲＧＢを時系列で点灯することなく、カラー撮像画像を生成できる。
【0088】
ロジック部３１ｂは、光電変換部３１ａの視野範囲の出力領域に対応するカラー撮像画像を取得した後、当該カラー撮像画像の各色を、上記配列パターンに基づいて個別にダウンスケーリングし、ダウンスケーリング後の各色の画素値を、各色の配列パターンがカラー撮像画像の配列パターンと一致するように配置する。これにより、カラー撮像画像の画素数よりも小さな画素数のカラー検査対象画像を生成することができる。
【0089】
例えば図２３に示すように、ロジック部３１ｂは、カラー撮像画像のベイヤ配列に含まれる赤成分、当該赤成分と行方向に隣接する第１の緑成分、青成分、及び当該青成分と当該行方向に隣接する第２の緑成分を、それぞれ個別にダウンスケーリングする。そして、ロジック部３１ｂは、ダウンスケーリング後の当該青成分、当該第１の緑成分、当該赤成分、及び当該第２の緑成分の各色の画素値を、各色の配列パターンが当該カラー撮像画像のベイヤ配列の配列パターンと一致するように配置することにより、カラー検査対象画像を生成する。
【0090】
すなわち、ユーザがカラー検査対象画像として出力する領域を出力領域として指定すると、出力領域に対応するカラー撮像画像の各色が所定の配列パターンに基づいて個別にダウンスケーリングされる。ダウンスケーリング後の各色の画素値は、各色の配列パターンがカラー撮像画像の配列パターンと一致するように配置される。これにより、カラー撮像画像の画素数よりも小さな任意の画素数のカラー検査対象画像を生成することが可能になり、後段のプロセッサやＦＰＧＡによる画像処理において、配列パターンの不一致に起因する追加の処理が不要となる。
【0091】
具体例について説明すると、ロジック部３１ｂは、カラー撮像画像の各色に対して、Ｘ又はＹ方向の一方である第１方向にダウンスケーリングした後、当該第１方向のダウンスケーリングにより得られた画像に対して、Ｘ又はＹ方向の他方である第２方向にダウンスケーリングすることによって、カラー検査対象画像を生成するように構成されている。より具体的には、図２４に示すように、ロジック部３１ｂは、カラー撮像画像の各色に対して第１方向にダウンスケーリングした後、第１方向のダウンスケーリングにより得られた画像に対して第２方向にダウンスケーリングすることによって、カラー検査対象画像を生成する。図２４では、Ｇｒ画素に対して、第１方向である水平方向（Ｘ方向）に画素補間するとともにダウンスケーリングし、その後、第２方向である垂直方向（Ｙ方向）に画素補間するとともにダウンスケーリングする。また、Ｒ画素、Ｂ画素、Ｇｂ画素のそれぞれに対しても、Ｇｒ画素と同様に水平方向に画素補間するとともにダウンスケーリングした後、垂直方向に画素補間するとともにダウンスケーリングする。
【0092】
図２５に水平方向の場合を示すように、画素補間する際には、同色の隣接した２画素値の加算平均を演算する。また、ダウンスケーリングの際には、ダウンスケーリングにより得られる検査対象画像の一画素に含まれる、ダウンスケーリング前の撮像画像の各画素のサブピクセルレベルでのサイズに応じた加重平均を演算する。図２５中、α、β、γは、入力画素の大きさを１とした場合のサブピクセルサイズを示している。また、αとγはそれぞれ１未満の値を設定することができるため、小数点以下の精度でスケーリング倍率を算出することもできる。また、画像中の他のＲ画素群に対しても同様の処理を実行する。図２５ではＲ画素について示しているが、他の色の画素も同様である。
【0093】
垂直方向についても、水平方向のダウンスケーリング後の画素を用いて、垂直方向に同様の処理を実行する。つまり、ロジック部３１ｂは、ダウンスケーリング後の検査対象画像の各画素に対応する、ダウンスケーリング前のカラー撮像画像の位置の近傍範囲に存在する同一色の複数の画素に基づいて検査対象画像の各画素の画素値を算出する。そして、ロジック部３１ｂは、カラー撮像画像の近傍範囲をダウンスケーリングのスケーリング倍率に基づいて決定する。
【0094】
図２６に示すように、カラー撮像画像を処理する際にはローパスフィルタを適用することもできる。この場合、指定したローパスフィルタ領域（ＬＰＦ領域）分だけ、ダウンスケーリング後の検査対象画像の一画素が拡大されたものとみなしてダウンスケーリングする。ローパスフィルタ領域は当該ダウンスケーリング後の一画素の両側に均等に適用する。片側あたりのローパスフィルタ領域（サブピクセルサイズ）は、ダウンスケーリングによる縮小度にローパスフィルタ設定値を乗じて得た値を１／２することで算出する。また、ローパスフィルタ設定値は０以上の値であり、かつ、｛３×（縮小度－１）｝／縮小度で求められる値よりも小さな値とする。図２６中、α、β、γ、δは、入力画素の大きさを１とした場合のサブピクセルサイズを示している。また、画像中の他のＲ画素群に対しても同様の処理を実行する。図２６ではＲ画素について示しているが、他の色の画素も同様である。
【0095】
また、プロセッサ４１は、インタフェース部４０ｃが画素数を変更する指示を受け付けると、画素数の変更前後でカラー検査対象画像の各色の配列パターンを一致させる。これにより、変更前のカラー検査対象画像の画像処理における各色の配列パターンに関する設定を変更することなく、変更後のカラー検査対象画像の画像処理を実行することができる。
【0096】
インタフェース部４０ｃが出力領域の位置、大きさ、及び形状の少なくとも１つを変更する指示を受け付けた場合、ロジック部３１ｂは、出力領域の変更前に生成したカラー検査対象画像と各色の配列パターンが一致する、変更後の出力領域に対応するカラー検査対象画像を生成する。
【0097】
また、ロジック部３１ｂは、カラー撮像画像をプロセッサ４１に転送する際の転送速度と比較して、カラーの検査対象画像をプロセッサ４１に転送する転送速度が相対的に速くなるように、カラー撮像画像をダウンスケーリングする。すなわち、図２２に示すように、イメージセンサ３１の外部でダウンスケーリングすることも可能であるが、この場合、カラー撮像画像のデータ量が大きいので、プロセッサ４１への転送速度が問題となることが考えられる。カラー撮像画像をダウンスケーリングして、カラー撮像画像をプロセッサ４１に転送する際の転送速度よりも速い速度でカラーの検査対象画像をプロセッサ４１に転送することで、処理速度を高速化でき、高速な移動体に対する画像検査が可能になる。また、イメージセンサ３１から出力された検査対象画像の画素数に応じて、ロジック部３１ｂからプロセッサ４１までの転送速度を変化させることもできる。
【0098】
（設定時のフロー）
以上のように、産業用カメラ１を備えた画像検査システム２では様々な処理を実行することができ、その処理の手順は矛盾が生じない範囲で任意に設定できる。以下では、処理手順の一例についてフローチャートに基づいて説明する。
以上のように、産業用カメラ１を備えた画像検査システム２では様々な処理を実行することができ、その処理の手順は矛盾が生じない範囲で任意に設定できる。以下では、処理手順の一例についてフローチャートに基づいて説明する。
【0099】
図２７は、ズーム倍率入力時の処理手順の一例を示すフローチャートである。スタート後のステップＳＡ１では撮像設定を起動する。撮像設定の起動時は、第２レンズ群２２を広角側に移動させる。ステップＳＡ２では、ユーザによるズーム倍率の入力をインタフェース部４０ｃが受け付ける。ズーム倍率の入力時には、図１１に示すようなユーザインタフェース画面１００が使用されるので、ズーム調整領域１０１Ａを操作して入力できる。他の例として、ズーム倍率を数値で入力してもよい。
【0100】
ステップＳＡ３では、ステップＳＡ２の入力値（ズーム倍率）が第１のズーム値（第１のズーム倍率）よりも大きいか否かを判定する。ＮＯと判定される場合には、ステップＳＡ４に進んでダウンスケーリング設定変更を行う。ステップＳＡ５でトリガ信号が入力するとステップＳＡ６に進んで検査対象画像を表示させる。
【0101】
ステップＳＡ３でＹＥＳと判定された場合にはステップＳＡ７に進み、ステップＳＡ２の入力値（ズーム倍率）が第２のズーム値（第２のズーム倍率）よりも大きいか否かを判定する。ＮＯと判定される場合には、ステップＳＡ８に進んでダウンスケーリングを既定のズーム倍率で固定し、それ以上のズームはステップＳＡ９において光学ズームで対応する。その後、ステップＳＡ５に進む。
【0102】
ステップＳＡ７でＹＥＳと判定された場合には、ステップＳＡ１０で光学ズームのズーム倍率を最大にするとともに、ダウンスケーリングのスケーリング倍率を１に設定し、ステップＳＡ９に進む。
【0103】
図２８は、視野または分解能を指定する時の処理手順の一例を示すフローチャートである。スタート後のステップＳＢ１では、ユーザインタフェース上のＷＤ計測ボタン（図示せず）が押下される。ステップＳＢ２ではＷＤ計測を行う。ステップＳＢ３では、産業用カメラ１に予め記憶されている内部データと現状の焦点位置情報とに基づいて視野及び分解能を計算する。ステップＳＢ４では、ユーザがＸ視野、Ｙ視野、空間分解能のいずれかを、ユーザインタフェースを介して入力する。ステップＳＢ５では、ステップＳＢ４で入力された値を用いてズーム倍率を計算する。ステップＳＢ６では、ステップＳＢ５で計算したズーム倍率が設定可能なズーム倍率であるか否かを判定する。ステップＳＢ６でＮＯと判定された場合は、図１９のＦＩＧ．１９Ｂや図２０のＦＩＧ．２０Ｃ、２０Ｆに示すようになるので、ステップＳＢ７に進んで設定可能なズーム倍率にクリッピングする。ステップＳＢ６でＹＥＳと判定された場合には、ステップＳＢ８に進んで図２７に示すフローと同様な手順を実行する。
【0104】
図２９は、パンチルトの処理手順の一例を示すフローチャートである。スタート後のステップＳＣ１では、ユーザが図１１に示すユーザインタフェース画面１００上の視野位置調整領域１０３を操作して上下左右の位置調整を行う。ステップＳＣ２では、ステップＳＣ１で位置調整した領域がイメージセンサ３１の最大視野範囲よりも狭いか否かを判定する。ステップＳＣ２でＮＯと判定された場合には、ステップＳＣ３で最大範囲をクリッピングする。その後、ステップＳＣ４に進み、注目領域の位置を変更する。ステップＳＣ２でＹＥＳと判定された場合もステップＳＣ４に進む。
【0105】
図３０は、縦横比変更の処理手順の一例を示すフローチャートである。スタート後のステップＳＤ１では、ユーザが図１１に示すユーザインタフェース画面１００の画素数設定領域１０４を操作して所望の縦横比に変更する。ステップＳＤ２では、変更後の画素領域が同じスケーリング倍率でのイメージセンサ３１の視野範囲内に収まっているか否かを判定する。ＮＯと判定された場合にはステップＳＤ３に進み、ステップＳＤ１で変更された縦横比となるようにズーム倍率を変更する。ステップＳＤ４では、図２７に示すフローと同様な手順を実行する。その後、ステップＳＤ５に進み、注目領域のサイズを変更する。ステップＳＤ２でＹＥＳと判定された場合も、ステップＳＤ５に進む。
【0106】
（検査対象画像の生成条件算出機能）
画像検査システム２は、事前に撮像された参照画像に基づいて運用時の検査対象画像の生成条件を算出する生成条件算出機能を有している。すなわち、図７に示す記憶部３９は、検査対象物が事前に撮像された参照画像を記憶可能に構成されている。参照画像は、産業用カメラ１で検査対象物を撮像した検査対象画像であり、検査対象物を含んでいる。記憶部３９には、複数の参照画像を記憶することができる。記憶部３９は、参照画像が生成されたときの光学条件が規定された光学条件ファイルを、参照画像と関連付けて記憶可能に構成されている。光学条件ファイルには、ズーム倍率が含まれており、ズーム倍率は、光学ズームのズーム倍率とダウンスケーリング倍率を含んでいる。また、記憶部３９は、参照画像が生成された時を特定するための情報として年月日等も参照画像と関連付けて記憶可能に構成されている。
画像検査システム２は、事前に撮像された参照画像に基づいて運用時の検査対象画像の生成条件を算出する生成条件算出機能を有している。すなわち、図７に示す記憶部３９は、検査対象物が事前に撮像された参照画像を記憶可能に構成されている。参照画像は、産業用カメラ１で検査対象物を撮像した検査対象画像であり、検査対象物を含んでいる。記憶部３９には、複数の参照画像を記憶することができる。記憶部３９は、参照画像が生成されたときの光学条件が規定された光学条件ファイルを、参照画像と関連付けて記憶可能に構成されている。光学条件ファイルには、ズーム倍率が含まれており、ズーム倍率は、光学ズームのズーム倍率とダウンスケーリング倍率を含んでいる。また、記憶部３９は、参照画像が生成された時を特定するための情報として年月日等も参照画像と関連付けて記憶可能に構成されている。
【0107】
演算部４１ａは、運用時に産業用カメラ１で生成された検査対象画像に含まれる検査対象物と、記憶部３９に記憶されている参照画像に含まれる検査対象物との位置関係を特定する特定処理を実行する。特定処理の実行後、演算部４１ａは、運用時に産業用カメラ１で生成された検査対象画像に含まれる検査対象物が、参照画像に含まれる検査対象物と実質的に同一の位置となるように、運用時の検査対象画像の生成条件を算出する。この生成条件には、光電変換部３１ａの視野範囲内において、検査対象物を参照画像と実質的に同一の位置で出力可能にする出力領域の位置情報を含んでいる。産業用カメラ１は、運用時に上記生成条件に基づいて制御され、上記生成条件に含まれる位置情報の出力領域に対応する検査対象画像を生成する。
【0108】
検査対象画像の生成条件には、出力領域の位置情報に加えて、参照画像に含まれる検査対象物と同じ姿勢となるように、検査対象画像を回転させる回転方向及び角度に関する情報が含まれている。また、検査対象画像の生成条件には、参照画像に含まれる検査対象物と、検査対象画像内の検査対象物が略同一の大きさとなるように計算されたズーム倍率が含まれている。生成条件にズーム倍率が含まれている場合、演算部４１ａは、計算されたズーム倍率にしたがって、レンズユニット２０をズームすることにより、参照画像と検査対象画像に含まれる検査対象物を略同一の大きさにする。
【0109】
検査対象画像の生成条件には、画像の明るさに関する条件が含まれている。画像の明るさに関する条件は、参照画像の明るさを分析し、当該分析結果に基づいて、検査対象画像の明るさが略同一な明るさになるような撮像条件として算出される。
【0110】
記憶部３９に複数の参照画像が記憶されている場合、インタフェース部４０ｃは、記憶部３９に記憶された複数の参照画像の中からユーザによる所望の参照画像の選択を受け付ける。産業用カメラ１の光学条件の初期条件は、選択された参照画像に関連する光学条件ファイルの光学条件に設定される。
【0111】
以下、フローチャート及びユーザインタフェースの例を示しながら、検査対象画像の生成条件算出機能の具体例について説明する。図３１に示すフローチャートのスタート後のステップＳＥ１では、産業用カメラ１が検査対象物を撮像して検査対象画像を生成する。例えば、図３４に示すように、設定用のユーザインタフェース画面１００に「自動再現ツール」という名称のボタン１０５を設けておく。ボタン１０５は、検査対象画像の生成条件算出機能を開始する際に操作するボタンであり、演算部４１ａは、ボタン１０５が操作されたことを検出すると、図３１に示すフローチャートをスタートさせるとともに、図３５に示すように、ユーザインタフェース画面１００に検査対象画像を表示する検査対象画像表示領域１１０と、参照画像を表示する参照画像表示領域１１１とを生成する。ユーザインタフェース画面１００には、参照画像の選択領域１１２も設けられている。選択領域１１２には、事前に撮像された複数の参照画像がサムネイル形式で表示されており、撮像時の光学条件と撮像日時も参照画像に関連付けられた状態で表示される。選択領域１１２で参照画像が選択されると、図３６に示すように、選択された参照画像が参照画像表示領域１１１に表示される。
【0112】
図３１に示すフローチャートのステップＳＥ２では、産業用カメラ１が生成した検査対象画像の輝度値を演算部４１ａが取得する。ステップＳＥ３では、演算部４１ａが、ステップＳＥ２で取得した輝度値に基づいて平均濃淡値を算出し、算出した平均濃淡値が所定値（例えば６４）よりも大きいか否かを判定する。６４以下であれば、ステップＳＥ４に進み、演算部４１ａが露光時間を計算し、露光時間を変更する。ステップＳＥ５では、変更後の露光時間を用いて産業用カメラ１が検査対象物を撮像して検査対象画像を生成する。ステップＳＥ６では、産業用カメラ１が生成した検査対象画像の輝度値を演算部４１ａが取得し、平均濃淡値が上記所定値よりも大きいか否かを判定する。６４以下であれば、ステップＳＥ７に進み、演算部４１ａが露光時間を計算し、露光時間を変更する。撮像～露光時間の変更処理は、平均濃淡値が６４よりも大きくなるまで何度か繰り返す。つまり、演算部４１ａは、後述する対応点サーチが可能なレベルの明るさにとなるように、参照画像の輝度値に基づいて、産業用カメラ１の露光時間を調整する。上記「６４」という値は一例であり、対応点サーチが可能なレベルの明るさに対応する値であればよい。
【0113】
その後、図３２に示すフローチャートのステップＳＥ８に進み、平均濃淡値が６４よりも大きくなった検査対象画像を準備する。また、ステップＳＥ９では、対応点サーチ用の特徴領域の指定を受け付ける。対応点とは、検査対象画像又は参照画像上で、検査対象画像に含まれる検査対象物と参照画像に含まれる検査対象物との位置関係を特定するための点である。
【0114】
具体的には、図３６に示すように、ユーザがマウス８を例えばドラッグ操作等し、検査対象画像上で検査対象物が存在する領域を囲むようにして指定する。参照画像上でも、同様にして検査対象物が存在する領域を指定できる。このようにして指定された領域が対応点サーチ用の特徴領域であり、インタフェース部４０ｃによって受け付けられる。また、ステップＳＥ１０では、表示画像を更新する。
【0115】
図３６に示すユーザインタフェース画面１００には、参照画像の撮像時の産業用カメラ１の姿勢に関する情報を表示させるための操作部１１３が設けられている。演算部４１ａは、操作部１１３が操作されたことを検出すると、参照画像の撮像時の産業用カメラ１の姿勢に関する情報を取得し、図３７に示すように姿勢表示領域１１５に表示させる。すなわち、加速度センサ３２によって産業用カメラ１の姿勢に関する情報を取得することができるので、参照画像を取得する時に、産業用カメラ１の姿勢に関する情報も一緒に取得することで、参照画像と、産業用カメラ１の姿勢に関する情報とを関連付けて記憶部３９に記憶させることができる。演算部４１ａは、選択された参照画像を記憶部３９から読み込む際に、産業用カメラ１の姿勢に関する情報も読み込む。
【0116】
また、演算部４１ａは、検査対象画像を取得した時（現在）の産業用カメラ１の姿勢に関する情報も加速度センサ３２から取得する。姿勢表示領域１１５には、参照画像の撮像時の産業用カメラ１の姿勢と、検査対象画像を取得した時の産業用カメラ１の姿勢とを表示する。姿勢表示領域１１５の白三角で示しているのが、参照画像の撮像時の産業用カメラ１の姿勢であり、また黒三角で示しているのが、検査対象画像を取得した時の産業用カメラ１の姿勢である。
【0117】
図３７に示すユーザインタフェース画面１００には、詳細表示ボタン１１６が設けられている。演算部４１ａは、詳細表示ボタン１１６が操作されたことを検出すると、図３８に示すような詳細表示ウインドウ１２０をモニタ９に表示させる。詳細表示ウインドウ１２０には、姿勢表示領域１１５と同様な模式図により、参照画像の撮像時の産業用カメラ１の姿勢と、検査対象画像を取得した時の産業用カメラ１の姿勢とを比較可能に表示する模式図表示領域１２１と、検査対象画像を取得した時の産業用カメラ１の姿勢を数値で表示する第１値表示領域１２２と、参照画像を取得した時の産業用カメラ１の姿勢を数値で表示する第２表示領域１２３とが設けられている。詳細表示ウインドウ１２０には、産業用カメラ１を背面から見たときの模式図及び傾きと、産業用カメラ１を側面から見たときの模式図及び傾きと、産業用カメラ１を上面から見たときの模式図及び傾きとが表示される。これにより、インタフェース部４０ｃを介して参照画像が指定された後、参照画像の撮像時の産業用カメラ１の姿勢に関する情報を表示するとともに、現在の産業用カメラ１の姿勢と、参照画像の撮像時の産業用カメラ１の姿勢とをモニタ９に比較表示できる。
【0118】
演算部４１ａは、上述のように産業用カメラ１の姿勢を比較表示した後、検査対象画像の生成条件を算出するとともに、産業用カメラ１が位置情報の出力領域に対応する検査対象画像を生成する。具体的には、図３２に示すフローチャートのステップＳＥ１１では、オートフォーカスによって視野範囲の中央部にピントを合わせて撮像する。つまり、後述する対応点サーチを実行する前に、産業用カメラ１のフォーカス調整を実行する。ステップＳＥ１２では、ピントの合った画像が取得されたか否かを判定する。具体的には、隣接画素との画素値の差が大きいか否かを判定する。そして、ステップＳＥ１３に進んで表示画像を更新する。ステップＳＥ１４では、２倍画像を演算する。２倍画像を演算する際、ステップＳＥ９で特徴領域の指定がなかった場合には、画像中央を基準とする一方、特徴領域の指定があった場合には、指定された特徴領域の中央を基準とする。
【0119】
ステップＳＥ１５では、２倍ズーム画像を取得する。ステップＳＥ１６では、２倍画像を演算し、ステップＳＥ１７では４倍ズーム画像を取得する。ステップＳＥ１８では、演算部４１ａが、参照画像を記憶部３９から読み出して取得する。ステップＳＥ１９では、検査対象画像に含まれる検査対象物と参照画像に含まれる検査対象物との位置関係を特定するための対応点サーチを特徴領域内で実行する。
【0120】
また、ステップＳＥ２０では、２倍ズーム画像の特徴領域内で対応点サーチを実行する。また、ステップＳＥ２１では、ズーム前の画像の特徴領域内で対応点サーチを実行する。ステップＳＥ２２では、ステップＳＥ１９～２１の各対応点サーチの結果を取得し、相関値が一番高いデータを特定し、取得する。
【0121】
その後、図３３のステップＳＥ２３、ＳＥ２４、ＳＥ２５に進み、それぞれ、位置座標（ｘ，ｙ）、角度、スケールを取得する。つまり、検査対象画像内から参照画像の領域を取得する。ステップＳＥ２６では、対応点サーチの結果を示す枠を表示する。
【0122】
ステップＳＥ２７では、検査対象画像と参照画像の検査対象物の大きさ及び向きが一致するように、検査対象画像をズームするとともに回転させる。このとき、ズーム光学系による光学ズームと上述した「センサズーム」の一方または両方を適用することできる。特にセンサズームは、撮像部の視野範囲内の任意の位置でズーム可能であるため、光学ズームのように光軸からワークがずれていくことが無いため、産業用カメラ１の取り付け位置の調整の手間を減らすことができる。具体的には、図３６及び図３７に示す実行ボタン１１４をユーザが操作する。演算部４１ａは、実行ボタン１１４が操作されたことを検出すると、ステップＳＥ２７を実行し、検査対象画像に対して、参照画像に含まれる検査対象物と同じ姿勢となる角度の回転変換処理及び拡大処理を適用することにより、回転及び拡大後の検査対象画像を生成する。回転変換処理及び拡大処理後のユーザインタフェース画面１００を図３９に示す。尚、必要に応じて、拡大のみ実行してもよいし、回転のみ実行してもよい。これにより、ステップＳＥ２８では、検査対象画像の位置及びスケールを参照画像の検査対象物に合わせた画像を生成する。ステップＳＥ２９では、表示画像を更新して生成した検査対象画像をユーザに示す。
【0123】
図３９に示すように、ユーザインタフェース画面１００には、完了ボタン１１４ａと、破棄ボタン１１４ｂと、再調整ボタン１１４ｃとが設けられている。回転変換処理後の検査対象画像で問題無ければ、ユーザが完了ボタン１１４ａを操作することで、次のステップに進む一方、回転変換処理後の検査対象画像に何らかの問題があれば、ユーザが破棄ボタン１１４を操作することで、回転変換処理後の検査対象画像を破棄する。また、回転変換処理後の検査対象画像を再調整したい場合には、ユーザが再調整ボタン１１４ｃを操作することで各種条件の再調整が可能になる。
【0124】
図３３に示すフローチャートのステップＳＥ３０では参照画像を取得し、ステップＳＥ３１で検査対象画像と参照画像の明るさが一致するように、明るさを調整する。明るさを調整する際、例えばオートフォーカス中、所定の短時間（例えば０．５秒間）に１回、画像を更新する。オートフォーカスが所定の短時間内で完了する場合には画像更新は不要である。
【0125】
ステップＳＥ３２では、明るさが参照画像に合った検査対象画像を取得する。ステップＳＥ３３では表示画像を更新する。ステップＳＥ３４では、検査対象画像と参照画像のピントが一致するようにオートフォーカスを実行する。ステップＳＥ３５ではピントの合った検査対象画像が取得される。ステップＳＥ３６では表示画像を更新する。ステップＳＥ３７では参照画像を取得し、ステップＳＥ３８では検査対象画像と参照画像の微調整を行うための対応点サーチを実行する。ステップＳＥ３９では角度を取得し、ステップＳＥ４０では、対応点サーチの結果を示す枠を表示する。
【0126】
ステップＳＥ４１では、検査対象画像と参照画像の検査対象物の大きさ及び向きが一致するように、検査対象画像をズームするとともに回転させる。その後、ステップＳＥ４２で最終画像を取得してステップＳＥ４３で表示画像を更新する。
【0127】
図４０は、対応点サーチ用の特徴領域とズームとの関係を説明する図である。図４０中、符号２００で示す枠は、産業用カメラ１の最大視野を示している。図４０の左最上部に示す例では、ダウンスケーリング時のスケーリング倍率が最大であり、光学ズームによる拡大はしていない状態である。枠２０１は、対応点サーチ用の特徴領域を示している。ここで、スケーリング倍率を算出する際には、対応点サーチ用の特徴領域／出力領域のサイズで算出することができ、例えば最大視野が画素数２０Ｍ、出力領域が画素数５Ｍの場合、最大スケーリング倍率は２０Ｍ／５Ｍ＝４倍とすることができる。
【0128】
最小スケーリング倍率（＝１．０）未満であれば、光学ズームによる拡大が必要になり、例えば符号２０２で示す範囲まで拡大することで、ダウンスケーリングが可能になる。一方、最小スケーリング倍率（＝１．０）以上なら、スケーリング倍率は最大とし、光学ズームによる拡大は無しとする。また、産業用カメラ１の光軸中心から最も遠い点を起点とするとともに、最小スケーリング倍率以上とし、かつ、光軸中心に対称な領域を決定することができる（図４０の左最下部）。そして、光学ズーム倍率を算出し、算出した光学ズーム倍率でズームした後の座標系で、注目領域（符号２０３で示す枠）とスケーリング倍率を決定する（図４０における右最下部）。
【0129】
図４１は、対応点サーチ用の特徴領域が小さすぎる場合を示している。光軸中心にズームすると、図４１の中央の図に示すように領域が決定される。枠２０２は、画素数が２０Ｍになるように光学ズームした時の枠２００に相当するサイズが最小スケーリング倍率未満のときを示している。例えば、出力領域の画素数が５Ｍで、特徴領域の画素数が１Ｍの場合を挙げることができる。
【0130】
図４１の下に示すように、枠２０２まで光学ズームで拡大し、特徴領域２０１を含むように、５Ｍ相当の枠２０４を設定する。枠２０４内の領域をそのまま出力することができる。
【0131】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0132】
以上説明したように、本発明に係る産業用カメラは、各種検査対象物を検査するための検査対象画像を生成する場合に利用できる。
【符号の説明】
【0133】
１ 産業用カメラ
２０ レンズユニット
３１ イメージセンサ
３１ａ 光電変換部
３１ｂ ロジック部
３１ｃ カラーフィルタ
４０ｃ インタフェース部
４１ プロセッサ
４１ａ 演算部
２０ レンズユニット
３１ イメージセンサ
３１ａ 光電変換部
３１ｂ ロジック部
３１ｃ カラーフィルタ
４０ｃ インタフェース部
４１ プロセッサ
４１ａ 演算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
