特開 2023-173416 産業用カメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173416

(43)【公開日】2023-12-07

(54)【発明の名称】産業用カメラ

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231130BHJP

   H04N 23/54 20230101ALI20231130BHJP

   G03B 15/00 20210101ALI20231130BHJP

   G03B 7/00 20210101ALI20231130BHJP

【ＦＩ】

H04N5/232 290

H04N5/225 300

H04N5/232 300

G03B15/00 T

G03B7/00

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022085664

(22)【出願日】2022-05-26

(71)【出願人】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】硲 明仁

【テーマコード（参考）】

2H002

5C122

【Ｆターム（参考）】

2H002GA01

2H002GA11

2H002HA05

5C122DA12

5C122EA68

5C122FB03

5C122FC02

5C122FC06

5C122FE02

5C122FE03

5C122FH07

5C122FH10

5C122GC52

5C122GC76

5C122GE01

5C122GE05

5C122HA35

5C122HA46

5C122HA88

5C122HB01

5C122HB05

5C122HB09

5C122HB10

(57)【要約】

【課題】イメージセンサ内でダウンスケーリングが行えるようにして、検査対象物が高速な移動体であっても対応可能な処理速度を実現する。
【解決手段】産業用カメラ１は、検査対象画像よりも画素数が大きな撮像画像を生成することが可能な光電変換部３１ａと、光電変換部３１ａと同一チップに実装され、出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、撮像画像よりも小さな画素数の検査対象画像を生成し、検査対象画像を出力するロジック部３１ｂと、を有するイメージセンサ３１と、イメージセンサ３１を制御するプロセッサ４１と、イメージセンサ３１から出力された検査対象画像を外部に出力する出力部４２と、イメージセンサ３１、プロセッサ４１、出力部４２を内蔵する筐体とを備えている。
【選択図】図７

【特許請求の範囲】

【請求項1】

検査対象物を撮像して得られた検査対象画像を生成する産業用カメラであって、
前記検査対象画像よりも画素数が大きな撮像画像を生成することが可能な光電変換部と、
前記光電変換部と同一チップに実装されるとともに、前記光電変換部の画素群の全部または一部の領域である出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、当該撮像画像よりも小さな画素数の検査対象画像を生成し、当該検査対象画像を出力するロジック部と、を有するイメージセンサと、
前記イメージセンサを制御するプロセッサと、
前記イメージセンサから出力された検査対象画像を外部に出力する出力部と、
前記イメージセンサ、前記プロセッサ、前記出力部を内蔵する筐体と、を備えることを特徴とする、産業用カメラ。

【請求項2】

請求項１に記載の産業用カメラにおいて、
前記ロジック部は、検査対象画像を前記プロセッサに転送するように構成され、
前記光電変換部で生成された撮像画像を前記プロセッサに転送する転送速度と比較して、前記ロジック部で生成された検査対象画像を前記プロセッサに転送する際の転送速度が相対的に速くなるように、前記撮像画像をダウンスケーリングすることを特徴とする、産業用カメラ。

【請求項3】

請求項１に記載の産業用カメラにおいて、
前記筐体が有する受光窓から入射した光を集光する集光レンズと、
前記集光レンズを光軸方向に駆動し、焦点位置及び光学倍率を調整するレンズ駆動機構と、を備え、
前記光電変換部は、前記集光レンズにより集光された光を受光し、前記検査対象画像を生成するために必要な画素数よりも大きな画素数を有する、ＣＭＯＳ型撮像素子であることを特徴とする、産業用カメラ。

【請求項4】

請求項１に記載の産業用カメラにおいて、
前記出力領域を相対的に小さな領域に変更するズーム指示を受け付けるインタフェース部を備え、
前記プロセッサは、前記ズーム指示に基づいて、前記イメージセンサの前記ロジック部が実行するスケーリング倍率を算出し、
前記ロジック部は、前記プロセッサにより算出されたスケーリング倍率で、撮像画像をダウンスケーリングすることを特徴とする、産業用カメラ。

【請求項5】

請求項４に記載の産業用カメラにおいて、
前記インタフェース部は、検査対象画像の画素数の選択を受け付け、
選択される画素数が小さくなればなるほど、前記イメージセンサから出力された検査対象画像の画素数に応じて、前記ロジック部から前記プロセッサまでの転送速度が上がることを特徴とする、産業用カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、例えばワーク等の検査対象物を撮像して得られた検査対象画像を生成する産業用カメラに関する。

【背景技術】

【0002】

従来より、例えば特許文献１に開示されているように、検査対象物を撮像した検査対象画像に基づいて、検査対象物の良否を判定するように構成された画像検査システムが知られている。特許文献１に開示された画像検査システムは、標準化規格に適合した撮像装置に対して多段階の処理を順序立てて行わせることができるようにし、撮像装置の機種選定の自由度向上と、画像検査の精度向上とを両立させている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１６９９５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、画像検査においては、所望の視野で高い画素分解能を実現できていることが重要であり、視野が一定であれば画素数が多いほど画素分解能は向上する。所望の画素分解能に必要となる画素数を遥かに超えるカメラ（イメージセンサ）を使用すると、過剰なデータ量の撮像画像を処理することとなるため、処理時間がかかってしまう。

【0005】

そこで、イメージセンサから出力された大きな画素数の撮像画像を外部のＦＰＧＡやプロセッサ等でダウンスケーリングすることで、後段の画像処理装置等で扱うデータ量を小さくすることが考えられる。しかしながら、イメージセンサとＦＰＧＡ等とは別デバイスであることから、大きな画素数の撮像画像をイメージセンサからＦＰＧＡ等に転送する処理が必要になる。イメージセンサからＦＰＧＡ等への転送速度には限界があるため、大容量の画像の転送においては、デバイス間の通信時間がボトルネックとなり、高速に撮像することができず、特に高速な移動体に対する画像検査など、撮像時間を短縮したいアプリケーションには不向きである。

【0006】

本開示は、かかる点に鑑みたものであり、その目的とするところは、イメージセンサ内でダウンスケーリングが行えるようにして、検査対象物が高速な移動体であっても対応可能な処理速度を実現することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の一態様では、検査対象物を撮像して得られた検査対象画像を生成する産業用カメラを前提とすることができる。産業用カメラは、前記検査対象画像よりも画素数が大きな撮像画像を生成することが可能な光電変換部と、前記光電変換部と同一チップに実装されるとともに、前記光電変換部の画素群の全部または一部の領域である出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、当該撮像画像よりも小さな画素数の検査対象画像を生成し、当該検査対象画像を出力するロジック部と、を有するイメージセンサと、前記イメージセンサを制御するプロセッサと、前記イメージセンサから出力された検査対象画像を外部に出力する出力部と、前記イメージセンサ、前記プロセッサ、前記出力部を内蔵する筐体と、を備える構成とすることができる。

【0008】

この構成によれば、検査対象画像よりも画素数が大きな撮像画像が光電変換部で生成されると、イメージセンサが有するロジック部でダウンスケーリングが実行されて、撮像画像よりも小さな画素数の検査対象画像が生成される。ダウンスケーリングされた小さな画素数の検査対象画像は、イメージセンサの外部に転送されて画像検査に使用可能になる。つまり、イメージセンサ内でダウンスケーリングを実行しているので、外部への転送速度を高速化することができ、例えば高速で移動する検査対象物に対する画像検査が可能になる。尚、本態様に係る産業用カメラは移動体以外の検査対象物を検査する場合にも使用可能である。

【0009】

また、ロジック部は、検査対象画像をプロセッサに転送するように構成されていてもよい。この場合、光電変換部で生成された撮像画像をプロセッサに転送する転送速度と比較して、ロジック部で生成された検査対象画像をプロセッサに転送する際の転送速度が相対的に速くなるように、撮像画像をダウンスケーリングすることができる。これにより、連続的に高速で移動する多数の検査対象物を順次検査できる。

【0010】

また、筐体が有する受光窓から入射した光を集光する集光レンズと、集光レンズを光軸方向に駆動し、焦点位置及び光学倍率を調整するレンズ駆動機構と、を備えた産業用カメラであってもよい。この場合、撮像素子は、集光レンズにより集光された光を受光し、検査対象画像を生成するために必要な画素数よりも大きな画素数を有する、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子とすることができる。

【0011】

また、産業用カメラは、出力領域を相対的に小さな領域に変更するズーム指示を受け付けるインタフェース部を更に備え、プロセッサは、当該ズーム指示に基づいて、イメージセンサのロジック部が実行するスケーリング倍率を算出可能であってもよい。この場合、ロジック部は、プロセッサにより算出されたスケーリング倍率で、撮像画像をダウンスケーリングすることができる。

【0012】

また、インタフェース部は、検査対象画像の画素数の選択を受け付け、選択される画素数が小さくなればなるほど、イメージセンサから出力された検査対象画像の画素数に応じて、ロジック部からプロセッサまでの転送速度が上がるように構成されていてもよい。

【発明の効果】

【0013】

以上説明したように、ダウンスケーリングを実行するロジック部をイメージセンサが有しているので、イメージセンサ内でダウンスケーリングを実行することによって生成された小さな画素数の検査対象画像を外部へ転送できる。これにより、検査対象物が高速な移動体であっても対応可能な処理速度を実現できる。

【図面の簡単な説明】

【0014】

【図1】実施形態に係る産業用カメラを備えた画像検査システムの使用状態を示す全体図である。

【図2】産業用カメラを上方から見た斜視図である。

【図3】産業用カメラの正面図である。

【図4】産業用カメラの側面図である。

【図5】産業用カメラを下方から見た斜視図である。

【図6】産業用カメラの内部構造を示す断面図である。

【図7】画像検査システムのブロック図である。

【図8】ダウンスケーリングの概念を説明する図である。

【図9】具体的なワークを撮像した画像に基づいてダウンスケーリングを行う場合を説明する図である。

【図10】任意の位置のズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。

【図11】ズーム指示等を受け付けるユーザインタフェース画面の一例を示す図である。

【図12】マウスを用いた領域選択によるズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。

【図13】任意の位置をパンチルトした後、ダウンスケーリングを行う場合を説明する図である。

【図14】画像の縦横比を変更した状態でダウンスケーリングを行う場合を説明する図である。

【図15】固定箇所を中心にダウンスケーリングした後、パンチルトを行う場合を説明する図である。

【図16】ダウンスケーリングのみで対応可能なズーム倍率の場合を説明する図である。

【図17】ダウンスケーリングと光学ズームで対応する場合を説明する図である。

【図18】光学ズームとダウンスケーリングを組み合わせる場合の例を説明する図である。

【図19】ダウンスケーリング時の縦横比のみを変更する場合の例を説明する図である。

【図20】ダウンスケーリング時に画素数を増減させる場合の例を説明する図である。

【図21】回転後の検査対象画像を生成する場合の例を説明する図である。

【図22】ダウンスケーリングをプロセッサで実現する場合の例を示す図である。

【図23】カラー撮像画像をダウンスケーリングした場合の概念図である。

【図24】カラー撮像画像をダウンスケーリングする場合の手順を示す図である。

【図25】カラー撮像画像を構成する各画素の補間処理及びダウンスケーリングの例を示す図である。

【図26】ローパスフィルタが適用された場合を説明する図である。

【図27】ズーム倍率入力時の処理手順の一例を示すフローチャートである。

【図28】視野分解能指定時の処理手順の一例を示すフローチャートである。

【図29】パンチルトの処理手順の一例を示すフローチャートである。

【図30】縦横比変更の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0016】

図１は、本発明の実施形態に係る産業用カメラ１を備えた画像検査システム２の使用状態を示す全体図である。図１に示す画像検査システム２は、２台の産業用カメラ１と、コントロール用パーソナルコンピュータ（以下、コントローラという）３とを備えている。産業用カメラ１の台数は、２台に限定されるものではなく、１台であってもよいし、３台以上であってもよい。産業用カメラ１は、詳細は後述するが、図２～図５等に示すような形状を有しており、図６に示すような内部構造を有している。この産業用カメラ１は、検査対象物であるワークＷを撮像して得られた検査対象画像を生成する。このような検査対象画像を生成する産業用カメラ１を含む画像検査システム２を画像処理装置と呼ぶこともできる。

【0017】

図示しないが、例えばプログラマブルロジックコントローラや、ワークＷの到着を検出するセンサ等から出力されるトリガ信号を産業用カメラ１が受信可能になっている。トリガ信号を受信した産業用カメラ１は撮像処理を実行して検査対象画像を生成する。また、産業用カメラ１は、トリガ信号を外部から受信することなく、内部で繰り返し撮像処理を実行して検査対象画像を生成してもよい。図示しないが、画像検査システム２は、ワークＷを照明する照明部を備えていてもよく、照明部は産業用カメラ１の撮像処理と同期してワークＷを照明するように制御される。

【0018】

本例では、図１に示すように、産業用カメラ１が使用される現場として、複数のワークＷがベルトコンベアＢ等の搬送装置によって順次搬送される現場である場合について説明するが、静止したワークＷを検査する現場であってもよい。産業用カメラ１は、カメラ取付部材４に取り付けられており、所定の位置に所定の姿勢で設置される。

【0019】

コントローラ３は、産業用カメラ１の各種設定等を行うものであり、例えばデスクトップ型パーソナルコンピュータ、ノート型パーソナルコンピュータ等で構成できる他、画像検査専用の演算処理装置で構成することもでき、その形態は特に限定されない。コントローラ３は、本体部５と、記憶部６と、キーボード７と、マウス８と、モニタ９とを備えている。本体部５は、ケーブル１０を介して産業用カメラ１と通信可能に接続されている。本体部５には、中央演算処理装置、ＲＯＭ、ＲＡＭ等で構成された制御部５ａが設けられている。また、記憶部６は、ハードディスクドライブやソリッドステートドライブ等で構成されており、制御部５ａを動作させるためのプログラムや、産業用カメラ１の設定情報、各種画像等が記憶される。記憶部６は、その一部が産業用カメラ１に設けられていてもよく、この場合、産業用カメラ１の設定情報、各種画像等を産業用カメラ１で保持することができる。

【0020】

キーボード７及びマウス８は、コントローラ３を操作するための操作部であり、キーボード７及びマウス８の操作状態は制御部５ａによって検出される。操作部は、キーボード７及びマウス８に限定されるものではなく、いわゆるタッチパネル式の操作部であってもよい。モニタ９は、例えば液晶ディスプレイ装置等で構成されており、制御部５ａによって制御されて産業用カメラ１を設定するための各種ユーザインタフェース、各種画像等の表示が可能になっている。

【0021】

（産業用カメラの構成）
図６に示すように、産業用カメラ１は、レンズユニット２０と、センサ基板３０と、メイン基板４０と、筐体５０と、記憶部３９とを有している。記憶部３９には、産業用カメラ１の設定情報、各種画像等が記憶される。

【0022】

筐体５０は、例えばアルミニウム合金等の高剛性な部材で構成されている。尚、説明の便宜上、図２～図５に示すように上下方向、左右方向及び前後方向を定義するが、これは使用時の姿勢を限定するものではなく、どのような姿勢であっても産業用カメラ１を使用できる。

【0023】

筐体５０は、上側部分５１と、下側部分５２とを有している。上側部分５１は、下側部分５２に比べて前後方向に長く形成されている。下側部分５２は、上側部分５１の後側から下方へ突出するように形成されている。図２や図３に示すように、上側部分５１の前面部には受光窓５１ａが形成されている。また、図６に示すように、上側部分５１には、レンズユニット２０とセンサ基板３０が収容され、下側部分５２には、メイン基板４０が収容されている。つまり、筐体５０には、後述するイメージセンサ３１、プロセッサ４１、出力部４２が内蔵されている。

【0024】

レンズユニット２０は、電動で光学ズームが可能なズーム光学系を備えたズームレンズであり、所定の範囲内であれば、光学ズーム倍率を任意の倍率に切り替えることができる。レンズユニット２０は、筐体５０に固定され、当該筐体５０と一体化されている。

【0025】

すなわち、レンズユニット２０の光軸は筐体５０の前後方向と一致している。レンズユニット２０は、第１レンズ群２１、第２レンズ群２２、第３レンズ群２３、第４レンズ群２４、第５レンズ群２５、及び、第１～第５レンズ群２１～２５を保持する鏡筒２６を有している。第１～第５レンズ群２１～２５は、受光窓５１ａから入射した光を集光する集光レンズを構成している。また、第１～第５レンズ群２１～２５の各レンズ群を構成するレンズの枚数は特に限定されるものではなく、何枚であってもよいし、レンズ群の数についても４つ以下であってもよいし、６つ以上であってもよい。また、レンズユニット２０は、手動で光学ズームが可能なズーム光学系であってもよい。

【0026】

第１レンズ群２１は、筐体５０の前面部に配置された固定レンズ群であり、ワークＷからの反射光を受光する。第１レンズ群２１が受光窓５１ａから筐体５０の外部に臨んでいる。第２レンズ群２２は、第１レンズ群２１の後方に配置されたズーム用可動レンズ群であり、第１レンズ群２１から出射した光を受光する。第３レンズ群２３は、第２レンズ群２２の後方に配置された固定レンズ群であり、第２レンズ群２２から出射した光を受光する。第４レンズ群２４は、第３レンズ群２３の後方に配置されたフォーカス用可動レンズ群であり、第３レンズ群２３から出射した光を受光する。第５レンズ群２５は、第４レンズ群２４の後方に配置された固定レンズ群であり、第４レンズ群２４から出射した光を受光する。

【0027】

鏡筒２６には、ズーム用ボールねじ５６ａと、ズーム用ガイドシャフト５６ｂと、ズーム用ボールねじ５６ａを正逆方向に回転させるズーム用モータ５６ｃとが設けられている。第２レンズ群２２はズーム用ボールねじ５６ａ及びズーム用ガイドシャフト５６ｂに支持されており、ズーム用モータ５６ｃによってズーム用ボールねじ５６ａが回転すると、第２レンズ群２２が光軸方向に移動し、これにより、所望のズーム倍率が得られるようになっている。ズーム用ボールねじ５６ａ、ズーム用ガイドシャフト５６ｂ及びズーム用モータ５６ｃは、第２レンズ群２２を光軸方向に駆動し、光学倍率を調整するズーム用レンズ駆動機構である。

【0028】

また、鏡筒２６には、フォーカス用ボールねじ５６ｄと、フォーカス用ガイドシャフト５６ｅと、フォーカス用ボールねじ５６ｄを正逆方向に回転させるフォーカス用モータ５６ｆとが設けられている。第４レンズ群２４はフォーカス用ボールねじ５６ｄ及びフォーカス用ガイドシャフト５６ｅに支持されており、フォーカス用モータ５６ｆによってフォーカス用ボールねじ５６ｄが回転すると、第４レンズ群２４が光軸方向に移動し、これにより、フォーカス調整が行われるようになっている。フォーカス用ボールねじ５６ｄ、フォーカス用ガイドシャフト５６ｅ及びフォーカス用モータ５６ｆは、第４レンズ群２４を光軸方向に駆動し、焦点位置を調整するズーム用レンズ駆動機構である。

【0029】

図７に示すように、メイン基板４０には、ズーム制御部４０ａ、ＡＦ制御部４０ｂ及びインタフェース部４０ｃが設けられている。インタフェース部４０ｃは、例えばズーム指示等を外部から受け付ける部分であり、インタフェース部４０ｃが光学ズームのズーム指示を受け付けた場合、ズーム制御部４０ａは、ズーム用モータ５６ｃを制御し、インタフェース部４０ｃで受け付けたズーム倍率となるように、第２レンズ群２２を光軸方向に移動させる。

【0030】

ＡＦ制御部４０ｂは、従来から周知のコントラスト方式や、位相差方式のオートフォーカス制御を実行する部分である。ＡＦ制御部４０ｂがフォーカス用モータ５６ｆを制御して焦点位置がワークＷに合うように、第４レンズ群２４を光軸方向に移動させる。

【0031】

図６に示すように、センサ基板３０は、第５レンズ群２５の後方に配置されている。センサ基板３０には、撮像部としてのイメージセンサ３１が実装されている。図７に示すように、イメージセンサ３１は、集光レンズにより集光された光を受光する光電変換部３１ａと、光電変換部３１ａにより取得された撮像画像から検査対象画像を生成するロジック部３１ｂと、カラーフィルタ３１ｃ（図６に示す）を有しており、検査対象物を撮像して得られたカラー検査対象画像の生成が可能になっている。光電変換部３１ａとカラーフィルタ３１ｃとにより、各色が所定の配列パターンで形成されたカラー撮像画像の生成が可能になる。また、光電変換部３１ａによりモノクロ撮像画像の生成も可能である。以下の説明は、モノクロ撮像画像とカラー撮像画像の両方に適用可能である。

【0032】

光電変換部３１ａは、検査対象画像よりも画素数が大きな撮像画像を生成することが可能になっている。また、ロジック部３１ｂは、光電変換部３１ａと同一チップに実装されており、画像生成部を構成する部分である。具体的には、光電変換部３１ａは、ＣＭＯＳ型撮像素子であり、複数のウエハの積み重ねで構成され、当該ウエハの一部によりロジック部３１ｂが構成されている。ウエハの一部には、メモリ等が含まれていてもよい。

【0033】

また、光電変換部３１ａは、グローバルシャッタ方式またはローリングシャッタ方式のＣＭＯＳ型撮像素子である。グローバルシャッタ方式の場合は、移動体に対しても歪みの無い画像を撮像することができる。ローリングシャッタ方式の場合は、グローバルシャッタ方式の場合の半分程度の画素ピッチで高画素化を実現することができるため、レンズユニット２０の各レンズサイズを小型化することができ、ひいては筐体５０の小型化が可能になり、設置時の自由度が向上する。光電変換部３１ａの画素群により、イメージセンサ３１の視野範囲が形成されている。イメージセンサ３１の視野範囲を光電変換部３１ａの視野範囲ともいう。

【0034】

ロジック部３１ｂは、光電変換部３１ａの画素群（イメージセンサ３１の視野範囲）の全部または一部の領域である出力領域に対応する撮像画像に対して、ダウンスケーリングを実行することによって、当該撮像画像よりも小さな画素数の検査対象画像を生成し、当該検査対象画像を出力する部分である。ここでダウンスケーリングとは、対象となる画像の画素分解能を下げる処理のことをいう。

【0035】

ダウンスケーリングの概念について図８に基づいて説明する。図８は、ワークＷを産業用カメラ１で撮像する場合を模式的に示している。例えば光電変換部３１ａの画素数が２０ＭＰ（メガピクセル）であったとする（図面においては、単に２０Ｍ等と表記する）。図８の左側に示すように、光学ズームすることで、通常視野よりも狭い視野になり、注目領域（ＲＯＩ）は光学ズーム後の視野よりも更に狭い領域になる。図８の右側に示すように、画素数２０ＭＰで撮像した撮像画像Ａ１から注目領域を切り出した場合、画素分解能はそのままで例えば画素数が５ＭＰの注目領域Ａ２となる。光学ズーム後の撮像画像Ａ３から注目領域を切り出した場合も同様に画素分解能はそのままで画素数が５ＭＰの注目領域Ａ４となる。

【0036】

撮像画像Ａ１からダウンスケーリングする際、スケーリング倍率（ダウンスケーリング倍率ともいう）は任意に設定可能である。スケーリング倍率は、撮像画素数を出力画素数で除して求めることができ、例えば２０ＭＰで撮像した画像と同じ視野の画像を１０ＭＰで出力する場合には、スケーリング倍率が２倍となる。

【0037】

ダウンスケーリングは、画像の縦横比が一定のままで行うこともできるし、画像の縦横比を変化させて行うこともできる。画像の縦横比が一定のままの場合、上述したように、例えば２０ＭＰで撮像した画像と同じ視野の画像を１０ＭＰで出力する場合には、スケーリング倍率が２倍となる。一方、画像の縦横比を変化させる場合、例えば５０００×４０００の２０ＭＰの画素数で撮像した画像を同じ視野のまま２５００×２０００の５ＭＰの画素数で出力すると、スケーリング倍率は４倍となる。また、３２００×４０００の注目領域を２０００×２５００にダウンスケーリングする場合、スケーリング倍率は２．５６倍となる。

【0038】

画像の縦横比が一定のままでスケーリング倍率を例えば４倍とした場合には、画素数が５ＭＰのワーク全体画像Ａ５が得られることになる。画像Ａ５に対して光学ズームとダウンスケーリングを併用することで、画像Ａ５よりも画素分解能の高い注目領域Ａ４が得られる。また、光学ズーム後の撮像画像Ａ３からダウンスケーリングすることで、画像Ａ３よりも画素分解能の低いワーク画像Ａ６が得られる。

【0039】

図９は、具体的なワークＷを撮像した画像に基づいてダウンスケーリングを説明するための図である。光電変換部３１ａの画素群の全部、すなわち撮像部の視野範囲の全部の領域である出力領域に対応する撮像画像を第１撮像画像Ｂ１とする。ロジック部３１ｂは、第１撮像画像Ｂ１に対し、任意の第１のスケーリング倍率でダウンスケーリングし、第１撮像画像Ｂ１の画素数（例：２０ＭＰ）よりも小さな第１画素数（例：１．６ＭＰ）の検査対象画像Ｂ２を生成する。

【0040】

インタフェース部４０ｃは、光電変換部３１ａ、すなわち撮像部の視野範囲において検査対象画像として出力する領域である出力領域の指定を受け付けることができる。この出力領域は、例えば図８を用いて説明した注目領域に対応する領域であってもよい。インタフェース部４０ｃは、出力領域の位置、大きさ、及び形状の少なくとも１つを変更する指示を受け付けることもできる。

【0041】

例えば、インタフェース部４０ｃは、光電変換部３１ａの出力領域を相対的に小さな領域に変更する第１ズーム指示をユーザから受け付け可能に構成されている。具体的には、第１ズーム指示により、出力領域が、光電変換部３１ａの画素群の一部、すなわち撮像部の視野範囲の一部の領域へと変更される。第２撮像画像Ｂ１’は、第１ズーム指示により変更された後の出力領域に対応する撮像画像である。第２撮像画像Ｂ１’は、第１撮像画像Ｂ１と異なるタイミングで撮像されており、第１撮像画像Ｂ１とは独立している。ロジック部３１ｂは、第２撮像画像Ｂ１’に対し、第２のスケーリング倍率でダウンスケーリングし、第２撮像画像Ｂ１’の画素数（例：５ＭＰ）よりも小さな第１画素数（例：１．６ＭＰ）の検査対象画像Ｂ３を生成する。また、第２撮像画像Ｂ１’は、第１撮像画像Ｂ１に基づいて生成されたものであってもよく、例えば、第１撮像画像Ｂ１の一部を切り取ることで生成してもよい。また、インタフェース部４０ｃは、第１ズーム倍率を整数だけでなく、小数点以下の精度で調整する指示を受け付け可能に構成されている。

【0042】

図７に示すように、メイン基板４０には、各種演算を実行するとともに、イメージセンサ３１を制御するプロセッサ４１が設けられている。プロセッサ４１は、演算部４１ａを有しており、演算部４１ａで演算された結果に基づいてプロセッサ４１がイメージセンサ３１のロジック部３１ｂを制御し、所望の検査対象画像をロジック部３１ｂに生成させる。

【0043】

演算部４１ａは、光電変換部３１ａの視野範囲内における変更後の出力領域に対応する第２撮像画像Ｂ１’を、上記第１画素数とするのに必要な第２のスケーリング倍率を算出する。演算部４１ａは、算出した第２のスケーリング倍率をロジック部３１ｂに出力する。ロジック部３１ｂは、第２撮像画像Ｂ１’を演算部４１ａで算出された第２のスケーリング倍率でダウンスケーリングすることにより、第１画素数の検査対象画像Ｂ３を生成する。第１画素数の検査対象画像Ｂ３は、光電変換部３１ａの出力領域に対応する第１撮像画像Ｂ１よりも低分解能であるが、必要な検査精度を確保できるだけの分解能は有しており、検査精度の上で問題は生じない。

【0044】

演算部４１ａは、インタフェース部４０ｃにより受け付けた第１ズーム倍率が高ければ高いほど、第２のスケーリング倍率を小さくするように演算する。ロジック部３１ｂは、演算部４１ａで演算された第２のスケーリング倍率が小さくなればなるほど、第２撮像画像Ｂ１’に対するダウンスケーリング量を少なくする。これにより、ロジック部３１ｂは高い画素分解能の検査対象画像を生成する。

【0045】

演算部４１ａは、インタフェース部４０ｃにより受け付けた第１ズーム倍率に基づいて、第１画素数の検査対象画像Ｂ３の１画素が、第２撮像画像Ｂ１’の何画素に相当するかの比率を計算する。この比率を利用して、演算部４１ａは、第２のスケーリング倍率を算出する。

【0046】

インタフェース部４０ｃが第１ズーム倍率を小数点以下の精度で調整指示を受け付けた場合には、演算部４１ａは、小数点以下の精度で調整指示を受け付けたズーム倍率に基づいて、検査対象画像Ｂ３の１画素が、第２撮像画像Ｂ１’の何画素に相当するかの比率を小数点以下まで計算する。これにより、演算部４１ａは第２のスケーリング倍率を小数点以下の精度で算出する。ロジック部３１ｂは、小数点以下の精度で算出された第２のスケーリング倍率に基づいて検査対象画像を生成する。

【0047】

図１０は、任意の位置のズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。インタフェース部４０ｃは、光電変換部３１ａの出力領域を相対的に小さな領域に変更する第１ズーム指示を、検査対象画像の任意の位置のズーム指示として受け付け可能に構成されている。具体的には、図１０の撮像画像Ｂ１の中の枠Ｃ１は、説明の便宜上、撮像部の視野範囲内においてズーム指示を受け付けた位置及び領域を示すものであり、ユーザは、図９の撮像画像Ｂ１全体がダウンスケーリングされた検査対象画像Ｂ２が表示されたモニタ９を確認しながら、マウス８等を介して枠Ｃ１を検査対象画像Ｂ２に対して指定してもよい。枠Ｃ１の位置は検査対象画像Ｂ２（すなわち撮像部の視野範囲）のどこに配置してもよく、配置された位置をインタフェース部４０ｃが検出する。また、枠Ｃ１の大きさや形状もユーザが任意に設定することができる。

【0048】

インタフェース部４０ｃによって任意の位置として枠Ｃ１が指定されたズーム指示を受け付けると、ロジック部３１ｂは、撮像部の視野範囲内において、上記任意の位置を含む出力領域に対応する領域（すなわち枠Ｃ１に対応する撮像画像であり、１．６ＭＰより大きい画素数とする）を１．６ＭＰとするのに必要なスケーリング倍率でダウンスケーリングする。これにより、ロジック部３１ｂは任意の位置を含む検査対象画像Ｂ４を生成する。枠Ｃ１の位置は、撮像部の視野範囲の中心からＸ方向（画像の横方向）またはＹ方向（画像の縦方向）にずれていてもよく、撮像部の視野範囲の中心、すなわち光軸からずれた位置にある領域をダウンスケーリングできる。すなわち、一般の光学ズームでは光軸中心に沿ったズームとなるが、本例のダウンスケーリングでは、光軸中心だけなく、光軸中心からずれている領域もズーム可能であり、ダウンスケーリング可能な領域の位置設定の自由度が高い。

【0049】

図１１は、ズーム指示を受付可能な設定用のユーザインタフェース画面１００を示している。このユーザインタフェース画面１００は、コントローラ３の制御部５ａが生成してモニタ９に表示させる。ユーザインタフェース画面１００上では、キーボード７やマウス８による操作が可能になっており、どのような操作がなされたかは制御部５ａが検出して記憶する。

【0050】

ユーザインタフェース画面１００には、画像表示領域１０１が設けられている。画像表示領域１０１には、光電変換部３１ａの視野範囲全体における出力領域の位置を示した俯瞰画像Ｄ１と、出力領域に対応する検査対象画像Ｄ２とが表示されるようになっている。すなわち、図７に示す産業用カメラ１のインタフェース部４０ｃは、光電変換部３１ａの視野範囲全体における出力領域の位置を示した俯瞰画像Ｄ１と、出力領域に対応する検査対象画像Ｄ２とを外部に出力可能に構成されている。具体的には、メイン基板４０には、出力部４２が設けられている。出力部４２は、イメージセンサ３１から出力された俯瞰画像Ｄ１、検査対象画像Ｄ２を外部に出力する部分である。出力の際、例えば入出力端子６０及びケーブル１０を介して産業用カメラ１からコントローラ３へ画像データが送信される。

【0051】

図１１に示すユーザインタフェース画面１００には、ユーザがズーム倍率を調整するためのズーム調整領域１０１Ａが設けられている。ズーム調整領域１０１Ａをマウス８で「Ｔ」側に操作することでテレ側にズームされて視野範囲が狭まる一方、「Ｗ」側に操作することで反対に視野範囲が拡大する。また、マウス８のホイールを操作することによっても、ズーム倍率を調整できる。調整されたズーム倍率はコントローラ３側で一旦記憶されて産業用カメラ１のインタフェース部４０ｃに転送され、インタフェース部４０ｃで受け付けられる。

【0052】

ズーム倍率の調整は、数値によっても可能である。すなわち、ユーザインタフェース画面１００には、数値入力領域１０２が設けられている。数値入力領域１０２は、ユーザがズーム倍率を数値で入力することによって調整するためのものであり、キーボード７やマウス８等によって任意に数値を入力できる。

【0053】

図１２は、マウス８を用いた領域選択によるズーム指示に基づいてダウンスケーリングを行う場合を説明する図である。枠Ｃ１０は、マウス８の操作によって形成されたものであり、例えば左上から右下（または右上から左下等）にドラッグ操作することで形成できる。ロジック部３１ｂは、枠Ｃ１０で囲んだ領域に対応する撮像画像をダウンスケーリングすることにより、５ＭＰの検査対象画像を生成する。また、枠Ｃ１１も同様にしてマウス８の操作によって形成することができ、枠Ｃ１１内の領域が拡大される。このとき、撮像画像Ｂ１における枠Ｃ１１内の領域が５ＭＰ未満であり、出力する検査対象画像のサイズが５ＭＰである場合、最大分解能（撮像画像Ｂ１の分解能）を超えてしまうため、枠Ｃ１１を含む５ＭＰの領域が、スケーリング倍率が１倍でダウンスケーリングされて（つまり、実質的にはダウンスケーリングされずに）、検査対象画像として出力される。

【0054】

図１３は、任意の位置をパンチルトした後、ダウンスケーリングを行う場合を説明する図である。インタフェース部４０ｃは、任意の位置を、Ｘ方向及びＹ方向に調整する第１パンチルト指示を受け付け可能に構成されている。例えば、光電変換部３１ａの視野範囲の中央を注目領域として枠Ｃ１で指定した後、枠Ｃ１の位置をＸ方向及びＹ方向に移動させ、例えば符号Ｃ１’で示す位置に配置する。枠Ｃ１でダウンスケーリングした場合には検査対象画像Ｂ５が得られる。ロジック部３１ｂは、Ｘ方向及びＹ方向に調整された後の任意の位置（枠Ｃ１’の位置）に対応する撮像画像をダウンスケーリングすることにより、Ｘ方向及びＹ方向の位置が調整された検査対象画像Ｂ５’を生成する。ロジック部３１ｂは、枠Ｃ１’で囲まれた領域内の一部を更にダウンスケーリングすることにより、検査対象画像Ｂ６を生成する。

【0055】

Ｘ方向及びＹ方向の調整は、図１１に示すユーザインタフェース画面１００を使用することで可能になる。ユーザインタフェース画面１００には、視野位置調整領域１０３が設けられている。視野位置調整領域１０３は、上下左右それぞれの方向に向いた矢印等を組み合わせて構成されており、例えば上向きの矢印を操作するとで、枠Ｃ１の位置が上へ移動する。同様にして、枠Ｃ１の位置を下、左、右の任意の位置に調整できる。枠Ｃ１をマウス８によって直接ドラッグ操作してもよい。

【0056】

図１４は、画像の縦横比を変更した状態でダウンスケーリングを行う場合を説明する図である。インタフェース部４０ｃは、光電変換部３１ａの出力領域の縦横比の変更を受け付け可能に構成されている。例えば枠Ｃ１で示すように、撮像部の視野範囲内の任意の位置のズーム指示を受け付けると、ロジック部３１ｂは、枠Ｃ１に対応する撮像画像をダウンスケーリングすることにより、検査対象画像Ｂ７を生成する。その後、枠Ｃ１で特定される領域の縦横比をユーザが自由に指定できる。縦横比を変更した後の領域を枠Ｃ２で示す。ロジック部３１ｂは、縦横比が変更された出力領域（枠Ｃ２で囲まれた領域）に対応する領域をダウンスケーリングすることにより、検査対象画像Ｂ７’を生成する。そこから、枠Ｃ２で囲まれた領域内の一部を更にダウンスケーリングすることにより、検査対象画像Ｂ７’ ’を生成する。

【0057】

図１５は、固定箇所を中心にダウンスケーリングした後、パンチルトを行う場合を説明する図である。例えば光電変換部３１ａの視野中心を固定箇所とした場合、ロジック部３１ｂが、撮像部の視野範囲の中心を含む枠Ｃ１をダウンスケーリングすることにより検査対象画像Ｂ５を生成した後、図１３に示すようにパンチルトすることで、ロジック部３１ｂが、パンチルト後の領域に対応する撮像画像をダウンスケーリングすることにより検査対象画像Ｂ８を生成する。

【0058】

また、インタフェース部４０ｃは、検査対象画像の画素数を、第１画素数から第２画素数に変更する画素数変更指示を受け付け可能に構成されている。第２画素数は、第１画素数よりも大きい画素数である。具体的には、図１１に示すユーザインタフェース画面１００には、画素数設定領域１０４が設けられている。画素数設定領域１０４では、検査対象画像の画素数を予め決められている選択肢の中からプルダウンメニューの形式で選択可能になっている。選択可能な画素数は、例えば１．６ＭＰ以上５ＭＰ以下の範囲とすることができるが、これに限られるものではない。

【0059】

また、画素数設定領域１０４では、縦横比も選択できる。すなわち、画素数設定領域１０４のプルダウンメニューには、それぞれが検査対象画像の画素数と縦横比の組合せである、複数の選択肢が表示される。ユーザは、これら選択肢の内からいずれか一つの選択肢の選択が可能になっている。選択された画素数に関する情報は、インタフェース部４０ｃで受け付けられ、画素数変更指示として産業用カメラ１のプロセッサ４１に送信される。

【0060】

画素数変更指示をプロセッサ４１が受け取ると、演算部４１ａは、光電変換部３１ａの視野範囲内において、画素数変更指示の前と同じ出力領域に対応する撮像画像を、第２画素数とするのに必要なスケーリング倍率を算出する。演算部４１ａが算出したスケーリング倍率はロジック部３１ｂに送られ、ロジック部３１ｂは、撮像画像を、そのスケーリング倍率でダウンスケーリングすることにより、第２画素数の検査対象画像を生成する。縦横比が変更された場合、ロジック部３１ｂは、光電変換部３１ａの視野範囲内において、縦横比が変更された出力領域に対応する領域をダウンスケーリングすることにより、縦横比が変更された検査対象画像を生成する。つまり、ロジック部３１ｂは、画素数設定領域１０４で選択された検査対象画像の画素数と縦横比の組み合わせにしたがって、検査対象画像を生成する。

【0061】

図１６は、ズーム倍率がダウンスケーリングのみで対応可能な場合、即ち光学ズームが不要な場合を説明する図である。図１６の上側は撮像画像Ｅ１、Ｅ２であり、下側は検査対象画像Ｅ３、Ｅ４である。左側の撮像画像Ｅ１と右側の撮像画像Ｅ２の視野を一定とし、右側の撮像画像Ｅ２ではワークＷが存在しない黒い領域の信号は読み出さないようにしているので、左側の撮像画像Ｅ１の画素数は２０ＭＰ、右側の撮像画像Ｅ２の画素数は１０ＭＰとなる。左側の撮像画像Ｅ１をスケーリング倍率４倍でダウンスケーリングすると左側の検査対象画像Ｅ３が得られる。左側の検査対象画像Ｅ３は、画素数２０ＭＰ分の領域を画素数５ＭＰで出力することで得られた画像である。また、右側の撮像画像Ｅ２は、黒い領域の信号は読み出さないので、スケーリング倍率２倍でダウンスケーリングすることが可能になり、右側の検査対象画像Ｅ４が得られる。右側の検査対象画像Ｅ４は、画素数１０ＭＰ分の領域を画素数５ＭＰで出力することで得られる画像である。また、左側の検査対象画像Ｅ３の中心をズームすることで、より細かく分解された右側の検査対象画像Ｅ４が得られる。

【0062】

すなわち、光学ズームを使っていないにも関わらず、検査対象画像Ｅ３よりも画素分解能を高めつつ、ワークＷを拡大して表示させた検査対象画像Ｅ４が得られる。本明細書では、このズーム処理のことを「センサズーム」と呼ぶことがある。

【0063】

図１７は、ズーム倍率がある倍率以上であり、ダウンスケーリングと光学ズームの両方で対応する必要がある場合を説明する図である。図１７の上側は撮像画像Ｆ１、光学ズーム画像Ｆ２、撮像画像Ｆ３であり、下側は検査対象画像Ｅ４、Ｅ５、Ｅ６である。撮像画像Ｆ１が生成された範囲に対して光学ズームすることで、視野範囲の狭い光学ズーム画像Ｆ２が得られる。右側の撮像画像Ｆ３ではワークＷが存在しない黒い領域の信号は読み出さないようにしている。右側の撮像画像Ｆ３の枠Ｆ７で囲まれた部分を注目領域とする。この注目領域の画素数は６ＭＰである。

【0064】

左側の撮像画像Ｆ１をスケーリング倍率４倍でダウンスケーリングすると左側の検査対象画像Ｆ４が得られる。中央の検査対象画像Ｆ５は、光学ズームによって取得された画像であることから光電変換部３１ａの視野中心に沿ってズームされる。よって、ワークＷの中心が光電変換部３１ａの視野中心からずれていると、ズーム後の画像において、ワークＷが画像中心からずれることになる。中央の検査対象画像Ｆ５は画素分解能が向上している。右側の検査対象画像Ｆ６は、右側の撮像画像Ｆ３の枠Ｆ７で囲まれた注目領域をスケーリング倍率１．２倍でダウンスケーリングした画像であり、画素数は５ＭＰとなる。

【0065】

図１８は、光学ズームとダウンスケーリングを組み合わせる場合の例を説明する図であり、パターン１とパターン２とを示している。パターン１では、指定されたズーム倍率が低い領域からダウンスケーリング限界近傍倍率まで、光学ズームをオフにして当該光学ズームを行わずに、ダウンスケーリングによるズームを行う。ダウンスケーリングはダウンスケーリング限界近傍倍率で固定する。ダウンスケーリング限界近傍倍率を超えると、光学ズームをオンにして当該光学ズームの倍率上限までズームする。このとき、指定されたズーム倍率が大きくなるにつれて光学ズームの光学倍率も大きくなる。光学ズームの倍率上限を超えると、光学ズームは固定し、ダウンスケーリングによるセンサズームを行う。このパターン１によれば、光学ズーム後においても、ダウンスケーリングを実行可能（すなわちセンサズームの余力を残すことが可能）であるため、検査対象画像として最終的に出力する領域を定める際の微調整を光学ズームではなく、センサズームにより実行することができる。

【0066】

パターン２では、ズーム倍率が低い領域からダウンスケーリング限界倍率（１倍）まで、光学ズームを行わずに、ダウンスケーリングによるズームを行う。ダウンスケーリング限界倍率までダウンスケーリングを行っているので、以降、ダウンスケーリングは行わない。ダウンスケーリング限界倍率を超えると、光学ズームを使用して光学ズームの倍率上限までズームする。

【0067】

つまり、図１６～図１８を用いて説明したように、ロジック部３１ｂは、インタフェース部４０ｃを介してユーザにより指示されたズーム倍率が所定の倍率以下である場合は、当該指示されたズーム倍率に基づいて算出された第２のスケーリング倍率で第２撮像画像をダウンスケーリングすることにより検査対象画像を生成するように構成されている。一方、ロジック部３１ｂは、インタフェース部４０ｃを介してユーザにより指示されたズーム倍率が前記所定の倍率よりも大きい場合は、ズーム光学系による光学ズームにより、当該指示されたズーム倍率に相当する検査対象画像を生成するように構成されている。前記所定の倍率は、第２のスケーリング倍率が下限値の１倍近傍のスケーリング限界近傍倍率となるズーム倍率とすることができる。

【0068】

また、インタフェース部４０ｃを介してユーザにより指示されたズーム倍率が前記所定の倍率よりも大きい場合、演算部４１ａは、ズーム光学系による光学ズームを行う。また、ロジック部３１ｂは、スケーリング限界近傍倍率でダウンスケーリングを行うことにより、指示されたズーム倍率の検査対象画像を生成する。

【0069】

また、インタフェース部４０ｃは、光学ズームの光学倍率が上限値に達した後も、より大きなズーム倍率を受け付け可能に構成されている。インタフェース部４０ｃが受け付け可能なズーム倍率の上限値に達すると、演算部４１ａは、上限値の光学倍率で光学ズームの駆動を実行する。また、ロジック部３１ｂは、インタフェース部４０ｃが受け付け可能なズーム倍率の上限値の光学倍率で撮像された出力領域に対応する撮像画像をスケーリング倍率が１倍でダウンスケーリングして（実質的にはダウンスケーリングを行うことなく）、検査対象画像を生成する。つまり、演算部４１ａは、ユーザからズーム倍率の指定を受け付けると、受け付けたズーム倍率に基づいて、光学ズームの光学倍率、及びダウンスケーリングのスケーリング倍率を算出する。そして、算出した光学倍率に基づいてズーム光学系を駆動する。

【0070】

また、演算部４１ａは、インタフェース部４０ｃによりズーム倍率の変更を変更指示信号として受け付け可能になっている。変更指示信号に基づいて変更指示されたズーム倍率が前記所定の倍率以下である場合は、演算部４１ａにより算出されたスケーリング倍率で撮像画像のダウンスケーリングを実行するように、イメージセンサ３１に制御信号を送信して、ダウンスケーリングを実行させる。一方、変更指示信号に基づいて変更指示されたズーム倍率が所定の倍率よりも大きい場合は、ズーム光学系、即ちズーム用モータ５６ｃに光学ズームを行うように駆動信号を送信する。ズーム用モータ５６ｃは駆動信号によって動作し、所望のズーム倍率が得られる。

【0071】

図１９に示すように、ダウンスケーリング時に画像の縦横比を変えることができる。ＦＩＧ．１９Ａ、ＦＩＧ．１９Ｂでは、横長の注目領域を縦長に変更した場合を示しているが、反対に縦長の注目領域を横長に変更することもできる。この変更指示は、図１１に示すユーザインタフェース画面１００の画素数設定領域１０４を介してユーザが行える。尚、ＦＩＧ．１９Ｂに示すように、光電変換部３１ａの形状の制約上、変更指示を受けた縦横比では光電変換部３１ａで撮像可能な範囲外に注目領域が位置する場合が考えられる。この場合には、変更指示を受けた縦横比をできるだけ満たすように、演算部４１ａがダウンスケーリング時のスケーリング倍率を再計算し、ロジック部３１ｂは、再計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。

【0072】

図２０に示すように、ユーザによる設定に基づいて、ダウンスケーリング時に画素数を増減させることができる。ＦＩＧ．２０Ａ、２０Ｂ、２０Ｃは、空間分解能（スケーリング倍率）を変えずに画素数を変更する場合を示している。ＦＩＧ．２０Ａ、２０Ｂでは、光電変換部３１ａで撮像可能な範囲内で画素数を変更しているので、演算部４１ａは、ユーザによる設定を反映させたスケーリング倍率を計算し、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。一方、ＦＩＧ．２０Ｃは、ユーザによる設定を反映させると、光電変換部３１ａで撮像可能な範囲を超えてしまうので、演算部４１ａは、ユーザによる設定を用いずに、画素数の変更を制限するようにスケーリング倍率を計算する。計算時には、ユーザによる設定にできるだけ近いスケーリング倍率となるようにする。そして、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。

【0073】

ＦＩＧ．２０Ｄ、２０Ｅ、２０Ｆは、撮像視野を変えずに画素数を変更する場合を示している。ＦＩＧ．２０Ｄ、２０Ｅでは、最小分解能以上の画素数への変更であるため、演算部４１ａは、ユーザによる設定を反映させたスケーリング倍率を計算し、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。一方、ＦＩＧ．２０Ｆは、最小分解能未満の画素数への変更であるため、演算部４１ａは、ユーザによる設定を用いずに、画素数の変更を制限するようにスケーリング倍率を計算し、ロジック部３１ｂは、計算されたスケーリング倍率でダウンスケーリングを行って検査対象画像を生成する。つまり、演算部４１ａは、ユーザによる設定に基づいて、第１画素数から第２画素数への変更を制限可能に構成されている。

【0074】

また、インタフェース部４０ｃは、ユーザによる画素数変更指示の後に、出力領域をさらに相対的に小さな領域に変更する第２ズーム指示、及び出力領域をＸ方向及びＹ方向にさらに調整する第２パンチルト指示を受け付け可能に構成されている。第２ズーム指示は、第２ズーム指示と同じように、ユーザの指示によって受け付けることができる。また、第２パンチルト指示は、第１パンチルト指示と同じように、ユーザの指示によって受け付けることができる。

【0075】

インタフェース部４０ｃが第２ズーム指示及び第２パンチルト指示を受け付けた場合、演算部４１ｃは、光電変換部３１ａの視野範囲内において、第２ズーム指示および第２パンチルト指示の少なくとも一方により変更された出力領域に対応する撮像画像を、第２画素数とするのに必要なスケーリング倍率を算出する。ロジック部３１ｂは、演算部４１ｃが算出したスケーリング倍率で撮像画像をダウンスケーリングすることにより、第２画素数の検査対象画像を生成する。

【0076】

図２１は、回転後の検査対象画像を生成する場合の例を説明する図であり、回転設定用ユーザインタフェース画面１１０を示している。回転設定用ユーザインタフェース画面１１０には、光電変換部３１ａの出力領域に対応する検査対象画像が表示される画像表示領域１１１と、回転角度設定領域１１２とが設けられている。回転角度設定領域１１２では、画像の回転方向の設定と、回転角度の設定が可能になっており、これら設定項目はユーザによるキーボード７やマウス８の操作で設定可能になっている。

【0077】

回転角度設定領域１１２で回転方向および回転角度が設定されると、演算部４１ａは、検査対象画像の画素数及び形状を固定した状態で、検査対象画像を設定された方向に設定された角度だけ回転させる。つまり、演算部４１ａが検査対象画像に対して任意の角度の回転変換処理を適用する。これにより、回転後の検査対象画像を生成して画像表示領域１１１に表示させることができるので、例えば産業用カメラ１の設置方向が傾いていたときに、その傾きをソフトウェア上で補正できる。

【0078】

図２２は、ダウンスケーリングをプロセッサ４１で実現する場合の例を示す図である。この図に示すように、レンズユニットは光学ズームできない非ズームレンズとしている。イメージセンサ３１は、光電変換部３１ａで撮像した画像をダウンスケーリングすることなく、プロセッサ４１に出力する。プロセッサ４１には、ダウンスケーリング部４１Ａが設けられており、ダウンスケーリング部４１Ａは上述したようなダウンスケーリングを実行して検査対象画像を生成する。その他の処理は、イメージセンサ３１でダウンスケーリングを実行する場合と同じである。

【0079】

（カラー撮像画像の処理）
イメージセンサ３１でカラー撮像画像を生成できるので、インタフェース部４０ｃでは、光電変換部３１ａの視野範囲においてカラー検査対象画像として出力する領域である出力領域の指定を受け付けることができる。

【0080】

イメージセンサ３１では、カラーフィルタ３１ｃを有していることで、各色が所定の配列パターンで形成されたカラー撮像画像の生成が可能である。具体的には、光電変換部３１ａが出力するカラー撮像画像の配列パターンは、図２３に示すようにベイヤ配列である。ベイヤ配列では、赤成分（Ｒ画素）および青成分（Ｂ画素）に加えて第１の緑成分（Ｇｒ画素）と第２の緑成分（Ｇｂ画素）とが所定の配列パターンで配列される。配列パターンはベイヤ配列に限られるものではなく、他の配列パターンであってもよい。

【0081】

また、光電変換部３１ａは、画素数の異なるカラー検査対象画像を生成可能に構成されている。光電変換部３１ａでカラー撮像画像が生成された場合には、プロセッサ４１は、カラーの検査対象画像に対して上述したような演算処理や画像処理を実行する。本例では、カラーフィルタ３１ｃを有しているので、３板式のカメラを用いることなく、またＲＧＢを時系列で点灯することなく、カラー撮像画像を生成できる。

【0082】

ロジック部３１ｂは、光電変換部３１ａの視野範囲の出力領域に対応するカラー撮像画像を取得した後、当該カラー撮像画像の各色を、上記配列パターンに基づいて個別にダウンスケーリングし、ダウンスケーリング後の各色の画素値を、各色の配列パターンがカラー撮像画像の配列パターンと一致するように配置する。これにより、カラー撮像画像の画素数よりも小さな画素数のカラー検査対象画像を生成することができる。

【0083】

例えば図２３に示すように、ロジック部３１ｂは、カラー撮像画像のベイヤ配列に含まれる赤成分、当該赤成分と行方向に隣接する第１の緑成分、青成分、及び当該青成分と当該行方向に隣接する第２の緑成分を、それぞれ個別にダウンスケーリングする。そして、ロジック部３１ｂは、ダウンスケーリング後の当該青成分、当該第１の緑成分、当該赤成分、及び当該第２の緑成分の各色の画素値を、各色の配列パターンが当該カラー撮像画像のベイヤ配列の配列パターンと一致するように配置することにより、カラー検査対象画像を生成する。

【0084】

すなわち、ユーザがカラー検査対象画像として出力する領域を出力領域として指定すると、出力領域に対応するカラー撮像画像の各色が所定の配列パターンに基づいて個別にダウンスケーリングされる。ダウンスケーリング後の各色の画素値は、各色の配列パターンがカラー撮像画像の配列パターンと一致するように配置される。これにより、カラー撮像画像の画素数よりも小さな任意の画素数のカラー検査対象画像を生成することが可能になり、後段のプロセッサやＦＰＧＡによる画像処理において、配列パターンの不一致に起因する追加の処理が不要となる。

【0085】

具体例について説明すると、ロジック部３１ｂは、カラー撮像画像の各色に対して、Ｘ又はＹ方向の一方である第１方向にダウンスケーリングした後、当該第１方向のダウンスケーリングにより得られた画像に対して、Ｘ又はＹ方向の他方である第２方向にダウンスケーリングすることによって、カラー検査対象画像を生成するように構成されている。より具体的には、図２４に示すように、ロジック部３１ｂは、カラー撮像画像の各色に対して第１方向にダウンスケーリングした後、第１方向のダウンスケーリングにより得られた画像に対して第２方向にダウンスケーリングすることによって、カラー検査対象画像を生成する。図２４では、Ｇｒ画素に対して、第１方向である水平方向（Ｘ方向）に画素補間するとともにダウンスケーリングし、その後、第２方向である垂直方向（Ｙ方向）に画素補間するとともにダウンスケーリングする。また、Ｒ画素、Ｂ画素、Ｇｂ画素のそれぞれに対しても、Ｇｒ画素と同様に水平方向に画素補間するとともにダウンスケーリングした後、垂直方向に画素補間するとともにダウンスケーリングする。

【0086】

図２５に水平方向の場合を示すように、画素補間する際には、同色の隣接した２画素値の加算平均を演算する。また、ダウンスケーリングの際には、ダウンスケーリングにより得られる検査対象画像の一画素に含まれる、ダウンスケーリング前の撮像画像の各画素のサブピクセルレベルでのサイズに応じた加重平均を演算する。図２５中、α、β、γは、入力画素の大きさを１とした場合のサブピクセルサイズを示している。また、αとγはそれぞれ１未満の値を設定することができるため、小数点以下の精度でスケーリング倍率を算出することもできる。また、画像中の他のＲ画素群に対しても同様の処理を実行する。図２５ではＲ画素について示しているが、他の色の画素も同様である。

【0087】

垂直方向についても、水平方向のダウンスケーリング後の画素を用いて、垂直方向に同様の処理を実行する。つまり、ロジック部３１ｂは、ダウンスケーリング後の検査対象画像の各画素に対応する、ダウンスケーリング前のカラー撮像画像の位置の近傍範囲に存在する同一色の複数の画素に基づいて検査対象画像の各画素の画素値を算出する。そして、ロジック部３１ｂは、カラー撮像画像の近傍範囲をダウンスケーリングのスケーリング倍率に基づいて決定する。

【0088】

図２６に示すように、カラー撮像画像を処理する際にはローパスフィルタを適用することもできる。この場合、指定したローパスフィルタ領域（ＬＰＦ領域）分だけ、ダウンスケーリング後の検査対象画像の一画素が拡大されたものとみなしてダウンスケーリングする。ローパスフィルタ領域は当該ダウンスケーリング後の一画素の両側に均等に適用する。片側あたりのローパスフィルタ領域（サブピクセルサイズ）は、ダウンスケーリングによる縮小度にローパスフィルタ設定値を乗じて得た値を１／２することで算出する。また、ローパスフィルタ設定値は０以上の値であり、かつ、｛３×（縮小度－１）｝／縮小度で求められる値よりも小さな値とする。図２６中、α、β、γ、δは、入力画素の大きさを１とした場合のサブピクセルサイズを示している。また、画像中の他のＲ画素群に対しても同様の処理を実行する。図２６ではＲ画素について示しているが、他の色の画素も同様である。

【0089】

また、プロセッサ４１は、インタフェース部４０ｃが画素数を変更する指示を受け付けると、画素数の変更前後でカラー検査対象画像の各色の配列パターンを一致させる。これにより、変更前のカラー検査対象画像の画像処理における各色の配列パターンに関する設定を変更することなく、変更後のカラー検査対象画像の画像処理を実行することができる。

【0090】

インタフェース部４０ｃが出力領域の位置、大きさ、及び形状の少なくとも１つを変更する指示を受け付けた場合、ロジック部３１ｂは、出力領域の変更前に生成したカラー検査対象画像と各色の配列パターンが一致する、変更後の出力領域に対応するカラー検査対象画像を生成する。

【0091】

また、ロジック部３１ｂは、カラー撮像画像をプロセッサ４１に転送する際の転送速度と比較して、カラーの検査対象画像をプロセッサ４１に転送する転送速度が相対的に速くなるように、カラー撮像画像をダウンスケーリングする。すなわち、図２２に示すように、イメージセンサ３１の外部でダウンスケーリングすることも可能であるが、この場合、カラー撮像画像のデータ量が大きいので、プロセッサ４１への転送速度が問題となることが考えられる。カラー撮像画像をダウンスケーリングして、カラー撮像画像をプロセッサ４１に転送する際の転送速度よりも速い速度でカラーの検査対象画像をプロセッサ４１に転送することで、処理速度を高速化でき、高速な移動体に対する画像検査が可能になる。また、イメージセンサ３１から出力された検査対象画像の画素数に応じて、ロジック部３１ｂからプロセッサ４１までの転送速度を変化させることもできる。

【0092】

（設定時のフロー）
以上のように、産業用カメラ１を備えた画像検査システム２では様々な処理を実行することができ、その処理の手順は矛盾が生じない範囲で任意に設定できる。以下では、処理手順の一例についてフローチャートに基づいて説明する。

【0093】

図２７は、ズーム倍率入力時の処理手順の一例を示すフローチャートである。スタート後のステップＳＡ１では撮像設定を起動する。撮像設定の起動時は、第２レンズ群２２を広角側に移動させる。ステップＳＡ２では、ユーザによるズーム倍率の入力をインタフェース部４０ｃが受け付ける。ズーム倍率の入力時には、図１１に示すようなユーザインタフェース画面１００が使用されるので、ズーム調整領域１０１Ａを操作して入力できる。他の例として、ズーム倍率を数値で入力してもよい。

【0094】

ステップＳＡ３では、ステップＳＡ２の入力値（ズーム倍率）が第１のズーム値（第１のズーム倍率）よりも大きいか否かを判定する。ＮＯと判定される場合には、ステップＳＡ４に進んでダウンスケーリング設定変更を行う。ステップＳＡ５でトリガ信号が入力するとステップＳＡ６に進んで検査対象画像を表示させる。

【0095】

ステップＳＡ３でＹＥＳと判定された場合にはステップＳＡ７に進み、ステップＳＡ２の入力値（ズーム倍率）が第２のズーム値（第２のズーム倍率）よりも大きいか否かを判定する。ＮＯと判定される場合には、ステップＳＡ８に進んでダウンスケーリングを既定のズーム倍率で固定し、それ以上のズームはステップＳＡ９において光学ズームで対応する。その後、ステップＳＡ５に進む。

【0096】

ステップＳＡ７でＹＥＳと判定された場合には、ステップＳＡ１０で光学ズームのズーム倍率を最大にするとともに、ダウンスケーリングのスケーリング倍率を１に設定し、ステップＳＡ９に進む。

【0097】

図２８は、視野または分解能を指定する時の処理手順の一例を示すフローチャートである。スタート後のステップＳＢ１では、ユーザインタフェース上のＷＤ計測ボタン（図示せず）が押下される。ステップＳＢ２ではＷＤ計測を行う。ステップＳＢ３では、産業用カメラ１に予め記憶されている内部データと現状の焦点位置情報とに基づいて視野及び分解能を計算する。ステップＳＢ４では、ユーザがＸ視野、Ｙ視野、空間分解能のいずれかを、ユーザインタフェースを介して入力する。ステップＳＢ５では、ステップＳＢ４で入力された値を用いてズーム倍率を計算する。ステップＳＢ６では、ステップＳＢ５で計算したズーム倍率が設定可能なズーム倍率であるか否かを判定する。ステップＳＢ６でＮＯと判定された場合は、図１９のＦＩＧ．１９Ｂや図２０のＦＩＧ．２０Ｃ、２０Ｆに示すようになるので、ステップＳＢ７に進んで設定可能なズーム倍率にクリッピングする。ステップＳＢ６でＹＥＳと判定された場合には、ステップＳＢ８に進んで図２７に示すフローと同様な手順を実行する。

【0098】

図２９は、パンチルトの処理手順の一例を示すフローチャートである。スタート後のステップＳＣ１では、ユーザが図１１に示すユーザインタフェース画面１００上の視野位置調整領域１０３を操作して上下左右の位置調整を行う。ステップＳＣ２では、ステップＳＣ１で位置調整した領域がイメージセンサ３１の最大視野範囲よりも狭いか否かを判定する。ステップＳＣ２でＮＯと判定された場合には、ステップＳＣ３で最大範囲をクリッピングする。その後、ステップＳＣ４に進み、注目領域の位置を変更する。ステップＳＣ２でＹＥＳと判定された場合もステップＳＣ４に進む。

【0099】

図３０は、縦横比変更の処理手順の一例を示すフローチャートである。スタート後のステップＳＤ１では、ユーザが図１１に示すユーザインタフェース画面１００の画素数設定領域１０４を操作して所望の縦横比に変更する。ステップＳＤ２では、変更後の画素領域が同じスケーリング倍率でのイメージセンサ３１の視野範囲内に収まっているか否かを判定する。ＮＯと判定された場合にはステップＳＤ３に進み、ステップＳＤ１で変更された縦横比となるようにズーム倍率を変更する。ステップＳＤ４では、図２７に示すフローと同様な手順を実行する。その後、ステップＳＤ５に進み、注目領域のサイズを変更する。ステップＳＤ２でＹＥＳと判定された場合も、ステップＳＤ５に進む。

【0100】

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0101】

以上説明したように、本発明に係る産業用カメラは、各種検査対象物を検査するための検査対象画像を生成する場合に利用できる。

【符号の説明】

【0102】

１ 産業用カメラ
２０ レンズユニット
３１ イメージセンサ
３１ａ 光電変換部
３１ｂ ロジック部
３１ｃ カラーフィルタ
４０ｃ インタフェース部
４１ プロセッサ
４１ａ 演算部
４２ 出力部
５０ 筐体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】