(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-17
(45)【発行日】2024-04-25
(54)【発明の名称】画像検査システム
(51)【国際特許分類】
G06F 3/0484 20220101AFI20240418BHJP
G01B 11/30 20060101ALI20240418BHJP
G06T 17/20 20060101ALI20240418BHJP
G06F 3/04815 20220101ALI20240418BHJP
G06F 3/04845 20220101ALI20240418BHJP
【ＦＩ】
G06F3/0484
G01B11/30 A
G06T17/20
G06F3/04815
G06F3/04845
【請求項の数】
11
(21)【出願番号】P 2020089468
(22)【出願日】2020-05-22
(65)【公開番号】P2021184180
(43)【公開日】2021-12-02
【審査請求日】2023-03-03
(73)【特許権者】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】眞弓 典正
(72)【発明者】
【氏名】山上 毅
【審査官】木内 康裕
(56)【参考文献】
【文献】特開２００５－１７２８０５（ＪＰ，Ａ）
【文献】特表２０１８－５２１３７０（ＪＰ，Ａ）
【文献】特開２０１７－２２７６１２（ＪＰ，Ａ）
【文献】特開２０２０－０４６３９４（ＪＰ，Ａ）
【文献】特開２０２０－０３５１１９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｇ０１Ｂ １１／３０
Ｇ０６Ｔ １７／２０
(57)【特許請求の範囲】
【請求項1】
検査対象物を撮像する撮像素子を有し、検査対象物の高さ情報が二次元座標上に配置された高さデータを該撮像素子を用いて取得する取得部を備える画像検査用撮像装置と、前記画像検査用撮像装置にネットワークを介して接続される設定装置にてユーザ操作に基づく各種検査設定を行う検査設定部と、を含む画像検査システムであって、前記検査設定部は、
前記取得部により取得された高さデータに基づいて、検査対象物を立体的に表した三次元オブジェクトを生成するオブジェクト生成手段と、
前記オブジェクト生成手段により生成された三次元オブジェクトを前記設定装置のモニタに表示する表示手段と、
前記表示手段により表示された三次元オブジェクトの姿勢を調整する姿勢調整手段と、
前記姿勢調整手段により姿勢が調整された三次元オブジェクト上で、該三次元オブジェクトの表面に沿って形成され、画像検査の対象となる対象領域の指定を受け付ける領域指定受付手段と、
前記領域指定受付手段により表面上に対象領域が指定された三次元オブジェクトに対する前記撮像素子の位置にある視点を特定する視点特定要素を生成する要素生成手段と、
前記領域指定受付手段により指定された対象領域を、前記取得部により取得された高さデータに対して設定する領域設定手段と、
を有し、
前記表示手段は、前記要素生成手段により生成された視点特定要素を前記モニタに表示させることを特徴とする画像検査システム。
【請求項2】
請求項１に記載の画像検査システムにおいて、前記視点特定要素は、前記領域指定受付手段により指定を受け付けた複数の点の各々から前記撮像素子の撮像軸に沿って所定長さ延びる複数の線分と、該複数の線分に基づき形成される平面又は曲面からなる図形要素とを含む画像検査システム。
【請求項3】
請求項２に記載の画像検査システムにおいて、前記図形要素は、半透明である画像検査システム。
【請求項4】
請求項２または３に記載の画像検査システムにおいて、前記図形要素を形成する前記複数の線分の所定長さは、前記高さ画像における最大高さまたは最小高さに応じて決定される画像検査システム。
【請求項5】
請求項１から４のいずれか１つに記載の画像検査システムにおいて、前記視点特定要素は、前記要素生成手段による生成後に前記三次元オブジェクト上で位置調整可能とされている画像検査システム。
【請求項6】
請求項１から５のいずれか１つに記載の画像検査システムにおいて、前記視点特定要素は、前記要素生成手段による生成後に前記三次元オブジェクト上で形状の変更が可能とされている画像検査システム。
【請求項7】
請求項５に記載の画像検査システムにおいて、前記視点特定要素は、前記三次元オブジェクトの高さ方向への移動が禁止されている画像検査システム。
【請求項8】
請求項１から７のいずれか１つに記載の画像検査システムにおいて、前記領域指定受付手段は、前記三次元オブジェクト上で始点と終点の指定を受け付けた場合、高さデータの二次元座標において、前記始点から前記終点まで延びる線分の位置に対応する座標に対象領域を設定する画像検査システム。
【請求項9】
請求項１から８のいずれか１つに記載の画像検査システムにおいて、前記取得部は、取得した高さデータに基づいて高さ画像を生成し、
前記表示手段は、前記取得部により生成された高さ画像と、前記オブジェクト生成手段で生成された三次元オブジェクトとを前記モニタに切替表示可能に構成され、
前記領域指定受付手段は、前記取得部により生成された高さ画像上で、画像検査の対象となる対象領域の指定を受け付ける画像検査システム。
【請求項10】
請求項１から９のいずれか１つに記載の画像検査システムにおいて、前記設定装置は、前記領域設定手段により高さデータに対して設定された対象領域に対して画像処理を行う画像処理部と、該画像処理部により画像処理された画像に基づいて外観検査を行う検査部とを備えている画像検査システム。
【請求項11】
請求項１から１０のいずれか１つに記載の画像検査システムにおいて、前記設定装置は、前記領域指定受付手段で受け付けた対象領域からなる設定項目と、該設定項目の設定値が格納される場所を示すレジスタ情報とが記述されたファイルを外部から取得してユーザにより設定された該設定項目の設定値と、該ファイルに含まれる該設定項目に対応するレジスタ情報とを前記画像検査用撮像装置に送信可能に構成され、
前記画像検査用撮像装置は、前記設定装置から受信した前記設定項目の設定値を、該設定項目に対応するレジスタ情報が示す場所に格納する画像検査システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば撮像したワーク等を検査する画像検査システムに関する。
【背景技術】
【0002】
従来から、例えば特許文献１に開示されているように、パターン投影法を用いてワーク等の検査対象物の高さ情報を取得する画像処理装置が知られている。この特許文献１に開示されている画像処理装置では、複数のパターン投影光を検査対象物に順次照射しながら、カメラで複数の輝度画像を取得し、カメラで取得した複数の輝度画像をコントローラに転送して当該コントローラにおいて高さデータを生成する。コントローラでは、生成した高さデータのうち、所定の高さ範囲内の高さデータを、高さデータよりも階調数の少ない高さ画像に変換する処理、即ち高さ抽出処理を実行する。高さ抽出処理後、コントローラでは、高さ画像を用いた画像処理を行って検査対象物の良否を判定し、判定信号をＰＬＣ等の外部機器に出力する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１６８２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、コントローラに汎用パーソナルコンピュータ等で構成された設定装置を接続し、設定装置上で、コントローラから出力される高さデータに対して各種設定を行うことも可能である。この場合、まず、設定装置において、コントローラから出力された高さデータを、当該高さデータよりも階調数の少ない画像に変換する。画像検査時には、ユーザが高さ画像上に、画像検査の対象となる対象領域（線領域や面領域）を設定するのであるが、この設定時の高さ画像は、カメラの位置に視点を固定して検査対象物を真上から見たときの画像であるため、ユーザは、検査対象物の立体感や高低差を把握しにくいという、使い勝手の上で問題があった。
【0005】
さらに、モニタに表示される高さ画像においては、検査対象物の実際の表面色とは異なる人工的に生成された表面色を付すことよって検査対象物の高低差を表現することが一般的に行われている。このような表現形態を採用した場合、大きな高さ変化であれば色の変化で認識可能であるが、小さな段差のような部分では殆ど表面色の差がなく、高低差を把握しにくい。
【0006】
また、高さ画像と同時に撮像された検査対象物の二次元画像と、上記人工的に着色された高さ画像とを合成して表示する場合がある。これにより、検査対象物の部位と高さとの関係を把握し易くなる反面、高低差を示す色と検査対象物の実際の表面色とが混ざってしまうので、高低差を把握しにくくなる。
【0007】
上述したように高さ画像上で高低差を把握しにくくなると、ユーザが画像検査の対象となる対象領域を設定する際、検査対象物に対してどのような対象領域が設定されることになるのか、高さ画像上で把握するのが難しかった。
【0008】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、画像検査の対象となる対象領域を容易に把握でき、ひいては使い勝手を向上させることにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、第１の開示は、検査対象物の高さ情報が二次元座標上に配置された高さデータを取得する取得部を備える画像検査用撮像装置と、前記画像検査用撮像装置にネットワークを介して接続される設定装置にてユーザ操作に基づく各種検査設定を行う検査設定部と、を含む画像検査システムを前提とすることができる。
【0010】
前記検査設定部は、前記取得部により取得された高さデータに基づいて、検査対象物を立体的に表した三次元オブジェクトを生成するオブジェクト生成手段と、前記オブジェクト生成手段により生成された三次元オブジェクトを前記設定装置のモニタに表示する表示手段と、前記表示手段により表示された三次元オブジェクトの姿勢を調整する姿勢調整手段と、前記姿勢調整手段により姿勢が調整された三次元オブジェクト上で、画像検査の対象となる対象領域の指定を受け付ける領域指定受付手段と、前記領域指定受付手段により指定された対象領域を、前記取得部により取得された高さデータに対して設定する領域設定手段とを有していてもよい。
【0011】
この構成によれば、取得部が、検査対象物の高さ情報が二次元座標上に配置された高さデータを取得すると、その高さデータに基づいてオブジェクト生成手段が三次元オブジェクトを生成する。三次元オブジェクトは、例えば三次元ポリゴン表示や三次元点群（ポイントクラウド）表示のような形態で設定装置のモニタに表示することが可能である。三次元オブジェクトは、モニタに表示した状態でその姿勢の調整が可能なので、検査対象物を所望の方向から見た三次元オブジェクトをモニタに表示できる。ユーザは、姿勢調整後の三次元オブジェクト上で対象領域の指定が可能になる。
【0012】
すなわち、ユーザは、検査対象物を立体的に表した三次元オブジェクトを所望の方向から見ることができるので、小さな段差のような部分であっても高低差を容易にかつ確実に把握できる。そして、検査対象物の高低差を把握しながら対象領域を指定できるので、対象領域を検査対象物上のどこに対してどのような大きさ乃至形状で指定したのか、ユーザが容易に把握できる。対象領域は、例えば線状の領域や図形で囲んだ領域等があり、ある範囲を持った領域であれば、その形状や大きさは自由に指定できる。
【0013】
対象領域が指定されると、その対象領域が取得部により取得された高さデータに対して設定される。つまり、三次元オブジェクト上で指定した対象領域の情報を、運用時に取得した高さデータに反映することができるので、所望の領域に対して画像検査を実行することができる。
【0014】
第２の開示では、前記取得部は、検査対象物を撮像する撮像素子を備えていてもよい。前記検査設定部は、前記領域指定受付手段により対象領域の指定を受け付けた場合に、前記撮像素子の位置にある視点を特定するための視点特定要素を生成する要素生成手段を備えていてもよい。前記表示手段は、前記要素生成手段により生成された視点特定要素を、前記三次元オブジェクト上に重ねて前記モニタに表示させることができる。
【0015】
この構成によれば、ユーザが画像検査の対象となる対象領域を指定すると、視点特定要素が三次元オブジェクト上に重ねて表示される。これにより、ユーザは、検査対象物を撮像した撮像素子の位置、即ち視点の位置を特定することができる。
【0016】
第３の開示では、前記視点特定要素は、前記領域指定受付手段により指定を受け付けた複数の点の各々から前記撮像素子の撮像軸に沿って所定長さ延びる複数の線分と、該複数の線分に基づき形成される平面又は曲面からなる図形要素とを含んでいてもよい。
【0017】
この構成によれば、ユーザが対象領域を指定する際に複数の点を指定すると、撮像軸に沿って延びる複数の線分で形成される面が三次元オブジェクト上に重なった状態で表示される。これにより、視点の位置の特定が容易になる。
【0018】
第４の開示では、前記図形要素は、半透明であってもよい。この構成によれば、図形要素の向こう側にある三次元オブジェクトも視認することが可能になるので、対象領域の指定が容易になる。
【0019】
第５の開示では、前記図形要素を形成する前記複数の線分の所定長さは、前記高さ画像における最大高さや最小高さに応じて決定することができる。
【0020】
すなわち、図形要素ないし線分の高さ方向の寸法が無用に長くなると高さ画像が見にくくなることが考えられ、また、図形要素ないし線分の高さ方向の寸法が短すぎると図形要素ないし線分を確認できなくなることが考えられる。本開示では、図形要素ないし線分の高さ方向の寸法が無用に長くなることや、短すぎることがなくなるので、視点の位置の特定が容易になる。
【0021】
第６の開示では、前記視点特定要素は、前記要素生成手段による生成後に前記三次元オブジェクト上で位置調整可能とされていてもよい。
【0022】
この構成によれば、視点特定要素の生成後、位置を変更したい場合には、視点特定要素を移動させることで所望の位置に配置することができる。視点特定要素の移動に伴って対象領域も別の領域に移る。
【0023】
第７の開示では、前記視点特定要素は、前記要素生成手段による生成後に前記三次元オブジェクト上で形状の変更が可能とされている。
【0024】
この構成によれば、視点特定要素の生成後、その形状を任意の形状に変更することができる。視点特定要素の形状の変更に伴って対象領域の形状も変更される。
【0025】
第８の開示では、前記視点特定要素は、前記三次元オブジェクトの高さ方向への移動が禁止されていてもよい。ＸＹＺ座標系で例えばＺ方向を高さ方向とした場合、視点特定要素のＺ座標を固定し、視点特定要素をＸＹ方向へのみ移動可能にすることができる。
【0026】
すなわち、視点特定要素は、画像検査の対象となる対象領域を、二次元座標上に配置された高さデータに設定する際に表示される要素であることから、三次元オブジェクトのＸ方向またはＹ方向に移動させればよく、視点が位置する方向（三次元オブジェクトの高さ方向）へ移動させる必要はなく、仮に視点特定要素を三次元オブジェクトの高さ方向に移動可能にすると、対象領域の設定操作が煩雑になることが考えられる。本開示では、視点特定要素を三次元オブジェクトのＸ方向またはＹ方向にのみ移動可能であるため、対象領域の設定操作が容易になる。
【0027】
第９の開示では、前記領域指定受付手段は、前記三次元オブジェクト上で始点と終点の指定を受け付けた場合、高さデータの二次元座標において、前記始点から前記終点まで延びる線分の位置に対応する座標に対象領域を設定することができる。
【0028】
この構成によれば、ユーザが三次元オブジェクト上で始点と終点を指定する操作を行うだけで、始点及び終点を含む対象領域を高さデータに自動的に設定することができる。
【0029】
第１０の開示では、前記取得部は、取得した高さデータに基づいて高さ画像を生成することができる。前記表示手段は、前記取得部により生成された高さ画像と、前記オブジェクト生成手段で生成された三次元オブジェクトとを前記モニタに切替表示可能に構成されている。前記領域指定受付手段は、前記取得部により生成された高さ画像上で、画像検査の対象となる対象領域の指定を受け付けることができる。
【0030】
例えば、三次元オブジェクトよりも高さ画像の方が画像検査の対象となる対象領域が指定しやすい場合があり、この場合には、高さ画像をモニタに表示させて高さ画像上でも画像検査の対象となる対象領域の指定を受け付けることができる。
【0031】
第１１の開示では、前記設定装置は、前記領域設定手段により高さデータに対して設定された対象領域に対して画像処理を行う画像処理部と、該画像処理部により画像処理された画像に基づいて外観検査を行う検査部とを備えている。これにより、段差計測や傷等、各種外観検査を行うことができる。
【0032】
第１２の開示では、前記設定装置は、前記領域指定受付手段で受け付けた対象領域からなる設定項目と、該設定項目の設定値が格納される場所を示すレジスタ情報とが記述されたファイルを外部から取得してユーザにより設定された該設定項目の設定値と、該ファイルに含まれる該設定項目に対応するレジスタ情報とを前記画像検査用撮像装置に送信可能に構成されている。前記画像検査用撮像装置は、前記設定装置から受信した前記設定項目の設定値を、該設定項目に対応するレジスタ情報が示す場所に格納することができる。
【0033】
この構成によれば、撮像装置と設定装置の両方が共通の標準化規格に適合している場合には、設定項目と、設定項目の設定値が格納される場所を示すレジスタ情報とが記述されたファイルを設定装置が取得する。このファイルは、例えば標準化規格がＧｅｎＩＣａｍ規格である場合には、Ｄｅｖｉｃｅ ＸＭＬファイルなどである。このファイルは、設定装置が撮像装置から取得してもよいし、例えばウェブサイト等からダウンロードして別ファイルとしてＧｅｎＡｐｉに対して参照するファイルを指定するようにしてもよい。
【0034】
ユーザが画像検査の対象となる対象領域を設定すると、画像検査の対象となる対象領域の座標や大きさが設定値になり、対象領域という設定項目と、その座標や大きさとがレジスタ情報とともに撮像装置に送信される。これにより、撮像装置における設定が行われるので、標準化規格に適合した撮像装置であれば設定装置で上記設定を自由に変更することができ、撮像装置の機種選定の自由度が向上する。
【発明の効果】
【0035】
以上説明したように、本開示によれば、検査対象物を立体的に表した三次元オブジェクトの姿勢を調整して検査対象物の高低差を把握しながら画像検査の対象となる対象領域を指定できるので、ユーザは対象領域を容易に把握でき、ひいては使い勝手を向上させることができる。
【図面の簡単な説明】
【0036】
【図1】本発明の実施形態１に係る画像検査システムの概略構成及び運用状態を模式的に示す図である。
【図5】デフレクトメトリの原理に基づいて高さ画像を生成する手順を示すフローチャートである。
【図7】画像検査アプリケーションとカメラとの接続インターフェースを説明する図である。
【図8】撮像装置の内部処理の一例を概念的に示すフローチャートである。
【図9】デフレクトメトリの原理を利用した検査画像の生成を行う場合のパラメータセットを示す図である。
【図10】マルチスペクトルイメージングにより検査画像の生成を行う場合のパラメータセットを示す図である。
【図11】検査設定部のブロック図である。
【図12】対象領域の新規作成手順の例を示すフローチャートである。
【図13】３Ｄヒット判定の概念図である。
【図14】直線状の対象領域の新規作成を三次元表示または二次元表示上で行う場合を説明する図である。
【図15】矩形状の対象領域の新規作成を三次元表示または二次元表示上で行う場合を説明する図である。
【図16】対象領域の変更手順の第１段階を示すフローチャートである。
【図17】対象領域の変更手順の第２段階を示すフローチャートである。
【図18A】３Ｄヒット判定の概念図である。
【図18B】２Ｄヒット判定の概念図である。
【図19】直線状の対象領域の位置調整を行う具体例１を示す図である。
【図20】直線状の対象領域の位置調整を行う具体例２を示す図である。
【図21】矩形状の対象領域の位置調整を行う具体例を示す図である。
【図22】運用時に直線状の対象領域で段差計測する手順の例を示すフローチャートである。
【図23】運用時に矩形状の対象領域で傷検査する手順の例を示すフローチャートである。
【図24】運用時に矩形状の対象領域で高さ検査する手順の例を示すフローチャートである。
【図25】運用時に円弧状の対象領域で賞味期限検査する手順の例を示すフローチャートである。
【図26】運用時に円弧状の対象領域で刻印判別する手順の例を示すフローチャートである。
【発明を実施するための形態】
【0037】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0038】
（実施形態１）
図１は、本発明の実施形態に係る画像検査システム１の運用状態を模式的に示すものである。画像検査システム１は、検査対象物であるワークＷを撮像した画像を用いてワークＷの欠陥の有無を検査するように構成されており、ワークＷを照明する照明装置２と、ワークＷを撮像する撮像部３と、撮像部３の設定を行うパーソナルコンピュータ（ＰＣ）等で構成された設定装置４とを備えている。ワークＷは、撮像部３で撮像される対象となるものであることから、撮像対象物と呼ぶこともできる。照明装置２と撮像部３とにより、高さデータを取得する取得部Ａが構成されている。画像検査システム１の一部を構成している画像検査用撮像装置３００は取得部Ａを含む装置である。また、撮像装置３００と設定装置４とは切り離されたものであってもよく、撮像装置３００単体を本発明の実施形態とすることもできる。
図１は、本発明の実施形態に係る画像検査システム１の運用状態を模式的に示すものである。画像検査システム１は、検査対象物であるワークＷを撮像した画像を用いてワークＷの欠陥の有無を検査するように構成されており、ワークＷを照明する照明装置２と、ワークＷを撮像する撮像部３と、撮像部３の設定を行うパーソナルコンピュータ（ＰＣ）等で構成された設定装置４とを備えている。ワークＷは、撮像部３で撮像される対象となるものであることから、撮像対象物と呼ぶこともできる。照明装置２と撮像部３とにより、高さデータを取得する取得部Ａが構成されている。画像検査システム１の一部を構成している画像検査用撮像装置３００は取得部Ａを含む装置である。また、撮像装置３００と設定装置４とは切り離されたものであってもよく、撮像装置３００単体を本発明の実施形態とすることもできる。
【0039】
設定装置４は、表示部５と、キーボード６及びマウス７とを備えている。表示部５は、たとえば有機ＥＬディスプレイや液晶ディスプレイ等からなるモニタを含むものであり、撮像装置３００で撮像された画像、撮像装置３００で撮像された画像を各種処理した処理後の画像、各種ユーザーインターフェース画像（ＧＵＩ）等を表示することができる部分である。各種ユーザーインターフェース画像等は、設定装置４の本体部で生成される。表示部５の横方向を当該表示部５のＸ方向とし、表示部５の縦方向を当該表示部５のＹ方向とすることができる。
【0040】
また、キーボード６及びマウス７は、従来から周知のコンピュータ操作用の機器である。キーボード６またはマウス７の操作により、各種情報を設定装置４に入力したり、各種設定を行ったりすることができるとともに、表示部５に表示されている画像等を選択することができる。尚、キーボード６及びマウス７の代わり、またはキーボード６及びマウス７に加えて、たとえば、音声入力機器、感圧式タッチ操作パネル等のコンピュータ操作用の機器を使用することもできる。
【0041】
図１では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における白抜き矢印で示す方向へ搬送されている場合を示している。設定装置４には、搬送用ベルトコンベアＢ及び画像検査システム１をシーケンス制御するための機器として、プログラマブル・ロジック・コントローラ（ＰＬＣ）等からなる外部制御機器８が接続されている。この外部制御機器８は、画像検査システム１の一部を構成するものとしてもよい。また、外部制御機器８は、画像検査システム１の構成要素としなくてもよい。
【0042】
尚、この実施形態の説明では、搬送用ベルトコンベアＢによるワークＷの搬送方向（ワークＷの移動方向）をＹ方向とし、搬送用ベルトコンベアＢの平面視でＹ方向に直交する方向をＸ方向とし、Ｘ方向及びＹ方向に直交する方向（搬送用ベルトコンベアＢの上面に直交する方向）をＺ方向と定義するが、これは説明の便宜を図るために定義するだけである。
【0043】
画像検査システム１は、ワークＷの外観検査、即ちワークＷの表面の傷、汚れ、打痕等の欠陥の有無を検査する場合に使用することができるものであり、この検査結果からワークＷの良否判定を行うこともできる。画像検査システム１は、その運用時において、外部制御機器８から信号線を介して、欠陥検査（良否判定検査）の開始タイミングを規定する検査開始トリガ信号を受信する。画像検査システム１は、この検査開始トリガ信号に基づいてワークＷの撮像及び照明等を行って所定の処理後、検査用画像を得る。その後、検査用画像に基づいて外観検査し、その検査結果は、信号線を介して外部制御機器８へ送信される。このように、画像検査システム１の運用時には、画像検査システム１と外部制御機器８との間で、信号線を介して検査開始トリガ信号の入力と検査結果の出力が繰り返し行われる。なお、検査開始トリガ信号の入力や検査結果の出力は、上述したように、画像検査システム１と外部制御機器８との間の信号線を介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークＷの到着を検知するためのセンサと画像検査システム１とを直接的に接続し、そのセンサから画像検査システム１へ検査開始トリガ信号を入力するようにしてもよい。また、画像検査システム１は、トリガ信号を内部で自動生成して検査を行うように構成してもよい。
【0044】
また、画像検査システム１は、専用のハードウェアで構成する他、汎用の機器にソフトウェアをインストールしたもの、たとえば汎用もしくは専用のコンピュータに画像検査プログラムをインストールした構成としてもよい。たとえば、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像検査プログラムをインストールした構成とすることもできる。
【0045】
（取得部Ａの構成）
取得部Ａは、ワークＷからの反射光の受光量に応じた輝度画像を取得するとともに、ワークＷの高さ情報が二次元座標上に配置された高さデータを取得可能に構成された部分である。輝度画像は、照明装置２により照明されたワークＷを撮像部３により撮像することによって取得することができる。ワークＷに対する照明が不要な場合には、照明装置２により照明することなく、ワークＷを撮像部３により撮像することによって輝度画像を取得できる。
取得部Ａは、ワークＷからの反射光の受光量に応じた輝度画像を取得するとともに、ワークＷの高さ情報が二次元座標上に配置された高さデータを取得可能に構成された部分である。輝度画像は、照明装置２により照明されたワークＷを撮像部３により撮像することによって取得することができる。ワークＷに対する照明が不要な場合には、照明装置２により照明することなく、ワークＷを撮像部３により撮像することによって輝度画像を取得できる。
【0046】
ワークＷの高さ情報が二次元座標上に配置された高さデータを取得する手法は特に限定されるものではなく、どのような手法であってもよく、手法に応じたハードウェア及びソフトウェアを適宜選択できる。取得部Ａは、高さデータを取得することで三次元画像を生成できる。
【0047】
すなわち、高さデータを取得する手法としては、大きく分けて２つの方式があり、一つは、通常の輝度画像を得るための照明条件で撮像した画像を用いて高さデータを取得するパッシブ方式（受動計測方式）、もう一つは、高さ方向の計測をするための光を能動的に照射して高さデータを取得するアクティブ方式（能動計測方式）である。パッシブ方式の代表的な手法は、ステレオ計測法である。これは、撮像部３を２台用意し、これら２台の撮像部３を所定の位置関係で配置してそれぞれ撮像を実行させ、生成された２枚の画像に基づいて周知の演算を行うことで高さデータを取得できる。
【0048】
アクティブ方式の代表的な手法は、光切断法とパターン投影法である。光切断法は、上述したステレオ計測法において、一方の撮像部３をレーザ投光器に置き換えて、ワークＷに対してライン状のレーザ光を投光し、ワークＷの表面の形状に応じたライン光の像の歪み具合に基づいてワークＷの三次元形状を復元する。光切断法は、対応点の決定が不要であるので安定した計測が可能である。
【0049】
パターン投影法は、ワークＷに投光された所定の投影パターンの形状や位相等をずらして複数枚の画像を撮像し、撮像した複数枚の画像を解析することでワークＷの三次元形状を復元する方法である。パターン投影法には幾つか種類があり、正弦波縞模様パターンの位相をずらして複数枚（最低３枚以上）の画像を撮像し、複数枚の画像から画素ごとに正弦波の位相を求め、求めた位相を利用してワーク表面上の三次元座標を求める位相シフト法や、２つの規則的なパターンが合成されるときに生じる一種の空間周波数のうねり現象を利用して三次元形状を復元するモアレポトグラフィ法、ワークＷに投影するパターン自体を撮影毎に異ならせ、例えば白黒デューティ比５０％で縞幅が画面半分、４分の１、８分の１、、、と細くなっていく縞パターンを順次投影し、それぞれのパターンにてパターン投影画像の撮影を行い、ワークＷの高さの絶対位相を求める空間コード化法、ワークに複数の細線状のパターン照明（マルチスリット）を投影し、スリット周期より狭いピッチでパターンを移動させ、複数回撮影を行うマルチスリット法等が代表的である。
【0050】
また、上述した位相シフト法と空間コード化法とを組み合わせて高さデータを取得することもできるが、これに限られるものではなく、他の方法によって高さデータを取得しても構わない。また、上述した方法以外の方法、例えば光レーダ法（タイムオブフライト）、合焦点法、共焦点法、白色光干渉法等、高さデータを取得するために考え得る如何なる手法を採用しても構わない。
【0051】
上記照明装置２及び撮像部３は、パターン投影法を実現可能に構成されている。以下、照明装置２及び撮像部３の具体的な構成について説明する。
【0052】
（照明装置２の構成）
まず、照明装置２ついて説明する。照明装置２は、ワークＷに対して所定の投影パターンを有する構造化照明を投光する投光部であり、発光部２ａと、発光部２ａを制御する照明制御部２ｂとを備えている。発光部２ａと照明制御部２ｂとは、別体であってもよいし、一体化されたものであってもよい。また、照明制御部２ｂは、設定装置４に組み込まれていてもよい。発光部２ａは、たとえば発光ダイオード、液晶パネルを用いたプロジェクタ、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができ、照明部と呼ぶこともできる。発光ダイオード、液晶パネル、有機ＥＬパネル、ＤＭＤについては図示しないが、従来から周知の構造のものを用いることができる。照明装置２は、設定装置４に対して信号線１００ａを介して接続されており、撮像部３及び設定装置４から離して設置することができるようになっている。
まず、照明装置２ついて説明する。照明装置２は、ワークＷに対して所定の投影パターンを有する構造化照明を投光する投光部であり、発光部２ａと、発光部２ａを制御する照明制御部２ｂとを備えている。発光部２ａと照明制御部２ｂとは、別体であってもよいし、一体化されたものであってもよい。また、照明制御部２ｂは、設定装置４に組み込まれていてもよい。発光部２ａは、たとえば発光ダイオード、液晶パネルを用いたプロジェクタ、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができ、照明部と呼ぶこともできる。発光ダイオード、液晶パネル、有機ＥＬパネル、ＤＭＤについては図示しないが、従来から周知の構造のものを用いることができる。照明装置２は、設定装置４に対して信号線１００ａを介して接続されており、撮像部３及び設定装置４から離して設置することができるようになっている。
【0053】
実施形態１の照明装置２は、均一面発光を行うことができるように構成される。また、照明装置２は、所定の投影パターンを有する構造化照明の一例として、デフレクトメトリ処理を実現可能な照明を行うことができるように構成されており、従って、周期的な照度分布を有するパターン光をワークＷに照射する発光部２ａを有している。すなわち、照明装置２は、複数の異なるパターン光をワークＷに対して順次照射するパターン光照明を実行するパターン光照明部とすることができる。以下、デフレクトメトリ処理を行うことによって高さデータを含む検査用画像を取得する場合に用いる照明装置２について説明する。
【0054】
複数の発光ダイオードを用いる場合には、複数の発光ダイオードをドットマトリクス状に配置して電流値制御によって周期的な照度分布を有するパターン光を生成することができる。たとえば、明暗がＹ方向に変化するＹ方向パターン光の場合、縞模様がＹ方向に繰り返されるパターン光という表現とすることもでき、このＹ方向パターン光を生成する際には、照度分布の位相をＹ方向にシフトさせることにより、照度分布の位相が異なった複数のＹ方向パターン光を生成することができる。Ｙ方向パターン光の照度分布をｓｉｎ波形に近似した波形で表すこともでき、この場合、たとえば位相を９０゜ずつ変化させて、０゜の場合のＹ方向パターン光、９０゜の場合のＹ方向パターン光、１８０゜の場合のＹ方向パターン光、２７０゜の場合のＹ方向パターン光を生成することができる。
【0055】
また、明暗がＸ方向に変化するＸ方向パターン光の場合、縞模様がＸ方向に繰り返されるパターン光という表現とすることもでき、このＸ方向パターン光を生成する際には、照度分布の位相をＸ方向にシフトさせることにより、照度分布の位相が異なった複数のＸ方向パターン光を生成することができる。Ｘ方向パターン光の照度分布をｓｉｎ波形に近似した波形で表すこともでき、この場合、たとえば位相を９０゜ずつ変化させて、０゜の場合のＸ方向パターン光、９０゜の場合のＸ方向パターン光、１８０゜の場合のＸ方向パターン光、２７０゜の場合のＸ方向パターン光を生成することができる。つまり、照明装置２は、異なる照明態様でワークＷを照明することができる。デフレクトメトリ処理を行う場合、ワークＷに照射するパターン光はｓｉｎ波形だけでなく、三角波等のパターン光でも可能である。
【0056】
尚、全ての発光ダイオードに同じ電流値の電流を流すことで照度分布が面内で均一な光を照射することもできる。全ての発光ダイオードに流す電流値を同じにして変化させていくと、暗い面発光状態から明るい面発光状態まで発光状態を変化させることができる。
【0057】
また、液晶パネル及び有機ＥＬパネルの場合は、各パネルを制御することで各パネルから照射される光が周期的な照度分布を有するパターン光となるようにすることができる。デジタルマイクロミラーデバイスの場合は、内蔵された微小鏡面を制御することで周期的な照度分布を有するパターン光を生成して照射することができる。尚、照明装置２の構成は上述したものに限られるものではなく、周期的な照度分布を有するパターン光を生成することができる機器や装置等であれば使用することができる。
【0058】
また、後述するが、フォトメトリックステレオ法を利用して検査用画像を生成する場合に用いる照明装置２は、少なくとも３以上の異なる方向から照明を個別に照射可能な照明装置を用いることができる。また、照明装置２は、マルチスペクトル照明が可能に構成された照明装置であってもよく、照明装置２の構成は特に限定されるものではない。
【0059】
（撮像部３の構成）
次に、撮像部３について説明する。撮像部３は、カメラ３１と、集光系光学系３２と、撮像制御部３３とを有している。撮像部３は、設定装置４に対して信号線１００ｂを介して接続されており、照明装置２及び設定装置４から離して設置することができるようになっている。
次に、撮像部３について説明する。撮像部３は、カメラ３１と、集光系光学系３２と、撮像制御部３３とを有している。撮像部３は、設定装置４に対して信号線１００ｂを介して接続されており、照明装置２及び設定装置４から離して設置することができるようになっている。
【0060】
カメラ３１は、集光系光学系３２を通して得られた光の強度を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子３１ｄからなるイメージセンサを有している。カメラ３１は、ワークＷからの反射光の受光量に応じた輝度画像を取得するとともに、照明装置２により投光された構造化照明がワークＷで反射した反射光を受光して、複数のパターン投影画像を生成する画像生成部である。また、撮像制御部３３は、記憶装置や信号処理装置を有するとともに、カメラ３１の露光開始及び終了の制御、露光時間の制御、アナログゲインの調整等を行う部分である。内部の論理回路によってイメージセンサの駆動や、画像データの転送を制御することができる。また、撮像制御部３３によって各種画像処理、フィルター処理、画像生成等を行うことができるようになっており、撮像部３は、フィルター処理機能を保有した装置である。
【0061】
集光系光学系３２は、外部から入射する光を集光するための光学系であり、典型的には一以上の光学レンズを有している。また、集光系光学系３２は、オートフォーカスを実行可能に構成されている。照明装置２からワークＷの表面に向けて照射された光が該ワークＷの表面で反射して集光系光学系３２に入射するように、撮像部３と照明装置２との位置関係を設定することができる。ワークＷが透明フィルムやシートのように透光性を有する部材である場合、照明装置２からワークＷの表面に向けて照射されたパターン光が該ワークＷを透過して撮像部３の集光系光学系３２に入射するように、撮像部３と照明装置２との位置関係を設定することができる。上記したいずれの場合も、ワークＷの表面で反射した正反射成分及び拡散反射成分が撮像部３の集光系光学系３２に入射するように、撮像部３と照明装置２とを配置する。また、撮像部３には、受光素子がＹ方向に直線状に配置されたラインカメラを用いることもできるが、ラインカメラではなく、エリアカメラ（受光素子がＸ方向とＹ方向に並ぶように配置されたカメラ）を用いることもでき、このエリアカメラの場合は、同軸照明という照明形態も可能である。
【0062】
（実施形態２）
図２は、本発明の実施形態２に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。実施形態２では、撮像制御部３３が撮像素子を有するカメラ３１及び集光系光学系３２から分離しており、この撮像制御部３３に照明制御部２ｂが取り込まれて一体化されている。撮像制御部３３は、設定装置４に対して信号線１００ｂを介して接続されている。撮像制御部３３と照明制御部２ｂとは別体とすることもできる。
図２は、本発明の実施形態２に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。実施形態２では、撮像制御部３３が撮像素子を有するカメラ３１及び集光系光学系３２から分離しており、この撮像制御部３３に照明制御部２ｂが取り込まれて一体化されている。撮像制御部３３は、設定装置４に対して信号線１００ｂを介して接続されている。撮像制御部３３と照明制御部２ｂとは別体とすることもできる。
【0063】
（実施形態３）
図３は、本発明の実施形態３に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。実施形態３では、撮像制御部３３に照明制御部２ｂが取り込まれて一体化されるとともに、撮像制御部３３に表示部５及びマウス７が接続されている。設定装置４は、たとえばノートパソコン等で構成されており、撮像制御部３３に接続されている。設定装置４は、キーボード６を有している。また、設定装置４には、マウスを接続してもよい。設定装置４が生成した各種ユーザーインターフェース等は、撮像制御部３３を介して表示部５に表示することができる。
図３は、本発明の実施形態３に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。実施形態３では、撮像制御部３３に照明制御部２ｂが取り込まれて一体化されるとともに、撮像制御部３３に表示部５及びマウス７が接続されている。設定装置４は、たとえばノートパソコン等で構成されており、撮像制御部３３に接続されている。設定装置４は、キーボード６を有している。また、設定装置４には、マウスを接続してもよい。設定装置４が生成した各種ユーザーインターフェース等は、撮像制御部３３を介して表示部５に表示することができる。
【0064】
（実施形態４）
図４は、本発明の実施形態４に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。実施形態４では、照明装置２と撮像部３とが一体化されており、照明制御部２ｂと撮像制御部３３とも一体化されている。尚、実施形態２～４において、実施形態１と同じ部分には同じ符号を付して説明を省略している。
図４は、本発明の実施形態４に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。実施形態４では、照明装置２と撮像部３とが一体化されており、照明制御部２ｂと撮像制御部３３とも一体化されている。尚、実施形態２～４において、実施形態１と同じ部分には同じ符号を付して説明を省略している。
【0065】
（デフレクトメトリ処理）
実施形態１～４では、撮像部３により生成された複数のパターン投影画像に基づいて、高さデータを取得するように構成されている。具体的には、撮像部３が撮像した複数の輝度画像からデフレクトメトリの原理に基づいてワークＷの表面の位相データを生成し、当該位相データに基づいて、ワークＷの高さ情報が二次元座標上に配置された高さデータ、即ち、ワークＷの形状を示す高さ画像を生成するデフレクトメトリ処理を行うように構成されている。
実施形態１～４では、撮像部３により生成された複数のパターン投影画像に基づいて、高さデータを取得するように構成されている。具体的には、撮像部３が撮像した複数の輝度画像からデフレクトメトリの原理に基づいてワークＷの表面の位相データを生成し、当該位相データに基づいて、ワークＷの高さ情報が二次元座標上に配置された高さデータ、即ち、ワークＷの形状を示す高さ画像を生成するデフレクトメトリ処理を行うように構成されている。
【0066】
図５に一例を示すように、照明装置２の発光部２ａは、第１発光部２１、第２発光部２２、第３発光部２３及び第４発光部２４を備えており、これら第１～第４発光部２１～２４がそれぞれパターン投影可能になっている。
【0067】
以下、図５に基づいて高さ画像の生成について詳細に説明する。照明装置２の第１発光部２１が空間コード法にしたがう４つのパターン光をワークＷに照射した場合には、撮像部３が４つの異なる画像からなるグレーコードパターン画像セットを生成する。また、照明装置２の第１発光部２１が位相シフト法にしたがう８つのパターン光をワークＷに照射した場合には、撮像部３が８つの異なる画像からなる位相シフトパターン画像セットを生成する。
【0068】
同様に、照明装置２の第２発光部２２が空間コード法にしたがうパターン光をワークＷに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光をワークＷに照射した場合には、位相シフトパターン画像セットが生成される。
【0069】
同様に、照明装置２の第３発光部２３が空間コード法にしたがうパターン光をワークＷに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光をワークＷに照射した場合には、位相シフトパターン画像セットが生成される。
【0070】
同様に、照明装置２の第４発光部２４が空間コード法にしたがうパターン光をワークＷに照射した場合には、グレーコードパターン画像セットが生成され、また、位相シフト法にしたがうパターン光をワークＷに照射した場合には、位相シフトパターン画像セットが生成される。
【0071】
位相シフトパターン画像セットを生成した後、位相シフトパターン画像セットの各画像データを取得し、位相シフト法を利用することにより、相対位相計算処理を行うことができる。これにより、位相画像を取得できる。この位相は相対位相（Unwrapping前位相）である。
【0072】
また、グレーコードパターン画像セットを生成した後、グレーコードパターン画像セットの各画像データを取得し、空間コード法を利用することにより、空間コード算出処理を行い、縞番号画像を得る。縞番号画像は、光が照射される空間を多数の小空間に分けた場合に、小空間に一連の空間コード番号を付して識別可能にした画像である。
【0073】
その後、絶対位相位相化処理を行う。絶対位相位相化処理では、位相画像と、縞番号画像とを合成（Unwrapping）して絶対位相画像（中間画像）を生成する。つまり、空間コード法によって得た空間コード番号により、位相シフト法による位相ジャンプの補正（位相アンラップ）ができるので、高さのダイナミックレンジを広く確保しつつ、高分解能な測定結果を得ることができる。
【0074】
なお、位相シフト法のみで高さ測定を行うようにしてもよい。この場合は、高さの測定ダイナミックレンジが狭くなるので、位相が１周期以上ずれてしまうような高さの相違が大きいワークＷの場合は、高さの測定が正しく行えない。逆に、高さの変化が小さなワークＷの場合は、空間コード法による縞画像の撮像や合成を行わないので、その分だけ処理を高速化することができるメリットがある。例えば、高さ方向の差異が少ないワークＷを測定する際には、ダイナミックレンジを大きく取る必要がないため、位相シフト法のみでも高精度な高さ測定性能を維持しつつ、処理時間を短くすることができる。また、絶対高さは判るので空間コード法のみで高さ測定するように構成してもよい。この場合、コードを増やすことによって精度を高めることができる。
【0075】
絶対位相画像は、各画素がワークＷへのパターン光の照射角度情報を有する角度画像ということもできる。すなわち、第１パターン画像セット（位相シフトパターン画像セット）には、正弦波縞模様パターンの位相をずらして撮像した８枚の第１パターン画像が含まれているので、位相シフト法を利用することによってワークＷへのパターン光の照射角度情報を各画素が有することになる。つまり、複数の第１パターン画像に基づいて、各画素がワークＷへの第１測定用パターン光の照射角度情報を有する第１角度画像を生成することができる。第１角度画像は、第１発光部２１からワークＷへ照射される光の角度を画像化した画像である。
【0076】
同様に、複数の第２パターン画像に基づいて各画素がワークＷへの第２測定用パターン光の照射角度情報を有する第２角度画像と、複数の第３パターン画像に基づいて各画素がワークＷへの第３測定用パターン光の照射角度情報を有する第３角度画像と、複数の第４パターン画像に基づいて各画素がワークＷへの第４測定用パターン光の照射角度情報を有する第４角度画像とを生成することができる。
【0077】
図５における中間画像の最も上の画像が第１角度画像であり、上から２番目の画像が第２角度画像であり、上から３番目の画像が第３角度画像であり、一番下の画像が第４角度画像である。各角度画像の真っ黒に塗りつぶされたように見える部分が照明の影になっている部分であり、角度情報の無い無効画素となる。
【0078】
第１角度画像と第２角度画像とによって第１高さ画像を生成でき、また、第３角度画像と第４角度画像とによって第２高さ画像を生成できる。その後、第１高さ画像と第２高さ画像とを合成して合成後高さ画像を生成できる。これにより、合成後高さ画像では無効画素の数を少なくすることができる。
【0079】
（実施形態５）
図６は、本発明の実施形態５に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。上記実施形態１～４は、デフレクトメトリの原理に基づいて検査用画像を生成する形態であるのに対し、実施形態５では、フォトメトリックステレオ法を利用して検査用画像を生成するように構成されている。
図６は、本発明の実施形態５に係る画像検査システム１の概略構成及び運用状態を模式的に示す図である。上記実施形態１～４は、デフレクトメトリの原理に基づいて検査用画像を生成する形態であるのに対し、実施形態５では、フォトメトリックステレオ法を利用して検査用画像を生成するように構成されている。
【0080】
以下、フォトメトリックステレオ法を利用して検査用画像を生成する具体的な方法について、図６を参照しながら、実施形態１と同じ部分には同じ符合を付して説明を省略し、異なる部分について詳細に説明する。
【0081】
実施形態５に係る画像検査システム１は、たとえば特開２０１５－２３２４８６号公報に開示されている画像検査システムと同様に構成することができる。すなわち、画像検査システム１は、ワークＷを一定の方向から撮像する撮像部３と、ワークＷを異なる三以上の照明方向から照明するための照明装置２００とを備えるとともに、実施形態１と同様な表示部５、キーボード６及びマウス７を少なくとも備えている。撮像部３と照明装置２００とにより取得部Ａが構成されている。
【0082】
照明装置２００は、ワークＷに対して、互いに異なる方向から光を照射するように構成されており、第１～第４発光部２０１～２０４と、第１～第４発光部２０１～２０４を制御する照明制御部２０５とを有している。この照明装置２００は、ワークＷに対して互いに異なる方向から光を照射する複数方向照明を実行する部分であり、所定の投影パターンを有する構造化照明を投光可能に構成されている。第１～第４発光部２０１～２０４は互いに間隔をあけてワークＷを取り囲むように配置されている。第１～第４発光部２０１～２０４は、発光ダイオード、白熱球、蛍光灯等を利用することができる。また、第１～第４発光部２０１～２０４は別体であってもよいし、一体化されていてもよい。
【0083】
この実施形態では、第１～第４発光部２０１～２０４を順次点灯させ、第１～第４発光部２０１～２０４のいずれかが点灯した時点で、撮像部３がワークＷを撮像する。たとえば、照明装置２００が１回目の照明トリガ信号を受信すると、照明制御部２０５が第１発光部２０１のみ点灯させる。このとき撮像部３は撮像トリガ信号を受信して光が照射されるタイミングでワークＷを撮像する。照明装置２００が２回目の照明トリガ信号を受信すると、照明制御部２０５が第２発光部２０２のみ点灯させ、このとき撮像部３はワークＷを撮像する。このようにして４枚の輝度画像を得ることができる。なお、照明の数は４つに限られるものではなく、３つ以上で、かつ、互いに異なる方向からワークＷを照明することができれば任意の数にすることができる。
【0084】
そして、撮像部３によって撮像された複数の輝度画像同士で対応関係にある画素毎の画素値を用いて、各画素のワークＷの表面に対する法線ベクトルを算出する。算出された各画素の法線ベクトルに対してＸ方向及びＹ方向に微分処理を施し、ワークＷの表面の傾きの輪郭を示す輪郭画像を生成する。また、算出された各画素の法線ベクトルから、法線ベクトルと同個数の各画素のアルベドを算出し、アルベドから、ワークＷの表面の傾き状態を除去した模様を示すテクスチャ描出画像を生成する。この手法は周知の手法であることから詳細な説明は省略する。複数の輝度画像をフォトメトリックステレオの原理に基づいて合成することで、ワークＷの形状を示す形状画像（高さ画像）を生成することができる。
【0085】
（マルチスペクトル照明）
他の実施形態として、所定の投影パターンを有する構造化照明としてマルチスペクトル照明が可能な照明装置２であってもよい。マルチスペクトル照明とは、波長が異なる光を、タイミングをずらしてワークＷに照射することであり、印刷物（検査対象物）の色むらや汚れ等を検査するのに適している。たとえば、黄色、青色、赤色を順番にワークＷに照射可能となるように、照明装置２を構成することができ、具体的には、多数色のＬＥＤを有する照明装置２としてもよいし、液晶パネルや有機ＥＬパネル等で照明装置２を構成してもよい。
他の実施形態として、所定の投影パターンを有する構造化照明としてマルチスペクトル照明が可能な照明装置２であってもよい。マルチスペクトル照明とは、波長が異なる光を、タイミングをずらしてワークＷに照射することであり、印刷物（検査対象物）の色むらや汚れ等を検査するのに適している。たとえば、黄色、青色、赤色を順番にワークＷに照射可能となるように、照明装置２を構成することができ、具体的には、多数色のＬＥＤを有する照明装置２としてもよいし、液晶パネルや有機ＥＬパネル等で照明装置２を構成してもよい。
【0086】
撮像部３は、光が照射されるタイミングでワークＷを撮像して複数の輝度画像を得る。そして、複数の輝度画像を合成して検査用画像を得ることができる。これをマルチスペクトルイメージングと呼ぶ。尚、照射する光には紫外線や赤外線も含むことができる。
【0087】
（カメラ３１と画像検査アプリケーションとの接続インターフェース）
実施形態１～５のカメラ３１は、ＧｅｎＩＣａｍ規格に対応したＧｅｎＩＣａｍ規格対応カメラである。ＧｅｎＩＣａｍ規格は、ＰＣアプリケーションとカメラ３１との接続インターフェースを標準化する規格であり、図７に示すように、主に設定装置４の本体部となるパーソナルコンピュータ上に構築する画像検査アプリケーション４０からカメラ３１を制御したり、カメラ３１で撮像された画像を設定装置４の画像検査アプリケーション４０で取得するインターフェースを標準化したものである。撮像部３と設定装置４の画像検査アプリケーション４０の双方がＧｅｎＩＣａｍ規格に対応していれば、カメラ３１と、設定装置４の画像検査アプリケーション４０とを接続することが可能になっている。画像検査アプリケーション４０は、パーソナルコンピュータにインストールされたソフトウェアで構成される。尚、この実施形態では、カメラ３１及び設定装置４が標準化規格としてＧｅｎＩＣａｍ規格に対応している場合について説明するが、標準化規格はＧｅｎＩＣａｍ規格に限られるものではなく、他の標準化規格であってもよい。
実施形態１～５のカメラ３１は、ＧｅｎＩＣａｍ規格に対応したＧｅｎＩＣａｍ規格対応カメラである。ＧｅｎＩＣａｍ規格は、ＰＣアプリケーションとカメラ３１との接続インターフェースを標準化する規格であり、図７に示すように、主に設定装置４の本体部となるパーソナルコンピュータ上に構築する画像検査アプリケーション４０からカメラ３１を制御したり、カメラ３１で撮像された画像を設定装置４の画像検査アプリケーション４０で取得するインターフェースを標準化したものである。撮像部３と設定装置４の画像検査アプリケーション４０の双方がＧｅｎＩＣａｍ規格に対応していれば、カメラ３１と、設定装置４の画像検査アプリケーション４０とを接続することが可能になっている。画像検査アプリケーション４０は、パーソナルコンピュータにインストールされたソフトウェアで構成される。尚、この実施形態では、カメラ３１及び設定装置４が標準化規格としてＧｅｎＩＣａｍ規格に対応している場合について説明するが、標準化規格はＧｅｎＩＣａｍ規格に限られるものではなく、他の標準化規格であってもよい。
【0088】
画像検査アプリケーション４０を階層構造に分解した場合を想定すると、ＧｅｎＩＣａｍ層４１は、画像検査アプリケーション４０における実際に画像検査や欠陥検査等を行う上位の階層（検査部４Ａ、画像処理部４Ｂ）と、具体的なネットワーク通信規格に基づき制御を行う階層４２との間に位置する中間層の位置付けとなる。ＧｅｎＩＣａｍ層４１は、大きく２つの部分、ＧｅｎＡｐｉ４１ａ及びＧｅｎＴＬ（ＴＬ：Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ）４１ｂに分類することができる。ＧｅｎＡｐｉ４１ａは、カメラ３１の設定項目と、カメラ３１内部のレジスタアドレスの変換を行う部分である。このＧｅｎＡｐｉ４１ａにより、画像検査アプリケーション４０からはカメラ３１の具体的なアドレスを指定することなく、抽象的に、露光時間であれば、「ＥｘｐｏｓｕｒｅＴｉｍｅ」、アナログゲインであれば「ＡｎａｌｏｇＧａｉｎ」といった文字列を引数に設定項目を指定し、カメラ３１と接続した際に、カメラ３１から取得したＤｅｖｉｃｅＸＭＬ（詳細は後述する）と呼ばれるファイルを解析することで、その文字列（Ｆｅａｔｕｒｅと呼ばれる）に対応したレジスタアドレスを割り出すことができる。
【0089】
ＧｅｎＴＬ４１ｂは、画像検査アプリケーション４０とカメラ３１との間のデータの転送を制御するインターフェース（ＡＰＩ）を規定したものであり、具体的には、カメラ３１のレジスタへの書き込み、読み出しＡＰＩの仕様及びカメラ３１から転送した画像データの画像検査アプリケーション４０の上位の層への受け渡しを行うＡＰＩの仕様を規定したものである。
【0090】
画像検査アプリケーション４０とカメラ３１を接続する物理的な規格は、高速ネットワークを使用した規格であればよく、例えば、Ｅｔｈｅｒｎｅｔケーブル３１ａを利用したＧｉｇＥ Ｖｉｓｉｏｎ規格３Ａと、ＵＳＢ３．０対応ケーブル３１ｂを利用したＵＳＢ３Ｖｉｓｉｏｎ規格３Ｂとがある。よって、撮像部３と設定装置４とは、ネットワークを介して接続されることになるが、このネットワークは、高速ネットワークケーブルを利用した有線であってもよいし、無線であってもよい。また、ネットワークは、Ｅｔｈｅｒｎｅｔケーブル３１ａやＵＳＢ３．０対応ケーブル３１ｂ以外のケーブルを用いたネットワークであってもよく、特に限定されるものではない。
【0091】
ＧｅｎＩＣａｍ規格は、物理的な通信規格として使用するものを具体的に特定しておらず、ＧｅｎＴＬ４１ｂという形で抽象化した仕様を規定しているに留まっている。このＧｅｎＴＬ４１ｂの下位の階層４２として、ＧｉｇＥ Ｖｉｓｉｏｎ規格３ＡやＵＳＢ３Ｖｉｓｉｏｎ規格３Ｂといった、具体的な通信ネットワークを用いて通信規格が規定されている。具体的な通信規格は、ＧｉｇＥ Ｖｉｓｉｏｎ規格３ＡやＵＳＢ３Ｖｉｓｉｏｎ規格３Ｂに限られるものではなく、ＧｅｎＩＣａｍ規格に対応していればよい。図７では、ＧｉｇＥ Ｖｉｓｉｏｎ規格３Ａ及びＵＳＢ３Ｖｉｓｉｏｎ規格３Ｂの概念を説明するために、各規格に対応したカメラ３１、３１を設定装置４に接続した状態を示しているが、一方のカメラ３１のみを設定装置４に接続して使用することができる。
【0092】
ＧｅｎＩＣａｍ規格対応カメラ３１には、ＤｅｖｉｃｅＸＭＬと呼ばれるファイル（ＤｅｖｉｃｅＸＭＬファイル）３１ｃが記憶されている。ＤｅｖｉｃｅＸＭＬファイル３１ｃは、カメラ３１に内蔵された記憶装置（内部メモリ）に記憶されている。ＧｅｎＩＣａｍ規格に対応した画像検査アプリケーション４０では、画像検査アプリケーション４０による設定対象であるカメラ３１と接続する際に、そのカメラ３１からＤｅｖｉｃｅＸＭＬファイル３１ｃを読み込む。ＤｅｖｉｃｅＸＭＬファイル３１ｃの読み込みは、たとえば、カメラ３１からＤｅｖｉｃｅＸＭＬファイル３１ｃをダウンロードする方法がある。ダウンロードされたＤｅｖｉｃｅＸＭＬファイル３１ｃはＧｅｎＡｐｉ４１ａで保持される。ＤｅｖｉｃｅＸＭＬファイル３１ｃのダウンロードは、画像検査アプリケーション４０側からの要求によって行うことや、カメラ３１との接続時に自動的に行うことができ、このＤｅｖｉｃｅＸＭＬファイル３１ｃのダウンロードにより、設定装置４はＤｅｖｉｃｅＸＭＬファイル３１ｃを取得できる。また、接続するカメラ３１からダウンロードせずに、そのカメラ３１に対応したＤｅｖｉｃｅＸＭＬファイル３１ｃを別の手段（例えばウェブサイトからのダウンロード）により入手して、接続時にＧｅｎＡｐｉ４１ａに対して指定することも可能である。
【0093】
ＤｅｖｉｃｅＸＭＬファイル３１ｃには、カメラ３１の内部に保持する全ての設定項目と、各設定項目の設定値が格納されるレジスタアドレス（レジスタ情報）とが関連付けられて記述されている。設定項目はＦｅａｔｕｒｅと呼ばれ、各Ｆｅａｔｕｒｅには、個々のＦｅａｔｕｒｅを特定するための文字列が割り当てられている。各Ｆｅａｔｕｒｅのノードには、具体的なレジスタアドレスが記載されたノードへの参照が記載される。レジスタ情報には、レジスタアドレスや、レジスタを特定する文字列も含まれる。
【0094】
ＤｅｖｉｃｅＸＭＬファイル３１ｃにおいて、たとえば、「ＥｘｐｏｓｕｒｅＴｉｍｅ」（露光時間設定）という名称のＦｅａｔｕｒｅがあり、その属性が「ＥｘｐｏｓｕｒｅＴｉｍｅＲｅｇ」というレジスタアドレスを参照するように指示されており、具体的なアドレスとして、ある値が記載されていたとする。カメラ３１が異なれば、アドレスが異なる値になることがあるが、「ＥｘｐｏｓｕｒｅＴｉｍｅ」というＦｅａｔｕｒｅの名称については共通である。このように、多くのカメラ３１で共通した設定項目として存在するものを統一した名称で管理することで、画像検査アプリケーション４０においてはカメラ３１の機種の違いやメーカーの違いを意識することなく、カメラ３１を設定、制御することが可能になる。
【0095】
上述したように、ＧｅｎＡｐｉ４１ａの階層では、ＤｅｖｉｃｅＸＭＬファイル３１ｃの記載内容を解析することで、上位の階層である画像検査アプリケーション４０から引数として渡されたＦｅａｔｕｒｅ文字列をレジスタのアドレスに変換する。たとえば、「ＥｘｐｏｓｕｒｅＴｉｍｅ」というＦｅａｔｕｒｅに対応したレジスタにある値（値：１００．５）を書き込む場合、ＷｒｉｔｅＲｅｇｉｓｔｅｒ（アドレスの値，１００．５）といったように、アドレスの値と、書き込む値との２つを引数とした関数を実行することで、ＧｉｇＥ Ｖｉｓｉｏｎ規格３ＡまたはＵＳＢ３Ｖｉｓｉｏｎ規格３Ｂなど、物理通信規格を経由してカメラ３１のレジスタの値を設定することができる。
【0096】
尚、ＤｅｖｉｃｅＸＭＬファイル３１ｃには、各メーカーで共通のＦｅａｔｕｒｅとして盛り込むべきものが規定されているが、それ以外にベンダー独自のＦｅａｔｕｒｅを定義することも可能である。独自性の高い機能を有しているカメラ３１の場合、専用のＦｅａｔｕｒｅを通じてカメラ３１にアクセスすることで、汎用的なカメラに存在しない特殊な機能を利用することも可能である。
【0097】
（撮像部３の内部処理ユニット）
図８は、撮像部３の内部処理の一例を概念的に示すフローチャートである。このフローチャートにおいて、位置補正１のグループは、当該グループに内包されるパターンサーチのユニットと位置補正のユニットとからなるように記載されているが、位置補正２～５のグループは記載されていない。これは、図を簡略化するため、位置補正２～５のグループを折り畳んであることによる。
図８は、撮像部３の内部処理の一例を概念的に示すフローチャートである。このフローチャートにおいて、位置補正１のグループは、当該グループに内包されるパターンサーチのユニットと位置補正のユニットとからなるように記載されているが、位置補正２～５のグループは記載されていない。これは、図を簡略化するため、位置補正２～５のグループを折り畳んであることによる。
【0098】
このフローチャートに示すように、複数のユニットの組み合わせで構成されている。ユニットは、撮像や画像処理を制御する単位であり、ユニットをフローチャート上で組み合わせることで、撮像部３に所望の動作を実現させることができる。図８に示すフローチャートでは、ユニットを１つのステップとして記載している。
【0099】
たとえば、ユーザの設定により、ある処理を行う機能を有効にした場合、その機能に対応したユニットを追加することで、処理を実行可能にすることができる。ユニットは、処理を実行するためのプログラムと、処理を実行するために必要なパラメータや、処理結果のデータを格納する記憶領域を一つにまとめたものと定義することができる。各処理は、図１に示す撮像制御部３３で行うことができ、また、記憶領域は、撮像制御部３３の記憶装置に確保することができる。尚、ユニットの概念自体は、ＧｅｎＩＣａｍ規格に対応したカメラ３１の外部仕様を実現する際に必須なものではない。
【0100】
図８に示すフローチャートは、複数のユニットを縦方向及び横方向にフローチャート形式で並べたものであり、単にフローと呼ぶこともできる。複数のユニットを縦方向にのみ並べたフローチャートであってもよい。図８に示すフローチャートのスタートからエンドに向かって順に処理を実行していくが、途中に分岐ステップＳＢ１を設けることで、分岐させることもできる。分岐した場合には、エンドまでの間に合流ステップＳＢ２を設けることができ、これにより、合流させてからエンドに進むことができる。
【0101】
（パラメータセット）
画像検査アプリケーション４０を実際の検査環境において動作させる場合、ワークＷが切り替わったり、明るさなど、周囲の環境の変化を検知した場合には、撮像部３の設定パラメータを動的に変更することがある。露光時間など、ごく限られたパラメータのみ変更する場合は、画像検査アプリケーション４０から、それに対応したＦｅａｔｕｒｅの値を直接書き込むことで対応することもできる。
画像検査アプリケーション４０を実際の検査環境において動作させる場合、ワークＷが切り替わったり、明るさなど、周囲の環境の変化を検知した場合には、撮像部３の設定パラメータを動的に変更することがある。露光時間など、ごく限られたパラメータのみ変更する場合は、画像検査アプリケーション４０から、それに対応したＦｅａｔｕｒｅの値を直接書き込むことで対応することもできる。
【0102】
一方で、高機能な撮像部３の場合、設定可能な項目の数が増え、ワークＷの切り替え時などに、一度に変更すべきパラメータの数も多くなる。この場合、設定変更に要する時間が、パラメータの数に相関して長くなっていく。実際の画像検査ラインにおいては、ワークＷが切り替わり、新しいワークＷが撮像部３の撮像視野範囲に到達してから当該視野範囲を外れるまでの時間が短いことが多く、一連の設定変更を高速に行いたいケースが出てくる。このようなときに、パラメータセットと呼ばれる機能を使用することがある。
【0103】
パラメータセットは、撮像部３で撮像する際の各種パラメータの組合せを事前に複数パターン保有しておき、それぞれのパターンをパラメータセット番号によって管理できるようにしたものである。例えば、ワークＷの品種が３種類あり、それぞれに異なるパラメータで撮像とその後の処理を行いたい場合、パラメータセットを３個用意しておく。
【0104】
パラメータセットを利用すると、ワークＷの撮像を行う前に、次に撮像するワークＷの品種に対応したパラメータセット番号を指定するだけで、一連の設定変更を短時間で完了させることができる。画像検査アプリケーション４０から見た場合、パラメータセット番号を指定するＦｅａｔｕｒｅは、後述するセレクタの一種と考えることができる。
【0105】
画像検査アプリケーション４０側から設定する対象を切り替えるセレクタと、動作時に撮像部３が内部的に参照するパラメータを切り替えるレジスタは、独立させることも、同一にすることも可能である。設定できるパラメータセットの数の上限は、撮像部３の内部に設けられた内部メモリのパラメータ保持空間に限定される。
【0106】
パラメータセットの概念は、フィルター処理機能を保有した撮像部３に展開することも可能である。たとえば、パラメータセットＩｎｄｅｘが１の時は２値化フィルターを実行し、パラメータセットＩｎｄｅｘが２の時は膨張フィルターを実行し、パラメータセットＩｎｄｅｘが３の時はフィルターを非実行とするように、パラメータセットＩｎｄｅｘに対応したパラメータを設定していたとする。このようにすることで、撮像と、フィルター処理として実行する内容を、パラメータセットＩｎｄｅｘにより動的に切り替えることができる。
【0107】
ＧｅｎＩＣａｍ規格では、撮像パラメータを動的に切り替える機能をサポートしている。撮像部３は、ＧｅｎＩＣａｍ規格に則り、全ての設定パラメータをＦｅａｔｕｒｅによってアクセスできるようにしている。撮像機能としては、照明装置２と撮像部３とを同期させて複数パターンで撮像した画像を専用のアルゴリズムによって合成する機能（上述したデフレクトメトリの原理を利用した検査画像の生成）、波長が異なる光を照射して複数の画像を取得するマルチスペクトルイメージング機能など、複数の照明－撮像制御モードを有している。これらは、上記のパラメータセットごとに設定可能であり、条件に応じて動的に切り替えながら、撮像処理、フィルター処理、合成処理、画像出力を実行することが可能である。撮像機能によって生成される画像には、照明の点灯パターンを切り替えながら、イメージセンサで取得した画像そのものであってもよいし、上述した専用アルゴリズムによって合成された複数の画像が含まれていてもよい。
【0108】
フィルター処理は、同一パラメータセット内に、複数のパターンを設定することが可能である。例えば、上述の撮像機能では、一連の撮像実行により、複数パターンの画像が生成されることになるが、そこで生成された異なる複数の画像に対して、個別にフィルター処理を施すことが可能である。また、別のパターンでは、同一の画像に対して、特定の領域の範囲（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を設定した上で、それぞれの領域内部のみをフィルター処理することも可能である。特定の領域の範囲の設定は、たとえばキーボード６やマウス７の操作によって行うことができる。特定の領域は、１つであってもよいし、複数であってもよい。特定の領域の大きさは任意に設定することができる。
【0109】
フィルター処理は、同一の画像に対して複数種類を多段階に繰り返し設定することができる多段階フィルターであってもよい。たとえば、ある画像に対して膨張フィルター処理を実行した後、その画像に対して２値化フィルター処理を実行することができる。フィルター処理は多段階フィルターに限られるものではなく、１つのフィルター処理であってもよい。
【0110】
ＧｅｎＩＣａｍ規格の撮像パラメータを動的に切り替える機能を利用し、図８に示すように複数のパラメータセットを１つのフローチャートにまとめることができる。撮像部３の内部処理フローチャート上で、分岐ステップＳＢ１から合流ステップＳＢ２までの間のフローチャートを形成するユニット群をまとめてパラメータセットと呼ぶ。図８に示す例では、４つのパラメータセット、即ち、第１～第４パラメータセットを有している。つまり、ユーザにより設定された処理を実現するための複数のセレクタの値の組み合わせが複数パターン存在している。第１～第４パラメータセットのいずれを選択するかは、ユーザが設定することができ、たとえば、パラメータセット番号１を選択すると第１パラメータセットが自動的に選択される。
【0111】
図８に示すフローチャートのスタート後、分岐ステップＳＢ１において第１～第４パラメータセットのいずれかのパラメータセットを構成する各ユニットを経た後、合流ステップＳＢ２で合流し、エンドに進むことができる。パラメータセット番号１が選択されていると、分岐ステップＳＢ１において分岐番号が１になり、第１パラメータセットの各処理を実行する。パラメータセット番号２が選択されていると、分岐ステップＳＢ１において分岐番号が２になり、第２パラメータセットの各処理を実行する。パラメータセット番号３が選択されていると、分岐ステップＳＢ１において分岐番号が３になり、第３パラメータセットの各処理を実行する。パラメータセット番号４が選択されていると、分岐ステップＳＢ１において分岐番号が４になり、第４パラメータセットの各処理を実行する。パラメータセットの数は４つに限られるものではなく、任意に設定することができる。
【0112】
パラメータセットの具体例を図９及び図１０に示す。図９は、デフレクトメトリの原理を利用した検査画像の生成を行う場合のパラメータセットである。ユニットＵＡ１では、デフレクトメトリの原理を利用した検査画像の生成を行うべく、１回のトリガ信号で複数の撮像処理を実行し、ユニットＵＡ２では膨張フィルター処理を実行し、ユニットＵＡ３では平均化フィルター処理を実行し、ユニットＵＡ４では濃淡反転処理を実行する。つまり、ユニットＵＡ１で撮像された撮像画像に対して、フィルター処理を含むパラメータセットで定義された多段階の処理が逐次的に実行される。その後、ユニットＵＡ５では、多段階の処理が逐次的に実行された画像データをＰＣへ転送、即ち外部機器である設定装置４等へ出力する。尚、画像データを転送することなく、内部に保持しておいてもよい。パラメータセットによっては、多段階の処理を行わないように設定することもできる。設定装置４に転送された場合、図７に示す画像検査アプリケーション４０の検査部４Ａにおいて欠陥検査、良否判定を行うことができる。欠陥検査及び良否判定のアルゴリズムは従来から周知のものを使用することができる。
【0113】
一方、図１０は、マルチスペクトルイメージングにより検査画像の生成を行う場合のパラメータセットである。ユニットＵＢ１ではマルチスペクトルイメージングにより検査画像の生成を行うべく、１回のトリガ信号で複数の撮像処理を実行し、ユニットＵＢ２では、ある領域（領域０）に対して二値化フィルター処理を実行し、ユニットＵＢ３では、領域０とは別の領域（領域１）に対して膨張フィルター処理を実行する。つまり、この例でも、ユニットＵＢ１で撮像された撮像画像に対して、フィルター処理を含むパラメータセットで定義された多段階の処理が逐次的に実行される。その後、ユニットＵＢ４では処理を非実行とする。ユニットＵＢ５では図９に示す場合と同様に画像データをＰＣへ転送する。この例のように、パラメータセット内には処理を行わないユニット、即ち無効化されたユニットが存在していてもよく、有効化されたユニットと無効化されたユニットとが混在したパラメータセットであってもよい。
【0114】
（移動体追従）
フォトメトリックステレオやマルチスペクトルの原理に基づいて検査用画像を生成する場合は、１回のトリガ信号で複数の撮像処理を実行し、得られた複数の画像を合成することになる。この場合、複数の撮像処理の間でワークＷが移動していると、撮像後の合成処理が正しく行えないので、画像ごとのずれ量を検知する必要がある。このずれ量検知のためのサーチをサーチユニットで行うことができ、検知したずれ量に基づいてずれ量の補正を行ってから複数の画像の合成処理を実行する。
フォトメトリックステレオやマルチスペクトルの原理に基づいて検査用画像を生成する場合は、１回のトリガ信号で複数の撮像処理を実行し、得られた複数の画像を合成することになる。この場合、複数の撮像処理の間でワークＷが移動していると、撮像後の合成処理が正しく行えないので、画像ごとのずれ量を検知する必要がある。このずれ量検知のためのサーチをサーチユニットで行うことができ、検知したずれ量に基づいてずれ量の補正を行ってから複数の画像の合成処理を実行する。
【0115】
合成処理は、画像演算ユニットで行うことができる。複数の撮像画像を合成するための合成設定が設定項目としてＤｅｖｉｃｅＸＭＬファイルに含まれている。したがって、撮像部３が撮像した撮像画像を外部に出力する前に、当該撮像画像に対して適用される処理に関する設定項目として、複数の撮像画像を合成する合成設定がＤｅｖｉｃｅＸＭＬファイルには含まれることになる。
【0116】
（ユニットの種類）
ユニットには複数の種類があり、たとえば、検査領域を決定するパターンサーチ処理を行うパターンサーチユニット、位置補正ユニット、内部で画像の位置補正や色抽出、フィルター処理などを行う画像演算ユニット、あるいは、これらの比較的単純な処理を行うユニットを複合させて高機能化させたものなどがある。各ユニットは、撮像部３が撮像した撮像画像を外部に出力する前に、当該撮像画像に対して適用される処理を実行するためのユニットである。
ユニットには複数の種類があり、たとえば、検査領域を決定するパターンサーチ処理を行うパターンサーチユニット、位置補正ユニット、内部で画像の位置補正や色抽出、フィルター処理などを行う画像演算ユニット、あるいは、これらの比較的単純な処理を行うユニットを複合させて高機能化させたものなどがある。各ユニットは、撮像部３が撮像した撮像画像を外部に出力する前に、当該撮像画像に対して適用される処理を実行するためのユニットである。
【0117】
パターンサーチユニットは、撮像部３が撮像したワークＷを含む画像のなかから、当該ワークＷや、ワークＷにおける検査対象部分をサーチし、撮像画像中のワークＷの位置補正を行うためのユニットである。たとえば、画像検査システム１の設定時に、ワークＷを撮像した画像上で、周知のエッジ検出手法によってエッジ検出を行い、検出したエッジにより特定される領域をワークＷ、またはワークＷの検査対象部分のモデル（サーチ用モデル画像）として撮像部３の記憶装置に記憶させておくことができる。エッジ検出処理自体は従来から周知の手法を用いることができ、例えば、輝度画像上の各画素の画素値を取得し、輝度画像上の画素値の変化がエッジ検出用のしきい値以上となる領域が存在する場合に、その境界部分がエッジであるとして抽出する。エッジ抽出の閾値はユーザが任意に調整することができる。
【0118】
画像検査システム１の設定後、画像検査システム１の運用時には、順次搬送されてくるワークＷを撮像して検査用画像を得て、パターンサーチユニットが、得られた検査用画像上でワークＷまたはワークＷの検査対象部分の有無を、上記記憶されているモデルに基づいてサーチ処理を行うとともに、サーチ処理によってワークＷの位置と角度を計測する。ワークＷの位置はＸ座標及びＹ座標で特定することができる。また、ワークＷの角度は、撮像部３の撮像軸回りの角度とすることや、図１に示すＺ軸周りの角度とすることができる。
【0119】
位置補正ユニットは、撮像部３が撮像したワークＷを含む画像のなかから、当該ワークＷや、ワークＷにおける検査対象部分をパターンサーチユニットでサーチし、ワークＷの位置と角度を計測した後に、画像中のワークＷの位置補正を行うためのユニットである。画像検査システム１の運用時には、複数のワークＷが常に同じ位置及び姿勢で搬送されてくるとは限らず、様々な位置にあるワークＷや様々な姿勢のワークＷが搬送されてくることがある。パターンサーチユニットでワークＷの基準となる部分をサーチしてから位置補正ユニットで位置補正することができるので、ワークＷの基準となる部分が、常に一定の位置となり、かつ、ワークＷが所定の姿勢となるように、画像を回転させたり、画像を縦方向や横方向に移動させることにより、位置補正を行う。位置補正を行うための位置補正ツールは、たとえばパターンサーチ等、複数の種類のツールを用意しておくことができる。
【0120】
画像演算ユニットは、複数の種類があり、たとえば、フィルター処理を行うユニット、撮像部３で撮像された複数の画像を合成する合成処理を行うユニット、デフレクトメトリ処理を行うユニット、フォトメトリックステレオ法を利用して検査用画像を生成するユニット、マルチスペクトルイメージングを行うユニット等がある。フィルター処理の種類は複数あるので、フィルター処理を行うユニットは、たとえば二値化フィルター、膨張フィルター等、複数の種類設けることができる。デフレクトメトリ処理による検査画像の生成は、上述したように複数の処理を経るので、処理毎にユニットを設けてもよく、正反射成分画像を生成するユニット、拡散反射成分画像を生成するユニット、参照位相差分画像を生成するユニット等を設けることができる。
【0121】
（設定装置４の構成）
設定装置４は、ユーザにより設定された各設定項目の設定値と、ＤｅｖｉｃｅＸＭＬファイル３１ｃに含まれる各設定項目に対応するレジスタ情報を示すデータを撮像部３に送信し、当該撮像部３の設定を行うための装置である。
設定装置４は、ユーザにより設定された各設定項目の設定値と、ＤｅｖｉｃｅＸＭＬファイル３１ｃに含まれる各設定項目に対応するレジスタ情報を示すデータを撮像部３に送信し、当該撮像部３の設定を行うための装置である。
【0122】
図７に示すように、設定装置４は、ＵＩ生成部４ａを備えている。ＵＩ生成部４ａは、各種ユーザーインターフェース画像を生成する部分である。ＵＩ生成部４ａで生成された各種ユーザーインターフェース画像は表示部５に表示される。
【0123】
ユーザーインターフェース画像上で、編集対象の画像を切り替えることや、設定項目の表示及び変更を行うこと、編集対象である画像を表示することができる。設定項目としては、例えば、位置補正設定やフィルター処理設定等があり、位置補正設定に対応するＦｅａｔｕｒｅとして、位置補正を有効にするか否かの選択を行う部分と、位置補正ツールの種別選択を行う部分とが割り当てられる。また、フィルター処理設定に対応するＦｅａｔｕｒｅとして、選択されたフィルターの種類と、抽出サイズや抽出色といったフィルターの設定に関するパラメータを選択、調整する部分とが割り当てられる。
【0124】
例えば、ユーザが任意の画像を選択すると、内部的には、その画像を生成するために使用する前処理モジュールに対応したインデックスの値に、設定対象を指定するセレクタの値が切り替わり、これにより、設定可能な内容が画像に応じて切り替わる。設定対象を指定するセレクタの値が指定されると、その値に対応したセレクタが指し示す前処理モジュールの一つ又は複数のＦｅａｔｕｒｅを読み取り、設定項目を反映した画像を生成して表示させるとともに、位置補正やフィルター設定としてそれぞれのパラメータ値を表示する。位置補正やフィルター設定のパラメータ値をユーザが操作すると、その操作が受け付けられて、設定対象を指定するセレクタの値に対応した前処理モジュールに該当するユニットの設定項目が変更される。
【0125】
セレクタの値からアクセス対象のユニットを特定する方法は、以下の方法を使用することができる。すなわち、前処理モジュールは複数のユニットから構成されており、前処理モジュールのインデックスを切り替えるセレクタは、これらユニットで共通したものを使用することができ、前処理モジュールを構成する複数のユニットに対して、どのＦｅａｔｕｒｅがどのユニットに属するかは、Ｆｅａｔｕｒｅ名称によって一意に定まるように命名することが可能である。これにより、セレクタの値と、編集対象として選択されているＦｅａｔｕｒｅの組合せからアクセス対象のユニットを特定することができる。
【0126】
したがって、ユーザが撮像部３の設定項目に対して設定値の変更を行うと、ユーザにより設定された各設定項目の設定値と、ＤｅｖｉｃｅＸＭＬファイルに含まれる各設定項目に対応するレジスタ情報を示すデータが撮像部３に送信されて、撮像部３の設定を行うことができるので、標準化規格に適合した撮像部３であれば設定装置４側から設定値を変更することができ、撮像部３の機種選定の自由度が向上する。
【0127】
また、セレクタの値の組合せによって、逐次的に実行される多段階の処理の一部を一意に特定することができるので、標準化規格に適合した撮像部３で、例えば、フォトメトリックステレオやデフレクトメトリの原理を利用した検査画像の生成、マルチスペクトルイメージング、生成後の検査画像にフィルター処理を施すといった複数段階の処理が行えるようになる。
【0128】
（検査設定部４００の具体的構成例）
以下に設定装置４の具体的構成例について説明する。図７に示すように、設定装置４は検査設定部４００を備えている。検査設定部４００は、設定装置４にてユーザ操作に基づく各種検査設定を行う部分であり、図１１に示すように、オブジェクト生成手段４０１と、表示手段４０２と、姿勢調整手段４０３と、領域指定受付手段４０４と、要素生成手段４０５と、領域設定手段４０６とを備えている。検査設定部４００は、設定装置４にインストールされたプログラムを実行することで設定装置４に構築され、当該プログラムを設定装置４上で実行することにより、図示するように各手段４０１～４０６が機能する。図１１では、便宜上、手段４０１～４０６を分けて記載しているが、１つの手段が複数の機能を有していてもよく、図１１は概念的なものである。また、各手段４０１～４０６の一部がハードウェアで構成されていてもよい。
以下に設定装置４の具体的構成例について説明する。図７に示すように、設定装置４は検査設定部４００を備えている。検査設定部４００は、設定装置４にてユーザ操作に基づく各種検査設定を行う部分であり、図１１に示すように、オブジェクト生成手段４０１と、表示手段４０２と、姿勢調整手段４０３と、領域指定受付手段４０４と、要素生成手段４０５と、領域設定手段４０６とを備えている。検査設定部４００は、設定装置４にインストールされたプログラムを実行することで設定装置４に構築され、当該プログラムを設定装置４上で実行することにより、図示するように各手段４０１～４０６が機能する。図１１では、便宜上、手段４０１～４０６を分けて記載しているが、１つの手段が複数の機能を有していてもよく、図１１は概念的なものである。また、各手段４０１～４０６の一部がハードウェアで構成されていてもよい。
【0129】
（オブジェクト生成手段４０１の構成）
オブジェクト生成手段４０１は、取得部Ａにより取得された高さデータに基づいて、ワークＷを立体的に表した三次元オブジェクトを生成する手段である。三次元オブジェクトとしては、高さデータを三角形の平面で繋げて表示する三次元ポリゴン表示であってもよいし、各高さデータを１画素ごとに表示した三次元点群（ポイントクラウド）表示でもよい。
オブジェクト生成手段４０１は、取得部Ａにより取得された高さデータに基づいて、ワークＷを立体的に表した三次元オブジェクトを生成する手段である。三次元オブジェクトとしては、高さデータを三角形の平面で繋げて表示する三次元ポリゴン表示であってもよいし、各高さデータを１画素ごとに表示した三次元点群（ポイントクラウド）表示でもよい。
【0130】
ここで、２．５Ｄ（２．５次元）データについて説明する。一般的に、立体物をモニタ等に表示する際には、３Ｄ（三次元）表示が用いられており、この三次元表示ではＸ，Ｙ，Ｚの三次元座標を保持してデータを扱っている。これに対し、２．５Ｄは、３Ｄの中で、ある程度、２Ｄに近い制約があり、１画素に１つの高さデータが割り当てられている。２．５Ｄは、３Ｄに比べてデータの自由度は低い反面、計測処理が行い易いという特徴があり、本例でも計測処理には２．５Ｄデータを用いる場合がある。２．５Ｄでは、カメラから見える部分しか計測しないため、物体の裏側の座標データは存在しないが、上記三次元ポリゴン表示や三次元点群表示等によって立体的な表示可能である。
【0131】
２Ｄデータを使用することで、ワークＷにおける画像検査の対象となる対象領域（検査領域）について、例えば濃淡検査、パターンサーチ、エッジ抽出、ブロブ、ＯＣＲ等の計測が可能になる。また、２．５Ｄデータを使用することで、対象領域について、例えば高さ計測、３Ｄサーチ、プロファイル計測、３Ｄブロブ等の計測が可能になる。２Ｄデータと２．５Ｄデータとでデータの種別は異なっているが、カメラ３１の画素単位でデータを取り扱う点では同じなため、対象領域データ自体は変わらない。
【0132】
２Ｄデータや２．５Ｄデータに各種フィルター処理を実行してもよい。例えば、２Ｄデータに対してぼかし処理を実行したり、２．５Ｄデータにスムージングを実行したり、２．５Ｄデータに２Ｄ画像変換を実行して２Ｄデータに変換することもできる。フィルター処理は、実行する計測の種類に応じて変えればよい。
【0133】
（表示手段４０２の構成）
表示手段４０２は、設定装置４のモニタである表示部５を制御する手段であり、例えばオブジェクト生成手段４０１により生成された三次元オブジェクトを表示部５に表示させる。また、表示手段４０２は、後述する要素生成手段４０５により生成された様々な視点特定要素を、三次元オブジェクト上に重ねて表示部５に表示させることもできる。
表示手段４０２は、設定装置４のモニタである表示部５を制御する手段であり、例えばオブジェクト生成手段４０１により生成された三次元オブジェクトを表示部５に表示させる。また、表示手段４０２は、後述する要素生成手段４０５により生成された様々な視点特定要素を、三次元オブジェクト上に重ねて表示部５に表示させることもできる。
【0134】
（姿勢調整手段４０３の構成）
姿勢調整手段４０３は、表示手段４０２により表示部５に表示された三次元オブジェクトの姿勢を調整するための手段である。三次元オブジェクトの姿勢は、当該三次元オブジェクトをＸ軸、Ｙ軸、Ｚ軸の各軸周りに回転させたり、Ｘ方向、Ｙ方向、Ｚ方向の任意の方向へ移動させることによって調整できる。
姿勢調整手段４０３は、表示手段４０２により表示部５に表示された三次元オブジェクトの姿勢を調整するための手段である。三次元オブジェクトの姿勢は、当該三次元オブジェクトをＸ軸、Ｙ軸、Ｚ軸の各軸周りに回転させたり、Ｘ方向、Ｙ方向、Ｚ方向の任意の方向へ移動させることによって調整できる。
【0135】
具体的には、姿勢調整手段４０３は、例えば、キーボード６やマウス７の操作状態を検出することが可能になっており、表示部５に表示された三次元オブジェクト上でマウス７をクリック操作、ドラッグ操作等すると、三次元オブジェクトをＸ軸、Ｙ軸、Ｚ軸の任意の軸周りに、任意の角度だけ回転させることができる。また、三次元オブジェクト上のマウス７の操作により、三次元オブジェクトをＸ方向、Ｙ方向、Ｚ方向の任意の方向に、任意の移動量だけ移動させることができる。
【0136】
また、キーボード６やマウス７の操作により、三次元オブジェクトの各軸周りの回転角度を数値で設定したり、任意の方向への移動量を数値で設定することもできる。設定された数値は姿勢調整手段４０３で受け付けられる。姿勢調整手段４０３は、受け付けた数値に対応するように三次元オブジェクトを回転させたり、移動させることにより、三次元オブジェクトの姿勢を調整する。上述した三次元オブジェクトの姿勢調整方法は、例であり、他の方法によって三次元オブジェクトの姿勢を調整してもよい。
【0137】
三次元オブジェクトの姿勢を調整することで、ユーザは三次元オブジェクトを所望の方向から見た状態で表示部５に表示させることができる。これにより、後述の対象領域の指定操作が容易になる。
【0138】
（設定時における対象領域の指定）
領域指定受付手段４０４は、姿勢調整手段４０３により姿勢が調整された三次元オブジェクト上で、画像検査の対象となる対象領域の指定を受け付けるための手段である。対象領域は、後述するようにユーザの操作によって作成されるものであり、例えば線状の領域や図形で囲んだ領域等があり、ある範囲を持った領域であれば、その形状や大きさは自由である。線状の領域は、直線状の領域であってもよいし、曲線状の領域であってもよい。曲線状とは、例えば円または円弧状であってもよいし、自由曲線であってもよい。図形で囲んだ領域の例としては、例えば円、楕円、円弧、多角形等で囲んだ領域を挙げることができる。
領域指定受付手段４０４は、姿勢調整手段４０３により姿勢が調整された三次元オブジェクト上で、画像検査の対象となる対象領域の指定を受け付けるための手段である。対象領域は、後述するようにユーザの操作によって作成されるものであり、例えば線状の領域や図形で囲んだ領域等があり、ある範囲を持った領域であれば、その形状や大きさは自由である。線状の領域は、直線状の領域であってもよいし、曲線状の領域であってもよい。曲線状とは、例えば円または円弧状であってもよいし、自由曲線であってもよい。図形で囲んだ領域の例としては、例えば円、楕円、円弧、多角形等で囲んだ領域を挙げることができる。
【0139】
ユーザは、ワークＷを立体的に表した三次元オブジェクトを所望の方向から見ることができるので、ワークＷに存在する小さな段差のような部分であっても高低差を容易にかつ確実に把握できる。そして、ワークＷの高低差を把握しながら対象領域を指定できるので、対象領域をワークＷ上のどこに対してどのような大きさ乃至形状で指定したのか、ユーザが容易に把握できる。
【0140】
対象領域の新規作成要領について、図１２に示すフローチャートに基づいて説明する。このフローチャートは、ユーザが対象領域の新規作成を開始する操作を行うことでスタートする。対象領域の新規作成を開始する操作としては、例えば開始ボタン（図示せず）の押下等を挙げることができる。
【0141】
スタート後のステップＳＣ１では、ユーザによるマウス７のクリック操作を検出し、クリックされた点の座標を取得する。ステップＳＣ１ではクリックされた点のＸＹ座標を取得することになる。
【0142】
その後、ステップＳＣ２に進み、三次元オブジェクトを形成している三次元画像データとヒット判定する。ここでは、ステップＳＣ１で取得したＸＹ座標が、三次元画像データにヒットしているか否か、３Ｄヒット判定を行う。３Ｄヒット判定については、図１３に基づいて説明する。表示部５上で点Ｐ１をクリックして点Ｐ１のＸＹ座標を取得すると、三次元空間で点Ｐ１からＺ方向に延長した延長線Ｌ１を仮想的に生成する。Ｚ方向は、カメラ３１の撮像軸方向と一致している。延長線Ｌ１がワークＷ１と交わればヒット点ＰＨが存在するのでヒットしたと判定し、一方、延長線Ｌ１がワークＷ１と交わらなければヒットしないと判定する。
【0143】
図１２のステップＳＣ２を経た後、ステップＳＣ３に進む。ステップＳＣ３では、ステップＳＣ２においてヒット点が存在したか否かを判定する。ヒット点が存在しなければエンドに進み、ユーザは別の箇所をクリック操作することになる。ステップＳＣ３でＹＥＳと判定されてヒット点が存在した場合には、ステップＳＣ４に進み、ヒット点ＰＨのＸＹ座標を取得し、二次元表示と同様に扱う。つまり、表示部５の表示領域におけるヒット点ＰＨのＸＹ座標に対応する箇所に点Ｐ１を表示する。
【0144】
ステップＳＣ４の後、ステップＳＣ５に進み、点の数が所定以上であるか否かを判定する。例えば直線状の対象領域を作成する場合には、直線を決定するための点が少なくとも２つ必要であり、この場合には、ステップＳＣ５において点の数が２点であるか否かを判定する。また、例えば三角形状の対象領域や円弧、円形状の対象領域を作成する場合に３点必要であれば、ステップＳＣ５において点の数が３点であるか否かを判定する。どのような形状の対象領域を作成するかは、ステップＳＣ１の前にユーザが選択できるようになっている。選択された対象領域の形状に応じてステップＳＣ５の判定が変更される。
【0145】
ステップＳＣ５でＮＯと判定されて点の数が所定以上でない場合にはステップＳＣ１に進んで次の点のクリック操作を受け付ける一方、ステップＳＣ５でＹＥＳと判定されて点の数が所定以上である場合には対象領域を特定できるので、対象領域の作成を完了させる。作成された対象領域はユーザによって指定されたものとして、ステップＳＣ６に進む。ステップＳＣ６では、上述のようにしてユーザによって作成された対象領域が追加される。ステップＳＣ７では、ステップＳＣ６で追加された対象領域データを保存する。対象領域データとは、対象領域の形状、位置、大きさ等に関するデータである。
【0146】
（直線状の対象領域の作成）
次に、三次元オブジェクトの一例を用いて対象領域の作成の具体例について説明する。まず、直線状の対象領域の作成の具体例について、図１４に基づいて説明する。図１４の上側には、表示手段４０２によって表示部５に表示されるものとして、ワークＷを示す三次元オブジェクト２００を示しており、図１４の下側には、表示手段４０２によって表示部５に表示されるものとしてワークＷの二次元画像（高さ画像）２０１を示している。このような二次元画像２０１は、取得部Ａによって生成することができる。
次に、三次元オブジェクトの一例を用いて対象領域の作成の具体例について説明する。まず、直線状の対象領域の作成の具体例について、図１４に基づいて説明する。図１４の上側には、表示手段４０２によって表示部５に表示されるものとして、ワークＷを示す三次元オブジェクト２００を示しており、図１４の下側には、表示手段４０２によって表示部５に表示されるものとしてワークＷの二次元画像（高さ画像）２０１を示している。このような二次元画像２０１は、取得部Ａによって生成することができる。
【0147】
表示手段４０２は、三次元オブジェクト２００と二次元画像２０１とを表示部５に切替表示可能に構成されている。例えばユーザによる切替操作または選択操作により、三次元オブジェクト２００のみを表示部５に表示させたり、二次元画像２０１のみを表示部５に表示させることができる。また、三次元オブジェクト２００と二次元画像２０１との両方を表示部５に表示させることもできる。切替操作または選択操作は、例えば切替ボタンの操作や選択ボタンの操作等を挙げることができる。
【0148】
直線状の対象領域を作成する場合には、はじめに、ユーザが対象領域の形状の選択枝の中から「直線状」を選択する。その後、マウス７のポインタ７ａを三次元オブジェクト２００上に置くと、ポインタ７ａの先端から上方向（Ｚ方向）に延びる線分Ｌ２が描画される。ポインタ７ａを移動させると、線分Ｌ２も同じように移動する。線分Ｌ２の延びる方向はカメラ３１の撮像素子３１ｄが位置する方向であり、撮像素子３１ｄの撮像軸に沿って所定長さ延びている。
【0149】
マウス７をプレス操作すると、その時点のポインタ７ａが示す点Ｐ１のＸＹ座標に基づいて図１２に示すステップＳＣ２のヒット判定が行われる。その結果、点Ｐ１が三次元オブジェクト２００にヒットしている場合には点Ｐ１が設定されるが、ヒットしていない場合には点Ｐ１は設定されない。この点Ｐ１が始点となる。また、マウス７をプレス操作すると、線分Ｌ２の色が変化して線分Ｌ２が点Ｐ１の位置に固定され、点Ｐ１が設定されたことが視覚的に分かるようになっている。なお、プレス操作とは、マウス７のボタンを押すことである。
【0150】
ユーザがマウス７をプレス操作したまま、マウス７をドラッグ操作してポインタ７ａを点Ｐ１から離れたところまで移動させる。ドラッグ操作する間、ポインタ７ａの先端から上方向に延びる線分Ｌ４が線分Ｌ２とは別に描画される。その後、マウス７をリリース操作すると、リリース操作した時点のポインタ７ａが示す点Ｐ３のＸＹ座標に基づいて図１２に示すステップＳＣ２のヒット判定が行われる。点Ｐ３が三次元オブジェクト２００にヒットしている場合には点Ｐ３が終点として設定されるとともに、線分Ｌ４の色が変わり、線分Ｌ４が点Ｐ３の位置に固定される。ヒットしていない場合には、点Ｐ３は設定されない。線分Ｌ４の上端と線分Ｌ２の上端とは同じ高さである。
【0151】
点Ｐ３が設定されると、線分Ｌ４の上端と線分Ｌ２の上端とを結ぶ線分（上側ＸＹ方向線）Ｌ５が描画される。三次元オブジェクト２００上には、線分Ｌ５を高さ方向に投影した位置に点Ｐ１から点Ｐ３まで延びる投影線Ｌ６が描画される。投影線Ｌ６は、三次元オブジェクト２００に重ねて表示され、三次元オブジェクト２００に沿った形状になる。三次元オブジェクト２００の表面における投影線Ｌ６が描画された部分が対象領域となる。
【0152】
つまり、領域指定受付手段４０４は、三次元オブジェクト２００上で始点（点Ｐ１）と終点（点Ｐ３）の指定を受け付けた場合、高さデータの二次元座標において、点Ｐ１から点Ｐ３まで延びる投影線Ｌ６の位置に対応する座標に対象領域を設定する。このように三次元オブジェクト２００上で対象領域の指定操作を行うことで、二次元画像２０１上では指定しにくいワークＷの壁の側面などを対象領域として容易に指定できる。
【0153】
点Ｐ１を始点とする線分Ｌ２と、点Ｐ３を始点とする線分Ｌ４とは互いに平行であり、ともに撮像素子３１ｄの撮像軸に沿って当該撮像素子３１ｄへ向けて延びる線分である。ユーザは、線分Ｌ２及び線分Ｌ４を参照することで、撮像素子３１ｄの位置にある視点を特定することができる。線分Ｌ２及び線分Ｌ４は、要素生成手段４０５が生成する視点特定要素に含まれる。要素生成手段４０５は、領域指定受付手段４０４により対象領域の指定を受け付けた場合に、撮像素子３１ｄの位置にある視点を特定するための視点特定要素として線分Ｌ２及び線分Ｌ４を生成するための手段である。要素生成手段４０５で生成された視点特定要素は、表示手段４０２によって表示部５に表示されるので、ユーザは対象領域の作成中に撮像素子３１ｄの方向を把握できる。
【0154】
点Ｐ３を設定すると、図形要素Ｄ１が三次元オブジェクト２００に重ねて表示される。図形要素Ｄ１は、上記視点特定要素に含まれるものであり、この図形要素Ｄ１も領域指定受付手段４０４により生成されて表示手段４０２によって表示部５に表示される。図形要素Ｄ１は線よりも大きな面積を持っており、本例では、投影線Ｌ６から線分Ｌ２及び線分Ｌ４の延長方向と同方向に延びる平面、即ち撮像素子３１ｄの撮像軸に沿って延びる平面で構成されている。線分Ｌ２と線分Ｌ４との間に図形要素Ｄ１が形成されていて図形要素Ｄ１の両縁部が線分Ｌ２及び線分Ｌ４によって定められているので、図形要素Ｄ１は線分Ｌ２と線分Ｌ４とに基づいて形成される要素である。また、図形要素Ｄ１は、必須ではないが、投影線Ｌ６から下方向にも描画される。
【0155】
図形要素Ｄ１の上端部の高さは、線分Ｌ２及び線分Ｌ４の上端部の高さと同じである。線分Ｌ２及び線分Ｌ４の長さは、高さ画像における最大高さや最小高さに応じて決定される。すなわち、要素生成手段４０５は、線分Ｌ２及び線分Ｌ４の長さを決定するに際し、まず、高さデータに基づいて高さ画像における最大高さや最小高さを取得する。次いで、要素生成手段４０５は、取得した最大高さと最小高さの差が大きければ大きいほど線分Ｌ２及び線分Ｌ４の長さを長くし、取得した最大高さと最小高さの差が小さければ小さいほど線分Ｌ２及び線分Ｌ４の長さを短くする。線分Ｌ２及び線分Ｌ４の長さは当該線分Ｌ２及び線分Ｌ４の上端部の高さによって変化するので、要素生成手段４０５は、高さ画像における最大高さに応じて線分Ｌ２及び線分Ｌ４の上端部の高さを決定するということもできる。同様に、要素生成手段４０５は、高さ画像における最大高さに応じて図形要素Ｄ１の上端部の高さを決定するということもできる。
【0156】
高さ画像における最大高さや最小高さに応じて線分Ｌ２及び線分Ｌ４の長さを決定できるので、ワークＷの高さに対して線分Ｌ２及び線分Ｌ４が短すぎたり、長すぎたりすることが無くなり、線分Ｌ２及び線分Ｌ４が見やすくなる。同様に、図形要素Ｄ１の上下方向の寸法も決定されるので、図形要素Ｄ１も見やすくなる。また、線分Ｌ２及び線分Ｌ４の長さの上限や下限を予め設定しておいてもよい。
【0157】
また、例えば円弧等の曲線状の対象領域を作成することもできる。この場合、図形要素Ｄ１は曲面で構成されることになる。また、図形要素Ｄ１は平面と曲面とで構成されていてもよい。
【0158】
図形要素Ｄ１は半透明にすることができる。半透明とは、図形要素Ｄ１の向こう側を、当該図形要素Ｄ１を透かして視認可能なことである。図形要素Ｄ１の透明度は低くてもよいし、高くてもよく、ユーザが表示部５に表示された図形要素Ｄ１の向こう側に位置するワークＷの輪郭等を視認可能な程度の透過度であればよい。図形要素Ｄ１は、ワークＷの色とは異なる色に着色されていてもよく、これにより、図形要素Ｄ１とワークＷとの識別が容易になる。図形要素Ｄ１と、線分Ｌ２、Ｌ４、Ｌ５とは区別可能な表示形態とされている。本例では、図形要素Ｄ１が半透明で、線分Ｌ２、Ｌ４、Ｌ５が不透明であり、これにより両者の区別が容易になっている。尚、区別可能な表示形態とは、互いの色を変えたり、色の濃さを変えたりする形態であってもよい。
【0159】
視点特定要素は、カメラ３１からワークＷを見た視点を表示するものであればよく、例えば矢印、メッシュ状の図形要素等が含まれていてもよい。図形要素Ｄ１は、例えば透けた白い壁のような要素であってもよい。
【0160】
図形要素Ｄ１は半透明でなくてもよい。この場合、図形要素Ｄ１を透かして向こう側を視認することができなくなるが、図形要素Ｄ１をワークＷの色と異なる色に着色しておけば、ワークＷとの識別は可能である。
【0161】
三次元オブジェクト２００上で点Ｐ１及び点Ｐ３が指定されると、図１４の下側に示すように、二次元画像２０１上で点Ｐ１及び点Ｐ３が表示されるとともに、点Ｐ１と点Ｐ３とを結ぶ線分Ｌ５が描画される。線分Ｌ５の真下に投影線Ｌ６が位置する。これにより、対象領域を三次元オブジェクト２００上だけでなく、二次元画像２０１上でも把握できる。
【0162】
また、二次元画像２０１上で対象領域の指定を受け付けるようにしてもよい。すなわち、二次元画像２０１上で点Ｐ１及び点Ｐ３を指定すると、二次元画像２０１上に線分Ｌ５が描画されるとともに、三次元オブジェクト２００上で点Ｐ１及び点Ｐ３が表示され、投影線Ｌ６及び図形要素Ｄ１も描画される。このように二次元画像２０１上で対象領域を指定することで、三次元オブジェクト２００上では指定しにくいワークＷの穴の中央や段差の奥などを対象領域として容易に指定できる。
【0163】
（矩形状の対象領域の作成）
次に、矩形状の対象領域を作成する場合の具体例について、図１５を参照しながら説明する。まず、ユーザが対象領域の形状の選択枝の中から「矩形状」を選択する。その後、マウス７のポインタ７ａを三次元オブジェクト２００上に置くと、直線状の場合と同様に、ポインタ７ａの先端から上方向に延びる線分Ｌ２が描画される。
次に、矩形状の対象領域を作成する場合の具体例について、図１５を参照しながら説明する。まず、ユーザが対象領域の形状の選択枝の中から「矩形状」を選択する。その後、マウス７のポインタ７ａを三次元オブジェクト２００上に置くと、直線状の場合と同様に、ポインタ７ａの先端から上方向に延びる線分Ｌ２が描画される。
【0164】
マウス７をプレス操作すると、その時点のポインタ７ａが示す点Ｐ１のＸＹ座標に基づいて図１２に示すステップＳＣ２のヒット判定が行われる。その結果、点Ｐ１が三次元オブジェクト２００にヒットしている場合には点Ｐ１が設定される。
【0165】
マウス７をプレス操作したまま、マウス７をドラッグ操作してポインタ７ａを点Ｐ１から離れたところまで移動させる。ドラッグ操作する間もポインタ７ａの先端から上方向に延びる線分Ｌ４が描画される。その後、マウス７をリリース操作すると、リリース操作した時点のポインタ７ａが示す点Ｐ３のＸＹ座標に基づいて図１２に示すステップＳＣ２のヒット判定が行われる。点Ｐ３が三次元オブジェクト２００にヒットしている場合には点Ｐ３が設定される。
【0166】
点Ｐ３が設定されると、点Ｐ１から点Ｐ３まで延びる仮想線（非表示）を対角線とした矩形枠Ｌ７が描画される。さらに、矩形枠Ｌ７の別の２つの頂点から延びる線分Ｌ１０、Ｌ１１を描画する。線分Ｌ１０、Ｌ１１は、線分Ｌ２、Ｌ４と平行であり、線分Ｌ２、Ｌ４、Ｌ１０、Ｌ１１がそれぞれ矩形枠Ｌ７の頂点に配置される。
【0167】
また、三次元オブジェクト２００上には、矩形枠Ｌ７をＺ方向（高さ方向）に投影した位置に投影線Ｌ８が描画される。投影線Ｌ８は、三次元オブジェクト２００に重ねて表示され、三次元オブジェクト２００に沿った形状になる。三次元オブジェクト２００の表面における投影線Ｌ８で囲まれた部分が対象領域となる。
【0168】
点Ｐ３を設定すると、図形要素Ｄ２が三次元オブジェクト２００に重ねて表示される。図形要素Ｄ２は、上記視点特定要素に含まれるものである。図形要素Ｄ２は投影線Ｌ８から線分Ｌ２及び線分Ｌ４の延長方向と同方向に延びる４つの平面が組み合わされて構成されている。４つの平面は、線分Ｌ２と線分Ｌ１０との間の平面、線分Ｌ２と線分Ｌ１１との間の平面、線分Ｌ４と線分Ｌ１０との間の平面、線分Ｌ４と線分Ｌ１１との間の平面であり、図形要素Ｄ２は線分Ｌ２、Ｌ４、Ｌ１０、Ｌ１１に基づいて形成される要素である。また、図形要素Ｄ２は、必須ではないが、投影線Ｌ８から下方向にも描画される。
【0169】
対象領域は強調表示してもよい。例えば、対象領域に対して他の領域とは異なる色に着色したり、所定のパターンを付してもよい。
【0170】
（対象領域の変更）
次に、上述のようにして指定した対象領域の位置や大きさ、形状を変更する場合について、図１６及び図１７に基づいて説明する。図１６は、対象領域の変更手順の第１段階を示しており、この第１段階を経て、図１７に示す第２段階に進む。以下に説明する例では、ユーザがマウス７を使用して対象領域の変更を行う場合について説明するが、マウス７以外のタッチ操作パネル等の操作によっても対象領域の変更は可能である。
次に、上述のようにして指定した対象領域の位置や大きさ、形状を変更する場合について、図１６及び図１７に基づいて説明する。図１６は、対象領域の変更手順の第１段階を示しており、この第１段階を経て、図１７に示す第２段階に進む。以下に説明する例では、ユーザがマウス７を使用して対象領域の変更を行う場合について説明するが、マウス７以外のタッチ操作パネル等の操作によっても対象領域の変更は可能である。
【0171】
図１６に示すフローチャートのステップＳＤ１では、ユーザがマウス７をクリック操作した時点のポインタの座標（ＸＹ座標）を取得する。その後、ステップＳＤ２では、ステップＳＤ１で取得した座標で特定される点からＸＹ座標を固定してＺ方向に延びる線の３Ｄヒット判定を行う。３Ｄヒット判定の手法は、図１２のフローチャートのステップＳＣ２と同様であり、上記Ｚ方向に延びる線が、三次元画像データにヒットしているか否かを判定する。
【0172】
ステップＳＤ２を経た後、ステップＳＤ３に進む。ステップＳＤ３では、ステップＳＤ２においてヒットしたか否かを判定する。ヒットしなければエンドに進み、ユーザは別の箇所をクリック操作することになる。ステップＳＤ３でＹＥＳと判定されてヒットした場合には、ステップＳＤ４に進む。ステップＳＤ４では、２段階ヒット判定、即ち３Ｄヒット判定後、２Ｄヒット判定を行う。
【0173】
図１８Ａは、３Ｄヒット判定の概念図である。直線Ｌ２０は、ステップＳＤ１で取得した座標で特定される点からＸＹ座標を固定してＺ方向に延びる線であり、平面Ｄ３はＺ方向面であり、平面Ｄ４は、ＸＹ方向面である。まず、平面Ｄ４の上端との３Ｄヒット判定を行う。すなわち、対象領域の線は様々な種類があり複雑であるが、ＸＹ方向線に限定されていて、描画されるＸ座標も決まっている。このことを利用して、各Ｚ座標の平面Ｄ３との３Ｄヒット判定を行い、そのヒット判定で得られたヒット点のＸＹ座標を取得する。その後、図１８Ｂに示すように、３Ｄヒット判定で取得されたＸＹ座標を用い、２Ｄヒット判定を行う。これにより、３Ｄヒット判定が容易に実装可能になる。
【0174】
図１６に示すステップＳＤ４を経た後、ステップＳＤ５に進む。ステップＳＤ５では、ステップＳＤ４においてヒットしたか否かを判定する。ヒットしなければエンドに進み、ユーザは別の箇所をクリック操作することになる。ステップＳＤ５でＹＥＳと判定されてヒットした場合には、ステップＳＤ６に進む。
【0175】
ステップＳＤ６では、ＸＹ方向面の下端について、ステップＳＤ４と同様に３Ｄヒット判定を行い、その後、２Ｄヒット判定を行う。ステップＳＤ６を経た後、ステップＳＤ７に進む。ステップＳＤ７では、ステップＳＤ６においてヒットしたか否かを判定する。ヒットしなければエンドに進み、ユーザは別の箇所をクリック操作することになる。ステップＳＤ６でＹＥＳと判定されてヒットした場合には、ステップＳＤ８に進む。ステップＳＤ８では、ヒット点のＸＹＺ座標を保存する。以上のステップがユーザのクリック操作によって自動的に実行される。
【0176】
ユーザが上記クリック操作を行ったままマウス７を移動（ドラッグ操作）することによって対象領域を移動させることができる。ドラッグ操作を行うと、図１７に示すフローチャートのステップＳＥ１に進む。ステップＳＥ１では、ドラッグ操作によって移動したポインタの座標（ＸＹ座標）を取得する。その後、ステップＳＥ２に進み、図１６に示すフローチャートのステップＳＤ８で保存したヒット点のＸＹＺ座標のＺ座標面との３Ｄヒット判定を行う。
【0177】
ステップＳＥ２を経た後、ステップＳＥ３に進む。ステップＳＥ３では、ステップＳＥ２においてヒットしたか否かを判定する。ヒットしなければエンドに進み、ユーザは別の箇所へドラッグ操作することになる。ステップＳＥ２でＹＥＳと判定されてヒットした場合には、ステップＳＥ４に進む。
【0178】
ステップＳＥ４では、視点特定要素及び対象領域をヒット座標までＸＹ平行移動させる。つまり、ドラッグ操作後のポインタの座標でヒットすれば、その座標まで対象領域及び視点特定要素（図１４における線分Ｌ２、Ｌ４、Ｌ１０、Ｌ１１、図形要素Ｄ１、Ｄ２）を平行移動させるので、対象領域及び視点特定要素はポインタに追従するようにほぼリアルタイムで移動する。これにより、ユーザは対象領域が所望の位置に配置されるように、対象領域を三次元オブジェクト上で位置調整できる。
【0179】
また、ステップＳＥ４では、視点特定要素をＸ方向またはＹ方向への平行移動のみ許容し、Ｚ方向（高さ方向）への移動を禁止している。すなわち、視点特定要素のＺ方向の位置が移動前後で変化しないようにしている。視点特定要素は、画像検査の対象となる対象領域を、二次元座標上に配置された高さデータに設定する際に表示される要素であることから、三次元オブジェクトのＸ方向またはＹ方向に移動させればよく、視点が位置する方向（三次元オブジェクトの高さ方向）へ移動させる必要はなく、仮に視点特定要素を三次元オブジェクトの高さ方向に移動可能にすると、対象領域の設定操作が煩雑になることが考えられる。本実施形態では、視点特定要素を三次元オブジェクトのＸ方向またはＹ方向にのみ移動可能であるため、対象領域の設定操作が容易になる。
【0180】
ステップＳＥ４は、対象領域を平行移動させただけであり、対象領域の位置を確定させる確定はまだ行われていない状態である。ステップＳＥ４の後、ステップＳＥ５に進み、ユーザによる確定操作が行われたか否かを判定する。確定操作は、例えばマウス７のボタンを離す操作（リリース操作）等を挙げることができるが、他の操作であってもよい。
【0181】
ステップＳＥ５でＮＯと判定されて確定操作が行われていない場合には、ステップＳＥ１に戻る一方、ステップＳＥ５でＹＥＳと判定されて確定操作が行われた場合には、ステップＳＥ６に進み、平行移動後の対象領域に変更する。ステップＳＥ７では、ステップＳＥ６で変更された対象領域データを保存する。
【0182】
図１９、図２０は、直線状の対象領域の位置調整を行う場合の具体例１、２を示している。具体例１にかかる図１９の左側の図は、対象領域の位置調整前を示しており、右側の図は、対象領域の位置調整後を示している。図１９の左側の図では、マウス７のポインタ７ａを線分Ｌ５上に移動させた後（マウスホバー後）、プレス操作している。これにより、線分Ｌ２及び線分Ｌ４の色が変わり、ユーザによって選択されたことが分かるようになっている。
【0183】
その後、マウス７をドラッグ操作すると、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６が一体でポインタ７ａの移動軌跡に沿って移動するが、その移動はＺ方向に禁止されており、ＸＹ平行移動である。ユーザは、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６のいずれにポインタ７ａを置いてドラッグ操作してもよい。線分Ｌ５をドラッグ操作した場合、移動先においても、線分Ｌ５がポインタ７ａ上に位置するように、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６をＸＹ平行移動させる。また、投影線Ｌ６をドラッグ操作した場合、移動先においても、投影線Ｌ６がポインタ７ａ上に位置するように、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６をＸＹ平行移動させる。また、線分Ｌ２または線分Ｌ４をドラッグ操作した場合、移動先においても、線分Ｌ２または線分Ｌ４がポインタ７ａ上に位置するように、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６をＸＹ平行移動させる。また、図形要素Ｄ１のある点をドラッグ操作した場合、移動先においても、図形要素Ｄ１の同じ点がポインタ７ａ上に位置するように、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６をＸＹ平行移動させる。
【0184】
移動途中においても、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６を描画することができる。次いで、ユーザがリリース操作を行うと、線分Ｌ２、線分Ｌ４、線分Ｌ５、図形要素Ｄ１、投影線Ｌ６がＸＹ平行移動した後の状態で固定される。
【0185】
具体例２にかかる図２０の左側の図は、対象領域の位置調整前を示しており、右側の図は、対象領域の位置調整後を示している。図２０の左側の図では、マウス７のポインタ７ａを線分Ｌ４上に移動させた後（マウスホバー後）、プレス操作している。これにより、線分Ｌ２及び線分Ｌ４の色が変わり、ユーザによって選択されたことが分かるようになっている。
【0186】
その後、マウス７をドラッグ操作すると、線分Ｌ２は固定された状態で、線分Ｌ４がＸＹ平行移動する。線分Ｌ５、投影線Ｌ６は、線分Ｌ２から移動後の線分Ｌ４まで延びるように描画される。また、図形要素Ｄ１も線分Ｌ４の移動に応じて描画される。次いで、ユーザがリリース操作を行うと、線分Ｌ４がＸＹ平行移動した後の状態で固定される。これにより、対象領域の位置を変更するだけでなく、対象領域の長さを変更することができる。
【0187】
図２１は、矩形状の対象領域の位置調整を行う具体例を示す図である。図２１の左側の図は、対象領域の位置調整前を示しており、右側の図は、対象領域の位置調整後を示している。図２１の左側の図では、マウス７のポインタ７ａを例えば矩形枠Ｌ７上に移動させた後（マウスホバー後）、プレス操作している。これにより、線分Ｌ２、線分Ｌ４、線分Ｌ１０、線分Ｌ１１の色が変わり、ユーザによって選択されたことが分かるようになっている。加えて、プレス操作によって中間線Ｌ９も描画される。中間線Ｌ９は、線分Ｌ２と線分Ｌ１１との間、線分Ｌ２と線分Ｌ１０との間、線分Ｌ４と線分Ｌ１０との間、線分Ｌ４と線分Ｌ１１との間にそれぞれ描画されており、Ｚ方向に延びている。中間線Ｌ９のハンドル（中間点のハンドル）をマウス７でドラッグ操作することにより、矩形枠Ｌ７の幅と高さのどちらか一方のみ変更できる。矩形枠Ｌ７の頂点にもハンドルがあり、この頂点のハンドルをマウス７でドラッグ操作することにより、矩形枠Ｌ７の幅と高さの両方を同時に変更できる。ユーザがリリース操作を行うと、矩形枠Ｌ７の幅と高さが変更された状態で固定される。ハンドルの位置は任意に設定することができる。
【0188】
（有効計測領域の描画）
ワークＷの一部が計測したくない領域の場合がある。その領域を計測対象から外す処理をマスク処理と呼ぶことができ、マスク処理した領域をマスク領域と呼ぶことができる。マスク領域以外の領域を有効計測領域と呼ぶことができる。
ワークＷの一部が計測したくない領域の場合がある。その領域を計測対象から外す処理をマスク処理と呼ぶことができ、マスク処理した領域をマスク領域と呼ぶことができる。マスク領域以外の領域を有効計測領域と呼ぶことができる。
【0189】
三次元オブジェクト上で有効計測領域を描画することでユーザがマスク領域と有効計測領域とを容易に判別できる。三次元オブジェクト上で有効計測領域を描画する場合には、以下の描画フローを適用することができる。まず、内部的に２値画像を作成し、通常領域内を「１」などで塗りつぶす。その後、マスク領域内を「０」で塗りつぶして、通常領域と被っている部分を消す。次いで、２値画像から境界画像を生成する。その境界画像で境界になっている部分に壁面を半透明で三次元描画する。これにより、描画した半透明オブジェクトが少なくなるとともに、単一の色で表現できるため、見やすくなる。
【0190】
（運用時における段差計測手順）
図２２は、画像検査システム１の運用時に直線状の対象領域で段差計測する手順の例を示すフローチャートである。段差計測の前には、ユーザが事前に段差高さの閾値を設定しておく。スタート後のステップＳＦ１では、取得部Ａにより新たに取得された高さデータに基づいてワークＷの２．５Ｄデータを取得する。このとき、２Ｄデータを同時に取得してもよい。ステップＳＦ２では、ステップＳＦ１で取得した２．５Ｄデータに、図１２に示すステップＳＣ６や図７に示すステップＳＦ７で保存した直線状の対象領域データを設定する。このステップＳＦ２は、図１１に示す領域設定手段４０６によって実行されるステップであり、このステップを経ることで、領域指定受付手段４０４により指定された対象領域を、取得部Ａにより取得された高さデータに対して設定することができる。
図２２は、画像検査システム１の運用時に直線状の対象領域で段差計測する手順の例を示すフローチャートである。段差計測の前には、ユーザが事前に段差高さの閾値を設定しておく。スタート後のステップＳＦ１では、取得部Ａにより新たに取得された高さデータに基づいてワークＷの２．５Ｄデータを取得する。このとき、２Ｄデータを同時に取得してもよい。ステップＳＦ２では、ステップＳＦ１で取得した２．５Ｄデータに、図１２に示すステップＳＣ６や図７に示すステップＳＦ７で保存した直線状の対象領域データを設定する。このステップＳＦ２は、図１１に示す領域設定手段４０６によって実行されるステップであり、このステップを経ることで、領域指定受付手段４０４により指定された対象領域を、取得部Ａにより取得された高さデータに対して設定することができる。
【0191】
ステップＳＦ３では、ステップＳＦ２で領域設定手段４０６が設定した対象領域上の高さプロファイルを取得する。ステップＳＦ４では、ステップＳＦ３で取得した高さプロファイルの中で、段差の上側の高さと下側の高さを計測する。ステップＳＦ５では、上側の高さと下側の高さの差により段差高さを算出する。ステップＳＦ３～ＳＦ５は、領域設定手段４０６により設定された対象領域に対して図７に示す画像処理部４Ｂが画像処理を行うステップである。ステップＳＦ６では、事前に設定した閾値範囲と、ステップＳＦ５で算出した段差高さとを比較し、ステップＳＦ５で算出した段差高さが閾値範囲に収まる場合には「良」と判定し、収まらない場合には「不良」と判定する。このステップＳＦ６は、図７に示す検査部４Ａが実行するステップである。
【0192】
ステップＳＦ７では、ステップＳＦ６の判定値を設定装置４が外部機器に出力する。外部機器が不良品の排出機構である場合には、ステップＳＦ８において不良品が排出機構によって搬送用ベルトコンベアＢから排出される。
【0193】
（運用時における傷検査手順）
図２３は、画像検査システム１の運用時に矩形状の対象領域で傷検査する手順の例を示すフローチャートである。傷検査の前には、ユーザが事前に傷量の閾値を設定しておく。スタート後のステップＳＧ１では、取得部Ａにより新たに２Ｄデータを取得する。このとき、２．５Ｄデータを取得してもよい。ステップＳＧ２では、ステップＳＧ１で取得した２Ｄデータに矩形状の対象領域データを設定する。このステップＳＧ２は、図１１に示す領域設定手段４０６によって実行されるステップである。
図２３は、画像検査システム１の運用時に矩形状の対象領域で傷検査する手順の例を示すフローチャートである。傷検査の前には、ユーザが事前に傷量の閾値を設定しておく。スタート後のステップＳＧ１では、取得部Ａにより新たに２Ｄデータを取得する。このとき、２．５Ｄデータを取得してもよい。ステップＳＧ２では、ステップＳＧ１で取得した２Ｄデータに矩形状の対象領域データを設定する。このステップＳＧ２は、図１１に示す領域設定手段４０６によって実行されるステップである。
【0194】
ステップＳＧ３では、ステップＳＧ２で領域設定手段４０６が設定した対象領域内の傷量を、傷計測アルゴリズムを使用して取得する。傷計測アルゴリズムは従来から用いられるものであってもよい。このステップＳＧ３は、領域設定手段４０６により設定された対象領域に対して図７に示す画像処理部４Ｂが画像処理を行うステップである。
【0195】
ステップＳＧ４では、事前に設定した閾値範囲と、ステップＳＧ３で取得した傷量とを比較し、ステップＳＧ３で取得した傷量が閾値範囲に収まる場合には「良」と判定し、収まらない場合には「不良」と判定する。このステップＳＧ４は、図７に示す検査部４Ａが実行するステップである。
【0196】
ステップＳＧ５では、ステップＳＧ４の判定値を設定装置４が外部機器に出力する。外部機器が不良品の排出機構である場合には、ステップＳＧ６において不良品が排出機構によって搬送用ベルトコンベアＢから排出される。
【0197】
（運用時における高さ検査手順）
図２４は、画像検査システム１の運用時に矩形状の対象領域で高さ検査する手順の例を示すフローチャートである。高さ検査の前には、ユーザが事前に高さの閾値を設定しておく。スタート後のステップＳＨ１では、図２２のステップＳＦ１と同様に２．５Ｄデータを取得する。ステップＳＨ２では、ステップＳＨ１で取得した２．５Ｄデータに矩形状の対象領域データを設定する。このステップＳＨ２は、図１１に示す領域設定手段４０６によって実行されるステップである。
図２４は、画像検査システム１の運用時に矩形状の対象領域で高さ検査する手順の例を示すフローチャートである。高さ検査の前には、ユーザが事前に高さの閾値を設定しておく。スタート後のステップＳＨ１では、図２２のステップＳＦ１と同様に２．５Ｄデータを取得する。ステップＳＨ２では、ステップＳＨ１で取得した２．５Ｄデータに矩形状の対象領域データを設定する。このステップＳＨ２は、図１１に示す領域設定手段４０６によって実行されるステップである。
【0198】
ステップＳＨ３では、ステップＳＨ２で領域設定手段４０６が設定した対象領域内の平均高さを算出する。このステップＳＨ３は、領域設定手段４０６により設定された対象領域に対して図７に示す画像処理部４Ｂが画像処理を行うステップである。ステップＳＨ４では、事前に設定した閾値範囲と、ステップＳＨ３で取得した平均高さとを比較し、ステップＳＨ３で取得した平均高さが閾値範囲に収まる場合には「良」と判定し、収まらない場合には「不良」と判定する。このステップＳＨ４は、図７に示す検査部４Ａが実行するステップである。
【0199】
ステップＳＨ５では、ステップＳＨ４の判定値を設定装置４が外部機器に出力する。外部機器が不良品の排出機構である場合には、ステップＳＨ６において不良品が排出機構によって搬送用ベルトコンベアＢから排出される。
【0200】
（運用時における賞味期限検査手順）
図２５は、画像検査システム１の運用時に円弧状の対象領域で賞味期限検査する手順の例を示すフローチャートである。賞味期限検査の前には、ユーザが事前に日時の閾値を設定しておく。スタート後のステップＳＩ１では、取得部Ａにより２Ｄデータを取得する。このとき、２．５Ｄデータを取得してもよい。ステップＳＩ２では、ステップＳＩ１で取得した２Ｄデータに円弧状の対象領域データを設定する。このステップＳＩ２は、図１１に示す領域設定手段４０６によって実行されるステップである。
図２５は、画像検査システム１の運用時に円弧状の対象領域で賞味期限検査する手順の例を示すフローチャートである。賞味期限検査の前には、ユーザが事前に日時の閾値を設定しておく。スタート後のステップＳＩ１では、取得部Ａにより２Ｄデータを取得する。このとき、２．５Ｄデータを取得してもよい。ステップＳＩ２では、ステップＳＩ１で取得した２Ｄデータに円弧状の対象領域データを設定する。このステップＳＩ２は、図１１に示す領域設定手段４０６によって実行されるステップである。
【0201】
ステップＳＩ３では、ステップＳＩ２で領域設定手段４０６が設定した対象領域内の文字を切り出す。ステップＳＩ４では、ステップＳＩ３で切り出した文字を、光学的文字認識（ＯＣＲ）アルゴリズムにより判定する。ステップＳＩ５では文字から日時に変換する。このステップＳＩ３～ＳＩ５は、領域設定手段４０６により設定された対象領域に対して図７に示す画像処理部４Ｂが画像処理を行うステップである。
【0202】
ステップＳＩ６では、事前に設定した閾値範囲と、ステップＳＩ５で変換した日時とを比較し、ステップＳＩ５で変換した日時が閾値範囲に収まる場合には「良」と判定し、収まらない場合には「不良」と判定する。このステップＳＩ６は、図７に示す検査部４Ａが実行するステップである。
【0203】
ステップＳＩ７では、ステップＳＩ６の判定値を設定装置４が外部機器に出力する。外部機器が不良品の排出機構である場合には、ステップＳＩ８において不良品が排出機構によって搬送用ベルトコンベアＢから排出される。
【0204】
尚、賞味期限は一例であり、例えば製造番号や製造日等も検査対象になり得る。
【0205】
（運用時における刻印判別手順）
図２６は、画像検査システム１の運用時に円弧状の対象領域で刻印判別する手順の例を示すフローチャートである。刻印判別の前には、ワークＷに刻印される文字をユーザが事前に設定しておく。スタート後のステップＳＪ１では、図２２のステップＳＦ１と同様に２．５Ｄデータを取得する。ステップＳＪ２では、ステップＳＪ１で取得した２．５Ｄデータを高さ抽出アルゴリズムにより２Ｄデータに変換する。ステップＳＪ３では、ステップＳＪ２で生成した２Ｄに円弧状の対象領域データを設定する。このステップＳＪ３は、図１１に示す領域設定手段４０６によって実行されるステップである。
図２６は、画像検査システム１の運用時に円弧状の対象領域で刻印判別する手順の例を示すフローチャートである。刻印判別の前には、ワークＷに刻印される文字をユーザが事前に設定しておく。スタート後のステップＳＪ１では、図２２のステップＳＦ１と同様に２．５Ｄデータを取得する。ステップＳＪ２では、ステップＳＪ１で取得した２．５Ｄデータを高さ抽出アルゴリズムにより２Ｄデータに変換する。ステップＳＪ３では、ステップＳＪ２で生成した２Ｄに円弧状の対象領域データを設定する。このステップＳＪ３は、図１１に示す領域設定手段４０６によって実行されるステップである。
【0206】
ステップＳＪ４では、ステップＳＪ３で領域設定手段４０６が設定した対象領域内の文字を切り出す。ステップＳＪ５では、ステップＳＪ４で切り出した文字を、光学的文字認識（ＯＣＲ）アルゴリズムにより判定する。このステップＳＪ４、ＳＪ５は、領域設定手段４０６により設定された対象領域に対して図７に示す画像処理部４Ｂが画像処理を行うステップである。
【0207】
ステップＳＪ６では、事前に設定した文字と、ステップＳＪ５で判定した文字とを比較し、ステップＳＪ５で変換した文字が計測した文字と同じ場合には「良」と判定し、異なる場合には「不良」と判定する。このステップＳＪ６は、図７に示す検査部４Ａが実行するステップである。
【0208】
ステップＳＪ７では、ステップＳＪ６の判定値を設定装置４が外部機器に出力する。外部機器が不良品の排出機構である場合には、ステップＳＪ８において不良品が排出機構によって搬送用ベルトコンベアＢから排出される。
（実施形態の作用効果）
以上説明したように、この実施形態によれば、設定時に、ワークＷの高さ情報が二次元座標上に配置された高さデータを取得部Ａが取得すると、その高さデータに基づいてオブジェクト生成手段４０１が三次元オブジェクトを生成する。生成された三次元オブジェクトは、例えば三次元ポリゴン表示や三次元点群表示のような形態で設定装置４の表示部５に表示した状態でその姿勢の調整が可能なので、ワークＷを所望の方向から見た三次元オブジェクトを表示部５に表示できる。ユーザは、姿勢調整後の三次元オブジェクト上で対象領域の指定を行うことができる。
（実施形態の作用効果）
以上説明したように、この実施形態によれば、設定時に、ワークＷの高さ情報が二次元座標上に配置された高さデータを取得部Ａが取得すると、その高さデータに基づいてオブジェクト生成手段４０１が三次元オブジェクトを生成する。生成された三次元オブジェクトは、例えば三次元ポリゴン表示や三次元点群表示のような形態で設定装置４の表示部５に表示した状態でその姿勢の調整が可能なので、ワークＷを所望の方向から見た三次元オブジェクトを表示部５に表示できる。ユーザは、姿勢調整後の三次元オブジェクト上で対象領域の指定を行うことができる。
【0209】
このように、ユーザは、対象領域の指定時に、ワークＷを立体的に表した三次元オブジェクトを所望の方向から見ることができるので、小さな段差のような部分であっても高低差を容易にかつ確実に把握できる。そして、ワークＷの高低差を把握しながら対象領域を指定できるので、対象領域をワークＷ上のどこに対してどのような大きさ乃至形状で指定したのか、ユーザが容易に把握できる。
【0210】
対象領域が指定されると、運用時には、その対象領域が新たに取得された高さデータに対して設定される。つまり、三次元オブジェクト上で指定した対象領域の情報が運用時の高さデータに反映されるので、所望の領域に対して画像検査が実行される。
【0211】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0212】
以上説明したように、本発明は、例えばワーク等を検査する場合に利用できる。
【符号の説明】
【0213】
１ 画像検査システム
２ 照明装置（投光部）
４Ａ 検査部
４Ｂ 画像処理部
５ 表示部（モニタ）
３１ カメラ（画像生成部）
３１ｄ 撮像素子
３００ 撮像装置
４００ 検査設定部
４０１ オブジェクト生成手段
４０２ 表示手段
４０３ 姿勢調整手段
４０４ 領域指定受付手段
４０５ 要素生成手段
４０６ 領域設定手段
Ａ 取得部
Ｄ１ 図形要素
Ｌ２、Ｌ４ 線分（視点特定要素）
Ｗ ワーク（検査対象物）
２ 照明装置（投光部）
４Ａ 検査部
４Ｂ 画像処理部
５ 表示部（モニタ）
３１ カメラ（画像生成部）
３１ｄ 撮像素子
３００ 撮像装置
４００ 検査設定部
４０１ オブジェクト生成手段
４０２ 表示手段
４０３ 姿勢調整手段
４０４ 領域指定受付手段
４０５ 要素生成手段
４０６ 領域設定手段
Ａ 取得部
Ｄ１ 図形要素
Ｌ２、Ｌ４ 線分（視点特定要素）
Ｗ ワーク（検査対象物）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】