特許 7167453 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】外観検査システム、設定装置、画像処理装置、設定方法およびプログラム

(51)【国際特許分類】

   G01N 21/89 20060101AFI20221101BHJP

【ＦＩ】

G01N21/89 Z

【請求項の数】 9

(21)【出願番号】P 2018044034

(22)【出願日】2018-03-12

(65)【公開番号】P2019158499

(43)【公開日】2019-09-19

【審査請求日】2020-03-06

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】加藤 豊

【審査官】平田 佳規

(56)【参考文献】

【文献】特開２０１１－２０９０５４（ＪＰ，Ａ）

【文献】特開２０１３－１６６１８５（ＪＰ，Ａ）

【文献】特開２００１－１６５８６３（ＪＰ，Ａ）

【文献】特開２０１５－１６３８４２（ＪＰ，Ａ）

【文献】特開平０８－０９１５４３（ＪＰ，Ａ）

【文献】特開２０１９－１５８５００（ＪＰ，Ａ）

【文献】特開２０１９－１００８８７（ＪＰ，Ａ）

【文献】特開２０１７－２０３７４４（ＪＰ，Ａ）

【文献】特開２０１７－１４６２２９（ＪＰ，Ａ）

【文献】特表２０１６－５３０５２１（ＪＰ，Ａ）

【文献】特開２００６－３０８３４９（ＪＰ，Ａ）

【文献】特開２００５－２４１３１０（ＪＰ，Ａ）

【文献】特開２００３－２９５０６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － ２１／９５８

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０３Ｂ １５／００ － １５／０３５

Ｈ０１Ｌ ２１／６４ － ２１／６６

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０５Ｋ ３／００

Ｈ０５Ｋ ３／３４

Ｈ０５Ｋ １３／００ － １３／０８

(57)【特許請求の範囲】

【請求項1】

対象物と撮像装置との間の相対位置を異ならせつつ、前記対象物を前記撮像装置で撮像して外観検査を行なう外観検査システムであって、
前記対象物上において指定された複数の検査対象位置の各々について、検査時の前記対象物と前記撮像装置との間の相対位置を含む１または複数の撮像条件候補を決定する第１決定部を備え、
前記第１決定部は、前記複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補を決定し、前記複数の撮像条件候補に含まれる前記相対位置は互いに異なり、
予め定められた要件を満たすように、前記複数の検査対象位置の各々について、決定された前記１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、前記複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２決定部をさらに備える、外観検査システム。

【請求項2】

前記撮像装置は、前記対象物に光を照射するための照明部と、前記対象物からの反射光を撮像素子上に結像するためのレンズ部と、前記撮像素子を制御して画像データを出力するカメラ制御部とを含み、
前記撮像条件は、前記照明部の照明条件、前記レンズ部の光学条件および前記カメラ制御部の制御条件のうちの少なくとも一つを含む、請求項１に記載の外観検査システム。

【請求項3】

前記第２決定部は、前記複数の検査対象位置の撮像順および前記複数の検査対象位置について決定された撮像条件の少なくとも一方が互いに異なる複数の組合せパターンの各々について評価値を算出し、前記評価値に基づいて前記変更経路を決定する、請求項１または２に記載の外観検査システム。

【請求項4】

前記評価値は、撮像条件を逐次変更しつつ、前記複数の検査対象位置の全ての撮像を完了するのに要する時間に依存する項を含む評価関数を用いて算出される、請求項３に記載の外観検査システム。

【請求項5】

前記対象物に対して１つ以上の検査対象領域を設定し、前記検査対象領域に対応する検査要件を満たすように、前記検査対象領域に対応する一つ以上の検査対象位置を決定する第３決定部をさらに備える、請求項１から４のいずれか１項に記載の外観検査システム。

【請求項6】

請求項１から５のいずれか１項に記載の外観検査システムにおいて用いられ、前記変更経路を設定する設定装置であって、前記第１決定部と前記第２決定部とを備える設定装置。

【請求項7】

請求項１から５のいずれか１項に記載の外観検査システムにおいて用いられ、前記対象物の外観の良否を判定する画像処理装置であって、
前記複数の検査対象位置の各々について決定された撮像条件で撮像された画像を処理することにより、前記対象物の外観の良否を判定する判定部と、
前記判定部の判定に基づいて、前記複数の検査対象位置の各々の良否を示す第１判定結果、前記複数の検査対象位置の少なくとも１つを含む検査対象領域の良否を示す第２判定結果、および前記対象物の良否を示す第３判定結果のうちの少なくとも１つを出力する出力部とを備える、画像処理装置。

【請求項8】

対象物と撮像装置との間の相対位置を異ならせつつ、前記対象物を前記撮像装置で撮像して外観検査を行なう外観検査システムにおける設定方法であって、
前記対象物上において指定された複数の検査対象位置の各々について、検査時の前記対象物と前記撮像装置との間の相対位置を含む１または複数の撮像条件候補を決定する第１ステップを備え、
前記第１ステップは、前記複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補を決定し、前記複数の撮像条件候補に含まれる前記相対位置は互いに異なり、
予め定められた要件を満たすように、前記複数の検査対象位置の各々について、決定された前記１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、前記複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２ステップをさらに備える、設定方法。

【請求項9】

対象物と撮像装置との間の相対位置を異ならせつつ、前記対象物を前記撮像装置で撮像して外観検査を行なう外観検査システムをサポートするためのプログラムであって、
コンピュータに、
前記対象物上において指定された複数の検査対象位置の各々について、検査時の前記対象物と前記撮像装置との間の相対位置を含む１または複数の撮像条件候補を決定する第１ステップを実行させ、
前記第１ステップは、前記複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補を決定し、前記複数の撮像条件候補に含まれる前記相対位置は互いに異なり、
さらに前記コンピュータに、
予め定められた要件を満たすように、前記複数の検査対象位置の各々について、決定された前記１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、前記複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２ステップを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、撮像画像を用いて対象物を検査する外観検査システム、外観検査システムの撮像条件を設定する設定装置、外観検査システムにおいて用いられる画像処理装置、ならびに外観検査システムの撮像条件を設定する設定方法およびプログラムに関する。

【背景技術】

【0002】

画像処理技術を用いて、樹脂や金属などの対象物を検査する外観検査システムが数多く提案されている。

【0003】

たとえば、特開２００７－２４８２４１号公報（特許文献１）には、対象物を撮像するための撮像装置と、撮像装置の視野を照明するための照明装置と、撮像装置または対象物の位置および姿勢を変更可能に支持する支持装置と、撮像装置および支持装置の動作を制御する制御装置と、照明装置の照明下で撮像装置により生成された画像を取り込んで検査のための画像処理を行う画像処理装置とを備える検査装置が開示されている。制御装置は、対象物に対する複数回の撮像について、それぞれその撮像時に満足すべき対象物と撮像装置との関係を表す設定情報を作成する。特開２００７－２４０４３４号公報（特許文献２）にも同様の技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－２４８２４１号公報

【文献】特開２００７－２４０４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した従来の検査装置では、対象物上の検査対象位置ごとに最適な撮像条件が設定される。しかしながら、複数の検査対象位置を順次撮像する際の撮像条件の変更経路については何ら考慮されていない。そのため、設計者は、対象物と撮像装置との間の相対位置を含む撮像条件の変更経路を予め設定しておく必要があった。しかしながら、最適な撮像条件の変更経路を手動で設定するには設計者の手間がかかる。

【0006】

本発明は、上記の問題を鑑みてなされたものであり、その目的は、対象物上の複数の検査対象位置を順次撮像する際の設計者による撮像条件設定の手間を低減することが可能な外観検査システム、当該外観検査システムの撮像条件を設定する設定装置、当該外観検査システムにおいて用いられる画像処理装置、設定方法およびプログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示の一例によれば、対象物と撮像装置との間の相対位置を異ならせつつ、対象物を撮像装置で撮像して外観検査を行なう外観検査システムは、対象物上の複数の検査対象位置の各々について、検査時の対象物と撮像装置との間の相対位置を含む１または複数の撮像条件候補を決定する第１決定部を備える。第１決定部は、複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補を決定する。外観検査システムは、予め定められた要件を満たすように、複数の検査対象位置の各々について決定された１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２決定部をさらに備える。

【0008】

この開示によれば、新製品または新品種の対象物の外観検査が必要になったときに、外観検査システムによって、予め定められた要件を満たす撮像条件の変更経路が自動的に決定される。その結果、対象物上の複数の検査対象位置を順次撮像する際の設計者による条件設定の手間を低減することができる。

【0009】

上述の開示において、撮像装置は、対象物に光を照射するための照明部と、対象物からの反射光を撮像素子上に結像するためのレンズ部と、撮像素子を制御して画像データを出力するカメラ制御部とを含む。撮像条件は、照明部の照明条件、レンズ部の光学条件およびカメラ制御部の制御条件のうちの少なくとも一つを含む。

【0010】

この開示によれば、照明部の照明条件、レンズ部の光学条件およびカメラ制御部の制御条件のうちの少なくとも一つの変更経路についても自動的に決定することができる。

【0011】

上述の開示において、第２決定部は、複数の検査対象位置の撮像順および複数の検査対象位置について決定された撮像条件の少なくとも一方が互いに異なる複数の組合せパターンの各々について評価値を算出し、評価値に基づいて変更経路を決定する。この開示によれば、評価値の演算によって自動的に撮像条件の変更経路が設定される。

【0012】

上述の開示において、評価値は、撮像条件を逐次変更しつつ、複数の検査対象位置の全ての撮像を完了するのに要する時間に依存する項を含む評価関数を用いて算出される。この開示によれば、全撮像時間の短い撮像条件の変更経路を自動的に設定することができる。

【0013】

上述の開示において、外観検査システムは、対象物に対して１つ以上の検査対象領域を設定し、検査対象領域に対応する検査要件を満たすように、検査対象領域に対応する一つ以上の検査対象位置を決定する第３決定部をさらに備える。この開示によれば、検査したい検査対象領域の中から検査対象位置を自動的に決定することができる。

【0014】

本開示の一例によれば、設定装置は、上記の外観検査システムにおいて用いられ、変更経路を設定する。設定装置は、上記の第１決定部と第２決定部とを備える。

【0015】

この開示によっても、対象物上の複数の検査対象位置を順次撮像する際の設計者による条件設定の手間を低減することができる。

【0016】

本開示の一例によれば、上記の外観検査システムにおいて用いられ、対象物の外観の良否を判定する画像処理装置は、複数の検査対象位置の各々について決定された撮像条件で撮像された画像を処理することにより、対象物の外観の良否を判定する判定部と、判定部の判定に基づいて、複数の検査対象位置の各々の良否を示す第１判定結果、複数の検査対象位置の少なくとも１つを含む検査対象領域の良否を示す第２判定結果、および対象物の良否を示す第３判定結果のうちの少なくとも１つを出力する出力部とを備える。

【0017】

この開示によれば、自動的に設定された撮像条件の変更経路に従って撮像された画像を用いて、対象物の外観の良否が判定され、その結果が出力される。これにより、ユーザは、対象物の外観の良否を容易に認識することができる。

【0018】

本開示の一例によれば、対象物と撮像装置との間の相対位置を異ならせつつ、対象物を撮像装置で撮像して外観検査を行なう外観検査システムにおける設定方法は、対象物上の複数の検査対象位置の各々について、検査時の対象物と撮像装置との間の相対位置を含む１または複数の撮像条件候補を決定する第１ステップを備える。第１ステップにおいて、複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補が決定される。設定方法は、予め定められた要件を満たすように、複数の検査対象位置の各々について決定された１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２ステップをさらに備える。

【0019】

本開示の一例によれば、対象物と撮像装置との間の相対位置を異ならせつつ、対象物を撮像装置で撮像して外観検査を行なう外観検査システムをサポートするためのプログラムは、コンピュータに、対象物上の複数の検査対象位置の各々について、検査時の対象物と撮像装置との間の相対位置を含む１または複数の撮像条件候補を決定する第１ステップを実行させる。第１ステップにおいて、複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補が決定される。プログラムは、さらにコンピュータに、予め定められた要件を満たすように、複数の検査対象位置の各々について決定された１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２ステップを実行させる。

【0020】

これらの開示によっても、対象物上の複数の検査対象位置を順次撮像する際の設計者による条件設定の手間を低減することができる。

【発明の効果】

【0021】

本発明によれば、対象物上の複数の検査対象位置を順次撮像する際の設計者による条件設定の手間を低減することができる。

【図面の簡単な説明】

【0022】

【図1】本実施の形態に係る外観検査システムの概要を示す模式図である。

【図2】ワークＷに対して決定された複数の検査対象位置と、各検査対象位置に対して決定された撮像条件候補群との一例を示す図である。

【図3】図１に示す経路決定部によって決定された撮像条件の変更経路の一例を示す図である。

【図4】図１に示す撮像装置の一例を示す図である。

【図5】図１に示す撮像装置の別の例を示す図である。

【図6】図１に示す設定装置のハードウェア構成について示す模式図である。

【図7】図１に示す設定装置における処理の流れの一例を示すフローチャートである。

【図8】ワークＷの設計上の外観を示す模式図が表示された画面の一例を示す図である。

【図9】検査対象領域が表示された画面の一例を示す図である。

【図10】検査対象領域上の点の例を示す図である。

【図11】検査対象領域から決定された検査対象位置とそれに対応する実効視野との例を示す図である。

【図12】検査対象領域から決定された全ての検査対象領域と実効視野とを示す図である。

【図13】図１に示す撮像条件決定部による撮像条件候補の決定方法の一例を示す図である。

【図14】図１に示す撮像条件決定部による撮像条件候補群の決定方法の別の例を示す図である。

【図15】ワークＷの設計上の外観の一例を示す図である。

【図16】図１５に示す検査対象位置を撮像するときの図４に示す例の撮像装置の位置の一例を示す図である。

【図17】検査対象位置に対してそれぞれ決定された撮像条件候補群に含まれるカメラおよび照明部のＸ座標の分布を示す図である。

【図18】図４に示す例の撮像装置を用いたときの経路決定部によって決定された撮像条件の変更経路の一例を示す図である。

【図19】図１５に示す検査対象位置を撮像するときの図５に示す例の撮像装置の位置の一例を示す図である。

【図20】検査対象位置に対してそれぞれ決定された撮像条件候補群に含まれるカメラのＸ座標および点灯される照明要素のＵ座標の分布を示す図である。

【図21】図５に示す例の撮像装置を用いたときの経路決定部によって決定された撮像条件の変更経路の一例を示す図である。

【図22】評価関数（３）を用いたときの経路決定部によって決定された撮像条件の変更経路の一例を示す図である。

【図23】変形例に係る外観検査システムを示す図である。

【図24】ワークと撮像装置との間の相対位置を変更する別の形態を示す図である。

【図25】ワークと撮像装置との間の相対位置を変更するさらに別の形態を示す図である。

【発明を実施するための形態】

【0023】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

【0024】

§１ 適用例
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、本実施の形態に係る外観検査システム１の概要を示す模式図である。

【0025】

本実施の形態に係る外観検査システム１は、たとえば、工業製品の生産ラインなどにおいて、ステージ９０上に載置された対象物（以下、「ワークＷ」とも称す。）上の複数の検査対象位置を撮像し、得られた画像を用いて、ワークＷの外観検査を行う。外観検査では、ワークＷの傷、汚れ、異物の有無、寸法などが検査される。

【0026】

ステージ９０上に載置されたワークＷの外観検査が完了すると、次のワークＷがステージ９０上に搬送される。このとき、ワークＷは、ステージ９０上の予め定められた位置に予め定められた姿勢で載置される。

【0027】

図１に示すように、外観検査システム１は、撮像装置１０と、画像処理装置２０と、ロボット３０と、ロボットコントローラ４０と、ＰＬＣ（Programmable Logic Controller）５０と、設定装置６０とを備える。

【0028】

撮像装置１０は、画像処理装置２０からの指令に従って、撮像視野に存在する被写体を撮像して画像データを生成するものであり、被写体として外観検査の対象であるワークＷを撮像する。

【0029】

画像処理装置２０は、ＰＬＣ５０からの指令に従って、撮像装置１０に対して撮像指令を出力する。画像処理装置２０は、判定部２１と出力部２２とを含む。判定部２１は、撮像装置１０によって生成された画像データに対して予め定められた処理を実行することにより、ワークＷの外観の良否を判定する。出力部２２は、判定部２１による判定結果を出力する。たとえば、出力部２２は、図示しない表示装置または設定装置６０が備える表示部６１に判定結果を表示させる。

【0030】

ロボット３０は、たとえば、基台３１上に複数のアーム３２が連結された垂直多関節ロボットである。複数のアーム３２の各連結部には回転軸が含まれている。先端アーム３２ａの先端には、撮像装置１０が取り付けられている。ロボットコントローラ４０は、ＰＬＣ５０からの指令に応じてロボット３０を制御し、ワークＷと撮像装置１０との間の相対位置およびワークＷに対する撮像装置１０の姿勢を変更する。

【0031】

なお、上述したように、ワークＷは、ステージ９０上の予め定められた位置に予め定められた姿勢で載置される。そのため、ロボット３０は、ステージ９０に対する撮像装置１０の相対位置および姿勢を変更することにより、ワークＷと撮像装置１０との間の相対位置およびワークＷに対する撮像装置１０の姿勢を変更することができる。すなわち、ロボット３０は、ステージ９０上の点を原点とする座標系を用いて撮像装置１０を移動することにより、ワークＷと撮像装置１０との間の相対位置およびワークＷに対する撮像装置１０の姿勢を変更することができる。

【0032】

ＰＬＣ５０は、撮像装置１０がワークＷ上の複数の検査対象位置を順次撮像するように、ロボットコントローラ４０および画像処理装置２０を制御する。ＰＬＣ５０は、設定装置６０によって設定された撮像条件の変更経路に従って、ロボットコントローラ４０を制御する。さらに、ＰＬＣ５０は、撮像装置１０が指定された撮像条件を満たしたタイミングで撮像指令を出力するように画像処理装置２０を制御する。

【0033】

設定装置６０は、ワークＷ上の複数の検査対象位置を順次撮像するための、ワークＷと撮像装置１０との間の相対位置を含む撮像条件の変更経路を設定する。設定装置６０は、新製品または新品種のワークＷの外観検査が必要となったときに、当該ワークＷに適した撮像条件の変更経路を設定する。

【0034】

図１に示されるように、設定装置６０は、表示部６１と記憶部６２と対象位置決定部６３と撮像条件決定部６４と経路決定部６５とを備える。表示部６１は、たとえばタッチパネルである。記憶部６２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、対象位置決定部６３と撮像条件決定部６４と経路決定部６５とで実行される処理プログラム、指定経路の設定に関する情報を示すデータ等を記憶する。

【0035】

対象位置決定部６３は、記憶部６２に格納されたワークＷの設計上の表面を示す３次元設計データ（たとえばＣＡＤ（Computer-Aided Design）データ）を読み込み、表示部６１にワークＷの設計上の外観を示す模式図を表示させる。対象位置決定部６３は、ユーザ入力に従って、ワークＷ上の検査対象領域を決定する。さらに、対象位置決定部６３は、検査対象領域の全域が撮像されるように、検査対象領域内の複数の検査対象位置を決定する。

【0036】

撮像条件決定部６４は、複数の検査対象位置の各々について、ワークＷと撮像装置１０との間の相対位置を含む撮像条件を決定する。ただし、撮像条件決定部６４は、複数の検査対象位置のうちの少なくとも１つの検査対象位置について、複数の撮像条件候補を決定する。たとえば、検査対象位置におけるワークＷの表面の法線方向に対して所定角度（たとえば２０°）以内の撮像方向から検査対象位置を撮像することが許容されている場合、撮像条件決定部６４は、当該検査対象位置について、ワークＷと撮像装置１０との間の相対位置が互いに異なる複数の撮像条件候補を決定する。

【0037】

経路決定部６５は、予め定められた要件を満たすように、各検査対象位置について複数の撮像条件候補のうちいずれか１つを撮像条件として選択するとともに、複数の検査対象位置にそれぞれ対応する複数の撮像条件の順番を決定する。経路決定部６５は、選択した撮像条件と決定した順番とに従って、ワークＷ上の複数の検査対象位置を順次撮像するための、ワークＷと撮像装置１０との間の相対位置を含む撮像条件の変更経路を決定する。

【0038】

図２は、ワークＷに対して決定された複数の検査対象位置と、各検査対象位置に対して決定された撮像条件候補群との一例を示す図である。図２に示す例では、７個の検査対象位置Ｂ１～Ｂ７が決定されている。さらに、検査対象位置Ｂ１に対して、撮像条件候補φ１＿１，φ１＿２，・・・からなる撮像条件候補群φ１が決定されている。同様に、検査対象位置Ｂ２～Ｂ７に対して、撮像条件候補群φ２～φ７が決定されている。

【0039】

図３は、経路決定部６５によって決定された撮像条件の変更経路の一例を示す図である。撮像条件は、ｎ個（ｎは１以上の整数）のパラメータによって示される。そのため、撮像条件は、図３に示されるようなｎ次元の空間内で示される。たとえば、撮像条件は、ステージ９０上の点を原点とするＸＹＺ座標系における撮像装置１０のＸ座標、Ｙ座標およびＺ座標と、撮像装置１０の光軸の方向を特定するθｘ、θｙ、θｚとの６個のパラメータを含む。θｘは、撮像装置１０の光軸をＸＹ平面に投影した線とＸ軸とのなす角度であり、θｙは、撮像装置１０の光軸をＹＺ平面に投影した線とＹ軸とのなす角度であり、θｚは、撮像装置１０の光軸をＺＸ平面に投影した線とＺ軸とのなす角度である。ＸＹＺ座標は、ワークＷと撮像装置１０との間の相対位置を特定するパラメータであり、θｘ，θｙ，θｚは、ワークＷに対する撮像装置１０の姿勢を特定するパラメータである。

【0040】

図３に示されるように、撮像条件候補群φ１～φ７（φ２、φ３は図示を省略）は、ｎ次元の空間において、点ではなく、広がりを有する範囲で示される。経路決定部６５は、予め定められた要求を満たすように、撮像条件候補群φ１～φ７の範囲からそれぞれ１点を選択するとともに、選択された７点を順に結ぶことにより、撮像条件の変更経路を決定する。

【0041】

予め定められた要求とは、たとえば、撮像条件を逐次変更しつつ、全ての検査対象位置の撮像を完了するのに要する時間をできるだけ短くするという要求である。この場合、図３に示される撮像条件候補群φ１～φ７を順に結ぶ複数の線のうち撮像条件の変更に要する時間が最も短くなる線によって示される経路が、撮像条件の変更経路として決定される。たとえば、撮像条件候補群φ１で示されるワークＷと撮像装置１０との間の相対位置は、撮像条件候補群φ７で示されるワークＷと撮像装置１０との間の相対位置よりも撮像条件候補群φ４で示されるワークＷと撮像装置１０との間の相対位置に近い。そのため、経路決定部６５は、撮像条件候補群φ１から選択した１点と、撮像条件候補群φ４から選択した１点とを結ぶ線によって示される経路を変更経路として決定する。

【0042】

このように、外観検査システム１は、撮像条件決定部６４と経路決定部６５とを備える。撮像条件決定部６４は、複数の検査対象位置のうちの少なくとも１つの検査対象位置について、ワークＷと撮像装置１０との間の相対位置を含む複数の撮像条件候補を決定する。経路決定部６５は、予め定められた要件を満たすように、複数の撮像条件候補のうちいずれか１つの撮像条件を選択することにより、複数の検査対象位置を順次撮像するための、撮像条件の変更経路を決定する。

【0043】

これにより、新製品または新品種の対象物の外観検査が必要になったときに、外観検査システム１によって、予め定められた要件を満たす撮像条件の変更経路が自動的に決定される。その結果、ワークＷ上の複数の検査対象位置を順次撮像する際の設計者による条件設定の手間を低減することができる。

【0044】

§２ 具体例
次に、本実施の形態に係る外観検査システムの各構成の一例について説明する。

【0045】

＜Ａ．撮像装置＞
図４は、撮像装置１０の一例を示す図である。図４に示す例の撮像装置１０は、カメラ１１と照明部１５とを備える。カメラ１１と照明部１５とは一体化されている。照明部１５は、ワークＷに対して光を照射する。照明部１５から照射された光は、ワークＷの表面で反射し、カメラ１１に入射する。

【0046】

カメラ１１は、カメラ制御部１２と撮像素子１３とレンズ部１４とを含む。レンズ部１４は、ワークＷからの反射光を撮像素子１３上に結像する。レンズ部１４は、１枚のレンズのみから構成されてもよいし、複数のレンズによって構成されてもよい。撮像素子１３は、たとえばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの光電変換素子であり、カメラ１１の撮像視野からの光を画像信号に変換する。カメラ制御部１２は、撮像素子１３を制御して、画像データを出力する。

【0047】

照明部１５における照明条件が可変である場合、撮像条件決定部６４は、当該照明条件を含む撮像条件を決定してもよい。照明条件には、たとえば照明強度、発光色などが含まれる。レンズ部１４の光学条件が可変である場合、撮像条件決定部６４は、当該光学条件を含む撮像条件を決定してもよい。光学条件には、たとえば焦点位置、ズーム倍率（焦点距離）などが含まれる。カメラ制御部１２における制御条件が可変である場合、撮像条件決定部６４は、当該制御条件を含む撮像条件を決定してもよい。制御条件には、たとえばシャッター速度などが含まれる。撮像条件決定部６４は、照明部１５の照明条件、レンズ部１４の光学条件およびカメラ制御部１２の制御条件のうち少なくとも一つを含む撮像条件を決定してもよい。

【0048】

照明部１５の形状は、特に限定されず、ドーム型、リング型（円形または角形）、バー型のいずれでもよい。

【0049】

図５は、撮像装置１０の別の例を示す図である。図５に示す例の撮像装置１０は、図４に示す例の撮像装置１０と比較して、照明部１５が複数の照明要素１６ａ～１６ｆから構成される点で相違する。複数の照明要素１６ａ～１６ｆは、別々に点灯制御される。そのため、複数の照明要素１６ａ～１６ｆのうちの一部の照明要素のみを点灯し、残りを消灯することができる。図５に示す例の撮像装置１０に対して、撮像条件決定部６４は、複数の照明要素１６ａ～１６ｆのうち点灯される照明要素を示す照明パターン（照明条件の１つ）を含む撮像条件を決定してもよい。点灯される照明要素は、カメラ１１上の点を原点とするＵ座標（図５参照）で示される。

【0050】

図４および図５に示す例では、カメラ１１と照明部１５とが一体化される。しかしながら、カメラ１１と照明部１５との間の相対位置が可変であってもよい。この場合、撮像条件決定部６４は、カメラ１１と照明部１５との間の相対位置とカメラ１１に対する照明部１５の姿勢とを含む撮像条件を決定してもよい。カメラ１１と照明部１５との間の相対位置は、カメラ１１上の点を原点とするＵＶＷ座標系で示される。カメラ１１に対する照明部１５の姿勢は、照明部１５の光の照射方向を特定するθｕ、θｖ、θｗのパラメータによって示される。θｕは、照明部１５の光の照射方向をＵＶ平面に投影した線とＵ軸とのなす角度であり、θｖは、照明部１５の光の照射方向をＶＷ平面に投影した線とＶ軸とのなす角度であり、θｗは、照明部１５の光の照射方向をＷＵ平面に投影した線とＷ軸とのなす角度である。

【0051】

＜Ｂ．設定装置のハードウェア構成＞
図６は、設定装置６０のハードウェア構成について示す模式図である。設定装置６０は、ＣＰＵ（Central Processing Unit）１６２、メインメモリ１６３、ハードディスク１６４、ディスプレイ１６６、入力デバイス１６７および通信インターフェイス（Ｉ／Ｆ）１６８を含む。これらの各部は、バス１６１を介して、互いにデータ通信可能に接続される。

【0052】

ＣＰＵ１６２は、ハードディスク１６４にインストールされた設定プログラム１６５を含むプログラム（コード）をメインメモリ１６３に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１６３は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。

【0053】

ハードディスク１６４は、設定装置６０が備える内部メモリであって、不揮発性の記憶装置であって、設定プログラム１６５等の各種プログラムを記憶する。なお、ハードディスク１６４に加えて、あるいは、ハードディスク１６４に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

【0054】

設定プログラム１６５は、設定装置６０による撮像条件の変更経路を設定するための手順を示すプログラムである。設定プログラム１６５等の各種プログラムは、ハードディスク１６４に保存されている必要はなく、設定装置６０と通信可能なサーバや、設定装置６０と直接接続可能な外部メモリに保存されていてもよい。たとえば、外部メモリに設定装置６０で実行される各種プログラムおよび各種プログラムで用いられる各種パラメータが格納された状態で流通し、設定装置６０は、この外部メモリから各種プログラムおよび各種パラメータを読み出す。外部メモリは、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。あるいは、設定装置６０と通信可能に接続されたサーバなどからダウンロードしたプログラムやパラメータを設定装置６０にインストールしてもよい。

【0055】

ディスプレイ１６６は、たとえば液晶ディスプレイである。入力デバイス１６７は、たとえばマウス、キーボード、タッチパッド等により構成される。

【0056】

通信Ｉ／Ｆ１６８は、ＰＬＣ５０とＣＰＵ１６２との間で各種データをやり取りする。なお、通信Ｉ／Ｆ１６８は、サーバとＣＰＵ１６２との間でデータをやり取りしてもよい。通信Ｉ／Ｆ１６８は、ＰＬＣ５０との間で各種データをやり取りするためのネットワークに対応するハードウェアを含む。

【0057】

図１に示す表示部６１は、ディスプレイ１６６によって構成される。図１に示す記憶部６２は、メインメモリ１６３またはハードディスク１６４によって構成される。図１に示す対象位置決定部６３、撮像条件決定部６４および経路決定部６５は、ＣＰＵ１６２、メインメモリ１６３およびハードディスク１６４によって実現される。

【0058】

なお、本実施の形態に係る設定プログラム１６５は、他のプログラムの一部に組み込まれて提供されるものであってもよい。また、代替的に、設定プログラム１６５の実行により提供される処理の一部もしくは全部を専用のハードウェア回路が行なってもよい。

【0059】

＜Ｃ．設定装置における処理の流れ＞
図７は、設定装置６０における処理の流れの一例を示すフローチャートである。外観検査システム１によって新製品または新品種のワークＷの外観検査が必要になったときに、設定装置６０は、たとえば図７に示すフローチャートに従った処理を行ない、新製品または新品種のワークＷに適した撮像条件の変更経路を設定する。新製品または新品種のワークＷの設計上の表面を示す３次元設計データは、予め記憶部６２に格納される。

【0060】

図７に示す例では、まずステップＳ１において、対象位置決定部６３は、記憶部６２から３次元設計データを読み込む。次にステップＳ２において、対象位置決定部６３は、３次元設計データで示されるワークＷの設計上の外観を示す模式図を表示部６１に表示し、ユーザ入力に従ってワークＷ上の検査対象領域を決定する。このとき、ワークＷがステージ９０上の予め定められた位置に予め定められた姿勢で載置されることを前提として、対象位置決定部６３は、３次元設計データの座標系を、ステージ９０上の点を原点とするＸＹＺ座標系に変換する。そのため、検査対象領域は、ステージ９０上の点を原点とするＸＹＺ座標系で示される。

【0061】

次にステップＳ３において、対象位置決定部６３は、検査対象領域に対応する検査要件を満たすように、検査対象領域内から複数の検査対象位置を決定する。

【0062】

次にステップＳ４において、撮像条件決定部６４は、複数の検査対象位置の各々に対して、検査時のワークＷと撮像装置１０との間の相対位置を含む複数の撮像条件候補を決定する。

【0063】

次にステップＳ５において、経路決定部６５は、撮像条件の変更経路の候補となる複数の組合せパターンの各々について、予め定められた要件に応じた評価関数の値（評価値）を算出する。複数の組合せパターンの各々は、複数の検査対象位置の各々に対して決定された複数の撮像条件候補の中から１つずつ選択された複数の撮像条件を、複数の検査対象位置の撮像順に並べたパターンである。複数の組合せパターンは、複数の検査対象位置の撮像順および少なくとも１つの検査対象位置の撮像条件の少なくとも一方が互いに異なる。評価関数は、たとえば、ワークＷと撮像装置１０との間の相対位置を含む撮像条件を逐次変更しつつ、複数の検査対象位置の全ての撮像を完了するのに要する時間（全撮像時間）に依存する項を含む。撮像時間が長くなるほど評価値は大きくなる。

【0064】

次にステップＳ６において、経路決定部６５は、評価値に基づいて、撮像条件の変更経路を決定する。たとえば、全撮像時間に依存する項を含む評価関数によって評価値が算出される場合、経路決定部６５は、評価値が最小となる組合せパターンを撮像条件の変更経路として決定する。

【0065】

なお、上記の例では、ステップＳ３において、検査対象領域から複数の検査対象位置が決定されるとした。しかしながら、ステップＳ２において、複数の検査対象領域が決定され、ステップＳ３において、複数の検査対象領域の各々から少なくとも１つの検査対象位置が決定されてもよい。これによっても、ステップＳ３により複数の検査対象位置が決定される。

【0066】

＜Ｄ．対象位置決定部による検査対象領域の決定方法＞
図８および図９を参照して、対象位置決定部６３による検査対象領域の決定方法の一例について説明する。図８は、ワークＷの設計上の外観を示す模式図が表示された画面の一例を示す図である。図９は、検査対象領域が表示された画面の一例を示す図である。

【0067】

図８に示されるように、対象位置決定部６３は、ワークＷの３次元設計データによって示される設計上の外観を示す模式図Ｗ０を含む画面６１ａを表示部６１に表示させる。画面６１ａには、垂直方向を軸として模式図Ｗ０を回転させるためのツールボタン７１と、水平方向を軸として模式図Ｗ０を回転させるためのツールボタン７２とが含まれる。ユーザは、ツールボタン７１，７２を操作することにより、模式図Ｗ０を適宜回転させることができる。

【0068】

対象位置決定部６３は、ユーザから検査したい場所の指定を受け付ける。具体的には、ユーザは、入力デバイス１６７を用いて、ワークＷの模式図Ｗ０上における検査したい複数点をクリックする。図８に示す画面６１ａでは、ユーザによってクリックされた複数点が丸印７４によって示されている。

【0069】

対象位置決定部６３は、模式図Ｗ０上で指定された複数の丸印７４を含む領域を検査対象領域として切り出す。具体的には、対象位置決定部６３は、指定された各丸印７４に対応するワークＷの表面上の点から当該表面に沿って所定距離以内の範囲を求め、当該範囲の和集合を検査対象領域として切り出す。

【0070】

さらに、対象位置決定部６３は、輪郭線が直線または円などの幾何学図形となるように検査対象領域を調整する。図９に示す表示部６１の画面６１ｂには、輪郭線がワークＷのいずれかの稜線と平行な直線となるように調整された検査対象領域７５が示される。

【0071】

さらに、対象位置決定部６３は、ユーザから検査対象領域７５の微調整の指示を受け付け、当該指示に応じて検査対象領域７５を微調整する。画面６１ｂには、検査対象領域７５を拡大または縮小するためのツールボタン７６，７７が含まれる。ユーザは、入力デバイス１６７を用いて、検査対象領域７５の輪郭線を構成する一辺を選択し、ツールボタン７６，７７を操作することにより、検査対象領域７５の拡大または縮小の指示を入力する。もしくは、ユーザは、入力デバイス１６７に含まれるマウスを用いて、検査対象領域７５の輪郭線を構成する一辺上の点７８をドラッグすることにより、検査対象領域７５の拡大または縮小の指示を入力してもよい。これにより、対象位置決定部６３は、検査対象領域７５の拡大または縮小を行なう。このようにして、対象位置決定部６３は、検査対象領域７５を決定する。図９に示す例では、直方体のワークＷの６面のうちの４面の部分領域を集合した領域が検査対象領域７５として決定されている。

【0072】

＜Ｅ．対象位置決定部による検査対象位置の決定方法＞
図１０～図１２を参照して、対象位置決定部６３による検査対象位置の決定方法の一例について説明する。図１０は、検査対象領域上の点の例を示す図である。図１１は、検査対象領域から決定された検査対象位置とそれに対応する実効視野との例を示す図である。図１２は、検査対象領域から決定された全ての検査対象領域と実効視野とを示す図である。

【0073】

カメラ解像度をＲ（ｐｉｘ）、要求される最小欠陥サイズをＤ（ｍｍ）とするとき、当該最小欠陥サイズの欠陥を認識できるという検査要件を満たすことが可能な最大の、撮像装置１０による撮像視野ＦＯＶが設定される。撮像視野ＦＯＶの径は、一般に、比例定数ａを用いてａ×Ｄ×Ｒで表される。

【0074】

対象位置決定部６３は、検査対象領域７５を点の集合とみなし、法線ベクトルの分布を用いて、検査対象領域７５内の点の近傍の３次元形状を調査することができる。たとえば、対象位置決定部６３は、ワークＷの３次元設計データに基づいて、検査対象領域７５内の点から表面に沿って距離Ｌ以内の範囲における法線ベクトルの分布を求める。距離Ｌは、たとえば、撮像視野ＦＯＶの径（＝ａ×Ｄ×Ｒ）に比例定数ｂを乗じた値（＝ｂ×ａ×Ｄ×Ｒ）である。

【0075】

図１０に示す例では、点Ｐ１の近傍は平坦である。そのため、点Ｐ１からワークＷの表面に沿って距離Ｌ以内の範囲内の法線ベクトルは、すべてベクトルｎ２となる。点Ｐ２は２面が交わる稜線の近傍に位置する。そのため、点Ｐ２からワークＷの表面に沿って距離Ｌ以内の範囲内の法線ベクトルは、２つのベクトルｎ２，ｎ４を含む。点Ｐ２は３面が交わる頂点の近傍に位置する。そのため、点Ｐ３からワークＷの表面に沿って距離Ｌ以内の範囲内の法線ベクトルは、３つのベクトルｎ１，ｎ２，ｎ４を含む。したがって、対象位置決定部６３は、検査対象領域７５内の点から表面に沿って距離Ｌ以内の範囲の法線ベクトルの分布により、当該点の近傍が平坦であるのか、当該点の近傍に稜線が存在するのか、当該点の近傍に稜線が存在するのか、を判定できる。

【0076】

図１１に示されるように、対象位置決定部６３は、検査対象領域７５の中から無作為に選択した１点を検査対象位置Ｂｉとして選択する。対象位置決定部６３は、検査対象位置Ｂｉに対して、撮像装置１０による実効視野ＦＯＶ２ｉを求める。実効視野ＦＯＶ２ｉは、検査対象位置Ｂｉを含み、１つの撮像条件を用いて撮像装置１０が撮像可能かつ検査可能な視野である。対象位置決定部６３は、検査対象位置Ｂｉの近傍の３次元形状に応じて実効視野ＦＯＶ２ｉを決定する。実効視野ＦＯＶ２ｉが取り得る最大径は、撮像視野ＦＯＶの径（＝ａ×Ｄ×Ｒ）に設定される。

【0077】

たとえば、対象位置決定部６３は、実効視野ＦＯＶ２ｉにおける法線ベクトル分布のばらつきが所定範囲内に入るように、実効視野ＦＯＶ２ｉを決定する。検査対象位置Ｂｉの近傍が平坦である場合、対象位置決定部６３は、検査対象位置Ｂｉから表面に沿って距離ａ×Ｄ×Ｒ以内の範囲（つまり、撮像視野ＦＯＶ）を実効視野ＦＯＶ２ｉとして決定する。一方、検査対象位置Ｂｉの近傍に稜線または頂点が存在する場合、図１１に示されるように、対象位置決定部６３は、検査対象位置Ｂｉから表面に沿って距離ａ×Ｄ×Ｒ以内の範囲から一部の範囲を除いた範囲を実効視野ＦＯＶ２ｉとする。除かれる範囲は、法線ベクトル分布において最大の分布量を示す法線ベクトル以外の法線ベクトルを有する表面の範囲である。

【0078】

次に、対象位置決定部６３は、検査対象領域７５に属する点の集合から、決定した実効視野ＦＯＶ２ｉに属する点の集合を除去し、残った点の集合の中から無作為に選択した１点を次の検査対象位置Ｂ（ｉ＋１）として選択する。対象位置決定部６３は、選択した検査対象位置Ｂ（ｉ＋１）に対しても実効視野ＦＯＶ２（ｉ＋１）を決定する。対象位置決定部６３は、検査対象領域７５に属する点の集合が０になるまで、この処理を繰り返す。これにより、図１２に示されるように、検査対象領域７５から複数の検査対象位置Ｂｉ（ｉ＝１，２，・・・）が決定される。検査対象領域７５内の全ての点は、複数の検査対象位置Ｂｉ（ｉ＝１，２，・・・）のいずれかの実効視野ＦＯＶ２ｉに含まれる。上述したように、実効視野ＦＯＶ２ｉが取り得る最大径は、撮像視野ＦＯＶの径に設定される。そのため、検査対象領域７５の全域について最小欠陥サイズの欠陥が認識可能なように検査対象位置が決定される。

【0079】

なお、上記の説明では、対象位置決定部６３は、検査対象領域７５から無作為に検査対象位置Ｂｉを抽出するとした。しかしながら、対象位置決定部６３は、予め定められた幾何学的条件に従って検査対象領域７５から検査対象位置Ｂｉを抽出してもよい。あるいは、対象位置決定部６３は、抽出された複数の検査対象位置Ｂｉが規則的に整列するように、検査対象領域７５から検査対象位置Ｂｉを抽出してもよい。

【0080】

たとえば、ワークＷにおいて稜線または頂点の近傍に欠陥が生じやすい場合、稜線または頂点の近傍を優先的に検査するという検査要件を満たすように、検査対象位置が決定されてもよい。たとえば、検査対象領域７５内のうち、所定距離内に稜線または頂点が存在する点の集合から優先的に検査対象位置Ｂｉが抽出されてもよい。

【0081】

＜Ｆ．撮像条件決定部による撮像条件の決定方法＞
図１３は、撮像条件決定部６４による撮像条件候補の決定方法の一例を示す図である。撮像条件決定部６４は、検査対象位置ＢｉにおけるワークＷの設計上の外観表面の法線上の相対位置候補Ｃｉ＿１を中心とする相対位置候補群Ｃｉ内の複数の位置の各々を、ワークＷに対する撮像装置１０の相対位置候補として決定する。撮像条件決定部６４は、決定した複数の相対位置候補Ｃｉ＿１，Ｃｉ＿２，・・・をそれぞれ含む複数の撮像条件候補φｉ＿１，φｉ＿２，・・・を決定すればよい。決定した複数の撮像条件候補φｉ＿１，φｉ＿２，・・・によって、検査対象位置Ｂｉに対する撮像条件候補群φｉが構成される。

【0082】

相対位置候補Ｃｉ＿１は、検査対象位置Ｂｉに対応する実効視野ＦＯＶ２ｉを撮像可能であり、かつ、検査対象位置Ｂｉにピントが合う最適な被写体距離だけ検査対象位置Ｂｉから離れた位置である。相対位置候補群Ｃｉは、被写界深度および許容傾斜範囲から定められる。許容傾斜範囲とは、カメラ１１の光軸と検査対象位置ＢｉにおけるワークＷの表面の法線方向とのなす角度の許容範囲（たとえば、±２０°）である。

【0083】

なお、撮像条件決定部６４は、相対位置候補群Ｃｉ内において、一定間隔空けて配列される複数（有限個）の位置の各々を相対位置候補として決定すればよい。

【0084】

なお、撮像素子１３が矩形であり、実効視野ＦＯＶ２ｉが円形である場合、撮像装置１０の矩形状の撮像範囲の中に実効視野ＦＯＶ２ｉが包含（外接）するように、相対位置候補群Ｃｉが決定される。

【0085】

図１４は、撮像条件決定部６４による撮像条件候補群の決定方法の別の例を示す図である。図１４には、リング型の照明部１５を備えた撮像装置１０に対する撮像条件候補の決定方法の例が示されている。

【0086】

検査対象位置Ｂｉの近傍のワークＷの設計上の表面に凸部が存在する場合、照明部１５から照射される光の一部が凸部に遮られ、検査対象位置Ｂｉに到達しないことがある。このような場合、検査対象位置Ｂｉの照射条件が変化し、正常に外観検査できない可能性がある。そこで、撮像条件決定部６４は、検査対象位置Ｂｉの近傍におけるワークＷの設計上の形状を考慮して、相対位置候補群Ｃｉを決定してもよい。

【0087】

図１４（ａ）には、検査対象位置Ｂｉの近傍に存在する凸部による照射条件の変化を考慮しないで決定された相対位置候補群Ｃｉが示される。この場合、相対位置候補群Ｃｉ内の一部の位置に撮像装置１０が配置された場合、照明部１５から照射される光の一部が凸部に遮られる。

【0088】

そこで、撮像条件決定部６４は、ワークＷの３次元設計データに基づいて、照明部１５から照射される光のシミュレーションを行なうことにより、照明部１５から照射される光が凸部に遮られない撮像装置１０の位置からなる相対位置候補群Ｃｉを生成する。具体的には、撮像条件決定部６４は、照明部１５から照射される光が凸部に遮られる撮像装置１０の位置を図１４（ａ）に示す相対位置候補群Ｃｉから除去することにより、新たな相対位置候補群Ｃｉを生成する。撮像条件決定部６４は、照明部１５のいずれかの点と検査対象位置Ｂｉとを結ぶ線分上にワークＷの設計上の表面が存在する撮像装置１０の位置を相対位置候補群Ｃｉから除去すればよい。図１４（ｂ）には、検査対象位置Ｂｉの近傍におけるワークＷの設計上の形状を考慮して決定された相対位置候補群Ｃｉが示される。

【0089】

撮像条件決定部６４は、照明部１５から照射される光のシミュレーションを行なうことなく、予め実験により定められたルールに従って、図１４（ａ）に示す相対位置候補群Ｃｉから一部の位置を除去することにより、新たな相対位置候補群Ｃｉを生成してもよい。当該ルールは、たとえば、検査対象位置Ｂｉから所定距離内に凸部が存在する場合、図１４（ａ）に示す相対位置候補群Ｃｉから、凸部に応じて設定される平面よりも凸部側の位置を除去するというルールである。ここで、凸部に応じて設定される平面とは、たとえば、検査対象位置Ｂｉを通り、検査対象位置Ｂｉの法線方向から凸部とは反対側に所定角度傾斜した平面である。

【0090】

さらに、撮像条件決定部６４は、ワークＷに対する撮像装置１０の相対位置候補とともに、照明部１５の照明条件、レンズ部１４の光学条件、カメラ制御部１２の制御条件の少なくとも１つを含む撮像条件候補を決定してもよい。

【0091】

さらに、カメラ１１と照明部１５との間の相対位置が可変である場合には、撮像条件決定部６４は、ワークＷに対する撮像装置１０の相対位置候補とともに、カメラ１１と照明部１５との間の相対位置およびカメラ１１に対する照明部１５の姿勢の少なくとも一方を含む撮像条件候補を決定してもよい。図１４（ａ）に示されるように、検査対象位置Ｂｉの近傍に凸部が存在する場合、ワークＷに対する撮像装置１０の相対位置候補ごとに、照射される光が凸部に遮られないように照明部１５が取り得る位置および姿勢を含む撮像条件候補が決定される。たとえば、照明部１５の位置を検査対象位置Ｂｉから遠ざけることにより、照明部１５から照射される光が凸部によって遮られなくなる。

【0092】

＜Ｇ．経路決定部による変更経路の決定方法＞
次に、経路決定部６５による撮像条件の変更経路の決定方法の一例について説明する。経路決定部６５は、撮像条件の変更経路の候補となる複数の組合せパターンの各々について、以下に示す評価関数（１）を用いて評価値Ｅを算出する。

【0093】

【数1】

【0094】

上述したように、複数の組合せパターンの各々は、複数の検査対象位置Ｂｉの各々に対して決定された撮像条件候補群φｉの中から１つずつ選択された複数の撮像条件を、複数の検査対象位置Ｂｉの撮像順に従って並べたパターンである。そのため、検査対象位置がｎ個あり、検査対象位置Ｂｉに対してＫｉ個の撮像条件候補が決定された場合、組合せパターンの個数は、（ｎ×（ｎ－１）×・・・２×１）×Ｋｎ×Ｋ（ｎ－１）×・・・×Ｋ２×Ｋ１となる。

【0095】

評価関数（１）において、ｆ（φｉ，φｊ）は、対応する組合せパターンにおいて撮像順が連続する２つの検査対象位置のうちの先に撮像する検査対象位置Ｂｉに対応する撮像条件から後に撮像する検査対象位置Ｂｊに対応する撮像条件に変更するのに要する時間を示す。評価値Ｅは、対応する組合せパターンにおいて撮像順が連続する２つの検査対象位置ごとの当該時間の和を示す。すなわち、評価値Ｅは、撮像条件を逐次変更しつつ、全ての検査対象位置Ｂｉの撮像を完了するのに要する時間を表している。

【0096】

経路決定部６５は、評価値Ｅが最小となる組合せパターンを撮像条件の変更経路として決定する。これにより、ワークＷと撮像装置１０との間の相対位置を含む撮像条件を逐次変更しつつ、全ての撮像を完了するのに要する時間が最小となる要件を満たす変更経路が自動的に決定される。

【0097】

ｆ（φｉ，φｊ）は、ロボット３０の制御条件等に応じて予め定められる。たとえば、検査対象位置Ｂｉごとに撮像装置１０を一旦停止させる制御条件の場合には、撮像条件に到達したときにロボット３０の各アーム３２の速度が０となるようなｆ（φｉ，φｊ）が定められる。あるいは、検査対象位置Ｂｉごとに撮像装置１０が停止せずに連続動作させる制御条件の場合には、撮像条件に到達したときのアーム３２の速度に関する制限のないｆ（φｉ，φｊ）が定められる。

【0098】

撮像条件は、１つのパラメータから構成されてもよいし、複数のパラメータから構成されてもよい。上述したように、ワークＷに対する撮像装置１０の相対位置を特定するパラメータとしてＸＹＺ座標を用い、ワークＷに対する撮像装置１０の姿勢を特定するパラメータとしてθｘ、θｙ、θｚを用いる場合には、撮像条件は、少なくともこれら６つのパラメータから構成される。

【0099】

撮像条件が複数のパラメータから構成される場合、評価関数は、特定のパラメータの値に応じて変化する項を含んでもよい。たとえば、カメラ１１の光軸と検査対象位置におけるワークＷの表面の法線方向とのなす角度（以下、傾斜角度という）を示すパラメータについて、傾斜角度０°のときよりも傾斜角度２０°のときの評価値が高くなるように、以下の評価関数（２）が定められる。

【0100】

【数2】

【0101】

評価関数（２）において、パラメータの種類を示す要素番号が添え字ｋ，ｌによって表される。評価関数（２）の第２項は、傾斜角度を示すパラメータの値に応じて変化する項である。

【0102】

図１５は、ワークＷの設計上の外観の一例を示す図である。図１５に示す例では、ワークＷの上面は、４つの平面８１～８４によって構成される。平面８１～８４は、Ｙ軸に沿ってこの順に配列される。平面８１と平面８３とは、Ｙ軸に平行であり、Ｘ座標に比例してＺ座標が減少する同一平面上に位置する。平面８２と平面８４とは、Ｙ軸に平行であり、Ｘ座標に比例してＺ座標が増大する同一平面上に位置する。図１５に示す例では、平面８１～８４の中心点が検査対象位置Ｂ１～Ｂ４にそれぞれ決定されている。

【0103】

図１６は、図１５に示す検査対象位置Ｂ１～Ｂ４を撮像するときの図４に示す例の撮像装置１０の位置の一例を示す図である。図１６（ａ）には、検査対象位置Ｂ２，Ｂ４に対応する撮像装置１０の位置が示される。図１６（ｂ）には、検査対象位置Ｂ１，Ｂ３に対応する撮像装置１０の位置が示される。図１６に示されるように検査対象位置Ｂ１～Ｂ４のＸ座標を０とするとき、検査対象位置Ｂ２，Ｂ４に対して、カメラ１１および照明部１５のＸ座標は負となる。一方、検査対象位置Ｂ１，Ｂ３に対して、カメラ１１および照明部１５のＸ座標は正となる。照明部１５がカメラ１１よりもＸ軸の正方向に位置しているため、照明部１５のＸ座標はカメラ１１のＸ座標よりも大きくなる。

【0104】

図１７は、検査対象位置Ｂ１～Ｂ４に対してそれぞれ決定された撮像条件候補群φ１～φ４に含まれるカメラ１１および照明部１５のＸ座標の分布が示を示す図である。なお、図１５に示されるように、検査対象位置Ｂ１～Ｂ４はＹ軸に沿って等間隔に配置されている。そのため、撮像条件候補群φ１～φ４に含まれるカメラ１１および照明部１５のＹ座標は、この順に大きくなる。撮像条件候補群φ１～φ４において、カメラ１１および照明部１５のＹ座標の変動は、カメラ１１および照明部１５のＸ座標およびＺ座標の変動よりも大きい。そのため、撮像条件候補群φ１～φ４から１つずつ選択された撮像条件をこの順に並べた組合せパターンに対する評価値Ｅが最も小さくなる。

【0105】

図１８は、図４に示す例の撮像装置１０を用いたときの経路決定部６５によって決定された撮像条件の変更経路Ａ１の一例を示す図である。図１８に示されるように、撮像条件の変更経路Ａ１によれば、撮像装置１０は、Ｘ軸方向に振れながら、Ｙ軸方向に沿ってジグザグに移動する。

【0106】

図１９は、図１５に示す検査対象位置Ｂ１～Ｂ４を撮像するときの図５に示す例の撮像装置１０の位置の一例を示す図である。図５に示す例の撮像装置１０では、複数の照明要素１６ａ～１６ｆのうち点灯する照明要素を選択できる。そのため、図１９（ａ）に示されるように、照明要素１６ｂを点灯させることにより、カメラ１１のＸ座標を０とすることができる。また、図１９（ｂ）に示されるように、照明要素１６ｅを点灯させることにより、カメラ１１のＸ座標を０とすることができる。

【0107】

図２０は、検査対象位置Ｂ１～Ｂ４に対してそれぞれ決定された撮像条件候補群φ１～φ４に含まれるカメラ１１のＸ座標および点灯される照明要素のＵ座標の分布を示す図である。図２０に示されるように、図５に示す例の撮像装置１０であれば、カメラ１１のＸ座標の自由度が高まる。そのため、経路決定部６５は、撮像装置１０のＸ座標が一定となるように、撮像条件候補群φ１～φ４から１つずつ撮像条件を選択した組合せパターンを生成できる。そして、当該組合せパターンに対する評価値Ｅが最も小さくなる。

【0108】

図２１は、図５に示す例の撮像装置１０を用いたときの経路決定部６５によって決定された撮像条件の変更経路Ａ２の一例を示す図である。図２１に示されるように、撮像条件の変更経路Ａ２によれば、撮像装置１０は、点灯する照明要素を変更することにより、Ｘ軸方向に振れる必要がない。

【0109】

ロボット３０のアーム３２の加減速の回数が多い場合、駆動系の負荷が大きくなり、ロボット３０の寿命が縮まる。たとえば、図１８に示す変更経路Ａ１の場合、Ｘ軸方向に沿った加減速回数が多くなる。そこで、経路決定部６５は、以下の評価関数（３）を用いて評価値Ｅを算出してもよい。評価関数（３）において、第２項は、アーム３２の加減速の回数に関する項である。ａ，ｂは比例係数である。

【0110】

【数3】

【0111】

経路決定部６５は、評価関数（３）を用いて評価値Ｅを算出することにより、アーム３２の加減速の回数が少ない要件を満たす組合せパターンを撮像条件の変更経路として決定できる。

【0112】

図２２は、評価関数（３）を用いたときの経路決定部６５によって決定された撮像条件の変更経路Ａ３の一例を示す図である。図２２に示されるように、撮像条件の変更経路Ａ３によれば、撮像装置１０は、検査対象位置Ｂ２，Ｂ４，Ｂ３，Ｂ１の順に撮像するように移動する。その結果、Ｘ軸方向の加減速の回数が少なくなる。

【0113】

＜Ｈ．画像処理装置＞
画像処理装置２０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置、通信Ｉ／Ｆ等を含み、情報処理を行なう。補助記憶装置は、たとえば、ハードディスクドライブ、ソリッドステートドライブ等で構成され、ＣＰＵが実行するプログラム等を記憶する。

【0114】

画像処理装置２０は、検査対象位置に対して撮像された画像を処理し、当該検査対象位置の良否判定結果を出力する。たとえば、画像処理装置２０の判定部２１は、特開２００７－２４０４３４号公報に記載のように、予め記憶しておいた良品ワークの画像との間の差分画像を２値化し、しきい値を超えた画素数と基準値とを照合することにより、検査対象位置の良否を判定する。画像処理装置２０の出力部２２は、判定結果を図示しない表示装置に表示する。もしくは、画像処理装置２０は、設定装置６０が備える表示部６１に良否結果を表示してもよい。

【0115】

なお、上述したように、撮像素子１３が矩形であり、実効視野ＦＯＶ２ｉが円形である場合、撮像装置１０の矩形状の撮像範囲の中に実効視野ＦＯＶ２ｉが包含（外接）するように、相対位置が決定される。そのため、撮像装置１０によって撮像された画像には、実効視野ＦＯＶ２ｉ以外の領域が含まれる。判定部２１は、画像の中から実効視野ＦＯＶ２ｉに相当する部分のみを抽出し、抽出した部分画像に対してのみ画像処理を行なってもよい。これにより、判定部２１の処理速度を向上させることができる。

【0116】

画像処理装置２０の判定部２１は、当該検査対象領域内の検査対象位置に対して撮像された画像に基づいて検査対象領域ごとに良否を判定してもよい。画像処理装置２０の出力部２２は、検査対象領域の良否の判定結果を出力してもよい。もしくは、判定部２１は、ワークＷ全体の外観の良否を判定してもよい。出力部２２は、ワークＷの良否の判定結果を出力してもよい。もしくは、出力部２２は、検査対象位置、検査対象領域およびワークＷのうちの少なくとも２つに対する良否判定結果を出力してもよい。

【0117】

＜Ｉ．外観検査システムの変形例＞
図２３は、変形例に係る外観検査システムを示す図である。図２３に示される外観検査システムは、図１に示す外観検査システム１と比較して、ＰＬＣ５０を備えず、画像処理装置２０の代わりに画像処理装置２０ａを備える点で相違する。画像処理装置２０ａは、上記の画像処理装置２０の構成とＰＬＣ５０の構成との両方を有する。

【0118】

図２４は、ワークＷと撮像装置１０との間の相対位置を変更する別の形態を示す図である。図２４に示されるように、ロボット３０は、撮像装置１０ではなく、ワークＷを移動させてもよい。図２４に示す例では、撮像装置１０は固定される。このようにワークＷを移動させることにより、ワークＷと撮像装置１０との間の相対位置を変更してもよい。

【0119】

図２５は、ワークＷと撮像装置１０との間の相対位置を変更するさらに別の形態を示す図である。図２５に示されるように、ワークＷは、回転テーブル９１の上に載置されてもよい。回転テーブル９１は、ロボットコントローラ４０の指示に応じて回転する。これにより、ワークＷと撮像装置１０との間の相対位置を容易に変更することができる。

【0120】

なお、ロボット３０は、垂直多関節ロボット以外のロボット（たとえば、水平多関節ロボット、直交ロボットなど）であってもよい。

【0121】

上記では、撮像視野ＦＯＶおよび実効視野ＦＯＶ２を円形とした説明したが、撮像視野ＦＯＶおよび実効視野ＦＯＶ２の形状は、円形に限定されず、たとえば矩形（長方形、正方形）であってもよい。

【0122】

＜Ｊ．作用・効果＞
以上のように、本実施の形態では、予め定められた要件を満たすように、複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、複数の検査対象位置を順次撮像するための撮像条件の変更経路が決定される。

【0123】

これにより、新製品または新品種の対象物の外観検査が必要になったときに、外観検査システム１によって、予め定められた要件を満たす撮像条件の変更経路が自動的に決定される。その結果、ワークＷ上の複数の検査対象位置を順次撮像する際の設計者による条件設定の手間を低減することができる。

【0124】

撮像条件は、照明部１５の照明条件、レンズ部１４の光学条件およびカメラ制御部１２の制御条件のうちの少なくとも一つを含んでもよい。

【0125】

経路決定部６５は、複数の検査対象位置の撮像順およびいずれかの検査対象位置の撮像条件の少なくとも一方が互いに異なる複数の組合せパターンの各々について評価値を算出し、評価値に基づいて変更経路を決定する。これにより、評価値の演算によって自動的に撮像条件の変更経路が設定される。

【0126】

評価値は、撮像条件を逐次変更しつつ、複数の検査対象位置の全ての撮像を完了するのに要する時間に依存する項を含む評価関数を用いて算出される。これにより、全撮像時間の短い撮像条件の変更経路を自動的に設定することができる。

【0127】

対象位置決定部６３は、ワークＷに対して１つ以上の検査対象領域を設定し、検査対象領域に対応する検査要件を満たすように、検査対象領域に対応する一つ以上の検査対象位置を決定する。これにより、検査したい検査対象領域の中から検査対象位置を自動的に決定することができる。

【0128】

画像処理装置２０は、複数の検査対象位置の各々に対応して決定された撮像条件で撮像された画像を処理する判定部２１と、出力部２２とを備える。出力部２２は、複数の検査対象位置の各々の良否の判定結果、検査対象領域の良否の判定結果、およびワークＷの良否の判定結果のうちの少なくとも１つを出力する。これにより、ユーザは、ワークＷの外観の良否を容易に認識することができる。

【0129】

＜Ｋ．付記＞
以上のように、本実施の形態および変形例は以下のような開示を含む。

【0130】

（構成１）
対象物（Ｗ）と撮像装置（１０）との間の相対位置を異ならせつつ、前記対象物（Ｗ）を前記撮像装置（１０）で撮像して外観検査を行なう外観検査システム（１）であって、
前記対象物（Ｗ）上の複数の検査対象位置（Ｂｉ）の各々について、検査時の前記対象物（Ｗ）と前記撮像装置（１０）との間の相対位置を含む１または複数の撮像条件候補を決定する第１決定部（６４）を備え、
前記第１決定部（６４）は、前記複数の検査対象位置（Ｂｉ）のうちの少なくとも１つの検査対象位置について複数の撮像条件候補を決定し、
予め定められた要件を満たすように、前記複数の検査対象位置（Ｂｉ）の各々について決定された前記１または複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、前記複数の検査対象位置（Ｂｉ）を順次撮像するための撮像条件の変更経路を決定する第２決定部（６５）をさらに備える、外観検査システム（１）。

【0131】

（構成２）
前記撮像装置（１０）は、前記対象物（Ｗ）に光を照射するための照明部（１５）と、前記対象物からの反射光を撮像素子（１３）上に結像するためのレンズ部（１４）と、前記撮像素子（１３）を制御して画像データを出力するカメラ制御部（１２）とを含み、
前記撮像条件は、前記照明部（１５）の照明条件、前記レンズ部（１４）の光学条件および前記カメラ制御部（１２）の制御条件のうちの少なくとも一つを含む、構成１に記載の外観検査システム（１）。

【0132】

（構成３）
前記第２決定部（６５）は、前記複数の検査対象位置（Ｂｉ）の撮像順および前記複数の検査対象位置（Ｂｉ）について決定された撮像条件の少なくとも一方が互いに異なる複数の組合せパターンの各々について評価値を算出し、前記評価値に基づいて前記変更経路を決定する、構成１または２に記載の外観検査システム（１）。

【0133】

（構成４）
前記評価値は、撮像条件を逐次変更しつつ、前記複数の検査対象位置（Ｂｉ）の全ての撮像を完了するのに要する時間に依存する項を含む評価関数を用いて算出される、構成３に記載の外観検査システム（１）。

【0134】

（構成５）
前記対象物（Ｗ）に対して１つ以上の検査対象領域（７５）を設定し、前記検査対象領域（７５）に対応する検査要件を満たすように、前記検査対象領域（７５）に対応する一つ以上の検査対象位置（Ｂｉ）を決定する第３決定部（６３）をさらに備える、構成１から４のいずれかに記載の外観検査システム（１）。

【0135】

（構成６）
構成１から５のいずれかに記載の外観検査システム（１）において用いられ、前記変更経路を設定する設定装置（６０）であって、前記第１決定部（６４）と前記第２決定部（６５）とを備える設定装置（６０）。

【0136】

（構成７）
構成１から５のいずれかに記載の外観検査システム（１）において用いられ、前記対象物（Ｗ）の外観の良否を判定する画像処理装置（２０）であって、
前記複数の検査対象位置（Ｂｉ）の各々について決定された撮像条件で撮像された画像を処理することにより、前記対象物（Ｗ）の外観の良否を判定する判定部（２１）と、
前記判定部（２１）の判定に基づいて、前記複数の検査対象位置（Ｂｉ）の各々の良否を示す第１判定結果、前記複数の検査対象位置（Ｂｉ）の少なくとも１つを含む検査対象領域（７５）の良否を示す第２判定結果、および前記対象物（Ｗ）の良否を示す第３判定結果のうちの少なくとも１つを出力する出力部（２２）とを備える、画像処理装置（２０）。

【0137】

（構成８）
対象物（Ｗ）と撮像装置（１０）との間の相対位置を異ならせつつ、前記対象物（Ｗ）を前記撮像装置（１０）で撮像して外観検査を行なう外観検査システム（１）における設定方法であって、
前記対象物（Ｗ）上の複数の検査対象位置（Ｂｉ）の各々について、検査時の前記対象物（Ｗ）と前記撮像装置（１０）との間の相対位置を含む１または複数の撮像条件候補を決定する第１ステップを備え、
前記第１ステップにおいて、前記複数の検査対象位置（Ｂｉ）のうちの少なくとも１つの検査対象位置（Ｂｉ）について複数の撮像条件候補が決定され、
予め定められた要件を満たすように、前記複数の検査対象位置（Ｂｉ）の各々について決定された前記複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、前記１または複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２ステップをさらに備える、設定方法。

【0138】

（構成９）
対象物（Ｗ）と撮像装置（１０）との間の相対位置を異ならせつつ、前記対象物（Ｗ）を前記撮像装置（１０）で撮像して外観検査を行なう外観検査システム（１）をサポートするためのプログラムであって、
コンピュータに、
前記対象物（Ｗ）上の複数の検査対象位置の各々について、検査時の前記対象物（Ｗ）と前記撮像装置（１０）との間の相対位置を含む１または複数の撮像条件候補を決定する第１ステップを実行させ、
前記第１ステップにおいて、前記複数の検査対象位置のうちの少なくとも１つの検査対象位置について複数の撮像条件候補が決定され、
さらに前記コンピュータに、
予め定められた要件を満たすように、前記複数の検査対象位置の各々について決定された前記複数の撮像条件候補のうちいずれか１つを撮像条件として選択することにより、前記１または複数の検査対象位置を順次撮像するための撮像条件の変更経路を決定する第２ステップを実行させる、プログラム。

【0139】

今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合せても、実施することが意図される。

【符号の説明】

【0140】

１ 外観検査システム、１０ 撮像装置、１１ カメラ、１２ カメラ制御部、１３ 撮像素子、１４ レンズ部、１５ 照明部、１６ａ～１６ｆ 照明要素、２０，２０ａ 画像処理装置、２１ 判定部、２２ 出力部、３０ ロボット、３１ 基台、３２ アーム、３２ａ 先端アーム、４０ ロボットコントローラ、５０ ＰＬＣ、６０ 設定装置、６１ 表示部、６１ａ，６１ｂ，６１ｃ 画面、６２ 記憶部、６３ 対象位置決定部、６４ 撮像条件決定部、６５ 経路決定部、７１，７２，７６，７７ ツールボタン、７４ 丸印、７５ 検査対象領域、７９ 画像、８１～８４ 平面、９０ ステージ、９１ 回転テーブル、１６１ バス、１６３ メインメモリ、１６４ ハードディスク、１６５ 設定プログラム、１６６ ディスプレイ、１６７ 入力デバイス、１６８ 通信Ｉ／Ｆ、Ａ１～Ａ３ 変更経路、Ｂ，Ｂ１～Ｂ７，Ｂｉ，Ｂｊ 検査対象位置、Ｃｉ 相対位置候補群、ＦＯＶ 撮像視野、ＦＯＶ２ｉ，ＦＯＶ２ 実効視野、Ｗ ワーク、Ｗ０ 模式図。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】