特許 7613996 画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器

(51)【国際特許分類】

   G01N 21/88 20060101AFI20250107BHJP

   G06T 7/00 20170101ALI20250107BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610Z

【請求項の数】 19

(21)【出願番号】P 2021069448

(22)【出願日】2021-04-16

(65)【公開番号】P2022164145

(43)【公開日】2022-10-27

【審査請求日】2024-03-11

(73)【特許権者】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110003225

【氏名又は名称】弁理士法人豊栖特許事務所

(72)【発明者】

【氏名】濱 雄一郎

(72)【発明者】

【氏名】福田 圭祐

(72)【発明者】

【氏名】栗原 宣之

【審査官】横尾 雅一

(56)【参考文献】

【文献】国際公開第２０２０／１８９１８９（ＷＯ，Ａ１）

【文献】国際公開第２０２１／０１４７７５（ＷＯ，Ａ１）

【文献】特開２００９－１１１８８６（ＪＰ，Ａ）

【文献】特開２０２０－１８７０７０（ＪＰ，Ａ）

【文献】特開２００９－００２７４３（ＪＰ，Ａ）

【文献】特開２００６－２９４６８４（ＪＰ，Ａ）

【文献】特開２０１８－１８９５５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３５０１０６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／６１

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０６Ｑ ５０／００ － Ｇ０６Ｑ ５０／２０

Ｇ０６Ｑ ５０／２６ － Ｇ０６Ｑ ９９／００

(57)【特許請求の範囲】

【請求項1】

検査対象物に照明光を照射する照明部と、
前記照明部から照射され、検査対象物で反射された光を受光し、ワーク画像を生成するカメラ部と、
前記カメラ部により生成されたワーク画像を表示する表示部と、
前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、前記カメラ部を制御する画像生成条件制御部と、
前記画像生成条件制御部により異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算する画像スコア演算部と、
上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を前記表示部に表示させた状態で、前記複数のサムネイル画像の中から、一のサムネイル画像の選択を受け付けることで、当該選択されたサムネイル画像に対応する画像生成条件の設定を受け付ける画像生成条件設定部と、
を備える画像検査装置であって、
前記複数の画像生成条件には、
単一の画像生成条件で撮像された画像を生成する単一条件と、
複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件と
が含まれ、
前記表示部は、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、
前記単一条件で生成されたものか、
前記合成条件で生成されたものか
を識別するための参考情報を表示させる参考情報表示欄を設けてなる画像検査装置。

【請求項2】

請求項１に記載の画像検査装置であって、
前記画像スコア演算部は、各ワーク画像について、複数の異なる特徴量である第一特徴量と第二特徴量に対する画像スコアをそれぞれ算出し、
前記第一特徴量の画像スコア、及び第二特徴量の画像スコアについて、一方の画像スコアだけが高いワーク画像を上位の画像スコアを有するサムネイル画像として、前記表示部に表示させるよう構成してなる画像検査装置。

【請求項3】

請求項１に記載の画像検査装置であって、
前記画像スコア演算部は、各ワーク画像について、複数の異なる特徴量である第一特徴量と第二特徴量に対する画像スコアをそれぞれ算出し、
前記第一特徴量の画像スコア、及び第二特徴量の画像スコアについて、両方の画像スコアが高いワーク画像を、上位の画像スコアを有するサムネイル画像として前記表示部に表示させるよう構成してなる画像検査装置。

【請求項4】

請求項１～３のいずれか一項に記載の画像検査装置であって、さらに、
検査対象領域の指定を受け付ける検査対象領域指定部を備えており、
前記複数の特徴量が、第一特徴量として設定された形状と、第二特徴量として設定された色彩を含み、
前記画像スコア演算部は、前記検査対象領域指定部で指定された検査対象領域内に含まれる
検査対象物のエッジに基づいて、前記第一の特徴量である形状に関する画像スコアを算出すると共に、
検査対象物の色情報に基づいて、前記第二の特徴量である色彩に関する画像スコアを算出するよう構成してなる画像検査装置。

【請求項5】

請求項１～４のいずれか一項に記載の画像検査装置であって、さらに、
複数の特徴量の中から検査に用いる特徴量の指定を受け付ける特徴量指定部を備えており、
前記画像スコア演算部は、指定された特徴量に基づいて、画像スコアを算出し、
前記画像スコア演算部で演算された上位の画像スコアを有するサムネイル画像が、前記表示部に表示されるよう構成してなる画像検査装置。

【請求項6】

請求項１～５のいずれか一項に記載の画像検査装置であって、
前記画像スコア演算部は、前記特徴量に基づく検査を行うため生成された理想画像と、各ワーク画像との一致度に基づいて、画像スコアを算出するよう構成してなる画像検査装置。

【請求項7】

請求項１～６のいずれか一項に記載の画像検査装置であって、
上位の画像スコアを有する単一条件のワーク画像と、上位の画像スコアを有する合成条件のワーク画像に対応するサムネイル画像の両方が前記表示部に表示されるよう、前記画像スコア演算部は画像スコアを演算してなる画像検査装置。

【請求項8】

請求項１～７のいずれか一項に記載の画像検査装置であって、
前記参考情報表示欄は、前記合成条件により生成された前記サムネイル画像について、該サムネイル画像を生成するために要した前記カメラ部の撮像回数を参考情報として表示するよう構成してなる画像検査装置。

【請求項9】

請求項１～８のいずれか一項に記載の画像検査装置であって、
前記合成条件が、
複数の方向から照明を照射した画像を合成して、ワークの形状のエッジを強調する第一合成処理と、
複数の異なる露光時間で撮像した画像を合成して、ダイナミックレンジを拡大する第二合成処理
とを含んでなる画像検査装置。

【請求項10】

請求項１～９のいずれか一項に記載の画像検査装置であって、
前記表示部は、前記複数のサムネイル画像の内、最上位のサムネイル画像を、二位以下の複数のサムネイル画像よりも相対的に大きく表示させるよう構成してなる画像検査装置。

【請求項11】

検査対象物に照明光を照射する照明部と、
検査対象物から反射した光を受光し、ワーク画像を生成するカメラ部と、
前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させるように、前記カメラ部を制御すると共に、生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算する画像スコア演算部と、
前記画像スコア演算部で演算された画像スコアに基づいて、複数のワーク画像の内で上位の画像スコアを有するワーク画像に対応するサムネイル画像を複数、表示させる表示部と、
前記複数のサムネイル画像の中から選択されたサムネイル画像に対応する検査条件の設定を受け付ける画像生成条件設定部と、
を備える画像検査装置であって、
前記画像スコア演算部は、
複数の異なる特徴量について、前記ワーク画像の画像スコアを特徴量別に算出し、
前記複数の画像スコアに基づいて、前記複数のサムネイル画像を決定する
よう構成してなる画像検査装置。

【請求項12】

検査対象物に照明光を照射する照明部と、
前記照明部から照射され、検査対象物で反射された光を受光し、ワーク画像を生成するカメラ部と、
前記カメラ部により生成されたワーク画像を表示する表示部と、
前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、前記カメラ部を制御し、
異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算し、上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を前記表示部に表示させ、
前記表示部に表示された前記複数のサムネイル画像の中から、一のサムネイル画像の選択を受け付けることで、当該選択されたサムネイル画像に対応する画像生成条件の設定を受け付けるプロセッサ部と、
を備える画像検査装置であって、
前記複数の画像生成条件には、
単一の画像生成条件で撮像された画像を生成する単一条件と、
複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件と
が含まれ、
前記表示部は、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、
前記単一条件で生成されたものか、
前記合成条件で生成されたものか
を識別するための参考情報を表示させる参考情報表示欄を設けてなる画像検査装置。

【請求項13】

請求項１～１２のいずれか一項に記載の画像検査装置であって、
前記画像検査装置が、良否判定を行う画像センサである画像検査装置。

【請求項14】

検査対象物に照明光を照射する照明部と、
前記照明部から照射され、検査対象物で反射された光を受光し、ワーク画像を生成するカメラ部と、
前記カメラ部により生成されたワーク画像を表示する表示部と、
に接続される制御ユニットであって、
前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、前記カメラ部を制御する画像生成条件制御部と、
前記画像生成条件制御部により異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算する画像スコア演算部と、
上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を前記表示部に表示させた状態で、前記複数のサムネイル画像の中から、一の検査画像の選択を受け付けることで、当該選択された検査画像に対応する検査条件を設定させる画像生成条件設定部と、
を備え、
前記複数の画像生成条件には、
単一の画像生成条件で撮像された画像を生成する単一条件と、
複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件と
が含まれ、
前記表示部に、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、
前記単一条件で生成されたものか、
前記合成条件で生成されたものか
を識別するための参考情報を参考情報表示欄に表示させるよう構成してなる画像検査装置用制御ユニット。

【請求項15】

検査対象物に対し、照明部から照明光を照射し、検査対象物で反射された光を受光してカメラ部でワーク画像を撮像して、画像検査を行う画像検査方法であって、
前記ワーク画像を生成する際の画像生成条件として、
単一の画像生成条件で撮像された画像を生成する単一条件と、
複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件
を含む複数の画像生成条件を画像生成条件制御部で生成し、前記複数の画像生成条件で前記カメラ部をそれぞれ制御して、複数のワーク画像を生成する工程と、
前記複数の異なる画像生成条件で生成したワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを、画像スコア演算部で演算する工程と、
上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を表示部に表示させる工程と、
前記表示部に表示された前記複数のサムネイル画像の中から、一の検査画像の選択を受け付けることで、当該選択された検査画像に対応する検査条件を設定させる工程と、
を含む画像検査方法。

【請求項16】

請求項１５に記載の画像検査方法であって、さらに、
前記表示部に、前記上位の画像スコアを有する複数のサムネイル画像を表示させる工程において、各サムネイル画像が、
前記単一条件で生成されたものか、
前記合成条件で生成されたものか
を識別するための参考情報を参考情報表示欄に表示させてなる画像検査方法。

【請求項17】

検査対象物に対し、照明部から照明光を照射し、検査対象物で反射された光を受光してカメラ部でワーク画像を撮像して、画像検査を行うための画像検査プログラムであって、
前記ワーク画像を生成する際の画像生成条件として、
単一の画像生成条件で撮像された画像を生成する単一条件と、
複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件
を含む複数の画像生成条件を画像生成条件制御部で生成し、前記複数の画像生成条件で前記カメラ部をそれぞれ制御して、複数のワーク画像を生成する機能と、
前記複数の異なる画像生成条件で生成したワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを、画像スコア演算部で演算する機能と、
上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を表示部に表示させる機能と、
前記表示部に表示された前記複数のサムネイル画像の中から、一の検査画像の選択を受け付けることで、当該選択された検査画像に対応する検査条件を設定させる機能と、
をコンピュータに実現させるための画像検査プログラム。

【請求項18】

請求項１７に記載の画像検査プログラムであって、さらに、
前記表示部に、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、
前記単一条件で生成されたものか、
前記合成条件で生成されたものか
を識別するための参考情報を参考情報表示欄に表示させる機能をコンピュータに実現させるための画像検査プログラム。

【請求項19】

請求項１７又は１８に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体又は記憶した機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器に関する。

【背景技術】

【0002】

ワーク等の検査対象物を撮像し、得られた画像に基づいて検査対象物の良否判定を行う画像センサ等の画像検査装置が用いられている。このような画像検査装置で行われる画像検査は、一般にマスター画像を登録し、登録したマスター画像上で各種の画像検査ツールを設定することにより行われる。

【0003】

照明やカメラ等の画像センサの撮像条件の組み合わせが多岐にわたる場合、最適な撮像条件をユーザが経験的に探し当てるのは困難であった。これに対し、様々に撮像条件を変化させて、画像を評価することにより最適な撮像条件を決める画像検査装置が知られている（例えば特許文献１）。

【0004】

しかしながら、ユーザが行いたい検査内容によって、検査に適した画像は異なるため、最適な撮像条件を画像検査装置で自動的に決定することは困難であった。例えば、検査対象のワークの形状を検査したい場合は、形状に関わるエッジが先鋭に映し出されている画像が一般に最適画像となるが、一方で検査対象ワークの色を検査したい場合は、色の違いが明確な画像が一般に最適画像となる。また、様々な観点で検査を行いたい場合は、様々な特徴量がバランスよく映し出されている画像が最適画像となる。

【0005】

さらに、検査用に画像を最適化するためには、複数の画像を合成することが必要な場合がある。例えば、露光時間を変化させて撮像した複数の画像を合成してダイナミックレンジ処理を拡大するＨＤＲ処理や、複数の異なる方向から照射した画像を合成する処理等が挙げられる。しかしながら、これらの処理による画質向上のためには、複数の画像を撮像することによりタクトが悪化する。ユーザにとって本当の意味での最適な画像とは、画質だけではなく、その画像を得るためにかかるタクトも考慮されて選択されなければならない。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１７－２２３４５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的の一は、検査用の画像を容易に撮像できるようにした画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器を提供することにある。

【課題を解決するための手段及び発明の効果】

【0008】

本発明の一形態に係る画像検査装置によれば、検査対象物に照明光を照射する照明部と、前記照明部から照射され、検査対象物で反射された光を受光し、ワーク画像を生成するカメラ部と、前記カメラ部により生成されたワーク画像を表示する表示部と、前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、前記カメラ部を制御する画像生成条件制御部と、前記画像生成条件制御部により異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算する画像スコア演算部と、上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を前記表示部に表示させた状態で、前記複数のサムネイル画像の中から、一のサムネイル画像の選択を受け付けることで、当該選択されたサムネイル画像に対応する画像生成条件の設定を受け付ける画像生成条件設定部とを備える画像検査装置であって、前記複数の画像生成条件には、単一の画像生成条件で撮像された画像を生成する単一条件と、複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件とが含まれ、前記表示部は、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、前記単一条件で生成されたものか、前記合成条件で生成されたものかを識別するための参考情報を表示させる参考情報表示欄を設けている。上記構成により、複数のサムネイル画像の中から所望の画像をユーザに選択させる際、画像スコアと共に参考情報も参酌して、適切な画像を選択し易くでき、もって画像を生成する画像生成条件を容易に設定できる。

【0009】

また、本発明の他の形態に係る画像検査装置によれば、検査対象物に照明光を照射する照明部と、検査対象物から反射した光を受光し、ワーク画像を生成するカメラ部と、前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させるように、前記カメラ部を制御すると共に、生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算する画像スコア演算部と、前記画像スコア演算部で演算された画像スコアに基づいて、複数のワーク画像の内で上位の画像スコアを有するワーク画像に対応するサムネイル画像を複数、表示させる表示部と、前記複数のサムネイル画像の中から選択されたサムネイル画像に対応する検査条件の設定を受け付ける画像生成条件設定部とを備える画像検査装置であって、前記画像スコア演算部は、複数の異なる特徴量について、前記ワーク画像の画像スコアを特徴量別に算出し、前記複数の画像スコアに基づいて、前記複数のサムネイル画像を決定するよう構成している。

【0010】

さらに、本発明の他の形態に係る画像検査装置によれば、検査対象物に照明光を照射する照明部と、前記照明部から照射され、検査対象物で反射された光を受光し、ワーク画像を生成するカメラ部と、前記カメラ部により生成されたワーク画像を表示する表示部と、前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、前記カメラ部を制御し、異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算し、上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を前記表示部に表示させ、前記表示部に表示された前記複数のサムネイル画像の中から、一のサムネイル画像の選択を受け付けることで、当該選択されたサムネイル画像に対応する画像生成条件の設定を受け付けるプロセッサ部とを備える画像検査装置であって、前記複数の画像生成条件には、単一の画像生成条件で撮像された画像を生成する単一条件と、複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件と
が含まれ、前記表示部は、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、前記単一条件で生成されたものか、前記合成条件で生成されたものかを識別するための参考情報を表示させる参考情報表示欄を設けている。上記構成により、複数のサムネイル画像の中から所望の画像をユーザに選択させる際、画像スコアと共に参考情報も参酌して、適切な画像を選択し易くでき、もって画像を生成する画像生成条件を容易に設定できる。

【0011】

さらにまた、本発明の他の形態に係る画像検査装置用制御ユニットによれば、検査対象物に照明光を照射する照明部と、前記照明部から照射され、検査対象物で反射された光を受光し、ワーク画像を生成するカメラ部と、前記カメラ部により生成されたワーク画像を表示する表示部と、に接続される制御ユニットであって、前記ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、前記カメラ部を制御する画像生成条件制御部と、前記画像生成条件制御部により異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算する画像スコア演算部と、上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を前記表示部に表示させた状態で、前記複数のサムネイル画像の中から、一の検査画像の選択を受け付けることで、当該選択された検査画像に対応する検査条件を設定させる画像生成条件設定部とを備え、前記複数の画像生成条件には、単一の画像生成条件で撮像された画像を生成する単一条件と、複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件とが含まれ、前記表示部に、前記上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像が、前記単一条件で生成されたものか、前記合成条件で生成されたものかを識別するための参考情報を参考情報表示欄に表示させるよう構成している。上記構成により、複数のサムネイル画像の中から所望の画像をユーザに選択させる際、画像スコアと共に参考情報も参酌して、適切な画像を選択し易くでき、もって画像を生成する画像生成条件を容易に設定できる。

【0012】

さらにまた、本発明の他の形態に係る画像検査方法によれば、検査対象物に対し、照明部から照明光を照射し、検査対象物で反射された光を受光してカメラ部でワーク画像を撮像して、画像検査を行う画像検査方法であって、前記ワーク画像を生成する際の画像生成条件として、単一の画像生成条件で撮像された画像を生成する単一条件と、複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件を含む複数の画像生成条件を画像生成条件制御部で生成し、前記複数の画像生成条件で前記カメラ部をそれぞれ制御して、複数のワーク画像を生成する工程と、前記複数の異なる画像生成条件で生成したワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを、画像スコア演算部で演算する工程と、上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を表示部に表示させる工程と、前記表示部に表示された前記複数のサムネイル画像の中から、一の検査画像の選択を受け付けることで、当該選択された検査画像に対応する検査条件を設定させる工程とを含む。これにより、複数のサムネイル画像の中から所望の画像イメージをユーザに選択させることで、適切な画像を生成する画像生成条件を容易に設定できる。

【0013】

さらにまた、本発明の他の形態に係る画像検査プログラムによれば、検査対象物に対し、照明部から照明光を照射し、検査対象物で反射された光を受光してカメラ部でワーク画像を撮像して、画像検査を行うための画像検査プログラムであって、前記ワーク画像を生成する際の画像生成条件として、単一の画像生成条件で撮像された画像を生成する単一条件と、複数の異なる画像生成条件でそれぞれ撮像された画像を合成する合成条件を含む複数の画像生成条件を画像生成条件制御部で生成し、前記複数の画像生成条件で前記カメラ部をそれぞれ制御して、複数のワーク画像を生成する機能と、前記複数の異なる画像生成条件で生成したワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを、画像スコア演算部で演算する機能と、上位の画像スコアを有する複数のワーク画像に対応するサムネイル画像を表示部に表示させる機能と、前記表示部に表示された前記複数のサムネイル画像の中から、一の検査画像の選択を受け付けることで、当該選択された検査画像に対応する検査条件を設定させる機能とをコンピュータに実現させることができる。上記構成により、複数のサムネイル画像の中から所望の画像イメージをユーザに選択させることで、適切な画像を生成する画像生成条件を容易に設定できる。

【0014】

さらにまた、本発明の他の形態に係るコンピュータで読み取り可能な記録媒体又は記憶した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ－ｒａｙ、ＨＤ ＤＶＤ（ＡＯＤ）、ＵＨＤ（いずれも商品名）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係る画像検査装置の構成を示す模式図である。

【図2】画像検査装置のハードウエア構成を示す図である。

【図3】プロセッサ部の機能を示すブロック図である。

【図4】画像検査プログラムのユーザインターフェース画面の一例を示す模式図である。

【図5】図４からサムネイル画像表示領域を切り替えた例を示す模式図である。

【図6】画像検査プログラムのユーザインターフェース画面の他の例を示す模式図である。

【図7】候補画像を画像スコア順に表示させる手順を示すフローチャートである。

【図8】画像生成条件設定画面を示す模式図である。

【図9】領域指定画面を示す模式図である。

【図10】「撮像条件をＡＩが作成中」の画面を示す模式図である。

【図11】画像生成条件設定画面を示す模式図である。

【図12】候補画像群の画像スコアから画像スコアマップを作成する模式図である。

【図13】候補画像群の画像スコアから順位を決定する手順を示すフローチャートである。

【図14】理想画像を生成する手順を示す模式図である。

【図15】色彩の理想画像を生成する実例を示す模式図である。

【図16】有彩色とそれ以外を分ける理由を示す模式図である。

【図17】画像スコアの計算例を示す模式図である。

【図18】色彩と形状の理想画像を生成する手順を示す模式図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器を例示するものであって、本発明は画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
［実施形態１］

【0017】

本発明の実施形態１に係る画像検査装置を、図１の模式図に示す。画像検査装置は、例えば各種部品や製品等の検査対象物を撮像した画像に基づいて検査対象物の良否判定を行うための装置であり、画像センサ等と呼ばれ、工場等の生産現場等で使用することができる。検査対象物は、それ全体が検査対象であってもよいし、一部のみが検査対象であってもよい。また一の検査対象物に複数の検査対象が含まれていてもよい。さらに一の画像に、複数の検査対象物が含まれていてもよい。

【0018】

ここでは、検査対象物の外観を撮像して、予め規定された検査条件に従い、良否判定を行う画像検査装置の例を説明する。良否判定は、例えば良品か不良品かを判定する所定の良否判定条件を設定時に設定しておき、運用時あるいは運転時において、撮像した検査対象物の画像を撮像し、良否判定条件に照らして検査対象物の良否を判定する。

【0019】

画像検査装置１００は、装置本体となる制御ユニット２と、撮像ユニット３と、表示部４と、パーソナルコンピュータ５と、操作部６を備えている。パーソナルコンピュータ５には、画像検査装置１００を操作する画像検査プログラムをインストールする。画像検査プログラムのユーザインターフェース画面は、パーソナルコンピュータ５のモニタや、表示部４に表示させることができる。なおパーソナルコンピュータ５は、必須のものではなく、省略することもできる。この場合は制御ユニット２が、画像検査を実行する。また制御ユニット２で、画像検査プログラムを実行させるようにしてもよい。

【0020】

さらに表示部４の代わりにパーソナルコンピュータのディスプレイを用いることもできる。また図１では、画像検査装置１００の構成例の一例として、制御ユニット２、撮像ユニット３、表示部４、パーソナルコンピュータ５、操作部６を別々のものとして記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示部４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示部４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。さらに操作部６も、別途設ける他、パーソナルコンピュータが備える入力デバイスを利用したり、表示部をタッチパネルとする等、他の部材に統合してもよい。

【0021】

また図１の例では、制御ユニット２を、撮像ユニット３と、表示部４と、パーソナルコンピュータ５にそれぞれケーブルを介して接続している。ただ本発明は各部材の接続を有線接続に限定するものでなく、無線ＬＡＮや公衆通信回線、ＮＦＣ等の電波、赤外線、光等の媒体を介した無線接続としてもよい。また通信規格は、イーサネットやＩＥＥＥ８０２．１ｘ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ（いずれも登録商標又は製品名）等、規格化された汎用のものや、専用のプロトコルやインターフェースが適宜利用できる。

【0022】

本発明の実施形態１に係る画像検査装置１００のハードウェア構成を、図２のブロック図に示す。この図に示す画像検査装置１００は、制御ユニット２と、撮像ユニット３と、表示部４と、パーソナルコンピュータ５を備える。
（制御ユニット２）

【0023】

制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８を備えている。メイン基板１３には、プロセッサ部２０と、メモリ１３３とが搭載されている。メモリ１３３は、ＲＡＭやＲＯＭ等で構成される。

【0024】

コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタを介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施形態では、カメラ部１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラ部１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。

【0025】

通信基板１７は、メイン基板１３から出力された検査対象物の良否判定結果を示すＯＫ／ＮＧ信号（判定信号）や画像データ等を表示部４へ送信する。判定信号を受信した表示部４は、判定結果を表示する。なお、本実施形態では、通信基板１７を介して判定信号を出力する構成にしているが、例えばコネクタ基板１６を介して判定信号を出力する構成にしても良い。
（操作部６）

【0026】

また画像検査装置１００は、ユーザの操作を受け付ける操作部６を備えている。操作部６は、キーボードやマウス、タッチパネル等の既存の入力でバイスが利用できる。図２の例では、通信基板１７は、表示部４が有するタッチパネル４１やパーソナルコンピュータ５のキーボード５１等から入力されたユーザの各種操作を受け付けることができるように構成されている。表示部４のタッチパネル４１は、例えば感圧センサを搭載した既知のタッチ式操作パネルであり、ユーザによるタッチ操作を検出して通信基板１７へ出力する。パーソナルコンピュータ５は、キーボード５１の他に、マウスやタッチパネルを備えており、これら操作デバイスから入力されたユーザの各種操作を受け付けることができるように構成されている。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。

【0027】

照明部１５は、検査対象物を撮像する撮像領域に照明光を照射する、複数のＬＥＤ１１を備えている。ＬＥＤ１１にはレンズやリフレクタを設けることができる。レンズは、短距離用又は長距離用のレンズユニットとして交換可能とできる。なお本明細書において照明光とは、主に照明部１５で照射される光を指すが、自然光等、照明部によらずに存在する環境光も含む意味で使用する。

【0028】

撮像ユニット３は、カメラ部１４と、照明部１５を備えている。カメラ部１４は、モータ１４１が駆動することにより、オートフォーカス動作の制御を行うことができる。このカメラ部１４は、メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施形態では、撮像素子としてＣＭＯＳ基板１４２を備えている。撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換され、メイン基板１３のプロセッサ部２０へ出力される。

【0029】

メイン基板１３は、接続してある各基板の動作を制御する。例えば照明部１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、プロセッサ部２０からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラ部１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を送信する。さらにＣＭＯＳ基板１４２に対しては、撮像指示信号を送信する。
（記憶部１９）

【0030】

制御ユニット２には、ハードディスクドライブや半導体メモリ等の記憶部１９が設けられている。記憶部１９には、各種制御や処理を上記ハードウエアによって実行可能にするためのプログラムファイルや設定ファイル等、画像、判定結果等が記憶されている。プログラムファイルや設定ファイルは、例えばＵＳＢメモリや光ディスク等の可搬式の記憶媒体に格納しておき、この記憶媒体に格納されたプログラムファイルや設定ファイルを制御ユニット２に読み込むこともできる。
（プロセッサ部２０）

【0031】

メイン基板１３のプロセッサ部２０は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子である。プロセッサ部２０は、汎用ＰＣ向けのＣＰＵやＭＰＵ、ＧＰＵ、ＴＰＵ等のプロセッサに限定するものでなく、特定用途向けにカスタマイズされたＬＳＩやＦＰＧＡ、ＡＳＩＣ等のゲートアレイ、マイコン、あるいはＳｏＣ等のチップセットやパッケージ等で構成できる。プロセッサ部２０は、後述する複数の機能を実現する。なお本発明は、物理的に一のプロセッサ部で構成する例に限られず、複数のＣＰＵ等でプロセッサ部を構成してもよい。複数のＣＰＵには、物理的に複数のＣＰＵとする他、複数のＣＰＵコアを一パッケージに組み込んだいわゆるマルチコアのＭＰＵとしてもよい。この場合において、複数のＣＰＵやＣＰＵコアで各機能を実現する他、ＣＰＵやＣＰＵコア毎に異なる機能を割り当てて実行してもよい。さらに、ＣＰＵとＧＰＵの組み合わせでプロセッサ部を構成してもよい。この場合において、ＧＰＵは上述した表示制御部の機能を果たす他、プロセッサ部に割り当てられた機能の一部又は全部を実行させるように構成してもよい。

【0032】

図２の例では、メイン基板１３のプロセッサ部２０をＦＰＧＡとＤＳＰで構成している。 ＦＰＧＡは、照明制御、撮像制御をすると共に、取得した画像データに対する画像処理を実行する。また、ＤＳＰは、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、検査対象物の良否を示す判定結果を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお上記の例ではＦＰＧＡが照明制御、撮像制御等を実行するが、ＤＳＰが実行しても良い。また、ＦＰＧＡとＤＳＰの組み合わせに代えて、一の主制御回路乃至主制御部を設けても良い。例えば一のＣＰＵが主制御部として、複数のＬＥＤ１１の点灯／消灯を制御する制御信号をＬＥＤドライバ１５１へ送信したり、オートフォーカス動作を制御する制御信号をカメラ部１４のモータ１４１へ送信したり、撮像指示信号等をＣＭＯＳ基板１４２へ送信したりといった機能を果たす。

【0033】

プロセッサ部２０のブロック図を図３に示す。この図に示すようにプロセッサ部２０は、画像生成条件制御部２１と、画像スコア演算部２２と、画像生成条件設定部２３の機能を実現する。

【0034】

画像生成条件制御部２１は、ワーク画像を生成する際の画像生成条件を複数の異なる条件に変化させて複数のワーク画像を生成するように、カメラ部１４を制御する。この画像生成条件制御部２１は、ワーク画像をカメラ部１４で撮像する際に、画像生成条件の一態様である撮像条件に従ってカメラ部１４を制御する撮像条件制御部としても機能する。なおワーク画像とは、ワークを撮像した画像を意味する。
（画像スコア演算部２２）

【0035】

画像スコア演算部２２は、画像生成条件制御部２１により異なる画像生成条件で生成した複数のワーク画像を、各ワーク画像を特徴付ける複数の特徴量に基づいて各ワーク画像の評価値である画像スコアを演算し、上位の画像スコアを有する複数の画像をサムネイル画像として表示部４に表示させる。複数の異なる特徴量として、例えば第一特徴量と第二特徴量を設定した場合、画像スコア演算部２２は、各ワーク画像について第一特徴量と第二特徴量に対する画像スコアをそれぞれ算出する。そして第一特徴量の画像スコアと第二特徴量の画像スコアについて、一方の画像スコアだけが高いワーク画像を上位の画像スコアを有するサムネイル画像として、表示部４に表示させる。このように、複数の異なる特徴量について個別に画像スコアを算出し、一方の特徴量だけが高いワーク画像もサムネイル画像とすることで、特別な特徴がある画像をサムネイル画像として表示させ、選択対象とすることができる。

【0036】

あるいは、総合的に画像スコアが高い画像をサムネイル画像としてもよい。この場合画像スコア演算部２２は、各ワーク画像について第一特徴量と第二特徴量の画像スコアをそれぞれ算出し、両方の画像スコアが高いワーク画像を、上位の画像スコアを有するサムネイル画像として表示部４に表示させる。これにより、複数の異なる特徴量について個別に画像スコアを算出し、両方の特徴量が高いワーク画像をサムネイル画像とすることで、異なる検査観点での検査を同一の画像に基づいて実行できる。

【0037】

画像スコア演算部２２は、検査対象物の画像の内で指定された特定の検査対象領域について、この検査対象領域内に含まれる特徴量について画像スコアを演算する。例えば第一特徴量として画像の形状を、第二特徴量として画像の色彩を指定すると、画像スコア演算部２２は、検査対象領域内に含まれる検査対象物のエッジに基づいて、第一の特徴量である形状に関する画像スコアを算出すると共に、検査対象物の色情報に基づいて、第二の特徴量である色彩に関する画像スコアを算出する。このように画像スコアを演算する前に、予め特定の検査対象領域をユーザに指定させることで、検査対象領域以外の情報で画像スコアが変動する事態を回避できる。これにより不要な領域に含まれる色彩や形状の情報に左右されない、安定的な画像検査が実現される。
（画像生成条件設定部２３）

【0038】

画像生成条件設定部２３は、表示部４に表示された複数のサムネイル画像の中から、一のサムネイル画像の選択を受け付けることで、当該選択されたサムネイル画像に対応する画像生成条件を設定させる。
（画像検査プログラムのユーザインターフェース画面）

【0039】

ここで、表示部４に表示される画像検査プログラムのユーザインターフェース画面の一例を、図４に示す。この図は、画像検査プログラムのＡＩ生成撮像条件一覧画面２００を示しており、画面の左に画像表示領域２０１、右端にサムネイル画像表示領域２０２を設けている。画像表示領域２０１は、カメラ部１４で撮像した画像を表示させる領域である。画像表示領域２０１は、検査対象領域を指定する検査対象領域指定部を構成している。
（サムネイル画像表示領域２０２）

【0040】

サムネイル画像表示領域２０２は、複数のサムネイル画像を一覧表示させる領域である。図４の例では、一画面で１～４の４枚のサムネイル画像ＬＩ１～ＬＩ４を表示させており、左右の矢印ボタン２０３、２０４で画面を切り替えることにより他のサムネイル画像を表示させることができる。例えば図４の画面で右矢印ボタン２０３を押下すると、図５の画面に切り替わり、サムネイル画像表示領域２０２Ｂにおいて５～８の４枚のサムネイル画像ＬＩ５～ＬＩ８が表示される。また図５の画面で左矢印ボタン２０４を押下すると、図４の画面に戻る。なお矢印ボタンに代えて、スクロールバーやフリック等、既知の画面切替方式を適宜採用できる。

【0041】

またサムネイル画像表示領域２０２は、ユーザに所望のワーク画像を選択させるためのサムネイル画像選択部として機能する。ユーザはマウスやタッチパネル等の入力デバイスを用いて、サムネイル画像表示領域２０２に表示された複数のサムネイル画像の中から、所望のワーク画像を選択することができる。選択されたサムネイル画像は、画像検査を行うための選択画像となり、この選択されたサムネイル画像に対応する画像生成条件が設定される。例えば画像検査が良品と不良品を判定する良否判定の場合は、良品となるマスター画像を登録する必要がある。マスター画像を登録することで、選択したサムネイル画像の特徴量、例えば色彩やエッジ、画像の明るさや合焦度合、あるいは撮像時の照明光の光量や露光時間、焦点位置等の画像生成条件が、サムネイル画像から抽出され、あるいはサムネイル画像と関連付けて保存されたデータから抽出されて、画像検査時の設定として登録される。また良品となるマスター画像に加えて、不良品となるマスター画像を登録することで、良品と不良品の境界となる条件を自動的に抽出、設定することもできる。

【0042】

このようなサムネイル画像を一覧表示させるにあたり、複数のサムネイル画像を生成する必要がある。ここでは画像生成条件制御部２１が、複数の異なる画像生成条件を自動で生成し、各画像生成条件でカメラ部１４や照明部１５を動作させて、ワーク画像をそれぞれ取得する。そして取得したワーク画像に対し、画像スコア演算部２２でワーク画像の評価値である画像スコアを演算して、上位の画像スコアを有する複数のワーク画像をサムネイル画像として抽出し、表示部４のサムネイル画像表示領域２０２に表示させる。この際、画像スコアの高い順に所定数のワーク画像をサムネイル画像として抽出し、サムネイル画像表示領域２０２にも画像スコアの高い順に表示させる。
（単一条件と合成条件）

【0043】

ここで複数の画像生成条件には、単一条件と合成条件が含まれる。単一条件は、単一の画像生成条件で撮像されたワーク画像を生成するための条件である。また合成条件は、複数の異なる画像生成条件でそれぞれ撮像されたワーク画像を合成するための条件である。このようにワーク画像には、単一条件で撮像された単一画像と、合成条件で撮像された合成画像が存在する。なお合成画像は、同じ検査対象物を異なる画像生成条件でそれぞれ撮像した複数枚の光学画像を合成したものであり、ここではその画像合成を逐次行う例について説明する。いいかえると、合成画像はリアルタイムで撮像され、合成画像を生成するために撮像した複数の光学画像はデータとして保存されず、破棄される。ただし本発明は、合成画像をリアルタイムで撮像する構成に限られず、例えば予め撮像された単一画像を保存しておき、事後的にこれらを合成して合成画像を取得する構成としてもよい。

【0044】

なお合成条件は、複数の方向から照明を照射した画像を合成して、ワークの形状のエッジを強調する第一合成処理や、複数の異なる露光時間で撮像した画像を合成して、ダイナミックレンジを拡大する第二合成処理等が利用できる。第二合成処理はＨＤＲ等と呼ばれる。

【0045】

またサムネイル画像表示領域２０２には、上位の画像スコアを有する単一条件の画像と、上位の画像スコアを有する合成条件の画像の両方が、サムネイル画像として表示されるようにする。単純に画像スコアを比較するだけでは、合成条件の画像が上位を占める傾向にある。そこで、上位の画像スコアを有する単一条件の画像も含まれるようにする。例えば、最上位の画像は、単一条件か合成条件かとは無関係に画像スコアが最も高い画像とすると、最上位の画像は合成条件により撮像された画像になる可能性が高い。そこで、二位の画像は、単一条件で撮像された画像の中で最も画像スコアが高い画像とする。
（参考情報表示欄２０５）

【0046】

さらに表示部４は、上位の画像スコアを有する複数のサムネイル画像を表示させる際、各サムネイル画像に参考情報を表示させてもよい。図４の例では表示部４は、参考情報を表示させるための参考情報表示欄２０５を設けている。参考情報表示欄２０５は、サムネイル画像表示領域２０２で表示される各サムネイル画像に沿えて表示される。図４の例では、各サムネイル画像の左下に参考情報表示欄２０５がそれぞれ設けられている。
（参考情報）

【0047】

参考情報は、サムネイル画像表示領域２０２に表示されるサムネイル画像が、単一条件で生成されたものか、合成条件で生成されたものかを識別するための情報である。参考情報は、例えばワーク画像の生成に要する時間や、画像スコアの値、ワーク画像が合成画像の場合は、合成に用いた画像の枚数、撮影回数、「ＨＤＲ」や「光分け」等の合成の種別等が挙げられる。あるいは、「単一」や「合成」等のフラグでもよい。図４の例では、参考情報としてカメラのアイコンに重ねて「×４」と表示され、４枚の画像を撮像して合成していることを示している。また、サムネイル画像表示領域２０２で選択されているサムネイル画像は、ハイライト表示されており、現在選択中のサムネイル画像がいずれであるかをユーザに対し判り易くしている。

【0048】

さらに、サムネイル画像表示領域２０２で選択したサムネイル画像を、画像表示領域２０１に拡大表示させてもよい。この際、画像表示領域２０１にも、参考情報表示欄２０５Ｂを設けてもよい。図４の例では、サムネイル画像表示領域２０２の上段「１」に表示されたサムネイル画像ＬＩ１を選択しており、画像表示領域２０１にはこの「１」のサムネイル画像ＬＩ１が拡大表示されると共に、右上の参考情報表示欄２０５Ｂに参考情報が表示される。ここでは、より詳細な参考情報として、画像の枚数に加えて、露光時間も表示させている。このような参考情報を参照して、ユーザが複数のサムネイル画像の中から所望の選択画像を選択する際、サムネイル画像のイメージと共に参考情報も参酌して、適切な画像を選択し易い環境が提供される。

【0049】

またサムネイル画像表示領域２０２は、複数のサムネイル画像の内、初期状態において最上位のサムネイル画像を、二位以下の複数のサムネイル画像よりも相対的に大きく表示させるよう構成してもよい。このような例を図６に示す。ここでは、最も画像スコアの高い「１」のサムネイル画像ＬＩ１が、「２」以降のサムネイル画像ＬＩ２～ＬＩ４よりも一回り大きく表示されている。これにより、現在選択中のサムネイル画像をユーザに対し視覚的に判り易く提示できる。また、「１」のサムネイル画像ＬＩ１を選択した状態から、他のサムネイル画像を選択すると、当該選択されたサムネイル画像が一回り大きく表示されると共に、「１」のサムネイル画像ＬＩ１が通常の大きさの表示態様に戻る。これによって、選択中のサムネイル画像の遷移をユーザに対し視覚的に判り易く提示できる。このようにサムネイル画像表示領域２０２におけるサムネイル画像の拡大表示は、選択中のサムネイル画像であることを示すものである。またサムネイル画像が抽出された初期段階では、最も画像スコアの高い「１」のサムネイル画像ＬＩ１を選択するようにデフォルトで設定している。これによって、初期状態では必然的に最上位のサムネイル画像が強調されることになる。

【0050】

さらに表示部４は、画像生成条件を様々に変化させてワーク画像を順次撮像していく際に、画像表示領域２０１で表示される画像をリアルタイムに更新しながら表示させてもよい。そして画像スコア演算部２２で複数のサムネイル画像が決定されると、初期状態において最上位のサムネイル画像を相対的に大きく表示する。さらに画像生成条件制御部２１が、表示部４で表示されるワーク画像の明るさと、カメラ部１４のフォーカスを含む画像生成条件を設定するよう構成してもよい。

【0051】

画像センサにおいては従来、画像生成条件の組み合わせが非常に多岐に渡り、ユーザが、検査対象物（ワーク）に応じて、数百とある組み合わせから、経験的に良い条件を試行錯誤して探し当てていた。その一方で、照明内蔵型の画像センサであっても、追加の照明が付いたり、照明の点灯方法を変えることによって、より良い絵を作り出すということが、進んでおり、その撮影条件の組み合わせは、さらに複雑度を増している。そこで本実施形態に係る画像検査装置１００では、適切と思われる画像生成条件を複数提示して、その中からいずれかをユーザに選択させるように構成している。ここでは複数枚のワーク画像を撮像して、得られた複数枚のワーク画像から理想画像を生成する。また候補画像のスコアリングを行って画像生成条件を決定する。スコアリングに際しては、複数の異なる評価指標を設定し、それぞれの評価指数の最大を取る複数の理想画像を作成する。なお候補画像とは、ワーク画像の内で、画像スコアが上位のワーク画像を指す。またサムネイル画像は、候補画像に対応するサムネイル化された画像を指す。

【0052】

また画像スコア演算部２２は、理想画像と各ワーク画像との一致度に基づいて、画像スコアを算出する。ここでは、理想画像を作成した上で、その理想画像からの距離に基づいて画像スコアを算出する。また各特徴量別に複数の理想画像を生成し、それぞれの特徴量の画像スコアを算出してもよい。
（理想画像）

【0053】

特徴量としては、上述の通り画像の形状（エッジ）や色彩等が挙げられる。よって理想画像は、形状の理想画像や、色彩の理想画像が利用できる。色彩の理想画像を生成する際は、条件に優先順位を設定できる。例えば優先度の高い順に有彩色、無彩色、飽和を用いることができる。また複数の特徴量の中から、使用する特徴量をユーザが指定できるようにしてもよい。この場合は、複数の特徴量の中から検査に用いる特徴量の指定を受け付ける特徴量指定部を用意する。特徴量指定部の一例として、例えば画像検査プログラムは特徴量指定画面を表示部４に表示させ、ユーザはマウス等の入力デバイスを操作して、複数の特徴量の中から検査に用いる特徴量の指定を行う。これに従い画像スコア演算部２２は、指定された特徴量に基づいて、画像スコアを算出し、演算された上位の画像スコアを有するサムネイル画像が、表示部４に表示される。このようにユーザが特定の特徴量を選択して指定することで、所望の特徴量でもって候補画像を表示させることが可能となる。

【0054】

ここで候補画像を画像スコア順に表示させる手順の概要を、図７のフローチャート及び図８～図１１に基づいて説明する。ここでは、画像検査プログラムを用いて良品の検査対象物をマスター画像として登録し、その輪郭や面積、エッジ等の特徴を判別する画像検査の検査条件を設定する。そしてマスター画像を登録して設定を終了すると、運用時においては検査対象物とマスター画像との差分でもって、良否判定を行う場合を想定する。

【0055】

まず図７のステップＳ７０１において、検査対象物が映るように、オートフォーカス（ＡＦ）と自動露出（Automatic Exposure：ＡＥ）を暫定で行う。例えば画像検査プログラムにおいて「明るさ＆フォーカス自動調整中」のダイヤログが表示される。次に、ステップＳ７０２において、ユーザが注目したい部分を領域指定する。領域の指定は、検査対象領域指定部で行うことができる。例えば図８に示す画像生成条件設定画面２２０の右側に設けられた操作領域２２２において、「ＡＩ撮像」ボタン２２３を押下すると、検査対象領域指定部の一態様である図９の領域指定画面２３０となる。領域指定画面２３０の左側に設けられた画像表示領域２０１においては、検査対象物をカメラ部１４で撮像したライブ画像が表示されている。ライブ画像は逐次更新される動画で表示される。この状態で画像表示領域２０１において、ユーザに対しマウス等の入力デバイスを用いて検査対象領域を指定させる。ここでは、画像表示領域２０１に表示された検査対象物の全体、あるいは検査対象物の内で注目したい部位を囲むように、対象領域を指定する。さらにステップＳ７０３において、領域指定された場所に対して、再度オートフォーカスを実行して、ピントを合わせる。

【0056】

次にステップＳ７０４において、画像生成条件、ここでは撮像条件として、内側照明のＯＮ／ＯＦＦ、外側照明のＯＮ／ＯＦＦ、複数回撮像を組み合わせて、明るさも変えながら候補画像を撮像していく。ここでは図１０に示すように、「撮像条件をＡＩが作成中」のダイヤログが表示されると共に、画像表示領域２０１では順次撮影されたワーク画像がリアルタイムに更新されていく。さらにステップＳ７０５において、照明のＯＮ／ＯＦＦ等の組み合わせを１条件として、１条件の中からすべての候補画像を選出し、それらを合成して、まず「色彩の理想画像」を作成する。ここで、選出された候補画像を候補画像群と呼ぶ。次にステップＳ７０６において、候補画像群と、「色彩の理想画像」の一致度を「色彩の画像スコア」とする。またステップＳ７０７において、候補画像群と「色彩の理想画像」から「形状の理想画像」を作成する。さらにステップＳ７０８において、候補画像群と「形状の理想画像」の一致度を「形状の画像スコア」とする。その上でステップＳ７０９において、「色彩の画像スコア」と「形状の画像スコア」から「総合画像スコア」を計算する。またステップＳ７１０において、候補画像群と「総合画像スコア」から順位を計算する。

【0057】

このようにして画像スコアを演算すると、候補画像を計算した順位に基づいて、サムネイル画像表示領域２０２に表示する順番を決める。そしてステップＳ７１１において、図４のように候補画像をサムネイル画像表示領域２０２に表示する。また画像表示領域２０１においては、最上位の候補画像に対応する画像生成条件となるように、明るさやフォーカスを調整したワーク画像を、画像表示領域２０１に表示する。またこの際、図６のように一位のサムネイル画像を相対的に大きく表示してもよい。

【0058】

さらにサムネイル画像を表示する際に、参考情報を表示してもよい（ステップＳ７１２）。図４の例では、複数回の撮像を行って合成した画像について、参考情報表示欄２０２でアイコンを表示している。このようにして所望のサムネイル画像を選択画像としてユーザに選択させる。これによって図４、図５等のＡＩ生成撮像条件一覧画面２００から、図１１の画像生成条件設定画面２４０に切り替わる。
（順位決定手順）

【0059】

次に候補画像群の画像スコアから順位を決定する手順を、図１２の模式図及び図１３のフローチャートに基づいて説明する。図１２ではＡ～Ｄに示す４枚の候補画像群があるとする。まずステップＳ１３０１において、候補画像群から「色彩の理想画像」を作成する。例えばＡ～Ｄの４枚の候補画像群から、Ｅの「色彩の理想画像」を作成する。ここでは、図１４に示すようにまず候補画像群から、色分け画像群を作成する。そして候補画像群と色分け画像群から、色彩の理想画像を作る。さらにステップＳ１３０２において、候補画像群と「色彩の理想画像」の一致度を演算し、「色彩の画像スコア」とする。ここでは、候補画像群と色分け画像群と色彩の理想画像から、色彩の画像スコアを計算する。

【0060】

一方でステップＳ１３０３において、候補画像群と「色彩の理想画像」から「形状の理想画像」を生成する。例えばＡ～Ｄの４枚の候補画像群から、Ｆの「形状の理想画像」を作成する。そしてステップＳ１３０４において、候補画像群と「形状の理想画像」の一致度を演算し、「形状の画像スコア」とする。なお、これら「色彩の画像スコア」と「形状の画像スコア」の演算は、並行して行ってもよいし、先に「形状の画像スコア」を演算した後に「色彩の画像スコア」を演算してもよい。

【0061】

そしてステップＳ１３０５において、「色彩の画像スコア」と「形状の画像スコア」から「総合画像スコア」を計算する。例えば横軸に「色彩（color）の画像スコア」、縦軸に「形状（edge）の画像スコア」をプロットした画像スコアマップＳＭをＧに示す。図１２のＧにおいて、０はＡ、１はＢ、２はＣ、３はＤの各候補画像の画像スコアを示している。そしてステップＳ１３０６において、候補画像群と「総合画像スコア」から、順位を計算する。例えばＧの画像スコアマップにおいて、各項目（色彩、形状）の最も優れた候補画像を選択し、順位を決定する。
（色彩の理想画像）

【0062】

画像生成条件、ここでは撮影条件によって検査対象物の映り方は変化する。例えば異なる撮影条件で撮像した複数の候補画像について、色彩の観点で見た場合に、良いものも悪いものもある。このような撮影条件の異なる候補画像群から、よい部分を抽出して、作り得る最良の画像、すなわち色彩の理想画像を合成する。この際、色彩の観点で良否を判定する手法として、「色分け」と「色彩の優先順位」を用いる。
（色分け、色彩の優先順位）

【0063】

色彩の優先順位としては、高い順に有彩色、無彩色、飽和が挙げられる。各候補画像を色分けして、それらを色彩の優先順位の順番に正しいとして、候補画像群から最も正しそうな色彩を集めて、色彩の理想画像を合成する。そして合成された色彩の理想画像に基づいて、各候補画像を評価する。具体的には、各候補画像の画像スコアを、理想画像に近いほど高い値となるように規定し、画像スコア演算部２２で演算する。
（色彩の理想画像の生成方法）

【0064】

ここで色彩の理想画像を生成する手順を、図１５を参照しながら説明する。ここでは、Ａ～Ｂに示すような２枚の候補画像に対して色彩の理想画像を生成する例を考える。まず、各候補画像を色分けする。ここでは各候補画像を、有彩色、無彩色、飽和にそれぞれ色分けする。具体的にＡを色分けした有彩色が、Ｃ、無彩色がＥ、飽和がＧとなる。またＢを色分けした有彩色がＤ、無彩色がＦ、飽和がＨとなる。そして、得られた各画像から、優先度の高い画素を収集して、色彩の理想画像を生成する。ここではＡ～Ｂの候補画像から、色彩の理想画像としてＩの画像が生成される。
（色分け判定）

【0065】

ここで色分けに際して、有彩色とそれ以外を分ける理由を図１６に基づいて説明する。同じ検査対象物を撮像した画像であっても、撮影方法の違いによって変化する理由として、主に光量と成分の２つが挙げられる。まず照明光の光量の変化によって、画像の黒潰れと白飛びが生じる。例えば図１６のＢの画像に対して、黒潰れした画像がＡ、白飛びした画像がＣとなる。一方、成分とは照明光が検査対象物で反射された反射光の成分であり、正反射と拡散反射が挙げられる。例えばＥの画像に対し、正反射した画像はＤ、拡散反射した画像はＦとなる。このように、撮像された画像は照明光の光量や成分によって、有彩色がそれ以外に変化することがある。他方、有彩色でないものが有彩色に変化することは基本的にない。したがって、同じ検査対象物が撮影方法によって有彩色又はその他の両方に見えるときは、有彩色のほうが正しいということができる。

【0066】

このように、有彩色の優先順位を高くすることで、信頼性の高い判定を行うことが可能となる。また有彩色をモノクロカメラで撮影したときは無彩色となるため、無彩色は有彩色に次いで信頼性が高い。一方、飽和は色の情報がすべて失われているため、有彩色や無彩色に比べて相対的に信頼性が低い。しかし光沢の有無や立体的な形状の連続性といった、色以外の情報を含むことがあるため、無価値ではない。この結果、色彩の優先順位としては、高い順に有彩色、無彩色、飽和となる。図１７Ｅ～図１７Ｔの例では、上に示す画像ほど優先度が高い。
（有彩色の画像）

【0067】

ここで、画像の各画素を有彩色、無彩色、飽和のいずれかに色分けする色分け判定方法を説明する。まず有彩色と判定する条件は、彩度が高く、周辺の色相が一定であり、さらに非飽和であることである。
（無彩色の画像）

【0068】

次に無彩色と判定する条件は、彩度が低く、周辺の明度が一定であり、さらに非飽和であることである。ここで無彩色からは飽和を排除する一方で、黒潰れを排除しない。これは黒い光沢面を考えると判るように、飽和から得られる情報は色に無関係な光沢の有無だけであるのに対し、黒潰れは黒色という正しい色の情報を示していることがあるためである。
（飽和した画像）

【0069】

また飽和と判定する条件は、上述した有彩色および無彩色のそれぞれの条件のうち、非飽和以外の条件を満たし、非飽和だけを満たさないものとする。
（各候補画像の画像スコア計算）

【0070】

次に各候補画像について、画像スコアを計算する手順を図１７に基づいて説明する。図１７は、理想画像と候補画像の８つの組み合わせについて、それぞれの画像スコアを示している。画像スコアは、理想画像に近いほど高くなるように定義する。ここでは、画像スコアを０～１００％のパーセント表示としている。理想画像と候補画像の色分けが一致した画素について、図１７に示すように、色彩が一致したら１００％、不一致なら０％として、全画素分を平均したものを画像スコアとする。

【0071】

例えば図１７において１で示すように、理想画像が有彩色で、候補画像が同じ色彩の有彩色で完全一致の場合は、その画像スコアは１００％となる。また２で示すように、理想画像が有彩色で、候補画像は彩度又は明度が異なる場合は、その画像スコアは相違に応じて決まり、ここでは７５％となる。ここで画像スコアは、｛１－（ＲＧＢ最大値の差分の絶対値）｝／２５５としている。さらに３で示すように、理想画像が有彩色で、候補画像は有彩色であるものの、色相が異なる場合は、その画像スコアは０％となる。さらにまた、４で示すように、理想画像が有彩色で、候補画像が無彩色の場合は、色分けが異なるのでその画像スコアは０％となる。

【0072】

一方、図１７において５で示すように、理想画像が無有彩色で、候補画像も無彩色の場合は、無彩色同士の完全一致であるため、その画像スコアは１００％となる。理想画像の生成時は有彩色の方が無彩色よりも優先度が高いものの、画像スコアの計算時には有彩色と無彩色との重みは同じである。また無彩色同士の場合の画像スコアが１００％にならないと、無彩色の検査対象物は形状だけで決まってしまう。また６で示すように、理想画像が無彩色で、候補画像は無彩色であるものの明度が異なる場合は、その画像スコアは明度の相違に応じて決まり、ここでは７５％となる。

【0073】

一方、図１７において７で示すように、理想画像が飽和画像で、候補画像は彩度も飽和画像の場合は、飽和画像同士が一致しているので、その画像スコアは１００％となる。後述するとおり、無彩色のほうが良い場合も飽和が良い場合もありうる。彩色と飽和の画像スコアは同じ重みになるようにしている。また８で示すように、理想画像が飽和画像で、候補画像は飽和画像で一部異なる場合、その画像スコアは相違に応じて決まり、ここでは５０％となる。
（形状の理想画像）

【0074】

次に形状の理想画像の生成方法について説明する。各ワーク画像に含まれる形状、例えば形状から得られるエッジ情報には過不足がある。画像スコアの算出にあたってエッジ情報が足りない場合も考えられ、この場合はエッジ情報の補足が必要となる。また逆に余分なエッジ情報が含まれている場合には、取捨選択する必要もある。例えば明るすぎて飽和しているときは、微細な形状が消えて大きな形だけが残る。また光沢に照明が映り込んでしまうと、対象物とは無関係な形状がワーク画像に現れる。あるいは照明によって立体物の影が落ちて、その形が二重になってしまうこともある。

【0075】

このような場合に、ある単一の画像生成条件の画像からは過不足の判断ができないときでも、複数の画像生成条件のワーク画像を相互に見比べることで、形状の情報の内、価値のあるものを抽出することができる。例えば複数の画像生成条件のワーク画像に共通して存在する形状は、ある単一の画像生成条件のワーク画像にしか存在しない形よりも、信頼性が高い。上述の立体物の影の例に当てはめると、ある方向から照明を当てたときの影の形状は、別の方向から照明を当てたときには現れない。
（色彩の理想画像と形状の理想画像の生成手順）

【0076】

ここで、色彩の理想画像と形状の理想画像を生成する手順を、図１８に基づいて説明する。まず、元のワーク画像から、色彩の理想画像を生成する。ここでは、Ａ～Ｂの元のワーク画像から、色彩の理想画像としてＣが得られたとする。

【0077】

一方で、元のワーク画像からエッジ情報をそれぞれ抽出する。ワーク画像から画像の輪郭、すなわちエッジ情報を抽出する処理には、既存のアルゴリズムが適宜利用できる。例えばキャニー法（Canny edge detector）、微分フィルタ、プリューウィット（Prewitt）フィルタ、ソーベル（Sobel）フィルタ等が利用できる。ここでは、Ａ～Ｂの各ワーク画像から、エッジ画像としてＤ～Ｅがそれぞれ得られたとする。そして、色分けが色彩の理想画像と一致する画素のエッジだけを有効として、すべてのエッジ画像の最大値を取ったものを形状の理想画像とする。ここではＡ～Ｂの各候補画像について、Ｃの色彩の理想画像と色分けが一致する領域がＦ～Ｇのようになったとする。上述のＤ～Ｅに対してこのＦ～Ｇの領域だけを有効としたものがＨ～Ｉとなる。さらにＨ～Ｉの最大値を取ったＪが形状の理想画像となる。Ｊに示すように形状の理想画像では、それぞれの候補画像ごとに写り方が異なるような細かいテクスチャは抑制され、すべての候補画像に共通する形状、この例では刻印の部分が強調されていることが確認できる。
（テクスチャ情報の除去）

【0078】

次に、テクスチャ情報を除去する手順について説明する。仮にエッジを選別せずにテクスチャ情報を含んだままで画像を合成して形状の理想画像を作成すると、形状の理想画像となる。このように形状の理想画像にテクスチャ情報が残る結果、テクスチャ情報を含む画像の画像スコアが高くなる結果、不要なテクスチャ情報を含んだ画像が理想画像として選択されて精度が低くなることが懸念される。例えば図１８のＡやＢに示すようなワーク画像は、テクスチャ情報によるエッジの強度が高い。また空間周波数も検査対象物により異なることから、各ワーク画像毎のエッジ強度や空間周波数によるフィルタを用いてテクスチャ情報を除去することは困難である。したがって、このようなテクスチャ情報を抑制するために、各ワーク画像毎ではなく全画像の情報を用いた処理を行う。またエッジ強度や空間周波数以外の評価指標で判定する。ここでは、色彩の理想画像を用いて、エッジ情報を仕分けする。
（エッジ抽出方法）

【0079】

色彩の理想画像を用いてエッジ情報を仕分けするにあたり、エッジ抽出を行う。ここではエッジ抽出方法としてソーベルフィルタを用いて、Ｘ方向とＹ方向の絶対値の和としている。

【産業上の利用可能性】

【0080】

本発明の画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器は、検査対象物のワークを撮像した画像に基づいて検査対象物の良否判定を行う用途等に好適に利用できる。

【符号の説明】

【0081】

１００…画像検査装置
２…制御ユニット
３…撮像ユニット
４…表示部
５…パーソナルコンピュータ
６…操作部
１１…ＬＥＤ
１３…メイン基板
１４…カメラ部
１５…照明部
１６…コネクタ基板
１７…通信基板
１８…電源基板
１９…記憶部
２０…プロセッサ部
２１…画像生成条件制御部
２２…画像スコア演算部
２３…画像生成条件設定部
４１…タッチパネル
５１…キーボード
１００…画像検査装置
１３３…メモリ
１４１…モータ
１４２…基板
１５１…ドライバ
１６１…電源インタフェース
１８１…モータドライバ
２００…ＡＩ生成撮像条件一覧画面
２０１…画像表示領域
２０２、２０２Ｂ…サムネイル画像表示領域
２０３…右矢印ボタン
２０４…左矢印ボタン
２０５、２０５Ｂ…参考情報表示欄
２２０…画像生成条件設定画面
２２２…操作領域
２２３…「ＡＩ撮像」ボタン
２２４…トリガ条件ボタン
２３０…領域指定画面
２４０…画像生成条件設定画面
ＬＩ１～ＬＩ８…サムネイル画像
ＳＭ…画像スコアマップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】