知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】撮影条件設定システム、撮影条件設定方法及びプログラム
(51)【国際特許分類】
G01N 21/84 20060101AFI20241211BHJP
G03B 7/091 20210101ALI20241211BHJP
G03B 15/00 20210101ALI20241211BHJP
G03B 15/02 20210101ALI20241211BHJP
G03B 15/05 20210101ALI20241211BHJP
H04N 23/73 20230101ALI20241211BHJP
H04N 23/74 20230101ALI20241211BHJP
【ＦＩ】
G01N21/84 E
G03B7/091
G03B15/00 T
G03B15/02 C
G03B15/02 G
G03B15/05
H04N23/73
H04N23/74
【請求項の数】
10
(21)【出願番号】P 2021011384
(22)【出願日】2021-01-27
(65)【公開番号】P2022114908
(43)【公開日】2022-08-08
【審査請求日】2023-11-09
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100139066
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】成瀬 洋介
(72)【発明者】
【氏名】田口 皓一
【審査官】横尾 雅一
(56)【参考文献】
【文献】特開２００５－００３３８５（ＪＰ，Ａ）
【文献】国際公開第２０２０／１２９１４０（ＷＯ，Ａ１）
【文献】特開２００９－１８２４６１（ＪＰ，Ａ）
【文献】特開２０１７－１３５５２８（ＪＰ，Ａ）
【文献】米国特許出願公開第２００４／０２０７８３６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０２６４２７８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １５／０２
Ｇ０３Ｂ １５／０５
Ｇ０３Ｂ ７／０９１
Ｈ０４Ｎ ２３／７３
Ｈ０４Ｎ ２３／７４
(57)【特許請求の範囲】
【請求項1】
検査対象のワークの画像を撮影する撮影装置と、前記ワークに光を当てる光源を含む照明装置と、
前記ワークを撮影する際の撮影の条件を設定する撮影条件設定部と、を備え、
前記撮影条件設定部は、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定し、
前記撮影条件設定部は、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、
撮影条件設定システム。
【請求項2】
検査対象のワークの画像を撮影する撮影装置と、前記ワークに光を当てる光源を含む照明装置と、
前記ワークを撮影する際の撮影の条件を設定する撮影条件設定部と、を備え、
前記撮影条件設定部は、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定し、
前記撮影条件設定部は、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、異なる複数の環境光の条件下で、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、
撮影条件設定システム。
【請求項3】
前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度を最大値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、請求項１または２に記載の撮影条件設定システム。
【請求項4】
前記照明装置は、それぞれの光度を調節可能な複数の光源を備え、前記撮影条件設定部は、
前記複数の光源のうち、少なくとも１つの光源の光度を閾値以上の値に設定する、請求項１または２に記載の撮影条件設定システム。
【請求項5】
前記撮影条件設定部は、前記撮影装置の露出に対する画素値の特性が、線形の関係ではない場合には、前記撮影装置のキャリブレーションを実施した上で、露出時間を設定する、請求項１または２に記載の撮影条件設定システム。
【請求項6】
前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度の設定値、実際に照射された光度の測定値、およびディスプレイに表示された光度のうちの少なくとも一つを所定の閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、請求項１または２に記載の撮影条件設定システム。
【請求項7】
コンピュータによって、検査対象のワークの画像の撮影条件を決定する撮影条件設定方法であって、コンピュータが、前記ワークに光を当てる照明装置の光度を閾値以上の値に設定し、
コンピュータが、前記光度の条件下で撮影装置によって前記ワークを撮影し、
コンピュータが、撮影した前記ワークの画像に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定し、
前記撮影装置の露出時間の設定では、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、
撮影条件設定方法。
【請求項8】
コンピュータによって、検査対象のワークの画像の撮影条件を決定する撮影条件設定方法であって、コンピュータが、前記ワークに光を当てる照明装置の光度を閾値以上の値に設定し、
コンピュータが、前記光度の条件下で撮影装置によって前記ワークを撮影し、
コンピュータが、撮影した前記ワークの画像に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定し、
前記撮影装置の露出時間の設定では、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、異なる複数の環境光の条件下で、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、
撮影条件設定方法。
【請求項9】
検査対象のワークの画像の撮影条件を決定するコンピュータに、前記ワークに光を当てる照明装置の光度を閾値以上の値に設定すること、
前記光度の条件下で撮影装置によって前記ワークを撮影すること、
撮影した前記ワークの画像に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定すること、を実行させ、
前記撮影装置の露出時間の設定では、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、
プログラム。
【請求項10】
検査対象のワークの画像の撮影条件を決定するコンピュータに、前記ワークに光を当てる照明装置の光度を閾値以上の値に設定すること、
前記光度の条件下で撮影装置によって前記ワークを撮影すること、
撮影した前記ワークの画像に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定すること、を実行させ、
前記撮影装置の露出時間の設定では、
前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、異なる複数の環境光の条件下で、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影条件設定システム、撮影条件設定方法及びプログラムに関する。
【背景技術】
【0002】
製造現場における製品の外観検査は、機械による人員の置き換えが最も進んでいない分野の１つであり、将来の労働人口減少に向けて取り組まなければならない自動化の重要課題である。近年、ディープラーニングに代表される人工知能・機械学習技術の発展によって、検査の自動化技術は飛躍的に向上しつつある。
【0003】
しかしながら、外観検査及びマシンビジョン一般において、検査システムを構築する際に最も手間がかかるプロセスは、照明パターンの最適化設計を含む撮像系の設計であり、この分野の自動化はあまり進んでいない。人が手作業でこの最適化設計を行う場合、ワーク（検査対象）の個体ばらつきに対応しつつ、ワークに生じたキズ等の欠陥を確実に検出するための撮像系の設計には、多大な労力が必要となる。すなわち、所望の検出性能を得るには、対象となる種々のワークを交換しつつ、照明の手調整による最適化と検査アルゴリズムの検討・調整を交互に繰り返すことが不可欠であり、そのために、非常に多くの工数が必要になる。
【0004】
実際に検査のためにワークの撮影を行う際には、ワークに当たる光は照明光だけでなく、撮影環境に応じた環境光も含まれる。しかし、照明パターンの最適化設計を行うためのシミュレーションにおいては環境光の影響は考慮されていないため、シミュレーションによって推定される画像の明るさと実際の画像の明るさとの間には環境光の光度による誤差が生じてしまう。
【0005】
この問題に対処する方法としては、照明光の光度を、環境光の光度よりも十分に大きくし、環境光の影響を相対的に小さくすることが考えられる。しかしながら、光度が大きくなると、画像上で画素の飽和が生じやすいという問題がある。
【0006】
画素の飽和に関して、特許文献１には、画像上で輝度値が飽和している画素がある場合には、照明光源の発光輝度を変えて撮影した場合の複数の画像を生成し、各画素について輝度値の和を算出して合成画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特許６６０１２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献１に記載されるような従来の方法では、画素飽和を避けるために、ワークに照射する照明光の光度が照射可能な最大光度よりも小さいため、照明光に対する環境光の相対的な影響は十分に小さくならず、推定される画像の明るさと実際の画像の明るさの誤差を十分に小さくすることができなかった。
【0009】
本発明は、上述した事情を鑑みてなされたものであり、検査対象を撮影する際の照明パターンの最適化設計において、環境光の影響を十分に低減することが可能な撮影条件設定システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、上述した課題を解決するために、以下の構成を採用する。
本発明の一側面に係る撮影条件設定システムは、検査対象のワークの画像を撮影する撮影装置と、前記ワークに光を当てる光源を含む照明装置と、前記ワークを撮影する際の撮影の条件を設定する撮影条件設定部と、を備え、前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する。
上記構成により、検査対象を撮影する際に、照明光を環境光に比べて十分に大きくすることで、環境光の影響を相対的に低減することができる。
本発明の一側面に係る撮影条件設定システムは、検査対象のワークの画像を撮影する撮影装置と、前記ワークに光を当てる光源を含む照明装置と、前記ワークを撮影する際の撮影の条件を設定する撮影条件設定部と、を備え、前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する。
上記構成により、検査対象を撮影する際に、照明光を環境光に比べて十分に大きくすることで、環境光の影響を相対的に低減することができる。
【0011】
また、前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度を最大値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定してもよい。これにより、検査対象を撮影する際に、照明光を環境光に比べて最大限大きくすることで、環境光の影響を十分に低減することができる。
【0012】
また、前記照明装置は、それぞれの光度を調節可能な複数の光源を備え、前記撮影条件設定部は、前記複数の光源のうち、少なくとも１つの光源の光度を閾値以上の値に設定してもよい。これにより、マルチチャネル照明を用いた場合に、各チャネルの光度の最適なパターンを維持しつつ、環境光の影響を低減することができる。
【0013】
また、前記撮影条件設定部は、前記撮影装置の露出に対する画素値の特性が、線形の関係ではない場合には、前記撮影装置のキャリブレーションを実施した上で、露出時間を設定してもよい。これにより、撮影装置の特性に依存せず、特性が未知の場合でも露出時間の設定を行うことができる。
【0014】
また、前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定してもよい。これにより、精確に照明装置からの光のみを当てた場合の画像に基づいて露出時間を設定することができる。
【0015】
また、前記撮影条件設定部は、前記照明装置から前記ワークに当てる光度を閾値以上の値にして撮影した画像と、異なる複数の環境光の条件下で、前記照明装置から前記ワークに当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定してもよい。これにより、撮影時の環境光の状況に対してロバストな露出時間の設定を行うことができる。
また、撮影条件設定部は、前記照明装置から前記ワークに当てる光度の設定値、実際に照射された光度の測定値、およびディスプレイに表示された光度のうちの少なくとも一つを所定の閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定するようにしてもよい。これにより、システムの構成に応じて、設定値、測定値、表示装置上での表示値のうちのいずれかの値に基づいて、露出時間を設定することができる。
また、撮影条件設定部は、前記照明装置から前記ワークに当てる光度の設定値、実際に照射された光度の測定値、およびディスプレイに表示された光度のうちの少なくとも一つを所定の閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定するようにしてもよい。これにより、システムの構成に応じて、設定値、測定値、表示装置上での表示値のうちのいずれかの値に基づいて、露出時間を設定することができる。
【0016】
本発明の一側面に係る撮影条件設定方法は、コンピュータによって、検査対象のワークの画像の撮影条件を決定する撮影条件設定方法であって、コンピュータが、前記ワークに光を当てる照明装置の光度を閾値以上の値に設定し、コンピュータが、前記光度の条件下で撮影装置によって前記ワークを撮影し、コンピュータが、撮影した前記ワークの画像に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定する。上記構成により、検査対象を撮影する際に、照明光を環境光に比べて十分に大きくすることで、環境光の影響を相対的に低減することができる。
【0017】
本発明の一側面に係るプログラムは、検査対象のワークの画像の撮影条件を決定するコンピュータに、前記ワークに光を当てる照明装置の光度を閾値以上の値に設定すること、前記光度の条件下で撮影装置によって前記ワークを撮影すること、撮影した前記ワークの画像に基づいて、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置の露出時間を設定すること、を実行させる。上記構成により、検査対象を撮影する際に、照明光を環境光に比べて十分に大きくすることで、環境光の影響を相対的に低減することができる。
【発明の効果】
【0018】
本発明によれば、検査対象を撮影する際の照明パターンの最適化設計において、環境光の影響を十分に低減することが可能な撮影条件設定システムを提供することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態に係る検査システムの構成例を模式的に示す図である。
【図2】本発明の実施形態に係る検査システムで用いられる光源の配置の一例を模式的に示す平面図である。
【図3】本発明の実施形態に係る検査システムに含まれる制御装置のハードウェア構成を模式的に示す図である。
【図4】本発明の実施形態に係る検査システムの機能構成の一例を模式的に示す図である。
【図5】本発明に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【図6】本発明に係る光度と画素値の関係が線形の場合と、非線形の場合のCRF関数を示すグラフである。
【図7】本発明の実施形態に係る検査システムの照明条件の決定から、決定した照明条件によるワークの検査までの手順のフローチャートである。
【図8】本発明の実施形態に係る検査システムの照明条件の決定から、決定した照明条件によるワークの検査までの手順のフローチャートである。
【図9】本発明の実施形態に係る検査システムの照明条件の決定から、決定した照明条件によるワークの検査までの手順のフローチャートである。
【図10】本発明の実施形態に係る検査システムの照明条件の決定から、決定した照明条件によるワークの検査までの手順のフローチャートである。
【発明を実施するための形態】
【0020】
以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
【0021】
§１ 適用例
図１を用いて、本発明が適用される場面の一例について説明する。図１は、本発明による検査システム（撮影条件設定システム）１の例を模式的に示す図である。また、図２は、検査システム１で用いられる光源の配置の一例を模式的に示す平面図である。
図１を用いて、本発明が適用される場面の一例について説明する。図１は、本発明による検査システム（撮影条件設定システム）１の例を模式的に示す図である。また、図２は、検査システム１で用いられる光源の配置の一例を模式的に示す平面図である。
【0022】
検査システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像分析処理を実行することで、ワーク４の外観検査を実施する。以下においては、画像分析処理の典型例として、ワーク４の表面における欠陥の有無の検査等を応用例として説明するが、これに限らず、例えば欠陥の種類の特定や外観形状の計測等にも応用が可能である。
【0023】
ベルトコンベア２の上部には、光源ＬＳが一体化されたセンサとしてのカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。ここで、光源ＬＳとしては、例えばＭＤＭＣ（Multi Direction Multi Color）照明等のマルチチャネル照明が挙げられ、より具体的には、本出願人による例えば特願２０１８－０３１７４７に記載の照明を例示することができる。マルチチャネル照明としての光源ＬＳは、複数のチャネル照明ＬＳｉを有している。より具体的には、光源ＬＳは、例えば図２に示すように、平面視において円形状を成す１つのチャネル照明ＬＳｉと、その周りに同心円状に配置された扇帯状を成す１２個のチャネル照明ＬＳｉを有している。この場合、光源ＬＳは、合計１３個のチャネル照明ＬＳｉから構成され、各チャネル照明ＬＳｉが３色発光する場合、単色且つ単チャネルの既定照明発光パターンは１３×３＝３９パターンとなる。さらに、カメラ１０２の撮像により生成された評価用ワーク画像のデータは、制御装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント的に実行される。
【0024】
制御装置１００は、光源ＬＳを、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像を撮像する。また、制御装置１００は、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。ここで、パラメータは、複数の評価用ワーク画像を重ね合わせて合成画像を生成するための重みパラメータである。さらに、制御装置１００は、照度ＬＵＴに基づいて、パラメータを照明指令値に変換する。
【0025】
制御装置１００は、算出した照明指令値を用いて、検査対象のワーク４の検査用画像を撮像する。また、制御装置１００は、ワーク４の外観検査のためのＣＮＮ（畳み込みニューラルネットワーク）エンジンを有する学習器を備えてよい。ＣＮＮエンジンを用いて検査用画像からクラス毎の特徴検出画像が生成される。生成された単数又は複数の特徴検出画像に基づいて、検査対象のワーク４の状態（欠陥の有無、欠陥の大きさ又は欠陥の位置等）が識別される。
【0026】
制御装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。制御装置１００における演算結果及び検出結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。また、制御装置１００は、処理中の状態や検出結果等を表示するための出力部としてのディスプレイ１０４と、ユーザによる操作を受け付ける入力部としての例えばキーボード１０６及びマウス１０８とが接続されていてもよい。
【0027】
本開示においては、検査システム１は、離散値である照明指令値に基づく検査用発光パターンで検査対象のワーク（検査対象物）を照明し、適宜のセンサによってワークを撮像して検査用ワーク画像を取得する。そして、その検査用ワーク画像を画像処理することによって、ワークの状態（例えば、キズ等の欠陥の有無）を識別する。
【0028】
検査システム１は、ワークの検査に最適化された発光パターンを決めるため、少なくとも１つのワークに関する複数の評価用ワーク画像を予め撮像する。そして、検査システムは、連続値のパラメータによって重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するために適した発光パターンを表すパラメータを算出する。検査システム１は、照明指令値をパラメータに対応付けるテーブルに基づいて、パラメータを照明指令値に変換する。
【0029】
さらに、検査システム１は、画像合成の結果と実際の検査条件下で撮影されるワークの画像の一致精度を向上させるため、環境光による影響を排除する。具体的には、光源ＬＳの各々のチャネル照明ＬＳｉの光度が最適化された発光パターンに合致するように制御しつつ、少なくとも１つのチャネル照明ＬＳｉの光度が、最大値になるように制御する。さらに、最大の光度で照らした場合、環境光の影響を相対的に抑えることができるものの、撮影した画像の一部に画素飽和が生じる可能性がある。このため、検査システム１は、照明の光度は最大値にした状態で、カメラ１０２の露出時間またはゲインを調整し、画素飽和が生じない最適な露出時間を探索する。
【0030】
§２ 構成例
（１．ハードウェア構成）
次に、図３を用いて、本開示の一実施形態に係る検査システム１に含まれる制御装置１００のハードウェア構成の一例について説明する。図３は、制御装置１００のハードウェア構成を模式的に示す図である。
（１．ハードウェア構成）
次に、図３を用いて、本開示の一実施形態に係る検査システム１に含まれる制御装置１００のハードウェア構成の一例について説明する。図３は、制御装置１００のハードウェア構成を模式的に示す図である。
【0031】
制御装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。制御装置１００は、プロセッサ１１０と、メインメモリ１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。
【0032】
プロセッサ１１０は、ストレージ１３０に格納されている各種プログラムをメインメモリ１１２に展開して実行することで、後述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。
【0033】
カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された評価用ワーク画像１３８や検査用ワーク画像１４０を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。
【0034】
入力インターフェイス１１６は、キーボード１０６及びマウス１０８といった入力部と接続されて、ユーザによる入力部に対する操作等を示す指令を取得する。
【0035】
表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。
【0036】
通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。
【0037】
ストレージ１３０は、ＯＳ（Operating System）や検査プログラム１３２等のコンピュータを制御装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、照明パラメータ１３４、照度ＬＵＴ１３６、複数の評価用ワーク画像１３８及び複数の検査用ワーク画像１４０を格納していてもよい。照明パラメータ１３４は、複数の評価用ワーク画像の数に等しい次元を有する連続値のパラメータであり、複数の評価用ワーク画像１３８を重ね合わせて合成画像を生成するための重みパラメータである。照度ＬＵＴ１３６は、照明指令値を照度に対応付けるテーブルである。
【0038】
ストレージ１３０に格納される検査プログラム１３２は、ＤＶＤ（Digital Versatile Disc）等の光学記録媒体又はＵＳＢ（Universal Serial Bus）メモリ等の半導体記録媒体等を介して、制御装置１００にインストールされてもよい。或いは、検査プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
【0039】
このように汎用コンピュータを用いて実現する場合には、ＯＳが提供するソフトウェアモジュールのうち、必要なソフトウェアモジュールを所定の順序及び／又はタイミングで呼び出して処理することで、本実施形態に係る機能の一部を実現するものであってもよい。すなわち、本実施形態に係る検査プログラム１３２は、本実施形態に係る機能を実現するための全てのソフトウェアモジュールを含んでおらず、ＯＳと協働することで、必要な機能が提供されるようにしてもよい。
【0040】
また、検査プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、検査プログラム１３２自体には、上記のような組み合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る検査プログラム１３２は、他のプログラムに組み込まれた形態であってもよい。
【0041】
なお、図３には、汎用コンピュータを用いて制御装置１００を実現する例を示すが、これに限定されず、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
【0042】
以上のとおり、ハードウェア構成の観点から、検査システム１は、本開示における「検査システム１」の一例に相当する。また、ワーク４は、本開示における「ワーク」の一例に相当する。さらに、光源ＬＳは、本開示における「光源」の一例に相当し、カメラ１０２は、本開示における「カメラ」の一例に相当する。
【0043】
（２．機能構成）
次に、図４を用いて、本開示の実施形態に係る検査システム１の機能構成の一例を説明する。図４は、本開示の実施形態に係る検査システム１の機能構成の一例を模式的に示す図である。検査システム１の制御装置１００は、撮像部１４１、算出部１４２、変換部１４３及び記憶部１４４を含むことができる。
次に、図４を用いて、本開示の実施形態に係る検査システム１の機能構成の一例を説明する。図４は、本開示の実施形態に係る検査システム１の機能構成の一例を模式的に示す図である。検査システム１の制御装置１００は、撮像部１４１、算出部１４２、変換部１４３及び記憶部１４４を含むことができる。
【0044】
制御装置１００における撮像部１４１、算出部１４２及び変換部１４３は、汎用プロセッサによって実現することができ、本開示においては限定されず、これらの部品の全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
【0045】
撮像部１４１は、光源ＬＳを、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも１つのワークに関する複数の評価用ワーク画像をカメラ１０２によって撮像する。撮像部１４１は、Ｎ枚の評価用ワーク画像を撮像してよい。
【0046】
算出部１４２は、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。算出部１４２は、複数の評価用ワーク画像の数に等しい次元を有するパラメータにより重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するための発光パターンを表すパラメータを算出する。
【0047】
変換部１４３は、算出されたパラメータを照明指令値に変換する。変換部１４３は、照明指令値をパラメータに対応付ける照度ＬＵＴに基づいて、パラメータを照明指令値に変換する。
【0048】
記憶部１４４は、照明最適化段階において、撮像部１４１によって得られた複数の評価用ワーク画像を記憶し、検査段階において、撮像部１４１によって得られた検査用ワーク画像を記憶する。また、記憶部１４４は、算出部１４２によって得られた照明パラメータを記憶する。さらに、記憶部１４４は、変換部１４３によって用いられる照度ＬＵＴを記憶する。記憶部１４４は、検査システム１の動作に必要なプログラム又はデータを記憶する上述したストレージ１３０によって実現される。なお、制御装置１００は、記憶部１４４を含まなくてもよく、記憶部１４４に替えて、外部（装置）のストレージを用いてもよい。
【0049】
以上のとおり、機能モジュールの観点から、制御装置１００は、光源ＬＳ及びカメラ１０２とともに、本開示における「撮像部」の一例に相当する。また、制御装置１００は、本開示における「算出部」及び「変換部」の一例として機能する。
【0050】
§３ 動作例
以下の動作例の説明において、数式中で使用する各記号の意味は表１に示すとおりである。ボールドの小文字はベクトルを示し、ボールドの大文字は行列を示す（文中においては非ボールドで示す。）。それ以外の記号はスカラーである。また、∥∥はベクトルに対するＬ２ノルムを示し、［Ｘ］i,jは行列Ｘのｉ行ｊ列の要素を示すものとする。
以下の動作例の説明において、数式中で使用する各記号の意味は表１に示すとおりである。ボールドの小文字はベクトルを示し、ボールドの大文字は行列を示す（文中においては非ボールドで示す。）。それ以外の記号はスカラーである。また、∥∥はベクトルに対するＬ２ノルムを示し、［Ｘ］i,jは行列Ｘのｉ行ｊ列の要素を示すものとする。
【0051】
【表1】
【0052】
（マルチチャネル照明による撮影と内積演算の等価性）
検査システム１では、光源ＬＳとしてマルチチャネル照明を用いた撮像部１４１を用いるが、ここでは、検査システム１におけるセンサ側のリニアリティ（輝度とＱＬ値の間のリニアリティ）が成立していると仮定する。これはつまり、カラーフィルタのデモザイキング等の信号処理やガンマ補正、暗電流オフセット補正等の撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮影にはＨＤＲ（High dynamic range）合成等を用いてもよい。このとき、Ｋ個のチャネル照明ＬＳｉで照らしたワーク４を撮像する状況を考え、各チャネル照明の発光強度を、下記式（１）のベクトルとして表記する。
検査システム１では、光源ＬＳとしてマルチチャネル照明を用いた撮像部１４１を用いるが、ここでは、検査システム１におけるセンサ側のリニアリティ（輝度とＱＬ値の間のリニアリティ）が成立していると仮定する。これはつまり、カラーフィルタのデモザイキング等の信号処理やガンマ補正、暗電流オフセット補正等の撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮影にはＨＤＲ（High dynamic range）合成等を用いてもよい。このとき、Ｋ個のチャネル照明ＬＳｉで照らしたワーク４を撮像する状況を考え、各チャネル照明の発光強度を、下記式（１）のベクトルとして表記する。
【0053】
【数1】
【0054】
このとき、ｕi＝１，ｕj＝０（ｊ≠ｉ）のようにｉ番目の照明のみを所定の強度で点灯させ、その他は消灯させて撮像された画像をコラムベクトルとして並べたものをｆiとすると、任意の照明条件ｕにおける撮影画像ｇは、以下の式（２）のように画像合成によりモデル化できる。
【0055】
【数2】
【0056】
ここで、ｆ′は下記式（３）で定義されるＫ枚分の画像を縦に並べてまとめたマルチチャネル画像（大きな１つのコラムベクトル）である。
【0057】
【数3】
【0058】
また、上記式（２）及び（３）における各演算子等の定義は以下のとおりである。
【数4】
【0059】
このように、マルチチャネル照明の最適化は元画像のｆ′からの内積演算による特徴ベクトルｇの生成、つまり射影行列ｕT×Ｉ（「×」はクロネッカー積）における線形射影方向ｕの最適設計をしていることと等価である。
【0060】
（既定の発光パターンによる評価画像の取得）
以下では一般に、Ｋ個の照明が実装されている状況において、１つのワークについて照明発光パターンを変化させてＮパターンの撮影を行ない、最適照明を決定する（ティーチングする）ことを考える。
以下では一般に、Ｋ個の照明が実装されている状況において、１つのワークについて照明発光パターンを変化させてＮパターンの撮影を行ない、最適照明を決定する（ティーチングする）ことを考える。
【0061】
ｎ（１≦ｎ≦Ｎ）枚目の撮影における発光パターンを下記式（５）のように定義する。
【0062】
【数5】
【0063】
これらの発光パターンによってワークを撮影することで、任意の発光パターンで照らした場合のワークの撮影画像を再構成することが可能となる。これはＬＴ（Light Transport)行列の推定を行っていることと等価となる。一般にＬＴ行列の全ての自由度を取得するためには、ｈnが線形独立となるように発光パターンを決定することが望ましい。Ｋ個の照明の自由度を全て余すことなく活用させるためには、少なくともＮ＝Ｋであり、その際にＨのランクｒａｎｋ（Ｈ）＝ｍｉｎ（Ｎ，Ｋ）は、フルランクとなっている必要がある。
【0064】
一方、Ｎ＜Ｋの場合、照明個数の自由度を十分に活用できないが、ワークの撮影時間を短縮させるためには有効な手法である。これを実現する手法としてはさまざまなものが考えられるが、代表的なものとしてCompressed Sensingを用いたＬＴ行列推定を行う手法が挙げられる。
【0065】
また、Ｎ＞Ｋとするケースも考えられ、これは照明の自由度を十分に活用させるという意味では必要以上であり無駄な撮影枚数となるが、ＳＮ比やダイナミックレンジを稼ぐなどの別目的で選択されうる。
【0066】
これらの発光パターンで撮影された画像をコラムベクトルとして並べたものをｆiとして、これらをさらにＮ枚分縦に並べてまとめたマルチチャネル画像ベクトルを下記式（６）のように定義する。ここで、ｅiはＲNの標準基底を表す。
【0067】
【数6】
【0068】
各照明チャネルによる輝度ｕとその際の撮影画像ｇは下記式（７）のように表現される。
【0069】
【数7】
【0070】
ここで、ｗiは画像合成重み（照明パラメータ）である。なお、発光強度の指令値は画像合成重みを元に算出されるが、この値そのものではない。画像合成重みは一般に負の値をとることも許されるが、照明チャネルの発光強度は非負でなければならないため、下記式（８）の条件が課せられる。
【0071】
【数8】
【0072】
ここで、ベクトルや行列に対する不等号は、全ての要素についての不等号であるとする。Ｈ＝Ｉであるとき、つまり、照明を１つずつ点灯させてＫ（＝Ｎ）枚撮影した場合には、ｕとｗは等価となる。以下では、最適な画像合成重みｗを求めることによって、その際の最適照明ｕを求める問題を扱う。
【0073】
（照明最適化の評価基準）
ここでは、照明最適化の意義とその評価基準について概説した後、図面等を参照しながら、具体的な処理手順について説明する。まず、ワーク等の外観検査における照明設計の目的は、良品（正常品）と不良品（欠陥品）が正しく判別されるようにすることである。この問題は、従来、熟練者の人手によって解決されてきたが、システマティックに解決しようとした場合、「判定基準」と「照明設計の制御自由度」を予め決めて限定しておく必要がある。
ここでは、照明最適化の意義とその評価基準について概説した後、図面等を参照しながら、具体的な処理手順について説明する。まず、ワーク等の外観検査における照明設計の目的は、良品（正常品）と不良品（欠陥品）が正しく判別されるようにすることである。この問題は、従来、熟練者の人手によって解決されてきたが、システマティックに解決しようとした場合、「判定基準」と「照明設計の制御自由度」を予め決めて限定しておく必要がある。
【0074】
ここで、判定基準として既定の判別アルゴリズムが与えられ、制御自由度としてＭＤＭＣ照明等のマルチチャネル照明が与えられた場合の照明最適化問題は、良品／不良品のカテゴリ分けを正解と一致させる「クロスエントロピー最小化問題」として定式化される。なお、ワークのラベル判定における判定器が機械学習器であった場合、照明最適化と判定器の学習を同時に行い、お互いにとって最も性能を発揮するチューニングを自動的にさせることも可能となる。
【0075】
しかしながら、クロスエントロピー最小化を行わせようとする場合に大きな問題となるのが、良品／不良品のラベルが付加されたサンプルが大量に必要になる点にある。特に大きな自由度を有する照明を最適化させようとする場合、少数の良品／不良品ラベルを判別させるだけという基準では、最適な照明を一意に決めることが困難となってしまう。このような問題は、多くの評価用ワーク画像（サンプル画像）が得られない検査システムの立ち上げ時に特に憂慮すべき大きな課題となる。
【0076】
そこで、本開示においては、この問題を解決するために、画像自体の評価基準（コントラスト、明るさ、近さ）をベースとして照明を最適化する手法を提案する。この場合、ワーク等の外観検査における最適化照明設計に求められる要件としては、大きく以下に示す２つを挙げることができる。
【0077】
［要件１］良品（ラベル）と不良品（ラベル）の識別を行い易くする特徴を見えやすくすること（つまり欠陥を見え易くすること）
［要件２］良品ばらつき（個品ばらつき）を見え難くすること
［要件２］良品ばらつき（個品ばらつき）を見え難くすること
【0078】
但し、両要件は一般に相反する性質であるため、それらのバランスの取れた照明設計を行うことが照明最適化の難課題となる。以下では、これらの条件を満たす評価基準を用いて、照明の発光強度が正の値となるような制約条件下で解を求めるため、評価基準を判別分析であるととらえ、画像の評価基準を２次形式で表現されるとする。その場合、この問題はＳＤＰ(Semidefinite Programming)で解くことができる。
【0079】
いずれの評価基準を用いたとしても、照明最適化の評価関数は、下記式（９）のようにＭ個のワーク撮影画像を入力とした関数Ｆの最小化として表現することができる。この最適化で求められるのは、ｗiと表記される画像合成重み（照明パラメータ）である。これはｉ番目の基底発光パターンの光度を意味し、本来は照明指令値が離散的であることに起因して離散量であるが、ここでは連続緩和して連続量であるとして扱う。
【0080】
【数9】
【0081】
図５は、本開示に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
【0082】
この最適化問題は、ｕではなくｗの少ない次元の連続量で探索することができるため効率的に実施することができる。以降では最適な画像合成ウェイトｗoptをｗと表記する。
【0083】
（露出時間の調節方法）
ここでは、露出時間を調節する方法の例として、AEC（Auto Exposure Control）撮影およびHDR（High Dynamic Range）撮影について説明する。両撮影方式共に、ワークに対して基底発光パターンを照射した際に、画像の関心領域（Region of Interest; ROI）内における画素飽和が回避できるような露出時間ｔnで撮影される。なお、露出時間ｔtで撮影した画像を基底画像とする。
ここでは、露出時間を調節する方法の例として、AEC（Auto Exposure Control）撮影およびHDR（High Dynamic Range）撮影について説明する。両撮影方式共に、ワークに対して基底発光パターンを照射した際に、画像の関心領域（Region of Interest; ROI）内における画素飽和が回避できるような露出時間ｔnで撮影される。なお、露出時間ｔtで撮影した画像を基底画像とする。
【0084】
AEC撮影では、初めに目標となる画像上の明るさ（目標画素値ｙt）の設定および任意の露出時間での画像の撮影を行い、ROIの画像 Ｓnを抽出する。この画像Ｓnに含まれる画素の中で最大の画素値ｙm（注目画素値）を、目標画素値ｙtに変換するために必要な露出時間ｔtを算出する。目標画素値ｙtは、画素が黒つぶれになる閾値ｙminと画素飽和となる閾値ｙmaxの間の値に設定される。
【0085】
目標画素値ｙtに変換するために必要な露出時間ｔtは、カメラのCRF（Camera Response Function）に基づいて計算される。なお、CRFは既知の値と仮定する。CRFは、光度と画素値の関係を表す関数であり、CRF関数ｆ（ｉ，ｔ）を用いると、画素値ｙは、下記の一般式で表される。
ｙ＝ｆ（ｉ，ｔ）＋ｄ
ここで、ｉは照度、ｔは露出時間、ｄは暗電流オフセットを表している。
ｙ＝ｆ（ｉ，ｔ）＋ｄ
ここで、ｉは照度、ｔは露出時間、ｄは暗電流オフセットを表している。
【0086】
CRF関数ｆ（ｉ，ｔ）は、カメラの特性として、光度が露出時間に対して線形（liner）な場合には、ｆ（ｉ）＊ｔ、ａ＊ｉ＊ｔ（ａは重みを表す係数）、露出時間に対して非線形（non-liner）な場合には、ｆ（ｉ＊ｔ）、ｉ＊ｆ（ｔ）、ｆ1（ｉ）＊ｆ2（ｔ）のように表現することができる。
【0087】
図６のグラフは、光度Ｉと画素値ｙの関係が線形（liner）の場合と、非線形（non-liner）の場合のCRF関数ｆCRF（ｉ，ｔ）を示している。ここで、ｙmは注目画素値、ｙtは目標画素値、ｔmは注目画素値の露出時間、ｔtは目標画素値を得るための露出時間を表している。
【0088】
次に、最終的に求めたい目標画素値を得るための露出時間ｔtを取得する手順について説明する。まず、注目画素値ｙmから、下記式によって光度Ｉmを算出する。
Ｉm＝ｆ-1 CRF（ｙm－ｄ）
Ｉm＝ｆ-1 CRF（ｙm－ｄ）
【0089】
次に、目標画素値ｙtから、下記式によって光度Ｉtを算出する。
Ｉt＝ｆ-1 CRF（ｙt－ｄ）
Ｉt＝ｆ-1 CRF（ｙt－ｄ）
【0090】
次に、ｔt＝Ｉt／Ｉmを算出する。
ｔtは、下記式によって表すことができる。
（線形（liner）の場合）
（ｙt－ｄ）／（ｙm－ｄ）・ｔm
ｔtは、下記式によって表すことができる。
（線形（liner）の場合）
（ｙt－ｄ）／（ｙm－ｄ）・ｔm
【0091】
（非線形（non-liner）の場合）
ｆ-1 CRF（ｙt－ｄ）・ｔm／ｆ-1 CRF（ｙm－ｄ）
ｆ-1 CRF（ｙt－ｄ）・ｔm／ｆ-1 CRF（ｙm－ｄ）
【0092】
ここで、ｄ（光度がゼロの時の画素値）は一定値と仮定して計算している。上記の仮定が成立しなくなった場合には、補正処理を導入する必要がある。
【0093】
AEC撮影方式では、任意の露出時間での画像の撮影を繰り返し、最大画素値（注目画素値）ｙmが目標画素値ｙtになる露出時間ｔtを取得する。
【0094】
HDR撮影では、初めに最小の露出時間で画像を撮影し、画像上で画素値が最大になる画素の画素値ｙmが目標画素値ｙtになる露出時間ｔtをCRFに基づいて算出する。次に、残りの画素についても同様の処理を繰り返し、全ての画素について、目標画素値ｙtになる露出時間ｔtを算出する。
【0095】
（露出時間が可変の場合の画像合成の一般式）
次に、合成したい画像の露出時間τと撮影した基底画像の露出時間τnが異なる場合における画像合成の方法について説明する。この場合における画像合成の計算式を下記式（１０）に示す。下記式は、基底発光パターンにおけるｎ枚（１≦ｎ≦Ｎ）の撮影画像の合成式であり、ｆnは、ｎ番目の基底発光パターンにおける撮影画像を表す。ｗnは各画像の合成重みを示している。τは任意の露出時間を、τnはｎ番目の基底発光パターンにおけるワーク撮影時の露出時間を表している。
次に、合成したい画像の露出時間τと撮影した基底画像の露出時間τnが異なる場合における画像合成の方法について説明する。この場合における画像合成の計算式を下記式（１０）に示す。下記式は、基底発光パターンにおけるｎ枚（１≦ｎ≦Ｎ）の撮影画像の合成式であり、ｆnは、ｎ番目の基底発光パターンにおける撮影画像を表す。ｗnは各画像の合成重みを示している。τは任意の露出時間を、τnはｎ番目の基底発光パターンにおけるワーク撮影時の露出時間を表している。
【0096】
【数10】
【0097】
露出時間が不変の場合との違いは、基底画像を単位露出時間に対する光度に変換し、任意の露出時間τにおける画像を再現している点である。なお、ここでは、カメラのCRFが線形であると仮定している。CRFが線形ではない場合には補正処理を導入する必要がある。
【0098】
（環境光画像による光度の補正）
実際に撮影した画像の明るさと基底画像を合成した画像明るさの誤差を生じさせる原因の１つに環境光の影響が挙げられる。環境光の影響を小さくするため、本実施形態では、照明の光度を大きくして、環境光の影響が相対的に小さくなるようにする。さらに、照明を消灯した状態で撮影したワークの画像（環境光画像）に基づき、基底画像中に混入している環境光の光度を補正することで、さらに精度を向上させる。環境光画像に基づく光度補正を加味した画像合成の計算式を下記式（１１）に示す。ｎ（１≦ｎ≦Ｎ）は基底発光パターンにおける撮影画像の枚数を表し、ｆnはｎ番目の基底発光パターンにおける撮影画像を表す。ｗnは各画像の合成重みであり、τは任意の露出時間を、τnはｎ番目の基底発光パターンにおけるワーク撮影時の露出時間を表している。
実際に撮影した画像の明るさと基底画像を合成した画像明るさの誤差を生じさせる原因の１つに環境光の影響が挙げられる。環境光の影響を小さくするため、本実施形態では、照明の光度を大きくして、環境光の影響が相対的に小さくなるようにする。さらに、照明を消灯した状態で撮影したワークの画像（環境光画像）に基づき、基底画像中に混入している環境光の光度を補正することで、さらに精度を向上させる。環境光画像に基づく光度補正を加味した画像合成の計算式を下記式（１１）に示す。ｎ（１≦ｎ≦Ｎ）は基底発光パターンにおける撮影画像の枚数を表し、ｆnはｎ番目の基底発光パターンにおける撮影画像を表す。ｗnは各画像の合成重みであり、τは任意の露出時間を、τnはｎ番目の基底発光パターンにおけるワーク撮影時の露出時間を表している。
【0099】
【数11】
【0100】
式（１１）における光度補正の考え方は、基底画像および環境光画像を光度という共通の指標に変換した後に画像を再構成するものである。ｉnは各基底画像を撮影した際の露出時間に変換した場合の環境光画像であり、ｉτは合成する画像の露出時間に変換した場合の環境光画像である。これらは基準となる環境光画像ｚに基づき、下記式（１２）のように表される。下記式において、ｆzは照明の各チャネルを全て最小光度としたときの撮影画像であり、τzは、環境光撮影時の露出時間を示している。
【0101】
【数12】
【0102】
次に、図７のフローチャートを用いて、本実施形態の検査システム１による照明条件の決定（ティーチングフェーズ）から、決定した照明条件によるワークの検査（検査フェーズ）までの手順について説明する。
【0103】
図７に示すように、まず、ティーチングフェーズにおいて、検査システム１は、Ｎ通りの照明発光パターンについて、それぞれのパターンを満たす最大光度ベクトルＴmaxにしたがった光度でＭ個のワークを照明し、Ｎ×Ｍ枚の評価用の撮影画像ｆn,mを撮影する（Ｓ１０１）。この時、検査システム１は、各々の画像ｆn,mのＲＯＩ内で画素飽和が発生しないような露出時間τn,mで撮影を行う。ここで、ｆn,mの露出時間をそれぞれτn,mと表す。
【0104】
次に、検査システム１は、照明条件の決定を実行する（Ｓ１０２）。検査システム１は、照明最適化のための評価式Ｆの入力をユーザから受け付け、Ｎ×Ｍ枚の評価用の撮影画像ｆn,mと、それぞれの画像ｆn,mの露出時間τn,mを評価式Ｆで評価し、最適な照明条件ベクトルＴと露出時間τを決定する。
【0105】
次に、検査フェーズにおいて、検査システム１は、検査対象となるワークの検査用画像を撮影する（Ｓ１０３）。検査システム１は、ティーチングフェーズにおいて算出した照明条件ベクトルＴと露出時間τを用いてワークを照明し、検査用画像ｇを撮影する。
【0106】
さらに、検査システム１は、撮影した検査用画像を検査判定器（例えばＣＮＮ等を用いた判定器）に入力し、検査パラメータＰに基づく判定結果を出力する（Ｓ１０４）。
【0107】
なお、カメラのCRFが線形ではない場合には、図８のフローチャートに示すように、ティーチングフェーズの最初に、カメラキャリブレーションを実施し（Ｓ１００）、その後、評価用の画像の撮影を行う。
【0108】
また、図９に示すフローチャートでは、ティーチングフェーズにおいて、照明の光度を最大とする条件で撮影した画像と、照明の光度を最小とする条件で撮影した画像（環境光画像）との差分を取ることで、環境光の影響をより精度よく排除している。
【0109】
具体的には、ステップＳ１０１で最大光度でのＮ×Ｍ枚の評価用の撮影画像ｆn,mを撮影した後、環境光のみでの撮影を行う（Ｓ２０１）。具体的には、最小光度ベクトルＴmin（例えば、消灯状態）の条件にて、各ワークの環境光画像ｆzを撮影する。露出時間は、画素飽和が発生しないような露出時間τzで行われる。
【0110】
次に、ステップＳ１０１で取得した最大光度での撮影画像ｆn,mと、ステップＳ２０１で取得した環境光画像ｆzとの差分画像ｆ'n,mを生成する（Ｓ２０２）。
【0111】
次に、検査システム１は、照明条件を決定する（Ｓ２０３）。検査システム１は、照明最適化のための評価式Ｆの入力をユーザから受け付け、ステップＳ２０２で取得したＮ×Ｍ枚の差分画像ｆ'n,mを評価式Ｆで評価し、最適な照明条件ベクトルＴと露出時間τを決定する。
【0112】
（複数の環境光画像による照明条件と検査パラメータのチューニング）
図９に示すフローチャートでは、環境光の条件を一定にして環境光画像を撮影しているが、図１０に示すフローチャートでは、環境光の条件が変化する場合（例えば、時間経過による日照条件の変化など）を想定して、環境光画像を撮影している。
図９に示すフローチャートでは、環境光の条件を一定にして環境光画像を撮影しているが、図１０に示すフローチャートでは、環境光の条件が変化する場合（例えば、時間経過による日照条件の変化など）を想定して、環境光画像を撮影している。
【0113】
具体的には、まず、ステップＳ１０１でＭ個のワークについて最大光度での評価用の撮影画像ｆn,mを撮影し、次に、各ワークについて、最小光度ベクトルＴminの条件下で、それぞれ環境光の条件が異なるｉ枚の環境光画像ｆi,dを撮影する（Ｓ３０１）。環境光画像の露出時間は、各画像について画素飽和が発生しないような露出時間τi,dで行われる。
【0114】
次に、ステップＳ１０１で取得した最大光度での撮影画像ｆn,mと、ステップＳ３０１で取得した環境光画像ｆi,dとの差分画像ｆ'i,n,mを生成する（Ｓ３０２）。差分画像は、各ワークについてｉ枚生成される。
【0115】
次に、検査システム１は、照明条件と検査パラメータの少なくとも一方を決定する（Ｓ３０３）。検査システム１は、照明最適化のための評価式Ｆと検査アルゴリズムＡの入力を受け付け、ステップＳ３０２で取得したｉ×Ｎ×Ｍ枚の差分画像ｆ'i,n,mを評価式Ｆと検査アルゴリズムＡで評価し、最適な照明条件ベクトルＴと露出時間τ、検査パラメータＰを決定する。
【0116】
このように、同一のワークに対して、環境光の条件が異なる複数枚の環境光画像を用いて照明条件を決定することにより、環境光の変化にロバストな照明条件を算出することができる。また、複数の環境光画像を利用することで、環境光の変化にロバストな検査パラメータを探索することも可能である。
【0117】
なお、上記の例では、複数の環境光画像をそのまま用いて、照明条件および検査パラメータを求めているが、環境光モデル（例えば、画像ベクトルｘが多次元正規分布Ｎ（μ，Σ） に従うモデル）から複数の環境光画像を数値演算により生成し、環境光にロバストな照明条件および検査パラメータを求めるようにしてもよい。ここで、μ＝Ｅ［ｘ］は複数の環境光画像の各画素値の平均値を表すベクトルであり、Σ＝Ｅ［（ｘ－μ）（ｘ－μ）T］は複数の環境光画像の各画素間の分散共分散行列である。
【0118】
以上のように、本実施形態によれば、ワークを撮影する際に、照明からの光の光度を最大に設定し、カメラの露出を調節することで、画素飽和を回避するようにした。これにより、照明光を最大限に大きくすることで、環境光の影響を相対的に十分に低減することができる。
【0119】
また、カメラのCRFが線形ではない場合には、カメラのキャリブレーションを行った上で、照明を最大光度にした際の露出時間を決定するようにした。これにより、カメラの特性に依存せず、CRFが未知の場合でも露出時間の調節を行うことができる。
【0120】
また、露出時間を最適化する際に、照明を最大光度にして撮影した画像と、最小光度にして撮影した画像の差分を用いるようにした。これにより、精確に照明からの光度のみを当てた場合の画像に基づいて露出を調節することができる。
【0121】
また、露出時間を最適化する際に、照明を最大光度にして撮影した画像と、環境光が異なる複数の条件下にて、照明を最小光度にして撮影した画像の差分を用いるようにした。これにより、撮影時の環境光の状況に対してロバストな露出の調整を行うことができる。
【0122】
なお、上記の実施形態では、照明からの光を最大光度にしてカメラの露出またはゲインを調節しているが、環境光に比べて十分に強い光度であれば、必ずしも最大光度には限られず、一定値以上の光度の光を当てるようにしてもよい。
【0123】
以上、本発明の実施の形態を詳細に説明してきたが、上述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
検査対象のワーク（４）の画像を撮影する撮影装置（１０２）と、
前記ワーク（４）に光を当てる光源を含む照明装置（ＬＳ）と、
前記ワーク（４）を撮影する際の撮影の条件を設定する撮影条件設定部（１００）と、を備え、
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を閾値以上の値にして撮影した際に、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、撮影条件設定システム（１）。
（付記１）
検査対象のワーク（４）の画像を撮影する撮影装置（１０２）と、
前記ワーク（４）に光を当てる光源を含む照明装置（ＬＳ）と、
前記ワーク（４）を撮影する際の撮影の条件を設定する撮影条件設定部（１００）と、を備え、
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を閾値以上の値にして撮影した際に、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、撮影条件設定システム（１）。
【0124】
（付記２）
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を最大値にして撮影した際に、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１に記載の撮影条件設定システム（１）。
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を最大値にして撮影した際に、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１に記載の撮影条件設定システム（１）。
【0125】
（付記３）
前記照明装置（ＬＳ）は、
それぞれの光度を調節可能な複数の光源を備え、
前記撮影条件設定部（１００）は、
前記複数の光源のうち、少なくとも１つの光源の光度を閾値以上の値に設定する、付記１または２に記載の撮影条件設定システム（１）。
前記照明装置（ＬＳ）は、
それぞれの光度を調節可能な複数の光源を備え、
前記撮影条件設定部（１００）は、
前記複数の光源のうち、少なくとも１つの光源の光度を閾値以上の値に設定する、付記１または２に記載の撮影条件設定システム（１）。
【0126】
（付記４）
前記撮影条件設定部は、
前記撮影装置の露出に対する画素値の特性が、線形の関係ではない場合には、前記撮影装置のキャリブレーションを実施した上で、露出時間を設定する、付記１から３のいずれか１項に記載の撮影条件設定システム（１）。
前記撮影条件設定部は、
前記撮影装置の露出に対する画素値の特性が、線形の関係ではない場合には、前記撮影装置のキャリブレーションを実施した上で、露出時間を設定する、付記１から３のいずれか１項に記載の撮影条件設定システム（１）。
【0127】
（付記５）
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を閾値以上の値にして撮影した画像と、前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１から４のいずれか１項に記載の撮影条件設定システム（１）。
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を閾値以上の値にして撮影した画像と、前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１から４のいずれか１項に記載の撮影条件設定システム（１）。
【0128】
（付記６）
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を閾値以上の値にして撮影した画像と、異なる複数の環境光の条件下で、前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１から４のいずれか１項に記載の撮影条件設定システム（１）。
（付記７）
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度の設定値、実際に照射された光度の測定値、およびディスプレイに表示された光度のうちの少なくとも一つを所定の閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１から６のいずれか１項に記載の撮影条件設定システム（１）。
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を閾値以上の値にして撮影した画像と、異なる複数の環境光の条件下で、前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度を最小値にして撮影した画像との差分に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１から４のいずれか１項に記載の撮影条件設定システム（１）。
（付記７）
前記撮影条件設定部（１００）は、
前記照明装置（ＬＳ）から前記ワーク（４）に当てる光度の設定値、実際に照射された光度の測定値、およびディスプレイに表示された光度のうちの少なくとも一つを所定の閾値以上の値にして撮影した際に、前記ワークの画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、付記１から６のいずれか１項に記載の撮影条件設定システム（１）。
【0129】
（付記８）
コンピュータ（１）によって、検査対象のワーク（４）の画像の撮影条件を決定する撮影条件設定方法であって、
コンピュータ（１）が、前記ワーク（４）に光を当てる照明装置（ＬＳ）の光度を閾値以上の値に設定し、
コンピュータ（１）が、前記光度の条件下で撮影装置（１０２）によって前記ワーク（４）を撮影し、
コンピュータ（１）が、撮影した前記ワーク（４）の画像に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、撮影条件設定方法。
コンピュータ（１）によって、検査対象のワーク（４）の画像の撮影条件を決定する撮影条件設定方法であって、
コンピュータ（１）が、前記ワーク（４）に光を当てる照明装置（ＬＳ）の光度を閾値以上の値に設定し、
コンピュータ（１）が、前記光度の条件下で撮影装置（１０２）によって前記ワーク（４）を撮影し、
コンピュータ（１）が、撮影した前記ワーク（４）の画像に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定する、撮影条件設定方法。
【0130】
（付記９）
検査対象のワーク（４）の画像の撮影条件を決定するコンピュータ（１）に、
前記ワーク（４）に光を当てる照明装置（ＬＳ）の光度を閾値以上の値に設定すること、
前記光度の条件下で撮影装置（１０２）によって前記ワーク（４）を撮影すること、
撮影した前記ワーク（４）の画像に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定すること、を実行させるプログラム。
検査対象のワーク（４）の画像の撮影条件を決定するコンピュータ（１）に、
前記ワーク（４）に光を当てる照明装置（ＬＳ）の光度を閾値以上の値に設定すること、
前記光度の条件下で撮影装置（１０２）によって前記ワーク（４）を撮影すること、
撮影した前記ワーク（４）の画像に基づいて、前記ワーク（４）の画像の指定領域の画素値が指定範囲内の値になるように、前記撮影装置（１０２）の露出時間を設定すること、を実行させるプログラム。
【符号の説明】
【0131】
１…検査システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…制御装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…検査プログラム、１３４…照明パラメータ、１３６…照度ＬＵＴ、１３８…評価用ワーク画像、１４０…検査用ワーク画像、１４１…撮像部、１４２…算出部、１４３…変換部、１４４…記憶部、ＬＳ…光源、ＬＳｉ…チャネル照明
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】