特許 7574947 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20241022BHJP

   G06T 7/00 20170101ALI20241022BHJP

【ＦＩ】

G01N21/88 Z

G06T7/00 Q

【請求項の数】 7

(21)【出願番号】P 2023561514

(86)(22)【出願日】2022-11-01

(86)【国際出願番号】 JP2022040899

(87)【国際公開番号】W WO2023090152

(87)【国際公開日】2023-05-25

【審査請求日】2023-12-25

(31)【優先権主張番号】P 2021186736

(32)【優先日】2021-11-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100109612

【弁理士】

【氏名又は名称】倉谷 泰孝

(74)【代理人】

【識別番号】100116643

【弁理士】

【氏名又は名称】伊達 研郎

(74)【代理人】

【識別番号】100184022

【弁理士】

【氏名又は名称】前田 美保

(72)【発明者】

【氏名】松三 勇介

(72)【発明者】

【氏名】高木 誠司

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０１９－１５８６０２（ＪＰ，Ａ）

【文献】特開２００３－２７０１６３（ＪＰ，Ａ）

【文献】特開２０２１－９２４３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３０２００４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

対象物の撮影を行う光学系と、
オペレータが前記光学系の光学パラメータを複数入力する設定入力部と、
前記設定入力部に入力された複数の前記光学パラメータを記憶する光学パラメータ記憶部と、
前記光学パラメータ記憶部に記憶した複数の前記光学パラメータを順に選択し、選択した前記光学パラメータに基づいて前記光学系を配置する光学系制御部と、
前記光学系制御部により配置された前記光学系が出力した複数の前記対象物の画像より各々特徴量を算出する画像処理部と、
前記画像処理部により算出された複数の前記特徴量より目的関数を各々算出する評価部と、
前記評価部が算出した前記目的関数より、多項式またはガウス関数である近似関数を算出する近似関数作成部と、
前記目的関数が最小となる前記光学パラメータを基準パラメータセットとし、前記基準パラメータセットにおける前記近似関数作成部により出力された前記近似関数の勾配を算出し、前記勾配が最大となる方向の近傍の新たな追加光学パラメータを新たな前記光学パラメータとして前記光学パラメータ記憶部へ追加する探索部と、
を備える画像処理装置。

【請求項2】

前記評価部は前記画像処理部より算出された前記特徴量と基準値との比較により前記目的関数を算出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記設定入力部に最大探索回数を入力し、探索回数が前記最大探索回数を超えた場合に前記光学パラメータの探索を終了することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記特徴量が前記基準値を満たす前記光学パラメータが得られた場合に前記光学パラメータの探索を終了することを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記探索が終了したときに前記目的関数が最も小さい前記光学パラメータにおいて撮影した画像を画像表示部に出力することを特徴とする請求項３に記載の画像処理装置。

【請求項6】

前記光学系が出力した前記対象物の画像より画像の推定を行う画像推定部を備える請求項１に記載の画像処理装置。

【請求項7】

光学系を用いて対象物の撮影を行うステップと、
前記光学系の光学パラメータを複数入力するステップと、
入力された複数の前記光学パラメータを記憶するステップと、
記憶した複数の前記光学パラメータを順に選択し、選択した前記光学パラメータに基づいて前記光学系を配置するステップと、
配置された前記光学系が出力した複数の前記対象物の画像より各々特徴量を算出するステップと、
算出された複数の前記特徴量より目的関数を各々算出するステップと、
算出した前記目的関数より、多項式またはガウス関数である近似関数を算出するステップと、
前記目的関数が最小となる前記光学パラメータを基準パラメータセットとし、前記基準パラメータセットにおける前記近似関数の勾配を算出し、前記勾配が最大となる方向の近傍の新たな追加光学パラメータを新たな前記光学パラメータとして記憶するステップと、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は対象物を撮影する画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

画像検査においてＳ／Ｎ比が高い画像を撮影することは重要である。しかし画像撮影において照明の強度、カメラの角度等の光学系のパラメータ調整は、オペレータが経験に基づいて行うことが多い。

【0003】

従来技術にはオートフォーカス、寸法測定等特定の処理を対象として自動的に光学系のパラメータを決定する手法がある。例えば、照明条件を測定対象箇所に応じて自動的に調整する画像測定器が開示されている。（例えば、特許文献１参照）

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－５４６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の画像測定器は照明条件を自動的に調整して撮影した画像をオペレータが目視し、Ｓ／Ｎ比が高い画像を手動により選択する。しかし光学系のパラメータ調整において探索すべきパラメータ空間は非常に複雑であり、光学系のパラメータ調整を自動かつ網羅的に行うことは困難である。また画像検査の対象物や検査アルゴリズムは多くの種類があり、汎用的に対応することが困難である。

【0006】

本開示は上述のような課題を解決するためになされたものであり、光学系のパラメータ調整を自動かつ網羅的に行い、撮影する対象物および検査アルゴリズムを選ばず汎用的に利用可能な画像処理装置を得ることを目的としている。

【課題を解決するための手段】

【0007】

本開示にかかる画像処理装置は、対象物の撮影を行う光学系と、オペレータが光学系の光学パラメータを複数入力する設定入力部と、設定入力部に入力された複数の光学パラメータを記憶する光学パラメータ記憶部と、光学パラメータ記憶部に記憶した複数の光学パラメータを順に選択し、選択した光学パラメータに基づいて光学系を配置する光学系制御部と、光学系制御部により配置された光学系が出力した複数の対象物の画像より各々特徴量を算出する画像処理部と、画像処理部により算出された複数の特徴量より目的関数を各々算出する評価部と、評価部が算出した目的関数より、多項式またはガウス関数である近似関数を算出する近似関数作成部と、目的関数が最小となる光学パラメータを基準パラメータセットとし、基準パラメータセットにおける近似関数作成部により出力された近似関数の勾配を算出し、勾配が最大となる方向の近傍の新たな追加光学パラメータを新たな光学パラメータとして光学パラメータ記憶部へ追加する探索部とを備えたものである。

【0008】

また、本開示にかかる画像処理方法は、光学系を用いて対象物の撮影を行うステップと、光学系の光学パラメータを複数入力するステップと、入力された複数の前記光学パラメータを記憶するステップと、記憶した複数の前記光学パラメータを順に選択し、選択した前記光学パラメータに基づいて前記光学系を配置するステップと、配置された前記光学系が出力した複数の前記対象物の画像より各々特徴量を算出するステップと、算出された複数の前記特徴量より目的関数を各々算出するステップと、算出した前記目的関数より、多項式またはガウス関数である近似関数を算出するステップと、前記目的関数が最小となる前記光学パラメータを基準パラメータセットとし、前記基準パラメータセットにおける前記近似関数の勾配を算出し、前記勾配が最大となる方向の近傍の新たな追加光学パラメータを新たな前記光学パラメータとして記憶するステップとを備えたものである。

【発明の効果】

【0009】

本開示の画像処理装置によれば、光学系のパラメータ調整を自動かつ網羅的に行うことができる。また、対象物に合わせたアルゴリズムを使用することにより対象物を選ばず汎用的に使用できるという効果を有する。

【0010】

また、本開示の画像処理方法によれば、光学系のパラメータ調整を自動かつ網羅的に行うことができる。また、対象物に合わせたアルゴリズムを使用することにより対象物を選ばず汎用的に使用できるという効果を有する。

【図面の簡単な説明】

【0011】

【図1】実施の形態１にかかる画像処理装置の構成図である。

【図2】実施の形態１にかかる画像処理装置のハードウェア構成図である。

【図3】実施の形態１にかかる画像処理装置の処理手順を示すフローチャートである。

【図4】実施の形態１にかかる画像処理装置の設定入力部における光学パラメータセット例である。

【図5】実施の形態１にかかる画像処理装置の探索部における追加光学パラメータセット例である。

【図6】実施の形態２にかかる画像処理装置の構成図である。

【図7】実施の形態２にかかる画像処理装置の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に、実施の形態を図面に基づいて詳細に説明する。なお、以下に説明する実施の形態は例示である。また各実施の形態は、適宜組み合わせて実行することができる。

【0013】

実施の形態１
図１は実施の形態１にかかる画像処理装置の構成図である。図２は実施の形態１にかかる画像処理装置のハードウェア構成図である。図３は実施の形態１にかかる画像処理装置の処理手順を示すフローチャートである。図４は実施の形態１にかかる画像処理装置の設定入力部における光学パラメータセット例である。図５は実施の形態１にかかる画像処理装置の探索部における追加光学パラメータセット例である。

【0014】

図１に示す画像処理装置１は、光学パラメータを入力する設定入力部１０と、光学パラメータを記憶する光学パラメータ記憶部２０と、光学系を配置する光学系制御部３０と、対象物を撮影する光学系４０と、撮影した対象物の画像より特徴量を算出する画像処理部５０と、光学パラメータを探索するパラメータ算出部６０と、画像を収集する画像収集部７０と、画像を出力する画像表示部８０とを備えている。

【0015】

図２は、実施の形態１にかかる画像処理装置１のハードウェア構成図である。画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ３、ディスプレイ４および入力インターフェイス（Ｉ／Ｆ）５を備えて構成される。光学パラメータ記憶部２０、光学系制御部３０、光学系４０、画像処理部５０、パラメータ算出部６０および画像収集部７０は、プロセッサ２がメモリ３に格納されたプログラムを実行することによって実現する。ただし、これらは、例えば複数のプロセッサ２が連携して実現されても良い。

【0016】

設定入力部１０はオペレータが光学パラメータ、基準値および最大探索回数を入力し初期設定を行う。光学パラメータとはカメラ、照明等の光学系４０の位置、角度および照度等の値の組である。基準値とは光学系４０において撮影した対象物の画像処理結果である特徴量との比較を行う値のことである。最大探索回数は探索部６３において光学パラメータを探索する上限回数のことである。

【0017】

光学パラメータ記憶部２０はオペレータが設定入力部１０に入力した光学パラメータ、基準値および最大探索回数を記憶する。光学パラメータ記憶部２０が記憶した光学パラメータ、基準値および最大探索回数は画像処理部５０へ出力する。

【0018】

光学系制御部３０は光学パラメータ記憶部２０に記憶した光学パラメータの中から１つ選択し、光学系４０の位置、角度および照度等を変更する。

【0019】

光学系４０はカメラ、照明、ステージおよびそれらを移動させる機構をいう。その数は１つでも複数でも良く、また照明の種類も問わず例えば透過照明、同軸照明等を用いる。光学系４０は光学系制御部３０において選択された光学パラメータにより対象物を撮影し、撮影した対象物の画像を画像処理部５０へ出力する。また、撮影した対象物の画像は画像収集部７０へ出力し記録する。

【0020】

画像処理部５０は光学系４０から入力された対象物の画像を画像処理し、特徴量を算出して評価部６１へ出力する。特徴量とは、画像処理した結果である。特徴量は入力した光学パラメータの良し悪しを評価するための値であり、設定入力部１０に入力した基準値との比較を行う際に用いる。画像処理は対象物等に応じて任意のアルゴリズムを使用できる。特徴量は任意のアルゴリズムによって変わるが、例えば対象物と背景との輝度差、対象物上の異物の面積等が用いられる。また特徴量は撮影した１つの画像から１つ算出することもあれば複数算出する場合もある。

【0021】

また画像処理部５０は光学パラメータ記憶部２０より入力された光学パラメータ、基準値および最大探索回数をもとに、基準値を満たすまたは基準値に最も近い特徴量が算出された画像処理前の対象物の画像を画像収集部７０へ出力する。画像収集部７０へ出力する画像は画像処理前の対象物の画像に限らず、基準値を満たすまたは基準値に最も近い特徴量が算出された光学パラメータを出力してもよい。

【0022】

パラメータ算出部６０は評価部６１、近似関数作成部６２および探索部６３からなる。評価部６１は画像処理部５０から出力された特徴量をもとに目的関数を算出し近似関数作成部６２へ出力する。目的関数とは光学系４０において撮影した画像の良し悪しを評価するための値であり、例えば特徴量が基準値からどの程度離れているかを指標にする。また１つの画像から得られる目的関数の値は１つに限られる。

【0023】

近似関数作成部６２は評価部６１より算出された目的関数から近似関数を作成し、探索部６３へ出力する。近似関数は種類を問わないが、例えば二次関数、ガウス関数等が用いられる。

【0024】

探索部６３は、評価部６１において特徴量をもとに算出した目的関数が最小となる光学パラメータすなわち基準パラメータセットにおける、近似関数作成部６２により出力された近似関数の勾配を算出し、勾配が最大となる方向の近傍の新たな追加光学パラメータを新たな光学パラメータとして光学パラメータ記憶部２０へ出力する。光学パラメータの探索方法についてはフローチャートを用いて詳細を後述する。

【0025】

画像収集部７０は光学系４０において撮影された対象物の画像を収集する。画像収集部７０は、画像処理部５０から出力された基準値を満たすまたは基準値に最も近い特徴量の画像処理前の対象物の画像を画像表示部８０へ出力する。画像処理部５０が光学パラメータを出力する場合、対象物の画像と紐づけをし、画像処理部５０が出力した光学パラメータにより撮影された対象物の画像を画像表示部８０へ出力する。

【0026】

画像表示部８０は画像収集部７０が入力したパラメータ算出部６０において探索し見つかった目的関数が最も小さい光学パラメータにより撮影した画像を表示する。

【0027】

図１に図示した画像処理装置１は一例であり、画像収集部７０を構成しない画像処理装置１も考えられる。その場合、画像処理部５０が出力した基準値を満たすまたは基準値に最も近い特徴量が算出された画像処理前の対象物の画像を画像表示部８０に出力することにより本開示に記載の効果を同様に得られる。

【0028】

次に処理手順についてフローチャートを用いて説明する。図３は実施の形態１にかかる画像処理装置１の処理手順を示すフローチャートである。本開示において適用するアルゴリズムに制限は無いが、以下では例として対象物上の異物の有無を検査し、特徴量は異物の面積を使用する場合を説明する。また光学パラメータはカメラ位置ｘと照明の位置ｙから成る光学パラメータ（ｘ、ｙ）について説明する。

【0029】

図３に示すようにステップＳ１０１においては、初期設定を行う。オペレータは、対象物を光学系４０にセットし、設定入力部１０に光学パラメータ、基準値および最大探索回数を入力する。ここで入力する光学パラメータ（ｘ、ｙ）は複数組用意する必要がある。初期設定の定め方としては総当たりにより定めることも可能であるし、もしくは直交表を用いた実験計画法等を用いて定めることも可能である。設定入力部１０は入力した光学パラメータを光学パラメータ記憶部２０に記憶させる。

【0030】

ステップＳ１０２において光学パラメータ記憶部２０が記憶した光学パラメータを順に選択し、光学系制御部３０へ出力する。光学パラメータを選択する順番は決まっていないが、光学パラメータ記憶部２０に記憶されているすべての光学パラメータを順番に選択し光学系制御部３０へ出力する。

【0031】

ステップＳ１０３ではステップＳ１０２において選択された光学パラメータをもとに光学系制御部３０が光学系４０の位置、角度および照度等を変更し対象物を撮影する。光学系４０が撮影した対象物の画像は画像処理部５０に出力される。

【0032】

ステップＳ１０４において画像処理部５０は光学系４０が撮影した対象物の画像を画像処理し、特徴量として異物の面積を算出する。異物の面積を測定する場合の画像処理としては、二値化した後、ラベリング処理により面積を測定するアルゴリズムが考えられる。算出した特徴量は評価部６１へ出力される。

【0033】

ステップＳ１０５において画像処理部５０は設定入力部１０に入力された基準値と特徴量との比較を行う。特徴量が基準値を満たす場合、光学パラメータの探索を終了し、画像処理部５０は基準値を満たす特徴量または基準値を満たす特徴量の画像処理前の画像を画像収集部７０へ出力する。そして画像収集部７０は探索して見つかった光学パラメータにより撮影された対象物の画像を画像表示部８０へ出力し、画像表示部８０が表示する。

【0034】

特徴量が基準値を満たさない場合、画像処理部５０が算出した特徴量を評価部６１へ出力する。

【0035】

ステップＳ１０６では評価部６１が画像処理部５０より入力された特徴量をもとに目的関数を算出し近似関数作成部６２に出力する。

【0036】

本実施例では異物の面積および実際の異物の面積の差の絶対値を目的関数とする。目的関数が小さいことは実物の異物の面積と画像処理により算出した特徴量との差が小さいことを意味する。そのため、目的関数の値が小さくなるような光学パラメータを探索する。

【0037】

ステップＳ１０７において近似関数作成部６２は、評価部６１より出力された目的関数から近似関数を作成する。作成した近似関数は探索部６３へ出力される。以下では例として式（１）のような近似関数ｆ（ｘ、ｙ）が二次関数の場合を説明するが、使用できる関数は多項式だけでなくガウス関数なども用いることができる。ここで、ＡからＦは、係数である。

【0038】

【数1】

【0039】

ステップＳ１０８において探索部６３は、目的関数が最も小さいパラメータセット（ｘａ、ｙａ）を基準パラメータセットとして選択し、基準パラメータセットにおける近似関数ｆ（ｘ、ｙ）の勾配∇ｆ（ｘａ、ｙａ）を算出する。ここで勾配∇ｆ（ｘａ、ｙａ）は近似関数ｆ（ｘ、ｙ）の各成分について微分をとったものを成分とするベクトルである。式（１）を用いて勾配∇ｆ（ｘａ、ｙａ）を算出すると以下の式（２）のようになる。

【0040】

【数2】

【0041】

この勾配が大きいパラメータの方向は目的関数への寄与が大きいパラメータであることを意味する。つまり近似関数の傾きが急なため、わずかなパラメータの変化であっても目的関数の値が大きく変化することを意味する。一方で、勾配が小さいパラメータの方向はパラメータの値を変更しても目的関数の値に変化がないことを意味し、探索する必要性が小さい。

【0042】

このように探索する光学パラメータの方向を絞ることで総当たりやランダムに探索を行うより効率的かつ素早く光学パラメータを見つけることができる。また一般に光学パラメータ空間は多次元であり複雑なものになるが、勾配を利用することにより光学パラメータの探索を容易に行うことができる。

【0043】

勾配∇ｆ（ｘａ、ｙａ）に基づいて、パラメータセット（ｘａ、ｙａ）の近傍の選択した１個以上のパラメータの方向に配置される１個以上のパラメータセットを新たな光学パラメータとして光学パラメータ記憶部２０に出力し、追加する。

【0044】

このように勾配をもとに光学パラメータの探索を行うことにより、基準値と目的関数との差が大きくても効率よくパラメータを探索することができる。

【0045】

ステップＳ１０９においては、パラメータの探索回数がステップＳ１０１において入力した値を超えた場合、探索を終了し目的関数が最も小さい光学パラメータにより撮影した画像を画像収集部７０が出力し画像表示部８０に表示する。パラメータの探索回数がステップＳ１０１において設定入力部１０に入力した値を超えない場合、探索部６３が探索し見つけた追加光学パラメータを光学パラメータ記憶部２０に追加し、再度ステップＳ１０２から順に実行する。

【0046】

このようにパラメータを少しずつ変化させ、近似関数を繰り返し作成することにより網羅的に光学パラメータを探索することができる。

【0047】

次に光学パラメータの探索方法について詳細を説明する。

【0048】

探索部６３は、近似関数ｆ（ｘ、ｙ）の基準パラメータセット（ｘａ、ｙａ）における勾配∇ｆ（ｘａ、ｙａ）の成分が最大となる１個以上のパラメータの方向を選択する。すなわち探索部６３は、近似関数ｆ（ｘ、ｙ）の基準パラメータセット（ｘａ、ｙａ）における勾配∇ｆ（ｘａ、ｙａ）の成分が最大となる１個のパラメータの方向を選択したときには、基準パラメータセット（ｘａ、ｙａ）の近傍の選択したパラメータの方向に配置される１個以上のパラメータセットを追加する。

【0049】

一方で近似関数ｆ（ｘ、ｙ）の基準パラメータセット（ｘａ、ｙａ）における勾配∇ｆ（ｘａ、ｙａ）の成分が最大となる２個以上のパラメータを選択したときには、基準パラメータセット（ｘａ、ｙａ）の近傍の選択した２個以上のパラメータの方向を合成した方向に配置される１個以上のパラメータセットを追加する。

【0050】

図４および図５を用いて説明をする。図４は、設定入力部１０に入力された光学パラメータセット（ｘ、ｙ）を示す図である。図４よりパラメータｘの取り得る値は、ｘ１、ｘ２、ｘ３、ｘ４、ｘ５であり、パラメータｙの取り得る値は、ｙ１、ｙ２、ｙ３、ｙ４、ｙ５である。

【0051】

図５は、目的関数が最も小さくなる基準パラメータセット（ｘａ、ｙａ）をもとに探索し見つかった追加光学パラメータセットの例を図示している。図５には基準パラメータセット（ｘａ、ｙａ）を、（ｘ２、ｙ２）、（ｘ３、ｙ４）、（ｘ４、ｙ３）と図示しているが、以降の説明のために３点図示しているに過ぎず、１度の光学パラメータ探索時において設定する基準パラメータセットは一組の光学パラメータセットである。

【0052】

図５より例えば、基準パラメータセット（ｘ２，ｙ２）における勾配∇ｆ（ｘ２、ｙ２）の成分が最大となる成分がｙ成分とする。この場合、（ｘ２、ｙ２）のｙ方向の隣接する（ｘ２、ｙ６）および（ｘ２、ｙ７）が探索用の追加光学パラメータセットとして光学パラメータ記憶部２０に追加される。この時新たに追加される追加光学パラメータの値は、例えば図５に示すｘ６およびｘ７のように基準パラメータセット（ｘ３、ｙ４）の隣のパラメータセット（ｘ２、ｙ４）および（ｘ４、ｙ４）の値との中間の値を用いることもできる。また他にも勾配の大きさに応じて重みづけして値を決定することもできる。具体的には中間の値を用いる場合は式（３）のようにｘ６を定める。ｘ７、ｘ８、ｙ６、ｙ７、ｙ８についても同様の式で計算することができる。

【0053】

【数3】

【0054】

また重みづけする場合はその重みをＷｘ２、Ｗｘ３としたとき式（４）のようにｘ６を定める。ｘ７、ｘ８、ｙ６、ｙ７、ｙ８についても同様の式で計算することができる。

【0055】

【数4】

【0056】

また別の例として基準パラメータセット（ｘ３、ｙ４）における勾配∇ｆ（ｘ３、ｙ４）の成分が最大となる成分がｘ成分とする。この場合、図５に示すように（ｘ３、ｙ４）のｘ方向の隣接する（ｘ６、ｙ４）および（ｘ７、ｙ４）が探索用の追加光学パラメータセットとして光学パラメータ記憶部２０に追加される。

【0057】

また別の例として基準パラメータセット（ｘ４、ｙ３）における勾配∇ｆ（ｘ４，ｙ３）の成分が最大となる成分がｘ成分およびｙ成分とする。この場合、図５に示すように（ｘ４、ｙ３）のｘ方向およびｙ方向が合成された方向の隣接する（ｘ７、ｙ７）および（ｘ８、ｙ８）が探索用の追加パラメータセットとして光学パラメータ記憶部２０に追加される。

【0058】

本開示は例としてはｘ、ｙの２つのパラメータの場合で説明したが実際にはパラメータの数には制限がないため、３つ以上のパラメータを選択しそれを組み合わせて方向を決定する場合も考えられる。

【0059】

上記のように光学パラメータを探索することでＳ１０１において初期設定した光学パラメータ以外の光学パラメータを探索することができる。例えば初期設定として照明の角度を２０°、３０°および４０°の３つの角度を入力したときにその間の値である２５°もしくは初期設定の範囲外である５０°が最適な光学パラメータとして出力されることもある。そのため初期設定の値を厳密に決めなくても最適な光学パラメータを探索し見つける
ことができる。

【0060】

また、例えば照明の角度が２０°および９０°の時の結果が同等であるとき、対象物の形状から９０°の方が撮影しやすい場合には９０°を最適な光学パラメータとして出力することもできる。このように出力された近似関数をもとにどのパラメータの時にどんな結果になるかを予想することができるため装置や対象物の制約を加味してパラメータの値を決定することもできる。

【0061】

以上のように本開示によれば、光学系４０のパラメータを自動かつ網羅的に探索することができる。また対象物およびアルゴリズムを選ばず汎用的に使用することができる。

【0062】

変形例．
上記の実施の形態に限定されるものではなく、例えば以下のような変形例も可能である。

【0063】

実施の形態１において、基準パラメータセットとｘ方向、ｙ方向、またはｘ方向とｙ方向とが合成された方向に隣接する２つのパラメータセットを探索用の追加パラメータセットとする例を説明したがこれに限定されるものではない。例えば基準パラメータセットを中心にして、＋ｘ方向にｎ個のパラメータセット、および－ｘ方向にｎ個のパラメータセットを探索用のパラメータセットとして追加してもよい。ｙ方向およびｘ方向とｙ方向とが合成された方向についても、同様であるため説明を省略する。

【0064】

実施の形態２
実施の形態１では、実際に光学系４０にて撮影して取得した画像を基に光学パラメータの探索を行う画像処理装置１を示した。本実施の形態では、光学系４０にて撮影して取得した画像を基に、実際には撮影していない光学系の画像を推定し、推定した画像も含めて光学パラメータの探索を行う画像処理装置１００を示す。画像処理装置１００は画像推定部９０を新たに備える。それ以外の構成は実施の形態１と同様であり、実施の形態１と同じ構成には同じ番号を付し、説明は省略する。

【0065】

図６は本実施の形態にかかる画像処理装置１００の構成図である。図６に示すように画像処理装置１００は、設定入力部１０、光学パラメータ記憶部２０、光学系制御部３０、光学系４０、画像処理部５０、評価部６１、近似関数作成部６２および探索部６３を備えている。この構成により、光学系４０のパラメータを自動かつ網羅的に探索することができる。また対象物およびアルゴリズムを選ばず汎用的に使用することができる。

【0066】

さらに、本実施の形態にかかる画像処理装置１００は、画像推定部９０を備えている。

【0067】

画像推定部９０は、光学系４０において対象物を異なる光学パラメータにより撮影し取得した複数の画像より、実際には光学系４０にて撮影し取得した画像ではない画像を推定する。例えば、光学系４０が互いに異なる２つの照明を用いて対象物を撮影し、２枚の画像を取得した場合、画像推定部９０は２枚の画像より、異なる２つの照明を同時に用いて光学系４０が対象物を撮影した際に得ることのできる画像を推定して取得する。つまり、画像推定部９０において得られる画像は、基にする画像各々の撮影環境を合わせた環境で撮影した際に得られる画像である。以下、推定方法について、具体例を挙げて詳細を述べる。

【0068】

光学系４０において、第１の照明により撮影し得られた画像を画像Ａ、第２の照明により撮影し得られた画像を画像Ｂとする。そして、画像Ａの位置（ｘ、ｙ）における輝度値をＦ１（ｘ、ｙ）、画像Ｂの位置（ｘ、ｙ）における輝度値をＦ２（ｘ、ｙ）とする。このとき、推定される画像の位置（ｘ、ｙ）における輝度値Ｇ（ｘ、ｙ）とすると、Ｇ（ｘ、ｙ）は以下の式で表される。なお、ａ、ｂ、ｃはいずれも正の定数とする。

【0069】

【数5】

【0070】

式（５）を用いてすべての位置における輝度値を算出することにより、画像推定部９０は画像を推定して取得することができる。なお、正の定数ａ、ｂ、ｃについて、例えば第１の照明、第２の照明を同時に点灯した場合の画像を推定する場合には、ａ＝１、ｂ＝１とし、ｃは画像Ａの位置（ｘ、ｙ）における輝度値Ｆ１（ｘ、ｙ）および画像Ｂの位置（ｘ、ｙ）における輝度値Ｆ２（ｘ、ｙ）を平均して－１倍した値として式（５）を計算することにより算出できる。また、第１の照明を通常点灯時の明るさの半分の明るさで点灯し、第２の照明は通常点灯させた際の画像を推定する場合には、ａ＝０．５、ｂ＝１とし、ｃは画像Ａの位置（ｘ、ｙ）における輝度値Ｆ１（ｘ、ｙ）および画像Ｂの位置（ｘ、ｙ）における輝度値Ｆ２（ｘ、ｙ）を平均して－１倍した値として式（５）を計算することにより算出できる。

【0071】

図７は、本実施の形態にかかる画像処理装置１００の処理手順を示すフローチャートである。なお、ステップＳ１１０以外は実施の形態１と同様であるため説明を省略する。

【0072】

ステップＳ１１０において、画像推定部９０は光学系４０より出力された画像より、輝度値を算出して画像を推定する。画像推定部９０が推定により得た画像は画像処理部５０へ出力される。

【0073】

以上より、画像処理装置１００は画像推定部９０を備え、画像推定部９０は実際に撮影して得た画像を基に、実際に撮影をしていない光学パラメータにより撮影して得られる画像を推定により取得する。これにより、網羅的に光学パラメータの探索を行うことができる。また、光学パラメータを変更して撮影をし直すという作業者の手間を省くことができる。

【0074】

なお、本実施の形態では、図６に示すように画像推定部９０を別途設けた画像処理装置１００を説明したが、これに限らず画像推定部９０は画像処理部５０に設けられていてもよい。

【0075】

今回開示された実施の形態はすべての点で例示であって制限的なものではない。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0076】

１、１００ 画像処理装置、２ プロセッサ、３ メモリ、４ ディスプレイ、５ 入力インターフェイス、１０ 設定入力部、２０光学パラメータ記憶部、３０ 光学系制御部、４０光学系、５０ 画像処理部、６０ パラメータ算出部、６１ 評価部、６２ 近似関数作成部、６３ 探索部、７０ 画像収集部、８０ 画像表示部、９０ 画像推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】