特許 5874398 画像検査装置の検査領域設定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5874398

(24)【登録日】2016年1月29日

(45)【発行日】2016年3月2日

(54)【発明の名称】画像検査装置の検査領域設定方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20160218BHJP

【ＦＩ】

   G01N21/88 J

【請求項の数】18

【全頁数】23

(21)【出願番号】特願2012-588(P2012-588)

(22)【出願日】2012年1月5日

(65)【公開番号】特開2013-140090(P2013-140090A)

(43)【公開日】2013年7月18日

【審査請求日】2014年12月4日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100085006

【弁理士】

【氏名又は名称】世良 和信

(74)【代理人】

【識別番号】100106622

【弁理士】

【氏名又は名称】和久田 純一

(74)【代理人】

【識別番号】100125357

【弁理士】

【氏名又は名称】中村 剛

(72)【発明者】

【氏名】湊 善久

(72)【発明者】

【氏名】柳川 由紀子

【審査官】 森口 正治

(56)【参考文献】

【文献】 特開2009−198514（ＪＰ，Ａ）

【文献】 特開2004−354064（ＪＰ，Ａ）

【文献】 特開平9−140397（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４−２１／９５８

(57)【特許請求の範囲】

【請求項1】

検査対象物を撮影して得られた元画像から検査領域とする部分を検査領域画像として抽出し、前記検査領域画像を解析することにより前記検査対象物の検査を行う画像検査装置に対して、
前記検査領域を定義する検査領域定義情報を設定する検査領域設定方法であって、
コンピュータが、検査対象物のサンプルを撮影して得られたサンプル画像を取得する取得ステップと、
コンピュータが、前記サンプル画像における各ピクセルの色又は輝度の情報、及び、前記サンプル画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記サンプル画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める検査領域探索ステップと、
コンピュータが、前記検査領域探索ステップで求められた検査領域の画像内での位置及び形状を定義する検査領域定義情報を前記画像検査装置に対して設定する設定ステップと、を有する
ことを特徴とする検査領域設定方法。

【請求項2】

コンピュータがユーザからパラメタの入力を受け付けるパラメタ受付ステップ、をさらに有しており、
コンピュータが、前記パラメタ受付ステップでユーザからパラメタの入力を受け付ける毎に、入力されたパラメタを拘束条件として用いて前記検査領域探索ステップを実行することにより検査領域の最適解を再計算し、再計算された検査領域を表示装置に表示する
ことを特徴とする請求項１に記載の検査領域設定方法。

【請求項3】

前記パラメタ受付ステップでは、パラメタの一つとして、前記ピクセル分離度と前記エッジ重なり度のバランスを調整するためのバランスパラメタをユーザに入力させ、
前記検査領域探索ステップでは、ユーザから入力されたバランスパラメタに応じて、前記ピクセル分離度と前記エッジ重なり度を評価する際の重みを調整する
ことを特徴とする請求項２に記載の検査領域設定方法。

【請求項4】

前記検査領域探索ステップでは、前景の代表色又は代表輝度に対する候補領域の内側の各ピクセルの色又は輝度の前景らしさを評価した値、或いは、背景の代表色又は代表輝度に対する候補領域の外側の各ピクセルの色又は輝度の背景らしさを評価した値、或いは、その両方の値を総合した値を前記ピクセル分離度とする
ことを特徴とする請求項２又は３に記載の検査領域設定方法。

【請求項5】

前記検査領域探索ステップでは、前景の代表色又は代表輝度と背景の代表色又は代表輝度との差が大きいほど前記ピクセル分離度の重みが大きくなり、前記差が小さいほど前記エッジ重なり度の重みが大きくなるように、前記ピクセル分離度と前記エッジ重なり度を評価する際の重みを調整する
ことを特徴とする請求項４に記載の検査領域設定方法。

【請求項6】

前記パラメタ受付ステップでは、パラメタの一つとして、前景若しくは背景若しくはその両方の代表色又は代表輝度をユーザに入力させる
ことを特徴とする請求項４又は５に記載の検査領域設定方法。

【請求項7】

前記パラメタ受付ステップでは、前記サンプル画像を表示装置に表示し、前記表示されたサンプル画像上で前景若しくは背景とすべき部分をユーザに指定させ、前記指定された
部分の色又は輝度を前記代表色又は代表輝度として取得する
ことを特徴とする請求項６に記載の検査領域設定方法。

【請求項8】

前記パラメタ受付ステップでは、パラメタの一つとして、検査領域の形状に関する特徴を表す形状情報をユーザに入力させ、
前記検査領域探索ステップでは、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域の形状と前記形状情報で表される形状との類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする請求項２〜７のうちいずれか１項に記載の検査領域設定方法。

【請求項9】

前記パラメタ受付ステップでは、パラメタの一つとして、検査領域の大きさに関する特徴を表す大きさ情報をユーザに入力させ、
前記検査領域探索ステップでは、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域の大きさと前記大きさ情報で表される大きさとの類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする請求項２〜８のうちいずれか１項に記載の検査領域設定方法。

【請求項10】

前記パラメタ受付ステップでは、パラメタの一つとして、検査領域の画像内での位置に関する特徴を表す位置情報をユーザに入力させ、
前記検査領域探索ステップでは、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域のサンプル画像内での位置と前記位置情報で表される位置との類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする請求項２〜９のうちいずれか１項に記載の検査領域設定方法。

【請求項11】

前記パラメタ受付ステップでは、パラメタの一つとして、検査領域内の画像のテクスチャに関する特徴を表すテクスチャ情報をユーザに入力させ、
前記検査領域探索ステップでは、前記ピクセル分離度と前記エッジ重なり度に加え、検査領域内の画像のテクスチャと前記テクスチャ情報で表されるテクスチャとの類似度合も高くなるように、検査領域の最適解が求められる
ことを特徴とする請求項２〜１０のうちいずれか１項に記載の検査領域設定方法。

【請求項12】

コンピュータが、前記検査領域探索ステップで求められた検査領域を表示装置に表示し、ユーザから入力される修正指示にしたがって検査領域の形状を修正する、検査領域修正ステップをさらに有している
ことを特徴とする請求項１〜１１のうちいずれか１項に記載の検査領域設定方法。

【請求項13】

前記検査領域修正ステップは、検査領域の輪郭の全部又は一部をベジェ曲線若しくはスプライン曲線のパスで近似し、前記パスをユーザに修正させるものである
ことを特徴とする請求項１２に記載の検査領域設定方法。

【請求項14】

前記検査領域修正ステップは、ユーザに自由曲線を描画させ、前記自由曲線が検査領域の輪郭の一部となるように前記自由曲線と検査領域とを合成するものである
ことを特徴とする請求項１２又は１３に記載の検査領域設定方法。

【請求項15】

前記検査領域修正ステップは、ユーザに検査領域の輪郭の一部の区間を指定させ、指定された区間の輪郭を直線又は円弧に置き換えるものである
ことを特徴とする請求項１２〜１４のうちいずれか１項に記載の検査領域設定方法。

【請求項16】

前記検査領域修正ステップは、ユーザにより指定されたピクセルを検査領域に追加し、又は検査領域から除外するものである
ことを特徴とする請求項１２〜１５のうちいずれか１項に記載の検査領域設定方法。

【請求項17】

請求項１〜１６のうちいずれか１項に記載の検査領域設定方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

【請求項18】

検査対象物を撮影して得られた元画像から検査領域とする部分を検査領域画像として抽出し、前記検査領域画像を解析することにより前記検査対象物の検査を行う画像検査装置に対して、
前記検査領域を定義する検査領域定義情報を設定する検査領域設定装置であって、
検査対象物のサンプルを撮影して得られたサンプル画像を取得する取得手段と、
前記サンプル画像における各ピクセルの色又は輝度の情報、及び、前記サンプル画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記サンプル画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める検査領域探索手段と、
前記検査領域探索手段で求められた検査領域の画像内での位置及び形状を定義する検査領域定義情報を前記画像検査装置に対して設定する設定手段と、を有する
ことを特徴とする検査領域設定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像による外観検査を行う画像検査装置に関する。

【背景技術】

【0002】

生産ラインにおける検査の自動化・省力化のために、画像による外観検査を行う画像検査装置が広く利用されている。外観検査の種類や手法には様々なものが存在するが、基本的な構成は、画像センサ（カメラ）で検査対象物を撮影し、得られた画像から検査領域となる部分を抽出し、その検査領域の部分の画像の特徴を解析・評価することで、目的の検査（例えば、良／不良の判定、仕分け、情報取得など）を行うというものである。

【0003】

この種の画像検査装置においては、検査処理を開始する前に、検査領域の設定などの準備作業を行う必要がある。一般的な装置では、検査領域を設定するための専用のツールが用意されており、ユーザはそのツールを使用して検査対象物や検査目的などに応じた適切な検査領域を自ら設定できるようになっている。しかしながら、従来のツールは、円・四角形などの単純図形又はその組み合わせで検査領域を定義する機能しか持ってない。したがって、検査対象物の形状が複雑もしくは特殊な場合には、検査対象物の輪郭に検査領域を正確に合わせることができないことがある。また単純図形の組み合わせで検査対象物の輪郭を表現できる場合であっても、組み合わせる図形の数が多くなると検査領域の設定に多大な時間と作業負担を要してしまう。近年では、多品種少量生産での効率向上のために段取り時間をできるだけ短縮したいというニーズが強く、検査領域の設定に手間がかかるのは望ましくない。しかしその一方で、製品形状の複雑化や検査内容の高度化・細分化に対応するため、また検査の精度や信頼性の向上のために、検査の対象とすべき部分のみに検査領域を正確に設定したいというニーズも強い。

【0004】

検査領域を自動で設定する手法としては、従来、二値化や色域抽出による検査領域抽出手法が知られている。つまり、画像の中から予め設定された輝度範囲もしくは色域に該当するピクセル群を抽出し、そのピクセル群を検査領域とする手法である。この手法は、検査領域として抽出したい部分（前景）とそれ以外の部分（背景）の輝度もしくは色のコントラストが高い場合には有効であり、例えば、ベルトコンベア上を搬送される物品の画像から物品部分のみを抽出する処理などに利用されている。この手法を用いれば上述した複雑な形状への対応、設定作業の簡単化といった課題はある程度解決されるが、依然として下記のような課題が残る。

【0005】

検査領域として抽出したい前景部分に照明などの影響による陰影があったり、前景部分が様々な輝度もしくは色で構成されていたり、背景の中に前景部分に近い色が存在していたりすると、二値化や色域抽出では前景部分のみを正確に抽出することは困難である。最近では、検査内容の高度化や細分化が進み、例えば成型加工部品における１つの切削面だけを対象とした表面検査を行いたいとか、多数の部品が実装されたプリント基板上の１つの部品だけを検査したいなど、背景と前景の色差がほとんど無いケースも現に多い。また、二値化や色域抽出は、画像のピクセル毎に行われるので、ノイズや照明変動の影響を受けやすく、抽出した検査領域の中にピクセルの抜けがあったり、逆に背景部分から飛び地のようにピクセルが選択されてしまったりして、検査精度を低下させるという問題もある。

【0006】

特許文献１には、検査領域の設定方法として、検査対象部品のＣＡＤデータから検査領域の位置や大きさを設定する方法、部品実装前と後の２枚の画像の差分をとることで検査すべき領域を認識する方法などが開示されている。これらの方法を使えば検査領域を自動
で設定することが可能であるが、これらの方法は適用できる対象が限られてしまい、汎用性に欠ける。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００６−５８２８４号公報

【非特許文献】

【0008】

【非特許文献1】Y. Boykov and M.-P. Jolly: "Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D images”, ICCV2001, 01, p. 105 (2001).

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は上記実情に鑑みてなされたものであり、その目的とするところは、複雑な形状や特殊な形状の対象の場合や、前景と背景の色が紛らわしい場合であっても、簡単かつ高精度に検査領域を設定することを可能にする技術を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明では、検査対象物のサンプル画像に対し、色・輝度の情報とエッジの情報を総合的に評価することにより、検査領域の最適解を探索することで、自動もしくは半自動で検査領域を設定することを要旨とする。

【0011】

具体的には、本発明は、検査対象物を撮影して得られた元画像から検査領域とする部分を検査領域画像として抽出し、前記検査領域画像を解析することにより前記検査対象物の検査を行う画像検査装置に対して、前記検査領域を定義する検査領域定義情報を設定する検査領域設定方法であって、コンピュータが、検査対象物のサンプルを撮影して得られたサンプル画像を取得する取得ステップと、コンピュータが、前記サンプル画像における各ピクセルの色又は輝度の情報、及び、前記サンプル画像に含まれるエッジの情報に基づいて、検査領域の候補解である複数の候補領域について、各候補領域の内側と外側の間での色又は輝度の分離の度合いであるピクセル分離度と、各候補領域の輪郭と前記サンプル画像中のエッジとの重なりの度合いであるエッジ重なり度の両方を評価することにより、前記複数の候補領域の中から検査領域の最適解を求める検査領域探索ステップと、コンピュータが、前記検査領域探索ステップで求められた検査領域の画像内での位置及び形状を定義する検査領域定義情報を前記画像検査装置に対して設定する設定ステップと、を有する。

【0012】

この構成によれば、サンプル画像を用いた最適解探索により検査領域の位置及び形状が決められるため、従来のように単純図形で検査領域を手入力するのに比べ、設定時間及び作業負荷を大幅に軽減できると共に、複雑な形状や特殊な形状に対しても適用が可能である。また、色・輝度の情報に加えてエッジの情報も用い、検査領域の内側と外側の間での色又は輝度のピクセル分離度と検査領域の輪郭のエッジ重なり度の両方を総合的に評価することで、二値化や色域抽出といった従来手法に比べて、領域の抽出精度を向上することができる。

【0013】

コンピュータがユーザからパラメタの入力を受け付けるパラメタ受付ステップ、をさらに有しており、コンピュータが、前記パラメタ受付ステップでユーザからパラメタの入力を受け付ける毎に、入力されたパラメタを拘束条件として用いて前記検査領域探索ステップを実行することにより検査領域の最適解を再計算し、再計算された検査領域を表示装置に表示することが好ましい。

【0014】

この構成によれば、ユーザは表示装置に表示された検査領域を見ることで、所望の領域が検査領域として選ばれているかどうかを容易に確認することができる。そして、検査領域が適当でない場合には、パラメタを適宜調整しながら再計算結果を即座に画面上で確認することができるため、所望の検査領域に追い込んでいくことが容易にできる。

【0015】

前記パラメタ受付ステップでは、パラメタの一つとして、前記ピクセル分離度と前記エッジ重なり度のバランスを調整するためのバランスパラメタをユーザに入力させ、前記検査領域探索ステップでは、ユーザから入力されたバランスパラメタに応じて、前記ピクセル分離度と前記エッジ重なり度を評価する際の重みを調整することが好ましい。

【0016】

このようにバランスパラメタをユーザ調整可能とすることで、前景と背景の自動切り分けが難しい画像であっても、簡単に且つ短時間で所望の検査領域を設定できるようになる。

【0017】

前記検査領域探索ステップでは、前景の代表色又は代表輝度に対する候補領域の内側の各ピクセルの色又は輝度の前景らしさを評価した値、或いは、背景の代表色又は代表輝度に対する候補領域の外側の各ピクセルの色又は輝度の背景らしさを評価した値、或いは、その両方の値を総合した値を前記ピクセル分離度とすることが好ましい。

【0018】

この構成によれば、検査領域内のピクセルの前景らしさが高く、且つ、検査領域外のピクセルの背景らしさが高いほど、ピクセル分離度が高いという評価となる。このように前景や背景の代表となる色・輝度を定め、それらを基準として検査領域の探索を行うことにより、妥当な解に到達する可能性を格段に高めることができる。なお、前景らしさを評価した値を計算する際には、候補領域の内側の全ピクセルを用いてもよいし、一部のピクセルだけを用いてもよい。同様に、背景らしさを評価した値を計算する際には、候補領域の外側の全ピクセルを用いてもよいし、一部のピクセルだけを用いてもよい。

【0019】

前記検査領域探索ステップでは、前景の代表色又は代表輝度と背景の代表色又は代表輝度との差が大きいほど前記ピクセル分離度の重みが大きくなり、前記差が小さいほど前記エッジ重なり度の重みが大きくなるように、前記ピクセル分離度と前記エッジ重なり度を評価する際の重みを調整することが好ましい。

【0020】

この構成は、上述したバランスパラメタをユーザが調整するのではなく、自動で適切な値に調整するというものである。これにより、ユーザの補助が無い状態でも妥当な解に到達できる可能性を高めることができる。

【0021】

前記パラメタ受付ステップにおいて、パラメタの一つとして、前景若しくは背景若しくはその両方の代表色又は代表輝度をユーザに入力させるようにすると、妥当な解に到達する可能性をより一層高めることができる。

【0022】

このとき、前記パラメタ受付ステップでは、前記サンプル画像を表示装置に表示し、前記表示されたサンプル画像上で前景若しくは背景とすべき部分をユーザに指定させ、前記指定された部分の色又は輝度を前記代表色又は代表輝度として取得することが好ましい。この構成によれば、簡単に且つ間違いなく代表色や代表輝度を指定することができる。

【0023】

パラメタとしては、上述したものの他、検査領域の最適解探索に影響を及ぼし得るものであれば、どのようなパラメタを与えても良い。例えば、検査領域の形状、大きさ、画像内での位置、テクスチャ、トポロジ、隣接要素、内包要素などに関する特徴を表す情報をパラメタとして与え、ピクセル分離度とエッジ重なり度に加え、検査領域の特徴とこれら
のパラメタで与えられた特徴との類似度合も高くなるように、検査領域の解探索を行えばよい。このように検査領域の各種特徴を拘束条件とすることで、妥当な解に到達する可能性をより一層高めることができる。

【0024】

パラメタの調整だけでは所望の検査領域に到達できない、又は、パラメタの試行錯誤に時間がかかる場合も想定されるため、前記検査領域探索ステップで求められた検査領域を表示装置に表示し、ユーザから入力される修正指示にしたがって検査領域の形状を修正する検査領域修正ステップを有していることが好ましい。このように検査領域の形状を修正可能とすることで、計算機による自動抽出では難しい部分をユーザの支援で補完することができ、結果として簡単かつ短時間に最適な検査領域を得ることが可能となる。

【0025】

検査領域を修正するための操作系には様々なものが考えられる。例えば、検査領域の輪郭の全部又は一部をベジェ曲線若しくはスプライン曲線のパスで近似し、前記パスをユーザに修正させるようにしてもよい。これにより、検査領域の輪郭を簡単に所望の形状に修正することができる。また、ユーザに自由曲線を描画させ、前記自由曲線が検査領域の輪郭の一部となるように前記自由曲線と検査領域とを合成するような操作系や、ユーザに検査領域の輪郭の一部の区間を指定させ、指定された区間の輪郭を直線又は円弧に置き換えるような操作系や、ユーザにより指定されたピクセルを検査領域に追加し、又は検査領域から除外するような操作系も好ましい。

【0026】

なお、本発明は、上記手段の少なくともいずれかを有する画像検査装置として捉えることもできるし、上記の検査領域設定に関わる手段の少なくともいずれかを有する画像検査装置のための検査領域設定装置として捉えることもできる。また本発明は、上記処理の少なくともいずれかを実行する画像検査方法もしくは検査領域設定方法、または、かかる方法をコンピュータに実行させるためのプログラムやこのプログラムを記録した記憶媒体として捉えることもできる。

【発明の効果】

【0027】

本発明によれば、複雑な形状や特殊な形状の対象の場合や、前景と背景の色が紛らわしい場合であっても、簡単かつ高精度に検査領域を設定することができる。

【図面の簡単な説明】

【0028】

【図1】画像検査装置の構成を模式的に示す図。

【図2】検査処理の流れを示すフローチャート。

【図3】検査処理における検査領域の抽出過程を説明するための図。

【図4】設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャート。

【図5】検査領域設定画面の一例を示す図。

【図6】パラメタ調整により検査領域を追い込んでいく過程の一例を示す図。

【図7】輪郭修正ツールの動作例を説明する図。

【図8】輪郭描画ツールの動作例を説明する図。

【図9】円弧変換ツールの動作例を説明する図。

【図10】直線変換ツールの動作例を説明する図。

【図11】ドローツールの動作例を説明する図。

【発明を実施するための形態】

【0029】

以下に図面を参照して本発明の好適な実施の形態について詳しく説明する。
以下に述べる実施形態は、画像による外観検査を行う画像検査装置に関し、詳しくは、画像検査装置に対して検査領域を設定する作業を支援するための検査領域設定装置に関するものである。この画像検査装置は、ＦＡの生産ラインなどにおいて多数の物品を自動も
しくは半自動で連続的に検査する用途などに好適に利用されるものである。検査対象となる物品の種類は問わないが、本実施形態の画像検査装置では画像センサで撮像された元画像から予め決められた検査領域を抽出して検査を行うため、元画像中の検査領域の位置・形状が固定であることが前提となる。外観検査の目的や検査項目には様々なものが存在するが、本実施形態の検査領域設定装置はいずれの検査に対しても好適に適用することができる。なお本実施形態では、画像検査装置の一機能（設定ツール）という形で検査領域設定装置が実装されているが、画像検査装置と検査領域設定装置とを別々の構成としてもよい。

【0030】

＜第１実施形態＞
（画像検査装置）
図１は、画像検査装置の構成を模式的に示している。この画像検査装置１は、搬送路上を搬送される検査対象物２の外観検査を行うシステムである。

【0031】

図１に示すように、画像検査装置１は、装置本体１０、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４などのハードウエアから構成される。画像センサ１１は、カラー又はモノクロの静止画像あるいは動画像を装置本体１０に取り込むためのデバイスであり、例えばデジタルカメラを好適に用いることができる。ただし、可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたセンサを用いればよい。表示装置１２は、画像センサ１１で取り込まれた画像、検査結果、検査処理や設定処理に関わるＧＵＩ画面を表示するためのデバイスであり、例えば液晶ディスプレイなどを用いることができる。記憶装置１３は、画像検査装置１が検査処理において参照する各種の設定情報（検査領域定義情報、検査ロジックなど）や検査結果などを格納するデバイスであり、例えばＨＤＤ、ＳＳＤ、フラッシュメモリ、ネットワークストレージなどを利用可能である。入力装置１４は、ユーザが装置本体１０に対し指示を入力するために操作するデバイスであり、例えばマウス、キーボード、タッチパネル、専用コンソールなどを利用可能である。

【0032】

装置本体１０は、ハードウエアとして、ＣＰＵ（中央演算処理装置）、主記憶装置（ＲＡＭ）、補助記憶装置（ＲＯＭ、ＨＤＤ、ＳＳＤなど）を備えたコンピュータで構成することができ、その機能として、検査処理部１０１、検査領域抽出部１０２、設定ツール１０３を有している。検査処理部１０１と検査領域抽出部１０２が検査処理に関わる機能であり、設定ツール１０３は検査処理に必要な設定情報のユーザによる設定作業を支援する機能である。これらの機能は、補助記憶装置又は記憶装置１３に格納されたコンピュータ・プログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで実現される。なお、図１は装置構成の一例を示すものにすぎず、画像センサ１１、表示装置１２、記憶装置１３、入力装置１４の全部又は一部を装置本体１０に一体化してもよい。なお装置本体１０は、パーソナルコンピュータやスレート型端末のようなコンピュータで構成してもよいし、或いは、専用チップやオンボードコンピュータなどで構成することもできる。

【0033】

（検査処理）
図２及び図３を参照して、画像検査装置１の検査処理に関わる動作を説明する。図２は、検査処理の流れを示すフローチャートであり、図３は、検査処理における検査領域の抽出過程を説明するための図である。ここでは、説明の便宜のため、携帯電話の筐体部品のパネル面の検査（キズ、色ムラの検出）を例に挙げて検査処理の流れを説明する。

【0034】

ステップＳ２０では、画像センサ１１によって検査対象物２が撮影され、画像データが装置本体１０に取り込まれる。ここで取り込まれた画像（元画像）は必要に応じて表示装置１２に表示される。図３の上段は元画像の一例を示している。元画像の中央に検査対象となる筐体部品２が写っており、その左右には搬送路上の隣にある筐体部品の一部が写り
込んでいる。

【0035】

ステップＳ２１では、検査領域抽出部１０２が、記憶装置１３から必要な設定情報を読み込む。設定情報には、少なくとも検査領域定義情報と検査ロジックとが含まれる。検査領域定義情報とは、元画像から抽出すべき検査領域の位置・形状を定義する情報である。検査領域定義情報の形式は任意であり、例えば検査領域の内側と外側とでラベルを変えたビットマスクや、検査領域の輪郭をベジェ曲線やスプライン曲線で表現したベクタデータなどを用いることができる。検査ロジックとは、検査処理の内容を定義する情報であり、例えば、検査に用いる特徴量の種類、判定方法、特徴量抽出や判定処理で用いるパラメタや閾値などが該当する。

【0036】

ステップＳ２２では、検査領域抽出部１０２が、検査領域定義情報にしたがって、元画像から検査領域とする部分を抽出する。図３の中段は、検査領域定義情報で定義された検査領域（クロスハッチングで示す）３０を元画像に重ねた様子を示している。検査領域３０がちょうど筐体部品２のパネル面の上に重なっていることがわかる。図３の下段は、元画像から検査領域３０の部分の画像（検査領域画像３１）を抽出した様子を示している。検査領域画像３１では、筐体部品２のまわりに写っていた搬送経路や隣の部品が削除されている。また、表面検査の対象部位から除外される、ヒンジ部分２０やボタン部分２１も削除されている。このようにして得られた検査領域画像３１は検査処理部１０１に引き渡される。

【0037】

ステップＳ２３では、検査処理部１０１が、検査ロジックにしたがって、検査領域画像３１から必要な特徴量を抽出する。本例では、表面のキズ・色ムラの検査を行うための特徴量として、検査領域画像３１の各ピクセルの色とその平均値が抽出される。

【0038】

ステップＳ２４では、検査処理部１０１が、検査ロジックにしたがって、キズ・色ムラの有無を判定する。例えば、ステップＳ２３で得られた平均値に対する色差が閾値を超えるピクセル群が検出された場合に、そのピクセル群をキズあるいは色ムラと判定することができる。

【0039】

ステップＳ２５では、検査処理部１０１が検査結果を表示装置１２に表示したり、記憶装置１３に記録する。以上で、１つの検査対象物２に対する検査処理が完了する。生産ラインにおいては、検査対象物２が画像センサ１１の画角内に搬送されるタイミングと同期して、図２のステップＳ２０〜Ｓ２５の処理が繰り返される。

【0040】

外観検査においては、検査の対象とすべきピクセルのみを過不足なく検査領域画像３１として切り出すことが望ましい。検査領域画像３１の中に背景部分や余計な部分（図３の例ではヒンジ部分２０やボタン部分２１）が含まれていたりするとそのピクセルがノイズとなり検査精度を低下させるおそれがあるし、逆に、検査領域画像３１が検査の対象とすべき範囲よりも小さいと、検査の漏れを生じるおそれがあるからである。そこで本実施形態の画像検査装置１では、正確な検査領域画像を切り出すための検査領域定義情報を簡単に作成するための設定ツール１０３を用意している。

【0041】

（検査領域の設定処理）
図４及び図５を参照して、設定ツール１０３の機能及び動作について説明する。図４は、設定ツール１０３を用いて検査領域を設定する処理の流れを示すフローチャートであり、図５は、検査領域設定画面の一例を示す図である。

【0042】

設定ツール１０３を起動すると、表示装置１２に図５の設定画面が表示される。この設定画面には、画像ウィンドウ５０、画像取込ボタン５１、前景指定ボタン５２、背景指定
ボタン５３、優先度調整スライダ５４、確定ボタン５５が設けられている。ボタンの選択やスライダの移動などの操作は入力装置１４を利用して行うことができる。なおこの設定画面はあくまでも一例にすぎず、以下に述べるパラメタ入力や検査領域の確認などを行うことができればどのようなＵＩを用いてもよい。

【0043】

画像取込ボタン５１が押されると、設定ツール１０３は画像センサ１１によって検査対象物のサンプルを撮影する（ステップＳ４０）。サンプルとしては良品の検査対象物（上記の例であれば筐体部品）を用い、実際の検査処理の場合と同じ状態（画像センサ１１とサンプルの相対位置、照明など）で撮影を行うとよい。得られたサンプル画像データは装置本体１０に取り込まれる。なお、事前に撮影されたサンプル画像が装置本体１０の補助記憶装置や記憶装置１３の中に存在する場合には、設定ツール１０３は補助記憶装置又は記憶装置１３からサンプル画像のデータを読み込んでもよい。

【0044】

ステップＳ４０で取得したサンプル画像は、図５に示すように、設定画面の画像ウィンドウ５０に表示される（ステップＳ４１）。

【0045】

ステップＳ４２では、ユーザが前景と背景の代表色（モノクロ画像の場合は代表輝度）を入力する。前景とは、検査領域として抽出すべき部分を指し、背景とは、検査領域以外の部分を指す。前景の代表色を入力する場合、ユーザは、設定画面の前景指定ボタン５２を押して前景指定モードにした後、画像ウィンドウ５０に表示されたサンプル画像上で前景とすべき部分を指定する。ここでの指定は、前景の代表的な色をピックアップすることが目的なので、図５の例であれば、筐体部品のパネル面の一部のピクセル又はピクセル群を適当に選択すればよい。もし前景の中に模様、陰影、色の大きく異なる部分などが含まれている場合には、それらの色をできるだけ網羅するようにピクセル群を選択することが好ましい。背景の代表色を入力する場合は、背景指定ボタン５３を押して背景指定モードに切り替えた後、同様の操作を行う。なお、前景と背景の代表色の入力は必須ではない。前景と背景のいずれか一方のみを入力してもよいし、代表色が既知の場合や、サンプル画像の色分布などから自動で代表色を算出できる場合には、ステップＳ４２を省略してもよい。

【0046】

ステップＳ４３では、設定ツール１０３は、ステップＳ４２で指定された前景・背景の代表色に基づいて、サンプル画像を前景と背景に分離（セグメンテーション）し、その前景部分を検査領域として選ぶ。本実施形態においては、サンプル画像の各ピクセルの色の情報に加えて、サンプル画像に含まれるエッジの情報も用い、検査領域の候補解である複数の候補領域について、前景と背景の間（つまり候補領域の内側と外側の間）での色の分離の度合い（これをピクセル分離度と呼ぶ）と、前景と背景の境界（つまり候補領域の輪郭）とサンプル画像中のエッジとの重なりの度合い（これをエッジ重なり度と呼ぶ）の両方を総合的に評価し、ピクセル分離度とエッジ重なり度の両方を高くするような最適解を探索する。検査領域の詳しい計算方法については後述する。

【0047】

ステップＳ４４では、ステップＳ４３で計算された検査領域を設定画面の画像ウィンドウ５０に表示する。ユーザは設定画面に表示された検査領域を見ることで、所望の領域が検査領域として選ばれているかどうかを確認することができる。このとき、サンプル画像の上に検査領域をオーバーレイ表示すると、検査対象物と検査領域との比較が容易になるので好ましい。

【0048】

その後、設定ツール１０３は、ユーザからの入力を待つ（ステップＳ４５）。確定ボタン５５が押された場合は、設定ツール１０３は、現在の検査領域について検査領域定義情報を生成し記憶装置１３に格納する（ステップＳ４６）。一方、画面表示されている検査領域が適当でない場合は、ユーザは、前景指定ボタン５２、背景指定ボタン５３、優先度
調整スライダ５４を操作してパラメタを調整することができる（ステップＳ４７）。前景または背景の代表色を指定しなおすと、前述したピクセル分離度の評価に影響を与える。また優先度調整スライダ５４で色情報とエッジ情報の間の優先度を変更すると、前述したピクセル分離度とエッジ重なり度を評価する際のバランス（重み）を変えることができる。設定ツール１０３は、ユーザからパラメタの入力（変更）を受け付けると、この新たなパラメタを拘束条件として用いて検査領域の最適解を再計算し、再計算後の検査領域を画面表示する（ステップＳ４７→Ｓ４３、Ｓ４４）。このような機能により、パラメタを適宜調整しながら、所望の結果が得られるまで検査領域の計算を繰り返すことができる。

【0049】

図６は、パラメタ調整により検査領域を追い込んでいく過程の一例を示している。最初の計算で得られた検査領域３０を上段に示す。最初の計算結果では、筐体部品のヒンジ部分２０やボタン部分２１も検査領域３０に含まれているが、ここではパネル面のキズ・色ムラを検査することが目的のためヒンジ部分２０とボタン部分２１は検査領域から除外したい（図３参照）。そこでまず、ユーザは、背景指定ボタン５３を押して背景指定モードに切り替え、サンプル画像中のボタン部分２１の色を背景の代表色に追加指定する。これにより、中段に示す画像例のように、ボタン部分２１が検査領域３０から除かれる。次に、ヒンジ部分２０に関しては、パネル面との色の差が小さいためバランスパラメタの調整で対処する。すなわち、ヒンジ部分２０とパネル面との間の段差に生じたエッジに着目し、優先度調整スライダ５４でエッジ情報の優先度を高くする。これにより、下段に示す画像例のように、ヒンジ部分２０と部品表面とのエッジに検査領域３０の輪郭が設定され、所望の検査領域３０が形成される。

【0050】

（検査領域の計算）
図４のステップＳ４３の検査領域の計算方法について説明する。

【0051】

前述のように、本実施形態の設定ツール１０３では、前景と背景の間でのピクセル分離度と、前景と背景の境界のエッジ重なり度の両方を総合的に評価することにより、検査領域の候補解の中から最適解を求める。この計算は、色情報に基づくピクセル分離度を評価する関数とエッジ情報に基づくエッジ重なり度を評価する関数とを含む目的関数を最小化（もしくは最大化）する最適化問題として捉えることができる。以下、グラフカットアルゴリズムを用いて検査領域の最適化問題を解く手法について説明する。なお、グラフカットアルゴリズムは公知の手法であるため（非特許文献１参照）、本明細書ではグラフカットアルゴリズムの基本概念の説明は割愛し、以下では本実施形態に特有の部分を中心に説明を行う。

【0052】

グラフカットアルゴリズムでは、目的関数として下記式のようにエネルギー関数を定義し、Ｉが与えられたときにエネルギーＥを最小化する解Ｌを求める。本例では、Ｉがサンプル画像であり、Ｌが前景か背景かを示すラベル（すなわち検査領域）である。

【数1】

ここで、ｉ，ｊはピクセルのインデックスであり、Ωは画像Ｉ中のピクセル群であり、Ｎは画像Ｉにおける隣接ピクセルペア群である。またｌｉ，ｌｊはそれぞれピクセルｉ，ｊの指定ラベルである。前景の場合は「１」、背景の場合は「０」というラベルが与えられるものとする。右辺第１項はデータ項と呼ばれ、対象ピクセルｉに関する拘束条件を与える。右辺第２項は平滑化項と呼ばれ、互いに隣接するピクセルｉ，ｊに関する拘束条件を与える。λは、データ項と平滑化項の重み（バランス）を決定するバランスパラメタで
ある。

【0053】

データ項は、前述した色情報に基づくピクセル分離度を評価する関数で定義される。例えば、下記式によりデータ項の評価関数Ｕを定義するとよい。

【数2】

【0054】

ここで、−ｌｏｇｐ（Ｉ｜ｌｉ＝１）は、前景代表色に対する前景ピクセル（前景ラベル「１」が付されたピクセル）の前景らしさを表す関数（対数尤度）であり、前景尤度と呼ぶ。前景尤度における確率密度関数は前景代表色から推定したもの（例えば前景代表色の色分布をガウス混合モデルで近似したもの）を用いる。一方、−ｌｏｇｐ（Ｉ｜ｌｉ＝０）は、背景代表色に対する背景ピクセル（背景ラベル「０」が付されたピクセル）の背景らしさを表す関数（対数尤度）であり、背景尤度と呼ぶ。背景尤度における確率密度関数は背景代表色から推定したもの（例えば背景代表色の色分布をガウス混合モデルで近似したもの）を用いる。すなわち、データ項は各前景ピクセルの前景尤度と各背景ピクセルの背景尤度の総和を表しており、前景ピクセルの色が前景代表色に近いほど、また背景ピクセルの色が背景代表色に近いほど、エネルギーが小さくなり、逆に前景ピクセルの色が前景代表色から離れるほど、また背景ピクセルの色が背景代表色から離れるほど、エネルギーが大きくなる。

【0055】

平滑化項は、前述したエッジ情報に基づくエッジ重なり度を評価する関数で定義される。例えば、下記式により平滑化項の評価関数Ｖを定義することができる。

【数3】

ここで、Ｉｉ，Ｉｊはそれぞれピクセルｉ，ｊのピクセル値（色又は輝度）であり、βは係数である。‖Ｉｉ−Ｉｊ‖^２は、所定の色空間上でのピクセル値の差分（距離）、すなわちピクセル間のコントラストの高さを表している。

【0056】

上記式によれば、隣接するピクセルｉ，ｊのラベルが異なっている場合に、ピクセルｉ，ｊのコントラストが低いとエネルギーが大きくなり、コントラストが高いとエネルギーが小さくなる。隣接するピクセルのコントラストが高い部分は、画像中の色又は輝度が大きく変化している部分、つまり画像におけるエッジ部分である。すなわち、上記式は、前景と背景の境界（ラベルが異なっているピクセルペア）が画像中のエッジに重なっているほど、エネルギーが小さくなる。

【0057】

以上述べたエネルギー関数は、一定の数学的条件（submodularity）が満たされている
場合には、大局的最小解が存在する。また、同様にsubmodularityを満たす項を付け加え
て拘束条件付きで大局的最小解を求めることもできる。なお大局的最小解の効率的な解法については、公知の探索アルゴリズムを利用すればよいので、ここでは詳しい説明は省略する。

【0058】

前述した設定画面で調整可能なパラメタのうち「前景代表色」と「背景代表色」はデータ項の値に影響を及ぼすものである。また、「色情報とエッジ情報の優先度」は、バランスパラメタλに対応する。つまり、ユーザが色情報の優先度を大きくすると、パラメタλの値を小さくしてデータ項の重みを大きくし、ユーザがエッジ情報の優先度を大きくする
と、パラメタλの値を大きくして平滑化項の重みを大きくするのである。なお、パラメタλの値については、計算機（設定ツール１０３）によって自動的に決定することもできる。例えば、設定ツール１０３が前景代表色と背景代表色との差を計算し、その差が大きいときにはパラメタλの値を小さくし、データ項の重みを大きくする。前景と背景の色の差が明確である場合は、データ項の信頼性が高いと推定できるからである。逆に、前景代表色と背景代表色の差が小さいときにはパラメタλの値を大きくし、平滑化項の重みを大きくする。前景と背景の色の差が明確でない場合は、色情報よりもエッジ情報に基づく領域分割のほうがよい結果が得られる傾向にあるからである。このようにバランスパラメタλを自動調整することで、ユーザの補助が無い状態でも妥当な解に到達できる可能性を高めることができる。好ましくは、バランスパラメタλの初期値を上記方法により自動で決定し、それを出発点としてユーザにバランスパラメタλ（色情報とエッジ情報の優先度）を調整させると良い。初期値の妥当性が高いほど、ユーザの試行錯誤の回数を減らすことができ、パラメタ調整にかかる作業負荷を軽減できると期待できるからである。

【0059】

なお、上述した式（２）では、前景ピクセルの前景らしさ（前景尤度）と背景ピクセルの背景らしさ（背景尤度）の総和をデータ項として用いたが、ピクセル分離度の評価関数はこれに限らない。例えば、前景らしさと背景らしさの積、重み付き和、重み付き積、非線形関数和、非線形関数積などを用いてもよい。なお非線形関数としては単調増加関数を用いるとよい。また、前景らしさと背景らしさの両方を評価するのではなく、前景らしさのみ、或いは、背景らしさのみを評価したものをピクセル分離度として用いることもできる。具体的には、式（２）において、ｌｉ＝０の場合（もしくはｌｉ＝１の場合）にＵ（ｌｉ｜Ｉ）＝０となるような関数を用いることができる。下記式（４）は、前景らしさのみを評価する関数である。

【数4】

【0060】

また、前景らしさの計算には、全ての前景ピクセル（つまり候補領域の内側の全てのピクセル）を用いてもよいし、一部の前景ピクセルだけを用いてもよい。同様に、背景らしさの計算についても、全ての背景ピクセル（つまり候補領域の外側の全てのピクセル）を用いてもよいし、一部の背景ピクセルだけを用いてもよい。例えば、ラベルが確定しているピクセルを計算から除外したり、候補領域の輪郭から所定距離内のピクセルだけを計算に用いたりすることにより、計算時間の短縮を図ることができる。

【0061】

また、前景らしさもしくは背景らしさを評価する関数は式（２）のものに限られない。例えば、下記式のように前景尤度と背景尤度の比である尤度比を用いることができる。

【数5】

【0062】

ユーザにより前景代表色として指定されたピクセル群のヒストグラムを直接用い（確率密度関数を推定することなく）、その前景代表色ヒストグラムに対する各ピクセルの色の類似度に基づき前景らしさを評価したり、逆に前景代表色ヒストグラムに対する各ピクセルの色の相違度に基づき背景らしさを評価したりしてもよい。同様に、ユーザにより背景代表色として指定されたピクセル群のヒストグラム（背景代表色ヒストグラム）に対する類似度に基づき背景らしさを評価したり、背景代表色ヒストグラムに対する相違度に基づき前景らしさを評価したりしてもよい。或いは、候補領域の前景ピクセル群から求めた前
景ヒストグラムや背景ピクセル群から求めた背景ヒストグラムと、上記前景代表色ヒストグラムや背景代表色ヒストグラムとの間の類似度もしくは相違度を、所定の関数や距離指標を用いて計算してもよい。或いは、ピクセル群の色や輝度の情報からヒストグラムを近似したものを計算し、そのヒストグラムを近似したものを用いて類似度や相違度を計算してもよい。

【0063】

（追加的なパラメタ）
上記例では、前景代表色、背景代表色、色情報とエッジ情報の優先度の３つのパラメタについて説明したが、これらの他にも、検査領域の最適解探索に影響を及ぼし得るものであれば、どのようなパラメタを用いて良い。例えば、外観検査の対象物としては工業製品が主であるため、検査領域となる部分の形状、テクスチャ、トポロジ、検査領域に隣接する要素、検査領域に内包される要素などに特徴があるケースが多い。また画像センサの設置に際し検査対象物がちょうど良く画角に収まるように設定されるため、検査領域となる部分の大きさや画像内での位置はある程度予測できる。それゆえ、このような検査領域の特徴を表す情報をパラメタとしてユーザに入力させ、そのパラメタで与えられた特徴と検査領域の特徴との類似度合を評価する拘束条件を目的関数の中に追加することで、妥当な検査領域が探索される可能性をより一層高めることができる。

【0064】

検査領域の形状に関する特徴を表す形状情報としては、検査領域の基本形状（円形、四角形、三角形、星形・・・）や、輪郭の特徴（直線的な外形、丸みのある外形、ギザギザが多い・・・）などを用いることができる。形状情報を入力するＵＩとしては、基本形状のテンプレートや輪郭の特徴をリスト表示し、その中から該当するものをユーザに選択させるとよい。基本形状のテンプレートが指定された場合には、例えば、拘束条件として下記式を挿入すればよい。

【数6】

ここで、ｌｉはピクセルｉの指定ラベルであり、ｔｉはテンプレート上のピクセルｉに対応する点のラベルである。Ｔ（）はアフィン変換を表す。上記式は、指定されたテンプレートを拡大／縮小、回転、変形等しつつ候補領域に対してテンプレートマッチングを行い、最小スコアを計算する、という操作を表している。すなわち、この拘束条件を加えることにより、ユーザ指定の基本形状に近い形状をもつ領域の方がエネルギーが小さくなり、最適解として優先的に選ばれるようになる。

【0065】

また、輪郭の特徴としてギザギザ度合いもしくは滑らか度合いが指定された場合には、例えば、拘束条件として下記式を挿入すればよい。

【数7】

ここで、Ｓは前景領域の輪郭上の点、θは輪郭の勾配角度であり、∂θ／∂Ｓは前景領域の輪郭に沿った勾配角度の変化量を表している。また、Ｃはユーザにより指定されたギザギザ度合い（滑らか度合い）を示す定数であり、ギザギザであるほどＣは大きく、滑らかであるほどＣは小さい値となる。上記式は、前景領域の輪郭の勾配角度の変化量の合計値（輪郭のギザギザ度合いを表す）が値Ｃ（指定されたギザギザ度合いを表す）に近いかどうか、を評価する関数である。すなわち、この拘束条件を加えることにより、ユーザ指
定のギザギザ度合いに近い輪郭特徴をもつ領域の方が最適解として優先的に選ばれるようになる。

【0066】

検査領域の大きさに関する特徴を表す大きさ情報としては、検査領域の面積、縦横の長さなどを用いることができる。大きさ情報として面積が入力された場合には、例えば、拘束条件として下記式を挿入すればよい。

【数8】

ここで、Ｃはユーザにより指定された前景領域の面積（ピクセル数）である。前景ラベルは１、背景ラベルは０ゆえ、Σｌｉは前景ピクセルの総数、つまり前景領域の面積を表している。したがって、上記式は、前景領域の面積が指定された面積Ｃに近いかどうか、を評価する関数である。この拘束条件を加えることにより、ユーザ指定の面積に近い大きさの領域の方が最適解として優先的に選ばれるようになる。

【0067】

検査領域の画像内での位置に関する特徴を表す位置情報としては、検査領域の重心座標、検査領域の存在範囲（上、下、右、左、中央・・・）などを用いることができる。位置情報として重心座標が入力された場合には、例えば、拘束条件として下記式を挿入すればよい。

【数9】

ここで、ｗは前景領域の重心座標であり、Ｃはユーザにより指定された重心座標である。上記式は、前景領域の重心座標が指定された座標Ｃに近いかどうか、を評価する関数である。この拘束条件を加えることにより、ユーザ指定の座標に近い位置に重心をもつ領域の方が最適解として優先的に選ばれるようになる。

【0068】

検査領域のテクスチャに関する特徴を表すテクスチャ情報としては、検査領域内の模様、色の濃淡、凹凸、素材などを表す情報を用いることができる。例えば、各種のテクスチャテンプレートをリスト表示し、その中から該当するものをユーザに選択させるとよい。テクスチャテンプレートが入力された場合には、例えば、拘束条件として下記式を挿入すればよい。

【数10】

ここで、Ｉはサンプル画像であり、Ｅはユーザにより指定されたテクスチャテンプレートである。ｈ_ｌ＝１（）は前景ピクセルの色ヒストグラムを表しており、ｆ（）はヒストグラムの類似度を示す関数である。つまり、上記式は、サンプル画像中の前景領域の色ヒストグラムが、指定されたテクスチャの色ヒストグラムに類似するかどうか、を評価する関数である。この拘束条件を加えることにより、ユーザ指定のテクスチャに類似したテクスチャをもつ領域の方が最適解として優先的に選ばれるようになる。

【0069】

（本実施形態の利点）
以上述べた本実施形態の設定ツール１０３によれば、サンプル画像を用いた最適解探索
により検査領域の位置及び形状が決められるため、従来のように単純図形で検査領域を手入力するのに比べ、設定時間及び作業負荷を大幅に軽減できると共に、複雑な形状や特殊な形状に対しても適用が可能である。また、色・輝度の情報に加えてエッジの情報も用い、検査領域の内側と外側の間での色又は輝度のピクセル分離度と検査領域の輪郭とエッジとのエッジ重なり度の両方を総合的に評価することで、二値化や色域抽出といった従来手法に比べて、領域の抽出精度を向上することができる。

【0070】

また、本実施形態の設定ツール１０３は、設定画面において、色情報とエッジ情報の優先度のいずれを優先させるかをユーザに任意に選ばせることができる。例えば、前景や背景の中に模様が含まれているなど疑似輪郭が多い画像の場合はエッジの情報よりも色・輝度の情報を優先したほうが良い結果が得られる可能性が高く、前景と背景の色が似ている画像の場合はエッジの情報を優先したほうが良い結果が得られる可能性が高い。このような前景と背景の切り分けが困難な画像に対して、完全自動で正解にたどり着くことは非常に困難である。その一方で、いずれを優先させるべきかはヒトであれば画像を見て容易に判断できるし、試行錯誤によりパラメタを追い込むことも容易である。したがって、上記構成のようにバランスパラメタを調整可能としたことにより、簡単に且つ短時間で所望の検査領域を設定できるようになる。

【0071】

＜第２実施形態＞
次に本発明の第２実施形態について説明する。第１実施形態の設定ツールにおいては、前景・背景の代表色や色とエッジの優先度などのパラメタを調整することで、検査領域の追い込みを可能にしている。しかしながら、このようなパラメタの調整だけではユーザが意図する検査領域の形状に到達できない（多少の誤差が残る）可能性や、パラメタの試行錯誤に時間がかかる場合も想定される。そこで第２実施形態の設定ツールでは、計算により検査領域を求めた後に、その形状をユーザがインタラクティブに手直しできる検査領域修正機能を設けることとする。

【0072】

以下、本実施形態の設定ツールが提供する検査領域修正機能の一例として、（１）輪郭修正ツール、（２）輪郭描画ツール、（３）円弧変換ツール、（４）直線変換ツール、（５）ドローツールについて説明を行う。これらのツールは、例えば図５の設定画面から起動できるようにするとよい。なお画像検査装置の構成、検査処理の動作、検査領域の自動計算（最適化）の動作などは第１実施形態のものと同様のため、説明は省略する。

【0073】

（１）輪郭修正ツール
図７は、輪郭修正ツールの動作例を説明する図である。（ａ）は検査対象物（サンプル）７０の画像、（ｂ）は検査領域７１の自動計算結果を示している。検査対象物７０の輪郭と検査領域７１の輪郭に図で示すようなずれが生じているものと仮定する。

【0074】

ユーザが輪郭修正ツールを起動すると、輪郭修正ツールはまず検査領域７１の輪郭をベジェ曲線もしくはスプライン曲線のパス７２で近似し、（ｃ）に示すように、パス７２をコントロールポイント７３とともに画面表示する。このとき、検査対象物７０の画像の上にパス７２及びコントロールポイント７３がオーバーレイ表示される。ユーザは入力装置１４を利用して、コントロールポイント７３の修正、追加、削除を行うことで、パス７２の形状を自由に修正することができる。ユーザにより修正された結果は即座に画面表示に反映される。したがって、ユーザは、画面で確認をしながら、パス７２の形状を検査領域７１の輪郭に容易に合わせこむことができる。（ｄ）は修正後のパス７２を示している。

【0075】

上記操作によりパス７２の修正が完了した後、パスの確定をユーザが指示すると、輪郭修正ツールがパス７２で囲まれた領域を検査領域７１へ変換する。これにより、ユーザの意図した形状の検査領域７１が得られる。

【0076】

（２）輪郭描画ツール
図８は、輪郭描画ツールの動作例を説明する図である。（ａ）は検査対象物７０の画像と自動計算された検査領域７１の一部を拡大して示している。検査対象物７０の輪郭と検査領域７１の輪郭に図に示すようなずれが生じているものと仮定する。

【0077】

ユーザが輪郭描画ツールを起動すると、輪郭描画モードに切り替わり、入力装置１４を用いて画像上に自由曲線７４を描画できるようになる。例えば、入力装置１４としてマウスを用いる場合には、マウスのボタン押下からリリースまでの間にマウスカーソルの移動した軌跡が自由曲線７４として描画される。自由曲線７４の描画に失敗した場合には、一旦輪郭描画モードから抜け、最初から操作をやり直せばよい。

【0078】

上記操作により自由曲線７４の描画が完了した後、輪郭の確定をユーザが指示すると、輪郭描画ツールは、自由曲線７４が検査領域７１の輪郭の一部となるように自由曲線７４と検査領域７１とを合成する。（ｃ）は合成後の検査領域７１を示している。自由曲線７４と検査領域７１との合成手法は任意である。例えば、自由曲線７４と検査領域７１の輪郭との接続部分や、自由曲線７４の形状を滑らかにするスムージング加工を施してもよい。また自由曲線７４の端点が検査領域７１の輪郭から離れている場合には、自由曲線７４と検査領域７１の輪郭とを最近接点で接合してもよいし、自由曲線７４と検査領域７１の輪郭とを滑らかに接続するよう補間を行ってもよい。以上の操作により、ユーザの意図した形状の検査領域７１が得られる。

【0079】

（３）円弧変換ツール
図９は、円弧変換ツールの動作例を説明する図である。（ａ）は検査対象物７０の画像と自動計算された検査領域７１の一部を拡大して示している。検査対象物７０の輪郭と検査領域７１の輪郭に図に示すようなずれが生じているものと仮定する。

【0080】

ユーザが円弧変換ツールを起動すると、円弧入力モードに切り替わり、入力装置１４を用いて画像上に円弧を入力できるようになる。例えば、入力装置１４としてマウスを用いる場合には、（ｂ）に示すように、マウスカーソルを移動させて、検査領域７１の輪郭上の２点（１，２）と円弧の通過点（３）の３箇所でマウスをクリックする。そうすると、点１，２を円弧の始点，終点とし、点３を通る円弧が計算され、画像上にオーバーレイ表示される。円弧の形状が意図したものと異なる場合は、各点の位置を修正するか、一旦円弧入力モードから抜け、最初から操作をやり直せばよい。なお本実施形態では円弧の始点・終点・通過点の３点により円弧を指定するようにしたが、もちろん他の指定方法により円弧の入力を行えるようにしてもよい。

【0081】

上記操作により円弧の指定が完了した後、円弧の確定をユーザが指示すると、円弧変換ツールは、検査領域７１の輪郭のうち始点（１）と終点（２）の間の区間の輪郭を上記円弧に置き換える。このとき始点（１）もしくは終点（２）が検査領域７１の輪郭から離れている場合には、円弧と検査領域７１の輪郭とを最近接点で接合してもよいし、円弧と検査領域７１の輪郭とを滑らかに接続するよう補間を行ってもよい。以上の操作により、検査領域７１の一部の区間の輪郭を簡単に円弧に整形することができる。

【0082】

（４）直線変換ツール
図１０は、直線変換ツールの動作例を説明する図である。（ａ）は検査対象物７０の画像と自動計算された検査領域７１の一部を拡大して示している。検査対象物７０の輪郭と検査領域７１の輪郭に図に示すようなずれが生じているものと仮定する。

【0083】

ユーザが直線変換ツールを起動すると、直線入力モードに切り替わり、入力装置１４を
用いて画像上に直線分を入力できるようになる。例えば、入力装置１４としてマウスを用いる場合には、（ｂ）に示すように、マウスカーソルを移動させて、検査領域７１の輪郭上の２点（１，２）でマウスをクリックする。そうすると、点１，２を始点，終点とする線分が計算され、画像上にオーバーレイ表示される。線分の形状が意図したものと異なる場合は、各点の位置を修正するか、一旦直線入力モードから抜け、最初から操作をやり直せばよい。なお本実施形態では始点・終点の２点により直線を指定するようにしたが、もちろん他の指定方法により直線の入力を行えるようにしてもよい。

【0084】

上記操作により直線の指定が完了した後、直線の確定をユーザが指示すると、直線変換ツールは、検査領域７１の輪郭のうち始点（１）と終点（２）の間の区間の輪郭を上記線分に置き換える。このとき始点（１）もしくは終点（２）が検査領域７１の輪郭から離れている場合には、線分と検査領域７１の輪郭とを最近接点で接合してもよいし、線分と検査領域７１の輪郭とを滑らかに接続するよう補間を行ってもよい。以上の操作により、検査領域７１の一部の区間の輪郭を簡単に直線に整形することができる。

【0085】

（５）ドローツール
図１１は、ドローツールの動作例を説明する図である。（ａ）は検査対象物７０の画像と自動計算された検査領域７１の一部を拡大して示している。ドローツールではピクセル単位で検査領域７１を修正するので、図１１では説明の便宜のためにピクセルのグリッドを示している。検査対象物７０の輪郭と検査領域７１の輪郭には図に示すようなずれが生じており、図の上方では検査領域７１が小さすぎ、図の右方では検査領域７１が大きすぎると仮定する。

【0086】

ユーザがドローツールを起動すると、ドローモードに切り替わり、入力装置１４を用いて画像上で検査領域７１に追加するピクセルを指定したり、検査領域７１から削除するピクセルを指定したりできるようになる。（ｂ）は検査領域にピクセルを追加する様子を示している。例えば、入力装置１４としてマウスを用いる場合には、追加するピクセルを順に選択したり、所定のボタンを押したままマウスカーソルを移動させたりすることで、検査領域７１に追加する領域（ピクセル群）７５を指定可能である。一方、（ｃ）は検査領域からピクセルを削除する様子を示している。検査領域７１から削除する領域（ピクセル群）７６の指定も、追加の場合と同じように行うことができる。以上の操作により、ユーザの意図する形状の検査領域７１が得られる。

【0087】

以上述べた本実施形態の構成によれば、検査領域の形状を手直しするための機能を設けたことにより、計算機による自動抽出では難しい部分をユーザの支援で補完することができ、結果として簡単かつ短時間に最適な（つまりユーザが望む形状の）検査領域を得ることが可能となる。なお、本実施形態では、（１）から（５）の５つの修正機能について説明したが、設定ツールはこの全ての修正機能を具備する必要はない。少なくともいずれかの修正機能を設けるだけでもよいし、逆に設定ツールが他の修正機能を具備することも好ましい。さらに、修正作業をする際に、図７〜図１１で示した作業画面をユーザが拡大／縮小できるようにし、効率的に作業を進めたり、精密な入力をやりやすくしたりすることも好ましい。

【0088】

上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。例えば、上記実施形態ではサンプル画像としてカラー画像を想定しているため、画像の色情報を利用したが、モノクロ画像を用いる場合には、色情報の代わりに輝度情報を用いればよい。また、上記実施形態では最適化にグラフカットアルゴリズムを利用したが、レベルセットアルゴリズムなどの他の方法を利用することもできる。他の方法の場合にも、色情報（輝度情報）とエッジ情報を利用することにより検査領域の高精度な算出が可能となる。またこの場合も、色情報（輝度情報）とエッジ
情報の優先度をユーザにより変更できるようにすることが好ましい。

【符号の説明】

【0089】

１：画像検査装置
２：検査対象物（筐体部品）
１０：装置本体、１１：画像センサ、１２：表示装置、１３：記憶装置、１４：入力装置、１０１：検査処理部、１０２：検査領域抽出部、１０３：設定ツール
２０：ヒンジ部分、２１：ボタン部分
３０：検査領域、３１：検査領域画像
５０：画像ウィンドウ、５１：画像取込ボタン、５２：前景指定ボタン、５３：背景指定ボタン、５４：優先度調整スライダ、５５：確定ボタン
７０：検査対象物、７１：検査領域、７２：パス、７３：コントロールポイント、７４：自由曲線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】