特開 2024-175521 検査装置、検査方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175521

(43)【公開日】2024-12-18

(54)【発明の名称】検査装置、検査方法およびプログラム

(51)【国際特許分類】

   G01N 21/90 20060101AFI20241211BHJP

   G01N 21/88 20060101ALI20241211BHJP

【ＦＩ】

G01N21/90 Z

G01N21/88 H

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023093362

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小松 幸広

(72)【発明者】

【氏名】松田 健利

(72)【発明者】

【氏名】高山 正広

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA11

2G051AB01

2G051BA02

2G051BA20

2G051CA04

2G051CA06

2G051CC07

(57)【要約】

【課題】容器内におけるワークの有無を正確に検出する。
【解決手段】検査装置は、容器内を照明するための照明装置と、透過軸方向の異なる偏光フィルタが規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備え、処理装置は、照明装置により容器内を照明した状態で偏光カメラによって撮像された元画像を取得する画像取得部と、元画像から水滴の偏光成分を除去することで検査画像を生成する画像生成部と、検査画像に基づいて、容器内におけるワークの有無を検出する検出部と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

容器内を照明するための照明装置と、
透過軸方向の異なる偏光フィルタが規則的に配列された撮像素子を有する偏光カメラと、
処理装置と、を備え、
前記処理装置は、
前記照明装置により前記容器内を照明した状態で、前記偏光カメラによって前記容器内を撮像した元画像を取得する画像取得部と、
前記元画像から水滴の偏光成分を除去することで検査画像を生成する画像生成部と、
前記検査画像に基づいて、前記容器内におけるワークの有無を検出する検出部と、
を有する検査装置。

【請求項2】

前記検出部は、前記検査画像に基づいて、前記容器内における前記ワークの個数を算出する、
請求項１に記載の検査装置。

【請求項3】

前記偏光カメラでは、隣り合う画素が前記透過軸方向の異なる前記偏光フィルタを透過した光の輝度値を取得する、
請求項１に記載の検査装置。

【請求項4】

前記画像生成部は、前記元画像から明度画像および偏光強度画像を作成し、前記明度画像および前記偏光強度画像に基づいて前記元画像から前記水滴の前記偏光成分を除去することで前記検査画像を生成する、
請求項１に記載の検査装置。

【請求項5】

前記元画像および前記検査画像の少なくとも一方を表示する表示部を備える、
請求項１に記載の検査装置。

【請求項6】

前記表示部は、前記元画像および前記検査画像の少なくとも一方における前記ワークを強調して前記元画像および前記検査画像の少なくとも一方を表示する、
請求項５に記載の検査装置。

【請求項7】

前記表示部は、前記元画像および前記検査画像を同時に又は切り替えて表示する、
請求項５に記載の検査装置。

【請求項8】

前記照明装置は、前記容器を囲むように配置されている、
請求項１に記載の検査装置。

【請求項9】

前記照明装置は、前記容器内に斜め方向から光を照射する、
請求項１に記載の検査装置。

【請求項10】

照明装置と、透過軸方向の異なる偏光フィルタが規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える検査装置の検査方法であって、
前記照明装置により容器内を照明するステップと、
前記容器内を照明した状態で前記偏光カメラにより前記容器内を撮像するステップと、
前記偏光カメラによって撮像された元画像を前記処理装置によって取得するステップと、
前記処理装置によって、前記元画像から水滴の偏光成分を除去することで検査画像を生成するステップと、
前記処理装置によって、前記検査画像に基づいて、前記容器内におけるワークの有無を検出するステップと、
を含む検査方法。

【請求項11】

請求項１０に記載の検査方法の各ステップをプロセッサに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置および検査方法に関する。

【背景技術】

【0002】

複数のワークを洗浄する場合、ワーク寸法よりも小さい孔を有する容器に複数のワークを入れて、水などの液体で複数のワークを洗浄することが行われている。ワークの研磨と洗浄とを行うバレル研磨装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１４８０２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数のワークを洗浄した後、容器から複数のワークを取り出した際、容器内にワークが残ってしまうと、次の洗浄対象のワークを容器内に入れた場合に、容器内に洗浄後のワークと洗浄前のワークとが混在する。例えば、洗浄後のワークの種類と洗浄前のワークの種類とが異なる場合、洗浄前の複数のワークには異なる種類のワークが含まれてしまう。カメラを用いて洗浄後の容器内を撮像した画像からワークを検出することで、容器内にワークが残っているか否かを検出することが行われている。しかし、洗浄後の容器内に水滴が残っている場合、水滴とワークとの判別が正確にできずに、画像からワークを正確に検出できない場合がある。

【0005】

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、容器内におけるワークの有無を正確に検出する技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明は、容器内を照明するための照明装置と、透過軸方向の異なる偏光フィルタが規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備え、前記処理装置は、前記照明装置により前記容器内を照明した状態で前記偏光カメラによって撮像された元画像を取得する画像取得部と、前記元画像から水滴の偏光成分を除去することで検査画像を生成する画像生成部と、前記検査画像に基づいて、前記容器内におけるワークの有無を検出する検出部と、を有する検査装置を提供する。

【0007】

上記構成によれば、照明装置により容器内を照明した状態で偏光カメラによって撮像された元画像から水滴の偏光成分を除去することで検査画像を生成する。検査画像は、元画像から水滴の偏光成分を除去することで生成されているので、検査画像に基づいて、容器内におけるワークの有無を正確に検出することが可能である。例えば、容器を用いて複数のワークを洗浄し、容器内から複数のワークを取り出した場合において、容器内におけるワークの有無を検出する。容器内にワークが残っている場合、容器内に残っているワークを取り出す。これにより、次の洗浄対象のワークを容器内に入れた場合に、容器内に洗浄後のワークと洗浄前のワークとが混在することが回避される。

【0008】

前記検出部は、前記検査画像に基づいて、前記容器内における前記ワークの個数を算出してもよい。この構成によれば、容器内にワークが残っている場合において、容器内におけるワークの個数を把握することが可能である。

【0009】

前記偏光カメラでは、隣り合う画素が前記透過軸方向の異なる前記偏光フィルタを透過した光の輝度値を取得してもよい。この構成によれば、偏光カメラにおける隣り合う画素は、透過軸方向の異なる偏光フィルタを透過した光の輝度値を取得する。

【0010】

前記画像生成部は、前記元画像から明度画像および偏光強度画像を作成し、前記明度画像および前記偏光強度画像に基づいて前記元画像から前記水滴の前記偏光成分を除去することで前記検査画像を生成してもよい。この構成によれば、元画像から作成された明度画像および偏光強度画像に基づいて検査画像を生成することが可能である。

【0011】

上記検査装置は、前記元画像および前記検査画像の少なくとも一方を表示する表示部を備えてもよい。この構成によれば、ユーザは、元画像および検査画像の少なくとも一方を視認することが可能である。容器内にワークが残っている場合、ユーザは、検査画像を視認することで、容器内にワークが残っていることを認識すると共に、容器内におけるワークの位置を正確に確認することができる。

【0012】

前記表示部は、前記元画像および前記検査画像の少なくとも一方における前記ワークを強調して前記元画像および前記検査画像の少なくとも一方を表示してもよい。この構成によれば、ユーザは、強調表示されたワークを視認することで、容器内にワークが残っていることを認識すると共に、容器内におけるワークの位置をより正確に確認することができる。

【0013】

前記表示部は、前記元画像および前記検査画像を同時に又は切り替えて表示してもよい。この構成によれば、ユーザは、元画像および検査画像を同時に又は切り替えて視認することが可能である。

【0014】

前記照明装置は、前記容器を囲むように配置されてもよい。この構成によれば、容器を全方位から同時に照明することが可能である。

【0015】

前記照明装置は、前記容器内に斜め方向から光を照射してもよい。この構成によれば、容器内に照射される光の入射角をブリュースター角に近づけることが可能である。

【0016】

本発明は、照明装置と、透過軸方向の異なる偏光フィルタが規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える検査装置の検査方法であって、前記照明装置により容器内を照明するステップと、前記容器内を照明した状態で前記偏光カメラにより前記容器内を撮像するステップと、前記偏光カメラによって撮像された元画像を前記処理装置によって取得するステップと、前記処理装置によって、前記元画像から水滴の偏光成分を除去することで検査画像を生成するステップと、前記処理装置によって、前記検査画像に基づいて、前記容器内におけるワークの有無を検出するステップと、を含む検査方法を提供してもよい。

【0017】

本発明は、上記検査方法の各ステップをプロセッサに実行させるためのプログラムを提供してもよい。

【0018】

本発明は、上記処理の少なくとも一部を有する検査システムとして捉えてもよいし、処理システム、制御装置、制御システム、画像処理装置、あるいは画像処理システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む検査装置の制御方法、画像処理方法、検出方法、あるいは検査方法として捉えてもよいし、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0019】

本発明によれば、容器内におけるワークの有無を正確に検出することができる。

【図面の簡単な説明】

【0020】

【図1】図１は、本発明の実施形態に係る検査装置の全体構成を模式的に示す図である。

【図2】図２は、容器の一例を示す模式図である。

【図3】図３は、偏光カメラの構造を模式的に示す図である。

【図4】図４Ａは、照明装置の構造を模式的に示す図であり、図４Ｂは照明装置の他の構成例を示す図である。

【図5】図５は、処理装置の論理構成（機能構成）を示すブロック図である。

【図6】図６Ａおよび図６Ｂは、鏡面反射を説明する図である。

【図7】図７は、偏光カメラの画像から偏光成分を抽出する方法を説明する図である。

【図8】図８は、検査装置の動作の一例を示すフローチャートである。

【図9】図９は、偏光情報算出処理のフローチャートである。

【図10】図１０は、近傍画素の例を示す図である。

【図11】図１１は、ユーザインターフェイス画面の一例を示す図である。

【図12】図１２Ａ～図１２Ｃは、拡大画像表示エリアに表示される画像の一例を示す図である。

【発明を実施するための形態】

【0021】

（システム構成）
図１は、本発明の実施形態に係る検査装置（検査システム）の全体構成を模式的に示す図である。この検査装置１は、偏光カメラ１０を利用してワークを画像化するための装置であり、例えば、工場の製造ラインにおいてワークの検出を行うために利用される。ワークは、例えば、最終製品、中間製品、半製品、部品、材料等である。ワークは、電子部品であってもよい。

【0022】

検査装置１は、主な構成として、偏光カメラ１０、照明装置１１、処理装置１２、容器１３を有する。偏光カメラ１０は、偏光子が配列された撮像素子を有する撮像手段である。照明装置１１は、容器１３内に照明光Ｌを照射するための光源である。処理装置１２は、検査装置１の全体の制御、および、偏光カメラ１０で撮像された画像を用いた情報処理を実行する装置である。容器１３は、洗浄後のワークを載置又は保持するための装置である。容器１３を用いて、ワークを洗浄してもよい。容器１３の色は、特に限定されないが、黒色であることが好ましい。容器１３を黒色とすることで、照明光Ｌの反射が抑制される。

【0023】

容器１３は、円筒容器又は円柱容器であってもよいし、他の形状の容器であってもよい。容器１３は、下部の径より上部の径が大きなテーパー状の容器であってもよい。図２は、容器１３の一例を示す模式図である。容器１３は、底部１３１と底部１３１に設けられた壁部１３２とを有する。底部１３１は、複数の孔を有するメッシュ形状である。容器１３に入れた複数のワークが底部１３１の孔から落ちないように、底部１３１における複数の孔の径が設計されている。容器１３内に複数のワークを入れて、水などの洗浄用液体を用いて複数のワークの洗浄が行われる。容器１３内に複数のワークを入れた後、容器１３内に洗浄用液体を流し込むことにより、容器１３内の複数のワークを洗浄してもよい。洗浄用液体を貯留したタンクを用意してもよい。容器１３内に複数のワークを入れた後、タンク内の洗浄用液体に容器１３の底部１３１を浸漬することにより、容器１３内の複数のワークを洗浄してもよい。複数のワークの洗浄が行われた後、容器１３内から複数のワー
クが取り出され、容器１３内にワークが残存しているか否かの確認が行われる。作業者などのユーザが容器１３内から複数のワークを取り出してもよいし、ロボットハンド等の把持装置が容器１３内から複数のワークを取り出してもよい。

【0024】

容器１３は、バレル研磨装置に設けられてもよい。バレル研磨装置は、容器１３内にワークと、研磨石と、洗浄用液体とを入れた後、容器１３を回転させることでワークのバリなどを除去するように構成されている。ワークの研磨中は、容器１３の底部１３１から研磨石および洗浄用液体が流れ落ちないように容器１３の底部１３１にプレートを配置しておき、ワークの研磨の終了後に容器１３の底部１３１からプレートを取り除く。これにより、ワークの研磨の終了後に容器１３の底部１３１から研磨石および洗浄用液体が流れ落ちるようにする。

【0025】

偏光カメラ１０は、容器１３内のワークを天頂方向から撮像するように配置されている。容器１３の底部１３１平行方向にＸ軸，Ｙ軸をとり、容器１３の底部１３１の垂直方向にＺ軸をとったＸＹＺ座標系を考えた場合、偏光カメラ１０の光軸はＺ軸に平行となる。

【0026】

本システムでは、容器１３内の水滴で鏡面反射した光の偏光成分を偏光カメラ１０で捉えるため、被写体表面に対する照明光Ｌの入射角ができるだけブリュースター角に近い方が望ましい。そこで、本実施形態では、照明光Ｌが容器１３で遮られないよう、照明装置１１の下端が容器１３の上端とほぼ同じ高さになる程度に、照明装置１１および容器１３を配置し、照明光Ｌが斜め方向から容器１３内に入射するようにしている。このように、照明装置１１は、容器１３内に斜め方向から照明光Ｌを照射する。

【0027】

（偏光カメラ）
図３を参照して、偏光カメラ１０の構成の一例を説明する。図３は、偏光カメラ１０の構造を模式的に示す図である。

【0028】

偏光カメラ１０は、撮像素子２０に偏光子アレイ２１を組み合わせた構造を有する。撮像素子２０は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの光電変換素子（画素とも称する）が２次元的に配列されたデバイスであり、イメージセンサとも呼ばれる。偏光子アレイ２１は、多数の偏光子が２次元的に配列されたデバイスであり、１つの偏光フィルタ（偏光子）２１０が撮像素子２０の１つの画素（受光素子）２００に対応するように位置およびサイズが設計されている。偏光フィルタ２１０は、特定の方向の直線偏光のみを通過させる性質をもつ光学素子である。偏光フィルタ２１０が透過する直線偏光の振動方向を、その偏光フィルタ２１０の透過軸方向（偏光角度）と呼ぶ。本実施形態の偏光子アレイ２１は、図３に示すように、４種類の透過軸方向（０度、４５度、９０度、１３５度）の偏光フィルタ２１０が規則的に配列された構造を有する。具体的には、撮像素子２０の２×２の４画素に、それぞれ異なる透過軸方向（０度、４５度、９０度、１３５度）の直線偏光成分が入射するような配列パターンがとられている。これにより、偏光カメラ１０では、隣り合う画素２００が透過軸方向の異なる偏光フィルタ２１０を透過した光の輝度値を取得する。

【0029】

撮像素子２０および偏光子アレイ２１の解像度（画素ピッチ）およびサイズ（画素数）は、被写体や画像の用途に応じて適宜設計すればよい。偏光子アレイ２１の実現方法としては、ワイヤーグリッド、フォトニック結晶などがあるが、いずれの方法を用いてもよい。また、図３では、４種類の透過軸方向の偏光子を２×２の４画素に組み合わせたが、偏光子の透過軸方向のバリエーションや配列は他の構成でもよい。

【0030】

（照明装置）
図４Ａを参照して、照明装置１１の構成の一例を説明する。図４Ａは、本実施形態の照
明装置１１の構造を模式的に示す図であり、偏光カメラ１０側から容器１３を視たときの様子を示している。図４Ａに示す容器１３は、円柱容器であるが、円筒容器又は他の形状の容器であってもよい。

【0031】

照明装置１１は、容器１３を囲むように配置された、４本の棒状照明３０から構成される。４本の棒状照明３０を同時に点灯すると、容器１３を四方向（Ｘ正方向、Ｘ負方向、Ｙ正方向、Ｙ負方向）から照明することができる。したがって、容器１３を全方位から同時に照明することができる。また、４本の棒状照明３０を選択的に点灯させれば、照明方向を切り換えることができる。棒状照明３０は、例えば、基板上に配置した複数のＬＥＤ光源とそれらを覆うように配置した拡散板により構成される。

【0032】

なお、照明装置１１の構造は図４Ａに示すものに限られない。例えば、図４Ｂのような円環状の照明装置１１を用いてもよい。円環状の照明装置１１は、容器１３を環状に囲むように配置されている。この構造でも容器１３を全方位から同時に照明することができる。また、照明装置１１に設けられた複数のＬＥＤ光源を選択的に点灯させることで照明方向を任意に切り換えることも可能である。図４Ｂに示す容器１３は、円筒容器であるが、円柱容器又は他の形状の容器であってもよい。

【0033】

（処理装置）
図５を参照して、処理装置１２の構成の一例を説明する。図５は、本実施形態の処理装置１２の論理構成（機能構成）を示すブロック図である。

【0034】

処理装置１２は、主な構成として、カメラ制御部４０、照明制御部４１、画像処理部４２を有する。カメラ制御部４０は、偏光カメラ１０の制御を担う。例えば、カメラ制御部４０は、偏光カメラ１０の撮像条件（露光時間、ゲインなど）の制御、偏光カメラ１０からの画像データの取り込み、偏光カメラ１０のキャリブレーションなどを実行する。照明制御部４１は、照明装置１１の制御を担う。例えば、照明制御部４１は、照明条件（発光強度、発光時間など）の制御、光源ごとの点灯および消灯の制御などを実行する。図５に示す構成では、処理装置１２が照明制御部４１を有しているが、この構成に限定されず、照明制御部４１を処理装置１２と外部接続してもよい。画像処理部４２は、偏光カメラ１０から取り込まれた画像に対する処理を実行する。

【0035】

画像処理部４２は、画像取得部４２０、画像生成部４２１、検出部４２２、表示部４２３およびパラメータ受付部４２４などの機能を有する。画像取得部４２０は、偏光カメラ１０によって撮像された画像（以下「元画像」とも称する）をカメラ制御部４０を介して取得する。画像生成部４２１は、元画像に基づいて明度画像、偏光強度画像などを作成する。検出部４２２は、画像生成部４２１によって生成された検査画像に基づいて、容器１３内におけるワークの有無を判定する。表示部４２３は、各種の画像をディスプレイ装置に表示する処理を行う。パラメータ受付部４２４は、検査装置１の動作を決定する各種の条件設定（パラメータ）の変更を受け付ける。画像処理部４２の各処理の詳細は後述する。

【0036】

処理装置１２は、例えば、ＣＰＵ・ＧＰＵなどのプロセッサ、主記憶としてのメモリ、補助記憶としてのストレージ、ディスプレイやタブレット端末といった表示装置、マウスやタッチパネルなどの入力装置、ネットワークＩ／Ｆ等を備えたコンピュータにより構成してもよい。処理装置１２に表示装置が内蔵されていてもよいし、処理装置１２と表示装置とが外部接続されていてもよい。コンピュータとしては、パーソナルコンピュータ、タブレット端末、スマートフォン、フィールドコンピュータなどの汎用コンピュータを利用してもよいし、組み込み型コンピュータや専用装置でもよいし、偏光カメラ１０やＰＬＣ（Programmable logic Controller）といった他の装置のコンピュータ資源を利用するも
のであってもよい。図５に示す構成は、ストレージなどに格納されたプログラムをメモリにロードしプロセッサによって実行することにより、実現される。ただし、図５に示す構成の一部もしくは全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦ
ＰＧＡ（Field Programmable Gate Array）などの専用デバイスで構成してもよい。また
、クラウドコンピューティングや分散コンピューティングを利用して、図５に示す構成の一部や処理の一部を他の装置で実行してもよい。

【0037】

（偏光カメラによる透明物体の偏光成分の検出）
偏光カメラによる透明物体の偏光成分の検出の基本原理について説明する。

【0038】

図６Ａに示すように、水滴などの透明物体Ｗに入射光５０が斜めに入射したとき、入射光５０の大部分は屈折光５１となり透明物体Ｗを透過するが、入射光５０の一部は透明物体Ｗの表面（界面）において鏡面反射し、反射光５２となる。この鏡面反射において、入射光５０に含まれるｐ波（電界の振動方向が入射面に平行な偏光成分）とｓ波（電界の振動方向が入射面に垂直な（つまり反射面に平行な）偏光成分）との間に反射率の差が生じる。図６Ｂは、横軸に入射角、縦軸に反射率をとり、ｓ波とｐ波の反射率の差の一例を示したものである。この例に示すように、ｓ波の反射率は入射角αに応じて単調増加するが、ｐ波の反射率は入射角αが０度から増すに従い徐々に減少し、ある角度（ブリュースター角と呼ばれる）で反射率が０となる。したがって、鏡面反射の場合に観測される反射光５２は、ｓ波、すなわち、反射面である透明物体Ｗの表面に平行な方向に振動する偏光成分が支配的となる。このような性質を利用し、偏光カメラによって偏光をとらえることで、透明物体Ｗの偏光成分を検出できる。

【0039】

偏光カメラ１０には、容器１３内の水滴の鏡面反射による偏光だけでなく、容器１３内のワークで拡散反射した光も入射する。本実施形態においては、検査装置１は、偏光カメラ１０の元画像から水滴の偏光成分（正反射成分）を抽出し、偏光カメラ１０の元画像から水滴の偏光成分を除去することで、検査画像を生成する。また、本実施形態においては、検査装置１は、検査画像に基づいて、容器１３内におけるワークの有無を判定する。

【0040】

図７を参照して、偏光カメラ１０の画像から偏光成分を抽出する方法を説明する。受光素子で受光される偏光成分の強度は、偏光方向θと偏光子の透過軸方向とが一致した場合に最大となり、透過軸方向が偏光方向θからずれるに従い減少し、透過軸方向と偏光方向θが直交する場合に最小となる。つまり、偏光子の透過軸方向を０度～１８０度まで変化させていくと、受光素子で受光される偏光成分の強度は正弦波のように変化する。一方、入射光に含まれる拡散反射光成分の強度は、偏光子の透過軸方向に依らず、一定である。したがって、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて、入射光に含まれる偏光成分の情報だけを抽出することができる。

【0041】

例えば、図７に示すように、透過軸方向が０度、４５度、９０度、１３５度の４種類の偏光フィルタ２１０を通して、偏光方向θの偏光成分を含む入射光を観測するケースを想定する。このとき、各偏光フィルタ２１０に対応する画素２００の輝度値（透過光の光強度に相当）には、透過軸方向に依存した差が生じている。この４点の輝度値に対し、正弦波をフィッティングすることで、偏光成分の偏光方向θおよび偏光強度を推定できる。図７において、フィッティングカーブが最大となる角度が偏光成分の偏光方向θを表し、フィッティングカーブの振幅が偏光強度（偏光度とも呼ぶ）を表している。偏光カメラ１０で得られた画像の各画素について、このような偏光抽出処理を適用することにより、偏光カメラ１０の視野内に存在する透明物体Ｗで鏡面反射した偏光の情報（偏光方向、偏光強度など）をとらえることができる。画像生成部４２１は、偏光抽出処理を行い、偏光強度画像を生成する。本実施形態の画像生成部４２１による偏光抽出処理も、透過軸方向の異
なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて偏光情報を抽出する、という基本的な原理は同じである。

【0042】

（検査装置の動作例）
図８のフローチャートに沿って、検査装置１の動作の一例を説明する。図８のフローチャートは、偏光カメラ１０の下方に容器１３が配置された後に実行される。ロボットや搬送装置を利用して容器１３の搬送および位置決めを行ってもよいし、ユーザが偏光カメラ１０の下方に容器１３を配置してもよい。

【0043】

ステップＳ８１にて、処理装置１２のパラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、偏光カメラ１０の撮像条件や照明装置１１の照明条件を設定する。ユーザは、ワークの色、サイズ、洗浄用液体の種類等に応じて、偏光カメラ１０の撮像条件や照明装置１１の照明条件を設定してもよい。なお、撮像条件や照明条件が予め設定されている場合、又は、設定されている撮像条件や照明条件を変更しない場合、ステップＳ８１の処理を省略してもよい。

【0044】

ステップＳ８２にて、容器１３内の撮像が行われる。具体的には、処理装置１２の照明制御部４１が設定された照明条件に従って照明装置１１を点灯させ、照明装置１１が、容器１３内に照明光を照射することで、容器１３内を照明する。そして、容器１３内を照明した状態で、カメラ制御部４０が設定された撮像条件に従って偏光カメラ１０を制御し、偏光カメラ１０により容器１３内を撮像する。ワークの色、サイズ、洗浄用液体の種類等に応じて、偏光カメラ１０の撮像条件や照明装置１１の照明条件を変更して、容器１３内を複数回撮像してもよい。例えば、偏光カメラ１０の露光時間を切り替えて、容器１３内を複数回撮像してもよいし、偏光カメラ１０のダイナミックレンジを変更して、容器１３内を複数回撮像してもよい。

【0045】

ステップＳ８３にて、処理装置１２の画像取得部４２０が、偏光カメラ１０により撮像された画像（元画像）を偏光カメラ１０から取得する。元画像データは、メモリ又はストレージに格納され、画像処理部４２による処理に供される。パラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、画像処理部４２で用いられる画像処理パラメータを設定してもよい。

【0046】

ステップＳ８４にて、画像生成部４２１が、ステップＳ８３で取得した画像の各画素について、明度を算出し、明度画像を作成する。ステップＳ８５にて、画像生成部４２１が、ステップＳ８３で取得した画像の各画素について、偏光強度を算出し、偏光強度画像を作成する。

【0047】

ステップＳ８６にて、画像生成部４２１が、ステップＳ８５で算出した偏光強度に実数の定数を乗算することで、偏光強度画像のゲイン調整を行う。ステップＳ８５で算出した偏光強度が小さい場合があるので、画像生成部４２１は、偏光強度画像のゲイン調整を行う。パラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、ゲインレベル（ゲイン値）を設定してもよい。画像生成部４２１は、ユーザによって設定されたゲインレベル又は予め設定されたゲインレベルを用いて、偏光強度画像のゲイン調整を行ってもよい。偏光強度画像のゲイン調整を行う必要がない場合、ステップＳ８６の処理を省略してもよい。

【0048】

ステップＳ８７にて、画像生成部４２１が、明度画像からゲイン調整を行った偏光強度画像を減算することで、検査画像（変換後画像）を生成する。これにより、元画像から水滴の偏光成分を除去する。ステップＳ８８にて、画像生成部４２１が、所定の２値化レベルで、ステップＳ８７で作成した検査画像を２値化することで、白画素部分と黒画素部分
とから構成される２値化された検査画像（２値化画像）を作成する。検出部４２２が、２値化された検査画像を作成してもよい。

【0049】

ステップＳ８９にて、画像生成部４２１が、ラベリング処理を実行する。例えば、画像生成部４２１が、２値化された検査画像を構成する各画素のうち連結している白画素に同じラベルを付することにより、連結している白画素をグループ分けする。画像生成部４２１は、左右上下および斜め方向を含む８方向において隣接している白画素に同じラベルを付加してもよい。検出部４２２が、ラベリング処理を実行してもよい。

【0050】

ステップＳ９０にて、検出部４２２が、２値化された検査画像に基づいて、容器１３内におけるワークの有無を検出する。ステップＳ８９でグループ分けされた複数の領域のうち、予め定められた基準値以上の面積（画素数）を有する領域がある場合、検出部４２２は、容器１３内にワークが残っていると判定する。このようにして、検出部４２２は、容器１３内にワークが有ることを検出する。ステップＳ８９でグループ分けされた複数の領域のうち、基準値以上の面積を有する領域がない場合、検出部４２２は、容器１３内にワークが残っていないと判定する。このようにして、検出部４２２は、容器１３内にワークが無いことを検出する。なお、検出部４２２は、ステップＳ８９でグループ分けされた複数の領域のうち、基準値以下の面積の領域はノイズとして無視する。ステップＳ９０にて、検出部４２２は、検出結果を出力する。表示部４２３は、検出部４２２からの検出結果を受け付けて、検出結果を表示する。容器１３内の撮像が複数回行われた場合、検出部４２２は、複数回の撮像毎の検出結果を出力する。容器１３内の撮像が複数回行われた場合、表示部４２３は、複数回の撮像毎の検出結果を表示する。表示部４２３は、容器１３内にワークが残っていることを示す検出結果、又は、容器１３内にワークが残っていないことを示す検出結果を表示する。

【0051】

検出部４２２は、容器１３内にワークが有ることを検出した場合、基準値以上の面積を有する領域に基づいて、容器１３内におけるワークの個数を算出してもよい。検出部４２２は、基準値以上の面積を有する領域についてパターンマッチングを行うことで、容器１３内におけるワークを検出し、容器１３内におけるワークの個数をカウントしてもよい。ステップＳ９０にて、検出部４２２は、判定結果を出力すると共に、容器１３内に残っているワークの個数を出力してもよい。この場合、表示部４２３は、容器１３内にワークが残っていることを示す判定結果と共に、容器１３内に残っているワークの個数を表示する。

【0052】

上記では、画像生成部４２１は、元画像から明度画像および偏光強度画像を作成し、明度画像および偏光強度画像に基づいて元画像から水滴の偏光成分を除去することで検査画像を生成する例を示したが、これに限定されない。画像生成部４２１は、他の手法により、元画像から水滴の偏光成分を除去することで検査画像を生成してもよい。

【0053】

（偏光情報算出処理）
図９および図１０を参照して、画像生成部４２１の偏光情報（明度および偏光強度）の算出処理（図８のステップＳ８４、ステップＳ８５）の一例を説明する。図９は、偏光情報の算出処理のフローチャートであり、図１０は近傍画素の例を示す図である。ここでは、元画像のサイズ（画素数）をＭ行×Ｎ列とし、ｉ行ｊ列の画素を（ｉ，ｊ）、その画素の輝度値（光強度）をＩ（ｉ，ｊ）と表記する（ｉ＝１，２，・・・，Ｍ、ｊ＝１，２，・・・，Ｎ）。図１０は元画像の一部を拡大して示したものであり、それぞれの矩形が画素を表し、画素内の矢印は透過軸方向を表し、欄外に記載した記号は画素の行番号と列番号を表している。

【0054】

ステップＳ９１にて、画像生成部４２１は、元画像から演算対象とする注目画素を選択
する。ステップＳ９１では、（１，１）から（Ｍ，Ｎ）まで注目画素が順に選択されるものとする。

【0055】

ステップＳ９２にて、画像生成部４２１は、注目画素の偏光情報を算出する際に参照する近傍画素を選択する。例えば、選択する近傍画素の範囲は、ユーザによって指定されたマスクサイズで決まる。ここでは、デフォルトのマスクサイズである２×２の場合を例に挙げて説明する。マスクサイズが２×２の場合、図１０に示すように、注目画素（ｉ，ｊ）に隣接する３つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）が近傍画素として選択される。なお、注目画素が元画像の境界にあり、近傍画素が存在しない場合には、ステップＳ９１～Ｓ９２の処理を省略してもよい。

【0056】

ステップＳ９３にて、画像生成部４２１は、注目画素と近傍画素の輝度値（光強度）を基に、注目画素の偏光情報（明度、偏光強度）を算出する。透過軸方向が０度、４５度、９０度、１３５度の輝度値をそれぞれＩ１、Ｉ２、Ｉ３、Ｉ４とする場合、例えば、注目画素の明度Ｉ０および偏光強度Ｄは下記式により求まる。

【数1】

【0057】

図１０の例では、４つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ）に対応する透過軸方向は、それぞれ、９０度、１３５度、４５度、０度であるから、式（１）、（２）におけるＩ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝Ｉ（ｉ，ｊ－１）
Ｉ３＝Ｉ（ｉ－１，ｊ－１）
Ｉ４＝Ｉ（ｉ－１，ｊ）

【0058】

式（１）の明度Ｉ０は、注目画素に入射する入射光の強度を表す指標である。式（２）の偏光強度Ｄは、注目画素に入射する入射光に含まれる偏光成分の偏光の程度を表す指標である。なお、上記式（１）、（２）は一例であり、他の計算式によって明度および偏光強度に相当する指標を計算してもよい。

【0059】

ステップＳ９４にて、画像生成部４２１は、元画像のすべての画素に対して偏光情報の算出処理が完了したか（すなわち、ｉ＝Ｍかつｊ＝Ｎであるか）を確認し、未処理の画素がある場合にはステップＳ９１に戻って次の注目画素に対する処理を実行する。

【0060】

以上述べた処理により、元画像のすべての画素について、偏光情報である偏光強度Ｄ、明度Ｉ０が算出される。偏光情報算出処理の演算結果は、例えば、各画素の座標（ｉ，ｊ）と偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とを対応付けたデータ形式でメモリ又はストレージに保存される。

【0061】

また、画像生成部４２１は、注目画素と近傍画素の輝度値（例えば、透過軸方向が０度、４５度、９０度、１３５度の４種類の各偏光フィルタ２１０に対応する画素２００の輝度値）から正弦波（サインカーブ）を求めてもよい。画像生成部４２１は、正弦波の最大
値と正弦波の最小値との差分（振幅）を偏光強度として算出することで、各画素の偏光強度を算出してもよい。或いは、画像生成部４２１は、元画像の白画像を増加する膨張処理を行った後の元画像と、元画像の白画像を減少する収縮処理を行った後の元画像との差分に基づいて、偏光強度画像を作成してもよい。

【0062】

図１１は、パラメータ受付部４２４が提供するユーザインターフェイス（ＵＩ）画面の一例を示す図である。図１１に示すＵＩ画面は、画像調整１００、表示画像設定１０１、全体画像表示エリア１０２、拡大画像表示エリア１０３、倍率エリア１０４、画像表示設定１０５、ＯＫボタン１０６、キャンセルボタン１０７から構成されている。例えば、表示部４２３は、図１１に示すＵＩ画面を表示する。図１１のＵＩ画面の構成やパラメータ項目は一例であり、図１１のＵＩ画面の構成やパラメータ項目は適宜変更されてもよい。

【0063】

画像調整１００は、偏光強度画像のゲイン調整を行うためのＵＩである。ユーザが、ゲイン入力エリア１１０にゲインレベルを直接入力してもよいし、スライダーバー１１１でゲインレベルを設定してもよい。表示画像設定１０１は、全体画像表示エリア１０２および拡大画像表示エリア１０３に表示する表示対象画像の種類を設定するためのＵＩである。全体画像表示エリア１０２は、画像の全体を表示するエリアである。拡大画像表示エリア１０３は、画像の一部を拡大して表示するエリアである。倍率エリア１０４は、拡大画像表示エリア１０３に表示される拡大画像の倍率を設定・表示するエリアである。ユーザは、倍率エリア１０４に倍率の値を直接入力して、拡大画像の倍率を設定することが可能である。

【0064】

画像表示設定１０５は、拡大画像表示エリア１０３に表示される画像の範囲を設定するためのＵＩである。例えば、ユーザは、マウスなどの操作機器で画像表示設定１０５を移動することが可能である。倍率エリア１０４に設定された拡大画像の倍率に応じて、画像表示設定１０５のサイズが変化する。ユーザは、マウスを用いて、拡大画像表示エリア１０３にカーソルを当て、マウスのホイールを上下することで、拡大画像の倍率をアップおよびダウンを行うことが可能である。ＯＫボタン１０６が選択されることで、ユーザによって入力された設定等が確定し、キャンセルボタン１０７が選択されることで、ユーザによって入力された設定等が取り消される。

【0065】

図１２Ａ～図１２Ｃは、拡大画像表示エリア１０３に表示される画像の一例を示す図である。画像表示設定１０５で元画像（入力画像）が設定された場合、図１２Ａに示すように、拡大画像表示エリア１０３に元画像（入力画像）が表示される。ユーザは、全体画像表示エリア１０２又は拡大画像表示エリア１０３に表示された元画像を視認することで、容器１３内の状態を確認することができる。これにより、ユーザは、容器１３内における水滴の位置を確認することができる。

【0066】

画像表示設定１０５で変換後画像が設定された場合、図１２Ｂに示すように、拡大画像表示エリア１０３に変換後画像が表示される。変換後画像は、元画像から水滴の偏光成分が除去され、ワークの拡散反射成分のみが残った検査画像である。したがって、ユーザは、全体画像表示エリア１０２又は拡大画像表示エリア１０３に表示された変換後画像を視認することで、容器１３内のワークの有無を正確に確認することができる。検出部４２２の検出結果として容器１３内にワークが残っているという結果が表示部４２３に表示された場合、ユーザは、全体画像表示エリア１０２又は拡大画像表示エリア１０３に表示された変換後画像を視認する。これにより、ユーザは、容器１３内にワークが残っていることを認識すると共に、容器１３内におけるワークの位置を確認することができる。

【0067】

画像表示設定１０５で重畳画像が設定された場合、図１２Ｃに示すように、拡大画像表示エリア１０３に重畳画像が表示される。重畳画像は、ＲＧＢ調整された変換後画像を元
画像（入力画像）に重畳した画像である。変換後画像におけるワークをＲＧＢ調整し、ＲＧＢ調整されたワークを元画像に重畳して表示することで、容器１３内におけるワークが強調表示される。

【0068】

本実施形態によれば、検査装置１は、容器１３内におけるワークの有無を正確に検出することができる。例えば、容器１３を用いて複数のワークを洗浄し、容器１３内から複数のワークを取り出した場合において、容器１３内におけるワークの有無を正確に検出することが可能である。容器１３内にワークが残っている場合、容器１３内に残っているワークを取り出す。これにより、次の洗浄対象のワークを容器１３内に入れた場合に、容器１３内に洗浄後のワークと洗浄前のワークとが混在することが回避される。

【0069】

上記では、全体画像表示エリア１０２および拡大画像表示エリア１０３に表示する表示対象画像の種類を設定することにより、表示部４２３が、元画像、変換後画像および重畳画像を切り替えて表示する例を示したが、この表示例に限定されない。表示部４２３は、元画像、変換後画像および重畳画像のうちの２つを同時に表示してもよいし、元画像、変換後画像および重畳画像を同時に表示してもよい。容器１３内の撮像が複数回行われた場合、表示部４２３は、複数回の撮像毎の元画像、変換後画像および重畳画像を切り替えて表示してもよい。容器１３内の撮像が複数回行われた場合、表示部４２３は、複数回の撮像毎の元画像、変換後画像および重畳画像のうちの２つを同時に表示してもよいし、複数回の撮像毎の元画像、変換後画像および重畳画像を同時に表示してもよい。ユーザは、元画像、変換後画像および重畳画像を同時に又は切り替えて視認することが可能である。

【0070】

表示部４２３は、元画像および変換後画像（検査画像）の少なくとも一方におけるワークを強調して元画像および変換後画像の少なくとも一方を表示してもよい。画像生成部４２１が、変換後画像におけるワークをＲＧＢ調整し、ＲＧＢ調整されたワークを元画像に重畳してもよい。これにより、表示部４２３は、元画像におけるワークを強調して元画像を表示する。画像生成部４２１が、変換後画像におけるワークをＲＧＢ調整してもよい。これにより、表示部４２３は、変換後画像におけるワークを強調して変換後画像を表示する。ユーザは、強調表示されたワークを視認することで、容器１３内にワークが残っていることを認識すると共に、容器１３内におけるワークの位置をより正確に確認することができる。

【0071】

（その他）
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0072】

例えば、偏光カメラ１０および照明装置１１の各配置や各構成は、図１、図４Ａおよび図４Ｂに示したものに限られず、被写体や用途に応じて適宜設計すればよい。すなわち、照明光の鏡面反射が偏光カメラ１０で観測できさえすればよい。また、複数台の偏光カメラ１０を設けてもよいし、可動式の偏光カメラ１０や照明装置１１を用いてもよい。複数台の偏光カメラ１０を用いて、複数の画像を撮像してもよい。可動式の偏光カメラ１０の位置を変更して、複数の画像を撮像してもよい。

【0073】

上記実施形態では、０度、４５度、９０度、１３５度の偏光子を用いたが、透過軸方向の設定はこれに限られない。撮像素子において異なる透過軸方向の偏光子を通過した光を観測でき、かつ、その観測結果から入射光に含まれる偏光情報を抽出できさえすればよい。

【0074】

＜付記１＞
容器（１３）内を照明するための照明装置（１１）と、
透過軸方向の異なる偏光フィルタ（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、
処理装置（１２）と、を備え、
前記処理装置（１２）は、
前記照明装置（１１）により前記容器（１３）内を照明した状態で、前記偏光カメラ（１０）によって前記容器（１３）内を撮像した元画像を取得する画像取得部（４２０）と、
前記元画像から水滴の偏光成分を除去することで検査画像を生成する画像生成部（４２１）と、
前記検査画像に基づいて前記容器（１３）内におけるワークの有無を検出する検出部（４２２）と、
を有する検査装置（１）。
＜付記２＞
前記検出部（４２２）は、前記検査画像に基づいて前記容器（１３）内における前記ワークの個数を算出する、
付記１に記載の検査装置（１）。
＜付記３＞
前記偏光カメラ（１０）では、隣り合う画素が前記透過軸方向の異なる前記偏光フィルタを透過した光の輝度値を取得する、
付記１又は２に記載の検査装置（１）。
＜付記４＞
前記画像生成部（４２１）は、前記元画像から明度画像および偏光強度画像を作成し、前記明度画像および前記偏光強度画像に基づいて前記元画像から前記水滴の前記偏光成分を除去することで前記検査画像を生成する、
付記１から３の何れか一つに記載の検査装置。
＜付記５＞
前記元画像および前記検査画像の少なくとも一方を表示する表示部（４２３）を備える、
付記１から４の何れか一つに記載の検査装置（１）。
＜付記６＞
前記表示部（４２３）は、前記元画像および前記検査画像の少なくとも一方における前記ワークを強調して前記元画像および前記検査画像の少なくとも一方を表示する、
付記５に記載の検査装置。
＜付記７＞
前記表示部（４２３）は、前記元画像および前記検査画像を同時に又は切り替えて表示する、
付記５に記載の検査装置（１）。
＜付記８＞
前記照明装置は、前記容器を囲むように配置されている、
付記１から７の何れか一つに記載の検査装置（１）。
＜付記９＞
前記照明装置は、前記容器内に斜め方向から光を照射する、
付記１から８の何れか一つに記載の検査装置（１）。
＜付記１０＞
照明装置（１１）と、透過軸方向の異なる偏光フィルタ（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、処理装置（１２）と、を備える検査装置（１）の検査方法であって、
前記照明装置（１１）により容器（１３）内を照明するステップ（Ｓ８２）と、
前記容器（１３）内を照明した状態で前記偏光カメラ（１０）により前記容器（１３）
内を撮像するステップ（Ｓ８２）と、
前記偏光カメラ（１０）によって撮像された元画像を前記処理装置（１２）によって取得するステップ（Ｓ８３）と、
前記処理装置（１２）によって、前記元画像から水滴の偏光成分を除去することで検査画像を生成するステップ（Ｓ８４～Ｓ８７）と、
前記処理装置（１２）によって、前記検査画像に基づいて前記容器（１３）内におけるワークの有無を検出するステップ（Ｓ８８～Ｓ９０）と、
を含む検査方法。
＜付記１１＞
付記１０に記載の検査方法の各ステップをプロセッサに実行させるためのプログラム。

【符号の説明】

【0075】

１：検査装置
１０：偏光カメラ
１１：照明装置
１２：処理装置
１３：容器
２０：撮像素子
２１：偏光子アレイ
３０：棒状照明
４０：カメラ制御部
４１：照明制御部
４２：画像処理部
４２０：画像取得部
４２１：画像生成部
４２２：検出部
４２３：表示部
４２４：パラメータ受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】