特許 7647450 撮像システムおよびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】撮像システムおよびその制御方法

(51)【国際特許分類】

   H04N 23/56 20230101AFI20250311BHJP

   H04N 23/55 20230101ALI20250311BHJP

   H04N 23/95 20230101ALI20250311BHJP

   H04N 23/60 20230101ALI20250311BHJP

   G01N 21/21 20060101ALI20250311BHJP

   G01N 21/17 20060101ALI20250311BHJP

   G01B 11/00 20060101ALI20250311BHJP

【ＦＩ】

H04N23/56

H04N23/55

H04N23/95

H04N23/60 500

G01N21/21 Z

G01N21/17 A

G01B11/00 H

【請求項の数】 12

(21)【出願番号】P 2021139934

(22)【出願日】2021-08-30

(65)【公開番号】P2023033942

(43)【公開日】2023-03-13

【審査請求日】2024-06-10

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小松 幸広

(72)【発明者】

【氏名】池田 泰之

【審査官】廣田 健介

(56)【参考文献】

【文献】国際公開第２０１９／０１２８５８（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０５４０７６（ＷＯ，Ａ１）

【文献】国際公開第２００９／１５７１２９（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１０２７３４（ＷＯ，Ａ１）

【文献】特開２０１１－１６４０６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００－２３／９５

Ｇ０３Ｂ １５／００－１５／１６

Ｇ０１Ｎ ２１／００－２１／６１

Ｇ０１Ｂ １１／００－１１／３０

Ａ６１Ｂ １／００－１／３２

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

透明物体を画像化するための撮像システムであって、
透明物体を照明するための照明装置と、
透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、
処理装置と、を備え、
前記処理装置は、
前記照明装置により前記透明物体を照明した状態で前記偏光カメラによって撮影された元画像を取得する画像取得手段と、
前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、
前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、
前記偏光抽出処理で用いられるパラメータの変更を受け付ける受付手段と、を有することを特徴とする撮像システム。

【請求項2】

前記偏光抽出処理は、注目画素とその近傍画素の画素値を参照して前記注目画素の偏光情報を算出する偏光情報算出処理を含む
ことを特徴とする請求項１に記載の撮像システム。

【請求項3】

前記パラメータは、前記偏光情報算出処理において偏光情報を算出するときに参照する近傍画素の範囲を規定する項目であるマスクサイズを含む
ことを特徴とする請求項２に記載の撮像システム。

【請求項4】

前記受付手段は、大きさの異なる複数のマスクサイズのなかから前記偏光情報算出処理において用いるマスクサイズをユーザに選択させるユーザインターフェイスを含む
ことを特徴とする請求項３に記載の撮像システム。

【請求項5】

前記偏光抽出処理は、前記偏光情報算出処理によって前記元画像の各画素の偏光情報を算出した後に、その算出結果に含まれるノイズを除去ないし低減するノイズ除去処理を含む
ことを特徴とする請求項２～４のうちいずれか１項に記載の撮像システム。

【請求項6】

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、非類似と判断した場合に、前記対象画素の偏光情報を削除する処理を含む
ことを特徴とする請求項５に記載の撮像システム。

【請求項7】

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、類似と判断した場合に、前記対象画素の偏光情報を、前記対象画素と前記周辺画素のなかから選択した画素の偏光情報で置き換える処理を含む
ことを特徴とする請求項５又は６に記載の撮像システム。

【請求項8】

前記パラメータは、前記対象画素と比較する前記周辺画素の範囲を規定する項目を含むことを特徴とする請求項６又は７に記載の撮像システム。

【請求項9】

前記パラメータは、偏光情報の類似もしくは非類似の判断基準を規定する項目を含む
ことを特徴とする請求項６～８のうちいずれか１項に記載の撮像システム。

【請求項10】

前記パラメータは、前記偏光情報算出処理の算出結果に対し前記ノイズ除去処理を適用するか否かを指定する項目を含む
ことを特徴とする請求項５～９のうちいずれか１項に記載の撮像システム。

【請求項11】

照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える撮像システムの制御方法であって、
前記照明装置により透明物体を照明するステップと、
前記偏光カメラにより撮影を行うステップと、
前記偏光カメラによって撮影された元画像を前記処理装置に取り込むステップと、
前記処理装置によって、前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成するステップと、を含み、
前記偏光抽出処理で用いられるパラメータを変更可能である
ことを特徴とする制御方法。

【請求項12】

請求項１１に記載の制御方法の各ステップをプロセッサに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、透明物体を画像化するための技術に関する。

【背景技術】

【0002】

透過軸方向の異なる偏光子が規則的に配置された撮像素子を有する偏光カメラを用いて、透明物体を画像化する技術が知られている（特許文献１参照）。このような技術は、例えば、ガラスや透明樹脂からなる物品の検出や検査などへの応用が期待されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１７６８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

透明物体に光を当てると、一部の光が透明物体の表面で鏡面反射する。鏡面反射した光は偏光特性を持つため、偏光カメラで観測することができ、その観測結果をもとに透明物体の表面（反射面）を画像化することができる。

【0005】

しかしながら、偏光カメラには、鏡面反射光だけでなく、被写体や背景などで拡散反射した光も入射し、それがノイズ要因となる場合がある。また、被写体の形状や反射特性に依存して、偏光の現れ方もさまざまである。このような理由から、あらゆる被写体ないし状況に対し安定した性能を発揮できる汎用性の高いロジックを用意することは難しい。

【0006】

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、偏光カメラの画像から高品位な偏光情報を抽出するための新規な技術を提供することにある。

【課題を解決するための手段】

【0007】

本発明は、透明物体を画像化するための撮像システムであって、透明物体を照明するための照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備え、前記処理装置は、前記照明装置により前記透明物体を照明した状態で前記偏光カメラによって撮影された元画像を取得する画像取得手段と、前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段と、前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段と、前記偏光抽出処理で用いられるパラメータの変更を受け付ける受付手段と、を有することを特徴とする撮像システムを提供する。

【0008】

この構成によれば、ユーザが、必要に応じて、偏光抽出処理のパラメータを変更することができる。したがって、例えば、被写体となる透明物体の形状や状態、拡散反射の状況などに合わせて、ユーザがパラメータを適応的に調整することによって、高品位な偏光情報を抽出することが可能となる。なお、受付手段は、パラメータを変更するためのユーザインターフェイスを提供し、ユーザインターフェイス上でユーザにより変更されたパラメータを受け付けるものでもよいし、あるいは、受付手段は、ユーザからのパラメータの変更指示をネットワークを通じて外部装置から受信するものでもよい。

【0009】

前記偏光抽出処理は、注目画素とその近傍画素の画素値を参照して前記注目画素の偏光情報を算出する偏光情報算出処理を含んでもよい。この処理では、１つ又は複数の近傍画
素が参照される。偏光子の透過軸方向がｎ種類（ｎ≧２）の場合、注目画素と近傍画素を合わせた画素群のなかに、ｎ種類の透過軸方向に各々対応するｎ種類の画素が少なくとも含まれるように、近傍画素を選ぶとよい。

【0010】

この場合において、前記パラメータは、前記偏光情報算出処理において偏光情報を算出するときに参照する近傍画素の範囲を規定する項目であるマスクサイズを含んでもよい。例えば、被写体となる透明物体の反射面の大きさに合わせて適切なマスクサイズを設定することによって、高品位な偏光情報を抽出することができる。

【0011】

前記受付手段は、大きさの異なる複数のマスクサイズのなかから前記偏光情報算出処理において用いるマスクサイズをユーザに選択させるユーザインターフェイスを含んでもよい。選択形式にすることで、ユーザビリティの向上を図ることができる。

【0012】

前記偏光抽出処理は、前記偏光情報算出処理によって前記元画像の各画素の偏光情報を算出した後に、その算出結果に含まれるノイズを除去ないし低減するノイズ除去処理を含んでもよい。ノイズ除去処理を行うことにより、高品位な偏光情報を抽出することができる。

【0013】

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、非類似と判断した場合に、前記対象画素の偏光情報を削除する処理を含んでもよい。このような処理により、信頼性の低い偏光情報を除去することができる。

【0014】

前記ノイズ除去処理は、対象画素とその周辺画素とのあいだで偏光情報を比較することによって、前記対象画素と前記周辺画素の偏光情報が類似するか非類似かを判断し、類似と判断した場合に、前記対象画素の偏光情報を、前記対象画素と前記周辺画素のなかから選択した画素の偏光情報で置き換える処理を含んでもよい。このような処理により、偏光情報がスムージングされるため、偏光情報のＳＮ比をさらに向上することができる。

【0015】

前記パラメータは、前記対象画素と比較する前記周辺画素の範囲を規定する項目を含んでもよい。また、前記パラメータは、偏光情報の類似もしくは非類似の判断基準を規定する項目を含んでもよい。例えば、偏光情報算出処理の結果に含まれるノイズの程度や範囲に応じて、これらのパラメータを適宜調整することによって、過補正にならない程度にＳＮ比を向上させることができる。

【0016】

前記パラメータは、前記偏光情報算出処理の算出結果に対し前記ノイズ除去処理を適用するか否かを指定する項目を含んでもよい。偏光情報算出処理の結果が十分高品位である場合は、ノイズ除去処理をスキップすることで、過補正の防止と処理時間の短縮を図ることができる。

【0017】

本発明は、照明装置と、透過軸方向の異なる偏光子が規則的に配列された撮像素子を有する偏光カメラと、処理装置と、を備える撮像システムの制御方法であって、前記照明装置により透明物体を照明するステップと、前記偏光カメラにより撮影を行うステップと、前記偏光カメラによって撮影された元画像を前記処理装置に取り込むステップと、前記処理装置によって、前記元画像の各画素について、前記透明物体での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行し、前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成するステップと、を含み、前記偏光抽出処理で用いられるパラメータを変更可能であることを特徴とする制御方法を提供してもよい。

【0018】

本発明は、上記制御方法の各ステップをプロセッサに実行させるためのプログラムを提供してもよい。

【0019】

本発明は、上記手段の少なくとも一部を有する撮像システムとして捉えてもよいし、処理装置、制御装置、あるいは画像処理装置として捉えてもよい。また、本発明は、撮像システムで得られた偏光情報画像を用いて透明物体を検出ないし検査する装置として捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む撮像システムの制御方法、画像処理方法、検出方法、あるいは検査方法として捉えてもよいし、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0020】

本発明によれば、偏光カメラの画像から高品位な偏光情報を抽出することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、本発明の実施形態に係る撮像システムの全体構成を模式的に示す図である。

【図2】図２は、偏光カメラの構造を模式的に示す図である。

【図3】図３Ａは、照明装置の構造を模式的に示す図であり、図３Ｂおよび図３Ｃは照明装置の他の構成例を示す図である。

【図4】図４は、処理装置の論理構成（機能構成）を示すブロック図である。

【図5】図５Ａおよび図５Ｂは、鏡面反射を説明する図である。

【図6】図６は、偏光カメラの画像から偏光成分を抽出する方法を説明する図である。

【図7】図７は、撮像システムの動作の一例を示すフローチャートである。

【図8】図８は、画像処理パラメータ入力用のユーザインターフェイスの一例である。

【図9】図９は、偏光情報算出処理のフローチャートである。

【図10】図１０Ａ～図１０Ｄは、近傍画素の例を示す図である。

【図11】図１１Ａは、曲面部分での鏡面反射の例を示す図であり、図１１Ｂは、偏光が入射する範囲が狭小である場合のマスクサイズの選択例を示す図である。

【図12】図１２は、大きいマスクサイズが適している例を示す図である。

【図13】図１３は、ノイズ除去処理のフローチャートである。

【図14】図１４は、比較範囲の例を示す図である。

【図15】図１５は、撮像システムの応用例を示す図である。

【発明を実施するための形態】

【0022】

（システム構成）
図１は、本発明の実施形態に係る撮像システムの全体構成を模式的に示している。この撮像システム１は、偏光カメラ１０を利用して透明物体を画像化するためのシステムであり、例えば、工場の製造ラインにおいて透明物体の検出や検査を行うために利用される。

【0023】

撮像システム１は、主な構成として、偏光カメラ１０、照明装置１１、処理装置１２、ステージ１３を有して構成される。偏光カメラ１０は、偏光子が配列された撮像素子を有する撮像手段である。照明装置１１は、ステージ１３に配置された被写体（透明物体）Ｗに照明光Ｌを照射するための光源である。処理装置１２は、撮像システム１全体の制御、および、偏光カメラ１０で撮影された画像を用いた情報処理を実行する装置である。ステージ１３は、被写体Ｗを載置ないし保持するための装置である。

【0024】

偏光カメラ１０は、ステージ１３に配置された被写体Ｗを天頂方向から撮影するように配置されている。ステージ１３と平行にＸ，Ｙ軸をとり、ステージ１３に垂直にＺ軸をとったＸＹＺ座標系を考えた場合、偏光カメラ１０の光軸はＺ軸に平行となる。本システムでは、被写体Ｗで鏡面反射した光を偏光カメラ１０で捉えることが目的のため、被写体表面に対する照明光Ｌの入射角ができるだけブリュースター角に近い方が望ましい。そこで本実施形態では、照明装置１１をステージ１３とほぼ同じ高さに（実際上は、照明光Ｌがステージ１３で遮られないよう、照明装置１１の下端がステージ１３の上端とほぼ同じ高さになる程度に）配置し、照明光Ｌがほぼ真横（Ｚ軸に対し垂直な方向）から被写体Ｗに入射するようにしている。このような照明配置をローアングル照明とも称する。本実施形態のような天頂カメラとローアングル照明の組み合わせでは、被写体表面への入射角が約４５度となる照明光Ｌの鏡面反射Ｒが偏光カメラ１０で捉えられることとなる。なお、入射角をよりブリュースター角に近づけるために、被写体Ｗよりも低い位置から照明光Ｌを当てるような照明配置を採用したり、偏光カメラ１０の光軸を照明装置１１とは反対側に倒したりしてもよい。

【0025】

（偏光カメラ）
図２を参照して、偏光カメラ１０の構成の一例を説明する。図２は、偏光カメラ１０の構造を模式的に示す図である。

【0026】

偏光カメラ１０は、撮像素子２０に偏光子アレイ２１を組み合わせた構造を有する。撮像素子２０は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの光電変換素子（画素とも称する）が２次元的に配列されたデバイスであり、イメージセンサとも呼ばれる。偏光子アレイ２１は、多数の偏光子が２次元的に配列されたデバイスであり、１つの偏光子２１０が撮像素子２０の１つの画素（受光素子）２００に対応するように位置およびサイズが設計されている。偏光子２１０は、特定の方向の直線偏光のみを通過させる性質をもつ光学素子である（偏光子２１０が透過する直線偏光の振動方向を、その偏光子２１０の透過軸方向と呼ぶ。）。本実施形態の偏光子アレイ２１は、図２に示すように、４種類の透過軸方向（０度、４５度、９０度、１３５度）の偏光子２１０が規則的に配列された構造を有する。具体的には、撮像素子２０の２×２の４画素に、それぞれ異なる透過軸方向（０度、４５度、９０度、１３５度）の直線偏光成分が入射するような配列パターンがとられている。

【0027】

撮像素子２０および偏光子アレイ２１の解像度（画素ピッチ）およびサイズ（画素数）は、被写体や画像の用途に応じて適宜設計すればよい。偏光子アレイ２１の実現方法としては、ワイヤーグリッド、フォトニック結晶などがあるが、いずれの方法を用いてもよい。また、図２では、４種類の透過軸方向の偏光子を２×２の４画素に組み合わせたが、偏光子の透過軸方向のバリエーションや配列は他の構成でもよい。

【0028】

（照明装置）
図３Ａを参照して、照明装置１１の構成の一例を説明する。図３Ａは、本実施形態の照明装置１１の構造を模式的に示す図であり、偏光カメラ１０側からステージ１３を視たときの様子を示している。

【0029】

照明装置１１は、ステージ１３を囲むように配置された、４本の棒状照明３０から構成される。４本の棒状照明３０を同時に点灯すると、ステージ１３上の被写体Ｗを四方（Ｘ正方向、Ｘ負方向、Ｙ正方向、Ｙ負方向）から照明することができる。また、いずれかの棒状照明３０のみを選択的に点灯させれば、照明方向を切り換えることができる。棒状照明３０は、例えば、基板上に配置した複数のＬＥＤ光源とそれらを覆うように配置した拡散板により構成される。

【0030】

なお、照明装置１１の構造は図３Ａに示すものに限られない。例えば、図３Ｂのような円環状の照明装置１１を用いてもよい。この構造でも被写体Ｗを全方位から同時に照明することができる。また、ＬＥＤ光源を選択的に点灯させることで照明方向を任意に切り換えることも可能である。また、全方位照明ではなく、図３Ｃに示すように特定の方向だけから被写体Ｗを照明する構成でもよい。例えば、被写体Ｗの存在範囲が限られていたり、検出したい被写体表面の角度が既知もしくは限られている場合には、必要な方向から照明すれば足りる。あるいは、図３Ｃのような照明装置１１を用いた場合でも、照明装置１１と被写体Ｗの相対位置を変える（例えば、被写体Ｗをステージ上で回転させるなど）ことによって全方位的な撮影を行ってもよい。

【0031】

（処理装置）
図４を参照して、処理装置１２の構成の一例を説明する。図４は、本実施形態の処理装置１２の論理構成（機能構成）を示すブロック図である。

【0032】

処理装置１２は、主な構成として、カメラ制御部４０、照明制御部４１、画像処理部４２を有する。カメラ制御部４０は、偏光カメラ１０の制御を担う。例えば、カメラ制御部４０は、偏光カメラ１０の撮像条件（露光時間、ゲインなど）の制御、偏光カメラ１０からの画像データの取り込み、偏光カメラ１０のキャリブレーションなどを実行する。照明制御部４１は、照明装置１１の制御を担う。例えば、照明制御部４１は、照明条件（発光強度、発光時間など）の制御、光源ごとの点灯／消灯の制御などを実行する。画像処理部４２は、偏光カメラ１０から取り込まれた画像に対する処理を実行する。

【0033】

本実施形態の画像処理部４２は、画像取得部４２０、偏光抽出部４２１、偏光情報画像生成部４２２、表示部４２３、パラメータ受付部４２４などの機能を有する。画像取得部４２０は、偏光カメラ１０によって撮影された画像（以下「元画像」とも称する）をカメラ制御部４０を介して取得する。偏光抽出部４２１は、元画像から偏光情報を抽出する偏光抽出処理を行う。偏光情報は、透明物体での鏡面反射に由来する偏光に関する情報である。偏光情報画像生成部４２２は、偏光抽出処理の抽出結果に基づいて偏光情報を表す画像（以下「偏光情報画像」とも称する）を生成する。表示部４２３は、生成された偏光情報画像をディスプレイ装置に表示する処理を行う。パラメータ受付部４２４は、撮像システム１の動作を決定する各種の条件設定（パラメータ）の変更を受け付ける機能である。画像処理部４２の各処理の詳細は後述する。

【0034】

処理装置１２は、例えば、ＣＰＵ・ＧＰＵなどのプロセッサ、主記憶としてのメモリ、補助記憶としてのストレージ、ディスプレイ装置、マウスやタッチパネルなどの入力装置、ネットワークＩ／Ｆ等を備えたコンピュータにより構成してもよい。コンピュータとしては、パーソナルコンピュータ、タブレット端末、スマートフォン、フィールドコンピュータなどの汎用コンピュータを利用してもよいし、組み込み型コンピュータや専用装置でもよいし、偏光カメラ１０やＰＬＣ（Programmable logic Controller）といった他の装
置のコンピュータ資源を利用するものであってもよい。図４に示す構成は、ストレージなどに格納されたプログラムをメモリにロードしプロセッサによって実行することにより、実現される。ただし、図４に示す構成の一部もしくは全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの専用デバイスで構成してもよい。また、クラウドコンピューティングや分散コンピューティングを利用して、図４に示す構成の一部や処理の一部を他の装置で実行してもよい。

【0035】

（偏光カメラによる透明物体検出）
偏光カメラによる透明物体検出の基本原理について説明する。

【0036】

図５Ａに示すように、ガラスや透明樹脂などの透明物体Ｗに光５０が斜めに入射したと
き、入射光５０の大部分は屈折光５１となり透明物体Ｗを透過するが、入射光５０の一部は透明物体Ｗの表面（界面）において鏡面反射し、反射光５２となる。この鏡面反射において、入射光５０に含まれるｐ波（電界の振動方向が入射面に平行な偏光成分）とｓ波（電界の振動方向が入射面に垂直な（つまり反射面に平行な）偏光成分）との間に反射率の差が生じる。図５Ｂは、横軸に入射角、縦軸に反射率をとり、ｓ波とｐ波の反射率の差の一例を示したものである。この例に示すように、ｓ波の反射率は入射角αに応じて単調増加するが、ｐ波の反射率は入射角αが０度から増すに従い徐々に減少し、ある角度（ブリュースター角と呼ばれる）で反射率が０となる。したがって、鏡面反射の場合に観測される反射光５２は、ｓ波、すなわち、反射面である透明物体Ｗの表面に平行な方向に振動する偏光成分が支配的となる。このような性質を利用し、偏光カメラによって偏光をとらえることで、透明物体Ｗの表面（反射面）を画像化することができる。

【0037】

ところで、偏光カメラには、鏡面反射による偏光だけでなく、被写体や背景などで拡散反射した光も入射する。透明物体の画像化においては、拡散反射光成分は不要でありアーチファクトの原因ともなることから、まずは偏光カメラの画像から偏光成分のみを抽出する必要がある。そのために、本実施形態では、偏光子による透過特性の違いを利用する。

【0038】

図６を参照して、偏光カメラの画像から偏光成分を抽出する方法を説明する。受光素子で受光される偏光成分の強度は、偏光方向θと偏光子の透過軸方向とが一致した場合に最大となり、透過軸方向が偏光方向θからずれるに従い減少し、透過軸方向と偏光方向θが直交する場合に最小となる。つまり、偏光子の透過軸方向を０度～１８０度まで変化させていくと、受光素子で受光される偏光成分の強度は正弦波のように変化する。一方、入射光に含まれる拡散反射光成分の強度は、偏光子の透過軸方向に依らず、一定である。したがって、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて、入射光に含まれる偏光成分の情報だけを抽出することができる。

【0039】

例えば、図６に示すように、透過軸方向が０度、４５度、９０度、１３５度の４種類の偏光子２１０を通して、偏光方向θの偏光成分を含む入射光を観測するケースを想定する。このとき、各偏光子２１０に対応する画素２００の値（透過光の光強度に相当）には、透過軸方向に依存した差が生じている。この４点の画素値に対し、正弦波をフィッティングすることで、偏光成分の偏光方向θおよび偏光強度を推定できる。図６において、フィッティングカーブが最大となる角度が偏光成分の偏光方向θを表し、フィッティングカーブの振幅が偏光強度（偏光度とも呼ぶ）を表している。偏光カメラ１０で得られた画像の各画素について、このような偏光抽出処理を適用することにより、偏光カメラ１０の視野内に存在する透明物体Ｗで鏡面反射した偏光の情報（偏光方向、偏光強度など）をとらえることができる。

【0040】

本実施形態の偏光抽出部４２１による偏光抽出処理も、透過軸方向の異なる複数種類の偏光子を通して観測したときの光強度の変化（透過軸方向依存性）に基づいて偏光情報を抽出する、という基本的な原理は同じである。ただし、精度やユーザビリティのさらなる向上を図るため、マスクサイズ（偏光を算出するときに参照する近傍画素の範囲を規定するパラメータ）の選択、ノイズ除去などのユニークな処理を加えている。詳しくは後述する。

【0041】

（撮像システムの動作例）
図７のフローチャートに沿って、撮像システム１の動作の一例を説明する。

【0042】

ステップＳ７０にて、被写体Ｗとなる透明物体がステージ１３上に配置される。ロボットや搬送装置を利用して被写体Ｗを搬送・位置決めしてもよいし、作業者がステージ１３
上に被写体Ｗをセットしてもよい。

【0043】

ステップＳ７１にて、処理装置１２のパラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、偏光カメラ１０の撮像条件や照明装置１１の照明条件を入力する。なお、撮像条件や照明条件を変更する必要がなければ、ステップＳ７１の処理はスキップしてもよい。

【0044】

ステップＳ７２にて、被写体Ｗの撮影が行われる。具体的には、処理装置１２の照明制御部４１が与えられた照明条件に従って照明装置１１を点灯させ、被写体Ｗに照明光を照射する。そして、被写体Ｗを照明した状態で、カメラ制御部４０が与えられた撮像条件に従って偏光カメラ１０を制御し、撮影を行う。

【0045】

ステップＳ７３にて、処理装置１２の画像取得部４２０が、ステップＳ７２で撮影された画像（元画像）を偏光カメラ１０から取り込む。取り込まれた元画像データは、メモリ又はストレージに格納され、画像処理部４２による処理に供される。

【0046】

ステップＳ７４にて、パラメータ受付部４２４が提供するユーザインターフェイスを利用して、ユーザが、画像処理部４２で用いられる画像処理パラメータを入力する。なお、画像処理パラメータを変更する必要がなければ、ステップＳ７４の処理はスキップしてもよい。

【0047】

図８は、パラメータ受付部４２４が提供する画像処理パラメータ入力用のユーザインターフェイス（ＵＩ）の一例である。このＵＩ画面は、マスクサイズ設定８０、ノイズ除去設定８１、表示画像設定８２、全体画像表示エリア８３、拡大画像表示エリア８４、拡大設定８５から構成されている。マスクサイズ設定８０は、元画像から偏光情報を算出するときに参照する近傍画素の範囲を規定する「マスクサイズ」を設定するためのＵＩである。図８の例では、２×２、３×３、４×４、５×５のなかからマスクサイズを選択させるようになっているが、ユーザに任意のサイズを入力させるようにしてもよい。ノイズ除去設定８１は、偏光情報の算出結果に含まれるノイズを除去ないし低減する「ノイズ除去処理」に関する条件を設定するためのＵＩである。図８の例では、ノイズ除去処理を適用するか否かを選択可能であり、「あり」の場合には、さらに、ノイズ除去処理で用いるパラメータ（比較範囲、偏光角度差閾値、偏光強度差閾値）を入力可能である。表示画像設定８２は、全体画像表示エリア８３および拡大画像表示エリア８４に表示する画像の種類を設定するためのＵＩである。図８の例では、元画像、偏光強度画像、偏光方向画像、明度画像のなかから選択可能となっている。全体画像表示エリア８３は、全体画像（低解像度）が表示されるエリアであり、拡大画像表示エリア８４は、画像の一部分（枠８６で示される部分）が高解像度で表示されるエリアである。また、拡大設定８５は、拡大画像表示エリア８４に表示する拡大画像の倍率や範囲を設定するためのＵＩである。

【0048】

ステップＳ７５にて、偏光抽出部４２１が、ステップＳ７３で取り込まれた元画像から偏光情報を算出する。偏光情報算出処理の詳細は後述する。

【0049】

ステップＳ７６にて、偏光抽出部４２１が、ステップＳ７５の算出結果に対してノイズ除去処理を適用する。なお、図８のＵＩにおいてノイズ除去「なし」に設定されている場合は、ステップＳ７６の処理はスキップされる。ノイズ除去処理の詳細は後述する。

【0050】

ステップＳ７７にて、偏光情報画像生成部４２２が、偏光抽出部４２１の演算結果に基づいて、偏光情報画像を生成する。本実施形態では、偏光情報画像として、偏光強度画像、偏光方向画像、明度画像の３種類の画像が生成される。偏光強度画像は、偏光強度（偏光の程度）を濃淡で表す画像であり、偏光方向画像は、偏光方向を濃淡ないし疑似色で表
す画像である。また、明度画像は、偏光成分の光強度を濃淡で表す画像である。

【0051】

ステップＳ７８では、表示部４２３が、図８のＵＩの表示画像設定８２で選択されている画像を全体画像表示エリア８３および拡大画像表示エリア８４に表示する。

【0052】

ここで、ユーザが、図８のＵＩ上で表示画像設定８２を変更すると、それに応じて全体画像表示エリア８３および拡大画像表示エリア８４に表示される画像が切り替わる。このＵＩを利用することにより、元画像の様子と、偏光情報（偏光強度、偏光方向、明度）とを見比べることができるので、例えば、偏光情報の算出やノイズの除去が適切に行われているか確認したり、透明物体の形状や状態を確認したりする作業が容易になる。なお、図８のＵＩ上でマスクサイズ設定８０やノイズ除去設定８１が変更された場合に、ステップＳ７５～Ｓ７８の処理が再度実行されてもよい。このようなＵＩを利用することにより、演算結果（偏光情報画像）を確認しながら、画像処理パラメータ（マスクサイズ、ノイズ除去の有無、比較範囲、閾値など）の追い込みを行うことができる。

【0053】

（偏光情報算出処理）
図９および図１０Ａ～図１０Ｄを参照して、偏光抽出部４２１の偏光情報算出処理（図７のステップＳ７５）の実装例を説明する。図９は偏光情報算出処理のフローチャートであり、図１０Ａ～図１０Ｄは近傍画素の例を示す図である。ここでは、元画像のサイズ（画素数）をＭ行×Ｎ列とし、ｉ行ｊ列の画素を（ｉ，ｊ）、その画素の画素値（光強度）をＩ（ｉ，ｊ）と表記する（ｉ＝１，２，・・・，Ｍ、ｊ＝１，２，・・・，Ｎ）。図１０Ａ～図１０Ｄは元画像の一部を拡大して示したものであり、一つ一つの矩形が画素を表し、画素内の矢印は透過軸方向を表し、欄外に記載した記号は画素の行番号と列番号を表している。

【0054】

ステップＳ１０にて、偏光抽出部４２１は、元画像から演算対象とする注目画素を選択する。ステップＳ１０では、（１，１）から（Ｍ，Ｎ）まで注目画素が順に選択されるものとする。

【0055】

ステップＳ１１にて、偏光抽出部４２１は、注目画素の偏光情報を算出する際に参照する近傍画素を選択する。ここで選択する近傍画素の範囲は、図８のマスクサイズ設定８０で指定されたマスクサイズで決まる。まずは、デフォルトのマスクサイズである２×２の場合を例に挙げて説明する。マスクサイズが２×２の場合、図１０Ａに示すように、注目画素（ｉ，ｊ）に隣接する３つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）が近傍画素として選択される。なお、注目画素が元画像の境界にあり、近傍画素が存在しない場合には、ステップＳ１１～Ｓ１２の処理をスキップしてもよいし、適当な値でパディングしてもよい。

【0056】

ステップＳ１２にて、偏光抽出部４２１は、注目画素と近傍画素の光強度（画素値）を基に、注目画素の偏光情報を算出する。透過軸方向が０度、４５度、９０度、１３５度の光強度をそれぞれＩ１、Ｉ２、Ｉ３、Ｉ４とおいた場合、例えば、注目画素の明度Ｉ０、偏光方向θ、偏光強度Ｄは下記式により求まる。

【数1】

【0057】

図１０Ａの例では、４つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ，ｊ－１）、（ｉ，ｊ）に対応する透過軸方向は、それぞれ、９０度、１３５度、４５度、０度であるから、式（１）～（３）におけるＩ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝Ｉ（ｉ，ｊ－１）
Ｉ３＝Ｉ（ｉ－１，ｊ－１）
Ｉ４＝Ｉ（ｉ－１，ｊ）

【0058】

式（１）の明度Ｉ０は、注目画素に入射する入射光の強度を表す指標である。式（２）の偏光方向θは、注目画素に入射する入射光に含まれる偏光成分の主軸方位を表す。式（３）の偏光強度Ｄは、注目画素に入射する入射光に含まれる偏光成分の偏光の程度を表す指標である。

【0059】

なお、上記式（１）～（３）は一例であり、他の計算式によって明度、偏光方向、偏光強度に相当する指標を計算しても構わない。例えば、式（１）～（３）における係数を他のものに置き換えたり、式（３）を下記の式（４）に置き換えてもよい。

【数2】

【0060】

ステップＳ１３にて、偏光抽出部４２１は、元画像のすべての画素に対して偏光情報の算出処理が完了したか（すなわち、ｉ＝Ｍかつｊ＝Ｎであるか）確認し、未処理の画素がある場合にはステップＳ１０に戻って次の注目画素に対する処理を実行する。

【0061】

以上述べた処理により、元画像のすべての画素について、偏光方向θ、偏光強度Ｄ、明度Ｉ０が算出される。偏光情報算出処理の演算結果は、例えば、各画素の座標（ｉ，ｊ）と偏光方向θ（ｉ，ｊ）・偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とを対応付けたデータ形式でメモリ又はストレージに保存され、後段の処理に供される。

【0062】

次に、図１０Ｂ～図１０Ｄを参照して、マスクサイズが２×２より大きい場合の処理例を説明する。

【0063】

図１０Ｂに示すように、マスクサイズが３×３の場合は、ステップＳ１１において、注目画素（ｉ，ｊ）に隣接する８つの画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ－１，ｊ＋１）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ－１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）が近傍画素として選択される。図１０Ｂの例では、注目画素と近傍画素を合わせた９つの画素群のなかに、透過軸方向が０度の画素が１つ、４５度の画素と１３５度の画素が２つずつ、９０度の画素が４つ含まれる。このように透過軸方向が同じ画
素が複数存在する場合には、ステップＳ１２の演算において、透過軸方向ごとの画素の代表値を式（１）～（３）のＩ１～Ｉ４に代入すればよい。

【0064】

例えば、代表値として平均値を用いる場合であれば、Ｉ１～Ｉ４は下記式で与えられる。
Ｉ１＝Ｉ（ｉ，ｊ）
Ｉ２＝｛Ｉ（ｉ，ｊ－１）＋Ｉ（ｉ，ｊ＋１）｝／２
Ｉ３＝｛Ｉ（ｉ－１，ｊ－１）＋Ｉ（ｉ－１，ｊ＋１）＋Ｉ（ｉ＋１，ｊ－１）＋Ｉ（ｉ＋１，ｊ＋１）｝／４
Ｉ４＝｛Ｉ（ｉ，ｊ－１）＋Ｉ（ｉ，ｊ＋１）｝／２

【0065】

代表値としては、平均値の他、最頻値、中間値、最大値、最小値などを用いてもよい。また、代表値を用いずに、９つの画素の値に対し正弦波のフィッティングを行うことで、Ｉ１～Ｉ４を推定するか、又は、明度Ｉ０、偏光方向θ、偏光強度Ｄを直接計算してもよい。

【0066】

図１０Ｃは、マスクサイズが４×４の例である。マスクサイズ３×３のときの８つの近傍画素にさらに７つの画素（ｉ－２，ｊ－２）、（ｉ－２，ｊ－１）、（ｉ－２，ｊ）、（ｉ－２，ｊ＋１）、（ｉ－１，ｊ－２）、（ｉ，ｊ－２）、（ｉ＋１，ｊ－２）を加えた範囲が選択される。図１０Ｃの例では、選択範囲のなかに０度、４５度、９０度、１３５度の画素が４つずつ含まれる。この場合も、３×３の場合と同じく、透過軸方向ごとの代表値をＩ１～Ｉ４に代入するか、１６個の画素の値に対し正弦波のフィッティングを行えばよい。

【0067】

図１０Ｄは、マスクサイズが５×５の例である。マスクサイズ４×４のときの１５個の近傍画素にさらに９つの画素（ｉ－２，ｊ＋２）、（ｉ－１，ｊ＋２）、（ｉ，ｊ＋２）、（ｉ＋１，ｊ＋２）、（ｉ＋２，ｊ－２）、（ｉ＋２，ｊ－１）、（ｉ＋２，ｊ）、（ｉ＋２，ｊ＋１）、（ｉ＋２，ｊ＋２）を加えた範囲が選択される。図１０Ｄの例では、選択範囲のなかに０度の画素が９つ、４５度の画素と１３５度の画素が６つずつ、９０度の画素が４つ含まれる。この場合も、３×３の場合と同じく、透過軸方向ごとの代表値をＩ１～Ｉ４に代入するか、２５個の画素の値に対し正弦波のフィッティングを行えばよい。

【0068】

本実施形態では、マスクサイズ、すなわち、偏光情報の算出時に参照する画素範囲を任意に変更できるようになっている。ユーザは、被写体の形状や状態、あるいは、本システムの用途などに応じて、適切なマスクサイズを選択すればよい。

【0069】

例えば、図１１Ａに示すように、被写体Ｗの曲面部分での鏡面反射を偏光カメラ１０でとらえるようなケースでは、反射面が極めて狭小なため、（偏光カメラ１０の解像度にもよるが）偏光が入射する範囲が数画素幅の狭小領域になることがある。このようなケースにおいては、マスクサイズが大きすぎると、図１１Ｂに示すように、偏光が入射していない画素まで参照してしまい、偏光情報の検出性が低下する可能性がある。したがって、偏光が入射する範囲よりも小さいマスクサイズを選択することが好ましい。これにより、狭小領域における偏光情報を適切に抽出することができる。

【0070】

一方で、図１２に示すように、平坦な面の反射の特性（鏡面反射、散乱の強さ）により、面上の汚れ・異物などの検査を行うケースでは、画像上の比較的広い範囲において、類似した偏光特性が現れることが想定される。このようなケースにおいては、マスクサイズが小さすぎると、局所的な反射率の違いなどに敏感に影響を受け、検査が安定しない可能性がある。したがって、ある程度大きめのマスクサイズを設定することにより、局所的な
反射率の違いなどによるかく乱要因を平均化することが好ましい。これにより、検査の安定性を向上することができる。

【0071】

なお、本実施形態では、マスクサイズの例として２×２、３×３、４×４、５×５の４つを示したが、マスクサイズはこれらに限られない。例えば、５×５より大きいマスクを用いてもよいし、正方形でない形状のマスクを用いてもよい。また、ユーザがマスクのサイズや形状を任意に設計できるようにしてもよい。

【0072】

（ノイズ除去処理）
上述した偏光情報算出処理は、局所的な画素値の差を、偏光子の透過軸方向の違いによる透過量の差であるととらえ、偏光を検出する、という原理を利用している。そのため、例えば、被写体のエッジ部分やテクスチャ部分において空間周波数の高い輝度変化が生じた場合に、偏光による画素値の差であると誤解し、偏光の誤検出を招くことがある。ノイズ除去処理は、このような誤検出によるノイズを、偏光情報算出処理の演算結果から除去ないし低減するための処理である。

【0073】

図１３および図１４Ａ、図１４Ｂを参照して、ノイズ除去処理（図７のステップＳ７６）の実装例を説明する。図１３はノイズ除去処理のフローチャートであり、図１４Ａ、図１４Ｂは比較範囲の例を示す図である。

【0074】

ステップＳ２０にて、偏光抽出部４２１は、図８のノイズ除去設定８１で設定されたパラメータを読み込む。ここでは、ノイズ除去のあり／なし、比較範囲、偏光角度差閾値、偏光強度差閾値の４つのパラメータが読み込まれる。ノイズ除去「なし」に設定されている場合には、以降の処理をスキップする（ステップＳ２１）。ノイズ除去「あり」の場合は、ステップＳ２２に進む。

【0075】

ステップＳ２２にて、偏光抽出部４２１は、メモリ又はストレージから偏光情報算出処理の演算結果を読み込む。ここでは、各画素の座標（ｉ，ｊ）と偏光方向θ（ｉ，ｊ）・偏光強度Ｄ（ｉ，ｊ）・明度Ｉ０（ｉ，ｊ）とが対応付けられたデータが取得される。

【0076】

ステップＳ２３にて、偏光抽出部４２１は、処理対象とする対象画素を選択する。ステップＳ２３では、（１，１）から（Ｍ，Ｎ）まで対象画素が順に選択されるものとする。

【0077】

ステップＳ２４にて、偏光抽出部４２１は、対象画素とその周辺画素のあいだで偏光方向を比較し、偏光方向が類似しているか否か判断する。図１４Ａに示すように、比較範囲「１」に設定された場合は、対象画素（ｉ，ｊ）と３つの周辺画素（ｉ，ｊ＋１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）のあいだで比較が行われる。また、図１４Ｂに示すように、比較範囲「２」に設定された場合は、対象画素（ｉ，ｊ）と８つの周辺画素（ｉ－１，ｊ－１）、（ｉ－１，ｊ）、（ｉ－１，ｊ＋１）、（ｉ，ｊ－１）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ－１）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）のあいだで比較が行われる。そして、偏光方向の差が偏光角度差閾値よりも大きくなる組み合わせが１つでも見つかった場合には、「非類似」と判断し、ステップＳ２６に進む。一方、「類似」と判断された場合には、ステップＳ２５へと進む。

【0078】

ステップＳ２５にて、偏光抽出部４２１は、対象画素とその周辺画素のあいだで偏光強度を比較し、偏光強度が類似しているか否か判断する。比較範囲の選び方は図１４Ａおよび図１４Ｂで示したとおりである。そして、偏光強度の差が偏光強度差閾値よりも大きくなる組み合わせが１つでも見つかった場合には、「非類似」と判断し、ステップＳ２６に進む。一方、「類似」と判断された場合には、ステップＳ２７へと進む。

【0079】

偏光方向又は偏光強度のいずれかが「非類似」である場合、対象画素の偏光情報は周辺画素に比べて特異な値（外れ値）になっており、ノイズである蓋然性が高い。そこで、ステップＳ２６にて、偏光抽出部４２１は、対象画素の偏光情報（偏光方向θおよび偏光強度Ｄ）を削除する。

【0080】

偏光方向と偏光強度のいずれも「類似」である場合、ステップＳ２７にて、偏光抽出部４２１は、対象画素と比較範囲内の画素のなかで偏光強度が最も大きい画素を選択し、対象画素の偏光方向・偏光強度をその選択画素の偏光方向・偏光強度に置き換える。この処理によって、偏光方向・偏光強度の局所的なばらつきを低減するスムージング効果が得られる。

【0081】

ステップＳ２８にて、偏光抽出部４２１は、すべての画素に対してノイズ除去処理が完了したか確認し、未処理の画素がある場合にはステップＳ２３に戻って次の対象画素に対する処理を実行する。

【0082】

以上述べた処理により、偏光情報算出処理の演算結果である偏光方向θと偏光強度Ｄに対し、ノイズ（外れ値）の除去とスムージングが行われる。なお、修正後のデータは、メモリ又はストレージ内に上書き保存される。

【0083】

（応用例）
上述した撮像システム１を、薬液充填済みシリンジの製造プロセスにおける検出・検査に応用する例を説明する。

【0084】

薬液充填済みシリンジの製造プロセスでは、通常、ロボットを利用してシリンジのピック＆プレースや薬液注入が行われる。このとき、シリンジが不正な位置に存在したり、横倒しの姿勢になっていたりすると、シリンジの破損や製造装置の故障を招くおそれがあるため、シリンジの位置や姿勢を監視し、問題が生じた場合にエラーを出力したり装置を停止したりする仕組みが望まれる。

【0085】

図１５Ａは、ネスト１００に配置されたシリンジ１０１を天頂カメラ１０２で観測する様子を示している。２本のシリンジ１０１ｂがネスト１００の穴に挿入されず、横倒しになっている。しかし、シリンジ１０１は無色透明であるため、これを例えば通常の透過照明と光学カメラで撮影しても、図１５Ｂに示すように、シリンジ１０１と背景（白色のネスト１００）の境界を画像上ほとんど識別することができず、横倒しのシリンジ１０１ｂを安定的に検出することは困難である。

【0086】

これに対し、本発明の実施形態に係る撮像システム１を用いて偏光情報を抽出すると、図１５Ｃに示すように、シリンジ１０１の表面での鏡面反射のみを画像化することができる。偏光情報画像では、正しい姿勢のシリンジ１０１ａでは円形の像が現れ、横倒しのシリンジ１０１ｂでは直線的な帯状の像が現れる。このような偏光情報画像を利用することで、シリンジの位置および姿勢の検査や、不正な位置もしくは姿勢のシリンジの検出を安定的に行うことが可能となる。

【0087】

コンピュータによる画像認識技術を用いて、偏光情報画像からシリンジの検出や、シリンジの姿勢の判定などを行ってもよい。例えば、正しい姿勢のシリンジは、内側の円形およびその周囲のフランジ部にて鏡面反射が現れる。この画像特徴に着目し、偏光情報画像のなかから、円およびフランジ部の形状をパターンマッチング等の方法にて検出することによって、正しい姿勢のシリンジの自動認識が可能となる。横倒しのシリンジの場合は、例えば、まず、特定の偏光方向範囲（例：０°～６０°）を持ち、互いに隣接する画素の集合（画素領域）を抽出し、その後、抽出した画素領域のうちから閾値以上の幅・長さを
持つ画素領域を検出すればよい。このような処理によって、横倒しのシリンジの帯状の画素領域を自動認識することが可能となる。

【0088】

（その他）
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0089】

例えば、偏光カメラと照明装置の配置や構成は、図１や図３Ａ～図３Ｃに示したものに限られず、被写体や用途に応じて適宜設計すればよい。すなわち、照明光の鏡面反射が偏光カメラで観測できさえすればよい。また、複数台の偏光カメラを設けてもよいし、可動式の偏光カメラや照明装置を用いてもよい。

【0090】

上記実施形態では、０度、４５度、９０度、１３５度の偏光子を用いたが、透過軸方向の設定はこれに限られない。撮像素子において異なる透過軸方向の偏光子を通過した光を観測でき、かつ、その観測結果から入射光に含まれる偏光情報を抽出できさえすればよい。

【0091】

図８のＵＩ画面では、偏光情報算出処理で用いるマスクサイズと、ノイズ除去処理で用いるパラメータとを設定可能としたが、ＵＩ画面の構成やパラメータ項目は一例にすぎない。偏光抽出処理で用いられるパラメータをユーザに変更させるＵＩであれば、どのようなものでもよい。すなわち、ユーザ自身が、被写体や用途などに応じて、偏光抽出のロジックを適宜変更できればよい。また、上記実施形態では、パラメータ受付部４２４がパラメータ設定用のユーザインターフェイスを提供したが、パラメータ受付部４２４は、ユーザからのパラメータの変更指示をネットワークを通じて外部装置から受信するものでもよい。

【0092】

＜付記１＞
透明物体（Ｗ）を画像化するための撮像システム（１）であって、
透明物体（Ｗ）を照明するための照明装置（１１）と、
透過軸方向の異なる偏光子（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、
処理装置（１２）と、を備え、
前記処理装置（１２）は、
前記照明装置（１１）により前記透明物体（Ｗ）を照明した状態で前記偏光カメラ（１０）によって撮影された元画像を取得する画像取得手段（４２０）と、
前記元画像の各画素について、前記透明物体（Ｗ）での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理を実行する偏光抽出手段（４２１）と、
前記偏光抽出処理の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成する画像生成手段（４２２）と、
前記偏光抽出処理で用いられるパラメータの変更を受け付ける受付手段（４２４）と、を有する
ことを特徴とする撮像システム（１）。

【0093】

＜付記２＞
照明装置（１１）と、透過軸方向の異なる偏光子（２１０）が規則的に配列された撮像素子（２０）を有する偏光カメラ（１０）と、処理装置（１２）と、を備える撮像システム（１）の制御方法であって、
前記照明装置（１１）により透明物体（Ｗ）を照明するステップと、
前記偏光カメラ（１０）により撮影を行うステップと、
前記偏光カメラ（１０）によって撮影された元画像を前記処理装置（１２）に取り込むステップ（Ｓ７３）と、
前記処理装置（１２）によって、前記元画像の各画素について、前記透明物体（Ｗ）での鏡面反射に由来する偏光に関する情報である偏光情報を抽出する、偏光抽出処理（Ｓ７５，Ｓ７６）を実行し、前記偏光抽出処理（Ｓ７５，Ｓ７６）の抽出結果に基づいて、前記偏光情報を画像化した偏光情報画像を生成するステップ（Ｓ７７）と、を含み、
前記偏光抽出処理（Ｓ７５，Ｓ７６）で用いられるパラメータを変更可能である（Ｓ７４）ことを特徴とする制御方法。

【符号の説明】

【0094】

１：撮像システム
１０：偏光カメラ
１１：照明装置
１２：処理装置
１３：ステージ
２０：撮像素子
２１：偏光子アレイ
３０：棒状照明

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】