特開 2024-165249 影領域検出装置及び影領域検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165249

(43)【公開日】2024-11-28

(54)【発明の名称】影領域検出装置及び影領域検出方法

(51)【国際特許分類】

   G06T 7/11 20170101AFI20241121BHJP

   G06V 10/14 20220101ALI20241121BHJP

【ＦＩ】

G06T7/11

G06V10/14

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023081280

(22)【出願日】2023-05-17

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】小林 敏秀

(72)【発明者】

【氏名】塩田 和則

(72)【発明者】

【氏名】増田 祥吾

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096CA18

5L096FA02

5L096FA69

5L096GA40

(57)【要約】      （修正有）

【課題】影の影響により被写体の色情報が暗くなっている部分を検出する影領域検出装置及び影領域検出方法を提供する。
【解決手段】影領域検出装置１は、被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得部１１１と、取得した画像の各座標について、各座標が有する被写体の情報に基づき、複数の領域に区分する領域区分け部１１９と、被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得部１３１と、領域区分け部１１９により区分された画像の領域についての情報と、偏光画像とに基づいて、画像の各座標について影部分と推定される座標の候補を検出する影候補検出部１５０と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得部と、
取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け部と、
前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得部と、
前記領域区分け部により区分された前記画像の領域についての情報と、前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出部と
を備える影領域検出装置。

【請求項2】

前記画像取得部により取得される前記画像には、前記被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像が含まれ、
前記領域区分け部は、前記ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分する色領域区分け部を更に備える
請求項１に記載の影領域検出装置。

【請求項3】

前記影候補検出部により、影候補と推定された座標が有する画素値を、影候補と推定されなかった座標が有する画素値に基づいた値に置き換える影補正部を更に備える
請求項２に記載の影領域検出装置。

【請求項4】

前記画像取得部により取得される前記画像には、前記被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像が含まれ、
前記領域区分け部は、前記距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分する距離領域区分け部を更に備える
請求項１から請求項３のいずれか一項に記載の影領域検出装置。

【請求項5】

被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得工程と、
取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け工程と、
前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得工程と、
前記領域区分け工程により区分された前記画像の領域についての情報と、取得された前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出工程と
を有する影領域検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、影領域検出装置及び影領域検出方法に関する。

【背景技術】

【0002】

従来、被写体の色情報及び被写体までの距離情報を取得可能な深度カメラ（ＲＧＢＤカメラ）があった。このような深度カメラを用いて取得された情報に基づき、三次元点群データ又はメッシュデータ等の三次元モデルを生成することが行われている。生成された三次元モデルは、例えば、メタバース空間に合成される。メタバース空間においては、同一のメタバース空間に合成された他の三次元モデルの存在による影が、三次元モデルに追加される場合がある。ここで、深度カメラを用いて現実の世界に存在する被写体の三次元モデルを生成しようとした場合、撮影時の環境光による影が存在すると、メタバース空間に存在する光源の方向と一致しないため、外観に違和感が生じる場合がある。また深度カメラを用いて得られる距離情報によれば、影部分の暗い映像の距離精度が得られないといった課題があった。そこで、深度カメラにより測距された距離情報の精度を向上させるために、偏光センサの情報を用いて法線ベクトルを生成し、補正する技術があった（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１６／１３６０８６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら上述したような従来技術によれば、距離情報の精度を向上させることはできるかもしれないが、色情報（ＲＧＢ情報）を補正することはできない。したがって、生成される三次元モデルには、影が重畳してしまっており、メタバース空間に合成した場合に、影の影響により暗くなっている部分（以下、影部分と記載する。）が違和感を生じさせるといった問題があった。ここで、影による外観上の違和感を軽減するためには、周囲の色より暗い色となっている影部分の色情報を修正することが考えられる。しかしながら、周囲の色より暗い部分であるからといって、当該部分が影の影響により暗くなっているのか、被写体が有する本来の色であるのかを判定することは難しく、影部分の色情報を補正することは困難であった。

【0005】

そこで本発明は、このような状況に鑑みてなされたものであって、影の影響により被写体の色情報が暗くなっている部分を検出することが可能な影領域検出装置の提供を目的とする。

【課題を解決するための手段】

【0006】

［１］本発明の一態様は、被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得部と、取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け部と、前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得部と、前記領域区分け部により区分された前記画像の領域についての情報と、前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出部とを備える影領域検出装置である。

【0007】

［２］また、本発明の一態様は、上記［１］に記載の影領域検出装置において、前記画像取得部により取得される前記画像には、前記被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像が含まれ、前記領域区分け部は、前記ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分する色領域区分け部を更に備えるものである。

【0008】

［３］また、本発明の一態様は、上記［２］に記載の影領域検出装置において、前記影候補検出部により、影候補と推定された座標が有する画素値を、影候補と推定されなかった座標が有する画素値に基づいた値に置き換える影補正部を更に備えるものである。

【0009】

［４］また、本発明の一態様は、上記［１］から［３］のいずれかに記載の影領域検出装置において、前記画像取得部により取得される前記画像には、前記被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像が含まれ、前記領域区分け部は、前記距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分する距離領域区分け部を更に備えるものである。

【0010】

［５］また、本発明の一態様は、被写体の情報を二次元平面上の各座標に有する画像を取得する画像取得工程と、
取得した前記画像の各座標について、各座標が有する前記被写体の情報に基づき、複数の領域に区分する領域区分け工程と、
前記被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得する偏光画像取得工程と、
前記領域区分け工程により区分された前記画像の領域についての情報と、取得された前記偏光画像とに基づいて、前記画像の各座標について影部分と推定される座標の候補を検出する影候補検出工程と
を有する影領域検出方法である。

【発明の効果】

【0011】

本発明によれば、影の影響により被写体の色情報が暗くなっている部分を検出することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る影領域検出システムが検出する影について説明するための図である。

【図2】第１実施形態に係る影領域検出システムの機能構成の一例について示す機能構成図である。

【図3】第１実施形態に係る距離領域区分け部による距離領域区分け処理について説明するための図である。

【図4A】第１実施形態に係る距離領域区分け部による距離領域区分け処理の一例を示す第１のフローチャートである。

【図4B】第１実施形態に係る距離領域区分け部による距離領域区分け処理の一例を示す第２のフローチャートである。

【図5】第１実施形態に係る色領域区分け部による色領域区分け処理について説明するための図である。

【図6A】第１実施形態に係る色領域区分け部による色領域区分け処理の一例を示す第１のフローチャートである。

【図6B】第１実施形態に係る色領域区分け部による色領域区分け処理の一例を示す第２のフローチャートである。

【図7】第１実施形態に係る物体領域区分け部による物体領域区分け処理について説明するための図である。

【図8】第１実施形態に係る偏光センサの構成の一例について説明するための図である。

【図9】第１実施形態に係る偏光センサにより得られた偏光角度の信号に基づき、色分けした場合の一例である。

【図10】第１実施形態に係るＳＨＡＤＯＷ画像の一例を示す図である。

【図11】第２実施形態に係る影領域検出システムの機能構成の一例について示す機能構成図である。

【図12】第２実施形態に係る影補正部による影補正処理について説明するための図である。

【図13】第２実施形態に係る影補正部の機能構成の一例について示す機能構成図である。

【図14】第２実施形態に係るＬＰＦの機能構成の一例について示す機能構成図である。

【図15】第３実施形態に係る影領域検出システムを備える撮像装置の第１の配置例を示す断面図である。

【図16】第３実施形態に係る影領域検出システムを備える撮像装置の第２の配置例を示す断面図である。

【発明を実施するための形態】

【0013】

本発明の態様に係る影領域検出装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

【0014】

［第１実施形態］
まず、図１から図１０を参照しながら、第１実施形態に係る影領域検出システム１について説明する。

【0015】

図１は、第１実施形態に係る影領域検出システムが検出する影について説明するための図である。図１（Ａ）は、被写体としての物体Ａについて、ＲＧＢ画像を撮像する場合の一例を示している。図中には、撮像されるＲＧＢ画像の画角を示す。ここで、図示するような画角でＲＧＢ画像を撮像する際、画角の外には物体Ｂが存在するものとする。この場合、太陽等の光源と、物体Ｂとの影響により、物体ＡのＲＧＢ画像には影が映し出されていることが分かる。影の部分は、物体Ａの本来の色情報より、暗くなる（すなわち、輝度が低くなる）。

【0016】

図１（Ｂ）は、物体Ａと同様の形状を有するが、異なる色情報を有する物体Ｂを示す。同図には、物体Ｂが本来有する色情報を示している。換言すれば、物体Ｂは、影の影響によることなく、図示するような色情報を有している。図１（Ａ）に示す物体Ａの色情報と、図１（Ｂ）に示す物体Ｂの色情報とは、互いに同一又は類似する。このように、ＲＧＢ画像を見ただけでは、周囲より暗い部分（すなわち、輝度が低い部分）が、被写体本来の色なのか、図１（Ａ）に示すように、画像に映らない物体による影の色なのか、判断できない場合がある。

【0017】

将来メタバース空間等のヴァーチャル空間に合成することを前提とした三次元モデルを生成する際、被写体である物体が有する色情報のうち、どの部分が影の部分であるかが分かると、色情報を補正したうえで三次元モデルを生成することが可能となる。本実施形態に係る影領域検出システム１によれば、物体を撮像して得られた色情報のうち影である領域を検出することができる。

【0018】

図２は、第１実施形態に係る影領域検出システムの機能構成の一例について示す機能構成図である。同図を参照しながら、影領域検出システム１の機能構成の一例について説明する。影領域検出システム１は、影領域検出装置１０と、記憶装置２１と、記憶装置２２と、測距センサ３１と、ＲＧＢセンサ３２と、偏光センサ３３とを備える。

【0019】

記憶装置２１は、影領域検出装置１０の処理に要するパラメータ等を記憶する。記憶装置２１に記憶されたパラメータ等は、ユーザ等により適宜書き換えられるものであってもよいし、時間帯、気温又は天気等の環境情報に応じて変化するものであってもよい。記憶装置２２は、影領域検出装置１０により検出された影領域を特定するための情報を記憶する。なお、記憶装置２１及び記憶装置２２は、いずれも影領域検出装置１０に含まれていてもよい。

【0020】

測距センサ３１は、被写体の三次元情報を取得する。具体的には、測距センサ３１は、被写体までの距離を複数の点において測定することにより、距離画像を取得する。測距センサ３１は、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、被写体に対して二次元的に光を照射し、反射光を受光するまでの時間に基づいて距離を計測するものであってもよい。測距センサ３１は、取得した距離画像を、影領域検出装置１０に出力する。

【0021】

ＲＧＢセンサ３２は、測距センサ３１による測距対象である被写体と同一の被写体についてのＲＧＢ画像を撮像する。測距センサ３１により取得される距離画像の座標と、ＲＧＢセンサ３２により取得されるＲＧＢ画像の座標とは、互いに対応するものであることが好適である。なお、測距センサ３１及びＲＧＢセンサ３２は、不図示の深度カメラ（ＲＧＢＤカメラ）が備える構成要件であってもよい。ＲＧＢセンサ３２は、例えばベイヤーパターンに配列されたＲＧＢ各色のフィルタを有するフォトダイオードを複数備え、ＲＧＢ各色の輝度情報を取得する。ＲＧＢセンサ３２は、取得したＲＧＢ画像を例えばＲＡＷ画像として影領域検出装置１０に出力する。

【0022】

偏光センサ３３は、測距センサ３１による測距対象であり、ＲＧＢセンサ３２による撮像対象である被写体と同一の被写体についての偏光画像を取得する。偏光センサ３３は、複数の異なる偏光角度を有する偏光フィルタ（偏光子）をそれぞれ介して撮像された複数の偏光画像を撮像する。偏光センサ３３は、取得した偏光画像を影領域検出装置１０に出力する。

【0023】

影領域検出装置１０は、画像取得部１１１と、リサイズ部１１３と、色相・輝度計算部１１５と、領域区分け部１１９と、偏光画像取得部１３１と、偏光角算出部１３２と、リサイズ部１３３と、影候補検出部１５０とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するコンピュータおよびソフトウェアによって実現するようにしてもよい。

【0024】

画像取得部１１１は、被写体の情報を二次元平面上の各座標に有する画像を取得する。当該画像には、被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像と、被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像とが含まれる。すなわち、画像取得部１１１は、ＲＧＢ画像又は距離画像のうち、少なくとも一方を取得する。具体的には、画像取得部１１１は、ＲＧＢセンサ３２からＲＧＢ画像を取得する。画像取得部１１１は、取得したＲＧＢ画像を、ディベイヤー（ディモザイク）処理し、ＲＧＢ各色の画像信号を得る。また、画像取得部１１１は、測距センサ３１から距離画像を取得する。

【0025】

リサイズ部１１３は、画像取得部１１１から距離画像に関する情報を取得する。リサイズ部１１３は、距離画像の解像度と、ＲＧＢ画像から得られるＲＧＢ各色の解像度とが互いに異なる場合に、距離画像をリサイズ（アップコンバート）し、互いに同じ解像度に合わせる。なお、リサイズ部１１３は、画像取得部１１１からＲＧＢ各色の画像信号を取得し、ＲＧＢ各色の画像信号をリサイズ（ダウンコンバート）することにより、互いに同じ解像度に合わせてもよい。

【0026】

領域区分け部１１９は、リサイズ部１１３により互いに同じ解像度に合わせられた距離画像と、ＲＧＢ画像とを取得する。領域区分け部１１９は、取得した画像の各座標について、各座標が有する被写体の情報に基づき、複数の領域に区分する。領域区分け部１１９は、具体的には、距離領域区分け部１１６と、色領域区分け部１１７と、物体領域区分け部１１８とを備える。距離領域区分け部１１６は、距離画像に基づいた領域区分け処理を行う。距離領域区分け部１１６は、距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分するということもできる。色領域区分け部１１７は、ＲＧＢ画像に基づいた領域区分け処理を行う。色領域区分け部１１７は、ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分するということもできる。物体領域区分け部１１８は、距離領域区分け部１１６により行われた領域区分け結果と、色領域区分け部１１７により行われた領域区分け結果とに基づいた領域区分け処理を行う。領域区分け処理とは、画像が有する各座標を、画像に存在する複数の物体それぞれについての領域に区分けする処理である。領域区分け処理においては、同一の物体の中の同系色の領域には同一の識別番号（ＩＮＤＥＸ番号）が付される。

【0027】

まず、距離領域区分け部１１６により行われる領域区分け処理について説明する。距離領域区分け部１１６は、リサイズ部１１３により距離画像がリサイズされ、ＲＧＢ各色の画像信号と互いに同じ解像度に合わせられた距離画像を取得する。また、距離領域区分け部１１６は、記憶装置２１から、距離領域区分け処理に用いられるパラメータであるＤＴＨ１ｍａｘと、ＤＴＨ１ｍｉｎと、ＤＴＨ２と、ＤＴＨ３とを取得する。

【0028】

ＤＴＨ１ｍａｘとは、被写体の背景の距離データについて、影検出の領域から除去するための距離を設定するものである。換言すれば、ＤＴＨ１ｍａｘとは、被写体の奥行き方向の最大値であるということもできる。ＤＴＨ１ｍｉｎとは、被写体の手前の距離データについて、影検出の領域から除去するための距離を設定するものである。換言すれば、ＤＴＨ１ｍｉｎとは、被写体の手前方向の最大値であるということもできる。ＤＴＨ２とは、隣り合う座標の距離値が、同一平面のものか否かを判定するための閾値である。ＤＴＨ３とは、センサに起因する大きなランダムノイズや、デッドピクセル等に基づく異常値を除去するための閾値である。距離領域区分け部１１６は、これらのパラメータを用いて、被写体の物体の領域について区分け処理を行い、各領域に距離ＩＮＤＥＸ番号を付していく。これは、同じ物体であれば隣接するピクセルの距離値は、大きく離れていないという考え方を基本とするものである。距離ＩＮＤＥＸ番号とは、距離情報に基づきピクセルごとに付される番号であり、同一の物体であると推定されるピクセルには、同一の番号が付されるものである。

【0029】

距離領域区分け部１１６により、距離ＩＮＤＥＸ番号が付されていく動作を、図３、図４Ａ及び図４Ｂを参照しながら詳細に説明する。

【0030】

図３は、第１実施形態に係る距離領域区分け部による距離領域区分け処理について説明するための図である。同図は、画像取得部１１１により取得された距離画像（Ｄｅｐｔｈデータ画像）を、説明のため少ないピクセル数で表したものである。同図において、距離画像の値（距離値）を、グレーの濃さにより表している。具体的には、色が濃い部分程近くに存在する物体を示し、色が薄い部分程遠くに存在する物体を示している。図３（Ａ）は、各座標に、説明のために用いる各座標を識別するための番号を付したものを示している。図３（Ｂ）は、距離領域区分け部１１６により付された距離ＩＮＤＥＸ番号を示している。

【0031】

図４Ａ及び図４Ｂ（以下、単に図４と記載する場合がある）は、第１実施形態に係る距離領域区分け部による距離領域区分け処理の一例を示すフローチャートである。図示するフローチャートは、図３に示す距離画像の左上端ピクセルから、水平方向、垂直方向のスキャンで順序処理を行う場合の処理の流れを示したものである。図４に示すフローチャートは、図３に示した矢印のような順次走査で処理するようにループする。

【0032】

まず、距離領域区分け部１１６は、距離画面から３×３ピクセルの領域の距離値（Ｄｅｐｔｈデータ）を取得する（ステップＳ１１１）。ここで、取得した３×３ピクセルの中には、センサのノイズやデッドピクセルにより突出して１ピクセルだけ周囲と違うデータが含まれることがある。距離領域区分け部１１６は、まずステップＳ１１２及びステップＳ１１３において、このようなデータに距離ＩＮＤＥＸ番号をつける。具体的には、距離領域区分け部１１６は、３×３ピクセルの中心だけ周囲ピクセル全てと比較して、距離値の差が、＋ＤＴＨ３以上又は－ＤＴＨ３以下であるか否かを判定する（ステップＳ１１２）。距離領域区分け部１１６は、距離値に所定の差があると判定した場合（すなわちステップＳ１１２；ＹＥＳ）、３×３ピクセルの中心ピクセルの距離ＩＮＤＥＸ番号を、左隣の距離ＩＮＤＥＸ番号とする（ステップＳ１１３）。なお、一番左上の３×３領域で、まだ距離ＩＮＤＥＸ番号が振られていない場合は、距離ＩＮＤＥＸ番号を０にする。距離領域区分け部１１６は、距離値に所定の差が無いと判定した場合（すなわちステップＳ１１２；ＮＯ）、処理をステップＳ１１４に進める。

【0033】

図３（Ａ）を見ると、中心部分にＦと付された座標が存在する。当該座標のピクセルは、周辺との距離値の差が±ＤＴＨ３であったとする。このような場合、当該座標のピクセルは、左隣のピクセルの距離ＩＮＤＥＸ番号となる。具体的には、図３（Ｂ）に示した通り、距離ＩＮＤＥＸ番号が左隣の距離ＩＮＤＥＸ番号と同様、１と判定されている。判定された距離ＩＮＤＥＸ番号は一時記憶部（不図示）に記憶され、次のピクセルに移り、フローの始めにループする。なお、以下に説明する処理についても、距離ＩＮＤＥＸ番号をピクセルごとに付していき、付された距離ＩＮＤＥＸ番号は、一時記憶部に記憶されるものとする。

【0034】

ステップＳ１１２がＮＯの場合は、次に、距離領域区分け部１１６は、ステップＳ１１４及びステップＳ１１５において、被写体の奥に存在する背景や、被写体の手前に存在する余計な物体を影検出の対象から除外する処理を行う。具体的に、距離領域区分け部１１６は、距離閾値ＤＴＨ１ｍａｘ、及びＤＴＨ１ｍｉｎを用いた判定を行う。ＤＴＨ１ｍａｘとは、被写体より遠くにある物体を影検出の対象から除外するための閾値である。また、ＤＴＨ１ｍｉｎとは、被写体より近くにある物体を影検出の対象から除外するための閾値である。まず、距離領域区分け部１１６は、３×３ピクセルの中心ピクセルの距離値が、ＤＴＨ１ｍｉｎ以下又はＤＴＨ１ｍａｘ以上であるかを判定する（ステップＳ１１４）。距離領域区分け部１１６は、距離値が閾値を超えていた場合（すなわちステップＳ１１４；ＹＥＳ）、中心ピクセルの距離ＩＮＤＥＸ番号を、０とする（ステップＳ１１５）。また、距離領域区分け部１１６は、距離値が閾値を超えていない場合（すなわちステップＳ１１４；ＮＯ）、処理をステップＳ１１６に進める。具体的に、図３（Ａ）に示す一例では、数字が付されていない座標については、ＤＴＨ１ｍａｘを超えた部分、すなわち被写体の奥に存在する背景であると判定された部分を示している。また、３３乃至３９の番号が付されている部分が、ＤＴＨ１ｍｉｎ以下の部分、すなわち被写体の手前に存在する余計な物体であると判定された部分を示している。このような部分は、図３（Ｂ）に示す通り、距離ＩＮＤＥＸ番号は０となる。

【0035】

ステップＳ１１４がＮＯの場合は、次に、距離領域区分け部１１６は、ステップＳ１１６及びステップＳ１１７において、新たに検出された物体に対して距離ＩＮＤＥＸ番号を付す。換言すれば、距離領域区分け部１１６は、物体の輪郭部分に対して新たな距離ＩＮＤＥＸ番号を付していくということもできる。具体的に、距離領域区分け部１１６は、左上のピクセルから、水平方向に順次スキャンを行っていくため、あるピクセルをスキャンする場合には、３×３ピクセルのうち、上部３ピクセルと、左１ピクセルについては、既にスキャンが完了しているということができる。距離領域区分け部１１６は、このようにスキャンが完了しているピクセルのうち、まだ０以外の距離ＩＮＤＥＸ番号が無いか判定する（ステップＳ１１６）。距離領域区分け部１１６は、まだ０以外の距離ＩＮＤＥＸ番号が無い場合（すなわちステップＳ１１６；ＹＥＳ）、当該ピクセルに距離ＩＮＤＥＸ番号を付す（ステップＳ１１７）。また、距離領域区分け部１１６は、まだ０以外の距離ＩＮＤＥＸ番号が有る場合（すなわちステップＳ１１６；ＮＯ）、処理をステップＳ１１８に進める。このような作業を行うことにより、距離領域区分け部１１６は、３×３の中央ピクセルについて、これまで付されていなかったピクセルについて、距離ＩＮＤＥＸ番号を付すことができる。図示する一例において、図３（Ａ）の１が付されているピクセルは、左上からスキャンしていき、初めて物体があると判定されたピクセルであるため、距離ＩＮＤＥＸ番号として１が付されている。また、２２が付されているピクセルは、すでに距離ＩＮＤＥＸ番号が３まで付されている状況において、付されたものであるため、距離ＩＮＤＥＸ番号として４が付されている。

【0036】

ステップＳ１１６がＮＯの場合は、次に、距離領域区分け部１１６は、ステップＳ１１８乃至ステップＳ１２１において、物体であると判定された部分が同一平面上に存在するか否かを判定する。すなわち、距離領域区分け部１１６は、ステップＳ１１８乃至ステップＳ１２１において、同一の距離ＩＮＤＥＸ番号を付すか、異なる距離ＩＮＤＥＸ番号を付すかを判定する。ここで、ステップＳ１１８の処理が行われる場合とは、３×３ピクセルのうち、すでにスキャンして距離ＩＮＤＥＸ番号が付された上部３ピクセルと左１ピクセルにおいて、０以外の距離ＩＮＤＥＸ番号がある場合ということができる。このような場合において、距離領域区分け部１１６は、３×３ピクセルの中心ピクセルがすでに距離ＩＮＤＥＸ番号が付されているものと同じ平面のものかどうか、ＤＴＨ２の閾値レベルに基づいて判定を行う。

【0037】

距離領域区分け部１１６は、具体的には、上部３ピクセルと左１ピクセルの距離値のいずれかが、３×３の中央ピクセルの距離値の－ＤＴＨ２～＋ＤＴＨ２以内であるか否かを判定する（ステップＳ１１８）。距離領域区分け部１１６は、上部３ピクセルと左１ピクセルの距離値のいずれかが、３×３の中央ピクセルの距離値の－ＤＴＨ２～＋ＤＴＨ２以内であれば（すなわち、ステップＳ１１８；ＹＥＳ）、互いに同じ平面とみなし、互いに同じ距離ＩＮＤＥＸ番号を付す。このとき、中心ピクセルの距離値に対して、－ＤＴＨ２～＋ＤＴＨ２内のものが複数ピクセルある場合、それらのピクセルは全て、その中で一番若い距離ＩＮＤＥＸ番号とする（ステップＳ１１９）。また、上部３ピクセルと左１ピクセルにおいて、すでに距離ＩＮＤＥＸ番号が付されており、距離ＩＮＤＥＸ番号が書き換えられた場合、これまでスキャンして距離ＩＮＤＥＸ番号が記憶されている座標を参照し、同じ距離ＩＮＤＥＸ番号を有する各座標についても全て書き換える（ステップＳ１２１）。

【0038】

図示する一例において、図３（Ａ）の座標が２、６、１２、及び１３のピクセルは、座標が１８のピクセルについてスキャン処理を行うまでは、距離ＩＮＤＥＸ番号が２とされていたが、座標が１８のピクセルについての判定を行うときに、距離ＩＮＤＥＸ番号が１に振り直されている。これは、座標が１７のピクセルの距離値が、－ＤＴＨ２～＋ＤＴＨ２以内であったためである。その際、図３（Ｂ）に示すように、３×３ピクセルの領域外のすでに距離ＩＮＤＥＸ番号が２として記憶されていた座標が２、６、１２、及び１３の各ピクセルについても、距離ＩＮＤＥＸ番号が１に振り直されている。このように処理をした後、次のピクセル処理に移る。

【0039】

距離領域区分け部１１６は、上部３ピクセルと左１ピクセルの距離値のいずれかが、３×３の中央ピクセルの距離値の－ＤＴＨ２～＋ＤＴＨ２以内でなければ（すなわち、ステップＳ１１８；ＮＯ）、対象のピクセルの距離ＩＮＤＥＸ番号を、今まで付してきた距離ＩＮＤＥＸ番号以外の番号に更新して、新たな距離ＩＮＤＥＸ番号とする（ステップＳ１２０）。例えば図３（Ａ）に示す座標が７のピクセルについて、このピクセルのスキャン処理時において、距離ＩＮＤＥＸ番号は２である。しかしながら、左のピクセル（すなわち座標が６のピクセル）と、左上のピクセル（すなわち座標が２のピクセル）との距離値が、－ＤＴＨ２～＋ＤＴＨ２以内に入らない場合、距離ＩＮＤＥＸ番号が更新され、距離ＩＮＤＥＸ番号が３として記憶される（ステップＳ１２０）。また、距離領域区分け部１１６は、当該処理が行われた後、次のピクセルの処理に移る（ステップＳ１２２）。

【0040】

距離領域区分け部１１６は、以上のような流れで、すべてのピクセルをスキャンしていく。すなわち、本実施形態においては、複数回の判定が行われた結果、距離ＩＮＤＥＸ番号が更新されていく。図３（Ｂ）では、全てのピクセルについて、最終的に得られた結果を示している。

【0041】

図２に戻り、距離領域区分け部１１６は、最終的に得られた距離ＩＮＤＥＸ番号についての情報を物体領域区分け部１１８に出力する。

【0042】

次に、色領域区分け部１１７により行われる領域区分け処理について説明する。色領域区分け部１１７は、画像取得部１１１により取得されたＲＧＢ画像に基づくＲＧＢ各色の信号と、リサイズ部１１３により距離画像がリサイズされ、ＲＧＢ各色の画像信号と互いに同じ解像度に合わせられた距離画像とを取得する。また、色領域区分け部１１７は、色領域区分け処理に用いられるパラメータであるＷＴＨと、ＤＴＨ１ｍｉｎと、ＤＴＨ１ｍａｘと、ＨＵＥＴＨと、ＳＡＴＴＨとを取得する。ＤＴＨ１ｍｉｎ及びＤＴＨ１ｍａｘは、距離領域区分け部１１６により行われる距離領域区分け処理と同様のパラメータであってもよい。

【0043】

ＷＴＨとは、ＲＧＢセンサの突出したノイズや、デッドピクセル等に基づく異常値を除外するための閾値である。ＷＴＨは、温度に応じて変動する値であってもよい。ＨＵＥＴＨとは、色で領域を区分けするための、色相についての閾値である。ＳＡＴＴＨとは、色飽和についての閾値である。色領域区分け部１１７は、これらのパラメータを用いて、被写体の物体の領域について区分け処理を行い、各領域に色ＩＮＤＥＸ番号を付していく。これは、同じ物体で同じ色であれば、たとえそれが影と影でない部分であったとしても、両者は互いに似た色相に収まるという考え方を基本とするものである。色ＩＮＤＥＸ番号とは、色相情報に基づきピクセルごとに付される番号であり、同一の物体の中の同系色であると推定されるピクセルには、同一の番号が付されるものである。距離ＩＮＤＥＸ番号と、色ＩＮＤＥＸ番号とは、互いに異なるアプローチによりそれぞれ同一の物体の距離による領域と色による領域に領域分けをしたものである。

【0044】

なお、色相を判断できない場合、例えば色のない黒、グレー、白の物体は、色の飽和がノイズレベル程度に小さい。したがって、本実施形態において、ある色飽和レベル以下のものは、白黒グレーの同じ物体としている。

【0045】

色領域区分け部１１７により、色ＩＮＤＥＸ番号が付されていく動作を、図５、図６Ａ及び図６Ｂを参照しながら詳細に説明する。

【0046】

図５は、第１実施形態に係る色領域区分け部による色領域区分け処理について説明するための図である。同図は、画像取得部１１１により取得されたＲＧＢ画像を、説明のため少ないピクセル数で表したものである。同図では、画素値をグレーの濃さにより表している。図５（Ａ）は、各座標に、説明のために用いる各座標を識別するための番号を付している。図５（Ｂ）は、色領域区分け部１１７により付された色ＩＮＤＥＸ番号を示している。

【0047】

図６Ａ及び図６Ｂ（以下、単に図６と記載する場合がある）は、第１実施形態に係る色領域区分け部による色領域区分け処理の一例を示すフローチャートである。図示するフローチャートは、図５に示すＲＧＢ画像の左上端ピクセルから、水平方向、垂直方向のスキャンで順序処理を行う場合の処理の流れを示したものである。図５に示した矢印のような順次走査で処理するように、図６に示すフローチャートはループする。

【0048】

まず、色領域区分け部１１７は、入力されたＲＧＢ各色の信号を、輝度Ｙ、色相ＨＵＥ、色飽和ＳＡＴに変換する。当該変換には、例えば次（１）式から（５）式のような数式が用いられてもよい。

【0049】

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ・・・（１）
Ｐｂ＝－０．１１４６×Ｒ－０．３８５４×Ｇ＋０．５０００×Ｂ・・・（２）
Ｐｒ＝０．５０００×Ｒ－０．４５４２×Ｇ－０．０４５８×Ｂ・・・（３）
ＨＵＥ＝ＡＴＡＮ（Ｐｒ／Ｐｂ）・・・（４）
ＳＡＴ＝ＳＱＲＴ（ＰＢ＾２＋Ｐｒ＾２）・・・（５）

【0050】

色領域区分け部１１７は、これら（１）式から（５）式を用いて、３×３の全てのピクセルについて、ＨＵＥ、ＳＡＴ、及びＹを算出しておく（ステップＳ２１１）。また、色領域区分け部１１７は、３×３ピクセルの中心ピクセルの距離値（Ｄｅｐｔｈ値）についても取得しておく。

【0051】

次に、色領域区分け部１１７は、ステップＳ２１２及びステップＳ２１３において、ＲＧＢセンサに起因するノイズのうち突出して大きいノイズや、デッドピクセル等に基づく異常値を有するピクセル、及び白キズ、黒キズと呼ばれる画素欠陥を有するピクセルの処理を行う。具体的には、色領域区分け部１１７は、まず、３×３ピクセルの中心ピクセルにおけるＲＧＢ各色の信号と、３×３の周辺８ピクセルのＲＧＢ各色の信号とを比較する（ステップＳ２１２）。周辺８ピクセルにおいて、画素値が中心ピクセルの＋ＷＴＨ以上、又は―ＷＴＨ以下であるチャンネルが一つでもある場合（すなわち、ステップＳ２１２；ＹＥＳ）、色領域区分け部１１７は、当該中心ピクセルをデッドピクセルとみなし、左隣の色ＩＮＤＥＸ番号とする（ステップＳ２１３）。なお、一番左上の３×３領域において、まだ色ＩＮＤＥＸ番号が付されていない場合は、色ＩＮＤＥＸ番号を０とする。

【0052】

図示する一例において、図５（Ａ）では、Ｗと示したピクセルが、周辺よりＲＧＢ値が±ＷＴＨより離れているものとする。この場合、色領域区分け部１１７は、隣のピクセルの色ＩＮＤＥＸ番号をＷと示したピクセルの色ＩＮＤＥＸ番号とする。図５（Ｂ）を見ると、図５（Ａ）においてＷと示したピクセルの色ＩＮＤＥＸ番号は、隣のピクセル（すなわち、座標が１６であるピクセル）の色ＩＮＤＥＸ番号と同様となっている。判定された色ＩＮＤＥＸ番号は一時記憶部（不図示）に記憶され、次のピクセルに移り、フローの始めにループする。なお、以下に説明する処理についても、色ＩＮＤＥＸ番号をピクセルごとに付していき、付された色ＩＮＤＥＸ番号は、一時記憶部に記憶されるものとする。

【0053】

ステップＳ２１２がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２１４及びステップＳ２１５において、被写体の奥に存在する背景や、被写体の手前に存在する余計な物体を影検出の対象から除外する処理を行う。具体的に、色領域区分け部１１７は、距離閾値ＤＴＨ１ｍａｘ、及びＤＴＨ１ｍｉｎを用いた判定を行う。まず、色領域区分け部１１７は、中心ピクセルの距離値が、ＤＴＨ１ｍｉｎ以下又はＤＴＨ１ｍａｘ以上であるかを判定する（ステップＳ２１４）。色領域区分け部１１７は、距離値が閾値を超えていた場合（すなわちステップＳ２１４；ＹＥＳ）、中心ピクセルの色ＩＮＤＥＸ番号を、０とする（ステップＳ２１５）。また、色領域区分け部１１７は、距離値が閾値を超えていない場合（すなわちステップＳ２１４；ＮＯ）、処理をステップＳ２１６に進める。具体的に、図５（Ａ）に示す一例では、数字が付されていない座標については、ＤＴＨ１ｍａｘを超えた部分、すなわち被写体の奥に存在する背景であると判定された部分を示している。また、３５乃至４１の番号が付されている部分が、ＤＴＨ１ｍｉｎ以下の部分、すなわち被写体の手前に存在する余計な物体であると判定された部分を示している。このような部分は、図５（Ｂ）に示す通り、色ＩＮＤＥＸ番号は０となる。

【0054】

ステップＳ２１４がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２１６及びステップＳ２１７において、新たに検出された物体に対して色ＩＮＤＥＸ番号を付す。換言すれば、物体の輪郭部分に対して新たな色ＩＮＤＥＸ番号を付していくということもできる。具体的に、色領域区分け部１１７は、左上のピクセルから、水平方向に順次スキャンを行っていくため、あるピクセルをスキャンする場合には、３×３ピクセルのうち、上部３ピクセルと、左１ピクセルについては、既にスキャンが完了しているということができる。色領域区分け部１１７は、このようにスキャンが完了しているピクセルのうち、まだ０以外の色ＩＮＤＥＸ番号が無いか判定する（ステップＳ２１６）。色領域区分け部１１７は、まだ０以外の色ＩＮＤＥＸ番号が無い場合（すなわちステップＳ２１６；ＹＥＳ）、当該ピクセルに色ＩＮＤＥＸ番号を付す（ステップＳ２１７）。また、色領域区分け部１１７は、まだ０以外の距離ＩＮＤＥＸ番号が有る場合（すなわちステップＳ２１６；ＮＯ）、処理をステップＳ２１８に進める。このような作業を行うことにより、色領域区分け部１１７は、３×３の中央ピクセルについて、これまで付されていなかったピクセルについて、色ＩＮＤＥＸ番号を付すことができる。図示する一例において、図５（Ａ）の１が付されているピクセルは、左上からスキャンしていき、初めて物体があると判定されたピクセルであるため、距離ＩＮＤＥＸ番号として１が付されている。また、２４が付されているピクセルは、すでに距離ＩＮＤＥＸ番号が３まで付されている状況において、付されたものであるため、距離ＩＮＤＥＸ番号として４が付されている。

【0055】

ステップＳ２１６がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２１８及びステップＳ２１９において、画素値が白黒グレーの付近のものか否かを判定する。白黒グレーの付近のものか否かの判定には、ＳＡＴＴＨの閾値が用いられる。具体的に、色領域区分け部１１７は、上部３ピクセルと左１ピクセルのいずれかに１以上の色ＩＮＤＥＸ番号が付されているピクセルが少なくとも１以上存在し、上部３ピクセルと左１ピクセルのＳＡＴ（上述した（５）式を参照）がＳＡＴＴＨ以内であるか否かを判定する（ステップＳ２１８）。この条件に該当するピクセルが１つでも存在する場合（すなわち、ステップＳ２１８；ＹＥＳ）、これらのピクセルは同じ色とみなされ、同じ色ＩＮＤＥＸ番号が付される。このとき、ＳＡＴＴＨ内のものが複数ピクセルある場合はそれらのピクセルは全て、その中で一番若い距離ＩＮＤＥＸ番号とする（ステップＳ２１９）。図示する一例において、図５（Ａ）の７が付されているピクセル及び８が付されているピクセルは、スキャン処理が行われるまでの間、色ＩＮＤＥＸ番号は４であった。しかしながら、８が付されているピクセルについてのスキャン処理がおこなわれると、左の７が付されているピクセルのＳＡＴ値がＳＡＴＴＨ以内であったため、色ＩＮＤＥＸ番号が２に振り直されている。ここで、もし３×３領域以外において、既に色ＩＮＤＥＸ番号が４として付されているものが記憶されていれば、同時に色ＩＮＤＥＸ番号を２として振り直し、記憶し直す。色領域区分け部１１７は、このような処理を行い次のピクセルに移る。

【0056】

ステップＳ２１8がＮＯの場合は、次に、色領域区分け部１１７は、ステップＳ２２０乃至ステップＳ２２３において、同じ色相のものであるか否かを判定する。すなわち、色領域区分け部１１７は、ステップＳ２２０乃至ステップＳ２２３において、同一の色ＩＮＤＥＸ番号を付すか、異なる色ＩＮＤＥＸ番号を付すかを判定する。ここで、ステップＳ２２０の処理が行われる場合とは、３×３ピクセルのうち、すでにスキャンして色ＩＮＤＥＸ番号が付された上部３ピクセルと左１ピクセルにおいて、０以外の色ＩＮＤＥＸ番号がある場合ということができる。このような場合において、色領域区分け部１１７は、３×３ピクセルの中心ピクセルがすでに色ＩＮＤＥＸ番号が付されているものと同じ色相のものかどうか、ＨＵＥＴＨの閾値レベルに基づいて判定を行う。

【0057】

色領域区分け部１１７は、具体的には、上部３ピクセルと左１ピクセルのＨＵＥ値のいずれかが、３×３の中央ピクセルのＨＵＥ値の－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内であるか否かを判定する（ステップＳ２２０）。色領域区分け部１１７は、上部３ピクセルと左１ピクセルのＨＵＥ値のいずれかが、３×３の中央ピクセルのＨＵＥ値の－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内であれば（すなわち、ステップＳ２２０；ＹＥＳ）、互いに同じ色相とみなし、互いに同じ色ＩＮＤＥＸ番号を付す。このとき、中心ピクセルの色相に対して、－ＨＵＥＴＨ～＋ＨＵＥＴＨ内のものが複数ピクセルある場合、それらのピクセルは全て、その中で一番若い色ＩＮＤＥＸ番号とする（ステップＳ２２１）。また、上部３ピクセルと左１ピクセルにおいて、すでに色ＩＮＤＥＸ番号が付されており、色ＩＮＤＥＸ番号が書き換えられた場合、これまでスキャンして色ＩＮＤＥＸ番号が記憶されている座標を参照し、同じ色ＩＮＤＥＸ番号を有する各座標についても全て書き換える（ステップＳ２２３）。

【0058】

図示する一例において、図５（Ａ）の座標が６及び１４のピクセルは、座標が２０のピクセルについてスキャン処理を行うまでは、色ＩＮＤＥＸ番号が３とされていたが、座標が２０のピクセルについての判定を行うときに、色ＩＮＤＥＸ番号が１に振り直されている。これは、座標が１９のピクセルのＨＵＥ値が、－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内であったためである。その際、図５（Ｂ）に示すように、３×３ピクセルの領域外のすでに色ＩＮＤＥＸ番号が３として記憶されていた座標が６及び１４の各ピクセルについても、色ＩＮＤＥＸ番号が１に振り直されている。このように処理をした後、次のピクセル処理に移る（ステップＳ２２４）。

【0059】

色領域区分け部１１７は、上部３ピクセルと左１ピクセルのＨＵＥ値のいずれかが、３×３の中央ピクセルのＨＵＥ値の－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内でなければ（すなわち、ステップＳ２２０；ＮＯ）、対象のピクセルの色ＩＮＤＥＸ番号を、今まで付してきた色ＩＮＤＥＸ番号以外の番号に更新して、新たな色ＩＮＤＥＸ番号とする（ステップＳ２２２）。例えば図５（Ａ）の座標が３４のピクセルについて、このピクセルのスキャン処理時において、色ＩＮＤＥＸ番号は１である。しかしながら、左のピクセル（すなわち座標が３３のピクセル）、左上のピクセル（すなわち座標が２８のピクセル）、及び上のピクセル（すなわち座標が２９のピクセル）のＨＵＥ値が、－ＨＵＥＴＨ～＋ＨＵＥＴＨ以内に入らない場合、色ＩＮＤＥＸ番号が更新され、色ＩＮＤＥＸ番号が５として記憶される（ステップＳ２２２）。また、距離領域区分け部１１６は、当該処理が行われた後、次のピクセルの処理に移る（ステップＳ２２４）。

【0060】

色領域区分け部１１７は、以上のような流れで、すべてのピクセルをスキャンしていく。すなわち、本実施形態においては、複数回の判定が行われた結果、色ＩＮＤＥＸ番号が更新されていく。図５（Ｂ）では、全てのピクセルについて、最終的に得られた結果を示している。

【0061】

図２に戻り、色領域区分け部１１７は、最終的に得られた色ＩＮＤＥＸ番号についての情報を物体領域区分け部１１８に出力する。

【0062】

物体領域区分け部１１８は、距離領域区分け部１１６から、距離ＩＮＤＥＸ番号についての情報を取得し、色領域区分け部１１７から、色ＩＮＤＥＸ番号についての情報を取得する。物体領域区分け部１１８は取得した情報に基づき、最終的な物体の領域区分けを行う。

【0063】

図７は、第１実施形態に係る物体領域区分け部による物体領域区分け処理について説明するための図である。同図を参照しながら、物体領域区分け部１１８により行われる物体領域区分け処理の一例について説明する。物体領域区分け部１１８は、色ＩＮＤＥＸ番号を基準として考え、色ＩＮＤＥＸ番号が０以外のピクセル部分に対して、ＯＢＪ＿ＩＮＤＥＸ番号を付していく。ここで、物体領域区分け部１１８が、（距離ＩＮＤＥＸ番号ではなく）色ＩＮＤＥＸ番号を基準とするのは、（測距センサ３１と比較して）ＲＧＢセンサ３２の方が、ノイズの影響を受けにくく、物体の境界が比較的なめらかであるためである。なお、本実施形態は、この一例に限定されるものではなく、物体領域区分け部１１８は、距離ＩＮＤＥＸ番号を基準として考えてもよい。

【0064】

物体領域区分け部１１８は、まず色ＩＮＤＥＸ番号が０以外であるピクセル部分の色ＩＮＤＥＸ番号を上位として、距離ＩＮＤＥＸ番号を下位として、ＯＢＪ＿ＩＮＤＥＸ番号をふっていく。例えば、色ＩＮＤＥＸ番号が２であり、距離ＩＮＤＥＸ番号が３である場合、ＯＢＪ＿ＩＮＤＥＸ番号は、２＿３となる。このように、全てのピクセルについて、ＯＢＪ＿ＩＮＤＥＸ番号をふっていく。全てのピクセルについてＯＢＪ＿ＩＮＤＥＸ番号を振った結果を、図７（Ａ）として示す。

【0065】

次に、物体領域区分け部１１８は、３×３ピクセルの領域ごとにＯＢＪ＿ＩＮＤＥＸ番号をスキャンしていき、その３×３ピクセルの中心のＯＢＪ＿ＩＮＤＥＸ番号について、上位の桁が０以外であり下位の桁が０の場合、周囲３×３ピクセルのうち上位の桁が同じ番号であり、下位の桁が同じ番号のピクセルの数が一番多い番号をふり、それをＯＢＪ＿ＩＮＤＥＸ番号として更新する。もし周囲にこの条件があてはまらなかった場合は、番号を０＿０としてＯＢＪ＿ＩＮＤＥＸ番号とする。なお、この条件が当てはまるピクセルは、図７（Ａ）においてはＯＢＪ＿ＩＮＤＥＸ番号が２＿０であるピクセルに相当する。当該ピクセルは、図７（Ｂ）に示すように、２＿３に更新される。なお、３×３ピクセルの中心のＯＢＪ＿ＩＮＤＥＸ番号の上位の桁が０以外であり、かつ下位の桁が０である条件にあてはまらなかった場合、ＯＢＪ＿ＩＮＤＥＸ番号の更新を行わない。このようにして、最終的な物体領域区分けがなされたＯＢＪ＿ＩＮＤＥＸ番号を得る。

【0066】

図２に戻り、物体領域区分け部１１８は、最終的な物体領域区分けがなされたＯＢＪ＿ＩＮＤＥＸ番号を、影候補１検出部１５１及び影候補２検出部１５２に出力する。以下の説明において、影候補１検出部１５１及び影候補２検出部１５２を含む構成を、影候補検出部１５０と記載する場合がある。影候補検出部１５０は、領域区分け部１１９により区分された画像の領域についての情報と、偏光画像取得部１３１により取得された偏光画像とに基づいて、画像の各座標について影部分と推定される座標の候補を検出するということもできる。

【0067】

影候補１検出部１５１は、次に同じＯＢＪ＿ＩＮＤＥＸ番号が付されたピクセル群の中から、影と推定される候補（以下、影候補と記載する）を検出する。物体領域区分け部１１８からＯＢＪ＿ＩＮＤＥＸ番号を取得し、記憶装置２１からＹＴＨを取得する。ここで、ＹＴＨとは、ＲＧＢの輝度信号Ｙと、影の暗さとの差があるか否かの区分けを行うための閾値である。ＹＴＨは、処理対象となる画像が撮像された時間（すなわち、画像取得部１１１が画像を取得する時間）や天気等に応じて変動する値であってもよい。

【0068】

影候補１検出部１５１は、まず、ＯＢＪ＿ＩＮＤＥＸ番号を左上からスキャンしていき、同じＯＢＪ＿ＩＮＤＥＸ番号が、番号ごとに何ピクセル存在するかを検出する。影候補１検出部１５１は、次に、同じＯＢＪ＿ＩＮＤＥＸ番号を有するピクセルの個数が５個以下の場合は、物体が小さすぎて影はないものとして扱う。この場合、影候補１検出部１５１は、出力信号である影候補１の値を０にする。影候補１検出部１５１は、同じＯＢＪ＿ＩＮＤＥＸ番号を有するピクセルの個数が６個以上である場合、６個のうち輝度Ｙの明るさ順に上位から３個の輝度値の平均を算出する。影候補１検出部１５１は、算出した平均輝度値から、ＹＴＨ低い輝度値のピクセルが存在すれば、当該ピクセルは影部分であるとみなし、出力信号である影候補１の値を１にする。影候補１検出部１５１は、算出した平均輝度値のうち、ＹＴＨ低い輝度値を有するピクセルが存在しない場合、影は存在しないものとみなし、影候補１を０とする。影候補１検出部１５１は、このようにして得た影候補１を、影候補２検出部１５２に出力する。なお、出力信号である影候補１とは、ＯＢＪ＿ＩＮＤＥＸ番号ごとに存在する値である。

【0069】

次に、偏光画像取得部１３１、偏光角算出部１３２及びリサイズ部１３３の機能について説明する。偏光角算出部１３２及びリサイズ部１３３の機能の前提となる事項して、偏光センサ３３の構成の一例について説明する。

【0070】

図８は、第１実施形態に係る偏光センサの構成の一例について説明するための図である。偏光センサ３３は、図８（Ａ）に示すように、マイクロレンズアレイ３３１と、偏光板アレイ３３２と、ピクセルアレイ３３３とを備える。マイクロレンズアレイ３３１は複数のマイクロレンズを備え、偏光板アレイ３３２は複数の偏光子（偏光板）を備え、ピクセルアレイ３３３は複数のピクセル（画素）を備える。図示するように偏光子は、ピクセルごとに偏光角度が４５度ずつ変えて実装されている。図８（Ｂ）には、偏光子ごとの偏光角度を示している。図示するように、偏光センサ３３は、４個のピクセルにより、０度、４５度、９０度、１３５度の偏光度を把握できる。

【0071】

図２に戻り、偏光画像取得部１３１は、このような偏光センサ３３により撮像された偏光画像を取得する。当該偏光画像には、４つの偏光方向の信号が含まれる。当該偏光画像は、被写体を、複数の異なる偏光角度を有する偏光フィルタを介して撮像された画像であるということもできる。このような偏光センサ３３から得られた４つの偏光方向の信号から、その偏光角度を求めることは広く知られており、例えば下記の（６）式から（８）式を用いた計算により求めることができる。なお、偏光センサ３３から得られる４つの偏光角度の信号を、Ｈ０、Ｈ４５、Ｈ９０、及びＨ１３５と記載する。

【0072】

Ｑ＝Ｈ０－Ｈ９０・・・（６）
Ｕ＝Ｈ４５－Ｈ１３５・・・（７）

【0073】

この場合の偏光角度ＡｏＬＰは、次の（８）式により求めることができる。

【0074】

ＡｏＬＰ＝１／２ＡＴＡＮ（Ｕ／Ｑ）・・・（８）

【0075】

偏光角算出部１３２は、上述した（６）式から（８）式を用いた計算を行うことにより、ＡｏＬＰを得る。

【0076】

リサイズ部１３３は、ＲＧＢセンサ３２と同じ画素分の偏光角度の画素数になるように、リサイズを行う。

【0077】

ここで、ある被写体の光部分と影部分とでは、同じ物体でも偏光角度が大きく異なる性質があることに注目する。影は光の当たり方が違うためにできるものである。したがって、影部分の偏光角度は、光の当たっている部分の偏光角度と異なるものとなる。

【0078】

図９は、第１実施形態に係る偏光センサにより得られた偏光角度の信号に基づき、色分けした場合の一例である。図９（Ａ）は、偏光センサから得られた４つの偏光角度の各信号を示す。図９（Ｂ）は、これらの信号から、上記の式（８）を用いて偏光角度ＡｏＬＰを算出し、その角度を色分けした場合の一例である。図示するように、影部分と、影ではない部分とは、同じ物体であっても、偏光角度が異なることが分かる。

【0079】

図２に戻り、影候補１と、偏光センサ３３により得られた情報とに基づき、最終的な影候補を検出する処理について説明する。

【0080】

影候補２検出部１５２は、影候補１検出部１５１から影候補１を取得し、物体領域区分け部１１８からＯＢＪ＿ＩＮＤＥＸ番号を取得する。また、影候補２検出部１５２は、記憶装置２１からＤＥＧＴＨを取得する。ＤＥＧＴＨとは、偏光角度の差があるかどうかの判定に用いられる閾値である。影候補２検出部１５２は、同じ番号のＯＢＪ＿ＩＮＤＥＸ番号の中から、影候補１の信号が１である部分について、平均の偏光角度ＡｏＬＰを算出する。具体的に、影候補２検出部１５２は、偏光角算出部１３２により偏光角度ＡｏＬＰが算出され、リサイズ部１３３によりリサイズが行われた後の情報から、影候補１の信号が１である部分に対応する部分の偏光角度ＡｏＬＰを抽出してもよい。影候補２検出部１５２は、算出した偏光角度ＡｏＬＰを、ＡｏＬＰ＿Ｓｈａｄｏｗ１として記憶する。次に、影候補２検出部１５２は、同じＯＢＪ＿ＩＮＤＥＸ番号の中から影候補１の信号が０の部分の平均の偏光角度ＡｏＬＰを算出する。影候補２検出部１５２は、算出した偏光角度ＡｏＬＰを、ＡｏＬＰ＿Ｓｈａｄｏｗ０とする。

【0081】

次に、影候補２検出部１５２は、算出したＡｏＬＰ＿Ｓｈａｄｏｗ１と、ＡｏＬＰ＿Ｓｈａｄｏｗ０との角度差の差分を算出する。また、影候補２検出部１５２は、算出した差分がＤＥＧＴＨ以上であるか否かを算出する。影候補２検出部１５２は、算出した差分がＤＥＧＴＨ以上である部分を、最終的な影部分と判断して、ＳＨＡＤＯＷ信号を１として出力する。また、影候補２検出部１５２は、算出した差分がＤＥＧＴＨ以下であれば、ＳＨＡＤＯＷ信号を０にする。このＳＨＡＤＯＷ信号は、画素ごとに存在するものであり、ＲＧＢ画像及び距離画像の解像度と一致するものである。すなわち、画素ごとのＳＨＡＤＯＷ信号を含む情報をＳＨＡＤＯＷ画像ということもできる。

【0082】

図１０は、第１実施形態に係るＳＨＡＤＯＷ画像の一例を示す図である。図示するＳＨＡＤＯＷ画像は、図３、図５及び図７に対応するものである。１は、影部分を示しており、０は影でない部分を示している。本実施形態によれば、図示するようなＳＨＡＤＯＷ画像を参照することにより、ＲＧＢ画像及び距離画像の画素ごとに、影であるか否かの判断をすることができるようになる。

【0083】

なお、ＳＨＡＤＯＷ画像は、ＲＧＢ画像及び距離画像と対応付けて記憶されることが好適である。ＳＨＡＤＯＷ信号が、ＲＧＢ画像及び距離画像と対応付けて記憶されることにより、三次元モデルを形成するような場合であっても、ＳＨＡＤＯＷ画像を参照することにより、どの部分が元の被写体の影であるか把握することが容易になる。

【0084】

なお、本実施形態に係るＲＧＢ画像、距離画像、及びＳＨＡＤＯＷ画像は、連続的なフレームをとらえて、動画として扱ってもよい。

【0085】

［実施形態１のまとめ］
以上説明した実施形態によれば、影領域検出装置１０は、画像取得部１１１を備えることにより、被写体の情報を二次元平面上の各座標に有する画像を取得し、領域区分け部１１９を備えることにより、取得した画像の各座標について、各座標が有する被写体の情報に基づき、複数の領域に区分し、偏光画像取得部１３１を備えることにより、被写体を、複数の異なる偏光角度を有する偏光フィルタをそれぞれ介して撮像された複数の偏光画像を取得し、影候補検出部１５０を備えることにより、領域区分け部１１９により区分された画像の領域についての情報と、偏光画像取得部１３１により取得された偏光画像とに基づいて、画像の各座標について影部分と推定される座標の候補を検出する。すなわち、本実施形態によれば、影の影響により被写体の色情報が暗くなっている部分を検出することができる。本実施形態によれば、影の影響により被写体の色情報が暗くなっている部分を検出することができるため、三次元モデルを生成しようとした場合に、検出された影部分の色情報を補正することにより、影による影響を低減した三次元モデルを生成することができる。

【0086】

また、上述した実施形態によれば、画像取得部１１１により取得される画像には、被写体の色に関する情報を二次元平面上の各座標に有するＲＧＢ画像が含まれ、領域区分け部１１９は、ＲＧＢ画像の各座標について、各座標が有する色情報に基づき、複数の領域に区分する。すなわち、本実施形態によれば、高解像度なＲＧＢ画像と、偏光画像とに基づいて影候補を検出する。したがって、本実施形態によれば、高解像度なＲＧＢ画像に基づいて影候補を検出するため、精度よく、影候補を検出することができる。

【0087】

また、上述した実施形態によれば、画像取得部１１１により取得される画像には、被写体までの距離に関する情報を二次元平面上の各座標に有する距離画像が含まれ、領域区分け部１１９は、距離画像の各座標について、各座標が有する距離情報に基づき、複数の領域に区分する。すなわち、本実施形態によれば、距離画像と偏光画像とに基づいて影候補を検出する。距離画像によれば、同一の物体であるか否かを精度よく判定することができる。したがって、本実施形態によれば、精度よく、影候補を検出することができる。

【0088】

［実施形態２及び実施形態３］
次に、図１１から図１４を参照しながら、第２実施形態及び実施形態３に係る影領域検出システム１Ａについて説明する。実施形態２及び実施形態３においては、上述したＳＨＡＤＯＷ画像を用いて、ＲＧＢ画像及び距離画像における影の部分を補正する。実施形態２においては、ＲＧＢ画像の影補正を行い、実施形態３においては、距離画像の影補正を行う。以下、実施形態２及び実施形態３において共通の事項について、説明する。

【0089】

図１１は、第２実施形態に係る影領域検出システムの機能構成の一例について示す機能構成図である。同図を参照しながら、影領域検出システム１Ａの機能構成の一例について説明する。影領域検出システム１Ａは、影補正部１６１を更に備える点において影領域検出システム１とは異なる。影領域検出システム１Ａの説明において、影領域検出システム１と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

【0090】

影補正部１６１は、影候補２検出部１５２からＳＨＡＤＯＷ信号を取得し、リサイズ部１１３からリサイズが行われた距離画像を取得し、画像取得部１１１からＲＧＢ信号を取得する。影補正部１６１は、影候補検出部１５０により、影候補と推定された座標が有する画素値又は距離値の少なくとも一方を、影候補と推定されなかった座標が有する画素値又は距離値の少なくとも一方に置き換えることにより、影部分を補正する。具体的には、影補正部１６１は、取得した情報に基づき、ピクセルごとに、同じＯＢＪ＿ＩＮＤＥＸ番号の影ではない部分から何ピクセル離れているかを水平、垂直方向ごと求める。具体的には、影補正部１６１は、ＳＨＡＤＯＷ信号が１である影部分のピクセルに対し、左右水平方向のどちらかにＯＢＪ＿ＩＮＤＥＸ番号が同じものがある場合は、それが水平方向に何ピクセル離れているかを算出し、算出した値をＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとする。このとき左右の方向が分かるように、右にある場合はプラス、左にある場合はマイナスになるように符号をつける。左右水平方向にＯＢＪ＿ＩＮＤＥＸ番号が同じ番号のものがある場合は、近い距離の番号をＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥに入れる。また、左右方向に同じＯＢＪ＿ＩＮＤＥＸ番号が無い場合は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥを０にする。

【0091】

また、影補正部１６１は、ＳＨＡＤＯＷ信号が１である影部分のピクセルに対し、上下垂直方向のどちらかにＯＢＪ＿ＩＮＤＥＸ番号が同じものがある場合は、それが垂直に何ピクセル離れているかを算出し、算出した値をＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥとする。このとき上下の方向が分かるように、下にある場合はプラス、上にある場合はマイナスになるように符号をつける。上下垂直方向にＯＢＪ＿ＩＮＤＥＸ番号が同じ番号のものがある場合は、近い距離の番号をＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥに入れる。また、上下方向に同じＯＢＪ＿ＩＮＤＥＸ番号が無い場合は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥを０にする。

【0092】

図１２は、第２実施形態に係る影補正部による影補正処理について説明するための図である。図１２（Ａ）は、上記の方法に従って算出されたＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥの一例を示している。また、図１２（Ｂ）は、上記の方法に従って算出されたＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの値を表示している。

【0093】

図１３は、第２実施形態に係る影補正部の機能構成の一例について示す機能構成図である。同図を参照しながら、影補正部１６１の機能構成の一例について説明する。影補正部１６１は、影距離算出部１６１１と、ローパスフィルタ１６１２と、減算部１６１３と、置換部１６１４と、ローパスフィルタ１６１５と、加算部１６１６とを備える。

【0094】

影距離算出部１６１１は、上述した方法により、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥとを算出する。影距離算出部１６１１は、算出した値を、ローパスフィルタ１６１２、置換部１６１４、及びローパスフィルタ１６１５に出力する。

【0095】

置換部１６１４は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの絶対値が距離の近い方の方向の距離ピクセル数の影ではない部分について、ＲＧＢ信号又は距離信号に置き換える。ここで、方向はＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥと、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの符号により判断される。ただし、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥのどちらかに０がある場合は、０でない方の方向と、距離の影ではない部分のＲＧＢ信号又は距離信号に置き換える。

【0096】

ローパスフィルタ１６１５は、置換部１６１４の出力に対して、フィルタをかける。ローパスフィルタ１６１５は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥとＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥの値に応じて、フィルタのかかり具合を変える。ローパスフィルタ１６１５は、距離が遠いほどフィルタがかかり、なめらかにする。

【0097】

図１４は、第２実施形態に係るＬＰＦの機能構成の一例について示す機能構成図である。同図を参照しながら、ローパスフィルタＬＰＦの機能構成の一例について説明する。ローパスフィルタ１６１２及びローパスフィルタ１６１５は、いずれも図示するような機能構成を有しており、互いに同一の機能構成を有していてもよい。以下、ローパスフィルタ１６１２及びローパスフィルタ１６１５を互いに区別しない場合は、ローパスフィルタＬＰＦと記載する場合がある。

【0098】

ローパスフィルタＬＰＦは、３ＴＡＰ水平ＬＰＦ４１１乃至３ＴＡＰ水平ＬＰＦ４１４と、ＨＳＥＬ４２と、３ＴＡＰ垂直ＬＰＦ４３１乃至３ＴＡＰ水平ＬＰＦ４３４と、ＶＳＥＬ４４とを備える。ローパスフィルタＬＰＦは、まず、ＲＧＢ信号又は距離信号について、水平方向のＬＰＦ処理を行う。ＨＳＥＬ４２は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＮＡＣＥの絶対値に基づき、３ＴＡＰ水平ＬＰＦを通さないスルーの状態、１回通った状態、２回通った状態、３回通った状態、４回通った状態、のいずれかに切り替える。具体的に、ＨＳＥＬ４２は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥが０の場合はスルー、１の場合は１回通った状態、２の場合は２回通った状態、３の場合は３回通った状態、というように切り替えてもよい。なお、ＨＳＥＬ４２は、ＳＨＡＤＯＷ＿ＨＤＩＳＴＡＮＣＥが4以上の場合は４回通った状態に切り替えてもよい。

【0099】

なお、３ＴＡＰ水平ＬＰＦ４１１乃至３ＴＡＰ水平ＬＰＦ４１４は、それぞれ、以下の（９）式に示すようなものであってもよい。

【0100】

Ｈ３ＴＡＰＬＰＦ＝０．２５Ｚ＾（－１）＋０．５Ｚ＾０＋０．２５Ｚ＾１・・・（９）
なお、Ｚは１ピクセル分のスキャン時間である。

【0101】

垂直についても水平と同様の処理が行われる。具体的には、ＶＳＬ４４は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＮＡＣＥの絶対値に基づき、３ＴＡＰ垂直ＬＰＦを通さないスルーの状態、１回通った状態、２回通った状態、３回通った状態、４回通った状態のいずれかに切り替える。具体的に、ＶＳＥＬ４４は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥが０の場合はスルー、１の場合は１回通った状態、２の場合は２回通った状態、３の場合は３回通った状態、というように切り替えてもよい。なお、ＶＳＥＬ４４は、ＳＨＡＤＯＷ＿ＶＤＩＳＴＡＮＣＥが4以上の場合は４回通った状態に切り替えてもよい。

【0102】

なお、３ＴＡＰ垂直ＬＰＦ４３１乃至３ＴＡＰ水平ＬＰＦ４３４は、それぞれ、以下の（１０）式に示すようなものであってもよい。

【0103】

Ｖ３ＴＡＰＬＰＦ＝０．２５Ｚ＾（－１）＋０．５Ｚ＾０＋０．２５Ｚ＾１・・・（１０）
なお、Ｚは１ライン分のスキャン時間である。

【0104】

ローパスフィルタ１６１５は、このようにしてＬＰＦをかけた信号を、ＳＨＡＤＯＷ＿ＬＰＦとして出力する。

【0105】

影補正部１６１は、ローパスフィルタ１６１２を備えることにより、置き換えられていない状態（置換部１６１４を通過する前の状態）のＲＧＢ信号又は距離信号に、同様のＬＰＦをかけてもよい。ローパスフィルタ１６１２を通過した信号は、減算部１６１３により、ローパスフィルタ１６１２を通過する前のＲＧＢ信号又は距離信号から減算されることにより、高い周波数の信号を取り出すことができる。減算された信号は、加算部１６１６により、ローパスフィルタ１６１５から出力されたＳＨＡＤＯＷ＿ＬＰＦと加算され、出力される。このように高周波数成分をもとの信号から取り出したものを加算することにより、影補正をしても精細感が失われないようにすることができる。

【0106】

影補正部１６１は、以上のような処理により影補正を行い、影の影響を低減したＲＧＢ信号又は距離信号を、記憶装置２２に記憶させる。なお、影補正部１６１により行われる補正処理は、ＲＧＢ値又は距離値のいずれか一方の補正処理であってもよい。測距センサ３１から得られた距離信号は、影のような暗い部分の距離精度が正しく出ない傾向になるので、（ＲＧＢ画像を補正せず）距離値だけを補正したとしても、影部分の距離精度を上げる目的としては有効である。

【0107】

なお、本実施形態に係るＲＧＢ画像、距離画像、及びＳＨＡＤＯＷ画像は、連続的なフレームをとらえて、動画として扱ってもよい。

【0108】

［実施形態２及び実施形態３のまとめ］
以上説明した実施形態によれば、影領域検出装置１０Ａは、影候補検出部１５０により、影候補と推定された座標が有する画素値を、影候補と推定されなかった座標が有する画素値に基づいた値に置き換える。したがって、本実施形態によれば、影の影響により被写体の色情報が暗くなっている部分を検出し、影でない部分のＲＧＢ値に基づき補正することができる。また、本実施形態によれば、影部分の距離値を、影でない部分の距離値に基づき補正することができる。

【0109】

［実施形態４］
次に、図１５及び図１６を参照しながら、実施形態４について説明する。本実施形態においては、上述した実施形態１乃至実施形態３に係る影領域検出システムを備えた撮像装置について説明する。ここで、ＲＧＢセンサ、偏光センサ、及びＴＯＦセンサは、それぞれ同じレンズで同じ光軸で撮影されると、それぞれのピクセルのずれがなくなる。このような構成を採用することにより、より正確な影検出及び影補正が可能になる。本実施形態においては、プリズムを用いて、同光軸上にＲＧＢセンサ、偏光センサ、及びＴＯＦセンサを配置した場合の一例について説明する。

【0110】

図１５は、第３実施形態に係る影領域検出システムを備える撮像装置の第１の配置例を示す断面図である。同図を参照しながら、第１の配置例である撮像装置５１について説明する。撮像装置５１は、偏光解消板５１１と、偏光センサ５１２と、無偏光ハーフミラー５１３と、可視光/赤外分離ダイクロコート５１４と、ＴｏＦセンサ５１５と、ＲＧＢセンサ５１６とを備える。

【0111】

図示するように、偏光センサ５１２は、可視光/赤外分離ダイクロコート５１４による偏光変化の影響がない第一射出に配置される。さらに、第１射出面に偏光解消板５１１を配置することにより、第１プリズム内の全反射による偏光状態の変化を解消させる。また、ハーフミラーとして、無偏光ハーフミラー５１３が用いられる。具体的に、無偏光ハーフミラー５１３は、金属膜又は誘電体膜が用いられてもよい。可視光/赤外分離ダイクロコート５１４は、可視光と近赤外光を分離する。分離された結果、近赤外光を通した第３射出面には、ＴｏＦセンサ５１５が配置され、可視光を通した第２射出面には、ＲＧＢセンサ５１６が配置される。

【0112】

図１６は、第３実施形態に係る影領域検出システムを備える撮像装置の第２の配置例を示す断面図である。同図を参照しながら、第２の配置例である撮像装置５２について説明する。撮像装置５２は、無偏光可視光/赤外分離ダイクロコート５２１と、ＴｏＦセンサ５２２と、無偏光ハーフミラー５２３と、偏光センサ５２４と、ＲＧＢセンサ５２５とを備える。

【0113】

図示するように、撮像装置５２において、偏光センサ５２４は、第１プリズムの全反射の影響を受けない第３射出面に配置される。ハーフミラーとして、無偏光ハーフミラー５２３が用いられる。具体的に、無偏光ハーフミラー５２３は、金属膜又は誘電体膜が用いられてもよい。無偏光可視光/赤外分離ダイクロコート５２１には、波長による位相差を抑えた無偏光のダイクロコートが使用される。無偏光可視光/赤外分離ダイクロコート５２１に反射した近赤外光が通る第１射出面にはＴｏＦセンサ５２２が配置され、可視光が通る第２射出面には、ＲＧＢセンサ５２５が配置される。

【0114】

［第４実施形態のまとめ］
以上説明した実施形態によれば、上述したようなプリズム構成を用いることにより、上述した実施形態１乃至実施形態３に係る影領域検出システムを備えた撮像装置を構成するにあたり、ＲＧＢセンサ、偏光センサ、及びＴｏＦセンサが、それぞれ同じレンズで同じ光軸で撮影されることができる。したがって、それぞれのピクセルのずれを軽減することができ、より正確な影検出、及び影補正をすることができる。

【0115】

なお、上述した実施形態における各装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0116】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0117】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。また、上述した各実施形態を適宜組み合わせてもよい。

【符号の説明】

【0118】

１…影領域検出システム、１０…影領域検出装置、１１１…画像取得部、１１３…リサイズ部、１１５…色相・輝度計算部、１１６…距離領域区分け部、１１７…色領域区分け部、１１８…物体領域区分け部、１１９…領域区分け部、１３１…偏光画像取得部、１３２…偏光角算出部、１３３…リサイズ部、１５０…影候補検出部、１５１…影候補１検出部、１５２…影候補２検出部、２１…記憶装置、２２…記憶装置、３１…測距センサ、３２…ＲＧＢセンサ、３３…偏光センサ、１６１影補正部、１６１１…影距離算出部、１６１２…ローパスフィルタ、１６１３…減算部、１６１４…置換部、１６１５…ローパスフィルタ、１６１６…加算部、５１…撮像装置、５２…撮像装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】