特許 6550102 光源方向推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6550102

(24)【登録日】2019年7月5日

(45)【発行日】2019年7月24日

(54)【発明の名称】光源方向推定装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190711BHJP

   G06T 7/70 20170101ALI20190711BHJP

   H04N 5/225 20060101ALI20190711BHJP

   G01B 11/00 20060101ALI20190711BHJP

【ＦＩ】

   H04N5/232 290

   G06T7/70 B

   H04N5/225 400

   G01B11/00 H

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2017-140981(P2017-140981)

(22)【出願日】2017年7月20日

(65)【公開番号】特開2019-22147(P2019-22147A)

(43)【公開日】2019年2月7日

【審査請求日】2018年9月27日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】太田 鮎子

(72)【発明者】

【氏名】清水 信昭

(72)【発明者】

【氏名】大津 全史

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００１−８４３８０（ＪＰ，Ａ）

【文献】 特開２０１６−１３３３９６（ＪＰ，Ａ）

【文献】 国際公開第２００８／０９９５８９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

光源からの光が照射された空間を撮影する撮影部が撮影した画像から偏光情報を取得する偏光情報取得部と、
前記撮影部の設置情報および前記偏光情報に基づいて、前記光源からの光を鏡面反射し、かつ光の入射面が互いに交差する複数の反射位置のうちの何れかの反射位置に対応する前記画像上の第１の点、及び前記複数の反射位置のうちの他の反射位置に対応する前記画像上の第２の点を選択する測定点選択部と、
前記第１の点における第１入射面と前記第２の点における第２入射面とが交差して形成される交線に基づいて、前記空間の光源方向を推定する光源方向推定部と、
を含む光源方向推定装置。

【請求項2】

前記画像の偏光情報に基づいて、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域を検出する鏡面反射領域検出部を更に含み、
前記測定点選択部は、前記鏡面反射領域から前記第１の点及び前記第２の点を選択する請求項１記載の光源方向推定装置。

【請求項3】

ユーザーによる前記画像上の領域の選択を受け付け、前記選択された領域を、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域として設定する鏡面反射領域設定部を更に含み、
前記測定点選択部は、前記鏡面反射領域から前記第１の点及び前記第２の点を選択する請求項１記載の光源方向推定装置。

【請求項4】

前記偏光情報は、偏光方向を含み、
前記設置情報および前記偏光情報に基づいて、前記第１入射面及び前記第２入射面の各々の法線方向を算出する入射面算出部と、
前記第１入射面及び前記第２入射面の各々の法線方向に基づいて、前記入射面が交差するか否かを判定する推定可否判定部と、を更に含み、
前記測定点選択部は、前記推定可否判定部によって前記入射面が交差すると判定されるまで、前記第１の点及び前記第２の点を選択することを繰り返す請求項１〜請求項３の何れか１項記載の光源方向推定装置。

【請求項5】

前記偏光情報は、偏光方向を含み、
前記光源方向推定部は、前記偏光方向に直交する方向と前記撮影部への入射光とを含む平面を、前記入射面として前記交線を求める請求項１〜請求項４の何れか１項記載の光源方向推定装置。

【請求項6】

前記偏光情報は、偏光面又は偏光方向を含み、
前記光源方向推定部は、前記偏光面又は前記偏光方向から得られる偏光面に直交し、かつ前記撮影部への入射光を含む平面を、前記入射面として前記交線を求める請求項１〜請求項４の何れか１項記載の光源方向推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光源方向を推定する光源方向推定装置に関する。

【背景技術】

【0002】

所定の空間を撮影した可視光画像を解析して、その空間における光源方向を推定する技術がある。

【0003】

例えば、特許文献１には、可視光画像に映っている物体上に複数の測定点を設定し、各測定点における反射光に基づいて、光源方向を推定する技術が開示されている。具体的には、可視光画像に映っている人物の顔の部分に、顔の３次元形状モデルを位置合わせする。その後、位置合わせした３次元形状モデル上に、複数の測定点を設定する。そして、複数パターンの仮想光源を設定し、その各仮想光源について、各測定点に向かう方向ベクトルと、各測定点における法線ベクトルとの余弦を求める。余弦と各測定点における輝度値との関係をプロットし、それらが比例関係（直線）になるときの仮想光源の方向を、撮影時における光源方向として推定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１−０８４３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１では、光源方向を推定するために、測定点が設定される物体の立体形状情報（３次元形状モデルなど）を予め用意しておく必要があった。すなわち、立体形状情報が既知の物体が空間に存在しない場合には、光源方向を推定することができなかった。

【0006】

本発明は、上記課題を鑑みてなされたものであり、空間に存在する物体の立体形状が未知であっても、当該空間の光源方向を容易に推定できる光源方向推定装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するために本発明に係る光源方向推定装置は、光源からの光が照射された空間を撮影する撮影部が撮影した画像から偏光情報を取得する偏光情報取得部と、前記撮影部の設置情報および前記偏光情報に基づいて、前記光源からの光を鏡面反射し、かつ光の入射面が互いに交差する複数の反射位置のうちの何れかの反射位置に対応する前記画像上の第１の点、及び前記複数の反射位置のうちの他の反射位置に対応する前記画像上の第２の点を選択する測定点選択部と、前記第１の点における第１入射面と前記第２の点における第２入射面とが交差して形成される交線に基づいて、前記空間の光源方向を推定する光源方向推定部と、を含んで構成されている。

【0008】

本発明に係る光源方向推定装置は、前記画像の偏光情報に基づいて、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域を検出する鏡面反射領域検出部を更に含み、前記測定点選択部は、前記鏡面反射領域から前記第１の点及び前記第２の点を選択する。

【0009】

本発明に係る光源方向推定装置は、ユーザーによる前記画像上の領域の選択を受け付け、前記選択された領域を、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域として設定する鏡面反射領域設定部を更に含み、前記測定点選択部は、前記鏡面反射領域から前記第１の点及び前記第２の点を選択する。

【0010】

本発明に係る偏光情報は、偏光方向を含み、光源方向推定装置は、前記設置情報および前記偏光情報に基づいて、前記第１入射面及び前記第２入射面の各々の法線方向を算出する入射面算出部と、前記第１入射面及び前記第２入射面の各々の法線方向に基づいて、前記入射面が交差するか否かを判定する推定可否判定部と、を更に含み、前記測定点選択部は、前記推定可否判定部によって前記入射面が交差すると判定されるまで、前記第１の点及び前記第２の点を選択することを繰り返す。

【0011】

本発明に係る偏光情報は、偏光方向を含み、前記光源方向推定部は、前記偏光方向に直交する方向と前記撮影部への入射光とを含む平面を、前記入射面として前記交線を求める。

【0012】

本発明に係る偏光情報は、偏光面又は偏光方向を含み、前記光源方向推定部は、前記偏光面又は前記偏光方向から得られる偏光面に直交し、かつ前記撮影部への入射光を含む平面を、前記入射面として前記交線を求める。

【発明の効果】

【0013】

以上説明したように、本発明の光源方向推定装置によれば、被写体の立体形状が未知であっても、光源方向を容易に推定できる、という効果が得られる。

【図面の簡単な説明】

【0014】

【図1】本発明を適用した光源方向推定装置１００の概略構成を示した図である。

【図2】偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。

【図3】（ａ）平面における鏡面反射の様子を示した図、（ｂ）、（ｃ）、（ｄ）微細な凹凸のある物体面における鏡面反射の様子を示した図である。

【図4】入射面の算出方法を説明するための図である。

【図5】入射面の交線を説明するための図である

【図6】レンズ焦点位置を中心として、実際の光源位置と対称な方向も光源方向として求まることを説明するための図である。

【図7】本発明の実施の形態に係る光源方向推定装置による全体処理の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0016】

＜本発明の実施の形態の原理＞
本発明の実施の形態では、カメラに入射した物体面からの鏡面反射光の偏光方向が分かれば、光源が存在する平面（入射面）が求まることを利用して、光源方向を推定する。

【0017】

具体的には、空間を撮影した画像と当該空間の偏光情報を取得し、空間を撮影した画像から鏡面反射光がカメラに入射している点（測定点）を少なくとも２点選択し、偏光情報を用いて、各測定点に対して入射面（カメラから測定点までを結んだ直線と、測定点から光源までを結んだ直線を含んだ平面）をそれぞれ算出する。そして、これら２つの入射面同士の交線に基づいて、光源方向を推定する。

【0018】

なお、２つの入射面が平行になってしまう場合（面の法線方向が一致する場合）には、入射面同士の交線が求まらないため、別の２点を再度選択する。

【0019】

これにより、特定の物体の立体形状情報を予め用意することなく、容易に光源方向の推定を行うことができる。また、空間に存在する物体の立体形状が未知であっても、当該空間の光源方向を推定することができる。

【0020】

ここで、測定点の選択方法として、以下の２つの方法がある。

【0021】

１つ目の方法では、偏光度が高い領域から任意の２点を選択する。これは、鏡面反射光が拡散反射光に対して偏光度が高くなることを利用したものである。

【0022】

２つ目の方法では、表面に微細な凹凸がある領域（アスファルトなどの領域）を予め画像上に設定しておき、その領域内から任意の２点を選択する。これは、アスファルトなどの微細な凹凸がある面は、面の傾きや光源の位置によらずに、カメラに鏡面反射光が入射するという性質があることを利用したものである。

【0023】

また、入射面を算出する際には、カメラの視線方向（図５の点線）と、鏡面反射光の偏光方向に垂直な方向とで定まる、入射面の法線方向を求める。なお、カメラの視線方向は、カメラと測定点に撮影されている物体の実空間上の位置（鏡面反射光の反射位置）を結ぶ直線である。

【0024】

＜光源方向推定装置１００の構成＞
以下、本発明を適用した光源方向推定装置１００の概略構成を示した図１を参照し、本発明の実施の形態の構成を説明する。

【0025】

（光源方向推定装置１００）
光源方向推定装置１００は、所定の空間を撮影した画像から取得した偏光情報を用いて、当該空間における光源方向を推定する。

【0026】

ここで、物体面からの反射光は、鏡面反射光と拡散反射光に大別される。拡散反射光は、光源方向や観測位置によらず観測される光である。

【0027】

一方、鏡面反射光は、入射角（光源方向と反射面の法線方向がなす角）と、反射角（観測位置と反射面の法線方向がなす角）とが等しい場合に観測される光である。本発明の実施の形態に係る光源方向推定装置１００は、このような鏡面反射光の特性を利用して、光源方向を推定する。

【0028】

光源方向推定装置１００で推定された光源方向に関する情報（推定結果）は、外部の装置などに出力される。

【0029】

光源方向の推定結果は、外部の装置において、様々な目的に利用することができる。例えば、光源方向は、外部の画像処理装置に入力され、画像に映っている影の領域を検出する用途に用いられる。また、夜間の車両のヘッドライトが映っている画像から、車両が存在する方向や車両の進行方向を推定することにも用いられる。

【0030】

なお、本発明の実施の形態に係る光源方向推定装置１００は、空間における光源方向を推定するものであり、その推定結果の用途については特に限定しない。

【0031】

図１は、本実施の形態における光源方向推定装置１００の構成を示した図である。

【0032】

図１に示すように、本実施の形態における光源方向推定装置１００は、撮影部１０、偏光情報取得部２０、記憶部３０、情報処理部４０、及び出力部５２から構成される。

【0033】

（撮影部１０）
撮影部１０は、カメラなどの撮影装置であり、所定の空間を撮影する。

【0034】

撮影部１０は、光学系、ＣＣＤ素子またはＣＭＯＳ素子から構成される。

【0035】

本実施の形態における撮影部１０は、空間を撮影したデータをＡ/Ｄ変換し、そのデジタル画像を、偏光情報取得部２０に出力する。

【0036】

撮影部１０は、特定の偏光方向の光のみを透過する偏光フィルタを備え、偏光フィルタが透過する偏光方向が少なくとも３種類以上になるように、空間を撮影する。

【0037】

具体的には、撮影部１０は、偏光フィルタを回転させて、透過させる光の偏光方向を切換えながら、都度、撮影を行うことで、異なる３種類以上の偏光方向の画像（以下、偏光画像）を撮影する。

【0038】

本実施の形態における撮影部１０は、偏光フィルタを備え、それを回転させることで、４種類の偏光方向（０deg、４５deg、９０deg、１３５deg）の偏光画像を撮影する。すなわち、撮影部は、１シーン毎に４枚の偏光画像を撮影し、それらの偏光画像をシーン毎に対応付けて偏光情報取得部２０に出力する。

【0039】

なお、偏光画像の撮影方法はこれに限らない。例えば、画素毎に異なる偏光方向の偏光フィルタをモザイク状に配置した偏光カメラを用いて、偏光方向が互いに異なる３種類以上の偏光画像を撮影してもよい。このように、撮影部１０の構成や撮影方法は特に限定されず、偏光方向が互いに異なる３種類以上の偏光画像を撮影できるものであればよい。

【0040】

また、本実施の形態における光源方向推定装置１００は、偏光フィルタを備えた撮影部１０のみを用いているが、これに限らない。例えば、偏光フィルタを備えた撮影装置に加えて、偏光フィルタを備えない撮影装置を設け、当該撮影装置を用いて、監視空間を、偏光フィルタを備えた撮影装置と略同じ画角・略同時に撮影するようにしてもよい。

【0041】

（偏光情報取得部２０）
偏光情報取得部２０は、撮影部１０から受け取った、同じシーンを撮影した３種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する。具体的には、本実施の形態における偏光情報取得部２０は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部２０は、各偏光画像の輝度値の平均値（平均輝度値）から、そのシーンにおける平均輝度値画像を生成する。以下、この画像を入力画像とする。

【0042】

本実施の形態における偏光情報取得部２０は、画素毎に算出した偏光情報を、入力画像の各画素に対応付けて、後述する情報処理部４０に出力する。

【0043】

また、本実施の形態では、光源方向推定装置１００の撮影部１０で撮影した偏光画像を用いて、偏光情報取得部２０にて偏光情報の算出と入力画像の生成を行ったが、これに限らない。例えば、予め、光源方向推定装置１００の外部で入力画像の画素毎に偏光情報を予め対応付けておき、それを光源方向推定装置１００の記憶部３０に記憶しておく。そして、後述する情報処理部４０は、記憶部３０からそれらの情報を取得して各種の処理を行うようにしてもよい。

【0044】

また、平均輝度値画像を入力画像とするのではなく、前述したように、偏光フィルタを備えない撮影装置で撮影した画像について、当該画像の画素毎に、同一のシーンを撮影した偏光画像から算出した偏光情報を対応付けて、情報処理部４０に出力するようにしてもよい。

【0045】

（偏光度・偏光方向・平均輝度値の算出）
次に、偏光度・偏光方向・平均輝度値の算出について説明する。図２は、偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。

【0046】

偏光した光の輝度値は、偏光方向に対して正弦波として変化する。すなわち、偏光方向ｍ[deg]の光が透過する偏光フィルタを介して撮影した場合の輝度値Ｉ_mは、以下の式で表される。

【0047】

【数1】

【0048】

偏光情報取得部２０は、入力画像の画素毎に、最も強い輝度値を示す偏光方向の角度ρ（偏光角度ρ）を求め、それを当該画素の偏光方向とする。また、平均輝度値Ｍに対する正弦波の振幅Ａの比率Ｄを偏光度とする。

【0049】

本実施の形態のように、４種類の偏光方向（０deg、４５deg、９０deg、１３５deg）の偏光画像から偏光情報を算出する場合、ある画素における偏光画像の輝度値をそれぞれＩ₀、Ｉ₄₅、Ｉ₉₀、Ｉ₁₃₅とすると、偏光角度ρ、偏光度Ｄ、平均輝度値Ｍは、以下の式で求められる。

【0050】

【数2】

【0051】

（記憶部３０）
記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。

【0052】

記憶部３０は、光源方向推定装置１００において、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。また、記憶部３０は、光源方向推定装置１００を構成する各部などからアクセス可能である。

【0053】

本実施の形態における記憶部３０は、撮影部１０の設置情報３０Ａを記憶する。設置情報３０Ａは、例えば、レンズ焦点距離、画角、解像度、俯角、設置高、などである。これらの設置情報３０Ａは、後述する情報処理部４０の入射面算出手段４６にて、入射面を算出する際に用いられる。

【0054】

（情報処理部４０）
情報処理部４０は、取得した入力画像に対応付けられた偏光情報に基づいて、空間における光源方向を推定する。

【0055】

本実施の形態における情報処理部４０は、鏡面反射領域設定手段４２、測定点選択手段４４、入射面算出手段４６、推定可否判定手段４８、及び光源方向推定手段５０から構成される。なお、鏡面反射領域設定手段４２は、鏡面反射領域検出部及び鏡面反射領域設定部の一例である。

【0056】

（鏡面反射領域設定手段４２）
鏡面反射領域設定手段４２は、入力画像において、鏡面反射成分が優位に返ってきている領域を鏡面反射領域として設定する。

【0057】

本実施の形態における鏡面反射領域設定手段４２は、入力画像の偏光情報を参照し、偏光度が所定値以上となる領域を鏡面反射領域として検出し、その鏡面反射領域を特定可能な情報を記憶部３０に記憶する。

【0058】

この鏡面反射領域の検出方法は、「拡散反射光に対して偏光度が高くなる」という鏡面反射光の特性を利用したものである。このため、検出に用いる所定値は、一般的な拡散反射光の偏光度の最大値よりも大きい値が設定されていればよい。

【0059】

なお、一般的に、拡散反射光の偏光度は、「物体面の屈折率がほぼ一定である」と仮定すると、撮影部の視線方向と物体面の法線がなす天頂角が９０degのときに最大値を取る。このため、予め、一般的な物体の屈折率を用いて、天頂角が９０degのときの偏光度を算出しておき、その値を所定値として設定すればよい。例えば、物体面の屈折率を１．５とした場合は、所定値（拡散反射光の偏光度の最大値）は、約０．４となる。

【0060】

また、これに限らず、鏡面反射領域設定手段４２は、以下のように、ユーザーの入力に基づいて、入力画像から鏡面反射領域を設定するようにしてもよい。

【0061】

具体的には、ユーザーが操作する端末（ユーザー端末）の表示装置（図示しない）に入力画像を表示し、ユーザーがその入力画像から、アスファルトなどの表面に微細な凹凸のある領域を、入力装置（図示しない）を用いて選択する。そして、鏡面反射領域設定手段４２は、ユーザーによって選択された領域を、鏡面反射領域として記憶部３０に記憶する。

【0062】

ここで、物体面からの鏡面反射光について説明する。図３は、物体面からの鏡面反射光について説明する図である。

【0063】

図３（ａ）は、平面６２における鏡面反射の様子を示した図である。平面６２においては、光源６０の位置と撮影部１０の位置が図３（ａ）に示すような位置関係（入射角＝反射角）であるときに、撮影部１０に鏡面反射光６４が入射する。ただし、入射角は、平面６２の法線方向と光源６０からの光の入射方向とのなす角であり、反射角は、平面６２の法線方向と鏡面反射光６４の反射方向とのなす角である。

【0064】

図３（ｂ）、（ｃ）、（ｄ）は、微細な凹凸のある物体面６６における鏡面反射の様子を示した図である。図３（ｂ）、（ｃ）、（ｄ）に示すように、光源６０の位置によらず、微細な凹凸のある物体面６６で反射した鏡面反射光６４が撮影部１０に入射している。

【0065】

このように、アスファルトなどの表面に微細な凹凸のある物体面６６は、撮影部１０に鏡面反射光６４が入射する面が必ず存在する。微細な凹凸のある物体面６６では、ある面からの鏡面反射光６４だけでなく、その周辺の面からの拡散反射光も撮影部１０に入射するが、鏡面反射光は拡散反射光に対して偏光度が高い傾向があるため、鏡面反射光成分の方が優位となり、当該物体面６６の偏光方向として測定される。したがって、アスファルトなどの表面に微細な凹凸のある面は、光源方向によらず常に鏡面反射光が測定できる面であるため、この面が撮影されている入力画像の領域を鏡面反射領域として設定する。

【0066】

なお、上記例においては、入力画像（平均輝度値画像）上でアスファルトなどの表面に微細な凹凸のある領域を選択したが、これに限らず、前述した偏光フィルタを備えない撮影装置で撮影した画像上で選択するようにしてもよい。

【0067】

（測定点選択手段４４）
測定点選択手段４４は、記憶部３０を参照し、入力画像における鏡面反射領域内から、少なくとも２点以上を選択し、それらを測定点として設定する。

【0068】

本実施の形態では、測定点選択手段４４は、入力画像の鏡面反射領域内からランダムに２点を選択する。

【0069】

また、測定点選択手段４４は、推定可否判定手段４８から、「推定不可」の信号を受け取ると、再度、入力画像の鏡面反射領域内からランダムに２点を選択する。

【0070】

なお、本実施の形態では、測定点選択手段４４が自動で測定点を選択したが、これに限らない。例えば、測定点選択手段４４は、ユーザー端末の表示部（図示省略）に、鏡面反射領域を重畳させた入力画像を表示し、ユーザーにその鏡面反射領域から２点を選択させてもよい。そして、測定点選択手段４４は、その選択結果を受け取って、それらを測定点として設定するようにしてもよい。この際、ユーザーが鏡面反射領域外の２点を選択できないようにしたり、そのような選択結果を測定点として設定できないようにしてもよい。

【0071】

また、本実施の形態では、測定点を画素単位で設定したが、これに限らない。例えば、鏡面反射領域から複数の画素の集合（領域）を少なくとも２ヶ所選択し、それらを測定領域として設定してもよい。

【0072】

また、本実施の形態では、測定点選択手段４４は、推定可否判定手段４８から、「推定不可」の信号を受け取った場合に、自動的に別の２点を選択するようにしたが、これに限らず、ユーザー端末などに対して、「測定点を再選択する旨」を通知するようにしてもよい。

【0073】

（入射面算出手段４６）
入射面算出手段４６は、測定点選択手段４４によって選択された少なくとも２点の測定点について、当該測定点（画素）に対応する偏光方向や画素位置、および、記憶部３０から取得した撮影部１０の設置情報３０Ａを用いて、入射面をそれぞれ算出する。

【0074】

具体的には、入射面算出手段４６は、以下のように入射面の法線方向を算出する。図４は、入射面の算出方法を説明するための図である。

【0075】

各測定点の画素位置の座標を（ｘ_I，ｙ_I）、当該測定点の偏光角度をρとする。

【0076】

入射面は、撮像面７０上における測定点の画素位置から、当該測定点に撮影されている物体の実空間上の位置（物体位置）までを結んだ直線と、当該物体位置における反射面の法線とを含む平面のことであり、鏡面反射光の偏光方向は入射面に垂直となる性質がある。そこで、撮像面７０上における測定点の画素位置（ｘ_I，ｙ_I）を、鏡面反射光の測定点とし、当該測定点の画素位置から実空間上の物体位置までを結んだ直線方向^→ｐ₁と、鏡面反射光の偏光方向に垂直な方向^→ｐ₂を求め、^→ｐ₁と^→ｐ₂の両方を含む面を入射面とする。なお、当該測定点の画素位置から実空間上の物体位置までを結んだ直線は、当該測定点の画素位置へ入射した入射光を表す直線である。

【0077】

レンズ焦点から撮像素子のある画素位置（ｘ_I，ｙ_I）へ向かうベクトル^→ｐ₁が、以下の式で求められる。なお、ｆはレンズ焦点距離である。

【0078】

【数6】

【0079】

この^→ｐ₁は、画素（ｘ_I，ｙ_I）に撮影されている実空間上の物体位置から撮影部１０へ入射した入射光の方向に一致する。

【0080】

次に、偏光角度ρである反射光が鏡面反射光である場合、入射面は鏡面反射光の偏光方向に垂直になる。鏡面反射光の偏光方向に垂直なベクトル^→ｐ₂は以下の式で表すことができる。

【0081】

【数7】

【0082】

入射面は「実空間上の物体位置から撮影部１０へ向かう方向ベクトル^→ｐ₁」と「偏光方向に垂直なベクトル^→ｐ₂」の両方を含むため、入射面の法線方向^→ｎ₁は、^→ｐ₁と^→ｐ₂の両方に垂直になる。すなわち、^→ｐ₁と^→ｐ₂の外積を求めれば、入射面の法線方向^→ｎ₁が以下の式によって得られる。

【0083】

【数8】

【0084】

なお、前述したように、本発明の実施の形態においては、測定点を点ではなく領域（測定領域）で設定してもよい。この場合、測定領域の重心座標を（ｘ_I，ｙ_I）とし、測定領域内の平均偏光角度をρとして、前述した式により、入射面の法線方向を算出すればよい。

【0085】

（推定可否判定手段４８）
推定可否判定手段４８は、入射面算出手段４６が算出した複数の入射面について、交線が求められるか否かを判定する。

【0086】

具体的には、推定可否判定手段４８は、算出した入射面のそれぞれの法線方向が異なるか否かを判定する。

【0087】

法線方向が一致する場合は、入射面の交線を算出することができない。すなわち、後述する光源方向推定手段５０によって光源方向が推定できない。

【0088】

推定可否判定手段４８は、法線方向が一致すると判定すると、「推定不可」の信号を測定点選択手段４４に出力し、測定点選択手段４４にて再度、測定点を選択させる。

【0089】

また、推定可否判定手段４８は、法線方向が異なると判定すると、「推定可能」の信号を光源方向推定手段５０に出力し、光源方向の推定処理を実行させる。

【0090】

（光源方向推定手段５０）
光源方向推定手段５０は、推定可否判定手段４８から「推定可能」の信号を受けとると、その２つの入射面の交線方向を算出し、その方向を光源方向と推定する。

【0091】

図５は、入射面の交線を説明するための図である。

【0092】

具体的には、光源方向推定手段５０は、以下のように光源方向を推定する。まず、光源の位置を^→ｘ_lightとし、２つの入射面の法線方向をそれぞれ^→ｎ₁₁、^→ｎ₁₂とする。光源はどちらの入射面上にも存在するため、^→ｘ_lightは法線方向^→ｎ₁₁、^→ｎ₁₂と直交する。このため、以下の式が成立する。なお、法線方向^→ｎ₁₁、^→ｎ₁₂が、第１入射面及び第２入射面の法線方向の一例である。

【0093】

【数9】

【0094】

これらを連立させて解いて、光源の位置とレンズ焦点位置を結ぶ直線の式を光源方向として推定する。なお、このように光源方向を推定すると、レンズ焦点位置を中心として、実際の光源位置と対称な方向も光源方向として求まるため、光源方向の候補が２つ存在する（図６）。この場合、以下のような前提条件を用いて正しい光源方向に絞り込む。例えば、太陽などの環境光となる光源方向を推定する場合、光源は撮影部１０よりも空間的に高い位置に存在するという前提条件を用いることで、撮影部１０の下方向に向かう光源方向の候補を除外する。

【0095】

光源方向の推定方法は前述した方法に限らない。例えば、測定点を３つ以上選択し、それぞれの入射面の法線方向を求め、それらのすべての法線方向に対して垂直な直線を最小二乗法などによって求めてもよい。この場合も、前述の前提条件を用いて正しい光源方向に絞り込めばよい。

【0096】

（出力部５２）
出力部５２は、情報処理部４０にて推定した光源方向の推定結果を外部の装置に出力する。外部の装置では、光源方向の推定結果を用いて、様々な処理を行う。例えば、光源方向の推定結果を、人物を検出する画像監視装置に出力した場合は、以下のような用途がある。

【0097】

画像監視装置は、背景差分処理等によって、変化領域を抽出する。このとき、人物とその影が１つの変化領域として抽出されてしまうことがあり、人物が黒い服を着用していた場合は、低輝度であるという特徴だけでは、人物と影を分離できない。このままでは変化領域が人の標準的な大きさや形状でないため、人物を精度良く検出することができない。

【0098】

しかし、本発明の実施の形態に係る光源方向推定装置１００にて推定した光源方向に基づいて、光源方向と反対方向に出現するという影の特徴を利用すれば、変化領域から影を精度良く除去して、人物を精度良く検出することが可能となる。

【0099】

＜光源方向推定装置１００の動作＞
以下、図７に示したフローチャートを参照しつつ、本発明を適用した光源方向推定装置１００による全体処理の動作を説明する。

【0100】

図７に示すフローチャートは、ユーザーの指示等によって開始される。

【0101】

最初に、撮影部１０は、偏光フィルタが透過する偏光方向が少なくとも３種類以上になるように、空間を撮影し、同じシーンを撮影した３種類以上の偏光画像を取得する（ステップＳ１）。

【0102】

そして、偏光情報取得部２０は、撮影部１０から受け取った、同じシーンを撮影した３種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する（ステップＳ２）。具体的には、本実施の形態における偏光情報取得部２０は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部２０は、各偏光画像の輝度値の平均値（平均輝度値）から、そのシーンにおける平均輝度値画像を生成し、入力画像とする。

【0103】

そして、鏡面反射領域設定手段４２は、入力画像において、鏡面反射成分が優位に返ってきている領域を鏡面反射領域として設定する（ステップＳ３）。そして、測定点選択手段４４は、入力画像における鏡面反射領域内から、少なくとも２点以上を選択し、それらを測定点として設定する（ステップＳ４）。

【0104】

次に、入射面算出手段４６は、測定点選択手段４４によって選択された少なくとも２点の測定点について、当該測定点（画素）に対応する偏光方向や画素位置、および、記憶部３０から取得した撮影部１０の設置情報３０Ａを用いて、入射面をそれぞれ算出する（ステップＳ５）。

【0105】

そして、推定可否判定手段４８は、入射面算出手段４６が算出した複数の入射面について、交線が求められるか否かを判定する（ステップＳ６）。具体的には、推定可否判定手段４８は、算出した入射面のそれぞれの法線方向が異なるか否かを判定する。

【0106】

光源方向推定手段５０は、推定可否判定手段４８から「推定可能」の信号を受けとったか否かを判定する（ステップＳ７）。推定可否判定手段４８から「推定不可」の信号を受けとった場合には、上記ステップＳ４へ戻る。一方、推定可否判定手段４８から「推定可能」の信号を受けとった場合には、上記ステップＳ５で算出された２つの入射面の交線方向を算出し、その方向を光源方向と推定する（ステップＳ８）。

【0107】

出力部５２は、上記ステップＳ８にて推定した光源方向の推定結果を外部の装置に出力し（ステップＳ９）、上記ステップＳ１へ戻る。

【0108】

以上説明してきたように、本発明の実施の形態に係る光源方向推定装置は、撮影部の設置情報および撮影した画像の偏光情報に基づいて、光源からの光による鏡面反射の反射位置に対応する、画像上の複数の点を選択し、複数の点の各々についての入射面と入射面との交線に基づいて、光源方向を推定することにより、空間に存在する物体の立体形状が未知であっても、当該空間の光源方向を容易に推定できる。すなわち、特定の物体の立体形状情報を予め用意することなく、容易に光源方向の推定を行うことができる。

【0109】

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【0110】

例えば、上記の実施の形態では、偏光方向に直交する方向と撮影部への入射光とを含む平面を、入射面として、入射面の法線方向を求め、入射面同士の交線を求める場合を例に説明したが、これに限定されるものではない。偏光方向と撮影部への入射光とを含む平面を、偏光面として求め、偏光面に直交し、かつ撮影部への入射光を含む平面を、入射面として求め、入射面同士の交線を求めるようにしてもよい。この場合には、偏光情報として、偏光面に関する情報を取得するようにしてもよい。

【符号の説明】

【0111】

１０ 撮影部
２０ 偏光情報取得部
３０ 記憶部
３０Ａ 設置情報
４０ 情報処理部
４２ 鏡面反射領域設定手段
４４ 測定点選択手段
４６ 入射面算出手段
４８ 推定可否判定手段
５０ 光源方向推定手段
５２ 出力部
１００ 光源方向推定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】