特許 7520531 撮像装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】撮像装置及びその制御方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240716BHJP

   H04N 23/10 20230101ALI20240716BHJP

   H04N 25/00 20230101ALI20240716BHJP

   H04N 23/54 20230101ALI20240716BHJP

   H04N 23/55 20230101ALI20240716BHJP

   H04N 23/45 20230101ALI20240716BHJP

   G03B 11/00 20210101ALI20240716BHJP

【ＦＩ】

H04N23/60 500

H04N23/10

H04N25/00

H04N23/54

H04N23/55

H04N23/45

G03B11/00

【請求項の数】 9

(21)【出願番号】P 2020037917

(22)【出願日】2020-03-05

(65)【公開番号】P2021141446

(43)【公開日】2021-09-16

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】山下 雄介

(72)【発明者】

【氏名】西田 徳朗

(72)【発明者】

【氏名】北村 和也

(72)【発明者】

【氏名】長谷川 啓行

(72)【発明者】

【氏名】小布施 武範

(72)【発明者】

【氏名】石川 義和

(72)【発明者】

【氏名】木村 孝行

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１９－００４２０４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７４０６４（ＷＯ，Ａ１）

【文献】特開２０１７－０１６４３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２６０９７４（ＵＳ，Ａ１）

【文献】国際公開第２０１７／００２７１６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／１０

Ｈ０４Ｎ ２５／００

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／４５

Ｇ０３Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

偏光方向の異なる複数の偏光フィルタを１組として複数の光電変換素子に対応付けられ、且つ、１色のカラーフィルタが配置された第１の撮像素子と、
第２の撮像素子と、
前記１組の偏光フィルタが配置された領域ごとに、前記第１の撮像素子の画素から出力される信号に基づいて前記領域へ入射する光の偏光成分を検出する偏光検出手段と、
前記第２の撮像素子から出力された信号を前記偏光検出手段による検出結果に基づいて補正する補正手段と、を備え、
前記補正手段は、前記第２の撮像素子の画素ごとに、前記第１の撮像素子から得られる非偏光成分のみの輝度値を前記第１の撮像素子から得られる偏光成分の位相が０°の場合の輝度値で除算した値を前記第２の撮像素子から得られる輝度値に乗算することで、前記第２の撮像素子から得られる輝度値を補正することを特徴とする撮像装置。

【請求項2】

前記第１の撮像素子において前記複数の偏光フィルタは前記光電変換素子ごとに偏光方向を変えて配置され、
前記補正手段は、前記偏光成分が所定の閾値よりも大きい場合の前記領域の画素信号を用いて前記第２の撮像素子の前記領域に対応する画素から出力された信号を補正することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第２の撮像素子からの信号において飽和した画素信号を検出する飽和検出手段と、 前記補正手段は、前記飽和検出手段により前記第２の撮像素子からの信号に飽和した画素信号が検出された場合に、前記飽和した画素信号を前記第１の撮像素子の対応する画素の信号で入れ替えることを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

被写体の周波数成分を検出する周波数検出手段を備え、
前記補正手段は、前記周波数検出手段により前記被写体の周波数成分が多いことが検出された場合に、前記第２の撮像素子から出力された信号の補正を行わないことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記１組の偏光フィルタは、少なくとも偏光方向の異なる３つの偏光フィルタを備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

被写体からの光を前記第１の撮像素子に導く第１の光学系と、
前記被写体からの光を前記第２の撮像素子に導く第２の光学系と、
前記第１の撮像素子及び前記第２の撮像素子からそれぞれ得られる信号に対して、前記第１の撮像素子により得られる被写体と前記第２の撮像素子により得られる被写体との位置のずれを補正する位置合わせ手段と、を備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記カラーフィルタは、赤、緑及び青のカラーフィルタがベイヤー配列にて配置されていることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記第２の撮像素子の画素サイズは、前記第１の撮像素子において前記１組の偏光フィルタに対応する前記複数の光電変換素子により形成される画素サイズと同じであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

画素ごとに偏光方向を変えて配置された複数の偏光フィルタを１組として前記１組の偏光フィルタに対応する領域に１色のカラーフィルタが配置された第１の撮像素子と、第２の撮像素子と、を備える撮像装置の制御方法であって、
前記１組の偏光フィルタが配置された領域ごとに、前記第１の撮像素子の前記領域の複数の画素から出力される信号に基づいて当該領域への入射光の偏光成分を検出するステップと、
前記偏光成分が所定の閾値よりも大きいか否かを判定するステップと、
前記偏光成分が所定の閾値よりも大きい場合に、前記第１の撮像素子の前記領域の画素信号を用いて前記第２の撮像素子の前記領域に対応する画素の画素信号を補正した信号を生成するステップと、
前記偏光成分が所定の閾値よりも小さい場合の前記領域に対応する前記第２の撮像素子の画素信号と、前記補正した信号とを用いて撮影画像を生成するステップと、を有し、
前記第２の撮像素子の前記領域に対応する画素の画素信号の補正では、前記第２の撮像素子の画素ごとに、前記第１の撮像素子から得られる非偏光成分のみの輝度値を前記第１の撮像素子から得られる偏光成分の位相が０°の場合の輝度値で除算した値を前記第２の撮像素子から得られる輝度値に乗算することで、前記第２の撮像素子から得られる輝度値を補正することを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異なる方向の偏光情報を取得可能な偏光素子を備える撮像素子を有する撮像装置及びその制御方法に関する。

【背景技術】

【0002】

ＣＣＤセンサやＣＭＯＳセンサ等に代表される撮像素子は、複数の受光素子（画素）が二次元状に配置され、各画素で光を電気信号に変換することにより、光の強さ（輝度）を検出することができる。また、各画素に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長帯のみを通過させるカラーフィルタを配置することにより、可視可能な波長（色）だけを取得することができる。このような仕組みを用いて、人が視認可能なカラー映像をデジタル信号に置換して、その映像を記憶装置に保存し、表示装置に表示することが可能となっている。

【0003】

ところで、光には輝度や色等の要素の他にも偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際には偏光した光と偏光していない光（散乱光）の全てが合成されて人間の眼に届いているため、偏光を感じることは少ない。

【0004】

一方で、偏光した光を積極的に選択することにより、不要な映像を除去して、必要な映像を引き立てることができることが知られている。例えば、水面やガラス面に映りこんでしまう映像を偏光フィルタ（以下「ＰＬフィルタ」と記す）を使って除去する撮影テクニックは、よく利用されている撮影手法の一例である。その他、偏光は、不要な反射光を抑制してコントラストを強調する目的や、偏光強度から物体にかかる応力を可視化する目的など、様々に応用されている。

【0005】

例えば、偏光成分を積極的に利用する技術として、特許文献１は、レンズに装着したＰＬフィルタを回転させて複数の映像を取得し、複数の映像から露出条件を設定する方法を提案している。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８－７０２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載された技術では、露出条件を決定するまでに所定の時間が必要となるために、所望の映像を取得するタイミングを逃してしまう可能性が大きくなってしまう。

【0008】

本発明は、所定の反射光成分を除去した映像を迅速且つ所望の感度で取得することが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明に係る撮像装置は、偏光方向の異なる複数の偏光フィルタを１組として複数の光電変換素子に対応付けられ、且つ、１色のカラーフィルタが配置された第１の撮像素子と、第２の撮像素子と、前記１組の偏光フィルタが配置された領域ごとに、前記第１の撮像素子の画素から出力される信号に基づいて前記領域へ入射する光の偏光成分を検出する偏光検出手段と、前記第２の撮像素子から出力された信号を前記偏光検出手段による検出結果に基づいて補正する補正手段と、を備え、前記補正手段は、前記第２の撮像素子の画素ごとに、前記第１の撮像素子から得られる非偏光成分のみの輝度値を前記第１の撮像素子から得られる偏光成分の位相が０°の場合の輝度値で除算した値を前記第２の撮像素子から得られる輝度値に乗算することで、前記第２の撮像素子から得られる輝度値を補正することを特徴とする。

【発明の効果】

【0010】

本発明によれば、所定の反射光成分を除去した映像を迅速且つ所望の感度で取得することが可能になる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。

【図2】図１の撮像装置での偏光フィルタの配列例を示す図である。

【図3】図１の撮像装置の撮像素子でのカラーフィルタの配列例を示す図である。

【図4】人間の眼に届く光の波形とその偏光成分を説明する図である。

【図5】図１の撮像装置の２つの撮像素子の画素配列を説明する図である。

【図6】図５の各撮像素子から出力される画素信号の出力レベルを示す図である。

【図7】図１の撮像装置の第１の撮像制御のフローチャートである。

【図8】図１の撮像装置の第２の撮像制御のフローチャートである。

【発明を実施するための形態】

【0012】

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、映像の入力から出力、記憶や表示が可能な構成を有する。

【0013】

まず本実施形態における撮像素子の実施態様について説明する。撮像素子の画素（光電変換素子）ごとに偏光フィルタを備えたＣＭＯＳセンサでは、例えば４方向の偏光特性を得るために４つの偏光フィルタで１つの画素を構成すると、同じセルサイズのＣＭＯＳセンサに比べると解像度が１／４に低下してしまう。また、撮像面に偏光フィルタを備えるために、偏光フィルタを備えない場合に比べて入射光量が低下してしまう。入射光量の低下を撮像素子の感度を上げることで補おうとするとノイズが多くなるという問題が生じる。そこで本実施形態では、偏光フィルタを備えた撮像素子と、該撮像素子と各領域が対応付け可能な偏光フィルタを備えない撮像素子とを共に備える撮像装置とすることで、偏光情報の情報量の確保と得られる撮像画像の解像度とを両立させることを特徴とする。

【0014】

撮像装置１００は、光学レンズ１０１，１３１、偏光フィルタ１０２、レンズ駆動回路１０４，１３０、偏光フィルタ１０２、撮像素子１０３，１３３、撮像素子駆動回路１０５，１３２、撮像画補正回路１０６，１３４及びフレームメモリ１０７を備える。撮像装置１００は、偏光演算部１０８、露出制御部１１３、フォーカス制御部１１４、動き検出部１１５、映像処理部１１６、ＯＳＤ生成部１１７、ＣＰＵ＿１０９、ＲＯＭ＿１１１、ＲＡＭ＿１１２及び操作部１１０を備える。撮像装置１００は、表示部１２１、表示駆動回路１２０、映像端子１１９、映像出力駆動回路１１８、映像端子１１９、ネットワーク端子１２５、ネットワーク駆動回路１２４、記憶媒体１２３、記憶媒体駆動回路１２２、電源部１２６及び発振部１２７を有する。

【0015】

光学レンズ１０１，１３１はそれぞれ、第１の撮像光学系と第２の撮像光学系を構成する。レンズ駆動回路１０４，１３０はそれぞれ、光学レンズ１０１，１３１を光軸方向に移動させることにより、光学的に映像の拡大や焦点距離等の調整を行う。なお、光学レンズ１０１と光学レンズ１３１のそれぞれにより結像される映像は、本実施形態では同じ映像であるとする。光学レンズ１０１を通過した入射光は、偏光フィルタ１０２を通って撮像素子１０３で受像される。光学レンズ１３１を通過した入射光は、撮像素子１３３で受像される。なお、図２を参照して後述するように、偏光フィルタ１０２と撮像素子１０３は、撮像面偏光センサ２００を構成する。

【0016】

撮像素子１０３，１３３は、例えばＣＣＤセンサやＣＭＯＳセンサ等であり、撮像面に結像した光学像をアナログ電気信号に変換する。撮像素子１０３，１３３はそれぞれ、生成したアナログ電気信号をデジタル信号に変換する機能も併せ持っている。なお、撮像素子１０３，１３３は、４Ｋや８Ｋと呼ばれる高画素映像を撮影可能な大型のものであるとするが、これに限られるものではない。

【0017】

撮像素子駆動回路１０５，１３２はそれぞれ、撮像素子１０３，１３３を駆動する。撮像画補正回路１０６，１３４はそれぞれ、撮像素子１０３，１３３によってデジタル信号に変換された映像に様々な補正処理を施す。例えば、撮像画補正回路１０６，１３４は、各画素の性能ばらつきの補正、ホワイトバランスの補正、光学レンズ１０１，１３１の特性によって発生する歪みや周辺光量不足の補正等を行う。

【0018】

フレームメモリ１０７は、映像信号（映像データ）を一時的に格納し、必要時に読み出すことが可能な、一般的にＲＡＭと呼ばれる。映像信号は膨大なデータ量であるため、フレームメモリ１０７には高速書き込みと高速読み出しが可能で、且つ、大容量のものが求められる。例えば、フレームメモリ１０７にＤＤＲ３－ＳＤＲＡＭ等を用いることにより、時間的に異なる画像の合成や必要な領域の切り出し（トリミング）などの様々な処理が可能となる。

【0019】

偏光演算部１０８は、撮像素子１０３から出力から撮像素子１０３の画素（光電変換素子）ごとに偏光成分を検出して偏光情報を生成する。偏光情報とは、後述するように、複数の偏光角で取得した輝度情報と、取得した輝度情報から求めることが可能な任意の偏光角の輝度情報を指す。露出制御部１１３は、露出制御を行う。フォーカス制御部１１４は、第１の撮像光学系と第２の撮像光学系の焦点位置を制御する。動き検出部１１５は、被写体の動きを検出する。映像処理部１１６は、映像（映像データ）を加工する。また、映像処理部１１６は、撮像素子１０３，１３３から出力された各映像の位置合わせ、撮像素子１０３から出力された映像の反射除去処理等も行う。ＯＳＤ生成部１１７は、文字情報等のＯＳＤを映像に重畳する。

【0020】

ＣＰＵ＿１０９は、撮像装置１００の各機能を統括的に制御する。ＲＯＭ＿１１１は、不揮発性の記憶素子であり、ＣＰＵ＿１０９を動作させるためのプログラムや各種調整パラメータ等を格納している。ＲＯＭ＿１１１から読み出されたプログラムは、揮発性の記憶素子であるＲＡＭ＿１１２に展開されて実行される。一般的にＲＡＭ＿１１２は、フレームメモリ１０７よりも低速、低容量のもので構わない。

【0021】

操作部１１０は、外部からの操作に対するインタフェースとして、ユーザの操作を受け付ける。操作部１１０は、機械的なボタンやスイッチ等であり、例えば、電源スイッチやモード切り替えスイッチ等を含み、ユーザによる操作を受け付けると、割り当てられている指令をＣＰＵ＿１０９へ伝達する。表示部１２１は、映像処理部１１６やＯＳＤ生成部１１７で処理された映像や設定メニュー等を表示する。ユーザは、表示部１２１での表示内容を視認することにより、撮像装置１００の動作状況等を確認することができる。表示駆動回路１２０は、表示部１２１での表示を制御する。なお、表示部１２１には、例えば、液晶ディスプレイや有機ＥＬディスプレイ等が用いられるが、これらに限られるものではない。また、表示部１２１には、タッチパネルが兼備される場合があり、タッチパネルは操作部１１０として機能する。

【0022】

映像端子１１９は、外部機器へ映像信号（映像データ）を送信するためのインタフェースであり、外部機器での映像表示を可能とする。代表的な映像端子１１９としては、ＳＤＩ、ＨＤＭＩ(登録商標)、ＤｉｓｐｌａｙＰｏｒｔ等の様々の規格のものがある。映像出力駆動回路１１８は、映像端子１１９の種類に応じて映像端子１１９を制御する。ネットワーク端子１２５は、映像信号に限らず、種々の制御信号の伝送可能なインタフェースである。ネットワーク駆動回路１２４は、ネットワーク端子１２５を制御し、例えば、インターネット等のネットワーク網への接続を可能とする。

【0023】

記憶媒体１２３は、例えばＨＤＤやＳＳＤ等の記憶容量の大きな記憶手段であり、映像データや種々の設定データを保存する。記憶媒体駆動回路１２２は、記憶媒体１２３への各種データの書き込み／読み出しを制御する。電源部１２６は、外部から供給される商用電源やバッテリ等の電源を任意の電圧に変換し、分配する機能を有しており、撮像装置１００を構成する各ブロックに電源を供給する。発振部１２７は、クリスタルと呼ばれる発振素子を有する。ＣＰＵ＿１０９等は、発振素子から入力される単一周期的な信号を基準として所望のタイミング信号を生成し、プログラムシーケンスを進める。

【0024】

次に、偏光フィルタ１０２と撮像素子１０３について説明する。偏光フィルタ１０２は撮像素子１０３の撮像面の前面（被写体側）に配置されており、このような構成を有する撮像素子を以下の説明において「撮像面偏光センサ」と称呼する。

【0025】

図２は、撮像面偏光センサ２００での偏光フィルタ１０２の配列例を示す図である。偏光フィルタ１０２は、撮像素子１０３の画素ごとに配置された偏光フィルタ２０１，２０２，２０３，２０４を有する。偏光フィルタ２０１～２０４は、これら４つを１組として、互いに直交する方向に二次元状に繰り返し配置されている。偏光フィルタ２０１～２０４のそれぞれの偏光方向は異なっており、異なる偏光方向の光を検出することができる。具体的には、偏光方向は、偏光フィルタ２０１では０度方向、偏光フィルタ２０２では４５度方向、偏光フィルタ２０３では９０度方向、偏光フィルタ２０４では１３５度方向となっており、４５度ずつずれている。

【0026】

これにより、レンズ前にＰＬフィルタを配置して手動で回転させる作業を行うことを必要とせずに、常に複数の異なる偏光方向の光を同一時間帯に同一フレームの画として取得することができる。例えば、ある１つの偏光方向の画素だけを選択して画素信号を取り出し、１枚の画像を生成すれば、対応する偏光フィルタの偏光特性を持った画像を取得することができる。図２の撮像面偏光センサ２００の場合には、４つの異なる偏光方向の特性を有する画像を取得することが可能になる。

【0027】

図２ではカラーフィルタ等を考慮していないため、モノクロ映像が得られることになるが、撮像素子１０３がカラーフィルタを備えることにより、カラー映像を取得することができる。図３は、撮像面偏光センサ２００でのカラーフィルタの配置例を説明する図である。撮像面偏光センサ２００では、１組の偏光フィルタ２０１～２０４に対応する領域ごとに１色のカラーフィルタを配置し、且つ、赤（Ｒ）フィルタ３０１、緑（Ｇ）フィルタ３０２及び青（Ｂ）フィルタ３０３をベイヤー配列にて配置した構成としている。

【0028】

なお、図２及び図３に示した撮像面偏光センサ２００の構成は、一例であって、これに限定されるものではなく、偏光フィルタの配置方法や偏光角度は任意に設定することが可能である。また、撮像素子１０３の画素上に偏光フィルタが配置された領域と偏光フィルタが配置されていない領域とを組み合わせた構成とすることも可能である。

【0029】

次に、複数の偏光角で取得した輝度情報（偏光情報）から任意の偏光角の輝度情報を生成する演算方法について説明する。この演算は、ＣＰＵ＿１０９の制御下で、偏光演算部１０８によって行われる。

【0030】

図４（ａ）は、人間の眼に届く光の波形を説明する図である。人間の眼に届く光は、偏光成分と無偏光成分（散乱光）が合成された状態になっており、一例として、図４（ａ）に示す性質の波形として観測される。図４（ａ）中、‘Ｉｍａｘ’は偏光成分と非偏光成分を合成した値であり、‘Ｉｍｉｎ’は偏光成分を除いた非偏光成分のみの値であり、‘Ｉｂ’は偏光成分の位相が０°の場合の出力レベルである。‘Ｉａ’は、ＩｍａｘとＩｍｉｎの差の半分の値、つまり、光の振幅値である。図４（ａ）の波形の輝度Ｉは、一般式として下記式１の通りに表すことができる。但し、円偏向成分は無偏光成分とする。

【0031】

図４（ｂ）は、所定の偏光角で実測された輝度値から求められる光の波形を示す図である。つまり、下記式１に、偏光角Ψに０°，４５°，９０°，１３５°での実測値を入れる。これにより、下記式２～５が得られ、これらの中から少なくとも３つ式を用いれば方程式を解くことができ、任意の偏光角の輝度Ｉを算出することが可能となる。また、ＩｍａｘとＩｍｉｎの比率を、下記式６により、偏光度ＤｏＬＰ（Degree of Linear Polarization）として求めることも可能である。他にも、係数θで方程式を解くことにより、偏光角ＡｏＬＰ（Angle of Linear Polarization）を求めることもできる。このように、下記式１と実測値から任意の偏光角における輝度を算出することができ、その結果を反射成分の低減や強調等の画像処理に利用することが可能になる。

【0032】

【数1】

【0033】

図５（ａ）は、撮像面偏光センサ２００の画素配列を示す図である。図５（ａ）は、基本的に図３と同じ図であるが、図５（ｂ）との比較のために再掲している。図５（ｂ）は、撮像素子１３３の画素配列を示す図である。撮像素子１３３では１つの画素５０１に１色のカラーフィルタが配置されており、且つ、撮像面偏光センサ２００と撮像素子１３３とでカラーフィルタの配置構成は同じである。つまり、撮像素子１３３の画素サイズは、撮像素子１０３において１組の偏光フィルタ２０１～２０４に対応する４つの光電変換素子により形成される画素サイズと同じである。具体的には、撮像面偏光センサ２００は撮像素子１３３の４倍の画素数を有しており、撮像素子１３３の１つの画素５０１は撮像面偏光センサ２００の１つの画素の４倍の面積を有する。

【0034】

続いて、撮像素子１３３の画素５０１での反射成分を、撮像素子１０３の１組の画素４０１での画素信号を用いて除去する方法について説明する。図６（ａ）は、１組の画素４０１から出力される画素信号の出力レベル（輝度値）を表した図である。図６（ｂ）は、画素５０１から出力される画素信号の出力レベルを表した図である。

【0035】

図４を参照して説明したように、撮像面偏光センサ２００の同一カラーフィルタの各画素から出力される画素信号から入射光の偏光成分を算出することができ、その結果、図６（ａ）の波形で示されるような、偏光角と出力レベルとの関係が得られる。図４と同様に、‘Ｉｍｉｎ’は非偏光成分のみの出力レベルであり、‘Ｉｂ’は偏光成分の位相が０°の場合の出力レベルである。

【0036】

一方、撮像素子１３３は偏光フィルタを備えていないため、図６（ｂ）に示されるように、画素５０１からの画素信号の出力レベルＬｐは、偏光成分と非偏光成分の和となっている。このとき、撮像素子１３３の非偏光成分のみの出力レベルを‘Ｌ’とすると、撮像面偏光センサ２００と撮像素子１３３は同じ被写体を撮像しているため、ＬとＬｐとの比は、撮像面偏光センサ２００の出力から算出されるＩｍｉｎとＩｂとの比と同じ値となる。つまり、下記式７で表されるように、撮像面偏光センサ２００の出力レベルから算出されるＩｍｉｎ，Ｉｂを用い、ＩｍｉｎをＩｂで除算した値を撮像素子１３３の出力レベルＬｐに乗算する。これにより、撮像素子１３３の非偏光成分の出力レベルＬを求めることができる。

【0037】

【数2】

【0038】

＜第１の撮像制御＞
図７は、撮像装置１００での第１の撮像制御のフローチャートである。図７にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。

【0039】

Ｓ７０１にてＣＰＵ＿１０９は、撮像面偏光センサ２００からの出力を、カラーフィルタの色ごとに偏光フィルタ２０１～２０４が１つずつ配置された４つの画素を１組とし、組ごとに４つの画素から出力レベルを比較して輝度差を求める。Ｓ７０２にてＣＰＵ＿１０９は、Ｓ７０１での得られた輝度差が所定の閾値より大きいか否かを判定する。ＣＰＵ＿１０９は、輝度差が所定の閾値以下であると判定した場合（Ｓ７０２でＮＯ）、処理をＳ７０３へ進め、輝度差が所定の閾値より大きいと判定した場合（Ｓ７０２でＹＥＳ）、処理をＳ７０４へ進める。

【0040】

Ｓ７０３にてＣＰＵ＿１０９は、輝度差が所定の閾値以下の１組の画素を非偏光画素であると判定し、その後は処理をＳ７０６へ進める。Ｓ７０４にてＣＰＵ＿１０９は、輝度差が所定の閾値より大きい１組の画素を偏光画素であると判定する。そして、Ｓ７０５にてＣＰＵ＿１０９は、偏光画素ごとに反射除去用補正値を演算する。補正値演算処理では、前述した、ＩｍｉｎとＩｂの比が反射除去用補正値として算出される。

【0041】

Ｓ７０６にてＣＰＵ＿１０９は、Ｓ７０５で算出された補正データから、撮像素子１３３から出力される映像の反射除去用の補正マップを作成する。Ｓ７０７にてＣＰＵ＿１０９は、映像処理部１１６により、位置合わせ処理を行う。位置合わせ処理は、撮像面偏光センサ２００と撮像素子１３３にはそれぞれ別の光学系を通して映像が結像しており、互いの被写体像に微小なずれが生じる可能性があるため、このずれを補正するために行われる。Ｓ７０８にてＣＰＵ＿１０９は、映像処理部１１６により、撮像素子１３３から出力された映像信号に対して、Ｓ７０７での位置合わせ結果を考慮した上でＳ７０６で作成した補正データを用いて反射除去補正を行って撮影画像を生成し、本処理を終了させる。

【0042】

以上の通りの撮像制御では、偏光フィルタ１０２を備えていない撮像素子１３３により得られる信号をベースとして不要反射光等を除去した映像を得ることができる。よって、レンズ前でＰＬフィルタを回転させる等の操作を行う必要がないため、所望の映像を取得するタイミングを逸してしまうことなく、迅速に撮像を行うことが可能になる。また、撮像素子１３３は偏光フィルタ１０２を備えていないために、偏光フィルタ１０２による入射光量の低下が生じない。そのため、撮像素子１３３を所望の感度に設定して撮像することが可能になる。

【0043】

＜第２の撮像制御＞
偏光フィルタ１０２を備えた撮像素子１０３（撮像面偏光センサ２００）と偏光フィルタを備えない撮像素子１３３では、偏光フィルタ１０２の影響で、撮像素子１３３の方が撮像素子１０３よりも感度が小さい。そのため、撮像素子１３３では飽和していなくとも撮像素子１３３では飽和していることがあり、その場合に第１の撮像制御では、反射除去を適切に行うことができないおそれがある。そこで、第２の撮像制御では、偏光フィルタ１０２を備えない撮像素子１３３の画素が飽和した場合に、撮像素子１３３の画素信号を撮像面偏光センサ２００の対応する画素信号で入れ替える処理を行う。

【0044】

図８は、第２の撮像制御のフローチャートである。図８にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。

【0045】

Ｓ８０１～Ｓ８０７の処理は、Ｓ７０１～Ｓ７０７の処理と同じであるため、ここでの説明を省略する。続いて、ＣＰＵ＿１０９は、撮像素子１３３からの信号に対する飽和検出処理を行い、検出結果に応じて処理を分岐させる。すなわち、Ｓ８０８にてＣＰＵ＿１０９は、撮像素子１３３の画素信号に飽和が生じているか否かを判定する。ＣＰＵ＿１０９は、撮像素子１３３の画素信号に飽和が生じていると判定した場合（Ｓ８０８でＹＥＳ）、処理をＳ８０９へ進め、撮像素子１３３の画素信号に飽和が生じていないと判定した場合（Ｓ８０８でＮＯ）、処理をＳ８１０へ進める。

【0046】

Ｓ８０９にてＣＰＵ＿１０９は、撮像素子１３３の飽和した画素信号を撮像面偏光センサ２００の対応する画素信号で入れ替え、その後、本処理を終了させる。一方、Ｓ８１０にてＣＰＵ＿１０９は、Ｓ７０８と同様の反射除去処理を行い、その後、本処理を終了させる。

【0047】

ところで、上述した第１及び第２の撮像制御では、高周波成分を持つ被写体の場合には、解像度が異なるために反射成分を正しく除去することが困難となることがある。そこで、例えば、ＣＰＵ＿１０９又は映像処理部１１６により被写体のコントラストを検出して周波数成分を抽出し、一定以上の高周波成分を持つ被写体の場合には、上記の第１及び第２の撮像制御を実施しないようにする。これにより、不自然な映像が撮影されてしまうことを防止することができる。

【0048】

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0049】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0050】

１００ 撮像装置
１０１，１３１ 光学レンズ
１０２ 偏光フィルタ
１０３，１３３ 撮像素子
１０８ 偏光演算部
１０９ ＣＰＵ
１１６ 映像処理部
２００ 撮像面偏光センサ
２０１～２０４ 偏光フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】