特許 7483368 画像処理装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】画像処理装置、制御方法およびプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240508BHJP

   G03B 11/00 20210101ALI20240508BHJP

   G03B 15/00 20210101ALI20240508BHJP

   H04N 23/55 20230101ALI20240508BHJP

   H04N 25/706 20230101ALI20240508BHJP

【ＦＩ】

H04N23/60 500

G03B11/00

G03B15/00 V

G03B15/00 S

H04N23/55

H04N25/706

【請求項の数】 5

(21)【出願番号】P 2019228210

(22)【出願日】2019-12-18

(65)【公開番号】P2021097348

(43)【公開日】2021-06-24

【審査請求日】2022-12-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】木村 孝行

(72)【発明者】

【氏名】西田 徳朗

(72)【発明者】

【氏名】小布施 武範

(72)【発明者】

【氏名】石川 義和

(72)【発明者】

【氏名】山下 雄介

【審査官】藏田 敦之

(56)【参考文献】

【文献】特開２０１９－００４２０４（ＪＰ，Ａ）

【文献】特開２０１６－０１００６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２５／７０

Ｇ０３Ｂ １１／００

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ２３／５５

(57)【特許請求の範囲】

【請求項1】

異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像可能な撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、前記撮像素子の画素に対応する領域ごとに偏光特性を取得する取得手段と、
前記取得手段により得られた前記偏光特性が類似する複数の領域を１つの調整領域に決定する決定手段と、を有し、
前記取得手段は、前記複数の偏光角度に対する輝度の変化を示す偏光角度の角度依存成分を算出し、当該角度依存成分に基づいて、前記偏光特性を取得し、
前記決定手段は、前記偏光特性として、前記角度依存成分における最大値が所定の閾値以上である複数の領域であって、前記角度依存成分が最大値となる偏光角度を基準とした所定の偏光角度に該当する複数の領域を、１つの前記調整領域に決定することを特徴とする画像処理装置。

【請求項2】

前記所定の閾値は、ユーザーの操作入力、あるいは、前記画像処理装置に予め定められた条件に基づいて変更できることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

偏光角度が異なる前記複数の画像データを合成して合成画像を生成する合成手段を有し、
前記合成手段は、前記調整領域における前記偏光特性に基づいて、前記複数の画像データの合成比率を決定することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、前記撮像素子の画素に対応する領域ごとに偏光特性を取得する取得工程と、
前記取得工程で得られた前記偏光特性が類似する複数の領域を１つの調整領域に決定する決定工程と、を有し、
前記取得工程では、前記複数の偏光角度に対する輝度の変化を示す偏光角度の角度依存成分を算出し、当該角度依存成分に基づいて、前記偏光特性を取得し、
前記決定工程では、前記偏光特性として、前記角度依存成分における最大値が所定の閾値以上である複数の領域であって、前記角度依存成分が最大値となる偏光角度を基準とした所定の偏光角度に該当する複数の領域を、１つの前記調整領域に決定することを特徴とする制御方法。

【請求項5】

請求項４に記載の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置とその制御方法およびプログラムに関して、特に、異なる偏光角度ごとの複数の画像データの処理に関する。

【背景技術】

【0002】

従来、ＣＣＤや、ＣＭＯＳセンサーなどに代表される電荷蓄積型の固体撮像素子（以下、単に撮像素子を称す）は、複数の受光素子（画素）により形成されており、各画素において受光した光を電気に変換することで、光の強さ（輝度）を検出することができる。また、各々の画素に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長帯のみを通すカラーフィルタを配置することで、可視可能な波長（色）だけを取得することができる。このような仕組みにより、撮像素子に受光した光を視認可能なカラー映像として電気的に置き換えることが可能となり、映像の記録や鑑賞が可能となる。

【0003】

ところで、光には、輝度や色などの要素の他にも、偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は、被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際は偏光された光と偏光していない光がすべて合成されて人間の眼に届くため、人間が光の偏光方向を感知する機会は少ない。一方で、光を偏光することで、必要な映像を引き立てて、不要な情報を除去できることは知られている。例えば、水面やガラス面に映りこんでしまう映像をＰＬ（Ｐｏｌａｒｉｚｅｄ Ｌｉｇｈｔ：偏光）フィルタを使うことで除去できることは撮影のテクニックとしてよく利用されている。他にも不要な反射光を抑えることで、コントラストの強調効果を生み出したり、偏光強度から物体にかかる応力の可視化など、従来とは異なる光の性質として、様々な応用が期待されている。

【0004】

例えば、特許文献１では、偏光フィルタの回転角を制御可能な構成において、画像データの輝度信号が小さくなるような角度に偏光フィルタを回転する技術について提案されている。特許文献１で提案されている技術により、例えば、ユーザーが撮像を意図する被写体に係る不要な反射光を抑制した撮像が可能となる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－２０８７１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１で提案されている技術において、偏光フィルタは撮像画角内の全ての領域で一律の偏光角度が適用されるため、一度の撮像で異なる偏光角度で被写体を撮像することができない。例えば、画角内に偏光特性が異なる領域が複数存在する場合、偏光フィルタの回転角度を調整して一方の領域の反射光成分を低減しても、他の領域の反射光成分が大きくなる虞がある。

【0007】

例えば、図１１は、異なる偏光角度で得られた画像の偏光特性の差異を例示的に説明する図であって、図１１（ａ）は、第１の偏光角度で偏光された状態で得られた画像を示し、図１１（ｂ）は、第２の偏光角度で偏光された状態で得られた画像を示している。図１１（ａ）に図示するように、ある偏光角度（第１の偏光角度）で被写体を撮像すると、画像内のフロントガラス（領域Ａ）の反射光の成分が大きくて、フロントガラスから車内の様子を確認できない。これに対して、図１１（ｂ）に図示するように、フロントガラスの反射光成分を低減するような偏光角度（第２の偏光角度）で被写体を撮像すると、フロントガラス部分の反射光成分は低減するが、ドアガラス（領域Ｂ）の反射光成分が増大してしまう。すなわち、特許文献１で提案されている技術では、ユーザが所望する領域（例えば、図１１における自動車のガラス部分の全て）に合わせて反射光成分を減じた画像を取得するのは困難である。

【0008】

本発明の目的は、煩雑な操作を必要とせず、ユーザーが意図に応じた偏向度合の画像を取得することである。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の画像処理装置は、異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像可能な撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、前記撮像素子の画素に対応する領域ごとに偏光特性を取得する取得手段と、前記取得手段により得られた前記偏光特性が類似する複数の領域を１つの調整領域に決定する決定手段と、を有し、前記取得手段は、前記複数の偏光角度に対する輝度の変化を示す偏光角度の角度依存成分を算出し、当該角度依存成分に基づいて、前記偏光特性を取得し、前記決定手段は、前記偏光特性として、前記角度依存成分における最大値が所定の閾値以上である複数の領域であって、前記角度依存成分が最大値となる偏光角度を基準とした所定の偏光角度に該当する複数の領域を、１つの前記調整領域に決定することを特徴とする。

【発明の効果】

【0010】

本発明によれば、煩雑な操作を必要とせず、ユーザーが意図に応じた偏向度合の画像を取得することができる。

【図面の簡単な説明】

【0011】

【図1】本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。

【図2】本発明の実施形態に係る撮像素子１０２の画素および偏光フィルタの関係を例示的に説明する図である。

【図3】本発明の実施形態に係る撮像素子１０２の画素、偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。

【図4】本発明の説明に用いる被写体像の例示的な説明をする図である。

【図5】本発明の第１実施形態に係る、偏光角度が異なる複数の画像の比較例を示す図である。

【図6】偏光角度の角度依存成分の算出方法を例示的に説明する図であって、１つの画素グループにおける各画素の信号レベルをプロットすることで得られる分布図である。

【図7】本発明の第１実施形態に係る偏光角度の調整領域の決定処理に係るフローチャートである。

【図8】本発明の第１実施形態に係る各偏光角度に対する最大偏光角度の発生頻度に関するヒストグラムを例示的に説明する図である。

【図9】本発明の第１実施形態に係る偏光角度の調整処理に関するフローチャートである。

【図10】所定の偏光特性の発生頻度のヒストグラムを例示的に説明する図である。

【図11】異なる偏光角度で得られた画像の偏光特性の差異を例示的に説明する図である。

【発明を実施するための形態】

【0012】

（第１実施形態）
（撮像装置１００の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。なお、図１および後述する図２に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサ（マイクロプロセッサ、マイクロコンピュータ）がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

【0013】

図１に図示するように、光学レンズ１０１は、被写体の光学像を示す光束を撮像装置１００の内部に導くための撮像光学系であって、種々のレンズや駆動モーターから成り、後述する撮像素子１０２の撮像面に光を結像することができる。

【0014】

撮像素子１０２は、光学レンズ１０１により導かれた被写体の光束を受光して電気的な画像信号に変換することができるＣＭＯＳ等の電荷蓄積型の固体撮像素子を採用した撮像手段である。撮像素子１０２で得られる電気信号はアナログ値であるので、デジタル値に変換する機能も合わせ備えている。なお、撮像素子１０２は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる３つ以上の角度を備える。

【0015】

この偏光フィルタを備えた撮像素子１０２の詳細について、図２、図３を参照して詳細を説明する。図２は、本発明の実施形態に係る撮像素子１０２の画素および偏光フィルタの関係を例示的に説明する図である。図２（ａ）は、撮像素子１０２を構成する画素領域の一部を示し、各画素と偏光フィルタの偏光角度の関係を例示的に説明する図である。図２（ｂ）は、撮像素子１０２を構成する１つの画素グループを例示的に説明する図であって、本実施形態では、互いに近接する４つの画素を一組とする１つの画素グループとし、画素ごとに異なる偏光方向（偏光角度）の偏光フィルタが配されている。

【0016】

図２（ａ）に図示するように、本実施形態に係る撮像素子１０２は、画素ごとに偏光フィルタが配されている。また、各画素の偏光フィルタは偏光方向（偏光角度）が異なっているため、例えば１つの画素グループから異なる４つの偏光方向の光に基づく信号を出力できる。以後、このような構成の撮像素子１０２を、撮像面偏光センサー３００と称する。なお、撮像面偏光センサー３００は、前述したように、撮像素子１０２自体が偏光フィルタを一体的に備える構成であってもよいが、例えば、撮像素子１０２の画素配置に重ねて配置可能な偏光フィルタ部材を別体で備える構成であってもよい。すなわち、撮像面偏光センサー３００は、偏光フィルタが一体的に設けられた撮像素子１０２、および、撮像素子１０２と偏光フィルタ部材とを１つのパッケージとしたユニットの何れも含みうる。

【0017】

図２（ｂ）に図示するように、撮像面偏光センサー３００は、４つの画素を一対としている。そして、撮像面偏光センサー３００は、０度方向の偏光フィルタ３０１、４５度方向の偏光フィルタ３０２、９０度方向の偏光フィルタ３０３、１３５度方向の偏光フィルタ３０４のように、偏光方向が４５度ずつ異なる偏光フィルタが配されている。撮像面偏光センサー３００は、これらの偏光方向が異なる４画素が、図２（ａ）に図示するように周期的に配置されている構成である。

【0018】

この構成により、時間的な差異なく（すなわち同一の期間で）、同一フレームの映像信号として、異なる偏光方向に偏光された信号を取得することができる。したがって、本実施形態に係る撮像面偏光センサー３００であれば、例えば、光学レンズ１０１の前方に一般的なＰＬフィルタなどを配し、所望の偏光方向となるように、ユーザーが手動で操作する作業が不要である。具体的に、例えば、ある一つの偏光方向の画素から得られた信号だけを抽出して、一枚の画像（映像）を生成すれば、該偏光フィルタの偏光特性のみを備えた画像（映像）を取得することができる。

【0019】

なお、図３に図示するように、更に、撮像素子１０２の各画素に合わせてカラーフィルタが配された場合は、各色および各偏光方向の画像を得ることができる。図３は、本発明の実施形態に係る撮像素子１０２の画素、偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。図３（ａ）は、撮像素子１０２を構成する画素領域の一部を示し、各画素と偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。図３（ｂ）は、同じカラーフィルタから出力され、偏光方向が異なる４つの画素を一組とした複数の画素グループを例示的に説明する図である。図３（ａ）に図示するように、前述した偏光方向が異なる１つの画素グループ（４画素）ごとに同色カラーフィルタなどを配置することで、カラー化された偏光方向が異なる画像を得ることができる。

【0020】

以上が、本実施形態に係る撮像素子１０２および撮像素子１０２を含む撮像面偏光センサー３００の一例である。なお、図２、図３に図示したものは一例であって、偏光フィルタの配置や偏光方法、カラーフィルタの配置などについては、図示した以外の構成を採用し、任意の設定が可能である。また、前述した撮像面偏光センサー３００では、撮像素子１０２の画素ごとに偏光方向が異なる偏光フィルタを備える構成について説明したが、これに限定されるものではない。例えば、複数の画素に対して１つの偏光方向が対応する構成であってもよいし、撮像素子１０２を構成する画素の一部のみに偏光フィルタが重畳している構成であってもよい。

【0021】

図１に戻り、信号処理部１０３は、撮像素子１０２によって電気的に変換された信号に様々な補正処理を施す機能を持つ画像処理ブロックである。例えば、信号処理部１０３は、撮像素子１０２が備える各画素の性能ばらつきの補正や、ホワイトバランスの調整、レンズの特性により発生する歪みや周辺光量不足の補正などを実行する。

【0022】

フレームメモリ１０４は、一般的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と呼ばれ、信号（映像信号）を一時的に溜めておき、必要な時に読み出すことが可能な記憶部である。映像信号は膨大なデータ量であるため、高速かつ高容量のものが求められる。近年ではＤＤＲ３－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ ３ － Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などが用いられることが多い。このフレームメモリ１０４を使えば様々な処理が可能となる。例えば、時間的に異なる画を合成する、あるいは、必要な領域だけを切り出すことができる。

【0023】

映像生成部１０５は、信号処理部１０３から出力された映像信号に対して、各種情報から映像信号に加工を施す映像生成手段である。例えば、映像生成部１０５は、映像に文字情報を重畳する、あるいは、被写体の輪郭（境界）を強調するための色付けを行うなど、ユーザーが視認しやすい映像に加工することができる。

【0024】

映像出力部１０６は、映像生成部から出力された映像信号を撮像装置１００の外部に出力する際のインターフェース部である。該インターフェースとしては、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などがあり、外部モニタなどに映像を表示することが可能となる。

【0025】

偏光制御部１０８は、撮像素子１０２からの出力に基づいて、偏光角度が異なる複数の画像データの取得や偏光情報の取得、および、偏光角度に関する領域設定等の種々の制御を実行する制御手段である。偏光制御部１０８が実行する処理の詳細は後述する。

【0026】

露出調整部１０７は、被写体を撮像して映像信号を出力する際の露出を制御する露出制御手段である。露出制御手段は、例えば、光学レンズ１０１に設けられた光量調節用の絞り（不図示）の調整や、撮像素子１０２を用いたシャッター速度やゲイン調整などの制御を行う。なお、露出調整部１０７が調整可能な露出要素は、上述した絞りに係る絞り値やシャッター速度、ゲインだけに限らず、例えば、フィルタを透過する光量を調節するためのＮＤフィルタの濃度を調整可能な構成あってもよい。

【0027】

記録部１０９は、映像信号（映像データ）や種々の設定データを記録可能な記録手段であって、大容量記憶素子により構成されている。例えば、記録部１０９としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが利用される。

【0028】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置から成り、上述してきた各ブロックに接続され、撮像装置１００および撮像装置１００に装着されたアクセサリの各部を統括的に制御可能な制御手段である。制御部１１０には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭが接続されている。ＲＯＭ１１３は、不揮発性の記録素子であり、制御部１１０を動作させるためのプログラムや各種調整パラメータなどが記録されている。ＲＯＭ１１３から読み出されたプログラムは揮発性のＲＡＭ１１４に展開されて実行される。一般的にＲＡＭ１１４は、フレームメモリ１０４に比べて、低速、低容量な素子が使用される。

【0029】

また、制御部１１０には、表示部１１１、操作部１１２などが接続されている。表示部１１１は、ユーザーが視認することができる表示デバイスであり、撮像装置１００の動作状況を確認することができる。例えば、映像生成部１０５で処理された映像や、設定メニューなどを表示する。近年では、表示デバイスとしてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）といった、小型で低消費電力のデバイスが利用されている。操作部１１２は、撮像装置１００とユーザーのインターフェース部分であり、メカニカルなボタンやスイッチなどの素子が使われ、電源スイッチ、モード切り替えスイッチなどで構成されている。近年ではタッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子なども利用されている。すなわち、表示部１１１がタッチパネル型の表示デバイスであれば、操作部１１２を兼用することもできる。これらシステムを駆動させるために、撮像装置１００には、電源部１１５や発振部１１６なども備えられている。電源部１１５は、上述した各ブロックに電源を供給する部分で、外部から供給される商用電源やバッテリーなどの電源を任意の電圧に変換し、分配する機能を持つ。発振部１１６はクリスタルと呼ばれる発振素子である。制御部１１０などは、この発振素子から入力される単一周期的な信号を基準として所望のタイミング信号を生成し、プログラムシーケンスを進めていく。以上が、本発明の前提となる全体システムの一例である。

【0030】

ここで、偏光制御部１０８の制御によって得られる偏光画像について図４～５を参照して説明する。偏光制御部１０８は、撮像素子１０２から出力された情報に基づいて、偏光角度が異なる計４つの偏光画像（画像データ）を生成する。以降は、具体的な被写体を例示して、説明する。図４は、本発明の説明に用いる被写体像の例示的な説明をする図である。また、図５は、本発明の第１実施形態に係る、偏光角度が異なる複数の画像の比較例を示す図である。

【0031】

例えば、図４で図示する被写体を撮像する場合を仮定し、自動車の中に人物が存在し、フロントガラスを領域Ａ、ドアガラスを領域Ｂとする。ここで、図４に図示する被写体の特徴としては、領域Ａおよび領域Ｂにおいて反射光の偏光特性のレベルが高く（すなわち偏光度合が高い）、かつ領域Ａと領域Ｂの反射光の偏光方向（偏光角度）が互いに異なる点である。

【0032】

図５（ａ）～（ｄ）は、撮像素子１０２から出力される複数の偏光画像をそれぞれ示しており、図５（ａ）～（ｄ）の順に、偏光フィルタ３０１～３０４を介して得られた、偏光角度が０°、４５°、９０°、１３５°ので得られる各偏光画像を例示している。図５（ａ）～（ｄ）に図示する各図では、被写体から反射した光が、任意の偏光フィルタを透過した領域を明るく示し、その他の偏光フィルタによって遮断（遮光）された領域は暗く示している。

【0033】

図５の各図に図示するように、例えば、領域Ａ（フロントガラス領域）は、図５（ｂ）に示した偏光角度＝４５°の場合に得られる画像において、偏光フィルタを透過する反射光の成分が多く、フロントガラスにより反射する反射光のレベルが最も高くなる。対して、図５（ｄ）に示した偏光角度＝１３５°の場合に得られる画像において、偏光フィルタにより遮断される反射光の成分が多く、フロントガラスにおける反射光のレベルが最も低くなる。なお、図５（ａ）および図５（ｃ）に示した偏光角度＝０°および９０°の場合に得られる画像においては、領域Ａにおける反射光のレベルが、偏光角度＝４５°と１３５°である場合に得られる画像の略中間レベルとなる。

【0034】

一方で、領域Ｂ（ドアガラス領域）では、図５（ｄ）に示した偏光角度＝１３５°方向の場合に得られる画像において、偏光フィルタを透過する反射光の成分が多く、サイドガラスにおける反射光のレベルが最も高くなる。対して、図５（ｂ）に示した偏光角度＝４５°の場合に得られる画像において、偏光フィルタにより遮断される反射光の成分が多く、再度ガラスにおける反射光のレベルが最も低くなる。なお、図５（ａ）および図５（ｃ）に示した偏光角度＝０°および９０°の場合に得られる画像においては、領域Ｂにおける反射光のレベルが、偏光角度＝４５°と１３５°である場合に得られる画像の略中間レベルとなる。

【0035】

そして、図５（ａ）～（ｄ）で図示するように、４つの偏光画像において、偏光画像ごとに明るさが変わらない領域、つまり領域Ａと領域Ｂを除く領域は、光が偏光していない無偏光領域とみなす。したがって、本実施形態では、図４に図示する被写体に基づいて偏光画像を得る場合、反射光の大きさを調整できるのは、領域Ａと領域Ｂのみである。

【0036】

偏光制御部１０８により得られた各偏光画像は、フレームメモリ１０４に記憶される。そして、本実施形態の撮像装置１００は、偏光角度が異なる複数の画像を略同一のタイミングで取得できるため、複数の偏光角度（偏光方向）の画素同士を加算して平均化することで、偏光状態を解消した合成画像を作成できる。各偏光画像の合成比率の決定方法については後述する。

【0037】

（偏光角度の調整領域の設定方法）
以下、偏光制御部１０８によって得られた各偏光画像に基づいて、偏光角度を調整する際にグルーピングするための調整領域の設定方法について説明する。まず、反射光の偏光特性、すなわち、偏光角度に対する反射光の依存成分の算出方法について具体的に説明する。図６は、偏光角度の角度依存成分の算出方法を例示的に説明する図であって、１つの画素グループ（すなわち、偏光角度が異なる４つの画素）における各画素の信号レベルをプロットすることで得られる分布図である。なお、本実施形態では、４つの偏光角度（０°、４５°、９０°、１３５°）の画像データを出力する場合を仮定しており、縦軸は任意画素の輝度値（測光値）、横軸は各偏光角度を示している。そして、図６に図示する関数Ｉ（θ）は、各偏光角度の画像データに基づく４つの輝度値と１８０°周期の正弦関数または余弦関数にフィッティングを行うことで任意のカーブ（フィッティングカーブ）を求めたものである。本実施例においては、Ｉ（θ）のように偏光角度ごとに変化する輝度成分を、偏光角度の角度依存成分と称する。

【0038】

ここで、輝度値の単位は、所謂ＡＰＥＸ（ＡＤＤＩＴＩＶＥ ＳＹＳＴＥＭ ＯＦ ＰＨＯＴＯＧＲＡＰＨＩＣ ＥＸＰＯＳＵＲＥ）システムにおける１ＢＶを輝度値の１段分とするが、他の単位を用いて輝度値を表す構成であってもよい。

【0039】

図６に図示するように、本実施形態では、複数の偏光角度の画像データに基づいて得られたフィッティングカーブから、最大の輝度値Ｉｍａｘ、最小の輝度値Ｉｍｉｎを算出し、両者の差分を、被写体の偏光角度の輝度差Ｉｐ－ｐとする。すなわち、輝度差Ｉｐ－ｐは、被写体における偏光角度ごとの反射光のレベル差を示すものであって、被写体における反射の度合いを判断するための情報である。

【0040】

図６（ａ）は、前述した図４における領域Ａに該当する角度依存成分Ｉａ（θ）を例示し、図６（ｂ）は、前述した図４における領域Ｂに該当する角度依存成分Ｉｂ（θ）を例示している。前述したように、図６（ａ）で示す角度依存成分Ｉａ（θ）では、偏光角度＝４５°である場合に、被写体の反射光のレベルが最大輝度Ｉｍａｘとなり、偏光角度１３５°である場合に、最小輝度Ｉｍｉｎとなる。また、前述したように、図６（ｂ）で示す角度依存成分Ｉｂ（θ）は、偏光角度＝１３５°である場合に最大輝度Ｉｍａｘとなり、偏光角度＝４５°である場合に最小輝度Ｉｍｉｎとなる。

【0041】

対して、図６（ｃ）は、図４における領域Ａと領域Ｂを除く無偏光領域の角度依存成分Ｉ（θ）を示し、偏光角度に関わらずＩｐ－ｐの大きさは略０となる。実際には、輝度差が完全に０となるシーンは少ないが、本実施例においては説明の便宜上、Ｉｐ－ｐ≒０とする。

【0042】

以上説明した構成により、角度依存成分Ｉ（θ）のような近似関数を算出し、この角度依存成分Ｉ（θ）に基づいて画像における反射光の大きさが最適、あるいは、ユーザが意図するレベルとなるように、偏光角度を調整することが容易となる。したがって、例えば、偏光制御部１０８は、撮像素子１０２の画素グループの画素ごとに算出された角度依存成分や、ユーザーが所望する撮影条件（例えば、反射光のレベルに関する情報など）に基づいて、偏光画像を合成する際の合成比率を算出することができる。

【0043】

なお、３つ以上の偏光角度に関する画像データの輝度値が判明すれば、最小二乗法等の最適化技術を適用して、角度依存成分Ｉ（θ）を算出することができる。この場合、より精度が高いフィッティングカーブを求めるために、サンプリングする偏光角度がある程度離れていた方よく、本実施形態では、４５°間隔の偏光角度でサンプリング用の画像データを取得する。

【0044】

次に、偏光角度を調整する際の対象となる画像中の領域（調整領域）を決定する方法について、図７を参照して具体的に説明する。図７は、本発明の第１実施形態に係る偏光角度の調整領域の決定処理に係るフローチャートである。まず、ステップＳ７０１で偏光制御部１０８は、複数の偏光画像を生成する。なお、偏光画像の生成方法については、前述した通りである。

【0045】

次に、ステップＳ７０２で、偏光制御部１０８は、ステップＳ７０１で得た各偏光画像に基づいて、画素ごとに角度依存成分Ｉ（θ）の近似関数を算出する。なお、角度依存成分Ｉ（θ）の算出方法としては前述した通りであるが、例えば、偏光制御部１０８の処理負荷を軽減するために複数画素に基づく領域ごとに生成しても良い。本実施形態では、前述した通り、図４で図示した被写体について、領域Ａ、領域Ｂ、および、領域Ａと領域Ｂを除くその他の領域に係る角度依存成分Ｉ（θ）の近似関数を生成するものとする。

【0046】

次に、ステップＳ７０３で偏光制御部１０８は、ステップＳ７０２で算出された角度依存成分Ｉ（θ）の最大値Ｉｍａｘに基づいて、各画素の反射光のレベル（偏光度合）が所定値以上であるか否かを判定する。本実施形態では、最大値Ｉｍａｘの値が偏光強度判定閾値α以上であるか否かを判定する。そして、ステップＳ７０４で偏光制御部１０８は、最大値Ｉｍａｘの値が偏光強度判定閾値以上となる画素は、偏光画素と判定し、偏光角度の調整（すなわち被写体の反射光のレベル）を調整する対象画素とする。

【0047】

また、ステップＳ８０５で偏光制御部１０８は、最大値Ｉｍａｘの値が偏光強度判定閾値αよりも小さい画素は非偏光画素と判定し、偏光角度を調整しない非調整対象画素とする。以降の説明では、領域Ａおよび領域Ｂに含まれる画素の輝度値が偏光強度判定閾値α以上であると仮定し、領域Ａと領域Ｂ内にある画素を調整対象画素とする場合について説明する。

【0048】

なお、偏光強度判定閾値αは、ユーザーが任意の値を設定する構成であってもよいし、撮像装置１００に予め定められた条件に基づいて、任意の値を設定する構成であってもよい。この偏光強度判定閾値αの値を小さくすれば、より多くの画素を調整対象画素に含めることができ、偏光角度の細かい調整を行える。その一方で、調整による効果が小さい画素も調整対象に含めることになるため、被写体を撮像する際に、偏光角度の調整（すなわち反射光のレベル）の調整に不要な時間を生じる虞がある。対して、偏光強度判定閾値αの値を大きくすると、偏光角度の調整対象画素を抑制されるため、反射光のレベル（偏光度合）が大きく、調整により得られる効果が高い画素しか調整を行うことができない。その一方で、偏光角度の調整に要する時間を低減することができる。したがって、偏光強度判定閾値αは、撮影シーンなどの撮影条件に基づいて、自動的に決定される構成が望ましい。

【0049】

次に、ステップＳ７０６で偏光制御部１０８は、角度依存成分Ｉ（θ）に基づいて、最大輝度Ｉｍａｘとなる際の最大偏光角度θｍａｘを算出する。本実施形態では、前述したように、図４における領域Ａは最大偏光角度θｍａｘ＝４５°、領域Ｂでは最大偏光角度θｍａｘ＝１３５°である。

【0050】

次に、ステップＳ７０７では、調整対象画素（領域Ａ、領域Ｂ）における最大偏光角度θｍａｘの発生頻度をヒストグラム化して求める。図８は、本発明の第１実施形態に係る各偏光角度に対する最大偏光角度の発生頻度に関するヒストグラムを例示的に説明する図である。換言すると、図８は、各偏光角度に対する最大輝度の発生頻度に関するヒストグラムである。図８に図示するように、本実施形態では、領域Ａにおいては最大偏光角度θｍａｘが４５°であり、領域Ｂにおいては１３５°付近となるため、偏光角度＝４５°および１３５°における最大偏光角度の発生頻度が高くなる。

【0051】

次に、ステップＳ７０８で偏光制御部１０８は、ステップＳ７０７で算出したヒストグラムに基づいて、最大偏光角度θｍａｘが類似する画素を１つの調整領域としてグループ化する。図８に図示するヒストグラムに基づいて調整領域をグループ化する場合、最大偏光角度の発生頻度が高い偏光角度に該当する画素を抽出し、１つの調整領域とする。本実施形態では、最大偏光角度θｍａｘ＝４５°に該当する画素を抽出し、調整領域としてグループ化する。同様に、偏光角度が１３５°に該当する画素についても同様の処理を行う。この構成により、図４における領域Ａまたは領域Ｂに該当する画素群が調整領域として抽出、およびグループ化され、偏光度合のピーク付近をグループ化した調整領域を決定することができる。

【0052】

なお、本実施形態では、角度依存成分が示す最大輝度Ｉｍａｘとなる最大偏光角度θｍａｘに基づいてヒストグラムを算出する構成について説明したが、これに限定されるものではない。例えば、ユーザーが意図する画像における偏光度合に応じて、調整領域とする偏光角度は異なる。例えば、最小輝度Ｉｍｉｎとなる最小偏光角度θｍｉｎの発生頻度に基づくヒストグラムなど、他の偏光角度を基準にする構成であってもよい。すなわち、本実施形態では、所定の条件に基づいて略同一の偏光特性を備える画素を、同一の調整領域としてグルーピングする構成であればよい。

【0053】

以上説明したように、本実施形態に係る撮像装置１００は、被写体の反射光の偏光特性が類似した画素をまとめて１つの調整領域としてグループ化することができる。したがって、本実施形態に係る撮像装置１００は、例えば、類似度が高い偏光度合の複数の領域について、ユーザーが個々に偏光角度を調整する必要がなく、偏光角度の調整に係るユーザーの操作性を向上させることができる。

【0054】

なお、本実施形態では、単に偏光特性が同一とみなせる画素を同一の調整領域とみなす構成について説明したが、例えば、偏光特性が同一とみなせる画素の配置を考慮して調整領域を決定する構成であってもよい。例えば、同一の偏光特性を示す２つの画素を想定した場合に、これらの画素が互いに隣り合わず、間に、略同一の偏光特性を示す画素群が存在しない場合は、１つの調整領域に上述した２つの画素を含めないように調整する。換言すると、同一の偏光特性を示す画素同士が隣り合う画素群を１つの調整領域とする。この構成であれば、画角内に存在する被写体ごとに偏光角度を調整できる可能性が高く、ユーザーの操作性を更に向上させることができる。そのほか、公知の被写体検出方法に基づく被写体検出の結果に基づいて、同一の被写体と判定された画素群ごとに、所定の偏光特性に基づく画素を１つの調整領域に決定する構成であってもよい。

【0055】

次に、ユーザーが偏光角度を調整する具体的な方法について、図９を参照して説明する。図９は、本発明の第１実施形態に係る偏光角度の調整処理に関するフローチャートである。ユーザーの操作入力によって偏光角度の調整が指示されると、ステップＳ９０１で制御部１１０は、先に算出した調整領域を示す範囲とそれ以外の範囲をユーザーが判別できるように、表示部１１１において表示画像を表示する。本実施形態では、図４における領域Ａと領域Ｂとを合わせた領域を判別できる表示画像であればよい。例えば、図４に図示する被写体を示す画像データに対して、調整領域を示す範囲を重畳して表示する、あるいは、調整領域に該当する範囲の色や模様を異ならせた表示画像を表示する構成であればよい。なお、表示画像における調整領域の表示方法は、これに限定されるものではなく、種々の方法を適用可能である。

【0056】

次に、ステップＳ９０２で制御部１１０は、ユーザーによって選択された調整領域が存在するか否かを判定する。本実施形態では、前述した偏光角度の調整領域の決定処理によって決定された調整領域のうち、任意の領域がユーザーにより選択されたか否かを判定する。例えば、画角内において離散的に複数の調整領域が存在する場合、そのうちの何れかをユーザーが選択したか否かを判定する。以降の説明では、図４に図示した被写体像のうち、領域Ａがユーザーにより選択されたと仮定する。

【0057】

ユーザにより特定の調整領域が選択されない（ステップＳ９０２でＮＯと判定された）場合は、ステップＳ９０１～Ｓ９０２の処理を繰り返す。ユーザにより特定の調整領域が選択された場合、ステップＳ９０３で制御部１１０は、ユーザにより選択された調整領域を強調するように、表示部１１１における表示を調整する。すなわち、ステップＳ９０３で制御部１１０は、ユーザにより特定の調整領域が選択されたことを視認できるような表示制御を行う。なお、前述したように、領域Ａに該当する調整領域としては、図４に示す領域Ａと領域Ｂをまとめた１つの調整領域とするため、ユーザにより領域Ａに該当する箇所のみが選択された場合であっても、領域Ｂも含む１つの調整領域が選択されたものと判定する。

【0058】

ステップＳ９０３の処理としては、例えば、画角内に複数の調整領域が存在し、各調整領域の外周に合わせた枠を表示していた場合、選択された調整領域のみ、枠の色を変更する、あるいは、枠のタイプを破線から実線に変更すればよい。なお、表示画像におけるユーザにより選択された調整領域の表示方法は、これに限定されるものではなく、種々の方法を適用可能である。

【0059】

次に、ステップＳ９０４で制御部１１０は、ユーザにより選択された調整領域における反射光のレベルを報知する。ここで、反射光のレベルは、前述した角度依存成分Ｉ（θ）と、現状の偏光角度に関する情報により求められる。例えば、本実施形態では領域Ａを含む調整領域が選択されたので、角度依存成分Ｉ（θ）は、図６（ａ）が示すカーブに該当し、現状の偏光角度が４５°であると仮定する。この場合、現状の偏光角度（４５°）における輝度が図６（ａ）で示すカーブにおける最大輝度Ｉｍａｘと一致するため、反射光のレベルは１００％となる。なお、反射光のレベルを表示する形式はどのようなものでもよいが、例えば、上述したパーセント表示以外に、輝度レベルや、偏光角度自体を示す情報を表示させる構成であってもよい。

【0060】

次に、ステップＳ９０５で制御部１１０は、ユーザの操作入力により、反射光のレベルを調整する指示がされたか否かを判定する。なお、本実施形態では、操作部１１２などの入力手段を用いて、反射光のレベルを調整するための指示を行う。ユーザにより反射光のレベルを調整する指示がされていない（ステップＳ９０５でＮＯと判定された）場合は、ステップＳ９０４～Ｓ９０５の処理を繰り返すが、この間に反射光のレベルを適宜調整（更新）する構成であってもよい。また、ステップＳ９０５でＮＯと判定された場合に、ステップＳ９０１の処理に戻る構成であってもよい。

【0061】

以降の説明では、ステップＳ９０５の処理において、反射光のレベルが現状の１００％から８．５％となるようにユーザにより指示された場合を想定する。次に、ステップＳ９０６で制御部１１０は、ユーザが指定した調整領域に対して、ユーザが指定した反射光のレベルとなるように、偏光画像同士の合成比率を決定する。

【0062】

具体的に、本実施形態では、図６（ａ）に図示するような偏光角度の角度依存成分Ｉ（θ）に基づいて、最大輝度Ｉｍａｘが反射光のレベルが１００％を基準とした、輝度８．５％の位置に該当する偏光角度を求める。本実施形態では、反射光のレベルが８．５％になる際の偏光角度を１１８°と想定する。

【0063】

したがって、領域Ａを含む調整領域の反射光レベルをユーザが所望する度合に調整するには、偏光角度が１１８°に相当する画像を取得する必要がある。そこで、本実施形態では、ユーザが所望する反射光のレベルに相当する偏光角度となるように、先に取得した複数の偏光画像の合成比率を調整する。合成比率の調整方法としてはどのような方法であってもよい。例えば、図６（ａ）に図示する偏光角度の角度依存成分Ｉ（θ）に基づくと、１１８°に最も近い偏光画像である、偏光角度θ＝１３５°の画像の合成比率を他の偏光画像の合成比率よりも高くする方法などを採用すればよい。

【0064】

以上説明したように、本実施形態の撮像装置１００は、所定の偏光特性を示す画角内の領域の偏光角度（反射光のレベル）を調整するための調整領域を設定でき、この調整領域を基準として、ユーザが意図する偏光角度（反射光のレベル）を調整できる。この構成により、ユーザが反射光のレベルを調整した画角内の領域を選択する際に、ユーザによる領域の設定作業が煩雑になることを抑制できるとともに、ユーザが所望する明るさの画像を簡単に取得することができる。

【0065】

（第２実施形態）
前述した第１実施形態では、特定の偏光特性を示す（偏光特性が類似する）画素をグループ化して、偏光角度（反射光のレベル）調整する際の調整領域を決定する構成について説明した。具体的に、第１実施形態では、角度依存成分Ｉ（θ）における最大輝度Ｉｍａｘとなるときの偏光角度θｍａｘの発生頻度に基づいて調整領域を決定した。

【0066】

しかしながら、図１０に図示するヒストグラムのように、必ずしも決まった偏光角度に特定の偏光特性の発生頻度が集中するとは限らず、被写体によっては、ヒストグラムの形状が大きく異なる。図１０は、所定の偏光特性の発生頻度のヒストグラムを例示的に説明する図である。図１０に図示するように、ヒストグラムにおけるピークの先鋭度が小さい場合は、同じ偏光特性を示す画素の絶対数が少なく、偏光角度全域に対して所定の偏光特性の発生頻度が広く分布する。このような場合、実際の被写体像に対して、偏光角度を一律調整する調整領域を正しく決定できない場合がある。

【0067】

そこで本実施形態では、図１０に図示するように、所定の偏光特性の発生頻度が最も多い偏光角度を基準とした所定の範囲に含まれる偏光角度に該当する画素を、同一の調整領域に決定する。

【0068】

具体的に、図１０に図示する例では、所定の偏光特性（例えば、最大輝度Ｉｍａｘとなるときの偏光角度θｍａｘ）に該当する発生頻度がピークとなる偏光角度θ＝９０°とする。そして、図１０に図示する例では、偏光角度θ＝９０°を中心に、所定の範囲である±β°を同一の調整領域に含める領域（図中の網掛け部分）とする。つまり、角度依存成分Ｉ（θ）において最大輝度Ｉｍａｘとなるときの偏光角度θｍａｘが、９０±β°の範囲内に該当する調整対象画素をグループ化し、これを１つの調整領域とする。

【0069】

なお所定の範囲（±β°）の決定方法としては、例えば、ユーザが操作部１１２を操作して、具体的な角度の範囲を入力できる構成であればよい。または、具体的な所定の範囲を入力するのではなく、ユーザが選んだ撮影シーンや、撮像装置１００が判定した撮影シーンなどの撮影条件に基づいて、所定の範囲を決定する構成であってもよい。

【0070】

また、所定の範囲を設定するか否かを、偏光角度の角度依存成分Ｉ（θ）における所定の偏光特性の発生頻度に関する情報に基づいて、決定する構成であってもよい。具体的に、偏光角度の角度依存成分Ｉ（θ）における所定の偏光特性の発生頻度に関するヒストグラムが示すピークの形状や頻度の度合いに基づいて、所定の範囲を設定するか否か、あるいは、所定の範囲を設定する構成であってもよい。例えば、角度依存成分Ｉ（θ）が最大輝度Ｉｍａｘとなるときの偏光角度θｍａｘが様々な偏光角度に存在している場合、つまりヒストグラムの形状が先鋭でない場合は、所定の範囲（±β°）の値を大きめに設定する。この構成により、ユーザが反射光のレベルを調整する際の偏光角度における調整精度を向上させることができる。

【0071】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、光学レンズを一体的に備えた撮像装置について説明したが、所謂交換レンズを着脱可能なレンズ交換式の撮像装置を採用する構成であってもよい。

【0072】

また、前述した実施形態では、撮像素子１０２を構成する画素および画素群ごとに偏光角度が異なる偏光フィルタを採用する例について説明したが、これに限定されるものではない。例えば、前述した実施形態における撮像素子１０２を構成する１画素に対して複数の異なる偏光角度が該当するように偏光フィルタを設ける構成であってもよい。この場合、１つの画素信号において異なる偏光角度を介して偏光できるため、画素単位で複数の振動方向の光以外を除去した画像データを得ることができる。

【0073】

なお、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、車載カメラやセキュリティーカメラなど、デジタルカメラ以外の画像処理装置を採用する構成であってもよい。

【符号の説明】

【0074】

１００ 撮像装置
１０２ 撮像素子
１０８ 偏光制御部
１１０ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】