特許 7410621 撮像装置およびその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-26

(45)【発行日】2024-01-10

(54)【発明の名称】撮像装置およびその制御方法、プログラム

(51)【国際特許分類】

   H04N 23/71 20230101AFI20231227BHJP

   H04N 25/70 20230101ALI20231227BHJP

   H04N 23/50 20230101ALI20231227BHJP

   H04N 23/54 20230101ALI20231227BHJP

   H04N 23/63 20230101ALI20231227BHJP

   G03B 11/00 20210101ALI20231227BHJP

   G03B 7/091 20210101ALI20231227BHJP

【ＦＩ】

H04N23/71

H04N25/70

H04N23/50

H04N23/54

H04N23/63 100

G03B11/00

G03B7/091

【請求項の数】 10

(21)【出願番号】P 2019228207

(22)【出願日】2019-12-18

(65)【公開番号】P2021097345

(43)【公開日】2021-06-24

【審査請求日】2022-12-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】西田 徳朗

(72)【発明者】

【氏名】小布施 武範

(72)【発明者】

【氏名】石川 義和

(72)【発明者】

【氏名】木村 孝行

(72)【発明者】

【氏名】山下 雄介

【審査官】門田 宏

(56)【参考文献】

【文献】特開２００６－３５０６７０（ＪＰ，Ａ）

【文献】特開２０１２－１５６８３８（ＪＰ，Ａ）

【文献】特開２００１－２６４８４５（ＪＰ，Ａ）

【文献】特開２０１７－２２８９１０（ＪＰ，Ａ）

【文献】特開平３－１９２２３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０３Ｂ ７／００－ ７／３０

Ｇ０３Ｂ １１／００－１１／０６

Ｈ０４Ｎ ２５／７０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

異なる複数の偏光方向を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、
前記撮像素子から出力されたデータに基づいて、複数の偏光方向ごとに輝度値を取得する取得手段と、
前記取得手段により得られた前記複数の偏光方向ごとの輝度値に基づいて、前記撮像素子を用いて被写体を撮像する際の画角における偏光度合を判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記画角に含まれる領域を前記偏光度合に応じてグループ化し、当該グループ化された領域を露出調整用の測光枠として選択可能に設定する設定手段と、を有することを特徴する撮像装置。

【請求項2】

前記設定手段は、前記グループ化された領域を、ユーザーが手動選択できる露出調整用の測光枠に設定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記偏光フィルタは、前記撮像素子の画素に対応するする領域ごとに同一の偏光方向が設定され、少なくとも３つ以上の異なる偏光方向のフィルタが互いに近接して配されており、
前記判定手段は、前記複数の偏光方向ごとの輝度値における最大輝度値と最小輝度値との輝度差を算出し、当該輝度差が所定の閾値を超えるか否かに応じて前記偏光度合を判定することを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記判定手段は、前記偏光フィルタのうち、互いに近接する異なる偏光方向を１つのグループとし、当該グループに該当する前記撮像素子の画素から出力される前記複数の偏光方向ごとの輝度値の中から、前記最大輝度値と前記最小輝度値との前記輝度差を算出することを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記判定手段は、前記輝度差が前記所定の閾値を超えるグループの前記偏光度合を偏光状態とし、前記輝度差が前記所定の閾値未満のグループの前記偏光度合を無偏光状態と判定することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記設定手段は、前記判定手段により前記偏光状態であると判定された前記画角における領域のうち、偏光方向が同一である連続した領域をグループ化することを特徴する請求項５に記載の撮像装置。

【請求項7】

前記設定手段は、前記判定手段により前記無偏光状態であると判定された前記画角における連続した領域をグループ化することを特徴する請求項５又は６に記載の撮像装置。

【請求項8】

前記設定手段は、前記判定手段により判定された前記画角における前記偏光状態に該当する領域のうち、前記輝度差に応じて偏光強度が同一となる連続した領域をグループ化することを特徴とする請求項５乃至７の何れか一項に記載の撮像装置。

【請求項9】

複数の偏光方向ごとに輝度値を取得できる撮像装置の制御方法であって、
前記複数の偏光方向ごとの輝度値に基づいて、被写体を撮像する際の画角における偏光度合を判定する判定工程と、
前記判定工程による判定の結果に基づいて、前記画角に含まれる領域を前記偏光度合に応じてグループ化し、当該グループ化された領域を露出調整用の測光枠として選択可能に設定する設定工程と、を有することを特徴する撮像装置の制御方法。

【請求項10】

請求項９に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置とその制御方法およびプログラムに関して、特に、被写体を撮像する際の露出調整に関する。

【背景技術】

【0002】

従来、ＣＣＤや、ＣＭＯＳセンサーなどに代表される電荷蓄積型の固体撮像素子（以下、単に撮像素子と称す）は、複数の受光素子（画素）により形成されており、各画素において受光した光を電気に変換することで、光の強さ（輝度）を検出することができる。また、各々の画素に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長帯のみを通すカラーフィルタを配置することで、可視可能な波長（色）だけを取得することができる。このような仕組みにより、撮像素子に受光した光を視認可能なカラー映像として電気的に置き換えることが可能となり、映像の記録や鑑賞が可能となる。

【0003】

ところで、光には、輝度や色などの要素の他にも、偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は、被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際は偏光された光と偏光していない光がすべて合成されて人間の眼に届くため、人間が光の偏光方向を感知する機会は少ない。一方で、光を偏光することで、必要な映像を引き立てて、不要な情報を除去できることは知られている。例えば、水面やガラス面に映りこんでしまう映像をＰＬ（Ｐｏｌａｒｉｚｅｄ Ｌｉｇｈｔ：偏光）フィルタを使うことで除去できることは撮影のテクニックとしてよく利用されている。他にも不要な反射光を抑えることで、コントラストの強調効果を生み出したり、偏光強度から物体にかかる応力の可視化など、従来とは異なる光の性質として、様々な応用が期待されている。

【0004】

近年、この偏光成分を積極的に利用する技術も提案されてきている。例えば、特許文献１では、ＣＣＤセンサを構成する複数の受光素子のうち、特定の画素上にカラーフィルターだけでなく偏光子を重ねて配置する技術について提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－１１７５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、撮像装置における露出制御としては、絞り、シャッター速度、または撮像素子のゲイン調整機能（アナログ・デジタルゲインを含む）などを制御して、被写体が最適な明るさとなるように制御することがしられている。そして、この露出制御を実行するために、撮像画角内の任意の位置に測光範囲（測光枠）を設定して、その枠内で評価値を算出し、この評価値を用いて露出を調整する方法が知られている。

【0007】

測光枠は、主被写体が多く存在する画角中央付近や、空が入りやすい画面上部など、ある程度決められた範囲に設定されることが多いが、どの領域を測光枠と設定するかは、撮影シーンや被写体検出の結果、ユーザの手動操作などに応じて異なる。例えば、特許文献１では、ＣＣＤセンサに入射する光の量に応じて、偏光子が配された受光素子から出力される電気信号と、偏光子が配されていない受光素子から出力される電気信号の何れかを選択的に用いて露出用価値を生成するという点について開示されている。

【0008】

しかしながら、特許文献１で提案されている技術では、複数の偏光方向を設定可能な構成を想定しておらず、偏光方向を加味して露出を調整する点については言及されていない。したがって、特許文献１で提案されている技術では、偏光方向に応じた最適な露出調整ができず、不自然な明るさの画像が取得される虞がある。本発明の目的は、被写体の偏光度合に応じて不自然な明るさの画像が取得されることを抑制することである。

【課題を解決するための手段】

【0009】

上述の問題点を解決するため、本発明の撮像装置は、異なる複数の偏光方向を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、前記撮像素子から出力されたデータに基づいて、複数の偏光方向ごとに輝度値を取得する取得手段と、記取得手段により得られた前記複数の偏光方向ごとの輝度値に基づいて、前記撮像素子を用いて被写体を撮像する際の画角における偏光度合を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記画角に含まれる領域を前記偏光度合に応じてグループ化し、当該グループ化された領域を露出調整用の測光枠として選択可能に設定する設定手段と、を有することを特徴する。

【発明の効果】

【0010】

本発明によれば、被写体の偏光度合に応じて不自然な明るさの画像が取得されることを抑制することができる。

【図面の簡単な説明】

【0011】

【図1】本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である

【図2】評価値算出部１０８の内部ブロックの詳細を例示的に説明するブロック図である。

【図3】本発明の実施形態に係る撮像素子１０２の画素および偏光フィルタの関係を例示的に説明する図である。

【図4】本発明の実施形態に係る撮像素子１０２の画素、偏光フィルタおよびカラーフィルターの関係を例示的に説明する図である。

【図5】撮像シーンの一例として風景画５００を示す図である。

【図6】異なる偏光方向の第１偏光フィルタ３０１、第２偏光フィルタ３０２、第３偏光フィルタ３０３、第４偏光フィルタ３０４を介して得られた複数の画像を例示的に説明する図である。

【図7】実施形態に係る露出調整用の評価値算出に係るフローチャートである。

【図8】本発明の第１実施形態に係る、画素毎に出力される輝度レベルの比較方法を例示的に説明する図である。

【図9】本発明の第１実施形態に係る偏光マップの作成例を示す図である。

【図10】本発明の第１実施形態に係る画角の分割方法の変形例を例示的に説明する図である。

【図11】本発明の第１実施形態に係る偏光方向ごとのグループ化の方法を例示的に説明する図である。

【図12】本発明の実施形態に係る測光方法を例示的に説明する図である。

【図13】本発明の第２実施形態に係る偏光強度を加味した偏光マップを例示的に説明する図である。

【図14】本発明の第２実施形態に係る偏光強度を加味した偏光方向ごとのグループ化の方法を例示的に説明する図である。

【図15】４つの偏光角度の画像データにおいて、対応する１画素の測光値（輝度値）を偏光角度ごとにプロットすることで得られる分布図である。

【発明を実施するための形態】

【0012】

（第１実施形態）
（撮像装置１００の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。なお、図１および後述する図２に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサ（マイクロプロセッサ、マイクロコンピュータ）がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

【0013】

図１に図示するように、光学レンズ１０１は、被写体の光学像を示す光束を撮像装置１００の内部に導くための撮像光学系であって、種々のレンズや駆動モーターから成り、後述する撮像素子１０２の撮像面に光を結像することができる。

【0014】

撮像素子１０２は、光学レンズ１０１により導かれた被写体の光束を受光して電気的な画像信号に変換することができるＣＭＯＳ等の電荷蓄積型の固体撮像素子を採用した撮像手段である。撮像素子１０２で得られる電気信号はアナログ値であるので、デジタル値に変換する機能も合わせ備えている。なお、撮像素子１０２は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる３つ以上の角度を備える。この偏光フィルタを備えた撮像素子１０２の詳細については後述する。

【0015】

信号処理部１０３は、撮像素子１０２によって電気的に変換された信号に様々な補正処理を施す機能を持つ画像処理ブロックである。例えば、信号処理部１０３は、撮像素子１０２が備える各画素の性能ばらつきの補正や、ホワイトバランスの調整、レンズの特性により発生する歪みや周辺光量不足の補正などを実行する。

【0016】

フレームメモリ１０４は、一般的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と呼ばれ、信号（映像信号）を一時的に溜めておき、必要な時に読み出すことが可能な記憶部である。映像信号は膨大なデータ量であるため、高速かつ高容量のものが求められる。近年ではＤＤＲ３－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ ３ － Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）などが用いられることが多い。このフレームメモリ１０４を使えば様々な処理が可能となる。例えば、時間的に異なる画を合成したり、必要な領域だけを切り出すことができる。

【0017】

映像生成部１０５は、信号処理部１０３から出力された映像信号に対して、各種情報から映像信号に加工を施す映像生成手段である。例えば、映像生成部１０５は、映像に文字情報を重畳する、あるいは、被写体の輪郭（境界）を強調するための色付けを行うなど、ユーザーが視認しやすい映像に加工することができる。

【0018】

映像出力部１０６は、映像生成部から出力された映像信号を撮像装置１００の外部に出力する際のインターフェース部である。該インターフェースとしては、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などであって、外部モニタなどに映像を表示することが可能となる。

【0019】

評価値算出部１０８は、撮像素子１０２から出力された偏光情報に基づいて、被写体を測光して得る露出調整用の評価値など、種々の評価値を算出する算出手段である。評価値算出部１０８が実行する処理の詳細は後述する。

【0020】

露出調整部１０７は、被写体を撮像して映像信号を出力する際の露出を制御する露出制御手段である。露出制御手段は、例えば、光学レンズ１０１に設けられた光量調節用の絞り（不図示）の調整や、撮像素子１０２を用いたシャッター速度やゲイン調整などの制御を行う。なお、露出調整部１０７が調整可能な露出要素は、上述した絞りに係る絞り値やシャッター速度、ゲインだけに限らず、例えば、フィルタを透過する光量を調節するためのＮＤフィルタの濃度を調整可能な構成あってもよい。

【0021】

記録部１０９は、映像信号（映像データ）や種々の設定データを記録可能な記録手段であって、大容量記憶素子により構成されている。例えば、記録部１０９としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが利用される。

【0022】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置から成り、上述してきた各ブロックに接続され、撮像装置１００および撮像装置１００に装着されたアクセサリの各部を統括的に制御可能な制御手段である。制御部１１０には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭが接続されている。ＲＯＭ１１３は、不揮発性の記録素子であり、制御部１１０を動作させるためのプログラムや各種調整パラメータなどが記録されている。ＲＯＭ１１３から読み出されたプログラムは揮発性のＲＡＭ１１４に展開されて実行される。一般的にＲＡＭ１１４は、フレームメモリ１０４に比べて、低速、低容量な素子が使用される。

【0023】

また、制御部１１０には、表示部１１１、操作部１１２などが接続されている。表示部１１１は、ユーザーが視認することができる表示デバイスであり、撮像装置１００の動作状況を確認することができる。例えば、映像生成部１０５で処理された映像や、設定メニューなどを表示する。近年では、表示デバイスとしてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）といった、小型で低消費電力のデバイスが利用されている。操作部１１２は、撮像装置１００とユーザーのインターフェース部分であり、メカニカルなボタンやスイッチなどの素子が使われ、電源スイッチ、モード切り替えスイッチなどで構成されている。近年ではタッチパネルと呼ばれる抵抗膜式や静電容量式の薄膜素子なども利用されている。すなわち、表示部１１１がタッチパネル型の表示デバイスであれば、操作部１１２を兼用することもできる。これらシステムを駆動させるために、撮像装置１００には、電源部１１５や発振部１１６なども備えられている。電源部１１５は、上述した各ブロックに電源を供給する部分で、外部から供給される商用電源やバッテリーなどの電源を任意の電圧に変換し、分配する機能を持つ。発振部１１６はクリスタルと呼ばれる発振素子である。制御部１１０などは、この発振素子から入力される単一周期的な信号を基準として所望のタイミング信号を生成し、プログラムシーケンスを進めていく。以上が、本発明の前提となる全体システムの一例である。

【0024】

（撮像素子１０２の詳細構成）
次に、撮像素子１０２について図３、図４を参照して詳細を説明する。図３は、本発明の実施形態に係る撮像素子１０２の画素および偏光フィルタの関係を例示的に説明する図である。図３（ａ）は、撮像素子１０２を構成する画素領域の一部を示し、各画素と偏光フィルタの偏光角度の関係を例示的に説明する図である。図３（ｂ）は、撮像素子１０２を構成する１つの画素グループを例示的に説明する図であって、本実施形態では、互いに近接する４つの画素を一組とする１つの画素グループとし、画素ごとに異なる偏光方向（偏光角度）の偏光フィルタが配されている。

【0025】

図３（ａ）に図示するように、本実施形態に係る撮像素子１０２は、画素ごとに偏光フィルタが配されている。また、各画素の偏光フィルタは偏光方向（偏光角度）が異なっているため、例えば１つの画素グループから異なる４つの偏光方向の光に基づく信号を出力できる。以後、このような構成の撮像素子１０２を、撮像面偏光センサー３００と称する。なお、撮像面偏光センサー３００は、前述したように、撮像素子１０２自体が偏光フィルタを一体的に備える構成であってもよいが、例えば、撮像素子１０２の画素配置に重ねて配置可能な偏光フィルタ部材を別体で備える構成であってもよい。すなわち、撮像面偏光センサー３００は、偏光フィルタが一体的に設けられた撮像素子１０２、および、撮像素子１０２と偏光フィルタ部材とを１つのパッケージとしたユニットの何れも含みうる。

【0026】

図３（ｂ）に図示するように、撮像面偏光センサー３００は、４つの画素を一対としている。そして、撮像面偏光センサー３００は、０度方向の偏光フィルタ３０１、４５度方向の偏光フィルタ３０２、９０度方向の偏光フィルタ３０３、１３５度方向の偏光フィルタ３０４のように、偏光方向が４５度ずつ異なる偏光フィルタが配されている。撮像面偏光センサー３００は、これらの偏光方向が異なる４画素が、図３（ａ）に図示するように周期的に配置されている構成である。

【0027】

この構成により、時間的な差異なく（すなわち同一の期間で）、同一フレームの映像信号として、異なる偏光方向に偏光された信号を取得することができる。したがって、本実施形態に係る撮像面偏光センサー３００であれば、例えば、光学レンズ１０１の前方に一般的なＰＬフィルタなどを配し、所望の偏光方向となるように、ユーザーが手動で操作する作業が不要である。具体的に、例えば、ある一つの偏光方向の画素から得られた信号だけを抽出して、一枚の画像（映像）を生成すれば、該偏光フィルタの偏光特性のみを備えた画像（映像）を取得することができる。

【0028】

なお、図４に図示するように、更に、撮像素子１０２の各画素に合わせてカラーフィルターが配された場合は、各色および各偏光方向ごとの画像を得ることができる。図４は、本発明の実施形態に係る撮像素子１０２の画素、偏光フィルタおよびカラーフィルターの関係を例示的に説明する図である。図４（ａ）は、撮像素子１０２を構成する画素領域の一部を示し、各画素と偏光フィルタおよびカラーフィルターの関係を例示的に説明する図である。図４（ｂ）は、同じカラーフィルターから出力され、偏光方向が異なる４つの画素を一組とした複数の画素グループを例示的に説明する図である。図４（ａ）に図示するように、前述した偏光方向が異なる１つの画素グループ（４画素）ごとに同色カラーフィルタなどを配置することで、カラー化された偏光方向が異なる画像を得ることができる。

【0029】

以上が、本実施形態に係る撮像素子１０２および撮像素子１０２を含む撮像面偏光センサー３００の一例である。なお、図３、図４に図示したものは一例であって、偏光フィルタの配置や偏光方法、カラーフィルターの配置などについては、図示した以外の構成を採用し、任意の設定が可能である。また、前述した撮像面偏光センサー３００では、撮像素子１０２の画素ごとに偏光方向が異なる偏光フィルタを備える構成について説明したが、これに限定されるものではない。例えば、複数の画素に対して１つの偏光方向が対応する構成であってもよいし、撮像素子１０２を構成する画素の一部のみに偏光フィルタが重畳している構成であってもよい。

【0030】

（撮像装置１００を用いた撮像処理）
以下、前述した撮像素子１０２（すなわち撮像面偏光センサー３００）を備えた撮像装置１００を用いて被写体を撮像する際の撮像処理の詳細について説明する。図５は、撮像シーンの一例として風景画５００を示しており、風景画５００が示す画角内に、太陽５０１、空５０２、雲５０３、木５０４、平地５０５、湖５０６などが含まれている。この風景画５００を、撮像装置１００を用いて取得する場合、光学レンズ１０１を通って、撮像素子１０２に結像される被写体の光学像から、図６に図示するように、前述したような４つの異なる偏光画像（映像）を取得することができる。

【0031】

図６は、それぞれ異なる偏光方向の第１偏光フィルタ３０１、第２偏光フィルタ３０２、第３偏光フィルタ３０３、第４偏光フィルタ３０４を介して得られた複数の画像を例示的に説明する図である。図６（ａ）は、偏光方向が０度方向である第１偏光フィルタ３０１に対応した画素から得た画像６０１を示し、図６（ｂ）は、偏光方向が４５度方向である第２偏光フィルタ３０２に対応した画素から得た画像６０２を示している。また、図６（ｃ）は、偏光方向が９０度方向である第３偏光フィルタ３０３に対応した画素から得た画像６０３を示し、図６（ｄ）は、偏光方向が１３５度方向である第４偏光フィルタ３０４に対応した画素から得た画像６０４を示している。なお、図中は、各画像において、各偏光フィルタを通過した被写体像領域は明るく、偏光フィルタで遮光された被写体像領域は暗く表現している。例えば、太陽５０１からの光線が湖５０６の湖面で反射しているシーンを想定した場合、その反射光は一般的には偏光している。したがって、例えば、偏光方向が１３５度方向の第４偏光フィルタ３０４で反射光を多く通過し、４５度方向の第２偏光フィルタ３０２では反射光が遮光されているような画像が取得できる。これは、湖５０６での反射光を選択的に取得することができることを意味しており、例えば、図６（ｂ）に示す画像６０２では、湖面での反射を抑えて水の内部まで可視化できる画像（映像）を得られる。

【0032】

なお、太陽５０１からの光線が、種々の被写体にあたって反射すると、複雑な偏光方向を持って光が反射するので、木５０４と湖５０６のように、偏光方向の性質に違いが出る場合もある。また、雲５０３や平地５０５のように、異なる偏光方向の偏光フィルタを介して得られた画像であっても、その影響が小さい領域も存在する。これらの領域は、偏光フィルタの偏光方向を変えたとしても、各偏光方向で得られる画像間の輝度差が小さい無偏光領域である。

【0033】

図２は、前述した評価値算出部１０８の内部ブロックの詳細を例示的に説明するブロック図である。図２に図示するように、偏光情報入力部２０１は、信号処理部１０３から出力された映像信号に係る偏光情報を取得可能なブロックである。偏光情報比較部２０２は、偏光情報入力部２０１から出力された偏光情報を備えた映像信号を比較するブロックである。偏光マップ作成部２０３は、偏光情報比較部２０２で得た比較結果から、画角内の偏光分布（偏光度合）を示す偏光マップを生成するブロックである。領域設定部２０４は、偏光マップ作成部２０３が作成した偏光マップを基準として、露出調整に使用する画角内の領域を決定するブロックである。評価値演算部２０５は、露出調整用の評価値を演算するブロックであって、前述した露出調整に用いる領域に該当する画素から得た情報に対する重み付けの度合いが、他の領域よりも大きくなるように調整する。なお、本実施形態で、評価値演算部２０５は、被写体を測光した結果（基準輝度値）の算出、および、当該基準輝度値に基づく露出調整用の評価値の算出を行う。

【0034】

露出用評価値出力部２０６は、評価値演算部２０５の評価結果を露出調整部１０７および映像用評価値出力部２０７に出力するブロックであって、映像用評価値出力部２０７は、該評価結果を映像生成部１０５に出力する。

【0035】

以下、上述した各ブロックの動作について、図７に図示するフローチャートに従って説明する。図７は、本実施形態に係る露出調整用の評価値算出に係るフローチャートであって、図７における各処理は、制御部１１０による統括的な指示に従って各ブロックにより実行される。

【0036】

図６で図示したような異なる偏光情報を持った複数の映像信号（画像信号）は、偏光情報入力部２０１に入力され、図７に図示する処理がスタートする。なお、本実施形態では、４つの偏光方向のそれぞれに関する計４つの映像情報が偏光情報入力部２０１に入力される。ステップＳ７０１で偏光情報比較部２０２は、４つの映像情報を比較する。比較は画素毎に実行され、図３（ｂ）に図示したように、１つの画素グループに含まれ（すなわち、撮像素子１０２において互いに近接し）た偏光方向が異なる画素同士を比較する。ステップ７０１の処理では、主に輝度レベルの比較を行う。この比較イメージを図８に示す。

【0037】

図８は、本発明の第１実施形態に係る、画素毎に出力される輝度レベルの比較方法を例示的に説明する図である。図８（ａ）は、異なる偏光方向の画素間で輝度レベルの差（輝度差）が大きい場合の例であり、図８（ｂ）は、異なる偏光方向の画素間で輝度差が小さい場合の例である。つまり、図８（ａ）では、偏光度合が高い状態（偏光状態）における、画素ごとの輝度レベルの差異を示し、図８（ｂ）では、偏光度合が低い状態（無偏光状態）における、画素ごとの輝度レベルの差異を示している。

【0038】

なお、偏光状態と無偏光状態の判断方法としては、例えば、偏光情報比較部２０２が、図８の各図に図示するように、画素グループ内の最大輝度値と最小輝度値との輝度差８０１を算出し、当該輝度差が所定の閾値を超えるか否かで判断する。具体的に、本実施形態では、ステップＳ７０２において、偏光情報比較部２０２が上述した判断を実行し、輝度差８０１が所定の閾値を超える画素グループを偏光状態とし、輝度差８０１が所定の閾値未満の画素グループを無偏光状態と判断する。そして、ステップＳ７０３、Ｓ７０４で、比較対象の領域（画素）が偏光状態に該当する領域であるか、無偏光状態に該当する領域であるかを決定する。そして、当該比較を画角内の全領域（全画面）で実行した結果に基づいて、ステップＳ７０５において、偏光マップ作成部２０３が偏光マップを作成する。

【0039】

図９は、本発明の第１実施形態に係る偏光マップの作成例を示す図であって、図９（ａ）は、図５で図示した画像に偏光マップを重畳して表示した例を示し、図９（ｂ）は偏光度合のみを抽出して表示した例である。これらの図で説明するようにユーザーに対して偏光度合（偏光分布）を報知することで、画角内で偏光している領域や偏光方向などをユーザーが直感的に認識することができる。なお、偏光度合を表示可能な最小の領域サイズは、構成上は図３（ｂ）で図示するような画素グループの単位まで細分化することができる。

【0040】

しかしながら、撮像装置１００における処理負荷低減やユーザーの視認性向上のために、図１０で図示するように、画角の分割数を粗くして領域の数を限定した状態で偏光度合（偏光分布）を示す構成であってもよい。図１０は、本発明の第１実施形態に係る画角の分割方法の変形例を例示的に説明する図であって、画角１０００を分割線１００１により、上下方向および左右方向に等間隔に分割した状態を示し、分割線で区切られた領域が偏光度合を示す１つの領域である。なお、図１０に図示する構成に基づいて画角を分割する場合、分割された領域に含まれる各画素グループにおける偏光の有無や偏光方向などの偏光情報を平均化することで、分割された領域ごとの偏光度合を判定する構成であってもよい。

【0041】

図７に戻り、ステップＳ７０６で領域設定部２０４は、偏光方向が同一であると判定された互いに連続する領域をグループ化する。なお、本実施形態では、ステップＳ７０６でグループ化する対象は、偏光状態に該当する偏光領域のみであるが、無偏光状態に該当する無偏光領域をグループ化する構成であってもよい。この場合、ユーザーに対する偏光度合の報知は、偏光領域と無偏光領域とを明確に区別できるような表示を行うことが望ましい。

【0042】

図１１は、本発明の第１実施形態に係る偏光方向ごとのグループ化の方法を例示的に説明する図である。そして、図１１（ａ）は、画角１１００において、偏光方向が同一であると判定された領域をグループ化するために破線で示す枠で囲った表示する形態を示す。なお、説明の簡単化のため、領域を示す枠は矩形で示すが、当該枠は任意の形状であればどのような形でもよい。

【0043】

ここで、偏光方向が同一となる領域（枠）をグループ化する方法としては、上述したもの以外の方法を採用してもよい。例えば、偏光方向が同一となる領域のうち、画角内で面積的に広く固まって（連続して）分布している領域を１つの偏光領域や無偏光領域としてグループ化する構成であってもよい。また、複数のフレーム間で偏光度合の変化をサンプリングし、所定の更新周期で、時間的に偏光方向の揺らぎが小さい領域を１つの偏光領域や無偏光領域としてグループ化する構成であってもよい。更に、主要な被写体が位置する確率が高い位置（例えば、画角中央）や被写体の検出結果（例えば、顔検出結果）に基づいて、グループ化する枠の形状を設定する構成であってもよい。すなわち、本発明の第１実施形態では、偏光方向が異なる偏光フィルタを介して得られた画像信号に基づく偏光情報に応じて、偏光領域（無偏光領域）が設定される構成であればよい。

【0044】

図１１（ｂ）は、図５で図示した画像にグループ化された偏光領域（無偏光領域）を重畳して表示した例を示す図である。本実施形態では、図１１（ｂ）に図示するように、画角１１００に占める偏光領域のみをグループ化し、該グループ化された各領域を、露出調整用の測光枠（測光領域）１１０１に設定する。

【0045】

なお、ステップＳ７０６で設定された測光枠１１０１は、図１２（ａ）に図示するように、表示部１１１などを利用してユーザーに報知できる。そして、例えば、表示部１１１に表示された測光枠１１０１の位置は、ユーザーが操作部１１２を操作して選択される（Ｓ７０７）すなわち、測光枠１１０１は、ユーザーにより手動選択可能である。図１２は、本発明の実施形態に係る測光方法を例示的に説明する図であって、図１２（ａ）は、画像に測光枠１１０１を重畳して表示する形態を例示的に説明する図である。図１２（ａ）に図示する例では、測光枠１１０１に含まれる領域１２０１を選択している場合に、測光枠１１０１が選択される例を示す。

【0046】

なお、例えば、図１２（ａ）に図示するような偏光領域を主たる測光枠（主測光枠）としてユーザが選択した場合、さらに表示部１１１には、図１２（ｂ）で図示する表示例などに基づいて、ユーザーが任意の偏光方向を選択できる（Ｓ７０８）。図１２（ｂ）は、測光枠１１０１において任意の偏光方向を選択定する方法を例示的に説明する図である。この構成により、ユーザーは、任意の偏光方向の映像を選択して確認することができるため、例えば、湖５０６の湖面での反射が抑制された状態、あるいは、反射が目立つ状態の何れで測光を行うかを直感的に選択することができる。

【0047】

そして、ユーザーにより設定された主測光枠および偏光方向に基づいて、評価値演算部２０５は、偏光測光モードにて評価値を算出する（Ｓ７０９、Ｓ７１１）。すなわち、ユーザーが画角内の偏光領域を主測光枠に設定した場合は、偏光測光モードとして動作し（Ｓ７０９）、ユーザーが選択した偏光方向の画像信号に基づいて評価値を算出する。

【0048】

評価値の算出方法としては、具体的に、任意の偏光方向について、主測光枠に含まれるすべての範囲の画素の平均輝度値や、該範囲内の最大輝度値を算出し、これらの輝度値を代表輝度値として評価値を算出する構成であればよい。なお、代表輝度値自体を露出調整用の評価値としてもよいが、代表輝度値に対して、更に任意の係数を乗算して評価値を算出する構成であってもよい。

【0049】

なお、本実施形態では、ユーザーが選択した主測光枠および偏光方向に係る領域に対応する画像信号のみに基づいて露出調整用の評価値を算出する構成について説明したが、これに限定されるものではない。例えば、当該領域の重み付けを他の領域よりも高くした画角全体の加重平均により基準輝度を求める構成であってもよい。この場合、重み付けの度合いはどのようなレベルに設定する構成であってもよいが、例えば、図８で図示する輝度差８０１の大きさに基づいて重み付け度合を決定する構成などが考えられる。なお、測光に用いる領域としては、画角内に含まれる偏光領域のみであってもよいし、無偏光領域を含む構成であってもよい。

【0050】

また、測光枠１１０１の選択方法としては、ユーザの手動操作によって選択された領域（偏光領域）を測光枠１１０１とする構成について説明したが、これに限定されるものではない。例えば、画角に占める最大面積を備えた領域を取測光枠に設定してもよいし、公知の方法で検出された特定の被写体領域（例えば、顔や人体領域など）と重畳する偏光領域を主測光枠に設定してもよい。すなわち、主測光枠の選択方法としてはどのような方法を採用してもよい。

【0051】

ステップＳ７０７にて、ユーザーにより選択された画角内の領域が偏光領域ではない（無偏光領域である）場合は、通常測光モードが設定される（Ｓ７１０）。通常測光モードは、画角内の画素から出力される輝度レベルを加算平均することで平均輝度を算出し、当該平均輝度を代表輝度値として評価値を算出する（Ｓ７１１）。なお、代表準輝度値を評価値として算出する構成であってもよい。なお、全画素の加算平均ではなく、無偏光領域のみの平均輝度値を代表準輝度値とする構成であってもよい。

【0052】

以上、図７に図示するフローチャートに基づいて演算された評価値は、それぞれ露出用評価値出力部２０６や映像用評価値出力部２０７に出力される。そして、露出用評価値出力部２０６を介して出力された評価値に関する情報に基づいて、露出調整部１０７が種々の露出パラメータの調整を行う。また、映像用評価値出力部２０７を介して出力された評価値に関する情報に基づいて、映像生成部１０５によって生成された種々の情報が映像出力部１０６や表示部１１１などから確認できる構成であればよい。具体的に、例えば、ステップＳ７０８の処理においてユーザーが偏光方向を選択したことに応じて、図６（ａ）～（ｄ）を適宜切り替えて、表示部１１１や、映像出力部１０６からプレビューとして表示させる。

【0053】

なお、本実施形態の撮像装置１００は、偏光方向が異なる複数の画像を略同一のタイミングで取得できるため、複数の偏光方向の画素同士を加算して平均化することで、偏光状態を解消した合成画像を作成できる。したがって、ユーザーにより特定の測光枠１１０１が選択されていない場合や、ユーザーにより任意の被写体（顔など）領域が選択されている場合は、偏光状態を解消した合成画像に基づく加算平均により露出調整用の評価値を算出する構成であってもよい。

【0054】

また、測光枠１１０１として選択された領域の輝度が低い場合に、該領域に重みを付けて露出調整をすることで、他の領域が白飛びしてしまう可能性がある。この場合、撮像素子１０２の画素単位でゲインをかける補償や、白飛びする可能性がある領域に対して偏光方向を切り替えるなどの処理を施してもよい。

【0055】

さらに、偏光マップをフレーム毎に作成すると処理負荷が高くなるため、画角が大きく変化した場合や、被写体の移動量が所定値を超える場合、あるいは、時間的な所定の更新周期で偏光マップを生成する構成を採用してもよい。

【0056】

以上説明した構成により、本実施形態に係る撮像装置１００は、偏光情報を鑑みて最適な露出調整用の測光枠の設定が可能である。この構成により、本実施形態に係る撮像装置１００は、被写体の偏光情報に基づく露出制御が可能となるため、不自然な明るさの画像が取得されることを抑制することができる。したがって、本実施形態に係る撮像装置１００は、偏光方向に応じた最適な明るさの画像の取得や、被写体の状態や、反射光を調整した画作りなどを意図した撮像時にユーザが意図した明るさの画像を取得することができる。

【0057】

（第２実施形態）
前述した第１実施形態では、画角内の偏光領域を判断し、該偏光領域に基づく偏光方向を鑑みて被写体を測光する例について説明した。これに対して、本実施形態では、更に、任意の偏光方向における偏光強度を求め、ユーザーに報知する例について説明する。本実施形態では、具体的に、前述した図８（ａ）で図示したような、輝度差８０１を偏光強度とし、該偏光強度を加味した偏光マップを作成する。

【0058】

図１３は、本発明の第２実施形態に係る偏光強度を加味した偏光マップを例示的に説明する図である。図１３（ａ）は、前述した図５に、偏光強度を加味した偏光マップを被写体像に重ねて表示した例を示し、図１３（ｂ）は、偏光強度を加味した偏光マップのみを抽出して表示した例を示す。なお、図１３の各図では、偏光強度が強いほど、各偏光領域を示すアイコンが大きくなるように表現している。

【0059】

本実施形態では、領域設定部２０４が、輝度差８０１に基づく偏光強度を加味した上で、偏光方向が同一かつ偏光強度が所定値よりも強い領域をグループ化する。なお、偏光強度が所定値よりも強い領域は、複数の偏光方向ごとの輝度に基づく輝度差８０１が大きいことと同義である。図１４は、本発明の第２実施形態に係る偏光強度を加味した偏光方向ごとのグループ化の方法を例示的に説明する図である。図１４（ａ）は、偏光方向が同一であり、且つ、偏光強度が強い領域をグループ化した状態を破線で示す枠で囲った例を示し、図１４（ｂ）は、グループ化した領域を被写体像に重畳して表示する例を示している。

【0060】

グループ化の方法が異なる点以外は、前述した第１実施形態先と略同一の処理を実行する。すなわち、図１４（ｂ）で図示したようにグループ化された領域を露出調整用の主測光領域１４０１に設定する。この構成により、同一の偏光方向となる領域の中から、更に、偏光強度が略同一の領域を抽出して露出調整用の評価値を算出することができるため、前述した第１実施形態よりも更に、被写体の状態に合わせた正確な露出を設定することができる。なお、偏光強度が強すぎる場合は、例えば被写体から反射光が非常に強い場合などが想定されるため、一定の閾値を超える偏光強度を示す領域は、測光枠から除外するような構成であってもよい。

【0061】

なお、前述した実施形態では、図３（ｂ）で図示するような、固定の偏光方向（偏光角度）を備える偏光フィルタを介して得られたデータから輝度値を算出する構成であった。これに加えて更に、偏光方向（偏光角度）の角度依存成分をより精度高く算出する方法として、各偏光方向の画像データに基づく複数の輝度値を１８０°周期の正弦関数または余弦関数でフィッティングする方法について説明する。なお、当該フィッティングによって得られる任意のカーブをフィッティングカーブと称す。

【0062】

図１５は、４つの偏光角度の画像データにおいて、対応する１画素の測光値（輝度値）を偏光角度ごとにプロットすることで得られる分布図であって、縦軸は任意画素の輝度値（測光値）、横軸は各偏光角度を示している。なお、図１５に図示する関数Ｉ（θ）は、各偏光角度の画像データに基づく４つの輝度値と１８０°周期の正弦関数または余弦関数にフィッティングを行うことで任意のカーブ（フィッティングカーブ）を求めたものである。ここで、輝度値の単位は、所謂ＡＰＥＸ（ＡＤＤＩＴＩＶＥ ＳＹＳＴＥＭ ＯＦ ＰＨＯＴＯＧＲＡＰＨＩＣ ＥＸＰＯＳＵＲＥ）システムにおける１ＢＶを輝度値の１段分とするが、他の単位を用いて輝度値を表す構成であってもよい。

【0063】

図１５に図示するように、複数の偏光角度の画像データに基づいて得られたフィッティングカーブから、最大輝度値Ｉｍａｘ、最小輝度値Ｉｍｉｎを算出し、両者の差分を、被写体の偏光角度の角度依存成分Ｉｐ－ｐとする。すなわち、角度依存成分Ｉｐ－ｐ＝Ｉｍａｘ－Ｉｍｉｎとする。この角度依存成分Ｉｐ－ｐは、被写体における偏光強度をより正確に求めるために用いることができる。なお、３つ以上の偏光角度に関する画像データの輝度値が判明すれば、最小二乗法等の最適化技術を適用して、被写体の偏光角度の角度依存成分Ｉｐ－ｐを算出することができる。この場合、より精度が高いフィッティングカーブを求めるために、サンプリングする偏光角度がある程度離れていた方よく、本実施形態では、４５°間隔の偏光角度でサンプリング用の画像データを取得する。

【0064】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、光学レンズを一体的に備えた撮像装置について説明したが、所謂交換レンズを着脱可能なレンズ交換式の撮像装置を採用する構成であってもよい。

【0065】

また、前述した実施形態では、露出制御で調整可能な露出値として、シャッター速度、絞り値およびＩＳＯ感度について説明したが、他の要素に係る露出値を調整可能な構成であってもよい。例えば、前述した実施形態における撮像装置１００について、撮像素子１０２に入射する光量を減光するＮＤフィルタなどの減光手段を備える構成であれば、ＮＤフィルタの濃度に係る露出値を調整可能な構成であってもよい。

【0066】

また、前述した実施形態では、撮像素子を構成する画素および画素群ごとに偏光角度が異なる偏光フィルタを採用する例について説明したが、これに限定されるものではない。例えば、前述した実施形態の撮像素子１０２において、１画素に対して複数の異なる偏光角度が対応するように偏光フィルタを設ける構成であってもよい。この場合、１つの画素信号において異なる偏光角度を介して偏光できるため、画素単位で複数の振動方向の光以外を除去した画像データを得ることができる。

【0067】

なお、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、車載カメラやセキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

【符号の説明】

【0068】

１００ 撮像装置
１０２ 撮像素子
１０７ 露出調整部
１０８ 評価値算出部
１１０ 制御部
１１１ 表示部
２０１ 偏光情報入力部
２０２ 偏光情報比較部
２０３ 偏光マップ作成部
２０４ 領域設定部
２０５ 評価値演算部
２０６ 露出用評価値出力部
２０７ 映像用評価値出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】