知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/667 20230101AFI20240909BHJP
H04N 23/55 20230101ALI20240909BHJP
H04N 23/695 20230101ALI20240909BHJP
G03B 15/00 20210101ALI20240909BHJP
H04N 5/30 20060101ALI20240909BHJP
【ＦＩ】
H04N23/667
H04N23/55
H04N23/695
G03B15/00 Q
H04N5/30
【請求項の数】
16
(21)【出願番号】P 2020029498
(22)【出願日】2020-02-25
(65)【公開番号】P2021136501
(43)【公開日】2021-09-13
【審査請求日】2023-02-20
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100125254
【弁理士】
【氏名又は名称】別役 重尚
(72)【発明者】
【氏名】北村 和也
(72)【発明者】
【氏名】西田 徳朗
(72)【発明者】
【氏名】長谷川 啓行
(72)【発明者】
【氏名】小布施 武範
(72)【発明者】
【氏名】山下 雄介
(72)【発明者】
【氏名】石川 義和
(72)【発明者】
【氏名】木村 孝行
【審査官】門田 宏
(56)【参考文献】
【文献】特開２０２０－０２５１７２（ＪＰ，Ａ）
【文献】特開２００８－０８５８６０（ＪＰ，Ａ）
【文献】特開２０１９－０３６９２５（ＪＰ，Ａ）
【文献】特開２０１０－２６３１５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ －２３／７６
Ｈ０４Ｎ ２３／９０ －２３／９５９
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ ７／００ － ７／３０
Ｇ０３Ｂ １７／１８ －１７／２０
Ｈ０４Ｎ ５／３０
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、
前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、
静止画を記録する第１の記録手段と、
所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、
前記制御手段は、前記第１の記録手段による静止画の記録時に前記第１の偏光演算により求められた偏光情報を用い、それ以外では前記第２の偏光演算により求められた偏光情報を用いて前記画像生成手段が偏光処理画像を生成するように、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替えることを特徴とする撮像装置。
【請求項2】
複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、
前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、
動画を記録する第２の記録手段と、
前記第２の記録手段で記録する動画の形式を設定する設定手段と、
所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、
前記制御手段は、前記設定手段により設定された形式に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替えることを特徴とする撮像装置。
【請求項3】
複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、
前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、
前記第２の偏光演算の対象となる偏光画素を選択する第１の選択手段と、
所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、
前記画像生成手段は、前記第１の選択手段により選択された偏光画素について前記演算手段が前記第２の偏光演算を行うことで得られる偏光情報を用いて偏光処理画像を生成することを特徴とする撮像装置。
【請求項4】
複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、
前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、
前記撮像手段により取得されるフレームから前記第２の偏光演算に用いるフレームを選択する第２の選択手段と、
所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、
前記画像生成手段は、前記第２の選択手段により選択されたフレームについて前記演算手段が前記第２の偏光演算を行うことで得られる偏光情報を用いて偏光処理画像を生成することを特徴とする撮像装置。
【請求項5】
複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、
前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、
前記撮像手段により取得されるフレームから前記第２の偏光演算に用いる領域を抽出する抽出手段と、
所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、
前記画像生成手段は、前記抽出手段により抽出された領域について前記演算手段が前記第２の偏光演算を行うことで得られる偏光情報を用いて偏光処理画像を生成することを特徴とする撮像装置。
【請求項6】
偏光方向の異なる複数の偏光画素を１組の画素として、前記抽出手段は、前記１組の画素ごとの偏光画素の輝度値の最大値と最小値との差が所定の閾値以上の領域を抽出することを特徴とする請求項５に記載の撮像装置。
【請求項7】
複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、
前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、
表示手段と、
撮影をアシストする情報を生成するアシスト手段と、
前記アシスト手段の有効化と無効化を切り替える切替手段と、
前記撮像手段により取得した画像と前記アシスト手段により生成された情報を重畳させて前記表示手段に表示する表示制御手段と、
所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、
前記所定のタイミングとは、前記アシスト手段の有効化と無効化とを替えるタイミングであり、
前記制御手段は、前記アシスト手段が無効から有効に切り替わると前記演算手段で行う演算を前記第１の偏光演算から前記第２の偏光演算に切り替えることを特徴とする撮像装置。
【請求項8】
前記アシスト手段は、前記撮像手段により取得される画像のコントラスト、階調、色相、彩度、焦点、尖鋭度の少なくとも１つに関する情報を生成することを特徴とする請求項７に記載の撮像装置。
【請求項9】
偏光方向の異なる複数の偏光画素を１組の画素として、前記第１の偏光演算により求められた偏光情報を用いて生成される偏光処理画像は、任意の偏光角での輝度値の前記１組の画素ごとの最小値を用いて生成した画像、又は、任意の偏光角での輝度値の前記１組の画素ごとの最大値を用いて生成した画像、又は、前記１組の画素ごとの任意の偏光角での輝度値の最小値と最大値との間の値を用いて生成した画像、のいずれかであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項10】
偏光方向の異なる複数の偏光画素を１組の画素として、前記第２の偏光演算により求められた偏光情報を用いて生成される偏光処理画像は、前記１組の画素ごとの輝度値の最小値を用いて生成した画像、又は、前記１組の画素ごとの輝度値の最大値を用いて生成した画像、又は、前記１組の画素ごとの輝度値の最小値と最大値の間の値を用いて生成した画像、のいずれかであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項11】
被写体からの光を前記撮像手段に導くレンズを操作するレンズ操作手段を備え、前記所定のタイミングとは、前記レンズ操作手段が操作されたタイミングであることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項12】
前記レンズ操作手段での操作は、ズーム操作、絞り操作、又は、フォーカス操作であることを特徴とする請求項１１に記載の撮像装置。
【請求項13】
被写体の動きを検出する動体検出手段を備え、前記所定のタイミングとは、前記動体検出手段により被写体の動きが検出されたタイミングであることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項14】
前記撮像装置の動きを検出する動き検出手段と、前記動き検出手段が検出した動きが前記撮像装置の動きがパンニング又はチルティングであるかを判定する判定手段と、を備え、
前記所定のタイミングとは、前記動き検出手段の出力が所定の閾値以上となり、且つ、前記撮像装置の動きがパンニング又はチルティングの開始であると判定されたタイミングであり、
前記制御手段は、前記撮像装置のパンニング又はチルティングが開始されると前記演算手段で行う演算を前記第１の偏光演算から前記第２の偏光演算に切り替えることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項15】
前記所定のタイミングとは、前記動き検出手段の出力が前記所定の閾値未満となり、且つ、前記撮像装置の動きがパンニング又はチルティングの終了であると判定されたタイミングであり、前記制御手段は、前記撮像装置のパンニング又はチルティングが終了すると前記演算手段で行う演算を前記第２の偏光演算から前記第１の偏光演算に切り替えることを特徴とする請求項１４に記載の撮像装置。
【請求項16】
前記動き検出手段は、前記撮像装置に設けられた角速度センサであることを特徴とする請求項１４又は１５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異なる方向の偏光情報を取得可能な偏光素子を備える撮像素子を有する撮像装置に関する。
【背景技術】
【0002】
ＣＣＤセンサやＣＭＯＳセンサ等に代表される撮像素子は、複数の受光素子（画素）が二次元状に配置され、各画素で光を電気信号に変換することにより、光の強さ（輝度）を検出することができる。また、各画素に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長帯のみを通過させるカラーフィルタを配置することにより、可視可能な波長（色）だけを取得することができる。このような仕組みを用いて、人が視認可能なカラー映像をデジタル信号に置換して、その映像を記憶装置に保存し、表示装置に表示することが可能となっている。
【0003】
光には輝度や色等の要素の他にも偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際には偏光した光と偏光していない光（散乱光）の全てが合成されて人間の眼に届いているため、偏光を感じることは少ない。
【0004】
一方で、偏光した光を積極的に選択することにより、不要な映像を除去して、必要な映像を引き立てることができることが知られている。例えば、水面やガラス面に映りこんでしまう映像を偏光フィルタ（以下「ＰＬフィルタ」と記す）を使って除去する撮影テクニックは、よく利用されている撮影手法の一例である。その他、偏光は、不要な反射光を抑制してコントラストを強調する目的や、物体に作用する応力を偏光強度を用いて可視化する目的等、様々に応用されている。
【0005】
例えば、偏光成分を積極的に利用する技術として、特許文献１は、レンズに装着したＰＬフィルタを回転させて複数の映像を取得し、複数の映像から露出条件を設定する方法を提案している。また、特許文献２は、撮像素子の画素ごとに偏光フィルタを備えたＣＭＯＳセンサと、このようなＣＭＯＳセンサを搭載した撮像装置を提案している。特許文献２に開示された撮像装置では、異なる方向の偏光フィルタを通して取得した輝度情報（以下「偏光情報」と称呼する）に基づいて、偏光度や偏光角等の新たな情報を算出することができ、任意の偏光角の輝度情報を生成することもできる。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１８－７０２４号公報
【文献】特開２０１７－７６６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
任意の偏光角の輝度情報を生成する演算は、画素単位での演算処理となるために負荷が大きい。よって、例えば、動画撮影の際に全てのフレームについて輝度情報を生成する処理を行った場合には、映像表示のフレームレートが低下してしまう。一方で、フレームレートの低下を容認して、撮像中の被写体を高精度に表示装置に表示させたい場合もある。
【0008】
本発明は、偏光情報を利用して映像を取得する際に、状況に応じて適切なフレームレートを設定する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る撮像装置は、複数の異なる方向の偏光情報を検出する偏光画素を備える撮像手段と、前記偏光画素から出力される映像信号に対する、第１の偏光演算又は前記第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、前記偏光画素の偏光情報を求める演算手段と、前記演算手段により求められた偏光情報を用いて偏光処理画像を生成する画像生成手段と、静止画を記録する第１の記録手段と、所定のタイミング、モード又は所定の状態を検出した結果に応じて、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替える制御手段と、を備え、前記制御手段は、前記第１の記録手段による静止画の記録時に前記第１の偏光演算により求められた偏光情報を用い、それ以外では前記第２の偏光演算により求められた偏光情報を用いて前記画像生成手段が偏光処理画像を生成するように、前記演算手段で行う前記第１の偏光演算と前記第２の偏光演算とを切り替えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、偏光情報を利用して映像を取得する際に、状況に応じて適切なフレームレートを設定する撮像装置を提供することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図2】偏光フィルタの配列例を示す図である。
【図3】撮像素子でのカラーフィルタの配列例を示す図である。
【図4】人間の眼に届く光の波形とその偏光成分を説明する図である。
【図5】第１実施形態での静止画撮影処理のフローチャートである。
【図6】第２実施形態での動画撮影処理のフローチャートである。
【図8】第３実施形態での撮像面偏光センサの画素の振り分けを説明する図である。
【図9】第４実施形態での各処理部の画像とフレーム番号との対応を示す図である。
【図10】第５実施形態での各処理部の画像とフレーム番号との対応を示す図である。
【図11】第８実施形態での偏光演算処理の第１切替制御のフローチャートである。
【図12】第８実施形態での偏光演算処理の第２切替制御のフローチャートである。
【図13】第９実施形態での偏光演算処理の第１切替制御のフローチャートである。
【図14】第９実施形態での偏光演算処理の第２切替制御のフローチャートである。
【図15】第１０実施形態での偏光演算処理の切替制御のフローチャートである。
【図16】第１０実施形態でのパンニング時の振れ検出信号の変化を示す図である。
【図17】第１０実施形態でのパンニング時のライブビュー表示の模式図である。
【図18】第１０実施形態での歩行撮影時の振れ検出信号の変化を示す図である。
【図19】第１１実施形態での偏光演算処理の第１切替処理のフローチャートである。
【図20】第１１実施形態での偏光演算処理の第２切替処理のフローチャートである。
【図21】第１２実施形態での表示部に表示されるＵＩの例を示す図である。
【図22】第１２実施形態での偏光演算処理の切替処理のフローチャートである。
【図23】第１２実施形態での偏光角度の変更に伴うライブビュー表示のタイムラグを説明する図である。
【図24】第１２実施形態の偏光演算処理の切替処理に対するフレームレート設定処理のフローチャートである。
【図25】第１３実施形態での偏光演算処理の第１切替処理のフローチャートである。
【図26】第１３実施形態での偏光演算処理の第２切替処理のフローチャートである。
【図27】撮像装置の動作機能と消費電力の関係を説明する図である。
【図28】撮像装置での電池の放電特性を説明する図である。
【図29】第１４実施形態での偏光演算処理の切替処理のフローチャートである。
【図30】第１５実施形態での偏光演算処理の第１切替処理のフローチャートである。
【図31】第１５実施形態での偏光演算処理の第２切替処理のフローチャートである。
【図32】第１６実施形態での偏光演算処理の切替処理のフローチャートである。
【図33】第１７の実施形態での表示部における表示例を示す図である。
【図34】第１７実施形態での撮像面偏光センサの偏光方向が異なる画素ごとのウェーブフォームモニタの例を示すである。
【図35】第１７実施形態でのウェーブフォームモニタの表示例を示す図である。
【図36】第１７実施形態でのウェーブフォームモニタの別の表示例を示す図である。
【発明を実施するための形態】
【0012】
以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、映像の入力から出力、記録や表示が可能な構成を有する。
【0013】
撮像装置１００は、光学レンズ１０１、偏光フィルタ１０２、レンズ駆動回路１０４、撮像素子１０３、撮像素子駆動回路１０５、撮像画補正回路１０６及びフレームメモリ１０７を備える。撮像装置１００は、偏光演算部１０８、露出制御部１１３、フォーカス制御部１１４、動き検出部１１５、映像処理部１１６、ＯＳＤ生成部１１７、ＣＰＵ＿１０９、ＲＯＭ＿１１１、ＲＡＭ＿１１２及び操作部１１０を備える。撮像装置１００は、表示部１２１、表示駆動回路１２０、映像端子１１９、映像出力駆動回路１１８、映像端子１１９、ネットワーク端子１２５、ネットワーク駆動回路１２４、記憶媒体１２３、記憶媒体駆動回路１２２、電源部１２６及び発振部１２７を有する。
【0014】
光学レンズ１０１は、撮像光学系を構成する。レンズ駆動回路１０４は、光学レンズ１０１を光軸方向に移動させることにより、光学的に映像の拡大や焦点距離等の調節を行う。光学レンズ１０１を通過した入射光は、偏光フィルタ１０２を通って撮像素子１０３で受像される。図２を参照して後述するように、偏光フィルタ１０２と撮像素子１０３は、撮像面偏光センサ２００を構成する。
【0015】
撮像素子１０３は、例えばＣＣＤセンサやＣＭＯＳセンサ等であり、撮像面に結像した光学像をアナログ電気信号に変換する。撮像素子１０３は、生成したアナログ電気信号をデジタル信号に変換する機能も併せ持っている。なお、撮像素子１０３は、４Ｋや８Ｋと呼ばれる高画素映像を撮影可能な大型のものであるとするが、これに限られるものではない。
【0016】
撮像素子駆動回路１０５は、撮像素子１０３を駆動する。撮像画補正回路１０６は、撮像素子１０３によってデジタル信号に変換された映像に様々な補正処理を施す。撮像画補正回路１０６は、例えば、各画素の性能ばらつきの補正、ホワイトバランスの補正、光学レンズ１０１の特性によって発生する歪みや周辺光量不足の補正等を行う。
【0017】
フレームメモリ１０７は、映像信号（映像データ）を一時的に格納し、必要時に読み出すことが可能な、一般的にＲＡＭと呼ばれる。映像信号は膨大なデータ量であるため、フレームメモリ１０７には高速書き込みと高速読み出しが可能で、且つ、大容量のものが求められる。例えば、フレームメモリ１０７にＤＤＲ３－ＳＤＲＡＭ等を用いることにより、時間的に異なる画像の合成や必要な領域の切り出し（トリミング）等の様々な処理が可能となる。
【0018】
偏光演算部１０８は、偏光情報を演算する。偏光情報とは、後述するように、複数の偏光角で取得した輝度情報と、取得した輝度情報から求めることが可能な任意の偏光角の輝度情報を指す。露出制御部１１３は、露出制御を行う。フォーカス制御部１１４は、撮像光学系の焦点位置を制御する。動き検出部１１５は、角速度センサ（ジャイロセンサ）等を備えており、その出力に基づいて撮像装置１００の動き（振れ）を検出する。映像処理部１１６は、画像生成、映像データの加工等を行う。また、映像処理部１１６は、撮像素子１０３から出力される映像（フレーム）に基づいて、映像内の動体を検出し、更に動体の動きを検出する。ＯＳＤ生成部１１７は、文字情報等のＯＳＤを映像に重畳する。
【0019】
ＣＰＵ＿１０９は、撮像装置１００の各機能を統括的に制御する。ＲＯＭ＿１１１は、不揮発性の記憶素子であり、ＣＰＵ＿１０９を動作させるためのプログラムや各種の調整パラメータ等を格納している。ＲＯＭ＿１１１から読み出されたプログラムは、揮発性の記憶素子であるＲＡＭ＿１１２に展開されて実行される。一般的にＲＡＭ＿１１２は、フレームメモリ１０７よりも低速、低容量のもので構わない。
【0020】
操作部１１０は、外部からの操作に対するインタフェースとして、ユーザの操作を受け付ける。操作部１１０は、機械的なボタンやスイッチ等であり、例えば、電源スイッチやモード切り替えスイッチ等を含み、ユーザによる操作を受け付けると、割り当てられている指令をＣＰＵ＿１０９へ伝達する。表示部１２１は、映像処理部１１６やＯＳＤ生成部１１７で処理された映像や設定メニュー等を表示する。ユーザは、表示部１２１での表示内容を視認することにより、撮像装置１００の動作状況等を確認することができる。表示駆動回路１２０は、表示部１２１での表示制御を行う。なお、表示部１２１には、例えば、液晶ディスプレイや有機ＥＬディスプレイ等が用いられるが、これらに限られるものではない。また、表示部１２１には、タッチパネルが兼備される場合があり、タッチパネルは操作部１１０として機能する。
【0021】
映像端子１１９は、外部機器へ映像信号（映像データ）を送信するためのインタフェースであり、外部機器での映像表示を可能とする。代表的な映像端子１１９としては、ＳＤＩ、ＨＤＭＩ(登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等の様々の規格のものがある。映像出力駆動回路１１８は、映像端子１１９の種類に応じて映像端子１１９を制御する。ネットワーク端子１２５は、映像信号に限らず、種々の制御信号の伝送可能なインタフェースである。ネットワーク駆動回路１２４は、ネットワーク端子１２５を制御し、例えば、インターネット等のネットワーク網への接続を可能とする。
【0022】
記憶媒体１２３は、例えばＨＤＤやＳＳＤ等の記憶容量の大きな記憶手段であり、映像データや種々の設定データを保存する。記憶媒体駆動回路１２２は、記憶媒体１２３への各種データの書き込み／読み出しを制御する。電源部１２６は、外部から供給される商用電源やバッテリ等の電源を任意の電圧に変換し、分配する機能を有しており、撮像装置１００を構成する各ブロックに電源を供給する。発振部１２７は、クリスタルと呼ばれる発振素子を有する。ＣＰＵ＿１０９等は、発振素子から入力される単一周期的な信号を基準として所望のタイミング信号を生成し、プログラムシーケンスを進める。
【0023】
次に、偏光フィルタ１０２と撮像素子１０３について説明する。偏光フィルタ１０２は撮像素子１０３の撮像面の前面（被写体側）に配置されており、このような構成を有する撮像素子を以下の説明において「撮像面偏光センサ」と称呼する。
【0024】
図２は、撮像面偏光センサ２００での偏光フィルタ１０２の配列例を示す図である。偏光フィルタ１０２は、撮像素子１０３の画素ごとに配置された偏光フィルタ２０１，２０２，２０３，２０４を有する。こうして、偏光フィルタ１０２と撮像素子１０３により、撮像素子１０３の各画素は、偏光画素として機能するようになっている。
【0025】
偏光フィルタ２０１～２０４は、これら４つを１組として、互いに直交する方向に二次元状に繰り返し配置されている。偏光フィルタ２０１～２０４のそれぞれの偏光方向は異なっており、異なる偏光方向の光を検出することができる。具体的には、偏光方向は、偏光フィルタ２０１では０度方向、偏光フィルタ２０２では４５度方向、偏光フィルタ２０３では９０度方向、偏光フィルタ２０４では１３５度方向となっており、４５度ずつずれている。
【0026】
これにより、レンズ前にＰＬフィルタを配置して手動で回転させる作業を行うことを必要とせずに、常に複数の異なる偏光方向の光を同一時間帯に同一フレームの画として取得することができる。例えば、偏光方向の同じ画素のみを選択して画素信号を取り出し、１枚の画像を生成すれば、対応する偏光フィルタの偏光特性を持った画像を取得することができる。図２の撮像面偏光センサ２００の場合には、４つの異なる偏光方向の特性を有する画像を取得することが可能になる。
【0027】
図２ではカラーフィルタ等を考慮していないため、モノクロ映像が得られることになるが、撮像素子１０３がカラーフィルタを備えることにより、カラー映像を取得することができる。図３は、撮像面偏光センサ２００でのカラーフィルタの配置例を説明する図である。撮像面偏光センサ２００では、１組の偏光フィルタ２０１～２０４に対応する領域に１色のカラーフィルタを配置し、且つ、赤（Ｒ）フィルタ３０１、緑（Ｇ）フィルタ３０２及び青（Ｂ）フィルタ３０３をベイヤー配列にて配置した構成としている。
【0028】
なお、図２及び図３に示した撮像面偏光センサ２００の構成は、一例であって、これに限定されるものではなく、偏光フィルタの配置方法や偏光角度は任意に設定することが可能である。また、撮像素子１０３の画素上に偏光フィルタが配置された領域と偏光フィルタが配置されていない領域とを組み合わせた構成とすることも可能である。
【0029】
次に、複数の偏光角で取得した輝度情報（偏光情報）から任意の偏光角の輝度情報を生成する演算方法について説明する。この演算は、ＣＰＵ＿１０９の制御下で、偏光演算部１０８によって行われる。
【0030】
図４（ａ）は、人間の眼に届く光の波形を説明する図である。人間の眼に届く光は、偏光成分と無偏光成分（散乱光）が合成された状態になっており、一例として、図４（ａ）に示す性質の波形として観測される。図４（ａ）中、‘Ｉｍａｘ’は偏光成分と非偏光成分を合成した値であり、‘Ｉｍｉｎ’は偏光成分を除いた非偏光成分のみの値であり、‘Ｉｂ’は偏光成分の中央値の出力レベルである。‘Ｉａ’は、ＩｍａｘとＩｍｉｎの差の半分の値、つまり、光の振幅値である。図４（ａ）の波形の輝度Ｉは、一般式として下記式１の通りに表すことができる。但し、円偏向成分は無偏光成分とする。
【0031】
図４（ｂ）は、所定の偏光角で実測された輝度値から求められる光の波形を示す図である。つまり、下記式１に、偏光角Ψに０°，４５°，９０°，１３５°での実測値を入れる。これにより、下記式２～５が得られ、これらの中から少なくとも３つ式を用いれば方程式を解くことができ、任意の偏光角の輝度Ｉを算出することが可能となる。
【0032】
また、下記式１をＩｂとＩａについてそれぞれ解くと、下記式６，７が得られる。これらＩｂやＩａを算出することによって、ＩｍａｘならびにＩｍｉｎを算出することが可能となる。更に、ＩｍａｘとＩｍｉｎの比率を、下記式８により、偏光度ＤｏＬＰ（Degree of Linear Polarization）として求めることも可能である。他にも、係数θで方程式を解くことにより、偏光角ＡｏＬＰ（Angle of Linear Polarization）を求めることもできる。このように、下記式１と実測値から任意の偏光角における輝度を算出することができ、その結果を反射成分の低減や強調等の画像処理に利用することが可能になる。
【0033】
【数1】
【0034】
＜第１実施形態＞
第１実施形態では、撮像装置１００での静止画撮影動作の一例について説明する。図５は、撮像装置１００による静止画撮影処理のフローチャートである。図５にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
第１実施形態では、撮像装置１００での静止画撮影動作の一例について説明する。図５は、撮像装置１００による静止画撮影処理のフローチャートである。図５にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0035】
ユーザが操作部１１０を操作して撮像装置１００に電源が投入されると、ＣＰＵ＿１０９は撮影待機処理を行う。撮影待機処理の１つとして、Ｓ５０１にてＣＰＵ＿１０９は、偏光演算部１０８により、簡易偏光演算処理により生成した映像を生成する。なお、偏光演算部１０８による簡易偏光演算処理の詳細については後述する。
【0036】
Ｓ５０２にてＣＰＵ＿１０９は、Ｓ５０１で生成した映像にＯＳＤ生成部１１７で処理された映像や設定メニュー等を重畳表示する。Ｓ５０３にてＣＰＵ＿１０９は、表示部１２１を見ながらユーザが操作部１１０を操作する等して行った設定（入力）を受け付け、撮像装置１００の各種設定を行う。こうして、撮像装置１００は、撮影待機状態に入る。
【0037】
Ｓ５０４にてＣＰＵ＿１０９は、静止画撮影トリガを検出したか否かを判定する。静止画撮影トリガとは、例えば、操作部１１０に含まれるレリーズボタンの押下や表示部１２１に重畳されたタッチパネルに対するタッチ操作に割り当てられたレリーズ開始指示である。ＣＰＵ＿１０９は、静止画撮影トリガを検出したと判定した場合（Ｓ５０４でＹＥＳ）、処理をＳ５０５へ進め、静止画撮影トリガを検出していないと判定した場合（Ｓ５０４でＮＯ）、処理をＳ５０１へ戻して、撮影待機状態を維持する。
【0038】
Ｓ５０５にてＣＰＵ＿１０９は、偏光演算部１０８を制御して、記録用偏光演算処理を行った映像を生成する。Ｓ５０６にてＣＰＵ＿１０９は、Ｓ５０５で生成した映像を表示部１２１に表示すると共に、その映像データを記憶媒体１２３に記憶する。Ｓ５０７にてＣＰＵ＿１０９は、撮影終了指示（例えば、電源オフ操作や、所定時間の経過に伴うスリープ状態への移行）を受け付けたか否かを判定する。ＣＰＵ＿１０９は、撮影終了指示を受け付けていない判定した場合（Ｓ５０７でＮＯ）、処理をＳ５０１へ戻して撮影待機状態に入り、撮影終了指示を受け付けたと判定した場合（Ｓ５０７でＹＥＳ）、本処理を終了させる。
【0039】
Ｓ５０５での記録用偏光演算処理による画像生成について説明する。図２乃至４を参照して説明したように、撮像面偏光センサ２００から取得した輝度情報に基づいて、偏光成分と非偏光成分を合成した値であるＩｍａｘと、偏光成分を除いた非偏光成分のみの値Ｉｍｉｎを求めることができる。記録用偏光演算処理の１つは、Ｉｍａｘを４つの画素を１組とした画素ごとに演算することにより、反射強調画像を生成する処理である。別の記録用偏光演算処理は、Ｉｍｉｎを４つの画素を１組とした画素ごとに演算することにより、反射低減画像を生成する処理である。更に別の記録用偏光演算処理は、表示部１２１に偏光角Ψの値を変更可能なユーザインタフェースを表示し、操作部１１０を介してユーザがＩ（Ψ）の偏光角Ψの値を変更することで反射光の量を制御した反射制御画像を生成する処理である。
【0040】
しかしながら、上記の記録用偏光演算処理は画素単位で行われるために演算負荷が大きく、全てのフレームで全ての画素に対して演算処理を行った映像信号を生成しようとすると処理が間に合わなくなり、フレームレートが低下してしまう。その結果、表示部１２１に表示される映像のリアルタイム性が損なわれる。よって、記録用偏光演算処理は、ユーザが画角やフォーカスを微調整しながら見る映像を生成する場合の処理として不向きである。そこで、本実施形態では、記録用の静止画を撮像するためのレリーズ操作前には、簡易偏光演算処理（Ｓ５０１）により、ユーザに提供するために表示部１２１に表示する映像を高フレームレートで生成する。
【0041】
簡易偏光演算処理の１つは、異なる４方向の偏光フィルタ２０１～２０４を通して取得した輝度情報のＩ（０），Ｉ（４５），Ｉ（９０），Ｉ（１３５）のうちの最大値Ｉｍａｘ´を各画素の輝度値とすることで簡易的な反射強調画像を生成する処理である。別の簡易偏光演算処理は、逆に、Ｉ（０），Ｉ（４５），Ｉ（９０），Ｉ（１３５）のうちの最小値Ｉｍｉｎ´を各画素の値とすることで簡易的な反射低減画像を生成する処理である。更に別の簡易偏光演算処理は、Ｉｍａｘ´とＩｍｉｎ´の間の値Ｉｃを下記式９で求め、下記式９の‘ｎ’の値を操作部１１０を介してユーザが指定する構成とすることで、簡易的に反射光量を制御した反射制御画像を生成する処理である。
【0042】
このように、第１実施形態では、簡易的な偏光演算処理を用いて表示部１２１に表示する画像（映像）を生成することで、偏光演算処理によるフレームレートの低下を抑制して、被写体の確認に支障を生じさせない映像をユーザに提供することが可能になる。
【0043】
【数2】
【0044】
＜第２実施形態＞
第２実施形態では、撮像装置１００での動画撮影動作の一例について説明する。図６は、撮像装置１００による動画撮影処理のフローチャートである。図６にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
第２実施形態では、撮像装置１００での動画撮影動作の一例について説明する。図６は、撮像装置１００による動画撮影処理のフローチャートである。図６にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0045】
Ｓ６０１～Ｓ６０３の処理は、図５のフローチャートのＳ５０１～５０３と同じ処理であるため、説明を省略する。Ｓ６０３の処理が終了して撮影待機の状態に入った後、Ｓ６０４にてＣＰＵ＿１０９は、ユーザが操作部１１０を操作したことによる動画記録の開始指示を受け付けたか否かを判定する。ＣＰＵ＿１０９は、動画記録の開始指示を受け付けていないと判定した場合（Ｓ６０４でＮＯ）、処理をＳ６０１へ戻し、動画記録の開始指示を受け付けたと判定した場合（Ｓ６０４でＹＥＳ）、処理をＳ６０５へ進める。
【0046】
Ｓ６０５にてＣＰＵ＿１０９は、Ｓ６０３で設定された撮影モードが高精細モードか否かを判定する。ＣＰＵ＿１０９は、高精細モードに設定されていると判定した場合（Ｓ６０５でＹＥＳ）、処理をＳ６０６へ進め、高精細モードに設定されていない判定した場合（Ｓ６０５でＮＯ）、処理をＳ６０８へ進める。なお、高精細モードについての詳細については後述する。
【0047】
Ｓ６０６にてＣＰＵ＿１０９は、記録用偏光演算処理を行う。Ｓ６０６の処理は、図５のフローチャートのＳ５０５の処理と同じであるため、ここでの詳細な説明を省略する。続くＳ６０７にてＣＰＵ＿１０９は、記録用偏光演算処理により生成した映像を表示部１２１に表示すると共にその映像データを記憶媒体１２３に記憶し、その後は処理をＳ６１０へ進める。一方、Ｓ６０８にてＣＰＵ＿１０９は、簡易偏光演算処理を行う。Ｓ６０８の処理は、図５のフローチャートのＳ５０１の処理と同じであるため、ここでの詳細な説明を省略する。続くＳ６０９にてＣＰＵ＿１０９は、簡易偏光演算処理により生成した映像を表示部１２１に表示すると共にその映像データを記憶媒体１２３に記憶し、その後は処理をＳ６１０へ進める。
【0048】
Ｓ６１０にてＣＰＵ＿１０９は、ユーザによる操作部１１０の操作に伴う動画記録の停止指示を受け付けたか否かを判定する。ＣＰＵ＿１０９は、動画記録の停止指示を受け付けたと判定した場合（Ｓ６１０でＹＥＳ）、処理をＳ６１１へ進め、動画記録の停止指示を受け付けていないと判定した場合（Ｓ６１０でＮＯ）、処理をＳ６０５へ戻して動画記録を続ける。
【0049】
Ｓ６１１にてＣＰＵ＿１０９は、撮影終了指示を受け付けたか否かを判定する。ＣＰＵ＿１０９は、撮影終了指示を受け付けていない判定した場合（Ｓ６１１でＮＯ）、処理をＳ６０１へ戻して撮影待機状態に入り、撮影終了指示を受け付けたと判定した場合（Ｓ６１１でＹＥＳ）、本処理を終了させる。
【0050】
続いて、高精細モードと、高精細モードでないモード（以下「高フレームレートモード」という）と記載する）の具体例について説明する。図７は、高精細モードと高フレームレートモードの仕様を比較して示す図である。
【0051】
高精細モードでは、記録形式が非圧縮、解像度は４Ｋ、信号形式はＲＧＢ４４４、ビット深度が１２ビットである。よって、高精細モードでは、１フレーム当たりのデータ量が多いためにフレームレートは低下するが、高精細な映像を生成して記録と表示を行うことができる。一方、高フレームレートモードでは、記録形式がＭＰＥＧ２、Ｈ．２６４、Ｈ．２６５等の規格での圧縮、解像度はＨＤ、信号形式はＹＣＣ４２２、ビット深度が１０ビットである。よって、高フレームレートモードでは、１フレーム当たりのデータ量が少ないが、高いフレームレートでの記録と表示が可能になる。
【0052】
このように第２実施形態では、高精細モードでは記録用偏光演算処理を行うことで所望の映像を取得し、高フレームレートモードでは簡易偏光演算処理を行うことでフレームレートの低下を抑制しながらも偏光演算処理を施した画像生成を行うことが可能になる。なお、上記説明では、高精細モードか否かで、偏光演算処理と共に記録形式や解像度、信号形式、ビット深度を切り替える構成とした。しかし、これに限られず、偏光演算処理のみを切り替える構成としてもよいし、記録形式等を個別に切り替える構成としてもよい。
【0053】
＜第３実施形態＞
第１実施形態では、簡易偏光演算処理の例として、偏光方向の異なる４つの画素を１組とした画素ごとにＩｍａｘやＩｍｉｎを演算する代わりに、Ｉｍａｘ´やＩｍｉｎ´を用いて偏光演算処理を行って映像（フレーム（画像））を生成する手法について説明した。これに対して、第３実施形態では、簡易偏光演算処理の別の例として、偏光方向の異なる４つの画素を１組とした各画素の全てでは偏光演算処理を行わず、間引いた画素で偏光演算処理を行って画像生成を行う方法について説明する。
第１実施形態では、簡易偏光演算処理の例として、偏光方向の異なる４つの画素を１組とした画素ごとにＩｍａｘやＩｍｉｎを演算する代わりに、Ｉｍａｘ´やＩｍｉｎ´を用いて偏光演算処理を行って映像（フレーム（画像））を生成する手法について説明した。これに対して、第３実施形態では、簡易偏光演算処理の別の例として、偏光方向の異なる４つの画素を１組とした各画素の全てでは偏光演算処理を行わず、間引いた画素で偏光演算処理を行って画像生成を行う方法について説明する。
【0054】
図８は、撮像面偏光センサ２００において４つの画素を１組とした各画素の振り分け態様を示す図である。図８に示すように、水平方向にピクセル１、ピクセル２、ピクセル３、ピクセル４、・・・、ピクセルＮの通りに番号を振り、垂直方向にライン１、ライン２、ライン３、・・・、ラインＭの通りに番号を振る。
【0055】
前述の記録用偏光演算処理（Ｓ５０５，Ｓ６０６）では、全てのライン及びピクセルでＩｍａｘやＩｍｉｎ等を求めている。これに対して、偏光演算部１０８による本実施形態での簡易偏光演算処理では、例えば、各ラインにおいてピクセル１、ピクセル３のように奇数ピクセルでのみ偏光演算処理を行い、得られた結果をピクセル２、ピクセル４のような偶数ピクセルに適用する。これにより、偏光演算処理が施された画像（以下「偏光処理画像」という）を生成する際に必要な演算量を削減することができる。これに限らず、ライン１、ライン３のような奇数ラインでのみ偏光演算処理を行い、得られた結果をライン２、ライン４のような偶数ラインに適用していくことで、偏光処理画像を生成する際に必要な演算量を更に削減することも可能である。
【0056】
このように第３実施形態では、１組の画素を間引いて偏光演算処理を行うことで全体の演算量を減らす（演算負荷を低減させる）ことにより、フレームレートの低下を抑制しながら、偏光処理画像を生成することができる。
【0057】
なお、上記説明では、奇数ピクセルで求めた値を偶数ピクセルに適用し、或いは、奇数ラインで求めた値を偶数ラインに適用する例について説明したが、演算負荷の低減手法はこれらに限られない。例えば、ピクセル１とピクセル３で求めた値の平均値をピクセル２に適用するような補間処理を用いて生成した値を間引いたピクセルに適用する構成としてもよく、ラインに対しても同様の補間処理を用いることができる。
【0058】
＜第４実施形態＞
第４実施形態では、簡易偏光演算処理の更に別の例として、間引いたフレームで偏光演算処理を行うことで偏光処理画像を生成する方法について説明する。
第４実施形態では、簡易偏光演算処理の更に別の例として、間引いたフレームで偏光演算処理を行うことで偏光処理画像を生成する方法について説明する。
【0059】
図９は、撮像装置１００の各処理部で生成された画像とフレーム番号との対応を示す図である。入力画像は、撮像画補正回路１０６によって補正処理が施された画像である。アシスト画像は、入力画像に対して映像処理部１１６で加工を施した画像であり、例えば波形モニタやピーキング等のユーザの撮影をアシストする機能を表示部１２１に表示するための画像である。アシスト画像の生成はフレームごとに行われ、入力画像Ａ１，Ａ２，Ａ３，Ａ４のそれぞれに対して生成されたアシスト画像がＢ１，Ｂ２，Ｂ３，Ｂ４である。
【0060】
偏光処理画像を生成するための演算負荷は大きいため、アシスト画像と同じタイミングでフレームごとに偏光処理画像を更新することは容易でない場合がある。そこで、第４実施形態では、入力画像Ａ１，Ａ３，Ａ５，・・・のように奇数フレームに対してのみ偏光演算処理を行って、偏光処理画像Ｃ１，Ｃ３，Ｃ５，・・・を生成する。そして、アシスト画像はフレームごとに、偏光処理画像は２フレームに１回更新し、これらを合成して表示部１２１に表示する。これにより、ユーザが撮影を円滑に行うための情報表示のフレームレートの低下を抑制しながら、偏光処理画像を表示することができる。
【0061】
＜第５実施形態＞
第５実施形態では、映像端子１１９には入力画像をそのまま出力し、映像端子１１９から出力する映像よりもフレームレートが遅い映像に対してさらに間引きと偏光演算処理を施した画像を表示部１２１に表示する構成について説明する。
第５実施形態では、映像端子１１９には入力画像をそのまま出力し、映像端子１１９から出力する映像よりもフレームレートが遅い映像に対してさらに間引きと偏光演算処理を施した画像を表示部１２１に表示する構成について説明する。
【0062】
図１０は、撮像装置１００の各処理部で生成された画像とフレーム番号との対応を示す図である。入力画像は、撮像画補正回路１０６によって補正処理を施された後の画像である。出力画像は、映像端子１１９から出力する画像であり、入力画像と同じフレームレートで出力される。表示用入力画像は、表示部１２１に出力される画像であって、偏光処理画像を生成する際の元となる画像である。表示用入力画像は、入力画像から間引かれて、フレームレートが低くなっている。
【0063】
アシスト画像は、表示用入力画像に対して映像処理部１１６で加工を施すことにより生成された画像である。表示用偏光処理画像は、表示用入力画像に対して更に間引き処理と偏光演算処理を施すことにより生成された画像であり、ここでは４フレームに１回更新され、アシスト画像と合成されて表示部１２１に表示される。これにより、ユーザが撮影を円滑に行うための情報表示のフレームレートの低下を抑制しながら、偏光処理画像を表示することができる。
【0064】
＜第６実施形態＞
第６実施形態では、フレームごとに偏光演算処理を行うラインを選択することで、簡易的に偏光処理画像を表示部１２１に表示する。偏光演算部１０８は、奇数番目のフレームでは図８の奇数ラインでのみ偏光演算処理を行い、偶数番目のフレームでは図８の偶数ラインでのみ偏光演算処理を行う。
第６実施形態では、フレームごとに偏光演算処理を行うラインを選択することで、簡易的に偏光処理画像を表示部１２１に表示する。偏光演算部１０８は、奇数番目のフレームでは図８の奇数ラインでのみ偏光演算処理を行い、偶数番目のフレームでは図８の偶数ラインでのみ偏光演算処理を行う。
【0065】
表示部１２１には、奇数番目のフレームでは、奇数ラインの値として偏光演算部１０８が演算した奇数ラインの値を用い、偶数ラインの値としてその１つ前のフレームで偏光演算部１０８が演算した偶数ラインの値を用いて、偏光処理画像が表示される。同様に表示部１２１には、偶数番目のフレームでは、偶数ラインの値として偏光演算部１０８が演算した偶数ラインの値を用い、奇数ラインの値としてその１つ前のフレームで偏光演算部１０８が演算した奇数ラインの値を用いて、偏光処理画像が表示される。
【0066】
このようにフレームごとに偏光演算処理を行うラインを選択することで、全体の演算量を低減させながら、偏光演算処理を施した映像の表示を行うことができる。なお、上述したように、表示フレームのデータを１つ前のフレームのデータから補充する手法に限定されず、例えばインタレース解除手法のように各ラインの値を補間演算で求める構成としてもよい。
【0067】
＜第７実施形態＞
第７実施形態では、偏光演算処理を特定の領域に限定して行うことで、表示部１２１に表示する映像のフレームレートの低下を抑制する構成について説明する。
第７実施形態では、偏光演算処理を特定の領域に限定して行うことで、表示部１２１に表示する映像のフレームレートの低下を抑制する構成について説明する。
【0068】
第７実施形態の第１の手法では、先ず、偏光演算部１０８は、異なる４方向の偏光フィルタ２０１～２０４を通して取得した輝度情報の中で最大の値Ｉｍａｘ´と、最小の値Ｉｍｉｎ´の差を求める。続いて、求めた差が所定の閾値より大きい画素のみを偏光演算処理の対象画素とし、それ以外の画素についてはＩ（０），Ｉ（４５），Ｉ（９０），Ｉ（１３５）を加算平均した値を使用して偏光処理画像を生成する。
【0069】
第７実施形態の第２の手法では、１フレームの時間内に偏光演算処理を行う画素数の上限を予め定めておく。そして、１フレームの左上の画素から順に、偏光演算処理の対象画素の偏光演算処理を行っていく。偏光演算処理を行う対象画素の画素数が１フレーム時間内に偏光演算処理を行う画素数の上限を超える場合、残りの対象画素の値には１フレーム前の値を用いて、偏光処理画像を生成する。そして、偏光演算処理を行わなかった残りの領域の偏光演算処理を次のフレームに持ち越し、次のフレームでは持ち越された残りの領域から偏光演算処理を行い、偏光処理画像を生成する。
【0070】
このように、偏光演算処理を特定の領域に限定して行うことで、フレームレートの低下を抑制しながら、偏光処理画像を生成することができる。なお、上記第１及び第２の手法に限定されず、不図示の検出手段により検出された顔検出領域や瞳検出領域、物体認識領域、フォーカス合焦領域或いはユーザによる指定領域の画素についてのみ偏光演算処理を行う構成としてもよい。
【0071】
＜第８実施形態＞
第８実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第１の構成について説明する。本実施形態では、撮像中のフォーカス操作に応じて偏光演算処理を切り替える構成について説明する。
第８実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第１の構成について説明する。本実施形態では、撮像中のフォーカス操作に応じて偏光演算処理を切り替える構成について説明する。
【0072】
図１１は、第８実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図１１にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0073】
処理開始時点で、撮像装置１００では記録用偏光演算処理が行われているものとする。Ｓ１１０１にてＣＰＵ＿１０９は、光学レンズ１０１のフォーカスが操作部１１０を通じて操作されたか否かを判定する。フォーカスが操作されたと判定した場合（Ｓ１１０１でＹＥＳ）、処理をＳ１１０２へ進める。
【0074】
Ｓ１１０２にてＣＰＵ＿１０９は、記録用偏光演算処理から簡易偏光演算処理に切り替えるか否かを判定する。例えば、ＣＰＵ＿１０９は、フォーカス操作の操作速度を検出し、検出された操作速度が所定の閾値より大きい場合に簡易偏光演算処理に切り替える。ここでの所定の閾値には、表示フレームレートの更新周期を用いることができる。操作速度が表示フレームレートの更新周期よりも速い場合には表示が操作に対して追従できないために演算処理方法を切り替え、操作速度が表示フレームレートの更新周期よりも遅い場合には演算処理方法を切り替えない。
【0075】
これに限らず、指定領域枠内のフォーカスが所定の閾値よりぼやけている場合に、フォーカス制御のために表示フレームレートを上げて被写体を確認するめために、簡易偏光演算処理に切り替えるようにしてもよい。また、マニュアルフォーカスではなくオートフォーカスの場合には演算処理を切り替えないようにしてもよい。更に、ピーキングやフォーカスインジケータ等のフォーカスを取るためのアシスト機能を使用している場合には、演算処理を切り替えないようにしてもよい。表示部１２１の他に映像端子１１９やネットワーク端子１２５が高フレームレートの出力設定になっている場合にも、演算処理を切り替えないようにしてもよい。なお、Ｓ１１０２の処理は省略してもよい。
【0076】
ＣＰＵ＿１０９は、Ｓ１１０２にて簡易偏光演算処理に切り替えると判定した場合（Ｓ１１０２でＹＥＳ）、処理をＳ１１０３へ進める。Ｓ１１０３にてＣＰＵ＿１０９は、光学レンズ１０１のフォーカス制御を行う。光学レンズ１０１のフォーカス制御は、ＣＰＵ＿１０９が操作部１１０に対する操作情報を判断し、判断結果をフォーカス制御部１１４へ伝達し、レンズ駆動回路１０４がフォーカス制御部１１４から指令を受けてフォーカスレンズを駆動することにより行われる。
【0077】
Ｓ１１０４にてＣＰＵ＿１０９は、記録用偏光演算処理から簡易偏光演算処理への切り替えを行う。そして、Ｓ１１０５にてＣＰＵ＿１０９は、表示フレームレートを高フレームレートに設定し、その後、処理をＳ１００７へ進める。
【0078】
ＣＰＵ＿１０９は、Ｓ１１０１にてフォーカスは操作されていないと判定した場合（Ｓ１１０１でＮＯ）と、Ｓ１１０２にて簡易偏光演算処理に切り替えないと判定した場合（Ｓ１１０２でＮＯ）、処理をＳ１１０６へ進める。Ｓ１１０６にてＣＰＵ＿１０９は、記録用偏光演算処理を継続して行い、その後、処理をＳ１１０７へ進める。
【0079】
Ｓ１１０７にてＣＰＵ＿１０９は、偏光演算処理の結果を表示部１２１へ表示し（つまり、設定された表示フレームレートで表示部１２１にライブビュー表示を行い）、これにより本処理は終了する。なお、Ｓ１１０１の判定では、フォーカス操作の有無に代えて、撮像光学系での絞り操作の有無又は光学レンズ１０１のズーム操作の有無を判定するようにしてもよい。
【0080】
図１２は、第８実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図１２にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0081】
処理開始時点で、撮像装置１００では簡易偏光演算処理が行われているものとする。Ｓ１２０１にてＣＰＵ＿１０９は、光学レンズ１０１のフォーカスが操作部１１０を通じて操作されているか否かを判定する。ＣＰＵ＿１０９は、フォーカスが操作されていると判定した場合（Ｓ１２０１でＹＥＳ）、処理をＳ１２０２へ進める。Ｓ１２０２にてＣＰＵ＿１０９は、光学レンズ１０１のフォーカス制御を行う。Ｓ１２０３にてＣＰＵ＿１０９は、簡易偏光演算処理を継続し、その後、処理をＳ１２０８へ進める。
【0082】
一方、ＣＰＵ＿１０９は、Ｓ１２０１でフォーカス制御が行われていないと判定した場合（Ｓ１２０１でＮＯ）、処理をＳ１２０４へ進める。Ｓ１２０４にてＣＰＵ＿１０９は、レンズ操作が所定時間以上行われていないかを判定する。ＣＰＵ＿１０９は、所定時間以上、レンズ操作が行われていないと判定した場合（Ｓ１２０４でＹＥＳ）、処理をＳ１２０５へ進める。Ｓ１２０５にてＣＰＵ＿１０９は、簡易偏光演算処理から記録用偏光演算処理への切り替えを行う。続くＳ１２０６にてＣＰＵ＿１０９は、表示フレームレートを低フレームレートに設定し、その後、処理をＳ１２０８へ進める。
【0083】
ＣＰＵ＿１０９は、Ｓ１２０４で前回のレンズ操作から所定時間が経過していないと判定した場合（Ｓ１２０４でＮＯ）、処理をＳ１２０７へ進める。Ｓ１２０７にてＣＰＵ＿１０９は、簡易偏光演算処理を継続し、その後、処理をＳ１２０８へ進める。
【0084】
Ｓ１２０８にてＣＰＵ＿１０９は、偏光演算処理の結果を表示部１２１へ表示し、これにより本処理は終了する。なお、Ｓ１２０１の判定では、フォーカス操作の有無に代えて、撮像光学系での絞り操作の有無又は光学レンズ１０１のズーム操作の有無を判定するようにしてもよい。
【0085】
このようにレンズ操作が行われた場合に記録用偏光演算処理から簡易偏光演算処理に切り替えることで、フレームレートを高くして表示のリアルタイム性を向上させることができる。また、簡易偏光演算処理に切り替えた後にレンズ操作が所定時間以上行われていない場合に記録用偏光演算処理に戻すことで、再度、精度の高い偏光演算処理を施された画像を表示することが可能となる。
【0086】
＜第９実施形態＞
第９実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第２の構成について説明する。本実施形態では、撮像中の映像における動体検出の有無に応じて偏光演算処理を切り替える構成について説明する。
第９実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第２の構成について説明する。本実施形態では、撮像中の映像における動体検出の有無に応じて偏光演算処理を切り替える構成について説明する。
【0087】
図１３は、第９実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図１３にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0088】
処理開始時点で、撮像装置１００では記録用偏光演算処理が行われているものとする。Ｓ１３０１にてＣＰＵ＿１０９は、映像処理部１１６により撮像中の動画像から動体が検出したか否かを判定する。ここでの動画像は、偏光演算処理がなされていない高フレームレートの動画像である。動体の検出方法は、例えば、画素値差分検出法を用いて行うことができる。画素値差分検出法では、注目フレームと１フレーム前のフレーム及び１フレーム後のフレームとの各画素の輝度値の差分を算出し、算出した輝度差が所定値以上である画素を検出し、検出数が所定の閾値を超えた場合に動体があると判断される。なお、動体検出は、前後のフレームを用いる画素値差分検出法に限られず、画素の相関を求めて検出する方法や機械学習を用いた推論であってもよい。
【0089】
ＣＰＵ＿１０９は、動体が検出されたと判定した場合（Ｓ１３０１でＹＥＳ）、処理をＳ１３０２へ進め、動体が検出されていないと判定した場合（Ｓ１３０１でＮＯ）、処理をＳ１３０５へ進める。
【0090】
Ｓ１３０２では、例えば、ＣＰＵ＿１０９は、動体の移動量を算出し、算出した移動量が所定値以上であると判断した場合には、動体は速やかにフレームアウトしてしまうと判断して、演算処理の切り替えを行わない。また、ＣＰＵ＿１０９は、検出した動体が一定時間以上フレーム内に存在していると判断した場合には、簡易偏光演算処理に切り替える。ＣＰＵ＿１０９は、動体が何であるかを判断し、事前に指定されていた物体（例えば、車）であると判断した場合には高精度な偏光演算結果を取得したいため、演算処理を切り替えない。更にＣＰＵ＿１０９は、表示部１２１の他に映像端子１１９やネットワーク端子１２５が高フレームレートの出力設定になっている場合にも、演算処理を切り替えない。なお、Ｓ１３０２の処理は省略してもよい。
【0091】
ＣＰＵ＿１０９は、簡易偏光演算処理に切り替えると判定した場合（Ｓ１３０２でＹＥＳ）、処理をＳ１３０３へ進め、簡易偏光演算処理に切り替えないと判定した場合（Ｓ１３０２でＮＯ）、処理をＳ１３０５へ進める。Ｓ１３０３～Ｓ１３０６の処理はそれぞれ、図１１のフローチャートのＳ１１０４～Ｓ１１０７の処理と同じであるため、ここでの説明を省略する。
【0092】
図１４は、第９実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図１４にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0093】
処理開始時点で、撮像装置１００では簡易偏光演算処理が行われているものとする。Ｓ１４０１にてＣＰＵ＿１０９は、映像処理部１１６によって撮像中の動画像に動体が検出されているか否かを判定する。ＣＰＵ＿１０９は、動体が検出されていると判定した場合（Ｓ１４０１でＹＥＳ）、処理をＳ１４０２へ進め、動体が検出されていないと判定した場合（Ｓ１４０１でＮＯ）、処理をＳ１４０３へ進める。
【0094】
Ｓ１４０２にてＣＰＵ＿１０９は、簡易偏光演算処理を継続し、その後、処理をＳ１４０７へ進める。Ｓ１４０３にてＣＰＵ＿１０９は、所定時間以上、動体が検出されていないかを判定する。ＣＰＵ＿１０９は、所定時間以上、動体が検出されていないと判定した場合（Ｓ１４０３でＹＥＳ）、処理をＳ１４０４へ進め、動体を最後に検出してから所定時間が経過していないと判定した場合（Ｓ１４０３でＮＯ）、処理をＳ１４０６へ進める。Ｓ１４０４～Ｓ１４０７の処理は、図１２のフローチャートのＳ１２０５～Ｓ１２０８の処理と同様であるため、ここでの説明を省略する。
【0095】
このように動体が検出された場合に記録用偏光演算処理から簡易偏光演算処理に切り替えることで、フレームレートを高くして表示のリアルタイム性を向上させることができる。また、簡易偏光演算処理に切り替えた後に動体が検出されなくなった場合に記録用偏光演算処理に戻すことで、再度、精度の高い偏光演算処理を施された画像を表示することが可能となる。
【0096】
＜第１０実施形態＞
第１０実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第３の構成について説明する。本実施形態では、撮像装置１００の動きに応じて偏光演算処理を切り替える構成について説明する。
第１０実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第３の構成について説明する。本実施形態では、撮像装置１００の動きに応じて偏光演算処理を切り替える構成について説明する。
【0097】
図１５は、第１０実施形態での記録用偏光演算処理と簡易偏光演算処理との切替制御のフローチャートである。図１５にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0098】
Ｓ１５０１にてＣＰＵ＿１０９は、撮像装置１００の動き検出（振れ検出）を行う。具体的には、角速度センサ等で構成された動き検出部１１５で、撮影者の手振れや意図的なフレーミングの変更等を検出する。なお、動き検出部１１５の出力は、ＣＰＵ＿１０９でＡ／Ｄ変換して積分することで、角速度を角変位信号に変換し、振れ検出信号として用いられる。撮像装置１００の動きが検出されるまで動き検出が続けられるが、ここでは、撮像装置１００の動きが検出されたものとして次の処理へ進むフローとしている。
【0099】
Ｓ１５０２にてＣＰＵ＿１０９は、角変位信号に変換された振れ検出信号が所定値以下か否かを判定することにより、撮像装置１００の動きが所定の基準と比較して小さい動きか否かを判定する。これは、撮像装置１００の動きが一般的な手振れなのか撮影者の意図的な操作（例えば、流し撮り）によるものかを判断する必要があるためである。ＣＰＵ＿１０９は、振れ検出信号が所定値以下であると判定した場合（Ｓ１５０２でＹＥＳ）、処理をＳ１５０３へ進める。
【0100】
Ｓ１５０３にてＣＰＵ＿１０９は、偏光演算部１０８で行われている偏光演算処理が記録用偏光演算処理か否かを判定する。なお、記録用偏光演算処理が行われていない場合には、簡易偏光演算処理が行われているものとし、簡易偏光演算処理は上述した各実施形態でのいずれの手法であってもよい。また、Ｓ１５０２の判定がＹＥＳとなった場合とＳ１５０６の判定がＮＯとなった場合に処理がＳ１５０３へ進められるが、Ｓ１５０６の判定がＮＯとなった場合にＳ１５０３へ処理を進める理由については後述する。ＣＰＵ＿１０９は、簡易偏光演算処理が行われていると判定した場合（Ｓ１５０３でＮＯ）、処理をＳ１５０４へ進め、記録用偏光演算処理が行われていると判定した場合（Ｓ１５０３でＹＥＳ）、処理をＳ１５０５へ進める。
【0101】
Ｓ１５０４にてＣＰＵ＿１０９は、偏光演算部１０８で処理されている偏光演算処理を簡易偏光演算処理から記録用偏光演算処理に切り替え、その後、処理をＳ１５０５へ進める。なお、Ｓ１５０４で偏光演算処理を切り替える理由については後述する。Ｓ１５０５にてＣＰＵ＿１０９は、ライブビュー表示のフレームレートをの設定を低フレームレートに変更する。これは、Ｓ１５０５に至る際には、偏光演算部１０８において演算負荷の大きい記録用偏光演算処理が行われており、この場合にはＣＰＵ＿１０９での処理負荷も大きくなる。そこで、Ｓ１５０５では、ライブビュー表示のフレームレートを下げてＣＰＵ＿１０９の処理負荷を軽減する。
【0102】
ＣＰＵ＿１０９は、Ｓ１５０２にて振れ検出信号が所定値よりも大きいと判定した場合（Ｓ１５０２でＮＯ）、処理をＳ１５０６へ進める。Ｓ１５０６にてＣＰＵ＿１０９は、撮像装置１００の動きが、被写体等に追従させるために撮影者が意図的に撮像装置１００を動かしているパンニング又はチルティング（以下「パンニング等」という）か否かを判定する。
【0103】
ここで、パンニング等への移行とパンニング等の終了について、図１６を参照して説明する。図１６は、パンニングが行われた場合の振れ検出信号の経時変化を説明する図である。振れ検出信号１６０１が正のパンニング移行閾値１６０２以上又は負のパンニング移行閾値１６０３以下となり、その状態が一定時間継続した場合に、撮像装置１００のパンニングが行われたと判定する。そして、パンニングが行われた後（パンニング期間後）、振れ検出信号が正のパンニング終了閾値１６０４以下又は負のパンニング終了閾値１６０５以上となった場合に、撮像装置１００のパンニングが終了したと判定する。
【0104】
ＣＰＵ＿１０９は、撮像装置１００の動きがパンニング等であると判定した場合（Ｓ１５０６でＹＥＳ）、処理をＳ１５０７へ進め、撮像装置１００の動きがパンニング等ではないと判定した場合（Ｓ１５０６でＮＯ）、処理を１５０３へ進める。
【0105】
Ｓ１５０７にてＣＰＵ＿１０９は、偏光演算部１０８で処理されている偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替える。これは、撮像装置１００で撮影中の被写体像の背景がパンニング等によって流れているため、偏光演算部１０８において記録用偏光演算処理を実行する必要性が低いためである。続いて、Ｓ１５０８にてＣＰＵ＿１０９は、ライブビュー表示のフレームレートを高フレームレートに変更する。これは、Ｓ１５０７で記録用偏光演算処理から簡易偏光演算処理に切り替えられたため、ＣＰＵ＿１０９の処理負荷をライブビュー表示に割り当てることが可能となり、よって、フレームレートを高くすることが可能となるためである。
【0106】
ここで、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替え、ライブビュー表示のフレームレートを高フレームレートに変更した場合のライブビュー表示の変化について図１７を参照して説明する。図１７（ａ）はパンニング時の低フレームレートのライブビュー表示を模式的に示す図であり、図１７（ｂ）はパンニング時の高フレームレートのライブビュー表示を模式的に示す図である。
【0107】
ユーザは、主被写体であるランナー１７０１の動きを追うように左から右へ撮像装置１００を振るパンニング動作を行っている。偏光演算部１０８が記録用偏光演算処理を行い、ライブビュー表示のフレームレートが低フレームレートになっている場合、図１７（ａ）に示されるように、主被写体であるランナー１７０１が尾引きしているような見栄えとなり、追従性が低下していることがわかる。
【0108】
一方、偏光演算部１０８が簡易偏光演算処理を行い、ライブビュー表示のフレームレートが高フレームレートになっている場合、図１７（ｂ）に示されるように、ランナー１７０１の尾引きが軽減され、また、背景の流れに滑らかさのある見栄えとなる。つまり、ライブビュー表示を低フレームレートから高フレームレートへ変更することにより、被写体の追従性が改善し、撮影時の違和感が低減される。そこで、本実施形態では、Ｓ１５０８にて、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替えることとしている。
【0109】
続いて、Ｓ１５０６で撮像装置１００の動きがパンニング等ではないと判定された場合の処理について、図１８を参照して説明する。図１８は、ユーザが歩行撮影を行っている（歩きながら動画を撮影している）場合の振れ検出信号の経時変化を示す図である。なお、歩行撮影は、Ｓ１５０６の判定がＮＯとなる一例である。
【0110】
図１８に示すパンニング移行閾値１６０２，１６０３及びパンニング終了閾値１６０４，１６０５は、図１６に示したものと同じである。振れ検出信号１８０１が、正のパンニング移行閾値１６０２以上又は負のパンニング移行閾値１６０３以下となる状態で周波数が１Ｈｚ～６Ｈｚ程度の場合は、撮影者が歩行しながら撮影をしていると判断することができる。換言すれば、この場合には、パンニングとは判断されない。周波数は、振れ検出信号１８０１が単位時間当たりに増減が反転する数の１／２として求めることができる。
【0111】
歩行撮影が行われている場合には、振れ補正を行うためにＳ１５０６からＳ１５０３へ処理を進める。但し、歩行時の振れ補正は撮像装置１００の焦点距離が所定の焦点距離よりワイド側にある場合が多い。しかし、この条件に該当しない焦点距離での撮影では、撮影画像の振れが大きなものになるために、歩行撮影であってもパンニング等と同様に扱って、処理をＳ１５０６からＳ１５０７へ進めるようにしていもよい。
【0112】
続いて、Ｓ１５０３からＳ１５０４へ処理を進める場合について説明する。Ｓ１５０３にて偏光演算処理が記録用偏光演算処理ではないと判断されるのは、Ｓ１５０２，Ｓ１５０６，Ｓ１５０７，Ｓ１５０８へと進んだ後にパンニング等が終了してＳ１５０２，Ｓ１５０３と進んだ場合である。パンニング等ではない場合は、ライブビュー表示のフレームレートを低フレームレートに設定するため、偏光演算処理を簡易偏光演算処理から記録用偏光演算処理に切り替える必要がある。よって、Ｓ１５０３で偏光演算処理が記録用偏光演算処理ではないと判定された場合には、処理をＳ１５０４へ進めて、簡易偏光演算処理への切り替えを行うようにしている。
【0113】
Ｓ１５０５又はＳ１５０８でライブビュー表示のフレームレートが設定されると、Ｓ１５０９にてＣＰＵ＿１０９は、表示部１２１にライブビュー表示を行い、これにより本処理は終了する。
【0114】
このように、本実施形態では、撮像装置１００のパンニング等が検出された場合に、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替えて、ライブビュー表示のフレームレートを高フレームレートに設定する。これにより、撮影時の被写体に対する追従性を高めて、撮影時の違和感を軽減することが可能になる。また、パンニング等の終了後には、偏光演算処理を簡易偏光演算処理から記録用偏光演算処理に切り替えて、ライブビュー表示のフレームレートを低フレームレートに設定する。これにより、例えば、ユーザが静止して撮像装置１００を被写体に向けて構えた撮像状態で、画像の偏光成分を詳細に確認しながら撮影することが可能となる。
【0115】
＜第１１実施形態＞
第１１実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第４の構成について説明する。本実施形態では、表示部１２１でのアシスト表示機能の有効／無効に応じて偏光演算処理を切り替える構成について説明する。
第１１実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第４の構成について説明する。本実施形態では、表示部１２１でのアシスト表示機能の有効／無効に応じて偏光演算処理を切り替える構成について説明する。
【0116】
図１９は、第１１実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図１９にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0117】
Ｓ１９０１にてＣＰＵ＿１０９は、アシスト表示機能の設定が有効化されたか否かを判定する。アシスト表示機能の例としては、画像のコントラスト、階調、色相、彩度、焦点、尖鋭度等をヒストグラムやベクトルスコープ、波形モニタ、ゼブラ、ピーキング、フォルスカラー等で表示する機能がある。撮像装置１００では、ユーザは、アシスト表示機能を有効化することにより、表示部１２１での表示に基づいて、露出や色、フォーカス等の調整を容易に高い精度で行うことが可能となっている。
【0118】
アシスト表示機能は、ユーザが操作部１１０を用いて、メニュー表示等に対して操作を行うことによって、有効と無効とを切り替えることが可能となっている。そして、ＣＰＵ＿１０９は、ユーザによる操作指示に従ってアシスト表示機能の有効化と無効化を切り替え、ＯＳＤ生成部１１７で生成されたアシスト表示を表示駆動回路１２０を介して表示部１２１に表示させる。
【0119】
ＣＰＵ＿１０９は、アシスト表示機能が有効化されたと判定した場合（Ｓ１９０１でＹＥＳ）、処理をＳ１９０２へ進める。Ｓ１９０２にてＣＰＵ＿１０９は、記録用偏光演算処理から簡易偏光演算処理に切り替えるか否かを判定する。ＣＰＵ＿１０９は、例えば、複数あるアシスト表示機能のうち有効化された機能の数が所定数を超えた場合に、簡易偏光演算処理に切り替える。また、ＣＰＵ＿１０９は、アシスト表示機能の演算負荷を個々に算出し、合計した負荷が所定の閾値以上となった場合に、簡易偏光演算処理に切り替える。この手法の場合、複数のアシスト表示機能の組み合わせが発生し、アシスト表示機能として有効化された数は判定材料とならない。更に、アシスト表示機能と、その他の処理負荷に影響する機能との組み合わせで簡易偏光演算処理に切り替えるか否かを判定してもよい。なお、Ｓ１９０２の処理は省略が可能である。
【0120】
Ｓ１９０３にてＣＰＵ＿１０９は、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替える。簡易偏光演算処理の各種手法については前述した通りであり、どの手法を用いても構わない。Ｓ１９０４にてＣＰＵ＿１０９は、表示フレームレートを高フレームレートに設定し、その後、処理をＳ１９０６へ進める。
【0121】
ＣＰＵ＿１０９は、Ｓ１９０１でアシスト表示機能の設定が有効化されていないと判定した場合（Ｓ１９０１でＮＯ）及びＳ１９０２で簡易偏光演算処理への切り替えを行わないと判定した場合（Ｓ１９０２でＮＯ）、処理をＳ１９０５へ進める。Ｓ１９０５にてＣＰＵ＿１０９は、記録用偏光演算処理を継続し、その後、処理をＳ１９０６へ進める。Ｓ１９０６にてＣＰＵ＿１０９は、偏光演算処理の結果である映像を表示部１２１へ表示し、これにより本処理は終了する。
【0122】
図２０は、第１１実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図２０にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0123】
Ｓ２００１にてＣＰＵ＿１０９は、アシスト表示機能の設定が無効化されたか否かを判定する。なお、アシスト表示機能の設定の変更は、ユーザによる操作部１１０の操作により行われる。ＣＰＵ＿１０９は、アシスト表示機能の設定が無効化されたと判定した場合（Ｓ２００１でＹＥＳ）、処理をＳ２００２へ進める。
【0124】
Ｓ２００２にてＣＰＵ＿１０９は、簡易偏光演算処理から記録用偏光演算処理に切り替える。Ｓ２００３にてＣＰＵ＿１０９は、表示フレームレートを低フレームレートに設定し、その後、処理をＳ２００５へ進める。
【0125】
ＣＰＵ＿１０９は、Ｓ２００１でアシスト表示機能の設定が有効のままであると判定した場合（Ｓ２００１でＮＯ）、処理をＳ２００４へ進める。Ｓ２００４にてＣＰＵ＿１０９は、簡易偏光演算処理を継続し、その後、処理をＳ２００５へ進める。
【0126】
Ｓ２００３又はＳ２００４の次の処理であるＳ２００５にてＣＰＵ＿１０９は、偏光演算処理の結果である映像を表示部１２１へ表示し、これにより本処理は終了する。
【0127】
このように本実施形態では、アシスト表示機能が有効化された場合に、記録用偏光演算処理から簡易偏光演算処理への切り替えを行うことで、フレームレートを高くして、表示のリアルタイム性を向上させることができる。また、アシスト表示機能が無効化された場合に簡易偏光演算処理から記録用偏光演算処理に切り替えることで、精度の高い偏光処理画像を表示することが可能となる。
【0128】
＜第１２実施形態＞
第１２実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第５の構成について説明する。本実施形態では、表示部１２１に表示されたユーザインタフェース（以下「ＵＩ」と記す）の操作に伴う偏光フィルタ１０２の偏光角度の変化をトリガとして偏光演算処理を切り替える。
第１２実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第５の構成について説明する。本実施形態では、表示部１２１に表示されたユーザインタフェース（以下「ＵＩ」と記す）の操作に伴う偏光フィルタ１０２の偏光角度の変化をトリガとして偏光演算処理を切り替える。
【0129】
【0130】
ＵＩ＿２１０２は、表示部１２１の表示画面２１０１の下部に表示されている。ＵＩ＿２１０２の表示は操作部１１０の操作とリンクしており、ここでの操作部１１０とは、具体的には、表示部１２１に重畳して設けられたタッチパネルである。つまり、ユーザは、ＵＩ＿２１０２が表示されている領域に触れることで、ＵＩ＿２１０２に対する操作を行うことが可能となっている。
【0131】
ＵＩ＿２１０２，２１０３は、ユーザの左右方向のスワイプ操作により偏光角度を変更することで、撮影画像の偏光成分の調節を可能とする。ＵＩ＿２１０３とＵＩ＿２１０２とは、分解能が異なる。例えば、ＵＩ＿２１０２とＵＩ＿２１０３の表示切り替えは、例えば、スライドバーに対するタップ操作或いは長押し操作に行うことができる。但し、これに限られず、他の操作によってＵＩ表示の切り替えを行うようにしてもよい。
【0132】
なお、本実施形態では、ＵＩ＿２１０２，２１０３の表示を、横帯状で左右方向を操作方向とするスライドバーとしているが、これに限られるものではない。例えば、ＵＩは、縦帯状で上下方向のスワイプ操作の操作方向とするスライドバーであってもよい。また、円形のＵＩ表示としてその円内を時計まわり／反時計まわりにスワイプ操作するものであってもよい。また、偏光角度を変える操作を、表示部１２１に設けられたタッチパネルからではなく、撮像装置１００のボディにスライド式スイッチ、レバー式スイッチ、シーソー式スイッチ、ダイアル式スイッチ等の機械式スイッチ部材を設けて行うようにしてもよい。或いは、被写体像を捉える光学レンズ１０１の鏡筒に、フォーカス操作やズーム操作に用いられるリング部材と同様の、光軸を中心に回転可能なリング状スイッチ部材を設け、そのリング状スイッチ部材を回転させて偏光角度を調節するようにしてもよい。更に、撮像装置１００が元々備える各種スイッチの操作方法に則って偏光角度を変えることができるようにしてもよい。機械式のスイッチ部材で偏光角度を変える場合の分解能は、例えば、スイッチ部材の可動範囲内でストロークを変えることにより或いは多段階で切り替わるようになっていればよい。
【0133】
図２２は、第１２実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図２２にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0134】
Ｓ２２０１の処理の開始時点で、偏光演算処理としては記録用偏光演算処理が行われているものとする。Ｓ２２０１にてＣＰＵ＿１０９は、偏光角度の変化量が所定の閾値以上か否かを判定する。例えば、ユーザが表示部１２１に表示されているＵＩ（スライドバー）上をスワイプして偏光フィルタ２０１～２０４を通した偏光情報から任意の偏光角度の輝度情報を生成することで得られた波形（以下「フィッティングカーブ」と言う）上をトレースする。すると、ＣＰＵ＿１０９は、このユーザによる操作での偏光角度の変化量が所定の角度以上か否かを判定する。より具体的には、図２１（ａ）で、分解能が１０ｄｅｇ刻みのＵＩ＿２１０２のスライドバーを操作しているのか、分解能が１ｄｅｇ刻みのＵＩ＿２１０３のスライドバーを操作しているかを判定している。そのため、ここでは偏光角度の変化量の閾値を１０ｄｅｇとするが、これに限られるものではなく、また、ユーザによる設定が可能な構成となっていてもよい。
【0135】
ＣＰＵ＿１０９は、偏光角度の変化量が所定の閾値以上（１０ｄｅｇ以上）であると判定した場合（Ｓ２２０１でＹＥＳ）、処理をＳ２２０２へ進める。Ｓ２２０２にてＣＰＵ＿１０９は、所定の閾値以上の偏光角度の変化量が所定の時間以上継続しているか否かを判定する。つまり、表示させたＵＩの分解能のままで、偏光角度を変える操作が継続しているか終了しているかを判定している。ＣＰＵ＿１０９は、閾値以上の偏光角度変化量が、所定時間以上、継続していると判定した場合（Ｓ２２０２でＹＥＳ）、処理をＳ２２０３へ進める。
【0136】
Ｓ２２０３にてＣＰＵ＿１０９は、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替える。これは、以下の理由による。つまり、偏光角度を変えることによって、ライブビュー表示の被写体画像の偏光成分が変化する。このとき、画素ごとに偏光演算処理を行っている記録用偏光演算処理では、ＣＰＵ＿１０９の処理負荷が大きいためにライブビュー表示のフレームレートは低フレームレートに設定されている。この場合、ＵＩ操作による被写体画像の偏光成分の変化とライブビュー表示にタイムラグが生じやすくなる。そこで、このタイムラグを低減させてリアルタイム性を向上させるために、高フレームレートでの表示が可能となるように、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替える。
【0137】
図２３は、ＵＩ操作に伴う被写体像の偏光成分の変化とライブビュー表示のタイムラグとの関係を説明する模式図である。図２３（ａ）は、ＵＩ＿２１０２を操作している状況を示す図である。図２３（ｂ）は、偏光角度が変わるようにＵＩ＿２１０２を操作した際の操作終了時の被写体像を示す図である。図２３（ｃ）は、タイムラグによりＵＩ＿２１０２の操作後に実際に表示された被写体像を示す図である。ここでは、ユーザは、図２３（ｂ）に示すように運転手を視認できるように偏光角度を変えたつもりであったが、実際には、タイムラグによって図２３（ｃ）に示すように、フロントガラスからの反射成分が残ってしまっている。そのため、ユーザは、ＵＩ＿２１０２を操作して、偏光角度を調節しなければならなくなる。
【0138】
Ｓ２２０４にてＣＰＵ＿１０９は、ライブビュー表示のフレームレートを高フレームレートに設定し、その後、処理をＳ２２０６へ進める。これは、Ｓ２２０３でＣＰＵ＿１０９の処理負荷が軽減されたため、軽減された処理負荷をライブビュー表示のフレームレート処理に割り当てることが可能になるからである。なお、ライブビュー表示を高フレームレートとすることで表示のリアルタイム性が向上するため、図２３（ｂ），（ｃ）の例では、ユーザは一度の操作で図２３（ｂ）の表示状態にすることができる。
【0139】
ＣＰＵ＿１０９は、Ｓ２２０１で偏光角度の変化量が所定の閾値以上ではない場合（Ｓ２２０１でＮＯ）と、閾値以上の偏光角度変化量が、所定時間以上、継続していないと判定した場合（Ｓ２２０２でＮＯ）には、処理をＳ２２０５へ進める。Ｓ２２０６にてＣＰＵ＿１０９は、記録用偏光演算処理を継続し、その後、処理をＳ２００６へ進める。
【0140】
Ｓ２２０６にてＣＰＵ＿１０９は、その時点で設定されているフレームレートでライブビュー表示を行い、これにより本処理は終了する。
【0141】
図２４は、第１２実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図２４にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0142】
Ｓ２４０１の処理の開始時点で、偏光演算処理としては簡易偏光演算処理が行われているものとする。Ｓ２４０１，Ｓ２４０２の処理はそれぞれ、図２２のフローチャートのＳ２２０１，Ｓ２２０２の処理と同じであるため、詳細な説明を省略する。ＣＰＵ＿１０９は、Ｓ２４０１，Ｓ２４０２の判定結果が共に“ＹＥＳ”となる場合には、処理をＳ２４０３へ進める。Ｓ２４０３にてＣＰＵ＿１０９は、簡易偏光演算処理を継続して行い、その後、処理をＳ２４０６へ進める。
【0143】
ＣＰＵ＿１０９は、Ｓ２４０１，Ｓ２４０２の各判定結果が“ＮＯ”となる場合には、処理をＳ２４０４へ進める。Ｓ２４０４へ処理が進んだ時点では、簡易偏光演算処理が行われており、ライブビュー表示のフレームレートは高フレームレートに設定されている。また、Ｓ２４０４へ処理が進んだ時点で、偏光演算処理によって算出されたフィッティングカーブ上をトレースした偏光角度の変化量が所定の閾値未満となっている。そのため、ＣＰＵ＿１０９の処理負荷をライブビュー表示から偏光演算処理に割り当てる必要がある。そこで、Ｓ２４０４で現在のライブビュー表示のフレームレートを低フレームレートに設定する。そこで、Ｓ２４０４にてＣＰＵ＿１０９は、ライブビュー表示のフレームレートを低フレームレートに設定し、その後、処理をＳ２４０５へ進める。
【0144】
Ｓ２４０５にてＣＰＵ＿１０９は、偏光演算処理を簡易偏光演算処理から記録用偏光演算処理へ切り替えて、その後、処理をＳ２４０６へ進める。
【0145】
Ｓ２４０６にてＣＰＵ＿１０９は、その時点で設定されているフレームレートでライブビュー表示を行い、これにより本処理は終了する。
【0146】
このように本実施形態では、ＵＩ操作による偏光角度の変化量が所定の閾値以上、且つ、その状態が、所定時間以上、継続する場合には、偏光演算処理を簡易偏光演算処理に設定して、ライブビュー表示を高フレームレートに設定する。これにより、ＵＩ操作と偏光演算部１０８で算出されたフィッティングカーブ上の偏光角度をトレースした際の画像変化のタイムラグを低減して、ライブビュー表示のリアルタイム性を向上させることができる。
【0147】
また、ＵＩ操作による偏光角度の変化量が所定の閾値未満の場合と、偏光角度が変化してもその状態が継続しない場合に、ライブビュー表示を低フレームレートに設定すると共に、偏光演算処理を記録用偏光演算処理に設定する。これにより、記録画像の偏光成分を詳細に確認しながら撮影することが可能となる。
【0148】
＜第１３実施形態＞
第１３実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第６の構成について説明する。本実施形態では、ＵＩ操作中か否かに基づいて偏光演算処理と表示フレームレートの切り替えを行う。なお、本実施形態でのＵＩ表示とその操作については、第１２実施形態（図２１）と同様であるため、説明を省略する。
第１３実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第６の構成について説明する。本実施形態では、ＵＩ操作中か否かに基づいて偏光演算処理と表示フレームレートの切り替えを行う。なお、本実施形態でのＵＩ表示とその操作については、第１２実施形態（図２１）と同様であるため、説明を省略する。
【0149】
図２５は、第１３実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図２５にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0150】
Ｓ２５０１の処理の開始時点で、偏光演算処理としては記録用偏光演算処理が行われているものとする。Ｓ２５０１にてＣＰＵ＿１０９は、偏光角度の調節操作中か否かを判定する。具体的には、表示部１２１の画面上に表示されたＵＩ（例えば、ＵＩ＿２１０２）のスライドバーがスワイプされ、偏光演算処理によって算出されたフィッティングカーブ上をトレースすることで偏光角度の調節操作が行われているか否かが判定される。
【0151】
ＣＰＵ＿１０９は、偏光角度の調節操作中であると判定した場合（Ｓ２５０１でＹＥＳ）、処理をＳ２５０２へ進め、偏光角度の調節操作中ではないと判定した場合（Ｓ２５０１でＮＯ）、処理をＳ２５０５へ進める。
【0152】
Ｓ２５０２にてＣＰＵ＿１０９は、偏光角度の調節操作が所定の時間以上継続しているか否かを判定する。つまり、偏光角度の調節操作が続いているか終了しているかが判定される。ＣＰＵ＿１０９は、偏光角度の調節操作が所定の時間以上継続していると判定した場合（Ｓ２５０２でＹＥＳ）、処理をＳ２５０３へ進め、偏光角度の調節操作が所定の時間以上は継続していないと判定した場合（Ｓ２５０２でＮＯ）、処理をＳ２５０５へ進める。
【0153】
Ｓ２５０３～Ｓ２５０６の処理はそれぞれ、第１２実施形態での図２２のフローチャートのＳ２２０３～２２０６の処理と同じであるため、ここでの説明を省略する。
【0154】
図２６は、第１３実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図２６にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0155】
Ｓ２６０１の処理の開始時点で、偏光演算処理としては簡易偏光演算処理が行われている。Ｓ２６０１，Ｓ２６０２の処理はそれぞれは、図２５のフローチャートのＳ２５０１，２５０２と同じであるため、ここでの説明を省略する。ＣＰＵ＿１０９は、Ｓ２６０１，Ｓ２６０２の判定が共に“ＹＥＳ”となる場合には処理をＳ２６０３へ進め、Ｓ２６０１，Ｓ２６０２の各判定が“ＮＯ”となった場合には処理をＳ２６０５へ進める。Ｓ２６０３～Ｓ２６０６の処理はそれぞれ、第１２実施形態での図２４のフローチャートのＳ２４０３～２４０６の処理と同じであるため、ここでの説明を省略する。
【0156】
このように本実施形態では、偏光成分を調節するＵＩ操作が行われ、且つ、その状態が、所定時間以上、継続する場合に、偏光演算処理を簡易偏光演算処理に設定して、ライブビュー表示を高フレームレートに設定する。これにより、ＵＩ操作と偏光演算部１０８で算出されたフィッティングカーブ上の偏光角度をトレースした際の画像変化のタイムラグを低減して、ライブビュー表示のリアルタイム性を向上させることができる。また、本実施形態では、偏光成分を調節するＵＩ操作が行われておらず、又は、偏光成分を調節するＵＩ操作が行われたがその状態が継続しない場合には、ライブビュー表示を低フレームレートに設定すると共に、偏光演算処理を記録用偏光演算処理に設定する。これにより、記録画像の偏光成分を詳細に確認しながら撮影することが可能となる。
【0157】
＜第１４実施形態＞
第１４実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第７の構成について説明する。本実施形態では、消費電力やバッテリ残量等の電源情報に基づいて記録用偏光演算処理と簡易偏光演算処理とを切り替える構成について説明する。
第１４実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第７の構成について説明する。本実施形態では、消費電力やバッテリ残量等の電源情報に基づいて記録用偏光演算処理と簡易偏光演算処理とを切り替える構成について説明する。
【0158】
図２７は、撮像装置１００の動作機能と消費電力の関係を説明する図である。撮像装置１００では、動作する機能に応じて電力量が大きく変わる。例えば、不図示であるが、撮像装置１００は複数のカメラ部を備えており、それらを駆動することで消費電力は大きくなる。また、ＬＥＤライトを点灯させた場合や、映像出力駆動回路１１８を駆動させて映像端子１１９に映像を出力させた場合も消費電力は大きくなる。更に、ネットワーク駆動回路１２４を動作させてネットワーク端子１２５やＷｉ－Ｆｉ（登録商標）等でネットワークに接続することによっても、消費電力は大きくなる。これに限られず、撮像装置１００が備える機能の多くを動作させると、消費電力は大きくなる。これに対して、１つのカメラ部のみを駆動して、動画記録に最小限必要な機能のみを動作させれば、必然的に消費電力は小さくなる。
【0159】
そこで、消費電力に閾値を設けて、演算処理を切り替えるようにする。記録用偏光演算処理は、簡易偏光演算処理に比べて演算負荷が大きく、電気的にはＬＳＩ等の処理回路内部の多くのロジックを駆動させる必要があるため、消費電力が大きくなる。これに対して、簡易偏光演算処理では、演算量を少なくし或いは演算自体を単なる比較にする等、電気的には負荷の小さい処理となるため、消費電力を低減させることができる。
【0160】
したがって、消費電力を小さくするように撮像装置１００を動作させる場合に、更に偏光演算処理を簡易偏光演算処理に設定することで、消費電力をより小さくすることが可能となる。逆に、撮像中の機能を制限することによって全体での消費電力を低減させる代わりに演算処理に電力を回すことも可能であり、この場合には、記録時に限らずに記録用偏光演算処理を行うという使用法も可能となる。消費電力の増減と偏光演算処理との組み合わせは、ユーザが自由に設定することができるようにしてもよい。
【0161】
撮像装置１００をバッテリ駆動（撮像装置本体に装着された電池で駆動）している場合には、バッテリ残量に応じて演算処理を切り替えることもできる。図２８（ａ）は、一般的なリチウムイオン電池の放電特性を示す図である。なお、図２８（ａ）の横軸の電池容量は、右に行くにしたがって小さくなる。通常は、電池電圧の制御回路により、電圧が一定値以下（電池容量が一定値以下）とならないように制御されるため、電圧値がゼロとなることはない。
【0162】
リチウムイオン電池の放電特性は、実線２８０１で示されるように、電池容量が十分にあるときには緩やかに電圧が下降していくが、容量が空に近くなると急激に電圧が下がる特性を持つ。また、リチウムイオン電池の放電特性には温度依存があり、低温では容量が小さくなり、電圧の下降も急峻になる傾向がある。これらの特性に鑑みると、電圧又は容量を演算切替トリガに使用することも可能である。
【0163】
図２８（ｂ）は、リチウムイオン電池の放電特性に対して設定される電圧閾値と容量閾値の例を示す図である。電池電圧が電圧閾値ΔＶ以上であれば記録用偏光演算処理を行い、電池電圧が電圧閾値ΔＶ未満であれば簡易偏光演算処理を行う。同様に、電池容量が容量閾値ΔＭ以上であれば記録用偏光演算処理を行い、電池容量が容量閾値ΔＭ未満であれば簡易偏光演算処理を行う。電圧閾値ΔＶと容量閾値ΔＭは、独立して使用してもよいし合わせて使用してもよい。これらの閾値を用いれば、電圧値が低下し又は電池容量が減少すると偏光演算処理が簡易偏光演算処理に切り替わることで、電力消費を抑えることが可能になる。
【0164】
図２９（ａ）は、第１４実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図２９（ｂ）は、第１４実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図２９（ａ），（ｂ）のそれぞれにおいてＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0165】
図２９（ａ）において、Ｓ２９０１にてＣＰＵ＿１０９は、偏光演算部１０８により記録用偏光演算処理を行っている。Ｓ２９０２にてＣＰＵ＿１０９は、電源部１２６等を監視（モニタリング）して電源状態（電池電圧、電流、容量（電池残量）等）を取得する。Ｓ２９０３にてＣＰＵ＿１０９は、電池電圧が電圧閾値ΔＶ以上又は電池容量が容量閾値ΔＭ以上かを判定する。ＣＰＵ＿１０９は、電池電圧が電圧閾値ΔＶ以上又は電池容量が容量閾値ΔＭ以上であると判定した場合（Ｓ２９０３でＹＥＳ）、処理をＳ２９０１へ戻して、記録用偏光演算処理を継続する。一方、ＣＰＵ＿１０９は、電池電圧が電圧閾値ΔＶ未満且つ電池容量が容量閾値ΔＭ未満であると判定した場合（Ｓ２９０３でＮＯ）、処理をＳ２９０４へ進める。
【0166】
なお、Ｓ２９０３の処理は、電池電圧が電圧閾値ΔＶ以上且つ電池容量が容量閾値ΔＭ以上の場合にＳ２９０１へ処理を戻し、電池電圧が電圧閾値ΔＶ未満又は電池容量が容量閾値ΔＭ未満の場合にＳ２９０４へ処理を進める判定としてもよい。
【0167】
Ｓ２９０４にてＣＰＵ＿１０９は、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理へ切り替える。Ｓ２９０５にてＣＰＵ＿１０９は、偏光演算部１０８により簡易偏光演算処理を行い、これにより本処理は終了する。
【0168】
簡易偏光演算処理から記録用偏光演算処理へ戻す動作は、例えば、撮像装置１００に付属する機能をオンからオフへ又はオフからオンへ変更することにより、図２９（ａ）のＳ２９０３の条件を満たさなくなった場合に適用される。また、これに限らず、バッテリ駆動から安定的な商用電源を用いた駆動に切り替えた場合にも同様に適用される。
【0169】
図２９（ｂ）において、Ｓ２９１１にてＣＰＵ＿１０９は、偏光演算部１０８により簡易偏光演算処理を行っている。Ｓ２９１２，Ｓ２９１３の処理はそれぞれ、図２９（ａ）のフローチャートのＳ２９０２，２９０３の処理と同じであるため、説明を省略する。ＣＰＵ＿１０９は、電池電圧が電圧閾値ΔＶ未満且つ電池容量が容量閾値ΔＭ未満であると判定した場合（Ｓ２９０３でＮＯ）、処理をＳ２９１１へ戻して、簡易偏光演算処理を継続する。一方、ＣＰＵ＿１０９は、電池電圧が電圧閾値ΔＶ以上又は電池容量が容量閾値ΔＭ以上であると判定した場合（Ｓ２９０３でＹＥＳ）、処理をＳ２９１４へ進める。
【0170】
なお、Ｓ２９１３の処理は、電池電圧が電圧閾値ΔＶ以上且つ電池容量が容量閾値ΔＭ以上の場合にＳ２９１４へ処理を進め、電池電圧が電圧閾値ΔＶ未満又は電池容量が容量閾値ΔＭ未満の場合にＳ２９０１へ処理を戻す判定としてもよい。
【0171】
Ｓ２９１４にてＣＰＵ＿１０９は、偏光演算処理を簡易偏光演算処理から記録用偏光演算処理へ切り替える。Ｓ２９１５にてＣＰＵ＿１０９は、偏光演算部１０８により記録用偏光演算処理を行い、これにより本処理は終了する。
【0172】
なお、Ｓ２９０３，Ｓ２９１３の判定には、ヒステリシス特性や数回一致等の条件を設けてもよく、記録用偏光演算処理と簡易偏光演算処理とが短い周期で切り替わることを抑制する構成としてもよい。また、本実施形態でも、記録用偏光演算処理と簡易偏光演算処理の切り替えに伴って表示フレームレートを切り替える処理を行うようにしてもよい。
【0173】
＜第１５実施形態＞
第１５実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第８の構成について説明する。本実施形態では、偏光演算結果のフレーム間変化量の大きさに基づいて記録用偏光演算処理と簡易偏光演算処理とを切り替える構成について説明する。
第１５実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第８の構成について説明する。本実施形態では、偏光演算結果のフレーム間変化量の大きさに基づいて記録用偏光演算処理と簡易偏光演算処理とを切り替える構成について説明する。
【0174】
図３０は、第１５実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図３０にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。図３０のフローチャートの開始時点では、記録用偏光演算処理が行われているものとする。
【0175】
Ｓ３００１にてＣＰＵ＿１０９は、偏光演算結果のフレーム間変化量が所定の閾値以上か否かを判定する。偏光演算結果とは、具体的には、偏光度又は偏光角である。ここでは、偏光演算結果として偏光度を用いた構成で説明する。偏光度ＤｏＬＰについては前述した算出式（式８）に基づいて、１組の画素（０度、４５度、９０度、１３５度の４つの偏光方向の組み合わせを１組の画素とする）ごとに偏光度を算出する。次に、１組の画素ごとに算出した１フレーム分の偏光度の演算結果をフレームメモリ１０７に記憶させる。記憶させた１フレーム分の偏光度の演算結果を、前フレームの取得時に算出した偏光度の演算結果と比較し、偏光度の差分を１組の画素ごとに算出する。求めた１組の画素ごとの偏光度の差分結果を１フレーム分積算することにより、１フレーム分の偏光度の差分積算値を算出する。この偏光度の差分積算値が、“偏光演算結果のフレーム間変化量”であり、この偏光度の差分積算値が所定の閾値以上か否かをＳ３００１で判定する。
【0176】
なお、本実施形態では１組の画素ごとに偏光度を算出するとしたが、複数組の画素（領域）ごとに偏光度を算出するようにしてもよい。また、偏光度の差分結果を１フレーム分（全画素分）積算するとしたが、これに限らず、例えば、１組の画素ごとの差分が所定値未満である場合はノイズと判断して積算対象から省いてもよい。
【0177】
また、本実施形態では、現フレームの偏光度の演算結果を現フレームの１つ前のフレームの演算結果と比較しているが、これに限定されない。例えば、１つ前のフレームだけでなく、２つ前のフレームや更にそれ以前のフレームを考慮して比較してもよいし、それらに重み付けを施したフレームを比較対象フレームとして新たに生成してもよい。更に、本実施形態では、偏光度を用いた構成について説明しているが、前述の偏光角ＡｏＬＰの角度差分を用いて“偏光演算結果のフレーム間変化量”を求めるようにしてもよい。この場合、角度の差分を単純に比較するだけでなく、角度の差分を別の評価値として換算し、得られた換算結果を用いてもよい。
【0178】
なお、Ｓ３００１で用いる閾値は、撮像装置１００の撮像モードや各種設定に応じて変更可能な構成としてもよい。例えば、アシスト表示機能を有効化している場合や顔検出処理を有効化している場合、高フレームレートでライブビュー表示を行っている場合等では、演算処理の負荷が大きいために、ＣＰＵ＿１０９の処理能力のリソースがこれらの処理に奪われてしまう。そこで、閾値を低くして簡易偏光演算処理に移行し易くしてもよい。
【0179】
ＣＰＵ＿１０９は、Ｓ３００１にて偏光演算結果のフレーム間変化量が閾値以上であると判定した場合（Ｓ３００１でＹＥＳ）、処理をＳ３００２へ進める。Ｓ３００２にてＣＰＵ＿１０９は、記録用偏光演算処理から簡易偏光演算処理に切り替えるか否かを判定する。Ｓ３００２の判定は、例えば、上述の偏光度の差分積算値が閾値以上となったフレームが、所定数以上、連続したか否かによって行い、所定数以上連続していない場合にはノイズと判断し、簡易偏光演算処理への切り替えを行わない。これに限らず、Ｓ３００２の判定時点でのその他の演算処理負荷を考慮して判定してもよい。つまり、演算負荷が大きくなければ、記録用偏光演算処理を継続するようにする。なお、Ｓ３００２の処理は省略してもよい。
【0180】
ＣＰＵ＿１０９は、簡易偏光演算処理に切り替えると判定した場合（Ｓ３００２でＹＥＳ）、処理をＳ３００３へ進める。Ｓ３００３にてＣＰＵ＿１０９は、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替える。簡易偏光演算処理は、上述した各種方法のうちのいずれの方法を用いてもよい。続くＳ３００４にてＣＰＵ＿１０９は、表示フレームレートを高フレームレートに設定し、その後、処理をＳ３００６へ進める。
【0181】
ＣＰＵ＿１０９は、Ｓ３００１で偏光演算結果のフレーム間変化量が閾値未満であると判定した場合（Ｓ３００１でＮＯ）とＳ３００２で簡易偏光演算処理へ切り替えないと判定した場合（Ｓ３００２でＮＯ）に、処理をＳ３００５へ進める。Ｓ３００５にてＣＰＵ＿１０９は、記録用偏光演算処理を継続して行い、その後、処理をＳ３００６へ進める。
【0182】
Ｓ３００６にてＣＰＵ＿１０９は、その時点での行われている偏光演算処理の結果を表示部１２１に表示し、これにより本処理は終了する。
【0183】
図３１は、第１５実施形態での簡易偏光演算処理から記録用偏光演算処理への切替制御のフローチャートである。図３１にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。図３１のフローチャートの開始時点では、簡易偏光演算処理行われているものとする。
【0184】
Ｓ３１０１にてＣＰＵ＿１０９は、偏光演算結果のフレーム間変化量が所定の閾値以上か否かを判定する。Ｓ３１０１は、前述のＳ３００１とは、実行されている偏光演算処理が簡易偏光演算処理であるか又は記録用偏光演算処理であるかのみ相違する。ＣＰＵ＿１０９は、フレーム間変化量が閾値以上であると判定した場合（Ｓ３１０１でＹＥＳ）、処理をＳ３１０２へ進める。Ｓ３１０２にてＣＰＵ＿１０９は、簡易偏光演算処理を継続し、その後、処理をＳ３１０７へ進める。なお、図３１のフローチャートは、図３０のフローチャートに従う処理によって簡易偏光演算処理が行われている状況となった後に行われることを前提としている。そのため、Ｓ３１０１の処理をフレーム間変化量が閾値以上の状態が、所定時間以上、継続したか否かを判定する処理に変更してもよい。
【0185】
ＣＰＵ＿１０９は、Ｓ３１０１でフレーム間変化量が閾値未満であると判定した場合（Ｓ３１０１でＮＯ），処理をＳ３１０３へ進める。Ｓ３１０３にてＣＰＵ＿１０９は、フレーム間変化量が閾値未満の状態が、所定時間以上、継続したか否かを判定する。ＣＰＵ＿１０９は、フレーム間変化量が閾値未満の状態が、所定時間以上、継続したと判定した場合（Ｓ３１０３でＹＥＳ）、処理をＳ３１０４へ進める。Ｓ３１０４にてＣＰＵ＿１０９は、偏光演算処理を簡易偏光演算処理から記録用偏光演算処理に切り替える。そして、Ｓ３１０５にてＣＰＵ＿１０９は、表示フレームレートを低フレームレートに設定し、その後、処理をＳ３１０７へ進める。
【0186】
ＣＰＵ＿１０９は、Ｓ３１０３でフレーム間変化量が閾値未満の状態が、所定時間以上は継続していないと判定した場合（Ｓ３１０３でＮＯ）、処理をＳ３１０６へ進める。Ｓ３１０６にてＣＰＵ＿１０９は、簡易偏光演算処理を継続し、その後、処理をＳ３１０７へ進める。Ｓ３１０７にてＣＰＵ＿１０９は、偏光演算処理の結果を表示部１２１へ表示し、これにより本処理は終了する。
【0187】
このように本実施形態では、偏光演算結果のフレーム間変化量が閾値以上となった場合に、偏光演算処理を記録用偏光演算処理から簡易偏光演算処理に切り替え、閾値以上の状態が、所定時間以上、継続した場合に簡易偏光演算処理を継続する。これにより、フレームレートを高くして表示のリアルタイム性を向上させることができる。また、偏光演算結果のフレーム間変化量が閾値未満の状態が所定時間継続した場合には、簡易偏光演算処理から記録用偏光演算処理に切り替える。これにより、精度の高い偏光処理画像を表示することが可能となる。
【0188】
＜第１６実施形態＞
第１６実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第９の構成について説明する。本実施形態では、フレーム間での画素ごとの輝度差と偏光角の変化量に基づいて、記録用偏光演算処理と簡易偏光演算処理とを切り替える構成について説明する。
第１６実施形態では、記録用偏光演算処理と簡易偏光演算処理とを切り替える第９の構成について説明する。本実施形態では、フレーム間での画素ごとの輝度差と偏光角の変化量に基づいて、記録用偏光演算処理と簡易偏光演算処理とを切り替える構成について説明する。
【0189】
図３２は、第１６実施形態での記録用偏光演算処理から簡易偏光演算処理への切替制御のフローチャートである。図３２にＳ番号で示す各処理（ステップ）は、ＣＰＵ＿１０９がＲＯＭ＿１１１に格納されている所定のプログラムをＲＡＭ＿１１２に展開して、撮像装置１００の各部の動作を統括的に制御することにより実現される。
【0190】
Ｓ３２０１にてＣＰＵ＿１０９は、前フレーム（今回のフレームの１つ前のフレーム）の演算結果に基づき、前フレームで簡易偏光演算処理が選択されて（用いられて）いるか否か判定する。ＣＰＵ＿１０９は、前フレームで簡易偏光演算処理が選択されていると判定した場合（Ｓ３２０１でＹＥＳ）、処理をＳ３２０２へ進め、前フレームで記録用偏光演算処理が選択されていると判定した場合（Ｓ３２０１でＮＯ）、処理をＳ３２０３へ進める。
【0191】
Ｓ３２０２にてＣＰＵ＿１０９は、今回のフレームに対して簡易偏光演算処理を行い、その後、処理をＳ３２０４へ進める。Ｓ３２０３にてＣＰＵ＿１０９は、今回のフレームに対して記録用偏光演算処理を行い、その後、処理をＳ３２０４へ進める。Ｓ３２０４にてＣＰＵ＿１０９は、Ｓ３２０２又はＳ３２０３での偏光演算処理による偏光情報を生成する。
【0192】
続くＳ３２０５にてＣＰＵ＿１０９は、１組の画素（０度、４５度、９０度、１３５度の４つの偏光方向の組み合わせを１組の画素とする）ごとに前フレームとの輝度差を比較し、輝度差が所定の閾値以上であるか否かを判定する。ＣＰＵ＿１０９は、輝度差が所定の閾値未満であると判定した場合（Ｓ３２０５でＮＯ）、処理をＳ３２０６へ進める。
【0193】
Ｓ３２０６にてＣＰＵ＿１０９は、Ｓ３２０４で生成された偏光情報に基づき、偏光角が０°，４５°，９０°，１３５°の各角度を基準として所定の閾値の範囲内か否かを判定する。つまり、０°，４５°，９０°，１３５°の偏光方向のいずれかの画素が、Ｉｍａｘ又はＩｍｉｎの値に近いか否かを判定する。ＣＰＵ＿１０９は、偏光角が所定の閾値の範囲内であると判定した場合（Ｓ３２０６でＹＥＳ）、処理をＳ３２０７へ進める。Ｓ３２０７にてＣＰＵ＿１０９は、次フレームで簡易偏光演算処理を実施する選択を行い、これにより本処理を終了する。
【0194】
ＣＰＵ＿１０９は、Ｓ３２０５で輝度差が所定の閾値以上であると判定した場合（Ｓ３２０５でＹＥＳ）と、Ｓ３２０６で偏光角が閾値の範囲外であると判定した場合（Ｓ３２０６でＮＯ）の場合に、処理をＳ３２０８へ進める。Ｓ３２０８にてＣＰＵ＿１０９は、Ｓ３２０８へ処理が進む場合には被写体に何らかの変化があった蓋然性が高いと判断し、よって、次フレームで高精度偏光演算処理を実施する選択を行い、これにより本処理を終了させる。
【0195】
このように本実施形態では、被写体に変化が生じた蓋然性が高い場合に、記録用偏光演算処理に切り替えることで、より精密に被写体を確認することが可能になる。一方、被写体の変化が小さい場合に簡易偏光演算処理を続けることで、高フレームレートでの表示を続けて、表示のリアルタイム性を維持することができる。
【0196】
＜第１７実施形態＞
本実施形態では、表示部１２１の一部をウェーブフォームモニタとして利用する構成について説明する。ウェーブフォームモニタは、縦軸に輝度信号の波形レベルを取り、映像信号を構成する輝度信号の各水平ラインの信号レベルを重ね合わせて作成される。特定の水平ラインの波形レベルのみを表示することや、色差信号を表示することも可能である。
本実施形態では、表示部１２１の一部をウェーブフォームモニタとして利用する構成について説明する。ウェーブフォームモニタは、縦軸に輝度信号の波形レベルを取り、映像信号を構成する輝度信号の各水平ラインの信号レベルを重ね合わせて作成される。特定の水平ラインの波形レベルのみを表示することや、色差信号を表示することも可能である。
【0197】
図３３は、撮像装置１００の表示部１２１に被写体とそのウェーブフォームモニタ３３０１を重畳した表示例を示す図である。ここでは、ウェーブフォームモニタ３３０１を表示部１２１の画面右下に表示させているが、例えば、操作部１１０の操作によって画面内での表示位置を移動させることも可能である。
【0198】
図３４（ａ）は、撮像面偏光センサ２００の偏光方向の異なる偏光フィルタ２０１～２０４が配置された１組の画素を取り出して示す図である。ここでは、偏光方向の異なる各画素を‘Ｃ１－１’，‘Ｃ１－２’，‘Ｃ１－３’，‘Ｃ１－４’の符号で表している。
【0199】
偏光演算部１０８及びＯＳＤ生成部１１７は、撮像面偏光センサ２００の各画素からの出力に基づいて、画素Ｃ１－１～Ｃ１－４の各画素について偏光情報を求める。図３４（ｂ）～（ｄ）はそれぞれ、画素Ｃ１－１，Ｃ１－４，Ｃ１－２，Ｃ１－３のウェーブフォームモニタを表している。ここでは、画素Ｃ１－３が最も大きく反射しており、ウェーブフォームの波形が大きくなっている。一方、画素Ｃ１－１は最も反射が除去されており、ウェーブフォームの波形が小さくなっている。画素Ｃ１－２，Ｃ１－４は、画素Ｃ１－３と画素Ｃ１－１の中間の波形となっている。
【0200】
この場合、画素Ｃ１－１と画素Ｃ１－３のウェーブフォームを重畳させる。図３５は、画素Ｃ１－１と画素Ｃ１－３のウェーブフォームを重畳させたウェーブフォームを示す図である。図３５では、画素Ｃ１－１と画素Ｃ１－３の色を変えて、ユーザによる識別が可能となるように表示部１２１に表示している。これにより、ユーザは、被写体のどの部分が反射しているかを本撮影前に確認することができる。
【0201】
なお、ウェーブフォームの生成は、各偏光角の画像をそのままウェーブフォームに変換してもよいが、これに限られるものではない。例えば、偏光角の異なる４画素を１組として、反射の大きい画素と反射の小さい画素を抽出し、それらから１つのウェーブフォームを作成してもよい。また、撮像装置１００内での処理が可能な場合、偏光角の異なる４画素を１組として上記式１～６を用いて反射の強調及び低減のレベルを演算し、画像情報として反射強調画像と反射低減画像を作成し、ウェーブフォームとして識別可能に表示するようにしてもよい。
【0202】
更に、画像上（被写体上）から選択した一部についてのウェーブフォームモニタを生成して表示部１２１に表示するようにしてもよい。図３６（ａ）は、画像上（被写体上）のラインＳに特定したウェーブフォームモニタ３６０１を表示部１２１に表示した例を示す図である。図３６（ｂ）は、図３６（ａ）中のウェーブフォームモニタ３６０１の拡大図である。ここでは、画面中央付近のラインＳに限定して偏光情報を演算し、図３６（ｂ）に示すように、元のレベルに加えて、反射低減させたレベルと強調したレベルとを識別可能に表示している。これにより、ユーザは、被写体のどの部分が反射しているかを、確認したい部分に絞って本撮影前に確認することが可能できる。
【0203】
このように本実施形態では、偏光情報による反射低減や反射強調の効果を、撮像装置１００の表示部１２１にウェーブフォームモニタとして識別可能に表示することで、撮像時の利便性を大きく向上させることができる。なお、本実施形態のようにウェーブフォームモニタに偏光による反射低減や反射強調の波形を識別可能に表示するためには、撮像面偏光センサ２００の各画素からの出力情報が必要である。通常、撮像装置から外部機器へは、偏光情報を画像処理した後の１つの映像信号として出力され、その映像信号には既に各画素の偏光情報は含まれなくなっている。上記構成では、ウェーブフォームモニタを撮像装置の表示部に表示した構成について説明したが、撮像装置を全ての偏光情報を出力可能な構成とし、その撮像装置に接続された外部測定機器で偏光情報を演算して識別可能に表示するシステムとしてもよい。
【0204】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0205】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0206】
１００ 撮像装置
１０１ 光学レンズ
１０２ 偏光フィルタ
１０３ 撮像素子
１０６ 撮像画補正回路
１０８ 偏光演算部
１１０ 操作部
１１４ フォーカス制御部
１１５ 振れ検出部
１１６ 映像処理部
１１７ ＯＳＤ生成部
１２１ 表示部
２００ 撮像面偏光センサ
２０１～２０４ 偏光フィルタ
１０１ 光学レンズ
１０２ 偏光フィルタ
１０３ 撮像素子
１０６ 撮像画補正回路
１０８ 偏光演算部
１１０ 操作部
１１４ フォーカス制御部
１１５ 振れ検出部
１１６ 映像処理部
１１７ ＯＳＤ生成部
１２１ 表示部
２００ 撮像面偏光センサ
２０１～２０４ 偏光フィルタ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
