特許 7528929 撮像装置と画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】撮像装置と画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240730BHJP

   H04N 23/54 20230101ALI20240730BHJP

   H04N 25/70 20230101ALI20240730BHJP

【ＦＩ】

H04N23/60 300

H04N23/54

H04N25/70

【請求項の数】 13

(21)【出願番号】P 2021514805

(86)(22)【出願日】2020-02-07

(86)【国際出願番号】 JP2020004824

(87)【国際公開番号】W WO2020213238

(87)【国際公開日】2020-10-22

【審査請求日】2022-12-22

(31)【優先権主張番号】P 2019079979

(32)【優先日】2019-04-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】弁理士法人大同特許事務所

(72)【発明者】

【氏名】平澤 康孝

(72)【発明者】

【氏名】近藤 雄飛

(72)【発明者】

【氏名】孫 楽公

(72)【発明者】

【氏名】大野 大志

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１３－０５７７６９（ＪＰ，Ａ）

【文献】国際公開第２０１８／０７４０６４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０３５１０１２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００１３９８８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２５／７０

(57)【特許請求の範囲】

【請求項1】

異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備え、
前記第２画素ブロックは、前記第１画素ブロックよりも少なく設けられており、
前記第２画素ブロックは、偏光情報の生成対象領域と異なる領域に設けられた構成である撮像装置。

【請求項2】

異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備え、
前記第２画素ブロックは、前記第１画素ブロックよりも少なく設けられており、
前記第２画素ブロックは、撮像レンズの光軸位置に対応する位置から径方向に複数設けられた構成である撮像装置。

【請求項3】

異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備え、
前記第２画素ブロックは、前記第１画素ブロックよりも少なく設けられており、
前記第２画素ブロックは、所定間隔で複数設けられた構成である撮像装置。

【請求項4】

前記第２画素ブロックは、異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている
請求項１～３いずれかに記載の撮像装置。

【請求項5】

前記異なる３つの偏光方向における２つの偏光方向と前記直交する偏光方向の１つの偏光方向は、前記第１画素ブロックにおける偏光画素の偏光方向と等しい偏光方向である
請求項４に記載の撮像装置。

【請求項6】

複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を算出する補正係数算出部
を備える画像処理装置。

【請求項7】

前記撮像画像は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部で生成された撮像画像である
請求項６に記載の画像処理装置。

【請求項8】

前記第２画素ブロックは、異なる３つの偏光方向の偏光画素を有しており、
前記補正係数算出部は、前記無偏光画素と前記異なる３つの偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する
請求項７に記載の画像処理装置。

【請求項9】

前記第２画素ブロックは、直交する偏光方向の偏光画素を有しており、
前記補正係数算出部は、前記無偏光画素と前記直交する偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する
請求項７に記載の画像処理装置。

【請求項10】

前記補正係数算出部は、所定のタイミングで前記補正係数を再度算出する
請求項６に記載の画像処理装置。

【請求項11】

前記所定のタイミングは、前記撮像画像を生成する撮像装置で撮像レンズのレンズ交換が行われたタイミングである
請求項１０に記載の画像処理装置。

【請求項12】

前記撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
前記デモザイク処理部で生成された前記偏光成分画像と前記無偏光画像と前記補正係数算出部で算出された補正係数に基づいて、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部とをさらに備える
請求項６に記載の画像処理装置。

【請求項13】

複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を補正係数算出部で算出すること
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この技術は、撮像装置と画像処理装置および画像処理方法に関し、キャリブレーションを行うことなく偏光画素と無偏光画素との感度差の補正係数を取得できるようにする。

【背景技術】

【0002】

従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前にパターン化偏光子を配置して、複数の偏光方向の偏光画像を取得する方法が開示されている。また、特許文献２では、偏光子を設けることで撮像部に入射する光量が低下してノイズ増加等の問題を生じることから、偏光子が設けられていない無偏光画素を設けて、無偏光画像と偏光画像に基づき偏光情報を精度よく取得することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２９０８９５号公報

【文献】国際公開第２０１８／０７４０６４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、無偏光画像と偏光画像に基づき偏光情報を精度よく取得するためには、予め偏光子が設けられていない無偏光画素と偏光子が設けられた偏光画素の感度差を測定するためにキャリブレーションを行う必要がある。

【0005】

そこで、この技術ではキャリブレーションを行うことなく偏光画素と無偏光画素との感度差の補正係数を取得できる撮像装置と画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

この技術の第１の側面は、
異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備える撮像装置にある。

【0007】

この技術においては、撮像部の画素領域に第１画素ブロックと第２画素ブロックが設けられている。第１画素ブロックは、異なる２つの偏光方向の偏光画素と無偏光画素で構成されている。また、第２画素ブロックは、第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素、例えば異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている。

【0008】

第２画素ブロックは、第１画素ブロックよりも少なく、例えば偏光情報の生成対象領域と異なる領域、あるいは撮像レンズの光軸位置に対応する位置から径方向に、または所定間隔で設けられている。

【0009】

この技術の第２の側面は、
複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を算出する補正係数算出部
を備える画像処理装置にある。

【0010】

この技術においては、例えば異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部で生成された撮像画像に基づいて、偏光画素と無偏光画素との感度差の補正係数が補正係数算出部で算出される。第２画素ブロックは、例えば異なる３つの偏光方向の偏光画素を有しており、補正係数算出部は、無偏光画素と異なる３つの偏光方向の偏光画素の画素値に基づいて補正係数を算出する。また、第２画素ブロックは、直交する偏光方向の偏光画素を有しており、補正係数算出部は、無偏光画素と直交する偏光方向の偏光画素の画素値に基づいて補正係数を算出する。また、補正係数算出部は、所定のタイミング例えば撮像画像を生成する撮像装置で撮像レンズのレンズ交換が行われたタイミングで補正係数を再度算出してもよい。

【0011】

また、画像処理装置には、撮像画像から無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、デモザイク処理部で生成された偏光成分画像と無偏光画像と補正係数算出部で算出された補正係数に基づいて、撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部が設けられてもよい。

【0012】

この技術の第３の側面は、
無偏光画素と複数偏光方向の偏光画素からなる撮像画像における前記無偏光画素と異なる２つ以上の偏光方向の前記偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を補正係数算出部で算出すること
を含む画像処理方法にある。

【図面の簡単な説明】

【0013】

【図1】被写体と偏光画像の関係を説明するための図である。

【図2】輝度の変化を示す図である。

【図3】撮像装置の構成の一部を示した図である。

【図4】偏光情報生成画素ブロックと感度差検出画素ブロックの構成例を例示した図である。

【図5】感度差検出画素ブロックの配置を例示した図である。

【図6】画像処理装置の構成を例示した図である。

【図7】補正係数算出部に供給される画像を例示した図である。

【図8】補正係数算出部に供給される他の画像を例示した図である。

【図9】画像処理装置の動作を例示したフローチャートである。

【図10】カラー画像を生成する撮像装置の構成を例示した図である。

【発明を実施するための形態】

【0014】

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光画像について
２．実施の形態
２－１．撮像装置について
２－２．画像処理装置について
２－２－１．画像処理装置の構成
２－２－２．画像処理装置の動作
３．他の実施の形態
４．応用例

【0015】

＜１．偏光画像について＞
図１は、被写体と偏光画像の関係を説明するための図である。例えば、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有しており、輝度Ｉは、例えば図２に示すように変化する。

【0016】

最大輝度Ｉmaxが観測されたときの偏光角を方位角φ（観測光の偏光位相）と定義すると、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。

【0017】

【数1】

【0018】

また、偏光方向θ＝０°の観測値Ｉ0，偏光方向θ＝４５°の観測値Ｉ45，偏光方向θ＝９０°の観測値Ｉ90，偏光方向θ＝１３５°の観測値Ｉ135を用いると、式（１）は式（２）に示すストークスベクトルＳ＝［Ｓ0，Ｓ1，Ｓ2］^－Ｔを用いた式として表すことができる。なお、式（２）において、ストークスベクトルＳ0は式（３）、ストークスベクトルＳ1は式（４）、ストークスベクトルＳ2は式（５）を用いて算出された値である。

【0019】

【数2】

【0020】

最大輝度Ｉmaxと最小輝度Ｉminの平均値やストークスベクトルＳ0は、光強度を示しており、偏光画素と無偏光画素の感度差を吸収する補正係数Ｋは、無偏光画素の観測値Ｉｎを用いて式（６）に基づき算出できる。
Ｋ＝Ｓ0／Ｉｎ＝（Ｉmax－Ｉmin）／（２・Ｉｎ） ・・・（６）

【0021】

そこで、本技術では、撮像画像の画像信号を生成する撮像装置に、偏光情報を生成するために異なる２つの偏光方向の偏光画素と無偏光画素で構成した第１画素ブロック（以下「偏光情報生成画素ブロック」という）と、感度差を検出できるように偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロック（以下「感度差検出画素ブロック」という）を設けて、感度差検出画素ブロックの画素値に基づき補正係数Ｋを算出して、算出した補正係数Ｋと偏光情報生成画素ブロックの画素値を用いることで、キャリブレーションを行うことなく偏光情報を精度よく取得できるようにする。また、感度の低下を少なくするため、偏光情報生成画素ブロックは、偏光情報生成画素ブロックよりも少なくする。

【0022】

＜２．実施の形態＞
＜２－１．撮像装置について＞
図３は、撮像装置の構成の一部を示している。撮像装置１０では、異なる２つの偏光方向の偏光画素と無偏光画素で構成された偏光情報生成画素ブロックと、偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する感度差検出画素ブロックとを画素領域に設けた撮像部１１が設けられている。

【0023】

撮像部１１は、イメージセンサ１１１の入射面に、偏光フィルタ１１２を配置した構成とされており、偏光フィルタ１１２は、画素領域に偏光情報生成画素ブロックと感度差検出画素ブロックが設けられるように構成されている。偏光フィルタ１１２としては、フォトニック液晶またはワイヤグリッド等が用いられている。

【0024】

感度差検出画素ブロックは、異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている。このように感度差検出画素ブロックを構成すれば、異なる３つの偏光方向の偏光画素の画素値に基づき、図２に示す輝度Ｉの変化を示す関数を求めることができるので、上述の式（６）に基づき補正係数を算出できる。また、直交する偏光方向の偏光画素の画素値を用いることで上述の式（６）に基づき補正係数を算出できる。

【0025】

また、感度差検出画素ブロックは、異なる３つの偏光方向における２つの偏光方向と直交する偏光方向の１つの偏光方向は、偏光情報生成画素ブロックにおける偏光画素の偏光方向と等しい偏光方向としてもよい。このように感度差検出画素ブロックを構成すれば、感度差検出画素ブロックと偏光情報生成画素ブロックの構成の違いを少なくできる。すなわち、偏光情報生成画素ブロックに、異なる２つの偏光方向のいずれかに直交する方向の偏光画素を設けることで感度差検出画素ブロックを生成できる。

【0026】

図４は、偏光情報生成画素ブロックと感度差検出画素ブロックの構成例を示している。図４の（ａ）は偏光情報生成画素ブロックを例示しており、図４の（ｂ）は感度差検出画素ブロックを例示している。偏光情報生成画素ブロックと感度差検出画素ブロックは、例えば２×２画素領域であり、偏光情報生成画素ブロックは２つの無偏光画素と異なる２つの偏光方向（例えば「偏光方向が「θ0＝０°，θ1＝４５°」）の偏光画素、感度差検出画素ブロックは１つの無偏光画素と異なる３つの偏光方向（例え偏光方向が「θ0＝０°，θ1＝４５°，θ2＝９０°」）の偏光画素で構成されている場合を示している。なお、偏光情報生成画素ブロックでは、２×２画素領域における対角位置の画素が無偏光画素とされている。なお、偏光情報生成画素ブロックは異なる２つの偏光方向の偏光画素と無偏光画素を有する構成、感度差検出画素ブロックは偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する構成であればよく、図４の構成に限られない。

【0027】

図５は、感度差検出画素ブロックの配置を例示している。なお、図５において、感度差検出画素ブロックを除く領域は偏光情報生成画素ブロックである。

【0028】

図５の（ａ）は、感度差検出画素ブロックを１つ設けた場合を例示している。各画素における光の入射方向が略等しく、各偏光画素の偏光子の特性が略等しい場合、偏光画素と無偏光画素の感度差を補正する補正係数Ｋは画素位置に係らず略等しい値となる。したがって、補正係数Ｋを算出するための感度差検出画素ブロックを１つ設けている。

【0029】

図５の（ｂ）は、偏光情報を生成する偏光情報対象領域ＡＲｄの外に感度差検出画素ブロックを設けた場合を例示している。偏光情報対象領域ＡＲｄには、感度差検出画素ブロックが設けられていないことから、偏光情報対象領域ＡＲｄにおける光量の低下を抑えることができる。

【0030】

図５の（ｃ）は、撮像装置１０で用いられる撮像レンズの光軸に対応する位置ＰＳｃから径方向Ｆｒに複数の感度差検出画素ブロックを設けた場合を例示している。例えば撮像レンズの焦点距離が長い場合は画角が狭く、被写体光の入射角範囲が小さい。しかし、撮像レンズの焦点距離が短くなると画角が広くなり、被写体光の入射角範囲が大きくなる。このため、光軸に対応する位置とこの位置から径方向に離れた位置では、偏光画素と無偏光画素の感度差を生じるおそれがある。このため、光軸に対応する位置から径方向に複数の感度差検出画素ブロックを設けることで、光軸に対応する位置とこの位置から径方向に離れた位置で感度差の違いを生じても、感度差の違い応じた補正係数を算出できるようになる。

【0031】

図５の（ｄ）は、感度差検出画素ブロックを所定間隔で複数設けた場合を例示している。このように、感度差検出画素ブロックを所定間隔で複数設けることにより、例えば撮像レンズのレンズ特性等によって、偏光画素と無偏光画素の感度差が画素位置によって違いを生じた場合であっても、感度差検出画素ブロック毎に算出された補正係数を用いて補間処理を行い、各画素位置に応じた補正係数を算出できるようになる。

【0032】

また、撮像装置１０には、撮像部１１で生成された画像信号に対して欠陥画素の補正を行う欠陥画素補正部や、特許文献２に記載されているように画像信号からノイズを除去するノイズ除去部等を設けてもよい。

【0033】

＜２－２．画像処理装置について＞
＜２－２－１．画像処理装置の構成＞
図６は、画像処理装置の構成を例示している。画像処理装置２０は、撮像装置１０で生成された画像信号、すなわち異なる２つの偏光方向の偏光画素と無偏光画素で構成された偏光情報生成画素ブロックと、偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する感度差検出画素ブロックとを画素領域に設けた撮像部１１で取得された撮像画像の画像信号に基づいて、無偏光画素と偏光画素との感度差の補正係数の算出および撮像画像に含まれる被写体の偏光情報の生成を行う。

【0034】

画像処理装置２０は、デモザイク処理部３０と補正係数算出部４０および偏光情報生成部５０を有している。

【0035】

デモザイク処理部３０は、例えば撮像装置１０で生成された画像信号を用いてデモザイク処理を行い、偏光方向毎の偏光成分画像と無偏光画像を生成する。撮像装置１０における画素配置が、図４の（ａ）に示す偏光情報生成画素ブロックのように、２×２画素領域における２つの対角位置の画素が無偏光画素で残りの画素が偏光方向の異なる偏光画素で構成されている場合、画素配列はベイヤー配列に相当する。すなわち、無偏光画素はベイヤー配列における緑色画素、偏光方向が「α0＝０°」である偏光画素はベイヤー配列における赤色画素（または青色画素）、偏光方向が「α1＝４５°」である偏光画素はベイヤー配列における青色画素（または赤色画素）に相当する。また、感度差検出画素ブロックにおける偏光方向が「α2＝９０°」である偏光画素の観測値として無偏光画素の観測値を用いれば、感度差検出画素ブロックは偏光情報生成画素ブロックと等しい画素配置となる。したがって、デモザイク処理部３０は、ベイヤー配列の赤色画素と青色画素と緑色画素から色毎の画像信号を生成する処理、例えば文献「B.Gunturk, J. Glotzbach, Y. Altunbasak, R.schafer, and R. Mersereau, “Demosaicing: Color filter array interpolation,”.in IEEE Signal Processing Magazine, vol. 22, no. 1, Jan 2005.」で開示された処理と同様な処理を行い、偏光方向毎（θ0＝０°，θ1＝４５°）の偏光成分画像と無偏光画像の画像信号を生成する。なお、画素配列がベイヤー配列と異なる場合には、特許文献２と同様な方法で、偏光方向毎の偏光成分画像と無偏光画像の画像信号を生成すればよい。

【0036】

デモザイク処理部３０は、生成した偏光方向毎の偏光成分画像と無偏光画像の画像信号を偏光情報生成部５０へ出力する。また、デモザイク処理部３０は、感度差検出画素ブロックにおける偏光情報生成画素ブロックと異なる偏光方向の画素信号と、偏光方向毎の偏光成分画像と無偏光画像の画像信号を補正係数算出部４０へ出力する。また、デモザイク処理部３０は、感度差検出画素ブロックの画素信号を補正係数算出部４０へ出力してもよい。

【0037】

補正係数算出部４０は、複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、無偏光画素と偏光画素との感度差の補正係数を算出する。補正係数算出部４０は、例えばデモザイク処理部３０から供給された偏光情報生成画素ブロックと異なる偏光方向の画素信号および偏光方向毎の偏光成分画像と無偏光画像の画像信号を用いて補正係数を算出する。

【0038】

図７は、補正係数算出部に供給される画像を例示している。補正係数算出部４０は、デモザイク処理部３０から供給された偏光情報生成画素ブロックと異なる偏光方向の画素信号と偏光方向毎の偏光成分画像および無偏光画像における同じ画素位置の画素信号を用いて、図２に示す輝度Ｉの変化を示す関数を求める。さらに、求めた関数の最大輝度Ｉmaxと最小輝度Ｉminおよび無偏光画素の画素信号を用いて式（６）の演算を行い、補正係数Ｋを算出する。

【0039】

図８は、補正係数算出部に供給される他の画像を例示している、感度差検出画素ブロックが１つの無偏光画素と偏光方向が「θ0＝０°，θ1＝４５°，θ2＝９０°」の３つの偏光画素で構成されている場合、補正係数算出部４０は、偏光方向θ0＝０°の偏光画素の画素値（観測値）Ｉ0と偏光方向θ2＝９０°の偏光画素の画素値（観測値）Ｉ90を用いて式（６）の演算を行い、補正係数Ｋを算出する。

【0040】

補正係数算出部４０は、算出した補正係数Ｋを各画素位置の補正係数として偏光情報生成部５０へ出力する。また、補正係数算出部４０は、複数の感度差検出画素ブロック毎に補正係数Ｋを算出した場合、算出した複数の感度差検出画素ブロック毎の補正係数Ｋを用いて補間処理を行い、各画素位置の補正係数Ｋを算出して偏光情報生成部５０へ出力してもよい。

【0041】

このように、補正係数算出部４０は、撮像装置１０の撮像部１１で取得された無偏光画素と複数偏光方向の偏光画素からなる撮像画像に基づいて、無偏光画素と偏光画素との感度差の補正係数を算出できるので、予めキャリブレーションを行う必要がない。

【0042】

偏光情報生成部５０は、デモザイク処理部３０で生成された偏光成分画像と無偏光画像および補正係数算出部４０で算出された補正係数を用いて偏光情報を生成する。

【0043】

例えば、上述の式（１）は、偏光方向θを用いると式（７）として示すことができ、偏光情報生成部５０は、式（７）における偏光パラメータＷａ，Ｗｂ，Ｗｃを算出する。

【0044】

【数3】

【0045】

偏光情報生成部５０は、式（８）に基づき無偏光画素の輝度（画素値）Ｉcを用いて偏光パラメータＷｃを算出する。
Ｗｃ＝Ｋ・Ｉc ・・・（８）

【0046】

また、偏光情報生成部５０は、式（８）の偏光モデル式における偏光パラメータＷａ，Ｗｂを、２つの偏光方向の偏光画素と無偏光画素に基づき例えば最小二乗法を用いて算出する。ここで、パラメータｘを式（９）のように定義する。また、偏光モデルＡを式（１０）のように定義する。さらに、輝度ｙを式（１１）のように定義する。このようにパラメータｘと偏光モデルＡと輝度ｙを定義した場合、理想的にはｙ＝Ａｘが成立する。したがって、最小二乗法によって式（１２）に基づきパラメータｘを算出する。

【0047】

【数4】

【0048】

ここで、偏光方向が例えば「α0＝０°，α1＝４５°」であり、偏光方向α0である偏光成分画像における偏光情報生成対象画素を輝度（画素値）Ｉ0、偏光方向α1である偏光成分画像における偏光情報生成対象画素を輝度（画素値）Ｉ1とする。この場合、偏光パラメータＷａは式（１３）、偏光パラメータＷｂは式（１４）を用いて算出された値となる。なお、偏光パラメータＷｃは式（８）を用いて算出された値である。
Ｗａ＝Ｉ1－Ｋ・Ｉc ・・・（１３）
Ｗｂ＝Ｉ0－Ｋ・Ｉc ・・・（１４）

【0049】

偏光情報生成部５０は、偏光パラメータＷａ，Ｗｂ，Ｗｃ、あるいは偏光パラメータＷａ，Ｗｂ，Ｗｃを用いた偏光モデル式を示す偏光情報を生成して出力する。また、偏光情報生成部５０は、補正係数算出部４０で算出された補正係数を記憶して、その後記憶した補正係数を用いて偏光情報を生成する。また、偏光情報生成部５０は、補正係数算出部４０で新たに補正係数が算出された場合、記憶している補正係数を新たに算出された補正係数に更新する。

【0050】

＜２－２－２．画像処理装置の動作＞
図９は、画像処理装置の動作を例示したフローチャートである。ステップＳＴ１で画像処理装置は撮像画像を取得する。画像処理装置２０は、無偏光画素と異なる２つの偏光方向の偏光画素からなる偏光情報生成画素ブロックと、無偏光画素と異なる３つの偏光方向の偏光画素からなる感度差検出画素ブロックで構成された撮像装置１０から撮像画像を取得してステップＳＴ２に進む。

【0051】

ステップＳＴ２で画像処理装置は、偏光方向毎の偏光成分画像と無偏光画像を生成する。画像処理装置のデモザイク処理部３０は、撮像画像を用いてデモザイク処理を行い、偏光方向毎の偏光画像である偏光成分画像と無偏光画像を生成してステップＳＴ３に進む。

【0052】

ステップＳＴ３で画像処理装置は補正係数を算出する。画像処理装置の補正係数算出部４０は感度差検出画素ブロックの画素値を用いて補正係数を算出してステップＳＴ４に進む。

【0053】

ステップＳＴ４で画像処理装置は偏光情報を生成する。画像処理装置の偏光情報生成部５０は、ステップＳＴ２で生成された偏光成分画像と無偏光画像およびステップＳＴ３で算出した補正係数を用いて、偏光情報を画素毎に生成する。

【0054】

なお、ステップＳＴ２のデモザイク処理はステップＳＴ３の補正係数の算出後に行ってもよく、並列に行ってもよい。

【0055】

さらに、ステップＳＴ３の補正係数の算出では、所定タイミング例えば撮像装置１０における撮像レンズのレンズ特性の変更や所定よりも大きい変化等が生じる場合に行ってもよい。撮像レンズの交換が行われると、偏光画素に対する被写体光の入射特性がレンズ交換によって変更されて、感度が変化するおそれがある。したがって、撮像レンズの交換が行われた場合に補正係数の算出を行って、記憶されている補正係数を更新すれば、レンズ交換毎にキャリブレーションを行わなくとも、算出された補正係数を用いて感度差を精度よく補正できる。また、例えば偏光画素に対する被写体光の入射特性が撮像レンズのズーム動作に応じて変化する場合、撮像レンズの焦点距離毎に補正係数を算出して、偏光情報生成部５０に記憶させてもよい。

【0056】

以上のように、画像処理装置は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された偏光情報生成画素ブロックと、偏光情報生成画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する感度差検出画素ブロックとを有する撮像装置で生成された撮像画像を用いて、感度差検出画素ブロックの画素値に基づき補正係数を算出できる。さらに、画像処理装置は、無偏光画像と偏光成分画像と補正係数を用いて偏光情報を生成することから、補正係数を用いていない場合に比べて精度のよい偏光情報を生成できる。また、予めキャリブレーションを行って補正係数を算出して記憶させる必要がないので製造工程等を簡略化できる。

【0057】

＜３．他の実施の形態＞
ところで、上述の画像処理装置では、撮像装置で生成される撮像画像が白黒画像である場合について説明したが、撮像画像はカラー画像であってもよい。図１０は、カラー画像を生成する撮像装置の構成を例示している。撮像装置１０でカラー画像を生成する場合、撮像部１１におけるイメージセンサ１１１の入射面に、カラーモザイクフィルタ１１３を設ける。なお、カラーモザイクフィルタ１１３は、イメージセンサ１１１と偏光フィルタ１１２との間に設ける場合に限らず、偏光フィルタ１１２の入射面に設けてもよい。

【0058】

偏光フィルタ１１２とカラーモザイクフィルタ１１３は、異なる偏光方向の偏光画素間で色の違いによる影響を受けることがないように、同じ色で各偏光方向の画素を設けた構成する。また、偏光フィルタ１１２とカラーモザイクフィルタ１１３は、各色で無偏光画素の画素値を得られるように構成する。例えば、偏光情報生成画素ブロックと感度差検出画素ブロックを色成分毎に設ける。さらに、無偏光画素の画素値が最も高い色の感度差検出画素ブロックを用いて補正係数を算出すれば、いずれかの色成分が少ない画素位置でも、他の色成分に基づき補正係数を算出できるようになる。

【0059】

また、上述の実施の形態では、感度差検出画素ブロックにおける偏光情報生成画素ブロックと異なる偏光方向の画素信号と、偏光方向毎の偏光成分画像と無偏光画像の画像信号をデモザイク処理部３０から補正係数算出部４０へ出力して補正係数を算出する場合を例示したが、感度差検出画素ブロックの画素信号を撮像装置１０から補正係数算出部４０に供給して、補正係数を算出するようにしてもよい。

【0060】

また、撮像装置１０と画像処理装置２０は一体に構成されてもよく、別個に構成されて、撮像装置１０で生成された画像信号を、有線または無線の伝送路あるいは記録媒体等を介して画像処理装置２０で供給する構成であってもよい。

【0061】

＜４．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。このような分野に適用すれば、偏光情報を精度よく取得できるので、法線情報の生成や反射成分の分離等を高精度に行うことができる。したがって、周辺環境を３次元で容易に把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。

【0062】

また、本開示に係る技術は、医療分野へ適用することもできる。例えば、手術を行う際に術部の撮像画像を利用する場合に適用すれば、術部の３次元形状や反射のない画像を精度よく得られるようになり、術者の疲労軽減や安全に且つより確実に手術を行うことが可能になる。

【0063】

さらに、本開示に係る技術は、パブリックサービス等の分野にも適用できる。例えば被写体の画像を書籍や雑誌等に掲載する際に、不要な反射成分等を被写体の画像から精度よく除去することが可能となる。また、監視分野に適用すれば、法線情報の生成や反射成分の分離等を高精度に行うことができるので、監視作業を容易に行えるようになる。

【0064】

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

【0065】

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

【0066】

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

【0067】

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

【0068】

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを画素領域に設けた撮像部
を備える撮像装置。
（２） 前記第２画素ブロックは、異なる３つの偏光方向の偏光画素または直交する偏光方向の偏光画素と、無偏光画素で構成されている（１）に記載の撮像装置。
（３） 前記異なる３つの偏光方向における２つの偏光方向と前記直交する偏光方向の１つの偏光方向は、前記第１画素ブロックにおける偏光画素の偏光方向と等しい偏光方向である（２）に記載の撮像装置。
（４） 前記第２画素ブロックは、前記第１画素ブロックよりも少なく設けられている（１）乃至（３）のいずれかに記載の撮像装置。
（５） 前記第２画素ブロックは、偏光情報の生成対象領域と異なる領域に設けられている（４）に記載の撮像装置。
（６） 前記第２画素ブロックは、撮像レンズの光軸位置に対応する位置から径方向に複数設けた（４）に記載の撮像装置。
（７） 前記第２画素ブロックは、所定間隔で複数設けられている（４）に記載の撮像装置。

【0069】

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 複数偏光方向の偏光画素と無偏光画素からなる撮像画像における異なる２つ以上の偏光方向の前記偏光画素と前記無偏光画素に基づいて、前記無偏光画素と前記偏光画素との感度差の補正係数を算出する補正係数算出部
を備える画像処理装置。
（２） 前記撮像画像は、異なる２つの偏光方向の偏光画素と無偏光画素で構成された第１画素ブロックと、前記第１画素ブロックと異なる偏光方向を含む複数の偏光方向の偏光画素を有する第２画素ブロックとを有する撮像装置で生成された撮像画像である（１）に記載の画像処理装置。
（３） 前記第２画素ブロックは、異なる３つの偏光方向の偏光画素を有しており、
前記補正係数算出部は、前記無偏光画素と前記異なる３つの偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する（２）に記載の画像処理装置。
（４） 前記第２画素ブロックは、直交する偏光方向の偏光画素を有しており、
前記補正係数算出部は、前記無偏光画素と前記直交する偏光方向の偏光画素の画素値に基づいて前記補正係数を算出する（２）に記載の画像処理装置。
（５） 前記補正係数算出部は、所定のタイミングで前記補正係数を再度算出する（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記所定のタイミングは、前記撮像画像を生成する撮像装置で撮像レンズのレンズ交換が行われたタイミングである（５）に記載の画像処理装置。
（７） 前記撮像画像から、無偏光画像と偏光方向毎の偏光成分画像を生成するデモザイク処理部と、
前記デモザイク処理部で生成された前記偏光成分画像と前記無偏光画像と前記補正係数算出部で算出された補正係数に基づいて、前記撮像画像に含まれる被写体の偏光特性を示す偏光情報を生成する偏光情報生成部とをさらに備える（１）乃至（６）のいずれかに記載の画像処理装置。

【符号の説明】

【0070】

１０・・・撮像装置
１１・・・撮像部
２０・・・画像処理装置
３０・・・デモザイク処理部
４０・・・補正係数算出部
５０・・・偏光情報生成部
１１１・・・イメージセンサ
１１２・・・偏光フィルタ
１１３・・・カラーモザイクフィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】