特開 2024-116841 撮像装置および内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024116841

(43)【公開日】2024-08-28

(54)【発明の名称】撮像装置および内視鏡システム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20240821BHJP

   A61B 1/045 20060101ALI20240821BHJP

   A61B 1/04 20060101ALI20240821BHJP

【ＦＩ】

A61B1/00 521

A61B1/045 610

A61B1/04 530

A61B1/00 553

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023022656

(22)【出願日】2023-02-16

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】小林 敏秀

(72)【発明者】

【氏名】増田 祥吾

(72)【発明者】

【氏名】塩田 和則

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161HH52

4C161HH54

4C161LL08

4C161MM01

4C161MM02

4C161PP03

4C161TT07

4C161WW04

(57)【要約】

【課題】偏光画像センサを用いて明瞭な画像を生成する。
【解決手段】撮像装置１０は、４つの偏光成分を検出する２×２の画素を備える画素群が二次元配列される偏光画像センサ２０と、偏光画像センサ２０の画素群の配列数よりも多い画素数の画素が二次元配列される無偏光画像センサ７０と、入射光１６を偏光画像センサ２０に向かう光と、無偏光画像センサ７０に向かう光とに分割する光分割素子８０と、偏光画像センサ２０から出力される画素値から４つの偏光成分のそれぞれのＲＧＢ値を画素ごとに算出する補間処理部４０と、無偏光画像センサ７０の出力画像を用いて画素ごとの高周波成分を抽出する高周波抽出部１０２と、補間処理部４０から出力される４つの偏光成分のそれぞれのＲＧＢ値に高周波成分を画素ごとに加算し、４つの偏光成分に対応する４つの高解像度画像を生成する加算処理部９６と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

画素ごとに異なる４つの偏光成分を検出する２×２の画素を備える画素群が二次元配列され、ＲＧＢのカラーフィルタが前記画素群ごとにベイヤー配列される偏光画像センサと、
前記偏光画像センサの前記画素群の配列数よりも多い画素数の画素が二次元配列される無偏光画像センサと、
入射光を前記偏光画像センサに向かう光と、前記無偏光画像センサに向かう光とに分割する光分割素子と、
前記偏光画像センサから出力される画素値を偏光成分ごとに分離して前記４つの偏光成分に対応する４つのベイヤー配列画像を生成し、前記４つのベイヤー配列画像のそれぞれをディベイヤーおよびアップコンバートすることにより、前記４つの偏光成分のそれぞれのＲＧＢ値を画素ごとに算出する補間処理部と、
前記無偏光画像センサの出力画像を用いて画素ごとの高周波成分を抽出する高周波抽出部と、
前記補間処理部から出力される前記４つの偏光成分のそれぞれのＲＧＢ値に前記高周波成分を画素ごとに加算し、前記４つの偏光成分に対応する４つの高解像度画像を生成する加算処理部と、を備える撮像装置。

【請求項2】

前記無偏光画像センサは、ＲＧＢのカラーフィルタが画素ごとにベイヤー配列されるカラー画像センサであり、
前記高周波抽出部は、前記無偏光画像センサから出力されるベイヤー配列画像をディベイヤーすることにより算出される画素ごとのＲＧＢ値から高周波成分を抽出し、
前記加算処理部は、前記４つの偏光成分のそれぞれのＲＧＢ値に前記高周波成分を示すＲＧＢ値を画素ごとに加算する、請求項１に記載の撮像装置。

【請求項3】

前記無偏光画像センサは、カラーフィルタを備えないモノクロ画像センサであり、
前記高周波抽出部は、前記モノクロ画像センサから出力される画素ごとの輝度値から高周波成分を抽出し、
前記加算処理部は、前記４つの偏光成分のＲＧＢ値のそれぞれに前記高周波成分を示す輝度値を画素ごとに加算する、請求項１に記載の撮像装置。

【請求項4】

被写体までの距離を計測する距離画像センサをさらに備え、
前記光分割素子は、前記入射光を前記距離画像センサに向かう光にさらに分割し、
前記距離画像センサの出力信号を用いて前記被写体の三次元位置を示す座標値を画素ごとに算出する三次元位置算出部と、
前記加算処理部から出力される前記４つの高解像度画像のそれぞれのＲＧＢ値と、前記三次元位置算出部によって算出される座標値とを画素ごとに対応付けた点群データを生成する点群データ生成部と、をさらに備える請求項１に記載の撮像装置。

【請求項5】

請求項１から４のいずれか一項に記載の撮像装置を備える内視鏡システムであって、
被写体に向けられる先端部を有する挿入部を備え、前記先端部内に前記偏光画像センサ、前記無偏光画像センサおよび前記光分割素子が設けられ、前記挿入部内に前記偏光画像センサおよび前記無偏光画像センサの出力信号を伝送する伝送ケーブルが設けられる内視鏡と、
前記補間処理部、前高周波抽出部および前記加算処理部を備え、前記伝送ケーブルを介して前記出力信号を取得する画像処理装置と、を備える内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および内視鏡システムに関する。

【背景技術】

【0002】

被写体からの光の偏光状態を観察するための撮像装置が知られている。例えば、偏光状態の異なる複数のカラー画像を時分割で取得し、複数のカラー画像に基づく被写体の偏光情報を用いて合成画像を生成し、複数のカラー画像から選択された基準画像に基づいて色補正をする技術が提案されている。また、基準画像として露出条件が異なる複数のカラー画像を合成したＨＤＲ（High Dynamic Range）画像を用いることにより、白飛びや黒つぶれを抑制する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１９１９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の技術では、可変位相差板を用いて偏光状態の異なるカラー画像を取得しているため、可変位相差板に起因する色づきが発生してしまう。

【0005】

本発明は、上述の事情に鑑みてなされたものであり、偏光画像センサを用いて明瞭な画像を生成する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のある態様の撮像装置は、画素ごとに異なる４つの偏光成分を検出する２×２の画素を備える画素群が二次元配列され、ＲＧＢのカラーフィルタが画素群ごとにベイヤー配列される偏光画像センサと、偏光画像センサの画素群の配列数よりも多い画素数の画素が二次元配列される無偏光画像センサと、入射光を偏光画像センサに向かう光と、無偏光画像センサに向かう光とに分割する光分割素子と、偏光画像センサから出力される画素値を偏光成分ごとに分離して４つの偏光成分に対応する４つのベイヤー配列画像を生成し、４つのベイヤー配列画像のそれぞれをディベイヤーおよびアップコンバートすることにより、４つの偏光成分のそれぞれのＲＧＢ値を画素ごとに算出する補間処理部と、無偏光画像センサの出力画像を用いて画素ごとの高周波成分を抽出する高周波抽出部と、補間処理部から出力される４つの偏光成分のそれぞれのＲＧＢ値に高周波成分を画素ごとに加算し、４つの偏光成分に対応する４つの高解像度画像を生成する加算処理部と、を備える。

【0007】

本発明の別の態様は、ある態様の撮像装置を備える内視鏡システムである。内視鏡システムは、被写体に向けられる先端部を有する挿入部を備え、先端部内に偏光画像センサが設けられ、挿入部内に偏光画像センサの出力信号を伝送する伝送ケーブルが設けられる内視鏡と、補間処理部、輝度算出部、ランク処理部、基準生成部および合成処理部を備え、伝送ケーブルを介して出力信号を取得する画像処理装置と、を備える。

【0008】

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によれば、偏光画像センサを用いて明瞭な画像を生成できる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る撮像装置の構成を模式的に示す図である。

【図2】偏光画像センサの光検出層の構成を模式的に示す平面図である。

【図3】偏光画像センサの偏光子層の構成を模式的に示す平面図である。

【図4】偏光画像センサのカラーフィルタ層の構成を模式的に示す平面図である。

【図5】偏光画像センサのマイクロレンズ層の構成を模式的に示す平面図である。

【図6】補間処理部による画像処理の流れを模式的に示す図である。

【図7】合成処理部による画像処理の流れを模式的に示す図である。

【図8】第２実施形態に係る撮像装置の構成を模式的に示す図である。

【図9】無偏光画像センサのカラーフィルタ層の構成を模式的に示す平面図である。

【図10】高周波抽出部が用いるローパスフィルタの周波数特性の一例を示すグラフである。

【図11】第２処理部による画像処理の流れを模式的に示す図である。

【図12】第３実施形態に係る撮像装置の構成を模式的に示す図である。

【図13】第２処理部による画像処理の流れを模式的に示す図である。

【図14】第４実施形態に係る撮像装置の構成を模式的に示す図である。

【図15】第５実施形態に係る撮像装置の構成を模式的に示す図である。

【図16】第５実施形態の第１構成例に係る撮像ユニットを模式的に示す図である。

【図17】第５実施形態の第２構成例に係る撮像ユニットを模式的に示す図である。

【図18】第５実施形態の第３構成例に係る撮像ユニットを模式的に示す図である。

【図19】第６実施形態に係る内視鏡システムの構成を模式的に示す図である。

【図20】第７実施形態に係る内視鏡システムの構成を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。

【0012】

（第１実施形態）
図１は、第１実施形態に係る撮像装置１０の構成を模式的に示す図である。撮像装置１０は、撮像ユニット１２と、画像処理装置１４とを備える。

【0013】

撮像ユニット１２は、撮像レンズ１８と、偏光画像センサ２０とを備える。

【0014】

撮像レンズ１８は、偏光画像センサ２０の前面に設けられる。撮像レンズ１８は、撮像ユニット１２に入射する入射光１６を偏光画像センサ２０の受光面に結像させるよう配置される。撮像レンズ１８は、一以上の任意の数の光学レンズを含むことができる。

【0015】

偏光画像センサ２０は、入射光１６を撮像するための複数の画素を備える。偏光画像センサ２０は、光検出層２２と、偏光子層２４と、カラーフィルタ層２６と、マイクロレンズ層２８とを備える。光検出層２２、偏光子層２４、カラーフィルタ層２６およびマイクロレンズ層２８は、入射光１６の入射方向に重なるように配置される。図１の例では、入射光１６の入射方向に見て、マイクロレンズ層２８、カラーフィルタ層２６、偏光子層２４および光検出層２２の順に配置される。なお、偏光子層２４およびカラーフィルタ層２６の積層順は問わず、例えば、マイクロレンズ層２８、偏光子層２４、カラーフィルタ層２６および光検出層２２の順に積層されてもよい。

【0016】

図２は、偏光画像センサ２０の光検出層２２の構成を模式的に示す平面図である。光検出層２２は、例えば、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの二次元画像センサと同様に構成される。光検出層２２は、入射光１６を検出して電気信号に変換するためのフォトダイオード２２ａを備える。光検出層２２は、二次元配列される複数のフォトダイオード２２ａを備える。光検出層２２は、例えば、偏光画像センサ２０の１つの画素３０ごとに１つのフォトダイオード２２ａを備える。

【0017】

図３は、偏光画像センサ２０の偏光子層２４の構成を模式的に示す平面図である。偏光子層２４は、画素３０ごとに異なる偏光成分を検出するための第１偏光子２４ａ、第２偏光子２４ｂ、第３偏光子２４ｃおよび第４偏光子２４ｄを備える。つまり、１つの画素３０において４つの偏光子２４ａ～２４ｄのいずれか１つが設けられる。第１偏光子２４ａは、第１方向（例えば、水平方向または０度方向）の直線偏光である第１偏光成分を選択的に透過させる。第２偏光子２４ｂは、第２方向（例えば、右斜方向または４５度方向）の直線偏光である第２偏光成分を選択的に透過させる。第３偏光子２４ｃは、第３方向（例えば、垂直または９０度方向）である第３偏光成分の直線偏光を選択的に透過させる。第４偏光子２４ｄは、第４方向（例えば左斜方向または１３５度方向）の直線偏光である第４偏光成分を選択的に透過させる。偏光子２４ａ～２４ｄは、例えば、ワイヤーグリッド型の偏光子である。

【0018】

偏光子層２４は、縦横で２×２の４画素を備える画素群３２を繰り返し単位として二次元配置させた構造を有する。１つの画素群３２は、第１偏光子２４ａが設けられる第１画素、第２偏光子２４ｂが設けられる第２画素、第３偏光子２４ｃが設けられる第３画素および第４偏光子２４ｄが設けられる第４画素を備える。第１偏光子２４ａおよび第３偏光子２４ｃは、１つの画素群３２において対角の画素に設けられる。第２偏光子２４ｂおよび第４偏光子２４ｄは、１つの画素群３２において対角の画素に設けられる。４つの偏光子２４ａ～２４ｄのそれぞれは、１画素おきに縦横に二次元配列される。

【0019】

図４は、偏光画像センサ２０のカラーフィルタ層２６の構成を模式的に示す平面図である。カラーフィルタ層２６は、画素群３２ごとにベイヤー配列される赤色（Ｒ）フィルタ２６ａ、緑色（Ｇｒ）フィルタ２６ｂ、青色（Ｂ）フィルタ２６ｃおよび緑色（Ｇｂ）フィルタ２６ｄを備える。つまり、１つの画素群３２において４つのカラーフィルタ２６ａ～２６ｄのいずれか１つが設けられる。４つのカラーフィルタ２６ａ～２６ｄのそれぞれは、縦横で２×２の４画素を占めるように配置される。カラーフィルタ層２６は、縦横に隣接する４つの画素群３２を備える画素組３４を繰り返し単位として二次元配列させた構造を有する。画素組３４は、縦横で４×４の１６画素を備える。

【0020】

図５は、偏光画像センサ２０のマイクロレンズ層２８の構成を模式的に示す平面図である。マイクロレンズ層２８は、二次元配列される複数のマイクロレンズ２８ａを備える。マイクロレンズ層２８は、例えば、偏光画像センサ２０の１つの画素３０ごとに１つのマイクロレンズ２８ａを備える。

【0021】

図１に戻り、画像処理装置１４について説明する。画像処理装置１４は、偏光画像センサ２０の出力信号を用いて画像を生成する。画像処理装置１４は、信号取得部３８と、補間処理部４０と、輝度算出部４２と、ランク処理部４４と、基準生成部４６と、合成処理部４８とを備える。

【0022】

画像処理装置１４は、例えば、ハードウェアによる信号処理または画像処理を実行するためのＤＳＰ（Digital Signal Processor）またはＩＳＰ（Image Signal Processor）などの電子回路によって構成されることができる。画像処理装置１４を構成する各機能ブロックは、一以上の電子回路によって構成されることができる。画像処理装置１４は、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。画像処理装置１４のハードウェアは、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリといった素子や機械装置で実現されてもよい。画像処理装置１４のソフトウェアは、コンピュータプログラム等によって実現されてもよい。この場合、画像処理装置１４は、ハードウェアおよびソフトウェアの連携によって実現される機能ブロックとして描かれる。画像処理装置１４の機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

【0023】

信号取得部３８は、偏光画像センサ２０から出力される画像信号３６を取得する。画像信号３６は、偏光画像センサ２０から出力される生（ＲＡＷ）データに相当し、例えば、偏光画像センサ２０の各画素３０のアドレス順に読み出される各画素３０の画素値のシリアルデータである。画像信号３６の画素値のビット数は特に問わないが、例えば１２ビットである。

【0024】

補間処理部４０は、信号取得部３８が取得する画像信号３６から４つの偏光成分のそれぞれのカラー画像を生成する。補間処理部４０は、画像信号３６に含まれる画素値を偏光成分ごとに分離し、４つの偏光成分に対応する４つのベイヤー配列画像を生成する。補間処理部４０は、４つのベイヤー配列画像のそれぞれをディベイヤー（ベイヤー変換）およびアップコンバート（水平および垂直補間）することにより、４つの偏光成分のそれぞれのＲＧＢ値が画素ごとに設定された４つのアップコンバート画像を生成する。

【0025】

図６は、補間処理部４０による画像処理の流れを模式的に示す図である。図６は、説明を簡略化するために、１つの画素組３４を構成する縦横で４×４の１６画素のみを切り出して示している。入力画像５０は、画像信号３６に基づくＲＡＷデータに相当し、各画素３０に１つの画素値のみが格納されている。１つの画素組３４は、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）と４つの偏光成分（１，２，３，４）の組み合わせに相当する１６の画素を備える。例えば、画素値Ｒ１は、Ｒフィルタ２６ａと第１偏光子２４ａを透過した赤色（Ｒ）の第１偏光成分（１）の画素における画素値を示す。

【0026】

補間処理部４０は、入力画像５０を偏光成分ごとの４つのベイヤー配列画像５２ａ，５２ｂ，５２ｃ，５２ｄに分離する。第１ベイヤー配列画像５２ａは、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の第１偏光成分の画素値Ｒ１，Ｇｒ１，Ｇｂ１，Ｂ１で構成される。各画素値Ｒ１，Ｇｒ１，Ｇｂ１，Ｂ１の位置（位相）は、入力画像５０と共通である。第２ベイヤー配列画像５２ｂは、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の第２偏光成分の画素値Ｒ２，Ｇｒ２，Ｇｂ２，Ｂ２で構成される。各画素値Ｒ２，Ｇｒ２，Ｇｂ２，Ｂ２の位置（位相）は、入力画像５０と共通である。第３ベイヤー配列画像５２ｃは、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の第３偏光成分の画素値Ｒ３，Ｇｒ３，Ｇｂ３，Ｂ３により構成される。各画素値Ｒ３，Ｇｒ３，Ｇｂ３，Ｂ３の位置（位相）は、入力画像５０と共通である。第４ベイヤー配列画像５２ｄは、４色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の第４偏光成分の画素値Ｒ４，Ｇｒ４，Ｇｂ４，Ｂ４により構成される。各画素値Ｒ４，Ｇｒ４，Ｇｂ４，Ｂ４の位置（位相）は、入力画像５０と共通である。

【0027】

補間処理部４０は、４つのベイヤー配列画像５２ａ～５２ｄのそれぞれをディベイヤーし、２×２の画素（つまり、画素群３２）ごとに１つのＲＧＢ値が格納されるディベイヤー画像５４ａ，５４ｂ，５４ｃ，５４ｄを生成する。第１ディベイヤー画像５４ａは、第１ベイヤー配列画像５２ａをディベイヤーすることにより生成される。ディベイヤー処理として、任意の公知の技術を用いることができる。第１ディベイヤー画像５４ａは、画素群３２において第１偏光子２４ａが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ１１，ＲＧＢ１２，ＲＧＢ１３，ＲＧＢ１４により構成される。ここで、ＲＧＢ値は、Ｒ値、Ｇ値およびＢ値のそれぞれの画素値（Ｒ，Ｇ，Ｂ）を備える配列データである。

【0028】

以下の数式において表記される「ＲＧＢ」は、明示的な言及がない限り、原則として、Ｒ値、Ｇ値およびＢ値を備える配列（Ｒ，Ｇ，Ｂ）による計算を意味し、Ｒ値、Ｇ値およびＢ値のそれぞれについて計算される数式であることを意味する。つまり、Ｒ値、Ｇ値およびＢ値のそれぞれの計算の表記を説明上簡略化することを目的として「ＲＧＢ」の表記を用いる。

【0029】

第２ディベイヤー画像５４ｂは、第２ベイヤー配列画像５２ｂをディベイヤーすることにより生成される。第２ディベイヤー画像５４ｂは、画素群３２において第２偏光子２４ｂが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ２１，ＲＧＢ２２，ＲＧＢ２３，ＲＧＢ２４により構成される。第３ディベイヤー画像５４ｃは、第３ベイヤー配列画像５２ｃをディベイヤーすることにより生成される。第３ディベイヤー画像５４ｃは、画素群３２において第３偏光子２４ｃが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ３１，ＲＧＢ３２，ＲＧＢ３３，ＲＧＢ３４により構成される。第４ディベイヤー画像５４ｄは、第４ベイヤー配列画像５２ｄをディベイヤーすることにより生成される。第４ディベイヤー画像５４ｄは、画素群３２において第４偏光子２４ｄが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ４１，ＲＧＢ４２，ＲＧＢ４３，ＲＧＢ４４により構成される。

【0030】

補間処理部４０は、４つのディベイヤー画像５４ａ～５４ｄのそれぞれをアップコンバートすることにより、４つのアップコンバート画像５６ａ，５６ｂ，５６ｃ，５６ｄを生成する。補間処理部４０は、４つのディベイヤー画像５４ａ～５４ｄのそれぞれの画素値を水平方向および垂直方向に補間することにより、４つのアップコンバート画像５６ａ～５６ｄを生成する。アップコンバート処理として、任意の公知の技術を用いることができる。図６の例では、縦横のそれぞれに２倍のアップコンバートをしているが、アップコンバート処理の倍率は特に問わず、任意の倍率に可変となるよう構成されることができる。

【0031】

第１アップコンバート画像５６ａは、第１ディベイヤー画像５４ａから生成される。第１アップコンバート画像５６ａは、第１偏光子２４ａが設けられる画素とは異なる画素の位置（位相）に対応するＲＧＢ値をさらに備える。第１アップコンバート画像５６ａは、例えば、第２偏光子２４ｂが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ１１ｂ，ＲＧＢ１２ｂ，ＲＧＢ１３ｂ，ＲＧＢ１４ｂをさらに備える。第１アップコンバート画像５６ａは、例えば、第３偏光子２４ｃが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ１１ｃ，ＲＧＢ１２ｃ，ＲＧＢ１３ｃ，ＲＧＢ１４ｃをさらに備える。第１アップコンバート画像５６ａは、例えば、第４偏光子２４ｄが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ１１ｄ，ＲＧＢ１２ｄ，ＲＧＢ１３ｄ，ＲＧＢ１４ｄをさらに備える。したがって、図６の第１アップコンバート画像５６ａは、入力画像５０と同じ画素数の画素ごとに設定される第１偏光成分のＲＧＢ値を備える。

【0032】

第２アップコンバート画像５６ｂは、第２ディベイヤー画像５４ｂから生成される。第２アップコンバート画像５６ｂは、第２偏光子２４ｂが設けられる画素とは異なる画素の位置（位相）に対応するＲＧＢ値をさらに備える。第２アップコンバート画像５６ｂは、例えば、第１偏光子２４ａが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ２１ａ，ＲＧＢ２２ａ，ＲＧＢ２３ａ，ＲＧＢ２４ａをさらに備える。第２アップコンバート画像５６ｂは、例えば、第３偏光子２４ｃが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ２１ｃ，ＲＧＢ２２ｃ，ＲＧＢ２３ｃ，ＲＧＢ２４ｃをさらに備える。第２アップコンバート画像５６ｂは、例えば、第４偏光子２４ｄが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ２１ｄ，ＲＧＢ２２ｄ，ＲＧＢ２３ｄ，ＲＧＢ２４ｄをさらに備える。したがって、図６の第２アップコンバート画像５６ｂは、入力画像５０と同じ画素数の画素ごとに設定される第２偏光成分のＲＧＢ値を備える。

【0033】

第３アップコンバート画像５６ｃは、第３ディベイヤー画像５４ｃから生成される。第３アップコンバート画像５６ｃは、第３偏光子２４ｃが設けられる画素とは異なる画素の位置（位相）に対応するＲＧＢ値をさらに備える。第３アップコンバート画像５６ｃは、例えば、第１偏光子２４ａが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ３１ａ，ＲＧＢ３２ａ，ＲＧＢ３３ａ，ＲＧＢ３４ａをさらに備える。第３アップコンバート画像５６ｃは、例えば、第２偏光子２４ｂが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ３１ｂ，ＲＧＢ３２ｂ，ＲＧＢ３３ｂ，ＲＧＢ３４ｂをさらに備える。第３アップコンバート画像５６ｃは、例えば、第４偏光子２４ｄが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ３１ｄ，ＲＧＢ３２ｄ，ＲＧＢ３３ｄ，ＲＧＢ３４ｄをさらに備える。したがって、図６の第３アップコンバート画像５６ｃは、入力画像５０と同じ画素数の画素ごとに設定される第３偏光成分のＲＧＢ値を備える。

【0034】

第４アップコンバート画像５６ｄは、第４ディベイヤー画像５４ｄから生成される。第４アップコンバート画像５６ｄは、第４偏光子２４ｄが設けられる画素とは異なる画素の位置（位相）に対応するＲＧＢ値をさらに備える。第４アップコンバート画像５６ｄは、例えば、第１偏光子２４ａが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ４１ａ，ＲＧＢ４２ａ，ＲＧＢ４３ａ，ＲＧＢ４４ａをさらに備える。第４アップコンバート画像５６ｄは、例えば、第２偏光子２４ｂが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ４１ｂ，ＲＧＢ４２ｂ，ＲＧＢ４３ｂ，ＲＧＢ４４ｂをさらに備える。第４アップコンバート画像５６ｄは、例えば、第３偏光子２４ｃが設けられる画素の位置（位相）に対応するＲＧＢ値であるＲＧＢ４１ｃ，ＲＧＢ４２ｃ，ＲＧＢ４３ｃ，ＲＧＢ４４ｃをさらに備える。したがって、図６の第４アップコンバート画像５６ｄは、入力画像５０と同じ画素数の画素ごとに設定される第４偏光成分のＲＧＢ値を備える。

【0035】

補間処理部４０は、このようにして４つの偏光成分に対応する４つのアップコンバート画像５６ａ～５６ｄを生成することにより、４つの偏光成分のそれぞれのＲＧＢ値を画素ごとに算出する。例えば、図６の入力画像５０の画素値Ｒ１に対応する画素における４つの偏光成分のＲＧＢ値は、ＲＧＢ１１，ＲＧＢ２１ａ，ＲＧＢ３１ａ，ＲＧＢ４１ａである。

【0036】

以下、補間処理部４０から出力される各画素の４つの偏光成分のＲＧＢ値をＲＧＢａ，ＲＧＢｂ，ＲＧＢｃ，ＲＧＢｄと表す。ＲＧＢａは第１偏光成分のＲＧＢ値であり、ＲＧＢｂは第２偏光成分のＲＧＢ値であり、ＲＧＢｃは第３偏光成分のＲＧＢ値であり、ＲＧＢｄは第４偏光成分のＲＧＢ値である。図６の入力画像５０の画素値Ｒ１に対応する画素を注目画素とすると、ＲＧＢａ＝ＲＧＢ１１，ＲＧＢｂ＝ＲＧＢ２１ａ，ＲＧＢｃ＝ＲＧＢ３１ａ，ＲＧＢｄ＝ＲＧＢ４１ａである。

【0037】

図１に戻り、輝度算出部４２は、４つの偏光成分のそれぞれのＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）から、４つの偏光成分のそれぞれの輝度値（Ｙ値）を画素ごとに算出する。輝度算出部４２は、例えば、ＨＤＴＶ放送方式の映像信号を規定する国際規格（ＩＴＵ－Ｒ ＢＴ．７０９）によって定められる下記式（１）を用いて、ＲＧＢ値からＹ値を算出できる。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ…（１）
輝度算出部４２は、第１偏光成分の輝度値Ｙａ、第２偏光成分の輝度値Ｙｂ、第３偏光成分の輝度値Ｙｃおよび第４偏光成分の輝度値Ｙｄを画素ごとに算出する。

【0038】

ランク処理部４４は、４つの偏光成分の輝度値Ｙａ～Ｙｄの大きさ順に４つの偏光成分を画素ごとに順位付けする。ランク処理部４４は、１位～４位の偏光成分を示す順位信号Ｄ１～Ｄ４を出力する。ランク処理部４４は、例えば、輝度値が最大である偏光成分を示す１位信号Ｄ１、輝度値が次に大きい偏光成分を示す２位信号Ｄ２、輝度値が次に大きい偏光成分を示す３位信号Ｄ３、および輝度値が最小である偏光成分を示す４位信号Ｄ４を出力する。順位信号Ｄ１～Ｄ４のそれぞれは、４つの偏光成分を区別するための識別値（番号）として、例えば、「０」「１」「２」「３」のいずれかの値を出力する。例えば、第１偏光成分は「０」であり、第２偏光成分は「１」であり、第３偏光成分は「２」であり、第４偏光成分は「３」である。一例として、特定の画素における輝度値の大きさがＹｃ＞Ｙｂ＞Ｙｄ＞Ｙａである場合、１位信号Ｄ１＝２、２位信号Ｄ２＝１、３位信号Ｄ３＝３、４位信号Ｄ４＝０である。なお、４つの偏光成分の順位は、画素ごとに異なってもよいため、４つの順位信号Ｄ１～Ｄ４の出力値は画素ごとに異なる可能性がある。

【0039】

基準生成部４６は、複数の偏光成分の輝度値を合成した基準輝度値Ｙｓを画素ごとに算出する。基準輝度値Ｙｓは、下記式（２）を用いて算出できる。
Ｙｓ＝ｋ１・Ｙ１＋ｋ２・Ｙ２＋ｋ３・Ｙ３＋ｋ４・Ｙ４…（２）
ここで、輝度値Ｙ１～Ｙ４は、ランク処理部４４によって順位付けされた１位～４位の偏光成分の輝度値である。係数ｋ１～ｋ４は、輝度値Ｙ１～Ｙ４を合成するための重み付け係数である。係数ｋ１～ｋ４は、少なくとも第２係数ｋ２および第３係数ｋ３が０とならないように設定される。言い換えれば、基準輝度値Ｙｓは、少なくとも２位および３位の偏光成分の輝度値Ｙ２，Ｙ３を合成することによって算出される。これにより、基準輝度値Ｙｓは、四つの偏光成分の輝度値Ｙ１～Ｙ４の中間的な輝度値を表すことができる。例えば、四つの係数ｋ１～ｋ４は、ｋ１＝０，ｋ２＝０．５，ｋ３＝０．５，ｋ４＝０とすることができる。この場合、基準輝度値Ｙｓは、２位および３位の偏光成分の輝度値Ｙ２，Ｙ３の平均値となる。例えば、四つの係数ｋ１～ｋ４は、ｋ１＝０．２５，ｋ２＝０．２５，ｋ３＝０．２５，ｋ４＝０．２５とすることができる。この場合、基準輝度値Ｙｓは、四つの偏光成分Ｙ１～Ｙ４の平均値となる。

【0040】

合成処理部４８は、複数の偏光成分のＲＧＢ値を合成した合成ＲＧＢ値を画素ごとに算出する。合成処理部４８は、基準輝度値Ｙｓの大きさに応じて、合成ＲＧＢ値の算出方法を変える。合成処理部４８は、基準輝度値Ｙｓが所定の閾値Ｙｔｈに一致する場合（つまり、Ｙｓ＝Ｙｔｈ）、基準ＲＧＢ値（ＲＧＢｓ）を合成ＲＧＢ値（ＲＧＢｍ）とする（つまり、ＲＧＢｍ＝ＲＧＢｓ）。基準ＲＧＢ値（ＲＧＢｓ）は、四つの偏光成分のＲＧＢ値を係数ｋ１～ｋ４を用いて加重平均した値であり、下記式（３）を用いて算出できる。
ＲＧＢｓ＝ｋ１・ＲＧＢ１＋ｋ２・ＲＧＢ２＋ｋ３・ＲＧＢ３＋ｋ４・ＲＧＢ４…（３）
ここで、係数ｋ１～ｋ４の値は、基準生成部４６にて基準輝度値Ｙｓを算出したときの値と同じであり、例えば、ｋ１＝０，ｋ２＝０．５，ｋ３＝０．５，ｋ４＝０である。また、ＲＧＢ１～ＲＧＢ４は、ランク処理部４４によって順位付けされた１位～４位の偏光成分のＲＧＢ値である。閾値Ｙｔｈは、黒（例えば最小輝度値Ｙｍｉｎ）と白（例えば最大輝度値Ｙｍａｘ）の中間の明るさに見える輝度値となるように設定され、例えば最大輝度値Ｙｍａｘの１８％の値に設定することができる。輝度値が１２ビットの場合、Ｙｍａｘ＝４０９５，Ｙｔｈ＝７３７である。

【0041】

合成処理部４８は、基準輝度値Ｙｓが所定の閾値Ｙｔｈよりも小さい場合（つまり、Ｙｓ＜Ｙｔｈ）、１位および２位の偏光成分のＲＧＢ値を合成した上位ＲＧＢ値（ＲＧＢｔ）と、基準ＲＧＢ値（ＲＧＢｓ）とを合成した合成ＲＧＢ値を算出する。基準輝度値Ｙｓが閾値Ｙｔｈよりも小さい場合に、基準ＲＧＢ値よりも大きな値を有する上位ＲＧＢ値を合成することにより、合成ＲＧＢ値を基準ＲＧＢ値よりも大きくできる。これにより、暗い画素における黒つぶれを抑制できる。

【0042】

上位ＲＧＢ値（ＲＧＢｔ）は、１位の偏光成分のＲＧＢ値（ＲＧＢ１）と２位の偏光成分のＲＧＢ値（ＲＧＢ２）の加重平均値である。合成処理部４８は、例えば、下記式（４）を用いて上位ＲＧＢ値（ＲＧＢｔ）を画素ごとに算出できる。
ＲＧＢｔ＝（ＲＧＢ１・ＲＧＢ１＋ＲＧＢ２・ＲＧＢ２）／（ＲＧＢ１＋ＲＧＢ２）…（４）
上記式（４）では、ＲＧＢ１およびＲＧＢ２の明るさの大きさで加重平均されるため、１位の偏光成分のＲＧＢ値（ＲＧＢ１）の合成の重み付けが大きくなる。

【0043】

合成処理部４８は、Ｙｓ＜Ｙｔｈの場合、下記式（５）を用いて合成ＲＧＢ値（ＲＧＢｍ）を画素ごとに算出できる。
ＲＧＢｍ＝ｔ・ＲＧＢｔ＋（１－ｔ）・ＲＧＢｓ…（５）
ここで、上位重み付け係数ｔは、下記式（６）を用いて画素ごとに算出できる。
ｔ＝（Ｙｔｈ－Ｙｓ）／Ｙｔｈ…（６）
上位重み付け係数ｔは、上記式（６）より、基準輝度値Ｙｓが小さくなるにつれて大きくなるように設定される。例えば、Ｙｓ＝Ｙｔｈのときにｔ＝０となり、上記式（５）は、ＲＧＢｍ＝ＲＧＢｓとなる。Ｙｓ＝０のときにｔ＝１となり、上記式（５）は、ＲＧＢｍ＝ＲＧＢｔとなる。したがって、Ｙｓ＜Ｙｔｈの場合、基準輝度値Ｙｓが小さくなる（つまり、暗くなる）につれて、合成ＲＧＢ値（ＲＧＢｍ）における上位ＲＧＢ値（ＲＧＢｔ）の重み付けが大きくなり、基準ＲＧＢ値（ＲＧＢｓ）の重み付けが小さくなる。

【0044】

合成処理部４８は、基準輝度値Ｙｓが所定の閾値Ｙｔｈよりも大きい場合（つまり、Ｙｓ＞Ｙｔｈ）、３位および４位の偏光成分のＲＧＢ値を合成した下位ＲＧＢ値（ＲＧＢｕ）と、基準ＲＧＢ値（ＲＧＢｓ）とを合成した合成ＲＧＢ値を算出する。基準輝度値Ｙｓが閾値Ｙｔｈよりも大きい場合に、基準ＲＧＢ値よりも小さな値を有する下位ＲＧＢ値を合成することにより、合成ＲＧＢ値を基準ＲＧＢ値よりも小さくできる。これにより、明るい画素における白飛びを抑制できる。

【0045】

下位ＲＧＢ値（ＲＧＢｕ）は、３位の偏光成分のＲＧＢ値（ＲＧＢ３）と４位の偏光成分のＲＧＢ値（ＲＧＢ４）の加重平均値である。合成処理部４８は、例えば、下記式（７）を用いて上位ＲＧＢ値（ＲＧＢｕ）を画素ごとに算出できる。
ＲＧＢｕ＝［ＲＧＢ４・（ＲＧＢｍａｘ－ＲＧＢ４）＋ＲＧＢ３・（ＲＧＢｍａｘ－ＲＧＢ３）］／［（ＲＧＢｍａｘ－ＲＧＢ４）＋（ＲＧＢｍａｘ－ＲＧＢ３）］…（７）
ここで、ＲＧＢｍａｘは、ＲＧＢ値の最大画素値である。画素値が１２ビットの場合、ＲＧＢｍａｘ＝４０９５である。上記式（７）では、最大画素値（ＲＧＢｍａｘ）からＲＧＢ値を減算した値を重み付け係数に使用している。最大画素値（ＲＧＢｍａｘ）からＲＧＢ値を減算した値は、ＲＧＢ値の暗さの大きさを表している。上記式（７）では、ＲＧＢ４およびＲＧＢ３の暗さの大きさで加重平均されるため、４位の偏光成分のＲＧＢ値（ＲＧＢ４）の合成の重み付けが大きくなる。

【0046】

合成処理部４８は、Ｙｓ＞Ｙｔｈの場合、下記式（８）を用いて合成ＲＧＢ値（ＲＧＢｍ）を画素ごとに算出できる。
ＲＧＢｍ＝ｕ・ＲＧＢｕ＋（１－ｕ）・ＲＧＢｓ…（８）
ここで、下位重み付け係数ｕは、下記式（９）を用いて画素ごとに算出できる。
ｕ＝（Ｙｓ－Ｙｔｈ）／（Ｙｍａｘ－Ｙｔｈ）…（９）
下位重み付け係数ｕは、上記式（９）より、基準輝度値Ｙｓが大きくなるにつれて大きくなるように設定される。例えば、Ｙｓ＝Ｙｔｈのときにｕ＝０となり、上記式（８）は、ＲＧＢｍ＝ＲＧＢｓとなる。Ｙｓ＝Ｙｍａｘのときにｕ＝１となり、上記式（８）は、ＲＧＢｍ＝ＲＧＢｕとなる。したがって、Ｙｓ＞Ｙｔｈの場合、基準輝度値Ｙｓが大きくなる（つまり明るくなる）につれて、合成ＲＧＢ値（ＲＧＢｍ）における下位ＲＧＢ値（ＲＧＢｕ）の重み付けが大きくなり、基準ＲＧＢ値（ＲＧＢｓ）の重み付けが小さくなる。

【0047】

図７は、合成処理部４８による画像処理の流れを模式的に示す図である。図７は、補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）を入力とし、合成ＲＧＢ値（ＲＧＢｍ）を出力するまでの処理の流れを示す。図７は、輝度算出部４２、ランク処理部４４および基準生成部４６についても示す。

【0048】

輝度算出部４２は、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）を入力として用いて、４つの偏光成分の輝度値（Ｙａ～Ｙｄ）を出力する。輝度算出部４２は、上記式（１）を用いて、ＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）から輝度値（Ｙａ～Ｙｄ）を算出する。

【0049】

ランク処理部４４は、輝度算出部４２から出力される輝度値（Ｙａ～Ｙｄ）を入力として用いて、輝度値の大きさを順位付けし、４つの偏光成分の順位を示す順位信号Ｄ１～Ｄ４を出力する。

【0050】

基準生成部４６は、輝度算出部４２から出力される輝度値（Ｙａ～Ｙｄ）と、ランク処理部４４から出力される順位信号（Ｄ１～Ｄ４）とを入力として用いて、基準輝度値Ｙｓを出力する。基準生成部４６は、上記式（２）を用いて基準輝度値Ｙｓを算出する。基準生成部４６は、例えば、レジスタ（不図示）によって指定される係数ｋ１～ｋ４の値を用いることができる。

【0051】

合成処理部４８は、基準合成部６０と、上位合成部６２と、下位合成部６４と、係数算出部６６と、出力合成部６８とを含む。

【0052】

基準合成部６０は、補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と、ランク処理部４４から出力される順位信号（Ｄ１～Ｄ４）とを入力として用いて、基準ＲＧＢ値（ＲＧＢｓ）を算出する。基準合成部６０は、上記式（３）を用いて基準ＲＧＢ値（ＲＧＢｓ）を算出する。基準合成部６０は、１位信号Ｄ１の値によって指定される偏光成分のＲＧＢ値をＲＧＢ１とし、２位信号Ｄ２の値によって指定される偏光成分のＲＧＢ値をＲＧＢ２とし、３位信号Ｄ３の値によって指定される偏光成分のＲＧＢ値をＲＧＢ３とし、４位信号Ｄ４の値によって指定される偏光成分のＲＧＢ値をＲＧＢ４とする。基準合成部６０は、例えば、輝度算出部４２と共通のレジスタ（不図示）によって指定される係数ｋ１～ｋ４の値を用いることができる。

【0053】

上位合成部６２は、補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と、ランク処理部４４から出力される１位信号Ｄ１および２位信号Ｄ２とを入力として用いて、上位ＲＧＢ値（ＲＧＢｔ）を算出する。上位合成部６２は、１位信号Ｄ１の値によって指定される偏光成分のＲＧＢ値をＲＧＢ１とし、２位信号Ｄ２の値によって指定される偏光成分のＲＧＢ値をＲＧＢ２とし、上記式（４）を用いて上位ＲＧＢ値（ＲＧＢｔ）を算出する。

【0054】

下位合成部６４は、補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と、ランク処理部４４から出力される３位信号Ｄ３および４位信号Ｄ４とを入力として用いて、下位ＲＧＢ値（ＲＧＢｕ）を算出する。下位合成部６４は、３位信号Ｄ３の値によって指定される偏光成分のＲＧＢ値をＲＧＢ３とし、４位信号Ｄ４の値によって指定される偏光成分のＲＧＢ値をＲＧＢ４とし、上記式（７）を用いて下位ＲＧＢ値（ＲＧＢｕ）を算出する。

【0055】

係数算出部６６は、基準合成部６０から出力される基準輝度値Ｙｓを入力として用いて、上位重み付け係数ｔおよび下位重み付け係数ｕを算出する。係数算出部６６は、上記式（６）を用いて上位重み付け係数ｔを算出する。係数算出部６６は、上記式（９）を用いて下位重み付け係数ｕを算出する。係数算出部６６は、例えば、レジスタ（不図示）によって指定されるＹｔｈの値を用いることができる。

【0056】

出力合成部６８は、基準生成部４６から出力される基準輝度値Ｙｓと、基準合成部６０から出力される基準ＲＧＢ値（ＲＧＢｓ）と、上位合成部６２から出力される上位ＲＧＢ値（ＲＧＢｔ）と、下位合成部６４から出力される下位ＲＧＢ値（ＲＧＢｕ）と、係数算出部６６から出力される上位重み付け係数ｔおよび下位重み付け係数ｕとを入力として用いて、合成ＲＧＢ値（ＲＧＢｍ）を算出する。出力合成部６８は、ａ）Ｙｓ＝Ｙｔｈの場合、合成ＲＧＢ値（ＲＧＢｍ）を基準ＲＧＢ値（ＲＧＢｓ）と同じにする。出力合成部６８は、ｂ）Ｙｓ＜Ｙｔｈの場合、上記式（５）を用いて、上位ＲＧＢ値（ＲＧＢｔ）と基準ＲＧＢ値（ＲＧＢｓ）を合成することにより、合成ＲＧＢ値（ＲＧＢｍ）を算出する。出力合成部６８は、ｃ）Ｙｓ＞Ｙｔｈの場合、上記式（８）を用いて、下位ＲＧＢ値（ＲＧＢｕ）と基準ＲＧＢ値（ＲＧＢｓ）を合成することにより、合成ＲＧＢ値（ＲＧＢｍ）を算出する。

【0057】

出力合成部６８は、例えば、処理対象となる全ての画素について画素ごとの合成ＲＧＢ値（ＲＧＢｍ）を順次算出する。これにより、出力合成部６８は、各画素のＲＧＢ値が合成ＲＧＢ値（ＲＧＢｍ）となるカラー画像を生成できる。

【0058】

本実施形態によれば、偏光画像センサを用いて取得される４つの偏光成分のＲＧＢ値を合成することにより、白飛びや黒つぶれが抑制されたカラー画像を生成できる。偏光子を用いない通常の（無偏光の）画像センサを用いる場合、被写体における光の反射の仕方によって白飛びや黒つぶれが起きたカラー画像が生成される場合がある。例えば、ガラス越しの被写体を撮影しようとした場合、ガラス表面で強く反射した光によって白飛びが発生し、ガラスの向こう側の被写体を適切に捉えることができない画像となる場合がある。また、強い光が当たる被写体の場合、被写体の影となる箇所において黒つぶれが起きる画像となる場合がある。本実施形態によれば、少なくとも２位と３位の偏光成分を含む複数の偏光成分のＲＧＢ値を合成した基準ＲＧＢ値（ＲＧＢｓ）を画素値のベースとすることにより、白飛びの原因となりうる最上位（つまり１位）の偏光成分の影響を抑制することができ、黒つぶれの原因となりうる最下位（つまり４位）の偏光成分の影響を抑制することができる。

【0059】

本実施形態によれば、基準輝度値Ｙｓが相対的に大きい画素において、下位ＲＧＢ値（ＲＧＢｕ）の寄与を大きくして合成ＲＧＢ値（ＲＧＢｍ）を算出することにより、基準ＲＧＢ値を採用する場合よりも画素値を小さくすることができる。これにより、白飛びの発生を好適に抑制できる。例えば、基準輝度値Ｙｓが大きくなるにつれて、下位ＲＧＢ値（ＲＧＢｕ）の合成の重み付けを大きくすることにより、白飛びの発生をより好適に抑制できる。また、基準輝度値Ｙｓが相対的に小さい画素において、上位ＲＧＢ値（ＲＧＢｔ）の寄与を大きくして合成ＲＧＢ値（ＲＧＢｍ）を算出することにより、基準ＲＧＢ値を採用する場合よりも画素値を大きくすることができる。これにより、黒つぶれの発生を好適に抑制できる。例えば、基準輝度値Ｙｓが小さくなるにつれて、上位ＲＧＢ値（ＲＧＢｔ）の合成の重み付けを大きくすることにより、黒つぶれの発生をより好適に抑制できる。

【0060】

（第２実施形態）
図８は、第２実施形態に係る撮像装置１０Ａの構成を模式的に示す図である。第２実施形態に係る撮像装置１０Ａは、撮像ユニット１２Ａと、画像処理装置１４Ａとを備える。以下、第２実施形態について、第１実施形態との相違点を中心に説明し、共通点については適宜省略する。図面において、第１実施形態と同様の構成については同じ符号を付与する。

【0061】

撮像ユニット１２Ａは、撮像レンズ１８と、偏光画像センサ２０と、無偏光画像センサ７０と、光分割素子８０とを備える。撮像レンズ１８および偏光画像センサ２０は、第１実施形態と同様に構成される。撮像ユニット１２Ａは、無偏光画像センサ７０および光分割素子８０をさらに備える点で、第１実施形態と相違する。

【0062】

光分割素子８０は、撮像レンズ１８の後段に配置される。光分割素子８０は、撮像レンズ１８を通過した入射光１６を第１光１６ａと第２光１６ｂに分割する。第１光１６ａは、偏光画像センサ２０に入射し、第２光１６ｂは、無偏光画像センサ７０に入射する。光分割素子８０は、例えば、無偏光ビームスプリッタであり、入射光１６を１：１の強度比率で第１光１６ａと第２光１６ｂに分割する。光分割素子８０の部分反射面は、例えば金属薄膜などによるハーフミラーで構成される。

【0063】

偏光画像センサ２０は、光分割素子８０にて分割された第１光１６ａを撮像する。無偏光画像センサ７０は、光分割素子８０にて分割された第２光１６ｂを撮像する。偏光画像センサ２０および無偏光画像センサ７０は、入射光１６の光軸を基準として同軸となるように配置される。撮像レンズ１８は、入射光１６を偏光画像センサ２０および無偏光画像センサ７０のそれぞれの受光面に結像させるよう配置される。

【0064】

無偏光画像センサ７０は、入射光１６を撮像するための複数の画素を備える。無偏光画像センサ７０は、光検出層７２と、カラーフィルタ層７６と、マイクロレンズ層７８とを備える。無偏光画像センサ７０は、偏光子層を備えない点で、偏光画像センサ２０と相違する。

【0065】

無偏光画像センサ７０の画素数は、偏光画像センサ２０の画素群３２の配列数よりも多い。したがって、無偏光画像センサ７０の縦横の画素数は、偏光画像センサ２０の縦横の画素数の１／２よりも多い。無偏光画像センサ７０の縦横の画素数は、偏光画像センサ２０の縦横の画素数と同じであってもよい。無偏光画像センサ７０の縦横の画素数は、偏光画像センサ２０の縦横の画素数より多くてもよく、例えば、偏光画像センサ２０の縦横の画素数の２倍や４倍であってもよい。

【0066】

光検出層７２は、例えば、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの二次元画像センサと同様に構成される。光検出層７２は、偏光画像センサ２０の光検出層２２と同様に構成されることができる。光検出層７２は、例えば、無偏光画像センサ７０の１つの画素ごとに１つのフォトダイオードを備える。無偏光画像センサ７０の画素数と偏光画像センサ２０の画素数が一致する場合、光検出層７２は、偏光画像センサ２０の光検出層２２と同一仕様であってもよい。

【0067】

図９は、無偏光画像センサ７０のカラーフィルタ層７６の構成を模式的に示す平面図である。カラーフィルタ層７６は、無偏光画像センサ７０の画素８２ごとにベイヤー配列される赤色（Ｒ）フィルタ７６ａ、緑色（Ｇｒ）フィルタ７６ｂ、青色（Ｂ）フィルタ７６ｃおよび緑色（Ｇｂ）フィルタ７６ｄを備える。カラーフィルタ層７６は、縦横で２×２の４画素を備える画素群８４を繰り返し単位として二次元配列された構造を有する。

【0068】

図８に戻り、マイクロレンズ層７８は、二次元配列される複数のマイクロレンズを備える。マイクロレンズ層７８は、偏光画像センサ２０のマイクロレンズ層２８と同様に構成されることができる。マイクロレンズ層７８は、例えば、無偏光画像センサ７０の１つの画素８２ごとに１つのマイクロレンズを備える。

【0069】

画像処理装置１４Ａは、偏光画像センサ２０の出力信号と、無偏光画像センサ７０の出力信号とを用いて画像を生成する。画像処理装置１４Ａは、第１処理部９２と、第２処理部９４と、加算処理部９６とを備える。

【0070】

第１処理部９２は、偏光画像センサ２０から出力される第１画像信号３６を入力として用いる信号処理または画像処理を実行する。第１処理部９２は、第１信号取得部３８と、第１補間処理部４０と、輝度算出部４２と、ランク処理部４４と、基準生成部４６と、合成処理部４８とを備える。第１実施形態に係る画像処理装置１４と同様の機能を実現する。

【0071】

第１処理部９２は、４つの偏光成分のＲＧＢ値を合成した合成ＲＧＢ値（ＲＧＢｍ）を加算処理部９６に出力する。第１処理部９２は、合成ＲＧＢ値（ＲＧＢｍ）の代わりに、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）を加算処理部９６に出力してもよい。第１処理部９２は、合成ＲＧＢ値（ＲＧＢｍ）と、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）とを加算処理部９６に出力してもよい。

【0072】

第２処理部９４は、無偏光画像センサ７０から出力される第２画像信号８６を入力として用いる信号処理または画像処理を実行する。第２処理部９４は、第２信号取得部９８と、第２補間処理部１００と、高周波抽出部１０２とを備える。

【0073】

第２信号取得部９８は、無偏光画像センサ７０から出力される第２画像信号８６を取得する。第２画像信号８６は、無偏光画像センサ７０から出力される生（ＲＡＷ）データに相当し、例えば、無偏光画像センサ７０の各画素８２のアドレス順に読み出される各画素８２の画素値のシリアルデータである。第２画像信号８６は、厳密なＲＡＷデータではなく、ＲＡＷデータに対してホワイトバランス調整やゲイン調整などの補正処理がなされたデータであってもよい。第２画像信号８６の画素値のビット数は特に問わないが、例えば１２ビットである。

【0074】

第２補間処理部１００は、第２信号取得部９８が取得する第２画像信号８６から１つのカラー画像を生成する。第２補間処理部１００は、公知のディベイヤー処理を実行することにより、無偏光画像センサ７０の画素８２ごとに設定されるＲＧＢ値を算出する。

【0075】

第２補間処理部１００は、無偏光画像センサ７０の画素数が偏光画像センサ２０の画素数と異なる場合、ディベイヤー処理によって生成されるディベイヤー画像をリサイズしてもよい。これにより、第２補間処理部１００は、第１処理部９２の出力画像と縦横の画素数が一致するカラー画像を生成する。

【0076】

高周波抽出部１０２は、第２補間処理部１００から出力されるカラー画像の各画素のＲＧＢ値の高周波成分を抽出し、高周波カラー画像を生成する。高周波カラー画像の各画素のＲＧＢ値は、Ｒ値の高周波成分（Ｒｈ）、Ｇ値の高周波成分（Ｇｈ）およびＢ値の高周波成分（Ｂｈ）のそれぞれの画素値（Ｒｈ，Ｇｈ，Ｂｈ）を備える配列データである。

【0077】

高周波抽出部１０２は、第２補間処理部１００から出力されるカラー画像から低周波成分を抽出し、元のカラー画像から低周波成分を減算することにより、高周波成分を算出することができる。低周波成分を抽出するためのローパスフィルタ（ＬＰＦ）として、例えば、カットオフ周波数ｆｃがサンプリング周波数ｆｓの１／４となる（つまり、ｆｃ＝ｆｓ／４）となるＦＩＲ（Finite Impulse Response）フィルタを用いることができる。図１０は、高周波抽出部１０２が用いるローパスフィルタの周波数特性の一例を示す。なお、高周波抽出部１０２に用いられるＬＰＦは、図１０に示されるものに限らず、カットオフ周波数ｆｃがサンプリング周波数ｆｓの１／４より小さくてもよいし、大きくてもよい。

【0078】

図１１は、第２処理部９４による画像処理の流れを模式的に示す図である。図１１は、説明を簡略化するために、縦横で４×４の１６画素のみを切り出して示している。入力画像１０４は、第２画像信号８６に基づくＲＡＷデータに相当し、各画素に１つの画素値のみが格納されている。入力画像１０４は、カラーフィルタ層７６の配列に対応したベイヤー配列画像である。

【0079】

第２補間処理部１００は、入力画像１０４からディベイヤー画像１０６を生成する。ディベイヤー画像１０６は、各画素にＲＧＢ値が格納されたカラー画像である。図１１の例では、ディベイヤー画像１０６に対するリサイズ処理を省略しているが、第２補間処理部１００は、ディベイヤー画像１０６をリサイズしたカラー画像を生成してもよい。

【0080】

高周波抽出部１０２は、第２補間処理部１００から出力されるカラー画像から高周波カラー画像１０８を生成する。高周波カラー画像１０８は、各画素にＲＧＢ値の高周波成分を示す高周波ＲＧＢ値（ＲＧＢｈ）が格納されたカラー画像である。

【0081】

図８に戻り、加算処理部９６は、第１処理部９２の合成処理部４８から出力される合成ＲＧＢ値（ＲＧＢｍ）と、第２処理部９４から出力される高周波ＲＧＢ値（ＲＧＢｈ）とを画素ごとに加算して高解像度カラー画像を生成する。高解像度カラー画像の各画素のＲＧＢ値（ＲＧＢｈｒ）は、合成ＲＧＢ値（ＲＧＢｍ）に高周波ＲＧＢ値（ＲＧＢｈ）を加算したものであり、ＲＧＢｈｒ＝ＲＧＢｍ＋ＲＧＢｈである。加算処理部９６は、重み付け係数ｈを用いることにより、ＲＧＢｈｒ＝ＲＧＢｍ＋ｈ・ＲＧＢｈの式を用いて、高解像度ＲＧＢ値（ＲＧＢｈｒ）を算出してもよい。

【0082】

加算処理部９６は、第１処理部９２の第１補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と、第２処理部９４から出力される高周波ＲＧＢ値（ＲＧＢｈ）とを画素ごとに加算して高解像度カラー画像を生成してもよい。加算処理部９６は、第１偏光成分のＲＧＢ値（ＲＧＢａ）に高周波ＲＧＢ値（ＲＧＢｈ）を加算して、第１偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒａ＝ＲＧＢａ＋ＲＧＢｈ）を算出してもよい。加算処理部９６は、第２偏光成分のＲＧＢ値（ＲＧＢｂ）に高周波ＲＧＢ値（ＲＧＢｈ）を加算して、第２偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒｂ＝ＲＧＢｂ＋ＲＧＢｈ）を算出してもよい。加算処理部９６は、第３偏光成分のＲＧＢ値（ＲＧＢｃ）に高周波ＲＧＢ値（ＲＧＢｈ）を加算して、第３偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒｃ＝ＲＧＢｃ＋ＲＧＢｈ）を算出してもよい。加算処理部９６は、第４偏光成分のＲＧＢ値（ＲＧＢｄ）に高周波ＲＧＢ値（ＲＧＢｈ）を加算して、第４偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒｄ＝ＲＧＢｄ＋ＲＧＢｈ）を算出してもよい。

【0083】

本実施形態によれば、偏光画像センサ２０の出力信号から得られるカラー画像に無偏光画像センサ７０の出力信号から得られる高周波成分を加算することにより、高解像度のカラー画像を生成できる。これにより、光学ローパスフィルタを使用せずに、折り返しひずみ（エイリアシング）を抑制した高解像度カラー画像を得ることができる。

【0084】

偏光画像センサ２０は、４×４の画素を備える画素組３４を繰り返し単位とするため、２×２の画素を繰り返し単位とする通常の（無偏光の）画像センサを用いる場合に比べて解像度が低くなりやすい。また、折り返しひずみの抑制を目的として光学ローパスフィルタを偏光画像センサ２０に適用すると、光学ローパスフィルタによって偏光状態が変化してしまい、適切な偏光成分を検出できなくなる。その結果、偏光画像センサ２０を用いる場合、光学ローパスフィルタを採用できないために、折り返しひずみが目立ちやすい画像となりうる。

【0085】

本実施形態によれば、偏光子層を備えない無偏光画像センサ７０を用いることにより、偏光画像センサ２０に比べて高解像度の画像を簡単に得ることができ、高解像度に寄与する高周波成分を抽出できる。このような高周波成分を偏光画像センサ２０を用いて得られた画像に加算することにより、高解像度であり、かつ、折り返しひずみが抑制されたカラー画像を生成できる。

【0086】

本実施形態によれば、第１実施形態と同様に、白飛びや黒つぶれが抑制されたカラー画像を生成できる。白飛びや黒つぶれが抑制されたカラー画像（合成ＲＧＢ値、ＲＧＢｍ）に高周波成分（高周波ＲＧＢ値、ＲＧＢｈ）を加算することにより、高解像度であり、折り返しひずみが抑制され、かつ、白飛びや黒つぶれが抑制された、より好適なカラー画像（高解像度ＲＧＢ値、ＲＧＢｈｒ）を生成できる。

【0087】

本実施形態によれば、４つの偏光成分のカラー画像（ＲＧＢａ～ＲＧＢｄ）に高周波成分（ＲＧＢｈ）を加算することにより、高解像度であり、折り返しひずみが抑制された、より好適な偏光カラー画像（ＲＧＢｈｒａ～ＲＧＢｈｒｄ）を生成できる。

【0088】

第２実施形態に係る加算処理部９６は、合成ＲＧＢ値（ＲＧＢｍ）を用いる高解像度ＲＧＢ値（ＲＧＢｈｒ）を算出せず、４つの偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒａ～ＲＧＢｈｒｄ）の少なくとも一つのみを算出してもよい。この場合、第１処理部９２は、輝度算出部４２、ランク処理部４４、基準生成部４６および合成処理部４８を備えなくてもよい。第１処理部９２は、第１信号取得部３８および第１補間処理部４０のみを備えてもよい。

【0089】

（第３実施形態）
図１２は、第３実施形態に係る撮像装置１０Ｂの構成を模式的に示す図である。第３実施形態に係る撮像装置１０Ｂは、撮像ユニット１２Ｂと、画像処理装置１４Ｂとを備える。以下、第３実施形態について、第３実施形態との相違点を中心に説明し、共通点については適宜省略する。図面において、第１実施形態または第２実施形態と同様の構成については同じ符号を付与する。

【0090】

撮像ユニット１２Ｂは、撮像レンズ１８と、偏光画像センサ２０と、無偏光画像センサ７０Ｂと、光分割素子８０とを備える。撮像レンズ１８および偏光画像センサ２０は、第１実施形態と同様に構成される。光分割素子８０は、第２実施形態と同様に構成される。

【0091】

無偏光画像センサ７０Ｂは、光検出層７２と、マイクロレンズ層７８とを備える。無偏光画像センサ７０Ｂは、カラーフィルタ層７６を備えない点で、第２実施形態に係る無偏光画像センサ７０と相違する。無偏光画像センサ７０Ｂは、カラーフィルタ層７６を備えないため、無偏光のモノクロ画像センサとして機能する。

【0092】

画像処理装置１４Ｂは、第１処理部９２と、第２処理部９４Ｂと、加算処理部９６Ｂとを備える。第１処理部９２は、第２実施形態と同様に構成される。第２処理部９４Ｂは、第２信号取得部９８Ｂと、第２補間処理部１００Ｂと、高周波抽出部１０２Ｂとを備える。

【0093】

第２信号取得部９８Ｂは、無偏光画像センサ７０Ｂから出力される第２画像信号８６Ｂを取得する。第２画像信号８６Ｂは、無偏光画像センサ７０Ｂから出力される生（ＲＡＷ）データに相当し、例えば、無偏光画像センサ７０Ｂの各画素８２のアドレス順に読み出される各画素８２の画素値のシリアルデータである。第２画像信号８６Ｂは、厳密なＲＡＷデータではなく、ＲＡＷデータに対してゲイン調整などの補正処理がなされたデータであってもよい。第２画像信号８６の画素値のビット数は特に問わないが、例えば１２ビットである。

【0094】

第２補間処理部１００Ｂは、第２信号取得部９８が取得する第２画像信号８６から１つのモノクロ画像を生成する。第２補間処理部１００は、無偏光画像センサ７０Ｂの画素８２ごとに設定される輝度値（Ｙ値）を出力する。第２補間処理部１００Ｂは、無偏光画像センサ７０Ｂの画素数が偏光画像センサ２０の画素数と異なる場合、モノクロ画像をリサイズし、第１処理部９２の出力画像と縦横の画素数が一致するモノクロ画像を生成する。なお、リサイズが不要な場合、第２処理部９４Ｂは、第２補間処理部１００Ｂを備えなくてもよい。

【0095】

高周波抽出部１０２Ｂは、第２信号取得部９８Ｂまたは第２補間処理部１００Ｂから出力されるモノクロ画像の各画素の輝度値（Ｙ値）の高周波成分を抽出し、高周波モノクロ画像を生成する。高周波抽出部１０２Ｂは、第２信号取得部９８Ｂまたは第２補間処理部１００Ｂから出力されるモノクロ画像から低周波成分を抽出し、元のモノクロ画像から低周波成分を減算することにより、高周波成分を算出することができる。低周波成分を抽出するためのＬＰＦとして、図１０に示される第２実施形態と同様のフィルタを用いることができる。

【0096】

図１３は、第２処理部９４Ｂによる画像処理の流れを模式的に示す図である。図１３は、説明を簡略化するために、縦横で４×４の１６画素のみを切り出して示している。入力画像１１０は、第２画像信号８６Ｂに基づくＲＡＷデータの画素配列に相当し、各画素に１つの画素値のみが設定されている。入力画像１１０は、各画素の輝度値（Ｙ値）を示すモノクロ画像である。

【0097】

高周波抽出部１０２Ｂは、入力画像１１０であるモノクロ画像から高周波モノクロ画像１１２を生成する。高周波モノクロ画像１１２は、各画素に輝度値の高周波成分を示す高周波輝度値（Ｙｈ）が設定されたモノクロ画像である。

【0098】

図１２に戻り、加算処理部９６Ｂは、第１処理部９２の合成処理部４８から出力される合成ＲＧＢ値（ＲＧＢｍ）と、第２処理部９４Ｂから出力される高周波輝度値（Ｙｈ）とを画素ごとに加算して高解像度カラー画像を生成する。

【0099】

高解像度カラー画像の各画素のＲＧＢ値（ＲＧＢｈｒ）は、合成ＲＧＢ値（ＲＧＢｍ）に高周波輝度値（Ｙｈ）を加算したものであり、ＲＧＢｈｒ＝ＲＧＢｍ＋Ｙｈである。例えば、合成ＲＧＢ値（ＲＧＢｍ）の各色の値（Ｒｍ，Ｇｍ，Ｂｍ）のそれぞれに共通の高周波輝度値Ｙｈを加算することにより、高解像度ＲＧＢ値（ＲＧＢｈｒ）の各色の値（Ｒｈｒ，Ｇｈｒ，Ｂｈｒ）を算出する。つまり、Ｒｈｒ＝Ｒｍ＋Ｙｈ，Ｇｈｒ＝Ｇｍ＋Ｙｈ，Ｂｈｒ＝Ｂｍ＋Ｙｈである。

【0100】

加算処理部９６Ｂは、重み付け係数ｈを用いることにより、ＲＧＢｈｒ＝ＲＧＢｍ＋ｈ・ＲＧＢｈの式を用いて、高解像度ＲＧＢ値（ＲＧＢｈｒ）を算出してもよい。重み付け係数ｈは、各色で共通であってもよいし、各色で異なってもよい。後者の場合、各色の重み付け係数ｈＲ，ｈＧ，ｈＢを用いて、Ｒｈｒ＝Ｒｍ＋ｈＲ・Ｙｈ，Ｇｈｒ＝Ｇｍ＋ｈＧ・Ｙｈ，Ｂｈｒ＝Ｂｍ＋ｈＢ・Ｙｈとすることができる。各色の重み付け係数ｈＲ、ｈＧ、ｈＢは、ＩＴＵ－Ｒ ＢＴ．７０９に基づいて、ｈＲ＝０．２１２６、ｈＧ＝０．７１５２、ｈＢ＝０．０７２２としてもよい。

【0101】

加算処理部９６Ｂは、第１処理部９２の第１補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と、第２処理部９４Ｂから出力される高周波輝度値（Ｙｈ）とを画素ごとに加算して高解像度カラー画像を生成してもよい。加算処理部９６Ｂは、第１偏光成分のＲＧＢ値（ＲＧＢａ）に高周波輝度値（Ｙｈ）を加算して、第１偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒａ＝ＲＧＢａ＋Ｙｈ）を算出してもよい。加算処理部９６Ｂは、第２偏光成分のＲＧＢ値（ＲＧＢｂ）に高周波輝度値（Ｙｈ）を加算して、第２偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒｂ＝ＲＧＢｂ＋Ｙｈ）を算出してもよい。加算処理部９６Ｂは、第３偏光成分のＲＧＢ値（ＲＧＢｃ）に高周波輝度値（Ｙｈ）を加算して、第３偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒｃ＝ＲＧＢｃ＋Ｙｈ）を算出してもよい。加算処理部９６Ｂは、第４偏光成分のＲＧＢ値（ＲＧＢｄ）に高周波輝度値（Ｙｈ）を加算して、第４偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒｄ＝ＲＧＢｄ＋Ｙｈ）を算出してもよい。加算処理部９６Ｂは、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）に高周波輝度値（Ｙｈ）を加算する場合に、重み付け係数ｈを用いてもよいし、各色の重み付け係数ｈＲ、ｈＧ、ｈＢを用いてもよい。

【0102】

本実施形態によれば、第２実施形態と同様の効果を奏することができる。本実施形態によれば、無偏光モノクロ画像センサの出力信号から得られる高周波成分を加算するため、無偏光画像センサ７０Ｂや第２処理部９４Ｂのコストを下げることができる。

【0103】

第３実施形態に係る加算処理部９６Ｂは、第２実施形態と同様、合成ＲＧＢ値（ＲＧＢｍ）を用いる高解像度ＲＧＢ値（ＲＧＢｈｒ）を算出せず、４つの偏光成分の高解像度ＲＧＢ値（ＲＧＢｈｒａ～ＲＧＢｈｒｄ）の少なくとも一つのみを算出してもよい。この場合、第１処理部９２は、輝度算出部４２、ランク処理部４４、基準生成部４６および合成処理部４８を備えなくてもよい。第１処理部９２は、第１信号取得部３８および第１補間処理部４０のみを備えてもよい。

【0104】

（第４実施形態）
図１４は、第４実施形態に係る撮像装置１０Ｃの構成を模式的に示す図である。第３実施形態に係る撮像装置１０Ｃは、撮像ユニット１２Ｃと、画像処理装置１４Ｃとを備える。以下、第４実施形態について、上述の実施形態との相違点を中心に説明し、共通点については適宜省略する。図面において、上述の実施形態と同様の構成については同じ符号を付与する。

【0105】

撮像ユニット１２Ｃは、撮像レンズ１８と、偏光画像センサ２０と、光分割素子８０Ｃと、距離画像センサ１２０と、照明装置１２２とを備える。撮像レンズ１８および偏光画像センサ２０は、第１実施形態と同様に構成される。

【0106】

光分割素子８０Ｃは、撮像レンズ１８の後段に配置される。光分割素子８０Ｃは、撮像レンズ１８を通過した入射光１６を可視光１６ｖと赤外光１６ｎに分割する。可視光１６ｖは、偏光画像センサ２０に入射し、赤外光１６ｎは、距離画像センサ１２０に入射する。光分割素子８０Ｃは、例えば、ダイクロイックプリズムであり、可視光を選択的に透過し、赤外光を選択的に反射させるダイクロイックミラーを備える。ダイクロイックミラーは、例えば誘電体多層膜で構成される。ダイクロイックミラーは、偏光依存性のない無偏光ダイクロイックミラーであることが好ましい。無偏光ダイクロイックミラーを採用することにより、偏光画像センサ２０に入射する可視光の偏光状態の変化を抑制できる。光分割素子８０Ｃは、可視光を選択的に反射し、赤外光を選択的に透過させるように構成されてもよい。この場合、偏光画像センサ２０と距離画像センサ１２０の配置が入れ替わる。

【0107】

偏光画像センサ２０および距離画像センサ１２０は、入射光１６の光軸を基準として同軸となるように配置される。撮像レンズ１８は、入射光１６を偏光画像センサ２０および無偏光画像センサ７０のそれぞれの受光面に結像させるよう配置される。

【0108】

距離画像センサ１２０は、照明装置１２２から被写体に照射される赤外照明光１２４の反射光を検出する。距離画像センサ１２０は、赤外光を選択的に透過する赤外光フィルタが設けられる複数の画素を備える。距離画像センサ１２０は、例えば、ＬＩＤＡＲ（Light Detection And Ranging）センサであり、ＴｏＦ（Time of Flight）方式によって被写体までの距離を計測する。距離画像センサ１２０は、距離処理部１２６から供給されるパルス信号１１６のトリガタイミングから各画素の受光タイミングまでの経過時間に基づく距離値を出力する。距離画像センサ１２０は、例えば、各画素で検出される距離値のシリアルデータを距離画像信号１１８として出力する。

【0109】

照明装置１２２は、被写体に向けて赤外照明光１２４を照射する。照明装置１２２は、ＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser）などのレーザダイオードアレイを備える。照明装置１２２は、距離処理部１２６から供給されるパルス信号１１６に基づいてレーザダイオードアレイを駆動し、パルス信号１１６のトリガタイミングに同期したパルス照明光を照射する。

【0110】

画像処理装置１４Ｃは、第１処理部９２と、距離処理部１２６と、点群データ生成部１２８とを備える。第１処理部９２は、第２実施形態と同様に構成される。距離処理部１２６は、タイミング制御部１３０と、距離信号取得部１３２と、三次元位置算出部１３４とを備える。

【0111】

タイミング制御部１３０は、距離画像センサ１２０および照明装置１２２を駆動するためのパルス信号１１６を生成する。距離信号取得部１３２は、距離画像センサ１２０から距離画像信号１１８を取得する。三次元位置算出部１３４は、距離画像信号１１８を入力として用いて、被写体の三次元位置を示す座標値（ｘ，ｙ，ｚ）を算出する。三次元位置算出部１３４は、距離画像センサ１２０の各画素で検出される距離値から、三次元位置を示す座標値（ｘ，ｙ，ｚ）を画素ごとに算出する。各画素に対応する座標値（ｘ，ｙ，ｚ）は、各画素に入射する赤外光の被写体表面上での各反射点の三次元位置に相当する。

【0112】

点群データ生成部１２８は、第１処理部９２から出力されるＲＧＢ値と、距離処理部１２６から出力される座標値とを画素ごとに対応付けた点群データを生成する。点群データ生成部１２８は、ＰＬＹ（Polygon File Format）のファイル形式に準拠した点群データを生成することができる。ＰＬＹのファイル形式では、画素ごとに（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ）の配列データが設定される。

【0113】

点群データ生成部１２８は、第１処理部９２の合成処理部４８から出力される合成ＲＧＢ値（ＲＧＢｍ）と、距離処理部１２６から出力される座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成してもよい。この場合、例えばＰＬＹのファイル形式を用いて、画素ごとに（ｘ，ｙ，ｚ，Ｒｍ，Ｇｍ，Ｂｍ）の配列データが設定される。

【0114】

点群データ生成部１２８は、第１処理部９２の第１補間処理部４０から出力される４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と、距離処理部１２６から出力される座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成してもよい。この場合の点群データは、座標値（ｘ，ｙ，ｚ）と、第１偏光成分のＲＧＢ値（Ｒａ，Ｇａ，Ｂａ）と、第２偏光成分のＲＧＢ値（Ｒｂ，Ｇｂ，Ｂｂ）と、第３偏光成分のＲＧＢ値（Ｒｃ，Ｇｃ，Ｂｃ）と、第４偏光成分のＲＧＢ値（Ｒｄ，Ｇｄ，Ｂｄ）とを画素ごとに対応付ける。例えばＰＬＹのファイル形式を用いて、画素ごとに（ｘ，ｙ，ｚ，Ｒａ，Ｇａ，Ｂａ，Ｒｂ，Ｇｂ，Ｂｂ，Ｒｃ，Ｇｃ，Ｂｃ，Ｒｄ，Ｇｄ，Ｂｄ）の配列データが設定される。４つの偏光成分の設定順は、昇順（例えば、０度、４５度、９０度、１３５度の順）であってもよいし、降順（例えば、１３５度、９０度、４５度、０度の順）であってもよい。

【0115】

本実施形態によれば、合成ＲＧＢ値（ＲＧＢｍ）と座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成することができ、白飛びや黒つぶれが抑制された点群データを提供できる。このような点群データに基づいて仮想空間上に被写体の三次元形状をモデリングすることにより、仮想空間上で被写体に仮想照明を適用した場合であっても違和感の少ない三次元モデルを提供することができる。

【0116】

本実施形態によれば、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）と座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成することができる。このような点群データを利用することにより、４つの偏光成分から画素ごとの法線ベクトルを算出することができる。これにより、画素ごとの法線ベクトルと距離情報の点群を利用して被写体の三次元モデルの生成することができる。

【0117】

（第５実施形態）
図１５は、第５実施形態に係る撮像装置１０Ｄの構成を模式的に示す図である。撮像装置１０Ｄは、撮像ユニット１２Ｄと、画像処理装置１４Ｄとを備える。以下、第５実施形態について、上述の実施形態との相違点を中心に説明し、共通点については適宜省略する。図面において、上述の実施形態と同様の構成については同じ符号を付与する。

【0118】

撮像ユニット１２Ｄは、撮像レンズ１８と、光分割素子１４０と、第１画像センサ１４２と、第２画像センサ１４４と、第３画像センサ１４６と、照明装置１２２とを備える。撮像ユニット１２Ｄは、いわゆる三板式カメラであり、撮像レンズ１８を通過した入射光１６を光分割素子１４０を用いて３つの光１６ａ，１６ｂ，１６ｃに分割する。撮像ユニット１２Ｄは、入射光１６を第１画像センサ１４２、第２画像センサ１４４および第３画像センサ１４６のそれぞれで撮像するよう構成される。

【0119】

光分割素子１４０は、いわゆる三板式プリズムである。第１画像センサ１４２、第２画像センサ１４４および第３画像センサ１４６は、偏光画像センサ、無偏光画像センサまたは距離画像センサである。具体的には、第１画像センサ１４２、第２画像センサ１４４および第３画像センサ１４６の一つが偏光画像センサであり、第１画像センサ１４２、第２画像センサ１４４および第３画像センサ１４６の別の一つが無偏光画像センサであり、第１画像センサ１４２、第２画像センサ１４４および第３画像センサ１４６のさらに別の一つが距離画像センサである。

【0120】

撮像ユニット１２Ｄが備える偏光画像センサは、上述の実施形態に係る偏光画像センサ２０と同様に構成される。偏光画像センサは、第１画像信号３６を出力する。撮像ユニット１２Ｄが備える無偏光画像センサは、上述の第２実施形態に係る無偏光画像センサ７０または第３実施形態に係る無偏光画像センサ７０Ｂと同様に構成される。無偏光画像センサは、第２画像信号８６を出力する。撮像ユニット１２Ｄが備える距離画像センサは、上述の第４実施形態に係る距離画像センサ１２０と同様に構成される。距離画像センサは、パルス信号１１６に同期して動作し、距離画像信号１１８を出力する。

【0121】

照明装置１２２は、上述の第４実施形態と同様に構成される。照明装置１２２は、パルス信号１１６に同期して動作し、被写体に向けて赤外照明光１２４を照射する。

【0122】

画像処理装置１４Ｄは、第１処理部９２と、第２処理部９４と、加算処理部９６と、距離処理部１２６と、点群データ生成部１２８Ｄとを備える。第１処理部９２、第２処理部９４および加算処理部９６は、上述の第２実施形態または第３実施形態と同様に構成されることができる。距離処理部１２６は、上述の第４実施形態と同様に構成されることができる。

【0123】

点群データ生成部１２８Ｄは、加算処理部９６から出力される高解像度ＲＧＢ値（ＲＧＢｈｒまたはＲＧＢｈｒａ～ＲＧＢｈｒｄ）と、距離処理部１２６から出力される座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成する。

【0124】

点群データ生成部１２８Ｄは、合成ＲＧＢ値（ＲＧＢｍ）を用いる高解像度ＲＧＢ値（Ｒｈｒ，Ｇｈｒ，Ｂｈｒ）と、座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成してもよい。この場合、例えばＰＬＹのファイル形式を用いて、画素ごとに（ｘ，ｙ，ｚ，Ｒｈｒ，Ｇｈｒ，Ｂｈｒ）の配列データが設定される。

【0125】

点群データ生成部１２８Ｄは、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）を用いる高解像度ＲＧＢ値（ＲＧＢｈｒａ～ＲＧＢｈｒｄ）と、座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成してもよい。この場合の点群データは、座標値（ｘ，ｙ，ｚ）と、第１偏光成分の高解像度ＲＧＢ値（Ｒｈｒａ，Ｇｈｒａ，Ｂｈｒａ）と、第２偏光成分の高解像度ＲＧＢ値（Ｒｈｒｂ，Ｇｈｒｂ，Ｂｈｒｂ）と、第３偏光成分の高解像度ＲＧＢ値（Ｒｈｒｃ，Ｇｈｒｃ，Ｂｈｒｃ）と、第４偏光成分の高解像度ＲＧＢ値（Ｒｈｒｄ，Ｇｈｒｄ，Ｂｈｒｄ）とを画素ごとに対応付ける。例えばＰＬＹのファイル形式を用いて、画素ごとに（ｘ，ｙ，ｚ，Ｒｈｒａ，Ｇｈｒａ，Ｂｈｒａ，Ｒｈｒｂ，Ｇｈｒｂ，Ｂｈｒｂ，Ｒｈｒｃ，Ｇｈｒｃ，Ｂｈｒｃ，Ｒｈｒｄ，Ｇｈｒｄ，Ｂｈｒｄ）の配列データが設定される。４つの偏光成分の設定順は、昇順（例えば、０度、４５度、９０度、１３５度の順）であってもよいし、降順（例えば、１３５度、９０度、４５度、０度の順）であってもよい。

【0126】

本実施形態によれば、合成ＲＧＢ値（ＲＧＢｍ）を用いた高解像度ＲＧＢ値（ＲＧＢｈｒ）と座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成することができる。点群データのＲＧＢ値に高周波成分が加算されているため、高解像度であり、折り返しひずみが抑制され、かつ、白飛びや黒つぶれが抑制されたより好適な点群データを提供できる。このような点群データに基づいて仮想空間上に被写体の三次元形状をモデリングすることにより、仮想空間上で被写体に仮想照明を適用した場合であっても違和感の少ない三次元モデルを提供することができる。

【0127】

本実施形態によれば、４つの偏光成分のＲＧＢ値（ＲＧＢａ～ＲＧＢｄ）を用いた高解像度ＲＧＢ値（ＲＧＢｈｒａ～ＲＧＢｈｒｄ）と座標値（ｘ，ｙ，ｚ）とを画素ごとに対応付けた点群データを生成することができる。点群データの４つの偏光成分のＲＧＢ値のそれぞれに高周波成分が加算されているため、高解像度であり、折り返しひずみが抑制されたより好適な点群データを提供できる。このような点群データを利用することにより、４つの偏光成分から画素ごとの法線ベクトルを算出することができる。これにより、画素ごとの法線ベクトルと距離情報の点群を利用して被写体の三次元モデルを生成することができる。

【0128】

図１６は、第５実施形態の第１構成例に係る撮像ユニット１３６を模式的に示す図である。図１６の撮像ユニット１３６は、図１５の撮像ユニット１２Ｄとして用いることができる。撮像ユニット１３６は、撮像レンズ１３８と、光分割素子１４０と、第１画像センサ１４２と、第２画像センサ１４４と、第３画像センサ１４６と、位相差板１４８とを備える。

【0129】

光分割素子１４０は、第１プリズム１５２と、第２プリズム１５４と、第３プリズム１５６とを備える。第１プリズム１５２は、第１入射面１５８と、第１分割面１６０と、第１出射面１６２とを備える。第２プリズム１５４は、第２入射面１６４と、第２分割面１６６と、第２出射面１６８とを備える。第３プリズム１５６は、第３入射面１７０と、第３出射面１７２とを備える。第１分割面１６０と第２入射面１６４の間にはエアギャップが設けられる。

【0130】

第１入射面１５８に入射する入射光１８０は、第１分割面１６０にて第１反射光１８２と第１透過光１８４に分割される。第１分割面１６０にて反射した第１反射光１８２は、第１入射面１５８にて内部全反射した後、第１出射面１６２を透過して第１画像センサ１４２に向かう。第１分割面１６０を透過した第１透過光１８４は、第２分割面１６６にて第２反射光１８６と第２透過光１８８に分割される。第２分割面１６６にて反射した第２反射光１８６は、第２入射面１６４にて内部全反射した後、第２出射面１６８を透過して第２画像センサ１４４に向かう。第２分割面１６６を透過した第２透過光１８８は、第３入射面１７０および第３出射面１７２を透過して第３画像センサ１４６に向かう。

【0131】

図１６の第１構成例において、第１画像センサ１４２を偏光画像センサ２０とすることができる。第１画像センサ１４２に向かう第１反射光１８２は、第１分割面１６０および第１入射面１５８にて反射することにより、第１反射光１８２の偏光状態が変化しうる。つまり、第１反射光１８２の偏光状態は、入射光１８０の偏光状態から変化しうる。特に、プリズムと空気の界面である第１入射面１５８にて第１反射光１８２が内部全反射するときに、第１反射光１８２の偏光状態が顕著に変化しうる。第１反射光１８２の偏光状態が入射光１８０の偏光状態から変化してしまうと、偏光画像センサ２０は、入射光１８０の偏光状態を正しく計測することができない。

【0132】

図１６の第１構成例では、光分割素子１４０に起因する第１反射光１８２の偏光状態の変化を補償するため、第１画像センサ１４２と光分割素子１４０の間に位相差板１４８が設けられる。位相差板１４８は、第１分割面１６０での反射および第１入射面１５８での反射の少なくとも一方により生じる第１反射光１８２のｓ偏光成分とｐ偏光成分の位相差を低減または相殺するように位相差が設定される。位相差板１４８により与えられる位相差の大きさは特に限られないが、例えば、１２０度程度である。

【0133】

第１画像センサ１４２を偏光画像センサ２０とする場合、第１分割面１６０は、波長依存性のない無偏光ビームスプリッタを備えることが好ましい。ここで「無偏光」とは、偏光への影響が無視できる程度に小さいことをいう。無偏光ビームスプリッタは、ビームスプリッタでの反射前後および透過前後の偏光状態の変化が無視できる程度に小さくなるように構成される。波長依存性のない無偏光ビームスプリッタとして、例えば、金属薄膜を用いることができる。波長依存性のない無偏光のビームスプリッタとして、偏光状態の変化を抑制するように設計された誘電体多層膜を用いることもできる。第１分割面１６０に無偏光ビームスプリッタを設けることにより、第１分割面１６０にて反射する第１反射光１８２の偏光状態の変化を抑制できる。

【0134】

第１画像センサ１４２を偏光画像センサ２０とする場合、第２画像センサ１４４および第３画像センサ１４６の一方が無偏光画像センサ７０または７０Ｂであり、第２画像センサ１４４および第３画像センサ１４６の他方が距離画像センサ１２０である。この場合、第２分割面１６６は、可視光と赤外光を分離するダイクロイックミラーを備えることが好ましい。ダイクロイックミラーとして、例えば、誘電体多層膜を用いることができる。第２画像センサ１４４が無偏光画像センサ７０または７０Ｂである場合、第２分割面１６６に設けられるダイクロイックミラーは、可視光を選択的に反射し、赤外光を選択的に透過するように設計される。第２画像センサ１４４が距離画像センサ１２０である場合、第２分割面１６６に設けられるダイクロイックミラーは、可視光を選択的に透過し、赤外光を選択的に反射するように設計される。なお、第２分割面１６６は、ダイクロイックミラーではなく、ハーフミラーなどの波長依存性のないビームスプリッタを備えてもよい。

【0135】

図１６の第１構成例によれば、光分割素子１４０を用いることにより、偏光画像センサ２０、無偏光画像センサ７０または７０Ｂおよび距離画像センサ１２０のそれぞれを用いて入射光１８０を撮像し、偏光画像、無偏光画像および距離画像を得ることができる。本実施形態によれば、第１画像センサ１４２を偏光画像センサ２０とすることにより、偏光画像センサ２０に向かう光路上にダイクロイックミラーが配置されない構成とすることができる。これにより、ダイクロイックミラーにおける偏光状態の変化に影響されない偏光画像を得ることができる。また、光分割素子１４０と偏光画像センサ２０（第１画像センサ１４２）の間に位相差板１４８を設けることにより、第１分割面１６０および第１入射面１５８の少なくとも一方にて生じる第１反射光１８２の偏光状態の変化を抑制できる。これにより、入射光１８０に対する偏光状態の変化が抑制された偏光画像を得ることができる。

【0136】

図１７は、第５実施形態の第２構成例に係る撮像ユニット１３６Ａを模式的に示す図である。第２構成例では、第２画像センサ１４４と光分割素子１４０の間に位相差板１４８Ａが設けられる点で、上述の第１実施形態と相違する。以下、第２構成例について、第１構成例との相違点を中心に説明し、共通点については適宜省略する。

【0137】

撮像ユニット１３６Ａは、撮像レンズ１３８と、光分割素子１４０と、第１画像センサ１４２と、第２画像センサ１４４と、第３画像センサ１４６と、位相差板１４８Ａとを備える。第２実施形態では、第２画像センサ１４４が偏光画像センサ２０である。第２実施形態では、第１画像センサ１４２および第３画像センサ１４６の一方が無偏光画像センサ７０または７０Ｂであり、第１画像センサ１４２および第３画像センサ１４６の他方が距離画像センサ１２０である。

【0138】

第１画像センサ１４２が無偏光画像センサ７０または７０Ｂであり、第３画像センサ１４６が距離画像センサ１２０である場合、第１分割面１６０は、波長依存性のない無偏光ビームスプリッタを備えることが好ましい。第１分割面１６０に無偏光ビームスプリッタを設けることにより、第１分割面１６０を透過する第１透過光１８４の偏光状態の変化を抑制できる。第１画像センサ１４２が無偏光画像センサ７０または７０Ｂであり、第３画像センサ１４６が距離画像センサ１２０である場合、第２分割面１６６は、無偏光ダイクロイックミラーであることが好ましい。第２分割面１６６に設けられるダイクロイックミラーは、可視光を選択的に反射し、赤外光を選択的に透過するように設計される。第２分割面１６６に無偏光ダイクロイックミラーを設けることにより、第２分割面１６６にて反射した第２反射光１８６の偏光状態の変化を抑制できる。なお、第２分割面１６６は、ダイクロイックミラーではなく、ハーフミラーなどの波長依存性のない無偏光ビームスプリッタを備えてもよい。

【0139】

第１画像センサ１４２が距離画像センサ１２０であり、第３画像センサ１４６が無偏光画像センサ７０または７０Ｂである場合、第１分割面１６０は、無偏光ダイクロイックミラーであることが好ましい。無偏光ダイクロイックミラーとして、例えば、可視域から赤外域にわたって偏光状態の変化を抑制するように設計された誘電体多層膜を用いることができる。第１分割面１６０に設けられるダイクロイックミラーは、可視光を選択的に透過し、赤外光を選択的に反射するように設計される。第１分割面１６０に無偏光ダイクロイックミラーを設けることにより、第１分割面１６０を透過する第１透過光１８４の偏光状態の変化を抑制できる。なお、第１分割面１６０は、ダイクロイックミラーではなく、波長依存性のない無偏光ビームスプリッタを備えてもよい。第１画像センサ１４２が距離画像センサ１２０であり、第３画像センサ１４６が無偏光画像センサ７０または７０Ｂである場合、第２分割面１６６は、波長依存性のない無偏光ビームスプリッタを備えることが好ましい。第２分割面１６６に無偏光ビームスプリッタを設けることにより、第２分割面１６６にて反射する第２反射光１８６の偏光状態の変化を抑制できる。

【0140】

位相差板１４８Ａは、第１分割面１６０の透過、第２分割面１６６での反射および第２入射面１６４での反射の少なくとも一つにより生じる第２反射光１８６のｓ偏光成分とｐ偏光成分の位相差を低減または相殺するように位相差が設定される。位相差板１４８Ａは、光分割素子１４０に起因する第２反射光１８６の偏光状態の変化を補償する。特に、プリズムと空気の界面である第２入射面１６４にて第２反射光１８６が内部全反射するときに、第２反射光１８６の偏光状態が顕著に変化しうる。位相差板１４８Ａにより与えられる位相差の大きさは特に限られないが、例えば、１２０度程度である。

【0141】

図１７の第２構成例においても、光分割素子１４０を用いることにより、偏光画像センサ２０、無偏光画像センサ７０または７０Ｂおよび距離画像センサ１２０のそれぞれを用いて入射光１８０を撮像し、偏光画像、無偏光画像および距離画像を得ることができる。本実施形態によれば、光分割素子１４０と偏光画像センサ２０（第２画像センサ１４４）の間に位相差板１４８Ａを設けることにより、第１分割面１６０、第２分割面１６６および第２入射面１６４の少なくとも一つにて生じる第２反射光１８６の偏光状態の変化を抑制することができる。本実施形態によれば、第１分割面１６０または第２分割面１６６に無偏光ダイクロイックミラーを設けることにより、ダイクロイックミラーにおける偏光状態の変化が抑制された偏光画像を得ることができる。本実施形態によれば、第１分割面１６０または第２分割面１６６に無偏光ビームスプリッタを設けることにより、ビームスプリッタにおける偏光状態の変化が抑制された偏光画像を得ることができる。

【0142】

図１８は、第５実施形態の第３構成例に係る撮像ユニット１３６Ｂを模式的に示す図である。第３構成例では、位相差板１４８，１４８Ａが設けられない点で、上述の第１構成例および第２構成例と相違する。以下、第３構成例について、第１構成例および第２構成例の相違点を中心に説明し、共通点については適宜省略する。

【0143】

撮像ユニット１３６Ｂは、第１画像センサ１４２と、第２画像センサ１４４と、第３画像センサ１４６と、光分割素子１４０とを備える。第３実施形態では、第３画像センサ１４６が偏光画像センサ２０である。第３実施形態では、第１画像センサ１４２および第２画像センサ１４４の一方が無偏光画像センサ７０または７０Ｂであり、第１画像センサ１４２および第２画像センサ１４４の他方が距離画像センサ１２０である。

【0144】

第１画像センサ１４２が無偏光画像センサ７０または７０Ｂであり、第２画像センサ１４４が距離画像センサ１２０である場合、第１分割面１６０は、波長依存性のない無偏光ビームスプリッタを備えることが好ましい。第１分割面１６０に無偏光ビームスプリッタを設けることにより、第１分割面１６０を透過する第１透過光１８４の偏光状態の変化を抑制できる。第１画像センサ１４２が無偏光画像センサ７０または７０Ｂであり、第２画像センサ１４４が距離画像センサ１２０である場合、第２分割面１６６は、無偏光ダイクロイックミラーであることが好ましい。第２分割面１６６に設けられるダイクロイックミラーは、可視光を選択的に透過し、赤外光を選択的に反射するように設計される。第２分割面１６６に無偏光ダイクロイックミラーを設けることにより、第２分割面１６６を透過する第２透過光１８８の偏光状態の変化を抑制できる。なお、第２分割面１６６は、ダイクロイックミラーではなく、ハーフミラーなどの波長依存性のない無偏光ビームスプリッタを備えてもよい。

【0145】

第１画像センサ１４２が距離画像センサ１２０であり、第２画像センサ１４４が無偏光画像センサ７０または７０Ｂである場合、第１分割面１６０は、無偏光ダイクロイックミラーであることが好ましい。第１分割面１６０に設けられるダイクロイックミラーは、可視光を選択的に透過し、赤外光を選択的に反射するように設計される。第１分割面１６０に無偏光ダイクロイックミラーを設けることにより、第１分割面１６０を透過する第１透過光１８４の偏光状態の変化を抑制できる。なお、第１分割面１６０は、ダイクロイックミラーではなく、波長依存性のない無偏光ビームスプリッタを備えてもよい。第１画像センサ１４２が距離画像センサ１２０であり、第２画像センサ１４４が無偏光画像センサ７０または７０Ｂである場合、第２分割面１６６は、波長依存性のない無偏光ビームスプリッタを備えることが好ましい。第２分割面１６６に無偏光ビームスプリッタを設けることにより、第２分割面１６６を透過する第２透過光１８８の偏光状態の変化を抑制できる。

【0146】

第３構成例においても、光分割素子１４０を用いることにより、偏光画像センサ２０、無偏光画像センサ７０または７０Ｂおよび距離画像センサ１２０をそれぞれ用いて入射光１８０を撮像し、偏光画像、無偏光画像および距離画像を得ることができる。本実施形態によれば、第３画像センサ１４６を偏光画像センサ２０とすることにより、偏光画像センサ２０に向かう光路上で内部全反射が生じない構成とすることができる。これにより、内部全反射による偏光状態の変化に影響されない偏光画像を得ることができる。本実施形態によれば、第１分割面１６０および第２分割面１６６に無偏光のダイクロイックミラーまたはビームスプリッタを設けることにより、第１分割面１６０および第２分割面１６６の透過による第２透過光１８８の偏光状態の変化を抑制できる。これにより、光分割素子１４０と偏光画像センサ２０（第３画像センサ１４６）の間に位相差板を設けなくても、適切な偏光画像を得ることができる。

【0147】

（第６実施形態）
図１９は、第６実施形態に係る内視鏡システム２００の構成を模式的に示す図である。内視鏡システム２００は、内視鏡２０２と、画像処理装置２０４とを備える。内視鏡２０２は、先端部２１０を有する挿入部２１２と、操作部２１４と、接続部２１６とを備える。

【0148】

挿入部２１２は、観察対象の内部に挿入される部分である。挿入部２１２は、例えば、可撓性を有する部材で構成され、先端部２１０の近傍を屈曲させることにより先端部２１０の向きが調整可能となるよう構成される。この場合、内視鏡２０２は、軟性鏡として構成される。挿入部２１２は、可撓性を有しない部材で構成されてもよい。この場合、内視鏡２０２は、硬性鏡として構成される。

【0149】

先端部２１０は、観察対象の内部の被写体に向けられる部分であり、挿入部２１２の先端に設けられる。先端部２１０の内部には撮像ユニット２２０が設けられる。

【0150】

操作部２１４は、内視鏡２０２を使用するユーザが把持する部分である。操作部２１４は、先端部２１０の向きを変化させるための操作ノブ（不図示）などが設けられる。

【0151】

接続部２１６は、内視鏡２０２を画像処理装置２０４に接続するためのインターフェースである。撮像ユニット２２０から出力される画像信号は、挿入部２１２および操作部２１４の内部に設けられる伝送ケーブル２３０を通って接続部２１６を介して画像処理装置２０４に伝送される。

【0152】

画像処理装置２０４は、撮像ユニット２２０から出力され、伝送ケーブル２３０を通じて伝送される画像信号を入力として用いる画像処理を実行する。

【0153】

内視鏡システム２００は、上述の実施形態に係る撮像装置１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄのいずれかを備えることができる。撮像ユニット２２０は、上述の実施形態に係る撮像ユニット１２，１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ，１３６，１３６Ａ，１３６Ｂと同様に構成されることができる。画像処理装置２０４は、上述の実施形態に係る画像処理装置１４，１４Ａ，１４Ｂ，１４Ｃ，１４Ｄのいずれかと同様に構成されることができる。

【0154】

伝送ケーブル２３０は、撮像ユニット２２０から出力される第１画像信号３６、第２画像信号８６，８６Ｂおよび距離画像信号１１８の少なくともいずれかを画像処理装置２０４に伝送することができる。伝送ケーブル２３０は、画像処理装置２０４から撮像ユニット２２０に向けてパルス信号１１６を伝送することができる。

【0155】

本実施形態によれば、内視鏡２０２の先端部２１０に設けられる撮像ユニット２２０から取得する画像信号を用いて、より明瞭なカラー画像を生成することができる。例えば、４つの偏光成分のＲＧＢ値を合成することにより、白飛びや黒つぶれが抑制されたカラー画像を生成できる。また、偏光画像センサ２０の出力信号から得られるカラー画像に無偏光画像センサ７０，７０Ｂの出力信号から得られる高周波成分を加算することにより、高解像度のカラー画像を生成できる。これにより、高解像度であり、かつ、折り返しひずみが抑制されたカラー画像を生成できる。また、４つの偏光成分のそれぞれのカラー画像に高周波成分を加算することにより、高解像度であり、かつ、折り返しひずみが抑制されたより好適な偏光カラー画像を生成できる。また、距離画像センサをさらに用いることにより、被写体の三次元位置を示す座標値と明瞭なカラー画像に基づくＲＧＢ値とを対応付けた点群データを生成できる。これにより、被写体のより好適な三次元モデルを生成することができる。

【0156】

（第７実施形態）
図２０は、第７実施形態に係る内視鏡システム２００Ａの構成を模式的に示す図である。第７実施形態に係る内視鏡システム２００Ａは、二眼式となるように構成される点で、上述の第６実施形態と相違する。以下、第７実施形態について、第６実施形態との相違点を中心に説明し、共通点については適宜省略する。図面において、第６実施形態と同様の構成については同じ符号を付与する。

【0157】

内視鏡システム２００Ａは、内視鏡２０２Ａと、画像処理装置２０４Ａとを備える。内視鏡２０２Ａは、先端部２１０を有する挿入部２１２と、操作部２１４と、接続部２１６とを備える。

【0158】

先端部２１０の内部には、第１撮像ユニット２２２と、第２撮像ユニット２２４とが設けられる。第１撮像ユニット２２２および第２撮像ユニット２２４は、例えば、左右に並列するように設けられる。第１撮像ユニット２２２および第２撮像ユニット２２４のそれぞれは、上述の実施形態に係る撮像ユニット１２，１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ，１３６，１３６Ａ，１３６Ｂと同様に構成されることができる。

【0159】

挿入部２１２および操作部２１４の内部には、第１伝送ケーブル２３２と、第２伝送ケーブル２３４とが設けられる。第１伝送ケーブル２３２は、第１撮像ユニット２２２から出力される画像信号等を伝送する。第２伝送ケーブル２３４は、第２撮像ユニット２２４から出力される画像信号等を伝送する。

【0160】

画像処理装置２０４Ａは、第１画像処理部２４２と、第２画像処理部２４４とを備える。第１画像処理部２４２は、第１撮像ユニット２２２から出力され、第１伝送ケーブル２３２を通じて伝送される画像信号を入力として用いる画像処理を実行する。第２画像処理部２４４は、第２撮像ユニット２２４から出力され、第２伝送ケーブル２３４を通じて伝送される画像信号を入力として用いる画像処理を実行する。第１画像処理部２４２および第２画像処理部２４４のそれぞれは、上述の実施形態に係る画像処理装置１４，１４Ａ，１４Ｂ，１４Ｃ，１４Ｄのいずれかと同様に構成されることができる。

【0161】

本実施形態によれば、内視鏡２０２Ａの先端部２１０に設けられる第１撮像ユニット２２２および第２撮像ユニット２２４から取得する画像信号を用いて、ステレオ画像を生成することができる。本実施形態によれば、ステレオ画像を構成する左右のカラー画像のそれぞれをより明瞭なカラー画像とすることができる。

【0162】

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

【0163】

以下、本開示のいくつかの態様について述べる。

【0164】

本開示の第１の態様は、画素ごとに異なる４つの偏光成分を検出する２×２の画素を備える画素群が二次元配列され、ＲＧＢのカラーフィルタが前記画素群ごとにベイヤー配列される偏光画像センサと、前記偏光画像センサから出力される画素値を偏光成分ごとに分離して前記４つの偏光成分に対応する４つのベイヤー配列画像を生成し、前記４つのベイヤー配列画像のそれぞれをディベイヤーおよびアップコンバートすることにより、前記４つの偏光成分のそれぞれのＲＧＢ値を画素ごとに算出する補間処理部と、前記４つの偏光成分のそれぞれのＲＧＢ値から前記４つの偏光成分のそれぞれの輝度値を画素ごとに算出する輝度算出部と、前記４つの偏光成分の輝度値の大きさ順に前記４つの偏光成分を画素ごとに順位付けするランク処理部と、少なくとも２位および３位を含む複数の偏光成分の輝度値を合成した基準輝度値を画素ごとに算出する基準生成部と、ａ）前記輝度値が所定の閾値に一致する場合、前記複数の偏光成分のＲＧＢ値を合成した基準ＲＧＢ値を出力し、ｂ）前記基準輝度値が前記閾値よりも小さい場合、１位および２位の偏光成分のＲＧＢ値を合成した上位ＲＧＢ値と前記基準ＲＧＢ値とを合成した合成ＲＧＢ値を出力し、ｃ）前記基準輝度値が前記閾値よりも小さい場合、３位および４位の偏光成分のＲＧＢ値を合成した下位ＲＧＢ値と前記基準ＲＧＢ値とを合成した合成ＲＧＢ値を出力する合成処理部と、を備える撮像装置である。

【0165】

第１の態様において、前記合成処理部は、ｂ）前記基準輝度値が前記閾値より小さい画素の場合、前記基準輝度値が小さくなるにつれて前記上位ＲＧＢ値の合成の重み付けを大きくし、ｃ）前記基準輝度値が前記閾値より大きい画素の場合、前記基準輝度値が大きくなるにつれて前記下位ＲＧＢ値の合成の重み付けを大きくしてもよい。

【0166】

第１の態様において、前記撮像装置は、前記偏光画像センサの前記画素群の配列数よりも多い画素数の画素が二次元配列される無偏光画像センサと、入射光を前記偏光画像センサに向かう光と、前記無偏光画像センサに向かう光とに分割する光分割素子と、前記画像センサの出力画像を用いて画素ごとの高周波成分を抽出する高周波抽出部と、前記合成処理部から出力されるＲＧＢ値に前記高周波成分を画素ごとに加算し、高解像度画像を生成する加算処理部と、さらに備えてもよい。

【0167】

第１の態様において、前記撮像装置は、被写体までの距離を計測する距離画像センサと、入射光を前記偏光画像センサに向かう光と、前記距離画像センサに向かう光とに分割する光分割素子と、前記距離画像センサの出力信号を用いて前記被写体の三次元位置を示す座標値を画素ごとに算出する三次元位置算出部と、前記合成処理部から出力されるＲＧＢ値と、前記三次元位置算出部によって算出される座標値とを画素ごとに対応付けた点群データを生成する点群データ生成部と、をさらに備えてもよい。

【0168】

第１の態様において、前記撮像装置は、前記偏光画像センサの前記画素群の配列数よりも多い画素数の画素が二次元配列される無偏光画像センサと、被写体までの距離を計測する距離画像センサと、入射光を前記偏光画像センサに向かう光と、前記無偏光画像センサに向かう光と、前記距離画像センサに向かう光とに分割する光分割素子と、前記画像センサの出力画像を用いて画素ごとの高周波成分を抽出する高周波抽出部と、前記合成処理部から出力されるＲＧＢ値に前記高周波成分を画素ごとに加算し、高解像度画像を生成する加算処理部と、前記距離画像センサの出力信号を用いて前記被写体の三次元位置を示す座標値を画素ごとに算出する三次元位置算出部と、前記加算処理部によって生成される高解像度画像のＲＧＢ値と、前記三次元位置算出部によって算出される座標値とを画素ごとに対応付けた点群データを生成する点群データ生成部と、をさらに備えてもよい。

【0169】

本開示の第２の態様は、画素ごとに異なる４つの偏光成分を検出する２×２の画素を備える画素群が二次元配列され、ＲＧＢのカラーフィルタが前記画素群ごとにベイヤー配列される偏光画像センサと、前記偏光画像センサの前記画素群の配列数よりも多い画素数の画素が二次元配列される無偏光画像センサと、入射光を前記偏光画像センサに向かう光と、前記無偏光画像センサに向かう光とに分割する光分割素子と、前記偏光画像センサから出力される画素値を偏光成分ごとに分離して前記４つの偏光成分に対応する４つのベイヤー配列画像を生成し、前記４つのベイヤー配列画像のそれぞれをディベイヤーおよびアップコンバートすることにより、前記４つの偏光成分のそれぞれのＲＧＢ値を画素ごとに算出する補間処理部と、前記無偏光画像センサの出力画像を用いて画素ごとの高周波成分を抽出する高周波抽出部と、前記補間処理部から出力される前記４つの偏光成分のそれぞれのＲＧＢ値に前記高周波成分を画素ごとに加算し、前記４つの偏光成分に対応する４つの高解像度画像を生成する加算処理部と、を備える撮像装置である。

【0170】

第１の態様または第２の態様において、前記無偏光画像センサは、ＲＧＢのカラーフィルタが画素ごとにベイヤー配列されるカラー画像センサであり、前記高周波抽出部は、前記無偏光画像センサから出力されるベイヤー配列画像をディベイヤーすることにより算出される画素ごとのＲＧＢ値から高周波成分を抽出し、前記加算処理部は、前記４つの偏光成分のそれぞれのＲＧＢ値に前記高周波成分を示すＲＧＢ値を画素ごとに加算してもよい。

【0171】

第１の態様または第２の態様において、前記無偏光画像センサは、カラーフィルタを備えないモノクロ画像センサであり、前記高周波抽出部は、前記モノクロ画像センサから出力される画素ごとの輝度値から高周波成分を抽出し、前記加算処理部は、前記４つの偏光成分のＲＧＢ値のそれぞれに前記高周波成分を示す輝度値を画素ごとに加算してもよい。

【0172】

第２の態様において、前記撮像装置は、被写体までの距離を計測する距離画像センサをさらに備え、前記光分割素子は、前記入射光を前記距離画像センサに向かう光にさらに分割し、前記距離画像センサの出力信号を用いて前記被写体の三次元位置を示す座標値を画素ごとに算出する三次元位置算出部と、前記加算処理部から出力される前記４つの高解像度画像のそれぞれのＲＧＢ値と、前記三次元位置算出部によって算出される座標値とを画素ごとに対応付けた点群データを生成する点群データ生成部と、をさらに備えてもよい。

【0173】

本開示の第３の態様は、第１の態様または第２の態様の撮像装置を備える内視鏡システムである。前記内視鏡システムは、被写体に向けられる先端部を有する挿入部を備え、前記挿入部内に伝送ケーブルが設けられる内視鏡と、前記伝送ケーブルを介して信号を取得する画像処理装置と、を備える。

【0174】

第３の態様において、前記先端部内に前記偏光画像センサが設けられ、前記伝送ケーブルは、前記偏光画像センサの出力信号を伝送し、前記画像処理装置は、前記補間処理部、前記輝度算出部、前記ランク処理部、前記基準生成部および前記合成処理部を備え、前記偏光画像センサの出力信号を取得してもよい。

【0175】

第３の態様において、前記先端部内に前記偏光画像センサ、前記無偏光画像センサおよび前記光分割素子が設けられ、前記伝送ケーブルは、前記偏光画像センサおよび前記無偏光画像センサの出力信号を伝送し、前記画像処理装置は、前記補間処理部、前高周波抽出部および前記加算処理部を備え、前記偏光画像センサおよび前記無偏光画像センサの出力信号を取得してもよい。

【符号の説明】

【0176】

１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ…撮像装置、１２，１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ…撮像ユニット、１４，１４Ａ，１４Ｂ，１４Ｃ，１４Ｄ…画像処理装置、１６…入射光、１８…撮像レンズ、２０…偏光画像センサ、２２…光検出層、２４…偏光子層、２６…カラーフィルタ層、２８…マイクロレンズ層、３０…画素、３２…画素群、３４…画素組、３８…信号取得部、４０…補間処理部、４２…輝度算出部、４４…ランク処理部、４６…基準生成部、４８…合成処理部、６０…基準合成部、６２…上位合成部、６４…下位合成部、６６…係数算出部、６８…出力合成部、７０，７０Ｂ…無偏光画像センサ、７２…光検出層、７６…カラーフィルタ層、７８…マイクロレンズ層、８０，８０Ｃ…光分割素子、８２…画素、８４…画素群、９６，９６Ｂ…加算処理部、１０２，１０２Ｂ…高周波抽出部、１２０…距離画像センサ、１２８，１２８Ｄ…点群データ生成部、１３４…三次元位置算出部、１４０…光分割素子、２００，２００Ａ…内視鏡システム、２０２，２０２Ａ…内視鏡、２０４，２０４Ａ…画像処理装置、２１０…先端部、２１２…挿入部、２２０…撮像ユニット、２３０…伝送ケーブル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】