知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6794989
(24)【登録日】2020年11月16日
(45)【発行日】2020年12月2日
(54)【発明の名称】映像処理装置、撮影装置、映像処理方法及びプログラム
(51)【国際特許分類】
H04N 9/07 20060101AFI20201119BHJP
G02B 5/20 20060101ALI20201119BHJP
G02B 5/26 20060101ALI20201119BHJP
G02B 5/28 20060101ALI20201119BHJP
G02B 5/22 20060101ALI20201119BHJP
【ＦＩ】
H04N9/07
G02B5/20 101
G02B5/26
G02B5/28
G02B5/22
【請求項の数】7
【全頁数】21
(21)【出願番号】特願2017-540507(P2017-540507)
(86)(22)【出願日】2016年9月14日
(86)【国際出願番号】JP2016004195
(87)【国際公開番号】WO2017047080
(87)【国際公開日】20170323
【審査請求日】2019年8月20日
(31)【優先権主張番号】特願2015-184885(P2015-184885)
(32)【優先日】2015年9月18日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100124154
【弁理士】
【氏名又は名称】下坂 直樹
(72)【発明者】
【氏名】戸田 真人
【審査官】
松永 隆志
(56)【参考文献】
【文献】
国際公開第２０１５／１３３１３０（ＷＯ，Ａ１）
【文献】
特開２００７−２３５７６０（ＪＰ，Ａ）
【文献】
特開２０１２−０８０５５３（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ９／００−９／１１
Ｈ０４Ｎ ５／２２５−５／３７８
Ｇ０２Ｂ ５／２０
Ｇ０２Ｂ ５／２２
Ｇ０２Ｂ ５／２６
Ｇ０２Ｂ ５／２８
(57)【特許請求の範囲】
【請求項1】
所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する取得手段と、
前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段とを備え、
前記信号処理手段は、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
映像処理装置。
前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段とを備え、
前記信号処理手段は、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
映像処理装置。
【請求項2】
前記パターン情報は、前記パターンの位置及び形状を表す
請求項１に記載の映像処理装置。
請求項１に記載の映像処理装置。
【請求項3】
近赤外光を前記パターンで透過する透過部を有する光学フィルタを備える受光手段を備える
請求項１に記載の映像処理装置。
請求項１に記載の映像処理装置。
【請求項4】
前記受光手段は、各々が複数の色成分のいずれかに対応する複数のセンサを備え、
前記パターンは、前記複数のセンサの配列と対応関係を有する
請求項３に記載の映像処理装置。
前記パターンは、前記複数のセンサの配列と対応関係を有する
請求項３に記載の映像処理装置。
【請求項5】
所定の幾何学的形状を有するパターンで近赤外光を透過する光学フィルタを有し、当該光学フィルタを透過した近赤外光を含む映像を表す映像信号を生成する受光手段と、
前記パターンを規定するパターン情報を用いて、前記生成された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理手段とを備え、
前記映像処理手段は、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記生成された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
撮影装置。
前記パターンを規定するパターン情報を用いて、前記生成された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理手段とを備え、
前記映像処理手段は、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記生成された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
撮影装置。
【請求項6】
所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得し、
前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理方法であって、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
映像処理方法。
前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理方法であって、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
映像処理方法。
【請求項7】
コンピュータに、
所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する処理と、
前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する処理とを実行させるためのプログラムであって、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
プログラム。
所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する処理と、
前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する処理とを実行させるためのプログラムであって、
前記色信号の推定値、前記色信号と前記近赤外信号との強度比の推定値及び前記パターン情報を用いて算出される前記映像信号の推定値と前記取得された映像信号との差分が第１の条件を満たし、かつ前記色信号の推定値と前記強度比の推定値の空間的なばらつきが第２の条件を満たした場合に、当該色信号の推定値と、当該色信号の推定値及び当該強度比の推定値から求められる前記近赤外信号の値とを出力信号とする
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理に関する。【背景技術】
【0002】
デジタルスチルカメラ、ビデオカメラなどのカラー画像入力装置においては、イメージセンサに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の光学フィルタが組み込まれている構成が一般的である。カラー画像入力装置に入射した光は、この３色光学フィルタによって分解され、イメージセンサによってＲ、Ｇ、Ｂ各色の信号に変換される。【0003】
カラー画像入力装置に使用されるイメージセンサがシリコン系のセンサである場合、そのセンサ感度は、可視領域から近赤外領域に渡る。しかし、近赤外光成分は、色再現において悪影響を及ぼす場合がある。ところが、３色光学フィルタは、それぞれの色に対応する波長領域については一定の透過率を保証するものの、近赤外領域などの可視領域以外の領域については、光の透過特性が必ずしも保証されない。【0004】
図１７は、ＲＧＢ３色光学フィルタの分光透過率を例示する図である。例えば、可視領域を４００〜７００ｎｍとした場合、各色のフィルタには、４００〜５００ｎｍ（Ｂ）、５００〜６００ｎｍ（Ｇ）、６００〜７００ｎｍ（Ｒ）付近の波長の光を透過する特性が期待される。しかし、各色のフィルタは、図１７に示すように、可視領域以外の領域の光を透過する特性も有している場合がある。【0005】
また、画像入力装置での採用例も多いフォトダイオードによるイメージセンサの分光感度特性は、７００ｎｍ以上の波長領域においても感度を有する。そうすると、図１７のような分光感度特性を有する３色光学フィルタを一般的なイメージセンサに適用しただけでは、色再現性の観点から問題が生じる場合がある。そのため、イメージセンサには、高い色再現性が要求される場合には赤外カットフィルタが設けられる。【0006】
図１８は、人間の色知覚に関するＸＹＺ表色系の等色関数を示す図である。図１８に示すように、人間の色知覚は、７００ｎｍ以上の波長の光について感度を有しない。そのため、７００ｎｍ以上の波長領域にパワーを有する光は、心理物理量である知覚色に影響を与えない。【0007】
ここで、図１９に示すような６００ｎｍ以上の波長領域にパワーを有する光を観測する場合を想定する。この光は、人間には赤として知覚される。一方、図１７に示すような３色光学フィルタを用いたイメージセンサで観測した場合、その出力信号は、ＲだけでなくＧやＢも値を有してしまう。そのため、この出力信号は、人間が知覚する色（赤）と異なる色を示してしまう。【0008】
カラー画像入力装置において、人間の色知覚に応じた色再現性を実現するためには、図２０に示すような７００ｎｍ以上の近赤外光の影響を除去する分光透過率を有する赤外カットフィルタが用いられる。具体的には、図２１に示すように、カラー画像入力装置の光学系に赤外カットフィルタ６１０を設けることで、３色光学フィルタ６２０及びイメージセンサ６３０への近赤外光の入射が遮断される。このようにすることで、近赤外領域にパワーを有しない光を３色光学フィルタ６２０及びイメージセンサ６３０に入射させることができる。【0009】
一方、光量が不足した環境下で映像を撮影する場合には、ノイズを抑制した高感度撮影が求められる。このような場合には、光量不足に起因するセンサノイズを抑制するために、イメージセンサへの受光量を増やすことが望ましい。暗所での高感度撮影を実現する方法としては、近赤外光を利用した撮影方法が知られている。【0010】
高感度撮影時に近赤外光を利用する最も簡易的な方法は、光学系にセットされている赤外カットフィルタを高感度撮影時に機械的に移動させ、光学系から赤外カットフィルタを一時的に取り除く方法である。しかし、この方法には、部品点数の増加、すなわちコスト上昇の問題だけでなく、赤外カットフィルタを移動させる機械的動作を要することにより故障の可能性が増大する問題もある。【0011】
これに対し、非特許文献１は、機械的動作を要することなく撮影する方法を開示している。具体的には、非特許文献１には、カラー画像と近赤外画像のそれぞれを撮影する２台のカメラを用いた撮影方法が記載されている。【0012】
また、非特許文献２は、図２２に示すように、ＲＧＢの３色光学フィルタに近赤外光を透過するＩＲ（infrared）フィルタを加えた４色の光学フィルタが組み込まれたイメージセンサ７００を開示している。非特許文献２の第２図には、Ｒ、Ｇ、Ｂ、ＩＲの各光学フィルタの分光感度特性が記載されている。Ｒ、Ｇ、Ｂの各光学フィルタの分光感度特性は、近赤外領域において、ＩＲフィルタと同様の分光感度を有している。昼間撮影において高い色再現性を実現するためには、Ｒ、Ｇ、Ｂの色信号に含まれる近赤外光の影響を抑制ないし除去する必要がある。非特許文献２に記載されたイメージセンサは、昼間撮影においては、Ｒ、Ｇ、Ｂの色信号に含まれるＩＲ成分を除去し、夜間撮影においては、ＩＲフィルタを透過して得られたＩＲ信号だけでなく、Ｒ、Ｇ、Ｂの色信号に含まれるＩＲ成分も用いて白黒画像を得る。【0013】
特許文献１は、近赤外光（ＮＩＲ：near-infrared）を透過するＲ、Ｇ、Ｂの３色光学フィルタを用いるとともに、近赤外光を検出するフォトセンサを用いることで、Ｒ、Ｇ、Ｂ、ＮＩＲの各色の信号を生成する撮像デバイスを開示している。このフォトセンサは、光の入射方向に対して浅い位置に可視光センサ部を有し、当該方向に対して深い位置に非可視光センサ部を有する。【0014】
また、非特許文献３は、ＩＲカットフィルタを用いず、ＲＧＢベイヤ型カラーフィルタアレイ（ＣＦＡ）のＧフィルタに対して分光透過特性が異なる２種類のフィルタを用いるなど、通常と異なるカラーフィルタアレイを用いて撮像した画像からカラーチャネルとＮＩＲチャネルを分離し、４チャネルの画像を生成する手法を開示している。【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開２０１１−２４３８６２号公報
【非特許文献】
【0016】
【非特許文献1】松井壮介、島野美保子、岡部孝弘、佐藤洋一、“カラーと近赤外画像の併用による低照度シーンの画質改善”、第１２回画像の認識・理解シンポジウム（ＭＩＲＵ２００９）論文集、ｐｐ．１０８９−１０９６、２００９年
【非特許文献2】香山信三、田中圭介、廣瀬裕、“監視カメラ用昼夜兼用イメージセンサ”、パナソニック技報 ２００９年 １月号、Ｖｏｌ．５４、Ｎｏ．４、pp.18-23
【非特許文献3】Z. Sadeghipoor et al, “A Novel Compressive Sensing Approach to Simultaneously Acquire Color and Near-Infrared Images on a Single Sensor”, Proc. of IEEE ICASSP, pp.1646-1650, 2013.
【非特許文献4】O. Losson, L. Macaire, Y. Yang, “Comparison of Color Demosaicing Methods”, Advances in Imaging and Electron Physics, Vol.162, pp. 173-265, 2010.
【非特許文献5】R. Ramanath, W. Snyder, G. Bilbro, W. Sander, “Demosaicking methods for Bayer color array”, J. Electronic Imaging, Vol.11, No.3, pp. 306-315, 2002.
【非特許文献6】S. Ferradans, M. Bertalmio, V. Caselles, “Geometry-Based Demosaicking”, IEEE Trans. on Image Processing, Vol.18, No.3, pp. 665-670, 2009.
【発明の概要】
【発明が解決しようとする課題】
【0017】
非特許文献１に記載された方法は、ＲＧＢ画像と近赤外画像とを２台のカメラを用いて生成するものである。なお、非特許文献１に記載の方法は、１台の装置によって構成することも不可能ではないものの、ＲＧＢ画像と近赤外画像のための２つの光学パスと２つのイメージセンサが必要である。【0018】
また、非特許文献２及び特許文献１に記載されたイメージセンサは、近赤外の画像を生成するための特殊なイメージセンサであり、一般的な構成ではないといえる。また、非特許文献３に記載されたカラーフィルタアレイは、２つの異なるＧフィルタを必要とする。【0019】
本発明の目的は、一般的な構成の撮影装置を利用し、可視光及び近赤外光の映像処理を可能にする技術を提供することにある。【課題を解決するための手段】
【0020】
本発明は、一の態様において、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する取得手段と、前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段とを備える映像処理装置を提供する。【0021】
本発明は、別の態様において、所定の幾何学的形状を有するパターンで近赤外光を透過する光学フィルタを有し、当該光学フィルタを透過した近赤外光を含む映像を表す映像信号を生成する受光手段と、前記パターンを規定するパターン情報を用いて、前記生成された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する信号処理手段とを備える撮影装置を提供する。【0022】
本発明は、さらに別の態様において、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得し、前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する映像処理方法を提供する。【0023】
本発明は、さらに別の態様において、コンピュータに、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する処理と、前記パターンを規定するパターン情報を用いて、前記取得された映像信号に対応する可視光成分を表す色信号と当該映像信号に対応する近赤外光成分を表す近赤外信号とを出力する処理とを実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体を提供する。【発明の効果】
【0024】
本発明によれば、一般的な構成の撮影装置を利用した可視光及び近赤外光の映像処理が可能になる。【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
［第１実施形態］図１は、本発明の一実施形態に係る映像処理装置の構成を例示するブロック図である。映像処理装置１００は、近赤外光を含む映像を表す映像信号を取得し、取得した映像信号に対応する色信号及び近赤外信号を出力する装置である。換言すれば、映像処理装置１００は、可視光及び近赤外光を含んだ状態で撮像された映像から色信号と近赤外信号を分離する装置である。なお、本図以降のブロック図に示した矢印は、信号の流れの一例を示すものであって、信号の流れが特定の方向に限定されることを意図したものではない。
【0027】
ここでいう映像とは、レンズ等の光学系を介して取り込まれる像をいい、静止画と動画のいずれであってもよい。また、色信号は、映像信号のうちの可視光成分を表す信号である。これに対し、近赤外信号は、映像信号のうちの近赤外光成分を表す信号である。色信号及び近赤外信号は、例えば画素の輝度を表すが、輝度のみに限定されない。なお、以下の説明において、色信号及び近赤外信号は、静止画か、映像である場合には当該映像の特定の時点の像の各画素の輝度を表すものとする。【0028】
また、本実施形態において、可視領域とは、４００〜７００ｎｍの波長領域をいう。このうち、４００〜５００ｎｍを青（Ｂ）、５００〜６００ｎｍを緑（Ｇ）、６００〜７００ｎｍを赤（Ｒ）の波長領域とする。また、近赤外領域とは、７００ｎｍ〜２．５μｍの波長領域をいう。ただし、ここに示した波長領域の分類は、あくまでも一例にすぎない。【0029】
映像処理装置１００は、取得部１１０と信号処理部１２０とを備える。映像処理装置１００は、映像信号を供給する外部装置と接続する。外部装置は、例えば、イメージセンサを有する撮像装置である。取得部１１０は、この外部装置から映像信号を取得する。信号処理部１２０は、取得部１１０により取得された映像信号に基づいて、色信号と近赤外信号とを出力する。【0030】
取得部１１０は、所定の幾何学的形状を有するパターンに応じた強度の近赤外光を含む映像を表す映像信号を取得する。ここでいうパターンは、円形、矩形などの図形が繰り返し規則的に配列されたものである。このような映像信号は、例えば、イメージセンサに近赤外光をカットする光学フィルタ（以下「ＮＩＲカットフィルタ」という。）を設けることで得られる。【0031】
図２は、ＮＩＲカットフィルタを例示する図であり、ＮＩＲカットフィルタを光の入射方向に対して垂直に示す図である。図２に示すＮＩＲカットフィルタ１０は、フィルタ部１１に赤外透過部１２を複数設けた構成である。赤外透過部１２は、ここでは、等間隔に配列された円形の穴である。ＮＩＲカットフィルタ１０は、赤外透過部１２において近赤外光を遮光せずに透過し、フィルタ部１１において近赤外光を所定の割合以上カットする。【0032】
なお、映像信号に含まれる近赤外光成分が映像上に形成するパターンは、ＮＩＲカットフィルタのパターンと必ずしも一致しない。なぜならば、近赤外光は、ＮＩＲカットフィルタを透過した後に回折を生じるからである。映像信号に映像として現われる近赤外光成分のパターンは、ＮＩＲカットフィルタに形成されたパターン（図２の赤外透過部１２に相当）よりも各図形が大きくなる。【0033】
信号処理部１２０は、このような映像信号を取得部１１０から取得し、色信号と近赤外信号とを出力する。色信号は、典型的にはＲ、Ｇ、Ｂの３成分の信号として出力されるが、必ずしもこれに限定されない。信号処理部１２０は、近赤外光のパターンを規定するパターン情報を用いて所定の演算処理を実行することにより、色信号と近赤外信号とを出力することができる。【0034】
パターン情報は、映像上の近赤外光のパターンを特定するための情報である。例えば、パターン情報は、ＮＩＲカットフィルタにおけるパターンの位置及び形状を表すデータである。パターン情報は、図２に示したＮＩＲカットフィルタの場合であれば、赤外透過部１２の円の中心の座標とその半径とをパラメータとして記述したデータであってもよいが、パターンを特定可能であればどのようなデータであってもよい。なお、パターン情報は、映像処理装置１００にあらかじめ記憶されていてもよいし、ユーザ等によって入力されてもよい。例えば、パターン情報は、ユーザがキャリブレーションを実施することによってあらかじめ求められてもよい。【0035】
以上のとおり、映像処理装置１００は、近赤外光を所定のパターンで含んだ映像を表す映像信号とパターン情報とを組み合わせて用いることで、映像信号から色信号と近赤外信号とを分離することが可能である。したがって、映像処理装置１００によれば、色信号と近赤外信号とを含んだ映像信号に基づいて可視光の映像処理と近赤外光の映像処理とをそれぞれ実行することが可能になる。【0036】
また、このような映像信号を撮像装置によって得る場合、撮像装置は、一般的な撮像装置に図２に示すようなＮＩＲカットフィルタを設ければ足りるため、一般的な構成を利用可能である。なお、本実施形態において、出力された近赤外信号の用途は、特に限定されない。【0037】
［第２実施形態］図３は、本発明の別の実施形態に係る映像処理装置の構成を例示するブロック図である。図３に示す映像処理装置２００は、映像データ取得部２１０と、第１色信号取得部２２０と、パターン記憶部２３０と、第２色信号推定部２４０と、近赤外信号算出部２５０と、出力部２６０とを備える。映像処理装置２００は、第１実施形態の映像処理装置１００と同様の機能を有する。
【0038】
映像データ取得部２１０は、映像データを取得する。映像データ取得部２１０は、第１実施形態と同様の外部装置から映像データを取得することができる。映像データは、複数の色信号を少なくとも含む。複数の色信号は、ここでは、Ｒ、Ｇ、Ｂの３色の色成分に分離されて表現された色信号であり、各画素を所定のビット数の値によって表す。なお、ここでいう色信号は、可視光成分に近赤外光成分が重畳された状態の映像を表す。以下においては、このような色信号のことを「第１色信号」ともいう。第１色信号は、後述する第２色信号と近赤外信号とを加算した信号である。【0039】
第１色信号取得部２２０は、映像データ取得部２１０から第１色信号を取得する。第１色信号取得部２２０は、各色の第１色信号をそれぞれ取得する。【0040】
パターン記憶部２３０は、パターン情報を記憶する。パターン記憶部２３０は、例えば、ハードディスク、フラッシュメモリなどの記憶媒体によって構成される。なお、本実施形態のパターン情報としては、第１実施形態と同様のデータを用いることができる。パターン情報は、各色で共通のデータを用いることが可能である。【0041】
第２色信号推定部２４０は、第１色信号から近赤外光成分を除いた色信号である第２色信号を推定する。また、第２色信号推定部２４０は、第２色信号に加え、第２色信号と近赤外信号の強度比を推定する。第２色信号推定部２４０は、第１色信号取得部２２０により取得された第１色信号とパターン記憶部２３０に記憶されたパターン情報とに基づいて、各色の第２色信号及び強度比を推定する。【0042】
近赤外信号算出部２５０は、近赤外信号を各色について算出する。近赤外信号算出部２５０は、第２色信号推定部２４０により推定された第２色信号及び第２色信号と近赤外信号の強度比を用いて、近赤外信号を算出することができる。【0043】
出力部２６０は、第２色信号と近赤外信号とを出力する。出力部２６０は、近赤外信号算出部２５０により算出された各色分の近赤外信号に対して所定の演算（例えば、加算）を実行してからこれを出力する。【0044】
なお、第１色信号取得部２２０、第２色信号推定部２４０及び近赤外信号算出部２５０は、各色の処理を順次実行してもよいし、同時並行的に実行してもよい。【0045】
図４は、第２色信号推定部２４０の構成をより詳細に示すブロック図である。第２色信号推定部２４０は、初期値推定部２４１と、推定値選択部２４２と、平滑さ評価部２４３と、第１色信号推定部２４４と、誤差算出部２４５と、推定値更新部２４６とを備える。【0046】
初期値推定部２４１は、第２色信号及び第２色信号と近赤外信号との強度比の推定値の初期値を算出する。初期値推定部２４１は、第１色信号に基づき、第２色信号の推定値と強度比の推定値の初期値をそれぞれ算出する。【0047】
推定値選択部２４２は、第２色信号と強度比の推定値をそれぞれ選択する。推定値選択部２４２は、これらの推定値を選択する処理を繰り返す。推定値選択部２４２は、初回の選択処理においては、初期値推定部２４１により算出された初期値を選択する一方、２回目以降の選択処理においては、推定値更新部２４６により更新された推定値を選択する。【0048】
平滑さ評価部２４３は、第２色信号及び強度比の推定値の平滑さを評価する。ここにおいて、平滑さとは、値の空間的なばらつきの度合いを意味し、「滑らかさ」ともいう。例えば、第２色信号の推定値が平滑であるとは、映像を構成する一定の範囲内の画素の推定値の最大値と最小値の差分が所定の閾値以下であることをいう。平滑さ評価部２４３は、所定のアルゴリズムに従って平滑さの評価値を算出する。【0049】
第１色信号推定部２４４は、第１色信号を推定する。第１色信号推定部２４４は、推定値選択部２４２により選択された推定値とパターン記憶部２３０に記憶されたパターン情報とに基づいて、第１色信号の推定値を算出する。【0050】
誤差算出部２４５は、第１色信号の推定値を実際の第１色信号と比較し、その誤差を算出する。すなわち、誤差算出部２４５は、第１色信号推定部２４４により推定された第１色信号と第１色信号取得部２２０により取得された第１色信号とを比較する。【0051】
推定値更新部２４６は、第２色信号及び強度比の推定値を更新する。推定値更新部２４６は、平滑さ評価部２４３により算出された評価値と誤差算出部２４５により算出された誤差とに基づいてこれらの推定値を更新する。【0052】
また、推定値更新部２４６は、更新前後の推定値をそれぞれ比較し、各々の推定値の更新量が十分に小さくなった場合には、更新を終了する。具体的には、推定値更新部２４６は、推定値の更新量を所定の閾値を比較し、更新量が当該閾値以下になった場合に更新を終了する。推定値更新部２４６は、更新を終了した時点での推定値を第２色信号推定部２４０の出力値とする。【0053】
一方、推定値更新部２４６は、更新量が閾値を超える場合には、推定値を推定値選択部２４２に供給する。この場合、推定値選択部２４２、平滑さ評価部２４３、第１色信号推定部２４４、誤差算出部２４５及び推定値更新部２４６は、更新された推定値を用いて上述した処理を再度実行し、これを推定値の更新が終了するまで繰り返す。【0054】
映像処理装置２００の構成は、以上のとおりである。この構成において、映像処理装置２００は、映像データを取得すると、色信号と近赤外信号を出力する。映像処理装置２００の具体的な動作は、以下に示すとおりである。なお、ここでは、映像データの全ての画素にＲ、Ｇ、Ｂ各色の色信号が設定されているものとする。【0055】
図５は、映像処理装置２００が実行する処理の概略を例示するフローチャートである。ただし、映像処理装置２００は、必ずしも図５に示したとおりに処理を実行することを要しない。例えば、映像処理装置２００は、Ｒ、Ｇ、Ｂ各色の色信号について、ステップＳ３、Ｓ４の処理を並行して実行してもよい。【0056】
まず、映像データ取得部２１０は、映像データを取得する（ステップＳ１）。次に、第１色信号取得部２２０は、映像データ取得部２１０により取得された映像データに含まれる複数の第１色信号のいずれかを選択する（ステップＳ２）。このとき、第１色信号取得部２２０は、後述するステップＳ３、Ｓ４の処理をまだ実行していない第１色信号を選択する。【0057】
第１色信号取得部２２０によりいずれかの第１色信号が選択されたら、第２色信号推定部２４０は、選択された第１色信号に基づき、第２色信号及び第２色信号と近赤外信号の強度比をそれぞれ推定する（ステップＳ３）。換言すれば、第２色信号推定部２４０は、第２色信号の推定値と強度比の推定値とをそれぞれ算出する。次いで、近赤外信号算出部２５０は、これらの推定値に基づいて近赤外信号を算出する（ステップＳ４）。【0058】
出力部２６０は、必要な第２色信号及び近赤外信号が得られたら、これを出力する。すなわち、出力部２６０は、ステップＳ２〜Ｓ４の処理が全色について実行されたか否かを判断し（ステップＳ５）、全色の処理が終了していれば（ステップＳ５：ＹＥＳ）第２色信号及び近赤外信号を出力する（ステップＳ６）。【0059】
一方、ステップＳ２〜Ｓ４の処理を実行していない色がある場合（ステップＳ５：ＮＯ）、第１色信号取得部２２０は、未処理の第１色信号を選択する（ステップＳ２）。第２色信号推定部２４０及び近赤外信号算出部２５０は、ステップＳ２の選択に応じて、それぞれステップＳ３、Ｓ４の処理を再度実行する。【0060】
ステップＳ３、Ｓ４の処理は、より詳細には、次のとおりである。なお、以下の説明は、便宜的にＧの色信号を用いて記述されるが、他の色の処理も同様のものである。【0061】
図６は、本実施形態における近赤外信号を例示する図であり、ＮＩＲカットフィルタに設けられた円形の赤外透過部を透過した近赤外信号を表している。ここにおいて、Ｘ軸及びＹ軸は、映像データが表す映像に定義される直交座標に対応する。また、Ｚ軸は、近赤外信号の輝度（明るさ）を示している。【0062】
近赤外信号は、近赤外光の回折の影響により、赤外透過部の実際の面積よりも広い範囲に有意な値を有し、その値が赤外透過部の中心からその外側に向かって段階的に低下する。近赤外信号は、隣り合う赤外透過部の距離が短い場合には、ある赤外透過部に由来する成分と他の赤外透過部に由来する成分とが混合される場合もある。【0063】
図７Ａ及び図７Ｂは、それぞれ、ＮＩＲカットフィルタのパターンに応じた近赤外光を例示する図であり、イメージセンサに照射される近赤外光の範囲を示している。図７Ａは、それぞれの赤外透過部からの赤外光が重ならない場合を示している。これに対し、図７Ｂは、それぞれの赤外透過部からの赤外光が重なる場合を示している。【0064】
ここで、ＮＩＲカットフィルタ上のある１つの赤外透過部に対し、波長λ、入射強度Ｉ0の近赤外光が入射した場合のイメージセンサ上の強度Ｉ（ｗ）は、以下の式（１）によって表される。【0065】
ここにおいて、Ｊ1（ｗ）は次数１の第１種ベッセル関数であり、Ｃは所定の補正係数である。補正係数Ｃは、強度Ｉ（ｗ）が実際の映像に形成されるパターンと一致するように調整するための係数である。また、ｗは、以下の式（２）に示すとおりである。【0066】
ここにおいて、ａは、赤外透過部の半径を表す。また、ｑ及びＲは、それぞれ、イメージセンサ上の任意の点をｐとした場合に、赤外透過部の中心からイメージセンサに下ろした垂線がイメージセンサと交わる点と点ｐとの距離と、赤外透過部の中心と点ｐとの距離とに相当する。式（２）のａ、ｑ及びＲを図解すると、図８のようになる。【0067】
図９は、近赤外光がＮＩＲカットフィルタにおいて回折することでイメージセンサ上に形成されるパターンの一つについて、その強度と中心からの距離との関係を例示する図である。式（１）の補正係数Ｃは、強度Ｉ（ｗ）がこのようなパターンに一致するように決められる。【0068】
そのため、近赤外光の透過部（すなわち赤外透過部）に対応する画像上の位置Ｘにおける近赤外信号の強度をＩNIR_G（Ｘ）とすると、同じ赤外透過部を透過した近赤外光によって位置ｘにある画素において観測される強度ＩNIR_G（Ｘ，ｘ）は、以下の式（３）のように表される。【0069】
ここにおいて、ｋＸ→ｘは、イメージセンサ上における位置Ｘと位置ｘの距離から式（１）及び（２）を用いて算出される係数である。ただし、係数ｋＸ→ｘの算出方法は、これに限定されない。例えば、係数ｋＸ→ｘの算出方法としては、近赤外信号ＩNIR_G（Ｘ）の分光分布が既知である場合には、各波長において式（１）及び（２）を用いて算出される係数を分光分布に基づいて合成する方法がある。また、係数ｋＸ→ｘは、設営シーンにおける標準的な近赤外光の分光分布に基づいて算出したり、あらかじめ別の手段を用いて計算したりすることによって求めることも可能である。【0070】
また、位置ｘの画素に到達する光は、可視光と近赤外光の混合光である。具体的には、位置ｘの画素における第１色信号は、可視光成分のみによる色信号である第２色信号と、ＮＩＲカットフィルタ上のパターンを構成する複数の赤外透過部から当該画素に到達する近赤外光を表す信号とを加算したものである。そのため、この第１色信号は、式（４）に示すＩG_NIR（ｘ）によって表すことができる。ここにおいて、ＩG（ｘ）は、可視光成分のうちのＧ成分を表す第２色信号に対応する。【0071】
ここで、第２色信号ＩG（Ｘ）と近赤外信号ＩNIR_G（Ｘ）の関係は、強度比ｍGを用いると、式（５）のように表される。式（４）は、式（５）を用いると、式（６）のように変換できる。【0072】
【0073】
式（６）で表されるモデル式を用いると、第１色信号から第２色信号と強度比を推定することが可能である。いま、各画素の第１色信号（ＩG_NIR（ｘ））を要素とするベクトルをＩG_NIRとすると、ＩG_NIRは、理論的には式（７）のように表すことができる。【0074】
ここにおいて、ＩGは、各画素の第２色信号（ＩG（ｘ））を要素とするベクトルを表す。Ｓは、近赤外光を透過させる部分における第２色信号を抽出するためのサンプリング行列を表す。Ｄ（ＭG）は、近赤外光を透過させる部分のそれぞれの強度比（ｍG）の値を要素とするベクトルＭGの各要素を対角要素として有する対角行列を表す。Ｋは、係数ｋＸ→ｘの値を要素として有する行列を表す。【0075】
第２色信号ＩG及び強度比ＭGは、以下の式（８）で表されるエネルギー関数Ｅを最小化する値を算出することで求められる。【0076】
式（８）の右辺第１項は、第２色信号ＩG及び強度比ＭGが式（７）の関係を満たさなければ、０よりも大きな値になる。また、式（８）の右辺第２項及び第３項は、式（７）より導出された右辺第１項のエネルギー最小化が不良設定（ill-posed）に陥ることを防ぐための正則化項（regularization term）である。これらの項は、第２色信号と強度比の空間的な滑らかさ（spatial smoothness）を評価するためのコスト関数Ｃ1（ＩG）、Ｃ2（ＭG）にあらかじめ設定された係数λ1、λ2を乗算した項である。【0077】
滑らかさを評価するためのコスト関数は、例えば、式（９）、（１０）に示すＣ（ｐ）によって表される。ただし、Ωpは、イメージセンサを構成する画素の集合を表し、Ｎ（ｘ）は、空間的に隣接する画素群の位置を示す関数を表す。また、ｐ（ｘ）は、イメージセンサ上の位置ｘの画素に対応するデータ（第２色信号ＩG又は強度比ＭG）を表し、ｐ（ｙ）は、位置ｘの画素に空間的に隣接する画素群の任意のいずれかの画素に対応するデータ（第２色信号ＩG又は強度比ＭG）を表す。【0078】
【0079】
第２色信号ＩG及び強度比ＭGは、具体的には、第２色信号推定部２４０が繰り返し演算を用いて値を更新していくことで算出される。この繰り返し演算は、Ｉ0GをＩG_NIRと設定するとともに、Ｍ0Gを全ての要素の値が１．０の行列と設定し、式（１１）、（１２）で表される更新式を更新量が十分に小さくなるまで繰り返す演算である。【0080】
【0081】
ここにおいて、ＩtG、ＭtGは、繰り返し回数ｔにおけるＩG、ＭGをそれぞれ表す。また、ｋtは、繰り返し回数ｔにおける更新量を調整するための係数を表し、０＜ｋt＜１を満たす。なお、Ｅは単位行列を表し、上付きのＴは行列の転置を表す。【0082】
このようにして第２色信号ＩG及び強度比ＭGが算出されると、近赤外信号ＩNIR_Gを算出することが可能になる。具体的には、近赤外信号算出部２５０が、第２色信号ＩG及び強度比ＭGを式（５）に代入することで近赤外信号ＩNIR_Gを算出する。【0083】
なお、Ｒ成分及びＢ成分についても、上述したＧ成分と同様に第２色信号及び近赤外信号を算出することができる。すなわち、Ｇ成分と同様の演算によって、Ｒ成分の第２色信号ＩR、近赤外信号ＩNIR_R及びＢ成分の第２色信号ＩB、近赤外信号ＩNIR_Bが算出可能である。【0084】
映像処理装置２００から出力される近赤外信号は、Ｒ、Ｇ、Ｂ各成分の近赤外信号を加算したものである。すなわち、出力される近赤外信号をＩNIRとすると、ＩNIRは、以下の式（１３）のとおりである。【0085】
映像処理装置２００は、このような演算処理を実行することにより、近赤外信号ＩNIR及び第２色信号ＩR、ＩG、ＩBを含む映像データを出力することができる。映像処理装置２００は、ＮＩＲカットフィルタとこれに対応するパターン情報を用意するだけで、第１色信号から第２色信号と近赤外信号とを得ることができる。この場合において、撮像装置は、ＮＩＲカットフィルタのほかに特別な構成を要しない。【0086】
［第３実施形態］図１０は、本発明のさらに別の実施形態に係る撮影装置の構成を例示する模式図である。図１０に示す撮影装置３００は、受光部３１０と、映像処理部３２０とを備える。受光部３１０は、より詳細には、ＮＩＲカットフィルタ３１１と、カラーフィルタ３１２と、フォトセンサ３１３とを備える。撮影装置３００には、レンズ等の光学系を介して、可視光と近赤外光とを含んだ光が入射される。
【0087】
ＮＩＲカットフィルタ３１１は、第１実施形態及び第２実施形態のＮＩＲカットフィルタと同様の構成を有する光学フィルタである。ＮＩＲカットフィルタ３１１は、カラーフィルタ３１２及びフォトセンサ３１３に対し、入射光の進行方向手前側に設けられる。また、ＮＩＲカットフィルタ３１１は、回折により拡散した近赤外光がフォトセンサ３１３に受光されるように、カラーフィルタ３１２及びフォトセンサ３１３に対して所定の距離だけ隔てて設けられる。なお、ＮＩＲカットフィルタ３１１は、着脱可能又は移動可能に構成されてもよい。【0088】
図１１は、受光部３１０に入射した近赤外光の振る舞いを表す模式図である。図１１に示すように、近赤外光は、ＮＩＲカットフィルタ３１１の一部（赤外透過部）を透過する一方、他の部分ではカットされる。ただし、近赤外光は、赤外透過部を通過するときに回折するため、フォトセンサ３１３において赤外透過部よりも広い範囲に入射する。【0089】
カラーフィルタ３１２は、一般的な構成の３色光学フィルタである。カラーフィルタ３１２は、例えば、図１７に示した分光特性を有する。フォトセンサ３１３は、入射光の強度に応じた信号を生成する光電素子（すなわちセンサ）を複数備える。フォトセンサ３１３は、一般的な画像入力装置又は撮影装置と同様の構成でよい。映像処理部３２０は、フォトセンサ３１３により生成された信号を取得し、映像処理を実行する。映像処理部３２０は、第２実施形態の映像処理装置２００と共通の機能を有するほか、後述するデモザイキング処理を実行する機能を有する。【0090】
図１２は、カラーフィルタ３１２の構成を部分的に示す図である。図１２に示すように、カラーフィルタ３１２は、いわゆるベイヤ型の配列である。カラーフィルタ３１２は、個々のフィルタがフォトセンサ３１３の個々のセンサ（すなわち画素）に対応するように設けられている。【0091】
なお、ＮＩＲカットフィルタ３１１のパターンは、フォトセンサ３１３の画素の配列と対応関係を有してもよい。ここでいう対応関係は、例えば、ＮＩＲカットフィルタ３１１の赤外透過部の間隔がフォトセンサ３１３の画素の間隔と等しいか、あるいは整数倍の関係にある、といったものである。具体的には、ＮＩＲカットフィルタ３１１の赤外透過部は、フォトセンサ３１３の特定色に対応する画素と重なるように設けられていてもよい。ただし、ＮＩＲカットフィルタ３１１のパターンは、フォトセンサ３１３の画素の配列と必ずしも対応関係を有していなくてもよい。【0092】
撮影装置３００の構成は、以上のとおりである。撮影装置３００は、この構成の下、Ｒ、Ｇ、Ｂの３色で表される映像データに基づいて、Ｒ、Ｇ、Ｂ、ＮＩＲの４色（４成分）で表される映像データを生成することが可能である。撮影装置３００の動作は、その主要な点において、第２実施形態の映像処理装置２００の動作と共通する。ただし、撮影装置３００は、第２実施形態で説明された動作に先立ち、デモザイキング処理を実行する。【0093】
図１３は、デモザイキング処理の一例を説明するための図であり、画素と座標の対応関係を示す図である。ここでは、説明の便宜上、図１３に示す２行２列の画素に対して（１，１）、（１，２）、（２，１）、（２，２）の座標が割り当てられる。なお、座標（１，１）の画素は、Ｒ成分に対応する。また、座標（２，２）の画素は、Ｂ成分に対応する。残りの画素は、Ｇ成分に対応する。【0094】
以下においては、座標（ｉ，ｊ）のＲＧＢ各色の色情報（色信号の値）をＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）とそれぞれ表記する。例えば、Ｒ（１，１）は、座標（１，１）の画素のＲ成分の色情報を表す。なお、デモザイキング処理の実行時点の色情報は、実際にはＮＩＲ成分を含んでいる。しかし、ここでは、説明の便宜上、色情報のＮＩＲ成分を考慮しないものとする。【0095】
座標（１，１）の画素は、Ｒ成分に対応する。したがって、座標（１，１）のＲ成分の色情報は、以下の式（１４）で表される。Ｒ（１，１）＝Ｒ（１，１） （１４）
【0096】
一方、座標（１，１）の画素は、他の色成分を受光しない。そのため、座標（１，１）の画素のＧ成分及びＢ成分の色情報は、式（１５）、（１６）に示すように、周辺の画素から補間することによって求められる。Ｇ（１，１）＝（Ｇ（２，１）＋Ｇ（１，２））／２ （１５）
Ｂ（１，１）＝Ｂ（２，２） （１６）
【0097】
次に、座標（１，２）の画素の色情報は、式（１７）〜（１９）のとおりである。Ｇ（１，２）＝Ｇ（１，２） （１７）
Ｒ（１，２）＝Ｒ（１，１） （１８）
Ｂ（１，２）＝Ｂ（２，２） （１９）
【0098】
なお、座標（２，１）の画素の色情報は、座標（１，２）の画素の色情報と同様の要領で求められる。また、座標（２，２）の画素の色情報は、座標（１，１）の画素の色情報と同様の要領で求められる。【0099】
映像処理部３２０は、このような処理を全ての画素について実行し、各色の色情報を取得する。続いて、映像処理部３２０は、第２実施形態で説明された動作により、近赤外信号を算出する。なお、デモザイキング処理は、上述した方法に限定されず、例えば非特許文献４〜６に開示された方法を用いて実行されてもよい。【0100】
撮影装置３００は、第２実施形態の映像処理装置２００と同様の効果を奏することができる。また、撮影装置３００は、ＮＩＲカットフィルタ３１１において、赤外光を回折により分散させることが可能である。これにより、撮影装置３００は、近赤外信号が飽和するような強度の赤外光がフォトセンサ３１３に入射した場合であっても画素当たりの近赤外信号の強度を減少させることができ、見かけ上のダイナミックレンジを大きくすることを可能にする。【0101】
なお、映像処理部３２０は、デモザイキング処理後のＲ、Ｂ成分の色信号に含まれる近赤外光成分を無視してもよい。すなわち、映像処理部３２０は、Ｒ、Ｂ成分について、式（７）の右辺第２項を０（すなわちＩR_NIR＝ＩR、ＩB_NIR＝ＩB）とみなしてもよい。この場合、ＩNIR_R＝ＩNIR_B＝０であるため、式（１３）よりＩNIR＝ＩNIR_Gが成り立つ。【0102】
図１４は、ＮＩＲカットフィルタ３１１の赤外透過部３１１ａとカラーフィルタ３１２の好適な対応関係を例示する図である。図１４は、ＮＩＲカットフィルタ３１１とカラーフィルタ３１２を光が入射する方向から見た場合の位置関係を示している。図１４に示す赤外透過部３１１ａは、いずれも、Ｇ成分に対応する画素に重なる位置にある。ＮＩＲカットフィルタ３１１がこのようなパターンを有すると、そうでない場合（例えば、赤外透過部３１１ａがＲ成分やＢ成分に対応する画素と重なる場合）に比べ、ＩNIR_R及びＩNIR_Bを無視した場合の誤差の影響を少なくすることが可能である。【0103】
［変形例］本発明の実施の形態は、上述した第１〜第３実施形態に限定されない。例えば、本発明は、以下に説明する変形例の態様によっても実施可能である。また、本発明は、第１〜第３実施形態及び変形例を適宜に組み合わせた態様で実施されてもよい。
【0104】
（１）変形例１本発明の実施形態において、ＮＩＲカットフィルタのパターンは、パターン情報として記述可能なパターンであれば、その具体的形状は限定されない。例えば、ＮＩＲカットフィルタに形成されるパターンは、赤外透過部が円形でなくてもよく、また、全ての赤外透過部が必ずしも同じ形状である必要もない。
【0105】
（２）変形例２本発明の実施形態において、可視光成分は、Ｒ、Ｇ、Ｂの３成分に限定されない。可視光成分は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）の３成分が用いられてもよい。また、可視光成分は、３成分で構成される必要はなく、これより多くても少なくてもよい。
【0106】
（３）変形例３図１５及び図１６は、撮影装置の他の例を示す図である。図１５は、いわゆる３板式、すなわちＲ、Ｇ、Ｂ各色に対応するセンサが独立した構成の撮影装置４００を示す図である。また、図１６は、いわゆる積層型のセンサを備えた撮影装置５００を示す図である。本発明は、このような構成の撮影装置に対しても適用可能である。
【0107】
撮影装置４００は、プリズム４１０と、フォトセンサ４２０、４３０、４４０と、ＮＩＲカットフィルタ４５０と、映像処理部４６０とを備える。プリズム４１０は、入射光を分解し、Ｒ、Ｇ、Ｂそれぞれの成分に応じた方向に出射する。フォトセンサ４２０（Ｒ）、４３０（Ｇ）、４４０（Ｂ）は、各色の入射光の強度に応じた信号を生成する。【0108】
ＮＩＲカットフィルタ４５０は、第３実施形態のＮＩＲカットフィルタ３１１と同様の光学フィルタである。ＮＩＲカットフィルタ４５０は、フォトセンサ４２０、４３０、４４０の全てに設けられる必要はなく、プリズム４１０の分光特性に応じて、これらのいずれか（図１５においてはフォトセンサ４２０）に設けられればよい。図１５の例の場合、フォトセンサ４３０、４４０に入射する近赤外光は、フォトセンサ４２０に入射する近赤外光に比して十分に少ないものとする。例えば、フォトセンサ４３０、４４０の前段には、近赤外光をカットする光学フィルタ（ただし、ＮＩＲカットフィルタ４５０と異なり、近赤外光を透過するパターンが形成されていない）が設けられてもよい。【0109】
映像処理部４６０は、第３実施形態で説明された映像処理部３２０と同様の構成でよい。ただし、図１５に示す例においては、近赤外光成分を含む色信号はＲ成分のみである。したがって、映像処理部４６０は、色信号から近赤外信号を分離する処理をＲ成分の色信号に対してのみ実行すればよい。【0110】
撮影装置５００は、ＮＩＲカットフィルタ５１０と、積層型センサ５２０と、映像処理部５３０とを備える。ＮＩＲカットフィルタ５１０、映像処理部５３０は、それぞれ、図１５に示したＮＩＲカットフィルタ４５０、映像処理部４６０と同様の構成でよい。【0111】
積層型センサ５２０は、センサ５２１、５２２、５２３を積層したセンサである。センサ５２１は、Ｂ成分の波長領域に感度を有する。センサ５２２は、Ｇ成分の波長領域に感度を有する。センサ５２３は、Ｒ成分及び近赤外光成分の波長領域に感度を有する。【0112】
（４）変形例４本発明は、その全部又は一部の構成をコンピュータによって実現することが可能である。例えば、映像処理装置１００、２００及び映像処理部３２０は、ＣＰＵ（Central Processing Unit）などの処理装置（プロセッサ）とメモリによって実現可能である。また、本発明は、汎用的なプロセッサによって実現されてもよいし、映像処理専用のプロセッサによって実現されてもよい。
【0113】
また、本発明は、コンピュータが実行可能なプログラムの形態で提供されてもよい。このプログラムは、ネットワークを介して他の装置（サーバ等）からダウンロードされる形態で提供されてもよいし、コンピュータが読み取り可能な記録媒体の形態で提供されてもよい。さらに、本発明は、映像処理装置、撮影装置、プログラム、記録媒体のほか、映像の処理方法としても提供され得る。【0114】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。【0115】
この出願は、２０１５年９月１８日に出願された日本出願特願２０１５−１８４８８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。【符号の説明】
【0116】
１０、３１１ ＮＩＲカットフィルタ１２、３１１ａ 赤外透過部
１００、２００ 映像処理装置
１１０ 取得部
１２０ 信号処理部
２１０ 映像データ取得部
２２０ 第１色信号取得部
２３０ パターン記憶部
２４０ 第２色信号推定部
２４１ 初期値推定部
２４２ 推定値選択部
２４３ 平滑さ評価部
２４４ 第１色信号推定部
２４５ 誤差算出部
２４６ 推定値更新部
２５０ 近赤外信号算出部
２６０ 出力部
３００、４００、５００ 撮影装置
３１０ 受光部
３１２ カラーフィルタ
３１３ フォトセンサ
３２０ 映像処理部