知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018454
(43)【公開日】2024-02-08
(54)【発明の名称】符号化撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20240201BHJP
H04N 23/55 20230101ALI20240201BHJP
G06T 3/4053 20240101ALI20240201BHJP
【ＦＩ】
H04N5/232 290
H04N5/225 400
G06T3/40 730
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022121810
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100097984
【弁理士】
【氏名又は名称】川野 宏
(74)【代理人】
【識別番号】100125265
【弁理士】
【氏名又は名称】貝塚 亮平
(72)【発明者】
【氏名】臼井 真広
(72)【発明者】
【氏名】片野 祐太郎
(72)【発明者】
【氏名】信川 輝吉
(72)【発明者】
【氏名】室井 哲彦
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE01
5B057CG01
5C122EA22
5C122EA37
5C122FB02
5C122FB07
5C122FB11
5C122FH09
5C122HB01
(57)【要約】
【課題】 低解像度符号化画像から高解像度画像を再構成する際に、マスクされた画素領域に生じるノイズを原因とした、ダイナミックレンジの低下に伴う、画像全体の輝度レベルの低下や持ち上がりを抑制し、高解像度画像を取得し得る符号化撮像装置を得る。
【解決手段】 所定の符号化パターンを表示し、被写体１０の像の符号化パターンを生成する光変調器１２と、被写体１０の像の符号化パターンが、撮像素子１４の画素サイズ以下になるように、被写体１０の像の符号化パターンを収束するレンズ１１と、被写体１０の像の符号化パターンを撮像する撮像部１４と、符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構１５Ａ、および撮像部１４で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構１５Ｂを含む再構成処理部１５と、を備えている。
【選択図】図１
【解決手段】 所定の符号化パターンを表示し、被写体１０の像の符号化パターンを生成する光変調器１２と、被写体１０の像の符号化パターンが、撮像素子１４の画素サイズ以下になるように、被写体１０の像の符号化パターンを収束するレンズ１１と、被写体１０の像の符号化パターンを撮像する撮像部１４と、符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構１５Ａ、および撮像部１４で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構１５Ｂを含む再構成処理部１５と、を備えている。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の符号化パターンを表示し、被写体の像の符号化パターンを生成する機能を有する光変調器と、
該被写体の像の該符号化パターンが、撮像素子の画素サイズ以下になるように、該被写体の像の該符号化パターンを収束させるレンズと、
該被写体の像の該符号化パターンを撮像する該撮像素子を備えた撮像部と、
該符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構、および前記撮像部で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構を含む再構成処理部と、
を備えたことを特徴とする符号化撮像装置。
該被写体の像の該符号化パターンが、撮像素子の画素サイズ以下になるように、該被写体の像の該符号化パターンを収束させるレンズと、
該被写体の像の該符号化パターンを撮像する該撮像素子を備えた撮像部と、
該符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構、および前記撮像部で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構を含む再構成処理部と、
を備えたことを特徴とする符号化撮像装置。
【請求項2】
前記再構成処理部は、前記低ノイズ処理機構により前記ノイズを低減する処理を行った後、前記再構成計算機構により前記低解像度符号化画像を前記高解像度画像に再構成する処理を行うように構成されていることを特徴とする請求項１に記載の符号化撮像装置。
【請求項3】
前記光変調器に全画素をＯＦＦ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全消灯時における低解像度画像ＹOFFを撮像するように構成されているとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成されていることを特徴とする請求項２に記載の符号化撮像装置。
【請求項4】
前記低ノイズ処理機構において、前記所定の符号化パターンに応じて取得された前記低解像度符号化画像の２値を反転してから、前記ノイズを低減する処理を行うことを特徴とする請求項３に記載の符号化撮像装置。
【請求項5】
前記再構成処理部は、前記再構成計算機構により前記低解像度符号化画像を前記高解像度画像に再構成する処理を行った後、前記低ノイズ処理機構により前記ノイズを低減する処理を行うように構成されていることを特徴とする請求項１に記載の符号化撮像装置。
【請求項6】
前記光変調器に全画素をＯＮ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全点灯時における低解像度画像ＹONを撮像するように構成されているとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック内毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成されていることを特徴とする請求項５に記載の符号化撮像装置。
【請求項7】
前記被写体の像情報を担持した光が、前記所定の符号化パターンを表示してなる前記光変調器に照射され、該光変調器から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成されていることを特徴とする請求項１～６のうちいずれか１項に記載の符号化撮像装置。
【請求項8】
前記所定の符号化パターンを表示してなる前記光変調器からの、所定の符号化パターン情報を担持してなる光が、前記被写体に照射され、該被写体から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成されていることを特徴とする請求項１～６のうちいずれか１項に記載の符号化撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超解像技術を利用して高解像度画像を取得する符号化撮像装置に関するものである。
【背景技術】
【0002】
低解像度画像から高解像度画像を作り出す技術として超解像技術が知られている。
超解像技術の手法としては、例えば図１２に示すように、被写体からの光（輝度情報）（ａ）を、複数枚のパターンを表示させた光変調器に照射して光学的に変調し、この光変調器からの、種々の符号化パターンを担持した被写体像（ｂ）をカメラで撮像し、撮像された複数枚の低解像度符号化画像（ｃ）を計算機によって高解像度画像（ｄ）に再構成する技術が知られている。
超解像技術の手法としては、例えば図１２に示すように、被写体からの光（輝度情報）（ａ）を、複数枚のパターンを表示させた光変調器に照射して光学的に変調し、この光変調器からの、種々の符号化パターンを担持した被写体像（ｂ）をカメラで撮像し、撮像された複数枚の低解像度符号化画像（ｃ）を計算機によって高解像度画像（ｄ）に再構成する技術が知られている。
【0003】
上述した、低解像度符号化画像（ｃ）を計算機によって高解像度画像（ｄ）に再構成する処理は、逆問題Ｙ＝ＡＸを解くことにより行われる。
すなわち、低解像度符号化画像（ｃ）をＹとし、光学系での符号化、リサンプリング情報を表す超解像ファクターをＡとし、光学系に即した方程式Ｙ＝ＡＸを解き、高解像度画像（ｄ）であるＸを得る。
すなわち、低解像度符号化画像（ｃ）をＹとし、光学系での符号化、リサンプリング情報を表す超解像ファクターをＡとし、光学系に即した方程式Ｙ＝ＡＸを解き、高解像度画像（ｄ）であるＸを得る。
【0004】
また、一般に連立方程式において未知数を求めるためには未知数の個数以上の条件式の個数が必要であるが、未知数がスパース（疎）である場合には、未知数の個数未満の条件式によっても、未知数を推定することができる。この手法は圧縮センシングの技術として知られており、この技術を用いることにより、撮像する画像枚数を削減することが可能となる。
【0005】
画像においては、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）、離散フーリエ変換（Discrete Fourier Transform：ＤＦＴ）等の、何らかの情報量を圧縮し得る基底を用い、周波数成分への変換を行うことで、未知数にスパース性をもたせることができる。
このように、再構成処理に圧縮センシングの技術を用いて得られたスパースな解を逆ＤＣＴ、逆ＤＷＴあるいは逆ＤＦＴの処理を行うことで、高解像度画像を再構成することができる。
このように、再構成処理に圧縮センシングの技術を用いて得られたスパースな解を逆ＤＣＴ、逆ＤＷＴあるいは逆ＤＦＴの処理を行うことで、高解像度画像を再構成することができる。
【0006】
ところで、実際の光学系では、撮像素子のノイズや、光学系における迷光等によるノイズが存在しており、これらのノイズが過大となると、再構成された高解像度画像の品質が大幅に低下してしまう。
その主要因は、再構成処理で使用する超解像ファクターと、実際の光学系や撮像系との乖離にあり、そのノイズを低減するために、信号処理によりノイズ低減を行う手法と、光学系や撮像系のハードに着目してノイズ低減を行う手法が知られている。
その主要因は、再構成処理で使用する超解像ファクターと、実際の光学系や撮像系との乖離にあり、そのノイズを低減するために、信号処理によりノイズ低減を行う手法と、光学系や撮像系のハードに着目してノイズ低減を行う手法が知られている。
【0007】
例えば、下記非特許文献１に記載の技術は、多数の微小なミラーを格子状に配置し、ミラー毎に反射のＯＮ、ＯＦＦを切替え可能とした光変調器であるデジタルマイクロミラーデバイス（以下、ＤＭＤと称する）を利用して、被写体からの光を符号化している。これにより、超解像の再構成計算を行う際に圧縮センシングの技術を用いてハイパーパラメーターを調整し、周波数領域に表れるポアソン分布に従うノイズを除去することができる。
【0008】
また、光学系をセットアップする際には、光変調器として使用するＤＭＤとカメラを画素レベルで正確に位置合わせすることで、位置ずれに起因するノイズを低減できる。例えば、下記特許文献１に記載の技術は、ＤＭＤとカメラの位置合わせを、モアレ縞を用いてサブピクセルレベルで行う手法である。この手法を用いることで、連立方程式のリサンプリングによって生じるノイズを低減することができる。
【0009】
さらに、下記非特許文献２に記載の技術は、再構成処理を行う際に、光変調器として使用するＤＭＤとカメラのピクセルの位置ずれを補償するリサンプリングファクターを用いて、ピクセル間の位置ずれに起因するノイズの低減を図る手法である。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特許第３９３７０２４号
【非特許文献】
【0011】
【非特許文献1】Marco F. Duarte, et al. ,“Single-pixel imaging via compressive sampling: Building simpler, smaller, and less-expensive digital cameras”, IEEE Signal Processing Magazine, 25(2), pp. 83-91, 2008
【非特許文献2】Xudong Zhang , et al. ,“MEMS-based super-resolution remote sensing system using compressive sensing”,Optics Communications, 426, 410-417, 2018
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述した再生符号化画像の解像度に大きな影響を与える要因として、上記各ノイズの他、符号化時にパターンによってマスクされた領域に生じるノイズがある。このようなノイズによっても画質の低下を招いてしまう。図１３は、ハイパーパラメーターを調整して得られた再構成結果を示すものであり、（Ａ）は、輝度レベルが全体的に持ち上げられた様子を示すデータ、（Ｂ）は、輝度レベルが全体的に低下した様子を示すデータ、（Ｃ）は真値（Ground truth）を示すデータである。
【0013】
すなわち、上記画質の低下が生じる原因は、図１４に示すように、暗電流、画素むら、読み出しノイズおよび光ショットノイズ等により、マスクされた画素領域にノイズが生じ、例えば、低解像度符号化画像の輝度レベルが全体的に持ち上げられ（図１４の例では、各部に２０単位ずつのノイズが重畳した様子が示されている）、図１２のフローに示すような、理想的な状況との乖離が生まれることによる。
【0014】
したがって、上記非特許文献１に示す技術のように、再構成時のハイパーパラメーターを調整するものでは、マスクされた画素領域に生じるノイズを抑制できず、高解像度画像のダイナミックレンジが低下するため、画像全体の輝度レベルの持ち上がりや低下が生じることとなる。
上述した各先行技術においては、このような問題の解決策について何ら記載も示唆もされていない。
上述した各先行技術においては、このような問題の解決策について何ら記載も示唆もされていない。
【0015】
そこで、本発明では、低解像度符号化画像から高解像度画像を再構成する際に、マスクされた画素領域に生じるノイズを原因とした、ダイナミックレンジの低下に伴う、画像全体の輝度レベルの低下や持ち上がりを抑制し、画質の高い高解像度画像を取得し得る符号化撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
本発明の符号化撮像装置は、
所定の符号化パターンを表示し、被写体の像の符号化パターンを生成する機能を有する光変調器と、
該被写体の像の該符号化パターンが、撮像素子の画素サイズ以下になるように、該被写体の像の該符号化パターンを収束させるレンズと、
該被写体の像の該符号化パターンを撮像する該撮像素子を備えた撮像部と、
該符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構、および前記撮像部で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構を含む再構成処理部と、
を備えたことを特徴とするものである。
所定の符号化パターンを表示し、被写体の像の符号化パターンを生成する機能を有する光変調器と、
該被写体の像の該符号化パターンが、撮像素子の画素サイズ以下になるように、該被写体の像の該符号化パターンを収束させるレンズと、
該被写体の像の該符号化パターンを撮像する該撮像素子を備えた撮像部と、
該符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構、および前記撮像部で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構を含む再構成処理部と、
を備えたことを特徴とするものである。
【0017】
この場合において、前記再構成処理部は、前記低ノイズ処理機構により前記ノイズを低減する処理を行った後、前記再構成計算機構により前記低解像度符号化画像を前記高解像度画像に再構成する処理を行うようにしてもよい。
このような順に処理を行った場合には、前記光変調器に全画素をＯＦＦ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全消灯時における低解像度画像ＹOFFを撮像するように構成するとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成してもよい。
あるいは、前記低ノイズ処理機構において、前記所定の符号化パターンに応じて取得された前記低解像度符号化画像を低解像度画像ＹOFFや前記所定の符号化パターンの２値を反転したパターンを用いて補正し、前記ノイズを低減する処理を行うように構成してもよい。
このような順に処理を行った場合には、前記光変調器に全画素をＯＦＦ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全消灯時における低解像度画像ＹOFFを撮像するように構成するとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成してもよい。
あるいは、前記低ノイズ処理機構において、前記所定の符号化パターンに応じて取得された前記低解像度符号化画像を低解像度画像ＹOFFや前記所定の符号化パターンの２値を反転したパターンを用いて補正し、前記ノイズを低減する処理を行うように構成してもよい。
【0018】
上記の場合において、前記再構成処理部は、前記再構成計算機構により前記低解像度符号化画像を前記高解像度画像に再構成する処理を行った後、前記低ノイズ処理機構により前記ノイズを低減する処理を行うように構成してもよい。
このような順に処理を行った場合には、前記光変調器に全画素をＯＮ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全点灯時における低解像度画像ＹONを撮像するように構成するとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック内毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成してもよい。
このような順に処理を行った場合には、前記光変調器に全画素をＯＮ状態にしたパターンを表示し、このパターンを、前記撮像部で撮像することにより、該光変調器の画素領域の全点灯時における低解像度画像ＹONを撮像するように構成するとともに、該光変調器の画素領域を所定の画素数のブロックに分割し、各ブロック内毎に所定数の画素をＯＮ状態にしたパターンを順次前記光変調器に表示して、各パターンについての低解像度符号化画像を撮像するように構成してもよい。
【0019】
また、上記いずれかの符号化撮像装置において、前記被写体の像情報を担持した光が、前記所定の符号化パターンを表示してなる前記光変調器に照射され、該光変調器から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成してもよい。
一方、前記所定の符号化パターンを表示してなる前記光変調器からの、所定の符号化パターン情報を担持してなる光が、前記被写体に照射され、該被写体から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成してもよい。
一方、前記所定の符号化パターンを表示してなる前記光変調器からの、所定の符号化パターン情報を担持してなる光が、前記被写体に照射され、該被写体から出射された、前記被写体の像の符号化パターン情報を担持した光が前記撮像部で撮像されるように構成してもよい。
【発明の効果】
【0020】
本発明の符号化撮像装置によれば、符号化パターンを撮像する際に、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理機構、および撮像部で撮像した低解像度符号化画像を高解像度画像に再構成する再構成計算機構を備えている。
【0021】
このため、パターン形成のためにマスクされた画素領域において生じるノイズを低減する低ノイズ処理と、撮像部で撮像した低解像度符号化画像を高解像度画像に再構成する再構成計算処理のうち、いずれか一方の処理を先に、いずれか他方の処理を後に行うことで、符号化パターンを用いた超解像撮像において、低解像度符号化画像から高解像度画像を再構成する際に、符号化時にパターンによってマスクされた領域に生じるノイズを原因とした、ダイナミックレンジの低下に伴う、画像全体の輝度レベルの低下や持ち上がりを抑制することが可能となる。
【図面の簡単な説明】
【0022】
【図1】本発明に係る符号化撮像装置において、低解像度符号化画像から高解像度画像を生成する構成を説明するための概念図である。
【図2】本発明の実施形態に係る符号化撮像装置における、ＤＭＤを用いた反射型の撮像光学系を説明するための概念図である。
【図3】本発明の実施形態に係る撮像装置において、ＤＭＤに表示する符号化のパターン例を説明する概念図である。
【図4】本発明の実施形態１に係る再構成計算法（手法１）を説明するための概念図である。
【図5】本発明の実施形態１に係る再構成計算法（手法２）を説明するための概念図である。
【図6】本発明の実施形態１に係る低ノイズ処理を説明する概念図である。
【図7】本発明の実施形態１に係る低ノイズ処理を施した場合の（Ａ）再構成画像結果および（Ｂ）真値（Ground truth）を示す図である。
【図8】本発明の実施形態２に係る低ノイズ処理（低解像度ノイズマップＥの生成）を説明する概念図である。
【図9】本発明の実施形態２に係る低ノイズ処理（低解像度ノイズパターンＦの求め方）を説明する概念図である。
【図10】本発明の実施形態２に係る低ノイズ処理を施した場合の（Ａ）再構成画像結果および（Ｂ）真値（Ground truth）を示す図である。
【図11】本発明の実施形態３に係る低ノイズ処理を施した場合の（Ａ）再構成画像結果および（Ｂ）真値（Ground truth）を示す図である。
【図12】一般的な符号化による超解像フローを示す概念図である。
【図13】符号化時にパターンを形成するマスク領域にノイズが生じた場合の再構成画像の例（（Ａ）輝度レベルが持ち上がっている場合、（Ｂ）輝度レベルが低下している場合）と（Ｃ）真値（Ground truth）を示す図である。
【図14】符号化時にパターンを形成するマスク領域にノイズが生じた場合の符号化による超解像フローを示す概念図である。
【発明を実施するための形態】
【0023】
＜発明の概念＞
以下、本発明の実施形態に係る符号化撮像装置を図面を用いて説明するが、その前に、本発明に係る符号化撮像装置の概念を、簡単に説明しておく。
図１に示すように、本発明に係る符号化撮像装置１は、被写体１０からの光を、レンズ１１を介して照射され、この照射光を空間的な符号化パターンで変調する光変調器１２、この符号化パターンがカメラの画素サイズ以下になるように符号化パターン像のサイズを調整するレンズ１３、この符号化パターン像を撮像する撮像部１４、符号化時にパターンによってマスクされた領域に現れるノイズを低減するとともに、撮像部１４で取得した低解像度符号化画像を高解像度画像に再構成する再構成処理部１５を備えている。
以下、本発明の実施形態に係る符号化撮像装置を図面を用いて説明するが、その前に、本発明に係る符号化撮像装置の概念を、簡単に説明しておく。
図１に示すように、本発明に係る符号化撮像装置１は、被写体１０からの光を、レンズ１１を介して照射され、この照射光を空間的な符号化パターンで変調する光変調器１２、この符号化パターンがカメラの画素サイズ以下になるように符号化パターン像のサイズを調整するレンズ１３、この符号化パターン像を撮像する撮像部１４、符号化時にパターンによってマスクされた領域に現れるノイズを低減するとともに、撮像部１４で取得した低解像度符号化画像を高解像度画像に再構成する再構成処理部１５を備えている。
【0024】
また、再構成処理部１５は、符号化時にパターンによってマスクされた領域に現れるノイズを低減する低ノイズ処理機構１５Ａと、撮像部１４で取得した低解像度符号化画像を高解像度画像に再構成する再構成計算機構１５Ｂを備えている。本発明に係る符号化撮像装置１としては、この低ノイズ処理機構１５Ａによる処理と再構成計算機構１５Ｂによる処理のうち、いずれを先に行って、いずれを後に行うかにより２つの手法を取り得る。
【0025】
すなわち、第１の手法は、低ノイズ処理機構１５Ａにより、ノイズが重畳された低解像度符号化画像を補正し、ノイズの影響を抑制した上で、再構成計算機構１５Ｂにより高解像度画像を再構成するように構成されたものである。また、第２の手法は、再構成計算機構１５Ｂによりノイズが重畳された低解像度符号化画像から高解像度画像を再構成し、その後、低ノイズ処理機構１５Ａにより、高解像度画像を補正し、ノイズの影響を抑制するように構成されたものである。
これら２つの手法は、いずれも本発明に係る符号化撮像装置を構成する。
これら２つの手法は、いずれも本発明に係る符号化撮像装置を構成する。
【0026】
なお、以下では、マスク領域に生じるノイズを低減する手法である実施形態１～３について順に説明するが、実施形態１、２は、上記第１の手法を具体的に示すものであり、実施形態３は、上記第２の手法を具体的に示すものである。
【0027】
＜実施形態１＞
以下、実施形態１に係る符号化撮像装置について、図２を用いて説明する。
（撮像光学系）
まず、実施形態１に係る符号化撮像装置１Ａの撮像光学系は、図２に具体的に示されるように、光変調器１２としてＤＭＤ１２Ａを用い、これにより反射型の光学系が構築される。
以下、実施形態１に係る符号化撮像装置について、図２を用いて説明する。
（撮像光学系）
まず、実施形態１に係る符号化撮像装置１Ａの撮像光学系は、図２に具体的に示されるように、光変調器１２としてＤＭＤ１２Ａを用い、これにより反射型の光学系が構築される。
【0028】
まず、被写体１０Ａからの光をレンズ１（１１Ａ）でＤＭＤ１２Ａに結像し、ＤＭＤ１２Ａからの反射光をレンズ２（１３Ａ）でカメラ１４Ａの撮像面に結像するように調整する。
次に、ＤＭＤ１２Ａの全画素をＯＦＦ状態にしたパターン（以下、全消灯と称する）を表示する。これをカメラ１４Ａで撮像することにより、ＤＭＤ１２Ａの全消灯時における低解像度画像ＹOFFを撮像する。この低解像度画像ＹOFFを、上述した再構成処理部１５に転送する。
次に、ＤＭＤ１２Ａの全画素をＯＦＦ状態にしたパターン（以下、全消灯と称する）を表示する。これをカメラ１４Ａで撮像することにより、ＤＭＤ１２Ａの全消灯時における低解像度画像ＹOFFを撮像する。この低解像度画像ＹOFFを、上述した再構成処理部１５に転送する。
【0029】
次に、図３に示すように、ＤＭＤ１２Ａの画素領域を画素数（ｉ，ｊ）のブロックに分割し、各ブロック内で１画素ずつＯＮ状態にした符号化パターン（ｐ種類）を順次ＤＭＤ１２Ａに表示する。各符号化パターンにおける合計でｐ枚の低解像度符号化画像をカメラ１４Ａで撮像する。撮像したｐ枚の低解像度符号化画像を再構成処理部１５に転送する。
【0030】
なお、光変調器としては、ＤＭＤ１２Ａの他、透過型あるいは反射型の液晶表示装置（ＬＣＤ）等の他の光変調器を用いてもよい。
また、符号化は、固定マスクをステージ上等にセットし、固定マスクとステージを、相対的に移動させることで行うようにしてもよい。
また、ＤＭＤ１２Ａに表示する符号化パターンは、本実施形態に示す、各ブロック内で１画素ずつＯＮ状態とさせたものに限られるものではなく、各ブロック内の複数画素をＯＮ状態としたパターンとすることも可能であり、その他、ランダムパターンやアダマールパターンを用いた直交基底等を含めた任意のパターンとすることが可能である。また、各ブロックで、ＯＮ状態とする画素は、必ずしも、ブロック間で対応する画素とせずともよい。
また、符号化は、固定マスクをステージ上等にセットし、固定マスクとステージを、相対的に移動させることで行うようにしてもよい。
また、ＤＭＤ１２Ａに表示する符号化パターンは、本実施形態に示す、各ブロック内で１画素ずつＯＮ状態とさせたものに限られるものではなく、各ブロック内の複数画素をＯＮ状態としたパターンとすることも可能であり、その他、ランダムパターンやアダマールパターンを用いた直交基底等を含めた任意のパターンとすることが可能である。また、各ブロックで、ＯＮ状態とする画素は、必ずしも、ブロック間で対応する画素とせずともよい。
【0031】
また、ＤＭＤ１２Ａとカメラ１４Ａの位置関係は、上記本実施形態の位置関係以外にも、リサンプリングファクターで補正することを考慮することで、ＤＭＤ１２Ａの１ブロックとカメラ１画素間に位置ずれが存在する関係であってもよい。
また、本実施形態のものでは、被写体１０Ａの像をＤＭＤ１２Ａに結像して符号化しているが、本発明に係る符号化撮像装置としては、それに限られるものではなく、ＤＭＤ１２Ａに表示された符号化パターンを被写体１０Ａに照射し、ＤＭＤ１２Ａに表示されたパターン情報を担持した被写体１０Ａの像をカメラ１４Ａにより撮像するような撮像光学系を備えたものとし、照明光に対して符号化を行うようにしてもよい。
また、本実施形態のものでは、被写体１０Ａの像をＤＭＤ１２Ａに結像して符号化しているが、本発明に係る符号化撮像装置としては、それに限られるものではなく、ＤＭＤ１２Ａに表示された符号化パターンを被写体１０Ａに照射し、ＤＭＤ１２Ａに表示されたパターン情報を担持した被写体１０Ａの像をカメラ１４Ａにより撮像するような撮像光学系を備えたものとし、照明光に対して符号化を行うようにしてもよい。
【0032】
（再構成処理部：再構成計算機構）
再構成処理部１５には、前述したように再構成計算機構１５Ｂが含まれており、その再構成計算機構１５Ｂにおいては、以下のような再構成計算が行われる。
すなわち、低解像度符号化画像をＹ、カメラ１４ＡによるリサンプリングをＲ、符号化パターンの対角行列をＤ、超解像された高解像度画像をOとして、光学系を数式に当てはめると下式（１）が成立する。
Ｙ＝ＲＤＯ …（１）
なお、符号化パターンの対角行列Ｄには２値の符号化パターンを用いている。
再構成処理部１５には、前述したように再構成計算機構１５Ｂが含まれており、その再構成計算機構１５Ｂにおいては、以下のような再構成計算が行われる。
すなわち、低解像度符号化画像をＹ、カメラ１４ＡによるリサンプリングをＲ、符号化パターンの対角行列をＤ、超解像された高解像度画像をOとして、光学系を数式に当てはめると下式（１）が成立する。
Ｙ＝ＲＤＯ …（１）
なお、符号化パターンの対角行列Ｄには２値の符号化パターンを用いている。
【0033】
さらに、ＤＣＴ基底をＢ、超解像された画像のＤＣＴ成分をＸとすると、上式（１）は、ＤＣＴにより、下式（２）に変換される。
Ｙ＝ＲＤＢＸ …（２）
ここで、Ｘ、Ｙは一次元信号であり、図４に示すように、線形な行列の積で表現できる。
Ｙ＝ＲＤＢＸ …（２）
ここで、Ｘ、Ｙは一次元信号であり、図４に示すように、線形な行列の積で表現できる。
【0034】
ここで、得られたｐ枚の低解像度符号化画像に基づいて、ｐ個の式による連立方程式を作成する。
低解像度符号化画像の大きさを（ｍ，ｎ）、超解像された高解像度画像の大きさを（Ｍ，Ｎ）、ＲＤＢをひとまとめにした超解像ファクターをＡとすれば、Ａ、およびＹ（＝｛Ｙ１,Ｙ２,…,Ｙｐ｝）が既知であるため、その２つの既知の要素からＸ（＝｛Ｘ１,…,ＸM×N｝）を求める逆問題Ｙ＝ＡＸとなる（図５を参照）。
低解像度符号化画像の大きさを（ｍ，ｎ）、超解像された高解像度画像の大きさを（Ｍ，Ｎ）、ＲＤＢをひとまとめにした超解像ファクターをＡとすれば、Ａ、およびＹ（＝｛Ｙ１,Ｙ２,…,Ｙｐ｝）が既知であるため、その２つの既知の要素からＸ（＝｛Ｘ１,…,ＸM×N｝）を求める逆問題Ｙ＝ＡＸとなる（図５を参照）。
【0035】
一般にＭ×Ｎ元連立方程式（すなわち未知数がＭ×Ｎの連立方程式）においては、条件式がＭ×Ｎ以上必要である。しかし、圧縮センシングの手法を用いれば、条件式の数が未知数の数未満でも求めることができる。本実施形態では、この点に着目して、ＤＣＴの変換手法を用いることにより画像をスパースな解としている。なお、圧縮センシング技術を用いることにより、ＡＩ等による学習を施さなくても、少ない画像枚数により超解像を行うことができる。
ＤＣＴの変換手法に替えて、ＤＷＴやＤＦＴ等の変換手法を用いることも可能である。
ＤＣＴの変換手法に替えて、ＤＷＴやＤＦＴ等の変換手法を用いることも可能である。
【0036】
上記連立方程式を解く際には、ＬＡＳＳＯ（Least absolute shrinkage and selection operator）回帰と称される下式（３）の最適化問題をＡＤＭＭ（Alternating Direction Method of Multipliers）法で解く手法を用いる。下記の最適化問題の解法アルゴリズムとしてＡＤＭＭ法に替えて、ニュートン法、準ニュートン法、座標降下法、ＩＳＴＡ（Iterative shrinkage-thresholding algorithm）およびＦＩＳＴＡ（Fast iterative shrinkage-thresholding algorithm）等の手法を用いてもよい。
【0037】
【数1】
【0038】
（再構成処理部：低ノイズ処理機構）
再構成処理部１５には、前述したように低ノイズ処理機構１５Ａが含まれており、その低ノイズ処理機構１５Ａにおいては、以下のような低ノイズ処理が行われる。
すなわち、予め取得したＤＭＤ１２Ａを全消灯としたときの低解像度画像ＹOFFは、カメラ１４Ａの全面に光が入射していないときの輝度レベルを表すものであり、黒のレベルを持ち上げるノイズ成分のみが表示されている画像である。
取得した各低解像度符号化画像Ｙｋに対しノイズ補正を行うために、Ｙｋ´＝Ｙｋ－ＹOFFを計算し、Ｙ´＝｛Ｙ１´， Ｙ２´, …, Ｙｐ´｝を得る（図６を参照）。
再構成処理部１５には、前述したように低ノイズ処理機構１５Ａが含まれており、その低ノイズ処理機構１５Ａにおいては、以下のような低ノイズ処理が行われる。
すなわち、予め取得したＤＭＤ１２Ａを全消灯としたときの低解像度画像ＹOFFは、カメラ１４Ａの全面に光が入射していないときの輝度レベルを表すものであり、黒のレベルを持ち上げるノイズ成分のみが表示されている画像である。
取得した各低解像度符号化画像Ｙｋに対しノイズ補正を行うために、Ｙｋ´＝Ｙｋ－ＹOFFを計算し、Ｙ´＝｛Ｙ１´， Ｙ２´, …, Ｙｐ´｝を得る（図６を参照）。
【0039】
（再構成処理部：構成および機能）
低ノイズ処理機構１５Ａで得たＹ´を用いて、逆問題Ｙ´=ＡＸを解き、高解像度画像の周波数成分X^を再構成する。X^を周波数領域から空間領域に変換し、超解像された高解像度画像O^を得る。
低ノイズ処理機構１５Ａによる低ノイズ処理を行った後に、再構成処理を行うことで、符号化時にパターンによってマスクされた領域に表れるノイズを低減し、超解像された高解像度画像のダイナミックレンジの低下を抑制することができる。
低ノイズ処理機構１５Ａで得たＹ´を用いて、逆問題Ｙ´=ＡＸを解き、高解像度画像の周波数成分X^を再構成する。X^を周波数領域から空間領域に変換し、超解像された高解像度画像O^を得る。
低ノイズ処理機構１５Ａによる低ノイズ処理を行った後に、再構成処理を行うことで、符号化時にパターンによってマスクされた領域に表れるノイズを低減し、超解像された高解像度画像のダイナミックレンジの低下を抑制することができる。
【0040】
本実施形態では、（ｉ, ｊ）＝（２, ２）として、ｐ＝４枚の低解像度符号化画像を撮像した。４枚の画像から予め撮像した低解像度画像ＹOFFを減算し、Ｙ´を求めた。逆方程式Ｙ´=ＡＸをＡＤＭＭで解き、高解像度画像のＤＣＴ成分X^を再構成した。さらに逆ＤＣＴを行い、縦横各２倍に超解像された高解像度画像0^を得た。
その結果は図７（Ａ）に示すように、ＰＳＮＲが２２．５ｄＢとなり、ダイナミックレンジの低下を抑制できることが明らかである。なお、図７（Ｂ）は真値（Ground truth）を示すものである。
その結果は図７（Ａ）に示すように、ＰＳＮＲが２２．５ｄＢとなり、ダイナミックレンジの低下を抑制できることが明らかである。なお、図７（Ｂ）は真値（Ground truth）を示すものである。
【0041】
なお、上記実施形態１では条件式の数と未知数の数が等しくなる枚数分の低解像度符号化画像を用いて超解像再構成処理を行っているが、未知数の数よりも撮像する低解像度符号化画像の数を減らして再構成処理を行うこともできる。
【0042】
＜実施形態２＞
以下、実施形態２に係る符号化撮像装置について説明するが、基本的な構成等は実施形態１と類似しているので、煩を避けるため、実施形態１のものと重複する記載は省略し、相違する構成等についてのみ説明する。また、対応する部材については、図２の各符号を用いて説明する。
上述した実施形態１においては、低ノイズ処理機構１５Ａを用いることで、超解像された再構成画像のダイナミックレンジの低下を抑制することができるものの、低解像度画像ＹOFFはカメラ１４Ａの撮像素子の全面に光が入射していない状態での輝度レベルであるため、各低解像度符号化画像から低解像度画像ＹOFFを減算すると、補正された低解像度画像Ｙ´においてマスクされていない被写体像領域からの反射光成分についても輝度レベルが低下してしまい、再構成された高解像度画像全体の輝度レベルが低下してしまう。
そこで、２値を反転した符号化パターンを用いて高精度にノイズを補正することで、ダイナミックレンジが広く、真値（Ground truth）に近い輝度レベルを持つ高解像度画像の再構成が可能となる。
以下、実施形態２に係る符号化撮像装置について説明するが、基本的な構成等は実施形態１と類似しているので、煩を避けるため、実施形態１のものと重複する記載は省略し、相違する構成等についてのみ説明する。また、対応する部材については、図２の各符号を用いて説明する。
上述した実施形態１においては、低ノイズ処理機構１５Ａを用いることで、超解像された再構成画像のダイナミックレンジの低下を抑制することができるものの、低解像度画像ＹOFFはカメラ１４Ａの撮像素子の全面に光が入射していない状態での輝度レベルであるため、各低解像度符号化画像から低解像度画像ＹOFFを減算すると、補正された低解像度画像Ｙ´においてマスクされていない被写体像領域からの反射光成分についても輝度レベルが低下してしまい、再構成された高解像度画像全体の輝度レベルが低下してしまう。
そこで、２値を反転した符号化パターンを用いて高精度にノイズを補正することで、ダイナミックレンジが広く、真値（Ground truth）に近い輝度レベルを持つ高解像度画像の再構成が可能となる。
【0043】
以下、実施形態２における（撮像光学系）の項目、（再構成処理部：再構成計算機構）の項目については、実施形態１のものと同様とされているので省略し、実施形態１と相違する（再構成処理部：低ノイズ処理機構）の項目、および（再構成処理部：構成および機能）の項目、についてのみを説明する。
【0044】
（再構成処理部：低ノイズ処理機構）
再構成処理部１５には、実施形態１と同様に低ノイズ処理機構１５Ａが含まれており、その低ノイズ処理機構１５Ａにおいては、以下のような低ノイズ処理が行われる。
すなわち、図８に示すような流れで、低ノイズ処理が行われる。まず、（ａ）に示す既知の符号化パターンを、（ｂ）に示すように一次元化する。この後、符号化パターンの２値を反転して、（ｃ）に示す反転パターンＣINVを得る。
次に、反転パターンＣINVに、カメラ１４ＡによるリサンプリングであるＲを乗算し（ＲＣINVを計算する）、低解像度化処理を行う。これにより、（ｄ）に示す低解像度ノイズマップＥ＝ＲＣINVを得る。
再構成処理部１５には、実施形態１と同様に低ノイズ処理機構１５Ａが含まれており、その低ノイズ処理機構１５Ａにおいては、以下のような低ノイズ処理が行われる。
すなわち、図８に示すような流れで、低ノイズ処理が行われる。まず、（ａ）に示す既知の符号化パターンを、（ｂ）に示すように一次元化する。この後、符号化パターンの２値を反転して、（ｃ）に示す反転パターンＣINVを得る。
次に、反転パターンＣINVに、カメラ１４ＡによるリサンプリングであるＲを乗算し（ＲＣINVを計算する）、低解像度化処理を行う。これにより、（ｄ）に示す低解像度ノイズマップＥ＝ＲＣINVを得る。
【0045】
次に、低解像度ノイズマップＥと、予め取得した低解像度画像ＹOFFのアダマール積を計算し、低解像度ノイズパターンＦを求める。
これをｐ枚の符号化パターンに対して行う。取得した各低解像度符号化画像Ｙｋに対しノイズ補正を行うために、図９に示すように、各符号化パターンから求めたＦｋを用いて、Ｙｋ´＝Ｙｋ－Ｆｋを計算し、Ｙ´＝｛Ｙ１´, Ｙ２´, …, Ｙｐ´｝を得る。
【数2】
【0046】
（再構成処理部：構成および機能）
低ノイズ処理機構１５Ａで得たＹ´を用いて、逆問題Ｙ´=ＡＸを解き、高解像度画像の周波数成分X^を再構成する。X^を周波数領域から空間領域に変換し、超解像された高解像度画像O^を得る。
低ノイズ処理機構１５Ａによる低ノイズ処理を行った後に、再構成処理を行うことで、符号化時にパターンによってマスクされた領域に表れるノイズを低減し、超解像された高解像度画像のダイナミックレンジの低下を抑制することができる。
低ノイズ処理機構１５Ａで得たＹ´を用いて、逆問題Ｙ´=ＡＸを解き、高解像度画像の周波数成分X^を再構成する。X^を周波数領域から空間領域に変換し、超解像された高解像度画像O^を得る。
低ノイズ処理機構１５Ａによる低ノイズ処理を行った後に、再構成処理を行うことで、符号化時にパターンによってマスクされた領域に表れるノイズを低減し、超解像された高解像度画像のダイナミックレンジの低下を抑制することができる。
【0047】
以下、実施形態２における（撮像光学系）の項目、（再構成処理部：再構成計算機構）の項目については、実施形態１においても同様とされているので省略し、実施形態１と相違する（再構成処理部：低ノイズ処理機構）の項目、および（再構成処理部：構成および機能）の項目、についてのみを以下に説明する。
【0048】
本実施形態においては、（ｉ, ｊ）＝（２, ２）として、ｐ＝４枚の低解像度符号化画像を撮像した。予め撮像した低解像度画像ＹOFFと４枚の符号化パターンを用いて低解像度ノイズパターンＦを求めた。取得した４枚の低解像度符号化画像Ｙから低解像度ノイズパターンＦを減算し、Ｙ´を求めた。
次に、逆方程式Ｙ´=ＡＸをＡＤＭＭで解き、高解像度画像のＤＣＴ成分X^を再構成した。さらに、逆ＤＣＴを行い、縦横各２倍に超解像された高解像度画像0^を得た。
次に、逆方程式Ｙ´=ＡＸをＡＤＭＭで解き、高解像度画像のＤＣＴ成分X^を再構成した。さらに、逆ＤＣＴを行い、縦横各２倍に超解像された高解像度画像0^を得た。
【0049】
その結果は図１０（Ａ）に示すように、ＰＳＮＲが３６．７ｄＢとなり、ダイナミックレンジの低下を抑制できることが明らかであり、上記実施形態１のものより画像全体の輝度レベルがさらに高くなり、真値に近い結果を得ることができることを確認できた。なお、図１０（Ｂ）は真値（Ground truth）を示すものである。
なお、以上の実施形態では条件式数と未知数が等しくなる枚数分の低解像度符号化画像を用いて超解像再構成処理を行ったが、撮像する低解像度符号化画像を減らして再構成処理を行ってもよい。
なお、以上の実施形態では条件式数と未知数が等しくなる枚数分の低解像度符号化画像を用いて超解像再構成処理を行ったが、撮像する低解像度符号化画像を減らして再構成処理を行ってもよい。
【0050】
＜実施形態３＞
以下、実施形態３に係る符号化撮像装置について説明するが、基本的な構成等は実施形態１と類似しているので、煩を避けるため、実施形態１のものと重複する記載は省略し、相違する構成等についてのみ説明する。また、対応する部材については、図２の各符号を用いて説明する。
以下、実施形態３に係る符号化撮像装置について説明するが、基本的な構成等は実施形態１と類似しているので、煩を避けるため、実施形態１のものと重複する記載は省略し、相違する構成等についてのみ説明する。また、対応する部材については、図２の各符号を用いて説明する。
【0051】
以下、実施形態３における（再構成処理部：再構成計算機構）の項目については、実施形態１においても同様とされているので省略し、実施形態１と相違する（撮像光学系）の項目、（再構成処理部：低ノイズ処理機構）の項目、および（再構成処理部：構成および機能）の項目、についてのみ説明する。
【0052】
（撮像光学系）
実施形態３に係る符号化撮像装置の撮像光学系は、図２に具体的に示されるように、光変調器１２としてＤＭＤ１２Ａを用い、これにより反射型の光学系が構築される。
まず、被写体１０Ａからの光をレンズ１（１１Ａ）でＤＭＤ１２Ａに結像し、ＤＭＤ１２Ａからの反射光をレンズ２（１３Ａ）でカメラ１４Ａの撮像面に結像するように調整する。
次に、ＤＭＤ１２Ａにおける画素数(ｉ，ｊ)毎のブロックがカメラ１４Ａの１画素に結像するよう、ＤＭＤ１２Ａとカメラ１４Ａの位置合わせを行う。
実施形態３に係る符号化撮像装置の撮像光学系は、図２に具体的に示されるように、光変調器１２としてＤＭＤ１２Ａを用い、これにより反射型の光学系が構築される。
まず、被写体１０Ａからの光をレンズ１（１１Ａ）でＤＭＤ１２Ａに結像し、ＤＭＤ１２Ａからの反射光をレンズ２（１３Ａ）でカメラ１４Ａの撮像面に結像するように調整する。
次に、ＤＭＤ１２Ａにおける画素数(ｉ，ｊ)毎のブロックがカメラ１４Ａの１画素に結像するよう、ＤＭＤ１２Ａとカメラ１４Ａの位置合わせを行う。
【0053】
次に、ＤＭＤ１２Ａに全画素をＯＮ状態にしたパターン（以下、全点灯と称する）を表示する。これをカメラ１４Ａで撮像することによりＤＭＤ１２Ａの全点灯時における低解像度画像ＹONを撮像する。さらに、図３に示すように、ＤＭＤ１２Ａの画素領域を画素数（ｉ, ｊ）のブロックに分割し、各ブロック内で１画素ずつＯＮ状態にした符号化パターン（ｐ種類）を順次ＤＭＤ１２Ａに表示し、各符号化パターンにおける合計でｐ枚の低解像度符号化画像をカメラ１４Ａで撮像する。このようにして撮像したｐ＋１枚の撮像画像を、上述した再構成処理部１５に転送する。
【0054】
なお、光変調器としては、ＤＭＤ１２Ａの他、透過型あるいは反射型の液晶表示装置（ＬＣＤ）等の他の光変調器を用いてもよい。
また、符号化は、固定マスクをステージ上等にセットし、固定マスクとステージを、相対的に移動させることで行うようにしてもよい。
また、ＤＭＤ１２Ａに表示する符号化パターンは、本実施形態に示す、各ブロック内で１画素ずつＯＮ状態とさせたものに限られるものではなく、各ブロック内の複数画素をＯＮ状態としたパターンとすることも可能であり、その他、ランダムパターンやアダマールパターンを用いた直交基底等を含めた任意のパターンとすることが可能である。また、各ブロックで、ＯＮ状態とする画素は、必ずしも、ブロック間で対応する画素とせずともよい。
また、符号化は、固定マスクをステージ上等にセットし、固定マスクとステージを、相対的に移動させることで行うようにしてもよい。
また、ＤＭＤ１２Ａに表示する符号化パターンは、本実施形態に示す、各ブロック内で１画素ずつＯＮ状態とさせたものに限られるものではなく、各ブロック内の複数画素をＯＮ状態としたパターンとすることも可能であり、その他、ランダムパターンやアダマールパターンを用いた直交基底等を含めた任意のパターンとすることが可能である。また、各ブロックで、ＯＮ状態とする画素は、必ずしも、ブロック間で対応する画素とせずともよい。
【0055】
また、ＤＭＤ１２Ａとカメラ１４Ａの位置関係は、上記本実施形態の位置関係以外にも、リサンプリングファクターで補正することを考慮することで、ＤＭＤ１２Ａの１ブロックとカメラ１画素間に位置ずれが存在する関係であってもよい。
また、本実施形態のものでは、被写体１０Ａの像をＤＭＤ１２Ａに結像して符号化しているが、本発明に係る符号化撮像装置としては、それに限られるものではなく、ＤＭＤ１２Ａに表示された符号化パターンを被写体１０Ａに照射し、ＤＭＤ１２Ａに表示されたパターン情報を担持した被写体１０Ａの像をカメラ１４Ａにより撮像するような撮像光学系を備えたものとし、照明光に対して符号化を行うようにしてもよい。
また、本実施形態のものでは、被写体１０Ａの像をＤＭＤ１２Ａに結像して符号化しているが、本発明に係る符号化撮像装置としては、それに限られるものではなく、ＤＭＤ１２Ａに表示された符号化パターンを被写体１０Ａに照射し、ＤＭＤ１２Ａに表示されたパターン情報を担持した被写体１０Ａの像をカメラ１４Ａにより撮像するような撮像光学系を備えたものとし、照明光に対して符号化を行うようにしてもよい。
【0056】
（再構成処理部：構成および機能）
低ノイズ処理機構１５Ａで得たＹを用いて、逆問題Ｙ=ＡＸを解き、高解像度画像の周波数成分X^を再構成する。X^を周波数領域から空間領域に変換し、超解像された高解像度画像O^を得る。なお、その他の構成は、上記実施形態１のものと同様である。
低ノイズ処理機構１５Ａで得たＹを用いて、逆問題Ｙ=ＡＸを解き、高解像度画像の周波数成分X^を再構成する。X^を周波数領域から空間領域に変換し、超解像された高解像度画像O^を得る。なお、その他の構成は、上記実施形態１のものと同様である。
【0057】
（再構成処理部：低ノイズ処理機構）
低解像度符号化画像に含まれるノイズの影響で、再構成された高解像度画像全体の明るさが変化する。それを改善するためには、画像全体のバイアス成分を調整すればよいので、低解像度画像ＹONを用い、周波数領域で０次成分を修正する。
再構成して得られた高解像度画像のＤＣＴ成分X^に対し、上記のようにして取得した低解像度画像ＹONでＤＣＴ成分の０次成分を補正する。ＹONのＤＣＴ成分の０次成分を求める。これを ＭＮ／ｍｎ 倍し、X^の０次成分と置換し、逆ＤＣＴを行う。ここで、ｍｎは低解像度符号化画像の大きさを表すものであり、ＭＮは超解像された高解像度画像の大きさを表すものである。
このようにして、符号化時にパターンによってマスクされた領域に表れるノイズを低減し、超解像された高解像度画像のダイナミックレンジの低下を抑制することができる。
低解像度符号化画像に含まれるノイズの影響で、再構成された高解像度画像全体の明るさが変化する。それを改善するためには、画像全体のバイアス成分を調整すればよいので、低解像度画像ＹONを用い、周波数領域で０次成分を修正する。
再構成して得られた高解像度画像のＤＣＴ成分X^に対し、上記のようにして取得した低解像度画像ＹONでＤＣＴ成分の０次成分を補正する。ＹONのＤＣＴ成分の０次成分を求める。これを ＭＮ／ｍｎ 倍し、X^の０次成分と置換し、逆ＤＣＴを行う。ここで、ｍｎは低解像度符号化画像の大きさを表すものであり、ＭＮは超解像された高解像度画像の大きさを表すものである。
このようにして、符号化時にパターンによってマスクされた領域に表れるノイズを低減し、超解像された高解像度画像のダイナミックレンジの低下を抑制することができる。
【0058】
本実施形態においては、（ｉ, ｊ）＝（２, ２）として、１枚の低解像度画像ＹONとｐ＝４枚の低解像度符号化画像を撮像し、取得した４枚の低解像度符号化画像Ｙを用いて、逆方程式Ｙ=ＡＸをＡＤＭＭで解き、高解像度画像のＤＣＴ成分X^を再構成した。取得した低解像度画像ＹONのＤＣＴ成分の０次成分を求めた。これを ＭＮ／ｍｎ （＝４）倍し、X^の０次成分と置換し、逆ＤＣＴを行った。
【0059】
その結果は図１１（Ａ）に示すように、ＰＳＮＲが３７．１ｄＢとなり、ダイナミックレンジの低下を抑制できることが明らかであり、上記実施形態１のものより画像全体の輝度レベルがさらに高くなり、真値に近い結果を得ることができることを確認できた。なお、図１１（Ｂ）は真値（Ground truth）を示すものである。
なお、以上の実施例では条件式数と未知数が等しくなる枚数分の低解像度符号化画像を用いて超解像再構成処理を行ったが、撮像する低解像度符号化画像を減らして再構成処理を行ってもよい。
なお、以上の実施例では条件式数と未知数が等しくなる枚数分の低解像度符号化画像を用いて超解像再構成処理を行ったが、撮像する低解像度符号化画像を減らして再構成処理を行ってもよい。
【0060】
＜変更態様＞
本発明の符号化撮像装置としては、上記各実施形態のものに限られるものではなく種々の態様の変更が可能である。例えば、カメラの２次元センサーに替えて、単画素センサーを用いた超解像技術においても適用可能である。
また、本発明の符号化撮像装置は、符号化パターンを用いた超解像に広く有効であり、Lasso以外の解法、たとえばCGI(計算機ゴーストイメージング)等に対しても有効である。
本発明の符号化撮像装置としては、上記各実施形態のものに限られるものではなく種々の態様の変更が可能である。例えば、カメラの２次元センサーに替えて、単画素センサーを用いた超解像技術においても適用可能である。
また、本発明の符号化撮像装置は、符号化パターンを用いた超解像に広く有効であり、Lasso以外の解法、たとえばCGI(計算機ゴーストイメージング)等に対しても有効である。
【符号の説明】
【0061】
１、１Ａ 符号化撮像装置
１０、１０Ａ 被写体
１１、１３ レンズ
１１Ａ レンズ１
１２ 光変調器
１２Ａ ＤＭＤ
１３Ａ レンズ２
１４ 撮像部
１４Ａ カメラ
１５ 再構成処理部
１５Ａ 低ノイズ処理機構
１５Ｂ 再構成計算機構
１０、１０Ａ 被写体
１１、１３ レンズ
１１Ａ レンズ１
１２ 光変調器
１２Ａ ＤＭＤ
１３Ａ レンズ２
１４ 撮像部
１４Ａ カメラ
１５ 再構成処理部
１５Ａ 低ノイズ処理機構
１５Ｂ 再構成計算機構
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】