(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191942
(43)【公開日】2022-12-28
(54)【発明の名称】撮像装置及び撮像方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20221221BHJP
H04N 5/225 20060101ALI20221221BHJP
H04N 5/335 20110101ALI20221221BHJP
【ＦＩ】
H04N5/232 290
H04N5/225 400
H04N5/225 800
H04N5/335
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021100479
(22)【出願日】2021-06-16
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(74)【代理人】
【識別番号】100185225
【弁理士】
【氏名又は名称】齋藤 恭一
(72)【発明者】
【氏名】片野 祐太郎
(72)【発明者】
【氏名】信川 輝吉
(72)【発明者】
【氏名】室井 哲彦
(72)【発明者】
【氏名】石井 紀彦
【テーマコード（参考）】
5C024
5C122
【Ｆターム（参考）】
5C024CY45
5C024EX41
5C122DA30
5C122EA06
5C122EA37
5C122EA61
5C122EA68
5C122FB02
5C122FB17
5C122FC04
5C122FH18
5C122HB05
5C122HB09
5C122HB10
(57)【要約】
【課題】任意のパターンで被写体像を光学的に符号化することができ、高速に低解像度の符号化画像を取得し、高解像度画像を生成できる、撮像装置及び撮像方法を提供する。
【解決手段】低解像度画像を取得し、高解像度画像を生成する撮像装置であって、撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１撮像部と、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２撮像部と、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成部と、を備えることを特徴とする。
【選択図】図１
【解決手段】低解像度画像を取得し、高解像度画像を生成する撮像装置であって、撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１撮像部と、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２撮像部と、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成部と、を備えることを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
低解像度画像を取得し、高解像度画像を生成する撮像装置であって、
撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、
前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１撮像部と、
前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２撮像部と、
少なくとも、前記低解像度画像、前記第１撮像部及び前記第２撮像部のリサンプリングの情報、及び前記符号化パターンに基づいて、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成部と、
を備えることを特徴とする、撮像装置。
撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、
前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１撮像部と、
前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２撮像部と、
少なくとも、前記低解像度画像、前記第１撮像部及び前記第２撮像部のリサンプリングの情報、及び前記符号化パターンに基づいて、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成部と、
を備えることを特徴とする、撮像装置。
【請求項2】
請求項１に記載の撮像装置において、
前記第１撮像部と前記第２撮像部は、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係が互いに異なる状態で、それぞれ前記低解像度画像を取得することを特徴とする、撮像装置。
前記第１撮像部と前記第２撮像部は、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係が互いに異なる状態で、それぞれ前記低解像度画像を取得することを特徴とする、撮像装置。
【請求項3】
請求項２に記載の撮像装置において、
前記第１撮像部と前記第２撮像部の一方は、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を、前記符号化パターンのピッチよりも小さい単位でシフトさせることを特徴とする、撮像装置。
前記第１撮像部と前記第２撮像部の一方は、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を、前記符号化パターンのピッチよりも小さい単位でシフトさせることを特徴とする、撮像装置。
【請求項4】
請求項１乃至３のいずれか一項に記載の撮像装置において、
前記第１撮像部及び前記第２撮像部の少なくとも一方に取り付けたステージにより、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
前記第１撮像部及び前記第２撮像部の少なくとも一方に取り付けたステージにより、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
【請求項5】
請求項１乃至３のいずれか一項に記載の撮像装置において、
前記光変調器に取り付けたステージにより、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
前記光変調器に取り付けたステージにより、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
【請求項6】
請求項１乃至３のいずれか一項に記載の撮像装置において、
前記第１撮像部及び前記第２撮像部の少なくとも一方と前記光変調器との間に配置した光路変調素子により、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
前記第１撮像部及び前記第２撮像部の少なくとも一方と前記光変調器との間に配置した光路変調素子により、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することを特徴とする、撮像装置。
【請求項7】
請求項１乃至６のいずれか一項に記載の撮像装置において、
前記高解像度画像は、離散コサイン変換、離散ウェーブレット変換、又は離散フーリエ変換の二次元基底関数により画素成分に変換され、
前記画像生成部は、前記低解像度画像から前記高解像度画像の画素成分を推定する線形方程式を最適化問題により解を求めることで、高解像度の前記撮像対象物の像を生成することを特徴とする、撮像装置。
前記高解像度画像は、離散コサイン変換、離散ウェーブレット変換、又は離散フーリエ変換の二次元基底関数により画素成分に変換され、
前記画像生成部は、前記低解像度画像から前記高解像度画像の画素成分を推定する線形方程式を最適化問題により解を求めることで、高解像度の前記撮像対象物の像を生成することを特徴とする、撮像装置。
【請求項8】
撮像対象物の像を符号化パターンに基づいて空間的に強度変調する符号化ステップと、
前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１の低解像度画像取得ステップと、
前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２の低解像度画像取得ステップと、
少なくとも、前記低解像度画像、前記第１及び第２の低解像度画像取得ステップにおけるリサンプリングの情報、及び前記符号化パターンから、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成ステップと、
を備えることを特徴とする、撮像方法。
前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１の低解像度画像取得ステップと、
前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２の低解像度画像取得ステップと、
少なくとも、前記低解像度画像、前記第１及び第２の低解像度画像取得ステップにおけるリサンプリングの情報、及び前記符号化パターンから、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成ステップと、
を備えることを特徴とする、撮像方法。
【請求項9】
請求項８に記載の撮像方法において、
前記第１の低解像度画像取得ステップと前記第２の低解像度画像取得ステップは、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係が互いに異なる状態で、それぞれ前記低解像度画像を取得することを特徴とする、撮像方法。
前記第１の低解像度画像取得ステップと前記第２の低解像度画像取得ステップは、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係が互いに異なる状態で、それぞれ前記低解像度画像を取得することを特徴とする、撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び撮像方法に関し、特に、圧縮センシングを利用した超解像を行う撮像装置及び撮像方法に関する。
【背景技術】
【0002】
超解像技術は、低画素の画像から高画素の画像を作り出す技術であり、４Ｋや８Ｋ技術の発展に伴い、高解像度化に対応するためにさまざまなデジタルデバイスで利用される技術である。その手法も多様であるが、一般的なものとして、低解像度の画像を複数用意し、サブピクセルレベルで位置合わせをすることで高解像度の画像データを作る手法が挙げられる。例えば３２×３２画素の画像を縦横に半画素ずつずらしてサンプリングした４枚の画像があれば、６４×６４画素の画像を生み出すことができる。多画素化に伴いカメラ（撮像素子）の画素サイズの微細化が光の回折限界によって制限されるほど進んでいるため、撮像においても超解像技術が近年発達している。
【0003】
前述のように、超解像では高解像度化の程度によって低解像度画像を複数枚必要とするため、撮像においてはフレームレートの低下が問題となる。そのため、少ない低解像度画像から圧縮センシング（Compressive Sensing）によって超解像された高解像度画像を生成する手法が提案されている。画像の場合には、ＤＣＴ（Discrete Cosine Transform，離散コサイン変換）やＤＷＴ（Discrete Wavelet Transform，離散ウェーブレット変換）といった処理をすることで情報を圧縮できることが知られているように、何らかの基底によりスパース（疎）な空間に変換することができるため、圧縮センシングを適用することが可能である。一般に連立方程式は、未知数以上の条件式が無ければ解を求めることができないのに対し、圧縮センシングにおいては、条件式数が少ない場合であっても、スパースであるという仮定の下であれば解を推定できる。画像の超解像においては、画像を１次元の信号として取り扱えば、未知数は「高解像度画像の画素数」であり、条件式数は「低解像度画像の画素数」と「異なる条件下で符号化した低解像度画像の枚数」の積とおける。解は「高解像度画像の画素値」であるが、前述したＤＣＴやＤＷＴによってスパースな値である「ＤＣＴ成分」や「ＤＷＴ成分」に変換できるため、圧縮センシングによって解を求めることができる。最後に推定解を逆ＤＣＴや逆ＤＷＴすれば、高解像度画像が再構成できる。
【0004】
従来から、超解像処理を高性能化するために様々な提案がなされており、例えば、画素の受光感度分布をランダムにする手法が提案されている（非特許文献１）。非特許文献１では、超解像における解像度がカメラの画素形状に依存することに着目し、被写体を符号化するために画素サイズよりも細かいトナー粉をセンサー上にランダムに振りまき、被写体とカメラの相対的な位置関係を変えながら２０枚の低解像度画像（１２０×１００）を撮影し、ＤＷＴによるスパース性を使った圧縮センシングによって、高解像度画像（１６００×１２００）を生成している。本手法では、トナー粉のサイズと、カメラの位置シフト量が再構成される高解像度画像の画素数を決定している。
【0005】
ＤＭＤ（デジタルマイクロミラー）にランダムなパターンを表示させることで、ＤＭＤに入射する画像を符号化し、超解像を行うことも提案されている（非特許文献２、非特許文献３）。非特許文献２では、縦横各６４倍の超解像をしている。圧縮センシングにより、４０９６枚のパターン数（撮影枚数）が本来必要なのに対し、１６００枚や２７００枚で画像を再構成させている。また、非特許文献３では、縦横各４倍超解像を行い、パターン数が１枚から１６枚までの場合についてそれぞれの再構成画像を比較している。これらの手法では、ＤＭＤの画素数（符号化パターンの解像度）が高解像度画像の画素数を決定している。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】笹尾朋貴、日浦慎作、佐藤宏介、“画素形状のランダム符号化に基づく超解像”、電子情報通信学会論文誌 D、Vol.J96-D No.8、(2013)、pp.1778-1789
【非特許文献2】D. Takhar et al. “A New Compressive Imaging Camera Architecture using Optical-Domain Compression,” Electronic Imaging, (2006)
【非特許文献3】J. Flake et al. “Experimental study of super-resolution using a compressive sensing architecture,” Proceedings of SPIE, (2014)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献１の手法では、微細なトナー粉を画素上の任意位置に配置させることが難しいことに加え、事前にカメラ画素に対してどのようにトナー粉が配置されているかを調べる必要がある。ランダムにふりかけて符号化パターンを作っているため、トナー粉で全て覆われてしまう画素が発生したり、ある箇所にトナー粉が集中してしたりする場合もあるため、カメラの位置を変えて複数枚の画像を取得しても、被写体のある一部の光が全ての画像で受光できなくなり、超解像により得られた高解像画像の画質が低下したり、情報が欠損する可能性がある。また、トナー粉による符号化であり、符号化パターンが固定されており変調できないため、符号化条件を変えるためにカメラの位置を物理的に複数回移動させる必要がある。このため符号化像の取得に時間がかかり、高速化のボトルネックとなる。加えて、トナー粉により光が遮光される形での符号化であり、光の利用効率がトナー粉の量に応じて低下するという課題がある。
【0008】
非特許文献２及び非特許文献３の手法では、ＤＭＤを用いることで任意のパターンによる符号化が可能となっている。ＤＭＤはマイクロミラーが二次元に並べられたものであり、各ミラーをそれぞれＯＮ状態かＯＦＦ状態のいずれかに高速に制御できるが、符号化された光のうち、ＯＮ画素（あるいはＯＦＦ画素）の光のみをカメラで取得する。片方の光を取得するため光の利用効率はトナー粉を利用した場合と同等であり、ＤＭＤの１パターンごとに１枚の低解像度画像を取得することから、低解像度画像の取得に長時間かかってしまう。また、非特許文献１では、超解像にあたって使用される高解像度情報が、［１］画素サイズよりも細かいトナー粉（符号化パターン）及び［２］カメラの位置シフト量、と２つあったのに対し、非特許文献２及び非特許文献３ではＤＭＤの符号化パターンのみであるという課題がある。
【0009】
さらに、非特許文献２又は非特許文献３のようにＤＭＤを用いた場合であっても、各符号化パターンをランダムなパターンとした場合には、非特許文献１のトナー粉で全て覆われた画素と同様に、特定のミラーのＯＦＦ状態が複数のパターンで重なる可能性がある。このとき、撮像対象物の情報をすべての低解像度画像で取得できず、図１９に示すように画像の再構成でエラー（復元できない画素）が生じるという問題もある。
【0010】
したがって、上記のような問題点に鑑みてなされた本発明の目的は、任意のパターンで被写体像を光学的に符号化することができ、高速に低解像度の符号化画像を取得し、画像の再構成でエラーが生じることなく、高解像度画像を生成できる、撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【0011】
上記課題を解決するために本発明に係る撮像装置は、低解像度画像を取得し、高解像度画像を生成する撮像装置であって、撮像対象物の像を符号化パターンに基づいて空間的に強度変調する光変調器と、前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１撮像部と、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２撮像部と、少なくとも、前記低解像度画像、前記第１撮像部及び前記第２撮像部のリサンプリングの情報、及び前記符号化パターンに基づいて、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成部と、を備えることを特徴とする。
【0012】
また、前記撮像装置は、前記第１撮像部と前記第２撮像部が、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係が互いに異なる状態で、それぞれ前記低解像度画像を取得することが望ましい。
【0013】
また、前記撮像装置は、前記第１撮像部と前記第２撮像部の一方が、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を、前記符号化パターンのピッチよりも小さい単位でシフトさせることが望ましい。
【0014】
また、前記撮像装置は、前記第１撮像部及び前記第２撮像部の少なくとも一方に取り付けたステージにより、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することが望ましい。
【0015】
また、前記撮像装置は、前記光変調器に取り付けたステージにより、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することが望ましい。
【0016】
また、前記撮像装置は、前記第１撮像部及び前記第２撮像部の少なくとも一方と前記光変調器との間に配置した光路変調素子により、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係を制御することが望ましい。
【0017】
また、前記撮像装置は、前記高解像度画像が、離散コサイン変換、離散ウェーブレット変換、又は離散フーリエ変換の二次元基底関数により画素成分に変換され、前記画像生成部は、前記低解像度画像から前記高解像度画像の画素成分を推定する線形方程式を最適化問題により解を求めることで、高解像度の前記撮像対象物の像を生成することが望ましい。
【0018】
上記課題を解決するために本発明に係る撮像方法は、撮像対象物の像を符号化パターンに基づいて空間的に強度変調する符号化ステップと、前記符号化パターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第１の低解像度画像取得ステップと、前記符号化パターンを反転したパターンで符号化された前記撮像対象物の像を前記符号化パターンより解像度が低い低解像度画像として取得する第２の低解像度画像取得ステップと、少なくとも、前記低解像度画像、前記第１及び第２の低解像度画像取得ステップにおけるリサンプリングの情報、及び前記符号化パターンから、圧縮センシングにより前記低解像度画像よりも高解像度の前記撮像対象物の像を生成する画像生成ステップと、を備えることを特徴とする。
【0019】
また、前記撮像方法は、前記第１の低解像度画像取得ステップと前記第２の低解像度画像取得ステップが、符号化された前記撮像対象物の像と撮像部の画素の相対的な位置関係が互いに異なる状態で、それぞれ前記低解像度画像を取得することが望ましい。
【発明の効果】
【0020】
本発明における撮像装置及び撮像方法によれば、任意のパターンで被写体像を光学的に符号化することができ、高速に低解像度の符号化画像を取得し、画像の再構成でエラーが生じることなく、高解像度画像を生成することができる。
【図面の簡単な説明】
【0021】
【図1】第１の実施形態における、撮像装置の光学系の概念図である。
【図2】第１の実施形態における、ＤＭＤによる光変調の原理図である。
【図3】ＤＭＤ表示パターンと各カメラの投影画像及び取得画像の例を示す図である。
【図4】第１の実施形態の変形例における、撮像装置の光学系の概念図である。
【図5】第１の実施形態の変形例における、ＤＭＤによる光変調の原理図である。
【図6】低解像度画像から高解像度画像を推定する線型方程式を表す図である。
【図7】低解像度画像から高解像度画像を推定する線型方程式を逆問題としてまとめた図である。
【図8】第２の実施形態における、撮像装置の光学系の概念図である。
【図9】第２の実施形態における、撮像装置の別の光学系の概念図である。
【図10】符号化像に対して２台のカメラ間で相対的な位置ずれをさせた例を示す図である。
【図11】位置シフトベクトルについて説明する図である。
【図12】第３の実施形態における、撮像装置の光学系の概念図である。
【図13】第３の実施形態における、撮像装置の別の光学系の概念図である。
【図14】第３の実施形態における、撮像装置の更に別の光学系の概念図である。
【図15】符号化像に対して２台のカメラ間で相対的な位置ずれをさせながら、符号化パターンごとにカメラと符号化像の位置関係を変える例を示す図である。
【図16】第４の実施形態における、符号化パターンよりも狭ピッチの相対的な位置ずれを与えた低解像度画像から高解像度画像を得ることを示す図である。
【図17】符号化パターンよりも狭ピッチの相対的な位置ずれに基づいて再構成した画像の例を示す図である。
【図18】第５の実施形態における、撮像装置の光学系の概念図である。
【図19】符号化パターンによって撮像対象物の情報を完全に取得できない例を示す図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施の形態について、図面に基づいて説明する。
【0023】
（第１の実施形態）
図１に、第１の実施形態の撮像装置の光学系の概念図を示す。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、制御演算処理装置４０とを備えている。
図１に、第１の実施形態の撮像装置の光学系の概念図を示す。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、制御演算処理装置４０とを備えている。
【0024】
第１レンズ２１は、撮像対象物の像をＤＭＤ３０に結像する。
【0025】
ＤＭＤ３０は、制御演算処理装置４０によって制御され、任意の符号化パターンを表示することができ、これによって撮像対象物の像が符号化される。すなわち、ＤＭＤ３０は、撮像対象物の像を空間的に強度変調する光変調器として機能する。図２は、ＤＭＤ３０による光変調の原理図である。ＤＭＤ３０に符号化パターンを表示すると、ＯＮ状態の画素（ミラー）３１で反射された光は第１カメラ１１に、ＯＦＦ状態の画素（ミラー）３２で反射された光は第２カメラ１２に、それぞれ結像される。
【0026】
図３に、ＤＭＤ表示パターンと各カメラの投影画像及び取得画像の例を示す。ＤＭＤ３０の各ピクセル（ミラー）はＯＮとＯＦＦのいずれかであり、ＯＮ／ＯＦＦによって第１／第２カメラに像が分配されるから、図３に示すように、第１カメラ１１に投影される符号化された撮像対象物（符号化像）と、第２カメラ１２に投影される符号化像は、反転したパターン（ネガポジ反転）で符号化される。したがって、ＤＭＤ３０に結像した光は、第１カメラ１１と第２カメラ１２のどちらかに投影され、欠落する画素が生じることはない。なお、本実施形態では、ＤＭＤのＯＮ，ＯＦＦ制御にランダムパターンを用いているが、アダマールパターンなどの直交規定も含め、任意のパターンを用いてよい。
【0027】
第２レンズ２２は、ＤＭＤ３０のポジパターンで符号化された画像を、第１カメラ１１に投影・結像する。また、第３レンズ２３は、ＤＭＤ３０のネガパターンで符号化された画像を、第２カメラ１２に投影・結像する。本発明においては、カメラ１１，１２で取得した画像から超解像で元の画像を得るものであり、レンズ２２，２３は、ＤＭＤ３０に表示した符号化パターンの画素サイズがカメラの画素サイズ以下になるように、符号化された撮像対象物の像を転送する。本実施形態では、符号化された撮像対象物の像を転送する画像転送手段としてレンズを用いたが、カメラに符号化像を転送し結像する手段として、他の光学素子を用いてもよい。
【0028】
第１カメラ（第１撮像部）１１は、第２レンズ２２で転送された、ＤＭＤ３０のポジパターンで符号化された画像を撮像する。また、第２カメラ（第２撮像部）１２は、第３レンズ２３で転送された、ＤＭＤ３０のネガパターンで符号化された画像を撮像する。なお、第１カメラ１１と第２カメラ１２のどちらがポジパターン、ネガパターンをそれぞれ撮像するかは、適宜設定することができる。
【0029】
ここで、図３に示すように、カメラの画素サイズがＤＭＤ３０の画素に対して縦横２倍（面積では４倍）の大きさを持っており、ＤＭＤ３０に対する第１カメラ１１の位置関係と、ＤＭＤ３０に対する第２カメラ１２の位置関係が相対的に同じであるとすれば、ＤＭＤ３０で符号化された像の４画素分の輝度和がカメラの各画素に入力され、低解像度画像が第１及び第２カメラ１１，１２でそれぞれ取得できる。これを複数回繰り返し、ＤＭＤ３０に表示するパターンを変えながら符号化画像を複数枚取得する。すなわち、第１カメラ（第１撮像部）１１及び第２カメラ（第２撮像部）１２は、符号化パターンで符号化された撮像対象物の像を、符号化パターンより解像度が低い低解像度画像として取得する。そして、第１及び第２カメラ１１，１２は、取得した低解像度画像の信号をそれぞれ制御演算処理装置４０へ出力する。
【0030】
制御演算処理装置４０は、撮像装置全体の制御を行うとともに、超解像のための演算処理を行う。具体的には、制御演算処理装置４０は、ＤＭＤ３０の画素（ミラー）のパターンを制御する。また、制御演算処理装置４０は、第１及び第２カメラ１１，１２で得られた低解像度画像（符号化画像）の画像データに基づいて、後述のとおり、高解像度画像の再構成のための演算処理を行い、高解像度の撮像対象物の像を生成する画像生成部として機能する。
【0031】
このように、本発明は、第１カメラ１１のみでは符号化によって撮像対象物の情報を取得できない領域（ＯＦＦ状態の画素）があっても、かならず第２カメラ１２では当該領域の撮像対象物の情報が取得できる。これによって、圧縮センシングによって符号化パターンの枚数（あるいは撮影回数）を削減した際に、撮像対象物の情報をすべての低解像度画像で取得できずに再構成でエラーが生じる問題（図１９参照）が発生しない。また、一つのＤＭＤ符号化パターンで同時に２つ（ポジとネガ）の符号化画像を取得することができ、低解像度画像の取得を従来より高速に行うことができる。
【0032】
なお、図１の撮像対象物は実像を図示しているが、撮像対象物としてはカメラで撮像できるものであればよく、実像体のみならず、干渉縞などの変調光でも良い。また、カメラ１１，１２やＤＭＤ３０は紫外から近赤外までの幅広い波長に対応することができるため、可視光以外の領域でも適応可能である。
【0033】
図４は、第１の実施形態の変形例の撮像装置の光学系の概念図である。撮像装置は、図１と同様に、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、制御演算処理装置４０とを備えているが、カメラ１１，１２とＤＭＤ３０の配置が図１と異なっている。
【0034】
ＤＭＤ３０がマイクロミラーで構成されることから、撮像対象物に対して、第１カメラ１１、第２カメラ１２を、図４のように同じ側（図では下側）に配置した光学系でもよい。このとき、ＤＭＤ３０では図５のように画素（ミラー）のＯＮ，ＯＦＦ動作が制御され、撮像対象物の像の符号化がされる。この場合も、ＤＭＤ３０に結像した光は、第１カメラ１１と第２カメラ１２のどちらかに投影され、欠落する画素が生じることはない。
【0035】
次に、高解像度画像の再構成について説明する。取得した符号化画像を、制御演算処理装置４０で再構成計算することで、超解像された画像が再構成される。ここで、カメラ１１，１２で取得した低解像度画像を２次元画像（m, n）［画素数ｍ×ｎ］、ＤＭＤ３０に表示したパターン数をｐ、超解像された高解像度画像を２次元画像（M, N）［画素数Ｍ×Ｎ，Ｍ＞ｍ，Ｎ＞ｎ］とする。
【0036】
再構成計算においては、光学系を数式に当てはめると、
（低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（符号化パターンＤ）×（超解像された高解像度画像Ｏ）
が成り立つ。加えてＤＣＴにより、
（取得した低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（符号化パターンＤ）×（ＤＣＴ基底Ｂ）×（超解像された画像のＤＣＴ成分Ｘ）
と変換することができる。
（低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（符号化パターンＤ）×（超解像された高解像度画像Ｏ）
が成り立つ。加えてＤＣＴにより、
（取得した低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（符号化パターンＤ）×（ＤＣＴ基底Ｂ）×（超解像された画像のＤＣＴ成分Ｘ）
と変換することができる。
【0037】
図６は、低解像度符号化画像から高解像度画像を推定する線型方程式を表す図である。画像を一次元信号にする（２次元画像の成分ａ0,0～ａm-1,n-1を一列に配列する）と、低解像度符号化画像Ｙは、ｍ×ｎ行１列の行列｛Y1,…,Ym×n｝となる。また、超解像された高解像度画像Ｏは、Ｍ×Ｎ行Ｍ×Ｎ列のＤＣＴ基底Ｂと、Ｍ×Ｎ行１列の超解像された画像のＤＣＴ成分Ｘ＝{X1, …,XM×N}との積で表される。符号化パターンＤは、ＤＭＤに表示する各画素のうち有効画素（反射ミラー）を１、無効画素（非反射ミラー）を０として、全画素を一次元信号にしたものをＭ×Ｎ行Ｍ×Ｎ列の行列の対角上に配列したものである。符号化された高解像度画像（Ｍ×Ｎ）がカメラの粗い画素により低解像度画像（ｍ×ｎ）として取得される過程は、カメラによるリサンプリングＲとしてｍ×ｎ行Ｍ×Ｎ列の行列（例えば、符号化画像２×２画素がカメラの１画素に対応する場合は、ｍ×ｎ行の各行に要素０．２５が４つ配列される）として表される。したがって、低解像度画像と高解像度画像（画像のＤＣＴ成分）の変換は、図６に示す線形な行列の積で表現できる。
【0038】
これを符号化パターンｐ枚分繰り返し、連立方程式にする。なお、１枚の符号化パターンで第１及び第２カメラがそれぞれ１枚ずつ低解像度画像を取得することができるので、低解像度符号化画像Ｙは合計２ｐ枚取得できる。同様に、符号化パターンＤもネガｐ枚＋ポジｐ枚の合計２ｐ枚を使用することになる。よって、符号化パターンＤ＝{D1,…,D2p}ごとに、第１及び第２カメラ１１，１２のそれぞれで取得した低解像度符号化画像Ｙ＝｛Y1,…,Ym×n×2p｝を連立させることとなる。加えて、３つの２次元ベクトルＲ，Ｄ，Ｂをひとまとめにした超解像ベクトルＡ（＝ＲＤＢ）とすれば、光学系をＹ＝ＡＸと線形方程式で表現でき、Ｙ及びＡが既知であり、その２要素からＸ＝{X1, …,XM×N}を求める逆問題となる（図７）。一般にＭ×Ｎ元連立方程式（すなわち未知数がＭ×Ｎの連立方程式）においては、条件式がＭ×Ｎ以上必要である。しかしながら、圧縮センシングを用いれば、解Ｘが疎（成分の多くがほぼ０に近い）である場合には条件式数が未知数未満でも求めることができる。本実施形態では、ＤＣＴにより画像を疎な解Ｘとしているため、これを適用した。なお、本実施形態では、画像をスパースな値である画素成分に変換する画像変換基底としてＤＣＴ基底（離散コサイン変換の二次元基底関数）を利用したが、これ以外にも、ＤＷＴ基底（離散ウェーブレット変換の二次元基底関数）やＤＦＴ基底（離散フーリエ変換の二次元基底関数）などの画像変換基底を用いてもよい。
【0039】
圧縮センシングは、具体的には、ＬＡＳＳＯ（Least absolute shrinkage and selection operator）回帰と呼ばれる下記（１）式の最適化問題をＡＤＭＭ（Alternating Direction Method of Multipliers）法で解くことで解Ｘが得られる。最適化問題の解法アルゴリズムはいくつか存在し、ニュートン法や準ニュートン法、座標降下法やＩＳＴＡ（Iterative shrinkage - thresholding algorithm）、ＦＩＳＴＡ（Fast iterative shrinkage - thresholding algorithm）など、ＡＤＭＭ以外の手法を用いてもよい。
【0040】
【数1】
【0041】
これを解き、最後に推定解Ｘを逆ＤＣＴすれば、超解像された高解像度画像が再構成できる。
【0042】
（第２の実施形態）
第１の実施形態では、ＤＭＤ３０の各画素（符号化像）と第１及び第２のカメラの各画素との位置関係は一定のままで、画像データを取得したが、第２の実施形態では、一方のカメラの位置をシフトして符号化像を撮像する。本実施形態では、符号化パターンの解像度に加えて、位置ずれ量を空間的な高解像度情報として利用することができる。
第１の実施形態では、ＤＭＤ３０の各画素（符号化像）と第１及び第２のカメラの各画素との位置関係は一定のままで、画像データを取得したが、第２の実施形態では、一方のカメラの位置をシフトして符号化像を撮像する。本実施形態では、符号化パターンの解像度に加えて、位置ずれ量を空間的な高解像度情報として利用することができる。
【0043】
図８は、第２の実施形態における、撮像装置の光学系の概念図である。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、ステージ５２と、制御演算処理装置４０とを備えている。図１に示す第１の実施形態と比較して、第２カメラ１２にステージ５２が取り付けられており、ステージ５２が制御演算処理装置４０で制御されることが異なっている。他の構成は第１の実施形態と同じであるので、説明を省略する。
【0044】
ステージ５２は第２カメラ１２に取り付けられ、第２カメラ１２に入射する符号化像の位置を制御演算処理装置４０からの命令により指定量分だけ空間的にシフトさせる。なお、図８ではステージを第２カメラ１２に取り付けているが、ステージを第１カメラ１１に取り付けて、第１カメラ１１をシフトさせてもよい。
【0045】
また、図９は、第２の実施形態の撮像装置の別の光学系の概念図である。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、光路変調素子６２と、制御演算処理装置４０とを備えている。
【0046】
図９のように、ＤＭＤ３０と第２カメラ１２の間に光路変調素子６２を挿入して、パターンごとに制御演算処理装置４０からの命令に基づいて光路を変調して符号化像をシフトさせることで、異なる空間解像度で符号化像を撮像できる装置でもよい。ここで、光路変調素子６２としては、ガラス等の透過物をアクチュエーターによって傾けることで光路をシフトさせるものや、電界によって屈折率変化が生じる透過型の液晶変調素子を用いることで実現できる。あるいは、制御演算処理装置４０を用いずに、マイクロメーターなどが付いた手動ステージを用いてもよい。
【0047】
図１０は、符号化像に対して２台のカメラ間で相対的な位置ずれをさせた例を示す図である。左側が第１カメラ１１の画素と符号化像の位置関係を示しており、右側が第２カメラ１２の画素と符号化像の位置関係を示している。
【0048】
第１カメラ１１においては、第１カメラ１１の画素内に符号化パターン（符号化像）１６×１６画素がおさまるような位置関係に調整されている。一方、第２カメラ１２においては、同様に第２カメラ１２の１画素と符号化パターン１６×１６画素が対応するが、第１カメラ１１と符号化像の位置関係に対して、縦と横の各方向に符号化パターンの１，２，４，８画素ずつ位置をシフトして符号化像を撮像する場合がそれぞれ例示されている。
【0049】
このような位置シフトを含んだ光学系においては、再構成計算に用いる光学系の線形表現は、
（低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（位置シフト量Ｓ）×（符号化パターンＤ）×（超解像された高解像度画像Ｏ）
となる。加えてＤＣＴにより、
（取得した低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（位置シフト量Ｓ）×（符号化パターンＤ）×（ＤＣＴ基底Ｂ）×（超解像された画像のＤＣＴ成分Ｘ）
と変換することができる。
（低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（位置シフト量Ｓ）×（符号化パターンＤ）×（超解像された高解像度画像Ｏ）
となる。加えてＤＣＴにより、
（取得した低解像度符号化画像Ｙ）＝（カメラによるリサンプリングＲ）×（位置シフト量Ｓ）×（符号化パターンＤ）×（ＤＣＴ基底Ｂ）×（超解像された画像のＤＣＴ成分Ｘ）
と変換することができる。
【0050】
位置シフト量を示すベクトルＳについて、図１１を用いて簡単に説明する。例えば、符号化パターン（符号化像）を、Ｘ，Ｙ方向にそれぞれ１画素ずつ（右下方向に）シフトした場合を想定する。符号化像の各画素（a1，a2，a3，…，c1，c2，c3，…）は、２次元では移動後にＸ，Ｙ方向にそれぞれ１画素ずつずれるが、これを１次元信号で表現すると移動後に各画素は１列の中で行の位置がシフトする（図１１の左図参照）。このシフトを実現する位置シフトベクトルＳは、移動後の画素位置の行に対応する行において移動前の画素位置に対応する列の要素が１（同行の他の要素は０）である行列となる（図１１の右図参照）。このような位置シフトベクトルＳを、上式の位置シフト量Ｓとして用いればよい。
【0051】
位置ずらしが無い場合と同様に、上式において各ベクトルＲ，Ｓ，Ｄ，Ｂをひとまとめにした超解像ベクトルＡ（＝ＲＳＤＢ）を用いれば、光学系をＹ＝ＡＸと線形方程式で表現でき、ＹとＡからＸを推定する逆問題となり、推定したＸを逆ＤＣＴすれば、超解像された高解像度画像が再構成できる。
【0052】
（第１及び第２の実施形態の検証）
第１の実施形態及び第２の実施形態における超解像の検証を、実際に画像を用いて行った。（M, N）＝（96, 96）の画像を原画像（＝超解像で復元する画像）として用意し、（m, n）＝（6, 6）としてダウンサンプリングした。すなわち縦横各１６倍の超解像となり、一般的な画素ずらしなどによる超解像においては、１６×１６＝２５６枚の低解像度画像が必要となる。本実施形態においては、すべてパターン数ｐ＝１２８枚での条件で超解像のシミュレーションをした。
第１の実施形態及び第２の実施形態における超解像の検証を、実際に画像を用いて行った。（M, N）＝（96, 96）の画像を原画像（＝超解像で復元する画像）として用意し、（m, n）＝（6, 6）としてダウンサンプリングした。すなわち縦横各１６倍の超解像となり、一般的な画素ずらしなどによる超解像においては、１６×１６＝２５６枚の低解像度画像が必要となる。本実施形態においては、すべてパターン数ｐ＝１２８枚での条件で超解像のシミュレーションをした。
【0053】
画質はＰＳＮＲ(Peak Signal To Noise Ratio)にて評価した。ＰＳＮＲは、ＭＳＥ（Mean Squared Error）を用いた下記の式（２），（３）からなり、高い値をとるほどより原画像に近い画像が再構成されていることがわかる。なお、下記式において、ＭＡＸは原画像Ｉの中で最大の画素値、ｕとｖはそれぞれ原画像Ｉ及び超解像画像Ｉ’の縦と横の画素数で、ｉとｊは画像内の任意の画素位置を示す。
【0054】
【数2】
【0055】
【数3】
【0056】
画素数９６×９６のランダムな符号化パターンを用意し、１２８種類のパターンで取得した低解像度画像から画像を生成した。まず、第１カメラ１１のみを用いて１２８枚の低解像度画像から再構成した結果、ＰＳＮＲは２５．８dBであった。
【0057】
次に、第１カメラ１１と第２カメラ１２で取得した合計２５６枚の低解像度画像から超解像をした。その際、第１カメラ１１においては、第１カメラ１１の画素内に符号化パターン１６×１６画素がおさまるような位置関係に調整されているのに対し、第２カメラ１２においては縦と横の各方向に符号化パターンの０，１，２，４，８画素ずつ位置をシフトして符号化像を撮像していく場合について検証した（図１０参照）。
結果は、表１のとおりである。
結果は、表１のとおりである。
【0058】
【表1】
【0059】
シフト量が大きくなるにしたがって、画質が向上した。第２カメラ１２におけるずれ量がない（０画素）場合には、取得できる符号化画像が２５６枚と倍になることで画質が若干改善するが、それに加えて第２カメラ１２のずれを加えることで画質が大幅に改善した。これは、相対的な位置をずらした配置をすることで、符号化パターンの解像度に加えて、位置ずれ量を空間的な高解像度情報として光学系でエンコードできるためである。特に、第１カメラ１１と第２カメラ１２間のずれ量を、カメラ画素の半分の値である符号化パターンの８画素分にすると最も画質が高くなる。位置ずれ量が１画素の場合には、位置ずれによる高解像度情報がカメラ画素の周辺部のみにしか寄与しないが、８画素になるとカメラ画素全域に位置ずれによる高解像度情報をエンコードできるためである。
【0060】
（第３の実施形態）
第３の実施形態は、符号化時の高解像度情報として、符号化像・カメラ間におけるパターンごとの位置シフトをエンコードに加えた場合である。
第３の実施形態は、符号化時の高解像度情報として、符号化像・カメラ間におけるパターンごとの位置シフトをエンコードに加えた場合である。
【0061】
図１２は、第３の実施形態における、撮像装置の光学系の概念図である。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、ステージ５１，５２と、制御演算処理装置４０とを備えている。図１に示す第１の実施形態と比較して、第１カメラ１１にステージ５１が、また、第２カメラ１２にステージ５２が取り付けられており、ステージ５１，５２が制御演算処理装置４０で制御されることが異なっている。他の構成は第１の実施形態と同じであるので、説明を省略する。
【0062】
図１２に示すように、ステージ５１，５２により、カメラ画素の縦及び横方向に任意のシフトをできるようにし、パターンごとにカメラの位置を変えることで符号化像を異なる空間解像度（異なる相対的な位置関係）で撮像できる装置とする。
【0063】
また、図１３は、第３の実施形態における、撮像装置の別の光学系の概念図である。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、ステージ５３と、制御演算処理装置４０とを備えている。図１に示す第１の実施形態と比較して、ＤＭＤ３０にステージ５３が取り付けられており、ステージ５３が制御演算処理装置４０で制御されることが異なっている。他の構成は第１の実施形態と同じであるので、説明を省略する。
【0064】
図１３に示すように、ステージ５３により、ＤＭＤ（光変調器）を任意の位置にシフトできるようにし、パターンごとにＤＭＤ３０の位置を変えることで、各カメラで撮像する符号化像を異なる空間解像度で撮像できるようにする。
【0065】
また、図１４は、第３の実施形態における、撮像装置の更に別の光学系の概念図である。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＤＭＤ３０と、光路変調素子６１，６２と、制御演算処理装置４０とを備えている。図１に示す第１の実施形態と比較して、ＤＭＤ３０と第１カメラ１１の間に光路変調素子６１を配置し、ＤＭＤ３０と第２カメラ１２の間に光路変調素子６２を配置して、光路変調素子６１，６２を制御演算処理装置４０で制御することが異なっている。他の構成は第１の実施形態と同じであるので、説明を省略する。
【0066】
図１４に示すように、光路変調素子６１，６２を挿入して、パターンごとにＤＭＤ３０からカメラ１１，１２に至る光路を変調して符号化像をシフトさせることで、異なる空間解像度で符号化像を撮像できる装置としてもよい。
【0067】
制御演算処理装置４０からの命令により、各ステージ５１～５３又は光路変調素子６１，６２を指定量分だけ位置シフトさせる。この位置シフト量を用いて光学系を線形表現した最適化問題を第２の実施形態と同様に設定し、逆問題を解く。そして推定解を逆ＤＣＴすることにより、高解像度画像が再構成できる。
【0068】
なお、本実施形態では制御演算処理装置４０によるステージ等の制御を行ったが、制御演算処理装置４０を用いずに、マイクロメーターなどが付いた手動ステージを用いてもよい。
【0069】
（第３の実施形態の検証）
光路変調素子を利用して、符号化パターンごとに位置をシフトさせた第３の実施形態について、第１、第２の実施形態と同様にシミュレーションで検証した。第１、第２の実施形態と同様に縦横各１６倍の超解像を行った。１２８枚の符号化パターンを使って低解像度画像を取得する際に、第１カメラ１１及び第２カメラ１２を１パターンごとに異なる位置にシフトさせて撮像する。位置シフトのピッチによって取得できる符号化画像の空間解像度が変わる。
光路変調素子を利用して、符号化パターンごとに位置をシフトさせた第３の実施形態について、第１、第２の実施形態と同様にシミュレーションで検証した。第１、第２の実施形態と同様に縦横各１６倍の超解像を行った。１２８枚の符号化パターンを使って低解像度画像を取得する際に、第１カメラ１１及び第２カメラ１２を１パターンごとに異なる位置にシフトさせて撮像する。位置シフトのピッチによって取得できる符号化画像の空間解像度が変わる。
【0070】
図１５は、符号化像に対して２台のカメラ間で一定の相対的な位置ずれをさせながら、符号化パターンごとにカメラと符号化像の位置関係を変える例を示す図である。図１５に示すように、位置シフトさせる前の状態（すなわち、最初の符号化パターン）として、第１カメラ１１では符号化パターン１６×１６画素がカメラ画素１×１と同位置になるように配置したのに対し、第２カメラ１２では符号化パターンが縦横にそれぞれ１画素ずれているように配置した。また、符号化パターンごとにカメラと符号化像の位置関係を変えて低解像度画像を取得する際に、符号化像に対する第１カメラ１１及び第２カメラ１２の相対的な位置ずれ量が常に同量（図１５では、常に縦横１画素のずれ）となるようにした。
【0071】
画素数９６×９６のランダムな符号化パターンを用意し、１２８種類のパターンで取得した低解像度画像から画像を生成した。まず、第１カメラ１１のみを用いて１２８枚の低解像度画像から再構成した結果、ＰＳＮＲは２５．０dBであった。
【0072】
これに対し、シフトピッチ（第１及び第２カメラの相対的な位置ずれ量）を符号化パターンの０，１，２，４，８画素分として符号化パターンごとにランダムに位置移動させながら第１カメラ１１と第２カメラ１２を同時に使用して合計２５６枚の符号化像を取得していく場合について検証した。
結果は、表２のとおりである。
結果は、表２のとおりである。
【0073】
【表2】
【0074】
表２のとおり、第１及び第２カメラの相対的な位置ずれ量が大きいほど、再構成画像の画質が向上した。
【0075】
なお、本実施形態においてはトナー粉を用いた非特許文献１のように符号化パターンが固定された状態で（ＤＭＤ３０のパターンを固定して）、位置シフトさせて１２８枚の低解像度画像を取得してもよい。位置シフト量による情報を用いて、低解像度画像から高解像度画像を再構成することができる。
【0076】
（第４の実施形態）
第１～第３の実施形態においては、符号化パターンの画素単位での想定的な位置ずれをさせているため、再構成画像の解像度は符号化パターンの解像度と同等になる。しかしながら、２つのカメラの相対的な位置ずれ量を符号化パターンより細かくすると、符号化パターンより高い周波数の解像度情報をエンコードすることになり、符号化パターン以上の高解像度化ができる。第４の実施形態は、第１カメラ１１と第２カメラ１２における相対的な位置ずれ量を、符号化パターンの画素ピッチより小さく（狭く）するものである。
第１～第３の実施形態においては、符号化パターンの画素単位での想定的な位置ずれをさせているため、再構成画像の解像度は符号化パターンの解像度と同等になる。しかしながら、２つのカメラの相対的な位置ずれ量を符号化パターンより細かくすると、符号化パターンより高い周波数の解像度情報をエンコードすることになり、符号化パターン以上の高解像度化ができる。第４の実施形態は、第１カメラ１１と第２カメラ１２における相対的な位置ずれ量を、符号化パターンの画素ピッチより小さく（狭く）するものである。
【0077】
符号化パターン以上の高解像度化ができることを確認するために、以下のシミュレーションをした。画素数９６×９６のランダムな符号化パターンの解像度を落とし、２×２画素を１シンボル（同じ表示状態）として解像度を４８×４８シンボルとした。まず、この符号化画像に対して、第１カメラ１１のみで符号化画像を取得し再構成した場合には、再構成画像の画素数は９６×９６であるものの、実質的な画像の解像度は４８×４８（２×２画素単位で同じ画素値）となる。
【0078】
次に、カメラを２台使用し、図１６に示すように、第１カメラ１１と符号化像の位置関係に対して、第２カメラ１２では符号化像に符号化パターンのピッチより小さい単位でシフト量（相対的な位置ずれ）を与えて位置シフトさせ、低解像度画像を取得した。
【0079】
本実施形態においては、ＤＭＤの２×２画素を１シンボルとして解像度を４８×４８シンボルとした符号化パターンを用いたうえで、第１カメラ１１ではカメラの１画素内に符号化パターン８×８シンボルがおさまるような位置関係にし、第２カメラ１２では符号化パターンがカメラに対してＤＭＤ１画素分（符号化パターンの1/2ピッチ）ずれたように配置し、１２８枚の符号化パターンで検証した。
【0080】
図１７に、符号化パターンよりも狭ピッチの相対的な位置ずれに基づいて再構成した画像の例を示す。（ａ）は、低解像度の符号化パターンを用い、第１カメラ１１と第２カメラ１２で符号化像に対する相対的な位置シフトなしで再構成した場合であり、（ｂ）は、低解像度の符号化パターンを用い、第２カメラ１２では符号化像に対して符号化パターンの1/2ピッチ分相対的な位置シフトをさせて再構成した場合である。再構成画像は、どちらも９６×９６画素の解像度で再構成している。図１７（ａ）に示すように、第１カメラ１１と第２カメラ１２で符号化像に対する位置ずれがない場合には、再構成画像は符号化画像に含まれる解像度（４８×４８シンボル）以上の解像度は得られず、画素数（９６×９６）で再構成をしても、実質的な解像度が低下していることがわかる。一方、図１７（ｂ）を参照すると、第１カメラ１１及び第２カメラ１２で相対的に符号化パターンの画素ピッチより小さい単位で位置シフトをさせることで、符号化パターン以上の解像度の画像が再構成できることがわかる。
【0081】
なお、本実施形態では、符号化パターンより細かい相対的な位置ずれを第２の実施形態に適用した例であるが、第３の実施形態のような符号化パターンごとにカメラの位置シフトを行うシステムにも適用してもよい。
【0082】
（第５の実施形態）
図１８に、第５の実施形態の撮像装置の光学系の概念図を示す。第１～第４の実施形態では、ＤＭＤを光変調器として使用しているが、本実施形態では、反射型の液晶光変調器を使用している。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＰＢＳ（Polarizing Beam Splitter：偏光ビームスプリッター）８１と、ＢＳ（Beam Splitter：ビームスプリッター）８２と、反射型液晶光変調器９０と、制御演算処理装置４０とを備えている。
図１８に、第５の実施形態の撮像装置の光学系の概念図を示す。第１～第４の実施形態では、ＤＭＤを光変調器として使用しているが、本実施形態では、反射型の液晶光変調器を使用している。撮像装置は、第１及び第２カメラ（撮像素子）１１，１２と、第１～第３レンズ２１～２３と、ＰＢＳ（Polarizing Beam Splitter：偏光ビームスプリッター）８１と、ＢＳ（Beam Splitter：ビームスプリッター）８２と、反射型液晶光変調器９０と、制御演算処理装置４０とを備えている。
【0083】
第１レンズ２１は、撮像対象物から反射（又は放射）された光（像）を透過させる。半分の光はＢＳ８２によって図の下方向に反射されてしまうが、残りの半分の光はＰＢＳ８１へ向かう。その光のうち、Ｓ偏光の光はＰＢＳ８１によって図の下方向へ反射され、Ｐ偏光の光のみがＰＢＳ８１を透過し、反射型液晶光変調器９０に結像する。
【0084】
反射型液晶光変調器９０は、制御演算処理装置４０により制御され、任意の符号化パターンを表示する。Ｐ偏向の入射光は、符号化パターンのＯＮ部に照射された光はＳ偏光に変調され、一方、符号化パターンのＯＦＦ部に照射された光はＰ偏光のまま反射される。すなわち、反射型液晶光変調器９０は、撮像対象物の像を空間的に強度変調する光変調器である。
【0085】
ＰＢＳ８１はＰ偏光を透過させ、反射型液晶光変調器９０からのＳ偏光を図の上方向に反射し、第２レンズ２２を通過して第１カメラ１１方向に向かわせる。すなわち、Ｐ偏光の入射光のうち、反射型液晶光変調器９０の符号化パターンのＯＮ部に照射された光はＳ偏光に変調され、ＰＢＳ８１で反射される。
【0086】
反射型液晶光変調器９０で反射されたＰ偏光はＰＢＳ８１を通過し、ＢＳ８２によって２つに分離される。一方の光はＢＳ８２を透過するが、他方の光はＢＳ８２で図の上方向に反射し、第３レンズ２３を通過して第２カメラ１２方向に向かう。すなわち、Ｐ偏光の入射光のうち、反射型液晶光変調器９０の符号化パターンのＯＦＦ部に照射された光はＰ偏向のまま反射されるため、ＰＢＳ８１を透過し、ＢＳ８２で反射される。
【0087】
第１カメラ１１は、ＰＢＳ８１で反射された像を撮像する。すなわち、第１カメラ１１は、符号化パターンのＯＮ部に照射されて反射された符号化像（ポジ画像）を撮像できる。また、第２カメラ１２は、ＢＳ８２で反射された像を撮像する。すなわち、第２カメラ１２は、符号化パターンのＯＦＦ部に照射されて反射された符号化像（ネガ画像）を撮像できる。第１及び第２カメラ１１，１２は、取得した低解像度画像の信号をそれぞれ制御演算処理装置４０へ出力する。
【0088】
制御演算処理装置４０は、撮像装置全体の制御を行うとともに、超解像のための演算処理を行う。具体的には、制御演算処理装置４０は、反射型液晶光変調器９０の画素のパターンを制御する。また、第１及び第２カメラ１１，１２で得られた低解像度画像（符号化画像）の画像データに基づいて、高解像度画像の再構成を行う演算処理を行う。
【0089】
本実施形態において、符号化パターンのシフトを行う場合には、第２～第４の実施形態と同様に、第１カメラ１１、第２カメラ１２、又は反射型液晶光変調器９０、にステージを取り付ければよい。
【0090】
上記の各実施形態では、撮像装置の構成と動作について説明したが、本発明はこれに限らず、高解像度画像を生成する撮像方法として構成されてもよい。すなわち、撮像対象物の像を符号化パターンに基づいて空間的に強度変調する符号化ステップと、符号化パターンのポジパターンとネガパターンで符号化された撮像対象物の像を符号化パターンより解像度が低い低解像度画像として取得する低解像度画像取得ステップと、圧縮センシングにより低解像度画像よりも高解像度の撮像対象物の像を生成する画像生成ステップを備える撮像方法として構成されてもよい。
【0091】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【0092】
１１ 第１カメラ
１２ 第２カメラ
２１ 第１レンズ
２２ 第２レンズ
２３ 第３レンズ
３０ ＤＭＤ
４０ 制御演算処理装置
５１～５３ ステージ
６１，６２ 光路変調素子
８１ ＰＢＳ
８２ ＢＳ
９０ 反射型液晶光変調器
１２ 第２カメラ
２１ 第１レンズ
２２ 第２レンズ
２３ 第３レンズ
３０ ＤＭＤ
４０ 制御演算処理装置
５１～５３ ステージ
６１，６２ 光路変調素子
８１ ＰＢＳ
８２ ＢＳ
９０ 反射型液晶光変調器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
