(58)【調査した分野】(Int.Cl.,DB名)
前記再構築手段は、ADMM(alternating direction method of multipliers)アルゴリズムにより前記画像を再構築する、
請求項1から5のいずれか一項に記載の撮像装置。
前記再構築手段は、前記条件及び前記条件に応じて発生したスペックルパターンに対して求められた変換行列を用いて、前記ADMMアルゴリズムにより前記画像を再構築する、
請求項6に記載の撮像装置。
【発明を実施するための形態】
【0012】
本発明の実施形態について、添付の図面を参照して説明する。
図1は、本発明の実施形態における撮像装置を示す図である。
【0013】
図1に示すとおり、本発明の実施形態における撮像装置は、導波路110と、検出器120と、再構築部130とを備える。導波路110は、光を伝送する。検出器120は、導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出する。再構築部130は、それぞれ異なる条件によって導波路へ光を入射して得られた複数のパワーに基づいて、対象の画像を再構築する。
【0014】
撮像装置100は、より具体的な一例として、
図2に示す構成を備える。
図2に示す構成例では、撮像装置100は、上述した各要素に加えて、光源11と、変調器12と、変調制御部13と、光学系14と、ビームスプリッタ15と、レンズプローブ16とを備える。そして、撮像装置100は、ターゲット17の像を再構築する。
【0015】
なお、
図2において、実線の矢印は、光源11から発生した光が進む方向を表し、点線の矢印は、ターゲット17から反射した光が進む方向を示す。
【0016】
光源11は、対象へ照射される光を発生させる。本実施形態において、光源11は、主に単一の波長の光を発生させる。変調器12は、光源11が発生した光を変調する。本実施形態における光の変調についての詳細は後述する。変調制御部13は、変調器12による変調の状態を制御する。変調器12によって変調された光は、適宜設けられた光学系14を通って導波路110へ入射する。ビームスプリッタ15は、導波路110へ入射して対象へ照射する光と、対象から反射した光とを分離する。
【0017】
なお、
図2及び後述する
図3に示す例において、光源11から生じた光は、導波路110の各図における左側の端部から導波路110へ入射し、各図における右側の端部から出射する。以下の説明では、導波路110の端部のうち、光源11から生じた光が入射する端部(
図2又は
図3では左側の端部)を入射端と呼び、光源11から生じた光が入射する端部(
図2又は
図3では右側の端部)を出射端と呼ぶ場合がある。
【0018】
撮像装置100は、上述した圧縮センシングの技術を用いて画像を再構築する。より詳しくは、撮像装置100は、導波路110から出射して対象に照射され、検出器120によって検出された光のパワーに基づいて画像を再構築する。
【0019】
一般に、導波路110の出射端から出射した光が何らかの対象に照射されると、干渉等の理由によりスペックルパターンが生じる。発生するスペックルパターンは、導波路110へ入射される光に応じて変化する。撮像装置100は、このような導波路110からの出射光の近接場のスペックルパターンの多様性を利用し、圧縮センシングの技術に基づいて画像を再構築する。このような手法により、再構築される画像の画素数と比較して少ない観測データでの画像の再構築が可能となる。以下の説明において、導波路110の出射端から出射した光によって発生するスペックルパターンを、単にスペックルパターンと呼ぶ場合がある。
【0020】
スペックルパターンについて更に説明する。上述のように、導波路110の出射端から出射した近接場光によって、スペックルパターンが生じる。導波路110が延在する方向をz方向(
図2及び3において導波路110内の実線の矢印が指し示す方向)とし、導波路110の断面方向(
図2及び3において導波路110内の実線の矢印と直交する上方向)をx方向とし、紙面の下から上へ向かう方向をy方向とする。そして、角速度ωを有する光ビームが導波路110へ入射される場合を想定する。この場合に、スペックルパターンに関して、マルチモードの導波路である導波路110の入射端における光電場強度分布をE
inとし、出射端における光電場強度分布をE
outとすると、E
inとE
outとの関係は以下の(1)式にて表される。
【数1】
【0021】
(1)式においては、また、(1)式において、z方向の波数k
zは、k
z=2π/λ*cosαである。k
zを表す式において、αは入射光の入射角度であり、λは、入射光の波長である。
【0022】
すなわち、導波路110がマルチモード導波路であることを想定すると、導波路110に入射された入射光は、入射角等に応じて異なる導波モードの光を励起する。また、入射光は、導波路110の内面に複数回反射する。これらの理由により、出射光であるE
outの強度分布は、例えば擬似ランダムな分布となる。擬似ランダムな分布は、本質的にランダムな分布とは異なり、規則性がある。またそれとともに、擬似ランダムな分布は、例えばガウス分布、ベルヌーイ分布などの伝統的な分布とは異なり、規則性が一見してわからない。ファイバ出射面のスペックルの擬似ランダムな分布は、入射光線の光線追跡を行い、複数の入射光線を線形加算することによって、推測することができる。
【0023】
そして、このE
outの強度分布は、(1)式に示すように、入射光の入射角度や波長に応じて変化する。つまり、導波路110からの出射光によって生じるスペックルパターンは、入射光の入射角度や波長に応じて変化する。また、スペックルパターンは、入射光の波面(つまり同位相である点の集合によって構成される面)によっても変化し得る。
【0024】
そこで、撮像装置100は、入射光の入射角度、波長又は波面等を含む入射光の条件を変化させることで変化する複数のスペックルパターンを利用して、ADMMアルゴリズムに基づき画像を再構築する。以下の説明において、「波面を変化」させるとは、同一の地点における光の位相を変化させることを意味する。
【0025】
なお、以下の説明において、導波路110へ入射される入射光の入射角度、波長又は波面等の入射光の条件を変化させることを変調と呼ぶ。
【0026】
画像の再構築は、スペックルパターンに応じて求められた変換行列Dを用いて、圧縮センシングの技術の一つであるADMMアルゴリズムに沿って行われる。以下、変換行列Dを求める手順、及び、当該変換行列Dを用いた、ADMMアルゴリズムに基づく、画像を再構築する手順について説明する。
【0027】
続いて、変換行列Dを求める手順について説明する。変換行列Dは、一例として、
図3に示す構成を用いて求められる。変換行列Dの行数及び列数は、再構築される画像の画素数に応じて定められる。以下においては、再構築される画像をxとし、画像xは、横がm画素、縦がn画素の画像であると想定する。以下、変換行列Dを求める手順を、キャリブレーション工程又は単にキャリブレーションと呼ぶ場合がある。
【0028】
図3に示す構成において、導波路110、光源11、変調器12、変調制御部13及び光学系14は、
図2に示す要素とそれぞれ同様の要素である。また、
図3では、導波路110の出射端と対向してカメラ18が設けられている。カメラ18は、例えば、撮像装置100によって再構築される画像の画素数以上の画素数であるセンサを有する。そして、導波路110の出射端から出射した近接場光のスペックルパターンが、カメラ18のセンサ面に結像される。
【0029】
なお、カメラ18として、光源11が発生する光の波長に応じたカメラが用いられる。光源11が発生する光が可視光線である場合には、カメラ18として、一般的なCCD(Charge Coupled Device)又はCMOS(Complementary metal−oxide−semiconductor)イメージセンサのカメラ等が用いられる。また、例えば、光が紫外線であれば紫外線カメラが、近赤外線であればInGaAs(インジウムガリウムヒ素)カメラが、中遠赤外線であれば熱画像カメラ等が、それぞれカメラ18として用いられる。カメラ18の画素数や縦横比を含む画素の配置は、再構築する画像の画素数や画素の配置に応じて定められる。カメラ18の感度特性は、検出器120の感度特性と近いことが好ましい。
【0030】
また、変換行列Dを求める場合と、画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、
図3に示す導波路110、光源11、変調器12及び光学系14の各要素として、通常は、求められた変換行列Dを用いる撮像装置100の要素と同じ要素が用いられる。また、これらの要素を配置する際の位置関係は、求められた変換行列Dを用いる撮像装置100と同じ条件となる必要がある。
【0031】
スペックルパターンの分布は、上述した(1)式に示すように、入射光の変調に応じて変化する。つまり、導波路110からの出射光によって生じるスペックルパターンは、入射光の入射角度や波長に応じて変化する。また、スペックルパターンは、入射光の波面によっても変化し得る。以下の例では、入射光の入射角度、波長又は波面等を含む入射光の条件を変調させて得られる複数のスペックルパターンに基づいて変換行列Dが求められる。
【0032】
変換行列Dを求める際には、まず光源11が光を発生し、変調器12が、光源11が発生させた光を変調する。
図3に示す例では、導波路110への入射光の入射角度を変化させることにより入射光を変調する場合の例を想定する。この例では、変調器12は、反射面の角度を変化させることができるガルバノミラーである。
【0033】
変調器12によって変調された光は、光学系14を通過して導波路110へ入射する。そして、導波路110の出射端から出射した近接場光が、カメラ18のセンサ面に結像される。
図4のAからCは、導波路110への入射光の入射角度を変化させた場合に得られるスペックルパターンの一例である。
【0034】
図5は、カメラ18によって検出されるスペックルパターン180と変換行列Dとの関係を示す。
【0035】
図5は、スペックルパターン180のパワーを2階調で検出した場合の例を模式的に示す。すなわち、
図5に示す例では、カメラ18の画素毎に、スペックルパターン180のパワーが大きな領域は黒い四角で、スペックルパターン180のパワーが小さな領域は白い四角で表されている。
【0036】
そして、カメラ18によって検出された画素毎のスペックルパターン180のパワーは、再構築される画像の画素数(m×n個)に対応するm×n次元のベクトルDi(i=1,2,・・・,k)として表される。したがって、
図5に示す変換行列Dの例において、カメラ18によって検出されたスペックルパターン180のパワーは、m×n次元のベクトルとして表される。なお、スペックルパターン180のパワーは、例えば検出器120の感度分解能等に応じて、多階調にて検出されてもよい。
【0037】
このようなカメラ18によるスペックルパターン180の検出は、
図4のAからCに示すような、異なるスペックルパターン180に対して繰り返し行われる。上述のように、導波路110への入射光が変調されることにより、スペックルパターン180は変化する。例えば、変調器12が、反射光の反射角度を変化させる機構の一つであるガルバノミラーである場合には、異なる入射角度で光を導波路110へ入射させることによってスペックルパターン180は変化する。
【0038】
したがって、このような異なる複数のスペックルパターン180の観測は、変調器12による変調の状態を変化させつつ、カメラ18による観測を行うことよって行われる。
【0039】
図5には、スペックルパターン180を変化させた場合の例が模式的に示されている。そして、繰り返し行われるスペックルパターン180の検出において、カメラ18にて検出された画素毎の信号のパワーから、複数のベクトルが求められる。k回の異なるスペックルパターン180の観測によって求められたk個のベクトルD
1からD
kによって、変換行列Dが構成される。すなわち、変換行列Dの各行は、一つのスペックルパターン180に対して求められたm×n次元のベクトルD
i(1≦i≦k)である。
【0040】
なお、スペックルパターン180の観測回数(k)は、再構築される画像に要求される画質や、変調器12又は検出器120の種類等の条件に応じて適宜定められればよい。
【0041】
次に、変換行列Dを用いた、画像を再構築する手順を説明する。画像の再構築は、ADMMアルゴリズムに基づいて行われる。上述のように、再構築される画像xは、横がm画素、縦がn画素の画像であることを想定する。
【0042】
撮像装置100においては、光源11からの光が導波路110に入射することで発生し、ターゲットに結像されたスペックルパターンのパワーの総和を複数用いることによって、画像が再構築される。
【0043】
上述のように、変換行列Dを求める場合と、画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、変調器12は、変調制御部13によって、変換行列Dを求める場合と、画像が再構築される場合との双方において同じスペックルパターンが生じるように制御される。そして、変換行列Dを求める場合と、画像が再構築される場合との双方において、同じ回数であるk回の観測が行われる。
【0044】
本実施形態において、検出器120は、スペックルパターンのパワーの分布等の位置情報を検出せず、ターゲット17に照射されたスペックルパターンのパワーのみを検出すると想定する。そのため、検出器120によって検出されるパワーの総和は、再構築しようとする画像の全ての画素の信号強度の和となる。
【0045】
この場合に、撮像装置100によって再構築される画像xについて、変換行列Dのいずれかの行を構成するベクトルD
iに対応するスペックルパターンに対して検出器120によって検出される信号のパワーj
iは、以下の(2)式のような関係にて表される。
【数2】
【0046】
(2)式において、d
ikは、上述したベクトルD
iに含まれるm×n個の要素のうちの1つ(
図5の変換行列Dを参照)を表し、x
kは、画像xに含まれるm×n個の画素の各々の信号強度を表す値を、順に整列して並べた値を表す。d
ikとx
kは、それぞれ画像において対応する位置における値である。
【0047】
検出器120による信号のパワーの検出を、D
1からD
kの各々に対応するk個のスペックルパターンに対して行う場合を想定する。この場合に、D
1からD
kの各々に対して検出されたk個の信号のパワーj
i(i=1〜k)についてのベクトルj
k×1=(j
1, j
2, ・・・, j
k)に関して、以下の(3)式の関係が得られる。
【数3】
【0048】
(3)式では、D
k×mn、x
mn×1及びj
k×1の各々について、添字は、各々を表す行列の要素数を示す。D
k×mnは、k行(m×n)列の変換行列である。すなわち、変換行列D
k×mnは、(m×n)個の要素をそれぞれ含むk個のベクトルD
i(i=1〜k)で構成される。x
mn×1は、(m×n)行のベクトルである。j
k×1は、k行のベクトルである。以下説明において、添字が付されないD、x及びjの各々は、D
k×mn、x
mn×1及びj
k×1の各々と同じ内容を表す。
【0049】
圧縮センシングにおいては、画像を再構築するために、以下の(4)式に示す最小化問題の解が求められる。すなわち、(4)式のL1ノルム解を求めることにより、上述したk個の信号のパワーの検出結果から、画像xが再構築される。
【数4】
【0050】
(4)式において、||x||
1は、xのL1ノルムを表す。
【0051】
上述した(4)式の解は、ADMMアルゴリズムを用いて、以下で説明する手順にしたがって求められる。まず、以下の(5)式で表されるコスト関数を考慮する。
【数5】
【0052】
(5)式は、ラグランジュ未定乗数法におけるコスト関数である。また、(5)式において、νは、ラグランジュ未定乗数を表す。
【0053】
(4)式において、L1ノルムについてのxとその他のxとを区別するため、新たな変数zを導入する。(5)式に示されるL(x)を最小化する問題は、以下の(6)式に示す条件付の最小化問題に置き換えられる。(6)式において、λは、ラグランジュ未定乗数法のコスト係数を示す。
【数6】
【0054】
そして、拡張ラグランジュ法の手続に沿って、以下の(7)式に示される新たなコスト関数が最小化される。
【数7】
【0055】
(7)式において、u[t]は、制約付最適化問題を適当な初期点から反復計算を行う勾配法により解く際に、最適解に収束させる補助項を示す。(7)式をxについて微分すると、以下の(8)式が得られる。
【数8】
【0056】
(8)式を0とするxとして、以下の(9)式が得られる。
【数9】
【0057】
(9)式のように得られたxを、元の(7)式のコスト関数へ代入すると、(7)式は、以下の(10)式のような形となる。
【数10】
【0058】
(10)式は、νに関して2次関数であると考えることができる。そのため、(10)式が最大化される最適解は、以下の(11)式にて表される。
【数11】
【0059】
得られた(11)式を(9)式へ代入すると、以下の(12)式が得られる。
【数12】
【0060】
上述した、反復計算を行う勾配法により(13)式が求められる。(12)式に対して、勾配法を適用すると、x、z及びuに対して、反復計算のt+1回目の値を示す式として、以下の3つの(13)式が得られる。
【数13】
ただし
【0061】
本実施形態において、反復計算は、一回のみ行う場合を想定する。この場合には、z[t+1]及びu[t+1]は、考慮の必要がなくなる。また、z[t]及びu[t]の初期化が必要となるが、z[0]及びu[0]は、0であってもよい。そのため、再構築される画像xとして、以下の(14)式が得られる。
【数14】
【0062】
一方、ADMMアルゴリズムは、スパース性が期待できる基底が、ある変換を通して見つかる場合に、大きな効果を発揮する。信号がスパースであるとは、信号の多くの成分が0であるという性質を意味する。そのため、画像xの再構築においては、一般に、xを、スパース性を有する空間へ変換する必要がある。つまり、スパース性を有する空間において画像が再構築される。
【0063】
スパース化は、例えば、画像xを離散フーリエ変換又はウェーブレット変換することで実現される。そこで、以下の(15)式に示すように、スパース変換行列Φを用いて、画像xをスパース化する。スパース変換行列Φは、例えば、離散フーリエ変換行列又はウェーブレット変換行列のいずれかである。そして、上述したADMMアルゴリズムにより、Qが求められる。
【数15】
【0064】
(15)式は、変換行列Φの逆行列Φ
−1を用いて、以下の(16)式に示す形に変換される。
【数16】
【0065】
また、(16)式は、(3)式に示す関係を用いて、更に以下の(17)式に示す形に変換される。
【数17】
【0066】
スパース変換行列Φが離散フーリエ変換又はウェーブレット変換行列である場合には、Φの共役転置行列を添字の+で表し、Φ
+とすると、ΦとΦ
+とは互いに逆行列となる。
そのため、(17)式から、以下の(18)式が得られる。
【数18】
【0067】
(18)式において、未知数はQとなる。そこで、下記の(19)式に示すようにL1ノルムの最小解を求めることにより、Qの近似解Q”を求める。
【数19】
【0068】
(19)式に対しては、上述した(4)式に対して(17)式を得た例と同様にして、以下の(20)式が得られる。
【数20】
【0069】
(20)式において、Pは、(D'
k×mn・Ф
+)
+・inv[(D'
k×mn・Ф
+)・(D'
k×mn・Ф
+)
+]を表す。また、(20)式の右辺のjは、左辺のj
k×1と同じ内容を表す。
【0070】
すなわち、Qの近似解であるQ”を求め、求めたQ”と上述したΦ
+を用いることにより、再構築の対象となる画像xが求められる。
【0071】
カメラ18又は検出器120による観測回数kは、一般に、再構築される画像xの画素数であるm×nに対して少ない回数でよい。例えば、例えば、上述したスパース化が適切に行われる場合には、カメラ18又は検出器120による観測回数kは、画素数の数%(パーセント)程度であってもよい。すなわち、撮像装置100は、圧縮センシングの一手法であるADMMアルゴリズムを用いることにより、スペックルパターンを変化させて得られる少ないデータからの画像の再構築を可能とする。
【0072】
なお、カメラ18又は検出器120による観測回数kは、上述した例に限られず、再構築される画像に求められる画質やスパース化の程度に応じて適宜定められればよい。
【0073】
続いて、本実施形態における撮像装置100の各要素の詳細を説明する。
【0074】
光源11は、対象へ照射される光を発生させる。本実施形態において、光源11は、主に所望の単波長の光を発生させる光源である。光源11が発生させる光の波長や強度等の条件は、画像の被写体になるターゲットやその他の要因に応じて適宜定められればよい。なお、光源11は、様々な波長の光を発生する白色光源であってもよいし、波長可変レーザのように、発生させる光の波長を変更可能であってもよい。光源11の具体的な種類等は特に限定されず、所望の光を発生可能であればよい。
【0075】
変調器12は、光源11が発生した光を変調する。上述のように、光源11から発生した光は、例えば、導波路110への入射角度、波面又は波長を変化することによって変調される。そのため、変調器12は、これらを変化させる。つまり、変調器12は、例えば、光源から発生した光の導波路への入射角度、光源から発生した光の波面又は光源から発生した光の波長のいずれかを変化させる。
【0076】
変調器12が、光源11から発生した光の導波路110への入射角度を変化させる場合には、変調器12として、例えば、ガルバノミラーや、圧電素子ミラー、可動ステージ等の光の進行方向を変化させる機構が用いられる。変調器12が、光源11から発生した光の波面を変化させる場合には、変調器12として、光空間変調器、デジタルミラーデバイス、形状可変ミラー等の光の波面を変化させる機構が用いられる。
【0077】
更に、変調器12が、光源11から発生した光の波長を変化させる場合には、変調器12として、回折格子やプリズム等の特定の波長の光を取り出すための光源11から発生した光の波長を変化させる機構である場合には、光源11として白色光源が用いられる。また、この場合には、変調器12に代えて、光源11が、上述した波長可変レーザのように、発生させる光の波長を変化可能な機構を備えてもよい。
【0078】
変調制御部13は、変調器12による変調の状態を制御する。一例として、変調器12がガルバノミラーである場合には、変調制御部13は、鏡面の向きを変化させることにより、光源11から発生し導波路110へ入射する入射光の入射角度が変化するように制御する。変調器12としてその他の機構が用いられる場合においても、変調制御部13は、光源11から発生した光が変調されるように、変調器12を適宜制御すればよい。
【0079】
なお、上述のように、変換行列Dを求める場合と画像が再構築される場合との双方において、同じスペックルパターンが用いられる必要がある。そのため、変換行列Dを求める場合と画像が再構築される場合の双方において、通常は、同じ光源11及び変調器12が用いられる。そして、変調制御部13は、変換行列Dを求める場合と画像が再構築される場合との双方において、変調器12による変調が同じ条件で行われるように変調器12を制御する。
【0080】
ビームスプリッタ15は、導波路110へ入射してターゲットへ向かう光と、対象から得られた光とを分離する。
図2に示す例では、ビームスプリッタ15は、導波路110へ入射する光を通過させ、ターゲットにて反射し、検出器へ向かう反射光を分離させるように設けられる。
【0081】
なお、
図2に示す例では、検出器120は、ターゲットからのスペックルパターンの反射光を検出するように構成されている。ただし、後述のように、検出器120は、撮像装置100の用途によっては、ターゲットを透過したスペックルパターンの透過光を検出してもよい。この場合には、検出器120は、ターゲット17に対して導波路110が配置される位置と反対側の位置に配置される。言い換えると、この場合には、導波路110の出射端と検出器120との間にターゲット17が配置される。そのため、この場合には、ビームスプリッタ15は、不要となる。
【0082】
つまり、ビームスプリッタ15は、ターゲットの種類等の画像を再構築する場合の条件に応じて、必要がある場合に設けられればよい。
【0083】
導波路110は、光源から発生した光を伝送する。本実施形態において、導波路110として、マルチモード導波路が用いられる。マルチモード導波路が用いられることにより、導波路110へ入射する光の変調に応じて、異なるスペックルパターンを得ることが可能となる。
【0084】
導波路110としては、例えば、マルチモードの光ファイバ、方形又は円形の導波路、フォトニック結晶導波路が用いられる。導波路110へ入射する光の変調の程度に応じて異なるスペックルパターンを得ることが可能であれば、他の種類の光導波路が導波路110として用いられてもよい。
【0085】
また、モード数の大きな導波路110が用いられることで、情報量が増加し、分解能を高めることが可能となる。そのため、利用可能な範囲で径の大きな導波路110が用いられることが好ましい。
【0086】
検出器120は、上述のように、導波路110から出射し、ターゲットに照射された近接場光のスペックルパターンのパワーを検出する。
【0087】
本実施形態において、検出器120は、スペックルパターンのパワーを検出する。すなわち、検出器120は、スペックルパターンのパワーの分布等の位置情報を検出しなくてもよい。検出器120は、1画素のセンサであればよく、例えばアレイ状のセンサのような、パワーの位置情報を検出する検出器である必要はない。撮像装置100は、検出する波長帯等によっては高価な場合があるアレイ状等のセンサを用いることなく、二次元の画像の取得を可能とする。
【0088】
検出器120として、光源11が発生する光の波長やその他の条件に応じて、スペックルパターンのパワーを検出可能な一般的な検出器が適宜用いられる。検出器120として、CCDカメラ又はCMOSイメージセンサを備えるカメラ、紫外線カメラ、InGaAsカメラ、熱画像カメラ等が、光源11が発生する光の波長等の条件に応じて適宜用いられる。
【0089】
また、検出器120が検出可能な信号のパワーの大きさの階調は、特に制限されない。検出器120の感度分解能が高い、つまり、検出器120によって信号のパワーがより多くの階調にて検出される場合には、ノイズの少ない画像の再構築が可能となる。
【0090】
なお、
図2に示す例では、上述のように、検出器120は、ターゲット17に照射されて反射したスペックルパターンのパワー検出するように構成されている。すなわち、導波路110から出射するスペックルは、導波路110の出射端に設けられたレンズプローブ16によって、レンズプローブ16と離間したターゲット17に結像される。そして、検出器120は、ターゲット17から反射し、レンズプローブ16、導波路110及びビームスプリッタ15を伝送された光のパワーを検出する。
【0091】
しかしながら、検出器120によるパワーの検出は、
図2に示す例とは異なる条件にて行われてもよい。例えば、導波路110又はレンズプローブ16は、ターゲット17と密着していてもよい。また、検出器120は、ターゲット17を透過したスペックルパターンのパワーを検出してもよい。すなわち、ターゲットからの反射したスペックルパターン又はターゲットを透過したスペックルパターンのパワーが検出可能であれば、導波路110との位置関係等を含む、検出器120による検出の条件は特に制限されない。
【0092】
また、検出器120と他の要素との位置関係は、
図2及び
図3に示すように、変換行列Dを求める場合におけるカメラ18と他の要素との位置関係と異なっていてもよいし、同じであってもよい。
【0093】
再構築部130は、変調器12によって変調された光によって発生し、検出器120によって検出された複数のスペックルパターンのパワーに基づき、予め上述のように求められた変換行列Dを用いて、画像を再構築する。
【0094】
再構築部130は、より詳細には、検出器120によるk回の観測により得られた信号のパワーに基づいて、上述した(19)式の関係を用いて、Qを求める。上述のように、Qは、画像xを離散フーリエ変換又はウェーブレット変換して得られる値である。そして、Qが求められると、再構築部130は、変換行列Φの逆行列Φ
−1を用いて画像を再構築する。本実施形態では、この場合に再構築される画像は、単色の画像であることを想定する。
【0095】
再構築部130は、例えば、CPU(Central Processing Unit)とメモリを含むハードウェアと、画像を再構築するソフトウェアとを適宜組み合わせすることで実現される。再構築部130の具体的な構成は特に限定されず、FPGA(Field Programmable Gate Array)や、専用のハードウェア等によって実現されてもよい。再構築部130には、上述したキャリブレーション工程の手順によって変換行列Dを求める機能が含まれてもよい。
【0096】
続いて、
図6に示すフローチャートを参照して、撮像装置100の動作の一例を説明する。なお、以下の動作の説明では、導波路110のスペックルパターンに関して、上述したキャリブレーション工程の手順によって変換行列Dが予め求められていることを想定する。
【0097】
最初に、光源11が発生させた光を、導波路110に通過させてターゲット17へ照射する(ステップS101)。
【0098】
検出器120は、ターゲット17に光源11からの光を照射させて生じたスペックルパターンのパワーを検出する(ステップS102)。
【0099】
次に、再構築部130は、予め定められた観測回数であるk回のステップS102におけるパワーの観測が行われたか否かを判定する(ステップS103)。観測回数が予め定めた回数に達していない場合(ステップS103:No)には、例えば変調制御部13が、スペックルパターンが変化するように、変調器12による変調の状態を変化させる(ステップS104)。この場合において、変調器12による変調の状態は、変換行列Dを求める場合と同様のスペックルパターンが発生するように制御される。そして、ステップS102に戻り、検出器120は、スペックルパターンのパワーを検出する。
【0100】
観測回数が予め定めた回数に達している場合には(ステップS103:Yes)、再構築部130は、画像を再構築する(ステップS105)。すなわち、再構築部130は、ステップS102において、検出器120によってk回観測されたスペックルパターンのパワーに基づき、予め求められた変換行列Dを用いて、画像を再構築する。
【0101】
以上のとおり、本実施形態における撮像装置100は、圧縮センシング技術の一つであるADMMアルゴリズムを用いて画像を再構築する。画像の再構築においては、導波路110によって生じる様々なスペックルパターンが用いられる。
【0102】
導波路110は、マルチモード導波路であれば特に種類は問わない。すなわち、マイクロメートルオーダーの単一の導波路110のような、一般的な細い径の導波路110を用いた画像の再構築が可能となる。したがって、撮像装置100は、狭小な空間において利用可能な撮像装置となる。
【0103】
また、撮像装置100においては、より多くのスペックルパターンに応じた変換行列Dを求め、スペックルパターンに応じた多くの観測をおこなうことによって、再構築される解像度を高めることができる。すなわち、撮像装置100を用いることにより、導波路の径に依存することなく、用途に応じた解像度の画像を得ることが可能となる。
【0104】
(変形例)
上述した撮像装置100には、変形例が考えられる。
【0105】
撮像装置100では、単波長の光を発生する光源11が用いられた。すなわち、撮像装置100では、特定の波長に関して単色の画像が再構築された。しかしながら、撮像装置100は、いわゆる多色の装置、すなわち、複数の波長に対する画像を再構築する装置であってもよい。
【0106】
図7から
図10の各々は、撮像装置100が、複数の波長に対する画像を再構築する場合の構成の例を示す。
【0107】
図7に示す例では、撮像装置101は、撮像装置100の光源11に変えて、波長可変レーザ21及び波長制御部22を備える。波長可変レーザ21は、波長制御部22の制御に応じた波長のレーザ光を発生する。波長可変レーザ21が発生可能なレーザ光の波長の範囲は特に限定されない。再構築しようとする画像に求められる条件等に応じて、適切な波長可変レーザ21が用いられればよい。
【0108】
撮像装置101では、波長制御部22によって、波長可変レーザ21が特定の波長のレーザ光を発生するように制御される。そして、当該特定の波長に対する画像が再構築される。その後、波長制御部22によって、波長可変レーザ21が発生するレーザ光の波長が変化するように制御され、異なる波長に対する画像が再構築される。
【0109】
なお、画像を再構築する際に用いられる変換行列Dは波長毎に異なる。そのため、波長毎に変換行列Dが予め求められる。画像の再構築に際しては、波長に応じた変換行列Dが用いられる。そして、異なる波長に対する画像の再構築が繰り返し行われることにより、多数の波長に対する画像が再構築される。
【0110】
また、
図8に示す例では、撮像装置102は、撮像装置100の光源11に変えて、白色光源31を備える。また、撮像装置102は、波長分解部32を備える。
【0111】
白色光源31は、様々な波長の光を発生する光源である。本変形例において、白色光源31が発光する光のスペクトル分布については特に制約はなく、スペクトル分布の範囲や各々の波長の光の強度が均一でなくてもよい。本変形例では、再構築しようとする画像に求められる条件等に応じて、画像の再構築に必要となる波長の光を発光する光源が白色光源31として適宜用いられればよい。すなわち、白色光源31は、画像の再構築に必要となる複数の波長の光を発生する光源であればよい。
【0112】
波長分解部32は、白色光源31が発生する光を波長毎に分離する。つまり、波長分解部32は、白色光源31が発生する光から所望の波長の分離を取り出すための機構である。波長分解部32として、例えば、回折格子、プリズム、フィルタ、電気光学結晶、音響光学結晶、又は磁気光学結晶が用いられるが、白色光を波長毎に分離する他の機構が用いられてもよい。また、波長分解部32には、特定の波長の単色光を抽出する機構が併せて設けられる。
【0113】
撮像装置102では、波長分解部32によって分離された特定の波長の光が導波路110へ入射されて画像が再構築される。そして、導波路110へ入射される光の波長を変化させて画像が再構築されることで、撮像装置101と同様に多数の波長に対する画像が再構築される。
【0114】
また、
図9に示す例では、撮像装置103は、撮像装置100の光源11に変えて、白色光源41を備える。撮像装置103は、更に、フィルタ42を備える。
【0115】
白色光源41は、上述した白色光源31と同様の光源である。また、フィルタ42は、特定の波長の光を透過するフィルタである。つまり、フィルタ42は、上述した波長分解部32と同様に、白色光源41が発生する光から所望の波長の分離を取り出すための機構であり、波長分解部32の別の実現例であるといえる。
【0116】
フィルタ42として、例えば、再構築される画像に応じて透過させる光の波長がそれぞれ異なる複数のフィルタが用いられる。また、フィルタ42は、透過する光の波長を可変とするフィルタであってもよい。
【0117】
撮像装置103では、フィルタ42によって特定の波長の光が透過することで、当該波長に対する画像が再構築される。そして、異なる波長の光を透過するフィルタ42が用いられる、又は、フィルタ42が透過する光の波長を変化させることによって、撮像装置101等と同様に多数の波長に対する画像が再構築される。
【0118】
また、
図10に示す例では、撮像装置104は、撮像装置100の光源11に変えて、白色光源51と、フーリエ分光器52とを備える。白色光源51は、上述した白色光源31等と同様の光源である。フーリエ分光器52として、例えば、マイケルソン干渉計等が用いられる。
【0119】
撮像装置104は、フーリエ分光器52によって、時間毎に異なる波長の光が導波路110へ入射されることとなる。時間毎に検出器120による検出結果をフーリエ変換することにより、特定の波長の光の検出結果が得られる。波長に応じた変換行列Dやその他のパラメータを用いることにより、多数の波長に対する画像の再構築が可能となる。
【0120】
なお、撮像装置101から104の各々において、検出器120は、再構築される画像に対する波長の光を検出可能な検出器である。また、撮像装置101から104の各々においては、検出器120は、光源11から発生した光の導波路110への入射角度を変化させる変調器又は光源11から発生した光の波面を変化させる変調器であることを想定する。
【0121】
撮像装置101から104の各々により、多数の波長に対する画像の再構築が可能となる。つまり、撮像装置101から104の各々により、ハイパースペクトルイメージングが可能となる。
【0122】
(シミュレーション例)
上述した撮像装置100により、画像が再構築されることを、シミュレーションにより確認した。
【0123】
再構築される画像は、縦横とも128画素の画像とした。導波路110として、直径が125μm(マイクロメートル)以上のマルチモードファイバが用いられた。また、光源11は、632.8nm(ナノメートル)の光を発する光源であり、変調器12として、導波路110への入射角度を変化させる変調器12が用いられた。
【0124】
このような条件において、オリジナルの画像、及びオリジナルの画像について画素数の10%(パーセント)のサンプリングを行った場合に再構築された画像を、それぞれ
図11に示す。
図11に示すように、オリジナルの画像11Aと再構築された画像11Bとを比較すると、人物の輪郭、オリジナルの画像11Aの明暗、及び帽子のアクセサリの一部が、再構築された画像11Bに復元されることが確認できた。
【0125】
上述のように、この例においては、マイクロメートルオーダーの導波路110が用いられている。すなわち、撮像装置100により、非常に狭い空間での撮像が可能であることが確認できた。
【0126】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本発明のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
【0127】
この発明の一部又は全部は、以下の付記のようにも表されるが、これに限られない。
【0128】
(付記1)
光源が発した光を伝送する導波路と、
前記導波路を通過した前記光によって発生し、対象に照射されたスペックルパターンのパワーを検出する検出器と、
それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する再構築手段と、
を備える撮像装置。
【0129】
(付記2)
前記光を前記導波路へ入射する場合の前記条件を変化させる変調器を備える、
付記1に記載の撮像装置。
【0130】
(付記3)
前記変調器は、前記光の前記導波路への入射角度を変更することにより前記条件を変化させる、
付記2に記載の撮像装置。
【0131】
(付記4)
前記変調器は、前記光の波面を変更することにより前記条件を変化させる、
付記2に記載の撮像装置。
【0132】
(付記5)
前記変調器は、前記光の波長を変更することにより前記条件を変化させる、
付記2に記載の撮像装置。
【0133】
(付記6)
前記導波路は、マルチモード導波路である、
付記1から5のいずれか一項に記載の撮像装置。
【0134】
(付記7)
前記再構築手段は、ADMM(alternating direction method of multipliers)アルゴリズムにより前記画像を再構築する、
付記1から6のいずれか一項に記載の撮像装置。
【0135】
(付記8)
前記再構築手段は、前記条件及び前記条件に応じて発生したスペックルパターンに対して求められた変換行列を用いて、前記ADMMアルゴリズムにより前記画像を再構築する、
付記7に記載の撮像装置。
【0136】
(付記9)
複数の波長の前記光を発生する前記光源と、
前記光源が発生した前記光を波長毎に分離する波長分離手段とを更に備え、
前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
付記1から8のいずれか一項に記載の撮像装置。
【0137】
(付記10)
複数の波長の前記光のうち、選択された波長の光を発生可能な前記光源と、
前記光源から発生する光の波長を制御する波長制御手段とを更に備え、
前記再構築手段は、複数の波長の前記光の各々に関して検出された複数の前記パワーに基づいて、前記複数の波長の光の各々について前記画像を再構築する、
付記1から8のいずれか一項に記載の撮像装置。
【0138】
(付記11)
導波路を通過した光によって発生し、対象に照射されたスペックルパターンのパワーを検出し、
それぞれ異なる条件によって前記導波路へ前記光を入射して得られた複数の前記パワーに基づいて、前記対象の画像を再構築する、
撮像方法。
【0139】
この出願は、2018年3月20日に出願された日本出願特願2018−052223を基礎とする優先権を主張し、その開示の全てをここに取り込む。