(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【0010】
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【0011】
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
【0012】
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【0013】
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の実施例について図面を用いて説明する。
【0014】
図1は、本発明の第一の実施形態に係る撮像システムの構成を示す図である。撮像システム100においては、光学系2と、撮像素子3と、A/Dコンバータ4と、RAWバッファメモリ5と、画像処理部6と、出力部7と、を備える撮像装置が用いられる。光学系2は、前玉レンズ群23及び後玉レンズ群24と、絞り22と、位相板21と、を備える。
【0015】
絞り22は、前玉レンズ群23及び後玉レンズ群24の間にある。絞り22は、被写体1から発し、光学系2を透過する光束を適切に絞る役割を果たす。位相板21は、絞り22の近傍に設けられている。位相板21は、光学系2を透過する光束に所定の位相を付加するが、位相を付加しない部位があってもよい。
【0016】
被写体1から発して光学系2に入射した光束は前玉レンズ群23及び後玉レンズ群24の機能により、撮像素子3の面上に被写体像を結像する。位相板21による位相付加の効果により、結像位置の前後の広い範囲で被写体像のぼけは略一定となる。
【0017】
撮像素子3はその面上に複数の画素を有している。この撮像素子3の面上に結像された被写体像は、撮像素子3により画素ごとにアナログ信号に変換され、更にA/Dコンバータ4によりデジタル信号に変換されて被写体像に対応した画像データが生成される。
【0018】
RAWバッファメモリ5はA/Dコンバータ4から得た画像データを格納する。画像処理部6はRAWバッファメモリ5から画像データを受け取り、位相板21の位相変調に起因する被写体像のぼけを除去するための信号処理を施す。信号処理の方法は、さまざまな公知の処理が含まれる。例えば、空間フィルタを用いる方法であっても良い。補正後の画像は出力部7に供給される。出力部7は、例えばディスプレイや記憶装置、通信装置、プリンタ等の各種のデジタルデータを用いた出力が可能な物であればよい。
【0019】
図2は、従来の位相板の構成を示す図である。
図2(a)は位相板21の正面図、
図2(b)は位相板21の半径および直径に沿った断面図を表している。光軸は、
図2(a)では、紙面に垂直な方向に、
図2(b)では上下方向に設定されている。被写体1からの光線は
図2(b)の図下方向から図上方向に進むように設定される。
【0020】
また、位相板21は例えば4つの幅の等しい輪帯から構成されている。輪帯は、位相板21の内側から第一輪帯211、第二輪帯212、第三輪帯213、第四輪帯214が含まれる。各輪帯は断面図において内周端と外周端の間に極大値211P、212P、213P、214Pを持つ凸形状である。この極大値を取る半径座標は
図2(a)において破線で表されている。
【0021】
図3は、従来の位相板が付加する位相を示す図である。
図3では、横軸を位相板21の規格化半径として、縦軸を位相板21により特定波長に付加される位相としている。付加される位相の大きさは位相板21の断面の高さに比例するので、縦軸を位相板21の高さと考えると理解が容易となる。図中r
c1、r
c2、r
c3、r
c4は位相板21の各輪帯の高さが極大値を取る規格化半径座標を表している。
【0022】
位相板21が光学系に配置された場合、内周側からi番目の輪帯におけるr
ciより内周側の領域は入射する光を本来のフォーカス位置より手前側(インフォーカス側)、r
ciより外周側の領域は入射する光を本来のフォーカス位置より奥側(アウトフォーカス側)、に拡散させる役割を果たす。ここで各輪帯においてr
ciはr
ciより内周側の領域とr
ciより外周側の領域の面積、すなわち位相付加の対象となる面積が略等しくなるように設定されている。このためフォーカス位置の前後でPSFに貢献する光の量を均等にできる。
【0023】
なお、位相付加の対象となる面積については、r
ciより内周側の領域とr
ciより外周側の領域の面積は等しいことが望ましいが、若干の差異はあってもよい。例えば、内周側の領域は外周側の領域に対して0.9〜1.1倍等の面積の比率であってもよい。
【0024】
図4は、第一の実施形態に係る位相板が付加する位相の例を示す図である。
図4のグラフの縦軸、横軸は
図3と同様である。また、グラフ中の実線は第一の実施形態に係る付加位相、破線は従来の位相板21に係る付加位相を示す。第一の実施形態における位相板25の形状は
図9の説明において後述するが、その輪帯数、各輪帯での付加位相の高さの極大値および極大値を取る規格化半径座標については、従来の位相板21と同じである。
【0025】
第一の実施形態に係る位相板25においては、位相板の半径方向に沿った断面内において各輪帯の内周端での接線211I、212I、213I、214Iの傾角θiと外周端での接線211O、212O、213O、214Oの傾角θi´とが略等しく設定されている点が、従来の位相板21とは異なる。つまり、従来の位相板21と比較すると、各輪帯において付加位相の極大値を取る規格化半径座標より外側の領域での付加位相の傾きが緩やかになっている点が異なるといえる。また、任意の輪帯の内周端における傾角θiは、当該輪帯より内周側にある輪帯の内周端における傾角θiより大きい。なお、傾角θiと傾角θi´は等しいことが望ましいが、若干の差異はあってもよい。例えば、傾角θi´は傾角θiに対して0.9〜1.1倍等の比率であってもよい。
【0026】
付加位相の傾きの大きさは光の拡散効果と比例関係にあるので、第一の実施形態に係る位相板25によれば、フォーカス位置の前後でPSFに貢献する光の量を均等にできるだけでなく、フォーカス位置の前後での光の拡散効果、すなわち、PSFのぼけ具合も均等にできる。
【0027】
図5は、従来の位相板を適用して得られるPSFと第一の実施形態に係る位相板を適用して得られるPSFの例を示す図である。すなわち、
図5は、フォーカス位置前後でのPSFのぼけ具合を従来例と対比して説明するための図である。
図5(a)は従来の位相板21によるPSFの例が示されており、
図5(b)は第一の実施形態による位相板25を用いた場合のPSFの例が示されている。それぞれ、横軸は受光面の半径座標、縦軸はPSFの強度を表している。いずれの例においても、光学系のF値はF#1.27と設定している。
【0028】
図5においては、細線はフォーカス位置でのPSFを、太い実線はフォーカス位置より+0.09mm(ミリメートル)の位置のPSFを、太い破線はフォーカス位置より−0.09mmの位置のPSFを、それぞれ示している。
図5においてフォーカス位置、−0.09mmの位置のPSFの形状は第一の実施形態に係る位相板25と従来の位相板21とは殆ど同一だが、+0.09mmの位置のPSFは従来の位相板21よりも第一の実施形態に係る位相板25の方が値が大きく、すなわちぼけ具合が小さいことを表している。そして+0.09mmの位置でのPSFのぼけ具合が小さくなった結果、−0.09mmの位置におけるPSFと+0.09mmの位置におけるPSFとが似た形状になっている。
【0029】
図6は、テストチャートを示す図である。当該テストチャートは、撮像システムの品質を評価するのに統一して用いる意図があり、当該テストチャートそのものは別のチャートや一般的な被写体1でも構わない。
【0030】
図7は、撮像システム別の出力画像の品質を比較するグラフを示す図である。横軸はデフォーカス、縦軸は画像の品質を表す指標PSNR(Peak Signal to Noise)である。当該グラフは、
図6に示されたテストチャートを入力画像とし、従来の位相板21を用いた撮像システムと、第一の実施形態に係る位相板25を用いた撮像システムと、のそれぞれによる出力画像の品質を計算した結果である。なお、PSNRは以下の式で定義される。
【0032】
ここで、Maxは画像の最大輝度、m,nはそれぞれ画像の横方向、縦方向の画素数、A’(i,j)は出力画像、A(i,j)は元画像である。
図7中、細線は通常カメラによる出力画像の品質、太い実線は第一の実施形態の位相板25を用いたWFC適用カメラでの出力画像の品質、太い破線は従来の位相板21を用いたWFC適用カメラでの出力画像の品質を表している。いずれの系でも光学系のF値はF#1.27、センサの画素ピッチは5.5μm(マイクロメートル)と設定しており、電気的なノイズは含まれないものとして計算している。
【0033】
PSNR35dB以上を焦点の範囲とすると、通常カメラの焦点深度は約0.03mm、第一の実施形態に係る位相板25を用いたカメラ、従来の位相板21を用いたカメラの焦点深度はいずれも約0.20mmとなる。つまり、第一の実施形態に係る位相板25は従来の位相板21と同等の焦点深度拡大効果を持っているといえる。
【0034】
図8は、撮像システム別の復元処理の際の信号増幅度を比較するグラフを示す図である。横軸は空間周波数、縦軸は信号増幅度である。各撮像システムにおいて、空間周波数ごとの信号増幅度はデフォーカス±(プラスマイナス)0.1mmの間で平均したPSFに対して適切なぼけの除去が行われるように設定している。実線は第一の実施形態に係る位相板25を用いた場合を、破線は従来の位相板21を用いた場合を示している。一般にWFCでは復元処理の際に撮像素子の持つ電気的なノイズを増幅する作用が発生し、画質の劣化につながるため、信号増幅度は小さい方が望ましい。
【0035】
図8に示すように、最大の空間周波数90lp/mm(line pairs/mm)では、従来の位相板21を用いた場合の信号増幅度は30.3、第一の実施形態に係る位相板25を用いた場合の信号増幅度は26.7であり、第一の実施形態に係る位相板25を用いた場合の信号増幅度は従来の位相板21を用いた場合よりも減少しているといえる。
【0036】
以上のように、本発明に係る第一の実施形態における位相板25では、アウトフォーカス側のPSFのぼけを従来例に比べて小さくすることにより、同等の焦点深度拡大効果を維持しつつWFCの信号増幅度を減少させることができる。
【0037】
図9は、第一の実施形態に係る位相板の構成を示す図である。第一の実施形態に係る位相板25では、従来の位相板21に比べて、第一輪帯251、第二輪帯252、第三輪帯253、第四輪帯254のそれぞれにおいて、外周側に光軸に略平行な面(以降、「立ち壁」と称呼)が立ち壁251C〜254Cとして設けられている。なお、立ち壁がある場合には、立ち壁の上端を外周端と称呼し、立ち壁の下端を外周側の輪帯の内周端と称呼する。また、位相板25の透過光は立ち壁によっては位相変更されない。
【0038】
図10は、第二の実施形態に係る位相板の構成を示す図である。第二の実施形態に係る位相板26については、第一の実施形態における各輪帯が凸形状であったのに対し、第二の実施形態における各輪帯は凹形状である点において相違する。このような第二の実施形態に係る位相板26であっても、第一の実施形態と同様に各輪帯の外周端の接線の傾きと内周端の接線の傾きを等しく設定することにより、第一の実施形態に係る位相板と同様の効果が得られる。
【0039】
図11は、第三の実施形態に係る位相板の構成を示す図である。第三の実施形態に係る位相板27については、第一の実施形態における位相板25は各輪帯間に立ち壁が設けられているのに対し、第三の実施形態における位相板27は当該立ち壁の落差を埋めるように外周側の輪帯が光軸方向にシフト移動された形状である。すなわち、第一輪帯と第二輪帯の境界となる半径座標において、第一輪帯の端点の光軸方向の座標と、第二輪帯の端点の光軸方向の座標とが一致し、第二輪帯と第三輪帯の境界となる半径座標において、第二輪帯の端点の光軸方向の座標と、第三輪帯の端点の光軸方向の座標とが一致する。そして、第三輪帯と第四輪帯の境界となる半径座標において、第三輪帯の端点の光軸方向の座標と、第四輪帯の端点の光軸方向の座標とが一致する。換言すると、輪帯の外周端は、当該外周端の外周側にある輪帯の内周端部と接続しているといえる。また、各輪帯の外周端は、当該輪帯の内周端よりも高い位置にある。
【0040】
また、第一輪帯の内周側の極小値と、第二輪帯の内周側の極小値とは、t1だけ差があり、第一輪帯の内周側の極小値と、第三輪帯の内周側の極小値とは、t1と同じかより大きいt2だけ差があり、第一輪帯の内周側の極小値と、第四輪帯の内周側の極小値とは、t2と同じかより大きいt3だけ差がある。このような形状であっても、第一の実施形態と略同様の効果が得られる。第三の実施形態に係る位相板27では、段差となる立ち壁の部分がないので第一の実施形態に係る位相板25よりも製造が容易であり、光が段差の部分の光軸に垂直な壁に入射した場合でも迷光となることを回避できる点でより活用用途が広いといえる。
【0041】
図12は、第四の実施形態に係る位相板の構成を示す図である。第四の実施形態に係る位相板28については、第一の実施形態に係る位相板21にレンズ機能が付加されている。図中の破線がレンズ機能を与える湾曲面281を示している。PSFをぼかすための位相付加部282は、この湾曲面281の上に追加されるように設定されている。つまり本実施形態においては実際の面形状からレンズ機能を与えるための湾曲面281の面形状を取り除いた面形状において、各輪帯の外周端の接線の傾きと内周端の接線の傾きが等しく設定されている。
【0042】
換言すると、第一の実施形態に係る位相板21の上面の形状を所定の関数f(r)で示し、湾曲面281の形状を所定の関数g(r)で示すとするならば、第四の実施形態に係る位相板28の位相付加部282の上面の形状はg(r)+f(r)により表される関係が成立する。この面形状の設定によりレンズと位相板が一体となった低価格化で省スペース化が可能な光学部品において第一の実施形態に係る光学系と同様の効果が得られる。
【0043】
図13は、第五の実施形態に係る位相板の構成を示す図である。第五の実施形態に係る位相板29では、輪帯が外周側ほど高い。すなわち、各輪帯の極大値が、外周側の輪帯ほど大きいものとなる。また、第一輪帯291の極大値は、第一輪帯291の極小値と同じ、すなわち平坦であってもよい。具体的には、第一輪帯291の極大値と第二輪帯の極大値の差t1は、第一輪帯291の極大値と第三輪帯の極大値の差t2と同じかより小さく、第一輪帯291の極大値と第三輪帯の極大値の差t2は、第一輪帯291の極大値と第四輪帯の極大値の差t3と同じかより小さいものであればよい。
【0044】
図14は、第五の実施形態に係る位相板が付加する位相の例を示す図である。グラフの縦軸、横軸は
図3のグラフと同様に、それぞれ規格化半径、付加位相である。第五の実施形態に係る位相板29においては外周側ほど輪帯が高くなるように設定されており、各輪帯の内周端での接線の傾きと外周端での接線の傾きは等しく設定されている。但し最内周の輪帯(第一輪帯291)には位相付加部は設けられていない。つまり第一輪帯291の位相付加部の高さは0mm、付加位相は0λである。しかし、これに限られず、第一輪帯291はわずかに、あるいは第二輪帯よりも少ない位相を付加するものであってもよい。なお、立ち壁の有無はいずれであってもよい。
【0045】
図15は、第一の実施形態に係る位相板と第五の実施形態に係る位相板によるPSFの例を示す図である。
図15では、外周側ほど輪帯が高くなるように設定することにより焦点深度拡大効果を維持したままPSFのぼけを小さくできることを、PSFを用いて説明する。
図15のグラフは横軸がデフォーカス、縦軸がPSFの中心の強度を表している。
図15(a)に係るグラフは、第一の実施形態に係る位相板25により形成されるPSFの中心強度を表すグラフであり、
図15(b)に係るグラフは、第五の実施形態に係る位相板29により形成されるPSFの中心強度を表すグラフである。
【0046】
図15の各グラフにおいて、各輪帯の形成するPSFと、各PSFの総和として位相板全体の形成するPSFに対応する線と、が示されている。
図15(a)に示されるように、各輪帯によるPSFには、フォーカス位置前後で中心強度が概略一定になる範囲が存在する。結果として総和としてのPSFの中心強度も概略一定となるが、この範囲がWFCにより得られる焦点深度に相当する。この総和としてのPSFは中心強度の値が低い程ぼけが大きいことを意味する。なお、このような中心強度が概略一定になる範囲は、デフォーカスのマイナス方向において総和としてのPSFの中心強度が単調減少を始める位置から、デフォーカスのプラス方向において総和としてのPSFの中心強度が単調減少を始める位置までと規定することができる。
【0047】
図15(a)において各PSFの中心強度が概略一定となる範囲に注目すると、輪帯が内周側になるほど広い。また、輪帯が内周側になるほど総和としてのPSFの中心強度への影響は小さい。このため最外周の輪帯の高さが一定であれば、外周側ほど輪帯が高くなるように(内周側ほど輪帯が低くなるように)設定しても焦点深度拡大効果を維持できる。
【0048】
図15(b)においては、第一輪帯、第二輪帯によるPSFの中心強度は略一定となる範囲が第一の実施形態に比べてわずかに狭くなっている反面、当該範囲における強度の平均が大きくなっている。その結果、総和としてのPSFの中心強度は略一定となる範囲が第一の実施形態に係る位相板25を用いた場合と殆ど変らないままその強度が大きくなる。これは焦点深度拡大効果を維持したままPSFのぼけが小さくなることを意味している。
【0049】
図16は、撮像システム別の出力画像の品質を比較するグラフを示す図である。第五の実施形態に係る位相板29を用いた場合のWFCの出力画像の品質を太い実線で示している。設定条件は
図7に示した条件と同様であり、
図6に示したテストチャートを入力画像としている。通常カメラと従来の位相板21は、
図7と同一の値である。第五の実施形態における焦点深度は約0.20mmであり、第五の実施形態に係る位相板29を用いた場合にも従来の位相板21を用いた場合と同等の焦点深度拡大効果を持っているといえる。
【0050】
図17は、撮像システム別の復元処理の際の信号増幅度を比較するグラフを示す図である。
図17におけるグラフは、
図8と同様に、復元処理の際の信号増幅度を表すグラフである。第五の実施形態に係る位相板29を用いた場合の値は実線で、従来の位相板21を用いた場合の値は破線で示している。従来の位相板21を用いた場合の値は
図8と同一の値である。
図17において最大の空間周波数での第五の実施形態の信号増幅度は16.6であり、従来の位相板21を用いた場合の信号増幅度30.3より減少しており、さらに第一の実施形態に係る位相板25を用いた場合の信号増幅度26.7よりも減少している。
【0051】
以上のように、第五の実施形態では、従来の位相板21と同等の焦点深度拡大効果を維持しつつ、第一の実施形態よりもさらに信号増幅度を減少させることができる。つまり電気的なノイズ増幅をより抑制することができる。
【0052】
図18〜
図21に、本発明に係る電気的なノイズの抑制効果を検証するための実験結果を示す。実験に用いたカメラはいずれもF値がF#1.27のレンズ、画素数が横1920×縦1080ピクセル、画素ピッチ2.75μmでBayerフィルタの設置された撮像素子を使用している。
【0053】
図18は、通常のカメラで自然物を被写体として取得した画像の例を示す図である。ピントは画像内右側のスポークパターンに設定している。
図18において電気的なノイズによる品質劣化は視認できないが、ピントよりも手前にある物体(色鉛筆の先端)、ピントより奥にある物体(「日立」の張り紙)にはぼけが発生している。
【0054】
図19は、従来の位相板21を用いてWFCで取得した画像の例を示す図である。画像内の手前にある物体(色鉛筆)にも奥にある物体(張り紙)にも合焦しており、焦点深度拡大効果が確認できる。しかし、電気的なノイズによる品質の劣化(画像全面に渡る粒状のノイズの出現)が明らかである。
【0055】
図20は、第五実施形態の位相板29を用いてWFCで取得した画像の例を示す図である。焦点深度拡大効果は従来の位相板21を用いた場合と同様に確認できる。また、電気的なノイズによる品質の劣化は視認できるものの、従来の位相板21を用いた場合よりは小さくなっていることが明らかである。
【0056】
図21は、通常カメラによる取得画像のR、Gr、Gb、Bの各色の画素の内Gb画素の画像の比較例を示す図である。
図21(a)は、取得画像のR、Gr、Gb、Bの各色の画素の内Gb画素のみを取り出した画像である。本実験の被写体1は
図21(a)の画像内に像として現れている、階調が一様な厚紙である。
【0057】
各系で取得した画像から
図21(a)に正方形の枠で示す縦192×横192ピクセルの範囲を取り出し、輝度のヒストグラムを作成した。
図21(b−1)は通常カメラで取得した画像の192×192ピクセルのGb画素の拡大、
図21(b−2)はその輝度のヒストグラムを示す。
図21(b−2)のヒストグラムにおいて標準偏差σ(シグマ)は2.7である。σはノイズの大きさを表す指標となる。
【0058】
図21(c−1)は従来の位相板21を用いてWFCにより取得した画像の縦192×横192ピクセルのGb画素の拡大、
図21(c−2)はその輝度のヒストグラムを示す。
図21(c−2)のヒストグラムにおいてσは38.0であり、通常カメラに比べてノイズの増幅が明らかである。
【0059】
図21(d−1)は第五の実施形態に係る位相板29を用いてWFCにより取得した画像の縦192×横192ピクセルのGb画素の拡大、
図21(d−2)はその輝度のヒストグラムを示す。
図21(d−2)のヒストグラムにおいてσは20.1であり、通常カメラに比べてノイズの増幅はあるものの、従来の位相板21を用いた場合に比べて抑制されているといえる。
【0060】
以上が、本発明に係る第一から第五の実施形態である。第一から第五の実施形態に係る構成光学部品、撮像システムによれば、WFCにおける電気的なノイズの増幅を抑制可能となる。
【0061】
なお、本発明は上記の実施の例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【0062】
また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
【0063】
また、上記の各構成、機能等の一部は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に格納しておき、実行時にRAM(Random Access Memory)等に読み出され、CPU(Central Processing Unit)等により実行することができる。
【0064】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【0065】
また、上記した各構成、機能、処理部等は、それらの一部又は全部を、例えば別の装置で実行してネットワークを介して統合処理する等により分散システムで実現してもよい。
【0066】
また、上記した実施形態の技術的要素は、単独で適用されてもよいし、プログラム部品とハードウェア部品のような複数の部分に分けられて適用されるようにしてもよい。
【0067】
以上、本発明について、実施形態を中心に説明した。