特開2020-51868(P2020-51868A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
<>
  • 特開2020051868-偏光イメージング撮像システム 図000003
  • 特開2020051868-偏光イメージング撮像システム 図000004
  • 特開2020051868-偏光イメージング撮像システム 図000005
  • 特開2020051868-偏光イメージング撮像システム 図000006
  • 特開2020051868-偏光イメージング撮像システム 図000007
  • 特開2020051868-偏光イメージング撮像システム 図000008
  • 特開2020051868-偏光イメージング撮像システム 図000009
  • 特開2020051868-偏光イメージング撮像システム 図000010
  • 特開2020051868-偏光イメージング撮像システム 図000011
  • 特開2020051868-偏光イメージング撮像システム 図000012
  • 特開2020051868-偏光イメージング撮像システム 図000013
  • 特開2020051868-偏光イメージング撮像システム 図000014
  • 特開2020051868-偏光イメージング撮像システム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-51868(P2020-51868A)
(43)【公開日】2020年4月2日
(54)【発明の名称】偏光イメージング撮像システム
(51)【国際特許分類】
   G01J 4/04 20060101AFI20200306BHJP
   G02B 5/30 20060101ALI20200306BHJP
   G02B 5/20 20060101ALI20200306BHJP
   G03B 11/00 20060101ALI20200306BHJP
   H01L 27/146 20060101ALI20200306BHJP
【FI】
   G01J4/04 Z
   G02B5/30
   G02B5/20 101
   G03B11/00
   H01L27/146 D
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】25
(21)【出願番号】特願2018-180793(P2018-180793)
(22)【出願日】2018年9月26日
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】宮田 将司
(72)【発明者】
【氏名】中島 光雅
(72)【発明者】
【氏名】橋本 俊和
【テーマコード(参考)】
2H083
2H148
2H149
4M118
【Fターム(参考)】
2H083AA06
2H083AA16
2H083AA26
2H148BD22
2H148BG11
2H148BH26
2H149AA00
2H149AB23
2H149AB26
2H149BA04
4M118AB01
4M118BA10
4M118BA14
4M118FA06
4M118GA02
4M118GC08
4M118GC11
4M118GC14
4M118GC20
(57)【要約】
【課題】光強度を減退させることなく、被写体の複数の偏光画像を同時に生成する。
【解決手段】複数の撮像ユニットが二次元的に配列している撮像ユニットアレイを備え、撮像ユニットは、複数の微細構造体を有する1つの波面制御素子と、波面制御素子に対向するように配置され、波面制御素子に対応する複数の画素が二次元配列されて含まれている画素アレイと、を備え、被写体からの光が1つの波面制御素子により、第1の偏光と第1の偏光と直交する方向または第1の偏光と反対の回転方向を有する第2の偏光とに空間的に分離され、第1の偏光が画素アレイ上の第1の集光位置に集光され、第2の偏光が画素アレイ上の第2の集光位置に集光される、偏光イメージング撮像システムを提供する。
【選択図】図7
【特許請求の範囲】
【請求項1】
被写体の偏光画像を生成する撮像システムであって、
複数の撮像ユニットが二次元的に配列している撮像ユニットアレイを備え、
前記撮像ユニットは、
複数の微細構造体を有する1つの波面制御素子と、
前記波面制御素子に対向するように配置され、前記波面制御素子に対応する複数の画素が二次元配列されて含まれている画素アレイと、を備え、
被写体からの光が前記1つの波面制御素子により、第1の偏光と前記第1の偏光と直交する方向または前記第1の偏光と反対の回転方向を有する第2の偏光とに空間的に分離され、前記第1の偏光が前記画素アレイ上の第1の集光位置に集光され、前記第2の偏光が前記画素アレイ上の第2の集光位置に集光される、
偏光イメージング撮像システム。
【請求項2】
前記波面制御素子は、
前記画素アレイ上の前記第1の集光位置と前記第2の集光位置とを結ぶ線分の垂直二等分線を含み前記画素アレイに垂直な平面との交線を境とする2つの領域を有しており、
一方の領域内に複数配置されている第1の微細構造体の前記波面制御素子上の第1の断面と、他方の領域内に複数配置されている前記第1の微細構造体に対応する第2の微細構造体の前記波面制御素子上の第2の断面とを有し、
前記第1の断面の位置および前記第2の断面の位置は、前記波面制御素子の面上において前記交線から等しい距離だけ離れており、
前記第1の断面の形状は、前記第2の断面の形状を前記波面制御素子の面に対して水平に90°回転させたものである、
請求項1に記載の偏光イメージング撮像システム。
【請求項3】
前記撮像ユニットアレイは、
隣接する前記撮像ユニットがそれぞれ備える第1の波面制御素子および第2の波面制御素子を有し、
前記第1の波面制御素子が前記被写体からの光の内から空間的に分離する前記第1の偏光の方向は、前記第2の波面制御素子が前記被写体からの光の内から空間的に分離する前記第1の偏光の方向と異なり、
互いに偏光方向が異なる、前記撮像ユニットアレイに含まれる前記撮像ユニットの数の2倍数の前記偏光画像を生成する、
請求項2に記載の偏光イメージング撮像システム。
【請求項4】
前記波面制御素子は、
前記画素アレイに対向する面上に複数の前記微細構造体を配置しており、
複数の前記微細構造体は、前記波面制御素子の面からそれぞれ等しい高さを有している、
請求項2または3に記載の偏光イメージング撮像システム。
【請求項5】
前記撮像ユニットアレイは、
隣接する前記撮像ユニットの間に、前記第1の偏光および前記第2の偏光を遮蔽する障壁をさらに備え、
前記障壁は、前記波面制御素子および前記画素アレイとの間に配置され、前記波面制御素子の面および前記画素アレイの面に対して略垂直となるように設けられている、
請求項2乃至4のいずれか一項に記載の偏光イメージング撮像システム。
【請求項6】
前記撮像ユニットアレイは、
第1の偏光フィルタおよび第2の偏光フィルタを含む偏光フィルタアレイをさらに備え、
前記第1の偏光は、前記第1の偏光の偏光方向のみを透過させる前記第1の偏光フィルタを介して、前記第1の集光位置に集光し、
前記第2の偏光は、前記第2の偏光の偏光方向のみを透過させる前記第2の偏光フィルタを介して、前記第2の集光位置に集光する、
請求項2乃至5のいずれか一項に記載の偏光イメージング撮像システム。
【請求項7】
前記撮像ユニットアレイは、
1または複数のカラーフィルタ含むカラーフィルタアレイをさらに備え、
前記カラーフィルタは、前記被写体からの光または前記第1の偏光および前記第2の偏光の所定の波長域のみを透過させ、
1つの前記撮像ユニットに対して1つの前記カラーフィルタを対応するように配置されている、
請求項2乃至6のいずれか一項に記載の偏光イメージング撮像システム。
【請求項8】
前記画素アレイにおいて、前記第1の偏光に基づいて生成された第1の偏光画像もしくは前記第2の偏光に基づいて生成された第2の偏光画像に基づいて、前記被写体からの光について、少なくとも光強度、偏光方向、および偏光度の二次元情報を取得する、請求項2乃至7のいずれか一項に記載の偏光イメージング撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、偏光分離を可能とする波面制御素子を複数備える偏光イメージング撮像システムに関する。
【背景技術】
【0002】
従来の一般的な撮像素子は、結像光学系および二次元イメージセンサ(電荷結合素子(Charge Coupled Device、以下CCDという)センサや相補型金属−酸化物−半導体(Complementary Metal Oxide Semiconductor、以下C−MOSという)センサ)などのイメージセンサを含んで構成され、被写体からの光の強度情報と色情報とを含むデータを取得する。そのデータを処理することにより二次元画像が形成される。ここで、「被写体からの光」とは、被写体である物体から光が放射され、またはその被写体とは分離されている光源から放射した光がその被写体に照射されることにより、その被写体がその光を反射または散乱した光のことを指す。
【0003】
上記データを取得する際に、被写体からの光の偏光情報について無視されることが多い。しかしながら、光の偏光情報には、被写体の表面の形状や材料の状態に関する情報など、単に、光の強度とその色、すなわち波長からは取得不可能な有益な情報が含まれている。一般的に、被写体からの光の偏光状態について二次元情報として撮像する手法を偏光イメージングという。従来の通常の偏光イメージングでは、被写体が結像される結像面上において、結像面に平行な任意の1方向を基準にしてその方向を0°とした場合、光軸に平行な軸を中心に45°、90°、および135°だけ回転させた方向におけるそれぞれの偏光の光強度を取得する。これにより、被写体からの光の偏光状態を表現する4つのストークスパラメータのうち3つを得ることができ、具体的には、光強度、偏光方向、および偏光度の情報を得ることができる。これらの情報を含むデータから二次元画像を生成することにより、被写体の表面形状の推定、被写体の材料の応力状態のデータ取得、または被写体についての物体認識技術等への応用を図ることが可能となる。この取得されるデータの特徴から、偏光イメージングは、天文学、医療、またはセンシング技術等の分野への応用に向けて、これまで多くの研究開発がなされてきた。
【0004】
特に近年では、車載用カメラ、IoT(Internet of Things)デバイス、医療用デバイス等について、被写体からの光の偏光情報を含む多次元の情報を取得する目的のために、作製が簡易で、かつ高感度で小型な偏光イメージング装置の実現が期待されている。
【0005】
これまで、偏光イメージングを実現する方法として微細加工技術を利用した偏光イメージングセンサが提案されている。例えば、透過光の偏光方向が所定に設定されている複数の金属ワイヤーグリッドにより形成された偏光フィルタをイメージセンサの各ピクセル上に集積することにより、4つの異なる偏光方向の光をピクセル毎に取得するための装置構成および方法が提案されている(非特許文献1)。
【0006】
図1は、一般的な結像光学系と吸収型偏光フィルタを備えるイメージセンサとを含んで構成される従来の偏光イメージング装置の例を示す模式図である。図1(a)は、被写体11、結像光学系12、および撮像素子13の配置関係を示す模式図であり、図1(b)は、撮像素子13の複数の領域とその領域において検出される光の偏光方向との対応関係を示す斜視図である。図1(a)の右端は、撮像素子13上に描かれた点線の矩形部分を拡大したものである。この構成により、偏光情報を含む二次元画像、すなわち偏光画像の生成が可能である。非特許文献1に開示される事項を図1を用いて説明する。撮像素子13は、偏光フィルタ13aとイメージセンサ13bを備えている。偏光フィルタ13aおよびイメージセンサ13bは平板形上であって、図1(b)に示されるように複数の領域に分割されている。そして、偏光フィルタ13aおよびイメージセンサ13bの複数に分割された領域は、図1(a)右端図に示されるように、互いに大きさと位置が一致している。偏光フィルタ13aの複数の領域は、紙面に対して平行な方向に電場が振動する偏光(以下、縦偏光という)のみを通過させる領域と紙面に対して垂直な方向に電場が振動する偏光(以下、横偏光という)のみを通過させる領域を含んでいる。撮像素子13上に集光された入射光10は、例えば部分偏光であって偏光と非偏光とが混在した光である。
【0007】
まず、被写体11からの光は、結像光学系12を介して撮像素子13上に集光される。次に、撮像素子13上に集光された入射光10は、偏光フィルタ13aの複数の領域を通過させることにより縦偏光のみの光および横偏光のみの光となり、偏光フィルタ13aの複数の領域に対応するイメージセンサのそれぞれの領域へと入力される。その結果、図1(b)に示されるように、イメージセンサ13b上において縦偏光および横偏光に対応する二次元画像が生成される。
【0008】
同様の手法として、微細構造からなる波長板と偏光フィルタをセンサ上に集積する方法やフォトニック結晶による偏光フィルタアレイをセンサ上に集積する方法が提案されている。
【0009】
図1に示す従来の撮像装置による変更画像の生成方法は、一度の撮像操作により被写体11からの光の偏光状態の取得を可能にするものの、結像光学系12を含めた偏光イメージング装置全体の小型化は困難である。これは、結像光学系12と撮像素子13との距離、すなわち偏光イメージング装置全体の厚みが結像光学系12の焦点距離により決定されるためである。ここで、偏光イメージング装置全体を薄くするには、結像光学系12として短い焦点距離をもつレンズを採用する必要があるが、レンズの口径や厚み、それを実現するための加工方法等の律束により、図1に示される偏光イメージング装置の構成では短い焦点距離とすることが難しい。したがって、イメージセンサ13bに入力される光量を低下させ、すなわちレンズ口径を小さくしなければ装置の小型化を実現することが難しい。
【0010】
そのような背景から、偏光イメージング装置全体の大幅な小型化を可能とする構成として、複眼を構成するマイクロレンズアレイと偏光フィルタアレイとを組み合わせた構成が提案されている(非特許文献2)。
【0011】
図2は、複数のレンズを備えるマイクロレンズアレイと複数のレンズのそれぞれに対応する偏光フィルタを備える偏光フィルタアレイとを組み合わせて構成された偏光イメージング装置の例を示す模式図である。非特許文献2において開示される事項を図2を用いて説明する。この偏光イメージング装置は、結像光学系として複数のレンズから構成されるマイクロレンズアレイ22が用いられ、その複数のレンズのそれぞれについて偏光フィルタアレイ23aの複数の領域を対応させるように偏光フィルタアレイ23aが配置され、偏光フィルタアレイ23aを通過した光が入力されるようにイメージセンサ23bが配置されている。ここで、マイクロレンズアレイ22、偏光フィルタアレイ23a、およびイメージセンサ23bは、それらの長手方向がそれぞれ平行となるように配置されている。さらに、偏光フィルタアレイ23aは、マイクロレンズアレイ22とイメージセンサ23bとの間に2個配置されている。この2個の偏光フィルタアレイ23aは、それぞれ複数の領域に分割されており、その分割された領域のそれぞれにおいて、入射光20の縦偏光または横偏光のみを選択的に通過させる機能を有している。
【0012】
まず、被写体21からの光は、マイクロレンズアレイ22を介して一方の偏光フィルタアレイ23a上の複数の領域のそれぞれの上に集光する。次いで、一方の偏光フィルタアレイ23aを通過した光は、通過する領域に対応して縦偏光および横偏光となり、さらに他方の偏光フィルタアレイ23aを通過してイメ−ジセンサ23bに入力される。その結果、イメージセンサ23b上において縦偏光および横偏光に対応する二次元画像が生成される。
【0013】
図2に示される偏光イメージング装置の構成は、上記の動作により被写体21からの光の偏光方向毎の二次元画像を同時に複数取得することができる。さらに、取得した二次元画像のデータに対して画像再構成アルゴリズム等を適用することにより、二次元画像の解像度を回復することも可能である(非特許文献2)。
【0014】
図2の複眼構成は、図1の単眼構成に比べて、ひとつのレンズの口径を大幅に小さくすることが可能なため、短焦点距離での結像が容易となる。したがって、単眼よりも複眼による構成の方が、イメージセンサに入力される光量を減少させずに、偏光イメージング装置の小型化が可能である。
【先行技術文献】
【非特許文献】
【0015】
【非特許文献1】Viktor Gruev, Rob Perkins, and Timothy York, CCD polarization imaging sensor with aluminum nanowire optical filters,” Optics Express, 30 August 2010, Vol. 18, No. 18, pp.19087-19094
【非特許文献2】Jun Tanida, Tomoya Kumagai, Kenji Yamada, Shigehiro Miyatake, Kouichi Ishida, Takashi Morimoto, Noriyuki Kondou, Daisuke Miyazaki, and Yoshiki Ichioka, “Thin observation module by bound optics (TOMBO): concept and experimental verification,” ,Applied Optics, 10 April 2001, Vol. 40, No. 10, pp.1806-1813
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかしながら、上記の非特許文献1および非特許文献2に開示される従来の構成による撮像方法には2つの課題がある。
【0017】
まず、非特許文献1および非特許文献2に開示される構成による従来の撮像方法が共に有する課題は、減光型偏光フィルタを使用することに起因するイメージセンサにおける光検出効率低さである。減光型偏光フィルタは、光が進行する軸を含む平面に平行な偏光のみを透過させ、それと垂直な方向の偏光を反射または吸収する特性を有する。したがって、従来の構成による撮像方法では、イメージセンサに到達する総光量は必然的に低下し、具体的には、偏光イメージング装置に入力した光量の50%まで低下する。すなわち、減光型偏光フィルタを構成中に使用することにより、高効率・高感度な偏光イメージング装置を実現することが困難である。
【0018】
さらに、非特許文献2に開示される従来の構成では、結像光学系に加えて、少なくとも1つの偏光フィルタアレイ23aの位置を各偏光フィルタが対応するイメージセンサ23bまたはレンズアレイ22のレンズと厳密に整合させて、偏光フィルタアレイ23aをイメージセンサ23bまたはレンズアレイ22の近傍に集積配置する必要があり、一般的な撮像素子13と比べて、作製コストおよび実装コストが増大する課題がある。
【課題を解決するための手段】
【0019】
本発明は、上記の問題点に鑑みてなされたもので、その目的は、高感度に偏光情報を取得でき、簡易に作製でき、かつ小型化が容易な、偏光画像を生成するための撮像システム(以下で、偏光イメージング撮像システムという)を提供することにある。
【0020】
本発明の一実施形態は、光強度を減退させることなく、被写体の複数の偏光画像を同時に生成する偏光イメージング撮像システムであって、複数の撮像ユニットが二次元的に配列している撮像ユニットアレイを備え、撮像ユニットは、複数の微細構造体を有する1つの波面制御素子と、波面制御素子に対向するように配置され、波面制御素子に対応する複数の画素が二次元配列されて含まれている画素アレイと、を備え、被写体からの光が1つの波面制御素子により、第1の偏光および第1の偏光と第1の偏光と直交する方向または第1の偏光と反対の回転方向を有する第2の偏光とに空間的に分離され、第1の偏光が画素アレイ上の第1の集光位置に集光され、第2の偏光が画素アレイ上の第2の集光位置に集光される、偏光イメージング撮像システムを提供する。
【発明の効果】
【0021】
本発明によれば、高い光利用効率で偏光情報を取得することが可能なイメージング装置を実現することができ、かつ小型化が容易なため、偏光イメージング装置を様々なデバイスへ組み込みことを可能とする他、携帯可能な小型イメージング装置として利用することができる。さらに、既存のイメージセンサの直上に、波面制御素子を直接作製するまたは装着するだけで装置を構成することができるため、生産性が優れるとともに、部品点数が少なく済むため、抵コストな偏光イメージング装置を実現できる。
【図面の簡単な説明】
【0022】
図1】一般的な結像光学系と吸収型偏光フィルタを備えるイメージセンサとを含んで構成される従来の偏光イメージング装置の例を示す模式図である。
図2】複数のレンズを備えるマイクロレンズアレイと複数のレンズのそれぞれに対応する偏光フィルタを備える偏光フィルタアレイとを組み合わせて構成された偏光イメージング装置の例を示す模式図である。
図3】本発明の一実施形態である偏光イメージング撮像システムの構成を示す模式図である。
図4】本発明の一実施形態の偏光イメージング撮像システムの構成要素である撮像ユニットの構成例の模式図である。
図5】第1の実施形態における偏光イメージング撮像システムの構成を示す模式図である。
図6】波面制御素子53,54に配置されている柱状の微細構造体60の模式図である。
図7】第1の波面制御素子53上に配置されている微細構造体51により形成されるパターンおよびそのパターンに対応する被写体からの光50の位相遅延量の一次元分布の対応関係を示す図である。
図8】第2の波面制御素子54上に配置されている微細構造体51により形成されるパターンおよびそのパターンに対応する被写体からの光50の位相遅延量の一次元分布の対応関係を示す図である。
図9】円偏光の回転方向毎にて偏光の分離が可能な撮像ユニットを含む3つの撮像ユニットから構成される1組の撮像ユニットの上面模式図である
図10】撮像ユニットアレイ55の構成により複数の偏光画像が生成する場合に、撮像ユニットアレイ55の構成に対して障壁101を設置する前後におけるクロストーク抑制の差異を示す模式図である。
図11】本発明の第2の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイ55の構成を示す模式図である。
図12】本発明の第3の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイの構成を示す模式図である。
図13】本発明の第3の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイの別の構成を示す模式図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について詳細に説明する。また、本発明の実施形態は、本発明の要旨の範囲を逸脱しない限り、以下の例示に何ら限定されることなく置換、変形を行うことが可能である。
【0024】
はじめに、本発明の実施形態を説明する前に、本発明の一実施形態である偏光イメージング撮像システムの構成および撮像ユニットの動作について以下に概説する。
【0025】
(1)偏光イメージング撮像システムの構成
図3は、本発明の一実施形態である偏光イメージング撮像システムの構成を示す模式図である。本発明の一実施形態の偏光イメージング撮像システムの基本構成は、光電変換素子を含む画素が二次元的に複数配列している画素アレイ33bと波面制御素子が二次元的に複数配列している波面制御素子アレイ33aとを備える撮像ユニットアレイ33および信号処理部35を備える。画素アレイ33b中の1つの矩形領域が1つの画素を指す。撮像ユニットアレイ33は、基板33c上に載置されている。撮像ユニットアレイ33は、基板33cおよび配線34を介して信号処理部35と電気的に接続されている。
【0026】
なお、画素アレイ33bは、光電変換素子アレイ、マイクロレンズアレイ、透明層、カラーフィルタアレイ、配線層その他の画像形成素子を構成するために必要な要素を備え得る。これら要素は、本願明細書に添付した図面中では省略されている。
【0027】
また、画素アレイ33bは、配線層が配置されていない側面から光が入力される裏面照射型、配線層が配置されている側面から光が入力される表面照射型のいずれの構造も採用することができる。撮像ユニットアレイ33について説明する。撮像ユニットアレイ33は、撮像ユニットが二次元的に複数配列して構成されている。1つの撮像ユニットは、波面制御素子アレイ33aの内の1つの波面制御素子に対して、画素アレイ33bの内の複数の画素が対応するように形成されている。
【0028】
また、波面制御素子のそれぞれは、被写体からの光30の各光束の偏光方向に応じて、偏光方向毎に画素アレイ33b上の異なる位置に波面制御素子33aを通過した光を結像させる機能を備える。
【0029】
信号処理部35は、基板33cおよび配線34を介して画素アレイ33bから出力される光電変換信号を処理して画像信号を生成する。信号処理部35は、生成した画像信号を外部に送出する画像信号出力経路36を備える。
【0030】
なお、本発明の一実施形態である偏光イメージング撮像システムは、赤外光を遮断するための光学フィルタ、電子シャッタ、電源、フラッシュライトその他の偏光イメージング撮像システムを構成するための公知の要素を備え得る。これら要素についての説明は、本願明細書において省略され、本願明細書に添付した図面中においても省略されている。
【0031】
(2)撮像ユニットの動作
図4は、本発明の一実施形態の偏光イメージング撮像システムの構成要素である撮像ユニットの構成例の模式図である。図4は、1つの撮像ユニットの側断面を示している。
【0032】
まず、撮像ユニットの構成について説明する。撮像ユニットは、1つの波面制御素子43と複数の画素が基板42b上に二次元的に配列している画素アレイ42aとを含んで構成されている。この例では、波面制御素子43は、微細構造体支持基板43aの片側面上に高さが一定の複数の微細構造体43bが垂直に立設されて構成されている。この例において、微細構造体43bのそれぞれの形状は柱状である。波面制御素子43の構造はこの構造に制限されることはなく、特に微細構造体43bは、配置数や配置間隔、形状、微細構造体支持基板43a上における配列パターンにおいて様々な形態をとり得る。また、微細構造体43bは、それぞれが接続し連結していてもよく、また被写体41からの光40に対して透明な、すなわち光吸収を生じない材料の内部に埋め込まれた形態とすることもできる。
【0033】
以下で説明する本発明の一実施形態において、波面制御素子43の微細構造体43bの材料は、被写体からの光40の波長に応じて適宜選択されることが好ましい。
【0034】
被写体からの光40の波長が380乃至800nmの範囲の可視光領域である場合は、窒化ケイ素(Si34)、炭化ケイ素(SiC)、二酸化チタン(TiO2)、窒化ガリウム(GaN)その他無機炭化物または無機窒化物を含む材料が、屈折率が高く、光の吸収損失が小さいため好適に用いることができる。
【0035】
また、被写体からの光40の波長が800乃至1000nmの範囲の近赤外領域である場合は、その波長域の光に対して吸収損失が小さい材料として、ケイ素(Si)、SiC、SiN、TiO2、ヒ化ガリウム(GaAs)、GaN等の材料を好適に用いることができる。
【0036】
被写体からの光40の波長が、近赤外領域の内上記よりもさらに長波長の近赤外領域、具体的には、光通信用波長領域である1.3μm近傍の波長帯や1.55μm近傍の波長帯では、上記の材料に加えて、リン化インジウム(InP)等を採用することができる。
【0037】
さらに、貼り付け、塗布して微細構造体43bを微細構造体支持基板43a上に接着法、塗布法等により形成する場合、微細構造体43bの材料は、フッ素化ポリイミド等のポリイミド樹脂、UVエポキシ樹脂等の光硬化性樹脂、、ポリメタクリル酸メチル(PMMA)等のアクリル樹脂、フォトレジスト等の光感光性有機材料、またはベンゾシクロブテン(BCB)などの有機材料を好適に用いることができる。
【0038】
同様に、微細構造体43bの周囲の構造の材料および微細構造体支持基板43aの材料は、一般的な無機ガラス材料、二酸化ケイ素(SiO2、)、空気等が好適である。それらの屈折率が微細構造体43bの材料の屈折率より低く、被写体からの光40の波長に対して小さな吸収損失を示す限り、特段の制限がなく選択することが可能である。 微細構造体43bの断面の形状は、、柱状に限定されず、中空四角形、十字形、円形、中空円形などの形状を採用することができる。これらの形状においても、後述する位相遅延効果をもたらす光導波路としての機能を失うことなく、形状に応じた偏光依存性を与えることも可能である。
【0039】
次に、撮像ユニットの動作について説明する。波面制御素子43は、後述するように、被写体からの光40が微細構造体43bに入力された時に微細構造体43bにおいて生じる位相遅延効果を利用することにより、波面制御素子43に入力された被写体からの光40を、第1の偏光方向を有する第1の偏光と第1の偏光方向と直交する第2の偏光方向を有する第2の偏光とに分離して、第1の偏光方向(図4において紙面に平行な方向)および第2の偏光方向(図4において紙面に垂直な方向)に対応してそれぞれの進行方向を決定し、第1の偏光と第2の偏光を画素アレイ42上の異なる位置に結像させる機能を有する。ここで、微細構造体43bにおいて生じる位相遅延効果は、被写体からの光40の偏光方向、微細構造体43bの形状および/または寸法に依存する。
【0040】
図4の波面制御素子43と画素アレイ42aとの間において、第1の偏光は実線に沿って画素アレイ42上で結像し、第2の偏光は点線に沿って画素アレイ42上で結像し、互いの結像位置は異なっている。すなわち、本発明の実施形態では、被写体からの光40の光束は、各撮像ユニット43に含まれる波面制御素子43によって、互いに直交する2つの偏光に分離され、それらの偏光方向に対応して進行方向がそれぞれ決定され、画素アレイ42a上の異なる位置でそれぞれ結像する。
【0041】
この動作により、被写体からの光40が画素アレイ42aに到達するまでに総光量を減退することなく、1つの撮像ユニットにつき、互いに直交する偏光方向を有する2つの偏光画像を得ることが可能になる。また、波面制御素子43毎に所定の第1の偏光方向を設定することで、様々な偏光方向に対応する偏光画像を画素アレイ42a上において同時に取得できる。画素アレイ42aを構成する画素に対して結像した偏光が入力されると、各画素に含まれる光電変換素子によって入力された偏光の強度に応じた電気信号である光電変換信号が基板42bから出力される。これにより、1つの撮像ユニットにつき、被写体からの光40の内の2つの偏光に対応する2つの光電変換信号を同時に出力することができる。
【0042】
さらに、複数の撮像ユニットで取得された光電変換信号に基づき信号処理部35において生成された複数の画像信号に対して、撮像ユニットアレイ33内の撮像ユニット43の二次元位置に応じた信号処理および画像再配置処理を行うことにより、例えば、解像度が大幅に回復された各偏光画像を取得することができる。
【0043】
本発明の一実施形態の偏光イメージング撮像システムにおける撮像ユニットアレイによれば、減光型偏光フィルタを用いることなく、波面制御素子アレイ33aを用いて光の吸収損失を小さくして偏光を分離し結像させることにより、偏光画像を得ることができる。したがって、減光型偏光フィルタを用いた従来の偏光イメージング撮像システムと比較して、画素アレイ33bに到達する総光量を増加させることができ、撮像感度を高めることが可能となる。
【0044】
さらに、この撮像ユニットアレイの構成は、被写体からの光30に対する撮像ユニットアレイ33全体の開口を保ったまま、各撮像ユニットの開口(マイクロレンズアレイ22の各レンズの口径に相当)を小さくすることができ、それに応じて波面制御素子アレイ33aと画素アレイ33bとの距離、すなわち焦点距離を大幅に短くすることが可能である。すなわち、撮像ユニットアレイは、従来の偏光イメージング装置よりも容易に小型化することができる。また、1つの撮像ユニットの開口の小型化に伴い、撮像ユニットアレイ33に配列される撮像ユニットの数が増加する。
【0045】
さらに、各撮像ユニットは、短い焦点距離を有する結像光学系となるために被写界深度が深くなり、被写体31と撮像ユニットアレイ33との距離の大小に影響されにくく、被写体31の前後のピントが同時に合いやすい。すなわち、撮像ユニットアレイ33は、被写体31に対するピントの調整機構を特段必要としない。
【0046】
また、撮像ユニットアレイ33は、一層の波面制御素子アレイ33aとイメージセンサである画素アレイ33bとを含む構成のみにより偏光イメージングを行うことが可能である。そのため、非特許文献1および2に開示される従来の偏光イメージング装置と比べて、より高い生産性を有し、および部品点数がより少なくなるという技術的特徴を有するため、より抵コストな偏光イメージング装置を実現できる。
【0047】
さらに、本発明の偏光イメージング撮像システムでは、各撮像ユニットアレイ33内における各撮像ユニットの二次元位置によって異なる被写体からの光30の光束の角度に差異を利用して、信号処理部35において生成した画像信号に対して画像再構成アルゴリズムを用いて処理することにより、撮像ユニットアレイ33と被写体31との間の距離情報の取得、およびリフォーカスも可能である。したがって、本発明の一実施形態の偏光イメージング撮像システムは、被写体からの光30の内の所定の偏光情報および被写体31との距離情報を有する画像を同時に生成することができる。
【0048】
(第1の実施形態)
以下、第1の実施形態における偏光イメージング撮像システムの構成の概略について説明する。
【0049】
図5は、第1の実施形態における偏光イメージング撮像システムの構成を示す模式図である。図5(a)は、撮像ユニットアレイ55の上面図の一部である。図5(b)は、撮像ユニットアレイ55のVb−Vbに沿う側断面図である。
【0050】
図5(b)に示されるように、光電変換素子を含む複数の画素が二次元配列して配置している画素アレイ52aの上方に、複数の波面制御素子が二次元配列している波面制御素子アレイ53が互いに対向するように配置されている。撮像ユニットアレイ55は、二次元的に更に連続して配列しており、図5(a)中の撮像ユニットアレイ55はその一部である。
【0051】
また、図5(b)における波面制御素子53の断面は、1つの波面制御素子である第1の波面制御素子53の断面である。すなわち図5(b)は、1つの撮像ユニットの断面を示している。
【0052】
また、図5(a)における撮像ユニットアレイ55の上面図には、微細構造体支持基板53aを透視して、微細構造体支持基板53a上に配置されている微細構造体53bが描かれている。図5(b)において、第1の波面制御素子53の微細構造体支持基板53a上に微細構造体53bが垂直に立設されている。この微細構造体53bは、それぞれの形状は柱状であって、それぞれの高さは一定である。
【0053】
以下の説明において、画素アレイ52aの法線方向をz軸、画素アレイ52aに平行な水平方向をx軸およびy軸として、右手系のxyz直交座標を設定する。また、xy平面上において、z軸を中心にx軸からy軸方向に回転させて、x軸と成す角度をθとする。
【0054】
本実施形態では、図5に示されているように、撮像ユニットアレイ55を構成する波面制御素子アレイは、被写体からの光50をx軸方向およびy軸方向に平行な偏光方向にそれぞれ分離して画素アレイ52a上に結像する第1の波面制御素子53と、被写体からの光50をθ=45°の方向およびθ=135°の方向に平行な偏光方向にそれぞれ分離して画素アレイ上に結像する第2の波面制御素子54とから構成されている。また、本実施形態では、第1の波面制御素子53と第2の波面制御素子54とはxy平面に平行な平面上においてy軸方向に沿って隣接して配置されている。つまり、撮像ユニットアレイ55は隣接する2つの撮像ユニットから構成されている。また、第1の波面制御素子53と第2の波面制御素子54とは、y軸方向に沿って交互に配列している。
【0055】
第1の波面制御素子53および第2の波面制御素子54は、それらの上面が矩形形状であり、互いに同一の面積を有している。ここで、波面制御素子53,54の上面の形状は長方形であることが好ましく、直交する二辺の長さの比、すなわち長方形の短辺に対する長辺の長さの比であるアスペクト比については1より大きい方が好ましい。例えば、そのアスペクト比を4:3、16:9その他の一般的に用いられる二次元画像のアスペクト比とすることができる。
【0056】
波面制御素子の配列、形状、またはサイズ等の形態は、図5の例示に制限されることはなく、適宜様々な形態を採用することができる。例えば、第1の波面制御素子53と第2の波面制御素子54とが、x軸方向およびy軸方向に沿って交互に配列し、いわゆる市松模様を形成するように配置することもできる。また、第1の波面制御素子53と第2の波面制御素子54とが一次元的にまたは二次元的に規則性を有さずに、ランダムに配置される構成とすることも可能である。すなわち、1つの波面制御素子を含んで構成されている撮像ユニットアレイの配列、形状、またはサイズ等についても同様である。
【0057】
被写体からの光50を異なる偏光方向に分離する2種類の波面制御素子、すなわち本実施例における第1の波面制御素子53および第2の波面制御素子54が撮像ユニットアレイ55内に含まれる数は、それぞれ等しいことが好ましい。これは、異なる偏光方向を有する複数の偏光画像間において、それらの解像度をそれぞれ等しくするためである。
【0058】
さらに、撮像素子アレイ55を構成する波面制御素子の種類の数は、本実施形態における2種類に制限されず、N種類(Nは2以上の自然数)とすることができる。この場合、N種類の波面制御素子の配列の仕方、それぞれの形状、またはそれぞれサイズ等は、本実施形態における2種類の場合についての例示と同様に、適宜様々な形態を採用することができる。また、撮像素子アレイ55に含まれる異なる種類の波面制御素子のそれぞれの数は、2種類の場合と同様に、それぞれ等しい数であることが好ましい。
【0059】
以下、本実施形態における偏光イメージング撮像システムの各構成要素の働きについて説明する。
【0060】
偏光イメージング撮像システムに入力される被写体からの光50は、撮像ユニット毎に、第1の波面制御素子53において、x軸方向とそれと直交するy軸方向とに、第2の波面制御素子54において、θ=45°の方向とそれと直交するθ=135°の方向の偏光に分離される。次いで、分離されたそれぞれの偏光は、対応する画素アレイ52a上の異なる位置でそれぞれ結像する。
【0061】
したがって、第1の波面制御素子53を有する撮像ユニットと第2の波面制御素子54を有する撮像ユニットとの2つの撮像ユニットを「1組の撮像ユニット」とすると、1組の撮像ユニットにつき、x軸方向(θ=0°)、y軸方向(θ=90°)、θ=45°の方向、θ=135°の方向を有する偏光からなる4つの偏光画像を生成できる。すなわち、本実施形態では、撮像ユニットが二次元配列して複数配置されているため、各偏光方向に対応する偏光画像を、撮像ユニットアレイに含まれる撮像ユニットの数の2倍数分生成できる。
【0062】
なお、分離される偏光方向は本実施形態の場合に限られず、波面制御素子53,54の構成を適宜設定することにより、被写体からの光50の内から分離される偏光方向を自由に変更することができる。
【0063】
その次に、画素アレイ52a上に生成された偏光画像は、画素アレイ52aの各画素内の光電変換素子によって光電変換がなされ、画素アレイ52aが配置される基板52bの全体から、各偏光方向に対応する複数の光電変換信号が出力される。そして、信号処理部35において、画素アレイ52bから出力された複数の光電変換信号に基づいて各偏光方向に対応した画像信号が生成される。この画像信号から形成される画像は、撮像ユニット内に含まれる画素の数によって決定されるため、撮像ユニットのサイズにより画像の解像度が低くなる場合がある。
【0064】
ここで、本実施形態では、これらの光電変換信号に対して、撮像ユニットアレイ55におけるの画素アレイの二次元位置情報を利用した(視差の影響を考慮した)信号処理を施す画像再構成アルゴリズム(非特許文献2)等の画像処理手段を適用することにより、偏光画像の解像度を大幅に回復することができる。このような画像の解像度を回復する処理(以下、解像度回復処理という)を信号処理部35に入力された光電変換信号に対して施すことにより、図5の例の場合、x軸方向(θ=0°)、y軸方向(θ=90°)、θ=45°の方向、θ=135°の方向を有する偏光からなる4つの偏光画像解像度を向上させて生成することができる。
【0065】
本実施形態では、上記の4つの偏光方向に対応する偏光画像から、被写体のからの光50の偏光状態を表現する4つのストークスパラメータのうち3つのパラメータの二次元情報を同時に得ることができ、その結果、光強度画像、偏光方向画像、および偏光度画像を同時に得ることが可能となる。さらに、本実施形態では、解像度回復処理を行う際に撮像ユニットアレイ内における各撮像ユニットの二次元位置情報を利用して、被写体についての視差情報を得ることができる。したがって、解像度が回復された各偏光画像に加えて、被写体と撮像ユニットアレイとの間の距離情報を算出することも可能である。
【0066】
以下、本実施形態における波面制御素子53,54について説明する。
【0067】
本実施形態における波面制御素子53,54は、微細構造体支持基板53aの方側面に配列して立設されている複数の微細構造体53bを備えている。この複数の微細構造体53bは、パターンを形成するように配置されている。微細構造体53bにより形成されるパターンは、1または複数の柱状の微細構造体53bにより形成されるパターンや、1または複数の孔状の微細構造体53bにより形成されるパターン等を採用できる。
【0068】
ここで、複数の形状の異なる微細構造体53bにより形成されるパターンを採用する場合、波面制御素子53,54において不要な光回折が発生するのを抑制するため、各微細構造体53b間の間隔は、被写体からの光50の波長よりも小さいことが好ましい。
【0069】
以下、波面制御素子53,54の具体的な一例として、複数の柱状の微細構造体60から形成されるパターンを有する場合について説明する。
【0070】
図6は、波面制御素子53,54に配置されている柱状の微細構造体60の模式図である。図6(a)は、柱状の微細構造体60の上面図であり、図6(b)および図6(c)は、柱状の微細構造体60のx平面における側面図を示したものである。図6(b)は被写体からの光60aの偏光方向が紙面に対して垂直の場合であり、図6(c)は被写体からの光60bの偏光方向が紙面に対して水平の場合を示している。
【0071】
微細構造体60は、微細構造体60周囲の材料または空間の屈折率n0よりも高い屈折率n1を有する材料から形成されており、微細構造体60のそれぞれの高さhは一定である。また、微細構造体60の底面および上面の形状は、辺の長さがW1とW2の四角形である。
【0072】
この微細構造体60は、微細構造体60周囲の材料または空間との屈折率差により、被写体からの光60a,60bを微細構造体60内に閉じ込めて伝搬させる光導波路として機能することができる。したがって、微細構造体60のxy平面の一方の側面から被写体からの光60a,60bを入射すると、被写体からの光60a,60bは微細構造体60内に閉じ込められながらy軸方向に伝搬する。このとき、微細構造体60に入射した被写体からの光60a,60bは、光導波路の実効的な屈折率(以下、実効屈折率という)neffによって決定される位相遅延効果を受けながら伝搬し、高さhの長さを伝搬した後に微細構造体60の他方の側面から出射される。
【0073】
この場合、微細構造体60周囲の材料または空間を微細構造体60の高さhの長さを伝搬した光の位相を基準とすると、微細構造体60中を伝搬するときに生じる被写体からの光60a,60bの位相遅延量φは、真空中における被写体からの光60a,60bの波長をλとおくと、次式(1)により、
φ=(neff−n0)×2πh/λ ・・・(1)
と表わされる。
【0074】
effは微細構造体60の寸法を変数とする関数であり、かつ微細構造体60の形状に依って大きな偏光依存性を示すことが知られている。被写体からの光60a,60bの伝搬方向に垂直な、すなわちxz平面に平行な、微細構造体60の断面が図6(a)に示される長方形である場合、互いに直交する被写体からの光60a,60bの偏光方向に対して異なるneffを被写体からの光60a,60bのそれぞれについて与えることができる。
【0075】
ここで、縦偏光である被写体からの光60aの偏光方向に対する位相遅延量をφ1、横偏光である被写体からの光60bの偏光方向に対する位相遅延量をφ2、縦偏光である被写体からの光60aの偏光方向に対する実効屈折率をneff1、横偏光である被写体からの光60bの偏光方向に対する実効屈折率をneff2、縦偏光である被写体からの光60aの偏光方向に平行な方向の微細構造体60の辺の長さをw1、横偏光である被写体からの光60bの偏光方向の辺の長さをw2とする。この場合、neff1およびneff2は、w1とw2との組み合わせによってそれぞれ調整できることが知られている。その調整可能な値は、neff1についてはn0を超えn1未満であり、neff2についてはn0を超えn1未満の値である。したがって、式(1)より、φ1およびφ2は、w1とw2との組み合わせによってそれぞれ所定の値に調整することができる。すなわち、図6に示される、柱状の微細構造体60の辺の長さw1およびw2を設定することにより、縦偏光である被写体からの光60aの偏光方向に対する位相遅延量φ1および横偏光である被写体からの光60bの偏光方向に対する位相遅延量φ2を所定の値に調整することが可能である。
【0076】
上記の原理に基づいて、波面制御素子53,54は、微細構造体支持基板53a上に所定の断面の辺の長さW1とW2との組み合わせを有する柱状の微細構造体60を二次元的なパターンを形成するように複数配置することにより、互いに直交する被写体からの光60aと60bとのそれぞれの偏光方向に対して所定の位相遅延量の二次元分布を与えることができる。その結果、互いに直交する被写体からの光60aおよび60bのそれぞれの偏光方向に対して所定の波面制御を行うことが可能となる。
【0077】
ここで、任意の波面制御を行うには、柱状構造による各偏光方向に対する位相遅延量の可変範囲が、0〜2π以上の範囲を有していることが好ましい。また、作製方法および作製コストの観点から、微細構造体60の高さhは可能な限り小さい方が好ましい。したがって、式(1)から、被写体からの光60a,60bの波長λとしたときに、微細構造体60の高さhは、
h=λ/(n1−n0) ・・・(2)
に近づけるように設定することが好ましい。
【0078】
図7は、第1の波面制御素子53上に配置されている微細構造体51により形成されるパターンおよびそのパターンに対応する被写体からの光50の位相遅延量の一次元分布の対応関係を示す図である。図7(a)は、図5(a)における第1の波面制御素子53の上面図である。図7(b)は、第1の波面制御素子53に配置されている微細構造体51により形成されるパターンに対応する被写体からの光50の位相遅延量を示すグラフである。縦軸は第1の波面制御素子53ときの位相遅延量であり、横軸は座標(xL,y0)と座標(xR,y0)とを通るx軸方向の座標である。ここで、柱状の微細構造体51は、x軸およびy軸方向に平行に、被写体からの光50の波長以下の間隔で、複数配列して配置されている。また、座標およびθの定義は図5と同様である。
【0079】
図7(a)に示されるように、柱状の微細構造体51の断面の辺の長さw1およびw2は、第1の波面制御素子53上の二次元位置に依って、それぞれ異なっている。第1の波面制御素子53上の二次元位置によって決定される柱状の微細構造体51の断面の辺の長さw1およびw2の値により、波面制御素子53を通過した光は、互いに直交する2つの偏光方向についてそれぞれ異なる位相遅延量の二次元分布を有する。したがって、波面制御素子53は、被写体からの光50の内の互いに直交する2つの偏光について、それぞれ異なる光波面を与えることができる。被写体からの光50の進行方向はこの光波面によって決定されるため、波面制御素子53は、波面制御素子53を通過した被写体からの光50の内の2つの偏光を空間的に分離して進行させることが可能となる。さらに、波面制御素子53は、波面制御素子53を通過した被写体からの光50の位相遅延量の二次元分布を、偏光方向毎にそれぞれ異なる位置で結像する分布にすることにより、波面制御素子53を通過した被写体からの光50の内の2つの偏光を空間的に分離し、画素アレイ52aの2つの異なる位置に結像させることが可能となる。
【0080】
この偏光方向毎に画素アレイ52aの異なる位置に結像する原理について図7(b)を用いて説明する。図7(a)において、波面制御素子53の上面の紙面向かって左側の領域、すなわち線Sによって区分された紙面左側の領域に着目する。波面制御素子53の上面の紙面向かって左側の領域は、θ=0°の偏光方向の光を画素アレイ52aにおける座標(xL,y0)に対応する箇所に集光し結像する領域である。ここで、波面制御素子53の上面の紙面向かって左側の領域に設けられている複数の微細構造体51は、被写体からの光50がその領域に入力されると座標(xL,y0)の位置において位相遅延量が極大を示し、その座標から離れるほど単調に位相遅延量が低下するように、寸法および配置方向を調整して設けられている。
【0081】
同様に、図7(a)において、波面制御素子53の上面の紙面向かって右側の領域、すなわち線Sによって区分された紙面右側の領域は、θ=90°の偏光方向の光が画素アレイ52aにおける座標(xR,y0)に対応する箇所に集光し結像するように、複数の微細構造体51が設けられている。
【0082】
すなわち、本実施形態における波面制御素子53は、微細構造体51により形成されたパターンに対応して、被写体からの光50の内の互いに直交する2つの偏光を空間的に分離して、2つの偏光のそれぞれを画素アレイ52aの2つの異なる位置に結像させる機能を有している。
【0083】
例えば、波面制御素子53が図7(a)に示される微細構造体51により形成されたパターンを有するの場合、波面制御素子53は、図7(b)に示すように、被写体からの光50の内のx軸方向の偏光とy軸方向の偏光に対して、それぞれ異なる位相遅延量の二次元分布を与えることができる。
【0084】
さらに詳細に説明すると、図7(a)に示される波面制御素子53に配置されている複数の微細構造体51により形成されるパターンは、座標(xL,y0)と座標(xR,y0)とを結ぶ線分とその線分と直交して2つの座標の中点を通る線Sを境として、一定の対称性を有している。具体的には、線Sを境として分割された波面制御素子53のいずれかの領域に着目して、その領域に含まれる全ての微細構造体51の断面を、二次元位置を変化させずにθ=90°回転操作をすると、着目した領域におけるパターンと他方の領域におけるパターンとが同一となる。
【0085】
図7(a)に示される波面制御素子53に配置されている複数の微細構造体51により形成されるパターンに依れば、被写体からの光50の内のx軸方向の偏光に対して、理想的に座標(xL,y0)の位置で被写体からの光50が集光するようなoff−axis(偏心)レンズと同様の位相遅延量の二次元分布が与えられる。同様に、被写体からの光50の内のy軸方向の偏光に対して、理想的に座標(xR,y0)の位置で被写体からの光50が集光するようなoff−axis(偏心)レンズと同様の位相遅延量の二次元分布が与えられる。この場合、被写体からの光50の内のx軸方向の偏光は、画素アレイ52a上の結像面において座標(xL,y0)の位置を中心として結像し、被写体からの光50の内のy軸方向の偏光は、画素アレイ52a上の結像面において座標(xR,y0)の位置を中心として結像する。すなわち、波面制御素子53は、被写体からの光50の内の互いに直交する2つ偏光を空間的に分離して画素アレイ52a上の異なる位置に結像させることができる。
【0086】
なお、図7に示される波面制御素子53の機能についての説明は一例であって、柱状の微細構造体51の寸法を設定することにより、分離される偏光方向と分離された偏光の結像位置との組み合わせを所定に調整することができる。例えば、図8に示すように、図7(a)における波面制御素子53に配置されている複数の微細構造体51により形成されるパターンをxy平面上で45°回転させた場合(つまり、図5(a)における第2の波面制御素子54に形成されているパターンの場合)には、被写体からの光50の内のθ=45°の方向の偏光は、画素アレイ52a上の結像面において座標(xL,y0)の位置を中心として結像し、被写体からの光50の内のθ=135°の方向の偏光は、画素アレイ52a上の結像面において座標(xR,y0)の位置を中心として結像する。
【0087】
したがって、波面制御素子53,54に隣接して含まれる1組の撮像ユニットを構成し、その1組の撮像ユニットを撮像ユニットアレイ55内で二次元的に連続して配置して、撮像ユニットアレイ55が画素アレイ52aと対向するように配置することにより撮像ユニットアレイ55を構成すれば、上記のように、被写体からの光50に対して、x軸方向(θ=0°)、y軸方向(θ=90°)、θ=45°の方向、θ=135°の方向を有する偏光からなる4つの偏光画像を高解像度で生成することができる。
【0088】
本実施形態における波面制御素子53,54は、微細構造体支持基板53aおよび微細構造体53bによる被写体からの光50に対する光吸収はほとんどなく、また被写体からの光50の波長よりも小さな間隔で微細構造体53bが配置されていることにより不要な光回折も生じることがない。さらに、微細構造体53bの形状を適宜設定することにより微細構造体53bと微細構造体支持基板53aとのインピーダンスを整合することで、微細構造体53bと微細構造体支持基板53aとの間における光の反射を抑制することも可能である。したがって、被写体からの光50は、パワーをほとんど失うことなく波面制御素子53,54によって複数の偏光に分離され、分離された偏光のそれぞれが画素アレイ52a上で結像する。そのため、波面制御素子53,54を用いて複数の偏光画像を生成する場合、光利用効率が高く100%に近い光利用効率で行うことが原理的に可能である。
【0089】
本実施形態の偏光分離機能および結像機能を有する波面制御素子53,54は、公知の半導体製造技術において使用される薄膜堆積手段およびパターニング手段により作製され得る。また、本実施形態における波面制御素子53,54は、高さが一定の微細構造体53aによって形成されるパターンを有しているため、安価で容易に作製できる可能性も高い。また、波面制御素子53,54自体が、結像光学系と偏光分離光学系とを兼ねているため、従来に比べ部品点数が少なく、かつ実装コストも低くて済む。
【0090】
(第1の実施形態の第1の変形例)
以上では、4つの偏光情報を同時に生成可能な偏光撮像システムについて詳細に説明した。以下では、上記の例に加えてさらに円偏光の回転方向情報も取得可能な変形例について説明する。
【0091】
上述したように、波面制御素子の構成を適宜設定することにより、所定の方向の偏光とそれと直交する方向の偏光に対して、所定の波面制御を行うことが可能である。このコンセプトは、ジョーンズ行列を用いて一般化をすることにより、円偏光の回転方向に応じた波面制御へ拡張することが可能であることが知られている。すなわち、本実施形態における波面制御素子の構成を適切に設定することにより、右回り円偏光と左回り円偏光との分離およびそれら分離された偏光の結像も可能である。
【0092】
図9は、円偏光の回転方向毎にて偏光の分離が可能な撮像ユニットを含む3つの撮像ユニットから構成される1組の撮像ユニットの上面模式図である。撮像ユニットアレイ90は、図5(a)に示される第1の波面制御素子53、第2の波面制御素子54に加えて、第3の波面制御素子91を含んで構成されている。撮像ユニットアレイ90は、この構成を一組の撮像ユニットとして、二次元的に連続している。
【0093】
各撮像ユニットを図9に示すように配置して、第1の波面制御素子53を有する撮像ユニット、第2の波面制御素子54を有する撮像ユニット、および第2の波面制御素子91を有する撮像ユニットから構成される3つの撮像ユニットを「1組の撮像ユニット」とすると、1組の撮像ユニットにつき、x軸方向(θ=0°)、y軸方向(θ=90°)、θ=45°の方向、θ=135°の方向、右回り円偏光方向、および左回り円偏光方向を有する偏光からなる6つの偏光画像を生成できる。すなわち、本実施形態の第1の変形例では、撮像ユニットが二次元配列して複数配置されているため、各偏光方向に対応する偏光画像を、撮像ユニットアレイ90に含まれる撮像ユニットの数の2倍数分生成できる。
【0094】
6つの偏光方向に対応する偏光画像から、被写体のからの光50の偏光状態を表現するすべてのストークスパラメータ4つについて二次元情報を得ることができ、被写体の偏光特性の全てを同時に取得することが可能となる。
【0095】
(第1の実施形態の第2の変形例)
次に、画素アレイ52a上における偏光画像の重なり(以下、クロストークという)を軽減可能とする変形例について説明する。
【0096】
図10は、図5に示される撮像ユニットアレイ55の構成により複数の偏光画像が生成する場合に、撮像ユニットアレイ55の構成に対して障壁101を設置する前後におけるクロストーク抑制の差異を示す模式図である。図10(a)は、第1の波面制御素子53と第2の波面制御素子54とを含んで構成される撮像ユニットアレイ55の上面図である。図10(b)は、図10(a)中のXb−Xbに沿う撮像ユニットアレイ55の側断面図である。図10(c)は、撮像ユニットアレイ55に障壁101をさらに設けた構成の上面図である。図10(d)は、図10(c)中のXd−Xdに沿う障壁101を備えた撮像ユニットアレイ55の側断面図である。
【0097】
図10(a)に示すように、隣接する各撮像ユニット53,54において、画素アレイ52a上に結像された複数の偏光画像の境界付近において、クロストークが生じる場合がある。このクロストークは、再構成後の画像の劣化や偏光消光比(所望の方向の偏光の強度/その他の方向の偏光の強度)の低下を招来する可能性がある。本実施例の第2の変形例における撮像ユニットアレイ55の構成は、このクロストークを避けるために、隣接する撮像ユニットとの境界に障壁101を設けた構成となっている。障壁101は、図10(d)に示されるように、第1の波面制御素子53および第2の波面制御素子54と画素アレイ52aとの間に位置し、第1の波面制御素子53、第2の波面制御素子54、および画素アレイ52aと略垂直を成すように立設されている。
【0098】
障壁101は、被写体からの光100を吸収し迷光が生じない材料により形成されたもの、またはそれと同様の機能を有するように表面加工が施された部材であることが好ましい。障壁101によって隣接する撮像ユニットに備えられた各波面制御素子53,54によって分離された偏光の光束同士の重なりを完全に遮蔽すれば、隣接する撮像ユニットにより生成される偏光画像同士のクロストークは完全に除去できる。また、隣接する撮像ユニットに備えられた各波面制御素子により分離された偏光の光束同士の重なりを完全に遮蔽することのできない部分的な、例えば高さが低い障壁であっても、クロストークの影響を軽減できる効果を有する限り、用途、作製プロセス、または実装プロセスに合わせて、障壁101の高さおよび位置を決定すればよい。
【0099】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態は、偏光フィルタアレイ111を併用した撮像ユニットアレイ55の構成と動作を例示するものである。
【0100】
図11は、本発明の第2の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイ55の構成を示す模式図である。図11(a)は撮像ユニットアレイ55の上面図の一部であり、図11(b)は図11(a)中のXIb−XIbに沿った撮像ユニットアレイ55の側断面図を示したものである。
【0101】
図11(b)に示されるように、本実施形態における撮像ユニットアレイ55の構成は、第1の実施形態における撮像ユニットアレイ55の構成に対して、画素アレイ52aの上方に偏光フィルタアレイ111がさらに配置されている。1つの波面制御素子53とそれに対応する画素アレイ52a上の複数の画素とから構成される1つの撮像ユニットにつき、互いに透過軸が直交している2枚の偏光フィルタ111a,111bが配置され、2枚の偏光フィルタ111a,111bは、波面制御素子53によって分離される2つの偏光の結像位置に対応して配置されている。
【0102】
この偏光フィルタアレイ111は、金属ワイヤーグリッドやフォトニック結晶などから構成されており公知の技術によって実現され得る。
【0103】
本実施形態において、偏光フィルタアレイ111以外の構成要素は第1の実施形態と同じである。
【0104】
本実施形態において、波面制御素子53によって被写体からの光110の内から分離された各偏光は、その偏光方向に対応する偏光フィルタ111aまたは111bを必ず通過する。その後、画素アレイ52a上においてそれぞれの偏光が結像する。偏光フィルタアレイ111は、分離された偏光の偏光方向とその偏光方向に対応する偏光フィルタ111a,111bの偏光透過軸の方向を一致させて配置されている。
【0105】
本実施形態において、撮像ユニットアレイ55の構成を上記の構成とすることにより、第1の実施形態と同様の機能を実現でき、かつ2つの新たな効果を得ることができる。
【0106】
第1の効果は、撮像ユニットアレイ55内のクロストークによる影響を大幅に低下させる効果である。第1の実施形態の場合、1つの撮像ユニット内で、画素アレイ52a上の異なる位置に結像された各偏光成分からなる2つの像の境界付近において、クロストークが生じる場合がある。一方、本実施例における1つの撮像ユニット内に偏光フィルタ111a,111bをさらに備える構成とした場合、図11(b)に示されるように、所望の方向の偏光以外がカットされて画素アレイ52a上に光が到達するため、1つの撮像ユニット内で分離して結像される2つの偏光画像のクロストークを完全に除去することができる。
【0107】
第2の効果は、1つの撮像ユニット内において2つの偏光画像の偏光消光比を向上させる効果である。第1の実施形態の場合、波面制御素子53の構成、または波面制御素子53の作製時に生じた寸法誤差等による影響によって、被写体からの光110の内から所定の方向の偏光を分離する時に、分離された偏光の偏光消光比を満足に確保できない場合がある。一方、本実施例における1つの撮像ユニット内に偏光フィルタ111a,111bをさらに備える構成とした場合、波面制御素子53と偏光フィルタアレイ111による二度の偏光フィルタリングを行うこととなり、分離された偏光の偏光消光比を向上させることが可能である。
【0108】
なお、本実施例における1つの撮像ユニット内に偏光フィルタ111a,111bをさらに備える構成では、高い光利用効率を保持したまま、上記の効果を得ることができる。これは、波面制御素子53により所定の方向の偏光を分離の後に、その分離された偏光に対して偏光フィルタアレイ111によるフィルタリングを行うため、画素アレイ52a上に到達する総光量をほとんど減少させないためである。
【0109】
本実施形態において、第1の実施形態において得られる効果に加えて、上記の第1の効果および第2の効果を得ることができる。また、第1の実施形態と同様の変形が可能である。
【0110】
(第3の実施形態)
次に、本発明の第3の実施形態を説明する。本実施形態は、カラーフィルタアレイ121を併用した撮像ユニットアレイの構成と動作を例示するものである。
【0111】
図12は、本発明の第3の実施形態による偏光イメージング撮像システムに適用する撮像ユニットアレイの構成を示す模式図である。図12(a)は波面制御素子53,54を含んで構成される撮像ユニットアレイの上面図の一部であり、図12(b)は波面制御素子53を含んで構成される撮像ユニットがx軸に沿って連続する部分の側断面図を示したものである。
【0112】
図12(b)に示されるように、本実施形態における撮像ユニットアレイの構成は、第1の実施形態における撮像ユニットアレイの構成に対して、画素アレイ52aの上方にカラーフィルタアレイ121がさらに配置されている。この例では、可視光帯における三原色である赤(R)、緑(G)、青(B)をそれぞれ選択的に透過する3つのカラーフィルタ121a、121b、および121cがそれぞれ画素アレイ52aと水平に対向するように連結して構成されているカラーフィルタアレイ121が配置されている。また、本実施形態では、被写体からの光120の波長域に制限が無く、採用するカラーフィルタの種類の数や使用帯域にも制限が無く、目的に応じて適宜所定に設定することができる。
【0113】
さらに、xy平面、すなわち画素アレイ52aと平行な平面内において、カラーフィルタアレイ121中のカラーフィルタ121a,121b,121cの配置パターンにも制限は無い。例えば、図12(a)に示される配置パターンの他には、一般的なカラーイメージセンサにおいて採用されているベイヤー配置と同様の配置とすることもできる。また、カラーフィルタアレイ121を配置する位置は、画素アレイ52aの上方に制限されることはなく、例えば、図13に示されるように、波面制御素子53の上方に配置することもできる。
【0114】
また、カラーフィルタアレイ121は、有機材料、無機材料、または金属のナノホールアレイ等から構成されており公知の技術によって実現され得る。
【0115】
図12(a)中の太線で描かれた矩形で示されるように、カラーフィルタアレイ121は、1または複数(図12(a)では2つ)の撮像ユニットからなる1組の偏光撮像ユニットに対して、複数種類(図12(a)では3種類)のカラーフィルタ121a,121b,121cのうちいずれか1種類のカラーフィルタが対応するように配置されている。さらに、各撮像ユニットを構成する波面制御素子53,54は、それぞれ対応するカラーフィルタ121a,121b,121cの透過波長を用いて、off−axisレンズの位相遅延量の二次元分布が設計されている(式(1)を参照)。その際、off−axisレンズの焦点距離は、全ての撮像ユニットにおいて等しくなるように設定されている。
【0116】
本実施例における撮像ユニットアレイは、カラーフィルタアレイ121以外の構成要素は同じである。
【0117】
本実施形態において、1組の撮像ユニットに対して121a、121b、または121cの内の1種類のカラーフィルタが配置されている。したがって、各撮像ユニットによってそれぞれ生成される偏光画像は、撮像ユニット毎に対応するカラーフィルタ121a,121b,121cを必ず透過した後に画素アレイ52a上で光電変換が行われる。このとき、各撮像ユニットを構成する波面制御素子53,54の焦点距離は、全ての撮像ユニットで等しくなるように、それぞれ対応するカラーフィルタの透過波長を用いて設計されている。したがって、それぞれの撮像ユニットにおいて生成される偏光画像は、その波長域が異なり、光学倍率が等しく、かつピントのズレもほぼない。
【0118】
本実施形態における撮像ユニットアレイの構成を採用することにより、第1の実施形態において得られる効果に加えて、さらに結像光学系における色収差の影響を軽減できる効果を得ることができる。
【0119】
一般に、結像光学系では、入射する光束の波長(色)に違いによって焦点距離が異なり、色収差とよばれるボケが生じる。すなわち、波長毎に結像面と被写体との距離が異なるため、ピントが合う波長域とピントが合わない波長域とが混在した状態となり、広い波長域(例えば、可視光帯全域)において光学像を生成する際に、画像の色コントラストの低下を招来する。
【0120】
本実施形態における波面制御素子53,54においても同様の色収差が存在し、式(1)から分かるように、被写体からの光120の波長が設計波長から離れるのに従って、位相遅延量の二次元分布は所定の設定から外れてしまう。波面制御素子53,54をoff−axisレンズとして機能させる場合、主に焦点距離が変化する。したがって、第1の実施形態において、広い波長域(例えば、可視光帯全域)での偏光イメージングを行うとき、色収差の影響により、特定の波長域について鮮明な画像を得られない可能性がある。一方、本実施形態における撮像ユニットアレイの構成を採用することにより、各撮像ユニットにおいて、カラーフィルタ121a,121b,121cの波長域毎に、光学倍率が等しくピントのズレが少ない偏光画像を生成することができる。さらに、生成した全ての偏光画像に対して、信号処理部35において撮像ユニットアレイの二次元位置に応じた信号処理および画像再配置を行うことによって、波長域毎に解像度が回復した鮮明な偏光画像を生成することが可能である。例えば、被写体からの光120が可視光帯の場合、R、G、Bのそれぞれの波長域において鮮明な偏光画像を生成することが可能である。さらに、これらの偏光画像から、R、G、Bのそれぞれの波長域についての光強度画像を取り出すことができるため、色収差の影響を軽減したRGBカラー画像を生成することも可能である。
【0121】
なお、本実施形態は、各撮像ユニットに121a,121b,121cの内の1種類のカラーフィルタを対応させるため、1つの波長域での解像度回復処理に使用する画素数が、第1の実施形態の場合と比べて、1/(カラーフィルタの種類数)となるために、解像度回復処理の後に生成される偏光画像の解像度は低下する。また、一般的なカラーイメージセンサを画素アレイ52aとして採用した場合においても、撮像ユニット毎に対応する色に対応する光電変換信号のみを選択抽出することにより、同様の撮像が可能である。
【0122】
本実施形態の構成においても、第1の実施形態において得られる効果を得ることができ、結像光学系における色収差の影響を軽減でき、かつカラーフィルタ121a,121b,121cの選択や種類の数を所定に設定することにより、特定の複数の波長域の偏光情報を同時に得ることが可能である。
【0123】
本実施形態は、第1の実施形態と同様の変形が可能である。また、本実施形態は、第2の実施形態における偏光フィルタアレイ111を含む構成と共存でき、偏光フィルタアレイ111およびカラーフィルタアレイ121による効果を同時に得ることも可能である。
【符号の説明】
【0124】
10、20 入射光
11、21、31、41 被写体
12 結像光学系
13 撮像素子
13a 偏光フィルタ
13b イメージセンサ
22 マイクロレンズアレイ
23a 偏光フィルタアレイ
23b イメージセンサ
30、40、50、60a、60b、110、120 被写体からの光
33、55、90 撮像ユニットアレイ
33a 波面制御素子アレイ
33b、42a 画素アレイ
33c、42b、52b 基板
34 配線
35 信号処理部
36 画像信号出力経路
43、53、54、91 波面制御素子
43a、53a、60 微細構造体支持基板
43b、51、53b 微細構造体
111 偏光フィルタアレイ
111a、111b 偏光フィルタ
121 カラーフィルタアレイ
121a、121b、121c カラーフィルタ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13