(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-29
(54)【発明の名称】偏光撮像カメラ
(51)【国際特許分類】
G02B 3/00 20060101AFI20231121BHJP
G02B 5/30 20060101ALI20231121BHJP
G02B 3/02 20060101ALI20231121BHJP
G02B 1/08 20060101ALI20231121BHJP
G02B 27/02 20060101ALI20231121BHJP
H01L 27/148 20060101ALI20231121BHJP
【FI】
G02B3/00 A
G02B5/30
G02B3/02
G02B1/08
G02B27/02 Z
H01L27/148 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023521863
(86)(22)【出願日】2021-11-04
(85)【翻訳文提出日】2023-06-06
(86)【国際出願番号】 US2021057989
(87)【国際公開番号】W WO2022098823
(87)【国際公開日】2022-05-12
(32)【優先日】2020-11-04
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-10-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】META PLATFORMS TECHNOLOGIES, LLC
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人World IP
(72)【発明者】
【氏名】リュウ, シンチャオ
(72)【発明者】
【氏名】チャオ, チン
【テーマコード(参考)】
2H149
2H199
4M118
【Fターム(参考)】
2H149AA17
2H149AB01
2H149BA23
2H149DA01
2H149FA41Y
2H149FC01
2H149FC10
2H149FD03
2H199CA12
2H199CA62
2H199CA66
2H199CA92
2H199CA96
4M118AA10
4M118AB01
4M118BA06
4M118CA02
4M118CA25
4M118GC07
4M118GC20
4M118GD07
(57)【要約】
一例では、装置は、第1のフォトダイオードおよび第2のフォトダイオードを含む半導体基板であって、第1のフォトダイオードが、第1の軸に沿って第2のフォトダイオードと隣り合って配置される、半導体基板と、第1の軸に垂直な第2の軸に沿って第1のフォトダイオードおよび第2のフォトダイオードの上に配置された複屈折結晶と、第2の軸に沿って複屈折結晶の上に配置されたマイクロレンズであって、第1の軸に沿って非対称曲率を有し、曲率の頂点が、第2の軸に沿って第1のフォトダイオードの上に配置される、マイクロレンズと、を含む。
【選択図】
図8C
【特許請求の範囲】
【請求項1】
第1のフォトダイオードおよび第2のフォトダイオードを含む半導体基板であって、前記第1のフォトダイオードが、第1の軸に沿って前記第2のフォトダイオードと隣り合って配置される、半導体基板と、
前記第1の軸に垂直な第2の軸に沿って前記第1のフォトダイオードおよび前記第2のフォトダイオードの上に配置された複屈折結晶と、
前記第2の軸に沿って前記複屈折結晶の上に配置されたマイクロレンズであって、前記第1の軸に沿って非対称曲率を有し、前記非対称曲率の頂点が、前記第2の軸に沿って前記第1のフォトダイオードの上に配置される、マイクロレンズと、
を含む装置。
【請求項2】
前記マイクロレンズが、前記第2の軸に沿って前記第1のフォトダイオードの上の前記複屈折結晶に入射光を集束させるように構成され、任意選択で、
前記複屈折結晶と前記半導体基板との間に挟まれ、前記入射光の偏光状態を回転させるように構成された波長板を含む、請求項1に記載の装置。
【請求項3】
前記複屈折結晶が、
前記入射光の常光線成分を第1の角度だけ屈折させるように構成され、前記第1の角度が前記常光線成分に関連する第1の屈折率に基づき、前記常光線成分が前記複屈折結晶の主面に垂直な第1の電界を有し、
前記入射光の異常光線成分を第2の角度だけ屈折させるように構成され、前記第2の角度が前記異常光線成分に関連する第2の屈折率に基づき、前記異常光線成分が前記複屈折結晶の前記主面に平行な第2の電界を有し、
前記第1のフォトダイオードが、前記常光線成分の強度を測定するように構成され、
前記第2のフォトダイオードが、前記異常光線成分の強度を測定するように構成される、
請求項2に記載の装置。
【請求項4】
前記第2の角度が、前記第1の屈折率と、前記第2の屈折率と、前記複屈折結晶の光軸と前記複屈折結晶の表面法線との間の第3の角度と、に基づいて前記第1の角度に関連し、および/または
前記複屈折結晶の深さが、(i)前記第1のフォトダイオードの中心と前記第2のフォトダイオードの中心との間の距離、ならびに(ii)前記異常光線成分および前記常光線成分の光の波長に基づく、請求項3に記載の装置。
【請求項5】
前記半導体基板は、前記第1の軸に沿って前記第1のフォトダイオードと前記第2のフォトダイオードとの間に形成されるディープ・トレンチ・アイソレーション(DTI)を含み、
前記第1のフォトダイオードおよび前記第2のフォトダイオードは、画素セルを含む画素セルアレイの一部であり、
各画素セルは複数のフォトダイオードを含み、
前記半導体基板は、前記画素セルアレイの前記画素セル間に形成されたDTIを含む、
請求項1に記載の装置。
【請求項6】
前記複屈折結晶と前記半導体基板との間に挟まれた光吸収構造の層であって、前記第1のフォトダイオードおよび前記第2のフォトダイオードの各々の集光効率を高めるように構成された光吸収構造の層、および/または
前記第2の軸に沿って前記マイクロレンズと前記半導体基板との間に挟まれたカラーフィルタ、
をさらに含む、請求項1に記載の装置。
【請求項7】
前記第1のフォトダイオードおよび前記第2のフォトダイオードが、それぞれ、第1のサブ画素および第2のサブ画素の一部であり、
前記装置が、
前記第1のフォトダイオードの第1の出力に基づいて第1の画像フレームの第1の画素を生成し、
前記第2のフォトダイオードの第2の出力に基づいて第2の画像フレームの第2の画素を生成し、
前記第1の画素が前記第2の画素に対応する、
ように構成される、請求項1に記載の装置。
【請求項8】
画素セルのアレイを含む装置であって、各画素セルが、
半導体基板に形成された第1のフォトダイオードおよび第2のフォトダイオードであって、前記第1のフォトダイオードが第1の軸に沿って前記第2のフォトダイオードと隣り合って配置される、第1のフォトダイオードおよび第2のフォトダイオードと、
前記第1の軸に垂直な第2の軸に沿って前記第1のフォトダイオードおよび前記第2のフォトダイオードの上に配置された複屈折結晶と、
前記第2の軸に沿って前記複屈折結晶の上に配置されたマイクロレンズであって、非対称曲率を有し、前記非対称曲率の頂点が、前記第2の軸に沿って前記第1のフォトダイオードの上に配置される、マイクロレンズと、
を含む装置。
【請求項9】
前記非対称曲率が第1の非対称曲率であり、
前記画素セルのアレイの各画素セルが、第3のフォトダイオードおよび第4のフォトダイオードをさらに含み、
前記第1のフォトダイオード、前記第2のフォトダイオード、前記第3のフォトダイオード、および前記第4のフォトダイオードが、フォトダイオードの2×2アレイを形成し、
前記マイクロレンズが、前記第2の軸に沿って前記フォトダイオードの2×2アレイの上に配置され、
前記マイクロレンズが第3の軸に沿って第2の非対称曲率を有し、前記第1のフォトダイオードが前記第3の軸に沿って前記第3のフォトダイオードと隣り合って配置され、前記第3の軸が前記第1の軸および前記第2の軸の各々に垂直である、請求項8に記載の装置。
【請求項10】
前記画素セルのアレイの各画素セルの前記複屈折結晶の主面が互いに平行である、請求項8に記載の装置。
【請求項11】
前記画素セルのアレイの第1の画素セルの前記複屈折結晶の第1の主面が、第1の方向と平行であり、
前記画素セルのアレイの第2の画素セルの前記複屈折結晶の第2の主面が、第2の方向と平行であり、
前記第1の方向は前記第2の方向と垂直である、
請求項8に記載の装置。
【請求項12】
画像フレームを生成するために前記画素セルのアレイの出力を処理するように構成されたプロセッサと、
前記画像フレームに基づいてコンテンツを表示するように構成されたモバイルデバイスのディスプレイと、をさらに含み、任意選択で、
前記モバイルデバイスはヘッドマウントディスプレイ(HMD)を含む、請求項8に記載の装置。
【請求項13】
屈折光を生成するために、マイクロレンズを使用して入射光を屈折させることであって、
第1のフォトダイオードが、第1の軸に沿って半導体基板内の第2のフォトダイオードと隣り合って配置され、
前記マイクロレンズが第2の軸に沿って複屈折結晶の上に配置され、
前記第2の軸が前記第1の軸と直交し、
前記マイクロレンズが前記第1の軸に沿って非対称曲率を有し、前記非対称曲率の頂点が前記第2の軸に沿って前記第1のフォトダイオードの上に配置される、入射光を屈折させることと、
前記複屈折結晶を使用して、第1の光成分と第2の光成分とに前記屈折光を分離することであって、前記複屈折結晶が前記第2の軸に沿って前記第1のフォトダイオードおよび前記第2のフォトダイオードの上に配置される、前記屈折光を分離することと、
前記第1のフォトダイオードを使用して前記第1の光成分を検出することと、
前記第2のフォトダイオードを使用して前記第2の光成分を検出することと、
を含む方法。
【請求項14】
前記第1の光成分が第1の直線偏光であり、前記第2の光成分が前記第1の直線偏光に直交する第2の直線偏光である、請求項13に記載の方法。
【請求項15】
前記マイクロレンズが光学素子の一部であり、
前記方法が、光学素子のアレイを使用して画像フレームを生成することをさらに含み、および/または
前記第1のフォトダイオードを使用して前記第1の光成分を検出することが、前記複屈折結晶からの光の常光線成分を測定することを含み、
前記第2のフォトダイオードを使用して前記第2の光成分を検出することが、前記複屈折結晶からの光の異常光線成分を測定することを含む、
請求項13に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
関連出願の相互参照
本出願は、両方とも「POLARIMETRIC IMAGING CAMERA」という名称の、2020年11月4日に出願された米国仮出願第63/109,704号および2021年10月29日に出願された米国出願第17/514286号の利益を主張し、両方ともその全体が参照により本明細書に組み込まれる。
【0002】
偏光撮像は、識別が困難であり得る、または通常の単色、カラー、もしくは赤外線(IR)画像では単に見えない詳細を明らかにすることができるシーンの画像を生成することを可能にし、これは光の強度または波長特性のみに依存し得る。受信光の偏光に関する情報を抽出することにより、シーンからより多くの洞察を得ることができる可能性がある。たとえば、物体の偏光画像は、表面特徴、形状、陰影、および粗さなどの詳細を高いコントラストで明らかにすることができる。偏光撮像は、産業界において(たとえば、センサチップ上でワイヤグリッド偏光子を使用して)いくつかの実施態様を有するが、偏光撮像は、主に科学的環境において使用されており、高価で特殊な機器を必要としていた。そのような機器が利用可能である場合であっても、偏光撮像のための既存の技術は、時分割または空間分割画像キャプチャを含むことができ、これは、時間領域または空間領域のいずれかにおけるぼかしに関連付けることができる。偏光撮像のための改良されたシステムに対する大きな必要性が存在する。
【発明の概要】
【0003】
本発明の一態様では装置が提供され、装置は、第1のフォトダイオードおよび第2のフォトダイオードを含む半導体基板であって、第1のフォトダイオードが、第1の軸に沿って第2のフォトダイオードと隣り合って配置される、半導体基板と、第1の軸に垂直な第2の軸に沿って第1のフォトダイオードおよび第2のフォトダイオードの上に配置された複屈折結晶と、第2の軸に沿って複屈折結晶の上に配置されたマイクロレンズであって、第1の軸に沿って非対称曲率を有し、非対称曲率の頂点が、第2の軸に沿って第1のフォトダイオードの上に配置される、マイクロレンズと、を含む。
【0004】
マイクロレンズは、入射光を第2の軸に沿って第1のフォトダイオード上の複屈折結晶に集束させるように構成されてもよい。
【0005】
装置は、複屈折結晶と半導体基板との間に挟まれ、入射光の偏光状態を回転させるように構成された波長板をさらに含んでもよい。
【0006】
複屈折結晶は、入射光の常光線成分を第1の角度だけ屈折させように構成されてもよく、第1の角度が常光線成分に関連する第1の屈折率に基づき、常光線成分が複屈折結晶の主面に垂直な第1の電界を有し、入射光の異常光線成分を第2の角度だけ屈折させように構成されてもよく、第2の角度が異常光線成分に関連する第2の屈折率に基づき、異常光線成分が複屈折結晶の主面に平行な第2の電界を有し、第1のフォトダイオードは、常光線成分の強度を測定するように構成され、第2のフォトダイオードは、異常光線成分の強度を測定するように構成される。
【0007】
第2の角度は、第1の屈折率と、第2の屈折率と、複屈折結晶の光軸と複屈折結晶の表面法線との間の第3の角度と、に基づいて第1の角度に関連してもよい。
【0008】
複屈折結晶の深さは、(i)第1のフォトダイオードの中心と第2のフォトダイオードの中心との間の距離、ならびに(ii)異常光線成分および常光線成分の光の波長に基づいてもよい。
【0009】
半導体基板は、第1の軸に沿って第1のフォトダイオードと第2のフォトダイオードとの間に形成されるディープ・トレンチ・アイソレーション(DTI)を含んでもよく、第1のフォトダイオードおよび第2のフォトダイオードは、画素セルを含む画素セルアレイの一部であってもよく、各画素セルは複数のフォトダイオードを含んでもよく、半導体基板は、画素セルアレイの画素セル間に形成されたDTIを含んでもよい。
【0010】
装置は、複屈折結晶と半導体基板との間に挟まれた光吸収構造の層をさらに含んでもよく、光吸収構造の層は、第1のフォトダイオードおよび第2のフォトダイオードの各々の集光効率を高めるように構成される。
【0011】
装置は、第2の軸に沿ってマイクロレンズと半導体基板との間に挟まれたカラーフィルタをさらに含んでもよい。
【0012】
第1のフォトダイオードおよび第2のフォトダイオードは、それぞれ、第1のサブ画素および第2のサブ画素の一部であってもよく、装置は、第1のフォトダイオードの第1の出力に基づいて第1の画像フレームの第1の画素を生成し、第2のフォトダイオードの第2の出力に基づいて第2の画像フレームの第2の画素を生成し、第1の画素は第2の画素に対応する、ように構成されてもよい。
【0013】
本発明の一態様では画素セルのアレイを含む装置が提供され、各画素セルは、半導体基板に形成された第1のフォトダイオードおよび第2のフォトダイオードであって、第1のフォトダイオードが第1の軸に沿って第2のフォトダイオードと隣り合って配置される、第1のフォトダイオードおよび第2のフォトダイオードと、第1の軸に垂直な第2の軸に沿って第1のフォトダイオードおよび第2のフォトダイオードの上に配置された複屈折結晶と、第2の軸に沿って複屈折結晶の上に配置されたマイクロレンズであって、非対称曲率を有し、非対称曲率の頂点が、第2の軸に沿って第1のフォトダイオードの上に配置される、マイクロレンズと、を含む。
【0014】
非対称曲率は第1の非対称曲率であってもよく、画素セルのアレイの各画素セルは、第3のフォトダイオードおよび第4のフォトダイオードをさらに含んでもよく、第1のフォトダイオード、第2のフォトダイオード、第3のフォトダイオード、および第4のフォトダイオードは、フォトダイオードの2×2アレイを形成してもよく、マイクロレンズは、第2の軸に沿ってフォトダイオードの2×2アレイの上に配置されてもよく、マイクロレンズは第3の軸に沿って第2の非対称曲率を有してもよく、第1のフォトダイオードは第3の軸に沿って第3のフォトダイオードと隣り合って配置され、第3の軸は第1の軸および第2の軸の各々に垂直である。
【0015】
画素セルのアレイの各画素セルの複屈折結晶の主面は、互いに平行であってもよい。
【0016】
画素セルのアレイの第1の画素セルの複屈折結晶の第1の主面は、第1の方向と平行であってもよく、画素セルのアレイの第2の画素セルの複屈折結晶の第2の主面は、第2の方向と平行であってもよく、第1の方向は第2の方向と垂直であってもよい。
【0017】
装置は、画素セルのアレイの出力を処理して画像フレームを生成するように構成されたプロセッサと、画像フレームに基づいてコンテンツを表示するように構成されたモバイルデバイスのディスプレイと、をさらに含んでもよい。
【0018】
モバイルデバイスは、ヘッドマウントディスプレイ(HMD)を含んでもよい。
【0019】
本発明の一態様では方法が提供され、本方法は、屈折光を生成するために、マイクロレンズを使用して入射光を屈折させることであって、第1のフォトダイオードが、第1の軸に沿って半導体基板内の第2のフォトダイオードと隣り合って配置され、マイクロレンズが第2の軸に沿って複屈折結晶の上に配置され、第2の軸が第1の軸と直交し、マイクロレンズが第1の軸に沿って非対称曲率を有し、非対称曲率の頂点が第2の軸に沿って第1のフォトダイオードの上に配置される、入射光を屈折させることと、複屈折結晶を使用して、第1の光成分と第2の光成分とに屈折光を分離することであって、複屈折結晶が第2の軸に沿って第1のフォトダイオードおよび第2のフォトダイオードの上に配置される、屈折光を分離することと、第1のフォトダイオードを使用して第1の光成分を検出することと、第2のフォトダイオードを使用して第2の光成分を検出することと、を含む。
【0020】
第1の光成分は第1の直線偏光であってもよく、第2の光成分は第1の直線偏光に直交する第2の直線偏光であってもよい。
【0021】
マイクロレンズは光学素子の一部であってもよく、本方法は、光学素子のアレイを使用して画像フレームを生成することをさらに含んでもよい。
【0022】
第1のフォトダイオードを使用して第1の光成分を検出することは、複屈折結晶からの光の常光線成分を測定することを含んでもよく、第2のフォトダイオードを使用して第2の光成分を検出することは、複屈折結晶からの光の異常光線成分を測定することを含んでもよい。
【0023】
以下の図を参照しながら、例示的な例が説明される。
【図面の簡単な説明】
【0024】
【
図2】異なる表面から反射する光に対する偏光子の効果の例を示す図である。
【
図3】異なる表面から反射する光に対する偏光子の効果の例を示す図である。
【
図4】光の異なる特性に基づいて捕捉または計算された画像の例を示す図である。
【
図5B】4×1の直線偏光子アレイの一例を示す図である。
【
図6A】偏光子としての複屈折材料の一例を示す図である。
【
図6B】偏光子としての複屈折材料の一例を示す図である。
【
図7A】偏光の測定を実行することができる画像センサ700のセンサコントローラレイアウトの一実施形態を示す図である。
【
図7B】偏光の測定を実行することができる画像センサのためのセンサ光学レイアウトの一実施形態を示す図である。
【
図7C】1つの露光期間中に画像センサから生成される複数の画像フレーム間の関係を示す図である。
【
図8C】マイクロレンズを使用して光を集束させる画素セルの一実施形態の側面図である。
【
図8D】複屈折結晶の深さが入射光の光学部品の横方向分離にどのように影響するかを示す画素セルの一実施形態の側面図である。
【
図9A】マイクロレンズの頂部および平坦部分の位置を示す画素セルの実施形態の上面図である。
【
図9B】1つまたは複数の平坦部分を有するマイクロレンズを有する画素セルの一実施形態の側面図である。
【
図9C】画素セルの例示的なアレイを示す図である。
【
図10】開示された技術にかかる、1つまたは複数の偏光センサアレイを含むことができるモバイルデバイスの一例を示す図である。
【
図11】
図10のモバイルデバイスの主要な構成要素のうちのいくつかの内部ビューを示すブロック図である。
【
図12】偏光を検出するためのプロセスの一実施形態のフローチャートを示す図である。
【発明を実施するための形態】
【0025】
図は、単に例示の目的で本開示の例を図示する。本開示の原理または本開示においてうたわれている利益から逸脱することなく、示される構造および方法の代替例が採用され得ることを、当業者は以下の説明から容易に認識されよう。
【0026】
添付の図においては、同様の構成要素どうしおよび/または機能どうしが、同じ参照ラベルを有する場合がある。さらに、ダッシュと、同様の構成要素どうしの間を区別する第2のラベルとを参照ラベルの後に付けることによって、同じタイプの様々な構成要素が区別される場合がある。本明細書において第1の参照ラベルのみが使用されている場合には、その記述は、第2の参照ラベルとは関わりなく、同じ第1の参照ラベルを有する同様の構成要素のうちのいずれの構成要素にも適用可能である。
【0027】
光の偏光
図1は、Z軸に沿って進む電磁波としての光の異なるタイプの偏光を示す。電磁波は電界と磁界の両方の同期振動を含むが、
図1は説明を容易にするために電界のみを示す。電界に垂直な配向を有する磁界が存在すると理解される。グラフ100は、X軸に沿った振動を伴う「水平」偏光電磁波の伝播を示す。水平偏光は、
と表すことができる。グラフ102は、Y軸に沿って振動する「垂直」偏光電磁波を示す。垂直偏光は、
と表すことができる。
【0028】
さらに、グラフ104は、電界の水平成分
108と電界の垂直成分
110との組合せとして表される直線偏光電磁界106を示し、2つの電界間に位相オフセットはない。このような直線偏光電磁波は、
と表すことができる。説明を容易にするために、電界の水平成分および垂直成分の大きさは等しく示されており、すなわちE
x=E
yであり、その結果、X軸とY軸との間の45度の線に沿って振動する直線偏光をもたらす。電界の水平成分および垂直成分の大きさが等しくない場合、結果として得られる直線偏光電磁界106は、X軸およびY軸に対するarctan(E
y/E
x)の角度を形成する線に沿って振動する。
【0029】
さらに、グラフ120は、電界106の水平成分と電界110の垂直成分との組合せとして表される円偏光電磁界122を示し、電界の2つの成分間に90度の位相オフセットがある。円偏光電磁界122は、
と表すことができる。
【0030】
より一般的に言えば、異なる位相オフセットが適用されると楕円偏光電磁波が生成される。実際、正確には、「楕円」偏光は、
と表される電磁波を記述するために使用される最も一般的な用語である。「直線」偏光は、φが0の値をとる楕円偏光の特殊なケースとして見ることができる。「円形」偏光は、φが90度の値をとる楕円偏光の特殊なケースとして見ることができる。
【0031】
図2および
図3は、異なる表面から反射する光に対する偏光子の効果の例を示す図である。これらの例では、観察者は、水面下に石が沈められた、水で満たされたバットを含むシーンを観察する。
図200では、水平に配向された直線偏光子がシーンと観察者との間に配置されている。シーンからの光は、観察者の目に到達するために偏光子を通過しなければならない。水平方向の直線偏光子は、フィルタとして作用し、水平偏光を透過させるが、垂直偏光を除去する。明るい日には、観察者がシーンから見るものは、石から反射する光および水面から反射する光(すなわち、グレア)を含むことができる。一般的に言えば、光が表面に当たると、反射光波はその表面の角度に一致するように偏光される。したがって、水の表面などの高反射水平面は、主に水平偏光の光を生成する。
図200が示すように、水平に配向された偏光子は、水面から出てくるグレア(水平偏光)を遮断するのにほとんど何もしない。グレアは非常に強いので、水面下に沈められた石から反射する光を観察者が見ることは困難である。
【0032】
図300では、同じ直線偏光子を90度回転させて、今度は垂直に向けている。垂直配向直線偏光子は、フィルタとして作用し、垂直偏光を透過させるが、水平偏光を除去する。垂直配向直線偏光子は、水面からのグレア(水平偏光)を遮断する。グレアが除去されると、観察者は、水面下に沈められた石から反射する光を見ることができる。言い換えれば、今は、石は観察者に見える。したがって、
図200および
図300は、偏光の向きに応じて、光を遮断および/または通過させる偏光子の動作を示している。
図200および
図300には直線偏光子のみが示されているが、円偏光子または楕円偏光子などの他のタイプの偏光子もまた、偏光に基づいて光をフィルタリングするように動作することができる。
【0033】
ストークスベクトル
光ビームの偏光状態を特徴付けるストークスベクトルSは、以下のように定義することができる。
【0034】
ストークスベクトルSは、強度ストークスパラメータS
0および3つの偏光ストークスパラメータS
1、S
2、およびS
3を含む4つの別個のストークスパラメータからなる。4つのストークスパラメータの各々は、6つの異なる偏光状態(SoP)を表す6つの異なる偏光強度値のうちの1つまたは複数の特定の組合せとして表すことができる。6つのSoP強度値は、(1)I
H、水平偏光方向に沿った(たとえば、
図1のX軸に沿った)光の強度、(2)I
V、垂直偏光方向に沿った(たとえば、
図1のY軸に沿った)光の強度、(3)I
+45、正の45度直線偏光に沿った光の強度、(4)I
-45、負の45度直線偏光に沿った光の強度、(5)I
RHC、右旋円偏光に沿った光の強度、および(6)I
LHC、左旋円偏光に沿った光の強度を含む。これらの6つの偏光強度値は、水平および垂直偏光軸に沿った光の電磁界の様々な複素振幅(およびそれらの複素共役)の乗算として表すことができる。I
H、I
V、I
+45、およびI
-45を含む最初の4つの偏光強度値は、4つの直線偏光子を使用して測定することができる。さらに、I
RHCおよびI
LHCを含む最後の2つの偏光強度値は、2つの円偏光子を使用して測定することができる。
【0035】
第1のストークスパラメータS0は、IH+IVとして表され、全体的な強度パラメータであり、光の総強度を表す。第2のストークスパラメータS1は、IH-IVとして表され、垂直偏光にわたる水平偏光に沿った光の強度の相対強度の尺度である。第3のストークスパラメータS2は、I+45-I-45として表され、負の45度直線偏光にわたる正の45度直線偏光に沿った光の強度の相対強度の尺度である。第4のストークスパラメータS3は、IRHC-ILHCとして表され、左旋円偏光に対する右旋円偏光に沿った光の強度の相対強度の尺度である。ストークスベクトルSおよび対応するストークスパラメータS0、S1、S2、およびS3の他の表現がある。使用されるフォーマットが何であれ、ストークスベクトルSは、光ビームの偏光状態を特徴付けるのに役立つ。
【0036】
偏光度の異なる尺度は、上述した様々なストークスパラメータの関数として表すことができる。全偏光度(DoP)は、以下のように表すことができる。
【0037】
式1において、DoPは、強度ストークスパラメータS0の大きさと比較した、3つすべての偏光ストークスパラメータS1、S2、およびS3を組み合わせた大きさの比を表すことができる。
【0038】
直線偏光度(DoP
L)は、以下のように表すことができる。
【0039】
式2において、DoPLは、強度ストークスパラメータS0の大きさに対する、2つの直線偏光ストークスパラメータS1およびS2を組み合わせた大きさの比を表す。
【0040】
円偏光度(DoP
C)は、以下のように表すことができる。
【0041】
式3において、DoPCは、強度ストークスパラメータS0の大きさに対する円偏光ストークスパラメータS3の大きさの比を表す。これらの3つの異なるタイプの「偏光度」は、問題の光ビームが偏光(DoP)、直線偏光(DoPL)、または円偏光(DoPC)される度合いを表す有用な尺度である。
【0042】
円偏光角(AoCP)は、以下のように表すことができる。
【0043】
図4は、光の異なる特性に基づいて取り込まれた画像400、402および404の例を示す。
図4において、画像400は、従来の赤-緑-青(RGB)画像を含むことができる。そのようなRGB画像は、画像400の画素の間の3つの波長範囲、すなわち、それぞれ赤、緑、および青の色に関連する波長範囲の各々における光の強度の分布を表すことができる。したがって、RGB画像は、シーンから受信した光の強度および波長特性に基づく画像である。
【0044】
さらに、画像402は、画像402の画素間の直線偏光度(DOLP)画像の分布を表すことができる。ここで、直線偏光度は、以下のように表される。
【0045】
式5において、DOLPは、第2のストークスパラメータS
1および第3のストークスパラメータS
2を含む。なお、式5は、式2の直線偏光度(DoP
L)とは若干異なる。それにもかかわらず、DOLP表現は、シーンから受信した光が直線偏光される程度の表現を提供する。画像404において、各画素の値は、その画素に関連する光のDOLP値を測定することができる。DOLPなどの偏光度の尺度は、光の反射に関する情報を抽出するのに特に有用である。たとえば、
図4に示すように、画像402は、目の瞳孔領域(高反射性である)についての高いDOLP値、ならびに目の表面上に見られるディスプレイの反射についての高いDOLP値を含むことができる。
【0046】
画像404は、直線偏光角(AOLP)画像を含むことができる。ここで、直線偏光角は、以下のように表される。
AOPL=arctan(S2/S1)(式6)
【0047】
直線偏光の角度の尺度は、目の形状情報を計算するのに有用である(たとえば、さらなる計算アルゴリズムを使用して、目の球面形状を計算する)。RGB画像400、DOLP画像402、およびAOLP画像404は、光の偏光の様々な測定値がシーンに関する様々なタイプの情報をどのように明らかにすることができるかの例を示す。
【0048】
偏光成分の抽出
DOLP画像402およびAOLP画像404を得るために、画像センサは、入射光の非偏光成分から直線偏光成分を分離するための偏光子を含むことができる。画像センサはまた、直線偏光成分の強度の空間分布を取得してストークスパラメータS1およびS2を取得し、式4および式5に基づいてDOLPおよび/またはAOLP画素値を生成するために、複数の光検出素子(たとえば、フォトダイオード)を含むことができる。偏光子は、たとえば、水平偏光を抽出して強度値IHを得ることができ、垂直偏光を抽出して強度値IVを得ることができ、45度の直線偏光を有する光を抽出して強度値I+45およびI-45を得ることができる。
【0049】
偏光子は、様々な技術を使用して実施することができる。1つの例示的な技術は、ワイヤグリッドに平行な偏光成分を反射/吸収しながら、ワイヤグリッドに直交する偏光成分を透過させることができる所定の配向を有するワイヤグリッドを使用することである。
図5Aは、ワイヤグリッド偏光子500の一例を示し、ワイヤグリッド偏光子は、ワイヤグリッドを形成する垂直軸(たとえば、Y軸)に沿って整列した金属ストリップ502などの平行な金属ストリップのアレイを含む。ワイヤグリッド偏光子500は、入射光505の水平偏光成分504を透過し、垂直偏光成分506を反射/吸収することができる。ワイヤグリッド偏光子500の平行な金属ストリップのアレイが水平軸(たとえば、X軸)に沿って整列している場合、ワイヤグリッド偏光子500は、水平偏光成分504を反射/吸収しながら、垂直偏光成分506を透過することができる。結果として、ワイヤグリッド偏光子500の金属ストリップのアレイの配向は、ワイヤグリッド偏光子を通過することができる偏光の偏光方向(たとえば、偏光状態)を制御することができる。
【0050】
画像センサは、強度測定のために異なる偏光方向(たとえば、水平偏光、垂直偏光、および、45度および135度の直線偏光の光)の光を分離するために、各々が異なる配向を有する複数のワイヤグリッド偏光子を含むことができる。たとえば、
図5Bを参照すると、画像センサは、X軸と平行なワイヤグリッド偏光子510、Y軸と平行なワイヤグリッド偏光子512、ならびにX軸またはY軸と45度の角度を形成するワイヤグリッド偏光子514および516を含むことができる。ワイヤグリッド偏光子510および512は、それぞれ、水平偏光および垂直偏光の光を通過させることができ、一方、ワイヤグリッド偏光子514および516は、それぞれ、45度および135度の直線偏光の光を通過させることができる。
【0051】
図5Aおよび
図5Bのワイヤグリッド偏光子は、特定の偏光方向の光を選択的に透過させることによって異なる直線偏光成分を分離することができるが、他の偏光方向の光はワイヤグリッド偏光子によって吸収または反射される。そのような構成は、画像センサによって受光される光の総パワーを減少させ、画像センサの性能を低下させる可能性がある。たとえば、受信光パワーの減少に起因して、画像センサの信号対雑音比も減少し得る。これにより、特に周囲光が低い環境において、撮像動作がノイズの影響を受けやすくなる。
【0052】
偏光子を実現する別の例示的な技術は、複屈折結晶を使用することである。複屈折は、一般に、光の偏光および伝播方向に依存する屈折率を有する材料の光学特性を指す。複屈折性に基づいて、複屈折結晶は、偏光成分の直交状態を異なる屈折角で屈折させ、2つの光成分を画像センサの異なる光検出素子に投射することができる。画像センサは依然として入射光の全パワーを受け取ることができるので、画像センサの信号対雑音比を維持することができる。
【0053】
式7は、媒体の誘電率テンソルを示し、これは、以下の式に従って、電界Eと媒体内を伝搬する光の変位ベクトルDとを関連付ける。
【0054】
図6Aおよび
図6Bは、偏光子としての複屈折材料(たとえば、複屈折性結晶)の2つの例を示す。媒質が等方性(たとえば、自由空間)である場合、媒質の誘電率は全方向で均一である。そのような場合、誘電率テンソル600は単一のスケーラ値εになり得る。このような場合、電界Eの方向と変位ベクトルDとは平行になる。しかし、異方性媒体では、誘電率は均一ではなく、異なる方向に異なる値を有することができ、誘電率は誘電率テンソル600によって表すことができる。
【0055】
図6Aは、光が自由空間と異方性媒体602との間を進むときの光の電界Eおよび変位ベクトルDを示す。自由空間において、電界Eの方向と変位ベクトルDは平行である。その結果、波面606に垂直な波法線方向604と、エネルギーの流れの方向である光線方向608とが平行になる。しかし、光が異方性媒体602内を進むとき、電界Eと変位ベクトルDとの間の関係は誘電率テンソル600によって定義され、電界Eは変位ベクトルDと平行ではない。その結果、異方性媒体602内の波法線方向604および光線方向608も非平行になる。波面606が異方性媒体602を通って移動するにつれて、それは光線方向608に連続的に変位する。変位は、結晶であり得る異方性媒体602の対称軸に対する電界Eを表すeベクトルの向きに依存する。
【0056】
いくつかの例では、異方性媒体602は、DおよびEが平行である光軸610などの一方の軸を有する単軸結晶を含むことができる。単軸結晶の例としては、カルサイトおよびルチルが挙げられる。
図6Bを参照すると、光がそのような結晶を通って進むとき、
図6Aの光軸610を含む結晶の主面内で振動する電界を有する第1の光成分は、屈折率n
eに従って屈折させることができる。第1の成分は、波法線方向604に対して斜めの光線方向612に沿って進むことができる。第1の光成分は、異常光線614であり得る。電界が主面に対して垂直に振動する第2の光成分は屈折率n
oに従って屈折することができ、光線方向は波法線方向604と平行である。第2の光成分は、常光線616であり得る。
【0057】
図6Bを参照すると、異常光線614および常光線616の光線方向は、以下の式に従って角度θだけ分離することができる。
【0058】
式8において、neは異常光線に対する屈折率であり、noは通常光線に対する屈折率であり、一方、φは光軸(たとえば、光軸610)と結晶の表面法線との間の角度であり、これは結晶カットに依存する。常光線と異常光線との間の分離を最大にするために、光軸が表面法線に対して45°に配向するように結晶を切断することができる。
【0059】
異常光線614および常光線616の電界の方向は互いに垂直であるため、異常光線614および常光線616は完全に直線偏光され得る。常光線および異常光線の相対強度は、主面に対する入射放射の直線偏光の向きを反映することができる。たとえば、入射光が、主面に平行な電界を有する直線偏光のみであれば、すべての入射光が異常光線として結晶を透過することができる。一方、入射光が主面に垂直な電界を有する直線偏光のみであれば、すべての入射光が常光線として結晶を透過することができる。したがって、複屈折の性質を利用して、異なる偏光方向の直交直線偏光を分離して画像センサの異なる光検出素子に投影することができ、直交直線偏光成分を入射光線の組成とすることができる。
【0060】
画像センサの一例
図7Aは、偏光ならびに他の特性を有する光の測定を実行することができる画像センサ700のためのセンサコントローラレイアウトの実施形態を示す。
図7に示すように、画像センサ700は、画素セル702aを含む画素セル702のアレイを含むことができる。
図7は単一の画素セル702のみを示しているが、実際の画素セルアレイ702は多くの画素セルを含むことができることが理解される。
【0061】
画素セル702aは、たとえば、フォトダイオード712a、712b、712c、712dを含む複数のフォトダイオード712と、1つまたは複数の電荷検出ユニット714と、1つまたは複数のアナログデジタル変換器716とを含むことができる。複数のフォトダイオード712は、入射光の異なる成分を電荷に変換することができる。各成分は、たとえば、偏光方向が異なる直交直線偏光、周波数範囲が異なる光成分等を含み得る。たとえば、フォトダイオード712a~712dは、主面に平行な電界を有する直線偏光、主面に垂直な電界を有する直線偏光、および主面から45度の電界を有する偏光のそれぞれの強度を検出し得る。別の例として、フォトダイオード712aおよび712bは、異なる2つの偏光方向の直交する2つの直線偏光の強度を検出することができ、フォトダイオード712cは、無偏光の可視光の強度を検出することができ、フォトダイオード712dは、赤外光の強度を検出することができる。1つまたは複数の電荷検出ユニット714の各々は、電荷蓄積デバイスと、フォトダイオード712a~712dによって生成された電荷を電圧に変換するためのバッファと、を含むことができ、電圧は1つまたは複数のADC716によってデジタル値に量子化することができる。
図7Aは、画素セル702aが4つのフォトダイオードを含むことを示しているが、画素セルは異なる数のフォトダイオード(たとえば、2、3など)を含むことができることが理解される。
【0062】
いくつかの例では、画像センサ700はまた、照明器722、光学素子724のアレイ、撮像モジュール728、および検出コントローラ740を含むことができる。照明器722は、3D検出のために近赤外光を投射することができるレーザ、発光ダイオード(LED)などの近赤外照明器であってもよい。投影された光は、たとえば、構造化光、偏光、光パルスなどを含むことができる。光学素子724のアレイは、画素セル702aを含む各画素セルの複数のフォトダイオード712a~712d上に重ねられた光学素子を含むことができる。光学素子は、画素セル内のフォトダイオード712a~712dの各々によって受光される光の偏光/波長特性を選択することができる。
【0063】
さらに、画像センサ700は、撮像モジュール728をさらに含む。撮像モジュール728は、2次元撮像動作を実行するための2次元撮像モジュール732と、3次元撮像動作を実行するための3次元撮像モジュール734とをさらに含むことができる。2次元撮像モジュール732は、RGB撮像モジュール732aおよび偏光撮像モジュール732bをさらに含むことができる。動作は、ADC616によって提供されるデジタル値に基づくことができる。一例では、偏光撮像モジュール732bは、フォトダイオード712a~712dの各々からのデジタル値に基づいて、強度値IH、IV、I+45およびI-45などの偏光測定情報を取得して、ストークスパラメータS1およびS2を決定し、次いで、式4および式5に基づいてDOPおよび/またはAOP画素値を生成することができる。別の例では、RGB撮像モジュール732aは、各画素セルからのフォトダイオード712cからの可視入射光(偏光および無偏光を含むことができる)の強度値を決定し、その画素のRGB画素値を生成することもできる。さらに、3次元撮像モジュール734は、フォトダイオード712dからのデジタル値に基づいて3次元画像を生成することができる。画像センサ700は、物体の2次元および3次元撮像を実行するように画像センサ700の異なる構成要素を制御するための検出コントローラ740をさらに含む。
【0064】
図7Bは、画像センサ700のセンサ光学レイアウトを示す。
図7Bに示すように、画像センサ700は、カメラレンズ750と、画素セル702aを含む2次元画素セルアレイ702とをさらに含む。画素セル702aは、スーパー画素として構成することができる。ここで、各「スーパー画素」は、近接する(すなわち、隣り合っている)サブ画素のNxMアレイを含むことができるセンサデバイスを指し、各サブ画素は、特定の波長の光のエネルギーを信号に変換するためのフォトダイオードを有する。
図7Bには、
図7Aのフォトダイオード712a、712b、712c、および712dをそれぞれ含むサブ画素S0、S1、S2、およびS3が示されている。
【0065】
光学素子724のアレイの一部とすることができるマイクロレンズ752などの共有光学素子は、シーンとフォトダイオード712a、712b、712c、および712dとの間に配置することができる。いくつかの例では、各スーパー画素は、それ自体のマイクロレンズを有してもよい。マイクロレンズ752は、カメラレンズ706よりもサイズが大幅に小さくてもよく、これは、画像フレーム全体の光を蓄積し、画素セルアレイ702に向ける役割を果たす。マイクロレンズ752は、フォトダイオード712a、712b、712c、および712dの間で共有されるという意味で「共有」光学素子である。マイクロレンズ752は、シーン内の特定の位置からの光をフォトダイオード712a~712dに導く。このようにして、スーパー画素のサブ画素は、シーンの同じスポットからの光を同時にサンプリングすることができ、各サブ画素は、画像フレーム内の対応する画素値を生成することができる。いくつかの例では、マイクロレンズ752は、複数の画素上に配置され、複数の画素によって共有されることもできる。画素セルアレイ702上には、カメラレンズ750と画素セルアレイ702のフォトダイオードとの間にあるマイクロレンズ752のアレイが存在することができる。
【0066】
図7Cは、いくつかの実施形態による、一露光期間中に画像センサ700から生成される4つの画像フレーム間の関係を示す。一露光期間には、画素セルアレイ702で検出された光により、画像フレーム760a、760b、760c、760dが生成される。
図7Bにおける画素セル702aによって検出される光は、画素762a、762b、762c、および762dにおいて使用される。たとえば、画素762aには、フォトダイオード712aにより検出された光が用いられ、画素762bには、フォトダイオード712bにより検出された光が用いられ、画素セル762cには、フォトダイオード712cにより検出された光が用いられ、画素762dには、フォトダイオード712dにより検出された光が用いられる。画素762a、762b、762c、および762dは、画像フレーム760a~760d内の同じ相対位置を有する。したがって、画素セルアレイ702のスーパー画素セルごとにNxM個のフォトダイオードがあるので、NxM個の画像フレーム760を画素セルアレイ702の各露光から生成することができる。
【0067】
図8A~
図8Dは、
図7Bの画素セル702aなどの画素セルの一実施形態の追加の構成要素を示す。
図8Aは、画素セルの一実施形態の側面図である。
図8Bは、画素セルの一実施形態の上面図である。
図8Cは、マイクロレンズを使用して光を集束させる画素セルの一実施形態の側面図である。
図8Dは、複屈折結晶の深さが入射光の光学部品の横方向分離にどのように影響するかを示す画素セルの一実施形態の側面図である。
【0068】
図8Aに示すように、画素セルは、多層半導体センサデバイス800として実装することができる。
図8Aに示す向きでは、受信光802は、画素セルの上部からマイクロレンズ752およびZ軸に沿った様々な層を通って進み、センサデバイスの底部に位置する複数のサブ画素に到達する。多層半導体センサデバイス800は、マイクロレンズ最上層804を含むマイクロレンズ752、マイクロレンズ下層806、酸化物層808、複屈折結晶810、サブ画素812aおよび812bを含むサブ画素層812を含む複数の層を含む。いくつかの例では、サブ画素層812は、ディープ・トレンチ・アイソレーション(DTI)822などの1つまたは複数のシリコンベースの絶縁構造を含むことができる。マイクロレンズ下層806は任意であり得る。いくつかの例では、センサデバイス800は、サブ画素812aおよび812bに入るために異なる波長の光を選択するために、マイクロレンズ下層806と複屈折結晶810との間にフィルタ(図示せず)を含むことができる。任意選択的に、センサデバイス800は、サブ画素812aおよび812bの集光効率を高めるために、吸収構造813(たとえば、813aおよび813b)の層を含むことができる。吸収構造813は、たとえば、逆ピラミッド構造を含むことができる。DTI822と共に、吸収構造813は、シリコン内の有効光移動距離を増加させ、サブ画素812aおよび812bによる光吸収を増強するために、全内部反射によってサブ画素812aおよび812b内に光エネルギーを捕捉することができる。
【0069】
複屈折結晶810は、光802における異なる偏光方向の直交直線偏光成分を分離し、サブ画素812a、812bに投影することができる。具体的には、光802が複屈折結晶810に入射することにより、光802の常光線成分814は、屈折率noに応じて複屈折結晶810によって屈折され、光802の異常光線成分816は、屈折率neに応じて複屈折結晶810によって屈折され得る。これにより、上記式8に基づいて、2つの光線成分の伝搬方向を角度θだけ分離することができる。常光線成分814は、サブ画素812bに伝播し、サブ画素812bによって測定されることができるのに対して、異常光線成分816は、サブ画素812aに伝播し、サブ画素によって測定されることができる。このような配置により、サブ画素812aおよびサブ画素812bは、直交直線偏光の強度を測定して、強度IHおよびIVの測定値を提供することができる。
【0070】
いくつかの例では、画素セル702aは、複屈折結晶810とサブ画素層812との間に挟まれた波長板819を含むことができる。波長板819は、光線成分814または816のうちの一方から直線偏光の状態を回転させることができる半波リターダとして作用することができ、これは、サブ画素812aおよび812bによって測定されて、新しい直線偏光状態で新しい強度の測定値を提供することができる。
【0071】
また、画素セル702aは、クロストークを低減するための絶縁構造を含んでいてもよい。たとえば、複屈折結晶810は、画素セル間のクロストークを低減するために、光が隣り合った画素セルの別の複屈折結晶810に伝播するのを防止するために、裏面金属化(BSM)構造820などの1つまたは複数の金属ベースの絶縁構造を含むことができる。BSM構造は、望ましくない反射を回避するために吸収性金属材料を含むことができる。さらに、ディープ・トレンチ・アイソレーション(DTI)822は、サブ画素間のクロストークを低減するために、異なる偏光成分814および816がサブ画素812aおよび812b間を伝搬するのを防止することができる。DTI822は、吸収構造813と共に、入射光の内部全反射を引き起こして、シリコン内の有効光移動距離を増加させ、サブ画素812aおよび812bによる光吸収を高めることもできる。いくつかの例では、望ましくない光反射を低減するために、反射防止コーティングをDTIに適用することができる。
【0072】
いくつかの例では、サブ画素間のクロストークをさらに低減するために、マイクロレンズ最上層804は、それらの目標サブ画素への異なる偏光成分の伝播を容易にするように成形することができる。
図8Aおよび
図8Bは、マイクロレンズ最上層804のさらなる詳細を示す。
図8Bは、サブ画素812aおよび812bを含む半導体センサデバイス800の上面図を示す。
図8Aおよび
図8Bを参照すると、マイクロレンズ最上層804は、頂点830において光軸832に垂直なマイクロレンズ最上層804の曲率の頂点830がサブ画素812b上に重なるように、非対称曲率を有することができる。
【0073】
マイクロレンズ最上層804の非対称曲率は、光802を、頂点830の真下およびサブ画素812bの上の点840に向かって導く/集束させることができる。そのような配置は、常光線成分814および異常光線成分816を意図されたサブ画素(それぞれサブ画素812bおよび812a)に集束させる一方で、これらの光線成分を意図されていないサブ画素からそらすことができる。
図8Cは、半導体センサデバイス800内の光802およびその偏光成分の伝播を示す。
図8Cに示すように、マイクロレンズ最上層804は、点840で複屈折結晶810に入るように光802a、802b、および802cを導くことができる。光802bは、マイクロレンズ最上層804の曲率に垂直であり、頂点830でマイクロレンズ最上層804に入ることができる。その結果、光802bは屈折せず、マイクロレンズ最上層804を出た後に直進する。また、光802bは、垂直な入射角で複屈折結晶810にも入射し、複屈折結晶810は、常光線成分814bと光802bの異常光線成分816aとを分離することができる。また、光802bの常光線成分814bは、サブ画素812aに伝搬する代わりに、複屈折結晶810を直進してサブ画素812bに入射することができる。一方、異常光線成分816bは、常光線成分814bから、サブ画素812bではなくサブ画素812aに向かって、上記の式8に基づいて角度θを形成する方向に伝播することができる。また、光802a、802cは、複屈折結晶810に対して異なる角度で入射し、これらの光の常光線成分814a、814cは、サブ画素812aに伝搬する代わりに、屈折率n
oに基づきスネルの法則に従って、サブ画素812bに向かって(意図したように)複屈折結晶810により屈折させることができる。光802aおよび802cの異常光線成分816aおよび816cはまた、それぞれ常光線成分814aおよび814cから角度θでサブ画素812aに向かって伝播する。
【0074】
図8Dを参照すると、複屈折結晶810の深さ(Hによって表される)は、それぞれサブ画素812bおよび812aにおける常光線成分814および異常光線成分816の入射点間の所望の横方向分離距離(ウォークオフ距離としても知られる)pに基づくことができる。具体的には、ウォークオフ距離pと、複屈折結晶810の深さHと、屈折角θとは、以下の式に基づいて関連付けることができる。
p=H tan(θ)(式9)
【0075】
ウォークオフ距離pは、たとえば、サブ画素のピッチ、サブ画素の2つの中心点間の間隔などに基づいて決定することができる。屈折角θは、式8(以下に再現される)ならびにn
e(異常光線の屈折率)、n
o(常光線の屈折率)、およびφ(光軸と結晶の表面法線との間)に基づいて決定することができる。
【0076】
屈折率noおよびneは、以下のように、セルマイヤー式に従って光802の波長に基づいて決定することができる。
no
2=2.69705+0.0192064/(λ2-0.01820)-0.0151624λ2(式10)
ne
2=2.18438+0.0087309/(λ2-0.01018)-0.0024411λ2(式11)
【0077】
以下の表は、異なる波長に対する異なる屈折率n
oおよびn
eを記載している。
【0078】
グラフ850は、深さ(H)と屈折角(シータθ)との異なる組合せに対するウォークオフ距離p(0から1.8umの間)の分布を示す。たとえば、1.8umのウォークオフ距離pは、10umの深さHおよび10°の屈折角θで達成することができる。
【0079】
デバイス800の複数の層およびその中に製造されるデバイスは、リソグラフィ、エッチング、堆積、化学機械平坦化、酸化、イオン注入、拡散などのような1つまたは複数の半導体処理技術を使用して共通の半導体ダイ上に構築される(たとえば、フォトダイオードが半導体基板内に形成される)。これは、層を別個の構成要素として構築し、次いで構成要素を位置合わせしてスタックに組み立てることとは対照的である。このような位置合わせおよび組み立ては、特にセンサデバイスの物理的寸法が1桁マイクロメートルの規模に縮小されるため、著しい精度および製造欠陥の問題を引き起こす可能性がある。多層半導体センサデバイス800としてのスーパー画素の設計は、半導体製造技術によって制御されるように、サブ画素、波長フィルタ、複屈折結晶、およびマイクロレンズなどの構成要素を正確に位置合わせすることを可能にし、マイクロアセンブリに関連し得る位置ずれおよび不正確さの問題を回避する。
【0080】
図9A、
図9B、および
図9Cは、いくつかの実施形態による、画素セルのさらなる例を示す。
図9Aは、マイクロレンズの頂部および平坦部分の位置を示す画素セルの実施形態の上面図である。
図9Bは、1つまたは複数の平坦部分を有するマイクロレンズを有する画素セルの一実施形態の側面図である。
【0081】
図9Aでは、画素セル900は、2つのサブ画素812aおよび812bを含むことができ、マイクロレンズ902は、
図8Cに示すように、サブ画素812bの真上の点で複屈折結晶810に入るように光を導くために、X軸に沿って非対称曲率、およびサブ画素812bの上の頂点904を有することができる。
【0082】
さらに、画素セル910は、4つのサブ画素812a、812b、812c、および812dを含むことができる。画素セル910上のマイクロレンズ912はまた、非対称曲率を有することができる。そのような例では、マイクロレンズ912は、Y軸に沿って非対称曲率を有することもできる。
図9Bは、Y軸から見た画素セル910の断面図を示し、サブ画素812dはサブ画素812bと隣り合っている。
図9Bに示すように、非対称曲率を有するマイクロレンズ最上層804は、サブ画素812bと812dとの間を分離するDTI822上ではなく、サブ画素812b(たとえば、サブ画素812bの中心上)上の点940で複屈折結晶810に入るように光922a、922b、および922cを導くことができる。
図8Cにおけるように、これは、光922a、922b、および922cのそれぞれの異常成分926a、926b、および926cがサブ画素812dに入ることを可能にする一方で、光922a、922b、および922cのそれぞれの常光線成分924a、924b、および924cがサブ画素812bに入ることができる。いくつかの例では、マイクロレンズ最上層804は、最上層の他の部分と比較して曲率が低減された平坦部分950を有する円筒形状を有することができる。
図8Cにおけるように、画素セル910は、クロストークを低減するために、サブ画素812bとサブ画素812dとの間、および画素間にDTI構造822を有することができる。
【0083】
図9Cは、画素セル900および902の例示的なアレイを示す。たとえば、画素セル900のアレイ内の各画素セルは、各画素セル900のサブ画素812bが主面920/Y軸に垂直なE界を有する常光線成分を測定することができ、各画素セル900のサブ画素812aが主面920に平行なE界を有する異常光線成分を測定することができるように、主面920の同じ向き(たとえば、Y軸と平行である)を有することができる。別の例として、画素セル902のアレイにおいて、画素セル902は、主面920の異なる向きを有することができる。たとえば、画素セル902a、902dの主面920をY軸と整列させ、画素セル902b、902cの主面920をX軸と整列させることができる。これにより、画素セル902a、902dのサブ画素812b、812dは、Y軸に垂直なE場を有する常光線成分を測定することができ、画素セル902b、902cのサブ画素812b、812dは、X軸に垂直(かつY軸に平行)なE場を有する異常光線成分を測定することができる。
【0084】
図9Aおよび
図9Bには示されていないが、軸上および軸外の場合に最良の変調伝達関数(MTF)/分解能を得るために、画素サイズを画素セルアレイにわたって変えることができることが理解される。さらに、いくつかの例では、画素セルのいくつかは、偏光およびカラービジョンの両方のためのカラーフィルタを含むことができる。
【0085】
デバイスコンテキストおよびハードウェア
図10は、スーパー画素およびサブ画素で構成されたユニットセルを含むものなど、本開示に記載された1つまたは複数の偏光センサアレイが展開され得るモバイルデバイス1000を提示する。いくつかの例では、モバイルデバイス1000は、ヘッドマウントディスプレイ(HMD)の形態であり得る。HMDは、単なる例示的な使用事例である。本開示の偏光センサアレイは、多種多様な他の状況で使用することができる。HMD1000によって提供される主な目的は、ユーザに媒体を提示することであってもよい。HMD1000によって提示される媒体の例は、1つまたは複数の画像、ビデオ、および/またはオーディオを含む。いくつかの例では、音声は、HMD1000、コンソール、またはその両方から音声情報を受信し、音声情報に基づいて音声データを提示する外部デバイス(たとえば、スピーカおよび/またはヘッドフォン)を介して提示される。HMD1000は、一般に、仮想現実(VR)ディスプレイとして動作するように構成される。いくつかの例では、HMD1000は、拡張現実(AR)ディスプレイおよび/または複合現実(MR)ディスプレイとして動作するように修正される。
【0086】
HMD1000は、フレーム1005およびディスプレイ1010を含む。フレーム1005は、1つまたは複数の光学素子に結合される。ディスプレイ1010は、ユーザがHMD1000によって提示されたコンテンツを見るために構成される。いくつかの例では、ディスプレイ1010は、1つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを含む。
【0087】
HMD1300は、画像センサ1020a、1020b、1020c、1020dをさらに含む。画像センサ1020a、1020b、1020c、および1020dの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成された画素セルアレイを含むことができる。そのような画像セルアレイは、本開示に記載の偏光センサアレイを組み込むことができる。たとえば、センサ1020aおよび1020bは、Z軸に沿った方向Aに向かって2つの視野を表す画像データを提供するように構成されてもよく、センサ1020cは、X軸に沿った方向Bに向かって視野を表す画像データを提供するように構成されてもよく、センサ1020dは、X軸に沿った方向Cに向かって視野を表す画像データを提供するように構成されてもよい。
【0088】
いくつかの例では、HMD1000は、物理的環境に光を投射するための1つまたは複数のアクティブ照明器1030をさらに含むことができる。投影された光は、異なる周波数スペクトル(たとえば、可視光、赤外光、紫外光など)に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器1030は、暗い環境(または、赤外光、紫外光などの強度が低い環境)に光を投影して、センサ1020a~1020dが暗い環境内の異なる物体の画像をキャプチャするのを支援し、たとえば、ユーザの位置追跡を可能にすることができる。照明器1030は、ロケーション追跡システムがマップ構築/更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。
【0089】
HMD1000は、内側に面する(たとえば、ユーザの目/瞳孔追跡のためのセンサ)センサ(たとえば、センサ1020と同様のセンサ)を含むことができる。
【0090】
図11は、HMD1000の主要構成要素のいくつかの内部ビューを示すブロック図を提示する。図示するように、HMD1000は、1つまたは複数のディスプレイ1110、センサ1120a~1120d、照明器1130、プロセッサ1140、およびメモリ1150などの構成要素を含むことができる。これらの構成要素は、1つまたは複数のネットワーキングまたはバスシステム1160を使用して相互接続することができる。プロセッサ1140は、プログラムされた命令を実行し、ディスプレイ1110、センサ1120a~1120dなどの他のコンポーネントの代わりに多種多様な計算タスクをサポートすることができる。
図11では単一のブロックとして示されているが、プロセッサ1140は、異なる位置に、かつ異なる構成要素内に分散されてもよい。たとえば、プロセッサ1140は、ストークスベクトルを推定するために偏光センサアレイに代わって計算を実行することができる。別の例として、プロセッサ1140は、推定ストークスベクトルに基づいてDOPおよびAOPなどの値を計算することができる。メモリ1150は、プロセッサ1140およびHMD1000の他の構成要素の動作をサポートするデータの揮発性または不揮発性記憶を提供するために、たとえばRAM、ROM、内部メモリなどの異なるタイプのメモリを構成することができる。
【0091】
例示的なプロセス
図12は、偏光を検出するためのプロセス1200の一実施形態のフローチャートを示す。プロセス1200は、ステップ1204において、マイクロレンズを使用して光を屈折させて屈折光を生成することから始まる。たとえば、
図8Aのマイクロレンズ752は、複屈折結晶810および/またはサブ画素層812に光を集束させるために使用される。第1のフォトダイオード(たとえば、サブ画素812b)は、第1の軸(たとえば、
図8Aのx軸)に沿って半導体基板(たとえば、サブ画素層812)である第2のフォトダイオード(たとえば、サブ画素812a)と隣り合って配置される。マイクロレンズは、第2の軸に沿って複屈折結晶の上に配置される(たとえば、マイクロレンズ752は、
図8Aのz軸に沿って複屈折結晶810の上に配置される)。第2の軸は、第1の軸と直交する。マイクロレンズは、第1の軸に沿って非対称曲率を有し、非対称曲率の頂点は、第2の軸に沿って第1のフォトダイオードの上に配置される(たとえば、頂点830は、
図8Aにおけるz軸に沿ってサブ画素812bの上にある)。
【0092】
ステップ1208において、マイクロレンズからの屈折光は、複屈折結晶を使用して第1の光成分と第2の光成分とに分離される。たとえば、光802の常光線成分814は、
図8Aにおける光802の異常光線成分816から分離される。複屈折結晶は、第2の軸に沿って第1のフォトダイオードおよび第2のフォトダイオードの上に位置している。たとえば、複屈折結晶810は、z軸に沿ってサブ画素812a、812bの上に位置している。
【0093】
ステップ1212において、第1のフォトダイオードを使用して第1の光成分が検出される。たとえば、サブ画素812bは、
図8Aにおける光802の常光線成分814を測定する。
【0094】
ステップ1216において、第2のフォトダイオードを使用して第2の光成分が検出される。たとえば、サブ画素812aは、
図8Aにおける光802の異常光線成分816を測定する。
【0095】
いくつかの実施形態では、第1の光成分は第1の直線偏光であり、第2の光成分は第2の直線偏光であり、第2の直線偏光は第1の直線偏光に直交し、マイクロレンズは光学素子の一部であり、本方法は、光学素子のアレイ(たとえば、
図7A~
図7Cに関連して説明したように)を使用して画像フレームを生成することをさらに含み、光を成分に分離することは、入射光の常光線成分を第1の角度だけ屈折させることであって、第1の角度が常光線成分に関連する第1の屈折率に基づき、常光線成分が複屈折結晶の主面に垂直な第1の電界を有することと、入射光の異常光線成分を第2の角度だけ屈折させることであって、第2の角度が異常光線成分に関連する第2の屈折率に基づき、異常光線成分が複屈折結晶の主面に平行な第2の電界を有することと、入射光を第2の軸に沿って第1のフォトダイオードの上の複屈折結晶上の入射点に集束させることと、複屈折結晶と半導体基板との間の波長板を使用して偏光を回転させることと、および/または第2の軸に沿ってマイクロレンズと半導体基板との間のフィルタを使用して光の色をフィルタリングすることと、を含む。
【0096】
開示される技法は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはそれらの何らかの組合せおよび/または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた(たとえば、現実世界の)コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る(観察者に3次元効果をもたらすステレオビデオなど)。さらに、いくつかの例では、人工現実はまた、たとえば、人工現実でコンテンツを作成するために使用される、および/または人工現実で使用される(たとえば、人工現実でアクティビティを行う)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、スタンドアロンHMD、モバイルデバイスまたはコンピューティングシステム、あるいは、1人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【0097】
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の例について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、算出量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、それはまた、一般性を失うことなく、動作のこれらの配置をモジュールとして参照するために、時には便利であることが証明されている。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および/またはハードウェアにおいて具現され得る。
【0098】
説明されるステップ、動作、またはプロセスは、1つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
【0099】
本開示の例はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および/あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、またはコンピュータシステムバスに結合され得る、電子命令を記憶することに適した任意のタイプの媒体に記憶される場合がある。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された算出能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
【0100】
本開示の例はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の例を含み得る。
【0101】
本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲は、この詳細な説明によって限定されることは意図されておらず、これに基づく出願に対して発行されるあらゆる特許請求によって限定されることが意図されている。したがって、例の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
【国際調査報告】