(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022106266
(43)【公開日】2022-07-19
(54)【発明の名称】イメージセンシング装置及び位相シフトホログラフィ法
(51)【国際特許分類】
H04N 5/369 20110101AFI20220711BHJP
H04N 9/07 20060101ALI20220711BHJP
【ＦＩ】
H04N5/369
H04N9/07 A
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021099960
(22)【出願日】2021-06-16
(31)【優先権主張番号】17/142,826
(32)【優先日】2021-01-06
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507296388
【氏名又は名称】采▲ぎょく▼科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＶｉｓＥｒａ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｏ．１２，Ｄｕｓｉｎｇ Ｒｄ．１， Ｈｓｉｎｃｈｕ Ｓｃｉｅｎｃｅ Ｐａｒｋ，Ｈｓｉｎ－Ｃｈｕ Ｃｉｔｙ，Ｔａｉｗａｎ
(74)【代理人】
【識別番号】110000486
【氏名又は名称】とこしえ特許業務法人
(72)【発明者】
【氏名】林 國峰
(72)【発明者】
【氏名】謝 錦全
【テーマコード（参考）】
5C024
5C065
【Ｆターム（参考）】
5C024EX52
5C024GX02
5C024GX14
5C024HX28
5C024HX29
5C024HX30
5C065AA06
5C065BB30
5C065CC01
5C065DD17
5C065EE05
5C065EE06
5C065GG21
5C065GG22
5C065GG23
(57)【要約】
【課題】 レンズのないイメージセンサを提供する。
【解決手段】 複数のユニットセル内に配置され、各前記ユニットセルは、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含む複数の光電素子を含み、各前記ユニットセル内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子は、ピラー構造で形成され、異なるサイズを有し、前記第１の光電素子は、第１の位相で第１の画像を撮像し、前記第２の光電素子は、第２の位相で第２の画像を撮像し、前記第３の光電素子は、第３の位相で第３の画像を撮像し、前記第４の光電素子は、第４の位相で第４の画像を撮像し、前記第１の位相、前記第２の位相、前記第３の位相、および前記第４の位相は異なるイメージセンシング装置。
【選択図】 図２Ａ
【特許請求の範囲】
【請求項1】
複数のユニットセル内に配置され、各前記ユニットセルは、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含む複数の光電素子を含み、
各前記ユニットセル内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子は、ピラー構造で形成され、異なるサイズであり、
前記第１の光電素子は、第１の位相で第１の画像を撮像し、前記第２の光電素子は、第２の位相で第２の画像を撮像し、前記第３の光電素子は、第３の位相で第３の画像を撮像し、前記第４の光電素子は、第４の位相で第４の画像を撮像し、
前記第１の位相、前記第２の位相、前記第３の位相、および前記第４の位相は異なるイメージセンシング装置。
各前記ユニットセル内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子は、ピラー構造で形成され、異なるサイズであり、
前記第１の光電素子は、第１の位相で第１の画像を撮像し、前記第２の光電素子は、第２の位相で第２の画像を撮像し、前記第３の光電素子は、第３の位相で第３の画像を撮像し、前記第４の光電素子は、第４の位相で第４の画像を撮像し、
前記第１の位相、前記第２の位相、前記第３の位相、および前記第４の位相は異なるイメージセンシング装置。
【請求項2】
前記ピラー構造、単結晶シリコン、多結晶シリコン（ポリシリコン）、アモルファスシリコン、Ｓｉ３Ｎ４、ＧａＰ、ＴｉＯ２、ＡｌＳｂ、ＡｌＡｓ、ＡｌＧａＡｓ、ＡｌＧａＩｎＰ、ＢＰ、ＺｎＧｅＰ２、のいずれか一つ、またはそれらの組み合わせたものを含むである請求項１に記載のイメージセンシング装置。
【請求項3】
各前記ユニットセルは、２×２アレイとして形成され、２×２アレイ内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の順序は固定されており、各前記ユニットセルの順序は固定されている請求項１に記載のイメージセンシング装置。
【請求項4】
各前記ユニットセルは、２×２アレイとして形成され、２×２アレイ内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の順序は可変であり、各前記ユニットセルの順序は可変である請求項１に記載のイメージセンシング装置。
【請求項5】
各前記ユニットセルは、２×２アレイとして形成され、２×２アレイ内の前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の順序は固定されており、
各前記ユニットセルは、右に所定の角度回転して繰り返されるか、または各前記ユニットセルは、右に反転して繰り返されるか、または各前記ユニットセルは、右に反転して所定の角度回転して繰り返され、前記所定の角度は、９０度、１８０度、または２７０度である請求項１に記載のイメージセンシング装置。
各前記ユニットセルは、右に所定の角度回転して繰り返されるか、または各前記ユニットセルは、右に反転して繰り返されるか、または各前記ユニットセルは、右に反転して所定の角度回転して繰り返され、前記所定の角度は、９０度、１８０度、または２７０度である請求項１に記載のイメージセンシング装置。
【請求項6】
前記第１の位相、前記第２の位相、前記第３の位相、および前記第４の位相は、それぞれ０、π／２、π、および３π／２であり、
前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の直径は、１２０～３５０ｎｍであり、前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、３００ｎｍ以上７５０ｎｍ以下の範囲内である請求項１に記載のイメージセンシング装置。
前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の直径は、１２０～３５０ｎｍであり、前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、３００ｎｍ以上７５０ｎｍ以下の範囲内である請求項１に記載のイメージセンシング装置。
【請求項7】
第１の位相シフトホログラム画像、第２の位相シフトホログラム画像、第３の位相シフトホログラム画像、および第４の位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記ユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
フーリエ領域の物体波は、前記第１の位相シフトホログラム画像、前記第２の位相シフトホログラム画像、前記第３の位相シフトホログラム画像、および前記第４の位相シフトホログラム画像に従って計算され、物体画像は前記物体波に逆フーリエ変換することで再構成される請求項１に記載のイメージセンシング装置。
フーリエ領域の物体波は、前記第１の位相シフトホログラム画像、前記第２の位相シフトホログラム画像、前記第３の位相シフトホログラム画像、および前記第４の位相シフトホログラム画像に従って計算され、物体画像は前記物体波に逆フーリエ変換することで再構成される請求項１に記載のイメージセンシング装置。
【請求項8】
請求項１～６のいずれか１項に記載のイメージセンシング装置を用いた、位相シフトホログラフィ法であって、
４ステップの位相シフトホログラフィアルゴリズムを介して前記ユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の位相シフトホログラム画像、第２の位相シフトホログラム画像、第３の位相シフトホログラム画像、および第４の位相シフトホログラム画像を取得するステップと、
前記第１の位相シフトホログラム画像、前記第２の位相シフトホログラム画像、前記第３の位相シフトホログラム画像、および前記第４の位相シフトホログラム画像に従ってフーリエ領域の物体波を計算するステップと、
前記物体波に逆フーリエ変換することで物体画像を再構成するステップとを含む位相シフトホログラフィ法。
４ステップの位相シフトホログラフィアルゴリズムを介して前記ユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の位相シフトホログラム画像、第２の位相シフトホログラム画像、第３の位相シフトホログラム画像、および第４の位相シフトホログラム画像を取得するステップと、
前記第１の位相シフトホログラム画像、前記第２の位相シフトホログラム画像、前記第３の位相シフトホログラム画像、および前記第４の位相シフトホログラム画像に従ってフーリエ領域の物体波を計算するステップと、
前記物体波に逆フーリエ変換することで物体画像を再構成するステップとを含む位相シフトホログラフィ法。
【請求項9】
前記光電素子上に配置されたフィルタアレイを含み、
前記フィルタアレイは、
入射光から緑色光を抽出する第１の緑色フィルタおよび第２の緑色フィルタ、
前記入射光から赤色光を抽出する赤色フィルタ、および
前記入射光から青色光を抽出する青色フィルタを含み、
前記ユニットセルは複数のマクロユニットセルに配置され、
各前記マクロユニットセルは、２×２アレイに配置された第１のユニットセル、第２のユニットセル、第３のユニットセル、および第４のユニットセルを含み、
各前記マクロユニットセルの前記第１のユニットセル、前記第２のユニットセル、前記第３のユニットセル、および前記第４のユニットセルは、前記第１の緑色フィルタ、前記第２の緑色フィルタ、前記赤色フィルタ、および前記青色フィルタを介して前記緑色光、前記緑色光、前記赤色光、および前記青色光をそれぞれ受光する請求項１に記載のイメージセンシング装置。
前記フィルタアレイは、
入射光から緑色光を抽出する第１の緑色フィルタおよび第２の緑色フィルタ、
前記入射光から赤色光を抽出する赤色フィルタ、および
前記入射光から青色光を抽出する青色フィルタを含み、
前記ユニットセルは複数のマクロユニットセルに配置され、
各前記マクロユニットセルは、２×２アレイに配置された第１のユニットセル、第２のユニットセル、第３のユニットセル、および第４のユニットセルを含み、
各前記マクロユニットセルの前記第１のユニットセル、前記第２のユニットセル、前記第３のユニットセル、および前記第４のユニットセルは、前記第１の緑色フィルタ、前記第２の緑色フィルタ、前記赤色フィルタ、および前記青色フィルタを介して前記緑色光、前記緑色光、前記赤色光、および前記青色光をそれぞれ受光する請求項１に記載のイメージセンシング装置。
【請求項10】
前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、前記第１のユニットセルおよび前記第２のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さより高く、
前記第１のユニットセルおよび前記第２のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、前記第４のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さより高い請求項９に記載のイメージセンシング装置。
前記第１のユニットセルおよび前記第２のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さは、前記第４のユニットセルの前記第１の光電素子、前記第２の光電素子、前記第３の光電素子、および前記第４の光電素子の高さより高い請求項９に記載のイメージセンシング装置。
【請求項11】
第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第５の緑色位相シフトホログラム画像、第６の緑色位相シフトホログラム画像、第７の緑色位相シフトホログラム画像、および第８の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第２のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第１の赤色位相シフトホログラム画像、第２の赤色位相シフトホログラム画像、第３の赤色位相シフトホログラム画像、および第４の赤色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第１の青色位相シフトホログラム画像、第２の青色位相シフトホログラム画像、第３の青色位相シフトホログラム画像、および第４の青色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られる請求項９に記載のイメージセンシング装置。
第５の緑色位相シフトホログラム画像、第６の緑色位相シフトホログラム画像、第７の緑色位相シフトホログラム画像、および第８の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第２のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第１の赤色位相シフトホログラム画像、第２の赤色位相シフトホログラム画像、第３の赤色位相シフトホログラム画像、および第４の赤色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られ、
第１の青色位相シフトホログラム画像、第２の青色位相シフトホログラム画像、第３の青色位相シフトホログラム画像、および第４の青色位相シフトホログラム画像は、４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより得られる請求項９に記載のイメージセンシング装置。
【請求項12】
請求項９に記載のイメージセンシング装置を用いた、位相シフトホログラフィ法であって、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第２のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第５の緑色位相シフトホログラム画像、第６の緑色位相シフトホログラム画像、第７の緑色位相シフトホログラム画像、および第８の緑色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の赤色位相シフトホログラム画像、第２の赤色位相シフトホログラム画像、第３の赤色位相シフトホログラム画像、および第４の赤色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の青色位相シフトホログラム画像、第２の青色位相シフトホログラム画像、第３の青色位相シフトホログラム画像、および第４の青色位相シフトホログラム画像を取得するステップとを含む位相シフトホログラフィ法。
４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第２のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第５の緑色位相シフトホログラム画像、第６の緑色位相シフトホログラム画像、第７の緑色位相シフトホログラム画像、および第８の緑色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の赤色位相シフトホログラム画像、第２の赤色位相シフトホログラム画像、第３の赤色位相シフトホログラム画像、および第４の赤色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第１のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の緑色位相シフトホログラム画像、第２の緑色位相シフトホログラム画像、第３の緑色位相シフトホログラム画像、および第４の緑色位相シフトホログラム画像を取得するステップと、
４ステップの位相シフトホログラフィアルゴリズムを介して前記第３のユニットセルで撮影された前記第１の位相の第１の画像、前記第２の位相の第２の画像、前記第３の位相の第３の画像、および前記第４の位相の第４の画像をそれぞれ組み合わせることにより、第１の青色位相シフトホログラム画像、第２の青色位相シフトホログラム画像、第３の青色位相シフトホログラム画像、および第４の青色位相シフトホログラム画像を取得するステップとを含む位相シフトホログラフィ法。
【請求項13】
フーリエ領域の第１の緑色物体波は、前記第１の緑色位相シフトホログラム画像、前記第２の緑色位相シフトホログラム画像、前記第３の緑色位相シフトホログラム画像、および前記第４の緑色位相シフトホログラム画像に従って計算され、
前記フーリエ領域の第２の緑色物体波は、前記第５の緑色位相シフトホログラム画像、前記第６の緑色位相シフトホログラム画像、前記第７の緑色位相シフトホログラム画像、および前記第８の緑色位相シフトホログラム画像に従って計算され、
前記フーリエ領域の赤色物体波は、前記第１の赤色位相シフトホログラム画像、前記第２の赤色位相シフトホログラム画像、前記第３の赤色位相シフトホログラム画像、および前記第４の赤色位相シフトホログラム画像に従って計算され、
前記フーリエ領域の青色物体波は、前記第１の青色位相シフトホログラム画像、前記第２の青色位相シフトホログラム画像、前記第３の青色位相シフトホログラム画像、および前記第４の青色位相シフトホログラム画像に従って計算され、
第１の緑色物体画像は、前記第１の緑色物体波に逆フーリエ変換を用いることで再構成され、第２の緑色物体画像は、前記第２の緑色物体波に前記逆フーリエ変換を用いることで再構成され、赤色物体画像は、前記赤色物体波に前記逆フーリエ変換を用いることで再構成され、且つ青色物体画像は、前記青色物体波に前記逆フーリエ変換を用いることで再構成され、
カラー画像は、前記第１の緑色物体画像、第２の緑色物体画像、赤色の物体画像、および青色物体画像に従って得られる請求項１１に記載のイメージセンシング装置。
前記フーリエ領域の第２の緑色物体波は、前記第５の緑色位相シフトホログラム画像、前記第６の緑色位相シフトホログラム画像、前記第７の緑色位相シフトホログラム画像、および前記第８の緑色位相シフトホログラム画像に従って計算され、
前記フーリエ領域の赤色物体波は、前記第１の赤色位相シフトホログラム画像、前記第２の赤色位相シフトホログラム画像、前記第３の赤色位相シフトホログラム画像、および前記第４の赤色位相シフトホログラム画像に従って計算され、
前記フーリエ領域の青色物体波は、前記第１の青色位相シフトホログラム画像、前記第２の青色位相シフトホログラム画像、前記第３の青色位相シフトホログラム画像、および前記第４の青色位相シフトホログラム画像に従って計算され、
第１の緑色物体画像は、前記第１の緑色物体波に逆フーリエ変換を用いることで再構成され、第２の緑色物体画像は、前記第２の緑色物体波に前記逆フーリエ変換を用いることで再構成され、赤色物体画像は、前記赤色物体波に前記逆フーリエ変換を用いることで再構成され、且つ青色物体画像は、前記青色物体波に前記逆フーリエ変換を用いることで再構成され、
カラー画像は、前記第１の緑色物体画像、第２の緑色物体画像、赤色の物体画像、および青色物体画像に従って得られる請求項１１に記載のイメージセンシング装置。
【請求項14】
請求項１１記載のイメージセンシング装置を用いた、位相シフトホログラフィ法であって、
前記第１の緑色位相シフトホログラム画像、前記第２の緑色位相シフトホログラム画像、前記第３の緑色位相シフトホログラム画像、および前記第４の緑色位相シフトホログラム画像に従ってフーリエ領域の第１の緑色物体波を計算するステップと、
前記第５の緑色位相シフトホログラム画像、前記第６の緑色位相シフトホログラム画像、前記第７の緑色位相シフトホログラム画像、および前記第８の緑色位相シフトホログラム画像に従って、前記フーリエ領域の第２の緑色物体波を演算するステップと、
前記第１の赤色位相シフトホログラム画像、前記第２の赤色位相シフトホログラム画像、前記第３の赤色位相シフトホログラム画像、および前記第４の赤色位相シフトホログラム画像に従って、前記フーリエ領域の赤色物体波を計算するステップと、
前記第１の青色位相シフトホログラム画像、前記第２の青色位相シフトホログラム画像、前記第３の青色位相シフトホログラム画像、および前記第４の青色位相シフトホログラム画像に従って、前記フーリエ領域の青色物体波を計算するステップと、
前記第１の緑色物体波に逆フーリエ変換をすることで、第１の緑色物体画像を再構成するステップと、
前記第２の緑色物体波に前記逆フーリエ変換をすることで、第２の緑色物体画像を再構成するステップと、
前記赤色物体波に前記逆フーリエ変換をすることで、赤色物体画像を再構成するステップと、
前記青色物体波に前記逆フーリエ変換をすることで、青色物体画像を再構成するステップと、
前記第１の緑色物体画像、第２の緑色物体画像、赤色の物体画像、および青色物体画像に従って、カラー画像を取得するステップとを含む位相シフトホログラフィ法。
前記第１の緑色位相シフトホログラム画像、前記第２の緑色位相シフトホログラム画像、前記第３の緑色位相シフトホログラム画像、および前記第４の緑色位相シフトホログラム画像に従ってフーリエ領域の第１の緑色物体波を計算するステップと、
前記第５の緑色位相シフトホログラム画像、前記第６の緑色位相シフトホログラム画像、前記第７の緑色位相シフトホログラム画像、および前記第８の緑色位相シフトホログラム画像に従って、前記フーリエ領域の第２の緑色物体波を演算するステップと、
前記第１の赤色位相シフトホログラム画像、前記第２の赤色位相シフトホログラム画像、前記第３の赤色位相シフトホログラム画像、および前記第４の赤色位相シフトホログラム画像に従って、前記フーリエ領域の赤色物体波を計算するステップと、
前記第１の青色位相シフトホログラム画像、前記第２の青色位相シフトホログラム画像、前記第３の青色位相シフトホログラム画像、および前記第４の青色位相シフトホログラム画像に従って、前記フーリエ領域の青色物体波を計算するステップと、
前記第１の緑色物体波に逆フーリエ変換をすることで、第１の緑色物体画像を再構成するステップと、
前記第２の緑色物体波に前記逆フーリエ変換をすることで、第２の緑色物体画像を再構成するステップと、
前記赤色物体波に前記逆フーリエ変換をすることで、赤色物体画像を再構成するステップと、
前記青色物体波に前記逆フーリエ変換をすることで、青色物体画像を再構成するステップと、
前記第１の緑色物体画像、第２の緑色物体画像、赤色の物体画像、および青色物体画像に従って、カラー画像を取得するステップとを含む位相シフトホログラフィ法。
【請求項15】
前記第１の緑色フィルタおよび前記第２の緑色フィルタは、緑色カラーフィルタ、緑色マルチフィルム、または緑色格子でそれぞれ形成され、前記赤色フィルタは、赤色カラーフィルタ、赤色マルチフィルム、または赤色格子で形成され、前記青色フィルタは、青色カラーフィルタ、青色マルチフィルム、または青色格子で形成される請求項９に記載のイメージセンシング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンシング装置及び位相シフトホログラフィ法に関するものである。
【背景技術】
【0002】
技術の進歩に伴い、カメラを搭載した電子機器が人気を集めている。しかしながら、従来のカメラ、即ちカラーイメージセンシング（Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ； ＣＩＳ）装置では、モジュラーレンズは通常、入射光を取り込み、この取り込んだ光をデジタル画像に変換するために必要な部品である。しかしながら、従来の撮像技術の制限により、画像はレンズを用いて形成され、モジュラーレンズは、カメラ内の利用可能なスペースの大部分を占めている。携帯型の電子機器は小型化が進んでいるため、大型のモジュラーレンズはこれらの機器に適していない。
【0003】
従って、カメラのサイズを小型化するために、レンズのないイメージセンサが求められている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
レンズのないイメージセンサを提供する。
【課題を解決するための手段】
【0005】
本開示は、入射光を受ける複数の光電素子を含むイメージセンシング装置を提供する。光電素子は複数のユニットセル内に配置され、各ユニットセルは、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子を含む。各ユニットセル内の第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子は、ピラー構造で形成され、第１の光電素子、第２の光電素子、第３の光電素子、および第４の光電素子は、全て異なるサイズである。各ユニットセルの第１の光電素子は、第１の位相で第１の画像を撮像し、各ユニットセルの第２の光電素子は、第２の位相で第２の画像を撮像し、各ユニットセルの第３の光電素子は、第３の位相で第３の画像を撮像し、各ユニットセルの第４の光電素子は、第４の位相で第４の画像を撮像する。第１の位相、第２の位相、第３の位相、および第４の位相は異なる。
【発明の効果】
【0006】
本発明により、カメラ全体のサイズを小型化できる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
本開示の技術用語は、本開示の技術分野における一般的な定義に基づいている。本開示の一部の用語について記載または説明がある場合、用語の定義は、本開示の記載または説明に基づくものとする。開示された各実施形態は、１つ以上の技術的特徴を有する。可能な実施において、当業者は、本開示の任意の実施形態のすべてまたは一部の技術的特徴を選択的に実施するか、または本開示の実施形態のすべてまたは一部の技術的特徴を選択的に組み合わせることができる。
【0009】
以下の各実施形態において、同じ参照番号は、同一または類似の素子または構成要素を表している。
【0010】
図１は、位相シフトデジタルホログラフィ装置の概略図である。位相シフトデジタルホログラフィ装置１００は、レーザ光源１１０、ビームエミッタ１２０、ビームスプリッタ１３０と１４０、圧電変換器（ＰＺＴ）ミラー１５０、ミラー１６０、およびセンサアレイ１７０を含む。レーザ光源１１０から出射されたレーザ光は、ビームエミッタ１２０でさらに増強され、ビームエミッタ１２０から出射された光は、ビームスプリッタ１３０によって物体光と参照光に分割される。参照光は、ビームを位相変調するＰＺＴミラー１５０によって反射される。 一定の位相を参照ビームにシフトすることにより、異なるホログラム画像が得られ、物体波の複素振幅が導出される。
【0011】
例えば、参照波の初期位相はゼロであり、各ステップでπ／２変化する。４ステップの位相シフトデジタルホログラフィアルゴリズムが用いられた場合、０、π／２、π、および３π／２などの異なる位相での干渉パターンの強度は、式（１）～（４）でそれぞれ表される。
【0012】
【数1】
【0013】
【数2】
【0014】
【数3】
【0015】
【数4】
【0016】
位相０、π／２、π、および３π／２での干渉パターンの強度を得た後、物体光の複素振幅は、以下の式（５）で与えられる。
【0017】
【数5】
【0018】
物体光の複素振幅は、デジタル逆伝播を実行することによって、Ψ０から物体面にある物体光の振幅分布を得ることができるため、複素ホログラム画像と呼ばれることがある。
【0019】
従って、物体波を計算するには、参照光の複素振動を知る必要がある。通常、基準光は平面波または球面波であるため、その位相は測定なしで得られる。異なる位相での物体波を用いて物体画像を再構成する技術は当業者には理解し得るため、ここでは詳細が省略される。
【0020】
図１の例に説明された位相シフトデジタルホログラフィ装置１００は、各ステップで位相を変更する必要があり、位相を変更し、干渉パターンの強度を計算し、物体画像を再構成するのには時間がかかることに留意されたい。従って、現在市販されているあらゆる携帯型電子機器に本装置１００を採用することは実用的ではない。
【0021】
しかしながら、位相シフトデジタルホログラフィアルゴリズムの位相遅延の概念は、本開示のイメージセンシング装置で用いられることができる。図２Ａは、本開示の一実施形態によるイメージセンシング装置の上面図である。図３は、図２Ａのイメージセンシング装置の断面図である。本実施の形態では、イメージセンシング装置２００は、例えば、単色イメージセンサである。図２Ａおよび図３に示すように、イメージセンシング２００は、センサアレイ２１０を含み得る。センサアレイ２１０は、入射光を受光する複数の光電素子を含む。光電素子は、半導体製造プロセスを介して基板２５０上に実装され得る（図３に示されるように）。イメージセンシング装置２００にはレンズが用いられていないことに留意されたい。
【0022】
センサアレイ２１０では、光電素子は、複数のユニットセル２２０、２３０、２４０、および２５０に配置される。例えば、各ユニットセル２２０、２３０、２４０、および２５０は、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４を含み、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、２×２アレイに配置される。
【0023】
さらに、各ユニットセル２２０、２３０、２４０、および２５０の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、ピラー構造で形成される。本実施形態では、ピラー構造の材料は、例えば、単結晶シリコン、多結晶シリコン（ポリシリコン）、アモルファスシリコン、Ｓｉ３Ｎ４、ＧａＰ、ＴｉＯ２、ＡｌＳｂ、ＡｌＡｓ、ＡｌＧａＡｓ、ＡｌＧａＩｎＰ、ＢＰ、ＺｎＧｅＰ２、任意の他の適用可能な材料、またはそれらの組み合わせであるが、本開示の実施形態はそれに限定されない。
【0024】
また、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は異なるサイズである。例えば、光電素子２２１のサイズは、光電素子２２２のサイズより小さい。光電素子２２２のサイズは、光電素子２２３のサイズより小さい。光電素子２２３のサイズは、光電素子２２４のサイズより小さい。
【0025】
さらに、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、異なる直径であることができ、各光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の直径は、対応する位相シフトホログラム画像の特定の位相を表している。
【0026】
具体的には、４ステップの位相シフトホログラフィ法が、イメージセンシング装置２００のアーキテクチャに採用されている。例えば、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の直径は、位相δ０、位相δ１、位相δ２、および位相δ３にそれぞれ対応するｄ０、ｄ１、ｄ２、およびｄ３である。位相δ０、位相δ１、位相δ２、および位相δ３の値は、例えば、それぞれ０、π／２、π、および３π／２である。実施形態では、光電素子の直径と位相との対応関係は、図４に示したとおりである。また、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の直径は、例えば、１２０～３５０ｎｍの範囲内であり、光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の高さは、例えば、３００ｎｍ以上７５０ｎｍ以下の範囲内である。
【0027】
ユニットセル２２０は、センサアレイ２１０に繰り返し配置され、各ユニットセル２２０、２３０、２４０、および２５０内の各光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４は、４つの異なる位相での個々の位相の画像を撮像することができる。例えば、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２１は、第１の位相（例えば、位相δ０）で第１の画像を撮像し、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２２は、第２の位相（例えば、位相δ１）で第２の画像を撮像し、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２３は、第３の位相（例えば、位相δ２）で第３の画像を撮像し、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２４は、第４の位相（例えば、位相δ３）で第４の画像を撮像する。
【0028】
第１の画像、第２の画像、第３の画像、および第４の画像は、各ユニットセル２５０内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４によって撮像されるため、第１の画像、第２の画像、第３の画像、および第４の画像の位置は実質的に同じである。例えば、位相δ０の位相シフトホログラム画像は、各ユニットセル２２０、２３０、２４０、および２５０内の光電素子２２１によって撮像された画像から得られることができる。同様に、位相δ０、位相δ１、位相δ２、および位相δ３の位相シフトホログラム画像は、各ユニットセル２２０、２３０、２４０、および２５０内の各光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４によって撮像された画像からそれぞれ得られることができる。
【0029】
４つの位相の位相シフトホログラム画像を得た後、フーリエ領域の物体波は、式（５）を用いて得ることができる。続いて、逆フーリエ変換が物体波に対して行なわれ、空間領域で物体画像を再構成する。あるいは、フーリエ領域の物体波を空間領域の物体画像に変換するための伝達関数Ｈ（ｘ、ｙ）が事前に推定されることもできるため、物体波と伝達関数の間の畳み込み演算が行われて物体画像を得ることができる。
【0030】
本実施形態では、図２Ａに示されるように、各ユニットセル２２０、２３０、２４０、および２５０は、２×２アレイとして形成され、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４の順序は固定されており、各ユニットセル２２０、２３０、２４０、および２５０の順序は固定されている。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されたパターンは同じであることができる。しかしながら、本開示の実施形態はそれに限定されない。
【0031】
本実施形態では、図２Ｂに示されるように、各ユニットセル２２０、２３０、２４０、および２５０は、２×２アレイとして形成され、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４の順序は可変であり、各ユニットセル２２０、２３０、２４０、および２５０の順序は可変である。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されたパターンは異なってもよい。
【0032】
あるいは、いくつかの実施形態では、図５、図６、または図７に示されるように、各ユニットセル２２０、２３０、２４０、および２５０は、２×２アレイとして形成され、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４の順序は固定されており、各ユニットセル２２０、２３０、２４０、および２５０は、右に所定の角度回転して繰り返されるか、または各ユニットセル２２０、２３０、２４０、および２５０は、右に反転して繰り返されるか、または各ユニットセル２２０、２３０、２４０、および２５０は、右に反転して所定の角度回転して繰り返される。所定の角度は、例えば、９０度、１８０度、または２７０度であり得る。
【0033】
なお、２×２アレイ内の第１の光電素子２２１、第２の光電素子２２２、第３の光電素子２２３、および第４の光電素子２２４は、２×２アレイの中心点を中心して、時計方向又は反時計方向に、所定の順序で並んでいてもよい。そして、ユニットセル２２０を、２×２アレイの中心点を中心として所定の角度回転させた光電素子の配列を、各ユニットセル２３０、２４０、および２５０としてよい。このとき所定の角度は、例えば、９０度、１８０度、または２７０度とすればよい。また、ユニットセル２２０を反転させた光電素子の配列を、各ユニットセル２３０、２４０、および２５０としてよい。さらに、ユニットセル２２０の回転と反転を組み合わせた配列を、各ユニットセル２３０、２４０、および２５００としてよい。
【0034】
図５に見られるように、各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の順序は固定されることができ、ユニットセル２２０は、ユニットセル２５０から右に所定の角度（例えば、９０度）回転して繰り返され、ユニットセル２５０は、ユニットセル２４０から右に所定の角度（例えば、１８０度）回転して繰り返され、ユニットセル２４０は、ユニットセル２３０から右に（垂直）反転して所定の角度（例えば、９０度）回転して繰り返され、且つユニットセル２３０は、ユニットセル２２０から右に（垂直）反転して繰り返される。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されるパターンは異なる。
【0035】
図６に見られるように、各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の順序は固定されることができ、ユニットセル２２０は、ユニットセル２５０から右に所定の角度（例えば、９０度）回転して繰り返され、ユニットセル２５０は、ユニットセル２４０から右に所定の角度（例えば、１８０度）回転して繰り返され、ユニットセル２４０は、ユニットセル２３０から右に（水平）反転して所定の角度（例えば、９０度）回転して繰り返され、且つユニットセル２３０は、ユニットセル２２０から右に（水平）反転して繰り返される。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されるパターンは異なる。
【0036】
図７に見られるように、各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４の順序は固定されることができ、ユニットセル２２０は、ユニットセル２５０から右に所定の角度（例えば、２７０度）回転して繰り返され、ユニットセル２５０は、ユニットセル２４０から右に所定の角度（例えば、１８０度）回転して繰り返され、ユニットセル２４０は、ユニットセル２３０から右に（垂直）反転して所定の角度（例えば、９０度）回転して繰り返され、且つユニットセル２３０は、ユニットセル２２０から右に（垂直）反転して繰り返される。従って、ユニットセル２２０、２３０、２４０、および２５０によって形成されるパターンは異なる。各ユニットセル２２０、２３０、２４０、および２５０の２×２アレイ内の光電素子２２１、光電素子２２２、光電素子２２３、および光電素子２２４のもう１つの配置方式は、図５、図６、または図７の実施形態を参照することができ、その説明はここでは繰り返されない。
【0037】
【0038】
図８は、本開示の一実施形態による、イメージセンシング装置で用いる４ステップの位相シフトホログラフィ法のフローチャートである。図８のフローチャートは、イメージセンシング装置２００（単色イメージセンサなど）で用いるためのものである。本方法は、ステップＳ８１０において、異なる位相での４つの位相シフトホログラム画像を得るステップを含む。例えば、図２Ａ、図２Ｂ、図５、図６、または図７に示されたイメージセンシング装置２００が以下の実施形態に用いられることができる。具体的には、４つの位相シフトホログラム画像は、位相０、π／２、π、および３π／２に対応する。
【0039】
本方法は、ステップＳ８２０において、異なる位相での４つの位相シフトホログラム画像に従って、フーリエ領域にある物体波を計算するステップを含む。例えば、異なる位相（０、π／２、π、および３π／２など）での位相シフトホログラム画像の強度は、式（１）～（４）を用いて計算されることができ、物体波は、式（５）を用いて計算されることができる。しかしながら、物体波の計算を簡略化するために、物体波φ０は以下の式（６）を用いて近似的に計算されることができる。
【0040】
【数6】
【0041】
本方法は、ステップＳ８３０にて、物体波に従って物体画像を再構成するステップを含む。例えば、物体波φ０はフーリエ領域にあり、物体画像は空間領域にあるため、逆フーリエ変換が物体波φ０に適用されて、物体画像を再構成することができる。あるいは、フーリエ領域の物体波を空間領域の物体画像に変換するための伝達関数Ｈ（ｘ、ｙ）が事前に推定されることもできるため、物体波と伝達関数の間の畳み込み演算が行われて物体画像を得ることができる。
【0042】
図９は、本開示のもう１つの実施形態によるイメージセンシング装置の上面図である。図１０は、図９のイメージセンシング装置の断面図である。本実施の形態では、イメージセンシング装置９００は、例えば、カラーイメージセンサである。図９および図１０に示すように、イメージセンシング装置９００は、センサアレイ９１０およびフィルタアレイ９７０を含み得る。
【0043】
センサアレイ９１０は、入射光を受光する複数の光電素子を含む。センサアレイ９１０では、光電素子は、複数のユニットセル９３０、９４０、９５０、および９６０に配置される。例えば、ユニットセル９３０（例えば、第１のユニットセル）は、光電素子９３１、光電素子９３２、光電素子９３３、および光電素子９３４を含む。ユニットセル９４０（例えば、第２のユニットセル）は、光電要素９４１、光電要素９４２、光電要素９４３、および光電要素９４４を含む。ユニットセル９５０（第３のユニットセルなど）は、光電素子９５１、光電素子９５２、光電素子９５３、および光電素子９５４を含む。ユニットセル９６０（例えば、第４のユニットセル）は、光電素子９６１、光電素子９６２、光電素子９６３、および光電素子９６４を含む。
【0044】
本実施形態では、光電素子９３１～９３４、光電素子９４１～９４４、光電素子９５１～９５４、および光電素子９６１～９６４は２×２アレイにそれぞれ配置されることができる。光電素子９３１～９３４、光電素子９４１～９４４、光電素子９５１～９５４、および光電素子９６１～９６４は、図２Ａの光電素子２２１～２２４と同等または類似している。従って、光電素子９３１～９３４、光電素子９４１～９４４、光電素子９５１～９５４、および光電素子９６１～９６４は、図２Ａ～図６の実施形態を参照することができ、本明細書では説明を省略する。
【0045】
また、ユニットセル９３０、９４０、９５０、および９６０は、複数のマクロユニットセル９２０に配置される。例えば、各マクロユニットセル９２０は、ユニットセル９３０、ユニットセル９４０、ユニットセル９５０、およびユニットセル９６０を含み得る。実施形態では、ユニットセル９３０、ユニットセル９４０、ユニットセル９５０、およびユニットセル９６０は２×２アレイに配置されることができる。
【0046】
フィルタアレイ９７０は、光電素子上に配置され、即ち、フィルタアレイ９７０は、センサアレイ９１０上に配置される。さらに、フィルタアレイ９７０は、赤色フィルタ９７２、緑色フィルタ９７４と９７６、および青色フィルタ９７８などの複数のカラーフィルタを含み得る。例えば、２つの緑色フィルタ９７４および９７６、１つの赤色フィルタ９７２、および１つの青色フィルタ９７８は２×２アレイに配置される。一実施形態では、緑色フィルタ９７４と９７６は、入射光から緑色光を抽出することができ、赤色フィルタ９７２は、入射光から赤色光を抽出することができ、青色フィルタ９７８は、入射光から青色光を抽出することができる。
【0047】
センサアレイ９１０は、フィルタアレイ９７０を介して入射光を受光することができる。ユニットセル９３０は、フィルタアレイ９７０内の緑色フィルタ９７４に対応することができ、ユニットセル９４０は、フィルタアレイ９７０内の緑色フィルタ９７６に対応することができ、ユニットセル９５０は、フィルタアレイ９７０内の赤色フィルタ９７２に対応することができ、且つユニットセル９６０は、フィルタアレイ９７０内の青色フィルタ９７８に対応することができる。従って、各マクロユニットセル９２０のユニットセル９３０、９４０、９５０、および９６０は、フィルタアレイ９１０の緑色フィルタ９７４、緑色フィルタ９７６、赤色フィルタ９７２、および青色フィルタ９７８を介して、緑色光、緑色光、赤色光、および青色光を受光することができる。具体的には、各マクロユニットセル９２０の４つのユニットセル９３０、９４０、９５０、および９６０は、０、π／２、π、および３π／２などの４つの異なる位相での緑色、青色、赤色、および緑色の画像を撮像するように構成される。
【0048】
Ｈζｒ、Ｈζｇ、およびＨζｂが赤色光、緑色光、および青色光の波長をそれぞれ表すとすると、赤色光、緑色光、青色光の中で赤色光が最も波長が長く、青色光が最も波長が短いことから、波長の関係はＨζｒ＞Ｈζｇ＞Ｈζｂとなることがわかる。従って、センサアレイ９１０内の光電素子が同じ材料でできていると仮定すると、赤色光を受けるユニットセル９５０内の光電素子９５１～９５４は、マクロユニットセル９２０内の他のユニットセル内の光電素子より比較的高い高さを有する。言い換えれば、各ユニットセルの光電素子の高さは、受光した光の波長に比例する。
【0049】
例えば、図１０に示されるように、ユニットセル９５０（赤色フィルタ９７２に対応する）内の光電素子９５１～９５４の高さは、ユニットセル９３０とユニットセル９４０（緑色フィルタ９４１と９７６に対応する）内の光電素子９３１～９３４と９４１～９４４の高さより高く、ユニットセル９３０とユニットセル９４０（緑色フィルタ９４１と９７６に対応する）内の光電素子９３１～９３４と９４１～９４４の高さは、ユニットセル９６０の光電素子９６１～９６４の高さより高い。
【0050】
マクロユニットセル９２０がセンサアレイ９１０内に繰り返し配置されるため、４つの位相シフトホログラム画像は、センサアレイ９１０内のマクロユニットセル９２０の各ユニットセル９３０、９４０、９５０、９６０によって撮像された画像を組み合わせることにより得られるため、合計１６個の位相シフトホログラム画像が得られることができる。ユニットセル９３０によって撮像された緑色の位相シフトホログラム画像は、ユニットセル９４０によって撮像されたものと同じであることに留意されたい。例えば、合計１６個の位相シフトホログラム画像は、（Ｒδ０、Ｒδ１、Ｒδ２、Ｒδ３）、（Ｇ１δ０、Ｇ１δ１、Ｇ１δ２、Ｇ１δ３）、（Ｇ２δ０、Ｇ２δ１、Ｇ２δ２、Ｇ２δ３）、および（Ｂδ０、Ｂδ１、Ｂδ２、Ｂδ３）であることができ、緑色の位相シフトホログラム画像（Ｇ１δ０、Ｇ１δ１、Ｇ１δ２、Ｇ１δ３）は、ユニットセル９３０によって撮像され、緑色の位相シフトホログラム画像（Ｇ２δ０、Ｇ２δ１、Ｇ２δ２、Ｇ２δ３）は、ユニットセル９４０によって撮像される。
【0051】
一実施形態では、緑色フィルタ９７４および緑色フィルタ９７６は、図１１に示されるように、それぞれ、緑色カラーフィルタ（例えば、図１１の「ＧＣＦ」）で形成され、赤色フィルタ９７２は、赤色カラーフィルタ（ 例えば、図１１の「ＲＣＦ」）で形成され、青色フィルタ９７８は、青色カラーフィルタで形成される。
【0052】
一実施形態では、図１２に示されるように、緑色フィルタ９７４および緑色フィルタ９７６は、それぞれ、緑色マルチフィルム（例えば、図１２の「ＭＦＧ」）で形成され、赤色フィルタ９７２は、赤色マルチフィルム（例えば、図１２の「ＭＦＲ」）で形成され、青色フィルタ９７８は、青色マルチフィルムで形成される。
【0053】
一実施形態では、図１３に示されるように、緑色フィルタ９７４および緑色フィルタ９７６は、それぞれ、緑色格子で形成され、赤色フィルタ９７２は、赤色格子で形成され、青色フィルタ９７８は、青色格子で形成される。
【0054】
図１４は、本開示の一実施形態による、イメージセンシング装置で用いる４ステップの位相シフトホログラフィ法のフローチャートである。図１４のフローチャートは、イメージセンシング装置９００（カラーイメージセンサなど）で用いるためのものである。本方法は、ステップＳ１４１０にて、異なるカラーチャネルおよび異なる位相での１６個の位相シフトホログラム画像を取得するステップを含む。例えば、図９のイメージセンシング装置９００は、以下の実施形態で用いることができる。１６個の位相シフトホログラム画像は、上述のように（Ｒδ０、Ｒδ１、Ｒδ２、Ｒδ３）、（Ｇ１δ０、Ｇ１δ１、Ｇ１δ２、Ｇ１δ３）、（Ｂδ０、Ｂδ１、Ｂδ２、Ｂδ３）、および（Ｇ２δ０、Ｇ２δ１、Ｇ２δ２、Ｇ２δ３）である。上記のカラーチャネルは、ユニットセル９３０、９４０、９５０、および９６０にそれぞれ対応し得る。
【0055】
本方法は、ステップＳ１４２０にて、異なるカラーチャネルおよび異なる位相での１６個の位相シフトホログラム画像に従って、フーリエドメイン内の各カラーチャネルの物体波を計算するステップを含む。
【0056】
本方法は、ステップＳ１４３０にて、各カラーチャネルの物体波に従って各カラーチャネルの物体画像を再構成するステップを含む。具体的には、イメージセンシング装置９００（カラーイメージセンサなど）には、１つの赤色チャネル、１つの青色チャネル、および２つの緑色チャネルなどの４つのカラーチャネルがあり、単一のカラーチャネルの物体波を計算し、物体画像を再構成する操作は、図８の実施形態で参照されることができ、ここではその説明を繰り返さない。
【0057】
従って、ステップＳ１４３０の後、１つの赤色チャネル、１つの青色チャネル、および２つの緑色チャネルを表す４つの物体画像が得られ、イメージセンシング装置９００に結合されたイメージ信号プロセッサ（図示せず）は、４つの物体画像を用いて元のカラー画像を再構築することができる。
【0058】
要約すると、本開示の実施形態で開示されたイメージセンシング装置によれば、各ユニットセル内の光電素子はピラー構造で形成され、光電素子は異なるサイズである。４ステップの位相シフトホログラフィアルゴリズムの異なる位相用に設計された、異なるサイズを有する光電素子を、イメージセンシング装置のセンサアレイに配置することにより、物体画像は光電素子で撮影された位相シフトホログラム画像を用いて再構成されることができる。従ってレンズのないイメージセンサを用いたカメラモジュールにはモジュラーレンズが不要であるため、カメラモジュール全体のコストを削減し、カメラモジュールの厚さを薄型化することができる。
【0059】
本発明は、例として及び望ましい実施の形態によって記述されているが、本発明は開示された実施形態に限定されるものではない。逆に、当業者には自明の種々の変更及び同様の配置をカバーするものである。よって、添付の特許請求の範囲は、最も広義な解釈が与えられ、全てのこのような変更及び同様の配置を含むべきである。
【符号の説明】
【0060】
１００ 位相シフトデジタルホログラフィ装置
１１０ レーザ光源
１２０ ビームエミッタ
１３０、１４０ ビームスプリッタ
１５０ 圧電変換器（ＰＺＴ）ミラー
１６０ ミラー
１７０ センサアレイ
２００、９００ イメージセンシング装置
２１０、９１０ センサアレイ
２２０、２３０、２４０、２５０、９３０、９４０、９５０、９６０ ユニットセル
２２１、２２２、２２３、２２４、９３１、９３２、９３３、９３４、９４１、９４２、９４３、９４４、９５１、９５２、９５３、９５４、９６１、９６２、９６３、９６４ 光電素子
２５０ 基板
９２０ マクロユニットセル
９７０ フィルタアレイ
９７２ 赤色フィルタ
９７４、９７６ 緑色フィルタ
９７８ 青色フィルタ
ＲＣＦ 赤色カラーフィルタ
ＧＣＦ 緑色カラーフィルタ
ＭＦＲ 赤色マルチフィルム
ＭＦＧ 緑色マルチフィルム
ｘ、ｙ 伝達関数
Ｓ８１０、Ｓ８２０、Ｓ８３０、Ｓ１４１０、Ｓ１４２０、Ｓ１４３９ ステップ
１１０ レーザ光源
１２０ ビームエミッタ
１３０、１４０ ビームスプリッタ
１５０ 圧電変換器（ＰＺＴ）ミラー
１６０ ミラー
１７０ センサアレイ
２００、９００ イメージセンシング装置
２１０、９１０ センサアレイ
２２０、２３０、２４０、２５０、９３０、９４０、９５０、９６０ ユニットセル
２２１、２２２、２２３、２２４、９３１、９３２、９３３、９３４、９４１、９４２、９４３、９４４、９５１、９５２、９５３、９５４、９６１、９６２、９６３、９６４ 光電素子
２５０ 基板
９２０ マクロユニットセル
９７０ フィルタアレイ
９７２ 赤色フィルタ
９７４、９７６ 緑色フィルタ
９７８ 青色フィルタ
ＲＣＦ 赤色カラーフィルタ
ＧＣＦ 緑色カラーフィルタ
ＭＦＲ 赤色マルチフィルム
ＭＦＧ 緑色マルチフィルム
ｘ、ｙ 伝達関数
Ｓ８１０、Ｓ８２０、Ｓ８３０、Ｓ１４１０、Ｓ１４２０、Ｓ１４３９ ステップ
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】