知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-04
(45)【発行日】2024-06-12
(54)【発明の名称】深さ情報を取得する方法及びカメラモジュール
(51)【国際特許分類】
G01S 17/894 20200101AFI20240605BHJP
G01C 3/06 20060101ALI20240605BHJP
【ＦＩ】
G01S17/894
G01C3/06 120Q
【請求項の数】
18
(21)【出願番号】P 2021517366
(86)(22)【出願日】2019-10-07
(65)【公表番号】
(43)【公表日】2022-01-11
(86)【国際出願番号】 KR2019013133
(87)【国際公開番号】W WO2020071883
(87)【国際公開日】2020-04-09
【審査請求日】2022-09-30
(31)【優先権主張番号】10-2018-0119341
(32)【優先日】2018-10-05
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】517099982
【氏名又は名称】エルジー イノテック カンパニー リミテッド
(74)【代理人】
【識別番号】100114188
【弁理士】
【氏名又は名称】小野 誠
(74)【代理人】
【識別番号】100119253
【弁理士】
【氏名又は名称】金山 賢教
(74)【代理人】
【識別番号】100129713
【弁理士】
【氏名又は名称】重森 一輝
(74)【代理人】
【識別番号】100137213
【弁理士】
【氏名又は名称】安藤 健司
(74)【代理人】
【識別番号】100143823
【弁理士】
【氏名又は名称】市川 英彦
(74)【代理人】
【識別番号】100183519
【弁理士】
【氏名又は名称】櫻田 芳恵
(74)【代理人】
【識別番号】100196483
【弁理士】
【氏名又は名称】川嵜 洋祐
(74)【代理人】
【識別番号】100203035
【弁理士】
【氏名又は名称】五味渕 琢也
(74)【代理人】
【識別番号】100160749
【弁理士】
【氏名又は名称】飯野 陽一
(74)【代理人】
【識別番号】100160255
【弁理士】
【氏名又は名称】市川 祐輔
(74)【代理人】
【識別番号】100202267
【弁理士】
【氏名又は名称】森山 正浩
(74)【代理人】
【識別番号】100182132
【弁理士】
【氏名又は名称】河野 隆
(74)【代理人】
【識別番号】100146318
【弁理士】
【氏名又は名称】岩瀬 吉和
(72)【発明者】
【氏名】キム，ウンソン
(72)【発明者】
【氏名】キム，ヒョンジン
(72)【発明者】
【氏名】パク，ジュウン
【審査官】藤田 都志行
(56)【参考文献】
【文献】特表２０１８－５１３３６６（ＪＰ，Ａ）
【文献】特表２０１８－５２２２０３（ＪＰ，Ａ）
【文献】特開２００９－０７９９８７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１９８１４７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／４８－ ７／５１
Ｇ０１Ｓ １７／００－１７／９５
Ｇ０１Ｃ ３／００－ ３／３２
(57)【特許請求の範囲】
【請求項1】
オブジェクトに光を出力する光源；前記オブジェクトから反射した光を受信ピクセルを介して受信するレシーバー；及び
前記光源が出力した光と前記レシーバーが受信した光の位相差を利用して前記オブジェクトに対する深さ情報を取得するプロセッサ；を含み、
前記受信ピクセルは、第１受信ピクセル及び第２受信ピクセルを含み、
前記第１受信ピクセルは、第１周期の第１位相時点及び第２周期の第２位相時点に各々光を受信して、
前記第２受信ピクセルは、第１周期の第３位相時点及び第２周期の第４位相時点に各々光を受信して、
前記プロセッサは、前記第１周期及び前記第２周期の間取得された情報を利用して前記オブジェクトに対する深さイメージを取得し、
前記レシーバーは、前記受信ピクセルを区画して取得された第１ブロックと第２ブロックを含み、
前記プロセッサは、前記第１ブロックを介して受信された光と前記第２ブロックを介して受信された光を共に利用して前記深さ情報を取得し、
前記第１ブロックに含まれた二つのピクセルと前記第２ブロックに含まれた二つのピクセルのうち一つのピクセルが重なる、カメラモジュール。
【請求項2】
前記第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なる、請求項１に記載のカメラモジュール。
【請求項3】
前記第１受信ピクセル及び前記第２受信ピクセルは、互いに隣接する、請求項１又は２に記載のカメラモジュール。
【請求項4】
前記プロセッサは、前記第１受信ピクセルでの前記第３位相時点に対する情報を前記第１受信ピクセルと隣接するピクセルが前記第３位相時点で取得した情報で補間する、請求項１ないし３のいずれか１項に記載のカメラモジュール。
【請求項5】
前記第３位相時点に対する情報は、前記第３位相時点に受信された光に対しての電荷量情報を含む、請求項１ないし４のいずれか１項に記載のカメラモジュール。
【請求項6】
前記プロセッサは、超解像手法（ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ）を適用して解像度を高める、請求項１ないし５のいずれか１項に記載のカメラモジュール。
【請求項7】
前記光源は前記プロセッサから受信された制御信号により大きさ（ａｍｐｌｉｔｕｄｅ）変調または位相（ｐｈａｓｅ）変調を行って前記光を出力する、請求項１ないし６のいずれか１項に記載のカメラモジュール。
【請求項8】
前記光源から出力される光はプロセッサの制御信号により既設定周期を有する周期的な連続関数の形態を有する、請求項１ないし６のいずれか１項に記載のカメラモジュール。
【請求項9】
前記光源は複数の出力ピクセルを含み、複数の出力ピクセルの各々は互いに独立に光を出力する、請求項１ないし８のいずれか１項に記載のカメラモジュール。
【請求項10】
前記複数の出力ピクセルは、互いに異なる強さの光、互いに異なる周波数の光、互いに異なる位相の光または、互いに異なるディレイタイムを有する光を出力する、請求項９に記載のカメラモジュール。
【請求項11】
オブジェクトに光を出力する光源；前記オブジェクトから反射した光を受信ピクセルを介して受信する、レシーバーに含まれるイメージセンサー；
プロセッサを含む印刷回路基板；及び
レンズを含み、前記印刷回路基板と結合されるレンズバレルを含み、
前記プロセッサは前記光源が出力した光と前記イメージセンサーが受信した光の位相差を利用して前記オブジェクトに対する深さ情報を獲得し、
前記受信ピクセルは、第１受信ピクセル及び第２受信ピクセルを含み、
前記第１受信ピクセルは、第１周期の第１位相時点及び第２周期の第２位相時点に各々光を受信して、
前記第２受信ピクセルは、第１周期の第３位相時点及び第２周期の第４位相時点に各々光を受信して、
前記プロセッサは、前記第１周期及び前記第２周期の間取得された情報を利用して前記オブジェクトに対する深さイメージを取得し、
前記レシーバーは、前記受信ピクセルを区画して取得された第１ブロックと第２ブロックを含み、
前記プロセッサは、前記第１ブロックを介して受信された光と前記第２ブロックを介して受信された光を共に利用して前記深さ情報を取得し、
前記第１ブロックに含まれた二つのピクセルと前記第２ブロックに含まれた二つのピクセルのうち一つのピクセルが重なる、カメラモジュール。
【請求項12】
前記第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なる、請求項１１に記載のカメラモジュール。
【請求項13】
前記第１受信ピクセル及び前記第２受信ピクセルは、互いに隣接する、請求項１１又は１２に記載のカメラモジュール。
【請求項14】
前記プロセッサは、前記第１受信ピクセルでの前記第３位相時点に対する情報を前記第１受信ピクセルと隣接するピクセルが前記第３位相時点で取得した情報で補間する、請求項１１ないし１３のいずれか１項に記載のカメラモジュール。
【請求項15】
光をオブジェクトに出力するステップ；第１周期の第１位相時点に受信ピクセル内の第１受信ピクセルを利用して光を受信して、第１周期の第３位相時点に前記受信ピクセル内の第２受信ピクセルを利用して光を受信するステップ；
第２周期の第２位相時点に第１受信ピクセルを利用して光を受信して、第２周期の第４位相時点に第２受信ピクセルを利用して光を受信するステップ；及び
前記第１周期及び前記第２周期の間取得された情報を利用して前記オブジェクトに対する深さイメージを取得するステップ；
前記受信ピクセルを区画して取得された第１ブロックと第２ブロックにおいて、前記第１ブロックを介して受信された光と前記第２ブロックを介して受信された光を共に利用して深さ情報を取得するステップ；を含み、
前記第１ブロックに含まれた二つのピクセルと前記第２ブロックに含まれた二つのピクセルのうち一つのピクセルが重なる、
深さ情報取得方法。
【請求項16】
前記第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なる、請求項１５に記載の深さ情報取得方法。
【請求項17】
前記第１受信ピクセル及び前記第２受信ピクセルは、互いに隣接する、請求項１５又は１６に記載の深さ情報獲得方法。
【請求項18】
前記第１受信ピクセルでの前記第３位相時点に対する情報を前記第１受信ピクセルと隣接するピクセルが前記第３位相時点で取得した情報で補間するステップを含む、請求項１５乃至１７のいずれか１項に記載の深さ情報獲得方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、深さ情報を取得する方法及びカメラモジュールに関する。
【背景技術】
【0002】
光を出力してオブジェクトに反射させることで情報を取得する装置が様々な分野で利用されている。例えば、３Ｄカメラから距離測定手法に至るまで、光を出力して情報を取得する技術は様々な方式で利用されている。
【0003】
例えば、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）は、光が出力された時点とオブジェクトに反射して戻ってきた受信光の受信時点の間の時間差を測定して距離を測定する原理を示す用語であって、ＴＯＦ技術は、実現方法が簡単であるため、航空、造船、土木、カメラ、測量など様々な分野で利用されている。
【0004】
また、これと関連してハードウェア対比良い性能を有するカメラに対するニーズが増加している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、一つ以上の実施例により深さ情報を取得する方法及びカメラモジュールを提供することができる。一実施例により、深さ情報を取得できるカメラモジュールにおいて第１周期及び第２周期の間取得した光を利用してオブジェクトに対する深さイメージを取得する方法が開示される。カメラモジュールは、第１受信ピクセル及び第２受信ピクセルにおいて第１周期及び第２周期の間取得した光を利用して、オブジェクトに対する深さイメージを取得することができる。解決しようとする技術的課題は、前記のような技術的課題で限定されず、通常の技術者に自明な範囲内で多様な技術的課題がさらに含まれることができる。
【課題を解決するための手段】
【0006】
第１側面に係るカメラモジュールは、光をオブジェクトに出力する光源；前記オブジェクトから反射した光を受信ピクセルを介して受信するレシーバー；及び前記光源が出力した光と前記レシーバーが受信した光の位相差を利用して前記オブジェクトに対する深さ情報を取得するプロセッサ；を含み、前記受信ピクセルは、第１受信ピクセル及び第２受信ピクセルを含み、前記第１受信ピクセルは、第１周期の第１位相時点及び第２周期の第２位相時点に各々光を受信して、前記第２受信ピクセルは、第１周期の第３位相時点及び第２周期の第４位相時点に各々光を受信して、前記プロセッサは、前記第１周期及び前記第２周期の間取得された情報を利用して前記オブジェクトに対する深さイメージを取得することができる。
【0007】
さらに、前記第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なってもよい。
【0008】
さらに、前記第１受信ピクセル及び前記第２受信ピクセルは、互いに隣接することができる。
【0009】
さらに、プロセッサは、前記第１受信ピクセルでの前記第３位相時点に対する情報を前記第１受信ピクセルと隣接したピクセルが、前記第３位相時点で取得した情報で補間することができる。
【0010】
前記第３位相時点に対する情報は、前記第３位相時点に受信された光に対しての電荷量情報を含むことができる。
【0011】
さらに、前記プロセッサは、超解像手法（ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ）を適用して解像度を高めることができる。
【0012】
さらに、前記レシーバーは、前記受信ピクセルを区画して取得された第１ブロックと第２ブロックを含み、前記プロセッサは、前記第１ブロックを介して受信された光と前記第２ブロックを介して受信された光を共に利用して前記深さ情報を取得することができる。
【0013】
さらに、前記第１ブロックに含まれた二つのピクセルと前記第２ブロックに含まれた二つのピクセルのうちの一つのピクセルが重なってもよい。
【0014】
第２側面に係る深さ情報取得方法は、光をオブジェクトに出力するステップ；第１周期の第１位相時点に第１受信ピクセルを利用して光を受信して、第１周期の第３位相時点に第２受信ピクセルを利用して光を受信するステップ；第２周期の第２位相時点に第１受信ピクセルを利用して光を受信して、第２周期の第４位相時点に第２受信ピクセルを利用して光を受信するステップ；及び前記第１周期及び前記第２周期の間取得された情報を利用して前記オブジェクトに対する深さイメージを取得するステップ；を含むことができる。
【0015】
さらに、前記第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なってもよい。
【0016】
さらに、前記第１受信ピクセル及び前記第２受信ピクセルは、互いに隣接することができる。
【0017】
さらに、前記第１受信ピクセルが、前記第１周期の間取得した光を利用して取得した深さ情報を前記第１受信ピクセルと斜めに隣接した一つ以上のピクセルが、前記第１周期の間取得した光に対しての情報を利用して補間するステップをさらに含むことができる。
【0018】
第３側面は、第２側面に係る方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。
【発明の効果】
【0019】
本開示は一つ以上の実施例により深さ情報を取得する方法及びカメラモジュールを提供することができる。一実施例により、深さ情報を取得できるカメラモジュールにおいて第１周期及び第２周期の間取得した光を利用してオブジェクトに対する深さイメージを取得する方法が開示される。
【図面の簡単な説明】
【0020】
【図1】一実施例に係るカメラモジュールの構成及び動作を示すブロック図である。
【図2】一実施例に係るカメラモジュールの断面図を図示する。
【図3】一実施例に係るカメラモジュールが第１ピクセル及び第２ピクセルが第１周期及び第２周期の間取得した光を利用してオブジェクトに対する深さイメージを取得する一例を図示する。
【図5】一実施例により第１周期の間第１ピクセルにｐｈａｓｅ０°の位相信号が印加されて、第２ピクセルにｐｈａｓｅ１８０°の位相信号が印加されて、第２周期の間第１ピクセルにｐｈａｓｅ９０°の位相信号が印加されて、第２ピクセルにｐｈａｓｅ２７０°の位相信号が印加される一例を示す図面である。
【図7】一実施例により第１周期の間第１ピクセルにｐｈａｓｅ０°の位相信号が印加されて、第２ピクセルにｐｈａｓｅ９０°の位相信号が印加されて、第２周期の間第１ピクセルにｐｈａｓｅ２７０°の位相信号が印加されて、第２ピクセルにｐｈａｓｅ１８０°の位相信号が印加される一例を示す図面である。
【図9】一実施例により第１ピクセル及び第２ピクセルが横に隣接する一例を示す図面である。
【図10】一実施例により第１ピクセル及び第３ピクセルが横に隣接して、第２ピクセル及び第４ピクセルが横に隣接して、カメラモジュールが動作する一例を示す図面である。
【図11】カメラモジュールが、超解像度（Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ）手法を利用してイメージの解像度を高める方法を示す図面である。
【図12】一実施例により超解像度手法により解像度が高まる一例を説明するための図面である。
【図13】一実施例により補間を行って解像度を高める一例を説明するための図面である。
【図14】一実施例によりオブジェクトに対する深さ情報を取得する方法を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、添付された図面を参照して本発明の好ましい実施例を詳細に説明する。
【0022】
ただし、本発明の技術思想は、説明される一部実施例に限定されず各々異なる様々な形態で具現されることができて、本発明の技術思想範囲内でなら、実施例間その構成要素中一つ以上を選択的に結合または置き換えて使うことができる。
【0023】
さらに、本発明の実施例で使われる用語（技術及び科学的用語を含む）は、明白に特に定義されて記述されない限り、この発明が属する技術分野で通常の知識を有する者に通常理解できる意味と解釈され、予め定義された用語と共に通常使われる用語は、関連技術の文脈上の意味を考慮してその意味を解釈することができるはずである。
【0024】
さらに、本発明の実施例で使われた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。
【0025】
本明細書で、単数型は文面で特に言及しない限り複数型も含むことができ、“Ａ及び（と）Ｂ、Ｃ中少なくとも一つ（または一個以上）”と記載される場合、Ａ、Ｂ、Ｃで組み合わせできるすべての組み合わせ中一つ以上を含むことができる。
【0026】
さらに、本発明の実施例の構成要素を説明するにあたり、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）等の用語を使うことができる。このような用語は、その構成要素を別の構成要素と区別するためのものであって、その用語によって該当構成要素の本質や順番または順序などで限定されない。
【0027】
なお、ある構成要素が別の構成要素に‘連結’、‘結合’、または‘接続’されると記載された場合、その構成要素はその別の構成要素に直接的に‘連結’、‘結合’、または‘接続’される場合だけでなく、その構成要素とその別の構成要素の間にあるさらに別の構成要素によって‘連結’、‘結合’、または‘接続’される場合も含むことができる。
【0028】
さらに、各構成要素の“上（の上）”または“下（の下）”に形成または配置されると記載される場合、“上（の上）”または“下（の下）”は、二つの構成要素が互いに直接接触する場合だけでなく、一つ以上のさらに別の構成要素が二つの構成要素の間に形成または配置される場合も含む。さらに、“上（の上）”または“下（下）”と表される場合、一つの構成要素を基準に上側方向だけでなく下側方向の意味も含まれることができる。
【0029】
さらに、以下で記載される数値は、誤差に係る合理的な範囲内の数値と解釈されることができる。例えば、“１”と記載された数値が、“１．０１”と解釈されることができる。
【0030】
以下では、図面を参照して本発明の実施例を詳細に説明する。以下で‘光’とは‘光信号’を含む概念と理解され、‘信号’とは‘光信号’を含む概念と理解されて、混用されて使われることができる。
【0031】
図１は、一実施例に係るカメラモジュール１００の構成及び動作を示すブロック図である。
【0032】
図１に示したように、カメラモジュール１００は、光源１１００、プロセッサ１０００及びレシーバー１２０を含むことができる。
【0033】
しかし、図１に図示された構成要素外に他の汎用的な構成要素がカメラモジュール１００にさらに含まれる可能性があることを関連技術分野で通常の知識を有する者なら理解できる。例えば、カメラモジュール１００は、光源から出力された光が透過するディフューザー、光源１１００に含まれる光変調器（図示せず）またはプロセッサ１０００と連結されるメモリ（図示せず）等をさらに含むことができる。用語“メモリ”は、電子情報を格納可能な任意の電子コンポーネントを含むように広く解釈されることができる。用語メモリは、ランダムアクセスメモリ（ＲＡＭ）、読み取り―専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラム可能な読み取り－専用メモリ（ＰＲＯＭ）、消去－プログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ格納装置、レジスター、などのようなプロセッサ－読み取り可能な媒体の多様な類型を指し示すこともできる。
【0034】
プロセッサ１０００が、メモリから情報を読み取る／メモリに情報を記録できるなら、メモリはプロセッサと電子通信状態にあるといえる。プロセッサ１０００に集積されたメモリは、プロセッサと電子通信状態にある。
【0035】
さらに、メモリは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、ラム（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ロム（ＲＯＭ，Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスク中少なくとも一つのタイプの格納媒体を含むことができる。
【0036】
または、別の実施例に係る場合、図１に図示された構成要素のうち一部構成要素は、省略される可能性があることを関連技術分野で通常の知識を有する者なら理解できる。
【0037】
一実施例に係る光源１１００は、光を出力することができる。光源１１００から出力される光は、既設定された範囲内の波長であってもよい。
【0038】
光源１１００は、例えば、赤外線波長を有する光、安全のために人間の目には見えない約８５０ｎｍの近赤外線（ＮＩＲ）波長を有する光を放出させることができる発光ダイオード（ＬＥＤ）またはレーザーダイオード（ＬＤ）であってもよいが、波長の帯域と光源の種類は制限を受けない。例えば、光源１１００から出力する光の波長は、可視光線領域に含まれることもできて、紫外線領域に含まれることもできる。
【0039】
プロセッサ１０００から受信された制御信号により光源１１００は、例えば大きさ（ａｍｐｌｉｔｕｄｅ）変調または位相（ｐｈａｓｅ）変調を行って光を出力することができる。
【0040】
プロセッサ１０００の制御信号により光源１１００からオブジェクト１３０に出力される光は、既設定周期を有する周期的な連続関数の形態を有することができる。例えば、光はサイン波、ランプ波、四角波、パルス波などのように特別に定義された波形を有することもできるが、定義されなかった通常の形態の波形を有することもできる。
【0041】
レシーバー１２０は、オブジェクト１３０で反射した光を受信することができる。レシーバー１２０が受信する受信光を介してカメラモジュール１００は、様々な情報を取得することができる。
【0042】
一実施例に係るカメラモジュール１００は、受信光を介して、オブジェクト１３０に対する情報を取得することができる。例えば、プロセッサ１０００は、オブジェクト１３０の形状、大きさ、色、深さなどオブジェクトに対する様々な情報を取得することができる。
【0043】
レシーバー１２０は、レシーバー１２０に流入する様々な光のうち光源１１００から出力された光が、オブジェクト１３０に反射して取得される受信光を区別することができる。例えば、光源１１００が７５０ｎｍ～９５０ｎｍ範囲の光を出力する場合、レシーバー１２０は、フィルタリングを介して７５０ｎｍ～９５０ｎｍ範囲の光を選別的に取得することができる。さらに、レシーバー１２０は、光に対応する受信光を選別的に取得することによって、オブジェクト１３０に対する正確な情報を取得することができる。
【0044】
一実施例に係るカメラモジュール１００は、ＴｏＦ機能を利用して深さ情報を抽出することができるため、本開示でＴｏＦカメラモジュールまたはＴｏＦモジュールと混用されて理解される。
【0045】
光源１１００は、出力する光を生成してオブジェクト１３０に照射することができる。この時、光源１１００は、パルス波（ｐｕｌｓｅ ｗａｖｅ）の形態や持続波（ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ）の形態で光を生成して出力することができる。持続波は、サイン波（ｓｉｎｕｓｏｉｄ ｗａｖｅ）や四角波（ｓｑｕａｒｅｄ ｗａｖｅ）の形態であってもよい。光をパルス波や持続波形態で生成することによって、カメラモジュール１００は、光源１１００から出力された光とオブジェクトから反射した後、カメラモジュール１００が受信した光間の位相差を決めることができる。
【0046】
光源１１００は、生成された光を既設定露出周期の間オブジェクト１３０に照射することができる。露出周期とは、一つのフレーム周期を意味する。複数のフレームを生成する場合、設定された露出周期が繰り返されることができる。例えば、カメラモジュール１００が、２０ＦＰＳでオブジェクトを撮影する場合、露出周期は１／２０［ｓｅｃ］となる。そして、１００個のフレームを生成する場合、露出周期は１００回繰り返されることになる。
【0047】
光源１１００は、互いに異なる周波数を有する複数の光を生成することができる。光源１１００は、各々異なる周波数を有する複数の光を順次繰り返し生成することができる。または、光源１１００は、互いに異なる周波数を有する複数の光を同時に生成することもできる。
【0048】
一実施例に係る光源１１００は、出力ピクセルを介して光をオブジェクト１１００に出力することができる。光源１１００は、出力ピクセルを含むことができ、出力ピクセルの各々は、互いに独立に光を出力することができる。例えば、出力ピクセルは、互いに異なる強さの光が出力できて、互いに異なる周波数の光が出力できて、互いに異なる位相の光が出力できて、互いに異なるディレイタイムを有する光を出力することができる。各出力ピクセルは、発光ダイオードを含むことができる。
【0049】
一実施例に係るレシーバー１２０は、受信ピクセルを介して光を受信することができる。レシーバー１２０は、光源１１００から出力された光が、オブジェクト１３０に反射して取得される反射光を受信することができる。レシーバー１２０は、受信ピクセルを含むことができ、受信ピクセルの各々は、互いに独立に光を受信することができる。例えば、受信ピクセルは、互いに異なるタイミングで光を受信できて、互いに異なるフィルタリング方式で光を受信することができる。
【0050】
一実施例に係るレシーバー１２０は、レンズ（図示せず）及びイメージセンサーを含むことができる。レンズは、オブジェクト１３０から反射した光を集光してイメージセンサー（図示せず）に伝達することができる。イメージセンサーは、光を受信して、受信した光に対応する電気信号を生成することができる。
【0051】
一実施例によると、光源１１００は、時間の流れにより異なる周波数の光を出力することができる。例えば、光源１１００は、露出周期の初半分の間は、周波数f１の光を出力して、残りの半分の露出周期の間は、周波数f２の光を出力することができる。
【0052】
一実施例によると、光源１１００に含まれた複数の発光ダイオードのうち一部発光ダイオードは、周波数f１の光を出力して、残りの発光ダイオードは、周波数f２の光を出力することができる。
【0053】
光源１１００に含まれた複数の発光ダイオードを制御するため、光源１１００は、光変調器を含むことができる。
【0054】
光源１１００は、光を生成することができる。光源１１００が生成する光は、波長が７７０乃至３０００ｎｍである赤外線であってもよく、波長が３８０乃至７７０ｎｍである可視光線であってもよい。光源１１００は、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ，ＬＥＤ）を利用することができ、複数の発光ダイオードが、一定のパターンにより配列された形態を有することができる。光源１１００は、有機発光ダイオード（Ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ，ＯＬＥＤ）やレーザーダイオード（Ｌａｓｅｒ ｄｉｏｄｅ，ＬＤ）を含むこともできる。または、光源１１００は、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）でもある。ＶＣＳＥＬは、電気信号を光に変えるレーザーダイオード中一つであり、約８００乃至１０００ｎｍである波長、例えば約８５０ｎｍまたは約９４０ｎｍ波長を使うことができる。
【0055】
光源１１００は、一定時間間隔で点滅（ｏｎ／ｏｆｆ）を繰り返してパルス波形態や持続波形態の光を生成することができる。一定時間間隔は、光の周波数であってもよい。光源の点滅は、光変調器によって制御されることができる。
【0056】
光変調器は、光源１１００の点滅を制御して光源１１００が持続波やパルス波形態の光を生成するように制御することができる。光変調器は、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ）やパルス変調（ｐｕｌｓｅ ｍｏｄｕｌａｔｉｏｎ）等を介して光源１１００が、持続波やパルス波形態の光を生成するように制御することができる。
【0057】
一実施例に係るプロセッサ１０００は、光源１１００が出力した光とレシーバー１２０が受信した光の位相差を利用して、オブジェクト１３０に対する深さ情報を取得することができる。レシーバー１２０は、互いに異なる位相差を有する複数の参照信号（ｒｅｆｅｒｅｎｃｅ ｓｉｇｎａｌ）を利用して、各参照信号に対応する電気信号を生成することができる。参照信号の周波数は、光源１１００から出力された光の周波数と同じに決定されることができる。従って、光源１１００が複数の周波数で光を生成する場合、レシーバー１２０は各周波数に対応する複数の参照信号を利用して電気信号を生成することができる。電気信号は、各参照信号に対応する電荷量や電圧に関する情報を含むことができる。
【0058】
一実施例に係る参照信号は、四つ（Ｃ１乃至Ｃ４）であってもよい。各参照信号（Ｃ１乃至Ｃ４）は、光源１１００が出力した光と同じ周波数を有するが、互いに９０度位相差を有することができる。四つの参照信号中一つ（Ｃ１）は、光源１１００が出力した光と同じ位相を有することができる。オブジェクト１３０から反射して取得された光は、光源１１００が出力した光がオブジェクト１３０から反射して帰ってくる距離程度位相が遅れる。
【0059】
レシーバー１２０は、受信された光と各参照信号を各々ミキシング（ｍｉｘｉｎｇ）してＱ１乃至Ｑ４信号を各参照信号別に生成することができる。レシーバー１２０は、複数のピクセルがグリッド形態で配列された構造から構成されたイメージセンサーを含むことができる。イメージセンサーは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーであってもよく、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーであってもよい。さらに、イメージセンサーは、オブジェクトから反射する赤外線光を受信して時間または位相差を利用して距離を測定するＴｏＦセンサーを含むことができる。
【0060】
具体的に、プロセッサ１０００は、電気信号の電荷量情報を利用して出力光と入力光との間の位相差を計算することができる。
【0061】
上述した通り、光源１１００から出力される光の周波数ごとに四つの電気信号が生成されることができる。従って、プロセッサ１０００は、下の数学式１を利用して光源１１００から出力される光とレシーバー１２０が受信する光との間の位相差（ｔｄ）を決めることができる。
【数1】
【0062】
ここで、Ｑ１乃至Ｑ４は、四つの電気信号の各々の電荷充電量であってもよい。Ｑ１は、光源１１００から出力される光と同じ位相の基準信号に対応する電気信号の電荷量で、Ｑ２は、光源１１００から出力される光より位相が１８０度遅い基準信号に対応する電気信号の電荷量で、Ｑ３は、光源１１００から出力される光より位相が９０度遅い基準信号に対応する電気信号の電荷量で、Ｑ４は、光源１１００から出力される光より位相が２７０度遅い基準信号に対応する電気信号の電荷量であってもよい。
【0063】
そうすると、プロセッサ１０００は、光源１１００から出力される光とレシーバー１２０が受信する光の位相差を利用して、オブジェクト１３０とカメラモジュール１００との間の距離を決めることができる。この時、一実施例に係るプロセッサ１０００は、数学式２を利用してオブジェクト１３０とカメラモジュール１００との間の距離（ｄ）を決めることができる。
【数2】
【0064】
ここで、ｃは光の速度で、ｆは出力光の周波数である。
【0065】
一実施例によると、カメラモジュール１００からＴｏＦ ＩＲイメージ及び深さ（ｄｅｐｔｈ）イメージを取得することができる。
【0066】
一実施例に係るプロセッサ１０００は、光源１１００が光を出力した時点とレシーバー１２０が光を受信した時点の差を利用して、オブジェクト１３０に対する深さ情報を取得することができる。光源１１００は、レーザーや赤外線などの光をオブジェクト１３０に出力して、反射して戻ってくる光を受信して時間差を計算することによって深さ情報を取得することができる。
【0067】
図２は、一実施例に係るカメラモジュール１００の断面図を図示する。
【0068】
図２を参照すると、カメラモジュール１００は、レンズアセンブリー２００、イメージセンサー２５０及び印刷回路基板２６０を含む。図１のプロセッサ１０００等は、印刷回路基板２６０内で具現されることができる。図示されなかったが、図１の光源１１００は、印刷回路基板２６０上でイメージセンサー２５０の側面に配置されるか、カメラモジュール１００の外部、例えばカメラモジュール１００の側面に配置されるが、これに制限されない。
【0069】
レンズアセンブリー２００は、レンズ２３０、レンズバレル２１０、レンズホルダー２２１、２２２及びＩＲフィルター２４０を含むことができる。
【0070】
レンズ２３０は、複数枚で構成され、１枚で構成されてもよい。レンズ２３０が複数枚で構成される場合、各レンズは、中心軸を基準に整列して光学系を形成することができる。ここで、中心軸は、光学系の光軸（Ｏｐｔｉｃａｌ ａｘｉｓ）と同じであってもよい。
【0071】
レンズバレル２１０は、レンズホルダー２２１、２２２と結合されて、内部にレンズを収容できる空間が設けられてもよい。レンズバレル２１０は、一つまたは複数のレンズと回転結合できるが、これは例示的なものであり、接着剤（例えば、エポキシ（ｅｐｏｘｙ）等の接着用樹脂）を利用した方式など他の方式で結合することができる。
【0072】
レンズホルダー２２１、２２２は、レンズバレル２１０と結合されて、レンズバレル２１０を支持して、イメージセンサー２５０が搭載された印刷回路基板２６０に結合することができる。レンズホルダー２２１、２２２によってレンズバレル２１０の下部にＩＲフィルター２４０が付着することができる空間が形成されることができる。レンズホルダー２２１、２２２の内周面には螺旋状パターンが形成されることができて、これと同様に外周面に螺旋状パターンが形成されたレンズバレル２１０と回転結合することができる。しかし、これは例示的なものであり、レンズホルダー２２１、２２２とレンズバレル２１０は、接着剤を介して結合されてもよく、レンズホルダー２２１、２２２とレンズバレル２１０が一体型で形成されてもよい。
【0073】
レンズホルダー２２１、２２２は、レンズバレル２１０と結合する上部ホルダー２２１及びイメージセンサー２５０が搭載された印刷回路基板２６０と結合する下部ホルダー２２２に区分され、上部ホルダー２２１及び下部ホルダー２２２は、一体型で形成されてもよく、互いに分離した構造で形成された後締結または結合されてもよく、互いに分離して離隔した構造を有してもよい。この時、上部ホルダー２２１の直径は、下部ホルダー２２２の直径より小さく形成されるが、これに制限されない。
【0074】
前記の例示は一実施例に過ぎず、レンズ２３０は、カメラモジュール１００に入射される光を集光してイメージセンサー２５０に伝達できる他の構造で構成されてもよい。
【0075】
イメージセンサー２５０は、レンズ２３０を介して集光された光を利用して電気信号を生成することができる。
【0076】
イメージセンサー２５０は、光源１１００の点滅周期と同期化されて入力される光を検出することができる。具体的に、イメージセンサー２５０は、光源１１００から出力された光と同相（ｉｎ ｐｈａｓｅ）及び異相（ｏｕｔ ｐｈａｓｅ）で各々光を検出することができる。つまり、イメージセンサー２５０は、光源１１００がついている時間に光を吸収するステップと光源１１００が消えている時間に光を吸収するステップを繰り返し行うことができる。
【0077】
イメージセンサー２５０は、互いに異なる位相差を有する複数の参照信号（ｒｅｆｅｒｅｎｃｅ ｓｉｇｎａｌ）を利用して、各参照信号に対応する電気信号を生成することができる。参照信号の周波数は、光源１１００から出力された光の周波数と同じに決定されることができる。従って、光源１１００が、複数の周波数で光を生成する場合、イメージセンサー２５０は、各周波数に対応する複数の参照信号を利用して電気信号を生成することができる。電気信号は、各参照信号に対応する電荷量や電圧に関する情報を含むことができる。
【0078】
図３は、一実施例に係るカメラモジュール１００が、第１ピクセル３１０及び第２ピクセル３２０が第１周期及び第２周期の間取得した光を利用してオブジェクトに対する深さイメージを取得する一例を図示する。第１ピクセル３１０及び第２ピクセル３２０は、受信ピクセルであってもよい。
【0079】
図３を参照すると、カメラモジュールは、第１深さイメージ（１）、第２深さイメージ（２）、第３深さイメージ（３）を順次取得することができる。具体的に、カメラモジュール１００は、ｐｈａｓｅ０°に対する位相イメージ、ｐｈａｓｅ９０°に対する位相イメージ、ｐｈａｓｅ１８０°に対する位相イメージ、及びｐｈａｓｅ２７０°に対する位相イメージを一番目の第１周期及び第２周期に取得して、第１深さイメージ（１）を取得して、ｐｈａｓｅ０°に対する位相イメージ、ｐｈａｓｅ９０°に対する位相イメージ、ｐｈａｓｅ１８０°に対する位相イメージ及びｐｈａｓｅ２７０°に対する位相イメージを二番目の第１周期及び第２周期に取得して第２深さイメージ（２）を取得して、ｐｈａｓｅ０°に対する位相イメージ、ｐｈａｓｅ９０°に対する位相イメージ、ｐｈａｓｅ１８０°に対する位相イメージ及びｐｈａｓｅ２７０°に対する位相イメージを三番目の第１周期及び第２周期に取得して第３深さイメージ（３）を取得することができる。
【0080】
具体的に、ブロック３００に含まれた第１ピクセル３１０は、第１周期の間ｐｈａｓｅ０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ１８０°に対する位相イメージを取得することができる。ブロック３００に含まれた第２ピクセル３２０は、第１周期の間ｐｈａｓｅ９０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ２７０°に対する位相イメージを取得することができる。しかし、図３に開示された実施例で限定されず、第１ピクセル３１０または第２ピクセル３２０が、第１周期または第２周期でどのような位相イメージを取得するかは、予め決まった設定に応じて決定されることができる。
【0081】
ピクセルが１回開放された後閉じられる時まで受信した信号の強度が微弱であるため、一実施例に係るカメラモジュール１００は、同じ過程を数回繰り返して深さイメージを取得することができる。例えば、ブロック３００は、位相イメージを取得する過程を数回、例えば１００回以上繰り返して信号を重複（ｉｎｔｅｇｒａｔｉｏｎ）または蓄積（ａｃｃｕｍｕｌａｔｉｏｎ）して深さイメージを取得することができる。
【0082】
図３を参照すると、各周期（Ｔ）の間ブロック３００に含まれたピクセル別に異なる位相信号が印加されてもよい。例えば、ブロック３００は、第１ピクセル３１０及び第２ピクセル３２０を含むことができ、第１ピクセル３１０には第１周期の間ｐｈａｓｅ０°に対する位相信号が印加されて、第２周期の間ｐｈａｓｅ１８０°に対する位相信号が印加されることができる。ブロック３００に含まれた第２ピクセル３２０には第１周期の間ｐｈａｓｅ９０°に対する位相信号が印加されて、第２周期の間ｐｈａｓｅ２７０°に対する位相信号が印加されるが、これに制限されない。
【0083】
一周期（Ｔ）の間、各ピクセルが受信した信号の強度が微弱であるため、同じ過程が数回繰り返される。カメラモジュール１００は、ピクセル別で異なる位相信号が印加される周期（Ｔ）を数回、例えば１００回以上繰り返して信号を重複（ｉｎｔｅｇｒａｔｉｏｎ）または蓄積（ａｃｃｕｍｕｌａｔｉｏｎ）することができる。カメラモジュール１００は、第１周期に第１ピクセル３１０からｐｈａｓｅ０°に対する情報をリードアウト（ｒｅａｄ ｏｕｔ）して、第２ピクセル３２０からｐｈａｓｅ９０°に対する情報をリードアウトすることができる。さらに、第１カメラモジュール１００は、２周期に第１ピクセル３１０からｐｈａｓｅ１８０°に対する情報をリードアウトして、第２ピクセル３２０からｐｈａｓｅ２７０°に対する情報をリードアウトすることができる。なお、第１深さイメージ（１）は、第１ピクセル３１０から得たｐｈａｓｅ０°に対する情報及びｐｈａｓｅ１８０°に対する情報、第２ピクセル３２０から得たｐｈａｓｅ９０°に対する情報及びｐｈａｓｅ２７０°に対する情報を利用して取得されることができる。
【0084】
このように、各周期（Ｔ）の間一つのブロック３０に含まれたピクセル別に異なる位相信号が印加されて、各ピクセルから得た各位相に対する情報を利用して深さイメージを抽出する場合、深さイメージを取得するまで所要する時間が減少することができる。
【0085】
各周期（Ｔ）の間隣り合うピクセルには、互いに異なる位相信号が印加され、各周期（Ｔ）の間第１ピクセルにｐｈａｓｅ０°の位相信号またはｐｈａｓｅ１８０°の位相信号が印加される区間、及び第２ピクセルにｐｈａｓｅ９０°の位相信号またはｐｈａｓｅ２７０°の位相信号が印加される区間中少なくとも二つの少なくとも一部は互いに重なる。これにより、ｐｈａｓｅ０°の位相信号が印加される区間、ｐｈａｓｅ９０°の位相信号が印加される区間、ｐｈａｓｅ１８０°の位相信号が印加される区間、及びｐｈａｓｅ２７０°の位相信号が印加される区間が重ならない場合に比べて、一つの深さイメージを取得するため所要する時間を減らすことができる。
【0086】
【0087】
第１ピクセル３１０は、第１周期の第１位相時点及び第２周期の第２位相時点に各々光を受信して、第２ピクセル３２０は、第１周期の第３位相時点及び第２周期の第４位相時点に各々光を受信することができる。
【0088】
図４を参照すると、第１周期で第１ピクセル３１０は、０゜程度遅延して光を受信するので、第１ピクセル３１０は、ｐｈａｓｅ０°の位相信号を受信することができる。
【0089】
第１周期で第２ピクセル３２０は、９０゜程度遅延して光を受信するので、第２ピクセル３２０は、ｐｈａｓｅ９０°の位相信号を受信することができる。
【0090】
第２周期で第１ピクセル３１０は、１８０゜程度遅延して光を受信するので、第１ピクセル３１０は、ｐｈａｓｅ１８０°の位相信号を受信することができる。
【0091】
第２周期で第２ピクセル３２０は、２７０゜程度遅延して光を受信するので、第２ピクセル３２０は、ｐｈａｓｅ２７０°の位相信号を受信することができる。
【0092】
しかし、図４に開示された実施例に制限されず、第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なる任意の組み合わせであってもよい。
【0093】
第１ピクセル３１０と第２ピクセル３２０は、互いに隣接することができる。図４に示したように第１ピクセル３１０と第２ピクセル３２０が、縦に隣接することができるが、これに制限されない。例えば、第１ピクセル３１０と第２ピクセル３２０は、横に隣接することができる。または、第１ピクセル３１０と第２ピクセル３２０は、斜めに隣接することができる。
【0094】
図５は、一実施例により第１周期の間第１ピクセル３１０にｐｈａｓｅ０°の位相信号が印加されて、第２ピクセル３２０にｐｈａｓｅ１８０°の位相信号が印加されて、第２周期の間第１ピクセル３１０にｐｈａｓｅ９０°の位相信号が印加されて、第２ピクセル３２０にｐｈａｓｅ２７０°の位相信号が印加される一例を示す図面である。第１ピクセル３１０、第２ピクセル３２０、第３ピクセル３３０、第４ピクセル３４０は、受信ピクセルであってもよい。
【0095】
具体的に、ブロック３００に含まれた第１ピクセル３１０は、第１周期の間ｐｈａｓｅ０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ９０°に対する位相イメージを取得することができる。ブロック３００に含まれた第２ピクセル３２０は、第１周期の間ｐｈａｓｅ１８０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ２７０°に対する位相イメージを取得することができる。しかし、図５に開示された実施例で限定されず、第１ピクセル３１０または第２ピクセル３２０が、第１周期または第２周期でどのような位相イメージを取得するかは、予め決まった設定に応じて決定されることができる。ピクセルが１回開放された後閉じられる時まで受信した信号の強度が微弱であるため、一実施例に係るカメラモジュール１００は、同じ過程を数回繰り返して深さイメージを取得することができる。例えば、ブロック３００は、位相イメージを取得する過程を数回、例えば１００回以上繰り返して信号を重複（ｉｎｔｅｇｒａｔｉｏｎ）または蓄積（ａｃｃｕｍｕｌａｔｉｏｎ）して深さイメージを取得することができる。
【0096】
第３ピクセル３３０は、第１ピクセル３１０に対応して、第４ピクセル３４０は、第２ピクセル３２０に対応することができる。例えば、第３ピクセル３３０は、第１ピクセル３１０と共に、第１周期の間ｐｈａｓｅ０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ９０°に対する位相イメージを取得することができる。さらに、この場合、第４ピクセル３４０は、第２ピクセル３２０と共に、第１周期の間ｐｈａｓｅ１８０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ２７０°に対する位相イメージを取得することができる。
【0097】
【0098】
図６を参照すると、第１周期で第１ピクセル３１０は、０゜程度遅延して光を受信するので、第１ピクセル３１０は、ｐｈａｓｅ０°の位相信号を受信することができる。
【0099】
第１周期で第２ピクセル３２０は、１８０゜程度遅延して光を受信するので、第２ピクセル３２０は、ｐｈａｓｅ１８０°の位相信号を受信することができる。
【0100】
第１周期で第３ピクセル３３０は、０゜程度遅延して光を受信するので、第３ピクセル３３０は、ｐｈａｓｅ０°の位相信号を受信することができる。
【0101】
第１周期で第４ピクセル３４０は、１８０゜程度遅延して光を受信するので、第４ピクセル３４０は、ｐｈａｓｅ１８０°の位相信号を受信することができる。
【0102】
第２周期で第１ピクセル３１０は、９０゜程度遅延して光を受信するので、第１ピクセル３１０は、ｐｈａｓｅ９０°の位相信号を受信することができる。
【0103】
第２周期で第２ピクセル３２０は、２７０゜程度遅延して光を受信するので、第２ピクセル３２０は、ｐｈａｓｅ２７０°の位相信号を受信することができる。
【0104】
第２周期で第３ピクセル３３０は、９０゜程度遅延して光を受信するので、第３ピクセル３３０は、ｐｈａｓｅ９０°の位相信号を受信することができる。
【0105】
第２周期で第４ピクセル３４０は、２７０゜程度遅延して光を受信するので、第４ピクセル３４０は、ｐｈａｓｅ２７０°の位相信号を受信することができる。
【0106】
図７は、一実施例により第１周期の間第１ピクセル３１０にｐｈａｓｅ０°の位相信号が印加されて、第２ピクセル３２０にｐｈａｓｅ９０°の位相信号が印加されて、第２周期の間第１ピクセル３１０にｐｈａｓｅ２７０°の位相信号が印加されて、第２ピクセル３２０にｐｈａｓｅ１８０°の位相信号が印加される一例を示す図面である。
【0107】
具体的に、ブロック３００に含まれた第１ピクセル３１０は、第１周期の間ｐｈａｓｅ０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ２７０°に対する位相イメージを取得することができる。ブロック３００に含まれた第２ピクセル３２０は、第１周期の間ｐｈａｓｅ９０°に対する位相イメージを取得して、第２周期の間ｐｈａｓｅ１８０°に対する位相イメージを取得することができる。しかし、図７に開示された実施例で限定されず、第１ピクセル３１０または第２ピクセル３２０が、第１周期または第２周期でどのような位相イメージを取得するかは、予め決まった設定に応じて決定されることができる。
【0108】
ピクセルが１回開放された後閉じられる時まで受信した信号の強度が微弱であるため、一実施例に係るカメラモジュール１００は、同じ過程を数回繰り返して深さイメージを取得することができる。例えば、ブロック３００は、位相イメージを取得する過程を数回、例えば１００回以上繰り返して信号を重複（ｉｎｔｅｇｒａｔｉｏｎ）または蓄積（ａｃｃｕｍｕｌａｔｉｏｎ）して深さイメージを取得することができる。
【0109】
【0110】
図８を参照すると、第１周期で第１ピクセル３１０は、０゜程度遅延して光を受信するので、第１ピクセル３１０は、ｐｈａｓｅ０°の位相信号を受信することができる。
【0111】
第１周期で第２ピクセル３２０は、９０゜程度遅延して光を受信するので、第２ピクセル３２０は、ｐｈａｓｅ９０°の位相信号を受信することができる。
【0112】
第２周期で第１ピクセル３１０は、２７０゜程度遅延して光を受信するので、第１ピクセル３１０は、ｐｈａｓｅ２７０°の位相信号を受信することができる。
【0113】
第２周期で第２ピクセル３２０は、１８０゜程度遅延して光を受信するので、第２ピクセル３２０は、ｐｈａｓｅ１８０°の位相信号を受信することができる。
【0114】
図９は、一実施例により第１ピクセル３１０及び第２ピクセル３２０が横に隣接する一例を示す図面である。
【0115】
図９に示したように第１ピクセル３１０及び第２ピクセル３２０の相対的位置は多様に決定されることができる。第１ピクセル３１０及び第２ピクセルが受信する位相信号に対する具体的な内容は図３を参照することができる。
【0116】
図１０は、一実施例により第１ピクセル３１０及び第３ピクセル３３０が横に隣接して、第２ピクセル３２０及び第４ピクセル３４０が横に隣接して、カメラモジュール１００が動作する一例を示す図面である。
【0117】
図１０を参照すると、図５の場合とは異なって、第１ピクセル３１０及び第３ピクセル３３０が横に隣接して、第２ピクセル３２０及び第４ピクセル３４０が横に隣接する。つまり、同じ方式で動作するピクセルが横に隣接することによって、プロセッサ１０００は、ライン単位でピクセルを制御することができる。同じ横ラインのピクセルが同じ方式で動作するので、プロセッサ１０００は、ライン単位でピクセルを制御できて、それにより回路の複雑度が減少することができる。さらに、ブロック３００内に動作方式が異なる二つのピクセル３１０、３２０が含まれるのは図５の場合と同じである。
【0118】
図１０では、横ラインのピクセルが同じ動作を行う場合に対して図示したが、これに制限されない。例えば、縦ラインのピクセルが同じ動作を行うようにレシーバー１２０内のピクセルが設定されることができる。
【0119】
図１１は、カメラモジュール１００が超解像度（Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ）手法を利用してイメージの解像度を高める方法を示す図面である。
【0120】
一方、カメラモジュール１００は、一実施例により深さイメージの解像度を高めるために、超解像度（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ，ＳＲ）手法を利用することができる。ＳＲ手法は、複数の低解像イメージから高解像イメージを得る方法を幅広く指し示すことができる。
【0121】
具体的に、プロセッサ１０００は、ブロック単位で一つの深さ情報を取得することができる。仮にピクセル単位で一つの深さ情報を取得できるなら、２５個のピクセルから２５個の深さ情報を取得することができる。しかし、ブロック単位で一つの深さ情報を取得できるなら、取得できる情報が減少する。二つのピクセルの情報をまとめて一つの深さ情報を取得できるので、原則的に取得できる情報が１／２に減少することができる。例えば、プロセッサ１０００は、第１ブロック１１１０及び第２ブロック１１２０から二つの深さ情報を取得することができる。
【0122】
しかし、二つのピクセルから取得される情報をまとめて一つの深さ情報を取得する際に、利用されるピクセルを重複的に利用する場合、より多くの情報を取得することができる。例えば、プロセッサ１０００は、第１ブロック１１１０及び第２ブロック１１２０だけでなく、第３ブロック１１３０をさらに利用することができる。さらに、場合により隣接しい二つのピクセルを介して一つの深さ情報を取得することもできる。
【0123】
図１１では、一実施例により、ブロックに含まれたピクセルの数が二つで、重なるブロック間重なるピクセルの数が一つである場合について説明したが、これに制限されない。
【0124】
図１２は、一実施例により超解像度手法により解像度が高まる一例を説明するための図面である。
【0125】
第１解像度図面１２１０を参照すると、ピクセル単位で情報を取得する場合、ピクセル数に対応する解像度を取得することができる。しかし、ブロック単位で情報を取得する場合、一つのピクセルを一度だけ利用する時、ブロックに含まれたピクセルの数程度解像度が減少することができる。例えば、第１解像度図面１２１０に比べて第２解像度図面１２２０の解像度は１／２に減少した。しかし、上述したようなＳＲ手法を利用する場合、相当部分解像度を増加させることができ、追加的なアルゴリズムを介して第３解像度図面１２３０で表現された解像度よりもさらに高い解像度も実現が可能である。
【0126】
図１３は、一実施例により補間を行って解像度を高める一例を説明するための図面である。
【0127】
第１周期の間受信ピクセルが受信した光の位相が、第１周期図面１３５０に開示されて、第２周期の間受信ピクセルが受信した光の位相が、第２周期図面１３６０に開示される。第１ピクセル１３１０及び第２ピクセル１３２０は、受信ピクセルであってもよい。
【0128】
第１周期１３５０で、一実施例に係るプロセッサ１０００は、第１ピクセル１３１０でのｐｈａｓｅ９０°位相信号（９０°位相時点に対する情報）を第１ピクセル１３１０と隣接するピクセル１３１１、１３１２、１３１３、１３２０が取得したｐｈａｓｅ９０°位相信号（９０°位相時点に対する情報）を補間して取得することができる。第１ピクセル１３１０では、ｐｈａｓｅ０°位相信号とｐｈａｓｅ１８０°位相信号を各々第１周期及び第２周期に取得できるだけであって、ｐｈａｓｅ９０°位相信号が取得されない。しかし、プロセッサ１０００は、第１ピクセル１３１０でのｐｈａｓｅ９０°位相信号を隣接ピクセルが取得した位相信号を補間して取得することができる。
【0129】
第１周期１３５０で、一実施例に係るプロセッサ１０００は、第２ピクセル１３２０でのｐｈａｓｅ０°位相信号（０°位相時点に対する情報）を第２ピクセル１３２０と隣接するピクセル１３２１、１３２２、１１２３、１３１０が取得したｐｈａｓｅ０°位相信号（０°位相時点に対する情報）を補間して取得することができる。第２ピクセル１３２０では、ｐｈａｓｅ９０°位相信号とｐｈａｓｅ２７０°位相信号を各々第１周期及び第２周期に取得できるだけであって、ｐｈａｓｅ０°位相信号が取得されない。しかし、プロセッサ１０００は、第２ピクセル１３２０でのｐｈａｓｅ０°位相信号を隣接するピクセルが取得した位相信号を補間して取得することができる。
【0130】
第２周期１３６０で、一実施例に係るプロセッサ１０００は、第１ピクセル１３１０でのｐｈａｓｅ２７０°位相信号（２７０°位相時点に対する情報）を第１ピクセル１３１０と隣接するピクセル１３１１、１３１２、１３１３、１３２０が取得したｐｈａｓｅ２７０°位相信号２７０°位相時点に対する情報）を補間して取得することができる。第１ピクセル１３１０では、ｐｈａｓｅ０°位相信号とｐｈａｓｅ１８０°位相信号を各々第１周期及び第２周期に取得できるだけであって、ｐｈａｓｅ２７０°位相信号が取得されない。しかし、プロセッサ１０００は、第１ピクセル１３１０でのｐｈａｓｅ２７０°位相信号を隣接するピクセルが取得した位相信号を補間して取得することができる。
【0131】
第２周期１３６０で、一実施例に係るプロセッサ１０００は、第２ピクセル１３２０でのｐｈａｓｅ１８０°位相信号（１８０°位相時点に対する情報）を第２ピクセル１３２０と隣接するピクセル１３２１、１３２２、１１２３、１３１０が取得したｐｈａｓｅ１８０°位相信号（１８０°位相時点に対する情報）を補間して取得することができる。第２ピクセル１３２０では、ｐｈａｓｅ９０°位相信号とｐｈａｓｅ２７０°位相信号を各々第１周期及び第２周期に取得できるだけであって、ｐｈａｓｅ１８０°位相信号が取得されない。しかし、プロセッサ１０００は、第２ピクセル１３２０でのｐｈａｓｅ１８０°位相信号を隣接するピクセルが取得した位相信号を補間して取得することができる。
【0132】
【0133】
ステップＳ１３１０で、一実施例に係るカメラモジュール１００は、出力ピクセルを介して光をオブジェクトに出力する。一実施例によると、各出力ピクセルは、各受信ピクセルに対応することができる。
【0134】
ステップＳ１３２０で、一実施例に係るカメラモジュール１００は、第１周期の第１位相時点に第１受信ピクセルを利用して光を受信して、第１周期の第３位相時点に第２受信ピクセルを利用して光を受信する。例えば、第１周期で第１ピクセルは、ｐｈａｓｅ０°の位相信号を受信して、第２ピクセルは、ｐｈａｓｅ９０°の位相信号を受信することができる。
【0135】
ステップＳ１３３０で、一実施例に係るカメラモジュール１００は、第２周期の第２位相時点に第１受信ピクセルを利用して光を受信して、第２周期の第４位相時点に第２受信ピクセルを利用して光を受信する。例えば、第２周期で第１ピクセルはｐｈａｓｅ１８０°の位相信号を受信して、第２ピクセルは、ｐｈａｓｅ２７０°の位相信号を受信することができる。第１ピクセル及び第２ピクセルは、受信ピクセルであってもよい。
【0136】
しかし、本実施例に制限されず、第１位相時点乃至第４位相時点は、０°、９０°、１８０°及び２７０°のうちいずれかに対応して互いに異なる任意の組み合わせであってもよい。
【0137】
ステップＳ１３４０で、一実施例に係るカメラモジュール１００は、第１周期及び第２周期の間取得された情報を利用してオブジェクトに対する深さイメージを取得する。プロセッサ１０００は、二つの周期の間取得された情報だけで一つの深さイメージを取得することができる。
【0138】
また、図１３に図示されなかったが、第１受信ピクセルでの第３位相時点に対する情報を第１受信ピクセルと隣接するピクセルが第３位相時点で取得した情報で補間するステップがさらに含まれることができる。
【0139】
一方、上述した方法は、コンピュータで実行できるプログラムで作成可能で、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用デジタルコンピュータで具現されることができる。さらに、上述した方法で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に様々な手段を介して記録されることができる。前記コンピュータで読み取り可能な記録媒体は、マグネチック格納媒体（例えば、ロム、ラム、ＵＳＢ、フロッピーディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ－ＲＯＭ、ティブイディなど）のような格納媒体を含む。
【0140】
以上添付図面を参照して本発明の実施例を説明したが、本発明が属する技術分野で通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更せず他の具体的な形態で実施されることができることを理解できるはずである。従って、以上で記述した実施例は。すべての面で例示的なものであり、限定的ではないものと理解しなければならない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】