特許 5698527 深さセンサーの深さ推定方法及びその記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5698527

(24)【登録日】2015年2月20日

(45)【発行日】2015年4月8日

(54)【発明の名称】深さセンサーの深さ推定方法及びその記録媒体

(51)【国際特許分類】

   G01S 17/88 20060101AFI20150319BHJP

【ＦＩ】

   G01S17/88

【請求項の数】10

【全頁数】26

(21)【出願番号】特願2010-292903(P2010-292903)

(22)【出願日】2010年12月28日

(65)【公開番号】特開2011-164094(P2011-164094A)

(43)【公開日】2011年8月25日

【審査請求日】2013年11月18日

(31)【優先権主張番号】10-2010-0013405

(32)【優先日】2010年2月12日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】110000051

【氏名又は名称】特許業務法人共生国際特許事務所

(72)【発明者】

【氏名】閔 桐 基

(72)【発明者】

【氏名】陳 暎 究

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特開２００９−０７９９８７（ＪＰ，Ａ）

【文献】 特開２００８−１６４４９６（ＪＰ，Ａ）

【文献】 特開２００６−０８４４３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｓ ７／４８− ７／５１

Ｇ０１Ｓ １７／００−１７／９５

Ｇ０１Ｃ ３／００− ３／３２

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

深さセンサーアレイ、メモリ、及び深さ推定器を有する深さセンサーの深さ推定方法であって、
（ａ）前記深さセンサーが光信号を対象物体に放射する段階と、
（ｂ）前記深さセンサーアレイが前記対象物体から反射される光信号及び深さピクセルに印加され一定の位相差で周期的に印加される複数のゲート信号に基づいて複数のフレーム信号を発生させ、前記メモリが前記複数のフレーム信号及び前記複数のフレーム信号のそれぞれのフレーム情報を前記対象物体までの深さ推定のために前記深さ推定器に提供する段階と、
（ｃ）前記深さ推定器が前記複数の提供されたフレーム信号のうちから該フレーム信号のぞれぞれのフレーム情報を時系列に並べたパターンが所定の組み合わせパターンと合致するか否かで判断される漏れたフレーム信号の有無及び前記複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンに基づいて、前記複数の提供されたフレーム信号をそれぞれがエラーなしに、前記対象物体までの深さの推定に利用される複数のフレーム信号グループにグループ化する段階と、
（ｄ）前記深さ推定器が前記複数のフレーム信号グループのそれぞれを用いて、前記対象物体までの深さを推定する段階とを有することを特徴とする深さセンサーの深さ推定方法。

【請求項2】

前記深さ推定器は状態判断モジュールとグルーピングモジュールとを含み、
前記（ｃ）段階は、
（ｃ１）前記状態判断モジュールが前記複数の提供されたフレーム信号のうちから時系列に並べた現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報との組み合わせに基づいて、前記組み合わせが所定の組み合わせパターンと合致するか否かで前記複数の提供されたフレーム信号のうちから前記漏れたフレーム信号を検出し、前記提供された複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンを判断する段階と、
（ｃ２）前記グルーピングモジュールが前記漏れたフレーム信号の有無及び前記複数のフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンに基づいて、前記複数の提供されたフレーム信号を前記複数のフレーム信号グループにグループ化する段階とを含むことを特徴とする請求項１に記載の深さセンサーの深さ推定方法。

【請求項3】

現在フレーム信号グループと以前フレーム信号グループは、少なくとも一つのフレーム信号を共有することを特徴とする請求項２に記載の深さセンサーの深さ推定方法。

【請求項4】

前記深さ推定器は位相検出モジュールと距離計算モジュールとをさらに含み、
前記（ｄ）段階は、
（ｄ１）前記位相検出モジュールが前記複数のフレーム信号グループのそれぞれに含まれる二つのフレーム信号の差と前記複数のフレーム信号グループのそれぞれに含まれた他の二つの信号の差との比率に基づいて、前記対象物体に放射された光信号と前記対象物体から反射された光信号との間の位相差を検出する段階と、
（ｄ２）前記距離計算モジュールが前記光信号の周波数及び前記位相差に基づいて、前記対象物体までの深さを推定する段階とを含むことを特徴とする請求項２に記載の深さセンサーの深さ推定方法。

【請求項5】

前記位相差は、前記フレーム信号グループに含まれる前記二つのフレーム信号の差と前記フレーム信号グループに含まれる前記他の二つの信号の差との比率に対するアークタンジェント値であることを特徴とする請求項４に記載の深さセンサーの深さ推定方法。

【請求項6】

前記深さ推定器は第１状態判断モジュール、第２状態判断モジュール、及びグルーピングモジュールを含み、
前記（ｃ）段階は、
（ｃ１）前記第１状態判断モジュールが前記複数の提供されたフレーム信号のうちから時系列に並べた現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報との組み合わせに基づいて、前記組み合わせが所定の組み合わせパターンと合致するか否かで前記漏れたフレーム信号の有無を判断し、フレーム信号の漏れがないときはサーキュラー方式によって可変され、フレーム信号の漏れが発生すると１サイクル分可変されないことで前記漏れたフレーム信号の有無を表わすインデックス値を発生させる段階と、
（ｃ２）前記第２状態判断モジュールが前記複数の提供されたフレーム信号のうちから時系列に並べた現在フレーム信号のフレーム情報と前記インデックス値の組み合わせに基づいて、該組み合わせが所定の組み合わせパターンと合致するか否かで前記複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンを判断する段階と、
（ｃ３）前記グルーピングモジュールが前記漏れたフレーム信号の有無及び前記複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンに基づいて、前記複数の提供されたフレーム信号を前記複数のフレーム信号グループにグループ化する段階とを含むことを特徴とする請求項１に記載の深さセンサーの深さ推定方法。

【請求項7】

現在フレーム信号グループと以前フレーム信号グループは、少なくとも一つのフレーム信号を共有することを特徴とする請求項６に記載の深さセンサーの深さ推定方法。

【請求項8】

前記深さ推定器は位相検出モジュールと距離計算モジュールとをさらに含み、
前記（ｄ）段階は、
（ｄ１）前記位相検出モジュールが前記複数のフレーム信号グループのそれぞれに含まれる二つのフレーム信号の差と前記複数のフレーム信号グループのそれぞれに含まれる他の二つの信号の差との比率に基づいて、前記対象物体に出力された光信号と前記対象物体から反射された光信号との間の位相差を検出する段階と、
（ｄ２）前記距離計算モジュールが前記光信号の周波数及び前記位相差に基づいて、前記対象物体までの深さを推定する段階とを含むことを特徴とする請求項６に記載の深さセンサーの深さ推定方法。

【請求項9】

前記位相差は、前記フレーム信号グループに含まれる前記二つのフレーム信号の差と前記フレーム信号グループに含まれる前記他の二つの信号の差との比率に対するアークタンジェント値であることを特徴とする請求項８に記載の深さセンサーの深さ推定方法。

【請求項10】

請求項１乃至請求項９の何れか一項に記載の深さセンサーの深さ推定方法を実行するためのコードを保存するコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）原理を用いて対象物体までの深さを測定する技術に関し、より詳細には、深さセンサーで対象物体から受信される反射光から相異なる位相を有する複数のフレーム信号を用いて抽出し、該抽出されたフレーム信号に基づいて対象物体までの深さを推定する深さセンサーの深さ推定方法及びその記録媒体に関する。

【背景技術】

【0002】

センサー（Ｓｅｎｓｏｒ）は、対象物の状態または位置を検出し、該検出結果を電気的な信号に変換して伝達する素子である。センサーの種類としては、光センサー、温度センサー、圧力センサー、磁気センサー、または深さ（または、距離）センサー（Ｄｅｐｔｈ Ｓｅｎｓｏｒ）などがある。

【0003】

そのうち、深さセンサーは、主にＴＯＦ原理を用いてソース（Ｓｏｕｒｃｅ）から放射されたパルス形態の信号が対象物体（または、測定対象物）によって反射されて戻ってくるまでの遅延時間を測定して、深さセンサーと対象物体までの深さ（または、距離）を計算する。深さセンサーのソースから出力される信号は、マイクロ波（Ｍｉｃｒｏ ｗａｖｅ）、光波（Ｌｉｇｈｔ ｗａｖｅ）、超音波（Ｕｌｔｒａｓｏｎｉｃ ｗａｖｅ）などがあり得る。

【0004】

ＴＯＦ原理を用いて対象物体までの深さを計算する深さセンサーは、相異なる位相差で測定された複数のフレーム信号を用いて対象物体までの深さを計算する。例えば、４タップピクセル構造（４−Ｔａｐ Ｐｉｘｅｌ Ｓｔｒｕｃｔｕｒｅ）の深さピクセルを利用する深さセンサーは、同時に０°、９０°、１８０°、２７０°の位相差を有するゲート信号を深さピクセルに印加して、対象物体から反射される光信号から同時に複数のフレーム信号を抽出して、対象物体までの深さを計算することができる。

【0005】

しかし、１タップピクセル構造又は２タップピクセル構造の深さピクセルを利用する深さセンサーは、時間差を置いて、０°、９０°、１８０°、２７０°の位相差を有するゲート信号を深さピクセルに印加し、時間差を置いて測定される複数のフレーム信号を用いて対象物体までの深さを計算することになる。

【0006】

このような深さピクセルの動作時、複数のフレーム信号のうちから一つの信号でも漏れる場合には、深さセンサーで計算された対象物体までの深さには、誤差が発生する。フレーム信号の漏れは、１タップピクセル構造または２タップピクセル構造の深さピクセルを利用する深さセンサーが高速動作を行う場合（すなわち、高いＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）で動作する場合）に発生する可能性が高いという問題がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

そこで、本発明は上記従来の深さセンサーにおける問題点に鑑みてなされたものであって、本発明の目的は、対象物体までの深さ計算時に漏れたフレーム信号によるエラーを補償することができる深さセンサーを利用した深さ推定方法、及びそれをコンピュータで実行可能に記録した記録媒体を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するためになされた本発明による深さセンサーの深さ推定方法は、深さセンサーアレイ、メモリ、及び深さ推定器を有する深さセンサーの深さ推定方法であって、（ａ）前記深さセンサーが光信号を対象物体に放射する段階と、（ｂ）前記深さセンサーアレイが前記対象物体から反射される光信号及び深さピクセルに印加され一定の位相差で周期的に印加される複数のゲート信号に基づいて複数のフレーム信号を発生させ、前記メモリが前記複数のフレーム信号及び前記複数のフレーム信号のそれぞれのフレーム情報を前記対象物体までの深さ推定のために前記深さ推定器に提供する段階と、（ｃ）前記深さ推定器が前記複数の提供されたフレーム信号のうちから該フレーム信号のぞれぞれのフレーム情報を時系列に並べたパターンが所定の組み合わせパターンと合致するか否かで判断される漏れたフレーム信号の有無及び前記複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンに基づいて、前記複数の提供されたフレーム信号をそれぞれがエラーなしに、前記対象物体までの深さの推定に利用される複数のフレーム信号グループにグループ化する段階と、（ｄ）前記深さ推定器が前記複数のフレーム信号グループのそれぞれを用いて、前記対象物体までの深さを推定する段階とを有することを特徴とする。

【0009】

前記深さ推定器は状態判断モジュールとグルーピングモジュールとを含み、前記（ｃ）段階は、（ｃ１）前記状態判断モジュールが前記複数の提供されたフレーム信号のうちから時系列に並べた現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報との組み合わせに基づいて、前記組み合わせが所定の組み合わせパターンと合致するか否かで前記複数の提供されたフレーム信号のうちから前記漏れたフレーム信号を検出し、前記提供された複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンを判断する段階と、（ｃ２）前記グルーピングモジュールが前記漏れたフレーム信号の有無及び前記複数のフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンに基づいて、前記複数の提供されたフレーム信号を前記複数のフレーム信号グループにグループ化する段階とを含むことが好ましい。
現在フレーム信号グループと以前フレーム信号グループは、少なくとも一つのフレーム信号を共有することが好ましい。
前記深さ推定器は位相検出モジュールと距離計算モジュールとをさらに含み、前記（ｄ）段階は、（ｄ１）前記位相検出モジュールが前記複数のフレーム信号グループのそれぞれに含まれる二つのフレーム信号の差と前記複数のフレーム信号グループのそれぞれに含まれた他の二つの信号の差との比率に基づいて、前記対象物体に放射された光信号と前記対象物体から反射された光信号との間の位相差を検出する段階と、（ｄ２）前記距離計算モジュールが前記光信号の周波数及び前記位相差に基づいて、前記対象物体までの深さを推定する段階とを含むことが好ましい。
前記位相差は、前記フレーム信号グループに含まれる前記二つのフレーム信号の差と前記フレーム信号グループに含まれる前記他の二つの信号の差との比率に対するアークタンジェント値であることが好ましい。

【0010】

前記深さ推定器は第１状態判断モジュール、第２状態判断モジュール、及びグルーピングモジュールを含み、前記（ｃ）段階は、（ｃ１）前記第１状態判断モジュールが前記複数の提供されたフレーム信号のうちから時系列に並べた現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報との組み合わせに基づいて、前記組み合わせが所定の組み合わせパターンと合致するか否かで前記漏れたフレーム信号の有無を判断し、フレーム信号の漏れがないときはサーキュラー方式によって可変され、フレーム信号の漏れが発生すると１サイクル分可変されないことで前記漏れたフレーム信号の有無を表わすインデックス値を発生させる段階と、（ｃ２）前記第２状態判断モジュールが前記複数の提供されたフレーム信号のうちから時系列に並べた現在フレーム信号のフレーム情報と前記インデックス値の組み合わせに基づいて、該組み合わせが所定の組み合わせパターンと合致するか否かで前記複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンを判断する段階と、（ｃ３）前記グルーピングモジュールが前記漏れたフレーム信号の有無及び前記複数の提供されたフレーム信号のそれぞれのフレーム情報を時系列に並べた連続パターンに基づいて、前記複数の提供されたフレーム信号を前記複数のフレーム信号グループにグループ化する段階とを含むことが好ましい。
現在フレーム信号グループと以前フレーム信号グループは、少なくとも一つのフレーム信号を共有することが好ましい。
前記深さ推定器は位相検出モジュールと距離計算モジュールとをさらに含み、前記（ｄ）段階は、（ｄ１）前記位相検出モジュールが前記複数のフレーム信号グループのそれぞれに含まれる二つのフレーム信号の差と前記複数のフレーム信号グループのそれぞれに含まれる他の二つの信号の差との比率に基づいて、前記対象物体に出力された光信号と前記対象物体から反射された光信号との間の位相差を検出する段階と、（ｄ２）前記距離計算モジュールが前記光信号の周波数及び前記位相差に基づいて、前記対象物体までの深さを推定する段階とを含むことが好ましい。
前記位相差は、前記フレーム信号グループに含まれる前記二つのフレーム信号の差と前記フレーム信号グループに含まれる前記他の二つの信号の差との比率に対するアークタンジェント値であることが好ましい。
上記深さセンサーの深さ推定方法は、コンピュータで実行するためのコンピュータプログラムをコンピュータで読み取り可能な記録媒体に保存されることが好ましい。

【発明の効果】

【0011】

本発明に係る深さセンサーの深さ推定方法によれば、高速動作時に漏れたフレーム信号によって発生することができる深さ推定エラーを補償することができ、より自然な深さイメージを提供することができるという効果がある。

【図面の簡単な説明】

【0012】

【図1】２タップピクセル構造を有する深さピクセルを含む本発明の実施形態による深さセンサーを示すブロック図である。

【図2】図１に示した２タップピクセル構造を有する深さピクセルを示すレイアウトである。

【図3】図２に示した２タップピクセル構造に印加されるゲート信号の出力タイミング図である。

【図4】図２に示した第１アクティブ領域に具現された光電変換素子とトランジスタとを示す回路図の一例である。

【図5】赤外線信号の波形とゲート信号の波形とを示す。

【図6】図１に示した深さセンサーを用いてデジタルフレーム信号を推定する方法を説明するための概念図である。

【図7】図１に示した深さ推定器のブロック図である。

【図8】図１に示した深さセンサーの深さ推定方法を説明するためのフローチャートである。

【図9】図１に示した深さ推定器の深さ推定工程を説明するためのフローチャートである。

【図10】１タップピクセル構造を有する深さピクセルを含む本発明の実施形態による深さセンサーを示すブロック図である。

【図11】図１０に示した１タップピクセル構造を有する深さピクセルを示すレイアウト図である。

【図12】図１１に示した１タップピクセル構造に印加されるゲート信号の出力タイミング図である。

【図13】図１０に示した深さセンサーを用いてデジタルフレーム信号を推定する方法を説明するための概念図である。

【図14】図１０に示した深さ推定器のブロック図である。

【図15】図１０に示した深さ推定器の深さ推定工程を説明するためのフローチャートである。

【図16】従来の深さセンサーと本発明の実施形態による深さセンサーとの性能分析シミュレーション結果を示すグラフである。

【図17】漏れたフレーム信号が発生することによって可変される深さイメージ及び深さイメージのヒストグラムを示す。

【図18】本発明の実施形態による３次元イメージセンサーのブロック図である。

【図19】図１８に示した３次元イメージセンサーを含むイメージ処理システムを示すブロック図である。

【図20】イメージセンサーと本発明の実施形態による深さセンサーとを含むイメージ処理システムを示すブロック図である。

【図21】本発明の実施形態による深さセンサーを含む信号処理システムを示すブロック図である。

【発明を実施するための形態】

【0013】

次に、本発明に係る深さセンサーの深さ推定方法を実施するための形態の具体例を図面を参照しながら説明する。各図面に付された同じ参照符号は、同じ部材を表わす。

【0014】

本明細書または出願に開示されている本発明の概念による実施形態についての特定の構造的ないし機能的説明は、単に本発明の概念による実施形態を説明するための目的として例示されたものであって、本発明の概念による実施形態は、多様な形態で実施され、本明細書または出願に説明された実施形態に限定されるものと解析されてはならない。
本発明の概念による実施形態は、多様な変更を加えることができ、さまざまな形態を有することができるので、特定実施形態を図面に例示し、本明細書または出願に詳細に説明する。しかし、これは、本発明の概念による実施形態を特定の開示形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物ないし代替物を含むものと理解しなければならない。
第１及び／または第２などの用語は、多様な構成要素の説明に使われるが、構成要素は、用語によって限定されてはならない。用語は、一つの構成要素を他の構成要素から区別する目的のみで、例えば、本発明の概念による権利範囲から離脱されないまま、第１構成要素は、第２構成要素と名付けられ、同様に、第２構成要素は、第１構成要素とも名付けられうる。
ある構成要素が、他の構成要素に“連結されて”、または“接続されて”いると言及された時には、その他の構成要素に直接的に連結されているか、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解しなければならない。一方、ある構成要素が、他の構成要素に“直接連結されて”、または“直接接続されて”いると言及された時には、中間に他の構成要素が存在しないものと理解しなければならない。
例えば、何れか一つの構成要素が、他の構成要素にデータまたは信号を‘伝送または出力’する場合には、構成要素は、他の構成要素に直接データまたは信号を‘伝送または出力’することができ、少なくとも一つのまた他の構成要素を通じてデータまたは信号を他の構成要素に‘伝送または出力’することができるということを意味する。
構成要素の間の関係を説明する他の表現、すなわち、“〜の間に”と“すぐ〜の間に”または“〜に隣合う”と“〜に直接隣合う”なども同様に解析しなければならない。
本明細書で使用する用語は、単に特定の実施形態を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なる意味と使用しない限り、複数の表現を含む。本明細書で、“含む”または“有する”などの用語は、実施された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在するということを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたもの存在または付加可能性をあらかじめ排除しないものと理解しなければならない。
異なる定義がない限り、技術的や科学的な用語を含んで、ここで使するあらゆる用語は、本発明が属する技術分野で通常の知識を有した者によって、一般的に理解されるものと同じ意味を有している。一般的に使われる辞書に定義されているものような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解析されなければならず、本明細書で明白に定義しない限り、理想的や過度に形式的な意味として解析されない。

【0015】

図１は、２タップピクセル構造を有する深さピクセルを含む本発明の実施形態による深さセンサーを示すブロック図である。
深さセンサー１０は、高速動作時に発生しうる漏れフレームを補償した後、ＴＯＦ原理を用いて対象物体までの深さ（または、距離）を推定（または、計算、測定）することができる。実施形態によって、深さセンサー１０は、一つのチップ（ｃｈｉｐ）として具現されて深さ情報を計算することもでき、カラーイメージセンサーチップとともに使われて３次元イメージ情報と深さ情報とを同時に測定するのに利用されることもある。

【0016】

また、本発明の実施形態に３次元イメージセンサーで、深さ情報を検出するための深さピクセルとイメージ情報を検出するためのピクセルは、一つのピクセルアレイにともに具現することが可能である。

【0017】

深さセンサー１０は、赤外線光源１２を用いて光信号ＥＬ、例えば、変調赤外線信号を放射し、前記赤外線信号ＥＬが赤外線光源１２から放射された時間と前記赤外線信号ＥＬが対象物体１１によって反射されて入射された赤外線信号ＲＬの入射時間との時間差（ｔΔ）を表わす数式１を用いて対象物体までの深さ（ｄ）を推定することができる。

【数1】

ここで、ｄは、深さセンサー１０と対象物体１１との距離（すなわち、深さ）を表わし、ｃは、光速を表わす。

【0018】

深さセンサー１０は、赤外線光源１２、深さセンサーアレイ１４、赤外線通過フィルター１７、ＣＤＳ／ＡＤＣ回路１８、タイミングコントローラ２０、ローデコーダ２２、メモリ２４、及び深さ推定器２６を含む。
また、深さセンサー１０は、タイミングコントローラ２０の制御下で、カラムラインの信号をＣＤＳ／ＡＤＣ回路１８に伝送するためのアクティブロード回路（図示せず）をさらに含みうる。

【0019】

深さセンサー１０は、対象物体１１から反射された後、入射される反射光を赤外線通過フィルター１７に集光させるためのレンズ（図示せず）をさらに含みうる。レンズを含むレンズモジュール（図示せず）の動作は、タイミングコントローラ２０によって制御される。

【0020】

タイミングコントローラ２０の制御下で、赤外線光源１２は、光信号、例えば、変調赤外線ＥＬを外部に放射（ｅｍｉｔ）する。赤外線光源１２は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）として具現可能である。深さセンサー１０は、深さセンサーアレイ１４の周りに配された複数の赤外線光源を含みうるが、図１では、説明の便宜上、一つの赤外線光源１２のみを示す。

【0021】

深さセンサーアレイ１４は、複数の深さピクセル１６を含む。複数の深さピクセル１６のそれぞれは、対象物体１１から反射される光信号及び深さピクセルに一定の位相差で周期的に印加される複数のゲート信号に基づいて複数のフレーム信号を発生させる。

【0022】

図２は、図１に示した２タップピクセル構造を有する深さピクセルのレイアウトを示し、図３は、図２に示した２タップピクセル構造に印加されるゲート信号の出力タイミング図である。
複数の深さピクセル１６のそれぞれは、図２に示したように、２タップピクセル構造を有する深さピクセル１６として具現可能である。

【0023】

２タップピクセル構造を有する深さピクセル１６は、１８０°の位相差を有するゲート信号Ｇａ、Ｇｃに応答してフレーム信号Ａ０’、Ａ２’を測定した後、１８０°の位相差を有するゲート信号Ｇｂ、Ｇｄに応答してフレーム信号Ａ１’、Ａ３’を測定する。すなわち、深さピクセル１６には、９０°の位相差を有するゲート信号Ｇａ〜Ｇｄが周期的に印加される。

【0024】

複数の深さピクセル１６のそれぞれは、赤外線通過フィルター１７を通じて入射された赤外線ＲＬによって発生した光電子（または、光電荷）を一定時間、例えば、積分時間（Ｉｎｔｅｇｒａｔｉｏｎ Ｔｉｍｅ）の間に蓄積し、該蓄積結果によって生成されたフレーム信号Ａ０’、Ａ２’、及びＡ１’、Ａ３’を出力する。

【0025】

複数の深さピクセル１６のそれぞれによって生成された各フレーム信号Ａｋは、数式２のように表示される。

【数2】

ここで、深さピクセル１６の光電変換素子、例えば、フォトゲートに入力されるゲート信号Ｇａの変調赤外線信号ＥＬに対する位相差が０°である時、ｋは０であり、ゲート信号Ｇｂの変調赤外線信号ＥＬに対する位相差が９０°である時、ｋは１であり、ゲート信号Ｇｃの変調赤外線信号ＥＬに対する位相差が１８０°である時、ｋは２であり、ゲート信号Ｇｄの変調赤外線信号ＥＬに対する位相差が２７０°である時、ｋは３である。
ａ_ｋ，_ｎは、ｋに該当する位相（ｐｈａｓｅ）差でｎ（ｎは、自然数）番目のゲート信号を印加した時、深さピクセル１６で発生した光電子（または、光電荷）の数を表わし、Ｎ＝ｆｍ×Ｔｉｎｔである。ここで、ｆｍは、変調赤外線ＥＬの周波数を表わし、Ｔｉｎｔは、積分時間を表わす。

【0026】

図４は、図２に示した第１アクティブ領域（１６−１）に具現された光電変換素子とトランジスタとを示す回路図の一例であり、図５は、赤外線信号ＥＬ及びゲート信号の波形を示す。
図２に示すように、２タップピクセル構造を有する深さピクセル１６は、第１、第２アクティブ領域（１６−１、１６−２）に具現された各光電変換素子（１６−３、１６−４）を含む。第１、第２アクティブ領域（１６−１、１６−２）の構造は、実質的に同一であるので、以下、第１アクティブ領域（１６−１）に具現された素子を中心に説明する。

【0027】

図４に示すように、第１アクティブ領域（１６−１）には、光電変換素子（１６−３）と４個のトランジスタＲＸ、ＴＸ、ＤＸ、及びＳＸとが含まれる。
図４を参照すると、光電変換素子（１６−３）は、図２に示した各ゲート信号ＧａまたはＧｂと反射光ＲＬに基づいて光電荷を生成する。

【0028】

光電変換素子（１６−３）は、タイミングコントローラ２０から出力されるゲート信号Ｇａに応答してオン／オフされる。例えば、ゲート信号Ｇａがハイレベルである時、光電変換素子（１６−３）は、反射光ＲＬに基づいて光電荷を生成することができ、ゲート信号Ｇａがローレベルである時、光電変換素子（１６−３）は、反射光ＲＬに基づいて光電荷を生成しない。

【0029】

光電変換素子（１６−３）は、光感知素子としてフォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏ ｇａｔｅ）、またはピンドフォトダイオード（ＰＰＤ；ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ）として具現可能である。
リセットトランジスタＲＸは、ローデコーダ２２から出力されたリセット信号ＲＳに応答して、フローティングディフュージョン領域ＦＤをリセットすることができる。

【0030】

伝送トランジスタＴＸは、ローデコーダ２２から出力された制御信号ＴＧに応答して、光電変換素子（１６−３）によって生成された光電荷をフローティングディフュージョン領域ＦＤに伝送する。ソースフォロワバッファ増幅器（ｓｏｕｒｃｅ ｆｏｌｌｏｗｅｒ ｂｕｆｆｅｒ ａｍｐｌｉｆｉｅｒ）の役割を行うドライブトランジスタＤＸは、フローティングディフュージョン領域ＦＤに充填された光電荷に応答してバッファリング動作を行う。

【0031】

選択トランジスタＳＸは、ローデコーダ２２から出力された制御信号ＳＥＬに応答してドライブトランジスタＤＸから出力されたフレーム信号Ａ０’またはＡ１’をカラムラインに出力する。図４には、一つの光電変換素子（１６−３）と４個のトランジスタＴＸ、ＲＸ、ＤＸ、及びＳＸとを含む第１アクティブ領域（１６−１）が示しているが、これは例示的なものに過ぎない。

【0032】

図１を再び参照すると、タイミングコントローラ２０の制御下で、デジタル回路、すなわち、ＣＤＳ／ＡＤＣ回路１８は、深さピクセル１６から出力された各ピクセル信号、すなわち、フレーム信号Ａ０’、Ａ２’、及びＡ１’、Ａ３’にＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）動作とＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｉｎｇ）動作とを行って、各デジタルフレーム信号Ａ０、Ａ２、及びＡ１、Ａ３を出力する。
図１に示した深さセンサー１０は、深さセンサーアレイ１４に具現された複数のカラムラインから出力されたフレーム信号をＣＤＳ／ＡＤＣ回路１８に伝送するためのアクティブロード回路をさらに含みうる。

【0033】

バッファとして具現可能なメモリ２４は、ＣＤＳ／ＡＤＣ回路１８から出力された各デジタルフレーム信号Ａ０、Ａ２、及びＡ１、Ａ３を受信して保存し、複数のフレーム信号Ａ０、Ａ２、及びＡ１、Ａ３のそれぞれのフレーム情報を保存して、該保存されたフレーム信号Ａ０、Ａ２、及びＡ１、Ａ３、及びそれに相応するフレーム情報を対象物体１１までの深さ推定のために提供する。

【0034】

深さ推定器２６は、メモリ２４から出力された各デジタルフレーム信号Ａ０、Ａ２、及びＡ１、Ａ３に基づいて、変調光信号ＥＬと反射された光信号ＲＬとの間の位相差を推定した後、位相差に基づいて、対象物体１１までの深さを推定する。
深さ推定器２６によって推定された位相差（θ）は、数式３のようである。

【数3】

【0035】

深さ推定器２６は、数式４によって推定された位相差（θ）に基づいて対象物体１１までの深さ（ｄ）を推定して出力する。

【数4】

ここで、ｃは、光速を表わし、ｆｍは、変調された光信号ＥＬの周波数を表わす。

【0036】

図６は、図１に示した深さセンサー１０を用いて赤外線光源１２で放射された光信号ＥＬと反射された光信号ＲＬとの間の位相差を求める方法を説明するための概念図である。
第１時点ｔ０で、図３又は図５に示したように、１８０°の位相差を有するゲート信号Ｇａ、Ｇｃが、２タップピクセル構造を有する深さピクセル１６に供給されれば、２タップピクセル構造を有する深さピクセル１６は、測定されたフレーム信号Ａ０’、Ａ２’を出力する。

【0037】

また、第２時点ｔ１で、図２又は図３に示したように、１８０°の位相差を有するゲート信号Ｇｂ、Ｇｄが、深さピクセル１６に供給されれば、深さピクセル１６は、測定されたフレーム信号Ａ１’、Ａ３’を出力する。第１時点ｔ０と第２時点ｔ１との間には、積分時間Ｔｉｎｔが存在する。

【0038】

すなわち、深さピクセル１６は、各フレーム信号Ａ１’、Ａ２’、Ａ３’、及びＡ４’を同時に測定することができないので、深さピクセル１６は、時間差Ｔｉｎｔを置いて二回に分けて２個ずつのフレーム信号を測定（または、検出）する。

【0039】

したがって、深さ推定器２６は、各デジタルフレーム信号Ａ０、Ａ２、Ａ３、及びＡ４に基づいて位相差（θ）を数式５に基づいて推定することができる。

【数5】

したがって、深さ推定器２６は、数式４と数式５とに基づいて深さ情報を推定（または、計算）し、該推定（または、計算された）された深さ（ｄ）を出力することができる。

【0040】

以上では、メモリ２４で提供されるフレーム信号Ａ１、Ａ２、Ａ３、及びＡ４に漏れたフレーム信号がない場合における深さ推定器２６の対象物体１１までの深さ推定について説明した。しかし、深さセンサー１０の高速動作時には、メモリ２４から出力されるフレーム信号が漏れる可能性が高くなり、漏れたフレーム信号によって対象物体１１までの深さ推定には、エラーが発生する。

【0041】

深さ推定器２６は、漏れたフレーム信号によって発生しうる深さ推定の誤差を補償することができる。例えば、複数の提供されたフレーム信号Ａ１、Ａ２、Ａ３、及びＡ４のうちから漏れたフレーム信号の有無及び複数の提供されたフレーム信号の連続パターンを考慮して、複数の提供されたフレーム信号をそれぞれがエラーなしに、対象物体１１までの深さの推定に利用される複数のフレーム信号グループにグループ化し、複数のフレーム信号グループのそれぞれを用いて、対象物体１１までの深さを推定することができる。

【0042】

図７は、図１に示した深さ推定器のブロック図である。
図７を参照すると、深さ推定器２６は、状態判断モジュール２６ａ、グルーピングモジュール（Ｇｒｏｕｐｉｎｇ Ｍｏｄｕｌｅ）２６ｂ、位相検出モジュール２６ｃ、及び距離計算モジュール２６ｄを含む。

【0043】

状態判断モジュール２６ａは、メモリ２４から複数の提供されたフレーム信号のうちから現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報とを比較し、比較結果に基づいて、複数の提供されたフレーム信号のうちから漏れたフレーム信号を検出し、提供された複数のフレーム信号の連続パターンを判断する。
２タップピクセル構造では、フレーム信号が一対ずつ交互に、すなわち、Ａ０とＡ２の対、Ａ１とＡ３の対が交互に出力される。この際、フレーム信号Ａ０とＡ２の対が出力される場合のフレーム情報を０であると仮定し、フレーム信号Ａ１とＡ３の対が出力される場合のフレーム情報を１と仮定する。

【0044】

状態判断モジュール２６ａは、現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報とが（０、１）または（１、０）であれば、メモリ２４で提供されたフレーム信号に漏れたフレーム信号がなく、フレーム信号の連続パターンをＡ０とＡ２の対、Ａ１とＡ３の対が交互に出力されるパターンと判断する。

【0045】

しかし、現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報とが（０、０）または（１、１）であれば、メモリ２４で提供されたフレーム信号のうちから漏れたフレーム信号があり、フレーム信号の連続パターンをＡ０とＡ２のフレーム信号対が連続して出力されるか、Ａ１とＡ３のフレーム信号対が連続して出力されるパターンと判断することができる。この際、漏れたフレーム信号によって対象物体１１までの深さ推定にて、エラーが発生する。

【0046】

グルーピングモジュール２６ｂは、メモリ２４から提供されたフレーム信号における漏れたフレーム信号の有無及び提供されたフレーム信号の連続パターンに基づいて、複数の提供されたフレーム信号を複数のフレーム信号グループにグループ化する。
この際、フレーム信号グループのそれぞれは、対象物体１１までの深さ計算時、エラーが発生しないようにグルーピングされ、現在フレーム信号グループと以前フレーム信号グループは、少なくとも一つのフレーム信号を共有する。

【0047】

表１は、メモリ２４から提供されるフレーム信号のフレーム情報の一例を表わす。

【表1】

ここで、ｆは、現在フレーム信号のフレーム情報を表わし、ｐｆは、以前フレーム信号のフレーム情報を表わす。

【0048】

グルーピングモジュール２６ｂは、現在フレーム信号グループと以前フレーム信号グループとが少なくとも一つのフレーム信号を共有するようにフレーム信号をグルーピングする。例えば、ｔ０とｔ１時点に相応するフレーム信号グループ、ｔ１とｔ２時点に相応するフレーム信号グループは、ｔ１時点でのフレーム信号を互いに共有する。このようなグルーピング方式をムービング・ウインドウ（Ｍｏｖｉｎｇ Ｗｉｎｄｏｗ）方式と言う。

【0049】

しかし、ｔ４時点で、現在フレーム信号のフレーム情報と以前フレームのフレーム情報は、（１、１）であるので、Ａ１とＡ３のフレーム信号対が漏れたので、グルーピングモジュール２６ｂは、ｔ３とｔ４時点に相応するフレーム信号グループを対象物体１１までの深さ計算から除外する。したがって、ｔ２及びｔ３時点に相応するフレーム信号グループの次に対象物体１１までの深さ推定に利用されるフレーム信号グループは、ｔ４及びｔ５時点に相応するフレーム信号グループである。

【0050】

本発明の実施形態による深さセンサー１０とは異なって、一般的な深さセンサーは、ｔ０とｔ１時点、ｔ２とｔ３時点、ｔ４とｔ５時点、ｔ６とｔ７時点のそれぞれに相応するフレーム信号をグルーピングするだけであり、隣接したフレーム信号グループの間には、共有されるフレーム信号がない。また、一般的な深さセンサーは、漏れたフレームが発生したｔ４時点に相応するフレーム信号とｔ５時点に相応するフレーム信号は、深さ計算から除外させる。

【0051】

位相検出モジュール２６ｃは、複数のフレーム信号グループのそれぞれに含まれた二つのフレーム信号の差と複数のフレーム信号グループのそれぞれに含まれた他の二つの信号の差との比率に基づいて、対象物体１１に放射された光信号ＥＬと対象物体から反射された光信号ＲＬとの間の位相差を検出する。
位相検出モジュール２６ｃによって検出される位相差は、フレーム信号グループに含まれた二つのフレーム信号の差とフレーム信号グループに含まれた他の二つの信号の差との比率に対するアークタンジェント値であり得る（数式３及び数式５参照）。

【0052】

距離計算モジュール２６ｄは、光信号ＥＬの周波数及び位相差に基づいて、対象物体１１までの深さを推定する。グルーピングモジュール２６ｂによって深さ計算時、エラーを発生させるフレーム信号グループは、深さ推定から除かれたので、グルーピングモジュール２６ｂによってグルーピングされるフレーム信号グループを利用した対象物体１１までの深さ計算には、エラーが発生しない。また、深さ推定器２６は、ムービング・ウインドウ方式を利用するので、一般的な深さセンサーより自然な深さイメージを提供することができる。

【0053】

図８は、図１に示した深さセンサー１０の深さ推定方法を説明するためのフローチャートである。
以下、図１、図７、及び図８を参照して、その工程を順次に説明する。

【0054】

深さセンサー１０は、赤外線光源１２で発生した光信号ＥＬを対象物体１１に放射し（ステップＳ１０）、対象物体１１から反射される光信号ＲＬを受信する。深さセンサーアレイ１４は、受信される光信号ＲＬ及びゲート信号Ｇａ〜Ｇｄに基づいて複数のフレーム信号Ａ０’〜Ａ３’を発生させて出力する（ステップＳ２０）。

【0055】

そうすると、デジタル回路（ＣＤＳ／ＡＤＣ回路）１８は、深さセンサーアレイ１４から出力される複数のフレーム信号Ａ０’〜Ａ３’をデジタル信号Ａ０〜Ａ３に変換して出力する（ステップＳ３０）。メモリ２４は、複数のフレーム信号Ａ０〜Ａ３及び複数のフレーム信号のそれぞれに対応するフレーム情報を保存し、該保存された複数のフレーム信号及びそれらに対応するフレーム情報を深さ推定器２６に提供する（ステップＳ４０）。

【0056】

深さ推定器２６は、メモリ２４から提供される複数のフレーム信号のうちから漏れたフレーム信号及び複数のフレーム信号の連続パターンを考慮して、エラーが発生しないフレーム信号グループを用いて対象物体１１までの深さを推定する（ステップＳ５０）。

【0057】

深さ推定器２６の深さ推定工程を、以下、図９を参照して、より詳しく説明する。
図９は、図１に示した深さ推定器２６の深さ推定工程を説明するためのフローチャートである。

【0058】

状態判断モジュール２６ａは、複数の提供されたフレーム信号のうちから現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報とを比較し、比較結果に基づいて、複数の提供されたフレーム信号のうちから漏れたフレーム信号を検出し、提供された複数のフレーム信号の連続パターンを判断する（ステップＳ５１）。

【0059】

グルーピングモジュール２６ｂは、漏れたフレーム信号の有無及び複数の提供されたフレーム信号の連続パターンに基づいて、複数の提供されたフレーム信号を複数のフレーム信号グループにグループ化する（ステップＳ５２）。この際、複数のフレーム信号グループのそれぞれは、深さ推定時にエラーを発生させないようにムービング・ウインドウ方式によってグルーピングされる。

【0060】

位相検出モジュール２６ｃは、複数のフレーム信号グループのそれぞれに含まれた二つのフレーム信号の差と複数のフレーム信号グループのそれぞれに含まれた他の二つの信号の差との比率に基づいて、対象物体１１に放射された光信号ＥＬと対象物体１１から反射された光信号ＲＬとの間の位相差を検出する（ステップＳ５３）。そうすると、距離計算モジュール２６ｄは、光信号ＥＬの周波数及び位相差に基づいて対象物体１１までの深さ（距離）を推定する（ステップＳ５４）。

【0061】

図１０は、１タップピクセル構造を有する深さピクセルを含む本発明の実施形態による深さセンサーのブロック図であり、図１１は、図１０に示した１タップピクセル構造を有する深さピクセルのレイアウト図であり、図１２は、図１１に示した１タップピクセル構造に印加されるゲート信号の出力タイミング図であり、そして、図１３は、図１０に示した深さセンサーを用いてデジタルフレーム信号を推定する方法を説明するための概念図である。

【0062】

深さセンサー１０’の１タップピクセル構造を有する深さピクセル３２は、アクティブ領域（３２−１）に具現された光電変換素子（３２−２）を含む。アクティブ領域（３２−１）には、図４に示したような、光電変換素子（１６−３）に相応する光電変換素子（３２−２）と複数のトランジスタとで具現可能である。

【0063】

図１２に示すように、０°、９０°、１８０°、及び２７０°の位相差を有する各ゲート信号Ｇａ、Ｇｂ、Ｇｃ、及びＧｄが、光電変換素子（３２−２）に順次に供給される。
したがって、光電変換素子（３２−２）は、各ゲート信号Ｇａ、Ｇｂ、Ｇｃ、及びＧｄがハイレベルを有する間に反射光ＲＬによって光電変換動作を行う。光電変換素子（３２−２）によって生成された光電荷はフローティング・ディフュージョン・ノードＦＤに伝送される。

【0064】

図１２と図１３とを参照すると、１タップピクセル構造を有する深さピクセル３２は、第１時点ｔ０で０°の位相差を有する第１ゲート信号Ｇａに応答して第１フレーム信号Ａ０’を出力し、第２時点ｔ１で９０°の位相差を有する第２ゲート信号Ｇｂに応答して第２フレーム信号Ａ１’を出力し、第３時点ｔ２で１８０°の位相差を有する第３ゲート信号Ｇｃに応答して第３フレーム信号Ａ２’を出力し、第４時点ｔ３で２７０°の位相差を有する第４ゲート信号Ｇｄに応答して第４フレーム信号Ａ３’を出力する。

【0065】

したがって、デジタル回路（ＣＤＳ／ＡＤＣ回路）１８は、各フレーム信号Ａ０’、Ａ１’、Ａ２’、及びＡ３’にＣＤＳとＡＤＣとを行って、各デジタルフレーム信号Ａ０、Ａ１、Ａ２、及びＡ３を出力する。各デジタルフレーム信号Ａ０、Ａ１、Ａ２、及びＡ３は、メモリ２４に保存される。

【0066】

この時、深さ推定器２６’は、数式６によって赤外線光源１２で出力された光信号ＥＬと対象物体１１に反射されて受信される光信号ＲＬとの位相差（θ）を計算し、位相差に基づいて対象物体１１までの深さを推定する。

【数6】

【0067】

以上では、メモリ２４で提供されるフレーム信号Ａ１、Ａ１、Ａ２、及びＡ３に漏れたフレーム信号がない場合における深さ推定器２６’の対象物体１１までの深さ推定について説明した。
しかし、深さセンサー１０’の高速動作時には、メモリ２４から出力されるフレーム信号が漏れる可能性が高くなり、漏れたフレーム信号によって対象物体１１までの深さ推定では、エラーが発生する。

【0068】

深さ推定器２６’は、漏れたフレーム信号によって発生されうる深さ推定の誤差を補償することができる。例えば、複数の提供されたフレーム信号Ａ１、Ａ２、Ａ３、及びＡ４のうちから漏れたフレーム信号の有無及び複数の提供されたフレーム信号の連続パターンを考慮して、複数の提供されたフレーム信号をそれぞれがエラーなしに、対象物体１１までの深さの推定に利用される複数のフレーム信号グループにグループ化し、複数のフレーム信号グループのそれぞれを用いて、対象物体１１までの深さを推定する。

【0069】

図１４は、図１０に示した深さ推定器２６’のブロック図である。
図１４を参照すると、深さ推定器２６’は、第１状態判断モジュール２６ａ’、第２状態判断モジュール２６ｂ’、グルーピングモジュール２６ｃ’、位相検出モジュール２６ｄ’、及び距離計算モジュール２６ｅ’を含む。

【0070】

第１状態判断モジュール２６ａ’は、メモリ２４から提供された複数のフレーム信号のうちから現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報とを比較し、比較結果に基づいて、漏れたフレーム信号の有無を判断し、漏れたフレーム信号の有無を表わすインデックス値を発生させる。

【0071】

第２状態判断モジュール２６ｂ’は、複数の提供されたフレーム信号のうちから現在フレーム信号のフレーム情報及びインデックス値を比較し、比較結果に基づいて、複数の提供されたフレーム信号の連続パターンを判断する。

【0072】

グルーピングモジュール２６ｃ’は、メモリ２４から提供されたフレーム信号における漏れたフレーム信号の有無及び提供されたフレーム信号の連続パターンに基づいて、複数の提供されたフレーム信号を複数のフレーム信号グループにグループ化する。
この際、現在フレーム信号グループと以前フレーム信号グループは、少なくとも一つのフレーム信号を共有する。すなわち、グルーピングモジュール２６ｃ’も、図７のグルーピングモジュール２６ｂのようにムービング・ウインドウ方式で深さ計算時にエラーを発生しないフレーム信号をグルーピングする。

【0073】

表２は、メモリ２４から提供されるフレーム信号のフレーム情報及び第１状態判断モジュール２６ａ’で発生するインデックス値の一例を表わす。

【表2】

ここで、ｎは、フレーム信号の漏れの有無を表わすインデックス値を表わす。

【0074】

表２を参照すると、１タップピクセル構造では、フレーム信号Ａ０、Ａ１、Ａ２、Ａ３がサーキュラー（Ｃｉｒｃｕｌａｒ）方式によって順次に出力され、フレーム情報０、１、２、３もフレーム信号Ａ０、Ａ１、Ａ２、Ａ３に対応してサーキュラー方式によって順次に可変されるということが分かる。

【0075】

第１状態判断モジュール２６ａ’は、現在フレーム信号のフレーム情報ｆと以前フレーム信号のフレーム情報ｐｆとが（１、０）、（２、１）、（３、２）、または（０、３）であれば、メモリ２４で提供されたフレーム信号に漏れたフレーム信号がないと判断する。例えば、第１状態判断モジュール２６ａ’は、表２のｔ６時点では、現在フレーム情報と以前フレーム情報とが（２、０）であるので、フレーム信号Ａ１が漏れたと判断することができる。

【0076】

インデックス値ｎは、フレーム信号によって１、２、３、０がサーキュラー方式によって順次に反復される。しかし、インデックス値ｎは、フレーム信号が漏れたｔ６時点では現在フレーム情報値である２に設定されてｔ９時点までは可変されず、ｔ１０時点以後には、再びサーキュラー方式によって可変される。ｔ９時点は、ムービング・ウインドウ方式によってフレーム信号の漏れが発生したｔ６時点からエラーなしに対象物体１１までの深さを推定することができるフレーム信号グルーピングが可能な時点である。

【0077】

ムービング・ウインドウ方式によるフレーム信号グルーピング方式によれば、ｔ６〜ｔ９時点に対応するフレーム信号グループの次に対象物体１１までの深さ推定に利用されるフレーム信号グループは、ｔ７〜ｔ１０時点に対応するフレーム信号グループ、ｔ８〜ｔ１１時点に対応するフレーム信号グループになる。

【0078】

すなわち、第２状態判断モジュール２６ｂ’は、現在フレーム信号のフレーム情報ｆ及びインデックス値ｎを比較して、現在フレーム信号と現在フレーム以前の３個のフレーム信号との連続パターンが、ムービング・ウインドウ方式によってエラーなしに対象物体１１までの深さ推定をすることができる連続パターンであるか否かを判断する。

【0079】

したがって、グルーピングモジュール２６ｃ’は、第１状態判断モジュール２６ａ’及び第２状態判断モジュール２６ｂ’によって判断された漏れたフレームの有無及びフレーム信号の連続パターンに基づいて、メモリ２４から提供された複数のフレーム信号をそれぞれがエラーなしに、対象物体１１までの深さ推定に利用される複数のフレーム信号グループにグルーピングする。
表２によれば、グルーピングモジュール２６ｃ’は、現在フレーム信号のフレーム情報ｆ及びインデックス値ｎが（３、０）、（２、３）、（１、２）、または（０、１）であれば、現在フレーム信号と現在フレーム以前の３個のフレーム信号とを一つのフレーム信号グループにグルーピングするということが分かる。

【0080】

もし、フレーム信号が漏れたｔ６時点を含むｔ５〜ｔ８時点に対応するフレーム信号グループが、対象物体１１までの深さ推定に利用される場合には、下記の数式７でのように光信号ＥＬと反射される光信号ＲＬとの間の位相差の計算には、エラーが発生する。

【数7】

【0081】

しかし、漏れたフレーム信号を考慮したｔ６〜ｔ９時点に対応するフレーム信号グループを用いて計算された位相差には、数式８でのようにエラーが発生しない。

【数8】

【0082】

図１７は、漏れたフレーム信号が発生することによって可変される深さイメージ及び深さイメージのヒストグラムを示す。
図１７の（ａ）は、深さセンサー１０’によって漏れたフレーム信号が補償された場合の深さイメージ（Ｄｅｐｔｈ Ｉｍａｇｅ）及び深さイメージのヒストグラムを表わし、図１７の（ｂ）〜（ｄ）は、漏れたフレーム信号に基づいて深さ推定にエラーが発生した場合の深さイメージ及び前記深さイメージのヒストグラムを示す。

【0083】

図１７に示していないが、漏れたフレーム信号がなくて、深さ推定でエラーが発生していない場合の深さイメージ及びヒストグラムは、図１７の（ａ）に示した深さイメージ及びヒストグラムと類似している。しかし、漏れたフレーム信号による深さ推定にエラーが発生した場合には、深さイメージ及びヒストグラムは、図１７の（ｂ）〜（ｄ）のように可変される。

【0084】

深さ推定器２６’を含む図１０の深さセンサー１０’の深さ推定動作は、深さ推定工程を除いては、図１の深さセンサー１０の動作と類似している。したがって、以下、図１０の深さセンサー１０’の深さ推定器２６’の深さ推定工程を重点的に説明する。

【0085】

図１５は、図１０に示した深さ推定器２６’の深さ推定工程を説明するためのフローチャートである。
以下、図１０、図１４、及び図１５を参照して、その工程を順次に説明する。

【0086】

第１状態判断モジュール２６ａ’は、メモリ２４から提供されたフレーム信号のうちから現在フレーム信号のフレーム情報と以前フレーム信号のフレーム情報とを比較して、漏れたフレーム信号の有無を判断し、漏れたフレーム信号の有無を表わすインデックス値を発生させる（ステップＳ６０）。そうすると、第２状態判断モジュール２６ｂ’は、複数の提供されたフレーム信号のうちから現在フレーム信号のフレーム情報及びインデックス値を比較して、複数の提供されたフレーム信号の連続パターンを判断する（ステップＳ６１）。

【0087】

その後、グルーピングモジュール２６ｃ’は、提供されたフレーム信号に対する漏れたフレーム信号の有無及び複数の提供されたフレーム信号の連続パターンに基づいて、複数の提供されたフレーム信号を複数のフレーム信号グループにグループ化する（ステップＳ６２）。

【0088】

その後、位相検出モジュール２６ｄ’は、複数のフレーム信号グループのそれぞれに含まれた二つのフレーム信号の差と複数のフレーム信号グループのそれぞれに含まれた他の二つの信号の差との比率に基づいて、対象物体１１に放射された光信号ＥＬと対象物体１１から反射された光信号ＲＬとの間の位相差を検出し（ステップＳ６３）、距離計算モジュール２６ｅ’は、光信号ＥＬの周波数及び位相差に基づいて、対象物体１１までの深さを推定する（ステップＳ６４）。

【0089】

本発明の実施形態による深さセンサー１０または１０’の構成要素のそれぞれは、本発明の技術的思想を行うためのソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの結合によって具現可能である。
また、本発明の実施形態による深さセンサー１０または１０’は、多様な形態のパッケージを用いて実装されうる。

【0090】

例えば、本発明の実施形態による深さセンサー１０または１０’は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ ＤｕａｌＩｎ−Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ−Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｕｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ−ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ−Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのようなパッケージを用いて実装されうる。

【0091】

本発明の実施形態による深さセンサー１０または１０’を利用した深さ推定方法は、またコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現可能である。本発明の実施形態による深さセンサー１０または１０’を利用した深さ推定方法は、コンピュータで読み取り可能な記録媒体に保存された深さセンサー１０または１０’を利用した深さ推定方法を実行するためのコンピュータプログラムを実行することで具現可能である。
コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。例えば、コンピュータで読み取り可能な記録媒体には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。

【0092】

また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行可能である。そして、本発明の実施形態による深さセンサー１０または１０’を利用した深さ推定方法を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。

【0093】

図１６は、従来の深さセンサーと本発明の実施形態による深さセンサーとの性能分析シミュレーション結果を示すグラフである。
図１６において、ｘ軸は、一漏れたフレーム信号が発生する確率を表わし、ｙ軸は、全体フレーム信号のうちから対象物体までの深さ推定に利用されていないフレーム信号の比率を表わす。
フレーム信号グルーピング方式において、従来の深さセンサーは、漏れたフレーム信号を含むフレーム信号グループを対象物体までの深さ推定から除外する方式（ディスカード・オール：Ｄｉｓｃａｒｄ−ａｌｌ）を利用し、本発明の実施形態による深さセンサーは、ムービング・ウインドウ方式を利用する。

【0094】

図１６を参照すると、本発明の実施形態による深さセンサーが、従来の深さセンサーよりさらに多い数のフレーム信号を対象物体までの計算に利用するということが分かる。これは、本発明の実施形態による深さセンサーが、従来の深さセンサーよりさらに自然な深さイメージを提供することができるということを意味する。

【0095】

図１８は、本発明の実施形態による３次元イメージセンサーのブロック図である。
ここで、３次元イメージセンサーとは、深さピクセルを用いて深さ情報を測定する機能と各カラーピクセルＲ、Ｇ、及びＢを用いて各カラー情報（例えば、レッドカラー情報、グリーンカラー情報、またはブルーカラー情報）を測定する機能とを共に結合して、３次元イメージ情報が得られる装置を意味する。

【0096】

図１８を参照すると、３次元イメージセンサー１００は、ソース（赤外線光源）１２、タイミングコントローラ２０、ピクセルアレイ１１０、ローデコーダ２２、アクティブロード部１２４、ＣＤＳ／ＡＤＣ回路１３０、及びイメージ信号プロセッサ１５０を含む。
実施形態によって、３次元イメージセンサー１００は、カラムデコーダ（図示せず）をさらに含みうる。カラムデコーダは、タイミングコントローラ２０から出力されたカラムアドレスをデコーディングして、カラム選択信号を出力することができる。ソース１２は、赤外線信号、すなわち、変調赤外線信号を生成することができる光源として具現可能である。

【0097】

ローデコーダ２２は、ピクセルアレイ１１０に具現された各ピクセルの動作を制御するための制御信号を生成する。本実施形態では、タイミングコントローラ２０は、深さピクセルの駆動のためのゲート信号Ｇａ、Ｇｂ、Ｇｃ、及びＧｄを生成する。また、他の実施形態では、ローデコーダ２２は、タイミングコントローラ２０の制御下で、各ゲート信号Ｇａ、Ｇｂ、Ｇｃ、及びＧｄを生成することができる。

【0098】

ピクセルアレイ１１０は、複数のピクセル（図示せず）を含む。複数のピクセルのそれぞれは、レッドピクセル、グリーンピクセル、ブルーピクセル、深さピクセル、マゼンタピクセル、シアンピクセル、またはイエローピクセルのうちから少なくとも二つのピクセルが混合されて配列される。複数のピクセルのそれぞれは、複数のローラインと複数のカラムラインとの交差点にマトリックス状に配列される。

【0099】

ローデコーダ２２は、タイミングコントローラ２０から出力された制御信号に応答して、ピクセルアレイ１１０に具現された複数のローラインのうちから何れか一つのローラインを選択することができる。カラムデコーダは、タイミングコントローラ２０から出力された制御信号に応答して、ピクセルアレイ１１０に具現された複数のカラムラインのうちから少なくとも一つのカラムラインを選択することができる。

【0100】

したがって、ピクセルアレイ１１０に具現された複数のピクセルのうちから何れか一つのピクセルは、ローデコーダ２２とカラムデコーダとによって選択されうる。したがって、選択された何れか一つのピクセルによって検出されたピクセル信号（例えば、深さ情報またはカラー情報）は、アクティブロード部１２４を通じてＣＤＳ／ＡＤＣ回路１３０に伝送される。
アクティブロード部１２４は、タイミングコントローラ２０から出力されたバイアス電圧によって複数のカラムラインを通じて出力されたピクセル信号をＣＤＳ／ＡＤＣ回路１３０に伝送する。

【0101】

ＣＤＳ／ＡＤＣ回路１３０は、ピクセルアレイ１１０から出力されたピクセル信号（例えば、深さ情報またはカラー情報）をデジタル信号に変換する。すなわち、ＣＤＳ／ＡＤＣ回路１３０は、ピクセルアレイ１１０から出力されたピクセル信号（例えば、深さ情報またはカラー情報）に対してＣＤＳ動作を行ってＣＤＳ信号を生成し、該生成されたＣＤＳ信号にＡＤＣ動作を行ってデジタル信号を出力する。
イメージ信号プロセッサ１５０は、ＣＤＳ／ＡＤＣ回路１３０から出力されたデジタル信号からデジタルピクセル信号（例えば、深さ情報またはカラー情報）を検出する。

【0102】

実施形態によっては、イメージ信号プロセッサ１５０は、図１に示したメモリ２４及び／又は深さ推定器２６を含むか、図１０に示したメモリ２４及び／又は深さ推定器２６’を含みうる。したがって、イメージ信号プロセッサ１５０は、前述した本発明の実施形態による深さ推定方法を適用して深さ情報を推定し、該推定された深さ情報と各カラー情報とを結合して、３次元イメージ信号を生成することができる。

【0103】

この際、イメージ信号プロセッサ１５０は、ピクセルアレイ１１０の各ピクセルから出力された各ピクセル信号を補間し、該補間された各ピクセル情報に基づいて３次元イメージ信号を生成することもできる。実施形態によっては、図１８に示したＣＤＳ／ＡＤＣ回路１３０の内部に、図１に示したメモリ２４を具現することも可能である。

【0104】

図１９は、図１８に示した３次元イメージセンサーを含むイメージ処理システム２００のブロック図を示す。
図１９を参照すると、イメージ処理システム２００は、３次元イメージセンサー１００とプロセッサ２１０とを含みうる。
プロセッサ２１０は、３次元イメージセンサー１００の動作を制御することができる。

【0105】

例えば、プロセッサ２１０は、３次元イメージセンサー１００の動作を制御するためのプログラムを保存することができる。実施形態によっては、プロセッサ２１０は、３次元イメージセンサー１００の動作を制御するためのプログラムが保存されたメモリ（図示せず）をアクセスして、前記メモリに保存された前記プログラムを実行させることができる。

【0106】

３次元イメージセンサー１００は、プロセッサ２１０の制御下で、各デジタルピクセル信号（例えば、カラー情報または深さ情報）に基づいて３次元イメージ情報を生成することができる。生成された３次元イメージ情報は、インターフェース２３０に接続されたディスプレイ（図示せず）を通じて表示される。
３次元イメージセンサー１００によって生成された３次元イメージ情報は、プロセッサ２１０の制御下で、バス２０１を通じてメモリ装置２２０に保存することができる。メモリ装置２２０は、不揮発性メモリ装置として具現可能である。
インターフェース２３０は、３次元イメージ情報を入出力するためのインターフェースとして具現可能である。実施形態によっては、インターフェース２３０は、無線インターフェースとして具現可能である。

【0107】

図２０は、イメージセンサーと本発明の実施形態による深さセンサーとを含むイメージ処理システム３００のブロック図を示す。
図２０を参照すると、イメージ処理システム３００は、深さセンサー１０または１０’、ＲＧＢカラーピクセルを含むカラーイメージセンサー３１０、及びプロセッサ２１０を含みうる。

【0108】

図２０には、説明の便宜上、物理的に互いに分離された深さセンサー１０または１０’とカラーイメージセンサー３１０とを図示しているが、深さセンサー１０または１０’とカラーイメージセンサー３１０とが互いに物理的に重複される信号処理回路を含みうる。
ここで、カラーイメージセンサー３１０は、深さピクセルを含まず、レッドピクセル、グリーンピクセル、及びブルーピクセルとして具現されたピクセルアレイを含むイメージセンサーを意味する。したがって、プロセッサ２１０は、深さセンサー１０または１０’によって推定（または、計算）された深さ情報とカラーイメージセンサー３１０から出力された各カラー情報（例えば、レッド情報、グリーン情報、ブルー情報、マゼンタ情報、シアン情報、またはイエロー情報のうちから少なくとも一つ）とに基づいて３次元イメージ情報を生成し、該生成された３次元イメージ情報をディスプレイを通じて表示する。

【0109】

プロセッサ２１０によって生成された３次元イメージ情報は、バス３０１を通じてメモリ装置２２０に保存することができる。
図１９または図２０に示したイメージ処理システムは、３次元距離測定器、ゲームコントローラ、深さカメラ、またはジェスチャセンシング装置（ｇｅｓｔｕｒｅ ｓｅｎｓｉｎｇ ａｐｐａｒａｔｕｓ）などに使われ得る。

【0110】

図２１は、本発明の実施形態による深さセンサーを含む信号処理システム４００のブロック図を示す。
図２１を参照すると、単純な深さ（または、距離）測定センサーとしてのみ動作することができる信号処理システム４００は、深さセンサー１０または１０’と深さセンサー１０または１０’の動作を制御するためのプロセッサ２１０とを含む。
プロセッサ２１０は、深さセンサー１０または１０’から出力された深さ情報に基づいて、信号処理システム４００と被写体（または、ターゲット物体）との距離情報または深さ情報を計算することができる。プロセッサ２１０によって測定された距離情報または深さ情報は、バス４０１を通じてメモリ装置２２０に保存することができる。

【0111】

尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

【産業上の利用可能性】

【0112】

本発明は、深さセンサーを搭載する電子機器、たとえば、３次元距離測定器、ゲームコントローラ、カメラ、ジェスチャセンシング装置等に好適に使用される。

【符号の説明】

【0113】

１０、１０’ 深さセンサー
１２ 赤外線光源
１１ 対象物体
１４ 深さセンサーアレイ
１６、３２ 深さピクセル
１６−１、１６−２ （第１、第２）アクティブ領域
１６−３、１６−４ 光電変換素子
１７ 赤外線通過フィルター
１８、１３０ ＣＤＳ／ＡＤＣ回路
２０ タイミングコントローラ
２２ ローデコーダ
２４ メモリ
２６、２６’ 深さ推定器
２６ａ’ 第１状態判断モジュール
２６ｂ’ 第２状態判断モジュール
２６ｃ’ グルーピングモジュール
２６ｄ’ 位相検出モジュール
２６ｅ’ 距離計算モジュール
１００ ３次元イメージセンサー
１１０ ピクセルアレイ
１２４ アクティブロード部
１５０ イメージ信号プロセッサ
２００、３００ イメージ処理システム
２０１、３０１、４０１ バス
２１０ プロセッサ
２２０ メモリ装置
２３０、４１０ インターフェース
３００ イメージ処理システム
３１０ カラーイメージセンサー
４００ 信号処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】