特開 2025-9925 奥行きイメージセンシング装置、イメージ信号プロセッサおよびイメージ信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025009925

(43)【公開日】2025-01-20

(54)【発明の名称】奥行きイメージセンシング装置、イメージ信号プロセッサおよびイメージ信号処理方法

(51)【国際特許分類】

   G01S 7/497 20060101AFI20250109BHJP

   H04N 25/705 20230101ALI20250109BHJP

   H04N 23/60 20230101ALI20250109BHJP

【ＦＩ】

G01S7/497

H04N25/705

H04N23/60 500

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024099391

(22)【出願日】2024-06-20

(31)【優先権主張番号】10-2023-0085019

(32)【優先日】2023-06-30

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】長井 利明

【テーマコード（参考）】

5C024

5C122

5J084

【Ｆターム（参考）】

5C024AX02

5C024CY17

5C024CY42

5C024EX13

5C024HX57

5C122EA52

5C122FC03

5C122FH11

5C122HA88

5C122HB01

5C122HB10

5J084AA05

5J084AD01

5J084BA20

5J084BA36

5J084CA03

(57)【要約】

【課題】シーンに対するシーンとの距離に関する情報を処理することができる奥行きイメージセンシング装置、イメージ信号プロセッサおよびイメージ信号処理方法を提供する。
【解決手段】本発明の一実施形態による奥行きイメージセンシング装置１は、シーンから反射したドットパターン光を感知し、生成された奥行きデータをライングループＬ１～Ｌ８単位で格納するラインメモリ５６０と、ライングループＬ１～Ｌ８に含まれた複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルＤＣＰを決定するドットセンターピクセル検出器１００と、ドットセンターピクセルＤＣＰの位置を含むドットセンターピクセル情報を格納するドットデータメモリ５７０とを含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

シーンから反射したドットパターン光を感知し、生成された奥行きデータをライングループ単位で格納するラインメモリと、
前記ライングループに含まれた複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルを決定するドットセンターピクセル検出器と、
前記ドットセンターピクセルの位置を含むドットセンターピクセル情報を格納するドットデータメモリとを含む、奥行きイメージセンシング装置。

【請求項2】

前記奥行きデータの強度は、前記シーンに照射されたドットパターン光と所定の位相差を有する第１変調制御信号と、前記第１変調制御信号とは逆の位相を有する第２変調制御信号を用いて生成される第１および第２奥行きデータの電荷値（ｃｈａｒｇｅ ｖａｌｕｅ）である、請求項１に記載の奥行きイメージセンシング装置。

【請求項3】

前記電荷値は、前記第１奥行きデータと前記第２奥行きデータとの和であり、
前記電荷値から該当ピクセルの周辺ピクセルの電荷値の平均を減算した値が所定の閾差より大きい場合、前記電荷値が有効電荷値と看做される、請求項２に記載の奥行きイメージセンシング装置。

【請求項4】

前記反射したドットパターン光を感知する複数のピクセルを含むピクセルアレイをさらに含み、
前記ライングループに含まれるラインの個数は、前記ピクセルアレイに含まれるラインの個数より小さい、請求項１に記載の奥行きイメージセンシング装置。

【請求項5】

前記ドットセンターピクセル検出器は、前記複数のカーネルそれぞれに含まれるサーチポイントを決定するサーチポイント管理部を含む、請求項１に記載の奥行きイメージセンシング装置。

【請求項6】

前記サーチポイントと前記サーチポイントに隣接した隣接サーチポイントとの間隔は、前記ドットパターン光のドット間の間隔より小さい、請求項５に記載の奥行きイメージセンシング装置。

【請求項7】

前記ドットセンターピクセル検出器は、前記複数のカーネルそれぞれに含まれた複数のピクセルの前記奥行きデータの強度を比較して、前記ドットセンターピクセルを決定する周辺ピクセル比較部を含む、請求項１に記載の奥行きイメージセンシング装置。

【請求項8】

前記ドットセンターピクセル検出器は、前記ドットセンターピクセルの前記奥行きデータの強度を有効閾値と比較して、前記ドットセンターピクセルが有効ピクセルであるか否かを決定する有効ピクセル決定部を含む、請求項１に記載の奥行きイメージセンシング装置。

【請求項9】

前記ドットセンターピクセル検出器は、前記有効ピクセルである前記ドットセンターピクセルのうち重複するドットセンターピクセルを除去する重複ドットセンターピクセル除去部を含む、請求項８に記載の奥行きイメージセンシング装置。

【請求項10】

前記重複するドットセンターピクセルは、他のドットセンターピクセルとの距離が、前記ドットパターン光のドットの直径より小さいピクセルである、請求項９に記載の奥行きイメージセンシング装置。

【請求項11】

複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルを決定するドットセンターピクセル検出器と、
前記ドットセンターピクセルの前記奥行きデータを用いて、シーンとの距離を算出する奥行きイメージ生成器とを含む、イメージ信号プロセッサ。

【請求項12】

前記奥行きデータの強度は、前記シーンに照射されるドットパターン光と互いに異なる位相差を有する第１～第４変調制御信号を用いて生成される第１～第４奥行きデータの振幅値（ａｍｐｌｉｔｕｄｅ ｖａｌｕｅ）である、請求項１１に記載のイメージ信号プロセッサ。

【請求項13】

前記ドットセンターピクセル検出器は、前記複数のカーネルそれぞれに含まれるサーチポイントを決定するサーチポイント管理部を含む、請求項１１に記載のイメージ信号プロセッサ。

【請求項14】

前記サーチポイントと前記サーチポイントに隣接した隣接サーチポイントとの間隔は、前記シーンに照射されるドットパターン光のドット間の間隔より小さい、請求項１３に記載のイメージ信号プロセッサ。

【請求項15】

前記ドットセンターピクセル検出器は、前記複数のカーネルそれぞれに含まれた複数のピクセルの前記奥行きデータの強度を比較して、前記ドットセンターピクセルを決定する周辺ピクセル比較部を含む、請求項１１に記載のイメージ信号プロセッサ。

【請求項16】

前記ドットセンターピクセル検出器は、前記ドットセンターピクセルの前記奥行きデータの強度を有効閾値と比較して、前記ドットセンターピクセルが有効ピクセルであるか否かを決定する有効ピクセル決定部を含む、請求項１１に記載のイメージ信号プロセッサ。

【請求項17】

前記ドットセンターピクセル検出器は、前記有効ピクセルである前記ドットセンターピクセルのうち重複するドットセンターピクセルを除去する重複ドットセンターピクセル除去部を含む、請求項１６に記載のイメージ信号プロセッサ。

【請求項18】

前記重複するドットセンターピクセルは、他のドットセンターピクセルとの位置が同一であるピクセルである、請求項１７に記載のイメージ信号プロセッサ。

【請求項19】

複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルを決定するステップと、
前記ドットセンターピクセルの前記奥行きデータの強度を有効閾値と比較して、前記ドットセンターピクセルが有効ピクセルであるか否かを決定するステップと、
前記有効ピクセルである前記ドットセンターピクセルのうち重複するドットセンターピクセルを除去するステップと、
前記ドットセンターピクセルの前記奥行きデータを用いて、シーンとの距離を算出するステップとを含む、イメージ信号処理方法。

【請求項20】

前記有効ピクセルは、前記奥行きデータの強度が最も強いドットセンターピクセルを決定するステップおよび前記ドットセンターピクセルが有効ピクセルであるか否かを決定するステップが複数回繰り返し行われて決定される、請求項１９に記載のイメージ信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シーンに対するシーンとの距離に関する情報を処理することができる奥行きイメージセンシング装置、イメージ信号プロセッサおよびイメージ信号処理方法に関する。

【背景技術】

【0002】

イメージセンシング装置は、光に反応する光感知半導体物質の性質を用いて、光学イメージをキャプチャ（ｃａｐｔｕｒｅ）する装置である。自動車、医療、コンピュータおよび通信などの産業の発展に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、警備用カメラ、医療用マイクロカメラなどの様々な分野において高性能（ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ）イメージセンシング装置に対する需要が増大している。

【0003】

イメージセンシング装置は、シーン（ｓｃｅｎｅ）のカラーイメージ（ｃｏｌｏｒ ｉｍａｇｅ）を取得するか、シーンの奥行きイメージ（ｄｅｐｔｈ ｉｍａｇｅ）を取得するのに用いられることができる。奥行きイメージを取得することができるイメージセンシング装置は、別の光源を使用するが、このような光源を運用するには相当な電力が消費され得る。

【0004】

特に、イメージセンシング装置がモバイル装置に搭載される場合、光源の動作に必要な電力を低減することが重要な問題として取り上げられている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の技術的思想は、光源の動作に必要な電力を低減し、且つ奥行きセンシングの性能を向上させることができる奥行きイメージセンシング装置、イメージ信号プロセッサおよびイメージ信号処理方法を提供することができる。

【0006】

本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及していないさらに他の技術的課題は、以下の記載から当業者が明確に理解することができる。

【課題を解決するための手段】

【0007】

本開示の一実施形態による奥行きイメージセンシング装置は、シーンから反射したドットパターン光を感知し、生成された奥行きデータをライングループ単位で格納するラインメモリと、前記ライングループに含まれた複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルを決定するドットセンターピクセル検出器と、前記ドットセンターピクセルの位置を含むドットセンターピクセル情報を格納するドットデータメモリとを含むことができる。

【0008】

本開示の他の実施形態によるイメージ信号プロセッサは、複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルを決定するドットセンターピクセル検出器と、前記ドットセンターピクセルの前記奥行きデータを用いて、シーンとの距離を算出する奥行きイメージ生成器とを含むことができる。

【0009】

本開示のさらに他の実施形態によるイメージ信号処理方法は、複数のカーネルそれぞれにおいて、奥行きデータの強度が最も強いドットセンターピクセルを決定するステップと、前記ドットセンターピクセルの前記奥行きデータの強度を有効閾値と比較して、前記ドットセンターピクセルが有効ピクセルであるか否かを決定するステップと、前記有効ピクセルである前記ドットセンターピクセルのうち重複するドットセンターピクセルを除去するステップと、前記ドットセンターピクセルの前記奥行きデータを用いて、シーンとの距離を算出するステップとを含むことができる。

【発明の効果】

【0010】

本文書で開示される実施形態によると、シーンとは無関係に、効率よく正確な距離検出が可能な奥行きイメージセンシング装置、イメージ信号プロセッサおよびイメージ信号処理方法を提供することができる。

【0011】

その他、本文書により直接的または間接的に把握される様々な効果が提供されることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態によるイメージング装置の構成を概略的に図示した構成図である。

【図2】図１のイメージング装置がｄｉｒｅｃｔ ＴｏＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式を用いる場合に生成される奥行きデータを説明するための図である。

【図3】図１のイメージング装置がｉｎｄｉｒｅｃｔ ＴｏＦ方式を用いる場合に生成される奥行きデータを説明するための図である。

【図4】本発明の一実施形態によるドットセンターピクセル検出器を示すブロック図である。

【図5】図４のドットセンターピクセル検出器の動作方法を説明するためのフローチャートである。

【図6】図５のＳ２０ステップを説明するための図である。

【図7】図５のＳ３０ステップを説明するための図である。

【図8】図５のＳ５０ステップを説明するための図である。

【図9】図４に図示されているドットセンターピクセル検出器を含むイメージング装置の一実施形態を示した構成図である。

【図10】図９に図示されているイメージング装置の動作方法を説明するためのフローチャートである。

【図11】図１０に図示されているＳ１３０ステップをより詳細に示したフローチャートである。

【図12】図１０に図示されているＳ１５０ステップをより詳細に示したフローチャートである。

【図13】図４に図示されているドットセンターピクセル検出器を含むイメージング装置の他の実施形態を示した構成図である。

【図14】図１３に図示されているイメージング装置の動作方法を説明するためのフローチャートである。

【図15】第１ライングループに対して行われる動作を説明するための図である。

【図16】第２ライングループに対して行われる動作を説明するための図である。

【図17】図１４のＳ２５０ステップを説明するための図である。

【図18】図１４のＳ２５０ステップを説明するための図である。

【図19】図１４に図示されているＳ２３０ステップをより詳細に示したフローチャートである。

【図20】図１４に図示されているＳ２５０ステップをより詳細に示したフローチャートである。

【図21】図４のドットセンターピクセル検出器に該当するコンピューティング装置の一例を示したブロック図である。

【発明を実施するための形態】

【0013】

以下、添付の図面を参照して、本発明の様々な実施形態について説明する。しかし、これは、特定の実施形態に対して限定するものではなく、本発明の実施形態の様々な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、均等物（ｅｑｕｉｖａｌｅｎｔ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解すべきである。

【0014】

図１は、本発明の一実施形態によるイメージング装置の構成を概略的に図示した構成図である。

【0015】

図１を参照すると、イメージング装置１は、シーン（ｓｃｅｎｅ）に対する奥行きイメージを取得するための装置であって、奥行きイメージは、シーン（ｓｃｅｎｅ）に対する距離感を示したイメージであることができる。すなわち、ユーザは、奥行きイメージを介してシーンとの距離を視覚的に確認することができる。

【0016】

奥行きイメージの取得のために、イメージング装置１は、光源モジュール２とカメラ３を含むことができる。

【0017】

光源モジュール２は、シーンに向かって光を照射し、カメラ３は、照射した光がシーンから反射して入射する光を感知して、電気的信号を生成することができる。カメラ３の内部または外部に備えられるプロセッサ（図示せず）は、カメラ３によって生成される電気的信号に基づいて、奥行きイメージを生成することができる。

【0018】

光源モジュール２は、光を照射するために相当な電力を消費することができ、このような消費電力を減らすために、光源モジュール２は、ドットパターン光（ｄｏｔ ｐａｔｔｅｒｎ ｌｉｇｈｔ）をシーンに照射することができる。ドットパターン光は、所定の領域で連続した形態で照射される一つの光である面光（ｓｕｒｆａｃｅ ｌｉｇｈｔ）ではなく、所定の領域で不連続な形態で照射される複数個の光を意味することができる。これにより、ドットパターン光は、シーンとカメラ３でドット形態を有する光として示されることができる。

【0019】

ドットパターン光を正確に感知するためには、ドットパターン光を構成する各ドットの中心を正確に検出する必要がある。しかし、カメラ３に入射するドットパターン光の各ドットは、シーン依存的な（ｓｃｅｎｅ ｄｅｐｅｎｄｅｎｔ）特性を有することから、一定に固定されている方法では、各ドットの中心を正確に検出し難い可能性がある。シーン依存的な特性は、光源モジュール２とカメラ３との位置の差によって発生することもあり（ドットの位置偏差）、カメラ３とシーンとの距離の差によって発生することもある（ドットの大きさ偏差）。本開示では、各ドットのシーン依存的な特性にもかかわらず、ドットパターン光を正確に感知することができる方法が開示される。

【0020】

図２は、図１のイメージング装置がｄｉｒｅｃｔ ＴｏＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式を用いる場合に生成される奥行きデータを説明するための図である。

【0021】

図２を参照すると、イメージング装置１は、ｄｉｒｅｃｔ ＴｏＦ方式を用いて、奥行きイメージの基礎になる奥行きデータを生成することができ、ｄｉｒｅｃｔ ＴｏＦ方式は、シーンに照射された変調光信号ＭＬＳの照射時点と、変調光信号ＭＬＳがシーンから反射して入射する入射時点との時間の差を直接測定する方式であることができる。この場合、奥行きデータは、シーンから反射した変調光信号ＭＬＳを感知したピクセルデータであることができる。

【0022】

カメラ３は、ｄｉｒｅｃｔ ＴｏＦ方式のための複数のダイレクトピクセルを含むことができる。一実施形態によって、複数のダイレクトピクセルそれぞれは、ＳＰＡＤ（ｓｉｎｇｌｅ－ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ）を含むピクセルであることができる。ＳＰＡＤに逆バイアス電圧を印加して電場を増加させると、強くかかった電場によって入射された光子により発生した電子が移動しながら電子－正孔対が生成される衝突イオン化（ｉｍｐａｃｔ ｉｏｎｉｚａｔｉｏｎ）が発生する。特に、降伏電圧（ｂｒｅａｋｄｏｗｎ ｖｏｌｔａｇｅ）より高い逆バイアス電圧が印加されるガイガーモード（ｇｅｉｇｅｒ ｍｏｄｅ）で動作するＳＰＡＤでは、入射光によって発生したキャリア（電子または正孔）と衝突イオン化現象で生成された電子と正孔が互いに衝突して無数のキャリアが生成されることができる。したがって、ＳＰＡＤは、単一光子が入射されても、単一光子がアバランシェ降伏をトリガー（ｔｒｉｇｇｅｒ）し、これにより、測定可能な電流パルスが生成されることができる。

【0023】

図２において、光源モジュール２から照射される変調光信号ＭＬＳは、相対的に振幅が大きく、パルス幅が小さいパルス形態を有することができ、パルスが発生する時点は、基準パルス時点ＲＰＴと定義することができる。

【0024】

光源モジュール２は、変調光信号ＭＬＳをシーンに照射し、カメラ３は、シーンから反射して入射する反射光を感知し、生成された電流パルスに該当するピクセルデータＰＤを生成することができる。また、カメラ３は、ピクセルデータＰＤが閾データ以上の値を有する時点をパルス感知時点ＰＳＴと決定することができ、基準パルス時点ＲＰＴからパルス感知時点ＰＳＴまでの時間の差である飛行時間ＴｏＦを計算し、計算した飛行時間ＴｏＦと光速を演算して（例えば、ＴｏＦを２で除した値を光速と乗算）シーンとカメラ３との距離を計算することができる。

【0025】

図３は、図１のイメージング装置がｉｎｄｉｒｅｃｔ ＴｏＦ方式を用いる場合に生成される奥行きデータを説明するための図である。

【0026】

図３を参照すると、イメージング装置１は、ｉｎｄｉｒｅｃｔ ＴｏＦ方式を用いて、奥行きイメージの基礎になる奥行きデータを生成することができ、inｄｉｒｅｃｔ ＴｏＦ方式は、シーンに照射された変調光信号ＭＬＳと、変調光信号がシーンから反射して入射する反射変調光信号ＭＬＳ＿Ｒとの位相差を計算する方式であることができる。この場合、奥行きデータは、変調光信号ＭＬＳと所定の位相差（例えば、０度、９０度、１８０度、または２７０度）を有する変調制御信号によって制御されるピクセルがキャプチャした光電荷に対応するピクセルデータであることができる。

【0027】

カメラ３は、ｉｎｄｉｒｅｃｔ ＴｏＦ方式のための複数のインダイレクトピクセルを含むことができる。一実施形態によって、複数のインダイレクトピクセルそれぞれは、２－ｔａｐ構造のピクセルであることができる。２－ｔａｐ構造のピクセルは、入射する光を光電荷に変換する一つの光電変換素子、互いに逆の位相を有する第１および第２変調制御信号ＭＣＳ１、ＭＣＳ２それぞれによってターンオンして互いに異なるタイミングで光電荷を伝達する２つのトランジスタ、および２つのトランジスタから出力される光電荷をそれぞれ電気信号に変換して出力する２つの出力回路を含むことができる。例えば、第１変調制御信号ＭＣＳ１および第２変調制御信号ＭＣＳ２は、それぞれ、変調光信号ＭＬＳとは０度の位相差（すなわち、同位相）および１８０度の位相差を有することができる。または第１変調制御信号ＭＣＳ１および第２変調制御信号ＭＣＳ２は、それぞれ、変調光信号ＭＬＳとは９０度の位相差および２７０度の位相差を有することができる。

【0028】

図３に図示されている変調光信号ＭＬＳは、図２に図示されている変調光信号ＭＬＳに比べて相対的に振幅が小さく、パルス幅が大きいパルスを有することができる。反射変調光信号ＭＬＳ＿Ｒは、変調光信号ＭＬＳがシーンによって反射して入射する飛行時間によって、変調光信号ＭＬＳとは所定の位相差θを有することができる。カメラ３がシーンとの距離を計算するための動作区間は、第１センシング期間ＳＰ１と第２センシング期間ＳＰ２とに分けられる。また、第１センシング期間ＳＰ１と第２センシング期間ＳＰ２で、変調光信号ＭＬＳと反射変調光信号ＭＬＳ＿Ｒとの位相差θは、一定に維持されると仮定する。

【0029】

第１センシング期間ＳＰ１で、第１変調制御信号ＭＣＳ１は、変調光信号ＭＬＳと同位相（０度の位相差）を有し、第１区間ＰＲ１で活性化電圧（またはロジックハイレベル）を有することができる。活性化電圧を有する第１変調制御信号ＭＣＳ１によって第１区間ＰＲ１で生成された光電荷の量を示す第１奥行きデータＣ０が生成されることができる。

【0030】

第１センシング期間ＳＰ１で、第２変調制御信号ＭＣＳ２は、変調光信号ＭＬＳとは逆の位相（１８０度の位相差）を有し、第２区間ＰＲ２で活性化電圧（またはロジックハイレベル）を有することができる。活性化電圧を有する第２変調制御信号ＭＣＳ２によって第２区間ＰＲ２で生成された光電荷の量を示す第３奥行きデータＣ２が生成されることができる。

【0031】

第２センシング期間ＳＰ２で、第１変調制御信号ＭＣＳ１は、変調光信号ＭＬＳと９０度の位相差を有し、第３区間ＰＲ３で、活性化電圧（またはロジックハイレベル）を有することができる。活性化電圧を有する第１変調制御信号ＭＣＳ１によって第３区間ＰＲ３で生成された光電荷の量を示す第２奥行きデータＣ１が生成されることができる。

【0032】

第２センシング期間ＳＰ２で、第２変調制御信号ＭＣＳ２は、変調光信号ＭＬＳと２７０度の位相差を有し、第４区間ＰＲ４で、活性化電圧（またはロジックハイレベル）を有することができる。活性化電圧を有する第２変調制御信号ＭＣＳ２によって第４区間ＰＲ４で生成された光電荷の量を示す第４奥行きデータＣ３が生成されることができる。

【0033】

すなわち、反射変調光信号ＭＬＳ＿Ｒは、第１センシング期間ＳＰ１で、第１区間ＰＲ１と第２区間ＰＲ２とに分けられてキャプチャされ、第２センシング期間ＳＰ２で、第３区間ＰＲ３と第４区間ＰＲ４とに分けられてキャプチャされることができる。

【0034】

第１～第４奥行きデータＣ０～Ｃ３から変調光信号ＭＬＳと反射変調光信号ＭＬＳ＿Ｒとの位相差θは、以下の数学式１により計算することができる。

【0035】

［数学式１］

【数1】

【0036】

また、位相差θを用いて、以下の数学式２によりカメラ３とシーンとの距離ｄが算出されることができる。

【0037】

［数学式２］

【数2】

【0038】

ここで、ｃは、光速であり、ｆｍは、変調光信号ＭＬＳの周波数であることができる。

【0039】

一方、反射変調光信号ＭＬＳ＿Ｒの振幅値（ａｍｐｌｉｔｕｄｅ ｖａｌｕｅ；ａｍｐ）は、以下の数学式３により計算することができる。

【0040】

［数学式３］

【数3】

【0041】

なお、反射変調光信号ＭＬＳ＿Ｒによって生成される光電荷の総電荷量（ｔｏｔａｌ ｃｈａｒｇｅ）を示す電荷値（ｃｈａｒｇｅ ｖａｌｕｅ；Ｂ）は、第１奥行きデータＣ０と第３奥行きデータＣ２との和Ｃ０＋Ｃ２または第２奥行きデータＣ１と第４奥行きデータＣ３との和Ｃ１＋Ｃ３に対応することができる。

【0042】

図３に図示されているような位相差検出方式（４－ｐｈａｓｅ ｍｏｄｕｌａｔｉｏｎ方式）によると、位相差の演算時に、（Ｃ１－Ｃ３）および（Ｃ０－Ｃ２）のようなｄｉｆｆｅｒｅｎｔｉａｌ ｖａｌｕｅを用いることで、第１～第４奥行きデータＣ０～Ｃ３のそれぞれに含まれたバックグラウンドノイズによる成分が除去されることができ、より正確な距離計算が可能である。

【0043】

図４は、本発明の一実施形態によるドットセンターピクセル検出器を示すブロック図である。図５は、図４のドットセンターピクセル検出器の動作方法を説明するためのフローチャートである。図６は、図５のＳ２０ステップを説明するための図である。図７は、図５のＳ３０ステップを説明するための図である。図８は、図５のＳ５０ステップを説明するための図である。

【0044】

図４および図５を参照すると、ドットセンターピクセル検出器１００は、図１のカメラ３に含まれる構成であることができるが、本発明の範囲は、これに限定されず、カメラ３の外部に位置する構成であることができる。

【0045】

ドットセンターピクセル検出器１００は、奥行きデータを受信および分析して奥行きデータでドットセンターピクセルを決定し、ドットセンターピクセル情報を生成および出力することができる。カメラ３は、シーンに対する奥行きデータを取得するために、複数個のロー（ｒｏｗｓ）および複数個のカラム（ｃｏｌｕｍｎｓ）を含むマトリックス（ｍａｔｒｉｘ）形態で複数のピクセルが配列されるピクセルアレイを含むことができる。ピクセルアレイを構成する複数のピクセルは、一つのシーンに対して、それぞれ奥行きデータを生成することができ、このような奥行きデータは、一つのフレームを構成することができる。ドットセンターピクセル検出器１００に入力される奥行きデータは、一つのフレームに該当することができ、一つのフレームに該当する奥行きデータは、同時に入力されず、シリアルインタフェース（ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ）を介して順に入力されることができる。

【0046】

カメラ３に入力される反射変調光信号は、ドットパターン光に該当するため、一つのフレームにおいて、光が入射する領域（例えば、図６でＤＯＴ）と光が入射しない領域（例えば、図６でＤＯＴ以外の領域）が存在することができる。光が入射しない領域に該当する奥行きデータに基づいてシーンとの距離を算出することは無意味であり、光が入射する領域内でも光が入射する領域の中心に位置したドットセンターピクセルでの奥行きデータの強度が最も大きく、ドットセンターピクセルの周辺に行くほど奥行きデータの強度が次第に小さくなることができる。奥行きデータの強度が大きいほど、信号対ノイズ比（ＳＮＲ；ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）が良好になることができ、ドットセンターピクセルの奥行きデータを用いてシーンとの距離を算出することが最も効果的であることができる。したがって、ドットセンターピクセル検出器１００によるドットセンターピクセルを決定する動作が、ドットパターン光を用いた距離検出の過程で重要であり得る。

【0047】

ドットセンターピクセル情報は、ドットセンターピクセルの位置およびドットセンターピクセルの奥行きデータを含むことができる。実施形態によって、ドットセンターピクセル情報は、ドットセンターピクセルの奥行きデータが加工されているデータをさらに含むことができる。

【0048】

ドットセンターピクセル検出器１００は、サーチポイント管理部（ｓｅａｒｃｈ ｐｏｉｎｔ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ）１１０と、周辺ピクセル比較部（ｎｅａｒｂｙ ｐｉｘｅｌ ｃｏｍｐａｒｉｓｏｎ ｕｎｉｔ）１２０と、有効ピクセル決定部（ｖａｌｉｄ ｐｉｘｅｌ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｕｎｉｔ）１３０と、重複ドットセンターピクセル除去部（ｏｖｅｒｌａｐｐｅｄ ｄｏｔ ｃｅｎｔｅｒ ｐｉｘｅｌ ｒｅｍｏｖｉｎｇ ｕｎｉｔ）１４０とを含むことができる。ドットセンターピクセル検出器１００は、ハードウェア、ソフトウェアおよび／またはこれらの組み合わせで実現されることができる。

【0049】

サーチポイント管理部１１０は、一つのフレームに該当する奥行きデータを取得することができる（Ｓ１０）。ここでは、サーチポイント管理部１１０が一つのフレーム単位で奥行きデータを取得することを前提として説明しているが、他の実施形態によって、一つのフレームより小さい単位（例えば、ラインメモリの容量に対応する奥行きデータ）で奥行きデータを取得することもできる。

【0050】

図６において、一つのフレームに該当する奥行きデータが図示されており、ドットパターン光に対応する奥行きデータは、ドットＤＯＴで表示されている。ドットＤＯＴ内での明度（ｂｒｉｇｈｔｎｅｓｓ）は、奥行きデータの強度を示すことができ、明度が低いほど（すなわち、暗いほど）、奥行きデータの強度が強いことができる。図６において、ドットＤＯＴの個数および位置、サーチポイントＳＰの個数および位置は、説明の便宜上、例示的なものに過ぎず、本発明の範囲はこれに限定されない。

【0051】

各ピクセルがｄｉｒｅｃｔ ｐｉｘｅｌである場合には、奥行きデータの強度は、シーンから反射した変調光信号ＭＬＳを感知したピクセルデータであることができる。他の実施形態によって、各ピクセルがｉｎｄｉｒｅｃｔ ｐｉｘｅｌである場合には、奥行きデータの強度は、変調光信号ＭＬＳと所定の位相差（例えば、０度、９０度、１８０度、または２７０度）を有する変調制御信号によって制御されるピクセルがキャプチャした光電荷に対応するピクセルデータ（すなわち、第１～第４奥行きデータＣ０～Ｃ３）から算出される振幅値（ａｍｐｌｉｔｕｄｅ ｖａｌｕｅ）または電荷値（ｃｈａｒｇｅ ｖａｌｕｅ）であることができる。

【0052】

サーチポイント管理部１１０は、一つのフレームに該当する奥行きデータに対して、所定の規則に従って配列されるサーチポイントの初期位置を決定または管理することができる（Ｓ２０）。ここで、サーチポイントは、ドットセンターピクセルを検索する単位になるピクセルの位置を意味することができる。他の実施形態によって、サーチポイントが予め固定されている場合、Ｓ２０ステップは、省略されてもよい。

【0053】

図６において、サーチポイントＳＰは、ドットパターン光を構成するドットの配置形態に対応するように配列されることができ、横方向および縦方向に沿って一列に配列されるドットに対応するように、格子状の各交差点ごとにサーチポイントＳＰが配置されることができる。一実施形態によって、横方向に隣接するサーチポイントＳＰの間隔は、横方向に隣接するドットＤＯＴの間隔より小さく設定され、縦方向に隣接するサーチポイントＳＰの間隔は、縦方向に隣接するドットＤＯＴの間隔より小さく設定されることができる。これは、如何なるサーチポイントによっても検索されないドットセンターピクセル（すなわち、ｍｉｓｓｅｄ ｐｉｘｅｌ）が存在しないようにするためである。ここで、ドットＤＯＴの間隔は、ドットＤＯＴの最小間隔として実験的に決定されることができる。サーチポイントＳＰの配置形態は、図６に限定されず、例えば、ジグザグ（ｚｉｇｚａｇ）パターンに配置されることができる。

【0054】

サーチポイント管理部１１０は、ドットパターン光を構成するドットの配置形態に応じて予め定められた方式でサーチポイントＳＰの個数および位置を決定し、サーチポイントＳＰの位置を格納することができる。他の実施形態によって、サーチポイント管理部１１０は、予め格納されているサーチポイントＳＰの位置および／または個数を動的に調節することができる。例えば、ドットセンターピクセル情報に含まれるドットセンターピクセルの個数が、全体ドットＤＯＴの個数に比べて所定の割合（例えば、５０％）以下である場合、サーチポイント管理部１１０は、サーチポイントＳＰの個数を増加させ、隣接するサーチポイントＳＰ間の間隔を低減することができる。

【0055】

周辺ピクセル比較部１２０は、各サーチポイントＳＰ別に当該サーチポイントＳＰの所定の範囲内に位置するピクセル（すなわち、周辺ピクセル）の奥行きデータに基づいて、ドットセンターピクセルＤＣＰを決定することができる。一実施形態によって、周辺ピクセル比較部１２０は、周辺ピクセルの奥行きデータの強度を計算し、奥行きデータの強度を比較して、ドットセンターピクセルＤＣＰを決定することができる。すなわち、周辺ピクセル比較部１２０は、サーチポイントＳＰの周辺ピクセルのうち奥行きデータの強度が最も強いピクセルをドットセンターピクセルＤＣＰと決定することができる（Ｓ３０）。

【0056】

図６において、各サーチポイントＳＰに対して所定の範囲内に位置するピクセルの集合は、カーネル（ｋｅｒｎｅｌ；ＫＮ）と定義することができる。一実施形態によって、カーネルの横の長さは、横方向に隣接するサーチポイントＳＰの間隔より大きく、前記間隔の２倍より小さく設定され、カーネルの縦の長さは、縦方向に隣接するサーチポイントＳＰの間隔より大きく、前記間隔の２倍より小さく設定されることができる。これは、例示的なものに過ぎず、不要な演算（ドットセンターピクセルＤＣＰの重複検出）とドットセンターピクセルＤＣＰの未検出を最小化することができるように、カーネルＫＮの大きさが実験的に決定されることができる。

【0057】

有効ピクセル決定部１３０は、周辺ピクセル比較部１２０によって決定されたドットセンターピクセルＤＣＰそれぞれの奥行きデータの強度を有効閾値（ｖａｌｉｄ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）と比較して、各ドットセンターピクセルＤＣＰが有効ピクセルであるか否かを決定することができる（Ｓ４０）。有効閾値は、奥行きデータの強度の最大値と最小値、信号対ノイズ比などを考慮して予め定められた固定された値であることができる。他の実施形態によって、ドットセンターピクセル情報に含まれるドットセンターピクセルＤＣＰの個数が、全体のドットＤＯＴの個数に比べて所定の割合（例えば、５０％）以下である場合、有効ピクセル決定部１３０は、有効閾値の大きさを減少させることができる。
さらに他の実施形態によって、ドットセンターピクセルＤＣＰの個数が、全体のドットＤＯＴの個数に比べて所定の割合（例えば、５０％）以下である場合、周辺ピクセル比較部１２０で各サーチポイントＳＰ別にドットセンターピクセルＤＣＰを決定するための当該サーチポイントＳＰの所定の範囲を拡大してから、Ｓ３０ステップおよびＳ４０ステップが繰り返して行われることができる。これによって、ドットセンターピクセルＤＣＰの決定に所要されるリソースを最小化しながらも、より正確にドットセンターピクセルＤＣＰを検出することができる。

【0058】

図６と図７において、各サーチポイントＳＰを含むカーネルＫＮで決定されたドットセンターピクセルＤＣＰと、当該サーチポイントＳＰを結ぶ矢印が表示されている。

【0059】

サーチポイントＳＰのドットセンターピクセルＤＣＰの奥行きデータの強度が有効閾値以上である場合、有効ピクセル決定部１３０は、当該サーチポイントを有効サーチポイントＳＰ＿Ｖと決定することができる。また、有効サーチポイントＳＰ＿Ｖに対応するドットセンターピクセルＤＣＰは、有効ピクセルと決定されることができる。

【0060】

サーチポイントＳＰのドットセンターピクセルＤＣＰの奥行きデータの強度が有効閾値未満である場合、有効ピクセル決定部１３０は、当該サーチポイントを無効サーチポイントＳＰ＿Ｉと決定することができる。また、無効サーチポイントＳＰ＿Ｉに対応するドットセンターピクセルは、無効ピクセルと決定されることができる。

【0061】

重複ドットセンターピクセル除去部１４０は、有効ピクセルであるドットセンターピクセルＤＣＰのうち重複するドットセンターピクセルを除去することができる（Ｓ５０）。

【0062】

図８において、重複するドットセンターピクセルＤＣＰ＿Ｏ（図８において、二重円で表示）は、複数個の有効サーチポイントＳＰ＿Ｖに対応するピクセルを意味することができる。ノーマルドットセンターピクセルＤＣＰ＿Ｎは、一つの有効サーチポイントＳＰ＿Ｖに対応するピクセルを意味することができる。重複するドットセンターピクセルＤＣＰ＿Ｏに対して重複して実質的に同一のドットセンターピクセルＤＣＰに関する情報がドットセンターピクセル情報に含まれる場合、シーンとの距離が不要に複数回演算され得るため、重複ドットセンターピクセル除去部１４０は、重複するドットセンターピクセルＤＣＰ＿Ｏのうち一つのドットセンターピクセルのみを選択することができる。

【0063】

ここで、重複ドットセンターピクセル除去部１４０は、ドットセンターピクセルＤＣＰの位置が互いに同一であるか、所定の距離（例えば、ドットパターン光のドットの直径）以内に位置する場合、重複するドットセンターピクセルＤＣＰ＿Ｏと判断することができる。一実施形態によって、ドットセンターピクセルＤＣＰの位置が互いに同一である場合、重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰのインデックス（すなわち、識別番号）が最も小さいか最も大きいサーチポイントＳＰに対応するドットセンターピクセルＤＣＰのみを選択することができる。他の実施形態によって、ドットセンターピクセルＤＣＰの位置が所定の距離以内に位置する場合、重複ドットセンターピクセル除去部１４０は、奥行きデータの強度が最も大きいドットセンターピクセルＤＣＰのみを選択することができる。

【0064】

本開示によるドットセンターピクセル検出器１００によると、シーン依存的な特性またはその他の歪み（例えば、レンズ歪み、光源２とカメラ３の相対的な位置関係のばらつき）にもかかわらず、ドットセンターピクセルを正確に検出することができ、シーンとの距離を正確に算出し、不要な演算を最小化することができる。

【0065】

図９は、図４に図示されているドットセンターピクセル検出器を含むイメージング装置の一実施形態を示した構成図である。

【0066】

図９を参照すると、イメージング装置９００は、奥行きイメージセンシング装置（ｄｅｐｔｈ ｉｍａｇｅ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ）２００と、イメージ信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）３００と、フレームメモリ（ｆｒａｍｅ ｍｅｍｏｒｙ）４００とを含むことができる。

【0067】

奥行きイメージセンシング装置２００は、少なくとも一つの奥行き感知技術を用いて、対象物体ＯＢＪに対する奥行きデータを生成することができる。奥行きイメージセンシング装置２００は、光源モジュール２１０と、ピクセルアレイ２２０と、ピクセルドライバ２３０と、タイミングコントローラ２４０と、ピクセル読み出し回路２５０とを含むことができる。

【0068】

光源モジュール２１０は、タイミングコントローラ２４０の制御信号に応答して、対象物体ＯＢＪに変調光信号ＭＬＳを照射することができる。光源モジュール２１０は、特定の波長帯域の光（例えば、赤外線または可視光）を発光するレーザダイオード（ＬＤ；Ｌａｓｅｒ Ｄｉｏｄｅ）や発光ダイオード（ＬＥＤ；Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、近赤外線レーザ（ＮＩＲ；Ｎｅａｒ Ｉｎｆｒａｒｅｄ Ｌａｓｅｒ）、ポイント光源、白色ランプおよびモノクロメータ（ｍｏｎｏｃｈｒｏｍａｔｏｒ）が組み合わされた単色（ｍｏｎｏｃｈｒｏｍａｔｉｃ）照明源、または他のレーザ光源の組み合わせであることができる。例えば、光源モジュール２１０は、８００ｎｍ～１０００ｎｍの波長を有する赤外線を発光することができる。変調光信号ＭＬＳは、予め定められた変調特性（例えば、波形、波長、周期、振幅、周波数、位相、デューティ比（ｄｕｔｙ ｒａｔｅ）など）で変調された光パルス信号であることができる。

【0069】

ピクセルアレイ２２０は、二次元マトリックス構造で連続して配列されている（例えば、ロー方向およびカラム方向に沿って連続して配列されている）複数のピクセルを含むことができる。図９以下の実施形態において、各ピクセルは、ｄｉｒｅｃｔ ｐｉｘｅｌまたはｉｎｄｉｒｅｃｔ ｐｉｘｅｌであることができるが、説明の便宜上、以下の説明では、各ピクセルがｉｎｄｉｒｅｃｔ ｐｉｘｅｌであることを前提として説明する。

【0070】

ピクセルアレイ２２０のピクセルそれぞれは、ピクセルドライバ２３０の制御によってレンズモジュール（図示せず）を介して受信した反射変調光信号ＭＬＳ＿Ｒを光電変換させて、反射変調光信号ＭＬＳ＿Ｒの強度に対応する電気信号であるピクセル信号を生成し、ピクセル読み出し回路２５０に出力することができる。

【0071】

ピクセルドライバ２３０は、タイミングコントローラ２４０の制御に応じてピクセルアレイ２２０のピクセルそれぞれを制御するための信号を生成し、ピクセルアレイ２２０に供給することができる。特に、ピクセルドライバ２３０は、各タブが光電荷をキャプチャするタイミングを制御するための第１変調制御信号ＭＣＳ１および第２変調制御信号ＭＣＳ２を生成して、ピクセルアレイ２２０に供給することができる。

【0072】

タイミングコントローラ２４０は、光源モジュール２１０、ピクセルドライバ２３０およびピクセル読み出し回路２５０を制御することで、奥行きイメージセンシング装置２００の全般的な動作を制御することができる。

【0073】

ピクセル読み出し回路２５０は、ピクセルそれぞれから出力されるアナログ形態のピクセル信号を処理して、ピクセル信号に対応するデジタルデータである奥行きデータを生成することができる。例えば、ピクセル読み出し回路２５０は、ピクセル信号を奥行きデータにアナログデジタル変換するためのアナログ－デジタルコンバータ（ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）を含むことができる。

【0074】

イメージ信号プロセッサ３００は、奥行きイメージセンシング装置２００から入力される奥行きデータを収集して、対象物体ＯＢＪとの距離を示す奥行きイメージを生成することができる。また、イメージ信号プロセッサ３００は、生成された奥行きイメージに対して、ノイズ除去および画質改善のための映像信号処理を行うことができる。イメージ信号プロセッサ３００から出力された奥行きイメージは、ユーザの要請に応じてまたは自動的に、イメージング装置９００またはイメージング装置９００が搭載された装置の内蔵メモリまたは外付けメモリに格納されるか、ディスプレイを介して表示されることができる。またはイメージ信号プロセッサ３００から出力された奥行きイメージは、イメージング装置９００またはイメージング装置９００が搭載された装置の動作を制御するのに用いられることができる。

【0075】

イメージ信号プロセッサ３００は、ドットセンターピクセル検出器１００を含むことができる。イメージ信号プロセッサ３００は、奥行きイメージセンシング装置２００から入力される奥行きデータをフレームメモリ４００に格納した後、一つのフレームに該当する奥行きデータをドットセンターピクセル検出器１００に提供することができる。ドットセンターピクセル検出器１００は、一つのフレームに該当する奥行きデータに対して、複数のドットセンターピクセルに関する情報であるドットセンターピクセル情報を生成することができる。

【0076】

奥行きイメージ生成器３１０は、ドットセンターピクセル情報を参照して、複数のドットセンターピクセルそれぞれに対して、変調光信号ＭＬＳと反射変調光信号ＭＬＳとの位相差を計算し、計算された位相差に基づいて、対象物体ＯＢＪと奥行きイメージセンシング装置２００との距離を計算して奥行きイメージを生成することができる。

【0077】

フレームメモリ４００は、奥行きイメージセンシング装置２００が生成した奥行きデータをイメージ信号プロセッサ３００を介して受信して格納することができる。フレームメモリ４００は、一つのフレームに該当する奥行きデータを格納することができる格納容量を有することができる。また、フレームメモリ４００は、イメージ信号プロセッサ３００の動作に必要なデータ（例えば、サーチポイントに関する情報、ドットセンターピクセル情報など）および命令（ｉｎｓｔｒｕｃｔｉｏｎ）を格納することができる。

【0078】

イメージング装置９００は、図１で説明されているイメージング装置１の具体的な実現例に該当することができ、ドットセンターピクセル検出器１００がイメージ信号プロセッサ３００に含まれる場合に関する実施形態であることができる。

【0079】

図１０は、図９に図示されているイメージング装置の動作方法を説明するためのフローチャートである。

【0080】

図１０を参照すると、図１０に図示されているイメージング装置の動作方法は、図５で説明されているドットセンターピクセル検出器の動作方法と一部の動作以外は実質的に同一であるため、相違する動作を中心に説明する。

【0081】

先ず、奥行きイメージセンシング装置２００は、第１センシング期間ＳＰ１で、第１奥行きデータＣ０と第３奥行きデータＣ２を生成することができ、イメージ信号プロセッサ３００は、フレームメモリ４００に第１奥行きデータＣ０と第３奥行きデータＣ２を格納することができる（Ｓ１１０）。

【0082】

奥行きイメージセンシング装置２００は、第２センシング期間ＳＰ２で、第２奥行きデータＣ１と第４奥行きデータＣ３を生成することができ、イメージ信号プロセッサ３００は、フレームメモリ４００に第２奥行きデータＣ１と第４奥行きデータＣ３を格納することができる（Ｓ１１２）。

【0083】

サーチポイント管理部１１０は、一つのフレームに該当する第１～第４奥行きデータＣ０～Ｃ３に対して、所定の規則に従ってサーチポイントの初期位置を決定または管理することができる（Ｓ１２０）。

【0084】

周辺ピクセル比較部１２０は、各サーチポイントＳＰ別に当該サーチポイントＳＰの所定の範囲内に位置するピクセルの奥行きデータに基づいて、ドットセンターピクセルＤＣＰを決定することができる（Ｓ１３０）。

【0085】

有効ピクセル決定部１３０は、周辺ピクセル比較部１２０によって決定されたドットセンターピクセルＤＣＰそれぞれの奥行きデータの強度を有効閾値と比較して、各ドットセンターピクセルＤＣＰが有効ピクセルであるか否かを決定することができる（Ｓ１４０）。
一実施形態によって、ドットセンターピクセルＤＣＰの個数が、全体のドットＤＯＴの個数に比べて所定の割合（例えば、５０％）以下である場合、周辺ピクセル比較部１２０で各サーチポイントＳＰ別にドットセンターピクセルＤＣＰを決定するための当該サーチポイントＳＰの所定の範囲を拡大してから、Ｓ１３０ステップおよびＳ１４０ステップが繰り返して行われることができる。これによって、ドットセンターピクセルＤＣＰの決定に所要されるリソースを最小化しながらも、より正確にドットセンターピクセルＤＣＰを検出することができる。

【0086】

重複ドットセンターピクセル除去部１４０は、有効ピクセルであるドットセンターピクセルＤＣＰのうち重複するドットセンターピクセルを除去することができる（Ｓ１５０）。

【0087】

図１１は、図１０に図示されているＳ１３０ステップについてより詳細に示したフローチャートである。

【0088】

図１１を参照すると、周辺ピクセル比較部１２０は、サーチポイントＳＰの識別情報であるサーチポイントインデックスｉを初期化（ｉ＝１）することができる（Ｓ１３１）。図６に図示されている複数のサーチポイントＳＰそれぞれは、互いに異なるサーチポイントインデックスを有することができ、例えば、図６において最初の行の最左側に位置したサーチポイントＳＰのサーチポイントインデックスが１であり、右側に行くほど１ずつ順に増加するサーチポイントインデックスを有することができ、第二行の最左側に位置したサーチポイントＳＰのサーチポイントインデックスが１２であり、右側に行くほど１ずつ順に増加するサーチポイントインデックスを有することができる。このような方式で、総７７個のサーチポイントＳＰに対するサーチポイントインデックスが付与されると仮定する。

【0089】

周辺ピクセル比較部１２０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰの位置Ｘ_ｉ、Ｙ_ｉを取得して、サーチポイントＳＰの振幅値ａｍｐ_ｉを計算することができる（Ｓ１３２）。振幅値ａｍｐ_ｉの計算は、サーチポイントＳＰに対する第１～第４奥行きデータＣ０～Ｃ３を用いて、数学式３を介して行われることができる。また、周辺ピクセル比較部１２０は、サーチポイントＳＰの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉをそれぞれドットセンターピクセルの位置とドットセンターピクセルの振幅値にアップデートすることができる。

【0090】

周辺ピクセル比較部１２０は、サーチポイントＳＰを含むカーネルＫＮ内の任意のピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの第１～第４奥行きデータＣ０～Ｃ３を取得することができる（Ｓ１３３）。

【0091】

周辺ピクセル比較部１２０は、ピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの第１～第４奥行きデータＣ０～Ｃ３を用いて、ピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの振幅値ａｍｐ＿ｃａｌを計算することができる（Ｓ１３４）。

【0092】

計算された振幅値ａｍｐ＿ｃａｌがドットセンターピクセルの振幅値ａｍｐ_ｉより大きい場合（Ｓ１３５のＹｅｓ）、周辺ピクセル比較部１２０は、ピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの位置および計算された振幅値ａｍｐ＿ｃａｌをドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉとドットセンターピクセルの振幅値ａｍｐ_ｉにアップデートすることができる（Ｓ１３６）。

【0093】

計算された振幅値ａｍｐ＿ｃａｌがドットセンターピクセルの振幅値ａｍｐ_ｉ以下である場合（Ｓ１３５のＮｏ）、Ｓ１３６ステップが行われず、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉが維持されることができる。

【0094】

周辺ピクセル比較部１２０は、サーチポイントＳＰを含むカーネルＫＮ内のすべてのピクセルに対してＳ１３３ステップが行われたか否かを判断することができる（Ｓ１３７）。

【0095】

カーネルＫＮ内のすべてのピクセルに対してＳ１３３ステップが行われていない場合（Ｓ１３７のＮｏ）、Ｓ１３３ステップが行われた任意のピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙ以外のカーネル内の他のピクセルに対してＳ１３３ステップが行われることができる。次に、カーネル内のすべてのピクセルに対して繰り返してＳ１３３ステップないしＳ１３７ステップが行われることができ、カーネルＫＮ内のすべてのピクセルに対してＳ１３３ステップないしＳ１３７ステップが行われると、カーネル内で最も高い振幅値ａｍｐ_ｉを有するピクセルがドットセンターピクセルと決定され、当該ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉがフレームメモリ４００に格納されることができる。

【0096】

カーネルＫＮ内のすべてのピクセルに対してＳ１３３ステップが行われた場合（Ｓ１３７のＹｅｓ）、すべてのサーチポイントに対してＳ１３２ステップが行われていないと（Ｓ１３８のＮｏ）、周辺ピクセル比較部１２０は、現在のサーチポイントインデックスｉを１だけ増加させ（Ｓ１３９）、Ｓ１３２ステップからまた行うことができる。このような動作は、すべてのサーチポイントに対してＳ１３２ステップが行われるまで繰り返すことができ、すべてのサーチポイントに対してＳ１３２ステップが行われた場合（Ｓ１３８のＹｅｓ）、すべてのサーチポイントそれぞれに対してドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉがフレームメモリ４００に格納されることができる。

【0097】

図１２は、図１０に図示されているＳ１５０ステップをより詳細に示したフローチャートである。

【0098】

図１２を参照すると、重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰの識別情報であるサーチポイントインデックスｉを初期化（ｉ＝１）することができる（Ｓ１５１）。ここで、図１２の各動作は、Ｓ１４０ステップで決定された有効サーチポイントＳＰ＿Ｖに対してのみ行われることができ、図１２で言及されるサーチポイントＳＰは、有効サーチポイントＳＰ＿Ｖであることに留意すべきである。

【0099】

重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰに対応するドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉを取得することができる（Ｓ１５２）。

【0100】

重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰに隣接する隣接サーチポイントに対応するドットセンターピクセルの位置Ｘ_ｊ、Ｙ_ｊを取得することができる（Ｓ１５３）。ここで、隣接サーチポイントは、現在のサーチポイントインデックスに該当するサーチポイントＳＰに対して、上、下、左、右、または対角方向に隣接するサーチポイントであり、現在のサーチポイントインデックスに該当するサーチポイントＳＰとカーネルＫＮが重なるサーチポイントを意味することができる。

【0101】

重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰに対応するドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと、隣接サーチポイントに対応するドットセンターピクセルの位置Ｘ_ｊ、Ｙ_ｊを比較して、二つの位置が互いに同一であるか否かを判断することができる（Ｓ１５４）。

【0102】

ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉとドットセンターピクセルの位置Ｘ_ｊ、Ｙ_ｊが互いに同一である場合（Ｓ１５４のＹｅｓ）、ドットセンターピクセルが互いに重複するため、重複ドットセンターピクセル除去部１４０は、重複するドットセンターピクセルのうち一つを除去することができる（Ｓ１５５）。一実施形態によって、重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰのインデックスが相対的にさらに小さいかさらに大きいサーチポイントに対応するドットセンターピクセルＤＣＰのみを選択することができる。

【0103】

ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉとドットセンターピクセルの位置Ｘ_ｊ、Ｙ_ｊが互いに同一でない場合（Ｓ１５４のＮｏ）、ドットセンターピクセルが互いに重複しないため、Ｓ１５５ステップは行われないことができる。

【0104】

重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ１５３ステップが行われたか否かを判断することができる（Ｓ１５６）。

【0105】

サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ１５３ステップが行われていない場合（Ｓ１５６のＮｏ）、サーチポイントＳＰに対する他の隣接サーチポイントに対してＳ１５３ステップが行われることができる。以降、サーチポイントＳＰに対する他の隣接サーチポイントに対して繰り返してＳ１５３ステップないしＳ１５６ステップが行われることができ、サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ１５３ステップないしＳ１５６ステップが行われると、重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰと関連して重複するドットセンターピクセルのうち一つずつを除去することができる。

【0106】

サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ１５３ステップが行われた場合（Ｓ１５６のＹｅｓ）、すべてのサーチポイントＳＰに対してＳ１５２ステップが行われていないと（Ｓ１５７のＮｏ）、重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスｉを１だけ増加させ（Ｓ１５８）、Ｓ１５２ステップからまた行うことができる。このような動作は、すべてのサーチポイントに対してＳ１５２ステップが行われるまで繰り返すことができ、すべてのサーチポイントに対してＳ１５２ステップが行われた場合（Ｓ１５７のＹｅｓ）、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉが重複しないように、すべてのドットセンターピクセルに対するドットセンターピクセル情報がフレームメモリ４００に格納されることができる。

【0107】

図９～図１２で説明されている実施形態のように、振幅値を奥行きデータの強度として用いてドットセンターピクセルを判断する場合、背景光成分以外のアクティブ成分（実際信号成分）のみを用いることができ、より正確にドットセンターピクセルを判断することができる。

【0108】

図１３は、図４に図示されているドットセンターピクセル検出器を含むイメージング装置の他の実施形態を示した構成図である。

【0109】

図１３を参照すると、イメージング装置１３００は、奥行きイメージセンシング装置５００およびイメージ信号プロセッサ６００を含むことができる。

【0110】

イメージング装置１３００は、ドットセンターピクセル検出器１００の動作のためのフレームメモリを含まないことができ、ドットセンターピクセル検出器１００がイメージ信号プロセッサ６００ではなく、奥行きイメージセンシング装置５００に含まれ、ドットセンターピクセル検出器１００の動作のためのラインメモリ５６０およびドットデータメモリ５７０が奥行きイメージセンシング装置５００に含まれることができる。

【0111】

奥行きイメージセンシング装置５００は、光源モジュール５１０と、ピクセルアレイ５２０と、ピクセルドライバ５３０と、タイミングコントローラ５４０と、ピクセル読み出し回路５５０と、ラインメモリ５６０と、ドットデータメモリ５７０と、ドットセンターピクセル検出器１００とを含むことができる。光源モジュール５１０、ピクセルアレイ５２０、ピクセルドライバ５３０、タイミングコントローラ５４０およびピクセル読み出し回路５５０のそれぞれは、図９で説明されている光源モジュール５１０、ピクセルアレイ５２０、ピクセルドライバ５３０、タイミングコントローラ５４０およびピクセル読み出し回路５５０それぞれの機能および動作と実質的に同一であるため、重複する説明は省略する。

【0112】

ラインメモリ５６０は、ピクセル読み出し回路２５０から出力される奥行きデータを格納することができる。ラインメモリ５６０は、一つのフレームの一部に該当する奥行きデータを格納できる容量を有することができる。ここで、一つのフレームの一部は、ピクセルアレイ５２０の複数個のローに含まれたピクセルに該当することができ、前記複数個は、縦方向に隣接するサーチポイントＳＰ間の間隔と同じ数またはさらに大きい数に定められ得るが、本発明の範囲はこれに限定されない。

【0113】

ドットデータメモリ５７０は、ドットセンターピクセル検出器１００の動作に必要なデータ（例えば、サーチポイントに関する情報、ドットセンターピクセル情報など）および命令を格納することができる。

【0114】

ドットセンターピクセル検出器１００が奥行きイメージセンシング装置５００に含まれることで、奥行きイメージセンシング装置５００に搭載されるラインメモリ５６０およびドットデータメモリ５７０を最小限の容量で実現することができ、必要なメモリの容量を最小化することができる。

【0115】

ドットセンターピクセル検出器１００は、奥行きイメージセンシング装置５００内部のリソースのみを用いて、ドットセンターピクセル情報を生成することができる。イメージ信号プロセッサ６００の奥行きイメージ生成器６１０は、奥行きイメージセンシング装置５００から伝達されるドットセンターピクセル情報を参照して、複数のドットセンターピクセルそれぞれに対して、変調光信号ＭＬＳと反射変調光信号ＭＬＳとの位相差を計算し、計算された位相差に基づいて、対象物体ＯＢＪと奥行きイメージセンシング装置２００との距離を計算し、奥行きイメージを生成することができる。

【0116】

図１４は、図１３に図示されているイメージング装置の動作方法を説明するためのフローチャートである。図１５は、第１ライングループに対して行われる動作を説明するための図である。図１６は、第２ライングループに対して行われる動作を説明するための図である。図１７および図１８は、図１４のＳ２５０ステップについて説明するための図である。

【0117】

図１４を参照すると、図１４に図示されているイメージング装置の動作方法は、図５で説明されているドットセンターピクセル検出器の動作方法と一部の動作以外は実質的に同一であるため、相違する動作を中心に説明する。

【0118】

先ず、奥行きイメージセンシング装置５００は、第１センシング期間ＳＰ１で第１奥行きデータＣ０と第３奥行きデータＣ２を生成して、ピクセルアレイ５２０の現在のライン（すなわち、ロー）の第１奥行きデータＣ０と第３奥行きデータＣ２をラインメモリ５６０に格納することができる（Ｓ２１０）。

【0119】

ラインメモリ５６０の容量がいっぱいでない場合（Ｓ２１２のＮｏ）、奥行きイメージセンシング装置５００は、Ｓ２１０ステップを繰り返すことができる。

【0120】

ラインメモリ５６０の容量がいっぱいである場合（Ｓ２１２のＹｅｓ）、サーチポイント管理部１１０は、ラインメモリ５６０に格納されているラインで構成されたライングループに該当する第１および第３奥行きデータＣ０、Ｃ２に対して所定の規則に従って配列されるサーチポイントを決定または管理することができる（Ｓ２２０）。

【0121】

周辺ピクセル比較部１２０は、各サーチポイントＳＰ別に当該サーチポイントＳＰの所定の範囲内に位置するピクセルの奥行きデータに基づいて、ドットセンターピクセルＤＣＰを決定することができる（Ｓ２３０）。

【0122】

有効ピクセル決定部１３０は、周辺ピクセル比較部１２０によって決定されたドットセンターピクセルＤＣＰそれぞれの奥行きデータの強度を有効閾値と比較して、各ドットセンターピクセルＤＣＰが有効ピクセルであるか否かを決定することができる（Ｓ２４０）。

【0123】

図１５において、周辺ピクセル比較部１２０は、ラインメモリ５６０に格納されている第１ライングループＬ１に含まれた各サーチポイントに対応するカーネルＫＮ１内に位置するピクセルの奥行きデータに基づいて、ドットＤＯＴのドットセンターピクセルＤＣＰ１を決定することができる。

【0124】

また、有効ピクセル決定部１３０は、周辺ピクセル比較部１２０によって決定されたドットセンターピクセルＤＣＰ１それぞれの奥行きデータの強度を有効閾値と比較して、各ドットセンターピクセルＤＣＰ１が有効ピクセルであるか否かを決定することができる。ドットセンターピクセルＤＣＰ１が有効ピクセルである場合、当該ドットセンターピクセルＤＣＰ１に対応するサーチポイントは、有効サーチポイントＳＰ＿Ｖと決定されることができる。なお、ドットセンターピクセルＤＣＰ１が有効ピクセルでない場合、当該ドットセンターピクセルＤＣＰ１に対応するサーチポイントは、無効サーチポイントＳＰ＿Ｉと決定されることができる。

【0125】

Ｓ２４０ステップが完了すると、ドットセンターピクセル検出器１００は、ピクセルアレイ５２０のすべてのラインに対してドットセンターピクセルの検出動作が完了したか判断することができる（Ｓ２１４）。

【0126】

ピクセルアレイ５２０のすべてのラインに対してドットセンターピクセルの検出動作が完了していない場合（Ｓ２１４のＮｏ）、ドットセンターピクセル検出器１００は、タイミングコントローラ５４０に対して、次のライングループに対する読み出しおよび格納を要請することができる。タイミングコントローラ５４０は、ピクセルドライバ５３０、ピクセル読み出し回路５５０およびラインメモリ５６０を制御し、次のライングループに対するＳ２１０ステップが行われるように制御することができる。これにより、次のライングループである第２ライングループＬ２に対して、Ｓ２１０ステップないしＳ２４０ステップが行われることができる。

【0127】

図１６において、周辺ピクセル比較部１２０は、ラインメモリ５６０に格納されている第２ライングループＬ２に含まれた各サーチポイントに対応するカーネルＫＮ２内に位置するピクセルの奥行きデータに基づいて、ドットＤＯＴのドットセンターピクセルＤＣＰ２を決定することができる。

【0128】

また、有効ピクセル決定部１３０は、周辺ピクセル比較部１２０によって決定されたドットセンターピクセルＤＣＰ２それぞれの奥行きデータの強度を有効閾値と比較して、各ドットセンターピクセルＤＣＰ２が有効ピクセルであるか否かを決定することができる。ドットセンターピクセルＤＣＰ２が有効ピクセルである場合、当該ドットセンターピクセルＤＣＰ２に対応するサーチポイントは、有効サーチポイントＳＰ＿Ｖと決定されることができる。なお、ドットセンターピクセルＤＣＰ２が有効ピクセルでない場合、当該ドットセンターピクセルＤＣＰ２に対応するサーチポイントは、無効サーチポイントＳＰ＿Ｉと決定されることができる。

【0129】

ピクセルアレイ５２０のすべてのラインに対してドットセンターピクセルの検出動作が完了した場合（Ｓ２１４のＹｅｓ）、重複ドットセンターピクセル除去部１４０は、有効ピクセルであるドットセンターピクセルのうち重複するドットセンターピクセルを除去することができる（Ｓ２５０）。

【0130】

図１７において、ピクセルアレイ５２０に対応するライングループＬ１～Ｌ８は、８個と仮定するが、本発明の範囲はこれに限定されない。各ドットＤＯＴに対して、複数のドットセンターピクセルＤＣＰ１、ＤＣＰ２が対応することができ、ドットセンターピクセルＤＣＰ１、ＤＣＰ２の位置は、相違することができる。これは、ラインメモリ５６０の容量限界によって各サーチポイントのカーネルサイズが十分に確保されない可能性があるためである。

【0131】

図１８において、重複ドットセンターピクセル除去部１４０は、有効ピクセルであるドットセンターピクセルＤＣＰ１、ＤＣＰ２のうち重複するドットセンターピクセルＤＣＰ２を除去することができる。ここで、重複ドットセンターピクセル除去部１４０は、ドットセンターピクセルＤＣＰ１、ＤＣＰ２のうち相対的に小さい奥行きデータの強度を有するドットセンターピクセルＤＣＰ２を除去することができる。

【0132】

図１９は、図１４に図示されているＳ２３０ステップをより詳細に示したフローチャートである。

【0133】

図１９を参照すると、周辺ピクセル比較部１２０は、サーチポイントＳＰの識別情報であるサーチポイントインデックスｉを初期化（ｉ＝１）することができる（Ｓ２３１）。

【0134】

周辺ピクセル比較部１２０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰの位置Ｘ_ｉ、Ｙ_ｉを取得して、サーチポイントＳＰの電荷値Ｂ_ｉを計算することができる（Ｓ２３２）。電荷値Ｂｉは、サーチポイントＳＰに対する第１奥行きデータＣ０と第３奥行きデータＣ２との和Ｃ０＋Ｃ２で計算することができる。また、周辺ピクセル比較部１２０は、サーチポイントＳＰの位置Ｘ_ｉ、Ｙ_ｉと電荷値Ｂｉをそれぞれドットセンターピクセルの位置とドットセンターピクセルの電荷値にアップデートすることができる。

【0135】

周辺ピクセル比較部１２０は、サーチポイントＳＰを含むカーネル内の任意のピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの第１奥行きデータＣ０と第３奥行きデータＣ２を取得することができる（Ｓ２３３）。

【0136】

周辺ピクセル比較部１２０は、ピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの第１奥行きデータＣ０と第３奥行きデータＣ２を用いて、ピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの電荷値Ｂ＿ｃａｌを計算することができる（Ｓ２３４）。
計算された電荷値Ｂ＿ｃａｌからサーチポイントＳＰに対する平均電荷値Ｂａｖｅを減算した値が閾差Ｄｔｈより大きい場合（Ｓ２３５－１のＹｅｓ）、周辺ピクセル比較部１２０は、計算された電荷値Ｂ＿ｃａｌを有効電荷値と看做し、計算された電荷値Ｂ＿ｃａｌとドットセンターピクセルの電荷値Ｂ_ｉを比較することができる（Ｓ２３５－２）。
計算された電荷値Ｂ＿ｃａｌからサーチポイントＳＰに対する平均電荷値Ｂａｖｅを減算した値が閾差Ｄｔｈ以下である場合（Ｓ２３５－１のＮｏ）、周辺ピクセル比較部１２０は、計算された電荷値Ｂ＿ｃａｌを無効の電荷値と看做し、またＳ２３３ステップを行うことができる。
ここで、平均電荷値Ｂａｖｅは、サーチポイントＳＰを中心に所定の範囲以内に位置したピクセル（すなわち、周辺ピクセル）の電荷値Ｂ_ｉの平均値を意味し、閾差Ｄｔｈは、実験的に予め決定された値であることができる。電荷値Ｂ_ｉは、反射変調光信号ＭＬＳ＿Ｒの成分だけでなく、背景光（ａｍｂｉｅｎｔ ｌｉｇｈｔ）の成分も含むので、電荷値Ｂ_ｉをそのまま基準値として用いず、計算された電荷値Ｂ＿ｃａｌと平均電荷値Ｂａｖｅとの間の差が所定の閾差Ｄｔｈより大きい場合にのみ計算された電荷値Ｂ＿ｃａｌを有効値と看做すことによって、背景光による成分ではなく、ドット光による成分のみをドットセンターピクセルにアップデートすることができる。

【0137】

計算された電荷値Ｂ＿ｃａｌがドットセンターピクセルの電荷値Ｂ_ｉより大きい場合（Ｓ２３５－２のＹｅｓ）、周辺ピクセル比較部１２０は、ピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙの位置および計算された電荷値Ｂ＿ｃａｌをドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉとドットセンターピクセルの電荷値Ｂ_ｉにアップデートすることができる（Ｓ２３６）。

【0138】

計算された電荷値Ｂ＿ｃａｌがドットセンターピクセルの電荷値Ｂ_ｉ以下である場合（Ｓ２３５－２のＮｏ）、Ｓ２３６ステップが行われず、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと電荷値Ｂ_ｉが維持されることができる。

【0139】

周辺ピクセル比較部１２０は、サーチポイントＳＰを含むカーネル内のすべてのピクセルに対してＳ２３３ステップが行われたか否かを判断することができる（Ｓ２３７）。

【0140】

カーネル内のすべてのピクセルに対してＳ２３３ステップが行われていない場合（Ｓ２３７のＮｏ）、Ｓ２３３ステップが行われた任意のピクセルＸ_ｉ＋△ｘ、Ｙ_ｉ＋△ｙ以外のカーネル内の他のピクセルに対してＳ２３３ステップが行われることができる。以降、カーネル内のすべてのピクセルに対して、Ｓ２３３ステップないしＳ２３７ステップが繰り返して行われることができ、カーネル内のすべてのピクセルに対して、Ｓ２３３ステップないしＳ２３７ステップが行われると、カーネル内で最も高い電荷値Ｂ_ｉを有するピクセルがドットセンターピクセルと決定され、当該ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと電荷値Ｂ_ｉがドットデータメモリ５７０に格納されることができる。

【0141】

カーネル内のすべてのピクセルに対してＳ２３３ステップが行われた場合（Ｓ２３７のＹｅｓ）、すべてのサーチポイントに対してＳ２３２ステップが行われていないと（Ｓ２３８のＮｏ）、周辺ピクセル比較部１２０は、現在のサーチポイントインデックスｉを１だけ増加させ（Ｓ２３９）、Ｓ２３２ステップからまた行うことができる。このような動作は、すべてのサーチポイントに対してＳ２３２ステップが行われるまで繰り返すことができ、すべてのサーチポイントに対してＳ２３２ステップが行われた場合（Ｓ２３８のＹｅｓ）、すべてのサーチポイントそれぞれに対して、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと電荷値Ｂ_ｉがドットデータメモリ５７０に格納されることができる。
図１９においては、フレームメモリ４００の代わりにラインメモリ５６０を用いる場合、電荷値Ｂ_ｉを用いてドットデータメモリ５７０に必要な情報を格納する実施形態について説明したが、他の実施形態によって、ラインメモリ５６０を用いるとしても振幅値ａｍｐを用いてドットデータメモリ５７０に必要な情報を格納することができる。すなわち、ピクセルアレイ５２０の全体のピクセルを第１変調制御信号ＭＣＳ１および第２変調制御信号ＭＣＳ２だけで制御することではなく、例えば、一つのロー（ｒｏｗ）に属するピクセルのうち奇数番目のピクセルには、変調光信号ＭＬＳとは０度の位相差（すなわち、同位相）および１８０度の位相差をそれぞれ有する第１変調制御信号ＭＣＳ１および第２変調制御信号ＭＣＳ２を印加し、偶数番目のピクセルには、変調光信号ＭＬＳとは９０度の位相差および２７０度の位相差をそれぞれ有する第１変調制御信号ＭＣＳ１および第２変調制御信号ＭＣＳ２を印加することができる。このような制御方式（ｐｓｅｕｄｏ－４ＴＡＰ）によると、ラインメモリ５６０に第１～第４奥行きデータＣ０～Ｃ４が格納されることができるので、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉがドットデータメモリ５７０に格納されることができる。この場合、第１～第４奥行きデータＣ０～Ｃ４が対応されるものは、一つのピクセルではなく２つのピクセルなので、解像度の面で不利になる場合があるものの、フレームメモリ４００の代わりにラインメモリ５６０を用いることができるという点でメリットを有することができる。一方、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと振幅値ａｍｐ_ｉの生成過程は、図１１において説明された方法と実質的に同一であることができる。

【0142】

図２０は、図１４に図示されているＳ２５０ステップをより詳細に示したフローチャートである。

【0143】

図２０を参照すると、重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰの識別情報であるサーチポイントインデックスｉを初期化（ｉ＝１）することができる（Ｓ２５１）。ここで、図２０の各動作は、Ｓ２４０ステップで決定された有効サーチポイントＳＰ＿Ｖに対してのみ行われることができ、図２０で言及するサーチポイントＳＰは、有効サーチポイントＳＰ＿Ｖであることに留意すべきである。

【0144】

重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰに対応するドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉを取得することができる（Ｓ２５２）。

【0145】

重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰに隣接する隣接サーチポイントに対応するドットセンターピクセルの位置Ｘ_ｊ、Ｙ_ｊを取得することができる（Ｓ２５３）。ここで、隣接サーチポイントは、現在のサーチポイントインデックスに該当するサーチポイントＳＰに対して、上、下、左、右、または対角方向に隣接するサーチポイントを意味することができる。

【0146】

重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスに該当するサーチポイントＳＰに対応するドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと、隣接サーチポイントに対応するドットセンターピクセルの位置Ｘ_ｊ、Ｙ_ｊとの距離であるピクセル間の距離ｌを計算することができる（Ｓ２５３－１）。

【0147】

重複ドットセンターピクセル除去部１４０は、ピクセル間の距離ｌとドットＤＯＴの直径を比較して、二つのピクセルが互いに近接しているか否かを判断することができる（Ｓ２５４）。ここで、ドットＤＯＴの直径は、ドットＤＯＴの最大直径として実験的に予め決定された値であることができる。

【0148】

ピクセル間の距離ｌがドットＤＯＴより小さい場合（Ｓ２５４のＹｅｓ）、ドットセンターピクセルが一つのドットに対応して互いに重複するため、重複ドットセンターピクセル除去部１４０は、重複するドットセンターピクセルのうち一つを除去することができる（Ｓ２５５）。一実施形態によって、重複ドットセンターピクセル除去部１４０は、ドットセンターピクセルのうち電荷値がさらに大きいドットセンターピクセルのみを選択することができる。

【0149】

ピクセル間の距離ｌがドットＤＯＴ以上である場合（Ｓ２５４のＮｏ）、ドットセンターピクセルが互いに重複しないため、Ｓ２５５ステップは行われないことができる。

【0150】

重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰに対するすべての隣接サーチポイントに対して、Ｓ２５３ステップが行われたか否かを判断することができる（Ｓ２５６）。

【0151】

サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ２５３ステップが行われていない場合（Ｓ２５６のＮｏ）、サーチポイントＳＰに対する他の隣接サーチポイントに対してＳ２５３ステップが行われることができる。次に、サーチポイントＳＰに対する他の隣接サーチポイントに対して、Ｓ２５３ステップ～Ｓ２５６ステップが繰り返して行われることができ、サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ２５３ステップ～Ｓ２５６ステップが行われると、重複ドットセンターピクセル除去部１４０は、サーチポイントＳＰと関連して重複するドットセンターピクセルのうち一つずつを除去することができる。

【0152】

サーチポイントＳＰに対するすべての隣接サーチポイントに対してＳ２５３ステップが行われた場合（Ｓ２５６のＹｅｓ）、すべてのサーチポイントＳＰに対してＳ２５２ステップが行われていないと（Ｓ２５７のＮｏ）、重複ドットセンターピクセル除去部１４０は、現在のサーチポイントインデックスｉを１だけ増加させ（Ｓ２５８）、Ｓ２５２ステップからまた行うことができる。このような動作は、すべてのサーチポイントに対してＳ２５２ステップが行われるまで繰り返すことができ、すべてのサーチポイントに対してＳ２５２ステップが行われた場合（Ｓ２５７のＹｅｓ）、ドットセンターピクセルの位置Ｘ_ｉ、Ｙ_ｉと電荷値Ｂ_ｉが重複しないように、すべてのドットセンターピクセルに対するドットセンターピクセル情報がドットデータメモリ５７０に格納されることができる。

【0153】

図１３～図２０で説明された実施形態のように、電荷値を奥行きデータの強度として用いて、ドットセンターピクセルを判断する場合、二つのフレームではなく一つのフレームのみが必要であり、フレームメモリではなくラインメモリのみを用いて、ドットセンターピクセルを検出することができる。

【0154】

図２１は、図４のドットセンターピクセル検出器に該当するコンピューティング装置の一例を示したブロック図である。

【0155】

図２１を参照すると、コンピューティング装置１０００は、図４のドットセンターピクセル検出器１００の動作を行うためのハードウェア構成の一実施形態を示すことができる。

【0156】

コンピューティング装置１０００は、プロセッサ（ｐｒｏｃｅｓｓｏｒ）１０１０、メモリ（ｍｅｍｏｒｙ）１０２０、入出力インターフェース（ｉｎｐｕｔ／ｏｕｔｐｕｔ ｉｎｔｅｒｆａｃｅ）１０３０、および通信インターフェース（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｔｅｒｆａｃｅ）１０４０を含むことができる。

【0157】

プロセッサ１０１０は、 図４のドットセンターピクセル検出器１００の構成１１０～１４０の動作を行うのに必要なデータおよび／または命令（ｉｎｓｔｒｕｃｔｉｏｎ）を処理することができる。

【0158】

メモリ１０２０は、ドットセンターピクセル検出器１００の構成１１０～１４０の動作を行うのに必要なデータおよび／または命令を格納することができ、プロセッサ１０１０によりアクセス（ａｃｃｅｓｓ）されることができる。例えば、メモリ１０２０は、揮発性メモリ（例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）など）、または不揮発性メモリ（例えば、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリなど）で実現されることができる。

【0159】

すなわち、本文書に開示されたドットセンターピクセル検出器１００の動作を行うためのコンピュータプログラムは、メモリ１０２０に記録され、プロセッサ１０１０により実行および処理されることで、イメージ処理装置１００の動作が実現されることができる。

【0160】

入出力インターフェース１０３０は、外部入力装置（例えば、キーボード、マウス、タッチパネルなど）および／または外部出力装置（例えば、ディスプレイ）と、プロセッサ１０１０との間を連結し、データを送受信できるようにするインターフェースを提供することができる。

【0161】

通信インターフェース１０４０は、外部装置（例えば、アプリケーションプロセッサ、外部メモリなど）と各種データを送受信できる構成であり、有線または無線通信を支援できる装置であってもよい。

【0162】

以上、添付の図面を参照して、本発明の実施形態を説明しているが、本発明が属する技術分野において通常の知識を有する者は、本発明が、その技術的思想もしくは必須の特徴を変更することなく、他の具体的な形態で実施可能であることを理解することができる。したがって、以上で記述した実施形態は、すべての面において例示的なものであって、限定的でないものと理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】