(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022166834
(43)【公開日】2022-11-02
(54)【発明の名称】深度センサ及びその動作方法
(51)【国際特許分類】
G01S 7/4913 20200101AFI20221026BHJP
G01S 17/894 20200101ALI20221026BHJP
H04N 5/347 20110101ALI20221026BHJP
【ＦＩ】
G01S7/4913
G01S17/894
H04N5/347
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022068927
(22)【出願日】2022-04-19
(31)【優先権主張番号】10-2021-0051821
(32)【優先日】2021-04-21
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2021-0097963
(32)【優先日】2021-07-26
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】桂 明 均
(72)【発明者】
【氏名】慶 圭 敏
(72)【発明者】
【氏名】吉 ミン ソン
(72)【発明者】
【氏名】申 繩 チョル
【テーマコード（参考）】
5C024
5J084
【Ｆターム（参考）】
5C024CX41
5C024CY17
5C024EX13
5C024GZ24
5C024HX28
5J084AA05
5J084AD02
5J084BA04
5J084BA07
5J084BA36
5J084BA40
5J084CA25
(57)【要約】
【課題】外光強度に基づき、ビニングモードを変更する深度センサ及びその動作方法を提供する。
【解決手段】本発明による物体との距離を測定する深度センサの動作方法は、ピクセルアレイに含まれる少なくとも１つの深度ピクセルからピクセル信号を出力する段階と、前記ピクセル信号を利用して測定された前記深度センサの外部の外光強度を基に、外光情報を生成する段階と、前記外光情報を基に、前記深度センサのビニング（Ｂｉｎｎｉｎｇ）モードを、アナログビニングモード又はデジタルビニングモードに設定する段階と、を有する。
【選択図】 図１
【解決手段】本発明による物体との距離を測定する深度センサの動作方法は、ピクセルアレイに含まれる少なくとも１つの深度ピクセルからピクセル信号を出力する段階と、前記ピクセル信号を利用して測定された前記深度センサの外部の外光強度を基に、外光情報を生成する段階と、前記外光情報を基に、前記深度センサのビニング（Ｂｉｎｎｉｎｇ）モードを、アナログビニングモード又はデジタルビニングモードに設定する段階と、を有する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
物体との距離を測定する深度センサの動作方法であって、
ピクセルアレイに含まれる少なくとも１つの深度ピクセルからピクセル信号を出力する段階と、
前記ピクセル信号を利用して測定された前記深度センサの外部の外光強度を基に、外光情報を生成する段階と、
前記外光情報を基に、前記深度センサのビニング（Ｂｉｎｎｉｎｇ）モードを、アナログビニングモード又はデジタルビニングモードに設定する段階と、を有することを特徴とする深度センサの動作方法。
ピクセルアレイに含まれる少なくとも１つの深度ピクセルからピクセル信号を出力する段階と、
前記ピクセル信号を利用して測定された前記深度センサの外部の外光強度を基に、外光情報を生成する段階と、
前記外光情報を基に、前記深度センサのビニング（Ｂｉｎｎｉｎｇ）モードを、アナログビニングモード又はデジタルビニングモードに設定する段階と、を有することを特徴とする深度センサの動作方法。
【請求項2】
前記外光情報は、前記外光強度に前記物体との距離を補正することによって計算された外光パラメータ値を含み、
前記アナログビニングモード又はデジタルビニングモードに設定する段階は、前記外光パラメータ値が閾値を超える場合、前記ビニングモードを前記アナログビニングモードに設定する段階と、
前記外光パラメータ値が前記閾値以下である場合、前記ビニングモードを前記デジタルビニングモードに設定する段階と、を含むことを特徴とする請求項１に記載の深度センサの動作方法。
前記アナログビニングモード又はデジタルビニングモードに設定する段階は、前記外光パラメータ値が閾値を超える場合、前記ビニングモードを前記アナログビニングモードに設定する段階と、
前記外光パラメータ値が前記閾値以下である場合、前記ビニングモードを前記デジタルビニングモードに設定する段階と、を含むことを特徴とする請求項１に記載の深度センサの動作方法。
【請求項3】
前記深度センサは、前記外光パラメータ値が前記閾値を超えることにより、前記深度センサの動作環境を室内と判断し、
前記外光パラメータ値が前記閾値以下であることにより、前記深度センサの動作環境を室外と判断することを特徴とする請求項２に記載の深度センサの動作方法。
前記外光パラメータ値が前記閾値以下であることにより、前記深度センサの動作環境を室外と判断することを特徴とする請求項２に記載の深度センサの動作方法。
【請求項4】
前記深度センサは、前記物体に入射信号を照射し、前記物体によって反射された反射信号を受信し、前記入射信号及び反射信号を基に、前記物体との距離を測定し、
前記外光情報を生成する段階は、前記入射信号の強度及び前記外光強度を基に、前記外光情報を生成する段階を含むことを特徴とする請求項１に記載の深度センサの動作方法。
前記外光情報を生成する段階は、前記入射信号の強度及び前記外光強度を基に、前記外光情報を生成する段階を含むことを特徴とする請求項１に記載の深度センサの動作方法。
【請求項5】
前記外光情報は、前記外光強度に前記物体との距離を補正することによって計算された外光パラメータ値を含み、
前記アナログビニングモード又はデジタルビニングモードに設定する段階は、前記外光パラメータ値が第１閾値以下であり第２閾値を超える状態から、前記第１閾値を超える場合、前記アナログビニングモードに設定する段階と、
前記外光パラメータ値が前記第１閾値以下であり前記第２閾値を超える状態から、前記第２閾値以下に低減される場合、前記デジタルビニングモードに設定する段階と、を含み、
前記第２閾値は、前記第１閾値より小さいことを特徴とする請求項１に記載の深度センサの動作方法。
前記アナログビニングモード又はデジタルビニングモードに設定する段階は、前記外光パラメータ値が第１閾値以下であり第２閾値を超える状態から、前記第１閾値を超える場合、前記アナログビニングモードに設定する段階と、
前記外光パラメータ値が前記第１閾値以下であり前記第２閾値を超える状態から、前記第２閾値以下に低減される場合、前記デジタルビニングモードに設定する段階と、を含み、
前記第２閾値は、前記第１閾値より小さいことを特徴とする請求項１に記載の深度センサの動作方法。
【請求項6】
物体との距離を測定するために、前記物体に入射信号を照射する送信機と、
前記物体によって反射された反射信号を受信する受信機と、を有する深度センサであって、
前記受信機は、前記反射信号を受信する複数の深度ピクセルを含むピクセルアレイと、
前記ピクセルアレイで生成されるピクセル信号を受信する読み取り回路と、
前記ピクセル信号を基に、外光強度を計算し、前記外光強度に基づき、前記読み取り回路のアナログビニングモード又はデジタルビニングモードを決定するように構成されるコントローラと、を含み、
前記読み取り回路は、前記アナログビニングモード又は前記デジタルビニングモードで動作し、前記ピクセル信号を基に、デジタルピクセル信号を生成することを特徴とする深度センサ。
前記物体によって反射された反射信号を受信する受信機と、を有する深度センサであって、
前記受信機は、前記反射信号を受信する複数の深度ピクセルを含むピクセルアレイと、
前記ピクセルアレイで生成されるピクセル信号を受信する読み取り回路と、
前記ピクセル信号を基に、外光強度を計算し、前記外光強度に基づき、前記読み取り回路のアナログビニングモード又はデジタルビニングモードを決定するように構成されるコントローラと、を含み、
前記読み取り回路は、前記アナログビニングモード又は前記デジタルビニングモードで動作し、前記ピクセル信号を基に、デジタルピクセル信号を生成することを特徴とする深度センサ。
【請求項7】
前記コントローラは、前記入射信号の強度及び前記外光強度を基に、前記読み取り回路のビニングモードを決定するための外光パラメータ値を計算するように構成されるパラメータ計算回路と、
前記外光パラメータ値が閾値を超えれば、前記読み取り回路のビニングモードを前記アナログビニングモードに決定し、前記外光パラメータ値が閾値以下であるならば、前記読み取り回路のビニングモードを前記デジタルビニングモードに決定するように構成されるビニングモード決定回路と、を含むことを特徴とする請求項６に記載の深度センサ。
前記外光パラメータ値が閾値を超えれば、前記読み取り回路のビニングモードを前記アナログビニングモードに決定し、前記外光パラメータ値が閾値以下であるならば、前記読み取り回路のビニングモードを前記デジタルビニングモードに決定するように構成されるビニングモード決定回路と、を含むことを特徴とする請求項６に記載の深度センサ。
【請求項8】
前記ピクセルアレイは、４タップ構造の第１深度ピクセル及び第２深度ピクセルを含み、
前記第１深度ピクセルは、第１位相～第４位相にそれぞれ対応する第１タップ～第４タップを含み、
前記第２深度ピクセルは、前記第１位相～第４位相にそれぞれ対応する第５タップ～第８タップを含み、
前記第１深度ピクセル及び前記第２深度ピクセルは、同一位相に対応するタップ同士隣接するように鏡対称構造に配置されることを特徴とする請求項６に記載の深度センサ。
前記第１深度ピクセルは、第１位相～第４位相にそれぞれ対応する第１タップ～第４タップを含み、
前記第２深度ピクセルは、前記第１位相～第４位相にそれぞれ対応する第５タップ～第８タップを含み、
前記第１深度ピクセル及び前記第２深度ピクセルは、同一位相に対応するタップ同士隣接するように鏡対称構造に配置されることを特徴とする請求項６に記載の深度センサ。
【請求項9】
前記読み取り回路は、前記アナログビニングモードで動作する場合、前記第１タップから出力される第１ピクセル信号、及び前記第５タップから出力される第２ピクセル信号を合算するアナログビニング回路と、
合算された信号をデジタル信号に変換するＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｏｒ）と、を含むことを特徴とする請求項８に記載の深度センサ。
合算された信号をデジタル信号に変換するＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｏｒ）と、を含むことを特徴とする請求項８に記載の深度センサ。
【請求項10】
前記読み取り回路は、前記デジタルビニングモードで動作する場合、前記第１タップから出力される第１ピクセル信号を第１デジタル信号に変換し、前記第５タップから出力される第２ピクセル信号を第２デジタル信号に変換するＡＤＣと、
前記第１デジタル信号及び第２デジタル信号を合算するデジタルビニング回路と、を含むことを特徴とする請求項８に記載の深度センサ。
前記第１デジタル信号及び第２デジタル信号を合算するデジタルビニング回路と、を含むことを特徴とする請求項８に記載の深度センサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深度センサに関し、特に、ビニングモードを変更する深度センサ及びその動作方法に関する。
【背景技術】
【0002】
事物の距離情報を取得するために、３Ｄ（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）カメラ又はＬＡＤＡＲ（ｌａｓｅｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）技術が使用されている。
例えば、光の往復時間を測定することにより、撮像装置と被写体との距離を測定し、デプス（深さ）イメージ（ｄｅｐｔｈ ｉｍａｇｅ）を生成するＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式が利用されている。
ＴＯＦ方式は、特定波長の光を被写体に照射し、被写体から反射された光を、フォトダイオード又はカメラで、測定又は撮影し、デプス映像を抽出するプロセッシングを含む。
例えば、光の往復時間を測定することにより、撮像装置と被写体との距離を測定し、デプス（深さ）イメージ（ｄｅｐｔｈ ｉｍａｇｅ）を生成するＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式が利用されている。
ＴＯＦ方式は、特定波長の光を被写体に照射し、被写体から反射された光を、フォトダイオード又はカメラで、測定又は撮影し、デプス映像を抽出するプロセッシングを含む。
【0003】
このとき、測定距離を延長させるために、複数のピクセル情報を一つに合わせるビニング（Ｂｉｎｎｉｎｇ）技術が使用されるが、ビニングを行うことにより、解像度が低くなるという問題がある。
また、ビニングは、アナログビニングとデジタルビニングの方式があるが、各方式により、主なノイズ源が異なっている。
また、ビニングは、アナログビニングとデジタルビニングの方式があるが、各方式により、主なノイズ源が異なっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表２００７－５１５８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は上記従来の深度センサにおける問題点に鑑みてなされたものであって、本発明の目的は、外光強度に基づき、ビニングモードを変更する深度センサ及びその動作方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するためになされた本発明による物体との距離を測定する深度センサの動作方法は、ピクセルアレイに含まれる少なくとも１つの深度ピクセルからピクセル信号を出力する段階と、前記ピクセル信号を利用して測定された前記深度センサの外部の外光強度を基に、外光情報を生成する段階と、前記外光情報を基に、前記深度センサのビニング（Ｂｉｎｎｉｎｇ）モードを、アナログビニングモード又はデジタルビニングモードに設定する段階と、を有することを特徴とする。
【0007】
上記目的を達成するためになされた本発明による深度センサは、物体との距離を測定するために、前記物体に入射信号を照射する送信機と、前記物体によって反射された反射信号を受信する受信機と、を有する深度センサであって、前記受信機は、前記反射信号を受信する複数の深度ピクセルを含むピクセルアレイと、前記ピクセルアレイで生成されるピクセル信号を受信する読み取り回路と、前記ピクセル信号を基に、外光強度を計算し、前記外光強度に基づき、前記読み取り回路のアナログビニングモード又はデジタルビニングモードを決定するように構成されるコントローラと、を含み、前記読み取り回路は、前記アナログビニングモード又は前記デジタルビニングモードで動作し、前記ピクセル信号を基に、デジタルピクセル信号を生成することを特徴とする。
【0008】
また、上記目的を達成するためになされた本発明による物体との距離を測定する深度センサは、前記物体によって反射された反射信号について生成されたピクセル信号を基に、外光強度を計算し、前記外光強度に基づき、前記深度センサの動作環境が室内であるか、あるいは室外であるかということを決定し、決定された動作環境に基づき、前記ピクセル信号に、アナログビニング又はデジタルビニングが行われるように構成されるコントローラを含むことを特徴とする。
【0009】
上記目的を達成するためになされた本発明によるイメージ信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）の動作方法は、物体との距離を測定する深度センサから、前記物体によって反射された反射信号について生成されたピクセル信号を受信する段階、前記ピクセル信号を基に、外光強度を計算する段階、前記外光強度に基づき、前記深度センサのアナログビニング動作又はデジタルビニング動作の実行いかんを決定する段階を含むことを特徴とする。
【0010】
また、上記目的を達成するためになされた本発明によるイメージ信号プロセッサ（ＩＳＰ）は、物体との距離を測定する深度センサから、前記物体によって反射された反射信号について生成されたピクセル信号を受信し、外光強度を反映させる外光パラメータ値を、前記ピクセル信号に基づき、計算するように構成されるパラメータ計算回路、前記外光パラメータ値が閾値を超えれば、前記深度センサがアナログビニング動作を実行するように決定し、前記外光パラメータ値が前記閾値以下であるならば、前記深度センサがデジタルビニング動作を実行するように決定するビニングモード決定回路を含むことを特徴とする。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態によるイメージ処理装置の概略構成を示すブロック図である。
【図2】本発明の実施形態による入射信号及び反射信号を示すタイミング図である。
【図3】本発明の実施形態による深度ピクセルの概略構造を示す例示図である。
【図4】本発明の実施形態によるピクセルアレイの概略構造を示す例示図である。
【図5】本発明の実施形態による深度ピクセルの一部を概略的に示す回路図である。
【図6】本発明の実施形態によるフォトゲート信号を示すタイミング図である。
【図7】本発明の実施形態によるピクセルアレイの概略構造を示す例示図である。
【図8】本発明の実施形態によるコントローラの概略構成を示すブロック図である。
【図9】本発明の実施形態による外光パラメータと外光強度との関係を示すグラフである。
【図10】本発明の実施形態による深度センサの動作環境による外光パラメータを示すグラフである。
【図11】本発明の実施形態による深度センサのビニングモードによるノイズを示すグラフである。
【図12】本発明の実施形態による読み取り回路の概略構成を示すブロック図である。
【図13】本発明の実施形態による深度センサの動作を説明するためのフローチャートである。
【図14】本発明の実施形態による、深度センサのビニングモード設定方法を説明するためのフローチャートである。
【図15】本発明の実施形態による、深度センサのビニングモード設定方法を説明するためのグラフである。
【図16】本発明の実施形態によるイメージ処理装置の概略構成を示すブロック図である。
【図17】本発明の実施形態による、深度センサを含む電子機器の概略構成を示すブロック図である。
【発明を実施するための形態】
【0012】
次に、本発明に係る深度センサ及びその動作方法を実施するための形態の具体例を図面を参照しながら説明する。
以下、添付図面を参照し、本発明の実施形態について詳細に説明する。
以下、添付図面を参照し、本発明の実施形態について詳細に説明する。
【0013】
図１は、本発明の実施形態によるイメージ処理装置の概略構成を示すブロック図であり、図２は、本発明の実施形態による入射信号及び反射信号を示すタイミング図である。
図１及び図２を参照すると、イメージ処理装置１０は、深度センサ１００及びイメージ信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）２００を含む。
イメージ処理装置１０は、外部に位置した物体１からの距離を測定することにより、深度データを生成する。
図１及び図２を参照すると、イメージ処理装置１０は、深度センサ１００及びイメージ信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）２００を含む。
イメージ処理装置１０は、外部に位置した物体１からの距離を測定することにより、深度データを生成する。
【0014】
深度センサ１００は、ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式で動作し、図２のように、入射信号ＴＸと反射信号ＲＸとの位相差を基に、物体１との距離を測定する。
深度センサ１００は、物体１との距離を測定するために、物体１に入射信号ＴＸを照射する送信機１１０、物体１によって反射された反射信号ＲＸを受信し反射信号ＲＸを基にデジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する受信機１２０を含む。
送信機１１０は、駆動回路１１１、光源１１２、及び光学系１１３を含み、受信機１２０は、コントローラ１２１、ピクセルアレイ１２２、及び読み取り回路１２３を含む。
深度センサ１００は、物体１との距離を測定するために、物体１に入射信号ＴＸを照射する送信機１１０、物体１によって反射された反射信号ＲＸを受信し反射信号ＲＸを基にデジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する受信機１２０を含む。
送信機１１０は、駆動回路１１１、光源１１２、及び光学系１１３を含み、受信機１２０は、コントローラ１２１、ピクセルアレイ１２２、及び読み取り回路１２３を含む。
【0015】
駆動回路１１１は、コントローラ１２１の制御に基づき、光源１１２を駆動するためのクロック信号を生成する。
光源１１２は、クロック信号に応答し、変調された光信号を生成し、光学系１１３を介し、物体１に照射する。
クロック信号、又は変調された光信号は、正弦波又は矩形波であり得る。
光源１１２は、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＡＭＯＬＥＤ（ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、又はレーザダイオード（ｌａｓｅｒ ｄｉｏｄｅ）等によって構成される。
一実施形態として、本発明の光源１１２は、垂直キャビティ表面光放出レーザ（ｖｅｒｔｉｃａｌ－ｃａｖｉｔｙ ｓｕｒｆａｃｅ－ｅｍｉｔｔｉｎｇ ｌａｓｅｒ：ＶＣＳＥＬ）によっても構成される。
光源１１２は、クロック信号に応答し、変調された光信号を生成し、光学系１１３を介し、物体１に照射する。
クロック信号、又は変調された光信号は、正弦波又は矩形波であり得る。
光源１１２は、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＡＭＯＬＥＤ（ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、又はレーザダイオード（ｌａｓｅｒ ｄｉｏｄｅ）等によって構成される。
一実施形態として、本発明の光源１１２は、垂直キャビティ表面光放出レーザ（ｖｅｒｔｉｃａｌ－ｃａｖｉｔｙ ｓｕｒｆａｃｅ－ｅｍｉｔｔｉｎｇ ｌａｓｅｒ：ＶＣＳＥＬ）によっても構成される。
【0016】
ピクセルアレイ１２２は、物体１から反射した反射信号ＲＸを受信する少なくとも１つの深度ピクセルＰＸを含む。
深度ピクセルＰＸは、光電荷を、一定時間、例えば、積分時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）の間、蓄積することにより、電気的信号であるピクセル信号（ＳＩＧ＿ＰＸ）を生成する。
深度ピクセルＰＸは、１回のサンプリング区間において、互いに異なる位相を有する制御信号により、少なくとも１つのピクセル信号（ＳＩＧ＿ＰＸ）を出力する。
例えば、深度ピクセルＰＸは、４タップ（ｔａｐ）構造であり、４個の互いに異なる位相を有するフォトゲート制御信号により、４個のピクセル信号（ＳＩＧ＿ＰＸ）を出力する。
深度ピクセルＰＸに関連する詳細な内容は、後述する。
深度ピクセルＰＸは、光電荷を、一定時間、例えば、積分時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）の間、蓄積することにより、電気的信号であるピクセル信号（ＳＩＧ＿ＰＸ）を生成する。
深度ピクセルＰＸは、１回のサンプリング区間において、互いに異なる位相を有する制御信号により、少なくとも１つのピクセル信号（ＳＩＧ＿ＰＸ）を出力する。
例えば、深度ピクセルＰＸは、４タップ（ｔａｐ）構造であり、４個の互いに異なる位相を有するフォトゲート制御信号により、４個のピクセル信号（ＳＩＧ＿ＰＸ）を出力する。
深度ピクセルＰＸに関連する詳細な内容は、後述する。
【0017】
ピクセルアレイ１２２は、コントローラ１２１から、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を受信する。
ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）により、ピクセルアレイ１２２は、複数のタップから生成された電荷を、フローティングディフュージョンノード（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ ｎｏｄｅ）に伝送するタイミングを制御する。
例えば、ピクセルアレイ１２２は、フルモードで動作することにより、１つのフレーム区間において、特定位相に対応するタップから、信号を取得する。
例えば、ピクセルアレイ１２２は、ビニングモードで動作することにより、１つのフレーム区間において、特定位相に対応する複数のタップから信号を取得する。
ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）により、ピクセルアレイ１２２は、複数のタップから生成された電荷を、フローティングディフュージョンノード（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ ｎｏｄｅ）に伝送するタイミングを制御する。
例えば、ピクセルアレイ１２２は、フルモードで動作することにより、１つのフレーム区間において、特定位相に対応するタップから、信号を取得する。
例えば、ピクセルアレイ１２２は、ビニングモードで動作することにより、１つのフレーム区間において、特定位相に対応する複数のタップから信号を取得する。
【0018】
読み取り回路１２３は、深度ピクセルＰＸから出力されたピクセル信号（ＳＩＧ＿ＰＸ）を処理し、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
一実施形態として、読み取り回路１２３は、コントローラ１２１の制御により、ピクセル信号（ＳＩＧ＿ＰＸ）に関連する、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）動作とＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｏｒ）動作とを実行する。
一実施形態として、読み取り回路１２３は、コントローラ１２１の制御により、ピクセル信号（ＳＩＧ＿ＰＸ）に関連する、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）動作とＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｏｒ）動作とを実行する。
【0019】
本発明の実施形態によれば、深度センサ１００は、ビニング動作を実行する。
ビニング（Ｂｉｎｎｉｎｇ）とは、複数のピクセル信号（ＳＩＧ＿ＰＸ）を合算及び／又は平均する動作を意味する。
アナログ信号について実行されるビニング動作を、アナログビニングと称し、デジタル信号について実行されるビニング動作を、デジタルビニングと称する。
ピクセルアレイ１２２及び／又は読み取り回路１２３は、コントローラ１２１から受信したビニングモード制御信号（ＢＭ＿ＣＴＲＬ）により、アナログビニング動作又はデジタルビニング動作を実行する。
ビニング（Ｂｉｎｎｉｎｇ）とは、複数のピクセル信号（ＳＩＧ＿ＰＸ）を合算及び／又は平均する動作を意味する。
アナログ信号について実行されるビニング動作を、アナログビニングと称し、デジタル信号について実行されるビニング動作を、デジタルビニングと称する。
ピクセルアレイ１２２及び／又は読み取り回路１２３は、コントローラ１２１から受信したビニングモード制御信号（ＢＭ＿ＣＴＲＬ）により、アナログビニング動作又はデジタルビニング動作を実行する。
【0020】
一実施形態として、ピクセルアレイ１２２は、アナログビニングモードを示すビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を受信することにより、複数のタップから生成された電荷を、１つのフローティングディフュージョンから読み取る。
このとき、複数のタップは、同一位相に対応する。
その後、読み取り回路１２３は、ピクセルアレイ１２２から取得した信号を合算することにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
このとき、複数のタップは、同一位相に対応する。
その後、読み取り回路１２３は、ピクセルアレイ１２２から取得した信号を合算することにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
【0021】
一実施形態として、ピクセルアレイ１２２は、デジタルビニングモードを示すビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を受信することにより、１つのタップから生成された電荷を、１つのフローティングディフュージョンから読み取る。
読み取り回路１２３は、ピクセルアレイ１２２から取得した信号をデジタル化させ、複数のデジタル信号を平均することにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
読み取り回路１２３は、ピクセルアレイ１２２から取得した信号をデジタル化させ、複数のデジタル信号を平均することにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
【0022】
ビニングの対象になる信号の個数、及び／又はビニングの対象になる深度ピクセルＰＸの個数は、コントローラ１２１によって決定される。
読み取り回路１２３は、ピクセル信号（ＳＩＧ＿ＰＸ）にビニング動作を実行し、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成し、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を、イメージ信号プロセッサ（ＩＳＰ）２００に提供する。
読み取り回路１２３は、ピクセル信号（ＳＩＧ＿ＰＸ）にビニング動作を実行し、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成し、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を、イメージ信号プロセッサ（ＩＳＰ）２００に提供する。
【0023】
コントローラ１２１は、深度センサ１００の一連の動作を制御する。
コントローラ１２１は、入射信号ＴＸを生成するために、駆動回路１１１を制御する。
一実施形態として、コントローラ１２１は、物体１によって反射された反射信号ＲＸに基づいて生成されたピクセル信号（ＳＩＧ＿ＰＸ）を基に、外光強度を計算し、外光強度に基づき、深度センサ１００の動作環境が、室内であるか、あるいは室外であるかということを決定し、決定された動作環境に基づき、ピクセル信号（ＳＩＧ＿ＰＸ）に、アナログビニング又はデジタルビニングが行われるように構成される。
コントローラ１２１は、入射信号ＴＸを生成するために、駆動回路１１１を制御する。
一実施形態として、コントローラ１２１は、物体１によって反射された反射信号ＲＸに基づいて生成されたピクセル信号（ＳＩＧ＿ＰＸ）を基に、外光強度を計算し、外光強度に基づき、深度センサ１００の動作環境が、室内であるか、あるいは室外であるかということを決定し、決定された動作環境に基づき、ピクセル信号（ＳＩＧ＿ＰＸ）に、アナログビニング又はデジタルビニングが行われるように構成される。
【0024】
本発明の実施形態によれば、コントローラ１２１は、読み取り回路１２３からピクセル信号（ＳＩＧ＿ＰＸ）を受信し、ピクセル信号（ＳＩＧ＿ＰＸ）に基づき、読み取り回路１２３のビニングモードを決定するためのビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を生成する。
コントローラ１２１は、ピクセル信号（ＳＩＧ＿ＰＸ）を利用し、外光（ａｍｂｉｅｎｔ ｌｉｇｈｔ）の強度を測定する。
コントローラ１２１は、外光強度を基に、ビニングモードを決定するための外光情報を生成する。
外光情報を基に、読み取り回路１２３のビニングモードを、アナログビニングモード又はデジタルビニングモードに決定する。
コントローラ１２１は、ピクセル信号（ＳＩＧ＿ＰＸ）を利用し、外光（ａｍｂｉｅｎｔ ｌｉｇｈｔ）の強度を測定する。
コントローラ１２１は、外光強度を基に、ビニングモードを決定するための外光情報を生成する。
外光情報を基に、読み取り回路１２３のビニングモードを、アナログビニングモード又はデジタルビニングモードに決定する。
【0025】
一方、外光は、周辺光とも称される。
外光情報を基に、深度センサ１００の動作環境が、室内であるか、あるいは室外であるかということが決定される。
外光情報は、例えば、図８の外光パラメータを含み得る。
外光は、ピクセル信号（ＳＩＧ＿ＰＸ）に対するノイズ源としても作用するので、本発明の実施形態によれば、ノイズを低減させるために、外光強度により、ビニングモードを変更する。
それにより、ピクセル信号（ＳＩＧ＿ＰＸ）のノイズを最小化させることができるので、測定された距離、又は生成された深度データの正確性を向上させることができる。
外光情報を基に、深度センサ１００の動作環境が、室内であるか、あるいは室外であるかということが決定される。
外光情報は、例えば、図８の外光パラメータを含み得る。
外光は、ピクセル信号（ＳＩＧ＿ＰＸ）に対するノイズ源としても作用するので、本発明の実施形態によれば、ノイズを低減させるために、外光強度により、ビニングモードを変更する。
それにより、ピクセル信号（ＳＩＧ＿ＰＸ）のノイズを最小化させることができるので、測定された距離、又は生成された深度データの正確性を向上させることができる。
【0026】
図に示していないが、受信機１２０は、反射信号ＲＸを変調するための変調器、深度ピクセルＰＸに制御信号を供給するためのロウドライバ、ロウデコーダ及びタイミングコントローラ、深度ピクセルＰＸにフォトゲート制御信号を提供するフォトゲートコントローラをさらに含み得る。
イメージ信号プロセッサ（ＩＳＰ）２００は、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を基に、深度データを生成する。
図１において、イメージ信号プロセッサ（ＩＳＰ）２００がイメージ処理装置１０内部にあるように図に示しているが、それに制限されるものではなく、イメージ信号プロセッサ（ＩＳＰ）２００がイメージ処理装置１０の外部にも具現され得る。
イメージ信号プロセッサ（ＩＳＰ）２００は、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を基に、深度データを生成する。
図１において、イメージ信号プロセッサ（ＩＳＰ）２００がイメージ処理装置１０内部にあるように図に示しているが、それに制限されるものではなく、イメージ信号プロセッサ（ＩＳＰ）２００がイメージ処理装置１０の外部にも具現され得る。
【0027】
図３は、本発明の実施形態による深度ピクセルの概略構造を示す例示図である。
図３を参照すると、深度ピクセルＰＸは、４タップ（ｔａｐ）構造である。
「タップ」とは、復調（ｄｅｍｏｄｕｌａｔｉｏｎ）信号により、光電荷を収集して検出するためのフォトゲート及び検出領域を含むコンポーネントを指称する。
深度ピクセルＰＸは、互いに異なる位相それぞれに対応する４個のタップを含む。
例えば、４個のタップは、それぞれ０°、９０°、１８０°、及び２７０°である位相に対応する。
すなわち４個のタップそれぞれに提供されるフォトゲート信号の位相は、それぞれ０°、９０°、１８０°、及び２７０°である。
図３を参照すると、深度ピクセルＰＸは、４タップ（ｔａｐ）構造である。
「タップ」とは、復調（ｄｅｍｏｄｕｌａｔｉｏｎ）信号により、光電荷を収集して検出するためのフォトゲート及び検出領域を含むコンポーネントを指称する。
深度ピクセルＰＸは、互いに異なる位相それぞれに対応する４個のタップを含む。
例えば、４個のタップは、それぞれ０°、９０°、１８０°、及び２７０°である位相に対応する。
すなわち４個のタップそれぞれに提供されるフォトゲート信号の位相は、それぞれ０°、９０°、１８０°、及び２７０°である。
【0028】
深度ピクセルＰＸは、各タップに対応するフローティングディフュージョンノードＦＤを含む。
すなわち、深度ピクセルＰＸは、４タップ構造なので４個のフローティングディフュージョンノードＦＤを含む。
フローティングディフュージョンノードＦＤが、各タップのコーナーに位置するように図に示しているが、それに制限されるものではない。
フローティングディフュージョンノードＦＤに蓄積された電荷により、各タップから、互いに異なる４個のピクセル信号（Ａ１～Ａ４）が生成される。
一実施形態として、０°位相に対応する第１タップにおいては、第１ピクセル信号Ａ１が生成され、９０°位相に対応する第２タップにおいては、第２ピクセル信号Ａ２が生成され、１８０°位相に対応する第３タップにおいては、第３ピクセル信号Ａ３が生成され、２７０°位相に対応する第４タップにおいては、第４ピクセル信号Ａ４が生成される。
すなわち、深度ピクセルＰＸは、４タップ構造なので４個のフローティングディフュージョンノードＦＤを含む。
フローティングディフュージョンノードＦＤが、各タップのコーナーに位置するように図に示しているが、それに制限されるものではない。
フローティングディフュージョンノードＦＤに蓄積された電荷により、各タップから、互いに異なる４個のピクセル信号（Ａ１～Ａ４）が生成される。
一実施形態として、０°位相に対応する第１タップにおいては、第１ピクセル信号Ａ１が生成され、９０°位相に対応する第２タップにおいては、第２ピクセル信号Ａ２が生成され、１８０°位相に対応する第３タップにおいては、第３ピクセル信号Ａ３が生成され、２７０°位相に対応する第４タップにおいては、第４ピクセル信号Ａ４が生成される。
【0029】
第１ピクセル信号Ａ１～第４ピクセル信号Ａ４を基に、下記に示す数式１及び数式２により、物体１との距離が計算される。
【数1】
【数2】
【0030】
数式１で、φは、入射信号ＴＸと反射信号ＲＸとの位相差を意味し、数式２で、ｃは、光束を意味し、ｆｍは、入射信号ＴＸ又は反射信号ＲＸの周波数を意味し、ｄは、物体１との距離を意味する。
なお、深度ピクセルＰＸは、４タップ構造に制限されるものではなく、２タップ構造、又は複数のタップを有するマルチタップ（ｍｕｌｔｉ－ｔａｐ）構造であり得る。
なお、深度ピクセルＰＸは、４タップ構造に制限されるものではなく、２タップ構造、又は複数のタップを有するマルチタップ（ｍｕｌｔｉ－ｔａｐ）構造であり得る。
【0031】
図４は、本発明の実施形態によるピクセルアレイの概略構造を示す例示図である。
ピクセルアレイ１２２は、図１のピクセルアレイ１２２の一実施形態に該当する。
図４を参照すると、ピクセルアレイ１２２は、４タップ構造の複数の深度ピクセルを含み、例えば、第１深度ピクセルＰＸ１及び第２深度ピクセルＰＸ２を含む。
ピクセルアレイ１２２は、図１のピクセルアレイ１２２の一実施形態に該当する。
図４を参照すると、ピクセルアレイ１２２は、４タップ構造の複数の深度ピクセルを含み、例えば、第１深度ピクセルＰＸ１及び第２深度ピクセルＰＸ２を含む。
【0032】
第１深度ピクセルＰＸ１は、第１タップ～第４タップを含み、第２深度ピクセルＰＸ２は、第５タップ～第８タップを含む。
第１タップ及び第５タップは、同一位相、例えば、０°位相に対応し、第２タップ及び第６タップは、同一位相、例えば、９０°位相に対応し、第３タップ及び第５タップは、同一位相、例えば、１８０°位相に対応し、第４タップ及び第６タップは、同一位相、例えば、２７０°位相に対応する。
第１深度ピクセルＰＸ１と第２深度ピクセルＰＸ２は、同一位相に対応するタップ同士隣接するように、鏡対称構造に配置される。
第１タップ及び第５タップは、同一位相、例えば、０°位相に対応し、第２タップ及び第６タップは、同一位相、例えば、９０°位相に対応し、第３タップ及び第５タップは、同一位相、例えば、１８０°位相に対応し、第４タップ及び第６タップは、同一位相、例えば、２７０°位相に対応する。
第１深度ピクセルＰＸ１と第２深度ピクセルＰＸ２は、同一位相に対応するタップ同士隣接するように、鏡対称構造に配置される。
【0033】
例えば、第３タップと第７タップとが隣接し、第４タップと第８タップとが隣接する。
第１深度ピクセルＰＸ１の第１タップ及び第２タップは、異なる深度ピクセルと隣接する。
それにより、互いに隣接した複数のタップは、フローティングディフュージョンノードを共有する。
例えば、第３タップ及び第７タップが１つのフローティングディフュージョンノードを共有し、第４タップ及び第８タップが１つのフローティングディフュージョンノードを共有する。
第１深度ピクセルＰＸ１の第１タップ及び第２タップは、異なる深度ピクセルと隣接する。
それにより、互いに隣接した複数のタップは、フローティングディフュージョンノードを共有する。
例えば、第３タップ及び第７タップが１つのフローティングディフュージョンノードを共有し、第４タップ及び第８タップが１つのフローティングディフュージョンノードを共有する。
【0034】
図５は、本発明の実施形態による深度ピクセルの一部を概略的に示す回路図であり、図６は、本発明の実施形態によるフォトゲート信号を示すタイミング図である。
図５を参照すると、深度ピクセルＰＸは、１つのフォトダイオードＰＤ、４個のフォトトランジスタ（ＰＸ１～ＰＸ４）、及び４個のフローティングディフュージョンノード（ＦＤ１～ＦＤ４）を含む。
図に示していないが、深度ピクセルＰＸは、４個の送信トランジスタ、４個のキャプチャトランジスタ、４個のストレージトランジスタ、及び１個のオーバーフロートランジスタの内の少なくとも一つをさらに含み得る。
図５を参照すると、深度ピクセルＰＸは、１つのフォトダイオードＰＤ、４個のフォトトランジスタ（ＰＸ１～ＰＸ４）、及び４個のフローティングディフュージョンノード（ＦＤ１～ＦＤ４）を含む。
図に示していないが、深度ピクセルＰＸは、４個の送信トランジスタ、４個のキャプチャトランジスタ、４個のストレージトランジスタ、及び１個のオーバーフロートランジスタの内の少なくとも一つをさらに含み得る。
【0035】
第１フォトトランジスタＰＸ１～第４フォトトランジスタＰＸ４は、第１フローティングディフュージョンノードＦＤ１～第４フローティングディフュージョンノードＦＤ４と、フォトダイオードＰＤとの間にそれぞれ接続される。
第１フォトトランジスタＰＸ１～第４フォトトランジスタＰＸ４は、それぞれ第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４によって制御される。
第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４は、互いに異なる位相を有する。
第１フォトトランジスタＰＸ１～第４フォトトランジスタＰＸ４は、それぞれ第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４によって制御される。
第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４は、互いに異なる位相を有する。
【0036】
一実施形態として、図６を参照すると、第１フォトゲート信号ＰＧ１の位相を０°に仮定すると、第２フォトゲート信号ＰＧ２～第４フォトゲート信号ＰＧ４の位相は、それぞれ９０°、１８０°、及び２７０°である。
すなわち、第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４の位相差は、それぞれ９０°である。
第１フォトトランジスタＰＸ１～第４フォトトランジスタＰＸ４がターンオンされることにより、フォトダイオードＰＤにおいて光電荷が生成され、生成された光電荷が、第１フローティングディフュージョンノードＦＤ１～第４フローティングディフュージョンノードＦＤ４に蓄積される。
第１フローティングディフュージョンノードＦＤ１～第４フローティングディフュージョンノードＦＤ４に蓄積された電荷に基づき、例えば、第１ピクセル信号Ａ１～第４ピクセル信号Ａ４（図３）が出力される。
第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４の位相差により、第１ピクセル信号Ａ１～第４ピクセル信号Ａ４も、互いに異なる。
すなわち、第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４の位相差は、それぞれ９０°である。
第１フォトトランジスタＰＸ１～第４フォトトランジスタＰＸ４がターンオンされることにより、フォトダイオードＰＤにおいて光電荷が生成され、生成された光電荷が、第１フローティングディフュージョンノードＦＤ１～第４フローティングディフュージョンノードＦＤ４に蓄積される。
第１フローティングディフュージョンノードＦＤ１～第４フローティングディフュージョンノードＦＤ４に蓄積された電荷に基づき、例えば、第１ピクセル信号Ａ１～第４ピクセル信号Ａ４（図３）が出力される。
第１フォトゲート信号ＰＧ１～第４フォトゲート信号ＰＧ４の位相差により、第１ピクセル信号Ａ１～第４ピクセル信号Ａ４も、互いに異なる。
【0037】
図７は、本発明の実施形態によるピクセルアレイの概略構造を示す例示図である。
図７を参照すると、例えば、深度センサ１００（図１）は、ビニングモードで動作し、これにより、ピクセルアレイ１２２ａは、深度ピクセルグループＧＰＸ単位で動作する。
以下においては、「２×２」ビニングモードである場合を例として挙げて説明する。
深度ピクセルグループＧＰＸは、同一位相に対応するタップを複数個含む。
図７を参照すると、例えば、深度センサ１００（図１）は、ビニングモードで動作し、これにより、ピクセルアレイ１２２ａは、深度ピクセルグループＧＰＸ単位で動作する。
以下においては、「２×２」ビニングモードである場合を例として挙げて説明する。
深度ピクセルグループＧＰＸは、同一位相に対応するタップを複数個含む。
【0038】
一実施形態として、第１位相（例えば、０°）に対応する第１タップ、第２位相（例えば、９０°）に対応する第２タップ、第３位相（例えば、１８０°）に対応する第３タップ、及び第４位相（例えば、２７０°）に対応する第４タップをそれぞれ複数個ずつ、例えば、４個ずつ含む。
同一位相に対応するタップは、フローティングディフュージョンノードを共有する。
それにより、複数のタップ（例えば、４個の第１タップ）から生成されるピクセルグループ信号は、１つのフローティングディフュージョンノードを介して出力される。
同一位相に対応するタップは、フローティングディフュージョンノードを共有する。
それにより、複数のタップ（例えば、４個の第１タップ）から生成されるピクセルグループ信号は、１つのフローティングディフュージョンノードを介して出力される。
【0039】
図８は、本発明の実施形態によるコントローラの概略構成を示すブロック図であり、図９は、本発明の実施形態による外光パラメータと外光強度との関係を示すグラフであり、図１０は、本発明の実施形態による深度センサの動作環境による外光パラメータを示すグラフであり、図１１は、本発明の実施形態による深度センサのビニングモードによるノイズを示すグラフである。
図８を参照すると、コントローラ３００は、パラメータ計算回路３１０及びビニングモード決定回路３２０を含む。
図８を参照すると、コントローラ３００は、パラメータ計算回路３１０及びビニングモード決定回路３２０を含む。
【0040】
パラメータ計算回路３１０は、読み取り回路４００から、ピクセル信号（ＳＩＧ＿ＰＸ）を受信する。
ピクセル信号（ＳＩＧ＿ＰＸ）は、例えば、図３の第１ピクセル信号Ａ１～第４ピクセル信号Ａ４である。
パラメータ計算回路３１０は、ピクセル信号（ＳＩＧ＿ＰＸ）を利用し、外光強度を計算し、外光強度を基に、外光パラメータを計算する。
外光パラメータは、外光強度において、物体１との距離による効果を補正した変数を意味する。
ピクセル信号（ＳＩＧ＿ＰＸ）は、例えば、図３の第１ピクセル信号Ａ１～第４ピクセル信号Ａ４である。
パラメータ計算回路３１０は、ピクセル信号（ＳＩＧ＿ＰＸ）を利用し、外光強度を計算し、外光強度を基に、外光パラメータを計算する。
外光パラメータは、外光強度において、物体１との距離による効果を補正した変数を意味する。
【0041】
図９を参照すると、外光パラメータは、外光強度と反比例する。
外光パラメータ値ＰＡＲは、物体１に照射された入射信号ＴＸの強度、及び外光強度を基に計算される。
例えば、外光パラメータ値ＰＡＲは、入射信号ＴＸの強度を外光強度で割った値を含むが、それに制限されるものではない。
例えば、入射信号ＴＸの強度を、外光強度の平方根で割った値を含む。
外光パラメータ値ＰＡＲは、物体１に照射された入射信号ＴＸの強度、及び外光強度を基に計算される。
例えば、外光パラメータ値ＰＡＲは、入射信号ＴＸの強度を外光強度で割った値を含むが、それに制限されるものではない。
例えば、入射信号ＴＸの強度を、外光強度の平方根で割った値を含む。
【0042】
入射信号ＴＸの強度、外光強度及び外光パラメータは、それぞれ下記に示す数式３、数式４、及び数式５を介して計算される。
【数3】
【数4】
【数5】
【0043】
数式３で、Ａ１～Ａ４は、それぞれ深度ピクセルの第１タップ～第４タップを介して出力された第１ピクセル信号～第４ピクセル信号を意味し、Ａは、入射信号ＴＸの強度を意味する。
数式４で、Ｂは、外光強度を意味し、数式５で、Ｐは、外光パラメータを意味する。
数式４で、Ｂは、外光強度を意味し、数式５で、Ｐは、外光パラメータを意味する。
【0044】
パラメータ計算回路３１０は、外光パラメータを利用することにより、物体１との距離に関係なく、外光強度を測定する。
ビニングモード決定回路３２０は、外光パラメータ値ＰＡＲを基に、読み取り回路４００のビニングモードを決定する。
例えば、外光パラメータ値ＰＡＲが閾値を超える場合、ビニングモードをアナログビニングモードに決定し、外光パラメータ値ＰＡＲが閾値以下である場合、ビニングモードをデジタルビニングモードに決定する。
なお、ビニングモード決定回路３２０は、２個の閾値を利用することができる。
それについては、図１５を介して後述する。
ビニングモード決定回路３２０は、外光パラメータ値ＰＡＲを基に、読み取り回路４００のビニングモードを決定する。
例えば、外光パラメータ値ＰＡＲが閾値を超える場合、ビニングモードをアナログビニングモードに決定し、外光パラメータ値ＰＡＲが閾値以下である場合、ビニングモードをデジタルビニングモードに決定する。
なお、ビニングモード決定回路３２０は、２個の閾値を利用することができる。
それについては、図１５を介して後述する。
【0045】
ビニングモード決定回路３２０は、外光パラメータ値ＰＡＲを基に、例えば、深度センサ１００（図１）の動作環境を決定し、この動作環境により、読み取り回路４００のビニングモードを決定するためのビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を生成する。
例えば、外光パラメータ値ＰＡＲが閾値を超えることにより、深度センサ１００の動作環境を室内と判断し、外光パラメータ値ＰＡＲが閾値以下であることにより、深度センサ１００の動作環境を室外と判断する。
例えば、外光パラメータ値ＰＡＲが閾値を超えることにより、深度センサ１００の動作環境を室内と判断し、外光パラメータ値ＰＡＲが閾値以下であることにより、深度センサ１００の動作環境を室外と判断する。
【0046】
なお、図１０を参照すると、外光パラメータ値ＰＡＲは、物体１との距離が変わるにもかかわらず、室内環境と室外環境とにおいて、明確に区分される。
従って、深度センサ１００の動作環境を決定するために、外光パラメータが使用される。
本発明の実施形態によれば、コントローラ３００は、外光パラメータを基に、読み取り回路４００のビニングモードを決定することにより、外光強度が弱い室内においては、アナログビニングを介し、ピクセル信号（ＳＩＧ＿ＰＸ）のレベルを上昇させ、外光強度が強い室外においては、デジタルビニングを介し、深度ピクセルが外光によって飽和することを防止することができる。
従って、深度センサ１００の動作環境を決定するために、外光パラメータが使用される。
本発明の実施形態によれば、コントローラ３００は、外光パラメータを基に、読み取り回路４００のビニングモードを決定することにより、外光強度が弱い室内においては、アナログビニングを介し、ピクセル信号（ＳＩＧ＿ＰＸ）のレベルを上昇させ、外光強度が強い室外においては、デジタルビニングを介し、深度ピクセルが外光によって飽和することを防止することができる。
【0047】
図１１を参照すると、外光強度により、アナログビニングを介して生成されたデータのノイズと、デジタルビニングを介して生成されたデータのノイズとの大きさが互いに異なる。
例えば、外光強度が０ｌｕｘ～２６ｋｌｕｘにおいては、デジタルビニングを介して生成されたデータのノイズが、アナログビニングを介して生成されたデータのノイズよりも大きくなる。
従って、該範囲においては、アナログビニングを行うことが有利である。
また、外光強度が２６ｋｌｕｘを超える場合、アナログビニングを介して生成されたデータのノイズが、デジタルビニングを介して生成されたデータのノイズよりも大きくなる。
従って、該範囲においては、デジタルビニングを行うことが有利である。
例えば、外光強度が０ｌｕｘ～２６ｋｌｕｘにおいては、デジタルビニングを介して生成されたデータのノイズが、アナログビニングを介して生成されたデータのノイズよりも大きくなる。
従って、該範囲においては、アナログビニングを行うことが有利である。
また、外光強度が２６ｋｌｕｘを超える場合、アナログビニングを介して生成されたデータのノイズが、デジタルビニングを介して生成されたデータのノイズよりも大きくなる。
従って、該範囲においては、デジタルビニングを行うことが有利である。
【0048】
すなわち、外光強度が、既設定の閾値以下である場合には、アナログビニングを行うことにより、ノイズが低減され、外光強度が既設定の閾値を超える場合には、デジタルビニングを行うことにより、ノイズが低減される。
一実施形態として、ビニングモード決定回路３２０は、ノイズの大きさが逆転される外光強度を基準に、外光パラメータの閾値を設定し、該閾値を基準に、深度センサ１００のアナログビニングモード又はデジタルビニングモードを決定する。
なお、図８において、パラメータ計算回路３１０は、例えば、深度ピクセルグループＧＰＸ（図７）で生成されたピクセルグループ信号をさらに受信することができる。
その場合、パラメータ計算回路３１０は、ピクセルグループ信号を基に、外光パラメータ値ＰＡＲを計算する。
一実施形態として、ビニングモード決定回路３２０は、ノイズの大きさが逆転される外光強度を基準に、外光パラメータの閾値を設定し、該閾値を基準に、深度センサ１００のアナログビニングモード又はデジタルビニングモードを決定する。
なお、図８において、パラメータ計算回路３１０は、例えば、深度ピクセルグループＧＰＸ（図７）で生成されたピクセルグループ信号をさらに受信することができる。
その場合、パラメータ計算回路３１０は、ピクセルグループ信号を基に、外光パラメータ値ＰＡＲを計算する。
【0049】
図１２は、本発明の実施形態による読み取り回路の概略構成を示すブロック図である。
図１２を参照すると、読み取り回路５００は、例えば、コントローラ３００（図８）から、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を受信し、例えば、ピクセルアレイ１２２（図１）から、複数のピクセルグループ信号を受信する。
読み取り回路５００は、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）により、アナログビニング又はデジタルビニングを行うことにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成して出力する。
図１２を参照すると、読み取り回路５００は、例えば、コントローラ３００（図８）から、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を受信し、例えば、ピクセルアレイ１２２（図１）から、複数のピクセルグループ信号を受信する。
読み取り回路５００は、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）により、アナログビニング又はデジタルビニングを行うことにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成して出力する。
【0050】
読み取り回路５００は、アナログビニング回路５１０、ＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）５２０、及びデジタルビニング回路５３０を含む。
一実施形態として、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）が、第１ロジックレベルにより、アナログビニングを指示する場合、読み取り回路５００のアナログビニング回路５１０及びＡＤＣ５２０が動作する。
一実施形態として、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）が、第２ロジックレベルにより、デジタルビニングを指示する場合、読み取り回路５００のＡＤＣ５２０及びデジタルビニング回路５３０が動作する。
一実施形態として、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）が、第１ロジックレベルにより、アナログビニングを指示する場合、読み取り回路５００のアナログビニング回路５１０及びＡＤＣ５２０が動作する。
一実施形態として、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）が、第２ロジックレベルにより、デジタルビニングを指示する場合、読み取り回路５００のＡＤＣ５２０及びデジタルビニング回路５３０が動作する。
【0051】
アナログビニング動作のために、アナログビニング回路５１０は、アナログ信号である複数のピクセルグループ信号を受信し、各ピクセルグループ信号を合算し、第１信号を生成する。
ＡＤＣ５２０は、アナログ信号である第１信号又は第２信号をデジタル信号に変換し、第３信号を生成する。
読み取り回路５００は、第３信号を、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）として出力する。
デジタルビニング動作のために、ＡＤＣ５２０は、アナログ信号である複数のピクセルグループ信号を受信し、各ピクセルグループ信号をデジタル信号に変換し、複数の第４信号を生成する。
ＡＤＣ５２０は、アナログ信号である第１信号又は第２信号をデジタル信号に変換し、第３信号を生成する。
読み取り回路５００は、第３信号を、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）として出力する。
デジタルビニング動作のために、ＡＤＣ５２０は、アナログ信号である複数のピクセルグループ信号を受信し、各ピクセルグループ信号をデジタル信号に変換し、複数の第４信号を生成する。
【0052】
デジタルビニング回路５３０は、デジタル信号である複数の第４信号を受信し、複数の第４信号を合算し、第５信号を生成する。
一実施形態として、デジタルビニング回路５３０は、複数の第４信号の平均値を計算し、第６信号を生成する。
読み取り回路５００は、第５信号又は第６信号を、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）として出力する。
一実施形態として、デジタルビニング回路５３０は、複数の第４信号の平均値を計算し、第６信号を生成する。
読み取り回路５００は、第５信号又は第６信号を、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）として出力する。
【0053】
図１３は、本発明の実施形態による深度センサの動作を説明するためのフローチャートである。
図１及び図１３を共に参照すると、ピクセル信号（ＳＩＧ＿ＰＸ）を出力する（ステップＳ１１０）。
一実施形態として、深度ピクセルＰＸから、複数のピクセル信号を出力する。
一実施形態として、例えば、深度ピクセルグループＧＰＸ（図７）から、複数のピクセルグループ信号を出力する。
図１及び図１３を共に参照すると、ピクセル信号（ＳＩＧ＿ＰＸ）を出力する（ステップＳ１１０）。
一実施形態として、深度ピクセルＰＸから、複数のピクセル信号を出力する。
一実施形態として、例えば、深度ピクセルグループＧＰＸ（図７）から、複数のピクセルグループ信号を出力する。
【0054】
ピクセル信号（ＳＩＧ＿ＰＸ）を基に、外光強度を測定する（ステップＳ１２０）。
一実施形態として、複数のピクセル信号を平均することにより、外光強度を計算する。
一実施形態として、複数のピクセルグループ信号を平均することにより、外光強度を計算する。
外光強度を基に、外光パラメータ値ＰＡＲを計算する（ステップＳ１３０）。
一実施形態として、外光強度、及び物体１に照射された入射信号ＴＸの強度を基に、外光パラメータ値ＰＡＲを計算する。
例えば、入射信号ＴＸの強度と、外光強度との比率を基に、外光パラメータ値ＰＡＲを計算する。
外光パラメータ値ＰＡＲは、外光強度と反比例する。
外光パラメータ値ＰＡＲにより、ビニングモードを設定する（ステップＳ１４０）。
一実施形態として、外光パラメータ値ＰＡＲを介し、深度センサ１００の動作環境が決定され、該動作環境により、深度センサ１００のビニングモードが設定される。
一実施形態として、複数のピクセル信号を平均することにより、外光強度を計算する。
一実施形態として、複数のピクセルグループ信号を平均することにより、外光強度を計算する。
外光強度を基に、外光パラメータ値ＰＡＲを計算する（ステップＳ１３０）。
一実施形態として、外光強度、及び物体１に照射された入射信号ＴＸの強度を基に、外光パラメータ値ＰＡＲを計算する。
例えば、入射信号ＴＸの強度と、外光強度との比率を基に、外光パラメータ値ＰＡＲを計算する。
外光パラメータ値ＰＡＲは、外光強度と反比例する。
外光パラメータ値ＰＡＲにより、ビニングモードを設定する（ステップＳ１４０）。
一実施形態として、外光パラメータ値ＰＡＲを介し、深度センサ１００の動作環境が決定され、該動作環境により、深度センサ１００のビニングモードが設定される。
【0055】
その後、設定したビニングモードにより、複数の深度ピクセルを含む深度ピクセルグループからピクセルグループ信号が出力され、該ピクセルグループ信号を処理し、デジタルピクセル信号が生成される。
一例として、アナログビニングモードに設定された場合、第１ピクセルグループ信号及び第２ピクセルグループ信号を合算し、合算された信号が、デジタルピクセル信号に変換される。
一例として、デジタルビニングモードに設定された場合、第１ピクセルグループ信号及び第２ピクセルグループ信号を、それぞれデジタル信号に変換し、各デジタル信号を合算し、デジタルピクセル信号が生成される。
一例として、アナログビニングモードに設定された場合、第１ピクセルグループ信号及び第２ピクセルグループ信号を合算し、合算された信号が、デジタルピクセル信号に変換される。
一例として、デジタルビニングモードに設定された場合、第１ピクセルグループ信号及び第２ピクセルグループ信号を、それぞれデジタル信号に変換し、各デジタル信号を合算し、デジタルピクセル信号が生成される。
【0056】
図１４は、本発明の実施形態による深度センサのビニングモード設定方法を説明するためのフローチャートである。
図１及び図１４を共に参照すると、外光パラメータ値ＰＡＲが、事前に設定された閾値を超えるか否かということを判断する（ステップＳ２１０）。
外光パラメータ値ＰＡＲが閾値を超える（又は、それ以上である）場合、深度センサ１００は、アナログビニングモードに設定される（ステップＳ２２０）。
外光パラメータ値ＰＡＲが閾値以下（又は、未満である）である場合、深度センサ１００は、デジタルビニングモードに設定される（ステップＳ２３０）。
なお、深度センサ１００のビニングモード変更のために、複数の閾値が利用され得る。
それについては、図１５を介して説明する。
図１及び図１４を共に参照すると、外光パラメータ値ＰＡＲが、事前に設定された閾値を超えるか否かということを判断する（ステップＳ２１０）。
外光パラメータ値ＰＡＲが閾値を超える（又は、それ以上である）場合、深度センサ１００は、アナログビニングモードに設定される（ステップＳ２２０）。
外光パラメータ値ＰＡＲが閾値以下（又は、未満である）である場合、深度センサ１００は、デジタルビニングモードに設定される（ステップＳ２３０）。
なお、深度センサ１００のビニングモード変更のために、複数の閾値が利用され得る。
それについては、図１５を介して説明する。
【0057】
図１５は、本発明の実施形態による深度センサのビニングモード設定方法を説明するためのグラフである。
図１及び図１５を共に参照すると、深度センサ１００のビニングモードを変更するために、第１閾値ＴＨ１、及び第１閾値ＴＨ１より小さい第２閾値ＴＨ２が利用される。
図１及び図１５を共に参照すると、深度センサ１００のビニングモードを変更するために、第１閾値ＴＨ１、及び第１閾値ＴＨ１より小さい第２閾値ＴＨ２が利用される。
【0058】
外光パラメータ値ＰＡＲが第１閾値ＴＨ１を超える場合について説明する。
外光パラメータは、外光強度と反比例するが、外光パラメータが大きいということは、外光強度が弱いということを意味する。
従って、深度センサ１００の動作環境は、室内と決定される。
従って、深度センサ１００は、アナログビニングを行うことにより、ノイズを低減させる。
すなわち、例えば、読み取り回路１２３のＡＤＣ５２０（図１２）で生じうる量子化ノイズ（ｑｕａｎｔｉｚａｔｉｏｎ ｎｏｉｓｅ）を低減させる。
外光パラメータは、外光強度と反比例するが、外光パラメータが大きいということは、外光強度が弱いということを意味する。
従って、深度センサ１００の動作環境は、室内と決定される。
従って、深度センサ１００は、アナログビニングを行うことにより、ノイズを低減させる。
すなわち、例えば、読み取り回路１２３のＡＤＣ５２０（図１２）で生じうる量子化ノイズ（ｑｕａｎｔｉｚａｔｉｏｎ ｎｏｉｓｅ）を低減させる。
【0059】
外光パラメータ値ＰＡＲが第２閾値ＴＨ２以下である場合について説明する。
外光パラメータは、外光強度と反比例するが、外光パラメータが小さいということは、外光強度が強いということを意味する。
従って、深度センサ１００の動作環境は、室外と決定される。
従って、深度センサ１００は、デジタルビニングを行うことにより、ノイズを低減させる。
すなわち、深度ピクセルＰＸのフローティングディフュージョンノードの受光面積（ｆｕｌｌ ｗｅｌｌ ｃａｐａｃｉｔｙ：ＦＷＣ）を確保し、深度ピクセルＰＸの飽和を防止する。
外光パラメータは、外光強度と反比例するが、外光パラメータが小さいということは、外光強度が強いということを意味する。
従って、深度センサ１００の動作環境は、室外と決定される。
従って、深度センサ１００は、デジタルビニングを行うことにより、ノイズを低減させる。
すなわち、深度ピクセルＰＸのフローティングディフュージョンノードの受光面積（ｆｕｌｌ ｗｅｌｌ ｃａｐａｃｉｔｙ：ＦＷＣ）を確保し、深度ピクセルＰＸの飽和を防止する。
【0060】
外光パラメータ値ＰＡＲが第２閾値ＴＨ２を超え、第１閾値ＴＨ１以下である場合について説明する。
その場合、外光パラメータ値ＰＡＲが増大する傾向であるか、あるいは低減する傾向であるかということにより、基準になる閾値が異なりうる。
例えば、第１時点ｔ１から第２時点ｔ２までの間、外光パラメータ値ＰＡＲが低減する傾向である場合、第２閾値ＴＨ２（又は、第１閾値ＴＨ１）が基準値になる。
従って、第２時点ｔ２において、深度センサ１００のビニングモードは、アナログビニングモードからデジタルビニングモードに変更される。
その場合、外光パラメータ値ＰＡＲが増大する傾向であるか、あるいは低減する傾向であるかということにより、基準になる閾値が異なりうる。
例えば、第１時点ｔ１から第２時点ｔ２までの間、外光パラメータ値ＰＡＲが低減する傾向である場合、第２閾値ＴＨ２（又は、第１閾値ＴＨ１）が基準値になる。
従って、第２時点ｔ２において、深度センサ１００のビニングモードは、アナログビニングモードからデジタルビニングモードに変更される。
【0061】
例えば、第３時点ｔ３から第４時点ｔ４までの間、第５時点ｔ５から第６時点ｔ６までの間、外光パラメータ値ＰＡＲが増加する傾向である場合、第１閾値ＴＨ１（又は、第２閾値ＴＨ２）が基準値になる。
従って、第３時点ｔ３から第４時点ｔ４までの間において、深度センサ１００のビニングモードは、デジタルビニングモードに維持される。
それにより、第４時点ｔ４から第５時点ｔ５までの間においても、深度センサ１００のビニングモードは変更されない。
第５時点ｔ５から第６時点ｔ６までの間において、第１閾値ＴＨ１が基準値である、第６時点ｔ６において、深度センサ１００のビニングモードは、デジタルビニングモードからアナログビニングモードに変更される。
なお、閾値の個数、又はビニングモードが変わる基準点になる閾値は、それらに制限されるものではない。
従って、第３時点ｔ３から第４時点ｔ４までの間において、深度センサ１００のビニングモードは、デジタルビニングモードに維持される。
それにより、第４時点ｔ４から第５時点ｔ５までの間においても、深度センサ１００のビニングモードは変更されない。
第５時点ｔ５から第６時点ｔ６までの間において、第１閾値ＴＨ１が基準値である、第６時点ｔ６において、深度センサ１００のビニングモードは、デジタルビニングモードからアナログビニングモードに変更される。
なお、閾値の個数、又はビニングモードが変わる基準点になる閾値は、それらに制限されるものではない。
【0062】
本発明の実施形態によれば、深度センサ１００は、２個の閾値（ＴＨ１、ＴＨ２）を使用することにより、ビニングモードが敏感に変更されることを防止することができる。
すなわち、外光パラメータ値ＰＡＲが瞬間的に頻繁に変化する場合にも、ビニングモード変更動作を安定して実行することができる。
すなわち、外光パラメータ値ＰＡＲが瞬間的に頻繁に変化する場合にも、ビニングモード変更動作を安定して実行することができる。
【0063】
図１６は、本発明の実施形態によるイメージ処理装置の概略構成を示すブロック図である。
イメージ処理装置１０ａは、図１のイメージ処理装置１０と類似しているので、重複説明は省略する。
図１６を参照すると、イメージ信号プロセッサ（ＩＳＰ）２００ａは、深度センサ１００ａのビニングモードを決定する一連の動作を実行する。
イメージ処理装置１０ａは、図１のイメージ処理装置１０と類似しているので、重複説明は省略する。
図１６を参照すると、イメージ信号プロセッサ（ＩＳＰ）２００ａは、深度センサ１００ａのビニングモードを決定する一連の動作を実行する。
【0064】
一実施形態として、イメージ信号プロセッサ（ＩＳＰ）２００ａは、物体１との距離を測定する深度センサ１００ａから、物体１によって反射された反射信号ＲＸについて生成されたピクセル信号（ＳＩＧ＿ＰＸ）を受信する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、ピクセル信号（ＳＩＧ＿ＰＸ）を基に、外光強度を計算する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、外光強度に基づき、深度センサ１００ａのアナログビニング動作を実行するか、デジタルビニング動作を実行するかどうかを決定する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、ピクセル信号（ＳＩＧ＿ＰＸ）を基に、外光強度を計算する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、外光強度に基づき、深度センサ１００ａのアナログビニング動作を実行するか、デジタルビニング動作を実行するかどうかを決定する。
【0065】
具体的には、イメージ信号プロセッサ（ＩＳＰ）２００ａは、外光強度に基づき、深度センサ１００ａの動作環境が、室内であるか、あるいは室外であるかということを決定する。
深度センサ１００ａの動作環境が室内と決定された場合、アナログビニング動作の実行を決定し、室外と決定された場合、デジタルビニング動作の実行を決定する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、パラメータ計算回路２１０及びビニングモード決定回路２２０を含む。
深度センサ１００ａの動作環境が室内と決定された場合、アナログビニング動作の実行を決定し、室外と決定された場合、デジタルビニング動作の実行を決定する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、パラメータ計算回路２１０及びビニングモード決定回路２２０を含む。
【0066】
パラメータ計算回路２１０は、図８のパラメータ計算回路３１０と類似しており、深度センサ１００ａからピクセル信号（ＳＩＧ＿ＰＸ）を受信し、ピクセル信号（ＳＩＧ＿ＰＸ）に基づき、外光パラメータ値ＰＡＲを計算する。
ビニングモード決定回路２２０は、図８のビニングモード決定回路３２０と類似しており、外光パラメータ値ＰＡＲ、及び事前に設定された閾値を基準に、深度センサ１００ａのビニングモードを決定するためのビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を生成し、深度センサ１００ａの読み取り回路１２３ａに提供する。
読み取り回路１２３ａは、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）に基づき、ビニング動作を実行することにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を受信し、深度データを生成する。
ビニングモード決定回路２２０は、図８のビニングモード決定回路３２０と類似しており、外光パラメータ値ＰＡＲ、及び事前に設定された閾値を基準に、深度センサ１００ａのビニングモードを決定するためのビニングモード制御信号（ＢＭ＿ＣＴＲＬ）を生成し、深度センサ１００ａの読み取り回路１２３ａに提供する。
読み取り回路１２３ａは、ビニングモード制御信号（ＢＭ＿ＣＴＲＬ）に基づき、ビニング動作を実行することにより、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を生成する。
イメージ信号プロセッサ（ＩＳＰ）２００ａは、デジタルピクセル信号（ＤＳＩＧ＿ＰＸ）を受信し、深度データを生成する。
【0067】
図１７は、本発明の実施形態による深度センサを含む電子機器の概略構成を示すブロック図である。
図１７を参照すると、電子機器１０００は、深度センサ１１００、イメージセンサ１２００、メインプロセッサ１３００、ワーキングメモリ１４００、ストレージ１５００、ディスプレイ装置１６００、ユーザインターフェース１７００、及び通信部１８００を含む。
図１７を参照すると、電子機器１０００は、深度センサ１１００、イメージセンサ１２００、メインプロセッサ１３００、ワーキングメモリ１４００、ストレージ１５００、ディスプレイ装置１６００、ユーザインターフェース１７００、及び通信部１８００を含む。
【0068】
深度センサ１１００は、図１～図１６を参照して説明した深度センサ（１００、１００ａ）に対応する。
例えば、深度センサ１１００は、電子機器１０００の外部の物体との距離を測定するために、反射信号を受信することにより、ピクセル信号を生成する。
深度センサ１１００は、ピクセル信号を基に、外光強度を計算し、外光パラメータ値を計算する。
深度センサ１１００は、外光パラメータ値により、ビニングモードを、アナログビニングモード又はデジタルビニングモードに決定する。
深度センサ１１００は、設定されたビニングモードにより、デジタルピクセル信号を生成し、メインプロセッサ１３００に提供する。
例えば、深度センサ１１００は、電子機器１０００の外部の物体との距離を測定するために、反射信号を受信することにより、ピクセル信号を生成する。
深度センサ１１００は、ピクセル信号を基に、外光強度を計算し、外光パラメータ値を計算する。
深度センサ１１００は、外光パラメータ値により、ビニングモードを、アナログビニングモード又はデジタルビニングモードに決定する。
深度センサ１１００は、設定されたビニングモードにより、デジタルピクセル信号を生成し、メインプロセッサ１３００に提供する。
【0069】
メインプロセッサ１３００は、デジタルピクセル信号を基に、深度データを生成する。
イメージセンサ１２００は、受信した光信号を基に、イメージデータ、例えば、原始イメージデータを生成し、該イメージデータをメインプロセッサ１３００に提供する。
メインプロセッサ１３００は、電子機器１０００の全般的な動作を制御し、深度センサ１１００から受信するイベントデータ、すなわち、イベント信号を処理し、物体の動きを検出する。
また、イメージセンサ１２００からイメージフレームを受信し、既設定の情報を基に、イメージ処理を行う。
イメージセンサ１２００は、受信した光信号を基に、イメージデータ、例えば、原始イメージデータを生成し、該イメージデータをメインプロセッサ１３００に提供する。
メインプロセッサ１３００は、電子機器１０００の全般的な動作を制御し、深度センサ１１００から受信するイベントデータ、すなわち、イベント信号を処理し、物体の動きを検出する。
また、イメージセンサ１２００からイメージフレームを受信し、既設定の情報を基に、イメージ処理を行う。
【0070】
ワーキングメモリ１４００は、電子機器１０００の動作に利用されるデータを保存する。
例えば、ワーキングメモリ１４００は、メインプロセッサ１３００によって処理されたパケット又はフレームを一時的に保存する。
例えば、ワーキングメモリ１４００は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような揮発性メモリ、及び／又はＰＲＡＭ（ｐｈａｓｅ ｃｈａｎｇｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲｅＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＦＲＡＭ（登録商標）（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような不揮発性メモリを含み得る。
ストレージ１５００は、メインプロセッサ１３００、又は他の構成から保存が要請されたデータを保存する。
ストレージ１５００は、フラッシュメモリ、ＰＲＡＭ、ＭＲＡＭ、ＲｅＲＡＭ、ＦＲＡＭ（登録商標）のような不揮発性メモリを含み得る。
例えば、ワーキングメモリ１４００は、メインプロセッサ１３００によって処理されたパケット又はフレームを一時的に保存する。
例えば、ワーキングメモリ１４００は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような揮発性メモリ、及び／又はＰＲＡＭ（ｐｈａｓｅ ｃｈａｎｇｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＭＲＡＭ（ｍａｇｎｅｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲｅＲＡＭ（ｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＦＲＡＭ（登録商標）（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような不揮発性メモリを含み得る。
ストレージ１５００は、メインプロセッサ１３００、又は他の構成から保存が要請されたデータを保存する。
ストレージ１５００は、フラッシュメモリ、ＰＲＡＭ、ＭＲＡＭ、ＲｅＲＡＭ、ＦＲＡＭ（登録商標）のような不揮発性メモリを含み得る。
【0071】
ディスプレイ装置１６００は、ディスプレイパネル、ディスプレイ駆動回路、及びＤＳＩ（ｄｉｓｐｌａｙ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ）を含む。
例えば、ディスプレイパネルは、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）装置、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）表示装置、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）表示装置、ＡＭＯＬＥＤ（ａｃｔｉｖｅ ｍａｔｒｉｘ ＯＬＥＤ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）表示装置のような多様な装置によって具現され得る。
ディスプレイ駆動回路は、ディスプレイパネルを駆動するのに必要なタイミングコントローラ、ソースドライバなどを含む。
メインプロセッサ１３００に内蔵されたＤＳＩホストは、ＤＳＩを介し、ディスプレイパネルとシリアル通信を行う。
ユーザインターフェース１７００は、キーボード、マウス、キーパッド、ボタン、タッチパネル、タッチスクリーン、タッチパッド、タッチボール、ジャイロスコープセンサ、振動センサ、加速センサのような入力インターフェースの内の少なくとも一つを含み得る。
例えば、ディスプレイパネルは、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）装置、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）表示装置、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）表示装置、ＡＭＯＬＥＤ（ａｃｔｉｖｅ ｍａｔｒｉｘ ＯＬＥＤ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）表示装置のような多様な装置によって具現され得る。
ディスプレイ駆動回路は、ディスプレイパネルを駆動するのに必要なタイミングコントローラ、ソースドライバなどを含む。
メインプロセッサ１３００に内蔵されたＤＳＩホストは、ＤＳＩを介し、ディスプレイパネルとシリアル通信を行う。
ユーザインターフェース１７００は、キーボード、マウス、キーパッド、ボタン、タッチパネル、タッチスクリーン、タッチパッド、タッチボール、ジャイロスコープセンサ、振動センサ、加速センサのような入力インターフェースの内の少なくとも一つを含み得る。
【0072】
通信部１８００は、アンテナ１８３０を介し、外部装置／システムと信号を交換する。
通信部１８００の送受信機１８１０及びモデム（ｍｏｄｕｌａｔｏｒ／ｄｅｍｏｄｕｌａｔｏｒ）１８２０は、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＷＩＭＡＸ（ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ）、ＧＳＭ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のような無線通信規約により、外部装置／システムと交換される信号を処理する。
通信部１８００の送受信機１８１０及びモデム（ｍｏｄｕｌａｔｏｒ／ｄｅｍｏｄｕｌａｔｏｒ）１８２０は、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、ＷＩＭＡＸ（ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ）、ＧＳＭ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のような無線通信規約により、外部装置／システムと交換される信号を処理する。
【0073】
電子機器１０００の構成要素、例えば、深度センサ１１００、イメージセンサ１２００、メインプロセッサ１３００、ワーキングメモリ１４００、ストレージ１５００、ディスプレイ装置１６００、ユーザインターフェース１７００、及び通信部１８００は、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）、ＳＣＳＩ（ｓｍａｌｌ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ ｉｎｔｅｒｆａｃｅ）、ＭＩＰＩ（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）、Ｉ２Ｃ（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＣＩｅ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）、Ｍ－ＰＣＩｅ（ｍｏｂｉｌｅ ＰＣＩｅ）、ＡＴＡ（ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ）、ＰＡＴＡ（ｐａｒａｌｌｅｌ ＡＴＡ）、ＳＡＴＡ（ｓｅｒｉａｌ ＡＴＡ）、ＳＡＳ（ｓｅｒｉａｌ ａｔｔａｃｈｅｄ ＳＣＳＩ）、ＩＤＥ（ｉｎｔｅｇｒａｔｅｄ ｄｒｉｖｅ ｅｌｅｃｔｒｏｎｉｃｓ）、ＥＩＤＥ（ｅｎｈａｎｃｅｄ ＩＤＥ）、ＮＶＭｅ（ｎｏｎｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ）、ＵＦＳ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ）のような多様なインターフェース規約の内の１以上に基づき、データを交換する。
【0074】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0075】
１ 物体
１０、１０ａ イメージ処理装置
１００、１００ａ、１１００ 深度センサ
１１０ 送信機
１１１ 駆動回路
１１２ 光源
１１３ 光学系
１２０ 受信機
１２１、３００ コントローラ
１２２ ピクセルアレイ
１２３、１２３ａ、４００、５００ 読み取り回路
２００、２００ａ イメージ信号プロセッサ（ＩＳＰ）
２１０、３１０ パラメータ計算回路
２２０、３２０ ビニングモード決定回路
５１０ アナログビニング回路
５２０ ＡＤＣ
５３０ デジタルビニング回路
１０００ 電子機器
１２００ イメージセンサ
１３００ メインプロセッサ
１４００ ワーキングメモリ
１５００ ストレージ
１６００ ディスプレイ装置
１７００ ユーザインターフェース
１８００ 通信部
１８１０ 送受信機
１８２０ モデム
１８３０ アンテナ
１０、１０ａ イメージ処理装置
１００、１００ａ、１１００ 深度センサ
１１０ 送信機
１１１ 駆動回路
１１２ 光源
１１３ 光学系
１２０ 受信機
１２１、３００ コントローラ
１２２ ピクセルアレイ
１２３、１２３ａ、４００、５００ 読み取り回路
２００、２００ａ イメージ信号プロセッサ（ＩＳＰ）
２１０、３１０ パラメータ計算回路
２２０、３２０ ビニングモード決定回路
５１０ アナログビニング回路
５２０ ＡＤＣ
５３０ デジタルビニング回路
１０００ 電子機器
１２００ イメージセンサ
１３００ メインプロセッサ
１４００ ワーキングメモリ
１５００ ストレージ
１６００ ディスプレイ装置
１７００ ユーザインターフェース
１８００ 通信部
１８１０ 送受信機
１８２０ モデム
１８３０ アンテナ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】