(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-22
(45)【発行日】2024-05-30
(54)【発明の名称】距離測定のためのイメージセンサ
(51)【国際特許分類】
H04N 25/76 20230101AFI20240523BHJP
H04N 25/779 20230101ALI20240523BHJP
G01S 17/89 20200101ALI20240523BHJP
【FI】
H04N25/76
H04N25/779
G01S17/89
(21)【出願番号】P 2020019531
(22)【出願日】2020-02-07
【審査請求日】2022-12-13
(31)【優先権主張番号】10-2019-0016358
(32)【優先日】2019-02-12
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】金 大允
(72)【発明者】
【氏名】▲ぺ▼ 明漢
(72)【発明者】
【氏名】吉 ▲みん▼▲そん▼
(72)【発明者】
【氏名】金 黎明
(72)【発明者】
【氏名】柳 賢錫
【審査官】三沢 岳志
(56)【参考文献】
【文献】国際公開第2015/119243(WO,A1)
【文献】米国特許出願公開第2013/0201167(US,A1)
【文献】特開2013-195306(JP,A)
【文献】国際公開第2018/101187(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/76
H04N 25/779
G01S 17/89
(57)【特許請求の範囲】
【請求項1】
フォトゲート信号に応答し、光信号に対応するピクセル信号をそれぞれ出力する複数のピクセルと、
前記フォトゲート信号を生成し、前記複数のピクセルそれぞれに提供するフォトゲート信号生成器と、を含み、
前記フォトゲート信号生成器は、
基準クロック信号からそれぞれ一定時間だけ遅延された遅延クロック信号を出力する第1遅延回路と、
前記基準クロック信号からそれぞれ一定時間だけ遅延された遅延クロック信号を出力する第2遅延回路と、を含み、
前記複数のピクセル
それぞれが、前記第1遅延回路から出力された遅延クロック信号、及び前記第2遅延回路から出力された遅延クロック信号のうち
、前記フォトゲート信号生成器によって選択された遅延クロック信号を前記フォトゲート信号とし
て受信することを特徴とするイメージセンサ。
【請求項2】
前記第1遅延回路は、前記基準クロック信号を受信し、前記第2遅延回路は、前記第1遅延回路から出力された遅延クロック信号を受信することを特徴とする請求項1に記載のイメージセンサ。
【請求項3】
前記第1遅延回路及び前記第2遅延回路それぞれは、直列に連結される複数のバッファを含むことを特徴とする請求項1に記載のイメージセンサ。
【請求項4】
前記第1遅延回路及び前記第2遅延回路それぞれは、遅延ロックループ(DLL)を含むことを特徴とする請求項1に記載のイメージセンサ。
【請求項5】
前記複数のピクセルは、複数のカラム、及び複数のロウに配置され、
前記複数のピクセルのうち同一カラムに配置されるピクセルは、同一フォトゲート信号を受信することを特徴とする請求項1に記載のイメージセンサ。
【請求項6】
前記複数のピクセルのうち第1カラムに配置されるピクセルは、前記第1遅延回路から出力される遅延クロック信号を、前記フォトゲート信号として受信し、
前記複数のピクセルのうち第2カラムに配置される
ピクセルは、前記第2遅延回路から出力される遅延クロック信号を、前記フォトゲート信号として受信することを特徴とする請求項5に記載のイメージセンサ。
【請求項7】
前記第1カラム及び前記第2カラムは、互いに隣接するように配置されることを特徴とする請求項6に記載のイメージセンサ。
【請求項8】
前記複数のピクセルは、
第1フレームにおいては、前記第1遅延回路から出力された遅延クロック信号を、前記フォトゲート信号として受信し、
前記第1フレームに続く第2フレームにおいては、前記第2遅延回路から出力された遅延クロック信号を、前記フォトゲート信号として受信することを特徴とする請求項1に記載のイメージセンサ。
【請求項9】
前記複数のピクセルがピクセル信号をそれぞれ出力する各フレームは、前記複数のピクセルが前記フォトゲート信号に応答し、前記光信号に対応する光電荷を蓄積する第1積分区間及び第2積分区間を含み、
前記複数のピクセルは、
前記第1積分区間において、前記第1遅延回路から出力された遅延クロック信号を、前記フォトゲート信号として受信し、
前記第2積分区間において、前記第2遅延回路から出力された遅延クロック信号を、前記フォトゲート信号として受信することを特徴とする請求項1に記載のイメージセンサ。
【請求項10】
前記第1積分区間の長さ、及び前記第2積分区間の長さは、互いに同一であることを特徴とする請求項9に記載のイメージセンサ。
【請求項11】
前記複数のピクセルは、第1グループ及び第2グループを含み、
前記第1グループのピクセルは、前記第1遅延回路から出力された遅延クロック信号を、前記フォトゲート信号として受信し、
前記第2グループのピクセルは、前記第2遅延回路から出力された遅延クロック信号
を、前記フォトゲート信号として受信することを特徴とする請求項1に記載のイメージセンサ。
【請求項12】
前記複数のピクセルのうち1つのカラムに含まれるピクセルのうち一部は、前記第1グループを構成し、他の一部は、前記第2グループを構成することを特徴とする請求項11に記載のイメージセンサ。
【請求項13】
フレーム内で、フォトゲート信号に応答し、光信号に対応するピクセル信号をそれぞれ出力する複数のピクセルと、
前記フォトゲート信号を生成し、前記複数のピクセルそれぞれに提供するフォトゲート信号生成器と、を含み、
前記フォトゲート信号生成器は、
基準クロック信号からそれぞれ一定時間だけ遅延された第1遅延クロック信号及び第2遅延クロック信号を出力する第1遅延回路と、
前記基準クロック信号からそれぞれ一定時間だけ遅延された第1遅延クロック信号及び第2遅延クロック信号を出力する第2遅延回路と、
前記第1遅延回路から出力された第1遅延クロック信号、及び前記第2遅延回路から出力された第1遅延クロック信号のうちから選択された第1選択クロック信号を、前記フォトゲート信号として出力する第1選択器と、
前記第1遅延回路から出力された第2遅延クロック信号、及び前記第2遅延回路から出力された第2遅延クロック信号のうちから選択された第2選択クロック信号を、前記フォトゲート信号として出力する第2選択器と、を含み、
前記第1遅延回路から出力された第2遅延クロック信号は、前記第1遅延回路から出力された第1遅延クロック信号より遅延された時間が長く、
前記第2遅延回路から出力された第2遅延クロック信号は、前記第2遅延回路から出力された第1遅延クロック信号より遅延された時間が短いことを特徴とするイメージセンサ。
【請求項14】
前記第1遅延回路及び前記第2遅延回路それぞれは、直列に連結される複数のバッファを含むことを特徴とする請求項13に記載のイメージセンサ。
【請求項15】
第1フレームにおいて、前記第1選択器及び前記第2選択器は、前記第1遅延回路からそれぞれ出力された第1遅延クロック信号及び第2遅延クロック信号を選択し、
前記第1フレームに続く第2フレームにおいて、前記第1選択器及び前記第2選択器は、前記第2遅延回路からそれぞれ出力された第1遅延クロック信号及び第2遅延クロック信号を選択することを特徴とする請求項13に記載のイメージセンサ。
【請求項16】
前記フレームは、前記複数のピクセルが前記フォトゲート信号に応答し、前記光信号に対応する光電荷を蓄積する第1積分区間及び第2積分区間を含み、
前記第1積分区間において、前記第1選択器及び前記第2選択器は、前記第1遅延回路からそれぞれ出力された第1遅延クロック信号及び第2遅延クロック信号を選択し、
前記第2積分区間において、前記第1選択器及び前記第2選択器は、前記第2遅延回路からそれぞれ出力された第1遅延クロック信号及び第2遅延クロック信号を選択することを特徴とする請求項13に記載のイメージセンサ。
【請求項17】
前記フォトゲート信号生成器は、前記基準クロック信号を一定遅延時間だけ遅延させるバッファツリーをさらに含み、
前記バッファツリーは、遅延された基準クロック信号を、前記第1遅延回路及び前記第2遅延回路に提供することを特徴とする請求項13に記載のイメージセンサ。
【請求項18】
前記フォトゲート信号生成器は、前記第1選択クロック信号を受信し、一定遅延時間だけ遅延させる第1バッファツリー、及び前記第2選択クロック信号を受信し、一定遅延時間だけ遅延させる第2バッファツリーをさらに含むことを特徴とする請求項13に記載のイメージセンサ。
【請求項19】
前記複数のピクセルは、複数のカラム、及び複数のロウに配置され、
前記複数のカラムのうち少なくとも一部のカラムに配置されるピクセルは、前記第1バッファツリーを介し、前記第1選択クロック信号から同一遅延時間だけ遅延された信号を、前記フォトゲート信号として受信することを特徴とする請求項18に記載のイメージセンサ。
【請求項20】
前記複数のピクセルのうち同一カラムに配置されるピクセルは、同一フォトゲート信号を受信することを特徴とする請求項13に記載のイメージセンサ。
【請求項21】
フォトゲート信号に応答し、光信号に対応するピクセル信号をそれぞれ出力する複数のピクセルと、
前記フォトゲート信号を生成し、前記複数のピクセルそれぞれに提供するフォトゲート信号生成器と、
前記複数のピクセルそれぞれから出力される前記ピクセル信号に基づいて、物体の深さ情報を獲得するリードアウト回路と、を含み、
前記フォトゲート信号生成器は、基準クロック信号から一定時間だけ遅延された第1遅延クロック信号を、前記フォトゲート信号として出力する第1遅延回路、及び前記基準クロック信号から一定時間だけ遅延された第2遅延クロック信号を、前記フォトゲート信号として出力する第2遅延回路を含み、
前記リードアウト回路は、前記第1遅延クロック信号に応答して出力された第1ピクセル信号及び前記第2遅延クロック信号に応答して出力された第2ピクセル信号を補間し、前記深さ情報を獲得することを特徴とするイメージセンサ。
【請求項22】
前記複数のピクセルそれぞれは、
第1フレームにおいて、前記第1遅延クロック信号を、前記フォトゲート信号として受信し、前記第1ピクセル信号を出力し、
前記第1フレームに続く第2フレームにおいて、前記第2遅延クロック信号を、前記フォトゲート信号として受信し、前記第2ピクセル信号を出力することを特徴とする請求項21に記載のイメージセンサ。
【請求項23】
前記複数のピクセルは、第1グループ及び第2グループを含み、
前記第1グループのピクセルそれぞれは、前記第1遅延クロック信号を受信し、前記第1ピクセル信号を出力し、前記第2グループのピクセルそれぞれは、前記第2遅延クロック信号を受信し、前記第2ピクセル信号を出力することを特徴とする請求項21に記載のイメージセンサ。
【請求項24】
前記複数のピクセルのうち同一カラムに含まれるピクセルは、前記第1グループ及び前記第2グループのうち同一グループを構成することを特徴とする請求項23に記載のイメージセンサ。
【請求項25】
前記フォトゲート信号生成器は、前記基準クロック信号を一定遅延時間だけ遅延させるバッファツリーをさらに含み、
前記バッファツリーは、遅延された基準クロック信号を、前記第1遅延回路及び前記第2遅延回路に提供することを特徴とする請求項21に記載のイメージセンサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンサに係り、さらに詳細には、距離測定のためのイメージセンサに関する。
【背景技術】
【0002】
光飛行時間法(ToF:time-of-flight)基盤のイメージセンサは、物体までの距離に係わる情報を測定することにより、物体に係わる三次元映像を生成することができる。ToF基盤のイメージセンサは、光を物体に照射した後、物体から反射される光が受光されるまでの光飛行時間を測定し、物体までの距離に係わる情報を得ることができる。距離に係わる情報は、多様な要因によってノイズを含むので、正確な情報獲得のために、ノイズを最小化させるための努力が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の技術的課題は、読み出しノイズを低減させることができる距離測定のためのイメージセンサを提供することである。
【課題を解決するための手段】
【0004】
前記技術的課題を達成するための本発明の技術的思想によるイメージセンサは、フレーム内で、フォトゲート信号に応答し、光信号に対応するピクセル信号をそれぞれ出力する複数のピクセル、及びフォトゲート信号を生成し、複数のピクセルそれぞれに提供するフォトゲート信号生成器を含み、該フォトゲート信号生成器は、基準クロック信号からそれぞれ一定時間だけ遅延された遅延クロック信号を出力する第1遅延回路、及び基準クロック信号からそれぞれ一定時間だけ遅延された遅延クロック信号を出力する第2遅延回路を含み、複数のピクセルは、第1遅延回路から出力された遅延クロック信号、及び第2遅延回路から出力された遅延クロック信号のうち一つを、フォトゲート信号として選択的に受信することができる。
【0005】
前記技術的課題を達成するための本発明の技術的思想によるイメージセンサは、フレーム内で、フォトゲート信号に応答し、光信号に対応するピクセル信号をそれぞれ出力する複数のピクセル、及びフォトゲート信号を生成し、複数のピクセルそれぞれに提供するフォトゲート信号生成器を含み、該フォトゲート信号生成器は、基準クロック信号からそれぞれ一定時間だけ遅延された第1遅延クロック信号及び第2遅延クロック信号を出力する第1遅延回路;基準クロック信号からそれぞれ一定時間だけ遅延された第1遅延クロック信号及び第2遅延クロック信号を出力する第2遅延回路;第1遅延回路から出力された第1遅延クロック信号、及び前記第2遅延回路から出力された第1遅延クロック信号のうちから選択された第1選択クロック信号を、前記フォトゲート信号として出力する第1選択器;並びに第1遅延回路から出力された第2遅延クロック信号、及び第2遅延回路から出力された第2遅延クロック信号のうちから選択された第2選択クロック信号をフォトゲート信号として出力する第2選択器を含み、第1遅延回路から出力された第2遅延クロック信号は、第1遅延回路から出力された第1遅延クロック信号より遅延された時間が長く、第2遅延回路から出力された第2遅延クロック信号は、第2遅延回路から出力された第1遅延クロック信号より遅延された時間が短い。
【0006】
前記技術的課題を達成するための本発明の技術的思想によるイメージセンサは、フォトゲート信号に応答し、光信号に対応するピクセル信号をそれぞれ出力する複数のピクセル、フォトゲート信号を生成し、複数のピクセルそれぞれに提供するフォトゲート信号生成器、及び複数のピクセルそれぞれから出力される前記ピクセル信号に基づいて、物体の深さ情報を獲得するリードアウト回路を含み、該フォトゲート信号生成器は、基準クロック信号から一定時間だけ遅延された第1遅延クロック信号をフォトゲート信号として出力する第1遅延回路、及び基準クロック信号から一定時間だけ遅延された第2遅延クロック信号をフォトゲート信号として出力する第2遅延回路を含み、リードアウト回路は、第1遅延クロック信号に応答して出力された第1ピクセル信号、及び第2遅延クロック信号に応答して出力された第2ピクセル信号を補間し、前記深さ情報を獲得することができる。
【発明の効果】
【0007】
本発明によれば、読み出しノイズを低減させることができる距離測定のためのイメージセンサが提供される
【図面の簡単な説明】
【0008】
【
図1】本開示の例示的な実施形態によるシステムに係わる概略的な構成図である。
【
図2】本開示の例示的な実施形態によるシステムの例示的な動作について説明するための構成図である。
【
図3】
図2に図示されたピクセルの構造の例示的実施形態について説明するための図面である。
【
図4A】
図2に図示されたフォトゲートコントローラの構造の例示的実施形態について説明するための図面である。
【
図4B】
図2に図示されたフォトゲートコントローラの構造の例示的実施形態について説明するための図面である。
【
図5】
図4Aに図示された第1遅延回路及び第2遅延回路の例示的実施形態について説明するための回路図である。
【
図6A】
図5の第1遅延回路及び第2遅延回路から出力される遅延クロック信号の位相差について説明するためのタイミング図である。
【
図6B】
図5の第1遅延回路及び第2遅延回路から出力される遅延クロック信号の位相差について説明するためのタイミング図である。
【
図7】本開示の例示的実施形態によるイメージセンサのピクセルアレイに提供される第1フォトゲート信号について説明するための図面である。
【
図8】ピクセルアレイに提供されるフォトゲート信号によって獲得される深さ情報を示すグラフである。
【
図9】
図7の複数のピクセルに提供される第1フォトゲート信号について説明するためのタイミング図である。
【
図10】
図7の複数のピクセルに提供される第1フォトゲート信号について説明するためのタイミング図である。
【
図11A】本開示の例示的実施形態によるイメージセンサのピクセルアレイに提供される第1フォトゲート信号について説明するための図面である。
【
図11B】本開示の例示的実施形態によるイメージセンサのピクセルアレイに提供される第1フォトゲート信号について説明するための図面である。
【
図12A】
図4Aに図示された第1遅延回路及び第2遅延回路の一実施形態について説明するための回路図である。
【
図12B】
図12Aに図示された第1遅延回路及び第2遅延回路からピクセルアレイに提供されるフォトゲート信号によって獲得される深さ情報を示すグラフである。
【
図13A】
図4Bに図示された第1遅延回路及び第2遅延回路の一実施形態について説明するための回路図である。
【
図13B】
図13Aに図示された第1遅延回路及び第2遅延回路からピクセルアレイに提供されるフォトゲート信号によって獲得される深さ情報を示すグラフである。
【
図14】本開示の例示的実施形態によるフォトゲートコントローラの構造について説明するための図面である。
【
図15】本開示の例示的実施形態によるフォトゲートコントローラの構造について説明するための図面である。
【発明を実施するための形態】
【0009】
図1は、本開示の例示的な実施形態によるシステムに係わる概略的な構成図である。
図1を参照すれば、システム15は、プロセッサ19またはホストと通信して結合されるイメージングモジュール17を含んでもよい。システム15は、プロセッサ19に連結され、イメージングモジュール17から受信されるイメージデータのような情報を保存するメモリモジュール20をさらに含んでもよい。一実施形態において、システム15は、1つの半導体チップに集積され得る。一実施形態において、イメージングモジュール17、プロセッサ19及びメモリモジュール20それぞれは、分離された別個の半導体チップによって具現されてもよい。一実施形態において、メモリモジュール20は、1またはそれよりも多くのメモリチップを含んでもよい。一実施形態において、プロセッサ19は、多重プロセッシングチップを含んでもよい。
【0010】
システム15は、本開示の実施形態による距離測定のためのイメージセンサ応用のための低電力電子装置とし得る。システム15は、ポータブルまたは固定式とし得る。システム15のポータブル形態の例は、モバイル装置、携帯電話、スマートフォン、ユーザ装置(UE)、タブレット、デジタルカメラ、ラップトップコンピュータまたはデスクトップコンピュータ、電子スマート時計、M2M(machine-to-machine)通信装置、仮想現実(VR:virtual reality)装置またはモジュール、ロボットなどを含んでもよい。システム15の固定式形態の例は、ビデオインターネットカフェのゲームコンソール、相互的ビデオターミナル、自動車、機械視野システム、産業用ロボット、仮想現実(VR)装置、自動車の運転手側実装カメラなどを含んでもよい。
【0011】
一実施形態において、イメージングモジュール17は、光源22及びイメージセンサ24を含んでもよい。光源22は、例えば、赤外線または可視光を発光するレーザダイオード(LD:laser diode)や発光ダイオード(LED:light emitting diode)、近赤外線レーザ(NIR)、ポイント光源、白色ランプ及びモノクロメータ(monochromator)が組み合わされた単色(monochromatic)照明源、または他のレーザ光源の組み合わせとし得る。一実施形態において、光源22は、800nmないし1,000nmの波長を有する赤外線を発光することができる。イメージセンサ24は、ピクセルアレイ及び補助処理回路を含んでもよい。
【0012】
一実施形態において、プロセッサ19は、汎用プロセッサである中央処理装置(CPU)とし得る。一実施形態において、プロセッサ19は、中央処理装置に加え、マイクロコントローラ、デジタル信号プロセッサ(DSP:digital signal processor)、グラフィックプロセッシングユニット(GPU:graphic processing unit)、専用の注文型半導体(ASIC:特定用途向け集積回路)プロセッサなどをさらに含んでもよい。また、プロセッサ19は、分散処理環境で動作する1より多くの中央処理装置を含んでもよい。一実施形態において、プロセッサ19は、中央処理装置の機能にさらなる機能を有するシステム・オン・チップ(SoC:system on chip)であってもよい。
【0013】
メモリモジュール20は、例えば、SDRAM(synchronous dynamic random access memory)のようなDRAM(dynamic random access memory)、HBM(high bandwidth memory)モジュール、またはHMC(hybrid memory cube)メモリモジュールのようなDRAM基盤3DS(3-dimensional stack)メモリモジュールとし得る。メモリモジュール20は、例えば、SSD(solid state drive)、DRAMモジュール、またはSRAM(static random access memory)、PRAM(phase-change random access memory)、RRAM(登録商標(resistive random access memory))、CBRAM(conductive-bridging RAM)、MRAM(magnetic RAM)、STT-MRAM(spin-transfer torque MRAM)のような半導体基盤のストレージであってもよい。
【0014】
図2は、本開示の例示的な実施形態によるシステムの例示的な動作について説明するための構成図である。
図2を参照すれば、システム15は、個別物体、またはシーン内の物体とし得る三次元物体26に関するZ軸における距離情報である物体の深さ情報を獲得するのに使用される。一実施形態において、該深さ情報は、イメージセンサ24から受信されるスキャンデータに基づいて、プロセッサ19によって計算されてもよいし、あるいはイメージセンサ24で自立的に計算されてもよい。一実施形態において、該深さ情報は、プロセッサ19により、三次元ユーザインターフェースの一部として使用され、システム15のユーザが、ゲーム、またはシステム15で実行される他のアプリケーションの一部として、三次元物体26の三次元イメージとインタラクトするか、あるいは三次元物体26の三次元イメージを使用することを可能にする。
【0015】
X軸は、システム15の前面に沿った水平方向であり、Y軸は、ページを外れる垂直方向であり、Z軸は、システム15から撮像対象の物体26の方向に延ばされ得る。光源22及びイメージセンサ24の光軸は、深さ測定のために、Z軸に平行である。
【0016】
光源22は、矢印で図示されているように、三次元物体26に送信光28,29を照射することができる。送信光28,29は、光放射の経路30,31に沿って放射され得る。
【0017】
投射レンズ35は、発光素子33からの送信光28,29を、物体26の表面上の一点に集める円柱光学素子とし得る。例えば、投射レンズ35は、凸状構造を有する集光レンズとし得るが、それに限定されるものではなく、投射レンズ35のために、他形態の適切なレンズデザインが選択されてもよい。
【0018】
一実施形態において、発光素子33は、赤外線または可視光を発光するレーザダイオード若しくは発光ダイオード、近赤外線レーザ、ポイント光源、白色ランプ及びモノクロメータが組み合わされた単色照明源、または他のレーザ光源の組み合わせとし得る。発光素子33は、システム15のハウジング内の一つの位置に固定され、XY方向に回転することができる。発光素子33は、光制御器34により、XY方向に制御可能であり、三次元物体26のポイントスキャンを行うことができる。
【0019】
三次元物体26で反射された反射光36,37は、収集経路38,39に沿って進行することができる。光収集経路を介して、反射光36,37を受信することにより、三次元物体26の表面によって散乱されたり、表面から反射されたりする光子が移動することができる。
図2において、矢印及び点線によって表示された多様な経路は、例示的なものである。図示された経路は、実際の光信号が進む具体的な経路を示すものであると限定されるものではない。
【0020】
照射された三次元物体26から受信される反射光36,37は、イメージセンサ24の収集レンズ44を介して、ピクセルアレイ42に集光される。投射レンズ35と類似して、収集レンズ44は、三次元物体26から受信される反射光36,37をピクセルアレイ42に集光させるガラス表面またはプラスチック表面の集光レンズ、または他の円柱光学素子とし得る。一実施形態において、収集レンズ44は、凸状構造を有する集光レンズとし得るが、それに限定されるものではない。
【0021】
イメージセンサ24は、光飛行時間(TOF)を利用して、三次元物体26に係わる距離情報である深さ情報を獲得することができる。送信光28,29に対する反射光36,37の位相差は、光の飛行時間に相応する。イメージセンサ24は、前記位相差を計算することにより、三次元物体26に係わる深さ情報を獲得することができる。
【0022】
ピクセルアレイ42は、複数のピクセル200を含み得る。複数のピクセル200それぞれの構造は、
図3を参照して詳細に説明する。一実施形態において、複数のピクセル200それぞれが、TOF方式で動作する深さセンサピクセル(depth sensor pixel)であってもよい。説明の便宜のために、3x3ピクセルアレイ42が
図2に図示されているが、ピクセルアレイ42に含まれた複数のピクセル200の数は、多様に構成され得る。
【0023】
ピクセルアレイ42は、異なるピクセルが異なる色の光を収集するRGBピクセルアレイであってもよい。ピクセルアレイ42は、例えば、赤外線(IR)遮断フィルタを有する二次元RGBセンサ、二次元赤外線(IR)センサ、二次元近赤外線(NIR)センサ、二次元RGBWセンサ、二次元RGB-IRセンサのような二次元センサとし得る。システム15は、同一ピクセルアレイ42を、三次元物体26の三次元イメージング(深さ測定を含む)のためだけではなく、物体26の二次元RGBカラー(または、物体を含むシーン)イメージングのためにも使用することができる。
【0024】
ピクセルアレイ42は、受信された反射光36,37を、対応する電気信号、すなわち、ピクセル信号に変換することができ、該ピクセル信号は、リードアウト回路46によって処理され、物体26の三次元深さイメージが決定される。リードアウト回路46は、ピクセルアレイ42から出力されたピクセル信号に基づいて、イメージデータを生成することができる。例えば、リードアウト回路46は、前記ピクセル信号に対して、アナログ・デジタル変換を行うアナログ・デジタル変換器を含んでもよく、前記ピクセル信号が変換されたデジタルピクセル信号を処理し、距離情報(深さ情報)を計算するイメージ信号プロセッサ(ISP:image signal processor)を含んでもよい。一実施形態において、イメージ信号プロセッサは、イメージセンサ24の外部に別個に構成されてもよい。
【0025】
タイミングコントローラ(T/C)50は、イメージセンサ24の構成要素(例えば、リードアウト回路46、フォトゲートコントローラ100及び/またはロウデコーダ48)を制御することができる。フォトゲートコントローラ100は、タイミングコントローラ50の制御により、制御信号を生成し、制御信号をピクセルアレイ42に伝送することができる。該制御信号は、ピクセル200それぞれに含まれたトランジスタそれぞれを制御するための信号とし得る。該制御信号は、
図3などを参照し、詳細に説明する。
【0026】
フォトゲートコントローラ100は、ピクセル200それぞれに含まれた転送トランジスタを制御するためのクロック信号を生成することができる。フォトゲートコントローラ100は、基準クロック信号を生成する基準クロック信号生成器、基準クロック信号を受信し、一定時間(遅延時間)だけ遅延された遅延クロック信号をそれぞれ出力する第1遅延回路及び第2遅延回路を含んでもよい。フォトゲートコントローラ100は、第1遅延回路から出力された遅延クロック信号、及び第2遅延回路から出力された遅延クロック信号のうち1つの遅延クロック信号を選択し、ピクセルアレイ42の転送トランジスタに伝送することができる。
【0027】
本開示によるイメージセンサ24は、第1遅延回路及び第2遅延回路を含むことにより、それぞれから出力される互いに異なる2個の遅延クロック信号のうち一つを選択的にピクセルアレイ42に提供することができる。それぞれのピクセル200の転送トランジスタに提供されるクロック信号の遅延時間が互いに異なることにより、発生する距離情報のノイズを低減させることができる。フォトゲートコントローラ100の構成については、
図4Aなどを参照し、詳細に説明する。
【0028】
ロウデコーダ48は、タイミングコントローラ50から出力された複数のロウ制御信号をデコーディング(decoding)し、該デコーディング結果により、センサピクセルアレイ42に含まれた複数のピクセル200を、ロウ単位で駆動することができる。ロウデコーダ48は、ロウドライバ(row driver)を含む概念でもある。
【0029】
プロセッサ19は、光源22及びイメージセンサ24の動作を制御することができる。例えば、システム15は、ユーザによって制御され、二次元イメージングモード及び三次元イメージングモードを切り換えるモードスイッチを具備することができる。ユーザがモードスイッチを利用し、二次元イメージングモードを選択するとき、プロセッサ19は、イメージセンサ24を活性化させ、二次元イメージングモードは、周辺光を利用するので、光源22を活性化させない。
【0030】
ユーザがモードスイッチを利用し、三次元イメージングモードを選択するとき、プロセッサ19は、光源22及びイメージセンサ24をいずれも活性化させることができる。リードアウト回路46から受信される処理されたイメージデータは、プロセッサ19により、メモリモジュール20に保存され得る。プロセッサ19は、ユーザによって選択された二次元イメージまたは三次元イメージを、システム15の表示スクリーンに表示することができる。プロセッサ19は、説明される多様な処理作業を遂行するソフトウェアまたはファームウェアでプログラムされ得る。一実施形態において、プロセッサ19は、前述の機能の一部または全部を遂行するためのプログラム自在なハードウェア論理回路を含んでもよい。例えば、メモリモジュール20は、プログラムコード、ルックアップテーブルまたは中間演算結果を保存し、プロセッサ19をして当該機能を遂行させる。
【0031】
図3は、
図2に図示されたピクセルの構造の例示的実施形態について説明するための図面である。
図3を参照すれば、複数のピクセル200それぞれは、フォトダイオードPD、転送トランジスタTX1,TX2、リセットトランジスタRX1,RX2、ドライブトランジスタDX1,DX2及び選択トランジスタSX1,SX2を含んでもよい。一実施形態により、リセットトランジスタRX1,RX2、ドライブトランジスタDX1,DX2及び選択トランジスタSX1,SX2のうち少なくとも一つが省略されてもよい。
【0032】
フォトダイオードPDは、例えば、反射された反射光36,37(
図2)の強度によって可変される光電荷を生成することができる。すなわち、反射光36,37を電気信号に変換することができる。フォトダイオードPDは、光電変換素子の例として、フォトトランジスタ(photo transistor)、フォトゲート(photo gate)、ピンドフォトダイオード(PPD:pinned photo diode)、及びそれらの組み合わせのうち少なくとも一つとし得る。
【0033】
第1転送トランジスタTX1及び第2転送トランジスタTX2のそれぞれは、フォトゲートコントローラ100から出力される第1フォトゲート信号PGS1及び第2フォトゲート信号PGS2により、前記生成された光電荷を、第1フローティングディフュージョンノードFD1及び第2フローティングディフュージョンノードFD2にそれぞれ伝送することができる。第1フォトゲート信号PGS1及び第2フォトゲート信号PGS2は、同一周波数を有し、位相が異なるクロック信号とし得る。
【0034】
第1転送トランジスタTX1は、第1フォトゲート信号PGS1がハイレベルであるとき、フォトダイオードPDで生成された光電荷を、第1フローティングディフュージョンノードFD1に伝送することができる。一方、第1転送トランジスタTX1は、第1フォトゲート信号PGS1がローレベルであるとき、フォトダイオードPDで生成された光電荷を、第1フローティングディフュージョンノードFD1に伝送しない。また、第2転送トランジスタTX2は、第2フォトゲート信号PGS2がハイレベルであるとき、フォトダイオードPDで生成された光電荷を、第2フローティングディフュージョンノードFD2に伝送することができ、第2フォトゲート信号PGS2がローレベルであるとき、フォトダイオードPDで生成された光電荷を、第2フローティングディフュージョンノードFD2に伝送しない。
【0035】
複数のピクセル200は、2タップ(tap)ピクセル構造を有することができる。該2タップピクセル構造は、1つのピクセルが2個のタップを含む構造を意味し、ここで、タップは、外部光の照射により、ピクセル内で生成されて蓄積された光電荷を、位相別に区別して伝達することができる単位成分を示すことができる。該ピクセルは、2個のタップを利用し、0゜と180゜の位相について、そして90゜と270゜の位相について伝送する方式を具現することができる。例えば、1つのピクセルは、第1転送トランジスタTX1、第1リセットトランジスタRX1、第1ドライブトランジスタDX1及び第1選択トランジスタSX1を含む第1タップ部、並びに第2転送トランジスタTX2、第2リセットトランジスタRX2、第2ドライブトランジスタDX2及び第2選択トランジスタSX2を含む第2タップ部を含んでもよい。第1タップ部は、0°位相について伝送するように構成される部分であり、第2タップ部は、180°位相について伝送するように構成される部分であるとすることができ、あるいは第1タップ部は、90°位相について伝送するように構成される部分であり、第2タップ部は、270°位相について伝送するように構成される部分であるとすることができる。
【0036】
例えば、送信光28,29(
図2)に対する反射光36,37の位相差を計算するために、第1転送トランジスタTX1及び第2転送トランジスタTX2には、一定周波数を有し、互いに90°の位相差を有するクロック信号が提供される。
【0037】
一実施形態において、第1区間においては、第1フォトゲート信号PGS1は、0°の位相を有するクロック信号であり、第2フォトゲート信号PGS2は、第1フォトゲート信号PGS1と180°の位相を有するクロック信号であるとし得る。また、第1区間に続く第2区間においては、第1フォトゲート信号PGS1は、90°の位相を有するクロック信号であり、第2フォトゲート信号PGS2は、第1フォトゲート信号PGS1と270°の位相を有するクロック信号であるとし得る。
【0038】
一実施形態において、複数のピクセル200のうち一部に提供される第1フォトゲート信号PGS1は、0°の位相を有するクロック信号であり、第2フォトゲート信号PGS2は、第1フォトゲート信号PGS1と180°の位相を有するクロック信号であるとし得る。一方、複数のピクセル200のうち他の一部に提供される第1フォトゲート信号PGS1は、90°の位相を有するクロック信号であり、第2フォトゲート信号PGS2は、第1フォトゲート信号PGS1と270°の位相を有するクロック信号であるとし得る。
【0039】
図3においては、2タップ構造のピクセルを図示した。本開示は、それに限定されるものではなく、
図3の2タップ構造のピクセルは、説明の便宜のために図示したものである。本開示によるイメージセンサは、1タップ構造のピクセル、2タップ構造のピクセル、3タップ構造のピクセル、及び4タップ構造のピクセルのうち少なくとも一つを含んでもよい。例えば、4タップ構造のピクセルの場合には、4個の転送トランジスタを含んでもよく、90°の位相差がある4個のフォトゲート信号(例えば、0°、90°、180°、270°)それぞれが、4個の転送トランジスタのうち対応する転送トランジスタに提供され得る。
【0040】
それぞれのフローティングディフュージョンノードFD1,FD2に蓄積された光電荷による電荷により、第1ドライブトランジスタDX1及び第2ドライブトランジスタDX2は、それぞれ第1選択トランジスタSX1及び第2選択トランジスタSX2に、前記光電荷を増幅して伝送することができる。
【0041】
選択トランジスタSX1,SX2は、ドレイン端子が、ドライブトランジスタDX1,DX2のソース端子に連結され、フォトゲートコントローラ100から出力されるそれぞれの選択制御信号SEL1,SEL2に応答し、カラムラインを介して、例えば、リードアウト回路46(
図2)に、それぞれのピクセル信号PIXEL1,PIXEL2を出力することができる。複数のピクセル200それぞれは、一定時間、例えば、積分時間(integration time)の間、光電荷を蓄積し、該蓄積結果によって生成されたピクセル信号を出力することができる。
【0042】
リセットトランジスタRX1,RX2は、フォトゲートコントローラ100から出力されるそれぞれのリセット制御信号RS1,RS2により、それぞれのフローティングディフュージョンノードFD1,FD2を電源電圧VDDにリセットすることができる。一実施形態において、例えば、ロウドライバ48(
図2)が、タイミングコントローラ50の制御により、複数のピクセル200に供給される制御信号RS1,RS2,SEL1及びSEL2を生成することができる。
【0043】
図4A及び
図4Bは、
図2に図示されたフォトゲートコントローラの構造の例示的実施形態について説明するための図面である。
【0044】
図4Aを参照すれば、フォトゲートコントローラ100は、基準クロック信号生成器110、第1遅延回路120_1、第2遅延回路120_2及び選択器130_1~130_4を含んでもよい。一実施形態において、第1遅延回路120_1及び第2遅延回路120_2それぞれは、複数のバッファを含むバッファチェーンを含んでもよい。一実施形態において、第1遅延回路120_1及び第2遅延回路120_2それぞれは、例えば、タイミングコントローラ50(
図2)によって制御される遅延ロックループ(delay-locked loop;DLL)によって具現され得る。
【0045】
基準クロック信号生成器110は、基準クロック信号CLK_Rを生成することができる。基準クロック信号CLK_Rは、例えば、送信光28,29(
図2)と同一周波数を有することができる。基準クロック信号CLK_Rは、それぞれ0°、90°、180°、270°の位相を有する4個のクロック信号を含んでもよい。以下の図面に係わる説明においては、0°の位相を有するクロック信号に基づいて説明するが、以下の説明は、90°、180°、270°の位相を有するクロック信号にも等しく適用されることができる。
【0046】
第1遅延回路120_1は、基準クロック信号生成器110から基準クロック信号CLK_Rを受信し、一定遅延時間だけそれぞれ遅延された遅延クロック信号CLKa_1~CLKa_4を出力することができる。例えば、第1遅延クロック信号CLKa_1は、基準クロック信号CLK_Rから第1遅延時間DTa_1だけ遅延され、第2遅延クロック信号CLKa_2は、基準クロック信号CLK_Rから第2遅延時間DTa_2だけ遅延され、第3遅延クロック信号CLKa_3は、基準クロック信号CLK_Rから第3遅延時間DTa_3だけ遅延され、第4遅延クロック信号CLKa_4は、基準クロック信号CLK_Rから第4遅延時間DTa_4だけ遅延される。
【0047】
第2遅延回路120_2は、基準クロック信号生成器110から基準クロック信号CLK_Rを受信し、一定遅延時間だけそれぞれ遅延された遅延クロック信号CLKb_1~CLKb_4を出力することができる。例えば、第1遅延クロック信号CLKb_1は、基準クロック信号CLK_Rから第1遅延時間DTb_1だけ遅延され、第2遅延クロック信号CLKb_2は、基準クロック信号CLK_Rから第2遅延時間DTb_2だけ遅延され、第3遅延クロック信号CLKb_3は、基準クロック信号CLK_Rから第3遅延時間DTb_3だけ遅延され、第4遅延クロック信号CLKb_4は、基準クロック信号CLK_Rから第4遅延時間DTb_4だけ遅延される。
【0048】
一実施形態において、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1と、第2遅延回路120_2から出力された第1遅延クロック信号CLKb_1は、互いに異なる位相だけ遅延される。
【0049】
選択器130_1~130_4は、第1遅延回路120_1及び第2遅延回路120_2それぞれから遅延クロック信号を受信し、一つを選択することができる。一実施形態において、第1選択器130_1は、第1遅延回路120_1から第1遅延クロック信号CLKa_1を受信し、第2遅延回路120_2から第1遅延クロック信号CLKb_1を受信することができる。第1選択器130_1は、例えば、タイミングコントローラ50(
図2)から受信される第1選択信号S1に応答し、第1遅延回路120_1から受信された第1遅延クロック信号CLKa_1、及び第2遅延回路120_2から受信された第1遅延クロック信号CLKb_1のうち1つの遅延クロック信号を選択することができ、第1選択クロック信号CLKs_1を出力することができる。
【0050】
第2選択器130_2ないし第4選択器130_4の動作は、第1選択器130_1に係わる前述の説明が適用される。従って、第2選択器130_2は、タイミングコントローラ50から受信される第2選択信号S2に応答し、第1遅延回路120_1から受信された第2遅延クロック信号CLKa_2、及び第2遅延回路120_2から受信された第2遅延クロック信号CLKb_2のうち1つの遅延クロック信号を、第2選択クロック信号CLKs_2として出力することができる。第3選択器130_3は、タイミングコントローラ50から受信される第3選択信号S3に応答し、第1遅延回路120_1から受信された第3遅延クロック信号CLKa_3、及び第2遅延回路120_2から受信された第3遅延クロック信号CLKb_3のうち1つの遅延クロック信号を、第3選択クロック信号CLKs_3として出力することができる。第4選択器130_4は、タイミングコントローラ50から受信される第4選択信号S4に応答し、第1遅延回路120_1から受信された第4遅延クロック信号CLKa_4、及び第2遅延回路120_2から受信された第4遅延クロック信号CLKb_4のうち1つの遅延クロック信号を、第4選択クロック信号CLKs_4として出力することができる。
【0051】
基準クロック信号CLK_Rが0°の位相を有するクロック信号であるとき、第1選択クロック信号CLKs_1ないし第4選択クロック信号CLKs_4それぞれは、例えば、互いに異なるピクセルの第1転送トランジスタTX1(
図3)に提供される、例えば、第1フォトゲート信号PGS1(
図3)とし得る。基準クロック信号CLK_Rが180°の位相を有するクロック信号であるとき、第1選択クロック信号CLKs_1ないし第4選択クロック信号CLKs_4それぞれは、例えば、互いに異なるピクセルの第2転送トランジスタTX2(
図3)に提供される、例えば、第2フォトゲート信号PGS2(
図3)とし得る。
【0052】
一実施形態において、第1選択クロック信号CLKs_1ないし第4選択クロック信号CLKs_4それぞれは、互いに異なるカラムに配置されたピクセルに提供され得る。第1選択クロック信号CLKs_1ないし第4選択クロック信号CLKs_4それぞれが提供されるピクセルに係わる説明は、
図7などで後述する。
【0053】
図4Bを参照すれば、フォトゲートコントローラ100aは、基準クロック信号生成器110、第1遅延回路120_1’、第2遅延回路120_2’及び選択器130_1~130_4を含んでもよい。第1遅延回路120_1’は、基準クロック信号CLK_Rを受信し、特定遅延時間(例えば、第5遅延時間)だけ遅延された第5遅延クロック信号CLKa_5を出力することができる。
【0054】
第2遅延回路120_2’は、第1遅延回路120_1’から第5遅延クロック信号CLKa_5を受信し、一定遅延時間だけそれぞれ遅延された遅延クロック信号CLKb_1’~CLKb_4’を出力することができる。例えば、第1遅延クロック信号CLKb_1’は、第5遅延クロック信号CLKa_5から第1遅延時間DTb_1だけ遅延され、第2遅延クロック信号CLKb_2’は、第5遅延クロック信号CLKa_5から第2遅延時間DTb_2だけ遅延され、第3遅延クロック信号CLKb_3’は、第5遅延クロック信号CLKa_5から第3遅延時間DTb_3だけ遅延され、第4遅延クロック信号CLKb_4’は、第5遅延クロック信号CLKa_5から第4遅延時間DTb_4だけ遅延される。
【0055】
図5は、
図4Aに図示された第1遅延回路及び第2遅延回路の例示的実施形態について説明するための回路図である。
図6A及び
図6Bは、
図5の第1遅延回路及び第2遅延回路から出力される遅延クロック信号の位相差について説明するためのタイミング図である。
【0056】
図5を参照すれば、第1遅延回路120_1及び第2遅延回路120_2それぞれは、直列に連結される複数のバッファで構成されたバッファチェーンを含んでもよい。第1遅延回路120_1及び第2遅延回路120_2に含まれたバッファとバッファとの間の互いに異なるノードから、第1遅延クロック信号CLKa_1,CLKb_1ないし第4遅延クロック信号CLKa_4,CLKb_4がそれぞれ出力される。第1遅延クロック信号CLKa_1,CLKb_1ないし第4遅延クロック信号CLKa_4,CLKb_4それぞれは、多数のバッファを介して伝達されるほど位相遅延時間が長くなる。一実施形態において、第1遅延回路120_1から出力される第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4の位相差は、360°を超えない。また、一実施形態において、第2遅延回路120_2から出力される第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4の位相差は、360°を超えない。
【0057】
図5及び
図6Aを参照すれば、第1遅延回路120_1から出力される第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4は、第1遅延クロック信号CLKa_1から第4遅延クロック信号CLKa_4に行くほどだんだん遅延時間が長くなり、基準クロック信号CLK_Rとの位相差がだんだん大きくなる。例えば、第1遅延時間DTa_1がDT値を有する場合、第2遅延時間DTa_2は、2DT値、第3遅延時間DTa_3は、3DT値、第4遅延時間DTa_4は、4DT値を有することができる。ただし、それは、説明の便宜のための例示であり、第2遅延時間DTa_2ないし第4遅延時間DTa_4が第1遅延時間DTa_1の倍数になるところに、本開示が限定されるものではない。第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4それぞれが出力されるノード、及び第1遅延回路120_1の回路構成により、第1遅延時間DTa_1ないし第4遅延時間DTa_4の長さは様々となり得る。
【0058】
図5及び
図6Bを参照すれば、第1遅延回路120_1と比較し、第2遅延回路120_2から出力される第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4は、第1遅延クロック信号CLKb_1から第4遅延クロック信号CLKb_4に行くほど、だんだん遅延時間が短くなり、基準クロック信号CLK_Rとの位相差がだんだん小さくなる。例えば、第4遅延時間DTb_4がDT値を有する場合、第3遅延時間DTb_3は、2DT値、第2遅延時間DTb_2は、3DT値、第1遅延時間DTb_1は、4DT値を有することができる。ただし、それは説明の便宜のための例示であり、第1遅延時間DTb_1ないし第3遅延時間DTb_3が第4遅延時間DTb_4の倍数になるところに、本開示が限定されるものではない。第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4それぞれが出力されるノード、及び第2遅延回路120_2の回路構成により、第1遅延時間DTb_1ないし第4遅延時間DTb_4の長さは様々となり得る。
【0059】
図7は、本開示の例示的実施形態によるイメージセンサのピクセルアレイに提供される第1フォトゲート信号PGS1について説明するための図面である。
図8は、ピクセルアレイに提供されるフォトゲート信号によって獲得される深さ情報を示すグラフである。
図7のフォトゲート信号は、
図3の第1フォトゲート信号PGS1であるとし得るが、第2フォトゲート信号PGS2にも、同一説明が適用される。
図7では、
図4Aなどでの符号と重複する説明について、説明を省略する。
【0060】
図7を参照すれば、ピクセルアレイ42の一部は、4個のロウと4個のカラムとのマトリックス(matrix)形態に配列された16個のピクセル200を含んでもよい。本明細書においては、説明の便宜のために、4個のロウと4個のカラムとを含むピクセルアレイ42の一部についてのみ説明するが、ピクセルアレイ42に含まれた全てのロウ及びカラムは、同一方式で動作することができ、当該のロウ及びカラムそれぞれの個数は、多様に構成され得る。
【0061】
一実施形態において、ピクセルアレイ42には、カラム単位で、同一クロック信号が第1フォトゲート信号PGS1として提供され得る。例えば、第1カラムには、第1選択クロック信号CLKs_1が提供され、第2カラムには、第2選択クロック信号CLKs_2が提供され、第3カラムには、第3選択クロック信号CLKs_3が提供され、第4カラムには、第4選択クロック信号CLKs_4が提供される。
【0062】
第1カラムと連結される第1カラムラインを介して、第1ピクセル信号COL_1が出力され、第2カラムと連結される第2カラムラインを介して、第2ピクセル信号COL_2が出力され、第3カラムと連結される第3カラムラインを介して、第3ピクセル信号COL_3が出力され、第4カラムと連結される第4カラムラインを介して、第4ピクセル信号COL_4が出力される。複数のピクセル200が、2タップピクセル構造を有する場合には、第1ピクセル信号COL_1ないし第4ピクセル信号COL_4それぞれは、
図3のピクセル信号PIXEL1,PIXEL2を含み得る。ただし、本開示は、それに限定されるものではなく、複数のピクセル200が、4タップピクセル構造を有する場合には、第1ピクセル信号COL_1ないし第4ピクセル信号COL_4それぞれは、4個の互いに異なるピクセル信号を含み得る。
【0063】
図5、
図7及び
図8を参照すれば、ピクセル200それぞれは、第1フォトゲート信号PGS1を利用して、反射光によって生成された電気的信号をサンプリングするので、第1フォトゲート信号PGS1の位相が変わるにつれて、出力されるピクセル信号COL_1~COL_4の大きさが変化し得る。
【0064】
例えば、第1遅延回路120_1(
図4A)から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4が、それぞれ第1カラムないし第4カラムに、第1フォトゲート信号PGS1として提供される場合には、第1カラムから第4カラムに行くほど、提供される第1フォトゲート信号PGS1の位相遅延時間が長くなる。従って、深さが同一である平面を有する物体について、深さ情報を獲得しても、第1カラムから第4カラムに行くほど、深さが浅くなるように測定される結果が導き出される。すなわち、深さ測定に傾きが発生する。従って、発生した傾きを補正するためのキャリブレーション段階を、例えば、プロセッサ19(
図2)で別途に遂行しなければならない。
【0065】
一方、例えば、第2遅延回路120_2(
図4A)から出力された第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4が、それぞれ第1カラムないし第4カラムに、第1フォトゲート信号PGS1として提供される場合には、第1カラムから第4カラムに行くほど、提供される第1フォトゲート信号PGS1の位相遅延時間が短くなる。従って、深さが同一である平面を有する物体について、深さ情報を獲得しても、第1カラムから第4カラムに行くほど、深さが深くなるように測定される結果が導き出される。すなわち、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4を利用する場合と反対の測定傾きが発生する。従って、発生した傾きを補正するためのキャリブレーション段階をプロセッサ19で別途に遂行しなければならない。
【0066】
また、例えば、基準クロック信号生成器110(
図4A)から、複数のバッファで構成されたバッファツリーを介して、同一位相遅延時間を有する遅延クロック信号を、第1フォトゲート信号PGS1として、第1カラムないし第4カラムのそれぞれピクセルに提供する場合には、それぞれのピクセルに提供される第1フォトゲート信号PGS1が活性化される時点が一致することになる。従って、それぞれのピクセルに、第1フォトゲート信号PGS1を提供するために必要な電流の大きさが増大され、イメージセンサの負担が大きくなってしまう。また、電流の大きさが増大することにより、電圧降下の程度が大きくなることにより、イメージセンサ内部回路の誤動作を引き起こしてしまう。
【0067】
本開示によるイメージセンサは、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4、及び第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4のうちから選択的にピクセルアレイ42に提供し、それによるピクセル信号COL_1~COL_4を獲得することにより、それぞれのピクセル200に提供されるクロック信号の位相遅延時間が互いに異なることによって発生する深さ情報のノイズを低減させることができる。すなわち、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4を利用することによって発生する深さ傾きと、第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4を利用することによって発生する深さ傾きとを互いに相殺することができる。
【0068】
第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4、及び第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4のうちから選択的にピクセルアレイ42に提供する方法に係わる詳細な説明は、
図10及び
図11などで後述する。
【0069】
図9は、
図7の複数のピクセルに提供される第1フォトゲート信号について説明するためのタイミング図である。このとき、1つのフレームは、例えば、ピクセルアレイ42(
図7)について、光電荷蓄積、ピクセル信号の生成、及びリードアウトが1回完了するのに所要される時間に対応する。
図9においては、ピクセルそれぞれに含まれた1つのタップ(第1タップ)に係わる動作として説明するが、以下の説明は、ピクセルそれぞれに含まれた他のタップのいずれにも適用される。また、
図9においては、第1カラムに連結されたピクセルに提供される信号が図示されたが、第1カラム以外のカラム(例えば、第2カラムないし第4カラム)に連結されたピクセルに提供される信号にも適用される。
【0070】
図3及び
図9を参照すれば、物体と、複数のピクセル200との距離を測定することにおいて、積分(integration)区間の前に、リセット信号RS1が活性化され、複数のピクセル200は、第1フローティングディフュージョンノードFD1をリセットさせることができる。積分区間の間、物体に照射された送信光が物体によって反射され、例えば、反射光(RX)36,37(
図2)として、複数のピクセル200に逹する。このとき、該反射光(RX)を矩形波(square wave)として図示したが、それは、説明の便宜のためのものであり、反射光(RX)の波形は、多様に形成され得る。
【0071】
反射光(RX)に基づいて、光検出領域であるフォトダイオードPDにおいて、光電荷が発生する。積分区間の間、活性化区間(例えば、ハイレベル区間)、及び非活性化区間(例えば、ローレベル区間)を周期的に有する第1選択クロック信号CLKs_1が第1カラムに、第1フォトゲート信号PGS1として受信され得る。
【0072】
第1選択クロック信号CLKs_1の活性化区間により、第1フレームにおいては、第1光電荷Q1が、第1フローティングディフュージョンノードFD1に保存され、第2フレームにおいては、第1選択クロック信号CLKs_1の活性化区間により、第2光電荷Q2が、第1フローティングディフュージョンノードFD1に保存される。読み出し(read out)区間の前に、選択制御信号SEL1が活性化され、第1フレームにおいては、第1光電荷Q1に相応するピクセル信号COL_1~COL_4が生成され、第2フレームにおいては、第2光電荷Q2に相応するピクセル信号COL_1~COL_4が生成される。
【0073】
図7及び
図9を参照すれば、第1フレームにおいて、選択器130_1~130_4は、第1選択信号S1ないし第4選択信号S4に応答し、第1遅延回路120_1から出力された遅延クロック信号CLKa_1~CLKa_4を選択することができる。すなわち、複数のピクセル200には、フォトゲート信号として、第1遅延回路120_1から出力された遅延クロック信号CLKa_1~CLKa_4が提供される。
【0074】
例えば、第1カラムには、第1選択クロック信号CLKs_1として、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1が提供される。第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1の活性化区間に相応する第1光電荷Q1が、第1フローティングディフュージョン領域に蓄積され、第1光電荷Q1に相応する第1ピクセル信号COL_1が出力される。第2カラムないし第4カラムにも、第1カラムに係わる前述の説明が等しく適用される。
【0075】
一方、第2フレームにおいて、選択器130_1~130_4は、第1選択信号S1ないし第4選択信号S4に応答し、第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4を選択することができる。すなわち、複数のピクセル200には、フォトゲート信号として、第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4が提供される。
【0076】
例えば、第1カラムには、第1選択クロック信号CLKs_1として、第2遅延回路120_2から出力された第1遅延クロック信号CLKb_1が提供される。第2遅延回路120_2から出力された第1遅延クロック信号CLKb_1の活性化区間に相応する第2光電荷Q2が、第1フローティングディフュージョン領域に蓄積され、第2光電荷Q2に相応する第1ピクセル信号COL_1が出力される。第2カラムないし第4カラムにも、第1カラムに係わる前述の説明が等しく適用される。
【0077】
例えば、リードアウト回路46(
図2)は、第1フレームでのピクセル信号COL_1~COL_4、及び第2フレームでのピクセル信号COL_1~COL_4を互いに補間する段階を遂行することができる。例えば、リードアウト回路46は、第1フレームでのピクセル信号COL_1~COL_4、及び第2フレームでのピクセル信号COL_1~COL_4を平均し、光飛行時間(TOF)を求めることができ、物体と、複数のピクセル200との間の距離情報である物体の深さ情報を獲得することができる。
【0078】
本開示によるイメージセンサは、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4を、第1フレームで利用し、第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4を、第2フレームで利用することができる。すなわち、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4、及び第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4のうち、フレームによって選択的にピクセルアレイ42に提供することにより、それぞれのカラムに提供されるクロック信号の位相遅延時間が互いに異なることによって発生する距離情報のノイズを低減させることができる。
【0079】
図10は、
図7の複数のピクセルに提供される第1フォトゲート信号について説明するためのタイミング図である。
図10においては、
図9と重複する説明については、説明を省略する。
図10においては、第1カラムに連結されたピクセルに提供される信号が図示されたが、第1カラム以外のカラム(例えば、第2ないし第4カラム)に連結されたピクセルに提供される信号にも適用される。
【0080】
図7及び
図10を参照すれば、1つのフレームは、第1積分区間及び第2積分区間を含んでもよい。一実施形態において、第1積分区間の長さ、及び前記第2積分区間の長さは、互いに同一であるが、それに限定されるものではない。
【0081】
第1積分区間において、選択器130_1~130_4は、第1選択信号S1ないし第4選択信号S4に応答し、第1遅延回路120_1から出力された遅延クロック信号CLKa_1~CLKa_4を選択することができる。すなわち、第1積分区間において、複数のピクセル200には、フォトゲート信号として、第1遅延回路120_1から出力された遅延クロック信号CLKa_1~CLKa_4が提供される。第1遅延回路120_1から出力された遅延クロック信号CLKa_1~CLKa_4の活性化区間に相応する第1光電荷Q1’が、第1フローティングディフュージョン領域に蓄積される。
【0082】
一方、第2積分区間において、選択器130_1~130_4は、第1選択信号S1ないし第4選択信号S4に応答し、第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4を選択することができる。複数のピクセル200には、フォトゲート信号として、第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4が提供される。第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4の活性化区間に相応する第2光電荷Q2’が、第1フローティングディフュージョン領域に蓄積される。
【0083】
読み出し区間の前に選択制御信号SEL1が活性化され、第1光電荷Q1’及び第2光電荷Q2’が合算された電荷に相応するピクセル信号COL_1~COL_4が生成される。例えば、リードアウト回路46(
図2)は、第1光電荷Q1’及び第2光電荷Q2’がいずれも反映されたピクセル信号COL_1~COL_4を利用し、光飛行時間(TOF)を求めることができ、物体と、複数のピクセル200との間の距離情報を獲得することができる。
【0084】
本開示によるイメージセンサは、1つのフレームにおいて、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4、及び第2遅延回路120_2から出力された遅延クロック信号CLKb_1~CLKb_4をいずれも利用することができる。従って、それぞれのカラムに提供されるクロック信号の位相遅延時間が互いに異なることによって発生する距離情報のノイズを低減させることができる。
【0085】
図11A及び
図11Bは、本開示の例示的実施形態によるイメージセンサのピクセルアレイに提供される第1フォトゲート信号PGS1について説明するための図面である。
図11A及び
図11Bのフォトゲート信号は、
図3の第1フォトゲート信号PGS1であるとし得るが、第2フォトゲート信号PGS2にも同一説明が適用される。
図11A及び
図11Bにおいては、
図4A及び
図7での符号と重複する説明については、説明を省略する。
【0086】
図11Aを参照すれば、ピクセルアレイ42は、2個のグループに区分される。一実施形態において、同一カラムに含まれるピクセルは、同一グループを構成することができる。例えば、奇数番目カラムを構成するピクセルは、第1グループG1を構成することができ、偶数番目カラムを構成するピクセルは、第2グループG2を構成することができる。
【0087】
第1グループG1には、例えば、第1遅延回路120_1(
図4A)から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4のうち少なくとも一つが提供される。例えば、第1グループG1において、第1カラムを構成するピクセルには、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1が提供され、第1グループG1において、第3カラムを構成するピクセルには、第1遅延回路120_1から出力された第3遅延クロック信号CLKa_3が提供されることができる。
【0088】
第2グループG2には、例えば、第2遅延回路120_2(
図4A)から出力された第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4のうち少なくとも一つが提供される。例えば、第2グループG2において、第2カラムを構成するピクセルには、第2遅延回路120_2から出力された第2遅延クロック信号CLKb_2が提供され、第2グループG2において、第4カラムを構成するピクセルには、第2遅延回路120_2から出力された第4遅延クロック信号CLKb_4が提供される。
【0089】
例えば、リードアウト回路46(
図2)は、第1グループG1から出力されるピクセル信号、及び第2グループG2から出力されるピクセル信号を互いに補間し、物体と複数のピクセル200との間の距離情報を獲得することができる。例えば、リードアウト回路46は、互いに隣接したカラムから出力される第1ピクセル信号COL_1及び第2ピクセル信号COL_2を互いに補間し、第3ピクセル信号COL_3及び第4ピクセル信号COL_4を補間することができる。前記補間動作を介して、それぞれのカラムに提供されるクロック信号の位相遅延時間が互いに異なることによって発生する距離情報のノイズを低減させることができる。
【0090】
図11Bを参照すれば、ピクセルアレイ42は、2個のグループに区分され、このとき、同一カラムを構成するピクセルが同一グループを構成しない。例えば、奇数番目カラムを構成するピクセルのうち一部のピクセルと、偶数番目カラムを構成するピクセルのうち一部のピクセルとが1つのグループを構成することができる。
【0091】
第1グループG1には、第1遅延回路120_1から出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4のうち少なくとも一つが提供される。第2グループG2には、第2遅延回路120_2から出力された第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4のうち少なくとも一つが提供される。
【0092】
リードアウト回路46は、第1グループG1から出力されるピクセル信号、及び第2グループG2から出力されるピクセル信号を互いに補間し、物体と複数のピクセル200との間の距離情報を獲得することができる。例えば、リードアウト回路46は、第1ピクセル信号COL_1及び第2ピクセル信号COL_2を互いに補間し、第3ピクセル信号COL_3及び第4ピクセル信号COL_4を互いに補間することができる。前記補間動作を介して、それぞれのカラムに提供されるクロック信号の位相遅延時間が互いに異なることによって発生する距離情報のノイズを低減させることができる。
【0093】
図12A及び
図13Aそれぞれは、
図4A及び
図4Bに図示された第1遅延回路及び第2遅延回路の一実施形態について説明するための回路図である。
図12Bは、
図12Aに図示された第1遅延回路及び第2遅延回路からピクセルアレイに提供されるフォトゲート信号によって獲得される深さ情報を示すグラフである。
図13Bは、
図13Aに図示された第1遅延回路及び第2遅延回路からピクセルアレイに提供されるフォトゲート信号によって獲得される深さ情報を示すグラフである。
【0094】
図7、
図12A及び
図12Bを参照すれば、第1遅延回路120_1aは、直列に連結される複数のバッファによってそれぞれ構成された第1バッファチェーン120_1_1及び第2バッファチェーン120_1_2を含んでもよい。第1バッファチェーン120_1_1から、第1遅延クロック信号CLKa_1及び第2遅延クロック信号CLKa_2が出力され、第2バッファチェーン120_1_2から、第3遅延クロック信号CLKa_3及び第4遅延クロック信号CLKa_4が出力される。
【0095】
一実施形態において、第1遅延回路120_1aから出力される第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4のうち少なくとも2個は、互いに位相が同一であるとし得る。例えば、第1バッファチェーン120_1_1から出力される第1遅延クロック信号CLKa_1及び第2遅延クロック信号CLKa_2のうち少なくとも一つと、第2バッファチェーン120_1_2から出力される第3遅延クロック信号CLKa_3及び第4遅延クロック信号CLKa_4のうち少なくとも一つは、互いに位相が同一であるとし得る。
【0096】
第2遅延回路120_2aは、直列に連結される複数のバッファでそれぞれ構成された第1バッファチェーン120_2_1及び第2バッファチェーン120_2_2を含んでもよい。例えば、第1バッファチェーン120_2_1から、第1遅延クロック信号CLKb_1及び第2遅延クロック信号CLKb_2が出力され、第2バッファチェーン120_2_2から、第3遅延クロック信号CLKb_3及び第4遅延クロック信号CLKb_4が出力される。
【0097】
一実施形態において、第2遅延回路120_2aから出力される第1遅延クロック信号CLKb_1ないし第4遅延クロック信号CLKb_4のうち少なくとも2個は、互いに位相が同一であるとし得る。例えば、第1バッファチェーン120_2_1から出力される第1遅延クロック信号CLKb_1及び第2遅延クロック信号CLKb_2のうち少なくとも一つと、第2バッファチェーン120_2_2から出力される第3遅延クロック信号CLKb_3及び第4遅延クロック信号CLKb_4のうち少なくとも一つは、互いに位相が同一であるとし得る。
【0098】
ピクセル200それぞれは、第1フォトゲート信号として提供される第1選択クロック信号CLKs_1ないし第4選択クロック信号CLKs_4を利用して、反射光によって生成された電気信号をサンプリングするので、第1選択クロック信号CLKs_1ないし第4選択クロック信号CLKs_4の位相が変わるにつれて、出力されるピクセル信号COL_1~COL_4の大きさが変化し得る。例えば、基準クロック信号CLK_Rからの位相差が大きくなるほど、距離が近く測定される。
【0099】
本開示によるイメージセンサは、第1遅延回路120_1aから出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4、及び第2遅延回路120_2aから出力された遅延クロック信号CLKb_1~CLKb_4のうちから選択的にピクセルアレイ42に提供することができる。該イメージセンサは、第1遅延回路120_1aから出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4を提供して得たピクセル信号、及び第2遅延回路120_2aから出力された遅延クロック信号CLKb_1~CLKb_4を提供して得たピクセル信号を互いに補間し、物体までの距離を検出することができる。従って、それぞれのピクセルに提供されるフォトゲート信号の位相遅延時間が互いに異なることによって発生する深さ情報のノイズを低減させることができる。第1遅延回路120_1aから出力された第1遅延クロック信号CLKa_1ないし第4遅延クロック信号CLKa_4、及び第2遅延回路120_2aから出力された遅延クロック信号CLKb_1~CLKb_4のうちから選択し、ピクセルアレイ42に提供する方法は、
図9、
図10、
図11A及び
図11Bでの説明が適用される。
【0100】
図7、
図13A及び
図13Bを参照すれば、第1遅延回路120_1bは、少なくとも1つのバッファ120_1_3をさらに含んでもよい。第1遅延回路120_1bの第2バッファチェーン120_1_2は、少なくとも1つのバッファ120_1_3を介して、基準クロック信号CLK_Rを受信するので、第1バッファチェーン120_1_1に比べ、相対的に遅延された遅延クロック信号CLKa_3、CLKa_4を出力することができる。
【0101】
第2遅延回路120_2bは、少なくとも1つのバッファ120_2_3をさらに含んでもよい。第2遅延回路120_2bの第1バッファチェーン120_2_1は、少なくとも1つのバッファ120_2_3を介して、基準クロック信号CLK_Rを受信するので、第2バッファチェーン120_2_2に比べ、相対的に遅延された遅延クロック信号CLKb_1、CLKb_2を出力することができる。
図13Aにおいては、第1遅延回路120_1b及び第2遅延回路120_2bそれぞれが、1つのバッファ120_1_3,120_2_3を含むように図示されているが、本開示は、それに限定されるものではなく、第1遅延回路120_1b及び第2遅延回路120_2bそれぞれは、複数のバッファをさらに含んでもよく、例えば、バッファツリーを含んでもよい。
【0102】
図14及び
図15は、本開示の例示的実施形態によるフォトゲートコントローラの構造について説明するための図面である。
図14においては、
図5に係わる説明と重複する説明については、省略する。
図15においては、
図7に係わる説明と重複する説明については、省略する。
【0103】
図14を参照すれば、フォトゲートコントローラは、バッファツリー115をさらに含んでもよい。バッファツリー115は、例えば、基準クロック信号生成器110(
図4A)から基準クロック信号CLK_Rを受信し、一定時間だけ遅延された基準クロック信号CLK_R’を、第1遅延回路120_1c及び第2遅延回路120_2cに提供することができる。
【0104】
バッファツリー115は、複数のバッファを含んでもよい。バッファツリー115を介して、第1遅延回路120_1cに提供される基準クロック信号CLK_R’と、バッファツリー115を介して、第2遅延回路120_2cに提供される基準クロック信号CLK_R’は、基準クロック信号CLK_Rが、同一数のバッファを通過することにより、同一時間だけ遅延されたものであるとし得る。
【0105】
図15を参照すれば、フォトゲートコントローラは、第1バッファツリー140_1及び第2バッファツリー140_2をさらに含んでもよい。第1バッファツリー140_1は、第1選択器130_1から第1選択クロック信号CLKs_1を受信し、一定時間だけ遅延された第1選択クロック信号CLKs_1’を、複数のカラムそれぞれに提供することができる。一実施形態において、第1バッファツリー140_1は、隣接したカラム、例えば、第1カラム及び第2カラムに、一定時間だけ遅延された第1選択クロック信号CLKs_1’を提供することができる。従って、第1カラム及び第2カラムには、実質的に同一に遅延された第1選択クロック信号CLKs_1’がフォトゲート信号として提供される。
【0106】
第2バッファツリー140_2は、第2選択器130_2から第2選択クロック信号CLKs_2を受信し、一定時間だけ遅延された第2選択クロック信号CLKs_2’を、複数のカラムそれぞれに提供することができる。例えば、第2バッファツリー140_2は、遅延された第2選択クロック信号CLKs_2’を、互いに隣接したカラム、例えば、第3カラム及び第4カラムに提供することができる。従って、第3カラム及び第4カラムには、実質的に同一に遅延された第2選択クロック信号CLKs_2’がフォトゲート信号として提供される。
【0107】
図15での第1選択器130_1及び第2選択器130_2は、
図9、
図10、
図11A及び
図11Bにおいて説明された第1選択器130_1及び第2選択器130_2と同一に動作することができる。例えば、第1選択器130_1及び第2選択器130_2それぞれは、第1フレームにおいて、選択クロック信号CLKs_1,CLKs_2として、第1遅延回路120_1から出力された遅延クロック信号CLKa_1,CLKa_2を選択することができ、第2フレームで選択クロック信号CLKs_1,CLKs_2として、第2遅延回路120_2から出力された遅延クロック信号CLKb_1,CLKb_2を選択することができる。または、例えば、第1選択器130_1及び第2選択器130_2それぞれは、第1積分区間において、選択クロック信号CLKs_1,CLKs_2として、第1遅延回路120_1から出力された遅延クロック信号CLKa_1,CLKa_2を選択することができ、第2積分区間において、選択クロック信号CLKs_1,CLKs_2として、第2遅延回路120_2から出力された遅延クロック信号CLKb_1,CLKb_2を選択することもできる。または、例えば、第1選択器130_1は、第1選択クロック信号CLKs_1として、第1遅延回路120_1から出力された遅延クロック信号CLKa_1を選択することができ、第2選択器130_2は、第2選択クロック信号CLKs_2として、第2遅延回路120_2から出力された遅延クロック信号CLKb_2を選択することもできる。
【産業上の利用可能性】
【0108】
本発明の距離測定のためのイメージセンサは、例えば、映像処理関連の技術分野に効果的に適用可能である。
【符号の説明】
【0109】
100,100a フォトゲートコントローラ
110 基準クロック信号生成器
120_1,120_1’,120_1a,120_1b,120_1c 第1遅延回路
120_2,120_2’,120_2a,120_2b,120_2c 第2遅延回路
130_1 第1選択器
130_2 第2選択器
130_3 第3選択器
130_4 第4選択器
200 複数のピクセル