(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024014855
(43)【公開日】2024-02-01
(54)【発明の名称】イメージセンサー
(51)【国際特許分類】
H04N 25/704 20230101AFI20240125BHJP
【FI】
H04N25/704
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023119408
(22)【出願日】2023-07-21
(31)【優先権主張番号】10-2022-0091097
(32)【優先日】2022-07-22
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】パク ドン-ジン
(72)【発明者】
【氏名】ソン ソンウク
(72)【発明者】
【氏名】イ ジホン
(72)【発明者】
【氏名】イ ヒョクジュン
(72)【発明者】
【氏名】イム ソンヒョク
(72)【発明者】
【氏名】チェ ウソク
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CX37
5C024CY17
5C024EX12
5C024GY31
5C024HX21
5C024HX23
5C024HX28
5C024HX50
(57)【要約】
【課題】ズーム領域又はROI領域に対して高解像度の位相データを生成できるイメージセンサーを提供する。
【解決手段】本発明によるイメージセンサーは、行及び列方向に配列される複数のピクセルを含むピクセルアレイと、ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、読出し回路は、外部から受信した対象領域情報(Target Area Information:TAI)に応じて、互いに異なる長さの位相データを出力し、対象領域情報(TAI)は、ズーム領域又はROI(Region Of Interest)領域に対する情報である。
【選択図】
図1
【特許請求の範囲】
【請求項1】
行及び列方向に配列される複数のピクセルを含むピクセルアレイと、
前記ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、
前記読出し回路は、外部から受信した対象領域情報(Target Area Information:TAI)に応じて、互いに異なる長さの位相データを出力し、
前記対象領域情報(TAI)は、ズーム領域又はROI(Region Of Interest)領域に対する情報であることを特徴とするイメージセンサー。
【請求項2】
クロップズームモード(crop zoom mode)でのイメージデータの長さと比較した位相データの長さの比率は、フルモード(full mode)での前記イメージデータの長さと比較した位相データの長さの比率より大きいことを特徴とする請求項1に記載のイメージセンサー。
【請求項3】
前記ROI領域に対する位相データの長さは、前記ROI領域以外の領域に対する位相データの長さより長いことを特徴とする請求項1に記載のイメージセンサー。
【請求項4】
外部から受信した対象領域情報に基づいて、前記位相データの長さが可変されるように前記読出し回路を制御する位相データ可変モジュールをさらに有し、
前記位相データ可変モジュールは、前記対象領域情報に基づいて、前記ピクセルアレイで第1カーネル及び前記第1カーネルと異なる第2カーネルを設定し、
前記第1カーネルの一部と前記第2カーネルの一部は、互いに重畳することを特徴とする請求項1に記載のイメージセンサー。
【請求項5】
前記第1カーネルは、前記ピクセルアレイの第1列に配置される第1ピクセルと、第2列に配置される第2ピクセルと、を含み、
前記第2カーネルは、前記ピクセルアレイの前記第2列に配置される前記第2ピクセルと、第3列に配置される第3ピクセルと、を含むことを特徴とする請求項4に記載のイメージセンサー。
【請求項6】
前記読出し回路は、前記第1ピクセル及び前記第2ピクセルから生成される位相信号に対するビニング動作を通じて第1位相データを生成し、
前記第2ピクセル及び前記第3ピクセルから生成される位相信号に対するビニング動作を通じて前記第1位相データと異なる第2位相データを生成することを特徴とする請求項5に記載のイメージセンサー。
【請求項7】
前記第1列に配置される前記第1ピクセルに対応する第1サブアナログ-デジタルコンバータと、
前記第2列に配置される前記第2ピクセルに対応する第2サブアナログ-デジタルコンバータと、
前記第3列に配置される前記第3ピクセルに対応する第3サブアナログ-デジタルコンバータと、をさらに有し、
前記読出し回路は、前記第1サブアナログ-デジタルコンバータ及び前記第2サブアナログ-デジタルコンバータに対応する第1サブ位相データ生成モジュールと、
前記第2サブアナログ-デジタルコンバータ及び前記第3サブアナログ-デジタルコンバータに対応する第2サブ位相データ生成モジュールと、を含むことを特徴とする請求項5に記載のイメージセンサー。
【請求項8】
前記位相データ可変モジュールは、前記対象領域情報に基づいて、前記ピクセルアレイで第1カーネル及び前記第1カーネルと異なる第2カーネルを設定し、
前記第1カーネルに含まれるピクセルと前記第2カーネルに含まれるピクセルは、互いに異なる行及び互いに異なる列に配置されることを特徴とする請求項4に記載のイメージセンサー。
【請求項9】
前記位相データ可変モジュールは、前記対象領域情報に基づいて、前記ピクセルアレイで第3カーネル及び第4カーネルをさらに設定し、
前記第1カーネルに含まれるピクセル及び前記第3カーネルに含まれるピクセルは、同一の行に配置され、
前記第2カーネルに含まれるピクセル及び前記第4カーネルに含まれるピクセルは、同一の行に配置されることを特徴とする請求項8に記載のイメージセンサー。
【請求項10】
前記第1カーネルに含まれるピクセル及び前記第3カーネルに含まれるピクセルは、互いに異なる列に配置され、
前記第2カーネルに含まれるピクセル及び前記第4カーネルに含まれるピクセルは、互いに異なる列に配置されることを特徴とする請求項9に記載のイメージセンサー。
【請求項11】
前記ピクセルアレイと前記読出し回路との間に接続され、前記位相データ可変モジュールの制御に応答してビニング動作を実行するビニングブロックをさらに有することを特徴とする請求項4に記載のイメージセンサー。
【請求項12】
前記ビニングブロックは、第1カラムライン及び第2カラムラインに電気的に接続され、前記第1カラムラインから受信したアナログ位相信号及び前記第2カラムラインから受信したアナログ位相信号に対するビニング動作を実行する第1平均化ブロックと、
前記第2カラムライン及び第3カラムラインに電気的に接続され、前記第2カラムラインから受信したアナログ位相信号及び前記第3カラムラインから受信したアナログ位相信号に対するビニング動作を実行する第2平均化ブロックと、
前記第1平均化ブロックに接続される第1スイッチと、
前記第2平均化ブロックに接続される第2スイッチと、を含み、
前記第1スイッチ及び前記第2スイッチは、位相データ生成モジュールに制御に応じて選択的にターンオンされることを特徴とする請求項11に記載のイメージセンサー。
【請求項13】
前記第1スイッチに対応する第1サブアナログ-デジタルコンバータと、
前記第2スイッチに対応する第2サブアナログ-デジタルコンバータと、をさらに有し、
前記第1スイッチは、ターンオンされて前記第1平均化ブロックの出力を前記第1サブアナログ-デジタルコンバータに伝達し、
前記第2スイッチは、ターンオンされて前記第2平均化ブロックの出力を前記第2サブアナログ-デジタルコンバータに伝達することを特徴とする請求項12に記載のイメージセンサー。
【請求項14】
前記ビニングブロックは、前記第1カラムライン及び前記第1スイッチに対応し、前記位相データ生成モジュールの制御に応じて選択的に前記第1スイッチに接続される第1選択回路と、
前記第2カラムライン及び前記第2スイッチに対応し、前記位相データ生成モジュールの制御に応じて選択的に前記第2スイッチに接続される第2選択回路と、をさらに含むことを特徴とする請求項13に記載のイメージセンサー。
【請求項15】
行及び列方向に配列される複数のピクセルを含むピクセルアレイと、
前記ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、
クロップズームモードでのイメージデータの長さと比較した位相データの長さの比率は、フルモードでの前記イメージデータの長さと比較した位相データの長さの比率より大きいことを特徴とするイメージセンサー。
【請求項16】
外部から受信したズームコマンド及びズーム領域情報に基づいて、前記ピクセルアレイで、第1カーネル及び前記第1カーネルと異なる第2カーネルを設定する位相データ可変モジュールをさらに有し、
前記クロップズームモードで、前記第1カーネルの一部と前記第2カーネルの一部は、互いに重畳することを特徴とする請求項15に記載のイメージセンサー。
【請求項17】
前記フルモードで、前記第1カーネルと前記第2カーネルは、互いに重畳しないことを特徴とする請求項16に記載のイメージセンサー。
【請求項18】
行及び列方向に配列される複数のピクセルを含むピクセルアレイと、
前記ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、
ROI領域に対する位相データの長さは、前記ROI領域以外の領域に対する位相データの長さより長いことを特徴とするイメージセンサー。
【請求項19】
外部から受信したROI領域情報に基づいて前記ROI領域に対する位相データの長さが前記ROI領域以外の領域に対する位相データの長さより長くなるように前記読出し回路を制御する位相データ可変モジュールをさらに有し、
前記位相データ可変モジュールは、前記ピクセルアレイで、前記ROI領域に対応する第1カーネル及び前記第1カーネルと異なる第2カーネルを設定し、
前記第1カーネルの一部と前記第2カーネルの一部は、互いに重畳することを特徴とする請求項18に記載のイメージセンサー。
【請求項20】
前記位相データ可変モジュールは、前記ピクセルアレイで、前記ROI領域以外の領域に対する第3カーネル及び第4カーネルを設定し、
前記第3カーネルと前記第4カーネルは、互いに重畳しないことを特徴とする請求項19に記載のイメージセンサー。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はイメージセンサーに関し、特に、自動焦点機能を支援するイメージセンサーに関する。
【背景技術】
【0002】
CMOS(complementary metal-oxide semiconductor)イメージセンサーは、CMOS工程を利用して製造されるイメージ撮像素子である。
CMOSイメージセンサーは、高電圧アナログ回路を含むCCDイメージセンサーと比較して製造単価が低くてピクセル(pixel)のサイズが小さいので、消費電力が少ないという長所がある。
また、CMOSイメージセンサーの性能が向上するにつれて、CMOSイメージセンサーは、スマートフォン、タブレットPC、又はデジタルカメラ等のようなモバイル電子装置で広く使用されている。
【0003】
近年では、カメラのようなデジタル映像撮像装置で自動焦点調節機能が提供されており、これを実現するために撮影レンズの焦点調節状態を検出する必要がある。
自動焦点機能のためにイメージセンサーとは別に焦点検出のための素子を含む場合には、デジタル映像撮像装置を製造するために費用が追加的に増大するか、或いは装置の全体サイズが大きくなるという問題が発生する可能性があり、したがって、映像撮像機能と自動焦点機能(以下、AF機能)を共に実行できる自動焦点イメージセンサーが研究、開発が課題となっている。
特に、デジタルズーム動作やROI動作を支援する場合に、ズーム領域又はROI領域に対して正確なAF機能のために高解像度の位相データを提供する必要がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第10、998,356号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は上記従来のイメージセンサーにおける課題に鑑みてなされたものであって、本発明の目的は、ズーム領域又はROI領域に対して、高解像度の位相データを生成できるイメージセンサーを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するためになされた本発明によるイメージセンサーは、行及び列方向に配列される複数のピクセルを含むピクセルアレイと、前記ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、前記読出し回路は、外部から受信した対象領域情報(Target Area Information:TAI)に応じて、互いに異なる長さの位相データを出力し、前記対象領域情報(TAI)は、ズーム領域又はROI(Region Of Interest)領域に対する情報であることを特徴とする。
【0007】
クロップズームモード(crop zoom mode)でのイメージデータの長さと比較した位相データの長さの比率は、フルモード(full mode)での前記イメージデータの長さと比較した位相データの長さの比率より大きいことが好ましい。
ROI領域(Region Of Interest)に対する位相データの長さは、前記ROI領域以外の領域に対する位相データの長さより長いことが好ましい。
外部から受信した対象領域情報に基づいて、前記位相データの長さが可変されるように前記読出し回路を制御する位相データ可変モジュールをさらに有し、前記位相データ可変モジュールは、前記対象領域情報に基づいて、前記ピクセルアレイで第1カーネル及び前記第1カーネルと異なる第2カーネルを設定し、前記第1カーネルの一部と前記第2カーネルの一部は、互いに重畳することが好ましい。
前記第1カーネルは、前記ピクセルアレイの第1列に配置される第1ピクセルと、第2列に配置される第2ピクセルと、を含み、前記第2カーネルは、前記ピクセルアレイの前記第2列に配置される前記第2ピクセルと、第3列に配置される第3ピクセルと、を含むことが好ましい。
前記読出し回路は、前記第1ピクセル及び前記第2ピクセルから生成される位相信号に対するビニング動作を通じて第1位相データを生成し、前記第2ピクセル及び前記第3ピクセルから生成される位相信号に対するビニング動作を通じて前記第1位相データと異なる第2位相データを生成することが好ましい。
前記第1列に配置される前記第1ピクセルに対応する第1サブアナログ-デジタルコンバータと、前記第2列に配置される前記第2ピクセルに対応する第2サブアナログ-デジタルコンバータと、前記第3列に配置される前記第3ピクセルに対応する第3サブアナログ-デジタルコンバータと、をさらに有し、前記読出し回路は、前記第1サブアナログ-デジタルコンバータ及び前記第2サブアナログ-デジタルコンバータに対応する第1サブ位相データ生成モジュールと、前記第2サブアナログ-デジタルコンバータ及び前記第3サブアナログ-デジタルコンバータに対応する第2サブ位相データ生成モジュールと、を含むことが好ましい。
【0008】
前記位相データ可変モジュールは、前記対象領域情報に基づいて、前記ピクセルアレイで第1カーネル及び前記第1カーネルと異なる第2カーネルを設定し、前記第1カーネルに含まれるピクセルと前記第2カーネルに含まれるピクセルは、互いに異なる行及び互いに異なる列に配置されることが好ましい。
前記位相データ可変モジュールは、前記対象領域情報に基づいて、前記ピクセルアレイで第3カーネル及び第4カーネルをさらに設定し、前記第1カーネルに含まれるピクセル及び前記第3カーネルに含まれるピクセルは、同一の行に配置され、前記第2カーネルに含まれるピクセル及び前記第4カーネルに含まれるピクセルは、同一の行に配置されることが好ましい。
前記第1カーネルに含まれるピクセル及び前記第3カーネルに含まれるピクセルは、互いに異なる列に配置され、前記第2カーネルに含まれるピクセル及び前記第4カーネルに含まれるピクセルは、互いに異なる列に配置されることが好ましい。
前記ピクセルアレイと前記読出し回路との間に接続され、前記位相データ可変モジュールの制御に応答してビニング動作を実行するビニングブロックをさらに有することが好ましい。
前記ビニングブロックは、第1カラムライン及び第2カラムラインに電気的に接続され、前記第1カラムラインから受信したアナログ位相信号及び前記第2カラムラインから受信したアナログ位相信号に対するビニング動作を実行する第1平均化ブロックと、前記第2カラムライン及び第3カラムラインに電気的に接続され、前記第2カラムラインから受信したアナログ位相信号及び前記第3カラムラインから受信したアナログ位相信号に対するビニング動作を実行する第2平均化ブロックと、前記第1平均化ブロックに接続される第1スイッチと、前記第2平均化ブロックに接続される第2スイッチと、を含み、前記第1スイッチ及び前記第2スイッチは、位相データ生成モジュールに制御に応じて選択的にターンオンされることが好ましい。
前記第1スイッチに対応する第1サブアナログ-デジタルコンバータと、前記第2スイッチに対応する第2サブアナログ-デジタルコンバータと、をさらに有し、前記第1スイッチは、ターンオンされて前記第1平均化ブロックの出力を前記第1サブアナログ-デジタルコンバータに伝達し、前記第2スイッチは、ターンオンされて前記第2平均化ブロックの出力を前記第2サブアナログ-デジタルコンバータに伝達することが好ましい。
前記ビニングブロックは、前記第1カラムライン及び前記第1スイッチに対応し、前記位相データ生成モジュールの制御に応じて選択的に前記第1スイッチに接続される第1選択回路と、前記第2カラムライン及び前記第2スイッチに対応し、前記位相データ生成モジュールの制御に応じて選択的に前記第2スイッチに接続される第2選択回路と、をさらに含むことが好ましい。
【0009】
また、上記目的を達成するためになされた本発明によるイメージセンサーは、行及び列方向に配列される複数のピクセルを含むピクセルアレイと、前記ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、クロップズームモードでのイメージデータの長さと比較した位相データの長さの比率は、フルモードでの前記イメージデータの長さと比較した位相データの長さの比率より大きいことを特徴とする。
【0010】
外部から受信したズームコマンド及びズーム領域情報に基づいて、前記ピクセルアレイで、第1カーネル及び前記第1カーネルと異なる第2カーネルを設定する位相データ可変モジュールをさらに有し、前記クロップズームモードで、前記第1カーネルの一部と前記第2カーネルの一部は、互いに重畳することが好ましい。
前記フルモードで、前記第1カーネルと前記第2カーネルは、互いに重畳しないことが好ましい。
【0011】
また、上記目的を達成するためになされた本発明によるイメージセンサーは、行及び列方向に配列される複数のピクセルを含むピクセルアレイと、前記ピクセルアレイから受信したセンシング信号に基づいて、イメージデータ及び位相データを生成する読出し回路と、を有し、ROI領域に対する位相データの長さは、前記ROI領域以外の領域に対する位相データの長さより長いことを特徴とする。
【0012】
外部から受信したROI領域情報に基づいて前記ROI領域に対する位相データの長さが前記ROI領域以外の領域に対する位相データの長さより長くなるように前記読出し回路を制御する位相データ可変モジュールをさらに有し、前記位相データ可変モジュールは、前記ピクセルアレイで、前記ROI領域に対応する第1カーネル及び前記第1カーネルと異なる第2カーネルを設定し、前記第1カーネルの一部と前記第2カーネルの一部は、互いに重畳することが好ましい。
前記位相データ可変モジュールは、前記ピクセルアレイで、前記ROI領域以外の領域に対する第3カーネル及び第4カーネルを設定し、前記第3カーネルと前記第4カーネルは、互いに重畳しないことが好ましい。
【発明の効果】
【0013】
本発明に係るイメージセンサーによれば、ズーム動作及び/又はROI動作の時に対象領域情報TAIに基づいて、ズーム領域及び/又はROI領域に対応するピクセルのアドレス情報を確認し、ズーム領域及び/又はROI領域に対応する位相データの長さを可変して高解像度の位相データを生成することができる。
【図面の簡単な説明】
【0014】
【
図1】本発明の実施形態によるイメージ処理装置の概略構成を示すブロック図である。
【
図2】本発明の一実施形態によるイメージセンサーの概略構成を示すブロック図である。
【
図3】
図2のピクセルアレイの概略構成の一例を示す図である。
【
図4】
図3のピクセルグループPG11の回路の一例を示す回路図である。
【
図5A】
図4のピクセルグループPG11の動作の一例を示すタイミング図である。
【
図5B】
図4のピクセルグループPG11の動作の一例を示すタイミング図である。
【
図6】
図2のイメージセンサー100Aによってイメージデータが生成される一例を説明するための図である。
【
図7】
図2のイメージセンサー100Aが位相データを生成する一例を説明するための図である。
【
図8】
図2のイメージセンサー100Aが位相データを生成する一例を説明するための図である。
【
図9】
図6で生成されたイメージデータ及び
図7及び
図8で生成された位相データを含むデータセットの一例を示す図である。
【
図10】
図2のイメージセンサー100Aがクロップズームモードでの位相データを生成するか、又はROI領域に対して位相データを生成する一例を説明するための図である。
【
図11】
図2のイメージセンサー100Aがクロップズームモードでの位相データを生成するか、又はROI領域に対して位相データを生成する一例を説明するための図である。
【
図13】本発明の他の実施形態によるイメージセンサーの概略構成を示すブロック図である。
【
図14】
図13のビニングブロック及びこれに対応するアナログ-デジタルコンバータの一例を示す図である。
【
図15】イメージデータを生成する時の
図14のビニングブロックの動作の一例を説明するための図である。
【
図16】フルモード及び/又はROI領域以外の他の領域に対する位相データを生成する時の
図14のビニングブロックの動作の一例を説明するための図である。
【
図17】クロップズームモード及び/又はROI領域に対する位相データを生成する時の
図14のビニングブロックの動作の一例を説明するための図である。
【
図18】本発明の他の実施形態によるピクセルアレイの構造及びカーネル設定方法の一例を示す図である。
【
図19】クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の一例を説明するための図である。
【
図20】クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
【
図21】クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
【
図22】本発明の他の実施形態によるピクセルアレイの構造及びカーネル設定方法の一例を説明するための図である。
【
図23】クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
【
図24】本発明の他の実施形態によるピクセルアレイの構造及びカーネル設定方法の一例を説明するための図である。
【
図25】
図24のピクセルグループPG11の回路の一例を示す回路図である。
【
図26】クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
【
図27】デジタルズーム動作の時に位相データの長さを可変するイメージセンサーの一例を説明するための図である。
【
図28】デジタルズーム動作の時に位相データの長さを可変するイメージセンサーの一例を説明するための図である。
【
図29】デジタルズーム動作の時に位相データの長さを可変するイメージセンサーの一例を説明するための図である。
【
図30】ROI動作の時に位相データの長さを可変するイメージセンサーの一例を説明するための図である。
【発明を実施するための形態】
【0015】
次に、本発明に係るイメージセンサーを実施するための形態の具体例を図面を参照しながら説明する。
以下では、本発明の技術分野で通常の知識を有する者が本発明を容易に実施できる程度に、本発明の実施形態態が明確であり、詳細に記載される。
【0016】
[位相データの長さを可変できるイメージ処理装置]
図1は、本発明の実施形態によるイメージ処理装置の概略構成を示すブロック図である。
本発明の実施形態によるイメージ処理装置10は、ズーム動作及び/又はROI動作を支援する。
ズーム動作及び/又はROI動作の時に、イメージ処理装置10は、位相データの長さを可変して高解像度の位相データを生成する。
したがって、ズーム領域及び/又はROI領域に対する正確なAF機能が提供される。
【0017】
図1を参照すると、イメージ処理装置10は、イメージプロセッサ200及びイメージセンサー100を含む。
イメージプロセッサ200は、イメージセンサー100によってセンシングされたイメージデータを人の目に適合するように処理する。
イメージプロセッサ200は、処理されたイメージデータをディスプレー装置に出力する。
例えば、イメージプロセッサ200は、デジタル信号プロセッサ(Digital Signal Processor:DSP)、イメージ信号プロセッサ(Image Signal Processor:ISP)又はアプリケーションプロセッサ(Application Processor:AP)の中のいずれか1つで具現され得る。
【0018】
イメージプロセッサ200は、使用者或いはホストからデジタルズーム動作を要請するデジタルズームコマンド(CMD_DZ)又はROI動作を要請するROIコマンド(CMD_ROI)を受信する。
ここで、デジタルズームコマンド(CMD_DZ)又はROIコマンド(CMD_ROI)には拡大しようとするズーム領域又はフォーカシングしようとするROI領域に対する情報が含まれる。
ズーム領域に対する情報は、例えばフィンガーピンチ-ツ-ズーム動作(finger pinch-to-zoom operation)での所定の領域のピクセルアドレスを含む。
ROI領域に対する情報は、例えば、フィンガータッチ自動焦点動作(finger touch auto focus operation)での所定の領域のピクセルアドレスを含む。
ズーム領域又はROI領域に対する情報は、例えば、対象領域情報(Target Area Information:TAI)と称される。
イメージプロセッサ200は、対象領域情報TAIをイメージセンサー100に提供する。
【0019】
イメージセンサー100は、イメージプロセッサ200の制御に応じてレンズを通じて撮像された対象物の光の強さをセンシングする。
イメージセンサー100は、センシングした光の強さをデジタル形態のイメージデータに変更してイメージプロセッサ200に出力する。
また、イメージセンサー100は、撮像された対象物の光の位相差をセンシングする。
イメージセンサー100は、センシングした光の位相差をデジタル形態の位相データに変更し、これをイメージプロセッサ200に出力する。
このために、イメージセンサー100は、ピクセルアレイ110及び位相データ可変モジュール160を含む。
【0020】
ピクセルアレイ110は、行及び列方向に配列された複数のピクセルを含む。
複数のピクセルの各々は、例えば、光量又は光の強さに応じて電荷を生成及び蓄積する光感知素子を含む。
位相データ可変モジュール160は、対象領域情報TAIに基づいて、複数のピクセルの中でズーム領域及び/又はROI領域に対応するピクセルのアドレス情報を確認する。
位相データ可変モジュール160は、ズーム領域及び/又はROI領域に対応するピクセルの中で各カーネル(kernel)に属するピクセルを選択する。
各カーネルに属するピクセルから生成されたアナログ信号又はデジタル信号をビニング(binning)することによって、イメージセンサー100は、ズーム領域/又はROI領域に対する位相データを生成する。
【0021】
本発明の実施形態において、位相データ可変モジュール160は、同一のカラーに対応するピクセルの数が互いに同一であるように各カーネルを設定する。
再び言えば、特定カラー(例えば、グリーン)に対応するピクセルの数が、各々のカーネルで全て同一であるように、位相データ可変モジュール160は、各カーネルを設定する。
仮に、同一のカラーに対応するピクセルの数がカーネルごとに互いに異なると、カラー差による信号レベルの差が発生する可能性がある。
本発明の実施形態による位相データ可変モジュール160は、同一のカラーに対応するピクセルの数が互いに同一であるように各カーネルを設定することによって、このようなカラーによる信号レベルの差を防止することができる。
また、本発明の実施形態において、位相データ可変モジュール160は、対象領域情報TAIに基づいて、ピクセルアレイ110のカーネルの数を異なるように設定することができる。
したがって、位相データの長さが可変されて、ズーム領域及び/又はROI領域に対する高解像度の位相データが設定される。
【0022】
一例として、クロップズームモード(crop zoom mode)の場合、位相データ可変モジュール160は、対象領域情報TAIに基づいて、ズーム領域に対応するカーネルの数がフルモード(full mode)でのカーネルの数より多いように設定する。
したがって、クロップズームモードでのイメージデータの長さに比べて位相データの長さの比率(即ち、位相データの長さ/イメージデータの長さ)は、フルモードより大きくなり、ズーム領域に対する高解像度の位相データが生成される。
例えば、フルモードは、イメージセンサーの全体ピクセルアレイが読出しされるか、或いは、処理される時のモードを指称し、クロップズームモードは、イメージセンサーの全体ピクセルアレイより小さい領域(例えば、切り取られた領域(cropped portion)又は拡大された領域(zoomed portion))が読み出されるか、或いは処理される時のモードを称する。
【0023】
一例として、ROI動作の時に、位相データ可変モジュール160は、対象領域情報TAIに基づいて、ROI領域に対応するカーネルの数が他の領域に対応するカーネルの数より多いように設定することができる。
したがって、ROI領域に対応する位相データの長さが他の領域の位相データの長さより長くなり、ROI領域に対する高解像度の位相データが生成される。
以上で説明したように、本発明の実施形態によるイメージ処理装置10は、ズーム動作及び/又はROI動作の時に対象領域情報TAIに基づいて、ズーム領域及び/又はROI領域に対応するピクセルのアドレス情報を確認し、ズーム領域及び/又はROI領域に対応する位相データの長さを可変して高解像度の位相データを生成することができる。
したがって、正確なAF機能が提供することができる。
【0024】
[デジタル信号を利用して位相データの長さを可変するイメージセンサー]
図2は、本発明の一実施形態によるイメージセンサー100Aの概略構成を示すブロック図である。
図2を参照すれば、イメージセンサー100Aは、ピクセルアレイ110、ロードライバー120、アナログ-デジタルコンバータ(ADC)130、出力バッファ140、タイミングコントローラ150を含む。
【0025】
ピクセルアレイ110は、複数のピクセルグループPGsを含み、各ピクセルグループは同一のマイクロレンズMLを共有する少なくとも2つのピクセルPXsを含む。
ピクセルアレイ110は、ロードライバー120からリセット信号RS、伝送信号TS、及び選択信号SELのようなピクセル駆動信号を受信する。
ピクセルアレイ110は、受信したピクセル駆動信号の制御に応じて動作し、複数のピクセルは、各々光信号をアナログ信号に変換する。
各単位ピクセルによって生成されたアナログ信号は、複数のカラムラインCLmを通じてアナログ-デジタルコンバータ130に提供される。
一実施形態において、複数のピクセルは、互いに異なるフォトダイオードPDが同一のフローティング拡散領域FDを共有する共有ピクセル(Shared Pixels)構造であり得る。
但し、これは例示的なことであり、複数のピクセルPXの各々は、互いに異なるフローティング拡散領域FDを具備してもよい。
各ピクセルによって生成されたアナログ信号は、イメージ情報及び位相情報を含む。
【0026】
ロードライバー120は、タイミングコントローラ150の制御に応じてピクセルアレイ110のいずれか1つの行を選択する。
ロードライバー120は、複数の行の中のいずれか1つの行を選択するために選択信号SELを生成する。
そして、ロードライバー120は、選択された行に対応するピクセルに対してリセット信号RS及び伝送信号TSを所定の順番に従って活性化させる。
アナログ-デジタルコンバータ130は、選択された行のピクセルの各々から生成されるリセットレベル信号とセンシング信号を受信する。
ここで、リセットレベル信号は、フローティング拡散領域の基準電圧に対応するアナログ信号であり、センシング信号は、フローティング拡散領域の信号電圧に対応するアナログ信号である。
【0027】
アナログ-デジタルコンバータ130は、リセットレベル信号及びセンシング信号をデジタル信号に変換して出力する。
例えば、アナログ-デジタルコンバータ130は、相関二重サンプリング(Correlated Double Sampling)方式にリセットレベル信号及びセンシング信号をサンプリングした後に、これをデジタル信号に変換する。
このために、アナログ-デジタルコンバータ130の前端には相関二重サンプラー(Correlated Double Sampler:CDS)がさらに配置され得る。
読出し回路140は、アナログ-デジタルコンバータ130によって提供される各々のカラム単位のデジタル信号をラッチして出力する。
このために、読出し回路140は、出力バッファを含み得る。
また、読出し回路140は、イメージデータ生成モジュール141及び位相データ生成モジュール142を含む。
【0028】
一実施形態において、イメージデータ生成モジュール141は、1つのピクセルグループの中で左側に位置したピクセルに対応する第1デジタル信号DS1及び右側に位置したピクセルに対応する第2デジタル信号DS2を各々受信する。
ここで、第1デジタル信号DS1及び第2デジタル信号DS2は、各々イメージ情報及び位相情報を含む。
イメージデータ生成モジュール141は、第1デジタル信号DS1及び第2デジタル信号DS2を合成することによって、1つのイメージデータを生成する。
この時、第1デジタル信号DS1の位相情報と第2デジタル信号DS2の位相情報は、互いに相殺される。
【0029】
一実施形態において、位相データ生成モジュール142は、1つのカーネルに含まれた複数のピクセルグループのピクセルに対応するデジタル信号を受信する。
位相データ生成モジュール142は、複数のピクセルの中で左側に位置したピクセルに対応するデジタル信号を受信し、これをビニング(binning)して第1位相情報を抽出する。
位相データ生成モジュール142は、複数のピクセルの中で右側に位置したピクセルに対応するデジタル信号を受信し、これをビニングして第2位相情報を抽出する。
位相データ生成モジュール142は、第1及び第2位相情報を通じて、1つのカーネルに対応する位相データを生成する。
【0030】
タイミングコントローラ150は、ピクセルアレイ110、ロードライバー120、アナログ-デジタルコンバータ(ADC)130、出力バッファ140等を制御する。
タイミングコントローラ150は、ピクセルアレイ110、ロードライバー120、アナログ-デジタルコンバータ(ADC)130、読出し回路140等の動作にクロック信号(clock signal)、タイミングコントロール信号(timing control signal)等のような制御信号を供給する。
タイミングコントローラ150は、ロジック制御回路(logic control circuit)、位相固定ループ(phase Lock Loop:PLL)回路、タイミングコントロール回路(timing control circuit)、及び通信インターフェイス回路(communication interface circuit)等を含み得る。
タイミングコントローラ150は、位相データ可変モジュール160を含む。
【0031】
本発明の一実施形態において、位相データ可変モジュール160は、位相データを生成するカーネルを設定する。
即ち、位相データ可変モジュール160は、ピクセルアレイ110に含まれた複数のピクセルグループの中から各カーネルに含まれるピクセルグループを選択する。
この時、同一のカラーに対応するピクセルグループの数が各カーネルで互いに同一であるように、位相データ可変モジュール160は、各カーネルに含まれるピクセルグループを選択する。
【0032】
また、本発明の一実施形態において、位相データ可変モジュール160は、動作モード及び/又は対象領域に応じて位相データを生成するカーネルの数を異なるように設定することができる。
一例として、クロップズームモードの場合、位相データ可変モジュール160は、対象領域情報TAIに基づいて、ズーム領域に対応するカーネルの数がフルモードでのカーネルの数より多いように設定する。
このようなクロップズームモードで、位相データ生成モジュール142は、フルモードでよりさらに多いデジタル信号を受信するようになり、したがって高解像度の位相データを生成することができる。
【0033】
この時、クロップズームモードでのイメージデータの長さ又は量(amount)に比べて、位相データの長さ又は量(amount)の比率(即ち、位相データの長さ/イメージデータの長さ又は位相データの量/イメージデータの量)は、フルモードより大きい。
したがって、クロップズームモードでの領域当たりの位相データ(phase data per area)の密度(density)(例えば、クロップズームモードでの位相データの解像度)は、フルモードでの領域当たりの位相データの密度(例えば、フルモードでの位相データの解像度)より大きい。
【0034】
一例として、ROI動作の時に、位相データ可変モジュール160は、対象領域情報TAIに基づいて、ROI領域に対応するカーネルの数が他の領域に対応するカーネルの数より多いように設定する。
この場合、位相データ生成モジュール142は、ROI領域以外の領域に比べてさらに多いデジタル信号を受信するようになり、したがってROI領域に対応する位相データの長さが他の領域の位相データの長さはより長くなる。
したがって、ROI領域に対する高解像度の位相データが生成される。
以上で説明したように、本発明の実施形態によるイメージセンサー100Aは、対象領域に応じて位相データの長さを可変し、ズーム領域又はROI領域に対して高解像度の位相データを生成することができる。
【0035】
図3は、
図2のピクセルアレイ110の概略構成の一例を示す図である。
図3を参照すると、ピクセルアレイ110は、複数のAFピクセルグループ(PG11~PG48)を含む。
複数のピクセルグループ(PG1~PG6)の各々は、第1方向(X方向)及び第2方向(Y方向)に沿って配置される2つのピクセル(PX1、PX2)を含み、2つのピクセル(PX2、PX2)は、1つのマイクロレンズMLを共有する。
【0036】
複数のピクセルグループ(PG11~PG48)は、ベイヤーパターン(Bayer pattern)に対応するようにピクセルアレイ110が配置される。
例えば、ピクセルグループPG12は、レッド(R)カラーフィルターを含み、ピクセルグループ(PX11、PX22)は、グリーン(G)カラーフィルターを含み、ピクセルグループPG21は、ブルー(B)カラーフィルターを含む。
但し、これは例示的なものであり、本発明の実施形態によるピクセルアレイ110は、多様な種類のカラーフィルターを含み得る。
例えば、カラーフィルターは、イエロー(yellow)、シアン(Cyan)、及びマゼンタ(Magenta)カラーをセンシングするためのフィルターをみ得る。
又は、カラーフィルターは、ホワイトカラーをセンシングするフィルターを含んでもよい。
【0037】
図4は、
図3のピクセルグループPG11の回路の一例を示す回路図であり、
図5A及び
図5Bは、
図4のピクセルグループPG11の動作の一例を示すタイミング図である。
図4を参照すると、ピクセルグループPG11は、フローティング拡散領域FDを共有する第1ピクセルPX1及び第2ピクセルPX2を含む。
第1ピクセルPX1は、第1フォトダイオードPD1、第1伝送トランジスタTX1を含み、フローティング拡散領域FD、リセットトランジスタRX、駆動トランジスタDX、及び選択トランジスタSXを第2ピクセルPX2と共有する。
第2ピクセルPX2は、第2フォトダイオードPD2、第2伝送トランジスタTX2を含み、フローティング拡散領域FD、リセットトランジスタRX、駆動トランジスタDX、及び選択トランジスタSXを第1ピクセルPX1と共有する。
【0038】
第1及び第2フォトダイオード(PD1、PD2)は、入射光の光量や光の強さに応じて電荷を生成及び蓄積する光感知素子である。
第1及び第2フォトダイオード(PD1、PD2)の中の少なくとも1つはフォトトランジスタ(Photo Transistor)、フォトゲート(Photo Gate)、ピンドフォトダイオード(Pinned Photo Diode:PPD)、有機フォトダイオード(Organic Photo Diode:OPD)、クォンタムドット(Quantum Dot:QD)等でも具現され得る。
【0039】
第1及び第2伝送トランジスタ(TX1、TX2)は、ロードライバー120から提供される第1及び第2伝送信号(TS1、TS2)に各々応答してターンオン又はターンオフされる。
第1及び第2伝送トランジスタ(TX1、TX2)は、第1及び第2フォトダイオード(PD1、PD2)で蓄積された電荷をフローティング拡散領域FD1に各々伝送する。
フローティング拡散領域FDの一端は、第1及び第2伝送トランジスタ(TX1、TX2)のドレーンに接続され、他端は、ソースフォロワー(source follower)増幅器で駆動されるドライブトランジスタDXのゲートに接続される。
フローティング拡散領域FDは、フローティング拡散領域キャパシタCfdとして動作し、第1フォトダイオードPD1又は第2フォトダイオードPD2で生成された電荷をフローティング拡散領域キャパシタCfdに格納する。
【0040】
リセットトランジスタRXは、リセット信号RSに応答してフローティング拡散領域FDをリセットさせる。
例えば、リセットトランジスタRXのソース(Source)は、フローティング拡散領域FDに接続される。
リセット信号RSが活性化されれば、リセットトランジスタRXがターンオンされ、電源電圧Vpixがフローティング拡散領域FDに伝達される。
この場合、フローティング拡散領域キャパシタCfdに集積された電荷は、電源電圧Vpix端子にドレーンされ、フローティング拡散領域FDの電圧レベルは電源電圧Vpixにリセットされる。
ドライブトランジスタDXのゲートは、フローティング拡散領域FDに接続され、ソースフォロワー増幅器(Source Follower Amplifier)役割を提供する。
例えば、ドライブトランジスタDXは、フローティング拡散領域FDのポテンシャル変化を増幅し、これを、選択トランジスタSXを経由してカラムラインCLiに伝達する。
【0041】
選択トランジスタSXは、行単位に読み出すピクセル又はピクセルグループを選択する時に使用される。
選択トランジスタSXは、行単位に提供される選択信号SELによって駆動する。
選択トランジスタSXがターンオンされれば、ドライブトランジスタDXを通じてフローティング拡散領域FDのポテンシャルが選択トランジスタSXのドレーンに増幅されて伝達される。
【0042】
図5Aを参照してピクセルグループPG11の動作を説明すると、T1時点で、リセットトランジスタRXがターンオンされ、フローティング拡散領域FDは、電源電圧Vpixにリセットされる。
フローティング拡散領域FDの電圧レベルは、サンプリングされて、リセットレベル信号として使用される。
T2時点で、第1伝送信号TS1に応答して第1伝送トランジスタTX1がターンオンされ、第1フォトダイオードPD1に蓄積された電荷がフローティング拡散領域キャパシタCfdに移動する。
T3時点で、伝送トランジスタTX1がターンオフされ、T4時点で、フローティング拡散領域FDの電圧レベルがサンプリングされてセンシング信号として使用される。
【0043】
第1フォトダイオードPD1がピクセルグループPG11の左側に位置するので、センシング信号は位相情報を含む。
センシング信号は、第1アナログ信号AS1と指称され、対応するカラムラインに提供される。
その後、アナログ-デジタルコンバータ140は、T1時点でサンプリングされたリセット信号とT4時点でサンプリングされた第1アナログ信号AS1を利用して位相情報を含む第1デジタル信号を生成する。
T5時点で、フローティング拡散領域FDは、電源電圧Vpixにリセットされ、フローティング拡散領域FDの電圧レベルは、サンプリングされて、リセットレベル信号として使用される。
T6時点で、第2伝送信号TS2に応答して第2伝送トランジスタTX2がターンオンされ第2フォトダイオードPD2に蓄積された電荷がフローティング拡散領域キャパシタCfdに移動する。
【0044】
T7時点で、第2伝送トランジスタTX2がターンオフされ、T8時点で、フローティング拡散領域FDの電圧レベルがサンプリングされてセンシング信号として使用される。
第2フォトダイオードPD2がピクセルグループPG11の右側に位置するので、センシング信号は、位相情報を含む。
センシング信号は、第2アナログ信号AS2と指称され、対応するカラムラインに提供される。
その後、アナログ-デジタルコンバータ140は、T5時点でサンプリングされたリセット信号とT8時点でサンプリングされた第2アナログ信号AS2を利用して位相情報を含む第2デジタル信号を生成する。
このようなRSRS読出し方式で、複数のピクセルグループ(PG11~PG48)の各々から位相情報を含むデジタル信号が生成される。
【0045】
図5Bを参照してピクセルグループPG11の動作の他の例を説明すると、T1時点で、リセットトランジスタRXがターンオンされ、フローティング拡散領域FDは、電源電圧Vpixにリセットされる。
フローティング拡散領域FDの電圧レベルは、サンプリングされて、リセットレベル信号として使用される。
T2時点で、第1伝送信号TS1に応答して第1伝送トランジスタTX1がターンオンされ、第1フォトダイオードPD1に蓄積された電荷がフローティング拡散領域キャパシタCfdに移動する。
【0046】
T3時点で、第1トランジスタトランジスタTX1がターンオフされる。
この時、フローティング拡散領域FDの電圧レベルは、T1時点でのリセットレベル信号の電圧レベルにT2~T3時間の間に第1フォトダイオードPD1からフローティング拡散領域FDに伝達された電荷を加えた値に対応する。
T4時点で、フローティング拡散領域FDの電圧レベルがサンプリングされてセンシング信号として使用される。
第1フォトダイオードPD1がピクセルグループPG11の左側に位置するので、センシング信号は、位相情報を含む。
センシング信号は、第1アナログ信号AS1と指称され、対応するカラムラインに提供される。
その後、アナログ-デジタルコンバータ140は、T1時点でサンプリングされたリセット信号とT4時点でサンプリングされた第1アナログ信号AS1を利用して位相情報を含む第1デジタル信号を生成する。
例えば、第1デジタル信号は、T4時点でのフローティング拡散領域FDの電圧レベルでT1時点での電圧レベルを引いた値に対応する。
【0047】
T5時点で、第2伝送信号TS2に応答して第2伝送トランジスタTX2がターンオンされ第2フォトダイオードPD2に蓄積された電荷がフローティング拡散領域キャパシタCfdに移動する。
T6時点で、第2伝送トランジスタTX2がターンオフされる。
この時、フローティング拡散領域FDの電圧レベルは、T4時点での電圧レベルにT5~T6時間の間に第2フォトダイオードPD2からフローティング拡散領域FDに伝達された電荷を加えた値に対応する。
言い換えれば、T6時点でのフローティング拡散領域FDの電圧レベルは、リセットレベル信号の電圧レベルに第1フォトダイオードPD1及び第2フォトダイオードPD2から伝達された電荷を加えた値に対応する。
【0048】
T7時点で、フローティング拡散領域FDの電圧レベルがサンプリングされてセンシング信号として使用される。
第2フォトダイオードPD2がピクセルグループPG11の右側に位置するので、センシング信号は、位相情報を含む。
センシング信号は、第2アナログ信号AS2と指称され、対応するカラムラインに提供される。
その後、アナログ-デジタルコンバータ140は、T1時点でサンプリングされたリセット信号、T4時点でサンプリングされた第1アナログ信号AS1、及びT7時点でサンプリングされた第2アナログ信号AS2を利用して位相情報を含む第2デジタル信号を生成する。
例えば、第2デジタル信号は、T7時点でのフローティング拡散領域FDの電圧レベルでT1時点での電圧レベル及びT4時点での電圧レベルを引いた値に対応する。
このようなRSS読出し方式で、複数のピクセルグループ(PG11~PG48)の各々から位相情報を含むデジタル信号が生成される。
【0049】
図6は、
図2のイメージセンサー100Aによってイメージデータが生成される一例を説明するための図である。
説明の便宜上、
図6では第1行に配置されたピクセルグループ(PG11~PG18)で生成されたアナログ信号によってイメージデータが生成される一例を示す。
図6を参照すると、アナログ-デジタルコンバータ130は、第1~第8サブ-アナログ-デジタルコンバータ(Sub-ADC1~Sub-ADC8)を含む。
【0050】
イメージデータ生成モジュール141は、第1~第8サブ-イメージデータ生成モジュール(Sub-IDG Module1~SubIDG Module8)を含む。
ピクセルグループPG11から生成された第1及び第2アナログ信号(AS1、AS2)は、第1サブ-アナログ-デジタルコンバータ(Sub-ADC1)に提供され、第1サブ-アナログ-デジタルコンバータ(Sub-ADC1)は、第1及び第2デジタル信号(DS1、DS2)を出力する。
第1サブ-イメージデータ生成モジュール(Sub-IDG Module1)は、第1及び第2デジタル信号(DS1、DS2)を合算してイメージデータIDTA11を生成する。
この時、第1デジタル信号DS1及び第2デジタル信号DS2に含まれた位相情報は、互いに相殺される。
これと同様な方式で、ピクセルグループ(PG12~PG18)から生成されたアナログ信号に基づいて、イメージデータ(IDTA12~IDTA18)が生成される。
【0051】
図7及び
図8は、
図2のイメージセンサー100Aが位相データを生成する一例を説明するための図である。
具体的に、
図7は、フルモードでのカーネルの設定方法又はROI領域以外の他の領域に対するカーネルの設定方法の一例を示す。
図8は、フルモードでの位相データを生成するか、又はROI領域以外の他の領域に対する位相データを生成する一例を示す。
説明の便宜上、各カーネル(Kernel)は、4×2のサイズを有すると仮定する。
ここで、4は、行の数を意味し、2は、列の数を意味する。
【0052】
図7を参照すると、カラーによる信号レベルの差が発生しないように、各カーネルで同一のカラーに対応するピクセルグループの数は、互いに同一である。
例えば、第1~第4カーネル(Kernel1~Kernel4)は、全てグリーン(G)に対応する4つのピクセルグループを含む。
また、第1~第4カーネル(Kernel1~Kernel4)は、全てレッド(R)に対応する2つのピクセルグループ及びブルー(B)に対応する2つのピクセルグループを含む。
ズーム領域及び/又はROI領域以外の他の領域において、第1~第4カーネル(Kernel1~Kernel4)は、互いに重畳(overlap)しないように設定される。
例えば、第1カーネルKernel1は、8つのピクセルグループ(PG11、PG12、PG21、PG22、PG31、PG32、PG41、PG42)を含み、第2カーネルKernel2も8つのピクセルグループ(PG13、PG14、PG23、PG24、PG33、PG34、PG43、PG44)を含み、第1カーネルKernel1に属するピクセルグループは、第2カーネルKernel2に属するピクセルグループと重畳しない。
【0053】
図8を参照すると、アナログ-デジタルコンバータ130は、第1~第8サブ-アナログ-デジタルコンバータ(Sub-ADC1~Sub-ADC8)を含む。
位相データ生成モジュール142は、第1~第4サブ-位相データ生成モジュール(Sub-PDG Module1~Sub-PDG Module4を含む。
第1及び第2サブ-アナログ-デジタルコンバータ(Sub_ADC1、Sub_ADC2)そして第1サブ-位相データ生成モジュール(Sub-PDG Module1)は、第1カーネルKernelに対応する位相データを生成するように動作する。
【0054】
具体的には、第1サブ-アナログ-デジタルコンバータ(Sub-ADC1)は、第1列に対応し、第1列のピクセルグループ(PG11、PG21、PG31、PG41)の各々からアナログ信号(AS1、AS2)を順次に受信する。
第1サブ-アナログ-デジタルコンバータ(Sub-ADC1)は、受信したアナログ信号に基づいて、第1列のピクセルグループ(PG11、PG21、PG31、PG41)の各々に対応するデジタル信号(DS1、DS2)を生成する。
ここで、ピクセルグループ(PG11、PG21、PG31、PG41)の各々の第1デジタル信号DS1は、各ピクセルグループの左側に対応する位相情報を含み、ピクセルグループ(PG11、PG21、PG31、PG41)の各々の第2デジタル信号DS2は、各ピクセルグループの右側に対応する位相情報を含む。
これと同様に、第2サブ-アナログ-デジタルコンバータ(Sub-ADC2)は、第2列のピクセルグループ(PG12、PG22、PG32、PG42)の各々に対応するデジタル信号(DS1、DS2)を順次に出力する。
【0055】
第1サブ-位相データ生成モジュール(Sub_PDG Module1)は、第1列のピクセルグループ(PG11、PG21、PG31、PG41)の各々に対応するデジタル信号(DS1、DS2)及び第2列のピクセルグループ(PG12、PG22、PG32、PG42)の各々に対応するデジタル信号(DS1、DS2)を順次に受信する。
第1サブ-位相データ生成モジュール(Sub_PDG Module1)は、受信したデジタル信号に対するビニング動作を実行し、第1位相データPDTA1を生成する。
これと同様な方式で、第2~第4位相データ(PDTA2~PDTA4)が生成される。
【0056】
図9は、
図6で生成されたイメージデータ及び
図7及び
図8で生成された位相データを含むデータセット(Data Set)の一例を示す図である。
図9を参照すると、データセットは、第1~第4イメージデータ(Image data1~Image data4)及び位相データ(Phase data)を含む。
例えば、第1イメージデータ(Image data1)は、
図6で説明したイメージデータ(IDTA11~IDTA18)を結合したものである。
位相データ(Phase data)は、
図8で説明した位相データ(PDTA1~PDTA4)を結合したものである。
フルモードでのカーネルの数は、クロップズームモードでのカーネルの数に比べて相対的に少ない。
したがって、イメージデータの長さに比べて位相データの長さの比率は、以下では説明されるクロップズームモードに比べて相対的に小さい。
また、ROI領域以外の他の領域に対するカーネルの数は、ROI領域に対するカーネルの数に比べて相対的に少ない。
したがって、位相データ(Phase data)の長さは、ROI領域に対する位相データの長さに比べて相対的に短い。
【0057】
図10及び
図11は、
図2のイメージセンサー100Aがクロップズームモードでの位相データを生成するか、又はROI領域に対して位相データを生成する一例を説明するための図である。
具体的には、
図10は、クロップズームモードでのカーネルの設定方法又はROI領域に対するカーネルの設定方法の一例を示す。
図11はイメージセンサー100Aによってズーム領域に対する位相データを生成するか、又はROI領域に対する位相データを生成する一例を示す。
図10及び
図11の構成及び動作は、
図7及び
図8と類似である。
したがって、同一であるか、或いは類似の構成要素は同一であるか、或いは類似の参照番号で表記され、重複される説明は以下で省略する。
また、説明の便宜上、
図7及び
図8と同様に、各カーネル(Kernel)は4×2のサイズを有すると仮定する。
【0058】
図10を参照すると、カラーによる信号レベルの差が発生しないように、同一のカラーに対応するピクセルグループの数は、各々のカーネルで互いに同一である。
例えば、第1~第7カーネル(Kernel1~Kernel7)は、全てグリーン(G)に対応する4つのピクセルグループ、レッド(R)に対応する2つのピクセルグループ及びブルー(B)に対応する2つのピクセルグループを含む。
第1~第7カーネル(Kernel1~Kernel7)は、隣接するカーネルが互いに重畳(overlap)するように設定される。
例えば、第1カーネルKernel1と第2カーネルKernel2は、全て第2列に対応するピクセルグループ(PG12、PG22、PG32、PG42)を含む。
同様に、第2カーネルKernel2と第3カーネルKernel3は、全て第3列に対応するピクセルグループ(PG13、PG23、PG33、PG43)を含む。
このように、隣接するカーネルが互いに重畳するように設定することによって、ズーム領域及び/又はROI領域に対するカーネルの数は、他の領域に対するカーネルの数に比べて多くなる。
【0059】
図11を参照すると、アナログ-デジタルコンバータ130は、第1~第8サブ-アナログ-デジタルコンバータ(Sub-ADC1~Sub-ADC8)を含む。
位相データ生成モジュール142は、第1~第7サブ-位相データ生成モジュール(Sub-PDG Module1~Sub PDG Module7)を含む。
図8では、隣接するカーネルが互いに重畳していないので、1つのサブ-アナログ-デジタルコンバータの出力が1つの位相データを生成するために使用される。
しかし、
図11では、隣接するカーネルが互いに重畳しているので、1つのサブ-アナログ-デジタルコンバータの出力が互いに異なる2つの位相データを生成するために使用される。
例えば、第2サブ-アナログ-デジタルコンバータ(Sub-ADC2)の出力は、第1サブ-位相データ生成モジュール(Sub-PDG Module1)及び第2サブ-位相データ生成モジュール(Sub-PDG Module2)に提供されて、第1位相データPDTA1及び第2位相データPDTA2を生成するために使用される。
このように、1つのサブ-アナログ-デジタルコンバータの出力が互いに異なる2つの位相データを生成するために使用されるので、
図8に比べてさらに多い位相データ(PDTA1~PDTA7)が生成される。
【0060】
図12は、
図10及び
図11で生成された位相データを含むデータセット(Data Set)の一例を示す図である。
説明の便宜上、イメージデータは、
図6で生成されたイメージデータと同一であると仮定する。
図12を参照すると、位相データ(Phase data)は、
図11で説明した位相データ(PDTA1~PDTA7)が結合されて生成される。
クロップズームモードでのカーネルの数がフルモードでのカーネルの数に比べて多いので、クロップズームモードでのイメージデータの長さに比べて位相データの長さの比率は、
図9及び
図12に示したように、フルモードに比べて大きい。
また、ROI領域に対するカーネルの数はROI領域以外の領域に対するカーネルの数に比べて相対的に多いので、ROI領域に対する位相データ(Phase data)の長さは、
図9及び
図12に示したように、ROI領域以外の領域に対する位相データの長さに比べて相対的に長い。
【0061】
以上の
図2~
図12を参照して説明したように、本発明の実施形態によるイメージセンサー100Aは、対象領域情報に基づいてカーネルの数を異なるように設定することができる。
特に、クロップズームモード及び/又はROI領域に対応するカーネルの数は、フルモード及び/又はROI領域以外の領域に比べて多く、したがって高解像度の位相データが生成され得る。
【0062】
[アナログ信号を利用して位相データの長さを可変するイメージセンサー]
図13は、本発明の他の実施形態によるイメージセンサー100Bの概略構成を示すブロック図である。
図13のイメージセンサー100Bは、
図2のイメージセンサー100Aと類似である。
したがって、同一であるか、或いは類似の構成要素は同一であるか、或いは類似の参照番号で表記され、重複される説明は以下で省略する。
【0063】
図2のイメージセンサー100Aがデジタル信号をビニング(binning)することによって位相データを生成することに比べて、
図13のイメージセンサー100Bは、ピクセルアレイ110から提供されるアナログ信号をビニングすることによって位相データを生成する。
このために、イメージセンサー100Bは、アナログ-デジタルコンバータ130の前段に配置されるビニングブロック170をさらに含む。
ビニングブロック170は、ピクセルアレイ110からアナログ信号を受信し、これをビニングして出力する。
【0064】
図14は、
図13のビニングブロック170及びこれに対応するアナログ-デジタルコンバータ130の一例を示す図である。
図14を参照すると、ビニングブロック170は、複数の平均化回路(AVE1~AVE7)、複数のスイッチ(SW1~SW7)、及び複数の選択回路(SC1~SC7)を含む。
複数の平均化回路(AVE1~AVE7)の各々は、2つのカラムラインの間に配置される。
例えば、第1平均化回路AVE1は、第1カラムラインCL1及び第2カラムラインCL2の間に配置され、第2平均化回路AVE2は、第2カラムラインCL2及び第3カラムラインCL3の間に配置される。
この場合、第2カラムラインCL2を通じて提供されるアナログ信号は、第1平均化回路AVE1及び第2平均化回路AVE2に提供される。
【0065】
複数の平均化回路(AVE1~AVE7)の各々は、対応するカラムラインからアナログ信号ASを受信し、受信したアナログ信号を平均化してビニングアナログ信号BASを出力する。
例えば、第1平均化回路AVE1は、第1カラムラインCL1及び第2カラムラインCL2からアナログ信号を受信し、これを平均化して第1ビニングアナログ信号BAS1を出力する。
同様に、第2平均化回路AVE2は、第2カラムラインCL2及び第3カラムラインCL3からアナログ信号ASを受信し、これを平均化して第2ビニングアナログ信号BAS2を出力する。
【0066】
複数のスイッチ(SW1~SW7)は、位相データ可変モジュール170から受信した位相可変モード信号PVMSに応答してターンオン又はターンオフされる。
本発明の一実施形態において、ズーム領域及び/又はROI領域に対するビニング動作を実行する時にターンオンされるスイッチの数は、他の領域に対するビニング動作を実行する時にターンオンされるスイッチの数より多い。
より詳細に説明すれば、フルモード及び/又はROI領域以外の他の領域に対する位相データを生成する時には、1つのカラムラインを通じて受信したアナログ信号が1つの位相データを生成するために使用されるように、複数のスイッチ(SW1~SW7)の中の一部スイッチのみがターンオンされる。
例えば、
図7のようにカーネルのサイズが4×2である場合、隣接する2つのスイッチの中で1つのスイッチのみがターンオンされる。
【0067】
これとは異なり、クロップズームモード及び/又はROI領域に対する位相データを生成する時には、1つのカラムラインを通じて受信したアナログ信号が少なくとも2つの位相データを生成するために使用されるように、他の領域に対する位相データを生成する時に比べてさらに多いスイッチがターンオンされる。
例えば、
図10のようにカーネルのサイズが4×2である場合、隣接する2つのスイッチの全てがターンオンされる。
【0068】
複数の選択回路(SC1~SC7)の各々は、対応するカラムラインからアナログ信号を受信し、対応する平均化回路からビニングアナログ信号を受信する。
複数の選択回路(SC1~SC7)の各々は、データモード信号DMSに応答して、カラムラインから提供されるアナログ信号又は平均化回路から提供されるビニングアナログ信号の中のいずれか1つを選択する。
例えば、イメージデータを生成する場合、複数の選択回路(SC1~SC7)の各々は、カラムラインから提供されるアナログ信号を選択する。
例えば、位相データを生成する場合、複数の選択回路(SC1~SC7)の各々は、平均化回路から提供されるビニングアナログ信号を選択する。
複数のサブ-アナログ-デジタルコンバータ(Sub_ADC1~Sub_ADC7)は、複数の選択回路(SC1~SC7)に対応し、アナログ信号又はビニングアナログ信号をデジタル変換して出力する。
【0069】
図15は、イメージデータを生成する時の
図14のビニングブロック170の動作の一例を説明するための図である。
説明の便宜上、
図6と同様に、
図15では第1行に配置されたピクセルグループ(PG11~PG18)で生成されたアナログ信号によってイメージデータが生成される一例を示す。
図15を参照すると、複数のスイッチ(SW1~SW7)は、位相可変モード信号PVMSに応答して全てターンオフされる。
そして、複数の選択回路(SC1~SC8)は、データモード信号DMSに応答して対応するカラムラインに接続される。
この場合、複数のサブ-アナログ-デジタルコンバータ(Sub_ADC1~Sub_ADC8)の各々は、対応するカラムラインからアナログ信号を受信する。
この時、各ピクセルグループの左側に位置したピクセルに対応するアナログ信号に含まれた位相情報と右側に位置したピクセルに対応するアナログ信号に含まれた位相情報は、サブ-アナログ-デジタルコンバータによって合算される過程で互いに相殺される。
したがって、イメージデータ(IDTA11~IDTA18)が生成される。
【0070】
図16は、フルモード及び/又はROI領域以外の他の領域に対する位相データを生成する時の
図14のビニングブロック170の動作の一例を説明するための図である。
説明の便宜上、以下では、
図7のようにカーネルが設定されると仮定する。
また、各ピクセルグループの左側に配置されたピクセルの伝送トランジスタTXが先にターンオンされて第1アナログ信号AS1が生成され、その後各ピクセルグループの右側に配置されたピクセルの伝送トランジスタTXがターンオンされて第2アナログ信号AS2が生成されると仮定する。
【0071】
図16を参照すると、複数の平均化回路(AVE1~AVE7)の各々は、対応するカラムラインから第1アナログ信号AS1を受信し、これを平均化してビニングアナログ信号(BAS1~BAS7)を生成する。
複数のスイッチ(SW1~SW7)は、位相可変モード信号PVMSに応答して隣接する2つのスイッチの中で1つのみがターンオンされる。
例えば、複数のスイッチ(SW1~SW7)の中で第1、第3、第5、第7スイッチ(SW1、SW3、SW5、SW7)のみがターンオンされ、以外のスイッチ(SW2、SW4、SW6)は、ターンオフされる。
複数の選択回路(SC1~SC8)は、データモード信号DMSに応答してターンオンされたスイッチに接続される。
例えば、複数の選択回路(SC1~SC8)の中で第1、第3、第5、第7選択回路(SC1、SC3、SC5、SC7)が各々第1、第3、第5、第7スイッチ(SW1、SW3、SW5、SW7)に接続される。
【0072】
したがって、第1、第3、第5、第7平均化回路(AVE1、AVE3、AVE5、AVE7)で生成されたビニングアナログ信号(BAS1、BAS3、BAS5、BAS7)が各々対応するサブ-アナログ-デジタルコンバータに提供されて、位相データを生成するために使用される。
一方、他のビニングアナログ信号(BAS2、BAS4、BAS6)は、位相データを生成するために使用されなくともよい。
この場合、第1、第3、第5、第7ビニングアナログ信号(BAS1、BAS3、BAS5、BAS7)の各々に対応するカラムラインは、互いに重畳しない。
例えば、第1ビニングアナログ信号BAS1は、第1及び第2カラムライン(CL1、CL2)に対応し、第3ビニングアナログ信号BAS3は、第3及び第4カラムライン(CL3、CL4)に対応し、第1及び第3ビニングアナログ信号(BAS1、BAS3)に対応するカラムラインは互いに重畳しない。
【0073】
これは、
図7のように、隣接するカーネル同士互いに重畳しないようにカーネルが設定されることを意味する。
再び言えば、ズーム領域及び/又はROI領域以外の他の領域に対する位相データを生成する時には、1つのカラムラインを通じて受信したアナログ信号が1つの位相データを生成するために使用される。
一方、これと同様な方式で、各ピクセルグループの右側に位置するピクセルに対応する第2アナログ信号AS2に対するビニングアナログ信号が生成され、生成されたビニングアナログ信号が各々対応するサブ-アナログ-デジタルコンバータに提供され得る。
したがって、
図16に示したように3つの位相データ(PDTA1、PDTA3、PTDA7)が生成される。
【0074】
図17は、クロップズームモード及び/又はROI領域に対する位相データを生成する時の
図14のビニングブロック170の動作の一例を説明するための図である。
説明の便宜上、以下では、
図10のようにカーネルが設定されると仮定する。
また、
図16のように、各ピクセルグループの左側に配置されたピクセルの伝送トランジスタTXが先にターンオンされて第1アナログ信号AS1が生成され、その後各ピクセルグループの右側に配置されたピクセルの伝送トランジスタTXがターンオンされて第2アナログ信号AS2が生成されると仮定する。
【0075】
図17を参照すると、複数の平均化回路(AVE1~AVE7)の各々は、対応するカラムラインから第1アナログ信号AS1を受信し、これを平均化してビニングアナログ信号(BAS1~BAS7)を生成する。
複数のスイッチ(SW1~SW7)は、位相可変モード信号PVMSに応答して全てターンオンされる。
したがって、ビニングアナログ信号(BAS1~BAS7)が各々対応する選択回路に提供される。
複数の選択回路(SC1~SC7)は、データモード信号DMSに応答して各々対応するスイッチに接続される。
したがって、ビニングアナログ信号(BAS1~BAS7)が各々対応するサブ-アナログ-デジタルコンバータに提供される。
したがって、第1~第7平均化回路(AVE1~AVE7)で生成された第1~第7ビニングアナログ信号(BAS1~BAS7)が各々対応するサブ-アナログ-デジタルコンバータに提供されて、位相データを生成するために使用される。
【0076】
この場合、ビニングアナログ信号(BAS1~BAS7)の各々に対応するカラムラインは、互いに重畳される。
例えば、第1ビニングアナログ信号BAS1は、第1及び第2カラムライン(CL1、CL2)に対応し、第2ビニングアナログ信号BAS3は、第2及び第3カラムライン(CL2、CL3)に対応するので、第2カラムラインCL2から受信したアナログ信号は、第1及び第2ビニングアナログ信号(BAS1、BAS2)を生成するために重複して使用される。
これは、
図10のように、隣接するカーネル同士互いに重畳するようにカーネルが設定されることができることを意味する。
再び言えば、ズーム領域及び/又はROI領域に対する位相データを生成する時には、1つのカラムラインを通じて受信したアナログ信号が2つの位相データを生成するために使用される。
一方、これと同様な方式で、各ピクセルグループの右側に位置するピクセルに対応する第2アナログ信号AS2に対するビニングアナログ信号が生成され、生成されたビニングアナログ信号が各々対応するサブ-アナログ-デジタルコンバータに提供される。
したがって、
図17に示したように、
図16に比べて多い7つの位相データ(PDTA1~PTDA7)が生成され、結果的に高解像度の位相データが生成される。
【0077】
以上の
図13~
図17を参照して説明したように、本発明の実施形態によるイメージセンサー100Bは、対象領域情報に応じて位相データの長さを可変することができ、特にクロップズームモード及び/又はROI領域に対応するカーネルの数をフルモード及び/又はROI領域以外の領域に比べて多く設定することによって、クロップズームモード及び/又はROI領域に対して高解像度の位相データを生成することができる。
一方、上述した説明は、例示的なものであり、本発明の技術的思想はこれに限定されないことが理解されるべきである。
例えば、ピクセルアレイの構造及び各カーネルのサイズは実施形態によって多様に変形され得る。
以下では、本発明の技術的思想にしたがう様々な変形例をより詳細に説明する。
【0078】
[ピクセルアレイ構造、カーネルサイズ、及びカーネル設定方式の変形例]
図18は、本発明の他の実施形態によるピクセルアレイの構造及びカーネル設定方法の一例を示す図である。
図18では、フルモード及び/又はROI領域以外の領域に対する位相データを生成する時のカーネルの一例を示す。
【0079】
図18を参照すると、4つの互いに隣接するピクセルグループが互いに同一のカラーに対応するようにピクセルアレイが形成される。
例えば、互いに隣接する4つのピクセルグループ(PG11、PG12、PG21、PG22)は、グリーン(G)カラーに対応し、互いに隣接する4つのピクセルグループ(PG13、PG14、PG23、PG24)は、レッド(R)に対応し、互いに隣接する4つのピクセルグループ(PG31、PG32、PG41、PG42)は、ブルー(B)に対応する。
この場合、同一のカラーに対応するピクセルグループの数が各カーネルで互いに同一であるように、カーネルのサイズが設定される。
例えば、各カーネルは、
図18に示したように4×4サイズで設定される。
ズーム領域及び/又はROI領域以外の他の領域に対する位相データを生成する時、第1カーネルKernel1と第2カーネルKernel2は、互いに重畳しないように設定される。
【0080】
図19は、クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の一例を説明するための図である。
説明の便宜上、
図19のピクセル構造は、
図18のピクセル構造と同一であると仮定する。
図19を参照すると、各カーネルは4×4のサイズを有し、第1方向(X軸方向)に沿って2くらい移動して配置されるように設定される。
この場合、第1~第3カーネル(Kernel1~Kernel3)に含まれたグリーン(G)、レッド(R)、ブルー(B)カラーに対応するピクセルグループの数は、全て同一である。
したがって、カラーによる信号レベルの差が発生しない。
さらに、
図19のズーム領域及び/又はROI領域に対するカーネルの数は、
図18の他の領域に比べて多い。
したがって、ズーム領域及び/又はROI領域に対して高解像度の位相データが生成される。
【0081】
図20は、クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
説明の便宜上、
図20のピクセル構造は、
図18のピクセル構造と同一であると仮定する。
図20を参照すると、ズーム領域及び/又はROI領域に対応するカーネルのサイズは、他の領域に対応するカーネルのサイズに比べて小さく設定される。
例えば、クロップズームモード及び/又はROI領域に対する位相データを生成する時に、各カーネルは2×1サイズで設定される。
この場合、各カーネルに含まれたピクセルグループのカラーは、全て同一である。
例えば、
図20に示したように、各カーネルに含まれたピクセルグループは、全てグリーン(G)カラーに対応する。
【0082】
また、クロップズームモード及び/又はROI領域に対する位相データを生成する時に、各カーネルは、ジグザグ(zigzag)方式に設定される。
例えば、第1及び第2カーネル(Kernel1、Kernel2)は、第1及び第2行に配置され、第1方向(X軸方向)に沿って1くらい離隔されて配置される。
第3及び第4カーネル(Kernel3、Kernel4)は、第3及び第4行に配置され、第1方向(X軸方向)に沿って1くらい離隔されて配置される。
この場合、
図20のクロップズームモード及び/又はROI領域に対するカーネルの数は、
図18の他の領域に比べて多い。
したがって、クロップズームモード及び/又はROI領域に対して高解像度の位相データが生成される。
【0083】
図21は、クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
図21のカーネルの設定方法は、
図20と類似である。
したがって、重複される説明は以下で省略する。
図21を参照すると、高解像度モードで、各カーネルは1×1サイズで設定される。
この場合、第1及び第2カーネル(Kernel1、Kernel2)は、第2行に配置され、第3及び第4カーネル(Kernel3、Kernel4)は、第3行に配置される。
この場合、
図21のクロップズームモード及び/又はROI領域に対するカーネルの数は、
図18の他の領域に比べて多い。
したがって、クロップズームモード及び/又はROI領域に対して高解像度の位相データが生成される。
【0084】
図22は、本発明の他の実施形態によるピクセルアレイの構造及びカーネル設定方法の一例を説明するための図である。
図22では、クロムズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの一例を示す。
図22のカーネルの設定方法は、
図10と類似である。
したがって、重複される説明は以下で省略する。
【0085】
図22を参照すると、カラーフィルターは、ホワイトカラーをセンシングするホワイト(W)カラーフィルターをさらに含む。
例えば、ピクセルグループ(PG11、PG22、PG31、PG42)は、ホワイト(W)カラーフィルターを含み、ピクセルグループ(PX12、PG32)は、グリーン(G)カラーフィルターを含み、ピクセルグループPG21は、レッド(R)カラーフィルターを含み、ピクセルグループPG41は、ブルー(B)カラーフィルターを含む。
この場合、カラーによる信号レベルの差が発生しないように、各カーネルで同一のカラーに対応するピクセルグループの数は、互いに同一である。
例えば、第1~第7カーネル(Kernel1~Kernel7)の各々は、全てホワイト(W)に対応する4つのピクセルグループ、グリーン(G)に対応する2つのピクセルグループ、そしてレッド及びブルー(R、B)に対応する2つのピクセルグループを含む。
クロップズームモード及び/又はROI領域に対する位相データを生成する時に、第1~第7カーネル(Kernel1~Kernel7)は、隣接するカーネルが互いに重畳(overlap)するように設定される。
したがって、高解像度の位相データが生成される。
【0086】
図23は、クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
図23のカーネルの設定方法は、
図22と類似である。
したがって、重複される説明は以下で省略する。
図23を参照すると、クロップズームモード及び/又はROI領域に対する位相データを生成する時に、各カーネルは1×1サイズで設定される。
また、各カーネルは、ジグザグ方式で設定される。
例えば、第1カーネルKernel1は、第1行及び第1列に配置され、第2カーネルKernel2は、第2行及び第2列に配置され、第3カーネルKernel3は、第3行及び第1列に配置され、第4カーネルKernel4は、第4行及び第2列に配置される。
このように、ジグザグ方式でカーネルを設定することによって、
図23のクロップズームモード及び/又はROI領域に対するカーネルの数は、
図18に比べて多い。
したがって、クロップズームモード及び/又はROI領域に対して高解像度の位相データが生成される。
【0087】
図24は、本発明の他の実施形態によるピクセルアレイの構造及びカーネル設定方法の一例を説明するための図である。
図25は、
図24のピクセルグループPG11の回路の一例を示す回路図である。
図24のピクセルアレイの構造及びカーネルの設定方法は、
図22と類似である。
したがって、重複される説明は以下で省略する。
図22の各ピクセルグループが2つのピクセルを含むことに比べて、
図24のピクセルグループの各々は、4つのピクセルを含む。
例えば、
図25に示したように、ピクセルグループPG11は、フローティング拡散領域FDを共有する第1~第4ピクセル(PX1~PX4)を含む。
この場合、
図25に示したように、第1及び第3ピクセル(PX1、PX3)は、左側に配置され、第2及び第4ピクセル(PX2、PX4)は、右側に配置される。
同一のカラーに対応するピクセルグループの数は、各々のカーネルで互いに同一である。
ズーム領域及び/又はROI領域に対する位相データを生成する時に、第1~第7カーネル(Kernel1~Kernel7)は、隣接するカーネルが互いに重畳(overlap)するように設定される。
したがって、高解像度の位相データが生成される。
【0088】
図26は、クロップズームモード及び/又はROI領域に対する位相データを生成する時のカーネルの設定方法の他の例を説明するための図である。
図26のカーネルの設定方法は
図24と類似である。したがって、重複される説明は以下で省略する。
図26を参照すると、クロップズームモード及び/又はROI領域に対する位相データを生成する時に、各カーネルは1×1サイズで設定される。
また、各カーネルは、ジグザグ方式で設定される。
このようにジグザグ方式でカーネルを設定する場合、クロップズームモード及び/又はROI領域に対するカーネルの数は、さらに多くなり、したがって高解像度の位相データが生成される。
【0089】
[デジタルズーム又はROI動作を支援するイメージセンサー]
図27~
図29は、デジタルズーム動作の時に位相データの長さを可変するイメージセンサーの一例を説明するための図である。
具体的には、
図27は、オリジナルイメージ及びこれに対応するデータセット(Data Set)を示す図であり、
図28は、クロップズームモード(Crop Zoom Mode)での一般的なデータセット(Data Set)の一例を示す図であり、
図29は、クロップズームモードで本発明のイメージセンサーによって位相データの長さが長くなったデータセットの一例を示す図である。
【0090】
図27を参照すると、オリジナルイメージ(Original Image)は、X個のカラムライン及びY個のローラインに対応する。
イメージセンサーによるデータセット生成の結果、Nの長さを有するイメージデータ及びMの長さを有する位相データが生成される。
この場合、イメージデータの長さに比べて位相データの長さの比率(即ち、位相データ/イメージデータ)は、「M/N」である。
【0091】
図28を参照すると、デジタルズーム動作の時に、イメージセンサーは、拡大しようとするズーム領域のみを読み出す(readout)クロップズームモードで動作する。
この時、一般的なイメージセンサーの場合、クロップズームモードでの位相データの長さは、フルモードと同様にMの長さを有する。
したがって、デジタルズーム倍率を「a」とすれば、イメージデータ及び位相データは各々「N/a」及び「M/a」にスケーリングされる。
この場合、位相データをイメージデータと同様にスケーリングされたまま出力されれば、ディスパリティ(disparity)の解像度が低いので、AF(Auto Focusing)観点で不利になる。
一方、この場合、イメージデータの長さに比べて位相データの長さの比率(即ち、位相データ/イメージデータ)は、「M/N」でフルモードと同一である。
【0092】
図29を参照すると、本発明の実施形態によるイメージセンサーは、クロップズームモードで、位相データの長さを増加させる。
例えば、本発明の実施形態によるイメージセンサーは、クロップズームモードでの位相データの長さが「M/a」より大きく、「M」よりは小さいか、或いは同一であるように可変させる。
したがって、デジタルズーム動作の時に高解像度の位相データが生成される。
この場合、イメージデータの長さに比べて位相データの長さの比率(即ち、位相データ/イメージデータ)は、「M/N」より大きく「a(M/N)」より小さい。
即ち、イメージデータの長さに比べて位相データの長さの比率がフルモードより大きくなる。
【0093】
図30は、ROI動作の時に位相データの長さを可変するイメージセンサーの一例を説明するための図である。
図30を参照すると、本発明の実施形態によるイメージ処理装置は、スマートフォン等のディスプレータッチ信号から「AF ROI」領域(Auto Focus Region Of Interest:AF ROI)の情報を受信する。
例えば、「AF ROI」領域は、ピンチツーズーム(Pinch to Zoom)を通じて任意の位置に対してディスプレーされる領域であり、又は、タッチAFを通じて現在ディスプレーされる領域の中でユーザが焦点を合せたい領域であり得る。
図30に示したように、本発明の実施形態によるイメージセンサーは、ROI領域に対応する位相データの長さを増加させることによって、高解像度の位相データを提供することができる。
【0094】
尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0095】
10 イメージ処理装置
100、100A イメージセンサー
110 ピクセルアレイ
120 ロードライバー
130 アナログ-デジタルコンバータ
140 読出し回路
141 イメージデータ生成モジュール
142 位相データ生成モジュール
150 タイミングコントローラ
160 位相データ可変モジュール
170 ビニングブロック
200 イメージプロセッサ
AVE1~AVE7 (第1~第7)平均化回路
CMD_DZ デジタルズームコマンド
CMD_ROI ROIコマンド
DX 駆動トランジスタ
FD フローティング拡散領域
IDTA イメージデータ
PD1、PD2 (第1、第2)フォトダイオード
PDTA 位相データ
PG11~PG48 ピクセルグループ
PX1~PX4 (第1~第4)ピクセル
ROI (Region Of Interest)
RS リセット信号
RX リセットトランジスタ
SC 選択回路
Sub-ADC1~Sub-ADC8 (第1~第8)サブ-アナログ-デジタルコンバータ
Sub-IDG Module1~SubIDG Module8 (第1~第8)サブ-イメージデータ生成モジュール
SW スイッチ
TX、TX1~TX4 (第1~第4)伝送トランジスタ
RX リセットトランジスタ
SX 選択トランジスタ
TAI 対象領域情報
TS、TS1~TS4 (第1~第4)伝送信号