特開 2024-118461 イメージ処理プロセッサとこれを備えるイメージ処理装置及びイメージ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118461

(43)【公開日】2024-08-30

(54)【発明の名称】イメージ処理プロセッサとこれを備えるイメージ処理装置及びイメージ処理方法

(51)【国際特許分類】

   H04N 25/70 20230101AFI20240823BHJP

【ＦＩ】

H04N25/70

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024023444

(22)【出願日】2024-02-20

(31)【優先権主張番号】10-2023-0022446

(32)【優先日】2023-02-20

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】金 永 珍

(72)【発明者】

【氏名】崔 聖 後

【テーマコード（参考）】

5C024

【Ｆターム（参考）】

5C024EX52

5C024GX02

5C024HX58

(57)【要約】

【課題】パワー変動を低減させるイメージ処理プロセッサを提供する。
【解決手段】本発明のイメージ処理プロセッサは、入力されるピクセルデータを順次にスキャニングしてライン別にメモリにそれぞれ保存し、保存されたピクセルデータを通じてＭ×Ｎのカーネルマトリックスを出力する第１変換部と、プロセッシング単位ユニットを基準としてＭ×Ｎのカーネルマトリックスに対応するピクセルデータをイメージ処理するイメージ処理回路と、第１変換部に入力されたピクセルデータのフォーマットに対応するようにイメージ処理回路の処理結果をリオーダリングして出力する第２変換部と、を備え、Ｍ及びＮは、２以上の整数である。
【選択図】図４

【特許請求の範囲】

【請求項1】

入力されるピクセルデータを順次にスキャニングしてライン別にメモリにそれぞれ保存し、保存されたピクセルデータを通じてＭ×Ｎのカーネルマトリックスを出力する第１変換部と、
前記Ｍ×Ｎのカーネルマトリックスに対応するピクセルデータを、プロセッシング単位ユニットを基準としてイメージ処理するイメージ処理回路と、
前記イメージ処理回路の処理結果を、前記第１変換部に入力されたピクセルデータのフォーマットに対応するようにリオーダリングして出力する第２変換部と、を備え、
前記Ｍ及びＮは、２以上の整数であることを特徴とするイメージ処理プロセッサ。

【請求項2】

前記第１変換部は、前記カーネルマトリックスの行方向の個数に対応するＭ個のラインメモリを含むことを特徴とする請求項１に記載のイメージ処理プロセッサ。

【請求項3】

前記第１変換部は、一つのサイクル当りＣＨ個の単位のピクセルデータを同時に入力し、
前記ＣＨは、２＾ｎ（２のｎ乗）を満たし、ｎは、１以上の整数であることを特徴とする請求項１に記載のイメージ処理プロセッサ。

【請求項4】

前記イメージ処理回路は、１ｈ－時間当たり１／２ラインのみに対応する領域のイメージ処理を行い、
前記１ｈ－時間は、一つのライン時間であることを特徴とする請求項１に記載のイメージ処理プロセッサ。

【請求項5】

前記第２変換部は、前記プロセッシング単位ユニットの行方向に対応する数のラインメモリを含むことを特徴とする請求項１に記載のイメージ処理プロセッサ。

【請求項6】

前記第２変換部は、前記ＣＨ個の単位のピクセルデータを前記ラインメモリから順次に出力することを特徴とする請求項５に記載のイメージ処理プロセッサ。

【請求項7】

複数のピクセル及び前記複数のピクセルの上部に配置されたカラーフィルタアレイを含むイメージセンサと、
前記イメージセンサから出力されたピクセルデータを処理するイメージ処理プロセッサと、を備え、
前記イメージ処理プロセッサは、
入力されるピクセルデータを順次にスキャニングしてライン別にメモリにそれぞれ保存し、保存されたピクセルデータを通じてＭ×Ｎのカーネルマトリックスを出力する第１変換部と、
前記Ｍ×Ｎのカーネルマトリックスに対応するピクセルデータを、プロセッシング単位ユニットを基準としてイメージ処理するイメージ処理回路と、
前記イメージ処理回路の処理結果を、前記第１変換部に入力されたピクセルデータのフォーマットに対応するようにリオーダリングして出力する第２変換部と、を含み、
前記Ｍ及びＮは、２以上の整数であることを特徴とするイメージ処理装置。

【請求項8】

前記カラーフィルタアレイは、それぞれ一つのカラー単位にＵｙ×Ｕｘ単位で提供されるピクセルを含み、
前記Ｕｘは、１以上の整数、前記Ｕｙは、２以上の整数であることを特徴とする請求項７に記載のイメージ処理装置。

【請求項9】

前記第１変換部は、一つのサイクル当りＣＨ個のピクセルデータを同時に入力し、
前記ＣＨは、２＾ｎ（２のｎ乗）を満たし、ｎは、１以上の整数であることを特徴とする請求項８に記載のイメージ処理装置。

【請求項10】

前記第１変換部は、前記カーネルマトリックスの行方向の個数に対応するＭ個のラインメモリを含み、前記入力されるピクセルデータをライン別に前記Ｍ個のラインメモリにそれぞれ保存することを特徴とする請求項９に記載のイメージ処理装置。

【請求項11】

前記プロセッシング単位ユニットは、Ｕｙ×（ＣＨ／Ｕｘ）であることを特徴とする請求項９に記載のイメージ処理装置。

【請求項12】

前記第２変換部は、前記Ｕｙ個のラインメモリを含むことを特徴とする請求項９に記載のイメージ処理装置。

【請求項13】

前記第２変換部は、前記Ｕｙ個のラインメモリに含まれるピクセルデータをリオーダリングして、前記ＣＨ個の単位のピクセルデータを前記ラインメモリから順次に出力することを特徴とする請求項１２に記載のイメージ処理装置。

【請求項14】

第１変換部、イメージ処理回路、及び第２変換部を含むイメージ処理プロセッサによるイメージ処理方法であって、
前記第１変換部により、イメージセンサから出力されるピクセルデータを順次に一つのサイクル当りＣＨ個ずつ入力してライン別に第１ラインメモリ～第Ｍラインメモリにそれぞれ保存するステップと、
前記第１変換部により、前記第１ラインメモリ～第Ｍラインメモリにそれぞれ保存されたピクセルデータをＭ×Ｎのカーネルマトリックスの形態で出力するステップと、
前記イメージ処理回路により、プロセッシング単位ユニットを設定し、前記Ｍ×Ｎのカーネルマトリックスに対応するピクセルデータを、前記プロセッシング単位ユニットを使ってイメージ処理するステップと、
前記第２変換部により、前記イメージ処理されたピクセルデータをリオーダリングするステップと、を有し、
前記ＣＨは、２＾ｎを満たし、前記ｎは、１以上の整数であり、
前記Ｍ及び前記Ｎは、２以上の整数であることを特徴とするイメージ処理方法。

【請求項15】

前記プロセッシング単位ユニットは、前記イメージセンサのカラーフィルタアレイのそれぞれ一つのカラー単位に含まれるピクセルの単位によって定められることを特徴とする請求項１４に記載のイメージ処理方法。

【請求項16】

前記一つのカラー単位に含まれるピクセルの単位は、Ｕｙ×Ｕｘであり、
前記プロセッシング単位ユニットは、Ｕｙ×（ＣＨ／Ｕｘ）であり、
前記Ｕｘは、１以上の整数、前記Ｕｙは、２以上の整数であることを特徴とする請求項１５に記載のイメージ処理方法。

【請求項17】

前記イメージ処理するステップは、１ｈ－時間当たり１／２ラインのみに対応する領域のイメージ処理を行い、
前記１ｈ－時間は、一つのライン時間であることを特徴とすることを特徴とする請求項１４に記載のイメージ処理方法。

【請求項18】

前記イメージ処理されたピクセルデータをリオーダリングするステップは、前記Ｕｙに対応する数のラインメモリを用いて、前記イメージ処理されたピクセルデータをライン別にそれぞれ保存するステップを含むことを特徴とする請求項１６に記載のイメージ処理方法。

【請求項19】

前記イメージ処理されたピクセルデータをリオーダリングするステップは、前記Ｕｙに対応する数のラインメモリに全てのピクセルデータが保存されたときに、各ライン別にピクセルデータを前記ラインメモリからそれぞれ出力することを特徴とする請求項１８に記載のイメージ処理方法。

【請求項20】

前記イメージ処理されたピクセルデータをリオーダリングするステップは、前記ＣＨ個の単位でピクセルデータを順次に出力することを特徴とする請求項１９に記載のイメージ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ処理プロセッサとこれを備えるイメージ処理装置及びイメージ処理方法に関する。

【背景技術】

【0002】

イメージセンサは、光学情報を電気信号に変換する半導体素子のうちの一つである。このようなイメージセンサは、電荷結合型（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、及びＣＭＯＳ型（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含む。

【0003】

ＣＭＯＳ型イメージセンサは、ＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）と略称される。ＣＩＳは、２次元的に配列された複数のピクセルを含む。ピクセルのそれぞれは、例えばフォトダイオード（ＰＤ）を含む。フォトダイオードは、入射する光を電気信号に変換する役割を行う。

【0004】

最近、コンピュータ産業及び通信産業の発達によって、デジタルカメラ、カムコーダ、スマートフォン、ゲーム機器、警備用カメラ、医療用マイクロカメラ、ロボットなどの様々な分野で性能を向上させたイメージセンサの需要が増大しつつある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２３－２４３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、パワー変動を低減させるイメージ処理プロセッサを提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するためになされた本発明の一態様によるイメージ処理プロセッサは、入力されるピクセルデータを順次にスキャニングしてライン別にメモリにそれぞれ保存し、保存されたピクセルデータを通じてＭ×Ｎのカーネルマトリックスを出力する第１変換部と、前記Ｍ×Ｎのカーネルマトリックスに対応するピクセルデータを、プロセッシング単位ユニットを基準としてイメージ処理するイメージ処理回路と、前記イメージ処理回路の処理結果を、前記第１変換部に入力されたピクセルデータのフォーマットに対応するようにリオーダリングして出力する第２変換部と、を備え、前記Ｍ及びＮは、２以上の整数である。

【0008】

上記目的を達成するためになされた本発明の一態様によるイメージ処理装置は、複数のピクセル及び前記複数のピクセルの上部に配置されたカラーフィルタアレイを含むイメージセンサと、前記イメージセンサから出力されたピクセルデータを処理するイメージ処理プロセッサと、を備え、前記イメージ処理プロセッサは、入力されるピクセルデータを順次にスキャニングしてライン別にメモリにそれぞれ保存し、保存されたピクセルデータを通じてＭ×Ｎのカーネルマトリックスを出力する第１変換部と、前記Ｍ×Ｎのカーネルマトリックスに対応するピクセルデータを、プロセッシング単位ユニットを基準としてイメージ処理するイメージ処理回路と、前記イメージ処理回路の処理結果を、前記第１変換部に入力されたピクセルデータのフォーマットに対応するようにリオーダリングして出力する第２変換部と、を含み、前記Ｍ及びＮは、２以上の整数である。

【0009】

上記目的を達成するためになされた本発明の一態様による第１変換部、イメージ処理回路、及び第２変換部を含むイメージ処理プロセッサによるイメージ処理方法は、前記第１変換部により、イメージセンサから出力されるピクセルデータを順次に一つのサイクル当りＣＨ個ずつ入力してライン別に第１ラインメモリ～第Ｍラインメモリにそれぞれ保存するステップと、前記第１変換部により、前記第１ラインメモリ～第Ｍラインメモリにそれぞれ保存されたピクセルデータをＭ×Ｎのカーネルマトリックスの形態で出力するステップと、前記イメージ処理回路により、プロセッシング単位ユニットを設定し、前記Ｍ×Ｎのカーネルマトリックスに対応するピクセルデータを、前記プロセッシング単位ユニットを使ってイメージ処理するステップと、前記第２変換部により、前記イメージ処理されたピクセルデータをリオーダリングするステップと、を有し、前記ＣＨは、２＾ｎ（２のｎ乗）を満たし、前記ｎは、１以上の整数であり、前記Ｍ及び前記Ｎは、２以上の整数である。

【発明の効果】

【0010】

本発明のイメージ処理プロセッサによれば、パワー変動を低減させることができ、イメージセンサの水平ノイズを低減させることができ、またパワーを拡散するためのハードウェア構造に適用することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態によるイメージ処理装置のブロック図である。

【図2】本発明の一実施形態によるイメージセンサのセンシングコアのブロック図である。

【図3A】本発明の一実施形態によるカラーフィルタアレイを示す図である。

【図3B】本発明の一実施形態によるカラーフィルタアレイを示す図である。

【図3C】本発明の一実施形態によるカラーフィルタアレイを示す図である。

【図4】本発明の一実施形態によるイメージ処理プロセッサのブロック図である。

【図5】図４のイメージ処理プロセッサを用いたイメージ処理方法を説明するためのブロック図である。

【図6】例示的な方式によってイメージをメモリに保存する順序を示す図である。

【図7】例示的な方式によるメモリ保存方式を示す図である。

【図8A】比較例によるイメージ処理方式を説明するための図である。

【図8B】比較例によるイメージ処理方式を説明するための図である。

【図9A】比較例及び一実施形態によるイメージ処理方式及びそれによるパワー変動を説明するための図である。

【図9B】比較例及び一実施形態によるイメージ処理方式及びそれによるパワー変動を説明するための図である。

【図10】一実施形態によるイメージ処理プロセッサにおけるデータ処理を更に詳細に説明するための図である。

【図11】一実施形態によるイメージ処理プロセッサにおけるタイミングを説明するための図である。

【図12】一実施形態によるイメージ処理方法を示すフローチャートである。

【図13】マルチカメラモジュールを含む電子装置のブロック図である。

【図14】図１３のカメラモジュールの詳細ブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

【0013】

図１は、本発明の一実施形態によるイメージ処理装置のブロック図である。

【0014】

イメージ処理装置１は、イメージセンサ１００を備える。イメージセンサ１００は、光学レンズＬＳを介して入射した客体（ｏｂｊｅｃｔ）の光学的信号をイメージデータに変換する。イメージセンサ１００は、イメージ又は光センシング機能を持つ電子機器に搭載される。例えば、イメージセンサ１００は、デジタルスチールカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブル機器、事物インターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ（ＩｏＴ））機器、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション装置などの電子機器に搭載される。また、イメージセンサ１００は、車両、家具、製造設備、ドア、各種の計測機器などに部品として備えられる電子機器に搭載される。

【0015】

図１を参照すると、イメージセンサ１００は、ピクセルアレイ１１０、リードアウト回路１２０、及びイメージ処理プロセッサ１３０を備える。一実施形態において、ピクセルアレイ１１０、リードアウト回路１２０、及びイメージ処理プロセッサ１３０は、一つの半導体チップ又は半導体モジュールとして具現される。他の実施形態において、ピクセルアレイ１１０及びリードアウト回路１２０は、一つの半導体チップに具現され、イメージ処理プロセッサ１３０は、他の一つの半導体チップに具現される。図１では、イメージ処理プロセッサ１３０がイメージセンサ１００に含まれる構成で示しているが、イメージ処理プロセッサ１３０は、イメージセンサ１００とは別途の構成であってもよい。

【0016】

ピクセルアレイ１１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で具現され、それ以外にも多様な種類の光電変換素子で具現される。ピクセルアレイ１１０は受信される光信号（光）を電気的信号に変換する複数のピクセルを含み、複数のピクセルは行列に配列される。複数のピクセルのそれぞれは、光感知素子を含む。例えば、光感知素子は、フォトダイオード、フォトトランジスタ、フォトゲート、ピンドフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏｄｉｏｄｅ）などを含む。

【0017】

リードアウト回路１２０は、ピクセルアレイ１１０から受信される電気的信号をイメージデータに変換する。リードアウト回路１２０は、電気的信号を増幅し、増幅された電気的信号をアナログ－デジタル変換する。リードアウト回路１２０で生成されるイメージデータは、ピクセルアレイ１１０のピクセルのそれぞれに対応するピクセルデータを含む。リードアウト回路１２０は、ピクセルアレイ１１０と共にセンシングコアを構成する。

【0018】

イメージ処理プロセッサ１３０は、リードアウト回路１２０から出力されるイメージデータに対してイメージ処理を行う。例えば、イメージ処理プロセッサ１３０は、リードアウト回路１２０から出力されたイメージデータに対してバッドピクセル補正（ｂａｄ ｐｉｘｅｌ ｃｏｒｒｅｃｔｉｏｎ）、ノイズ除去などのイメージ処理を行う。

【0019】

イメージ処理プロセッサ１３０は、イメージ処理が行われたイメージデータを出力する。イメージ処理が行われたイメージデータは、外部プロセッサ２００（例えば、イメージセンサ１００が搭載される電子装置のメインプロセッサ、グラフィックプロセッサなど）に提供される。以下では、説明の便宜及び明確性のため、リードアウト回路１２０で生成及び出力されるイメージデータを第１イメージデータＩＤＴ１と指称し、イメージ処理プロセッサ１３０から出力されるイメージデータを第２イメージデータＩＤＴ２と指称する。

【0020】

イメージ処理プロセッサ１３０は、第１変換部１３１、イメージ処理回路１３２、及び第２変換部１３３を含む。

【0021】

第１変換部１３１は、リードアウト回路１２０から出力された第１イメージデータＩＤＴ１をＣＨ個の単位で入力する。第１変換部１３１は、ＣＨ個の単位のピクセルデータを一つのまとまりとして、一つのまとまりに含まれるピクセルデータを同時にスキャンする。第１変換部１３１は、第１イメージデータＩＤＴ１に含まれる複数のピクセルデータをＣＨ個の単位で順次にスキャンする。第１変換部１３１は、第１イメージデータＩＤＴ１を入力してカーネルマトリックスを適用したカーネルイメージデータＩＤＴ１′を出力する。ＣＨは、２＾ｎ（２のｎ乗）を満たす。ｎは、１以上の整数である。

【0022】

イメージ処理回路１３２は、カーネルを適用したカーネルイメージデータＩＤＴ１′を用いてイメージ処理を行う。イメージ処理回路１３２は、入力されたカーネルイメージデータＩＤＴ１′にプロセッシング単位ユニットを適用してイメージ処理を行う。一例によると、イメージ処理回路１３２は、バッドピクセル補正を行う。イメージ処理回路１３２は、プロセッシング単位ユニットを適用してイメージ処理を行ったピクセルデータＩＤＴ１″を出力する。

【0023】

第２変換部１３３は、プロセッシング単位ユニットを適用してイメージ処理を行ったピクセルデータＩＤＴ１″をリオーダリング（ｒｅｏｒｄｅｒｉｎｇ）する。これにより出力された第２イメージデータＩＤＴ２のフォーマットは、第１イメージデータＩＤＴ１のフォーマットと同一になる。

【0024】

本実施形態によると、第１変換部１３１、イメージ処理回路１３２、及び第２変換部１３３を含むイメージ処理プロセッサ１３０によって、第１イメージデータＩＤＴ１を処理する。一実施形態において、第１変換部１３１、イメージ処理回路１３２、及び第２変換部１３３は、ハードウェアで具現される。しかし、これに制限されるものではなく、第１変換部１３１、イメージ処理回路１３２、及び第２変換部１３３は、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせで具現され得る。

【0025】

イメージ処理プロセッサ１３０は、第１イメージデータＩＤＴ１の処理時にパワーをライン別に均一に分配してパワー変動を低減させる。更に具体的な第１変換部１３１、イメージ処理回路１３２、及び第２変換部１３３の一例については、図４を参照して後述する。

【0026】

図２は、本発明の一実施形態によるイメージセンサのセンシングコアのブロック図である。

【0027】

図２を参照すると、センシングコア１０１は、ピクセルアレイ１１０及びリードアウト回路１２０を含む。リードアウト回路１２０は、行ドライバ１２１、ランプ信号生成器１２２、アナログ－デジタル変換器１２３（以下、ＡＤＣ）、バッファ１２４、制御レジスタ１２５、及びタイミング生成器１２６を含む。

【0028】

ピクセルアレイ１１０は、信号ラインを通じて行ドライバ１２１及びＡＤＣ１２３に電気的に連結される。

【0029】

行ドライバ１２１は、タイミング生成器１２６の制御によってピクセルアレイ１１０を行（ｒｏｗ）単位に駆動する。行ドライバ１２１は、タイミング生成器１２６で生成された行制御信号（例えば、アドレス信号）をデコーディングし、デコーディングされた行制御信号に応答して、ピクセルアレイ１１０を構成する行ラインのうちの少なくともいずれか一つの行ラインを選択する。ピクセルアレイ１１０は、行ドライバ１２１から提供された行選択信号によって選択される行からピクセル信号をＡＤＣ１２３に出力する。

【0030】

ＡＤＣ１２３は、ピクセル信号とランプ信号生成器１２２から提供されるランプ信号とを比べてその結果信号を生成し、結果信号をカウンティングしてデジタル信号に変換する。ＡＤＣ１２３は、変換された信号を生の（ｒａｗ）画像データとしてバッファ１２４に出力する。ＡＤＣ１２３は、ピクセル信号を増幅する増幅器、比較器、カウンタなどを含む。

【0031】

制御レジスタ１２５は、リードアウト回路１２０の構成、例えば行ドライバ１２１、ランプ信号生成器１２２、ＡＤＣ１２３、バッファ１２４、及びタイミング生成器１２６に対する多様な設定値（レジスタ値）を保存し、設定値に基づいて上記構成の動作を制御する。設定値は、外部、例えばプロセッサ（図１の２００）から設定値を含む制御信号ＣＯＮＳを受信する。

【0032】

タイミング生成器１２６は、制御レジスタ１２５の制御によって、行ドライバ１２１、ＡＤＣ１２３、及びランプ信号生成器１２２の動作タイミングを制御する。

【0033】

バッファ１２４は、ＡＤＣ１２３から出力される生の画像データを一時保存した後、生の画像データを第１イメージデータＩＤＴ１としてイメージ処理プロセッサ（図１の１３０）に出力する。

【0034】

図３Ａ～図３Ｃは、本発明の一実施形態によるカラーフィルタアレイを示す図である。図３Ａ～図３Ｃに示したピクセルアレイＰＸ＿Ａｒｒａｙは、図２のピクセルアレイ１１０に対応する。

【0035】

図３Ａを参照すると、ピクセルアレイＰＸ＿Ａｒｒａｙは複数の行及び列に沿って配置される複数のピクセルを含み、例えば２行及び２列に配置されるピクセルを含む単位で定義される共有ピクセル（Ｓｈａｒｅｄ Ｐｉｘｅｌ）は、それぞれ４個のサブピクセルを含む。言い換えると、共有ピクセルは、４個のサブピクセルにそれぞれ対応する４個のフォトダイオードを含む。ピクセルアレイＰＸ＿Ａｒｒａｙは、第１～第１６共有ピクセル（ＳＰ０～ＳＰ１５）を含む。ピクセルアレイＰＸ＿Ａｒｒａｙは、共有ピクセル（ＳＰ０～ＳＰ１５）が多様なカラーをセンシングするように、カラーフィルタを含む。一例として、カラーフィルタは赤Ｒ、緑Ｇ、及び青Ｂをセンシングするフィルタを含み、一つの共有ピクセル（ＳＰ０～ＳＰ１５）は同一のカラーフィルタが配置されたサブピクセルを含む。例えば、第１共有ピクセルＳＰ０、第３共有ピクセルＳＰ２、第９共有ピクセルＳＰ８、及び第１１共有ピクセルＳＰ１０は、青Ｂのカラーフィルタを備えるサブピクセルを含み、第２共有ピクセルＳＰ１、第４共有ピクセルＳＰ３、第５共有ピクセルＳＰ４、第７共有ピクセルＳＰ６、第１０共有ピクセルＳＰ９、第１２共有ピクセルＳＰ１１、第１３共有ピクセルＳＰ１２、及び第１５共有ピクセルＳＰ１４は、緑Ｇのカラーフィルタを備えるサブピクセルを含み、第６共有ピクセルＳＰ５、第８共有ピクセルＳＰ７、第１４共有ピクセルＳＰ１３、及び第１６共有ピクセルＳＰ１５は、赤Ｒのカラーフィルタを備えるサブピクセルを含む。また、第１共有ピクセルＳＰ０、第２共有ピクセルＳＰ１、第５共有ピクセルＳＰ４、及び第６共有ピクセルＳＰ５を含むグループ、第３共有ピクセルＳＰ２、第４共有ピクセルＳＰ３、第７共有ピクセルＳＰ６、及び第８共有ピクセルＳＰ７を含むグループ、第９共有ピクセルＳＰ８、第１０共有ピクセルＳＰ９、第１３共有ピクセルＳＰ１２、及び第１４共有ピクセルＳＰ１３を含むグループ、第１１共有ピクセルＳＰ１０、第１２共有ピクセルＳＰ１１、第１５共有ピクセルＳＰ１４、及び第１６共有ピクセルＳＰ１５を含むグループは、それぞれベイヤーパターン（Ｂａｙｅｒ ｐａｔｔｅｒｎ）に対応するようにピクセルアレイＰＸ＿Ａｒｒａｙに配置される。一例によると、第１共有ピクセルＳＰ０、第２共有ピクセルＳＰ１、第５共有ピクセルＳＰ４、及び第６共有ピクセルＳＰ５を含むグループ、第３共有ピクセルＳＰ２、第４共有ピクセルＳＰ３、第７共有ピクセルＳＰ６、及び第８共有ピクセルＳＰ７を含むグループ、第９共有ピクセルＳＰ８、第１０共有ピクセルＳＰ９、第１３共有ピクセルＳＰ１２、及び第１４共有ピクセルＳＰ１３を含むグループ、第１１共有ピクセルＳＰ１０、第１２共有ピクセルＳＰ１１、第１５共有ピクセルＳＰ１４、及び第１６共有ピクセルＳＰ１５を含むグループのそれぞれは、ＣＦＡ（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）＿ブロックに対応する。一実施形態で、共有ピクセル（ＳＰ０、ＳＰ１、ＳＰ４、ＳＰ５）は、テトラセルと指称される。

【0036】

但し、これは、一実施形態に過ぎず、本発明の実施形態によるピクセルアレイＰＸ＿Ａｒｒａｙは、多様な種類のカラーフィルタを含む。例えば、カラーフィルタは、イエロー（ｙｅｌｌｏｗ）、シアン（Ｃｙａｎ）、マゼンタ（Ｍａｇｅｎｔａ）、及びグリーン（Ｇｒｅｅｎ）カラーをセンシングするためのフィルタを含む。或いは、カラーフィルタは、レッド、グリーン、ブルー、及びホワイトカラーをセンシングするフィルタを含む。また、ピクセルアレイＰＸ＿Ａｒｒａｙは、更に多くの共有ピクセルを含み、各共有ピクセル（ＳＰ０～ＳＰ１５）の配置は、多様に具現される。

【0037】

図３Ｂを参照すると、一つの共有ピクセル（ＳＰ０、ＳＰ１、ＳＰ４、ＳＰ５）は、それぞれ９個のサブピクセルを含む。第１共有ピクセルＳＰ０は青Ｂのカラーフィルタを備える９個のサブピクセルを含み、第２共有ピクセルＳＰ１及び第５共有ピクセルＳＰ４はそれぞれ緑Ｇのカラーフィルタを備える９個のサブピクセルを含む。第６共有ピクセルＳＰ５は、赤Ｒのカラーフィルタを備える９個のサブピクセルを含む。一実施形態で、共有ピクセル（ＳＰ０、ＳＰ１、ＳＰ４、ＳＰ５）は、ノナセル（ｎｏｎａ ｃｅｌｌ）と指称される。

【0038】

図３Ｃを参照すると、一つの共有ピクセル（ＳＰ０、ＳＰ１、ＳＰ４、ＳＰ５）は、それぞれ１６個のサブピクセルを含む。第１共有ピクセルＳＰ０は青Ｂカラーフィルタを備える１６個のサブピクセルを含み、第２共有ピクセルＳＰ１及び第５共有ピクセルＳＰ４はそれぞれ緑Ｇカラーフィルタを備える１６個のサブピクセルを含む。第６共有ピクセルＳＰ５は、赤Ｒのカラーフィルタを備える１６個のサブピクセルを含む。一実施形態で、共有ピクセル（ＳＰ０、ＳＰ１、ＳＰ４、ＳＰ５）は、ヘキサデカセル（Ｈｅｘａｄｅｃａ ｃｅｌｌ）と指称される。

【0039】

本発明によると、共有ピクセルに含まれるサブピクセルの数によって、イメージ処理プロセッサで処理するプロセッシング単位ユニットが定められる。一例によると、プロセッシング単位ユニットは、カラーフィルタアレイのそれぞれ一つのカラー単位に含まれるピクセルの単位によって定められる。プロセッシング単位ユニットについては、図１０を通じて後述する。

【0040】

図４は、本発明の一実施形態によるイメージ処理プロセッサのブロック図である。これは、図１のイメージ処理プロセッサ１３０の一例である。

【0041】

図４を参照すると、イメージ処理プロセッサ１３０ａは、第１変換部１３１ａ、イメージ処理回路１３２ａ、及び第２変換部１３３ａを含む。第１変換部１３１ａは、ＳＲＡＭコントローラ１３１１及び第１ラインメモリ１３１２を含む。第１変換部１３１ａに含まれるＳＲＡＭコントローラ１３１１は、順次に入力されるピクセルデータをスキャンし、スキャンされたピクセルデータを第１ラインメモリ１３１２に保存する。

【0042】

一例によると、第１変換部１３１ａに含まれる第１ラインメモリ１３１２に含まれるラインメモリの数は、ｎ個である。第１ラインメモリ１３１２は、ＳＲＭＡ＿０、ＳＲＡＭ＿１、…、ＳＲＡＭ＿ｎを含み、総ｎ個のラインメモリを含む。これは、第１イメージデータＩＤＴ１に含まれるラインの数と等しい。或いは、第１ラインメモリ１３１２に含まれるラインメモリの数は、第１変換部１３１ａで生成されるＭ×Ｎのカーネルマトリックスの行方向の個数であるＭ個に対応する数である。一例によると、Ｍ×Ｎカーネルマトリックスは、Ｍ個の行及びＮ個の列を含むカーネルマトリックスである。本発明で、Ａ×Ｂの形態又はＡ×Ｂの形態で表示される行列は、Ａ個の行及びＢ個の列を含む行列を意味する。本実施形態によるイメージ処理プロセッサ１３０ａは、スループット（Ｔｈｒｏｕｇｈ－ｐｕｔ）変換のためのラインメモリ１３１２を含む。一例によると、本発明によるイメージ処理プロセッサ１３０ａは、２本以上のライン毎に一回ずつ動作するアルゴリズムが適用されるイメージ処理プロセッサである。

【0043】

第１変換部１３１ａは、第１ラインメモリ１３１２に保存されているピクセルデータに基づいて、カーネルマトリックスを生成する。第１変換部１３１ａは、第１ラインメモリ１３１２に保存されているピクセルデータを、Ｍ×Ｎのカーネルマトリックスに生成する。Ｎ及びＭは、２以上の整数である。一例によると、第１変換部１３１ａから入力されたピクセルデータを第１ラインメモリ１３１２に別途に保存した後、一度にＭ×Ｎのカーネルマトリックスとして出力することによって、データスループットを調節する。

【0044】

カーネルマトリックスで生成されたデータは、イメージ処理回路１３２ａに入力される。イメージ処理回路１３２ａは、入力されたカーネルマトリックスによるピクセルデータをイメージ処理する。一例によると、イメージ処理回路１３２ａは、カーネルマトリックスに含まれるピクセルデータにバッドピクセルが含まれるか否かを確認し、バッドピクセルが含まれている場合に補正処理を行う。イメージ処理回路１３２ａは、プロセッシング単位ユニットを基準として、カーネルマトリックスで生成されたピクセルデータを処理する。イメージ処理回路１３２ａは、カーネルマトリックスで生成されたピクセルデータを処理して、プロセッシング単位ユニットで処理されたピクセルデータを出力する。

【0045】

第２変換部１３３ａは、リオーダリング処理部１３３１及び第２ラインメモリ１３３２を含む。第２変換部１３３ａは、イメージ処理回路１３２ａの出力であるプロセッシング単位ユニットで処理されたピクセルデータを、ラスタースキャンオーダー（ｒａｓｔｅｒ－ｓｃａｎ ｏｒｄｅｒ）で出力するためにピクセルデータの形態をリオーダリングする。プロセッシング単位ユニットで処理されたピクセルデータは、第２ラインメモリ１３３２にライン別にそれぞれ保存される。一例によると、第１変換部１３１ａに含まれる第１ラインメモリ１３１２に含まれるラインメモリの数と、第２変換部１３３ａに含まれる第２ラインメモリ１３３２に含まれるラインメモリの数とは、異なる。図４で、第２ラインメモリ１３３２は、２個のラインメモリ（ＳＲＡＭ＿０及びＳＲＡＭ＿１）を含むように示したが、これに限定されるものではない。

【0046】

第２変換部１３３ａは、第２ラインメモリ１３３２に保存されているピクセルデータを、第１変換部１３１ａに入力された第１イメージデータのフォーマットに合わせて変形して出力する。これにより、第１変換部１３１ａから入力された第１イメージデータのフォーマットと、第２変換部１３３ａから出力された第２イメージデータのフォーマットとは、等しい。

【0047】

本実施形態によるイメージ処理プロセッサ１３０ａは、テトラセル（２×２）、ＲＧＢＷ（２×２）、ノナセル（３×３）のカラーフィルタアレイＣＦＡを使うイメージセンサであり、Ｍ×Ｎ単位として代表値（ｄｉｒｅｃｔｉｏｎ情報）を使うハードウェアＩＰに適用される。

【0048】

図５は、図４のイメージ処理プロセッサを用いたイメージ処理方法を説明するためのブロック図である。図５の説明に際して、図４で説明した箇所に重なる説明は省略する。図５の第１変換部１３１ａ、イメージ処理回路１３２ａ、及び第２変換部１３３ａの動作を説明する際、説明の便宜のために、図６～図９Ｂをそれぞれ参照して説明する。

【0049】

図５に示したピクセルデータは、一つのサイクル当り入力又は出力されるピクセルデータを示す。

【0050】

図５は、４個のピクセルデータが順次に印加される例を示す。この場合、ＰＰＣ（Ｐｉｘｅｌ Ｐｅｒ Ｃｙｃｌｅ）は４である。ＰＰＣは、一サイクル当たり入るピクセルの数を意味する。上述した説明によると、４個のピクセルデータが一つのまとまりとして印加され、ＣＨは４である。本発明で、ＣＨとＰＰＣとは、同じ意味で使われる。

【0051】

一例によると、第１変換部１３１ａは、４個のピクセルデータを一つの単位として同時に入力する。第１変換部１３１ａは、４個のピクセルデータを順次に入力し、これをライン別に第１ラインメモリ１３１２に保存する。

【0052】

図６は、例示的な方式によってイメージをメモリに保存する順序を示す図であり、図７は、例示的な方式によるメモリ保存方式を示す図である。

【0053】

図６を参照して分かるように、画像はピクセルからなるが、画像をメモリに保存するためにセンサが画像を読み取る過程は、横の順序（１）で行われる。即ち、ライン単位で読み取る。例えば、２個の画像のうちの左側画像をメモリに保存するために、イメージセンサが画像を読み取る過程は、画像フレームで横方向の１番目のラインを構成するピクセルを読み取った後、横方向の２番目のラインを構成するピクセルを読み取る順序で行われる。図６を参照すると、バッドピクセル補正のためにピクセルデータが入力される時、ラスタースキャンオーダーで入力され、ピクセルデータの出力も同じ方式であるラスタースキャンオーダーで出力されなければならない。

【0054】

図７を参照すると、イメージセンサによって読み取られた画像をメモリに保存するためには、アドレスを付与せねばならないが、この時、横方向の各ラインに対してアドレスが付与される。即ち、ライン単位で一つずつアドレスが付与される。例えば、画像の１番目のラインに対しては、最も低いアドレス、例えばＡ０番のアドレスが付与され、２番目のラインに対しては、次に低いアドレス、例えばＡ１番のアドレスが付与される。このような順序で付与されたアドレスによって、画像の各ラインのピクセルは、メモリで横方向に保存される。即ち、図７に示したように、Ａ０アドレスを有する１番目のラインが保存された後、Ａ１アドレスを有する２番目のラインが保存される。そして、各ライン内のピクセルも同様に横方向に保存され、例えばＡ０アドレスを有する１番目のラインでは、一番目のピクセルＰ０、二番目のピクセルＰ１、三番目のピクセルＰ２の順に横方向に保存される。

【0055】

このように、図５の第１変換部１３１ａに入力されるピクセルデータは、図６の実施形態のように順次にスキャンされ、図７の実施形態のように、ライン別に第１ラインメモリ１３１２にそれぞれ保存される。例えば、総８本のラインメモリを有し、一本のラインに８個のピクセルデータを含むイメージデータが入力されたと仮定する。この場合、４個のピクセルデータを一つの単位で入力し、一本のラインで２個の単位のピクセルデータを入力する。一番目のラインの全てのピクセルデータを入力した場合、これは、一番目のラインに対応するラインメモリに保存される。次いで、二番目のラインに含まれる４個のピクセルデータを順次に入力し、これは、二番目のラインに対応するラインメモリに保存される。

【0056】

第１変換部１３１ａは、第１ラインメモリ１３１２に保存されているピクセルデータを用いて、カーネルマトリックスを生成する。図５を参照すると、一つのサイクル当り８×８のカーネルマトリックスが出力される。第１変換部１３１ａが出力するカーネルマトリックスのサイズは、ＩＳＰ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）の特性によって変わるということに留意しなければならない。

【0057】

図５を参照すると、第１変換部１３１ａは、ピクセルデータをラスタースキャンオーダーで入力して、第１ラインメモリ１３１２にそれぞれのラインのピクセルデータを保存する。８×８カーネルを生成しようとする場合、８個ラインのピクセル値が第１ラインメモリ１３１２に集められると、一度に８×８ピクセルデータを含むカーネルマトリックスをイメージ処理回路１３２ａに伝達する。本実施形態によると、データスループットを合わせるために、第１変換部１３１ａに一本のラインが入力される間に第１変換部１３１ａから１／２ラインのみを出力する。

【0058】

イメージ処理回路１３２ａにおけるプロセッシング手続きを説明するために、図８Ａ～図９Ｂを参照して説明する。

【0059】

図８Ａ及び図８Ｂは、比較例によるイメージ処理方式を説明するための図である。

【0060】

図８Ａは、入力されたイメージデータに対し、テトラセルである２×２単位で方向性を検出してイメージ処理を行う一例を開示する。この場合、２×２単位ピクセルの中心点を基準として処理される。

【0061】

図８Ｂを参照すると、２×２単位ピクセルでイメージ処理を行う時に中心点を基準として処理すると、奇数ライン及び偶数ラインで重複演算が行われる。従って、比較例によるイメージ処理方式では、奇数ラインの演算を行う時に奇数ライン及び偶数ラインの両方の演算を行い、偶数ラインの演算時に動作を行わないようにすることでパワーを節約したが、これは奇数ラインと偶数ラインとのパワー変動を引き起こす。

【0062】

図９Ａ及び図９Ｂは、比較例及び一実施形態によるイメージ処理方式及びそれによるパワー変動を説明するための図である。

【0063】

図９Ａは、図８Ｂの実施形態で、コアロジックを使って１ｈ－時間の間にイメージ処理を行う実施形態を示す。一例によって、テトラセルやＲＧＢＷでバッドピクセルを補正するアルゴリズムは、２×２単位で処理し、４個のピクセルに対してバッドピクセルが見つけられる場合に、バッドピクセルを補正することができる。偶数ラインで、現在ライン及び次のラインに対して一度にバッドピクセル補正を行い、現在ラインを出力として送り出し、次のラインを別途のラインメモリに書き込んだ（ｗｒｉｔｅ）後、次のラインを出力する時に読み出して（ｒｅａｄ）出力する。従って、奇数ラインは、コアがプロセッシングする必要がなく、ラインメモリに書き込んだデータを読み出せばよい。しかし、このような動作は、偶数／奇数ラインのプロセッシングパワーレベルに激しい差があるようにするため、ライン別のパワー変動は、アナログ回路に影響を及ぼして画質の劣化（ｂａｎｄ ｎｏｉｓｅ）をもたらす。この時のパワープロファイルを図９Ａの下部に示す。図９Ａのパワープロファイルを参照すると、パワー不均衡が激しく現われるということが分かる。

【0064】

即ち、図９Ａの実施形態によると、１ｈ－時間の間に偶数ライン及び奇数ラインをいずれもコアロジック（ｃｏｒｅ１、ｃｏｒｅ２）で処理することで、パワー不均衡が発生するということが分かる。コアロジックは、イメージ処理プロセッサに含まれる。

【0065】

図９Ｂは、本発明の一実施形態による処理方式を説明するための図である。本発明によると、このようなライン間のプロセッシングパワーの不均衡を解決するために、偶数ラインのパワーを奇数ラインまで拡散する。

【0066】

図９Ａを参照すると、比較例によるイメージ処理プロセッサは、１ｈ－時間に１本のラインを処理するが、図９Ｂを参照すると、本発明によるイメージ処理プロセッサは、１ｈ－時間に１／２ラインのみを処理するように構成される。１ｈ－ｔｉｍｅは、一つのライン時間（ｌｉｎｅ ｔｉｍｅ）を意味する。図９Ｂを参照すると、１ｈ－時間に左側領域であるＡ領域の２本のラインを処理し、次の１ｈ－時間に右側領域であるＢ領域の２本のラインを処理する。従って、本発明によるイメージ処理プロセッサは、隔ライン毎に発生するパワー変動を除去することができ、ＩＳＰコアロジックのデータスループットも１／２に減って、ロジックゲートカウントを１／２に低減させることができる。本発明では、１ｈ－時間に１／２ラインのみを処理するために、プロセッシング単位ユニットを設定してイメージ処理を行うことができる。これは、図１０で詳細に後述する。

【0067】

再び図５を参照すると、イメージ処理回路１３２ａは、１ｈ－時間に１／２ラインのみを処理するため、８×８カーネルマトリックスの処理時に、ＩＳＰが２個のコアを使った方式に比べて１／２のロジックサイズを占めるため、ロジックゲートカウントを低減させることができる。

【0068】

イメージ処理回路１３２ａは、イメージ処理の結果、２×２のピクセルデータを出力する。これは、プロセッシング単位ユニットに対応するサイズのピクセルデータである。イメージ処理回路１３２ａは、８×８カーネルを用いて中心の２×２ピクセルをＩＳＰ処理した後、２×２ピクセルデータを第２変換部１３３ａに伝達する。

【0069】

第２変換部１３３ａは、２×２ピクセルデータを１×４にリオーダリングして出力する。即ち、第２変換部１３３ａの出力データは、ラスタースキャンオーダーとして、１サイクル当り４個のピクセルデータが同時に出力される。従って、第１変換部１３１ａから入力されたピクセルデータの形態と、第２変換部１３３ａから出力されたピクセルデータの形態とが等しいということが分かる。

【0070】

本発明によると、入力されるピクセルデータのスループットを変換し、特定のラインのみに存在するプロセッシングを全てのラインに拡散して、ライン毎に動作するように制御する。本発明によるイメージ処理プロセッサによれば、パワー変動を低減させることができ、イメージセンサの水平ノイズを低減させることができる。本発明によるイメージ処理プロセッサは、パワーを拡散するためのハードウェア構造に適用される。

【0071】

図１０は、一実施形態によるイメージ処理プロセッサにおけるデータ処理を更に詳細に説明するための図である。

【0072】

本発明でプロセッシングユニットとは、同じ色相の色を有するピクセルデータの単位を意味する。本発明でプロセッシングユニットとは、図３Ａ～図３Ｃに示したカラーフィルタアレイのそれぞれ一つのカラー単位に含まれるピクセルの単位を意味する。イメージデータのプロセッシング処理時に、プロセッシングユニットは、次のような数式で定義される。

【0073】

プロセッシングユニット＝Ｕｙ×Ｕｘ，Ｕｙ＞１

【0074】

Ｕｙの値が１である場合は、毎ラインに動作するアルゴリズムであることから、パワー拡散が不要なため、適用されない。一例によると、パターンがテトラセルである場合に、Ｕｘ＝２、Ｕｙ＝２である。一例によると、パターンがノナセルである場合に、Ｕｘ＝３、Ｕｙ＝３である。一例によると、パターンがＲＧＢＷセルである場合に、Ｕｘ＝２、Ｕｙ＝２である。Ｕｘは、１以上の整数である。

【0075】

アルゴリズムのプロセッシングユニットが定義されると、処理に必要なカーネルマトリックスサイズが定義される。これは、Ｍ×Ｎで定義される。Ｎ及びＭは、２以上の整数である。

【0076】

イメージ処理装置で、一サイクル当たりピクセルが入力される数は、ＣＨである。ＣＨは、デジタルＩＰであり、一サイクル当たり処理されるピクセルの数を意味する。但し、ＣＨは、次のような条件を満たす。

【0077】

（ＣＨ／２）％Ｕｘ＝０

【0078】

上記数式は、ピクセルデータの形成及びリオーダリングを行う時にピクセルの変形を容易にするためのものである。

【0079】

図１０は、ＣＨが８である実施例を示す。図１０に示したカーネルマトリックス生成部（Ｋｅｒｎｅｌ Ｍａｔｉｘ Ｇｅｎ．）は、図４のＳＲＡＭコントローラ１３１１に対応する構成である。図１０に示したラインメモリ（ＬＩＮＥ ＭＥＭ １～ＬＩＮＥ ＭＥＭ Ｍ）は、図４の第１ラインメモリ１３１２に対応する構成である。ラインメモリは、生成するカーネルマトリックスであるＭ×Ｎの行方向の個数に対応するＭ個で提供される。

【0080】

本発明によると、パワー拡散を適用するために、Ｌ／Ｕｙサイクルの間にイメージ処理のためのカーネルマトリックスを生成して出力しなければならないため、更にＭ個分のラインメモリを使う。Ｌは、一ラインにおけるサイクルの数を意味する。

【0081】

図１０は、Ｍ×Ｎのカーネルマトリックス、及びカーネルマトリックスの中心部に含まれるプロセッシング単位ユニットである（Ｕｙ）×（ＣＨ／Ｕｘ）の例を示す。図１０は、Ｕｘ＝２、Ｕｙ＝２、ＣＨ＝８である場合の実施形態であり、（２）×（４）のピクセル単位でイメージ処理が行われることを示す。

【0082】

図１０のプロセッシングコアは、図４のイメージ処理回路１３２ａに対応する。プロセッシングコアは、サイクル毎に（Ｕｙ）×（ＣＨ／Ｕｘ）単位で処理する。

【0083】

一例によると、プロセッシングコアの処理結果は、Ｕｙ×（ＣＨ／Ｕｘ）のフォーマットで出力される。即ち、このような結果を保存するためのラインメモリは、プロセッシング単位ユニットの行方向に対応する数であるＵｙ個である。図１０の出力ＦＩＦＯは、図４の第２変換部１３３ａに対応する。出力ＦＩＦＯに連結されたラインメモリは、図４の第２メモリ１３３２に対応する。出力ＦＩＦＯに連結されたラインメモリはＵｙに対応する数で提供され、プロセッシングコアの処理結果は出力ＦＩＦＯ（ｆｉｒｓｔ ｉｎ ｆｉｒｓｔ ｏｕｔ）に連結されたラインメモリに順次に保存される。図１０を参照すると、（Ｕｙ）×（ＣＨ／Ｕｘ）ユニットの結果をラインメモリに保存し、１サイクル当たりＣＨ個のピクセルを出力する。

【0084】

本発明によると、Ｕｙ×Ｕｘ単位アルゴリズムのプロセッシングユニットのＵｙが１を超過する場合に、カーネルマトリックス生成部はＭ分のラインメモリを使ってＬ／Ｕｙサイクルの間に（Ｕｙ）×（ＣＨ／Ｕｘ）単位のためのカーネルマトリックスを生成し、プロセッシングコアはサイクル毎に（Ｕｙ）×（ＣＨ／Ｕｘ）単位ユニットを処理する。出力ＦＩＦＯは、（Ｕｙ）×（ＣＨ／Ｕｘ）単位の結果をそれぞれのラインメモリに保存し、保存されたピクセルデータを、ラスタースキャンオーダーでサイクル当りＣＨ個のピクセルデータを出力するように構成して、パワー拡散によりパワー変動を防止する。

【0085】

図１１は、一実施形態によるイメージ処理プロセッサにおけるタイミングを説明するための図である。

【0086】

図１１に示したタイミング図は、Ｕｘ＝２、Ｕｙ＝２のプロセッシングユニットで、８ＣＨ、幅が８１９２である場合のコアロジックにおけるプロセッシングタイミング図を示す。最上部に位置するタイミング図は第１変換部からピクセルデータを入力するタイミング図を示し、中間に位置するタイミング図はイメージ処理回路でプロセッシング単位ユニットを介してイメージ処理を行うタイミング図であり、下部に位置するタイミング図は第２変換部からピクセルデータが出力されるタイミング図を示す。

【0087】

一ラインの入力時間（Ａ Ｌｉｎｅ Ｉｎｐｕｔ）の間に、データは順次に入力される。８ＣＨであるため、ピクセルデータは、８個を一まとまりとして順次に入力される。

【0088】

ｉ＿ｄａｔａ＿０は第１ラインを意味し、ｉ＿ｄａｔａ＿７は第８ラインを意味する。第１ラインではＰ０、Ｐ８、…，Ｐ８１８４のピクセルデータが入力され、第８ラインではＰ７、Ｐ１５、…，Ｐ８１９１のピクセルデータが入力される。

【0089】

入力されたピクセルデータをコアロジックで処理する過程をその下に示す。Ｕｙ×Ｕｘ単位でピクセルデータが処理される。図１１の一例によると、Ｕｘ＝２、Ｕｙ＝２であり、ＣＨ＝８であるため、プロセッシング単位ユニットは、Ｕｙ×（ＣＨ／Ｕｘ）であり、２×４単位で処理される。従って、図１１を参照すると、ｘ＝０～３、ｙ＝０～１の２×４行列単位で処理されるということが分かる。

【0090】

一ラインの入力時間（Ａ Ｌｉｎｅ Ｉｎｐｕｔ）の間に、コアブロックは、２本のラインの左側領域をプロセッシングし、次のラインで２本のラインの右側領域をプロセッシングする。２本のライン（Ｕｙ＝２）を介して初めて左側及び右側領域のいずれもプロセッシングされるため、出力ＦＩＦＯは、これをラインメモリに保存しておき、ラスタースキャンオーダーで読み出して再出力する。

【0091】

本発明によるイメージ処理プロセッサによると、１ｈ－時間に２本のラインをいずれも処理する方式ではなく、１ｈ－時間に２分の１ラインずつのみ処理してロジックゲートカウントを低減させる。

【0092】

図１２は、一実施形態によるイメージ処理方法を示すフローチャートである。

【0093】

図１２を参照すると、Ｓ１２１０ステップで、順次に１サイクル当りＣＨ個のピクセルデータを入力する。Ｓ１２２０ステップで、ＣＨ個のピクセルは、ライン別にラインメモリにそれぞれ保存される。Ｓ１２３０ステップで、ラインメモリに保存されているピクセルデータを用いてＭ×Ｎ単位のカーネルマトリックスを出力する。これにより、データ処理量を調節する。Ｓ１２４０ステップで、プロセッシング単位ユニットを使ってイメージ処理を行う。この時、プロセッシング単位ユニットは、入力されるピクセルデータの数であるＣＨ、及びプロセッシングユニットであるＵｘ、Ｕｙにより定められる。Ｓ１２５０ステップで、イメージ処理を通じて出力されたピクセルデータを、Ｓ１２１０ステップで入力されたピクセル単位に対応するようにリオーダリングされる。

【0094】

図１２に示したイメージ処理方法は、上述したイメージ処理プロセッサで行われる。本発明によると、パワーをライン毎に均等に消費することで、パワー変動による画質劣化を防止することができる。また、ＩＳＰのコアロジックは、１／２個を使うことで、既設計方法に比べて１／２のロジックサイズを使うことができる。

【0095】

図１３は、マルチカメラモジュールを含む電子装置のブロック図である。図１４は、図１３のカメラモジュールの詳細ブロック図である。

【0096】

図１３を参照すると、電子装置１０００は、カメラモジュールグループ１１００、アプリケーションプロセッサ１２００、ＰＭＩＣ（ｐｏｗｅｒ ｍａｎａｇｅｍｅｎｔ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）１３００、及び外部メモリ１４００を備える。

【0097】

カメラモジュールグループ１１００は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）を備える。図面には、３個のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が配置された実施形態を図示しているが、本実施形態がこれに制限されるものではない。他の実施形態で、カメラモジュールグループ１１００は、２個のカメラモジュールのみを備えるか、又はｎ個（ｎは、４以上の自然数）のカメラモジュールを含むように変形されて実施される。

【0098】

以下、図１４を参照して、カメラモジュール１１００ｂの詳細構成について更に具体的に説明するが、以下の説明は、実施形態によって、他のカメラモジュール１１００ａ及び１１００ｂにも同じく適用される。

【0099】

図１４を参照すると、カメラモジュール１１００ｂは、プリズム１１０５、光路折り畳み要素（Ｏｐｔｉｃａｌ Ｐａｔｈ Ｆｏｌｄｉｎｇ Ｅｌｅｍｅｎｔ、以下、「ＯＰＦＥ」）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０、及び保存部１１５０を備える。

【0100】

プリズム１１０５は、光反射物質の反射面１１０７を備えて、外部から入射する光Ｌの経路を変形させる。

【0101】

一実施形態で、プリズム１１０５は、第１方向（Ｘ）に入射する光Ｌの経路を第１方向（Ｘ）に直交する第２方向（Ｙ）に変更する。また、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心としてＡ方向に回転させるか、又は中心軸１１０６をＢ方向に回転させて、第１方向（Ｘ）に入射する光Ｌの経路を第１方向（Ｘ）に直交する第２方向（Ｙ）に変更する。この際、ＯＰＦＥ１１１０も、第１方向（Ｘ）及び第２方向（Ｙ）に垂直な第３方向（Ｚ）に移動する。

【0102】

一実施形態で、図示したように、プリズム１１０５のＡ方向の最大回転角度は、プラス（＋）Ａ方向に１５°以下であり、マイナス（－）Ａ方向に１５°よりも大きいが、本実施形態はこれに制限されるものではない。

【0103】

一実施形態で、プリズム１１０５は、プラス（＋）又はマイナス（－）Ｂ方向に２０°前後、１０°～２０°、又は１５°～２０°の間で動き、ここで、動く角度は、プラス（＋）又はマイナス（－）Ｂ方向に同じ角度で動くか又は１°前後の範囲で略類似した角度まで動く。

【0104】

一実施形態で、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６の延長方向に平行な第３方向（例えば、Ｚ方向）に移動させる。

【0105】

一実施形態で、カメラモジュール１１００ｂは、２個以上のプリズムで構成され、これを通じて第１方向（Ｘ）に入射する光Ｌの経路を第１方向（Ｘ）に直交する第２方向（Ｙ）に、再び第１方向（Ｘ）又は第３方向（Ｚ）に、そして再び第２方向（Ｙ）などに多様に変化させる。

【0106】

ＯＰＦＥ１１１０は、例えばｍ（ここで、ｍは自然数）個のグループからなる光学レンズを備える。ｍ枚のレンズは、第２方向（Ｙ）に移動してカメラモジュール１１００ｂの光学ズーム倍率を変更する。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をＺとすると、ＯＰＦＥ１１１０に備えられるｍ枚の光学レンズを移動させる場合、カメラモジュール１１００ｂの光学ズーム倍率は、３Ｚ、５Ｚ、又は５Ｚ以上の光学ズーム倍率に変更される。

【0107】

アクチュエータ１１３０は、ＯＰＦＥ１１１０又は光学レンズ（以下、光学レンズと指称）を特定位置に移動させる。例えば、アクチュエータ１１３０は、正確なセンシングのために、イメージセンサ１１４２が光学レンズの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）に位置するように光学レンズの位置を調整する。

【0108】

イメージセンシング装置１１４０は、イメージセンサ１１４２、制御ロジック１１４４、及びメモリ１１４６を備える。イメージセンサ１１４２は、光学レンズを通じて提供される光Ｌを用いてセンシング対象のイメージをセンシングする。制御ロジック１１４４は、カメラモジュール１１００ｂの全般的な動作を制御してセンシングされたイメージを処理する。例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを通じて提供された制御信号によってカメラモジュール１１００ｂの動作を制御し、センシングされたイメージから特定イメージに当たるイメージデータ（例えば、イメージ内の人の顔、腕、足など）を抽出する。

【0109】

一実施形態で、制御ロジック１１４４は、センシングされたイメージの圧縮（Ｅｎｃｏｄｉｎｇ）、ノイズ除去（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）などのイメージ処理を行う。

【0110】

メモリ１１４６は、較正データ１１４７のようなカメラモジュール１１００ｂの動作に必要な情報を保存する。較正データ１１４７は、カメラモジュール１１００ｂが外部から提供された光Ｌを用いてイメージデータを生成するときに必要な情報であって、例えば回転度に関する情報、焦点距離に関する情報、光学軸に関する情報などを含む。カメラモジュール１１００ｂが光学レンズの位置によって焦点距離が変わるマルチステート（ｍｕｌｔｉ ｓｔａｔｅ）カメラ形態に具現される場合、較正データ１１４７は、光学レンズのそれぞれの位置別（又はステート別）焦点距離値、及びオートフォーカシングに関する情報を含む。

【0111】

保存部１１５０は、イメージセンサ１１４２を通じてセンシングされたイメージデータを保存する。保存部１１５０は、イメージセンシング装置１１４０の外部に配置され、イメージセンシング装置１１４０を構成するセンサチップに積層される形態で具現される。一実施形態で、イメージセンサ１１４２は一つのチップで構成され、制御ロジック１１４４、保存部１１５０、及びメモリ１１４６は、二つのチップで構成され、二つのチップが積層された形態に具現される。

【0112】

一実施形態で、保存部１１５０は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ）で具現されるが、本実施形態は、これに制限されるものではない。一実施形態で、イメージセンサ１１４２はピクセルアレイによって構成され、制御ロジック１１４４は、アナログ－デジタル変換器（Ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）、及びセンシングされたイメージ処理のためのイメージ信号処理部を備える。

【0113】

図１３及び図１４を共に参照すると、一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれは、アクチュエータ１１３０を備える。このために、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれは、その内部に備えられるアクチュエータ１１３０の動作に応じて、等しいか又は互いに異なる較正データ１１４７を備える。

【0114】

一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの一つのカメラモジュール（例えば、１１００ｂ）は、上述したプリズム１１０５及びＯＰＦＥ１１１０を備える折り畳みレンズ（ｆｏｌｄｅｄ ｌｅｎｓ）形態のカメラモジュールであり、残りのカメラモジュール（例えば、１１００ａ及び１１００ｃ）は、プリズム１１０５及びＯＰＦＥ１１１０を備えない垂直形態のカメラモジュールであるが、これに制限されるものではない。

【0115】

一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの一つのカメラモジュール（例えば、１１００ｃ）は、例えばＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ）を用いてデプス（ｄｅｐｔｈ）情報を抽出する垂直形態のデプスカメラである。この場合、アプリケーションプロセッサ１２００は、このようなデプスカメラから提供されたイメージデータと、他のカメラモジュール（例えば、１１００ａ又は１１００ｂ）から提供されたイメージデータとを併合して三次元深度イメージを生成する。

【0116】

一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの少なくとも二つのカメラモジュール（例えば、１１００ａ及び１１００ｂ）は、異なる観測視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、視野角）を持つ。この場合、例えば複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のうちの少なくとも二つのカメラモジュール（例えば、１１００ａ及び１１００ｂ）の光学レンズが異なるが、これに制限されるものではない。

【0117】

また、一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれの視野角は互いに異なる。例えば、カメラモジュール１１００ａはウルトラワイド・カメラであり、カメラモジュール１１００ｂはワイド・カメラであり、カメラモジュール１１００ｃはテレ・カメラであるが、それに限定されるものではない。この場合、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれに備えられる光学レンズもそれぞれ異なるが、これに制限されるものではない。

【0118】

一実施形態で、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれは、互いに物理的に分離されて配置される。即ち、一つのイメージセンサ１１４２のセンシング領域を複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が分割して使うものではなく、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）のそれぞれの内部に独立的なイメージセンサ１１４２が配置される。

【0119】

再び図１３を参照すると、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０、メモリコントローラ１２２０、及び内部メモリ１２３０を備える。アプリケーションプロセッサ１２００と複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）とは、例えば別途の半導体チップにより互いに分離されて具現される。

【0120】

イメージ処理装置１２１０は、複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）、イメージ生成器１２１４、及びカメラモジュールコントローラ１２１６を備える。

【0121】

イメージ処理装置１２１０は、複数のカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）の数に対応する複数のサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）を備える。

【0122】

カメラモジュール１１００ａから生成されたイメージデータはイメージ信号ラインＩＳＬａを通じてサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータはイメージ信号ラインＩＳＬｂを通じてサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータはイメージ信号ラインＩＳＬｃを通じてサブイメージプロセッサ１２１２ｃに提供される。このようなイメージデータ送信は、例えばＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）に基づいたカメラ直列インターフェース（ＣＳＩ：Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）を用いて行われるが、これに制限されるものではない。

【0123】

一方、他の実施形態で、一つのサブイメージプロセッサが複数のカメラモジュールに対応するように配置される。例えば、サブイメージプロセッサ１２１２ａ及びサブイメージプロセッサ１２１２ｃは、図示したように互いに分離されて具現されるものではなく、一つのサブイメージプロセッサに統合されて具現され、カメラモジュール１１００ａ及びカメラモジュール１１００ｃから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）などを通じて選択された後、統合されたサブイメージプロセッサに提供される。この時、サブイメージプロセッサ１２１２ｂは統合されず、カメラモジュール１１００ｂからイメージデータが提供される。

【0124】

また、一実施形態で、カメラモジュール１１００ａから生成されたイメージデータはイメージ信号ラインＩＳＬａを通じてサブイメージプロセッサ１２１２ａに提供され、カメラモジュール１１００ｂから生成されたイメージデータはイメージ信号ラインＩＳＬｂを通じてサブイメージプロセッサ１２１２ｂに提供され、カメラモジュール１１００ｃから生成されたイメージデータはイメージ信号ラインＩＳＬｃを通じてサブイメージプロセッサ１２１２ｃに提供される。そして、サブイメージプロセッサ１２１２ｂで処理されたイメージデータは、イメージ生成器１２１４に直ぐ提供されるが、サブイメージプロセッサ１２１２ａで処理されたイメージデータと、サブイメージプロセッサ１２１２ｃで処理されたイメージデータとのうちのいずれか一つが、選択素子（例えば、マルチプレクサ）などを通じて選択された後、イメージ生成器１２１４に提供される。

【0125】

それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）は、カメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）から提供されたイメージデータに対して、不良ピクセル補正、３Ａ調整（Ａｕｔｏ－ｆｏｃｕｓ ｃｏｒｒｅｃｔｉｏｎ、Ａｕｔｏ－ｗｈｉｔｅ ｂａｌａｎｃｅ、Ａｕｔｏ－ｅｘｐｏｓｕｒｅ）、ノイズ除去、先鋭化、ガンマ調整、リモザイク（ｒｅｍｏｓａｉｃ）などのイメージ処理を行う。

【0126】

一実施形態で、リモザイク信号処理は、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）で行われた後、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）に提供される。

【0127】

それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）で処理されたイメージデータは、イメージ生成器１２１４に提供される。イメージ生成器１２１４は、イメージ生成情報又はモード信号によって、それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から提供されたイメージデータを用いて出力イメージを生成する。

【0128】

具体的に、イメージ生成器１２１４は、イメージ生成情報又はモード信号によって、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から生成されたイメージデータのうちの少なくとも一部を併合して出力イメージを生成する。また、イメージ生成器１２１４は、イメージ生成情報又はモード信号によって、サブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から生成されたイメージデータのうちのいずれか一つを選択して出力イメージを生成する。

【0129】

一実施形態で、イメージ生成情報は、ズーム信号（ｚｏｏｍ ｓｉｇｎａｌ ｏｒ Ｚｏｏｍ ｆａｃｔｏｒ）を含む。また、一実施形態で、モード信号は、例えばユーザによって選択されたモードに基づいた信号である。

【0130】

イメージ生成情報がズーム信号（ズーム因子）であり、それぞれのカメラモジュール（１１００ａ、１１００ｂ、１１００ｃ）が異なる観測視野（視野角）を有する場合、イメージ生成器１２１４は、ズーム信号の種類によって異なる動作を行う。例えば、ズーム信号が第１信号である場合、サブイメージプロセッサ１２１２ａから出力されたイメージデータと、サブイメージプロセッサ１２１２ｃから出力されたイメージデータのうちのサブイメージプロセッサ１２１２ａから出力されたイメージデータと、サブイメージプロセッサ１２１２ｂから出力されたイメージデータとを用いて出力イメージを生成する。ズーム信号が第１信号とは異なる第２信号である場合、イメージ生成器１２１４は、サブイメージプロセッサ１２１２ａから出力されたイメージデータと、サブイメージプロセッサ１２１２ｃから出力されたイメージデータとのうち、サブイメージプロセッサ１２１２ｃから出力されたイメージデータと、サブイメージプロセッサ１２１２ｂから出力されたイメージデータとを用いて、出力イメージを生成する。ズーム信号が第１信号及び第２信号とは異なる第３信号である場合、イメージ生成器１２１４は、そのようなイメージデータ併合を行わず、それぞれのサブイメージプロセッサ（１２１２ａ、１２１２ｂ、１２１２ｃ）から出力されたイメージデータのうちのいずれか一つを選択して出力イメージを生成する。しかし、本実施形態は、これに制限されるものではなく、必要に応じてイメージデータを処理する方法は、いかようにも変形されて行われる。

【0131】

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更実施することが可能である。

【符号の説明】

【0132】

１００、１１４２ イメージセンサ
１０１ センシングコア
１１０ ピクセルアレイ
１２０ リードアウト回路
１２１ 行ドライバ
１２２ ランプ信号生成器
１２３ アナログ－デジタル変換器（ＡＤＣ）
１２４ バッファ
１２５ 制御レジスタ
１２６ タイミング生成器
１３０、１３０ａ イメージ処理プロセッサ
１３１、１３１ａ 第１変換部
１３２、１３２ａ イメージ処理回路
１３３、１３３ａ 第２変換部
２００ 外部プロセッサ
１０００ 電子装置
１１００ カメラモジュールグループ
１１００ａ、１１００ｂ、１１００ｃ カメラモジュール
１１０５ プリズム
１１０６ 中心軸
１１０７ 反射面
１１１０ 光路折り畳み要素（ＯＰＦＥ）
１１３０ アクチュエータ
１１４０ イメージセンシング装置
１１４４ 制御ロジック
１１４６ メモリ
１１４７ 較正データ
１１５０ 保存部
１２００ アプリケーションプロセッサ
１２１０ イメージ処理装置
１２１２ａ、１２１２ｂ、１２１２ｃ サブイメージプロセッサ
１２１４ イメージ生成器
１２１６ カメラモジュールコントローラ
１２２０ メモリコントローラ
１２３０ 内部メモリ
１３００ ＰＭＩＣ
１３１１ ＳＲＡＭコントローラ
１３１２ （第１）ラインメモリ
１３３１ リオーダリング処理部
１３３２ 第２ラインメモリ
１４００ 外部メモリ
ＣＦＡ カラーフィルタアレイ
ＣＯＮＳ 制御信号
ＣＳＬａ、ＣＳＬｂ、ＣＳＬｃ 制御信号ライン
ＩＤＴ１、ＩＤＴ２ 第１、第２イメージデータ
ＩＤＴ′ カーネルイメージデータ
ＩＤＴ１″ イメージ処理を行ったピクセルデータ
ＩＳＬａ、ＩＳＬｂ、ＩＳＬｃ イメージ信号ライン
ＬＳ 光学レンズ
ＰＸ＿Ａｒｒａｙ ピクセルアレイ
ＳＰ０～ＳＰ１５ 第１～第１６共有ピクセル
ＡＲＡＭ＿０～ＳＲＡＭ＿ｎ ラインメモリ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】