特開 2023-72666 イメージ信号プロセッサ、イメージ信号プロセッサの動作方法、及びイメージ信号プロセッサを含むアプリケーションプロセッサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023072666

(43)【公開日】2023-05-24

(54)【発明の名称】イメージ信号プロセッサ、イメージ信号プロセッサの動作方法、及びイメージ信号プロセッサを含むアプリケーションプロセッサ

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230517BHJP

【ＦＩ】

G06T5/00 700

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022172572

(22)【出願日】2022-10-27

(31)【優先権主張番号】10-2021-0156060

(32)【優先日】2021-11-12

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0056873

(32)【優先日】2022-05-09

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】李 周賢

(72)【発明者】

【氏名】金 一道

(72)【発明者】

【氏名】▲ゆ▼ 斗植

(72)【発明者】

【氏名】林 石煥

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD05

5B057CE02

5B057CE03

5B057CE06

5B057CE08

5B057CE11

5B057CH11

5B057CH20

5B057DA16

5B057DB02

5B057DB09

5B057DC16

(57)【要約】

【課題】イメージ信号プロセッサ、イメージ信号プロセッサの動作方法、及びイメージ信号プロセッサを含むアプリケーションプロセッサを提供する。
【解決手段】消費電力、データバンド幅及び画質劣化を最小化し、イメージ処理するイメージ信号プロセッサは、分解回路、イメージ処理エンジン及び再構成回路を含み、前記分解回路は、入力イメージ信号を、第１イメージ信号とイメージ情報信号とに分解し、第１イメージ信号は、以後のイメージ処理、スケーリングなどの過程を経た後、前記再構成回路に入力され、イメージ情報信号と再構成され、再構成回路は、出力イメージ信号を生成し、前記分解回路が生成するイメージ情報信号は、スケーリング及びイメージ処理における損失に係わる情報を最大限含むように、前記分解回路及び前記再構成回路で補償及び／または補正される。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力イメージ信号をダウンスケーリングし、第１イメージ信号を生成するダウンスケーリング回路と、
前記第１イメージ信号に対し、複数のイメージ処理を遂行し、第２イメージ信号を生成するイメージ処理エンジンと、
前記第２イメージ信号をアップスケーリングし、第３イメージ信号を生成する第１アップスケーリング回路と、
前記第１イメージ信号をアップスケーリングし、第４イメージ信号を生成する第２アップスケーリング回路と、
前記入力イメージ信号及び前記第４イメージ信号から、前記第３イメージ信号の画質劣化に係わる情報を抽出し、イメージ情報信号を生成する補正情報生成回路と、
前記第３イメージ信号と前記イメージ情報信号とを再構成し、出力イメージ信号を生成する再構成回路と、を含む、イメージ信号プロセッサ。

【請求項2】

前記補正情報生成回路は、少なくとも１つの輝度向上回路を含み、前記少なくとも１つの輝度向上回路は、前記入力イメージ信号及び前記第４イメージ信号に対し、輝度を向上させることを特徴とする、請求項１に記載のイメージ信号プロセッサ。

【請求項3】

前記補正情報生成回路は、適応フィルタ、ノイズ低減フィルタ、前記イメージ処理エンジンによるイメージ処理に対応する輝度向上回路、及び鮮明度向上回路のうち少なくとも１つを含むことを特徴とする、請求項１に記載のイメージ信号プロセッサ。

【請求項4】

前記再構成回路は、前記イメージ情報信号を補正する放射補正回路、及び前記イメージ情報信号に対する利得を制御する利得制御回路のうち少なくとも１つを含むことを特徴とする、請求項１に記載のイメージ信号プロセッサ。

【請求項5】

前記イメージ情報信号を保存し、前記再構成回路へ伝送可能なメモリをさらに含む、請求項１に記載のイメージ信号プロセッサ。

【請求項6】

入力イメージ信号をイメージ処理するイメージ信号プロセッサの動作方法において、
入力イメージ信号に対してダウンスケーリングし、第１イメージ信号を生成する段階と、
前記第１イメージ信号をイメージ処理し、第２イメージ信号を生成する段階と、
前記第２イメージ信号をアップスケーリングし、第３イメージ信号を生成する段階と、
前記第１イメージ信号をアップスケーリングし、第４イメージ信号を生成する段階と、
前記入力イメージ信号及び前記第４イメージ信号から、前記第３イメージ信号の画質劣化に係わる情報を抽出し、イメージ情報信号を生成する段階と、
前記第３イメージ信号と前記イメージ情報信号とを再構成し、出力イメージ信号を生成する段階と、を含む、方法。

【請求項7】

前記イメージ情報信号を生成する段階は、前記入力イメージ信号及び前記第４イメージ信号に対し、輝度向上、適応フィルタリング、鮮明度向上及びノイズ低減のうち少なくとも１つの機能を行う段階を含むことを特徴とする、請求項６に記載の方法。

【請求項8】

前記出力イメージ信号を生成する段階は、
前記イメージ情報信号に対し、放射補正及び利得制御のうち少なくとも１つの機能を行った後、前記第３イメージ信号と再構成し、前記出力イメージ信号を生成することを特徴とする、請求項６に記載の方法。

【請求項9】

前記出力イメージ信号を生成する段階は、
前記イメージ情報信号をメモリに保存する段階と、
前記メモリが前記イメージ情報信号を出力する段階と、
前記メモリから出力された前記イメージ情報信号と、前記第３イメージ信号とを再構成し、前記出力イメージ信号を生成する段階と、を含むことを特徴とする、請求項６に記載の方法。

【請求項10】

入力イメージ信号に基づき、入力イメージ信号の低周波成分を含む第１イメージ信号、及び高周波信号を含むイメージ情報信号を生成する分解回路と、
前記第１イメージ信号に対し、複数のイメージ処理を遂行し、第２イメージ信号を生成するイメージ処理エンジンと、
前記第２イメージ信号と前記イメージ情報信号とを再構成し、出力イメージ信号を生成する再構成回路を含むイメージ信号プロセッサと、
前記イメージ情報信号を保存し、再構成回路へ伝送可能なメモリと、を含むことを特徴とするアプリケーションプロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ信号処理に係り、より詳しくは、イメージセンサから受信される原本（ロー、raw）イメージデータをイメージ処理するイメージ信号プロセッサ、イメージ信号プロセッサの動作方法、及びイメージ信号プロセッサを含むアプリケーションプロセッサに関する。

【背景技術】

【0002】

カメラ、スマートフォンのような撮像装置に具備されるイメージ信号プロセッサは、イメージセンサから提供される原本イメージをイメージ処理し、ＲＧＢイメージ、ＹＵＶイメージなどの変換されたイメージを生成することができる。変換されたイメージは、ＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４などの圧縮技術に基づいて圧縮され、ストレージに保存されるか、あるいはディスプレイ装置に表示される。イメージ信号プロセッサは、外部から受信されるイメージ信号を、多様な映像処理プロセスによって処理する。イメージ信号プロセッサの技術発展によって、多様な機能の追加及び拡張が継続的に反映されているところ、それを処理するために、イメージ信号プロセッサに要求される電力及びデータバンド幅が増加することになる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする課題は、入力イメージ信号に対し、画質劣化を最小化し、かつ消費電力及びデータバンド幅を最小化するイメージ処理を遂行するイメージ信号プロセッサ、イメージ信号プロセッサの動作方法、及びイメージ信号プロセッサを含むアプリケーションプロセッサを提供することにある。

【課題を解決するための手段】

【0004】

本発明による、イメージ情報信号を利用してイメージ処理するとき、画質劣化を最小化するイメージ信号プロセッサは、入力イメージ信号をダウンスケーリングし、第１イメージ信号を生成するダウンスケーリング回路と、第１イメージ信号に対し、複数のイメージ処理を遂行し、第２イメージ信号を生成する複数の処理モジュールを含むイメージ処理エンジンと、第２イメージ信号をアップスケーリングし、第３イメージ信号を生成する第１アップスケーリング回路と、第１イメージ信号をアップスケーリングし、第４イメージ信号を生成する第２アップスケーリング回路と、入力イメージ信号及び第４イメージ信号から、第３イメージ信号の画質劣化に係わる情報を抽出し、イメージ情報信号を生成する補正情報生成回路と、第３イメージ信号とイメージ情報信号とを再構成し、出力イメージ信号を生成する再構成回路と、を含みうる。

【0005】

本発明による、入力イメージ信号をイメージ処理するイメージ信号プロセッサの動作方法は、入力イメージ信号に対してダウンスケーリングし、第１イメージ信号を生成する段階と、第１イメージ信号をイメージ処理し、第２イメージ信号を生成する段階と、第２イメージ信号をアップスケーリングし、第３イメージ信号を生成する段階と、第１イメージ信号をアップスケーリングし、第４イメージ信号を生成する段階と、入力イメージ信号から、第３イメージ信号の画質劣化に係わる情報を抽出し、イメージ情報信号を生成する段階と、第３イメージ信号とイメージ情報信号とを再構成し、出力イメージ信号を生成する段階と、を含みうる。

【0006】

本発明による、アプリケーションプロセッサは、入力イメージ信号に基づき、入力イメージ信号の低周波成分を含む第１イメージ信号、及び高周波信号を含むイメージ情報信号を生成する分解回路と、第１イメージ信号に対し、複数のイメージ処理を遂行し、第２イメージ信号を生成する複数のイメージ処理モジュールを含むイメージ処理エンジンと、第２イメージ信号とイメージ情報信号とを再構成し、出力イメージ信号を生成する再構成回路を含むイメージ信号プロセッサと、イメージ情報信号を保存し、再構成回路へ伝送可能なメモリと、を含みうる。

【発明の効果】

【0007】

本発明によるイメージ信号プロセッサ、イメージ信号プロセッサの動作方法、及びイメージ信号プロセッサを含むアプリケーションプロセッサのイメージ処理によれば、入力イメージ信号のデータ量を減らすことにより、イメージ処理に消費する電力、データバンド幅（data band-width）及び画質劣化（image quality loss）を最小化することができる。例えば、入力イメージ信号をダウンスケーリングし、解像度が低減すれば、イメージ処理に必要な演算量が減少し、消費電力及びデータバンド幅が減少することになるが、それによる画質劣化が発生する。本発明によれば、入力イメージ信号を利用してイメージ情報信号を生成し、イメージ情報信号と、イメージ処理された信号とを再構成することにより、消費電力、データバンド幅及び出力イメージ信号の画質劣化を最小化することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の例示的な実施形態によるイメージ処理システムを示すブロック図である。

【図2】本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示す図面である。

【図3】本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示す図面である。

【図4】本発明の例示的な実施形態によるイメージ信号プロセッサの分解回路を概略的に示すブロック図である。

【図5】本発明の例示的な実施形態によるイメージ信号プロセッサの分解回路を概略的に示すブロック図である。

【図6】本発明の例示的な実施形態によるイメージ信号プロセッサの再構成回路を概略的に示すブロック図である。

【図7】本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図である。

【図8A】本発明の例示的な実施形態による原本イメージ信号が有することができるベイヤーパターンを示す図面である。

【図8B】本発明の例示的な実施形態による原本イメージ信号が有することができるベイヤーパターンを示す図面である。

【図9】本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図である。

【図10】本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図である。

【図11】図１０のイメージ信号プロセッサの高周波分解回路を概略的に示すブロック図である。

【図12】本発明の例示的な実施形態によるイメージ信号プロセッサの動作方法を示すフローチャートである。

【図13】本発明の例示的な実施形態によるイメージ信号プロセッサの動作方法を示すフローチャートである。

【図14】本発明の例示的な実施形態によるアプリケーションプロセッサを示すブロック図である。

【図15】本発明の例示的な実施形態によるアプリケーションプロセッサのイメージ信号プロセッサ及びメモリを示すブロック図である。

【図16】本発明の例示的な実施形態によるイメージ信号プロセッサを含むイメージセンサを示すブロック図である。

【図17】本発明の例示的な実施形態によるイメージ信号プロセッサを含む携帯用端末機を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、添付した図面を参照して、本発明の実施形態に対して詳細に説明する。

【0010】

図１は、本発明の例示的な実施形態によるイメージ処理システムを示すブロック図である。

【0011】

イメージ処理システム１００は、電子装置に内蔵（embedded）されるか、あるいは電子装置によって具現されるかすることができる。電子装置は、例えば、ＰＣ（personal computer）、ＩｏＴ（Internet of Things）装置、または携帯用電子機器によって具現されうる。該携帯用電子機器は、ラップトップコンピュータ、携帯電話、スマートフォン、タブレットＰＣ、ＰＤＡ（personal digital assistant）、ＥＤＡ（enterprise digital assistant）、デジタルスチールカメラ、デジタルビデオカメラ、オーディオ装置、ＰＭＰ（portable multimedia player）、ＰＮＤ（personal navigation device）、ＭＰ３プレーヤ、携帯用ゲーム機（handheld game console）、ｅブック（e-book）、ウェアラブル装置などである。

【0012】

図１を参照すれば、イメージ処理システム１００は、イメージセンサ１１０、イメージ信号プロセッサ１２０、メモリ１３０及びディスプレイ装置１４０を含むものでもある。

【0013】

イメージセンサ１１０は、光学レンズＬＳを介して入射された被写体ＯＢＪＥＣＴの光信号を、電気信号またはイメージ（すなわち、イメージデータ）に変換することができる。イメージセンサ１１０は、例えば、２次元に配列された複数のセンシングピクセルを含むピクセルアレイ、及びセンシング回路を含み、ピクセルアレイ及びセンシング回路は、１つの半導体チップに集積可能である。ピクセルアレイは、受信される光信号を電気信号に変換することができる。ピクセルアレイは、例えば、ＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子によって具現され、その他にも多様な種類の光電変換素子によって具現可能である。センシング回路は、ピクセルアレイから提供される電気信号をイメージに変換し、変換されたイメージを、本発明の入力イメージ信号ＩＩＭＧとして生成することができる。入力イメージ信号ＩＩＭＧは、以下の説明において、本発明のイメージ信号プロセッサ１２０の入力であるとしうる。

【0014】

イメージ信号プロセッサ１２０は、イメージセンサ１１０から提供される入力イメージ信号ＩＩＭＧをイメージ処理し、出力イメージ信号ＯＩＭＧを生成することができる。例えば、イメージ信号プロセッサ１２０は、設定されたスケーリング、ホワイトバランス、パラメータなどに基づき、入力イメージ信号ＩＩＭＧをイメージ処理することができる。出力イメージ信号ＯＩＭＧは、ＲＧＢ、ＹＵＶのような色空間イメージとしうる。出力イメージ信号ＯＩＭＧのサイズ、例えば、解像度は、入力イメージ信号ＩＩＭＧと同一でありうる。出力イメージ信号ＯＩＭＧは、メモリ１３０に保存可能である。メモリ１３０は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static RAM）のような揮発性メモリ、またはＰＲＡＭ（Phase Change RAM）、ＲｅＲＡＭ（Resistive RAM）、フラッシュメモリのような不揮発性メモリである。メモリ１３０に保存された出力イメージ信号ＯＩＭＧは、後でイメージ処理システム１００において使用されるか、あるいはストレージ装置に保存される。

【0015】

また、イメージ信号プロセッサ１２０は、出力イメージ信号ＯＩＭＧのサイズを減少または増加させることにより、スケーリングされたイメージを生成することができる。例えば、イメージ信号プロセッサ１２０は、ディスプレイ装置１４０の解像度に合わせるように、変換されたイメージのサイズ、すなわち、解像度をスケーリングすることにより、スケーリングされたイメージを生成することができる。イメージ信号プロセッサ１２０は、スケーリングされたイメージをディスプレイ装置１４０に提供することができる。

【0016】

イメージ信号プロセッサ１２０においては、イメージセンサ１１０の高画素の傾向によって、イメージ処理に消費する電力及びデータバンド幅が増大することになる。従って、そのような問題点を解決するために、イメージ処理前に、入力イメージ信号ＩＩＭＧのサイズ、すなわち、解像度を低減させる方法を使用することができる。しかしながら、消費電力及びデータバンド幅の低減のために、入力イメージ信号ＩＩＭＧのデータ量を減少させると、スケーリング過程において画質劣化が発生するという問題がある。

【0017】

そのような画質劣化を最小化するために、本発明のイメージ信号プロセッサ１２０、イメージ信号プロセッサ１２０の動作方法、及びイメージ信号プロセッサ１２０を含むアプリケーションプロセッサ２００は、入力イメージ信号ＩＩＭＧのデータ量を減らしてイメージ処理する過程以外に、スケーリング及びイメージ処理による画質劣化に係わる情報を、入力イメージ信号ＩＩＭＧから抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成し、イメージ情報信号ＩＭＧ＿ＩＦを利用して出力イメージ信号ＯＩＭＧを生成することにより、出力イメージ信号ＯＩＭＧの画質劣化を最小化することができる。これによって、最終的に高画質の入力イメージ信号ＩＩＭＧをイメージ処理するにあたって、消費電力及びデータバンド幅を最小化し、かつ画質劣化を最小化することができる。

【0018】

図２は、本発明の例示的な実施形態による概略的なイメージ信号プロセッサを示す図面である。

【0019】

図２のイメージ信号プロセッサ１２０は、分解回路（decomposition circuit）１２１、イメージ処理エンジン（image processing engine）１２２及び再構成回路（recomposition circuit）１２４を含みうる。

【0020】

図２を参照すれば、分解回路１２１は、入力イメージ信号ＩＩＭＧのダウンスケーリング、及び／または補正情報生成過程を介し、第１イメージ信号ＩＭＧ１及びイメージ情報信号ＩＭＧ＿ＩＦを生成することができる。例えば、第１イメージ信号ＩＭＧ１は、入力イメージ信号ＩＩＭＧをダウンスケーリングした信号であるとしうる。従って、第１イメージ信号ＩＭＧ１のデータ量は、入力イメージ信号ＩＩＭＧのデータ量よりも少ない。または、分解回路１２１は、入力イメージ信号ＩＩＭＧを周波数帯域（frequency band）別に区分し、ローパスフィルタ（low pass filter）を適用し、低周波成分を有する第１イメージ信号ＩＭＧ１を生成することができる。同様に、第１イメージ信号ＩＭＧ１は、入力イメージ信号ＩＩＭＧよりもデータ量が少ない。イメージ情報信号ＩＭＧ＿ＩＦは、入力イメージ信号ＩＩＭＧの高周波成分を抽出して生成することができる。前記高周波成分は、スケーリング及びイメージ処理による画質劣化を補正可能な補正情報としうる。

【0021】

イメージ処理エンジン１２２は、第１イメージ信号ＩＭＧ１を受信し、第１イメージ信号ＩＭＧ１に対し、多様なイメージ処理を遂行し、第２イメージ信号ＩＭＧ２を生成することができる。イメージ処理エンジン１２２は、消費電力及び演算量が高い複数のイメージモジュールを含みうる。

【0022】

前述のように、分解回路１２１が、イメージ処理エンジン１２２におけるイメージ処理に先立って、入力イメージ信号ＩＩＭＧのデータ量より少ないデータ量を有する第１イメージ信号ＩＭＧ１を生成する。そして、イメージ処理エンジン１２２において第１イメージ信号ＩＭＧ１をイメージ処理することにより、イメージ処理エンジン１２２における消費電力及び演算量が低減する。

【0023】

再構成回路１２４は、イメージ処理エンジン１２２から出力される第２イメージ信号ＩＭＧ２と、イメージ情報信号ＩＭＧ＿ＩＦとを再構成し、出力イメージ信号ＯＩＭＧを生成することができる。第２イメージ信号ＩＭＧ２とイメージ情報信号ＩＭＧ＿ＩＦとを再構成することにより、画質劣化を最小化することができる。前述のように、イメージ情報信号ＩＭＧ＿ＩＦは、高周波信号としうる。例えば、イメージ情報信号ＩＭＧ＿ＩＦは、入力イメージ信号ＩＩＭＧのエッジ（edge）に係わる情報を含みうる。

【0024】

図３は、本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図である。

【0025】

図３を参照すれば、イメージ信号プロセッサ１２０は、分解回路１２１、イメージ処理エンジン１２２、第１アップスケーリング回路１２３及び再構成回路１２４を含みうる。

【0026】

イメージ信号プロセッサ１２０の分解回路１２１は、ダウンスケーリング回路１２５、第２アップスケーリング回路１２６及び補正情報生成回路１２７を含みうる。図３には、第２アップスケーリング回路１２６と補正情報生成回路１２７とが別々の構成として示されているが、それに制限されるものではなく、他の実施形態において、第２アップスケーリング回路１２６は、補正情報生成回路１２７に含まれることが可能である。また、図３には、再構成回路１２４と第１アップスケーリング回路１２３とが別々の構成として示されているが、それに制限されるものではなく、第１アップスケーリング回路１２３は、再構成回路１２４に含まれることが可能である。

【0027】

実施形態において、ダウンスケーリング回路１２５、イメージ処理エンジン１２２、再構成回路１２４、第１アップスケーリング回路１２３、第２アップスケーリング回路１２６及び補正情報生成回路１２７は、ハードウェアによって具現されうる。しかしながら、それに制限されるものではなく、ダウンスケーリング回路１２５、イメージ処理エンジン１２２、再構成回路１２４、第１アップスケーリング回路１２３、第２アップスケーリング回路１２６及び補正情報生成回路１２７は、ハードウェア及びソフトウェアの組み合わせによっても具現される。

【0028】

入力イメージ信号ＩＩＭＧは、ダウンスケーリング回路１２５及び補正情報生成回路１２７に入力可能である。ダウンスケーリング回路１２５は、入力イメージ信号ＩＩＭＧをダウンスケーリングし、第１イメージ信号ＩＭＧ１を生成することができる。従って、第１イメージ信号ＩＭＧ１の解像度は、入力イメージ信号ＩＩＭＧの解像度よりも低い。例えば、第１イメージ信号ＩＭＧ１の解像度は６４０×４８０であり、入力イメージ信号ＩＩＭＧの解像度は８００×６００である。他の例として、ダウンスケーリング回路１２５は、ローパスフィルタを含んでもよく、これを介し、入力イメージ信号ＩＩＭＧの低周波成分を有する第１イメージ信号ＩＭＧ１が生成可能である。

【0029】

ダウンスケーリング回路１２５を介し、入力イメージ信号ＩＩＭＧの解像度を低減させる場合に、消費電力及びバンド幅の利得が最も大きいため、スケーリングを介するローパスフィルタを、本発明の例示的な実施形態として記載しているが、本発明は、スケーリング以外の方法（例えば、ダウンスケーリング以外のデータ量を減らす方法）を具現可能なローパスフィルタによっても実施可能である。

【0030】

第１イメージ信号ＩＭＧ１は、イメージ処理エンジン１２２及び第２アップスケーリング回路１２６に入力可能である。第２アップスケーリング回路１２６は、第１イメージ信号ＩＭＧ１をアップスケーリングし、第４イメージ信号ＩＭＧ４を生成することができる。第４イメージ信号ＩＭＧ４の解像度は、入力イメージ信号ＩＩＭＧの解像度と同一でありうる。例えば、第４イメージ信号ＩＭＧ４の解像度、及び入力イメージ信号ＩＩＭＧの解像度は、８００×６００である。

【0031】

第４イメージ信号ＩＭＧ４及び入力イメージ信号ＩＩＭＧは、補正情報生成回路１２７に入力可能である。補正情報生成回路１２７は、第４イメージ信号ＩＭＧ４及び入力イメージ信号ＩＩＭＧから、スケーリング及びイメージ処理エンジン１２２におけるイメージ処理によって発生する画質劣化に係わる補正情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる。イメージ情報信号ＩＭＧ＿ＩＦは、高周波信号であるとしうる。例えば、イメージ処理エンジン１２２におけるイメージ処理及びスケーリングによる損失を補償するための情報を含むイメージ情報信号ＩＭＧ＿ＩＦは、入力イメージ信号ＩＩＭＧのエッジに係わる高周波情報を含む信号としうる。すなわち、イメージ情報信号ＩＭＧ＿ＩＦは、入力イメージ信号ＩＩＭＧがスケーリング及びイメージ処理過程を遂行しつつ発生する画質劣化に係わる情報を含んでいるので、再構成回路１２４は、イメージ情報信号ＩＭＧ＿ＩＦを利用し、出力イメージ信号ＯＩＭＧの画質劣化を最小化することができる。

【0032】

イメージ処理エンジン１２２は、第１イメージ信号ＩＭＧ１に対し、多様なイメージ処理を遂行し、第２イメージ信号ＩＭＧ２を生成することができる。前記イメージ処理過程において画質劣化が発生しうるので、第２イメージ信号ＩＭＧ２は、画質劣化したイメージ信号でありうる。

【0033】

第１アップスケーリング回路１２３は、第２イメージ信号ＩＭＧ２をアップスケーリングし、第３イメージ信号ＩＭＧ３を生成することができる。従って、入力イメージ信号ＩＩＭＧと第３イメージ信号ＩＭＧ３との解像度は同一でありうる。例えば、入力イメージ信号ＩＩＭＧの解像度、及び第３イメージ信号ＩＭＧ３の解像度は、８００×６００である。この過程でも、スケーリングによる画質劣化が発生しうる。従って、第３イメージ信号ＩＭＧ３は、イメージ処理及びスケーリングによって画質劣化したイメージ信号であることがあり、第３イメージ信号ＩＭＧ３は、入力イメージ信号ＩＩＭＧより低い画質を有することができる。

【0034】

再構成回路１２４は、第３イメージ信号ＩＭＧ３とイメージ情報信号ＩＭＧ＿ＩＦとを再構成し、出力イメージ信号ＯＩＭＧを生成することができる。前述のように、第３イメージ信号ＩＭＧ３は、画質劣化したイメージ信号であることがあり、再構成回路においては、イメージ情報信号ＩＭＧ＿ＩＦが含む入力イメージ信号ＩＩＭＧ及び第４イメージ信号ＩＭＧ４から抽出した補正情報を介し、第３イメージ信号ＩＭＧ３の画質劣化を最小化する補正を行うことができる。

【0035】

出力イメージ信号ＯＩＭＧは、イメージ信号プロセッサ１２０を含む電子機器などのディスプレイ装置１４０の解像度に合わせるように、再びスケーリングされることが可能である。

【0036】

図４は、本発明の例示的な実施形態によるイメージ信号プロセッサの分解回路を概略的に示すブロック図である。

【0037】

図４を参照すれば、分解回路１２１は、ダウンスケーリング回路１２５、第２アップスケーリング回路１２６及び補正情報生成回路１２７を含み、補正情報生成回路１２７は、適応フィルタ（adaptive filter）１２７－２、ノイズ低減フィルタ（noise reduction filter）１２７－４、輝度向上回路（brightness enhancement circuit）１２７－１及び鮮明度向上回路（sharp enhancement circuit）１２７－３のうち少なくとも１つを含みうる。

【0038】

入力イメージ信号ＩＩＭＧ及び第４イメージ信号ＩＭＧ４は、輝度向上回路１２７－１及び適応フィルタ１２７－２を通過することができ、適応フィルタ１２７－２は、輝度向上回路１２７－１を通過した入力イメージ信号ＩＩＭＧと第４イメージ信号ＩＭＧ４とをフィルタリングし、１つのイメージ信号として生成することができるが、本発明は、それに限定されない。

【0039】

前述のように、補正情報生成回路１２７は、イメージ処理及びスケーリングにおいて発生する入力イメージ信号ＩＩＭＧの画質劣化に係わる情報を最大限抽出するために、補正情報生成過程を遂行し、イメージ情報信号ＩＭＧ＿ＩＦを生成する。補正情報生成過程において、スケーリング及びイメージ処理過程において発生しうる画質劣化は、主に輝度及び／または鮮明度に係わりうる。従って、本発明の多様な例示的な実施形態において、補正情報生成回路１２７は、輝度向上回路１２７－１及び／または鮮明度向上回路１２７－３を含みうる。

【0040】

図５は、本発明の例示的な実施形態によるイメージ信号プロセッサの分解回路を概略的に示すブロック図である。

【0041】

図５を参照すれば、分解回路１２１は、ダウンスケーリング回路１２５、第２アップスケーリング回路１２６及び補正情報生成回路１２７を含みうる。補正情報生成回路１２７は、第１輝度向上回路１２７－１１、第２輝度向上回路１２７－１２及び差分回路１２７－５を含みうる。

【0042】

図５は、入力イメージ信号ＩＩＭＧ及び第４イメージ信号ＩＭＧ４から、イメージ処理及びスケーリングによって、第３イメージ信号ＩＭＧ３が有している画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成する１つの実施形態である。差分回路１２７－５は、第１輝度向上回路１２７－１１を通過した第４イメージ信号ＩＭＧ４と第２輝度向上回路１２７－１２を通過した入力イメージ信号ＩＩＭＧとの差分を取ることができ、第１輝度向上回路１２７－１１及び第２輝度向上回路１２７－１２をそれぞれ通過した第４イメージ信号ＩＭＧ４と入力イメージ信号ＩＩＭＧとの差分を取った信号は、鮮明度向上回路１２７－３及び第２輝度向上回路１２７－１２を通過した入力イメージ信号ＩＩＭＧと組み合わせ可能である。最終的にノイズ低減フィルタ１２７－４を通過することができ、補正情報生成回路１２７は、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる。前記のような過程を経て、補正情報生成回路１２７が生成するイメージ情報信号ＩＭＧ＿ＩＦは、高周波信号となりうる。例えば、イメージ情報信号ＩＭＧ＿ＩＦは、入力イメージ信号ＩＩＭＧのエッジに係わる情報を含む信号であるとしうる。

【0043】

図６は、本発明の例示的な実施形態によるイメージ信号プロセッサの再構成回路を概略的に示すブロック図である。

【0044】

図６を参照すれば、補正情報生成回路１２７が生成するイメージ情報信号ＩＭＧ＿ＩＦが、再構成回路１２４に入力される。再構成回路１２４は、放射（ラジアル）補正回路（radial correction circuit）１２８及び利得制御回路（gain control circuit）１２９のうち少なくとも１つを含みうる。

【0045】

再構成回路１２４は、イメージ情報信号ＩＭＧ＿ＩＦを補正する役割を行い、放射補正回路１２８及び利得制御回路１２９は、ハードウェアによって具現されうる。

【0046】

再構成回路１２４は、イメージ情報信号ＩＭＧ＿ＩＦと第３イメージ信号ＩＭＧ３とを再構成し、出力イメージ信号ＯＩＭＧを生成することができる。再構成回路１２４は、出力イメージ信号ＯＩＭＧの画質劣化を最小化するために、イメージ情報信号ＩＭＧ＿ＩＦに対し、放射補正及び利得制御のうち少なくとも１つの機能を行うことができる。

【0047】

イメージは、レンズの特性によって、中心から周辺へ行くほど、ノイズが多い。そのようなノイズを調整するために、再構成回路１２４は、放射補正回路１２８を含みうる。そして、利得制御回路１２９を介し、第３イメージ信号ＩＭＧ３の画質劣化を最小化するために、イメージ情報信号ＩＭＦ＿ＩＦの強度を調節することができる。

【0048】

図６を参照すれば、再構成回路１２４は、第１アップスケーリング回路１２３と別個の構成として示されているが、本発明を介し、本発明の属する技術分野における通常の知識を有する者は、第１アップスケーリング回路１２３が再構成回路１２４に含まれてもよいということを容易に把握できるであろう。再構成回路１２４に第１アップスケーリング回路１２３が含まれた場合にも、第１アップスケーリング回路１２３は、第２イメージ信号ＩＭＧ２をアップスケーリングし、第３イメージ信号ＩＭＧ３を生成することができる。

【0049】

図７は、本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図である。

【0050】

図７を参照すれば、イメージ信号プロセッサ１２０は、分解回路１２１、イメージ処理エンジン１２２、第１アップスケーリング回路１２３、再構成回路１２４及びデータ変換部１５０を含みうる。

【0051】

データ変換部１５０は、イメージセンサ１１０が生成した原本（ロー）イメージ信号ＲＩＭＧをデータ変換し、入力イメージ信号ＩＩＭＧを生成することができる。データ変換部１５０によって、入力イメージ信号ＩＩＭＧの解像度と、原本イメージ信号ＲＩＭＧの解像度とは同一であり、入力イメージ信号ＩＩＭＧのデータ量は、原本イメージ信号ＲＩＭＧのデータ量よりも多い。または、データ変換部１５０のデータ変換によって、原本イメージ信号ＲＩＭＧと入力イメージ信号ＩＩＭＧとの色空間が異なりうる。例えば、原本イメージ信号ＲＩＭＧは、ベイヤーパターン（Bayer pattern）であり、入力イメージ信号ＩＩＭＧは、ＲＧＢパターン、ＹＵＶパターンであるとしうる。ベイヤーパターンをＲＧＢパターンに変換する場合、データ量が増加しうる。

【0052】

図８Ａ及び図８Ｂは、本発明の例示的な実施形態による原本イメージ信号が有することができるベイヤーパターンを示す。

【0053】

図８Ａ及び図８Ｂを参照すれば、ベイヤーパターンは、人間の視覚特性によって、緑色が５０％、赤色と青色がそれぞれ２５％となるように交差配置されたパターンを意味することができる。

【0054】

図８Ａを参照すれば、ピクセルグループＰＧａは、２×２ベイヤーパターンで構成可能である。ピクセルグループＰＧａは、第１グリーンピクセルＧｒ、レッドピクセルＲ、第２グリーンピクセルＧｂ及びブルーピクセルＢを含み、第１グリーンピクセルＧｒ及び第２グリーンピクセルＧｂが対角線方向に配置され、レッドピクセルＲ及びブルーピクセルＢが対角線方向に配置される。

【0055】

図８Ｂを参照すれば、ピクセルグループＰＧｂは、４×４ベイヤーパターンで構成可能である。ピクセルグループＰＧｂは、それぞれ４個ずつの第１グリーンピクセルＧｒ、レッドピクセルＲ、第２グリーンピクセルＧｂ及びブルーピクセルＢを含む。その他にも、ピクセルグループは、多様なサイズのベイヤーパターンで構成されることが可能である。

【0056】

図９は、本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図である。

【0057】

図９を参照すれば、イメージ信号プロセッサ１２０は、分解回路１２１、イメージ処理エンジン１２２、第１アップスケーリング回路１２３、再構成回路１２４及びメモリ１６０を含みうる。

【0058】

分解回路１２１は、入力イメージ信号ＩＩＭＧから、第１イメージ信号ＩＭＧ１及びイメージ情報信号ＩＭＧ＿ＩＦを生成することができる。分解回路１２１が生成するイメージ情報信号ＩＭＧ＿ＩＦは、分解回路１２１に含まれる補正情報生成回路１２７の輝度向上回路１２７－１などを通過した後で生成可能である。

【0059】

イメージ情報信号ＩＭＧ＿ＩＦは、イメージ処理及びスケーリングによって発生した画質劣化を最小化するための補正情報を含み、再構成回路１２４に第３イメージ信号ＩＭＧ３と共に入力可能である。前述のように、イメージ情報信号ＩＭＧ＿ＩＦは、分解回路１２１から再構成回路１２４へ直接伝送されうるが、図９に示されたように、イメージ情報信号ＩＭＧ＿ＩＦは、イメージ信号プロセッサ１２０の内部のメモリ１６０に保存された後、再構成回路１２４へ伝送されることも可能である。このとき、メモリ１６０から伝送されるイメージ情報信号ＩＭＧ＿ＩＦと第３イメージ信号ＩＭＧ３は、同時に再構成回路１２４に入力される。しかしながら、本発明の実施形態は、それに限定されるものではなく、イメージ情報信号ＩＭＧ＿ＩＦと第３イメージ信号ＩＭＧ３は、ユーザが意図する時間間隔で再構成回路１２４に入力されることも可能である。

【0060】

例えば、メモリ１６０は、ＤＲＡＭ、ＳＲＡＭのような揮発性メモリ、またはＰＲＡＭ、ＲｅＲＡＭ、フラッシュメモリのような不揮発性メモリである。

【0061】

図１０は、本発明の例示的な実施形態によるイメージ信号プロセッサを概略的に示すブロック図であり、図１１は、図１０のイメージ信号プロセッサの高周波分解回路（high frequency decomposition circuit）を概略的に示すブロック図である。

【0062】

図１０を参照すれば、イメージ信号プロセッサ１２０は、ダウンスケーリング回路１２５、第１ガンマ補正回路１２７－５、第２ガンマ補正回路１２７－６、アップスケーリング回路１２７－７、イメージ処理エンジン１２２、高周波分解回路１２７－８０及び高周波再構成アップスケーリング回路１７０を含みうる。

【0063】

ダウンスケーリング回路１２５は、入力イメージ信号ＩＩＭＧをダウンスケーリングし、第１イメージ信号ＩＭＧ１を生成することができる。第１イメージ信号ＩＭＧ１は、イメージ処理エンジン１２２、第１ガンマ補正回路１２７－５及び第２ガンマ補正回路１２７－６それぞれに入力可能である。イメージ処理エンジン１２２は、第２イメージ信号ＩＭＧ２を生成し、第１ガンマ補正回路１２７－５は、第５イメージ信号ＩＭＧ５を生成し、第２ガンマ補正回路１２７－６は、第７イメージ信号ＩＭＧ７を生成する。アップスケーリング回路１２７－７は、第５イメージ信号ＩＭＧ５をアップスケーリングし、第６イメージ信号ＩＭＧ６を生成することができる。高周波分解回路１２７－８０は、第６イメージ信号ＩＭＧ６と第７イメージ信号ＩＭＧ７とを、ガウシアンフィルタリング（Gaussian filtering）及び差分を行い、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる。高周波再構成アップスケーリング回路１７０は、第２イメージ信号ＩＭＧ２とイメージ情報信号ＩＭＧ＿ＩＦとを再構成及びアップスケーリングし、出力イメージ信号ＯＩＭＧを生成することができる。出力イメージ信号ＯＩＭＧの解像度は、入力イメージ信号ＩＩＭＧの解像度と同一であり、出力イメージ信号ＯＩＭＧの解像度は、ディスプレイに表示されるために、再構成回路１２４を通過した後で調節可能である。イメージ処理エンジン１２２は、ユーザが目的とするイメージ処理を遂行することができる。

【0064】

第１ガンマ補正回路１２７－５及び第２ガンマ補正回路１２７－６は、ハードウェアの非線形的な特性を緩和するために、映像の全体的な輝度（luminance）を補正する役割を行うことができる。すなわち、第１ガンマ補正回路１２７－５及び第２ガンマ補正回路１２７－６は、ダウンスケーリング回路１２５でダウンスケーリングによって発生しうる第１イメージ信号ＩＭＧ１の輝度に係わる損失を補正することができる。

【0065】

アップスケーリング回路１２７－７が生成する第６イメージ信号ＩＭＧ６の解像度は、入力イメージ信号ＩＩＭＧの解像度と同一でありうる。

【0066】

図１１を参照すれば、高周波分解回路１２７－８０は、第１ガウシアンフィルタ（First Gaussian filter）１２７－８１、第２ガウシアンフィルタ（Second Gaussian filter）１２７－８２及び複数の差分回路１２７－８３、１２７－８４、１２７－８５を含みうる。ガウシアンフィルタは、ガウシアン分布関数を近似して生成したフィルタマスクを使用するフィルタリング技法であり、ガウシアン分布は、正規分布形状であり、ガウシアンフィルタは、ノイズを除去する役割を行うことができる。第１ガウシアンフィルタ１２７－８１と第２ガウシアンフィルタ１２７－８２とのサイズは異なりうる。例えば、第１ガウシアンフィルタ１２７－８１のサイズは５×５であり、第２ガウシアンフィルタ１２７－８２のサイズは３×３である。

【0067】

高周波分解回路１２７－８０は、第７イメージ信号ＩＭＧ７と、第１ガウシアンフィルタ１２７－８１及び第２ガウシアンフィルタ１２７－８２を通過した第７イメージ信号ＩＭＧ７とを、差分回路１２７－８４、１２７－８５による図１１のような差分過程を介し、Medium HF、Fine HFを生成することができる。第６イメージ信号ＩＭＧ６と第７イメージ信号ＩＭＧ７との差分を取り、Residual HFを生成することができ、Fine HF、Medium HF及びResidual HFを介し、補正情報を含む高周波成分（Merged HF）を抽出することができる。

【0068】

アップスケーリング回路１２７－７及びダウンスケーリング回路１２５の位置は、イメージ信号プロセッサ１２０、イメージ信号プロセッサ１２０の動作方法、及びアプリケーションプロセッサ２００における設計によっても変わり、ダウンスケーリング回路１２５の位置も変わりうる。

【0069】

図１２は、本発明の例示的な実施形態によるイメージ信号プロセッサの動作方法を示すフローチャートである。

【0070】

図１２を参照すれば、イメージ信号プロセッサ１２０（図１）は、入力イメージ信号ＩＩＭＧを受信することができる（Ｓ１０）。例えば、イメージセンサ１１０（図１）は、入力イメージ信号ＩＩＭＧを生成することができ、入力イメージ信号ＩＩＭＧは、イメージ信号プロセッサ１２０に入力可能である。

【0071】

イメージ信号プロセッサ１２０は、入力イメージ信号ＩＩＭＧをダウンスケーリングし、第１イメージ信号ＩＭＧ１を生成することができる（Ｓ２０）。例えば、入力イメージ信号ＩＩＭＧをダウンスケーリングした結果、第１イメージ信号ＩＭＧ１のデータ量は、入力イメージ信号ＩＩＭＧのデータ量よりも少ない。

【0072】

イメージ信号プロセッサ１２０は、第１イメージ信号ＩＭＧ１をイメージ処理し、第２イメージ信号を生成することができる（Ｓ３０）。例えば、第１イメージ信号ＩＭＧ１は、複数のイメージ処理モジュールを含んでいるイメージ処理エンジン１２２によってイメージ処理可能である。

【0073】

イメージ信号プロセッサ１２０は、第２イメージ信号ＩＭＧ２をアップスケーリングし、第３イメージ信号ＩＭＧ３を生成することができる（Ｓ４０）。例えば、アップスケーリングにより、第３イメージ信号ＩＭＧ３の解像度は、第２イメージ信号ＩＭＧ２の解像度より高く、入力イメージ信号ＩＩＭＧの解像度と同一でありうる。

【0074】

イメージ信号プロセッサ１２０は、第１イメージ信号ＩＭＧ１をアップスケーリングし、第４イメージ信号ＩＭＧ４を生成することができる（Ｓ５０）。例えば、アップスケーリングにより、入力イメージ信号ＩＩＭＧの解像度と、第４イメージ信号ＩＭＧ４の解像度とは同一でありうる。

【0075】

イメージ信号プロセッサ１２０は、入力イメージ信号ＩＩＭＧから、第３イメージ信号ＩＭＧ３の画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる（Ｓ６０）。例えば、第４イメージ信号ＩＭＧ４及び入力イメージ信号ＩＩＭＧに対し、輝度向上、鮮明度向上、適応フィルタリング及びノイズ低減フィルタリングのうち少なくとも１つの処理を遂行することにより、第３イメージ信号ＩＭＧ３の画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる。第３イメージ信号ＩＭＧ３の画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成する段階は、前記処理に限定されず、スケーリング及びイメージ処理段階において、多様な理由によって発生する画質劣化に係わるイメージ情報を抽出する相異なる複数の処理段階が含まれることが可能である。そして、イメージ情報信号ＩＭＧ＿ＩＦには、スケーリング及び／またはイメージ処理によって発生した画質劣化を補正するための原本イメージの高周波成分が含まれうる。

【0076】

イメージ信号プロセッサ１２０は、第３イメージ信号ＩＭＧ３とイメージ情報信号ＩＭＧ＿ＩＦとを再構成し、出力イメージ信号ＯＩＭＧを生成することができる（Ｓ７０）。例えば、出力イメージ信号ＯＩＭＧを生成する段階は、イメージ情報信号ＩＭＧ＿ＩＦに対し、放射補正及び利得制御のうち少なくとも１つの処理を遂行する段階を含みうる。

【0077】

前記のような一連の段階を介し、電力消費、データバンド幅及び画質劣化を最小化し、多様なイメージ処理が可能である。

【0078】

図１３は、本発明の例示的な実施形態によるイメージ信号プロセッサの動作方法を示すフローチャートである。

【0079】

図１３を参照すれば、イメージ信号プロセッサ１２０（図１）は、原本イメージ信号ＲＩＭＧを受信することができる（Ｓ１１）。例えば、イメージセンサ１１０（図１）は、原本イメージ信号ＲＩＭＧを生成することができ、原本イメージ信号ＲＩＭＧは、イメージ信号プロセッサ１２０に入力可能である。

【0080】

イメージ信号プロセッサ１２０は、原本イメージ信号ＲＩＭＧを、原本イメージ信号ＲＩＭＧの色空間と異なる色空間を有する入力イメージ信号ＩＩＭＧに変換することができる（Ｓ１２）。例えば、変換によって生成された入力イメージ信号ＩＩＭＧは、原本イメージ信号ＲＩＭＧより多いデータ量を有することができる。そして、原本イメージ信号ＲＩＭＧは、ベイヤーパターンであり、入力イメージ信号ＩＩＭＧは、ＲＧＢパターンまたはＹＵＶパターンである。

【0081】

イメージ信号プロセッサ１２０は、入力イメージ信号ＩＩＭＧをダウンスケーリングし、第１イメージ信号ＩＭＧ１を生成することができる（Ｓ２０）。例えば、入力イメージ信号ＩＩＭＧをダウンスケーリングした結果、第１イメージ信号ＩＭＧ１のデータ量は、入力イメージ信号ＩＩＭＧのデータ量よりも少ない。

【0082】

イメージ信号プロセッサ１２０は、第１イメージ信号ＩＭＧ１をイメージ処理し、第２イメージ信号を生成することができる（Ｓ３０）。例えば、第１イメージ信号ＩＭＧ１は、複数のイメージ処理モジュールを含んでいるイメージ処理エンジン１２２によってイメージ処理可能である。

【0083】

イメージ信号プロセッサ１２０は、第２イメージ信号ＩＭＧ２をアップスケーリングし、第３イメージ信号ＩＭＧ３を生成することができる（Ｓ４０）。例えば、アップスケーリングにより、第３イメージ信号ＩＭＧ３の解像度は、第２イメージ信号ＩＭＧ２の解像度より高く、入力イメージ信号ＩＩＭＧの解像度と同一でありうる。

【0084】

イメージ信号プロセッサ１２０は、第１イメージ信号ＩＭＧ１をアップスケーリングし、第４イメージ信号ＩＭＧ４を生成することができる（Ｓ５０）。例えば、アップスケーリングにより、入力イメージ信号ＩＩＭＧの解像度と、第４イメージ信号ＩＭＧ４の解像度とは同一でありうる。

【0085】

イメージ信号プロセッサ１２０は、第４イメージ信号ＩＭＧ４及び入力イメージ信号ＩＩＭＧから、第３イメージ信号ＩＭＧ３の画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる（Ｓ６０）。例えば、第４イメージ信号ＩＭＧ４及び入力イメージ信号ＩＩＭＧに対し、輝度向上、鮮明度向上、適応フィルタリング及びノイズ低減フィルタリングのうち少なくとも１つの処理を遂行し、第３イメージ信号ＩＭＧ３の画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成することができる。第３イメージ信号ＩＭＧ３の画質劣化に係わる情報を抽出し、イメージ情報信号ＩＭＧ＿ＩＦを生成する段階は、前記処理に限定されず、イメージ処理過程におけるスケーリング及びイメージ処理段階において、多様な理由によって発生する画質劣化に係わるイメージ情報を抽出する相異なる複数の処理段階が含まれることが可能である。そして、イメージ情報信号ＩＭＧ＿ＩＦには、スケーリング及び／またはイメージ処理によって発生した画質劣化を補正するための原本イメージの高周波成分が含まれうる。

【0086】

イメージ信号プロセッサ１２０は、第３イメージ信号ＩＭＧ３とイメージ情報信号ＩＭＧ＿ＩＦとを再構成し、出力イメージ信号ＯＩＭＧを生成することができる（Ｓ７０）。例えば、出力イメージ信号ＯＩＭＧを生成する段階は、イメージ情報信号ＩＭＧ＿ＩＦに対し、放射補正及び利得制御のうち少なくとも１つの処理を遂行する段階を含みうる。

【0087】

前記のような一連の段階を介し、電力消費、データバンド幅及び画質劣化を最小化し、多様なイメージ処理が可能である。

【0088】

図１４は、本発明の例示的な実施形態によるアプリケーションプロセッサを示すブロック図である。

【0089】

図１４を参照すれば、アプリケーションプロセッサ２００は、メインプロセッサ２１０、ＲＡＭ（Random Access Memory）２２０、圧縮エンコーダ２３０、イメージ信号プロセッサ１２０、不揮発性メモリインターフェース２５０、カメラインターフェース２６０、メモリインターフェース２７０及びディスプレイインターフェース２８０を含みうる。アプリケーションプロセッサ２００の各構成要素２１０、２２０、２３０、１２０、２５０、２６０、２７０、２８０は、バス２９０を介して互いにデータを送受信することができる。

【0090】

メインプロセッサ２１０は、アプリケーションプロセッサ２００の全般的な動作を制御することができる。メインプロセッサ２１０は、例えば、ＣＰＵ、マイクロプロセッサなどによって具現され、実施形態によって、２つ以上の独立したプロセッサ（または、コア）を有する１つのコンピューティングコンポーネント（computing component）、すなわち、マルチコアプロセッサ（multi-core processor）によって具現されてもよい。メインプロセッサ２１０は、ＲＡＭ ２２０（または、ＲＯＭ）に保存されたプログラム及び／またはデータを処理または実行させることができる。

【0091】

ＲＡＭ ２２０は、プログラム、データ及び／または命令（instructions）を一時的に保存することができる。実施形態によって、ＲＡＭ ２２０は、ＤＲＡＭまたはＳＲＡＭによって具現されうる。ＲＡＭ ２２０は、インターフェース２５０、２６０、２７０、２８０を介して入出力されるか、あるいはイメージ信号プロセッサ１２０またはメインプロセッサ２１０が生成するイメージを一時的に保存することができる。

【0092】

実施形態において、アプリケーションプロセッサ２００は、ＲＯＭ（read only memory）をさらに具備してもよい。ＲＯＭは、持続的に使用されるプログラム及び／またはデータを保存することができる。ＲＯＭは、ＥＰＲＯＭ（erasable programmable ROM）またはＥＥＰＲＯＭ（electrically erasable programmable ROM）などによって具現されうる。

【0093】

不揮発性メモリインターフェース２５０は、不揮発性メモリ装置２５５から入力されるデータ、または不揮発性メモリに出力されるデータをインターフェーシングすることができる。不揮発性メモリ装置２５５は、例えば、メモリカード（ＭＭＣ（multimedia card）、ｅＭＭＣ（embedded MMC）、ＳＤ（secure digital）、ｍｉｃｒｏ ＳＤ）などによって具現されうる。

【0094】

カメラインターフェース２６０は、アプリケーションプロセッサ２００の外部に位置したカメラ２６５から入力されるデータ（例えば、原本イメージ信号ＲＩＭＧ、または入力イメージ信号ＩＩＭＧ）をインターフェーシングすることができる。カメラ２６５は、複数の光感知素子を利用して撮影したイメージに対するデータを生成することができる。カメラインターフェース２６０を介して受信される原本イメージ信号ＲＩＭＧは、イメージ信号プロセッサ１２０に提供されるか、あるいはメモリインターフェース２７０を介してメモリ１３０に保存される。

【0095】

メモリインターフェース２７０は、アプリケーションプロセッサ２００の外部にあるメモリ１３０から入力されるデータ、またはメモリ１３０に出力されるデータをインターフェーシングすることができる。実施形態によって、メモリ１３０は、ＤＲＡＭやＳＲＡＭなどの揮発性メモリ、またはＲｅＲＡＭ、ＰＲＡＭやＮＡＮＤフラッシュなどの不揮発性メモリによって具現される。

【0096】

ディスプレイインターフェース２８０は、ディスプレイ装置１４０に出力されるデータ（例えば、出力イメージ信号ＯＩＭＧ）をインターフェーシングすることができる。ディスプレイ装置１４０は、イメージに対するデータを、ＬＣＤ（liquid-crystal display）、ＡＭＯＬＥＤ（active matrix organic light emitting diodes）などのディスプレイを介して出力することができる。

【0097】

圧縮エンコーダ２３０は、イメージをエンコーディングし、エンコーディングされたイメージ、すなわち、圧縮されたイメージを出力することができる。圧縮エンコーダ２３０は、イメージ信号プロセッサ１２０から出力される変換されたイメージ、またはメモリ１３０に保存された変換されたイメージをエンコーディングすることができる。実施形態において、圧縮エンコーダ２３０は、ＪＰＥＧモジュールであり、ＪＰＥＧモジュールは、ＪＰＥＧフォーマットイメージを出力することができる。ＪＰＥＧフォーマットイメージは、不揮発性メモリ装置２５５に保存可能である。

【0098】

イメージ信号プロセッサ１２０は、カメラ（または、イメージセンサ１１０）から提供されるイメージ、例えば、原本イメージ信号ＲＩＭＧまたは入力イメージ信号ＩＩＭＧに対し、イメージ処理を遂行することにより、イメージ処理されたイメージ信号を生成し、イメージ処理されたイメージをメモリ１３０に保存するか、あるいは変換されたイメージをスケーリングし、スケーリングされたイメージをディスプレイ装置１４０に提供することができる。

【0099】

図１５は、本発明の例示的な実施形態によるアプリケーションプロセッサのイメージ信号プロセッサ及びメモリを示すブロック図である。

【0100】

アプリケーションプロセッサ２００は、イメージ信号プロセッサ１２０及びメモリ１６０を含みうる。イメージ信号プロセッサ１２０は、分解回路１２１、イメージ処理エンジン１２２及び再構成回路１２４を含みうる。

【0101】

イメージ信号プロセッサ１２０に含まれた分解回路１２１で生成されたイメージ情報信号ＩＭＧ＿ＩＦは、イメージ信号プロセッサ１２０の外部に位置したメモリ１６０に保存され、第２イメージ信号ＩＭＧ２が再構成回路１２４に入力されるタイミングに合わせて、再構成回路１２４へ伝送可能である。

【0102】

例えば、メモリ１６０は、ＤＲＡＭ、ＳＲＡＭのような揮発性メモリ、またはＰＲＡＭ、ＲｅＲＡＭ、フラッシュメモリのような不揮発性メモリである。

【0103】

図１６は、本発明の例示的な実施形態によるイメージ信号プロセッサを含むイメージセンサを示すブロック図である。

【0104】

イメージセンサ１１０は、光学レンズＬＳを介して入射されたオブジェクト（object）の光信号をイメージデータに変換することができる。イメージセンサ１１０は、イメージまたは光のセンシング機能を有する電子機器に搭載可能である。例えば、イメージセンサ１１０は、デジタルスチールカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブル機器、ＩｏＴ機器、タブレットＰＣ、ＰＤＡ、ＰＭＰ、ナビゲーション装置のような電子機器に搭載可能である。また、イメージセンサ１１０は、車両、家具、製造設備、ドア、各種計測機器などに部品として備えられる電子機器に搭載可能である。

【0105】

図１６を参照すれば、イメージセンサ１１０は、ピクセルアレイ１０、リードアウト回路１１及びイメージ信号プロセッサ１２０を含みうる。実施形態において、ピクセルアレイ１０、リードアウト回路１１及びイメージ信号プロセッサ１２０は、１つの半導体チップまたは半導体モジュールとして具現可能である。実施形態において、ピクセルアレイ１０及びリードアウト回路１１は、１つの半導体チップとして具現され、イメージ信号プロセッサ１２０は、他の１つの半導体チップとして具現可能である。

【0106】

ピクセルアレイ１０は、例えば、ＣＣＤまたはＣＭＯＳなどの光電変換素子によって具現され、その他にも多様な種類の光電変換素子によって具現可能である。ピクセルアレイ１０は、受信される光信号（光）を電気信号に変換する複数のセンシングピクセルＰＸｓを含み、複数のセンシングピクセルＰＸｓは、行列に配列可能である。複数のセンシングピクセルＰＸｓそれぞれは、光感知素子を含む。例えば、光感知素子は、フォトダイオード、有機フォトダイオード、フォトトランジスタ、フォトゲートまたは埋め込みフォトダイオード（pinned photodiode）などを含みうる。

【0107】

リードアウト回路１１は、ピクセルアレイ１０から受信される電気信号を、イメージデータに変換することができる。リードアウト回路１１は、電気信号を増幅し、増幅された電気信号をアナログ・デジタル変換することができる。リードアウト回路１１で生成されるイメージデータは、ピクセルアレイ１０の複数のセンシングピクセルＰＸｓに対応する複数のピクセルを含みうる。ここで、ピクセルアレイ１０のセンシングピクセルＰＸｓは、受信される光による信号を生成する物理的構造物であり、イメージデータに具備されるピクセルは、センシングピクセルＰＸｓに対応するデータを示す。リードアウト回路１１は、ピクセルアレイ１０と共にセンシングコアを構成することができる。

【0108】

リードアウト回路１１とイメージ信号プロセッサ１２０との間に、図７のデータ変換部１５０が追加されてもよい。データ変換部１５０は、リードアウト回路１１から出力される原本イメージ信号ＲＩＭＧを、原本イメージ信号ＲＩＭＧと解像度は同一であり、データ量がさらに多い入力イメージ信号ＩＩＭＧに変換することができる。または、データ変換部１５０により、原本イメージ信号ＲＩＭＧと色空間が異なる入力イメージ信号ＩＩＭＧに変換することができる。例えば、原本イメージ信号ＲＩＭＧは、ベイヤーパターンであり、入力イメージ信号ＩＩＭＧは、ＲＧＢパターンまたはＹＵＶパターンである。

【0109】

イメージ信号プロセッサ１２０は、リードアウト回路１１から出力されるイメージデータ、すなわち、原本イメージデータに対し、イメージ処理を遂行することができる。例えば、イメージ信号プロセッサ１２０は、イメージデータに対し、バッドピクセル補正（bad pixel correction）、リモザイク（remosaic）、ノイズ除去などのイメージ処理を遂行することができる。

【0110】

前記イメージ処理過程において発生しうる、スケーリング及びイメージ処理による画質劣化を最小化するために、イメージ信号プロセッサ１２０は、図２のように、分解回路１２１、イメージ処理エンジン１２２及び再構成回路１２４を含みうる。分解回路１２１は、図７のように、ダウンスケーリング回路１２５、第２アップスケーリング回路１２６及び補正情報生成回路１２７を含みうる。補正情報生成回路１２７は、画質劣化を補正可能な情報を含むイメージ情報信号ＩＭＧ＿ＩＦを生成することができる。再構成回路１２４では、入力イメージ信号ＩＩＭＧより画質が低下した第３イメージ信号ＩＭＧ３を、イメージ情報信号ＩＭＧ＿ＩＦを介して再構成することにより、画質劣化が最小化した出力イメージ信号ＯＩＭＧを生成することができる。

【0111】

図１７は、本発明の例示的な実施形態によるイメージ信号プロセッサを含む携帯用端末機を示すブロック図である。

【0112】

図１７を参照すれば、本発明の例示的な実施形態による携帯用端末機１０００は、イメージ処理システム１００、無線送受信部１２００、オーディオ処理部１３００、不揮発性メモリ装置１５００、ユーザインターフェース１６００及びコントローラ１７００を含みうる。

【0113】

イメージ処理システム１００は、レンズ１１１０、イメージセンサ１１０、ディスプレイ装置１４０、メモリ１３０及びイメージ信号プロセッサ１２０を含みうる。実施形態に示されたように、イメージ信号プロセッサ１２０は、コントローラ１７００の一部として具現されてもよい。

【0114】

イメージ信号プロセッサ１２０は、イメージセンサ１１０から提供されるイメージ、例えば、入力イメージ信号ＩＩＭＧ（または、原本イメージ信号ＲＩＭＧ）に対し、イメージ処理を遂行することにより、変換されたイメージを生成することができ、このとき、本発明によるイメージ信号プロセッサ１２０により、イメージ処理過程における消費電力、データバンド幅及び画質劣化を最小化することができる。また、本発明のイメージ処理による変換されたイメージをメモリ１３０に保存するか、あるいは変換されたイメージをスケーリングし、スケーリングされたイメージをディスプレイ装置１４０に提供することができる。

【0115】

無線送受信部１２００は、アンテナ１２１０、トランシーバ１２２０及びモデム１２３０を含む。オーディオ処理部１３００は、オーディオプロセッサ１３１０、マイク１３２０及びスピーカ１３３０を含みうる。不揮発性メモリ装置１５００は、メモリカード（ＭＭＣ、ｅＭＭＣ、ＳＤ、ｍｉｃｒｏ ＳＤ）などとして提供されうる。

【0116】

ユーザインターフェースは、キーボード、カーテンキーパネル、タッチパネル、指紋センサ、マイクなど、ユーザ入力を受信可能な多様な装置によって具現されうる。ユーザインターフェースは、ユーザ入力を受信し、受信されたユーザ入力に対応する信号をコントローラ１７００に提供することができる。

【0117】

コントローラ１７００は、携帯用端末機１０００の全般的な動作を制御し、アプリケーションプログラム、オペレーティングシステムなどを駆動するＳｏＣ（system-on-chip）として提供されうる。ＳｏＣで駆動されるオペレーティングシステムのカーネル（kernel）が、入出力スケジューラ（I/O scheduler）及び不揮発性メモリ装置１５００を制御するための装置ドライバを含みうる。

【0118】

以上のように、図面と明細書で例示的な実施形態が開示された。本明細書において、特定用語を使用して実施形態が述べられたが、それは、単に本発明の技術的思想を説明するための目的で使用されたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。従って、当該技術分野における通常の知識を有する者であれば、それらから様々な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。従って、本発明の真の技術的な保護範囲は、特許請求の範囲の技術的思想により決まらなければならない。

【産業上の利用可能性】

【0119】

本発明は、例えば、イメージ信号処理関連の技術分野に適用可能である。

【符号の説明】

【0120】

１２０ イメージ信号プロセッサ
１２１ 分解回路
１２２ イメージ処理エンジン
１２４ 再構成回路
ＩＩＭＧ 入力イメージ信号
ＩＭＧ１ 第１イメージ信号
ＩＭＧ２ 第２イメージ信号
ＩＭＧ＿ＩＦ イメージ情報信号
ＯＩＭＧ 出力イメージ信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】