特開 2024-14660 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014660

(43)【公開日】2024-02-01

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 5/80 20240101AFI20240125BHJP

【ＦＩ】

G06T5/00 725

【審査請求】未請求

【請求項の数】28

【出願形態】ＯＬ

(21)【出願番号】P 2022177472

(22)【出願日】2022-11-04

(31)【優先権主張番号】10-2022-0090029

(32)【優先日】2022-07-21

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】齋藤 覚

(72)【発明者】

【氏名】矢幡 和浩

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA02

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CD12

5B057CE06

5B057CH11

(57)【要約】

【課題】歪曲補間動作を行う画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置１００は、外部から受信した画像の画素データを歪曲補間動作に用いる水平方向の画素数に基づいて並列化し、並列化した画素データをラインメモリに保存するバッファ部１１０と、歪曲した画素であるターゲット画素の座標情報に基づいて、ラインメモリに保存された画素データのうち歪曲補間動作に用いる補間データを読み出し、補間データに基づいて歪曲補間動作を行う歪曲補間部１２０と、を含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

外部から受信した画像の画素データを歪曲補間動作に用いる水平方向の画素数に基づいて並列化し、並列化した上記画素データをラインメモリに保存するバッファ部と、
歪曲した画素であるターゲット画素の座標情報に基づいて上記ラインメモリに保存された画素データのうち上記歪曲補間動作に用いる補間データを読み出し、上記補間データに基づいて上記歪曲補間動作を行う歪曲補間部と、を含むことを特徴とする画像処理装置。

【請求項2】

上記バッファ部は、
上記ラインメモリを含み、
上記ラインメモリの数は、
上記画像の最大の歪曲ライン数の２倍と上記歪曲補間動作に用いるライン数の半分の和を超えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

上記バッファ部は、
上記水平方向の画素数に基づいて上記ラインメモリに保存される画素単位を決め、上記画素データを上記画素単位に応じて上記ラインメモリに順次保存することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

上記バッファ部は、
上記ラインメモリが全てフル（ｆｕｌｌ）であることに対応して、上記ラインメモリのうち最も古いデータを保存するラインメモリに追加データを保存することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

上記歪曲補間部は、
上記ラインメモリに保存されたデータ量に基づいて上記歪曲補間動作をトリガーする開始信号を生成する開始部をさらに含むことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

上記開始部は、
上記ラインメモリのうち上記画素データを保存するラインメモリの数が、上記ターゲット画素に関する上記最大の歪曲ライン数の２倍と上記歪曲補間動作に用いるライン数の半分の和と同じであることに対応して上記開始信号を出力することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

上記開始信号は、
上記ターゲット画素の座標情報を含むことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

上記歪曲補間部は、
上記開始信号を受信し、上記ターゲット画素の表示座標と上記ターゲット画素の歪曲座標に基づいて上記ラインメモリに保存された上記補間データの位置を示す位置情報を生成するバッファ読み出し部をさらに含むことを特徴とする請求項５に記載の画像処理装置。

【請求項9】

上記位置情報は、
上記ラインメモリのうち上記補間データが保存されたラインメモリを示す垂直座標と、上記ラインメモリにおいて上記補間データが保存された水平方向の座標を示す水平座標と、を含むことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

上記水平座標は、
上記ラインメモリにおいて上記ターゲット画素の水平方向の座標を示す第１水平座標と、上記画素単位に応じて上記第１水平座標に保存された複数の画素に対する画素データのうち上記ターゲット画素に対する画素データを保存する位置を示す第２水平座標と、を含むことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

上記バッファ読み出し部は、
上記第１水平座標に基づいて上記ラインメモリの各々から上記補間データと水平方向の座標が同一の画素データを含む読み出しデータを生成することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

上記読み出しデータは、
上記第１水平座標と上記第１水平座標の次の座標が示す位置に保存された複数の画素に対する画素データを含むことを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

上記バッファ読み出し部は、
上記読み出しデータから上記垂直座標に対応する中間データを取得することを特徴とする請求項１１に記載の画像処理装置。

【請求項14】

上記中間データは、
上記読み出しデータのうち上記垂直座標と上記垂直座標の次の座標が示すラインメモリに保存された読み出しデータを含むことを特徴とする請求項１３に記載の画像処理装置。

【請求項15】

上記バッファ読み出し部は、
上記第２水平座標に基づいて上記中間データから上記補間データを選択し、上記補間データを出力することを特徴とする請求項１３に記載の画像処理装置。

【請求項16】

上記補間データは、
上記中間データのうち上記第２水平座標と上記第２水平座標の次の座標が指示する画素に対する画素データを含むことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

上記歪曲補間動作に用いる第１クロック信号を上記歪曲補間部に印加し、上記第１クロック信号より２倍以上速い第２クロック信号を上記バッファ部に印加するクロック信号管理部をさらに含むことを特徴とする請求項８に記載の画像処理装置。

【請求項18】

上記クロック信号管理部は、
上記第１クロック信号の速度を上記第２クロック信号の速度だけ増加させる第１クロック変換部を含み、
上記第１クロック変換部は、
上記位置情報に対するクロック速度を増加させることを特徴とする請求項１７に記載の画像処理装置。

【請求項19】

上記クロック信号管理部は、
上記第２クロック信号の速度を上記第１クロック信号の速度だけ減少させる第２クロック変換部をさらに含み、
上記第２クロック変換部は、
上記補間データに対するクロック速度を減少させることを特徴とする請求項１８に記載の画像処理装置。

【請求項20】

上記バッファ読み出し部は、
上記ターゲット画素の表示座標と上記ターゲット画素の歪曲座標との差を示す歪曲値に基づいて上記歪曲補間動作に用いる重み情報を生成し、
上記歪曲補間部は、
上記重み情報に基づいて上記歪曲補間動作の結果を補正することを特徴とする請求項８に記載の画像処理装置。

【請求項21】

上記バッファ読み出し部は、
上記歪曲値の整数部に基づいて上記位置情報を生成し、上記歪曲値の小数部に基づいて上記重み情報を生成することを特徴とする請求項２０に記載の画像処理装置。

【請求項22】

上記バッファ読み出し部は、
上記重み情報の出力を遅延させ、上記重み情報を上記補間データと同じタイミングで出力することを特徴とする請求項２０に記載の画像処理装置。

【請求項23】

上記歪曲補間部は、
上記表示座標と上記位置情報に基づいて上記補間データの画素の色を決め、上記補間データのうち上記ターゲット画素の色と異なる色の画素の位置に対する画素データを上記ターゲット画素と同色の画素の画素データに変更するデモザイク部をさらに含むことを特徴とする請求項８に記載の画像処理装置。

【請求項24】

上記デモザイク部は、
赤の画素または青の画素に対する画素データを緑の画素に対する画素データに変更する第１デモザイク部と、緑の画素に対する画素データを赤の画素または青の画素に対する画素データに変更する第２デモザイク部と、を含むことを特徴とする請求項２３に記載の画像処理装置。

【請求項25】

ラインメモリの水平方向の画素数によって決まる画素単位に基づいて並列化した画素データをラインメモリに保存する段階と、
歪曲した画素であるターゲット画素の座標情報に基づいて上記ラインメモリに保存された画素データのうち歪曲補間動作に用いる補間データを読み出す段階と、
上記補間データに基づいて上記歪曲補間動作を行う段階と、を含むことを特徴とする画像処理方法。

【請求項26】

上記画素データを上記ラインメモリに保存する段階は、
上記ラインメモリに保存されたデータ量に基づいて上記歪曲補間動作をトリガーする開始信号を生成する段階と、
上記開始信号に対応して、上記ターゲット画素の表示座標と上記ターゲット画素の歪曲座標に基づいて上記ラインメモリに保存された上記補間データの位置を示す位置情報を生成する段階と、をさらに含むことを特徴とする請求項２５に記載の画像処理方法。

【請求項27】

上記補間データを読み出す段階は、
上記ターゲット画素の水平方向の座標を示す第１水平座標に基づいて上記ラインメモリの各々から上記補間データと水平方向の座標が同一の画素データを含む読み出しデータを生成する段階と、
上記読み出しデータから上記ラインメモリのうち上記補間データが保存されたラインメモリを示す垂直座標に対応する中間データを取得する段階と、
上記第１水平座標に保存された複数の画素に対する画素データのうち上記ターゲット画素に対する画素データを保存する位置を示す第２水平座標に基づいて上記中間データから上記補間データを出力する段階と、を含むことを特徴とする請求項２５に記載の画像処理方法。

【請求項28】

上記補間データを読み出す段階は、
上記ターゲット画素の表示座標と上記ターゲット画素の歪曲座標との差を示す歪曲値に基づいて上記歪曲補間動作に用いる重み情報を生成する段階と、
上記重み情報を上記補間データと同じタイミングで出力する段階と、をさらに含むことを特徴とする請求項２７に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置に関し、より具体的には、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

画像処理装置は映像処理動作を行って画像の品質を向上させることができる。画像処理装置はレンズの光学特性により生じる歪曲を周辺の画素値を用いて補間することができる。歪曲補間動作を行うためには周辺の画素値を含む画素データが必要である。画像処理装置は画像の画素データを一時保存し、歪曲補間動作を行うことができる。

【0003】

画像処理装置に一時保存される画素データの量が少ないほど、保存効率が向上することができる。画像処理装置は歪曲補間動作に用いる画像の一部に対する画素データのみを保存することで、一時保存されるデータ量を低減させることができる。

【0004】

ラインメモリに保存される位置は画像内の画素の位置を示すことができる。画像処理装置は画素データをラインメモリに保存することで、一時保存されるデータ量を低減させることができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、ラインメモリに画像の一部に対する画素データを保存し、ラインメモリから補間データを読み出して歪曲補間動作を行う画像処理装置及び画像処理方法を提供する。

【課題を解決するための手段】

【0006】

本発明の実施例による画像処理装置は、外部から受信した画像の画素データを歪曲補間動作に用いる水平方向の画素数に基づいて並列化し、並列化した上記画素データをラインメモリに保存するバッファ部と、歪曲した画素であるターゲット画素の座標情報に基づいて上記ラインメモリに保存された画素データのうち上記歪曲補間動作に用いる補間データを読み出し、上記補間データに基づいて上記歪曲補間動作を行う歪曲補間部と、を含んでもよい。

【0007】

本発明の実施例による画像処理方法は、外部から受信した画像の画素データをラインメモリの水平方向の画素数によって決まる画素単位に基づいて並列化する段階と、並列化した上記画素データをラインメモリに保存する段階と、歪曲した画素であるターゲット画素の座標情報に基づいて上記ラインメモリに保存された画素データのうち上記歪曲補間動作に用いる補間データを読み出す段階と、上記補間データに基づいて上記歪曲補間動作を行う段階と、を含んでもよい。

【発明の効果】

【0008】

本技術によると、ラインメモリに保存される画素データの量を最小化し、ラインメモリから補間データを速やかに読み出して歪曲補間動作を行う画像処理装置及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例による画像処理装置を説明するための図である。

【図2】本発明の実施例による歪曲補間動作を説明するための図である。

【図3】本発明の実施例による歪曲補間動作に必要な最大の歪曲ライン数を説明するための図である。

【図4】本発明の実施例によるラインメモリの最小数を説明するための図である。

【図5】本発明の実施例によるラインメモリに画素データを保存する方法を説明するための図である。

【図6】本発明の実施例による補間データの位置情報を生成する方法を説明するための図である。

【図7】本発明の実施例によるラインメモリに画素データを保存する方法を説明するための図である。

【図8】本発明の実施例による第１水平座標に応じてラインメモリに保存された画素データを読み出す方法を説明するための図である。

【図9】本発明の実施例によるラインメモリから補間データを読み出す方法を説明するための図である。

【図10】本発明の実施例による歪曲補間動作を行う方法を説明するための図である。

【図11】本発明の実施例によるクロック信号の速度変換を説明するための図である。

【図12】カラーフィルタアレイのベイヤパターンを説明するための図である。

【図13】本発明の実施例によるデモザイク部を説明するための図である。

【図14】本発明の実施例によるデモザイク動作を説明するための図である。

【図15】本発明の実施例による赤の画素の補間データを生成する方法を説明するための図である。

【図16】本発明の実施例による青の画素の補間データを生成する方法を説明するための図である。

【図17】本発明の実施例による歪曲補間動作を行う方法を説明するためのフローチャートである。

【図18】本発明の他の実施例による画像処理装置を示す図である。

【図19】本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【発明を実施するための形態】

【0010】

本明細書または出願に開示の本発明の概念に係る実施例に対する特定の構造的または機能的説明は本発明の概念に係る実施例を説明するためだけに例示されており、本発明の概念に係る実施例は様々な形態で実施でき、本明細書または出願に説明の実施例に限定されると解釈すべきではない。

【0011】

以下では、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0012】

図１は本発明の実施例による画像処理装置を説明するための図である。

【0013】

図１を参照すると、画像処理装置１００は画素データを受信して一時保存し、画素データに基づいて歪曲補間動作を行うことができる。画像処理装置１００はバッファ部１１０、歪曲補間部１２０、及びクロック信号管理部１３０を含んでもよい。

【0014】

バッファ部１１０は、外部から受信した画像の画素データを歪曲補間動作に用いる水平方向の画素数に基づいて並列化することができる。バッファ部１１０は、並列化した画素データをラインメモリに保存することができる。

【0015】

バッファ部１１０はラインメモリを含んでもよい。ラインメモリの数は画像の最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和を超えてもよい。

【0016】

バッファ部１１０は水平方向の画素数に基づいて上記ラインメモリに保存される画素単位を決めることができる。バッファ部１１０は画素データを画素単位に応じてラインメモリに順次保存することができる。

【0017】

バッファ部１１０はラインメモリが全てフル（ｆｕｌｌ）であることに対応して、ラインメモリのうち最も古いデータを保存するラインメモリに追加データを保存することができる。バッファ部１１０は、ラインメモリに保存されたデータを最も古い順から削除し、再び保存する循環構造で動作することができる。

【0018】

歪曲補間部１２０は、歪曲した画素であるターゲット画素の座標情報に基づいてラインメモリに保存された画素データのうち歪曲補間動作に用いる補間データを読み出すことができる。歪曲補間部１２０は補間データに基づいて歪曲補間動作を行うことができる。

【0019】

歪曲補間部１２０は、ラインメモリに保存されたデータ量に基づいて歪曲補間動作をトリガーする開始信号を生成する開始部１２１と、ラインメモリに保存された補間データの位置を示す位置情報を生成するバッファ読み出し部１２２と、を含んでもよい。

【0020】

開始部１２１は、ラインメモリのうち画素データを保存するラインメモリの数がターゲット画素に関する最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和と同一であることに対応して開始信号を出力することができる。開始信号はターゲット画素の座標情報を含んでもよい。

【0021】

バッファ読み出し部１２２は、開始信号の受信に対応して、ターゲット画素の表示座標とターゲット画素の歪曲座標に基づいてラインメモリに保存された補間データの位置を示す位置情報を生成することができる。位置情報は、ラインメモリのうち補間データが保存されたラインメモリを示す垂直座標と、ラインメモリにおいて補間データが保存された水平方向の座標を示す水平座標と、を含んでもよい。水平座標は、ラインメモリにおいてターゲット画素の水平方向の座標を示す第１水平座標と、画素単位に応じて第１水平座標に保存された複数の画素に対する画素データのうちターゲット画素に対する画素データを保存する位置を示す第２水平座標と、を含んでもよい。

【0022】

バッファ読み出し部１２２は、第１水平座標に基づいてラインメモリの各々から補間データと水平方向の座標が同一の画素データを含む読み出しデータを生成することができる。バッファ読み出し部１２２は読み出しデータから垂直座標に対応する中間データを取得することができる。バッファ読み出し部１２２は第２水平座標に基づいて中間データから補間データを選択し、補間データを出力することができる。

【0023】

本発明の実施例では、歪曲補間部１２０が行う歪曲補間動作はバイリニア補間動作であってもよい。バイリニア補間動作に対応して、読み出しデータは、第１水平座標と第１水平座標の次の座標が示す位置に保存された複数の画素に対する画素データを含んでもよい。中間データは、読み出しデータのうち、垂直座標と垂直座標の次の座標が示すラインメモリに保存された読み出しデータを含んでもよい。補間データは、中間データのうち、第２水平座標と第２水平座標の次の座標が示す画素に対する画素データを含んでもよい。

【0024】

画像処理装置１００は、歪曲補間動作に用いる第１クロック信号を歪曲補間部１２０に印加し、第１クロック信号より２倍以上速い第２クロック信号をバッファ部１１０に印加するクロック信号管理部１３０をさらに含んでもよい。クロック信号管理部１３０は、第１クロック信号の速度を第２クロック信号の速度だけ増加させる第１クロック変換部１３１と、第２クロック信号の速度を第１クロック信号の速度だけ減少させる第２クロック変換部１３２と、を含んでもよい。

【0025】

本発明の実施例では、第１クロック変換部１３１は位置情報に対するクロック速度を増加させることができる。第２クロック変換部１３２は補間データに対するクロック速度を減少させることができる。

【0026】

本発明の実施例では、歪曲補間部１２０の行う歪曲補間動作がバイリニア補間動作であることに対応して、第２クロック信号が第１クロック信号より２倍速くてもよい。クロック信号間の速度差は歪曲補間部１２０が行う歪曲補間動作の種類によって異なってもよい。

【0027】

本発明の実施例では、バッファ読み出し部１２２は、ターゲット画素の表示座標とターゲット画素の歪曲座標との差を示す歪曲値に基づいて歪曲補間動作に用いる重み情報を生成することができる。歪曲補間部１２０は重み情報に基づいて歪曲補間動作の結果を補正することができる。

【0028】

バッファ読み出し部１２２は歪曲値の整数部に基づいて位置情報を生成することができる。バッファ読み出し部１２２は歪曲値の小数部に基づいて重み情報を生成することができる。重み情報は水平方向の重み情報と垂直方向の重み情報をそれぞれ含んでもよい。バッファ読み出し部１２２は重み情報の出力を遅延させ、重み情報を補間データと同じタイミングで出力することができる。

【0029】

本発明の実施例では、バッファ読み出し部１２２は生成した重み情報をクロック信号管理部１３０に入力して出力を遅延させることができる。バッファ読み出し部１２２は追加の遅延部を用いて重み情報の出力のタイミングを遅延させることができる。ターゲット画素に対する重み情報と補間データが同時に出力されてもよい。歪曲補間部１２０は重み情報と補間データに基づいて歪曲補間動作を行うことができる。

【0030】

本発明の実施例では、歪曲補間部１２０は補間データに含まれた画素の色を同色に変更するデモザイク部１２３をさらに含んでもよい。デモザイク部１２３は表示座標と位置情報に基づいて補間データの画素の色を決めることができる。デモザイク部１２３は、補間データのうちターゲット画素の色と違う色の画素の位置に対する画素データをターゲット画素と同色の画素の画素データに変更することができる。

【0031】

デモザイク部１２３は、赤の画素または青の画素に対する画素データを緑の画素に対する画素データに変更する第１デモザイク部と、緑の画素に対する画素データを赤の画素または青の画素に対する画素データに変更する第２デモザイク部と、を含んでもよい。本発明の実施例において、緑の画素に対する画素データを赤の画素に対する画素データに変更する方法と緑の画素に対する画素データを青の画素に対する画素データに変更する方法は位置が異なるだけで、変更方法は同じであってもよい。赤の画素と青の画素に対する画素データの変更が第２デモザイク部で行われるため、画素データを変更するデモザイク部のサイズが減少することができる。

【0032】

図２は本発明の実施例による歪曲補間動作を説明するための図である。

【0033】

図２を参照すると、レンズの光学特性により歪曲した画像２１０が歪曲補間動作を介して正常画像２２０に補間されることができる。図２には、画像の端に歪曲が発生する樽型の歪曲が示されているが、これは実施例に過ぎず、本発明はこれに限定されない。

【0034】

歪曲した画像２１０を正常画像２２０に補間するには画像の画素データが必要である。例えば、歪曲座標２１１と正常座標２２１の間の画素データに基づいて画像処理装置が歪曲補間動作を行うことができる。画像の歪曲程度に応じて必要な画素データの量は変わり得る。画像の歪曲は画像の端に向かうほど酷くなることがある。

【0035】

図３は本発明の実施例による歪曲補間動作に必要な最大の歪曲ライン数を説明するための図である。

【0036】

図３を参照すると、画像の端に近いほど歪曲が酷くなるケースが示されている。具体的には、画像の角部分で歪曲が最も酷く発生することがある。図３では、画像の画素データが上端から下端に順次ラインメモリに保存されると仮定することができる。

【0037】

画像の最上端に発生した歪曲を補間するために必要なライン数３１０と画像の最下端に発生した歪曲を補間するために必要なライン数３２０は、画像の別の位置に発生した歪曲を補間するために必要なライン数より多くてもよい。図３では、最上端と最下端に発生した歪曲を補間するために必要なライン数３１０、３２０は同一であってもよい。

【0038】

画像の画素データは複数のラインで区分されてもよい。画像に発生した歪曲を補間するために必要な画素データは、歪曲が発生した画素を基準として上端に位置する画素データであるか、または下端に位置する画素データであってもよい。具体的には、発生した歪曲の類型によって歪曲の補間に必要な画素データの保存される位置が変わってもよい。画像の最上端に発生した歪曲を補間するためには歪曲画素より後で保存される画素データが必要であり、画像の最下端に発生した歪曲を補間するためには歪曲画素より前に保存された画素データが必要となる。任意の位置に発生した全ての類型の歪曲を補間するには、歪曲画素を基準として歪曲補間動作に必要な最大の歪曲ライン数の２倍以上の画素データがバッファに保存されなければならない。

【0039】

図４は本発明の実施例によるラインメモリの最小数を説明するための図である。

【0040】

図４を参照すると、補間動作の種類とラインメモリへの書き込み方式によって補間動作に必要なラインメモリの最小数が変わってもよい。

【0041】

本発明の実施例では、バイリニア補間動作４１０が行われてもよい。バイリニア補間動作は歪曲画素よりも水平方向に１つの画素と垂直方向に１つの画素が追加された計４つの画素の画素データを用いて行われてもよい。バイリニア補間動作４１０の実行に対応して歪曲補間動作に必要なラインメモリの数は１つ増加することができる。

【0042】

本発明の実施例では、書き込み動作が行われているラインメモリに保存されたデータは歪曲補間動作に使用できない４２０。書き込み動作を行うためのラインメモリを追加で確保する必要がある。ラインメモリの書き込み動作に対応して歪曲補間動作に必要なラインメモリの数が１つ増加することができる。

【0043】

図３及び図４の説明によると、歪曲補間動作を行うためのラインメモリの最小数は、画像の最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和に１を加えた数であってもよい。バッファ部は、画像の最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和＋１個より多いラインメモリを含んでもよい。

【0044】

本発明の他の実施例では、書き込み動作と読み出し動作が同時にできるラインメモリがバッファ部に含まれてもよい。書き込み動作が行われているラインメモリでも補間データを読み出すことができるため、歪曲補間動作に必要なラインメモリの数が増加しなくてもよい。この場合、歪曲補間動作を行うためのラインメモリの最小数は、画像の最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和と同じであることができる。

【0045】

図５は本発明の実施例によるラインメモリに画素データを保存する方法を説明するための図である。

【0046】

図５を参照すると、８つのラインメモリに順次画素データが保存されることができる。歪曲の最大ライン数は２つであり、補間処理に必要なライン数が３つである場合を仮定する。歪曲補間動作を行うことができるラインメモリの最小数は４＋２＋１＝７個であるため、歪曲補間動作が行われることができる。

【0047】

開始部は、ラインメモリに保存されたデータ量に基づいて歪曲補間動作をトリガーする開始信号を生成することができる。画素データが保存されたラインメモリの数が歪曲の最大ライン数の２倍（４個）と補間処理に必要なライン数の半分（３／２→２個）の和である６になると、開始部は開始信号を生成５１０することができる。バッファ読み出し部は、ターゲット画素の表示座標とターゲット画素の歪曲座標に基づいてラインメモリに保存された補間データの位置を示す位置情報を生成することができる。

【0048】

開始信号の生成後もラインメモリに順次画素データが保存されてもよい。８つのラインメモリの全てに画素データが保存されると、最初に画素データを保存した０番ラインメモリに追加の画素データが保存５２０されることができる。このとき、既に０番ラインメモリに保存されていた画素データは削除されてもよい。ラインメモリは循環構造を形成してもよく、ラインメモリに保存された画素データは読み出されて歪曲補間動作に使用されてもよい。

【0049】

図６は本発明の実施例による補間データの位置情報を生成する方法を説明するための図である。

【0050】

図６を参照すると、歪曲補間部は、ターゲット画素６１０の表示座標６３０とターゲット画素６１０の歪曲座標６２０に基づいてラインメモリに保存された補間データの位置を示す位置情報を生成することができる。歪曲補間動作を行うと、歪曲座標６２０が表示座標６３０に移動することができる。歪曲座標６２０は整数座標ではない小数点が含まれた座標であってもよい。

【0051】

位置情報はターゲット画素６１０の歪曲座標６２０の整数部に基づいて生成されてもよい。位置情報はターゲット画素６１０の水平座標Ｘｓｒｃと垂直座標Ｙｓｒｃを含んでもよい。水平座標Ｘｓｒｃは並列化していない画素データを保存するラインメモリのうち、ラインメモリにおいて補間データが保存された水平方向の座標を示すことができる。垂直座標Ｙｓｒｃは補間データが保存されたラインメモリを示すことができる。

【0052】

バッファ読み出し部は、表示座標６３０と歪曲座標６２０の差を示す歪曲値に基づいて歪曲補間動作に用いる重み情報を生成することができる。重み情報は歪曲値の小数部に基づいて生成されてもよい。

【0053】

本発明の実施例では、バイリニア補間動作が行われることに対応して、歪曲補間動作に必要な補間データは４つの画素に対する補間データであってもよい。具体的には、ターゲット画素６１０、ターゲット画素６１０の水平方向の次の画素、ターゲット画素６１０の垂直方向の次の画素、及びターゲット画素６１０の対角方向の画素が補間データであってもよい。歪曲補間動作の結果を補正する重み情報は水平重み情報Ｘｗｔと垂直重み情報Ｙｗｔを含んでもよい。４つの画素に対する補間データに基づいてターゲット画素６１０に対する歪曲補間動作が行われ、重み情報Ｘｗｔ、Ｙｗｔに基づいて歪曲補間動作の結果が補正されてもよい。

【0054】

図７は本発明の実施例によるラインメモリに画素データを保存する方法を説明するための図である。

【0055】

図７を参照すると、並列化した画素データがラインメモリに保存されることができる。同じ量の画素データが保存されるラインメモリの水平方向の画素数は互いに異なってもよい。図７において、１つのラインメモリに２５６個の画素に対する画素データが保存され、１画素に１０ビットのデータが割り当てられると仮定することができる。

【0056】

画素データが並列化されないと、ラインメモリの水平方向の画素の数は２５６個であることができる７１０。このとき、読み書きデータの画素単位は１画素であり、ラインメモリにおけるターゲット画素の水平方向の座標を示す第１水平座標Ｘｓｒｃｈは０～２５５であることができる。第１水平座標Ｘｓｒｃｈは位置情報に含まれるターゲット画素の水平座標Ｘｓｒｃと同じであることができる。

【0057】

画素データが２画素単位で並列化されてラインメモリに保存されてもよい７２０。２５６個の画素に対する画素データの第１水平座標Ｘｓｒｃｈは０～１２７であってもよい。第１水平座標Ｘｓｒｃｈは、位置情報に含まれるターゲット画素の水平座標Ｘｓｒｃにおいて画素単位に対応するビット数だけ最下位ビットから除外された値であってもよい。

【0058】

例えば、ターゲット画素の水平座標Ｘｓｒｃが８であると仮定する。ターゲット画素の水平座標Ｘｓｒｃを２進数で表すと、１０００（２）で、１０００（２）において画素単位に対応する１ビットを最下位ビットから除いた１００（２）が第１水平座標Ｘｓｒｃｈとなることができる。このとき、画素単位によって同じ第１水平座標に保存された複数の画素に対する画素データのうちターゲット画素に対する画素データを保存する位置を示す第２水平座標Ｘｓｒｃｌは、最下位１ビットに対応する値である０となることができる。第２水平座標Ｘｓｒｃｌは０または１であることができる。

【0059】

本発明の他の実施例では、画素データが４画素単位で並列化されてラインメモリに保存されてもよい７３０。２５６個の画素に対する画素データの第１水平座標Ｘｓｒｃｈは０～６３であってもよい。画素単位が増加するほど、同じ第１水平座標Ｘｓｒｃｈに保存された画素の数が増加することができる。

【0060】

例えば、ターゲット画素の水平座標Ｘｓｒｃが８であると仮定する。ターゲット画素の水平座標Ｘｓｒｃを２進数で表すと、１０００（２）であり、１０００（２）において画素単位に対応する２ビットを最下位ビットから除いた１０（２）が第１水平座標Ｘｓｒｃｈになることができる。このとき、第２水平座標Ｘｓｒｃｌは最下位２ビットに対応する値である００（２）になることができる。第２水平座標Ｘｓｒｃｌは０～３であることができる。

【0061】

図８は本発明の実施例による第１水平座標に応じてラインメモリに保存された画素データを読み出す方法を説明するための図である。

【0062】

図８を参照すると、バッファ読み出し部はラインメモリに保存された補間データを位置情報に基づいて読み出すことができる。バッファ読み出し部はラインメモリの各々から第１水平座標に対応する画素の画素データを読み出すことができる。

【0063】

図８では、ターゲット画素は色を付けて表示し、ラインメモリから読み出される画素はボックスで表示されてもよい。図８において、歪曲補間動作はバイリニア動作であると仮定する。

【0064】

画素単位が２画素で、ターゲット画素の水平座標Ｘｓｒｃが１１（２）のとき、ラインメモリから読み出される画素データが示されている８１０。水平座標Ｘｓｒｃに対応する第１水平座標Ｘｓｒｃｈは１（２）であり、第２水平座標Ｘｓｒｃｌは１（２）である。第１水平座標Ｘｓｒｃｈは１であることに対応してバッファ読み出し部は第１水平座標Ｘｓｒｃｈが１と２に対応する位置に保存された画素の画素データを読み出すことができる。

【0065】

具体的には、バッファ読み出し部は、第１水平座標Ｘｓｒｃｈに基づいて水平座標Ｘｓｒｃが２、３、４、５に対応する画素データを読み出すことができる。バッファ読み出し部は、ラインメモリの各々から水平座標Ｘｓｒｃが２、３、４、５に対応する画素データを読み出すことができる。

【0066】

画素単位が４画素で、ターゲット画素の水平座標Ｘｓｒｃが１１（２）のとき、ラインメモリから読み出される画素データを示されている８２０。水平座標Ｘｓｒｃに対応する第１水平座標Ｘｓｒｃｈは０であり、第２水平座標Ｘｓｒｃｌは１１（２）である。第１水平座標Ｘｓｒｃｈは０であることに対応してバッファ読み出し部は第１水平座標Ｘｓｒｃｈが０と１に対応する位置に保存された画素の画素データを読み出すことができる。

【0067】

バッファ読み出し部は、第１水平座標Ｘｓｒｃｈに基づいて水平座標Ｘｓｒｃが０、１、２、３、４、５、６、７に対応する画素データを読み出すことができる。バッファ読み出し部は、ラインメモリの各々から水平座標Ｘｓｒｃが０、１、２、３、４、５、６、７に対応する画素データを読み出すことができる。

【0068】

図９は本発明の実施例によるラインメモリから補間データを読み出す方法を説明するための図である。

【0069】

図９を参照すると、ラインメモリに保存された画素データから補間データを取得することができる。図９において、点線の矢印は、並列化した画素データ、読み出しデータ、中間データ、補間データのそれぞれを図のように示すことができる。

【0070】

ラインメモリは０番～７番まで計８つのラインメモリがバッファ部１１０に含まれてもよい。並列化した画素データがバッファ部１１０に保存されてもよい。バッファ部１１０に含まれたラインメモリの各々に並列化した画素データが保存されてもよい。

【0071】

開始部１２１は、ターゲット画素の座標情報を含む開始信号をバッファ読み出し部１２２に伝達することができる。バッファ読み出し部１２２は、補間データを含む読み出しデータをバッファ部１１０から読み出すことができる。

【0072】

開始部１２１から受信した開始信号に対応して、バッファ読み出し部１２２は第１水平座標Ｘｓｒｃｈに対応する読み出しデータをラインメモリの各々から読み出すことができる。１番のラインメモリが書き込み動作中であり、１番のラインメモリを除いた残りのラインメモリから画素データが読み出される。図９では、バイリニア歪曲補間動作が行われると仮定しており、ターゲット画素の水平座標Ｘｓｒｃは３を示し、ターゲット画素の垂直座標Ｙｓｒｃｌは４番のラインメモリを示すと仮定することができる。

【0073】

バッファ読み出し部１２２は、バイリニア歪曲補間動作を行うのに用いる４つの画素に対する画素データを含む補間データをラインメモリから読み出すことができる。具体的には、バッファ読み出し部１２２は、１番のラインメモリを除いた残りのラインメモリの各々から第１水平座標Ｘｓｒｃｈが２、３、４、５に対応する読み出しデータを読み出すことができる。

【0074】

バイリニア歪曲補間動作に対応して２つのラインメモリが選択されてもよい。バッファ読み出し部１２２は、垂直座標Ｙｓｒｃｌに基づいて読み出しデータから中間データを選択ＹＳＥＬすることができる。図９において、バッファ読み出し部１２２は、読み出しデータから垂直座標Ｙｓｒｃｌに基づいて４番のラインメモリと５番のラインメモリに保存された中間データを取得することができる。

【0075】

バッファ読み出し部１２２は、第２水平座標Ｘｓｒｃｌに基づいて中間データから補間データを選択ＸＳＥＬすることができる。図９において、バッファ読み出し部１２２は、第２水平座標Ｘｓｒｃｌに基づいて水平座標Ｘｓｒｃが２、３、４、５の画素データのうち水平座標Ｘｓｒｃが３、４の画素データを抽出することができる。バッファ読み出し部がラインメモリから読み出した補間データは、４番及び５番のラインメモリに含まれた水平座標Ｘｓｒｃが３、４の画素データであることができる。

【0076】

図１０は本発明の実施例による歪曲補間動作を行う方法を説明するための図である。

【0077】

図１０を参照すると、画像処理装置は画素データを受信し、受信した画素データに基づいて歪曲補間動作を行った補正データを出力することができる。

【0078】

バッファ部は画素データを画素単位に基づいて並列化し、並列化した画素データをラインメモリに保存することができる。歪曲補間動作に用いる水平方向の画素数は画素単位に応じて変わってもよい。画素単位の増加に対応して、第１水平座標が同一の位置に保存される画素数は増加してもよい。画素単位が増加すると、ラインメモリのＸ座標の範囲が狭くなることがある。

【0079】

バッファ部が画素データを並列化してラインメモリに保存する動作は、図７の説明に代えられる。

【0080】

開始部は、ラインメモリのうち画素データを保存するラインメモリの数に基づいて歪曲補間動作をトリガーする開始信号を生成することができる。開始部は、ターゲット画素に関する最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和と同じ数のラインメモリに画素データが保存されたとき開始信号を出力することができる。

【0081】

歪曲補間動作のトリガーに関する説明は、図３、図４、及び図５の説明に代えられる。

【0082】

バッファ読み出し部は位置情報に基づいてラインメモリに保存された補間データを読み出すことができる。歪曲補間動作によって補間データに必要な画素データが変わってもよい。バッファ読み出し部は、第１水平座標に基づいてラインメモリから読み出しデータを読み出し、垂直座標に基づいて補間データが保存されたラインメモリを決めることができる。バッファ読み出し部は、画素単位に関する第２水平座標に基づいて第１水平座標が同一の画素データから補間データを抽出することができる。

【0083】

補間データの読み出しに関する説明は、図６、図８、及び図９の説明に代えられる。

【0084】

歪曲補間部は補間データに基づいて歪曲補間動作を行うことができる。歪曲補間部はターゲット画素の歪曲座標に含まれた小数部に基づいて重み情報を生成することができる。歪曲補間部は重み情報に基づいて歪曲補間動作の結果を補正することができる。重み情報は、重み情報に関する補間情報と同時に出力されてもよい。重み情報の出力タイミングを調整するために、別途の遅延部が歪曲補間部にさらに含まれてもよい。

【0085】

図１１は本発明の実施例によるクロック信号の速度変換を説明するための図である。

【0086】

図１１を参照すると、クロック信号の速度は変更されてもよい。クロック速度が変更される場合でもデータ値は変更されなくてもよい。速度の変わったクロック信号は、速度の変わる前のクロック信号より遅延されることがある。

【0087】

クロック信号の速度は、クロック信号変換部によって速く（ｓｌｏｗ ｔｏ ｆａｓｔ）または遅く（ｆａｓｔ ｔｏ ｓｌｏｗ）変更されることができる。クロック信号の速度が速いほど、より多くのデータがクロック信号を通して伝送されることができる。

【0088】

本発明の実施例では、位置に関する情報を伝達するクロック信号の速度は伝達される情報に応じて多様に変更されてもよい。歪曲補間動作に必要な補間データは歪曲画素とその周辺画素の画素データを含んでもよい。補間データに関する情報を伝達するクロック信号及び補間データを伝達する信号のクロック信号は、歪曲補間動作を行うのに用いるクロック信号よりクロック信号の速度が速くてもよい。

【0089】

バイリニア歪曲補間動作が行われることに対応して、補間データは歪曲画素の水平及び垂直方向に１だけ増加した画素に対する画素データを含んでもよい。歪曲補間動作に対するクロック信号より補間データを伝達するクロック信号が少なくとも２倍以上速くてもよい。補間データの量に応じて補間データを伝達するクロック信号の速度が速くなってもよい。歪曲補間部が補間データを出力してからはクロック信号の速度が減少してもよい。

【0090】

クロック信号の速度に関わらず信号の速度が変更されるクロック信号は遅延されることがある。本発明の実施例において、位置情報の生成と共に生成される重み情報は補間データと共に出力されることができる。重み情報は生成された後、一定期間遅延されてから出力されてもよい。重み情報の出力遅延のために、別途の遅延部が歪曲補間部に含まれるか、またはクロック信号の速度を変更することで、重み情報の出力タイミングを遅延させることができる。

【0091】

図１２はカラーフィルタアレイのベイヤパターンを説明するための図である。

【0092】

図１２を参照すると、イメージセンサの画素アレイに含まれる画素は、緑の画素、赤の画素、または青の画素の１つであってもよい。図１２には、画素の色の配列パターンの１つであるベイヤーパターンが示されている。

【0093】

ベイヤーパターンは２×２パターンの繰り返しで構成されてもよい。ベイヤーパターンでは緑のカラーフィルタＧｂ、Ｇｒが対角線上に対向して配置され、青のカラーフィルタＢと赤のカラーフィルタＲが残りのコーナーに配置されることができる。４つのカラーフィルタＢ、Ｇｂ、Ｇｒ、Ｒは、図１２に示す配置構造に必ずしも限定されず、図１２に示すベイヤパターンを前提として多様に配置されてもよい。

【0094】

図１３は本発明の実施例によるデモザイク部を説明するための図である。

【0095】

図１３を参照すると、補間データは同色の画素に対する画素データを含む。歪曲補間動作を行うには、歪曲画素と歪曲画素と同色の周辺画素の画素データが必要となる。本発明の実施例では、イメージセンサの画素がベイヤーパターンであると仮定する。

【0096】

画素の色がベイヤーパターンである場合、補間データは相違する色に対する画素データを含んでもよい。相違する色の画素に対する画素データを同色の画素に対する画素データに変更する必要がある。

【0097】

デモザイク部１２３は、表示座標と位置情報に基づいて補間データの画素の色を決めることができる。画素の色が配列されたベイヤーパターンによって隣接する画素の色は互いに異なることができる。デモザイク部１２３は、補間データのうちターゲット画素の色と異なる色の画素の位置に対する画素データをターゲット画素と同色の画素の画素データに変更することができる。

【0098】

デモザイク部１２３は、赤の画素または青の画素に対する画素データを緑の画素に対する画素データに変更する第１デモザイク部１２４と、緑の画素に対する画素データを赤の画素または青の画素に対する画素データに変更する第２デモザイク部１２５と、を含んでもよい。ベイヤーパターンでは赤の画素と青の画素の周辺に緑の画素が相対的に多く配置されるため、第１デモザイク部１２４は隣接する画素の画素データに基づいて補間データに含まれた色の違う画素の画素データを変更することができる。

【0099】

逆に、ベイヤーパターンにおいて緑の画素の周辺には赤の画素と青の画素が相対的に少なく配置されるため、第２デモザイク部１２５は色の変わる画素の周辺に近い画素の画素データを用いて画素データを変更することができる。

【0100】

本発明の実施例において、補間データを赤色または青色に対する画素データに変更するデモザイク動作は、第２デモザイク部１２５で行われてもよい。ベイヤーパターンにおいて緑の画素に対する赤の画素または青の画素の相対的な位置は、対称移動により一致することができる。従って、緑の画素に対する画素データを赤の画素に対する画素データに変更する動作と、緑の画素に対する画素データを青の画素に対する画素データに変更する動作はともに第２デモザイク部１２５で行われてもよい。

【0101】

図１４は本発明の実施例によるデモザイク動作を説明するための図である。

【0102】

図１４を参照すると、補間データはデモザイク動作により同色の画素に対する補間データに変更され、それに基づいて補間動作が行われてもよい。

【0103】

補間動作を行うには補間動作に用いる補間データの画素の色が同一でなければならない。画素アレイのカラーパターンがベイヤーパターンである場合、補間データに含まれた画素の色の変更が必要となることがある。本発明の実施例において、バイリニア歪曲補正動作が行われると仮定する場合、補間データは隣接する４つの画素に対する画素データであってもよい。ベイヤーパターンにおいて２×２の形態の画素データの色が全て同じであることはできないため、補間データに含まれた画素の色を同色に変更する必要がある。

【0104】

デモザイク部は位置情報に基づいて画素の色を決めることができる。デモザイク部は、ターゲット画素の表示座標と位置情報に基づいて補間データに対応する色を決めることができる。デモザイク部は、補間データの周辺画素データを用いて補間データの色が全て同色になるように画素データを変更することができる。

【0105】

デモザイク部は補間データの色を緑に変更することができる。デモザイク部は補間データの色を青または赤に変更することができる。補間データの色を緑に変更する方法と青または赤に変更する方法は異なってもよい。画像の画素がベイヤーパターンに沿って配列されるため、補間データの色を青に変更する方法と補間データの色を赤に変更する方法は用いる画素データの位置が対称となり、変更される画素データを計算する方法が同一であってもよい。

【0106】

歪曲補間部は、同色に対する画素データに変更された補間データに基づいて歪曲補間動作を行うことができる。画像処理装置は、全体画像に対する情報を保存せずに歪曲補間動作に必要な補間データを読み出すことができる。デモザイク部は補間データを同色の画素の画素データに変更することができる。歪曲補間部は、デモザイク動作が行われた補間データに基づいて歪曲補間動作を行って補間されたデータを出力することができる。

【0107】

図１５は本発明の実施例による赤の画素の補間データを生成する方法を説明するための図である。

【0108】

図１５を参照すると、バイリニア歪曲補正動作が行われることに対応して、補間データは色付けして表示され、画素の色配列はベイヤパターンに対応すると仮定することができる。

【0109】

色付けして表示される補間データのうち赤の画素はそのまま保持されることができる。補間データのうち青の画素は対角方向に隣接する４つの赤の画素の平均値に変更されることができる１５１０。補間データのうち緑の画素は隣接する２つの赤の画素と色が変更される画素と対角方向に離隔している４つの赤の画素の平均値に変更されることができる１５２０、１５３０。

【0110】

本発明の実施例では、６つの赤色画素の平均値または中央値に基づいて緑色の画素の画素データが変更されることができる。デモザイク部は緑の画素に隣接する２つの赤の画素に重み付けをする重み付け加算によって画素データを変更することができる。

【0111】

図１６は本発明の実施例による青の画素の補間データを生成する方法を説明するための図である。

【0112】

図１６を参照すると、バイリニア歪曲補正動作が行われることに対応して、補間データは色付けして表示され、画素の色配列はベイヤパターンに対応すると仮定することができる。

【0113】

色付けして表示される補間データのうち青の画素はそのまま保持されることができる。補間データのうち赤の画素は対角方向に隣接する４つの青の画素の平均値に変更されることができる１６１０。補間データのうち緑の画素は隣接する２つの青の画素と色が変更される画素と対角方向に離隔している４つの青の画素の平均値に変更されることができる１６２０、１６３０。

【0114】

図１５及び図１６に示すように、補間データの位置は同じであり、デモザイク動作を行う画素の位置が赤の画素と青の画素が対称するだけで、計算過程は同じであることが分かる。従って、緑の画素に対する画素データを青の画素または赤の画素に対する画素データに変更する動作は第２デモザイク部で行われることができる。本発明の実施例によると、赤の画素と青の画素に対応するデモザイク部が共有されるため、緑の画素に対応するデモザイク部、青の画素に対応するデモザイク部、及び赤の画素に対応するデモザイク部を含む画像処理装置よりロジック規模を減らし、処理速度を向上させることができる。

【0115】

図１７は本発明の実施例による歪曲補間動作を行う方法を説明するためのフローチャートである。

【0116】

図１７を参照すると、画像処理装置は、画素データをラインメモリに保存することで、フレームメモリを使用しなくてもよい。画素データがラインメモリに保存される位置は、画像において画素の位置を示すことができる。本発明の実施例によると、バッファの保存効率と歪曲補間動作の性能を向上させることができる。

【0117】

段階Ｓ１７１０において、バッファ部は画素データを並列化し、ラインメモリに並列化した画素データを保存することができる。ラインメモリの数は、画像の最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和を超えることができる。バッファ部は、ラインメモリの水平方向の画素数に基づいて画素データを並列化する画素単位を決めることができる。

【0118】

段階Ｓ１７２０において、開始部は歪曲補間動作のトリガーの有無を決めることができる。開始部は、ラインメモリに保存される画素データの量に応じて歪曲補間動作の開始信号を生成し出力することができる。開始部は、画素データを保存するラインメモリの数がターゲット画素に関する最大の歪曲ライン数の２倍と歪曲補間動作に用いるライン数の半分の和以上であれば、開始信号を生成することができる。画素データを保存するラインメモリの数が上記和未満であれば、並列化した画素データが続けて保存されることができる。

【0119】

段階Ｓ１７３０において、バッファ読み出し部は、ターゲット画素の表示座標とターゲット画素の歪曲座標に基づいてラインメモリに保存された補間データの位置を示す位置情報を生成することができる。本発明の実施例における位置情報は、ターゲット画素の歪曲座標６２０の整数部に基づいて生成されることができる。

【0120】

段階Ｓ１７４０において、バッファ読み出し部は、位置情報に基づいてラインメモリから歪曲補間動作に用いる補間データを読み出すことができる。バッファ読み出し部は、ターゲット画素の水平方向の座標を示す第１水平座標に基づいてラインメモリの各々から読み出しデータを生成することができる。バッファ読み出し部は、読み出しデータからラインメモリのうち補間データが保存されたラインメモリを示す垂直座標に対応する中間データを取得することができる。バッファ読み出し部は、第１水平座標に保存された複数の画素に対する画素データのうちターゲット画素に対する画素データを保存する位置を示す第２水平座標に基づいて中間データから補間データを出力することができる。

【0121】

段階Ｓ１７５０において、歪曲補間部は補間データに基づいて歪曲補間動作を行うことができる。歪曲補間部は、ターゲット画素の歪曲座標の小数部に基づいて生成される重み情報を補間データと同時に取得することができる。歪曲補間部は、歪曲補間動作が行われた結果を重み情報に基づいて補正することができる。

【0122】

図１８は本発明の他の実施例による画像処理装置を示す図である。

【0123】

図１８を参照すると、画像処理装置１００は図１に示す構造の他に多様に構成されてもよい。画像処理装置１００は、バッファ部１１０、開始部１２１、バッファ読み出し部１２２、及び歪曲補間部１２０を含んでもよい。

【0124】

図１とは異なり、開始部１２１とバッファ読み出し部１２２が歪曲補間部１２０に含まれなくてもよい。図１８において、開始部１２１とバッファ読み出し部１２２の位置は例示に過ぎず、開始部１２１及びバッファ読み出し部１２２は様々な形態で画像処理装置１００の内部を構成してもよい。例えば、開始部１２１のみが歪曲補間部１２０に含まれるか、またはバッファ読み出し部１２２のみが歪曲補間部１２０に含まれてもよい。本発明の他の実施例では、図１８に示すものとは異なって、開始部１２１がバッファ部に含まれてもよい。

【0125】

バッファ部１１０は、外部から受信した画像の画素データを並列化してラインメモリに保存することができる。バッファ部１１０は、画素データを保存するラインメモリの数に対する情報を開始部１２１に伝達することができる。

【0126】

開始部１２１は、画素データを保存するラインメモリの数が予め決められた値を超えることに対応して歪曲補間動作をトリガーする開始信号を生成することができる。開始部１２１は、開始信号をバッファ読み出し部１２２に伝送することができる。

【0127】

バッファ読み出し部１２２は歪曲補間動作に用いる補間データをバッファ部１１０から読み出すことができる。バッファ読み出し部１２２は、補間データが保存された位置を示す位置情報をターゲット画素の表示座標とターゲット画素の歪曲座標に基づいて生成することができる。バッファ読み出し部１２２は読み出した補間データを歪曲補間部１２０に伝達することができる。

【0128】

歪曲補間部１２０は補間データに基づいて歪曲補間動作を行うことができる。本発明の実施例において、歪曲補間部１２０はバイリニア補間動作を行って画像に含まれた歪曲を除去することができる。

【0129】

画像処理装置１００は図１のクロック信号管理部１３０をさらに含んでもよい。

【0130】

図１９は本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【0131】

図１９を参照すると、電子装置２０００は、イメージセンサ２０１０、プロセッサ２０２０、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０、入出力装置２０５０、及びディスプレイ装置２０６０を含んでもよい。図１８には示されていないが、電子装置２０００はビデオカード、サウンドカード、メモリカード、ＵＳＢ機器などと通信するか、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。

【0132】

イメージセンサ２０１０は入射光に相応する画像データを生成することができる。画像データはプロセッサ２０２０に伝達されて処理されてもよい。イメージセンサ２０１０はレンズを介して入力された（またはキャプチャされた）オブジェクトに対する画像データを生成することができる。レンズは光学系を形成する少なくとも１つのレンズを含んでもよい。

【0133】

イメージセンサ２０１０は複数の画素を含んでもよい。イメージセンサ２０１０は撮影された画像に対応する複数の画素値を複数の画素で生成することができる。イメージセンサ２０１０で生成された複数の画素値は画素データとしてプロセッサ２０２０に伝送されてもよい。即ち、イメージセンサ２０１０はシングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）に対応する複数の画素値を生成することができる。

【0134】

ディスプレイ装置２０６０は画像データを表示することができる。記憶装置２０３０は画像データを保存することができる。プロセッサ２０２０はイメージセンサ２０１０、ディスプレイ装置２０６０、及び記憶装置２０３０の動作を制御することができる。

【0135】

プロセッサ２０２０はイメージセンサ２０１０から受信する画素データを処理する演算を行い、処理した画像データを出力する画像処理装置であってもよい。ここで、処理は、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであってもよい。

【0136】

本発明の実施例では、プロセッサ２０２０は、受信した画素データを並列化してラインメモリに保存し、歪曲画素の座標情報に基づいて歪曲補間動作を行うための補間データをラインメモリから読み出すことができる。プロセッサ２０２０は、補間データの保存された位置を示す水平座標と垂直座標に基づいてラインメモリから補間データを読み出し、歪曲補間動作を行うことができる。プロセッサ２０２０は、補間データに対してのみデモザイク動作を行ってもよく、緑の画素に対する画素データを赤の画素または青の画素に対する画素データに変更する動作を同じ方法で行うことで、ロジック規模を減少させることができる。

【0137】

プロセッサ２０２０はイメージセンサ２０１０とは独立したチップで具現されることができる。例えば、プロセッサ２０２０はマルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されてもよい。本発明の他の実施例では、プロセッサ２０２０はイメージセンサ２０１０の一部として含まれ、１つのチップで具現することもできる。

【0138】

プロセッサ２０２０は電子装置２０００の動作を実行及び制御することができる。本発明の実施例によると、プロセッサ２０２０はマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）またはアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）であってもよい。プロセッサ２０２０はアドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０及び入出力装置２０５０に接続されて通信を行うことができる。

【0139】

記憶装置２０３０は、フラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）、及び全ての形態の不揮発性メモリ装置などを含んでもよい。

【0140】

メモリ装置２０４０は電子装置２０００の動作に必要なデータを保存することができる。例えば、メモリ装置２０４０は動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＳＴＡＭ）などの揮発性メモリ装置と、イーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＥＰＲＯＭ）及びフラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）などの不揮発性メモリ装置と、を含んでもよい。プロセッサ２０２０はメモリ装置２０４０に保存された命令語セットを実行してイメージセンサ２０１０とディスプレイ装置２０６０を制御することができる。

【0141】

入出力装置２０５０はキーボード、キーパッド、マウスなどの入力手段と、プリンタ、ディスプレイなどの出力手段と、を含んでもよい。

【0142】

イメージセンサ２０１０は様々な形態のパッケージで具現されてもよい。例えば、イメージセンサ２０１０の少なくとも一部の構成は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ（ＴＳＯＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを利用して具現されてもよい。

【0143】

一方、電子装置２０００はイメージセンサ２０１０を利用する全てのコンピューティングシステムと解釈することができる。電子装置２０００はパッケージ化されたモジュール、部品などの形態で具現されてもよい。例えば、電子装置２０００はデジタルカメラ、モバイル機器、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ブラックボックス、ロボット、自律走行車両などで具現されてもよい。

【0144】

本発明が属する技術分野の通常の技術者は、本発明はその技術的思想や必須の特徴を変更せずに他の具体的な形態で実施でき、以上で説明した実施例は全ての点において例示的であり、限定的ではないと理解すべきである。本発明の範囲は上記の詳細な説明ではなく、添付の特許請求の範囲によって示され、特許請求の範囲の意味と範囲及びその等価概念から導出される全ての変更または変形された形態は本発明の範囲に含まれると解釈すべきである。

【符号の説明】

【0145】

１００ 画像処理装置
１１０ バッファ部
１２０ 歪曲補間部
１２１ 開始部
１２２ バッファ読み出し部
１２３ デモザイク部
１３０ クロック信号管理部
１３１ 第１クロック変換部
１３２ 第２クロック変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】