ホーム > 特許ランキング > ＳＫ ｈｙｎｉｘ Ｉｎｃ．
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024087778
(43)【公開日】2024-07-01
(54)【発明の名称】イメージ処理装置およびイメージ処理方法
(51)【国際特許分類】
G06T 3/403 20240101AFI20240624BHJP
【ＦＩ】
G06T3/403
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023197822
(22)【出願日】2023-11-22
(31)【優先権主張番号】10-2022-0178124
(32)【優先日】2022-12-19
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】310024033
【氏名又は名称】エスケーハイニックス株式会社
【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．
【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】イ ジュ ヨン
(72)【発明者】
【氏名】ペ ジョン ヒョン
(72)【発明者】
【氏名】イ デ ヒョン
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CB01
5B057CB08
5B057CD06
5B057DC16
(57)【要約】
【課題】イメージに含まれたエッジの特性に応じて補間方式を異ならせる。
【解決手段】本開示の実施例によるイメージプロセッサ１００は、第１色に対応する第１ピクセルグループ３１０から第１ピクセルデータ４１０を取得し、第１ピクセルグループ３１０の両側に配置され、第１色と区別される第２色に対応する第２及び第３ピクセルグループ３２０，３３０からそれぞれ第２及び第３ピクセルデータ４２０，４３０を取得する取得部１１０と、第１ピクセルデータ４１０に対応するイメージ領域において第１色の差及び第２色の差によって検出されたエッジの種類に応じて互いに異なる方式で、第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定する決定部１２０と、決定された補間参照データに基づいて、第１ピクセルデータ４１０の一部を第２色に対応するように補間する補間部１３０と、を含むことができる。
【選択図】図１
【解決手段】本開示の実施例によるイメージプロセッサ１００は、第１色に対応する第１ピクセルグループ３１０から第１ピクセルデータ４１０を取得し、第１ピクセルグループ３１０の両側に配置され、第１色と区別される第２色に対応する第２及び第３ピクセルグループ３２０，３３０からそれぞれ第２及び第３ピクセルデータ４２０，４３０を取得する取得部１１０と、第１ピクセルデータ４１０に対応するイメージ領域において第１色の差及び第２色の差によって検出されたエッジの種類に応じて互いに異なる方式で、第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定する決定部１２０と、決定された補間参照データに基づいて、第１ピクセルデータ４１０の一部を第２色に対応するように補間する補間部１３０と、を含むことができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１色に対応する第１ピクセルグループから第１ピクセルデータを取得し、前記第１ピクセルグループの両側に配置され、前記第１色と区別される第２色に対応する第２ピクセルグループおよび第３ピクセルグループからそれぞれ第２ピクセルデータおよび第３ピクセルデータを取得する取得部と、
前記第１ピクセルデータに対応するイメージ領域において、前記第１色の差および前記第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する決定部と、
前記決定された補間参照データに基づいて、前記第１ピクセルデータの一部を前記第２色に対応するように補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する補間部と、を含むことを特徴とするイメージプロセッサ。
前記第１ピクセルデータに対応するイメージ領域において、前記第１色の差および前記第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する決定部と、
前記決定された補間参照データに基づいて、前記第１ピクセルデータの一部を前記第２色に対応するように補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する補間部と、を含むことを特徴とするイメージプロセッサ。
【請求項2】
前記エッジは、
前記第１色の差は臨界値未満で、前記第２色の差は前記臨界値以上の第１エッジと、
前記第１色の差および前記第２色の差が前記臨界値以上の第２エッジと、を含むことを特徴とする請求項１に記載のイメージプロセッサ。
前記第１色の差は臨界値未満で、前記第２色の差は前記臨界値以上の第１エッジと、
前記第１色の差および前記第２色の差が前記臨界値以上の第２エッジと、を含むことを特徴とする請求項１に記載のイメージプロセッサ。
【請求項3】
前記決定部は、
前記イメージ領域に前記エッジがあるか否かを判断するエッジ判断部と、
前記イメージ領域に前記エッジがあると判断したことに応答して、前記第１エッジに対応する第１方式または前記第２エッジに対応する第２方式を利用して前記補間参照データを決定する補間参照決定部と、を含むことを特徴とする請求項２に記載のイメージプロセッサ。
前記イメージ領域に前記エッジがあるか否かを判断するエッジ判断部と、
前記イメージ領域に前記エッジがあると判断したことに応答して、前記第１エッジに対応する第１方式または前記第２エッジに対応する第２方式を利用して前記補間参照データを決定する補間参照決定部と、を含むことを特徴とする請求項２に記載のイメージプロセッサ。
【請求項4】
前記エッジ判断部は、
前記第１ピクセルデータ、前記第２ピクセルデータ、および前記第３ピクセルデータに基づいて前記イメージ領域に前記第１エッジがあるか否かを判断する第１エッジ判断部と、
前記イメージ領域に前記第１エッジがないと判断したことに応答して、前記第２エッジがあるか否かを判断する第２エッジ判断部と、を含むことを特徴とする請求項３に記載のイメージプロセッサ。
前記第１ピクセルデータ、前記第２ピクセルデータ、および前記第３ピクセルデータに基づいて前記イメージ領域に前記第１エッジがあるか否かを判断する第１エッジ判断部と、
前記イメージ領域に前記第１エッジがないと判断したことに応答して、前記第２エッジがあるか否かを判断する第２エッジ判断部と、を含むことを特徴とする請求項３に記載のイメージプロセッサ。
【請求項5】
前記第１エッジ判断部は、
前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応するピクセルグループから取得されたピクセルデータと前記第１ピクセルデータとの間の類似度、および前記第１ピクセルグループから第２距離以内に配置され、前記第２色に対応するピクセルグループから取得されたピクセルデータ間の類似度に基づいて、前記イメージ領域に前記第１エッジがあるか否かを判断することを特徴とする請求項４に記載のイメージプロセッサ。
前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応するピクセルグループから取得されたピクセルデータと前記第１ピクセルデータとの間の類似度、および前記第１ピクセルグループから第２距離以内に配置され、前記第２色に対応するピクセルグループから取得されたピクセルデータ間の類似度に基づいて、前記イメージ領域に前記第１エッジがあるか否かを判断することを特徴とする請求項４に記載のイメージプロセッサ。
【請求項6】
前記補間参照決定部は、
前記第１エッジ判断部で前記イメージ領域に前記第１エッジがあると判断したことに応答して、
前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応する前記ピクセルグループから取得されたピクセルデータの中で、前記第１ピクセルデータのうち前記一部と最も類似するピクセルグループを識別し、
前記識別された最も類似するピクセルグループが前記第２ピクセルグループと隣接する場合、前記第２ピクセルデータを前記補間参照データとして決定し、
前記識別された最も類似するピクセルグループが前記第３ピクセルグループと隣接する場合、前記第３ピクセルデータを前記補間参照データとして決定する第１補間参照決定部を含むことを特徴とする請求項５に記載のイメージプロセッサ。
前記第１エッジ判断部で前記イメージ領域に前記第１エッジがあると判断したことに応答して、
前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応する前記ピクセルグループから取得されたピクセルデータの中で、前記第１ピクセルデータのうち前記一部と最も類似するピクセルグループを識別し、
前記識別された最も類似するピクセルグループが前記第２ピクセルグループと隣接する場合、前記第２ピクセルデータを前記補間参照データとして決定し、
前記識別された最も類似するピクセルグループが前記第３ピクセルグループと隣接する場合、前記第３ピクセルデータを前記補間参照データとして決定する第１補間参照決定部を含むことを特徴とする請求項５に記載のイメージプロセッサ。
【請求項7】
前記決定部は、
前記第１色に対応するピクセルグループから取得されたピクセルデータに基づいて、前記第２ピクセルグループおよび前記第３ピクセルグループにそれぞれ対応する第１推定されたピクセルデータおよび第２推定されたピクセルデータを取得する推定部を含み、前記第１推定されたピクセルデータおよび前記第２推定されたピクセルデータは、前記第１色に対応することを特徴とする請求項４に記載のイメージプロセッサ。
前記第１色に対応するピクセルグループから取得されたピクセルデータに基づいて、前記第２ピクセルグループおよび前記第３ピクセルグループにそれぞれ対応する第１推定されたピクセルデータおよび第２推定されたピクセルデータを取得する推定部を含み、前記第１推定されたピクセルデータおよび前記第２推定されたピクセルデータは、前記第１色に対応することを特徴とする請求項４に記載のイメージプロセッサ。
【請求項8】
前記第２エッジ判断部は、
前記第１ピクセルデータ、前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応するピクセルグループから取得されたピクセルデータ、第１推定されたピクセルデータ、または前記第２推定されたピクセルデータのうちの少なくとも一部に含まれた、指定された方向に対するグラジエント（ｇｒａｄｉｅｎｔ）に基づいて、前記イメージ領域に前記第２エッジがあるか否かを判断することを特徴とする請求項７に記載のイメージプロセッサ。
前記第１ピクセルデータ、前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応するピクセルグループから取得されたピクセルデータ、第１推定されたピクセルデータ、または前記第２推定されたピクセルデータのうちの少なくとも一部に含まれた、指定された方向に対するグラジエント（ｇｒａｄｉｅｎｔ）に基づいて、前記イメージ領域に前記第２エッジがあるか否かを判断することを特徴とする請求項７に記載のイメージプロセッサ。
【請求項9】
前記補間参照決定部は、
前記第２エッジ判断部で前記イメージ領域に前記第２エッジがあると判断したことに応答して、
前記第１ピクセルデータ、前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応するピクセルグループから取得されたピクセルデータ、前記第１推定されたピクセルデータ、および前記第２推定されたピクセルデータのうちの少なくとも一部に基づいて、前記イメージ領域上で前記第２エッジの位置を識別し、
前記第２エッジの位置に基づいて前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する第２補間参照決定部を含むことを特徴とする請求項７に記載のイメージプロセッサ。
前記第２エッジ判断部で前記イメージ領域に前記第２エッジがあると判断したことに応答して、
前記第１ピクセルデータ、前記第１ピクセルグループから第１距離以内に配置され、前記第１色に対応するピクセルグループから取得されたピクセルデータ、前記第１推定されたピクセルデータ、および前記第２推定されたピクセルデータのうちの少なくとも一部に基づいて、前記イメージ領域上で前記第２エッジの位置を識別し、
前記第２エッジの位置に基づいて前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する第２補間参照決定部を含むことを特徴とする請求項７に記載のイメージプロセッサ。
【請求項10】
前記補間参照決定部は、
前記エッジ判断部で前記イメージ領域に前記エッジがないと判断したことに応答して、前記第２ピクセルデータおよび前記第３ピクセルデータに基づいて前記第１ピクセルデータの一部を前記第２色に対応するよう補間する第３補間参照決定部を含むことを特徴とする請求項３に記載のイメージプロセッサ。
前記エッジ判断部で前記イメージ領域に前記エッジがないと判断したことに応答して、前記第２ピクセルデータおよび前記第３ピクセルデータに基づいて前記第１ピクセルデータの一部を前記第２色に対応するよう補間する第３補間参照決定部を含むことを特徴とする請求項３に記載のイメージプロセッサ。
【請求項11】
前記第１色は、
グリーン（Ｇ）色であることを特徴とする請求項１に記載のイメージプロセッサ。
グリーン（Ｇ）色であることを特徴とする請求項１に記載のイメージプロセッサ。
【請求項12】
前記第２色は、
レッド（Ｒ）色またはブルー（Ｂ）色であることを特徴とする請求項１に記載のイメージプロセッサ。
レッド（Ｒ）色またはブルー（Ｂ）色であることを特徴とする請求項１に記載のイメージプロセッサ。
【請求項13】
第１色に対応する第１ピクセルグループから第１ピクセルデータを取得し、前記第１ピクセルグループの両側に配置され、前記第１色と区別される第２色に対応する第２ピクセルグループおよび第３ピクセルグループからそれぞれ第２ピクセルデータおよび第３ピクセルデータを取得するステップと、
前記第１ピクセルデータに対応するイメージ領域において、前記第１色の差および前記第２色の差によって検出されたエッジの種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定するステップと、
前記決定された補間参照データに基づいて前記第１ピクセルデータの一部を前記第２色に対応するよう補間するステップと、を含むことを特徴とするイメージ処理方法。
前記第１ピクセルデータに対応するイメージ領域において、前記第１色の差および前記第２色の差によって検出されたエッジの種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定するステップと、
前記決定された補間参照データに基づいて前記第１ピクセルデータの一部を前記第２色に対応するよう補間するステップと、を含むことを特徴とするイメージ処理方法。
【請求項14】
前記エッジは、
前記第１色の差は臨界値未満で、前記第２色の差は前記臨界値以上の第１エッジと、
前記第１色の差および前記第２色の差が前記臨界値以上の第２エッジと、を含むことを特徴とする請求項１３に記載のイメージ処理方法。
前記第１色の差は臨界値未満で、前記第２色の差は前記臨界値以上の第１エッジと、
前記第１色の差および前記第２色の差が前記臨界値以上の第２エッジと、を含むことを特徴とする請求項１３に記載のイメージ処理方法。
【請求項15】
前記補間参照データを決定するステップは、
前記イメージ領域に前記エッジがあるか否かを判断するステップと、
前記イメージ領域に前記エッジがあると判断したことに応答して、前記第１エッジに対応する第１方式または前記第２エッジに対応する第２方式を利用して前記補間参照データを決定するステップと、を含むことを特徴とする請求項１４に記載のイメージ処理方法。
前記イメージ領域に前記エッジがあるか否かを判断するステップと、
前記イメージ領域に前記エッジがあると判断したことに応答して、前記第１エッジに対応する第１方式または前記第２エッジに対応する第２方式を利用して前記補間参照データを決定するステップと、を含むことを特徴とする請求項１４に記載のイメージ処理方法。
【請求項16】
第１色に対応する第１ピクセルグループ、および前記第１ピクセルグループの両側に配置され、前記第１色と区別される第２色に対応する第２ピクセルグループと第３ピクセルグループを含むイメージセンサと、
前記第１ピクセルグループから取得された第１ピクセルデータ、前記第２ピクセルグループから取得された第２ピクセルデータ、および前記第３ピクセルグループから取得された第３ピクセルデータを含むイメージデータを取得する取得部と、
前記イメージデータに基づいて前記第１ピクセルデータに対応するイメージ領域において前記第１色の差および前記第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する決定部と、
前記決定された補間参照データに基づいて前記第１ピクセルデータの一部を前記第２色に対応するよう補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する補間部と、を含むことを特徴とする電子装置。
前記第１ピクセルグループから取得された第１ピクセルデータ、前記第２ピクセルグループから取得された第２ピクセルデータ、および前記第３ピクセルグループから取得された第３ピクセルデータを含むイメージデータを取得する取得部と、
前記イメージデータに基づいて前記第１ピクセルデータに対応するイメージ領域において前記第１色の差および前記第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する決定部と、
前記決定された補間参照データに基づいて前記第１ピクセルデータの一部を前記第２色に対応するよう補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する補間部と、を含むことを特徴とする電子装置。
【請求項17】
前記第１ピクセルグループは、
ＮｘＮ個のピクセルを含み、前記Ｎは２以上の自然数であることを特徴とする請求項１６に記載の電子装置。
ＮｘＮ個のピクセルを含み、前記Ｎは２以上の自然数であることを特徴とする請求項１６に記載の電子装置。
【請求項18】
前記第１ピクセルデータは、
ＮｘＮ個のピクセル値を含むことを特徴とする請求項１６に記載の電子装置。
ＮｘＮ個のピクセル値を含むことを特徴とする請求項１６に記載の電子装置。
【請求項19】
前記補間部は、
前記決定された補間参照データに基づいて前記第１ピクセルデータに含まれたＮｘＮ個のピクセル値のうち一部のピクセル値を前記第２色に対応するように補間することを特徴とする請求項１８に記載の電子装置。
前記決定された補間参照データに基づいて前記第１ピクセルデータに含まれたＮｘＮ個のピクセル値のうち一部のピクセル値を前記第２色に対応するように補間することを特徴とする請求項１８に記載の電子装置。
【請求項20】
前記補間部は、
前記イメージデータに含まれた前記第１色に対応するピクセルデータに基づいて、前記第２ピクセルグループに対応し、前記第１色に対応する第１推定されたピクセルデータを取得し、
前記第２ピクセルデータに含まれたＮｘＮ個のピクセル値の平均値と前記第１推定されたピクセルデータに含まれたＮｘＮ個のピクセル値の平均値との間の比率を計算し、
前記第２ピクセルデータを前記補間参照データとして決定したことに応答して、前記第１ピクセルデータに含まれたＮｘＮ個のピクセル値の一部に前記比率をかけて前記補間を実行することを特徴とする請求項１９に記載の電子装置。
前記イメージデータに含まれた前記第１色に対応するピクセルデータに基づいて、前記第２ピクセルグループに対応し、前記第１色に対応する第１推定されたピクセルデータを取得し、
前記第２ピクセルデータに含まれたＮｘＮ個のピクセル値の平均値と前記第１推定されたピクセルデータに含まれたＮｘＮ個のピクセル値の平均値との間の比率を計算し、
前記第２ピクセルデータを前記補間参照データとして決定したことに応答して、前記第１ピクセルデータに含まれたＮｘＮ個のピクセル値の一部に前記比率をかけて前記補間を実行することを特徴とする請求項１９に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージデータをリモザイク（ｒｅｍｏｓａｉｃ）処理する装置およびその方法に関する。
【背景技術】
【0002】
最近、高画素イメージセンサに対する要求に応じて、同じ色のカラーフィルタの下に２個以上のピクセルが配置される形態のイメージセンサが開発されている。例えば、それぞれのカラーフィルタごとに１個のピクセルに対応する一般的なベイヤーパターンの場合とは異なり、それぞれのカラーフィルタごとに４ｘ４のピクセルに対応するｎ－ｃｅｌｌパターンのイメージセンサがある。
【0003】
Ｎ－ｃｅｌｌパターンのイメージセンサからＲＡＷイメージを受信したＩＳＰ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）は、前記ＲＡＷイメージをベイヤーパターンなどの一般的なＲＧＢイメージに変換するリモザイク（ｒｅｍｏｓａｉｃ）動作を実行する。リモザイクの方式としては、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）が利用されることができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
Ｎ－ｃｅｌｌパターンのイメージセンサは、ベイヤーパターンのイメージセンサに比べて、同じ色のカラーフィルタに対応するピクセル間の距離が遠い。したがって、Ｎ－ｃｅｌｌパターンのイメージセンサが出力するイメージデータ（例えば、ＲＡＷイメージ）に対するリモザイク方式として、単純な線形補間は不十分であり得る。
【0005】
本開示は、イメージに含まれたエッジの特性に応じて補間方式を異ならせるイメージ処理装置およびイメージ処理方法を提供する。
【課題を解決するための手段】
【0006】
本開示の実施例によるイメージプロセッサは、第１色に対応する第１ピクセルグループから第１ピクセルデータを取得し、前記第１ピクセルグループの両側に配置され、前記第１色と区別される第２色に対応する第２ピクセルグループおよび第３ピクセルグループからそれぞれ第２ピクセルデータおよび第３ピクセルデータを取得する取得部と、前記第１ピクセルデータに対応するイメージ領域において、前記第１色の差および前記第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する決定部と、前記決定された補間参照データに基づいて、前記第１ピクセルデータの一部を前記第２色に対応するように補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する補間部と、を含むことができる。
【0007】
本開示の実施例によるイメージ処理方法は、第１色に対応する第１ピクセルグループから第１ピクセルデータを取得し、前記第１ピクセルグループの両側に配置され、前記第１色と区別される第２色に対応する第２ピクセルグループおよび第３ピクセルグループからそれぞれ第２ピクセルデータおよび第３ピクセルデータを取得するステップと、前記第１ピクセルデータに対応するイメージ領域において、前記第１色の差および前記第２色の差によって検出されたエッジの種類に応じて、互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定するステップと、前記決定された補間参照データに基づいて前記第１ピクセルデータの一部を前記第２色に対応するように補間するステップと、を含むことができる。
【0008】
本開示の実施例による電子装置は、第１色に対応する第１ピクセルグループ、および前記第１ピクセルグループの両側に配置され、前記第１色と区別される第２色に対応する第２ピクセルグループと第３ピクセルグループを含むイメージセンサと、前記第１ピクセルグループから取得された第１ピクセルデータ、前記第２ピクセルグループから取得された第２ピクセルデータ、および前記第３ピクセルグループから取得された第３ピクセルデータを含むイメージデータを取得する取得部と、前記イメージデータに基づいて前記第１ピクセルデータに対応するイメージ領域において前記第１色の差および前記第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて、互いに異なる方式で前記第２ピクセルデータまたは前記第３ピクセルデータのうちのいずれか１つを補間参照データとして決定する決定部と、前記決定された補間参照データに基づいて前記第１ピクセルデータの一部を前記第２色に対応するように補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）する補間部と、を含むことができる。
【発明の効果】
【0009】
本開示によれば、一部の色だけに差があり、他の色は差が少ないエッジに対する補間性能が向上することによって、リモザイク処理されたイメージの品質を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例によるイメージプロセッサを説明するための図である。
【図2】本発明の実施例による電子装置を説明するための図である。
【図3】本発明の実施例によるイメージセンサのピクセルアレイを説明するための図である。
【図4】本発明の実施例によって第１色に対応する第１ピクセルデータの一部を第２色に対応するように補間する方式を説明するための図である。
【図5】本発明の実施例によるイメージプロセッサがピクセルデータに基づいて該当ピクセルグループのグラジエントを計算する方式を説明するための図である。
【図6】本発明の実施例によって第１エッジまたは第２エッジにそれぞれ対応する第１方式または第２方式を利用してリモザイク処理する方法を説明するための図である。
【図7】本発明の実施例によってイメージ領域に第１エッジまたは第２エッジがあるか判断する方法を説明するための図である。
【図8】本発明の実施例による第１エッジの例を説明するための図である。
【図9】本発明の実施例によってイメージ領域に第１エッジがあるか判断するために、第１ピクセルデータと周辺ピクセルデータとの類似度を識別する方法を説明するための図である。
【図10】本発明の実施例によって第１ピクセルデータと周辺ピクセルデータとが類似する場合、イメージ領域に第１エッジがあるか判断する方法を説明するための図である。
【図11】本発明の実施例によってイメージ領域に第１エッジがある場合、補間参照データを決定する方法を説明するための図である。
【図12】本発明の実施例によってイメージ領域に第２エッジがあるか判断する方法を説明するための図である。
【図13】本発明の実施例によってイメージ領域に第２エッジがあるか判断するための方法を説明するための図である。
【図14】本発明の実施例によってイメージ領域に第２エッジがある場合、補間参照データを決定する方法を説明するための図である。
【発明を実施するための形態】
【0011】
本明細書または出願に開示されている本発明の概念による実施例についての特定の構造上および機能上の説明は、単に本発明の概念による実施例を説明する目的で例示されたものであり、本発明の概念による実施例は様々な形態で実施することができ、本明細書または出願に説明される実施例に限定されるものと解釈されてはならない。
【0012】
以下では、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施できるほど詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。
【0013】
図１は、本発明の実施例によるイメージプロセッサを説明するための図である。
【0014】
図１を参照すると、イメージプロセッサ１００は、取得部１１０、決定部１２０、および補間部１３０を含むことができる。本開示において、イメージプロセッサ１００は、イメージ処理装置と呼ぶことができる。
【0015】
取得部１１０は、第１色に対応する第１ピクセルグループから第１ピクセルデータを取得することができ、第１ピクセルグループの両側に配置され、第１色と区別される第２色に対応する第２ピクセルグループおよび第３ピクセルグループからそれぞれ第２ピクセルデータおよび第３ピクセルデータを取得することができる。第１ピクセルグループ、第２ピクセルグループ、および第３ピクセルグループについては、図３を参照して後述する。
【0016】
決定部１２０は、第１ピクセルデータに対応するイメージ領域において、第１色の差および第２色の差によって検出されたエッジ（ｅｄｇｅ）の種類に応じて互いに異なる方式で、第２ピクセルデータまたは第３ピクセルデータのうちのいずれか１つを補間参照データとして決定することができる。補間参照データの決定については、図２および図７～図１４を参照して後述する。
【0017】
補間部１３０は、前記決定された補間参照データに基づいて、前記第１ピクセルデータの一部を前記第２色に対応するように補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）できる。補間部１３０については、図４を参照して後述する。
【0018】
図２は、本発明の実施例による電子装置を説明するための図である。
【0019】
図２を参照すると、電子装置１０は、イメージセンサ２００およびイメージプロセッサ１００を含むことができる。例えば、電子装置１０は、デジタルカメラ、モバイル装置、スマートフォン、タブレットＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネット装置（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、自動車、或いは様々な目的のカメラを含む装置に該当することができる。または、図２の電子装置１０は、他の電子装置内に実装される部品やモジュール（例えば、カメラモジュール）に該当することもできる。また、図２に示すイメージセンサ２００およびイメージプロセッサ１００の構成は、イメージングシステムに含まれると理解できる。
【0020】
イメージセンサ２００は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサとして具現されることができる。イメージセンサ２００は、レンズを介して入射された被写体の光情報を電気的信号に変換し、イメージプロセッサ１００に提供することができる。イメージセンサ２００は、複数のピクセルを介して取得したイメージデータをイメージプロセッサ１００に伝送することができる。
【0021】
図２を参照すると、イメージセンサ２００は、ピクセルアレイ２１０を含むことができる。ピクセルアレイ２１０は、ロー（ｒｏｗ）方向とカラム（ｃｏｌｕｍｎ）方向に配列された複数のピクセルを含むことができる。ピクセルアレイ２１０の構造については、図３を参照して後述する。
【0022】
ピクセルアレイ２１０は、カラーフィルタアレイ２１１を含むことができる。カラーフィルタアレイ２１１は、各ピクセルに入射される光の特定波長（例えば、レッド、グリーン、ブルー）のみを通過させるカラーフィルタを含むことができる。カラーフィルタアレイ２１１によって、各ピクセルから取得されたピクセルデータは、特定波長の光の強度に対応することができる。ピクセルアレイ２１０に含まれた複数のピクセルそれぞれは、カラーフィルタの種類に応じてレッドピクセルＲ、ブルーピクセルＢまたはグリーンピクセルＧと呼ぶことができる。
【0023】
ピクセルアレイ２１０は、カラーフィルタアレイ２１１の下部に形成された複数の光電変換素子（ｐｈｏｔｏｅｌｅｃｔｒｉｃ ｃｏｎｖｅｒｓｉｏｎ ｅｌｅｍｅｎｔ）を含む光電変換層２１３を含むことができる。光電変換層２１３は、それぞれのピクセルに対応する光電変換素子を含むことができる。例えば、光電変換素子は、フォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏｇａｔｅ）、またはピンフォトダイオード（ｐｉｎｎｅｅｄ ｐｈｏｔｏ ｄｉｏｄｅ）のうちの少なくとも１つであり得る。
【0024】
イメージプロセッサ１００は、イメージセンサ２００から受信されたイメージデータに対してイメージ処理を実行することができる。例えば、イメージプロセッサ１００は、前記イメージデータに対して補間、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、色調補正、画質補正、またはサイズ調整のうちの少なくとも１つを実行することができる。イメージプロセッサ１００は、前記イメージ処理を介して品質の改善されたイメージデータを取得することができる。
【0025】
図２を参照すると、イメージプロセッサ１００は、受信部１１２、推定部１１４、決定部１２０、および補間部１３０を含むことができる。決定部１２０は、第１エッジ判断部１２１、第２エッジ判断部１２２、第１補間参照決定部１２３、第２補間参照決定部１２４、および第３補間参照決定部１２５を含むことができる。
【0026】
受信部１１２は、イメージセンサ２００からイメージデータを受信することができる。例えば、受信部１１２は、第１色に対応する第１ピクセルグループから第１ピクセルデータを取得することができ、第１ピクセルグループの両側に配置され、第１色と区別される第２色に対応する第２ピクセルグループと第３ピクセルグループからそれぞれ第２ピクセルデータおよび第３ピクセルデータを取得することができる。第１ピクセルデータ、第２ピクセルデータ、および第３ピクセルデータについては、図４を参照して後述する。
【0027】
推定部１１４は、イメージデータに含まれた第１色に対応するピクセルデータに基づいて、第２ピクセルグループおよび第３ピクセルグループにそれぞれ対応する第１推定されたピクセルデータおよび第２推定されたピクセルデータを取得することができる。第１推定されたピクセルデータ、および第２推定されたピクセルデータについては、図４を参照して後述する。
【0028】
受信部１１２および推定部１１４は、図１の取得部１１０に含まれる構成であると理解できる。
【0029】
決定部１２０は、前記イメージデータに基づいて、イメージ領域から検出されたエッジの種類に応じて互いに異なる方式で補間参照データを決定することができる。エッジ判断部（例えば、第１エッジ判断部１２１、第２エッジ判断部１２２）は、イメージデータに基づいて、特定のイメージ領域にエッジがあるか否かを判断することができる。補間参照決定部（例えば、第１補間参照決定部１２３、第２補間参照決定部１２４）は、前記イメージ領域にエッジがある場合、第１エッジに対応する第１方式または第２エッジに対応する第２方式を利用して補間参照データを決定することができる。また、第３補間参照決定部１２５は、前記イメージ領域にエッジがない場合に、指定された方式を利用して補間参照データを決定することができる。決定部１２０の詳細な動作については、図７～図１４を参照して後述する。
【0030】
補間部１３０は、前記決定された補間参照データに基づいて、前記イメージデータの一部を他の色で補間することができる。補間部１３０の詳細な動作については、図４を参照して後述する。
【0031】
図３は、本発明の実施例によるイメージセンサのピクセルアレイを説明するための図である。
【0032】
図３を参照すると、イメージセンサ２００のピクセルアレイ２１０は、複数のピクセルを含むことができる。本開示のピクセルアレイ２１０は、カラーフィルタアレイ２１１に含まれたカラーフィルタごとに２以上のピクセルが対応するｎ－ｃｅｌｌパターンを有することができる。図３を参照すると、ピクセルアレイ２１０は、それぞれのカラーフィルタに対応するＮｘＮ個（ただし、Ｎは２以上の自然数）のピクセルを含むピクセルグループを含むことができる。例えば、ピクセルアレイ２１０は、第１色（例えば、G）に対応する４ｘ４個のピクセルを含む第１ピクセルグループ３１０を含むことができる。また、ピクセルアレイ２１０は、第２色（例えば、Ｒ）に対応する４ｘ４個のピクセルをそれぞれ含む第２ピクセルグループ３２０と第３ピクセルグループ３３０を含むことができる。第２ピクセルグループ３２０と第３ピクセルグループ３３０は、第１ピクセルグループ３１０の両側に配置されたピクセルグループであり得る。
【0033】
イメージセンサ２００は、Ｒ色、Ｇ色、およびＢ色に対応するカラーフィルタを含むカラーフィルタアレイ２１１を含むことができる。本開示において、第１色は、Ｇ色を表すことができ、第２色は、Ｒ色またはＢ色を表すことができる。また、本開示において、特定の色（例えば、Ｒ、Ｇ、Ｂ）に対応するピクセルまたは特定の色のピクセルとは、該当色に対応するカラーフィルタを通過した入射光に基づいてピクセル値を取得するピクセルであり得る。例えば、Ｇ色に対応するピクセル（または、Ｇ色のピクセル）は、入射光の中からＧ色に対応する光の強度に対するピクセル値を取得することができる。
【0034】
イメージセンサ２００は、複数のピクセルを介してピクセル値を取得することができる。また、イメージセンサ２００は、ピクセルグループを介してピクセルデータを取得することができる。前記ピクセルデータは、ＮＸＮ個のピクセル値を含むと理解できる。例えば、イメージセンサ２００は、第１色（例えば、Ｇ色）に対応する第１ピクセルグループ３１０を介して第１ピクセルデータを取得することができ、第２色（例えば、Ｒ色）に対応する第２ピクセルグループ３２０を介して第２ピクセルデータを取得することができ、第２色に対応する第３ピクセルグループ３３０を介して第３ピクセルデータを取得することができる。前記第１ピクセルデータは、第１色に対応するＮＸＮ個のピクセル値を含むことができ、前記第２ピクセルデータと前記第３ピクセルデータは、それぞれ第２色に対応するＮＸＮ個のピクセル値を含むことができる。
【0035】
イメージセンサ２００は、複数のピクセルを介して取得したイメージデータをイメージプロセッサ１００に提供することができる。例えば、イメージセンサ２００は、第１ピクセルグループ３１０から取得された第１ピクセルデータ、第２ピクセルグループ３２０から取得された第２ピクセルデータ、および第３ピクセルグループ３３０から取得された第３ピクセルデータを含むイメージデータを出力することができる。イメージプロセッサ１００の受信部１１２は、イメージセンサ２００から前記イメージデータを受信することができる。
【0036】
本開示では、ピクセルアレイ２１０に含まれたピクセルグループ（例えば、第１ピクセルグループ３１０、第２ピクセルグループ３２０、第３ピクセルグループ３３０）に４ｘ４個のピクセルが含まれるとして図示されるか、説明されるが、これは説明の便宜のためのものであり、本開示の権利範囲を限定しない。例えば、各ピクセルグループごとに２ｘ２個のピクセルを含む場合にも、本開示の実施例は適用できる。
【0037】
また、本開示では、主に第２色がＲ色であることを基準に説明されるが、これは説明の便宜のためのものであり、第２色がＢ色である場合にも、本開示の実施例は適用できる。
【0038】
図４は、本発明の実施例によって第１色に対応する第１ピクセルデータの一部を第２色に対応するように補間する方式を説明するための図である。
【0039】
図４を参照すると、イメージデータ４００は、図３と関連して説明されたイメージデータであり得る。イメージセンサ２００は、第１ピクセルグループ３１０を介して取得された第１ピクセルデータ４１０、第２ピクセルグループ３２０を介して取得された第２ピクセルデータ４２０、および第３ピクセルグループ３３０を介して取得された第３ピクセルデータ４３０を含むイメージデータ４００を取得することができる。イメージプロセッサ１００（例えば、取得部１１０）は、イメージセンサ２００からイメージデータ４００を取得することができる。
【0040】
本開示では、説明の便宜のために、第１ピクセルデータ４１０はＧＴ、第２ピクセルデータ４２０はＲＬ、第３ピクセルデータ４３０はＲＲと呼ぶことができる。ＧＴは、補間対象になるピクセルデータを指すことができる。ＲＬ、ＲＲは、ＧＴのうちの一部のピクセル値をＲ色で補間するにあたり、補間参照データ（または、補間参照データの候補）に該当するピクセルデータを指すことができる。
【0041】
イメージプロセッサ１００（例えば、受信部１１２）は、イメージセンサ２００からイメージデータ４００を受信することができる。イメージプロセッサ１００（例えば、推定部１１４）は、イメージデータ４００に含まれた第１色Ｇに対応するピクセルデータに基づいて、第２ピクセルグループ３２０および第３ピクセルグループ３３０にそれぞれ対応する第１推定されたピクセルデータ４２５および第２推定されたピクセルデータ４３５を取得することができる。第１推定されたピクセルデータ４２５はｐＧＬ、第２推定されたピクセルデータ４３５はｐＧＲと呼ぶことができる。前記ｐＧはｐｓｅｕｄｏ ｇｒｅｅｎの略であり、Ｇ色に対応するピクセル値を利用して、Ｇ色ではない色（Ｒ、Ｂ）のピクセルに対応するように推定されたデータを意味することができる。
【0042】
例えば、イメージプロセッサ１００（例えば、推定部１１４）は、一般的なｐｏｌｙｎｏｍｉａｌ ｆｉｔｔｉｎｇを利用してｐＧを計算することができる。推定部１１４は、Ｇ色のピクセル値のうちピクセル値４５０を中心に、水平方向のピクセル値４個と垂直方向のピクセル値４個を利用して、ｐＧＬの一部に該当するピクセル値４５０を計算することができる。推定部１１４は、前記水平方向のピクセル値４個と垂直方向のピクセル値４個を利用して、各方向の明るさ変化曲線を求め、前記求められた明るさ変化曲線を利用してピクセル値４５０を取得することができる。
【0043】
推定部１１４は、第２ピクセルグループ３２０や第３ピクセルグループ３３０以外にも、Ｇではない他の色（Ｒ、Ｂ）のピクセルグループに対応するｐＧを取得することができる。例えば、推定部１１４は、受信部１１２を介してイメージデータ４００を受信した後、イメージデータ４００の全領域に対してＧ値を推定することができる。これにより、推定部１１４は、イメージデータ４００と同じ解像度を有するＧプレーン（ｐｌａｎｅ）を取得することができる。前記Ｇプレーンは、Ｇ色のピクセルから取得されたＧデータおよびこれを利用して推定されたｐＧデータを含むことができる。
【0044】
図４を参照すると、イメージプロセッサ１００（例えば、補間部１３０）は、第２ピクセルデータ４２０、第３ピクセルデータ４３０、第１推定されたピクセルデータ４２５、および第２推定されたピクセルデータ４３５に基づいて、第１ピクセルデータ４１０の一部のピクセル値４１９を補間することができる。イメージプロセッサ１００（例えば、補間部１３０）は、第２ピクセルデータ４２０と第１推定されたピクセルデータ４２５との比率（ＲＬ／ｐＧＬ）、および第３ピクセルデータ４３０と第２推定されたピクセルデータ４３５との比率（ＲＲ／ｐＧＲ）を利用して、第１ピクセルデータ４１０の一部のピクセル値４１９を補間することができる。例えば、補間部１３０は、第２ピクセルデータ４２０に含まれたＮｘＮ個のピクセル値の平均値と、第１推定されたピクセルデータ４２５に含まれたＮｘＮ個のピクセル値の平均値との間の比率、すなわちＲＬ／ｐＧＬを利用することができる。また、イメージプロセッサ１００（例えば、補間部１３０）は、第３ピクセルデータ４３０に含まれたＮｘＮ個のピクセル値の平均値と、第２推定されたピクセルデータ４３５に含まれたＮｘＮ個のピクセル値の平均値との間の比率、すなわちＲＲ／ｐＧＲを利用することもできる。
【0045】
イメージプロセッサ１００（例えば、補間部１３０）は、ＧＴの一部のピクセル値４１９にＲ／ｐＧをかけることで、Ｒ色に対応するように補間されたピクセル値４９０を取得することができる。このとき、イメージプロセッサ１００（例えば、補間部１３０）は、補間参照データがどれであるかに応じて補間対象のピクセル値４１９にＲＬ／ｐＧＬをかけて、補間されたピクセル値４９０を求めるか、ＲＲ／ｐＧＲをかけて、補間されたピクセル値４９０を求めるか、またはＲＬ／ｐＧＬとＲＲ／ｐＧＲを共に利用して、補間されたピクセル値４９０を求めることができる。例えば、補間部１３０は、補間対象のピクセル値４１９に対応する補間参照データが第２ピクセルデータ４２０であると決定した場合、ピクセル値４１９にＲＬ／ｐＧＬをかけて、補間されたピクセル値４９０を取得することができる。他の例を挙げると、補間部１３０は、補間対象のピクセル値４１９に対応する補間参照データが第３ピクセルデータ４３０であると決定した場合、ピクセル値４１９にＲＲ／ｐＧＲをかけて、補間されたピクセル値４９０を取得することができる。さらに他の例を挙げると、補間部１３０は、補間対象のピクセル値４１９に対応する補間参照データが第２ピクセルデータ４２０と第３ピクセルデータ４３０であると決定した場合、比率に応じてＲＬ／ｐＧＬとＲＲ／ｐＧＲに基づいて演算された別途の比率Ｒ／ｐＧをピクセル値４１９にかけて、補間されたピクセル値４９０を取得することもできる。
【0046】
すなわち、本開示によるイメージプロセッサ１００は、決定部１２０を介して予め指定された方式を利用して補間参照データを決定することができ、補間部１３０を介して前記決定された補間参照データに基づいて、補間対象のピクセル値４１９を補間することができる。したがって、補間部１３０で第１ピクセルデータ４１０の一部を第２色Ｒ、Ｂで補間するためには、決定部１２０を介して補間参照データを決定する動作が先行されなければならない。以下では、Ｇ色のピクセルデータの一部をＲやＢ色で補間する際に、決定部１２０で補間参照データを決定する方法、特に撮影される場面に含まれたエッジ（ｅｄｇｅ）付近で補間参照データを決定する方法について説明する。
【0047】
図５は、本発明の実施例によるイメージプロセッサが、ピクセルデータに基づいて該当ピクセルグループのグラジエントを計算する方式を説明するための図である。
【0048】
イメージプロセッサ１００（例えば、決定部１２０）は、各ピクセルグループごとに方向別グラジエント（ｇｒａｄｉｅｎｔ）を計算することができる。例えば、決定部１２０は、各ピクセルグループから取得されたピクセルデータに基づいて、水平方向（ｈｏｒｉｚｏｎｔａｌ）、垂直方向（ｖｅｒｔｉｃａｌ）、右上向き対角線方向（ｄｉａｇｏｎａｌ）、および左上向き対角線方向のグラジエントを計算することができる。その例として、図５では、第１ピクセルデータ４１０に含まれた水平方向のグラジエントＧｈｏｒを計算する方法について説明する。
【0049】
イメージプロセッサ１００（例えば、決定部１２０）は、グラジエントを求めたい方向（例えば、水平方向）に１～Ｎ－１ピクセルの距離にあるピクセルとの明るさの差に基づいて、グラジエントを計算することができる。例えば、各ピクセルグループが４ｘ４個のピクセルを含む場合、イメージプロセッサ１００は、1ピクセルの距離にあるピクセル間の明るさの差の平均値であるＧｈｏｒ,１、２ピクセルの距離にあるピクセル間の明るさの差の平均値であるＧｈｏｒ,２、３ピクセルの距離にあるピクセル間の明るさの差の平均値であるＧｈｏｒ,３を計算することができる。このとき、１ピクセルの距離とは、特定のピクセルに直に隣接するピクセルとの距離を表すことができる。イメージプロセッサ１００（例えば、決定部１２０）は、Ｇｈｏｒ,１、Ｇｈｏｒ,２、およびＧｈｏｒ,３の平均値をＧｈｏｒであると決定することができる。すなわち、Ｇｈｏｒ＝（Ｇｈｏｒ,１＋Ｇｈｏｒ,２＋Ｇｈｏｒ,３）／３という数式によって、第１ピクセルデータ４１０に含まれた水平方向のグラジエントＧｈｏｒが計算されることができる。
【0050】
図６は、本発明の実施例によって第１エッジまたは第２エッジにそれぞれ対応する第１方式または第２方式を利用してリモザイク処理する方法を説明するための図である。図６で説明する方法は、電子装置１０または電子装置１０に含まれたイメージプロセッサ１００が実行するとして理解できる。
【0051】
ステップＳ６１０において、取得部１１０は、第１色に対応する第１ピクセルグループ３１０から第１ピクセルデータ４１０を取得し、第１ピクセルグループ３１０の両側に配置され、第２色に対応する第２ピクセルグループ３２０および第３ピクセルグループ３３０からそれぞれ第２ピクセルデータ４２０および第３ピクセルデータ４３０を取得することができる。例えば、イメージセンサ２００は、ピクセルアレイ２１０を介してイメージデータ４００を取得することができ、イメージプロセッサ１００は、取得部１１０を介してイメージセンサ２００からイメージデータ４００を取得することができる。
【0052】
ステップＳ６２０において、決定部１２０は、第１ピクセルデータ４１０に対応するイメージ領域において、第１色の差および第２色の差によって検出されたエッジの種類に応じて互いに異なる方式で第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定することができる。
【0053】
イメージプロセッサ１００（例えば、第１エッジ判断部１２１、第２エッジ判断部１２２）は、イメージデータ４００に基づいて第１ピクセルデータ４１０に対応するイメージ領域にエッジ（ｅｄｇｅ）があるか否かを判断することができる。エッジ判断部（例えば、第１エッジ判断部１２１、第２エッジ判断部１２２）は、イメージセンサ２００を介して撮影された場面のうち、第１ピクセルグループ３１０に対応する領域にエッジが存在するか否かを判断することができる。前記エッジには、第１エッジおよび第２エッジが含まれることができる。第１エッジは、第１エッジを基準に、第１色Ｇの差は臨界値未満で、第２色ＲまたはＢの差は臨界値以上のエッジであり得る。第２エッジは、第２エッジを基準に、第１色Ｇの差および第２色Ｒ、Ｂの差が臨界値以上のエッジであり得る。第１エッジまたは第２エッジが含まれているか判断する具体的な方法については、図７等を参照して後述する。
【0054】
イメージプロセッサ１００（例えば、第１補間参照決定部１２３、第２補間参照決定部１２４）は、イメージ領域にエッジがあると判断したことに応答して、第１エッジに対応する第１方式または第２エッジに対応する第２方式を利用して、第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定することができる。第１方式および第２方式についての詳細な説明は、図７等を参照して後述する。
【0055】
イメージプロセッサ１００（例えば、第１補間参照決定部１２３、第２補間参照決定部１２４）は、イメージ領域にエッジがある場合、第２ピクセルデータ４２０と第３ピクセルデータ４３０を全て利用して補間せず、どちらか一方のみを利用して補間することができる。特定のイメージ領域にエッジがある場合、撮影される場面では、該当エッジを基準に両方が互いに異なる色と明るさを有することができる。したがって、エッジがある領域において、互いに異なる色と明るさを有する両方のピクセルデータを全て利用して補間すると、リモザイクの性能が低下され得る。本開示のイメージプロセッサ１００（例えば、第１補間参照決定部１２３、第２補間参照決定部１２４）は、エッジがある場合に、補間対象のピクセル値４１９がエッジを基準にどちらに属するかを判断することによって、第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つだけを補間参照データとして決定することができる。
【0056】
ステップＳ６３０において、イメージプロセッサ１００（例えば、補間部１３０）は、前記決定された補間参照データに基づいて、第１ピクセルデータ４１０の一部を第２色Ｒ、Ｂに対応するように補間することができる。Ｇ色に対応する第１ピクセルデータ４１０の一部のピクセル値を第２色Ｒ、Ｂに対応するように補間する方法としては、図４で説明された方法を利用できる。
【0057】
図６を参照すると、本開示のイメージプロセッサ１００（例えば、決定部１２０）は、補間対象になるピクセルデータＧＴ領域に第１エッジがあるか、または第２エッジがあるか否かによって、互いに異なる方式で補間参照データを決定することができる。すなわち、電子装置１０は、イメージに含まれたエッジを検出するだけでなく、該当エッジの特性まで判断することができる。したがって、本開示によるイメージプロセッサ１００が補間参照データを決定する正確度を従来に比べて向上させることができる。特に、本開示によれば、一部の色（ＲまたはＢ）にのみ差があり、その他の色には差が少ない境界でも補間性能を向上させることができる。したがって、本開示によって取得されたリモザイクイメージの品質が向上することができる。図７では、図６で説明されたイメージ処理方法をより具体的に説明する。
【0058】
図７は、本発明の実施例によってイメージ領域に第１エッジまたは第２エッジがあるか判断する方法を説明するための図である。図７で説明される方法は、電子装置１０または電子装置１０に含まれたイメージプロセッサ１００が実行すると理解できる。
【0059】
ステップＳ７１０において、イメージプロセッサ１００（例えば、受信部１１２）は、第１ピクセルグループ３１０から取得された第１ピクセルデータ４１０、第２ピクセルグループ３２０から取得された第２ピクセルデータ４２０、および第３ピクセルグループ３３０から取得された第３ピクセルデータ４３０を含むイメージデータ４００を取得することができる。ステップＳ７１０は、図６のステップＳ６１０に対応できる。
【0060】
ステップＳ７２０において、イメージプロセッサ１００（例えば、推定部１１４）は、イメージデータ４００に含まれた第１色Ｇに対応するピクセルデータに基づいて、第２ピクセルグループ３２０および第３ピクセルグループ３３０にそれぞれ対応し、第１色Ｇに対応する第１推定されたピクセルデータ４２５および第２推定されたピクセルデータ４３５を取得することができる。ｐＧデータを取得する方法としては、図４で説明された方法を利用できる。
【0061】
ステップＳ７３０において、イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、イメージデータ４００に基づいて、第１ピクセルデータ４１０に対応するイメージ領域に第１エッジがあるか否かを判断することができる。例えば、第１エッジとは、第１エッジを基準に、Ｒ色の差のみが存在するか、Ｂ色の差のみが存在するエッジであり得る。すなわち、本開示において、Ｇ色とＢ色の差はないか、または無視できるほど小さく、Ｒ色の差は一定レベル以上の境界線を第１エッジと呼ぶことができる。また、Ｇ色とＲ色の差はないか、または無視できるほど小さく、Ｂ色の差は一定レベル以上の境界線も第１エッジと呼ぶことができる。第１エッジの例については、図８を参照して後述する。また、第１エッジが存在するか否かを判断する具体的な方法の例は、図９および図１０を参照して後述する。
【0062】
ステップＳ７４０において、第１エッジ判断部１２１で前記イメージ領域に第１エッジがあると判断したことに応答して、イメージプロセッサ１００（例えば、第１補間参照決定部１２３）は、第１エッジに対応する第１方式を利用して第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定することができる。第１方式の具体的な例は、図１１を参照して後述する。
【0063】
ステップＳ７５０において、イメージプロセッサ１００（例えば、第２エッジ判断部１２２）は、前記イメージ領域に第１エッジがないと判断したことに応答して、前記イメージ領域に第２エッジがあるか否かを判断することができる。例えば、第２エッジとは、第２エッジを基準に、Ｒ、Ｇ、Ｂ色の全てに一定レベル以上の差があるエッジであり得る。第２エッジが存在するか否かを判断する具体的な方法の例は、図１２および図１３を参照して後述する。
【0064】
ステップＳ７６０において、第２エッジ判断部１２２で前記イメージ領域に第２エッジがあると判断したことに応答して、イメージプロセッサ１００（例えば、第２補間参照決定部１２４）は、第２エッジに対応する第２方式を利用して、第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定することができる。第２方式の具体的な例は、図１４を参照して後述する。
【0065】
ステップＳ７７０において、イメージプロセッサ１００（例えば、第３補間参照決定部１２５）は、前記イメージ領域に第２エッジがないと判断したことに応答して、第２ピクセルデータ４２０および第３ピクセルデータ４３０を補間参照データとして決定することができる。ステップＳ７３０とステップＳ７５０において、前記イメージ領域に第１エッジと第２エッジのいずれもないと判断された場合、前記イメージ領域はエッジを含まない領域であり得る。したがって、第３補間参照決定部１２５は、第２ピクセルデータ４２０と第３ピクセルデータ４３０を共に参照して補間を実行することができる。
【0066】
ステップＳ７８０において、イメージプロセッサ１００（例えば、補間部１３０）は、決定された補間参照データに基づいて、第１ピクセルデータ４１０の一部を第２色Ｒ、Ｂに対応するように補間することができる。ステップＳ７８０は、図６のステップＳ６３０に対応できる。
【0067】
図８は、本発明の実施例による第１エッジの例を説明するための図である。
【0068】
参照番号８１０は、第１エッジ８０１の例を示す。第１エッジ８０１は、第１エッジ８０１を基準に、第１色Ｇの差は臨界値未満で、第２色Ｒの差は臨界値以上のエッジであり得る。
【0069】
例えば、参照番号８１０において、第１エッジ８０１を基準に左領域の場合、Ｒ値は５０、Ｇ値は１２７、Ｂ値は１９０であり、第１エッジ８０１を基準に右領域の場合、Ｒ値は１８０、Ｇ値は１２９、Ｂ値は１８９であり得る。参照番号８１０によれば、第１エッジ８０１を基準にＲ値の差は１３０で、一定レベル以上の差があるが、Ｇ値の差は２、Ｂ値の差は１で、一定レベル未満の差だけがあり得る。参照番号８１０の場合のように、エッジを基準にＲ色の差は一定レベル以上であり、Ｇ色とＢ色の差はないか、または非常に小さい場合、該当エッジは第１エッジ８０１に該当することができる。
【0070】
参照番号８１０では、エッジを基準にＲ色の差は大きく、Ｇ色とＢ色の差は小さい第１エッジ８０１を説明したが、Ｂ色の差は大きく、Ｒ色とＧ色の差は小さい場合にも第１エッジに該当することができる。すなわち、本開示の第１エッジは、第１エッジを基準にＲの差やＢの差は有意義であるが、残りの２色の差は大きくない場合のエッジを意味することができる。ただし、説明の便宜のために、図８に示された第１エッジ８０１は、第１エッジ８０１を基準にＲ色の差が臨界値以上で、Ｇ色とＢ色の差は臨界値未満の場合を前提に説明する。
【0071】
エッジを基準にＲ、Ｇ、Ｂの差がいずれも一定レベル以上の場合（例えば、第２エッジ）に比べ、第１エッジ８０１は、第１エッジ８０１を基準にＧ色とＢ色の差が非常に小さいので、従来のリモザイク方式では、電子装置が第１エッジ８０１の存在または位置を識別しにくかった。
【0072】
例えば、参照番号８２０の場合には、第１エッジ８０１がＲ色に対応するピクセルデータ領域を通るので、イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、第２ピクセルデータ４２０と第３ピクセルデータ４３０に基づいて第１エッジ８０１の位置を識別することができる。しかしながら、参照番号８３０の場合には、第１エッジ８０１がＲ色に対応するピクセルデータ領域を通らなく、Ｇ色とＢ色に対応するピクセルデータ領域だけを通るので、従来の方式では第１エッジ８０１の位置を識別しにくい場合があった。第１エッジ８０１の正確な位置を識別できないと、Ｇ色のピクセル値に対する補間の正確度が減少する可能性がある。
【0073】
ただし、本開示では、図９および図１０で説明される方法を利用して、参照番号８２０だけでなく、参照番号８３０の状況でも第１エッジ８０１の存在および位置を識別することができ、図１１で説明される方法を利用して第１エッジ８０１周辺の補間性能を向上させることができる。
【0074】
図９は、本発明の実施例によってイメージ領域に第１エッジがあるか判断するために、第１ピクセルデータと周辺ピクセルデータとの類似度を識別する方法を説明するための図である。
【0075】
図９を参照すると、イメージプロセッサ１００がイメージセンサ２００から取得したイメージデータ４００は、第１ピクセルデータ４１０（ＧＴ）および第１ピクセルグループ３１０から第１距離以内に配置され、第１色Ｇに対応するピクセルグループから取得されたピクセルデータＧ１、Ｇ２、Ｇ３、Ｇ４を含むことができる。
【0076】
イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、第１ピクセルデータ４１０（ＧＴ）と第１ピクセルグループ３１０から第１距離以内に配置され、第１色Ｇに対応するピクセルグループから取得されたピクセルデータ Ｇ１、Ｇ２、Ｇ３、Ｇ４との間の類似度を識別することができる。イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、ＧＴと Ｇ１（または、 Ｇ２、Ｇ３、Ｇ４）との間の平均明るさの差またはグラジエント方向の差に基づいて前記類似度を識別することができる。
【0077】
例えば、第１エッジ判断部１２１は、Ｇ１（または、Ｇ２、Ｇ３、Ｇ４）に含まれたピクセル値の明るさの平均値とＧＴに含まれたピクセル値の明るさの平均値との間の差が臨界値未満であるか否かを識別することができる。他の例を挙げると、第１エッジ判断部１２１は、Ｇ１（または、Ｇ２、Ｇ３、Ｇ４）に基づいて計算された４方向のグラジエントのうち最も大きいグラジエント（以下、代表グラジエント）の方向がＧＴに基づいて計算された代表グラジエントの方向と一致するか否かを識別することができる。
【0078】
イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、Ｇ１（または、Ｇ２、Ｇ３、Ｇ４）に含まれたピクセル値の明るさの平均値とＧＴに含まれたピクセル値の明るさの平均値との間の差が臨界値未満であり、Ｇ１（または、Ｇ２、Ｇ３、Ｇ４）に基づいて計算された代表グラジエントの方向がＧＴに基づいて計算された代表グラジエントの方向と一致する場合、Ｇ１（または、Ｇ２、Ｇ３、Ｇ４）がＧＴと類似すると判断できる。
【0079】
イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、Ｇ１、Ｇ２、Ｇ３、およびＧ４が全てＧＴと類似すると判断される場合、図１０に従って、第１エッジ８０１が存在するか否かを判断することができる。
【0080】
イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、Ｇ１、Ｇ２、Ｇ３、またはＧ４のうちの少なくとも１つがＧＴと類似しないと判断される場合、第１ピクセルデータ４１０に対応するイメージ領域に第１エッジ８０１がないと判断することができる。Ｇ１、Ｇ２、Ｇ３、またはＧ４のうちの少なくとも１つがＧＴと類似しないと判断される場合、図７のステップＳ７３０において「いいえ」に該当するので、イメージプロセッサ１００（例えば、第２エッジ判断部１２２）は、ステップＳ７５０に従って、前記イメージ領域に第２エッジがあるか否かを判断することができる。
【0081】
図１０は、本発明の実施例によって第１ピクセルデータと周辺ピクセルデータとが類似する場合、イメージ領域に第１エッジがあるか判断する方法を説明するための図である。
【0082】
イメージプロセッサ１００（例えば、第１エッジ判断部１２１）は、図９で説明されたように、第１ピクセルデータ４１０（ＧＴ）と、第１ピクセルグループ３１０から第１距離以内に配置され、第１色Ｇに対応するピクセルグループから取得されたピクセルデータＧ１、Ｇ２、Ｇ３、Ｇ４とが類似すると判断した場合、図１０で説明される方法によって、第１ピクセルデータ４１０に対応するイメージ領域に第１エッジ８０１、１００１があるか判断することができる。
【0083】
図１０の参照番号１０１０を参照すると、第１エッジ判断部１２１は、第１ピクセルグループ３１０から第２距離以内に配置され、第２色Ｒに対応するピクセルグループから取得されたピクセルデータＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６間の類似度を識別することができる。
【0084】
例えば、第１エッジ判断部１２１は、Ｒ１、Ｒ２、Ｒ３、Ｒ４間の類似度を識別することができる。第１エッジ判断部１２１は、Ｒ１とＲ２との間の明るさの差と、Ｒ３とＲ４との間の明るさの差は臨界値以上であり、Ｒ１とＲ３との間の明るさの差と、Ｒ２とＲ４との間の明るさの差は臨界値未満であると判断される場合、第１ピクセルデータ４１０に対応するイメージ領域に垂直方向の第１エッジ８０１があると判断することができる。
【0085】
第１エッジ判断部１２１は、Ｒ１、Ｒ２、Ｒ３、Ｒ４間の類似度を識別した結果、前記イメージ領域に第１エッジ８０１があると判断されない場合、Ｒ３、Ｒ４、Ｒ５、Ｒ６間の類似度を識別することができる。第１エッジ判断部１２１は、Ｒ３とＲ４との間の明るさの差と、Ｒ５とＲ６との間の明るさの差は臨界値以上であり、Ｒ３とＲ５との間の明るさの差と、Ｒ４とＲ６との間の明るさの差は臨界値未満であると判断される場合、第１ピクセルデータ４１０に対応するイメージ領域に垂直方向の第１エッジ８０１があると判断することができる。
【0086】
図１０の参照番号１０２０を参照すると、第１エッジ判断部１２１は、第１ピクセルグループ３１０から第２距離以内に配置され、第２色Ｂに対応するピクセルグループから取得されたピクセルデータＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６間の類似度を識別することができる。参照番号１０２０の第１エッジ１００１は、第１エッジ８０１とは異なり、Ｂ色の差は臨界値以上で、Ｒ色とＧ色の差は臨界値未満であるエッジであり得る。
【0087】
例えば、第１エッジ判断部１２１は、Ｂ１、Ｂ２、Ｂ３、Ｂ４間の類似度を識別することができる。第１エッジ判断部１２１は、Ｂ１とＢ２との間の明るさの差と、Ｂ３とＢ４との間の明るさの差は臨界値以上であり、Ｂ１とＢ３との間の明るさの差と、Ｂ２とＢ４との間の明るさの差は臨界値未満であると判断される場合、第１ピクセルデータ４１０に対応するイメージ領域に水平方向の第１エッジ１００１があると判断することができる。
【0088】
第１エッジ判断部１２１は、Ｂ１、Ｂ２、Ｂ３、Ｂ４間の類似度を識別した結果、前記イメージ領域に第１エッジ１００１があると判断されない場合、Ｂ３、Ｂ４、Ｂ５、Ｂ６間の類似度を識別することができる。第１エッジ判断部１２１は、Ｂ３とＢ４との間の明るさの差と、Ｂ５とＢ６との間の明るさの差は臨界値以上であり、Ｂ３とＢ５との間の明るさの差と、Ｂ４とＢ６との間の明るさの差は臨界値未満であると判断される場合、第１ピクセルデータ４１０に対応するイメージ領域に水平方向の第１エッジ１００１があると判断することができる。
【0089】
第１エッジ判断部１２１は、第１ピクセルデータ４１０に対応するイメージ領域に第１エッジ８０１、１００１があるか否かを判断するために、Ｒ１～Ｒ４、Ｒ３～Ｒ６、Ｂ１～Ｂ４、Ｂ３～Ｂ６間の類似度をそれぞれ判断することができる。第１エッジ判断部１２１は、前記類似度に基づいて、前記イメージ領域に垂直方向の第１エッジ８０１または水平方向の第１エッジ１００１があると判断できる。イメージプロセッサ１００は、第１エッジ判断部１２１を介して前記イメージ領域に第１エッジ８０１、１００１があると判断したことに応答して、図１１で説明される第１方式によってリモザイクを実行することができる。第１エッジ判断部１２１が前記類似度に基づいて前記イメージ領域に第１エッジ８０１、１００１がないと判断する場合には、図７のステップＳ７３０において「いいえ」に該当するので、イメージプロセッサ１００（例えば、第２エッジ判断部１２２）は、ステップＳ７５０に従って、前記イメージ領域に第２エッジがあるか否かを判断することができる。
【0090】
図１１は、本発明の実施例によってイメージ領域に第１エッジがある場合、補間参照データを決定する方法を説明するための図である。
【0091】
図１１では、第１エッジ判断部１２１が第１ピクセルデータ４１０に対応するイメージ領域に第１エッジ８０１、１００１があると判断した場合、第１補間参照決定部１２３が第１方式に従って第２ピクセルデータ４２０または第３ピクセルデータ４３０のうちのいずれか１つを補間参照データとして決定する方法を説明する。このとき、説明の便宜のため、Ｒ色の差が臨界値以上で、Ｇ色とＢ色の差は臨界値未満の第１エッジ８０１を基準に補間参照データの決定方法を説明するが、第１エッジ１００１に対しても該当方法を適用できる。
【0092】
第１補間参照決定部１２３は、第１ピクセルグループ３１０から前記第１距離以内に配置され、第１色Ｇに対応するピクセルグループから取得されたピクセルデータＧ１、Ｇ２、Ｇ３、Ｇ４の中で、第１ピクセルデータ４１０のうち一部のピクセル値１１０１と最も類似するピクセルグループを識別することができる。第１補間参照決定部１２３は、前記識別された最も類似するピクセルグループが第２ピクセルグループ３２０と隣接する場合、第２ピクセルデータ４２０（Ｒ３）を補間参照データとして決定し、前記識別された最も類似するピクセルグループが第３ピクセルグループ３３０と隣接する場合、第３ピクセルデータ４３０（Ｒ４）を補間参照データとして決定することができる。
【0093】
例えば、第１エッジ判断部１２１が、Ｒ１、Ｒ２、Ｒ３、Ｒ４間の類似度に基づいてイメージ領域に第１エッジ８０１があると判断した場合、第１補間参照決定部１２３は、Ｇ１の平均明るさとＧ２の平均明るさのうちピクセル値１１０１とより類似するものを選択することができる。第１補間参照決定部１２３がピクセル値１１０１とＧ１の平均値がより類似すると判断した場合、第２ピクセルデータ４２０（Ｒ３）を補間参照データとして決定することができる。第１補間参照決定部１２３がピクセル値１１０１とＧ２の平均値がより類似すると判断した場合には、第３ピクセルデータ４３０（Ｒ４）を補間参照データとして決定することができる。
【0094】
他の例を挙げると、第１エッジ判断部１２１が、Ｒ３、Ｒ４、Ｒ５、Ｒ６間の類似度に基づいてイメージ領域に第１エッジ８０１があると判断した場合、第１補間参照決定部１２３は、Ｇ３の平均明るさとＧ４の平均明るさのうちピクセル値１１０１とより類似するものを選択することができる。第１補間参照決定部１２３がピクセル値１１０１とＧ３の平均値がより類似すると判断した場合、第２ピクセルデータ４２０（Ｒ３）を補間参照データとして決定することができる。第１補間参照決定部１２３がピクセル値１１０１とＧ４の平均値がより類似すると判断した場合には、第３ピクセルデータ４３０（Ｒ４）を補間参照データとして決定することができる。
【0095】
図１２は、本発明の実施例によってイメージ領域に第２エッジがあるか判断する方法を説明するための図である。図１３は、本発明の実施例によってイメージ領域に第２エッジがあるか判断するための方法を説明するための図である。
【0096】
イメージプロセッサ１００（例えば、第２エッジ判断部１２２）は、第１ピクセルデータ４１０に対応するイメージ領域に第１エッジ８０１、１００１がないと判断したことに応答して、前記イメージ領域に第２エッジがあるか否かを判断することができる。図１２および図１３では、第２エッジ判断部１２２がイメージデータ４００に基づいて前記イメージ領域に第２エッジがあるか判断する方法を説明する。
【0097】
第２エッジ判断部１２２は、第１ピクセルデータＧＴ、第１ピクセルグループ３１０から第１距離以内に配置され、第１色Ｇに対応するピクセルグループから取得されたピクセルデータＧ１、Ｇ２、Ｇ３、Ｇ４、第１推定されたピクセルデータｐＧL、または第２推定されたピクセルデータｐＧＲのうちの少なくとも一部に含まれた、指定された方向に対するグラジエント（ｇｒａｄｉｅｎｔ）に基づいて、前記イメージ領域に前記第２エッジがあるか否かを判断することができる。
【0098】
図５で説明されたように、イメージプロセッサ１００は、各ピクセルグループごとに方向別グラジエント（ｇｒａｄｉｅｎｔ）を計算することができる。例えば、イメージプロセッサ１００は、各ピクセルグループから取得されたピクセルデータ（例えば、ＧＴ、Ｇ１、Ｇ２、Ｇ３、Ｇ４）または各ピクセルグループに対応するように推定されたピクセルデータ（例えば、ｐＧＲ、ｐＧL、ｐＧU、ｐＧD）に基づいて、水平方向（ｈｏｒｉｚｏｎｔａｌ）、垂直方向（ｖｅｒｔｉｃａｌ）、右上向き対角線方向（ｄｉａｇｏｎａｌ）、および左上向き対角線方向のグラジエントを取得することができる。
【0099】
第２エッジ判断部１２２は、各ピクセルグループに対応するピクセルデータに基づいて、ＧＴに対応するイメージ領域に第２エッジが存在するか否かおよび第２エッジが存在する場合に、第２エッジの方向と位置を識別することができる。
【0100】
例えば、参照番号１２１０を参照すると、イメージプロセッサ１００は、ＧＴ、ｐＧU、およびｐＧＤに基づいてそれぞれのピクセルデータに含まれた水平方向のグラジエントを計算することができる。図１３を併せて参照すると、イメージプロセッサ１００は、ｐＧＵの水平方向グラジエントＧｈｏｒ＿１、ＧＴの水平方向グラジエントＧｈｏｒ＿２、およびｐＧＤの水平方向グラジエントＧｈｏｒ＿３を取得することができる。イメージプロセッサ１００は、Ｇｈｏｒ＿１、Ｇｈｏｒ＿２、およびＧｈｏｒ＿３の平均値であるＧｈｏｒを取得することができる。
【0101】
参照番号１２２０を参照すると、イメージプロセッサ１００は、ＧＴ、ｐＧＬ、およびｐＧＲに基づいてそれぞれのピクセルデータに含まれた垂直方向のグラジエントを計算することができる。イメージプロセッサ１００は、Ｇｈｏｒの場合と同様に、ＧＴ、ｐＧＬ、およびｐＧＲでそれぞれ計算されたＧｖｅｒ＿１、Ｇｖｅｒ＿２、およびＧｖｅｒ＿３を取得することができ、Ｇｖｅｒ＿１、Ｇｖｅｒ＿２、およびＧｖｅｒ＿３の平均値であるＧｖｅｒを取得することができる。
【0102】
参照番号１２３０を参照すると、イメージプロセッサ１００は、ＧＴ、Ｇ１、およびＧ４に基づいてそれぞれのピクセルデータに含まれた右上向き対角線方向のグラジエントを計算することができる。イメージプロセッサ１００は、Ｇｈｏｒの場合と同様に、ＧＴ、Ｇ１、およびＧ４でそれぞれ計算されたＧｄｉａ１＿１、Ｇｄｉａ１＿２、およびＧｄｉａ１＿３を取得することができ、Ｇｄｉａ１＿１、Ｇｄｉａ１＿２、およびＧｄｉａ１＿３の平均値であるＧｄｉａ１を取得することができる。
【0103】
参照番号１２４０を参照すると、イメージプロセッサ１００は、ＧＴ、Ｇ２、およびＧ３に基づいてそれぞれのピクセルデータに含まれた左上向き対角線方向のグラジエントを計算することができる。イメージプロセッサ１００は、Ｇｈｏｒの場合と同様に、ＧＴ、Ｇ２、およびＧ３でそれぞれ計算されたＧｄｉａ２＿１、Ｇｄｉａ２＿２、およびＧｄｉａ２＿３を取得することができ、Ｇｄｉａ２＿１、Ｇｄｉａ２＿２、および Ｇｄｉａ２＿３の平均値であるＧｄｉａ２を取得することができる。
【0104】
第２エッジ判断部１２２は、Ｇｈｏｒ、Ｇｖｅｒ、Ｇｄｉａ１、およびＧｄｉａ２に基づいて、第１ピクセルデータＧＴに対応するイメージ領域に第２エッジがあるか判断できる。例えば、Ｇｈｏｒ、Ｇｖｅｒ、Ｇｄｉａ１、およびＧｄｉａ２のうちで最大グラジエントをＧｍａｘ、最小グラジエントをＧｍｉｎとすると、「（Ｇｍａｘ－Ｇｍｉｎ）／ＧＭｉｎ≧臨界値」という数式を満たす場合、第２エッジ判断部１２２は、前記イメージ領域に第２エッジがあると判断できる。
【0105】
第２エッジ判断部１２２は、「（Ｇｍａｘ－Ｇｍｉｎ）／Ｇｍｉｎ≧臨界値」という数式が満たされ、前記イメージ領域に第２エッジがあると判断した場合、Ｇｍａｘの垂直方向が第２エッジの方向であると判断できる。例えば、図１２の参照番号１２１０のようにＧｈｏｒがＧｍａｘである場合、第２エッジ判断部１２２は、前記イメージ領域に垂直方向の第２エッジがあると判断できる。他の例を挙げると、図１２の参照番号１２２０のようにＧｖｅｒがＧｍａｘである場合、第２エッジ判断部１２２は、前記イメージ領域に水平方向の第２エッジがあると判断できる。別の例を挙げると、図１２の参照番号１２３０のようにＧｄｉａ１がＧｍａｘである場合、第２エッジ判断部１２２は、前記イメージ領域に左上向き対角線方向の第２エッジがあると判断できる。さらに他の例を挙げると、図１２の参照番号１２４０のようにＧｄｉａ２がＧｍａｘである場合、第２エッジ判断部１２２は、前記イメージ領域に右上向き対角線方向の第２エッジがあると判断できる。
【0106】
イメージプロセッサ１００（例えば、第２補間参照決定部１２４）は、第１ピクセルデータＧＴに対応するイメージ領域に第２エッジがあると判断したことに応答して、第２エッジに対応する第２方式を利用して補間参照データを決定することができる。第２補間参照決定部１２４が第２方式を利用して補間参照データを決定する方法については、図１４で説明される。
【0107】
第２エッジ判断部１２２が第１ピクセルデータＧＴに対応するイメージ領域に第２エッジがないと判断した場合、前記イメージ領域は境界線が含まれた領域ではないので、イメージプロセッサ１００（例えば、第３補間参照決定部１２５）は、図７のステップＳ７７０のように、第２ピクセルデータ４２０および第３ピクセルデータ４３０を共に補間参照データとして決定することができる。
【0108】
図１４は、本発明の実施例によってイメージ領域に第２エッジがある場合、補間参照データを決定する方法を説明するための図である。
【0109】
図１４では、第２エッジ判断部１２２が第１ピクセルデータＧＴに対応するイメージ領域に第２エッジがあると判断したことに応答して、第２補間参照決定部１２４が第２方式を利用して補間参照データを決定する方法を説明する。図１４では、参照番号１４１０に示された位置に第２エッジ１４０１がある場合、イメージプロセッサ１００が第２エッジ１４０１の位置を識別し、それに応じて補間参照データを決定する方法を説明する。
【0110】
参照番号１４２０を参照すると、第２補間参照決定部１２４は、第１ピクセルデータＧＴ、第１ピクセルグループ３１０から第１距離以内に配置され、第１色Ｇに対応するピクセルグループから取得されたピクセルデータＧ１、Ｇ２、Ｇ３、Ｇ４、および推定されたピクセルデータｐＧＲ、ｐＧＬ、ｐＧＵ、ｐＧＤのうちの少なくとも一部に基づいて、前記イメージ領域上で第２エッジ１４０１の位置を識別することができる。例えば、第２補間参照決定部１２４は、第１ピクセルデータＧＴを中心とする８ｘ８個のピクセル値に基づいて第２エッジ１４０１の位置を識別することができる。
【0111】
第２補間参照決定部１２４は、ＧＴ、Ｇ１、Ｇ２、Ｇ３、Ｇ４、ｐＧＲ、ｐＧＬ、ｐＧＵ、ｐＧＤのうちの少なくとも一部のピクセル値に基づいて映像二進化（ｂｉｎａｒｉｚａｔｉｏｎ）を実行することができる。例えば、第２補間参照決定部１２４は、ｏｔｓｕアルゴリズムに従う映像二進化を実行することができる。
【0112】
参照番号１４３０を参照すると、第２補間参照決定部１２４は、映像二進化に従って二進化境界線を取得することができ、前記二進化境界線が第２エッジ１４０１であると判断できる。第２補間参照決定部１２４は、映像二進化に従って前記８ｘ８個のＧ値（またはｐＧ値）を二領域に区分することができる。区分された二領域は、それぞれアルファ領域とベータ領域と呼ぶことができる。
【0113】
参照番号１４４０を参照すると、第２補間参照決定部１２４は、第１ピクセルデータＧＴのうち補間対象のピクセル値がアルファ領域に属するか、ベータ領域に属するかによって、第２ピクセルデータＲＬまたは第３ピクセルデータＲＲを補間参照データとして決定することができる。例えば、第２補間参照決定部１２４は、補間対象のピクセル値１４４１と１４４２はアルファ領域に含まれるので、ピクセル値１４４１と１４４２の補間参照データが第２ピクセルデータＲＬであると決定できる。また、第２補間参照決定部１２４は、補間対象のピクセル値１４４３と１４４４はベータ領域に含まれるので、ピクセル値１４４３と１４４４の補間参照データが第３ピクセルデータＲＲであると決定できる。参照番号１４５０は、前記決定された補間参照データに基づいて補間対象のピクセル値１４４１、１４４２、１４４３、１４４４がそれぞれＲ色に対応するように補間された様子であることができる。
【0114】
ただし、図８～図１４で説明された内容は、第１エッジと第２エッジを検出する方法の一例に該当するか、エッジの特性によって補間参照データを決定する第１方式および第２方式の一例に該当し、その他にも第１エッジと第２エッジを区分して互いに異なる方式によってリモザイクを実行する様々なイメージ処理方法が利用されることができる。
【符号の説明】
【0115】
１００ イメージプロセッサ
１１０ 取得部
１２０ 決定部
１３０ 補間部
１１０ 取得部
１２０ 決定部
１３０ 補間部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】