特許 5666407 デジタルカラー画像内の欠陥ピクセルの補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5666407

(24)【登録日】2014年12月19日

(45)【発行日】2015年2月12日

(54)【発明の名称】デジタルカラー画像内の欠陥ピクセルの補正

(51)【国際特許分類】

   H04N 5/367 20110101AFI20150122BHJP

   H04N 9/04 20060101ALI20150122BHJP

【ＦＩ】

   H04N5/335 670

   H04N9/04 A

【請求項の数】9

【外国語出願】

【全頁数】17

(21)【出願番号】特願2011-202972(P2011-202972)

(22)【出願日】2011年9月16日

(65)【公開番号】特開2012-65324(P2012-65324A)

(43)【公開日】2012年3月29日

【審査請求日】2012年7月2日

(31)【優先権主張番号】61/384,110

(32)【優先日】2010年9月17日

(33)【優先権主張国】US

(31)【優先権主張番号】61/384,693

(32)【優先日】2010年9月20日

(33)【優先権主張国】US

(31)【優先権主張番号】12/961,284

(32)【優先日】2010年12月6日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】501302980

【氏名又は名称】フォベオン・インコーポレーテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100089037

【弁理士】

【氏名又は名称】渡邊 隆

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】ラスティスラフ・ルカック

【審査官】 松永 隆志

(56)【参考文献】

【文献】 特開平０９−２８４７８３（ＪＰ，Ａ）

【文献】 特開２０００−３０８０８２（ＪＰ，Ａ）

【文献】 特開平０６−１５３０８７（ＪＰ，Ａ）

【文献】 特開２００４−２２８９３１（ＪＰ，Ａ）

【文献】 特開２００７−０６８１２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３６７

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには少なくとも2つのカラーチャネルにおけるデータが含まれ、前記方法は、
それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたピクセルのそれぞれについて、
前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
前記選択されたカラーチャネルと前記第1基準カラーチャネルの双方で非欠陥データを有する前記グループ内のm個の隣接ピクセルのそれぞれの、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の総和を計算し、
mで除算した前記差の総和を前記第1基準カラーチャネルの前記非欠陥データに加算して代替データを求め、
前記代替データを前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
を含むことを特徴とする方法。

【請求項2】

前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項1に記載の方法。

【請求項3】

デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには少なくとも2つのカラーチャネルにおけるデータが含まれ、前記方法は、
それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたピクセルのそれぞれについて、
前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
前記選択されたカラーチャネルと前記第1基準カラーチャネルの双方で非欠陥データを有する前記グループ内のm個の隣接ピクセルのそれぞれの、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の加重和を計算し、
重みの総和で除算した前記差の加重和を前記第1基準カラーチャネルの前記非欠陥データに加算して代替データを求め、
前記代替データを前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
を含むことを特徴とする方法。

【請求項4】

前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項3に記載の方法。

【請求項5】

デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには3つのカラーチャネルにおけるデータが含まれ、前記方法は、
それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたピクセルのそれぞれについて、
前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
前記選択されたカラーチャネルと前記第1基準カラーチャネルの双方で非欠陥データを有する前記グループ内のm個の隣接ピクセルのそれぞれの、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の第1総和を計算し、
mで除算した前記差の第1総和を前記第1基準カラーチャネルの前記非欠陥データに加算して第1結果を求め、
前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第2基準カラーチャネルが存在しているかどうかを判定し、
非欠陥データを有することによって特徴付けられる前記第2基準カラーチャネルが存在する場合に、前記選択されたカラーチャネルと前記第2基準カラーチャネルの双方で非欠陥データを有する前記グループ内のn個の隣接ピクセルのそれぞれの、前記選択されたカラーチャネルにおける前記非欠陥データと前記第2基準カラーチャネルにおける前記非欠陥データとの間の差の第2総和を計算し、
nで除算した前記差の第2総和を前記第2基準カラーチャネルの前記非欠陥データに加算して第2結果を求め、
前記第1結果と前記第2結果との総和を計算し、前記第1結果と前記第2結果との前記総和を2で除算して代替データを求め、
前記代替データを前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
を含むことを特徴とする方法。

【請求項6】

前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項5に記載の方法。

【請求項7】

デジタルカラー画像内の欠陥ピクセルを置き換えるための方法であって、それぞれのピクセルには3つのカラーチャネルにおけるデータが含まれ、前記方法は、
それぞれのピクセルが選択されたカラーチャネルにおいて欠陥データを有しているかどうかを判別し、もしそうならば、そのピクセルを選択する段階と、
前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第1基準カラーチャネルが存在しているかどうかを判定する段階と、
非欠陥データを有することによって特徴付けられる前記第1基準カラーチャネルを有する選択されたピクセルのそれぞれについて、
前記選択されたピクセルの周囲の隣接ピクセルのグループを定義し、
前記選択されたカラーチャネルと前記第1基準カラーチャネルの双方で非欠陥データを有する前記グループ内のm個の隣接ピクセルのそれぞれの、前記選択されたカラーチャネルにおける前記非欠陥データと前記第1基準カラーチャネルにおける前記非欠陥データとの間の差の第1加重和を計算し、
重みの総和で除算した前記差の第1加重和を前記第1基準カラーチャネルからの前記非欠陥データに加算して第1結果を求め、
前記選択されたピクセルについて、非欠陥データを有することによって特徴付けられる第2基準カラーチャネルが存在しているかどうかを判定し、
非欠陥データを有することによって特徴付けられる前記第2基準カラーチャネルが存在する場合に、前記選択されたカラーチャネルと前記第2基準カラーチャネルの双方で非欠陥データを有する前記グループ内のn個の隣接ピクセルのそれぞれの、前記選択されたカラーチャネルにおける前記非欠陥データと前記第2基準カラーチャネルにおける前記非欠陥データとの間の差の第2加重和を計算し、
重みの総和で除算した前記差の第2加重和を前記第2基準カラーチャネルの前記非欠陥データに加算して第2結果を求め、
第1重みを乗算した前記第1結果と第2重みを乗算した前記第2結果との総和を計算し、前記第1重みを乗算した前記第1結果と前記第2重みを乗算した前記第2結果との総和を前記第1重みと前記第2重みとの総和で除算して、代替データを求め、
前記代替データを前記欠陥データの代わりに使用することによって前記欠陥データを補正する段階と、
を含むことを特徴とする方法。

【請求項8】

前記選択されたピクセルの周囲の隣接ピクセルのグループを定義する段階は、9つの隣接ピクセルのグループを定義する段階を含むことを特徴とする請求項7に記載の方法。

【請求項9】

前記第1加重和を計算するために使用される前記第1重みは、前記第2加重和を計算するために使用される前記第2重みと異なることを特徴とする請求項7に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像内の欠陥ピクセルの補正に関するものである。より具体的には、本発明は、デジタルカラー画像内の高速ピクセル補正を実行するための方法に関するものである。

【0002】

関連出願の相互参照
本出願は、参照により本明細書に組み込まれている、2010年9月17日に出願した米国仮特許出願第61/384,110号の利益および2010年9月20日に出願した米国仮特許出願第61/384,693号の利益を主張するものである。

【背景技術】

【0003】

デジタル画像内の欠陥ピクセルを置き換えるための、従来技術による多数の方法が知られている。例えば、Foveon, Inc.社が製造するF13センサーまたはそれに先行するセンサーを使用するカメラでは、センサーの較正時に生成される欠陥ピクセルマップまたはリストを使用して補正される。このステップでは、欠陥ピクセルは、欠陥のない隣接ピクセルの平均値で置き換えられる。

【0004】

この従来技術の方法によれば、欠陥ピクセルは、識別されており、欠陥ピクセルマップまたはリスト内に入力される。それぞれ識別されたピクセルの3色チャネルすべてが、指定された一組の隣接要素の平均で置き換えられる。このアルゴリズムの一例は、図1を見るとわかる。この図には、単一カラーチャネル(例えば、赤色)の3×3ピクセル近傍(pixel neighborhood)が示されており、この近傍内の9個のピクセルにR1からR9までのラベルが付けられている。この例の目的のために、ピクセルR1およびR5は欠陥ピクセルであると仮定され、これらのピクセルの右下隅に「X」の記号で示されている。それぞれのピクセルの補正については、ピクセルの3×3近傍が選択され、そこでは、中心ピクセルが注目するピクセルである。図1の例では、ピクセルR5に注目している。

【0005】

ピクセルR5が中心であるピクセル近傍において、ピクセルR2、R3、R4、R6、R7、R8、およびR9は正常ピクセルであり、例示的な従来技術の補正アルゴリズムで使用することができる。ピクセルR1は、欠陥ピクセルであり、欠陥ピクセルR5の値を推定するためには使用されない。この従来技術のアルゴリズムでは、正常な隣接ピクセルの平均値を計算し、欠陥ピクセルR5の値の代わりに使用する。したがって、図1に示されている例では、ピクセルR5に対する代替値は、
R5 = (R2 + R3 + R4 + R6 + R7 + R8 + R9) / 7 (1)
として計算することができる。

【0006】

より一般的には、画像データおよび欠陥ピクセルリストが、アルゴリズムへの入力として使用される。このリスト上のそれぞれの欠陥ピクセルは、そのマルチビットアドレスによって識別され、その後に8ビットマスク(0または1)が続きうる。このマスクは、8個の周囲ピクセルのそれぞれを正常ピクセル(1)または欠陥ピクセル(0)として識別するものである。正常ピクセルのみが、差替値を決定するために使用される。この演算は、

【0007】

【数1】

【0008】

のように数式で書くことができる。ここで、式中、kはカラーチャネルを示し、赤色に対してはk=1、緑色に対してはk=2、青色に対してはk=3である。三つ組y_(r,s) = [y_(r,s)1, y_(r,s)2, y_(r,s)3]^Tは、補正されたカラーピクセルを表すが、(i, j)∈ζに対してx_(i,j) = [x_(i,j)1, x_(i,j)2, x_(i,j)3]^Tは、欠陥ピクセルを持つ入力カラー画像からのピクセルを表す。これらのピクセルのそれぞれの成分は、k番目のカラーチャネルにおける強度値を表す。項ζ={(i, j); r-1 ≦ i ≦ r + 1, s-1 ≦ j ≦ s + 1}は、補正すべきピクセルの位置(r, s)を中心とする3×3ピクセル近傍を表す。補正プロセスの必要条件は、欠陥ピクセルフラグb_{(r, s)}=0で示される。位置(r, s)が、欠陥ピクセルフラグb_{(r, s)}=1に関連付けられている場合、考察対象のピクセルは無変更のままである。

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来技術のアルゴリズムは、ピクセル値に対し直接作用し、それぞれのカラーチャネルを別々に処理し、その際に、天然色画像は通常、有意なスペクトル相関を呈示するという事実を無視する。残念なことに、そのような成分毎の処理を行うと、その結果、データ推定プロセスに色情報が不足しているためさまざまな色ずれ、または目に見えるエッジアーチファクトが生じることが多い。このような欠点を回避するために、異なる解決策が必要である。

【課題を解決するための手段】

【0010】

本発明による欠陥ピクセル補正アルゴリズムでは、同じピクセル位置における欠陥のある1つまたは2つの他の色成分を補正するために考察対象の位置に少なくとも1つの非欠陥色成分がある必要がある。

【0011】

本発明の一態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと少なくとも1つの他のカラーチャネルにおける正常なピクセルとの色差の加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。

【0012】

本発明の他の態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと他のカラーチャネルの両方における正常なピクセルとの色差の加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。

【0013】

本発明の他の態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと少なくとも1つの他のカラーチャネルにおける正常なピクセルとの色彩比の加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。

【図面の簡単な説明】

【0014】

【図1】単一のカラーチャネル(例えば、赤色)のピクセルデータを示し、欠陥ピクセルを含む、デジタル画像内の3×3ピクセル近傍を例示し、欠陥ピクセル補正のための従来技術の一方法を示す図である。

【図2】3色(例えば、赤色、緑色、および青色)のピクセルデータを示し、それぞれのカラーチャネルにおける欠陥ピクセルを含む、デジタル画像内の3×3ピクセル近傍を例示し、本発明による欠陥ピクセル補正のための方法を示す図である。

【図3】本発明による欠陥ピクセル補正のための1つの例示的な方法を示す流れ図である。

【図4】本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。

【図5】本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。

【図6】本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。

【図7】本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。

【図8】本発明による欠陥ピクセル補正のための他の例示的な方法を示す流れ図である。

【発明を実施するための形態】

【0015】

当業者であれば、本発明の以下の説明が、例示的なものにすぎず、いっさい制限するものではないことを理解するであろう。そのような当業者であれば、本発明の他の実施形態も容易に、自然と思いつけるであろう。

【0016】

次に、図2を参照すると、赤色、緑色、および青色のピクセルデータを示し、それぞれのカラーチャネルにおける欠陥ピクセルを含む、デジタル画像内の3×3ピクセル近傍を示す図を利用して、本発明による欠陥ピクセル補正のための方法を例示すことができる。

【0017】

図2では、赤色チャネルピクセルR1およびR5は、欠陥ピクセルであると仮定され、緑色チャネルピクセルG3は欠陥ピクセルであると仮定され、青色チャネルピクセルB3およびB8は、欠陥ピクセルであると仮定され、これらのピクセルの右下隅に「X」の記号で示されている。本発明の第1の態様によれば、ピクセルR5に対する代替値は、赤色および緑色のチャネルにおける利用可能なピクセルを使用して
R5 = G5 + ((R2 - G2) + (R4 - G4) + (R6 - G6) + (R7- G7) + (R8- G8) + (R9 - G9))/6 (3)
と計算されうる。
あるいは、ピクセルR5に対する代替値は、赤色および青色のチャネルにおける利用可能なピクセルを使用して
R5 = B5 + ((R2 - B2) + (R4 - B4) + (R6-B6) + (R7- B7) + (R9 - B9))/5 (4)
と計算されうる。

【0018】

色補正に緑色および青色のチャネルを使用する上記2つの例を調べた結果から、緑色チャネルを使用した場合には、赤色と緑色の両方のチャネルが近傍の位置2、4、6、7、8、および9に正常なピクセルを有しているため、利用可能な項が6個あることがわかる。青色チャネルを使用する場合、赤色と青色の両方のチャネルが近傍の位置2、4、6、7、および9に正常なピクセルを有しているため利用可能な項は5個しかない。

【0019】

3つすべてのカラーチャネルにおける可能なすべての情報を組み合わせることで、R5に対する代替値を
R5 = [(G5 + Σ(Ri - Gi)/6) + (B5 + Σ(Rj - Bj)/5]/2、ただしi=2、4、6、7、8、9、およびj=2、4、6、7、9 (5)
と計算することができるが、ただし、式中、Σは総和演算子を表す。

【0020】

このアルゴリズムの少し複雑度の下がるバージョンでは、緑色と青色の両方のチャネルからの正常なピクセルデータは、
R5 = [(G5 + Σ(Ri - Gi)/S) + (B5 + Σ(Ri - Bi)/5)]/2、ただしi=2、4、6、7、9 (6)
のようにピクセルR5に対する代替値を計算する際に使用することができる。

【0021】

その最も単純な形式では、本発明の色相関駆動型の欠陥ピクセル補正演算を、一般的に数式

【0022】

【数2】

【0023】

として書くことができる。ここで、式中、kは補正すべきカラーチャネルを表し(例えば、赤色に対してはk=1)、cは非欠陥基準チャネルを表す(例えば、この例では緑色に対してk=2)。項b_(i,j)は、センサー較正時にb_(i,j) = min(b_(i,j)k, b_(i,j)c)またはb_(i,j)=min(b_(i,j)1,b_(i,j)2,b_(i,j)3)としてセットされた欠陥ピクセルフラグを表す。データ平均演算は、色成分に対して直接実行されるのではなく、色差に対して実行される。色差信号は、その性質上ローパスであるため、色差を平均すると、通常は、ピクセル強度に対し実行される同等の演算に比べて発生する処理誤差が小さくなり、このことはエッジと細部のある画像領域では特に言えることである。k番目のカラーチャネルの高周波数成分は、基準カラーチャネルからの非欠陥成分x_(r,s)cを平均色差値に加えることによって復元される。

【0024】

2つの非欠陥色成分が利用可能である場合、補正された色成分の最終値が、cの2つの差の値(例えば、青色チャネルを補正するために使用される正常な赤色および緑色のチャネルに対しては、c=1およびc=2、つまり、k=3)に式(7)を使用して得られる2つのy_(r,s)k値の組み合わせとして得られることに留意されたい。

【0025】

本発明による欠陥ピクセル補正フレームワークでは、画像の空間的特性、スペクトル特性、および構造的特性を同時に組み合わせることができる。式(2)および(7)と同様に、近傍ζの内側のサンプルを操作することによって空間的特性が考察されるが、式(7)と同様に、色差信号を利用することによってスペクトル特性が考察される。構造的特性は、画像内のエッジおよび細部の存在を反映し、これらの特性は、
R5 = [(G5 + Σwi(Ri - Gi)/Σwi) + (B5 + Σwi(Ri - Bi)/Σwi)]/2、ただしi =2、4、6、7、9 (8)
のように、エッジに敏感な重みを使用する計算で取り扱うことができる。
一般に、式(8)のアルゴリズムは、

【0026】

【数3】

【0027】

のように一般的数式で表すことができる。

【0028】

直截的な方法により、重みw_(i,j)は、1つまたは2つの非欠陥カラーチャネルに適用される共通エッジ検出アルゴリズムを使用して推定することができる。例えば、可能な一実装では、エッジに敏感な重みは、それらの重みに関連付けられているピクセルが3×3ピクセル近傍の内側の他のピクセルと違いすぎる場合にかなり小さいものとなる。提示されているフレームワーク内で構成される解決手段は、再帰モードで使用することがきる、つまり、実際のピクセルは、非欠陥ピクセルとζの内側に配置されているすでに補正されているピクセルの両方を使用して補正されうることに留意されたい。

【0029】

式(9)における解決手段の直截的代替的方法は、それぞれ、加算と減算を乗算と除算で置き換えることである。このような代替的方法は、一般的に、

【0030】

【数4】

【0031】

で表すことができる。

【0032】

より具体的には、式(4)で示される例が与えられた場合、欠陥ピクセルの代替値は、
R5=B5 x ((R2 /B2) + (R4/B4) + (R6/B6) + (R7/B7) + (R9 /B9))/5 (11)
のように色彩比を使用して求めることができる。
この概念を上述の色差の式に適用するのは容易である。しかし、色彩比に基づく解決手段は、色差に基づく他の解決手段に比べて実装が難しいことに留意されたい。

【0033】

図3から8は、本発明による欠陥ピクセルデータを置き換えるための例示的なプロセスを例示す流れ図である。当業者であれば、以下の例は、例示的なものにすぎず、本発明により欠陥ピクセルデータを置き換える可能なすべての方法を表していないことを理解するであろう。

【0034】

図3を参照すると、本発明による欠陥ピクセル補正のための上述の例示的な方法が流れ図で示されている。最初に、参照番号10で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号12で、選択されたカラーチャネルにおける選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。

【0035】

参照番号14で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。当業者であれば、画像のエッジのところに配置されているピクセルについては、一方の側(上、下、左、または右のいずれか)に隣接する、または画像の隅では補正に使用することができる選択されたピクセルの2つの側(上-左、上-右、下-左、または下-右)にすら隣接する利用可能なピクセルはないことも理解するであろう。このような場合、本発明の方法は、既存の隣接ピクセルからの利用可能なデータを使用して実装することができるか、またはエッジピクセルを無視することができる。

【0036】

参照番号16では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号18に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号20に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。

【0037】

参照番号16において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号22に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの間の差の総和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号24において、mで除算した差の総和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、データ代替値を得る。

【0038】

次に、参照番号20で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号26で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号28で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号10に戻り、そこで、調べるため別のピクセルを選択する。

【0039】

次に図4を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。最初に、参照番号30で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号32で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。

【0040】

参照番号34で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。

【0041】

参照番号36では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号38に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号40に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。

【0042】

参照番号36において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号42に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの間の差の加重和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号44において、重みの総和で除算した差の加重和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、データ代替値を得る。

【0043】

当業者があれば理解するように、本発明においてさまざまな重み係数を使用することができる。非限定的な例として、重み係数w_iを、
w_i = 1 / (|P5-Pi| + K) (12)
として計算することができる。
別の非限定的な例として、重み係数w_iを、
w_i = exp[ -|P5 - Pi|² / K] (13)
として計算することができる。
これらの例では、Kは所定の定数または倍率を表す。例えば、項P5およびPiは、基準カラーチャネルにおける利用可能なデータを表すものとしてよい。

【0044】

次に、参照番号40で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号46で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号48で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号30に戻り、そこで、調べるため別のピクセルを選択する。

【0045】

次に図5を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。図5の例では、2つの基準カラーチャネルからのデータは、そのデータが利用可能であれば使用される。

【0046】

最初に、参照番号50で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号52で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。

【0047】

参照番号54で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。

【0048】

参照番号56では、正常なピクセルデータを含むピクセルに対する第1の基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号58に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号60に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。

【0049】

参照番号56において、正常なデータを有する選択されたピクセル内に第1の基準カラーチャネルがあると判定された場合、プロセスは参照番号62に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第1の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第1の基準カラーチャネルにおけるデータとの間の差の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号64において、mで除算した差の総和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、第1の結果を得る。

【0050】

次に、参照番号66で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあるかどうかが判定される。選択されたピクセルに対する正常なデータを含む正常な第2の基準カラーチャネルがないと判定された場合、プロセスは、参照番号68に進み、そこで、参照番号64からの第1の結果を、欠陥ピクセルに対する代替データとして使用する。プロセスは参照番号60に進み、そこで、その代替データを使用して、欠陥ピクセルデータを置き換える。

【0051】

参照番号66で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあると判定された場合、プロセスは、参照番号70に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第2の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第2の基準カラーチャネルにおけるデータとの間の差の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数nがある。参照番号72において、nで除算した差の総和を選択されたピクセルの基準カラーチャネルからの正常なデータ値に加算し、第2の結果を得る。

【0052】

参照番号74で、第1および第2の結果の総和を計算する。次いで、この総和を2で除算して、代替データ値を得る。次に、参照番号60で、欠陥ピクセルデータ値を、参照番号74で生成された代替データ値で置き換える。

【0053】

最後に、参照番号76で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号78で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号50に戻り、そこで、調べるため別のピクセルを選択する。

【0054】

図6、7、および8を参照しつつ例示されている本発明の他の態様によれば、欠陥ピクセルを含むカラーチャネルにおける正常な隣接ピクセルと少なくとも1つの他のカラーチャネルにおける正常なピクセルとの色彩比の総和または加重和が計算され、欠陥ピクセルに対する代替値を構成するために使用される。

【0055】

図6を参照すると、本発明による欠陥ピクセル補正のための上述の例示的な方法が流れ図で示されている。最初に、参照番号80で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号82で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。

【0056】

参照番号84で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。当業者であれば、画像のエッジのところに配置されているピクセルについては、一方の側(上、下、左、または右のいずれか)に隣接する、または画像の隅では補正に使用することができる選択されたピクセルの2つの側(上-左、上-右、下-左、または下-右)にすら隣接する利用可能なピクセルはないことも理解するであろう。このような場合、本発明の方法は、既存の隣接ピクセルからの利用可能なデータを使用して実装することができるか、またはエッジピクセルを無視することができる。

【0057】

参照番号86では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号88に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号90に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。

【0058】

参照番号86において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号92に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの比の差の総和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号94において、mで除算した比の総和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算して、データ代替値を得る。

【0059】

次に、参照番号90で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号96で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号98で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号80に戻り、そこで、調べるため別のピクセルを選択する。

【0060】

次に図7を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。最初に、参照番号100で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号102で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。

【0061】

参照番号104で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。

【0062】

参照番号106では、正常なピクセルデータを含むピクセルに対する基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは参照番号108に進み、そこで、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号110に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。

【0063】

参照番号106において、正常なデータを有する選択されたピクセル内に基準カラーチャネルがあると判定された場合、プロセスは参照番号112に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと基準カラーチャネルにおけるデータとの間の比の加重和を計算する。一般に、選択されたカラーチャネルと基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号114において、重みの総和で除算した比の加重和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算して、データ代替値を得る。

【0064】

当業者があれば理解するように、本発明のこの態様によりさまざまな重み係数を使用することもできる。非限定的な例として、重み係数w_iを、式(12)または式(13)のように計算することができる。

【0065】

次に、参照番号110で、欠陥ピクセルデータ値を、代替データ値で置き換える。参照番号116で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号118で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号110に戻り、そこで、調べるため別のピクセルを選択する。

【0066】

次に図8を参照すると、本発明による欠陥ピクセル補正のための別の例示的な方法が流れ図で示されている。図5の例のように、2つの基準カラーチャネルからのデータは、そのデータが利用可能であれば図8の例において使用される。

【0067】

最初に、参照番号120で、1つのピクセルとそのピクセルにおける複数のカラーチャネルのうちの1つのカラーチャネルのデータを選択する。次に、参照番号122で、選択されたカラーチャネルにおいて選択されたピクセルデータが欠陥ピクセルデータであるかどうかが判定される。これは、欠陥ピクセルマップもしくはリストを調べることによって、または当技術分野で知られている他の手段によって実行できる。

【0068】

参照番号124で、選択されたピクセルの周囲の隣接ピクセルのグループを定義する。本発明の好ましい実施形態では、この近傍は、選択されたピクセルを中心に置いた隣接ピクセルの3×3のグループとして定義されうる。当業者であれば、ピクセル近傍は、選択されたピクセルの周囲の少ない、またはより多くの数のピクセルを使用して他の方法により定義することが可能であることを理解するであろう。

【0069】

参照番号126では、正常なピクセルデータを含むピクセルに対する第1の基準カラーチャネルがあるかどうかが判定される。例えば、選択されたピクセルの赤色のカラーチャネルが処理される場合、青色もしくは緑色のカラーチャネルのいずれかにおけるデータが正常なデータであるかどうかが判定される。正常な基準チャネルピクセルがないと判定された場合、プロセスは、参照番号128に進み、選択されたカラーチャネルの定義済み近傍内の正常なピクセルの平均値を計算するなどのプロセスを実行して、欠陥ピクセルに対する代替データを生成する。プロセスは参照番号130に進み、そこで、生成された代替データを使用して、欠陥ピクセルデータを置き換える。

【0070】

参照番号126において、正常なデータを有する選択されたピクセル内に第1の基準カラーチャネルがあると判定された場合、プロセスは参照番号132に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第1の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第1の基準カラーチャネルにおけるデータとの間の比の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数mがある。参照番号134において、mで除算した比の総和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算し、第1の結果を得る。

【0071】

次に、参照番号136で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあるかどうかが判定される。選択されたピクセルに対する正常なデータを含む正常な第2の基準カラーチャネルがないと判定された場合、プロセスは、参照番号138に進み、そこで、参照番号134からの第1の結果を、欠陥ピクセルに対する代替データとして使用する。プロセスは参照番号130に進み、そこで、その代替データを使用して、欠陥ピクセルデータを置き換える。

【0072】

参照番号136で、正常なピクセルデータを含むピクセルに対する第2の基準カラーチャネルがあると判定された場合、プロセスは、参照番号140に進み、そこで、選択されたカラーチャネルおよび利用可能な隣接ピクセル(つまり、正常なデータを持つピクセルのみ)のすべてからの第2の基準カラーチャネルにおけるデータを処理し、選択されたカラーチャネルにおける正常なデータと第2の基準カラーチャネルにおけるデータとの間の比の総和を計算する。一般に、選択されたカラーチャネルと第1の基準カラーチャネルの両方において正常なデータを有する隣接ピクセルの数に等しい整数nがある。参照番号142において、nで除算した比の総和に、選択されたピクセルの基準カラーチャネルからの正常なデータ値を乗算し、第2の結果を得る。

【0073】

参照番号144で、第1および第2の結果の総和を計算する。次いで、この総和を2で除算して、代替データ値を得る。次に、参照番号130で、欠陥ピクセルデータ値を、参照番号144で生成された代替データ値で置き換える。

【0074】

最後に、参照番号146で、すべてのピクセルの処理が完了したかどうかが判定される。すべてのピクセルが処理された場合、プロセスは参照番号148で終了する。すべてのピクセルがまだ処理されていない場合、プロセスは参照番号120に戻り、そこで、調べるため別のピクセルを選択する。

【0075】

本発明の実施形態および応用を示し、説明したが、当業者には、本明細書の発明の概念から逸脱することなく上で述べたのよりもさらに多くの修正形態が可能であることは明らかであろう。したがって、本発明は、付属の請求項の精神に従うことを除き、限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】