特許 6682562 赤外線画像取込装置における偽画素の補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6682562

(24)【登録日】2020年3月27日

(45)【発行日】2020年4月15日

(54)【発明の名称】赤外線画像取込装置における偽画素の補正

(51)【国際特許分類】

   H04N 5/367 20110101AFI20200406BHJP

   G01J 1/42 20060101ALI20200406BHJP

   G01J 1/44 20060101ALI20200406BHJP

   H04N 5/33 20060101ALI20200406BHJP

【ＦＩ】

   H04N5/367 500

   G01J1/42 B

   G01J1/44 E

   H04N5/33

【請求項の数】16

【全頁数】20

(21)【出願番号】特願2017-567334(P2017-567334)

(86)(22)【出願日】2016年6月10日

(65)【公表番号】特表2018-525878(P2018-525878A)

(43)【公表日】2018年9月6日

(86)【国際出願番号】FR2016051393

(87)【国際公開番号】WO2016207506

(87)【国際公開日】20161229

【審査請求日】2019年4月19日

(31)【優先権主張番号】1555963

(32)【優先日】2015年6月26日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】505296968

【氏名又は名称】ユリス

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】サラガグリア，アモーリ

(72)【発明者】

【氏名】デュランド，アラン

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１１−２５４１２１（ＪＰ，Ａ）

【文献】 特開２００９−１０９４４１（ＪＰ，Ａ）

【文献】 特開２０１５−０１９１５７（ＪＰ，Ａ）

【文献】 特開２００７−０２８０２６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

Ｇ０１Ｊ １／４２

Ｇ０１Ｊ １／４４

(57)【特許請求の範囲】

【請求項1】

赤外線を感知可能な撮像デバイスの画素アレイ(102) の偽画素を補正する方法であって、
前記撮像デバイスの処理デバイス(202) によって、前記画素アレイ(102) によって取り込まれた第１の入力画像(RAW) を受けて、前記第１の入力画像の画素の画素値にゲイン値及びオフセット値を適用することにより、前記第１の入力画像を補正し、
補正された第１の入力画像内で少なくとも１つの偽画素を検出して、前記少なくとも１つの偽画素を偽画素のリスト(L_SPUR) に追加し、
前記処理デバイス(202) によって、前記画素アレイ(102) によって取り込まれた第２の入力画像(RAW) を受けて、前記第２の入力画像の画素の画素値にゲイン値及びオフセット値を適用することにより、前記第２の入力画像を補正し、
補正された前記第１及び第２の入力画像に基づき、前記少なくとも１つの偽画素に関してゲイン補正値(s_Gain) 及びオフセット補正値(s_Off)を計算することを特徴とする方法。

【請求項2】

前記画素アレイ(102) によって取り込まれた第３の入力画像の少なくとも１つの偽画素の値を補正すべく前記ゲイン補正値(s_Gain) 及び前記オフセット補正値(s_Off)を適用し、前記少なくとも１つの偽画素が前記第３の入力画像の偽画素として検出されるか否かを判断することにより前記ゲイン補正値(sGain) 及び前記オフセット補正値(sOff)を実証することを特徴とする請求項１に記載の方法。

【請求項3】

前記第３の入力画像を、前記第１及び第２の入力画像の夫々の画素アレイ温度とは異なる画素アレイ温度で取り込むことを特徴とする請求項２に記載の方法。

【請求項4】

前記ゲイン補正値及びオフセット補正値を計算する前に、少なくとも１つの検出された偽画素を不良画素のリストに追加し、実証中に前記ゲイン補正値及びオフセット補正値が実証されると、前記少なくとも１つの検出された偽画素を前記不良画素のリストから取り除くことを特徴とする請求項２又は３に記載の方法。

【請求項5】

前記画素アレイは、対応する参照画素に夫々関連した列の画素を有し、
前記第１の入力画像及び前記第２の入力画像を補正する際に、
入力画像と前記画素アレイの参照画素によって導入される列広がりを表す列成分ベクトル(V_COL)とに基づいて、前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子（α）を決定し、
前記列成分ベクトル(V_COL)の値と前記第１のスケール因子との積に基づいて列オフセット値（αV_COL(x)）を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表す二次元分散行列（OFF_DISP）とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子（β）を決定し、
前記二次元分散行列(OFF_DISP) の値と前記第２のスケール因子との積に基づいて画素オフセット値（βOFF_DISP(x, y) ）を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像(CORR)を生成することを特徴とする請求項１〜４のいずれか一項に記載の方法。

【請求項6】

CORR(x, y)＝GAIN(x, y)×（RAW(x, y)−α．OFF_COL(x, y)−β．OFF_DISP(x, y)−γ）の式に基づいて補正画像(CORR)を生成し、
但し、RAW は入力画像であり、α及びβはスケール因子であり、γはゲイン補正値であり、GAIN(x, y)はゲイン値であり、OFF_COL(x, y)及びOFF_DISP(x, y)はオフセット値であり、OFF_COLは、行列の行の各々に列成分ベクトルV_COLを有する行列であり、OFF_DISP は参照分散行列であることを特徴とする請求項１〜５のいずれか一項に記載の方法。

【請求項7】

補正された前記第１及び第２の入力画像に基づき、前記少なくとも１つの偽画素に関してゲイン補正値(s_Gain) 及びオフセット補正値(s_Off)を計算する際に、
前記第１の入力画像の近傍画素に基づき、少なくとも１つの偽画素の各々の第１の期待画素値（p_EXP1）を推定し、
前記第２の入力画像の近傍画素に基づき、少なくとも１つの偽画素の各々の第２の期待画素値（p_EXP2）を推定し、
推定された第１及び第２の期待画素値に基づきゲイン補正値(s_Gain) 及びオフセット補正値(s_Off)を計算することを特徴とする請求項１〜６のいずれか一項に記載の方法。

【請求項8】

前記少なくとも１つの偽画素を検出する際に、
前記第１の入力画像の画素の少なくとも一部を含む複数の注目画素に関してスコアを計算し、注目画素毎のスコアは、注目画素の周りのＨ×Ｈ画素のウィンドウ内の入力画像のｋ個の隣り合う近傍画素に基づき生成され、Ｈは３以上の奇数の整数であり、ｋは２〜５の整数であり、隣り合う近傍画素の各々は、隣り合う近傍画素の少なくとも別の近傍画素及び／又は前記注目画素と境界又はコーナーポイントを共有し、隣り合う近傍画素の少なくとも１つは前記注目画素と境界又はコーナーポイントを共有し、
計算されたスコアに基づき前記画素の少なくとも１つが偽画素であると判断することを特徴とする請求項１〜７のいずれか一項に記載の方法。

【請求項9】

前記少なくとも１つの偽画素を検出する際に、前記スコアの少なくとも一部を閾値(thr_SPUR) と比較することを特徴とする請求項８に記載の方法。

【請求項10】

前記スコアの少なくとも一部を閾値と比較する際に、サブセットの前記スコアを前記閾値と比較し、前記サブセットは複数の最も高いスコアを有し、
前記閾値を、thr_SPUR＝Q3＋x_EI×（Q3−Q1）の式に基づき計算し、
但し、x_EI は少なくとも1.0 のパラメータであり、Q1及びQ3は夫々、前記サブセットの第１の四分位数及び第３の四分位数であることを特徴とする請求項９に記載の方法。

【請求項11】

計算されたスコアに更なる閾値(thr_outlier)を適用することにより、前記スコアの少なくとも一部を選択することを特徴とする請求項９又は１０に記載の方法。

【請求項12】

前記入力画像の画素値がラプラス分布に基づく確率分布を有するという仮定に基づき、前記更なる閾値を計算することを特徴とする請求項１１に記載の方法。

【請求項13】

前記更なる閾値を

【数1】

の式に基づいて計算し、
但し、

は、計算されたスコアの絶対値(｜Ｓ｜)に対応する指数分布f(x)＝λｅ^-λx のパラメータの推定値であることを特徴とする請求項１２に記載の方法。

【請求項14】

処理デバイスによって実行される請求項１〜１３のいずれか一項に記載の方法を実行するための命令を記憶するコンピュータ可読記憶媒体。

【請求項15】

画像処理デバイスであって、
オフセット値(208) 及びゲイン値(210) と偽画素のリスト(L_SPUR)(212)とを記憶するメモリ(206) と、
処理デバイス(202) と
を備えており、
前記処理デバイスは、
赤外線を感知可能な撮像デバイスの画素アレイ(102) によって取り込まれた第１の入力画像(RAW) を受けて、前記第１の入力画像の画素の画素値に前記ゲイン値及び前記オフセット値を適用することにより前記第１の入力画像を補正し、
補正された第１の入力画像(RAW) 内で少なくとも１つの偽画素を検出して、前記少なくとも１つの偽画素を前記偽画素のリスト(L_SPUR) に追加し、
前記画素アレイ(102) によって取り込まれた第２の入力画像(RAW) を受けて、前記第２の入力画像の画素の画素値に前記ゲイン値及び前記オフセット値を適用することにより、前記第２の入力画像(RAW) を補正し、
補正された前記第１及び第２の入力画像に基づき、前記少なくとも１つの偽画素に関してゲイン補正値(s_Gain) 及びオフセット補正値(s_Off)を計算する
ように構成されていることを特徴とする画像処理デバイス。

【請求項16】

前記処理デバイスは、前記画素アレイ(102) によって取り込まれた第３の入力画像の少なくとも１つの偽画素の値を補正すべく前記ゲイン補正値(s_Gain) 及びオフセット補正値(s_Off)を適用して、前記少なくとも１つの偽画素が前記第３の入力画像の偽画素として検出されるか否かを判断することにより、前記ゲイン補正値及び前記オフセット補正値を実証するように更に構成されていることを特徴とする請求項１５に記載の画像処理デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、赤外線撮像デバイスの分野に関し、特に赤外光を感知可能な画素アレイによって取り込まれる画像の偽画素を補正するための方法及びデバイスに関する。

【発明の概要】

【発明が解決しようとする課題】

【0002】

マイクロボロメータ又は冷却式赤外線（IR）撮像デバイスなどの赤外線撮像デバイスは、画素アレイを形成するIR感知検出器のアレイを備えている。このような画素アレイの画素間の空間的不均一性を補正するために、一般に取り込み画像が表示される前に取り込み画像の夫々の画素信号（又は「画素値」）にオフセット及びゲインの補正を行う。オフセット値及びゲイン値は、制御された温度で均一な放射源（黒体）を使用してデバイスの内部予備較正段階中に生成されて撮像デバイスに記憶される。このような空間的不均一性は、経時的に変わるだけでなく、撮像デバイスの光学部品、機械部品及び電子部品の温度の関数によっても変わるため、画像の補正を支援すべく内部メカニカルシャッタを撮像デバイスに使用することが多い。このため、後で較正に使用され得る比較的均一なシーンの参照画像を得るためにメカニカルシャッタが閉まっている間に画像を周期的に取り込む必要がある。

【0003】

このような赤外線撮像デバイスの製造工程の後、製造業者の最初の較正段階の終わりに画素アレイの一又は複数の画素が使用不可能であることがよく明らかになる。このような画素は一般に、本技術分野では「不良画素」として知られており、撮像デバイスに記憶されている操作性マップで特定される。不良画素によって生成される画素値は通常信頼することができないため、不良画素の画素値は画像の近傍画素に基づいて生成される値と取り替えられる。

【0004】

更に、このような撮像デバイスの耐用期間中、一又は複数の最初に使用可能な画素の信号挙動が撮像デバイスの最初の較正パラメータによって許容可能に表現されない場合があることが分かっている。これは、様々な物理的変化によって、又は例えばセンサパッケージに残っている若しくは放出される小さな内部の移動粒子によって引き起こされる機械的損傷によっても生じる場合がある。これらの画素を本明細書では偽画素と称する。このような画素は最初の操作性マップに記載されておらず、画質を下げ得る。

【0005】

シャッタを備えた撮像デバイスの場合、仏国特許出願公開第3009388 号明細書として公開されている仏国特許出願には、操作性マップを周期的に更新する手段を設けて、シャッタが閉じている任意の期間中にこのような偽画素を特定する方法が開示されている。

【0006】

しかしながら、シャッタを使用する複数の欠点、例えば更なる重み及びコスト、シャッタの壊れ易さなどがある。更にある用途では、シャッタの使用は、シャッタを閉じて較正を行っている間の時間の損失のために容認できない。この較正期間中、シーンの画像を取り込むことができない。

【0007】

シャッタが設けられていない撮像デバイスでは、特に画素値が取り込み画像のテクスチャゾーンにある場合、画像シーンからこのような偽画素を特定する技術的困難さがある。

【0008】

偽画素を特定可能であると仮定すると、このような偽画素は不良画素のリストに単に追加され得るだけである。しかしながら、撮像デバイスが例えば耐用期間中に多くの衝撃を受けると、画像の偽画素の密度を無視し続けることができない時点で画像劣化が生じる。

【0009】

従って、本技術分野では、特にシャッタが設けられていない赤外線撮像の必要性、偽画素を検出するためのデバイス及び方法の必要性、少なくとも操作性マップを更新する必要性、更に誤った較正になる特定の偽画素を再度較正する必要性がある。

【0010】

本明細書の実施形態の目的は、先行技術における一又は複数の必要性に少なくとも部分的に対処することである。

【課題を解決するための手段】

【0011】

一態様によれば、赤外線を感知可能な撮像デバイスの画素アレイの偽画素を補正する方法であって、前記撮像デバイスの処理デバイスによって、前記画素アレイによって取り込まれた第１の入力画像を受けて、前記第１の入力画像の画素の画素値にゲイン値及びオフセット値を適用することにより、前記第１の入力画像を補正し、補正された第１の入力画像内で少なくとも１つの偽画素を検出して、前記少なくとも１つの偽画素を偽画素のリストに追加し、前記処理デバイスによって、前記画素アレイによって取り込まれた第２の入力画像を受けて、前記第２の入力画像の画素の画素値にゲイン値及びオフセット値を適用することにより、前記第２の入力画像を補正し、補正された前記第１及び第２の入力画像に基づき、前記少なくとも１つの偽画素に関してゲイン補正値及びオフセット補正値を計算することを特徴とする方法が提供される。例えば、第１及び第２の入力画像を補正する際に、第１及び第２の入力画像の同一の位置における画素の画素値を補正する。

【0012】

一実施形態によれば、前記方法では、前記画素アレイによって取り込まれた第３の入力画像の少なくとも１つの偽画素の値を補正すべく前記ゲイン補正値及び前記オフセット補正値を適用し、前記少なくとも１つの偽画素が前記第３の入力画像の偽画素として検出されるか否かを判断することにより前記ゲイン補正値及び前記オフセット補正値を実証する。

【0013】

一実施形態によれば、前記第３の入力画像を、前記第１及び第２の入力画像の夫々の画素アレイ温度とは異なる画素アレイ温度で取り込む。

【0014】

一実施形態によれば、前記方法では、前記ゲイン補正値及びオフセット補正値を計算する前に、少なくとも１つの検出された偽画素を不良画素のリストに追加し、実証中に前記ゲイン補正値及びオフセット補正値が実証されると、前記少なくとも１つの検出された偽画素を前記不良画素のリストから取り除く。

【0015】

一実施形態によれば、前記画素アレイは、対応する参照画素に夫々関連した列の画素を有し、前記第１の入力画像及び前記第２の入力画像を補正する際に、入力画像と前記画素アレイの参照画素によって導入される列広がりを表す列成分ベクトルとに基づいて、前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、前記列成分ベクトルの値と前記第１のスケール因子との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表す二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、前記二次元分散行列の値と前記第２のスケール因子との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成する。

【0016】

一実施形態によれば、CORR(x, y)＝GAIN(x, y)×（RAW(x, y)−α．OFF_COL(x, y)−β．OFF_DISP(x, y)−γ）の式に基づいて補正画像を生成し、但し、RAW は入力画像であり、α及びβはスケール因子であり、γはゲイン補正値であり、GAIN(x, y)はゲイン値であり、OFF_COL(x, y)及びOFF_DISP(x, y)はオフセット値であり、OFF_COLは、行列の行の各々に列成分ベクトルV_COLを有する行列であり、OFF_DISP は参照分散行列である。

【0017】

一実施形態によれば、補正された前記第１及び第２の入力画像に基づき、前記少なくとも１つの偽画素に関してゲイン補正値及びオフセット補正値を計算する際に、前記第１の入力画像の近傍画素に基づき、少なくとも１つの偽画素の各々の第１の期待画素値を推定し、前記第２の入力画像の近傍画素に基づき、少なくとも１つの偽画素の各々の第２の期待画素値を推定し、推定された第１及び第２の期待画素値に基づきゲイン補正値及びオフセット補正値を計算する。

【0018】

一実施形態によれば、前記少なくとも１つの偽画素を検出する際に、前記第１の入力画像の画素の少なくとも一部を含む複数の注目画素に関してスコアを計算し、注目画素毎のスコアは、注目画素の周りのＨ×Ｈ画素のウィンドウ内の入力画像のｋ個の隣り合う近傍画素に基づき生成され、Ｈは３以上の奇数の整数であり、ｋは２〜５の整数であり、隣り合う近傍画素の各々は、隣り合う近傍画素の少なくとも別の近傍画素及び／又は前記注目画素と境界又はコーナーポイントを共有し、隣り合う近傍画素の少なくとも１つは前記注目画素と境界又はコーナーポイントを共有し、計算されたスコアに基づき前記画素の少なくとも１つが偽画素であると判断する。

【0019】

一実施形態によれば、前記少なくとも１つの偽画素を検出する際に、前記スコアの少なくとも一部を閾値と比較する。

【0020】

一実施形態によれば、前記スコアの少なくとも一部を閾値と比較する際に、サブセットの前記スコアを前記閾値と比較し、前記サブセットは複数の最も高いスコアを有し、前記閾値を、thr_SPUR＝Q3＋x_EI×（Q3−Q1）の式に基づき計算し、但し、x_EI は少なくとも1.0 のパラメータであり、Q1及びQ3は夫々、前記サブセットの第１の四分位数及び第３の四分位数である。

【0021】

一実施形態によれば、計算されたスコアに更なる閾値を適用することにより、前記スコアの少なくとも一部を選択する。

【0022】

一実施形態によれば、前記入力画像の画素値がラプラス分布に基づく確率分布を有するという仮定に基づき、前記更なる閾値を計算する。

【0023】

一実施形態によれば、前記更なる閾値を

【0024】

【数1】

【0025】

の式に基づいて計算し、
但し、

は、計算されたスコアの絶対値に対応する指数分布f(x)＝λｅ^-λx のパラメータの推定値である。

【0026】

更なる態様によれば、処理デバイスによって実行される上記の方法を実行するための命令を記憶するコンピュータ可読記憶媒体が提供される。

【0027】

更なる態様によれば、画像処理デバイスであって、オフセット値及びゲイン値と偽画素のリストとを記憶するメモリと、処理デバイスとを備えており、前記処理デバイスは、赤外線を感知可能な撮像デバイスの画素アレイによって取り込まれた第１の入力画像を受けて、前記第１の入力画像の画素の画素値に前記ゲイン値及び前記オフセット値を適用することにより前記第１の入力画像を補正し、補正された第１の入力画像内で少なくとも１つの偽画素を検出して、前記少なくとも１つの偽画素を前記偽画素のリストに追加し、前記画素アレイによって取り込まれた第２の入力画像を受けて、前記第２の入力画像の画素の画素値に前記ゲイン値及び前記オフセット値を適用することにより、前記第２の入力画像を補正し、補正された前記第１及び第２の入力画像に基づき、前記少なくとも１つの偽画素に関してゲイン補正値及びオフセット補正値を計算するように構成されていることを特徴とする画像処理デバイスが提供される。

【0028】

一実施形態によれば、前記処理デバイスは、前記画素アレイによって取り込まれた第３の入力画像の少なくとも１つの偽画素の値を補正すべく前記ゲイン補正値及びオフセット補正値を適用して、前記少なくとも１つの偽画素が前記第３の入力画像の偽画素として検出されるか否かを判断することにより、前記ゲイン補正値及び前記オフセット補正値を実証するように更に構成されている。

【0029】

前述及び他の特徴及び利点は、添付図面を参照して本発明を限定するものではない実例として与えられる実施形態の以下の詳細な説明から明らかになる。

【図面の簡単な説明】

【0030】

【図1】例示的な実施形態に係る撮像デバイスを概略的に示す図である。

【図2】例示的な実施形態に係る、より詳細な図１の撮像デバイスの画像処理ブロックを概略的に示す図である。

【図3】本開示の例示的な実施形態に係る偽画素を検出して補正する方法のステップを示すフローチャートである。

【図4】本開示の例示的な実施形態に係るオフセット補正値及びゲイン補正値を生成する方法のステップを示すフローチャートである。

【図5】例示的な実施形態に係るオフセット補正値及びゲイン補正値を実証する方法のステップを示すフローチャートである。

【図6】例示的な実施形態に係る偽画素を特定する方法のステップを示すフローチャートである。

【図7】例示的な実施形態に係る画素スコアを生成する方法のステップを示すフローチャートである。

【図8A】本開示の例示的な実施形態に係る隣り合う近傍画素の選択例を示す図である。

【図8B】例示的な実施形態に係る隣り合う近傍画素及び隣り合わない近傍画素の例を示す図である。

【図8C】例示的な実施形態に係る縁部及び偽画素の例を示す図である。

【発明を実施するための形態】

【0031】

以下の記載における実施形態の一部は、マイクロボロメータタイプの画素アレイに関連して記載されているが、本明細書に記載されている方法は、冷却式デバイスを含む他のタイプのIR撮像デバイスに同様に適用され得ることは当業者にとって明らかである。更に、シャッタが設けられていないIR撮像デバイスに関連して実施形態が本明細書に記載されているが、本実施形態は、メカニカルシャッタを備えたIR撮像デバイス、及びこのようなIR撮像デバイスによって取り込まれる画像に同様に適用され得る。

【0032】

図１は、赤外光を感知可能な画素アレイ102 を備えたIR撮像デバイス100 を示している。例えば、ある実施形態では、画素アレイは、長波長赤外光、例えば波長が７〜13μｍの光を感知可能である。IR撮像デバイス100 は、例えば単一の画像、更に映像を形成する一連の画像を取り込むことができる。IR撮像デバイス100 は、例えばシャッタが設けられていないデバイスである。

【0033】

図示を容易にするために、12行及び12列に配置された144 の画素104 のみの画素アレイ102 が図１に示されている。代替的な実施形態では、画素アレイ102 は、あらゆる数の行及び列の画素を有し得る。典型的には、画素アレイは、例えば640 ×480 の画素、又は1024×768 の画素を有する。

【0034】

画素アレイ102 の各列の画素は対応する参照構造体106 に関連付けられている。この参照構造体は、機能的には画像素子ではないが、撮像（又は活性）画素104 との構造的類似性によって本明細書では「参照画素」と称される。更に、出力ブロック108 が、画素アレイ102 の各列と参照画素106 の各々とに接続されており、生画像RAW を与える。

【0035】

制御回路（CTRL）110 が、例えば画素アレイ、参照画素106 及び出力ブロック108 に制御信号を与える。生画像RAW は、例えば画像処理ブロック112 に与えられ、画像処理ブロック112 は画像の画素にオフセット及びゲインを適用して補正画像CORRを生成する。

【0036】

画素104 の各々は例えばボロメータを有している。ボロメータは本技術分野ではよく知られており、例えば、基板の上方で懸架された膜を備えており、膜は、IR吸収材料の層を有し、ボロメータの抵抗が赤外線の存在に関連した膜の温度上昇によって変わる特性を有する。

【0037】

例えば夫々の列に関連付けられた参照画素106 はブラインドボロメータを有しており、ブラインドボロメータは、例えば画素アレイの画素104 のアクティブボロメータと同様の構造を有しているが、例えば反射壁から形成されたシールドにより、及び／又は意図的なヒートシンクにより、例えば基板に高熱伝導性を与えることにより、画像シーンからの放射線を無感知であり、ボロメータは、例えば基板と直接接して形成される。

【0038】

画素アレイ102 の読取ステップ中、画素の行を例えば一度に１つずつ読み取る。

【0039】

ボロメータタイプの画素アレイの例が、例えば、本出願人に譲渡されている米国特許第7700919 号明細書により詳細に記載されており、その内容が、特許法によって認められる程度まで参照によって本明細書に組み込まれる。

【0040】

図２は、例示的な実施形態に係る、より詳細な図１の画像処理ブロック112 を示す。

【0041】

画像処理ブロック112 の機能は例えばソフトウェアで実行され、画像処理ブロック112 は、命令メモリ204 に記憶された命令の制御下で一又は複数のプロセッサを有する処理デバイス202 を有している。代替的な実施形態では、画像処理ブロック112 の機能は、専用ハードウェアによって少なくとも部分的に実行され得る。このような場合、処理デバイス202 は例えばASIC（特定用途向け集積回路）又はFPGA（フィールドプログラマブルゲートアレイ）を有しており、命令メモリ204 は省略されてもよい。

【0042】

処理デバイス202 は入力生画像RAW を受けて補正画像CORRを生成し、補正画像CORRは、例えば撮像デバイスのディスプレイ（不図示）に与えられる。処理デバイス202 は、オフセット値（OFFSET）208 、ゲイン値（GAIN）210 、特定された偽画素のリスト（L_SPUR）212 及び不良画素のリスト（L_BADPIXEL ）216 を記憶するデータメモリ（メモリ）206 に更に接続されている。

【0043】

オフセット値は、例えば構造的な列広がりを表す列ベクトルV_COLと、画素アレイ102 によって導入される構造的な二次元非列分散を表す行列OFF_DISP とによって示される。列広がりは主に、行の列参照画素が一般に完全には均一ではないにも関わらず、各列の参照画素106 を使用することによって例えば生じる。二次元非列分散は主に、例えば技術的な処理分散によって生じる画素アレイのアクティブボロメータ間の局所的な物理的差及び／又は構造的差によって例えば生じる。

【0044】

列ベクトルV_COL及び行列OFF_DISP の生成、並びにこのベクトル及び行列に基づく画素値の補正は、その内容が特許法によって認められる程度まで参照によって本明細書に組み込まれて本出願人に譲渡されている2015年４月24日に出願された米国特許出願第14／695539号、2014年４月30日に出願された仏国特許出願第14／53917 号及び本出願人の名称で2015年４月30日に出願された日本特許出願の特願2015−093484号に更に詳細に記載されている。

【0045】

これらの出願に記載されているような方法を以下に説明する。生画像RAW が図１の画素アレイ102 によって取り込まれ、画素アレイは、画素アレイの各列が対応する参照画素106 に関連付けられていると仮定する。

【0046】

補正画像CORRが、例えば以下の式１を適用することにより生画像RAW に基づいて生成される。
CORR(x, y) ＝ GAIN(x, y)×（RAW(x, y)−αOFF_COL(x, y)−βOFF_DISP(x, y)−γ）−res （式１）
但し、x, yは画素104 の画素座標であり、α及びβはスケール因子であり、γはゲイン補正値であり、GAIN(x, y)はゲイン値であり、OFF_COL(x, y)及びOFF_DISP(x, y)はオフセット値であり、OFF_COLは、行列の行の各々に列ベクトルV_COLを有する行列であり、OFF_DISP は参照分散行列であり、res は、例えばある実施形態では画像に残存しているあらゆる列残余及び／又は分散残余を補正するために使用される残余補正値である。

【0047】

スケール因子αは、例えば以下の式２に基づいて決定される。
α＝｛Σ_x(1/mΣ_yT(RAW(x, y))×T(V_COL(x)))｝／Σ_xT(V_COL(x))×T(V_COL(x))｝ （式２）
但し、T()は列ベクトルV_COL及び入力画像RAW に適用される高域フィルタを表し、ｍは画像の行の数である。言い換えれば、スケール因子αを決定する際に、例えば高域フィルタを生画像に生画像の行に沿って適用して更に参照列ベクトルに適用し、フィルタ処理された画像の列平均値を決定することにより、参照列ベクトルと同一の大きさのベクトルを得て、その後、２つの列ベクトル間の差、つまりフィルタ処理された画像の列平均値とフィルタ処理された列ベクトルとの差の最小化としてスケール因子を決定する。

【0048】

スケール因子βは、例えば以下の式３に基づいて決定される。
β＝｛Σ(▽_xRAW・▽_xOFF_DISP＋▽_yRAW・▽_yOFF_DISP)｝／｛Σ((▽_xOFF_DISP)²＋（▽_yOFF_DISP)²)｝ （式３）
但し、▽_x は画像の水平方向の、言い換えれば各行に沿った隣接画素間の画素勾配値であり、▽_y は画像の垂直方向の、言い換えれば各列に沿った隣接画素間の画素勾配値である。

【0049】

以下では、ゲイン補正及びオフセット補正が上記の式１〜３に基づいて説明されるが、代替的な実施形態では、他の補正方法が使用され得る。

【0050】

図３は、例示的な実施形態に係る偽画素を検出して補正する方法のステップを示すフローチャートである。この方法は、例えば新たな画像が取り込まれる毎に図２の画像処理回路112 によって実行される。

【0051】

偽画素は、オフセット及びゲインが例えば小さな内部の移動粒子によって引き起こされる機械的な衝撃又は損傷の結果として画素の最初の較正値から逸脱した画素である。偽画素は、例えば破壊されて、従ってシーンに関連した使用可能な信号を与えることができない更なる「不良画素」に相当してもよい。しかしながら、本発明者らは、多くの場合、偽画素がシーンに関連した使用可能な信号を依然として与えることができるが、偽画素の値は最初の較正値に対してオフセット及びゲインで安定して常時変わることを見出した。

【0052】

ステップ301 で、ゲイン値及びオフセット値に基づいて補正された生画像RAW に相当する補正画像CORR内で偽画素を検出する。検出された偽画素はリストL_SPURを形成する。更に詳細に以下に記載されるように、一実施形態では、画像の各画素の隣り合う近傍画素に対する（画素値に関する）差の計算結果に基づいて偽画素を検出する。しかしながら、代替的な実施形態では、偽画素を特定するために他の技術を適用することができる。例えば、一又は複数の偽画素をユーザによって手動で特定することができる。更に、ある実施形態では、補正画像CORRは、例えば撮像デバイスの閉じたシャッタを用いて取り込まれる場合、均一なシーンになり得るため、偽画素の特定を容易にする。

【0053】

その後のステップ302 で、特定された偽画素毎にオフセット補正値及びゲイン補正値を計算する。言い換えれば、特定された偽画素毎に、現在記憶されているオフセット値及びゲイン値を補正するために補正値を計算する。この計算を、例えば少なくとも２つの取り込み画像に基づき行う。

【0054】

その後のステップ303 で、これらのオフセット補正値及びゲイン補正値の実証を、例えば偽画素毎に行う。焦点面温度が変わるときに計算された補正値がこれらの画素に関して適切な補正値を与えることを確認するために、オフセット補正値及びゲイン補正値を計算したときの温度とは異なる焦点面温度で実証を行う。焦点面温度は画素アレイの温度に相当する。言い換えれば、本発明者らは、検出された偽画素のオフセット及びゲインが変わる場合であっても検出された偽画素の少なくとも一部を依然として常時補正することができ、これらの偽画素に関して得られた計算されたオフセット補正値及びゲイン補正値の質が、例えば焦点面温度が変わっている間の偽画素の安定性によって確かめられることに注目した。

【0055】

ステップ303 でゲイン補正値及びオフセット補正値が実証されると、ステップ304 で、偽画素に関するオフセット値208 及びゲイン値210 を、例えばステップ302 で計算された補正値によって更新する。

【0056】

或いは、ステップ303 で、ゲイン補正値及びオフセット補正値が実証されない場合、ステップ305 で、偽画素を不良画素のリストに追加する。言い換えれば、補正値が焦点面温度の変化で不安定な偽画素を更なる不良画素として分類する。例えば不良画素のリストの画素は、これらの画素の近傍画素の一又は複数に基づく画素推定値によって置き換えられた画素値を有する。

【0057】

代替的な実施形態では、ステップ301 で特定された全ての偽画素を不良画素のリストに体系的に追加し、その後、ステップ303 で補正値が実証されると、このリストから単に取り除く。

【0058】

ある実施形態では、偽であると特定された画素を補正しようとするのではなく、ステップ302 、ステップ303 及びステップ304 を省略して、ステップ305 で、検出された全ての偽画素を不良画素のリストに追加することが本方法に体系的に含まれることが可能である。このような手法は、ステップ302 及びステップ303 に関連した処理コストを節約する。更なる代替例として、一部の画素を不良画素のリストに最初に追加することができ、不良画素の数が閾値レベルを超えると、一若しくは複数の既に特定された偽画素、又は一若しくは複数の新たに特定された偽画素を、ステップ302 及びステップ303 を使用して補正することができる。

【0059】

図４は、図３のステップ302 でオフセット補正値及びゲイン補正値を計算するためのステップの例を示すフローチャートである。

【0060】

ステップ401 で、画像を例えば取り込み、少なくとも一部の画素の画素値を、例えば上記の式１に基づきオフセット値208 及びゲイン値210 を用いて補正する。本方法では、例えば取り込み生画像RAW 、オフセット値OFF_COL, OFF_DISP 、ゲイン値GAIN、及び上記の式１に従って画像を補正するために使用される項α，β，γを入力する。更に、偽画素のリストL_SPUR を図３のステップ301 で作成していると仮定する。

【0061】

ステップ402 で、検出頻度FREQが閾値レベルFREQ_MIN を超えるリストL_SPUR の画素p_iを選択し、これらの画素に関してのみ本方法の以下のステップを行う。このステップは、例えば補正アルゴリズムが偽画素として繰り返し検出される画素のみに適用されることを意味する。例えば、画素p_iが偽画素として検出される毎に、検出頻度FREQを、画素が以前のＮ個の画像で偽として検出された回数と等しいとみなして計算する。但し、Ｎは例えば２〜20の間である。この検出頻度が、例えばＮ／２に等しい閾値レベルFREQ_MIN を超える場合、画素を選択する。ある実施形態では、このステップを省略し、本方法のその後のステップをリストL_SPUR の全ての画素に適用する。

【0062】

ステップ403 で、画素の期待画素値p_EXPを計算する。例えば、画素が偽になると、ゲイン補正及びオフセット補正後であるが、外れ値として特定された画素の値p_CORR が以下の式４として表現され得る。
p_CORR ＝ｇ×（p_SPUR−α×o_COL−β×o_DISP−γ）−res （式４）
但し、p_SPUR は行列RAW の偽画素の画素値であり、o_COL及びo_DISP は画素に適用される行列OFF_COL, OFF_DISP の値であり、ｇは画素に適用される行列GAINの値であり、α，β，γ及びres は上記の式１に関するものと同一である。この画素が適切に補正され得ると仮定すると、ゲイン補正値s_Gain 及びオフセット補正値s_Offは以下の式５を満たす。
p_EXP ＝（ｇ−s_Gain）×（p_SPUR−α×o_COL−β×（o_DISP−s_Off）−γ）−res （式５）
但し、p_EXPは期待画素値であり、例えばゲイン値及びオフセット値が一又は複数の新たな参照画像に基づいて再計算された場合に得られ得る値と等しい又はこの値に近い。２つの未知数があるとすれば、ゲイン補正値s_Gain 及びオフセット補正値s_Offの両方を決定するために、２つの期待値を、例えば以下に記載するように計算する。

【0063】

期待画素値p_EXPを、例えば近傍画素に基づいて計算する。例えば、不良画素を補正するために通常使用されるアルゴリズム、例えば、画素データ補間、外挿法及び／又はインペインティングとして本技術分野で知られている技術を適用する。

【0064】

ステップ404 で、新たな期待画素値p_EXPに加えて、以前の期待画素値p_EXP1 又は期待画素値p_EXP2 が画素値p_SPUR に更に使用可能であるか否かを確認する。言い換えれば、組｛p_EXP1, p_EXP2｝_piが空か否かを確認する。以前の期待画素値p_EXP1 が存在する場合、これは、以前の画像に関して、少なくとも一部の画素の画素値が現在の画像に適用されているオフセット値及びゲイン値と同一のオフセット値208 及びゲイン値210 を使用して補正されたと判断したことを意味する。言い換えれば、現在の画像及び以前の画像で補正された画素の位置が、例えば同一である。組｛p_EXP1, p_EXP2｝_piが空で、以前の値が存在しない場合、ステップ405 で、期待画素値p_EXPを期待画素値p_EXP1 として記憶し、スケール因子α，β及び画素に適用されたゲイン補正値γを値α₁ ，値β₁ ，値γ₁ として記憶し、画素値p_SPUR を画素値p_SPUR1として更に記憶する。ステップ406 で、検出頻度FREQが閾値レベルFREQ_MIN より大きいリストL_SPUR の次の画素を例えば選択し、本方法はステップ403 に戻る。

【0065】

ステップ404 を行ったときに画素に関して期待画素値p_EXP1 が既に存在する場合、その後のステップ407 で、例えば、新たな期待画素値p_EXPと以前の期待画素値p_EXP1 との絶対差が閾値thr_diffminを超えるか否かを判断する。絶対差が閾値を超えない場合、本方法はステップ406 に戻る。しかしながら、画素値間に十分間隔が空いている場合、次のステップは408 である。

【0066】

ステップ408 で、新たな期待画素値p_EXPを期待画素値p_EXP2 として記憶し、スケール因子α，β及び画素に適用されたゲイン補正値γを値α₂ ，値β₂ ，値γ₂ として記憶し、画素値p_SPUR を画素値p_SPUR2として更に記憶する。

【0067】

ステップ409 で、オフセット補正値s_Off及びゲイン補正値s_Gain を、例えば推定値p_EXP1 及び推定値p_EXP2 に基づいて計算する。例えば、オフセット補正値s_Offを以下の式７に基づいて計算する。

【0068】

【数2】

【0069】

ゲイン補正値s_Gain を、例えば以下の式８に基づいて計算する。

【0070】

【数3】

【0071】

言うまでもなく、ゲイン補正値s_Gain をまず計算して、その後オフセット補正値s_Offを計算すべくこのゲイン補正値を置換することが可能である。

【0072】

その後のステップ410 で、オフセット補正値s_Off及びゲイン補正値s_Gain を、例えば画素値p_SPUR に関連したリストL_SPUR に記憶する。その後、本方法は、例えば検出頻度FREQが閾値レベルFREQ_MIN より大きいリストL_SPUR の全ての画素の処理が完了するまでステップ406 に戻る。その後、例えば次の画像が取り込まれると、本方法を繰り返す。

【0073】

ある実施形態では、計算されたオフセット補正値s_Off及びゲイン補正値s_Gain を使用してオフセット値208 及びゲイン値210 を直接変更することができる一方、例えば図５を参照して以下に述べるように、これらの値の少なくとも１つの確認を行って、温度が変化している状態でこれらの値の有効性を確認する。

【0074】

図５は、一又は複数の画素に関してオフセット補正値及びゲイン補正値を実証するための図３のステップ303 の実行例を示すフローチャートである。

【0075】

ステップ501 で画像を取り込んで、入力として取り込み画像RAW 、オフセット値OFF_COL, OFF_DISP 、ゲイン値GAIN、及び上記の式１に従って画像を補正するために使用される項α，β，γを与え、オフセット値208 及びゲイン値210 を使用してこの画像を補正する。更に、例えば焦点面温度の情報を受け取る。実際、図３のステップ303 に関連して上述したように、オフセット値及びゲイン値の実証を、例えばオフセット値及びゲイン値を計算したときの温度とは異なる焦点面温度で行う。従って、焦点面温度の情報を使用して、焦点面温度が変化したか否かをチェックする。図５の例では、温度の情報を、温度と共に変化するスケール因子βの値によって与える。本発明者らは、スケール因子βによって与えられる温度情報が、偽画素の新たな補正値を実証するというこのような状況で十分に信頼できることに注目した。しかしながら、代替的な実施形態では、温度センサによって与えられる温度値Ｔを使用することができる。例えば、画素アレイは、焦点面温度を与えるために画素アレイに組み込まれているか又は画素アレイと接している温度センサを有している。

【0076】

ステップ502 で、例えば検出頻度FREQが閾値レベルFREQ_MIN を超えるリストL_SPUR の画素p_iから画素を選択し、これらの画素に関してのみ本方法の以下のステップを行う。

【0077】

ステップ503 で、ゲイン補正値及びオフセット補正値が画素p_iの内第１の画素に関して存在するか否かを判断する。存在する場合、次のステップは504 である一方、存在しない場合、次のステップは505 であり、リスト内の次の画素を選択し、本方法はステップ503 に戻る。

【0078】

代替的な実施形態では、図５の本方法は、検出頻度に関係なく、オフセット補正値及びゲイン補正値が計算されたリスト内の全ての画素p_iに適用され得る。従って、ステップ502 は省略され得る。

【0079】

ステップ504 で、現在の温度依存値βが、図４の方法のステップ405 及びステップ408 の夫々でリストL_SPUR に記憶された画素値p_SPUR1及び画素値p_SPUR2に関連した値β₁ 及び値β₂ のいずれかに等しいか否か又はいずれかに近いか否かを判断する。例えば、値βと値β₁ との絶対差が閾値β_min を超えるか否か、及び値βと値β₂ との絶対差が閾値β_min を超えるか否かを判断する。これらの絶対差のどちらかが閾値未満である場合、本方法は例えばステップ505 に戻る。しかしながら、ゲイン補正値及びオフセット補正値の計算から著しい温度変化（βの変化）がある場合、次のステップは506 である。上述したように、温度の情報としてスケール因子βを使用するのではなく、温度センサによって温度値Ｔを取り込むことができる。このような場合、値β、値β₁ 及び値β₂ を図５のステップ504 で温度値Ｔ、温度値T₁及び温度値T₂と夫々置換する。尚、温度値T₁及び温度値T₂は、以前の画像に関連して測定されて図４のステップ405 及びステップ408 の夫々で記憶された温度値である。

【0080】

ステップ506 で、画素p_iに関するゲイン補正値及びオフセット補正値をトライアルとして使用し、例えば上記の式１、式２及び式３を、式５の場合のように変更されるゲイン値及びオフセット値と共に適用することにより、ステップ501 で取り込まれた画像に関して得られた画素値p_SPUR を補正する。

【0081】

ステップ507 で、画素p_iの変更値が依然として外れ値であるか否か、言い換えれば変更値が偽画素として依然として特定されるか否かを判断する。例えば、偽画素を検出すべくステップ301 で採用された技術を、補正画素p_iを有する画像に適用する。

【0082】

変更値が外れ値ではない場合、焦点面温度がステップ504 でその２つの以前の値から十分に離れていることが分かっているので、補正値は実証されているとみなされ、この温度変化にもかかわらず、画素値は外れ値ではない。従って、次のステップ508 で、オフセット補正値s_Off及びゲイン補正値s_Gain を使用して補正された新たなオフセット値及びゲイン値を、例えばオフセットテーブル208 及びゲインテーブル210 に記憶し、その後、ステップ509 で偽画素のリストL_SPUR から取り除く。

【0083】

しかしながら、画素p_iが依然として外れ値である場合、例えば、ゲイン値及びオフセット値に対する補正によって画素を補正することができないと仮定する。従って、例えばステップ510 で不良画素のリストL_BADPIXELに画素を追加して、その後、ステップ509 でこの画素をリストL_SPUR から取り除く。

【0084】

図３のステップ301 で実行される偽画素を検出する方法の一例を、図６、図７及び図８を参照して以下により詳細に説明する。

【0085】

図６は、取り込み画像の偽画素を検出する方法のステップの例を示すフローチャートである。本方法を、例えば図２の画像処理デバイス112 によって実行し、取り込み画像は、例えばオフセット値208 及びゲイン値210 を適用することにより補正されている。

【0086】

ステップ601 で、隣り合う近傍画素に対して計算された画素値に関する差に基づき入力画像の画素毎にスコアを計算する。

【0087】

ステップ602 で、例えば、計算されたスコアを第１の閾値と比較することにより外れ値を特定する。例えばこのステップを使用して、潜在的な偽画素としてサブセットの画素のみを選択する。しかしながら、ある実施形態ではこのステップを省略することができる。

【0088】

ステップ603 で、例えばステップ602 で特定された外れ値に基づき偽画素を特定する（又はステップ602 が省略されている場合には画像全体から偽画素を特定する）。

【0089】

図７は、スコアを生成するための図６のステップ601 を実行するためのステップの例を示すフローチャートである。この方法は、画素があらゆる順番でも処理され得るが、画像の各画素に順番に、例えばラスタスキャン順に適用する。この方法のステップを図8Aを参照して説明する。

【0090】

図8Aは、図７の方法の例示的な適用を表す画素の５×５のウィンドウの９つのビュー801 〜809 を示す。より一般的には、ウィンドウサイズをＨ×Ｈとして定めることができ、Ｈは、少なくとも３の奇数の整数であり、例えば少なくとも５である。ある実施形態ではＨは１５以下である。Ｈ×Ｈのウィンドウは、スコアが生成される注目画素の周りにあり、言い換えれば、注目画素は例えばウィンドウの中央の画素である。

【0091】

図７を再度参照すると、ステップ701 で、画素の隣り合う近傍画素のリストを作成する。隣り合う近傍画素は、境界又はコーナーポイントを既に選択された画素と共有するあらゆる画素である。従って、画像の縁部にない画素に関して、８つの隣り合う近傍画素がある。最初に、スコアが生成される画素のみを選択する。この画素を本明細書では注目画素と称する。例えば、図8Aのビュー801 によって表されているように、120 の画素値を有する図面に陰影をつけた中央の画素に関してスコアを計算する。ビュー802 によって表されているように、隣り合う近傍画素は中央の画素120 を囲む８つの画素である。

【0092】

ステップ702 で、隣り合う近傍画素の内、注目画素の画素値に最も近い画素値を有する画素を選択する。例えば、画素値ａと画素値ｂとの差ｄ（ａ，ｂ）がｄ（ａ，ｂ）＝｜ａ−ｂ｜として定められる。図8Aのビュー803 によって表されているように、注目画素の画素値と等しい120 の画素値を有する画素を選択する。

【0093】

ステップ703 で、ステップ702 で選択された近傍画素を、注目画素の隣り合う近傍画素のリストから取り除き、ステップ702 で特定された新たに選択された近傍画素の隣り合う近傍画素を含む新たな隣り合う近傍画素を追加する。例えば、図8Aのビュー804 に表されているように、新たに選択された画素に隣り合う新たな３つの画素をリストに追加する。

【0094】

ステップ704 で、ｋ個の隣り合う近傍画素が選択されているか否かを判断する。考慮される近傍画素の数ｋは、例えば隣り合う偽画素の最も高い期待数に基づいて選択される固定パラメータである。例えば、ある画像センサでは、偽画素が常に互いに離れているとみなしてもよい。このような場合、ちょうど２のｋを選択することができる。或いは、所与の画像センサに関して２つの隣り合う偽画素を特定してもよいとみなされ得る場合、例えばｋのより高い値、例えば３〜５の値を選択する。図8Aの例では、ｋは４である。ｋ個の近傍画素をまだ選択していない場合、本方法は、新たな隣り合う近傍画素を再度選択するステップ702 に戻る。次に、ｋ個の近傍画素を選択するまでステップ703 及びステップ704 を繰り返し、その後、ステップ705 を行う。図8Aのビュー805 〜ビュー809 に表されているように、注目画素の４つの近傍画素のブロックを選択する。

【0095】

図8Bは画素のＨ×Ｈウィンドウのビューを示し、単にウィンドウの最も近い近傍画素に基づく差の計算結果と隣り合う最も近い近傍画素に基づく差の計算結果との差を示す。ビュー810 によって表されているように、中央の画素の値と中央の画素の周囲の近傍画素の値との差が大きいため、中央の画素が外れ値である。

【0096】

ビュー811 は、中央の画素の値に最も近い値を有して中央の画素と隣り合っていないウィンドウ内の４つの選択されている近傍画素を表している。この計算によって、画素が外れ値ではないことを示す低いスコアが生成される。

【0097】

ビュー812 は、４つの選択された隣り合う近傍画素を表している。この場合、完全に異なる４つの画素が選択され、スコアは、注目画素が外れ値であることを明瞭に示している。

【0098】

図７を再度参照すると、ステップ705 で、注目画素に関するスコアを、選択された隣り合う近傍画素に基づき計算する。例えば、注目画素p_iに関するスコアs_iを以下の式９に基づいて計算する。

【0099】

【数4】

【0100】

但し、w_iは画素に関連した重みであり、p₁〜p_kは、ｋ個の選択された隣り合う近傍画素である。

【0101】

画素p_iに関する重みw_iは例えば以下の式１０を使用して決定される。

【0102】

【数5】

【0103】

但し、std_locは、画素p_iのＨ×Ｈウィンドウ内の画素に関して計算されて昇順でソートされた局所的標準偏差のアレイであり、εは、例えば0.0001のような非常に低い値に設定されたパラメータである。従って、重みは、Ｈ×Ｈウィンドウ内の部分範囲の画素の標準偏差に基づいており、部分範囲は、画素のランク付けされた標準偏差に基づきＨと（Ｈ² −Ｈ）との間の画素として選択されている。代替的な実施形態では、重みを異なるサブセットの画素の標準偏差に基づいて計算することができる。

【0104】

代替的な実施形態では、異なる重みをスコアに適用することができ、又は、重みをスコアに適用しないことができる。画素の局所的標準偏差に基づく重みを適用するという利点は、画素のゾーンのテクスチャを考慮することができ、より高い重み付けを滑らかなゾーンの画素のスコアに与えて、より低い重み付けを、比較的高い偏差が期待され得るテクスチャゾーンの画素のスコアに与えるということである。

【0105】

図8Cは画素の２つの異なるＨ×Ｈウィンドウのビュー813 及びビュー814 を示し、画素に対する局所的標準偏差に基づく重みを適用するという利点を証明する。両方のビューの注目画素のスコアは同一である。しかしながら、ビュー813 では、注目画素を通過する縁部があり、従って、画素は外れ値としてみなされるべきではない。ビュー814 では、画像は、注目画素の領域で比較的滑らかであり、注目画素は外れ値としてみなされるべきである。局所的標準偏差に基づくビュー814 に関して計算された重みw_iは、ビュー813 に関して計算された重みより高くなる。

【0106】

図６の方法を再度参照すると、ステップ602 には、例えば画像の期待されるスコアに関する確率分布に基づき閾値スコアを決定することが含まれる。本発明者らは、ラプラス分布がほとんどの赤外線画像シーンに特によく適していることを見い出した。

【0107】

Ｓ〜Laplace（０，σ）である場合、｜Ｓ｜〜Exp（σ^-1）が指数分布である。従って、λ＝σ^-1の状態の確率密度関数｜Ｓ｜〜Exp（λ）は、f(x)＝λｅ^-λx の形態であり、但しλ＞０である。その分布関数はF(x)＝１−e^-λx である。サンプルの平均値に基づき平均値を推定してこの平均値の逆数をとることにより、指数分布のパラメータλを推定することができる。

【0108】

【数6】

【0109】

但し、ｎは画像の画素の数である。

【0110】

閾値をthr_outlierを称すると、この閾値を、例えば以下の式１２を使用して

に基づき計算する。

【0111】

【数7】

【0112】

この式１２を使用して閾値を計算するのではなく、代替例として、あるパーセントのスコア、例えば95パーセントのスコアを除去する閾値を単に選択する。しかしながら、ラプラス分布に基づいて上記の閾値を使用して除去するという利点は、雑音によって導入される問題を回避するということである。実際、一定の割合のスコアを選択する場合、選択された画素の数は、雑音の有無に関わらず同一の画像に関して同一である。しかしながら、ラプラス分布に基づき決定された閾値は、画像の雑音のレベルによって異なる。

【0113】

図６のステップ603 には、例えばステップ602 で特定された外れ値から偽画素を特定することが含まれている。この特定は、例えば外れ値のスコアに基づき計算された閾値レベルを超えるスコアを選択することにより行われる。閾値thr_SPUR を、例えば以下の式１３を使用して決定する。
thr_SPUR ＝Q3＋x_EI×（Q3−Q1） （式１３）
但し、x_EI は例えば1.0 〜5.0 の間にあり例えば1.5 であるように選択されているパラメータであり、Q1及びQ3は、ステップ602 で夫々特定された外れ値の第１の四分位数及び第３の四分位数である。

【0114】

ある実施形態では、警告誤りを回避するために、画素のスコアが閾値thr_SPUR を超えて固定値と等しい最小の閾値thr_scoremin を超える場合、画素を偽画素と単にみなす。

【0115】

本明細書に記載されている実施形態の利点は、偽画素が比較的簡単且つ効果的な方法を使用して検出され得るということである。更に、偽画素を補正する方法は、不良画素として分類されるのではなく、ある画素からのシーン情報を含む画素値が、画像の画素を生成するために使用続けられ得ることを意味する。

【0116】

このように少なくとも１つの例示的な実施形態について述べているが、当業者は様々な変更、調整及び改良を容易に想到する。

【0117】

例えば、マイクロボロメータの具体例が図１及び２に関して述べられているが、本明細書に述べられている方法はマイクロボロメータの様々な他の実施、又は他のタイプの赤外線撮像デバイスに適用され得ることは当業者にとって明らかである。

【0118】

更に、様々な実施形態に関して述べられている様々なステップが、他の実施形態では、それらの有効性に影響を与えることなく異なる順序で行われ得ることは当業者にとって明らかである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】