知財求人 - 知財ポータルサイト「IP Force」
特許6887597非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6887597
(24)【登録日】2021年5月21日
(45)【発行日】2021年6月16日
(54)【発明の名称】非均一な補正のための赤外線画像の処理方法、及び画像処理デバイス
(51)【国際特許分類】
G01J 1/44 20060101AFI20210603BHJP
G06T 5/00 20060101ALI20210603BHJP
H04N 1/401 20060101ALI20210603BHJP
H04N 1/407 20060101ALI20210603BHJP
G06T 1/00 20060101ALI20210603BHJP
G01J 1/02 20060101ALI20210603BHJP
G01J 1/42 20060101ALI20210603BHJP
【ＦＩ】
G01J1/44 E
G06T5/00 740
H04N1/401
H04N1/407
G06T1/00 460D
G01J1/02 C
G01J1/02 Q
G01J1/42 B
【請求項の数】17
【全頁数】24
(21)【出願番号】特願2015-93484(P2015-93484)
(22)【出願日】2015年4月30日
(65)【公開番号】特開2015-212695(P2015-212695A)
(43)【公開日】2015年11月26日
【審査請求日】2018年3月7日
(31)【優先権主張番号】1453917
(32)【優先日】2014年4月30日
(33)【優先権主張国】FR
【前置審査】
(73)【特許権者】
【識別番号】520342828
【氏名又は名称】リンレッド
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】サラガグリア アモーリ
(72)【発明者】
【氏名】デュランド アラン
【審査官】
平田 佳規
(56)【参考文献】
【文献】
特開２００６−０２５１４６（ＪＰ，Ａ）
【文献】
特開２００９−０３８６４４（ＪＰ，Ａ）
【文献】
特開２０１０−１９９８６７（ＪＰ，Ａ）
【文献】
特開平１１−１５０６８３（ＪＰ，Ａ）
【文献】
特開２０１３−００９１９０（ＪＰ，Ａ）
【文献】
特開平０９−１６８１１６（ＪＰ，Ａ）
【文献】
特開２０１４−０１１５００（ＪＰ，Ａ）
【文献】
特開平０７−２２２０６０（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｊ １／４２ − １／４６
Ｇ０１Ｊ １／０２
Ｇ０１Ｊ ５／０２
Ｇ０１Ｊ ５／１０ − ５／３４
Ｇ０１Ｊ ５／４８
Ｇ０６Ｔ １／００ − １／４０
Ｇ０６Ｔ ３／００ − ３／６０
Ｇ０６Ｔ ５／００ − ５／５０
Ｇ０６Ｔ ７／００ − ７／９０
Ｈ０１Ｌ ２７／１４ − ２７／１４８
Ｈ０４Ｎ １／４０ − １／４０９
Ｈ０４Ｎ ５／２２２− ５／２５７
Ｈ０４Ｎ ５／３０ − ５／３７８
(57)【特許請求の範囲】
【請求項1】
画像処理方法において、
処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、
前記第１のスケール因子を以下の式に基づいて決定することを特徴とする方法。
但し、α：前記第１のスケール因子
T() ：前記列ベクトルVCOL及び前記入力画像IB(x,y)の行に適用される高域通過フィルタ
処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、
前記第１のスケール因子を以下の式に基づいて決定することを特徴とする方法。
【数1】
T() ：前記列ベクトルVCOL及び前記入力画像IB(x,y)の行に適用される高域通過フィルタ
【請求項2】
前記列オフセット値に基づいて補正された第１の画像を生成し、
前記第２のスケール因子を前記第１の画像に基づいて生成することを特徴とする請求項１に記載の方法。
前記第２のスケール因子を前記第１の画像に基づいて生成することを特徴とする請求項１に記載の方法。
【請求項3】
前記列ベクトル及び前記二次元分散行列を、前記画素アレイと関連付けられた参照画素とによって導入されるオフセットを表わす参照画像に基づいて決定することを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記補正画像を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、
Ic' は前記補正画像であり、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列であることを特徴とする請求項１乃至３のいずれかに記載の方法。
Ic' は前記補正画像であり、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列であることを特徴とする請求項１乃至３のいずれかに記載の方法。
【請求項5】
前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、
前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わすことを特徴とする請求項１又は２に記載の方法。
前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わすことを特徴とする請求項１又は２に記載の方法。
【請求項6】
前記補正画像を以下の式に基づいて生成することを特徴とする請求項５に記載の方法。
【数2】
【請求項7】
前記補正画像に基づいて、前記補正画像に残る列アーティファクトを除去するための少なくとも１つの列補正オフセット値を決定することを特徴とする請求項１乃至６のいずれかに記載の方法。
【請求項8】
前記少なくとも１つの列補正オフセット値を決定する際に、
前記補正画像の画素の少なくとも一部の画素毎に、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて重みを決定し、
前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、
該差を前記重みによって重み付けし、重み付けされた差を列毎に積分し、前記少なくとも１つの列補正オフセット値を生成することを特徴とする請求項７に記載の方法。
前記補正画像の画素の少なくとも一部の画素毎に、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて重みを決定し、
前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、
該差を前記重みによって重み付けし、重み付けされた差を列毎に積分し、前記少なくとも１つの列補正オフセット値を生成することを特徴とする請求項７に記載の方法。
【請求項9】
前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいていることを特徴とする請求項８に記載の方法。
【請求項10】
前記第１のスケール因子を決定する際に、
前記入力画像の行に沿って高域通過フィルタを適用し、
前記列ベクトルに前記高域通過フィルタを適用し、
フィルタ処理された画像の列平均値を決定し、
フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定することを特徴とする請求項１乃至９のいずれかに記載の方法。
前記入力画像の行に沿って高域通過フィルタを適用し、
前記列ベクトルに前記高域通過フィルタを適用し、
フィルタ処理された画像の列平均値を決定し、
フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定することを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項11】
前記第２のスケール因子を決定する際に、
前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、
前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定することを特徴とする請求項１乃至１０のいずれかに記載の方法。
前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、
前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定することを特徴とする請求項１乃至１０のいずれかに記載の方法。
【請求項12】
前記第２のスケール因子を以下の式に基づいて決定することを特徴とする請求項１乃至１１のいずれかに記載の方法。
但し、β：前記第２のスケール因子
IB：前記入力画像
IDISP ：前記二次元分散行列
▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
▽y ：前記入力画像の列方向での画素勾配値
【数3】
IB：前記入力画像
IDISP ：前記二次元分散行列
▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
▽y ：前記入力画像の列方向での画素勾配値
【請求項13】
前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用することを特徴とする請求項１乃至１２のいずれかに記載の方法。
【請求項14】
以下の最小化問題を解決することにより、前記補正画像にゲイン補正を行うためのゲイン補正値γを決定することを特徴とする請求項１乃至１３のいずれかに記載の方法。
但し、var ：分散値
IC' ：前記補正画像
Gain：ゲイン行列
【数4】
IC' ：前記補正画像
Gain：ゲイン行列
【請求項15】
画像処理方法において、
処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、
前記第２のスケール因子を以下の式に基づいて決定することを特徴とする方法。
但し、β：前記第２のスケール因子
IB：前記入力画像
IDISP ：前記二次元分散行列
▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
▽y ：前記入力画像の列方向での画素勾配値
処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、
前記第２のスケール因子を以下の式に基づいて決定することを特徴とする方法。
【数5】
IB：前記入力画像
IDISP ：前記二次元分散行列
▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
▽y ：前記入力画像の列方向での画素勾配値
【請求項16】
列ベクトル及び二次元分散行列を記憶するメモリと、
対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
ように構成された処理デバイスと
を備えており、
前記第１のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイス。
但し、α：前記第１のスケール因子
T() ：前記列ベクトルVCOL及び前記入力画像IB(x,y)の行に適用される高域通過フィルタ
対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
ように構成された処理デバイスと
を備えており、
前記第１のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイス。
【数6】
T() ：前記列ベクトルVCOL及び前記入力画像IB(x,y)の行に適用される高域通過フィルタ
【請求項17】
列ベクトル及び二次元分散行列を記憶するメモリと、
対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
ように構成された処理デバイスと
を備えており、
前記第２のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイス。
但し、β：前記第２のスケール因子
IB：前記入力画像
IDISP ：前記二次元分散行列
▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
▽y ：前記入力画像の列方向での画素勾配値
対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
ように構成された処理デバイスと
を備えており、
前記第２のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイス。
【数7】
IB：前記入力画像
IDISP ：前記二次元分散行列
▽x ：前記入力画像の行方向での隣接画素間の画素勾配値
▽y ：前記入力画像の列方向での画素勾配値
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、赤外線画像センサの分野に関し、特には、赤外光を感知可能な画素の画素アレイによって取り込まれる画像のオフセット補正及びゲイン補正を行なう方法及びデバイスに関する。
【背景技術】
【0002】
赤外線(IR)撮像の分野では、シャッタ又はシャッタのようなハードウェアを使用することなく、取り込まれた画像のオフセット補正を行うことは、マイクロボロメータのような非冷却式IR撮像デバイス、更には冷却式IR撮像デバイスに関する主な課題である。このような撮像デバイスは、画素アレイを形成するIR感知可能な検出器のアレイを備えている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３−８８１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像のオフセット補正の原因である画素アレイの画素間の空間的な非均一性は、経時的に変わるだけでなく、温度に応じても変わる。この問題は一般に、撮像デバイスの内部のメカニカルシャッタを使用して対処されており、次に較正に使用され得る比較的一定のシーンの参照画像を得るためにシャッタが閉じている間に画像を周期的に取り込むことを含んでいる。しかしながら、更なる重量及びコスト、並びにシャッタの壊れ易さのようなシャッタを使用する欠点が複数ある。更にある適用では、シャッタが閉じて較正が行われている間に失われる時間のため、シャッタの使用は受け入れ難い。この較正期間中、シーンの画像を取り込むことができない。
【0005】
オフセット補正を行うための画像処理技術が、シャッタの使用の代案として提案されている。しかしながら、既存の技術は複雑であり且つ／又は画像を適切に補正していない。従って、本技術分野では、赤外線画像のオフセット補正の改良された方法が必要である。
【0006】
先行技術における一又は複数の必要性に少なくとも部分的に対処することが本明細書の実施形態の目的である。
【課題を解決するための手段】
【0007】
一態様によれば、画像処理方法において、処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、前記第１のスケール因子を以下の式に基づいて決定することを特徴とする方法を提供する。
【0008】
【数1】
【0009】
一実施形態によれば、前記方法では、前記列オフセット値に基づいて補正された第１の画像を生成し、前記第２のスケール因子を前記第１の画像に基づいて生成する。
【0010】
一実施形態によれば、前記方法では、前記列ベクトル及び前記二次元分散行列を、前記画素アレイと関連付けられた参照画素とによって導入されるオフセットを表わす参照画像に基づいて決定する。
【0011】
一実施形態によれば、前記方法では、前記補正画像を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、Ic' は前記補正画像であり、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列である。
【0012】
一実施形態によれば、前記方法では、前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わす。
【0013】
一実施形態によれば、前記補正画像を以下の式に基づいて生成する。
【0014】
【数2】
【0015】
一実施形態によれば、前記方法では、前記補正画像に基づいて、前記補正画像に残る列アーティファクトを除去するための少なくとも１つの列補正オフセット値を決定する。
【0016】
一実施形態によれば、前記方法では、前記少なくとも１つの列補正オフセット値を決定する際に、前記補正画像の画素の少なくとも一部の画素毎に、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて重みを決定し、前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、該差を前記重みによって重み付けし、重み付けされた差を列毎に積分し、前記少なくとも１つの列補正オフセット値を生成する。
【0017】
一実施形態によれば、前記方法では、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいている。
【0018】
一実施形態によれば、前記方法では、前記第１のスケール因子を決定する際に、前記入力画像の行に沿って高域通過フィルタを適用し、前記列ベクトルに前記高域通過フィルタを適用し、フィルタ処理された画像の列平均値を決定し、フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定する。
【0019】
一実施形態によれば、前記方法では、前記第２のスケール因子を決定する際に、前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定する。
【0020】
一実施形態によれば、前記方法では、前記第２のスケール因子を以下の式に基づいて決定する。
【0021】
【数3】
【0022】
一実施形態によれば、前記方法では、前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用する。
【0023】
一実施形態によれば、前記方法では、以下の最小化問題を解決することにより、前記補正画像にゲイン補正を行うためのゲイン補正値γを決定する。
【0024】
【数4】
【0025】
更なる態様によれば、画像処理方法において、処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成し、前記第２のスケール因子を以下の式に基づいて決定することを特徴とする方法を提供する。
【0026】
【数5】
【0027】
更なる態様によれば、列ベクトル及び二次元分散行列を記憶するメモリと、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成するように構成された処理デバイスとを備えており、前記第１のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイスを提供する。
【0028】
【数6】
【0029】
更なる態様によれば、列ベクトル及び二次元分散行列を記憶するメモリと、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列分散を表わす列ベクトルとに基づいて、前記入力画像に存在する前記列分散のレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成するように構成された処理デバイスとを備えており、前記第２のスケール因子を以下の式に基づいて決定することを特徴とする画像処理デバイスを提供する。
【0030】
【数7】
【0031】
前述及び他の特徴及び利点は、添付図面を参照して限定ではなく例示として与えられる本実施形態の以下の詳細な記載から明らかになる。
【図面の簡単な説明】
【0032】
【図1】例示的な実施形態に係る撮像デバイスを概略的に示す図である。
【図4】例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。
【図5】更なる例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。
【図6】例示的な実施形態に応じて列残余を除去する方法の動作を示すフローチャートである。
【発明を実施するための形態】
【0033】
以下の記載における実施形態の内の一部はマイクロボロメータタイプの画素アレイに関して述べられているが、本明細書に記載されている方法が、冷却式のデバイスを含む他のタイプのIR撮像デバイスに等しく適用され得ることは当業者にとって明らかである。
【0034】
図１は、赤外光を感知可能な画素アレイ102 を備えたIR撮像デバイス100 を示している。例えば、ある実施形態では、画素アレイは、７〜13μm の波長の光のような長波赤外光を感知可能である。
【0035】
図示を簡単にするために、12行及び12列に配置された144 の画素104 のみの画素アレイ102 が図１に示されている。他の実施形態では、画素アレイ102 は、あらゆる数の行及び列の画素を有し得る。一般的には、画素アレイは、例えば640 ×480 の画素、又は1024×768 の画素を有する。
【0036】
画素アレイ102 の画素の各列は対応する参照構造体106 に関連付けられている。機能的には画素ではないが、この参照構造体は、撮像（又はアクティブ）画素104 との構造的な類似性によって「参照画素」と本明細書では称される。更に、出力ブロック108 が、画素アレイ102 の各列及び参照画素106 の各々に接続されており、生画像IBを与える。
【0037】
制御回路110 が、例えば画素アレイ102 、参照画素106 及び出力ブロック108 に制御信号を与える。生画像IBは例えば画像処理ブロック112 に与えられ、画像処理ブロック112 は、生画像の画素にオフセット及びゲインを適用して補正画像ICを生成する。
【0038】
図２は、撮像デバイスがマイクロボロメータである例に応じて、画素アレイ102 の２つの列C1，C2、これらの列に関連付けられた参照画素及び出力回路を更に詳細に示している。
【0039】
画素アレイ102 の画素の各列は夫々の列ライン202 に接続されている。例えば、各画素104 は、対応する列ライン202 と接地ノードとの間に直列に接続されたスイッチ204 、トランジスタ206 及びボロメータ208 を有している。
【0040】
ボロメータは本技術分野ではよく知られており、例えば基板の上方に掛け渡されてIR吸収物質の層を有する膜を含んでおり、膜は、ボロメータの抵抗が赤外線の存在に関連した膜の温度上昇によって変更する特性を有する。
【0041】
各行の画素のスイッチ204 は例えば共通の選択信号によって制御される。例えば、図２では、第１の行の画素が制御信号S1によって制御されて、第２の行の画素が制御信号S2によって制御される。
【0042】
トランジスタ206 は、ボロメータの端部の一方で一定電圧を誘導して他方の端部を接地することにより、アクティブボロメータの電位降下を制御するためのバイアス電圧VFIDをそのゲートで受けるNMOSトランジスタである。
【0043】
各列に関連付けられた参照画素106 は、対応する列ライン202 とスキミング電圧VSK との間で直列に接続されたトランジスタ210 及びブラインドボロメータ212 を有している。スキミング電圧VSK によって、ブラインドボロメータの一端部で一定電圧を誘導することにより、アクティブ画素及び参照画素によって形成されたボロメータブリッジの最も高い電位が設定される。トランジスタ210 は例えば、ブラインドボロメータの他端部で一定電圧を誘導することにより、ブラインドボロメータの電位降下を制御するためのバイアス電圧GSK をそのゲートで受けるPMOSトランジスタである。
【0044】
ブラインドボロメータ212 は、例えば画素アレイのアクティブボロメータ208 と同様の構造を有しているが、例えば反射壁から形成されたシールドによって及び／又は意図的なヒートシンキングによって、例えば基板に高熱伝導性を与えてボロメータを例えば基板と直接接触させて形成することによって画像シーンからの赤外線を感知しないように構成されている。
【0045】
各列ライン202 は、図１の出力ブロック108 の出力回路を形成する部分に更に接続されている。図２の例では、出力回路は夫々、対応する列ライン202 に接続された負入力端子と基準電圧VBUSを受ける正入力端子とを有する容量性トランスインピーダンス増幅器（CTIA）214 を備えている。増幅器214 の出力は、列の出力電圧Voutを与える。コンデンサ216 及びスイッチ218 が、増幅器214 の負入力端子と出力端子との間に互いに並列に接続されている。
【0046】
画素アレイ102 の読取り操作中に、夫々の行の画素は、コンデンサ216 の電圧をリセットすべく出力ブロック108 の各出力回路のスイッチ218 を作動及び停止することにより、且つ読み取られるべき行の適切な制御信号S1，S2などを有効にすることにより例えば一度に１つずつ読み出される。参照画素の電流ICOMPとアクティブ画素の電流IAC との差が、有限積分時間にコンデンサ216 によって積分されて、画素値を表わす出力電圧Voutが生成される。
【0048】
画像処理ブロック112 の機能は例えばソフトウェアで実行され、画像処理ブロック112 は、命令メモリ304 に記憶された命令の制御下の一又は複数のプロセッサを有する処理デバイス302 を備えている。他の実施形態では、画像処理ブロック112 の機能は専用のハードウェアによって少なくとも部分的に実行され得る。このような場合には、処理デバイス302 は例えばASIC（特定用途向け集積回路）又はFPGA（フィールドプログラマブルゲートアレイ）を有しており、命令メモリ304 が省略されてもよい。
【0049】
処理デバイス302 は生入力画像IBを受けて補正画像ICを生成し、補正画像は、例えば撮像デバイスのディスプレイ（不図示）に与えられる。処理デバイス302 はデータメモリ306 に更に接続されており、データメモリ306 は、画素アレイ102 によって導入された構造的な列広がりを表わす列ベクトルVCOLと、画素アレイ102 によって導入された構造的な二次元非列分散を表わす二次元分散行列IDISPとを記憶する。列広がりは例えば主に、各列の参照画素の行が一般的には完全に均一ではないけれども、各列の参照画素106 を使用することに起因する。二次元非列分散は、例えば技術的処理分散に起因する画素アレイのアクティブボロメータ間の局所的な物理的及び／又は構造的な差によって主に生じる。データメモリ306 は例えば、以下に更に詳細に述べるゲイン行列を更に記憶する。
【0050】
図４は、例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。この画像処理方法は、例えば上記の画像処理ブロック112 によって実行される。
【0051】
生画像IBが図１の画素アレイ102 によって取り込まれ、画素アレイは、画素アレイの各列が対応する参照画素に関連付けられていると仮定する。
【0052】
更に、列ベクトルVCOL及び二次元分散行列IDISP が利用可能であると仮定する。列ベクトルVCOL及び二次元分散行列IDISPを例えば、撮像デバイスの初期設定段階中に取り込まれる単一の参照画像IREF(x,y) に基づいて生成する。参照画像は、例えば黒体源又は均一な放射性シーンの前で制御温度で取り込まれる画像である。主に一時的なノイズを取り除くために、参照画像は、例えば約50フレームのような複数のフレームを平均することにより得られる。この参照画像IREF(x,y) は、例えば以下の式に従って構造的な列要素及び二次元分散要素を有するとみなされる。
【0053】
【数8】
【0054】
但し、ICOL(x,y) ：画素アレイの列間の参照列広がりを表わす行列IDISP(x,y)：画素アレイの画素毎の参照二次元分散を表わす二次元分散行列
【0055】
行列ICOLは、画像の列の数ｎに等しい長さを有する列ベクトルVCOLによって表され得る。例えば、行列ICOL(x,y) は画像の行の数に等しい数ｍの行を有しており、各行は列ベクトルVCOLを有する。列ベクトルVCOLの生成には例えば、参照画像IREFを処理して列要素を抽出することが含まれる。列要素は例えば、列毎の列の画素値の平均値に等しい。二次元分散行列IDISPの生成には例えば、参照画像の各画素値から対応する列広がり値VCOL(x) を減算することが含まれる。
【0056】
図４の第１のステップ401 では、生画像IBに関して、生画像IBの列広がりVCOLのレベルを表わすスケール因子αを決定する。一実施形態では、スケール因子αの値を、生画像IBの列要素ICOLの量の最小化に基づいて決定する。スケール因子αの値を以下の最小化関数として表現することができる。
【0057】
【数9】
【0058】
上記に示されているように、列ベクトルVCOL(x) が列毎に単一の値を定めるので、行列ICOL(x,y) は列ベクトルVCOL(x) として表され得る。この最小化問題の解決を容易にして計算を単純化するために、生画像IBを、例えば各列の平均をとることによりベクトルの形態に変換する。更に高域フィルタを、例えば画像に水平方向に、言い換えれば行の方向に適用し、更に列ベクトルVCOL(x) に適用する。その後、最小化問題を、例えば変換された画像の列の平均値に基づいて以下の通り計算する。
【0059】
【数10】
【0060】
但し、T() ：列ベクトルVCOL及び入力画像IB(x,y) に適用される高域フィルタｍ：画像の行の数
【0061】
例えば、フィルタ関数はT(X)＝X*hpとして、言い換えれば行列Ｘの水平方向の高域フィルタhpとの畳込みとして定められる。一例では、フィルタ関数hpは、ｘ方向の寸法に沿ってローカルウィンドウ内の中心画素に適用される係数［0.0456 -0.0288 -0.2956 0.5575 -0.2956 -0.0288 0.0456］によって定められる。より一般的には、フィルタは、例えば画像の垂直方向の縁部を鮮鋭化する、言い換えれば列ノイズを抽出するように構成された高域フィルタである。
【0062】
最小化問題を、例えばスケール因子αに関して以下の直接解法に基づいて解決する。
【0063】
【数11】
【0064】
言い換えれば、スケール因子αの決定には、例えば高域フィルタを生画像にその行に沿って適用して更に参照列ベクトルに適用し、フィルタ処理された画像の列平均値を決定し、その結果、参照列ベクトルと同一の大きさのベクトルを得て、その後、２つの列ベクトル間の差、つまりフィルタ処理された画像の列平均値とフィルタ処理された列ベクトルの列平均値との差の最小化としてスケール因子を決定することが含まれる。
【0065】
以下に更に詳細に述べるように、スケール因子αにより、画像に関して列オフセット値α・ICOL(x,y) を決定することができる。
【0066】
図４を再度参照すると、その後のステップ402 では、生画像IBに関して生画像の参照二次元分散行列IDISP の寄与レベルを表すスケール因子βを決定する。
【0067】
スケール因子βを決定するために、取り込まれる画像は、例えば自然シーンの統計値を有する自然画像であり、画素間の局所的に高い変化量、つまり画素とその近隣画素との変化量が一定の二次元分散の結果であると仮定する。スケール因子βの値を、例えば全体画像に亘るこの分散の影響を減らすように決定する。採用された手法では、例えば以下の式に基づいて画像内の全変化量(TV)を最小化する。
【0068】
【数12】
【0069】
但し、▽()は画素勾配値である。最小化問題の適した近似法として、スケール因子βを例えば以下の式の最小化として処理する。
【0070】
【数13】
【0071】
このような最小化問題を、例えばスケール因子βに関する以下の直接解法に基づいて解決する。
【0072】
【数14】
【0073】
但し、▽x ：画像の水平方向の、言い換えれば各行に沿った隣接画素間の画素勾配値▽y ：画像の垂直方向の、言い換えれば各列に沿った隣接画素間の画素勾配値
【0074】
従って、ステップ402 には、生入力画像の画素毎に、且つ参照二次元分散行列の要素毎に少なくとも１つの隣接画素に基づいて勾配値を決定して、生入力画像の勾配値と参照二次元分散行列の勾配値との差の最小化に基づいてスケール因子βを決定することが含まれる。
【0075】
この例では、スケール因子βを生画像IBに基づいて決定する。しかしながら、他の実施形態では、列オフセット値α・ICOL(x,y) を除去した後にスケール因子βを画像に基づいて決定することができる。従って、スケール因子βに関する直接解法は以下のようになる。
【0076】
【数15】
【0077】
但し、ICC：各画素(x,y) が例えばIcc(x,y)＝IB(x,y)−α×ICOL(x,y)の式に基づいて補正された画像ICOL(x,y) ：列ベクトルVCOL(x) をその行の各々に有する行列
【0078】
ある実施形態では、ステップ402 の計算の際に、上側閾値未満の画素勾配値のみを考慮する。実際には、例えば、非常に高い勾配値が画像内のシーンに関する縁部に相当すると仮定する。例えば、この上側閾値を、参照二次元分散行列IDISPに関して計算された最も高い勾配値の約３倍であるように選択する。
【0079】
その後のステップ403 では、α・ICOL(x,y) に等しい列オフセット値と、β・IDISP(x,y)に等しい画素オフセット値とに基づいて補正画像IC' を生成する。例えば、補正画像をIc' ＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式を用いて計算する。
【0080】
【数16】
【0081】
ある実施形態では、ステップ401 〜ステップ403 で十分なオフセット補正を行ってもよく、この場合、補正画像IC' を図１の画像処理ブロック112 の出力で画像ICとして与える。他の実施形態では、例えば追加のステップ404 及び／又は追加のステップ405 を続いて行って、最終画像ICを生成する。
【0082】
ステップ404 では、例えば、補正画像IC' から画像補正係数γを減算して、その結果の各画素値にゲイン行列を乗算する前に、補正画像IC' から画像補正係数γを計算することによりゲイン補正を補正画像に適用する。例えば、以下の最小化問題を解決することによりこのゲイン補正値である画像補正係数γを得る。
【0083】
【数17】
【0084】
従って、画像補正係数γに関する直接解法が以下のようになる。
【0085】
【数18】
【0086】
このようなゲイン行列を、例えば当業者にとって通常のことであるように、黒体源のような均一源の前で２つの異なる温度で取り込まれた２つの参照画像間の差から決定する。
【0087】
その後、補正画像のゲイン行列との乗算に基づいて補正画像IC" を生成する。例えば、補正画像IC" を、IC"＝（IC'−γ）×Gainの式を用いて計算する。
【0088】
ステップ405 では、例えば画像に残る列残余及び／又は分散残余のようなオフセット残余を除去する。
【0089】
図５は、更なる例示的な実施形態に係る画像のオフセット補正の方法のステップを示すフローチャートである。
【0090】
処理ブロック（αを計算する）502 に表されているように、例えば入力画像IB及び列ベクトルVCOLを使用して、スケール因子αを生成する。その後、列ベクトルVCOLにスケール因子αを乗算して、列オフセット値α・VCOL(y) を生成する。その後、これらのオフセット値を生画像IBから減算して列広がり補正画像ICC を得る。
【0091】
処理ブロック（βを計算する）504 に表されているように、例えば列広がり補正画像ICC 及び二次元分散行列IDISPを使用して、スケール因子βを生成する。次に、二次元分散行列IDISP にスケール因子βを乗算して、画素オフセット値β・IDISP(x,y)を生成する。その後、これらのオフセット値を列広がり補正画像ICCから減算して補正画像IC' を生成する。
【0092】
更に、列オフセット値α・VCOL(y) 及び画素オフセット値β・IDISP(x,y)を共に加算して、参照画像オフセット値（RIオフセット値）506 を得る。
【0094】
処理ブロック508 に表わされているように、その後、列残余補正値（CRオフセット値）510 及び列残余補正画像ICRを生成するために、例えば補正画像IC' に基づいて列残余補正を行う。実際には、各列の回路に関連付けられたあるオフセットが画像に存在し続けて、画像中で目に見える垂直方向のストライプになる可能性がある。例えば列残余補正を行ってこのような列アーティファクトを除去する。
【0095】
処理ブロック512 によって表わされているように、その後、例えば列残余補正画像ICRに基づいて二次元分散残余補正を行い、二次元分散残余オフセット値（DRオフセット値）514 を生成する。分散残余補正を、例えばエッジを保存してノイズを除去する平滑化フィルタ、例えば異方性拡散フィルタを用いて行う。
【0096】
図５の例では、参照画像オフセット値506 、列残余オフセット値510 及び分散残余オフセット値514 を共に合算して、画像に適用されるべき合算されたオフセット値SOV(x,y)を得る。その後、これらのオフセット値SOV(x,y)を生画像IBから減算する。しかしながら、合算されたオフセット値SOV(x,y)を決定することによる利点は、このようなオフセット値がこれらのオフセット値を生成すべく使用される画像とは異なる画像に適用されてもよいということである。例えば、生画像IBが撮像デバイスによって取り込まれたビデオシーケンスのフレームであるという場合、例えばシーケンス中のその後の画像からオフセット値SOV(x,y)を減算する。このため、取り込まれた生画像と利用可能な補正画像との時間遅延が低減される。
【0097】
他の実施形態では、参照画像オフセット値506 を現在の生画像又は後続の生画像に適用し、その結果得られた補正画像IC' にゲイン補正を行い、列残余オフセット値及び分散残余オフセット値を例えばゲイン補正画像に適用する。
【0099】
図６は、画像に、例えば上記の処理によって得られる補正画像ICに適用されるべき列残余オフセット値を計算する方法のステップを示すフローチャートである。これらのステップを、例えば上記に述べた図３の画像処理ブロック112 によって実行する。
【0100】
第１のステップ601 では、画素の近隣画素によって定められた画像の局所ゾーンの均一性の推定結果に基づいて、画像の各列の画素毎に重みwx,yを計算する。列間の差異が構造的な（一定の）列残余によるものである可能性が高くなるにつれて、均一性が高くなり、画素に関連付けられた重みが大きくなる。例えば、その計算は、対象の画素を含む９×３の近隣画素に画素毎に基づいており、言い換えれば、対象の画素の左側及び右側の４つまでの画素と対象の画素の上下の１つまでの画素とにより定められた矩形状のゾーンに画素毎に基づいている。例えば各画素の近隣画素に関して局所勾配及び水平方向の局所分散を計算することにより均一性を推定する。ある実施形態では、より詳細には以下に述べるように、低域フィルタによって列を垂直方向にフィルタ処理した後、重みを画像に基づいて計算する。
【0101】
その後のステップ602 では、対応する重みによって各列と次の列との平均差を重み付けして、列毎に対応する列／列オフセット値▽Colw(x) を得る。例えば、列／列オフセットベクトル▽Colw(x)を以下の式に基づいて決定する。
【0102】
【数19】
【0103】
但し、wx,y：上記のステップ601 で計算された重みIx+1,y：次の列x+1の位置ｙにおける画素値
Ix,y：現在の列ｘの位置ｙにおける画素値
言い換えれば、各列／列オフセット値▽Colw(x) は、列ｘの画素値と列x+1 の画素値との重み付けされた差の平均値として決定される。行の最後の列オフセット値は、例えば０に設定される。
【0104】
更なるステップとして、列／列オフセットが単に列と次の列との前方オフセットを表わすので、オフセットベクトルの各項を、例えば後方に積分する。つまり最後から２番目の項から始めて第１の項に達するまで各列オフセット値を前の列オフセット値に累積的に加算することにより積算し、OffCol(n)＝０及びOffCol(x−1)＝OffCol(x)＋▽Colw(x−1)の式を用いて最終列オフセット項OffCol(x) を得る。
【0105】
これらのオフセット値は例えば、図５に510 が付された列残余オフセット値を与え、このような列残余オフセット値は例えば他のオフセット値と合算されて、生画像IB又はその後の生画像から減算されるべき合算されたオフセット値SOV(x,y)を得る。或いは、その後のステップ603 で、クリアな画像ICRを生成するために列広がりVCOL及び二次元分散行列IDISP に基づいて既に補正されている補正画像IC' にオフセット値を適用する。更に図６の破線の矢印によって表わされているように、ある実施形態では、より構造的な列残余を除去するために、ステップ601 及びステップ602 を、生成されたクリアな画像に基づいて一又は複数回繰り返す。
【0107】
図示されているように、画素が存在するゾーンの均一性に基づいて重みを計算する図６のステップ601 は、例えばサブステップ701 〜サブステップ704 を有する。
【0108】
サブステップ701 には、画像の列に沿って低域フィルタを垂直方向に適用することが含まれる。このような低域フィルタを適用することにより、例えば画像センサに固有の固定パターンノイズ（FPN ）の影響を減らす。このフィルタ処理ステップは任意である。フィルタは、例えばカーネルサイズwG及びその標準偏差σにより定められるガウスフィルタである。一例では、フィルタは９のカーネルサイズwG及び２の標準偏差を有する。
【0109】
【数20】
【0110】
【数21】
【0111】
但し、Gx及びGy：夫々ｘ及びｙのソーベル演算子Ｉ：例えばサブステップ701 でフィルタ処理された後の画像
【0112】
【数22】
【0113】
【数23】
【0114】
サブステップ703 では、例えば以下の式に基づいて水平方向の局所分散の値及び局所勾配の値の各々に水平方向の形態的拡張を行う。
【0115】
【数24】
【0116】
【数25】
【0117】
水平方向の形態的拡張は、シーンの高コントラストの垂直構造体の存在下で高い水平方向の勾配値及び／又は高い分散値を有するゾーンの影響を水平方向に近隣画素まで広げることにより、（通常光学収差によって引き起こされる）重み計算へのボケの影響を減らすという効果を有する。
【0118】
【数26】
【0119】
【数27】
【0120】
或いは、勾配値及び分散値にスカラを適用することにより勾配値及び分散値に異なる影響を与えることができる。例えば、以下の式によって重みを決定する。
【0121】
【数28】
【0122】
但し、ａ及びｂはスカラであり、例えばａ＋ｂ＝１である。例えば、ｂをａより大きいように、例えば５倍以上大きいように選択することにより、水平方向の分散影響を適用することができる。
【0123】
図７を再度参照すると、重みwx,yは重みマップ705 を形成する。ある実施形態では、重みを画像の全ての画素毎に計算する一方、他の実施形態では、計算時間を短縮するために、ある画素のみに、例えば画像の１行おき、２行おき又は３行おきの画素に重みを加えるようにサブステップ701 〜サブステップ704 を適合することが可能である。
【0124】
その後のステップは図６のステップ602 であり、このステップでは、列／列オフセット値▽Colw(x) を例えば上記に記載の以下に示す式に基づいて決定する。
【0125】
【数29】
【0126】
項（Ix+1,y−Ix,y）は、列ｘと列x+1 との前方差分であり、例えば、図７のステップ706 で補正画像IC' に基づいて計算される。ある実施形態では、ある閾値未満の前方差分のみが、所与の列の平均を計算する際に対象となる。実際、ある閾値を超えた値が、除去されるべきでない画像シーンの垂直方向の縁部を表わすとみなされ得る。例えば一列と次の列との最大予想列差より僅かに大きいように閾値を選択する。その後、オフセット値OffCol(x) を、上記に説明されているように例えば列／列オフセット値▽Colw(x) を積分することにより計算する。
【0127】
上述したように、ステップ603 でベクトルのオフセット値OffCol(x) を例えば補正画像IC' から減算して、列アーティファクトが画像から取り除かれたクリアな画像ICR を生成するか、又は、オフセット値を図５に表わされているように他のオフセット値に加算することができる。
【0128】
本明細書に述べられているようなオフセット補正方法の利点は、メカニカルシャッタの使用を必要とせず、非常に効果的であると分かっていることである。
【0129】
特に、本明細書に述べられているタイプの画素アレイでは、温度による画素及び参照画素の変化量がアレニウス式に従い、活性化エネルギーが全ての画素で基本的には同一であり、基本的には全ての参照画素で同一であり、画素間分散が各画素について記述するアレニウス式の一定の前因子内に完全に又は少なくとも基本的に含まれているとみなされ得ることを意味すると本発明者らは見出した。従って、画素アレイによって導入されるオフセットを一次元要素及び二次元要素に分解して、スケール因子α及びスケール因子βを誘導してこれらの要素を表わすことにより、効果的なオフセット補正が、メカニカルシャッタを使用することなく達成され得る。
【0130】
このように少なくとも１つの例示的な実施形態について述べているが、当業者は様々な変更、調整及び改良を容易に想到する。
【0131】
例えば、マイクロボロメータの具体例が図２に関して述べられているが、本明細書に述べられている方法はマイクロボロメータの様々な他の実施、又は他のタイプのIR撮像デバイスに適用され得ることは当業者にとって明らかである。
【0132】
更に、様々な実施形態に関して述べられている様々なステップが、他の実施形態では、それらの有効性に影響を与えることなく異なる順序で行われ得ることは当業者にとって明らかである。例えば、スケール因子α及びスケール因子βを決定する順序を変えることができる。