(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-23
(45)【発行日】2022-08-31
(54)【発明の名称】ビデオ画像のクラッタの再帰的抑制
(51)【国際特許分類】
G06T 5/00 20060101AFI20220824BHJP
H04N 5/243 20060101ALI20220824BHJP
【ＦＩ】
G06T5/00 705
H04N5/243
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2018120681
(22)【出願日】2018-06-26
(65)【公開番号】P2019032824
(43)【公開日】2019-02-28
【審査請求日】2021-06-18
(31)【優先権主張番号】15/656,808
(32)【優先日】2017-07-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(74)【代理人】
【識別番号】100154922
【弁理士】
【氏名又は名称】崔 允辰
(72)【発明者】
【氏名】デニス・ジェイ・イェルトン
【審査官】山口 大志
(56)【参考文献】
【文献】特開２００３－２５００９３（ＪＰ，Ａ）
【文献】特開平１０－２８８６６０（ＪＰ，Ａ）
【文献】特開２０１７－１０２２４５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／００
Ｈ０４Ｎ ５／２４３
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ビデオ画像におけるクラッタを抑制するための装置であって、前記装置に複数の動作を行わせるように構成されたプロセッサ（１１８）を備え、
前記複数の動作が、少なくとも、
焦点面アレイ（１０２）からビデオ画像を受信することと、
前記ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換に前記ビデオ画像を分解することと、
前記ビデオ画像の画像から前記サブイメージを除去して、前記画像のクラッタ抑制済み版を生成することと、
前記画像のクラッタ抑制済み版をレンダリングすることとを含み、
前記ビデオ画像の画像から前記サブイメージを除去して、前記画像のクラッタ抑制済み版を生成することが、少なくとも、
前記サブイメージに対する各ゼロ次補正を生成して、前記画像から各ゼロ次補正を減算することと、
各ゼロ次補正から前記サブイメージに対する各一次補正を再帰的に生成して、前記画像から各一次補正を減算することとを含み、
各一次補正が生成されて前記画像から減算される前に各ゼロ次補正が生成されて前記画像から減算される、装置。
【請求項2】
前記ビデオ画像を分解することが、前記焦点面アレイ（１０２）に関連する固定パターンノイズであるクラッタパターンに対応する独立移動座標変換に前記ビデオ画像を分解することを含む、請求項１に記載の装置。
【請求項3】
前記画像が前記ビデオ画像のｋ番目のフレームの画像であり、前記サブイメージを除去することが、前記ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、前記各ゼロ次補正を生成することが、前記ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成することを備え、前記ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成することが、少なくとも、
前記ｋ番目のフレームまでであって前記ｋ番目のフレームを含む前記ビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像（２０２）を生成することと、
前記Ｎ個の連続フレームから前記ｋ番目のフレームへの前記ｍ番目のサブイメージの各座標変換（２０６）を用いて、前記Ｎ個の連続したＤＣ除去済み画像（２０２）を変換することによって、Ｎ個の変換済み画像を生成することと、
前記Ｎ個の変換済み画像を累積及び正規化して、前記ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正（２１２）を得ることとを含む、請求項１又は２に記載の装置。
【請求項4】
前記サブイメージがＭ個のサブイメージであり、前記画像が前記ビデオ画像のｋ番目のフレームの画像であり、前記サブイメージを除去することが、前記ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、前記各一次補正を再帰的に生成することが、前記ｋ番目のフレームのＭ個のサブイメージの全てに対する各ゼロ次補正から前記ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することを含む、請求項１から３のいずれか一項に記載の装置。
【請求項5】
前記ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することが、少なくとも、前記ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換を用いてサブイメージに対するゼロ次補正を個別に変換することであって、各座標変換が前記ビデオ画像のＮ個の連続フレームのｋ番目のフレームから前記Ｎ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、前記ｑ番目のフレームから前記ｋ番目のフレームへの前記ｍ番目のサブイメージの座標変換との組み合わせであり、前記複数の座標変換が１からＮまでの値のｑを含み、前記ゼロ次補正を個別に変換することが前記サブイメージに対するＮ個の変換済みゼロ次補正を生成することと、
前記サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、前記サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとを含み、更に、
前記ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、前記ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることを含む、請求項４に記載の装置。
【請求項6】
前記各一次補正を再帰的に生成することが、前記サブイメージに対する各一次補正及び高次補正を再帰的に生成することを含み、前記画像から各一次補正を減算することが、前記画像から各一次補正及び高次補正を減算することを含み、ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成され前記画像から減算される前に各ｎ次補正が生成され前記画像から減算される、請求項１から５のいずれか一項に記載の装置。
【請求項7】
前記サブイメージがＭ個のサブイメージであり、前記画像が前記ビデオ画像のｋ番目のフレームの画像であり、前記サブイメージを除去することが、前記ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、前記各一次補正及び高次補正を再帰的に生成することが、前記ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対して各ｎ次補正から前記ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することを含む、請求項６に記載の装置。
【請求項8】
前記ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することが、少なくとも、前記Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、
複数の座標変換を用いて前記サブイメージに対するｎ次補正を個別に変換することであって、各座標変換が前記ビデオ画像のＮ個の連続フレームのｋ番目のフレームから前記Ｎ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、前記ｑ番目のフレームから前記ｋ番目のフレームへの前記ｍ番目のサブイメージの座標変換との組み合わせであり、前記複数の座標変換が１からＮまでの値のｑを含み、前記ｎ次補正を個別に変換することが前記サブイメージに対するＮ個の変換済みｎ次補正を生成することと、
前記サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、前記サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとを含み、更に、
前記Ｍ個のサブイメージの少なくとも一部に対して前記累積、正規化、及びネガ化済みｎ次補正を累積して、累積を得ることを含み、
前記累積が前記ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又は、前記累積から前記ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる、請求項７に記載の装置。
【請求項9】
前記Ｍ個のサブイメージの少なくとも一部が前記Ｍ個のサブイメージの全部であり、前記ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することが、前記累積から前記ｍ番目のサブイメージに対する累積、正規化、及びネガ化済みｎ次補正を減算して、前記ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることを更に含む、請求項８に記載の装置。
【請求項10】
ビデオ画像におけるクラッタを抑制する方法であって、焦点面アレイ（１０２）からビデオ画像を受信すること（４０２）と、
前記ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換に前記ビデオ画像を分解すること（４０４）と、
前記ビデオ画像の画像から前記サブイメージを除去して、前記画像のクラッタ抑制済み版を生成すること（４０６）と、
前記画像のクラッタ抑制済み版をレンダリングすること（４１６）とを備え、
前記ビデオ画像の画像から前記サブイメージを除去して、前記画像のクラッタ抑制済み版を生成すること（４０６）が、
前記サブイメージに対する各ゼロ次補正を生成すること（４０８）及び前記画像から各ゼロ次補正を減算すること（４１０）と、
前記各ゼロ次補正から前記サブイメージに対する各一次補正を再帰的に生成すること（４１２）及び前記画像から各一次補正を減算すること（４１４）とを含み、前記各一次補正が生成され前記画像から減算される前に前記各ゼロ次補正が生成され前記画像から減算される、方法。
【請求項11】
前記ビデオ画像を分解することが、前記焦点面アレイ（１０２）に関連する固定パターンノイズであるクラッタパターンに対応する独立移動座標変換に前記ビデオ画像を分解することを含む、請求項１０に記載の方法。
【請求項12】
前記画像が前記ビデオ画像のｋ番目のフレームの画像であり、前記サブイメージを除去することが、前記ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、前記各ゼロ次補正を生成することが、前記ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成することを備え、前記ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成することが、
前記ｋ番目のフレームまでであって前記ｋ番目のフレームを含む前記ビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像（２０２）を生成することと、
前記Ｎ個の連続フレームから前記ｋ番目のフレームへの前記ｍ番目のサブイメージの各座標変換を用いて前記Ｎ個の連続したＤＣ除去済み画像（２０２）を変換することによって、Ｎ個の変換済み画像を生成することと、
前記Ｎ個の変換済み画像を累積及び正規化して、前記ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとを含む、請求項１０又は１１に記載の方法。
【請求項13】
前記サブイメージがＭ個のサブイメージであり、前記画像が前記ビデオ画像のｋ番目のフレームの画像であり、前記サブイメージを除去することが、前記ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、前記各一次補正を再帰的に生成することが、前記ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正から前記ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することを含む、請求項１０から１２のいずれか一項に記載の方法。
【請求項14】
前記ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することが、前記ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換を用いて前記サブイメージに対するゼロ次補正を個別に変換することであって、各座標変換がビデオ画像のＮ個の連続フレームのｋ番目のフレームから前記Ｎ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、前記ｑ番目のフレームから前記ｋ番目のフレームへの前記ｍ番目のサブイメージの座標変換との組み合わせであり、前記複数の座標変換が１からＮまでの値のｑを含み、前記ゼロ次補正を個別に変換することが、前記サブイメージに対するＮ個の変換済みゼロ次補正を生成することと、
前記サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化及びネガ化することによって、前記サブイメージに対する累積、正規化及びネガ化済みゼロ次補正を生成することとを含み、更に、
前記ｍ番目のサブイメージを除く前記Ｍ個のサブイメージに対する累積、正規化及びネガ化済みゼロ次補正を累積して、前記ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることを含む、請求項１３に記載の方法。
【請求項15】
前記各一次補正を再帰的に生成することが、前記サブイメージに対する各一次補正及び高次補正を再帰的に生成することを含み、前記画像から各一次補正を減算することが前記画像から各一次補正及び高次補正を減算することを含み、ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成され前記画像から減算される前に各ｎ次補正が生成され前記画像から減算される、請求項１０から１４のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般的に撮像及び追跡に係り、特にビデオ画像のクラッタの再帰的抑制に関する。
【背景技術】
【0002】
撮像及び追跡システムは典型的には物体を特定及び追跡するセンサを含む。例えば、レーダーシステム等の一部センサは信号を送信し、その信号は物体から反射してシステムによって受信される。電気光学センサ等の他のセンサは、物体自体から電磁放射信号を受信する。この分野における改善は、センサがより正確になるように改良することを目的としてきた。
【0003】
具体的には、電気光学センサは典型的には望遠鏡と、赤外放射を検出する焦点面アレイとを用いる。固定パターンノイズ（ＦＰＮ，ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ）の抑制は電気光学センサの開発分野の一つである。一般的に、較正又は不均一性補正が、固定パターンノイズを抑制するのに用いられてきた。しかしながら、この固定パターン抑制方法は、特に生画像が強烈なクラッタを有する場合に、大きな残留固定パターンを残し得て、センサ性能を制限し、センサノイズレベルを増大させる。また、使用前に較正を行うことができないような場合もあり、システムを即座に使用しなければならなくなる。更に、移動プラットフォーム上に望遠鏡及び焦点面アレイを有する光学センサを用いて物体を追跡することには、追加的な問題、例えば、移動プラットフォームの動きを補償する必要性等が生じる。
【0004】
撮像及び追跡システムからのビデオ画像におけるＦＰＮを除去する手法は開発されていて、こうした手法の多くは、クラッタが無い又はクラッタが穏やかな画像に対しては非常に上手く機能する。しかしながら、強烈なクラッタを有する画像用にこうした手法を改善する装置及び方法が望まれ得る。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の例示的実施形態は、ビデオ画像におけるクラッタを抑制するための改良された装置、方法、及びコンピュータ可読記憶媒体を対象としている。本開示の例示的実施形態は、再帰性動き補償積分法を用いて、ビデオ画像において独立して動いているクラッタパターン（又は領域）を再帰的に抑制し、そのクラッタパターンの一つはＦＰＮであり得るが、これのみに限定されない。本開示の例示的実施形態は、ビデオ画像におけるクラッタパターンを再帰的に除去するための技術案を提供し、特にぼんやりとした目標に対して、優れた目標検出をもたらすようにする。ビデオ画像におけるクラッタの抑制は、強烈なクラッタによって更に曖昧になる検出が難しい目標を検出することを可能にする。
【課題を解決するための手段】
【0006】
本開示は、以下説明する例示的実施形態を含むが、これらに限定されるものではない。
【0007】
一部の例示的実施形態は、ビデオ画像におけるクラッタを抑制する方法を提供し、本方法は、焦点面アレイからビデオ画像を受信することと、ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（これは、サブイメージに対する各ゼロ次補正を生成することと、画像から各ゼロ次補正を減算することと、各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成することと、画像から各一次補正を減算することとを含み、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、画像のクラッタ抑制済み版をレンダリングすることとを備える。
【0008】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、ビデオ画像を分解することは、クラッタパターン（そのうちの一つは焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解することを含む。
【0009】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、前記画像はビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することは、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、各ゼロ次補正を生成することは、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成すること（これは、ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとを含む）とを備える。
【0010】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、前記サブイメージはＭ個のサブイメージであり、前記画像はビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することは、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、各一次補正を再帰的に生成することは、ｋ番目のフレームのＭ個のサブイメージ全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することを含む。
【0011】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することは、ｍ番目のサブイメージを除く各サブイメージに対して独立的に、複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化（ネゲート）することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することを含み、また、ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることを含む。
【0012】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、各一次補正を再帰的に生成することは、サブイメージに対する各一次補正及び高次補正を再帰的に生成することを含み、画像から各一次補正を減算することは、画像から各一次補正及び高次補正を減算することを含み、ここで、ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成され画像から減算される前に各ｎ次補正が生成され画像から減算される。
【0013】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、前記サブイメージはＭ個のサブイメージであり、前記画像はビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することは、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、各一次補正及び高次補正を再帰的に生成することは、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することを含む。
【0014】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することは、Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化（ネゲート）することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することを含み、また、Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積を得ることを含み、その累積はｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる。
【0015】
以上若しくは以下のいずれかの例示的実施形態又はこれらの組み合わせにおける方法の一部の例示的実施形態では、前記Ｍ個のサブイメージの少なくとも一部はＭ個のサブイメージの全部であり、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することは、前記累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済みｎ次補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることを更に含む。
【0016】
一部の例示的実施形態は、ビデオ画像におけるクラッタを抑制するための装置を提供し、本装置はプロセッサを備え、そのプロセッサは、装置に複数の動作を行わせるように構成され、装置に以上の例示的実施形態又はこれらの組み合わせの方法を少なくとも行わせることが含まれる。
【0017】
一部の例示的実施形態は、ビデオ画像におけるクラッタを抑制するためのコンピュータ可読記憶媒体を提供し、本コンピュータ可読記憶媒体は非一時的であり、それに記憶されたコンピュータ可読プログラムコード部を有し、そのコンピュータ可読プログラムコード部は、プロセッサによる実行に応答して、装置に以上の例示的実施形態又はこれらの組み合わせの方法を少なくとも行わせる。
【0018】
本開示の上記及び他の特徴、態様及び利点は、以下簡単に説明する添付図面と共に以下の詳細な説明を読むことで明らかとなるものである。本開示は、本開示に与えられている二つ、三つ、四つ又はそれ以上の特徴や要素のあらゆる組み合わせを、そのような特徴や要素が本願に記載の具体的な例示的実施形態において明示的に組み合わせられているか又は記載されているかにかかわりなく、含むものである。本開示は、本開示の個別の特徴や素子が、そのいずれの態様や例示的実施形態においても、特に断らない限り、組み合わせ可能であるとみなされるように総合的に読まれるものである。
【0019】
従って、本概要は、一部の例示的実施形態をまとめて、本開示の一部態様の基本的な理解を与えることを単に目的として与えられていることを理解されたい。よって、上記例示的な実施形態は、単に例であって、本開示の範囲や要旨をいかようにも狭めるものとして解釈されるものではないことを理解されたい。他の例示的な実施形態、態様及び利点は、添付図面と共に以下の詳細な説明から明らかとなるものであり、添付図面は、記載されている一部の例示的実施形態の原理を例として示すものである。
【0020】
本開示の例示的な実施形態を一般的な表現で説明してきたが、以下では、必ずしも縮尺通りではない添付図面を参照する。
【図面の簡単な説明】
【0021】
【図1】本開示の例示的実施形態に係る再帰的動き補償積分（ＲＭＣＩ）システムを概略的に示す。
【図2】一部の例示的実施形態に係る計算装置のプロセッサの機能ブロック図であり、そのプロセッサは計算装置にビデオ画像のｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成させるように構成される。
【図3】一部の例示的実施形態に係る計算装置のプロセッサの機能ブロック図であり、そのプロセッサは計算装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を生成させるように構成される。
【図4】一部の例示的実施形態に係るビデオ画像におけるクラッタを抑制するための方法の多様な動作を含むフローチャートを示す。
【図5】一部の例示的実施形態に係る計算装置に対応し得る装置を示す。
【発明を実施するための形態】
【0022】
以下、本開示の一部実施形態を添付図面を参照してより完全に説明するが、図面には、本開示の全部ではなくて一部の実施形態が示されている。実際には、本開示の多様な実施形態は多様な形態で実施可能であり、本願に与えられている実施形態に限定して解釈されるものではなく、むしろ、これら例示的な実施形態は、本開示を完全で完璧とし、本開示の範囲を当業者に完全に伝えるように与えられているものである。例えば、特に断らない限り、何かを第一、第二等で言及する場合、これは特定の順序を示唆するものとして解釈されるものではない。また、例えば、本願では、定量的な尺度、値、関係性等について言及し得るが、特に断らない限り、それらのうち全部ではないにしろ、一つ以上は、絶対的なものであるか、又は、工学的許容誤差等に起因して生じ得る許容可能な変動を踏まえた近似的なものであり得る。全体にわたって、同様の番号は同様の要素を指称する。
【0023】
本開示の例示的実施形態は、画像及び追跡、特に、再帰的動き補償積分（ＲＭＣＩ，ｒｅｃｕｒｓｉｖｅ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ ｉｎｔｅｇｒａｔｉｏｎ）を用いてビデオ画像におけるクラッタを抑制することによって、クラッタによって曖昧にされて検出が難しい目標を検出することを可能にすることを対象としている。例示的実施形態によると、焦点面アレイ（ＦＰＡ，ｆｏｃａｌ ｐｌａｎｅ ａｒｒａｙ）によって取得された画像を、サブイメージであるクラッタパターン（又は領域）に対応する独立移動座標変換に分解し、各サブイメージは、ＦＰＡを介し全てのサブイメージの動きに関する詳細な情報を用いて再帰的に抑制される。
【0024】
例えば、薄い雲の層を介して地上を見下ろしている移動空中プラットフォームからビデオが記録されるとし、また、地上と雲の層はＦＰＡを介する異なる動きを有するとする。この場合、地形が一つのサブイメージを形成し、雲の層が他のサブイメージを形成する。ＦＰＡが顕著な固定パターンノイズ（ＦＰＮ，ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ）を含む場合には、ＦＰＮが動きがゼロの更に他のサブイメージを形成する。
【0025】
例示的実施形態は、連続的サブイメージ補正の減算によって、所望のＦＰＡ画像から各サブイメージを再帰的に除去する。まず、ゼロ次のサブイメージ補正を各クラッタパターン（サブイメージ）に対して生成して、所望のＦＰＡ画像から減算する。次いで、追加の補正を再帰的に生成して、所望のＦＰＡ画像から減算する。この点に関して、一次のサブイメージ補正は、ゼロ次の補正から計算されて減算される。次いで、二次のサブイメージ補正が一次の補正から計算されて減算される。より高次のサブイメージ補正についても同様である。クラッタの抑制は、各再帰で改善する。クラッタは、ゼロ次の補正で大幅に抑制され、一次の補正でより抑制され、二次の補正でより顕著に抑制されるというようになる。連続的な補正は、最終的にプロセスが所望の量のサブイメージの除去を達成するまで、徐々に小さくなっていく。
【0026】
図１は、本開示の例示的実施形態に係るＲＭＣＩシステム１００を概略的に示す。図示されるように、一部例では、ＲＭＣＩシステムは、可動プラットフォーム１０４に固定して取り付けられた焦点面アレイ（ＦＰＡ）１０２等の画像検出デバイスを含む。適切な可動プラットフォームの例として、地上車両（ランドビークル）、鉄道車両、航空機（空中ビークル）、宇宙船、船舶等のビークル（搬送体）が挙げられる。適切な可動プラットフォームの他の例として、人工衛星、ミサイル、アドバンストキラービークル（次期迎撃物体）等が挙げられる。
【0027】
一部例では、ＦＰＡ１０２は光学センサ１０６の部品であり、光学センサ１０６は一組の光学系１０８も含む。例えば、一組の光学系は望遠鏡の一部であり、一つ以上のレンズ、反射体等を含み得る。ＦＰＡは一組の光学系を介して集束される赤外線又は他の波長を検出し、焦点面アレイのデータ、又はそれを示すより具体的なビデオ画像を生成するように構成された検出器の物理的アレイを含み得る。例えば、焦点面アレイの検出器は長波帯域検出器及び／又は短波帯域検出器を含み得るが、可視検出器等の他の種類の検出器も使用可能である。
【0028】
また図示されるように、一部例では、ＲＭＣＩシステム１００は、ＦＰＡ１０２と通信して、一般的にはＦＰＡからのビデオ画像のクラッタを抑制して、ビデオ画像のクラッタ抑制済み版を生成するように構成された計算装置１１０を含む。計算装置は、目標検出プロセッサ１１２による受信、ディスプレイ１１４による表示、及び／又は不揮発性メモリ１１６への記憶用にビデオ画像のクラッタ抑制済み版をレンダリングするように構成されるが、これら１１２、１１４、１１６のうち一つ以上は、計算装置に集積されるか、又は計算装置とは別々であり得る。計算装置は、プロセッサ１１８等の一種以上の部品をそれぞれ一つ以上含むが、その適切な例の一つはフィールドプログラマブルゲートアレイ（ＦＰＧＡ，ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）である。多様な例示的実施形態に係る適切な計算装置については以下でより詳細に説明する。
【0029】
本開示の例示的実施形態によると、プロセッサ１１８は、計算装置１１０（場合によってはより単純に「装置」と称する）に複数の動作（演算）を行わせるように構成される。この点に関して、装置は、ＦＰＡ１０２からビデオ画像を受信し、ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解して、ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成するようにされる。一部例では、これら独立移動クラッタパターンの一つは、ＦＰＡに関連する固定パターンノイズ（ＦＰＮ）である。次いで、装置は、例えば、目標検出プロセッサ１１２による受信、ディスプレイ１１４による表示、及び／又は不揮発性メモリ１１６への記録等のために画像のクラッタ抑制済み版をレンダリングするようにされる。
【0030】
ＦＰＡ１０２からのビデオ画像の画像からのサブイメージの除去について、プロセッサ１１８は、計算装置１１０に、少なくとも、サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することをさせるように構成される。また、プロセッサは、装置に、各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することをさせるように構成される。例示的実施形態によると、各一次補正が生成されて画像から減算される前に、各ゼロ次補正が生成されて画像から減算される。
【0031】
ビデオ画像は、あらゆるフレーム数のあらゆる数の画像を含み得るが、以下の多様な例示的実施形態の説明では、画像はビデオ画像の任意のｋ番目のフレームの画像とする。同様に、サブイメージはあらゆる数のサブイメージを含み得るが、以下の多様な例示的実施形態の説明では、サブイメージは、任意のＭ個のサブイメージのうちの任意のｍ番目のサブイメージを含むとする。以下で説明するように、一部例では、計算装置１１０は、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去するようにされる。
【0032】
図２は、一部の例示的実施形態に係る計算装置１１０のプロセッサ１１８の機能ブロック図であり、そのプロセッサ１１８は、装置にｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成させるように構成される。これは、最大でｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ（直流）成分（算術平均）を除去することによって、Ｎ個の連続したＤＣ除去済み画像２０２を生成することを装置にさせることを含む。
【0033】
計算装置１１０は、Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換２０６を用いてＮ個の連続したＤＣ除去済み画像を変換２０４することによって、Ｎ個の変換済み画像を生成するようにされる。各座標変換は、多様な方法のいずれかで特定可能であり、例えば、数学的アフィン変換や、画像のオプティカルフローオフセット等で特定される。同様に、各座標変換は、多様な方法のいずれかで取得可能であり、例えば、可動プラットフォーム１０４によって入手可能な外部環境幾何学的特性とナビゲーションデータ（例えば、ジオロケーション（地理位置情報））との組み合わせや、画像内におけるサブイメージの動きの直接測定等によって取得される。各座標変換の取得や特定に拘わらず、次いで、Ｎ個の変換済み画像は累積２０８及び正規化２１０されて、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正２１２を得る。
【0034】
一部例では、計算装置１１０は、ｋ番目のフレームのＭ個のサブイメージ全部に対する各ゼロ次補正から、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成するようにされる。より具体的な一部例では、このことは、ｍ番目のサブイメージを除く各サブイメージに対して独立的に、計算装置が、複数の座標変換を用いて、サブイメージに対するゼロ次補正を個別に変換して、サブイメージに対する変換済みゼロ次補正を生成し、サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化及びネガ化（ｎｅｇａｔｅ，ネゲート）することによって、サブイメージに対する累積、正規化及びネガ化済みのゼロ次補正を生成するようにされる。この累積、正規化及びネガ化済みのゼロ次補正を、ｍ番目のサブイメージを除くＭ個のサブイメージに対して累積して、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得る。
【0035】
サブイメージに対する複数の座標変換の各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせである。複数の座標変換は、１からＮまでの値のｑを含み、ゼロ次補正を個別に変換して、サブイメージに対するＮ個の変換済みゼロ次補正を生成する。次いで、サブイメージに対するＮ個の変換済みのゼロ次補正を累積、正規化及びネガ化して、サブイメージに対する累積、正規化及びネガ化済みのゼロ次補正を生成する。
【0036】
一部例では、装置に各一次補正を再帰的に生成させることは、サブイメージに対する各一次補正及び高次補正を再帰的に生成させることを含む。こうした例では、装置に画像から各一次補正を減算させることも、画像から各一次補正及び高次補正を減算させることを含む。任意のｎ≧０について、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成され画像から減算される前に、各ｎ次補正が生成され画像から減算される。一部の更なる例では、計算装置１１０に各一次補正及び高次補正を再帰的に生成させることは、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対して各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることを含む。
【0037】
図３は、一部の例示的実施形態に係る計算装置１１０のプロセッサ１１８の機能ブロック図であり、プロセッサ１１８は、装置に、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を生成させるように構成される。図示されるように、一部例では、このことは、Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、装置に、複数の座標変換３０６を用いてサブイメージに対するｎ次補正３０４を個別に変換３０２させること含む。前述のように、これら座標変換の各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせである。複数の座標変換は、１からＮまでの値のｑを含み、ｎ次補正を個別に変換して、サブイメージに対するＮ個の変換済みｎ次補正を生成する。
【0038】
また、Ｍ個のサブ画像の少なくとも一部の各画像に対して独立的に、計算装置１１０は、サブイメージに対するＮ個の変換済みｎ次補正を累積３０８、正規化及びネガ化（ｎｅｇａｔｅ，ネゲート）３１０することによって、サブイメージに対する累積、正規化及びネガ化済みｎ次補正を生成するようにされる。
【0039】
計算装置１１０は、Ｍ個のサブイメージの少なくとも一部に対する累積、正規化及びネガ化済みｎ次補正を累積３１２して、累積を求めるが、その累積はｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正３１４であるか、又は、その累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる。この点に関し、一部例では、Ｍ個のサブイメージの少なくとも一部はＭ個のサブイメージの全部である。こうした例では、装置にｎ＋１次補正を再帰的に生成させることは、その累積からｍ番目のサブイメージに対する累積、正規化及びネガ化済みｎ次補正３１８を減算３１６して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることをさせることを含む。
【0040】
コンピュータ計算的には、サブイメージに対する各一次補正及び高次補正の再帰的生成は高度に並列化可能である。図３に示されるように、図面の右側の最終的な累積を求めるように累積、正規化及びネガ化済みｎ次補正の累積３１２に繋がるコンピューテーショナルチェーン（３０２～３１０を含む）の各々は、互いに完全に独立している。適切な処理ハードウェアが与えられれば、これらコンピューテーショナルチェーンの各々を同時に実行することができる。同様に、累積、正規化及びネガ化済みｎ次補正の累積の後に、ｎ＋１次補正を得るための累積からの各減算も互いに独立しているので、これも原理的には並列で実行可能である。
【0041】
図４は、本開示の一部の例示的実施形態に係るビデオ画像におけるクラッタを抑制する方法４００の多様な動作を含むフローチャートを示す。ブロック４０２及びブロック４０４に示されるように、本方法は、ＦＰＡ１０２からビデオ画像を受信することと、ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することとを含む。また、４０６に示されるように、本方法は、ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成することも含む。
【0042】
サブ画像の除去は、ブロック４０８及びブロック４１０に示されるように、サブ画像に対する各ゼロ次補正を生成することと、画像から各ゼロ次補正を減算することとを含む。また、その除去は、ブロック４１２及びブロック４１４に示されるように、各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成することと、画像から各一次補正を減算することも含む。図示されるように、各一次補正を生成して画像から減算する前に、各ゼロ次補正を生成して画像から減算する。また、本方法は、ブロック４１６に示されるように、画像のクラッタ抑制済み版をレンダリングすることも含む。
【0043】
上述のように、計算装置１１０は、プロセッサ１１８等の一種以上の部品をそれぞれ一つ以上含み、その適切な例の一つはＦＰＧＡである。一部例では、大抵の画像処理については、多数の画像処理演算に対する超高速性ため、ＦＰＧＡを用いてプロセッサが実施される。この種のハードウェア実施は、高速ビデオ画像における実時間クラッタ抑制に非常に適しているが、これが唯一可能なハードウェア実施ではない。実際には、計算装置は多様は手段（ハードウェア単独で、コンピュータ可読記憶媒介からの一つ以上のコンピュータプログラムの指示の下等）によって実施可能である。一部の例示的実施形態では、計算装置はグラフィックス処理ユニット（ＧＰＵ，ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含んでそれを最大限に活用するが、ＧＰＵは、多数の座標変換を並列で処理するように設計されている。
【0044】
一部例では、一つ以上の装置が、本願に図示され説明されている計算装置１１０として機能するように又は計算装置１１０を実現するように構成されて設けられる。複数の装置を含む例では、各装置は、多様な方法で、例えば、直接的に、若しくは有線又は無線ネットワークを介して間接的に互いに接続され、又は互いに通信し得る。
【0045】
図５は、装置５００をより具体的に示すが、その装置５００は一部例では計算装置１１０に対応し得る。一般的に、本開示の例示的実施形態の装置は、一つ以上の固定又は携帯電子デバイスを備え、含む、又はそうした電子デバイスにおいて実現され得る。適切な電子デバイスの例として、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーションコンピュータ、サーバコンピュータ等が挙げられる。本装置は、複数種の部品、例えば、メモリ５０４（例えば、記憶デバイス）に接続されたプロセッサ５０２（例えば、プロセッサ１１８）をそれぞれ一つ以上含み得る。
【0046】
プロセッサ５０２とは一般的に、情報、例えば、データ、コンピュータプログラム、及び／又は他の適切な電子情報を処理することができるコンピュータハードウェアの部分である。プロセッサは、一組の電子回路で構成され、それら電子回路の一部は一つの集積回路として、又は複数の相互接続集積回路としてパッケージングされ得る（集積回路は、場合によってはより一般的に「チップ」と称される）。プロセッサは、コンピュータプログラムを実行するように構成され得て、そのコンピュータプログラムは、プロセッサに搭載されて記憶されているか、又は（同じ装置又は他の装置の）メモリ５０４に記憶され得る。
【0047】
プロセッサ５０２は、具体的な実施形態に応じて、複数のプロセッサ、多重プロセッサコア、他の種類のプロセッサとなり得る。更に、プロセッサは、複数の異種プロセッサシステム（メインプロセッサが一つ以上の二次プロセッサと共に単一チップ上に存在している）を用いて実施可能である。他の例示的な例では、プロセッサは、同じ種類の複数プロセッサを含む対称多重プロセッサシステムであり得る。更に他の例では、プロセッサは、一つ以上の特定用途集積回路（ＡＳＩＣ，ａｐｐｌｉｃａｔｉｏｎ‐ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ等として具現され、又はこれらを含み得る。従って、プロセッサは、コンピュータプログラムを実行して、一つ以上の機能を行うことができるものであるが、多様な例のプロセッサは、コンピュータプログラムの助けを借りずに一つ以上の機能を行うことができ得るものである。
【0048】
メモリ５０４は、一般的には、情報、例えば、データ、コンピュータプログラム（例えば、コンピュータ可読プログラムコード５０６）及び他の適切な情報を一時的に及び／又は永続的に記憶することができるコンピュータハードウェアの部品である。メモリは、揮発性メモリ及び／又は不揮発性メモリを含み得て、固定されたもの又は取り外し可能なものであり得る。適切なメモリの例として、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ，ＲＡＭ）、リードオンリメモリ（ＲＯＭ，ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ハードドライブ、フラッシュメモリ、サムドライブ、リムーバブルコンピュータディスケット、光学ディスク、磁気テープ、又はこれらの組み合わせが挙げられる。光学ディスクとして、コンパクトディスク‐リードオンリメモリ（ＣＤ‐ＲＯＭ，ｃｏｍｐａｃｔ ｄｉｓｋ‐ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、コンパクトディスク‐リード／ライト（ＣＤ‐Ｒ／Ｗ，ｃｏｍｐａｃｔ ｄｉｓｋ‐ｒｅａｄ／ｗｒｉｔｅ）、ＤＶＤ等が挙げられる。多様な場合において、メモリはコンピュータ可読記憶媒体と称され得る。コンピュータ可読記憶媒体は、情報を記憶することができる非一時的デバイスであり、情報を或る箇所から他の箇所を運ぶことができる電子的な一時的信号等のコンピュータ可読送信媒体とは区別される。本願におけるコンピュータ可読媒体は、広くコンピュータ可読記憶媒体やコンピュータ可読送信媒体を称し得る。
【0049】
メモリに加えて、プロセッサは、情報の表示や送受信用の一つ以上のインターフェースにも接続され得る。インターフェースは、通信インターフェース５０８（例えば、通信ユニット）及び／又は一つ以上のユーザインターフェースを含み得る。通信インターフェースは、他の装置やネットワーク等に対して情報を送受信するように構成され得る。通信インターフェースは、物理的に（有線）及び／又は無線通信リンクによって情報を送受信するように構成され得る。適切な通信インターフェースの例として、ネットワークインターフェースコントローラ（ＮＩＣ，ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ）、無線ＮＩＣ（ＷＮＩＣ，ｗｉｒｅｌｅｓｓ ＮＩＣ）等が挙げられる。
【0050】
ユーザインターフェースは、ディスプレイ５１０（例えば、ディスプレイ１１４）及び／又は一つ以上のユーザ入力インターフェース５１２（例えば、入力／出力ユニット）を含み得る。ディスプレイは情報をユーザに提示又は表示するように構成されて得て、その適切な例として、液晶ディスプレイ（ＬＣＤ，ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオードディスプレイ（ＬＥＤ，ｌｉｇｈｔ‐ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイパネル（ＰＤＰ，ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ）等が挙げられる。
【0051】
ユーザ入力インターフェース５１２は有線又は無線であり得て、また、例えば、処理、記憶及び／又は表示のためにユーザからの情報を装置内において受けるように構成され得る。ユーザ入力インターフェースの適切な例として、マイクロフォン、イメージ又はビデオキャプチャデバイス、キーボード、キーパッド、ジョイスティック、タッチ式感知面（タッチスクリーンと別又は集積されている）、生体認証センサ等が挙げられる。ユーザインターフェースは、プリンタやスキャナ等の周辺機器と通信するための一つ以上のインターフェースを更に含み得る。
【0052】
上述のように、プログラムコード命令はメモリに記憶され、プロセッサによって実行されて、本願に記載のシステム、サブシステム、個々の要素の機能を実行し得る。適切なプログラムコード命令は、コンピュータ可読記憶媒体からコンピュータ又は他のプログラマブル装置上にロードされて、特定のマシンを生成し、その特定のマシンが本願で特定されている機能を実施するための手段となるようにし得ることを理解されたい。プログラムコード命令は、コンピュータ可読記憶媒体にも記憶され得て、コンピュータ、プロセッサ、又は他のプログラマブル装置を特定の方法で機能させて、特定のマシンや製品を発生させ得る。コンピュータ可読記憶媒体に記憶されている命令は、製品を生成し、その製品が本願に記載の機能を実施するための手段となるようにし得る。プログラムコード命令はコンピュータ可読記憶媒体から回収され、コンピュータ、プロセッサ、又は他のプログラマブル装置にロードされて、コンピュータ、プロセッサ、又は他のプログラマブル装置が、そのコンピュータ、プロセッサ、又は他のプログラマブル装置で行われる演算を実行するように構成し得る。
【0053】
プログラムコード命令の回収、ロード及び実行は逐次的に行われ得て、一度に一つの命令が回収され、ロードされ、実行される。一部の例示的実施形態では、回収、ロード及び／又は実行は並列に行われ得て、複数の命令が共に回収、ロード及び／又は実行されるようにし得る。プログラムコード命令の実行は、コンピュータで実施されるプロセスを生成し、コンピュータ、プロセッサ、又は他のプログラマブル装置によって実行される命令が、本願に記載の機能を実施するための演算を提供するようにし得る。
【0054】
プロセッサによる命令の実行、コンピュータ可読記憶媒体への命令の記憶は、特定の機能を行うための演算の組み合わせをサポートしている。このようにして、装置５００は、プロセッサ５０２と、プロセッサに結合されたコンピュータ可読記憶媒体又はメモリ５０４を含み得て、そのプロセッサは、メモリに記憶されたコンピュータ可読プログラムコード５０６を実行するように構成される。また、一つ以上の機能や、機能の組み合わせが、特別仕様のハードウェアベースのコンピュータシステム、及び／又は特定の機能を行うプロセッサによって、又は、特別仕様のハードウェアとプログラムコード命令の組み合わせによって行われ得ることを理解されたい。
【0055】
更に、本開示は以下の項に係る実施形態を含む。
【0056】
項１
ビデオ画像におけるクラッタを抑制するための装置であって、
装置に複数の動作を行わせるように構成されたプロセッサを備え、装置に複数の動作を行わせることは、装置に少なくとも、
焦点面アレイからビデオ画像を受信することと、
ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、
ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（このことは、装置に少なくとも、
サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することと、
各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することとを含み、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、
画像のクラッタ抑制済み版をレンダリングすることとを行わせることを含む、装置。
ビデオ画像におけるクラッタを抑制するための装置であって、
装置に複数の動作を行わせるように構成されたプロセッサを備え、装置に複数の動作を行わせることは、装置に少なくとも、
焦点面アレイからビデオ画像を受信することと、
ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、
ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（このことは、装置に少なくとも、
サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することと、
各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することとを含み、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、
画像のクラッタ抑制済み版をレンダリングすることとを行わせることを含む、装置。
【0057】
項２
装置にビデオ画像を分解させることは、クラッタパターン（そのうちの一つは焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解させることを含む、項１に記載の装置。
装置にビデオ画像を分解させることは、クラッタパターン（そのうちの一つは焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解させることを含む、項１に記載の装置。
【0058】
項３
前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、装置に各ゼロ次補正を生成させることが、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成させることを備え、これは、装置に少なくとも、
ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、
Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、
Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとをさせることを含む、項１又は２に記載の装置。
前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、装置に各ゼロ次補正を生成させることが、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成させることを備え、これは、装置に少なくとも、
ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、
Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、
Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとをさせることを含む、項１又は２に記載の装置。
【0059】
項４
前記サブイメージはＭ個のサブイメージであり、前記画像はビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成させることを含む、項１から３のいずれか一項に記載の装置。
前記サブイメージはＭ個のサブイメージであり、前記画像はビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成させることを含む、項１から３のいずれか一項に記載の装置。
【0060】
項５
装置にｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成させることが、少なくとも、
ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、
サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとをさせること含み、また、
ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることをさせることを含む、項４に記載の装置。
装置にｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成させることが、少なくとも、
ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、
サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとをさせること含み、また、
ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることをさせることを含む、項４に記載の装置。
【0061】
項６
装置に各一次補正を再帰的に生成させることが、サブイメージに対する各一次補正及び高次補正を再帰的に生成させることを含み、装置に画像から各一次補正を減算させることが、装置に画像から各一次補正及び高次補正を減算させることを含み、
ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成されて画像から減算される前に各ｎ次補正が生成されて画像から減算される、項１から５のいずれか一項に記載の装置。
装置に各一次補正を再帰的に生成させることが、サブイメージに対する各一次補正及び高次補正を再帰的に生成させることを含み、装置に画像から各一次補正を減算させることが、装置に画像から各一次補正及び高次補正を減算させることを含み、
ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成されて画像から減算される前に各ｎ次補正が生成されて画像から減算される、項１から５のいずれか一項に記載の装置。
【0062】
項７
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正及び高次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることを含む、項６に記載の装置。
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正及び高次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることを含む、項６に記載の装置。
【0063】
項８
装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、少なくとも、
Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、
複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、
サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとをさせることを含み、また、
Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積（その累積は、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる）を得ることをさせることを含む、項７に記載の装置。
装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、少なくとも、
Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、
複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、
サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとをさせることを含み、また、
Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積（その累積は、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる）を得ることをさせることを含む、項７に記載の装置。
【0064】
項９
前記Ｍ個のサブイメージの少なくとも一部がＭ個のサブイメージの全部であり、装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済みｎ次補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることをさせることを更に含む、項８に記載の装置。
前記Ｍ個のサブイメージの少なくとも一部がＭ個のサブイメージの全部であり、装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済みｎ次補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることをさせることを更に含む、項８に記載の装置。
【0065】
項１０
ビデオ画像におけるクラッタを抑制する方法であって、
焦点面アレイからビデオ画像を受信することと、
ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、
ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（このことは、
サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することと、
各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することとを含み、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、
画像のクラッタ抑制済み版をレンダリングすることとを備える方法。
ビデオ画像におけるクラッタを抑制する方法であって、
焦点面アレイからビデオ画像を受信することと、
ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、
ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（このことは、
サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することと、
各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することとを含み、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、
画像のクラッタ抑制済み版をレンダリングすることとを備える方法。
【0066】
項１１
ビデオ画像を分解することが、クラッタパターン（そのうちの一つが焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解することを含む、項１０に記載の方法。
ビデオ画像を分解することが、クラッタパターン（そのうちの一つが焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解することを含む、項１０に記載の方法。
【0067】
項１２
前記画像がビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、
各ゼロ次補正を生成することが、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成することを備え、このことが、
ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、
Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、
Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとを含む、項１０又は１１に記載の方法。
前記画像がビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、
各ゼロ次補正を生成することが、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成することを備え、このことが、
ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、
Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、
Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとを含む、項１０又は１１に記載の方法。
【0068】
項１３
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、
各一次補正を再帰的に生成することが、ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することを含む、項１０から１２のいずれか一項に記載の方法。
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、
各一次補正を再帰的に生成することが、ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することを含む、項１０から１２のいずれか一項に記載の方法。
【0069】
項１４
ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することが、
ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換（その各々がビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、
サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとを含み、また、
ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることを含む、項１３に記載の方法。
ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成することが、
ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換（その各々がビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、
サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとを含み、また、
ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対する一次補正を得ることを含む、項１３に記載の方法。
【0070】
項１５
各一次補正を再帰的に生成することが、サブイメージに対する各一次補正及び高次補正を再帰的に生成することを含み、画像から各一次補正を減算することが、画像から各一次補正及び高次補正を減算することを含み、
ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成されて画像から減算される前に各ｎ次補正が生成されて画像から減算される、項１０から１４のいずれか一項に記載の方法。
各一次補正を再帰的に生成することが、サブイメージに対する各一次補正及び高次補正を再帰的に生成することを含み、画像から各一次補正を減算することが、画像から各一次補正及び高次補正を減算することを含み、
ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成されて画像から減算される前に各ｎ次補正が生成されて画像から減算される、項１０から１４のいずれか一項に記載の方法。
【0071】
項１６
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、
各一次補正及び高次補正を再帰的に生成することが、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することを含む、項１５に記載の方法。
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、サブイメージを除去することが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去することを含み、
各一次補正及び高次補正を再帰的に生成することが、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することを含む、項１５に記載の方法。
【0072】
項１７
ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することが、
Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、
複数の座標変換（その各々がビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、
サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとを含み、また、
Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積（その累積はｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる）を得ることを含む、項１６に記載の方法。
ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することが、
Ｍ個のサブイメージの少なくとも一部の各サブイメージに対して独立的に、
複数の座標変換（その各々がビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、
サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとを含み、また、
Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積（その累積はｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる）を得ることを含む、項１６に記載の方法。
【0073】
項１８
前記Ｍ個のサブイメージの少なくとも一部がＭ個のサブイメージの全部であり、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することが、累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済み補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることを更に含む、項１７に記載の方法。
前記Ｍ個のサブイメージの少なくとも一部がＭ個のサブイメージの全部であり、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成することが、累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済み補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることを更に含む、項１７に記載の方法。
【0074】
項１９
ビデオ画像におけるクラッタを抑制するためのコンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体が非一時的であり、そこに記憶されたコンピュータ可読プログラムコード部を有し、該コンピュータ可読プログラムコード部が、プロセッサによる実行に応答して、装置に、少なくとも、
焦点面アレイからビデオ画像を受信することと、
ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、
ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（このことは、装置に、少なくとも、
サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することと、
各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することとをさせ、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、
画像のクラッタ抑制済み版をレンダリングすることとをさせる、コンピュータ可読記憶媒体。
ビデオ画像におけるクラッタを抑制するためのコンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体が非一時的であり、そこに記憶されたコンピュータ可読プログラムコード部を有し、該コンピュータ可読プログラムコード部が、プロセッサによる実行に応答して、装置に、少なくとも、
焦点面アレイからビデオ画像を受信することと、
ビデオ画像のサブイメージであるクラッタパターンに対応する独立移動座標変換にビデオ画像を分解することと、
ビデオ画像の画像からサブイメージを除去して、画像のクラッタ抑制済み版を生成すること（このことは、装置に、少なくとも、
サブイメージに対する各ゼロ次補正を生成して、画像から各ゼロ次補正を減算することと、
各ゼロ次補正からサブイメージに対する各一次補正を再帰的に生成して、画像から各一次補正を減算することとをさせ、各一次補正が生成されて画像から減算される前に各ゼロ次補正が生成されて画像から減算される）と、
画像のクラッタ抑制済み版をレンダリングすることとをさせる、コンピュータ可読記憶媒体。
【0075】
項２０
装置にビデオ画像を分解させることが、クラッタパターン（そのうちの一つが焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解させることを含む、項１９に記載のコンピュータ可読記憶媒体。
装置にビデオ画像を分解させることが、クラッタパターン（そのうちの一つが焦点面アレイに関連する固定パターンノイズである）に対応する独立移動座標変換にビデオ画像を分解させることを含む、項１９に記載のコンピュータ可読記憶媒体。
【0076】
項２１
前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、装置に各ゼロ次補正を生成させることが、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成させることを備え、このことは、装置に、少なくとも、
ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、
Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、
Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとをさせる、項１９又は２０に記載のコンピュータ可読記憶媒体。
前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、装置に各ゼロ次補正を生成させることが、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を生成させることを備え、このことは、装置に、少なくとも、
ｋ番目のフレームまでであってｋ番目のフレームを含むビデオ画像のＮ個の連続フレームのＮ個の連続画像の各々からＤＣ成分を除去することによって、Ｎ個の連続したＤＣ除去済み画像を生成することと、
Ｎ個の連続フレームからｋ番目のフレームへのｍ番目のサブイメージの各座標変換を用いてＮ個の連続したＤＣ除去済み画像を変換することによって、Ｎ個の変換済み画像を生成することと、
Ｎ個の変換済み画像を累積及び正規化して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることとをさせる、項１９又は２０に記載のコンピュータ可読記憶媒体。
【0077】
項２２
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成させることを含む、項１９から２１のいずれか一項に記載のコンピュータ可読記憶媒体。
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの全部に対する各ゼロ次補正からｋ番目のフレームのｍ番目のサブイメージに対する一次補正を再帰的に生成させることを含む、項１９から２１のいずれか一項に記載のコンピュータ可読記憶媒体。
【0078】
項２３
装置に前記ｋ番目のフレームのｍ番目のサブフレームに対する一次補正を再帰的に生成させることが、少なくとも、
ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換（その各々がビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、
サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとをさせ、また、
ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることをさせることを含む、項２２に記載のコンピュータ可読記憶媒体。
装置に前記ｋ番目のフレームのｍ番目のサブフレームに対する一次補正を再帰的に生成させることが、少なくとも、
ｍ番目のサブイメージを除く各サブイメージに対して独立的に、
複数の座標変換（その各々がビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続フレームのｑ番目のフレームへのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームへのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換が１からＮまでの値のｑを含む）を用いてサブイメージに対するゼロ次補正を個別に変換すること（ゼロ次補正を個別に変換することは、サブイメージに対するＮ個の変換済みゼロ次補正を生成する）と、
サブイメージに対するＮ個の変換済みゼロ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を生成することとをさせ、また、
ｍ番目のサブイメージを除くＭ個のサブイメージに対する累積、正規化、及びネガ化済みゼロ次補正を累積して、ｋ番目のフレームのｍ番目のサブイメージに対するゼロ次補正を得ることをさせることを含む、項２２に記載のコンピュータ可読記憶媒体。
【0079】
項２４
装置に各一次補正を再帰的に生成させることが、サブイメージに対する各一次補正及び高次補正を再帰的に生成させることを含み、装置に画像から各一次補正を減算させることが、画像から各一次補正及び高次補正を減算させることを含み、
ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成されて画像から減算される前に各ｎ次補正が生成されて減算される、項１９から２３のいずれか一項に記載のコンピュータ可読記憶媒体。
装置に各一次補正を再帰的に生成させることが、サブイメージに対する各一次補正及び高次補正を再帰的に生成させることを含み、装置に画像から各一次補正を減算させることが、画像から各一次補正及び高次補正を減算させることを含み、
ｎ≧０に対して、各ｎ＋１次補正が各ｎ次補正から生成され、各ｎ＋１次補正が生成されて画像から減算される前に各ｎ次補正が生成されて減算される、項１９から２３のいずれか一項に記載のコンピュータ可読記憶媒体。
【0080】
項２５
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正及び高次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることを含む、項２４に記載のコンピュータ可読記憶媒体。
前記サブイメージがＭ個のサブイメージであり、前記画像がビデオ画像のｋ番目のフレームの画像であり、装置にサブイメージを除去させることが、ｋ番目のフレームの画像からｍ番目のサブイメージを含むサブイメージを除去させることを含み、
装置に各一次補正及び高次補正を再帰的に生成させることが、ｋ番目のフレームのＭ個のサブイメージの少なくとも一部に対する各ｎ次補正からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることを含む、項２４に記載のコンピュータ可読記憶媒体。
【0081】
項２６
装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、少なくとも、
Ｍ個のサブイメージの少なくとも一部の各画像に対して独立的に、
複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続画像のｑ番目のフレームまでのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームまでのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、
サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとをさせることを含み、また、
Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積（その累積はｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる）を求めることをさせることを含む、項２５に記載のコンピュータ可読記憶媒体。
装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、少なくとも、
Ｍ個のサブイメージの少なくとも一部の各画像に対して独立的に、
複数の座標変換（その各々は、ビデオ画像のＮ個の連続フレームのｋ番目のフレームからＮ個の連続画像のｑ番目のフレームまでのサブイメージの座標変換と、ｑ番目のフレームからｋ番目のフレームまでのｍ番目のサブイメージの座標変換との組み合わせであり、複数の座標変換は１からＮまでの値のｑを含む）を用いてサブイメージに対するｎ次補正を個別に変換すること（ｎ次補正個別に変換することは、サブイメージに対するＮ個の変換済みｎ次補正を生成する）と、
サブイメージに対するＮ個の変換済みｎ次補正を累積、正規化、及びネガ化することによって、サブイメージに対する累積、正規化、及びネガ化済みｎ次補正を生成することとをさせることを含み、また、
Ｍ個のサブイメージの少なくとも一部に対する累積、正規化、及びネガ化済みｎ次補正を累積して、累積（その累積はｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正であるか、又はその累積からｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正が得られる）を求めることをさせることを含む、項２５に記載のコンピュータ可読記憶媒体。
【0082】
項２７
前記Ｍ個のサブイメージの少なくとも一部がＭ個のサブイメージの全部であり、装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済みｎ次補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることをさせることを更に含む、項２６に記載のコンピュータ可読記憶媒体。
前記Ｍ個のサブイメージの少なくとも一部がＭ個のサブイメージの全部であり、装置にｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を再帰的に生成させることが、累積からｍ番目のサブイメージに対する累積、正規化、及びネガ化済みｎ次補正を減算して、ｋ番目のフレームのｍ番目のサブイメージに対するｎ＋１次補正を得ることをさせることを更に含む、項２６に記載のコンピュータ可読記憶媒体。
【0083】
上記説明及び添付図面に与えられている教示の恩恵を受ける当業者には、本開示の多くの修正や他の実施形態が思い付くものである。従って、本開示は、開示されている特定の実施形態に限定されるものではなく、修正及び他の実施形態も添付の特許請求の範囲内に含まれるものである。更に、上記説明及び添付図面は、要素及び／又は機能の特定の例示的な組み合わせの文脈において例示的な実施形態を説明しているが、要素及び／又は機能の異なる組み合わせが代替実施形態によって添付の特許請求の範囲から逸脱せずに与えられ得ることを理解されたい。これに関し、例えば、上記で明示的に示されているもの以外の要素及び／又は機能の異なる組み合わせは、添付の特許請求の範囲に与えられているものとして想定される。本願では特定の用語が使用されているが、これらは汎用的で説明的な意味合いにおいてのみ使用されているものであって、限定目的のものではない。
【符号の説明】
【0084】
１００ ＲＭＣＩシステム
１０２ 焦点面アレイ
１０４ 可動プラットフォーム
１０６ 光学センサ
１０８ 光学系
１１０ 計算装置
１１２ 目標検出プロセッサ
１１４ ディスプレイ
１１６ 不揮発性メモリ
１１８ プロセッサ
１０２ 焦点面アレイ
１０４ 可動プラットフォーム
１０６ 光学センサ
１０８ 光学系
１１０ 計算装置
１１２ 目標検出プロセッサ
１１４ ディスプレイ
１１６ 不揮発性メモリ
１１８ プロセッサ
【図1】
【図2】
【図3】
【図4】
【図5】