特許 6232502 人工視覚システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6232502

(24)【登録日】2017年10月27日

(45)【発行日】2017年11月15日

(54)【発明の名称】人工視覚システム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20171106BHJP

   H04N 7/18 20060101ALI20171106BHJP

【ＦＩ】

   G06T1/00 500A

   H04N7/18 U

   H04N7/18 D

【請求項の数】15

【全頁数】16

(21)【出願番号】特願2016-545926(P2016-545926)

(86)(22)【出願日】2014年11月14日

(65)【公表番号】特表2017-504119(P2017-504119A)

(43)【公表日】2017年2月2日

(86)【国際出願番号】US2014065719

(87)【国際公開番号】WO2015105585

(87)【国際公開日】20150716

【審査請求日】2016年7月25日

(31)【優先権主張番号】14/151,569

(32)【優先日】2014年1月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503178185

【氏名又は名称】ノースロップ グラマン システムズ コーポレイション

【氏名又は名称原語表記】ＮＯＲＴＨＲＯＰ ＧＲＵＭＭＡＮ ＳＹＳＴＥＭＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】シャクター、ブルース ジェイ．

(72)【発明者】

【氏名】バウムガルトナー、ダスティン ディ．

【審査官】 石田 信行

(56)【参考文献】

【文献】 特開平１０−１９１１００（ＪＰ，Ａ）

【文献】 特開２００１−０８６５０６（ＪＰ，Ａ）

【文献】 特開２００７−１８９４３２（ＪＰ，Ａ）

【文献】 特開２０１１−１７０７１７（ＪＰ，Ａ）

【文献】 Wavelet Toolbox For Use with MATLAB User's Guide Version 1，１９９６年，p.2-43 - p.2-51，[online], [平成29年5月23日検索], インターネット＜http://feihu.eng.ua.edu/NSF_TUES/w7_1a.pdf＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４０９

Ｈ０４Ｎ １／４１

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

人工視覚システムであって
非可視光の画像データの連続フレームを捕捉するように構成されるビデオソースと、画像処理システムとして構成される少なくとも１つのプロセッサとを含む画像システムを備え、前記画像処理システムが
画像データの前記連続フレームのそれぞれにおける各画素を正規化し、正規化された画像データを複数のウェーブレット周波数帯域に分解するように構成されたウェーブレット強化コンポーネントと、
前記連続フレームにおける前記複数のウェーブレット周波数帯域をそれぞれの可視カラー画像に変換するように構成されたビデオプロセッサと、を含む前記画像システムと、
前記可視カラー画像を表示するように構成されたビデオディスプレイシステムとを含む、人工視覚システム。

【請求項2】

非可視光の画像データの前記連続フレームが、赤外線（ＩＲ）画像データの連続フレームを含み、前記ビデオプロセッサが、前記連続フレームのそれぞれにおける前記複数のウェーブレット周波数帯域を処理しダウンコンバートして、前記可視カラー画像に集合的に対応するそれぞれのＲＧＢ色空間信号を生成するように構成される、請求項１に記載のシステム。

【請求項3】

前記画像処理システムが、グレースケール値のダイナミックレンジ及び分布に関して画像データの前記連続フレームのそれぞれを解析し、前記解析に基づいてＩＲ画像データの前記連続フレームのそれぞれにおけるノイズを軽減し、前記解析に基づいて、一行ずつ、画像データの前記連続フレームのそれぞれにおける各画素の前記正規化を提供するように構成された前処理ステージを含む、請求項１に記載のシステム。

【請求項4】

前記画像処理システムが、それぞれの色空間信号にマッピングされる複数のウェーブレット周波数帯域に前記正規化された画像データを分解するように構成された複数のｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ）フィルタを含むウェーブレット分解ステージを含む、請求項１に記載のシステム。

【請求項5】

前記複数のＤｏＧフィルタのそれぞれが、画像データの前記連続フレームのそれぞれに関連する異なるそれぞれの視覚的な詳細量に対応する前記それぞれの複数のウェーブレット帯域に前記正規化された画像データを分離するように構成される、請求項４に記載のシステム。

【請求項6】

前記画像処理システムが、前記それぞれの複数のウェーブレット周波数帯域をウェーブレット分解画像として非線形的に処理して、それぞれの可視カラー画像を生成するように構成された複数の非線形マッピングコンポーネントを含むビデオプロセッサを含む、請求項１に記載のシステム。

【請求項7】

前記複数の非線形マッピングコンポーネントのそれぞれが、画像データの行番号に関連するランプ関数を含み、前記ランプ関数は、前記複数の非線形マッピングコンポーネントの各残りの１つに関連するランプ関数に対して前記ウェーブレット分解画像の大気減衰を違った風にシミュレートするように構成される、請求項６に記載のシステム。

【請求項8】

前記複数の非線形マッピングコンポーネントのそれぞれが、第１のビット長さを有する前記それぞれの複数のウェーブレット帯域の処理された１つを、前記第１のビット長さより短い第２のビット長さを有する別個の色空間信号の前記それぞれの１つにダウンコンバートするように構成されたシグモイドコンポーネントを含む、請求項６に記載のシステム。

【請求項9】

前記ウェーブレット強化コンポーネントが、高ダイナミックレンジ浮動小数点値に対応する前記第１のビット長さで前記複数のウェーブレット帯域に関連する各画素を提供するように構成され、前記シグモイドコンポーネントが、各画素を整数値として前記第２のビット長さに変換するように構成される、請求項８に記載のシステム。

【請求項10】

プラットフォーム上に実装された、且つ請求項１に記載の人工視覚システムを含むナビゲーション支援システムであって、前記画像システムが、前記連続フレームの処理に基づいて状況認識（ＳＡ）データを生成し、前記可視カラー画像上で前記プラットフォームに対して前記ＳＡデータを可視的に識別するように構成されるナビゲーション支援システム。

【請求項11】

プロセッサによって実行された場合に、人工視覚システムにおいて単色赤外線（ＩＲ）画像データを可視画像に変換するための方法を実行するように構成される命令を格納するように構成された非一時的なコンピュータ可読媒体であって、前記方法が、
ＩＲビデオソースを介してＩＲ画像データの連続フレームを捕捉すること、
ＩＲ画像データの前記連続フレームのそれぞれにおける各画素を正規化すること、
ＩＲ画像データの正規化された連続フレームのそれぞれをそれぞれのＲＧＢ色空間信号にマッピングされた複数のウェーブレット周波数帯域に分解すること、
ビデオディスプレイシステムにおいて前記ＲＧＢ色空間信号を組み合わせて、単色ＩＲ画像データの前記それぞれの連続フレームのそれぞれ関連する可視カラー画像を提供することを含む、非一時的なコンピュータ可読媒体。

【請求項12】

ＩＲ画像データの前記連続フレームのそれぞれにおける各画素を正規化することが、
グレースケール値のダイナミックレンジ及び分布に関して、単色ＩＲ画像データの前記連続フレームのそれぞれを解析すること、
単色ＩＲ画像データの前記連続フレームのそれぞれに対してノイズ抑制アルゴリズムを前記解析に基づいて実行して、ノイズを軽減すること、
前記解析に基づいて、画像データの前記連続フレームのそれぞれにおける各画素を一行ずつ正規化すること、
を含む、請求項１１に記載の非一時的なコンピュータ可読媒体。

【請求項13】

ＩＲ画像データの前記正規化された連続フレームのそれぞれを分解することが、画像データの前記複数の連続フレームのそれぞれに関連する異なるそれぞれの視覚的な詳細量に対応する前記それぞれの複数のウェーブレット帯域に、ＩＲ画像データの前記正規化された前記連続フレームを分離するように構成された複数のｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ）フィルタを実装することを含む、請求項１１に記載の非一時的なコンピュータ可読媒体。

【請求項14】

複数のウェーブレット帯域のそれぞれのために画像データの行番号に関連する別個のランプ関数を実行して、異なる周波数帯域のそれぞれの１つの大気減衰をシミュレートすることを更に含む、請求項１１に記載の非一時的なコンピュータ可読媒体。

【請求項15】

単色ＩＲ画像データの前記正規化された連続フレームのそれぞれを分解することが、第１のビット長さを有する高ダイナミックレンジ浮動小数点値として複数のウェーブレット帯域を生成することを含み、前記方法が、複数のウェーブレット周波数帯域を前記第１のビット長さから、整数値に関連する第２のビット長さをそれぞれ有する前記それぞれのＲＧＢ色空間信号にダウンコンバートすることを更に含み、前記第２のビット長さが前記第１のビット長さより短い、請求項１１に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に視覚システムに関し、特に人工視覚システムに関する。

【背景技術】

【0002】

人工視覚システムは、様々な理由で実装され得る。例として、人工視覚システムは、静止プラットフォームに実装することができ、セキュリティ対策用に実装することができる。別の例として、人工視覚システムは、移動プラットフォームのナビゲーションにおいてパイロットを支援するためなど、移動プラットフォーム（例えば航空機）に実装することができる。例として、軍事及び商用両方の回転翼航空機のサバイバビリティは、低下した視覚環境（ＤＶＥ）において動作している間に、著しく影響される。例えば、回転翼航空機に影響する一般的な視覚条件の低下は、電圧低下（大気中の砂）、ホワイトアウト（大気中の雪）、煙、雨、もや、霧、オーシャンスプレー、乱気流、暗闇、及びヘリコプタ回転翼障害を含む。かかる視覚条件の低下は、パイロットの視覚が視覚条件の低下によって損なわれるので、移動プラットフォームの墜落に帰着する可能性がある。例として、電圧低下状態でヘリコプタを着陸させることは、特に危険になり得る。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一態様は、人工視覚システムを含む。システムは、非可視光の画像データの連続フレームを捕捉するように構成されるビデオソースと、画像処理システムとして構成される少なくとも１つのプロセッサと、を含む画像システムを含む。画像処理システムは、画像データの連続フレームのそれぞれにおける各画素を正規化し、正規化された画像データを複数のウェーブレット周波数帯域に分解するように構成されたウェーブレット強化コンポーネントを含む。画像処理システムはまた、連続フレームにおける複数のウェーブレット周波数帯域をそれぞれの可視カラー画像に変換するように構成されたビデオプロセッサを含む。システムはまた、可視カラー画像を表示するように構成されたビデオディスプレイシステムを含む。

【0004】

本発明の別の態様は、人工視覚システムにおいて単色赤外線（ＩＲ）画像データを可視画像に変換するための方法を含む。方法は、ＩＲビデオソースを介してＩＲ画像データの連続フレームを捕捉すること、及びＩＲ画像データの連続フレームのそれぞれにおける各画素を正規化することを含む。方法はまた、ＩＲ画像データの正規化された連続フレームをそれぞれを、それぞれのＲＧＢ色空間信号に対応する複数のウェーブレット周波数帯域に分解することを含む。方法は、ビデオディスプレイシステムにおいてＲＧＢ色空間信号を組み合わせて、単色ＩＲ画像データのそれぞれの連続フレームのそれぞれに関連する可視カラー画像を供給することを更に含む。

【0005】

別の実施形態は、移動プラットフォーム上に実装された人工視覚システムを含む。システムは、自立型画像システムを含む。自立型画像システムは、ＩＲ画像データの複数の連続フレームを捕捉するように構成される赤外線ＩＲビデオソースを含む。自立型画像システムは、ＩＲデータの処理された連続フレームに基づいて、状況認識（ＳＡ）データを計算するように構成された画像処理システムとして構成された少なくとも１つのプロセッサを更にまた含む。画像処理システムは、ＩＲ画像データの連続フレームを処理して、ＩＲ画像データの連続フレームのそれぞれにおける各画素を正規化し、ＩＲ画像データの正規化された連続フレームを複数のウェーブレット周波数帯域に分解するように構成されたウェーブレット強化コンポーネントを含む。画像処理システムはまた、ＩＲ画像データの連続フレームにおける複数のウェーブレット周波数帯域をそれぞれの可視カラー画像に変換するビデオプロセッサを含む。システムは、可視カラー画像を表示し、可視カラー画像上で、移動プラットフォームに対してＳＡデータを可視的に識別するように構成されたビデオディスプレイシステムを含む。

【図面の簡単な説明】

【0006】

【図1】人工視覚システムの例を示す。

【図2】画像システムの例を示す。

【図3】画像処理システムの例を示す。

【図4】画像システムの別の例を示す。

【図5】人工視覚システムにおいて画像データを可視画像に変換するための方法の例を示す。

【発明を実施するための形態】

【0007】

本発明は、一般に視覚システムに関し、特に人工視覚システムに関する。人工視覚システムは、例えば、航空機（例えばヘリコプタ）などの移動プラットフォーム上に実装することができる。人工視覚システムは、画像システムを含み、画像システムは、自立型画像システム（例えば画像システムパッケージ）とすることができる。画像システムは、前方監視赤外線（ＦＬＩＲ）ビデオソースとして構成することができるビデオソースであって、画像データの複数の連続フレームを補足するように構成されるビデオソースを含む。本明細書で説明されるように、用語「人工視覚システム」は、ユーザ自身の裸眼視力の代わりに又はそれに加えて、ユーザが見ることができるシーンの処理ビデオ画像を提供する視覚システムを指す。画像システムはまた、画像処理システムとして構成された１つ又は複数のプロセッサを含む。画像処理システムは、連続フレームを処理して画像データの連続フレームのそれぞれにおける各画素を個々に正規化し、正規化された画像データを複数のウェーブレット周波数帯域に分解し、連続フレームにおける複数のウェーブレット周波数帯域をそれぞれの可視カラー画像に変換するように構成される。

【0008】

例として、画像処理システムは、ウェーブレット強化コンポーネント及びビデオプロセッサを含むことができる。ウェーブレット強化コンポーネントは、グレースケール値のダイナミックレンジ及び分布に関して、画像データの連続フレームのそれぞれを解析するように構成された前処理ステージを含むことができる。前処理ステージはまた、ノイズ抑制を実行して、解析に基づいて、ＩＲ画像データの連続フレームのそれぞれにおけるノイズを実質的に軽減することができる。前処理ステージはまた、解析に基づいて、画像データの連続フレームのそれぞれにおける各画素の一行ずつの正規化を提供することができる。ウェーブレット強化コンポーネントはまた、画像データの連続フレームのそれぞれに関連する異なるそれぞれの視覚的な詳細量に対応する複数のウェーブレット周波数帯域に、正規化された画像データを分解する複数のｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ）又は他の同様のタイプのフィルタを含むことができるウェーブレット分解ステージを含むことができる。従って、複数のウェーブレット帯域は、それぞれ、ＲＧＢ信号などのそれぞれの色空間信号に対応することができる。例として、色空間信号は、高ダイナミックレンジ浮動小数点値である画素値を有するように供給することができる。

【0009】

ビデオプロセッサは、複数の非線形マッピングコンポーネントを含む。複数の非線形マッピングコンポーネントのそれぞれは、大気減衰をシミュレートするように構成されたランプ関数を含むことができる。それぞれの複数のウェーブレット周波数帯域のそれぞれの１つに対応できる各画像は、異なるランプ関数に従うことができる。例として、大気は、レンジの関数として、青色成分よりも可視シーンの赤色成分をより激しく減衰させる可能性がある。非線形マッピングコンポーネントはまた、それぞれ、カラービデオディスプレイに供給できるＲＧＢ信号など、ウェーブレット周波数帯域整数色空間信号のランプ処理された１つをダウンコンバートするように構成されたシグモイドコンポーネントを含む。例として、シグモイドコンポーネントは、ウェーブレット帯域のランプ処理された１つを、各画素に関連する高ダイナミックレンジ浮動小数点値（例えば６４ビット又は３２ビット浮動小数点値）から、各画素に関連するより短いビット長さの整数値（例えば８ビット）にダウンコンバートすることができる。

【0010】

更に、画像処理システムは、連続フレームの安定化を提供するため、且つ／又はプラットフォームに関係のある連続フレームに関連する状況認識（ＳＡ）データを計算するためなど、最小ラグで連続フレームを処理するように構成することができる。画像処理システムはまた、視覚環境の低下（ＤＶＥ：degraded visual environment）に基づく等、ビデオソースの環境ベースのオクルージョン（occlusion）に関して連続フレームを強化するこの等のために、連続フレームの連続する安定化された画像に基づいて、ラッキー領域画像処理（lucky region image processing）を提供するように構成することができる。強化は、自立型画像システム内に含まれる慣性測定ユニット（ＩＭＵ：inertial measurement unit）によって生成されるなどの、プラットフォーム（即ち移動プラットフォーム）に関連する慣性データに基づくことができる。画像システムはまた、プラットフォーム（即ち移動プラットフォーム）のナビゲーション及び操縦でパイロットを支援すること等のために、連続フレームを可視画像に変換して、可視画像がビデオディスプレイシステムに表示されるようにすることができる。

【0011】

図１は、人工視覚システム１０の例を示す。人工視覚システム１０は、プラットフォームに実装することができる。例として、プラットフォームを静止プラットフォームとすることで、人工視覚システム１０がセキュリティ目的で実装され得るようにすることができる。別の例として、人工視覚システム１０は、航空機（例えばヘリコプタ）などの移動プラットフォームに実装されて、航空機を着陸させる目的など、低下した視覚環境（ＤＶＥ）などにおいて移動プラットフォームのナビゲーション又は操縦で関係するパイロットを支援することができる。

【0012】

人工視覚システム１０は、自立型パッケージとして構成できる画像システム１２を含む。図１の例において、画像システム１２は、環境シーンの複数の連続フレームを捕捉するように構成されるビデオソース１４を含む。例えば、ビデオソース１４は、連続ＩＲ画像が連続フレームであるように、赤外線（ＩＲ）ビデオソースとして構成することができる。例として、画像システム１２は、ビデオソース１４が、ヘリコプタの機首など、移動プラットフォームの少なくとも１つの位置に実装されて、移動プラットフォームのパイロットとほぼ同じ視点から連続フレームを捕捉することができる。例として、画像システム１２はまた、６つの運動度における移動（例えば、角度の偏揺れ、ピッチ、回転、及び三次元におけるベクトル線形運動）など、移動プラットフォーム内のセンサに関連する慣性データを生成するように構成される慣性測定ユニット（ＩＭＵ）を含むことができる。

【0013】

画像システム１２はまた、メモリ１６と、１つ又は複数のプロセッサとして構成できる画像処理システム１８と、を含む。メモリ１６は、（例えば１つ又は複数の関連するプロセッサを介して）画像処理システム１８を実行する命令を格納するように構成することができ、且つビデオソース１４によって捕捉された１つ又は複数の連続フレーム及びその処理をバッファするように実装することができる。画像処理システム１８は、連続フレームを処理するように、且つ処理された連続フレームを可視ビデオデータＩＭＧとしてビデオディスプレイシステム２０に供給するように構成される。例として、ビデオディスプレイシステム２０は、移動プラットフォームをナビゲートする際にパイロットを支援するためなど、環境シーンを見るユーザに可視画像を供給するビデオモニタとして構成することができる。

【0014】

図１の例において、画像処理システム１８は、ウェーブレット強化コンポーネント２２及びビデオプロセッサ２４を含む。ウェーブレット強化コンポーネント２２は、画像データの連続フレームを処理して画像データの各フレームの画素を個々に正規化し、画像データのフレームを複数のウェーブレット周波数帯域に分解するように構成される。例として、ウェーブレット強化コンポーネント２２は、フレームのそれぞれにおけるグレースケール値のダイナミックレンジ及び分布に関する画像データのフレームのそれぞれにおける画像解析、ノイズ抑制、並びに解析に基づいたグレースケール値の一行ごとの正規化を実行できる前処理ステージを含むことができる。別の例として、ウェーブレット強化コンポーネント２２は、異なる画像詳細レベルにそれぞれ関連する別個のウェーブレット帯域に画像データを分離する複数のデジタルフィルタリング技術を実行するように構成されたウェーブレット分解ステージを含むことができる。従って、別個のウェーブレット帯域のそれぞれは、ＲＧＢ色空間信号などの別個の色空間信号に関連付けることができる。ビデオプロセッサ２４は、ウェーブレット帯域を処理してウェーブレット帯域を画像信号ＩＭＧに変換するように構成される。例として、ビデオプロセッサ２４は、ランプ関数を実行して、別個のウェーブレット帯域の大気減衰をシミュレートするように構成される非線形マッピングコンポーネントと、ウェーブレット帯域を（例えば高ダイナミックレンジ浮動小数点値から各画素に関連する整数値に）ダウンコンバートして画像信号ＩＭＧを生成するシグモイドコンポーネントとを含むことができる。従って、ビデオプロセッサ２４は、処理されたＲＧＢ色空間信号を画像信号ＩＭＧとしてビデオディスプレイシステム２０に供給することができる。

【0015】

図２は、画像システム５０の例を示す。画像システム５０は、図１の例における画像システム１２に対応することができる。従って、画像システム５０は、移動プラットフォームなどのプラットフォームに実装された自立型ユニットとして具体化されて、環境シーンの連続フレームを捕捉し、可視ビデオデータＩＭＧをビデオディスプレイシステム（例えばビデオディスプレイシステム２０）に供給することができる。従って、画像システム５０は、移動プラットフォームのパイロットなどのユーザ用に人工視覚を提供することができる。

【0016】

画像システム５０は、環境シーンにおける画像データの複数の連続ＩＲフレームを捕捉するように構成される、前方監視赤外線（ＦＬＩＲ）ビデオソースなどのＩＲビデオソース５２を含む。図２の例において、ビデオソース５２は、６０フレーム／秒（ｆｐｓ）で供給される画素当たり１４ビットのＩＲ単色画像データに対応できる画像データＶＩＤ_ＩＮＩＴを生成する。例として、他の赤外線カメラが、他のフレームレート及びビット深度で画像を生成してもよい。画像データＶＩＤ_ＩＮＩＴは、画像処理システム５４に供給される。画像処理システム５４は、自立型画像システム５０におけるシステムオンチップ（ＳＯＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）配置におけるなど、１つ又は複数のプロセッサによって実行されるソフトウェアモジュールセットとして構成することができる。例として、画像処理システム５４は、ビデオソース５２内のＳＯＣ又はＦＰＧＡ配置に含まれるなど、ビデオソース５２の一部として構成することができる。

【0017】

図２の例において、画像処理システム５４は、ウェーブレット強化コンポーネント５６及びビデオプロセッサ５８を含む。ウェーブレット強化コンポーネント５６は、前処理ステージ６０及びウェーブレット分解ステージ６２を含む。画像データＶＩＤ_ＩＮＩＴは、前処理ステージ６０に供給され、前処理ステージ６０は、画像データＶＩＤ_ＩＮＩＴの連続フレームのそれぞれに対して個々に前処理を実行する。前処理は、連続フレームのそれぞれにおけるグレースケール画素の解析、及び解析に基づいた画素の正規化を含むことができる。従って、前処理ステージ６０は、図２の例に示されているウェーブレット分解ステージ６２に、画像データの正規化されたフレームを信号ＶＩＤ_Ｎとして供給することができる。

【0018】

図２の例において、前処理ステージ６０は、エントロピー解析器６４、ノイズ抑制器６６、及び行正規化器６８を含む。画像データＶＩＤ_ＩＮＩＴの連続フレームは、正規化エントロピーＮ_Ｅによって特徴付けられ得るグレースケール分布及びダイナミックレンジに関して、画像データＶＩＤ_ＩＮＩＴにおける連続フレームのグレースケール解析用にエントロピー解析器６４に最初に供給される。例として、エントロピー解析器６４は、次のように、画像データＶＩＤ_ＩＮＩＴの連続フレームのそれぞれにおける正規化エントロピーＮ_Ｅを計算するように構成される。

【0019】

Ｎ_Ｅ＝Ｅ｛−ｐ（ｉ）Ｌｏｇ_２［ｐ（ｉ）］｝ 式１
この式で、ｉは、画像データＶＩＤ_ＩＮＩＴの連続フレームの所与の１つを示し、
ｐは、グレースケール値の確率密度を示し、および
Ｅは、期待値を示す。

【0020】

従って、エントロピー解析器６４は、プリセット値ｔに関して画像データＶＩＤ_ＩＮＩＴの連続画像のそれぞれにおける正規化エントロピーＮ_Ｅを測定することができる。正規化エントロピーＮ_Ｅがプリセット値ｔを超過する場合に、画像は、高エントロピーを有すると見なされる。反対に、正規化エントロピーＮ_Ｅが、プリセット値ｔ以下である場合に、画像は、低エントロピーを有すると見なされる。

【0021】

ノイズ抑制器６６は、決定された正規化エントロピーＮ_Ｅに基づいて、ノイズ抑制アルゴリズムを提供するように構成される。ノイズ抑制アルゴリズムは、決定された正規化エントロピーＮ_Ｅに基づいて、画像データの連続フレームのそれぞれにおいて、ノイズを実質的に軽減するように構成することができる。例として、ノイズ抑制器６６は、ガウス分布の半径に関連付けることができる二次元ガウス関数Ｇ_ＨＩＧＨを備えた高エントロピー画像として決定される画像データの所与のフレームを畳み込むように構成することができる。例として、二次元ガウス関数Ｇ_ＨＩＧＨは、それぞれの画像フレームの画素に対して約０．５の半径を有することができる。同様に、ノイズ抑制器６６は、二次元ガウス関数Ｇ_ＬＯＷを備えた低エントロピー画像として決定される画像データの所与のフレームを畳み込むように構成することができる。例として、二次元ガウス関数Ｇ_ＬＯＷは、それぞれの画像フレームの画素に対して約１．０の半径を有することができる。

【0022】

行正規化器６８は、エントロピー解析器６４によって提供される解析に基づいて、ノイズ抑制画像フレームの画素の正規化を提供するように構成することができる。例として、行正規化器６８は、それぞれの画像フレームのそれぞれのビット深度によって可能にされた中間グレースケール値（例えばメジアン又は平均グレースケール値）に一層近いグレースケール値を有するグレースケール画像フレームの各行を正規化するように構成することができる。例えば、現在のグレースケール平均値（ｍ）は、現在の画像の行グレースケール平均（ｍ）とｑの値との間にあり得る新しい平均グレースケール値（ｍ’）に変更することができ、ｑは、所与のビット深度用の中間グレースケール値に対応することができる。例として、１０２４の許容可能なグレースケール値を有する１０ビットの画像フレームに関して、ｑの値は、５１２とすることができる。新しい平均グレースケール値（ｍ’）の計算例は、次のとおりである。

【0023】

ｍ’＝ｃ^＊ｍ＋（１−ｃ）^＊ｑ 式２
この式で、ｃは、値０＜ｃ＜１を備えた調整可能な所定の定数である。
従って、行正規化器６８は、画像フレームにおける所与のシーンが、シーンにおける特徴と周囲温度との間でグレースケール値における非常に大きな広域の差異（例えばダイナミックレンジ）を有しないように、周囲シーンに一層近い所与の画像フレームにわたってグレースケール値を設定することができる。従って、行正規化器６８は、所与の画像フレームにおいて一行ずつ（例えば上部から底部に）グレースケール値を正規化して、信号ＶＩＤ_Ｎとして図２の例に示されている正規化された画像フレームを生成することができる。

【0024】

正規化された画像フレームＶＩＤ_Ｎは、ウェーブレット分解ステージ６２に供給される。ウェーブレット分解ステージ６２は、異なる画像詳細レベルに対応するなど、別個の帯域通過特性を有する１つ又は複数のウェーブレット帯域に、正規化された画像フレームＶＩＤ_Ｎを分解するように構成された少なくとも１つのｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ）フィルタ７０を含む。例えば、ＤｏＧフィルタ７０のそれぞれは、異なるガウス次元（例えば円形半径又は楕円軸）を有する帯域通過フィルタに対応することができる。従って、ウェーブレット分解のそれぞれは、画像フレームの異なる詳細レベル（例えば画像フレームの高詳細部分から画像フレームの低詳細部分まで）に関連する異なる周波数帯域に対応することができる。従って、ウェーブレット帯域のそれぞれは、別個の色空間信号（例えばＲＧＢ色信号の別個のそれぞれのチャネル）に対応することができる。ウェーブレット信号は、ウェーブレット分解ステージ６２、及び従ってウェーブレット分解信号ＶＩＤ_ＣＳとしてウェーブレット強化コンポーネント５６から供給される。図の例２は、ＤｏＧフィルタ７０の使用を示すが、代わりに様々な同様のフィルタが実装可能であることを理解されたい。

【0025】

ウェーブレット分解信号ＶＩＤ_ＣＳは、ビデオプロセッサ５８に供給される。ビデオプロセッサ５８は、１つ又は複数の非線形マッピングコンポーネント７２を含むように、図２の例に示されている。例として、１つ又は複数のマッピングコンポーネント７２のそれぞれは、ウェーブレット分解ステージ６２におけるＤｏＧフィルタ７０のそれぞれの１つに対応し、且つウェーブレット分解信号ＶＩＤ_ＣＳのそれぞれの１つに対応することができる。マッピングコンポーネント７２のそれぞれは、ウェーブレット分解信号ＶＩＤ_ＣＳのそれぞれの１つを処理して、ビデオディスプレイシステム２０を介してカラービデオ画像のチャネルを構築するように構成される。例として、マッピングコンポーネント７２のそれぞれは、ウェーブレット分解信号ＶＩＤ_ＣＳのそれぞれの１つを処理して、所与の色周波数帯域に関して大気減衰をシミュレートするためなど、結果画像にわたって（例えば上部から底部に）それぞれの周波数帯域に関連する画素を分配し、高ダイナミックレンジ浮動小数点値から各関連画素用の整数値に処理ビデオをダウンコンバートするランプ関数及びシグモイドコンポーネントを含むことができる。例として、ビデオプロセッサ５８は、ビデオディスプレイシステム２０に供給される赤色空間信号、緑色空間信号、及び青色空間信号として３つのそれぞれのウェーブレット帯域を表す３つのマッピングコンポーネント７２を含むことができる。処理されたウェーブレット帯域は、図２の例において、ビデオプロセッサ５８から画像信号ＩＭＧとして供給されるように示されている。

【0026】

図３は、画像処理システム１００の例を示す。例として、画像処理システム１００は、図２の例における画像処理システム５４の一部に対応することができる。従って、図３の例の以下の説明において、図２の例が参照されることになる。

【0027】

画像処理システム１００は、ウェーブレット分解ステージ１０２及びビデオプロセッサ１０４を含む。例として、ウェーブレット分解ステージ１０２は、図２の例におけるウェーブレット分解ステージ６２、及び従ってウェーブレット強化コンポーネント５６の一部に対応することができる。ウェーブレット分解ステージ１０２は、正規化された画像フレームデータＶＩＤ_Ｎを受信し、正規化された画像フレームデータＶＩＤ_Ｎは、ウェーブレット分解ステージ１０２の各部分である第１のＤｏＧフィルタ１０６、第２のＤｏＧフィルタ１０８、及び第３のＤｏＧフィルタ１１０のそれぞれに供給される。例として、ＤｏＧフィルタ１０６、１０８及び１１０のそれぞれは、正規化された画像フレームデータＶＩＤ_Ｎに関連する画像に対して、異なるガウス次元を有する帯域通過フィルタとして構成することができる。

【0028】

例えば、ＤｏＧフィルタ１０６、１０８及び１１０のそれぞれは、正規化された画像フレームデータＶＩＤ_Ｎのそれぞれの画像フレームに関連する楕円軸の異なる寸法（例えば長軸及び短軸）に関連する次元を有することができる。従って、ＤｏＧフィルタ１０６、１０８及び１１０のそれぞれは、正規化された画像フレームデータＶＩＤ_Ｎの画像フレームにおける異なるそれぞれの詳細レベルに関連する異なる周波数帯域に対応することができる。従って、ＤｏＧフィルタ１０６、１０８及び１１０のそれぞれは、異なる色空間信号（例えば赤色、緑色及び青色空間信号）に画像をマッピングすることができる。例として、第１のＤｏＧフィルタ１０６は、画像フレームに関連する高詳細レベルを提供するように調整された楕円ガウス次元を有することができ、第３のＤｏＧフィルタ１１０は、画像フレームに関連する低詳細レベルを提供するように調整された楕円ガウス次元を有することができ、第２のＤｏＧフィルタ１０８は、第１及び第３のＤｏＧフィルタ１０６及び１１０間にある画像フレームに関連する詳細レベルを提供するように調整された楕円ガウス次元を有することができる。ＤｏＧフィルタ１０６、１０８及び１１０のそれぞれは、（例えばＲＧＢ色空間信号にそれぞれ対応する）それぞれの信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂとして図３の例に示されている異なるそれぞれの周波数帯域への、正規化された画像フレームデータＶＩＤ_Ｎの帯域通過フィルタリングを提供する。ＤｏＧフィルタ１０６、１０８及び１１０は、長軸及び短軸の寸法に対して楕円として図３の例に示されているが、ＤｏＧフィルタ１０６、１０８及び１１０が、代わりに、円形半径などの他のジオメトリに関連する寸法を有し得ることを理解されたい。更に、ＤｏＧフィルタ１０６、１０８及び１１０のそれぞれが、並列に示されているが、ＤｏＧフィルタ１０６、１０８及び１１０が、カスケード配置など、他の方法で配置され得ることを理解されたい。例として、青色チャンネル用のフィルタは、赤色及び緑色チャネルのフィルタのカスケードとすることができる。

【0029】

ウェーブレット信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂは、それぞれ、ビデオプロセッサ１０４に供給される。ビデオプロセッサ１０４は、第１の非線形マッピングコンポーネント１１２、第２の非線形マッピングコンポーネント１１４、及び第３の非線形マッピングコンポーネント１１６を含む。従って、マッピングコンポーネント１１２、１１４及び１１６は、それぞれのＤｏＧフィルタ１０６、１０８及び１１０、並びに従ってそれぞれのウェーブレット信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂにそれぞれ対応する。マッピングコンポーネント１１２、１１４及び１１６のそれぞれは、ＲＡＭＰ１、ＲＡＭＰ２及びＲＡＭＰ３として図３の例に示されているランプ関数１１８を含む。ランプ関数１１８は、色空間信号のそれぞれの周波数帯域に関して大気減衰をシミュレートするためなど、結果画像にわたって（例えば上部から底部に）ウェーブレット処理信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂのそれぞれの１つに関連する画像データを分配するようにそれぞれ構成することができる。例えば、ランプ関数のそれぞれは、ウェーブレット信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂのそれぞれの１つに対応する画像フレームの行のそれぞれにおけるグレースケール値に、所定の値セットを追加するように構成することができる。例として、それぞれのランプ関数１１８によって提供される所与のランプ値Ｒ_Ｆ１は、次のように表現することができる。

【0030】

Ｒ_Ｆ１＝ｄ^＊［（２／（ｎ−１））ｙ−１］ 式３
この式で、ｙは、画像フレームの所与の行に対応し（例えばｙ＝０、．．．、ｎ−１）、
ｎは、画像フレームの行の総数に対応し、
ｄは、マッピングコンポーネント１１２、１１４及び１１６の所与の１つに関連するそれぞれの色空間（例えば赤色、緑色又は青色）に対応する所定の変数に対応する。

【0031】

例として、ｄの値は、マッピングコンポーネントのそれぞれの１つに関連する色空間に依存して、正、負又はゼロである。従って、ランプ関数１１８のそれぞれは、ビデオソース１２の前方監視特性に基づいて、大気減衰を違った風にシミュレートするためなど、結果画像信号ＩＭＧにおいて、それぞれのウェーブレット帯域ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂによって表される別個の波長のそれぞれにおける大気減衰を異なる方法でシミュレートすることができる。ランプ関数１１８が適用される方法として式３が本明細書で説明されているが、行番号の負の指数関数又は画素に関連するシーンポイントへの距離の負の指数関数に基づいて、代替として他の数式が実行され得ることを理解されたい。

【0032】

ランプ関数１１８のそれぞれは、マッピングコンポーネント１１２、１１４及び１１６のそれぞれにおけるシグモイドコンポーネント１２０に出力を供給する。シグモイドコンポーネント１２０の各々は、それぞれのランプ処理されたウェーブレット信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂを図３の例にＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂとして示されている画像信号ＩＭＧのそれぞれの部分にダウンコンバートするように構成される。集合的に、画像信号ＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂは、図２の例における画像信号ＩＭＧとしてビデオプロセッサ１０４から供給することができる。例として、シグモイドコンポーネント１２０のそれぞれは、別々にランプに処理されたウェーブレット信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂからそれぞれの画像信号ＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂを供給するように、ほぼ同様に（例えば同じに）構成することができる。例えば、シグモイドコンポーネントは、次の式として表現されて、シグモイド関数ｙ’’（ｘ）に基づいて、各画素用に出力画素値ｙ’’（ｘ）を生成することができる。

【0033】

ｙ’’（ｘ）＝２５５^＊（ｙ’（ｘ）−ｙ’（ｒ））／（ｙ’（ｓ）−ｙ’（ｒ））
式４
ｙ’（ｘ）＝２５５／（１＋ｅｘｐ（−（ｕ＋ｖ））） 式５
ｕ＝−８ｘ／（ｒ−ｓ） 式６
ｖ＝４^＊（ｒ＋ｓ）／（ｒ−ｓ） 式７
これらの式で、ｒは、連続画像の入力ヒストグラムの所定のより低いクリッピングポイント値であり、
ｓは、連続画像の入力ヒストグラムの所定のより高いクリッピングポイント値であり、
ｘは、入力グレースケール値であり、ｙ’’（ｘ）は、８ビット／画素／カラーディスプレイ例における出力グレースケール値である。

【0034】

式４〜７によって提供される計算を実行することによって、シグモイドコンポーネント１２０は、高ダイナミックレンジ浮動小数点値を有するランプ処理されたウェーブレット信号ＶＩＤ_Ｒ、ＶＩＤ_Ｇ、ＶＩＤ_Ｂの各画素を、より小さいビット幅を備えた整数画素値として且つ従ってダウンコンバート法で、画像信号ＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂの各画素に効果的且つ非線形的にマッピングする。式４〜７の例において、結果画像信号ＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂは、浮動小数点値からなどで、８ビット／画素／色値を有する。従って、画像信号ＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂは、ビデオディスプレイシステム２０に所与の画像フレーム用の可視カラー画像に対応する画像信号ＩＭＧとして供給されて、各所与の画像フレーム用の可視カラー画像を表示することができる。

【0035】

ビデオディスプレイシステム２０上で表示される可視カラー画像は、様々な人工視覚目的用に実装することができる。例として、人工視覚システム１０は、移動プラットフォームなどのプラットフォームに実装されて、苛酷な条件においてナビゲートするために移動プラットフォーム（例えば航空機）のパイロットを支援する人工視覚を提供することができる。例えば、人工視覚システム１０は、煙、雪、ダスト又は砂からもたらされるなど、低下した視覚環境（ＤＶＥ）におけるナビゲーション支援用に実装することができる。例えば、本明細書で説明される画像処理システム（例えば図２の例における画像処理システム５４）は、２０１３年９月３０日出願の「プラットフォームに実装される視覚システム（Ｐｌａｔｆｏｒｍ−Ｍｏｕｎｔｅｄ Ａｒｔｉｆｉｃｉａｌ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ）」なる名称の米国特許出願第１４／０４１，８４９号明細書に記載されている画像システムにおいて実装することができ、その米国特許出願は、その全体において参照により本明細書に援用される。

【0036】

図４は、画像システム１５０の別の例を示す。画像システム１５０は、図１の例における画像システム１０に対応することができる。従って、画像システム１５０は、移動プラットフォームなどのプラットフォームに実装される自立型ユニットとして具体化されて、実装環境シーンの連続フレームを捕捉し、可視ビデオデータＩＭＧをビデオディスプレイシステム（例えばビデオディスプレイシステム２０）に供給することができる。従って、画像システム１５０は、移動プラットフォームのパイロットなどのユーザに人工視覚を提供することができる。例えば、無人航空機システムの場合に、パイロットは、遠隔地にいることができる。

【0037】

画像システム１５０は、環境シーンの画像データにおける複数の連続ＩＲフレームを捕捉するように構成されるＦＬＩＲビデオソース１５２を含む。図４の例において、ＦＬＩＲビデオソース１５２は、６０フレーム／秒（ｆｐｓ）で供給される１４ビットＩＲ画像データに対応できる画像データＶＩＤ_ＩＮＩＴを生成する。例として、ＦＬＩＲビデオソース１５２は、捕捉ＩＲ画像に対する画像前処理を実行して、画像データＶＩＤ_ＩＮＩＴが前処理されるように構成することができる。例えば、ＦＬＩＲビデオソース１５２の前処理は、非均一性（例えば関連する焦点面アレイ（ＦＰＡ）の作製中における変動に基づいた）及び画素誤差の補正を含むことができる。画像システム１５０はまた、画像システム１５０が実装され得る移動プラットフォーム（例えばヘリコプタの１つ又は複数の位置）の運動に関連する慣性データＭＶＭＴを生成するように構成されるＩＭＵ１５４を含む。ＩＭＵ１５４によって生成された慣性データＭＶＭＴは、画像データＶＩＤ_ＩＮＩＴの処理用にＦＬＩＲビデオソース１５２の移動のより正確な測定値を供給するためなど、画像システム１５０の自立型パッケージ内に含まれることに基づいて、ＦＬＩＲビデオソース１５２の６つの運動度（例えば、偏揺れ、ピッチ、回転、及び三次元におけるベクトル運動）における移動に関連付けることができる。

【0038】

画像データＶＩＤ_ＩＮＩＴ及び慣性データＭＶＭＴは、それぞれ、画像処理システム１５６に供給される。画像処理システム１５６は、自立型画像システム１５０におけるシステムオンチップ（ＳＯＣ）配置におけるなど、１つ又は複数のプロセッサによって実行されるソフトウェアモジュール又はＦＰＧＡコードセットとして構成することができる。図４の例において、画像データＶＩＤ_ＩＮＩＴは、安定化コンポーネント１５８に供給され、安定化コンポーネント１５８は、画像データＶＩＤ_ＩＮＩＴのビデオフレーム安定化を提供して安定化された画像データＶＩＤ_ＳＴを生成するように構成される。例として、安定化コンポーネント１５８は、運動からの構造復元技術を用いて、慣性データＭＶＭＴに基づいて、画像データＶＩＤ_ＩＮＩＴの連続フレームのそれぞれのためにビデオソース１５２の姿勢を推定することができる。ひとたび安定化コンポーネント１５８がビデオソース１５２の姿勢を決定すると、２つの連続ＩＲ画像が、所与の姿勢から別の姿勢の視点に画像をレンダリングするために適用できる射影変換に対応するホモグラフィに基づいて、整列され得る。例として、安定化コンポーネント１５８は、画像データＶＩＤ_ＩＮＩＴの各ＩＲ画像内で検出される堅牢で顕著な特徴を用いて、ホモグラフィを推定することができる。計算は、利用可能な場合には慣性データを用いることができる。次に、現在のＩＲ画像で検出される特徴は、前の画像で検出された特徴と相関させることができる。この相関から、ホモグラフィは、前のＩＲ画像における画素に対して、現在のＩＲ画像における重複する画素を空間的に整列させるように決定することができる。従って、ホモグラフィは、角度誤差を示すプラットフォーム／ビデオソース１５２及び／又はジンバルの移動によって引き起こされるフレームからフレームへの変位を捕捉することができる。従って、安定化された画像データＶＩＤ_ＳＴは、現在のフレームと１つ又は複数の（例えば２つの）前のフレームとの間のホモグラフィを含むことができる。例として、画像処理システム１５６は、赤外線カメラ内に、別個のシャーシに、又はディスプレイ内に存在することができる。

【0039】

安定化された画像データＶＩＤ_ＳＴは、合成視覚ＳＡコンポーネント１６０に供給される。合成視覚ＳＡコンポーネント１６０は、画像データＶＩＤ_ＳＴの処理の際に支援すること、および移動プラットフォームのナビゲーション及び操縦のうちの少なくとも一方の際に支援することのうちの少なくとも一方で実施され得るように、慣性データＭＶＭＴに基づいて安定化された画像データＶＩＤ_ＳＴを処理して、連続フレームに関連するＳＡデータを計算するように構成される。例えば、合成視覚ＳＡは、レンジマップ生成装置、障害物検出装置、及び画像オーバレイコンポーネントを含んで、所与の時間量にわたって慣性データＭＶＭＴによって供給されるような移動プラットフォームの周知の運動に基づいて、三次元レンジマップにおける対象物の視運動を比較することによって、三次元レンジマップにおいて対象物へのレンジを計算することができる。このように、障害物の位置は、慣性データＭＶＭＴに基づき、安定化された画像データＶＩＤ_ＳＴの連続的な安定化された画像に関連する視差に基づいて決定することができる。更に、画像オーバレイコンポーネントは、安定化された画像データＶＩＤ_ＳＴが、障害物に関連するデータで注釈を付けられるように、検出された障害物までの距離を受動三次元レンジマップから抽出し、距離データを安定化された画像データＶＩＤ_ＳＴに挿入することができる。例えば、障害物は、異なる色、輝度、テキストオーバーレイ（例えば情報を表示する）、グラフィカルキュー、電圧低下の記号表示、及び／又は他の情報を有することなどに基づいて、表示可視画像のそれぞれの背景と別個に表示可視画像上で強調することができる。従って、プラットフォームが、ＤＶＥ状態（例えば電圧低下）において移動するとき、重ねられた障害の強調及び／又は他の情報は、慣性データＭＶＭＴ及び障害への周知のレンジに基づいて更新することができ、従って別の状況ではＤＶＥ状態によって曖昧にされたであろう基準点としてパイロットによって使用され得る。

【0040】

画像データＶＩＤ_ＳＡ及び慣性データＭＶＭＴは、ラッキー領域撮像コンポーネント１６２に供給される。ラッキー領域撮像コンポーネント１６２は、慣性データＭＶＭＴに基づいて画像データＶＩＤ_ＳＡの連続安定化フレームを再帰的に処理することに基づいて、ビデオソース１５２の環境ベースのオクルージョンに対して画像データＶＩＤ_ＳＡのフレームを強化するように構成される。例として、ビデオソース１５２の環境ベースのオクルージョンは、ビデオソース１５２が、砂（即ち電圧低下）、雪（即ちホワイトアウト）か、様々な他の視覚を損なう条件か、又は乱気流などの様々な大気の歪み条件によってオクルードされ得るような、プラットフォームがＤＶＥに存在する結果であり得る。しかしながら、晴れた天候で且つ／又は高くて砂塵雲を引き起こさないように飛行する移動プラットフォーム（例えばヘリコプタ）用など、画像処理システム１５４が、ＤＶＥ状態のない状態で、ラッキー領域撮像コンポーネント１６２による処理を省略してもよいことを理解されたい。

【0041】

強化画像データＶＩＤ_ＬＫは、ウェーブレット強化コンポーネント１６４に供給され、ウェーブレット強化コンポーネント１６４は、図２の例におけるウェーブレット強化コンポーネント５６に対応することができる。従って、前に説明したのと同様に、ウェーブレット強化コンポーネント１６４は、単色画像データＶＩＤ_ＬＫを高空間周波数帯域、中間空間周波数帯域、及び低空間周波数帯域に（例えばそれぞれのＤｏＧフィルタを介して）分解するように構成される。図４の例において、それぞれの空間周波数帯域は、別個の詳細レベルに関連する別個のそれぞれの色空間信号に対応する画像データＶＩＤ_ＣＳとして示されている。

【0042】

画像データＶＩＤ_ＣＳは、図４の例において可視ビデオデータＩＭＧとして示されている、可視画像としての表示に適したデータに画像データＶＩＤ_ＣＳを変換するように構成されるビデオプロセッサ１６６に供給される。例として、ビデオプロセッサ１６６は、図２の例におけるビデオプロセッサ５８に対応することができる。例えば、ビデオプロセッサ１６６は、それぞれの高空間周波数帯域、中間空間周波数帯域、及び低空間周波数帯域を処理して、ビデオディスプレイシステム（例えばビデオディスプレイシステム２０）における表示に適したＲＧＢ色空間において画像データＶＩＤ_ＣＳを供給するように構成することができる。従って、可視ビデオデータＩＭＧは、カラー画像としてビデオディスプレイシステム２０に供給することができる。例えば、ビデオプロセッサ１６６は、高ダイナミックレンジ浮動小数点画素値を有することから、より小さいビット幅を有する整数画素値へと画像データＶＩＤ_ＣＳをダウンコンバートすることができる。従って、移動プラットフォームのパイロットは、可視ビデオデータＩＭＧを介して供給される強化可視画像を用いて、移動プラットフォームをナビゲートする際に支援することができる。その結果、人工視覚システム１０のパイロット又はユーザは、ビデオディスプレイシステム２０を実装して、制限された肉眼視感度又は肉眼視感度がない状態（例えばＤＶＥ状態）において、シーンを見るか又は移動プラットフォームをナビゲートする際に支援することができる。

【0043】

上記で説明した前述の構造及び機能的特徴を考慮すれば、本発明の様々な態様による方法論は、図５に関連して一層よく理解されよう。説明の簡略化のために、図５の方法論は、連続的に実行されるように示され説明されているが、本発明が、示された順序によって制限されないことを理解されたい。何故なら、幾つかの態様は、本発明に従って、本明細書で示され説明されている順序とは異なる順序で且つ／又は他の態様と同時に行われ得るからである。更に、全ての示されている特徴が、本発明の態様に従って方法論を実行するために必要とされ得るわけではない。

【0044】

図５は、人工視覚システムにおいてＩＲ画像データを可視画像に変換するための方法２００の例を示す。２０２において、ＩＲ画像データ（例えば画像データＶＩＤ_ＩＮＩＴ）の連続フレームが、ＩＲビデオソース（例えばビデオソース５２）を介して捕捉される。２０４において、ＩＲ画像データの連続フレームのそれぞれにおける各画素は、（例えば前処理ステージ６０を介して）正規化される。２０６において、ＩＲ画像データの正規化された連続フレームのそれぞれは、それぞれのＲＧＢ色空間信号（例えば画像信号ＩＭＧ_Ｒ、ＩＭＧ_Ｇ及びＩＭＧ_Ｂ）に対応する複数のウェーブレット周波数帯域（例えばウェーブレット帯域ＶＩＤ_Ｒ、ＶＩＤ_Ｇ及びＶＩＤ_Ｂ）に分解される。２０８において、ビデオディスプレイシステム（例えばビデオディスプレイシステム２０）においてＲＧＢ色空間信号が組み合わされて、ＩＲ画像データのそれぞれの連続フレームのそれぞれに関連する可視カラー画像が提供される。

【0045】

上記で説明したものは、本発明の例である。本発明を説明する目的でコンポーネント又は方法論の全ての考えられる組み合わせを説明することは、もちろん不可能であるが、しかし当業者は、本発明の多くの更なる組み合わせ及び置換が可能であることを理解されよう。従って、本発明は、添付の特許請求の範囲を含む本出願の範囲内に入る全てのかかる変更、修正及び変形を包含するように意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】