特許 7581758 画像補正装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】画像補正装置

(51)【国際特許分類】

   G06T 7/32 20170101AFI20241106BHJP

   H04N 23/15 20230101ALI20241106BHJP

   G01N 21/27 20060101ALI20241106BHJP

   G01J 3/36 20060101ALI20241106BHJP

   G01J 3/02 20060101ALI20241106BHJP

   H04N 23/60 20230101ALI20241106BHJP

【ＦＩ】

G06T7/32

H04N23/15

G01N21/27 A

G01J3/36

G01J3/02 C

H04N23/60 500

【請求項の数】 10

(21)【出願番号】P 2020172103

(22)【出願日】2020-10-12

(65)【公開番号】P2022063719

(43)【公開日】2022-04-22

【審査請求日】2023-09-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】門田 啓

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開平０３－１５１７８４（ＪＰ，Ａ）

【文献】特開２０１６－１１０３２０（ＪＰ，Ａ）

【文献】特開２０１８－０６１２６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１８９３６３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００８８２７７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／３２

Ｈ０４Ｎ ２３／６０

Ｇ０１Ｎ ２１／２７

Ｇ０１Ｊ ３／３６

Ｇ０１Ｊ ３／０２

Ｈ０４Ｎ ２３／１５

(57)【特許請求の範囲】

【請求項1】

被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係と前記対象画素と前記対応画素との重なる面積とに基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備える画像補正装置。

【請求項2】

前記補正バンド画像作成手段は、
前記対象画素毎に、前記複数の対応画素の間の画素値の関係と前記対象画素と前記対応画素との重なる面積とに基づいて前記対象画素の画素値から前記複数の対応画素の位置それぞれに配分する前記対象バンド画像に係る光の画素値を決定し、前記基準バンド画像の画素位置毎に、前記基準バンド画像の画素と重なる前記対象バンド画像の複数の画素から配分された前記対象バンド画像に係る光の画素値の総和を算出する、
請求項１に記載の画像補正装置。

【請求項3】

前記補正バンド画像作成手段は、前記画素値の関係として、画素値の比を用いる、
請求項１または２に記載の画像補正装置。

【請求項4】

前記補正バンド画像作成手段は、前記基準バンド画像の各画素値を、前記基準バンド画像の最小の画素値を用いて正規化する、
請求項３に記載の画像補正装置。

【請求項5】

前記補正バンド画像作成手段は、前記画素値の関係として、画素値の差を用いる、
請求項１または２に記載の画像補正装置。

【請求項6】

前記補正バンド画像作成手段は、前記基準バンド画像の各画素値を、前記基準バンド画像の画素値の標準偏差および前記対象バンド画像の画素値の標準偏差を用いて正規化する、
請求項５に記載の画像補正装置。

【請求項7】

前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の全画素の前記位置差として算出する、
請求項１乃至６の何れかに記載の画像補正装置。

【請求項8】

前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の中心位置の画素の前記位置差として算出し、前記中心位置の画素の位置差から補間処理によって中心位置の画素以外の画素の前記位置差を算出する、
請求項１乃至６の何れかに記載の画像補正装置。

【請求項9】

被写体を撮像して得られた複数のバンド画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係と前記対象画素と前記対応画素との重なる面積とに基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
画像補正方法。

【請求項10】

コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係と前記対象画素と前記対応画素との重なる面積とに基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像補正装置、画像補正方法、およびプログラムに関する。

【背景技術】

【0002】

航空機や衛星から地表面の画像を取得する装置として、プッシュブルーム方式の画像取得装置が多く採用されている。この種の装置においては、画像センサに１次元アレイセンサを使用することにより、Ｘ軸方向に延びるライン状の画像を取得するように構成されている。そして、航空機や衛星の移動により画像取得装置全体をライン状の取得画像に対して垂直方向（Ｙ軸方向）に並進させることにより、２次元の画像を形成するように構成されている。また、この種の画像取得装置を使用して複数の波長帯の画像を取得する場合には、複数の１次元アレイセンサのそれぞれに、透過させる光の波長帯域であるバンドが互いに異なる複数のフィルタを装着して被写体を撮像するように構成されている。個々の波長帯の画像はバンド画像と呼ばれる。

【0003】

また、この種の画像取得装置において生じる色ずれを、位置ずれ量に応じたバンド画像のシフトと線形補間法などの通常の補間処理との組み合わせにより低減する技術が、例えば特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６３０５３２８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、光学系の特性などにより歪曲収差が生じると、バンド間に位相差が生じ、位相差による色ずれが生じる。ここでいう位相差による色ずれとは、例えばＲＧＢ（赤・緑・青）等の複数のバンドで同じ被写体を撮像する場合に、被写体の同じ個所が各バンドの画素内のどこにくるかが異なることにより被写体とは異なる色が生じることをいう。このような位相差による色ずれは、色ずれの補正時に位置ずれ量に応じたバンド画像のシフトと線形補間法などの通常の補間処理の組み合わせによっては、低減するのは困難であった。

【0006】

本発明の目的は、上述した課題、すなわち、バンド画像のシフトと線形補間法等の通常の補間処理の組み合わせでは、位相差による色ずれを低減するのは困難である、という課題を解決する画像補正装置を提供することにある。

【課題を解決するための手段】

【0007】

本発明の一形態に係る画像補正装置は、
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係に基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備えるように構成されている。

【0008】

また、本発明の他の形態に係る画像補正方法は、
被写体を撮像して得られた複数のバンド画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係に基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
ように構成されている。

【0009】

また、本発明の他の形態に係るプログラムは、
コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係に基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるように構成されている。

【発明の効果】

【0010】

本発明は、上述したような構成を有することにより、位相差による色ずれを低減することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施形態に係る画像補正装置のブロック図である。

【図2】プッシュブルーム方式の画像取得装置において被写体の同じ個所が各バンドの画素内の異なる場所に写像される現象を説明するための模式図である。

【図3】対象バンド画像の画素の位置差を説明する図である。

【図4】Ｒバンド画像の位置差情報の構成例を示す図である。

【図5】本発明の第１の実施形態に係る画像補正装置の動作の一例を示すフローチャートである。

【図6】本発明の第１の実施形態に係る画像補正装置における位置差取得部の一例を示すブロック図である。

【図7】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部の処理の一例を示すフローチャートである。

【図8】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部が基準バンドおよび対象バンドの各画像を小領域に分割する例を示す図である。

【図9】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部の処理の他の例を示すフローチャートである。

【図10】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部が基準バンドおよび対象バンドの各画像を小領域間に隙間ができるように分割する例を示す図である。

【図11】本発明の第１の実施形態に係る画像補正装置における位置差取得部の他の例を示すブロック図である。

【図12】本発明の第１の実施形態に係る画像補正装置における補正マルチバンド画像作成部の処理の一例を示すフローチャートである。

【図13】対象バンド画像の画素（対象画素）と基準バンド画像の画素（対応画素）との重なりの状態を示す模式図である。

【図14A】本発明の第１の実施形態に係る画像補正装置において使用する数式を示す図である。

【図14B】本発明の第１の実施形態に係る画像補正装置において使用する数式を示す図である。

【図15】被写体である矩形の白板を示す図である。

【図16】白板を撮像したＧバンド画像の各画素の画素値の例を示す図である。

【図17】白板を撮像したＲバンド画像の各画素の画素値の例を示す図である。

【図18】Ｒバンドの画素を位置差（０．５，０．５）だけシフトしたときのＲバンド画像とＧバンド画像の重なり状態の例を示す図である。

【図19】補正Ｒバンド画像の各画素の画素値の例を示す図である。

【図20】画素値の関係として画素値の比を用いるように構成された補正マルチバンド画像作成部の処理の他の一例を示すフローチャートである。

【図21】画素値の関係として画素値の差を用いるように構成された補正マルチバンド画像作成部の処理の他の一例を示すフローチャートである。

【図22】本発明の第２の実施形態に係る画像補正装置のブロック図である。

【発明を実施するための形態】

【0012】

次に本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施形態］
図１を参照すると、本発明の第１の実施形態に係る画像補正装置１０は、複数の１次元アレイセンサ１１と、通信インターフェース（Ｉ／Ｆ）部１２と、操作入力部１３と、画面表示部１４と、記憶部１５と、演算処理部１６とから構成されている。

【0013】

複数の１次元アレイセンサ１１は、例えば１次元ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや１次元ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）センサ等からなり、被写体１８を撮像するプッシュブルーム方式の画像取得装置を構成している。複数の１次元アレイセンサ１１には、透過させる光の波長帯域であるバンドが互いに異なる複数のフィルタ１９が取り付けられている。使用する１次元アレイセンサ１１とフィルタ１９の組み合わせおよび組数によって取得するバンド画像の数、波長帯が決定される。例えば、高分解能光学衛星であるＡＳＮＡＲＯ－１に搭載されたマルチバンドセンサでは以下の６バンドの画像が取得される。
バンド１：波長帯域４００－４５０ｎｍ（Ｏｃｅａｎ Ｂｌｕｅ）
バンド２：波長帯域４５０－５２０ｎｍ（Ｂｌｕｅ）
バンド３：波長帯域５２０－６００ｎｍ（Ｇｒｅｅｎ）
バンド４：波長帯域６３０－６９０ｎｍ（Ｒｅｄ）
バンド５：波長帯域７０５－７４５ｎｍ（Ｒｅｄ Ｅｄｇｅ）
バンド６：波長帯域７６０－８６０ｎｍ（ＮＩＲ）

【0014】

通信Ｉ／Ｆ部１２は、例えば、専用のデータ通信回路から構成され、有線または無線を介して接続された各種装置との間でデータ通信を行うように構成されている。操作入力部１３は、キーボードやマウスなどの操作入力装置から構成され、操作者の操作を検出して演算処理部１６に出力するように構成されている。画面表示部１４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１６からの指示に応じて、補正バンド画像などを画面表示するように構成されている。

【0015】

記憶部１５は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１６における各種処理に必要な処理情報およびプログラム１５１を記憶するように構成されている。プログラム１５１は、演算処理部１６に読み込まれて実行されることにより各種処理部を実現するプログラムである。プログラム１５１は、通信Ｉ／Ｆ部１２などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１５に保存される。

【0016】

記憶部１５に記憶される主な処理情報には、マルチバンド画像１５２、位置差情報１５３、および、補正マルチバンド画像１５４がある。

【0017】

マルチバンド画像１５２は、プッシュブルーム方式の画像取得装置によって取得された複数のバンド画像のセットである。マルチバンド画像１５２は、プッシュブルーム方式の画像取得装置によって取得された全てのバンド画像のセットであってもよいし、一部のバンド画像のセットであってもよい。本実施形態では、マルチバンド画像１５２は、Ｒバンド画像１５２－１とＧバンド画像１５２－２とＢバンド画像１５２－３の３バンドで構成されているものとする。例えば、上述したＡＳＮＡＲＯ－１の場合、Ｒバンド画像１５２－１としてバンド４、Ｇバンド画像１５２－２としてバンド３、Ｂバンド画像１５２－３としてバンド２を、それぞれ割り当ててよい。

【0018】

位置差情報１５３は、マルチバンド画像１５２を構成する複数のバンド画像のうちの１つを基準バンド画像、残りを対象バンド画像とするとき、基準バンド画像と対象バンド画像との間の位置差に関する情報である。本実施形態では、Ｇバンド画像１５２－２を基準バンド画像とし、Ｒバンド画像１５２－１およびＢバンド画像１５２－３をそれぞれ対象バンド画像とする。そのため、位置差情報１５３は、Ｇバンド画像１５２－２に対するＲバンド画像１５２－１の位置差を記録する位置差情報１５３－１と、Ｇバンド画像１５２－２に対するＢバンド画像１５２－３の位置差を記録する位置差情報１５３－２とから構成されている。

【0019】

プッシュブルーム方式の画像取得装置における光学系の特性などにより歪曲収差が生じると、被写体１８を撮像したときに被写体１８の同じ個所が各バンドの画素内の異なる場所に写像される現象が発生する。図２はそのような現象を説明するための模式図である。図２において、実線の矩形は基準バンド画像の画素（ｘ，ｙ）が撮像する範囲を示し、破線の矩形は対象バンド画像の画素（ｘ，ｙ）が撮像する範囲を示し、黒丸は被写体１８の一部を示す。図２に示す例では、被写体１８の一部である黒丸が、基準バンドの画素（ｘ，ｙ）ではほぼ中央に位置するのに対して、対象バンドの画素（ｘ，ｙ）では右下に位置している。この場合、図３に示すように、対象バンドの画素（ｘ，ｙ）を紙面右方向にｓ画素（０≦ｓ＜１）だけ、紙面下方向にｔ画素（０≦ｔ＜１）だけ、それぞれ移動させると、基準バンド画像の画素（ｘ，ｙ）と対象バンド画像の画素（ｘ，ｙ）が撮像する範囲が一致する。このように複数のバンド画像の撮像範囲が一致することを、複数のバンド画像の画素境界が一致していると言う。また、このときの（ｓ，ｔ）を位置差と呼ぶ。位置差は、対象バンドかつ画素毎に異なる可能性がある。本実施形態では、位置差情報１５３は、対象バンドかつ画素毎に記録されている。

【0020】

図４は、Ｒバンド画像１５２－１の位置差情報１５３－１の構成例を示す図である。この例の位置差情報１５３－１は、対象バンドＩＤと画素毎の情報の項目から構成されている。対象バンドＩＤの項目には、対象バンドＩＤを一意に特定する識別情報が記録されている。画素毎の情報の項目は、対象バンド画像の画素位置の項目とその画素位置における位置差の項目との組み合わせから構成されている。画素位置の項目には、対象バンド画像上の画素の位置を特定するｘｙ座標値（ｘ，ｙ）が記録される。また、位置差の項目には図３を参照して説明した（ｓ，ｔ）が記録される。図示していないが、Ｂバンド画像１５２－３の位置差情報１５３－２も、位置差情報１５３－１と同様の構成を有している。

【0021】

補正マルチバンド画像１５４は、マルチバンド画像１５２に対して色ずれが生じないよう補正を施して得られたマルチバンド画像である。補正マルチバンド画像１５４は、補正Ｒバンド画像１５４－１と補正Ｇバンド画像１５４－２と補正Ｂバンド画像１５４－３とから構成されている。

【0022】

演算処理部１６は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１５からプログラム１５１を読み込んで実行することにより、上記ハードウェアとプログラム１５１とを協働させて各種処理部を実現するように構成されている。演算処理部１６で実現される主な処理部には、マルチバンド画像取得部１６１、位置差取得部１６２、補正マルチバンド画像作成部１６３、および、補正マルチバンド画像出力部１６４がある。

【0023】

マルチバンド画像取得部１６１は、１次元アレイセンサ１１から構成されるプッシュブルーム方式の画像取得装置からマルチバンド画像１５２を取得し、記憶部１５に記録するように構成されている。但し、マルチバンド画像取得部１６１は、上記画像取得装置からマルチバンド画像１５２を取得する構成に限定されない。例えば、上記画像取得装置から取得されたマルチバンド画像１５２が図示しない画像サーバ装置に蓄積されている場合、マルチバンド画像取得部１６１は、画像サーバ装置からマルチバンド画像１５２を取得するように構成されていてよい。

【0024】

位置差取得部１６２は、マルチバンド画像取得部１６１が取得したマルチバンド画像１５２の位置差情報１５３を取得し、記憶部１５に記録するように構成されている。

【0025】

補正マルチバンド画像作成部１６３は、記憶部１５からマルチバンド画像１５２と位置差情報１５３とを読み出し、そのマルチバンド画像１５２と位置差情報１５３とから、補正マルチバンド画像１５４を作成し、記憶部１５に記録するように構成されている。

【0026】

補正マルチバンド画像出力部１６４は、記憶部１５から補正マルチバンド画像１５４を読み出し、その補正マルチバンド画像１５４を画面表示部１４に表示し、または／および、通信Ｉ／Ｆ部１２を通じて外部装置に出力するように構成されている。補正マルチバンド画像出力部１６４は、補正マルチバンド画像１５４を構成する個々の補正Ｒバンド画像１５４－１、補正Ｇバンド画像１５４－２、補正Ｂバンド画像１５４－３をそれ単独で表示ないし出力してもよいし、補正Ｒバンド画像１５４－１と補正Ｇバンド画像１５４－２と補正Ｂバンド画像１５４－３とを合成して得られるカラー画像を画面表示部１４に表示し、または／および、通信Ｉ／Ｆ部１２を通じて外部装置に出力してもよい。

【0027】

図５は、本実施形態に係る画像補正装置１０の動作の一例を示すフローチャートである。図５を参照すると、先ず、マルチバンド画像取得部１６１は、１次元アレイセンサ１１から構成される画像取得装置によって撮像されたマルチバンド画像１５２を取得し、記憶部１５に記録する（ステップＳ１）。次に、位置差取得部１６２は、マルチバンド画像取得部１６１が取得したマルチバンド画像１５２の位置差情報１５３を取得し、記憶部１５に記録する（ステップＳ２）。次に、補正マルチバンド画像作成部１６３は、記憶部１５からマルチバンド画像１５２および位置差情報１５３を読み出し、それらに基づいて補正マルチバンド画像１５４を作成し、記憶部１５に記録する（ステップＳ３）。次に、補正マルチバンド画像出力部１６４は、記憶部１５から補正マルチバンド画像１５４を読み出し、画面表示部１４に表示し、または／および、通信Ｉ／Ｆ部１２を通じて外部装置に出力する（ステップＳ４）。

【0028】

続いて、画像補正装置１０の主要な構成要素について詳細に説明する。先ず、位置差取得部１６２について詳細に説明する。

【0029】

図６は、位置差取得部１６２の一例を示すブロック図である。この例の位置差取得部１６２は、位置差情報作成部１６２１を含んで構成されている。

【0030】

位置差情報作成部１６２１は、記憶部１５からマルチバンド画像１５２を読み出し、Ｇバンド画像１５２－２とＲバンド画像１５２－１とからＲバンドの位置差情報１５３－１を作成し、Ｇバンド画像１５２－２とＢバンド画像１５２－３からＢバンドの位置差情報１５３－２を作成するように構成されている。

【0031】

図７は、位置差情報作成部１６２１の処理の一例を示すフローチャートである。先ず、位置差情報作成部１６２１は、基準バンドおよび対象バンドの各画像を、例えば図８に示すように、所定の形状およびサイズを有する複数の小領域に分割する（ステップＳ１１）。図８では、小領域は矩形であるが、矩形以外の形状であってもよい。小領域のサイズは、１画素より十分に大きくしておくことが望ましい。

【0032】

次に位置差情報作成部１６２１は、対象バンドの１つ（例えばＲバンド）に注目する（ステップＳ１２）。次に位置差情報作成部１６２１は、注目中の対象バンドの位置差情報を初期化する（ステップＳ１３）。例えば、対象バンドの位置差情報が図４に示したフォーマットを有する場合、各画素位置（ｘ，ｙ）の位置差（ｓ，ｔ）をそれぞれ例えばＮＵＬＬ値に初期化する。

【0033】

次に位置差情報作成部１６２１は、注目中の対象バンドの１つの小領域に注目する（ステップＳ１４）。次に位置差情報作成部１６２１は、注目中の対象バンドの小領域に対応する基準バンドの１つの小領域に注目する（ステップＳ１５）。本実施形態では、対象バンドの位置差は１画素以下となる状況を想定している。そのため、注目中の対象バンドの小領域に対応する基準バンドの１つの小領域は、対象バンドの小領域と同じ位置の小領域である。即ち、注目中の対象バンドの小領域が図８の左上角の小領域であれば、基準バンドの注目する小領域は同じく図８の左上角の小領域である。

【0034】

次に位置差情報作成部１６２１は、注目中の対象バンドの小領域が注目中の基準バンドの小領域に最も一致するシフト量（ｓ，ｔ）を算出する（ステップＳ１６）。例えば、注目中の対象バンドの小領域の画像を、例えばＸ軸方向に０．２画素、Ｙ軸方向に０．７画素だけシフトすれば、注目中の基準バンドの小領域に最も一致するならば、このＸ軸方向のシフト量ｓ＝０．２画素、Ｙ軸方向のシフト量ｔ＝０．７画素が求めるシフト量になる。このようなシフト量は、位相限定相関法やＳＳＤパラボラフィッティング法などの１画素未満の精度でシフト量を計算できるサブピクセルマッチング手法を用いて算出してよい。次に位置差情報作成部１６２１は、算出したシフト量（ｓ，ｔ）を注目中の対象バンドの小領域に含まれる全ての画素の位置差（ｓ，ｔ）として、注目中の対象バンドの位置差情報を更新する（ステップＳ１７）。

【0035】

次に位置差情報作成部１６２１は、注目中の対象バンドの他の１つの小領域に注目を移し（ステップＳ１８）、ステップＳ１５の処理に戻って、前述した処理と同様の処理を新たに注目した対象バンドの小領域に対して実行する。そして、位置差情報作成部１６２１は、注目中の対象バンドの全ての小領域に注目し終えると（ステップＳ１９でＹＥＳ）、他の対象バンド（例えばＢバンド）の１つに注目を移し（ステップＳ２０）、ステップＳ１３の処理に戻って、前述した処理と同様の処理を新たに注目した対象バンドに対して実行する。そして、全ての対象バンドに注目し終えると（ステップＳ２１でＹＥＳ）、作成した各対象バンドの位置差情報を記憶部１５に保存する（ステップＳ２２）。そして、位置差情報作成部１６２１は、図７に示した処理を終了する。

【0036】

図９は、位置差情報作成部１６２１の処理の他の例を示すフローチャートである。図９に示す処理は、ステップＳ１７がステップＳ１７Ａに置換され、また、ステップＳ１９とステップＳ２０の間に新たなステップＳ２３が設けられている点で、図７に示す処理と相違し、それ以外は図７に示す処理と同じである。図９のステップＳ１７Ａにおいて、位置差情報作成部１６２１は、ステップＳ１６で算出したシフト量（ｓ，ｔ）を注目中の対象バンドの小領域の中心位置の画素の位置差として、注目中の対象バンドの位置差情報を更新する。そのため、図９のステップＳ１７Ａでは、注目中の小領域の中心位置の画素以外の画素の位置差は更新されず、初期値のＮＵＬＬ値のままである。図９のステップＳ２３では、位置差情報作成部１６２１は、注目中の対象バンドの各小領域の中心位置以外の画素の位置差を、ステップＳ１７Ａで算出した各小領域の中心位置の画素の位置差から補間によって算出し、注目中の対象バンドの位置差情報を更新する。補間方法は、例えば、隣接小領域の中心との距離に応じた重み付け平均による補間としてよい。

【0037】

図７に示したように小領域毎に求めたシフト量を小領域内の全画素の位置差とする場合、小領域の境界で位置差が不連続になる可能性がある。一方、図９に示した方法では、位置差が画素位置に応じて連続して変化することになり、位置差が不連続になることはなくなる。その結果、図９に示した方法は、小領域の境界で補正画像の色に段差が生じることがなくなる効果がある。

【0038】

また、図７および図９に示した方法では、基準バンドおよび対象バンドの画像全体を隈なく小領域に分割したが、図１０に示すように、位置差情報作成部１６２１は、小領域間に隙間（図中のハッチング部分）ができるように分割してもよい。そして、位置差情報作成部１６２１は、隙間に含まれる画素の位置差を、ステップＳ１７またはステップＳ１７Ａで算出した中心位置の画素の位置差から補間で求めるようにしてよい。このときの補間は、例えば、隣接小領域の中心との距離に応じた重み付け平均による補間としてよい。このように小領域間に隙間ができるように基準バンドおよび対象バンドを複数の小領域に分割して位置差を作成する方法によれば、隙間ができないように分割する場合に比べて計算時間を減らすことができる。

【0039】

図７および図９に示した方法では、位置差情報作成部１６２１は、マルチバンド画像１５２から対象バンド画像の各画素の位置差を作成した。しかし、位置差情報作成部１６２１は、マルチバンド画像を取得したプラットフォーム（人工衛星や航空機など）の位置・姿勢情報から対象バンド画像の各画素の位置差を作成するようにしてもよい。一般に人工衛星や航空機から撮像した画像は、画像取得時のプラットフォームの位置や姿勢等を用いて、地図に投影することにより、画像プロダクトに加工される。マルチスペクトル画像の場合、バンド毎に地図に投影されるため、位置差情報も地図投影の過程で求められる。そのため、位置差情報作成部１６２１は、一般的な地図投影の方法を用いて対象バンド画像の各画素の位置差情報を作成してもよい。

【0040】

図１１は、位置差取得部１６２の他の例を示すブロック図である。この例の位置差取得部１６２は、位置差情報入力部１６２２を含んで構成されている。

【0041】

位置差情報入力部１６２２は、通信Ｉ／Ｆ部１２を通じて図示しない外部装置から位置差情報１５３を入力し、記憶部１５に保存するように構成されている。あるいは、位置差情報入力部１６２２は、操作入力部１３を通じて画像補正装置１０の操作者から位置差情報１５３を入力し、記憶部１５に保存するように構成されている。すなわち、位置差情報入力部１６２２は、画像補正装置１０以外の装置で計算されたマルチバンド画像１５２の位置差情報１５３を入力して、記憶部１５に保存するように構成されている。

【0042】

以上のように位置差取得部１６２は、マルチバンド画像１５２の位置差情報１５３を自ら作成するか、或いは、外部から入力して、記憶部１５に保存するように構成されている。

【0043】

続いて、補正マルチバンド画像作成部１６３について詳細に説明する。

【0044】

図１２は、補正マルチバンド画像作成部１６３の処理の一例を示すフローチャートである。図１２を参照すると、補正マルチバンド画像作成部１６３は、先ず、対象バンドの１つ（例えばＲバンド）に注目する（ステップＳ３１）。次に補正マルチバンド画像作成部１６３は、注目中の対象バンドの補正対象バンド画像の画素値を０に初期化する（ステップＳ３２）。対象バンドの補正対象バンド画像とは、基準バンドの各画素位置における当該対象バンドの色の画素値を保持する画像のことである。従って、補正対象バンド画像の画素位置（ｘ，ｙ）は、基準バンド画像の画素位置（ｘ，ｙ）に対応する。

【0045】

次に補正マルチバンド画像作成部１６３は、注目中の対象バンドの１つの画素位置の画素に注目する（ステップＳ３３）。この注目する対象バンドの画素位置の画素を対象画素と呼ぶ。次に補正マルチバンド画像作成部１６３は、注目中の対象画素を当該対象画素の位置差（ｓ，ｔ）だけシフトしたときに重なる基準バンドの画素位置の画素を最大４画素だけ抽出する（ステップＳ３４）。この対象画素と重なる基準バンドの画素を対応画素と呼ぶ。ここで、対象バンドの各画素の位置差（ｓ，ｔ）におけるｓとｔは０以上１画素未満であって画素の整数倍の位置差はないものとする。すると、ｓとｔの両方が０でない場合、注目中の対象バンドの画素位置（ｘ，ｙ）の対象画素は、基準バンドの４つの画素、即ち画素位置（ｘ，ｙ）、（ｘ－１，ｙ）、（ｘ，ｙ－１）、（ｘ－１，ｙ－１）の４つの対応画素と重なる。図１３はそのような重なりの状態を示す模式図であり、実線の矩形は基準バンドの対応画素、破線の矩形は対象バンドの対象画素をそれぞれ示す。また、ｓとｔのどちらか一方が０のときは、注目中の対象バンドの画素位置（ｘ，ｙ）の対象画素は基準バンドの２つの画素と重なり、ｓとｔの両方が０のときは、注目中の対象バンドの画素位置（ｘ，ｙ）の対象画素は基準バンドの１つの画素と重なる。このように、ｓとｔのどちらか、或いは両方が０の場合、対応画素の数は４ではない。しかし、対象画素と重ならない対応画素は、対象画素と重なる面積が０であるため、対象画素と重なる対応画素と同様に扱っても影響はない。そのため、以降、式の上では、ｓとｔのどちらか、或いは両方が０の場合も区別せずに扱う。

【0046】

次に補正マルチバンド画像作成部１６３は、注目中の対象バンドの対象画素が基準バンドの各対応画素と重なる面積を求める（ステップＳ３５）。画素位置（ｘ，ｙ）の対象画素が、画素位置（ｘ，ｙ）、（ｘ，ｙ－１）、（ｘ－１，ｙ）、（ｘ－１，ｙ－１）の各対応画素と重なる面積を、それぞれｕ（０，０）、ｕ（０，１）、ｕ（１，０）、ｕ（１，１）とすると、それらの面積はｓ，ｔを用いて図１４Ａに示す式１で与えられる。

【0047】

次に補正マルチバンド画像作成部１６３は、基準バンドの対応画素間の画素値の関係と各対応画素が注目中の対象画素と重なる面積とに基づいて、注目中の対象画素の画素値から、基準バンドの複数の対応画素に対応する補正対象バンド画像の複数の画素に割り振る値を求める（ステップＳ３６）。すなわち、補正マルチバンド画像作成部１６３は、輝度値あるいは明度がバンド間で強い相関を持つことに着目し、注目中の対象バンドの対象画素の画素値を、基準バンドの複数の対応画素の間の画素値の関係と同じになるように、基準バンドの複数の対応画素に対応する補正対象バンド画像の複数の画素に割り振る。

【0048】

本発明で利用可能な画素値の関係として、画素値の比がある。また、画素値の比の代わりに、画素値の差を利用することもできる。補正マルチバンド画像作成部１６３は、画素値の比を使用するとき、ステップＳ３６では、図１４Ａの式２に従って、補正対象バンド画像の複数の画素に割り振る値を算出する。また、補正マルチバンド画像作成部１６３は、画素値の差を使用するとき、ステップＳ３６では、図１４Ａの式３に従って、補正対象バンド画像の複数の画素に割り振る値を算出する。式２および式３において、Ｔ（ｘ，ｙ）は注目中の対象バンドの画素位置（ｘ，ｙ）の対象画素の画素値、Ｃ（ｘ－ｐ，ｙ－ｑ）（ｐ，ｑ＝０，１）は基準バンドの対応画素の画素値、ｕ（ｐ，ｑ）は図１３を参照して説明した対象画素と基準バンドの対応画素とが重なる領域の面積、ＴＣ（ｘ，ｙ，ｐ，ｑ）は補正バンド画像の対応画素（ｘ－ｐ，ｙ－ｑ）（ｐ，ｑ＝０，１）の画素値Ｔ´（ｘ－ｐ，ｙ－ｑ）（ｐ，ｑ＝０，１）に割り振られる値である。

【0049】

画素値の関係として画素値の比を用いるか、画素値の差を用いるかは任意である。例えば、対象バンドと基準バンドの対応画素で明るさの比が同じであるとの条件が成立する環境では、画素値の比を用いてよい。即ち、明るさの比を比較できるためには、基準となる画素値０が光の当たっていない状態となっており、そこから各バンドに入る明るさに比例して画素値が定まる環境であれば、画素値の比を用いてよい。しかし、特に人工衛星から地上を撮像した画像では、得たい信号である地表面で反射した光だけでなく、大気で散乱した光もセンサに入射する。そのため、大気で散乱した光の分だけ画素値は大きくなる。大気で散乱する光は波長が短い方が大きいため、バンドによってどれだけ画素値が大きくなってくるかが異なる。そのため、人工衛星から地上を撮像した画像では、画素値の比が明るさの比にならないことがある。従って、そのような環境では、画素値の関係として画素値の差を用いるのが好ましい。その理由は、各バンドの画素値が一定量加算されていても画素値の差は変化しないためである。画素値の差を用いることで、人工衛星から地上を撮像した画像に対して、大気で散乱した光等により出力が加算される影響を取り除くことができる。そのため、画素値の差を用いることにより、画素値の比が明るさの比となっていない場合でも、色ずれのない補正画像を作成することができる。

【0050】

再び図１２を参照すると、補正マルチバンド画像作成部１６３は、ステップＳ３６で求めた補正対象バンド画像の複数の画素に割り振る値を、補正対象バンド画像のそれら複数の画素の画素値（初期値は０）に加算する（ステップＳ３７）。即ち、補正対象バンド画像の、基準バンドと位相を合わせた画素（ｘ，ｙ）の画素値をＴ’（ｘ，ｙ）とすると、Ｔ’（ｘ，ｙ）は図１４Ａの式８で求められることになる。

【0051】

次に補正マルチバンド画像作成部１６３は、注目中の対象バンドの他の画素位置の１つの対象画素に注目を移し（ステップＳ３８）、ステップＳ３９を経由してステップＳ３４へ戻り、上述した処理と同様の処理を繰り返す。そして、補正マルチバンド画像作成部１６３は、注目中の対象バンドの全ての画素に注目し終えると（ステップＳ３９でＹＥＳ）、他の対象バンドの１つ（例えばＢバンド）に注目を移し（ステップＳ４０）、ステップＳ４１を経由してステップＳ３２に戻り、上述した処理と同様の処理を繰り返す。そして、補正マルチバンド画像作成部１６３は、全ての対象バンドに注目し終えると（ステップＳ４１でＹＥＳ）、補正対象バンド画像を記憶部１５に保存する（ステップＳ４２）。即ち、補正マルチバンド画像作成部１６３は、上述のようにして作成した補正Ｒバンド画像１５４－１および補正Ｂバンド画像１５４－３を記憶部１５に書き込む。また、補正マルチバンド画像作成部１６３は、基準バンドのＧバンド画像１５２－２をそのまま補正Ｇバンド画像１５４－２として記憶部１５に書き込む。そして、補正マルチバンド画像作成部１６３は、図１２に示した処理を終了する。

【0052】

以上説明したように本実施形態に係る画像補正装置１０によれば、位相差による色ずれを低減することができる。その理由は、画像補正装置１０は、被写体を撮像して得られた複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像と基準バンド画像との間の位置差を取得し、対象バンド画像の画素を上記位置差だけシフトしたときに対象バンド画像の画素と重なる基準バンド画像の複数の画素の間の画素値の関係に基づいて、基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成するためである。以下、上記効果を簡単な例を挙げて説明する。

【0053】

今、被写体１８として、図１５に示すような矩形の白板ＷＢを考える。白板ＷＢの背景は黒色とする。バンド画像は４×４画素からなり、各画素の画素値の範囲は０～２５５とする。図１６は、白板ＷＢを撮像したＧバンド画像の各画素Ｇ１１～Ｇ４４の画素値の例を示す。この例では、白板ＷＢはＧバンドの画素Ｇ３３のみで撮像されており、画素Ｇ３３の画素値は２５５、それ以外の画素の画素値は０になっている。図１７は、白板ＷＢを撮像したＲバンド画像の各画素Ｒ１１～Ｒ４４の画素値の例を示す。この例では、白板ＷＢはＲバンドの画素Ｒ３４、Ｒ４４、Ｒ３３、Ｒ４３で撮像されており、それらの画素値はそれぞれ２５５／４、それら以外の画素の画素値は０になっている。このとき、Ｒバンドの画素Ｒ３４、Ｒ４４、Ｒ３３、Ｒ４３の位置差（ｓ，ｔ）はそれぞれ（０．５，０．５）とする。

【0054】

図１８は、Ｒバンドの画素Ｒ３４、Ｒ４４、Ｒ３３、Ｒ４３をそれぞれ位置差（０．５，０．５）だけシフトしたときのＲバンド画像とＧバンド画像の重なり状態の例を示している。この例では、Ｒバンドの画素Ｒ３４は、Ｇバンド画像のＧ２４、Ｇ３４、Ｇ２３、Ｇ３３の４つの画素と重なっている。また、Ｒバンドの画素Ｒ４４は、Ｇバンド画像のＧ３４、Ｇ４４、Ｇ３３、Ｇ４３の４つの画素と重なっている。また、Ｒバンドの画素Ｒ３３は、Ｇバンド画像のＧ２３、Ｇ３３、Ｇ２２、Ｇ３２の４つの画素と重なっている。また、Ｒバンドの画素Ｒ４３は、Ｇバンド画像のＧ３３、Ｇ４３、Ｇ３２、Ｇ４２の４つの画素と重なっている。

【0055】

以上のような例の場合、画素Ｇ３３に対応する補正Ｒバンド画像の画素Ｒ３３’の画素値は、画素Ｒ３４から画素Ｒ３３’に割り振る画素値と、画素Ｒ４４から画素Ｒ３３’に割り振る画素値と、画素Ｒ３３から画素Ｒ３３’に割り振る画素値と、画素Ｒ４３から画素Ｒ３３’に割り振る画素値との和として与えられる。

【0056】

画素Ｒ３４から画素Ｒ３３’に割り振る画素値は、式２を用いると、２５５／４なる。即ち、画素Ｒ３４の画素値の全てが画素Ｒ３３’に配分される。その理由は、画素Ｒ３４と重なる４つの画素Ｇ２４、Ｇ３４、Ｇ２３、Ｇ３３の間の画素値の関係は、に画素値の比の場合、０：０：０：２５４であるため、同じような画素値の比の関係になるように画素Ｒ３４を画素Ｒ２４’、Ｒ３４’、Ｒ２３’、Ｒ３３’に割り振ると、０：０：０：２５４／４となるためである。同様に、画素Ｒ４４の画素値の全てが画素Ｒ３３’に割り振られ、画素Ｒ３３の画素値の全てが画素Ｒ３３’に割り振られ、画素Ｒ４３の画素値の全てが画素Ｒ３３’に割り振られる。その結果、補正Ｒバンド画像の画素Ｒ３３’の画素値は、図１９に示すように、２５５になる。以上は、画素値の関係として画素値の比を用いる式２の場合であるが、画素値の差を用いる式３の場合も同様に、画素Ｒ３４、Ｒ４４、Ｒ３３、Ｒ４３の画素値の全てが画素Ｒ３３’に割り振られ、補正Ｒバンド画像の画素Ｒ３３’の画素値は、２５５になる。

【0057】

一方、上述したように画素Ｒ３４、Ｒ４４、Ｒ３３、Ｒ４３の画素値の全てが画素Ｒ３３’に割り振られるため、画素Ｒ３３’以外の補正Ｒバンド画像の画素に画素Ｒ３４、Ｒ４４、Ｒ３３、Ｒ４３から割り振られる画素値は０である。その結果、補正Ｒバンド画像の画素Ｒ３３’以外の画素の画素値は、図１９に示すように全て０になる。その結果、Ｇバンド画像と補正Ｒバンド画像とを合成しても、色ずれは発生しない。

【0058】

これに対して、図１８に示したシフト後のＲバンド画像の各画素値から通常の補間式を用いて図１８のＧバンド画像の各画素位置に対応する補正Ｒバンド画像の各画素の画素値を求める場合、画素Ｒ３３’を中心とする一定範囲の画素（例えば画素Ｒ２４’、Ｒ３４’、Ｒ４４’、Ｒ２３’、Ｒ３３’、Ｒ４３’、Ｒ２２’、Ｒ３２’、Ｒ４２’）にＲバンドの画素値が配分された補正Ｒバンド画像が得られる。その結果、Ｇバンド画像と補正Ｒバンド画像とを合成すると、白板ＢＷは、外側が赤く、中央が緑の板のイメージになる。即ち、色ずれが発生する。

【0059】

以上は、補正Ｒバンド画像を例にして本実施形態における色ずれ効果を説明したが、補正Ｂバンド画像における色ずれも同様に低減することができる。また、白板を例にして色ずれ補正の効果を説明したが、他の種類の被写体でも同様の効果が得られるのは勿論のことである。因みに、黒色背景上の斜めの白線の場合、通常の補間方式による色ずれ補正では、斜めの白線の端が画素中のどこにくるかがバンド毎に異なると、白線の両側のある場所では赤が強調され、別の場所では青あるいは緑が強調されるような色ずれが発生する。本発明によれば、そのような色ずれも低減することができる。

【0060】

以上、第１の実施形態に係る画像補正装置１０の構成、動作、および効果について説明した。続いて、第１の実施形態の幾つかの変形例について説明する。

【0061】

＜変形例１＞
図２０は、画素値の関係として画素値の比を用いるように構成された補正マルチバンド画像作成部１６３の処理の他の一例を示すフローチャートである。図２０を参照すると、補正マルチバンド画像作成部１６３は、図２０の処理を開始すると、基準バンド画像であるＧバンド画像１５２－２と対象バンド画像であるＲバンド画像１５２－１およびＢバンド画像１５２－３の各画素の画素値に対して、明度の比が画素値の比となるように正規化を行う（ステップＳ５１）。そして、補正マルチバンド画像作成部１６３は、正規化された基準バンドと対象バンドの画素値を使用して、図１２に示したステップＳ３１～Ｓ４２の処理を実行する。

【0062】

対応画素の画素間の画素値の関係として、画素値の比を用いるのは、画素値の比が明るさの比になっていることを前提としているためである。しかし、例えば大気の散乱による光が入る等により光の入っていない状態が画素値０ではなく、大気散乱分のオフセットが加わっていると、基準バンド画像および対象バンド画像における画素値の比が明るさの比に正確に一致しない。そのため、正規化せずに元の基準バンド画像および対象バンド画像を使って色ずれ補正を行うと、補正した対象バンドの画素値が基準バンドの画素値の比を基にしたものにならない。

【0063】

そこで、補正マルチバンド画像作成部１６３は、マルチバンド画像取得部１６１によって取得されたマルチバンド画像にオフセット分が加わっていても、正しく画素値の比を用いて補正できるようにするための画素値の正規化を行う。本例では、補正マルチバンド画像作成部１６３は、画像中のどこかに光の当たっていない画素があると仮定し、各バンド画像の最小値を光が当たっていない場合のオフセット成分とみなして、正規化を行う。

【0064】

先ず、補正マルチバンド画像作成部１６３は、対象バンド毎に、図１４Ａの式４に示すように、対象バンドの画素値の最小値を用いて、対象バンドの画素値の正規化を行う。式４において、Ｔ（ｘ，ｙ）はマルチバンド画像取得部１６１によって取得された対象バンドの画素位置（ｘ，ｙ）の画素値、ｍｉｎＴ（ｉ，ｊ）は当該対象バンドの画素値の最小値、Ｔ”（ｘ，ｙ）は正規化された対象バンドの画素値をそれぞれ表す。このように、補正マルチバンド画像作成部１６３は、Ｒバンド画像中の最小の画素値を用いてＲバンド画像を正規化し、Ｂバンド画像中の最小の画素値を用いてＢバンド画像を正規化する。

【0065】

また、補正マルチバンド画像作成部１６３は、図１４Ａの式５に示すように、基準バンドの画素値の最小値を用いて、基準バンドの画素値の正規化を行う。式５において、Ｃ（ｘ，ｙ）はマルチバンド画像取得部１６１によって取得された基準バンドの画素位置（ｘ，ｙ）の画素値、ｍｉｎＣ（ｉ，ｊ）は当該基準バンドの画素値の最小値、Ｃ”（ｘ，ｙ）は正規化された基準バンドの画素値をそれぞれ表す。このように、補正マルチバンド画像作成部１６３は、Ｇバンド画像中の最小の画素値を用いてＧバンド画像を正規化する。

【0066】

補正マルチバンド画像作成部１６３は、Ｒバンド画像１５２－１、Ｇバンド画像１５２－２、および、Ｂバンド画像１５２－３の代わりに、上述したようにして正規化されたＲバンド画像、Ｇバンド画像、および、Ｂバンド画像を使用して、図１２のステップＳ３１以降の処理を実行する。このとき、補正マルチバンド画像作成部１６３は、図１４Ａの式２の代わりに、例えば、図１４Ｂに示す式２’を使用する。なお、式２’の右辺の最後の項は対象バンドの画素値の絶対値が相対的に補正前と変わらないようにするための補正項である。補正項は省略してもよい。

【0067】

＜変形例２＞
図２１は、画素値の関係として画素値の差を用いるように構成された補正マルチバンド画像作成部１６３の処理の他の一例を示すフローチャートである。図２１を参照すると、補正マルチバンド画像作成部１６３は、図２１の処理を開始すると、図１２と同様に対象バンドの１つ（例えばＲバンド）に注目する（ステップＳ３１）。次に補正マルチバンド画像作成部１６３は、注目中の対象バンドと基準バンド間の明度の差が画素値の差となるように正規化を行う（ステップＳ６１）。そして、補正マルチバンド画像作成部１６３は、正規化された基準バンドと対象バンドの画素値を使用して、図１２に示したステップＳ３２以降の処理を実行する。なお、図１２に示したステップＳ４１におけるＮＯ判定時にはステップＳ６１に戻って、上述した処理と同様の処理を繰り返す。

【0068】

対応画素の画素間の画素値の関係として、画素値の差を用いるのは、画素値の差が明るさの差になっていることを前提としているためである。しかし、例えばバンド間で感度に違いがある等の理由で同じ明るさの違いでも、バンドによって値の差が異なる場合がある。このような場合、画素値の差が明るさの差に正確に一致しなくなるため、正規化せずに元の基準バンド画像および対象バンド画像を使って色ずれ補正を行うと、補正した対象バンドの画素値が基準バンドの画素値の差を基にしたものにならない。

【0069】

そこで、補正マルチバンド画像作成部１６３は、マルチバンド画像取得部１６１によって取得されたマルチバンド画像のバンド間で感度に差がある等の場合でも、正しく画素値の差を用いて補正できるようにするための画素値の正規化を行う。補正マルチバンド画像作成部１６３は、図２１のステップＳ６１では、図１４Ａの式６を用いて、正規化された基準バンドの画素値を算出する。式６において、Ｃ（ｘ，ｙ）は正規化前のＧバンド画像の画素値、σ（Ｃ（ｘ，ｙ））は基準バンドの画素値の標準偏差、σ（Ｔ（ｘ，ｙ））は対象バンドの画素値の標準偏差、Ｃ”（ｘ，ｙ）は正規化された基準バンドの画素値、をそれぞれ示す。

【0070】

式６により、正規化された基準バンドの画素値の分散（標準偏差）は、対象バンドの画素値の分散（標準偏差）と同じになるため、基準バンドと対象バンドのコントラストを揃えることができる。そして、コントラストが揃うことにより、基準バンドと対象バンド間で明度の変化に対する感度を合わせることができる。補正マルチバンド画像作成部１６３は、Ｇバンド画像１５２－２の代わりに、上述したようにして正規化されたＧバンド画像を使用して、図１２のステップＳ３２以降の処理を実行する。このとき、補正マルチバンド画像作成部１６３は、図１４Ａの式３の代わりに、例えば、図１４Ｂに示す式３’を使用する。

【0071】

上記では、基準バンドの画素値を補正することにより、基準バンドと対象バンド間で明度の変化に対する感度を合わせたが、対象バンドの画素値を補正することにより、基準バンドと対象バンド間で明度の変化に対する感度を合わせるようにしてもよい。

【0072】

＜変形例３＞
位置差情報１５３は、図４に示す例では、対象バンド画像の画素毎の画素位置と位置差の組のリストで記録した。しかし、位置差情報１５３は上記記録方法に限定されない。例えば、位置差情報１５３は、対象バンド画像を位置差が同じ複数の画素の集まりからなる複数の部分領域に分割し、部分領域毎の画素位置と位置差の組のリストで記録してよい。部分領域の形状は、例えば矩形であってよい。また部分領域の画素位置は、矩形であれば左上画素と右下画素の画素位置の組であってよい。また、対象バンド画像の全画素の位置差がほぼ同じであれば、位置差を１つだけ記録するように構成されていてよい。

【0073】

更に、位置差情報１５３は、数値情報として記録する代わりに、数式あるいは数式の係数として記録してもよい。例えば、位置差が光学的歪曲で生じる場合、位置差は、焦点面上の対象バンドの画素と基準バンドの画素の位置関係や光学的な特性により決定される。そのため、画素毎の位置差は、画素位置を引数とする光学特性で定まる式で表現できる。従って、この式あるいはその係数を位置差情報１５３として記録するようにしてもよい。画素毎の位置差は、上記式から計算で求めることができる。

【0074】

また、位置差取得部１６２は、対象バンド毎に、算出された各画素位置の位置差から近似平面を算出し、その算出した近似平面を表す式あるいは式の係数を位置差情報１５３として記録するようにしてもよい。上記近似平面は、例えば、対象バンドの各画素が画素位置ｘと画素位置ｙと位置差（ｓ，ｔ）の３次元のデータ（ｘ，ｙ，（ｓ，ｔ））から構成される３次元点群データとする場合、点群との二乗距離の合計を最小にする平面であってよい。例えば、近似平面として図１４Ａの式７で与えられる平面を使用する場合、位置差取得部１６２は、算出された各画素位置の位置差を用いて、もっともフィットする行列Ａとベクトルｂを求めることにより、全画素の位置差情報１５３を表す式を求めることができる。上記では、対象バンドの各画素位置の位置差を用いて式７の係数を求めたが、図７を参照して説明した各小領域の中心位置の画素の位置差を用いて、もっともフィットする行列Ａとベクトルｂを求めるようにしてもよい。

【0075】

＜変形例４＞
上記では、マルチバンド画像１５２は、ＲＧＢの３バンドの画像とした。しかし、マルチバンド画像１５２は、上記以外であってよい。例えば、マルチバンド画像１５２は、ＲＧＢの３バンドと近赤外バンドとの４バンドの画像であってよい。このようにマルチバンド画像１５２のバンド数に制約はなく、任意の波長帯の任意のバンド数とすることができる。

【0076】

＜変形例５＞
上記では、対象バンドの画素（ｘ，ｙ）と基準バンドの同じ画素位置の画素（ｘ，ｙ）の位置差（ｓ，ｔ）は、０以上１未満として説明したが、位置差（ｓ，ｔ）は０未満あるいは１以上であってもよい。任意の位置差（ｓ，ｔ）に対して、ｓを超えない最大の整数をｓ０、ｔを超えない最大の整数をｔ０とし、ｓ’＝ｓ－ｓ０、ｔ’＝ｔ－ｔ０とする。すると、基準バンドの画素（ｘ，ｙ）に対し、ｘ’＝ｘ－ｓ０、ｙ’＝ｙ－ｔ０とすれば、対象バンドの画素（ｘ，ｙ）と基準バンドの画素（ｘ’，ｙ’）の位置差は０以上１未満の（ｓ’，ｔ’）となる。そのため、基準バンドの画素（ｘ，ｙ）を画素（ｘ’，ｙ’）、位置差（ｓ，ｔ）を位置差（ｓ’，ｔ’）に置き換えれば、上記と同じ処理で補正バンド画像の画素値を求めることができる。

【0077】

［第２の実施形態］
図２２は、本発明の第２の実施形態に係る画像補正装置２０のブロック図である。図２２を参照すると、画像補正装置２０は、バンド画像取得手段２１と位置差取得手段２２と補正バンド画像作成手段２３と補正バンド画像出力手段２４とを含んで構成されている。

【0078】

バンド画像取得手段２１は、被写体を撮像して得られた複数のバンド画像を取得するように構成されている。バンド画像取得手段２１は、例えば、図１のマルチバンド画像取得部１６１と同様に構成することができるが、それに限定されない。

【0079】

位置差取得手段２２は、バンド画像取得手段２１によって取得された複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像とバンド画像取得手段２１によって取得された基準バンド画像との間の位置差を取得するように構成されている。位置差取得手段２２は、例えば、図１の位置差取得部１６２と同様に構成することができるが、それに限定されない。

【0080】

補正バンド画像作成手段２３は、対象バンド画像の画素を対象画素とし、対象画素を位置差取得手段２２によって取得された位置差だけシフトしたときに対象画素と重なる基準バンド画像の複数の画素のそれぞれを対応画素とし、複数の対応画素の間の画素値の関係に基づいて、基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成するように構成されている。補正バンド画像作成手段２３は、例えば、図１の補正マルチバンド画像作成部１６３と同様に構成することができるが、それに限定されない。

【0081】

補正バンド画像出力手段２４は、補正バンド画像作成手段２３によって作成された補正バンド画像を出力するように構成されている。補正バンド画像出力手段２４は、例えば、図１の補正マルチバンド画像出力部１６４と同様に構成することができるが、それに限定されない。

【0082】

以上のような構成を有する画像補正装置２０は、以下のように動作する。すなわち、先ず、バンド画像取得手段２１は、被写体を撮像して得られた複数のバンド画像を取得する。次に、位置差取得手段２２は、バンド画像取得手段２１によって取得された複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像とバンド画像取得手段２１によって取得された基準バンド画像との間の位置差を取得する。次に、補正バンド画像作成手段２３は、対象バンド画像の画素を対象画素とし、対象画素を位置差取得手段２２によって取得された位置差だけシフトしたときに対象画素と重なる基準バンド画像の複数の画素のそれぞれを対応画素とし、複数の対応画素の間の画素値の関係に基づいて、基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する。次に、補正バンド画像出力手段２４は、補正バンド画像作成手段２３によって作成された補正バンド画像を出力する。

【0083】

以上のように構成され、動作する画像補正装置２０によれば、位相差による色ずれを低減することができる。その理由は、画像補正装置２０は、被写体を撮像して得られた複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像と基準バンド画像との間の位置差を取得し、対象バンド画像の画素を対象画素とし、対象画素を位置差だけシフトしたときに対象画素と重なる基準バンド画像の複数の画素のそれぞれを対応画素とし、複数の対応画素の間の画素値の関係に基づいて、基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成するためである。

【0084】

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

【産業上の利用可能性】

【0085】

マルチバンド画像（マルチスペクトル画像）を色ずれの生じない画像に補正する画像補正装置、画像補正方法、画像補正プログラムとして利用できる。また、衛星や航空機から地上を撮像して得られた画像を地図に投影する等の画像幾何投影時における色ずれの補正に利用できる。

【0086】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係に基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備える画像補正装置。
［付記２］
前記補正バンド画像作成手段は、
前記対象画素毎に、前記複数の対応画素の間の画素値の関係と前記対象画素と前記対応画素との重なる面積とに基づいて前記対象画素の画素値から前記複数の対応画素の位置それぞれに配分する前記対象バンド画像に係る光の画素値を決定し、前記基準バンド画像の画素位置毎に、前記基準バンド画像の画素と重なる前記対象バンド画像の複数の画素から配分された前記対象バンド画像に係る光の画素値の総和を算出する、
付記１に記載の画像補正装置。
［付記３］
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の比を用いる、
付記１または２に記載の画像補正装置。
［付記４］
前記補正バンド画像作成手段は、前記基準バンド画像の各画素値を、前記基準バンド画像の最小の画素値を用いて正規化する、
付記３に記載の画像補正装置。
［付記５］
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の差を用いる、
付記１または２に記載の画像補正装置。
［付記６］
前記補正バンド画像作成手段は、前記基準バンド画像の各画素値を、前記基準バンド画像の画素値の標準偏差および前記対象バンド画像の画素値の標準偏差を用いて正規化する、
付記５に記載の画像補正装置。
［付記７］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像との間の画像相関により前記位置差を算出する、
付記１乃至６の何れかに記載の画像補正装置。
［付記８］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の全画素の前記位置差として算出する、
付記１乃至７の何れかに記載の画像補正装置。
［付記９］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の中心位置の画素の前記位置差として算出し、前記中心位置の画素の位置差から補間処理によって中心位置の画素以外の画素の前記位置差を算出する、
付記１乃至７の何れかに記載の画像補正装置。
［付記１０］
被写体を撮像して得られた複数のバンド画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係に基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
画像補正方法。
［付記１１］
コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素を前記位置差だけシフトしたときに前記対象画素と重なる前記基準バンド画像の複数の画素のそれぞれを対応画素とし、前記複数の対応画素の間の画素値の関係に基づいて、前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるためのプログラム。

【符号の説明】

【0087】

１０ 画像補正装置
１１ １次元アレイセンサ
１２ 通信Ｉ／Ｆ部
１３ 操作入力部
１４ 画面表示部
１５ 記憶部
１６ 演算処理部
１７ 光学系
１８ 被写体
２０ 画像補正装置
２１ バンド画像取得手段
２２ 位置差取得手段
２３ 補正バンド画像作成手段
２４ 補正バンド画像出力手段
１５１ プログラム
１５２ マルチバンド画像
１５２－１ Ｒバンド画像
１５２－２ Ｇバンド画像
１５２－３ Ｂバンド画像
１５３ 位置差情報
１５３－１ 位置差情報
１５３－２ 位置差情報
１５４ 補正マルチバンド画像
１５４－１ 補正Ｒバンド画像
１５４－２ 補正Ｇバンド画像
１５４－３ 補正Ｂバンド画像
１６１ マルチバンド画像取得部
１６２ 位置差取得部
１６３ 補正マルチバンド画像作成部
１６４ 補正マルチバンド画像出力部
１６２１ 位置差情報作成部
１６２２ 位置差情報入力部
ＷＢ 白板

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】