(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-28
(45)【発行日】2024-11-06
(54)【発明の名称】画像補正装置
(51)【国際特許分類】
G06T 7/32 20170101AFI20241029BHJP
G01N 21/27 20060101ALI20241029BHJP
G01J 3/02 20060101ALI20241029BHJP
G01J 3/36 20060101ALI20241029BHJP
H04N 23/15 20230101ALI20241029BHJP
H04N 23/60 20230101ALI20241029BHJP
【ＦＩ】
G06T7/32
G01N21/27 A
G01J3/02 C
G01J3/36
H04N23/15
H04N23/60 500
【請求項の数】
8
(21)【出願番号】P 2020172104
(22)【出願日】2020-10-12
(65)【公開番号】P2022063720
(43)【公開日】2022-04-22
【審査請求日】2023-09-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】門田 啓
【審査官】鈴木 圭一郎
(56)【参考文献】
【文献】特開２０１６－１１０３２０（ＪＰ，Ａ）
【文献】特開２０１８－０６１２６２（ＪＰ，Ａ）
【文献】国際公開第２０１９／０２６４０８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１０／０００８５９８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／３２
Ｈ０４Ｎ ２３／６０
Ｇ０１Ｎ ２１／２７
Ｇ０１Ｊ ３／０２
Ｇ０１Ｊ ３／３６
Ｈ０４Ｎ ２３／１５
(57)【特許請求の範囲】
【請求項1】
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する高解像度画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備え、
前記補正バンド画像作成手段は、前記対象画素を前記位置差だけシフトすることにより前記基準バンド画像の画素位置を決定し、前記決定した画素位置に含まれる前記部分領域の画素値の総和を、前記決定した画素位置における前記対象バンド画像に係る光の画素値として決定し、且つ、前記対象バンド画像の前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域として、前記対象バンド画像を前記高解像度画像と同じ解像度になるように拡大した拡大対象バンド画像の個々の画素の撮像領域を用いる画像補正装置。
【請求項2】
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の比を用いる、請求項１に記載の画像補正装置。
【請求項3】
前記補正バンド画像作成手段は、前記高解像度画像の各画素値を、前記高解像度画像の最小の画素値を用いて調整する、請求項２に記載の画像補正装置。
【請求項4】
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の差を用いる、請求項１に記載の画像補正装置。
【請求項5】
前記補正バンド画像作成手段は、前記高解像度画像の各画素値を、前記高解像度画像の画素値の標準偏差および前記対象バンド画像の画素値の標準偏差を用いて調整する、請求項４に記載の画像補正装置。
【請求項6】
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の中心位置の画素の前記位置差として算出し、前記中心位置の画素の位置差から補間処理によって中心位置の画素以外の画素の前記位置差を算出する、請求項１乃至５の何れかに記載の画像補正装置。
【請求項7】
被写体を撮像して得られた複数のバンド画像を取得し、前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力し、
前記補正バンド画像の作成では、前記対象画素を前記位置差だけシフトすることにより前記基準バンド画像の画素位置を決定し、前記決定した画素位置に含まれる前記部分領域の画素値の総和を、前記決定した画素位置における前記対象バンド画像に係る光の画素値として決定し、且つ、前記対象バンド画像の前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域として、前記対象バンド画像を前記高解像度画像と同じ解像度になるように拡大した拡大対象バンド画像の個々の画素の撮像領域を用いる、
画像補正方法。
【請求項8】
コンピュータに、被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるためのプログラムであって、
前記補正バンド画像を作成する処理では、前記対象画素を前記位置差だけシフトすることにより前記基準バンド画像の画素位置を決定し、前記決定した画素位置に含まれる前記部分領域の画素値の総和を、前記決定した画素位置における前記対象バンド画像に係る光の画素値として決定し、且つ、前記対象バンド画像の前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域として、前記対象バンド画像を前記高解像度画像と同じ解像度になるように拡大した拡大対象バンド画像の個々の画素の撮像領域を用いるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像補正装置、画像補正方法、およびプログラムに関する。
【背景技術】
【0002】
航空機や衛星から地表面の画像を取得する装置として、プッシュブルーム方式の画像取得装置が多く採用されている。この種の装置においては、画像センサに１次元アレイセンサを使用することにより、Ｘ軸方向に延びるライン状の画像を取得するように構成されている。そして、航空機や衛星の移動により画像取得装置全体をライン状の取得画像に対して垂直方向（Ｙ軸方向）に並進させることにより、２次元の画像を形成するように構成されている。また、この種の画像取得装置を使用して複数の波長帯の画像を取得する場合には、複数の１次元アレイセンサのそれぞれに、透過させる光の波長帯域であるバンドが互いに異なる複数のフィルタを装着して被写体を撮像するように構成されている。個々の波長帯の画像はバンド画像と呼ばれる。
【0003】
また、この種の画像取得装置において生じる色ずれを、位置ずれ量に応じたバンド画像のシフトと線形補間法などの通常の補間処理との組み合わせにより低減する技術が、例えば特許文献１に記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第６３０５３２８号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、光学系の特性などにより歪曲収差が生じると、バンド間に位相差が生じ、位相差による色ずれが生じる。ここでいう位相差による色ずれとは、例えばＲＧＢ（赤・緑・青）等の複数のバンドで同じ被写体を撮像する場合に、被写体の同じ個所が各バンドの画素内のどこにくるかが異なることにより被写体とは異なる色が生じることをいう。このような位相差による色ずれは、色ずれの補正時に位置ずれ量に応じたバンド画像のシフトと線形補間法などの通常の補間処理の組み合わせによっては、低減するのは困難であった。
【0006】
本発明の目的は、上述した課題、すなわち、バンド画像のシフトと線形補間法等の通常の補間処理の組み合わせでは、位相差による色ずれを低減するのは困難である、という課題を解決する画像補正装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一形態に係る画像補正装置は、
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する高解像度画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備えるように構成されている。
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する高解像度画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備えるように構成されている。
【0008】
また、本発明の他の形態に係る画像補正方法は、
被写体を撮像して得られた複数のバンド画像を取得し、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
ように構成されている。
被写体を撮像して得られた複数のバンド画像を取得し、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
ように構成されている。
【0009】
また、本発明の他の形態に係るプログラムは、
コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるように構成されている。
コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるように構成されている。
【発明の効果】
【0010】
本発明は、上述したような構成を有することにより、位相差による色ずれを低減することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第１の実施形態に係る画像補正装置のブロック図である。
【図2】プッシュブルーム方式の画像取得装置において被写体の同じ個所が各バンドの画素内の異なる場所に写像される現象を説明するための模式図である。
【図3】対象バンド画像の画素の位置差を説明する図である。
【図4】Ｒバンド画像の位置差情報の構成例を示す図である。
【図5】本発明の第１の実施形態に係る画像補正装置の動作の一例を示すフローチャートである。
【図6】本発明の第１の実施形態に係る画像補正装置における位置差取得部の一例を示すブロック図である。
【図7】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部の処理の一例を示すフローチャートである。
【図8】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部が基準バンドおよび対象バンドの各画像を小領域に分割する例を示す図である。
【図9】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部の処理の他の例を示すフローチャートである。
【図10】本発明の第１の実施形態に係る画像補正装置における位置差情報作成部が基準バンドおよび対象バンドの各画像を小領域間に隙間ができるように分割する例を示す図である。
【図11】本発明の第１の実施形態に係る画像補正装置における位置差取得部の他の例を示すブロック図である。
【図12】本発明の第１の実施形態に係る画像補正装置における補正マルチバンド画像作成部が、マルチバンド画像と高解像度画像と位置差情報とから補正マルチバンド画像を作成する原理を説明するための模式図である。
【図13】本発明の第１の実施形態に係る画像補正装置における補正マルチバンド画像作成部の処理の一例を示すフローチャートである。
【図14】本発明の第１の実施形態に係る画像補正装置における補正マルチバンド画像作成部がサブピクセル化対象バンド画像を作成する処理の詳細を示すフローチャートである。
【図15】本発明の第１の実施形態に係る画像補正装置における補正マルチバンド画像作成部がサブピクセル化対象バンド画像と位置差情報とから補正対象バンド画像を作成する処理の詳細を示すフローチャートである。
【図16】本発明の第１の実施形態に係る画像補正装置における補正マルチバンド画像作成部がサブピクセル化対象バンド画像と位置差情報とから拡大基準バンド画像の画素位置を決定する様子を示す模式図である。
【図17】本発明の第１の実施形態に係る画像補正装置において使用する数式を示す図である。
【図18】補正マルチバンド画像作成部の処理の他の一例を示すフローチャートである。
【図19】本発明の第２の実施形態に係る画像補正装置のブロック図である。
【発明を実施するための形態】
【0012】
次に本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施形態］
図１を参照すると、本発明の第１の実施形態に係る画像補正装置１０は、複数の１次元アレイセンサ１１と、通信インターフェース（Ｉ／Ｆ）部１２と、操作入力部１３と、画面表示部１４と、記憶部１５と、演算処理部１６とから構成されている。
［第１の実施形態］
図１を参照すると、本発明の第１の実施形態に係る画像補正装置１０は、複数の１次元アレイセンサ１１と、通信インターフェース（Ｉ／Ｆ）部１２と、操作入力部１３と、画面表示部１４と、記憶部１５と、演算処理部１６とから構成されている。
【0013】
複数の１次元アレイセンサ１１は、例えば１次元ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや１次元ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）センサ等からなり、被写体１８を撮像するプッシュブルーム方式の画像取得装置を構成している。複数の１次元アレイセンサ１１には、透過させる光の波長帯域であるバンドが互いに異なる複数のフィルタ１９が取り付けられている。使用する１次元アレイセンサ１１とフィルタ１９の組み合わせおよび組数によって取得するバンド画像の数、波長帯が決定される。例えば、高分解能光学衛星であるＡＳＮＡＲＯ－１に搭載されたマルチバンドセンサでは以下の６バンドの画像が取得される。
バンド１：波長帯域４００－４５０ｎｍ（Ｏｃｅａｎ Ｂｌｕｅ）
バンド２：波長帯域４５０－５２０ｎｍ（Ｂｌｕｅ）
バンド３：波長帯域５２０－６００ｎｍ（Ｇｒｅｅｎ）
バンド４：波長帯域６３０－６９０ｎｍ（Ｒｅｄ）
バンド５：波長帯域７０５－７４５ｎｍ（Ｒｅｄ Ｅｄｇｅ）
バンド６：波長帯域７６０－８６０ｎｍ（ＮＩＲ）
また、ＡＳＮＡＲＯ－１には、マルチバンド画像より解像度の高い白黒画像であるパンクロマチック画像を取得するパンクロマチックセンサが搭載されている。パンクロマチック画像は、波長帯４５０～８６０ｎｍの単一のバンド画像である。
バンド１：波長帯域４００－４５０ｎｍ（Ｏｃｅａｎ Ｂｌｕｅ）
バンド２：波長帯域４５０－５２０ｎｍ（Ｂｌｕｅ）
バンド３：波長帯域５２０－６００ｎｍ（Ｇｒｅｅｎ）
バンド４：波長帯域６３０－６９０ｎｍ（Ｒｅｄ）
バンド５：波長帯域７０５－７４５ｎｍ（Ｒｅｄ Ｅｄｇｅ）
バンド６：波長帯域７６０－８６０ｎｍ（ＮＩＲ）
また、ＡＳＮＡＲＯ－１には、マルチバンド画像より解像度の高い白黒画像であるパンクロマチック画像を取得するパンクロマチックセンサが搭載されている。パンクロマチック画像は、波長帯４５０～８６０ｎｍの単一のバンド画像である。
【0014】
通信Ｉ／Ｆ部１２は、例えば、専用のデータ通信回路から構成され、有線または無線を介して接続された各種装置との間でデータ通信を行うように構成されている。操作入力部１３は、キーボードやマウスなどの操作入力装置から構成され、操作者の操作を検出して演算処理部１６に出力するように構成されている。画面表示部１４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置から構成され、演算処理部１６からの指示に応じて、補正バンド画像などを画面表示するように構成されている。
【0015】
記憶部１５は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１６における各種処理に必要な処理情報およびプログラム１５１を記憶するように構成されている。プログラム１５１は、演算処理部１６に読み込まれて実行されることにより各種処理部を実現するプログラムである。プログラム１５１は、通信Ｉ／Ｆ部１２などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１５に保存される。
【0016】
記憶部１５に記憶される主な処理情報には、マルチバンド画像１５２、高解像度画像１５３、位置差情報１５４、および、補正マルチバンド画像１５５がある。
【0017】
マルチバンド画像１５２は、プッシュブルーム方式の画像取得装置によって取得された複数のバンド画像のセットである。マルチバンド画像１５２は、プッシュブルーム方式の画像取得装置によって取得された全てのバンド画像のセットであってもよいし、一部のバンド画像のセットであってもよい。本実施形態では、マルチバンド画像１５２は、Ｒバンド画像１５２－１とＧバンド画像１５２－２とＢバンド画像１５２－３の３バンドで構成されているものとする。例えば、上述したＡＳＮＡＲＯ－１の場合、Ｒバンド画像１５２－１としてバンド４、Ｇバンド画像１５２－２としてバンド３、Ｂバンド画像１５２－３としてバンド２を、それぞれ割り当ててよい。
【0018】
高解像度画像１５３は、プッシュブルーム方式の画像取得装置によって取得された、マルチバンド画像１５２よりも高い解像度を有する画像である。例えば、上述したＡＳＮＡＲＯ－１の場合、パンクロマチック画像を高解像度画像１５３として使用してよい。
【0019】
位置差情報１５４は、マルチバンド画像１５２を構成する複数のバンド画像のそれぞれを対象バンド画像とし、複数のバンド画像のうちの１つを基準バンド画像とするとき、基準バンド画像と対象バンド画像との間の位置差に関する情報である。本実施形態では、Ｇバンド画像１５２－２を基準バンド画像とする。そのため、位置差情報１５４は、Ｇバンド画像１５２－２に対するＲバンド画像１５２－１の位置差を記録する位置差情報１５４－１と、Ｇバンド画像１５２－２に対するＧバンド画像１５２－２の位置差を記録する位置差情報１５４－２と、Ｇバンド画像１５２－２に対するＢバンド画像１５２－３の位置差を記録する位置差情報１５４－３とから構成されている。
【0020】
プッシュブルーム方式の画像取得装置における光学系の特性などにより歪曲収差が生じると、被写体１８を撮像したときに被写体１８の同じ個所が各バンドの画素内の異なる場所に写像される現象が発生する。図２はそのような現象を説明するための模式図である。図２において、実線の矩形は基準バンド画像の画素（ｘ，ｙ）が撮像する範囲を示し、破線の矩形は対象バンド画像の画素（ｘ，ｙ）が撮像する範囲を示し、黒丸は被写体１８の一部を示す。図２に示す例では、被写体１８の一部である黒丸が、基準バンドの画素（ｘ，ｙ）ではほぼ中央に位置するのに対して、対象バンドの画素（ｘ，ｙ）では右下に位置している。この場合、図３に示すように、対象バンドの画素（ｘ，ｙ）を紙面右方向にｓ画素（０≦ｓ＜１）だけ、紙面下方向にｔ画素（０≦ｔ＜１）だけ、それぞれ移動させると、基準バンド画像の画素（ｘ，ｙ）と対象バンド画像の画素（ｘ，ｙ）が撮像する範囲が一致する。このように複数のバンド画像の撮像範囲が一致することを、複数のバンド画像の画素境界が一致していると言う。また、このときの（ｓ，ｔ）を位置差と呼ぶ。位置差は、対象バンドかつ画素毎に異なる可能性がある。本実施形態では、位置差情報１５４は、対象バンドかつ画素毎に記録されている。なお、本実施形態では、Ｇバンド画像は基準バンドかつ対象バンドである。そのため、Ｇバンド画像の各画素の位置差は０である。
【0021】
図４は、Ｒバンド画像１５２－１の位置差情報１５４－１の構成例を示す図である。この例の位置差情報１５４－１は、対象バンドＩＤと画素毎の情報の項目から構成されている。対象バンドＩＤの項目には、対象バンドＩＤを一意に特定する識別情報が記録されている。画素毎の情報の項目は、対象バンド画像の画素位置の項目とその画素位置における位置差の項目との組み合わせから構成されている。画素位置の項目には、対象バンド画像上の画素の位置を特定するｘｙ座標値（ｘ，ｙ）が記録される。また、位置差の項目には図３を参照して説明した（ｓ，ｔ）が記録される。図示していないが、Ｂバンド画像１５２－３の位置差情報１５４－２も、位置差情報１５４－１と同様の構成を有している。
【0022】
補正マルチバンド画像１５５は、マルチバンド画像１５２に対して色ずれが生じないよう補正を施して得られたマルチバンド画像である。補正マルチバンド画像１５５は、補正Ｒバンド画像１５５－１と補正Ｇバンド画像１５５－２と補正Ｂバンド画像１５５－３とから構成されている。
【0023】
演算処理部１６は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１５からプログラム１５１を読み込んで実行することにより、上記ハードウェアとプログラム１５１とを協働させて各種処理部を実現するように構成されている。演算処理部１６で実現される主な処理部には、マルチバンド画像取得部１６１、高解像度画像取得部１６２、位置差取得部１６３、補正マルチバンド画像作成部１６４、および、補正マルチバンド画像出力部１６５がある。
【0024】
マルチバンド画像取得部１６１は、１次元アレイセンサ１１から構成されるプッシュブルーム方式の画像取得装置からマルチバンド画像１５２を取得し、記憶部１５に記録するように構成されている。また、高解像度画像取得部１６２は、上記画像取得装置から高解像度画像１５３を取得し、記憶部１５に記録するように構成されている。但し、マルチバンド画像取得部１６１および高解像度画像取得部１６２は、上記画像取得装置からマルチバンド画像１５２および高解像度画像１５３を取得する構成に限定されない。例えば、上記画像取得装置から取得されたマルチバンド画像１５２および高解像度画像１５３が図示しない画像サーバ装置に蓄積されている場合、マルチバンド画像取得部１６１および高解像度画像取得部１６２は、画像サーバ装置からマルチバンド画像１５２および高解像度画像１５３を取得するように構成されていてよい。
【0025】
位置差取得部１６３は、マルチバンド画像取得部１６１が取得したマルチバンド画像１５２の位置差情報１５４を取得し、記憶部１５に記録するように構成されている。
【0026】
補正マルチバンド画像作成部１６４は、記憶部１５からマルチバンド画像１５２と高解像度画像１５３と位置差情報１５４とを読み出し、それらから、補正マルチバンド画像１５５を作成し、記憶部１５に記録するように構成されている。
【0027】
補正マルチバンド画像出力部１６５は、記憶部１５から補正マルチバンド画像１５５を読み出し、その補正マルチバンド画像１５５を画面表示部１４に表示し、または／および、通信Ｉ／Ｆ部１２を通じて外部装置に出力するように構成されている。補正マルチバンド画像出力部１６５は、補正マルチバンド画像１５５を構成する個々の補正Ｒバンド画像１５５－１、補正Ｇバンド画像１５５－２、補正Ｂバンド画像１５５－３を、必要に応じてダウンサンプリングして、それ単独で表示ないし出力してもよい。或いは、補正マルチバンド画像出力部１６５は、補正Ｒバンド画像１５５－１と補正Ｇバンド画像１５５－２と補正Ｂバンド画像１５５－３とを合成して得られるカラー画像を画面表示部１４に表示し、または／および、通信Ｉ／Ｆ部１２を通じて外部装置に出力してもよい。或いは、補正マルチバンド画像出力部１６５、補正マルチバンド画像１５５と高解像度画像１５３とを重ね合わせてパンシャープン画像を生成し、そのパンシャープン画像を表示ないし出力してもよい。
【0028】
図５は、本実施形態に係る画像補正装置１０の動作の一例を示すフローチャートである。図５を参照すると、先ず、マルチバンド画像取得部１６１は、１次元アレイセンサ１１から構成される画像取得装置によって撮像されたマルチバンド画像１５２を取得し、記憶部１５に記録する（ステップＳ１）。次に、高解像度画像取得部１６２は、上記画像取得装置によって撮像された高解像度画像１５３を取得し、記憶部１５に記録する（ステップＳ２）。次に、位置差取得部１６３は、マルチバンド画像取得部１６１が取得したマルチバンド画像１５２の位置差情報１５４を取得し、記憶部１５に記録する（ステップＳ３）。次に、補正マルチバンド画像作成部１６４は、記憶部１５からマルチバンド画像１５２と高解像度画像１５３と位置差情報１５４とを読み出し、それらに基づいて補正マルチバンド画像１５５を作成し、記憶部１５に記録する（ステップＳ４）。次に、補正マルチバンド画像出力部１６５は、記憶部１５から補正マルチバンド画像１５５を読み出し、画面表示部１４に表示し、または／および、通信Ｉ／Ｆ部１２を通じて外部装置に出力する（ステップＳ５）。
【0029】
続いて、画像補正装置１０の主要な構成要素について詳細に説明する。先ず、位置差取得部１６３について詳細に説明する。
【0030】
図６は、位置差取得部１６３の一例を示すブロック図である。この例の位置差取得部１６３は、位置差情報作成部１６３１を含んで構成されている。
【0031】
位置差情報作成部１６３１は、記憶部１５からマルチバンド画像１５２を読み出し、Ｇバンド画像１５２－２とＲバンド画像１５２－１とからＲバンドの位置差情報１５４－１を作成し、Ｇバンド画像１５２－２とＢバンド画像１５２－３からＢバンドの位置差情報１５４－３を作成するように構成されている。位置差情報作成部１６３１は、Ｇバンド画像１５２－２の位置差情報１５４－２は、各画素の位置差が（０，０）として作成する。
【0032】
図７は、位置差情報作成部１６３１の処理の一例を示すフローチャートである。先ず、位置差情報作成部１６４１は、基準バンドおよび対象バンドの各画像を、例えば図８に示すように、所定の形状およびサイズを有する複数の小領域に分割する（ステップＳ１１）。図８では、小領域は矩形であるが、矩形以外の形状であってもよい。小領域のサイズは、１画素より十分に大きくしておくことが望ましい。
【0033】
次に位置差情報作成部１６３１は、対象バンドの１つ（例えばＲバンド）に注目する（ステップＳ１２）。次に位置差情報作成部１６３１は、注目中の対象バンドの位置差情報を初期化する（ステップＳ１３）。例えば、対象バンドの位置差情報が図４に示したフォーマットを有する場合、各画素位置（ｘ，ｙ）の位置差（ｓ，ｔ）をそれぞれ例えばＮＵＬＬ値に初期化する。
【0034】
次に位置差情報作成部１６３１は、注目中の対象バンドの１つの小領域に注目する（ステップＳ１４）。次に位置差情報作成部１６３１は、注目中の対象バンドの小領域に対応する基準バンドの１つの小領域に注目する（ステップＳ１５）。本実施形態では、対象バンドの位置差は１画素以下となる状況を想定している。そのため、注目中の対象バンドの小領域に対応する基準バンドの１つの小領域は、対象バンドの小領域と同じ位置の小領域である。即ち、注目中の対象バンドの小領域が図８の左上角の小領域であれば、基準バンドの注目する小領域は同じく図８の左上角の小領域である。
【0035】
次に位置差情報作成部１６３１は、注目中の対象バンドの小領域が注目中の基準バンドの小領域に最も一致するシフト量（ｓ，ｔ）を算出する（ステップＳ１６）。例えば、注目中の対象バンドの小領域の画像を、例えばＸ軸方向に０．２画素、Ｙ軸方向に０．７画素だけシフトすれば、注目中の基準バンドの小領域に最も一致するならば、このＸ軸方向のシフト量ｓ＝０．２画素、Ｙ軸方向のシフト量ｔ＝０．７画素が求めるシフト量になる。このようなシフト量は、位相限定相関法やＳＳＤパラボラフィッティング法などの１画素未満の精度でシフト量を計算できるサブピクセルマッチング手法を用いて算出してよい。次に位置差情報作成部１６３１は、算出したシフト量（ｓ，ｔ）を注目中の対象バンドの小領域に含まれる全ての画素の位置差（ｓ，ｔ）として、注目中の対象バンドの位置差情報を更新する（ステップＳ１７）。なお、位置差は実数であってもよいし、整数であってもよい。
【0036】
次に位置差情報作成部１６３１は、注目中の対象バンドの他の１つの小領域に注目を移し（ステップＳ１８）、ステップＳ１５の処理に戻って、前述した処理と同様の処理を新たに注目した対象バンドの小領域に対して実行する。そして、位置差情報作成部１６３１は、注目中の対象バンドの全ての小領域に注目し終えると（ステップＳ１９でＹＥＳ）、他の対象バンド（例えばＢバンド）の１つに注目を移し（ステップＳ２０）、ステップＳ１３の処理に戻って、前述した処理と同様の処理を新たに注目した対象バンドに対して実行する。そして、全ての対象バンド（即ち、Ｒ、Ｂバンド）に注目し終えると（ステップＳ２１でＹＥＳ）、作成した各対象バンドの位置差情報を記憶部１５に保存する（ステップＳ２２）。そして、位置差情報作成部１６３１は、図７に示した処理を終了する。
【0037】
図９は、位置差情報作成部１６３１の処理の他の例を示すフローチャートである。図９に示す処理は、ステップＳ１７がステップＳ１７Ａに置換され、また、ステップＳ１９とステップＳ２０の間に新たなステップＳ２３が設けられている点で、図７に示す処理と相違し、それ以外は図７に示す処理と同じである。図９のステップＳ１７Ａにおいて、位置差情報作成部１６３１は、ステップＳ１６で算出したシフト量（ｓ，ｔ）を注目中の対象バンドの小領域の中心位置の画素の位置差として、注目中の対象バンドの位置差情報を更新する。そのため、図９のステップＳ１７Ａでは、注目中の小領域の中心位置の画素以外の画素の位置差は更新されず、初期値のＮＵＬＬ値のままである。図９のステップＳ２３では、位置差情報作成部１６３１は、注目中の対象バンドの各小領域の中心位置以外の画素の位置差を、ステップＳ１７Ａで算出した各小領域の中心位置の画素の位置差から補間によって算出し、注目中の対象バンドの位置差情報を更新する。補間方法は、例えば、隣接小領域の中心との距離に応じた重み付け平均による補間としてよい。
【0038】
図７に示したように小領域毎に求めたシフト量を小領域内の全画素の位置差とする場合、小領域の境界で位置差が不連続になる可能性がある。一方、図９に示した方法では、位置差が画素位置に応じて連続して変化することになり、位置差が不連続になることはなくなる。その結果、図９に示した方法は、小領域の境界で補正画像の色に段差が生じることがなくなる効果がある。
【0039】
また、図７および図９に示した方法では、基準バンドおよび対象バンドの画像全体を隈なく小領域に分割したが、図１０に示すように、位置差情報作成部１６３１は、小領域間に隙間（図中のハッチング部分）ができるように分割してもよい。そして、位置差情報作成部１６３１は、隙間に含まれる画素の位置差を、ステップＳ１７またはステップＳ１７Ａで算出した中心位置の画素の位置差から補間で求めるようにしてよい。このときの補間は、例えば、隣接小領域の中心との距離に応じた重み付け平均による補間としてよい。このように小領域間に隙間ができるように基準バンドおよび対象バンドを複数の小領域に分割して位置差を作成する方法によれば、隙間ができないように分割する場合に比べて計算時間を減らすことができる。
【0040】
図７および図９に示した方法では、位置差情報作成部１６３１は、マルチバンド画像１５２から対象バンド画像の各画素の位置差を作成した。しかし、位置差情報作成部１６３１は、マルチバンド画像を取得したプラットフォーム（人工衛星や航空機など）の位置・姿勢情報から対象バンド画像の各画素の位置差を作成するようにしてもよい。一般に人工衛星や航空機から撮像した画像は、画像取得時のプラットフォームの位置や姿勢等を用いて、地図に投影することにより、画像プロダクトに加工される。マルチスペクトル画像の場合、バンド毎に地図に投影されるため、位置差情報も地図投影の過程で求められる。そのため、位置差情報作成部１６３１は、一般的な地図投影の方法を用いて対象バンド画像の各画素の位置差情報を作成してもよい。
【0041】
図１１は、位置差取得部１６３の他の例を示すブロック図である。この例の位置差取得部１６３は、位置差情報入力部１６３２を含んで構成されている。
【0042】
位置差情報入力部１６３２は、通信Ｉ／Ｆ部１２を通じて図示しない外部装置から位置差情報１５４を入力し、記憶部１５に保存するように構成されている。あるいは、位置差情報入力部１６３２は、操作入力部１３を通じて画像補正装置１０の操作者から位置差情報１５４を入力し、記憶部１５に保存するように構成されている。すなわち、位置差情報入力部１６３２は、画像補正装置１０以外の装置で計算された位置差情報１５４を入力して、記憶部１５に保存するように構成されている。
【0043】
以上のように位置差取得部１６３は、マルチバンド画像１５２の位置差情報１５４を自ら作成するか、或いは、外部から入力して、記憶部１５に保存するように構成されている。
【0044】
続いて、補正マルチバンド画像作成部１６４について詳細に説明する。
【0045】
図１２は、補正マルチバンド画像作成部１６４が、マルチバンド画像と高解像度画像と位置差情報とから補正マルチバンド画像を作成する原理を説明するための模式図である。今、図１２に示すように、黒板１８ａの上にそれより小さな白板１８ｂが重なっている被写体１８を考える。図１２の符号１５２－１は被写体１８を撮像して得られたＲバンド画像であり、２×２＝４つの画素から構成されている。一方、図１２の符号１５３は被写体１８を撮像して得られた高解像度画像であり、８×８＝６４個の画素から構成されている。即ち、同じ被写体１８を撮像したＲバンド画像１５２－１と高解像度画像１５３とがある。Ｒバンド画像１５２－１の４つの画素のそれぞれは、その撮像範囲内に黒板１８ａの一部と白板１８ｂの一部が写っている。そのため、Ｒバンド画像の画素の画素値の最大値を２５６とすると、Ｒバンド画像１５２－１の４つの画素の画素値は、撮像範囲内に含まれる黒板と白板の割合に応じた中間の画素値になっている。一方、高解像度画像１５３では、撮像範囲に黒板１８ａのみが写っている画素と白板１８ｂのみが写っている画素とがある。そのため、黒板１８ａのみが写っている高解像度画像１５３の画素の画素値は０、白板１８ｂのみが写っている高解像度画像１５３の画素値は２５６になっている。このように、撮像範囲内に黒板１８ａと白板１８ｂとが含まれるＲバンド画像１５２－１の画素の撮像範囲内の輝度値や明度の分布は、そのＲバンド画像１５２－１の１つの画素に対応する高解像度画像１５３の４×４＝１６個の画素の画素値から推測することができる。
【0046】
すなわち、輝度値あるいは明度は、マルチバンド画像と高解像度画像間、すなわちバンド間で強い相関を持つ。そのため、Ｒバンド画像の４つの画素のそれぞれが、図１２の１５２－１’に示すように、高解像度画像と同様に４×４＝１６個の画素から構成されているとしたならば、それら１６個の画素の画素間の画素値の関係は、高解像度画像１５３の対応する１６個の画素の画素間の画素値の関係と同じになると考えられる。本発明は、係る点に着目し、マルチバンド画像の１つの画素の撮像領域を縦横それぞれ複数に分割してできる複数の部分領域の画素値を、当該画素の画素値と当該画素に対応する高解像度画像の複数の画素の間の画素値の関係とに基づいて決定する。
【0047】
そして、対象バンド画像の画素をその位置差だけシフトすることにより、基準バンド画像の画素位置を決定し、決定した画素位置に含まれる対象バンド画像上の複数の部分領域の画素値の総和を、当該画素位置における対象バンドに係る光の画素値に決定する。
【0048】
本発明で利用可能な、複数の画素の間の画素値の関係として、画素値の比がある。また、画素値の比の代わりに、画素値の差を利用することもできる。対象バンド画像と高解像度画像間で複数の画素間の画素値の比が同じとは、４画素を例にすると、対象バンド画像の４つの画素の画素値がｍ１～ｍ４、高解像度画像の４つの画素の画素値がｒ１～ｒ４である場合、ｍ１：ｍ２：ｍ３：ｍ４＝ｒ１：ｒ２：ｒ３：ｒ４であることを意味する。また、対象バンド画像と高解像度画像間で複数の画素間の画素値の差が同じとは、例えば高解像度画像の４つの画素の画素値の平均がａｖである場合、対象バンド画像の４つの画素の画素値が、元画素の値をｇｇとして、ｇｇ＋ｒ１－ａｖ、ｇｇ＋ｒ２－ａｖ、ｇｇ＋ｒ３－ａｖ、ｇｇ＋ｒ４－ａｖになっていることを意味する。
【0049】
画素値の関係として画素値の比を用いるか、画素値の差を用いるかは任意である。例えば、マルチバンド画像と高解像度画像の対応画素で明るさの比が同じであるとの条件が成立する環境では、画素値の比を用いてよい。即ち、明るさの比を比較できるためには、基準となる画素値０が光の当たっていない状態となっており、そこから各バンドに入る明るさに比例して画素値が定まる環境であれば、画素値の比を用いてよい。しかし、特に人工衛星から地上を撮像した画像では、得たい信号である地表面で反射した光だけでなく、大気で散乱した光もセンサに入射する。そのため、大気で散乱した光の分だけ画素値は大きくなる。大気で散乱する光は波長が短い方が大きいため、バンドによってどれだけ画素値が大きくなってくるかが異なる。そのため、人工衛星から地上を撮像した画像では、画素値の比が明るさの比にならないことがある。従って、そのような環境では、画素値の関係として画素値の差を用いるのが好ましい。その理由は、各バンドの画素値が一定量加算されていても画素値の差は変化しないためである。画素値の差を用いることで、人工衛星から地上を撮像した画像に対して、大気で散乱した光等により出力が加算される影響を取り除くことができる。そのため、画素値の差を用いることにより、画素値の比が明るさの比となっていない場合でも、色ずれのない補正画像を作成することができる。
【0050】
以上は、マルチバンド画像を１／４画素の精度で処理する例であるが、マルチバンド画像および高解像度画像を補間拡大することにより、１／４画素以上（例えば１／８画素）の精度で処理することも可能である。以下、補正マルチバンド画像作成部１６４の具体例について詳細に説明する。
【0051】
図１３は、補正マルチバンド画像作成部１６４の処理の一例を示すフローチャートである。図１３を参照すると、補正マルチバンド画像作成部１６４は、先ず、高解像度画像１５３と同じ解像度になるように、マルチバンド画像１５２を構成する各バンド画像を拡大する（ステップＳ３１）。例えば、マルチバンド画像１５２の解像度が高解像度画像１５３の１／４であれば、補正マルチバンド画像作成部１６４は、例えば、マルチバンド画像１５２を４倍に拡大する。或いは、補正マルチバンド画像作成部１６４は、マルチバンド画像１５２を８倍に拡大し、高解像度画像１５３を２倍に拡大してもよい。このように、マルチバンド画像と高解像度画像の解像度が同じになるのであれば、マルチバンド画像と高解像度画像の双方を拡大してよい。画像の拡大には、例えば、バイリニア補間やバイキュービック補間などの補間を使って行う。本例では、マルチバンド画像１５２を１／８画素の精度で処理できるように、マルチバンド画像１５２を８倍、高解像度画像１５３を２倍に、それぞれ補間により拡大するものとする。以下、拡大後のマルチバンド画像および高解像度画像を、拡大マルチバンド画像および拡大高解像度画像と呼ぶことがある。
【0052】
次に補正マルチバンド画像作成部１６４は、対象バンドの１つ（例えばＲバンド）に注目する（ステップＳ３２）。次に補正マルチバンド画像作成部１６４は、拡大対象バンド画像と拡大高解像度画像とを用いて、注目中の対象バンド画像の各画素の画素値を、各画素を複数の部分領域に分割したときの個々の部分領域に振り分けた画像（サブピクセル化対象バンド画像と記す）を作成する（ステップＳ３３）。次に補正マルチバンド画像作成部１６４は、作成したサブピクセル化対象バンド画像と対象バンドの位置差情報とを用いて、補正対象バンド画像を作成する（ステップＳ３４）。次に補正マルチバンド画像作成部１６４は、他の対象バンドの１つに注目を移し（ステップＳ３５）、ステップＳ３６を経由してステップＳ３３戻り、上述した処理と同様の処理を繰り返す。そして、補正マルチバンド画像作成部１６４は、全ての対象バンドについて補正対象バンド画像を作成し終えると（ステップＳ３６でＹＥＳ）、作成した各補正対象バンド画像を記憶部１５に保存する（ステップＳ３７）。そして、補正マルチバンド画像作成部１６４は、図１２の処理を終了する。
【0053】
図１４は、図１３のステップＳ３３の詳細、すなわちサブピクセル化対象バンド画像を作成する処理の一例を示すフローチャートである。図１４を参照すると、補正マルチバンド画像作成部１６４は、先ず、拡大高解像度画像を、拡大対象バンド画像と重なるように変換することにより、参照画像を作成する（ステップＳ４１）。例えば、対象バンドがＲバンドである場合、拡大Ｒバンド画像を拡大高解像度画像に重ねるアフィン変換（Ａ，ｂ）（Ａは行列、ｂはベクトル）を推定し、求めたアフィン変換（Ａ，ｂ）の逆変換を拡大高解像度画像に施すことにより、参照画像を作成する。なお、アフィン変換後の画素位置は一般には整数ではないため、補間処理して求める。
【0054】
次に補正マルチバンド画像作成部１６４は、初期状態のサブピクセル化対象バンド画像を作成する（ステップＳ４２）。初期状態のサブピクセル化対象バンド画像は、注目中の対象バンドの拡大バンド画像の画素に１対１に対応する画素を有し、拡大前の対象バンド画像の１つの画素に対応する拡大後の複数の画素（本例では６４個の画素）の全てに、元の１つの画素の画素値を設定した画素である。
【0055】
次に補正マルチバンド画像作成部１６４は、対象バンド画像の１つの画素（対象画素と記す）に注目する（ステップＳ４３）。次に補正マルチバンド画像作成部１６４は、注目中の対象画素の画素値と、注目中の対象画素に対応する拡大対象バンド画像の６４画素に対応する参照画像の６４画素の画素間の画素値の関係とから、注目中の対象画素に対応する拡大対象バンド画像の６４画素の画素値の修正後の画素値を決定する（ステップＳ４４）。例えば、対象画素を（ｉ，ｊ）、対象画素（ｉ，ｊ）の画素値をR（ｉ，ｊ）、対象画素（ｉ，ｊ）に対応する拡大対象バンド画像の６４画素を（ｕ，ｖ）（ｕ，ｖ＝１、２、・・・８）、対象画素（ｉ，ｊ）に対応する拡大対象バンド画像の６４画素に対応する参照画像の６４画素の画素値をＰ（ｉ，ｊ，ｕ，ｖ）、修正後の画素値をＲ’（ｉ，ｊ，ｕ，ｖ）とすると、補正マルチバンド画像作成部１６４は、修正後の画素値Ｒ’（ｉ，ｊ，ｕ，ｖ）を、図１７に示す式１を用いて算出する。但し、式１において、＜Ｐ（ｉ，ｊ，ｕ，ｖ）＞は対象画素（ｉ，ｊ）に対応する拡大対象バンド画像の６４画素に対応する参照画像の６４画素の画素値の平均値である。
【0056】
上記式１で算出される修正後の画素値Ｒ’（ｉ，ｊ，ｕ，ｖ）の平均値は、対象画素（ｉ，ｊ）の画素値R（ｉ，ｊ）と同じである。また、上記式１で算出される修正後の画素値Ｒ’（ｉ，ｊ，ｕ，ｖ）の割振りは、対象画素（ｉ，ｊ）に対応する拡大対象バンド画像の６４画素に対応する参照画像の６４画素の画素値Ｐ（ｉ，ｊ，ｕ，ｖ）と同じになる。上記式１では、画素値の関係として、画素値の差を用いているが、画素値の関係として比を用いても、注目中の対象画素に対応する拡大対象バンド画像の６４画素の画素値の修正後の画素値を同様に決定することができる。
【0057】
次に補正マルチバンド画像作成部１６４は、上記決定した修正後の画素値でサブピクセル化対象バンド画像の画素値を更新する（ステップＳ４５）。次に補正マルチバンド画像作成部１６４は、対象バンド画像の他の１つの画素（対象画素）に注目を移し（ステップＳ４６）、ステップＳ４７を経由してステップＳ４４に戻り、上述した処理と同様の処理を繰り返す。そして、補正マルチバンド画像作成部１６４は、対象バンド画像の全ての画素に注目し終えると（ステップＳ４７でＹＥＳ）、図１４に示した処理を終了する。
【0058】
図１５は、図１３のステップＳ３４の詳細、すなわちサブピクセル化対象バンド画像と位置差情報とから補正対象バンド画像を作成する処理の一例を示すフローチャートである。図１５を参照すると、補正マルチバンド画像作成部１６４は、先ず、注目中の対象バンド画像の１つの画素（対象画素）に注目する（ステップＳ５１）。次に補正マルチバンド画像作成部１６４は、注目中の対象画素に対応する拡大対象バンド画像の６４画素を対象画素の位置差だけシフトすることにより、拡大基準バンド画像の画素位置を決定する（ステップＳ５２）。ここで、本例の場合、シフトは１／８画素を最小単位として行う。そのため、位置差が１／８画素の整数倍でない場合、最も近い１／８画素の整数倍に修正した上でシフトを行う。例えば、補正マルチバンド画像作成部１６４は、注目中の対象画素に対応する拡大対象バンド画像の６４画素が図１６の太い実線内の画素群であり、位置差（ｓ，ｔ）を（２／８画素，３／８画素）とすると、図１６の破線内の画素群を拡大基準バンド画像の画素位置に決定する。
【0059】
次に補正マルチバンド画像作成部１６４は、上記決定した画素位置における６４個の画素の画素値の総和を、上記決定した画素位置における拡大対象バンド画像に係る光の画素値として算出し、補正対象バンド画像に保存する（ステップＳ５３）。次に補正マルチバンド画像作成部１６４は、対象バンド画像の他の１つの画素（対象画素）に注目を移し（ステップＳ５４）、ステップＳ５５を経由してステップＳ５２に戻り、上述した処理と同様の処理を繰り返す。そして、補正マルチバンド画像作成部１６４は、対象バンド画像の全ての画素に注目し終えると（ステップＳ５５でＹＥＳ）、図１５の処理を終了する。
【0060】
以上説明したように本実施形態に係る画像補正装置１０によれば、位相差による色ずれを低減することができる。その理由は、画像補正装置１０は、被写体を撮像して得られた複数のバンド画像と上記被写体を撮像して得られた上記バンド画像より解像度の高い高解像度画像を取得し、複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像と基準バンド画像との間の位置差を取得し、対象バンド画像の画素を対象画素とし、対象画素毎に、対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、上記決定した部分領域毎の画素値と上記位置差とから基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成するためである。
【0061】
以上、第１の実施形態に係る画像補正装置１０の構成、動作、および効果について説明した。続いて、第１の実施形態の幾つかの変形例について説明する。
【0062】
＜変形例１＞
変形例１では、図１８のフローチャートに示すように、補正マルチバンド画像作成部１６４は、画像の画素値を調整するステップＳ４８を更に実行するように構成されている点で、図１４に示した処理と相違している。
変形例１では、図１８のフローチャートに示すように、補正マルチバンド画像作成部１６４は、画像の画素値を調整するステップＳ４８を更に実行するように構成されている点で、図１４に示した処理と相違している。
【0063】
処理対象のマルチバンド画像と高解像度画像（例えばパンクロマチック画像）から作成した参照画像とで感度やオフセットが異なる場合がある。その場合に、対象バンド画像の対象画素の画素領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する高解像度画像の複数の画素の間の画素値の関係とに基づいて決定すると、誤差が大きくなる。
【0064】
そのため、補正マルチバンド画像作成部１６４は、画素値の関係として画素値の差を用いる場合、図１７に示す式２を用いて、ステップＳ４８において、参照画像の画素値を調整する。また、補正マルチバンド画像作成部１６４は、画素値の関係として画素値の比を用いる場合、図１７に示す式３および式４を用いて、ステップＳ４８において、対象バンド画像および参照画像の画素値を調整する。式２、式３、および式４において、ＶM（ｘ，ｙ）は画素（ｘ，ｙ）における対象バンド画像の画素値、ＶR（ｘ，ｙ）は高解像度画像から作成した参照画像の画素値、ＶRC（ｘ，ｙ）は調整後の参照画像の画素値、ＶMC（ｘ，ｙ）は調整後の対象バンド画像の画素値、オーバーラインを付したＶR（ｘ，ｙ）はＶR（ｘ，ｙ）の平均、σ（ＶM（ｘ，ｙ））とσ（ＶR（ｘ，ｙ））はそれぞれＶM（ｘ，ｙ）とＶR（ｘ，ｙ）の標準偏差、ｍｉｎＶM（ｉ，ｊ）とｍｉｎＶR（ｉ，ｊ）はそれぞれ対象バンド画像と参照画像の最小値である。
【0065】
＜変形例２＞
位置差情報１５４は、図４に示す例では、対象バンド画像の画素毎の画素位置と位置差の組のリストで記録した。しかし、位置差情報１５４は上記記録方法に限定されない。例えば、位置差情報１５４は、対象バンド画像を位置差が同じ複数の画素の集まりからなる複数の部分領域に分割し、部分領域毎の画素位置と位置差の組のリストで記録してよい。部分領域の形状は、例えば矩形であってよい。また部分領域の画素位置は、矩形であれば左上画素と右下画素の画素位置の組であってよい。また、対象バンド画像の全画素の位置差がほぼ同じであれば、位置差を１つだけ記録するように構成されていてよい。
位置差情報１５４は、図４に示す例では、対象バンド画像の画素毎の画素位置と位置差の組のリストで記録した。しかし、位置差情報１５４は上記記録方法に限定されない。例えば、位置差情報１５４は、対象バンド画像を位置差が同じ複数の画素の集まりからなる複数の部分領域に分割し、部分領域毎の画素位置と位置差の組のリストで記録してよい。部分領域の形状は、例えば矩形であってよい。また部分領域の画素位置は、矩形であれば左上画素と右下画素の画素位置の組であってよい。また、対象バンド画像の全画素の位置差がほぼ同じであれば、位置差を１つだけ記録するように構成されていてよい。
【0066】
更に、位置差情報１５４は、数値情報として記録する代わりに、数式あるいは数式の係数として記録してもよい。例えば、位置差が光学的歪曲で生じる場合、位置差は、焦点面上の対象バンドの画素と基準バンドの画素の位置関係や光学的な特性により決定される。そのため、画素毎の位置差は、画素位置を引数とする光学特性で定まる式で表現できる。従って、この式あるいはその係数を位置差情報１５４として記録するようにしてもよい。画素毎の位置差は、上記式から計算で求めることができる。
【0067】
また、位置差取得部１６３は、対象バンド毎に、算出された各画素位置の位置差から近似平面を算出し、その算出した近似平面を表す式あるいは式の係数を位置差情報１５４として記録するようにしてもよい。上記近似平面は、例えば、対象バンドの各画素が画素位置ｘと画素位置ｙと位置差（ｓ，ｔ）の３次元のデータ（ｘ，ｙ，（ｓ，ｔ））から構成される３次元点群データとする場合、点群との二乗距離の合計を最小にする平面であってよい。例えば、近似平面として図１７の式５で与えられる平面を使用する場合、位置差取得部１６３は、算出された各画素位置の位置差を用いて、もっともフィットする行列Ａとベクトルｂを求めることにより、全画素の位置差情報１５４を表す式を求めることができる。上記では、対象バンドの各画素位置の位置差を用いて式５の係数を求めたが、図９を参照して説明した各小領域の中心位置の画素の位置差を用いて、もっともフィットする行列Ａとベクトルｂを求めるようにしてもよい。
【0068】
＜変形例３＞
上記では、マルチバンド画像１５２は、ＲＧＢの３バンドの画像とした。しかし、マルチバンド画像１５２は、上記以外であってよい。例えば、マルチバンド画像１５２は、ＲＧＢの３バンドと近赤外バンドとの４バンドの画像であってよい。このようにマルチバンド画像１５２のバンド数に制約はなく、任意の波長帯の任意のバンド数とすることができる。
上記では、マルチバンド画像１５２は、ＲＧＢの３バンドの画像とした。しかし、マルチバンド画像１５２は、上記以外であってよい。例えば、マルチバンド画像１５２は、ＲＧＢの３バンドと近赤外バンドとの４バンドの画像であってよい。このようにマルチバンド画像１５２のバンド数に制約はなく、任意の波長帯の任意のバンド数とすることができる。
【0069】
＜変形例４＞
上記では、対象バンドの画素（ｘ，ｙ）と基準バンドの同じ画素位置の画素（ｘ，ｙ）の位置差（ｓ，ｔ）は、０以上１未満として説明したが、位置差（ｓ，ｔ）は０未満あるいは１以上であってもよい。任意の位置差（ｓ，ｔ）に対して、ｓを超えない最大の整数をｓ０、ｔを超えない最大の整数をｔ０とし、ｓ’＝ｓ－ｓ０、ｔ’＝ｔ－ｔ０とする。すると、基準バンドの画素（ｘ，ｙ）に対し、ｘ’＝ｘ－ｓ０、ｙ’＝ｙ－ｔ０とすれば、対象バンドの画素（ｘ，ｙ）と基準バンドの画素（ｘ’，ｙ’）の位置差は０以上１未満の（ｓ’，ｔ’）となる。そのため、基準バンドの画素（ｘ，ｙ）を画素（ｘ’，ｙ’）、位置差（ｓ，ｔ）を位置差（ｓ’，ｔ’）に置き換えれば、上記と同じ処理で補正バンド画像の画素値を求めることができる。
上記では、対象バンドの画素（ｘ，ｙ）と基準バンドの同じ画素位置の画素（ｘ，ｙ）の位置差（ｓ，ｔ）は、０以上１未満として説明したが、位置差（ｓ，ｔ）は０未満あるいは１以上であってもよい。任意の位置差（ｓ，ｔ）に対して、ｓを超えない最大の整数をｓ０、ｔを超えない最大の整数をｔ０とし、ｓ’＝ｓ－ｓ０、ｔ’＝ｔ－ｔ０とする。すると、基準バンドの画素（ｘ，ｙ）に対し、ｘ’＝ｘ－ｓ０、ｙ’＝ｙ－ｔ０とすれば、対象バンドの画素（ｘ，ｙ）と基準バンドの画素（ｘ’，ｙ’）の位置差は０以上１未満の（ｓ’，ｔ’）となる。そのため、基準バンドの画素（ｘ，ｙ）を画素（ｘ’，ｙ’）、位置差（ｓ，ｔ）を位置差（ｓ’，ｔ’）に置き換えれば、上記と同じ処理で補正バンド画像の画素値を求めることができる。
【0070】
［第２の実施形態］
図１９は、本発明の第２の実施形態に係る画像補正装置２０のブロック図である。図１９を参照すると、画像補正装置２０は、バンド画像取得手段２１と高解像度画像取得手段２２と位置差取得手段２３と補正バンド画像作成手段２４と補正バンド画像出力手段２５とを含んで構成されている。
図１９は、本発明の第２の実施形態に係る画像補正装置２０のブロック図である。図１９を参照すると、画像補正装置２０は、バンド画像取得手段２１と高解像度画像取得手段２２と位置差取得手段２３と補正バンド画像作成手段２４と補正バンド画像出力手段２５とを含んで構成されている。
【0071】
バンド画像取得手段２１は、被写体を撮像して得られた複数のバンド画像を取得するように構成されている。バンド画像取得手段２１は、例えば、図１のマルチバンド画像取得部１６１と同様に構成することができるが、それに限定されない。
【0072】
高解像度画像取得手段２２は、上記被写体を撮像して得られた、上記バンド画像より解像度の高い高解像度画像を取得するように構成されている。高解像度画像取得手段２２は、例えば、図１の高解像度画像取得部１６２と同様に構成することができるが、それに限定されない。
【0073】
位置差取得手段２３は、上記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像と基準バンド画像との間の位置差を取得するように構成されている。位置差取得手段２３は、例えば、図１の位置差取得部１６３と同様に構成することができるが、それに限定されない。
【0074】
補正バンド画像作成手段２４は、上記対象バンド画像の画素を対象画素とし、対象画素毎に、当該対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する高解像度画像の複数の画素の間の画素値の関係とに基づいて決定するように構成されている。また、補正バンド画像作成手段２４は、上記決定した部分領域毎の画素値と上記位置差とから基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成するように構成されている。補正バンド画像作成手段２４は、例えば、図１の補正マルチバンド画像作成部１６４と同様に構成することができるが、それに限定されない。
【0075】
補正バンド画像出力手段２５は、上記補正バンド画像を出力するように構成されている。補正バンド画像出力手段２５は、例えば、図１の補正マルチバンド画像出力部１６５と同様に構成することができるが、それに限定されない。
【0076】
以上のように構成された画像補正装置２０は、以下のように動作する。すなわち、先ず、バンド画像取得手段２１は、被写体を撮像して得られた複数のバンド画像を取得し、高解像度画像取得手段２２は、上記被写体を撮像して得られた、上記バンド画像より解像度の高い高解像度画像を取得する。次に、位置差取得手段２３は、上記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像と基準バンド画像との間の位置差を取得する。次に、補正バンド画像作成手段２４は、上記対象バンド画像の画素を対象画素とし、対象画素毎に、当該対象画素の画素領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する高解像度画像の複数の画素の間の画素値の関係とに基づいて決定する。さらに補正バンド画像作成手段２４は、上記決定した部分領域毎の画素値と上記位置差とから基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する。次に、補正バンド画像出力手段２５は、上記補正バンド画像を出力する。
【0077】
以上のように構成され動作する画像補正装置２０によれば、位相差による色ずれを低減することができる。その理由は、画像補正装置２０は、被写体を撮像して得られた複数のバンド画像と上記被写体を撮像して得られた上記バンド画像より解像度の高い高解像度画像を取得し、複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、対象バンド画像と基準バンド画像との間の位置差を取得し、対象バンド画像の画素を対象画素とし、対象画素毎に、対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、上記決定した部分領域毎の画素値と上記位置差とから基準バンド画像の画素位置における対象バンド画像に係る光の画素値を保持する補正バンド画像を作成するためである。
【0078】
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【産業上の利用可能性】
【0079】
マルチバンド画像（マルチスペクトル画像）を色ずれの生じない画像に補正する画像補正装置、画像補正方法、画像補正プログラムとして利用できる。また、衛星や航空機から地上を撮像して得られた画像を地図に投影する等の画像幾何投影時における色ずれの補正に利用できる。
【0080】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する高解像度画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備える画像補正装置。
［付記２］
前記補正バンド画像作成手段は、前記対象画素を前記位置差だけシフトすることにより前記基準バンド画像の画素位置を決定し、前記決定した画素位置に含まれる前記部分領域の画素値の総和を、前記決定した画素位置における前記対象バンド画像に係る光の画素値として決定する、
付記１に記載の画像補正装置。
［付記３］
前記補正バンド画像作成手段は、前記対象バンド画像の前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域として、前記対象バンド画像を前記高解像度画像と同じ解像度になるように拡大した拡大対象バンド画像の個々の画素の撮像領域を用いる、
付記１または２に記載の画像補正装置。
［付記４］
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の比を用いる、
付記１乃至３の何れかに記載の画像補正装置。
［付記５］
前記補正バンド画像作成手段は、前記高解像度画像の各画素値を、前記高解像度画像の最小の画素値を用いて調整する、
付記５に記載の画像補正装置。
［付記６］
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の差を用いる、
付記１乃至３の何れかに記載の画像補正装置。
［付記７］
前記補正バンド画像作成手段は、前記高解像度画像の各画素値を、前記高解像度画像の画素値の標準偏差および前記対象バンド画像の画素値の標準偏差を用いて調整する、
付記６に記載の画像補正装置。
［付記８］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像との間の画像相関により前記位置差を算出する、
付記１乃至７の何れかに記載の画像補正装置。
［付記９］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の全画素の前記位置差として算出する、
付記１乃至８の何れかに記載の画像補正装置。
［付記１０］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の中心位置の画素の前記位置差として算出し、前記中心位置の画素の位置差から補間処理によって中心位置の画素以外の画素の前記位置差を算出する、
付記１乃至８の何れかに記載の画像補正装置。
［付記１１］
被写体を撮像して得られた複数のバンド画像を取得し、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
画像補正方法。
［付記１２］
コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるためのプログラム。
［付記１］
被写体を撮像して得られた複数のバンド画像を取得するバンド画像取得手段と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する高解像度画像取得手段と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する位置差取得手段と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する補正バンド画像作成手段と、
前記補正バンド画像を出力する補正バンド画像出力手段と、
を備える画像補正装置。
［付記２］
前記補正バンド画像作成手段は、前記対象画素を前記位置差だけシフトすることにより前記基準バンド画像の画素位置を決定し、前記決定した画素位置に含まれる前記部分領域の画素値の総和を、前記決定した画素位置における前記対象バンド画像に係る光の画素値として決定する、
付記１に記載の画像補正装置。
［付記３］
前記補正バンド画像作成手段は、前記対象バンド画像の前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域として、前記対象バンド画像を前記高解像度画像と同じ解像度になるように拡大した拡大対象バンド画像の個々の画素の撮像領域を用いる、
付記１または２に記載の画像補正装置。
［付記４］
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の比を用いる、
付記１乃至３の何れかに記載の画像補正装置。
［付記５］
前記補正バンド画像作成手段は、前記高解像度画像の各画素値を、前記高解像度画像の最小の画素値を用いて調整する、
付記５に記載の画像補正装置。
［付記６］
前記補正バンド画像作成手段は、前記画素値の関係として、画素値の差を用いる、
付記１乃至３の何れかに記載の画像補正装置。
［付記７］
前記補正バンド画像作成手段は、前記高解像度画像の各画素値を、前記高解像度画像の画素値の標準偏差および前記対象バンド画像の画素値の標準偏差を用いて調整する、
付記６に記載の画像補正装置。
［付記８］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像との間の画像相関により前記位置差を算出する、
付記１乃至７の何れかに記載の画像補正装置。
［付記９］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の全画素の前記位置差として算出する、
付記１乃至８の何れかに記載の画像補正装置。
［付記１０］
前記位置差取得手段は、前記基準バンド画像と前記対象バンド画像を複数の小領域に分割し、前記小領域毎に、前記対象バンド画像の小領域が前記基準バンド画像の小領域に最も一致するシフト量を、前記対象バンド画像の小領域の中心位置の画素の前記位置差として算出し、前記中心位置の画素の位置差から補間処理によって中心位置の画素以外の画素の前記位置差を算出する、
付記１乃至８の何れかに記載の画像補正装置。
［付記１１］
被写体を撮像して得られた複数のバンド画像を取得し、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得し、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得し、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成し、
前記補正バンド画像を出力する、
画像補正方法。
［付記１２］
コンピュータに、
被写体を撮像して得られた複数のバンド画像を取得する処理と、
前記被写体を撮像して得られた、前記バンド画像より解像度の高い高解像度画像を取得する処理と、
前記複数のバンド画像のうちの１つを基準バンド画像とし、残りの少なくとも１つを対象バンド画像とし、前記対象バンド画像と前記基準バンド画像との間の位置差を取得する処理と、
前記対象バンド画像の画素を対象画素とし、前記対象画素毎に、前記対象画素の撮像領域を複数の領域に分割してできる個々の部分領域の画素値を、当該対象画素の画素値と当該対象画素に対応する前記高解像度画像の複数の画素の間の画素値の関係とに基づいて決定し、前記決定した部分領域毎の画素値と前記位置差とから前記基準バンド画像の画素位置における前記対象バンド画像に係る光の画素値を保持する補正バンド画像を作成する処理と、
前記補正バンド画像を出力する処理と、
を行わせるためのプログラム。
【符号の説明】
【0081】
１０ 画像補正装置
１１ １次元アレイセンサ
１２ 通信Ｉ／Ｆ部
１３ 操作入力部
１４ 画面表示部
１５ 記憶部
１６ 演算処理部
１７ 光学系
１８ 被写体
１８ａ 黒板
１８ｂ 白板
２０ 画像補正装置
２１ バンド画像取得手段
２２ 高解像度画像取得手段
２３ 位置差取得手段
２４ 補正バンド画像作成手段
２５ 補正バンド画像出力手段
１５１ プログラム
１５２ マルチバンド画像
１５２－１ Ｒバンド画像
１５２－２ Ｇバンド画像
１５２－３ Ｂバンド画像
１５３ 高解像度画像
１５４ 位置差情報
１５４－１ 位置差情報
１５４－２ 位置差情報
１５４－３ 位置差情報
１５５ 補正マルチバンド画像
１５５－１ 補正Ｒバンド画像
１５５－２ 補正Ｇバンド画像
１５５－３ 補正Ｂバンド画像
１６１ マルチバンド画像取得部
１６２ 高解像度画像取得部
１６３ 位置差取得部
１６４ 補正マルチバンド画像作成部
１６５ 補正マルチバンド画像出力部
１６３１ 位置差情報作成部
１６３２ 位置差情報入力部
１１ １次元アレイセンサ
１２ 通信Ｉ／Ｆ部
１３ 操作入力部
１４ 画面表示部
１５ 記憶部
１６ 演算処理部
１７ 光学系
１８ 被写体
１８ａ 黒板
１８ｂ 白板
２０ 画像補正装置
２１ バンド画像取得手段
２２ 高解像度画像取得手段
２３ 位置差取得手段
２４ 補正バンド画像作成手段
２５ 補正バンド画像出力手段
１５１ プログラム
１５２ マルチバンド画像
１５２－１ Ｒバンド画像
１５２－２ Ｇバンド画像
１５２－３ Ｂバンド画像
１５３ 高解像度画像
１５４ 位置差情報
１５４－１ 位置差情報
１５４－２ 位置差情報
１５４－３ 位置差情報
１５５ 補正マルチバンド画像
１５５－１ 補正Ｒバンド画像
１５５－２ 補正Ｇバンド画像
１５５－３ 補正Ｂバンド画像
１６１ マルチバンド画像取得部
１６２ 高解像度画像取得部
１６３ 位置差取得部
１６４ 補正マルチバンド画像作成部
１６５ 補正マルチバンド画像出力部
１６３１ 位置差情報作成部
１６３２ 位置差情報入力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】