特開 2024-175147 情報処理装置、プログラム及び画像補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175147

(43)【公開日】2024-12-18

(54)【発明の名称】情報処理装置、プログラム及び画像補正方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241211BHJP

   H04N 23/10 20230101ALI20241211BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 300

H04N9/04 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021164859

(22)【出願日】2021-10-06

(71)【出願人】

【識別番号】519450112

【氏名又は名称】Ｕｌｔｉｍａｔｒｕｓｔ株式会社

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(72)【発明者】

【氏名】飯沼 大

(72)【発明者】

【氏名】森谷 敏博

【テーマコード（参考）】

5C065

5C122

【Ｆターム（参考）】

5C065AA06

5C065BB01

5C065CC10

5C065DD15

5C065EE03

5C122EA12

5C122FH02

5C122FH11

5C122HA01

5C122HB01

5C122HB06

5C122HB09

(57)【要約】

【課題】時間依存性、色調、気候依存性、物体情報等を含めて衛星画像を補正する。
【解決手段】情報処理装置１は、撮像装置２によって撮像対象を撮像した撮像画像２０を取得する撮像画像取得部１０１と、撮像画像２０の画素２１に対応付けられる前記撮像対象の実際の位置を示す実位置４０を取得する実位置取得部１０２と、前記撮像画像２０の画素２１に関する画素情報及び画素付帯情報の少なくとも１つを取得する画素情報取得部１０３と、前記実位置４０に対応する衛星画像３０と前記画素情報２２及び画素付帯情報の少なくとも１つに基づいて観測画像２４を生成する観測画像生成部１０６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置によって撮像対象を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像の画素に対応付けられる前記撮像対象の実際の位置を示す実位置を取得する実位置取得部と、
前記撮像画像の画素に関する画素情報及び画素付帯情報の少なくとも１つを取得する画素情報取得部と、
前記実位置に対応する衛星画像と前記画素情報及び前記画素付帯情報の少なくとも１つとに基づいて観測画像を生成する観測画像生成部と、を備える情報処理装置。

【請求項2】

前記観測画像生成部は、
前記衛星画像における前記実位置に対応する前記衛星画像を前記画素情報及び前記画素付帯情報の少なくとも１つに基づいて補正した補正画像としての前記観測画像を生成する請求項１に記載の情報処理装置。

【請求項3】

前記観測画像生成部は、
前記衛星画像と撮像時刻が対応する前記画素情報及び前記画素付帯情報の少なくとも１つに基づいて前記衛星画像を補正し、前記観測画像を生成する請求項２に記載の情報処理装置。

【請求項4】

前記撮像画像取得部は、前記画素情報として色相、彩度、輝度、可視光及び非可視光の強さの少なくとも１つを取得する手段を有する
請求項１から３の何れか１項に記載の情報処理装置。

【請求項5】

前記撮像画像取得部は、前記画素付帯情報として、撮像時の気候情報、被撮像物の物体情報、撮像の解像度の少なくとも１つを取得する手段を有する
請求項１から３の何れか１項に記載の情報処理装置。

【請求項6】

前記観測画像の前記衛星画像に対する補正は、色調の補正、分解能の向上、解像度の向上、バンド間の離散しているスペクトル強度の補間、の少なくとも１つを含む
請求項２から５の何れか１項に記載の情報処理装置。

【請求項7】

前記観測画像生成部は、
位置が隣り合う位置関係にあるとともに前記実位置に対応する第１衛星画像及び第２衛星画像を取得し、
前記第１衛星画像と前記第２衛星画像と前記画素情報及び前記画素付帯情報の少なくとも１つとに基づいて前記第１衛星画像と前記第２衛星画像の間に位置する補間画像としての前記観測画像を生成する
請求項１から６の何れか１項に記載の情報処理装置。

【請求項8】

時間的に変化する前記衛星画像について、前記実位置に対応する前記画素情報及び前記画素付帯情報の少なくとも１つに基づいて、補間画像としての前記観測画像を生成する
請求項１から７の何れか１項に記載の情報処理装置。

【請求項9】

過去に取得した複数の前記衛星画像と、過去から現在までに取得した前記画素情報及び前記画素付帯情報の少なくとも１つに基づいて現在及び未来の少なくとも１つの前記観測画像を生成する
請求項１から８の何れか１項に記載の情報処理装置。

【請求項10】

撮像装置によって撮像対象を撮像した撮像画像を取得する撮像画像取得機能と、
前記撮像画像の画素に対応付けられる前記撮像対象の実際の位置を示す実位置を取得する実位置取得機能と、
前記撮像画像の画素に関する画素情報及び画素付帯情報の少なくとも１つを取得する画素情報取得機能と、
前記実位置に対応する衛星画像と前記画素情報及び前記画素付帯情報の少なくとも１つに基づいて観測画像を生成する観測画像生成機能と、
を備えるプログラム。

【請求項11】

撮像装置によって撮像対象を撮像した撮像画像を取得する撮像画像取得ステップと、
前記撮像画像の画素に対応付けられる前記撮像対象の実際の位置を示す実位置を取得する実位置取得ステップと、
前記撮像画像の画素に関する画素情報及び画素付帯情報の少なくとも１つを取得する画素情報取得ステップと、
前記実位置に対応する衛星画像と前記画素情報及び前記画素付帯情報の少なくとも１つに基づいて観測画像を生成する観測画像生成ステップと、
を備える画像補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラム及び画像補正方法に関する。

【背景技術】

【0002】

従来、衛星画像を補正する技術が知られている。この種の技術が記載されるものとして例えば特許文献１がある。

【0003】

特許文献１は、衛星画像補正装置に関するものである。特許文献１には、地球上の全地球測位衛星システム用受信機の近傍で位置情報の生成に寄与する特徴点の位置情報を参照用基準点の位置情報としてデータベース化し、人工衛星が作成した衛星画像上の照合用基準点の位置を参照用基準点の位置情報に基づいて特定して、位置が特定された照合用基準点を補正用基準点とし、補正用基準点の位置情報に基づいて人口衛星が作成した衛星画像を補正する方法が記載されている。これにより、衛星画像の歪みを簡易に補正することが可能となる。

【0004】

また、地上を撮影した画像を地上に平行な平面図画像に変換する技術が知られている。この種の技術が記載されるものとして例えば特許文献２がある。特許文献２には、対象範囲が数キロに亘る広範囲で撮影されたカメラ画像を三次元地形モデルに対応付けて平面図画像を表示する方法が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１７６１７２号

【特許文献2】特許４６４２１３６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、衛星は広域の地表撮像を空間的に連続して取得する。各地点においては、観測間隔が空くことにより、時間方向に不連続である。このような時間軸において不連続な撮像は、撮影時刻や条件により色調にばらつきが発生する。更に、不連続な撮像からは、交通量や気候といった連続的な状況の変化を把握することが難しい。この点、特許文献１に記載されるような従来技術では、歪み以外の色調や気候といった地球上で観測される特徴を使って衛星画像を補正することはできないという点で改善の余地があった。また、特許文献２に記載されるような従来技術は、衛星画像のような広い範囲の画像とは連携しておらず、衛星画像の補正には適用されていない。得られた平面図画像の活用が限られているという点で改善の余地があった。

【0007】

本発明は、上述の課題を解決するためになされたものであり、その目的は、地上の撮像画像に基づいて衛星画像を補正することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一態様である情報処理装置は、撮像装置によって撮像対象を撮像した撮像画像を取得する撮像画像取得部と、撮像画像の画素に対応付けられる撮像対象の実際の位置を示す実位置を取得する実位置取得部と、撮像画像の画素に関する画素情報及び画素付帯情報の少なくとも１つを取得する画素情報取得部と、実位置に対応する衛星画像と画素情報及び画素付帯情報の少なくとも１つとに基づいて観測画像を生成する観測画像生成部と、を備える。

【発明の効果】

【0009】

本発明によれば、地上の撮像画像に基づいて衛星画像を補正することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るシステムの全体構成を示す模式図である。

【図2】本発明の実施形態に係る情報処理装置の有する制御部のハードウェア構成を示すブロック図である。

【図3】本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。

【図4】本発明の実施形態に係る撮像装置に付加する光学フィルタの例を示す模式図である。

【図5】本発明の実施形態に係る撮像装置及び情報処理装置の機能的構成を示すブロック図である。

【図6】本発明の実施形態に係る撮像装置の撮像した撮像画像（ａ）、及び、実位置に撮像画像の画素を変換した平面図（ｂ）を示す図である。

【図7】本発明の実施形態に係る画素情報及び画素付帯情報を生成取得する処理のフローチャートである。

【図8】本発明の実施形態に係る画素情報及、画素付帯情報、実位置についての一覧表の例を示す図である。

【図9】本発明の実施形態に係る連続する衛星画像に画素情報を参照して補正した観測画像、及び、観測画像を更に補間した観測画像を生成する処理を示すブロック図である。

【図10】本発明の実施形態に係る位置が隣り合うが撮影時の異なる衛星画像の例を示す図である。

【図11】本発明の実施形態に係る画像のスペクトル強度について補正前後の状況を示す図である。

【図12】本発明の実施形態に係る撮像画像の画素情報を基に衛星画像の補間画像を複数枚得る処理のフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態に係る情報処理装置１について図面を参照しながら説明する。

【0012】

図１に示すように、本実施形態の情報処理装置１は、情報処理装置用通信装置１８を備えており、通信回線７及び撮像装置用通信装置２７を介して撮像装置２と電子情報を交換する。

【0013】

撮像装置２は、測位用アンテナを備えた測位装置２５より測位結果を得る。撮像装置２は、姿勢制御装置２６を備える。撮像衛星３の撮影した衛星画像３０は図示されない通信回線等を介して情報処理装置１により取得される。撮像装置２は、例えば、位置情報を取得可能な、屋外に固定された監視カメラである。

【0014】

情報処理装置１は、撮像衛星３からの衛星画像３０を撮像装置２から得る画素情報２２及び画素付帯情報２３に基づいて補正し、観測画像２４を生成する。この例では、通信回線７は無線通信である。なお、通信回線７が無線通信に限定される訳ではない。例えば、通信回線７が有線通信を利用していてもよい。

【0015】

図２に示すように、情報処理装置１の有する制御部１０は、プロセッサ１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入出力部１６と、通信部１７と、とを有する。

【0016】

プロセッサ１１は、各種演算及び処理を行う。プロセッサ１１は、例えば、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）又はＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等である。或いは、プロセッサ１１は、これらのうちの複数を組み合わせたものである。また、プロセッサ１１は、これらにハードウェアアクセラレーター等を組み合わせたものあってもよい。

【0017】

プロセッサ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。プロセッサ１１は、ＲＯＭ１２に記録されているプログラム又はＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。プログラムの一部又は全部が、プロセッサ１１の回路内に組み込まれていてもよい。

【0018】

バス１４は入出力インターフェース１５にも接続される。入出力インターフェース１５には、入出力部１６と、通信部１７と、が接続されている。

【0019】

入出力部１６は、有線又は無線により電気的に入出力インターフェース１５に接続される。入出力部１６は、例えばキーボード及びマウス等の入力部と撮像を表示するディスプレイ及び音声を拡声するスピーカ等の出力部とによって構成される。なお、入出力部１６はタッチパネルのように表示機能と入力機能が一体的な構成であってもよい。

【0020】

通信部１７は、プロセッサ１１が、通信回線７を介して他の装置（例えば、撮像装置２）との間で通信を行う装置である。

【0021】

ここで示したハードウェア構成は、あくまで一例であり、特にこの構成に限定されるわけではない。シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものをプロセッサとして機能的構成を実現するものとして採用してもよい。

【0022】

図３は撮像装置２のハードウェア構成の例を示す。撮像装置２は、受光装置２９、光学フィルタ２８、撮像装置用通信装置２７、姿勢制御装置２６、測位装置２５を備える。

【0023】

受光装置２９は、図示しない光学レンズ部及びイメージセンサを備える。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

【0024】

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。この各種信号処理によって、ディジタル信号が生成され、撮像部２１１の出力信号として例えば図６（ａ）に示す撮像画像２０が出力される。

【0025】

撮像装置２の撮像画像２０の解像度はイメージセンサの解像度に依存し、例えば、ＸＧＡ（横１０２４縦７６８）或いはＦＨＤ（横１９２０、縦１０８０）の数の画素２１を有する。

【0026】

本明細書においては、画素２１は、この本来の意味である画素の意味を含み、更に複数の画素からなる一定の領域をも画素２１として表現する。

【0027】

光学フィルタ２８は、図４に示すように複数の光学素子を変更可能に並べたものである。適宜、透過光領域は遠赤外、近赤外、可視、紫外のように切り替えられる。撮像装置用通信装置２７は、例えばＷｉＦｉに代表される無線装置である。姿勢制御装置２６はステッピングモータを有し、撮像方向について地面と水平な方位角及び仰ぎ角を調整する。測位装置２５は測位衛星４１から信号を受け取り実位置４０として例えば撮像装置２の設定されている場所の緯度経度を測位する。

【0028】

図５は本実施形態の情報処理装置１及び撮像装置２の機能的構成を示す。以下、図４及び図６を適宜参照して機能について説明する。

【0029】

情報処理装置１は、機能的構成部として、入出力部１６、撮像画像取得部１０１、実位置取得部１０２、画素情報取得部１０３、衛星画像取得部１０４、補正補間情報生成部１０５、観測画像生成部１０６を備える。各機能的構成の機能については、撮像装置２の機能が前提になるので、撮像装置２の機能について述べた後、詳述する。

【0030】

撮像装置２の機能的構成について説明する。撮像装置２は撮像部２１１、物体情報生成部２１２、撮像情報取得部２１３、非可視光撮影部２１４、温度情報取得部２１５、画素情報生成部２１６、位置情報取得部２１７、位置情報記録部２１８、画素付帯情報生成部２１９、撮像装置入出力部２２０を有する。

【0031】

撮像部２１１は、上記した光学レンズ及びイメージセンサに代表されるハードウェアにより撮像画像２０を取得する。

【0032】

物体情報生成部２１２は撮像画像２０から画像解析技術或いは物体検出モデルに依り被撮影物について人、自転車、車、バイク、飛行機、バス、列車、トラック、ボート、信号機、消火栓、一時停止標識、パーキングメーター、樹木、建物等の属性を物体情報として生成する。

【0033】

撮像情報取得部２１３は、撮像装置２の有する姿勢制御装置２６より、撮像装置２の姿勢についての情報を取得する。方位角、仰ぎ角が得られる。また、撮像情報として、光学レンズの焦点距離、焦点位置、絞り値等が取得される。非可視光撮影部２１４は、図４に示す光学フィルタ２８を通して、撮影光のバンドを例えば２８ａから２８ｆで示される６種類に変更して撮影する。温度情報取得部２１５は、例えば、撮像装置２の有する図示されない温度計に基づいて撮像時の周囲温度を取得する。画素情報生成部２１６は、撮像画像２０の各画素について、画素情報２２として色相、彩度、輝度、可視光及び非可視光の強さの少なくとも１つを含んだ情報を生成する。

【0034】

位置情報取得部２１７は、測位用アンテナを有する測位装置２５から位置情報を取得する。位置情報記録部２１８は、得られた撮像装置２の位置を記録する。画素付帯情報生成部２１９は、上記の各機能的構成部により取得された、例えば、物体情報、姿勢情報、撮像情報、温度情報、撮像装置２の位置情報等を統合して、画素付帯情報２３を作成する。

【0035】

撮像装置入出力部２２０は、例えば、情報要求の入力に対応して、撮像画像２０と画素情報２２と画素付帯情報２３とを出力する。

【0036】

情報処理装置１の機能的構成について説明する。情報処理装置１は、上記したように、入出力部１６、撮像画像取得部１０１、実位置取得部１０２、画素情報取得部１０３、衛星画像取得部１０４、補正補間情報生成部１０５、観測画像生成部１０６を備える。情報処理装置１の機能は、プロセッサ１１によって実現される。

【0037】

入出力部１６は、撮像装置２との間での電子情報の入出力及び図示しない外部からの衛星画像３０の入力を司る。

【0038】

撮像画像取得部１０１は、撮像装置２から撮像画像２０を取得する。撮像画像２０は、例えば、図６（ａ）に示すように地上を斜めから撮影した画像である。

【0039】

実位置取得部１０２は、撮像装置２から取得した画素付帯情報２３を基に、撮像画像２０の画素２１の実位置４０を計算して取得する。撮像装置２の位置は、上記したようにＧＮＳＳ信号に基づいて得られている。撮像装置２によって撮像された撮像画像２０の中の各画素２１の実位置４０を求める方法としては、例えば以下の二つの求め方がある。

【0040】

１つの方法は、ＧＮＳＳ信号に基づく測位装置２５を備える移動体を移動させながら撮像装置２で撮像し、移動体の撮像画像２０中の位置と、移動体のＧＮＳＳ信号に基づいて得た位置とを対応付ける方法である。この結果をデータベース化し、補間を適宜行うことにより、撮像画像２０上の任意の画素２１の実位置４０が求まる。

【0041】

別の方法は、撮像装置２の位置に撮像装置２からの相対位置を足し合わせる方法である。撮像装置２の位置は、例えば、撮像装置２の有する測位装置２５を用いて測位することにより求まる。撮像画像２０の任意の画素２１については、オートフォーカス機能を利用してフォーカスの合うレンズ位置や図示しないＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの測距装置から得られる距離情報に基づいて撮像装置２からの距離が求まる。また、撮像装置２の方位、仰ぎ角は姿勢制御装置２６からの信号に基づいて求められる。撮像装置２からの距離、撮像装置２の方位、仰ぎ角に基づいて、撮像装置２からの相対位置が求まる。撮像装置２の実位置４０に撮像装置２からの相対位置を足し合わせることにより、撮像画像２０の任意の画素２１について実位置４０が求められる。この実位置４０に基づいて、緯度経度に沿って画素２１は並べ直され、変換されて平面視にされた例が図６（ｂ）に示される。図６（ａ）の家、樹木等が矢印で示されるように変換され、図６（ｂ）に示されるように平面視にされる。

【0042】

情報処理装置１は、ここでは撮像装置２とは別体であり、情報処理装置１に機能的構成の全てが含まれている。情報処理装置１は、撮像装置２にその一部或いは全部が組み込まれる構成も可能である。

【0043】

図７は、上記の平面視に画素２１が並べられるまでのフローチャートである。撮像装置２は可視光情報取得処理として、可視光に合わせた光学フィルタ２８を用いて撮像し、可視光情報を画素情報２２として取得する（ステップＳ１０１）。次に撮像装置２が物体情報生成処理として撮像画像２０に物体検出モデルを適用して物体情報を画素情報２２として生成する（ステップＳ１０２）。撮像装置２が非可視光情報取得処理として、非可視光のバンドパスフィルタを通して撮像し、非可視光情報を画素情報２２として取得する（ステップＳ１０３）。撮像装置２の有する温度センサが周囲の温度を測定し、温度情報を画素付帯情報２３として取得する（ステップＳ１０４）。

【0044】

情報処理装置１の画素情報取得部１０３は、画素情報・画素付帯情報取得処理として撮像画像２０の各画素２１に対応して、撮像装置２の画素情報生成部２１６が生成した画素情報２２と撮像装置２の画素付帯情報生成部２１９が生成した画素付帯情報２３とを取得する（ステップＳ１０５）。情報処理装置１は、画素付帯情報２３に含まれる物体情報に基づいて、各々の画素２１が示す物体を把握する。例えば、図６（ｂ）においては、樹木が認識され、紅葉により樹木の葉の色の季節による移り変わりを後述する衛星画像３０の補正に活用する。

【0045】

図８は、画素２１、画素情報２２、画素付帯情報２３、実位置４０の一覧の例を示す。図８においては、撮像画像２０の画素２１の位置に沿って情報は記録されている。画素情報２２として、画素２１の位置であるＸＧＡ画像における行番号と列番号とが記載され、赤Ｒ，緑Ｇ、青Ｂの信号値、それに対応する色調、輝度が記載される。画素付帯情報２３として、例えば、日付、天候、温度、物体情報が記載される。更に実位置４０が画素２１に対応して記載される。

【0046】

情報処理装置１は、画像変換処理として、画素情報２２及び画素付帯情報２３を有する各画素を、対応づけられた緯度及び経度に沿って平面状に並べる（ステップＳ１０６）。情報処理装置１は、情報記録処理として、上記の各情報を記録する（ステップＳ１０７）。一連の処理が終了していない場合には、ステップＳ１０１に戻る（ステップＳ１０８：Ｎｏ）。一連の処理が終了している場合（ステップＳ１０８：Ｙｅｓ）には、撮像装置２と情報処理装置１は処理を終了する。

【0047】

衛星画像取得部１０４は、撮像衛星３が撮影した衛星画像３０を図示されない通信装置を介して取得する。補正補間情報生成部１０５は、同一地点についての撮像時間の異なる衛星画像３０及び隣り合う衛星画像３０の少なくとも１つについて、補正・補間情報を撮像画像２０に基づいて作成する。観測画像生成部１０６は、補正・補間情報に基づいて衛星画像３０を補正し、或いは補間補外した画像を生成する。

【0048】

衛星画像３０の補正或いは補間補外された観測画像２４の生成について図９から図１１を参照して説明する。

【0049】

図９は画像の補正及び補間補外の全体像を示す模式図である。横軸は時間の流れを示している。情報処理装置１は過去の衛星画像３０及び過去の撮像画像２０を時系列データとして蓄積する。例えば、図９においては、情報処理装置１の衛星画像取得部１０４は、衛星画像３０として、過去衛星画像３０ａから現在衛星画像３０ｄまで例えば取得する。並行して、情報処理装置１は、撮像装置２の撮像画像２０として、過去撮像画像２０ａから現在撮像画像２０ｅまで例えば取得する。情報処理装置１は、図８に例示したように、各撮像画像２０の画素２１に対応して画素情報２２と画素付帯情報２３とを有している。

【0050】

情報処理装置１の備える観測画像生成部１０６は、撮像画像２０の画素付帯情報２３に含まれる実位置４０の情報に対応する衛星画像３０と撮像画像２０に関する画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて衛星画像３０を補正し、観測画像２４を生成する。例えば、観測画像生成部１０６は、各実位置即ち所定の緯度経度における特徴の変化を記録したデータ、即ち、撮像画像２０及び画素情報２２及び画素付帯情報２３を生成し、情報処理装置１に保存する。情報処理装置１が任意の時刻におけるデータをもとに衛星画像３０を補正する。データをもとに、衛星が観測していない時間の状態の変化を衛星画像３０に付与して衛星画像３０を補間する。図９においては、観測画像２４として二つの画像が生成されている。

【0051】

衛星画像３０を補正するには、まず、撮像画像２０の画素２１が実位置４０に基づいて、衛星画像３０の示す緯度経度に対応させて並べられる、つまり、撮像画像２０の画素２１は、地球上における座標と同期させられる。そして、撮像画像２０の解像度が衛星画像３０の解像度に合わせられる。次に撮影時間が同期される。図９においては、例えば、現在衛星画像３０ｄと現在撮像画像２０ｅとは撮影時間が同期している。

【0052】

衛星画像３０の補正処理としては、例えば、色調を合わせる処理、分解能を向上させる処理、解像度を向上させる処理、バンド間で離散しているスペクトル強度を補間する処理がある。

【0053】

色調を合わせる処理について説明する。地球上の撮像装置２は色調が調整されている。数百キロメートル以上離れたところに設置した撮像装置２であっても、撮像装置２は同じ対象に対して同じ色調で撮像画像２０を取得する。類似の時刻、季節であっても衛星画像３０間には例えば図１０の隣り合う第１衛星画像３０－１と第２衛星画像３０－２に示すように境目が生じる。これに対して、地球上の撮像画像２０の色調を補正値として使うことで衛星画像３０の色調が合わせられる。

【0054】

これにより、撮像解析で衛星画像３０の境目の情報の変化を抑えることができるので、撮像解析でより良好な結果が得られる。

【0055】

分解能を向上させる処理においては物体情報が衛星画像３０に対応付けられ、ラスターデータとして付加される。これにより、衛星画像３０は物体のような空間情報の解析に応用できるようになる。

【0056】

解像度を上げる処理においては、撮像装置２の撮像範囲は、衛星画像３０よりも高解像度の位置座標を伴う撮像を持つ。実位置４０の情報が生成されている範囲において、衛星画像３０の高解像度化ができる。これにより、より詳しい衛星画像３０の分析が可能となる。

【0057】

バンド間のスペクトル強度を滑らかにする処理においては、衛星画像３０のバンド情報をベースに、可視光情報、非可視光情報、温度情報等によってバンド間で離散しているスペクトル強度が補間される。例えば、図１１に示すように、補正前のスペクトル強度に対して、補正後のスペクトル強度は滑らかになる。これにより、従来のバンド解析の精度を向上させることができる。また、可視域のスペクトル情報の精度が向上することにより、バンド合成時の色調を高精度に取得し、撮像画像２０の間での誤差を抑えることができる。

【0058】

衛星画像３０について、図９に示すように、補正された観測画像２４ａ、２４ｂを基に補間した観測画像２４ｃから２４ｅを得ることができる。また、過去の複数撮像からの予測結果を反映する処理も可能である。これらの処理について、図１２のフローチャートに沿って説明する。

【0059】

処理がスタートすると、情報処理装置１の備える観測画像生成部１０６は、補間枚数選択処理として、衛星画像３０間で何枚の撮像を生成して補間するかを任意に選択する（ステップＳ２０１）。例えば、補間の撮像の枚数は、１分に１枚、１時間に１枚等である。次に、観測画像生成部１０６は、画素情報取得処理として衛星画像３０と緯度経度の近接する撮像画像２０の画素２１を選択し、画素２１の有する画素情報２２及び画素付帯情報２３を取得する（ステップＳ２０２）。次に差分計算処理として、可視光情報と非可視光情報と温度情報との各々に対して、前の観測画像２４との差分が計算される（ステップＳ２０３）。補間処理として、変化した情報について緯度経度の近接する衛星画像３０と撮像画像２０の画素２１とが関連付けられ、衛星画像３０にフォーマットを合わせた補間情報が生成され、変化した情報について、その間が滑らかにつなげられる（ステップＳ２０４）。これにより、気候変動のような連続的に変化する事象の分析ができるようになる。

【0060】

観測画像生成部１０６は、情報変化予測処理として、過去の撮像画像２０を時系列データとしてAI解析を行い（ステップＳ２０５）、予測結果反映処理として予測した結果を差分処理結果に追加する（ステップＳ２０６）。これにより、観測画像２４の正確性を向上させることができる。

【0061】

観測画像生成部１０６は、画像形式出力処理として、処理結果を画像形式で出力する（ステップＳ２０７）。補間枚数が所定の枚数に達していない場合（ステップＳ２０８：Ｎｏ）には、置換処理として、前の観測画像２４を出力画像に置換し（ステップＳ２１０）、差分計算処理（ステップＳ２０３）に戻る。補間枚数が所定の枚数に達している場合には（ステップＳ２０８：Ｙｅｓ）、情報記録処理として情報が記録され（ステップＳ２０９）、処理は終了する（ＥＮＤ）。

【0062】

上記の補間処理により、ＡＩ解析については、データが大量に蓄積される将来において、未観測の未来の衛星画像３０の生成ができる。即ち、未来予測が可能になる。

【0063】

撮像画像２０に対して補正処理が行われ、補間処理が行われてもよい。補正された撮像画像２０に対して補間処理を行うことにより、補正後の可視光情報、非可視光情報、温度情報、付加された物体情報等を補間することができる。これにより、分析精度が向上するだけでなく、交通量のような物体情報が連続的に変化する事象も分析できるようになる。

【0064】

衛星画像３０の1画素当たりの情報が補正され、観測間の情報が補間されることにより、衛星画像３０は最適化・連続化される。結果として、衛星画像３０を都市のような高密集地域の解析や、交通・気候変動分析に役立てることができるようになる。例えば、衛星画像３０の色調の最適化により、つなぎ目の無い衛星画像３０が生成できる。なお、異なる衛星で取得された衛星画像３０でも最適化は可能である。画像解析に適した衛星画像３０が生成される。例えば、衛星画像３０の観測間における状況の変化を、撮像装置２の撮像画像２０で補間して連続化することで、衛星画像３０を動的に評価することができる。

【0065】

ここまでの説明においては、情報処理装置１が独立している。これに限られる訳ではなく、情報処理装置１は、撮像装置２にその一部或いは全部が組み込まれることが可能である。例えば、情報処理装置１の全部が撮像装置２に組み込まれた場合には、衛星画像３０の撮影範囲という広い地域の未来予測とともに撮像装置２の設置されている場所での未来予測を得られるという利点が生まれる。

【0066】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワーク及び記録媒体からインストールされる。このようなプログラムを含む記録媒体は、借り手にプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で借り手に提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態で借り手に提供される記録媒体は、例えば、プログラムが記録されているプログラムメモリ及びハードディスク等で構成される。

【0067】

以上説明した実施形態に係る情報処理装置１、プログラム及び衛星画像補正補間方法によれば以下のような効果が奏される。

【0068】

情報処理装置１は、 撮像装置２によって撮像対象を撮像した撮像画像２０を取得する撮像画像取得部１０１と、撮像画像２０の画素２１に対応付けられる撮像対象の実際の位置を示す実位置４０を取得する実位置取得部１０２と、撮像画像２０の画素２１に関する画素情報２２及び画素付帯情報２３の少なくとも１つを取得する画素情報取得部１０３と、実位置４０に対応する衛星画像３０と画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて観測画像２４を生成する観測画像生成部１０６と、を備える。

【0069】

これにより、観測画像２４は、撮像画像２０の有する情報が加味されて補正される。地上で撮像される撮像画像２０に基づいているので、宇宙空間にある撮像衛星３からでは分からない地上の状態が衛星画像３０に反映される観測画像２４が取得され得る。

【0070】

情報処理装置１の備える観測画像生成部１０６は、衛星画像３０における実位置４０に対応する衛星画像３０を画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて補正した補正画像としての観測画像２４を生成する。

【0071】

これにより、地上で撮像される撮像画像２０に基づいているので、宇宙空間にある撮像衛星３からでは分からない地上の状態を反映するように衛星画像３０を補正することができる。

【0072】

情報処理装置１の備える観測画像生成部１０６は、衛星画像３０と撮像時刻が対応する画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて衛星画像３０を補正し、観測画像２４を生成する。

【0073】

これにより、撮像時刻が同期していることから、任意の時刻における衛星画像３０が地上の情報により補正される。

【0074】

情報処理装置１の備える撮像画像取得部１０１は、画素情報２２として色相、彩度、輝度、可視光及び非可視光の強さの少なくとも１つを取得する手段を有する。

【0075】

衛星画像３０では、空気の透明度、微粒子による光散乱による曇りの影響が出るのに対して地上の撮像装置２ではこれらの影響が少ない。より鮮明で実際に即した光学的特性を反映した衛星画像３０が実現される。また、非可視光の情報により衛星画像３０では得られない夜の状況を補完することができる。

【0076】

情報処理装置１の備える撮像画像取得部１０１は、画素付帯情報２３として、撮像時の気候情報、被撮像物の物体情報、撮像の解像度の少なくとも１つを取得する手段を有す。

【0077】

撮影時の気候情報を入れることにより、薄曇りの日の衛星画像３０と快晴の日の衛星画像３０とを互いに補正して比較できる、或いは、天候に関係のない事象の変化を天候による光学的変化に依存せずに検出することができる。車両、建造物、植物などの物体情報を加味することで、衛星画像３０に写る領域の状態を的確に把握することができる。解像度情報があることにより、衛星画像３０での解像度に比べて撮像画像２０の解像度が高い領域の撮像画像２０を衛星画像３０に取り込むことで、衛星画像３０の解像度を上げることができる。

【0078】

情報処理装置１において、観測画像２４の衛星画像３０に対する補正は、色調の補正、分解能の向上、解像度の向上、バンド間で離散しているスペクトル強度の補間、の少なくとも１つを含む。

【0079】

情報処理装置１の有する観測画像生成部１０６は、位置が隣り合う位置関係にあるとともに実位置４０に対応する第１衛星画像３０－１及び第２衛星画像３０－２を取得し、第１衛星画像３０－１と第２衛星画像３０－２と画素情報２２及び画素付帯情報２３の少なくとも１つとに基づいて第１衛星画像３０－１と第２衛星画像３０－２の間に位置する補間画像としての観測画像２４を生成する。

【0080】

これにより、隣り合う衛星画像３０の境界の不連続性を緩和することができる。特に、空気の散乱等の影響を受けない本来の光学的特性を反映した境界のない衛星画像３０を実現することができる。

【0081】

また、本実施形態の情報処理装置１は、時間的に変化する衛星画像３０について、実位置４０に対応する画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて、補間画像としての観測画像２４を生成する。

【0082】

撮像衛星３は広範囲を走査して撮影することが一般的で同一地点を撮影する間隙は例えば５分と長い。地上に固定されている撮像装置２は典型的には監視カメラであり、撮影間隔は例えば１／３０秒と、撮像衛星３の５分と比較すると１５０倍の時間的解像度がある。撮像衛星３で撮影できなかった時刻の撮像画像２０で衛星画像３０を補間することで、時間的な解像度が向上する。

【0083】

情報処理装置１は、過去に取得した複数の衛星画像３０と、過去から現在までに取得した画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて現在及び未来の少なくとも１つの観測画像２４を生成する。

【0084】

宇宙空間からでは観測不可能な気候要因、季節要因、時刻要因、地域性等を加味して、より精度の高い衛星画像３０である観測画像２４が得られる。

【0085】

また、本実施形態のプログラムは、撮像装置２によって撮像対象を撮像した撮像画像２０を取得する撮像画像取得機能と、撮像画像２０の画素２１に対応付けられる撮像対象の実際の位置を示す実位置４０を取得する実位置取得機能と、撮像画像２０の画素２１に関する画素情報２２及び画素付帯情報２３の少なくとも１つを取得する画素情報取得機能と、実位置４０に対応する衛星画像３０と画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて観測画像２４を生成する観測画像生成機能と、をコンピュータに実行させる。

【0086】

また、本実施形態の衛星画像補正方法は、撮像装置２によって撮像対象を撮像した撮像画像２０を取得する撮像画像取得ステップと、撮像画像２０の画素２１に対応付けられる撮像対象の実際の位置を示す実位置４０を取得する実位置取得ステップと、撮像画像２０の画素２１に関する画素情報２２及び画素付帯情報２３の少なくとも１つを取得する画素情報取得ステップと、実位置４０に対応する衛星画像３０と画素情報２２及び画素付帯情報２３の少なくとも１つに基づいて観測画像２４を生成する観測画像生成ステップと、を含む。

【0087】

このプログラム及び方法により、観測画像２４は、撮像画像２０の有する情報が加味されて補正される。地上で撮像される撮像画像２０に基づいているので、宇宙空間にある撮像衛星３からでは分からない地上の環境が加味され、衛星画像３０の質が向上する。

【0088】

以上、本発明の実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。例えば、上述の各実施形態の一部の機能的構成を省略したり、別の機能的構成を組み合わせたりすることもできる。

【符号の説明】

【0089】

１ 情報処理装置
２ 撮像装置
３ 撮像衛星
７ 通信回線
１８ 情報処理装置用通信装置
２５ 測位装置
２６ 姿勢制御装置
２７ 撮像装置用通信装置
４１ 測位衛星

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】