(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023103771
(43)【公開日】2023-07-27
(54)【発明の名称】画像処理装置、画像処理プログラムおよび画像処理方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20230720BHJP
G06T 5/50 20060101ALI20230720BHJP
【ＦＩ】
G06T1/00 285
G06T5/50
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022004486
(22)【出願日】2022-01-14
(71)【出願人】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】100102716
【弁理士】
【氏名又は名称】在原 元司
(74)【代理人】
【識別番号】100122275
【弁理士】
【氏名又は名称】竹居 信利
(72)【発明者】
【氏名】望月 貫一郎
(72)【発明者】
【氏名】榊原 庸貴
(72)【発明者】
【氏名】長谷川 大輔
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA14
5B057BA02
5B057BA08
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE11
5B057DA16
5B057DB02
5B057DB09
5B057DC32
5B057DC40
(57)【要約】
【課題】夜間光を正確に解析できる可視光画像を多大な労力を要せずに生成することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供する。
【解決手段】上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部１２、を備えることを特徴とする画像処理装置。
【選択図】図１
【解決手段】上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部１２、を備えることを特徴とする画像処理装置。
【選択図】図１
【特許請求の範囲】
【請求項1】
上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部、
を備えることを特徴とする画像処理装置。
を備えることを特徴とする画像処理装置。
【請求項2】
上空から前記対象地域を夜間に撮影した温度画像の時系列である時系列温度画像を記憶する記憶部と、
前記局所領域ごとに、前記時系列温度画像の画素値の代表値の時系列を第一の周期関数にて近似する温度画像処理部と、
を更に有し、
前記可視光画像処理部は、前記局所領域ごとに、前記可視光画像の撮影日時に撮影した温度画像の画素値の代表値を前記第一の周期関数における前記可視光画像の前記撮影日時での値と比較した結果に応じた処理を前記可視光画像の画素値に対して行って前記処理済み画像を生成する、請求項１に記載の画像処理装置。
前記局所領域ごとに、前記時系列温度画像の画素値の代表値の時系列を第一の周期関数にて近似する温度画像処理部と、
を更に有し、
前記可視光画像処理部は、前記局所領域ごとに、前記可視光画像の撮影日時に撮影した温度画像の画素値の代表値を前記第一の周期関数における前記可視光画像の前記撮影日時での値と比較した結果に応じた処理を前記可視光画像の画素値に対して行って前記処理済み画像を生成する、請求項１に記載の画像処理装置。
【請求項3】
前記可視光画像処理部は、前記可視光画像の前記局所領域のうちの前記温度画像の画素値の代表値が前記第一の周期関数の値よりも所定値以上低い局所領域をマスク処理して前記処理済み画像を生成する、請求項２に記載の画像処理装置。
【請求項4】
前記記憶部は、上空から前記対象地域を夜間に同時撮影した可視光画像と温度画像からなる画像対の時系列である時系列画像対を記憶し、
前記可視光画像処理部は、前記時系列画像対に含まれる可視光画像それぞれの前記局所領域ごとに当該可視光画像と前記画像対をなす温度画像の画素値の代表値に応じた処理を行った前記処理済み画像の時系列を用いて標準夜間光画像を生成する、請求項１または請求項２に記載の画像処理装置。
前記可視光画像処理部は、前記時系列画像対に含まれる可視光画像それぞれの前記局所領域ごとに当該可視光画像と前記画像対をなす温度画像の画素値の代表値に応じた処理を行った前記処理済み画像の時系列を用いて標準夜間光画像を生成する、請求項１または請求項２に記載の画像処理装置。
【請求項5】
前記可視光画像処理部は、前記可視光画像の前記局所領域のうちの前記温度画像の画素値の代表値が前記第一の周期関数の値よりも所定値以上低い局所領域における前記可視光画像の画素値の代表値を除外した前記処理済み画像の時系列を用いて前記標準夜間光画像を生成する、請求項４に記載の画像処理装置。
【請求項6】
前記可視光画像処理部は、前記処理済み画像の前記局所領域ごとに、前記処理済み画像の画素値の代表値の時系列を第二の周期関数にて近似した近似値から画素値の代表値の標準偏差を減じて前記標準夜間光画像を生成する、請求項４または請求項５に記載の画像処理装置。
【請求項7】
前記可視光画像処理部は、前記処理済み画像の前記局所領域ごとに、前記処理済み画像の画素値の代表値の時系列を第三の周期関数にて近似するとともに、当該時系列に複数の区間を設定し、前記区間それぞれについて画素値の代表値の標準偏差を算出して前記第三の周期関数から当該標準偏差を減じて区間近似値を算出し、前記複数の区間についての前記区間近似値を第四の周期関数にて近似して前記標準夜間光画像を生成する、請求項４または請求項５に記載の画像処理装置。
【請求項8】
前記可視光画像処理部は、前記可視光画像または前記処理済み画像を前記標準夜間光画像と比較して前記対象地域における夜間光の変化を検出する、請求項４から請求項７のいずれか一項に記載の画像処理装置。
【請求項9】
コンピュータを、
上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部、
として機能させることを特徴とする画像処理プログラム。
上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部、
として機能させることを特徴とする画像処理プログラム。
【請求項10】
上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【0002】
衛星から地表面を観測し、様々な情報を得る試みが行われている。例えば、ＶＩＩＲＳ（Visible Infrared Imager and Radiometer Suite）センサ等を用いて夜間において取得した可視光画像（夜間光画像）から、地上の夜間光が変化している箇所を特定し、人間の活動状況、災害発生時の被災状況、その後の復興状況等を解析することが考えられる。夜間光画像を用いることにより、昼間に多く見られる外乱光の影響を避けることができる。
【0003】
この場合、取得した夜間光画像に雲が写り込んでいると、雲により地上の明かりが遮断または減光されてしまうため、人間の活動状況や被災の状況、その後の復興状況等の変化を正確に把握することができないという問題があった。このため、雲の影響を除去する必要があるが、従来は、撮影された夜間光画像を人間が目視確認し、過去に取得した衛星画像の中から雲の無い画像を選択して、これと比較することにより、夜間光画像から雲の領域を除外していた。このため、夜間光画像の処理には多大な時間を要していた。
【0004】
例えば、非特許文献１には、ＶＩＩＲＳセンサ等で取得される夜間光画像が雲の影響を強く受けることに鑑み、画素毎に１年間や１ヶ月間のうち雲の影響が無い日の観測の平均値などを計算して、１年間や１ヶ月間の観測値として集約することで、年別・月別の雲無し夜間光画像を作成することが記載されている。
【0005】
しかし、「雲の影響が無い日」を選択するために、夜間光画像の目視確認が必要となる。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】復興状況を人工衛星からモニタリング！ 北海道地震後の夜間光から確認してみた（https://sorabatake.jp/10526/）
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、夜間光を正確に解析できる可視光画像を多大な労力を要せずに生成することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明は以下の実施形態を含む。
【0009】
［１］上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部、を備えることを特徴とする画像処理装置。
【0010】
［２］上空から前記対象地域を夜間に撮影した温度画像の時系列である時系列温度画像を記憶する記憶部と、前記局所領域ごとに、前記時系列温度画像の画素値の代表値の時系列を第一の周期関数にて近似する温度画像処理部と、を更に有し、前記可視光画像処理部は、前記局所領域ごとに、前記可視光画像の撮影日時に撮影した温度画像の画素値の代表値を前記第一の周期関数における前記可視光画像の前記撮影日時での値と比較した結果に応じた処理を前記可視光画像の画素値に対して行って前記処理済み画像を生成する、［１］に記載の画像処理装置。
【0011】
［３］前記可視光画像処理部は、前記可視光画像の前記局所領域のうちの前記温度画像の画素値の代表値が前記第一の周期関数の値よりも所定値以上低い局所領域をマスク処理して前記処理済み画像を生成する、［２］に記載の画像処理装置。
【0012】
［４］前記記憶部は、上空から前記対象地域を夜間に同時撮影した可視光画像と温度画像からなる画像対の時系列である時系列画像対を記憶し、前記可視光画像処理部は、前記時系列画像対に含まれる可視光画像それぞれの前記局所領域ごとに当該可視光画像と前記画像対をなす温度画像の画素値の代表値に応じた処理を行った前記処理済み画像の時系列を用いて標準夜間光画像を生成する、［１］または［２］に記載の画像処理装置。
【0013】
［５］前記可視光画像処理部は、前記可視光画像の前記局所領域のうちの前記温度画像の画素値の代表値が前記第一の周期関数の値よりも所定値以上低い局所領域における前記可視光画像の画素値の代表値を除外した前記処理済み画像の時系列を用いて標準夜間光画像を生成する、［４］に記載の画像処理装置。
【0014】
［６］前記可視光画像処理部は、前記処理済み画像の前記局所領域ごとに、前記処理済み画像の画素値の代表値の時系列を第二の周期関数にて近似した近似値から画素値の代表値の標準偏差を減じて前記標準夜間光画像を生成する、［４］または［５］に記載の画像処理装置。
【0015】
［７］前記可視光画像処理部は、前記処理済み画像の前記局所領域ごとに、前記処理済み画像の画素値の代表値の時系列を第三の周期関数にて近似するとともに、当該時系列に複数の区間を設定し、前記区間それぞれについて画素値の代表値の標準偏差を算出して前記第三の周期関数から当該標準偏差を減じて区間近似値を算出し、前記複数の区間についての前記区間近似値を第四の周期関数にて近似して前記標準夜間光画像を生成する、［４］または［５］に記載の画像処理装置。
【0016】
［８］前記可視光画像処理部は、前記可視光画像または前記処理済み画像を前記標準夜間光画像と比較して前記対象地域における夜間光の変化を検出する、［４］から［７］のいずれか一に記載の画像処理装置。
【0017】
［９］コンピュータを、上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成する可視光画像処理部、として機能させることを特徴とする画像処理プログラム。
【0018】
［１０］上空から対象地域を夜間に撮影した可視光画像の局所領域ごとに、上空から前記対象地域を前記可視光画像の撮影日時に撮影した温度画像における当該局所領域の画素値の代表値に応じた処理を行って処理済み画像を生成することを特徴とする画像処理方法。
【発明の効果】
【0019】
本発明によれば、人工衛星に搭載したセンサ等により上空から夜間に取得した温度画像および可視光画像を併用し、温度画像の画素の代表値に応じて可視光画像を処理することにより、夜間光を正確に解析できる可視光画像を多大な労力を要せずに生成することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供できる。
【図面の簡単な説明】
【0020】
【図1】実施形態にかかる画像処理装置の例の機能ブロック図である。
【図2】実施形態にかかる温度画像処理部による時系列温度画像の関数近似処理の説明図である。
【図3】実施形態にかかる雲処理済み夜間光画像の生成処理の例の説明図である。
【図4】実施形態にかかる標準夜間光画像生成部が生成する標準夜間光画像の説明図である。
【図5】実施形態にかかる変化検出部の変化検出処理の説明図である。
【図6】実施形態にかかる画像処理装置の動作例のフロー図である
【発明を実施するための形態】
【0021】
以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。
【0022】
図１には、実施形態にかかる画像処理装置１００の例の機能ブロック図が示される。画像処理装置１００は、通信部２２、記憶部２４およびＣＰＵ２６を含み、装置全体の制御および各種演算を行うコンピュータとして構成されている。ＣＰＵ２６はＣＰＵ以外にＧＰＵ等のアクセラレーターを含んでいてもよい。
【0023】
ＣＰＵ２６は、温度画像処理部１０、可視光画像処理部１２および表示制御部２０等として機能し、可視光画像処理部１２は雲処理済み夜間光画像生成部１４、標準夜間光画像生成部１６、変化検出部１８としての機能を含む。上記各機能は例えばＣＰＵ２６とＣＰＵ２６の処理動作を制御するプログラムとにより実現される。
【0024】
通信部２２は、適宜なインターフェースにより構成され、外部のサーバ等から画像等のデータを取得し、記憶部２４に記憶させる等の処理を実行する。
【0025】
記憶部２４は、ハードディスク装置、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリで構成され、各種データ、およびＣＰＵ２６を動作させるためのプログラム等の、画像処理装置１００が行う各処理に必要な情報を記憶する。なお、記憶部２４としては、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書き換え可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。また、記憶部２４には、主としてＣＰＵ２６の作業領域として機能するランダムアクセスメモリ（ＲＡＭ）、およびＢＩＯＳ等の制御プログラムその他のＣＰＵ２６が使用するデータが格納される読み出し専用メモリ（ＲＯＭ）を含めるのが好適である。
【0026】
本実施形態においては、通信部２２が取得して記憶部２４が記憶するデータには、人工衛星により上空から対象地域を夜間にＶＩＩＲＳセンサ等で撮影した可視光画像（夜間光画像）の時系列および当該可視光画像それぞれの撮影日時に同じ対象地域を人工衛星により上空からＶＩＩＲＳセンサ等で撮影した温度画像の時系列が含まれる。すなわち通信部２２は同時撮影した可視光画像と温度画像の画像対からなる時系列画像対を外部のサーバ等から取得し、各画像の撮影日時に対応付けて記憶部２４に記憶させる。この時系列画像対は例えば過去３年間において定期的に撮影されたものとすることができる。なお、可視光画像の時系列を時系列可視光画像とも呼び、温度画像の時系列を時系列温度画像とも呼ぶ。
【0027】
ここで、可視光画像の撮影日時に撮影した温度画像、または同時撮影した可視光画像と温度画像の画像対という場合の撮影日時は、当該可視光画像と当該温度画像の撮影日時が同一、または当該可視光画像と当該温度画像の撮影日時の間の時間差が雲の状態が同じであるとみなせる範囲内であることを意味する。
【0028】
温度画像処理部１０は、記憶部２４に記憶された一または複数の温度画像を読み出し、読み出した温度画像それぞれの画素または連続する複数画素領域ごとに、当該温度画像の撮影日時における当該温度画像の画素値の代表値を求めて代表値に応じた雲の存在状態を判定する。具体的な判定処理は後述する。
【0029】
ここで、「連続する複数画素領域」とは、当該領域に含まれる全ての画素が、当該領域内の１つ以上の画素と接していることを言い、例えば、直線状領域、矩形領域等が含まれ、典型的には画像を一定の大きさの正方形に分割したメッシュ等が挙げられる。以下、ひとつの画素または連続する複数画素で構成される領域を局所領域とも呼ぶ。
【0030】
また、「画素値の代表値」とは、一つの画素の場合には、当該画素の値であり、複数画素領域の場合には、領域中の画素値の最大値、平均値、中央値等、複数画素領域を代表する値として予め決められた種類の値である。
【0031】
温度画像の画素値にはＶＩＩＲＳセンサ等により測定された温度が含まれ、上記画素値の代表値は温度である。
【0032】
本実施形態においては、温度画像処理部１０は、各局所領域に対応する空間における状態が、地表面や海面が雲に覆われていない状態、薄い雲に覆われている状態、および厚い雲に覆われている状態の３レベルのいずれであるかを判定する。これらの各状態を「雲なし」、「薄雲あり」および「厚雲あり」と呼び、雲なしと判定された局所領域またはその局所領域の集まりを「雲なし領域」、薄雲ありと判定された局所領域またはその局所領域の集まりを「薄雲領域」、厚雲ありと判定された局所領域またはその局所領域の集まりを「厚雲領域」と呼ぶ。また、上記空間における状態の、「雲なし」、「薄雲あり」および「厚雲あり」の３レベルへの分類を雲レベルと呼び、各雲レベルを表す値は例えば１，２，３というように予め定められている。温度画像処理部１０は、局所領域ごとの雲レベルを表す値を当該局所領域に対応する画素の画素値として設定した雲レベル画像を判定結果として生成する。
【0033】
また、本実施形態においては、温度画像処理部１０は、時系列画像対を構成する時系列温度画像の全てに対する雲レベル画像を生成して、生成した各雲レベル画像をその元となった温度画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0034】
可視光画像処理部１２は、温度画像の画素値の代表値に応じて温度画像の局所領域に対応する可視光画像の局所領域に対する処理が変更された処理済み画像を生成する。
【0035】
ここで、可視光画像における「対応する画素」とは、温度画像の画素と同じ位置を表す（同じ空間座標を有する）画素をいい、可視光画像における「対応する局所領域」とは、当該局所領域の位置を表す代表空間座標が温度画像の局所領域の位置を表す代表空間座標と同じ場合をいう。
【0036】
ここで、可視光画像の画素値にはＶＩＩＲＳセンサ等により撮影された輝度が含まれ、上記画素値の代表値は輝度である。
【0037】
人工衛星から可視光画像を撮影した場合、最も近い物体からの可視光が測定されるので、可視光の画素値は、晴天の場合は地表面や海面からの可視光の輝度、曇天または雨天の場合は雲の最上層部からの可視光の輝度となる。そのため、夜間に雲がない領域では地上や海上の明かりが撮影され、夜間に地表面や海面が雲に覆われている曇天または雨天の場合、厚雲により地上や海上の明かりが遮られ、薄雲により地上や海上の明かりが散乱される。
【0038】
本実施形態においては、可視光画像処理部１２は、温度画像処理部１０が判定した雲レベルを参照して局所領域に対する処理を決める。すなわち、可視光画像処理部１２は、記憶部２４に記憶された一または複数の可視光画像と当該可視光画像のそれぞれと画像対をなす温度画像から生成された雲レベル画像とを読み出し、各可視光画像の局所領域に対して当該局所領域の雲レベルに応じた処理を行って、各可視光画像から処理済み画像を生成する。
【0039】
例えば、可視光画像処理部１２は、雲処理済み夜間光画像生成部１４として機能する場合、表示用の処理済み画像として、雲なし領域に元の可視光画像を設定し、薄雲領域に予め定めた色を透過合成し、厚雲領域に予め定めた別の色でマスク処理を施して雲処理済み夜間光画像を生成する。ここでマスク処理とは処理対象となる領域の画素に所定画素値を設定する処理である。マスク処理により処理対象の領域は上記所定画素値が表す色で塗りつぶされる。このような雲処理済み夜間光画像を生成することで、表示された当該画像を目視確認する利用者が、雲の影響なく夜間光が撮影できた雲なし領域と、薄い雲により夜間光が散乱している場合のある薄雲領域と、厚い雲に覆われて夜間光が撮影できなかった厚雲領域とを区別して確認することができる。
【0040】
また、例えば、可視光画像処理部１２は、標準夜間光画像生成部１６として機能する場合、ある時点の標準的な夜間光を表す標準夜間光画像を複数時点の処理済み画像から生成する。例えば、標準夜間光画像生成部１６は、時系列可視光画像を構成する各可視光画像の薄雲領域について雲がない場合に見えるであろう地表面や海面の可視光画像を推定する処理を学習した人工知能により雲の無い可視光画像を推定し（以下、雲除去処理と呼ぶ）、局所領域ごとに、厚雲ありと判定された可視光画像の画素値の代表値を除外して、雲なしの可視光画像の画素値の代表値と薄雲ありと判定された可視光画像（上記雲除去処理後の可視光画像）の画素値の代表値とからなる代表値の時系列を用いて近似関数を算出し、上記近似関数の値を画素値とする標準夜間光画像の時系列を生成する。このようにすることで、雲の影響を排した高精度な標準夜間光画像を生成できる。
【0041】
また、例えば、可視光画像処理部１２は、変化検出部１８として機能する場合、任意時点の処理済み画像の画素値を、当該時点のものとして生成された標準夜間光画像の画素値から差し引いた値を画素値とする差分画像である検出画像または差分画像を加工した検出画像を生成する（差分処理）。この検出画像は夜間光の変化を表す画像である。なお、上記「差分画像を加工する」とは、後述するマスク処理及び差分値のレベル分け処理等を行うことをいう。
【0042】
その際、変化検出部１８は、例えば、可視光画像における薄雲領域に標準夜間光画像生成部１６の説明にて上述した雲除去処理を行って処理済み画像を生成する。この処理済み画像を現夜間光画像と呼ぶ。このようにすることで、薄雲領域について雲の影響を除外した高精度な変化検出が可能となる。
【0043】
また、変化検出部１８は、例えば、可視光画像において厚雲ありと判定された局所領域をマスク処理して処理済み画像（現夜間光画像）を生成する。このようにすることで、夜間光の変化が不明である厚雲領域を明示的に示すことができる。
【0044】
また、本実施形態においては、可視光画像処理部１２は、時系列画像対を構成する時系列可視光画像の全てに対して処理済み画像を生成して、生成した処理済み画像をその元となった可視光画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0045】
表示制御部２０は、雲レベル画像、雲処理済み夜間光画像、標準夜間光画像、夜間光の変化を表す検出画像等を記憶部２４から読み出し、液晶表示装置その他の適宜な表示装置を制御して表示する。
【0046】
温度画像処理部１０が行う温度画像処理を、図２を参照して説明する。
【0047】
人工衛星から温度画像を撮影した場合、最も近い物体の温度が測定されるので、晴天の場合は地表面や海面の温度、曇天または雨天の場合は雲の最上層部の温度となる。そのため、地表面や海面が雲に覆われている曇天または雨天の場合には雲の無い晴天時の地表面や海面の温度よりも低い温度が測定される。温度画像処理部１０はこのことを利用して雲レベルを判定する。すなわち、温度画像処理部１０は過去の複数の温度画像から雲の有無の弁別基準となる温度を推定し、当該温度を基にして雲レベルを判定する。この弁別基準となる温度を雲限界値と呼ぶ。雲限界値は局所領域ごとに推定し、雲限界値を各画素の画素値として設定した画像を雲限界画像と呼ぶ。
【0048】
本実施形態において、温度画像処理部１０は、地表面や海面の温度が春、夏（高温）、秋、冬（低温）と季節により周期的に変動することに対応するために、温度画像の画素値の代表値の時系列を関数近似して近似値を基に雲限界値を推定する。また、雲限界値の推定精度を高めるために複数年の同じ季節の温度画像を関数近似して近似値を求める。
【0049】
まず、温度画像処理部１０は、記憶部２４から時系列温度画像を読み出し、局所領域ごとに、温度画像の画素値の代表値と撮影日時の年を無視した日時の組からなる年間データを生成する。
【0050】
図２には、温度画像処理部１０による周期関数を用いた関数近似処理の説明図が示される。図２の例において、横軸は日時であり、縦軸は温度である。図２の例に示された各点は、３年間の各温度画像の或る局所領域についての画素値の代表値すなわち対象地域内の或る地点での温度の測定結果を表しており、温度測定結果を１年間で折り返して重畳表示している。対象地域内の別の地点についても同様に温度の測定結果の年間データが生成される。
【0051】
次に、温度画像処理部１０は、局所領域ごとに、温度画像の画素値の代表値の年間データに対して回帰分析を行う等の方法で近似関数を求める。近似関数として周期関数である正弦関数（sin)や余弦関数（cos)などの三角関数を用いて、年間の気温変動を近似することが好ましい。この周期関数は本発明における第一の周期関数である。
【0052】
また、このとき、外れ値を除外して近似関数を求めることが望ましい。具体的には、温度画像処理部１０は、まず局所領域ごとに、年間データ全てを用いた近似関数Ｔを求めるとともに年間データ全てを用いた標本標準偏差σＴを算出して年間データから（Ｔ±２σＴ）の範囲外である代表値（外れ値）を除外し、近似関数Ｔに対する外れ値を除外した年間データの決定係数Ｒ２を算出し、その変化量を予め定めた基準値と比較する。基準値としては、例えば小数点以下３桁（０．００１）を用いることができる。次に、温度画像処理部１０は、局所領域ごとに、決定係数Ｒ２の変化量が基準値以上であれば、外れ値を除外した年間データに対する近似を行って近似関数Ｔを更新するとともに外れ値を除外した年間データを用いて標本標準偏差σＴを算出し直して年間データから更新後の（Ｔ±２σＴ）の範囲外である外れ値を更に除外し、近似関数Ｔに対する外れ値を除外した年間データの決定係数Ｒ２を算出してその変化量を基準値と比較する、という処理を決定係数Ｒ２の変化量が基準値未満となるか、または更新回数が予め定めた上限回数に達するまで繰り返す。温度画像処理部１０は、局所領域ごとに、繰り返し処理が終了した時点の近似関数Ｔと標本標準偏差σＴを記憶部２４に記憶させる。
【0053】
図２の例では、正弦関数を用い、外れ値を除外した年間データを近似した近似関数が曲線Ｔで示されている。
【0054】
続いて、温度画像処理部１０は、時系列温度画像を構成する温度画像それぞれについて、局所領域ごとに、近似関数Ｔにおける当該温度画像の撮影日時の値（図２の例では撮影日時の年を無視した日付での曲線Ｔが示す温度）から標本標準偏差σＴに応じた値を減じて雲限界値（Ｔ－α・σＴ）を算出する。ただしαは定数であり、予めの実験を通じて雲限界値が薄雲ありの場合の代表値の上限値付近となるようなαを設定しておく。温度画像処理部１０は、各温度画像について、局所領域ごとの雲限界値を当該局所領域内の画素の画素値に設定した雲限界画像を生成し、雲限界画像を当該温度画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0055】
続いて、温度画像処理部１０は、時系列温度画像を構成する温度画像それぞれについて、当該温度画像の撮影日時と同一の日時における雲限界画像との差分を求める。この場合、差分は同じ空間座標を表す局所領域の間で、（温度画像の画素値の代表値－雲限界画像の画素値）として求める。
【0056】
そして、温度画像処理部１０は、時系列温度画像を構成する温度画像それぞれについて、上記のように求めた差分値が予め定めた薄雲閾値以上である局所領域の雲レベルを雲なしと判定し、差分値が薄雲閾値未満であり且つ予め定めた厚雲閾値以上である局所領域の雲レベルを薄雲ありと判定し、差分値が厚雲閾値未満である局所領域の雲レベルを厚雲ありと判定する。ただし、薄雲閾値＞厚雲閾値であり、薄雲閾値は例えば０に設定され、厚雲閾値は例えば雲除去処理が有効な差分値の上限値として予めの実験を通じて設定される。温度画像処理部１０は、各温度画像について、局所領域ごとの雲レベルに応じた値を当該局所領域内の画素の画素値に設定した雲レベル画像を生成し、雲レベル画像を当該温度画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0057】
上記雲レベルの判定は、温度画像の画素値の代表値が、少なくとも雲限界画像の画素値と薄雲閾値との和よりも低くなっている局所領域を雲に覆われている領域と判定することを意味する。本例では薄雲閾値が０であるため、図２に示された曲線Ｔに基づいて定めた雲限界値よりも低い温度が測定された場合、その日時において測定が行われた局所領域が表す位置には雲が発生していたことがわかる。
【0058】
可視光画像処理部１２の機能の一つである雲処理済み夜間光画像生成部１４が行う雲処理済み夜間光画像生成処理を、図３を参照して説明する。
【0059】
まず、雲処理済み夜間光画像生成部１４は、記憶部２４から時系列可視光画像および雲レベル画像を読み出す。次に、雲処理済み夜間光画像生成部１４は、時系列可視光画像を構成する可視光画像それぞれについて、当該可視光画像と同じ撮影日時に対応付けられた雲レベル画像を参照して薄雲領域および厚雲領域を特定し、薄雲領域の画素値に例えば赤を透過合成し、厚雲領域の画素値を例えば薄紫色で置換するマスク処理を行って雲処理済み夜間光画像を生成する。そして、雲処理済み夜間光画像生成部１４は生成した雲処理済み夜間光画像それぞれを元になった可視光画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0060】
図３（ａ）、（ｂ）、（ｃ）には、雲処理済み夜間光画像の生成処理の例の説明図が示される。図３（ａ）は温度画像処理部１０が生成した雲限界画像であり、図３（ｂ）は図３（ａ）の雲限界画像の元になった温度画像であり、図３（ｃ）は雲処理済み夜間光画像生成部１４が生成した雲処理済み夜間光画像を模式的に示したものである。図３（ｃ）の右中央の右下がり斜線領域は、雲限界値よりも温度が高い（図３（ａ）の画素値より図３（ｂ）の画素値の方がやや白い）薄雲領域に透過合成した様子を示している。また、図３（ｃ）の左上の右上がり斜線領域は、雲限界値よりも更に温度が低い（図３（ａ）の画素値より図３（ｂ）の画素値の方がかなり白い）厚雲領域を塗りつぶした様子を示している。
【0061】
表示された雲処理済み夜間光画像を見た利用者は、雲の影響なく夜間光が撮影できた雲なし領域と、薄い雲により夜間光が散乱している場合のある薄雲領域と、厚い雲に覆われて夜間光が撮影できなかった厚雲領域とを区別して確認することができる。
【0062】
可視光画像処理部１２の他の機能である標準夜間光画像生成部１６が行う標準夜間光画像生成処理を、図４を参照して説明する。
【0063】
標準夜間光画像は、可視光画像（夜間光画像）を基にして生成される。標準夜間光画像は、対象地域ごとの、更には局所領域ごとの、標準的な夜間光を表す画像であり、停電や施設増減などによる夜間光の変化を検出するための基礎になる画像である。夜間光（計測輝度）は、場所すなわち局所領域によって当然に異なるが、対象地域によって季節変動の有無やその程度の違いがあるため、過去一定期間における計測輝度の時系列を対象地域の地域特性に合った関数で近似し、局所領域毎に求めた当該近似関数の値を画素値として標準夜間光画像を定めることが望ましい。また、同一局所領域の夜間光であっても揺らぎがあるため（大気状態などの影響と思われる）、局所領域ごとの過去一定期間における計測輝度の分布のばらつきを考慮し、標準夜間光画像としては、局所領域ごとの計測輝度の標本標準偏差σＩを減じた値（近似関数Ｉ－σＩ）を画素値とした画像とすることが望ましい。
【0064】
また、標準夜間光画像の元になる可視光画像は、夜間光が正しく撮影されていない厚雲領域を除外して用いることが望ましく、夜間光が雲により散乱している薄雲領域について雲除去処理を行ってから用いることが望ましい。厚雲領域を除外する処理を行い、および薄雲領域について雲除去処理を行った可視光画像は、処理済み画像である。
【0065】
まず、標準夜間光画像生成部１６は、記憶部２４から時系列可視光画像および雲レベル画像を読み出す。
【0066】
次に、標準夜間光画像生成部１６は、時系列可視光画像を構成する可視光画像それぞれについて、当該可視光画像と同じ撮影日時に対応付けられた雲レベル画像を参照して薄雲領域を特定し、薄雲領域に雲除去処理を行う。具体的には、標準夜間光画像生成部１６は、雲除去処理を予め学習した学習済みモデルに薄雲領域の画像を入力して出力される画像で薄雲領域の画像を置換することにより行われる。学習済みモデルは、例えば、予め、それぞれが薄雲領域の可視光画像と当該薄雲領域と同じ局所領域が雲無し領域であり且つ撮影日時が近い可視光画像とからなる多数の画像対を学習用データとして用意し、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）としてモデル化された学習モデルに学習用データの画像対のうちの薄雲領域の可視光画像を入力した場合の出力が、学習用データの画像対のうちの雲無し領域の可視光画像に近づくように学習モデルのパラメータを更新する深層学習によって作成しておくことができる。
【0067】
続いて、標準夜間光画像生成部１６は、局所領域ごとに、当該局所領域が雲なし領域および雲除去処理後の薄雲領域である処理済み画像の画素値の代表値と撮影日時の年を無視した日時の組からなる年間データを生成する。
【0068】
図４（ａ）、（ｂ）には、標準夜間光画像生成部１６が生成する標準夜間光画像の説明図が示される。図４の例において、横軸は日時であり、縦軸は輝度である。図４の例に示された各点は、３年間の各可視光画像の或る局所領域についての画素値の代表値すなわち対象地域内の或る地点での夜間光の測定結果（計測輝度）を表しており、夜間光測定結果を１年間で折り返して重畳表示している。ただし厚雲領域の測定結果は除外されている。対象地域内の別の地点についても同様に夜間光の測定結果の年間データが生成される。
【0069】
次に、標準夜間光画像生成部１６は、局所領域ごとに、処理済み画像の画素値の代表値の年間データに対して回帰分析を行う等の方法で近似関数を求める。以下、近似関数について４例を説明する。
【0070】
１例目は直線近似である。夜間光の変動が年間を通じて少ない対象地域については、近似関数は、一定期間の平均値からなる傾き０の直線とすることができる。積雪が殆どない対象地域がその例である。図４（ａ）には近似関数を直線とした場合の例が示されている。標準夜間光画像生成部１６は、局所領域ごとに、処理済み画像の画素値の代表値の年間データに対する近似直線Ｉ１を算出するとともに可視光画像の画素値の代表値の標本標準偏差σＩ１を算出し、近似直線Ｉ１から標本標準偏差σＩ１だけ減じた近似関数（Ｉ１－σＩ１）を算出する。次に、標準夜間光画像生成部１６は、各局所領域の近似関数（Ｉ１－σＩ１）において時系列可視光画像を構成する可視光画像それぞれの撮影日時から年を無視した日時おける近似関数（Ｉ１－σＩ１）の値を画素値に設定した標準夜間光画像を生成し、撮影日時と対応付けて記憶部２４に記憶させる。
【0071】
他方、夜間光の季節変動がある対象地域については、近似関数として、周期関数である正弦関数（sin)や余弦関数（cos)などの三角関数を用いるのが好適である。図４（ｂ）には近似関数を正弦関数とした場合の例が示されている。以下、正弦関数を使用した近似関数の２例目から４例目について説明する。
【0072】
２例目は三角関数を用いた１年の近似である。季節変動の偏りが小さめの対象地域に適する。標準夜間光画像生成部１６は、局所領域ごとに、処理済み画像の画素値の代表値の年間データを近似した三角関数Ｉ２を算出するとともに、可視光画像の画素値の代表値の年間データの標本標準偏差σＩ２を算出し、三角関数Ｉ２から標本標準偏差σＩ２だけ減じた近似関数（Ｉ２－σＩ２、図示せず）を算出する。この２例目における三角関数Ｉ２は本発明における第二の周期関数の例である。次に、標準夜間光画像生成部１６は、各局所領域の近似関数（Ｉ２－σＩ２）において時系列可視光画像を構成する可視光画像それぞれの撮影日時から年を無視した日時の値を画素値に設定した標準夜間光画像を生成し、撮影日時と対応付けて記憶部２４に記憶させる。
【0073】
３例目は三角関数を用いて１年よりも短い区間に分けて行う近似である。積雪による雪明りが生じるなど、季節変動の偏りが大きめの対象地域に適する。標準夜間光画像生成部１６は、局所領域ごとに、処理済み画像の画素値の代表値の年間データを近似した三角関数Ｉ２を算出するとともに、年間データに１年よりも短い複数の区間を設定して区間ごとに可視光画像の画素値の代表値の標本標準偏差σＩ３を算出し、区間ごとに三角関数Ｉ２から標本標準偏差σＩ３だけ減じた近似関数（Ｉ２－σＩ３）を算出する。図４（ｂ）の例では２カ月ごとの６区間を設定している。この３例目における三角関数Ｉ２は本発明における第二の周期関数のもうひとつの例である。なお、第二の周期関数と第三の周期関数は同じである。また、オーバーラップを許容して区間を設定してもよいし、区間毎に時間長を異ならせることも可能である。次に、標準夜間光画像生成部１６は、各局所領域の近似関数（Ｉ２－σＩ３）において時系列可視光画像を構成する可視光画像それぞれの撮影日時から年を無視した日時の値を画素値に設定した標準夜間光画像を生成し、撮影日時と対応付けて記憶部２４に記憶させる。
【0074】
４例目は区間ごとの近似関数を更に長い区間の三角関数で近似する例である。３例目と同様、季節変動の偏りが大きめの対象地域に適する。標準夜間光画像生成部１６は、局所領域ごとに、処理済み画像の画素値の代表値の年間データを近似した三角関数Ｉ２を算出するとともに、年間データに１年よりも短い複数の区間を設定して区間ごとに可視光画像の画素値の代表値の標本標準偏差σＩ３を算出し、区間ごとに三角関数Ｉ２から標本標準偏差σＩ３だけ減じた近似関数（Ｉ２－σＩ３）を算出する。更に、標準夜間光画像生成部１６は、複数区間の近似関数（Ｉ２－σＩ３）を１つの三角関数で近似して近似関数Ｉ４を算出する。この４例目における三角関数Ｉ２は本発明における第三の周期関数の例であり、近似関数Ｉ４は本発明における第四の周期関数の例である。図４（ｂ）の例では２カ月ごとの６区間で算出した近似関数（Ｉ２－σＩ３）を１年周期の三角関数で近似して近似関数Ｉ４を算出している。なお、オーバーラップを許容して区間を設定してもよいし、区間毎に時間長を異ならせることも可能である。次に、標準夜間光画像生成部１６は、各局所領域の近似関数Ｉ４において時系列可視光画像を構成する可視光画像それぞれの撮影日時から年を無視した日時の値を画素値に設定した標準夜間光画像を生成し、撮影日時と対応付けて記憶部２４に記憶させる。
【0075】
可視光画像処理部１２のさらに他の機能である変化検出部１８が行う変化検出処理を、図５を参照して説明する。
【0076】
まず、変化検出部１８は、記憶部２４から時系列可視光画像、雲レベル画像および標準夜間光画像を読み出す。
【0077】
次に、変化検出部１８は、標準夜間光画像生成部１６と同様に、時系列可視光画像を構成する可視光画像それぞれについて、当該可視光画像と同じ撮影日時に対応付けられた雲レベル画像を参照して薄雲領域を特定し、薄雲領域に雲除去処理を行う。
【0078】
続いて、変化検出部１８は、雲除去処理後の可視光画像（すなわち処理済み画像。以下、現夜間光画像と呼ぶ）それぞれを現夜間光画像と同じ撮影日時に対応付けられた標準夜間光画像と比較する。具体的には、変化検出部１８は、対応する標準夜間光画像と現夜間光画像の差分画像を生成する。すなわち、変化検出部１８は、局所領域ごとに差分値である（標準夜間光画像の画素値－現夜間光画像の画素値の代表値）を算出し、その差分値を各局所領域の画素値の代表値とする差分画像を生成する。
【0079】
続いて、変化検出部１８は、差分画像それぞれについて、当該差分画像の元となった現夜間光画像と同じ撮影日時に対応付けられた雲レベル画像を参照して厚雲領域を特定し、厚雲領域にマスク処理を行って検出画像を生成する。なお、変化検出部１８は、差分値の算出段階で雲レベル画像を参照し、厚雲領域については差分値算出を省略してマスク処理を行ってもよい。
【0080】
そして、変化検出部１８は、生成した差分画像それぞれを元になった現夜間光画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0081】
図５（ａ）、（ｂ）、（ｃ）、（ｄ）には、変化検出部１８の変化検出処理の説明図が示される。図５（ａ）は標準夜間光画像生成部１６が生成した標準夜間光画像であり、図５（ｂ）は或る撮影日時の可視光画像から生成された現夜間光画像であり、図５（ｃ）は図５（ａ）の標準夜間光画像と図５（ｂ）の現夜間光画像から生成した差分画像であり、図５（ｄ）は現夜間光画像の元になった可視光画像と同時に撮影された温度画像から生成された雲レベル画像である。なお、図５（ａ）は図４（ｂ）を参照して説明した３例目の近似関数（Ｉ２－σＩ３）により生成した標準夜間光画像である。差分値が正の場合は、標準夜間光画像よりも現夜間光画像の輝度値が小さく（暗く）なっており、夜間光が減少したことを示している。また、差分値が負の場合は、標準夜間光画像よりも現夜間光画像の輝度値が大きく（明るく）なっており、夜間光が増加したことを示している。図５（ｃ）に示される差分画像では、現夜間光画像の輝度値の大小を、輝度値が大きいほど白く示しており、この差分画像により夜間光の変化を検出し、地上における人間の活動状況、災害発生時の被災状況、その後の復興状況等の変化を正確に把握することができる。
【0082】
なお、変化検出部１８は、差分画像に基づき、差分値のレベル分け処理を行ってもよい。例えば、標準夜間光画像よりも現夜間光画像の輝度値が小さい局所領域と標準夜間光画像よりも現夜間光画像の輝度値が大きい局所領域を色分けした検出画像を生成し、或いは、差分値に対して複数の閾値を設定し、差分値に応じた表示形態を設定して表示する等、変化の大きさに応じた処理を施した検出画像を生成することも可能である。それらの際も、厚雲領域には差分値に応じた表示形態とは異なる表示形態で変化不明であることを明示するのが好適である。
【0083】
また、上記例においては、差分値を（標準夜間光画像の画素値－現夜間光画像の画素値の代表値）としたが、差分値を（現夜間光画像の画素値の代表値－標準夜間光画像の画素値）としてもよい。ただしその場合、差分値の正・負に対する夜間光の増減の解釈が上記とは逆になる。
【0084】
図６には、実施形態にかかる画像処理装置１００の動作例のフロー図が示される。
【0085】
通信部２２は、人工衛星等により、上空から対象地域を夜間に撮影した時系列画像対を取得し、各画像を撮影日時とともに記憶部２４に記憶させる（Ｓ１）。
【0086】
温度画像処理部１０は、記憶部２４に記憶された時系列温度画像を読み出し、読み出した温度画像の局所領域ごとに、画素値の代表値の年間の時系列を周期関数Ｔにて近似する（Ｓ２）。
【0087】
次に、温度画像処理部１０は、温度画像の局所領域ごとに、画素値の代表値の標本標準偏差σＴを算出し、周期関数Ｔの各日時における値から標本標準偏差σＴを減じた値を各日時における雲限界値として設定し、温度画像の局所領域に対応する局所領域における画素値として雲限界値を設定することにより雲限界画像を生成する（Ｓ３）。
【0088】
続いて、温度画像処理部１０は、同一の日時における（温度画像の画素値の代表値－雲限界画像の画素値）として差分値を求め、この差分値が薄雲閾値以上である雲なし領域と、薄雲閾値未満厚雲閾値以上である薄雲領域と、厚雲閾値未満である厚雲領域とに分けて画素値を三値化し、三値化後の画素値で構成される雲レベル画像を生成する（Ｓ４）。温度画像処理部１０は、生成した雲レベル画像を元となった温度画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0089】
雲処理済み夜間光画像生成部１４は、記憶部２４に記憶された時系列可視光画像および雲レベル画像を読み出し、雲レベル画像において薄雲ありを表す画素値が設定された薄雲領域について対応する可視光画像の局所領域に予め定めた色を透過合成し、雲レベル画像において雲ありを表す画素値が設定された厚雲領域について対応する可視光画像の局所領域を予め定めた色により塗りつぶし、雲処理済み夜間光画像を生成する（Ｓ５）。雲処理済み夜間光画像生成部１４は、生成した雲処理済み夜間光画像を元となった可視光画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0090】
標準夜間光画像生成部１６は、記憶部２４に記憶された時系列可視光画像、標準夜間光画像および雲レベル画像を読み出し、雲レベル画像において薄雲ありを表す画素値が設定された薄雲領域について対応する可視光画像の局所領域に雲除去処理を施す。また、標準夜間光画像生成部１６は、雲除去処理後の可視光画像の局所領域ごとに、雲レベル画像において厚雲ありを表す画素値ではない可視光画像の画素値の年間の時系列を周期関数Ｉ２で近似するとともに年間の時系列に複数の区間を設定して区間ごとの標本標準偏差σＩ３を求める。そして、標準夜間光画像生成部１６は、近似関数（Ｉ２－σＩ３）における可視光画像の撮影日時での値を得て、当該値を画素値とする局所領域で構成された画像として標準夜間光画像を生成し、各撮影日時と対応付けて記憶部２４に記憶させる（Ｓ６）。
【0091】
変化検出部１８は、記憶部２４に記憶された時系列可視光画像、標準夜間光画像および雲レベル画像を読み出し、可視光画像の薄雲領域に雲除去処理を施した現夜間光画像と、当該現夜間光画像と対応する日時の標準夜間光画像との差分画像を生成し、差分画像の厚雲領域をマスク処理した検出画像を生成することにより、対象地域において夜間光に変化のあった変化領域を抽出する（Ｓ７）。変化検出部１８は、生成した検出画像を元となった可視光画像の撮影日時と対応付けて記憶部２４に記憶させる。
【0092】
表示制御部２０は、利用者の指示などに応じて、雲レベル画像、雲処理済み夜間光画像、標準夜間光画像、夜間光の変化を表す検出画像のいずれか一つ又は二以上の組み合わせを記憶部２４から読み出し、表示装置を制御して表示する。
【0093】
上述した、図６の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えてもよい。
【0094】
＜変形例＞
以下、本発明の変形例について説明する。
（１）上記実施形態においては、時系列画像対における温度画像（標準夜間光画像の元になる可視光画像と同時撮影された温度画像）の時系列が、時系列温度画像（雲限界画像の元になる温度画像）と共通するものとして説明したが、共通である必要はない。また３年間の時系列も一例であり、３年間よりも短くても長くてもよい。例えば、時系列画像対は最近３年間のもの、時系列温度画像は３年前までの３年間のものというように一部だけ共通であってもよい。或いは、例えば、時系列画像対は最近２年間のもの、時系列温度画像は３年前までの５年間のものというように共通期間が無くてもよい。
以下、本発明の変形例について説明する。
（１）上記実施形態においては、時系列画像対における温度画像（標準夜間光画像の元になる可視光画像と同時撮影された温度画像）の時系列が、時系列温度画像（雲限界画像の元になる温度画像）と共通するものとして説明したが、共通である必要はない。また３年間の時系列も一例であり、３年間よりも短くても長くてもよい。例えば、時系列画像対は最近３年間のもの、時系列温度画像は３年前までの３年間のものというように一部だけ共通であってもよい。或いは、例えば、時系列画像対は最近２年間のもの、時系列温度画像は３年前までの５年間のものというように共通期間が無くてもよい。
【0095】
（２）上記実施形態およびその変形例においては、雲処理済み夜間光画像および検出画像が時系列画像対に含まれる画像対から生成する例を説明したが、必ずしも含まれている必要はない。例えば、時系列画像対が昨年までの３年間のものである場合に、温度画像処理部１０が当該時系列画像対を構成する時系列温度画像から近似関数Ｔおよび標本標準偏差σＴを算出して雲限界画像を生成し、今年の或る時点の画像対を構成する温度画像から雲レベル画像を生成し、当該雲レベル画像に基づいて雲処理済み夜間光画像生成部１４が雲処理済み夜間光画像を生成することができる。また、上記時系列画像対を構成する時系列可視光画像および上記雲レベル画像から標準夜間光画像生成部１６が標準夜間光画像を生成し、この標準夜間光画像および上記画像対を構成する可視光画像から検出画像を生成するというように、任意の撮影日時の画像対から当該撮影日時の処理済み画像を生成することができる。
【0096】
（３）上記実施形態およびその各変形例においては、温度画像処理部１０が温度画像と雲限界画像との差分処理を行って雲レベル画像を生成する例を説明したが、雲限界画像の生成（すなわち雲限界値の算出）および差分処理を省略することもできる。その場合、例えば、温度画像処理部１０は、薄雲の上限温度を表す閾値Ａ１を（Ｔ－α・σＴ）に設定し、厚雲の上限温度を表す閾値Ａ２を（Ｔ－α・σＴ）よりも低い値に設定して、温度画像の局所領域ごとに画素値の代表値をこれらの閾値Ａ１およびＡ２と比較し、代表値がＡ１以上であれば当該局所領域が雲なし領域であり、代表値がＡ１未満Ａ２以上であれば当該局所領域が薄雲領域であり、代表値がＡ２未満であれば当該局所領域が厚雲領域であると判定して雲レベル画像を生成する。
【0097】
（４）上記実施形態およびその変形例（３）においては、温度画像処理部１０が、温度画像の局所領域ごとの画素値の代表値についての標本標準偏差σＴに基づいて雲限界画像を生成し（すなわち雲限界値を算出し）、または薄雲の上限温度を表す閾値Ａ１や厚雲の上限温度を表す閾値Ａ２を設定する例を示したが、温度画像の画素値が一定値Ｂで安定している場合には、標本標準偏差σＴに代えて複数の局所領域に共通の一定値Ｂを用いることもできる。この場合、例えば、雲限界値は（Ｔ－Ｂ）、閾値Ａ１は（Ｔ－Ｂ）、閾値Ａ２は（Ｔ－Ｂ）よりも低い値とされる。
【0098】
（５）上記実施形態およびその各変形例においては、温度画像処理部１０が第一の周期関数Ｔに基づいて雲レベル画像を生成し（すなわち雲レベルを判定し）、可視光画像処理部１２が雲レベル画像に応じた処理を行う例を説明したが、温度画像処理部１０の処理を省略することもできる。この場合、薄雲の上限温度を表す閾値Ａ１および厚雲の上限温度を表す閾値Ａ２のそれぞれを予め定めた一定値Ｃ１およびＣ２とし、可視光画像処理部１２が、温度画像の局所領域の画素値の代表値をＡ１およびＡ２と比較して雲レベルを判定し、判定結果に応じた処理を行うことになる。この一定値Ｃ１，Ｃ２には季節変動によっても薄雲が存在する局所領域が雲なし領域と判定されないよう予めの実験を通じて高めの温度を設定する必要があるため、温度画像処理部１０を省略する当該変形例は季節変動が小さな対象地域に適している。
【0099】
（６）可視光画像処理部１２が３レベルの雲レベルに応じて行う処理は、上記実施形態およびその各変形例において説明した処理に限らない。例えば、雲処理済み夜間光画像生成部１４は薄雲領域と厚雲領域のそれぞれを異なる色で囲むなど、透過合成やマスク処理とは別の加工をすることで利用者が各領域を区別できるようにしてもよい。また、例えば雲処理済み夜間光画像生成部１４は、薄雲領域に対して雲除去処理を行ってもよいし、雲除去処理を行った上で厚雲領域とは異なる色を透過合成したり厚雲領域とは異なる色で囲んだりしてもよい。また、例えば変化検出部１８は、薄雲領域に対する雲除去処理を行わずに差分処理を行った上で厚雲領域とは別の色を透過合成したり厚雲領域とは異なる色で囲んでもよい。
【0100】
（７）上記実施形態およびその各変形例においては、雲レベルを３レベルとする例を説明したが、２レベルとすることもできる。すなわち、薄雲領域と厚雲領域を区別せず、雲レベルは雲なしと雲ありとすることができる。この場合、温度画像処理部１０は、温度画像と雲限界画像の差分処理を行って得られる差分値を薄雲閾値と比較して、差分値が薄雲閾値以上である局所領域を雲なしと判定し、差分値が薄雲閾値未満である局所領域を雲ありと判定する。或いは、温度画像処理部１０または可視光画像処理部１２は、局所領域ごとに温度画像の画素値の代表値を閾値Ａ１と比較して、代表値がＡ１以上である局所領域を雲なしと判定し、代表値がＡ１未満である局所領域を雲ありと判定する。また、例えば、雲処理済み夜間光画像生成部１４は雲ありと判定された局所領域（雲領域）をマスク処理して雲処理済み夜間光画像することで、表示された当該画像を目視確認する利用者が、雲の影響なく夜間光が撮影できた雲なし領域と、雲の影響で夜間光が的確に撮影できなかった雲領域とを区別して確認することを可能にする。また、例えば、標準夜間光画像生成部１６は可視光画像の時系列から雲領域の画素値の代表値を除外して標準夜間光画像を生成することによって、雲の影響を排した高精度な標準夜間光画像の生成を可能にする。また、例えば、変化検出部１８は、可視光画像における雲領域の画素値の代表値を用いずに差分処理を行って、または／および雲領域をマスク処理して検出画像を生成することによって、雲の影響を排した高精度な変化検出を可能にする。
【0101】
（８）上記実施形態およびその各変形例においては、雲レベルを２または３レベルとする例を説明したが、上記薄雲ありのレベルを複数レベルに分けて４レベル以上とすることもできる。この場合、温度画像処理部１０は、薄雲閾値と厚雲閾値の中間閾値を用い、上記処理に加えて差分値と当該中間閾値との比較を行うことで薄雲ありのレベルを複数レベルに分けて雲レベル画像を生成する。或いは、温度画像処理部１０または可視光画像処理部１２は、閾値Ａ１とＡ２の中間閾値を用い、上記処理に加えて代表値と当該中間閾値との比較を行うことで薄雲ありのレベルを複数レベルに分けて雲レベルを判定する。そして、可視光画像処理部１２は、薄雲ありのレベルを分けた複数のレベルそれぞれに対応する雲除去処理を可視光画像に対して行う。
【0102】
（９）上記実施形態およびその各変形例においては、可視光画像処理部１２が薄雲領域に対して雲除去処理を行う例を説明したが、雲除去処理の代わりに、可視光画像の薄雲領域に鮮鋭化フィルタを施す鮮鋭化処理を行ってもよい。鮮鋭化処理によって、薄雲による夜間光の散乱を抑制することができる。
【0103】
（１０）上記実施形態およびその各変形例においては、人工衛星により上空から撮影する例を示したが、航空機、バルーンなどの飛翔体、または高高度地点に設置されたセンサから撮影しても良い。
【符号の説明】
【0104】
１０ 温度画像処理部、１２ 可視光画像処理部、１４ 雲処理済み夜間光画像生成部、１６ 標準夜間光画像生成部、１８ 変化検出部、２０ 表示制御部、２２ 通信部、２４ 記憶部、２６ ＣＰＵ、１００ 画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】