ホーム > 特許ランキング > スカパーＪＳＡＴ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024060851
(43)【公開日】2024-05-07
(54)【発明の名称】空撮画像変化抽出装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240425BHJP
G06T 1/00 20060101ALI20240425BHJP
G06T 5/50 20060101ALI20240425BHJP
【ＦＩ】
G06T7/00 640
G06T1/00 285
G06T5/50
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022168401
(22)【出願日】2022-10-20
(11)【特許番号】
(45)【特許公報発行日】2023-09-14
(71)【出願人】
【識別番号】397060072
【氏名又は名称】スカパーＪＳＡＴ株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】菅原 泰晴
(72)【発明者】
【氏名】島崎 信二
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057AA14
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE02
5B057CE05
5B057CE06
5B057CE08
5L096AA02
5L096AA06
5L096CA04
5L096DA01
5L096EA02
5L096EA05
5L096EA06
5L096EA39
5L096FA32
5L096GA08
5L096GA51
5L096GA55
(57)【要約】
【課題】広域を対象として空撮画像における変化を、従来よりも簡便に抽出可能な技術を提供する。
【解決手段】第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれＮ個およびＭ個取得する画像取得手段と、前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、を備える、ことを特徴とする空撮画像変化抽出装置。
【選択図】図３
【解決手段】第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれＮ個およびＭ個取得する画像取得手段と、前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、を備える、ことを特徴とする空撮画像変化抽出装置。
【選択図】図３
【特許請求の範囲】
【請求項1】
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得手段と、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、
前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、
を備える、ことを特徴とする空撮画像変化抽出装置。
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、
前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、
を備える、ことを特徴とする空撮画像変化抽出装置。
【請求項2】
前記変化指標は、対象画素の画素値の変化と対象画素の周辺領域の画素値の変化の平均との比に応じた値である、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項3】
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の画素値の平均値および分散が一致するように、前記第１空撮画像と前記第２空撮画像の少なくとも一方を調整した後に、前記変化指標を求める、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項4】
前記変化閾値は、前記第１空撮画像と前記第２空撮画像の変化指標の上位の第１所定割合に相当する変化指標の値と、所定値とのいずれか大きい方として、前記ペアごとに設定される、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項5】
前記変化候補抽出手段は、対象画素の画素値の変化が所定値よりも大きいときは、前記変化指標の値にかかわらず、前記対象画素を変化箇所候補とする、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項6】
前記変化候補抽出手段は、変化箇所候補に対してエリアオープニング処理を施して得られる領域の画素を、前記第１空撮画像と前記第２空撮画像のペアにおける最終的な変化箇所候補として抽出する、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項7】
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像のペアにおける影領域を求め、前記影領域は前記変化箇所候補に含めない、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項8】
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の両方において画素値が第１閾値以下の暗部領域を求め、前記第１空撮画像において前記暗部領域を画素値が前記第１閾値よりも大きな第２閾値以下の範囲まで拡張した第１領域と、前記第２空撮画像において前記暗部領域を画素値が前記第２閾値以下の範囲まで拡張した第２領域と、の和領域を前記影領域として求める、
ことを特徴とする請求項７に記載の空撮画像変化抽出装置。
ことを特徴とする請求項７に記載の空撮画像変化抽出装置。
【請求項9】
前記画像取得手段は、
前記第１期間の第１広域空撮画像の部分領域を前記第１空撮画像として取得し、
前記第２期間の第２広域空撮画像の前記部分領域を前記第２空撮画像として取得する
、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
前記第１期間の第１広域空撮画像の部分領域を前記第１空撮画像として取得し、
前記第２期間の第２広域空撮画像の前記部分領域を前記第２空撮画像として取得する
、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項10】
前記画像取得手段は、
Ｎ個より多い前記第１期間の第１広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｎ個の前記第１広域空撮画像から、前記Ｎ個の前記第１空撮画像を取得し、
Ｍ個より多い前記第２期間の第２広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｍ個の前記第２広域空撮画像から、前記Ｍ個の前記第２空撮画像を取得する、
ことを特徴とする請求項９に記載の空撮画像変化抽出装置。
Ｎ個より多い前記第１期間の第１広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｎ個の前記第１広域空撮画像から、前記Ｎ個の前記第１空撮画像を取得し、
Ｍ個より多い前記第２期間の第２広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｍ個の前記第２広域空撮画像から、前記Ｍ個の前記第２空撮画像を取得する、
ことを特徴とする請求項９に記載の空撮画像変化抽出装置。
【請求項11】
関心領域を分割した複数の分割領域のそれぞれについて変化箇所を抽出し、前記第１期間と前記第２期間の間の前記関心領域における変化を求める、
ことを特徴とする請求項９に記載の空撮画像変化抽出装置。
ことを特徴とする請求項９に記載の空撮画像変化抽出装置。
【請求項12】
前記Ｎ個の前記第１空撮画像および前記Ｍ個の第２空撮画像の少なくともいずれかと、前記変化箇所とを重畳して出力する、出力手段をさらに備える、
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
ことを特徴とする請求項１に記載の空撮画像変化抽出装置。
【請求項13】
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
を含む、ことを特徴とする空撮画像変化抽出方法。
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
を含む、ことを特徴とする空撮画像変化抽出方法。
【請求項14】
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
をコンピュータに実行させるためのプログラム。
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空撮画像の変化を抽出する技術に関する。
【背景技術】
【0002】
衛星画像などの空撮画像において、広域（例えば、日本全域）を対象として、２時期の間の変化を抽出したいという要望がある。抽出したい変化は、建物や道路の出現や消失といった建造物などの実際の変化であり、大気現象や日照による変化は抽出しないことが望まれる。
【0003】
特許文献１は、衛星画像から特定の目標物を高精度に抽出したり、同一地物の季節変化による輝度値変化を変化として認識しないようにしたりするために、深層学習を利用した画像認識手法を利用することを提案する。
【0004】
しかしながら、変化抽出範囲が広域であると教師データを収集・作成することが困難であり、また学習にも時間がかかるため、特許文献１の手法を広域に適用するには手間やコストがかかってしまう。したがって、教師データなしで変化抽出可能なアルゴリズムが求められる。
【0005】
また、場所や地域ごとのパラメータ調整も困難であることから、場所や地域によらない変化抽出可能なアルゴリズムが求められる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１８-９７５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
このように、従来技術では、空撮画像における変化を簡便に抽出することはできていない。
【0008】
そこで、本発明は、空撮画像における変化を従来よりも簡便に抽出可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の第一の態様は、第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得手段と、前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、を備える、ことを特徴とする空撮画像変化抽出装置である。
【0010】
本態様において、前記変化指標は、対象画素の画素値の変化と対象画素の周辺領域の画素値の変化の平均との比に応じた値であってよい。画素値の変化は、空撮画像がＲＧＢ画像のような複数バンドを有する画像であれば、各バンドの差に基づく値（２乗和や絶対値
和など）とすることができる。また、対象画素の画素値の変化は、画素ごとに算出された画素値の差分であってもよいし、当該差分にノイズ除去のためのフィルタ処理を施したものであってもよい。また、対象画素の周辺領域の画素値の変化の平均は、画素ごとに算出された画素値の差分に比較的大きいカーネルサイズの平滑化フィルタ（単純平均や重み付け平均）を施したものであってよい。このように変化指標を定めることにより、明るく写っている場所も暗く写っている場所も同様の変化として評価でき、適切な変化抽出が可能となる。
和など）とすることができる。また、対象画素の画素値の変化は、画素ごとに算出された画素値の差分であってもよいし、当該差分にノイズ除去のためのフィルタ処理を施したものであってもよい。また、対象画素の周辺領域の画素値の変化の平均は、画素ごとに算出された画素値の差分に比較的大きいカーネルサイズの平滑化フィルタ（単純平均や重み付け平均）を施したものであってよい。このように変化指標を定めることにより、明るく写っている場所も暗く写っている場所も同様の変化として評価でき、適切な変化抽出が可能となる。
【0011】
本態様において、前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の画素値の平均値および分散が一致するように、前記第１空撮画像と前記第２空撮画像の少なくとも一方を調整した後に、前記変化指標を求めてもよい。空撮画像がＲＧＢ画像のような複数バンドを有する画像であれば、バンドごとに調整をしてもよいし、明度の平均および分散が一致するように画像全体を調整してもよい。このような調整を行うことで、第１空撮画像と第２空撮画像を適切に比較できるようになる。
【0012】
本態様において、前記変化閾値は、前記第１空撮画像と前記第２空撮画像の変化指標の上位の第１所定割合に相当する変化指標の値と、所定値とのいずれか大きい方として、前記ペアごとに設定されてもよい。このように閾値を設定することで、原則として、画素値の変化が周辺領域の平均変化の所定値倍より大きな画素が変化箇所候補として抽出されるが、変化箇所候補として抽出される画素の数を空撮画像全体の第１所定割合以内とすることができる。このように変化箇所候補として選択される画素数を制限することで、誤検出を抑制できる。
【0013】
本態様において、前記変化候補抽出手段は、対象画素の画素値の変化が所定値よりも大きいときは、前記変化指標の値にかかわらず、前記対象画素を変化箇所候補としてもよい。比較的大きな範囲で変化があった場合、変化指標（画素値の変化と周辺領域の平均変化の比）は小さくなってしまい、変化箇所候補から漏れてしまうことが想定される。対象画素の画素値の変化が大きい画素を別途抽出して変化箇所候補とすることで、検出漏れを抑制することができる。
【0014】
本態様において、前記変化候補抽出手段は、変化箇所候補に対してエリアオープニング処理を施して得られる領域の画素を、前記第１空撮画像と前記第２空撮画像のペアにおける最終的な変化箇所候補として抽出してもよい。小さな変化箇所は誤検出である可能性が高いため、エリアオープニング処理を施すことで変化箇所候補から除外することで誤検出を抑制できる。
【0015】
本態様において、前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像のペアにおける影領域を求め、前記影領域は前記変化箇所候補に含めないようにしてもよい。
【0016】
本態様において、前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の両方において画素値が第１閾値以下の暗部領域を求め、前記第１空撮画像において前記暗部領域を画素値が前記第１閾値よりも大きな第２閾値以下の範囲まで拡張した第１領域と、前記第２空撮画像において前記暗部領域を画素値が前記第２閾値以下の範囲まで拡張した第２領域と、の和領域を前記影領域として求めてもよい。ここでの画素値は例えば明度とすることができる。本手法によれば、第１空撮画像と第２空撮画像の少なくともいずれかで影となっている領域を適切に抽出することができる。
【0017】
本態様において、前記画像取得手段は、前記第１期間の第１広域空撮画像の部分領域を前記第１空撮画像として取得し、前記第２期間の第２広域空撮画像の前記部分領域を前記第２空撮画像として取得してもよい。撮影されている空撮画像は、第１空撮画像や第２空
撮画像よりも広い領域を写していることが想定される。このような場合には、広域空撮画像から部分領域を取得すればよい。なお、第１広域空撮画像と第２広域空撮画像は、第１空撮画像および第２空撮画像の領域が含まれていれば、撮影領域は異なっていて構わない。
撮画像よりも広い領域を写していることが想定される。このような場合には、広域空撮画像から部分領域を取得すればよい。なお、第１広域空撮画像と第２広域空撮画像は、第１空撮画像および第２空撮画像の領域が含まれていれば、撮影領域は異なっていて構わない。
【0018】
本態様において、前記画像取得手段は、Ｎ個より多い第１広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｎ個の前記第１広域空撮画像から、前記Ｎ個の前記第１空撮画像を取得し、Ｍ個より多い第２広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｍ個の前記第２広域空撮画像から、前記Ｍ個の前記第２空撮画像を取得してもよい。このように第１空撮画像および第２空撮画像を選択することで、良質な画像を取得することができる。
【0019】
本態様において、関心領域を分割した複数の分割領域のそれぞれについて変化箇所を抽出し、前記第１期間と前記第２期間の間の前記関心領域における変化を求めてもよい。関心領域を分割して変化抽出を行うことで、場所ごとに良質な画像を選定でき、また、画像内が同一の土地被覆となりやすいので場所による違いが生じにくく、変化抽出を高精度に行うことができる。
【0020】
本態様において、前記Ｎ個の前記第１空撮画像および前記Ｍ個の第２空撮画像の少なくともいずれかと、前記変化箇所とを重畳して出力する、出力手段をさらに備えてもよい。変化箇所と空撮画像を重畳して出力することで、どの場所に変化が生じたかをわかりやすく示すことができる。
【0021】
本発明の第二態様は、第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、を含む、ことを特徴とする空撮画像変化抽出方法である。
【0022】
本発明の第三態様は、第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【0023】
本発明によれば、空撮画像における変化を従来よりも簡便に抽出できる。
【図面の簡単な説明】
【0024】
【図1】実施形態に係る衛星画像変化抽出装置の機能構成図である。
【図2】実施形態に係る衛星画像変化抽出装置のハードウェア構成図である。
【図3】実施形態に係る変化抽出処理を示すフローチャートである。
【図4】関心領域とその分割領域を説明する図である。
【発明を実施するための形態】
【0025】
＜参考手法とその問題点＞
まず、空撮画像における変化抽出の簡単な手法と、その問題点について説明する。
まず、空撮画像における変化抽出の簡単な手法と、その問題点について説明する。
【0026】
変化抽出する２つの空撮画像をそれぞれＩｍｇ１およびＩｍｇ２とする。変化箇所を求める最も簡単な手法は、画素ごとにＩｍｇ１とＩｍｇ２の変化指標Ｄｉｆｆを求め、その変化指標Ｄｉｆｆが閾値以上であれば変化箇所であるとみなす手法である。変化指標Ｄｉｆｆとしては、例えば、各画素におけるＲＧＢ各バンドの差の２乗和などが考えられる。
【0027】
このような単純な手法には、次のような課題がある。
【0028】
第１の課題は、変化指標Ｄｉｆｆは、場所・時期・大気条件などによって分布が変わるため、同じ閾値を用いた変化抽出では精度の良い抽出ができないという点である。したがって、閾値を場所等によって変える必要があるが、閾値の調整には手間がかかってしまう。
【0029】
第２の課題は、明るい場所と暗い場所で抽出できる変化が異なる点である。明るい場所では画素値が大きいため、実際の変化が小さくても変化指標Ｄｉｆｆが大きくなり、逆に、暗い場所では画素値が小さいため、実際の変化が大きくても変化指標Ｄｉｆｆが小さくなってしまう。このように、明るく写っている場所は変化が抽出されやすく、暗く写っている場所は変化が抽出しにくい。
【0030】
第３の課題は、地物の見え方の違いや影の違いによる影響を受けてしまうという点である。地物の見え方や影は撮影時期・時刻によって変化し、地物の見え方は影が異なると地物に実際の変化がなくても、変化として抽出されてしまう。
【0031】
＜本実施形態＞
以下、本発明の一実施形態に係る、空撮画像変化抽出手法について説明する。本実施形態では、空撮画像として衛星画像を用いるが、人工衛星以外によって撮影された空撮画像に対しても本実施形態は同様に適用可能である。
以下、本発明の一実施形態に係る、空撮画像変化抽出手法について説明する。本実施形態では、空撮画像として衛星画像を用いるが、人工衛星以外によって撮影された空撮画像に対しても本実施形態は同様に適用可能である。
【0032】
（構成）
図１は、本実施形態に係る衛星画像変化抽出装置１００（以下、単に変化抽出装置１００とも称する）の機能構成を説明するブロック図である。変化抽出装置１００は、関心領域（AOI: Area of Interest）を写した第１期間の衛星画像と第２期間（第１期間よりも
後の期間）の衛星画像を取得して、その変化箇所を抽出する装置である。衛星画像は、複数の人工衛星１２０によって撮影されて、衛星画像記憶装置１１０に格納されており、変化抽出装置１００は衛星画像記憶装置１１０から衛星画像を取得する。
図１は、本実施形態に係る衛星画像変化抽出装置１００（以下、単に変化抽出装置１００とも称する）の機能構成を説明するブロック図である。変化抽出装置１００は、関心領域（AOI: Area of Interest）を写した第１期間の衛星画像と第２期間（第１期間よりも
後の期間）の衛星画像を取得して、その変化箇所を抽出する装置である。衛星画像は、複数の人工衛星１２０によって撮影されて、衛星画像記憶装置１１０に格納されており、変化抽出装置１００は衛星画像記憶装置１１０から衛星画像を取得する。
【0033】
図１は、変化抽出装置１００の機能構成を示す図である。図１に示すように、変化抽出装置１００は、関心領域・時期入力部１０１、関心領域分割部１０２、画像取得部１０３、変化抽出部１０４、出力部１０５をその機能部として有する。
【0034】
図２は、変化抽出装置１００のハードウェア構成を示す図である。図２に示すように、
変化抽出装置１００は、互いにバス２００に接続された、ＣＰＵ２０１、記憶装置２０２、ＲＯＭ２０３、ＲＡＭ２０４、入力Ｉ／Ｆ２０５、出力Ｉ／Ｆ２０６を含む。ＣＰＵ２０１は、バス２００を介して接続する各デバイスを統括的に制御する。ＣＰＵ２０１は、ＲＯＭ２０３やＲＡＭ２０４に記憶された処理ステップやプログラムを読み出して実行する。記憶装置２０２は、本実施形態に係る各種プログラム及びデータを格納されるものである。ＲＯＭ２０３は、オペレーティングシステム（ＯＳ）をはじめ、デバイスドライバやブートプログラムが記憶されている。ＲＡＭ２０４は、記憶装置２０２及びＲＯＭ２０３からロードされたプログラムやデータを一時的に記憶し、各処理をＣＰＵ２０１によって適宜実行するワークエリアを有する。入力Ｉ／Ｆ２０５は、外部の装置からの信号を、変化抽出装置１００で処理可能な形式の入力信号として入力する。出力Ｉ／Ｆ２０６は、外部の装置への信号を、外部の装置が処理可能な形式の出力信号として出力する。変化抽出装置１００は、ＣＰＵ２０１がプログラムを読み出して実行することにより、図１に示す機能を実現する。
変化抽出装置１００は、互いにバス２００に接続された、ＣＰＵ２０１、記憶装置２０２、ＲＯＭ２０３、ＲＡＭ２０４、入力Ｉ／Ｆ２０５、出力Ｉ／Ｆ２０６を含む。ＣＰＵ２０１は、バス２００を介して接続する各デバイスを統括的に制御する。ＣＰＵ２０１は、ＲＯＭ２０３やＲＡＭ２０４に記憶された処理ステップやプログラムを読み出して実行する。記憶装置２０２は、本実施形態に係る各種プログラム及びデータを格納されるものである。ＲＯＭ２０３は、オペレーティングシステム（ＯＳ）をはじめ、デバイスドライバやブートプログラムが記憶されている。ＲＡＭ２０４は、記憶装置２０２及びＲＯＭ２０３からロードされたプログラムやデータを一時的に記憶し、各処理をＣＰＵ２０１によって適宜実行するワークエリアを有する。入力Ｉ／Ｆ２０５は、外部の装置からの信号を、変化抽出装置１００で処理可能な形式の入力信号として入力する。出力Ｉ／Ｆ２０６は、外部の装置への信号を、外部の装置が処理可能な形式の出力信号として出力する。変化抽出装置１００は、ＣＰＵ２０１がプログラムを読み出して実行することにより、図１に示す機能を実現する。
【0035】
【0036】
ステップＳ１０において、関心領域・時期入力部１０１は、変化抽出を行う対象領域である関心領域の範囲と、変化前の期間（第１期間）と変化後の期間（第２期間）をユーザから受け付けて設定する。関心領域はどのような範囲であってもよいが、例えば、日本全域のような広い領域であることが想定される。また、変化前の期間は２０２２年７月１日から２０２２年７月３１日、変化後の期間は２０２２年８月１から２０２２年８月３１日のようにすることができる。ここでは、期間を１ヶ月としており、また変化前後の期間が連続しているが、必ずしもそのようにする必要はない。例えば、変化前の期間と変化後の期間はより短くても長くても良く、またそれぞれの期間の長さが異なっていてもよい。また、変化前の期間と変化後の期間が連続していなくてもよい。
【0037】
ステップＳ１１において、関心領域分割部１０２は、入力された関心領域を小さな領域に分割する。図４は関心領域の分割を説明する図である。図４において、４０１は関心領域（ＡＯＩ）を示し、４０２は関心領域４０１を分割した分割領域（分割ＡＯＩ）を示す。分割領域４０２はあらかじめ定められた領域サイズであり、一例として一辺が１ｋｍから２ｋｍ程度の正方形とすることができる。もちろん分割領域４０２のサイズは特に限定されず、また形状も正方形以外に、長方形や他の多角形（例えば三角形や六角形など）であっても構わない。なお、図４では、関心領域４０１が７×６個の分割領域４０２に分割されているが、関心領域４０１は広域であるため実際にはより多くの分割領域４０２に分割されることになる。
【0038】
変化抽出は、分割領域ごとに、ステップＳ１２～Ｓ１４の処理Ｌ１で実施される。なお、ステップＳ１２～Ｓ１４の処理Ｌ１は、分割領域ごとに並列実行されてもよいし直列実行されてもよい。図５は、処理Ｌ１における１回の処理の概要を説明する図である。まずステップＳ１２において、変化前の期間の分割領域の衛星画像をＮ枚、変化後の期間の分割領域の衛星画像をＭ枚取得する。次に、ステップＳ１３において、変化前のＮ枚の衛星画像と変化後のＭ枚の衛星画像のＮ×Ｍ通りの画像ペアのそれぞれの組合せについて、変化箇所候補を抽出する。これによりＮ×Ｍ個の変化箇所候補の画像が得られる。最後に、ステップＳ１４において、Ｎ×Ｍ個の変化箇所候補を統合して、最終的な変化箇所を決定する。処理Ｌ１は分割領域のそれぞれを対象として行われるので、結果として関心領域全体における変化箇所が抽出できる。
【0039】
以下、ステップＳ１２～Ｓ１４の処理をより詳細に説明する。なお、以下では、処理Ｌ
１において処理対象とする分割領域のことを対象分割領域とも称する。
１において処理対象とする分割領域のことを対象分割領域とも称する。
【0040】
ステップＳ１２において、画像取得部１０３が、対象分割領域の衛星画像を衛星画像記憶装置１１０から取得する。より具体的には、画像取得部１０３は、変化前の期間の対象分割領域の衛星画像をＮ枚、変化後の期間の対象分割領域の衛星画像をＭ枚取得する。ここで、ＮおよびＭはいずれも１以上の整数であり、Ｎ＞Ｍ、Ｎ＝Ｍ、Ｎ＜Ｍのいずれでもよい。一例として、Ｎ＝Ｍ＝３が挙げられるが、より多数でも構わない。ステップＳ１２の処理を実行する画像取得部１０３が、本発明における画像取得手段に相当する。
【0041】
衛星画像記憶装置１１０には、変化前の期間および変化後の期間にいずれについてもＮやＭよりも多くの多数の衛星画像が格納されている。したがって、画像取得部１０３は、より高品質な衛星画像を選択して取得する。衛星画像記憶装置１１０に記憶されている衛星画像は、１枚が例えば２０ｋｍ×３０ｋｍの画像である（Ｐｌａｎｅｔ社のＤｏｖｅ衛星の場合）。衛星画像における画素ごとのシーン分類データが利用可能であれば、画像取得部１０３は、対象分割領域における被雲率が低いほど品質が高いものと判断して、被雲率が最も低い上位Ｎ枚またはＭ枚の画像を取得すればよい。また、画素ごとのシーン分類データが利用できない場合や処理時間を短縮したい場合には、画像取得部１０３は衛星画像全体における被雲率が低いほど品質が高いものと判断してもよい。なお、画像取得部１０３は、被雲率以外の要素を考慮して品質を判断してもよく、例えば、コントラストが高いほど品質が高いものと判断してもよいし、指定された期間のうちより早い時期のものやより遅い時期のものほど品質が高いと判断してもよい。
【0042】
ステップＳ１２で取得された変化前の期間のＮ枚の対象分割領域の画像が本発明における第１空撮画像に相当し、ステップＳ１２で取得された変化後の期間のＭ枚の対象分割領域の画像が本発明における第２空撮画像に相当する。また、以下では、変化前の期間（第１期間）の対象分割領域の画像のことを前画像とも称し、変化後の期間（第２期間）の対象分割領域の画像のことを後画像とも称する。
【0043】
次に、ステップＳ１３において、変化抽出部１０４は、Ｎ枚の前画像とＭ枚の後画像のＮ×Ｍ通りの画像ペアのそれぞれについて、変化箇所候補を抽出する。ステップＳ１３の処理を実行する変化抽出部１０４が、本発明における変化候補抽出手段に相当する。
【0044】
【0045】
ステップＳ２１において、変化抽出部１０４は、前画像と後画像のいずれかまたは両方の色調を調整する。具体的には、前画像と後画像の画素値の平均値および分散が一致するように、前画像と後画像の少なくとも一方を調整する。ここでは、後画像に合わせて、前画像を調整する例について説明するが、前画像に合わせて後画像を調整してもよいし、前画像と後画像の両方が所定の平均および分散を有するように調整してもよい。本実施形態では、変化抽出部１０４は、前画像のＲＧＢ各バンドの画素値を次のように調整する。
ここで、Imgk[c,i,j] (k=1,2)は、前画像（k=1）または後画像（k=2）における画素(i,j)のバンドcの画素値を表す。Imgk[c]meanは、前画像（k=1）または後画像（k=2）の全体におけるバンドcの画素値の平均、Imgk[c]stdは、前画像（k=1）または後画像（k=2）の
全体におけるバンドcの画素値の分散を表す。
【数1】
ここで、Imgk[c,i,j] (k=1,2)は、前画像（k=1）または後画像（k=2）における画素(i,j)のバンドcの画素値を表す。Imgk[c]meanは、前画像（k=1）または後画像（k=2）の全体におけるバンドcの画素値の平均、Imgk[c]stdは、前画像（k=1）または後画像（k=2）の
全体におけるバンドcの画素値の分散を表す。
【0046】
ステップＳ２２において、変化抽出部１０４は、調整後の前画像と後画像について画素ごとに変化量Diffを算出する。本実施形態では、変化量Diffとして下記式で表すように各バンド値の差の２乗和を採用する。
なお、変化量Diffは、差の２乗和以外に、差の絶対値和などであっても構わない。
【数2】
なお、変化量Diffは、差の２乗和以外に、差の絶対値和などであっても構わない。
【0047】
ステップＳ２３において、変化量Diffからノイズを低減するために、変化抽出部１０４は、変化量Diffにカーネルサイズが小さな平滑化フィルタを掛ける。フィルタ適用後の変化量をDiffBlur1と称する。本実施形態では、以下に示すように、カーネルサイズ５×５
のガウシアンフィルタを掛ける。もっとも、カーネルサイズはこれに限られないし、ガウシアンフィルタ以外に、ボックスフィルタ（単純平均）、バイラテラルフィルタなどその他の平滑化フィルタを採用してもよい。以下での画像処理はOpenCV2に則って説明する。
なお、第３引数の０は、ガウシアンカーネルの標準偏差値をカーネルサイズに応じたデフォルト値にすることを意味する。
のガウシアンフィルタを掛ける。もっとも、カーネルサイズはこれに限られないし、ガウシアンフィルタ以外に、ボックスフィルタ（単純平均）、バイラテラルフィルタなどその他の平滑化フィルタを採用してもよい。以下での画像処理はOpenCV2に則って説明する。
【数3】
なお、第３引数の０は、ガウシアンカーネルの標準偏差値をカーネルサイズに応じたデフォルト値にすることを意味する。
【0048】
ステップＳ２４において、各画素の周辺領域の変化の（重み付け）平均を算出するために、変化抽出部１０４は、変化量Diffにカーネルサイズが大きな平滑化フィルタを掛ける。フィルタ適用後の変化量をDiffBlur2と称する。本実施形態では、本実施形態では、以
下に示すように、カーネルサイズ１５１×１５１のガウシアンフィルタを掛ける。もっとも、カーネルサイズはこれに限られないし、ガウシアンフィルタ以外に、ボックスフィルタ（単純平均）、バイラテラルフィルタなどその他の平滑化フィルタを採用してもよい。
下に示すように、カーネルサイズ１５１×１５１のガウシアンフィルタを掛ける。もっとも、カーネルサイズはこれに限られないし、ガウシアンフィルタ以外に、ボックスフィルタ（単純平均）、バイラテラルフィルタなどその他の平滑化フィルタを採用してもよい。
【数4】
【0049】
ステップＳ２５において、変化抽出部１０４は、前画像と後画像の画像ペアにおける影領域を抽出する。影領域抽出処理については後ほど説明する。
【0050】
ステップＳ２６において、変化抽出部１０４は、前画像と後画像の画素値の変化を表す変化指標DiffCorrを、次式に示すように、対象画素の画素値の変化と、対象画素の周辺領域の画素値の変化の平均の比として算出する。ただし、ステップＳ２５において影領域として求められた領域はDiffCorr=0（変化なし）とする。
このように変化指標として、対象画素の変化と対象画素の周辺領域の平均変化の比を採用することで、暗く写っている場所でも明るく写っている場所と同様に変化を捉えやすくなる。また、影領域の変化指標を０とすることで、影領域が変化として抽出されなくなる。
【数5】
このように変化指標として、対象画素の変化と対象画素の周辺領域の平均変化の比を採用することで、暗く写っている場所でも明るく写っている場所と同様に変化を捉えやすくなる。また、影領域の変化指標を０とすることで、影領域が変化として抽出されなくなる。
【0051】
ステップＳ２７において、変化抽出部１０４は、変化指標DiffCorrに基づいて、第１の
変化候補を抽出する。第１の変化候補は、次式のように閾値Th1より大きい変化指標DiffCorrを有する画素として抽出される。
変化候補を抽出する。第１の変化候補は、次式のように閾値Th1より大きい変化指標DiffCorrを有する画素として抽出される。
【数6】
【0052】
ここで、閾値Ｔｈ１は、所定値Ａと、変化指標DiffCorrにおける上位ｐ％（第１所定割合）に相当する値の大きい方の値として定義される。このような閾値Ｔｈ１の決定は次のことを意味する。変化抽出部１０４は、原則として、変化指標DiffCorrが所定値Ａ以上の箇所を変化候補とするが、変化候補は最大で分割領域のｐ％までとする。このように変化候補の大きさを制限するのは、大規模な変化がないという前提を置いて、誤検出を少なくするためである。
【0053】
所定値Ａとして、例えばＡ＝５を採用できる。これは、対象画素において、周辺領域の平均変化の５倍以上の変化があれば変化候補とすることを意味する。また、第１所定割合ｐは、例えば、ｐ＝２％とすることができる。
【0054】
ステップＳ２８において、変化抽出部１０４は、変化量DiffBlur1に基づいて、第２の
変化候補を抽出する。第２の変化候補は、次式のように画素値の変化量DiffBlur1が所定
値Ｔｈ２によりも大きい箇所として抽出される。所定値Ｔｈ２は、DiffBlur1における上
位ｑ％に相当する値である。ここで、例えば、ｑ＝１％である。なお、ｑ＜ｐである必要はなく、ｑ≧ｐでも構わない。
変化候補を抽出する。第２の変化候補は、次式のように画素値の変化量DiffBlur1が所定
値Ｔｈ２によりも大きい箇所として抽出される。所定値Ｔｈ２は、DiffBlur1における上
位ｑ％に相当する値である。ここで、例えば、ｑ＝１％である。なお、ｑ＜ｐである必要はなく、ｑ≧ｐでも構わない。
【数7】
【0055】
第２の変化候補は、画素値の変化量DiffBlur1においてもともと変化量が大きな画素な
画素に相当する。第２の変化候補を採用する理由は、変化量DiffBlur1が大きくても変化
範囲が広いと、周囲との比（DiffCorr）が小さくなってしまい、第１の変化候補からは漏れてしまうためである。このような変化の検出漏れを防ぐために、もともとの変化量（DiffBlur1）が比較的大きな画素は、第２の変化候補として別途抽出している。なお、この
ような理由による抽出であるため、第２の変化候補は、所定Th2はDiffBlur1の上位ｑ％に相当する値のような相対的な値である必要はなく、固定値であっても構わなく、また、第１の変化候補と同様に相対値と固定値の大きい方としてもよい。
画素に相当する。第２の変化候補を採用する理由は、変化量DiffBlur1が大きくても変化
範囲が広いと、周囲との比（DiffCorr）が小さくなってしまい、第１の変化候補からは漏れてしまうためである。このような変化の検出漏れを防ぐために、もともとの変化量（DiffBlur1）が比較的大きな画素は、第２の変化候補として別途抽出している。なお、この
ような理由による抽出であるため、第２の変化候補は、所定Th2はDiffBlur1の上位ｑ％に相当する値のような相対的な値である必要はなく、固定値であっても構わなく、また、第１の変化候補と同様に相対値と固定値の大きい方としてもよい。
【0056】
ステップＳ２９において、変化抽出部１０４は、ステップＳ２７で求めた第１の変化候補の領域とステップＳ２８で求めた第２の変化候補の領域との和領域（第１の変化候補＋第２の変化候補）にエリアオープニング処理を施す。エリアオープニング処理は、領域を所定画素だけ膨張した後に同じ画素だけ収縮する処理であり、小さなノイズを除去することができる。地物や地形の変化はある程度の大きさを有することが想定され、小さな変化箇所は誤検出である可能性が高いため、エリアオープニング処理は有効である。
【0057】
変化抽出部１０４は、エリアオープニング処理後に得られた領域を、現在扱っている前画像と後画像の画像ペアにおける変化候補として決定する。
【0058】
ここで、ステップＳ２５（図６）の影領域の抽出処理について説明する。図７は、ステップＳ２５の影抽出処理の詳細なフローチャートであり、図８は、影抽出処理を説明する図である。以下、図７，図８を参照しながら、影抽出処理について説明する。なお、ステップＳ２５を実行する変化抽出部１０４が、本発明における影領域抽出手段に相当する。
【0059】
ステップＳ３１において、変化抽出部１０４は、前画像と後画像のそれぞれから、明度
が閾値ｔｈ＿ｄａｒｋより小さな画素を抽出する。例えば、ｔｈ＿ｄａｒｋ＝５０（最大明度２５５）である。この処理は、まず濃い影のエリアを抽出する処理である。図８に示すように、前画像と後画像に写っている建物８０１に隣接して、それぞれ第１濃影領域８０２と第２濃影領域８０３が抽出される。このように、画像ごとに太陽高度や季節が異なるので、前画像と後画像で影のできかたが異なる。
が閾値ｔｈ＿ｄａｒｋより小さな画素を抽出する。例えば、ｔｈ＿ｄａｒｋ＝５０（最大明度２５５）である。この処理は、まず濃い影のエリアを抽出する処理である。図８に示すように、前画像と後画像に写っている建物８０１に隣接して、それぞれ第１濃影領域８０２と第２濃影領域８０３が抽出される。このように、画像ごとに太陽高度や季節が異なるので、前画像と後画像で影のできかたが異なる。
【0060】
ステップＳ３２において、第１濃影領域８０２と第２濃影領域８０３の共通領域を、濃影領域８０４として抽出する。このようにして得られた濃影領域８０４は、前画像と後画像において暗く写っている箇所であり、影領域である可能性が高い領域である。
【0061】
ステップＳ３３において、変化抽出部１０４は、前画像において濃影領域８０４を明度がｔｈ＿ｓｈａｄｏｗ（＞ｔｈ＿ｄａｒｋ）のエリアまで拡張する。例えば、ｔｈ＿ｓｈａｄｏｗ＝６０である。この結果、例えば、前画像において第１影領域８０５が得られる。
【0062】
ステップＳ３５において、変化抽出部１０４は、後画像において濃影領域８０４を明度がｔｈ＿ｓｈａｄｏｗ（＞ｔｈ＿ｄａｒｋ）のエリアまで拡張する。この結果、例えば、後画像において第２影領域８０６が得られる。
【0063】
ステップＳ３５において、変化抽出部１０４は、第１影領域８０５と第２影領域８０６の和領域（第１影領域８０５＋第２影領域８０６）を、前画像と後画像の画像ペアにおける影領域８０７として決定する。
【0064】
このような処理において、前画像と後画像のいずれかにおいて影である領域を抽出することができる。本実施形態では、地物や地形の変化を抽出することを目的としており、影による変化は除外したいので、上述したように影領域における変化指標DiffCorrを０とすることで、影領域を変化箇所候補として抽出することを防止できる。
【0065】
なお、影領域を変化箇所から除外することが目的なので、影領域についてはステップＳ２２で変化量Diffを０としてもよいし、影領域を考慮せずに変化箇所候補を求めた後に変化箇所候補から影領域を除外するようにしてもよい。
【0066】
以上で説明したステップＳ１３の処理により、前画像と後画像のペアにおける変化箇所候補が求められる。以上の説明は特定の画像ペアを想定したものであったが、ステップＳ１３の処理は、Ｎ×Ｍ通り全ての画像ペアを対象として行われる。すなわち、変化指標DiffCorrの算出や変化箇所候補の抽出は画像ペアごとに実施される。
【0067】
ステップＳ１４において、変化抽出部１０４は、対象分割量のＮ×Ｍ通りの画像ペアのうち、所定割合以上で変化箇所候補と決定された画素を変化箇所として決定する。所定割合は、例えば、１００％、９０％、７５％など要求に応じた適切な値を用いればよい。所定割合の値が大きいほど誤検出が減り検出漏れが増え、所定割合の値が小さいほど検出漏れが減り誤検出が増える。誤検出を小さく抑えるためには、所定割合は比較的大きな値を設定するのがよい。
【0068】
以上のステップＳ１２～Ｓ１４の処理により、対象分割領域を対象とする変化箇所の抽出が完了する。処理Ｌ１を、全ての分割領域を対象として実施することで、関心領域全体からの変化箇所の抽出が完了する。
【0069】
ステップＳ１５において、出力部１０５は、抽出した関心領域全体の変化箇所を出力する。出力の態様は特に限られず、変化箇所と関心領域の画像とを重畳して出力してもよい
し、変化箇所と関心領域の画像を別々に出力してもよいし、変化箇所のみをポリゴンとして出力してもよい。土地被覆に関する外部情報が利用可能な場合は、特定の土地被覆の変化箇所にも表示できるようにするため、土地被覆情報をポリゴンに付加して出力してもよい。なお、ここでの関心領域の画像は、例えば、分割領域ごとに品質のよい（被雲率の低い）分割画像を合成したものとすれば、雲の少ない関心領域全体の画像となる。出力部１０５は、抽出結果を表示装置に出力して表示してもよいし、記憶装置に出力して記憶してもよい。
し、変化箇所と関心領域の画像を別々に出力してもよいし、変化箇所のみをポリゴンとして出力してもよい。土地被覆に関する外部情報が利用可能な場合は、特定の土地被覆の変化箇所にも表示できるようにするため、土地被覆情報をポリゴンに付加して出力してもよい。なお、ここでの関心領域の画像は、例えば、分割領域ごとに品質のよい（被雲率の低い）分割画像を合成したものとすれば、雲の少ない関心領域全体の画像となる。出力部１０５は、抽出結果を表示装置に出力して表示してもよいし、記憶装置に出力して記憶してもよい。
【0070】
（実施形態の有利の効果）
本実施形態による変化抽出手法には次のような利点がある。
本実施形態による変化抽出手法には次のような利点がある。
【0071】
第１に、関心領域を複数の分割領域に分割して、分割領域ごとに変化を抽出している。したがって、分割領域について品質のよい画像を選択することができる。また、画像内が同一の土地被覆となりやすいので、画像による違いが生じにくい。この特徴は冒頭で述べた参考手法における課題１，２の解消に役立つ。
【0072】
第２に、画像ペアにおいて変化箇所候補を抽出する際に、分割領域内で変化指標DiffCorrの大きさ上位ｐ％までを抽出することで、変化箇所候補の画素数を分割領域全体のｐ％以下としている。変化指標の閾値を固定値とするのではなく、閣僚域内で相対的に大きな箇所を変化候補として抽出しているので、これは、分割領域に応じた適切な閾値を設定することと実質的に同じである。本手法では、適切な閾値を簡単に求めることができ、参考手法における課題１，２の解消に役立つ。
【0073】
第３に、画素値の変化量Diffの値そのものではなく、変化量Diff（あるいはノイズ除去したDiffBlur1）と周辺領域の平均変化DiffBlur2との比を変化指標として変化抽出をしている。これにより、明るく写っている場所も暗く写っている場所の同様の変化として評価でき、適切な変化抽出が可能となる。この特徴は参考手法における課題２の解消に役立つ。
【0074】
第４に、本手法による影領域抽出によれば、影領域を簡単かつ高精度に求めることができる。また、影領域は変化箇所から除外することで、太陽高度や季節による影のでき方による変化を除外して、地物や地形の変化のみを捉えることができる。この特徴は参考手法における課題３の解消に役立つ。
【0075】
第５に、複数の前画像と複数の前画像の全ての組合せについて変化箇所候補を抽出して、所定割合以上（あるいは全て）において変化箇所候補と判定された画素を変化箇所として抽出している。また、変化前後それぞれで良質な画像を複数枚取得し、全ての組合せで変化抽出を行っている。これにより、影や映り方に起因する見かけの変化や雲による変化を取り除き、地物や地形の実際の変化のみを抽出できる。この特徴は参考手法における課題１，３の解消に役立つ。
【0076】
以上のように、本実施形態によれば、場所ごとに閾値やパラメータを調整したり、学習データを収集したりする手間を掛けることなく、簡便に広域を対象とした誤検出の少ない高品質な変化抽出が可能となる。
【0077】
＜変形例＞
本発明の実施形態について説明したが、上記は本発明を限定する趣旨のものではない。本発明の技術的範囲は、特許請求の範囲の記載に基づいて決定されるべきであり、本明細書に開示されている技術的思想の範囲内での変形例も本発明に含まれる。
本発明の実施形態について説明したが、上記は本発明を限定する趣旨のものではない。本発明の技術的範囲は、特許請求の範囲の記載に基づいて決定されるべきであり、本明細書に開示されている技術的思想の範囲内での変形例も本発明に含まれる。
【0078】
例えば、上記では衛星画像を例に説明したが、人工衛星以外の飛行体（有人または無人の飛行機、気球、飛行船など）が撮影した空撮画像を対象として変化抽出をしてもよい。
【0079】
また、第１期間の空撮画像と第２期間の空撮画像の全ての画像ペアについて変化箇所候補を求めている（ステップＳ１３）が、必ずしも全ての画像ペアを対象とする必要はなく、全ての画像ペアのうちの複数の画像ペアについて変化箇所候補を求めても構わない。この場合、ステップＳ１４では、変化箇所候補を求めた画像ペアのうちの、所定割合以上で変化箇所候補であるとされた画素を変化箇所として決定すればよい。
【0080】
また、ステップＳ２３で画素ごとに変化量Ｄｉｆｆにカーネルサイズが比較的小さい平滑化フィルタを施した結果（DiffBlur1）を用いているが、これはノイズ低減を目的とす
るものなので、省略しても構わない。この場合、変化指標DiffCorrとしてDiff/DiffBlur2を用いてもよい。また、変化量Diffに平滑化フィルタ以外のフィルタ処理を施した結果をDiffBlur1として用いてもよい。
るものなので、省略しても構わない。この場合、変化指標DiffCorrとしてDiff/DiffBlur2を用いてもよい。また、変化量Diffに平滑化フィルタ以外のフィルタ処理を施した結果をDiffBlur1として用いてもよい。
【0081】
また、ステップＳ２７～Ｓ２９で、第１の変化候補と第２の変化候補を求めてその和領域を変化箇所候補としている。しかしながら、第１の変化候補と第２の変化候補のいずれか一方のみを用いてもよいし、さらに別途の手法により求められた第３の変化候補を考慮しても構わない。
【0082】
＜付記＞
本開示は以下の構成および方法を含む。
（構成１）
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得手段と、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、
前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、
を備える、ことを特徴とする空撮画像変化抽出装置。
（構成２）
前記変化指標は、対象画素の画素値の変化と対象画素の周辺領域の画素値の変化の平均との比に応じた値である、
ことを特徴とする構成１に記載の空撮画像変化抽出装置。
（構成３）
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の画素値の平均値および分散が一致するように、前記第１空撮画像と前記第２空撮画像の少なくとも一方を調整した後に、前記変化指標を求める、
ことを特徴とする構成１または２に記載の空撮画像変化抽出装置。
（構成４）
前記変化閾値は、前記第１空撮画像と前記第２空撮画像の変化指標の上位の第１所定割合に相当する変化指標の値と、所定値とのいずれか大きい方として、前記ペアごとに設定される、
ことを特徴とする構成１から３のいずれか１項に記載の空撮画像変化抽出装置。
（構成５）
前記変化候補抽出手段は、対象画素の画素値の変化が所定値よりも大きいときは、前記変化指標の値にかかわらず、前記対象画素を変化箇所候補とする、
ことを特徴とする構成１から４のいずれか１項に記載の空撮画像変化抽出装置。
（構成６）
前記変化候補抽出手段は、変化箇所候補に対してエリアオープニング処理を施して得られる領域の画素を、前記第１空撮画像と前記第２空撮画像のペアにおける最終的な変化箇所候補として抽出する、
ことを特徴とする構成１から５のいずれか１項に記載の空撮画像変化抽出装置。
（構成７）
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像のペアにおける影領域を求め、前記影領域は前記変化箇所候補に含めない、
ことを特徴とする構成１から６のいずれか１項に記載の空撮画像変化抽出装置。
（構成８）
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の両方において画素値が第１閾値以下の暗部領域を求め、前記第１空撮画像において前記暗部領域を画素値が前記第１閾値よりも大きな第２閾値以下の範囲まで拡張した第１領域と、前記第２空撮画像において前記暗部領域を画素値が前記第２閾値以下の範囲まで拡張した第２領域と、の和領域を前記影領域として求める、
ことを特徴とする構成７に記載の空撮画像変化抽出装置。
（構成９）
前記画像取得手段は、
前記第１期間の第１広域空撮画像の部分領域を前記第１空撮画像として取得し、
前記第２期間の第２広域空撮画像の前記部分領域を前記第２空撮画像として取得する、
ことを特徴とする構成１から８のいずれか１項に記載の空撮画像変化抽出装置。
（構成１０）
前記画像取得手段は、
Ｎ個より多い前記第１期間の第１広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｎ個の前記第１広域空撮画像から、前記Ｎ個の前記第１空撮画像を取得し、
Ｍ個より多い前記第２期間の第２広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｍ個の前記第２広域空撮画像から、前記Ｍ個の前記第２空撮画像を取得する、
ことを特徴とする構成９に記載の空撮画像変化抽出装置。
（構成１１）
関心領域を分割した複数の分割領域のそれぞれについて変化箇所を抽出し、前記第１期間と前記第２期間の間の前記関心領域における変化を求める、
ことを特徴とする構成９または１０に記載の空撮画像変化抽出装置。
（構成１２）
前記Ｎ個の前記第１空撮画像および前記Ｍ個の第２空撮画像の少なくともいずれかと、前記変化箇所とを重畳して出力する、出力手段をさらに備える、
ことを特徴とする構成１から１１のいずれか１項に記載の空撮画像変化抽出装置。
（構成１３）
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
を含む、ことを特徴とする空撮画像変化抽出方法。
（構成１４）
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
をコンピュータに実行させるためのプログラム。
本開示は以下の構成および方法を含む。
（構成１）
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得手段と、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出手段と、
前記複数のペアの所定割合以上において変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出手段と、
を備える、ことを特徴とする空撮画像変化抽出装置。
（構成２）
前記変化指標は、対象画素の画素値の変化と対象画素の周辺領域の画素値の変化の平均との比に応じた値である、
ことを特徴とする構成１に記載の空撮画像変化抽出装置。
（構成３）
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の画素値の平均値および分散が一致するように、前記第１空撮画像と前記第２空撮画像の少なくとも一方を調整した後に、前記変化指標を求める、
ことを特徴とする構成１または２に記載の空撮画像変化抽出装置。
（構成４）
前記変化閾値は、前記第１空撮画像と前記第２空撮画像の変化指標の上位の第１所定割合に相当する変化指標の値と、所定値とのいずれか大きい方として、前記ペアごとに設定される、
ことを特徴とする構成１から３のいずれか１項に記載の空撮画像変化抽出装置。
（構成５）
前記変化候補抽出手段は、対象画素の画素値の変化が所定値よりも大きいときは、前記変化指標の値にかかわらず、前記対象画素を変化箇所候補とする、
ことを特徴とする構成１から４のいずれか１項に記載の空撮画像変化抽出装置。
（構成６）
前記変化候補抽出手段は、変化箇所候補に対してエリアオープニング処理を施して得られる領域の画素を、前記第１空撮画像と前記第２空撮画像のペアにおける最終的な変化箇所候補として抽出する、
ことを特徴とする構成１から５のいずれか１項に記載の空撮画像変化抽出装置。
（構成７）
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像のペアにおける影領域を求め、前記影領域は前記変化箇所候補に含めない、
ことを特徴とする構成１から６のいずれか１項に記載の空撮画像変化抽出装置。
（構成８）
前記変化候補抽出手段は、前記第１空撮画像と前記第２空撮画像の両方において画素値が第１閾値以下の暗部領域を求め、前記第１空撮画像において前記暗部領域を画素値が前記第１閾値よりも大きな第２閾値以下の範囲まで拡張した第１領域と、前記第２空撮画像において前記暗部領域を画素値が前記第２閾値以下の範囲まで拡張した第２領域と、の和領域を前記影領域として求める、
ことを特徴とする構成７に記載の空撮画像変化抽出装置。
（構成９）
前記画像取得手段は、
前記第１期間の第１広域空撮画像の部分領域を前記第１空撮画像として取得し、
前記第２期間の第２広域空撮画像の前記部分領域を前記第２空撮画像として取得する、
ことを特徴とする構成１から８のいずれか１項に記載の空撮画像変化抽出装置。
（構成１０）
前記画像取得手段は、
Ｎ個より多い前記第１期間の第１広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｎ個の前記第１広域空撮画像から、前記Ｎ個の前記第１空撮画像を取得し、
Ｍ個より多い前記第２期間の第２広域空撮画像のうち、前記部分領域における被雲率が小さい上位Ｍ個の前記第２広域空撮画像から、前記Ｍ個の前記第２空撮画像を取得する、
ことを特徴とする構成９に記載の空撮画像変化抽出装置。
（構成１１）
関心領域を分割した複数の分割領域のそれぞれについて変化箇所を抽出し、前記第１期間と前記第２期間の間の前記関心領域における変化を求める、
ことを特徴とする構成９または１０に記載の空撮画像変化抽出装置。
（構成１２）
前記Ｎ個の前記第１空撮画像および前記Ｍ個の第２空撮画像の少なくともいずれかと、前記変化箇所とを重畳して出力する、出力手段をさらに備える、
ことを特徴とする構成１から１１のいずれか１項に記載の空撮画像変化抽出装置。
（構成１３）
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
を含む、ことを特徴とする空撮画像変化抽出方法。
（構成１４）
第１期間の空撮画像である第１空撮画像、および前記第１期間よりも後の第２期間の前記第１空撮画像と同じ領域の空撮画像である第２空撮画像を、それぞれをＮ個およびＭ個（ＮおよびＭはいずれも１以上の整数）取得する画像取得ステップと、
前記第１空撮画像と前記第２空撮画像のＮ×Ｍ通りの画像ペアのうちの複数のペアについて、第１空撮画像と第２空撮画像の間の画素値の変化を表す変化指標を画素ごとに求め、前記変化指標が前記第１空撮画像と前記第２空撮画像のペアに応じた変化閾値より大きい画素を変化箇所候補とする変化候補抽出ステップと、
前記複数のペアの所定割合以上において、変化箇所候補であるとされた画素を、変化箇所として決定する変化箇所抽出ステップと、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【0083】
１００：衛星画像変化抽出装置 １１０：衛星画像記憶装置 １２０：人工衛星
１０１：関心領域・時期入力部 １０２：関心領域分割部 １０３：画像取得部
１０４：変化抽出部 １０５：出力部
１０１：関心領域・時期入力部 １０２：関心領域分割部 １０３：画像取得部
１０４：変化抽出部 １０５：出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】