特許 7555734 家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-13

(45)【発行日】2024-09-25

(54)【発明の名称】家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240917BHJP

【ＦＩ】

G06T7/00 640

【請求項の数】 9

(21)【出願番号】P 2020103623

(22)【出願日】2020-06-16

(65)【公開番号】P2021196932

(43)【公開日】2021-12-27

【審査請求日】2023-04-06

【前置審査】

(73)【特許権者】

【識別番号】391021710

【氏名又は名称】株式会社インテック

(74)【代理人】

【識別番号】100095430

【弁理士】

【氏名又は名称】廣澤 勲

(72)【発明者】

【氏名】青木 功介

(72)【発明者】

【氏名】範 雋偉

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２００７－０３４８０８（ＪＰ，Ａ）

【文献】特開２００８－２７６６２１（ＪＰ，Ａ）

【文献】特開２０１８－０９２６０８（ＪＰ，Ａ）

【文献】特開２０１０－２７３８５９（ＪＰ，Ａ）

【文献】特開２０１９－０２８６５７（ＪＰ，Ａ）

【文献】特開２００９－２５１７９３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５４０４５（ＷＯ，Ａ１）

【文献】特開２０１９－０４６４１６（ＪＰ，Ａ）

【文献】特開平０９－０６１１６４（ＪＰ，Ａ）

【文献】渡辺 真太郎、外３名，“ステレオマッチングを応用した撮影の位置と時期が異なる航空写真からの建造物の変化抽出”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2002年10月01日，Vol.J85-D-II, No.10，pp.1531-1540

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

特定地域を異なる時期に撮影した２つの空中写真の画像データから、家屋の異動があった場所を抽出するコンピュータシステムであって、
第一の時期に撮影された前記空中写真の画像データである第一の画像データ、及び前記第一の時期より後の第二の時期に撮影された前記空中写真の画像データである第二の画像データを取得し、前記第一及び第二の画像データの中の少なくとも一方を射影変換することによって相互標定された、第一の補正画像データ及び第二の補正画像データを作成する補正画像データ作成部を備え、
前記補正画像データ作成部は、前記第一及び第二の画像データの互いに対応する位置を示す特徴点を、所定の特徴点抽出アルゴリズムを使用して４点以上抽出し、抽出した前記特徴点をもとに射影変換を行うものであり、
前記第一及び第二の補正画像データを取得し、互いに対応する位置の画素毎に色差を算出し、色差が所定の値よりも大きい画素をクラスタリングし、得られたクラスタ及びその周辺部を囲む色変化領域を抽出する色変化領域抽出部と、
任意の対象物及びその周辺部を囲む領域の画像データについて、当該対象物が家屋か家屋以外かがラベリングされた学習データに基づく機械学習によって作成された学習済みモデルを取得又は作成し、前記学習済みモデルを使用して、前記色変化領域抽出部により前記第一及び第二の補正画像データから抽出された前記色変化領域毎に、前記色変化領域内の対象物が「家屋」か「家屋以外」かを判定する家屋該当性判定部とを備え、
前記家屋該当性判定部の判定結果に基づいて、家屋の異動があった場所を抽出する処理を行う家屋異動検出システムにおいて、
前記家屋該当性判定部が行った判定結果の情報を取得して、家屋異動の内容を判別する異動内容判別部を備え、
前記異動内容判別部は、
前記第一の補正画像データで「家屋」と判定され、前記第二の補正画像データで「家屋以外」と判定された前記色変化領域で発生した家屋異動は、「家屋が取り壊された」であると判別し、
前記第一及び第二の補正画像データの双方で「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が改築された」であると判別し、
前記第一の補正画像データで「家屋以外」と判定され、前記第二の補正画像データで「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が新築された」であると判別し、
前記第一及び第二の補正画像データの双方で「家屋以外」と判定された前記色変化領域は、「家屋異動が発生していない」と判別することを特徴とする家屋異動検出システム。

【請求項2】

前記色変化領域抽出部は、色差が所定の値よりも大きい画素をクラスタリングしてクラスタ候補を抽出し、当該クラスタ候補及びその周辺部を囲む色変化領域候補を抽出した後、前記クラスタ候補が家屋以外のものである可能性が高い前記色変化領域候補を除外するため、前記色変化領域候補の面積又は形状又はその両方に基づく絞り込みを行い、残った前記色変化領域候補を前記色変化領域とする請求項１記載の家屋異動検出システム。

【請求項3】

前記色変化領域抽出部は、前記第一及び第二の補正画像データの互いに対応する位置の画素について、当該一対の画素の色の、Ｌ*ａ*ｂ*色空間又はＬ*ｕ*ｖ*色空間におけるユークリッド距離と、ＨＳＶ色空間又はＨＳＢ色空間又はＨＬＳ色空間における色相成分の角度差とに基づいて、前記色差を算出する請求項１又は２記載の家屋異動検出システム。

【請求項4】

前記家屋該当性判定部は、前記第一及び第二の補正画像データの中の前記色変化領域にある対象物について、「家屋」に該当する確率と「家屋以外」に該当する確率とを算出し、どちらの確率が高いかによって家屋か家屋以外かを判定する請求項１乃至３のいずれか記載の家屋異動検出システム。

【請求項5】

特定地域を異なる時期に撮影した２つの空中写真の画像データから、家屋の異動があった場所を抽出する家屋異動検出方法であって、
第一の時期に撮影された前記空中写真の画像データである第一の画像データ、及び前記第一の時期より後の第二の時期に撮影された前記空中写真の画像データである第二の画像データを取得し、前記第一及び第二の画像データの中の少なくとも一方を射影変換することによって相互標定された、第一の補正画像データ及び第二の補正画像データを作成する補正画像データ作成ステップと、
前記第一及び第二の補正画像データを取得し、互いに対応する位置の画素毎に色差を算出し、色差が所定の値よりも大きい画素をクラスタリングし、得られたクラスタ及びその周辺部を囲む色変化領域を抽出する色変化領域抽出ステップと、
任意の対象物及びその周辺部を囲む領域の画像データについて、当該対象物が家屋か家屋以外かがラベリングされた学習データに基づく機械学習によって作成された学習済みモデルを取得又は作成し、前記学習済みモデルを使用して、前記第一及び第二の補正画像データの中の前記色変化領域毎に、前記色変化領域内の対象物が「家屋」か「家屋以外」かを判定する家屋該当性判定ステップとを備え、
前記補正画像データ作成ステップは、前記第一及び第二の画像データの互いに対応する位置を示す特徴点を、所定の特徴点抽出アルゴリズムを使用して４点以上抽出し、抽出した前記特徴点をもとに射影変換を行うものであり、
前記家屋該当性判定ステップの判定結果に基づいて、家屋の異動があった場所を抽出する処理を行う家屋異動検出方法において、
前記家屋該当性判定ステップで行った判定結果の情報を取得して、家屋異動の内容を判別する異動内容判別ステップを備え、
前記異動内容判別ステップは、
前記第一の補正画像データで「家屋」と判定され、前記第二の補正画像データで「家屋以外」と判定された前記色変化領域で発生した家屋異動は、「家屋が取り壊された」であると判別し、
前記第一及び第二の補正画像データの双方で「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が改築された」であると判別し、
前記第一の補正画像データで「家屋以外」と判定され、前記第二の補正画像データで「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が新築された」であると判別し、
前記第一及び第二の補正画像データの双方で「家屋以外」と判定された前記色変化領域は、「家屋異動が発生していない」と判別することを特徴とする家屋異動検出方法。

【請求項6】

前記色変化領域抽出ステップでは、色差が所定の値よりも大きい画素をクラスタリングしてクラスタ候補を抽出し、当該クラスタ候補及びその周辺部を囲む色変化領域候補を抽出した後、前記クラスタ候補が家屋以外のものである可能性が高い前記色変化領域候補を除外するため、前記色変化領域候補の面積又は形状又はその両方に基づく絞り込みを行い、残った前記色変化領域候補を前記色変化領域とする請求項５記載の家屋異動検出方法。

【請求項7】

前記色変化領域抽出ステップでは、前記第一及び第二の補正画像データの互いに対応する位置の画素について、当該一対の画素の色の、Ｌ*ａ*ｂ*色空間又はＬ*ｕ*ｖ*色空間におけるユークリッド距離と、ＨＳＶ色空間又はＨＳＢ色空間又はＨＬＳ色空間における色相成分の角度差とに基づいて、前記色差を算出する請求項５又は６記載の家屋異動検出方法。

【請求項8】

前記家屋該当性判定ステップでは、前記第一及び第二の補正画像データの中の前記色変化領域にある対象物について、「家屋」に該当する確率と「家屋以外」に該当する確率とを算出し、どちらの確率が高いかによって家屋か家屋以外かを判定する請求項５乃至７のいずれか記載の家屋異動検出方法。

【請求項9】

請求項５乃至８のいずれか記載の家屋異動検出方法をコンピュータシステムに実行させるための、各ステップ実行用プログラムから成る家屋異動検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定地域を異なる時期に撮影した２つの空中写真（航空写真や衛星写真等）から、家屋の異動があった場所を抽出するコンピュータシステムである家屋異動検出システム、当該コンピュータシステムが実行する家屋異動検出方法及び家屋異動検出プログラムに関する。

【背景技術】

【0002】

従来、例えば特許文献１に開示されているように、同一地域を異なる時期に撮影した２つの航空写真を表示し、オペレータが固定資産の土地利用状況及び家屋形状の変化を判別しやすいように支援する変化判別支援システムがあった。このシステムは、新旧２つの航空写真の一方を射影変換し、他方の航空写真との相互標定を行う射影変換手段と、射影変換後の画像データを対比して表示する表示手段とを備えている。その他、射影変換後の画像について、対応するデータ毎に、その色データの色空間における距離を求め、求めた距離を所定の閾値と比較する画像データ比較手段と、画像データの比較結果を上記画像データに重ねて表示する表示手段とを設けることが記載されている。

【0003】

また、特許文献２に開示されているように、第１の時期と第２の時期との間における家屋の滅失を航空写真に基づいて判読するための滅失判読モデルを生成する家屋異動判別システムが開示されている。このシステムは、第１及び第２の航空写真（新旧２つの航空写真）とこれに対応する領域の家屋図データとを取得する取得部と、第１及び第２の航空写真と家屋図データをもとに、第１及び第２の航空写真から第１及び第２の家屋領域画像を抽出する抽出部と、第１及び第２の家屋領域画像に示される領域における家屋の滅失の有無を示す正解データを含む学習データを生成する学習データ生成部と、学習データに基づいて機械学習を行い、第１及び第２の家屋領域画像を入力として家屋の滅失の有無を示す家屋滅失情報を出力とする滅失判読モデルを生成するモデル生成部と、生成された滅失判読モデルを出力するモデル出力部とを備えている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平９－６１１６４号公報

【文献】特開２０２０－３０７３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の変化判別支援システムは、オペレータが行う作業が多く、オペレータの能力や熟練度によって、家屋異動判別の精度がばらついてしまうという問題がある。例えば、射影変換行う時、２つの航空写真（画像データ）の互いに対応する位置を示す特徴点を、オペレータが目視して抽出する構成になっているので、経験が浅いオペレータは特徴点を適切に抽出できず、相互標定を精度よく行うことができない。また、最終的な家屋異動の判別をオペレータが行う構成なので、オペレータの能力や熟練度によって判別結果が違ってしまう可能性がある。

【0006】

また、特許文献２の家屋異動判別システムは、家屋滅失を自動的に判別する構成なので、オペレータの能力や熟練度による影響は、ほぼ排除することができる。しかし、このシステムの場合、新旧２つの航空写真以外に、これに対応する領域の家屋図データも用意しなければならない。さらに、学習データ生成部は、新旧２つの画像データ及び正解データという３種類のデータにより学習データを生成する構成であり、学習データが複雑なものになるので、学習データを生成するのに手間が掛かる。また、このシステムは、家屋の滅失の有無を判別するものであるが、家屋が改築されたことは判別することは考慮されていない。

【0007】

本発明は、上記背景技術に鑑みて成されたものであり、家屋の異動があった場所を容易且つ高精度に抽出できる家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、特定地域を異なる時期に撮影した２つの空中写真の画像データから、家屋の異動があった場所を抽出するコンピュータシステムであって、第一の時期に撮影された前記空中写真の画像データである第一の画像データ、及び前記第一の時期より後の第二の時期に撮影された前記空中写真の画像データである第二の画像データを取得し、前記第一及び第二の画像データの中の少なくとも一方を射影変換することによって相互標定された、第一の補正画像データ及び第二の補正画像データを作成する補正画像データ作成部を備え、前記補正画像データ作成部は、前記第一及び第二の画像データの互いに対応する位置を示す特徴点を、所定の特徴点抽出アルゴリズムを使用して４点以上抽出し、抽出した前記特徴点をもとに射影変換を行うものであり、前記第一及び第二の補正画像データを解析することによって、家屋の異動があった場所を抽出する処理を行う家屋異動検出システムである。

【0009】

さらに、前記第一及び第二の補正画像データを取得し、互いに対応する位置の画素毎に色差を算出し、色差が所定の値よりも大きい画素をクラスタリングし、得られたクラスタ及びその周辺部を囲む色変化領域を抽出する色変化領域抽出部を備え、前記第一及び第二の補正画像データの中の前記色変化領域を解析することによって、家屋の異動があった場所を抽出する処理を行う。

【0010】

前記色変化領域抽出部は、色差が所定の値よりも大きい画素をクラスタリングしてクラスタ候補を抽出し、当該クラスタ候補及びその周辺部を囲む色変化領域候補を抽出した後、前記クラスタ候補が家屋以外のものである可能性が高い前記色変化領域候補を除外するため、前記色変化領域候補の面積又は形状又はその両方に基づく絞り込みを行い、残った前記色変化領域候補を前記色変化領域とする構成にすることが好ましい。また、前記色変化領域抽出部は、前記第一及び第二の補正画像データの互いに対応する位置の画素について、当該一対の画素の色の、Ｌ*ａ*ｂ*色空間又はＬ*ｕ*ｖ*色空間におけるユークリッド距離と、ＨＳＶ色空間又はＨＳＢ色空間又はＨＬＳ色空間における色相成分の角度差とに基づいて、前記色差を算出する構成にすることが好ましい。

【0011】

また、任意の対象物及びその周辺部を囲む領域の画像データについて、当該対象物が家屋か家屋以外かがラベリングされた学習データに基づく機械学習によって作成された学習済みモデルを取得又は作成し、前記学習済みモデルを使用して、前記第一及び第二の補正画像データの中の前記色変化領域毎に、前記色変化領域内の対象物が「家屋」か「家屋以外」かを判定する家屋該当性判定部を備え、前記家屋該当性判定部の判定結果に基づいて、家屋異動があった場所を抽出する処理を行う。前記家屋該当性判定部は、前記第一及び第二の補正画像データの中の前記色変化領域にある対象物について、「家屋」に該当する確率と「家屋以外」に該当する確率とを算出し、どちらの確率が高いかによって家屋か家屋以外かを判定する構成にすることが好ましい。

【0012】

さらに、前記家屋該当性判定部が行った判定結果の情報を取得して、前記第一の補正画像データで「家屋」と判定され、前記第二の補正画像データで「家屋以外」と判定された前記色変化領域で発生した家屋異動は、「家屋が取り壊された」であると判別し、前記第一及び第二の補正画像データの双方で「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が改築された」であると判別し、前記第一の補正画像データで「家屋以外」と判定され、前記第二の補正画像データで「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が新築された」であると判別し、前記第一及び第二の補正画像データの双方で「家屋以外」と判定された前記色変化領域は、「家屋異動が発生していない」と判別する異動内容判別部を備える。

【0013】

また本発明は、特定地域を異なる時期に撮影した２つの空中写真の画像データから、家屋の異動があった場所を抽出するコンピュータシステムによって実行される家屋異動検出方法であって、第一の時期に撮影された前記空中写真の画像データである第一の画像データ、及び前記第一の時期より後の第二の時期に撮影された前記空中写真の画像データである第二の画像データを取得し、前記第一及び第二の画像データの中の少なくとも一方を射影変換することによって相互標定された、第一の補正画像データ及び第二の補正画像データを作成する補正画像データ作成ステップを備え、前記補正画像データ作成ステップは、前記第一及び第二の画像データの互いに対応する位置を示す特徴点を、所定の特徴点抽出アルゴリズムを使用して４点以上抽出し、抽出した前記特徴点をもとに射影変換を行うものであり、前記第一及び第二の補正画像データを解析することによって、家屋の異動があった場所を抽出する処理を行う家屋異動検出方法である。

【0014】

さらに、前記第一及び第二の補正画像データを取得し、互いに対応する位置の画素毎に色差を算出し、色差が所定の値よりも大きい画素をクラスタリングし、得られたクラスタ及びその周辺部を囲む色変化領域を抽出する色変化領域抽出ステップを備え、前記第一及び第二の補正画像データの中の前記色変化領域を解析することによって、家屋の異動があった場所を抽出する処理を行う。

【0015】

前記色変化領域抽出ステップでは、色差が所定の値よりも大きい画素をクラスタリングしてクラスタ候補を抽出し、当該クラスタ候補及びその周辺部を囲む色変化領域候補を抽出した後、前記クラスタ候補が家屋以外のものである可能性が高い前記色変化領域候補を除外するため、前記色変化領域候補の面積又は形状又はその両方に基づく絞り込みを行い、残った前記色変化領域候補を前記色変化領域とする構成にすることが好ましい。また、前記色変化領域抽出ステップでは、前記第一及び第二の補正画像データの互いに対応する位置の画素について、当該一対の画素の色の、Ｌ*ａ*ｂ*色空間又はＬ*ｕ*ｖ*色空間におけるユークリッド距離と、ＨＳＶ色空間又はＨＳＢ色空間又はＨＬＳ色空間における色相成分の角度差とに基づいて、前記色差を算出する構成にすることが好ましい。

【0016】

また、任意の対象物及びその周辺部を囲む領域の画像データについて、当該対象物が家屋か家屋以外かがラベリングされた学習データに基づく機械学習によって作成された学習済みモデルを取得又は作成し、前記学習済みモデルを使用して、前記第一及び第二の補正画像データの中の前記色変化領域毎に、前記色変化領域内の対象物が「家屋」か「家屋以外」かを判定する家屋該当性判定ステップを備え、前記家屋該当性判定ステップの判定結果に基づいて、家屋異動があった場所及び家屋異動の内容を抽出する処理を行う。前記家屋該当性判定ステップでは、前記第一及び第二の補正画像データの中の前記色変化領域にある対象物について、家屋に該当する確率と家屋以外に該当する確率とを算出し、どちらの確率が高いかによって家屋か家屋以外かを判定する構成にすることが好ましい。

【0017】

さらに、前記家屋該当性判定ステップで行った判定結果の情報を取得して、前記第一の補正画像データで「家屋」と判定され、前記第二の補正画像データで「家屋以外」と判定された前記色変化領域で発生した家屋異動は、「家屋が取り壊された」であると判別し、前記第一及び第二の補正画像データの双方で「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が改築された」であると判別し、前記第一の補正画像データで「家屋以外」と判定され、前記第二の補正画像データで「家屋」と判定された前記色変化領域で発生した家屋異動は、「家屋が新築された」であると判別し、前記第一及び第二の補正画像データの双方で「家屋以外」と判定された前記色変化領域は、「家屋異動が発生していない」と判別する異動内容判別ステップを備える。

【0018】

さらに、本発明は、上記の家屋異動検出方法をコンピュータシステムに実行させるための、各ステップ実行用プログラムから成る家屋異動検出プログラムである。

【発明の効果】

【0019】

本発明の家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラムによれば、新旧２つの航空写真の画像データに対して独特な補正画像データ作成処理を行い、作成した補正画像データに基づいて家屋の異動を自動的に検出する構成なので、家屋異動があった場所を容易且つ高精度に抽出できる。また、色変化領域を解析し異動内容を判別することにより、家屋の異動内容についても、高精度に検出することができる。

【0020】

さらに、独特な色変化領域抽出、家屋該当性判定及び異動内容判別の各処理を行う構成にすることによって、コンピュータシステム及びプログラムを容易且つシンプルに作製することができ、コンピュータシステムの処理負担も軽くすることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の家屋異動検出方法の一実施形態の全体の流れを示すフローチャートである。

【図2】補正画像データ作成ステップで行う処理の流れを示すフローチャートである。

【図3】第一及び第二の画像データの具体例を示す図（ａ）、補正画像データ作成ステップの中の、特徴点を抽出する処理の具体例を示す図（ｂ）である。

【図4】補正画像データ作成ステップの中の、射影変換の処理の具体例を示す図（ａ）、射影変換処理を行うことによる効果を示す図（ｂ）である。

【図5】色変化領域抽出ステップで行う処理の流れを示すフローチャートである。

【図6】色変化領域抽出ステップの中の、２つの差分二値化画像を作成する処理及び合成した差分二値化画像を作成する処理の具体例を示す図である。

【図7】色変化領域抽出ステップの中の、合成した差分二値化画像からクラスタ候補及び色変化領域候補を抽出する処理の具体例を示す図である。

【図8】色変化領域抽出ステップの中の、合成した差分二値化画像からクラスタ候補及び色変化領域候補を抽出する処理の具体例を示す図である。

【図9】第一及び第二の補正画像データの中の、色変化領域とされた部分の画像の具体例を示す図である。

【図10】家屋該当性判定ステップ及び異動内容判別ステップで行う処理及び情報の流れを示すフローチャートである。

【図11】家屋該当性判定ステップで、家屋と判定される対象物と、家屋以外と判定される対象物の具体例を示す図（ａ）、（ｂ）である。

【図12】家屋該当性判定ステップで、家屋と判定される対象物と、家屋以外と判定される場合の具体例を示す図（ａ）、（ｂ）である。

【発明を実施するための形態】

【0022】

以下、本発明の家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラムの一実施形態について、図面に基づいて説明する。この実施形態の家屋異動検出システムは、特定地域を異なる時期に撮影した２つの空中写真の画像データから、家屋の異動があった場所、及び異動の内容を抽出するコンピュータシステムであり、補正画像データ作成部、色変化領域抽出部、家屋該当性判定部及び異動内容判別部により構成されている。

【0023】

この実施形態の家屋異動検出方法は、補正画像データ作成ステップS1、色変化領域抽出部ステップS2、家屋該当性判定ステップS3及び異動内容判別ステップS4を備え、ステップS1～S4は、上記の補正画像データ作成部、色変化領域抽出部、家屋該当性判定部及び異動内容判別部によって各々実行される。

【0024】

この実施形態の家屋異動検出プログラムは、上記の家屋異動検出方法をコンピュータシステム（家屋異動検出システム）に実行させるための、各ステップ実行用プログラムから成る。

【0025】

図１は、この実施形態の家屋異動検出方法の全体の流れを示しており、以下、補正画像データ作成ステップS1、色変化領域抽出部ステップS2、家屋該当性判定ステップS3及び異動内容判別ステップS4の内容を順に説明する。

【0026】

補正画像データ作成ステップS1では、まず、第一の時期に撮影された空中写真の画像データである第一の画像データG1と、第一の時期より後の第二の時期に撮影された空中写真の画像データである第二の画像データG2とを取得する。そして、図２に示すように、第一及び第二の画像データG1，G2の中の互いに対応する位置を示す４つの特徴点を、所定の特徴点抽出アルゴリズムを用いて抽出する処理を行う（ステップS11）。なお、４つの特徴点は、画像データG1，G2の中の、大きく離れた位置であることが求められる。

【0027】

ステップS11の具体例を説明すると、まず、図３（ａ）、（ｂ）に示すように、第一及び第二の画像データG1，G2を４象限マトリックス状に分割し、第１～第４象限の各中央部にある小領域１～４を切り出す。

【0028】

そして、所定の特徴点抽出アルゴリズムを使用し、小領域１～４の特徴点を自動的に抽出する。例えば、第一及び第二の画像データG1，G2の小領域１について、領域内の各部の特徴量を算出し、特徴量の距離が最短となる対応点（最も類似度が高い対応点）を小領域１の特徴点とする。さらに小領域２～４に対しても同様の処理を行い、合計４つの特徴点を抽出する。

【0029】

特徴点抽出アルゴリズムとしては、例えば、公知のＡＫＡＺＥ（Accelerated-KAZE）、ＳＩＦＴ（Scale-invariant
feature transform）、ＳＵＲＦ（Speed-Upped Robust Feature）等を使用することができる。特にＡＫＡＺＥは、画像の照明、回転、拡大縮小の変化に対してロバスト性が高く、かつ実行速度が速いという特徴があるので、このステップS11を行うのに適している。

【0030】

ステップS11が終了すると、抽出した４つの特徴点をもとに、第二の画像データG2を基準画像として第一の画像データG1を射影変換するための数値行列を算出する（ステップS12）。そして、図４（ａ）に示すように、算出した数値行列を使用して第一の画像データG1を射影変換し、相互標定された第一及び第二の補正画像データHG1，HG2を作成する（ステップS13）。この場合、第二の補正画像データHG2は、第二の画像データG2と同じものである。

【0031】

第一の画像データG1と第二の画像データG2は、ほぼ同じ領域を撮影したものではあるが、撮影環境や撮影条件の違いによって複雑なズレが生じている。そのため、図４（ｂ）の左図に示すように、第一及び第二の画像データG1，G2をそのまま重ねると、異動がない対象物（家屋等）であっても、正確に一致しない。しかし、補正画像データ作成ステップS1で作成した第一及び第二の補正画像データHG1，HG2を重ねると、図４（ｂ）の右図に示すように、異動がない対象物（家屋等）は、正確に一致する。

【0032】

なお、図２に示す補正画像データ作成ステップS1では、相互標定を行う時、第二の画像データG2を基準画像として第一の画像データG1を射影変換しているが、第一の画像データG1を基準画像として第二の画像データG2を射影変換するようにしてもよい。あるいは、第三の基準を設け、第一の画像データG1と第二の画像データG2の双方を射影変換するようにしてもよい。

【0033】

補正画像データ作成ステップS1が終了すると、次の色変化領域抽出ステップS2に進む。色変化領域抽出ステップS2では、まず、補正画像データ作成ステップS1で作成した第一及び第二の補正画像データHG1，HG2を取得する。そして、図５に示すように、ステップS21～S26を行って、対応する画素毎に、Ｌ*ａ*ｂ*色空間における色差（ユークリッド距離）とＨＳＶ色空間における色差（色相成分の角度差）とを算出する。

【0034】

通常、空中写真の画像データの各画素の色情報は、ＲＧＢ色空間の色データで表されている。そこで、Ｌ*ａ*ｂ*色空間における色差を算出するため、第一及び第二の補正画像データHG1，HG2の色データをＬ*ａ*ｂ*色空間の色データに変換し（ステップS21）、第一及び第二の補正画像データHG1，HG2の対応する画素毎に、Ｌ*ａ*ｂ*色空間におけるユークリッド距離を算出する（ステップS22）。そして、算出したユークリッド距離を指定の閾値で二値化処理し、差分二値化画像を作成する（ステップS23）。ステップS23で作成される差分二値化画像は、例えば図６の中段左図に示すような画像になる。

【0035】

同様に、ＨＳＶ色空間における色差を算出するため、第一及び第二の補正画像データHG1，HG2の色データをＨＳＶ色空間の色データに変換し（ステップS24）、第一及び第二の補正画像データHG1，HG2の対応する画素毎に、ＨＳＶ色空間における色相成分の角度差を算出する（ステップS25）。そして、算出した色相成分の角度差を指定の閾値で二値化処理し、差分二値化画像を作成する（ステップS26）。ステップS26で作成される差分二値化画像は、例えば図６の中段右図に示すような画像になる。

【0036】

そして、ステップS21～S26が終了するとステップS27に進み、２つの差分二値化画像の論理和をとって合成した差分二値化画像SGを作成する。ステップS27で作成される差分二値化画像SGは、例えば図６の下段に示すような画像になる。

【0037】

Ｌ*ａ*ｂ*色空間のような均等色空間におけるユークリッド距離は、人間が知覚する色差とほぼ等しいと言われている。そして、ＨＳＶ色空間における色差として、光の強度による変化が小さい色相成分の角度差を使用し、これを合成することによって、太陽光の強度や影の変化の影響を補正することができる。

【0038】

その後、ステップS28に進み、第一及び第二の補正画像データHG1，HG2の中から、色変化領域HRを抽出する処理を行う。具体的には、図７に示すように、まず、合成した差分二値化画像SGをクラスタリングしてクラスタ候補CLKを抽出し、クラスタ候補CLK及びその周辺部を囲む色変化領域候補HRKを抽出する。そして、クラスタ候補CLKが家屋以外のものである可能性が高い色変化領域候補HRKを除外する絞り込みを行い、残ったものを色変化領域HRとする。

【0039】

例えば、図８に示す差分二値化画像SG（画像全域）を見て分かるように、河原の部分は、非常に長くて大きいクラスタ候補を形成するので、家屋と区別することができる。道路の部分は、非常に細長いクラスタ候補を形成するので、家屋と区別することができる。また、森や山林の部分は非常に大きいクラスタ候補を形成し、自動車等がある部分は非常に小さいクラスタ候補を形成するので、家屋と区別することができる。

【0040】

したがって、例えば、図７の上段に示す差分二値化画像SGの場合、図７の中段に示すクラスタ候補CLKは、面積や形状に鑑みて「家屋である可能性が高い」と判断し、この色変化領域候補HRKを色変化領域HRにする。一方、図７の下段に示すクラスタ候補CLKは、面積や形状に鑑みて「家屋以外の可能性が高い」と判断し、これらの色変化領域候補HRKは色変化領域HRとせず、除外する。その結果、合成した差分二値化画像SGからは、図９の上段に示すように、斜線を付したクラスタCL及びこれを囲む色変化領域HRが抽出されることになる。なお、図９の下段は、第一及び第二の補正画像データHG1，HG2の中の、色変化領域HRに該当する部分の画像データを示している。

【0041】

色変化領域抽出ステップS2が終了すると、次の家屋該当性判定ステップS3に進む。家屋該当性判定ステップS3では、まず、第一及び第二の補正画像データHG1，HG2及び色変化領域HRの情報を取得する。そして、図１０に示すように、ステップS31で、第一の補正画像データHG1の中から色変化領域HR（HR1，HR2，HR3，・・・・）の画像データを抽出し、ステップS32で、第二の補正画像データHG2の中から色変化領域HR（HR1，HR2，HR3，・・・・）の画像データを抽出する。

【0042】

そしてステップS33に進み、任意の対象物及びその周辺部を囲む領域の画像データについて、当該対象物が「家屋」か「家屋以外」かがラベリングされた学習データに基づく機械学習によって作成された学習済みモデルを取得又は作成し、当該学習済みモデルを使用して、第一及び第二の補正画像データHG1，HG2の中の各色変化領域HR（HR1，HR2，HR3，・・・・）の中の対象物が、「家屋」か「家屋以外」かを判定する。図１１、図１２は、家屋該当性判定ステップS3を行った結果、「家屋」と判定される対象物と「家屋以外」と判定される対象物の具体例を各々示している。

【0043】

なお、この実施形態の場合、先の色変化領域抽出ステップS1のステップS28で、対象物が家屋以外（河原、道路、森等）の可能性が高いものを除外する処理を行っているので、ステップS33における機械学習の内容は、対象物の形状、色、テクスチャを見て行うシンプルなものにすることができる。

【0044】

また、ステップS33で「家屋」か「家屋以外」かを判定する時は、例えば、対象物が「家屋」に該当する確率と「家屋以外」に該当する確率とを算出し、どちらの確率が高いかによって判定することが好ましい。

【0045】

家屋該当性判定ステップS3が終了すると、次の異動内容判別ステップS4に進む。異動内容判別ステップS4では、家屋該当性判定ステップS3での判定結果の情報を取得し、各色変化領域HR（HR1，HR2，HR3，・・・・）で発生した家屋異動の内容が、「家屋が取り壊された」と「家屋が改築された」と「家屋が新築された」の中のどれであるか、あるいは「家屋異動が発生していない」かを判別する。

【0046】

例えば、図１１（ａ）に示すように、色変化領域HR1は、第一及び第二の補正画像データHG1，HG2の双方で「家屋」と判定されている。これは、第一の時期と第二の時期との間に家屋の形態が変化したということなので、色変化領域HR1で発生した家屋異動の内容は「家屋が改築された」と判別する。

【0047】

また、図１１（ｂ）に示すように、色変化領域HR2は、第一の補正画像データHG1で「家屋以外」と判定され、第二の補正画像データHG2で「家屋」と判定されている。これは、第一の時期と第二の時期との間に家屋が出現したということなので、色変化領域HR2で発生した家屋異動の内容は「家屋が新築された」と判別する。

【0048】

また、図１２（ａ）に示すように、色変化領域HR3は、第一及び第二の補正画像データHG1，HG2の双方で「家屋以外」と判定されている。これは、第一の時期と第二の時期の双方で家屋が存在していなということなので、色変化領域HR3は「家屋異動が発生していない」と判別する。

【0049】

また、図１２（ｂ）に示すように、色変化領域HR4は、第一の補正画像データHG1で「家屋」と判定され、第二の補正画像データHG2で「家屋以外」と判定されている。これは、第一の時期と第二の時期との間に家屋が消滅したということなので、色変化領域HR4で発生した家屋異動の内容は「家屋が取り壊された」と判別する。

【0050】

以上説明したように、この実施形態の家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラムによれば、新旧２つの航空写真の画像データG1，G2に対して独特な補正画像データ作成処理を行い、作成した補正画像データHG1，HG2に基づいて家屋の異動を自動的に検出する構成なので、家屋異動があった場所、及び家屋異動の内容を容易且つ高精度に抽出できる。さらに、独特な色変化領域抽出、家屋該当性判定及び異動内容判別の各処理を行う構成なので、コンピュータシステム及びプログラムを容易且つシンプルに作製することができ、コンピュータシステムの処理負担も軽くすることができる。

【0051】

なお、本発明の家屋異動検出システム、家屋異動検出方法及び家屋異動検出プログラムは、上記実施形態に限定されるものではない。例えば、上記の補正画像データ作成ステップS1では、図３に示すように、第一及び第二の画像データG1，G2を４象限マトリックス状に分割し、各象限から１つずつ特徴点を抽出しているが、これはあくまでも抽出方法の一例を示したものであり、これとは異なる方法で４つの特徴点を抽出してもよい。また、相互標定の精度を向上させるため、５つ以上の特徴点を抽出するようにしてもよい。

【0052】

上記の色変化領域抽出ステップS2では、一対の画素の色のＬ*ａ*ｂ*色空間におけるユークリッド距離と、ＨＳＶ色空間における色相成分の角度差とに基づいて色差を算出している。これはあくまでも好ましい例を示したものであり、上記のＬ*ａ*ｂ*色空間は、他の均等色空間であるＬ*ｕ*ｖ*色空間等に変更することができ、上記のＨＳＶ色空間は、類似した色相成分が規定されるＨＳＢ色空間やＨＬＳ色空間等に変更することができ、同様の作用効果が得られる。

【0053】

上記の色変化領域抽出ステップS2では、色変化領域候補HRKの中から色変化領域HRとするものを絞り込む処理（図５のステップS28）を行い、これによって、後の家屋該当性判定ステップS3の中のステップS33の機械学習の内容をシンプルなものにしている。しかし、ステップS28の中の絞り込みの処理は、必要に応じて省略してもよい。

【0054】

また、ステップS33では、「家屋」か「家屋以外」かがラベリングされた学習データに基づく機械学習によって作成された学習済みモデルを取得又は作成し、当該学習モデルを使用して「家屋」か「家屋以外」かを判定しているが、「家屋以外」を「駐車場」や「公園」等に分けて細かくラベリングした学習済みモデルを使用して、「家屋」か「家屋以外」かの判定を行うようにしてもよい。

【符号の説明】

【0055】

CL クラスタ
CLK クラスタ候補
G1 第一の画像データ
G2 第二の画像データ
HG1 第一の補正画像データ
HG2 第二の補正画像データ
HR 色変化領域
HRK 色変化領域候補
SG 合成した差分二値化画像
S1 補正画像データ作成ステップ
S2 色変化領域抽出ステップ
S3 家屋該当性判定ステップ
S4 異動内容判別ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】