特開 2024-134102 地物変化検知装置と地物変化検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134102

(43)【公開日】2024-10-03

(54)【発明の名称】地物変化検知装置と地物変化検知方法

(51)【国際特許分類】

   G06T 7/174 20170101AFI20240926BHJP

   G06T 7/00 20170101ALI20240926BHJP

   G06T 7/70 20170101ALI20240926BHJP

【ＦＩ】

G06T7/174

G06T7/00 640

G06T7/00 350B

G06T7/70 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023044213

(22)【出願日】2023-03-20

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】三木 亮祐

(72)【発明者】

【氏名】岡崎 聡一郎

(72)【発明者】

【氏名】伊藤 光一郎

(72)【発明者】

【氏名】渡邉 裕樹

(72)【発明者】

【氏名】森田 健一

(72)【発明者】

【氏名】脇阪 直樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA04

5L096DA01

5L096FA06

5L096FA54

5L096FA59

5L096FA69

5L096FA77

5L096GA08

5L096GA10

5L096GA51

5L096JA06

(57)【要約】

【課題】画像から得られた地物の位置と実際の地物の位置との差異を低減して、地物の変化に関する情報を提供できる地物変化検知装置を提供する。
【解決手段】本発明による地物変化検知装置は、上空から地物を撮像した比較対象画像３５と過去に上空から地物を撮像した過去画像３１のそれぞれから、地物マスク３６を生成する地物マスク推定部２１と、地物の位置情報が登録された地物領域情報３３と、過去画像３１から生成された地物マスク３６ａと比較対象画像３５から生成された地物マスク３６ｂのそれぞれに対して、地物領域情報３３に登録された地物との重複度を求め、重複度が閾値以上である地物に対応する領域を補正済みマスク情報３７に登録する地物マスク補正部２２と、過去画像３１から得られた補正済みマスク情報３７ａと比較対象画像３５から得られた補正済みマスク情報３７ｂとの差分を求めて、地物の時間変化を検知する地物変化検知部２３を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

上空または高所から地物を撮像した画像である比較対象画像を撮像するカメラと、
前記比較対象画像の撮像時点よりも前の時点で上空または高所から前記地物を撮像した画像である過去画像と、前記比較対象画像とのそれぞれから、前記地物の位置情報を表す地物マスクを生成する地物マスク推定部と、
前記地物の位置情報が予め登録された地物領域情報と、
前記過去画像から生成された前記地物マスクと前記比較対象画像から生成された前記地物マスクとのそれぞれに対して、前記地物領域情報に登録された前記地物との重複度を求め、前記地物との前記重複度が閾値以上である前記地物に対応する領域を、補正済みの前記地物マスクとして補正済みマスク情報に登録する地物マスク補正部と、
前記過去画像の前記地物マスクを用いて得られた前記補正済みマスク情報と、前記比較対象画像の前記地物マスクを用いて得られた前記補正済みマスク情報との差分を求めることで、前記地物の時間変化を検知する地物変化検知部と、
を備えることを特徴とする地物変化検知装置。

【請求項2】

機械学習により作成された地物マスク推定モデルを備え、
前記地物マスク推定部は、前記地物マスク推定モデルを用いて前記地物マスクを生成する、
請求項１に記載の地物変化検知装置。

【請求項3】

前記カメラと前記地物との間に存在する物体を地上属性とし、
前記地物マスク推定部は、前記過去画像と前記比較対象画像とのそれぞれから、前記地物と前記地上属性との位置情報を表す地物・地上属性マスクを生成する、
請求項１に記載の地物変化検知装置。

【請求項4】

前記地物・地上属性マスクは、前記地物マスクと、前記地上属性の位置情報を表す地上属性マスクを備え、
前記地物マスク補正部は、
前記過去画像から生成された前記地物・地上属性マスクと前記比較対象画像から生成された前記地物・地上属性マスクとのそれぞれに対して、前記地物領域情報に登録された前記地物との重複度を求め、
前記地上属性マスクとの前記重複度が閾値以上である前記地物に対応する領域を、地上属性付加地物として前記補正済みマスク情報に登録する、
請求項３に記載の地物変化検知装置。

【請求項5】

画面を有する出力部を備え、
前記出力部は、前記過去画像の前記地物マスクを用いて得られた前記補正済みマスク情報と、前記比較対象画像の前記地物マスクを用いて得られた前記補正済みマスク情報とで変化があった前記地物を、前記画面に表示する、
請求項１に記載の地物変化検知装置。

【請求項6】

画面を有する出力部を備え、
前記出力部は、前記地上属性付加地物を前記画面に表示する、
請求項４に記載の地物変化検知装置。

【請求項7】

前記地物領域情報には、前記地物として登録されていない物体の位置情報が登録されており、
前記地物変化検知部は、時間変化を検知した前記地物と同じ位置または近傍の位置にある前記物体が、前記過去画像の撮像時点と前記比較対象画像の撮像時点との間で変化したと推定する、
請求項１に記載の地物変化検知装置。

【請求項8】

上空または高所から撮像された地物の画像を比較対象画像とし、
前記地物の位置情報が予め登録された地物領域情報を備える地物変化検知装置に実行され、
前記地物変化検知装置が、前記比較対象画像の撮像時点よりも前の時点で上空または高所から前記地物を撮像した画像である過去画像と、前記比較対象画像とのそれぞれから、前記地物の位置情報を表す地物マスクを生成する地物マスク推定ステップと、
前記地物変化検知装置が、前記過去画像から生成された前記地物マスクと前記比較対象画像から生成された前記地物マスクとのそれぞれに対して、前記地物領域情報に登録された前記地物との重複度を求め、前記地物との前記重複度が閾値以上である前記地物に対応する領域を、補正済みの前記地物マスクとして補正済みマスク情報に登録する地物マスク補正ステップと、
前記地物変化検知装置が、前記過去画像の前記地物マスクを用いて得られた前記補正済みマスク情報と、前記比較対象画像の前記地物マスクを用いて得られた前記補正済みマスク情報との差分を求めることで、前記地物の時間変化を検知する地物変化検知ステップと、
を備えることを特徴とする地物変化検知方法。

【請求項9】

前記比較対象画像を撮像したカメラと前記地物との間に存在する物体を地上属性とし、
前記地物マスク推定ステップでは、前記過去画像と前記比較対象画像とのそれぞれから、前記地物と地上属性との位置情報を表す地物・地上属性マスクを生成し、
前記地物・地上属性マスクは、前記地物マスクと、前記地上属性の位置情報を表す地上属性マスクを備え、
前記地物マスク補正ステップでは、
前記過去画像から生成された前記地物・地上属性マスクと前記比較対象画像から生成された前記地物・地上属性マスクとのそれぞれに対して、前記地物領域情報に登録された前記地物との重複度を求め、
前記地上属性マスクとの前記重複度が閾値以上である前記地物に対応する領域を、地上属性付加地物として前記補正済みマスク情報に登録する、
請求項８に記載の地物変化検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地物の変化を検知するための地物変化検知装置と地物変化検知方法に関する。

【背景技術】

【0002】

航空機などによる上空からのセンシングや人工衛星からのセンシングは、地上の広範囲に渡る状況把握に用いられており、例えば災害発生時の被害状況の把握に活用される。また、無線通信技術の発展やカメラなどのハードウェアの小型化と高性能化が進んだことで、今日ではドローンを活用したリアルタイムなセンシングが一般的になっている。

【0003】

災害発生時には、避難誘導や救助活動を迅速かつ正確に行うために、災害による被害状況をいち早く把握することが非常に重要である。被害状況を測るための要素としては、例えば、土砂の流出領域を表す情報、洪水による浸水領域を表す情報、及び建物の倒壊や道路の破断・陥没を表す情報などがある。これらの情報を迅速かつ正確に把握することで、災害の被害を最小限に抑えることができる。

【0004】

災害による被害状況を認識する従来の方法として、例えば、災害発生後に上空から撮影した画像に対して、予め所定の被災状況を撮影した画像データなどを学習した認識モデルを用いることで、災害発生後の撮影画像内に災害が発生しているか否かを判定したり、被災箇所を表示したりする方法がある。

【0005】

特許文献１には、上空から撮影した画像と、災害発生前に取得された建物ポリゴンとから、建物の災害被害を推定する装置が記載されている。建物ポリゴンは、地表面での２次元の建物形状（建物の位置と領域）を表すデータである。この装置は、建物ポリゴンに対応する建物の被害状況を推定するための学習モデルを備え、ブルーシート被覆状態などを対象の被害状況として設定し、学習モデルの推定結果を特徴画像として出力し、建物ポリゴンごとに当該ポリゴンに対応する特徴画像を参照して、当該建物に発生している災害被害を推定する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－９５８８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一般に、カメラで上空または高所から撮像された光学画像では、レンズ収差による幾何的な変形が生じるため、画像中の建物は、事前に取得された建物ポリゴンとの間で位置にズレが生じることがある。従来の技術では、カメラを所定の手順でキャリブレーションすることでレンズ収差を除去した場合でも、撮像された画像と実際の地図とで位置を合わせないと、画像中の建物と建物ポリゴンとの間で位置が一致せず、特徴画像において建物の位置が実際と異なり、災害による被害状況を十分に正確かつ迅速に把握できないという課題がある。

【0008】

このため、上空から撮像された画像における地物（地上に存在する物体）の位置と実際の地物の位置との差異（位置ズレ）を低減して、地物の変化を正確に検知できる技術が望まれている。

【0009】

本発明の目的は、画像から得られた地物の位置と実際の地物の位置との差異を低減して、地物の変化に関する情報を提供できる、地物変化検知装置と地物変化検知方法を提供することである。

【課題を解決するための手段】

【0010】

本発明による地物変化検知装置は、上空または高所から地物を撮像した画像である比較対象画像を撮像するカメラと、前記比較対象画像の撮像時点よりも前の時点で上空または高所から前記地物を撮像した画像である過去画像と、前記比較対象画像とのそれぞれから、前記地物の位置情報を表す地物マスクを生成する地物マスク推定部と、前記地物の位置情報が予め登録された地物領域情報と、前記過去画像から生成された前記地物マスクと前記比較対象画像から生成された前記地物マスクとのそれぞれに対して、前記地物領域情報に登録された前記地物との重複度を求め、前記地物との前記重複度が閾値以上である前記地物に対応する領域を、補正済みの前記地物マスクとして補正済みマスク情報に登録する地物マスク補正部と、前記過去画像の前記地物マスクを用いて得られた前記補正済みマスク情報と、前記比較対象画像の前記地物マスクを用いて得られた前記補正済みマスク情報との差分を求めることで、前記地物の時間変化を検知する地物変化検知部とを備える。

【0011】

本発明による地物変化検知方法は、上空または高所から撮像された地物の画像を比較対象画像とし、前記地物の位置情報が予め登録された地物領域情報を備える地物変化検知装置に実行され、前記地物変化検知装置が、前記比較対象画像の撮像時点よりも前の時点で上空または高所から前記地物を撮像した画像である過去画像と、前記比較対象画像とのそれぞれから、前記地物の位置情報を表す地物マスクを生成する地物マスク推定ステップと、前記地物変化検知装置が、前記過去画像から生成された前記地物マスクと前記比較対象画像から生成された前記地物マスクとのそれぞれに対して、前記地物領域情報に登録された前記地物との重複度を求め、前記地物との前記重複度が閾値以上である前記地物に対応する領域を、補正済みの前記地物マスクとして補正済みマスク情報に登録する地物マスク補正ステップと、前記地物変化検知装置が、前記過去画像の前記地物マスクを用いて得られた前記補正済みマスク情報と、前記比較対象画像の前記地物マスクを用いて得られた前記補正済みマスク情報との差分を求めることで、前記地物の時間変化を検知する地物変化検知ステップとを備える。

【発明の効果】

【0012】

本発明によると、画像から得られた地物の位置と実際の地物の位置との差異を低減して、地物の変化に関する情報を提供できる、地物変化検知装置と地物変化検知方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施例１による地物変化検知装置の機能構成図。

【図2】地物変化検知装置のハードウェア構成の例を示す図。

【図3】実施例１において、地物変化検知装置が実行する処理の内容を説明する図。

【図4】地物マスク補正部の処理の内容の例を説明する図。

【図5】地物変化検知装置が実行する処理を示すフローチャートの例。

【図6】地物変化検知装置が出力する表示画面の例を示す図。

【図7】本発明の実施例２による地物変化検知装置の機能構成図。

【図8】実施例２において、地物変化検知装置が実行する処理の内容を説明する図。

【発明を実施するための形態】

【0014】

本発明による地物変化検知装置と地物変化検知方法では、互いに異なる時点で上空または高所から地物を撮像した少なくとも２枚の画像と、事前に取得された地物の位置情報とから、画像の撮像時点の間に生じた地物の変化を検知する。本発明によると、画像から得られた地物の位置と実際の地物の位置（事前に取得された地物の位置）との差異を低減して、地物の変化に関する情報を提供でき、地物の変化を正確に検知することができる。

【0015】

従来の技術では、地物を認識するための学習モデルを作成するために、地物の変化を起こす災害などを被った建物の画像を事前に大量に取得して学習する必要がある。しかし、災害の発生頻度は一般的に低く、学習に好適な画像を大量に取得することは非常に困難である。本発明では、地物の変化を検知するのに、学習に必要な画像を大量に取得する必要がない。

【0016】

また、従来の技術では、地物（例えば建物）が消失したか否かを判別するのが困難である。これは、画像から単純に得られた情報からは、地物が当初から存在しなかったのか消失したのかを区別できず、例えば、建物ポリゴンの情報に誤りがあり建物がそもそも存在しなかったのか、それとも災害によって建物が消失したのかを判別することができないからである。本発明では、建物が消失したか否かを容易に判別することができる。

【0017】

以下、本発明の実施例による地物変化検知装置と地物変化検知方法を、図面を用いて説明する。本発明の実施例による地物変化検知方法は、本発明の実施例による地物変化検知装置が実行する。

【0018】

本明細書において、地物とは、地上に存在する物体のことであり、例えば建物、道路、及び送電線などの人工物と、例えば植生などの自然物とを含めることができる。地物の変化とは、例えば、地物の形状や位置の変化や、地物の消失や出現のことである。また、地物の位置情報とは、地物の位置と領域（輪郭）を示す情報であり、単に地物の位置とも呼ぶ。

【0019】

なお、本明細書で用いる図面において、同一のまたは対応する構成要素には同一の符号を付け、これらの構成要素については繰り返しの説明を省略する場合がある。

【実施例0020】

本発明の実施例１による、地物変化検知装置と地物変化検知方法を説明する。

【0021】

図１は、本実施例による地物変化検知装置１０の機能構成図である。本実施例による地物変化検知装置１０は、カメラ１１を備えるとともに、地物マスク推定部２１、地物マスク補正部２２、及び地物変化検知部２３の機能部を備える。さらに、地物変化検知装置１０は、過去画像３１と、地物マスク推定モデル３２と、地物領域情報３３を備える。

【0022】

カメラ１１は、地上の画像を上空または高所から撮像する撮像装置である。カメラ１１は、任意の位置に固定されてもよく、航空機やドローンなどの制御された移動体に設置されてもよい。以下では、カメラ１１が撮像した画像を比較対象画像３５と呼ぶ。比較対象画像３５には、カメラ１１が撮像した地物が含まれている。

【0023】

過去画像３１は、カメラ１１が比較対象画像３５を撮像した時点よりも前の時点で、上空または高所から地物を撮像した画像である。過去画像３１から、過去の地物の位置情報が分かる。過去画像３１は、地物変化検知装置１０に保存されている。

【0024】

地物マスク推定モデル３２は、比較対象画像３５と過去画像３１から地物マスク３６を生成するためのモデルである。地物マスク３６とは、画像から得られた地物の位置情報、すなわち、画像から得られた地物の位置と領域を表す情報である。地物マスク３６には、１つまたは複数の地物についてのマスクが含まれる。地物マスク推定モデル３２は、例えば、画像から地物の位置と領域を認識する機械学習モデルであり、学習用に与えられた画像を用いた機械学習によって予め作成することができる。地物マスク推定モデル３２は、地物変化検知装置１０に保存されている。

【0025】

地物マスク推定部２１は、地物マスク推定モデル３２を用いて地物マスク３６を推定する。具体的には、地物マスク推定部２１は、カメラ１１が撮像した比較対象画像３５と、過去画像３１のうち比較対象画像３５と少なくとも一部が重複する画像を入力し、地物マスク推定モデル３２を用いて、比較対象画像３５と過去画像３１のそれぞれに対して地物マスク３６を生成する。地物マスク推定部２１は、生成した地物マスク３６を地物マスク補正部２２に出力する。

【0026】

なお、地物マスク３６は、地物の位置情報（地物の位置と領域を示す情報）、または任意の処理によって地物の位置情報が得られる情報で表現されればよい。地物マスク３６は、任意の形式で表現でき、例えば、地物の輪郭を形成する多角形の頂点や、地物を表すポリゴンなどを用いて表してもよい。

【0027】

地物領域情報３３は、地物の位置情報（地物の位置と領域を示す情報）が予め登録された情報であり、地物変化検知装置１０に保存されている。地物領域情報３３には、予め定められた地物についての位置情報が登録されている。地物領域情報３３は、地図などの公知の情報から取得した情報であり、地物変化検知装置１０の操作者や管理者が作成した情報でもよい。例えば、地物領域情報３３は、地物が存在する領域とそれ以外の領域とを区別したビットマップデータでもよく、または、国土地理院が公開している基盤地図情報に代表される、地物の輪郭を表すポリゴン情報でもよい。

【0028】

また、地物領域情報３３には、単一の地物が複数の地物に分割されたことにより形成された地物についての情報が登録されてもよく、複数の地物が単一の地物に統合されたことにより形成された地物についての情報が登録されてもよい。このように、地物領域情報３３に登録される地物の単位（１つの地物として扱う範囲）は、任意に定めることができる。

【0029】

地物マスク補正部２２は、過去画像３１から生成された地物マスク３６ａと比較対象画像３５から生成された地物マスク３６ｂのそれぞれに対して、地物領域情報３３に登録されている地物との重複度を求め、地物領域情報３３に登録されている地物と地物マスク３６ａ、３６ｂとが、重複度を用いた所定の判定条件を満たす場合には、この地物が存在すると判定する。そして、地物マスク補正部２２は、補正済みマスク情報３７を作成して出力する。

【0030】

補正済みマスク情報３７とは、過去画像３１と比較対象画像３５のそれぞれから生成された地物マスク３６を、地物領域情報３３を用いて補正した情報である。補正済みマスク情報３７には、地物マスク３６で表された地物のうち地物領域情報３３により存在が確認された地物について、この地物に対応する領域が補正済みの地物マスクとして登録されている。補正済みマスク情報３７には、地物領域情報３３に登録されている各地物が存在するか否かも記録される。なお、補正済みマスク情報３７は、文字データや画像データなど、任意のデータ形式で表現することができる。

【0031】

地物マスク補正部２２は、上記の処理を実施することで、過去画像３１から生成された地物マスク３６ａを用いて、補正済みマスク情報３７ａを作成し、比較対象画像３５から生成された地物マスク３６ｂを用いて、補正済みマスク情報３７ｂを作成する。

【0032】

地物マスク補正部２２について詳しく説明する。

【0033】

まず、地物マスク補正部２２は、地物マスク推定部２１から地物マスク３６を取得する。次に、地物マスク補正部２２は、地物領域情報３３の中から、取得した地物マスク３６に含まれる地物が存在する領域（すなわち、過去画像３１と比較対象画像３５の撮像領域に対応する領域）を抽出する。以下では、抽出した地物領域情報３３の領域を、地物領域情報３３の参照領域と呼ぶ。

【0034】

なお、本実施例では、一例として、過去画像３１と比較対象画像３５の撮像領域の全てが互いに一致した場合を例に挙げて説明する。過去画像３１と比較対象画像３５の撮像領域の一部が互いに一致する場合には、一致する領域に対応する地物領域情報３３を抽出してもよい。この場合でも、本実施例と同様の効果を得ることができる。

【0035】

次に、地物マスク補正部２２は、取得した地物マスク３６と、地物領域情報３３の参照領域との位置を合わせる。地物マスク補正部２２は、この位置合わせを、任意の方法で行う。例えば、カメラ１１の設置位置と姿勢を表す外部パラメータから計算によってカメラ１１の撮像領域を求め、この撮像領域に対応する地物領域情報３３を求めることで、地物マスク３６ｂと地物領域情報３３の参照領域との位置を合わせてもよい。また、比較対象画像３５を撮像した際に記録した、カメラ１１またはカメラ１１が設置された移動体（例えば航空機やドローン）の位置情報を、ＧＰＳ情報などから取得し、この位置情報を用いて地物マスク３６ｂと地物領域情報３３の参照領域との位置を合わせてもよい。

【0036】

次に、地物マスク補正部２２は、地物領域情報３３の参照領域に含まれる地物の中から１つの地物を選択する。そして、地物マスク補正部２２は、選択した地物と、地物マスク３６のうち選択した地物に対応するマスクとの重複度を基に、選択した地物が存在するか否かを判定する。地物マスク補正部２２は、上記の処理を、地物領域情報３３の参照領域に含まれる他の地物についても繰り返して、補正済みマスク情報３７を作成する。

【0037】

地物マスク補正部２２は、選択した地物が存在するか否かの判定に用いる重複度として、例えば、選択した地物（地物領域情報３３に含まれる地物）の領域と、地物マスク３６のうち選択した地物に対応するマスクとの重複面積を使用することができる。また、地物マスク補正部２２は、重複度として、選択した地物の領域の面積に対する、上記の重複面積の割合を使用してもよい。これらの面積は、例えば、画像上で領域を構成するピクセルの数などで表してもよい。

【0038】

地物マスク補正部２２は、地物領域情報３３に登録されている単一の地物を複数の地物に分割して形成した地物を、新たな地物として再定義してもよく、複数の地物を単一の地物に統合して形成した地物を、新たな地物として再定義してもよい。例えば、地物が建物である場合には、１つの建物を４つに分割し、これら４つの地物のそれぞれを新たな地物として登録してもよい。このようにすると、単一の建物のうち一部のみが災害などで消失した場合に、建物の一部の消失を検知することができる。

【0039】

さらに、地物マスク補正部２２は、地物のうち特定の領域を指定して、この領域での地物の有無の判定方法を、他の領域での判定方法と変えてもよい。例えば、地物が貯水ダムであるとすると、貯水ダムの輪郭の頂点部分は、多くの場合には認識できるが、その他の部分は、認識される領域が例えば貯水湖の貯水量によって動的に変化する。このような場合には、貯水ダムの輪郭の頂点部分以外の部分を特定の領域として指定し、この特定の領域では、判定に用いる重複度の閾値を、貯水ダムの頂点部分よりも低くしたり、後述する図２に示す入力部１２から受け取った貯水ダムの貯水量に従って動的に変化させたりしてもよい。

【0040】

地物変化検知部２３は、過去画像３１の撮像時点と比較対象画像３５の撮像時点との間での、地物の時間変化を検知する。地物変化検知部２３は、過去画像３１の地物マスク３６ａを用いて得られた補正済みマスク情報３７ａと、比較対象画像３５の地物マスク３６ｂを用いて得られた補正済みマスク情報３７ｂとの差分を求める。地物変化検知部２３が求めた差分（補正済みマスク情報３７ａと補正済みマスク情報３７ｂとの相違点）は、比較対象画像３５の撮像時点での、過去画像３１の撮像時点から変化した地物を表す。

【0041】

地物変化検知部２３は、このようにして、互いに異なる時点で撮像された画像から作成された、少なくとも２つ以上の補正済みマスク情報３７の間の差分を抽出する。この差分は、地物変化検知部２３が検知した地物の時間変化である。地物変化検知部２３は、求めた差分を、地物変化情報３４として出力する。

【0042】

地物変化情報３４は、地物変化検知部２３が検知した地物の時間変化についての情報である。地物変化情報３４は、比較対象画像３５に含まれる地物について、変化の有無を記録した情報を含むことができる。

【0043】

図２は、本実施例による地物変化検知装置１０のハードウェア構成の例を示す図である。地物変化検知装置１０は、図１に示したカメラ１１の他に、入力部１２、出力部１３、ＣＰＵ（Central Processing Unit）１４、主記憶装置１５、及び補助記憶装置１６を備える。

【0044】

入力部１２は、例えばキーボードやマウスなどで構成することができ、地物変化検知装置１０の操作者による入力を受け付ける。また、入力部１２は、カメラ１１が撮像した比較対象画像３５など、地物変化検知装置１０が必要とする画像や情報を入力する。

【0045】

出力部１３は、例えば液晶ディスプレイなどの画面を有し、操作者に対して各種情報を表示するのに用いられる。また、出力部１３は、例えばハードディスクドライブなどの記憶装置を備えることができ、例えば、地物変化検知装置１０の出力を画像データなどの形式で保存してもよい。

【0046】

ＣＰＵ１４は、地物変化検知装置１０の制御やデータの演算などを行う。ＣＰＵ１４は、各種のプログラムやデータを主記憶装置１５に展開し、これらのプログラムを実行することで、地物変化検知装置１０が備える機能（例えば、地物マスク推定部２１、地物マスク補正部２２、及び地物変化検知部２３）を実現する。

【0047】

主記憶装置１５は、例えばＲＡＭ（Random Access Memory）などで構成することができる。主記憶装置１５には、例えば、地物マスク推定部２１、地物マスク補正部２２、及び地物変化検知部２３などの機能を実現するプログラムが展開される。

【0048】

補助記憶装置１６は、例えばハードディスクドライブなどで構成することができる。補助記憶装置１６は、例えば、過去画像３１、地物マスク推定モデル３２、及び地物領域情報３３などの各種データを記憶する。

【0049】

図３は、実施例１において、地物変化検知装置１０が実行する処理の内容を説明する図である。図３には、過去画像３１と、比較対象画像３５と、過去画像３１から生成された地物マスク３６ａと、比較対象画像３５から生成された地物マスク３６ｂと、地物マスク３６ａを補正して得られた補正済みマスク情報３７ａと、地物マスク３６ｂを補正して得られた補正済みマスク情報３７ｂを示している。

【0050】

図３には、一例として、地物が建物であり、地物変化検知装置１０が、撮像した建物の変化を検知する例を示す。地物マスク３６には、建物マスクが含まれる。補正済みマスク情報３７には、補正した建物マスクである補正済み建物マスクが含まれる。

【0051】

過去画像３１には、地物として、建物Ｔ１、建物Ｔ２、建物Ｔ３、建物Ｔ４、及び建物Ｔ５が含まれている。

【0052】

比較対象画像３５は、過去画像３１が撮像された時点よりも後に撮像された画像である。過去画像３１が撮像された時点と、比較対象画像３５が撮像された時点の間に、土砂崩れが発生したとする。比較対象画像３５には、建物Ｔ１、建物Ｔ２、建物Ｔ４、及び建物Ｔ５が、土砂の流出によって押し流されて消失した後の様子が示されている。比較対象画像３５では、建物Ｔ３が現存している。

【0053】

地物マスク推定部２１は、過去画像３１と比較対象画像３５を入力し、過去画像３１に対して地物マスク３６ａを生成し、比較対象画像３５に対して地物マスク３６ｂを生成する。

【0054】

図３に示す例では、地物マスク推定部２１が、地物マスク推定モデル３２として、画像のピクセルごとに、当該ピクセルが認識対象に含まれるか否かを判定する機械学習アルゴリズムの一種であるセマンティック・セグメンテーション（Semantic segmentation）を用いた場合を示している。地物マスク推定部２１は、例えば、画像中で、建物が含まれる領域を１で表し、その他の領域を０で表した地物マスク３６を推定する。図３には、この地物マスク３６を画像で表示したものを、地物マスク３６ａと地物マスク３６ｂとして示している。

【0055】

一般的に、セマンティック・セグメンテーションを始めとする機械学習アルゴリズムの推定結果には、誤差が含まれる。例えば、図３に示す例では、建物Ｔ４は、過去画像３１に示すように実際は南北方向（図３の上下方向）に長い長方形であるが、地物マスク３６ａでは、建物Ｔ４に対応するマスクの形状が楕円形になっており、建物Ｔ４の本来の輪郭にズレなく沿ったマスクが得られていない。機械学習アルゴリズムでは、このような誤差が発生することが一般的である。

【0056】

このため、従来の技術のように、地物マスク３６ａと地物マスク３６ｂとの差分を計算して地物の変化を求めると、上記の誤差（実際の地物と地物マスク３６でこの地物を表すマスクとの間の誤差）が、差分として検知されてしまうことがある。このように、従来の技術には、上記の誤差を、本来検知するべき建物の変化と混同するという課題がある。

【0057】

本実施例では、この課題を解決するために、地物マスク補正部２２は、地物領域情報３３に含まれる地物の領域を用いて、地物マスク３６を補正する。具体的には、地物マスク補正部２２は、地物マスク３６ａと地物領域情報３３に登録されている地物との重複度を求め、この地物と地物マスク３６ａとが重複度を用いた所定の判定条件を満たす場合には、この地物が存在すると判定する。そして、地物マスク補正部２２は、地物マスク３６ｂと地物領域情報３３に登録されている地物との重複度を求め、この地物と地物マスク３６ｂとが重複度を用いた所定の判定条件を満たす場合には、この地物が存在すると判定する。

【0058】

地物マスク補正部２２は、このような判定を行い、存在する地物に対応する地物マスク３６ａ、３６ｂを求めることで地物マスク３６ａ、３６ｂを補正して、地物マスク３６ａを補正して得られた補正済みマスク情報３７ａと、地物マスク３６ｂを補正して得られた補正済みマスク情報３７ｂを求める。

【0059】

地物マスク補正部２２は、地物領域情報３３に登録されている地物のそれぞれに対して上記の処理を実施することで、補正済みマスク情報３７ａと補正済みマスク情報３７ｂを作成して出力する。

【0060】

地物変化検知部２３は、補正済みマスク情報３７ａと補正済みマスク情報３７ｂとの差分を抽出して求め、求めた差分を地物変化情報３４として出力する。

【0061】

以下では、地物マスク補正部２２の処理の詳細を説明する。

【0062】

図４は、地物マスク補正部２２の処理の内容の例を説明する図である。図４には、一例として、検知対象の地物が建物であり、地物領域情報３３が地物の輪郭を表すポリゴン情報である例を示している。

【0063】

図４には、地物マスク３６ａと地物マスク３６ｂを代表する地物マスク３６として、地物マスク３６ｃを示している。地物マスク３６ｃは、地物（建物）として４つのマスクＭ、すなわちマスクＭ１、マスクＭ２、マスクＭ３、及びマスクＭ４を含む。

【0064】

また、図４には、地物領域情報３３の参照領域（地物マスク３６に含まれる地物が存在する領域）として、地物領域情報３３ｃを示している。地物領域情報３３ｃには、４つの地物領域Ｒ、すなわち地物領域Ｒ１、地物領域Ｒ２、地物領域Ｒ３、及び地物領域Ｒ４が登録されている。

【0065】

また、図４には、地物マスク３６ｃと地物領域情報３３ｃとを重畳した図である重畳図４１を示している。

【0066】

さらに、図４には、重畳図４１を利用して地物マスク３６ｃと地物領域情報３３ｃとから得られた補正済みマスク情報３７ｃを示す図を示している。

【0067】

図４に示す例では、地物マスク補正部２２は、地物マスク３６ｃを入力し、地物マスク３６ｃに含まれるマスクＭと地物領域情報３３ｃに登録されている地物（地物領域Ｒ）との重複度を求め、補正済みマスク情報３７ｃを作成する。地物領域Ｒは、建物の輪郭を表すポリゴンで表されているとする。マスクＭ１～Ｍ４は、それぞれ地物領域Ｒ１～Ｒ４に対応する。

【0068】

また、図４に示す例では、地物マスク補正部２２は、各建物が存在するか否かの判定基準である重複度として、重複割合を用いる。重複割合とは、地物領域Ｒの面積に対する、重複面積の割合のことである。重複面積とは、地物領域Ｒと、地物マスク３６ｃのうち地物領域Ｒに対応する領域（マスクＭ）とが重複する面積のことである。そして、重複割合の閾値として５０％を用いることとする。すなわち、地物マスク補正部２２は、重複割合が５０％以上であると、建物が存在すると判定する。なお、この閾値は、５０％に限らず、任意の値に定めることができる。

【0069】

以下の説明では、地物マスク補正部２２が行う、重複度を用いた、地物が存在するか否かの判定の条件を、所定の判定条件と呼ぶ。上記の例では、所定の判定条件は、重複度が閾値以上（重複割合が５０％以上）であると建物が存在すると判定する、という条件である。

【0070】

なお、建物（地物）が存在するか否かの判定基準には、重複割合に限らず、任意の基準を用いることができ、例えば、重複面積の絶対値を用いてもよい。判定基準の閾値には、上述したように、任意の値を用いることができる。これらの判定基準と閾値は、予め補助記憶装置１６が記憶していてもよく、入力部１２を介して地物変化検知装置１０の操作者が設定してもよい。

【0071】

図４に示す例では、地物マスク３６ｃと地物領域情報３３ｃとを重畳すると、重畳図４１に示すように、地物領域Ｒ１の面積に対する、地物領域Ｒ１とマスクＭ１との重複面積の割合（重複割合）は、５０％以上である。重複割合が閾値（５０％）以上であるので、マスクＭ１は、地物領域Ｒ１に対応する建物の認識に成功している。

【0072】

地物マスク補正部２２は、地物領域Ｒ１について重複割合が閾値以上であるので、地物領域Ｒ１に対応する建物が存在すると判定する。そして、地物マスク補正部２２は、補正済みマスク情報３７ｃにおいて、地物領域Ｒ１に対応する領域を建物が存在する領域とする。すなわち、地物マスク補正部２２は、マスクＭ１が示す地物領域Ｒ１を、存在する建物として補正済みマスク情報３７ｃに記録する。

【0073】

地物マスク補正部２２は、地物領域Ｒ２に対しても、マスクＭ２についての重複割合が閾値以上であるので（重畳図４１）、地物領域Ｒ２に対応する建物が存在すると判定し、補正済みマスク情報３７ｃにおいて、地物領域Ｒ２に対応する領域を建物が存在する領域とする。すなわち、地物マスク補正部２２は、マスクＭ２が示す地物領域Ｒ２を、存在する建物として補正済みマスク情報３７ｃに記録する。

【0074】

また、地物領域Ｒ４は、地物マスク３６ｃに含まれるいずれのマスクＭ１～Ｍ４とも重複せず、重複面積と重複割合がゼロである（重畳図４１）。地物マスク補正部２２は、地物領域Ｒ４について重複割合が閾値未満であるので、地物領域Ｒ４に対応する建物が存在しないと判定する。

【0075】

また、図４に示す例では、重畳図４１に示すように、マスクＭ３は、地物領域情報３３ｃに登録された地物領域Ｒのいずれとも領域が重複しない。このため、マスクＭ３は、地物マスク推定部２１が建物を誤認識したために出現したマスクであることが推測できる。

【0076】

さらに、重畳図４１に示すように、マスクＭ４は、地物領域Ｒ３と領域が重複しているものの、重複割合が閾値（５０％）未満である。このため、マスクＭ４は、地物マスク推定部２１が建物を誤認識したために出現したマスクであることが推測できる。そして、地物マスク補正部２２は、地物領域Ｒ３に対応する建物が存在しないと判定する。

【0077】

地物マスク補正部２２は、以上のような処理を地物領域Ｒ１～Ｒ４のそれぞれに対して実施して、補正済みマスク情報３７ｃを作成する。補正済みマスク情報３７ｃでは、地物マスク３６ｃが地物領域情報３３ｃを用いて補正され、マスクＭ１、Ｍ２にそれぞれ対応する補正済み建物マスクＭ１１、Ｍ２２が示されている。また、補正済みマスク情報３７ｃでは、補正済み建物マスクＭ１１、Ｍ２２の輪郭の形状は、地物領域情報３３ｃによって補正され、それぞれ地物領域Ｒ１、Ｒ２と一致するようにマスクＭ１、Ｍ２から変化している。

【0078】

なお、図４では、一例として、補正済みマスク情報３７ｃが、補正された地物の領域情報をビットマップ画像として出力した形式の情報である例を示している。補正済みマスク情報３７は、例えば、地物の輪郭を表すポリゴンの情報でもよく、任意のデータ形式で表現することができる。

【0079】

上述したように、一般的な機械学習アルゴリズムでは、データを潤沢に学習したモデルを利用した場合でも、地物マスク３６の生成に微小な誤差が生じることがある。このため、従来の技術において、過去画像３１と比較対象画像３５のそれぞれに対して生成した地物マスク３６ａと地物マスク３６ｂとの差分を計算して地物の変化を検知すると、地物の実際の変化による差分だけでなく、地物マスク３６に生じた微小な誤差の影響などによる差分もノイズとして現れてしまう。このため、従来の技術では、このようなノイズのために、誤報や失報が発生することがある。

【0080】

本実施例では、地物領域情報３３を用いて地物マスク３６を補正した情報である補正済みマスク情報３７を用い、過去画像３１から得られた補正済みマスク情報３７ａと比較対象画像３５から得られた補正済みマスク情報３７ｂとを比較する。補正済みマスク情報３７ａ、３７ｂでは、地物領域情報３３に予め登録されている地物の位置情報に基づいて、地物の位置情報が得られている（すなわち、地物マスク３６が補正されている）。このため、本実施例では、地物マスク３６の生成で生じた誤差などの影響を受けることなく、時間の経過とともに生じた地物の変化を検知することができる。

【0081】

図５は、本実施例による地物変化検知装置１０が実行する処理を示すフローチャートの例である。

【0082】

ステップＳ１０１で、地物マスク推定部２１は、過去画像３１と、少なくとも１つ以上の比較対象画像３５を入力し、過去画像３１と比較対象画像３５のそれぞれに対して地物マスク３６を生成する。以下では、説明を分かり易くするために、比較対象画像３５が１つである場合を考え、過去画像３１に対応する地物マスク３６を地物マスク３６ａと称し、比較対象画像３５に対応する地物マスク３６を地物マスク３６ｂと称する。

【0083】

ステップＳ１０２で、地物マスク補正部２２は、地物マスク３６（３６ａ、３６ｂ）を入力し、地物領域情報３３のうち、取得した地物マスク３６に含まれる地物が存在する領域（すなわち、過去画像３１と比較対象画像３５の撮像領域に対応する領域）を抽出する。この抽出は、例えば、過去画像３１と比較対象画像３５が持っている位置情報（座標値）を用いて行うことができる。

【0084】

ステップＳ１０３で、地物マスク補正部２２は、後述の補正処理で補正されていない地物マスク３６を１つ選択する。地物マスク補正部２２は、複数の地物マスク３６を入力した場合には、全ての地物マスク３６に対して補正処理を実施する。本実施例では、地物マスク補正部２２が、初めに地物マスク３６ａを選択し、次に地物マスク３６ｂを選択する場合を説明する。

【0085】

ステップＳ１０４からステップＳ１０８が、地物マスク３６に対する補正処理である。

【0086】

ステップＳ１０４で、地物マスク補正部２２は、ステップＳ１０２で抽出した地物領域情報３３に登録されている地物の領域（地物領域情報３３の参照領域）のうち、地物が存在するか否かの判定（地物の存在判定）が実施されていない領域を１つ選択する。

【0087】

ステップＳ１０５で、地物マスク補正部２２は、ステップＳ１０４で選択した地物領域と、地物マスク３６との重複度を計算する。重複度は、既に説明したように、選択した地物が存在するか否かの判定に用いる値（所定の判定条件で使用される値）である。本実施例では、重複度として、既に説明した重複割合を用いる。重複割合は、ステップＳ１０４で選択した地物領域の面積に対する、重複面積の割合であり、重複面積は、この地物領域と、地物マスク３６のうちこの地物領域に対応する領域とが重複する面積である。

【0088】

ステップＳ１０６で、地物マスク補正部２２は、所定の判定条件に従い、ステップＳ１０５で計算して求めた重複度が、予め設定された閾値以上であるか否かを判定する。重複度が閾値以上である場合には、地物マスク補正部２２は、ステップＳ１０４で選択した地物領域に対応する地物が存在すると判定し、ステップＳ１０７の処理を実施する。一方、重複度が閾値未満である場合には、地物マスク補正部２２は、ステップＳ１０４で選択した地物領域に対応する地物が存在しないと判定し、ステップＳ１０８の処理を実施する。

【0089】

ステップＳ１０７で、地物マスク補正部２２は、ステップＳ１０４で選択した地物領域に対応する地物が存在するので、補正済みマスク情報３７において、この地物領域に対応する領域を地物が存在する領域とする。すなわち、地物マスク補正部２２は、地物マスク３６が示す地物領域を、存在する地物として補正済みマスク情報３７に記録する。

【0090】

補正済みマスク情報３７は、１つの地物マスク３６に対して少なくとも１つ作成される。本実施例では、地物マスク補正部２２は、地物マスク３６ａに対応する補正済みマスク情報３７ａと、地物マスク３６ｂに対応する補正済みマスク情報３７ｂの２つを作成する。

【0091】

ステップＳ１０８で、地物マスク補正部２２は、ステップＳ１０２で抽出した地物領域情報３３に登録されている全ての地物の領域に対して、地物が存在するか否かの判定（地物の存在判定）が実施されたか否かを判定する。地物の存在判定が実施されていない地物領域がある場合には、地物マスク補正部２２は、ステップＳ１０４の処理を実施し、地物の存在判定が実施されていない地物領域を新たに１つ選択する。全ての地物領域に対して地物の存在判定が実施された場合には、地物マスク補正部２２は、ステップＳ１０９の処理を実施する。

【0092】

ステップＳ１０９で、地物マスク補正部２２は、ステップＳ１０１で生成された全ての地物マスク３６に対して、上述の補正処理（ステップＳ１０４からステップＳ１０８）が実施されたか否かを判定する。全ての地物マスク３６に対して補正処理が実施された場合には、地物変化検知部２３がステップＳ１１０の処理を実施する。全ての地物マスク３６に対して補正処理が実施されていない場合には、地物マスク補正部２２がステップＳ１０３の処理を実施する。本実施例では、地物マスク補正部２２が、初めに地物マスク３６ａを選択し、次に地物マスク３６ｂを選択する。地物マスク３６ｂに対して補正処理が実施されていない場合には、地物マスク補正部２２は、ステップＳ１０３の処理を実施し、地物マスク３６ｂを選択する。

【0093】

ステップＳ１１０で、地物変化検知部２３は、ステップＳ１０７で作成された、複数の補正済みマスク情報３７を比較し、その差分を記録する。具体的には、地物変化検知部２３は、過去画像３１の地物マスク３６ａを補正して得られた補正済みマスク情報３７ａと、比較対象画像３５の地物マスク３６ｂを補正して得られた補正済みマスク情報３７ｂとの差分を求め、求めた差分を地物変化情報３４として出力する。地物変化検知部２３は、このようにして、過去画像３１の撮像時点と比較対象画像３５の撮像時点との間での、地物の変化を検知する。

【0094】

例えば、過去画像３１の撮像時点と比較対象画像３５の撮像時点との間に消失した地物を検知することが目的の場合には、地物変化検知部２３は、補正済みマスク情報３７ａから補正済みマスク情報３７ｂを差し引いた結果を求め、得られた結果を地物変化情報３４として記録する。

【0095】

また、例えば、地物が建物であり、過去画像３１の撮像時点と比較対象画像３５の撮像時点との間に新たに建築された建物を検知することが目的の場合には、補正済みマスク情報３７ｂから補正済みマスク情報３７ａを差し引いた結果を求め、得られた結果を地物変化情報３４として記録する。

【0096】

なお、本実施例では、１つの地物マスク３６には、１つの種類の地物を表すマスクだけが存在する例を説明した（例えば、図４の地物マスク３６ｃには、建物を表すマスクＭ１～Ｍ４だけが存在する）。１つの地物マスク３６には、複数の種類の地物（例えば、建物と道路）を表すマスクを含めることができる。

【0097】

また、地物の種類ごとに地物マスク３６を生成することができる。例えば、地物が建物と道路であるとすると、建物を表すマスクを含む地物マスク３６と道路を表すマスクを含む地物マスク３６という、２種類の地物マスク３６を生成してもよい。この場合には、ステップＳ１０２では、地物領域情報３３のうち、地物マスク３６が表す種類の地物が存在する領域を抽出する。

【0098】

図６は、本実施例による地物変化検知装置１０が出力する表示画面６０の例を示す図である。出力部１３（図２）は、例えば液晶ディスプレイなどの画面に表示画面６０を表示する。

【0099】

図６に示す表示画面６０は、過去画像３１の表示領域６１と、比較対象画像３５の表示領域６５と、地物変化検知部２３が検知した地物の変化を示す画像（検知結果画像）の表示領域６３を備える。過去画像３１の表示領域６１は、比較対象画像３５に対応する領域の過去画像３１を表示する。比較対象画像３５の表示領域６５は、例えば、カメラ１１が撮像した比較対象画像３５を表示する。

【0100】

検知結果画像の表示領域６３は、例えば、過去画像３１に対する補正済みマスク情報３７ａと、比較対象画像３５に対する補正済みマスク情報３７ｂとの差分から得られる画像を、検知結果画像として表示する。すなわち、検知結果画像には、過去画像３１の地物マスク３６ａを用いて得られた補正済みマスク情報３７ａと、比較対象画像３５の地物マスク３６ｂを用いて得られた補正済みマスク情報３７ｂとで変化があった地物が表示されている。

【0101】

図６の検知結果画像の表示領域６３には、一例として、倒壊して消失した建物、すなわち、過去画像３１には存在するが比較対象画像３５には存在しない建物が表示されている。この建物は、過去画像３１に対する補正済みマスク情報３７ａと、比較対象画像３５に対する補正済みマスク情報３７ｂとで変化があった地物である。

【0102】

また、表示画面６０は、設定領域６７を備えることができる。設定領域６７は、地物変化検知装置１０の操作者が表示画面６０に表示する画像を設定するための領域である。

【0103】

操作者は、入力部１２（図２）を用いて設定領域６７を操作して、検知結果画像の表示領域６３に表示する情報を変更することができる。例えば、操作者は、設定領域６７のチェックボックスやラジオボタンにより、表示領域６３に表示する地物（建物）を選ぶことができる。図６に示す例では、操作者は、倒壊した建物または現存する建物を表示することができる。また、例えば、操作者は、設定領域６７のスライダーにより、地物マスク補正部２２が地物の存在判定を実施するときに使用する重複度の閾値を変更することができる。

【0104】

また、表示画面６０は、操作者が設定領域６７を操作することにより、地物領域情報３３や、地物マスク推定部２１が生成した地物マスク３６を、過去画像３１と比較対象画像３５とに重ねて表示してもよい。

【0105】

さらに、表示画面６０は、例えば、操作者が入力部１２のマウスを操作し、マウスカーソルを過去画像３１の地物上に移動させた際に、この地物の情報をポップアップなどの追加のウィンドウなどで表示してもよい。このような情報の例には、地物を管理するための通し番号である地物ＩＤや、地物の存在判定の結果（例えば、建物の消失と現存）が含まれる。

【0106】

本実施例による地物変化検知装置１０は、地物として登録されていない物体の位置情報を、地物領域情報３３に含めることができる。すなわち、地物領域情報３３には、地物として登録されていない物体の位置情報も登録されていてもよい。以下では、地物として登録されていないが、位置情報が既知の物体を、非地物物体と呼ぶ。地物領域情報３３は、地図情報などとして、非地物物体の位置情報を持つことができる。

【0107】

非地物物体には、過去画像３１や比較対象画像３５に映らない物体が含まれ、例えば、地中に埋設された水道管、光ファイバーケーブル、及び送電線などが含まれる。地上の送電線も、過去画像３１や比較対象画像３５に映らなければ、非地物物体に含めることができる。

【0108】

地物変化検知部２３は、地物領域情報３３を用いて非地物物体の位置情報を参照し、非地物物体と同じ位置または非地物物体の近傍の位置にある地物の変化を検知した結果から、非地物物体の変化を推定して求めることができる。例えば、地物変化検知部２３は、変化を検知した地物と同じ位置または近傍の位置にある非地物物体が、過去画像３１の撮像時点と比較対象画像３５の撮像時点との間で、地物と同様に変化したと推定する。

【0109】

例えば、地物が道路であり、非地物物体がこの道路の下の地中に埋まっている水道管であるとする。そして、地物変化検知部２３は、地物の変化として、この道路の破断や陥没などの事象を検知したとする。このとき、地物変化検知部２３は、この道路と同じ位置またはこの道路の近傍の位置に水道管がある場合には、この水道管も道路と同様に破損していると推定する。具体的には、地物変化検知部２３は、道路の破断を検知した際に、この破断の位置と同一またはこの破断の位置から一定の半径内に水道管が設置されている場合には、この水道管が破損している可能性が高いため、この水道管が破損している、またはこの水道管を要検証な物体として記録する。

【0110】

以上の処理により、本実施例による地物変化検知装置１０は、地物として登録されていない物体や画像に映らない物体の変化を推定することができる。

【0111】

本実施例による地物変化検知装置１０は、以上説明したように、過去画像３１から生成された地物マスク３６ａと比較対象画像３５から生成された地物マスク３６ｂのそれぞれに対して、地物領域情報３３に登録されている地物との重複度を求めて補正済みマスク情報３７を作成することで、画像から得られた地物の位置と実際の地物の位置との差異を低減して、地物の変化に関する情報を提供することができる。

【実施例0112】

本発明の実施例２による、地物変化検知装置と地物変化検知方法を説明する。以下では、本実施例による地物変化検知装置と地物変化検知方法について、実施例１と異なる点を主に説明する。

【0113】

実施例１では、地物変化検知装置１０が、互いに異なる時点で撮像された画像（過去画像３１と比較対象画像３５）から地物マスク３６を生成し、地物マスク３６を用いて作成された補正済みマスク情報３７（３７ａ、３７ｂ）の間の差分から、地物の変化を検知する。

【0114】

本実施例では、比較対象画像３５と過去画像３１のそれぞれに対して、地物マスク３６に加えて地上属性マスクを推定して生成することで、地物の変化が曖昧である場合でも、地物の変化に関する情報を提供することができる。

【0115】

地上属性とは、地物とカメラ１１の間に存在し、カメラ１１による地物の撮像を遮る物体のことである。すなわち、カメラ１１が撮像した画像において、地物は、地上属性と重なって地上属性に隠れており、一部または全てが映っていない。

【0116】

地物・地上属性マスクとは、地物マスクと地上属性マスクの総称である。地上属性マスクは、画像から得られた地上属性の位置情報、すなわち、画像から得られた地上属性の位置と領域を表す情報である。従って、地物・地上属性マスクは、画像から得られた地物と地上属性の位置情報、すなわち、画像から得られた地物と地上属性の位置と領域を表す情報である。地物・地上属性マスクは、地物マスクと地上属性マスクの両方を含むので、地物・地上属性マスクには、１つまたは複数の地物と地上属性についてのマスクが含まれる。

【0117】

図７は、本実施例による地物変化検知装置１０の機能構成図である。本実施例による地物変化検知装置１０は、地物マスク推定部２１と地物マスク補正部２２の構成が実施例１と異なるとともに、地物マスク推定モデル３２の代わりに地物・地上属性マスク推定モデル３２ａを備える点が実施例１と異なる。

【0118】

地物・地上属性マスク推定モデル３２ａは、比較対象画像３５と過去画像３１から地物・地上属性マスク３８（すなわち、地物マスクと地上属性マスクの両方）を生成するためのモデルである。地物・地上属性マスク推定モデル３２ａは、例えば機械学習により予め作成することができ、地物変化検知装置１０に保存されている。

【0119】

地物マスク推定部２１は、地物・地上属性マスク推定モデル３２ａを用いて、比較対象画像３５と過去画像３１のそれぞれに対して地物・地上属性マスク３８を推定して生成する。地物マスク推定部２１は、生成した地物・地上属性マスク３８を地物マスク補正部２２に出力する。

【0120】

地物マスク補正部２２は、過去画像３１から生成された地物・地上属性マスク３８ａと比較対象画像３５から生成された地物・地上属性マスク３８ｂのそれぞれに対して、地物領域情報３３に登録されている地物との重複度を求め、補正済みマスク情報３７を作成して出力する。本実施例では、補正済みマスク情報３７とは、過去画像３１と比較対象画像３５のそれぞれから生成された地物・地上属性マスク３８を、地物領域情報３３を用いて補正した情報である。補正済みマスク情報３７には、地物・地上属性マスク３８で表された地物のうち地物領域情報３３により存在が確認された地物について、この地物に対応する領域が補正済みの地物マスクとして登録されているとともに、地物・地上属性マスク３８と地物領域情報３３により要検証とされた地物（要検証地物）についての情報が含まれる。

【0121】

地物マスク補正部２２は、地物領域情報３３に登録されている地物が地物マスクと所定の判定条件（実施例１で説明した、重複度を用いた所定の判定条件）を満たす場合には、この地物が存在すると判定する。そして、地物マスク補正部２２は、地物領域情報３３に登録されている地物が地上属性マスクと所定の判定条件を満たす場合には、この地物が地上属性付加地物であると判定する。地上属性付加地物とは、地物のうち、カメラ１１が撮像した画像において、地上属性と重なって地上属性の陰になり、一部または全てが映っていない地物のことである。なお、本実施例では、実施例１での所定の判定条件において、地物マスク補正部２２は、地物・地上属性マスク３８（地物マスクと地上属性マスク）と地物領域情報３３に登録されている地物との重複度を求める。

【0122】

地物マスク補正部２２は、上記の処理を実施することで、過去画像３１から生成された地物・地上属性マスク３８ａを用いて、補正済みマスク情報３７ａを作成し、比較対象画像３５から生成された地物・地上属性マスク３８ｂを用いて、補正済みマスク情報３７ｂを作成する。また、地物マスク補正部２２は、地上属性付加地物が存在する場合には、地上属性付加地物である地物についての情報を、地物変化検知部２３に出力する。

【0123】

地物変化検知部２３は、補正済みマスク情報３７ａと補正済みマスク情報３７ｂとの差分を抽出して求め、求めた差分を地物変化情報３４として出力する。また、地物変化検知部２３は、地上属性付加地物が存在する場合には、地上属性付加地物である地物を要検証地物とし、この地物についての情報を出力する。地上属性付加地物は、画像において地上属性と重なっている地物であり、地上属性のために実際に存在するか否かが不明なことがある。このため、地上属性付加地物である地物を、実際に存在するか否かの検証が必要な要検証地物とする。

【0124】

出力部１３（図２）は、例えば液晶ディスプレイなどの画面に、地上属性付加地物である地物を、要検証地物として表示することができる。

【0125】

図８は、実施例２において、地物変化検知装置１０が実行する処理の内容を説明する図である。図８には、過去画像３１と、比較対象画像３５と、過去画像３１から生成された地物・地上属性マスク３８ａと、比較対象画像３５から生成された地物・地上属性マスク３８ｂと、地物・地上属性マスク３８ａを補正して得られた補正済みマスク情報３７ａと、地物・地上属性マスク３８ｂを補正して得られた補正済みマスク情報３７ｂを示している。

【0126】

図８には、一例として、地物が建物であり、地上属性が植生であり、地物変化検知装置１０が、撮像した建物の変化を検知する例を示す。なお、地上属性は、植生に限らず、例えば、雲、送電線、及び飛行物などでもよい。地物・地上属性マスク３８には、地物マスクである建物マスクと、地上属性マスクである植生マスクが含まれる。補正済みマスク情報３７には、補正した建物マスクである補正済み建物マスクと、地上属性付加地物３９が含まれる。

【0127】

過去画像３１には、地物として、建物Ｔ１、建物Ｔ２、建物Ｔ３、建物Ｔ４、及び建物Ｔ５が含まれているとともに、地上属性として、植生Ｐが含まれている。過去画像３１において、建物Ｔ３と建物Ｔ４は、植生Ｐと重なって植生Ｐに隠れており、一部が映っていない。

【0128】

比較対象画像３５は、過去画像３１が撮像された時点よりも後に撮像された画像である。過去画像３１が撮像された時点と、比較対象画像３５が撮像された時点の間に、土砂崩れが発生したとする。比較対象画像３５には、建物Ｔ１、建物Ｔ２、建物Ｔ４、及び建物Ｔ５が、土砂の流出によって押し流されて消失した後の様子が示されている。比較対象画像３５では、建物Ｔ３が現存している。

【0129】

地物マスク推定部２１は、過去画像３１と比較対象画像３５を入力し、過去画像３１に対して地物・地上属性マスク３８ａを生成し、比較対象画像３５に対して地物・地上属性マスク３８ｂを生成する。地物・地上属性マスク３８ａには、建物Ｔ１～Ｔ５に対応する地物マスク（建物マスク）と、植生Ｐに対応する地上属性マスク（植生マスク）が含まれる。地物・地上属性マスク３８ｂには、植生マスクのみが含まれる。

【0130】

図８に示す例では、地物マスク推定部２１が、地物・地上属性マスク推定モデル３２ａとして、画像のピクセルごとに、当該ピクセルが認識対象に含まれるか否かを判定する機械学習アルゴリズムの一種であるセマンティック・セグメンテーション（Semantic segmentation）を用いた場合を示している。地物マスク推定部２１は、例えば、画像中で、建物が含まれる領域を１で表し、植生が含まれる領域を２で表し、その他の領域を０で表した地物・地上属性マスク３８を推定する。図８には、この地物・地上属性マスク３８を画像で表示したものを、地物・地上属性マスク３８ａと地物・地上属性マスク３８ｂとして示している。

【0131】

なお、地物マスク推定部２１は、地物・地上属性マスク３８として、複数の種類のマスクを生成してもよい。例えば、地物マスク推定部２１は、画像中で、建物が含まれる領域を１で表し、その他の領域を０で表した地物・地上属性マスク３８と、植生が含まれる領域を１で表し、その他の領域を０で表した地物・地上属性マスク３８という、２種類の地物・地上属性マスク３８を生成してもよい。地物マスク推定部２１は、このように、任意の方法で表した地物・地上属性マスク３８を生成することができる。

【0132】

地物マスク補正部２２は、地物・地上属性マスク３８ａに対して、地物領域情報３３に登録されている地物との重複度を求め、この地物と地物マスクとが所定の判定条件を満たす場合には、この地物が存在すると判定し、この地物と地上属性マスクとが所定の判定条件を満たす場合には、この地物を地上属性付加地物３９であると判定する。そして、地物マスク補正部２２は、地物・地上属性マスク３８ｂに対して、地物領域情報３３に登録されている地物との重複度を求め、この地物と地物マスクとが所定の判定条件を満たす場合には、この地物が存在すると判定し、この地物と地上属性マスクとが所定の判定条件を満たす場合には、この地物を地上属性付加地物３９であると判定する。なお、地物と地物マスクとの間の判定条件と、地物と地上属性マスクとの間の判定条件は、例えば重複度の定義や重複度の閾値などが、互いに異なっていてもよい。

【0133】

地物マスク補正部２２は、地物・地上属性マスク３８ａと地物・地上属性マスク３８ｂに含まれる地物のそれぞれに対して上記の処理を実施することで、地物・地上属性マスク３８ａを補正して得られた補正済みマスク情報３７ａと、地物・地上属性マスク３８ｂを補正して得られた補正済みマスク情報３７ｂを作成して出力する。

【0134】

図８に示す例で、補正済みマスク情報３７ａ、３７ｂに地上属性付加地物３９である建物Ｔ３が存在するのは、建物Ｔ３は、地物領域情報３３に登録されており、地物・地上属性マスク３８ａ、３８ｂの地上属性マスク（植生マスク）と重複している地物だからである。地上属性付加地物３９である建物Ｔ３は、要検証地物である。

【0135】

地物変化検知部２３は、補正済みマスク情報３７ａと補正済みマスク情報３７ｂとの差分を抽出して求め、求めた差分を地物変化情報３４として出力する。

【0136】

図８に示す例では、過去画像３１と比較対象画像３５のどちらでも、前景に植生Ｐが含まれている。このため、過去画像３１と比較対象画像３５では、地上属性である植生Ｐのために、建物Ｔ３の一部が撮像されておらず、建物Ｔ３の変化を正確に把握することが難しい。

【0137】

本実施例による地物変化検知装置１０では、地上属性の影響で全体が撮像されてなく検知できない地物を地上属性付加地物３９とすることにより、この地物が地上属性のために検知できない旨を地物変化検知装置１０の操作者に提示することができる。例えば、図８に示した例では、地物変化検知装置１０は、地上属性付加地物３９である建物Ｔ３を、要検証地物として記録し、表示画面６０に表示してもよい。建物Ｔ３は、要検証地物であり、地上属性（植生Ｐ）のために地物・地上属性マスク３８ｂでは検知されなかったが、実際には存在する地物である可能性がある。そこで、操作者は、建物Ｔ３が要検証地物であると表示画面６０に表示されたのを受けて、例えば、建物Ｔ３を消失した建物と同様に扱い、救助隊を派遣するなどのオペレーションの策定に役立てることができる。

【0138】

比較対象画像を図示していないが、次のような例も考えられる。例えば、植生Ｐと建物Ｔ３は、過去画像３１（図８）の撮像時には存在したが、比較対象画像の撮像時には存在していないとする。そして、比較対象画像では、植生Ｐと建物Ｔ３が撮像されておらず、建物Ｔ３の位置にある地面が撮像されているとする。

【0139】

この場合には、建物Ｔ３に対応する地物は、補正済みマスク情報３７ａには地上属性付加地物３９として登録され、補正済みマスク情報３７ｂには存在していない地物として登録される。建物Ｔ３は、過去画像３１を撮像した時点では地上属性付加地物３９として登録され、要検証地物であるので、存在するか否かが不明である。しかし、建物Ｔ３は、比較対象画像を撮像した時点では存在しないことが確定しているため、消失した地物として登録される。なお、地物変化検知部２３が差分を抽出する条件は、上記の実施例に限定されるものではなく、様々な例が含まれる。

【0140】

なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。