(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】建物幾何補正装置、建物幾何補正方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20231017BHJP
G06T 3/00 20060101ALI20231017BHJP
G06V 10/44 20220101ALI20231017BHJP
【ＦＩ】
G06T1/00 285
G06T3/00 750
G06V10/44
【請求項の数】
6
(21)【出願番号】P 2022116878
(22)【出願日】2022-07-22
【審査請求日】2022-07-22
(73)【特許権者】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】中村 翔
(72)【発明者】
【氏名】カミングス ソール 春寿
(72)【発明者】
【氏名】濱口 竜平
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２０２１－３３５８４（ＪＰ，Ａ）
【文献】特開２０２２－１１４１１（ＪＰ，Ａ）
【文献】特開２００７－３４８０８（ＪＰ，Ａ）
【文献】中国特許出願公開第１１３１３９４５３（ＣＮ，Ａ）
【文献】米国特許出願公開第２０２１／０１５８６０９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００
Ｇ０６Ｖ １０／４４
(57)【特許請求の範囲】
【請求項1】
上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出部と、前記確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出部と、
前記特徴点を前記分布の間で対応付けて、前記分布のうち一方の前記対応付けに応じた一部の範囲、又は当該一部の範囲に対応する前記画像の範囲を補正する補正部と、
を備えることを特徴とする建物幾何補正装置。
【請求項2】
前記補正部による補正は、前記分布に基づいて定められる単一の建物領域を含む範囲ごとに行われることを特徴とする請求項１記載の建物幾何補正装置。
【請求項3】
前記補正部は、前記一部の範囲に係る前記一方の分布の前記特徴点と前記一方とは異なる他方の分布の前記特徴点とを最短距離に位置するもの同士で組み合わせ、得られた前記組み合わせ中に複数回出現する前記特徴点がある場合には、全ての前記特徴点が一対一の組み合わせとなるまで、前記複数回出現する前記特徴点の組み合わせをより距離の長いものに変更していくことで、前記対応付けを行うことを特徴とする請求項１記載の建物幾何補正装置。
【請求項4】
前記補正部は、前記補正のパラメータを求め、当該パラメータに基づいて前記画像のうち一方の前記一部の範囲に対応する範囲を補正し、前記一方の前記範囲と、当該一方とは異なる他方の画像の前記一部の範囲に対応する範囲との類似度を求め、当該類似度に応じて前記分布のうち前記一方に係る補正を行うか否かを定めることを特徴とする請求項１記載の建物幾何補正装置。
【請求項5】
上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出ステップ、前記確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出ステップ、
前記特徴点を前記分布の間で対応付けて、前記分布のうち一方の前記対応付けに応じた一部の範囲、又は当該一部の範囲に対応する前記画像の範囲を補正する補正ステップ、
を含むことを特徴とする建物幾何補正方法。
【請求項6】
コンピュータを、上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出手段、
前記確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出手段、
前記特徴点を前記分布の間で対応付けて、前記分布のうち一方の前記対応付けに応じた一部の範囲、又は当該一部の範囲に対応する前記画像の範囲を補正する補正手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、建物幾何補正装置、建物幾何補正方法及びプログラムに関する。
【背景技術】
【0002】
異なる時期に上空から撮影した画像を比較することで地面の建物などの変化を抽出する技術がある。画像に対応付けられた地理的位置の情報には、微小なずれがあり得るので、比較時には、位置合わせが必要となる。特許文献１では、異なる画像を重ね合わせる際に、テンプレートマッチングにより重ね合わせの位置関係を特定する技術が開示されている。
【0003】
また、画像間の対応付けに係る技術としては、画像から建物の辺や角などの特徴点を特定して、その特徴点の周囲の局所的な画像特徴量（局所特徴量）を算出し、この局所特徴量の類似性に基づいて対応付けを行う技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－００７８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、航空写真などの上空からの画像では、撮影画角、建物の高さと撮影位置の高さとの関係により、完全に真上から見た画像とはならず、オルソ補正を行って位置が補正されても画像内の周縁部などには、建物の倒れ込みが大きく生じている部分が含まれる。また、各地点の倒れ込みの大きさや向きは、航空写真の撮影経路によっても変化する。また、画像では、天気や時間帯（日射方向）などに応じて、壁面や屋根からの光の反射面（部分）や反射強度が大きく変化する。これらの要因などにより、テンプレートマッチングで異なる画像間で建物を対応付けても、精度よく異なる画像間で建物を対応付けられない場合がある。
【0006】
また、従来の局所特徴量を用いる処理は、画像全体に対して適用されるので、画像内の位置に応じた局所的な歪みが補正されない上に、道路などの高さを有さない構造物からも局所特徴量が得られるので、建物の局所的な歪みが適正に反映されずに形状比較が適切になされないという課題がある。
【0007】
本開示の目的は、より適切に位置や形状を合わせて建物を対応付けることのできる建物幾何補正装置、建物幾何補正方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本開示は、
上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出部と、
前記確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出部と、
前記特徴点を前記分布の間で対応付けて、前記分布のうち一方の前記対応付けに応じた一部の範囲、又は当該一部の範囲に対応する前記画像の範囲を補正する補正部と、
を備えることを特徴とする建物幾何補正装置である。
上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出部と、
前記確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出部と、
前記特徴点を前記分布の間で対応付けて、前記分布のうち一方の前記対応付けに応じた一部の範囲、又は当該一部の範囲に対応する前記画像の範囲を補正する補正部と、
を備えることを特徴とする建物幾何補正装置である。
【発明の効果】
【0009】
本発明に従うと、上空から異なる時期に撮影された画像内の建物をより適切に位置や形状を合わせて対応付けることができるという効果がある。
【図面の簡単な説明】
【0010】
【図1】本実施形態の建物幾何補正装置である情報処理装置の機能構成を示すブロック図である。
【図2】建物形状の変化検出に係る処理の流れを示す図である。
【図3】新旧の分布画像における建物の対応付けの例を説明する図である。
【図4】旧撮影画像及び新撮影画像における建物の見え方の違いについて説明する図である。
【図5】旧撮影画像の建物と新撮影画像の建物とをそれぞれ含む範囲の各画素が建物の部分である確率を各々示す分布画像を示す図である。
【図6】特徴点の対応付けの例を示す図である。
【図7】建物変化検出処理の制御手順を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の建物幾何補正装置である情報処理装置１の機能構成を示すブロック図である。
図１は、本実施形態の建物幾何補正装置である情報処理装置１の機能構成を示すブロック図である。
【0012】
情報処理装置１は、通常のＰＣなどのコンピュータであってもよく、制御部１１（算出部、抽出部、補正部）と、記憶部１２と、入出力インターフェイス１３（Ｉ／Ｆ）と、操作受付部１４と、表示部１５などを備える。
【0013】
制御部１１は、演算処理を行うプロセッサであり、例えば、ＣＰＵ（Central Processing Unit）などを備える。制御部１１は、記憶部１２からプログラムなどを読み込んで実行することで各種制御処理を行う。ＣＰＵは、単一であってもよいし、複数のＣＰＵが並列で又は処理内容ごとに独立に動作してもよい。また、制御部１１は、その他専用のハードウェア回路などを有していてもよい。
【0014】
記憶部１２は、各種データを記憶するメモリである。メモリには、ＲＡＭと不揮発性メモリとが含まれる。ＲＡＭは、制御部１１に作業用のメモリ空間を提供し、一時データを記憶する。不揮発性メモリは、プログラム及び設定データなどを記憶保持する。不揮発性メモリにはフラッシュメモリが含まれ、あるいは、これに代えて又は加えてＨＤＤ（Hard
Disk Drive）などが含まれてもよい。また、初期制御プログラムなどは、ＲＯＭ（Read
Only Memory）に格納されていてもよい。プログラムには、後述の建物変化検出処理に係るプログラム１２１、及び当該プログラム１２１で用いられる（実行内容の一部である）学習済モデル１２２が含まれる。
Disk Drive）などが含まれてもよい。また、初期制御プログラムなどは、ＲＯＭ（Read
Only Memory）に格納されていてもよい。プログラムには、後述の建物変化検出処理に係るプログラム１２１、及び当該プログラム１２１で用いられる（実行内容の一部である）学習済モデル１２２が含まれる。
【0015】
入出力インターフェイス１３は、周辺機器と接続するための接続端子１３１及び外部機器との間で信号の送受信を行うための通信部１３２などを備える。周辺機器としては、大型の補助記憶装置、例えば、データベース装置２１、並びにＣＤＲＯＭ、ＤＶＤ及びＢｌｕ－ｒａｙ（登録商標）などの可搬型記憶媒体（光学ディスク）を読み取る光学読取装置２２などが挙げられる。また、可搬型記憶媒体に磁気テープが含まれ、この磁気テープを読み取る読取装置が周辺機器に含まれてもよい。接続端子には、ＵＳＢ（Universal Serial Bus）など各種データ送受信の規格に応じたものが含まれてよい。データベース装置２１との間では、ＬＡＮ（Local Area Network）などのネットワーク回線を介して通信部１３２がデータを受信、取得する。
【0016】
データベース装置２１及び／又は可搬型記憶媒体に記憶されたデータには、建物の変化
検出に係るプログラム１２１により検出対象とされる建物の画像を含む旧撮影画像データ２０１及び新撮影画像データ２０２などが含まれる。新撮影画像データ２０２は、旧撮影画像データ２０１よりも後（異なる時期）に同一の範囲を含んで撮影された画像のデータである。
検出に係るプログラム１２１により検出対象とされる建物の画像を含む旧撮影画像データ２０１及び新撮影画像データ２０２などが含まれる。新撮影画像データ２０２は、旧撮影画像データ２０１よりも後（異なる時期）に同一の範囲を含んで撮影された画像のデータである。
【0017】
旧撮影画像データ２０１及び新撮影画像データ２０２は、上空から俯瞰して（見下ろして）撮影された航空写真及び衛星写真などの可視光画像（撮影画像）のデータである。これらのデータは、オルソ補正がなされた画像（オルソ画像）であってもよい。また、旧撮影画像データ２０１及び新撮影画像データ２０２では、通常、撮影された日付（季節）及び時間帯（日付と時間帯をまとめて時期と記す）、並びに撮影を行った正確な位置（撮影に利用した航空機などの経路）などのうち少なくとも一部が互いに異なる。
【0018】
操作受付部１４は、例えば、キーボードやマウスなどの入力デバイスを備え、ユーザなど外部からの入力操作を受け付ける。入力デバイスには、タッチパネル（タッチセンサ）などが含まれていてもよい。
【0019】
表示部１５は、制御部１１の制御により表示画面にメニュー、ステータス及び処理結果などの表示を行わせる。表示画面は、特には限られないが、例えば、液晶表示画面である。操作受付部１４がタッチパネルを有する場合には、表示画面は、当該タッチパネル（タッチセンサ）と重ねて設けられる。
【0020】
なお、操作受付部１４及び表示部１５は、情報処理装置１に対して入出力インターフェイス１３を介して外付け又は通信接続されたものであってもよい。例えば、情報処理装置１にアクセスする他の端末装置の表示画面に表示がなされ、また、当該端末装置で受け付けられた入力操作が情報処理装置１に送信されて、処理のみが情報処理装置１でなされるものであってもよい。
【0021】
次に、建物形状の変化検出動作について説明する。
図２は、本実施形態の建物形状の変化検出に係る処理の流れを示す図である。
図２は、本実施形態の建物形状の変化検出に係る処理の流れを示す図である。
【0022】
情報処理装置１では、旧撮影画像データ２０１と新撮影画像データ２０２の各画像内で各画素（単位領域）が建物の部分である確率値を求めて各々確率値の分布画像（分布）を得る（ＰＲ１、ＰＲ２）。そして、当該分布画像における確率値分布が基準を満たす（例えば確率値が基準値以上などの）画素の各々離隔したまとまりをそれぞれ建物領域とする。分布画像の一方（例えば、旧撮影画像データ２０１に係る分布画像）からいずれかの建物領域を選択して、当該建物領域を含む所定の範囲を設定する（ＰＲ３）。また、他方の分布画像（例えば、新撮影画像データ２０２に係る分布画像）から、上記選択された建物領域に対応する位置の建物領域を特定して、対応する範囲を設定する（ＰＲ４）。選択された２つの建物領域の位置関係や形状を比較することで、建物の新築、改築及び滅失といった変化の有無及びその種別を特定する（ＰＲ９）。新築は、旧撮影画像データ２０１に建物がない位置に新撮影画像データ２０２では建物が築かれている状態である。改築は、旧撮影画像データ２０１に建物があった位置に新撮影画像データ２０２では異なる形状の建物が存在する状態であって、元の建物の増築又は一部取り壊しなども含む。滅失は、旧撮影画像データ２０１で建物があった位置に新撮影画像データ２０２で建物がない状態であって、取り壊し及び災害などによる消失が含まれる。本実施形態の情報処理装置１では、これら３種類に加えて「変化なし」が出力され得る。変化種別の出力には、特には限られないが、設定された２つの範囲の分布画像の入力に対して、上記変化種別の特定結果を出力する学習済モデルが用いられてもよい。
【0023】
このような建物領域の確率分布を比較することで、太陽光の向きや強度に応じた屋根な
どからの反射光の反射強度の分布、影の範囲、木立や電線などとの重なりなどの影響が適切に除外される。
どからの反射光の反射強度の分布、影の範囲、木立や電線などとの重なりなどの影響が適切に除外される。
【0024】
このように、ここでは、旧撮影画像データ２０１から選択された建物領域と対応する建物領域を新撮影画像データ２０２から選択するが、撮影位置の違いなどにより倒れ込みの大きさや向きが異なると、その分だけ画像及び建物領域に歪みが生じる。また、上記のように学習済モデル１２２を用いて建物領域を判断するのであっても、建物である確率の分布には多少異なる偏りなどが生じ得る。これらは、画像内の相対位置によって歪み方が異なるので、画像全体を一括して補正することはできない。
【0025】
情報処理装置１では、建物領域（画像の範囲）ごとにこのような歪みの影響を低減するように当該建物領域を変形（分布画像を補正、幾何補正）することで、画像間での建物の見え方の違いを低減する。ここでは、倒れ込みの補正を行う必要があるので、射影変換（ホモグラフィー変換）のパラメータが変形パラメータ（補正のパラメータ）として定められる（ＰＲ５）。そして、定められた変形パラメータに基づいて元の新撮影画像データ２０２に係る画像（新撮影画像）における選択された建物領域と対応する範囲（建物）を変形して（ＰＲ６）、旧撮影画像データ２０１に係る画像（旧撮影画像）の選択された建物領域に対応する範囲（建物）との類似度を算出する。算出された類似度が基準を満たさない場合には、見え方の違いではなく、本当に建物が異なっているものとして変形を中止する（ＰＲ７）。射影変換により新撮影画像の建物と旧撮影画像の建物との類似度が基準を満たした場合には、新撮影画像に係る分布画像で選択されている建物領域を変形し（ＰＲ８）、新旧の建物領域を比較して変化種別を検出する（ＰＲ９）。
【0026】
図３は、新旧の分布画像における建物の対応付けの例を説明する図である。
図３（ａ）に示す旧撮影画像から得られた分布画像Ｉ１における建物領域と、図３（ｂ）に示す新撮影画像から得られた分布画像Ｉ２における建物領域とでは、例えば、各々の分布画像Ｉ１、Ｉ２における各建物領域の代表位置、例えば重心位置（例えば、建物領域内の全画素の座標の平均位置であってもよい）が最も近い建物同士が対応付けられてもよい。ここでは、分布画像Ｉ１におけるある建物領域の代表位置Ｐｃ１に対して、分布画像Ｉ２におけるある建物領域の代表位置Ｐｃ２が最も近い。ただし、代表位置同士が明らかにずれている場合、例えば、ずれの大きさが基準値以上の場合には、一方の撮影画像で存在した建物領域が他方の撮影画像では存在しないと判断されて、対応付けを中止する。この場合の基準値は、固定値であってもよいし、存在する建物領域のサイズ（面積や縦横長、画素数など）に対して相対的に定められてもよい。
図３（ａ）に示す旧撮影画像から得られた分布画像Ｉ１における建物領域と、図３（ｂ）に示す新撮影画像から得られた分布画像Ｉ２における建物領域とでは、例えば、各々の分布画像Ｉ１、Ｉ２における各建物領域の代表位置、例えば重心位置（例えば、建物領域内の全画素の座標の平均位置であってもよい）が最も近い建物同士が対応付けられてもよい。ここでは、分布画像Ｉ１におけるある建物領域の代表位置Ｐｃ１に対して、分布画像Ｉ２におけるある建物領域の代表位置Ｐｃ２が最も近い。ただし、代表位置同士が明らかにずれている場合、例えば、ずれの大きさが基準値以上の場合には、一方の撮影画像で存在した建物領域が他方の撮影画像では存在しないと判断されて、対応付けを中止する。この場合の基準値は、固定値であってもよいし、存在する建物領域のサイズ（面積や縦横長、画素数など）に対して相対的に定められてもよい。
【0027】
また、対応付けられた建物のサイズが明らかに異なる場合（一方のサイズに対して他方のサイズが基準となる比率内にない場合）には、建物の対応付けは行われるが、上記建物領域の射影変換を省略してもよい。
【0028】
次に、射影変換についてより詳しく説明する。
図４は、旧撮影画像Ｉｓ１及び新撮影画像Ｉｓ２における建物の見え方の違いについて説明する図である。
図４（ａ）に示す旧撮影画像Ｉｓ１では、建物Ｈ１は、斜め上方から撮影されることで、右下側及び左下側の壁面や軒下などが若干視認可能に倒れ込みが生じている。これに対し図４（ｂ）に示す新撮影画像Ｉｓ２では、上記と同一位置の建物Ｈ２が略真上から撮影されることで、側面が見えない状態となっている。
図４は、旧撮影画像Ｉｓ１及び新撮影画像Ｉｓ２における建物の見え方の違いについて説明する図である。
図４（ａ）に示す旧撮影画像Ｉｓ１では、建物Ｈ１は、斜め上方から撮影されることで、右下側及び左下側の壁面や軒下などが若干視認可能に倒れ込みが生じている。これに対し図４（ｂ）に示す新撮影画像Ｉｓ２では、上記と同一位置の建物Ｈ２が略真上から撮影されることで、側面が見えない状態となっている。
【0029】
なお、ここでは、建物と建物以外との識別が可能であって、かつその形状が必要な精度で特定できればよいので、建物や周囲の細かい構造物が明瞭に識別可能ではなくてもよい。
【0030】
図５は、旧撮影画像Ｉｓ１の建物Ｈ１と新撮影画像Ｉｓ２の建物Ｈ２とをそれぞれ含む範囲の各画素が建物の部分である確率を各々示す分布画像Ｐｓ１、Ｐｓ２を示す図である。
図５（ａ）の分布画像Ｐｓ１に示すように、建物Ｈ１に対応して建物の部分である確率値が基準以上となるエリアを示す建物領域Ｐｈ１は、屋根への日射（屋根からの反射）の違いや影などの影響を適切に除外することができるものの、図５（ｂ）に示す分布画像Ｐｓ２における建物Ｈ２に対応する建物領域Ｐｈ２に比して若干歪みが生じて下方に伸展している。
図５（ａ）の分布画像Ｐｓ１に示すように、建物Ｈ１に対応して建物の部分である確率値が基準以上となるエリアを示す建物領域Ｐｈ１は、屋根への日射（屋根からの反射）の違いや影などの影響を適切に除外することができるものの、図５（ｂ）に示す分布画像Ｐｓ２における建物Ｈ２に対応する建物領域Ｐｈ２に比して若干歪みが生じて下方に伸展している。
【0031】
上記のように建物領域の射影変換を行うために、確率の分布画像Ｐｓ１、Ｐｓ２から互いに対応付けされる特徴点Ｐｐ１１～Ｐｐ１４、Ｐｐ２１～Ｐｐ２４が各建物領域Ｐｈ１、Ｐｈ２に対して定められ（抽出され）る。特徴点は、射影変換（補正）される対象の建物（画像の範囲）の形状を規定する点であり、特には限られないが、例えば建物領域の角などとすることができる。単純な四角形の建物であれば、４点の特徴点が定められればよい。より複雑な形状の建物の場合、全ての角を特徴点としなくてもよく、４点以上が定められればよいが、新旧の分布画像間で同一の建物領域に対しては同一の数の特徴点が定められるように、予め適宜な設定ルールが定められてもよい。
【0032】
各建物領域Ｐｈ１、Ｐｈ２に特徴点Ｐｐ１１～Ｐｐ１４、Ｐｐ２１～Ｐｐ２４が定められると、建物領域（単一の建物領域）ごとに建物領域Ｐｈ１、Ｐｈ２の間で特徴点Ｐｐ１１～Ｐｐ１４と特徴点Ｐｐ２１～Ｐｐ２４との対応付けが行われる。
【0033】
図６は、特徴点の対応付けの例を示す図である。
図６（ａ）に示すように、例えば、一方の建物領域Ｐｈ１の各特徴点Ｐｐ１１～Ｐｐ１４と他方の建物領域Ｐｈ２の各特徴点Ｐｓ２１～Ｐｓ２４との間で、互いに最短距離に位置する特徴点同士を組み合わせる。この例のように、形状及び相対位置にほぼ差がないのであれば、即座に特徴点Ｐｐ１１、Ｐｐ２１の組み合わせ、特徴点Ｐｐ１２、Ｐｐ２２の組み合わせ、特徴点Ｐｐ１３、Ｐｐ２３の組み合わせ、及び特徴点Ｐｐ１４、Ｐｐ２４の組み合わせが得られる。
図６（ａ）に示すように、例えば、一方の建物領域Ｐｈ１の各特徴点Ｐｐ１１～Ｐｐ１４と他方の建物領域Ｐｈ２の各特徴点Ｐｓ２１～Ｐｓ２４との間で、互いに最短距離に位置する特徴点同士を組み合わせる。この例のように、形状及び相対位置にほぼ差がないのであれば、即座に特徴点Ｐｐ１１、Ｐｐ２１の組み合わせ、特徴点Ｐｐ１２、Ｐｐ２２の組み合わせ、特徴点Ｐｐ１３、Ｐｐ２３の組み合わせ、及び特徴点Ｐｐ１４、Ｐｐ２４の組み合わせが得られる。
【0034】
しかしながら、建物領域Ｐｈ１と建物領域Ｐｈ２の見かけ上の違いが大きい場合には、即座に全ての特徴点が１対１で組み合わされない場合がある。図６（ｂ）に示す例では、特徴点Ｐｐ１１、Ｐｐ１２に一番近い建物領域Ｐｈ２の特徴点は、いずれも特徴点Ｐｐ２１である。
【0035】
得られた組合せの中に複数回含まれる（出現する）重複特徴点がある場合には、例えば、当該重複特徴点を含む組み合わせの中で距離が最長の組み合わせ以外を取り消して、重複特徴点の相手側の特徴点から取り消された組合せの次に距離の短い（より距離の長い）特徴点と改めて組み合わせる。このように組み合わされた特徴点を含む組み合わせが複数あるか否かを再度判別し、全ての特徴点が一対一で他方の確率分布画像の特徴点と組み合わされるまで組み合わせの取り消しと再設定を繰り返す。
【0036】
ここでは、特徴点Ｐｐ１２、Ｐｐ２１の組み合わせが取り消され、特徴点Ｐｐ１２に対して２番目に近い特徴点Ｐｐ２２と組み合わされる。これにより、全ての特徴点が１対１で組み合わされることになる。
【0037】
以上のようにして組み合わされた特徴点同士について、新撮影画像に係る分布画像の建物領域のｋ個（ここでは４個）の特徴点の位置ｖｎｋ＝ｔ（ｘｎｋ、ｙｎｋ、１）から旧撮影画像に係る分布画像の建物領域のｋ個の特徴点の位置ｖоｋ＝ｔ（ｘоｋ、ｙоｋ、１）へそれぞれ変換する変換行列Ｈ（変形パラメータ；ｖоｋ＝Ｈ・ｖｎｋがそれぞれ成立する）を各特徴点の各成分（ｚ成分は１で固定）の組み合わせについて得て、これらを変換行列Ｈの各成分を求める式に変形して連立方程式として解くことにより（特徴点の数ｋが４より多い場合には、最適解を求めることにより）、変換行列Ｈを求める。
【0038】
変換行列Ｈが得られると、当該変換行列Ｈにより新撮影画像の建物領域に対応する範囲（一方の一部の範囲に対応する画像の範囲）を変形（補正）して、変形前後の画像の上記範囲と旧撮影画像の対応範囲（他方の一部の範囲に対応する画像の範囲）との類似度合（類似度）を各々算出して比較する。類似度合としては、例えば、ＳＳＩＭ（Structural Similarity Index Measure）が用いられる。変形後の新撮影画像と旧撮影画像とから算出されたＳＳＩＭの値が変形前の新撮影画像と旧撮影画像とから算出されたＳＳＩＭの値よりも大きい場合には、新撮影画像に係る確率分布画像の変形を行うこととする（一方に係る補正を行うか否かを定める）。上記のように、撮影時期（季節や時間帯）の違いなどによる光の反射強度や影の位置などにより、形状は同じであっても撮影画像の見え方としては大きく異なることがあるので、ＳＳＩＭの絶対値としては必ずしも高くはない場合があるが、相対的な比較により形状の変化の妥当性を判断することができる。
【0039】
変形後の新撮影画像と旧撮影画像とのＳＳＩＭの値が変形前の新撮影画像と旧撮影画像とのＳＳＩＭの値以下である場合、すなわち、変形をしてもＳＳＩＭが改善しない場合には、新撮影画像に係る確率分布画像の変形を行わないこととする。ＳＳＩＭが改善しない状況としては、例えば、倒れ込みの補正を行う必要がない程度に倒れ込みの度合に差異がない、倒れ込み以外の要因で適切に補正ができていない、あるいは補正にかかわらず建物領域自体が実際に変化している、などのケースが想定される。
【0040】
図７は、本実施形態の情報処理装置１で実行される建物変化検出処理の制御部１１による制御手順を示すフローチャートである。
この建物変化検出処理は、例えば、操作受付部１４への所定の入力操作がなされたことが検出されることで開始される。
この建物変化検出処理は、例えば、操作受付部１４への所定の入力操作がなされたことが検出されることで開始される。
【0041】
建物変化検出処理が開始されると、制御部１１は、データベース装置２１などの外部から旧撮影画像データ２０１を取得する（ステップＳ１０１）。制御部１１（算出部）は、旧撮影画像データ２０１を学習済モデル１２２に入力して建物領域である確率分布の出力データを取得する（ステップＳ１０２、ＰＲ１；算出ステップ、算出手段）。
【0042】
制御部１１は、データベース装置２１などの外部から新撮影画像データ２０２を取得する（ステップＳ１０３）。算出部は、新撮影画像データ２０２を学習済モデル１２２に入力して建物領域である確率分布の出力データを取得する（ステップＳ１０４、ＰＲ２；算出ステップ、算出手段）。
【0043】
制御部１１は、一方の確率分布の画像データにおいて検出された互いに離隔した建物領域を１つ選択する（ステップＳ１０５、ＰＲ３）。制御部１１は、例えば、まず旧撮影画像データ２０１に係る建物領域の確率分布画像データから各建物領域を選択し、全て選択された際に新撮影画像データ２０２に係る建物領域の確率分布画像データに後述のステップＳ１０６の処理で対応付けて選択されていない建物領域が残っている場合には、この残りの建物領域を順番に選択する。
【0044】
制御部１１は、選択された建物領域に対応する建物領域を他方の画像から特定する（ステップＳ１０６、ＰＲ４）。上述のように、制御部１１は、選択された建物領域の代表位置（緯度経度又はこれらに対応付けられ得るもの）として、例えば重心位置を特定し、他方の画像において当該代表位置から基準距離内に代表位置のある建物領域のうち、選択さ
れた建物領域の代表位置に最も近いものを特定する。該当する建物領域がない場合には、制御部１１は、例えば、単純に選択された建物領域を含むあるサイズのエリアと同一のエリアを他方の画像から抜き出せばよい。
れた建物領域の代表位置に最も近いものを特定する。該当する建物領域がない場合には、制御部１１は、例えば、単純に選択された建物領域を含むあるサイズのエリアと同一のエリアを他方の画像から抜き出せばよい。
【0045】
制御部１１は、他方の画像の選択された建物領域（エリア）に建物があるか否かを判別する（ステップＳ１０７）。建物がないと判別された場合（ステップＳ１０７で“ＮＯ”、上記のように、対応するエリアデータが抜き出されている場合）には、制御部１１の処理は、ステップＳ１１８へ移行する。
【0046】
選択された建物領域に建物があると判別された場合には（ステップＳ１０７で“ＹＥＳ”）、制御部１１は、選択された建物領域のサイズ（画素数、縦横長など）と、特定された他方の画像の建物領域のサイズとの差が基準範囲内であるか否かを判別する（ステップＳ１０８）。サイズの差が基準範囲内ではないと判別された場合には（ステップＳ１０８で“ＮＯ”）、制御部１１の処理は、ステップＳ１１８へ移行する。
【0047】
サイズの差が基準範囲内であると判別された場合には（ステップＳ１０８で“ＹＥＳ”）、制御部１１（抽出部）は、両建物領域の特徴点を抽出する（ステップＳ１０９、ＰＲ５；抽出ステップ、抽出手段）。補正部は、両建物領域の特徴点を対応付けする（ステップＳ１１０）。
【0048】
補正部は、全ての特徴点同士が対応付けられたか否かを判別する（ステップＳ１１１）。全ての特徴点同士が対応付けられなかった（対応付けのできない特徴点があった）と判別された場合には（ステップＳ１１１で“ＮＯ”）、制御部１１の処理は、ステップＳ１１８へ移行する。特徴点同士が対応付けられないとは、上記のようにある一方の特徴点に対して他方の特徴点が明らかに対応しない場合や、そもそも特徴点の数が異なる場合などが挙げられる。
【0049】
全ての特徴点が対応付けられたと判別された場合には（ステップＳ１１１で“ＹＥＳ”）、補正部は、対応付けられた特徴点の座標の組に基づいて変形パラメータを算出する（ステップＳ１１２、ＰＲ５）。算出される変形パラメータは、上記のように、射影変換の変換行列の各成分である。補正部は、新撮影画像における特定されている建物領域を座標変換して建物の画像を変形させる（ステップＳ１１３、ＰＲ６）。補正部は、旧撮影画像における特定されている建物の画像と、新撮影画像における上記建物の画像の変形前の画像及び変形後の画像との各類似度合を算出する（ステップＳ１１４、ＰＲ７）。
【0050】
補正部は、旧撮影画像における建物と変形後の画像の建物との類似度合の方が変形前の画像の建物との類似度合よりも大きいか否かを判別する（ステップＳ１１５）。変形後の画像の建物との類似度合の方が大きいと判別された場合には（ステップＳ１１５で“ＹＥＳ”）、補正部は、新撮影画像の建物領域に対して上記変形パラメータを適用する（ステップＳ１１６、ＰＲ８；補正ステップ、補正手段）。それから、制御部１１の処理は、ステップＳ１１８へ移行する。
【0051】
変形後の画像の建物との類似度合の方が大きくない（以下である）と判別された場合には（ステップＳ１１５で“ＮＯ”）、制御部１１は、新撮影画像の建物領域に対して上記変形パラメータを適用しない（ステップＳ１１７）。それから、制御部１１の処理は、ステップＳ１１８へ移行する。
【0052】
ステップＳ１１８の処理へ移行すると、新旧撮影画像の建物領域の変化種別を特定する（ステップＳ１１８、ＰＲ９）。制御部１１は、新旧撮影画像の全ての建物領域が選択されたか否かを判別する（ステップＳ１１９）。全ての建物領域が選択されていない（選択
されていない建物領域がある）と判別された場合には（ステップＳ１１９で“ＮＯ”）、制御部１１の処理は、ステップＳ１０５へ戻る。全ての建物領域が選択されたと判別された場合には（ステップＳ１１９で“ＹＥＳ”）、制御部１１は、建物変化検出処理を終了する。
されていない建物領域がある）と判別された場合には（ステップＳ１１９で“ＮＯ”）、制御部１１の処理は、ステップＳ１０５へ戻る。全ての建物領域が選択されたと判別された場合には（ステップＳ１１９で“ＹＥＳ”）、制御部１１は、建物変化検出処理を終了する。
【0053】
以上のように、本実施形態の建物幾何補正装置である情報処理装置１は、制御部１１を備える。制御部１１は、算出部として、上空から異なる時期に撮影された撮影画像のそれぞれ単位領域ごとに建物の部分である確率値を算出し、抽出部として、確率値の分布に基づいて建物の特徴点をそれぞれ抽出し、補正部として、特徴点を分布の間で対応付けて、分布のうち一方の対応付けに応じた一部の範囲、又は当該一部の範囲に対応する撮影画像の範囲を補正する。ここでいう「又は」は、排他的な選択の意味に限定されず、両方が補正される場合を含んでもよい。
このように、撮影画像をそのまま用いずに建物の確率値の分布に変換して建物領域を特定したうえで、更に、当該建物領域における撮影方向の違いなどに応じた局所的な歪みによるずれを補正することができるので、より適切に位置や形状を合わせて建物を対応付けることが可能になる。特に、これにより、本来時系列的に変化がない建物を変化が生じていると判断する誤りを低減させることができる。
このように、撮影画像をそのまま用いずに建物の確率値の分布に変換して建物領域を特定したうえで、更に、当該建物領域における撮影方向の違いなどに応じた局所的な歪みによるずれを補正することができるので、より適切に位置や形状を合わせて建物を対応付けることが可能になる。特に、これにより、本来時系列的に変化がない建物を変化が生じていると判断する誤りを低減させることができる。
【0054】
また、制御部１１の補正部としての補正は、分布に基づいて定められる単一の建物領域を含む範囲ごとに行われる。すなわち、建物領域ごとに行われることで、撮影地点と建物との相対位置関係に応じた倒れ込みなどをより精度よく補正することができる。
【0055】
また、制御部１１は、補正部として、補正対象範囲である元画像の一部の範囲に係る一方（たとえば、旧撮影画像Ｉｓ１の分布画像Ｐｓ１）の確率分布（建物領域）の特徴点と、他方（例えば、新撮影画像Ｉｓ２の分布画像Ｐｓ２）の確率分布（建物領域）の特徴点とを最短距離に位置するもの同士で組み合わせ、得られた組み合わせ中に複数回出現する特徴点がある場合には、全ての特徴点が一対一の組み合わせとなるまで、複数回出現する特徴点の組み合わせをより距離の長いものに変更していくことで、対応付けを行う。このように一方の分布画像の全特徴点を他方の分布画像の全特徴点と一対一で対応付けていくことで、各建物領域の相対位置関係を、当該建物領域に係る建物の微細構造などを特定せずとも、より適切に特定することができるので、容易な処理でより精度よく異なる日時に撮影された同一の建物を対応付けて、その変化などを検出することができる。
【0056】
また、制御部１１は、補正部として、補正のための変形パラメータを求め、当該変形パラメータに基づいて撮影画像のうち一方（例えば新撮影画像Ｉｓ２）の建物領域を含む一部の範囲に対応する範囲（一部範囲）を補正し、一方の範囲と、他方の撮影画像（例えば旧撮影画像Ｉｓ１）における上記一部の範囲に対応する範囲との類似度を求め、当該類似度に応じて確率の分布画像のうち一方（分布画像Ｐｓ２）に係る補正を行うか否かを定める。このようにシンプルな補正では、全体としては改善するが、個々には補正の意味のない状況も存在し得る。そこで、変形パラメータ（変換行列Ｈ）を決定した後に、当該変形パラメータで元の一方の撮影画像（新撮影画像Ｉｓ２）の一部範囲を補正して、対応する旧撮影画像Ｉｓ１の上記一部範囲に対応する部分と比較して類似度を求めることにより、補正したところで類似しないもの、特に、補正なしの一方の撮影画像の一部範囲と他方の撮影画像の上記一部範囲に対応する部分との類似度に比較して類似の度合が改善しないものについては、このようなむしろ悪化する「補正」を行わずに、元の撮影画像から得られた分布画像を維持することができる。
【0057】
また、本実施形態の建物幾何補正方法は、上空から異なる時期に撮影された撮影画像のそれぞれ単位領域（画素）ごとに建物の部分である確率値を算出する算出ステップ、確率値の分布（分布画像）に基づいて建物の特徴点をそれぞれ抽出する抽出ステップ、特徴点
を分布画像の間で対応付けて、当該分布画像のうち一方における対応付けに応じた一部の範囲、又は当該一部の範囲に対応する撮影画像の範囲を補正する補正ステップ、を含む。
このように、上空から撮影された建物の形状の局所的な歪みにより、異なる時期に撮影された撮影画像間で生じる建物位置や形状のずれを、異なる時期に撮影された撮影画像でそれぞれ得られた建物である確率の分布形状の対応付けにより補正することで、簡便な処理でより適切に位置や形状を合わせて建物を対応付けることが可能になる。
を分布画像の間で対応付けて、当該分布画像のうち一方における対応付けに応じた一部の範囲、又は当該一部の範囲に対応する撮影画像の範囲を補正する補正ステップ、を含む。
このように、上空から撮影された建物の形状の局所的な歪みにより、異なる時期に撮影された撮影画像間で生じる建物位置や形状のずれを、異なる時期に撮影された撮影画像でそれぞれ得られた建物である確率の分布形状の対応付けにより補正することで、簡便な処理でより適切に位置や形状を合わせて建物を対応付けることが可能になる。
【0058】
また、上記の建物幾何補正方法に係るプログラム１２１をコンピュータにインストールして実行することで、特別なハードウェア構成を用いずとも容易に、より適切に位置や形状を合わせて建物を対応付けることができる。
【0059】
なお、本開示は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施形態では、建物の変化種別の特定精度を向上させるために分布画像の建物領域を変形（形状を補正）し、また、その途中で変形の妥当性を判断するために元の撮影画像を変形する場合の例を示したが、このような用途及び目的に係る変形処理に限られない。例えば、撮影画像の見栄えなどを改善したり、見え方をそろえたりするためなどで、分布画像の変形を行わずに建物の歪み度合だけを得て、元の撮影画像が特徴点の対応付けの結果に応じてより適切に変形されてもよい。
例えば、上記実施形態では、建物の変化種別の特定精度を向上させるために分布画像の建物領域を変形（形状を補正）し、また、その途中で変形の妥当性を判断するために元の撮影画像を変形する場合の例を示したが、このような用途及び目的に係る変形処理に限られない。例えば、撮影画像の見栄えなどを改善したり、見え方をそろえたりするためなどで、分布画像の変形を行わずに建物の歪み度合だけを得て、元の撮影画像が特徴点の対応付けの結果に応じてより適切に変形されてもよい。
【0060】
また、特徴点の対応付けは、一対一で適切に対応付けが可能であれば、上記の手順ではなくてもよい。
また、上記実施の形態では、設定した一部範囲のみの画像を補正処理するものとして説明したが、処理としては画像全体に変換行列Ｈを適用し、当該変換行列Ｈが適用される範囲として定められている画像データのみを切り出すことで、当該切り出された一部の補正画像を得る場合も本開示の「一部を補正する」形態に含まれる。
また、上記実施の形態では、設定した一部範囲のみの画像を補正処理するものとして説明したが、処理としては画像全体に変換行列Ｈを適用し、当該変換行列Ｈが適用される範囲として定められている画像データのみを切り出すことで、当該切り出された一部の補正画像を得る場合も本開示の「一部を補正する」形態に含まれる。
【0061】
また、上記実施の形態では、建物領域の角を特徴点として特定する場合を例に挙げて説明したが、これに限られない。平面視で円弧状の形状などを有する部分については、例えば、輪郭形状を特定してから座標が極値を取る点などが特徴点に含まれてもよい。
【0062】
また、上記実施の形態では、単一の建物領域ごとに形状の補正を行うこととして説明したが、これに限られない。撮影画像の画角に比して建物が多い場合などには、近くに位置する複数の建物の間で倒れ込みの度合（大きさ及び向き）はほぼ等しくなるので、複数の建物領域を含む範囲を一度に補正を行う範囲として設定してもよい。特に、そのうちの一部に改築などが生じている場合でも、複数の建物の同傾向の歪みに基づいて変換行列Ｈを精度よく定めることができる。
【0063】
また、上記実施の形態では、変換行列Ｈを求めた後、元の撮影画像の対応範囲を当該変換行列Ｈで変換（変形）してみることで、この変換行列Ｈが適切に定まっているか否かを判別することとしたが、このような処理は必ずしも行われなくてもよいし、あるいは、他の方法で変形の妥当性を判断してもよい。
【0064】
また、上記実施の形態では、特徴点の対応付けの可否、補正された撮影画像（新撮影画像Ｉｓ２）の他方の撮影画像（旧撮影画像Ｉｓ１）の対応範囲の類似度、及び根本的に対応領域に建物領域があるか否かによって補正を行うか否かを判別したが、これに限られない。その他の方法で補正の要否を判断してもよい。
【0065】
また、上記実施の形態では、予め建物領域の特徴点の数が新旧撮影画像で一致するようにルールを定めておくものとして説明したが、これに限られない。特徴点の対応付けを行ったうえで、重複特徴点がない状態で余った特徴点を単純に無視することとしてもよい。あるいは、余った特徴点の有無により当該特徴点で規定される建物領域の範囲がどの程度相違するかを判定し、基準以上大きく相違する場合には特徴点の対応付けを中止して補正を行わないこととしてもよい。
【0066】
また、上記実施の形態では、旧撮影画像データ２０１及び新撮影画像データ２０２をデータベース装置２１などの外部から通信部１３２を介して取得するものとして説明したが、記憶部１２に記憶されていてもよい。また、上記の処理は、単独の情報処理装置１で行われるのではなくてもよい。例えば、建物の部分である確率の算出と、特徴点の対応付け及び変形とが異なる情報処理装置で実行されてもよい。また、情報処理装置の一つが処理の実行割当を行ってデータの入出力を管理するサーバ装置であって、実際の処理は全て外部の他の情報処理装置で行われるのであってもよい。
【0067】
また、各画素が建物の部分である確率の算出は、学習済モデル１２２を用いて行われるのではなく、他の手法により行われてもよい。
【0068】
また、上記実施の形態では、異なる時期に撮影された画像の間で建物の形状の変化種別を検出するための処理における建物形状の変形補正を例に挙げて説明したが、このような判断に用いられるためのものではなくてもよい。例えば、単純に最新の建物の分布図などを得るためのものであってもよい。
【0069】
また、以上の説明では、本発明の建物形状の補正制御を含む建物変化検出処理に係るプログラム１２１を記憶するコンピュータ読み取り可能な媒体としてＨＤＤやフラッシュメモリなどの不揮発性メモリなどからなる記憶部１２を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、ＭＲＡＭなどの他の不揮発性メモリや、ＣＤ－ＲＯＭ、ＤＶＤディスクなどの可搬型記憶媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本開示の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本開示の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
【符号の説明】
【0070】
１ 情報処理装置
１１ 制御部
１２ 記憶部
１２１ プログラム
１２２ 学習済モデル
１３ 入出力インターフェイス
１３１ 接続端子
１３２ 通信部
１４ 操作受付部
１５ 表示部
２１ データベース装置
２２ 光学読取装置
２０１ 旧撮影画像データ
２０２ 新撮影画像データ
Ｈ 変換行列
Ｈ１、Ｈ２ 建物
Ｉ１、Ｉ２ 分布画像
Ｉｓ１ 旧撮影画像
Ｉｓ２ 新撮影画像
Ｐｃ１、Ｐｃ２ 代表位置
Ｐｈ１、Ｐｈ２ 建物領域
Ｐｐ１１～Ｐｐ１４、Ｐｐ２１～Ｐｐ２４ 特徴点
Ｐｓ１、Ｐｓ２ 分布画像
１１ 制御部
１２ 記憶部
１２１ プログラム
１２２ 学習済モデル
１３ 入出力インターフェイス
１３１ 接続端子
１３２ 通信部
１４ 操作受付部
１５ 表示部
２１ データベース装置
２２ 光学読取装置
２０１ 旧撮影画像データ
２０２ 新撮影画像データ
Ｈ 変換行列
Ｈ１、Ｈ２ 建物
Ｉ１、Ｉ２ 分布画像
Ｉｓ１ 旧撮影画像
Ｉｓ２ 新撮影画像
Ｐｃ１、Ｐｃ２ 代表位置
Ｐｈ１、Ｐｈ２ 建物領域
Ｐｐ１１～Ｐｐ１４、Ｐｐ２１～Ｐｐ２４ 特徴点
Ｐｓ１、Ｐｓ２ 分布画像
【要約】
【課題】より適切に位置や形状を合わせて建物を対応付けることのできる建物幾何補正装置、建物幾何補正方法及びプログラムを提供する。
【解決手段】建物幾何補正装置は、上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出部と、確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出部と、特徴点を分布の間で対応付けて、分布のうち一方の対応付けに応じた一部の範囲又は一部の範囲に対応する画像の範囲を補正する補正部と、を備える。
【選択図】図２
【解決手段】建物幾何補正装置は、上空から異なる時期に撮影された画像のそれぞれ単位領域ごとに建物の部分である確率値を算出する算出部と、確率値の分布に基づいて建物の特徴点をそれぞれ抽出する抽出部と、特徴点を分布の間で対応付けて、分布のうち一方の対応付けに応じた一部の範囲又は一部の範囲に対応する画像の範囲を補正する補正部と、を備える。
【選択図】図２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】