(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024055300
(43)【公開日】2024-04-18
(54)【発明の名称】建物情報生成装置、建物情報生成方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240411BHJP
【FI】
G06T7/00 640
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022162115
(22)【出願日】2022-10-07
(71)【出願人】
【識別番号】000135771
【氏名又は名称】株式会社パスコ
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】朱 林
(72)【発明者】
【氏名】島村 秀樹
(72)【発明者】
【氏名】佐藤 俊明
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA08
5L096CA04
5L096DA01
5L096FA06
5L096FA67
5L096FA68
5L096HA08
(57)【要約】
【課題】特定される建物の向きのずれを抑制しながら高精度に建物の輪郭を抽出することのできる建物情報生成装置、建物情報生成方法及びプログラムを提供する。
【解決手段】地表を上空から撮影した画像を解析して得られた建物領域の情報に基づいて建物領域に含まれる建物の輪郭の情報を生成する建物情報生成装置であって、建物領域の輪郭を複数の部分輪郭に分割し、複数の部分輪郭をそれぞれ近似した複数の近似直線を求め、複数の近似直線の方向に最も適合する建物方向を推定する建物方向推定手段と、建物の輪郭を、建物方向推定手段により推定された建物方向に平行な線分と建物方向に垂直な線分と、からなる輪郭に修正する建物輪郭生成手段と、を備える。
【選択図】
図7
【特許請求の範囲】
【請求項1】
地表を上空から撮影した画像を解析して得られた建物領域の情報に基づいて前記建物領域に含まれる建物の輪郭の情報を生成する建物情報生成装置であって、
前記建物領域の輪郭を複数の部分輪郭に分割し、前記複数の部分輪郭をそれぞれ近似した複数の近似直線を求め、当該複数の近似直線の方向に最も適合する建物方向を推定する建物方向推定手段と、
前記建物の輪郭を、前記建物方向推定手段により推定された前記建物方向に平行な線分と、当該建物方向に垂直な線分と、からなる輪郭に修正する建物輪郭生成手段と、
を備える、建物情報生成装置。
【請求項2】
前記建物方向推定手段は、前記建物領域の輪郭を長さの等しい前記複数の部分輪郭に分割し、当該複数の部分輪郭から求められた前記複数の近似直線の方向に最も適合する前記建物方向を推定する、請求項1記載の建物情報生成装置。
【請求項3】
前記建物方向推定手段は、前記建物領域の輪郭を長さの等しい前記複数の部分輪郭に分割する処理を、複数通りの前記長さにてそれぞれ行い、前記処理でそれぞれ得られた前記複数の部分輪郭ごとに、前記複数の近似直線の方向と前記建物方向との前記適合の度合を示す指標値を算出し、前記複数通りの前記長さについての前記指標値を用いて最も適合する前記建物方向を推定する、請求項2記載の建物情報生成装置。
【請求項4】
前記建物方向推定手段は、
ある角度ステップで各々検証方向を定め、
当該検証方向ごとに、前記複数の近似直線の方向と前記検証方向との角度差、及び当該近似直線に垂直な方向と前記検証方向との角度差のうち小さいほうであって、かつ基準角度差よりも小さいものの平均値に応じた指標値を求め、
前記指標値が最小の前記検証方向を最も適合する前記建物方向とする
請求項1記載の建物情報生成装置。
【請求項5】
前記建物領域の輪郭において曲率が極大値となるコーナーを検出するコーナー検出手段を備え、
前記建物方向推定手段は、前記複数の部分輪郭のうち前記コーナーを含まない部分輪郭の前記近似直線の方向に最も適合する前記建物方向を推定する、請求項1記載の建物情報生成装置。
【請求項6】
地表を上空から撮影した画像を解析して得られた建物領域の情報に基づいて前記建物領域に含まれる建物の輪郭の情報を生成する建物情報生成方法であって、
前記建物領域の輪郭を複数の部分輪郭に分割し、前記複数の部分輪郭をそれぞれ近似した複数の近似直線を求め、当該複数の近似直線の方向に最も適合する建物方向を推定する建物方向推定ステップ、
前記建物の輪郭を、前記建物方向推定ステップで推定された前記建物方向に平行な線分と、当該建物方向に垂直な線分と、からなる輪郭に修正する建物輪郭生成ステップ、
を含む建物情報生成方法。
【請求項7】
コンピュータを、
地表を上空から撮影した画像を解析して得られた建物領域の情報に基づいて前記建物領域に含まれる建物の輪郭の情報を生成する建物情報生成手段として機能させ、
前記建物情報生成手段は、
前記建物領域の輪郭を複数の部分輪郭に分割し、前記複数の部分輪郭をそれぞれ近似した複数の近似直線を求め、当該複数の近似直線の方向に最も適合する建物方向を推定する建物方向推定手段、
前記建物の輪郭を、前記建物方向推定手段により推定された前記建物方向に平行な線分と、当該建物方向に垂直な線分と、からなる輪郭に修正する建物輪郭生成手段、
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、建物情報生成装置、建物情報生成方法及びプログラムに関する。
【背景技術】
【0002】
従来、上空から航空機などを利用して得た撮影画像により、建物の輪郭を特定して地図の作成や都市モデルの作成を行う技術がある。建物の輪郭の特定に、撮影画像に加えて写真測量解析又は上空からのレーザスキャナ計測により得られた地上の表層面の凹凸情報(高さデータ)を用いる技術もある。しかしながら、これらの技術では、日照状況、日影や植生などの影響を受けて正確に輪郭が特定されない場合がある。
【0003】
上記に対し、建物の輪郭を成形する技術が提案されてきた。特許文献1は、撮影画像から得られるスペクトル情報とレーザスキャナ計測とを用いて建物領域を自動認識し、得られた建物の概略形状をその角が90度となるように修正することで、整形する技術である。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の画像データでは、建物の軸方向を正確に定めるのが難しい。したがって、角を90度にそろえたとしても、建物全体が本来の向きから回転して正確な輪郭とはならない場合が生じるという課題がある。
【0006】
本開示の目的は、特定される建物の向きのずれを抑制しながら高精度に建物の輪郭を抽出することのできる建物情報生成装置、建物情報生成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本開示は、地表を上空から撮影した画像を解析して得られた建物領域の情報に基づいて前記建物領域に含まれる建物の輪郭の情報を生成する建物情報生成装置であって、前記建物領域の輪郭を複数の部分輪郭に分割し、前記複数の部分輪郭をそれぞれ近似した複数の近似直線を求め、当該複数の近似直線の方向に最も適合する建物方向を推定する建物方向推定手段と、前記建物の輪郭を、前記建物方向に平行な線分と、当該建物方向に垂直な線分と、からなる輪郭に修正する建物輪郭生成手段と、を備える。
【発明の効果】
【0008】
本開示によれば、特定される建物の向きのずれを抑制しながら高精度に建物の輪郭を抽出することができるという効果がある。
【図面の簡単な説明】
【0009】
【
図1】情報処理装置の機能構成を示すブロック図である。
【
図2】補正処理の手順を模式的に説明する図である。
【
図3】補正処理の手順を模式的に説明する図である。
【
図4】補正処理の手順を模式的に説明する図である。
【
図5】補正処理の手順を模式的に説明する図である。
【
図6】建物輪郭設定処理の制御手順を示すフローチャートである。
【
図7】建物方向推定処理の制御手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、情報処理装置1の機能構成を示すブロック図である。
【0011】
建物情報生成装置の一実施形態であるこの情報処理装置1は、地表を上空から撮影した可視光画像に基づいて建物領域の位置及び形状を特定する。情報処理装置1は、通常のPC(Personal Computer)などであってもよい。情報処理装置1は、制御部11と、記憶部12と、入出力インターフェイス13(I/F)と、操作受付部14と、表示部15などを備える。
【0012】
制御部11は、情報処理装置1の動作を統括制御する。制御部11は、演算処理を行うプロセッサを有する。プロセッサは、単一の汎用CPU(Central Processing Unit)であってもよいし、複数のCPUが並列に又は用途などに応じて独立に演算処理を行うものであってもよい。プロセッサには、特定の演算処理や画像処理などに特化したものが含まれていてもよい。制御部11は、記憶部12からプログラム121などを読み込んで実行することで各種制御処理を行う。
【0013】
記憶部12は、RAM(Random Access Memory)と不揮発性メモリとを有し、各種データを記憶する。RAMは、制御部11に作業用のメモリ空間を提供し一時データを記憶する。不揮発性メモリは、プログラム121や設定データなどを記憶保持する。不揮発性メモリは、例えば、フラッシュメモリやHDD(Hard Disk Drive)などであるがこれらに限られない。記憶部12は、ROM(Read Only Memory)を有していてもよい。ROMには、初期制御プログラムなどが記憶され得る。
【0014】
入出力インターフェイス13は、情報処理装置1の外部(周辺機器を含む)との間でデータの入出力を行う。入出力インターフェイス13は、接続端子131及び通信部132を有する。接続端子131には、例えば、USB(Universal Serial Bus)端子やLAN(Local Area Network)コネクタなどが含まれる。通信部132は、例えば、TCP/IPなどのLANに係る通信規格による通信を制御する。
【0015】
周辺機器としては、補助記憶装置であるデータベース装置21、並びにCDROM、DVD及びBlu-ray(登録商標)などの可搬型記憶媒体(光学ディスク)を読み取る光学読取装置22などが含まれていてもよい。また、可搬型記憶媒体に磁気テープが含まれ、この磁気テープを読み取る読取装置が周辺機器に含まれていてもよい。
【0016】
入出力インターフェイス13を介して情報処理装置1が外部から取得可能なデータには、撮影画像データ201が含まれる。撮影画像データ201は、建物領域を特定する地表の範囲(対象範囲)を上空から撮影した可視光画像である。ここでは、撮影画像データ201は、オルソ補正がなされたオルソ画像のデータである。オルソ補正がなされていない撮影画像データが取得される場合には、情報処理装置1は、当該撮影画像データに対してオルソ補正を行って撮影画像データ201を得る。撮影は、航空機で行われるものが多いが、精度(空間分解能)が得られれば人工衛星からの撮影であってもよいし、その他、ヘリコプターやドローンなどによる撮影であってもよい。撮影画像データ201は、完全なフルカラー画像ではなくてもよいし、反対に、可視光外、例えば、赤外光(IR)を含んでいてもよい。
【0017】
次に、本実施形態の建物情報の生成動作/生成方法(建物情報生成手段)について説明する。
生成される建物情報では、建物領域の輪郭形状を実際に合わせて精度よく特定する。
初期的な建物領域の特定は、例えば、撮影画像データ201を解析して、建物らしい領域を抽出することで行われる。プログラム121には、撮影画像データ201の入力に対し建物領域である確率の分布又は当該分布に基づいて建物領域であるか否かの2値判定データ(建物領域の情報)を出力する学習済の機械学習モデルが含まれていてもよい。機械学習モデルのアルゴリズムは、従来周知のものであってもよい。例えば、機械学習モデルは、ニューラルネットワークのパラメータを深層学習(ディープラーニング)したものである。ニューラルネットワークは、例えば、CNN(畳み込みニューラルネットワーク)やFCN(Fully Convolutional Network;U-netなどを含む)などである。
【0018】
このようにして得られた初期的な建物領域には、輪郭が波打つ、角が丸まる、各辺の向きに統一性がない、などの傾向がある。そのため、初期的な建物領域の輪郭は、地図データや都市モデルの生成及び更新などに用いる建物輪郭としては正確さが不十分である。情報処理装置1は、これらの不正確な建物領域の輪郭(初期輪郭)を補正する。
【0019】
すなわち、情報処理装置1は、初期輪郭を直線近似し、角を明確かつ90度とする。なお、明らかにこれらの条件とは合致しない(ずれが大きい)建物、例えば半円形状や台形状に突出する部分を有しているものも存在し得る。これらについては、ずれの大きさに応じて上記補正が適切ではないものとして処理の全体又は一部を中止してもよい。
【0020】
図2~
図5は、本実施形態の情報処理装置1で行われる建物輪郭設定処理の手順を模式的に説明する図である。
図2(a)に示すように、確率分布から抽出された建物領域Hでは、その外周に沿って並ぶ画素の配列である輪郭線Hbが曲線状に曲がっていたり角が丸まっていたりしている。
図2(b)に示すように、これらのうち、建物の角付近であると想定されるコーナーCは、輪郭線Hbの曲率が基準値以上かつ極大値を取る点として定められ得る。あるいは、コーナーCは、曲率半径が基準値以下かつ極小値を取る点として定められてもよい。
【0021】
次に、
図3(a)、(b)に示すように、輪郭線Hbをある基準距離(長さL1、L2)ごと(輪郭線Hbに略垂直な目盛線で示している)に分割した(長さの等しい)複数の部分輪郭が定められる。部分輪郭の長さは、例えば当該部分輪郭の画素数で表される。分割の始点は適宜定められてよい。例えば、輪郭線Hb上のある座標成分(例えば、撮影画像の左上を基準として右向きにX軸、下向きにY軸を設定した場合のY軸成分など)が最小の点又は最大の点が始点とされてもよい。あるいは、規定されたコーナーCのうちいずれかが始点とされてもよい。
【0022】
ここでは、輪郭線Hb上の一番上方(Y軸成分が最小)にあるコーナーC0を始点として、時計回りに部分輪郭が定められる。
図3(a)では、コーナーC0を一端として右向きに伸びる長さL1の最初の部分輪郭M10から順に部分輪郭が定められて、最後のM1(J1-1)まで合計J1個の部分輪郭に分けられる。このとき多くの場合には、初期輪郭の最後に長さL1よりも短い余り部分が生じる。この部分は、そのまま切り捨てられてもよいし、一周して先頭の部分輪郭M10又は手前の部分輪郭M1(J1-2)と部分的に重複して定められてもよい。あるいは、余り部分の長さが規定された下限値以上である場合には、そのまま長さL1よりも短い部分輪郭として設定されてもよい。
図3(b)では、コーナーC0を一端として右向きに伸びる長さL2の最初の部分輪郭M20から順に部分輪郭が定められて、最後のM2(J2-1)まで合計J2個の部分輪郭に分けられる。
【0023】
基準距離は、可変値として複数通り定められる。
図3(b)における長さL2は、
図3(a)における長さL1の1.2倍となっている。部分輪郭の適切な長さとしては、実際の輪郭の一辺の中に複数の部分輪郭が含まれる程度に短く、かつ次の
図4(a)で行われる直線近似する際の信頼性が得られる程度に長いものが適切である。ここでは、建物領域のサイズなどに応じた最適な基準距離が得られるように複数の値を予め定めておく。
【0024】
図4(a)では、部分輪郭上の各点の位置に基づいて、当該部分輪郭がそれぞれ直線近似される。このとき、部分輪郭内にコーナーが含まれる場合には当該部分輪郭を直線近似させない。直線近似は、例えば、線形回帰(最小二乗法)であってもよい。これにより複数の近似直線(線分P)が最も平行又は垂直に近い方向が最適な建物全体の向き(複数の近似直線に最も適合する建物方向DO)として定められる(推定される)。ここでは、建物方向DOが2点鎖線により示されている。上記のように複数通りの基準距離で得られた複数の部分輪郭の組について、それぞれ建物方向DOとの適合の度合を考慮する。そして、最も適合した場合の基準距離及び建物方向DOの組み合わせが採用されて、建物方向DOが定められる。
【0025】
隣り合う2つのコーナーを通る(2つのコーナーを結ぶ線分)直線Pdがそれぞれ生成される。
図4(b)に示すように、生成された直線Pdは、各々、建物方向DOに平行又は垂直に回転される。各直線Pdは、互いに交差する点で区切られて線分とされる。
【0026】
この線分は、さらに、適切な位置に平行移動される。平行移動は、結ばれた2つのコーナー間の輪郭線Hbと少なくとも一辺と接する(交差を含む)範囲内、あるいは建物領域の抽出誤差の見積もりに応じて予め定められた範囲内の移動距離でなされる。適切な位置は、例えば、撮影画像における輝度値や階調値などの勾配を算出し、上記範囲内で最も2つのコーナーに応じた位置間での平均勾配が大きくなる位置などとされる。勾配は、ラプラシアンにより得られる。線分に垂直な方向に所定距離(画素数)ずつずらしながら各々勾配が算出されることで、勾配のプロファイルが得られる。線分に垂直な方向の各位置について、それぞれ勾配の大きさを線分に沿った方向に平均した値が平均勾配となる。線分上の全画素における勾配の平均値が平均勾配とされてもよいし、線分上の所定数(>2)の画素における勾配の平均値が平均勾配とされてもよい。上記平行移動で隣り合う線分の両端位置が分離した場合には、各線分が延長又は縮小されて、
図5(a)に示すように、全体として閉領域の輪郭線Pbが定められる。
【0027】
このようにして得られた輪郭線Pbのうち、2本の平行な線分Pb1、Pb3が所定の下限値未満の長さdfを有する垂直な線分Pb2によりつながっている場合には、本来は1本の線分であると判定されてもよい。
図5(b)に示すように、これらの線分は1本の線分に統合される。統合される位置は、単純に2本の線分Pb1、Pb3の中間位置であってもよい。あるいは、当該2本の線分Pb1、Pb3の長さなどに応じて重み付けされた平均位置に統合されてもよい。3本以上の平行な線分とこれらをつなぐ下限値未満の垂直な線分とが統合される場合には、当該3本以上の平行な線分の平均位置であってもよい。こうして各々位置が定められた線分を延長した直線が交差する点で当該直線が区切られて線分とされ、全体として閉領域の輪郭線が定められる。以上により、初期の建物領域H(輪郭線Hb)から建物領域HO(修正輪郭PbO)へ補正される。特に、この修正輪郭PbOは、回転方向についてのずれが抑制され、不自然に向きがばらついた建物の分布を生じにくくすることができる。
【0028】
図6は、情報処理装置1で実行される建物輪郭設定処理の制御部11による制御手順を示すフローチャートである。この建物輪郭設定処理は、例えば、操作受付部14への所定の入力操作に基づいて、撮影画像データ201(オルソ画像データ)の指定とともに実行される。
【0029】
制御部11(CPU)は、処理対象範囲を含む指定された撮影画像データ201を取得する(ステップS101)。制御部11は、撮影画像データ201を機械学習モデルに入力して建物領域を検出する(ステップS102)。なお、処理対象範囲には、多くの場合に複数の建物領域が存在するので、制御部11は、互いに離隔した(独立した)画素のまとまりである建物領域には各々識別符号を付して、各々を特定可能とする。また、制御部11は、検出した建物領域の数を計数する。制御部11は、各建物領域の輪郭(初期輪郭)を抽出する(ステップS103)。
【0030】
制御部11は、検出された建物領域(初期輪郭)を一つ選択する(ステップS104)。制御部11は、コーナー検出手段として、初期輪郭に沿った各点の曲率(各点を中心とした両側に所定画素の範囲の曲率)を求め、曲率が極大となる点(極大点)を特定する。コーナー検出手段は、極大点のうち、曲率が基準以上であり、かつノイズなどによるイレギュラーな点によるものではない点をコーナーとして設定する(ステップS105)。
【0031】
制御部11は、後述の建物方向推定処理を実行する(ステップS106)。
【0032】
制御部11は、建物輪郭生成手段として、隣り合うコーナーの間を結ぶ直線をそれぞれ生成する(ステップS107)。建物輪郭生成手段は、各直線(線分;輪郭の一部)をステップS106で得られた建物方向DOに平行又は垂直な向きに回転させて整列する(ステップS108)。建物輪郭生成手段は、平行方向及び垂直方向のうち回転角度(絶対値)が小さいほうに各直線の回転を行えばよい。建物輪郭生成手段は、各直線を交点で区切って線分として、閉じた多角形とする。
【0033】
建物輪郭生成手段は、各線分を対応する撮影画像の位置に重ねる。建物輪郭生成手段は、各線分がそれぞれ対応する範囲の輪郭と交差する範囲で、撮影画像の勾配(輝度勾配)が最大となる位置に平行移動させる(ステップS109)。
【0034】
建物輪郭生成手段は、平行な2本の線分であって長さが所定の下限値以下の線分でつながっているものを1本の線分に統合する(ステップS110)。建物輪郭生成手段は、ステップS109の平行移動などで線分間が離れたり交差したりした当該線分の長さを調整(延長又は短縮)して再度閉領域を生成し、これにより建物輪郭(修正輪郭)を決定、生成する(ステップS111)。
【0035】
制御部11は、全ての建物を選択したか否かを判定する(ステップS112)。全ての建物を選択していない(選択していない建物がある)と判定された場合には(ステップS112で“NO”)、制御部11の処理は、ステップS104へ戻る。
【0036】
全ての建物を選択したと判定された場合には(ステップS112で“YES”)、制御部11は、決定(最終的に生成)された建物輪郭(修正輪郭)のデータ(情報)を出力する(ステップS113)。出力先は、自機の記憶部12や表示部15であってもよいし、入出力I/F13を介した外部であってもよい。そして、制御部11は、建物輪郭設定処理を終了する。
【0037】
図7は、ステップS106で実行される建物方向推定処理の制御手順を示すフローチャートである。
【0038】
本実施形態の建物方向推定手段を含むこの建物方向推定処理において、変数iは、I種類の長さLiを識別する値である。種類の数(I)及びそれぞれの長さLiは、予め設定されていてよく、この設定は変更可能であってもよい。変数jは、初期輪郭を長さLiで分割数Jiに分割した部分輪郭Mijの各々を識別する値である。すなわち、分割数Jiは、分割領域の長さLiに応じて変化する値である。部分輪郭Mijは、その添え字「ij」によって初期輪郭を長さLiで分割した場合のj番目の分割領域を示す。変数aは、建物方向(検証方向)に対応する値(ここでは整数値)であり、例えば、0~90度の範囲を1度単位(ある角度ステップ)で設定可能となっている。角度の基準方向(0度方向)は、適宜に、例えば、画像の垂直上向き(-Y軸方向)に定められてもよい。90度方向は、基準方向から時計回りに90度回った向きである。
【0039】
制御部11は、建物方向推定手段として、変数iに初期値0を代入する(ステップS201)。建物方向推定手段は、部分輪郭の長さLiを取得し、ステップS103で抽出された建物領域の初期輪郭を部分輪郭Mijに分割する(ステップS202)。上述の通り、余り部分は切り捨てられても最後の部分輪郭に含まれてもよい。
【0040】
建物方向推定手段は、変数aに初期値0(角度0度)を代入する(ステップS203)。
建物方向推定手段は、変数jに初期値0を代入する。また、制御部11は、誤差積算用の変数Eis、及び無効なデータ数を計数する変数n1、n2にそれぞれ初期値0を代入する(ステップS204)。
【0041】
建物方向推定手段は、部分輪郭MijがステップS105で設定されたコーナーを含んでいるか否かを判定する(ステップS205)。コーナーを含んでいると判定された場合には(ステップS205で“YES”)、建物方向推定手段は、変数n1に1を加算する(ステップS236)。それから、建物方向推定手段の処理は、ステップS210へ移行する。
【0042】
部分輪郭Mijがコーナーを含んでいないと判定された場合には(ステップS205で“NO”)、建物方向推定手段は、部分輪郭Mijを直線近似して、当該直線の延在方向bij(添え字「ij」によって、部分輪郭Mijの延在方向であることを示す)を算出する(ステップS206)。延在方向bijは、半周分、例えば0~180度の角度範囲で表される。すなわち、延在方向bijにはその前後関係についての情報を含まない。計算上360度の範囲(0~360、-180~180など)で延在方向bijが求められる場合には、上記角度範囲からはみ出た値に対して180度を加算又は減算すればよい。
【0043】
建物方向推定手段は、角度ずれ量Eijとして、近似直線の延在方向bijと変数aが示す角度方向(検証方向)とのなす角(90-||(bij-a)|-90|)及び延在方向bijに垂直な方向と変数aが示す角度方向(検証方向)とのなす角(90-||(bij-90-a)|-90|)(すなわち各方向の前後は問わない角度差)のうち近い(小さい)方の角度(0≦Eij≦90)を定める(ステップS207)。建物方向推定手段は、角度ずれ量Eijが基準値Eth(基準角度差)より大きいか否かを判定する(ステップS208)。基準角度差は特には限られないが、誤差を含めて平行又は垂直に近い範囲であって、45度に比して十分に小さく(例えば、2割以下など)定められる。
【0044】
角度ずれ量Eijが基準値Ethよりも大きいと判定された場合には(ステップS208で“YES”)、建物方向推定手段は、変数n2に1を加算する(ステップS239)。それから、制御部11の処理は、ステップS210へ移行する。
【0045】
角度ずれ量Eijが基準値Ethよりも大きくない(基準値Eth以下である)と判定された場合には(ステップS208で“NO”)、建物方向推定手段は、積算ずれ量Eisに角度ずれ量Eijを加算する(ステップS209)。それから、建物方向推定手段の処理は、ステップS210へ移行する。
【0046】
ステップS210の処理へ移行すると、建物方向推定手段は、変数jに1を加算する(ステップS210)。建物方向推定手段は、変数jが分割数Ji以上であるか否かを判定する(ステップS211)。変数jが分割数Ji以上ではない(分割数Ji未満である)と判定された場合には(ステップS211で“NO”)、建物方向推定手段の処理は、ステップS205へ戻る。
【0047】
変数jが分割数Ji以上であると判定された場合には(ステップS211で“YES”)、建物方向推定手段は、積算ずれ量Eisに加算された角度ずれ量Eijの数(加算数)である(Ji-n1-n2)が基準数Nthよりも大きいか否かを判定する(ステップS212)。加算数が基準数Nthよりも大きくない(以下である)と判定された場合には(ステップS212で“NO”)、建物方向推定手段は、長さLi及び角度の変数aについての平均誤差Eiaとして所定の最大設定数Emaxを代入する(ステップS243)。最大設定数Emaxは、後述の統合指標Ciaが確実に小さくならない程度に十分に大きい値であり、少なくとも基準値Ethよりも大きい。建物方向推定手段は、長さLi及び角度の変数aについての正規化加算数Fiaを最小値「0」に設定する(ステップS244)。正規化加算数Fiaは、方向の特定可能な部分輪郭Mijの数(Ji-n1)のうち、方向変数aが示す角度から基準値Eth内の角度ずれ範囲に平行(反平行を含む)又は垂直方向があった部分輪郭Mij(延在方向bij)の数(加算数)の割合である。それから、建物方向推定手段の処理は、ステップS215へ移行する。
【0048】
加算数が基準数Nthよりも大きいと判定された場合には(ステップS212で“YES”)、建物方向推定手段は、積算ずれ量Eisを加算数で除した値を平均誤差Eiaとする(ステップS213)。建物方向推定手段は、正規化加算数Fia=(Ji-n1-n2)/(Ji-n1)を算出する(ステップS214)。それから、建物方向推定手段の処理は、ステップS215へ移行する。
変数aが建物の向き(2軸方向)のいずれに対しても大きく傾いている場合には、ほぼ全ての近似直線の延在方向bijが変数aと大きく異なる。したがって、この場合には変数n2が分割数Jiのうち多くを占めることになる。
【0049】
ステップS215の処理へ移行すると、建物方向推定手段は、長さLi及び角度の変数aについて、平均誤差Eia及び正規化加算数Fiaを統合した指標値である統合指標Ciaを算出する(ステップS215)。統合指標Ciaは、例えば、平均誤差Eiaを検証方向の個数である「91」で除した(正規化した)値を係数w1で重み付けし、正規化加算数Fiaを1から差し引いた値を係数w2で重み付けして、これらを加算した値である。すなわち、統合指標Ciaは、平均誤差Eiaが大きいほど大きくなり、正規化加算数Fiaが小さいほど大きくなる。係数w1、w2は適宜に定められてよい。なお、係数w2はゼロとされてもよい。すなわち、加算数が基準数Nthよりも多ければ、正規化加算数Fiaは、統合指標Cia、すなわち後述(ステップS220)のように最適な建物方向DOの特定に考慮されなくてもよい。この統合指標Ciaが、最適な建物方向の候補としての変数aと各部分輪郭Mijの近似直線との適合の度合を示す指標値となる。
【0050】
建物方向推定手段は、変数aに1を加算する(ステップS216)。建物方向推定手段は、変数aが90より大きいか否かを判定する(ステップS217)。変数aが90より大きくないと判定された場合には(ステップS217で“NO”)、建物方向推定手段の処理は、ステップS204へ戻る。
【0051】
変数aが90より大きいと判定された場合には(ステップS217で“YES”)、建物方向推定手段は、変数iに1を加算する(ステップS218)。建物方向推定手段は、変数iが長さLiの種類の数I以上であるか否かを判定する(ステップS219)。変数iが数I以上ではないと判定された場合には(ステップS219で“NO”)、建物方向推定手段の処理は、ステップS202に戻る。
【0052】
変数iが数I以上であると判定された場合には(ステップS219で“YES”)、建物方向推定手段は、全ての長さLi及び角度に係る変数aについて求められた統合指標Ciaのうち最小となるものの変数aを特定する。統合指標Ciaは、数Iと検証方向の個数である「91」との積に応じた数だけ求められている。建物方向推定手段は、特定された変数a(検証方向)を最も適合する建物方向DOとして定める(ステップS220)。建物方向推定手段は、建物方向推定処理を終了して、処理を建物輪郭設定処理に戻す。
【0053】
[変形例]
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、可視光撮影画像から建物領域の情報を得たが、可視光撮影画像のみを用いるのではなくてもよい。例えば、建物領域の情報に赤外線画像が併用されてもよいし、レーザスキャナによる計測データが併用されてもよい。レーザスキャナによる計測データは、DSM(Digital Surface Model)データであってもよい。例えば、DSMデータで得られる高さが建物の特徴的な高さである領域が抽出されてもよい。また、撮影画像から得られるスペクトル情報に係る特徴量が一様な領域(PPM;Pure Pixel Mass)ごとに分割して、上記DSMにおける高さと対応付けながら建物領域Hを定めてもよい。
【0054】
また、上記実施の形態では、機械学習モデルを用いて建物領域Hを抽出したが、これに限られない。建物のエッジ検出などに従来の画像解析技術に基づいて建物領域Hやその輪郭線Hbが抽出されてもよい。
【0055】
また、部分輪郭Mijの長さは、必ずしも長さLiで等しくなくてもよい。上記実施形態で示したように、余り部分のみ長さLiとは異なっていてもよいし、全体として、部分輪郭Mijの長さがばらついていてもよい。この場合、部分輪郭Mijの長さに応じて誤差量に重み付けがなされてもよい。
【0056】
また、上記実施の形態では、誤差の指標として延在方向bijと変数aとの差分、すなわち角度差を利用したが、これに限られない。角度差に依存する他の値であって、角度差に比例しないもの(非線形な対応関係のものなど)であってもよい。
【0057】
また、上記実施の形態では、角度ずれ量Eijとして、近似直線の延在方向bijと変数aが示す角度方向(検証方向)とのなす角(90-||(bij-a)|-90|)及び延在方向bijに垂直な方向と変数aが示す角度方向(検証方向)とのなす角(90-||(bij-90-a)|-90|)の比較を行ったが、他の方法で90度以下の角度ずれ量Eijを算出してもよい。例えば、1つの数式で表さずに条件分岐を利用してもよい。例えば、e1=(bij-a)を算出してその値e1が90度より大きい場合には、更にe1=180-e1としてもよい。同様に、e2=(bij-90-a)を算出して、その値e2が90度よりも大きい場合には、更にe2=180-e2としてもよい。
【0058】
また、上記実施の形態では、部分輪郭Mijの長さLiを予め複数通り定めておき、各々統合指標Ciaを算出させたが、これに限られない。例えば、特定された建物領域Hの概算サイズなどに基づいて長さLiが1又は複数選択されるのであってもよい。また、長さLiの数Iは、予め定められていなくてもよい。統合指標Ciaが大きく改善する可能性がなくなる、又は最も適合する変数a(建物方向DO)が変化する可能性が十分に低くなる(例えば、最小の統合指標Ciaと二番目の統合指標Ciaの差が基準値以上大きくなる、最小の統合指標Ciaと2番目に小さい統合指標Ciaとの差が変化しなくなる、未設定の変数aに対して、統合指標Ciaが小さくなる可能性が低い傾向が得られている)ところまで任意の回数、長さLiを変更設定してもよい。また、適切な長さLiを一種類だけ設定してもよい。設定は、操作受付部14への入力操作によりなされてもよい。
【0059】
また、上記実施の形態では、変数aを初期値0から1ずつ加算して順番に適合の度合を求めたが、これに限られない。適合の度合が低い範囲では変数aの増分を大きくし、適合の度合が高くなるに従って変数aの増分を小さくしてもよい。あるいは、当初は変数aを大きく変化させながら最小の統合指標Ciaが得られると想定される範囲を絞り込んでもよい。その後、絞り込まれた範囲でのみ、小さい変数aの増分で統合指標Ciaがそれぞれ求められればよい。また、変数aを1ずつ加算するのではなく、初期値90から1ずつ減算してもよいし、両端から交互に増減させて45度などに近付けていくように変化させてもよい。あるいは、予め優先的に設定される変数aが1又は複数個順番設定されて、その順番で、適合の度合が求められてもよい。
【0060】
また、変数aは、整数ではなくてもよい。例えば、0.5単位などで設定されてもよい。また、変数aが90度の幅、延在方向bijが180度の幅の範囲内であれば、具体的な数値範囲は実施例に示したものに限られない。また、延在方向bijは、360度の範囲で算出されてもよい。この場合でも変数aが示す方向との角度差を求める場合に方向を考慮しないように調整すればよい。
【0061】
また、上記実施の形態では、コーナーCを含む部分輪郭Mijを単純に除外したが、部分輪郭MijをコーナーCで分割してもよい。この場合、分割された長さが下限値を超えている場合にのみ、又は2分割されたうちの長い一方のみが部分輪郭Mijとされてもよい。
【0062】
また、上記実施の形態では、コーナー同士を結ぶ直線を回転させた後、交差する点で区切って線分化し、平行移動及び統合を行って、最後に各線分を延長/短縮して閉領域を生成した。しかしながら、処理の手順は上記に限られない。例えば、コーナー同士を結ぶ線分を回転、平行移動及び統合してもよい。
【0063】
また、上記実施形態で示した平行移動及び複数の線分の統合のうち一方又は両方が行われなくてもよい。
【0064】
また、上記実施の形態では、単一の情報処理装置1で建物情報生成に係る処理が行われたが、複数の情報処理装置(コンピュータ)により分散処理されてもよい。
【0065】
また、以上の説明では、本発明の建物輪郭設定制御に係るプログラム121を記憶するコンピュータ読み取り可能な媒体としてHDD、フラッシュメモリなどの不揮発性メモリなどからなる記憶部12を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、MRAMなどの他の不揮発性メモリや、CD-ROM、DVDディスクなどの可搬型記憶媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
【0066】
以上のように、本実施形態の情報処理装置1は、地表を上空から撮影した画像を解析して得られた建物領域の情報に基づいて建物領域に含まれる建物の輪郭線Pb(修正輪郭)の情報を生成する建物情報生成装置として機能するものであり、制御部11を備える。制御部11は、建物方向推定手段として、建物領域Hの輪郭線Hb(初期輪郭)を複数の部分輪郭Mijに分割し、複数の部分輪郭Mijをそれぞれ近似した複数の近似直線を求め、当該複数の近似直線の方向に最も適合する建物方向DOを推定する。制御部11は、建物輪郭生成手段として、建物の輪郭を、推定された建物方向DOに平行な線分と、当該建物方向DOに垂直な線分と、からなる輪郭線Pbに修正する。
このように情報処理装置1は、建物輪郭を90度の角度差でつながった線分の集合で表すように修正するので、建物輪郭として尤もらしい形状が適切に得られる。特にこのときに、線分がそれぞれ建物方向に平行又は垂直な線の組み合わせとなるので、輪郭がおかしな方向を向かない。さらに、この建物方向は、部分輪郭を用いて建物輪郭の各部分に基づいて尤もらしいとされる方向として特定されるので、おかしな方向に回転してばらついたりしづらい。したがって、この情報処理装置1は、建物の各角が初期的な建物領域において丸まるなどで、角度範囲が不明瞭な場合でも、適切な方向に向きがそろった建物輪郭(修正輪郭)を精度よく得ることができる。
【0067】
また、建物方向推定手段(制御部11)は、建物領域Hの輪郭線Hbを長さの等しい複数の部分輪郭Mijに分割し、当該複数の部分輪郭Mijから求められた複数の近似直線の方向に最も適合する建物方向DOを推定する。部分輪郭Mijの長さを等しくそろえることで、各部分輪郭Mijの特定精度自体にはばらつきが出にくくすることができる。
【0068】
また、建物方向推定手段(制御部11)は、建物領域Hの輪郭線Hbを長さの等しい複数の部分輪郭Mijに分割する処理を、複数通りの長さLiにてそれぞれ行い、この処理でそれぞれ得られた複数の部分輪郭Mijごとに、複数の近似直線の方向と建物方向(変数a)との適合の度合を示す指標値(統合指標Cia)を算出し、複数通りの長さLiについての指標値を用いて最も適合する建物方向DOを推定する。実際の建物はサイズや縦横比などが様々であるので、最適な部分輪郭Mijの長さLiは一律ではない。複数通りの長さLiを設定してそれぞれについて上記処理を行わせることで、人の手間をかけることなく容易に適切な長さLiによる部分輪郭Mijへの分割が行われることになる。これにより、最適な長さLiと建物方向との組み合わせにより、ユーザが長さLiを意識せずとも各部分輪郭Mijの近似直線に最も適合した建物方向DOを得ることができる。
【0069】
また、建物方向推定手段は、ある角度ステップ(例えば、1度ステップ)で各々検証方向を定める。建物方向推定手段は、検証方向ごとに、複数の近似直線の方向と検証方向との角度差、及び当該近似直線に垂直な方向と検証方向との角度差のうち小さいほうであって、かつ基準角度差(基準値Eth)よりも小さいものの平均値である平均誤差Eiaに応じた指標値(統合指標Cia)を求める。そして、建物方向推定手段は、指標値が最小の検証方向(変数a)を最も適合する建物方向DOとする。情報処理装置1は、このように容易なアルゴリズムで確実に最も適合する建物方向DOを特定することができる。
【0070】
また、情報処理装置1は、制御部11がコーナー検出手段として建物領域Hの輪郭線Hb(初期輪郭)において曲率が極大値となるコーナーを検出する。建物方向推定手段は、複数の部分輪郭Mijのうちコーナーを含まない部分輪郭の近似直線の方向に最も適合する建物方向DOを推定する。定義上コーナーを挟んで境界の向きが変化するので、コーナーを含む部分輪郭Mijで単一の近似直線を特定する意味はない。したがって、情報処理装置1は、このような部分輪郭Mijを除いた近似直線により最も適合する建物方向DOを推定する。これにより、推定される建物方向DOの精度がより向上する。
【0071】
また、本実施形態の建物情報生成方法では、建物領域Hの輪郭線Hbを複数の部分輪郭Mijに分割し、複数の部分輪郭Mijをそれぞれ近似した複数の近似直線を求め、当該複数の近似直線の方向に最も適合する建物方向DOを推定する建物方向推定ステップ、建物領域Hの輪郭線Hbを、推定された建物方向DOに平行な線分と、当該建物方向DOに垂直な線分と、からなる輪郭に修正する建物輪郭生成ステップ、を含む。
この建物情報生成方法では、最適な建物方向DOを初期輪郭から適切に定めることができるので、当該建物方向DOに従って輪郭の各辺の向きを適切にそろえることができる。したがって、建物の向きが不自然にばらつかず、より精度よく建物輪郭を抽出することができる。
【0072】
また、上記建物情報生成方法に係るプログラム121をコンピュータにインストールして実行することで、特殊なハードウェアなどを必要とせずに汎用コンピュータによるソフトウェア処理でも容易に、建物輪郭を精度よく抽出し、かつその向きが不自然にばらつくのを抑制することができる。
【符号の説明】
【0073】
1 情報処理装置
11 制御部
12 記憶部
121 プログラム
13 入出力インターフェイス
131 接続端子
132 通信部
14 操作受付部
15 表示部
21 データベース装置
22 光学読取装置
201 撮影画像データ
C、C0 コーナー
Cia 統合指標
DO 建物方向
Eia 平均誤差
Fia 正規化加算数
H 建物領域
HO 建物領域
Hb、Pb 輪郭線
Ji 分割数
Mij 部分輪郭