特許 7616923 学習装置、建物領域検出装置、マッチングシステム、学習方法、及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】学習装置、建物領域検出装置、マッチングシステム、学習方法、及び学習プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250109BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 11

(21)【出願番号】P 2021044224

(22)【出願日】2021-03-18

(65)【公開番号】P2022143613

(43)【公開日】2022-10-03

【審査請求日】2024-01-25

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１） 発行日（公開日） 令和３年２月１７日 刊行物 ＤＥＩＭ２０２１ 第１３回データ工学と情報マネジメントに関するフォーラム（第１９回日本データベース学会年次大会） 予稿集 データ工学研究専門委員会、日本データベース学会、データベースシステム研究会 発行 （Ｗｅｂ公開ＵＲＬ：ｈｔｔｐｓ：／／ｃｍｓ．ｄｅｉｍ－ｆｏｒｕｍ．ｏｒｇ／ｄｅｉｍ２０２１／ｐｒｏｇｒａｍ／） ＜資 料＞ 学会予稿集掲載論文 抜粋

【新規性喪失の例外の表示】特許法第３０条第２項適用 （２） 開催日（公開日） 令和３年３月１日（会期：令和３年３月１日～３月３日） 集会名 ＤＥＩＭ２０２１ 第１３回データ工学と情報マネジメントに関するフォーラム（第１９回日本データベース学会年次大会） データ工学研究専門委員会、日本データベース学会、データベースシステム研究会 主催 開催方法 オンラインミーティングアプリケーションＷｅｂＥｘによるオンライン開催 ＜資 料＞ 学会概要及びプログラム プリントアウト ＜資 料＞ オンライン口頭発表の発表資料

(73)【特許権者】

【識別番号】000102728

【氏名又は名称】株式会社ＮＴＴデータグループ

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】粟野 友貴

(72)【発明者】

【氏名】西村 拓哉

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１６－１１０２３２（ＪＰ，Ａ）

【文献】特開平１１－３２８３７８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２６９９７１３（ＣＮ，Ａ）

【文献】特表２０１０－５１５１３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

建物が撮像されている画像のデータである入力画像データと、前記入力画像データに含まれる個々の建物の外形を示す線分から選択される前記建物の領域の境界を構成する線分であって個々の建物ごとに適宜定める前記建物の下方部分に一端が属する第１の種類の線分と、前記建物の領域の境界を構成する線分であって前記下方部分に両端が属しない第２の種類の線分とを検出対象線分とし、前記検出対象線分を１つ含むように適宜定めた矩形領域の各々の前記入力画像データにおける位置を示す矩形位置データと、前記矩形領域の各々の大きさを示す矩形サイズデータと、前記矩形領域の各々に含まれる前記線分の両端点の当該矩形領域における位置を示す線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類のいずれであるかを示す線分種類データとを取り込む入力部と、
前記入力部が取り込んだ前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力部が取り込んだ前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う学習処理部と、
を備える学習装置。

【請求項2】

前記入力画像データに含まれる建物の外形を示す線分であって前記建物の領域の境界を構成する線分以外の線分であり、かつ前記建物を上面から見た場合の当該建物の隅に位置する線分を第３の種類の線分として前記検出対象線分に加え、
前記入力部は、
前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類、または、前記第３の種類のいずれであるかを示す線分種類データと、前記入力画像データとを取り込み、
前記学習処理部は、
前記入力部が取り込んだ前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力部が取り込んだ前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記第１の種類、または、前記第２の種類、または、前記第３の種類いずれであるかを示す前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う、
請求項１に記載の学習装置。

【請求項3】

請求項１、または、請求項２に記載の学習装置が生成する学習済みの学習モデルデータを適用した前記関数近似器に対して、任意の画像データを与えることにより、前記画像データに含まれる線分のうち前記検出対象線分についての前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを検出し、検出した前記検出対象線分ごとの前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを組み合わせた線分特定データを生成する線分検出部と、
前記線分検出部が生成する前記線分特定データに基づいて、前記建物の領域の境界を構成する線分であって接続関係にある線分を選択し、選択した前記線分を接続することにより、前記画像データに含まれる個々の建物ごとの建物の領域を検出する建物領域検出部と、
を備える建物領域検出装置。

【請求項4】

前記画像データからセマンティックセグメンテーションにより建物の領域を検出するセマンティックセグメンテーション部を備え、
前記建物領域検出装置は、
検出した個々の建物ごとの前記建物の領域と、前記セマンティックセグメンテーション部が検出する前記建物の領域との重複領域を検出し、検出した前記重複領域を個々の建物ごとの建物の領域とする、
請求項３に記載の建物領域検出装置。

【請求項5】

前記画像データは、上下が予め定められており、
前記建物領域検出部は、
前記線分検出部が検出した前記線分特定データに対応する線分から前記線分種類データが前記第１の種類である線分のいずれか１つを開始線分として選択し、選択した前記開始線分に対応する前記線分特定データに基づいて、選択した前記開始線分の端点のうち上方に位置する端点の近傍範囲内に一方の端点が存在する線分であって前記線分種類データが前記第２の種類である線分を接続対象の線分として選択し、選択した前記接続対象の線分の他方の端点の近傍範囲内に一方の端点が存在する線分であって前記線分種類データが前記第１の種類、または、前記第２の種類である線分を接続対象の線分として選択することを、前記接続対象の線分の前記線分種類データが前記第１の種類になるまで繰り返し、前記開始線分に対して、選択した前記接続対象の線分を選択した順に接続することにより、前記建物の領域を検出する、
請求項３または請求項４に記載の建物領域検出装置。

【請求項6】

前記建物領域検出部は、
前記開始線分の端点のうち上方に位置する端点の位置、または、前記接続対象の線分の他方の端点の位置が、前記画像データの上の縁の位置である場合、当該位置を基準位置とし、当該基準位置から予め定められる左右いずれか一方の方向の位置であって前記画像データの上の縁の位置に、一方の端点が存在する他の線分であって前記線分種類データが前記第１の種類、または、前記第２の種類である他の線分が存在するときには、前記他の線分の中で、前記基準位置からの距離が最小になる端点を前記画像データの上の縁に有する前記他の線分を選択し、前記基準位置と前記他の線分の前記画像データの上の縁に存在する端点の位置との間を接続対象の線分に加え、前記他の線分を接続対象の線分として選択する、
請求項５に記載の建物領域検出装置。

【請求項7】

前記画像データは、矩形形状であって上下が予め定められており、
前記建物領域検出部は、
検出した前記建物の領域の境界線上に位置する任意の点から垂直方向に前記画像データの下の縁に向かって伸長した線の中で最も長い線の長さを当該建物の領域の高さとし、高さの高い前記建物の領域の方が背後になるように、検出した前記建物の領域の配置の順番を定める、
請求項３から請求項６のいずれか１つに記載の建物領域検出装置。

【請求項8】

前記画像データは、矩形形状であって左右が予め定められており、
前記建物領域検出部は、
前記線分種類データが前記第１の種類である線分であって前記画像データの左の縁との距離が最短の線分を伸長した直線と、前記画像データの左の縁との間の領域を建物の領域として検出し、前記線分種類データが前記第１の種類である線分であって前記画像データの右の縁との距離が最短の線分を伸長した直線と、前記画像データの右の縁との間の領域を建物の領域として検出する、
請求項３から請求項７のいずれか１つに記載の建物領域検出装置。

【請求項9】

請求項３から８のいずれかに記載の建物領域検出装置と、
移動体に搭載されて移動する撮像装置であって前記建物領域検出装置の処理対象の画像データを生成する撮像装置と、
前記移動体の位置を検出する位置検出装置と、
前記建物領域検出装置が検出する前記建物の領域に基づくマッチング処理を行うマッチング装置と、を備え、
前記マッチング装置は、
建物の位置を示す位置データと、前記建物の地平面上での形状を示す形状データと、前記建物の高さを示す高さデータとを含む地図データを記憶する地図データ記憶部と、
前記位置検出装置が検出する前記移動体の位置を示すデータに基づいて、前記建物領域検出装置の処理対象の画像データを生成するために前記撮像装置が撮像した際の前記移動体の進行方向を算出し、算出した前記移動体の進行方向を示すデータと、当該撮像が行われた際の前記移動体の位置を示すデータと、当該撮像が行われた際の前記撮像装置の画角を示すデータとに基づいて、前記建物の前後関係が正しくなるように、前記地図データ記憶部が記憶する前記地図データから前記撮像装置の投影面に投影される地図画像データを生成し、生成した前記地図画像データと、前記建物領域検出装置が前記画像データから検出する前記建物の領域とを重ね合わせるマッチング処理を行うマッチング処理部
を備えるマッチングシステム。

【請求項10】

建物が撮像されている画像のデータである入力画像データと、前記入力画像データに含まれる個々の建物の外形を示す線分から選択される前記建物の領域の境界を構成する線分であって個々の建物ごとに適宜定める前記建物の下方部分に一端が属する第１の種類の線分と、前記建物の領域の境界を構成する線分であって前記下方部分に両端が属しない第２の種類の線分とを検出対象線分とし、前記検出対象線分を１つ含むように適宜定めた矩形領域の各々の前記入力画像データにおける位置を示す矩形位置データと、前記矩形領域の各々の大きさを示す矩形サイズデータと、前記矩形領域の各々に含まれる前記線分の両端点の当該矩形領域における位置を示す線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類のいずれであるかを示す線分種類データとを取り込む入力過程と、
前記入力過程により取り込まれた前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力過程により取り込まれた前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う学習処理過程と、
を含む学習方法。

【請求項11】

コンピュータに、
建物が撮像されている画像のデータである入力画像データと、前記入力画像データに含まれる個々の建物の外形を示す線分から選択される前記建物の領域の境界を構成する線分であって個々の建物ごとに適宜定める前記建物の下方部分に一端が属する第１の種類の線分と、前記建物の領域の境界を構成する線分であって前記下方部分に両端が属しない第２の種類の線分とを検出対象線分とし、前記検出対象線分を１つ含むように適宜定めた矩形領域の各々の前記入力画像データにおける位置を示す矩形位置データと、前記矩形領域の各々の大きさを示す矩形サイズデータと、前記矩形領域の各々に含まれる前記線分の両端点の当該矩形領域における位置を示す線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類のいずれであるかを示す線分種類データとを取り込む入力手順、
前記入力手順により取り込まれた前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力手順により取り込まれた前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う学習処理手順、
を実行させるための学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、建物領域検出装置、マッチングシステム、学習方法、及び学習プログラムに関する。

【背景技術】

【0002】

移動する車両に搭載したカメラを用いて街中の風景を撮像し、撮像した画像に含まれる建物を検出し、検出した建物と、２．５次元地図データ等とをマッチングすることにより、ＧＰＳ(Global Positioning System)から得られる車両の位置の精度を更に向上させたり、ＡＲ（Augmented Reality）技術を用いて、適切な建物に広告を表示したりするような応用技術の検討が進められている。

【0003】

画像に含まれる立体物を検出する技術として、例えば、特許文献１に開示される画像に含まれる直方体を検出する深層機械学習システムといった技術が存在する。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１９－５３６１５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、車両に搭載したカメラによって撮像した街中の風景の画像に含まれる建物の部分の画像の多くは、建物の１面、または、２面程度が撮像されたものであり、更に、高層ビル等では一部しか撮像されていない場合もある。このように、建物の全体が見えておらず、直方体の形状を成していない場合、特許文献１に開示される技術では、建物の部分を検出することができないという問題がある。

【0006】

また、画像に対してエッジ検出を行うことにより、建物の外形を示すエッジを検出することができる。しかし、エッジ検出により検出されるエッジは、建物の外形以外のエッジも含まれる。そのため、ベランダや窓の形状や配置などによって示される建物のテクスチャが複雑である場合、建物以外の障害物が多い場合、または、建物が隣接している場合などには、個々の建物の外形を示すエッジのみを抽出することが難しいという問題がある。

【0007】

本発明は、上記問題を解決すべくなされたもので、その目的は、画像データからエッジ検出により検出可能なエッジを示す線分の中から個々の建物の外形を示す線分を高い精度で検出し、検出した線分を用いて個々の建物の領域を検出することを可能にする学習装置、建物領域検出装置、マッチングシステム、学習方法、及び学習プログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記問題を解決するために、本発明の一態様は、建物が撮像されている画像のデータである入力画像データと、前記入力画像データに含まれる個々の建物の外形を示す線分から選択される前記建物の領域の境界を構成する線分であって個々の建物ごとに適宜定める前記建物の下方部分に一端が属する第１の種類の線分と、前記建物の領域の境界を構成する線分であって前記下方部分に両端が属しない第２の種類の線分とを検出対象線分とし、前記検出対象線分を１つ含むように適宜定めた矩形領域の各々の前記入力画像データにおける位置を示す矩形位置データと、前記矩形領域の各々の大きさを示す矩形サイズデータと、前記矩形領域の各々に含まれる前記線分の両端点の当該矩形領域における位置を示す線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類のいずれであるかを示す線分種類データとを取り込む入力部と、前記入力部が取り込んだ前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力部が取り込んだ前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う学習処理部と、を備える学習装置である。

【0009】

また、本発明の一態様は、上記に記載の学習装置が生成する学習済みの学習モデルデータを適用した前記関数近似器に対して、任意の画像データを与えることにより、前記画像データに含まれる線分のうち前記検出対象線分についての前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを検出し、検出した前記検出対象線分ごとの前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを組み合わせた線分特定データを生成する線分検出部と、前記線分検出部が生成する前記線分特定データに基づいて、前記建物の領域の境界を構成する線分であって接続関係にある線分を選択し、選択した前記線分を接続することにより、前記画像データに含まれる個々の建物ごとの建物の領域を検出する建物領域検出部と、を備える建物領域検出装置である。

【0010】

また、本発明の一態様は、上記に記載の建物領域検出装置と、移動体に搭載されて移動する撮像装置であって前記建物領域検出装置の処理対象の画像データを生成する撮像装置と、前記移動体の位置を検出する位置検出装置と、前記建物領域検出装置が検出する前記建物の領域に基づくマッチング処理を行うマッチング装置と、を備え、前記マッチング装置は、建物の位置を示す位置データと、前記建物の地平面上での形状を示す形状データと、前記建物の高さを示す高さデータとを含む地図データを記憶する地図データ記憶部と、前記位置検出装置が検出する前記移動体の位置を示すデータに基づいて、前記建物領域検出装置の処理対象の画像データを生成するために前記撮像装置が撮像した際の前記移動体の進行方向を算出し、算出した前記移動体の進行方向を示すデータと、当該撮像が行われた際の前記移動体の位置を示すデータと、当該撮像が行われた際の前記撮像装置の画角を示すデータとに基づいて、前記建物の前後関係が正しくなるように、前記地図データ記憶部が記憶する前記地図データから前記撮像装置の投影面に投影される地図画像データを生成し、生成した前記地図画像データと、前記建物領域検出装置が前記画像データから検出する前記建物の領域とを重ね合わせるマッチング処理を行うマッチング処理部を備えるマッチングシステムである。

【0011】

また、本発明の一態様は、建物が撮像されている画像のデータである入力画像データと、前記入力画像データに含まれる個々の建物の外形を示す線分から選択される前記建物の領域の境界を構成する線分であって個々の建物ごとに適宜定める前記建物の下方部分に一端が属する第１の種類の線分と、前記建物の領域の境界を構成する線分であって前記下方部分に両端が属しない第２の種類の線分とを検出対象線分とし、前記検出対象線分を１つ含むように適宜定めた矩形領域の各々の前記入力画像データにおける位置を示す矩形位置データと、前記矩形領域の各々の大きさを示す矩形サイズデータと、前記矩形領域の各々に含まれる前記線分の両端点の当該矩形領域における位置を示す線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類のいずれであるかを示す線分種類データとを取り込む入力過程と、前記入力過程により取り込まれた前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力過程により取り込まれた前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う学習処理過程と、を含む学習方法である。

【0012】

また、本発明の一態様は、コンピュータに、建物が撮像されている画像のデータである入力画像データと、前記入力画像データに含まれる個々の建物の外形を示す線分から選択される前記建物の領域の境界を構成する線分であって個々の建物ごとに適宜定める前記建物の下方部分に一端が属する第１の種類の線分と、前記建物の領域の境界を構成する線分であって前記下方部分に両端が属しない第２の種類の線分とを検出対象線分とし、前記検出対象線分を１つ含むように適宜定めた矩形領域の各々の前記入力画像データにおける位置を示す矩形位置データと、前記矩形領域の各々の大きさを示す矩形サイズデータと、前記矩形領域の各々に含まれる前記線分の両端点の当該矩形領域における位置を示す線分位置データと、前記検出対象線分が前記第１の種類、または、前記第２の種類のいずれであるかを示す線分種類データとを取り込む入力手順、前記入力手順により取り込まれた前記入力画像データを関数近似器に与えると、前記関数近似器が、前記入力手順により取り込まれた前記矩形位置データと、前記矩形サイズデータと、前記線分位置データと、前記線分種類データとを出力する状態に近づくように前記関数近似器に適用する学習モデルデータを更新する学習処理を行う学習処理手順、を実行させるための学習プログラムである。

【発明の効果】

【0013】

この発明によれば、画像データからエッジ検出により検出可能なエッジを示す線分の中から個々の建物の外形を示す線分を高い精度で検出し、検出した線分を用いて個々の建物の領域を検出することが可能になる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態による学習装置の構成を示すブロック図である。

【図2】同実施形態の学習装置に訓練データとして与えられる画像データの一例を示す図である。

【図3】図２の画像データに含まれる建物の外形を示す線分から矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを生成する過程を示す図である。

【図4】同実施形態の学習装置に訓練データとして与えられる画像データの他の例と当該画像データに含まれる建物の外形を示す線分の種類を示す図である。

【図5】同実施形態の学習装置に訓練データとして与えられる画像データに階段形状の建物が含まれている場合の当該建物の外形を示す線分の種類を示す図である。

【図6】同実施形態の学習装置に訓練データとして与えられる矩形位置データ、矩形サイズデータ、線分位置データを示す図である。

【図7】同実施形態の学習装置が備える関数近似器の構成を示すブロック図である。

【図8】同実施形態の学習装置による学習処理の流れを示すフローチャートである。

【図9】本発明の一実施形態によるマッチングシステムの構成を示すブロック図である。

【図10】同実施形態の建物領域検出装置の線分特定データ記憶部が記憶する線分特定データテーブルのデータ構成を示す図である。

【図11】同実施形態の建物領域検出装置の建物領域特定データ記憶部が記憶する建物領域特定データテーブルのデータ構成を示す図である。

【図12】同実施形態の建物領域検出装置の建物領域検出部による処理の流れを示すフローチャート（その１）である。

【図13】同実施形態の建物領域検出装置の建物領域検出部による処理の流れを示すフローチャート（その２）である。

【図14】実施形態の建物領域検出装置の建物領域検出部による処理の流れを示すフローチャート（その３）である。

【図15】同実施形態の建物領域検出装置の建物領域検出部による処理の流れを示すフローチャート（その４）である。

【図16】同実施形態の撮像装置が撮像した画像データから建物領域検出装置が建物の領域を検出する過程を示す図である。

【図17】同実施形態の建物領域検出装置の建物領域検出部が行う建物の境界を構成する線分を接続する過程を示す図（その１）である。

【図18】同実施形態の建物領域検出装置の建物領域検出部が行う建物の境界を構成する線分を接続する過程を示す図（その２）である。

【図19】同実施形態の建物領域検出装置の建物領域検出部が行う建物の境界を構成する線分を接続する過程を示す図（その３）である。

【図20】同実施形態の建物領域検出装置の建物領域検出部が行う建物の領域の配置順を定める処理の補足説明図である。

【図21】同実施形態のマッチング装置のマッチング処理部による処理の流れを示すフローチャートである。

【図22】同実施形態のマッチング装置のマッチング処理部による２．５次元の地図データから撮像装置の投影面における地図画像データを生成する過程を示す図である。

【発明を実施するための形態】

【0015】

（学習装置の構成）
図１は、本発明の一実施形態による学習装置１の構成を示すブロック図である。学習装置１は、入力部１１、関数近似器１２、学習処理部１３、及び学習モデルデータ記憶部１４を備える。入力部１１は、入力画像データ、矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを１セットとする複数セットの予め準備される訓練データを取り込む。入力部１１は、取り込んだ訓練データを１セットずつ選択することを繰り返し行う。入力部１１は、選択した１セットに含まれる入力画像データを関数近似器１２に出力し、当該セットに含まれる矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを学習処理部１３に出力する。

【0016】

入力画像データは、例えば、図２に示す建物２２、２３、道路２１などを含む街中の風景を撮像した画像データ２０である。画像データ２０に含まれる各画素の位置は、例えば、左下を原点とし、右方向に向かってＸの座標値が増加するＸ軸方向、上方向に向かってＹの座標値が増加するＹ軸方向が定められるＸＹ座標系で表されるものとする。また、画像データ２０は、例えば、ＲＧＢの３チャネルを有するカラー画像データである。

【0017】

図３から図６を参照しつつ、訓練データのセットに含まれる入力画像データ以外の矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データについて説明する。図３（ａ）は、建物２２の画像から矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを生成する過程を示す図である。エッジ検出の画像処理によって画像データ２０からエッジを示す線分を検出する。検出した線分には、建物２２の外形を示す線分以外に、建物２２のベランダや窓の形状の線分も含まれていることもあるため、線分の中から建物２２の外形を示す線分を選択する。

【0018】

建物２２の下方部分２２ｚを、建物２２の形状に応じて適宜定める。建物２２の外形を示す線分の中から建物２２の下方部分２２ｚに両端が属する線分、すなわち建物２２の底辺の線分を除く全ての線分の各々に対して矩形の形状の領域である矩形領域２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅを定める。矩形領域２２ａ～２２ｅのサイズは、１つの線分を囲むサイズにする。矩形領域２２ａ～２２ｅの各々に線分の全ての部分が含まれない線分は、矩形領域２２ａ～２２ｅの各々の対象となる線分でないものとする。例えば、矩形領域２２ａには、建物２２の左側の縁の線分と、矩形領域２２ｂに含まれる建物２２の上側の縁の線分の一部が含まれている。これらの線分のうち、矩形領域２２ａが全ての部分を含んでいる線分は、建物２２の左側の縁の線分である。そのため、矩形領域２２ａの対象となる線分は、建物２２の左側の縁の線分のみになる。

【0019】

矩形領域２２ａ～２２ｅの各々の対象となる線分を以下のように分類する。矩形領域２２ａ～２２ｅの各々の対象となる線分のうち、建物２２の領域の境界を構成する線分と、それ以外の線分とに分類する。図３（ａ）の場合、建物２２の領域の境界を構成する線分は、矩形領域２２ａ，２２ｂ，２２ｄ，２２ｅである。矩形領域２２ｃに含まれる線分は、建物２２の領域内に存在しているため、建物２２の領域の境界を構成する線分にはならない。

【0020】

建物２２の領域の境界を構成する線分である矩形領域２２ａ，２２ｂ，２２ｄ，２２ｅに含まれる線分を、一端が下方部分２２ｚに属する線分と、両端が下方部分２２ｚに属しない線分とに分類する。一端が下方部分２２ｚに属する線分は、矩形領域２２ａ，２２ｅに含まれる線分であり、この線分を第１の種類、すなわち視覚的に建物２２の端を示す「Ｃｏｒｎｅｒ」の種類の線分とする。両端が下方部分２２ｚに属しない線分は、矩形領域２２ｂ，２２ｄに含まれる線分であり、この線分を第２の種類、すなわち「Ｔｏｐ」の種類の線分とする。

【0021】

建物２２の外形を示す線分であるが、建物２２の領域の境界を構成する線分でない線分は、当該線分が建物２２を上面からみた場合に建物２２の隅に位置する線分の場合、第３の種類、すなわち「Ｃｅｎｔｅｒ」の種類の線分とする。矩形領域２２ｃに含まれる線分は、建物２２を上面からみた場合に建物２２の隅に位置する線分であるため、「Ｃｅｎｔｅｒ」の種類の線分になる。

【0022】

図３（ｂ）に示すように建物２３に対しても、建物２２の場合と同様に、矩形領域２３ａ，２３ｂ，２３ｃ，２３ｄ，２３ｅを定める。建物２３の場合、建物２２によって領域の一部が隠れているため、図３（ｂ）に示すような下方部分２３ｚを定めることになる。

【0023】

これにより、建物２２の矩形領域２２ａ～２２ｅの各々の対象となる線分２５ａ，２５ｂ，２５ｃ，２５ｄ，２５ｅと、建物２３の矩形領域２３ａ～２３ｅの各々の対象となる線分２６ａ，２６ｂ，２６ｃ，２６ｄ，２６ｅとが、図３（ｃ）に示す種類に分類されることになる。「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」の種類が、上記した線分ごとの線分種類データになる。

【0024】

なお、図２に示す画像データ２０では、建物２２の高さが、建物２３よりも低くなっており、建物２３の上部が見えていることから、図３（ｃ）に示す建物２３における線分２６ｃは、「Ｃｅｎｔｅｒ」の種類に分類される。

【0025】

仮に、図３（ｃ）に示す建物２２における線分２５ｅと、建物２３における線分２６ｃとが、同一線上に重なって見える状態で撮像されていた場合、線分２５ｅは、「Ｃｏｒｎｅｒ」の種類に分類され、線分２５ｅと重複しない上側の線分２６ｃは、「Ｃｅｎｔｅｒ」の種類に分類される。ただし、実際には、複数の線分が完全に重複した状態で撮像されることは滅多にないと考えられる。線分２５ｅと線分２６ｃとが重なって見える場合でも、基本的には完全に重なって認識されることはほとんどなく、少しずれた別個の線分として認識される。この結果、線分２５ｅは、「Ｃｏｒｎｅｒ」の種類に分類され、線分２６ｃは、「Ｃｅｎｔｅｒ」の種類に分類される。

【0026】

なお、図４（ａ）に示す画像データ２０Ａのように、建物２２の高さが、建物２３Ａよりも高い場合、建物２３Ａの上部は建物２２の背後になる。この場合、建物２３Ａからエッジ検出により得られる線分は、図４（ｂ）に示すように線分２６Ａａ，２６Ａｂ，２６Ａｃの３つになる。この場合、線分２６Ａａは、建物２２が存在しなければ、線分２６ｃと同じく「Ｃｅｎｔｅｒ」の種類に分類される線分であるが、建物２２が存在するために、視覚的に建物２３Ａの端を示す線分になるため「Ｃｏｒｎｅｒ」の種類に分類されることになる。

【0027】

また、図５に示すような階段形状を有する建物２４の場合の建物の外形を示す線分において、線分２７ｆは、線分２７ｋが存在するため、エッジ検出した場合に、２つの線分として検出されるが、複数の線分が、縦方向において直線上、または、略直線上に存在する場合、複数の線分を１つの線分２７ｆとみなして矩形領域を定めるものとする。また、建物２７のような形状の場合、線分２７ｋは、建物２７の外形を示す線分ではないが、線分２７ｉ，２７ｊは、建物２７の外形を示す線分になる。ただし、線分２７ｉ，２７ｊは、上記した「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」のいずれの種類にも該当しない。そのため、ここでは、線分２７ｉ，２７ｊの線分に対する矩形領域は、線分種類データが存在しないことから訓練データには含めないものとする。線分２７ｉ，２７ｊの種類の線分も対象にする場合には、「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」以外の種類を別に定める必要がある。

【0028】

次に、図６を参照しつつ矩形位置データ、矩形サイズデータ、線分位置データについて説明する。図６は、ある１つの矩形領域３１を示す図であり、矩形領域３１は、上記した矩形領域２２ａ～２２ｅ，２３ａ～２３ｅのように画像データ２０において定められた矩形領域の１つであるとする。矩形領域３１には、矩形領域３１の対象となる１つの線分３３が含まれている。矩形領域３１の矩形位置データは、符号３２によって示す位置を示すデータであり、符号３２の位置は、矩形領域３１の中心であり、画像データ２０のＸＹ座標系におけるＸ座標値とＹ座標値によって表されることになる。矩形領域３１の矩形サイズデータは、矩形領域３１の幅ｗと高さｈの長さを示すデータであり、幅ｗと高さｈの長さの値は、画像データ２０のＸＹ座標系における距離として算出される値である。

【0029】

矩形領域３１の線分位置データは、矩形領域３１に含まれる線分３３の両端点の矩形領域３１における相対的な位置として表される。すなわち、線分３３の一方の端点３４－１の矩形領域３１における相対的な位置は、Ｓ_１／ｗ、Ｓ_２／ｈとして表される。線分３３の他方の端点３４－２の矩形領域３１における相対的な位置は、Ｓ_３／ｗ、Ｓ_４／ｈとして表される。なお、Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４の長さの値は、画像データ２０のＸＹ座標系における距離として算出される値である。

【0030】

これにより、図３に示した画像データ２０における建物２２に対する矩形領域２２ａ～２２ｅの各々と、建物２３に対する矩形領域２３ａ～２３ｅの各々とに対する矩形位置データ（ｘ，ｙ）、矩形サイズデータ（ｗ，ｈ）、線分位置データ（Ｓ_１／ｗ、Ｓ_２／ｈ，Ｓ_３／ｗ、Ｓ_４／ｈ）、及び「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」のいずれかである線分種類データを生成することができる。

【0031】

画像データ２０以外の複数の異なる入力画像データについても同様に、矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを生成し、入力画像データ、矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを訓練データの１セットとして、複数のセットを予め訓練データとして準備する。

【0032】

図１に戻り、学習モデルデータ記憶部１４は、関数近似器１２に適用される重みやバイアスなどのパラメータを含む学習モデルデータを記憶する。関数近似器１２は、例えば、深層ニューラルネットワークであり、図７に示すように、ニューラルネットワーク１５－１，１５－２，１５－３、及びパラメータ取得部１６を備えている。パラメータ取得部１６は、学習処理部１３から取得指示信号を受けると学習モデルデータ記憶部１４が記憶する学習モデルデータを読み出し、学習モデルデータに含まれるパラメータの各々を、各々に対応するニューラルネットワーク１５－１，１５－２，１５－３に適用する。

【0033】

ニューラルネットワーク１５－１は、入力部１１が出力する３チャネルのカラー画像データである入力画像データを取り込む入力層を備えている。ニューラルネットワーク１５－２の出力層は、Ｎ×Ｍ×３の個数のニューロンで構成される。「Ｃｏｒｎｅｒ」の線分種類データに対応する出力層が、出力層１７ａであり、「Ｔｏｐ」の線分種類データに対応する出力層が、出力層１７ｂであり、「Ｃｅｎｔｅｒ」の線分種類データに対応する出力層が、出力層１７ｃである。出力層１７ａ～１７ｃの各々は、Ｎ×Ｍ個のニューロンを有する。

【0034】

ニューラルネットワーク１５－３の出力層は、Ｎ×Ｍ×８の個数のニューロンで構成される。ここで、矩形位置データのＸ座標値「ｘ」に対応する出力層が、出力層１８ａであり、Ｙ座標値「ｙ」に対応する出力層が、出力層１８ｂである。また、矩形サイズデータの幅「ｗ」に対応する出力層が、出力層１８ｃであり、高さ「ｈ」に対応する出力層が、出力層１８ｄである。また、線分位置データの「Ｓ_１／ｗ」に対応する出力層が、出力層１８ｅであり、「Ｓ_２／ｈ」に対応する出力層が、出力層１８ｆであり、「Ｓ_３／ｗ」に対応する出力層が、出力層１８ｇであり、「Ｓ_４／ｈ」に対応する出力層が、出力層１８ｈである。出力層１８ａ～１８ｈの各々は、Ｎ×Ｍ個のニューロンを有する。

【0035】

したがって、関数近似器１２は、１つの入力画像データに対して、Ｎ×Ｍ×１１個のデータを出力することになる。なお、図７では、一例として、Ｎ＝Ｍ＝８として示しているが、ＮとＭの値は、８以外の値であってもよく、ＮとＭが異なる値になっていてもよい。ＮとＭの値は、大きな値になると演算量が増大するため、入力画像データの解像度と、要求される検出精度とに応じて適切な値が予め定められる。

【0036】

ニューラルネットワーク１５－１の入力層と、ニューラルネットワーク１５－２，１５－３の出力層１７ａ～１７ｃ，１８ａ～１８ｈとの間のニューラルネットワークの構成として、例えば、以下の参考文献１に開示されている物体検出に用いられるＥｆｆｉｃｉｅｎｔＤｅｔの深層ニューラルネットワークの構成を適用する。

【0037】

「参考文献１：M. Tan, R. Pang and Q. V. Le, EfficientDet: Scalable and Efficient Object Detection, CVPR, 2020.」

【0038】

図７では、出力層１７ａ～１７ｃ，１８ａ～１８ｈの各々は、一例として、８×８＝６４個のニューロンを有する例を示している。６４個のニューロンは、入力画像データの領域を均等な大きさになるように６４個に分割した個々の分割領域に対応付けられている。学習処理部１３が行う学習処理の目標とする関数近似器１２の理想的な状態とは、以下のような状態である。例えば、入力画像データにおいて「Ｃｏｒｎｅｒ」の線分が複数存在しているとする。入力画像データの６４個の分割領域の中で複数の「Ｃｏｒｎｅｒ」の線分の各々に対応する矩形領域の中心が存在している分割領域に対応する出力層１７ａのニューロンが「１．０」の値を出力し、それ以外のニューロンが「０．０」を出力する状態になることである。

【0039】

また、出力層１７ａにおいて「１．０」を出力するニューロンが、例えば、図７において黒色で塗りつぶした出力層１７ａの４行３列目のニューロン１７ａ－４－３と、６行７列目のニューロン１７ａ－６－７であるとする。この場合に、関数近似器１２の理想的な状態とは、出力層１８ａ～１８ｈの各々の４行３列目のニューロンが、それぞれ４行３列目の分割領域に中心が存在する「Ｃｏｒｎｅｒ」の線分を含む矩形領域の矩形位置データの「ｘ」，「ｙ」の値、矩形サイズデータの「ｗ」，「ｈ」の値、線分位置データの「Ｓ_１／ｗ」，「Ｓ_２／ｈ」，「Ｓ_３／ｗ」，「Ｓ_４／ｈ」の値を出力する状態になることである。また、出力層１８ａ～１８ｈの各々の６行７列目のニューロンが、それぞれ６行７列目の分割領域に中心が存在する「Ｃｏｒｎｅｒ」の線分を含む矩形領域の矩形位置データの「ｘ」，「ｙ」の値、矩形サイズデータの「ｗ」，「ｈ」の値、線分位置データの「Ｓ_１／ｗ」，「Ｓ_２／ｈ」，「Ｓ_３／ｗ」，「Ｓ_４／ｈ」の値を出力する状態になることである。

【0040】

学習処理部１３は、入力画像データが与えられることにより関数近似器１２の出力層１７ａ～１７ｃ，１８ａ～１８ｈの各々が出力するデータと、入力部１１が出力するデータであって当該入力画像データに対応する矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データとに基づいて、上記した関数近似器１２の理想的な状態に近づくように、新たな学習モデルデータを算出する。学習処理部１３は、学習モデルデータ記憶部１４が記憶する学習モデルデータを、算出した新たな学習モデルデータに書き換えて更新する。また、学習処理部１３は、関数近似器１２のニューラルネットワーク１５－１，１５－２，１５－３に適用するパラメータを変更するタイミングで関数近似器１２のパラメータ取得部１６に対して取得指示信号を出力する。

【0041】

（学習装置による処理）
図８は、学習装置１による学習処理の流れを示すフローチャートである。学習モデルデータ記憶部１４は、乱数で初期化した初期値の学習モデルデータを予め記憶する。学習装置１が起動すると、関数近似器１２のパラメータ取得部１６は、学習モデルデータ記憶部１４が記憶する初期値の学習モデルデータを読み出し、読み出した学習モデルデータに含まれるパラメータの各々を、各々に対応するニューラルネットワーク１５－１，１５－２，１５－３に適用する。入力部１１は、訓練データを取り込む（ステップＳａ１）。

【0042】

入力部１１は、取り込んだ訓練データに含まれる複数のセットから１つずつセットを選択することを繰り返し行い。入力部１１は、選択した１セットに含まれる入力画像データを関数近似器１２に出力する。入力部１１は、選択した１セットに含まれる矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを学習処理部１３に出力する。関数近似器１２のニューラルネットワーク１５－１の入力層は、入力部１１が出力する入力画像データを取り込む。ニューラルネットワーク１５－１は、パラメータ取得部１６がニューラルネットワーク１５－１に対して適用したパラメータと、取り込んだ入力画像データとに基づいて、内部のニューロンの結合構成に応じた演算を行い、演算結果のデータをニューラルネットワーク１５－２，１５－３に出力する。

【0043】

ニューラルネットワーク１５－２の入力層は、ニューラルネットワーク１５－１が出力する演算結果のデータを取り込み、パラメータ取得部１６がニューラルネットワーク１５－２に対して適用したパラメータと、取り込んだ演算結果のデータとに基づいて、内部のニューロンの結合構成に応じた演算を行い、出力層１７ａ～１７ｃの各々が備えるニューロンが演算結果のデータを出力する。ニューラルネットワーク１５－３の入力層は、ニューラルネットワーク１５－１が出力する演算結果のデータを取り込み、パラメータ取得部１６がニューラルネットワーク１５－３に対して適用したパラメータと、取り込んだ演算結果のデータとに基づいて、内部のニューロンの結合構成に応じた演算を行い、出力層１８ａ～１８ｈの各々が備えるニューロンが演算結果のデータを出力する。

【0044】

学習処理部１３は、入力部１１が出力する矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを取り込む。学習処理部１３は、取り込んだ矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データと、出力層１７ａ～１７ｃ，１８ａ～１８ｈの各々が備えるニューロンが出力するデータとの誤差に基づいて、上記した関数近似器１２の理想的な状態に近づくように、新たな学習モデルデータを算出する。なお、学習処理部１３は、入力部１１が出力する１セットごとの誤差に基づいて新たな学習モデルデータを算出するオンライン学習を行ってもよいし、予め定められた数のセットごとに演算対象としたセットの各々の誤差に基づいて新たな学習モデルデータを算出するミニバッチ学習を行ってもよいし、訓練データに含まれる全てのセットごとに全てのセットの各々の誤差に基づいて新たな学習モデルデータを算出するバッチ学習を行ってもよい。

【0045】

学習処理部１３は、新たな学習モデルデータを算出するごとに、学習モデルデータ記憶部１４が記憶する学習モデルデータを、算出した新たな学習モデルデータに書き換えて更新する。学習処理部１３は、学習モデルデータ記憶部１４が記憶する学習モデルデータを更新すると、取得指示信号を関数近似器１２のパラメータ取得部１６に出力する。パラメータ取得部１６は、学習処理部１３から取得指示信号を受けると、学習モデルデータ記憶部１４から学習モデルデータを読み出し、読み出した学習モデルデータに含まれるパラメータの各々を、各々に対応するニューラルネットワーク１５－１，１５－２，１５－２に適用する（ステップＳａ２）。

【0046】

学習処理部１３が、予め定められた回数、学習モデルデータ記憶部１４が記憶する学習モデルデータを、算出した新たな学習モデルデータに書き換えて更新する処理を行うことにより、学習モデルデータ記憶部１４には、学習済みの学習モデルデータが書き込まれて記憶された状態になり（ステップＳａ３）、学習装置１は、処理を終了する。

【0047】

なお、上記した実施形態では、矩形位置データの「ｘ」，「ｙ」の値は、画像データ２０のＸＹ座標系における値、すなわち絶対座標系で表される値としている。これに対して、画像データ２０の領域をＮ×Ｍ個の均等な大きさに分割した分割領域の各々においてＸＹ座標を定め、当該ＸＹ座標系における矩形領域の中心の位置を、矩形位置データの「ｘ」，「ｙ」の値とする相対座標系で表される値を、矩形位置データの「ｘ」，「ｙ」の値としてもよい。ただし、相対座標系で表される値を用いる場合、必要に応じて絶対座標値から相対座標値に換算する処理、及び相対座標値から絶対座標値に換算する処理を行うことになる。

【0048】

上記の実施形態による学習装置１は、入力部１１と、学習処理部１３とを備える。入力部１１は、画像データ２０と、画像データ２０に含まれる検出対象線分を１つ含むように適宜定めた矩形領域を示す情報とを取り込む。検出対象線分は、第１の種類の線分である「Ｃｏｒｎｅｒ」の種類の線分、第２の種類の線分である「Ｔｏｐ」の種類の線分である。「Ｃｏｒｎｅｒ」は、画像データ２０に含まれる個々の建物２２，２３の外形を示す線分（２５ａ～２５ｅ，２６ａ～２６ｅ）から選択される建物の領域の境界を構成する線分（２５ａ，２５ｂ，２５ｄ，２５ｅ，２６ａ，２６ｂ，２６ｄ，２６ｅ）であって、個々の建物２２，２３ごとに適宜定める建物の下方部分２２ｚ，２３ｚに一端が属する線分である。「Ｔｏｐ」は、建物２２，２３の領域の境界を構成する線分であって、下方部分に両端が属しない線分である。矩形領域を示す情報は、検出対象線分を１つ含むように適宜定めた矩形領域（２２ａ，２２ｂ，２２ｄ，２２ｅ，２３ａ，３２ｂ，２３ｄ，２３ｅ）の各々に関する情報である。矩形領域を示す情報は、矩形領域の画像データ２０における位置を示す矩形位置データと、矩形領域の大きさを示す矩形サイズデータと、矩形領域に含まれる線分の両端点の矩形領域における位置を示す線分位置データと、検出対象線分が第１の種類、または、第２の種類のいずれであるかを示す線分種類データである。学習処理部１３は、学習処理を行う。学習処理は、関数近似器１２に適用する学習モデルデータを更新する処理である。学習処理において、入力部１１が取り込んだ画像データ２０を関数近似器１２に与えると、関数近似器１２が、入力部１１が取り込んだ矩形位置データと、矩形サイズデータと、線分位置データと、線分種類データとを出力する状態に近づくように学習モデルデータが更新される。これにより、最終的に学習済みの学習モデルデータを生成し、生成した学習済みの学習モデルデータを関数近似器１２に適用することで、任意の画像データからエッジ検出により検出可能なエッジを示す線分の中から個々の建物の外形であって建物の領域の境界を構成する線分を高い精度で検出することが可能となる。

【0049】

（マッチングシステムの構成）
図９は、本発明の一実施形態によるマッチングシステム２００の構成を示すブロック図である。マッチングシステム２００は、建物領域検出装置５０、移動体６０、及びマッチング装置７０を備える。移動体６０は、例えば、自動車などの車両であり、撮像装置６１、位置検出装置６２、及び通信装置６３を備える。撮像装置６１は、例えば、道路を走行する移動体６０の進行方向に沿った風景を一定の間隔で繰り返し撮像するカメラであり、撮像により画像データを生成する。撮像装置６１は、撮像するごとに、内部に備える時計などの計時手段から時刻を示す時刻データを取得し、画像データの各々を一意に識別可能な識別情報である画像ＩＤを生成する。撮像装置６１は、取得した時刻データと、生成した画像ＩＤと、撮像した際の画角を示すデータと、生成した画像データとを関連付けて出力する。

【0050】

位置検出装置６２は、例えば、ＧＰＳ衛星からの電波を受けて位置を検出するＧＰＳ端末装置であり、検出した位置を示す座標データと、検出した時刻を示す時刻データとを関連付けて出力する。通信装置６３は、例えば、無線通信端末装置であり、撮像装置６１が出力する画像データと、当該画像データに関連付けられている画像ＩＤとを建物領域検出装置５０に送信する。また、通信装置６３は、撮像装置６１が出力する画像ＩＤと、当該画像ＩＤに関連付けられている時刻データ及び画角を示すデータとをマッチング装置７０に送信する。また、通信装置６３は、位置検出装置６２が出力する座標データと、当該座標データに関連付けられている時刻データとをマッチング装置７０に送信する。

【0051】

建物領域検出装置５０は、受信部５１、学習済み学習モデルデータ記憶部５２、線分検出部５３、線分特定データ記憶部５４、セマンティックセグメンテーション部５６、建物領域検出部５７、及び建物領域特定データ記憶部５８を備える。建物領域検出装置５０において、受信部５１は、移動体６０の通信装置６３が送信する画像データと、当該画像データに関連付けられている画像ＩＤとを受信する。学習済み学習モデルデータ記憶部５２は、学習装置１の学習モデルデータ記憶部１４に書き込まれている学習済みの学習モデルデータを予め記憶する。

【0052】

線分検出部５３は、内部に学習装置１が備える関数近似器１２と同一構成の関数近似器を備えている。以下、線分検出部５３が備える関数近似器についても符号１２を付して関数近似器１２という。線分検出部５３は、受信部５１が受信した画像データを、学習済み学習モデルデータ記憶部５２が記憶する学習済みの学習モデルデータが適用された関数近似器１２に与えることにより、当該画像データから「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」の種類の検出対象線分ごとの矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データを検出する。線分検出部５３は、検出した検出対象線分ごとの矩形位置データ、矩形サイズデータ、線分位置データ、及び線分種類データの組み合わせに、受信部５１が受信した画像ＩＤを加えて、検出対象線分ごとの線分特定データを生成する。

【0053】

線分特定データ記憶部５４は、図１０に示すデータ形式の線分特定データテーブル５５を記憶する。線分特定データテーブル５５は、「画像ＩＤ」、「線分種類」、「矩形位置」、「矩形サイズ」、「線分位置」の項目を有する。「画像ＩＤ」、「線分種類」、「矩形位置」、「矩形サイズ」、「線分位置」の項目の各々には、線分検出部５３が生成した線分特定データの各々に含まれる画像ＩＤ、線分種類データ、矩形位置データ、矩形サイズデータ、線分位置データが書き込まれる。

【0054】

セマンティックセグメンテーション部５６は、画像データから、当該画像データに含まれる建物の領域の部分を検出させるようにする学習処理によって予め生成された学習済みの学習モデルデータが適用された深層ニューラルネットワークを内部に備えている。深層ニューラルネットワークとしては、例えば、以下の参考文献２に開示されるＵ－Ｎｅｔなどが適用される。

【0055】

「参考文献２：O. Ronneberger, P. Fischer and T. Brox, U Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597v1, 2015.」

【0056】

セマンティックセグメンテーション部５６が備える深層ニューラルネットワークは、隣接している建物などの場合、個々の建物の領域を検出するのではなく、隣接している建物を一体の建物とみなして建物の領域を検出する。

【0057】

建物領域検出部５７は、線分特定データ記憶部５４の線分特定データテーブル５５が記憶する線分特定データの中から画像ＩＤが同一である線分特定データを選択する。建物領域検出部５７は、選択した画像ＩＤが同一である線分特定データに基づいて、建物の領域の境界を構成する線分であって接続関係にある線分を選択し、選択した線分を接続することにより、当該画像ＩＤに対応する画像データに含まれる個々の建物の領域を検出する。また、建物領域検出部５７は、検出した個々の建物ごとの建物の領域と、セマンティックセグメンテーション部５６が検出した建物の領域であって建物領域検出部５７が検出した建物の領域の画像ＩＤに対応する建物の領域との重複領域を検出し、検出した重複領域を最終的な個々の建物ごとの建物の領域とする。

【0058】

また、建物領域検出部５７は、検出した個々の建物ごとの建物の領域の各々に対して、建物の領域を一意に識別可能な識別情報である建物領域ＩＤを生成する。また、建物領域検出部５７は、建物の領域の範囲を特定する建物領域範囲データと、当該建物の領域に対応する建物領域ＩＤと、当該建物の領域に対応する画像ＩＤとを含む建物領域特定データを生成する。ここで、建物領域範囲データとは、例えば、画像データのＸＹ座標系の座標データであって建物の領域の範囲を示す複数の座標データを接続する順に並べたデータである。また、建物領域検出部５７は、画像ＩＤが同一の建物領域特定データを選択し、選択した建物領域特定データに含まれる建物領域範囲データが示す建物の領域の高さに基づいて、高さが高い建物の領域ほど背後になるように、建物領域特定データの配置の順番を定め、定めた配置の順番を示すデータを建物領域特定データに付加する。

【0059】

建物領域特定データ記憶部５８は、図１１に示すデータ形式の建物領域特定データテーブル５９を記憶する。建物領域特定データテーブル５９は、「画像ＩＤ」、「建物領域ＩＤ」、「建物領域範囲」、「配置順」の項目を有する。「画像ＩＤ」、「建物領域ＩＤ」、「建物領域範囲」、「配置順」の項目の各々には、建物領域検出部５７が生成した建物領域特定データに含まれる画像ＩＤ，建物領域ＩＤ、建物領域範囲データ、及び配置の順番を示すデータが書き込まれる。

【0060】

マッチング装置７０は、マッチング処理部７１、地図データ記憶部７２、受信部７３、及び履歴情報記憶部７４を備える。受信部７３は、移動体６０の通信装置６３が送信する画像ＩＤと、当該画像ＩＤに関連付けられている時刻データ及び画角を示すデータと、座標データと、当該座標データに関連付けられている時刻データとを受信する。履歴情報記憶部７４は、受信部７３が受信した画像ＩＤと、当該画像ＩＤに関連付けられている時刻データ及び画角を示すデータとを時系列順に記憶し、座標データと、当該座標データに関連付けられている時刻データとを時系列順に記憶する。地図データ記憶部７２は、移動体６０が走行する付近の２．５次元地図データを予め記憶する。ここで、２．５次元地図とは、例えば、ＸＹ軸平面を地面、Ｚ軸を上空への方向とした場合に、ＸＹ軸平面上で建物の輪郭を示すデータがあり、当該輪郭が、一定の状態でＺ軸方向に予め定められる高さまで高くなっており、建物表面のテクスチャ（模様）を含んでいない地図である。建物の高さは、その建物において代表となる高さ、基本的には一番高い位置に相当する高さ、とする。

【0061】

なお建物の高さを示す情報がなくても、画像内の建物と、一部の地図上の建物（画像において視覚的に最前面にある建物）をマッチングすることは可能である。建物の高さを示す情報を用いることにより、低い建物の後方にある高い建物もマッチングできるようになり、より多くの建物をマッチングすることが可能となる。

【0062】

マッチング処理部７１は、建物領域検出装置５０の建物領域特定データ記憶部５８に接続しており、建物領域特定データ記憶部５８の建物領域特定データテーブル５９が記憶する建物領域特定データによって示される建物の領域と、地図データ記憶部７２が記憶する２．５次元地図データから生成する地図画像データとのマッチングを行う。

【0063】

なお、マッチング処理部７１と、建物領域特定データ記憶部５８とは、建物領域検出装置５０と、マッチング装置７０とが近い位置に配置されている場合、有線の電気回線などにより接続され、建物領域検出装置５０と、マッチング装置７０とが離れた位置に配置されている場合、有線、または、無線の通信回線により接続される。また、図９では、建物領域検出装置５０と、移動体６０との間、及びマッチング装置７０と、移動体６０との間が無線通信回線により接続される例を示しているが、移動体６０に、建物領域検出装置５０、及びマッチング装置７０のいずれか一方、または、両方が備えられていてもよい。この場合、移動体６０と、移動体６０に備えられている装置との間は、無線の通信回線ではなく、有線の電気回線により接続されていてもよい。また、移動体６０に、建物領域検出装置５０、及びマッチング装置７０のいずれか一方が備えられている場合、マッチング処理部７１と、建物領域特定データ記憶部５８との間は、無線の通信回線により接続されることになる。

【0064】

（建物領域検出装置による処理）
図１２から図２０を参照しつつ建物領域検出装置５０による処理について説明する。図１２から図１５は、建物領域検出装置５０の建物領域検出部５７による処理の流れを示すフローチャートである。図１２から図１５のフローチャートにおいて、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」の文字を含む丸印の接続マークは、処理が続いていることを示している。

【0065】

図１２のフローチャートが開始される前に、以下の処理が行われる。建物領域検出装置５０の線分検出部５３が備える関数近似器１２のパラメータ取得部１６は、建物領域検出装置５０が起動すると、学習済み学習モデルデータ記憶部５２から学習済みの学習モデルデータを読み出し、読み出した学習モデルデータに含まれるパラメータの各々を、各々に対応するニューラルネットワーク１５－１，１５－２，１５－３に適用する。建物領域検出装置５０の受信部５１は、移動体６０の通信装置６３が送信する画像データと、当該画像データに関連付けられている画像ＩＤとを受信する。受信部５１は、受信した画像データと、画像ＩＤとを線分検出部５３と、セマンティックセグメンテーション部５６とに出力する。ここで、受信部５１が出力する画像データは、例えば、図１６（ａ）に示す画像データ８０であるとする。

【0066】

線分検出部５３は、受信部５１が出力する画像データ８０と、画像データ８０に関連づけられている画像ＩＤとを取り込み、取り込んだ画像データ８０を関数近似器１２に与えることにより、関数近似器１２が出力するデータから「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」の種類の検出対象線分ごとの線分特定データを生成する。線分検出部５３が生成した線分特定データに対応する線分を表示画面に表示すると、例えば、図１６（ｂ）のような建物８１，８２，８３ごとの線分８１ａ～８１ｅ，８２ａ～８２ｅ，８３ａ～８３ｃが表示されることになる。線分検出部５３は、生成した線分特定データを線分特定データ記憶部５４の線分特定データテーブル５５に書き込んで記憶させる。

【0067】

セマンティックセグメンテーション部５６は、受信部５１が出力する画像データ８０と、画像データ８０に関連づけられている画像ＩＤとを取り込み、取り込んだ画像データ８０を内部に備える関数近似器に与えることにより、画像データ８０に含まれる建物の領域を検出する。セマンティックセグメンテーション部５６は、検出した建物の領域の範囲を示すセグメンテーションデータに、取り込んだ画像ＩＤを関連付けて建物領域検出部５７に出力する。セマンティックセグメンテーション部５６が検出したセグメンテーションデータを表示画面に表示すると、例えば、図１６（ｄ）のような建物の領域９０が表示されることになる。

【0068】

建物領域検出部５７は、セマンティックセグメンテーション部５６が出力するセグメンテーションデータと、画像ＩＤとを取り込み、取り込んだセグメンテーションデータと、画像ＩＤとを関連付けて内部の記憶領域に書き込んで記憶させる。建物領域検出部５７は、線分特定データテーブル５５が新たな画像データ８０の全ての線分特定データを記憶すると、線分特定データテーブル５５から新たな画像データ８０に対応する画像ＩＤの線分特定データを選択して全て読み出す。建物領域検出部５７は、読み出した線分特定データに含まれる矩形位置データと、矩形サイズデータと、線分位置データとに基づいて、線分特定データの各々に対応する線分の両端点の位置を画像データ８０のＸＹ座標系の座標値で示した座標データを算出する。建物領域検出部５７は、図１２に示すフローチャートの処理を開始する。

【0069】

建物領域検出部５７は、読み出した線分特定データに含まれる線分種類データを参照して、建物の領域の境界を構成する線分の中から接続関係にある線分を選択する処理を行う。建物の全体像が画像データに含まれている場合、建物の領域の境界を構成する線分の種類は、左側、または、右側から見て、「Ｃｏｒｎｅｒ」、少なくとも１つの「Ｔｏｐ」、「Ｃｏｒｎｅｒ」の順番に並んでおり、この順番で接続していることになる。

【0070】

建物領域検出部５７は、読み出した線分特定データに含まれる線分種類データを参照し、未処理の線分、すなわち、当該処理を行う以前に開始線分として選択されていない線分であって、かつ他の線分の接続対象として選択されていない線分の中から「Ｃｏｒｎｅｒ」の種類の線分特定データを検出する。建物領域検出部５７は、検出した線分特定データの矩形位置データを参照し、ＸＹ座標系において最も左側に位置する線分を開始線分として選択する。ここでは、建物領域検出部５７は、図１７に示すように開始線分として、画像データ８０に含まれる建物８１の線分８１ａを選択したとする（ステップＳｂ１）。

【0071】

建物領域検出部５７は、線分８１ａの両端点８１ａ－１，８１ａ－２のうちＹ座標の値が大きい方の端点である端点８１ａ－２を選択する（ステップＳｂ２）。ここで、Ｙ座標の値が大きい方の端点を選択している理由は、学習装置１に適用する訓練データを生成する際に「Ｃｏｒｎｅｒ」の種類の線分のＹ座標の値が小さい方の端点の位置は、建物の下方部分に属しており、接続する線分が存在しないことが前提になっているためである。建物領域検出部５７は、端点８１ａ－１の座標が画像データ８０の縁の座標であるか否かを判定する（ステップＳｂ３）。ここで、画像データ８０の縁の座標である場合とは、Ｘ座標の値が「０」であるか、もしくは、最大値であるか、または、Ｙ座標の値が「０」であるか、もしくは、最大値である場合である。建物領域検出部５７は、端点８１ａ－１の座標が画像データ８０の縁の座標であると判定した場合（ステップＳｂ３、Ｙｅｓ）、この場合は、建物の領域の境界を構成する線分が、「Ｃｏｒｎｅｒ」、少なくとも１つの「Ｔｏｐ」、「Ｃｏｒｎｅｒ」の順に並ばないことになる。そのため、例外的な処理として、接続マークＡが示すように、図１３に示すフローチャートの処理が行われる。

【0072】

図１７に示すように、端点８１ａ－１の座標、画像データ８０の縁の座標ではない。そのため、建物領域検出部５７は、端点８１ａ－１が画像データ８０の縁の座標でないと判定し（ステップＳｂ３、Ｎｏ）、次に、端点８１ａ－１の位置を中心として、予め定められる大きさの近傍範囲１０１を定める（ステップＳｂ４）。建物領域検出部５７は、読み出した線分特定データを参照し、定めた近傍範囲１０１に未処理の「Ｔｏｐ」の種類の線分の端点が存在するか否かを判定する（ステップＳｂ５）。建物領域検出部５７は、定めた近傍範囲１０１に未処理の「Ｔｏｐ」の種類の線分の端点が存在しないと判定した場合（ステップＳｂ５、Ｎｏ）、この場合は、開始線分に接続する建物８１の領域の境界を構成する他の線分は存在しないため、当該開始線分に対する建物の領域を特定する処理を行わず、処理をステップＳｂ１３に進める。

【0073】

一方、建物領域検出部５７は、定めた近傍範囲１０１に未処理の「Ｔｏｐ」の種類の線分の端点が存在すると判定した場合（ステップＳｂ５、Ｙｅｓ）、処理をステップＳｂ６に進める。端点８１ａ－１の場合、近傍範囲１０１に未処理の「Ｔｏｐ」の種類である線分８１ｂの端点８１ｂ－１が存在する。そのため、建物領域検出部５７は、ステップＳｂ５において、定めた近傍範囲１０１に未処理の「Ｔｏｐ」の種類の線分８１ｂの端点８１ｂ－１が存在すると判定する。なお、建物領域検出部５７は、近傍範囲１０１において、複数の未処理の「Ｔｏｐ」の種類の線分の端点を検出した場合、近傍範囲１０１の中心から最も近い端点を選択するものとする。建物領域検出部５７は、線分８１ｂを接続対象の線分として選択する（ステップＳｂ６）。

【0074】

建物領域検出部５７は、接続対象として選択した線分８１ｂの他方の端点８１ｂ－２の位置を中心として、予め定められる大きさの近傍範囲１０２を定める（ステップＳｂ７）。建物領域検出部５７は、読み出した線分特定データを参照し、定めた近傍範囲１０２に未処理の「Ｔｏｐ」、または、「Ｃｏｒｎｅｒ」の種類の線分の端点が存在するか否かを判定する（ステップＳｂ８）。建物領域検出部５７は、定めた近傍範囲１０２に未処理の「Ｔｏｐ」、または、「Ｃｏｒｎｅｒ」の種類の線分の端点が存在すると判定した場合（ステップＳｂ８、Ｙｅｓ）、処理をステップＳｂ９に進める。端点８１ｂ－２の場合、近傍範囲１０２に未処理の「Ｔｏｐ」の種類である線分８１ｄの端点８１ｄ－１が存在する。そのため、建物領域検出部５７は、ステップＳｂ８において、定めた近傍範囲１０２に未処理の「Ｔｏｐ」の種類の線分８１ｄの端点８１ｄ－１が存在すると判定する。なお、建物領域検出部５７は、近傍範囲１０２において、複数の未処理の「Ｔｏｐ」または「Ｃｏｒｎｅｒ」の種類の線分の端点を検出した場合、「Ｃｏｒｎｅｒ」の種類の端点を優先して選択し、未処理の「Ｃｏｒｎｅｒ」の種類の端点を複数検出した場合、近傍範囲１０１の中心から最も近い「Ｃｏｒｎｅｒ」の種類の端点を選択するものとする。建物領域検出部５７は、線分８１ｄを接続対象の線分として選択する（ステップＳｂ９）。

【0075】

一方、建物領域検出部５７は、ステップＳｂ８において、定めた近傍範囲１０２に未処理の「Ｔｏｐ」及び「Ｃｏｒｎｅｒ」の種類の線分の端点が存在していない判定した場合（ステップＳｂ８、Ｎｏ）、建物領域検出部５７は、端点８１ｂ－２の座標が画像データ８０の縁の座標であるか否かを判定する（ステップＳｂ１０）。

【0076】

建物領域検出部５７は、処理対象の端点の座標が画像データ８０の縁の座標であると判定した場合（ステップＳｂ１０、Ｙｅｓ）、この場合は、建物の領域の境界を構成する線分が「Ｃｏｒｎｅｒ」、少なくとも１つの「Ｔｏｐ」、「Ｃｏｒｎｅｒ」の順に並ばないことになる。そのため、例外的な処理として、接続マークＡが示すように、図１３に示すフローチャートの処理が行われる。一方、建物領域検出部５７は、処理対象の端点の座標が画像データ８０の縁の座標でないと判定した場合（ステップＳｂ１０、Ｎｏ）、この場合は、接続対象の線分に接続する他の線分が存在せず、建物の領域を特定することができないため、それまでにステップＳｂ６、または、ステップＳｂ９において接続対象として選択した線分を接続対象から解除し、処理をステップＳｂ１３に進める。

【0077】

ステップＳｂ９の処理の後、建物領域検出部５７は、接続対象として選択した線分８１ｄの線分特定データの線分種類データに基づいて、線分８１ｄの種類が「Ｃｏｒｎｅｒ」であるか否かを判定する（ステップＳｂ１１）。線分８１ｄの場合、線分の種類は「Ｔｏｐ」であるため、建物領域検出部５７は、線分の種類が「Ｃｏｒｎｅｒ」でないと判定し（ステップＳｂ１１、Ｎｏ）、処理をステップＳｂ７に進める。再び、ステップＳｂ７以降の処理が行われることにより、建物領域検出部５７は、接続対象として、更に、図１７に示す線分８１ｅを選択することになる。線分８１ｅの種類は「Ｃｏｒｎｅｒ」であるため、建物領域検出部５７は、ステップＳｂ１１の処理において、線分８１ｅの種類が「Ｃｏｒｎｅｒ」であると判定する（ステップＳｂ１１、Ｙｅｓ）。これにより、「Ｃｏｒｎｅｒ」の線分８１ａである開始線分からスタートして、建物領域検出部５７は、接続対象の線分として、２つの「Ｔｏｐ」の線分８１ｂ，８１ｄと、「Ｃｏｒｎｅｒ」の線分８１ｅとを選択することになる。

【0078】

建物領域検出部５７は、「Ｃｏｒｎｅｒ」の線分８１ａ，８１ｅの線分を鉛直方向に画像データ８０の下の縁まで伸長する。建物領域検出部５７は、「Ｔｏｐ」の線分８１ｂ，８１ｄと、「Ｃｏｒｎｅｒ」の線分８１ｅを伸長した線分とを、開始線分である線分８１ａを伸長した線分に対して選択した順に接続する。建物領域検出部５７は、接続した線分によって囲まれる領域を、建物８１に対応する建物の領域とする。建物領域検出部５７は、当該建物の領域を囲むＸＹ座標系の座標データを接続順に並べて建物領域範囲データを生成する。建物領域検出部５７は、建物８１に対する建物領域ＩＤを生成し、画像データ８０の画像ＩＤと、生成した建物領域ＩＤと、生成した建物領域範囲データとを含む建物領域特定データを生成し、生成した建物領域特定データを内部の記憶領域に書き込んで記憶させる（ステップＳｂ１２）。

【0079】

建物領域検出部５７は、処理をステップＳｂ１３に進めて、読み出した線分特定データにおいて、未処理の線分であって「Ｃｏｒｎｅｒ」の種類の線分特定データが存在するか否かを判定する（ステップＳｂ１３）。上記したように、未処理の線分とは、開始線分として選択されていない線分であって、かつ他の線分の接続対象として選択されていない線分である。なお、他の線分の接続対象の線分として選択された後に接続対象の線分から解除された線分は、未処理の線分に含まれることになる。

【0080】

建物領域検出部５７は、未処理の線分であって「Ｃｏｒｎｅｒ」の種類の線分特定データが存在すると判定した場合（ステップＳｂ１３、Ｙｅｓ）、再び、ステップＳｂ１の処理を行う。一方、建物領域検出部５７は、未処理の線分であって「Ｃｏｒｎｅｒ」の種類の線分特定データが存在しないと判定した場合（ステップＳｂ１３、Ｎｏ）、画像データ８０の画像ＩＤに対応する線分特定データに基づく、建物の領域の検出が完了したことになり、その後、接続マークＢが示すように、図１４に示すフローチャートの処理が行われる。

【0081】

（建物の領域が画像データの縁に接している場合の例外処理）
図１３は、図１２のフローチャートの接続マークＡの後に行われる処理の流れを示すフローチャートである。建物領域検出部５７は、処理対象の端点の位置が、画像データ８０の上の縁、または、左右いずれかの縁、または、下の縁であるかを判定する（ステップＳｃ１）。

【0082】

例えば、画像データ８０において、図１６（ａ）には図示していない建物８５，８６の画像が含まれているとする。当該建物８５，８６の線分特定データを表示画面に表示すると、図１８（ａ）に示す状態になっているとする。図１８（ａ）に示すように、建物８５は、全体像が画像データ８０の範囲内に収まっておらず、上部が見えない状態になっている。また、建物８６についても、全体像が画像データ８０の範囲内に収まっておらず、上部と右側が見えない状態になっている。この場合、「Ｃｏｒｎｅｒ」の線分８５ａと、「Ｔｏｐ」の線分８５ｃは、見えない他の「Ｔｏｐ」の線分を介して接続しているものと推測することができる。また、例えば、画像データ８０において、図１６（ａ）には図示していない建物８７の画像が含まれているとする。当該建物８７の線分特定データを表示画面に表示すると、図１８（ｂ）に示す状態になっているとする。図１８（ｂ）に示すように、建物８７は、建物８５と同様に、全体像が画像データ８０の範囲内に収まっておらず、上部が見えない状態になっている。この場合、「Ｃｏｒｎｅｒ」の線分８７ａと、「Ｃｏｒｎｅｒ」の線分８７ｃは、見えない他の「Ｔｏｐ」の線分を介して接続しているものと推測することができる。以下、処理対象の端点が、端点８５ａ－２、または、端点８７ａ－２であるとして、ステップＳｃ１の「上の縁」の場合の処理について説明する。

【0083】

建物領域検出部５７は、処理対象の端点の位置が、画像データ８０の上の縁であると判定した場合（ステップＳｃ１、上の縁）、処理対象の端点の位置を基準位置とし、当該基準位置よりも右側に位置する他の端点であって、かつ画像データ８０の上の縁、すなわちＹ軸の座標値が最大である他の端点であり、当該他の端点の線分の種類が「Ｃｏｒｎｅｒ」、または、「Ｔｏｐ」である他の端点が存在するかを判定する（ステップＳｃ２）。建物領域検出部５７は、上記のような他の端点が存在しないと判定した場合（ステップＳｃ２、Ｎｏ）、この場合は、開始線分、または、接続対象の線分に接続する他の線分が存在せず、建物の領域を特定することができないため、それまでにステップＳｂ６、または、ステップＳｂ９において接続対象として選択した線分を接続対象から解除し、接続マークＣが示すように、処理は、図１２のステップＳｂ１３に進められる。

【0084】

処理対象の端点が、図１８（ａ）に示す端点８５ａ－２である場合、上記のような他の端点として端点８５ｃ－１と、端点８６ａ－１とが存在する。また、処理対象の端点が、図１８（ｂ）に示す端点８７ａ－２である場合、他の端点として端点８７ｃ－１が存在する。端点８５ｂ－２と、端点８７ｂ－２は、線分の種類が「Ｃｅｎｔｅｒ」であるためステップＳｃ２における他の端点にはならない。

【0085】

したがって、処理対象の端点が、端点８５ａ－２、または、端点８７ａ－２である場合、建物領域検出部５７は、上記のような他の端点が存在すると判定し（ステップＳｃ２、Ｙｅｓ）、処理対象の端点の位置である基準位置と、他の端点との間の距離が最小となる他の端点を選択する（ステップＳｃ３）。端点８７ａ－２の場合、他の端点は、端点８７ｃ－１のみであるため、建物領域検出部５７は、端点８７ｃ－１を選択する。これに対して、端点８５ａ－２の場合、他の端点として、端点８５ｃ－１と、端点８６ａ－１とが存在する。そのため、建物領域検出部５７は、最小の距離となる端点８５ｃ－１を選択する。

【0086】

建物領域検出部５７は、処理対象の端点の位置である基準位置と、選択した端点との間を結ぶ線分を接続対象の線分に加え、選択した端点の線分を接続対象の線分として選択する（ステップＳｃ４）。図１８（ａ）の場合、建物領域検出部５７は、端点８５ａ－２と、端点８５ｃ－１とを結ぶ線分である線分８５－ａｄｄを接続対象の線分に加え、線分８５ｃを接続対象の線分として選択する。図１８（ｂ）の場合、建物領域検出部５７は、端点８７ａ－２と、端点８７ｃ－１とを結ぶ線分である線分８７－ａｄｄを接続対象の線分に加え、線分８７ｃを接続対象の線分として選択する。その後、接続マークＤが示すように、図１２のステップＳｂ１１の処理が行われる。

【0087】

次に、建物領域検出部５７が、ステップＳｃ１において、処理対象の端点の位置が、画像データ８０の左右いずれかの縁に位置しているか、または、下の縁に位置していると判定した場合について説明する。例えば、画像データ８０において、図１６（ａ）には図示していない建物８８の画像が含まれているとする。当該建物８８の線分特定データを表示画面に表示すると、図１９に示す状態になっているとする。図１９に示すように、建物８８は、全体像が画像データ８０の範囲内に収まっておらず、右側の一部が切れてしまっている。この場合、線分８８ａ，８８ｂ，８８ｄによって囲まれる領域を、画像データ８０における建物８８の領域とすることができる。以下、処理対象の端点が、端点８８ｄ－２であるとして、ステップＳｃ１の「左右の縁」の場合の処理について説明する。

【0088】

建物領域検出部５７は、処理対象の端点８８ｄ－２の位置が画像データ８０の右の縁であるため、処理対象の端点８８ｄ－２の位置が左右いずれかの縁であると判定する（ステップＳｃ１、左右いずれかの縁）。建物領域検出部５７は、端点８８ｄ－２の位置から鉛直方向に画像データ８０の下の縁まで伸長した線分８８－ａｄｄを接続対象の線分に加える（ステップＳｃ５）。

【0089】

ステップＳｃ６の処理は、ステップＳｂ１２と同一の処理であり、図１９の場合、「Ｃｏｒｎｅｒ」の線分８８ａを鉛直方向に画像データ８０の下の縁まで伸長した線分と、「Ｔｏｐ」の線分８８ｂ，８８ｄと、線分８８－ａｄｄとによって囲まれる領域が、建物８８の建物の領域となる。

【0090】

建物領域検出部５７が、ステップＳｃ１において、処理対象の端点の位置が、画像データ８０の下の縁に位置していると判定する場合とは、図１９において、例えば、線分８８ｄに替えて一点鎖線で示す線分８８ｅのような線分が存在している場合である。この場合、処理対象の端点の位置が左右いずれかの縁である場合の処理であるステップＳｃ５と、ステップＳｃ６の処理のうち、ステップＳｃ５の処理を除いたステップＳｃ６の処理を行えばよいことになる。そのため、建物領域検出部５７は、処理対象の端点の位置が画像データ８０の下の縁であると判定した場合（ステップＳｃ１、下の縁）、ステップＳｂ１２及びステップＳｃ６と同一の処理であるステップＳｃ７の処理を行う。

【0091】

（左右の空き領域を建物の領域として加える処理）
図１４は、図１２のステップＳｂ１３の判定処理において、建物領域検出部５７が、「Ｎｏ」の判定をした場合、すなわち、画像データ８０の画像ＩＤに対応する線分特定データに基づく建物の領域の検出が完了した後に行われる処理の流れを示すフローチャートである。図１６（ａ）に示す画像データ８０の場合、左右の両端の領域に建物は存在していないが、撮影の際の画角によっては、左右の縁で建物の領域が切れてしまっている画像データが存在することも想定される。図１２に示したフローチャートの処理では、建物の左端の「Ｃｏｒｎｅｒ」の種類の線分が画像データに含まれていない建物については、建物の領域の検出の対象にはならない。そのため、画像データの左端の領域に建物の画像が存在しており、当該建物の左端の「Ｃｏｒｎｅｒ」の種類の線分の線分特定データが存在しない場合、建物領域検出部５７は、当該建物の領域を検出できないことになる。

【0092】

また、図１９に示す建物８８の線分８８ａ，８８ｂ，８８ｃ，８８ｄの中で、線分検出部５３が、線分８８ｄを検出できなかった場合、建物領域検出部５７は、建物８８の建物の領域を検出することができないことになる。

【0093】

上記のような建物の領域を検出することができない場合に備えて、左右の縁に近い領域に、左右の空き領域を建物の領域に加える処理を行う。これにより、後述するセマンティックセグメンテーション部５６が検出したセグメンテーションデータとの重複領域を検出することにより、建物領域検出部５７が、図１２及び図１３に示した処理において、建物の領域を検出することができなかった建物の領域を検出することが可能になる。以下、図１４に示すフローチャートにしたがって処理の流れを説明する。

【0094】

建物領域検出部５７は、内部の記憶領域が記憶する建物領域特定データの建物領域範囲データを参照し、画像データ８０の左の縁の上に境界が存在する建物領域特定データが存在するか否かを判定する（ステップＳｄ１）。建物領域検出部５７は、画像データ８０の左の縁の上に境界が存在する建物領域特定データが存在すると判定した場合（ステップＳｄ１、Ｙｅｓ）、この場合、既に画像データ８０の左の縁に境界が存在する建物の領域が存在し、左の空き領域を建物の領域として加えてしまうと、左の縁に境界が存在する建物の領域が誤った建物の領域を示すことになる。そのため、建物領域検出部５７は、左の空き領域を建物の領域として加えず、処理を、ステップＳｄ４に進める。

【0095】

一方、建物領域検出部５７は、画像データ８０の左の縁の上に境界が存在する建物領域特定データが存在しないと判定した場合（ステップＳｄ１、Ｎｏ）、線分特定データテーブル５５を参照し、画像データ８０の左の縁との距離が最短である「Ｃｏｒｎｅｒ」の種類の線分を検出する（ステップＳｄ２）。ここで、線分と、画像データ８０の左の縁との距離とは、画像データ８０が矩形形状であることから、画像データ８０の左の一辺の任意の位置から水平方向に向かって、線分の任意の位置まで伸長した線の長さが最小になる長さである。

【0096】

図１６（ａ）に示す画像データ８０の場合、建物領域検出部５７は、画像データ８０の左の縁との距離が最短である「Ｃｏｒｎｅｒ」の種類の線分として、図１６（ｂ）に示す線分８１ａを検出する。建物領域検出部５７は、検出した線分８１ａを画像データ８０の上と下の縁まで伸長し、伸長した線分と、画像データ８０の左の縁との間を建物の領域とする。建物領域検出部５７は、当該建物の領域の頂点のＸＹ座標系の座標データのいずれか１つの頂点の座標データを選択し、当該１つの頂点から、右回り、または、左回りに他の頂点の座標データを並べて、建物領域範囲データを生成する。当該建物領域範囲データを表示画面に表示すると、図１６（ｃ）の建物の領域９４として表示されることになる。建物領域検出部５７は、建物の領域９４に対する建物領域ＩＤを生成し、画像データ８０の画像ＩＤと、生成した建物領域ＩＤと、生成した建物領域範囲データとを含む建物領域特定データを生成し、生成した建物領域特定データを内部の記憶領域に書き込んで記憶させる（ステップＳｄ３）。

【0097】

建物領域検出部５７は、内部の記憶領域が記憶する建物領域特定データの建物領域範囲データを参照し、画像データ８０の右の縁の上に境界が存在する建物領域特定データが存在するか否かを判定する（ステップＳｄ４）。建物領域検出部５７は、画像データ８０の右の縁の上に境界が存在する建物領域特定データが存在すると判定した場合（ステップＳｄ４、Ｙｅｓ）、この場合、既に画像データ８０の右の縁に境界が存在する建物の領域が存在し、右の空き領域を建物の領域として加えてしまうと、右の縁に境界が存在する建物の領域が誤った建物の領域を示すことになる。そのため、建物領域検出部５７は、右の空き領域を建物の領域として加えず、その後、接続マークＥが示すように、図１５のフローチャートの処理が行われる。

【0098】

一方、建物領域検出部５７は、画像データ８０の右の縁の上に境界が存在する建物領域特定データが存在しないと判定した場合（ステップＳｄ４、Ｎｏ）、線分特定データテーブル５５を参照し、画像データ８０の右の縁との距離が最短である「Ｃｏｒｎｅｒ」の種類の線分を検出する（ステップＳｄ５）。

【0099】

図１６（ａ）に示す画像データ８０の場合、建物領域検出部５７は、画像データ８０の右の縁との距離が最短である「Ｃｏｒｎｅｒ」の種類の線分として、図１６（ｂ）に示す線分８３ｃを検出する。建物領域検出部５７は、検出した線分８３ｃを画像データ８０の上と下の縁まで伸長し、伸長した線分と、画像データ８０の右の縁との間を建物の領域とする。建物領域検出部５７は、当該建物の領域の頂点のＸＹ座標系の座標データのいずれか１つの頂点の座標データを選択し、当該１つの頂点から、右回り、または、左回りに他の頂点の座標データを並べて、建物領域範囲データを生成する。当該建物領域範囲データを表示画面に表示すると、図１６（ｃ）の建物の領域９５として表示されることになる。建物領域検出部５７は、建物の領域９５に対する建物領域ＩＤを生成し、画像データ８０の画像ＩＤと、生成した建物領域ＩＤと、生成した建物領域範囲データとを含む建物領域特定データを生成し、生成した建物領域特定データを内部の記憶領域に書き込んで記憶させる（ステップＳｄ６）、その後、処理は、接続マークＥが示すように、図１５のフローチャートの処理が行われる。

【0100】

なお、図１４に示すフローチャートにおいて、左右の順を入れ替えてもよい。すなわち、ステップＳｄ４，Ｓｄ５，Ｓｄ６の処理を先に行い、その後に、ステップＳｄ１，Ｓｄ２，Ｓｄ３の処理を行い、ステップＳｄ４において「Ｙｅｓ」の判定がされた場合に、ステップＳｄ１の処理を行い、ステップＳｄ１において「Ｙｅｓ」の判定がされた場合に、接続マークＥが示す処理、すなわち図１５に示すフローチャートの処理が行われるようにしてもよい。

【0101】

また、図１４に示すフローチャートでは、ステップＳｄ２，Ｓｄ５において、建物領域検出部５７は、線分特定データテーブル５５を参照し、画像データ８０の左、または、右の縁との距離が最短である「Ｃｏｒｎｅｒ」の種類の線分を検出するようにしている。これに対して、建物領域特定データの建物領域範囲データが示す建物の領域の境界に含まれなかった「Ｃｏｒｎｅｒ」の種類の線分が存在する場合、言い換えると、画像データ８０の左右の縁で途切れている建物の画像が存在し、建物領域検出部５７が検出した建物の領域の境界に含まれなかった「Ｃｏｒｎｅｒ」の種類の線分が存在する場合のみ、ステップＳｄ３，Ｓｄ５の処理を行うようにしてもよい。

【0102】

（配置順を定めてセグメンテーションデータとの重複領域を検出する処理）
例えば、建物領域検出部５７が、図１６（ａ）に示す画像データ８０から生成した建物領域特定データの建物領域範囲データに基づいて、建物８１，８２，８３の各々に対応する建物の領域９１，９２，９３を、先に検出した建物の領域を背後にして並べる処理を行ったとする。この場合、「Ｃｏｒｎｅｒ」の線分を画像データ８０の下の縁まで伸長しているために、図２０に示すように、建物８１の建物の領域９１の一部が、建物８２の建物の領域９２によって隠されてしまう状態になる。このような状態を回避するため、建物領域検出部５７は、高さの低い建物の領域が前面になるように配置の順番を定める処理を行う。

【0103】

建物領域検出部５７は、内部の記憶領域が記憶する建物領域特定データの建物領域範囲データの各々から、Ｙ座標値が最も大きい値を検出する。建物領域検出部５７は、検出した値を、検出元の建物領域範囲データによって示される建物の領域の高さとする（ステップＳｅ１）。建物領域検出部５７は、建物の領域の高さが高い建物の領域が背後になるように、建物領域特定データの配置の順番を定める。建物領域検出部５７は、建物領域特定データの各々に対して定めた配置の順番を示すデータの各々を、各々に対応する建物領域特定データに付加する（ステップＳｅ２）。

【0104】

画像データ８０の場合に、配置の順番を示すデータが付加された建物領域特定データに含まれる建物領域範囲データを、配置順に表示画面に表示すると、図１６（ｃ）に示す建物の領域９１～９５が表示されることになる。

【0105】

建物領域検出部５７は、配置の順番を示すデータを付加した建物領域特定データの画像ＩＤと同一の画像ＩＤに関連付けられているセグメンテーションデータを内部の記憶領域から読み出す。建物領域検出部５７は、読み出したセグメンテーションデータと、配置の順番を示すデータを付加した建物領域特定データの建物領域範囲データの各々との重複領域を検出する。建物領域検出部５７は、検出した重複領域を新たな建物領域範囲データとし、建物領域特定データの建物領域範囲データを、新たな建物領域範囲データに書き換える。建物領域検出部５７は、新たな建物領域範囲データに書き換えた建物領域特定データを建物領域特定データ記憶部５８の建物領域特定データテーブル５９に書き込んで記憶させ（ステップＳｅ３）、処理を終了する。

【0106】

新たな建物領域範囲データに書き換えられた建物領域特定データに含まれる建物領域範囲データを、表示画面に表示すると、図１６（ｅ）に示す建物の領域９１Ａ，９２Ａ，９３Ａが表示されることになる。

【0107】

なお、上記の実施形態では、建物領域検出部５７は、図１２のステップＳｂ１の処理において示したように、未処理の線分であって「Ｃｏｒｎｅｒ」の種類の線分の中でＸＹ座標系において最も左側に位置する線分を開始線分として選択するようにしているが、未処理の線分であって「Ｃｏｒｎｅｒ」の種類の線分の中で最も右側に位置する線分を開始線分として選択するようにしてもよい。ただし、この場合、ステップＳｃ２の処理において、建物領域検出部５７は、基準位置よりも左側に位置する他の端点であって、かつ画像データ８０の上の縁、すなわちＹ軸の座標値が最大である他の端点であり、当該他の端点の線分の種類が「Ｃｏｒｎｅｒ」、または、「Ｔｏｐ」である他の端点が存在するか否かを判定するようにする必要がある。

【0108】

また、建物領域検出部５７は、図１２のステップＳｂ１の処理において、未処理の線分であって「Ｃｏｒｎｅｒ」の種類の線分の任意の線分を開始線分としてもよい。ただし、この場合、ステップＳｂ３とステップＳｂ１０の判定処理において「Ｙｅｓ」と判定され、更に、ステップＳｃ１において「上の縁」と判定された場合に、ステップＳｃ２の判定処理において、探索する方向を特定することができないことになる。そのため、ステップＳｃ１において「上の縁」と判定された場合、処理対象の開始線分と、当該開始線分に対して接続対象として選択した線分のみに対して、改めて、図１２、図１３に示す処理を行うことになる。

【0109】

また、画像データの中に円錐や角錐の形状の建物の画像が含まれている場合、「Ｔｏｐ」の種類の線分が存在しないことになる。このような形状の建物について、建物の領域を検出する場合、図１２に示した処理を、「Ｃｏｒｎｅｒ」、「Ｃｏｒｎｅｒ」の並びも考慮した処理に変更する必要がある。この場合、例えば、図１２のステップＳｂ５において、「Ｔｏｐ」の線分に加えて「Ｃｏｒｎｅｒ」の線分も判定対象とし、建物領域検出部５７が、ステップＳｂ６において、「Ｃｏｒｎｅｒ」の線分を接続対象の線分として選択した場合には、ステップＳｂ１２の処理に進めるような処理を行う必要がある。

【0110】

また、上記の実施形態では、建物領域検出部５７は、「Ｃｅｎｔｅｒ」の種類の線分を建物領域特定データに含めていないが、例えば、以下のようにして、「Ｃｅｎｔｅｒ」の種類の線分の線分特定データを建物領域特定データに加えるようにしてもよい。例えば、建物領域特定データ記憶部５８の建物領域特定データテーブル５９に「Ｃｅｎｔｅｒ」の線分のデータを書き込むための項目を追加する。建物領域検出部５７は、図１５のステップＳｅ３の処理において、建物領域特定データを建物領域特定データテーブル５９に書き込んだ後、「建物領域範囲」の項目に書き込まれている建物領域範囲データを１つずつ選択し、選択した建物領域範囲データに対応する画像ＩＤに関連付けられている線分特定データであって、当該線分特定データによって示される線分の位置が、建物領域範囲データが示す範囲内に存在する「Ｃｅｎｔｅｒ」の種類の線分を検出する。建物領域検出部５７は、検出した線分に対応する線分特定データを、選択した建物領域範囲データに対応する建物領域特定データテーブル５９の「Ｃｅｎｔｅｒ」の線分のデータを書き込むための項目に書き込んで記憶させる。これにより、建物領域特定データを表示画面に表示した場合、「Ｃｅｎｔｅｒ」の線分も表示させることができることになり、建物の外形をより正確に示すことが可能になる。

【0111】

また、上記の実施形態では、図１６（ｂ）に示したように、線分検出部５３は、建物８１と建物８３の間に２つの「Ｃｏｒｎｅｒ」の種類の線分８１ｅ，８３ａを検出している。これに対して、建物８１と建物８３の高さがほぼ同一である場合、線分検出部５３は、誤検出により１つの「Ｃｅｎｔｅｒ」の線分として検出したり、１つの「Ｃｏｒｎｅｒ」の線分として検出したりすることも想定される。線分検出部５３が１つの「Ｃｅｎｔｅｒ」の線分として検出してしまった場合は、建物領域検出部５７は、建物８１と建物８３の各々の領域を１つの建物の領域として検出することになる。ただし、この場合、上記のように「Ｃｅｎｔｅｒ」の種類の線分の情報を建物領域特定データに加えることで、建物８１の領域と、建物８３の領域とを分けて表示することができる。

【0112】

これに対して、線分検出部５３が、１つの「Ｃｏｒｎｅｒ」の線分として検出した場合、図１２に示した処理では、建物８３の建物の領域を検出することができず、また、図１４の左右の空き領域を建物の領域として加える処理を行っても、建物８３の領域を検出することができないことになる。これを回避するため、例えば、図１２に示したステップＳｂ１とステップＳｂ１３の処理における未処理の「Ｃｏｒｎｅｒ」の線分の定義を、開始線分として選択されていない「Ｃｏｒｎｅｒ」の種類の線分という定義に変更する。これにより、処理回数が増加することになるが、全ての「Ｃｏｒｎｅｒ」の種類の線分が、一度は、建物領域検出部５７によって開始線分として選択されることになる。そのため、線分検出部５３が建物８１と建物８３の間を１つの「Ｃｏｒｎｅｒ」の線分として誤検出した場合であっても、ステップＳｂ５とステップＳｂ８の未処理の線分の定義については変更せずにそのままにしておくことで、建物領域検出部５７は、建物８３の建物の領域を検出することができることになる。

【0113】

このように、「Ｃｏｒｎｅｒ」の線分を開始線分と選択した場合において、選択した「Ｃｏｒｎｅｒ」に接続する「Ｔｏｐ」の線分を特定することが困難となる可能性がある。例えば、図４（ｂ）に示す建物２２と建物２３Ａのように、選択した「Ｃｏｒｎｅｒ」の線分を境界とする二つの建物の高さが異なる場合である。具体的には、建物２２と建物２３Ａの間が１本の「Ｃｏｒｎｅｒ」、例えば、長い方の線分２５ｅとして検出された場合、線分２５ｅから、背後にある建物２３Ａの「Ｔｏｐ」の線分２６Ａｂを近傍探索で検出することが困難となる可能性がある。この対策として、探索領域の縦方向の領域を、横方向と比較して、広い領域とする。例えば、建物領域検出部５７は、「Ｃｏｒｎｅｒ」の線分の全長＋αを、縦方向の検索領域とする。αは任意に決定されてよい。例えば、αは「Ｃｏｒｎｅｒ」の線分の全長の１／４の長さである。この場合、建物領域検出部５７は、Ｃｏｒｎｅｒ」の線分の上側の頂点+α～下側の頂点までを検索する。一方、建物領域検出部５７は、横方向については、探索領域をあまり広く取らないようにする。例えば、「Ｃｏｒｎｅｒ」の線分に対応する矩形領域の横幅の長さの約２．５［％］程度を、探索領域とする。

【0114】

なお、三つ以上の建物の境界が１本の「Ｃｏｒｎｅｒ」として検出される場合もあり得る。この場合、その１本の「Ｃｏｒｎｅｒ」に複数のＴｏｐが接続する可能性がある。本実施形態では、このようなケースを許容してそれぞれの建物の領域を特定する。

【0115】

また、図１３に示すフローチャートでは、建物の上部に相当する領域が画像データの縁に接している場合の例外処理について説明した。これは、建物の左右の端に相当する領域が画像データの縁に接している場合にも適用することが可能である。具体的には、画像の左右の両端を、「Ｃｏｒｎｅｒ」とする。これにより、画像データの範囲内に、建物の左右の端が収まっていない場合において、その建物の領域を検出することが可能となる。

【0116】

一方、画像が見切れておらず、画像データの範囲内に、建物の左右の端が収まっている場合には、余分に建物領域が検出されてしまうこととなる。この余分に検出されてしまうことに対する対策として、後段のセマンティックセグメンテーションにより検出された建物領域と重複する領域のみ取り出す。これにより、余分に検出された領域を、最終的に除外することが可能である。

【0117】

また、上記した実施形態では、学習装置１と線分検出部５３が備える関数近似器１２は、図７に示したように、３つのニューラルネットワーク１５－１，１５－２，１５－３を備えている。これに対して、関数近似器１２は、入力画像データを取り込む入力層と、上記した線分種類データに対応する３個の出力層１７ａ～１７ｃと、矩形位置データ、矩形サイズデータ、及び線分位置データに対応する８個の１８ａ～１８ｈを有する１つの深層ニューラルネットワークを備えるようにしてもよい。

【0118】

学習装置１と線分検出部５３が備える関数近似器１２は、上流側のニューラルネットワーク１５－１で画像データにおける建物の線分に係る特徴量を抽出し、抽出した特徴量を、分類問題（線分の種別を判定する問題）を解くニューラルネットワーク１５－２、及び回帰問題（線分形状算出）を解くニューラルネットワーク１５－３のそれぞれに入力する。これにより、最終的な出力結果として、検出数分の線分のクラス（「Ｃｏｒｎｅｒ」、「Ｔｏｐ」、「Ｃｅｎｔｅｒ」のいずれか）、及び、その線分の形状情報を推定した結果を出力できるようにする。

【0119】

また、上記した実施形態では、学習装置１と線分検出部５３が備える関数近似器１２が備える３つのニューラルネットワーク１５－１，１５－２，１５－３の構成として、ＥｆｆｉｃｉｅｎｔＤｅｔの深層ニューラルネットワークの構成を適用するとしているが、ＦａｓｔｅｒＲＣＮＮ(Region-based convolutional neural network)、ＲｅｔｉｎａＮｅｔなどの他の深層ニューラルネットワークの構成を適用するようにしてもよい。また、関数近似器１２が、深層ニューラルネットワーク以外の他の機械学習の手段により実現されていてもよいし、パラメータを含んだ数式で示される関数で構成されてもよい。

【0120】

また、上記の実施形態において、学習装置１の訓練データに含まれる入力画像データと、撮像装置６１が撮像する画像データとは、ＲＧＢの３チャネルを有するカラー画像データであるとしているが、建物のエッジを示す線分を検出することができる画像データであれば、ＣＭＹＫの４チャネルのカラー画像データや、グレースケールの画像データや、２値の画像データなど他の形式の画像データを適用するようにしてもよい。

【0121】

上記の実施形態による建物領域検出装置５０は、線分検出部５３と、建物領域検出部５７とを備える。線分検出部５３は、学習済みの学習モデルデータを用いて、画像データ８０に含まれる検出対象線分に関する情報を検出し、検出した検出対象線分ごとの線分特定データを生成する。学習済みの学習モデルデータは、学習装置１が生成する学習済みの学習モデルデータを適用した関数近似器１２である。線分検出部５３は、係る関数近似器１２に対して、任意の画像データ８０を与えることにより、検出対象線分に関する情報を検出する。検出対象線分に関する情報は、矩形位置データと、矩形サイズデータと、線分位置データと、線分種類データである。特定データは、検出した検出対象線分ごとの矩形位置データと、矩形サイズデータと、線分位置データと、線分種類データとを組み合わせたデータである。建物領域検出部５７は、線分検出部５３が生成する線分特定データに基づいて、画像データ８０に含まれる個々の建物ごとの建物の領域を検出する。建物領域検出部５７は、線分特定データに基づいて、建物の領域の境界を構成する線分であって接続関係にある線分を選択する。建物領域検出部５７は、選択した線分を接続することにより建物の領域を検出する。これにより、画像データ８０からエッジ検出により検出可能なエッジを示す線分の中から個々の建物の外形を示す線分を高い精度で検出し、検出した線分を用いて個々の建物の領域を検出することが可能になる。

【0122】

（地図データとのマッチング処理）
次に、図２１と図２２を参照しつつマッチング装置７０による処理について説明する。図２１は、マッチング装置７０による処理の流れを示すフローチャートである。マッチング装置７０のマッチング処理部７１は、例えば、利用者の操作を受けて、利用者が指定するいずれか１つの画像ＩＤを取り込む。マッチング処理部７１は、指定された画像ＩＤに関連付けられている時刻データ及び画角を示すデータを履歴情報記憶部７４から検出する。マッチング処理部７１は、検出した時刻データ及び画角を示すデータを履歴情報記憶部７４から読み出す（ステップＳｆ１）。

【0123】

マッチング処理部７１は、読み出した時刻データが示す時刻、すなわち、指定された画像ＩＤに対応する画像データの画像が撮像装置６１によって撮像された時刻に一致する時刻を示す時刻データに関連付けられている座標データを履歴情報記憶部７４から検出し、検出した座標データを基準位置座標データとする。マッチング処理部７１は、基準位置座標データを履歴情報記憶部７４から読み出すとともに、当該基準位置座標データを基準として、過去に遡る時系列順において連続した座標データであって予め定められるｎ個の座標データを履歴情報記憶部７４から読み出す。ここで、ｎは、２以上の整数値である。

【0124】

マッチング処理部７１は、読み出した基準位置座標データが示す位置と、移動体６０における位置検出装置６２と撮像装置６１の移動体６０における配置の位置関係とに基づいて、指定された画像ＩＤに対応する画像データが撮像された際の撮像装置６１の位置を算出する。マッチング処理部７１は、読み出した基準位置座標データと、ｎ個の座標データとに基づいて、次式（１）により移動体６０の進行方向を算出する（ステップＳｆ２）。

【0125】

【数1】

【0126】

なお、式（１）において、ｄが進行方向であり、ｓ_０が、基準位置座標データが示す位置である。ｓ_ｉの添え字ｉは、基準位置座標データの時刻から近い時刻の順にｎ個の座標データの各々に１～ｎの番号を付した場合の番号であり、位置検出装置６２の測定ステップの観点でみると、ｓ_ｉは、基準位置座標データからみてｉステップ前に検出された座標データである。また、式（１）において、ｗ（ｎ，ｉ）＝ｎ－ｉ＋１である。

【0127】

マッチング処理部７１は、移動体６０の進行方向を示すデータｄと、算出した撮像装置６１の位置を示すデータと、読み出した撮像装置６１の画角を示すデータとに基づいて、地図データ記憶部７２が記憶する２．５次元の地図データから、２．５次元の地図データに含まれる建物の前後関係にしたがって、撮像装置６１の投影面における地図画像データを生成する（ステップＳｆ３）。

【0128】

ここで、図２２を参照しつつ２．５次元の地図データから、２．５次元の地図データに含まれる建物の前後関係にしたがって、撮像装置６１の投影面における地図画像データを生成する手法について説明する。図２２において、符号１２０によって示す位置が撮像装置６１の位置であり、以下、撮像装置６１の位置１２０という。撮像装置６１は、水平に設置されているものと仮定している。符号１２２－１によって示す線と、符号１２２－２によって示す線との成す角が、撮像装置６１の画角であり、符号１２３によって示す位置が、撮像装置６１の投影面の位置であり、以下、投影面１２３という。符号１２１の矢印によって示す方向が移動体６０の進行方向であり、以下、進行方向１２１という。符号１３１，１３２，１３３，１３４によって示す形状が、２．５次元の地図データに含まれている建物のＸＹ平面上での輪郭であり、以下、建物１３１，１３２，１３３，１３４という。

【0129】

例えば、建物１３１のみが存在すると仮定し、撮像装置６１の位置１２０を中心として、建物１３１に対して見通しのある線のうち、進行方向１２１の線との成す角が最大になる見通し線と、進行方向１２１の線との成す角が最小になる見通し線とを描くと、それぞれ点線１３１－１と、点線１３１－２になる。同様に建物１３２，１３３，１３４の各々のみが存在すると仮定して、進行方向１２１の線との成す角が最大になる見通し線と、進行方向１２１の線との成す角が最小になる見通し線とを描くと、建物１３３については、２本の点線によって示す見通し線になり、建物１３２と建物１３４の各々については、２本の一点鎖線によって示す見通し線になる。

【0130】

建物の中心位置が、撮像装置６１の位置１２０から近い方の建物から順に、すなわち、建物１３２、建物１３４、建物１３１、建物１３３の順に、各々の２本の見通し線の間の２．５次元画像を、投影面１２３を左右に伸長した直線上に上書き投影していく。上書き投影した画像のうち投影面１２３の部分のみを切り出すことにより、図２２の吹き出しの図に示すような並びの画像が得られることになり、この画像のデータが、上記した地図画像データになる。

【0131】

図２２の吹き出しの図において、建物１３２の投影画像の部分が一点鎖線で示す画像１４２であり、建物１３４の投影画像の部分が一点鎖線で示す画像１４４であり、建物１３１の投影画像の部分が点線で示す画像１４１であり、建物１３３の投影画像の部分が点線で示す画像１４３である。建物１３１の画像１４１は、建物１３２の画像１４２によって一部が遮られており、建物１３３の画像１４３は、建物１３４の画像１４４によって一部が遮られている。したがって、撮像装置６１の位置１２０から投影面を参照すると、前後関係が正しい状態の建物１３１～１３４の画像を見ることができる。これにより、２．５次元の地図データから、建物１３１～１３４の前後関係が正しい状態の地図画像データを作成することができる。また、生成した地図画像データは、撮像装置６１の投影面１２３における画像であり、当該画像の縮尺は、撮像装置６１が撮像した画像データに含まれる画像の縮尺と同一になる。

【0132】

マッチング処理部７１は、指定された画像ＩＤに対応する全ての建物領域特定データを建物領域特定データ記憶部５８の建物領域特定データテーブル５９から読み出す（ステップＳｆ４）。マッチング処理部７１は、生成した地図画像データに対して、読み出した建物領域特定データに含まれる建物領域範囲データを座標位置が一致するように重ね合わせるマッチング処理を行う（ステップＳｆ５）。地図画像データに対して建物領域範囲データを重ね合わせた画像データを表示画面に表示すると、地図画像データに示されている建物の画像に対して、個々の建物の領域の画像が重ねあわされて表示されることになる。

【0133】

上記の実施形態によるマッチングシステム２００は、建物領域検出装置５０と、撮像装置６１と、位置検出装置６２と、マッチング装置７０とを備える。マッチング装置７０は、地図データ記憶部７２と、マッチング処理部７１とを備える。地図データ記憶部７２は、地図データを記憶する。地図データは、建物１３１～１３４の位置を示す位置データと、建物１３１～１３４の地平面上での形状を示す形状データと、建物１３１～１３４の高さを示す高さデータとを含む。マッチング処理部７１は、位置検出装置６２が検出する移動体６０の位置を示すデータに基づいて、マッチング処理を行う。マッチング処理部７１は、マッチング処理において、建物領域検出装置５０の処理対象の画像データを生成するために撮像装置６１が撮像した際の移動体６０の進行方向を算出する。マッチング処理部７１は、地図データ記憶部７２が記憶する地図データから撮像装置６１の投影面に投影される地図画像データを生成する。マッチング処理部７１は、移動体６０の進行方向を示すデータと、当該撮像が行われた際の移動体６０の位置を示すデータと、当該撮像が行われた際の撮像装置６１の画角を示すデータとに基づいて、建物１３１～１３４の前後関係が正しくなるように、地図画像データを生成する。マッチング処理部７１は、生成した地図画像データと、建物領域検出装置５０が画像データから検出する建物１３１～１３４の建物の領域とを重ね合わせることによりマッチング処理を行う。これにより、例えば、２．５次元の地図データから建物１３１～１３４の前後関係が正しい状態で、撮像装置６１の投影面の位置における地図画像データを生成することができ、生成した地図画像データ上に、建物領域検出装置５０が検出した建物１３１～１３４を重ね合わせて表示することが可能になる。それにより、位置検出装置６２によって得られる移動体６０の位置の精度を向上させたり、ＡＲ技術を用いて建物１３１～１３４の画像の上に広告を表示する際に、正確な位置に広告を表示したりすることが可能になる。

【0134】

上述した実施形態における学習装置１、建物領域検出装置５０、及びマッチング装置７０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0135】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0136】

１…学習装置、１１…入力部、１２…関数近似器、１３…学習処理部、１４…学習モデルデータ記憶部、１５－１，１５－２，１５－３…ニューラルネットワーク、１６…パラメータ取得部、２００…マッチングシステム、５０…建物領域検出装置、５１…受信部、５２…学習済み学習モデルデータ記憶部、５３…線分検出部、５４…線分特定データ記憶部、５５…線分特定データテーブル、５６…セマンティックセグメンテーション部、５７…建物領域検出部、５８…建物領域特定データ記憶部、５９…建物領域特定データテーブル、６０…移動体、６１…撮像装置、６２…位置検出装置、６３…通信装置、７０…マッチング装置、７１…マッチング処理部、７２…地図データ記憶部、７３…受信部、７４…履歴情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】