特許 7514669 推論装置、推論方法、推論プログラム、およびコンピュータにより読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-03

(45)【発行日】2024-07-11

(54)【発明の名称】推論装置、推論方法、推論プログラム、およびコンピュータにより読み取り可能な記憶媒体

(51)【国際特許分類】

   G09B 29/00 20060101AFI20240704BHJP

   G06T 7/00 20170101ALI20240704BHJP

【ＦＩ】

G09B29/00 Z

G06T7/00 350C

【請求項の数】 7

(21)【出願番号】P 2020112536

(22)【出願日】2020-06-30

(65)【公開番号】P2022011411

(43)【公開日】2022-01-17

【審査請求日】2023-04-24

(73)【特許権者】

【識別番号】321011767

【氏名又は名称】ジオテクノロジーズ株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】弁理士法人樹之下知的財産事務所

(72)【発明者】

【氏名】竹田 淳一

【審査官】安田 明央

(56)【参考文献】

【文献】国際公開第２００６／１３７４３８（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０６６７５５（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０２２１１０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１９８６３４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００９／０１３６０９０（ＵＳ，Ａ１）

【文献】特開２０１９－００３５６５（ＪＰ，Ａ）

【文献】特開２０２０－０１６５９７（ＪＰ，Ａ）

【文献】特開２０１５－１２５４９８（ＪＰ，Ａ）

【文献】国際公開第２０２０／０１２５６４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０１２５６３（ＷＯ，Ａ１）

【文献】特開２０１９－０９１３９３（ＪＰ，Ａ）

【文献】特開２０１９－２００７３４（ＪＰ，Ａ）

【文献】特開２０１８－１０２９１６（ＪＰ，Ａ）

【文献】国際公開第２０２１／２６１５４７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ２９／００

Ｇ０６Ｔ ７／００

Ｇ０１Ｃ １１／０６

(57)【特許請求の範囲】

【請求項1】

地図画像と、前記地図画像の領域に対応した前記地図画像を更新するための空中撮像画像とを入力する入力部と、
前記地図画像と前記空中撮像画像とを重畳した重畳画像を生成する生成部と、
学習用地図画像と、前記学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、前記学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られた学習済みモデルを前記重畳画像に適用して、前記重畳画像が表す領域における変化域を推論する推論部とを備え、
前記推論部は、前記学習済みモデルから出力された前記重畳画像の画素が変化域に含まれる点であるかの確率に基づいて前記変化域を推論する
ことを特徴とする推論装置。

【請求項2】

前記学習済みモデルは、前記学習用重畳画像における新設、解体、変更のそれぞれに対応する建物外形を前記教師データとして機械学習しており、
前記推論部は、前記空中撮像画像における新設、解体、変更のそれぞれに対応する前記変化域を推論する、
ことを特徴とする請求項１に記載の推論装置。

【請求項3】

前記重畳画像は、ＲＧＢフォーマットのうちＲチャネルとＧチャネルに前記空中撮像画像のデータ、Ｂチャネルに前記地図画像のデータをそれぞれ設定することで構成され、
前記学習用重畳画像は、ＲＧＢフォーマットのうちＲチャネルとＧチャネルに前記学習用空中撮像画像のデータ、Ｂチャネルに前記学習用地図画像のデータをそれぞれ設定することで構成されていることを特徴とする請求項１または請求項２に記載の推論装置。

【請求項4】

前記教師データは、前記変化域の特性に対応したラベル情報が画素ごとに設定された画像であることを特徴とする請求項１から請求項３のいずれか一項に記載の推論装置。

【請求項5】

機械学習して得られた学習済みモデルに基づいて推論をする推論装置で実行される推論方法であって、
地図画像と、前記地図画像の領域に対応した前記地図画像を更新するための空中撮像画像とを入力する入力工程と、
前記地図画像と前記空中撮像画像とを重畳した重畳画像を生成する生成工程と、
学習用地図画像と、前記学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、前記学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られた学習済みモデルを前記重畳画像に適用して、前記重畳画像が表す領域における変化域を推論する推論工程と、
を含む推論方法であって、
前記推論工程では、前記学習済みモデルから出力された前記重畳画像の画素が変化域に含まれる点であるかの確率に基づいて前記変化域を推論する
ことを特徴とする推論方法。

【請求項6】

請求項５に記載の推論方法をコンピュータにより実行させることを特徴とする推論プログラム。

【請求項7】

請求項６に記載の推論プログラムを格納したことを特徴とするコンピュータにより読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習して得られた学習済みモデルに基づいて推論をする推論装置に関する。

【背景技術】

【0002】

地図上の家形変化点検出や家屋異動判読の自動化はこれまで画像処理により行われていた。例えば特許文献１に記載の家屋異動判読支援装置は、異動候補検出部が、新／旧の２時期におけるＤＳＭデータ及び空中撮影画像からなる空間情報計測データに基づいて２時期間での家屋異動を検出し当該異動が検出された場所を候補領域として抽出し、実体視画像生成部が、空間情報計測データに基づいて対象領域の実体視画像を生成する。そして、表示画面生成部が、平面視画像取得部による平面視画像上に異動候補検出部による検出結果を示した画像と実体視画像生成部による実体視画像とを表示部の画面に表示する。このようにすることにより、判読作業者は画面に表示された実体視画像を観察することで、判定対象領域における高さの情報を立体画像から容易に把握することができ、新築や滅失等の高さ変化を伴う家屋の異動を効率的に判定することができる。

【0003】

特許文献１に記載したような画像処理による方法は、形や色などの特徴から建物の形状を特定し、地図データ等と差分を取る事で変化点を検出するものである。しかしながら、画像処理だけでは汎化性・ロバスト性が低く、未知の建物や撮影条件などによっては検出精度が低下するという問題があった。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－１４６０５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年の機械学習、深層学習技術の検出性能向上に伴い、深層学習を用いた家形変化点検出や家屋異動判読等の地図の更新作業の自動化が試みられている。深層学習では建物の形状や周辺の状況を膨大な教師データから学習し、高い汎化性が得られることが知られている。変化点の検出は、推論された建物の形状と更新前の地図データとの差分をとることで実現している。

【0006】

しかしながら、深層学習により建物の形状を推論し、更新前の地図データとの差分を取る方法では以下のような問題がある。まず、深層学習により推論した建物の形状が、大きい、小さい、歪んでいるといったように不安定となる。そのため、推論した形状と地図データとの差分をとっても、その差分が正しいか否かを判断する基準がルールベースとなり汎化性が落ちる。したがって、地図画像の更新の精度が低下してしまう。特に、建物の変更（２棟が１棟、Ｌ字建物が四角等）には正確な建物の形状を推論する必要があり、従来の方法では検出が困難であった。

【0007】

本発明が解決しようとする課題としては、家形変化点検出や家屋異動判読等の地図画像の更新を行う際により精度良く更新することが一例として挙げられる。

【課題を解決するための手段】

【0008】

上記課題を解決するために、請求項１に記載の発明は、地図画像と、前記地図画像の領域に対応した前記地図画像を更新するための空中撮像画像とを入力する入力部と、前記地図画像と前記空中撮像画像とを重畳した重畳画像を生成する生成部と、学習用地図画像と、前記学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、前記学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られた学習済みモデルを前記重畳画像に適用して、前記重畳画像領域における変化域を推論する推論部と、を備えることを特徴としている。

【0009】

請求項６に記載の発明は、機械学習して得られた学習済みモデルに基づいて推論をする推論装置で実行される推論方法であって、地図画像と、前記地図画像の領域に対応した前記地図画像を更新するための空中撮像画像とを入力する入力工程と、前記地図画像と前記空中撮像画像とを重畳した重畳画像を生成する生成工程と、学習用地図画像と、前記学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、前記学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られた学習済みモデルを前記重畳画像に適用して、前記重畳画像が表す領域における変化域を推論する推論工程と、を含むことを特徴としている。

【0010】

請求項７に記載の発明は、請求項６に記載の推論方法を推論プログラムとしてコンピュータにより実行させることを特徴としている。

【0011】

請求項８に記載の発明は、請求項７に記載の推論プログラムをコンピュータにより読み取り可能な記憶媒体へ格納したことを特徴としている。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施例にかかる推論装置として機能するコンピュータの概略構成図である。

【図2】図１に示されたコンピュータが機能する推論装置の機能構成図である。

【図3】重畳画像の生成についての説明図である。

【図4】本実施例にかかる学習済みモデルを生成する学習装置の機能構成図である。

【図5】学習済みモデルに形成されるニューラルネットワークの例である。

【図6】図４に示された学習装置の動作のフローチャートである。

【図7】教師データの生成についての説明図である。

【図8】図２に示された推論装置の動作のフローチャートである。

【図9】入力する重畳画像と、当該重畳画像に対応する教師データと、学習後の学習済みモデルを用いて行った推論結果を示した図である。

【図10】図２に示された推論装置と従来技術との比較をした表である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態にかかる推論装置を説明する。本発明の一実施形態にかかる推論装置は、入力部に、地図画像と、地図画像の領域に対応した地図画像を更新するための空中撮像画像とが入力され、生成部が、地図画像と空中撮像画像とを重畳した重畳画像を生成する。そして、推論部が、学習用地図画像と、学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られた学習済みモデルを重畳画像に適用して、重畳画像が表す領域における変化域を推論する。このようにすることにより、地図画像と空中撮像画像とを重畳した重畳画像から、対象領域の変化域が学習された学習済みモデルによって変化域を推論することができるので、従来のように、建物の形状を推論する必要がなく、推論した形状の不安定さによる汎化性の低下が抑えられる。したがって、家形変化点検出や家屋異動判読等の地図画像の更新を行う際により精度良く更新することができる。

【0014】

また、学習済みモデルは、学習用重畳画像における新設、解体、変更のそれぞれに対応する建物外形を教師データとして機械学習しており、推論部は、空中撮像画像における新設、解体、変更のそれぞれに対応する変化域を推論してもよい。このようにすることにより、地図における建物の新設、解体、変更を推論することが可能となる。

【0015】

また、推論部は、学習済みモデルから出力された重畳画像の画素毎の変化点である確率に基づいて変化域を推論してもよい。このようにすることにより、画素毎に出力された確率に所定の閾値等を設定することで、例えば、建物の新設、解体、変更といった変化域を推論することができるようになる。

【0016】

また、重畳画像は、ＲＧＢフォーマットのうちＲチャネルとＧチャネルに空中撮像画像のデータ、Ｂチャネルに地図画像のデータをそれぞれ設定することで構成され、学習用重畳画像は、ＲＧＢフォーマットのうちＲチャネルとＧチャネルに学習用空中撮像画像のデータ、Ｂチャネルに学習用地図画像のデータをそれぞれ設定することで構成されていてもよい。このようにすることにより、ＲＧＢフォーマットを利用して重畳画像等を構成することができる。また、Ｂチャネルを地図画像や学習用地図画像とすることで、重畳画像を人間が観察した場合であっても空中撮像画像や学習用空中撮像画像との識別が容易となる。

【0017】

また、教師データは、変化域の特性に対応したラベル情報が画素ごとに設定された画像であってもよい。このようにすることにより、教師データを画像とすることで、入力データとフォーマットを合わせることができ、学習効率や処理効率を向上させることができる。

【0018】

また、本発明の一実施形態にかかる推論方法は、入力工程において、地図画像と、地図画像の領域に対応した地図画像を更新するための空中撮像画像とが入力され、生成工程で、地図画像と空中撮像画像とを重畳した重畳画像を生成する。そして、推論工程で、学習用地図画像と、学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られた学習済みモデルを重畳画像に適用して、重畳画像が表す領域における変化域を推論する。このようにすることにより、地図画像と空中撮像画像とを重畳した重畳画像から、対象領域の変化域が学習された学習済みモデルによって変化域を推論することができるので、従来のように、建物の形状を推論する必要がなく、推論した形状の不安定さによる汎化性の低下が抑えられる。したがって、家形変化点検出や家屋異動判読等の地図画像の更新を行う際により精度良く更新することができる。

【0019】

また、上述した推論方法を、推論プログラムとしてコンピュータにより実行させてもよい。このようにすることにより、コンピュータを用いて、地図画像と空中撮像画像とを重畳した重畳画像から、対象領域の変化域が学習された学習済みモデルによって変化域を推論することができるので、従来のように、建物の形状を推論する必要がなく、推論した形状の不安定さによる汎化性の低下が抑えられる。したがって、家形変化点検出や家屋異動判読等の地図画像の更新を行う際により精度良く更新することができる。

【0020】

また、上述した推論プログラムをコンピュータ読み取り可能な記憶媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例】

【0021】

本発明の一実施例にかかる推論装置を図１～図１０を参照して説明する。図１は、本実施例にかかる推論装置として機能するコンピュータ１０の概略構成図である。

【0022】

図１に示したように、コンピュータ１０は、演算部１１と、主記憶部１２と、通信部１３と、補助記憶部１４と、を備えている。そして、演算部１１と、主記憶部１２と、通信部１３と、補助記憶部１４と、はバスＢにより互いに接続されている。

【0023】

演算部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラム等を読み出して実行することにより、コンピュータ１０に係る種々の情報処理、制御処理等を行う。

【0024】

主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、演算部１１が演算処理を実行するために必要なデータを一時的に記憶する。

【0025】

通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0026】

補助記憶部１４は大容量メモリ、ハードディスク等であり、演算部１１が処理を実行するために必要なプログラムや、その他のデータ等を記憶している。また、補助記憶部１４は、学習済みモデル４ａを記憶している。学習済みモデル４ａは、地図上の変更域を推論するためのモデルであり、機械学習により生成された学習済みモデルである。

【0027】

なお、コンピュータ１０は、上記した構成要素の他にＵＳＢ（Universal Serial Bus）等の外部インターフェースや、キーボード、マウス、ディスプレイ等を必要に応じて備えていてもよい。

【0028】

図２に、上述したコンピュータ１０が機能する推論装置１の機能構成図を示す。図２に示したように、推論装置１は、入力部２と、生成部３と、推論部４と、を備えている。

【0029】

入力部２は、例えば通信部１３が機能し、地図画像ＭＰおよび航空写真ＡＰが入力される。本実施例における地図画像とは、道路や建物等を上空から平面視した状態で表現された地図の画像である。また、本実施例における航空写真は、周知のように、飛行中の飛行体からカメラにより地表面を撮影した写真をいう。また、航空写真は、地形に起因して生じる歪みを補正したオルソ画像を用いるのが好ましいが、歪み補正をしなくてもよい。また、本実施例では、空中撮像画像として航空写真で説明するが衛星写真でもよい。あるいは空中撮像画像として航空機から地上に向けてレーザ光を放射状に照射し、地上から反射されるレーザ光の時間差で地形等を計測する航空ライダにより得られた画像等であってもよい。

【0030】

生成部３は、入力部２に入力された地図画像ＭＰと航空写真ＡＰとを重畳し、重畳画像ＳＩを生成する。ここで、重畳画像ＳＩの生成について図３を参照して説明する。

【0031】

図３において地図画像ＭＰは、更新前の地図画像であり、本実施例ではベクタデータ（ポリゴン画像）となっている。航空写真ＡＰは、本実施例ではＲＧＢフォーマットのカラー画像となっている。また、地図画像ＭＰと航空写真ＡＰとは、同じ領域（地域）を示すものとなっている。即ち、航空写真ＡＰは、地図画像ＭＰの領域に対応した地図画像ＭＰを更新するための空中撮像画像である。

【0032】

航空写真ＡＰは、ＲＧＢの各成分に分解される。航空写真ＡＰのうちＲ（赤）成分を符号ＡＰｒとし、航空写真ＡＰのうちＧ（緑）成分を符号ＡＰｇとし、航空写真ＡＰのうちＢ（青）成分を符号ＡＰｂとする。そして、Ｒ成分画像ＡＰｒとＧ成分画像ＡＰｇを合成してＲＧ成分画像ＡＰｒｇを生成する。そして、ＲＧ成分画像ＡＰｒｇをＲ成分、Ｂ成分画像ＡＰｂをＧ成分、地図画像ＭＰをＢ成分にそれぞれ設定したＲＧＢフォーマットの画像を重畳画像ＳＩとして生成する。

【0033】

このようにして生成された重畳画像ＳＩは、人間の目には地図画像ＭＰによる建物等の家形は青系の色に見え、航空写真ＡＰの部分は黄系の色に見える。これは、人間の網膜を構成する視細胞の青錐体、緑錐体、赤錐体が感応する波長特性の差によるものである。具体的に、青錐体は約４３０ｎｍの波長、つまり青に一番強く感応し、緑錐体は約５３０ｎｍの波長、つまり緑に一番強く感応し、赤錐体は約５６０ｎｍの波長、つまり赤に一番強く感応することが知られている。したがって、Ｂ成分に地図画像ＭＰを挿入することで、地図画像ＭＰが青系の色に視認できる。

【0034】

推論部４は、学習済みモデル４ａを重畳画像ＳＩに適用して、重畳画像ＳＩが表す領域における変化域を推論する。ここで、推論とは、ＡＩ（Artificial Intelligence）の分野で周知のように、学習して生成された推論（学習済み）モデルに当てはめて、その結果を導くことである。

【0035】

学習済みモデル４ａは、学習用地図画像と、当該学習用地図画像の領域に対応した学習用空中撮像画像と、を重畳させた学習用重畳画像を入力データとし、学習用重畳画像が表す領域における変化域を教師データとして機械学習して得られたものである。即ち、学習済みモデル４ａは、教師データに基づいて学習して推論可能となったものである。

【0036】

ここで、学習済みモデル４ａについて説明する。本実施例にかかる学習済みモデル４ａは、例えば図４に示したような機能構成を有する学習装置２０によって生成される。学習装置２０は、入力部２２と、生成部２３と、学習部２４と、を備えている。また、学習装置２０は、図１に示したコンピュータ１０を機能させることで実現できる。

【0037】

入力部２２は、例えば通信部１３が機能し、学習用地図画像ＭＰＬおよび学習用航空写真ＡＰＬが入力される。生成部２３は、入力部２２に入力された学習用地図画像ＭＰＬと学習用航空写真ＡＰＬとを重畳し、学習用重畳画像ＳＩＬを生成する。入力部２２及び生成部２３は、基本的に入力部２及び生成部３と同様の動作をする。なお、学習用地図画像ＭＰＬは地図画像ＭＰと用途が異なるのみで、データフォーマット等に違いはない。学習用航空写真ＡＰＬも同様に航空画像ＡＰと用途が異なるのみで、データフォーマット等に違いはない。

【0038】

学習部２４は、生成部２３が生成した学習用重畳画像ＳＩＬを入力データとし、学習用地図画像ＭＰＬと学習用航空写真ＡＰＬとが示す領域における変化域を教師データとして機械学習して学習済みモデル４ａを得る。変化域とは、本実施例では、後述するように建物の新設、解体、変更といった建物外形の更新された領域を示す。

【0039】

学習装置２０は、学習済みモデル４ａとして、学習用航空写真における学習用地図画像からの変化域（新設、解体、変更といった更新領域）を学習する深層学習（ディープラーニング）を行うことで、重畳画像ＳＩを入力とし、変化域を出力するとするニューラルネットワークを構築（生成）する。例えばニューラルネットワークはＣＮＮ（Convolution Neural Network）であり、重畳画像ＳＩの入力を受け付ける入力層と、変化域を示す情報を出力する出力層と、特徴量を抽出する中間層とを有する（図５を参照）。

【0040】

なお、本実施例では学習済みモデル４ａがＣＮＮであるものとして説明するが、学習済みモデル４ａはＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、セマンティックセグメンテーション、インスタンスセグメンテーションなど、他の学習アルゴリズムで構築された学習済みモデルであってよい。

【0041】

学習装置２０における動作（学習方法）を図６のフローチャートを参照して説明する。まず、教師データを生成する（ステップＳ１１）。教師データの生成について図７を参照して説明する。

【0042】

まず、予察を行って、編集前の地図データＢＥと編集後の地図データＡＥとに建物の新設、解体、変更の属性を付与する。予察とは、編集前の地図データＢＥと編集後の地図データＡＥとを作業者が比較して属性を付与する対象を抽出することである。

【0043】

予察を行って、属性を付与された地図データからは、新設データＡ、解体データＤ、変更データＣがそれぞれ生成される。図７に示した新設データＡ、解体データＤ、変更データＣは、地図データのおける対象となる領域内の新設、解体、変更のそれぞれの建物等の領域を白抜きで示している。つまり、同一の範囲において、新設された建物等が新設データＡに示され、解体された建物等が解体データＤに示され、変更された建物等が変更データＣに示されている。ここで、変更とは、例えば２棟が１棟、Ｌ字建物が四角といったように建物等の形状が変更されたことを示す。

【0044】

そして、新設データＡ、解体データＤ、変更データＣを合成してラベル画像Ｌが生成される。ラベル画像Ｌは、新設、解体、変更のそれぞれの領域に対応する画素に予め定めた画素値がラベル情報として設定された画像である。図７の例では変更なしが画素値“０”、解体が画素値“１”、変更が画素値“２”、新設が画素値“３”がそれぞれ設定された８ビットグレースケール画像である。そのため、ラベル画像Ｌを人間が視認しても各ラベルを識別するには困難であるがデータとして識別可能であるので問題はない。このようにして、生成されたラベル画像Ｌが教師データとなる。即ち、教師データは、変化域の特性に対応したラベル情報が画素ごとに設定された画像である。そして、学習済みモデル４ａは、学習用重畳画像ＳＩＬにおける新設、解体、変更のそれぞれに対応する建物外形を教師データとして機械学習している。

【0045】

この教師データを生成するのは、コンピュータ１０で行ってもよいし、他のコンピュータ等で行ってもよい。コンピュータ１０で行う場合は図４に示した入力部２２に予察を行った編集前の地図データと編集後の地図データを入力して、生成部２３でラベル画像Ｌを生成すればよい。

【0046】

図６のフローチャートに戻り、入力部２２に学習用地図画像ＭＰＬと学習用航空写真ＡＰＬとを入力する（ステップＳ１２）。このステップで入力される学習用地図画像ＭＰＬと学習用航空写真ＡＰＬは、ステップＳ１１で生成した教師データ（ラベル画像Ｌ）に対応した領域を示すものである。

【0047】

次に、生成部２３で学習用重畳画像ＳＩＬを生成する（ステップＳ１３）。そして、学習用重畳画像ＳＩＬと教師データにより学習を行う（ステップＳ１４）。以上の動作を、学習用地図画像ＭＰＬ、学習用航空写真ＡＰＬ及び教師データを変更して繰り返し、学習済みモデル４ａを生成する。

【0048】

即ち、学習装置２０は、学習用地図画像ＭＰＬと、学習用地図画像ＭＰＬの領域に対応した学習用地図画像ＭＰＬを更新するための学習用航空写真ＡＰＬ（学習用空中撮像画像）とを入力する入力部２２と、学習用地図画像ＭＰＬと学習用地図画像ＭＰＬの領域に対応した学習用航空写真ＡＰＬ（学習用空中撮像画像）とを重畳した学習用重畳画像ＳＩＬを生成する生成部２３と、学習用重畳画像ＳＩＬを入力データとし、学習用地図画像ＭＰＬの領域における変化域を教師データとして機械学習して学習済みモデル４ａを得る学習部２４と、を備えている。

【0049】

上述した学習装置２０によって、学習用地図画像ＭＰＬと学習用空中撮像画像ＡＰＬとを重畳した学習用重畳画像ＳＩＬにより、対象領域の変化域を直接学習することができるので、従来のように、建物の形状を推論する必要がなく、推論した形状の不安定さによる汎化性の低下が抑えられる。

【0050】

次に、図２に示された推論装置１の動作（推論方法）を図８のフローチャートを参照して説明する。図８のフローチャートは、コンピュータ１０で実行されるプログラム（推論プログラム）として構成することができる。また、当該推論プログラムをメモリカード等の記録媒体に格納してもよい。

【0051】

まず、入力部２に地図画像ＭＰと航空写真ＡＰとを入力する（ステップＳ２１）。次に、生成部３で重畳画像ＳＩを生成する（ステップＳ２２）。そして、推論部４が、学習済みモデル４ａにより新設、解体、変更のいずれかに対応する領域を推論する（ステップＳ２３）。学習済みモデル４ａからは、例えば重畳画像ＳＩの画素ごとに新設、解体、変更のいずれかに該当するかの確率が出力される。つまり、重畳画像の画素毎の変化点である確率が出力される。つまり、対象画像が変化域に含まれる点（画像）であるかの確率が出力される。

【0052】

即ち、ステップＳ２１が入力工程、ステップＳ２２が生成工程、ステップＳ２３が推論工程として機能する。

【0053】

そして、推論部４は、出力された確率に応じて当該領域が新設、解体、変更のいずれかを判定する。この判定は、予め確率に閾値を設け、その閾値以上となったことで行えばよい。例えば、新設と判定する閾値を５０％とした場合、学習済みモデル４ａから出力された新設の確率が５０％以上の値となった領域が新設された建物の領域であると判定する。つまり、本実施例にかかる推論装置１は、建物の形状を推論するのではなく、変化した領域を直接推論するものである。

【0054】

最後に上述した構成の推論装置１で推論を行った実験結果を示す。図９は、入力する重畳画像ＳＩと、当該重畳画像ＳＩに対応する教師データ（Ground Truth）と、学習後の学習済みモデル４ａを用いて行った推論結果を示したものである。

【0055】

学習データとしては、８Ｔｉｌｅ×８Ｔｉｌｅで構成された１ｋｍ四方のメッシュを６つ（３８４Ｔｉｌｅ）用いた。学習時においては、Ｉｔｅｒａｔｉｏｎｓ＝２５０，０００、Ｂａｔｃｈ ｓｉｚｅ＝８、Ｓｔａｒｔ Ｌｏｓｓ＝０．４３、Ｅｎｄ Ｌｏｓｓ＝０．０６、Ｔｒａｉｎｉｎｇ Ｔｉｍｅ＝２６ｈとなった。

【0056】

図９に示したように、本実施例にかかる推論装置１により、教師データで示された領域に対応する領域を推論結果として略出力できていることが明らかとなった。

【0057】

図１０は、上述した構成の推論装置１を用いた場合と、従来技術のように、推論された建物の形状と地図データ等との差分をとる方法と、におけるＰｒｅｃｉｓｉｏｎ（正解率）とＲｅｃａｌｌ（適合率）との比較である。図１０（ａ）は本実施例にかかる推論装置１、図１０（ｂ）は従来技術である。なお、推論装置１の学習等の条件は図９と同じである。

【0058】

図１０に示したように、推論装置１の方が、新設、解体の場合のいずれもＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌが高い数値となった。特にＰｒｅｃｉｓｉｏｎについては、著しい改善が見られた。なお、変更は、推論装置１のみが推論可能である。これは、従来技術では建物の形状を推論しているが、その形状が不安定なため変更したか否かの判定ができないからである。

【0059】

本実施例によれば、推論装置１は、入力部２に、地図画像ＭＰと、地図画像ＭＰの領域に対応した地図画像ＭＰを更新するための航空写真ＡＰとが入力され、生成部３が、地図画像ＭＰと地図画像ＭＰの領域に対応した航空写真ＡＰとを重畳した重畳画像ＳＩを生成する。そして、推論部４が、学習用地図画像と、学習用地図画像の領域に対応した学習用航空写真と、を重畳させた学習用重畳画像を入力データとし、学習用地図画像の領域における変化域を教師データとして機械学習して得られた学習済みモデル４ａを重畳画像ＳＩに適用して、前記した領域における変化域を推論する。このようにすることにより、地図画像ＭＰと航空写真ＡＰとを重畳した重畳画像ＳＩから、対象領域の変化域が学習された学習済みモデル４ａによって変化域を推論することができるので、従来のように、建物の形状を推論する必要がなく、推論した形状の不安定さによる汎化性の低下が抑えられる。したがって、家形変化点検出や家屋異動判読等の地図画像の更新を行う際により精度良く更新することができる。

【0060】

また、学習済みモデル４ａは、学習用重畳画像における新設、解体、変更のそれぞれに対応する建物外形を教師データとして機械学習しており、推論部４は、航空写真ＡＰにおける新設、解体、変更のそれぞれに対応する変化域を推論している。このようにすることにより、地図における建物の新設、解体、変更を推論することが可能となる。

【0061】

また、推論部４は、学習済みモデル４ａから出力された重畳画像ＳＩの画素毎の変化点である確率に基づいて変化域を推論している。このようにすることにより、画素毎に出力された確率に所定の閾値等を設定することで、例えば、建物の新設、解体、変更といった変化域を推論することができるようになる。

【0062】

また、重畳画像ＳＩは、ＲＧＢフォーマットのうちＲチャネルとＧチャネルに航空写真ＡＰのデータ、Ｂチャネルに地図画像ＭＰのデータをそれぞれ設定することで構成され、学習用重畳画像ＳＩＬは、ＲＧＢフォーマットのうちＲチャネルとＧチャネルに学習用航空写真ＳＰＬのデータ、Ｂチャネルに学習用地図画像ＭＰＬのデータをそれぞれ設定することで構成されていてもよい。このようにすることにより、ＲＧＢフォーマットを利用して重畳画像ＳＩ等を形成することができる。また、Ｂチャネルを地図画像ＭＰや学習用地図画像ＭＰＬとすることで、重畳画像ＳＩを人間が観察した場合であっても空中撮像画像ＡＰや学習用空中撮像画像ＡＰＬとの識別が容易となる。

【0063】

また、教師データは、変化域の特性（新設、解体、変更）に対応したラベル情報が画素ごとに設定されたラベル画像Ｌである。このようにすることにより、教師データを画像とすることで、入力データとフォーマットを合わせることができ、学習効率や処理効率を向上させることができる。

【0064】

なお、上述した実施例では、重畳画像は、ＲＧＢフォーマットを利用していたが、カラー写真（ＲＧＢ）に地図画像を重畳した４チャネルの画像としてもよい。

【0065】

また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の推論装置を具備する限り、勿論、本発明の範疇に含まれるものである。

【符号の説明】

【0066】

１ 推論装置
２ 入力部
３ 生成部
４ 推論部
４ａ 学習済みモデル
ＭＰ 地図画像
ＡＰ 航空写真（空中撮像画像）
ＳＩ 重畳画像
ＭＰＬ 学習用地図画像
ＡＰＬ 学習用航空写真（空中撮像画像）
ＳＩＬ 学習用重畳画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】