特開 2024-59137 目的物抽出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024059137

(43)【公開日】2024-05-01

(54)【発明の名称】目的物抽出システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240423BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022166613

(22)【出願日】2022-10-18

(71)【出願人】

【識別番号】390023249

【氏名又は名称】国際航業株式会社

(74)【代理人】

【識別番号】110001335

【氏名又は名称】弁理士法人 武政国際特許商標事務所

(72)【発明者】

【氏名】林 雨亭

(72)【発明者】

【氏名】鈴木 久美子

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA02

5L096FA59

5L096HA13

5L096JA28

5L096KA04

5L096KA15

(57)【要約】

【課題】本願発明の課題は、従来の問題を解決することであり、すなわち、画像から目的とする対象物を抽出することができ、しかも特性が異なる地域に共通して適用することができる目的物抽出システムを提供することである。
【解決手段】本願発明の目的物抽出システムは、空中写真から対象とする目的物を抽出するシステムであって、モデル生成手段と目的物判別手段を備えたものである。このうちモデル生成手段は、教師データを機械学習することによって学習済みモデルを生成する手段である。なお教師データは、「空中写真」とその空中写真に付与される「タグ情報」とによって構成され、このタグ情報には目的物の有無の情報と地域特性情報が含まれる。そして目的物判別手段が、画素ごとに目的物の有無を判別する。
【選択図】図１

【特許請求の範囲】

【請求項1】

空中写真から対象とする目的物を抽出するシステムであって、
教師データを機械学習することによって、学習済みモデルを生成するモデル生成手段と、
前記空中写真を前記学習済みモデルに入力することによって、該空中写真内に含まれる前記目的物を判別する目的物判別手段と、を備え、
前記教師データは、前記空中写真と、該空中写真に付与されるタグ情報と、によって構成され、
前記タグ情報には、前記目的物の有無の情報と、前記空中写真に係る地域に関する地域特性情報と、が含まれ、
前記タグ情報のうち前記目的物の有無の情報は、前記空中写真を構成する画素ごとに付与されるとともに、前記タグ情報のうち前記地域特性情報は、複数の前記画素によって構成されるメッシュごとに付与され、
前記目的物判別手段は、前記画素ごとに前記目的物の有無を判別する、
ことを特徴とする目的物抽出システム。

【請求項2】

前記目的物が建物であり、
前記タグ情報には、前記建物の有無の情報と、前記地域特性情報と、が含まれ、
前記目的物判別手段は、前記画素ごとに前記建物の有無を判別する、
ことを特徴とする請求項１記載の目的物抽出システム。

【請求項3】

前記地域特性情報が、緑被率のレンジを表す緑被レベルであり、
前記タグ情報には、前記建物の有無の情報と、前記緑被レベルと、が含まれた、
ことを特徴とする請求項２記載の目的物抽出システム。

【請求項4】

前記地域特性情報が、前記メッシュにおける平均建物面積のレンジを表す建物面積レベルであり、
前記タグ情報には、前記建物の有無の情報と、前記建物面積レベルと、が含まれた、
ことを特徴とする請求項２記載の目的物抽出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、地表を撮影して得られた画像から目的物を抽出する技術に関するものであり、より具体的には、その地域の特性を考慮したうえで画像内に含まれる目的物を自動抽出することができる目的物抽出システムに関するものである。

【背景技術】

【0002】

地図の作成や、地形の分類、土地利用の分類を行う場合、空中写真が利用される。具体的には、空中写真を判読することによって、建物や農地、道路、河川、森林などを読み取って、地図を作成し、あるいは地形や土地利用の分類を行うわけである。

【0003】

空中写真は、航空写真とも称され、地上の状態を忠実に再現するため上空から撮影される画像である。空中写真を取得するにあたっては、飛行機やヘリコプターを使用して上空から撮影したり、衛星から撮影したり、あるいはクレーン車や気球などを使用して撮影されることもある。そして地図作成などを目的とするケースでは、専用のカメラによって鉛直下方を撮影した垂直写真が取得される。なお、土地の利用は年々変化するため、定期的に同じ地域の空中写真が取得され、例えば国土地理院では平野部について５～１０年周期で撮影している。

【0004】

上記したとおり空中写真を判読することによって、建物や農地といった種々の地物が抽出される。従来この写真判読は、オペレータの目視によって行われるのが主流であった。しかしながら、空中写真は広範囲を撮影したものであり、目視による写真判読はオペレータにとって相当に負担がかかる作業であり、また誤判読などいわゆるヒューマンエラーを完全に排除することは難しかった。

【0005】

そこで近年では、画像認識の技術を利用して地物の種類を選別する処理が行われることも増えてきた。つまり、ソフトウェアに係る処理をコンピュータが実行することによって、空中写真から地物の種類を自動抽出するわけである。このように自動抽出された地物の種類を最終判断として取り扱うこともあるし、その結果は一次的な判断としたうえで（つまり、スクリーニング処理としたうえで）最終的にオペレータが目視判断することもある。

【0006】

また、空中写真から地物の種類を自動抽出するにあたっては、機械学習（ＭＬ：Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）に関する技術が利用されることもある。この機械学習は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を支える技術の１つであり、学習用データを機械学習（例えば、ディープラーニングなど）することによって、目的の結果を出力することができるモデルを生成するものである。例えば特許文献１では、空中写真を所定サイズで切り出して窓画像を作成するとともに、その窓画像をクラス分類したうえで学習データとして格納する技術について提案している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－２０４２５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

当然ながら、空中写真はその撮影地域によって特徴が異なる。例えば、都市部で撮影した空中写真は、商業地域やオフィス街を構成する建物が密集しているが、これに対して地方部で撮影した空中写真には、農地や森林などが多く含まれる。そのため、空中写真（あるいは空中写真に基づくデータ）を学習データとして機械学習する場合、都市部で推論するケースでは都市部の学習データを用い、地方部で推論するケースでは地方部の学習データを用いていた。特許文献１に開示される技術も、建物の状況に応じた学習データを作成する技術であり、すなわち１の空中写真を複数に切り分けた窓画像ごとにクラス分類（例えば、Ｓサイズの建物占有率が高い窓画像など）したうえで、それぞれクラスごとの学習データセットを格納するものである。そして、Ｓサイズの建物占有率が高い地域では、Ｓサイズの建物占有率が高いクラスの窓画像を学習し、Ｌサイズの建物占有率が高い地域では、Ｌサイズの建物占有率が高いクラスの窓画像を学習することとなる。

【0009】

このように、地域ごとに学習データを作成し、その学習データを機械学習するのでは、その作業にかかるコストが高騰することになる。そのため、少ない種類の学習データを機械学習することによって様々な特徴がある地域に共通して適用し得るモデルを生成する技術、例えば首都圏の空中写真を機械学習することによって種々の地域の推論に利用することができるモデルの生成技術が切望されていた。

【0010】

本願発明の課題は、従来の問題を解決することであり、すなわち、画像から目的とする対象物を抽出することができ、しかも特性が異なる地域に共通して適用することができる目的物抽出システムを提供することである。

【課題を解決するための手段】

【0011】

本願発明は、地域に関する特性情報を含むタグ情報が付与された空中写真を教師データとし、この教師データを機械学習することによって学習済みモデルを生成する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。

【0012】

本願発明の目的物抽出システムは、空中写真から対象とする目的物を抽出するシステムであって、モデル生成手段と目的物判別手段を備えたものである。このうちモデル生成手段は、教師データを機械学習することによって、学習済みモデルを生成する手段である。また目的物判別手段は、空中写真を学習済みモデルに入力することによって、空中写真内に含まれる目的物を判別する手段である。なお、教師データは「空中写真」とその空中写真に付与される「タグ情報」とによって構成され、このタグ情報には目的物の有無の情報と地域特性情報（空中写真に係る地域に関する情報）が含まれる。なお、タグ情報のうち目的物の有無の情報は、空中写真を構成する画素（ピクセル）ごとに付与され、一方の地域特性情は、メッシュ（複数の画素によって構成される領域）ごとに付与される。そして、目的物判別手段が、画素ごとに目的物の有無を判別する。

【0013】

本願発明の目的物抽出システムは、目的物が建物であるものとすることもできる。この場合のタグ情報には、建物の有無の情報と地域特性情報が含まれる。また、この場合の目的物判別手段は、画素ごとに建物の有無を判別する。

【0014】

本願発明の目的物抽出システムは、地域特性情報が緑被レベル（緑被率のレンジを表す指標）であるものとすることもできる。この場合のタグ情報には、建物の有無の情報と緑被レベルが含まれる。

【0015】

本願発明の目的物抽出システムは、地域特性情報が建物面積レベル（平均建物面積のレンジを表す指標）であるものとすることもできる。この場合のタグ情報には、建物の有無の情報と建物面積レベルが含まれる。

【発明の効果】

【0016】

本願発明の目的物抽出システムには、次のような効果がある。
（１）少ない種類の学習データを用意するだけで、特性が異なる地域に係る空中写真であってもそれぞれ目的物を抽出することができる。その結果、学習データの作成にかかるコストを低減することができる。
（２）特性が異なる地域に共通して適用可能な学習済みモデルを生成するため、タスクごとにモデルを作成する必要がなく、したがって学習済みモデルの生成にかかるコストを低減することができる。

【図面の簡単な説明】

【0017】

【図1】本願発明の目的物抽出システムの主な構成を示すブロック図。

【図2】空中写真に設定された複数のメッシュを模式的に示すモデル図。

【図3】「目的物の有無」と「地域特性情報」からなるタグ情報を説明するモデル図。

【図4】それぞれのメッシュに５段階の緑被レベルが付与された空中写真を示す画像平面図。

【図5】それぞれのメッシュに５段階の建物面積レベルが付与された空中写真を示す画像平面図。

【図6】本願発明の目的物抽出システムの主な処理の流れの一例を示すフロー図。

【発明を実施するための形態】

【0018】

本願発明の目的物抽出システムの実施形態の一例を、図に基づいて説明する。

【0019】

図１は、本願発明の目的物抽出システム１００の主な構成を示すブロック図である。この図に示すように目的物抽出システム１００は、モデル生成手段１０１と目的物判別手段１０２を含んで構成され、さらに教師データ生成手段１０３や画像データ記憶手段１０４、タグ情報記憶手段１０５、教師データ記憶手段１０６、モデル記憶手段１０７などを含んで構成することもできる。

【0020】

目的物抽出システム１００を構成するモデル生成手段１０１と目的物判別手段１０２、教師データ生成手段１０３は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。すなわち、所定のプログラムによってコンピュータ装置に演算処理を実行させることで、それぞれの手段特有の処理を行うわけである。このコンピュータ装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といったプロセッサ、ＲＯＭやＲＡＭといったメモリ、を具備しており、さらにマウスやキーボード等の入力手段やディスプレイを含むものもあり、例えばパーソナルコンピュータ（ＰＣ）やサーバなどによって構成することができる。

【0021】

また、画像データ記憶手段１０４とタグ情報記憶手段１０５、教師データ記憶手段１０６、モデル記憶手段１０７は、汎用的コンピュータ（例えば、パーソナルコンピュータ）の記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由で保存するクラウドサーバとすることもできる。

【0022】

以下、本願発明の目的物抽出システム１００を構成する主な要素ごとに詳しく説明する。

【0023】

（教師データ生成手段）
本願発明は、地域の特性（以下、単に「地域特性」という。）に依存することなく、すなわち様々な地域特性に共通して推論することができるモデルを生成することを特徴のひとつとしており、そのため機械学習用の教師データは地域特性が反映されたものとしている。そして、その教師データは、教師データ生成手段１０３によって生成することができる。以下、本願発明に適用される教師データを生成する手順について説明する。

【0024】

まず、画像データ記憶手段１０４（図１）に記憶された画像（例えば、空中写真）に対して、図２に示すような分割領域（以下、「メッシュＭＳ」という。）を設定する。ただし教師データはメッシュＭＳごとに生成されるのではなく、あくまで１の空中写真を単位として生成される。すなわち図２の例では、横１２×縦１５のメッシュＭＳから構成される空中写真に基づいて、１の教師データが生成されるわけである。このメッシュＭＳは、教師データ生成手段１０３によって設定され、具体的には空中写真が具備する座標に基づいてあらかじめ定められた所定の間隔で設定される。なおメッシュＭＳは、空中写真を構成する画素（ピクセル）の集合とすることができ、例えば５００×５００画素～１，０００×１，０００画素を１つのメッシュＭＳとすることができる。

【0025】

空中写真に対してメッシュＭＳを設定すると、その空中写真にタグ情報を付与する。このタグ情報は、図３に示すように「目的物の有無」と「地域特性情報」を含んで構成されるものであり、「目的物の有無」は空中写真を構成する画素ごとに付与され、一方の「地域特性情報」はメッシュＭＳごとに付与される。換言すれば、本願発明の教師データは、空中写真と、その空中写真を構成する画素ごとに付与される「目的物の有無」、メッシュＭＳごとに付与される「地域特性情報」によって構成されるわけである。タグ情報のうち「目的物の有無」は文字どおりその画素に目的物が「有る」か「無い」かを示す情報であり、また「目的物」とは推論によって出力しようとする地物である。なお目的物としては、農地（田や畑など）や、公園などの緑地、道路、鉄道、河川など様々な地物を選択することができるが、便宜上ここでは目的物が「建物」の例で説明する。

【0026】

タグ情報のうち「地域特性情報」は、地域特性を示す情報であって、例えば「緑被レベル」や「建物面積レベル」とすることができる。ここで緑被レベルとは、メッシュＭＳに占める緑被部分の割合（例えば、面積率）を「緑被率」として求め、あらかじめ緑被率をいくつかの段階（レンジ）に分類したときの水準のことである。例えば図４では、緑被率をあらかじめ５つのレンジに分類しており、すなわち各々のメッシュＭＳには５段階のうちいずれかの緑被レベルが付与されている。

【0027】

また建物面積レベルとは、メッシュＭＳに占める建物部分の面積を「建物面積」として求め、あらかじめ建物面積をいくつかの段階（レンジ）に分類したときの水準のことである。例えば図５では、建物面積をあらかじめ５つのレンジに分類しており、すなわち各々のメッシュＭＳには５段階のうちいずれかの建物面積レベルが付与されている。

【0028】

地域特性情報は、緑被レベルや建物面積レベルに限らず、地域特性を示すものであれば種々の情報を採用することができる。例えば図３では、緑被レベルと建物面積レベルのほか、建物密集度レベルや建物高度レベル、樹木種別、樹木分布レベル、地質区分、地形区分などを示している。いずれにしろ、それぞれの画素には「目的物の有無」が与えられ、それぞれのメッシュＭＳには「地域特性情報」が与えられる。それぞれの画素やメッシュＭＳにタグ情報を付与するにあたっては、オペレータが教師データ生成手段１０３を使用して付与することができる。この場合、オペレータがディスプレイなどの表示手段に表示された空中写真を目視しながら、ポインティングデバイス（マウスやタッチパネル、ペンタブレット、タッチパッド、トラックパッド、トラックボールなど）やキーボード等からなる教師データ生成手段１０３を操作することによって所望のタグ情報を付与する仕様とするとよい。あるいは、タグ情報記憶手段１０５（図１）がタグ情報（画素ごとの「目的物の有無」やメッシュＭＳごとの「地域特性情報」）を記憶している場合、教師データ生成手段１０３が、対応する画素やメッシュＭＳに自動的にタグ情報を付与する仕様とすることもできる。ここで生成された教師データは、教師データ記憶手段１０６に記憶される（図１）。

【0029】

（モデル生成手段）
モデル生成手段１０１は、教師データを用いて機械学習を行うことによって「学習済みモデル」を生成する手段である。学習済みモデルを生成するための機械学習としては、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのディープラーニングのほか、従来用いられている種々の機械学習技術を採用することができる。ただし、空中写真を構成する画素（ピクセル）ごとに建物（目的物）の有無を出力する（推論する）ように、学習済みモデルは生成される。モデル生成手段１０１によって生成された学習済みモデルは、モデル記憶手段１０７に記憶される（図１）。

【0030】

（目的物判別手段）
目的物判別手段１０２は、モデル生成手段１０１によって生成された学習済みモデルを含んで構成され、入力された空中写真に対して建物（目的物）の有無を出力する（推論する）手段である。ただし目的物判別手段１０２は、空中写真を構成する画素ごとに建物の有無を判別して出力する。もちろん、画素ごとに建物の有無を判別した後、その判別結果に基づいて最終的に建物か否かの判断を行う仕様とすることもできる。例えば、建物が有るとされた画素が一定程度（事前に設定した閾値以上）の数で集合している（すなわち塊をなしている）ときに、当該集合には建物が存在すると判断することができる。また目的物判別手段１０２は、建物の有無に加えて地域特性情報を出力する（推論する）仕様とすることもできる。

【0031】

（処理の流れ）
以下、図６を参照しながら本願発明の目的物抽出システム１００の主な処理について詳しく説明する。図６は、本願発明の目的物抽出システム１００が画素（ピクセル）ごとに建物の有無を判別して出力するまでの主な処理の流れの一例を示すフロー図であり、中央の列に実行する処理を示し、左列にはその処理に必要なものを、右列にはその処理から生ずるものを示している。

【0032】

画素ごとに建物の有無を判別するには、まずは図６に示すように教師データを生成する（図６のＳｔｅｐ２０１）。教師データは、教師データ生成手段１０３によって生成され、具体的には、空中写真を構成する画素ごとに「目的物の有無」を付与するとともに、空中写真に対して設定されたメッシュＭＳごとに「地域特性情報」を付与することで生成される。

【0033】

教師データを生成すると、モデル生成手段１０１が教師データを用いた機械学習を行うことによって学習済みモデルを生成する（図６のＳｔｅｐ２０２）。そして、推論の対象とする空中写真を目的物判別手段１０２に入力すると、その目的物判別手段１０２が画素ごとに建物の有無を判別して出力する（図６のＳｔｅｐ２０３）。あるいは、上記したとおり建物の有無に加えて地域特性情報を出力することもできる。学習済みモデルは地域特性が反映された教師データを学習した結果生成されたものであり、目的物判別手段１０２がその学習済みモデルを備えていることから、地域特性に依存することなく建物の有無を推論することができる。例えば、首都圏の空中写真に基づく教師データを機械学習することによって学習済みモデルを生成したとしても、他の都市部（例えば、関西圏）や地方部を撮影した空中写真に対して適切に建物の有無を推論することができるわけである。

【産業上の利用可能性】

【0034】

本願発明の目的物抽出システムは、建物の抽出のほか、道路や鉄道域の抽出、種別ごとの農地の抽出、種別ごとの樹木の抽出など、様々な地物の抽出に利用することができる。本願発明によれば、種々の地域で汎用的に地物の種類を判別することができることから、社会インフラストラクチャーの計画や防災計画などに有効活用することができ、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明である。

【符号の説明】

【0035】

１００ 本願発明の目的物抽出システム
１０１ （目的物抽出システムの）モデル生成手段
１０２ （目的物抽出システムの）目的物判別手段
１０３ （目的物抽出システムの）教師データ生成手段
１０４ （目的物抽出システムの）画像データ記憶手段
１０５ （目的物抽出システムの）タグ情報記憶手段
１０６ （目的物抽出システムの）教師データ記憶手段
１０７ （目的物抽出システムの）モデル記憶手段
ＭＳ メッシュ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】