(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-10-24
(45)【発行日】2022-11-01
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20221025BHJP
【FI】
G06N20/00
(21)【出願番号】P 2022507688
(86)(22)【出願日】2021-10-15
(86)【国際出願番号】 JP2021038267
【審査請求日】2022-02-07
【早期審査対象出願】
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100109380
【氏名又は名称】小西 恵
(74)【代理人】
【識別番号】100109036
【氏名又は名称】永岡 重幸
(72)【発明者】
【氏名】ポリヤプラム ヴィネーラジュ
(72)【発明者】
【氏名】アンダーソン ジェラマイアー
(72)【発明者】
【氏名】バンサル マヤンク
【審査官】北川 純次
(56)【参考文献】
【文献】特開2019-179320(JP,A)
【文献】米国特許出願公開第2016/0063516(US,A1)
【文献】特許第5406981(JP,B2)
【文献】国際公開第2018/051944(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
G06N 3/02-3/10
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
衛星画像を取得する取得手段と、
前記衛星画像を入力とした1つの学習モデルを用いた機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成手段と、
前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成手段と、
を有
し、
前記学習モデルは、前記衛星画像を入力する第1パートと、推定した前記第1画像と前記第2画像とを出力する第2パートで構成され、
前記第2パートは第1ブランチと第2ブランチを有し、
前記第1ブランチでは、前記第1画像を生成し、
前記第2ブランチでは、前記第2画像を生成する、
ことを特徴とする情報処理装置。
【請求項2】
前記衛星画像は、地球観測光学衛星により得られる複数のスペクトルバンドを使用したデータを、スペクトルごとに正規化した画像であることを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記機械学習のための学習モデルを学習させる学習手段をさらに有し、
前記学習手段は、複数の前記衛星画像を入力データとして用い、当該複数の衛星画像に対応する、土地分類を表す画像と人口を表す画像とを正解データとして用いて、前記学習モデルを学習させることを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記第1パートは複数の畳み込み層を含み、
前記第2パート
における前記第1ブランチと
前記第2ブランチはそれぞれ、複数の畳み込み層を含むことを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記第1ブランチは、前記第1画像を推定するための回帰モデルとして構成され、前記第2ブランチは、前記第2画像を推定するための分類モデルとして構成されることを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記分類モデルは、前記土地分類について、水、都市、耕作地、草地、森林、裸地を分類可能に構成されていることを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記学習手段は、前記正解データに対する、前記回帰モデルの出力と前記分類モデルの出力を評価する2つの損失関数を使用して前記学習モデルを学習させることを特徴とする請求項5または6に記載の情報処理装置。
【請求項8】
前記回帰モデルの出力に適用する損失関数は平均二乗誤差であり、前記分類モデルの出力に適用する損失関数はSoftmax交差エントロピー誤差であることを特徴とする請求項7に記載の情報処理装置。
【請求項9】
前記推定された第1画像と、位置情報を取得可能な所定のアプリケーションを起動している端末装置の位置情報から、人口の流れを推定する第3の推定手段をさらに有することを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。
【請求項10】
前記第3の推定手段は、前記端末装置の位置情報により、前記端末装置のユーザの自宅位置を推定し、当該自宅位置の分布と前記第1画像による人口の分布を用いて、地理的加重回帰モデルにより各端末装置に対するスケーリング係数を算出し、当該端末装置の動きと前記スケーリング係数から、前記人口の流れを推定することを特徴とする請求項9に記載の情報処理装置。
【請求項11】
情報処理装置が実行する情報処理方法であって、
衛星画像を取得する取得工程と、
前記衛星画像を入力とした1つの学習モデルを用いた機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成工程と、
前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成工程と、
を有
し、
前記学習モデルは、前記衛星画像を入力する第1パートと、推定した前記第1画像と前記第2画像とを出力する第2パートで構成され、
前記第2パートは第1ブランチと第2ブランチを有し、
前記第1ブランチでは、前記第1画像を生成し、
前記第2ブランチでは、前記第2画像を生成する、
ことを特徴とする情報処理方法。
【請求項12】
情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、
衛星画像を取得する取得処理と、
前記衛星画像を入力とした1つの学習モデルを用いた機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成処理と、
前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成処理と、を含む処理を実行させるためのものであ
り、
前記学習モデルは、前記衛星画像を入力する第1パートと、推定した前記第1画像と前記第2画像とを出力する第2パートで構成され、
前記第2パートは第1ブランチと第2ブランチを有し、
前記第1ブランチでは、前記第1画像を生成し、
前記第2ブランチでは、前記第2画像を生成する、
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、機械学習により人口を予測するための技術に関する。
【背景技術】
【0002】
世界の人口は時々刻々と動的に変化している。ある時点での人口および人の流れを推定することは、公衆衛生・商業といったあらゆる目的に活用可能である。例えば、人口および人の流れの推定は、疾病の影響分析、災害の軽減対策、店舗の立地計画、都市計画、交通工学などに役立ちうる。
【0003】
世界的に公開されている人口のデータセットの1つに、国による調査データである国勢調査(Census)データがある。世界の多くの国では、人口の規模、構成、人口統計に関する情報を収集するために、数年に1度の頻度で国勢調査を実施している。
一方で、人口を予測するための技術の研究も進められている。非特許文献1には、衛星画像をニューラルネットワーク(CNN(Convolutional Neural Network))による学習モデルに入力して、所定エリアにおける人口を直接予測する手法が記載されている。当該衛星画像は、種々の地球観測光学衛星による画像であり、当該光学衛星の公式サイトにより取得可能である。また、当該学習モデルは、衛星画像と、国勢調査による人口データを用いて作成された学習モデルである。
【先行技術文献】
【非特許文献】
【0004】
【文献】Caleb Robinson, Fred Hohman, Bistra Dilkina, “A deep learning approach for population estimation from satellite imagery”,Proceedings of the 1st ACM SIGSPATIAL Workshop on Geospatial Humanities, 47-54, 2017
【発明の概要】
【発明が解決しようとする課題】
【0005】
国勢調査のデータは、通常、5年から10年に一度しか収集・公表されず、また、人口は行政による施策に十分なレベルのデータであるために空間的な解像度も低い。また、調査を主体とした国勢調査により、その国の人口状況を包括的に把握することができるが、実現には費用が掛かり、広い範囲の人口を把握することもできない。
また、非特許文献1に開示される手法によれば、衛星画像から人口を予測することが可能となるが、使用される学習モデルは、衛星画像と、国勢調査による人口データを用いて作成された学習モデルである。すなわち、正解データとして人口データのみを使用して作成された学習モデルであり、人口予測の精度が低いという課題がある。
【0006】
本発明は上記課題に鑑みてなされたものであり、精度よく人口を予測するための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明による情報処理装置の一態様は、衛星画像を取得する取得手段と、前記衛星画像を入力とした機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成手段と、前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成手段と、を有し、前記学習モデルは、前記衛星画像を入力する第1パートと、推定した前記第1画像と前記第2画像とを出力する第2パートで構成され、前記第2パートは第1ブランチと第2ブランチを有し、前記第1ブランチでは、前記第1画像を生成し、前記第2ブランチでは、前記第2画像を生成する。
【0008】
前記衛星画像は、地球観測光学衛星により得られる複数のスペクトルバンドを使用したデータを、スペクトルごとに正規化した画像でありうる。
【0009】
前記情報処理装置は、前記機械学習のための学習モデルを学習させる学習手段をさらに有し、前記学習手段は、複数の前記衛星画像を入力データとして用い、当該複数の衛星画像に対応する、土地分類を表す画像と人口を表す画像とを正解データとして用いて、前記学習モデルを学習させてもよい。
【0010】
前記第1パートは複数の畳み込み層を含み、前記第2パートにおける前記第1ブランチと前記第2ブランチはそれぞれ、複数の畳み込み層を含みうる。
【0011】
前記第1ブランチは、前記第1画像を推定するための回帰モデルとして構成され、前記第2ブランチは、前記第2画像を推定するための分類モデルとして構成されうる。
【0012】
前記分類モデルは、前記土地分類について、水、都市、耕作地、草地、森林、裸地を分類可能に構成されうる。
【0013】
前記学習手段は、前記正解データに対する、前記回帰モデルの出力と前記分類モデルの出力を評価する2つの損失関数を使用して前記学習モデルに対する学習を行いうる。
【0014】
前記回帰モデルの出力に適用する損失関数は平均二乗誤差であり、前記分類モデルの出力に適用する損失関数はSoftmax交差エントロピー誤差でありうる。
【0015】
前記情報処理装置は、前記推定された第1画像と、位置情報を取得可能な所定のアプリケーションを起動している端末装置の位置情報から、人口の流れを推定する第3の推定手段を有してもよい。
前記第3の推定手段は、前記端末装置の位置情報により、前記端末装置のユーザの自宅位置を推定し、当該自宅位置の分布と前記第1画像による人口の分布を用いて、地理的加重回帰モデルにより各端末装置に対するスケーリング係数を算出し、当該端末装置の動きと前記スケーリング係数から、前記人口の流れを推定しうる。
【0016】
本発明に係る情報処理方法の一態様は、情報処理装置が実行する情報処理方法であって、 衛星画像を取得する取得工程と、前記衛星画像を入力とした機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成工程と、前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成工程と、を有し、前記学習モデルは、前記衛星画像を入力する第1パートと、推定した前記第1画像と前記第2画像とを出力する第2パートで構成され、前記第2パートは第1ブランチと第2ブランチを有し、前記第1ブランチでは、前記第1画像を生成し、 前記第2ブランチでは、前記第2画像を生成する。
【0017】
本発明に係る情報処理プログラムの一態様は、情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、衛星画像を取得する取得処理と、前記衛星画像を入力とした機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成処理と、前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成処理と、を含む処理を実行させるためのものであり、前記学習モデルは、前記衛星画像を入力する第1パートと、推定した前記第1画像と前記第2画像とを出力する第2パートで構成され、前記第2パートは第1ブランチと第2ブランチを有し、前記第1ブランチでは、前記第1画像を生成し、前記第2ブランチでは、前記第2画像を生成する。
【発明の効果】
【0018】
本発明によれば、精度よく人口を予測することが可能となる。
上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
【図面の簡単な説明】
【0019】
【
図1】
図1は、本発明の実施形態による情報処理装置の機能構成の一例を示すブロック図である。
【
図2】
図2は、本発明の実施形態による情報処理装置のハードウェア構成の一例を示すブロックである。
【
図3】
図3は、学習用データの一例を示す図である。
【
図4】
図4は、学習モデルのアーキテクチャの一例を示す。
【
図5】
図5は、第1実施形態による処理のフローチャートを示す。
【
図6】
図6は、衛星画像に対する人口の正解データと予測データを示す図である。
【
図7】
図7は、衛星画像に対する土地分類の正解データと予測データを示す図である。
【
図8】
図8は、衛星画像に対する土地分類の都市のクラスを抽出した正解データと予測データを示す図である。
【
図9】
図9は、第2実施形態による処理の流れを示す。
【
図10】
図10は、スケーリング係数βの算出の概念を説明するための図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【0021】
[第1実施形態]
<情報処理装置の機能構成>
本実施形態による情報処理装置は、本実施形態による情報処理装置は、衛星画像を取得して、当該衛星画像を学習モデルに適用することにより、人口データ(人口値の分布を表す第1画像)と土地分類データ(土地の種類の確率(土地分類とも称する)を表す第2画像)を予測して生成する。当該学習モデルは、衛星画像を入力として、人口データと土地分類データを正解データとして用いて学習された学習モデルである。
【0022】
図1は、本実施形態による情報処理装置1の機能構成の一例を示す。
図1に示す情報処理装置1は、学習部11、取得部12、推定部13、出力部14、および学習モデル記憶部15を有する。学習モデル記憶部15が学習モデル16を記憶している。
【0023】
学習部11は、学習用(教師用)データ17を用いて、機械学習のための、ニューラルネットワーク(CNN(Convolutional Neural Network))による深層学習モデル(以下、学習モデル)を学習させる。当該学習モデルは、後述するように、回帰アプローチと分類アプローチによるマルチタスク学習を行う学習モデルである。本実施形態では、学習用データ17として、衛星画像、人口データ、および土地分類データを用いる。具体的には、学習部15は、衛星画像を入力データ、人口データと土地分類データを正解データ(Ground Truth/地上検証データ)として用いて、学習モデルを作成する。学習モデルを作成するために用いる学習用データ17について、
図3を参照して説明する。
図3は、学習用データ17の一例を示す図である。
【0024】
図3(a)は、センチネル2号から得られた衛星画像の例であり、日本の東京周辺のエリアの衛星画像を示す。衛星画像は、種々の地球観測光学衛星から取得可能であり、例えば、欧州の地球観測光学衛星であるセンチネル2号(Sentinel-2)から取得される。センチネル2号による衛生画像は、利用可能になった時点で日々追加(更新)されうる。当該画像は、当該光学衛星に関する所定のウェブサイトからダウンロード可能である。
本実施形態では、センチネル2号から得られる衛星データから、30mの解像度(空間分解能)で集約した画像を、衛星画像として用いるものとする。また、当該衛星画像は、青、赤、赤、近赤外(NIR(Near Infrared))、短波長赤外(SWIR(Shortwave Infrared)1)、SWIR2といった6つのスペクトルバンドを使用したマルチスペクトルデータであるとする。このように、衛星画像は6つのスペクトルバンドを使用したデータであり、カラー画像であるが、
図3(a)ではグレースケール画像で示している。
【0025】
なお、学習部11による学習プロセスの収束を早めるために、衛星画像は(1)式のように正規化(平均が0で分散が1)されてもよい。
【数1】
ここで、Xは衛星画像を表し、iは衛星画像の各スペクトルバンドを表し、meanは平均を表し、stdは標準偏差を表す。
【0026】
学習部11は、学習プロセスの効率化のために、衛星画像をパッチ(画像パッチ)に切り出し、当該衛星画像を分割した分割衛星画像を生成する。本実施形態では、学習部11は、
図3(a)に示す衛星画像を、512×512ピクセルの分割衛星画像に分割する。
【0027】
図3(b)は、土地分類データの一例を示す。ここでは、土地分類データの一例として、LULC(土地利用および土地被覆(Land Use and Land Cover))データ(LULCを表す画像)を示す。LULCデータは、各地域における所定の調査機関により取得可能である。日本におけるLULCデータは、宇宙航空研究開発機構(JAXA)の地球観測研究センター(EORC)によるウェブサイトから取得可能である。JAXAは、宇宙航航空分野の研究開発を行う機関である。JAXA EORCから得られるLULCデータは、例えば、水、都市、耕作地、草地、森林、裸地、といった様々なクラスが分類可能(識別可能)に表されており、当該クラスに応じて、カラーで表されているが、
図3(b)ではグレースケール画像で示している。
図3(b)に示す土地分類データは、
図3(a)に示す衛星画像と同様に30mの(空間)解像度であるとする。学習部11は、学習プロセスのために、土地分類データをパッチに切り出し、当該土地分類データを分割した分割土地分類データ(分割土地分類画像)を生成する。本実施形態では、学習部11は、
図3(b)に示す土地分類データを、512×512ピクセルの分割土地分類データに分割する。
【0028】
図3(c)は、人口データ(人口分布を表す画像)を示す。本実施形態では、人口データは、人口の数値データは、例えば、Worldpopによるウェブサイトから取得可能である。得られた数値データを地図へマッピングすることにより、
図3(c)のような人口データが得られる。当該マッピング処理は学習部11により行われてもよいし、情報処理装置1における不図示の処理部により行われてもよい。あるいは、外部装置により当該マッピング処理が行われることにより得られた人口データを学習部11が取得してもよい。当該人口データは人口(人口密度)に応じてカラーで表されうるが、
図3(c)ではグレースケール画像で示している。
図3(c)に示す人口分布は、100mの(空間)解像度で示されているものとする。学習部11は、学習プロセスのために、人口データをパッチに切り出し、当該人口データを分割した分割人口データを生成する。本実施形態では、学習部11は、
図3(c)に示す人口データを、154×154ピクセルの分割人口データに分割する。
【0029】
学習部11は、前述したような、分割衛星画像、分割土地分類データ、および分割人口データを用いて学習モデル16を学習することができる。具体的には、分割衛星画像を入力として、当該分割衛星画像に対する土地分類データと人口データ(分割土地分類データと分割人口データ)の両方を出力する学習モデル16を学習し、ここで、土地分類データと人口データの両方が補完的にパラメータを学習する(学習モデルを学習させる)。当該学習モデルのアーキテクチャの一例については、
図4を用いて後述する。
学習部11は、学習済みの学習モデル16を、学習モデル記憶部15に格納する。
【0030】
取得部12は、人口データと土地分類データ(本実施形態ではLULCデータ)を予測する際に学習モデル16に入力するための衛星画像を取得する。当該衛星画像は、
図3(a)を参照して説明した画像と同様の画像であり、地球観測光学衛星から取得可能な画像である。取得部12は、当該取得された画像に対して、式(1)を用いて説明したような正規化処理を行ってもよいし、当該正規化処理が施された衛星画像を取得してもよい。取得部12は、衛星画像を推定部13に出力する。また、取得部12は、正規化処理が施された衛星画像を推定部13に出力しうる。
【0031】
推定部13は、取得部12から出力された衛星画像を、
図3(a)を参照して説明した手法と同様に分割し、分割衛星画像を生成する。そして、推定部13は、当該分割衛星画像を学習モデル16に適用し、教師あり学習を行うことにより、当該分割衛星画像に対する人口データおよび土地分類データを推定(予測)して生成する。推定の手順については、
図4を用いて後述する。
また、推定部13は、生成した人口データを用いて、人の流れを予測するための処理を行う。当該処理については、第2実施形態において説明する。
【0032】
出力部14は、推定部13による推定結果(生成した人口データと土地分類データ)を出力する。例えば、出力部14は、当該推定結果を表示部26に出力(表示)してもよいし、通信I/F27を介して外部装置(不図示)に出力してもよい。
【0033】
<情報処理装置のハードウェア構成>
図2は、本実施形態による情報処理装置1のハードウェア構成の一例を示すブロック図である。
本実施形態による情報処理装置1は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
図2を参照して、情報処理装置1は、単一のコンピュータに実装される例が示されているが、本実施形態による情報処理装置1は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
【0034】
図2に示すように、情報処理装置1は、CPU21と、ROM22と、RAM23と、HDD24と、入力部25と、表示部26と、通信I/F27と、システムバス28とを備えてよい。情報処理装置1はまた、外部メモリを備えてよい。
CPU(Central Processing Unit)21は、情報処理装置1における動作を統括的に制御するものであり、データ伝送路であるシステムバス28を介して、各構成部(22~27)を制御する。
【0035】
ROM(Read Only Memory)22は、CPU21が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、HDD(Hard Disk Drive)24、SSD(Solid State Drive)等の不揮発性メモリや着脱可能な記憶媒体(不図示)等の外部メモリに記憶されていてもよい。
RAM(Random Access Memory)23は、揮発性メモリであり、CPU81の主メモリ、ワークエリア等として機能する。すなわち、CPU21は、処理の実行に際してROM22から必要なプログラム等をRAM23にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【0036】
HDD24は、例えば、CPU21がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、HDD24には、例えば、CPU21がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
入力部25は、キーボードやマウス等のポインティングデバイスにより構成される。
表示部26は、液晶ディスプレイ(LCD)等のモニターにより構成される。表示部26は、キーワード特定処理で使用される各種パラメータや、他の装置との通信で使用される通信パラメータ等を情報処理装置1へ指示入力するためのユーザインタフェースであるGUI(Graphical User Interface)を提供してよい。
【0037】
通信I/F27は、情報処理装置1と外部装置との通信を制御するインタフェースである。
通信I/F27は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。例えば、通信I/F27を介して、外部装置との間で各種データや各種パラメータ等が送受信される。本実施形態では、通信I/F27は、イーサネット(登録商標)等の通信規格に準拠する有線LAN(Local Area Network)や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Bluetooth(登録商標)、ZigBee(登録商標)、UWB(Ultra Wide Band)等の無線PAN(Personal Area Network)を含む。また、Wi-Fi(Wireless Fidelity)(登録商標)等の無線LAN(Local Area Network)や、WiMAX(登録商標)等の無線MAN(Metropolitan Area Network)を含む。さらに、LTE/3G、4G、5G等の無線WAN(Wide Area Network)を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
【0038】
図1に示す情報処理装置1の各要素のうち少なくとも一部の機能は、CPU21がプログラムを実行することで実現することができる。ただし、
図1に示す情報処理装置1の各要素のうち少なくとも一部の機能が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU21の制御に基づいて動作する。
【0039】
<学習モデルのアーキテクチャ>
学習部11により作成される学習モデル16のアーキテクチャの一例を
図4に示す。
学習モデル16は、上述したように、分割衛星画像を入力として、分割土地分類データと人口データの両方を出力する学習モデルである。なお、
図4の説明において、分割衛星画像、分割土地分類データ、分割人口データをそれぞれ、衛星画像、土地分類データ、人口データと称する。
図4において、各ブロック間で示される数字は、ピクセルサイズを表す。
【0040】
学習モデル16は2つのパート(第1パートと第2パート)に分かれている。第1パートは最後のブロックで分岐(Split)して第2パートへ続き、第2パートは、人口データ(人口値の分布を示す画像データ)を出力する人口予測ブランチと土地分類データ(土地の種類の確率を示す画像データ)を出力する土地分類予測ブランチとを有する。
【0041】
第1パートは4つのCNNブロック(畳み込み層(2Conv2D(2次元畳み込み層)))を含んで構成される。第1パートはさらに、ダウンサンプリングブロック(プーリング層(MaxPooling2D(2次元プーリング層)))を含んで構成される。
【0042】
第1パートに入力されるデータは、512×512ピクセルの衛星画像である。当該衛星画像は、上述のように6つのスペクトルバンドを使用したマルチスペクトルデータである。すなわち、入力レイヤ数は6である。各演算ブロックには64個のフィルターがあり、3×3のカーネルを持つ各ブロックには、活性化関数としてReLU(Rectified Linear Unit)が使用される。
【0043】
第2パートは2つのブランチ(人口予測ブランチと土地分類予測ブランチ)を有し、それぞれが3つのCNNブロックを含んで構成される。
第2パートにおいて、人口予測ブランチ(
図4の第2パートの上側)は、入力された衛星画像から回帰的に人口データを予測するために、機械学習における回帰アプローチを用いる。
また、土地分類予測ブランチ(
図4の第2パートの下側)は、入力された衛星画像から土地分類に対する複数クラスを予測するために、機械学習における分類アプローチ(分類手法)を用いる。当該クラスは、例えば、水、都市、耕作地、草地、森林、裸地の6クラスを含み、当該クラスに分類されないものは、分類不可として分類される。
このように、学習モデル16は、人口データ予測のための回帰アプローチによる回帰モデルと、土地分類クラス分類のための分類アプローチによる分類モデルの両方を1つのネットワークに備える学習モデルである。
【0044】
人口データと土地分類データ(それぞれ
図3(c)と
図3(b)を参照)の(空間)解像度は異なるため、第2パートにおける2つのCNNによる出力データの(空間)解像度は、正解データの解像度に合わせている。
例えば、
図4に示すように、人口予測ブランチでは、バイリニア補間ブロックにより、256×256ピクセルから154×154ピクセルのピクセルサイズにリサイズされる。バイリニア補間は、縦方向と横方向の2方向に対して、線形(リニア)補間する方法である。
また、土地分類予測ブランチでは、256×256ピクセルから512×512ピクセルにアップサンプリングされ、これは、土地分類正解データの(空間)解像度(すなわち30m)に相当する。
【0045】
前述のように、本実施形態による学習モデル16は、人口データ予測のための回帰アプローチと、土地分類クラス分類のための両方を1つのネットワークで扱う。このような、静的な人口分布予測と土地分類予測を備える学習モデル16の作成および更新のために、2つの損失関数による評価値を使用する。
第1の損失関数は、平均二乗誤差(MSE:Mean Squared Error)であり、第2の損失関数は、Softmax交差エントロピー誤差(CE:Cross Entropy Loss)である。
【0046】
MSEは、(2)式のように表される。
【数2】
ここで、y
iはある分割衛星画像iに対して観測された人口(正解データとしての人口データ)であり、y
i^は当該分割衛星画像iに対して予測された人口である。nは、1衛星画像における分割衛星画像数(すなわち、1衛星画像から予測される人口データの数)である。
【0047】
また、CEは、(3)式のように表される。
【数3】
ここで、tiとsiは、それぞれ、土地分類のクラスi(Cは全クラス)に対する正解データ(正解値)と推定データである。当該推定データは、土地分類予測ブランチで得られたCNNスコアに対して活性化関数(softmax)が適用された値である。
学習部15は、この2つの損失関数の両方の評価値(MSEとCE)が十分に安定するように、学習モデル16の各種パラメータを更新する。このように、2つの評価値から学習モデル16のパラメータが更新されることにより、より精度の高い人口データおよび土地分類データ(一例としてLULCデータ)の予測が可能となる。
【0048】
<処理の流れ>
図5に、情報処理装置1により実行される処理のフローチャートを示す。
S51で、取得部12は、衛星画像を取得する。上述のように、衛星画像は例えばセンチネル2号により取得されたデータである。当該衛星画像は、式(1)を用いて説明したように、正規化処理が施された衛星画像であってもよい。
続いて、S52で、推定部13は、取得部11により取得された衛星画像をパッチに切り出し、当該衛星画像を分割した分割衛星画像(画像パッチ)を生成する。本実施形態では、推定部13は、衛星画像を、512×512ピクセルの分割衛星画像に分割する。
【0049】
S53は、S52で生成された分割衛星画像ごとの処理である。S53では、推定部13は、分割衛星画像を入力として、
図4を参照して説明したように作成された学習モデル16を用いて当該分割衛星画像に対する、人口データと土地分類データとを推定(予測)して生成する。推定部13は、当該推定処理を、取得部11により取得された衛星画像における全分割衛星画像に対して行い、完了すると、処理はS54へ進む。なお、当該推定処理は、複数の分割衛星画像に対して並行して行われてもよい。
【0050】
S54では、出力部14は、S53の処理により得られた、全分割衛星画像に対する人口データと土地分類データを合成し、S51で取得された衛星画像に対する人口データと土地分類データを生成し、当該データを推定結果として出力する。例えば、出力部14は、推定結果を表示部26に出力(表示)してもよいし、通信I/F27を介して外部装置(不図示)に出力してもよい。
【0051】
<性能評価>
続いて、
図4を参照して説明した学習モデル16を用いた、衛星画像からの人口予測および土地分類予測の性能について説明する。
【0052】
(人口予測についての性能評価)
表1に、人口予測に関しての性能評価結果を示す。表1は、ある衛星画像に対する人口予測に関しての性能評価結果を示す。
【表1】
表1において、「検証データの範囲」は、1衛星画像から分割された1分割衛星画像(512×512ピクセル)のエリアにおいて取りうる人口の正解データの範囲である。すなわち、1分割衛星画像に対する正解データとしての人口は、0.0~214.28の間の数である。
「予測データの範囲」は、1衛星画像から分割された1分割衛星画像(512×512ピクセル)から、
図4に示す学習モデルに従って推定部13により推定された人口の予測データの範囲である。すなわち、1分割衛星画像に対する予測データとしての人口は、0.0~163.58の間の数である。
【0053】
「寄与率(Explained variance)」と「決定係数(Coefficient of determination)」は、機械学習における評価指標である。
寄与率は、予測データが検証データにどれだけ近づけたかを示す値であり、1に近いほど精度が高いことを表す。決定係数は、値が大きいほど予測能力が高いことを意味し、最大値は1である。
【0054】
「RMSE」は、平均二乗誤差の平方根(Root Mean Squared Error)であり、式(4)のように表される。
【数4】
式(4)において、iは分割衛星画像のインデックスであり、nは1衛星画像における分割衛星画像数の数である。また、y
iはi番目の分割衛星画像に対する人口の予測データであり、y^
iはi番目の分割衛星画像に対する正解データとしての人口である。
【0055】
「MAE」は、平均絶対誤差(Mean Absolute Error)であり、式(5)のように表される。
【数5】
式(4)と同様に、iは分割衛星画像のインデックスであり、nは1衛星画像における分割衛星画像数の数である。また、y
iはi番目の分割衛星画像に対する人口の予測データであり、y^
iはi番目の分割衛星画像に対する正解データとしての人口である。
【0056】
図6に、衛星画像に対する人口の正解データ(
図6(a))と予測データ(
図6(b))を示す。具体的には、
図6(a)は、
図3(a)に示す衛星画像(日本の東京周辺のエリアの衛星画像)に対応する、人口の正解データを示し、
図6(b)は、
図3(a)に示す衛星画像が
図4に示す学習モデル16に適用された場合の人口の予測データである。すなわち、当該人口の予測データは、当該衛星画像の分割衛星画像が学習モデル16に入力された場合の人口予測ブランチ(
図4の第2パートの上側)における出力データを、全分割衛星画像について合成したデータである。なお、
図6(a)と
図6(b)に示す人口データは、本来はいずれもカラー画像であるが、ここではグレースケール画像で示している。いずれの図においても、傾向として、色が黒に近いほど、人口が高いことを表す。
【0057】
図6(a)と
図6(b)とを比較すると、
図6(a)で白く表示されている海の部分に対応する
図6(b)の予測データを除いて、同じような人口分布の傾向を示していることがわかる。すなわち、両図において、人口が少ないエリアと多いエリアの分布は同様な傾向であることがわかる。
一方で、表1の結果から、正解(検証)データの範囲より、予測データの範囲が小さく、最大値は予測データの方が小さい傾向にある。この傾向が、
図6(b)でも表れており、黒く表示されている人口が特に多いエリアが、
図6(a)の正解データより
図6(b)の予測データの方が小さいことがわかる。このように、人口の特に多いエリアについては、正解データよりも小さく予測されたが、地図全体としての人口分布の傾向は両図で同様であり、本実施形態による学習モデル16により、静的な人口分布を精度よく予測しているといえる。
【0058】
(土地分類予測についての性能評価)
表2に、ある衛星画像に対する土地分類予測についての性能評価の結果を示す。本実施形態では、
図4に示す学習モデル16の土地分類予測ブランチ(
図4の第2パートの下側)で、6つのクラス(水、都市、耕作地、草地、森林、裸地)に加えて、当該6つのクラスに分類されなかったクラスである分類不可(不能)が分類される。
【表2】
表2において、各クラスについての「適合率(Precision)」、「再現率(Recall)」、および、「F値(F1-score)」と、「正解率(Accuracy)」は、機械学習における分類の評価指標である。
適合率は、本当の正解の数のうち、機械学習の予測としても正解している割合を示す。
再現率は、機械学習の予測において正解のうち、本当の結果も正解である割合を示す。
F値は、適合率と再現率を用いた統計値であり、2×(適合率×再現率)/(適合率+再現率)で算出される値である。F値は最大値1であり、高いほど分類の精度が高いことを表す。
また、正解率は、すべての予測のうち、正解した予測の割合を示す。
表2から、水と森林はより高い精度で予測されていることがわかる。一方、裸地は、かなり予測精度が低いことがわかる。
【0059】
図7に、衛星画像に対する土地分類の正解データ(
図7(a))と予測データ(
図7(b))を示す。具体的には、
図7(a)は、
図3(a)に示す衛星画像(日本の東京周辺のエリアの衛星画像)に対応する、土地分類の正解データを示し、
図7(b)は、
図3(a)に示す衛星画像が
図4に示す学習モデル16に適用された場合の土地分類の予測データである。すなわち、当該土地分類の予測データは、当該衛星画像の分割衛星画像が学習モデル16に入力された場合の土地分類予測ブランチ(
図4の第2パートの下側)における出力データを、全分割衛星画像について合成したデータである、
図7(a)と
図7(b)に示す土地分類データは、本来は、いずれも各クラスを識別するカラー画像であるが、ここではグレースケール画像で示している。
【0060】
図7(a)と
図7(b)とを比較すると、両図に顕著な違いはなく、精度高く土地分類が予測されていることがわかる。表2から、裸地は予測精度が低いことを考慮すると、
図3(a)の衛星画像において、裸地がないことも土地分類の予測データの精度が高い一つの理由と考えられる。
【0061】
図8に、
図7(a)と
図7(b)における土地分類の正解データと予測データにおいて、クラス=都市を抽出したデータを示す。
図7と同様に、両図に顕著な違いはなく、精度高く都市エリアが予測されていることがわかる。
【0062】
このように、本実施形態では、衛星画像から人口および土地分類を予測することができるため、最新の衛星画像から人口および土地分類を予測することが可能となる。また、学習時に2つの正解データ(Ground Truth)を適用することにより、従来技術より精度よく、人口および土地分類を予測することが可能となる。このように、現在の実データに近い人口および土地分類のデータを提供できることにより、疾病の影響分析、災害の軽減対策、店舗の立地計画、都市・交通計画の最適な実施が可能となる。
【0063】
[第2実施形態]
第1実施形態では、衛星画像を学習モデル16に適用することにより、人口と土地分類を予測した。本実施形態では、第1実施形態の手法に従って得られた予測人口データを用いて、人の流れを予測する手法について説明する。
本実施形態では、所定のアプリケーションをインストール(ダウンロード)している端末装置の位置情報を用いる。当該所定のアプリケーションをインストールしている端末装置の数は人口に対して少なく、また当該端末装置の分布は地域により偏りがある。このことを考慮し、本実施形態では、スケーリング係数を算出して、変化する端末装置の位置情報と当該スケーリング係数から人の流れを導出する。
【0064】
端末装置は、公衆回線または無線LAN(Local Area Network)等により無線通信が可能な、携帯電話、モバイル端末、小型ノートパソコン、タブレット型端末、スマートフォンといった装置である。
また、所定のアプリケーションは、少なくともGPS(Global Positioning System)と連携し、端末装置の位置情報は端末装置のID(識別子)と関連付けられているものとする。当該所定のアプリケーションは、例えば、通信事業者によって提供されうるものである。情報処理装置1は、端末装置の位置情報を取得可能に構成されている。
なお、以下の説明において、端末装置は、ユーザ(例えば人)により携帯(保持)されていることを想定し、当該所定のアプリケーションをインストールし、起動している端末装置を「AU(Active User)端末」、当該端末装置の数を、「AU人口」と称しうる。
【0065】
図9に、本実施形態による処理の流れを説明する。当該処理は、情報処理装置1の推定部13により実行される。
本実施形態の処理は、大きく3つのブロックに分けられる。
ブロック61は、あるエリアの地図上に等間隔のグリッド(格子線)を引くことにより分けられた複数の区画(以下、グリッド)におけるAU人口を示すAU人口グリッドを生成するためのブロックである。本実施形態において、1グリッドは200m×200mとするが、400m×400m等、別のサイズであってもよい。当該エリアにおけるグリッド数はnとする。
ブロック62は、各グリッドに対するスケーリング係数を生成するためのブロックである。
ブロック63は、時間ごと(例えば、3時間ごとや2時間ごと)の人口グリッドを計算するためのブロックである。
以下、各ブロックにおける処理について説明する。
【0066】
ブロック61では、まず、ブロック611において、推定部13は、AU端末のユーザのホーム位置(自宅位置)を、AU端末のID(識別子)と関連付けて取得する。例えば、推定部13は、過去1ヶ月間の午前0時から午前6時までのAU端末の位置情報から得られる軌跡データから、地理的なセントロイド(中心)を計算することにより、当該ホーム位置を取得する。これは、午前0時から午前6時までの時間帯は、ほとんどのAU端末のユーザは自宅にいるという仮定に基づく。
ブロック612において、推定部13は、ブロック611で取得したAU端末のユーザのホームの位置を、各グリッドにマッピング(空間結合)することにより、グリッドごとのAU人口をカウントする。
ブロック613において、推定部13は、ブロック612でカウントされた、各グリッドのAU人口から、全体のAU人口グリッドを生成する。
【0067】
ブロック62では、ブロック621と622から開始する。ブロック621において、推定部13は、ブロックS613で生成したAU人口グリッドを取得する。また、ブロック622において、推定部13は、第1実施形態の手法に従って得られた予測人口データを取得する。推定部13は、当該予測人口データ(画像)を、強度に応じて複数のレベル値にサンプリングした人口分布データを作成する。そして、推定部13は、当該人口分布データを、AU人口グリッドと同じサイズの各グリッドにマッピングする。これにより、各グリッドの予測人口データが反映された、全体の予測人口グリッドが生成される。
ブロック623において、推定部12は、周知の地理的加重回帰(Geographically Weighted Regression:GWR)モデルを用いて、グリッドごとのスケーリング係数を推定する。GWRを用いることにより、データ(すなわち、グリッドごとのAU人口)の局所的な不均一性に対処することが可能となる。
【0068】
本実施形態による地理的加重回帰モデルを、式(6)に示す。
【数6】
ここで、Yは予測人口(スケールアップされたAU人口に対応)である。スケーリング係数β
0,・・・,β
nは、予測人口を用いて線形重回帰から得ることができる。β
0は切片であり、β
1,・・・,β
nはそれぞれ、1,・・,n番目のグリッドにおけるAU人口X
1,・・・,X
nに対するスケーリング係数である。Eは誤差項である。
【0069】
図10は、スケーリング係数βの算出の概念を説明するための図である。
図10において黒丸はAU端末の位置を示す。
図10からわかるように、領域101におけるAU端末の数が標準であるとすると、領域102におけるAU端末は密度が高く、領域103におけるAU端末は密度が低い。このように、地域によりAU端末の数の分布に差が生じる。これは、人口の多くが端末装置を保持しているとしても、AU端末の数は、所定のアプリケーションをインストールして起動している端末装置の数に限られ、当該装置のユーザの位置は、年齢や居住/活動地域等により均一に分布しないからである。
図10に示す例の場合、領域102に対するスケーリング係数βは小さい値となり、領域101、領域103の順に大きくなる。
【0070】
ブロック63では、まず、ブロック631において、推定部13は、時空間ユーザリストを作成する。本実施形態では、当該時空間ユーザリストは、1時間ごとの、グリッド(200m×200m)ごとのAU端末のリストである。
ブロック632では、ブロック631で生成されたリストに含まれるAU端末に対して、該AU端末のIDに関連付けられた、該AU端末のホームの位置(ブロック611)に応じたスケーリング係数(ブロック623)をマッピングする。
【0071】
ブロック633では、推定部13は、各グリッドにおける流出量(inflow)と流入量(outflow)を計算する。流入量と流出量はそれぞれ式(7)と式(8)のように表される。
【数7】
【数8】
ここで、Xは時間tiにおける現在のグリッドを示し、uはAU端末のIDを示し、sは各ユーザIDにマッピングされた(割り当てられた)スケーリング係数である。
時間tiにおいてX番目のグリッドでは存在し、時間ti-1において存在しなかったAUユーザのスケーリング係数の合計が流入量となる。
一方、時間tiにおいてX番目のグリッドでは存在せず、時間ti-1において存在したAU端末のスケーリング係数の合計が流出量となる。
【0072】
ここまでの処理で、時間ごとの全グリッドにわたる人口の動きが取得され、最後に、ブロック634では、推定部13は、連続する時間の人口グリッドを導出する。
【0073】
このように、本実施形態によれば、衛星画像から第1実施形態の手法に従って予測された人口データと、端末装置の位置情報から、人の流れを予測することが可能となる。これにより、例えば、特定のエリアへの混雑を検証でき、当該混雑に迅速に対処することが可能となる。
なお、本実施形態では、端末装置の位置情報に関連付けられる当該装置のIDを用いたが、ユーザの匿名性を保護しつつ、当該装置のユーザの性別や年齢を用いてもよい。これにより、性別や年齢に応じた人流が推定でき、多様なマーケティングの活用に資する。
【0074】
なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
【符号の説明】
【0075】
1:情報処理装置、11:学習部、12:取得部、13:推定部、14:出力部、15:学習モデル記憶部、16:学習モデル、17:学習用データ
【要約】
情報処理装置(1)は、衛星画像を取得する取得手段(12)と、前記衛星画像を入力とした機械学習により、前記衛星画像に対する人口値の分布を表す第1画像を回帰的に推定して生成する第1の生成手段(13)と、前記機械学習により、前記衛星画像に対する土地の種類の確率を表す第2画像を推定して生成する第2の生成手段(13)と、を有する。