特許 7398808 学習型実空間情報形成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-07

(45)【発行日】2023-12-15

(54)【発明の名称】学習型実空間情報形成システム

(51)【国際特許分類】

   G06F 16/9035 20190101AFI20231208BHJP

   G06F 13/00 20060101ALI20231208BHJP

【ＦＩ】

G06F16/9035

G06F13/00

【請求項の数】 12

(21)【出願番号】P 2020550488

(86)(22)【出願日】2019-10-02

(86)【国際出願番号】 JP2019038865

(87)【国際公開番号】W WO2020075584

(87)【国際公開日】2020-04-16

【審査請求日】2022-08-26

(31)【優先権主張番号】P 2018192689

(32)【優先日】2018-10-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100114764

【弁理士】

【氏名又は名称】小林 正樹

(72)【発明者】

【氏名】新熊 亮一

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１８－０８４８５４（ＪＰ，Ａ）

【文献】特開２０１４－２０９３１１（ＪＰ，Ａ）

【文献】特開２０１６－００９３４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、
前記情報端末装置は、
実空間のセンサデータを取得するデータ取得部と、
該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、
該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、
該送信部によるセンサデータの送信を制御する制御部とを備え、
前記サーバコンピュータは、
前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、
該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、
前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、
前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、
前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、
前記情報端末装置の前記制御部は、前記データ保持部により保持されている複数のセンサデータについて、前記サーバコンピュータの重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように送信部を制御し、
前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする学習型実空間情報形成システム。

【請求項2】

前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、
通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御する請求項１に記載の学習型実空間情報形成システム。

【請求項3】

前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、
情報端末装置の保有エネルギーが所定値未満の場合の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御する請求項１に記載の学習型実空間情報形成システム。

【請求項4】

前記学習部は、実空間情報を構成する要素を多次元で配置したパターンからなる特徴モデルを形成する請求項１に記載の学習型実空間情報形成システム。

【請求項5】

前記学習部は、実空間情報を構成する要素を、時刻情報と地点情報、時刻情報と識別情報、経度情報と緯度情報、あるいは地点情報とワード情報のいずれか一つの組み合わせからなる２次元で配置したパターンからなる特徴モデルを生成する請求項４に記載の学習型実空間情報形成システム。

【請求項6】

前記重要度決定部は、所定のパターンからなる実空間情報の特徴モデルにおいて、実空間情報を構成する各要素の特徴量の変化に基づいて各要素の重要度を決定する請求項１に記載の学習型実空間情報形成システム。

【請求項7】

複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、
前記情報端末装置は、
実空間のセンサデータを取得するデータ取得部と、
該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、
該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、
該送信部によるセンサデータの送信を制御する制御部とを備え、
前記サーバコンピュータは、
前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、
該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、
前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、
前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、
前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、
前記情報端末装置の制御部は、前記サーバコンピュータの重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御し、
前記サーバコンピュータの形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする学習型実空間情報形成システム。

【請求項8】

前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、
通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御する請求項７に記載の学習型実空間情報形成システム。

【請求項9】

前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、
情報端末装置の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御する請求項７に記載の学習型実空間情報形成システム。

【請求項10】

複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、
前記情報端末装置は、
実空間のセンサデータを取得するデータ取得部と、
該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、
該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、
該送信部によるセンサデータの送信を制御する制御部とを備え、
前記サーバコンピュータは、
前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、
該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、
前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、
前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、
前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、
前記情報端末装置の前記制御部は、前記サーバコンピュータの重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御し、
前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする学習型実空間情報形成システム。

【請求項11】

前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、
通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御する請求項１０に記載の学習型実空間情報形成システム。

【請求項12】

前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、
情報端末装置の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御する請求項１０に記載の学習型実空間情報形成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態に接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムに関するものである。

【背景技術】

【0002】

近年、各種センサを搭載した複数の移動中または可動式のモバイルデバイスが各種センサにより取得したセンサデータを通信ネットワークを介して収集し、クラウドなどのサーバコンピュータで統合処理することによって実空間情報を形成し、形成した実空間情報を知識として提供するサービスのニーズが高まっている。

【0003】

このようにセンサを搭載した複数のモバイルデバイスが取得するセンサデータを通信ネットワークを介して収集することはMobile Crowd Sensingと呼ばれ、社会や産業界における様々な問題のソリューションとして期待されている（例えば、非特許文献１，２参照）。

【0004】

最近では、大容量のセンサデータを取得するセンサとして、カメラ、３次元イメージセンサ、３次元レーダが多く用いられており、動画または静止画の画像、３次元イメージ、音声が混合して構成されるマルチメディアデータも含まれるようになっている。

【0005】

例えば、カメラを備えたモバイルデバイスが撮影した静止画または動画の画像をセンサデータとして収集し、当該画像からオブジェクト（例えば、自動車のナンバープレート）を抽出することによって実空間情報（例えば、複数地点における各時刻の自動車の台数）を形成することが考えられる。

【先行技術文献】

【非特許文献】

【0006】

【文献】X. Wang, W. Wu, and D. Qi, "Mobility-Aware Participant Recruitment for Vehicle-based Mobile Crowdsensing," IEEE Transactions on Vehicular Technology, 2017.

【文献】Z. He, J. Cao, and X. Liu, "High quality participant recruitment in vehicle-based crowdsourcing using predictable mobility," IEEE INFOCOM, pp.2542-2550, 2015.

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、モバイルデバイスがサーバコンピュータに画像等のセンサデータをアップロードする際、モバイル通信の上り通信が用いられるが、その通信速度は遅く、モバイルデバイスが移動している場合には通信速度はさらに遅くなる。

【0008】

例えば、１００台のモバイルデバイスが１０Ｍバイトの画像を１秒ごとに送信する場合、送信レートは８Ｇｂｐｓに至る。今後、全方向カメラや、解像度のより高いカメラ、３次元イメージセンサが用いられることで送信レートはさらに高くなる。

【0009】

このため、モバイルデバイスからサーバにリアルタイムに送信されるセンサデータは限定せざるを得ず、そのような限定的なセンサデータから実空間情報を精度良く形成することは困難であるという問題があった。

【0010】

本発明は、上述の問題に鑑みてなされたものであり、モバイルデバイスなどの情報端末装置からサーバに対してセンサデータを効率的にアップロードすることができ、ひいては精度の高い実空間情報を形成することが可能な学習型実空間情報形成システムを提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明は、上記目的を達成するために、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、前記情報端末装置は、実空間のセンサデータを取得するデータ取得部と、該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、該送信部によるセンサデータの送信を制御する制御部とを備え、前記サーバコンピュータは、前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、前記情報端末装置の前記制御部は、前記データ保持部により保持されている複数のセンサデータについて、前記サーバの前記重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御し、前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする。

【0012】

また、前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御してもよい。

【0013】

また、前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、情報端末装置の保有エネルギーが所定値未満の場合の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御してもよい。

【0014】

また、前記学習部は、実空間情報を構成する要素を多次元で配置したパターンからなる特徴モデルを形成してもよい。

【0015】

また、前記学習部は、実空間情報を構成する要素を、時刻情報と地点情報、時刻情報と識別情報、経度情報と緯度情報、あるいは地点情報とワード情報のいずれか一つの組み合わせからなる２次元で配置したパターンからなる特徴モデルを生成してもよい。

【0016】

また、前記重要度決定部は、所定のパターンからなる実空間情報の特徴モデルにおいて、実空間情報を構成する各要素の特徴量の変化に基づいて各要素の重要度を決定してもよい。

【0017】

また、本発明は、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、前記情報端末装置は、実空間のセンサデータを取得するデータ取得部と、該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、該送信部によるセンサデータの送信を制御する制御部とを備え、前記サーバコンピュータは、前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、前記情報端末装置の前記制御部は、前記サーバの前記重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御し、前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする。

【0018】

また、前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御してもよい。

【0019】

また、前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、情報端末装置の保有エネルギーが所定値未満の場合実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御してもよい。

【0020】

また、本発明は、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、前記情報端末装置は、実空間のセンサデータを取得するデータ取得部と、該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、該送信部によるセンサデータの送信を制御する制御部とを備え、前記サーバコンピュータは、前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、前記情報端末装置の前記制御部は、前記サーバの前記重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御し、前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする。

【0021】

また、前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御してもよい。

【0022】

前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、情報端末装置の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御してもよい。

【発明の効果】

【0023】

本発明によれば、情報端末装置は実空間情報を構成する重度度の高い要素に対応するセンサデータを優先的に送信するため、情報端末装置からサーバコンピュータに対してセンサデータを効率的にアップロードすることができる。このため、実空間情報を速やかに形成することができるとともに、また一部のデータのみでも高精度な実空間情報を形成することができる。

【0024】

また、実空間情報サービスをリアルタイムに提供する場合、一定の精度を達成するのに情報端末装置から送信しなければならないデータトラヒックを軽減することができる。

【0025】

また、情報端末装置から送信されるセンサデータの通信量が少なくなるため、情報端末装置がセンサデータを送信するのに必要な通信料を削減することができるともに、情報端末装置のバッテリーの消費量を押さえて寿命を持たせることができる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１の実施形態に係る学習型実空間情報形成システムの全体構成を示す図である。

【図2】図１の情報端末装置の構成を示すブロック図である。

【図3】図１のサーバコンピュータの構成を示すブロック図である。

【図4】実空間情報の一例を示す図である。

【図5】実空間情報の特徴モデルの一例を示す図である。

【図6】実空間情報の学習時のフローチャートを示す図である。

【図7】実空間情報の予測時のフローチャートを示す図である。

【図8】各地点の車両台数を予測した実験結果を示す図である。

【図9】各地点の乗車人数を予測した実験結果を示す図である。

【図10】本発明の第２の実施形態に係る情報端末装置の構成を示すブロック図である。

【図11】本発明の第３の実施形態に係る情報端末装置の構成を示すブロック図である。

【図12】実空間情報の特徴モデルの他の例を示す図である。

【図13】実空間情報の特徴モデルの他の例を示す図である。

【図14】実空間情報の特徴モデルの他の例を示す図である。

【発明を実施するための形態】

【0027】

＜実施形態１＞
次に、本発明に係る学習型実空間情報形成システム（以下、本システムという）の第１の実施形態について図１～図７を参照しつつ説明する。

【0028】

［全体構成］
本システムは、図１に示すように、複数の情報端末装置１とサーバコンピュータ（以下、サーバ２という）がネットワークを介して通信可能な状態で接続され、各情報端末装置１で取得されたセンサデータを収集して、サーバ２で学習により実空間情報を形成する。

【0029】

このセンサデータは、静止画や動画の画像データ、３次元イメージセンサデータ、音声データ、動画または静止画の画像や音声が混合して構成されるマルチメディアデータのほか、降水量、積雪量、風向、風速、波高などに関する天気データ、地熱や地中成分などに関する地勢データ、震度などに関する地震データなど、実空間においてセンサにより取得可能なあらゆるデータが挙げられる。

【0030】

また、実空間情報は、環境あるいは社会生活に関する実在する実空間に関する情報である。この実空間情報の一例を挙げると、図４に示すように、時刻情報と地点情報の２次元の形式で配置され、各地点における各時刻の交通量（車両台数）が実空間情報に関する要素として構成される。

【0031】

また、実空間情報を構成する要素は、各情報端末装置１により取得されたセンサデータから抽出される。例えば、センサデータが各情報端末装置１のカメラにより撮影された交通に関する画像データの場合、該画像データにおいてナンバープレートを画像認識することにより交通量（車両台数）を実空間情報を構成する要素として抽出する。

【0032】

また、各情報端末装置１によるセンサデータの取得に際しては、例えば、各情報端末装置１が各地点Ａ、Ｂ、Ｃ、Ｄ、Ｅで定点観測的に各時刻のセンサデータ（画像）を取得したり、あるいは、各情報端末装置１が点Ａ、Ｂ、Ｃ、Ｄ、Ｅを相互に移動しながら各時刻のセンサデータ（画像）を取得する。

【0033】

［情報端末装置１の構成］
前記情報端末装置１は、ユーザが携帯するスマートフォン、携帯電話端末、タブレット端末、スマートグラスなどのモバイルデバイスのほか、自動車に搭載されるドライブレコーダ、ドローン、道路に設置されている防犯カメラ装置や交通カメラ装置、３次元イメージセンサ装置、各種レーダ装置などのデバイスが挙げられ、各デバイスに搭載されている各センサによって実空間のセンサデータを取得して、そのセンサデータをサーバ２にネットワークを介して送信する。

【0034】

具体的には、前記情報端末装置１は、図２に示すように、センサデータを取得するデータ取得部１１（センサ）と、センサデータを保持するデータ保持部１２と、センサデータを送信する送信部１３と、送信部１３を制御する制御部１４とを備える。

【0035】

前記データ取得部１１は、カメラ、マイク、その他の各種センサなど、実空間においてセンサデータを取得するものである。このセンサデータの取得に際しては、センサデータを直接取得してもよいし、あるいはネットワークを介してセンサデータを取得してもよい。

【0036】

前記データ保持部１２は、データ取得部１１により取得された実空間のセンサデータを一時的または長期的に保持するものである。

【0037】

前記送信部１３は、データ保持部１２により保持されている実空間のセンサデータをネットワークを介してサーバ２に送信するものである。この送信部１３は、後述するように制御部１４によりセンサデータの送信が制御される。

【0038】

前記制御部１４は、データ保持部１２により保持されている実空間のセンサデータをネットワークを介してサーバ２に送信するように送信部１３を制御するものである。

【0039】

具体的には、前記制御部１４は、サーバ２において学習により実空間情報の特徴モデルを生成する際、データ保持部１２により保持されている全てのセンサデータをネットワークを介してサーバ２に送信するように送信部１３を制御する。

【0040】

また、前記制御部１４は、サーバ２において実空間情報の特徴モデルを用いて将来の実空間情報を形成する際、データ保持部１２により保持されている複数のセンサデータについて、重要度の高いセンサデータを優先的に送信する。具体的には、以下の（１）～（３）のとおりである。

【0041】

（１）サーバ２から実空間情報を構成する要素の重要度がネットワークを介して送信されてくる（このサーバ２における実空間情報を構成する要素の重要度の決定方法は後述する）
（２）制御部１４は、データ保持部１２に保持されているセンサデータについて、実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する要素に対応する各センサデータの重要度を決定する。
（３）制御部１４は、重要度の高いセンサデータを優先的に送信するように送信部１３を制御する。

【0042】

なお、本実施形態では、前記制御部１４は、通信環境が高速の場合（通信環境における通信速度が所定値以上の場合）、データ保持部１２により保持されている未送信の全てのセンサデータを送信する一方、通信環境が低速の場合（通信環境における通信速度が所定値未満の場合）、前記データ保持部１２により保持されているセンサデータのうち、重要度の高いセンサデータを優先的に送信するように送信部１３を制御する。なお、通信環境が高速の場合とは、例えば、移動中ではなく、無線ＬＡＮやミリ波通信といった固定通信が利用可能な環境が挙げられる。

【0043】

また、前記制御部１４は、データ保持部１２に保持された重要度の高いセンサデータをリアルタイムに送信してもよいし、あるいはデータ保持部１２に一定期間保持された重要度の高いセンサデータを一括して送信するように送信部１３を制御してもよい。

【0044】

また、前記制御部１４は、重要度の高いセンサデータを送信する方法として、重要度の高いセンサデータを広い周波数帯域で優先的に送信したり、重要度の高いセンサデータの送信確率を高く設定したり、重要度の高いセンサデータの送信電力を優先的に割り当てたりすることが挙げられる。

【0045】

また、前記制御部１４は、情報端末装置１の計算処理能力と電力を用いて、重要度の高いセンサデータを軽量にする処理（圧縮、解像度の変更など）を行ってもよい。

【0046】

［サーバ２の構成］
前記サーバ２は、クラウドなどのサーバコンピュータであって、情報端末装置１から送信されてきたセンサデータを統合処理することによって実空間情報を形成し、その形成した実空間情報を知識として提供する。

【0047】

具体的には、前記サーバ２は、図３に示すように、実空間のセンサデータを受信する受信部２１と、センサデータから実空間情報を構成する要素を抽出する抽出部２２と、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部２３と、実空間情報を構成する各要素の重要度を決定する重要度決定部２４と、将来の実空間情報を形成する形成部２５とを備える。

【0048】

前記受信部２１は、情報端末装置１によりネットワークを介して送信されてきた実空間のセンサデータを受信するものである。

【0049】

前記抽出部２２は、受信部２１により受信されたセンサデータから実空間情報を構成する要素を抽出するものである。例えば、実空間情報が、図４に示すように、時刻情報と地点情報の２次元の形式で配置される場合、各地点における各時刻の交通量（車両台数）を実空間情報に関する要素として抽出する。

【0050】

前記学習部２３は、受信部２１により受信された過去のセンサデータから前記抽出部２２により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成するものである。

【0051】

この特徴モデルとは、過去の実空間情報と実空間情報の予測結果（正解）との対応を表わしたものであり、後述するように形成部２５において将来の実空間情報を形成する際に用いられる。

【0052】

例えば、図４に示すように、実空間情報が時刻情報と地点情報の２次元の形式で配置される場合であって、実空間情報を構成する要素が各地点における各時刻の交通量（車両台数）の場合について考える。

【0053】

図５は、過去３日分の記録であって、各地点Ａ～Ｅの各時刻１：０１～１：０５の過去の５分間のセンサデータを入力とすることにより過去の実空間情報が形成され、学習時には各地点Ａ～Ｅにおける５分後の時刻１：１０の交通量（車両台数）の予測結果（正解）が与えられ、この過去の実空間情報と実空間情報の予測結果（正解）の対応が特徴モデルとして表される。

【0054】

前記重要度決定部２４は、実空間情報の特徴モデルにおいて実空間情報を構成する各要素の重要度を決定するものであり、この実空間情報を構成する各要素の重要度はネットワークを介して情報端末装置１に送信される。

【0055】

例えば、図５に示す実空間情報の特徴モデルの場合、白色の要素の特徴量（車両台数）は日によって異なっているが、黒色の要素の特徴量（車両台数）は日によって変化していない。すなわち、各地点における時刻１：１０の交通量を予測するのに白色の要素が重要であり、黒色の要素は重要でないということになる。このことから重要度決定部２４は、白色の要素の重要度を高くし、かつ黒色の要素の重要度を低く決定することになる。

【0056】

このように実空間情報を構成する各要素の重要度を決定すると、後述するように形成部２５において将来の空間情報を形成する際、重要度の低い要素については要素の特徴量をそのまま用いるものとする一方、重要度の高い要素については新たなセンサデータから抽出した要素の特徴量を用いることができる。

【0057】

前記形成部２５は、受信部２１により受信された直近の実空間のセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。

【0058】

本実施形態では、通信環境が高速の場合、直近の全てのセンサデータを受信部２１で受信するため、直近の全てのセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。

【0059】

また、通信環境が低速の場合、直近の重要度の高いセンサデータを受信部２１で受信するため、直近の重要度の高いセンサデータから抽出部２２により抽出された実空間情報を構成する重要度の高い要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。

【0060】

例えば、図５に示す実空間情報の特徴モデルの場合、情報端末装置１で取得された各地点Ａ～Ｅにおける直近の各時刻１：０１～１：０５の５分間のセンサデータのうち、サーバ２では実空間情報を構成する重要度の高い要素（白色）に対応するセンサデータのみを受信部２１で受信しているため、抽出部２２では実空間情報を構成する重要度の高い要素（白色）の特徴量を抽出することとなる。

【0061】

一方、情報端末装置１で取得された各地点Ａ～Ｅにおける直近の各時刻１：０１～１：０５の５分間のセンサデータのうち、サーバ２では実空間情報を構成する重要度の低い要素（黒色）に対応するセンサデータを受信部２１で受信していないが、特徴モデルにおいて既に当該重要度の低い要素（黒色）の特徴量は保持されている。

【0062】

このため、新たに抽出した実空間情報を構成する重要度の高い要素（白色）の特徴量と、既に保持している実空間情報を構成する重要度の低い要素（黒色）の特徴量とを組み合わせることによって、学習した実空間情報の特徴モデルを用いて将来の実空間情報を精度良く形成することができる。

【0063】

［実空間情報の学習時の流れ］
次に本システムにおける実空間情報の学習時の流れについて、図６に示すフローチャートを参照しつつ説明する。

【0064】

前記情報端末装置１は、取得した全ての実空間情報のセンサデータをネットワークを介してサーバ２に送信する。具体的な流れは、以下のとおりである。

【0065】

前記データ取得部１１（センサ）は、実空間において必要なセンサデータを取得する（Ｓ１１）。

【0066】

そして、前記データ保持部１２は、データ取得部１１により取得された実空間のセンサデータを保持する（Ｓ１２）。

【0067】

そして、前記送信部１３は、制御部１４の指令に基づいて、データ保持部１２に保持されている過去の全ての実空間のセンサデータをネットワークを介してサーバ２に送信する（Ｓ１３）。

【0068】

次に、前記サーバ２は、情報端末装置１から送信されてきた実空間のセンサデータから実空間情報を構成する要素を抽出したあと、所定のパターンからなる実空間情報の特徴モデルを生成するとともに、実空間情報を構成する要素の重要度を決定する。具体的な流れは、以下のとおりである。

【0069】

前記受信部２１は、情報端末装置１によりネットワークを介して送信されてきた実空間のセンサデータを受信する（Ｓ１４）。

【0070】

そして、前記抽出部２２は、受信部２１により受信されたセンサデータから実空間情報を構成する要素を抽出する（Ｓ１５）。

【0071】

そして、前記学習部２３は、受信部２１により受信された過去のデータから前記抽出部２２により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる特徴モデルを生成する（Ｓ１６）。実空間情報の特徴モデルについては、例えば図５に示すとおりである。

【0072】

そして、前記重要度決定部２４は、実空間情報の特徴モデルにおいて実空間情報を構成する各要素の重要度を決定する（Ｓ１７）。この実空間情報を構成する各要素の重要度の決定については、例えば、図５に示すように、実空間情報を構成する白色の要素は重要度を高く設定し、黒色の要素は重要度を低く設定する。なお、実空間情報を構成する各要素の重要度は、ネットワークを介して情報端末装置１に送信される。

【0073】

［実空間情報の予測時の流れ］
次に本システムにおける実空間情報の予測時の流れについて、図７に示すフローチャートを参照しつつ説明する。

【0074】

前記情報端末装置１は、取得した実空間情報のセンサデータのうち、重要度の高いセンサデータをネットワークを介してサーバ２に送信する。具体的な流れは、以下のとおりである。

【0075】

前記データ取得部１１（センサ）は、実空間において必要なセンサデータを取得する（Ｓ２１）。

【0076】

そして、前記データ保持部１２は、データ取得部１１により取得されたセンサデータを保持する（Ｓ２２）。このときは、データ取得部１１により取得された全てのセンサデータを保持している。

【0077】

そして、前記送信部１３は、制御部１４の指令に基づいて、データ保持部１２に保持されている直近の実空間のセンサデータを送信する（Ｓ２３）。具体的には、前記送信部１３は、通信環境が高速の場合、データ保持部１２に保持されている直近の全てのセンサデータを送信する一方、通信環境が低速の場合、前記データ保持部１２により保持されている直近の実空間のセンサデータのうち、重要度の高いセンサデータを優先的に送信する。

【0078】

次に、前記サーバ２は、情報端末装置１から送信されてきた実空間のセンサデータから実空間情報を構成する要素を抽出したあと、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。具体的な流れは、以下のとおりである。

【0079】

前記受信部２１は、情報端末装置１によりネットワークを介して送信されてきた実空間のセンサデータを受信する（Ｓ２４）。

【0080】

そして、前記抽出部２２は、受信部２１により受信されたセンサデータから実空間情報を構成する要素を抽出する（Ｓ２５）。

【0081】

そして、前記形成部２５は、受信部２１により受信された直近の実空間のセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する（Ｓ２６）。

【0082】

本実施形態では、通信環境が高速の場合、直近の全てのセンサデータを受信部２１で受信するため、直近の全てのセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。

【0083】

一方、通信環境が低速の場合、直近の重要度の高いセンサデータを受信部２１で受信するため、直近の重要度の高いセンサデータから抽出部２２により抽出された実空間情報を構成する重要度の高い要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。例えば、図５に示すように、新たに抽出した実空間情報を構成する重要な要素（白色）の特徴量と、既に保持している実空間情報を構成する重要でない要素（黒色）の特徴量とを組み合わせることによって、学習した実空間情報の特徴モデルを用いて将来の実空間情報を精度良く形成することができる。

【0084】

なお、本実施形態では、前記情報端末装置１の制御部１４は、通信環境が高速の場合、データ保持部１２により保持されている未送信の全てのセンサデータを送信する一方、通信環境が低速の場合、前記データ保持部１２により保持されているセンサデータのうち、重要度の高いセンサデータを優先的に送信するように送信部１３を制御したが、通信環境の状況にかかわらず、重要度の高いセンサデータを優先的に送信するように送信部１３を制御してもよい。ただ、サーバ２の学習部２３において実空間情報の特徴モデルを形成する際、センサデータが多ければ多いほど、特徴モデルの精度が向上するため、最終的には全てのセンサデータをサーバ２に送信するのが好ましい。

【0085】

また、前記情報端末装置１の制御部１４は、情報端末装置の保有エネルギーが所定値以上の場合、データ保持部１２により保持されている未送信の全てのセンサデータを送信する一方、情報端末装置の保有エネルギーが所定値未満の場合、前記データ保持部１２により保持されているセンサデータのうち、重要度の高いセンサデータを優先的に送信するように送信部１３を制御してもよい。

【実施例】

【0086】

本システムを実際のセンサデータを用いて検証を行った。仕様は下記のとおりである。
・データセット：CRAWDAD Sab Francisco Cabs（https://crawdad.org/）
・評価指標：RMSLE(Root Mean Squared Log Error)
（評価指標の文献）M. Zeng, T. Yu, X. Wang, V. Su, L.T. Nguyen, and O.J. Mengshoel, "Improving Demand Prediction in Bike Sharing System by Learning Global Features," Machine Learning for Large Scale Transportation Systems (LSTS), 2016.
・機械学習手法：Random Forest
・予測に用いる過去データ：３０分前から１分ごと
・予測対象：１分後
・地点サイズ：１ｋｍ平方

【0087】

地点ごとに車両台数を予測した結果、図８に示すように、センサデータが一律に送信されサーバ２に一部のセンサデータがランダムに到着した場合、画像数が少ないと誤差が大きく、画像数が250000以上になって初めて誤差が小さくなる。一方、重要度の高いセンサデータが送信された場合、画像数が少ないときでも誤差が小さいことが確認された。

【0088】

また、地点ごとにタクシーの乗車人数を予測した結果、図９に示すように、センサデータが一律に送信されサーバ２に一部のセンサデータがランダムに到着した場合、画像数が少ないと誤差が大きく、画像数が250000以上になって初めて誤差が小さくなる。一方、重要度の高いセンサデータが送信された場合、画像数が100000前後でも誤差が小さいことが確認された。

【0089】

＜実施形態２＞
次に、本システムの第２の実施形態について図１０を参照しつつ説明する。なお、以下では上記の実施形態と異なる構成についてのみ説明することとし、同一の構成については説明を省略して同一の符号を付すこととする。

【0090】

本実施形態では、情報端末装置１の制御部１４は、図１０に示すように、サーバ２の重要度決定部２４により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するようにデータ取得部１１を制御する。

【0091】

例えば、図４に示す実空間情報の場合、情報端末装置１が実空間情報を構成する重要度の高い要素に対応する地点および時刻に到達したとき、情報端末装置１のデータ取得部１１が当該地点および時刻におけるセンサデータを取得する。この重要度の高いセンサデータは、第１の実施形態と同様、送信部１３によりネットワークを介してサーバ２に送信され、サーバ２において将来の実空間情報の形成に用いられる。

【0092】

また、情報端末装置１の制御部１４は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するようにデータ取得部１１を制御してもよい。

【0093】

また、情報端末装置１の制御部１４は、情報端末装置１の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、情報端末装置１の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するようにデータ取得部１１を制御してもよい。

【0094】

＜実施形態３＞
次に、本システムの第３の実施形態について図１１を参照しつつ説明する。なお、以下では上記の実施形態と異なる構成についてのみ説明することとし、同一の構成については説明を省略して同一の符号を付すこととする。

【0095】

本実施形態では、前記情報端末装置１の制御部１４は、図１１に示すように、サーバ２の重要度決定部２４により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータをデータ取得部１１で優先的に取得するように情報端末装置１の移動を制御する。

【0096】

例えば、情報端末装置１がドローンであって、図４に示す実空間情報の場合、情報端末装置１が実空間情報を構成する重要度の高い要素に対応する地点および時刻に優先的に到達するように情報端末装置１の飛行移動（駆動部１５）を制御する。この重要度の高いセンサデータは、第１の実施形態と同様、送信部１３によりネットワークを介してサーバ２に送信され、サーバ２において将来の実空間情報の形成に用いられる。

【0097】

なお、本実施形態では、実空間情報の例として、時刻情報と地点情報の２次元の形式で配置される場合、実空間情報を構成する要素として交通量（車両台数）を挙げたが、この実空間情報に限定されるものではなく、例えば下記の実空間情報が考えられる。

【0098】

また、前記情報端末装置１の制御部１４は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータをデータ取得部１１で取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータをデータ取得部１１で優先的に取得するように情報端末装置１の移動を制御してもよい。

【0099】

また、前記情報端末装置１の制御部１４は、情報端末装置１の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部１１で取得する一方、情報端末装置１の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータをデータ取得部１１で優先的に取得するように情報端末装置１の移動を制御してもよい。

【0100】

（実空間情報例１）
実空間情報が、図４に示すように、時刻情報と地点情報の２次元の形式で配置される場合、下表１に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。

【0101】

【表1】

【0102】

（実空間情報例２）
実空間情報が、図１２に示すように、時刻情報と識別情報（ＩＤ）の２次元の形式で配置される場合、各人物の各時刻における地点を抽出すれば、各人物の将来の時刻における地点を予測することができる。なお、時刻情報と識別情報（ＩＤ）の２次元の形式で配置される場合、下表２に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。

【0103】

【表2】

【0104】

（実空間情報例３）
実空間情報が、図１３に示すように、経度情報と緯度情報の２次元の形式で配置される場合、例えば各地点の時刻ｔ－１で収集された空の雲の分布を抽出すれば、各地点の時刻ｔ+１の空の雲の分布を予測することができる。なお、経度情報と緯度情報の２次元の形式で配置される場合、下表３に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。

【0105】

【表3】

【0106】

（実空間情報例４）
実空間情報が、図１４に示すように、地点情報と複合的情報の２次元の形式で配置される場合、例えば各地点の時刻ｔ－１で収集された音声データからワードを抽出するとともに、収集された画像データからオブジェクトを抽出すれば、各地点における時刻ｔ+１の犯罪発生率を予測することが可能である。

【0107】

また、前記サーバ２の重要度決定部２４は、実空間情報の特徴モデルにおいて、実空間情報を構成する要素の特徴量の変化があるものを重要度の高い要素と決定したが、要素の特徴量がある閾値を超えた場合に重要度の高い要素と決定したり、また要素の重要度を具体的な数値をもって決定してもよい。

【0108】

また、実空間情報を構成する要素の重要度決定の方法については、上述の方法（特徴量選択）に限定されるものではなく、例えば、「ＬＳＴＭ（Long Short-Term Memory）」を用いた重要度決定、「ＣＮＮ（Convolutional Neural Network）」を用いた重要度決定、「Ｒａｎｄｏｍ Ｆｏｒｅｓｔ」を用いた重要度決定など、その他の方法を用いてもよい。

【0109】

上述のＬＳＴＭ、ＣＮＮ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ は一般に機械学習 (Machine Learning) に含まれる。これらを用いて重要度決定を行う場合、摂動 (Perturb) 方式という特徴選択方式 (Feature Selection) を用いて、実空間情報を構成する要素の重要度を数値として抽出することができる。他の特徴選択方式として、重み (Weights) 方式や不純度 (Impurity) 方式がある。重み方式はＬＳＴＭやＣＮＮなどニューラルネットワーク (Neural Network) 系の機械学習に適用可能であり、不純度方式はＲａｎｄｏｍ Ｆｏｒｅｓｔなど決定木 (Decision Tree) を用いた機械学習に適用可能である。なお、各方式の詳細は下記の文献に記載されている。

【0110】

（機械学習）
MLP：S. Marsland, Machine learning: an algorithmic perspective, Chapman and Hall/CRC, 2011.
LSTM：Y. Tian and L. Pan, Predicting short-term traffic flow by long short-term memory recurrent neural network, IEEE SmartCity, pp.153-158, 2015.
CNN：S. Ji, W. Xu, M. Yang, and K. Yu, 3D Convolutional Neural Networks for Human Action Recognition, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 35, no. 1, 2013, pp.221-231.
Random Forest:Z.-H. Zhou, ``Ensemble Methods: Foundations and Algorithms," 1st edition, Chapman & Hall/CRC, 2012.
（特徴選択）
PerturbおよびWeights：M. Gevrey, I. Dimopoulos, and S. Lek, Review and comparison of methods to study the contribution of variables in articial neural network models, Ecological modelling, vol. 160, no. 3, 2003, pp.249-264.
Impurity：L. Breiman, Classification and regression trees, Routledge, 2017.

【0111】

以上、図面を参照して本発明の実施形態を説明したが、本発明は、図示した実施形態のものに限定されない。図示された実施形態に対して、本発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

【符号の説明】

【0112】

１…情報端末装置
１１…データ取得部
１２…データ保持部
１３…送信部
１４…制御部
２…サーバコンピュータ
２１…受信部
２２…抽出部
２３…学習部
２４…重要度決定部
２５…形成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】