(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-29
(45)【発行日】2022-08-08
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20220801BHJP
G06F 16/587 20190101ALI20220801BHJP
G09B 29/00 20060101ALI20220801BHJP
【FI】
G06T1/00 285
G06F16/587
G09B29/00 A
(21)【出願番号】P 2019053501
(22)【出願日】2019-03-20
【審査請求日】2020-07-31
(73)【特許権者】
【識別番号】515039731
【氏名又は名称】株式会社アクセルスペース
(74)【代理人】
【識別番号】100114557
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】宮下 直己
(72)【発明者】
【氏名】太田 祥宏
(72)【発明者】
【氏名】金子 良太
(72)【発明者】
【氏名】ハミルトン ジェームス アレクサンダー
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開2012-038256(JP,A)
【文献】特開2009-157851(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06F 16/00-16/958
G09B 29/00
(57)【特許請求の範囲】
【請求項1】
宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を記憶する記憶部と、
前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力する出力部と、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付ける受付部と、
前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出する抽出部と
を備え、
前記利用対象とする領域の指定入力を受け付けた場合、前記出力部は、抽出した前記領域観測情報を前記地図画像の前記利用対象とする領域に重畳したプレビュー画像を前記端末装置に出力し、
前記受付部は、前記地図画像に重畳された前記領域観測情報の利用要求を前記端末装置から受け付け、
前記利用要求を受け付けた場合、前記出力部は、前記領域観測情報を前記端末装置のユーザが利用可能に出力する
ことを特徴とする情報処理装置。
【請求項2】
宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を記憶する記憶部と、
前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力する出力部と、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付ける受付部と、
前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出する抽出部と、
前記利用対象とする領域の決済処理を実行する実行部とを備え、
前記出力部は、前記決済処理を条件に、指定入力された前記領域観測情報を前記端末装置のユーザが利用可能に出力
し、
前記記憶部は、前記対象地域を複数の観測時点夫々において観測した複数の前記観測情報を記憶し、
前記受付部は、前記観測時点の指定入力を受け付け、
前記抽出部は、指定された前記観測時点に対応する前記観測情報から、前記複数の領域夫々に対応する前記領域観測情報を抽出し、
前記出力部は、前記端末装置からの要求に応じて、前記ユーザが利用可能な前記領域観測情報を重畳した前記地図画像を出力し、
前記受付部は、前記利用可能な領域観測情報に対応する前記観測時点から、別の前記観測時点に変更する指定入力を受け付け、
前記抽出部は、指定された前記別の観測時点に対応する前記観測情報から、前記利用可能な領域観測情報に対応する領域に係る前記領域観測情報を抽出し、
前記出力部は、抽出した前記領域観測情報を前記地図画像の対応する領域に重畳したプレビュー画像を前記端末装置に出力し、
前記受付部は、前記別の観測時点の前記領域観測情報の利用要求を前記端末装置から受け付ける
ことを特徴とする情報処理装置。
【請求項3】
前記記憶部は、前記対象地域を複数の観測時点夫々において観測した複数の前記観測情報を記憶し、
前記受付部は、前記観測時点の指定入力を受け付け、
前記抽出部は、指定された前記観測時点に対応する前記観測情報から、前記複数の領域夫々に対応する前記領域観測情報を抽出し、
前記実行部は、指定された領域数に応じた決済処理を実行する
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記記憶部は、前記対象地域を複数の観測時点夫々において観測した複数の前記観測情報を記憶し、
前記受付部は、前記観測時点の指定入力を受け付け、
前記抽出部は、指定された前記観測時点に対応する前記観測情報から、前記複数の領域夫々に対応する前記領域観測情報を抽出する
ことを特徴とする請求項
1に記載の情報処理装置。
【請求項5】
前記出力部は、前記端末装置からの要求に応じて、前記ユーザが利用可能な前記領域観測情報を重畳した前記地図画像を出力し、
前記受付部は、前記利用可能な領域観測情報に対応する前記観測時点から、別の前記観測時点に変更する指定入力を受け付け、
前記抽出部は、指定された前記別の観測時点に対応する前記観測情報から、前記利用可能な領域観測情報に対応する領域に係る前記領域観測情報を抽出し、
前記出力部は、抽出した前記領域観測情報を前記地図画像の対応する領域に重畳したプレビュー画像を前記端末装置に出力し、
前記受付部は、前記別の観測時点の前記領域観測情報の利用要求を前記端末装置から受け付ける
ことを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記受付部は、複数の前記観測時点を含む期間の指定入力を前記端末装置から受け付け、
前記抽出部は、指定された期間に含まれる前記複数の観測時点夫々に対応する複数の前記観測情報夫々から前記領域観測情報を抽出し、
前記出力部は、前記複数の観測時点夫々の前記領域観測情報を前記端末装置に出力する
ことを特徴とする請求項4又は5に記載の情報処理装置。
【請求項7】
前記受付部は、前記観測情報の観測時における前記複数の領域夫々での雲量、又は観測時において地表面から前記飛翔体に伸びる法線に対し、前記飛翔体から前記複数の領域夫々を結ぶ直線が成す角度に関する設定値の入力を受け付け、
前記設定値を満たす領域の前記領域観測情報と、前記設定値を満たさない領域の前記領域観測情報とを異なる態様で表示するプレビュー画像を出力する
ことを特徴とする請求項4~6のいずれか1項に記載の情報処理装置。
【請求項8】
宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を取得し、
前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力し、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付け、
前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出し、
前記利用対象とする領域の指定入力を受け付けた場合、抽出した前記領域観測情報を前記地図画像の前記利用対象とする領域に重畳したプレビュー画像を前記端末装置に出力し、
前記地図画像に重畳された前記領域観測情報の利用要求を前記端末装置から受け付け、 前記利用要求を受け付けた場合、前記領域観測情報を前記端末装置のユーザが利用可能に出力する
処理をコンピュータに実行させることを特徴とする情報処理方法。
【請求項9】
宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を記憶し、
前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力し、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付け、
前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出し、
前記利用対象とする領域の決済処理を実行し、
前記決済処理を条件に、指定入力された前記領域観測情報を前記端末装置のユーザが利用可能に出力
し、
前記対象地域を複数の観測時点夫々において観測した複数の前記観測情報を記憶し、
前記観測時点の指定入力を受け付け、
指定された前記観測時点に対応する前記観測情報から、前記複数の領域夫々に対応する前記領域観測情報を抽出し、
前記端末装置からの要求に応じて、前記ユーザが利用可能な前記領域観測情報を重畳した前記地図画像を出力し、
前記利用可能な領域観測情報に対応する前記観測時点から、別の前記観測時点に変更する指定入力を受け付け、
指定された前記別の観測時点に対応する前記観測情報から、前記利用可能な領域観測情報に対応する領域に係る前記領域観測情報を抽出し、
抽出した前記領域観測情報を前記地図画像の対応する領域に重畳したプレビュー画像を前記端末装置に出力し、
前記別の観測時点の前記領域観測情報の利用要求を前記端末装置から受け付ける
処理をコンピュータに実行させることを特徴とする情報処理方法。
【請求項10】
前記対象地域を複数の観測時点夫々において観測した複数の前記観測情報を記憶し、
前記観測時点の指定入力を受け付け、
指定された前記観測時点に対応する前記観測情報から、前記複数の領域夫々に対応する前記領域観測情報を抽出し、
指定された領域数に応じた決済処理を実行する
請求項9に記載の情報処理方法。
【請求項11】
宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を取得し、
前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力し、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付け、
前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出し、
前記利用対象とする領域の指定入力を受け付けた場合、抽出した前記領域観測情報を前記地図画像の前記利用対象とする領域に重畳したプレビュー画像を前記端末装置に出力し、
前記地図画像に重畳された前記領域観測情報の利用要求を前記端末装置から受け付け、 前記利用要求を受け付けた場合、前記領域観測情報を前記端末装置のユーザが利用可能に出力する
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項12】
宇宙空間を移動する飛翔体が観測した対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を表示部に表示し、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力をユーザから受け付け、
前記飛翔体が前記対象地域を観測した観測情報を管理する管理装置との間で通信を行い、前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報が前記地図画像の前記利用対象とする領域に重畳したプレビュー画像を取得し、
取得したプレビュー画像を、前記利用対象とする領域に重畳した前記地図画像に切り換えて表示し、
ユーザからの操作入力に従い、切換表示後の前記地図画像に重畳された前記領域観測情報の利用要求を前記管理装置に出力する
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項13】
宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を記憶する記憶部と、
前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力する出力部と、
前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付ける受付部と、
前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出する抽出部と、
前記利用対象とする領域の決済処理を実行する実行部とを備え、
前記出力部は、前記決済処理を条件に、指定入力された前記領域観測情報を前記端末装置のユーザが利用可能に出力し、
前記記憶部は、前記対象地域を複数の観測時点夫々において観測した複数の前記観測情報を記憶し、
前記受付部は、前記観測時点の指定入力を受け付け、
前記抽出部は、指定された前記観測時点に対応する前記観測情報から、前記複数の領域夫々に対応する前記領域観測情報を抽出し、
前記受付部は、前記観測情報の観測時における前記複数の領域夫々での雲量、又は観測時において地表面から前記飛翔体に伸びる法線に対し、前記飛翔体から前記複数の領域夫々を結ぶ直線が成す角度に関する設定値の入力を受け付け、
前記設定値を満たす領域の前記領域観測情報と、前記設定値を満たさない領域の前記領域観測情報とを異なる態様で表示するプレビュー画像を出力する
ことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
人工衛星から撮像された衛星画像を提供する種々のサービスがある。例えば特許文献1では、衛星画像の発注依頼を受け付けた場合に、購入希望領域を除く部分をマスキングしたマスク加工済み画像を生成して発注者端末に送信する衛星画像の選択操作支援方法等が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、衛星画像のように宇宙空間から観測したデータは一般的な写真等と比較してデータサイズが非常に大きく、観測データを入手したユーザにとって取り扱いが容易でないという問題があった。
【0005】
一つの側面では、取り扱いが容易な観測データを簡便に入手することができる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
一つの側面では、情報処理装置は、宇宙空間を移動する飛翔体から地球上の対象地域を観測した観測情報を記憶する記憶部と、前記対象地域に対応する地図画像であって、前記対象地域を複数の領域に分割する分割線を重畳した前記地図画像を端末装置に出力する出力部と、前記分割線によって区分された各領域のうち、利用対象とする領域を指定する指定入力を前記端末装置から受け付ける受付部と、前記観測情報の一部であって、指定された前記利用対象とする領域に対応する領域観測情報を抽出する抽出部とを備え、前記利用対象とする領域の指定入力を受け付けた場合、前記出力部は、抽出した前記領域観測情報を前記地図画像の前記利用対象とする領域に重畳したプレビュー画像を前記端末装置に出力し、前記受付部は、前記地図画像に重畳された前記領域観測情報の利用要求を前記端末装置から受け付け、前記利用要求を受け付けた場合、前記出力部は、前記領域観測情報を前記端末装置のユーザが利用可能に出力することを特徴とする。
【発明の効果】
【0007】
一つの側面では、取り扱いが容易な観測データを簡便に入手することができる。
【図面の簡単な説明】
【0008】
【
図1】衛星画像提供システムの構成例を示す模式図である。
【
図3】ユーザDB及び画像DBのレコードレイアウトの一例を示す説明図である。
【
図6】端末における表示画面の一例を示す説明図である。
【
図7】端末における表示画面の一例を示す説明図である。
【
図8】端末における表示画面の一例を示す説明図である。
【
図9】端末における表示画面の一例を示す説明図である。
【
図10】端末における表示画面の一例を示す説明図である。
【
図11】端末における表示画面の一例を示す説明図である。
【
図12】端末における表示画面の一例を示す説明図である。
【
図13】分類器生成処理の処理手順の一例を示すフローチャートである。
【
図14】対象物分類処理の処理手順の一例を示すフローチャートである。
【
図15】画像購入処理の処理手順の一例を示すフローチャートである。
【
図16】画像閲覧処理の処理手順の一例を示すフローチャートである。
【
図17】実施の形態2に係る表示画面の一例を示す説明図である。
【
図18】実施の形態2に係る表示画面の一例を示す説明図である。
【
図19】実施の形態2に係る画像購入処理の処理手順の一例を示すフローチャートである。
【
図20】実施の形態2に係る画像閲覧処理の処理手順の一例を示すフローチャートである。
【
図22】実施の形態3に係るサーバが実行する処理手順の一例を示すフローチャートである。
【
図24】実施の形態4に係るサーバが実行する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は、衛星画像提供システムの構成例を示す模式図である。本実施の形態では、ユーザが所望する衛星画像を購入(利用)可能な衛星画像提供システムについて説明する。衛星画像提供システムは、情報処理装置1、端末2、衛星3を含む。情報処理装置1及び端末2は、インターネット等のネットワークNを介して通信接続されている。
【0010】
情報処理装置1は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置1がサーバ装置であるものとし、簡潔のためサーバ1と読み替える。サーバ1は、人工衛星である衛星3から地表面を撮像した衛星画像を継続的に取得してデータベース上に管理する管理装置であり、衛星画像をユーザが購入するためのプラットフォームを提供する。なお、衛星画像は、画像内の各画素値に対して、地表面の対応する地点の位置情報(緯度及び経度の情報)が関連付けられた画像データである。本実施の形態では、重量が数十kgの小型の衛星3が数十機体制で地球上の所定の軌道に存在しており、サーバ1は、各衛星3から衛星画像を取得してデータベース上で管理している。サーバ1は、Webブラウザ上でユーザが購入を希望する衛星画像の地理的範囲(領域)及び撮像日時(撮像時点)の指定入力を受け付け、指定された範囲及び日時に対応する画像をデータベース上の衛星画像から抽出し、ユーザに提供する。
【0011】
なお、以下の説明では、可視光線や近赤外線などを衛星3が検知することで撮像した衛星画像(写真)をユーザに提供するものとして説明するが、本実施の形態はこれに限定されるものではない。例えば衛星3は、熱赤外線を検知する光学センサを備え、地表面から輻射(放射)により放出される赤外線を検知して得たデータを提供するようにしてもよい。また、衛星3は、光学センサではなく、地表面にマイクロ波(電波)を照射し、地表面から反射したマイクロ波を検知するマイクロ波センサ(例えば合成開口レーダ)を備え、マイクロ波センサで観測したデータを提供するようにしてもよい。このように、サーバ1は衛星3から地表面を観測した観測情報をユーザに提供可能であればよく、提供する観測情報は可視光に基づく画像に限定されない。
【0012】
また、以下の説明では人工衛星(衛星3)によって地表面を観測するものとするが、サーバ1は宇宙空間を移動する何らかの飛翔体で観測したデータをユーザに提供可能であればよく、当該飛翔体は人工衛星に限定されない。
【0013】
本実施の形態においてサーバ1は、衛星画像をユーザに提供する際に、機械学習によって生成された分類器を用いて衛星画像内の対象物(オブジェクト)を分類した分類結果を含む衛星画像のデータをユーザに提供する。具体的には後述するように、サーバ1は、地表面を被覆する被覆物(例えば地表を覆う雲、水、樹木、裸地等の別)を分類する被覆分類器、及び地表面に存在する特定の物体(例えば車両、船舶等の移動体)を分類する物体分類器を用いて、衛星画像内の被覆物と、衛星画像内の各領域に存在する移動体の数量とを示すメタデータを付加した衛星画像を提供する。
【0014】
端末2は、ユーザが操作する端末装置であり、例えばパーソナルコンピュータである。なお、端末2はスマートフォン、タブレット端末、その他の装置であってもよい。端末2は、ユーザからの操作入力に従ってサーバ1にアクセスし、衛星画像(後述する分割画像)の購入要求を行ってサーバ1からダウンロードし、ダウンロードした画像を表示する。
【0015】
なお、本実施の形態ではユーザに衛星画像を販売して衛星画像を端末2にダウンロードさせるものとして説明するが、例えばサブスクリプション形式で、ユーザとの間の契約に従って衛星画像を一定期間利用可能とするようにしてもよい。すなわち、サーバ1は、端末2からの利用要求に従って衛星画像をユーザが利用可能なように出力することができればよく、一つひとつの衛星画像をユーザに販売し、端末2にダウンロードさせる構成は必須ではない。
【0016】
図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムPを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
【0017】
補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP、その他のデータを記憶している。また、補助記憶部14は、ユーザDB141、画像DB142、被覆分類器143、及び物体分類器144を記憶している。ユーザDB141は、各ユーザの情報を格納したデータベースである。画像DB142は、衛星3から取得した衛星画像を格納したデータベースである。被覆分類器143は、機械学習によって生成された学習済みモデルであって、地表面を被覆する被覆物を分類する分類器である。物体分類器144は、同様に機械学習によって生成された学習済みモデルであって、地表面に存在する物体(移動体)を分類する分類器である。
【0018】
なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
【0019】
また、本実施の形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ1は、CD(Compact Disk)-ROM、DVD(Digital Versatile Disc)-ROM等の可搬型記憶媒体P1を読み取る読取部を備え、可搬型記憶媒体P1からプログラムPを読み取って実行するようにしても良い。あるいはサーバ1は、半導体メモリP2からプログラムPを読み込んでも良い。
【0020】
図3は、ユーザDB141及び画像DB142のレコードレイアウトの一例を示す説明図である。
ユーザDB141は、ユーザID列、氏名列、ユーザ情報列、購入画像列を含む。ユーザID列は、各ユーザを識別するためのユーザIDを記憶している。氏名列、ユーザ情報列、購入画像列はそれぞれ、ユーザIDと対応付けて、ユーザの氏名、ユーザに関するその他の情報、及びユーザが購入した画像の情報を記憶している。ユーザ情報列には、例えばユーザの本プラットフォーム上でのアカウント情報、画像購入時の決済に必要な情報、その他の情報が記憶されている。購入画像列には、例えば後述する分割画像を識別するためのIDを記憶されている。
【0021】
画像DB142は、画像ID列、日時列、衛星ID列、画像列、セルID列、セル領域列、オブジェクト列を含む。画像ID列は、衛星3から取得した衛星画像を識別するための画像IDを記憶している。日時列、衛星ID列、画像列、セルID列、セル領域列、オブジェクト列はそれぞれ、画像IDと対応付けて、衛星画像が撮像された日時、撮像した衛星3のID、及び撮像された衛星画像、後述する衛星画像を所定単位で分割したセル画像(分割画像)を識別するためのセルID、セル画像に相当する衛星画像内の領域の座標情報、及びセル画像に含まれる各オブジェクト(対象物)の分類結果を記憶している。
【0022】
図4は、被覆分類処理に関する説明図である。上述の如く、本実施の形態においてサーバ1は、機械学習によって生成した分類器を用いて、衛星画像内の対象物、具体的には被覆物及び移動体を分類する処理を行う。
図4では、被覆物及び移動体のうち、被覆物に係る処理内容を概念的に図示している。
図4に基づき、被覆分類処理の処理内容について説明する。
【0023】
例えばサーバ1は、深層学習により被覆物の特徴を学習する機械学習を行い、被覆分類器143を生成する。被覆分類器143は、例えばCNN(Convolution Neural Network)に係るニューラルネットワークであり、衛星画像(観測情報)の入力を受け付ける入力層と、衛星画像に含まれる被覆物の分類結果を出力する出力層と、衛星画像の特徴量を抽出する中間層とを有する。
【0024】
入力層は、衛星画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、衛星画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。被覆分類器143がCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、衛星画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、被覆物の分類結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、地表面を被覆する被覆物を分類する。
【0025】
なお、本実施の形態では被覆分類器143がCNNであるものとして説明するが、被覆分類器143はCNNに限定されず、CNN以外のニューラルネットワーク、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってもよい。
【0026】
サーバ1は、衛星3から地表面を撮像した複数の衛星画像と、各衛星画像から被覆物を分類した場合の分類結果の正解値とが対応付けられた教師データを用いて学習を行う。サーバ1は、教師データに含まれる衛星画像を入力層に入力し、中間層での演算処理を経て、出力層から被覆物の分類結果を示す出力値を取得する。なお、出力値は離散的な値(例えば「0」又は「1」の値)であってもよく、連続的な確率値(例えば「0」から「1」までの範囲の値)であってもよい。
【0027】
なお、衛星3が撮像する衛星画像はデータサイズが非常に大きいため、サーバ1は被覆分類器143に入力する画像データとして、衛星画像そのもの(生データ)ではなく、衛星画像を所定単位で分割した画像(例えば後述するセル画像)単位で入力し、分類を行う。これにより、一つひとつの画像の処理に要する演算負荷を低減し、好適に分類処理を行う。
【0028】
サーバ1は、出力層からの出力値を、教師データにおいて衛星画像に対しラベリングされた情報、すなわち正解値と比較し、出力値が正解値に近似するように中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み(結合係数)、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ1は誤差逆伝播法を用いて各種パラメータの最適化を行う。サーバ1は、教師データに含まれる各衛星画像について上記の処理を行い、被覆分類器143を生成する。
【0029】
例えばサーバ1は、CNNの一種であるセマンティックセグメンテーションに係る被覆分類器143を生成する。セマンティックセグメンテーションは、画像内の各画素がいずれのオブジェクト(対象物)を表す画素であるか、画素単位のクラス判定を行う手法である。この場合、例えば教師データとして、衛星画像内の各種被覆物に対応する画像領域に対し、被覆物の種類を示す情報(正解値)がラベリングされたデータが用いられる。サーバ1は、教師データに含まれる衛星画像を被覆分類器143に入力して画素単位で被覆物の分類結果を示す出力値を取得し、正解値と比較してパラメータの最適化を行うことで、各画素がいずれの被覆物を表すか、画素単位で分類可能な被覆分類器143を生成する。
【0030】
衛星3から衛星画像を取得した場合、サーバ1は被覆分類器143を用いて被覆物の分類を行う。被覆物は、地表面を被覆する所定のオブジェクトであって、例えば雲、森林、裸地、畑地、水域、氷雪、人工物などに分類される。なお、これらの分類は例示であって、被覆物は上記に限定されない。サーバ1は、衛星画像を所定単位の画像に分割して被覆分類器143の入力層に入力し、中間層において画像特徴量を抽出する演算を行い、抽出した特徴量を出力層に入力する。サーバ1は出力層から、各画素がいずれの被覆物を表すか、画素単位での分類結果を出力値として取得する。
【0031】
なお、本実施の形態ではサーバ1が教師あり学習によって被覆分類器143を生成するものとして説明するが、半教師あり学習、あるいは教師なし学習によって被覆分類器143を生成するようにしてもよい。後述の物体分類器144についても同様である。
【0032】
図5は、物体分類処理に関する説明図である。
図5では、物体分類器144を用いて、衛星画像に含まれる特定の物体、具体的には移動体(例えば車両、船舶等)の数量を計測する様子を概念的に図示している。
図5に基づき、物体分類処理の処理内容について説明する。
【0033】
物体分類器144は、上記の被覆分類器143と同じく深層学習によって生成されるニューラルネットワークであって、CNNに係るニューラルネットワークである。被覆分類器143と同様に、物体分類器144は入力層、中間層、及び出力層を有し、衛星画像の入力を受け付けて、衛星画像内の移動体を分類した分類結果を出力する。
【0034】
サーバ1は、教師用の複数の衛星画像それぞれに対し、各衛星画像から移動体を分類した際の分類結果の正解値が対応付けられた教師データを用いて学習を行う。被覆分類器143の学習時と同様に、サーバ1は、教師データに含まれる各衛星画像を所定単位で分割して物体分類器144に入力し、移動体の分類結果を出力値として取得する。サーバ1は、出力値を正解値と比較して重み等のパラメータを最適化し、物体分類器144を生成する。
【0035】
例えばサーバ1は、教師データとして、衛星画像内に存在する各移動体に対応する座標点(プロット)に対し、移動体の種類を示す正解値がラベリングされたデータを用いて学習を行う。衛星画像は解像度が低く、個々の移動体の形状や色といった特徴量を抽出して物体検出を行うことが難しい場合が多い。そこでサーバ1は、教師データにおいてプロットされた移動体の座標点を元に、画像内の所定の各単位領域(
図5右下の矩形枠参照)の特徴量と、各領域に存在する移動体の数量(プロット数)とを学習することで、個々の移動体を検出(認識)することなく、移動体の数量を直接的に推定する物体分類器144を生成する。これにより、解像度が低い場合であっても移動体の数量を精度良く推定可能となる。
【0036】
なお、衛星画像の解像度によっては、物体分類器144において個々の移動体の検出を行い、移動体の数量を計測するようにしてもよい。すなわち、物体分類器144は移動体の数量を推定可能であればよく、そのアルゴリズムは特に限定されない。
【0037】
サーバ1は、衛星3が撮像した衛星画像を物体分類器144に入力し、衛星画像に含まれる移動体を分類した分類結果であって、移動体の数量を示す分類結果を出力値として取得する。例えば
図5右下に示すように、サーバ1は、画像内の領域毎に、移動体の数量を推定した推定結果を取得する。
【0038】
ここでサーバ1は、物体分類器144に衛星画像を入力する場合に、被覆分類器143による被覆物の分類結果に応じて、衛星画像内の画像領域を絞り込んで入力する。これによってサーバ1は、物体分類器144を用いた演算処理の負荷を低減する。
【0039】
例えば分類対象とする移動体が船舶である場合、分析対象として考慮すべき画像領域は、海、河川などの水域であると考えられる。そこでサーバ1は、船舶について分類を行う場合、被覆物の分類結果を参照して水域に対応する画像領域を特定し、特定した画像領域を物体分類器144に入力する。これによってサーバ1は、
図5右下に示すように、水域に存在する船舶の数量を示す分類結果を出力値として取得する。
【0040】
なお、船舶、車両等の移動体は物体分類器144を用いて分類する物体の例示であって、当該物体は一定の位置に存在する固定物であってもよい。
【0041】
上述の如く、サーバ1は被覆分類器143及び物体分類器144を用いて、衛星画像から被覆物及び移動体を分類する処理を行う。サーバ1は、複数の衛星3、3、3…から、各撮像時点(観測時点)において各対象地域を撮像した衛星画像を順次取得し、分類を行う。サーバ1は、各衛星画像と、衛星画像の分類結果とを撮像時点及び対象地域と対応付けて画像DB142に記憶する。
【0042】
図6~
図12は、端末2における表示画面の一例を示す説明図である。
図6~
図12に基づき、本実施の形態の概要について説明する。
本実施の形態においてサーバ1は、各衛星3から取得した衛星画像をユーザに販売するプラットフォームを提供する。
図6には、本プラットフォームに係るWebブラウザ画面の画面例であって、端末2が表示する表示画面の一例を図示してある。サーバ1は、当該画面上での操作入力に基づいて、被覆分類器143及び物体分類器144を用いた分類結果付きの衛星画像をユーザに提供する。
【0043】
例えば端末2は、不図示の画面における操作入力に基づいて、購入対象とする対象地域の検索を行い、
図6に示す画面を表示する。具体的には
図6に示すように、端末2は、対象地域を示す地図画像を表示する。
【0044】
端末2は地図画像上に、所定の行幅及び列幅で対象地域を複数の領域に区分するグリッド線41(分割線)を重畳して表示する。グリッド線41で区分される幅(距離)は特に限定されないが、本実施の形態では5km四方の幅に設定されている。
【0045】
なお、本実施の形態ではグリッド線41が緯度及び経度に準じて南北方向及び東西方向に沿って設定され、地図画像が矩形状に区分されているが、グリッド線41の引き方(方向)は特に限定されない。また、ユーザが任意に分割線を設定し、任意の領域を購入対象地域として設定可能としてもよい。
【0046】
また、グリッド線41は対象地域を複数の領域に分割する際の目安であり、後述するセル画像は、グリッド線41で区切られた地図画像上の領域と完全に一致せずともよい。例えば隣り合うセル画像は、相互に一部重複していてもよい。
【0047】
端末2は、グリッド線41で分割された各領域から、購入対象(利用対象)とする複数の領域を指定する指定入力を受け付ける。例えば端末2は、画面上でのドラッグ操作、クリック操作等によって複数の領域の指定入力を受け付ける。購入対象とする領域の指定入力を受け付けた場合、端末2はサーバ1との間で通信を行い、
図7に示す画面に遷移する。
【0048】
端末2において購入対象とする領域の指定入力を受け付けた場合、サーバ1は、指定された領域を含む衛星画像を画像DB142から検索する。そしてサーバ1は、検索した衛星画像から、地図画像上で指定された領域に対応する画像領域を切り出したセル画像(領域観測情報)を抽出する。サーバ1は、抽出したセル画像を端末2に出力し、表示させる。
【0049】
具体的には
図7に示すように、サーバ1は、地図画像上の対応する各領域に、対象地域の衛星画像(観測情報)から抽出した各セル画像51を重畳したプレビュー画像を表示させる。なお、本明細書の図面では作図の便宜上、衛星画像(写真)が表示される領域にハッチングを付して図示する。
図7のプレビュー画像の表示時点では、サーバ1はまず、対象地域を過去の各時点で撮像した複数の衛星画像のうち、最新の撮像時点(観測時点)での衛星画像から抽出したセル画像51を表示させる。地図画像上に購入対象のセル画像51を重畳して表示することで、ユーザはどの地点の画像であるか、プレビューを確認する際に容易に把握することができる。
【0050】
ここで端末2は、プレビュー画像上の所定箇所に、雲量及びオフナディア角(撮像角度)について絞り込みを行うための雲量設定欄52及び角度設定欄53を表示する。端末2は、各設定欄において雲量及び/又はオフナディア角に関する設定値の入力を受け付け、設定値を満たすか否かに応じてセル画像51の表示態様を切り換える。
【0051】
雲量は、衛星画像の撮像範囲(観測範囲)に占める雲の面積割合である。ユーザが衛星画像(セル画像51)を購入した場合に、当該画像内の雲量が多く、地表面がほとんど確認できない場合、ユーザにとって有用なものとは言い難い。そこで本実施の形態では、プレビュー時に雲量に応じた絞り込みを可能とする。例えば端末2は雲量設定欄52を介して、撮像時点(観測時点)における各セル画像51の領域での雲量の上限値を設定する設定入力を受け付ける。これにより端末2は、セル画像51の絞り込みを行う。
【0052】
オフナディア角は、衛星3が対象地域(各セル画像51の領域)を撮像した際の撮像角度であって、撮像時点(観測時点)において衛星3及び地表面を結ぶ法線と、衛星3及び対象地域(領域)を結ぶ直線とが成す角度である。なお、「オフナディア角」は本来、合成開口レーダにおけるマイクロ波の照射角度を指すが、本実施の形態では便宜上、衛星3から対象地域を撮像した際の撮像角度を意味するものとして用いる。
【0053】
オフナディア角が大きい場合、衛星画像(セル画像51)は、対象地域を真上からではなく斜めから撮像した画像となる。従って、例えばユーザが建築物を真上から撮像した画像を所望しているにも関わらず、建築物を斜めから撮像した画像を購入することになる。そこで本実施の形態では、プレビュー時にオフナディア角に応じた絞り込みを可能とする。
【0054】
例えばサーバ1は、衛星3及び地表面を結ぶ法線と、衛星3、及び各セル画像51の領域の中心点を結ぶ直線とがなす角度を、各セル画像51に係るオフナディア角として計算する。端末2は角度設定欄53を介して、撮像時点におけるオフナディア角の上限値を設定する設定入力を受け付ける。端末2は、上記で設定された雲量及び/又はオフナディア角の上限値に応じて、上限値以下のセル画像51と、上限値を超過するセル画像51とを異なる態様で表示する。例えば端末2は、上限値を超過するセル画像51を、上限値以下のセル画像51よりも暗くなるように暗色表示させる。なお、
図7では便宜上、暗色表示を行っている様子をハッチングの濃淡で図示してある。上記の表示切換により、ユーザは雲量及び/又はオフナディア角が所望の条件を満たす衛星画像(セル画像51)を購入可能となる。
【0055】
また、端末2は
図7の画面上で、購入対象とするセル画像51を、最新時点の画像から過去の別時点の画像に変更する指定入力を受け付ける。例えば端末2は、画像DB142に格納されている各衛星画像の撮像時点であって、対象地域を撮像した各衛星画像の撮像時点を画面右の操作メニューに一覧表示する。端末2は操作メニューを介して、過去の任意の撮像時点を指定する指定入力を受け付ける。
【0056】
別時点が指定された場合、端末2はサーバ1にアクセスし、指定された撮像時点の衛星画像から、ユーザが指定した各領域を抽出したセル画像51を取得する。端末2は、地図画像上に重畳表示しているセル画像51を、新たに取得したセル画像51に切り換えて表示する。さらに別時点への変更が指定された場合、端末2は指定された時点に切り換えて表示する。上記の処理を繰り返すことにより、ユーザは過去の各時点で撮像された画像を簡単に切り換えながら確認し、購入する画像を選択することができる。
【0057】
セル画像51を購入する場合、端末2はユーザからの操作入力に従い、セル画像51をカートに登録する。カートは、購入するセル画像51を仮登録しておくリストである。例えば端末2は、表示中のセル画像51に対するクリック操作を受け付け、操作されたセル画像51をカートに登録する。
【0058】
図8に、カート登録後の表示画面の一例を図示する。セル画像51がカートに登録された場合、端末2は、登録されたセル画像51にアイコン54を付して表示する。アイコン54を表示することで、ユーザは表示中のセル画像51がカートに登録済みであることを容易に把握することができる。また、端末2は操作メニューにおいて、表示中のセル画像51の撮像時点(日時)と対応付けてドットマーク55を表示すると共に、セル画像51がカートに登録された場合、カートに登録されたセル画像51の数量(枚数)に応じた長さのバー56を表示する。これによりユーザは、どの時点、どの程度の数量のセル画像51をカートに登録したか、容易に把握することができる。
【0059】
セル画像51の購入申込に進む場合、端末2は購入申込画面に遷移する。
図9に、購入申込時の表示画面の一例を図示する。
図9に示すように、端末2はカートに登録されているセル画像51をサムネイルで一覧表示すると共に、購入量等(不図示)を表示する。
【0060】
この場合に端末2は、購入対象のセル画像51について、ユーザが分類対象として所望する対象物の指定入力を受け付ける。例えば端末2は、
図9右下に示すように、対象とする被覆物及び移動体の種類について、指定入力を受け付ける。
【0061】
端末2は、ユーザからの操作入力に応じて、対象物の指定内容を含むセル画像51の購入要求(利用要求)をサーバ1に送信する。端末2から購入要求を受け付けた場合、サーバ1は、購入されるセル画像51の数量等に応じた購入額を決済する処理を行う。なお、例えばサーバ1は、上記で指定された対象物の種類数などに応じて、購入額を変動させてもよい。
【0062】
購入処理が完了後、サーバ1は、購入されたセル画像51を端末2に出力し、ダウンロードさせる。この場合にサーバ1は、ユーザが指定した対象物の分類結果を含むセル画像51のデータを端末2に出力する。例えばサーバ1は、対象物の分類結果を示すメタデータをセル画像51に付加した画像データを端末2に出力する。これによりユーザは、単に衛星画像の提供を受けるだけでなく、衛星画像を分析したデータも含めて提供を受けることができる。
【0063】
なお、本実施の形態では衛星画像に対象物の分類結果(メタデータ)を付加して提供するものとするが、本実施の形態はこれに限定されるものではなく、画像内の対象物の位置や範囲が分かるように、画像自体を加工したデータを提供してもよい。例えばサーバ1は、後述する色分け表示のように、対象とする被覆物の領域を色分けした衛星画像(セル画像51)を生成して端末2に出力してもよい。このように、サーバ1は対象物の分類結果を含む衛星画像を出力可能であればよく、出力する画像データの態様は特に限定されない。
【0064】
図10に、購入済みのセル画像51を閲覧する際の表示画面の一例を図示する。本実施の形態では、サーバ1は、購入時と同一のプラットフォーム(Webブラウザ画面)上で、購入済みのセル画像51、すなわちユーザが利用可能なセル画像51を閲覧可能とする。
【0065】
端末2は不図示の画面で、サーバ1からダウンロードしてあるセル画像51のうち、閲覧対象とするセル画像51の選択入力を受け付ける。端末2は、選択されたセル画像51を表示する。この場合に端末2は、選択されたセル画像51を、地図画像上の対応する領域に重畳して表示する。
【0066】
具体的には、端末2は、地図画像上にセル画像51を重畳表示すると共に、操作メニューにおいて、表示中のセル画像51に対応する撮像時点にドットマーク55を付して表示する。上記の表示により、ユーザはどの地点、どの時点の画像であるか、購入時と同様に容易に把握することができる。
【0067】
次に、購入済みのセル画像51に含まれる対象物の分類結果を閲覧する際の処理内容について説明する。
図11に、分類結果の表示画面の一例を図示する。例えば端末2は、
図11の地図画像に重畳されたセル画像51からいずれかを指定する指定入力を受け付けた場合、指定されたセル画像51に関する対象物の分類結果を表示する。
【0068】
図11Aでは被覆物に関する表示画面例を、
図11Bでは移動体に関する表示画面例を図示してある。例えば
図11Aに示すように、被覆物に関する分類結果を表示する場合、端末2は、ユーザが指定した被覆物に対応する画像領域を、その他の画像領域と表示態様を異ならせて表示する。例えば端末2は、ユーザが指定した被覆物に対応する画素を色分け等の手段で強調表示する。
【0069】
また、例えば
図11Bに示すように、移動体に関する分類結果を表示する場合、端末2は、セル画像51の中で、対象とする移動体が一以上存在する領域を矩形枠で表示すると共に、当該領域に存在する移動体の数量をグラフ表示する。
【0070】
次に、セル画像51の追加購入を受け付ける際の処理内容について説明する。端末2は、
図10で図示した表示画面から、別時点のセル画像51の追加購入を受け付ける。例えば端末2は、操作メニューから別時点を指定する指定入力を受け付ける。別時点が指定された場合、端末2はサーバ1にアクセスし、指定された時点の衛星画像に係るセル画像51であって、表示中のセル画像51と同一領域のセル画像51を出力するよう要求する。サーバ1からセル画像51を取得した場合、端末2は、取得したセル画像51のプレビューに切り換えて表示する。
【0071】
図12に、切換後の画面例を図示する。端末2は、実施の形態1と同様に、地図画像上にセル画像51を重畳表示する。端末2は、雲量設定欄52及び角度設定欄53を介して雲量及びオフナディア角の設定入力を受け付けると共に、当該画面上でカートへの登録操作を受け付け、購入申込へと進む。カートへの登録処理、セル画像51の購入処理等は上記と同様であるため、詳細な説明は省略する。
【0072】
上述の如く、ユーザは地図画像上で購入対象とするセル画像51の地理的範囲(領域)、撮像時点等の指定を簡単な操作で行うことができる。また、衛星3から取得した生の画像データ、すなわち非常にデータサイズが大きい衛星画像(観測情報)から任意の領域のセル画像51(領域観測情報)が切り出して提供され、ユーザとしてはデータサイズが小さく取扱いが容易な画像を入手することができる。以上より、本実施の形態によれば、取扱いが容易な衛星画像を簡便に入手することができる。
【0073】
また、本実施の形態によれば、ユーザは所望の対象物の分類結果を含むセル画像51を取得することができる。これにより、例えば土地の状況や交通量の把握など、種々の用途に衛星画像を活用することができる。
【0074】
図13は、分類器生成処理の処理手順の一例を示すフローチャートである。
図13に基づき、機械学習を行って被覆分類器143及び物体分類器144を生成する処理の内容について説明する。
サーバ1の制御部11は、衛星画像に対して、衛星画像内に含まれる各対象物を分類した際の分類結果の正解値を対応付けた教師データを取得する(ステップS11)。上述の如く、分類対象とする対象物は、地表面を被覆する被覆物、地表面に存在する物体(例えば移動体)などある。制御部11は、衛星画像に対して各種オブジェクトの情報(正解値)がラベリングされた教師データを取得する。
【0075】
制御部11は教師データを用いて、衛星画像を入力した場合に、衛星画像内の被覆物を分類した分類結果を出力する被覆分類器143を生成する(ステップS12)。すなわち制御部11は、教師データに含まれる衛星画像を被覆分類器143に入力し、被覆物を分類した分類結果を出力として取得する。制御部11は、取得した分類結果を正解値と比較し、出力される分類結果が正解値に近似するように、ニューロン間の重み等のパラメータを最適化する。
【0076】
さらに制御部11は、教師データを用いて、衛星画像を入力した場合に衛星画像内の物体を分類した分類結果を出力する物体分類器144を生成する(ステップS13)。具体的には、制御部11は、教師データに含まれる衛星画像を物体分類器144に入力し、衛星画像内の各領域に存在する物体数を推定した推定結果(分類結果)を取得する。制御部11は、取得した推定結果を正解値と比較し、出力される推定結果が正解値に近似するように、ニューロン間の重み等のパラメータを最適化する。制御部11は、一連の処理を終了する。
【0077】
図14は、対象物分類処理の処理手順の一例を示すフローチャートである。
図14に基づき、被覆分類器143及び物体分類器144を用いて、衛星画像に含まれる各種対象物を分類する処理の内容について説明する。
サーバ1の制御部11は、衛星3が対象地域を撮像した衛星画像を取得する(ステップS31)。制御部11は、取得した衛星画像を、対象地域を区分した複数の領域それぞれに対応するセル画像51、51、51…に分割する(ステップS32)。
【0078】
制御部11は、セル画像51を被覆分類器143に入力して、セル画像51内の被覆物を分類する(ステップS33)。例えば制御部11は、セル画像51内の各画素値に対応する被覆物の種類を示す分類結果を被覆分類器143から取得する。
【0079】
制御部11は、ステップS33で取得した分類結果に応じて、各種被覆物に対応する画像領域をセル画像51から抽出する(ステップS34)。制御部11は、抽出した画像領域を物体分類器144に入力し、当該画像領域に含まれる特定の物体の数量を示す分類結果を物体分類器144から取得する(ステップS35)。
【0080】
制御部11は、ステップS31で取得した衛星画像と、ステップS33、S35で取得した各セル画像51に係る対象物の分類結果とを対応付けて画像DB142に記憶する(ステップS36)。制御部11は、一連の処理を終了する。
【0081】
図15は、画像購入処理の処理手順の一例を示すフローチャートである。
図15に基づき、サーバ1が実行する処理内容について説明する。
サーバ1の制御部11は、端末2から、地図画像を表示する対象地域の指定入力を受け付ける(ステップS51)。制御部11は、指定された地域の地図画像を端末2に出力し、表示させる(ステップS52)。具体的には上述の如く、制御部11は、対象地域を複数の領域に区分するためのグリッド線41(分割線)を重畳した地図画像を表示させる。
【0082】
制御部11は端末2から、グリッド線41で区分される地図画像上の各領域のうち、複数の領域を指定する指定入力を受け付ける(ステップS53)。制御部11は、指定された領域に対応するセル画像51(領域観測情報)を対象地域の衛星画像(観測情報)から抽出し、抽出したセル画像51を地図画像の対応する各領域に重畳したプレビュー画像を端末2に出力して表示させる(ステップS54)。ステップS54においては、制御部11は対象地域の衛星画像のうち、最新の撮像時点の衛星画像からセル画像51を抽出して地図画像に重畳する。
【0083】
制御部11は端末2から、撮像時点を別の時点に変更する指定入力を受け付けたか否かを判定する(ステップS55)。撮像時点の指定入力を受け付けたと判定した場合(S55:YES)、制御部11は、指定された撮像時点の衛星画像からセル画像51を抽出して端末2に出力し、地図画像上のセル画像51を切り換えて表示させる(ステップS56)。
【0084】
ステップS56の処理を実行後、又はステップS55でNOの場合、制御部11は端末2から、各セル画像51における雲量及び/又はオフナディア角に関する設定値の入力を受け付けたか否かを判定する(ステップS57)。例えば制御部11は、雲量及び/又はオフナディア角の上限値の設定入力を受け付ける。雲量及び/又はオフナディア角に関する設定値の入力を受け付けたと判定した場合(S57:YES)、制御部11は、設定値を満たすセル画像51と、設定値を満たさないセル画像51とを異なる態様で表示するように、各セル画像51の表示を切り換えさせる(ステップS58)。
【0085】
ステップS58の処理を実行後、又はステップS57でNOの場合、制御部11は端末2から、セル画像51をカート(購入候補リスト)に登録する登録操作を受け付ける(ステップS59)。そして制御部11は、カートに登録されたセル画像51の購入要求(利用要求)を受け付けたか否かを判定する(ステップS60)。購入要求を受け付けていないと判定した場合(S60:NO)、制御部11は処理をステップS55に戻す。
【0086】
購入要求を受け付けたと判定した場合(S60:YES)、制御部11は、ユーザが分類対象として所望する対象物の指定入力を受け付ける(ステップS61)。ステップS61で指定される対象物は、上述の如く、被覆物の種類、あるいは物体(移動体)の種類などである。制御部11は画像DB142を参照して、購入要求を受け付けた各セル画像51について、対象物の分類結果を示すデータを付加したセル画像51を端末2に出力し、ダウンロードさせる(ステップS62)。制御部11は、一連の処理を終了する。
【0087】
図16は、画像閲覧処理の処理手順の一例を示すフローチャートである。
図16に基づき、購入済みの衛星画像を閲覧する際の処理内容について説明する。
サーバ1の制御部11は、端末2から、購入済みのセル画像51、すなわちユーザが利用可能なセル画像51を指定する指定入力を受け付ける(ステップS71)。制御部11は、指定されたセル画像51を、地図上の対応する領域に重畳した地図画像を生成して端末2に表示させる(ステップS72)。
【0088】
制御部11は端末2から、対象物に関する分類結果を表示するセル画像51の指定入力を受け付けたか否かを判定する(ステップS73)。指定入力を受け付けたと判定した場合(S73:YES)、制御部11は、指定されたセル画像51に含まれる対象物の分類結果であって、購入時にユーザが指定した対象物の分類結果を示すセル画像51を端末2に表示させる(ステップS74)。例えば被覆物を対象とする場合、制御部11は、各被覆物に対応する画像領域(画素)を色分け等の手段で表示態様を異ならせたセル画像51を表示させる。また、例えば物体の数量を対象とする場合、制御部11は、各画像領域に存在する物体の数量をグラフ等の手段で示すセル画像51を表示させる。
【0089】
ステップS74の処理を実行後、又はステップS73でNOの場合、制御部11は端末2から、セル画像51の撮像時点を別時点に切り換える指定入力を受け付けたか否かを判定する(ステップS75)。撮像時点の指定入力を受け付けたと判定した場合(S75:YES)、制御部11は、指定された時点のセル画像51に切り換えて表示させる(ステップS76)。ステップS76の処理を実行後、又はステップS75でNOの場合、制御部11は、雲量及び/又はオフナディア角に関する設定値の入力を受け付けたか否かを判定する(ステップS77)。雲量及び/又はオフナディア角に関する設定値の入力を受け付けたと判定した場合(S77:YES)、制御部11は、設定値を満たすセル画像51と、設定値を満たさないセル画像51とを異なる態様で表示するように、各セル画像51の表示を切り換えさせる(ステップS78)。
【0090】
ステップS78の処理を実行後、又はステップS77でNOの場合、制御部11は、セル画像51の購入要求を端末2から受け付けたか否かを判定する(ステップS79)。購入要求を受け付けていないと判定した場合(S79:NO)、制御部11は処理をステップS73に戻す。購入要求を受け付けたと判定した場合(S79:YES)、制御部11は、ユーザが分類対象として所望する対象物の指定入力を受け付ける(ステップS80)。制御部11は、指定された対象物の分類結果を含むセル画像51を端末2に出力してダウンロードさせ(ステップS81)、一連の処理を終了する。
【0091】
以上より、本実施の形態1によれば、取扱いが容易な衛星画像(観測情報)を簡便に入手することができる。
【0092】
また、本実施の形態1によれば、ユーザが指定した領域のセル画像51を地図画像上でプレビュー表示することで、購入(利用)対象とするセル画像51がどの地点の画像であるか、容易に把握することができる。
【0093】
また、本実施の形態1によれば、画像DB142に保存されている過去の各時点の衛星画像のうち、任意の時点の衛星画像を購入(利用)することができる。
【0094】
また、本実施の形態1によれば、購入済みのセル画像51を簡単に閲覧することができると共に、セル画像51の追加購入も簡単に行うことができる。
【0095】
また、本実施の形態1によれば、雲量及び/又はオフナディア角に応じたセル画像51の絞り込みを行い、所望のセル画像51を簡単に入手することができる。
【0096】
また、本実施の形態1によれば、機械学習によって構築された分類器を用いて、衛星画像から所望の対象物を抽出して提供(提示)することができる。
【0097】
また、本実施の形態1によれば、被覆分類器143を用いた被覆分類を行うことで、対象地域を被覆する被覆物の情報をユーザに提供することができる。
【0098】
また、本実施の形態1によれば、物体分類器144を用いて、衛星画像に含まれる特定の物体(例えば移動体)の数量に関する情報をユーザに提供することができる。特に本実施の形態では、被覆分類器143による被覆物の分類結果を用いて入力対象とする画像領域を絞ることで、処理負荷を低減することができる。
【0099】
(実施の形態2)
本実施の形態では、ユーザが指定した期間の衛星画像を一括購入する形態について説明する。
図17及び
図18は、実施の形態2に係る表示画面の一例を示す説明図である。
図17及び
図18に基づき、本実施の形態の概要について説明する。
【0100】
図17では、ユーザが地図画像から購入対象とする複数の領域を指定する際の表示画面例を図示している。購入対象とする複数の領域が指定された場合、例えば端末2は画面右側に操作メニューを表示し、撮像期間を指定してセル画像51を一括購入するか否か、操作入力を受け付ける。操作メニュー上で撮像期間の指定入力を受け付けた場合、端末2は、指定された期間に含まれる複数の撮像時点それぞれで撮像された各衛星画像から、指定された複数の領域それぞれに対応する画像領域を抽出した各セル画像51をカートに登録する。なお、カート登録前にプレビュー表示を行ってもよいことは勿論である。
【0101】
各撮像時点に係るセル画像51がカートに登録された場合、端末2はユーザによる操作入力に従って購入申込に移り、サーバ1にアクセスして購入処理を行う。この場合、端末2は実施の形態1と同じく、分類対象とする対象物の指定入力を受け付け、指定内容を含むセル画像51の購入要求をサーバ1に送信する。端末2から購入要求を受け付けた場合、サーバ1は、各撮像時点のセル画像51、51、51…から成る画像群(観測情報群)であって、各セル画像51に対し、指定された対象物の分類結果が付加された画像群を端末2に出力してダウンロードさせる。上記の処理によってユーザは任意の期間のセル画像51を一括購入することができ、利便性を向上することができる。
【0102】
図18では、購入済みのセル画像51に係る対象物の分類結果を表示する際の表示画面例を図示している。例えば端末2は、実施の形態1と同じく
図10の表示画面でセル画像51の指定入力を受け付けた場合、指定されたセル画像51に係る対象物の分類結果を表示する。この場合に端末2は、指定されたセル画像51を含む画像群であって、指定されたセル画像51と同一の領域で撮像時点が異なる複数のセル画像51から成る画像群を時系列で表示する。例えば端末2は、複数の撮像時点それぞれのセル画像51を時系列通りにコマ送りで動画再生する。
【0103】
この場合に端末2は、各撮像時点のセル画像51それぞれにおいて被覆物の色分け表示、移動体の数量のグラフ表示等を行う。これにより端末2は、被覆物や移動体など、対象物の時系列変化が表示される。以上より、ユーザはセル画像51の一括購入を可能になるだけでなく、指定した対象物の状態、状況がどのように変化しているかを把握可能となる。
【0104】
図19は、実施の形態2に係る画像購入処理の処理手順の一例を示すフローチャートである。
地図画像上の複数の領域を指定する指定入力を受け付けた後(ステップS53)、サーバ1の制御部11は以下の処理を実行する。制御部11は端末2から、指定された領域に対応するセル画像51について、購入対象とする撮像期間の指定入力を受け付けたか否かを判定する(ステップS201)。期間の指定入力を受け付けていないと判定した場合、(S201:NO)、制御部11は処理をステップS54に移行する。
【0105】
期間の指定入力を受け付けたと判定した場合(S201:YES)、制御部11は、指定された期間に含まれる複数の撮像時点それぞれで撮像されたセル画像51から成る画像群であって、ステップS53で指定された領域に対応する画像群をユーザのカートに登録する(ステップS202)。制御部11は端末2から、カートに登録したセル画像51の購入要求を受け付けたか否かを判定する(ステップS203)。購入要求を受け付けていないと判定した場合(S203:NO)、制御部11は処理をステップS201に戻す。購入要求を受け付けたと判定した場合(S203:YES)、制御部11は処理をステップS60に移行する。
【0106】
図20は、実施の形態2に係る画像閲覧処理の処理手順の一例を示すフローチャートである。
対象物に関する分類結果を表示するセル画像51の指定入力を端末2から受け付けたと判定した場合(S73:YES)、サーバ1の制御部11は以下の処理を実行する。制御部11は端末2に、指定されたセル画像51を含む画像群であって、指定されたセル画像51と同一の領域で撮像時点が異なる複数のセル画像51から成る画像群を時系列で表示させる(ステップS221)。例えば制御部11は、上述の如くセル画像51の動画再生を行わせる。この場合に制御部11は、各撮像時点のセル画像51それぞれにおいて被覆物の色分け表示、移動体の数量のグラフ表示等を行わせることで、対象物の時系列変化を示す動画を表示させる。制御部11は、処理をステップS75に移行する。
【0107】
以上より、本実施の形態2によれば、複数の撮像時点それぞれのセル画像51を一括購入することができ、利便性を向上させることができる。
【0108】
また、本実施の形態2によれば、各撮像時点のセル画像51に対して対象物の分類結果を付加して提供することで、ユーザは対象物の時系列変化を把握可能となる。
【0109】
(実施の形態3)
本実施の形態では、画像DB142に記憶されている衛星画像から、ユーザが所望の画像を検索可能とする形態について説明する。
図21は、実施の形態3の概要を示す説明図である。上述の如く、サーバ1は画像DB142に、衛星3から取得した各衛星画像と、各衛星画像に含まれる対象物を被覆分類器143及び物体分類器144により分類した分類結果とを、衛星画像の対象地域、及び撮像時点と対応付けて記憶してある。本実施の形態では、ユーザが対象物を検索クエリとして画像DB142から所望の画像を検索し、提供可能とする。
図21に基づき、本実施の概要について説明する。
【0110】
例えば端末2は、検索クエリとして、対象物(被覆物又は移動体)の種類を指定する指定入力を受け付け、サーバ1に検索要求を送信する。なお、端末2は対象物に関して、例えば被覆物の大きさ(面積)、移動体の数量の閾値など、より詳細な検索条件を指定して検索要求を行ってもよい。
【0111】
端末2から検索要求を受け付けた場合、サーバ1は、各衛星画像(セル画像51)に対応付けられている対象物の分類結果を参照して、画像DB142から、ユーザが指定した対象物を含むセル画像51を検索する。サーバ1は、検索結果を端末2に出力し、表示させる。例えば
図21に示すように、サーバ1は、検索されたセル画像51のサムネイルを一覧で表示させる。
【0112】
例えば端末2は、検索結果として一覧表示されたセル画像51からいずれかを選択する選択入力を受け付け、選択されたセル画像51の地図画像上に重畳したプレビュー画像を表示する。なお、この場合に端末2は、被覆物、移動体など、検索クエリとした対象物に関する情報の全部又は一部をプレビュー表示してもよい。サーバ1は、端末2から当該セル画像51のカートへの登録操作、購入要求を順次受け付け、検索対象とした対象物の分類結果を含むセル画像51を端末2に出力する。
【0113】
図22は、実施の形態3に係るサーバ1が実行する処理手順の一例を示すフローチャートである。
サーバ1の制御部11は、検索対象とする対象物の指定入力を受け付ける(ステップS301)。制御部11は、指定された対象物を含む衛星画像(セル画像51)を画像DB142から検索する(ステップS302)。制御部11は、検索結果を端末2に出力する(ステップS303)。例えば制御部11は、検索された各セル画像51のサムネイルを表示させる。この場合に制御部11は、検索されたセル画像51において、検索クエリとされた対象物に関する情報の全部又は一部を端末2に出力して表示させてもよい。
【0114】
制御部11は、検索結果として表示したセル画像51のうちいずれかを選択する選択入力を受け付け、選択されたセル画像51を地図上に重畳したプレビュー画像を端末2に表示させる(ステップS304)。制御部11は、プレビュー表示したセル画像51のカートへの登録操作を受け付ける(ステップS305)。制御部11は、カートに登録されたセル画像51の購入要求を端末2から受け付けて購入処理を行い、端末2に出力してダウンロードさせる(ステップS306)。制御部11は、一連の処理を終了する。
【0115】
以上より、本実施の形態3によれば、ユーザが指定した対象物を含む衛星画像を画像DB142から検索することができ、利便性を向上させることができる。
【0116】
(実施の形態4)
本実施の形態では、衛星画像に基づく対象地域の監視を行い、対象物に所定の変化が生じたか否かを判定する形態について説明する。
図23は、実施の形態4の概要を示す説明図である。本実施の形態においてサーバ1は、衛星3が継続的に撮像する衛星画像から対象地域に発生した所定の事象を、被覆分類器143等による対象物の分類結果の時系列変化から検知し、ユーザに通知する。監視対象とする事象は、例えば土砂崩れ、火山噴火など、災害に関わる事象である。
図23に基づき、本実施の形態の概要を説明する。
【0117】
例えば端末2はまず、監視対象とする対象地域、及び監視対象とする事象の事前登録を行う。例えば端末2は、
図6と同様の地図画像において監視対象とする領域を指定することで、ユーザから対象地域の指定入力を受け付ける。また、端末2は、土砂崩れ、火山噴火など、監視対象とする災害事象の種類について指定入力を受け付ける。端末2は、指定された各種情報をサーバ1に送信し、事前登録を行う。
【0118】
サーバ1は、対象地域を撮像した衛星画像を衛星3から取得する都度、被覆分類器143に衛星画像を入力して被覆物の分類結果を取得する。ここでサーバ1は、当該対象地域の衛星画像について、前回取得した衛星画像から分類した被覆物の分類結果と、今回の被覆物の分類結果とを比較して、事前登録された事象に相当する対象物の変化が生じたか否かを判定する。例えば監視対象とする事象として土砂崩れが指定された場合、サーバ1は、「森林」が「裸地」に変化したかを判定する。
【0119】
対象物の変化が生じたと判定した場合、サーバ1は、判定結果を端末2に通知する。例えばサーバ1は、事前登録された事象が対象地域に発生した旨を端末2に通知すると共に、対象地域の衛星画像であって、当該事象が発生したと推定される画像領域をラベリングした衛星画像を端末2に出力する。上記の例に則して説明した場合、サーバ1は、「森林」から「裸地」に変化した領域をラベリングして端末2に出力する。
【0120】
なお、この場合にサーバ1は、例えば衛星画像をプレビューとして出力した上で、端末2から当該衛星画像の購入要求を受け付けるようにしてもよい。あるいはサーバ1は、衛星画像の購入に伴う決済を自動的に行い、衛星画像を端末2にダウンロードさせるようにしてもよい。このように、サーバ1は、対象物の変化が生じたと判定した場合、対象物の変化が生じたと判定された領域にラベリングした衛星画像の購入処理を手動又は自動で実行するようにしてもよい。
【0121】
図24は、実施の形態4に係るサーバ1が実行する処理手順の一例を示すフローチャートである。
サーバ1の制御部11は、端末2から、監視対象とする対象地域の指定入力を受け付ける(ステップS401)。さらに制御部11は、監視対象とする事象(対象物の変化)に関する指定入力を受け付ける(ステップS402)。
【0122】
制御部11は画像DB142から、ステップS401で指定された対象地域に対応する衛星画像について、当該画像から分類した対象物の分類結果を取得する(ステップS403)。制御部11は以前の撮像時点における対象物の分類結果と比較して、ステップS402で指定された対象物の変化が生じたか否かを判定する(ステップS404)。
【0123】
変化が生じていないと判定した場合(S404:NO)、制御部11は処理をステップS403に戻す。変化が生じたと判定した場合(S404:YES)、制御部11は判定結果を端末2に通知し(ステップS405)、一連の処理を終了する。
【0124】
以上より、本実施の形態4によれば、対象地域に発生した所定の事象をユーザに自動通知することができ、例えば災害観測など、種々の用途に本システムを利用することができる。
【0125】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0126】
1 サーバ(情報処理装置)
11 制御部
12 主記憶部
13 通信部
14 補助記憶部
P プログラム
141 ユーザDB
142 画像DB
2 端末
3 衛星