特開 2023-108404 画像提供システム、画像提供方法、プログラム、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023108404

(43)【公開日】2023-08-04

(54)【発明の名称】画像提供システム、画像提供方法、プログラム、および情報処理装置

(51)【国際特許分類】

   G06F 16/535 20190101AFI20230728BHJP

   G06F 16/538 20190101ALI20230728BHJP

   G06F 16/587 20190101ALI20230728BHJP

   G06T 7/00 20170101ALI20230728BHJP

【ＦＩ】

G06F16/535

G06F16/538

G06F16/587

G06T7/00 640

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022009515

(22)【出願日】2022-01-25

(71)【出願人】

【識別番号】000104652

【氏名又は名称】キヤノン電子株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】喜多 伸作

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175DA03

5B175JC05

5L096BA18

5L096CA02

5L096CA18

5L096DA02

5L096FA52

5L096FA59

5L096GA51

5L096HA08

5L096HA09

5L096JA11

5L096KA04

(57)【要約】

【課題】画像に関するユーザーのさらなるニーズに応えることが可能な画像提供システムを提供すること。
【解決手段】画像提供システムは、大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得し、記憶する。画像提供システムは、記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する。画像提供システムは、被覆率が特定の条件を満たしている画像を検索して抽出し、被覆率に応じて並び替えて出力する。
【選択図】 図１２

【特許請求の範囲】

【請求項1】

大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得部と、
前記取得部により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像を記憶する記憶部と、
前記記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定部と、
前記記憶部に記憶されている前記複数の画像のうち、前記被覆率が特定の条件を満たしている画像を検索して抽出する検索部と、
前記検索部により抽出された複数の画像を前記被覆率に応じて並び替える並び替え部と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力部と、を有する画像提供システム。

【請求項2】

前記並び替え部は、前記複数の画像についてそれぞれ求められた被覆率に基づき前記複数の画像を昇順または降順で並び替える、請求項１に記載の画像提供システム。

【請求項3】

前記並び替え部は、前記複数の画像についてそれぞれ求められた第１の被覆物の被覆率と、第２の被覆物の被覆率とに基づき前記複数の画像を昇順または降順で並び替え、前記並び替えにおいて前記第１の被覆物の被覆率は前記第２の被覆物の被覆率よりも優先される、請求項１または２に記載の画像提供システム。

【請求項4】

前記被覆物の種別を受け付ける種別受付部をさらに有し、
前記検索部は、前記種別受付部により受け付けられた特定の種別の被覆物の被覆率が前記特定の条件を満たしている画像を検索して抽出する、請求項１から３のいずれか一項に記載の画像提供システム。

【請求項5】

前記種別受付部は、前記記憶部に記憶されている複数の衛星画像から抽出された二以上の被覆物の種別を選択候補として表示し、当該表示された選択候補から前記被覆物の種別を受け付ける、請求項４に記載の画像提供システム。

【請求項6】

前記記憶部は、前記複数の画像をそれぞれ撮影日と関連付けて記憶しており、
前記検索部は、検索条件として指定された撮影日または撮影期間に地表を撮影して取得された画像であって、前記被覆率が前記特定の条件を満たしている画像を検索して抽出する、請求項１から５のいずれか一項に記載の画像提供システム。

【請求項7】

前記特定の条件は、前記被覆率が所定の閾値を越えるまたは下回っていることである、請求項１から６のいずれか一項に記載の画像提供システム。

【請求項8】

前記被覆物は、雲、海、湖、塩湖、畑、山岳地帯、森林、砂漠、田、河川、雪山のうちのいずれかを含む、請求項１から７のいずれか一項に記載の画像提供システム。

【請求項9】

前記記憶部は、各画像に写り込んでいる地表の位置を表す位置情報を関連付けて記憶しており、
前記検索部は、ユーザーにより指定された特定の位置の地表において前記被覆物の前記被覆率が前記特定の条件を満たしている画像を検索して抽出する、請求項１から８のいずれか一項に記載の画像提供システム。

【請求項10】

予め定められた撮影ターゲットの名称と当該撮影ターゲットの位置情報とを保持する保持部をさらに有し、
前記ユーザーにより指定された特定の位置は、前記保持部に保持されている撮影ターゲットの位置情報であって、前記ユーザーにより指定された特定の撮影ターゲットの名称に関連付けられている位置情報により示される位置である、請求項９に記載の画像提供システム。

【請求項11】

前記検索部は、前記被覆物の前記被覆率が前記特定の条件を満たす複数の画像のうち、ユーザーにより指定された物体の個数が所定条件を満たしている画像を検索して抽出する、請求項１から１０のいずれか一項に記載の画像提供システム。

【請求項12】

前記物体は、航空機、車両または船舶のいずれかである、請求項１１に記載の画像提供システム。

【請求項13】

前記飛翔体は、人工衛星、航空機、またはドローンのいずれかである、請求項１から１２のいずれか一項に記載の画像提供システム。

【請求項14】

大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得工程と、
前記取得工程により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像を記憶部に記憶する記憶工程と、
前記記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定工程と、
前記記憶部に記憶されている前記複数の画像のうち、前記被覆率が特定の条件を満たしている画像を検索して抽出する検索工程と、
前記検索工程において抽出された複数の画像を前記被覆率に応じて並び替える並び替え工程と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力工程と、を有する画像提供方法。

【請求項15】

大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得工程と、
前記取得工程により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像を記憶部に記憶する記憶工程と、
前記記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定工程と、
前記記憶部に記憶されている前記複数の画像のうち、前記被覆率が特定の条件を満たしている画像を検索して抽出する検索工程と、
前記検索工程において抽出された複数の画像を前記被覆率に応じて並び替える並び替え工程と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力工程と、をコンピュータに実行させるプログラム。

【請求項16】

大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得部と、
前記取得部により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定部と、
前記複数の画像のうち、前記被覆率が特定の条件を満たしている複数の画像を前記被覆率に応じて並び替える並び替え部と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力部と、を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像提供システム、画像提供方法、プログラム、および情報処理装置に関するものである。

【背景技術】

【0002】

人工衛星により地球を撮影して得られる衛星画像は様々なビジネスで利用されることが期待されている。特許文献１によれば、衛星画像に写り込んでいる、特定の物体を検知したり、地表を覆う被覆物（雲、水、樹木、裸地など）を特定したりすることが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１５４８３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１によれば、ユーザーは、衛星画像に写り込んでいる物体や被覆物が何であるかを知ることができる。また、特許文献１によれば、ユーザーは、特定の物体や被覆物を指定することで、特定の物体や被覆物が写り込んでいる衛星画像を検索できる。さらに、特許文献１では、ある衛星画像内に写り込んでいる雲の量の上限値を設定することができる。その理由としては、雲の多い衛星画像はユーザーにとって有用ではないからだという。そのため、上限値以下の衛星画像と、上限値を超過する衛星画像とが色の濃淡で塗分けて表示される。これにより、ある瞬間における雲の少ない地域と雲の多い地域とを視覚的に区別できる。

【0005】

しかし、特許文献１の手法では各地域の衛星画像が二色に塗分けられるだけで、被覆率の順位が分からない。そのため、被覆率の順位が必要となる調査には向いていない。たとえば、畑における農作物の収穫高を推定する際に、衛星画像に占める被覆物（例：畑）の割合は、有効であろう。被覆物の被覆率から農業に向いた（例：雲の被覆率が少ない）地域の衛星画像を検索できれば、特定の農作物に向いた地域を選定できるなど、農業投資の順位を決定する上で有用であろう。ここでは、農業について紹介したが、漁業や保険業などでも、特定の被覆物の被覆率の順位を知ることは、有用なことが多いであろう。これらの用途では、被覆物の被覆率に応じて衛星画像の検索結果を並べ替えてユーザーに示すことが求められる。そこで、本発明は、画像に関するユーザーのさらなるニーズに応えることが可能な画像提供システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、たとえば、大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得部と、
前記取得部により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像を記憶する記憶部と、
前記記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定部と、
前記記憶部に記憶されている前記複数の画像のうち、前記被覆率が特定の条件を満たしている画像を検索して抽出する検索部と、
前記検索部により抽出された複数の画像を前記被覆率に応じて並び替える並び替え部と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力部と、を有する画像提供システムを提供する。

【発明の効果】

【0007】

本発明によれば、画像に関するユーザーのさらなるニーズに応えることが可能な画像提供システムが提供される。

【図面の簡単な説明】

【0008】

【図1】画像アーカイブシステムの構成例を示す模式図である。

【図2】サーバーの構成例を示すブロック図である。

【図3】画像ＤＢのテーブル設計の一例を示す説明図である。

【図4】地物ＤＢのテーブル設計の一例である。

【図5】衛星画像をデータベースに登録する処理の一例を示すフローチャートである。

【図6】緯度経度検出器による衛星画像の緯度経度検出処理の一例を示すフローチャートである。

【図7】領域分類器の領域学習処理の一例を示すフローチャートである。

【図8】領域分類処理の処理手順の一例を示すフローチャートである。

【図9】物体検出器の学習処理の一例を示すフローチャートである。

【図10】物体検出処理の処理手順の一例を示すフローチャートである。

【図11】画像提供方法の一例を示すフローチャートである。

【図12】ユーザーが所望する衛星画像を検索するための端末に表示されるユーザーインタフェースの一例である。

【図13】ユーザーが所望する衛星画像の検索条件を指定して検索し、その応答となる検索結果を表したものの一例である。

【図14】ユーザーが所望する自由なキーワードを入力して、衛星画像を検索するためのユーザーインタフェースの一例である。

【図15】制御部の機能を説明する図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0010】

［衛星画像アーカイブシステム（画像提供システム）］
以下、本発明についてのいくつかの実施形態を詳述する。図１は、衛星画像アーカイブシステムの構成例を示す。本実施例の形態では、ユーザーが所望する衛星画像を取得、保存、および検索可能な衛星画像アーカイブシステムについて説明する。衛星画像アーカイブシステムは、情報処理装置１、アンテナ２、人工衛星３、端末４を含む。情報処理装置１及び端末４は、インターネット等のネットワークＮを介して通信可能に接続されている。本実施例の形態では説明を簡明にするために、衛星画像アーカイブシステムは、情報処理装置１、アンテナ２、人工衛星３、端末４を含むものとして説明する。しかし、衛星画像アーカイブシステムの構成については係る構成に限定されるものではない。たとえば、アンテナ２、人工衛星３、端末４は、別のシステムが提供してもよい。

【0011】

情報処理装置１は、様々な情報処理及び情報の送受信が可能な情報処理装置である。たとえば、情報処理装置１は、サーバー装置、パーソナルコンピュータ、仮想マシンまたはインターネット上のクラウドサービスを提供するコンピュータのいずれあってもよい。本実施形態では、数十機から数百機の人工衛星３がコンステレーションを組んで地球上を周回する軌道に存在していてもよい。人工衛星３の重量は１００ｋｇ以下であってもよい。人工衛星３は地表面を撮影して生成した衛星画像をアンテナ２へ送信する。情報処理装置１による情報処理としては、たとえば、人工衛星３により取得された衛星画像の緯度経度検出処理、領域分類処理、物体検出処理、およびプレビュー用サムネイル生成処理などがある。緯度経度検出処理とは、衛星画像に写り込んでいる地表面の緯度と経度を検出する処理である。領域分類処理とは、衛星画像に写り込んでいる地表面の領域を分類する処理である。たとえば、地表を覆っている被覆物（例：雲、海、湖、塩湖、畑、山岳地帯、森林、砂漠、田、河川、雪山など）を分類する処理である。物体検出処理とは、衛星画像に写り込んでいる物体（例：航空機、車両、船舶など）を検出する処理である。プレビュー用サムネイル生成処理とは、衛星画像のサムネイル画像を生成する処理である。情報処理装置１は、情報処理結果をデータベースに登録する。情報処理装置１は、端末４のＷｅｂブラウザからユーザーが希望する衛星画像の検索条件を受信すると、検索条件にマッチする衛星画像をデータベースから抽出し、抽出結果を端末４に送信する。検索条件は、たとえば、地理的範囲、撮影日時、およびその他である。このように、情報処理装置１は、画像アーカイブシステム（画像提供システム）の中核を担っている。

【0012】

アンテナ２は人工衛星３から送信される衛星画像を受信したり、人工衛星３自身の動作状態を表すデータであるハウスキーピングデータ（ＨＫデータ）を受信したりする、受信装置である。アンテナ２は、人工衛星３から受信した衛星画像およびＨＫデータを情報処理装置１へ転送する。また、アンテナ２は人工衛星３に地表面を撮影させるための指示を人工衛星３に対して送信する機能を有していてもよい。

【0013】

人工衛星３は、画像を撮像可能な撮像素子として、光学センサ（例：ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ）およびマイクロ波センサ（例：合成開口レーダー）の少なくとも一方を有している。ＣＣＤはチャージカップルドデバイスの略称である。ＣＭＯＳは相補型金属酸化物半導体の略称である。ここで、衛星画像とは、静止画であってもよいし、動画（映像）であってもよい。

【0014】

人工衛星３は、宇宙空間などの大気圏外または大気圏内から地表面を観測する周回衛星である。しかし、人工衛星３は、宇宙空間または大気中を飛行する飛翔体であればよく、ドローン、航空機またはヘリコプターなどのいずれであってもよい。したがって、飛翔体は人工衛星に限定されない。本実施形態において、衛星画像とは、説明の便宜上、このような飛翔体により取得される画像を言う。

【0015】

情報処理装置１は、衛星画像をユーザーに提供する際に、領域の分類結果や物体の検出結果についてもユーザーに提供してもよい。この際に、情報処理装置１は、機械学習によって生成された領域分類器および物体検出器を使用してもよい。領域分類器は地表面を被覆する被覆物の領域（例：雲、水、砂、樹木、アスファルトなど）を分類してもよい。物体検出器は地表面に存在する物体（例：航空機、車両、船舶など）を検出する。情報処理装置１は、領域分類器により分類された被覆物の領域の広さ（面積や被覆率）を示すメタデータを付加した衛星画像を提供してもよい。また、情報処理装置１は、物体検出器により検出された物体の名称とその個数を示すメタデータを付加した衛星画像を提供してもよい。

【0016】

端末４は、ユーザーにより操作される端末装置（例：ＰＣ、スマートフォン、タブレット端末、その他）である。ＰＣはパーソナルコンピュータの略称である。ただし、端末４は、Ｗｅｂブラウザのようなユーザーインタフェースを備えるコンピュータであればよい。

【0017】

ユーザーは端末４を用いて衛星画像の検索条件として撮影対象期間を指定してもよい。情報処理装置１は、複数の衛星画像のうち、その撮影日時が撮影対象期間に含まれる衛星画像を検索する。検索条件は、たとえば、地理的領域（緯度経度）、撮影日時（撮影期間）、被覆物の種別、被覆率、物体の種別、物体の個数などのメタデータであってもよい。検索条件は、自由なキーワードであってもよい。

【0018】

［情報処理装置］
図２は情報処理装置１の構成例を示すブロック図である。情報処理装置１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。制御部１１は、１個または複数個のＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み込み実行する。これにより、様々な情報処理が実行される。ＣＰＵはセントラルプロセッシングユニット（中央演算処理装置）の略称である。ＭＰＵはマイクロプロセッシングユニットの略称である。ＧＰＵはグラフィカルプロセッシングユニットの略長である。ＦＰＧＡはフィールドプログラマブルゲートアレイの略称である。主記憶部１２は、ＳＲＡＭ、ＤＲＡＭ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なプログラムやデータを一時的に記憶する。ＳＲＡＭはスタティックランダムアクセスメモリの略称である。ＤＲＡＭはダイナミックランダムアクセスメモリの略称である。通信部１３は、無線通信回路または有線通信回路のうちの少なくとも一方を有し、情報処理装置１が外部の装置との間で情報を送受信するために使用される。

【0019】

補助記憶部１４は、ハードディスク、ＳＳＤ（ソリッドステートドライブ）、フラッシュ（登録商標）メモリなどのような不揮発性記憶装置である。補助記憶部１４は、制御部１１が演算処理に必要とするプログラムＰ、およびその他データを永続的に記録する。補助記憶部１４は、画像ＤＢ１４１、画像プール１４２、領域分類器１４３、物体検出器１４４、緯度経度検出器１４５及びサムネイル生成器１４６、地物ＤＢ１４７を記憶している。なお、領域分類器１４３、物体検出器１４４、緯度経度検出器１４５及びサムネイル生成器１４６は、一種のコンピュータプログラムとデータなどの集合体である。なお、領域分類器１４３、物体検出器１４４、緯度経度検出器１４５及びサムネイル生成器１４６は、制御部１１がプログラムＰにしたがって実現する機能であってもよい。後者の場合、領域分類器１４３、物体検出器１４４、緯度経度検出器１４５及びサムネイル生成器１４６は、制御部１１の一部となる。

【0020】

画像ＤＢ１４１は人工衛星３から取得された衛星画像に関連付けられたメタデータを格納するデータベースである。画像プール１４２は、画像ＤＢ１４１の各レコードに関連付けられた衛星画像を格納する記憶領域である。

【0021】

領域分類器１４３は、地表面の被覆物を分類する分類器である。領域分類器１４３は、たとえば、機械学習によって教師データを用いて生成された学習済みモデルであってもよい。

【0022】

物体検出器１４４は、地表面に存在する物体を検出する物体検出器である。物体検出器１４４は、たとえば、領域分類器１４３と同様に機械学習によって教師データを用いて生成された学習済みモデルであってもよい。

【0023】

緯度経度検出器１４５は、衛星画像の中心の緯度経度および四隅の緯度経度を求める。たとえば、緯度経度検出器１４５は、緯度経度が既知の教師データとなる衛星画像の特徴量と、人工衛星３により観測された衛星画像の特徴量とを照合することにより、これらの緯度と経度を求めてもよい。

【0024】

サムネイル生成器１４６は、人工衛星３により観測された衛星画像のデータサイズを圧縮し、プレビュー画面に表示するため衛星画像（サムネイル画像）を生成する。圧縮率は、たとえば、元の衛星画像の１／４から１／１６程度であってもよい。サムネイル画像のサイズは、端末４のＷｅｂブラウザなどにプレビュー画面に表示する際に、十分に通信量を抑えることができかつユーザーによって画像の特徴および外観が認識できるような、サイズであればよい。

【0025】

［データベース］
図３は、画像ＤＢ１４１のテーブル設計の一例を示す図である。画像ＤＢ１４１は、たとえば、画像マスターテーブルＴ１、被覆量テーブルＴ２、被覆位置テーブルＴ３、物体数テーブルＴ４、および物体位置テーブルＴ５を有してもよい。

【0026】

画像マスターテーブルＴ１は、画像ＩＤ列、画像ファイル名列、撮影日時列、画像中心緯度列、画像中心経度列、画像左上緯度列、画像左上経度列、画像右上緯度列、画像右上経度列、画像左下緯度列、画像左下経度列、画像右下緯度列、画像右下経度列、撮影ターゲット緯度列、撮影ターゲット経度列、住所列、タグ列を含みうる。

【0027】

画像ＩＤ列は、衛星画像を識別するための固有の識別子（画像ＩＤ）を格納される列である。画像ＩＤは、被覆量テーブルＴ２、被覆位置テーブルＴ３、物体数テーブルＴ４、および物体位置テーブルＴ５の各画像ＩＤ列にも格納される。このように、画像ＩＤによって複数のテーブルが関連付けられている。

【0028】

画像ファイル名列は、画像プール１４２内に記憶されている衛星画像のファイル名を格納する。撮影日時列は、人工衛星３が地表面を撮影した日時を格納する。日時は、協定世界時（ＵＴＣ）で表現されてもよい。画像中心緯度列と画像中心経度列は、それぞれ衛星画像の中心の緯度経度を示す。画像左上緯度列、画像左上経度列、画像右上緯度列、画像右上経度列、画像左下緯度列、画像左下経度列、画像右下緯度列、画像右下経度列は、それぞれ衛星画像の四隅の緯度または経度を示す。これらの緯度経度は、緯度経度検出器１４５により検出される。撮影ターゲット緯度列および撮影ターゲット経度列は、人工衛星３が地表面を撮影する際に標的とする位置または物体の緯度および経度を示す。住所列は、衛星画像の中心の緯度経度に対して逆ジオコーディングを適用して求められた住所を示す。逆ジオコーディングとは緯度経度から住所を取得する方法である。タグ列は、衛星画像の四隅の緯度経度により確定される矩形の地理的領域に含まれる地物名（例：施設名、山岳名、河川名など）を示す。地物名とそれに対する緯度経度は、地物ＤＢ１４７に保持されている。ここで、地物とは建物、道路、河川など自然、人工に関わらず地上にあるすべてのものを表す概念であり、地物名とはその地物の名称である。

【0029】

画像マスターテーブルＴ１において、緯度と経度を表す列については、地理情報システムにおけるジオメトリ型やジオグラフィ型のような空間データ型として、まとめて定義しても良い。ジオメトリ型とは、地球を平面としてモデル化したデータ型であり、ジオグラフィ型とは、地球を球体としてモデル化したデータ型であり、これらのデータ型にはポイント（点）、ラインストリング（線）、ポリゴン（多角形）などの種類がある。たとえば、画像中心緯度経度および撮影ターゲット緯度経度はポイント（点）として定義し、画像四隅の緯度経度は ポリゴン（多角形）として定義してもよい。このようにテーブルの設計において、緯度経度のような位置データを空間データ型として定義することで、データベースに対して空間演算を用いた問い合わせをすることができるようになる。

【0030】

空間データに対する空間演算では、たとえば、地図上で選択した矩形領域（ポリゴン）に含まれる衛星画像の画像中心緯度経度（ポイント）を検索できるようになり、またはある衛星画像の四隅の領域内（ポリゴン）に含まれる河川（ラインストリング）などの地物を検索することも可能となる。このように空間演算を用いることにより、データベースに対してより高度な問い合わせを実現することができるようになる。また、テーブルの空間データ型の列に空間インデックスを生成することで高速な空間データへの問い合わせをすることができるようにもなる。

【0031】

被覆量テーブルＴ２は、たとえば、画像ＩＤ列、雲被覆量列、畑被覆量列、水被覆量列、砂被覆量列、森被覆量列、道路被覆量列を含む。画像ＩＤ列は、画像マスターテーブルＴ１の画像ＩＤ列に関連付けられた画像識別子を示す。雲被覆量列、畑被覆量列、水被覆量列、砂被覆量列、森被覆量列、道路被覆量列はそれぞれ、領域分類器１４３により分類された衛星画像中に占める雲、畑、水、砂、森、道路の被覆率を示す。これら被覆率は、衛星画像の解像度を基に、被覆物により被覆された地表の面積に換算可能である。

【0032】

被覆位置テーブルＴ３は、画像ＩＤ列、雲被覆位置、畑被覆位置列、水被覆位置列、砂被覆位置列、森被覆位置列、道路被覆位置列を含む。画像ＩＤ列は、画像マスターテーブルＴ１の画像ＩＤ列に関連付けられた画像識別子を示す。雲被覆位置列、畑被覆位置列、水被覆位置列、砂被覆位置列、森被覆位置列、道路被覆位置列はそれぞれ、領域分類器１４３により分類された衛星画像中の被覆物の画素の位置を示す。制御部１１は、これらの被覆位置により特定された領域（被覆物）を、衛星画像中の該当する位置に対して、重ねて（オーバーレイ）表示してもよい。

【0033】

物体数テーブルＴ４は、画像ＩＤ列、航空機数列、車両数列、船舶数列を含む。画像ＩＤ列は、画像マスターテーブルＴ１の画像ＩＤ列に関連付けられた画像識別子を示す。航空機数列、車両数列、船舶数列はそれぞれ、物体検出器１４４により検出された物体の個数を示す。

【0034】

物体位置テーブルＴ５は、画像ＩＤ列、航空機位置列、車両位置列、船舶位置列を含む。画像ＩＤ列は、画像マスターテーブルＴ１の画像ＩＤ列に関連付けられた画像識別子を示す。航空機位置列、車両位置列、船舶位置列はそれぞれ、物体検出器１４４により検出された物体の画素の位置を示す。制御部１１は、これらの物体の位置を囲うように矩形を衛星画像に対してオーバーレイすることで、衛星画像中において検出された物体を強調して表示することが可能となる。

【0035】

図４は地物ＤＢ１４７のテーブル設計の一例を示す。地物ＤＢ１４７は、地物テーブルＴ６を持つ。地物テーブルＴ６は、地物名列、緯度列、および経度列を含む。地物名列は、施設名、山岳名、河川名など、様々な地物名を格納する。緯度列および経度列は、地物名により識別される施設、山岳または河川の位置を示す緯度経度を格納する。画像マスターテーブルＴ１の画像四隅の矩形領域内に含まれる地物名を地物テーブルＴ６の緯度列と経度列から検索することができ、検索でヒットした地物名をタグとして衛星画像に関連付けることができる。

【0036】

地物テーブルＴ６においても緯度列、経度列をまとめて空間データ型として定義してもよい。緯度経度をまとめて空間データ型として定義することにより、矩形領域内（ポリゴン）に含まれる地物の位置（ポイント）を検索することができるようになる。このように緯度経度のような位置を空間データ型として定義することで、データベースに対して空間演算による、より高度な問い合わせを行うことができるようになる。

【0037】

なお、本実施形態において、情報処理装置１は１つのみを示しているが、これに限定するものではなく、複数の装置にて負荷分散するように構成されてもよい。たとえば、画像ＤＢ１４１、画像プール１４２、地物ＤＢ１４７は、別の装置に設けられていてもよい。

【0038】

［フローチャート］
●衛星画像の登録
図５は衛星画像をデータベースに登録する処理の一例を示すフローチャートである。図５の手順に基づき人工衛星３が撮影した衛星画像を画像ＤＢ１４１に登録する処理の内容について説明する。

【0039】

ステップＳ５０１で情報処理装置１の制御部１１は人工衛星３により衛星画像を取得する。なお、予め複数の衛星画像が取得されて画像プール１４２に蓄積されている場合、ステップＳ５０１の取得処理は、画像プール１４２から主記憶部１２のワークエリアへの読み出し処理となる。

【0040】

ステップＳ５０２で制御部１１は衛星画像が有効な画像か否かを判定する。たとえば、衛星画像が白とびしていたり、黒つぶれしていたりする場合、制御部１１は衛星画像を有効な画像ではないと判定する。制御部１１は衛星画像の画像フォーマットが正常かどうかに基づき、衛星画像の有効性を判定してもよい。たとえば、通信エラーなどによって衛星画像の画像フォーマットが崩れているかどうかに基づき、制御部１１は衛星画像の有効性を判定してもよい。これは、たとえば、ＣＲＣ（巡回冗長符号）に基づく誤り検出結果に基づき、衛星画像の有効性が判定されてもよい。衛星画像が有効でなければ、制御部１１は、ステップＳ５１０に進み、画像プール１４２の隔離領域に衛星画像を隔離する。一方で、衛星画像が有効な画像であれば、制御部１１は、ステップＳ５０３に進む。

【0041】

ステップＳ５０３で制御部１１は、衛星画像の緯度経度の取得処理を実行する。これにより、衛星画像の中心の緯度経度と四隅の緯度経度とが取得される。緯度経度の取得処理の詳細は、図６を用いて後述される。

【0042】

ステップＳ５０４で制御部１１は、衛星画像について領域分類処理を実行する。これにより、衛星画像を構成する複数の領域の分類結果（各領域に存在する被覆物の種別とその被覆率若しくは被覆面積など）が取得される。領域分類処理の詳細は、図８を用いて後述される。領域分類処理は、たとえば、領域分類器１４３により実行されてもよい。

【0043】

ステップＳ５０５で制御部１１は、衛星画像について物体検出処理を実行する。これにより、衛星画像に含まれる物体の種別とその個数とが取得される。物体検出処理の詳細は、図１０を用いて後述される。なお、物体検出処理は、物体検出器１４４を用いて実行されてもよい。

【0044】

ステップＳ５０６で制御部１１は、衛星画像の中心と四隅のそれぞれの緯度経度に基づき、当該衛星画像に写り込んでいる地理的位置の住所を取得する。たとえば、制御部１１は、逆ジオコーディングにより緯度経度から住所を取得してもよい。これにより、衛星画像の中心の住所と、四隅のそれぞれ住所とが取得される。これらの住所はメタデータの一部となる。

【0045】

ステップＳ５０７で制御部１１は、衛星画像の四隅の緯度経度により特定される矩形の領域内に含まれる地物名を当該衛星画像に対してタグ付けする。たとえば、制御部１１は、衛星画像の四隅の緯度経度に基づき衛星画像の四隅により確定される矩形の緯度経度範囲を特定する。制御部１１は、特定された緯度経度範囲に含まれる地物名を、地物ＤＢ１４７から検索する。検索でヒットしたレコードの地物名がタグとして取得される。地物名はメタデータの一部となる。地物名は、ランドマーク（著名な施設や建造物）などの名称であってもよい。

【0046】

ステップＳ５０８で制御部１１は、衛星画像のサムネイル画像を生成する。たとえば、サムネイル生成器１４６によりサムネイル画像が生成されてもよい。

【0047】

ステップＳ５０９で制御部１１は、画像ＤＢ１４１に衛星画像のメタデータを登録する。メタデータには、衛星画像の中心および四隅の緯度経度、領域分類結果、物体検出結果、住所、およびタグ（地物名）などが含まれる。なお、メタデータとして、オフナディア角や衛星画像の方位角が画像ＤＢ１４１に登録されてもよい。オフナディア角や衛星画像の方位角は、たとえば、ＨＫデータから制御部１１が演算してもよい。

【0048】

●緯度経度の検出処理
図６は緯度経度検出器１４５による衛星画像の緯度経度検出処理（Ｓ５０３）の一例を示すフローチャートである。図６に基づき緯度経度検出器１４５を用いて人工衛星３が観測した衛星画像の位置情報（緯度経度）を求める処理の内容について説明する。

【0049】

ステップＳ６０１で制御部１１は、緯度経度の検出処理の対象となっている衛星画像の撮影ターゲットの緯度経度をＨＫデータなどから取得する。

【0050】

ステップＳ６０２で制御部１１は、撮影ターゲットの周辺の教師画像を取得する。教師画像とは、たとえば、予め撮影された衛星画像であり、すべての画素に対する緯度経度が既知であるものなどがある。ここでは、撮影ターゲットの緯度経度に近い緯度経度を有する多数の衛星画像が画像プール１４２から取得されてもよい。

【0051】

ステップＳ６０３で制御部１１は、処理対象の衛星画像の特徴量と複数の教師画像の特徴量とのマッチングを実行する。これにより、処理対象の衛星画像の中心の緯度経度と四隅の緯度経度が求められる。この際に、制御部１１は、処理対象の衛星画像の特徴量と複数の教師画像の特徴量とのマッチングの度合いを示す評価値を演算し、評価値が最も高い教師画像の中心の緯度経度と四隅の緯度経度を処理対象の中心の緯度経度と四隅の緯度経度として採用してもよい。あるいは、制御部１１は、評価値が高い複数の教師画像を特定し、複数の教師画像の中心の緯度経度と四隅の緯度経度に、その教師画像の評価値により重みづけを施して、中心の緯度経度の重みづけ平均値と四隅の緯度経度の重みづけ平均値を演算してもよい。なお、評価値が閾値以下の場合は、制御部１１は、マッチングが失敗であると判定して、緯度経度の演算をスキップしてもよい。

【0052】

ステップＳ６０４で制御部１１はマッチングが成功したかどうかを判定する。この判定は、処理対象の衛星画像の中心の緯度経度と四隅の緯度経度の検出が成功したかどうかを判定することに相当する。評価値が閾値よりも低いために、マッチングが失敗した場合、制御部１１はステップＳ６１０に進み、処理対象の衛星画像を隔離する。一方、マッチングが成功した場合、制御部１１はステップＳ６０５に進み、衛星画像の中心の緯度経度と四隅の緯度経度を画像ＤＢ１４１に登録する。なお、この登録処理は、上述したＳ５０９で実行されてもよい。

【0053】

なお、衛星画像の緯度経度の検出に失敗した場合、制御部１１は、現在使用しているアルゴリズムよりも低速だがより精密なアルゴリズムに切り替えて、緯度経度検出処理を再度実行してもよい。

【0054】

●領域学習処理（被覆物の学習処理）
図７は領域分類器１４３の領域学習処理の一例を示すフローチャートである。図７に基づき、機械学習により領域分類器１４３を生成する処理の内容について説明する。領域学習処理は、図５に示された処理が実行される前に、実行されるものとする。

【0055】

ステップＳ７０１で制御部１１は、衛星画像に対して、衛星画像内に含まれる各被覆領域を分類した分類結果の正解値を対応付けた教師データを取得する。ここで、分類対象とする被覆領域（被覆物）には、たとえば、雲、水、砂、畑、道路などがある。

【0056】

ステップＳ７０２で制御部１１は、領域分類器１４３に、教師データに含まれる衛星画像を学習させることで、領域分類器１４３を生成する。教師データを学習する際の機械学習アルゴリズムは、たとえば、深層学習をはじめ、サポートベクターマシンなどでもよい。

【0057】

●領域分類処理
図８は、領域分類処理（Ｓ５０４）の処理手順の一例を示すフローチャートである。図８に基づき、領域分類器１４３を用いて、衛星画像に含まれる各種領域を分類する処理の内容について説明する。

【0058】

ステップＳ８０１で制御部１１は人工衛星３が撮影した衛星画像を取得し、衛星画像を複数の領域に分割する。制御部１１は、各領域の位置を管理するために、各領域の中心または四隅の緯度と経度を、各領域に関連付けて保持してもよい。各領域の位置情報は、被覆位置テーブルＴ３における被覆位置として利用される。

【0059】

ステップＳ８０２で制御部１１は衛星画像から分割された複数の領域を１つずつ領域分類器１４３に入力し、各領域を分類する。たとえば、各領域において地表を被覆している被覆物の種別が何であるかが特定される。

【0060】

ステップＳ８０３で制御部１１は領域分類器１４３により取得された分類結果に基づき、衛星画像中において各被覆物が占める割合（例：被覆率、被覆物により被覆されている地表の面積）を求める。この割合は、被覆量テーブルＴ２における被覆量として利用される。

【0061】

ステップＳ８０４で制御部１１は被覆物の種別とその割合（例：被覆率、被覆物により被覆されている地表の面積）を画像ＤＢ１４１に登録する。図３が示すように、被覆物の種別に基づき、被覆物の割合が被覆量テーブルＴ２の被覆量列に登録され、被覆物の位置（領域の緯度経度）が被覆位置テーブルＴ３における被覆位置として登録される。たとえば、画像ＩＤ＝１の衛星画像が処理対象である場合、被覆物が雲であれば、被覆量テーブルＴ２の画像ＩＤ＝１のレコードにおける雲被覆量列に衛星画像中の雲の割合が登録される。同様に、被覆位置テーブルＴ３の画像ＩＤ＝１のレコードにおける雲被覆位置に衛星画像中の雲の位置を示す緯度経度が登録される。

【0062】

●物体検出器の生成（学習処理）
図９は物体検出器１４４の学習処理の一例を示すフローチャートである。図９に基づき、機械学習により物体検出器１４４を生成する処理の内容について説明する。

【0063】

ステップＳ９０１で制御部１１は、衛星画像に対して、衛星画像内に含まれる各物体を検出した検出結果の正解値を対応付けた教師データを取得する。検出対象としては、たとえば、自動車、航空機、船舶などがある。このようにして、衛星画像に対して各物体の正解値が割付けられた教師データが得られる。

【0064】

ステップＳ９０２で制御部１１は、物体検出器１４４に十分な数の教師データを入力することで物体検出器１４４を生成する。これにより、物体検出器１４４に対して、人工衛星３が撮影した衛星画像を入力すると、物体検出器１４４が衛星画像内に存在する物体の種別とその個数とを出力できるようになる。教師データを使用する機械学習アルゴリズムは、深層学習をはじめ、サポートベクターマシンなどのいずれであってもよい。

【0065】

●物体検出処理
図１０は、物体検出処理（Ｓ５０５）の処理手順の一例を示すフローチャートである。図１０に基づき、物体検出器１４４を用いて、衛星画像に含まれる各種物体を検出する処理の内容について説明する。

【0066】

ステップＳ１００１で制御部１１は、人工衛星３が地表を撮影して生成した衛星画像を画像プール１４２から取得し、取得した衛星画像を複数の領域に分割する。

【0067】

ステップＳ１００２で制御部１１は、衛星画像から切り出された複数の領域を１つずつ物体検出器１４４に入力して、各領域に存在する物体を検出する。これにより、衛星画像内に写り込んでいる物体の種別とその位置とが判明することになる。

【0068】

ステップＳ１００３で制御部１１は、物体検出器１４４により取得された検出結果に基づき、衛星画像中に含まれる物体の個数をカウントする。なお、物体の個数のカウントも物体検出器１４４により実行されてもよい。このようにして、物体の種別ごとの個数が判明する。

【0069】

ステップＳ１００４で制御部１１は、処理対象の衛星画像から取得された物体の種別とその個数を画像ＤＢ１４１に登録する。図３が示すように、物体の種別に応じて物体数テーブルＴ４における列が特定される。たとえば、衛星画像の画像ＩＤ＝１であり、物体の種別が航空機であれば、物体数テーブルＴ４における画像ＩＤ＝１のレコードの航空機数列に航空機の個数が登録される。同様に、物体位置テーブルＴ５における画像ＩＤ＝１のレコードの航空機位置列に航空機の位置（緯度経度）が登録される。

【0070】

●衛星画像の提供処理
図１１は、衛星画像の提供処理を示すフローチャートである。ここでは、衛星画像の提供処理はＷｅｂサービスとして例示されるが、他の通信プロトコルにしたがって衛星画像を提供する通信サービスとして、実装されてもよい。

【0071】

ステップＳ１１０１で制御部１１は、端末４から送信される衛星画像の検索条件と並び替えルールの入力を受け付ける。並び替えルールとは、検索結果に含まれる複数の衛星画像の順序を並び替えるためのルールである。

【0072】

図１２は、画像ＤＢ１４１を用いて、画像プール１４２に保存されている衛星画像からユーザーが所望する衛星画像を検索するために、端末４に表示されるユーザーインタフェース１２００の一例である。ポインタ１２０２は、端末４のポインティングデバイスの操作に応じて移動する。ポインティングデバイスは、たとえば、マウスまたはタッチパネルセンサ（タッチを検知するパネル型のセンサ）である。この例では、ユーザーインタフェース１２００に表示されている広域の衛星画像１２０１の一部に対して矩形の検索領域１２０３が、ポインタ１２０２をドラッグすることで設定されている。これにより、検索対象となる衛星画像が選択または絞り込まれるため、検索時間が短縮される。また、ユーザーが希望する衛星画像のヒット率が向上するだろう。なお、ポインティングデバイスとともに、あるいは、ポインティングデバイスに代えてキーボードが入力デバイスとして利用されてもよい。また、ポインタ１２０２を操作することで、広域の衛星画像１２０１を、東方向、西方向、南方向または北方向に移動させてもよい。制御部１１は、ポインタ１２０２の操作に応じた緯度経度に相当する衛星画像を画像プール１４２から読み出して、端末４のユーザーインタフェース１２００に広域の衛星画像１２０１をシームレスに表示する。

【0073】

表示ツール１２３０は、広域の衛星画像１２０１をズームイン（＋）したり、ズームアウト（－）したりすることを制御部１１に指示するためのコントロールオブジェクトである。広域の衛星画像１２０１は、衛星画像ではなく、地図画像であってもよい。また、広域の衛星画像１２０１として、地球儀の画像が採用されてもよい。さらに、広域の衛星画像１２０１は、二次元の地図であってもよいし、三次元の立体的な地図であってもよい。

【0074】

図１２では、矩形の検索領域１２０３が例示されているが、検索領域１２０３の形状は他の形状であってもよい。たとえば、検索領域１２０３の形状は、多角形、円、楕円、ユーザーにより手書きまたは選択される任意の形状であってもよい。さらに、検索領域１２０３の広さ（面積）には上限が設けられてもよい。これは検索スピードの向上に役立つであろう。さらに、複数の検索領域１２０３が同時に選択されてもよい。

【0075】

検索ボックス１２１０は、ユーザーにより入力される所望の検索条件を受け付けるためのユーザーインタフェースである。日付指定部１２１１は、検索対象となる衛星画像の撮影日時を受け付ける。図１２が示すように、日付指定部１２１１は、開始日と終了日とにより定義される撮影期間の指定を受け付けてもよい。並び替えルール指定部１２１３は、日付指定部１２１１により指定された撮影期間内に撮影された衛星画像を、撮影日付により昇順で並べるか、降順で並べるかの指定を受け付ける。

【0076】

領域／物体指定部１２１４は、被覆物の種別または物体の種別の指定を受け付ける。なお、領域／物体指定部１２１４は、領域分類器１４３により分類された被覆物の候補と、物体検出器１４４により検出された物体の候補を表示し、これらの候補からユーザーにより選択された被覆物または物体を表示してもよい。並び替えルール指定部１２１５は、ユーザーにより選択された被覆物または物体の検知結果の並び替えルールの指定を受け付ける。この例では、検知結果を昇順で並べ替えるか、降順で並び替えるかが選択可能となっている。閾値設定部１２１６は、被覆物の被覆率または物体の個数に対する閾値の指定を受け付ける。検索ボタン１２１７は、検索領域１２０３の四隅の緯度経度を含む検索条件と、検索実行の指示とを情報処理装置１へ送信することを端末４に命令するためのボタンである。

【0077】

ここでは、領域／物体指定部１２１４として、２行が表示されているが、検索領域１２０３を指定した段階で予め検出された物体および被覆部の数と同数の行が表示されてもよい。また、各行の並びは、被覆率または個数に基づいて決定されていてもよい。たとえば、検索領域１２０３における雲の被覆率が畑の被覆率よりも多いことが事前に判明している場合、雲の行は畑の行よりも上に表示されてもよい。

【0078】

Ｓ１１０２で制御部１１は、端末４から受信された検索条件に基づき衛星画像を検索する。衛星画像は、画像ＤＢ１４１に格納されている画像ＩＤ、撮影日時、人工衛星３の運用履歴データ（ＨＫデータ）、領域分類器１４３で分類された各領域（被覆物）の広さ（被覆率、面積）、物体検出器１４４で検出された各種物体の個数、逆ジオコーディングにより取得した住所や地物ＤＢ１４７により関連付けられたタグなどのメタデータと対応付けて画像プール１４２に蓄積されている。制御部１１は、検索条件に合致する衛星画像の画像ＩＤを画像ＤＢ１４１から抽出し、さらに画像ＩＤに対応する衛星画像の画像ファイルを画像プール１４２から抽出する。なお、制御部１１は、抽出された画像ＩＤに対応する衛星画像は、オリジナルの衛星画像であってもよいし、当該衛星画像から作成されたサムネイル画像であってもよい。

【0079】

Ｓ１１０３で制御部１１は、検索条件に含まれている並び替えルールにしたがって、検索により抽出された複数の検索結果（例：衛星画像（サムネイル画像）とそのメタデータ）を並び替える。つまり、端末４のＷｅｂブラウザに表示される衛星画像等の検索結果の表示順が並び替えられる。

【0080】

Ｓ１１０４で制御部１１は、並び替えられた検索結果を端末４へ提供する。たとえば、検索結果を表示するＷｅｂページの情報が端末４に送信される。端末４は、情報処理装置１から受信された検索結果を画面に描画する。

【0081】

図１３は、検索結果を表示するポップアップ１３００を例示する図である。ポップアップ１３００はいわゆるポップアップウインドウなどの表示要素である。ヒット数表示部１３０２は、検索により抽出された衛星画像の数を示す。結果表示部１３０１は、各検索結果を表示する。たとえば、結果表示部１３０１は、サムネイル画像、撮影日、中心の緯度・経度、ユーザーにより選択された被覆物の被覆率などを含む。なお、このポップアップ１３００は、３ページからなり、ページ切替部１３０３を通じて、表示対象となるページが切り替えられる。また、１頁あたり５個の検索結果が表示されているが、これは一例にすぎない。また、１２件の検索結果は、ユーザーにより指定された並び替えルールにしたがって並び替えられている。

【0082】

ところで、ユーザーは、自ら選択した矩形の検索領域１２０３に含まれる複数の衛星画像のうちで、より中心に存在する衛星画像に最も強い関心があると考えられる。そのため、制御部１１は、ユーザーの検索要求に応じて検索結果を生成する際に、衛星画像の中心の緯度経度が、地図上で選択された矩形の検索領域１２０３の中心に近いものを検索結果の上位にランクさせてもよい。

【0083】

ポップアップ１３００において、雲を基準として並び替えられた検索結果が最初に表示され、その後に、畑を基準として並び替えられた検索結果が表示されてもよい。雲と畑のどちらの検索結果を先に表示するかは、領域／物体指定部１２１４において雲と畑とのどちらが上位に表示されているかに連動してもよい。

【0084】

図１２が例示する閾値設定部１２１６において、領域（被覆物）に対して設定される閾値は、たとえば、被覆率の下限値と上限値とが指定可能であってもよい。図１２では被覆率の下限値が０％であり、上限値が１０％に設定されている。よって、この例では、雲の被覆率が０％以上でかつ１０％以下の衛星画像が画像ＤＢ１４１に基づき抽出されることになる。

【0085】

また、図１２の例では、撮影期間として２０２１／０１／０２から２０２１／０１／０５までの期間が設定されている。撮影日の表示順は降順が設定されている。被覆物が雲である領域の表示順は昇順が設定されている。雲の被覆率の閾値０％以上かつ１０％以下が設定されている。被覆物が畑である領域の表示順は降順が設定されている。畑の被覆率の閾値は７０％以上でかつ１００％以下が設定されている。そのため、図１３の検索結果の表示例では、衛星画像中における雲の被覆率が０％以上でかつ１０％以下であり、かつ、畑の被覆率が７０％以上であるサムネイル画像とそのメタデータが表示されている。また、撮影日に関しては降順が採用されている。雲の被覆率については昇順が採用されている。畑の被覆率には降順が採用されている。つまり、指定された撮影期間の中で、快晴でかつ畑が多く含まれる衛星画像が、撮影日が最新のものから順番に表示される。これは、たとえば、衛星画像から畑で作られた農作物の収穫高を予測するために必要な衛星画像が的確に抽出されることになろう。

【0086】

ポップアップ１３００において、サムネイル画像が選択されると、サムネイル画像に関連付けられている画像ＩＤが端末４から情報処理装置１に送信される。制御部１１は、端末ＩＤに関連付けられている衛星画像のダウンロードページを端末４に送信する。端末４において表示されたダウンロードページにおいて認証情報が入力されると、制御部１１は、ユーザーのログイン認証を実行してもよい。ログイン認証が成功すると、制御部１１は、画像ＩＤに対応する衛星画像を画像プール１４２から読み出して、端末４へ送信する。端末４は、受信した衛星画像を表示する。これにより、ユーザーは衛星画像の詳細を確認することが可能となる。衛星画像をダウンロードする際には、ダウンロードのたびに課金する従量課金制で、または、サブスクリプション契約による定額課金制で、ユーザーに対して制御部１１が課金してもよい。

【0087】

制御部１１は、検索を実行するたびに検索条件をユーザーに関連付けて自動的に保存しておき、次回以降の検索時に前回の検索条件と同一の検索条件をデフォルトの検索条件としてユーザーインタフェース１２００に表示してもよい。

【0088】

図１４は、端末４にてユーザーが所望する自由なキーワードの入力を受け付けるキーワード入力部１４００を示している。端末４は、検索ボタン１２１７が押されると、キーワード入力部１４００に入力されたキーワードと検索領域１２０３の緯度経度とを含む検索要求を情報処理装置１へ送信する。

【0089】

キーワード入力部１４００には、たとえば、住所、地名、施設名、河川名など地物に関する自由なキーワードが入力されてもよい。

【0090】

制御部１１は、端末４から受信された検索要求にしたがって画像マスターテーブルＴ１の住所列およびタグ列を全文検索し、ヒットしたキーワードに対応する衛星画像とそのメタデータを含む検索結果を端末４に送信する。

【0091】

全文検索を高速化するために、画像マスターテーブルＴ１にＮ－ｇｒａｍなどによる転置インデックスが採用されてもよい。キーワード（例：住所、タグ）による全文検索に加えて、撮影期間や緯度経度など他の検索条件が加えられてよい。撮影日による昇順ソート、降順ソートなどの検索条件も追加されてもよい。

【0092】

また、人工衛星は姿勢や軌道によって、ターゲットとなる衛星画像の撮像中心が異なる場合がある、という衛星画像特有の問題がある。たとえば、東京タワーをターゲットにした場合、日時によって、東京タワーが中心に表示される場合と東京タワーが右に寄って表示される場合がある。そこで、被覆率に応じて衛星画像を並び替えて端末４に出力することで、求める衛星画像をユーザーは視覚的に把握することができ、ユーザーの利便性がよい。

【0093】

＜実施例から導き出される技術思想＞
［観点１］
図１５は制御部１１がプログラムＰなどを実行することで実現される機能を示している。取得部１５０１は、大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する。たとえば、取得部１５０１は、人工衛星３から送信され、アンテナ２を介して転送される衛星画像を通信部１３により受信してもよい。衛星画像は、上述した領域分類器１４３、物体検出器１４４、緯度経度検出器１４５およびサムネイル生成器１４６に渡される。衛星画像は、画像プール１４２に保持されていてもよい。つまり、補助記憶部１４および画像プール１４２は、取得部により取得され、それぞれ地域が異なるおよび／またはそれぞれ撮影時刻が異なる複数の画像を記憶する記憶部として機能する。領域分類器１４３および被覆率決定部１５０２は、記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する。カウンタ１５０３は、物体検出器１４４により衛星画像から検出された物体の個数をカウント（計数）する。登録部１５０４は、衛星画像に画像ＩＤを付与し、被覆物の被覆率、物体の個数、緯度経度およびサムネイル画像などを画像ＤＢ１４１に登録する。

【0094】

制御部１１は、検索結果を表示するＷｅｂページを端末４に提供するＷｅｂサーバー１５１１を有している。受付部１５１２は、Ｗｅｂサーバー１５１１を通じて端末４のＷｅｂブラウザから検索要求、ページ遷移要求、ダウンロード要求など、各種の要求を受け付ける。検索部１５１３は、記憶部に記憶されている複数の画像のうち、被覆率が特定の条件を満たしている画像を検索して抽出する。特定の条件は、検索要求の一部であってもよい。ページ作成部１５１４およびＷｅｂサーバーおよび端末４の表示装置は、検索部１５１３により抽出された被覆率が特定の条件を満たしている画像を出力する出力部として機能する。これにより、ユーザーのさらなるニーズに応えることが可能な画像提供システムが提供される。

【0095】

ソート部１５１５は、検索部により抽出された複数の画像を前記被覆率に応じて並び替える並び替え部として機能する。ページ作成部１５１４およびＷｅｂサーバー１５１１および端末４の表示装置は、被覆率に応じて並び替えられた複数の画像を出力する出力部として機能してもよい。これにより、所定の被覆物の被覆率に応じて複数の画像が並び替えられる。

【0096】

［観点２］
ソート部１５１５は、複数の画像についてそれぞれ求められた被覆率に基づき複数の画像を昇順または降順で並び替えてもよい。

【0097】

［観点３］
受付部１５１２またはユーザーインタフェース１２００は、並び替えの条件（例：並び替えルール）を受け付ける条件受付部として機能する。検索部１５１３は、条件受付部により受け付けられた条件にしたがって被覆率が特定の条件を満たしている複数の画像を並び替えてもよい。これにより、ユーザーの希望する順序で検索結果が並び替えることが可能となる。

【0098】

ソート部１５１５は、複数の画像についてそれぞれ求められた第１の被覆物の被覆率と、第２の被覆物の被覆率とに基づき複数の画像を昇順または降順で並び替えてもよい。並び替えにおいて第１の被覆物の被覆率は第２の被覆物の被覆率よりも優先されてもよい。図１３では、雲の被覆率（昇順）が畑の被覆率（降順）よりも優先されている。そのため、雲の被覆率が同一である二つの衛星画像が見つかると、この二つの衛星画像は畑の被覆率に応じて降順で並び替えられる。

【0099】

［観点４］
受付部１５１２またはユーザーインタフェース１２００は、被覆物の種別を受け付ける種別受付部として機能してもよい。検索部１５１３は、種別受付部により受け付けられた特定の種別の被覆物の被覆率が特定の条件を満たしている画像を検索して抽出してもよい。これにより、ユーザーが注目している特定の種別の被覆物についての検索結果が得られるようになろう。

【0100】

［観点５］
受付部１５１２またはユーザーインタフェース１２００は、記憶部に記憶されている複数の衛星画像から抽出された二以上の被覆物の種別を選択候補として表示してもよい。受付部１５１２またはユーザーインタフェース１２００は、当該表示された選択候補から被覆物の種別を受け付けてもよい。図１３に関連して説明されたように、検索領域１２０３において被覆物の種別として雲と畑が抽出されると、雲と畑とが選択候補として表示される。ユーザーは、受付部１５１２またはユーザーインタフェース１２００を通じて、雲と畑とのうちのいずれか一方を選択したり、両方を選択したりしてもよい。なお、受付部１５１２は、選択候補のリストを表示し、当該リストからユーザーにより選択された被覆物の種別をユーザーインタフェース１２００に表示してもよい。

【0101】

［観点６］
図３が例示するように、記憶部は、複数の画像をそれぞれ撮影日と関連付けて記憶していてもよい。検索部１５１３は、検索条件として指定された撮影日または撮影期間に地表を撮影して取得された画像であって、被覆率が特定の条件を満たしている画像を検索して抽出してもよい。これにより、特定の時期に着目して画像を取得することが可能となろう。たとえば、穀物の収穫期における穀物の被覆率から穀物の収穫高を推定することが可能となろう。

【0102】

［観点７］
特定の条件（例：検索条件）は、被覆率が所定の閾値を越えるまたは下回っていることであってもよい。これにより、たとえば、雲の被覆率が少ない、快晴の日の地表の画像を取得することが可能となろう。

【0103】

［観点８］
被覆物は、たとえば、雲、海、湖、塩湖、畑、山岳地帯、森林、砂漠、田、河川、雪山のうちのいずれかを含みうる。ただし、これらは被覆物の一例にすぎず、他の被覆物が分類対象および検索対象として指定されてもよい。

【0104】

［観点９］
図３が例示するように、記憶部は、各画像に写り込んでいる地表の位置を表す位置情報（例：緯度経度）を関連付けて記憶してもよい。検索部１５１３は、ユーザーにより指定された特定の位置（例：検索領域１２０３に含まれる緯度経度）の地表において被覆物の被覆率が特定の条件を満たしている画像を検索して抽出してもよい。これにより、ユーザーが希望する特定の位置の画像が抽出されることになろう。

【0105】

［観点１０］
図４が例示するように、地物ＤＢ１４７は、予め定められた撮影ターゲットの名称と当該撮影ターゲットの位置情報とを保持する保持部の一例である。ユーザーにより指定された特定の位置は、保持部に保持されている撮影ターゲットの位置情報であってもよい。たとえば、キーワード入力部１４００に、「東京タワー」や「浅草寺」などの特定のターゲット名が入力されてもよい。検索部１５１３は、ユーザーにより指定された特定の撮影ターゲットの名称に関連付けられている位置情報により示される位置に基づき、画像を検索してもよい。たとえば、検索部１５１３は、特定のターゲット名に基づき地物ＤＢ１４７を参照することで、特定のターゲット名の緯度経度を特定してもよい。これにより、特定のターゲット付近の画像を容易に抽出することが可能となろう。

【0106】

［観点１１、１２］
検索部１５１３は、被覆物の被覆率が特定の条件を満たす複数の画像のうち、ユーザーにより指定された物体の個数が所定条件を満たしている画像を検索して抽出してもよい。物体は、航空機、車両または船舶のいずれかであってもよい。これにより、特定の物体の個数に着目して画像を取得することが可能となろう。たとえば、特定の運河における船舶の数に着目して画像を取得することが可能となろう。また、交通量を測定する機器が配置されていない地方における車両の運行数を容易にカウントすることも可能となろう。

【0107】

［観点１３］
飛翔体は、人工衛星、航空機、またはドローンのいずれかであってもよい。つまり、画像を衛星画像だけでなく、航空機、またはドローンにより撮影された航空写真であってもよい。

【0108】

［観点１４］
本実施形態によれば、大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得工程と、
前記取得工程により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像を記憶部に記憶する記憶工程と、
前記記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定工程と、
前記記憶部に記憶されている前記複数の画像のうち、前記被覆率が特定の条件を満たしている画像を検索して抽出する検索工程と、
前記検索工程において抽出された複数の画像を前記被覆率に応じて並び替える並び替え工程と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力工程と、を有する画像提供方法が提供される。

【0109】

［観点１５］
プログラムＰは、大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得工程と、
前記取得工程により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像を記憶部に記憶する記憶工程と、
前記記憶部に記憶されている複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定工程と、
前記記憶部に記憶されている前記複数の画像のうち、前記被覆率が特定の条件を満たしている画像を検索して抽出する検索工程と、
前記検索工程において抽出された複数の画像を前記被覆率に応じて並び替える並び替え工程と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力工程と、をコンピュータに実行させるプログラムの一例である。

【0110】

［観点１６］
本実施形態によれば、大気圏内または大気圏外を飛翔する飛翔体から地表を撮像して得られた画像を取得する取得部と、
前記取得部により取得され、それぞれ地域が異なるまたはそれぞれ撮影時刻が異なる複数の画像について、各画像に写り込んでいる、地表を被覆する被覆物の被覆率を決定する決定部と、
前記複数の画像のうち、前記被覆率が特定の条件を満たしている複数の画像を前記被覆率に応じて並び替える並び替え部と、
前記被覆率に応じて並び替えられた前記複数の画像を出力する出力部と、を有する情報処理装置が提供される。

【0111】

［観点１７］
物体検出器１４４およびカウンタ１５０３は、記憶部に記憶されている複数の画像について、各画像に写り込んでいる、物体の個数を決定する決定部として機能する。検索部１５１３は、記憶部に記憶されている複数の画像のうち、個数が特定の条件を満たしている画像を検索して抽出してもよい。ページ作成部１５１４、Ｗｅｂサーバー１５１１および端末４は検索部により抽出された個数が特定の条件を満たしている画像を出力する出力部として機能してもよい。

【0112】

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0113】

１：情報処理装置、１１：制御部、１２：主記憶部、１４：補助記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】