(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024016765
(43)【公開日】2024-02-07
(54)【発明の名称】処理装置、処理プログラム及び処理方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20240131BHJP
H04N 5/222 20060101ALI20240131BHJP
H04N 5/92 20060101ALI20240131BHJP
【ＦＩ】
H04N5/232 300
H04N5/222 100
H04N5/92 010
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022119118
(22)【出願日】2022-07-26
(71)【出願人】
【識別番号】510255521
【氏名又は名称】ナビコムアビエーション株式会社
(74)【代理人】
【識別番号】100151448
【弁理士】
【氏名又は名称】青木 孝博
(74)【代理人】
【識別番号】230121016
【弁護士】
【氏名又は名称】小笠原 匡隆
(72)【発明者】
【氏名】船坂 直哉
(72)【発明者】
【氏名】大賀 理司
【テーマコード（参考）】
5C053
5C122
【Ｆターム（参考）】
5C053GB06
5C053JA21
5C053LA01
5C053LA04
5C053LA06
5C053LA11
5C053LA14
5C122DA03
5C122EA61
5C122FH11
5C122GA34
5C122GC52
5C122HA01
5C122HA90
5C122HB01
(57)【要約】
【課題】
飛翔体に備えられたカメラで撮影された動画をより利用しやすいものとする。
【解決手段】
少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、前記静止画と前記動画に含まれる各フレーム画像とを比較し、前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける。
【選択図】 図５
飛翔体に備えられたカメラで撮影された動画をより利用しやすいものとする。
【解決手段】
少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、前記静止画と前記動画に含まれる各フレーム画像とを比較し、前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける。
【選択図】 図５
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを具備する処理装置であって、
前記少なくとも一つのプロセッサは、
カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、
前記静止画と前記動画に含まれる各フレーム画像とを比較し、
前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける、
ための処理を実行するように構成された処理装置。
前記少なくとも一つのプロセッサは、
カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、
前記静止画と前記動画に含まれる各フレーム画像とを比較し、
前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける、
ための処理を実行するように構成された処理装置。
【請求項2】
前記静止画は前記第１期間よりも短い間隔で撮影された複数の静止画を含み、
前記複数の静止画のそれぞれと、各フレーム画像とが比較される、
請求項１に記載の処理装置。
前記複数の静止画のそれぞれと、各フレーム画像とが比較される、
請求項１に記載の処理装置。
【請求項3】
前記比較によって前記各フレーム画像のうち前記静止画と所定の一致度を有する一のフレーム画像を特定し、
前記一のフレーム画像が特定された場合、前記動画情報に対して前記第１時間と前記位置情報が対応付けられる、
請求項１に記載の処理装置。
前記一のフレーム画像が特定された場合、前記動画情報に対して前記第１時間と前記位置情報が対応付けられる、
請求項１に記載の処理装置。
【請求項4】
前記比較によって前記各フレーム画像のうち前記静止画と所定の一致度を有する一のフレーム画像が特定され、
前記動画のうち、前記一のフレーム画像が少なくとも含まれ、かつ前記第１期間よりも短い第２期間の分割動画を示す分割動画情報に対して前記第１時間と前記位置情報が対応付けられる、
請求項１に記載の処理装置。
前記動画のうち、前記一のフレーム画像が少なくとも含まれ、かつ前記第１期間よりも短い第２期間の分割動画を示す分割動画情報に対して前記第１時間と前記位置情報が対応付けられる、
請求項１に記載の処理装置。
【請求項5】
前記位置情報は前記第１期間よりも短い間隔で検出された複数の位置情報を含み、
前記複数の位置情報が検出された前記間隔に基づいて前記動画を分割する間隔である前記第２期間が設定される、
請求項４に記載の処理装置。
前記複数の位置情報が検出された前記間隔に基づいて前記動画を分割する間隔である前記第２期間が設定される、
請求項４に記載の処理装置。
【請求項6】
前記少なくとも一つのプロセッサは、
ユーザから指定された位置を示す指定位置情報を受信すると、前記複数の位置情報のうち最も近い位置の位置情報を特定し、
特定された前記最も近い位置の位置情報に対応付けられた分割動画情報を選択する、
ための処理を実行するように構成された、請求項５に記載の処理装置。
ユーザから指定された位置を示す指定位置情報を受信すると、前記複数の位置情報のうち最も近い位置の位置情報を特定し、
特定された前記最も近い位置の位置情報に対応付けられた分割動画情報を選択する、
ための処理を実行するように構成された、請求項５に記載の処理装置。
【請求項7】
前記動画は複数の周回衛星を介した衛星通信により前記飛翔体から送信される、請求項１に記載の処理装置。
【請求項8】
少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、
カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、
前記静止画と前記動画に含まれる各フレーム画像とを比較し、
前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける、
ように機能させる処理プログラム。
カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、
前記静止画と前記動画に含まれる各フレーム画像とを比較し、
前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける、
ように機能させる処理プログラム。
【請求項9】
少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、
カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信する段階と、
前記静止画と前記動画に含まれる各フレーム画像とを比較する段階と、
前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける段階と、
を含む処理方法。
カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信する段階と、
前記静止画と前記動画に含まれる各フレーム画像とを比較する段階と、
前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける段階と、
を含む処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、飛翔体に備えられたカメラによって撮影された動画を処理するための処理層、処理プログラム及び処理方法に関する。
【背景技術】
【0002】
従来より、カメラが供えられた飛翔体を用いて撮影された動画を処理するためのシステムが知られていた。例えば、特許文献１には、ドローンを含む複数の撮影装置で撮影した被写体の動画を用い、時間帯ごとに異なるアングルの被写体の映像が再生される新たな動画を作成する動画作成システムであって、それぞれ異なるアングルで被写体の動画を撮影する前記複数の撮影装置と、それぞれのアングルで被写体を撮影した動画のどの時間帯の部分を切り出すか、および切り出した前記部分をどの順でつなげるかを定めた編集パターンに基づき、各撮影装置で撮影した被写体の動画の一部を切り出して当該一部をつなぎ合わせることで、前記新たな動画を作成する動画作成装置と、を有することを特徴とする動画作成システム、が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１５３２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、上述した背景からなされたものであり、飛翔体に備えられたカメラで撮影された動画をより利用しやすいものとすることが可能な処理装置、処理プログラム及び処理方法を提供する。
【課題を解決するための手段】
【0005】
本開示の一態様によれば、「少なくとも一つのプロセッサを具備する処理装置であって、前記少なくとも一つのプロセッサは、カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、前記静止画と前記動画に含まれる各フレーム画像とを比較し、前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける、ための処理を実行するように構成された処理装置」が提供される。
【0006】
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信し、前記静止画と前記動画に含まれる各フレーム画像とを比較し、前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける、ように機能させる処理プログラム」が提供される。
【0007】
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、カメラを備え上空を飛翔する飛翔体から、前記カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、前記第１時間において前記飛翔体が飛翔した位置を示す位置情報と、前記カメラによって前記第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信する段階と、前記静止画と前記動画に含まれる各フレーム画像とを比較する段階と、前記比較の結果に基づいて、前記静止画が撮影された前記第１時間と前記飛翔体が飛翔した位置情報とを前記動画情報に対応付ける段階と、を含む処理方法」が提供される。
【発明の効果】
【0008】
本開示によれば、飛翔体に備えられたカメラで撮影された動画をより利用しやすいものとすることが可能な処理装置、処理プログラム及び処理方法を提供することができる。
【0009】
なお、上記効果は説明の便宜のための例示的なものにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
添付図面を参照して本開示の実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。
【0012】
１．本開示に係る処理システム１の概要
本開示に係る処理システム１は、一例としては、上空を飛翔する飛翔体のカメラによって撮影された動画を配信するときに、当該動画に対して位置情報及び時間情報の少なくともいずれか一つを対応付けるために用いられる。例えば、ストリーミング配信される動画を構成する各フレームには通常位置情報や、撮影された時間の情報が対応付けられていない。そのため、ユーザが位置や時間を指定して所望の期間の動画のみを取得するのが困難である。そこで、上記のとおり、動画に対して位置情報及び時間情報の少なくともいずれか一つを対応付けることによって、所望の位置又は時間を指定して、指定された位置又は時間に関連する期間の動画のみを取得することが可能となる。
本開示に係る処理システム１は、一例としては、上空を飛翔する飛翔体のカメラによって撮影された動画を配信するときに、当該動画に対して位置情報及び時間情報の少なくともいずれか一つを対応付けるために用いられる。例えば、ストリーミング配信される動画を構成する各フレームには通常位置情報や、撮影された時間の情報が対応付けられていない。そのため、ユーザが位置や時間を指定して所望の期間の動画のみを取得するのが困難である。そこで、上記のとおり、動画に対して位置情報及び時間情報の少なくともいずれか一つを対応付けることによって、所望の位置又は時間を指定して、指定された位置又は時間に関連する期間の動画のみを取得することが可能となる。
【0013】
ここで、図１は、本開示の実施形態に係る飛翔体の飛翔ルートの例を概略的に示す図である。図１によれば、ある飛翔体が、地点１～地点５を通過する飛翔ルート５０上を飛翔したことが示されている。すなわち、当該飛翔体は、第１時間において地点１から離陸し、第２時間において地点２を、第３時間において地点３を、第４時間において地点４を、第５時間において地点５を通過している。
【0014】
なお、図１においては、地点１を離陸した時間を第１時間と称しているが、本開示において第１時間は離陸した時間のみならず、飛翔体が飛翔した期間における任意の時間のことを意味する。同様に、第２時間～第５時間も、飛翔体が飛翔した期間における任意の時間のことを意味する。また、離陸した地点を地点１と称しているが、本開示において地点１は離陸した地点のみにならず、飛翔体が飛翔した飛翔ルート上の任意の地点のことを意味する。同様に、地点２～地点５も、飛翔体が飛翔した飛翔ルート上の任意の地点のことを意味する。さらに、図１においては、地点１～地点５及び第１時間～第５時間のみが記載されているが、本開示においては１又は複数の地点及び時間が特定できればよく、その数はいずれでもよい。
【0015】
また、本開示において、「飛翔体」は、少なくとも地上から一定の距離だけ浮上して上空を飛翔することが可能な物体であればいずれでもよく、有人又は無人を問わない。このような飛翔体の例としては、飛行機やグライダーなどの重航空機、気球や飛行船などの軽航空機、ヘリコプターやオートジャイロなどの回転翼機、ドローンなどの無人航空機、静止衛星や軌道衛星などの衛星、ロケット、バルーン等が挙げられる。
【0016】
２．処理システム１の構成
図２は、本開示の実施形態に係る処理システム１の構成を概略的に示す概念図である。図２によると、処理装置１００が設置された地上局１０と、カメラを備え上空を飛翔する飛翔体２０と、地上局１０及び飛翔体２０との間の通信を中継する一又は複数の衛星３０とを含む。そして、地上局１０と衛星３０は無線通信ネットワーク４０－１で、飛翔体２０と衛星３０は無線通信ネットワーク４０－２で通信可能に接続されている。
図２は、本開示の実施形態に係る処理システム１の構成を概略的に示す概念図である。図２によると、処理装置１００が設置された地上局１０と、カメラを備え上空を飛翔する飛翔体２０と、地上局１０及び飛翔体２０との間の通信を中継する一又は複数の衛星３０とを含む。そして、地上局１０と衛星３０は無線通信ネットワーク４０－１で、飛翔体２０と衛星３０は無線通信ネットワーク４０－２で通信可能に接続されている。
【0017】
無線通信ネットワーク４０－１及び無線通信ネットワーク４０－２は、それぞれ少なくとも一部に無線通信が用いられていればよく、有線通信と組み合わされた通信ネットワークであってもよい。このような無線通信ネットワーク４０－２の一例としては、衛星通信、セルラー通信、近距離無線通信など種々の無線通信を利用したネットワークが利用できるが、好適には衛星通信を利用したネットワークが、特に好適には周回衛星であるイリジウム衛星通信を利用したネットワークが利用される。セルラー通信では基地局等の地上におけるインフラ設備が必須でありその通信範囲も制限されている。しかし、イリジウム衛星通信を利用することによって、セルラー通信ができないエリアでも飛翔体２０からの情報を受信することが可能であり、とりわけ災害時や緊急時にも有効に利用することができる。さらに、静止衛星を利用した衛星電話の場合、衛星の方向が決められているため、飛翔体２０のアンテナの向きによっては通信が制限されたり、アンテナの向きを追尾させ、アンテナからの出力も上げる必要がある。しかし、６６個の周回衛星を利用したイリジウム衛星通信の場合、アンテナの向きの追尾等の必要がなく、より簡単な構成で搭載することが可能である。他方、イリジウム衛星通信などの衛星通信は、他の無線通信（例えば、セルラー通信）と比べ一度に送信できる情報の量や速度が制限される。そのため、動画などの情報量の多い情報を送信する場合には、位置情報や時間情報などを効率的に取得し対応付ける必要がある。
【0018】
なお、図２においては、地上局１０、飛翔体２０及び衛星３０はそれぞれ１体のみ記載されているが、当然複数の地上局１０、複数の飛翔体２０、及び複数の衛星３０を適宜組み合わせてもよい。
【0019】
３．処理装置１００の構成
図３は、本開示の実施形態に係る処理装置１００の構成の例を示すブロック図である。処理装置１００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、一部の構成要素を他の処理装置やクラウドサーバ装置に分散して備えることも可能である。また、図３においては、処理装置１００が地上局１０に設置される場合について説明しているが、処理装置１００はクラウドサーバ装置として地上局１０以外の場所に設置されていてもよい。
図３は、本開示の実施形態に係る処理装置１００の構成の例を示すブロック図である。処理装置１００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、一部の構成要素を他の処理装置やクラウドサーバ装置に分散して備えることも可能である。また、図３においては、処理装置１００が地上局１０に設置される場合について説明しているが、処理装置１００はクラウドサーバ装置として地上局１０以外の場所に設置されていてもよい。
【0020】
処理装置１００は、典型的には、ラップトップパソコンやデスクトップパソコンに代表される無線通信可能な処理装置が挙げられるが、当然これらのみには限られない。例えば、処理装置１００としては、携帯情報端末、ＰＤＡ、スマートフォン、タブレット端末など、本開示に係るプログラムを実行可能な装置であれば、いずれでも好適に適用することが可能である。
【0021】
図３によると、処理装置１００は、出力インターフェイス１１１、プロセッサ１１２、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）等を含むメモリ１１３、通信処理回路及びアンテナを含む通信インターフェイス１１４、タッチセンサ及びハードキーを含む入力インターフェイス１１６を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
【0022】
出力インターフェイス１１１は、プロセッサ１１２の指示に応じて本開示に係るプログラムを実行することによって出力される各種表示を、ディスプレイやプリンタ等の機器に出力する出力部として機能する。なお、このようなディスプレイは、例えば液晶ディスプレイ、有機ＥＬディスプレイ又は電子ペーパー等から構成される。
【0023】
プロセッサ１１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。具体的には、プロセッサ１１２は、本開示に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムをメモリ１１３から読み出して実行する。特に、本開示においては、プロセッサ１１２は、「カメラを備え上空を飛翔する飛翔体２０から、カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、第１時間において飛翔体２０が飛翔した位置を示す位置情報と、カメラによって第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信する処理」、「静止画と動画に含まれる各フレーム画像とを比較する処理」、「比較の結果に基づいて、静止画が撮影された第１時間と飛翔体２０が飛翔した位置情報とを前記動画情報に対応付ける処理」、「ユーザから指定された位置を示す指定位置情報を受信すると、複数の位置情報のうち最も近い位置の位置情報を特定する処理」、「特定された最も近い位置の位置情報に対応付けられた分割動画情報を選択する処理」等を実行する。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵやＧＰＵを組み合わせて構成しても良い。
【0024】
メモリ１１３は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。特に、本開示においては、メモリ１１３は、「カメラを備え上空を飛翔する飛翔体２０から、カメラによって第１時間を含む第１期間において撮影された複数のフレーム画像を含む動画を示す動画情報と、第１時間において飛翔体２０が飛翔した位置を示す位置情報と、カメラによって第１時間において撮影された少なくとも一つの静止画を示す静止画情報とを受信する処理」、「静止画と動画に含まれる各フレーム画像とを比較する処理」、「比較の結果に基づいて、静止画が撮影された第１時間と飛翔体２０が飛翔した位置情報とを動画情報に対応付ける処理」、「ユーザから指定された位置を示す指定位置情報を受信すると、複数の位置情報のうち最も近い位置の位置情報を特定する処理」、「特定された最も近い位置の位置情報に対応付けられた分割動画情報を選択する処理」等を実行するためのプログラムを記憶する。
【0025】
通信インターフェイス１１４は、通信処理回路及びアンテナを介して、飛翔体に設置された飛翔体端末装置２００や他の処理装置との間で情報の送受信をする通信部として機能する。通信処理回路は、処理システム１において用いられるプログラムや各種情報等を処理の進行に応じて、飛翔体端末装置２００や他の処理装置に情報を送受信するための処理をする。特に、本開示においては、飛翔体２０から動画情報、静止画情報、時間情報、位置情報等が、ユーザのユーザ端末装置（図示しない）から指定位置情報が通信インターフェイス１１４を介して受信され、ユーザのユーザ端末装置（図示しない）に分割動画情報等が通信インターフェイス１１４を介して送信される。
【0026】
通信処理回路は、上記のとおり、イリジウム無線通信方式に基づいて処理されるが、当然ＬＴＥ方式に代表されるような広帯域の無線通信方式、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。また、無線通信に加えて有線通信を用いることも可能である。
【0027】
入力インターフェイス１１６は、タッチパネルやハードキー等から構成され、本開示に係るプログラムの実行に係る指示入力や、様々な情報を登録するための操作入力等を受け付ける入力部として機能する。タッチパネルは、出力インターフェイス１１１を被覆するように配置され、出力インターフェイス１１１からディスプレイに出力される画像データに対応する位置座標の情報を、プロセッサ１１２に送信する。タッチパネル方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。本開示においては、タッチパネルは、指示体により出力インターフェイス１１１に表示された各アイコン等に対するスワイプ操作やタップ操作を検出する。なお、本開示では処理装置１００に備えられる入力インターフェイス１１６を用いたが、例えばマウスのような、プロセッサ１１２等を備える本体に無線又は有線で接続された入力インターフェイス１１６を用いることも可能である。
【0028】
４．飛翔体端末装置２００の構成
図４は、本開示の実施形態に係る飛翔体端末装置２００の構成の例を示すブロック図である。飛翔体端末装置２００は、図４に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、飛翔体端末装置２００は単一の筐体に図４に図示する全ての構成要素を備える必要はなく、飛翔体２０の内部に分散して配置することも可能である。
図４は、本開示の実施形態に係る飛翔体端末装置２００の構成の例を示すブロック図である。飛翔体端末装置２００は、図４に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、飛翔体端末装置２００は単一の筐体に図４に図示する全ての構成要素を備える必要はなく、飛翔体２０の内部に分散して配置することも可能である。
【0029】
図４によると、飛翔体端末装置２００は、プロセッサ２１２、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）等を含むメモリ２１３、通信処理回路及びアンテナを含む通信インターフェイス２１４、位置センサ２１５及びカメラ２１６を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
【0030】
プロセッサ２１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ２１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。具体的には、プロセッサ２１２は、本開示に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムをメモリ２１３から読み出して実行する。特に、本開示においては、プロセッサ２１２は、「操作者からの操作入力を入力インターフェイス（図示しない）を介して受け付けてカメラ２１６による動画の撮影を開始及び終了する処理」、「操作者の操作入力に基づいて又はあらかじめ決められた間隔でカメラ２１６による静止画の撮影をする処理」、「操作者の操作入力に基づいて又はあらかじめ決められた間隔で位置センサ２１５による位置情報の取得をする処理」、「操作者の操作入力に基づいて又はあらかじめ決められた間隔でタイマー（図示しない）による時間の取得をする処理」、「撮影された動画を示す動画情報、撮影された静止画を示す静止画情報、飛翔体が飛翔した位置を示す位置情報、及び飛翔体が飛翔した時間を示す時間情報をそれぞれ通信インターフェイス２１４を介して処理装置１００に送信する処理」等を実行する。なお、プロセッサ２１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵやＧＰＵを組み合わせて構成しても良い。
【0031】
メモリ２１３は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ２１２により処理されている間、データの書き込み及び読み込みをするために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。特に、本開示においては、メモリ２１３は、「操作者からの操作入力を入力インターフェイス（図示しない）を介して受け付けてカメラ２１６による動画の撮影を開始及び終了する処理」、「操作者の操作入力に基づいて又はあらかじめ決められた間隔でカメラ２１６による静止画の撮影をする処理」、「操作者の操作入力に基づいて又はあらかじめ決められた間隔で位置センサ２１５による位置情報の取得をする処理」、「操作者の操作入力に基づいて又はあらかじめ決められた間隔でタイマー（図示しない）による時間の取得をする処理」、「撮影された動画を示す動画情報、撮影された静止画を示す静止画情報、飛翔体が飛翔した位置を示す位置情報、及び飛翔体が飛翔した時間を示す時間情報をそれぞれ通信インターフェイス２１４を介して処理装置１００に送信する処理」等を実行するためのプログラムを記憶する。
【0032】
通信インターフェイス２１４は、通信処理回路及びアンテナを介して、処理装置１００や他の処理装置、他の飛翔体との間で情報の送受信をする通信部として機能する。通信処理回路は、処理システム１において用いられるプログラムや各種情報等を処理の進行に応じて、処理装置１００や他の処理装置、他の飛翔体に情報を送受信するための処理をする。特に、本開示においては、処理装置１００に動画情報、静止画情報、時間情報、位置情報等が通信インターフェイス１１４を介して送信される。
【0033】
通信処理回路は、上記のとおり、イリジウム無線通信方式に基づいて処理されるが、当然ＬＴＥ方式に代表されるような広帯域の無線通信方式、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。
【0034】
位置センサ２１５は、飛翔体２０の位置を検出するための位置検出部として機能する。このような位置センサ２１５としては、典型的にはＧＰＳが用いられる。ＧＰＳは、複数の衛星との通信によって飛翔体２０の位置情報を検出する。位置情報の検出は、飛翔体２０において少なくともカメラ２１６による動画の撮影がされている期間において、所定間隔（例えば、３０秒毎）で実行される。なお、当該位置情報は、３０秒毎に限らず、より長い間隔であってもよいし、より短い間隔であってもよい。
【0035】
カメラ２１６は、被写体である地上が少なくとも含まれた動画及び静止画を撮影する撮影部として機能する。カメラ２１６は、一例としてＣＭＯＳイメージセンサと、所望の機能を実現するためのレンズ系と駆動系を備える。イメージセンサは、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサ等の他のセンサを用いることも可能である。カメラ２１６は、特に図示はしないが、一体のカメラで動画及び静止画を同時に撮影してもよいし、複数のカメラで動画と静止画を別々に撮影してもよい。ただし、この場合、動画を撮影するカメラ及び静止画を撮影するカメラにおいて、画角及びズーム幅を揃えることが望ましい。
【0036】
５．処理装置１００のメモリ１１３に記憶される情報
図５は、本開示の実施形態に係る動画情報、静止画情報、位置情報及び時間情報の関係を概略的に示す図である。具体的には、図５は、情報の地図に記載された飛翔ルート５０上を飛翔体が飛翔したときに飛翔体２０において取得される動画情報、静止画情報、時間情報及び位置情報のタイミングを示す図である。図５の上部に記載された地図によると、飛翔体２０は、飛翔ルート５０上を、地点１から離陸し、地点２、地点３、地点４及び地点５を通過して飛翔している。そして、図５の下部に記載されているように、飛翔体２０が飛翔しているときに、飛翔体端末装置２００のプロセッサ２１２は、カメラ２１６を制御して飛翔体２０の外部を画角に含む動画Ｖの撮影を開始する。当該動画Ｖは、撮影の開始から終了の期間（第１期間）に、フレーム画像Ｖ１、Ｖ２、Ｖ３・・・Ｖｎとして取り込む。すなわち、第１期間にわたってカメラ２１６によって撮影された動画Ｖは、フレーム画像Ｖ１、Ｖ２、Ｖ３・・・Ｖｎを含むように構成される。
図５は、本開示の実施形態に係る動画情報、静止画情報、位置情報及び時間情報の関係を概略的に示す図である。具体的には、図５は、情報の地図に記載された飛翔ルート５０上を飛翔体が飛翔したときに飛翔体２０において取得される動画情報、静止画情報、時間情報及び位置情報のタイミングを示す図である。図５の上部に記載された地図によると、飛翔体２０は、飛翔ルート５０上を、地点１から離陸し、地点２、地点３、地点４及び地点５を通過して飛翔している。そして、図５の下部に記載されているように、飛翔体２０が飛翔しているときに、飛翔体端末装置２００のプロセッサ２１２は、カメラ２１６を制御して飛翔体２０の外部を画角に含む動画Ｖの撮影を開始する。当該動画Ｖは、撮影の開始から終了の期間（第１期間）に、フレーム画像Ｖ１、Ｖ２、Ｖ３・・・Ｖｎとして取り込む。すなわち、第１期間にわたってカメラ２１６によって撮影された動画Ｖは、フレーム画像Ｖ１、Ｖ２、Ｖ３・・・Ｖｎを含むように構成される。
【0037】
また、動画が撮影される第１期間において、プロセッサ２１２は、カメラ２１６を制御して、動画Ｖのフレーム画像が取り込まれるタイミングに同期して、静止画Ｓを第１期間よりも短い所定の間隔（例えば、２分毎）で撮影する。すなわち、第１期間にわたって所定の間隔で撮影された静止画Ｓは、静止画Ｓ１、静止画Ｓ２、静止画Ｓ３、静止画Ｓ４、静止画Ｓ５を含む。これら静止画Ｓ１～静止画Ｓ５のそれぞれは、同期して取り込まれた動画Ｖのフレーム画像と同じ画角や被写体を含む。また、プロセッサ２１２は、カメラ２１６による静止画Ｓの撮影において、タイマーを参照して静止画Ｓ１～静止画Ｓ５のそれぞれが撮影された時間の情報を取得する。そして、時間情報として各静止画Ｓ１～静止画Ｓ５のメタデータとして、各静止画Ｓ１～静止画Ｓ５に対応付けて記憶する。なお、図５では地点１～地点５に対応して５枚の静止画を取得したが、当然この間隔や枚数のみには限らない。
【0038】
また、動画が撮影される第１期間において、プロセッサ２１２は、位置センサ２１５を制御して、飛翔体２０の位置情報Ｌ（例えば、緯度及び経度）を第１期間よりも短い所定の間隔（例えば、３０秒毎）で検出する。すなわち、第１期間にわたって所定の間隔で検出された位置情報Ｌは、位置情報Ｌ１～位置情報Ｌｎを含む。また、プロセッサ２１２は、位置センサ２１５の検出において、タイマーを参照して位置情報Ｌ１～位置情報Ｌｎのそれぞれが検出された時間の情報を取得する。そして、時間情報として各位置情報Ｌ１～位置情報Ｌｎに対応付けて記憶する。なお、図５では３０秒毎のタイミングで位置情報Ｌ１～位置情報Ｌｎを検出するようにしたが、当然この間隔のみには限らない。
【0039】
図５によれば、以上の処理によって、フレーム画像Ｖ１～Ｖｎを含む動画Ｖを示す動画情報、静止画Ｓ１～静止画Ｓ５を含み時間情報がそれぞれ対応付けられた静止画Ｓを示す静止画情報、位置情報Ｌ１～位置情報Ｌｎを含む時間情報がそれぞれ対応付けられた位置情報Ｌが取得される。取得されたこれらの情報は、好ましくはリアルタイムで、飛翔体２０を特定するための飛翔体ＩＤ情報に対応付けて、通信インターフェイス２１４を介して衛星３０に送信され、さらに衛星３０から地上局の処理装置１００に送信される。
【0040】
図６Ａは、本開示の実施形態に係る処理装置１００に記憶される動画情報テーブルを概念的に示す図である。当該動画情報テーブルには、飛翔体２０から送信された動画情報が処理装置１００において受信され記憶される。図６Ａによると、動画情報テーブルは、動画ＩＤ情報に対応付けて飛翔体ＩＤ情報及び動画データを含む。「動画ＩＤ情報」は、処理装置１００が動画情報を受信すると新たに生成される情報であって、各動画情報を識別するための各動画情報に固有の情報である。「飛翔体ＩＤ情報」は、飛翔体２０に対してあらかじめ付与された情報であって、各飛翔体２０を識別するための各飛翔体２０に固有の情報である。「動画データ」は、飛翔体２０において撮影されたフレーム画像Ｖ１～フレーム画像Ｖｎを含む動画Ｖのデータそのもの、又は当該データの格納先を示す情報である。
【0041】
ここで、例えば飛翔体２０において撮影されリアルタイムで地上局１０を介して配信されるストリーミング動画のような動画においては各フレーム画像に対して位置情報やその撮影された時間を示す時間情報が対応付けることが困難である。このように、図６Ａによると、飛翔体２０から送信された動画情報には、位置情報や時間情報が対応付けて記憶はされていない。
【0042】
図６Ｂは、本開示の実施形態に係る処理装置１００に記憶される静止画情報テーブルを概念的に示す図である。当該静止画情報テーブルには、飛翔体２０から送信された静止画情報が処理装置１００において受信され記憶される。図６Ｂによると、静止画情報テーブルは、静止画ＩＤ情報に対応付けて飛翔体ＩＤ情報、静止画情報及び時間情報を含む。「静止画ＩＤ情報」は、処理装置１００が静止画情報を受信すると新たに生成される情報であって、各静止画情報を識別するための各静止画情報に固有の情報である。「飛翔体ＩＤ情報」は、飛翔体２０に対してあらかじめ付与された情報であって、各飛翔体２０を識別するための各飛翔体２０に固有の情報である。「静止画データ」は、飛翔体２０において撮影された静止画Ｓ１～Ｓ５を含む静止画Ｓのデータそのもの、又は当該データの格納先を示す情報である。「時間情報」は、各静止画Ｓ１～Ｓ５がそれぞれ撮影された時間を示す情報である。
【0043】
なお、特に図示はしないが、処理装置１００のメモリ１１３には、位置情報テーブルが記憶される。位置情報テーブルには、飛翔体２０から受信した位置情報Ｌ１～位置情報Ｌｎを含む位置情報Ｌがその検出された時間を示す時間情報と、位置情報が検出された飛翔体２０を特定する飛翔体ＩＤ情報とに対応付けて記憶されている。また、当該位置情報Ｌは、位置情報テーブルにおいて静止画情報とは別に記憶するようにしたが、あらかじめ飛翔体２０において静止画像情報に含まれる各静止画Ｓ１～静止画Ｓ５に対応付けて、各静止画Ｓ１～静止画Ｓ５のメタ情報として記憶するようにしてもよい。
【0044】
図６Ｃは、本開示の実施形態に係る処理装置１００に記憶される分割動画情報テーブルを概念的に示す図である。当該分割動画情報テーブルには、飛翔体２０において取得された動画を分割して生成された分割動画が記憶される。図６Ｃによると、分割動画情報テーブルは、分割動画ＩＤ情報に対応付けて、分割動画データ、位置情報及び時間情報を含む。「分割動画ＩＤ情報」は、処理装置１００において新たな分割動画が生成されると新たに生成される情報であって、各分割動画を識別するための各分割動画に固有の情報である。「分割動画データ」は、処理装置１００において生成された分割動画のデータそのもの、又は当該データの格納先を示す情報である。「位置情報」は、各分割動画に対応付けられた位置情報であって、当該分割動画が飛翔体２０において撮影されたときの位置情報を示す情報である。「時間情報」は、各分割動画に対応付けられた時間情報であって、当該分割動画が飛翔体２０において撮影されたときの時間情報を示す情報である。
【0045】
６．処理装置１００において実行される処理フロー
図７は、本開示の実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図７は、飛翔体２０から衛星３０を介して動画情報を受信して分割動画情報を生成する場合に、処理装置１００において行われる処理フローを示す図である。当該処理フローは、主に、処理装置１００のプロセッサ１１２がメモリ１１３に記憶された処理プログラムを読みだして実行することにより行われる。
図７は、本開示の実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図７は、飛翔体２０から衛星３０を介して動画情報を受信して分割動画情報を生成する場合に、処理装置１００において行われる処理フローを示す図である。当該処理フローは、主に、処理装置１００のプロセッサ１１２がメモリ１１３に記憶された処理プログラムを読みだして実行することにより行われる。
【0046】
図７によると、プロセッサ１１２は、通信インターフェイス１１４を介して、飛翔体２０から動画情報を受信すると、動画ＩＤ情報を新たに生成して、受信した動画情報を当該動画ＩＤ情報に対応付けてメモリ１１３の動画情報テーブルに記憶する（Ｓ１１１）。また、プロセッサ１１２は、通信インターフェイス１１４を介して、飛翔体２０から静止画情報及び時間情報を受信すると、静止画ＩＤ情報を新たに生成して、受信した静止画情報及び時間情報を当該静止画ＩＤ情報に対応付けてメモリ１１３の静止画情報テーブルに記憶する（Ｓ１１２）。さらに、プロセッサ１１２は、通信インターフェイス１１４を介して、飛翔体２０から位置情報及び時間情報を受信すると、受信した位置情報及び時間情報をメモリ１１３の位置情報テーブルに記憶する（Ｓ１１３）。なお、ここでは、動画情報、静止画情報及び位置情報の順で受信し、メモリ１１３に記憶することとしたが、当然これのみには限らない。例えば、リアルタイミングで受信した動画をストリーミング配信するような場合には、所定の期間ごとに随時のタイミングで動画情報が受信される場合もある。また、動画情報、静止画情報及び位置情報がそれぞれ異なるタイミングで受信されたり、いずれかの情報のみが受信される場合もある。
【0047】
静止画情報テーブルに記憶された静止画情報に含まれる各静止画Ｓ１～静止画Ｓ５に対して、対応付けて記憶された時間情報に基づいて、位置情報テーブルに上記静止画情報の飛翔体ＩＤ情報と同じ飛翔体ＩＤ情報に対応付けて記憶された位置情報を対応付ける処理を行う（Ｓ１１４）。また、プロセッサ１１２は、静止画情報テーブルに記憶された静止画情報に含まれる各静止画Ｓ１～静止画Ｓ５と、動画情報テーブルに記憶された動画に含まれるフレーム画像とを比較する処理を行う（Ｓ１１５）。
【0048】
次に、プロセッサ１１２は、比較の結果に基づいて、静止画Ｓ１～静止画Ｓ５のいずれかと一致度が所定の閾値を超えるフレーム画像がある場合には、当該フレーム画像に各静止画に対応付けられて位置情報及び時間情報を対応付ける（Ｓ１１６）。そして、プロセッサ１１２は、一部のフレーム画像に位置情報及び時間情報が対応付けられた動画を、位置情報を検出した間隔（例えば、３０秒毎）と同期させて、所定の期間（第２期間：例えば、３０秒毎）ごとに分割して分割動画データを生成する（Ｓ１１７）。プロセッサ１１２は、生成された分割動画データに対して新たに分割動画ＩＤ情報を生成し、位置情報と時間情報とを対応付けて分割動画情報テーブルに記憶する。以上により、当該処理フローを終了する。
【0049】
図８は、本開示の実施形態に係る動画情報に対する位置情報及び時間情報の対応付け処理を概略的に示す図である。すなわち、図８は、図７のＳ１１１～Ｓ１１３において受信された動画情報、静止画情報及び位置情報に基づいて、動画情報（分割動画情報）に対して位置情報及び時間情報を対応付ける処理の詳細を示す図である。
【0050】
図５に示されたように、飛翔体２０は地点１～地点５を通過して飛翔し、その期間（第１期間）において静止画Ｓ１～Ｓ５等が取得されているが、図８は説明の便宜のために地点１～地点３を飛翔する期間において取得された静止画Ｓ１～Ｓ３等の処理について説明する。図８によると、第１期間において、静止画情報として静止画Ｓに含まれる静止画Ｓ１～静止画Ｓ３が取得されている。ここで、各静止画Ｓ１～静止画Ｓ３には、図６Ｂに記載されたように、それぞれ撮影された時間を示す時間情報（第１時間～第３時間）が対応付けて記憶されている。他方、飛翔体２０において第１期間に検出された各位置情報（位置情報Ｌ１ａ～Ｌ３ａ）には、それぞれ検出された時間を示す時間情報が対応付けて記憶されている。したがって、プロセッサ１１２は、まず各静止画Ｓ１～静止画Ｓ３に対応付けられた時間情報と、各位置情報に対応付けられた時間情報とを比較する。プロセッサ１１２は、各静止画Ｓ１～静止画Ｓ３に対して、一致するか最も近い時間情報を有する位置情報を対応付ける。例えば、静止画Ｓ１に対しては時間情報が一致する位置情報Ｌ１ａが、静止画Ｓ２に対しては時間情報が一致する位置情報Ｌ２ａが、静止画Ｓ３に対しては時間情報が一致する位置情報Ｌ３ａがそれぞれ対応付けられる。
【0051】
また、図８によると、第１期間において、動画情報として動画Ｖに含まれるフレーム画像Ｖ１、Ｖｓ及びＶｔ等の複数のフレーム画像が取得されている。そこで、プロセッサ１１２は、静止画Ｓ１～静止画Ｓ３の各静止画に対して、動画Ｖに含まれる各フレーム画像を比較し、一致度が所定の閾値を超えるフレーム画像を特定する。図８では、静止画Ｓ１に対して一致度が所定の閾値を超えるフレーム画像としてフレーム画像Ｖ１が、静止画Ｓ２に対して一致度が所定の閾値を超えるフレーム画像としてフレーム画像Ｖｓが、静止画Ｓ３に対して一致度が所定の閾値を超えるフレーム画像としてフレーム画像Ｖｔが特定されたことが示されている。これによって、プロセッサ１１２は、フレーム画像Ｖ１に対して静止画Ｓ１に対応付けられた位置情報Ｌ１ａと時間情報を対応付け、フレーム画像Ｖｓに対して静止画Ｓ２に対応付けられた位置情報Ｌ２ａと時間情報を対応付け、フレーム画像Ｖｔに対して静止画Ｓ３に対応付けられた位置情報Ｌ３ａと時間情報を対応付ける。
【0052】
なお、各静止画と各フレーム画像との一致度は、一例としては、各静止画及び各フレーム画像の局所的な特徴量を用いた方法（Ｂａｇ－ｏｆ－Ｋｅｙｐｏｉｎｔｓ法）、ＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅ）を用いた方法、ＳＶＭ（サポートベクタマシン）を用いた方法、ハミング距離を用いた方法、コサイン類似度を用いた方法などによって算出される。ただし、いずれの方法であっても好適によりすることが可能である。
【0053】
次に、プロセッサ１１２は、静止画Ｓ１～静止画Ｓ３に対応付けられた位置情報Ｌ１ａ～位置情報Ｌ３ａと時間情報とが、フレーム画像Ｖ１、フレーム画像Ｖｓ及びフレーム画像Ｖｔに対応付けられると、Ｖ１とＶｓ、ＶｓとＶｔの間に存在するフレーム画像に対して位置情報Ｌ１ａ～位置情報Ｌ３ａ及び時間情報を対応付ける処理を行う。具体的には、各位置情報が間隔Ｍ（例えば３０秒毎）で取得されていた場合、プロセッサ１１２は、静止画Ｓ１～静止画Ｓ３に対応付けられた時間情報が対応付けられたフレーム画像Ｖ１、フレーム画像Ｖｓ及びフレーム画像Ｖｔを起点として、間隔Ｍごとに動画を分割する。そして、プロセッサ１１２は、フレーム画像Ｖ１から間隔Ｍが経過するまでに含まれる各フレーム画像から構成される分割動画Ｆ１－１を、分割動画Ｆ１－１の次のフレーム画像から間隔Ｍが経過するまでに含まれる各フレーム画像から構成される分割動画Ｆ１－２を、分割動画Ｆ１－２の次のフレーム画像から間隔Ｍが経過するまでに含まれる各フレーム画像から構成される分割動画Ｆ１－３をそれぞれ生成する。また、同様に、プロセッサ１１２は、フレーム画像Ｖｓを起点として分割動画Ｆｓ－１、分割動画Ｆｓ－２及び分割動画Ｆｓ－３を、フレーム画像Ｖｔを起点として分割動画Ｆｔ－１をそれぞれ生成する。
【0054】
各分割動画が生成されると、プロセッサ１１２は、各分割動画に対して位置情報及び時間情報を対応付ける。具体的には、プロセッサ１１２は、位置情報Ｌ１ａと時間情報とが対応付けられたフレーム画像Ｖ１が含まれる分割動画Ｆ１－１にはフレーム画像Ｖ１の位置情報Ｌ１ａ及び時間情報を、分割動画Ｆ１－１の次のフレーム画像が含まれる分割動画Ｆ１－２には間隔Ｍが経過した後の位置情報Ｌ１ｂと当該位置情報Ｌ１ｂに対応付けられた時間情報を、分割動画Ｆ１－２の次のフレーム画像が含まれる分割動画Ｆ１－３にはさらに間隔Ｍが経過した後の位置情報Ｌ１ｃと当該位置情報Ｌ１ｃに対応付けられた時間情報を、それぞれ対応付ける。また、同様に、プロセッサ１１２は、分割動画Ｆｓ－１に対して位置情報Ｌ２ａと時間情報を、分割動画Ｆｓ－２に対して位置情報Ｌ２ｂと時間情報を、分割動画Ｆｓ－３に対して位置情報Ｌ２ｃと時間情報を、分割動画Ｆｔ－１に対して位置情報Ｌ３ａと時間情報を、それぞれ対応付ける。そして、プロセッサ１１２は、位置情報と時間情報とがそれぞれ対応付けられた各分割動画を分割動画ＩＤ情報に対応付けて、分割動画情報テーブルに記憶する。
【0055】
このように生成された分割動画は、第１期間において撮影された動画Ｖを、位置情報を取得した間隔Ｍごとに分割することによって生成される。つまり、分割動画は、間隔Ｍに相当する期間である第２期間の長さを有する動画である。なお、動画Ｖが分割され得る間隔である間隔Ｍは、位置情報が検出された間隔Ｍに同期するように設定した。しかし、これに限らず複数の位置情報をまとめた間隔で設定してもよい。
【0056】
以上により、例えば図６Ｃの分割動画情報テーブルに示されているように、位置情報と時間情報とが対応付けられていなかった動画から、位置情報と時間情報とが対応付けられた分割動画が取得される。
【0057】
図９は、本開示の実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図９は、生成された分割動画をユーザに対して配信する場合に処理装置１００において行われる処理フローを示す図である。主に、処理装置１００のプロセッサ１１２がメモリ１１３に記憶された処理プログラムを読みだして実行することにより行われる。
【0058】
なお、特に図示していないが、ユーザは自身が所持するユーザ端末装置を用いて、処理装置１００に対して分割動画の配信要求をすることが可能である。分割動画は、例えば飛翔体２０のカメラ２１６で撮影された飛翔体２０からの画像であるため、例えば災害時や緊急時に地上の状況を確認するために用いられたり、上空を飛翔する様子のシミュレーションに用いられたり、他の用途のために地上のリアルタイムの状況を把握するために用いられる。
【0059】
処理装置１００は、通信インターフェイス１１４を介して、ユーザ端末装置と通信可能に接続されている。したがって、図９によると、処理装置１００のプロセッサ１１２は、ユーザ端末装置におけるユーザの操作入力に基づいて、ユーザ端末装置から動画の配信要求を受信する（Ｓ２１１）。当該配信要求には、例えば、ユーザが所望する任意の地点の位置情報が含まれる。
【0060】
プロセッサ１１２は、動画の配信要求を受信すると、当該配信要求に基づいて配信すべき分割動画を特定する（Ｓ２１２）。ここで、図１０は、配信要求と分割動画との関係を概略的に示す図である。具体的には、図１０は、配信要求に含まれるユーザが所望する任意の地点の位置情報から、配信すべき分割動画を特定する仕組みを示す図を示す。図１０によると、ユーザ端末装置から受信した配信要求には、ユーザが所望する任意の地点として地点Ｐの位置情報が含まれている。この場合、プロセッサ１１２は、分割動画情報テーブルにおいて各分割動画ＩＤ情報に対応付けられた位置情報を参照する。そして、プロセッサ１１２は、分割動画情報テーブルの位置情報の中から地点Ｐの位置情報に最も近接する位置情報を有る分割動画ＩＤ情報を特定する。図１０では、最も近接する位置情報として、地点３の位置情報Ｌ３ａが対応付けられた分割動画Ｆｔ－１（図８参照）が特定された例を示す。
【0061】
次に、プロセッサ１１２は、このようにして特定された分割動画をメモリ１１３から読みだして通信インターフェイス１１４を介してユーザ端末装置に送信する。これにより、ユーザ端末装置から要求された所望の区間の分割動画を提供することが可能になる。以上により、当該処理フローは終了する。
【0062】
以上、本開示に係る実施形態においては、飛翔体２０に備えられたカメラ２１６で撮影された動画をより利用しやすいものとすることが可能な処理装置、処理プログラム及び処理方法を提供することが可能となる。特に、飛翔体２０で撮影された動画に対して、静止画や位置情報に基づいて、位置情報や時間情報を対応付けることが可能である。これによって、ユーザに対して所望の区間のみを特定した分割動画の提供が可能となる。
【0063】
７．変形例
上記においては、単一の飛翔体２０から取得された動画を配信する場合について説明した。しかし、例えば、動画情報テーブルや静止画情報テーブルにおいて飛翔体ＩＤ情報に対応付けて各情報を記憶していることからも明らかなとおり、単一の飛翔体２０のみではなく、複数の飛翔体２０で取得された動画を一括して管理し、分割動画を生成して配信するようにしてもよい。また、飛翔体２０の飛翔ルートとして飛翔ルート５０のみを示したが、当然、他の飛翔ルートを飛翔した場合に撮影された動画等を配信するようにしてもよい。
上記においては、単一の飛翔体２０から取得された動画を配信する場合について説明した。しかし、例えば、動画情報テーブルや静止画情報テーブルにおいて飛翔体ＩＤ情報に対応付けて各情報を記憶していることからも明らかなとおり、単一の飛翔体２０のみではなく、複数の飛翔体２０で取得された動画を一括して管理し、分割動画を生成して配信するようにしてもよい。また、飛翔体２０の飛翔ルートとして飛翔ルート５０のみを示したが、当然、他の飛翔ルートを飛翔した場合に撮影された動画等を配信するようにしてもよい。
【0064】
動画や静止画について、特にそのデータの種別については言及していない。しかし、動画は一定の期間において連続して取得されたデータであればいずれでもよく、同様に静止画はある時間において取得されたデータであればいずれでもよい。また、その取得の方法も、上記においてはカメラ２１６を用いているが他のセンサを用いることも当然可能である。このようなセンサの例としては赤外線センサや点群センサなど様々なセンサを用いることが可能である。また、動画や静止画の例としても、赤外線画像や点群画像など様々な画像を用いることが可能である。
【0065】
上記においては、衛星３０を介して衛星通信（特に好ましくはイリジウム衛星通信）を介して飛翔体２０と地上局１０との情報を送受信をする場合について説明した。しかし、これに限らずセルラー通信など他の無線通信を使用してもよい。
【0066】
本明細書で説明される処理及び手順は、本開示において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。
【0067】
本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。
【符号の説明】
【0068】
１０ 地上局
２０ 飛翔体
３０ 衛星
１００ 処理装置
２００ 飛翔体端末装置
４０－１ 無線通信ネットワーク
４０－２ 無線通信ネットワーク
２０ 飛翔体
３０ 衛星
１００ 処理装置
２００ 飛翔体端末装置
４０－１ 無線通信ネットワーク
４０－２ 無線通信ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】