特許 7382632 動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-09

(45)【発行日】2023-11-17

(54)【発明の名称】動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20231110BHJP

   H04N 21/438 20110101ALI20231110BHJP

【ＦＩ】

H04N21/238

H04N21/438

【請求項の数】 13

(21)【出願番号】P 2019214568

(22)【出願日】2019-11-27

(65)【公開番号】P2021087099

(43)【公開日】2021-06-03

【審査請求日】2022-08-16

(73)【特許権者】

【識別番号】503361400

【氏名又は名称】国立研究開発法人宇宙航空研究開発機構

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100188592

【弁理士】

【氏名又は名称】山口 洋

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100163496

【弁理士】

【氏名又は名称】荒 則彦

(72)【発明者】

【氏名】小澤 悟

(72)【発明者】

【氏名】藤平 耕一

【審査官】川中 龍太

(56)【参考文献】

【文献】国際公開第２０１９／１７６５７９（ＷＯ，Ａ１）

【文献】特開２０１４－０５７２２８（ＪＰ，Ａ）

【文献】特開２０１８－０７８４４９（ＪＰ，Ａ）

【文献】特表２０１８－５１３３７７（ＪＰ，Ａ）

【文献】特開２０１０－２５０６１２（ＪＰ，Ａ）

【文献】特開平０６－００４６６０（ＪＰ，Ａ）

【文献】特開平１０－２５７５２８（ＪＰ，Ａ）

【文献】特開２００６－２７７００７（ＪＰ，Ａ）

【文献】特開２００５－２９２８８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３３５５６６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

移動体に搭載される動画像送信装置であって、
前記移動体の位置および撮像方向の情報を取得する情報取得部と、
前記位置および撮像方向の情報に基づいて、前記移動体に搭載された撮像装置により撮像された第１フレームの第１画像データと、前記第１フレームよりも後に撮像された第２フレームの第２画像データとの差分を、前記第１フレームおよび前記第２フレームのそれぞれの撮像時の位置および撮像方向の差分から識別する差分識別部と、
前記差分識別部が識別した前記差分に基づいて、前記第１フレームと前記第２フレームとにおける非重複部分を示す第３画像データを抽出するデータ抽出部と、
前記位置および撮像方向の情報と、前記第３画像データとを対応付けた伝送データを送信する送信部と、
を備える、
動画像送信装置。

【請求項2】

前記データ抽出部は、前記差分識別部が識別した前記差分に基づいて、前記第１フレームと前記第２フレームとにおける重複部分に含まれる前記差分を示す第４画像データを抽出し、
前記送信部は、前記伝送データに前記第４画像データを含めて送信する、
請求項１に記載の動画像送信装置。

【請求項3】

前記位置および撮像方向の情報に基づいて、前記第１フレームに写された被写体像と、前記第２フレームに写された前記被写体像との位置を合わせる位置合わせ部、をさらに備え、
前記差分識別部は、位置が合わせされた前記被写体像の第１画像データと前記第２画像データとの差分を識別する、
請求項２に記載の動画像送信装置。

【請求項4】

前記撮像装置により撮像されたそれぞれのフレームに写された被写体像の歪みを補正する歪み補正部、をさらに備え、
前記位置合わせ部は、前記歪み補正部によって歪みが補正されたそれぞれのフレームに写された被写体像の位置を合わせる、
請求項３に記載の動画像送信装置。

【請求項5】

前記歪み補正部は、前記第１フレームに写された被写体像の歪みを前記第２フレームに合わせて補正する、
請求項４に記載の動画像送信装置。

【請求項6】

前記歪み補正部は、前記位置および撮像方向の情報に基づいて、それぞれのフレームに写された被写体像に対する歪み補正量を求める、
請求項４または請求項５に記載の動画像送信装置。

【請求項7】

前記歪み補正部は、前記位置および撮像方向の情報に基づいて、前記第１フレームに写された被写体像の前記第２フレームに写された被写体像に対する前記歪み補正量を求める、
請求項６に記載の動画像送信装置。

【請求項8】

前記歪み補正部は、
被写体の表面の形状を加味した歪み補正量を求める、
請求項４から請求項７のうちいずれか１項に記載の動画像送信装置。

【請求項9】

上空を移動する移動体に搭載された請求項１から請求項８のうちいずれか１項に記載の動画像送信装置と、
地上に設置され、
前記動画像送信装置により送信された前記伝送データを受信する受信部と、
前記伝送データに含まれる前記位置および撮像方向の情報に基づいて、保存している合成フレームから抽出した抽出画像データと、受信した前記伝送データに含まれる前記第３画像データとを合わせて、前記撮像装置により撮像された前記第２フレームを再現した新たな合成フレームを生成する画像生成部と、
を備える動画像受信装置と、
を備える、
動画像伝送システム。

【請求項10】

前記画像生成部は、保存している連続する２つの前記合成フレームに基づいて、時間的に前記２つの合成フレームの中間に位置する中間フレームを生成する、
請求項９に記載の動画像伝送システム。

【請求項11】

前記画像生成部は、保存している連続する２つの前記合成フレームに基づいて、前記２つの合成フレームよりもさらに時間を進めた予測フレームを生成する、
請求項９または請求項１０に記載の動画像伝送システム。

【請求項12】

移動体に搭載される動画像送信装置における動画像送信方法であって、
前記動画像送信装置のコンピュータが、
前記移動体の位置および撮像方向の情報を取得し、
前記位置および撮像方向の情報に基づいて、前記移動体に搭載された撮像装置により撮像された第１フレームの第１画像データと、前記第１フレームよりも後に撮像された第２フレームの第２画像データとの差分を、前記第１フレームおよび前記第２フレームのそれぞれの撮像時の位置および撮像方向の差分から識別し、
識別した前記差分に基づいて、前記第１フレームと前記第２フレームとにおける非重複部分を示す第３画像データを抽出し、
前記位置および撮像方向の情報と、前記第３画像データとを対応付けた伝送データを送信する、
動画像送信方法。

【請求項13】

移動体に搭載される動画像送信装置において実行されるプログラムであって、
前記動画像送信装置のコンピュータに、
前記移動体の位置および撮像方向の情報を取得させ、
前記位置および撮像方向の情報に基づいて、前記移動体に搭載された撮像装置により撮像された第１フレームの第１画像データと、前記第１フレームよりも後に撮像された第２フレームの第２画像データとの差分を、前記第１フレームおよび前記第２フレームのそれぞれの撮像時の位置および撮像方向の差分から識別させ、
識別させた前記差分に基づいて、前記第１フレームと前記第２フレームとにおける非重複部分を示す第３画像データを抽出させ、
前記位置および撮像方向の情報と、前記第３画像データとを対応付けた伝送データを送信させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラムに関する。

【背景技術】

【0002】

例えば、地球を周回する人工衛星などに搭載された撮像装置によって撮像した動画像を、通信によって地上に設置されている無線基地局に送信することが行われている。近年、一般的な撮像装置では、高画素化が進み、より鮮明な動画像を撮像することが可能となってきている。このため、人工衛星などおいても、高画素化された撮像装置を搭載することが考えられる。しかしながら、人工衛星などへの高画素化した撮像装置の搭載は容易ではない。これは、高画素化した撮像装置によって撮像される動画像は、そのデータ量が多いため、処理や通信の負荷が増大したり、消費電力が増大したりする要因となってしまうからである。このため、人工衛星などに高画素化した撮像装置を搭載する場合には、撮像した動画像の鮮明性は確保しつつ、データ量を削減することが必要になると考えられる。

【0003】

従来から、動画像のデータ量を削減するための種々の技術が開示されている（特許文献１～３参照）。例えば、特許文献１には、被圧縮動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離することにより、複数の被圧縮フレームを含む被圧縮動画の情報量を圧縮する動画圧縮方法が開示されている。また、例えば、特許文献２には、あるパターンを拡大または縮小した変形パターンを作成し、さらに、変形パターンに続く別のパターンとの差である差分パターンを生成することにより、動画像において順次表示されるべきパターンを圧縮する動画データ圧縮方法が開示されている。また、例えば、特許文献３には、複数の動画データの各々の合成範囲から静止画を生成し、この静止画の最初の１枚において合成対象の特定画像の指定を、色境界データ等に基づいて行う動画データ編集方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－０２９８７０号公報

【文献】特開２００６－１２８７８６号公報

【文献】特開平１１－１７７９２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術は、隣接するフレーム間で差がある部分、言い換えれば、被写体が動いて変化があった部分を抽出することによって、動いていない部分のデータ量を圧縮する技術である。このため、従来の技術は、同じ位置に固定された撮像装置によって動画像を撮像する場合に、データ量を圧縮する効果をより多く期待することができる。

【0006】

しかしながら、ほとんどの場合において人工衛星によって撮像する動画像は、被写体が常に変化し続け（ほぼ全ての部分が動いている部分となり）、それぞれのフレーム間で差がない部分は非常に少ない。これは、人工衛星などは常に動きながら動画像を撮像するため、常に動いている被写体を撮像するといえるからである。例えば、人工衛星に搭載した撮像装置で地球の表面を撮像する場合、撮像装置の向きが一定、つまり、撮像する方向が一定であり、被写体である地球や、地球上の地面、構造物、地球表面の雲などは動きが少ないまたは動かないものであったとしても、人工衛星自体が地球を周回する軌道上を動いていたり、地球が自転していたりするため、人工衛星から見ると、被写体は常に動いている状態である。このため、高画素化した撮像装置を人工衛星に搭載するために従来の技術を適用したとしても、通信によって送信する動画像のデータ量を圧縮する効果を期待することはできなかった。

【0007】

本発明は、上記の課題認識に基づいてなされたものであり、移動体において撮像した動画像を伝送する際のデータ量を削減することができる動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一態様に係る動画像送信装置は、移動体に搭載される動画像送信装置であって、前記移動体の位置および撮像方向の情報を取得する情報取得部と、前記位置および撮像方向の情報に基づいて、前記移動体に搭載された撮像装置により撮像された第１フレームの第１画像データと、前記第１フレームよりも後に撮像された第２フレームの第２画像データとの差分を、前記第１フレームおよび前記第２フレームのそれぞれの撮像時の位置および撮像方向の差分から識別する差分識別部と、前記差分識別部が識別した前記差分に基づいて、前記第１フレームと前記第２フレームとにおける非重複部分を示す第３画像データを抽出するデータ抽出部と、前記位置および撮像方向の情報と、前記第３画像データとを対応付けた伝送データを送信する送信部と、を備える、動画像送信装置である。

【発明の効果】

【0009】

本発明の一態様によれば、移動体において撮像した動画像を伝送する際のデータ量を削減することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る動画像伝送システムの構成の一例を示す図である。

【図2】第１実施形態に係る動画像伝送システムにおいて人工衛星が撮像する範囲の一例を模式的に示す図である。

【図3】第１実施形態に係る動画像伝送システムにおいて人工衛星が画像データを送信する動作の一例を模式的に示す図である。

【図4】第１実施形態に係る動画像伝送システムにおいて地上局が画像データを生成する動作の一例を模式的に示す図である。

【図5】第１実施形態に係る動画像送信装置の構成の一例を示す図である。

【図6】第１実施形態に係る動画像送信装置における画像データの送信処理の流れの一例を示すフローチャートである。

【図7】第１実施形態に係る動画像受信装置の構成の一例を示す図である。

【図8】第１実施形態に係る動画像受信装置における画像データの受信処理の流れの一例を示すフローチャートである。

【図9】第２実施形態に係る動画像伝送システムが備える動画像送信装置の構成の一例を示す図である。

【図10】第２実施形態に係る動画像伝送システムにおいて人工衛星が撮像する範囲と被写体との位置関係の一例を模式的に示す図である。

【図11】第２実施形態に係る動画像伝送システムにおいて人工衛星が撮像する範囲と被写体との位置関係の別の一例を模式的に示す図である。

【図12】第２実施形態に係る動画像送信装置における画像データの送信処理の流れの一例を示すフローチャートである。

【図13】第２実施形態に係る動画像伝送システムが備える動画像受信装置の構成の一例を示す図である。

【図14】第２実施形態に係る動画像受信装置における画像データの受信処理の流れの一例を示すフローチャートである。

【図15】動画像受信装置において再現させたフレームに基づいて他のフレームを生成する動作の一例を模式的に示す図である。

【図16】動画像受信装置において再現させたフレームに基づいて他のフレームを生成する動作の別の一例を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照し、本発明の動画像送信装置、動画像伝送システム、動画像送信方法、およびプログラムの実施形態について説明する。移動体は、宇宙機である。なお、宇宙機は、地球の地表上空や、他の天体や物体の表面上空を所定の周回軌道に沿って周回しながら移動する人工衛星であってもよい。また、移動体は、弾道飛行を行うロケットであってもよい。また、移動体は、他の天体や物体を観測するために出向く（さらに地球に帰還してもよい）観測衛星であってもよい。他の天体には、火星や金星などの地球と異なる他の惑星、月やタイタンなどの衛星、イトカワなどの小惑星などが含まれる。また、他の物体には、岩石などが含まれる。また、移動体は、人工衛星や観測衛星に代えて、飛行機、ドローンなどの他の飛翔体であってもよい。

【0012】

以下の説明においては、移動体が地球の地表上空の所定の周回軌道上を周回しながら移動する人工衛星であるものとする。また、本発明の動画像送信装置を備える動画像伝送システムが、人工衛星に搭載された撮像装置によって撮像された動画像を、地上に設置された無線基地局（以下、「地上局」という）に伝送するシステムとして採用されている場合の一例について説明する。

【0013】

＜第１実施形態＞
［動画像伝送システム１の全体構成］
図１は、第１実施形態に係る動画像伝送システムの構成の一例を示す図である。図１に示した動画像伝送システム１は、例えば、人工衛星ＡＳが備える動画像送信装置１００と、地上局ＧＳが備える動画像受信装置２００と、によって構成される。

【0014】

動画像送信装置１００は、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像の画像データを、アンテナ３０によって地上局ＧＳに送信する。このとき、動画像送信装置１００は、人工衛星ＡＳが備えるセンサ２０により出力された情報に基づいて人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報を取得し、取得した位置や撮像方向の情報に基づいて、撮像装置１０により撮像された動画像の画像データのデータ量を削減させて（圧縮させて）地上局ＧＳに送信する。動画像送信装置１００の構成および動作に関する詳細については後述する。

【0015】

動画像受信装置２００は、地上局ＧＳにおいてアンテナ４０で受信した動画像の画像データ（動画像送信装置１００によりデータ量が削減された状態で送信されてきた動画像の画像データ）から、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の画像データを再現させる。動画像受信装置２００は、再現させた動画像の画像データを、例えば、表示装置５０に表示させる。動画像受信装置２００の構成および動作に関する詳細については後述する。

【0016】

撮像装置１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。撮像装置１０は、人工衛星ＡＳの任意の箇所に取り付けられる。撮像装置１０が利用する固体撮像素子には、例えば、入射した電波や、赤外線、可視光などを検出して電気信号に変換した画素信号を出力する画素が、二次元の行列状に配置されている。撮像装置１０は、固体撮像素子が備えるそれぞれの画素が出力した画素信号に基づいて生成した二次元の静止画像の画像データを順次出力することにより、撮像した動画像の画像データを出力する。言い換えれば、撮像装置１０は、生成したそれぞれの静止画像の画像データを、動画像におけるそれぞれのフレームの画像データとして動画像送信装置１００に出力する。

【0017】

センサ２０は、人工衛星ＡＳの位置や撮像装置１０の撮像方向を検出するセンサ群である。センサ２０は、例えば、人工衛星ＡＳの速度を検出する速度センサや、人工衛星ＡＳにおける三軸の加速度を検出する加速度センサ、人工衛星ＡＳにおける三軸のそれぞれの角速度を検出可能な角速度センサやジャイロセンサなどを含む姿勢センサ、ＧＰＳ（Global Positioning System）などの位置センサなど、人工衛星ＡＳの現在の状態を検出するための種々の検出装置を備える。それぞれの検出装置は、人工衛星ＡＳの任意の箇所に取り付けられる。それぞれの検出装置は、検出した結果の情報を、センサ２０が検出して出力したそれぞれの情報として動画像送信装置１００に出力する。動画像送信装置１００は、センサ２０が備えるこれらの検出装置により出力されたそれぞれの情報に基づいて、人工衛星ＡＳの位置を検出する。また、センサ２０は、例えば、撮像装置１０が取り付けられた可変機構により変えられた向きの制御量の情報を取得する。センサ２０は、取得した可変機構における撮像装置１０の向きの制御量の情報を、センサ２０が検出したそれぞれの情報として動画像送信装置１００に出力する。動画像送信装置１００は、センサ２０により出力された撮像装置１０の向きの制御量の情報に基づいて、撮像装置１０の撮像方向を検出する。なお、人工衛星ＡＳでは、撮像装置１０が任意の箇所に取り付けられている（固定されている）ことも考えられる。この場合、人工衛星ＡＳの姿勢が、撮像装置１０の撮像方向に相当する。このため、動画像送信装置１００は、センサ２０が備える姿勢センサにより出力された人工衛星ＡＳの姿勢の変更量の情報に基づいて人工衛星ＡＳの姿勢を求め、求めた人工衛星ＡＳの姿勢を撮像装置１０の撮像方向として検出するようにしてもよい。

【0018】

アンテナ３０およびアンテナ４０は、動画像送信装置１００と動画像受信装置２００との間で無線通信をするためのアンテナである。アンテナ３０は、例えば、展開型のフェーズドアレーアンテナである。アンテナ３０は、動画像送信装置１００により出力され、動画像受信装置２００に送信する動画像の画像データを表す無線信号の電波を送出する。アンテナ４０は、例えば、パラボラアンテナである。アンテナ４０は、アンテナ３０により送出された無線信号の電波を受信し、受信した無線信号の電波が表す情報、つまり、動画像送信装置１００により出力された動画像の画像データを、動画像受信装置２００に出力する。

【0019】

表示装置５０は、動画像受信装置２００により再現されて出力された動画像を表示する。表示装置５０は、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬ（Electroluminescence）表示装置などである。

【0020】

［動画像伝送システム１の基本動作］
以下、動画像伝送システム１において動画像を伝送する際の基本的な考え方の動作について説明する。図２は、第１実施形態に係る動画像伝送システム１において人工衛星ＡＳが撮像する範囲の一例を模式的に示す図である。また、図３は、第１実施形態に係る動画像伝送システム１において人工衛星ＡＳが画像データを送信する動作の一例を模式的に示す図である。また、図４は、第１実施形態に係る動画像伝送システム１において地上局ＧＳが画像データを生成する動作の一例を模式的に示す図である。

【0021】

人工衛星ＡＳは、一定の速度ｖで地球の上空を移動しながら撮像装置１０により撮像した動画像の画像データを、地上局ＧＳに送信する。図２には、人工衛星ＡＳが搭載する撮像装置１０によって、直下（真下）にある地上の被写体を撮像している場合の撮像範囲の一例を示している。

【0022】

図２には、人工衛星ＡＳが、例えば、位置Ｐ１に位置しているときに撮像装置１０が動画像の１枚目のフレーム（以下、「フレームＦ１」という）を撮像し、その後、人工衛星ＡＳが、例えば、位置Ｐ２の位置に移動したときに撮像装置１０が２枚目のフレーム（以下、「フレームＦ２」という）を撮像した状態を示している。このように、撮像装置１０は、人工衛星ＡＳが移動している状態で動画像のそれぞれのフレームを撮像するため、撮像装置１０が撮像したそれぞれのフレームに写される被写体像の範囲（撮像範囲）は、人工衛星ＡＳが移動した分だけ全体的にずれることになる。このため、撮像装置１０によって撮像した動画像のフレームＦ１とフレームＦ２とのそれぞれに写された被写体像は全体が異なることになり、例えば、従来の技術のように、隣接するフレーム間で差がある部分を抽出してデータ量を削減（圧縮）する方法では、撮像装置１０によって撮像した動画像のデータ量を削減（圧縮）することができない。

【0023】

そこで、動画像伝送システム１では、動画像送信装置１００が、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報に基づいて、撮像装置１０により撮像された動画像のそれぞれのフレームの画像データを処理してから地上局ＧＳに送信する。図３には、動画像送信装置１００が動画像のそれぞれのフレームのデータ量を削減（圧縮）する処理の一例を模式的に示している。なお、以下の説明においては、説明を容易にするため、人工衛星ＡＳの移動方向、および撮像装置１０の撮像方向は一定の方向であるものとする。

【0024】

最初に、動画像送信装置１００は、人工衛星ＡＳが位置Ｐ１に位置しているときに撮像装置１０が図３の左側の上段に示した撮像範囲Ｒ１を撮像したフレームＦ１（図３の左側の中段参照）を取得する。そして、動画像送信装置１００は、取得したフレームＦ１に対応する画像データが含まれる伝送データＤ１（図３の左側の下段参照）を動画像受信装置２００に送信する。言い換えれば、動画像送信装置１００は、最初の１つのフレームの画像データは、処理をせずにそのまま動画像受信装置２００に送信する。

【0025】

その後、動画像送信装置１００は、人工衛星ＡＳが移動して位置Ｐ２に位置しているときに撮像装置１０が図３の中側の上段に示した撮像範囲Ｒ２を撮像したフレームＦ２（図３の中側の中段参照）を取得する。そして、動画像送信装置１００は、前回取得したフレームＦ１と今回取得したフレームＦ２との差分を抽出する。つまり、動画像送信装置１００は、人工衛星ＡＳの移動に伴ってフレームＦ１とフレームＦ２との間で変化した部分の画像データを抽出する。人工衛星ＡＳの移動に伴ってフレームＦ１とフレームＦ２との間で変化した部分の画像データは、特許請求の範囲における「第３画像データ」の一例である。

【0026】

動画像送信装置１００は、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、人工衛星ＡＳの移動量ｍを求めてもよい。人工衛星ＡＳの移動量ｍは、例えば、人工衛星ＡＳの位置の差分や、撮像装置１０の撮像方向の差分から求めることができる。ここで、人工衛星ＡＳは、上述したように一定の速度ｖで地球の上空を移動している。このため、所定の時間ｔの間に人工衛星ＡＳが移動する移動量ｍは、下式（１）により求めることもできる。

【0027】

ｍ＝ｖ×Δｔ ・・・（１）

【0028】

また、撮像装置１０は、予め定めたフレームレートでそれぞれのフレームを撮像する。つまり、撮像装置１０が動画像のそれぞれのフレームを撮像する間隔は一定である。そして、上述したように、撮像装置１０が動画像のそれぞれのフレームを撮像する間に人工衛星ＡＳが移動する移動量ｍも一定である。このため、撮像装置１０の撮像方向が一定の方向である場合には、人工衛星ＡＳの移動に伴って撮像装置１０が撮像する動画像における画角の移動量も一定である。言い換えれば、撮像装置１０の撮像方向が一定の方向である場合、動画像における画角の移動量は、人工衛星ＡＳの移動量ｍに相当する。以下の説明においては、動画像における画角の移動量も含めて、「人工衛星ＡＳの移動量ｍ」という。なお、人工衛星ＡＳは、上述したように地球の上空の所定の軌道を周回しながら移動しているが、地球も一定の速度で回転している、つまり、自転している。このため、動画像送信装置１００は、上式（１）から求めた移動量ｍに地球の自転による補正を加えた移動量を、最終的な人工衛星ＡＳの移動量ｍとしてもよい。

【0029】

動画像送信装置１００は、人工衛星ＡＳの移動量ｍに対応した範囲の画像データを、前回取得したフレームＦ１と今回取得したフレームＦ２との差分の画像データとして抽出する。言い換えれば、動画像送信装置１００は、フレームＦ１とフレームＦ２とで被写体像が重複しない部分（以下、「非重複部分」という）の画像データを抽出する。そして、動画像送信装置１００は、抽出した非重複部分の画像データをフレームＦ２に対応する画像データとし、このフレームＦ２に対応する画像データが含まれる伝送データＤ２（図３の中側の下段参照）を動画像受信装置２００に送信する。つまり、動画像送信装置１００は、フレームＦ１とフレームＦ２との間で変化した部分の画像データのみを動画像受信装置２００に送信する。

【0030】

さらにその後、動画像送信装置１００は、人工衛星ＡＳが移動して位置Ｐ３に位置しているときに撮像装置１０が図３の右側の上段に示した撮像範囲Ｒ３を撮像したフレームＦ３（図３の右側の中段参照）を取得すると、前回取得したフレームＦ２のときと同様に、フレームＦ２と今回取得したフレームＦ３とにおける非重複部分の画像データを抽出する。そして、動画像送信装置１００は、抽出した非重複部分の画像データがフレームＦ３に対応する画像データとして含まれる伝送データＤ３（図３の右側の下段参照）を動画像受信装置２００に送信する。

【0031】

このようにして、動画像送信装置１００は、撮像装置１０から動画像のそれぞれのフレームＦを取得するごとに、前回取得したフレームＦと今回取得したフレームＦとの間で被写体像が重複しない非重複部分の画像データを抽出することによって、それぞれのフレームＦのデータ量を削減（圧縮）させる。そして、動画像送信装置１００は、データ量を削減（圧縮）させたフレームＦに対応する画像データが含まれる伝送データＤを、動画像受信装置２００に送信する。

【0032】

そして、動画像伝送システム１では、動画像受信装置２００が、動画像送信装置１００によりデータ量が削減されて（圧縮されて）送信されたそれぞれのフレームＦの画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームＦを再現させる。図４には、動画像受信装置２００が動画像のそれぞれのフレームの画像データを再現させる処理の一例を模式的に示している。

【0033】

最初に、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤ１（図４の左側の上段参照）を受信すると、受信した伝送データＤ１に含まれるフレームＦ１（図４の左側の下段参照）の画像データを保存する。つまり、動画像受信装置２００は、動画像送信装置１００によりそのまま送信されてきた最初の１つのフレームの画像データは、処理をせずにそのまま保存する。これにより、動画像受信装置２００では、人工衛星ＡＳが位置Ｐ１に位置しているときに撮像範囲Ｒ１（図３の左側の上段参照）を撮像したフレームＦ１（図３の左側の中段参照）が再現される。

【0034】

その後、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤ２（図４の中側の上段参照）を受信すると、保存しているフレームＦ１から抽出した画像データと、受信した伝送データＤ２に含まれるフレームＦ２に対応する画像データとを合わせた合成フレーム（図４の中側の下段＝フレームＦ２参照）を生成する。なお、動画像受信装置２００が合成するために保存しているフレームＦ１から抽出する画像データは、すでに再現させている撮像装置１０により撮像されたフレームＦ１と、撮像装置１０が次に撮像したフレームＦ２とが重複部分する部分（人工衛星ＡＳの移動量ｍに伴って被写体像が変化していない範囲）の画像データに相当するものである。また、前回再現させたフレームＦ１と今回受信したフレームＦ２に対応する画像データとを合成した合成フレームは、人工衛星ＡＳが移動して位置Ｐ２に位置しているときに撮像装置１０が撮像範囲Ｒ２（図３の中側の上段参照）を撮像したフレームＦ２（図３の中側の中段参照）を再現させたフレームである。動画像受信装置２００は、再現させたフレームＦ２を、再現させたフレームＦ１と同様に、次に送信されてきた動画像のフレームを再現させるために用いるフレームとして保存する。

【0035】

さらにその後、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤ３（図４の右側の上段参照）を受信すると、前回再現させたフレームＦ２のときと同様に、保存しているフレームＦ２から抽出した画像データと、受信した伝送データＤ３に含まれるフレームＦ３に対応する画像データとを合わせた合成フレーム（図４の右側の下段＝フレームＦ３参照）を生成する。これにより、動画像受信装置２００は、人工衛星ＡＳが移動して位置Ｐ３に位置しているときに撮像装置１０が撮像範囲Ｒ３（図３の右側の上段参照）を撮像したフレームＦ３（図３の右側の中段参照）を再現させる。動画像受信装置２００は、再現させたフレームＦ３を、再現させたフレームＦ２と同様に、次に送信されてきた動画像のフレームを再現させるために用いるフレームとして保存する。

【0036】

このようにして、動画像受信装置２００は、動画像送信装置１００により送信された伝送データＤを受信するごとに、前回生成して保存している合成フレームの画像データに、今回受信した伝送データＤに含まれるそれぞれのフレームＦの画像データを合わせることにより、撮像装置１０により撮像された動画像のそれぞれのフレームＦを再現させる。

【0037】

このようにして、動画像伝送システム１では、撮像装置１０により撮像された動画像における最初のフレームの画像データは処理をせずにそのまま伝送するものの、以降のフレームの画像データは、データ量を削減（圧縮）させて伝送する。これにより、動画像伝送システム１では、動画像送信装置１００と動画像受信装置２００との間で行う動画像の伝送における負荷を軽減し、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。

【0038】

［動画像送信装置１００の構成および動作］
以下、動画像送信装置１００の構成について説明する。図５は、第１実施形態に係る動画像送信装置１００の構成の一例を示す図である。図５に示した動画像送信装置１００は、例えば、画像取得部１０１と、情報取得部１０２と、位置合わせ部１０３と、差分識別部１０４と、画像データ抽出部１０５と、通信部１０６と、を備える。なお、図５には、動画像送信装置１００に関連する構成要素である撮像装置１０、センサ２０、およびアンテナ３０も併せて示している。

【0039】

動画像送信装置１００の構成要素の機能のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；ｃｉｒｃｕｉｔｒｙを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予めＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納（インストール）されていてもよいし、地上局ＧＳが備えるコンピュータ装置などからアンテナ３０およびアンテナ４０を介した無線通信によってダウンロードされて記憶装置にインストールされてもよい。

【0040】

画像取得部１０１は、撮像装置１０により撮像された動画像のそれぞれのフレームの画像データを順次取得する。画像取得部１０１は、取得したそれぞれのフレームの画像データを、位置合わせ部１０３に順次出力する。

【0041】

情報取得部１０２は、センサ２０により出力されたそれぞれの情報を取得することにより、人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報を取得する。人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報は、後述する動画像送信装置１００の構成要素において撮像装置１０により撮像された動画像を構成する連続した２つのフレーム間のずれを判別するために用いる情報である。人工衛星ＡＳの位置は、例えば、センサ２０が備えるＧＰＳなどの位置センサの出力により得ることができる。また、撮像装置１０の撮像方向は、例えば、センサ２０により出力された、撮像装置１０が取り付けられた可変機構における向きの制御量により得ることができる。情報取得部１０２は、取得した人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を、位置合わせ部１０３に出力する。

【0042】

なお、情報取得部１０２は、取得した人工衛星ＡＳの位置の差分や、撮像装置１０の撮像方向の差分の情報に基づいて、人工衛星ＡＳの移動量や姿勢の変更量を求め、求めた移動量や姿勢の変更量の情報を、位置合わせ部１０３に出力するようにしてもよい。また、情報取得部１０２は、例えば、センサ２０が備える速度センサが検出した人工衛星ＡＳの速度と、撮像装置１０が動画像を撮像するフレームレート（それぞれのフレームを撮像する間隔の時間）との情報を取得し、上式（１）により求めた人工衛星ＡＳの移動量ｍを、位置合わせ部１０３に出力してもよい。このとき、情報取得部１０２は、上式（１）により求めた移動量ｍに地球の自転による補正を加えた移動量を、最終的な人工衛星ＡＳの移動量として位置合わせ部１０３に出力してもよい。また、情報取得部１０２は、例えば、撮像装置１０が取り付けられた可変機構における撮像装置１０の向きの制御量の差分や、センサ２０が備える姿勢センサが検出した人工衛星ＡＳの姿勢（撮像装置１０の撮像方向に相当）の差分を、人工衛星ＡＳの姿勢の変更量をして位置合わせ部１０３に出力してもよい。

【0043】

位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された動画像を構成する連続した２つのフレームに写された同じ主要被写体の被写体像の位置を合わせる。主要被写体としては、例えば、地球表面に存在する陸地などがある。位置合わせ部１０３における位置合わせの方法としては、例えば、情報取得部１０２により出力された人工衛星ＡＳの位置の差分、および撮像装置１０の撮像方向の差分に基づいて、人工衛星ＡＳの移動量や姿勢の変更量を求め、２つのフレームのうちいずれか一方のフレームを求めた人工衛星ＡＳの移動量や姿勢の変更量の分だけ移動させる手法がある。また、位置合わせ部１０３は、位置合わせの方法として、例えば、パターンマッチングの手法を用いてもよい。この場合、位置合わせ部１０３は、例えば、陸地の形（地形）をパターンマッチングすることにより、２つのフレームの位置合わせをする。位置合わせ部１０３は、主要被写体の位置を合わせた情報、言い換えれば、２つのフレームのずれ量を表す情報を、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、差分識別部１０４に出力する。また、位置合わせ部１０３は、位置合わせを行った２つのフレームの画像データを、差分識別部１０４に出力する。

【0044】

なお、位置合わせ部１０３は、画像取得部１０１により出力された、撮像装置１０により時間的に前に撮像されたフレーム（以下、「前フレーム」という）に写された被写体像と、撮像装置１０により時間的に後に撮像された現在のフレーム（以下、「現在フレーム」という）に写された被写体像との位置を合わせる。このため、位置合わせ部１０３は、例えば、画像取得部１０１により出力された現在フレームよりも少なくとも１つ前の前フレームの画像データを一時的に保存する画像データ保存部（不図示）を備えている。例えば、図３の中側の中段に示した一例では、位置合わせ部１０３が、画像取得部１０１により出力された現在フレームであるフレームＦ２と、フレームＦ２よりも１つ前に画像取得部１０１により出力されて不図示の画像データ保存部に保存されている前フレームであるフレームＦ１とのそれぞれに写された日本の「北海道」と「東北地方の一部」の位置を合わせている。なお、不図示の画像データ保存部に保存されている前フレームの画像データは、位置合わせ部１０３において位置合わせに使用しなくなると順次破棄され、新たなフレームの画像データに順次置き換えられる。言い換えれば、不図示の画像データ保存部に保存されている前フレームの画像データは、位置合わせ部１０３において次の位置合わせに使用する前フレーム（例えば、画像取得部１０１により現在出力された現在フレーム）の画像データに順次更新される。

【0045】

差分識別部１０４は、位置合わせ部１０３により出力された２つのフレーム（前フレームおよび現在フレーム）の画像データにおける差分を識別する。差分識別部１０４は、位置合わせ部１０３により出力された主要被写体の位置を合わせた情報に基づいて２つのフレームに写された主要被写体の位置が合わされた状態で、現在フレームにおける前フレームからの変化を識別する。つまり、差分識別部１０４は、人工衛星ＡＳが移動したことにより２つのフレーム間でずれた部分（２つのフレームにおける非重複部分）の画像データの範囲を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報を、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、画像データ抽出部１０５に出力する。また、差分識別部１０４は、位置合わせ部１０３により出力された２つのフレームの画像データのうち、現在フレームの画像データを、画像データ抽出部１０５に出力する。

【0046】

なお、差分識別部１０４は、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、２つのフレームにおける非重複部分の画像データの範囲を識別する構成であってもよい。この場合、差分識別部１０４は、例えば、２つのフレームの撮像時の人工衛星ＡＳの位置の差分、および撮像装置１０の撮像方向の差分に基づいて求めた人工衛星ＡＳの移動量や姿勢の変更量を、人工衛星ＡＳが移動したことによりずれた２つのフレーム（前フレームおよび現在フレーム）のずれ量とし、このずれ量に対応する画像データの範囲を非重複部分の画像データの範囲として識別する構成であってもよい。差分識別部１０４がこのような構成である場合、差分識別部１０４には位置合わせ部１０３における位置合わせの機能を備えているということもできる。従って、差分識別部１０４がこのような位置合わせの機能を備えている構成である場合、動画像送信装置１００は、位置合わせ部１０３を備えない構成にしてもよい。

【0047】

なお、撮像装置１０が時間的に後に撮像して画像取得部１０１が取得した現在フレームには、人工衛星ＡＳの移動に伴って前フレームからずれた非重複部分の画像データの範囲以外（つまり、２つのフレームにおける重複部分）においても、主要被写体以外の被写体像が異なっていることが考えられる。言い換えれば、連続した２つのフレームにおける重複部分にも、フレーム間で差分（変化）があることが考えられる。例えば、地球表面の雲や、航空機、船舶などは、撮像装置１０が撮像する主要被写体である陸地とは異なる被写体ではあるが、動く被写体であるため、これらの被写体が動いた場合には、２つのフレームの重複部分において差分（変化）があることが考えられる。このため、差分識別部１０４は、重複部分においても、フレーム間の差分（変化）を識別する。なお、差分識別部１０４における重複部分内の差分（変化）の識別は、例えば、ＭＰＥＧ圧縮処理やＨ．２６４圧縮処理などの動画像圧縮処理において採用されている差分抽出の技術など、既存の技術を用いて行うことができる。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報に加えて、識別した重複部分の差分（変化）を表す情報も、画像データ抽出部１０５に出力する。

【0048】

なお、差分識別部１０４が重複部分内の差分（変化）を識別する方法は、上述した方法に限定されない。差分識別部１０４は、例えば、ＡＩ（Artificial Intelligence；人工知能）などの機能を用いて地球表面の雲などの部分を判別し、判別した部分の動きを認識してもよい。

【0049】

画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、人工衛星ＡＳが移動したことによりずれた部分（非重複部分）の画像データを抽出する。画像データ抽出部１０５は、抽出した非重複部分の画像データを、現在フレームに対応する画像データとして、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、通信部１０６に出力する。言い換えれば、画像データ抽出部１０５は、人工衛星ＡＳが移動した場合でも現在フレームの画像データが変わらない部分を削除してデータ量を削減（圧縮）した画像データを、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、通信部１０６に出力する。画像データ抽出部１０５は、特許請求の範囲における「データ抽出部」の一例である。また、非重複部分の画像データは、特許請求の範囲における「第３画像データ」の一例である。

【0050】

なお、差分識別部１０４により重複部分の差分（変化）を表す情報が出力されている場合、画像データ抽出部１０５は、差分識別部１０４により出力された現在フレームの画像データから重複部分内で差分（変化）がある画像データも抽出し、抽出した非重複部分の画像データに加えて、抽出した重複部分内で差分（変化）がある画像データ（以下、「重複部分内の画像データ」という）とこの画像データの位置を表す情報とを通信部１０６に出力する。なお、画像データ抽出部１０５が通信部１０６に出力する重複部分内の画像データの位置を表す情報は、差分識別部１０４により出力された重複部分の差分（変化）を表す情報であってもよい。重複部分内の画像データは、特許請求の範囲における「第４画像データ」の一例である。

【0051】

通信部１０６は、画像データ抽出部１０５により出力された現在フレームに対応する画像データと人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを対応付けて動画像受信装置２００に送信するための伝送データを生成する。なお、画像データ抽出部１０５により重複部分内の画像データとこの画像データの位置を表す情報とが出力されている場合、通信部１０６は、これらデータや情報を含めた伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力し、アンテナ３０に、出力した伝送データに対応する無線信号の電波を動画像受信装置２００に向けて送出させる。通信部１０６は、特許請求の範囲における「送信部」の一例である。

【0052】

なお、人工衛星ＡＳと地上局ＧＳとの間の無線通信は、常に良好に行われるとは限らない。例えば、人工衛星ＡＳの位置が、地上に設置された地上局ＧＳから見て地球の反対側である場合には、人工衛星ＡＳにより送出された無線信号の電波を地上局ＧＳにおいて受信することができない。このため、通信部１０６は、例えば、生成した伝送データが地上局ＧＳに送信されるまで一時的に保存する伝送データ保存部（不図示）を備えている。なお、不図示の伝送データ保存部に保存されている伝送データは、対応する無線信号の電波がアンテナ３０を介して送出され、地上局ＧＳによって受信されると順次破棄される。

【0053】

以下、動画像送信装置１００の動作について説明する。図６は、第１実施形態に係る動画像送信装置１００における画像データの送信処理の流れの一例を示すフローチャートである。図６に示したフローチャートの処理は、撮像装置１０が動画像を構成する１つのフレームの撮像をする所定の時間間隔ごと、つまり、予め定めたフレームレートの時間間隔ごとに繰り返し実行される。

【0054】

なお、以下の説明においては、動画像送信装置１００において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に対応する画像データはすでに動画像受信装置２００に送信済みの状態である、つまり、動画像送信装置１００内に、前フレームの画像データが、例えば、不図示の画像データ保存部に保存されている状態であるものとする。そして、図６に示したフローチャートの説明では、動画像送信装置１００が、撮像装置１０により以降に撮像されたフレーム（現在フレーム）の画像データを動画像受信装置２００に送信する場合の動作を説明する。

【0055】

撮像装置１０が時間的に後のフレームを撮像すると、画像取得部１０１は、撮像装置１０により出力された現在フレームの画像データを取得する（ステップＳ１００）。そして、画像取得部１０１は、取得した現在フレームの画像データを、位置合わせ部１０３に出力する。

【0056】

続いて、情報取得部１０２は、センサ２０により出力されたそれぞれの情報に基づいて、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を取得する（ステップＳ１０１）。そして、情報取得部１０２は、取得した人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報を、位置合わせ部１０３に出力する。

【0057】

続いて、位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された現在フレームに写された主要被写体と、不図示の画像データ保存部に保存している前フレームに写された同じ主要被写体との位置を合わせる（ステップＳ１０２）。そして、位置合わせ部１０３は、主要被写体の位置を合わせた情報と、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、前フレームおよび現在フレームの画像データとを、差分識別部１０４に出力する。また、位置合わせ部１０３は、現在フレームの画像データを、不図示の画像データ保存部に保存（前フレームの更新であってもよい）する。

【0058】

続いて、差分識別部１０４は、位置合わせ部１０３により出力された前フレームと現在フレームとの画像データにおける差分を識別する（ステップＳ１０３）。より具体的には、差分識別部１０４は、位置合わせ部１０３により出力された前フレームと現在フレームとの画像データにおける非重複部分の差分を識別する。また、差分識別部１０４は、位置合わせ部１０３により出力された前フレームと現在フレームとの画像データにおける重複部分内の差分（変化）を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分（変化）を表す情報と、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、現在フレームの画像データとを、画像データ抽出部１０５に出力する。

【0059】

続いて、画像データ抽出部１０５は、差分識別部１０４により出力された情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、動画像受信装置２００に送信する現在フレームの画像データを抽出する（ステップＳ１０４）。より具体的には、画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、非重複部分の画像データを抽出する。また、画像データ抽出部１０５は、差分識別部１０４により出力された重複部分の差分（変化）を表す情報に基づいて、差分識別部１０４により出力された現在フレームの画像データから、重複部分内で差分（変化）がある画像データを抽出する。画像データ抽出部１０５は、抽出した現在フレームにおける非重複部分の画像データと、抽出した現在フレームにおける重複部分内の画像データおよび位置を表す情報と、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、通信部１０６に出力する。

【0060】

続いて、通信部１０６は、画像データ抽出部１０５により出力された現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とを含む伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力して、動画像受信装置２００に送信させる（ステップＳ１０５）。

【0061】

このような構成および処理によって、人工衛星ＡＳが備える動画像送信装置１００は、撮像装置１０により撮像された動画像のフレームの画像データのデータ量を削減（圧縮）させて、地上局ＧＳ（より具体的には、動画像受信装置２００）に送信する。

【0062】

［動画像受信装置２００の構成および動作］
以下、動画像受信装置２００の構成について説明する。図７は、第１実施形態に係る動画像受信装置２００の構成の一例を示す図である。図７に示した動画像受信装置２００は、例えば、通信部２０１と、画像生成部２０２と、画像保存部２０３と、を備える。なお、図７には、動画像受信装置２００に関連する構成要素であるアンテナ４０および表示装置５０も併せて示している。

【0063】

動画像受信装置２００の構成要素の機能のうち一部または全部は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラム（ソフトウェア）は、予めＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納（インストール）されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで、記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置からネットワークを介して予めダウンロードされて記憶装置にインストールされてもよい。

【0064】

通信部２０１は、アンテナ４０が受信した人工衛星ＡＳにより送出された無線信号の電波が表す伝送データを取得する。そして、通信部２０１は、取得した伝送データに含まれる現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。通信部２０１は、特許請求の範囲における「受信部」の一例である。

【0065】

画像生成部２０２は、通信部２０１により出力された現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とに基づいて、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の現在フレームを再現させた合成フレームを生成する。このとき、画像生成部２０２は、まず、画像保存部２０３に保存されている前フレームを再現させた合成フレーム（以下、「既合成フレーム」という）から、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に応じた重複部分の画像データを抽出する。その後、画像生成部２０２は、抽出した画像データと、通信部２０１により出力された現在フレームにおける非重複部分の画像データとを合わせて、現在フレームを再現させた合成フレームを生成する。既合成フレームから通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に応じて抽出した重複部分の画像データは、特許請求の範囲における「抽出画像データ」の一例である。

【0066】

さらに、画像生成部２０２は、生成した合成フレームに対して、通信部２０１により出力された現在フレームにおける重複部分内の画像データ、つまり、画像データの差分（変化）を反映させる。このとき、画像生成部２０２は、通信部２０１により出力された重複部分内の画像データの位置の情報が表す位置の画像データに対して、差分（変化）を反映させる。この画像データの差分（変化）を反映させた合成フレームが、現在フレームに対応する最終的な合成フレームである。

【0067】

なお、画像生成部２０２における重複部分内の画像データに対する差分（変化）の反映は、既存の技術を用いて行うことができる。つまり、画像生成部２０２は、動画像送信装置１００（より具体的には、差分識別部１０４）が重複部分においてフレーム間の差分（変化）を識別する際に用いた、例えば、ＭＰＥＧ圧縮処理やＨ．２６４圧縮処理などの動画像圧縮処理において採用されている差分抽出の技術に対応する技術を用いて、生成した合成フレームに対して重複部分内の画像データの差分（変化）を反映させることができる。なお、画像生成部２０２において重複部分内の画像データに差分（変化）を反映させる方法は、例えば、差分識別部１０４と同様のＡＩなどの機能を用いて行う方法であってもよい。

【0068】

画像生成部２０２は、生成した現在フレームに対応する合成フレームを、撮像装置１０が撮像した動画像の次のフレームを再現させるために用いる既合成フレームとして、画像保存部２０３に保存させる。また、画像生成部２０２は、生成した現在フレームに対応する合成フレームを、表示装置５０に出力する。これにより、表示装置５０は、画像生成部２０２により再現された動画像における現在フレームを表示する。

【0069】

なお、動画像では、撮像装置１０が撮像する動画像のそれぞれのフレームにおける撮像範囲は同一である。このため、画像生成部２０２が通信部２０１により出力された現在フレームにおける非重複部分の画像データを合わせて生成する現在フレームの合成フレームにおける撮像範囲も、撮像装置１０が撮像する動画像のフレームの撮像範囲Ｒと同一である。このため、画像生成部２０２は、合成フレームを生成する際の処理は、上述したような、画像保存部２０３に保存されている前フレームから抽出した画像データと、通信部２０１により出力された現在フレームにおける非重複部分の画像データとを合わせる処理に限定されない。例えば、画像生成部２０２は、画像保存部２０３に保存されている前フレームの画像データに通信部２０１により出力された現在フレームにおける非重複部分の画像データを合わせて合成した後、撮像装置１０の撮像範囲に対応する範囲を切り出して、合成フレームを生成してもよい。つまり、画像生成部２０２は、撮像装置１０の撮像範囲よりも大きい範囲の合成フレームを仮に生成してから、撮像装置１０の撮像範囲に対応する範囲を切り出すことにより、撮像装置１０の撮像範囲と同じ範囲の合成フレームを生成してもよい。

【0070】

画像保存部２０３は、既合成フレームの画像データを保存する。画像保存部２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）などの記憶装置（一過性の記憶装置）を含み、既合成フレームの画像データを一時的に保存する。画像保存部２０３に保存されている既合成フレームの画像データは、画像生成部２０２によって、動画像のフレームの再現に用いられなくなると順次破棄され、画像生成部２０２が生成した新たな合成フレームの画像データに順次置き換えられる。つまり、画像保存部２０３に保存されている既合成フレームの画像データは、画像生成部２０２によって、画像生成部２０２が再現させた現在フレームの画像データに順次更新される。

【0071】

なお、画像保存部２０３は、例えば、ＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）を備え、画像生成部２０２が生成した既合成フレーム（画像生成部２０２が再現させた現在フレーム）の画像データを順次、動画像を構成するそれぞれのフレームの画像データとして保存してもよい。この場合、画像保存部２０３に保存された複数の既合成フレームを表示装置５０に出力することにより、撮像装置１０により撮像された動画像を表示装置５０に繰り返し表示させることができる。

【0072】

以下、動画像受信装置２００の動作について説明する。図８は、第１実施形態に係る動画像受信装置２００における画像データの受信処理の流れの一例を示すフローチャートである。図８に示したフローチャートの処理は、人工衛星ＡＳにより送信された、動画像を構成する１つのフレームに対応する伝送データを受信するごとに繰り返し実行される。なお、人工衛星ＡＳが、それぞれのフレームに対応する伝送データを撮像装置１０が動画像のそれぞれのフレームの撮像をする所定の時間間隔ごと、つまり、予め定めたフレームレートの時間間隔ごとに送信してきた場合、図８に示したフローチャートの処理は、撮像装置１０のフレームレートの時間間隔ごとに繰り返し実行される。

【0073】

なお、以下の説明においては、動画像受信装置２００において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に対応する伝送データはすでに受信済みの状態である、つまり、動画像受信装置２００が備える画像保存部２０３に、前フレームに対応する既合成フレームの画像データが保存されている状態であるものとする。そして、図８に示したフローチャートの説明では、人工衛星ＡＳにより送信された撮像装置１０により以降に撮像されたフレーム（現在フレーム）に対応する伝送データを受信して、現在フレームに対応する合成フレームを生成する場合の動作を説明する。

【0074】

アンテナ４０が人工衛星ＡＳにより送信された伝送データの無線信号の電波を受信すると、通信部２０１は、アンテナ４０が受信した無線信号の電波が表す伝送データを取得する（ステップＳ２００）。そして、通信部２０１は、取得した伝送データに含まれる現在フレームにおける非重複部分の画像データと、現在フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。

【0075】

続いて、画像生成部２０２は、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像保存部２０３に保存されている前フレームに対応する既合成フレームから、重複部分の画像データを抽出する（ステップＳ２０１）。

【0076】

続いて、画像生成部２０２は、抽出した画像データと、通信部２０１により出力された現在フレームにおける非重複部分の画像データとを合わせて、現在フレームを再現させた合成フレームを生成する（ステップＳ２０２）。

【0077】

続いて、画像生成部２０２は、生成した合成フレームに含まれる重複部分内の画像データに対して、通信部２０１により出力された現在フレームにおける重複部分内の画像データの差分（変化）を反映させて、最終的な合成フレームを生成する（ステップＳ２０３）。

【0078】

続いて、画像生成部２０２は、生成した現在フレームに対応する最終的な合成フレームを、表示装置５０に出力する（ステップＳ２０４）。これにより、表示装置５０は、画像生成部２０２により出力された動画像における最終的な合成フレームを表示する。また、画像生成部２０２は、最終的な合成フレームの画像データを、既合成フレームとして、画像保存部２０３に保存させる。

【0079】

このような構成および処理によって、地上局ＧＳが備える動画像受信装置２００は、人工衛星ＡＳが備える動画像送信装置１００によりデータ量が削減（圧縮）されて送信されてきた現在フレームの画像データから、撮像装置１０により撮像された動画像の現在フレームの画像データを再現させた合成フレームを生成して、表示装置５０に表示させる。

【0080】

上述したように、第１実施形態の動画像伝送システム１では、動画像送信装置１００が、撮像装置１０により撮像された動画像を構成する連続した２つのフレーム間で差分（変化）がある画像データを抽出することにより、動画像のそれぞれのフレームの画像データのデータ量を削減（圧縮）させる。そして、第１実施形態の動画像伝送システム１では、動画像送信装置１００が、データ量を削減（圧縮）させた動画像のそれぞれのフレームの画像データを含む伝送データを動画像受信装置２００に送信する。また、第１実施形態の動画像伝送システム１では、動画像受信装置２００が、保存している既合成フレームの画像データと、受信した伝送データに含まれる動画像のフレームの画像データとを合わせて、撮像装置１０により撮像された動画像のそれぞれのフレームを再現させた新たな合成フレームを生成する。これにより、第１実施形態の動画像伝送システム１では、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像を伝送する際に要する通信の負荷を軽減することができる。また、第１実施形態の動画像伝送システム１では、人工衛星ＡＳが搭載する撮像装置１０が高画素化された場合でも、動画像を伝送する際に要する通信の負荷が増大する割合を、高画素化によって動画像のそれぞれのフレームに含まれる画像データが増大する割合よりも低く抑えることができる。このことにより、第１実施形態の動画像伝送システム１では、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。

【0081】

＜第２実施形態＞
以下、第２実施形態の動画像伝送システムについて説明する。第１実施形態の動画像伝送システム１では、図２に示したように、人工衛星ＡＳが一定の速度で地球の上空を移動しながら、人工衛星ＡＳが搭載する撮像装置１０によって直下にある地上の被写体の動画像を撮像する場合を想定していた。しかしながら、人工衛星ＡＳが移動する速度は変わらないものの、人工衛星ＡＳが搭載する撮像装置１０によって動画像を撮像する方向（撮像方向）は、必ずしも直下であるとは限らない。例えば、撮像装置１０によって人工衛星ＡＳが移動する方向に対して前方や後方の動画像を撮像することも考えられる。この場合、撮像装置１０が撮像した動画像のそれぞれのフレームに写された被写体像には、歪みが発生していることが考えられる。この撮像装置１０の撮像方向によって発生する被写体像の歪みは、主に地球が球形であることに起因するものである。第２実施形態の動画像伝送システムは、撮像装置１０の撮像方向によって発生する被写体像の歪みを補正する構成を備え、第１実施形態の動画像伝送システム１と同様に、撮像装置１０が撮像した動画像のフレームの画像データのデータ量を削減（圧縮）させて伝送するようにするものである。

【0082】

［第２実施形態の動画像伝送システムの全体構成］
第２実施形態の動画像伝送システムでは、図１に示した動画像伝送システム１の構成において、人工衛星ＡＳが備える動画像送信装置１００と、地上局ＧＳが備える動画像受信装置２００とのそれぞれが、被写体像の歪みを補正する構成要素を備える構成に代わっている。以下の説明においては、第２実施形態の動画像伝送システムを、「動画像伝送システム２」という。また、第２実施形態の動画像伝送システムが備える動画像送信装置を「動画像送信装置１１０」といい、動画像受信装置を「動画像受信装置２１０」という。

【0083】

なお、動画像伝送システム２において動画像送信装置１１０に接続される撮像装置１０、センサ２０、およびアンテナ３０や、動画像受信装置２１０に接続されるアンテナ４０および表示装置５０は、第１実施形態の動画像伝送システム１と同様であるため、詳細な説明は省略する。また、動画像伝送システム２において動画像を伝送する際の基本的な考え方も、フレームに写された被写体像の歪みを補正する以外は、第１実施形態の動画像伝送システム１と同様であるため、詳細な説明は省略する。

【0084】

動画像送信装置１１０は、第１実施形態の動画像送信装置１００と同様に、人工衛星ＡＳが備え、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像の画像データのデータ量を、人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報に基づいて削減させて（圧縮させて）地上局ＧＳに送信する。動画像送信装置１１０では、撮像装置１０により撮像された動画像のそれぞれのフレームに写された被写体像の歪みを補正した画像データを地上局ＧＳに送信する。

【0085】

動画像受信装置２１０は、第１実施形態の動画像受信装置２００と同様に、地上局ＧＳが備え、人工衛星ＡＳ（動画像送信装置１１０）によりデータ量が削減された状態で送信されてきた動画像の画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の画像データを再現させて、例えば、表示装置５０に表示させる。動画像受信装置２１０では、再現させた動画像のそれぞれのフレームに対して、撮像装置１０により撮像された動画像のそれぞれのフレームに写された被写体像の歪みも再現させる。動画像受信装置２１０の構成および動作に関する詳細については後述する。

【0086】

［動画像送信装置１１０の構成および動作］
以下、動画像送信装置１１０の構成について説明する。なお、動画像送信装置１１０が備える構成要素には、第１実施形態の動画像送信装置１００が備える構成要素と同様の構成要素が含まれている。従って、以下の説明においては、動画像送信装置１１０の構成要素において、第１実施形態の動画像送信装置１００の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。

【0087】

図９は、第２実施形態に係る動画像伝送システム２が備える動画像送信装置１１０の構成の一例を示す図である。図９に示した動画像送信装置１１０は、例えば、画像取得部１０１と、情報取得部１０２と、歪み補正部１１１と、位置合わせ部１０３と、差分識別部１０４と、画像データ抽出部１０５と、通信部１０６と、を備える。なお、図９にも、動画像送信装置１１０に関連する構成要素である撮像装置１０、センサ２０、およびアンテナ３０も併せて示している。

【0088】

画像取得部１０１は、撮像装置１０により撮像された動画像のそれぞれのフレームの画像データを順次取得し、取得したそれぞれのフレームの画像データを、歪み補正部１１１に順次出力する。

【0089】

情報取得部１０２は、センサ２０により出力されたそれぞれの情報を取得することにより、人工衛星ＡＳの位置や、撮像装置１０の撮像方向の情報を取得し、取得した人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を、歪み補正部１１１および位置合わせ部１０３に出力する。

【0090】

歪み補正部１１１は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された動画像を構成するそれぞれのフレームに写された被写体像の歪みを補正する。歪み補正部１１１は、被写体像の歪みを補正したそれぞれのフレームの画像データを、位置合わせ部１０３に順次出力する。

【0091】

なお、歪み補正部１１１がそれぞれのフレームに写された被写体像の歪みを補正する場合、位置合わせ部１０３に出力するそれぞれのフレームの画像データは、歪みをなくすように補正された画像データとなる。しかし、歪み補正部１１１は、いずれか一方のフレームの歪みを補正する、つまり、一方のフレームに写された被写体像の歪みを他方のフレームＦに写された被写体像の歪みに合わせるように歪み補正をしてもよい。例えば、歪み補正部１１１は、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に写された被写体像の歪みを、撮像装置１０により時間的に後に撮像されたフレーム（現在フレーム）に写された被写体像の歪みに合わせるように歪み補正をしてもよい。また、歪み補正部１１１は、現在フレームに写された被写体像の歪みを前フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。

【0092】

ここで、歪み補正部１１１がフレームに写された被写体像の歪みを補正する方法について説明する。図１０は、第２実施形態に係る動画像伝送システム２において人工衛星ＡＳが撮像する範囲と被写体との位置関係の一例を模式的に示す図である。図１０の左側には、人工衛星ＡＳが移動する方向に対して後方の動画像を撮像装置１０によって撮像する場合の撮像装置１０の撮像範囲と地上の被写体との位置関係の一例を示している。また、図１０の右側には、左側に示した撮像装置１０の撮像範囲と地上の被写体との位置関係において、歪み補正部１１１が被写体像の歪みを補正する処理を行うために定義するパラメータを示している。

【0093】

人工衛星ＡＳが一定の速度で地球の上空を移動しながら撮像装置１０により後方の動画像を撮像する場合、撮像装置１０の撮像範囲内に撮像される被写体像は、人工衛星ＡＳ（撮像装置１０）の直下から離れるほど歪みが大きくなる。言い換えれば、撮像装置１０からの距離に応じて被写体像の歪みが変化する。これは、撮像装置１０が斜め方向から被写体を撮像することになるからである。図１０の左側には、人工衛星ＡＳが、例えば、位置Ｐ１に位置しているときに撮像装置１０が動画像の１枚目のフレーム（フレームＦ１）を撮像し、その後、人工衛星ＡＳが、例えば、位置Ｐ２の位置に移動したときに撮像装置１０が２枚目のフレーム（フレームＦ２）を撮像した状態を示している。そして、図１０の左側には、フレームＦ１およびフレームＦ２のそれぞれの撮像範囲内に撮像される被写体の歪みが、撮像装置１０の直下では小さく、撮像装置１０の直下から離れるほど歪みが大きくなる状態を示している。この場合、撮像装置１０により撮像される同じ被写体であっても、フレームＦ１とフレームＦ２とのそれぞれに写された被写体像は、歪みによって異なる形になってしまう。このため、図３を用いて説明した第１実施形態の動画像伝送システム１におけるそれぞれのフレームの画像データの処理方法でフレームＦ１とフレームＦ２とにおける重複部分内の差分（変化）を識別すると、重複部分内のほぼ全ての部分に差分（変化）があることになり、重複部分の画像データのデータ量を削減（圧縮）することができなくなってしまう。

【0094】

このため、動画像送信装置１１０では、歪み補正部１１１が、以降の処理において、第１実施形態の動画像伝送システム１におけるそれぞれのフレームの画像データの処理方法と同様の処理をすることができるように、それぞれのフレームに写された被写体像の歪みを補正する。言い換えれば、歪み補正部１１１は、それぞれのフレームが、図２に示したような、撮像装置１０によって直下にある地上の被写体を撮像したフレームと同様になるように被写体像の歪みを補正する。

【0095】

歪み補正部１１１における被写体像の歪み補正の処理では、地球の表面を平面の地図に表すための図法である既存の心射方位図法を応用して、被写体像の歪みの大きさを求める。このとき、図１０の右側に示したように、地球の表面を水平線と仮定し、水平線から人工衛星ＡＳまでの距離（いわゆる、人工衛星ＡＳの高度）ｈを定義する。そして、人工衛星ＡＳの位置Ｐを中心として半径が高度ｈの円と水平線とが接する接点の位置を通る垂線を基準とした場合の撮像装置１０の画角を、画角θと定義する。また、垂線と半径が高度ｈの円とが接する接点の位置から、画角θの斜線と円とが交差する接点の位置までの円弧の長さを、撮像装置１０の撮像範囲の距離ｄと定義する。また、垂線と半径が高度ｈの円とが接する接点の位置から、画角θの斜線と水平線とが交差する接点の位置までの水平線上の長さを、水平線上の被写体の縮尺ｒ（ｄ）と定義する。この縮尺ｒ（ｄ）は、撮像装置１０の撮像範囲における距離に応じた水平線上の被写体の歪み補正量に相当する。

【0096】

上記の定義に基づいて、人工衛星ＡＳの移動方向の被写体像に対する歪み補正量Ａ（ｄ）は、下式（２）で表される。

【0097】

Ａ（ｄ）＝Ｃ／（２ｈｃｏｓ^２（ｄ／２ｈ）） ・・・（２）

【0098】

また、上記の定義に基づいて、人工衛星ＡＳの移動方向に対して垂直、かつ、地球の表面と平行な方向（図１０の紙面に対して手前側および奥側の方向：以下、「垂直方向」という）の被写体像に対する歪み補正量Ｂ（ｄ）は、下式（３）で表される。

【0099】

Ｂ（ｄ）＝Ｃ／（２ｈｃｏｓ（ｄ／２ｈ）） ・・・（３）

【0100】

上式（２）および上式（３）において、Ｃは定数（例えば、Ｃ＝１）である。

【0101】

歪み補正部１１１は、人工衛星ＡＳの移動方向の歪み補正量Ａ（ｄ）と、人工衛星ＡＳの移動方向に対する垂直方向の歪み補正量Ｂ（ｄ）とのそれぞれを、フレームに含まれる画像データごとに求める。そして、歪み補正部１１１は、フレーム内の画像データの位置に応じて求めた歪み補正量Ａ（ｄ）と歪み補正量Ｂ（ｄ）のそれぞれの歪み補正量を組み合わせて、フレームに写された被写体像の歪みを補正する。

【0102】

なお、図１０では、地球の表面が平面であるものとして定義したそれぞれのパラメータに基づいて、人工衛星ＡＳの移動方向および人工衛星ＡＳの移動方向に対する垂直方向のそれぞれの歪み補正量を求めた。しかしながら、地球の上空の所定の軌道を周回する人工衛星ＡＳの高度は高いため、地球の表面は、図１０に示したような平面ではなく、球面である。従って、撮像装置１０が撮像する動画像のそれぞれのフレームに写された被写体像の歪みは、地球の表面が平面である場合よりもさらに大きくなる。

【0103】

このため、動画像送信装置１１０では、歪み補正部１１１が、以降の処理において、第１実施形態の動画像伝送システム１におけるそれぞれのフレームの画像データの処理方法と同様の処理をすることができるように、地球の表面の球面を平面に補正するように、それぞれのフレームに写された被写体像の歪みをさらに補正する。言い換えれば、歪み補正部１１１は、それぞれのフレームが、図２に示したような、撮像装置１０によって直下にある地上の被写体を撮像したフレームと同様になるように、撮像装置１０の撮像方向に対応する上述した歪み補正と、地球の表面が球面形状であることを加味した歪み補正との２段階で、被写体像の歪みを補正する。

【0104】

図１１は、第２実施形態に係る動画像伝送システム２において人工衛星ＡＳが撮像する範囲と被写体との位置関係の別の一例を模式的に示す図である。図１１の左側には、人工衛星ＡＳが移動する方向に対して後方の動画像を撮像装置１０によって撮像する場合の撮像装置１０の撮像範囲と地上の被写体との位置関係の一例を示している。また、図１１の右側には、左側に示した撮像装置１０の撮像範囲と地上の被写体との位置関係において、歪み補正部１１１が被写体像の歪みを補正する処理を行うために定義するパラメータを示している。

【0105】

この地球の表面が球面である場合における歪み補正部１１１による被写体像の歪み補正の処理でも、既存の心射方位図法を応用して、被写体像の歪みの大きさを求める。この場合では、図１１の右側に示したように、地球の表面を水平線と仮定し、水平線から地球の中心の位置までの距離（いわゆる、地球の半径）Ｒを定義する。そして、地球の中心位置を中心として半径が地球の半径Ｒの円と水平線とが接する接点の位置を通る垂線を基準として、高度ｈの位置に位置する人工衛星ＡＳが備える撮像装置１０の画角θの斜線と半径Ｒの円とが交差する接点の位置までの円弧の長さを、撮像装置１０により撮像される地球の表面の距離ｅと定義する。また、垂線と半径Ｒの円とが接する接点の位置から、地球の中心位置から画角θの斜線と半径Ｒの円とが交差する接点の位置を通って水平線と交差する接点の位置までの水平線上の長さを、水平線上の被写体の縮尺ｓ（ｅ）と定義する。この縮尺ｓ（ｅ）は、撮像装置１０により撮像される地球の表面の距離に応じた水平線上の被写体の歪み補正量に相当する。

【0106】

上記の定義に基づいて、地球の球面形状を加味した人工衛星ＡＳの移動方向の被写体像に対する歪み補正量Ｄ（ｅ）は、下式（４）で表される。

【0107】

Ｄ（ｅ）＝Ｃ／（２Ｒｃｏｓ^２（ｅ／２Ｒ）） ・・・（４）

【0108】

また、上記の定義に基づいて、地球の球面形状を加味した人工衛星ＡＳの移動方向に対して垂直方向の被写体像に対する歪み補正量Ｅ（ｅ）は、下式（５）で表される。

【0109】

Ｅ（ｅ）＝Ｃ／（２Ｒｃｏｓ（ｅ／２Ｒ）） ・・・（５）

【0110】

上式（４）および上式（５）においても、Ｃは定数（例えば、Ｃ＝１）である。

【0111】

歪み補正部１１１は、人工衛星ＡＳの移動方向の歪み補正量Ｄ（ｅ）と、人工衛星ＡＳの移動方向に対する垂直方向の歪み補正量Ｅ（ｅ）とのそれぞれを、フレームに含まれる画像データごとにさらに求める。そして、歪み補正部１１１は、フレーム内の画像データの位置に応じて求めた歪み補正量Ａ（ｄ）と歪み補正量Ｂ（ｄ）とを組み合わせて被写体像の歪みを補正したそれぞれのフレームに対して、さらに求めた歪み補正量Ｄ（ｅ）と歪み補正量Ｅ（ｅ）とのそれぞれの歪み補正量を組み合わせて、フレームに写された被写体像の歪みをさらに補正する。歪み補正部１１１は、被写体像の歪みを補正したそれぞれのフレーム（以下、「補正フレーム」という）の画像データを、位置合わせ部１０３に順次出力する。

【0112】

なお、歪み補正部１１１は、上述したように、前フレームに写された被写体像の歪みを現在フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。つまり、歪み補正部１１１は、前フレームに写された被写体像の現在フレームに写された被写体像に対する歪み補正量を、上式（２）～上式（５）に基づいてそれぞれ求めてもよい。この場合、歪み補正部１１１による被写体像の歪みの補正は、前フレームに対して行われることになる。言い換えれば、歪み補正部１１１は、現在フレームに対しては被写体像の歪みの補正を行わないことになる。この場合、歪み補正部１１１は、被写体像の歪みの補正を行った現在フレームと、被写体像の歪みの補正を行っていない現在フレーム（つまり、画像取得部１０１により出力されたそのままの現在フレーム）とを、それぞれの補正フレームとして位置合わせ部１０３に出力する。

【0113】

また、歪み補正部１１１は、上述したように、現在フレームに写された被写体像の歪みを前フレームに写された被写体像の歪みに合わせるように歪み補正をしてもよい。つまり、歪み補正部１１１は、上式（２）～上式（５）に基づいて、現在フレームに写された被写体像の前フレームに写された被写体像に対するそれぞれの歪み補正量を求め、現在フレームに対して被写体像の歪み補正を行ってもよい。この場合、歪み補正部１１１は、被写体像の歪みの補正を行っていない前フレーム（つまり、画像取得部１０１により出力されたそのままの前フレーム）と、被写体像の歪みの補正を行った現在フレームとを、それぞれの補正フレームとして位置合わせ部１０３に出力する。

【0114】

図９に戻って、位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、歪み補正部１１１により出力された連続した２つの補正フレーム（前フレームおよび現在フレームのいずれか一方のフレームに対して被写体像の歪み補正が行われていない場合を含む）に写された同じ主要被写体の被写体像の位置を合わせる。位置合わせ部１０３は、主要被写体の位置を合わせた情報と、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、位置合わせを行った２つの補正フレームの画像データとを、差分識別部１０４に出力する。

【0115】

差分識別部１０４は、位置合わせ部１０３により出力された主要被写体の位置を合わせた情報に基づいて、位置合わせ部１０３により出力された２つの補正フレームに写された主要被写体の位置が合わされた状態で、２つの補正フレームにおける非重複部分および重複部分の画像データの差分（変化）を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分（変化）を表す情報と、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、位置合わせ部１０３により出力された２つの補正フレームの画像データのうち、撮像装置１０により時間的に後に撮像されたフレーム（現在フレーム）を補正した補正フレームの画像データを、画像データ抽出部１０５に出力する。

【0116】

画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報や、重複部分の差分（変化）を表す情報に基づいて、差分識別部１０４により出力された現在フレームを補正した補正フレームから、非重複部分の画像データや、重複部分内で差分（変化）がある画像データを抽出する。画像データ抽出部１０５は、抽出した非重複部分の画像データと、重複部分内の画像データおよびこの画像データの位置を表す情報と、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、現在フレームを補正した補正フレームに対応する画像データとして、通信部１０６に出力する。つまり、画像データ抽出部１０５は、人工衛星ＡＳが移動した場合でも現在フレームの画像データが変わらない部分を削除してデータ量を削減（圧縮）した補正フレームの画像データを、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とともに、通信部１０６に出力する。

【0117】

通信部１０６は、画像データ抽出部１０５により出力された現在フレームに対応する補正フレームの画像データおよびこの画像データの情報と、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、動画像受信装置２１０に送信するための伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力して、アンテナ３０に、出力した伝送データに対応する無線信号の電波を動画像受信装置２１０に向けて送出させる。

【0118】

以下、動画像送信装置１１０の動作について説明する。図１２は、第２実施形態に係る動画像送信装置１１０における画像データの送信処理の流れの一例を示すフローチャートである。図１２に示したフローチャートの処理も、第１実施形態の動画像送信装置１００における画像データの送信処理の流れと同様に、撮像装置１０が動画像を構成する１つのフレームの撮像をする予め定めたフレームレートの時間間隔ごとに繰り返し実行される。なお、図１２に示したフローチャートでは、図６に示した第１実施形態の動画像送信装置１００のフローチャートの処理と同様の処理には同じステップ番号を付与している。

【0119】

なお、以下の説明においては、動画像送信装置１１０において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）に対応する補正フレームの画像データはすでに動画像受信装置２１０に送信済みの状態である、つまり、動画像送信装置１１０内に、前フレームに対応する補正フレーム（以下、「前補正フレーム」という）の画像データが、例えば、不図示の画像データ保存部に保存されている状態であるものとする。そして、図１２に示したフローチャートの説明では、動画像送信装置１１０が、撮像装置１０により以降に撮像されたフレーム（現在フレーム）に対応する補正フレーム（以下、「現在補正フレーム」という）の画像データを動画像受信装置２１０に送信する場合の動作を説明する。

【0120】

撮像装置１０が時間的に後のフレームを撮像すると、画像取得部１０１は、撮像装置１０により出力された現在フレームの画像データを取得する（ステップＳ１００）。そして、画像取得部１０１は、取得した現在フレームの画像データを、歪み補正部１１１に出力する。

【0121】

続いて、情報取得部１０２は、センサ２０により出力されたそれぞれの情報に基づいて、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報を取得する（ステップＳ１０１）。そして、情報取得部１０２は、取得した人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報を、歪み補正部１１１および位置合わせ部１０３に出力する。

【0122】

続いて、歪み補正部１１１は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像取得部１０１により出力された現在フレームに写された被写体像の歪みを補正する（ステップＳ１１１）。歪み補正部１１１は、被写体像の歪みを補正した現在補正フレームの画像データを、位置合わせ部１０３に出力する。

【0123】

続いて、位置合わせ部１０３は、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、歪み補正部１１１により出力された現在補正フレームに写された主要被写体と、不図示の画像データ保存部に保存している前補正フレームに写された同じ主要被写体との位置を合わせる（ステップＳ１０２）。そして、位置合わせ部１０３は、主要被写体の位置を合わせた情報と、情報取得部１０２により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、前補正フレームおよび現在補正フレームの画像データとを、差分識別部１０４に出力する。また、位置合わせ部１０３は、現在補正フレームの画像データを、不図示の画像データ保存部に保存（前補正フレームの更新であってもよい）する。

【0124】

続いて、差分識別部１０４は、位置合わせ部１０３により出力された前補正フレームと現在補正フレームとの画像データにおける差分を識別する（ステップＳ１０３）。より具体的には、差分識別部１０４は、位置合わせ部１０３により出力された前補正フレームと現在補正フレームとの画像データにおける非重複部分の差分を識別する。また、差分識別部１０４は、位置合わせ部１０３により出力された前補正フレームと現在補正フレームとの画像データにおける重複部分内の差分（変化）を識別する。差分識別部１０４は、識別した非重複部分の画像データの範囲を表す情報と、識別した重複部分の差分（変化）を表す情報と、位置合わせ部１０３により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報と、現在補正フレームの画像データとを、画像データ抽出部１０５に出力する。

【0125】

続いて、画像データ抽出部１０５は、差分識別部１０４により出力された情報に基づいて、差分識別部１０４により出力された現在補正フレームの画像データから、動画像受信装置２１０に送信する現在補正フレームの画像データを抽出する（ステップＳ１０４）。より具体的には、画像データ抽出部１０５は、差分識別部１０４により出力された非重複部分の画像データの範囲を表す情報に基づいて、差分識別部１０４により出力された現在補正フレームの画像データから、非重複部分の画像データを抽出する。また、画像データ抽出部１０５は、差分識別部１０４により出力された重複部分の差分（変化）を表す情報に基づいて、差分識別部１０４により出力された現在補正フレームの画像データから、重複部分内で差分（変化）がある画像データを抽出する。画像データ抽出部１０５は、抽出した現在補正フレームにおける非重複部分の画像データと、抽出した現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、差分識別部１０４により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とを、通信部１０６に出力する。

【0126】

続いて、通信部１０６は、画像データ抽出部１０５により出力された現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とを含む伝送データを生成する。そして、通信部１０６は、生成した伝送データをアンテナ３０に出力して、動画像受信装置２１０に送信させる（ステップＳ１０５）。

【0127】

このような構成および処理によって、人工衛星ＡＳが備える動画像送信装置１１０は、撮像装置１０により撮像された動画像のフレームに写された被写体像の歪みを補正する。そして、動画像送信装置１１０は、被写体像の歪みを補正した補正フレームの画像データのデータ量を削減（圧縮）させて、地上局ＧＳ（より具体的には、動画像受信装置２１０）に送信する。

【0128】

［動画像受信装置２１０の構成および動作］
以下、動画像受信装置２１０の構成について説明する。なお、動画像受信装置２１０が備える構成要素には、第１実施形態の動画像受信装置２００が備える構成要素と同様の構成要素が含まれている。従って、以下の説明においては、動画像受信装置２１０の構成要素において、第１実施形態の動画像受信装置２００の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。なお、動画像受信装置２１０が備える第１実施形態の動画像受信装置２００の構成要素と同様の構成要素の動作は、例えば、「前フレーム」を「前補正フレーム」に置き換え、「現在フレーム」を「現在補正フレーム」に置き換えることによって容易に理解することができる。

【0129】

図１３は、第２実施形態に係る動画像伝送システム２が備える動画像受信装置２１０の構成の一例を示す図である。図１３に示した動画像受信装置２１０は、例えば、通信部２０１と、画像生成部２０２と、画像保存部２０３と、歪み再現部２１１と、を備える。なお、図１３にも、動画像受信装置２１０に関連する構成要素であるアンテナ４０および表示装置５０も併せて示している。

【0130】

通信部２０１は、アンテナ４０が受信した人工衛星ＡＳにより送出された無線信号の電波が表す伝送データを取得し、取得した伝送データに含まれる現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。

【0131】

画像生成部２０２は、通信部２０１により出力された現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とに基づいて、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像の現在補正フレームを再現させた合成フレーム（以下、「合成補正フレーム」という）を生成する。画像生成部２０２は、生成した現在補正フレームに対応する合成補正フレームを、撮像装置１０が撮像した動画像の次のフレームを再現させるために用いる前補正フレームを再現させた合成補正フレーム（以下、「既合成補正フレーム」という）として、画像保存部２０３に保存させる。また、画像生成部２０２は、生成した現在補正フレームに対応する合成補正フレームと、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とのそれぞれを、歪み再現部２１１に出力する。

【0132】

画像保存部２０３は、既合成補正フレームの画像データの保存（更新も含む）をする。

【0133】

歪み再現部２１１は、画像生成部２０２により出力された合成補正フレームと、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とに基づいて、合成補正フレームに写された被写体像に対して歪みを再現させる。つまり、歪み再現部２１１は、撮像装置１０により撮像された現在フレームに写された被写体像に発生している歪みを再現させる。歪み再現部２１１が合成補正フレームに写された被写体像の歪みを再現させる方法は、動画像送信装置１１０が備える歪み補正部１１１がフレームに写された被写体像の歪みを補正する方法を逆に考えた方法である。このため、例えば、現在フレームに写された被写体像に発生している歪みを再現させるための歪み再現量は、上式（２）～上式（５）のそれぞれの式で表される歪み補正量と逆の演算を行う式で表すことができる。従って、歪み再現部２１１が合成補正フレームに写された被写体像の歪みを再現させる方法に関する詳細な説明は省略する。歪み再現部２１１は、被写体像の歪みを再現させた合成補正フレーム（以下、「合成再現フレーム」という）を、表示装置５０に出力する。これにより、表示装置５０は、画像生成部２０２により被写体像の歪みが再現された動画像における合成再現フレームを表示する。

【0134】

なお、歪み再現部２１１は、例えば、ＨＤＤ、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）（不図示）を備え、被写体像の歪みを再現させた合成再現フレームの画像データを順次、動画像を構成するそれぞれのフレームの画像データとして保存してもよい。この場合、不図示の記憶装置に保存された複数の合成再現フレームを表示装置５０に出力することにより、撮像装置１０により撮像された動画像を表示装置５０に繰り返し表示させることができる。

【0135】

以下、動画像受信装置２１０の動作について説明する。図１４は、第２実施形態に係る動画像受信装置２１０における画像データの受信処理の流れの一例を示すフローチャートである。図１４に示したフローチャートの処理も、第１実施形態の動画像受信装置２００における画像データの受信処理の流れと同様に、人工衛星ＡＳにより送信された、動画像を構成する１つの補正フレームに対応する伝送データを受信するごと（例えば、撮像装置１０のフレームレートの時間間隔ごと）に繰り返し実行される。なお、図１４に示したフローチャートでは、図８に示した第１実施形態の動画像受信装置２００のフローチャートの処理と同様の処理には同じステップ番号を付与している。

【0136】

なお、以下の説明においては、動画像受信装置２１０において、撮像装置１０により時間的に前に撮像されたフレーム（前フレーム）を補正した前補正フレームに対応する伝送データはすでに受信済みの状態である、つまり、動画像受信装置２１０が備える画像保存部２０３に、前補正フレームに対応する既合成補正フレームの画像データが保存されている状態であるものとする。そして、図１４に示したフローチャートの説明では、人工衛星ＡＳにより送信された撮像装置１０により以降に撮像されたフレームを補正した補正フレーム（現在補正フレーム）に対応する伝送データを受信して、現在補正フレームに対応する合成再現フレームを生成する場合の動作を説明する。

【0137】

アンテナ４０が人工衛星ＡＳにより送信された伝送データの無線信号の電波を受信すると、通信部２０１は、アンテナ４０が受信した無線信号の電波が表す伝送データを取得する（ステップＳ２００）。そして、通信部２０１は、取得した伝送データに含まれる現在補正フレームにおける非重複部分の画像データと、現在補正フレームにおける重複部分内の画像データおよび位置を表す情報と、人工衛星ＡＳの位置および撮像装置１０の撮像方向の情報とのそれぞれを、画像生成部２０２に出力する。

【0138】

続いて、画像生成部２０２は、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報に基づいて、画像保存部２０３に保存されている前補正フレームに対応する既合成補正フレームから、重複部分の画像データを抽出する（ステップＳ２０１）。

【0139】

続いて、画像生成部２０２は、抽出した画像データと、通信部２０１により出力された現在補正フレームにおける非重複部分の画像データとを合わせて、現在補正フレームを再現させた合成補正フレームを生成する（ステップＳ２０２）。

【0140】

続いて、画像生成部２０２は、生成した合成補正フレームに含まれる重複部分内の画像データに対して、通信部２０１により出力された現在補正フレームにおける重複部分内の画像データの差分（変化）を反映させて、最終的な合成補正フレームを生成する（ステップＳ２０３）。そして、画像生成部２０２は、生成した最終的な合成補正フレームと、通信部２０１により出力された人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とのそれぞれを、歪み再現部２１１に出力する。また、画像生成部２０２は、最終的な合成補正フレームの画像データを、既合成補正フレームとして、画像保存部２０３に保存させる。

【0141】

続いて、歪み再現部２１１は、画像生成部２０２により出力された合成補正フレームと、人工衛星ＡＳの位置や撮像装置１０の撮像方向の情報とに基づいて、合成補正フレームに写された被写体像に対して歪みを再現させる（ステップＳ２１３）。

【0142】

続いて、歪み再現部２１１は、被写体像の歪みを再現させた合成再現フレームを、表示装置５０に出力する（ステップＳ２０４）。これにより、表示装置５０は、画像生成部２０２により被写体像の歪みが再現された動画像における合成再現フレームを表示する。

【0143】

このような構成および処理によって、地上局ＧＳが備える動画像受信装置２１０は、人工衛星ＡＳが備える動画像送信装置１１０によりデータ量が削減（圧縮）されて送信されてきた現在補正フレームの画像データから、撮像装置１０により撮像された動画像の現在フレームを再現させた合成再現フレームの画像データを生成して、表示装置５０に表示させる。

【0144】

上述したように、第２実施形態の動画像伝送システム２では、動画像送信装置１１０が、撮像装置１０により撮像された動画像を構成するそれぞれのフレームに写された被写体像の歪みを補正する。そして、第２実施形態の動画像伝送システム２でも、動画像送信装置１１０が、第１実施形態の動画像送信装置１００と同様に、被写体像の歪みを補正した後の連続した２つの補正フレーム間で差分（変化）がある画像データを抽出することにより、動画像のそれぞれの補正フレームの画像データのデータ量を削減（圧縮）させる。そして、第２実施形態の動画像伝送システム２でも、動画像送信装置１１０が、第１実施形態の動画像受信装置２００と同様に、データ量を削減（圧縮）させた動画像のそれぞれの補正フレームの画像データを含む伝送データを動画像受信装置２１０に送信して、写されている被写体像の歪みが補正された動画像のそれぞれの合成補正フレームを生成する。そして、第２実施形態の動画像伝送システム２では、動画像受信装置２１０が、生成した合成補正フレームに写された被写体像に対して、撮像装置１０により撮像された動画像を構成するそれぞれのフレームに写された被写体像に発生している歪みを再現させる。

【0145】

これにより、第２実施形態の動画像伝送システム２では、撮像装置１０により撮像された動画像を構成するそれぞれのフレームに写された被写体像に歪みが発生している場合でも、第１実施形態の動画像伝送システム１と同様に、人工衛星ＡＳが搭載する撮像装置１０により撮像された動画像を伝送する際に要する通信の負荷を軽減することができる。そして、第２実施形態の動画像伝送システム２でも、第１実施形態の動画像伝送システム１と同様に、人工衛星ＡＳが搭載する撮像装置１０が高画素化された場合でも、動画像を伝送する際に要する通信の負荷が増大する割合を、高画素化によって動画像のそれぞれのフレームに含まれる画像データが増大する割合よりも低く抑えることができる。このことにより、第２実施形態の動画像伝送システム２でも、第１実施形態の動画像伝送システム１と同様に、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。

【0146】

上記に述べたとおり、各実施形態の動画像伝送システムによれば、人工衛星ＡＳが備える撮像装置１０により撮像された動画像における最初のフレームの画像データは処理をせずにそのまま伝送するものの、以降のフレームの画像データは、データ量を削減（圧縮）させて伝送する。これにより、各実施形態の動画像伝送システムでは、動画像送信装置と動画像受信装置との間で行う動画像の伝送における負荷を軽減し、人工衛星ＡＳが搭載する撮像装置１０の高画素化の実現を容易にすることができる。

【0147】

なお、上述したそれぞれの実施形態では、各実施形態の動画像伝送システムを構成する動画像受信装置が、動画像送信装置によりデータ量が削減された状態で送信されてきた動画像の画像データから、人工衛星が搭載する撮像装置が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する構成を説明した。しかし、動画像受信装置は、撮像装置が撮像した動画像のそれぞれのフレームを再現させる以外にも、動画像における種々のフレームを生成する構成にすることもできる。

【0148】

［動画像受信装置が生成するフレームの一例］
ここで、動画像受信装置が生成する動画像のフレームの一例についていくつか説明する。なお、第１実施形態の動画像伝送システム１を構成する動画像受信装置２００と、第２実施形態の動画像伝送システム２を構成する動画像受信装置２１０とのいずれの動画像受信装置も同様に、動画像における種々のフレームを生成することができる。以下の説明においては、第１実施形態の動画像伝送システム１を構成する動画像受信装置２００が、動画像のフレームを再現させた複数の合成フレームに基づいて、他のフレームを生成するものとして説明する。

【0149】

図１５は、動画像受信装置２００において再現させたフレームに基づいて他のフレームを生成する動作の一例を模式的に示す図である。図１５には、動画像受信装置２００（より具体的には、画像生成部２０２）が再現させた連続する２つの合成フレームに基づいて、時間的に２つの合成フレームの中間に位置する新たなフレーム（以下、「中間フレーム」という）を生成する処理の一例を模式的に示している。

【0150】

画像生成部２０２は、上述したように、動画像送信装置１００によりデータ量が削減されて（圧縮されて）送信されたそれぞれのフレームの画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する（図４参照）。図１５には、動画像送信装置１００により送信された伝送データＤ２（図１５の左側の上段参照）を受信して、撮像装置１０により撮像されたフレームＦ２（図１５の左側の中段参照）再現した状態を示している。また、図１５には、動画像送信装置１００により送信された伝送データＤ３（図１５の右側の上段参照）を受信して、フレームＦ２よりも時間的に後に撮像装置１０により撮像されたフレームＦ３（図１５の右側の中段参照）再現した状態を示している。画像生成部２０２は、上述したように、再現したフレームＦ２とフレームＦ３とのそれぞれの合成フレームの画像データを、画像保存部２０３に保存させる。

【0151】

その後、画像生成部２０２は、画像保存部２０３に保存させたフレームＦ２とフレームＦ３とに基づいて、時間的にフレームＦ２とフレームＦ３との中間に位置する新たな中間フレーム（図１５の中側の下段＝中間フレームＭ２参照）を生成する。画像生成部２０２が生成する中間フレームＭ２は、フレームＦ２に写された被写体像が、人工衛星ＡＳの移動に伴ってフレームＦ３に写されるまでに移動（変化）する中間的な位置に表されたフレームである。言い換えれば、中間フレームＭ２は、撮像装置１０が動画像を撮像するフレームレートの時間間隔を狭くした（つまり、フレームレートを高くした）場合に撮像されるフレームに相当するフレームである。画像生成部２０２は、生成した中間フレームＭ２の画像データも、フレームＦ２やフレームＦ３と同様に、画像保存部２０３に保存させる。

【0152】

なお、画像生成部２０２における中間フレームＭ２の生成方法としては、例えば、フレームＦ２に写された被写体像の位置とフレームＦ３に写された被写体像の位置とを合わせる位置合わせを行ってフレームＦ２とフレームＦ３とを合成したフレームを生成し、生成したフレームの中心の位置を基準としてフレームＦ２またはフレームＦ３と同じ画角を切り出す方法などが考えられる。しかし、画像生成部２０２における中間フレームＭ２の生成方法は、上述したような方法に限定されない。

【0153】

このようにして、画像生成部２０２は、動画像送信装置１００により送信された伝送データＤを受信して再現した複数の合成フレームに基づいて、時間的に中間に位置する新たな中間フレームＭを生成する。そして、画像生成部２０２は、例えば、画像保存部２０３に保存されたそれぞれの合成フレームの間に中間フレームを挟んで表示装置５０に順次出力する。これにより、表示装置５０は、撮像装置１０が動画像を撮像するフレームレートよりも高いフレームレートの動画像、つまり、より滑らかな動画像を表示させることができる。

【0154】

図１６は、動画像受信装置２００において再現させたフレームに基づいて他のフレームを生成する動作の別の一例を模式的に示す図である。図１６には、動画像受信装置２００（より具体的には、画像生成部２０２）が再現させた連続する２つの合成フレームに基づいて、連続する２つの合成フレームのうち時間的に後の合成フレームよりもさらに時間を進めた（時間的にさらに後に位置する）新たなフレームを予測して生成する処理の一例を模式的に示している。以下の説明においては、動画像受信装置２００において予測して生成する、さらに時間を進めた新たなフレームを「予測フレーム」という。

【0155】

この場合も、画像生成部２０２は、上述したように、動画像送信装置１００によりデータ量が削減されて（圧縮されて）送信されたそれぞれのフレームの画像データから、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する（図４参照）。図１６には、動画像送信装置１００により送信された伝送データＤ２（図１６の左側の上段参照）を受信して、撮像装置１０により撮像されたフレームＦ２（図１６の左側の下段参照）再現した状態を示している。また、図１６には、動画像送信装置１００により送信された伝送データＤ３（図１６の中側の上段参照）を受信して、フレームＦ２よりも時間的に後に撮像装置１０により撮像されたフレームＦ３（図１６の中側の下段参照）再現した状態を示している。画像生成部２０２は、上述したように、再現したフレームＦ２とフレームＦ３とのそれぞれの合成フレームの画像データを、画像保存部２０３に保存させる。

【0156】

その後、画像生成部２０２は、画像保存部２０３に保存させたフレームＦ２とフレームＦ３とに基づいて、フレームＦ３からさらに時間を進めたときに撮像装置１０により撮像されることが予測される予測フレーム（図１６の右側の下段＝予測フレームＰ３参照）を生成する。画像生成部２０２が生成する予測フレームＰ３は、フレームＦ３に写された被写体像が、人工衛星ＡＳが移動したことにより撮像装置１０が次に撮像する位置まで移動（変化）したことが表されたフレームである。つまり、予測フレームＰ３は、撮像装置１０が動画像を撮像する次のフレーム（例えば、フレームＦ４）に相当するフレームである。なお、予測フレームＰ３は、フレームＦ３に写された被写体像が、フレームＦ３とフレームＦ４との中間的な位置に表されたフレームであってもよい。画像生成部２０２は、生成した予測フレームＰ３の画像データも、フレームＦ２やフレームＦ３と同様に、画像保存部２０３に保存させる。

【0157】

なお、画像生成部２０２における予測フレームＰ３の生成方法としては、例えば、フレームＦ３に写された被写体像を、フレームＦ２に写された被写体像の位置とフレームＦ３に写された被写体像の位置との差分、つまり、人工衛星ＡＳが移動した移動量の分だけ全体的にずらす方法などが考えられる。この方法の場合、予測フレームＰ３には、フレームＦ３に写された被写体像を移動させたことにより、フレームＦ３と予測フレームＰ３とにおける非重複部分の画像データがなくなることになる。つまり、予測フレームＰ３の画像データには、人工衛星ＡＳの移動量に対応した範囲の画像データが含まれていないことになる。これは、現時点では、予測フレームＰ３におけるフレームＦ３との非重複部分の画像データが、例えば、フレームＦ４に対応する画像データが含まれる伝送データＤ４として動画像送信装置１００により送信されてきていないからである。このため、画像生成部２０２は、例えば、画像保存部２０３に保存している以前に再現したフレームＦ４など、予測フレームＰ３に写されるべき被写体像が写されているフレームＦから抽出した画像データを、フレームＦ３と予測フレームＰ３とにおける非重複部分の画像データとして合わせて（合成して）予測フレームＰ３を生成してもよい。しかし、画像生成部２０２における予測フレームＰ３の生成方法は、上述したような方法に限定されない。

【0158】

このようにして、画像生成部２０２は、動画像送信装置１００により送信された伝送データＤを受信して再現した複数の合成フレームに基づいて、時間的に後の合成フレームよりもさらに時間を進めた新たな予測フレームＰを生成する。これにより、画像生成部２０２は、生成した予測フレームＰに基づいて、予測フレームＰに対応するフレームＦの画像データが含まれる伝送データＤを実際に受信するまでの間に、受信した伝送データＤに対応する合成フレームの生成に必要な画像データを事前に準備しておくことができる。言い換えれば、画像生成部２０２は、それぞれのフレームＦの伝送データＤが動画像送信装置１００により送信されてくるごとに、人工衛星ＡＳが搭載する撮像装置１０が撮像した動画像のそれぞれのフレームを再現させた合成フレームを生成する処理を最初から始める必要がなくなる。これにより、画像生成部２０２では、伝送データＤを受信した後に、それぞれのフレームを再現させた合成フレームを生成するために要する処理時間の短縮を図り、動画像受信装置２００の処理速度の向上（高速化）を図ることができる。

【0159】

なお、上述したそれぞれの実施形態では、動画像伝送システムを構成する動画像送信装置および動画像受信装置が備えるそれぞれの構成要素が、処理対象のフレームの画像データを、人工衛星の位置や撮像装置の撮像方向の情報とともに、次に処理を行う構成要素に順次引き渡す構成を説明した。しかし、処理対象のフレームの画像データや、人工衛星の位置や撮像装置の撮像方向の情報は、それぞれの実施形態のように順次引き渡す構成に限定されない。例えば、動画像送信装置や動画像受信装置の中に、それぞれの処理段階の様々なデータを記憶する共有の記憶装置を備え、それぞれの構成要素が、共有の記憶装置から処理対象のデータを読み出して処理を行い、処理を行った後のデータを再び共有の記憶装置に書き込んで記憶させることにより、次に処理を行う構成要素に処理対象のデータを順次引き渡す構成であってもよい。この場合、それぞれの構成要素における共有の記憶装置からのデータの読み出しと、共有の記憶装置へのデータの書き込みは、例えば、共有の記憶装置が接続されている共通のデータバスを経由したＤＭＡ（Direct Memory Access）によって行ってもよい。

【0160】

また、上述したそれぞれの実施形態では、人工衛星ＡＳが備える撮像装置１０が、二次元の行列状に画素が配置されている固体撮像素子を利用したデジタルカメラである場合について説明した。つまり、撮像装置１０が撮像する動画像を構成するそれぞれのフレームが、二次元画像である場合について説明した。そして、上述したそれぞれの実施形態では、撮像装置１０が取り付けられた可変機構が、人工衛星ＡＳの任意の箇所に取り付けられているが、撮像装置１０の撮像方向は一定の方向であるものとした場合について説明した。しかし、人工衛星ＡＳでは、可変機構により撮像装置１０の向きが変えられる、つまり、撮像装置１０の撮像方向が変えられることも考えられる。例えば、可変機構によって撮像装置１０の向きを３６０°回転させることにより、撮像装置１０が撮像した複数のフレームを組み合わせて全方位の撮像をすることが考えられる。この場合、撮像装置１０により撮像された動画像を構成する連続した２つのフレームには、撮像する方向が異なることにより、異なる被写体が写されることになる。なお、人工衛星ＡＳにおいて撮像装置１０が任意の箇所に固定して取り付けられている場合でも、人工衛星ＡＳの姿勢が変更された場合には同様に、異なる被写体が写されることになる。このような場合、動画像送信装置１００および動画像送信装置１１０が備える位置合わせ部１０３や差分識別部１０４における処理は、撮像装置１０が同じ方向を撮像した２つのフレーム間で行うことになる。しかし、このような場合におけるそれぞれの構成要素の処理は、上述したそれぞれの実施形態の説明から容易に理解することができる。従って、撮像装置１０により撮像された動画像を構成する連続した２つのフレームの撮像する方向が異なる場合におけるそれぞれの構成要素の処理に関する詳細な説明は省略する。

【0161】

なお、全方位の撮像をする場合、上述したように、可変機構によって撮像装置１０の向きを３６０°回転させる構成以外にも、例えば、撮像装置自体が全方位（全天球）カメラであることも考えられる。この場合は１フレームで全方位が撮像されるため、上述したそれぞれの実施形態と同様の処理である。

【0162】

なお、上述したそれぞれの実施形態では、移動体が地球の地表上空の所定の周回軌道上を周回しながら移動する人工衛星であるものとした場合について説明した。しかし、上述したように、移動体は、弾道飛行を行うロケットであってもよい。このロケットが多段式のロケットである場合、例えば、衛星搭載部など、人工衛星ＡＳが搭載された状態でロケットの上段部（最上段部）に結合されて打ち上げられ、人工衛星ＡＳを所定の周回軌道上に送出する機構も、地球の地表上空を周回すること（人工衛星ＡＳより短い時間である場合も含む）も考えられる。そして、このような衛星搭載部を、上述した人工衛星ＡＳと同様に動画像伝送システムの構成要素として機能させる、つまり、撮像装置１０や、センサ２０、動画像送信装置１００、アンテナ３０などを備える構成にすることも考えられる。また、多段式のロケットにおいて上述した上段部（最上段部）以外の機構は弾道飛行となるため、人工衛星ＡＳよりも遥かに短い時間とはなるが、同様に動画像伝送システムの構成要素として機能させることも考えられる。これらの場合においても、それぞれの構成要素の処理は、上述したそれぞれの実施形態と同様の処理である。

【0163】

なお、本発明における動画像伝送システムの構成要素である、動画像送信装置または動画像受信装置が備えるそれぞれの構成要素による機能や処理を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、動画像伝送システムにおける上述した種々の機能や処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

【0164】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0165】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0166】

１，２・・・動画像伝送システム
１０・・・撮像装置
２０・・・センサ
３０・・・アンテナ
４０・・・アンテナ
５０・・・表示装置
１００，１１０・・・動画像送信装置
１０１・・・画像取得部
１０２・・・情報取得部
１０３・・・位置合わせ部
１０４・・・差分識別部
１０５・・・画像データ抽出部
１０６・・・通信部
１１１・・・歪み補正部
２００・・・動画像受信装置
２０１・・・通信部
２０２・・・画像生成部
２０３・・・画像保存部
２１１・・・歪み再現部
ＡＳ・・・人工衛星（宇宙機）
ＧＳ・・・地上局

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】