特許 7437916 移動体、遠隔撮像操縦システム、方法、制御プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】移動体、遠隔撮像操縦システム、方法、制御プログラムおよび記録媒体

(51)【国際特許分類】

   G05D 1/243 20240101AFI20240216BHJP

   G05D 1/46 20240101ALI20240216BHJP

   H04N 7/18 20060101ALI20240216BHJP

   H04N 23/60 20230101ALI20240216BHJP

   H04N 23/667 20230101ALI20240216BHJP

【ＦＩ】

G05D1/243

G05D1/46

H04N7/18 E

H04N23/60 500

H04N23/667

【請求項の数】 8

(21)【出願番号】P 2019206185

(22)【出願日】2019-11-14

(65)【公開番号】P2021081778

(43)【公開日】2021-05-27

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】設楽 彰一

【審査官】田中 友章

(56)【参考文献】

【文献】特開２００９－１１８０７２（ＪＰ，Ａ）

【文献】特開２０１２－２０４９９１（ＪＰ，Ａ）

【文献】特開２０１９－１３４３８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００

Ｇ０５Ｄ １／４３

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６６７

(57)【特許請求の範囲】

【請求項1】

ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を取得する指示取得部と、
前記移動を規定する情報に応じて当該移動体を移動させる駆動部と、
当該移動体の周囲の映像を撮像する撮像部と、
前記撮像部が撮像した映像をエンコードするエンコード部と、
当該移動体の移動状況を特定する移動状況特定部と、
前記移動状況に応じて、
（i）前記撮像部が撮像する映像の解像度、
（ii）前記撮像部が撮像する映像のフレームレート、
（iii）前記エンコード部によりエンコードを行う映像の解像度、および
（iv）前記エンコード部によるエンコード後の映像のビットレート
のうちの少なくとも一つを制御する映像制御部と、
前記エンコード部によるエンコード後の映像を出力する出力部と、
を備え、
前記移動状況特定部は、
前記移動状況として、前記駆動部が駆動しているかを示す情報と、前記駆動部に対するブレーキが作動しているかを示す情報との少なくとも何れかを取得する
ことを特徴とする移動体。

【請求項2】

前記映像制御部は、
前記移動状況が、当該移動体が停止中であることを示している場合、前記移動状況が、当該移動体が移動中であることを示している場合よりも、
（i）前記撮像部が撮像する映像の解像度、
（ii）前記撮像部が撮像する映像のフレームレート、
（iii）前記エンコード部によりエンコードを行う映像の解像度、および
（iv）前記エンコード部によるエンコード後の映像のビットレート
のうちの少なくとも一つを高くすることを特徴とする請求項１に記載の移動体。

【請求項3】

前記移動状況特定部は、
前記移動状況として、当該移動体の速度を示す情報と、当該移動体の加速度を示す情報と、当該移動体の位置の変化を示す情報との少なくとも何れかを取得する
ことを特徴とする請求項１または２に記載の移動体。

【請求項4】

当該移動体は、飛行体であり、
前記駆動部は、当該移動体を垂直方向に移動させる機構を有する
ことを特徴とする請求項３に記載の移動体。

【請求項5】

移動体と操縦装置とを備える遠隔撮像操縦システムであって、
前記移動体は、
ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を、前記操縦装置から取得する指示取得部と、
前記移動を規定する情報に応じて当該移動体を移動させる駆動部と、
当該移動体の周囲の映像を撮像する撮像部と、
前記撮像部が撮像した映像をエンコードするエンコード部と、
当該移動体の移動状況を特定する移動状況特定部と、
前記移動状況に応じて、
（i）前記撮像部が撮像する映像の解像度、
（ii）前記撮像部が撮像する映像のフレームレート、
（iii）前記エンコード部によりエンコードを行う映像の解像度、および
（iv）前記エンコード部によるエンコード後の映像のビットレート
のうちの少なくとも一つを制御する映像制御部と、
前記エンコード部によるエンコード後の映像を、前記操縦装置に出力する第１出力部と、を備え、
前記操縦装置は、
前記エンコード後の映像を、前記移動体から取得する映像取得部と、
前記エンコード後の映像をデコードするデコード部と、
前記デコード部によるデコード後の画像を表示する表示部と、
前記ユーザの指示を示す情報であって、前記移動体の移動を規定する情報を取得する操作取得部と、
前記操作取得部が取得した前記情報を、前記移動体に出力する第２出力部と、
を備え、
前記移動状況特定部は、
前記移動状況として、前記駆動部が駆動しているかを示す情報と、前記駆動部に対するブレーキが作動しているかを示す情報との少なくとも何れかを取得する
ことを特徴とする遠隔撮像操縦システム。

【請求項6】

移動体を制御する方法であって、
ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を取得する指示取得ステップと、
前記移動を規定する情報に応じて当該移動体の駆動部が当該移動体を移動させる駆動ステップと、
当該移動体の周囲の映像を撮像する撮像ステップと、
前記撮像ステップが撮像した映像をエンコードするエンコードステップと、
当該移動体の移動状況を特定する移動状況特定ステップと、
前記移動状況に応じて、
（i）前記撮像ステップにおいて撮像する映像の解像度、
（ii）前記撮像ステップにおいて撮像する映像のフレームレート、
（iii）前記エンコードステップにおけるエンコードを行う映像の解像度、および
（iv）前記エンコードステップにおけるエンコード後の映像のビットレート
のうちの少なくとも一つを制御する映像制御ステップと、
前記エンコードステップによるエンコード後の映像を出力する出力ステップと、
を含み、
前記移動状況特定ステップでは、
前記移動状況として、前記駆動部が駆動しているかを示す情報と、前記駆動部に対するブレーキが作動しているかを示す情報との少なくとも何れかを取得する
ことを特徴とする方法。

【請求項7】

請求項１に記載の移動体を機能させるための制御プログラムであって、前記指示取得部、前記エンコード部、前記移動状況特定部、前記映像制御部および前記出力部として移動体を機能させるための制御プログラム。

【請求項8】

請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体、遠隔撮像操縦システム、方法、制御プログラムおよび記録媒体に関する。

【背景技術】

【0002】

カメラを搭載した移動体を遠隔地から無線ネットワークを通して人間が操縦する技術が、従来技術として知られている。特許文献１では、カメラにより撮影した映像の伝送の遅れに対して、他のセンサからの情報を併用し、映像の伝送の遅れを受信側にて補正して表示することにより、遠隔操縦への影響を低減する遠隔操縦装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－２８４９５号公報（２０１１年２月１０日公開）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、次世代無線通信技術の５Ｇは、例えば８Ｋと呼ばれる超高解像度映像を伝送するための通信容量は十分にあり、伝送遅延も非常に小さい通信方式である。一方、超高解像度映像の伝送を行う場合には、例えば２Ｋと呼ばれる低解像度の映像よりも映像処理（以下、エンコードとも称する）に要する時間が、長くなる。そのため超高解像度映像のエンコードにより、遅延が生じる。そのため超高解像度映像をカメラにより撮影し、伝送する移動体を遠隔操縦する場合に、エンコードによる遅延が遠隔操縦に影響するという問題がある。

【0005】

本発明の一態様は、映像処理による、移動体から送信される映像の遅延を解消することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る移動体は、ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を取得する指示取得部と、前記移動を規定する情報に応じて当該移動体を移動させる駆動部と、当該移動体の周囲の映像を撮像する撮像部と、前記撮像部が撮像した映像をエンコードするエンコード部と、当該移動体の移動状況を特定する移動状況特定部と、前記移動状況に応じて、（i）前記撮像部が撮像する映像の解像度、（ii）前記撮像部が撮像する映像のフレームレート、（iii）前記エンコード部によりエンコードを行う映像の解像度、および（iv）前記エンコード部によるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御部と、前記エンコード部によるエンコード後の映像を出力する出力部と、を備えることを特徴とする。

【0007】

また上記の課題を解決するために、本発明の一態様に係る移動体と操縦装置とを備える遠隔撮像操縦システムは、ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を、前記操縦装置から取得する指示取得部と、前記移動を規定する情報に応じて当該移動体を移動させる駆動部と、当該移動体の周囲の映像を撮像する撮像部と、前記撮像部が撮像した映像をエンコードするエンコード部と、当該移動体の移動状況を特定する移動状況特定部と、前記移動状況に応じて、（i）前記撮像部が撮像する映像の解像度、（ii）前記撮像部が撮像する映像のフレームレート、（iii）前記エンコード部によりエンコードを行う映像の解像度、および（iv）前記エンコード部によるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御部と、前記エンコード部によるエンコード後の映像を、前記操縦装置に出力する第１出力部と、を備え、前記操縦装置は、前記エンコード後の映像を、前記移動体から取得する映像取得部と、前記エンコード後の映像をデコードするデコード部と、前記デコード部によるデコード後の画像を表示する表示部と、前記ユーザの指示を示す情報であって、前記移動体の移動を規定する情報を取得する操作取得部と、前記操作取得部が取得した前記情報を、前記移動体に出力する第２出力部と、を備えることを特徴とする。

【0008】

上記の課題を解決するために、本発明の一態様に係る遠隔撮像操縦システムは、移動体と操縦装置とを備える遠隔撮像操縦システムであって、前記移動体は、ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を、前記操縦装置から取得する指示取得部と、前記移動を規定する情報に応じて当該移動体を移動させる駆動部と、当該移動体の周囲の映像を撮像する撮像部と、前記撮像部が撮像した映像をエンコードするエンコード部と、当該移動体の移動状況を特定する移動状況特定部と、前記移動状況に応じて、（i）前記撮像部が撮像する映像の解像度、（ii）前記撮像部が撮像する映像のフレームレート、（iii）前記エンコード部によりエンコードを行う映像の解像度、および（iv）前記エンコード部によるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御部と、前記エンコード部によるエンコード後の映像を、前記操縦装置に出力する第１出力部と、を備え、前記操縦装置は、前記エンコード後の映像を、前記移動体から取得する映像取得部と、前記エンコード後の映像をデコードするデコード部と、前記デコード部によるデコード後の画像を表示する表示部と、前記ユーザの指示を示す情報であって、前記移動体の移動を規定する情報を取得する操作取得部と、前記操作取得部が取得した前記情報を、前記移動体に出力する第２出力部と、を備えることを特徴とする。

【0009】

上記の課題を解決するために、本発明の一態様に係る方法は、移動体を制御する方法であって、ユーザの指示を示す情報であって、当該移動体の移動を規定する情報を取得する指示取得ステップと、前記移動を規定する情報に応じて当該移動体を移動させる駆動ステップと、当該移動体の周囲の映像を撮像する撮像ステップと、前記撮像ステップが撮像した映像をエンコードするエンコードステップと、当該移動体の移動状況を特定する移動状況特定ステップと、前記移動状況に応じて、（i）前記撮像ステップにおいて撮像する映像の解像度、（ii）前記撮像ステップにおいて撮像する映像のフレームレート、（iii）前記エンコードステップにおけるエンコードを行う映像の解像度、および（iv）前記エンコードステップにおけるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御ステップと、前記エンコードステップによるエンコード後の映像を出力する出力ステップと、を含むことを特徴とする。

【発明の効果】

【0010】

本発明の一態様によれば、映像処理による、移動体から送信される映像の遅延を解消できる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る遠隔撮像操縦システムの機能ブロック図である。

【図2】本発明の実施形態１に係る全体の構成図である。

【図3】本発明の実施形態１～３に係るクロップ領域に関するイメージ図である。

【図4】本発明の実施形態１に係るフローチャート図である。

【図5】本発明の実施形態２に係る遠隔撮像操縦システムの機能ブロック図である。

【図6】本発明の実施形態２に係るフローチャート図である。

【図7】本発明の実施形態３に係る遠隔撮像操縦システムの機能ブロック図である。

【図8】本発明の実施形態３に係るフローチャート図である。

【発明を実施するための形態】

【0012】

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。図１は、本発明の実施形態１に係る遠隔撮像操縦システムの機能ブロック図である。

【0013】

図１に示すように、遠隔撮像操縦システム１は、移動体１０と遠隔操縦装置（操縦装置）３０とを備えている。図２は、本発明の実施形態１に係る全体の構成図である。図２に示すように、遠隔操縦装置３０は、基地局装置を介して、移動体１０と通信する。操作を行う時に、移動体１０と基地局装置、基地局装置と遠隔操縦装置３０は無線による通信を行ってもよいし、有線による通信を行ってもよい。図２では、無線通信を介して、移動体１０と遠隔操縦装置３０とで直接の通信を行っていることとしている。

【0014】

（移動体１０）
移動体１０は、遠隔操縦装置３０により操作されて、移動する物体である。移動体１０の動力は、電気エネルギーあるいは化石燃料によるエネルギーである。移動体１０は、撮像部１１と、通信部１２と、制御部１３と、駆動部１４と、を備える。

【0015】

撮像部１１は、移動体１０の周囲の映像を撮像する。撮像部１１は、超高解像度による映像の撮像が可能であり、また後述するクロップ領域を設定することにより、低解像度の映像の撮像も可能である。また移動体１０に取り付けた撮像部１１は、移動体１０の数に対して１つであってもよく、また複数であってもよい。更に移動体１０の撮像部１１は、移動体１０のあらゆる場所に固定して取り付けてよい。撮像部１１が撮像した映像は、後述する制御部１３および通信部１２を介して遠隔操縦装置３０へと送信される。また撮像部１１が撮像した映像は、通常、経時的に連続する映像である。

【0016】

通信部１２は、制御部１３からの情報を遠隔操縦装置３０に送信し、また遠隔操縦装置３０が送信した情報を受信する。通信部１２は、指示取得部１２１と、出力部（第１出力部）１２３と、を備える。指示取得部１２１は、遠隔操縦装置３０を使用しているユーザの指示を示す情報であって、移動体１０の移動を規定する情報を遠隔操縦装置から取得する。当該情報は、撮像部１１が撮像を継続するかどうかの情報を含む。また当該情報は、移動体１０が移動する方向及び速度に関する情報を含む。出力部１２３は、制御部１３から出力された情報を遠隔操縦装置３０へと送信する。制御部１３から取得した情報は、撮像部１１が撮像した映像を含む。また、当該情報は、駆動部１４の駆動状況に関する情報を別途含んでいてもよく、例えば遠隔操縦装置３０において移動体１０のスピードを表示する場合等に参照される構成であってもよい。撮像部１１が撮像した映像は、超高解像度、あるいは低解像度であってよく、高フレームレートあるいは低フレームレートであってよい。駆動部１４の駆動状況に関する情報は、後述するように、駆動部１４を駆動させるための信号に関する情報、あるいはブレーキ１４１の稼働状況に関する情報である。

【0017】

制御部１３は、移動体１０の撮像部１１と、通信部１２と、駆動部１４と、を制御する。制御部１３は、映像制御部１３１と、エンコード部１３３と、移動状況特定部１３５と、を備える。

【0018】

映像制御部１３１は、移動体１０の移動状況に応じて、（i）撮像部１１が撮像する映像の解像度、（ii）撮像部１１が撮像する映像のフレームレート、（iii）エンコード部１３３によりエンコードを行う映像の解像度、および（iv）エンコード部１３３によるエンコード後の映像のビットレートのうちの少なくとも一つを制御する。撮像部１１が撮像する映像の解像度とは、映像の解像度が高いほど、映像が精細であり、映像の解像度が低いほど、映像が粗くなる、ということである。また撮像部１１が撮像する映像のフレームレートとは、単位時間当たりの撮像回数であり、フレームレートが高いほど、単位時間当たりの撮像回数が多くなり、フレームレートが低いほど、単位時間当たりの撮像回数が少なくなる、ということである。またエンコードを行う映像の解像度とは、上述した撮像部１１が撮像する映像の解像度と同様である。またエンコード後の映像のビットレートとは、１秒間あたりにおける映像のデータ量のことであり、ビットレートが高いほど、送信するデータ量が大きくなり、ビットレートが低いほど、送信するデータ量が小さくなる、ということである。

【0019】

エンコード部１３３は、撮像部１１が撮像した映像をエンコードする。エンコード部１３３は、映像制御部１３１が決定した映像の解像度またはビットレートに基づいて、エンコード対象である、撮像部１１が撮影した映像をエンコードする。エンコードとは、映像データを符号化することである。

【0020】

移動状況特定部１３５は、移動体１０の移動状況を特定する。特定された移動体１０の移動状況は、通信部１２へと出力される。移動体１０の移動状況は、駆動部１４に送信された信号あるいはブレーキ１４１の稼働状況に関する情報から特定される。

【0021】

駆動部１４は、移動体１０が移動するために駆動する。駆動部１４を駆動させるための信号（以下、駆動信号とも称する）は、制御部１３から発信される。駆動部１４の駆動状況は、駆動信号を用いて移動状況特定部１３５により特定される。また駆動部１４は、ブレーキ１４１を備える。ブレーキ１４１の稼働状況は、移動状況特定部１３５により特定される。駆動部１４は、車輪などの回転部材を備えた内燃機関であってもよく、またベルトコンベアなどの回転部材を備えた推進機関であってもよい。

【0022】

（遠隔操縦装置３０）
遠隔操縦装置３０は、移動体１０を操縦するための装置である。遠隔操縦装置３０は、室内または室外に固定されていてもよく、室内または室外において移動可能であってもよい。遠隔操縦装置３０は、電気エネルギーを動力とする。遠隔操縦装置３０は、通信部３１と、表示部３２と、制御部３３と、入力部３４と、を備える。

【0023】

通信部３１は、制御部３３からの情報を移動体１０に送信し、また移動体１０が送信した情報を受信する。通信部３１は、出力部（第２出力部）３１１と、映像取得部３１３と、を備える。出力部３１１は、制御部３３から取得した情報を移動体１０に送信する。制御部３３から取得した情報は、上述した遠隔操縦装置３０を使用しているユーザの指示を示す情報であって移動体１０の移動を規定する情報を含む。映像取得部３１３は、通信部１２から送信された映像を取得する。通信部３１は、受信した情報を後述する制御部３３へと出力する。

【0024】

表示部３２は、後述する制御部３３の処理を経た後の映像をユーザが確認できるように表示する。表示部３２は、視覚情報を表示できるディスプレイであり、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの様々なディスプレイであってよく、また画面数は、一画面とは限らず、複数の画面を有してよい。

【0025】

制御部３３は、遠隔操縦装置３０を制御する。制御部３３は、デコード部３３１と、操作取得部３３３と、を備える。デコード部３３１は、出力部３１１から受信した情報をデコードし、表示部３２へと出力する。デコードとは、符号化された映像データを復号することである。操作取得部３３３は、後述する入力部３４から移動体１０の操作に関する情報を、取得する。移動体１０の操作に関する情報は、移動体１０の備える部材を操作する命令群である。例えば、この命令は、撮像部１１の撮像箇所を指定する命令と、撮像部１１の焦点を合わせる命令と、駆動部１４の移動に関する命令と、ブレーキ１４１の停止と解除をする命令と、を含む。

【0026】

入力部３４は、遠隔操縦装置３０を介して、ユーザが遠隔操縦装置に命令を入力するための部材である。入力部３４は、予め複数の命令を組み合わせたプログラムを備えている。入力部３４に対する命令の入力方法は、文字の打ち込み、音声による入力、スティックキーあるいはハンドルによる入力であってよい。

【0027】

＜クロップ領域＞
クロップとは、撮像する映像の一部分、例えば中心領域を切り抜くことである。図３は、本発明の実施形態１～３に係るクロップ領域に関するイメージ図である。クロップ領域とは、図３に示すように、通常は撮像する映像の中心を切り抜いた部分である。映像制御部１３１は、撮像部１１が撮像する映像を、クロップ領域の低解像度映像に置き換えることができる。この処理をすることで、エンコード処理の負荷が減り、エンコード部１３３による遅延が減少する。クロップモードとは、撮像部１１が撮像した映像全体から一部をクロップして、低解像度映像を出力するモードである。

【0028】

（処理の流れ）
図４は、本発明の実施形態１に係るフローチャート図である。図４は、移動体１０が移動している間、移動体１０は低解像度映像を撮像し、移動体１０が停止している間は、移動体１０は高解像度映像を撮像する、という処理をフローチャートに表したものである。図４のフローチャートの開始は、移動体１０が移動と、撮像と、を開始した時点からである。また、後述するステップＳ４０１からステップＳ４０５において、ブレーキ１４１の駆動に関する命令は、駆動部１４に対する信号である。移動状況特定部１３５は、ブレーキ１４１の駆動の命令の代わりに、駆動部１４に供給される制御信号を参照して、移動体１０の移動状況を特定してもよい。

【0029】

＜ステップＳ４０１＞
ステップＳ４０１において、移動体１０は、移動しており、撮像部１１が撮像した映像を、映像制御部１３１が低解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0030】

＜ステップＳ４０２＞
ステップＳ４０２において、制御部１３は、指示取得部１２１がブレーキ１４１の駆動の命令を受信したか否かを判定する。上記命令は、ユーザが入力部３４を介して移動体１０のブレーキを作動させることを指示した場合に、遠隔操縦装置３０から移動体１０に送信される情報である。指示取得部１２１が送信された命令を受信した場合（Ｓ４０２のＹＥＳ）、制御部１３は、ブレーキ１４１を作動させ、処理はステップＳ４０３へと進む。指示取得部１２１が上記命令を受信していない場合（ステップＳ４０２のＮＯ）、処理は、ステップＳ４０１に戻る。移動体１０は、撮像部１１が撮像した映像を、映像制御部１３１が低解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0031】

＜ステップＳ４０３＞
ステップＳ４０３において、撮像部１１が撮像した映像を、映像制御部１３１が高解像度映像のまま、遠隔操縦装置３０に送信し、表示部３２は、送信された映像を表示し、処理はステップＳ４０４へと進む。

【0032】

＜ステップＳ４０４＞
ステップＳ４０４において、制御部１３は、指示取得部１２１が、ブレーキ１４１を解除して移動体を移動させる命令を受信したか否かを判定する。指示取得部１２１が当該命令を受信した場合（ステップＳ４０４のＹＥＳ）、制御部１３は、ブレーキ１４１を解除して駆動部１４を駆動させ、処理はステップＳ４０５へと進む。指示取得部１２１が、送信された命令を受信していない場合（ステップＳ４０４のＮＯ）、処理はステップＳ４０３に戻る。移動体１０は、撮像部１１が撮像した映像を、映像制御部１３１が高解像度映像のまま、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0033】

＜ステップＳ４０５＞
ステップＳ４０５において、移動体１０は、移動しており、撮像部１１が撮像した映像を、映像制御部１３１が低解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0034】

（効果）
実施形態１によれば、移動体の移動速度に応じた解像度、あるいはビットレートにて映像を出力できる。

【0035】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0036】

図５は、本発明の実施形態２に係る遠隔撮像操縦システムの機能ブロック図である。図５に示すように、遠隔撮像操縦システム１ａは、移動体１０ａと、遠隔操縦装置３０と、を備える。移動体１０ａは、撮像部１１ａを備える以外、実施形態１の移動体１０と同じ構成である。遠隔操縦装置３０は、実施形態１と同じ構成である。

【0037】

（撮像部１１ａ）
撮像部１１ａは、カメラＡ１１１と、カメラＢ１１３と、を備える。カメラＡ１１１は、低解像度映像を撮像するための機能を有する。カメラＢ１１３は、高解像度映像を撮像するための機能を有する。本実施形態の別態様として、カメラＡ１１１は、低フレームレート映像を撮像するための機能を有してもよく、またカメラＢ１１３は、高フレームレート映像を撮像するための機能を有してよい。

【0038】

（処理の流れ）
図６は、本発明の実施形態２に係るフローチャート図である。図６は、移動体１０ａが移動している間、移動体１０ａはカメラＡ１１１により撮像し、移動体１０ａが停止している間は、移動体１０ａはカメラＢ１１３により撮像する、という処理をフローチャートに表したものである。図６のフローチャートの開始は、移動体１０ａが移動と、カメラＡ１１１による撮像と、を開始した時点からである。また、後述するステップＳ６０１からステップＳ６０５において、ブレーキ１４１の駆動に関する命令は、駆動部１４に対する信号である。移動状況特定部１３５は、ブレーキ１４１の駆動の命令の代わりに、駆動部１４に供給される制御信号を参照して、移動体１０ａの移動状況を特定してもよい。

【0039】

＜ステップＳ６０１＞
ステップＳ６０１において、移動体１０ａは、移動しており、カメラＡ１１１が撮像した映像を、映像制御部１３１が遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0040】

＜ステップＳ６０２＞
ステップＳ６０２において、制御部１３は、指示取得部１２１がブレーキ１４１の駆動の命令を受信したか否かを判定する。上記命令は、ユーザが入力部３４を介して移動体１０のブレーキを作動させることを指示した場合に、遠隔操縦装置３０から移動体１０に送信される情報である。指示取得部１２１が送信された命令を受信した場合（Ｓ６０２のＹＥＳ）、制御部１３は、ブレーキ１４１を作動させ、処理は、ステップＳ６０３へと進む。指示取得部１２１が上記命令を受信していない場合、（ステップＳ６０２のＮＯ）、処理は、ステップＳ６０１に戻る。移動体１０ａは、カメラＡ１１１が撮像した映像を、映像制御部１３１が遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0041】

＜ステップＳ６０３＞
ステップＳ６０３において、カメラＢ１１３が撮像した映像を、映像制御部１３１が遠隔操縦装置３０に送信し、表示部３２は、送信された映像を表示し、処理はステップＳ６０４へと進む。

【0042】

＜ステップＳ６０４＞
ステップＳ６０４において、制御部１３は、指示取得部１２１が、ブレーキ１４１を解除して移動体を移動させる命令を受信したか否かを判定する。指示取得部１２１が当該命令を受信した場合（ステップＳ６０４のＹＥＳ）、制御部１３は、ブレーキ１４１を解除して駆動部１４を駆動させ、処理は、ステップＳ６０５へと進む。指示取得部１２１が送信された命令を受信していない場合（ステップＳ６０４のＮＯ）、処理はステップＳ６０３に戻る。移動体１０ａは、カメラＢ１１３が撮像した映像を、映像制御部１３１が遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0043】

＜ステップＳ６０５＞
ステップＳ６０５において、移動体１０ａは、移動しており、カメラＡ１１１が撮像した映像を、映像制御部１３１が遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0044】

（効果）
実施形態２によれば、遠隔撮像操縦システム１ａは、後述する撮像部１１ａのカメラを切り替えることにより、より容易に、移動体の移動速度に応じた解像度、あるいはフレームレートにて映像を出力することが可能となる。

【0045】

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0046】

図７は、本発明の実施形態３に係る遠隔撮像操縦システムの機能ブロック図である。図７に示すように、遠隔撮像操縦システム１ｂは、移動体１０ｂと、遠隔操縦装置３０と、を備える。移動体１０ｂは、センサ１５を備える以外、実施形態１と同じ構成である。遠隔操縦装置３０は、実施形態１と同じ構成である。

【0047】

（センサ１５）
センサ１５は、移動体１０ｂの速度を示す情報と、移動体１０ｂの加速度を示す情報と、移動体１０ｂの位置の変化を示す情報との少なくとも何れかを取得する。移動状況特定部１３５は、取得された情報を参照することができる。取得された情報は、制御部１３に送信され、遠隔操縦装置３０の表示部３２に示してもよい。

【0048】

（処理の流れ）
図８は、本発明の実施形態３に係るフローチャート図である。図８は、センサ１５により、移動体１０ｂが移動している、と移動状況特定部１３５が判断した場合、移動体１０ｂは低解像度映像を撮像し、遠隔操縦装置３０に送信し、移動体１０ｂが停止している、と移動状況特定部１３５が判断した場合、移動体１０ｂは高解像度映像を撮像し、遠隔操縦装置３０に送信する、という処理をフローチャートに表したものである。図８のフローチャートの開始は、移動体１０ｂが移動と、撮像と、を開始した時点からである。

【0049】

＜ステップＳ８０１＞
ステップＳ８０１において、移動体１０ｂは、移動しており、撮像部１１が撮像した映像を、映像制御部１３１が低解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0050】

＜ステップＳ８０２＞
ステップＳ８０２において、移動状況特定部１３５が、センサ１５からの情報により、移動体１０ｂが停止した、と判断した場合（Ｓ８０２のＹＥＳ）、処理は、ステップＳ８０３へと進む。移動状況特定部１３５が、センサ１５からの情報により、移動体１０が移動している、と判断した場合（ステップＳ８０２のＮＯ）、処理は、ステップＳ８０１に戻り、移動体１０ｂは、撮像部１１が撮像した映像を、映像制御部１３１が低解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0051】

＜ステップＳ８０３＞
ステップＳ８０３において、移動体１０ｂは、撮像部１１が撮像した映像を、映像制御部１３１が高解像度映像にして、遠隔操縦装置３０に送信し、表示部３２は、送信された映像を表示し、ステップＳ８０４へと進む。

【0052】

＜ステップＳ８０４＞
ステップＳ８０４において、移動状況特定部１３５が、センサ１５からの情報により、移動体１０ｂが移動を開始した、と判断した場合（ステップＳ８０４のＹＥＳ）、処理は、ステップＳ８０５へと進む。移動状況特定部１３５が、移動体１０ｂが停止している、と判断した場合（ステップＳ８０４のＮＯ）、処理はステップＳ８０３に戻り、移動体１０ｂは、撮像部１１が撮像した映像を、映像制御部１３１が高解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0053】

＜ステップＳ８０５＞
ステップＳ８０５において、移動体１０ｂは、移動しており、撮像部１１が撮像した映像を、映像制御部１３１が低解像度映像にして、遠隔操縦装置３０に送信する。表示部３２は、送信された映像を表示する。

【0054】

（効果）
実施形態３によれば、遠隔撮像操縦システムは、移動体１０が移動しているかどうかの判断を適切に行うことが可能となる。

【0055】

〔変形例１〕
上述の実施形態３において説明した態様は、実施形態２に記載の撮像部１１の構成にカメラＡ１１１とカメラＢ１１３と、を備えてもよい。

【0056】

本変形例は、実施形態２と実施形態３と、を組み合わせた形態である。本変形例は、実施形態２において説明した処理を基準として、実施形態３における判断を用いて行う。

【0057】

具体的には、実施形態２において説明した処理に則り、カメラＡ１１１とカメラＢ１１３により撮像をする。カメラＡ１１１とカメラＢ１１３の切り替えの判断基準は、実施形態３に記述したように、センサ１５からの情報である、移動体１０ｂの速度、加速度、もしくは位置の変化の少なくとも何れか一つの情報を参照する。

【0058】

本変形例によれば、遠隔撮像操縦システム１ｂは、移動体１０が移動しているかどうかの判断をより適切に行うことが可能となる。

【0059】

〔変形例２〕
上述の実施形態３において説明した態様は、移動体１０ｂが飛行体であってもよい。飛行体とは、移動体１０ｂを垂直方向に移動させる機構を有するものである。

【0060】

本変形例によれば、遠隔撮像操縦システム１ｂは、地上から到達するのが難しい場所、例えば離島あるいは山間部などの撮像を可能とする。

【0061】

＜実施形態１～３に係る付記事項＞
上記の各実施形態においては、（i）撮像部１１（１１ａ）が撮像する映像の解像度、（ii）撮像部１１（１１ａ）が撮像する映像のフレームレート、（iii）エンコード部１３３によりエンコードを行う映像の解像度、および（iv）エンコード部１３３によるエンコード後の映像のビットレートのうちの少なくとも一つを、遠隔操縦装置３０に送信される映像が２通りの映像品質に切り替わるように、映像制御部１３１が制御する構成例について説明した。これに限定されず、映像制御部１３１は、例えば移動体１０（１０ａ、１０ｂ）の速度に応じて、遠隔操縦装置３０に送信される映像の映像品質が連続的または段階的に変化するように撮像部１１等を制御する構成であってもよい。

【0062】

〔ソフトウェアによる実現例〕
移動体１０、１０ａ、１０ｂの制御ブロック（特に通信部１２および制御部１３）および遠隔操縦装置３０の制御ブロック（特に通信部３１および制御部３３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0063】

後者の場合、移動体１０、１０ａ、１０ｂ、および遠隔操縦装置３０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0064】

〔まとめ〕
本発明の態様１に係る移動体（１０、１０ａ、１０ｂ）は、ユーザの指示を示す情報であって、当該移動体（１０、１０ａ、１０ｂ）の移動を規定する情報を取得する指示取得部（１２１）と、移動を規定する情報に応じて当該移動体（１０、１０ａ、１０ｂ）を移動させる駆動部（１４）と、当該移動体（１０、１０ａ、１０ｂ）の周囲の映像を撮像する撮像部（１１、１１ａ）と、撮像部（１１、１１ａ）が撮像した映像をエンコードするエンコード部（１３３）と、当該移動体（１０、１０ａ、１０ｂ）の移動状況を特定する移動状況特定部（１３５）と、移動状況に応じて、（i）撮像部（１１、１１ａ）が撮像する映像の解像度、（ii）撮像部（１１、１１ａ）が撮像する映像のフレームレート、（iii）前記エンコード部によりエンコードを行う映像の解像度、および（iv）エンコード部（１３３）によるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御部（１３１）と、エンコード部（１３３）によるエンコード後の映像を出力する出力部（１２３）を備えている。

【0065】

上記の構成によれば、移動体（１０、１０ａ、１０ｂ）の移動速度に応じた解像度、あるいはビットレートにて映像を出力できる。

【0066】

本発明の態様２に係る移動体（１０、１０ａ、１０ｂ）は、上記態様１において、映像制御部（１３１）は、移動状況が、当該移動体（１０、１０ａ、１０ｂ）が停止中であることを示している場合、移動状況が、当該移動体（１０、１０ａ、１０ｂ）が移動中であることを示している場合よりも、（i）撮像部（１１、１１ａ）が撮像する映像の解像度、（ii）撮像部（１１、１１ａ）が撮像する映像のフレームレート、（iii）エンコード部（１３３）によりエンコードを行う映像の解像度、および（iv）エンコード部（１３３）によるエンコード後の映像のビットレートのうちの少なくとも一つを高くすることを備えることとしてもよい。

【0067】

上記の構成によれば、遠隔撮像操縦システム（１、１ａ、１ｂ）は、後述する撮像部（１１ａ）のカメラを切り替えることにより、より容易に、移動体（１０、１０ａ、１０ｂ）の移動速度に応じた解像度、あるいはビットレートにて映像を出力することが可能となる。

【0068】

本発明の態様３に係る移動体（１０、１０ａ、１０ｂ）は、上記態様１または２において、移動状況特定部（１３５）は、駆動部（１４）に供給される制御信号を参照して当該移動体（１０、１０ａ、１０ｂ）の移動状況を特定することを更に備えることとしてもよい。

【0069】

上記の構成によれば、遠隔撮像操縦システム（１、１ａ、１ｂ）は、移動体（１０、１０ａ、１０ｂ）が移動しているかどうかの判断を適切に行うことが可能となる。

【0070】

本発明の態様４に係る移動体（１０、１０ａ、１０ｂ）は、上記態様１または２において、移動状況特定部（１３５）は、移動状況として、駆動部（１４）が駆動しているかを示す情報と、駆動部（１４）に対するブレーキが作動しているかを示す情報との少なくとも何れかを取得することを更に備えることとしてもよい。

【0071】

上記の構成によれば、態様１と同様の効果を奏する。

【0072】

本発明の態様５に係る移動体（１０、１０ａ、１０ｂ）は、上記態様１または２において、移動状況特定部（１３５）は、移動状況として、当該移動体（１０、１０ａ、１０ｂ）の速度を示す情報と、当該移動体（１０、１０ａ、１０ｂ）の加速度を示す情報と、当該移動体（１０、１０ａ、１０ｂ）の位置の変化を示す情報との少なくとも何れかを取得することを更に備えることとしてもよい。

【0073】

上記の構成によれば、遠隔撮像操縦システム（１、１ａ、１ｂ）は、移動体（１０、１０ａ、１０ｂ）が移動しているかどうかの判断をより適切に行うことが可能となる。

【0074】

本発明の態様６に係る移動体（１０、１０ａ、１０ｂ）は、上記態様５において、飛行体であり、駆動部（１４）は、当該移動体（１０、１０ａ、１０ｂ）を垂直方向に移動させる機構を有することを更に備えることとしてもよい。

【0075】

上記の構成によれば、遠隔撮像操縦システム（１、１ａ、１ｂ）は、地上から到達するのが難しい場所、例えば離島あるいは山間部などの撮像を可能とする。

【0076】

本発明の態様７に係る遠隔撮像操縦システム（１、１ａ、１ｂ）は、移動体（１０、１０ａ、１０ｂ）と操縦装置（３０）とを備える遠隔撮像操縦システム（１、１ａ、１ｂ）であって、移動体（１０、１０ａ、１０ｂ）は、ユーザの指示を示す情報であって、当該移動体（１０、１０ａ、１０ｂ）の移動を規定する情報を、操縦装置（３０）から取得する指示取得部（１２１）と、前記移動を規定する情報に応じて当該移動体（１０、１０ａ、１０ｂ）を移動させる駆動部（１４）と、当該移動体（１０、１０ａ、１０ｂ）の周囲の映像を撮像する撮像部（１１、１１ａ）と、撮像部（１１、１１ａ）が撮像した映像をエンコードするエンコード部（１３３）と、当該移動体（１０、１０ａ、１０ｂ）の移動状況を特定する移動状況特定部（１３５）と、移動状況に応じて、（i）撮像部（１１、１１ａ）が撮像する映像の解像度、（ii）撮像部（１１、１１ａ）が撮像する映像のフレームレート、（iii）エンコード部（１３３）によりエンコードを行う映像の解像度、および（iv）エンコード部（１３３）によるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御部（１３１）と、エンコード部（１３３）によるエンコード後の映像を操縦装置（３０）に出力する第１出力部（１２３）と、を備え、操縦装置（３０）は、前記エンコード後の映像を、移動体（１０、１０ａ、１０ｂ）から取得する映像取得部（３１３）と、前記エンコード後の映像をデコードするデコード部（３３１）と、デコード部（３３１）によるデコード後の画像を表示する表示部（３２）と、前記ユーザの指示を示す情報であって、移動体（１０、１０ａ、１０ｂ）の移動を規定する情報を取得する操作取得部（３３３）と、操作取得部（３３３）が取得した前記情報を、移動体（１０、１０ａ、１０ｂ）に出力する第２出力部（３１１）と、を備えている。

【0077】

上記の構成によれば、移動体（１０、１０ａ、１０ｂ）の移動速度に応じた解像度、あるいはビットレートにて映像を出力できる遠隔撮像操縦システム（１、１ａ、１ｂ）を実現できる。

【0078】

本発明の態様８に係る方法は、移動体（１０、１０ａ、１０ｂ）を制御する方法であって、ユーザの指示を示す情報であって、当該移動体（１０、１０ａ、１０ｂ）の移動を規定する情報を取得する指示取得ステップと、前記移動を規定する情報に応じて当該移動体（１０、１０ａ、１０ｂ）を移動させる駆動ステップと、当該移動体（１０、１０ａ、１０ｂ）の周囲の映像を撮像する撮像ステップと、前記撮像ステップが撮像した映像をエンコードするエンコードステップと、当該移動体（１０、１０ａ、１０ｂ）の移動状況を特定する移動状況特定ステップと、前記移動状況に応じて、（i）前記撮像ステップにおいて撮像する映像の解像度、（ii）前記撮像ステップにおいて撮像する映像のフレームレート、（iii）前記エンコードステップにおけるエンコードを行う映像の解像度、および（iv）前記エンコードステップにおけるエンコード後の映像のビットレートのうちの少なくとも一つを制御する映像制御ステップと、前記エンコードステップによるエンコード後の映像を出力する出力ステップと、を含んでいる。

【0079】

上記の構成によれば、態様１と同様の効果を奏する。

【0080】

本発明の各態様に係る移動体（１０、１０ａ、１０ｂ）の制御ブロック（特に通信部（１２）および制御部（１３））および遠隔操縦装置（３０）の制御ブロック（特に通信部（３１）および制御部（３３））は、コンピュータによって実現してもよく、この場合には、コンピュータを上記移動体（１０、１０ａ、１０ｂ）および遠隔操縦装置（３０）が備える各部（ソフトウェア要素）として動作させることにより上記移動体（１０、１０ａ、１０ｂ）および遠隔操縦装置（３０）をコンピュータにて実現させる移動体（１０、１０ａ、１０ｂ）および遠隔操縦装置（３０）の制御プログラムおよび通信プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【0081】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0082】

１ 遠隔撮像操縦システム
１０、１０ａ、１０ｂ 移動体
１１、１１ａ 撮像部
１２ 通信部
１３ 制御部
１４ 駆動部
１５ センサ
３０ 遠隔操縦装置（操縦装置）
３１ 通信部
３２ 表示部
３３ 制御部
３４ 入力部
１１１ カメラＡ
１１３ カメラＢ
１２１ 指示取得部
１２３ 出力部（第１出力部）
１３１ 映像制御部
１３３ エンコード部
１３５ 移動状況特定部
１４１ ブレーキ
３１１ 出力部（第２出力部）
３１３ 映像取得部
３３１ デコード部
３３３ 操作取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】