特許 6773213 情報処理装置、情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6773213

(24)【登録日】2020年10月5日

(45)【発行日】2020年10月21日

(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201012BHJP

   B64D 47/08 20060101ALI20201012BHJP

【ＦＩ】

   H04N5/232 380

   H04N5/232 939

   B64D47/08

【請求項の数】8

【全頁数】10

(21)【出願番号】特願2019-508474(P2019-508474)

(86)(22)【出願日】2017年3月31日

(86)【国際出願番号】JP2017013773

(87)【国際公開番号】WO2018179402

(87)【国際公開日】20181004

【審査請求日】2019年9月11日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】井下 哲夫

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１２−２４２３２１（ＪＰ，Ａ）

【文献】 特開２０１３−１３９２５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｂ６４Ｄ ４７／０８

(57)【特許請求の範囲】

【請求項1】

飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定手段と、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と、前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示手段と、
を備えた情報処理装置。

【請求項2】

飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定手段と、
前記撮像画像に重畳して、前記経過時間を表わす経過時間画像を前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示手段と、
を備えた情報処理装置。

【請求項3】

前記経過時間画像は、経過時間の大きさを、異なる色によって表わした画像である請求項１または２に記載の情報処理装置。

【請求項4】

前記経過時間画像は、経過時間の大きさを、色の濃さの変化によって表わした画像である請求項１または２に記載の情報処理装置。

【請求項5】

飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定手段と、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報とともに表示する表示手段と、
前記飛行体を制御する制御手段と、をさらに備え、
前記制御手段は、前記ビデオフレーム画像ごとの経過時間に応じて、前記飛行体の移動ルートを決定する情報処理装置。

【請求項6】

前記制御手段は、過去の撮影時刻からの経過時間が最も長い最古ビデオフレーム画像を特定し、前記最古ビデオフレーム画像を撮影した位置に前記飛行体を移動させる請求項５に記載の情報処理装置。

【請求項7】

飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定ステップと、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と、前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示ステップと、
を含む情報処理方法。

【請求項8】

飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定ステップと、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と、前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示ステップと、
をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

上記技術分野において、特許文献１には、無線航空機によって、広域画像を取得する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−４６３２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の技術では、過去の撮影時点からの経過時間に応じた飛行制御を行なうことができなかった。

【0005】

本発明の目的は、上述の課題を解決する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る装置は、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定手段と、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と、前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示手段と、
を備えた情報処理装置である。
上記目的を達成するため、本発明に係る他の装置は、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定手段と、
前記撮像画像に重畳して、前記経過時間を表わす経過時間画像を前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示手段と、
を備えた情報処理装置である。
上記目的を達成するため、本発明に係る他の装置は、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定手段と、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報とともに表示する表示手段と、
前記飛行体を制御する制御手段と、をさらに備え、
前記制御手段は、前記ビデオフレーム画像ごとの経過時間に応じて、前記飛行体の移動ルートを決定する情報処理装置である。

【0007】

上記目的を達成するため、本発明に係る方法は、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定ステップと、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と、前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示ステップと、
を含む情報処理方法である。

【0008】

上記目的を達成するため、本発明に係るプログラムは、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時刻からの経過時間を測定する経過時間測定ステップと、
前記ビデオフレーム画像ごとの経過時間を表わす経過時間画像を、前記撮像画像と、前記ビデオフレーム画像が撮像された際の前記飛行体の位置情報と共に表示する表示ステップと、
をコンピュータに実行させる情報処理プログラムである。

【発明の効果】

【0009】

本発明によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点からの経過時間を測定し、その経過時間に応じて飛行体を制御することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。

【図2】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。

【図3】本発明の第２実施形態に係る情報処理装置の表示画像を示す図である。

【図4】本発明の第２実施形態に係る情報処理装置の表示画像を説明する図である。

【図5】本発明の第２実施形態に係る情報処理装置の表示画像を説明する図である。

【図6】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。

【図7】本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、下記において「飛行体」とは、いわゆるドローン(Drone)であり、無人で遠隔操作や自律制御によって飛行できる航空機(UAV（Unmanned Aerial Vehicle）)である。

【0012】

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、飛行体による撮影時刻からの経過時間に応じた飛行制御を行なうための装置である。

【0013】

図１に示すように、情報処理装置１００は、広域画像生成部１０１と経過時間測定部１０２と経過時間出力部１０３とを含む。

【0014】

広域画像生成部１０１は、飛行体１１０が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像１２０から、複数のビデオフレーム画像１３０を抽出して合成し、広範囲の撮像画像を生成する。

【0015】

経過時間測定部１０２は、飛行体１１０による撮影時刻からの経過時間を、ビデオフレーム画像１３０ごとに測定する。

【0016】

経過時間出力部１０３は、ビデオフレーム画像１３０ごとの経過時間を、ビデオフレーム画像１３０が撮像された際の飛行体１１０の位置情報と共に出力する。

【0017】

以上の構成によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点からの経過時間を測定し、その経過時間に応じて飛行体を制御することができる。

【0018】

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システムについて、図２以降を用いて説明する。図２は、本実施形態に係る情報処理装置としてのコントローラ２０１と飛行体２０２とを含む情報処理システムを説明するための図である。

【0019】

コントローラ２０１は、いわゆるプロポやノートＰＣといった演算能力を備えた装置であり、広域画像生成部２１１、経過時間測定部２１２、経過時間画像生成部２１３、表示部２１４、操作部２１５および制御部２１６を備えている。飛行体２０２は、プロペラやモータを含む飛行駆動部２２１と、飛行駆動部２２１を制御する飛行制御部２２２と、映像を撮像する撮像部２２３とを備えている。

【0020】

広域画像生成部２１１は、飛行体２０２が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像２２０から、複数のビデオフレーム画像２３０を抽出して合成し、広範囲の撮像画像を生成する。複数のビデオフレーム画像２３０を合成する際には、撮影時の緯度・経度、方角と、画像特徴を用いて、画像２３０の選択、位置調整などを行なう。

【0021】

例えばこのようにして生成した広域画像３００を図３に示す。飛行体２０２が（１）〜（６）で示す位置を撮影しながら移動して得られた部分画像２３０を合成することにより、広域画像３００が生成される。

【0022】

経過時間測定部２１２は、ビデオフレーム画像２３０ごとに、撮影時刻と現在時刻との相対時間、つまり撮影時点からの経過時間を測定する。図３では、整理された位置（１）〜（６）を移動して、広域画像を生成する場合について述べたが、火事３０１が起きた場所の周辺領域を撮影する場合、必ずしも、整理された位置を飛行させることが最善ではない。図４の矢印４００に示すように、火事３０１の周辺をランダムに飛行させることもありえる。

【0023】

このとき、経過時間画像生成部２１３は、ビデオフレーム画像ごとの経過時間を、ビデオフレーム画像が撮像された際の飛行体２０２の位置情報と組み合わせて、グラデーション画像を生成する。具体的には、広域画像に含まれる部分領域ごとに、経過時間の違いを色の違いや色の濃さの変化で示したグラデーション画像を生成する。

【0024】

図５は、一例としてのグラデーション画像５００を示す図である。画像５０１に示すように、古い部分画像から新しい部分画像まで、色の濃さを順次変えることにより、グラデーション画像５００が生成される。

【0025】

表示部２１４は、このグラデーション画像５００を、広域画像３００に重畳表示しても、並列表示しても、切り替え表示してもよい。

【0026】

操作部２１５は、ユーザによる操作を受け付けて、飛行体２０２の飛行制御部２２２に対して制御指示を送る。

【0027】

また、制御部２１６は、経過時間測定部２１２から、ビデオフレーム画像ごとの経過時間を受付け、ビデオフレーム画像ごとの経過時間に応じて、飛行体２０２の移動ルートを決定し、飛行制御部２２２に送信する。つまり制御部２１６は、過去の撮影時刻からの経過時間が最も長い最古ビデオフレーム画像を特定し、最古ビデオフレーム画像を撮影した位置に優先的に飛行体を移動させる。

【0028】

図６は、コントローラ２０１における処理の流れを示すフローチャートである。まずステップＳ６０１で、飛行体２０２から撮影した映像データを取得する。次に、ステップＳ６０３において、映像データから、複数のビデオフレーム画像を抽出し、複数のビデオフレーム画像を合成して広域画像を生成する。

【0029】

さらにステップＳ６０５において、広域画像に含まれる部分画像ごとの経過時間を測定する。そして、ステップＳ６０７では、部分画像ごとの経過時間と、その部分画像を撮像した飛行体位置とを用いて、経過時間のグラデーション画像を生成する。または、このとき、次の目的地として、経過時間が長い部分画像を撮像した位置に飛行させる。

【0030】

以上の構成によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点からの経過時間を測定し、その経過時間に応じて飛行体を制御することができる。

【0031】

［第３実施形態］
次に本発明の第３実施形態に係る情報処理システム７００について、図７を用いて説明する。図７は、本実施形態に係る情報処理システム７００の概略構成を説明するための機能構成図である。本実施形態に係る情報処理システム７００は、上記第２実施形態と比べると、映像処理サーバ７０３とディスプレイ７０４を有しており、コントローラ７０１が広域画像生成部２１１などを有さない点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0032】

映像処理サーバ７０３の広域画像生成部７１１は、コントローラ７０１を介して、飛行体映像２２０を取得し、飛行体映像２２０から複数のビデオフレーム画像２３０を抽出して合成し、広範囲の撮像画像を生成する。複数のビデオフレーム画像２３０を合成する際には、撮影時の緯度・経度、方角と、画像特徴を用いて、ビデオフレーム画像２３０の選択、位置調整などを行なう。

【0033】

経過時間測定部７１２は、ビデオフレーム画像２３０ごとに、撮影時点からの経過時間を測定する。

【0034】

経過時間画像生成部７１３は、ビデオフレーム画像２３０ごとの経過時間を、ビデオフレーム画像が撮像された際の飛行体２０２の位置情報と組み合わせて、グラデーション画像を生成する。

【0035】

表示制御部７１４は、生成されたグラデーション画像をディスプレイ７０４に出力する。

【0036】

ディスプレイ７０４は、このグラデーション画像を、広域画像に重畳表示しても、並列表示しても、切り替え表示してもよい。

【0037】

以上の構成によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点からの経過時間を測定し、その経過時間を可視化することができる。可視化された経過時間を見ながら、コントローラ７０１を用いて、飛行体２０２を制御することも可能となる。

【0038】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0039】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】