特許 6652979 画像処理装置、飛行体及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6652979

(24)【登録日】2020年1月28日

(45)【発行日】2020年2月26日

(54)【発明の名称】画像処理装置、飛行体及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200217BHJP

   G06T 7/174 20170101ALI20200217BHJP

   F41H 11/02 20060101ALI20200217BHJP

   G08B 25/00 20060101ALI20200217BHJP

   H04N 7/18 20060101ALI20200217BHJP

   B64C 39/02 20060101ALI20200217BHJP

   B64C 27/08 20060101ALI20200217BHJP

   B64D 47/08 20060101ALI20200217BHJP

【ＦＩ】

   G06T7/00 C

   G06T7/174

   F41H11/02

   G08B25/00 510M

   H04N7/18 D

   B64C39/02

   B64C27/08

   B64D47/08

【請求項の数】17

【全頁数】18

(21)【出願番号】特願2018-27905(P2018-27905)

(22)【出願日】2018年2月20日

(65)【公開番号】特開2019-144804(P2019-144804A)

(43)【公開日】2019年8月29日

【審査請求日】2019年10月30日

【早期審査対象出願】

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】田近 明彦

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開平１１−２５７９３１（ＪＰ，Ａ）

【文献】 特開２０００−２８３７５３（ＪＰ，Ａ）

【文献】 特開平０９−０６９１４８（ＪＰ，Ａ）

【文献】 特開２００１−３３３４１６（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０７３３１０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｆ４１Ｈ １１／０２

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ７／１８

Ｂ６４Ｃ ２７／０８

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

(57)【特許請求の範囲】

【請求項1】

第１飛行体に搭載された第１高度から前記第１高度よりも低い高度の方向を撮像する第１カメラによって撮像された第１領域を被写体として含む第１画像と、前記第１飛行体とは異なる第２飛行体に搭載された第２高度から前記第２高度よりも低い高度の方向を撮像する第２カメラによって撮像された前記第１領域を被写体として含む第２画像とを取得する画像取得部と、
前記第１画像内の前記第１領域と前記第２画像内の前記第１領域との差分に基づいて、前記第１高度及び前記第２高度よりも低い高度の飛行物体を検出する飛行物体検出部と、
前記飛行物体の推定高度を取得する推定高度取得部と、
前記推定高度に応じて、前記第１飛行体と前記第２飛行体との間の距離を調整させる調整制御部と
を備える画像処理装置。

【請求項2】

前記調整制御部は、前記第１飛行体と前記第２飛行体との間の距離を調整すべく、前記第１飛行体の飛行制御データを前記第１飛行体に向けて送信させ、前記第２飛行体の飛行制御データを前記第２飛行体に向けて送信させる、請求項１に記載の画像処理装置。

【請求項3】

前記推定高度取得部は、前記飛行物体の推定位置をさらに取得し、
前記調整制御部は、前記推定高度及び前記推定位置に応じて、前記第１飛行体と前記第２飛行体との間の距離、前記第１飛行体の高度、及び前記第２飛行体の高度を調整させる、請求項１又は２に記載の画像処理装置。

【請求項4】

第１高度から前記第１高度よりも低い高度の方向を撮像する第１カメラによって撮像された第１領域を被写体として含む第１画像と、第２高度から前記第２高度よりも低い高度の方向を撮像する第２カメラによって撮像された前記第１領域を被写体として含む第２画像とを取得する画像取得部と、
地形及び建物の情報を含む地図データを参照する地図データ参照部と、
前記第１画像内の前記第１領域と前記第２画像内の前記第１領域との差分と、前記地図データ中の前記第１領域に対応する範囲内の地形及び建物の情報とに基づいて、前記第１高度及び前記第２高度よりも低い高度の飛行物体を検出する飛行物体検出部と
を備える画像処理装置。

【請求項5】

前記第１画像の撮影時刻と前記第２画像の撮影時刻は同一である、請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記画像取得部は、前記第１カメラによって撮像された後で傾き補正が施された前記第１画像と、前記第２カメラによって撮像された後で傾き補正が施された前記第２画像とを取得する、請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記第１カメラによって撮像された画像及び前記第２カメラによって撮像された画像の少なくともいずれかに基づいて、前記飛行物体を識別する物体識別部
をさらに備える、請求項１から６のいずれか一項に記載の画像処理装置。

【請求項8】

前記物体識別部は、前記飛行物体が鳥類であるか否かを識別する、請求項７に記載の画像処理装置。

【請求項9】

前記物体識別部は、前記飛行物体が無人航空機であるか否かを識別する、請求項７又は８に記載の画像処理装置。

【請求項10】

前記第１カメラによって撮像された画像及び前記第２カメラによって撮像された画像の少なくともいずれかに基づいて、前記飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する飛行情報導出部
をさらに備える、請求項１から９のいずれか一項に記載の画像処理装置。

【請求項11】

前記第１カメラから前記飛行物体までの距離及び前記第１高度に基づいて、前記飛行物体の高度を導出する高度導出部
をさらに備える、請求項１から１０のいずれか一項に記載の画像処理装置。

【請求項12】

前記飛行物体検出部が前記飛行物体を検出したことに応じて警告を出力する警告出力部
をさらに備える、請求項１から１１のいずれか一項に記載の画像処理装置。

【請求項13】

前記画像処理装置は、飛行体に搭載され、
前記警告出力部は、前記飛行物体検出部が前記飛行物体を検出したことに応じて、通信衛星を介して地上の通信機器に前記警告を送信する、請求項１２に記載の画像処理装置。

【請求項14】

前記画像処理装置は、飛行体に搭載され、
前記画像処理装置は、通信衛星と通信する衛星通信部をさらに備える、請求項１から１２のいずれか一項に記載の画像処理装置。

【請求項15】

コンピュータを、請求項１から１４のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【請求項16】

前記第１カメラと、
前記第２カメラと、
請求項１に記載の画像処理装置と
を備える飛行体。

【請求項17】

前記第１カメラと、
前記第２カメラと
請求項４に記載の画像処理装置と
を備える飛行体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、飛行体及びプログラムに関する。

【背景技術】

【0002】

監視領域内に飛来する飛行物体を検知する飛行物体監視システムが知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１７−１６７８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

不審飛行物体を適切に検出可能な技術を提供することが望ましい。

【課題を解決するための手段】

【0004】

本発明の第１の態様によれば、画像処理装置が提供される。画像処理装置は、第１高度から第１高度よりも低い高度の方向を撮像する第１カメラによって撮像された第１領域を被写体として含む第１画像と、第２高度から第２高度よりも低い高度の方向を撮像する第２カメラによって撮像された第１領域を被写体として含む第２画像とを取得する画像取得部を備えてよい。画像処理装置は、第１画像内の第１領域と第２画像内の第１領域との差分に基づいて、第１高度及び第２高度よりも低い高度の飛行物体を検出する飛行物体検出部を備えてよい。

【0005】

上記第１カメラは飛行体の翼の一端に配置されていてよく、上記第２カメラは上記飛行体の翼の他端に配置されていてよい。上記第１カメラは、飛行体の先端に配置されていてよく、上記第２カメラは、上記飛行体の後端に配置されていてよい。

【0006】

上記第１カメラは、第１飛行体に搭載されていてよく、上記第２カメラは、上記第１飛行体とは異なる第２飛行体に搭載されていてよい。上記画像処理装置は、上記飛行物体の推定高度を取得する推定高度取得部と、上記推定高度に応じて、上記第１飛行体と上記第２飛行体との間の距離を調整させる調整制御部とをさらに備えてよい。

【0007】

上記第１画像の撮影時刻と上記第２画像の撮影時刻は同一であってよい。上記画像取得部は、上記第１カメラによって撮像された後で傾き補正が施された上記第１画像と、上記第２カメラによって撮像された後で傾き補正が施された上記第２画像とを取得してよい。上記画像処理装置は、地形及び建物の情報を含む地図データを参照する地図データ参照部をさらに備えてよく、上記飛行物体検出部は、上記第１画像内の上記第１領域と上記第２画像内の上記第１領域との差分と、上記地図データ中の上記第１領域に対応する範囲内の地形及び建物の情報とに基づいて、上記飛行物体を検出してよい。上記画像処理装置は、上記第１カメラによって撮像された画像及び上記第２カメラによって撮像された画像の少なくともいずれかに基づいて、上記飛行物体を識別する物体識別部をさらに備えてよい。上記物体識別部は、上記飛行物体が鳥類であるか否かを識別してよい。上記画像処理装置は、上記第１カメラによって撮像された画像及び上記第２カメラによって撮像された画像の少なくともいずれかに基づいて、上記飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する飛行情報導出部をさらに備えてよい。上記画像処理装置は、上記第１カメラから上記飛行物体までの距離及び上記第１高度に基づいて、上記飛行物体の高度を導出する高度導出部をさらに備えてよい。上記画像処理装置は、上記飛行物体検出部が上記飛行物体を検出したことに応じて警告を出力する警告出力部をさらに備えてよい。上記画像処理装置は、飛行体に搭載されてよく、上記警告出力部は、上記飛行物体検出部が上記飛行物体を検出したことに応じて、通信衛星を介して地上の通信機器に上記警告を送信してよい。上記画像処理装置は、飛行体に搭載されてよく、上記画像処理装置は、通信衛星と通信する衛星通信部をさらに備えてよい。

【0008】

本発明の第２の態様によれば、コンピュータを、上記画像処理装置として機能させるためのプログラムが提供される。

【0009】

本発明の第３の態様によれば、上記第１カメラと、上記第２カメラと、上記画像処理装置とを備える飛行体が提供される。

【0010】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1】画像処理装置１００による画像処理を説明する説明図である。

【図2】飛行体２００の一例を概略的に示す。

【図3】飛行体２００のハードウエア構成の一例を概略的に示す。

【図4】飛行体２００による処理の流れの一例を概略的に示す。

【図5】飛行体２００の機能構成の一例を概略的に示す。

【図6】飛行体４００及び飛行体５００の一例を概略的に示す。

【図7】飛行体４００、飛行体５００、及び地上局３００のハードウエア構成の一例を概略的に示す。

【図8】地上局３００による処理の流れの一例を概略的に示す。

【図9】地上局３００の機能構成の一例を概略的に示す。

【図10】飛行体４００及び飛行体５００による画像４３０及び画像５３０に対する傾き補正を説明する説明図である。

【図11】飛行物体８００の検出精度を説明する説明図である。

【図12】飛行体２００の通信環境の一例を概略的に示す。

【図13】飛行体４００及び飛行体５００の通信環境の一例を概略的に示す。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

図１は、画像処理装置１００による画像処理を説明する説明図である。画像処理装置１００は、第１高度から第１高度よりも低い高度の方向を撮像するカメラ１０によって撮像された画像１４をカメラ１０から取得する。画像処理装置１００は、有線接続を介してカメラ１０から画像１４を受信してよい。また、画像処理装置１００は、無線接続を介してカメラ１０から画像１４を受信してもよい。画像処理装置１００は、任意のネットワークを介してカメラ１０から画像１４を受信してもよい。第１高度は、カメラ１０の高度であってよい。カメラ１０は、例えば、飛行体に搭載されて地上を撮像するカメラである。カメラ１０は、高層建築物の上層、例えば、最上層に配置されて地上を撮像するカメラであってもよい。カメラ１０は、可視光カメラであってよい。カメラ１０は、赤外線カメラであってもよい。カメラ１０は、マルチスペクトルカメラであってもよい。カメラ１０は、いわゆるレーダーであってもよい。

【0014】

また、画像処理装置１００は、第２高度から第２高度よりも低い高度の方向を撮像するカメラ２０によって撮像された画像２４をカメラ２０から取得する。画像処理装置１００は、有線接続を介してカメラ２０から画像２４を受信してよい。また、画像処理装置１００は、無線接続を介してカメラ２０から画像２４を受信してもよい。画像処理装置１００は、任意のネットワークを介してカメラ２０から画像２４を受信してもよい。第２高度は、カメラ２０の高度であってよい。カメラ２０は、例えば、飛行体に搭載されて地上を撮像するカメラである、また、カメラ２０は、高層建築物の上層、例えば、最上層に配置されて地上を撮像するカメラであってもよい。カメラ２０は、可視光カメラであってよい。カメラ２０は、赤外線カメラであってもよい。カメラ２０は、マルチスペクトルカメラであってもよい。カメラ２０は、いわゆるレーダーであってもよい。

【0015】

画像処理装置１００は、第１領域を被写体として含む画像１４と、第１領域を被写体として含む画像２４とを用いて、第１高度及び第２高度よりも低い高度の飛行物体を検出する。画像１４の撮像範囲１２と、画像２４の撮像範囲２２とが同一である場合、第１領域は画像１４及び画像２４の全体であってよい。画像１４の撮像範囲１２と、画像２４の撮像範囲２２とがずれている場合、第１領域は、画像１４と画像２４に共通して含まれる領域であってよい。

【0016】

カメラ１０とカメラ２０とは水平方向に距離が離れており、画像１４及び画像２４に含まれる被写体のうち、より高い高度に位置する被写体ほど、画像１４内における位置と、画像２４内における位置が異なることになる。図１では、他の被写体に比べて飛行物体４０の高度が高く、画像１４内における飛行物体１６の位置と、画像２４内における飛行物体２６の位置とがずれている。

【0017】

画像処理装置１００は、画像１４内の第１領域と画像２４内の第１領域との差分に基づいて、飛行物体を検出する。例えば、画像処理装置１００は、図１に例示するように、画像１４と画像２４との差分画像３０を生成し、差分として抽出された飛行物体１６と飛行物体２６とが同一物であると判定できる場合に、飛行物体１６及び飛行物体２６を一つの飛行物体として検出する。画像１４と画像２４の撮像時刻は同一であってよい。

【0018】

画像処理装置１００は、画像１４内の第１領域と画像２４内の第１領域との差分と、地形及び建物の情報を含む地図データ中の第１領域に対応する範囲内の地形及び建物の情報とに基づいて、飛行物体を検出してもよい。画像１４及び画像２４の被写体のうち、飛行物体１６及び飛行物体２６の他にも、比較的高度の高い高層建築物及び山等が差分として検出されることになるが、画像処理装置１００は、差分として検出された対象物のうち、地図データに含まれる高層建築物及び山等を除外してよい。これにより、飛行物体１６及び飛行物体２６の検出精度を向上させることができる。

【0019】

画像処理装置１００は、カメラ１０によって撮像された画像及びカメラ２０によって撮像された画像の少なくともいずれかに基づいて、飛行物体を識別してもよい。画像処理装置１００は、飛行物体の形状及び飛行物体の動きの少なくともいずれかによって飛行物体を識別してよい。画像処理装置１００は、例えば、飛行物体がドローン等の無人航空機であるか否かを識別する。また、例えば、画像処理装置１００は、飛行物体が鳥類であるか否かを識別する。飛行物体が鳥類であり、カメラ１０及びカメラ２０が、赤外線カメラ及びハイパースペクトルカメラである場合、画像処理装置１００は、画像１４及び画像２４の少なくともいずれかに基づいて、鳥の種類を識別してもよい。

【0020】

画像処理装置１００は、カメラ１０によって撮像された画像及びカメラ２０によって撮像された画像の少なくともいずれかに基づいて、飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出してもよい。例えば画像処理装置１００は、時間的に連続する画像から、飛行物体の飛行速度及び飛行方向を導出する。また、例えば、画像処理装置１００は、導出した飛行速度及び飛行方向から、飛行ルート予測を導出する。

【0021】

図２は、飛行体２００の一例を概略的に示す。飛行体２００は、画像処理装置１００として機能してよい。飛行体２００は、カメラ２１０及びカメラ２２０を有する。カメラ２１０は飛行体２００の翼の一端に配置され、カメラ２２０は飛行体２００の翼の他端に配置されている。カメラ２１０及びカメラ２２０は、カメラ１０及びカメラ２０の一例であってよい。図２に示す飛行体２００は、プロペラ、太陽電池パネル、バッテリ及びアンテナを有する成層圏プラットフォームである。図２では、飛行体２００が成層圏プラットフォームである場合を例に挙げて説明するが、これに限らず、飛行体２００は、飛行機、無人航空機、及び気球等であってもよい。飛行体２００が前後に長い形状を有する場合、カメラ２１０は、飛行体２００の先端に配置され、カメラ２２０は、飛行体２００の後端に配置されてもよい。

【0022】

飛行体２００は、地上局３００を介してネットワーク８０と通信する。ネットワーク８０は、例えば、インターネット及び携帯電話網を含む。

【0023】

飛行体２００は、カメラ２１０及びカメラ２２０によって撮像した画像から、飛行物体を検出する。飛行体２００は、飛行物体を検出した場合、地上局３００及びネットワーク８０を介して、任意の通信機器に警告を送信してよい。飛行体２００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。

【0024】

図３は、飛行体２００のハードウエア構成の一例を概略的に示す。飛行体２００は、飛行制御ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２、通信装置２０４、アンテナ２０５、ＤＢ（ＤａｔａＢａｓｅ）２０６、カメラ２１０、カメラ２２０、及び画像処理ＣＰＵ２３０を備える。飛行制御ＣＰＵ２０２、通信装置２０４、ＤＢ２０６、画像処理ＣＰＵ２３０は、データバス２０８を介して接続されている。

【0025】

飛行制御ＣＰＵ２０２は、飛行体２００の飛行を制御する。通信装置２０４は、アンテナ２０５を介した通信を実行する。通信装置２０４は、例えば、アンテナ２０５を介して地上局３００と通信する。

【0026】

ＤＢ２０６は、各種データを格納する。ＤＢ２０６は、例えば、地形及び建物の情報を含む地図データを格納する。ＤＢ２０６は、例えば、通信装置２０４が地上局３００及びネットワーク８０を介して、任意の通信機器から受信した地図データを格納する。ＤＢ２０６は、カメラ２１０によって撮像された画像を格納してよい。ＤＢ２０６は、カメラ２２０によって撮像された画像を格納してよい。

【0027】

画像処理ＣＰＵ２３０は、カメラ２１０が撮像した画像及びカメラ２２０が撮像した画像を処理する。画像処理ＣＰＵ２３０は、カメラ２１０が撮像した画像内の第１領域と、カメラ２２０が撮像した画像内の第１領域との差分に基づいて、飛行体２００よりも低い高度の飛行物体を検出する。

【0028】

図４は、飛行体２００による処理の流れの一例を概略的に示す。飛行体２００は、例えば、図４に示す処理を定期的に実行する。飛行体２００は、地上局３００から指示を受領したことに応じて、図４に示す処理を実行してもよい。

【0029】

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、カメラ２１０及びカメラ２２０が画像を撮像する。Ｓ１０４では、画像処理ＣＰＵ２３０が、カメラ２１０及びカメラ２２０によって撮像された画像を補正する。画像処理ＣＰＵ２３０は、例えば、画像に傾き補正を施す。

【0030】

Ｓ１０６では、画像処理ＣＰＵ２３０が、Ｓ１０４において補正した画像を突合する。画像処理ＣＰＵ２３０は、ＤＢ２０６に格納されている地図データを参照して、突合した画像から、既知の建築物及び山等を除外してよい。

【0031】

Ｓ１０８では、画像処理ＣＰＵ２３０が、画像内に不審飛行物体が有るか否かを判定する。有ると判定した場合、Ｓ１１０に進み、無いと判定した場合、Ｓ１１２に進む。Ｓ１１０では、画像処理ＣＰＵ２３０が、通信装置２０４に、地上局３００及びネットワーク８０を介して予め設定された機器に対して警報を発令させるとともに、不審飛行物体の画像を送信させる。

【0032】

Ｓ１１２では、処理を終了するか否かを判定する。終了しないと判定した場合、Ｓ１０２に戻り、終了すると判定した場合、処理を終了する。

【0033】

図５は、画像処理ＣＰＵ２３０の機能構成の一例を概略的に示す。画像処理ＣＰＵ２３０は、画像取得部２３２、飛行物体検出部２３４、地図データ参照部２３６、物体識別部２３８、飛行情報導出部２４０、高度導出部２４２、及び送信制御部２４４を有する。

【0034】

画像取得部２３２は、カメラ２１０が撮像した画像を取得する。画像取得部２３２は、カメラ２２０が撮像した画像を取得する。

【0035】

飛行物体検出部２３４は、画像取得部２３２が取得した画像に基づいて、飛行物体を検出する。地図データ参照部２３６は、ＤＢ２０６に格納されている地図データを参照する。飛行物体検出部２３４は、画像取得部２３２が取得した画像と、地図データ参照部２３６が参照した地図データとに基づいて飛行物体を検出してよい。

【0036】

物体識別部２３８は、画像取得部２３２が取得したカメラ２１０及びカメラ２２０によって撮像された画像に基づいて、飛行物体検出部２３４が検出した飛行物体を識別する。物体識別部２３８は、例えば、飛行物体が無人航空機であるか否かを判定する。物体識別部２３８は、飛行物体が鳥類であるか否かを識別してもよい。

【0037】

飛行情報導出部２４０は、画像取得部２３２が取得したカメラ２１０及びカメラ２２０によって撮像された画像に基づいて、飛行物体検出部２３４が検出した飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する。

【0038】

高度導出部２４２は、飛行物体検出部２３４が検出した飛行物体の高度を導出する。高度導出部２４２は、例えば、カメラ２１０から飛行物体までの距離と、カメラ２１０の高度に基づいて、飛行物体の高度を導出する。高度導出部２４２は、例えば、飛行体２００が有する高度計によって測定された高度をカメラ２１０の高度とする。また、高度導出部２４２は、例えば、カメラ２１０によって撮像された画像と、カメラ２２０によって撮像された画像に対して、三角測量を用いた手法等の公知の手法を適用して、カメラ２１０と飛行物体との距離を導出する。そして、高度導出部２４２は、カメラ２１０の高度から、カメラ２１０と飛行物体との距離を減算することによって、飛行物体の高度を導出する。

【0039】

送信制御部２４４は、各種情報を通信装置２０４に送信させる。送信制御部２４４は、例えば、飛行物体検出部２３４が飛行物体を検出した場合に、警告情報を通信装置２０４に、予め設定された通信機器に向けて送信させる。送信制御部２４４は、警告出力部の一例であってよい。送信制御部２４４は、物体識別部２３８による識別結果を通信装置２０４に送信させてもよい。送信制御部２４４は、飛行情報導出部２４０によって導出された情報を通信装置２０４に送信させてもよい。送信制御部２４４は、高度導出部２４２によって導出された高度を通信装置２０４に送信させてもよい。

【0040】

なお、図２から図５では、飛行体２００が画像処理装置１００として機能する例を挙げて説明したが、これに限らない。例えば、地上局３００が画像処理装置１００として機能してもよい。この場合、地上局３００は、カメラ２１０及びカメラ２２０によって撮像された画像を飛行体２００から受信して、受信した画像に基づいて飛行物体を検出する。また、例えば、ネットワーク８０に接続された通信機器が画像処理装置１００として機能してもよい。この場合、当該通信機器は、カメラ２１０及びカメラ２２０によって撮像された画像を飛行体２００、地上局３００、及びネットワーク８０を介して受信して、受信した画像に基づいて飛行物体を検出する。

【0041】

図６は、飛行体４００及び飛行体５００の一例を概略的に示す。飛行体４００は、カメラ４１０を有する。カメラ４１０は、カメラ１０の一例であってよい。飛行体５００は、カメラ５１０を有する。カメラ５１０は、カメラ２０の一例であってよい。図６に示す飛行体４００及び飛行体５００は、成層圏プラットフォームである。図６では、飛行体４００及び飛行体５００が成層圏プラットフォームである場合を例に挙げて説明するが、これに限らず、飛行体４００及び飛行体５００は、飛行機、無人航空機、及び気球等であってもよい。

【0042】

飛行体４００は、地上局３００を介してネットワーク８０と通信する。飛行体５００は、地上局６００を介してネットワーク８０と通信する。地上局３００は、画像処理装置として機能してよい。

【0043】

地上局３００は、カメラ４１０によって撮像された画像を飛行体４００から受信する。また、地上局３００は、カメラ５１０によって撮像された画像を、飛行体５００、地上局６００、及びネットワーク８０を介して受信する。地上局３００は、カメラ４１０によって撮像された画像と、カメラ５１０によって撮像された画像から飛行物体を検出する。地上局３００は、飛行物体を検出した場合、ネットワーク８０を介して、任意の通信機器に警告を送信してよい。地上局３００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。

【0044】

図７は、飛行体４００、飛行体５００、及び地上局３００のハードウエア構成の一例を概略的に示す。飛行体４００は、飛行制御ＣＰＵ４０２、通信装置４０４、アンテナ４０５、カメラ４１０、及び画像処理ＣＰＵ４２０を備える。飛行制御ＣＰＵ４０２、通信装置４０４、及び画像処理ＣＰＵ４２０は、データバス４０８を介して接続されている。

【0045】

飛行制御ＣＰＵ４０２は、飛行体４００の飛行を制御する。通信装置４０４は、アンテナ４０５を介した通信を実行する。通信装置４０４は、例えば、アンテナ４０５を介して地上局３００と通信する。

【0046】

画像処理ＣＰＵ４２０は、カメラ４１０が撮像した画像を処理する。画像処理ＣＰＵ４２０は、例えば、カメラ４１０が撮像した画像を、通信装置４０４に、地上局３００に向けて送信させる。画像処理ＣＰＵ４２０は、カメラ４１０が撮像した画像に対して傾き補正を施してもよい。

【0047】

飛行体５００は、飛行制御ＣＰＵ５０２、通信装置５０４、アンテナ５０５、カメラ５１０、及び画像処理ＣＰＵ５２０を備える。飛行制御ＣＰＵ５０２、通信装置５０４、及び画像処理ＣＰＵ５２０は、データバス５０８を介して接続されている。

【0048】

飛行制御ＣＰＵ５０２は、飛行体５００の飛行を制御する。通信装置５０４は、アンテナ５０５を介した通信を実行する。通信装置５０４は、例えば、アンテナ５０５を介して地上局６００と通信する。

【0049】

画像処理ＣＰＵ５２０は、カメラ５１０が撮像した画像を処理する。画像処理ＣＰＵ５２０は、例えば、カメラ５１０が撮像した画像を、通信装置５０４に、地上局６００に向けて送信させる。画像処理ＣＰＵ５２０は、カメラ５１０が撮像した画像に対して傾き補正を施してもよい。

【0050】

地上局３００は、インターネット接続部３０２、通信装置３０４、アンテナ３０５、ＤＢ３０６、及び画像処理ＣＰＵ３０８を備える。インターネット接続部３０２、通信装置３０４、ＤＢ３０６、及び画像処理ＣＰＵ３０８は、データバス３０９を介して接続されている。

【0051】

インターネット接続部３０２は、ネットワーク８０に接続して、インターネット上の通信機器と通信する。通信装置３０４は、アンテナ３０５を介した通信を実行する。通信装置３０４は、例えば、アンテナ３０５を介して飛行体４００と通信する。

【0052】

ＤＢ３０６は、各種データを格納する。ＤＢ３０６は、例えば、地形及び建物の情報を含む地図データを格納する。ＤＢ３０６は、例えば、インターネット接続部３０２がネットワーク８０を介して任意の通信機器から受信した地図データを格納する。ＤＢ３０６は、通信装置３０４が飛行体４００から受信したカメラ４１０による撮像画像を格納してよい。ＤＢ３０６は、インターネット接続部３０２が、ネットワーク８０及び地上局６００を介して飛行体５００から受信したカメラ５１０による撮像画像を格納してよい。

【0053】

画像処理ＣＰＵ３０８は、カメラ４１０による撮像画像及びカメラ５１０による撮像画像を処理する。画像処理ＣＰＵ３０８は、カメラ４１０による撮像画像内の第１領域と、カメラ５１０による撮像画像内の第１領域との差分に基づいて、飛行体４００及び飛行体５００よりも低い高度の飛行物体を検出する。

【0054】

図８は、地上局３００による処理の流れの一例を概略的に示す。地上局３００は、例えば、図８に示す処理を定期的に実行する。

【0055】

Ｓ２０２では、飛行体４００及び飛行体５００によって撮像された画像を受信する。Ｓ２０４では、画像処理ＣＰＵ３０８が、Ｓ２０２において受信した画像を補正する。画像処理ＣＰＵ３０８は、例えば、画像に傾き補正を施す。

【0056】

Ｓ２０６では、画像処理ＣＰＵ３０８が、Ｓ２０４において補正した画像を突合する。画像処理ＣＰＵ３０８は、ＤＢ３０６に格納されている地図データを参照して、突合した画像から、既知の建築物及び山等を除外してよい。

【0057】

Ｓ２０８では、画像処理ＣＰＵ３０８が、画像内に不審飛行物体が有るか否かを判定する。有ると判定した場合、Ｓ２１０に進み、無いと判定した場合、Ｓ２１２に進む。Ｓ２１０では、画像処理ＣＰＵ３０８が、通信装置３０４に、ネットワーク８０を介して予め設定された通信機器に対して警報を発令させるとともに、不審飛行物体の画像を送信させる。

【0058】

Ｓ２１２では、処理を終了するか否かを判定する。終了しないと判定した場合、Ｓ２０２に戻り、終了すると判定した場合、処理を終了する。

【0059】

図９は、画像処理ＣＰＵ３０８の機能構成の一例を概略的に示す。画像処理ＣＰＵ３０８は、画像取得部３３２、飛行物体検出部３３４、地図データ参照部３３６、物体識別部３３８、飛行情報導出部３４０、高度導出部３４２、送信制御部３４４、推定高度取得部３５２、及び調整制御部３５４を有する。

【0060】

画像取得部３３２は、カメラ４１０が撮像した画像を取得する。画像取得部３３２は、カメラ５１０が撮像した画像を取得する。

【0061】

飛行物体検出部３３４は、画像取得部３３２が取得した画像に基づいて、飛行物体を検出する。地図データ参照部３３６は、ＤＢ３０６に格納されている地図データを参照する。飛行物体検出部３３４は、画像取得部３３２が取得した画像と、地図データ参照部３３６が参照した地図データとに基づいて飛行物体を検出してよい。

【0062】

物体識別部３３８は、画像取得部３３２が取得したカメラ４１０及びカメラ５１０によって撮像された画像に基づいて、飛行物体検出部３３４が検出した飛行物体を識別する。物体識別部３３８は、例えば、飛行物体が無人航空機であるか否かを判定する。物体識別部３３８は、飛行物体が鳥類であるか否かを識別してもよい。

【0063】

飛行情報導出部３４０は、画像取得部３３２が取得したカメラ２１０及びカメラ２２０によって撮像された画像に基づいて、飛行物体検出部３３４が検出した飛行物体の飛行速度、飛行方向、及び飛行ルート予測の少なくともいずれかを導出する。

【0064】

高度導出部３４２は、飛行物体検出部３３４が検出した飛行物体の高度を導出する。高度導出部３４２は、例えば、カメラ４１０から飛行物体までの距離と、カメラ４１０の高度に基づいて、飛行物体の高度を導出する。高度導出部３４２は、例えば、飛行体４００が有する高度計によって測定された高度をカメラ４１０の高度とする。また、高度導出部３４２は、例えば、カメラ４１０によって撮像された画像と、カメラ５１０によって撮像された画像に対して、三角測量を用いた手法等の公知の手法を適用して、カメラ４１０と飛行物体との距離を導出する。そして、高度導出部３４２は、カメラ４１０の高度から、カメラ４１０と飛行物体との距離を減算することによって、飛行物体の高度を導出する。

【0065】

送信制御部３４４は、各種情報を通信装置３０４に送信させる。送信制御部３４４は、例えば、飛行物体検出部３３４が飛行物体を検出した場合に、警告情報を通信装置３０４に、予め設定された通信機器に向けて送信させる。送信制御部３４４は、物体識別部３３８による識別結果を通信装置３０４に送信させてもよい。送信制御部３４４は、飛行情報導出部３４０によって導出された情報を通信装置３０４に送信させてもよい。送信制御部３４４は、高度導出部３４２によって導出された高度を通信装置３０４に送信させてもよい。

【0066】

なお、図６から図９では、地上局３００が画像処理装置１００として機能する例を挙げて説明したが、これに限らない。例えば、地上局６００が画像処理装置１００として機能してもよい。この場合、地上局６００は、カメラ４１０によって撮像された画像を地上局３００及びネットワーク８０を介して飛行体４００受信し、カメラ５１０によって撮像された画像を飛行体５００から受信し、受信した画像に基づいて飛行物体を検出する。また、例えば、ネットワーク８０に接続された通信機器が画像処理装置１００として機能してもよい。この場合、当該通信機器は、カメラ４１０によって撮像された画像を地上局３００及びネットワーク８０を介して受信し、カメラ５１０によって撮像された画像を地上局６００及びネットワーク８０を介して受信し、受信した画像に基づいて飛行物体を検出する。

【0067】

推定高度取得部３５２は、飛行物体の推定高度を取得する。推定高度取得部３５２は、例えば、ネットワーク８０上の通信機器から、飛行物体の推定高度を取得する。推定高度は、例えば、検出対象の飛行物体の平均的な高度である。

【0068】

調整制御部３５４は、推定高度取得部３５２が取得した推定高度に応じて、飛行体４００と飛行体５００との間の距離を調整させる。調整制御部３５４は、例えば、飛行体４００と飛行体５００との間の距離を調整すべく、飛行体４００の飛行制御データを飛行体４００に向けて通信装置３０４に送信させ、飛行体５００の飛行制御データを飛行体５００に向けてインターネット接続部３０２に送信させる。

【0069】

推定高度取得部３５２は、飛行物体の推定位置をさらに取得してもよく、この場合調整制御部３５４は、推定高度及び推定位置に応じて、飛行体４００と飛行体５００との間の距離、飛行体４００の高度、及び飛行体５００の高度を調整させてよい。

【0070】

図１０は、飛行体４００及び飛行体５００による画像４３０及び画像５３０に対する傾き補正を説明する説明図である。画像４３０に対する傾き補正は、飛行体４００によって実行されてよい。また、地上局３００が画像処理装置として機能する場合、画像４３０に対する傾き補正は地上局３００によって実行されてもよい。また、ネットワーク８０上の通信機器が画像処理装置として機能する場合、画像４３０に対する傾き補正は当該通信機器によって実行されてもよい。

【0071】

画像５３０に対する傾き補正は、飛行体５００によって実行されてよい。また、地上局６００が画像処理装置として機能する場合、画像５３０に対する傾き補正は地上局６００によって実行されてもよい。また、ネットワーク８０上の通信機器が画像処理装置として機能する場合、画像５３０に対する傾き補正は当該通信機器によって実行されてもよい。

【0072】

画像４３０を傾き補正した補正画像４３２と、画像５３０を傾き補正した補正画像５３２とは、画像処理装置１００によって突合されてよい。

【0073】

図１１は、飛行物体８００の検出精度を説明する説明図である。ここでは、カメラ４１０及びカメラ５１０による撮像画像の総画素数が１億ピクセルであり、縦ピクセル数が１万ピクセル、横ピクセル数が１万ピクセルであり、カメラ４１０及びカメラ５１０による撮像範囲が１ｋｍ四方であり、カメラ４１０とカメラ５１０との距離７１０が２ｋｍ、カメラ４１０とカメラ５１０の高度が２０ｋｍ、対象の飛行物体８００である無人航空機の地上高が１０ｍである場合を例に挙げて説明する。

【0074】

この場合、１ピクセルサイズは０．１ｍとなる。無人航空機の上と下は相似形であるので、高度７３０／高度７２０＝距離７４０／距離７１０となり、距離７４０は１ｍとなり、ずれピクセル数は１０ピクセルとなる。

【0075】

図１１に示したように、例えば、高度２０ｋｍを飛行する飛行体４００及び飛行体５００が、２ｋｍ離れた位置から撮像した場合、地上高１０ｍの無人航空機を検出することは理論的に可能である。

【0076】

上記実施形態では、飛行体２００が地上局３００を介してネットワーク８０と通信する例を主に挙げて説明したが、これに限らない。飛行体２００は、衛星通信を実行してもよい。

【0077】

図１２は、飛行体２００の通信環境の一例を概略的に示す。ここでは、図２と異なる点を主に説明する。

【0078】

飛行体２００は、不図示の衛星通信部を備え、通信衛星９００との間で衛星通信を実行する。飛行体２００は、通信衛星９００を介してネットワーク８０と通信してよい。通信衛星９００は、例えば、地上局９１０を介して、飛行体２００とネットワーク８０との間の通信を中継する。

【0079】

飛行体２００は、飛行物体を検出した場合、通信衛星９００、地上局９１０及びネットワーク８０を介して、任意の通信機器に警告を送信してよい。飛行体２００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。

【0080】

図１３は、飛行体４００及び飛行体５００の通信環境の一例を概略的に示す。ここでは、図６と異なる点を主に説明する。

【0081】

飛行体４００は、不図示の衛星通信部を備え、通信衛星９００との間で衛星通信を実行する。飛行体４００は、通信衛星９００を介してネットワーク８０と通信してよい。通信衛星９００は、例えば、地上局９１０を介して、飛行体４００とネットワーク８０との間の通信を中継する。

【0082】

飛行体５００は、不図示の衛星通信部を備え、通信衛星９００との間で衛星通信を実行する。飛行体５００は、通信衛星９００を介してネットワーク８０と通信してよい。通信衛星９００は、例えば、地上局９１０を介して、飛行体５００とネットワーク８０との間の通信を中継する。

【0083】

地上局９１０は、不図示の衛星通信部を備え、カメラ４１０によって撮像された画像を、飛行体４００及び通信衛星９００を介して受信してよい。また、地上局９１０は、カメラ５１０によって撮像された画像を、飛行体５００及び通信衛星９００を介して受信してよい。地上局９１０は、カメラ４１０によって撮像された画像と、カメラ５１０によって撮像された画像から飛行物体を検出してよい。地上局９１０は、飛行物体を検出した場合、ネットワーク８０を介して、任意の通信機器に警告を送信してよい。地上局９１０は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。

【0084】

飛行体４００は、通信衛星９００を介して飛行体５００と通信してもよい。飛行体４００は、例えば、カメラ５１０によって撮像された画像を、飛行体５００及び通信衛星９００を介して受信してよい。飛行体４００は、カメラ４１０によって撮像した画像と、カメラ５１０によって撮像された画像から飛行物体を検出してよい。飛行体４００は、飛行物体を検出した場合、通信衛星９００、地上局９１０、及びネットワーク８０を介して、任意の通信機器に警告を送信してよい。飛行体４００は、さらに、飛行物体の画像、飛行物体の飛行速度、飛行方向、及び飛行ルート予測等を当該通信機器に対して送信してもよい。

【0085】

以上の説明において、画像処理装置１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、画像処理装置１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、画像処理装置１００の少なくとも一部を構成するコンピュータにインストールされてよい。

【0086】

コンピュータにインストールされ、コンピュータを本実施形態に係る画像処理装置１００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、画像処理装置１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと画像処理装置１００のハードウエア資源とが協働した具体的手段として機能する。

【0087】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0088】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0089】

１０ カメラ、１２ 撮像範囲、１４ 画像、１６ 飛行物体、２０ カメラ、２２ 撮像範囲、２４ 画像、２６ 飛行物体、３０ 差分画像、４０ 飛行物体、８０ ネットワーク、１００ 画像処理装置、２００ 飛行体、２０２ 飛行制御ＣＰＵ、２０４ 通信装置、２０５ アンテナ、２０６ ＤＢ、２０８ データバス、２１０ カメラ、２２０ カメラ、２３０ 画像処理ＣＰＵ、２３２ 画像取得部、２３４ 飛行物体検出部、２３６ 地図データ参照部、２３８ 物体識別部、２４０ 飛行情報導出部、２４２ 高度導出部、２４４ 送信制御部、３００ 地上局、３０２ インターネット接続部、３０４ 通信装置、３０５ アンテナ、３０６ ＤＢ、３０８ 画像処理ＣＰＵ、３０９ データバス、３３２ 画像取得部、３３４ 飛行物体検出部、３３６ 地図データ参照部、３３８ 物体識別部、３４０ 飛行情報導出部、３４２ 高度導出部、３４４ 送信制御部、３５２ 推定高度取得部、３５４ 調整制御部、４００ 飛行体、４０２ 飛行制御ＣＰＵ、４０４ 通信装置、４０５ アンテナ、４０８ データバス、４１０ カメラ、４２０ 画像処理ＣＰＵ、４３０ 画像、４３２ 補正画像、５００ 飛行体、５０２ 飛行制御ＣＰＵ、５０４ 通信装置、５０５ アンテナ、５０８ データバス、５１０ カメラ、５２０ 画像処理ＣＰＵ、５３０ 画像、５３２ 補正画像、６００ 地上局、７１０ 距離、７２０ 高度、７３０ 高度、７４０ 距離、８００ 飛行物体、９００ 通信衛星、９１０ 地上局

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】