(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154658
(43)【公開日】2024-10-31
(54)【発明の名称】飛行体検出装置および飛行体検出方法
(51)【国際特許分類】
G06T 7/246 20170101AFI20241024BHJP
G06T 7/215 20170101ALI20241024BHJP
【ＦＩ】
G06T7/246
G06T7/215
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023068603
(22)【出願日】2023-04-19
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】ラトル スワラン シンガー
(72)【発明者】
【氏名】待井 君吉
(72)【発明者】
【氏名】板東 幹雄
(72)【発明者】
【氏名】伊藤 貴廣
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096CA04
5L096FA02
5L096FA09
5L096FA67
5L096FA69
5L096GA08
5L096JA22
5L096MA07
(57)【要約】
【課題】様々な環境条件下で高精度な物体検出を可能とする。
【解決手段】飛行体検出装置１００は、連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出する特徴点抽出部１１２と、抽出された特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部１１３と、を備える。飛行体検出装置１００は、さらに飛行体存在領域にある飛行体を分類する分類部１１４を備えてもよい。また飛行体検出装置１００は、飛行体存在領域にある飛行体までの距離および向きを取得し、当該飛行体の位置および移動速度を算出する測定部１１５を備えてもよい。
【選択図】図１
【解決手段】飛行体検出装置１００は、連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出する特徴点抽出部１１２と、抽出された特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部１１３と、を備える。飛行体検出装置１００は、さらに飛行体存在領域にある飛行体を分類する分類部１１４を備えてもよい。また飛行体検出装置１００は、飛行体存在領域にある飛行体までの距離および向きを取得し、当該飛行体の位置および移動速度を算出する測定部１１５を備えてもよい。
【選択図】図１
【特許請求の範囲】
【請求項1】
連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出する特徴点抽出部と、
抽出された前記特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部と、を備える
飛行体検出装置。
抽出された前記特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部と、を備える
飛行体検出装置。
【請求項2】
前記飛行体存在領域にある飛行体を分類する分類部をさらに備える
請求項１に記載の飛行体検出装置。
請求項１に記載の飛行体検出装置。
【請求項3】
前記飛行体存在領域にある飛行体までの距離および向きを取得し、当該飛行体の位置および移動速度を算出する測定部をさらに備える
請求項１に記載の飛行体検出装置。
請求項１に記載の飛行体検出装置。
【請求項4】
前記特徴点抽出部は、
特徴の度合いが高い特徴点を抽出する
請求項１に記載の飛行体検出装置。
特徴の度合いが高い特徴点を抽出する
請求項１に記載の飛行体検出装置。
【請求項5】
前記特徴点抽出部は、
登録済みの何れかの特徴点の特徴量に類似する特徴量の特徴点を抽出する
請求項１に記載の飛行体検出装置。
登録済みの何れかの特徴点の特徴量に類似する特徴量の特徴点を抽出する
請求項１に記載の飛行体検出装置。
【請求項6】
前記検出部は、
登録済みの何れかの特徴点マップに類似する特徴点を含む領域を前記飛行体存在領域として検出し、
前記特徴点マップは、
前記特徴点の集合であり、前記差分画像の領域における特徴点の位置および特徴点の特徴量の何れかを含む
請求項１に記載の飛行体検出装置。
登録済みの何れかの特徴点マップに類似する特徴点を含む領域を前記飛行体存在領域として検出し、
前記特徴点マップは、
前記特徴点の集合であり、前記差分画像の領域における特徴点の位置および特徴点の特徴量の何れかを含む
請求項１に記載の飛行体検出装置。
【請求項7】
所定の物体検出手法を用いて画像に写っている物体の領域を特定する物体検出部と、
前記検出部が特定した飛行体存在領域を前記物体検出部が物体の領域と特定しない場合に、当該飛行体存在領域にある飛行体の前記分類部の分類結果を不明とする比較部と、をさらに備える
請求項２に記載の飛行体検出装置。
前記検出部が特定した飛行体存在領域を前記物体検出部が物体の領域と特定しない場合に、当該飛行体存在領域にある飛行体の前記分類部の分類結果を不明とする比較部と、をさらに備える
請求項２に記載の飛行体検出装置。
【請求項8】
飛行体検出装置が、
連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出するステップと、
抽出された前記特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定するステップと、を実行する
飛行体検出方法。
連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出するステップと、
抽出された前記特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定するステップと、を実行する
飛行体検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を基に飛行体を検出する飛行体検出装置および飛行体検出方法に関する。
【背景技術】
【0002】
ドローンや電動垂直離着陸機を利用した、都市や郊外で乗客や荷物を運ぶ都市型航空交通（ＵＡＭ、Urban Air Mobility）が、近い将来に実用化されると期待されている。都市型航空交通の実現には、旅客用の航空機（空飛ぶクルマ）や小型のドローンに対する航空交通管制が必要である。このため、管制領域内の飛行体を検出して位置や飛行速度を把握するとともに、離着陸の許可や航路・高度の指示などを行うことが求められる。
都市型航空交通の管制対象には、メートルサイズの旅客用電動垂直離着陸機の他に、センチメートルサイズの荷物輸送用のドローンも含まれる。曇天や雨天においてドローンのような小さな飛行体は、背景に紛れてカメラ画像による検出は難しい。
都市型航空交通の管制対象には、メートルサイズの旅客用電動垂直離着陸機の他に、センチメートルサイズの荷物輸送用のドローンも含まれる。曇天や雨天においてドローンのような小さな飛行体は、背景に紛れてカメラ画像による検出は難しい。
【0003】
飛行体を検出する手法として、特許文献１，２に記載の技術がある。特許文献１の計測システムは、機械学習技術により対象物を検出し、オプティカルフローに基づいて特徴点移動を推定して、対象物の移動に関する物理量を計測する。特許文献２の方法では、複数の層の畳み込みを画像に対して実行して複数の特徴マップを生成し、当該複数の特徴マップを単一のサイズに再形成し、順次連結して結合された特徴マップを形成し、この特徴マップを用いて複数のバウンディングボックス領域をスコアリングすることで物体を検出して分類する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－０９２９９６号公報
【特許文献2】米国特許第１１２４４１９１号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１，２に記載の発明では、機械学習技術を用いるために大量の訓練データ（学習データ）が必要であり、訓練データを準備するのに多大の手間とコストを要する。特に飛行体を検出する場合には、天気や気象により背景（空）が異なるため多くの訓練データが必要となる。また深層学習の場合には、処理コストが大きいので、実時間での飛行体検出を実現するには多大な計算リソースが必要となる。
【0006】
一方、画像処理技術を用いた飛行体検出では処理コストは小さいが、様々な環境条件（天気や気象）下で高い精度を保つのは難しい。例えば天気や気象により、明るさや背景となる雲の変化の他に、雨や雪、霧などのノイズが発生する。
本発明は、このような背景に鑑みてなされたものであり、様々な環境条件下で高精度な物体検出を可能とする飛行体検出装置および飛行体検出方法を提供することを課題とする。
本発明は、このような背景に鑑みてなされたものであり、様々な環境条件下で高精度な物体検出を可能とする飛行体検出装置および飛行体検出方法を提供することを課題とする。
【課題を解決するための手段】
【0007】
上記した課題を解決するため、本発明に係る飛行体検出装置は、連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出する特徴点抽出部と、抽出された前記特徴点のクラスタリング処理を行い、クラスタが存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部と、を備える。
【発明の効果】
【0008】
本発明によれば、様々な環境条件下で高精度な物体検出を可能とする飛行体検出装置および飛行体検出方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る飛行体検出装置の機能ブロック図である。
【図2】第１実施形態に係る特徴点抽出部、および検出部の処理を説明するための図である。
【図3】第１実施形態に係る飛行体検出処理のフローチャートである。
【図4】第２実施形態に係る飛行体検出装置の機能ブロック図である。
【図5】第２実施形態に係る比較処理のフローチャートである。
【発明を実施するための形態】
【0010】
以下に本発明を実施するための形態（実施形態）における飛行体検出装置について説明する。飛行体検出装置は、飛行体が飛行する空中の領域（空域）を連続して撮影した画像を入力し、連続した画像の差分を取得する。次に飛行体検出装置は、差分画像から特徴点を抽出し、抽出した特徴点に対してクラスタリング処理を行い、クラスタ（特徴点のグループ）が存在する領域を飛行体が写っている領域として特定する。続いて飛行体検出装置は、撮影画像の当該領域において物体分類処理を行って、飛行体の種類を特定する。さらに飛行体検出装置は、例えばレーダーの観測結果を基に、飛行体の位置（緯度・経度・高度）や、位置の変化を基に飛行体の移動速度を算出する。このような飛行体検出装置によれば、様々な天気や気象においても高精度に飛行体が検出できる。
【0011】
≪第１実施形態：飛行体検出装置の構成≫
図１は、第１実施形態に係る飛行体検出装置１００の機能ブロック図である。飛行体検出装置１００はコンピュータであり、制御部１１０、記憶部１２０、および入出力部１８０を備える。入出力部１８０は通信デバイスを備え、カメラ４１０やレーダー４２０とのデータ送受信が可能である。
図１は、第１実施形態に係る飛行体検出装置１００の機能ブロック図である。飛行体検出装置１００はコンピュータであり、制御部１１０、記憶部１２０、および入出力部１８０を備える。入出力部１８０は通信デバイスを備え、カメラ４１０やレーダー４２０とのデータ送受信が可能である。
【0012】
カメラ４１０およびレーダー４２０は、飛行体の監視または管制が求められる垂直離着陸用飛行場周辺の空域を撮像または観測できるように設置される。カメラ４１０およびレーダー４２０は、それぞれ複数台設置され、垂直離着陸用飛行場周辺の空域全体を撮像または観測することが望ましい。
【0013】
カメラ４１０は、飛行体が飛行する空域を連続して撮影し、撮影画像を飛行体検出装置１００に送信する。カメラ４１０の撮影レートは、飛行体の速度が毎秒２０ｍ以下であれば３０Ｈｚ、毎秒２０ｍ超であれば６０Ｈｚが１つの目安になるが、これに限らない。
レーダー４２０は、空域を連続して観測し、観測結果を飛行体検出装置１００に送信する。観測結果を基に飛行体までの距離や方向が取得できる。レーダー４２０もカメラ４１０と同程度のレートで観測するのが望ましいが、難しい場合には最大のレートで観測してもよい。
レーダー４２０は、空域を連続して観測し、観測結果を飛行体検出装置１００に送信する。観測結果を基に飛行体までの距離や方向が取得できる。レーダー４２０もカメラ４１０と同程度のレートで観測するのが望ましいが、難しい場合には最大のレートで観測してもよい。
【0014】
≪飛行体検出装置：記憶部≫
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などの記憶機器を含んで構成される。記憶部１２０には、画像データベース１３０、検出物データベース１４０、分類モデル１２１、およびプログラム１２８が記憶される。プログラム１２８は、後記する飛行体検出処理（図３参照）の記述を含む。
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などの記憶機器を含んで構成される。記憶部１２０には、画像データベース１３０、検出物データベース１４０、分類モデル１２１、およびプログラム１２８が記憶される。プログラム１２８は、後記する飛行体検出処理（図３参照）の記述を含む。
【0015】
分類モデル１２１は、後記する飛行体存在領域に写る飛行体の分類に用いられる機械学習モデルである。
画像データベース１３０には、タイムスタンプが付与されて、カメラ４１０の撮影画像やレーダー４２０の観測結果が格納される。
検出物データベース１４０には、検出された飛行体の情報が格納される。
画像データベース１３０には、タイムスタンプが付与されて、カメラ４１０の撮影画像やレーダー４２０の観測結果が格納される。
検出物データベース１４０には、検出された飛行体の情報が格納される。
【0016】
≪飛行体検出装置：制御部≫
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、データ取得部１１１、特徴点抽出部１１２、検出部１１３、分類部１１４、および測定部１１５が備わる。
データ取得部１１１は、カメラ４１０の撮影画像やレーダー４２０の観測結果を取得し、タイムスタンプ（取得時刻）を付与して画像データベース１３０に格納する。
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、データ取得部１１１、特徴点抽出部１１２、検出部１１３、分類部１１４、および測定部１１５が備わる。
データ取得部１１１は、カメラ４１０の撮影画像やレーダー４２０の観測結果を取得し、タイムスタンプ（取得時刻）を付与して画像データベース１３０に格納する。
【0017】
図２は、第１実施形態に係る特徴点抽出部１１２、および検出部１１３の処理を説明するための図である。
特徴点抽出部１１２は、連続するカメラ４１０の撮影画像３１１，３１２の差分を取得して差分画像３２０を生成する。特徴点抽出部１１２は、差分画像３２０からノイズを除去してもよい。続いて特徴点抽出部１１２は、差分画像３２０に含まれる特徴点を抽出する。差分画像３３０では、抽出された特徴点が点線の矩形３３１で示されている。なお、差分画像３３０の飛行体は３つであるが、図２の例では１つの飛行体について符号「３１１」を記載して特徴点を示している。矩形３３１は、プロペラ部分の２つの特徴点、および脚部分の２つ特徴点を示している。
特徴点抽出部１１２は、連続するカメラ４１０の撮影画像３１１，３１２の差分を取得して差分画像３２０を生成する。特徴点抽出部１１２は、差分画像３２０からノイズを除去してもよい。続いて特徴点抽出部１１２は、差分画像３２０に含まれる特徴点を抽出する。差分画像３３０では、抽出された特徴点が点線の矩形３３１で示されている。なお、差分画像３３０の飛行体は３つであるが、図２の例では１つの飛行体について符号「３１１」を記載して特徴点を示している。矩形３３１は、プロペラ部分の２つの特徴点、および脚部分の２つ特徴点を示している。
【0018】
特徴点の抽出手法としては、例えば画素（ピクセル）とその近隣画素との輝度の勾配に着目して特徴点を抽出する手法の他に、ＯＲＢ（Oriented FAST and Rotated BRIEF）やＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）など従来技術を用いてもよく、特に限定はしない。
【0019】
検出部１１３は、抽出された特徴点について、特徴点間のユークリッド距離を距離として、クラスタリング処理を行い、特徴点をグループ化し、それぞれのグループ（クラスタ）がある領域を差分画像３４０における飛行体存在領域３４１として検出する。
【0020】
図１に戻って制御部１１０の説明を続ける。分類部１１４は、撮影画像３１１，３１２における飛行体存在領域３４１に対応する領域に写る飛行体の種類を、分類モデル１２１を用いて識別する（分類する）。種別としては、例えばドローンや電動垂直離着陸機の機種があるが、これに限らない。分類部１１４は、レーダー４２０の観測結果と組み合わせて、飛行体の大きさで分類してもよい。
【0021】
測定部１１５は、検出した飛行体の位置や移動速度を算出する。例えば測定部１１５は、レーダー４２０の観測結果を基に飛行体までの距離および向きを取得して飛行体の位置を算出し、位置の変化から（移動方向を含む）移動速度を算出する。測定部１１５は、カメラ４１０の撮影画像およびレーダー４２０の観測結果を組み合わせて、飛行体までの距離および向きを取得してもよい。
【0022】
以上に説明したように飛行体検出装置１００は、連続して空中を撮像した画像の差分となる差分画像の特徴点を抽出する特徴点抽出部１１２を備える。
飛行体検出装置１００は、抽出された特徴点のクラスタリング処理を行い、クラスタ（特徴点のグループ）が存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部１１３を備える。
また飛行体検出装置１００は、飛行体存在領域にある飛行体を分類する（飛行体の種別を特定する）分類部１１４を備える。
飛行体検出装置１００は、飛行体存在領域にある飛行体までの距離および向きを取得し、当該飛行体の位置および移動速度を算出する測定部１１５を備える。
飛行体検出装置１００は、抽出された特徴点のクラスタリング処理を行い、クラスタ（特徴点のグループ）が存在する領域を飛行体が存在する領域である飛行体存在領域と特定する検出部１１３を備える。
また飛行体検出装置１００は、飛行体存在領域にある飛行体を分類する（飛行体の種別を特定する）分類部１１４を備える。
飛行体検出装置１００は、飛行体存在領域にある飛行体までの距離および向きを取得し、当該飛行体の位置および移動速度を算出する測定部１１５を備える。
【0023】
≪飛行体検出処理≫
図３は、第１実施形態に係る飛行体検出処理のフローチャートである。飛行体検出処理は、撮影画像が取得されるたびに繰り返し実行される処理である。以下では飛行体検出処理の処理対象となる撮影画像を対象撮影画像と記す。
ステップＳ１１において特徴点抽出部１１２は、対象撮影画像と１つ前の撮影画像と差分を算出して差分画像を取得する。
図３は、第１実施形態に係る飛行体検出処理のフローチャートである。飛行体検出処理は、撮影画像が取得されるたびに繰り返し実行される処理である。以下では飛行体検出処理の処理対象となる撮影画像を対象撮影画像と記す。
ステップＳ１１において特徴点抽出部１１２は、対象撮影画像と１つ前の撮影画像と差分を算出して差分画像を取得する。
【0024】
ステップＳ１２において特徴点抽出部１１２は、差分画像の特徴点を抽出する。
ステップＳ１３において特徴点抽出部１１２は、特徴点がなければ（ステップＳ１３→ＮＯ）対象撮影画像に対する処理を終え、特徴点があれば（ステップＳ１３→ＹＥＳ）ステップＳ１４に進む。
ステップＳ１４において検出部１１３は、特徴点に対してクラスタリング処理を実行し、距離的に近い特徴点を１つのグループ（クラスタ）とする。
ステップＳ１３において特徴点抽出部１１２は、特徴点がなければ（ステップＳ１３→ＮＯ）対象撮影画像に対する処理を終え、特徴点があれば（ステップＳ１３→ＹＥＳ）ステップＳ１４に進む。
ステップＳ１４において検出部１１３は、特徴点に対してクラスタリング処理を実行し、距離的に近い特徴点を１つのグループ（クラスタ）とする。
【0025】
ステップＳ１５において検出部１１３は、クラスタごとにステップＳ１６～Ｓ１８を実行する。以下では繰り返し処理の処理対象となるクラスタを対象クラスタと記す。
ステップＳ１６において検出部１１３は、対象クラスタの特徴点が存在する領域を１つの飛行体存在領域とする。次に検出部１１３は、当該飛行体存在領域の座標を検出物データベース１４０に格納する。
ステップＳ１６において検出部１１３は、対象クラスタの特徴点が存在する領域を１つの飛行体存在領域とする。次に検出部１１３は、当該飛行体存在領域の座標を検出物データベース１４０に格納する。
【0026】
ステップＳ１７において分類部１１４は、対象撮影画像における飛行体存在領域に対応する領域に写る飛行体の種別を特定する。次に分類部１１４は、ステップＳ１６で格納した飛行体存在領域の座標に関連付けて、特定した飛行体の種別を検出物データベース１４０に格納する。
ステップＳ１８において測定部１１５は、検出した飛行体の位置や移動速度を算出する。次に測定部１１５は、ステップＳ１６で格納した飛行体存在領域の座標に関連付けて、算出した位置や移動速度を検出物データベース１４０に格納する。
ステップＳ１８において測定部１１５は、検出した飛行体の位置や移動速度を算出する。次に測定部１１５は、ステップＳ１６で格納した飛行体存在領域の座標に関連付けて、算出した位置や移動速度を検出物データベース１４０に格納する。
【0027】
≪飛行体検出装置の特徴≫
飛行体検出装置１００は、飛行体が飛行する空域を連続して撮影した撮影画像３１１，３１２（図２参照）の差分画像３２０から特徴点を抽出し、抽出した特徴点のクラスタが存在する領域を飛行体存在領域３４１として特定する。また飛行体検出装置１００は、撮影画像３１１，３１２の飛行体存在領域３４１に写る飛行体の種別を特定し、さらに位置や移動速度を算出する。このような飛行体検出装置１００によれば、様々な天気や気象においても高精度に飛行体が検出できるようになる。
飛行体検出装置１００は、飛行体が飛行する空域を連続して撮影した撮影画像３１１，３１２（図２参照）の差分画像３２０から特徴点を抽出し、抽出した特徴点のクラスタが存在する領域を飛行体存在領域３４１として特定する。また飛行体検出装置１００は、撮影画像３１１，３１２の飛行体存在領域３４１に写る飛行体の種別を特定し、さらに位置や移動速度を算出する。このような飛行体検出装置１００によれば、様々な天気や気象においても高精度に飛行体が検出できるようになる。
【0028】
≪変形例：特徴点マップ≫
検出部１１３は、差分画像上の特徴点をグループ化し、それぞれのグループ（クラスタ）がある領域を飛行体存在領域として検出している。検出部１１３がグループ（クラスタ）と判定する際に、特徴点マップを用いてもよい。特徴点マップは、飛行体の種別ごとに用意された当該種別の飛行体が写る撮影画像の領域の差分画像に含まれる特徴点の集合であり、各特徴点の領域における位置や特徴点の特徴量などを含む。特徴点マップは、１つとは限らず複数あってもよい。検出部１１３は、クラスタリング処理によって１つのグループと判定した後に、さらに何れかの特徴点マップに照合する場合に、飛行体存在領域と特定するようにしてもよい。
検出部１１３は、差分画像上の特徴点をグループ化し、それぞれのグループ（クラスタ）がある領域を飛行体存在領域として検出している。検出部１１３がグループ（クラスタ）と判定する際に、特徴点マップを用いてもよい。特徴点マップは、飛行体の種別ごとに用意された当該種別の飛行体が写る撮影画像の領域の差分画像に含まれる特徴点の集合であり、各特徴点の領域における位置や特徴点の特徴量などを含む。特徴点マップは、１つとは限らず複数あってもよい。検出部１１３は、クラスタリング処理によって１つのグループと判定した後に、さらに何れかの特徴点マップに照合する場合に、飛行体存在領域と特定するようにしてもよい。
【0029】
以上に説明したように検出部１１３は、登録済みの何れかの特徴点マップに類似する特徴点を含む領域を飛行体存在領域として検出する。特徴点マップは、特徴点の集合であり、差分画像の領域における特徴点の位置および特徴点の特徴量の何れかを含む。
【0030】
≪変形例：特徴点の限定≫
検出部１１３は、特徴点抽出部１１２が抽出した全ての特徴点に対してクラスタリング処理を行っているが、これに限らない。例えば検出部１１３は、特徴の度合いが高い特徴点に絞ってクラスタリング処理を行ってもよい。特徴の度合いが高いとは、例えば特徴点の特徴量の大きさが、所定値以上であることである。特徴量の例としては、画素とその近隣画素との輝度の勾配に着目して特徴点を抽出する手法における最大となる輝度勾配がある。なお検出部１１３が特徴点を絞るのではなく、特徴点抽出部１１２が特徴の度合いが高い特徴点を抽出するようにしてもよい。
検出部１１３は、特徴点抽出部１１２が抽出した全ての特徴点に対してクラスタリング処理を行っているが、これに限らない。例えば検出部１１３は、特徴の度合いが高い特徴点に絞ってクラスタリング処理を行ってもよい。特徴の度合いが高いとは、例えば特徴点の特徴量の大きさが、所定値以上であることである。特徴量の例としては、画素とその近隣画素との輝度の勾配に着目して特徴点を抽出する手法における最大となる輝度勾配がある。なお検出部１１３が特徴点を絞るのではなく、特徴点抽出部１１２が特徴の度合いが高い特徴点を抽出するようにしてもよい。
【0031】
検出部１１３は特徴の度合いが高い特徴点に絞ってクラスタリング処理を行う替わりに、予め登録されている特徴点の特徴量（特徴量記述）に近い特徴量の特徴点に絞ってクラスタリング処理を行ってもよい。予め登録されている特徴点とは、飛行体の種別ごとに用意された当該飛行体が写る撮影画像を基に抽出された特徴点であり、複数でもよい。検出部１１３は、差分画像から抽出した特徴点のなかで、登録済みの何れかの特徴点の特徴量との差が所定値以下である特徴量を備える特徴点を選択して、選択した特徴点に対してクラスタリング処理を行う。なお検出部１１３が特徴点を絞るのではなく、特徴点抽出部１１２が登録済みの何れかの特徴点の特徴量との差が所定値以下である特徴量を抽出するようにしてもよい。
【0032】
以上に説明したように特徴点抽出部１１２は、特徴の度合いが高い特徴点を抽出する。
また特徴点抽出部１１２は、登録済みの何れかの特徴点の特徴量（特徴量記述）に類似する特徴量の特徴点を抽出する。
また特徴点抽出部１１２は、登録済みの何れかの特徴点の特徴量（特徴量記述）に類似する特徴量の特徴点を抽出する。
【0033】
≪変形例：クラスタリング処理≫
検出部１１３は、ユークリッド距離を用いて差分画像の特徴点のクラスタを求めている。検出部１１３は、差分画像上の距離の他にレーダー４２０の観測結果に含まれる特徴点近傍にある物体（飛行体の候補）までの距離を考慮して、クラスタリング処理に用いる距離を算出してもよい。差分画像上の２点間の距離が同じでも、物体までの距離によって３次元空間（空中）での距離は異なる。このため検出部１１３は、物体までの距離を基に差分画像上の２点間の距離を３次元空間での距離に変換して、クラスタリング処理を実行するようにしてもよい。
検出部１１３は、ユークリッド距離を用いて差分画像の特徴点のクラスタを求めている。検出部１１３は、差分画像上の距離の他にレーダー４２０の観測結果に含まれる特徴点近傍にある物体（飛行体の候補）までの距離を考慮して、クラスタリング処理に用いる距離を算出してもよい。差分画像上の２点間の距離が同じでも、物体までの距離によって３次元空間（空中）での距離は異なる。このため検出部１１３は、物体までの距離を基に差分画像上の２点間の距離を３次元空間での距離に変換して、クラスタリング処理を実行するようにしてもよい。
【0034】
≪第２実施形態≫
第１実施形態において用いた飛行体の検出手法と所定の物体検出手法とを組み合わせて飛行体を検出するようにしてもよい。図４は、第２実施形態に係る飛行体検出装置１００Ａの機能ブロック図である。第１実施形態の飛行体検出装置１００（図１参照）と比較して制御部１１０には物体検出部１１６、および比較部１１７がさらに備わる。
第１実施形態において用いた飛行体の検出手法と所定の物体検出手法とを組み合わせて飛行体を検出するようにしてもよい。図４は、第２実施形態に係る飛行体検出装置１００Ａの機能ブロック図である。第１実施形態の飛行体検出装置１００（図１参照）と比較して制御部１１０には物体検出部１１６、および比較部１１７がさらに備わる。
【0035】
物体検出部１１６は、所定の物体検出手法として従来手法を用いて撮影画像のなかで飛行体が写っている領域を特定することで飛行体を検出する。物体検出部１１６は所定の物体検出手法として、例えば背景差分の手法を用いて飛行体（物体）を検出してもよいが他の手法であってもよく、処理が軽い手法が望ましい。
【0036】
比較部１１７は、検出部１１３および物体検出部１１６の検出結果を比較する。比較部１１７の処理内容は、後記する図５を参照して説明する。
図５は、第２実施形態に係る比較処理のフローチャートである。比較処理は、例えば飛行体検出処理（図３参照）に続けて実行される。
ステップＳ２１において比較部１１７は、物体検出部１１６が検出した領域と検出部１１３が検出した領域（飛行体存在領域）とを比較する。
図５は、第２実施形態に係る比較処理のフローチャートである。比較処理は、例えば飛行体検出処理（図３参照）に続けて実行される。
ステップＳ２１において比較部１１７は、物体検出部１１６が検出した領域と検出部１１３が検出した領域（飛行体存在領域）とを比較する。
【0037】
ステップＳ２２において比較部１１７は、ステップＳ２１で比較した結果、領域が一致（対応する領域が存在）すれば（ステップＳ２２→ＹＥＳ）検出物データベース１４０に格納された検出部１１３が特定した飛行体存在領域、および分類部１１４が特定した飛行体の種別をそのまま（更新しないまま）にして比較処理を終了する。不一致ならば（ステップＳ２２→ＮＯ）比較部１１７は、ステップＳ２３に進む。
【0038】
ステップＳ２３において比較部１１７は、一致しない領域ごとにステップＳ２４～Ｓ２６を繰り返す。以下、この繰り返し処理の対象となる領域を対象領域と記す。
ステップＳ２４において比較部１１７は、対象領域が検出部１１３によって検出された領域であれば（ステップＳ２４→ＹＥＳ）ステップＳ２５に進み、物体検出部１１６によって検出された領域であれば（ステップＳ２４→ＮＯ）ステップＳ２６に進む。
ステップＳ２４において比較部１１７は、対象領域が検出部１１３によって検出された領域であれば（ステップＳ２４→ＹＥＳ）ステップＳ２５に進み、物体検出部１１６によって検出された領域であれば（ステップＳ２４→ＮＯ）ステップＳ２６に進む。
【0039】
ステップＳ２５において比較部１１７は、検出物データベース１４０に格納された対象領域に係る分類部１１４が特定した飛行体の種別（図３記載のステップＳ１７参照）を、不明に更新する。
ステップＳ２６において比較部１１７は、対象領域は物体検出部１１６の誤検出の結果であるとし、検出物データベース１４０を更新しない。
ステップＳ２６において比較部１１７は、対象領域は物体検出部１１６の誤検出の結果であるとし、検出物データベース１４０を更新しない。
【0040】
以上に説明したように飛行体検出装置１００Ａは、所定の物体検出手法を用いて画像に写っている物体の領域を特定する物体検出部１１６を備える。
また飛行体検出装置１００Ａは、検出部１１３が特定した飛行体存在領域を物体検出部１１６が物体の領域と特定しない場合に、当該飛行体存在領域にある飛行体の分類部１１４の分類結果を不明とする比較部１１７を備える。
また飛行体検出装置１００Ａは、検出部１１３が特定した飛行体存在領域を物体検出部１１６が物体の領域と特定しない場合に、当該飛行体存在領域にある飛行体の分類部１１４の分類結果を不明とする比較部１１７を備える。
【0041】
≪第２実施形態の特徴≫
飛行体検出装置１００Ａは、検出部１１３が検出した領域（飛行体存在領域）が従来手法で検出されない場合には、分類部１１４が特定した飛行体の種別を不明にする。従来手法と組み合わせることで、誤った分類を抑制することができるようになる。
飛行体検出装置１００Ａは、検出部１１３が検出した領域（飛行体存在領域）が従来手法で検出されない場合には、分類部１１４が特定した飛行体の種別を不明にする。従来手法と組み合わせることで、誤った分類を抑制することができるようになる。
【0042】
≪変形例：飛行体の位置≫
上記した実施形態において測定部１１５は、カメラ４１０の撮影画像とレーダー４２０の観測結果とを用いて飛行体の位置を算出し、さらに速度を算出している。測定部１１５は、他のセンサの観測結果を用いてもよい。測定部１１５は、レーダー４２０の替わりにＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）やステレオカメラの観測結果を用いてもよい。また測定部１１５は、飛行体から受信する信号の強度を用いて、飛行体までの距離を推定してもよい。他にも測定部１１５は、飛行体が測定した自己位置を受信して、この自己位置を飛行体の位置としてもよい。
上記した実施形態において測定部１１５は、カメラ４１０の撮影画像とレーダー４２０の観測結果とを用いて飛行体の位置を算出し、さらに速度を算出している。測定部１１５は、他のセンサの観測結果を用いてもよい。測定部１１５は、レーダー４２０の替わりにＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）やステレオカメラの観測結果を用いてもよい。また測定部１１５は、飛行体から受信する信号の強度を用いて、飛行体までの距離を推定してもよい。他にも測定部１１５は、飛行体が測定した自己位置を受信して、この自己位置を飛行体の位置としてもよい。
【0043】
≪その他の変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0044】
１００，１００Ａ 飛行体検出装置
１１１ データ取得部
１１２ 特徴点抽出部
１１３ 検出部
１１４ 分類部
１１５ 測定部
１１６ 物体検出部
１１７ 比較部
１３０ 画像データベース
１４０ 検出物データベース
３１１，３１２ 撮影画像
３２０ 差分画像
３３１ 矩形（特徴点）
３４１ 飛行体存在領域
１１１ データ取得部
１１２ 特徴点抽出部
１１３ 検出部
１１４ 分類部
１１５ 測定部
１１６ 物体検出部
１１７ 比較部
１３０ 画像データベース
１４０ 検出物データベース
３１１，３１２ 撮影画像
３２０ 差分画像
３３１ 矩形（特徴点）
３４１ 飛行体存在領域
【図1】
【図2】
【図3】
【図4】
【図5】