特許第6385859号(P6385859)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱重工業株式会社の特許一覧

特許6385859飛しょう体誘導システム、飛しょう体、飛しょう体の誘導方法、及び誘導制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6385859
(24)【登録日】2018年8月17日
(45)【発行日】2018年9月5日
(54)【発明の名称】飛しょう体誘導システム、飛しょう体、飛しょう体の誘導方法、及び誘導制御プログラム
(51)【国際特許分類】
   F41G 7/22 20060101AFI20180827BHJP
【FI】
   F41G7/22
【請求項の数】21
【全頁数】38
(21)【出願番号】特願2015-39323(P2015-39323)
(22)【出願日】2015年2月27日
(65)【公開番号】特開2016-161194(P2016-161194A)
(43)【公開日】2016年9月5日
【審査請求日】2017年8月29日
(73)【特許権者】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】100205350
【弁理士】
【氏名又は名称】狩野 芳正
(74)【代理人】
【識別番号】100102864
【弁理士】
【氏名又は名称】工藤 実
(74)【代理人】
【識別番号】100117617
【弁理士】
【氏名又は名称】中尾 圭策
(72)【発明者】
【氏名】小向井 淳
【審査官】 伊藤 秀行
(56)【参考文献】
【文献】 韓国公開特許第10−2014−0112588(KR,A)
【文献】 特開平09−170898(JP,A)
【文献】 特開平07−209401(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
F41G 7/20
G05D 1/12
G01S 3/78
(57)【特許請求の範囲】
【請求項1】
飛しょう体と
指令装置と、
を具備し、
前記飛しょう体は、
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを前記指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して前記飛しょう体の画像誘導を行う誘導制御部と
を具備し、
前記指令装置は、
前記取得画像に、前記目標識別情報に基づいて生成された目標識別表示が付加された画像を目標抽出画像として表示する表示装置と、
ユーザによる操作に応じて、前記目標抽出画像内の目標を前記飛しょう体のロックオン対象として指定する指定信号を出力するユーザインタフェースと、
前記指定信号に基づいて、前記取得画像においてロックオン対象となる画像内目標を指定する前記設定情報を前記飛しょう体に送信する飛しょう体制御装置と
を備え
前記画像解析部によって抽出された前記ロックオン候補が複数の画像内目標候補を含む場合、前記誘導制御部は、前記設定情報の受付前に、前記複数の画像内目標候補の重心点をロックオン対象として設定して前記飛しょう体の画像誘導を行い、画像誘導の実行中に前記設定情報を受け付けた場合、前記設定情報に基づいて指定された画像内目標候補を前記飛しょう体のロックオン対象に設定し、前記ロックオン対象に対して前記飛しょう体の画像誘導を行う
飛しょう体誘導システム。
【請求項2】
飛しょう体と
指令装置と、
を具備し、
前記飛しょう体は、
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを前記指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して前記飛しょう体の画像誘導を行う誘導制御部と
を具備し、
前記指令装置は、
前記取得画像に、前記目標識別情報に基づいて生成された目標識別表示が付加された画像を目標抽出画像として表示する表示装置と、
ユーザによる操作に応じて、前記目標抽出画像内の目標を前記飛しょう体のロックオン対象として指定する指定信号を出力するユーザインタフェースと、
前記指定信号に基づいて、前記取得画像においてロックオン対象となる画像内目標を指定する前記設定情報を前記飛しょう体に送信する飛しょう体制御装置と
を備え、
前記誘導制御部は、
所定の条件に応じて前記設定情報の受付を禁止する設定不能状態に設定され、
前記設定不能状態に設定される前に前記設定情報を受け付けない場合、前記ロックオン候補を前記ロックオン対象として設定し、前記ロックオン対象に対して前記飛しょう体の画像誘導を行う
飛しょう体誘導システム。
【請求項3】
請求項に記載の飛しょう体誘導システムにおいて、
前記所定の条件は、前記飛しょう体の目標変更が困難となる目標変更限界距離を含み、
前記誘導制御部は、前記飛しょう体と目標との距離が、予め設定された前記目標変更限界距離に至ると前記設定不能状態に設定される
飛しょう体誘導システム。
【請求項4】
請求項に記載の飛しょう体誘導システムにおいて、
前記所定の条件は、飛しょう体の目標変更が困難となる目標変更限界角を含み、
前記誘導制御部は、前記飛しょう体の目標に対する進入角度が、予め設定された前記目標変更限界角に至ると前記設定不能状態に設定される
飛しょう体誘導システム。
【請求項5】
飛しょう体と
指令装置と、
を具備し、
前記飛しょう体は、
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを前記指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して前記飛しょう体の画像誘導を行う誘導制御部と
を具備し、
前記指令装置は、
前記取得画像に、前記目標識別情報に基づいて生成された目標識別表示が付加された画像を目標抽出画像として表示する表示装置と、
ユーザによる操作に応じて、前記目標抽出画像内の目標を前記飛しょう体のロックオン対象として指定する指定信号を出力するユーザインタフェースと、
前記指定信号に基づいて、前記取得画像においてロックオン対象となる画像内目標を指定する前記設定情報を前記飛しょう体に送信する飛しょう体制御装置と
を備え、
前記ユーザインタフェースは、ユーザによる第3操作に応じて、目標変更信号を出力し、
前記飛しょう体制御装置は、前記目標変更信号に応じて新たな目標座標を指定する目標設定情報を前記飛しょう体に送信し、
前記誘導制御部は、受信した前記目標設定情報を受け付けた場合、前記目標設定情報に基づいて指定された前記目標座標に前記飛しょう体を慣性誘導する
飛しょう体誘導システム。
【請求項6】
請求項に記載の飛しょう体誘導システムにおいて、
前記指令装置は、
前記飛しょう体に対して複数の目標候補が対応付られて記録された目標テーブルを備え、
前記飛しょう体制御装置は、前記目標テーブルを参照して、前記飛しょう体に対応する前記複数の目標候補から、前記目標変更信号に応じた目標候補の座標を選択し、前記飛しょう体の新たな目標座標として指定する
飛しょう体誘導システム。
【請求項7】
請求項に記載の飛しょう体誘導システムにおいて、
前記複数の目標候補のそれぞれには優先度が割り当てられ、
前記飛しょう体制御装置は、前記目標テーブルを参照し、前記複数の目標候補から、現在の目標と異なる目標候補において優先度が最上位の目標候補の座標を選択し、前記新たな目標座標として指定する
飛しょう体誘導システム。
【請求項8】
請求項に記載の飛しょう体誘導システムにおいて、
前記複数の目標候補のそれぞれには優先度が割り当てられ、
前記表示装置は、前記複数の目標候補を優先度に応じた順に表示する
飛しょう体誘導システム。
【請求項9】
請求項6から8のいずれか1項に記載の飛しょう体誘導システムにおいて、
前記飛しょう体制御装置は、他の飛しょう体が到達した目標と同一の目標候補を、前記目標テーブルから指定不能に制御する
飛しょう体誘導システム。
【請求項10】
請求項に記載の飛しょう体誘導システムにおいて、
前記飛しょう体制御装置は、他の飛しょう体が到達した目標と同一の目標候補を、到達済みに設定し、前記飛しょう体の目標として指定不能に設定する
飛しょう体誘導システム。
【請求項11】
請求項に記載の飛しょう体誘導システムにおいて、
前記複数の目標候補のそれぞれには優先度が割り当てられ、
前記飛しょう体制御装置は、他の飛しょう体が到達した目標と同一の目標候補の優先度を、最低値に設定し、前記飛しょう体の目標として指定不能に設定する
飛しょう体誘導システム。
【請求項12】
飛しょう体と
指令装置と、
を具備し、
前記飛しょう体は、
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを前記指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して前記飛しょう体の画像誘導を行う誘導制御部と
を具備し、
前記指令装置は、
前記取得画像に、前記目標識別情報に基づいて生成された目標識別表示が付加された画像を目標抽出画像として表示する表示装置と、
ユーザによる操作に応じて、前記目標抽出画像内の目標を前記飛しょう体のロックオン対象として指定する指定信号を出力するユーザインタフェースと、
前記指定信号に基づいて、前記取得画像においてロックオン対象となる画像内目標を指定する前記設定情報を前記飛しょう体に送信する飛しょう体制御装置と
を備え、
前記送信部は、前記飛しょう体が目標に到達するまで、前記取得画像を前記指令装置に送信し、
前記表示装置は、前記飛しょう体から送信される前記取得画像を表示する
飛しょう体誘導システム。
【請求項13】
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいてロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行う誘導制御部と
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、指定された前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記画像解析部によって抽出された前記ロックオン候補が複数の画像内目標候補を含む場合、前記誘導制御部は、前記設定情報の受付前に、前記複数の画像内目標候補の重心点をロックオン対象として設定して画像誘導を行い、画像誘導の実行中に前記設定情報を受け付けた場合、前記設定情報に基づいて指定された画像内目標候補をロックオン対象に設定し、前記ロックオン対象に対して画像誘導を行う
飛しょう体。
【請求項14】
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいてロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行う誘導制御部と
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、指定された前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記誘導制御部は、
所定の条件に応じて前記設定情報の受付を禁止する設定不能状態に設定され、
前記設定不能状態に設定される前に前記設定情報を受け付けない場合、前記ロックオン候補を前記ロックオン対象として設定し、前記ロックオン対象に対して画像誘導を行う
飛しょう体。
【請求項15】
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいてロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行う誘導制御部と
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、指定された前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記受信部は、前記指令装置から新たな目標座標を指定する目標設定情報を受信し、
前記誘導制御部は、前記目標設定情報を受信した場合、前記目標設定情報に基づいて指定された前記目標座標に慣性誘導する
飛しょう体。
【請求項16】
画像を撮像し、取得画像として出力する画像センサと、
前記取得画像からロックオン候補を抽出する画像解析部と、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報と、前記取得画像とを指令装置に送信する送信部と、
前記指令装置からの設定情報を受信する受信部と、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいてロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行う誘導制御部と
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、指定された前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記送信部は、前記飛しょう体が目標に到達するまで、前記取得画像を前記指令装置に送信する
飛しょう体。
【請求項17】
画像を撮像し、取得画像として出力するステップと、
前記取得画像内からロックオン候補を抽出するステップと、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報を生成するステップと、
前記目標識別情報と、前記取得画像とを指令装置に送信するステップと、
前記指令装置からの設定情報を受信するステップと、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行うステップと
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記設定情報を受け付ける前に、画像誘導を行うステップは、
前記抽出された前記ロックオン候補が複数の画像内目標候補を含む場合、前記複数の画像内目標候補の重心点をロックオン対象として設定して前記飛しょう体の画像誘導を行うステップを備える
飛しょう体の誘導方法。
【請求項18】
画像を撮像し、取得画像として出力するステップと、
前記取得画像内からロックオン候補を抽出するステップと、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報を生成するステップと、
前記目標識別情報と、前記取得画像とを指令装置に送信するステップと、
前記指令装置からの設定情報を受信するステップと、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行うステップと
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、前記取得画像内の目標をロックオン対象として指定する情報を含み、
所定の条件に応じて前記設定情報の受付を禁止する設定不能状態に設定するステップと、
前記設定不能状態に設定される前に前記設定情報を受け付けない場合、前記ロックオン候補を前記ロックオン対象として設定し、前記ロックオン対象に対して画像誘導を行うステップと
を更に具備する
飛しょう体の誘導方法。
【請求項19】
画像を撮像し、取得画像として出力するステップと、
前記取得画像内からロックオン候補を抽出するステップと、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報を生成するステップと、
前記目標識別情報と、前記取得画像とを指令装置に送信するステップと、
前記指令装置からの設定情報を受信するステップと、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行うステップと
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記指令装置から新たな目標座標を指定する目標設定情報を受信するステップと、
前記目標設定情報を受信した場合、前記目標設定情報に基づいて指定された前記目標座標に慣性誘導するステップを更に具備する
飛しょう体の誘導方法。
【請求項20】
画像を撮像し、取得画像として出力するステップと、
前記取得画像内からロックオン候補を抽出するステップと、
前記取得画像上において前記ロックオン候補を識別するための目標識別情報を生成するステップと、
前記目標識別情報と、前記取得画像とを指令装置に送信するステップと、
前記指令装置からの設定情報を受信するステップと、
受信した前記設定情報を受け付けた場合、前記設定情報に基づいて前記飛しょう体のロックオン対象を設定し、前記ロックオン対象に対して画像誘導を行うステップと
を具備し、
前記指令装置において、前記取得画像内の目標が前記飛しょう体のロックオン対象として指定された場合、前記設定情報は、前記取得画像内の目標をロックオン対象として指定する情報を含み、
前記飛しょう体が目標に到達するまで、前記取得画像を前記指令装置に送信するステップを更に具備する
飛しょう体の誘導方法。
【請求項21】
請求項17から20のいずれか1項に記載の飛しょう体の誘導方法を演算処理装置に実行させるための誘導制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飛しょう体誘導システム、飛しょう体、飛しょう体の誘導方法、及び誘導制御プログラムに関し、特に、飛しょう体の画像誘導技術に関する。
【背景技術】
【0002】
飛しょう体を目標に誘導する方法として、画像誘導が知られている。画像誘導では、可視光又は赤外光で撮像された画像内から目標を抽出し、当該目標に向けて飛しょう体を誘導する。
【0003】
画像誘導を行う誘導装置が、例えば特開平9−170898に記載されている(特許文献1参照)。特許文献1に記載の誘導装置では、母機赤外線撮像装置の撮像画像と飛しょう体の撮像画像をマッチングさせることにより、予めパイロットが選択した目標を飛しょう体の撮像画像の中から探し出す。飛しょう体は、自らの撮像画像から探し出した目標に対して追尾処理を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−170898
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の誘導装置は、目標抽出のため、母機による撮像画像と飛しょう体による撮像画像とを照合する。この際、画像変換器によって、飛しょう体の画像取得時における目標との相対距離・角度の差異、及び母機と飛しょう体との画角の差異が計算され、飛しょう体の撮像画像が変換される。又、照合処理では、母機による撮像画像から取得した目標領域の特徴量と、飛しょう体の撮像画像(変換画像)における特徴量との比較により、飛しょう体の撮像画像から目標が抽出される。
【0006】
特許文献1の誘導装置では、予め目標を指定した母機による撮像画像を利用して、飛しょう体によって撮像された画像から目標が自動抽出される。これにより、地上のような複雑な背景下においても目標の抽出識別が可能なばかりでなく、多数存在する類似目標群の中から母機パイロットまたは射手の選択した目標に自動追尾することが可能になる。
【0007】
しかし、目標抽出のための照合処理に利用される変換画像や目標領域の特徴量が、飛しょう体による撮像画像やそこから取得される特徴量と大きく異なる場合、目標の抽出精度が低くなる恐れがある。例えば、天候により撮像画像の輝度が低くなる場合や、画像の変換精度が低い場合は、母機の撮像画像と変換画像とが精度よくマッチングしないこと恐れがある。このような場合、飛しょう体は、所望の目標と異なる目標を追尾してしまう。
【0008】
従って、本発明の目的は、飛しょう体の誘導精度を向上させる飛しょう体誘導システム、飛しょう体、飛しょう体の誘導方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明は、以下に述べられる手段を採用する。その手段を構成する技術的事項の記述には、[特許請求の範囲]の記載と[発明を実施するための形態]の記載との対応関係を明らかにするために、[発明を実施するための形態]で使用される番号・符号が付加されている。ただし、付加された番号・符号は、[特許請求の範囲]に記載されている発明の技術的範囲を限定的に解釈するために用いてはならない。
【0010】
一の観点において、本発明による飛しょう体誘導システムは、飛しょう体(1)及び指令装置(2)を具備する。飛しょう体(1)は、画像センサ(11)、画像解析部(12)、送信部(151)、受信部(152)、及び誘導制御部(13)を備える。画像センサ(11)は、画像(110)を撮像し取得画像(110)として出力する。画像解析部(12)は、画像センサ(11)による取得画像(110)からロックオン候補(100)を抽出する。送信部(151)は、取得画像(110)上においてロックオン候補(100)を識別するための目標識別情報(200)と、取得画像(110)とを指令装置(2)に送信する。受信部(152)は、指令装置(2)からの設定情報を受信する。誘導制御部(13)は、受信した設定情報を受け付けた場合、設定情報に基づいて飛しょう体(1)のロックオン対象(400)を設定し、ロックオン対象(400)に対して飛しょう体(1)の画像誘導を行う。指令装置(2)は、表示装置(22)、ユーザインタフェース(23)、及び飛しょう体制御装置21を備える。表示装置(22)は、取得画像(110)に、目標識別情報(200)に基づいて生成された目標識別表示(220)が付加された画像を目標抽出画像(6)として表示する。ユーザインタフェース(23)は、ユーザによる操作に応じて、目標抽出画像(6)内の目標を飛しょう体(1)のロックオン対象(400)として指定する指定信号を出力する。飛しょう体制御装置(21)は、指定信号に基づいて、取得画像(110)においてロックオン対象(400)となる画像内目標を指定する設定情報を飛しょう体(1)に送信する。
【0011】
以上のような構成により、指令装置1を利用するユーザは、画像誘導の目標候補として抽出されたロックオン候補(100)を、表示装置(22)にて確認でき、ユーザインタフェース(23)を操作することで、飛しょう体(1)のロックオン対象(400)を設定できる。
【0012】
他の観点において、本発明による飛しょう体(1)は、画像センサ(11)、画像解析部(12)、送信部(151)、受信部(152)、及び誘導制御部(13)を備える。画像センサ(11)は、画像を撮像し、取得画像(110)として出力する。画像解析部(12)は、画像センサ(11)による取得画像(110)からロックオン候補(100)を抽出する。送信部(151)は、取得画像(110)上においてロックオン候補(100)を識別するための目標識別情報(200)と、取得画像(110)とを指令装置(2)に送信する。受信部(152)は、指令装置(2)からの設定情報を受信する。誘導制御部(13)は、受信した設定情報を受け付けた場合、設定情報に基づいてロックオン対象(400)を設定し、ロックオン対象(400)に対して画像誘導を行う。ここで、指令装置(2)において、取得画像(110)内の目標が飛しょう体(1)のロックオン対象(400)として指定された場合、前記設定情報は、取得画像(110)内の目標をロックオン対象(400)として指定する情報を含む。
【0013】
以上のような構成により、本発明による飛しょう体(1)は、ロックオン候補(100)を抽出し、これを指令装置(2)に表示させるとともに、指令装置(2)からの設定情報に基づいてロックオン対象(400)が設定され得る。これにより、指令装置(2)のユーザは、飛しょう体(1)が抽出したロックオン候補(100)を確認できるとともに、飛しょう体(1)のロックオン対象(400)を設定できる。
【0014】
更に他の観点において、本発明による飛しょう体の誘導方法は、画像を取得し、取得画像(110)として出力するステップと、取得画像(110)からロックオン候補(100)を抽出するステップと、取得画像(110)上においてロックオン候補(100)を識別するための目標識別情報(200)と、取得画像(110)とを指令装置(2)に送信するステップと、指令装置(2)からの設定情報を受信するステップと、受信した設定情報を受け付けた場合、設定情報に基づいて飛しょう体(1)のロックオン対象(400)を設定し、ロックオン対象(400)に対して画像誘導を行うステップとを具備する。指令装置(2)において、取得画像(100)内の目標が飛しょう体(1)のロックオン対象(400)として指定された場合、設定情報は、取得画像(110)内の目標をロックオン対象(400)として指定する情報を含む。
【0015】
以上のような方法により、本発明による飛しょう体(1)は、ロックオン候補(100)を抽出し、これを指令装置(2)に表示させるとともに、指令装置(2)からの設定情報に基づいてロックオン対象(400)が設定され得る。これにより、指令装置(2)のユーザは、飛しょう体(1)が抽出したロックオン候補(100)を確認できるとともに、飛しょう体(1)のロックオン対象(400)を設定できる。
【0016】
本発明による飛しょう体の誘導方法は、記憶装置に記録され、演算装置によって実行される誘導制御プログラムによって実現されることが好ましい。
【発明の効果】
【0017】
本発明によれば、飛しょう体の誘導精度を向上することが可能となる。
【図面の簡単な説明】
【0018】
図1図1は、本発明による飛しょう体誘導システムの構成の一例を示す図である。
図2図2は、本発明による飛しょう体の構成の一例を示す図である。
図3図3は、本発明による画像解析部の構成の一例を示す機能ブロック図である。
図4図4は、本発明に係るロックオン候補抽出動作の一例を示す概要図である。
図5図5は、本発明に係る画像補正動作の一例を示すフロー図である。
図6図6は、本発明に係る抽出用画像生成動作の一例を示すフロー図である。
図7図7は、本発明に係る目標抽出動作の一例を示す概念図である。
図8図8は、目標抽出後に、飛しょう体から指令装置に送信される取得画像及び目標識別情報によって表示される目標抽出画像の一例を示す図である。
図9A図9Aは、画像誘導中に、飛しょう体から指令装置に送信される取得画像及び目標識別情報の一例を示す図である。
図9B図9Bは、画像誘導中に、飛しょう体から指令装置に送信される取得画像及び目標識別情報の他の一例を示す図である。
図10図10は、目標到達時において指令装置に送信される取得画像の一例を示す図である。
図11図11は、本発明による指令装置の構成の一例を示す図である。
図12図12は、本発明による飛しょう体の状態変化の一例を示す図である。
図13図13は、本発明による飛しょう体の画像誘導動作の第1実施例を示すフロー図である。
図14図14は、本発明による飛しょう体の画像誘導動作の第1実施例の第1変形例を示すフロー図である。
図15図15は、本発明による飛しょう体の画像誘導動作の第1実施例の第2変形例を示すフロー図である。
図16図16は、目標に接近したときの目標抽出画像の一例を示す図である。
図17図17は、本発明による飛しょう体の画像誘導動作の第2実施例を示すフロー図である。
図18図18は、本発明に係る目標テーブルの構造の一例を示す図である。
図19図19は、本発明による飛しょう体誘導システムの運用例を示す図である。
図20図20は、本発明に係る目標テーブルの構造の他の一例を示す図である。
図21図21は、本発明に係る目標テーブルの構造の更に他の一例を示す図である。
図22図22は、本発明に係る目標変更用画面の一例を示す図である。
図23図23は、本発明による飛しょう体の画像誘導動作の第2実施例の変形例を示すフロー図である。
図24図24は、本発明に係る表示装置に表示される目標抽出画像の一例を示す図である。
【発明を実施するための形態】
【0019】
(概要)
図1を参照して本発明による飛しょう体誘導システムの概要を説明する。本発明による飛しょう体誘導システムは、飛しょう体1、指令装置2、発射装置3を具備する。飛しょう体1は、目標4に向けた画像センサにより目標周辺の画像を取得するとともに取得画像からロックオン候補を抽出し、指令装置2に通知する。指令装置2は、飛しょう体1から通知された画像及び抽出されたロックオン候補を視認可能に表示する。ユーザは、指令装置2において表示された画面を参考に、飛しょう体1が抽出したロックオンを把握できる。又、ユーザは、指令装置2を操作することにより飛しょう体1のロックオン対象を設定する。例えば、飛しょう体1によって抽出されたロックオン候補をユーザが承認した場合、指令装置2は、当該ロックオン候補を、飛しょう体1のロックオン対象として設定する(ロックオン)。飛しょう体1は、設定されたロックオン対象に向かって画像誘導される。
【0020】
本発明によれば、ユーザは、飛しょう体1によって撮像された画像や、そこから抽出されたロックオン候補を確認することができる。又、ユーザによって飛しょう体1の画像誘導の目標(ロックオン対象)を設定できることから、飛しょう体1が目標の抽出に失敗しても、正しい目標に変更することが可能となる。更に、飛しょう体1によってロックオン候補を抽出しているため、ユーザは、ロックオン対象とする画像内目標を探索することなく、抽出されたロックオン候補をロックオン対象として承認することで、ロックオン対象の設定が可能となる。このため、ユーザが飛しょう体1による撮像画像を確認してからロックオン対象を設定するまでの時間が短い場合でも、容易にロックオン対象を設定することができる。
【0021】
以下、添付図面を参照しながら本発明の実施例を説明する。
【0022】
1.第1実施例
(システム構成)
図1を参照して、第1実施例における飛しょう体誘導システムの構成を説明する。第1実施例における飛しょう体誘導システムは、飛しょう体1、指令装置2、発射装置3、及び通信衛星5を具備する。
【0023】
飛しょう体1は、指令装置2からの制御により発射装置3から発射され、目標4に向かって自動航行する。飛しょう体1は、慣性誘導によって自動航行を行い、目標4の近傍において画像誘導に切り替えて目標4に到達する。飛しょう体1は、無人航空機(UAV:Unmanned Aerial Vehicle)、ミサイル、宇宙ロケット、宇宙機に例示される。尚、飛しょう体1が無人航空機である場合、発射装置3は省略され得る。
【0024】
飛しょう体1と指令装置2との間は、無線回線を介して通信接続される。図1に示す一例では、飛しょう体1と指令装置2とは、通信衛星5を介した無線回線によって接続される。例えば、目標4と指令装置2との距離が長大で、飛しょう体1と指令装置2との間の通信が地物の影響を受けやすい環境の場合、飛しょう体1と指令装置2との間の通信に衛星通信5を利用することは好適である。
【0025】
指令装置2と発射装置3とは無線又は有線の通信回線で接続される。発射装置3は、指令装置2から出力される発射指令に応じて飛しょう体1を発射する。図1に示す指令装置2は、地上に固定的に設置されているが、これに限らず、車両、舟艇、航空機、又は宇宙機等の移動体に設けられてもよい。又、発射装置3は、図1に示すように指令装置2と分離されて設けられてもよいし、指令装置2とともに同じ移動体に搭載されてもよい。
【0026】
図1に示す飛しょう体誘導システムには、一例として、飛しょう体1、指令装置2、発射装置3、及び通信衛星5のそれぞれが1台設けられているが、それぞれの台数はこれに限らない。例えば、1台の指令装置2に複数の発射装置3が接続されてもよい。この場合、指令装置2によって、複数の発射装置3からの複数の飛しょう体1の発射が制御される。あるいは、飛しょう体1と指令装置2の間の通信は、複数の通信衛星5を介して行われてもよい。又、飛しょう体1と指令装置2の間の通信は、図示しない地上の中継装置を介して行われてもよい。
【0027】
目標4は、飛しょう体1の到達すべき移動体又は地物を示す。具体的には、目標4は、車両、舟艇、他の飛しょう体等に例示される移動体、あるいは河、山、岩等に例示される地形、あるいは道路、橋、空港、建築物に例示される建造物、あるいは、移動体や建造物における部材(例えば宇宙機のドッキング機構)を示す。
【0028】
(飛しょう体の構成)
図2及び図3を参照して、飛しょう体1の構成の詳細を説明する。図2は、第1実施例における飛しょう体1の構成の一例を示す図である。
【0029】
図2を参照して、飛しょう体1は、演算処理装置10、画像センサ11、飛しょう制御装置14、記憶装置16、及び通信装置15を備える。演算処理装置10は、CPUに例示され、記憶装置16に記録された誘導制御プログラム160を実行することで、画像解析部12及び誘導制御部13の機能を実現する。
【0030】
画像センサ11は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサに例示され、赤外光又は可視光による画像を電気変換し、取得画像110として画像解析部12に出力する。画像センサ11は、誘導制御部13からの制御信号に応じて目標方向の画像を撮像する。具体的には、誘導制御部13は、飛しょう体1と目標4との距離が所定の距離以内となると、飛しょう体1の位置座標(地図上の位置)、高度、姿勢、及び目標4の位置座標(地図上の座標)やその高度に基づいて、画像センサ11の撮像方向を目標4の方向に制御し、撮像を開始させる。画像センサ11は、撮像開始から連続的に、あるいは所定の間隔で目標4方向の画像を撮像する。
【0031】
飛しょう制御装置14は、ジェットエンジンやロケットモータに例示される推力制御装置と、操舵翼に例示される飛しょう制御翼を備え、誘導制御部13からの指令に基づき、飛しょう体1の速度、加速度、飛しょう方向、姿勢を制御する。
【0032】
通信装置15は、送信部151及び受信部152を備え、飛しょう体1と外部装置との通信を制御する。本一例では、通信装置15は、通信衛星5を介して指令装置2と演算処理装置10との通信を制御する。具体的には、送信部151は、画像解析部12によって解析された取得画像110や、取得画像110から抽出されたロックオン候補100を特定する目標識別情報200を、指令装置2に送信する。受信部152は、指令装置2から送信される設定情報を受信し、誘導制御部13に出力する。又、受信部152は、図示しないGPS(Global Positioning System)衛星からの電波を受信し、GPS信号として誘導制御部13に出力してもよい。
【0033】
一般的に衛星回線は通信容量が小さいため、通信装置15と指令装置2との間で送受信されるデータは、演算処理装置10によって容量低減のための処理がなされることが好ましい。例えば、取得画像110に例示される画像データは、所定のプロトコルに従った圧縮方式による画像圧縮や解像度低減等の処理がなされることが好ましい。
【0034】
記憶装置16は、半導体メモリに例示され、演算処理装置10による演算結果を記録する記憶領域を有する外部記憶装置である。又、記憶装置16には、誘導制御プログラム160、条件画像201及び目標位置情報202が予め記録される。
【0035】
条件画像201とは、予め撮像された目標4及びその周辺領域を含む画像である。例えば、図示しない航空機や衛星を利用して目標4の上方から撮像した画像が、条件画像201として記憶装置16に予め記録される。又、条件画像201には、条件画像201に含まれる目標4や目標周辺の特徴的な地物を特定する情報を含む。この情報は、例えば、目標4や特徴地物のそれぞれの識別子及び条件画像201上における位置座標を含む。特徴地物とは、画像センサ11によって撮像される画像上において、周辺の地物や背景ノイズによって埋もれることなく強調表示されやすい地物を示す。例えば、道路の交差点、河の合流点、橋梁や空港等の大きな建造物のように、植生や周囲の地物から分離して検出され得る地物が特徴地物として設定される。
【0036】
目標位置情報202は、発射装置3から目標4までの飛しょう経路やその周辺の地形図(地図情報)、目標4の地理座標系による位置座標や高さに関する情報を含む。
【0037】
画像解析部12は、条件画像201を利用して取得画像110を解析し、画像誘導の目標候補となるロックオン候補100を抽出する。ここでロックオン候補100とは、指令装置2を操作するユーザによって承認を受けていない画像上の目標(画像内目標とも称す)を示す。本実施例におけるロックオン候補100は、ユーザによって承認されることにより、画像誘導の目標となるロックオン対象400に設定される。
【0038】
本発明による画像解析部12は、予め撮像された条件画像201と、画像センサ11による取得画像110を用いて、取得画像110上の目標候補(画像内目標候補とも称す)をロックオン候補100として抽出する。この際、本一例による画像解析部12は、条件画像201から、遺伝的アルゴリズムを利用して目標抽出に最適な抽出用画像204を生成する。画像解析部12は、抽出用画像204における目標と後述する特徴地物のとの位置関係を取得画像110に適用することにより、取得画像110上のロックオン候補100を特定する。
【0039】
誘導制御部13は、飛しょう制御装置14の操舵、推力を制御して、飛しょう体1の速度、加速度、向き、姿勢を決定する。この際、誘導制御部13は、飛しょう体1の現在位置や、予め決められた飛しょう経路に基づいて、飛しょう体1の速度、加速度、向き、姿勢を決定する。又、誘導制御部13は、飛しょう体1の位置、姿勢、飛しょう経路、及び目標4の位置等に基づいて、画像センサ11の撮像方向や撮像時期を決定する。ここで、誘導制御部13は、飛しょう体1の図示しないセンサによって計測される速度、高度、飛しょう時間、及びGPS信号等に基づいて飛しょう体1の現在位置を把握することが好ましい。
【0040】
誘導制御部13は、所定の位置まで慣性航法により飛しょう1を誘導し、所定の位置において画像誘導に切り替える。慣性誘導(中間誘導)から画像誘導(終末誘導)への切り替え時期は、所定の位置への到達有無に応じて決められてもよいし、発射からの飛行時間に基づいて決められてもよい。ここで、所定の位置への到達有無は、飛しょう体1と目標4との間の距離や、飛しょう体1の速度、高度、姿勢に基づいて計算されることが好ましい。
【0041】
慣性誘導の際、誘導制御部13は、目標4の位置A(X、Y、Z)(地理系座標及び高度)、予定された飛しょう経路、及び飛しょう体1の現在位置に基づいて、飛しょう制御装置14を制御し、飛しょう体1を目標4に誘導する。
【0042】
画像誘導の際、誘導制御部13は、取得画像110上においてロックオン対象400として設定された画像内目標に対して飛しょう体1が指向するように、飛しょう制御装置14を制御する。ロックオン対象400の設定(ロックオンとも称す)及び画像誘導の詳細については後述する。
【0043】
(画像解析部12の構成及び動作の詳細)
図3から図8を参照して、画像解析部12の構成及び動作の詳細を説明する。図3は、本発明による画像解析部12の構成及び動作の一例を示す機能ブロック図である。図4は、本発明に係るロックオン候補抽出動作の一例を示す概要図である。図3を参照して、画像解析部12は、画像補正部121、抽出用画像生成部122、目標抽出部123、及び目標識別部124を備える。
【0044】
図3及び図4を参照して、画像解析部12は、取得画像110を補正した補正画像120を生成する。抽出用画像生成部122は、補正画像120を用いて条件画像201を画像センサ11目線に変換した抽出用画像204を生成する。目標抽出部123は、抽出用画像204における目標位置を取得画像110に適用して、取得画像110上の目標(画像内目標)を特定し、ロックオン候補100として抽出する。目標識別部124は、ロックオン候補100を取得画像110において識別するための目標識別情報200を生成する。
【0045】
以下、画像補正部121、抽出用画像生成部122、目標抽出部123、及び目標識別部124の動作の詳細を説明する。
【0046】
(画像補正部121)
図3及び図4を参照して、画像補正部121は、取得画像110に対して画像補正による特徴抽出を行い、補正画像120を生成する。具体的には、画像補正部121は、取得画像110に対してノイズ除去、エッジ検出、及び2値化処理を行い、補正画像120を生成する。ノイズ除去の方法としては、エッジ保存平滑化、メディアンフィルタによるノイズ除去、重みづけ移動平均法等のいずれかが利用され得る。エッジ検出の方法としては、ラプラシアンフィルタによるエッジ検出(差分オペレータによるエッジ検出)、Prewittフィルタによるエッジ検出(テンプレートマッチングによるエッジ検出)のいずれかが利用され得る。2値化の方法としては、動的閾値法、判別分析法、又はモード法のいずれかが利用され得る。
【0047】
本画像補正におけるノイズ除去、エッジ検出、及び2値化処理のそれぞれの回数、順序、手法については、ロックオン候補100を抽出するための処理時間や、目標抽出精度によって任意に選択し得る。例えば、図5に示すように、画像補正部121は、取得画像110に対し、1回目のノイズ除去(ステップS11)、エッジ検出(ステップS12)、2回目のノイズ除去(ステップS13)、2値化処理(ステップS14)の順で補正処理を行う。具体例として、画像補正部121は、ステップS11において取得画像110に対してエッジ保存平滑化によるノイズ除去を行う。続いて、画像補正部121は、ステップS12において、ノイズ除去後の画像に対しPrewittフィルタによるエッジ検出を行う。更に、画像補正部121は、ステップS13において、重みづけ移動平均法によるエッジ検出を再度行い、ステップS14において動的閾値法による2値化処理を行うことで補正画像120を生成する。
【0048】
(抽出用画像生成部122)
図3及び図4を参照して、抽出用画像生成部122は、遺伝的アルゴリズムに従い、条件画像201から複数の解候補画像203を生成するとともに、複数の解候補画像203のそれぞれと補正画像120との背景照合を行う。ここで、抽出用画像生成部122は、複数の解候補画像203のうち補正画像120と最もマッチング率の高い解候補画像203を抽出用画像204として出力する。
【0049】
図6は、本発明に係る抽出用画像生成動作の一例を示すフロー図である。図6を参照して、抽出用画像生成部122による抽出用画像生成動作の一例を説明する。
【0050】
抽出用画像生成部122は、飛しょう体1の現在の状態を示す飛しょうプロファイルを用いて条件画像201をアフィン変換し、画像センサ11目線の複数の解候補画像203を生成する(ステップS21)。飛しょうプロファイルには、現在の飛しょう体1の位置(地理系座標及び高度)、飛しょう方向、画像センサ11の撮像方向、飛しょう速度、姿勢等の情報が含まれる。抽出用画像生成部122は、飛しょうプロファイルに基づいて、条件画像201から解候補画像203にアフィン変換するための変換パラメータを設定する。ここで設定される変換パラメータは、例えば、画像の回転角、スケール倍率、中心位置である。抽出用画像生成部122は、設定された回転角で条件画像201を回転し、設定されたスケール倍率で条件画像201の画像サイズ(縮尺)を変更し、設定された中心位置に条件画像201を移動することで解候補画像203を生成する。
【0051】
続くステップS22からS29の処理において、抽出用画像生成部122は、上述した変換パラメータを染色体とした遺伝的アルゴリズムにより、複数の解候補画像203を生成するとともに、解候補画像203と補正画像120との照合、及び解候補画像の世代交代を行うことで、最も適応度の高い最適解画像を抽出用画像204として取得する。
【0052】
以下、抽出用画像204の生成処理の具体例を説明する。ステップS21において抽出用画像生成部122は、飛しょうプロファイルに基づいて設定された変換パラメータ(染色体)を変異させて、予め決められた数K(k>L)の解候補画像203(個体)を生成する。
【0053】
続いて、抽出用画像生成部122は、k個の解候補画像203からランダムにL個の解候補画像203を選択する(ステップS22)。抽出用画像生成部122は、選択したL個の解候補画像203のそれぞれの適応度を計算する(ステップS23)。ここで計算される適応度は、例えば、解候補画像203と補正画像120の一致度(マッチング率)で示される。
【0054】
抽出用画像生成部122は、適応度(例えば一致度)の高いM個(M<L)の解候補画像203を親個体として選択する(ステップS24)。続いて抽出用画像生成部122は、選択された親個体に対して遺伝子操作を行い、変換パラメータ(染色体)を変異させてL個の子個体を新たな解候補画像203として生成する(ステップS25)。例えば、抽出用画像生成部122は、親個体である解候補画像203のビット列を他の解候補画像203と交換し、子個体である解候補画像203を生成する(交配)。あるいは、抽出用画像生成部122は、親個体である解候補画像203のビット列を変異させて子個体である解候補画像203を生成する(突然変異)。あるいは、ステップS25では、交配や突然変異の両者を組み合わせて遺伝子操作が行われてもよい。
【0055】
抽出用画像生成部122は、ステップS23と同様に、L個の解候補画像203のそれぞれの適応度を計算する(ステップS26)。
【0056】
抽出用画像生成部122は、遺伝子操作を行うと世代交代数iを1つカウントアップする(ステップS26)。このとき世代交代数iが予め設定された世代数Nとなるまで、ステップS23からステップS26を繰り返す(ステップS27No)。
【0057】
ステップS27において世代交代数iが予め設定された世代数Nになると、抽出用画像生成部122は、ステップS23からステップS26の遺伝子操作処理を終了し、最も適合度(一致度)の高い解候補画像203を、抽出用画像204として抽出する(ステップS29)。
【0058】
以上のように、抽出用画像生成部122は、予め撮像された条件画像201の回転角、縮尺、中心位置を変化させることで、取得画像110に最も一致度(マッチング率)の高い抽出用画像204を生成することができる。
【0059】
本実施例では、遺伝的アルゴリズムを利用して抽出用画像204を生成しているため、総当たり的なパターンマッチングによる方法に比べ、短時間に一致度の高い抽出用画像204を取得することができる。
【0060】
抽出用画像204を生成するための処理時間は、遺伝的アルゴリズムを用いた場合、個体数Lと世代数Nに依存する。一方、抽出用画像204と取得画像110の一致度を高めるためには、個体数Lや世代数Nを大きくする必要がある。すなわち、処理時間と一致度の精度とはトレードオフの関係となる。この関係を考慮して、個体数L及び世代数Nを設計する必要がある。
【0061】
尚、解候補画像203と取得画像110の一致度が、所定の値以上となった場合、世代交代数iが世代数Nに達しなくてもステップS29に移行し、最も一致度の高い解候補画像203を抽出用画像204としてもよい。例えば、一致度の閾値が80%に設定されている場合、抽出用画像生成部122は、世代交代数iが世代数Nよりも小さくても、一致度が80%を超える解候補画像203を抽出用画像204として抽出する。この場合、想定された時間よりも短時間に所望の一致度の抽出用画像204を取得することが可能となる。
【0062】
(目標抽出部123)
図4を参照して、条件画像201には、目標T0や特徴地物T1の位置を特定する情報(例えば、条件画像201上の位置座標)が含まれる。このため、条件画像201を変換して生成された抽出用画像204にも目標T0や特徴地物T1の位置を特定する情報(例えば、抽出用画像204上の位置座標)が含まれる。抽出用画像204は、条件画像201が所定の変換パラメータに従って変換されて生成されるため、抽出用画像204上の目標T0や特徴地物T1も同様の変換パラメータに従って変換された位置となる。
【0063】
図3及び図4を参照して、目標抽出部123は、抽出用画像204に含まれる目標T0と特徴地物T1、T2の位置関係を取得画像110に適用し、取得画像110上の目標候補を特定し、ロックオン候補100として抽出する。
【0064】
図7は、本発明に係る目標抽出動作の一例を示す概念図である。図7を参照して、目標抽出動作の一例を説明する。図7(a)に示す抽出用画像204には、目標T0、特徴地物T1、T2の位置を特定する情報(例えば画像内における位置座標)が含まれるものとする。本一例では、特徴地物T1は、道路の交差点を示し、特徴地物T2は、人工建造物を示す。目標T0と特徴地物T1との画像上の位置関係は、目標T0と特徴地物T1との距離L1、特徴地物T1から見た目標T0の方位角α1で示される。同様に、目標T0と特徴地物T2との画像上の位置関係は、目標T0と特徴地物T2との距離L2、特徴地物T2から見た目標T0の方位角α2で示される。
【0065】
特徴地物は、取得画像110上において、背景等に埋もれることなく強調表示され得る地物である。このため、目標抽出部123は、抽出用画像204における特徴地物に対応する特徴地物を取得画像110において特定できる。例えば、図7(b)を参照して、目標抽出部123は、抽出用画像204と取得画像110とを照合し、取得画像110上における特徴地物T1、T2の位置を特定する。目標抽出部123は、取得画像110上において特定した特徴地物T1、T2に対し、抽出用画像204から得られる目標T0との位置関係(例えば距離L1、L2、方位角α1、α2)を適用し、取得画像110上における目標T0の位置を特定する。
【0066】
目標抽出部123は、取得画像110上において特定した目標T0をロックオン候補100として抽出する。ここで、抽出されるロックオン候補100は、特定された目標T0の取得画像110上における位置座標でもよいし、特定された目標T0に位置するオブジェクトでもよい。
【0067】
尚、目標抽出部123が目標抽出のために照合対象として利用する画像は、取得画像110に限らず、補正画像120でもよい。補正画像120を利用することで、特徴地物T1、T2が取得画像110よりも協調表示されるため、補正画像120における特徴地物T1、T2の位置を確実に特定することができる。又、補正画像120を照合対象として利用する場合も、特定された特徴地物T1、T2の位置を、取得画像110に適用することで、上述と同様にロックオン候補100を抽出することができる。
【0068】
ロックオン候補100を抽出する際に利用する特徴地物の数は、2つに限定されず、少なくとも1つあればよい。ただし、特徴地物の位置特定を失敗する可能性があるため、目標T0の位置を特定するための特徴地物は複数用意されていることが好ましい。特徴地物が複数用意されている場合、複数の特徴地物に優先度が付与され、優先度の高い特徴地物を利用してロックオン候補100の抽出が行われてもよい。例えば、優先度の高い特徴地物の位置特定が失敗したとき、次に優先度の高い特徴地物を取得画像110上で特定し、ロックオン候補100を抽出することが可能となる。
【0069】
本発明では、遺伝的アルゴリズムを利用して、マッチング率の高い画像を作成し、目標抽出を行っている。このため、植生や周辺環境に埋もれやすいロックオン候補100を短時間で精度よく抽出することが可能となる。
【0070】
(目標識別部124)
図3及び図8を参照して、目標識別部124は、取得画像110上においてロックオン候補100を識別するための情報として、目標識別情報200を生成する。目標識別情報200は、ロックオン候補100の位置座標を特定可能に表示するための情報(例示:取得画像110上の位置座標)を含むことが好ましい。あるいは、目標識別情報200は、ロックオン候補100として抽出されたオブジェクトを特定可能に表示する情報(例示:オブジェクトのエッジを特定する情報)を含むことが好ましい。更に、目標識別情報200は、ロックオン候補100を識別可能に特定するための標章(目標識別表示220)を取得画像110上に表示する情報を含むことが好ましい。具体的には、図8に示すように、目標識別表示220は、ロックオン候補100の周囲を囲む枠線として表示され得る。この場合、目標識別部124は、取得画像110上におけるロックオン候補100の位置(例示:画面上の位置座標、あるいは、オブジェクトの重心点)から所定の距離に位置する枠線を表示するための目標識別情報200を生成する。又、目標識別部124は、取得画像110に目標識別情報200(目標識別表示220)を付加し、図8に示すような目標抽出画像6を生成してもよい。この場合、送信部151は、取得画像110に目標識別情報200に替えて目標抽出画像6を指令装置2送信する。ただし、演算処理装置10における処理負荷を軽減するため、目標抽出画像6の生成処理は指令装置2によって行われることが好ましい。
【0071】
以上のように、画像解析部12は、条件画像201を用いて取得画像110内の目標(画像内目標候補)を特定し、ロックオン候補100として自動抽出することができる。
【0072】
(ロックオン及び画像誘導)
誘導制御部13は、ロックオン対象400として設定された画像内目標に飛しょう体1が指向するように飛しょう制御装置14を制御する。誘導制御部13は、少なくとも取得画像110を撮像した後、指令装置2から送信される制御情報によってロックオン対象400が設定可能な設定可能状態となる。設定可能状態の間に、誘導制御部13が設定情報を受け付けると、設定情報に基づいて指定された目標がロックオン対象400に設定される。
【0073】
例えば、設定可能状態において、ロックオン候補100を承認(指定)する設定情報を受け付けると、誘導制御部13は、ロックオン候補100をロックオン対象400として設定する(ロックオンする)。あるいは、設定可能状態において、ロックオン候補100とは異なる他の目標を指定する設定情報を受け付けると、誘導制御部13は、指定された目標をロックオン対象400として設定する(ロックオンする)。
【0074】
又、設定可能状態の間、設定情報が受け付けられれば、ロックオン対象400が複数回変更されても構わない。例えば、ロックオン対象400が設定され画像誘導が実行されている間、新たな設定情報により、ロックオン対象400が変更されても構わない。
【0075】
更に、誘導制御部13は、所定の条件に適合した場合、設定可能状態を解除し、設定情報の受付を禁止する設定不能状態となる。所定の条件とは、飛しょう体1の目標変更が困難となる条件を示し、目標4までの距離、飛しょう体1の速度、姿勢、高度、又は飛しょう方向に応じて決まる。例えば、誘導制御部13は、飛しょう体1と目標4との距離が、予め設定された目標変更限界距離に至ると設定不能状態となる。あるいは、誘導制御部13は、飛しょう体1の目標4に対する進入角度が、予め設定された目標変更限界角に至ると設定不能状態となる。あるいは、飛しょう体1の速度と、目標4までの距離から計算された目標到達予定時間が、予め設定された目標変更限界時間よりも短くなると、設定不能状態となる。
【0076】
ロックオン候補100の抽出から設定不能状態となるまでに設定情報を受け付けていない場合、誘導制御部13は、ロックオン候補100をロックオン対象400として設定することが好ましい。この場合、指令装置2から設定情報が送信されなくても、飛しょう体1は自らが自動抽出した画像内目標(ロックオン候補)に向かって画像誘導されることとなる。
【0077】
図9A及び図9Bは、画像誘導中に、飛しょう体1から指令装置2に送信される取得画像110及び目標識別情報200の一例を示す図である。図9Bに示す取得画像110は、図9Aに示す取得画像110よりも後に撮像された画像を示す。
【0078】
図9A及び図9Bを参照して、ロックオン対象400が設定されると、誘導制御部13は、ロックオン対象400に照準300を合わせ、画像誘導を開始する。この際、誘導制御部13は、ロックオン対象400及び照準300の中心(飛しょう方向)が一致するように、飛しょう体1の飛しょう方向を制御する。又、誘導制御部13は、ロックオン対象400が、取得画像110の中心となるように画像センサ11の撮像方向を制御することで、取得画像110の撮像方向と飛しょう方向を一致させることができる。
【0079】
誘導制御部13は、飛しょう体1の飛しょう状態(例えば、飛しょう体1の速度、高度、姿勢、飛しょう方向等)や画像センサ11の撮像方向をパラメータとして、取得画像110におけるロックオン対象400の位置(a1、b1)の時間変化を計算し、最も相関の高い位置(a2、b2)を、ロックオン対象400として特定する。これにより、ロックオン対象400を継続的に追尾することが可能となる。例えば、ロックオン対象400がオブジェクトで示されている場合、誘導制御部13は、時間経過に応じて予測される複数のオブジェクト形状の中で最も相関の高いオブジェクトをロックオン対象400として飛しょう体1を誘導する。
【0080】
又、誘導制御部13は、ロックオン対象400のみならず、ロックオン候補100の抽出に利用した特徴地物についても同様に計算した最も相関の高い位置を利用して、時間変化するロックオン対象400の位置を補正してもよい。
【0081】
更に、誘導制御部13は、飛しょう状態のみならず、目標4の移動速度や移動方向を利用して、同様な計算を行い、最も相関の高いロックオン対象400を特定し、目標4の追尾を行ってもよい。
【0082】
飛しょう体1から指令装置2への取得画像110の送信は、飛しょう体1が目標4に到達するまで定期的に行われることが好ましい。例えば、図10に示すように、目標4に到達する直前の取得画像110が得られた場合、指令装置2を操作するユーザは、飛しょう体1が、所望の目標に到達したことを目視で確認できる。
【0083】
(指令装置2)
図11は、本発明による指令装置2の構成の一例を示す図である。図11を参照して、指令装置2の構成の一例を説明する。飛しょう体制御装置21、表示装置22、及びユーザインタフェース23を備える。
【0084】
飛しょう体制御装置21は、CPU210、メモリ211、通信装置212及び記憶装置213を備える。飛しょう体制御装置21は、コンピュータ装置に例示され、接続されたユーザインタフェース23からの信号に応じて演算処理を行い、演算結果を表示装置22に表示する。
【0085】
CPU210は、記憶装置213に記録されたプログラムを実行することで、通信装置212及び表示装置22の制御、ロックオン対象400の設定(設定情報の生成)を実現する。この際、通信装置212、記憶装置213、ユーザインタフェース23からの各種データやプログラムはメモリ211に一時格納され、CPU210は、メモリ211内のデータを用いて各種処理を実行する。
【0086】
記憶装置213はハードディスクや半導体メモリ、あるいは取り出し可能な記録媒体に例示される外部記憶装置である。ユーザインタフェース23は、キーボードやマウス、あるいはタッチパネル等のユーザによって操作されることで、各種データをCPU210や記憶装置213に出力する。表示装置は、モニタやタッチパネルモニタに例示され、CPU210から出力される演算結果をユーザに対し視認可能に出力する。
【0087】
通信装置212は、飛しょう体1との通信を制御する。本一例では、通信装置212は、通信衛星5を介して飛しょう体1とCPU210との間の通信を制御する。具体的には、通信装置212は、CPU210によって生成された設定情報を飛しょう体1に送信する。又、飛しょう体1から送信される取得画像110や目標識別情報200を受信し、CPU210に出力する。
【0088】
通信装置212によって受信された取得画像110は、表示装置22に表示される。又、通信装置212が取得画像110とともに目標識別情報200を受信した場合、CPU210は、目標識別情報200に基づいて生成された目標識別表示220を、取得画像110に付加して目標抽出画像6を生成する。生成された目標抽出画像6は、例えば、図8のように表示装置22に表示される。
【0089】
ユーザインタフェース23は、ユーザの操作に応じて、目標抽出画像6内の目標を飛しょう体1のロックオン対象400として指定する指定信号を出力する。飛しょう体制御装置21は、指定信号に基づいて、取得画像110においてロックオン対象400となる目標を指定する設定情報を飛しょう体1に送信する。例えば、ユーザは、マウスに例示されるユーザインタフェース23を移動及びクリックすることにより、表示装置22に表示されるポインタを移動し、取得画像110上の目標をロックオン対象400として指定することができる。あるいは、ユーザは、タッチパネルに例示されるユーザインタフェース23をタップすることにより、取得画像110上の目標をロックオン対象400として指定することができる。ここで指定される目標は、目標識別表示220によって特定できるロックオン候補100でもよいし、他の目標100’でもよい。又、ロックオン対象400として指定する目標は、画像上の位置座標でもよいし、表示されるオブジェクトでもよい。
【0090】
ユーザは、目標識別表示220により、飛しょう体1が自動抽出したロックオン候補100を、容易に確認できる。このため、ユーザは、目標探索を省略し、承認するか否かの判断のみでロックオン対象400の設定が可能となる。
【0091】
飛しょう体1の飛しょう速度が、例えば亜音速と非常に高速である場合、飛しょう体1が目標方向の画像を撮像してから、ロックオン対象400を確定するまでの時間は短く、例えば数秒である。この間に、ユーザが取得画像110から目標を探索して、ロックオン対象を設定することは困難である。特に、通信容量の小さい衛星回線を介して送信される取得画像110は、粗い画像である場合があり、このような画像から短時間で目標選択を行うことは難しいことがある。しかし、本発明では、飛しょう体1によって抽出されたロックオン候補100が視認可能に表示されるため、目標選択が容易となり、短時間でロックオン対象400の設定が可能となる。
【0092】
(飛しょう体1の状態)
図12を参照して、飛しょう体1の発射から目標到達までの状態について説明する。図12を参照して、発射装置3から所定の位置までの区間、飛しょう体1は慣性航行する(中間誘導モードA1)。このとき、目標4に対して所定の距離だけ遠方の位置においては、飛しょう体1は、空気抵抗の少ない高高度を飛しょうし、所定の距離まで目標4に近づくと、目標4の撮像が可能な高さまで高度を下げる。
【0093】
続いて、目標4が撮像可能となると、飛しょう体1は、目標方向の画像(取得画像110)を撮像し、指令装置2に転送する(画像取得転送モードA2)。取得画像110の撮像及び転送は、目標4に到達するまで、定期的に行われる。
【0094】
画像取得転送モードA2の前半において、飛しょう体1は、指令装置2から設定情報を受け付け可能な設定可能状態となる(設定可能モードA21)。この間、設定情報を受け付けた場合、飛しょう体1は、設定情報に基づいて設定されたロックオン対象400に画像誘導される。又、この間に受け付けた最新の設定情報により、ロックオン対象400が変更(更新)され得る。
【0095】
画像取得転送モードA2の後半において、飛しょう体1は、指令装置2からの設定情報の受け付けが禁止される設定不能状態となる(設定不能モードA22)。この間、設定情報を受け付けず、飛しょう体1は、設定可能モードA21において設定されたロックオン対象に画像誘導される。又、設定可能モードA21において設定情報を受け付けていない場合、飛しょう体1は、ロックオン候補100をロックオン対象400として設定し画像誘導される。
【0096】
以上のように、本発明による飛しょう体1は、目標方向の画像を転送する画像取得転送モードA2や、ロックオン対象400を設定又は変更可能な設定可能モードA21を有する。
【0097】
(飛しょう体1の動作)
図13は、本発明による飛しょう体1の誘導動作の第1実施例を示すフロー図である。図13を参照して、画像取得転送モードA2間における飛しょう体1の誘導動作を説明する。ここでは、ロックオン対象400が設定されるまでの間、飛しょう体1が慣性航行を継続する態様について説明する。
【0098】
飛しょう体1は、画像センサ11により画像を取得すると、ロックオン候補100を抽出する(ステップS101、S102)。飛しょう体1は、取得画像110及び目標識別情報200を指令装置2に送信する(ステップS103)。取得画像110は、目標識別情報200と同時的に送信される必要はなく、目標識別情報200に先行して送信されてもよい。又、飛しょう体1において、取得画像110及び目標識別情報200を合成して目標抽出画像6を生成した場合、取得画像110及び目標識別情報200に替えて目標抽出画像6が送信される。
【0099】
指令装置2は、取得画像110及び目標識別情報200を受信すると、これらを用いた目標抽出画像6を表示する。これにより、ユーザは、飛しょう体1が抽出したロックオン候補100を特定できる。
【0100】
本実施例における飛しょう体1は、ロックオン候補100を抽出しても、ロックオン対象400を設定するまでは、慣性航行を継続する。この間、飛しょう体1は、予め設定された飛行経路及び現在の位置、飛しょう状態(速度、姿勢、高度等)、及び目標4の地理系座標や高度を利用して、飛しょうを継続する。
【0101】
飛しょう体1は、発射後、任意の時期に設定可能状態に設定される。これにより、飛しょう体1は、指令装置2から送信される設定情報を受け付け可能な状態となる。飛しょう体1が設定可能状態となるタイミングは、少なくとも取得画像110が、指令装置2に受信される前であることが好ましい。これにより、ユーザは、取得画像110を確認してからロックオン対象400を設定可能となる。
【0102】
飛しょう体1が設定可能状態である間、飛しょう体1は、設定情報の待ち受け状態となる(ステップS104No、S105No)。この間に、指令装置2から設定情報を受信した場合、設定情報は受け付けられ、設定情報で指定された目標をロックオン対象400として設定される(ステップS104No、S105Yes、S106、S107)。
【0103】
飛しょう体1は、設定されたロックオン対象400を目標とした画像誘導により飛しょう制御される(ステップS108)。飛しょう体1は、目標4に到達するまで、目標方向の画像を撮像し、取得画像110として指令装置2に送信する。
【0104】
飛しょう体1は、所定の条件に適合した場合、設定不能状態となる。この状態の間、指令装置2から送信される設定情報は受け付けられなくなる(ステップS104Yes)。ロックオン対象400が未設定のまま、飛しょう体1が設定不能状態となると、飛しょう体1によって抽出されたロックオン候補100が、ロックオン対象400として設定され、ステップS108に移行する(ステップS104Yes、S109)。
【0105】
以上のように、本実施例における飛しょう体誘導システムによれば、画像誘導の目標をユーザ側で指定できるため、飛しょう体1における目標の自動抽出が失敗した場合等、所望の目標に修正することが可能となる。例えば、天候により撮像画像の輝度が低くなる場合や、画像の変換精度が低い場合は、所望の目標を抽出できないことがある。このような場合もユーザによってロックオン対象400を指定できるため、精度の高い画像誘導が可能となる。又、飛しょう体1によって抽出された目標を変更したい場合等、所望の目標に修正することが可能となる。例えば、飛しょう体1の目標が、他の飛しょう体1によって既に到達したことが判明したとき、ユーザの判断により目標を変更することができる。これにより、同一目標に複数の飛しょう体1が向かうことを防止することができる。
【0106】
例えば、指令装置2において図8に示すような目標抽出画像6が表示されると、ユーザは画像内の目標をロックオン対象400として指定できる。具体的には、ユーザによる操作(第1操作とも称す)により、ロックオン候補100がロックオン対象として指定される。この場合、ロックオン候補100をロックオン対象400として指定する設定情報が飛しょう体1に送信される。飛しょう体1において設定情報が受け付けられると、ロックオン候補100をロックオン対象として画像誘導が開始される。あるいは、ユーザによる操作(第2操作とも称す)により、ロックオン候補100と異なる目標100’がロックオン対象として指定される。この場合、目標100’をロックオン対象400として指定する設定情報が飛しょう体1に送信される。飛しょう体1において設定情報が受け付けられると、目標100’をロックオン対象として画像誘導が開始される。
【0107】
又、本実施例では、ユーザがロックオン対象400を指定しない場合、ロックオン候補100が自動的にロックオン対象として設定される。このため、飛しょう体1が所望の目標をロックオン候補100として抽出している場合、ユーザは操作することなく当該目標を承認することができる。
【0108】
(第1実施例における飛しょう体1の動作の第1変形例)
図13に示す飛しょう体1の動作では、指令装置2からのロックオン対象400の設定が1度しかできないが、これに限らず、設定情報の受付の都度、ロックオン対象400が設定更新されてもよい。図14は、本発明による飛しょう体1の画像誘導動作の第1実施例の第1変形例を示すフロー図である。
【0109】
図14を参照して、ステップS101からステップS109の動作は、図13に示す動作と同様であるので、その詳細な説明は省略し、第1実施例と異なる動作を中心に説明する。
【0110】
本変形例では、飛しょう体1が設定可能状態の間、新たな設定情報を受け付けると、当該設定情報によって指定された目標をロックオン対象400として設定し、画像誘導が行われる。詳細には、飛しょう体1が設定可能状態であれば、ステップS108において画像誘導が実行されていても、受信した設定情報を受け付ける(ステップS108、S104No、S105Yes、S106)。以降、設定情報に基づいて新たなロックオン対象400の設定(変更)及び画像誘導が行われる(ステップS107、S108)。
【0111】
飛しょう体1は、所定の条件に適合した場合、設定不能状態となる。この状態の間、指令装置2から送信される設定情報は受け付けられなくなる(ステップS104Yes)。飛しょう体1が設定不能状態となったとき、ロックオン対象400が設定済みである場合、予め設定されたロックオン対象400が維持され、画像誘導が行われる(ステップS104Yes、S201Yes、S108)。
【0112】
一方、ロックオン対象400が未設定のまま、飛しょう体1が設定不能状態となると、飛しょう体1によって抽出されたロックオン候補100が、ロックオン対象400として設定され、ステップS108に移行する(ステップS104Yes、S110No、S109)。
【0113】
以上のように、第1実施例の第1変形例によれば、ユーザは、飛しょう体1が設定可能状態である間において何度でも画像誘導の目標を変更することが可能となる。これにより、1度設定したロックオン対象400を変更したい状況となっても、対応が可能となる。
【0114】
(第1実施例における飛しょう体1の動作の第2変形例)
図13に示す飛しょう体1の動作では、ロックオン候補100の抽出からロックオン対象400の設定までの間、慣性航行が継続されるが、これに限らず、ユーザによるロックオン設定や、設定不能状態への変更を待たずに画像誘導を開始してもよい。図15は、本発明による飛しょう体1の画像誘導動作の第1実施例の第2変形例を示すフロー図である。
【0115】
図15を参照して、本変形例におけるステップS101、S102、S104〜S108の動作は、図13に示す同符号の動作と同様であるので、その詳細な説明は省略し、図13に示す一例と異なる動作を中心に説明する。
【0116】
本変形例における飛しょう体1は、図13に示すステップS101、S102と同様に画像取得及びロックオン候補100の抽出を行う。続いて、飛しょう体1では、設定情報の受付を待つことなく、抽出したロックオン候補100をロックオン対象として設定し、画像誘導を行う(ステップS202、S203)。
【0117】
飛しょう体1は、図13に示すステップS103と同様に取得画像110及び目標識別情報200を指令装置2に送信する(ステップS204)。指令装置2は、取得画像110及び目標識別情報200を受信すると、これらを用いた目標抽出画像6を表示する。これにより、ユーザは、飛しょう体1が抽出したロックオン候補100を特定できる。本変形例では、飛しょう体1は、既にロックオン候補100をロックオン対象400として画像誘導されているため、ユーザは、目標抽出画像6により、飛しょう体1のロックオン対象400を確認することとなる。
【0118】
飛しょう体1は、発射後、任意の時期に設定可能状態に設定される。これにより、飛しょう体1は、指令装置2から送信される設定情報を受け付け可能な状態となる。飛しょう体1が設定可能状態となるタイミングは、少なくとも取得画像110が、指令装置2に受信される前であることが好ましい。これにより、ユーザは、取得画像110を確認してからロックオン対象400を設定することができる。
【0119】
飛しょう体1が設定可能状態である間、図13に示すステップS104からS108と同様に、指令装置2から受け付けた設定情報に基づいてロックオン対象400の設定及び飛しょう体1の画像誘導が行われる。本変形例では、最初に設定情報を受け付けたとき、飛しょう体1は、既にロックオン候補100をロックオン対象400として画像誘導されている。このため、最初に設定情報を受け付けた場合でも、ロックオン対象400が更新されることとなる。
【0120】
一方、飛しょう体1が設定不能状態となるまで、飛しょう体1が設定情報を受信しない場合、ロックオン候補100をロックオン対象400とした画像誘導が継続される(ステップS104Yes、S108)。
【0121】
以上のように、第1実施例の第2変形例によれば、飛しょう体1は、ロックオン候補100をロックオン対象400として抽出し画像誘導を開始するため、画像取得してから早期に画像誘導に移行できる。例えば、第1実施例では、設定情報を受信しない場合、設定不能状態となるまで画像誘導が開始されないことがあるが、本変形例では、少なくともロックオン候補100の抽出時から画像誘導が開始され得る。又、ロックオン候補100をロックオン対象400として画像誘導している間、飛しょう体1は、少なくともロックオン候補100として抽出された目標の周辺領域を撮像し、指令装置2に送信できる。このため、ユーザは、少なくともロックオン候補100として抽出された目標及びその周辺領域を含む取得画像110を確認しながら、ロックオン対象400の設定又は承認が可能となる。
【0122】
本発明による飛しょう体誘導システムでは、ユーザの目視によるロックオン対象400の設定ができることから、目標4が視認可能な距離であれば、目標4が遠方に位置していても取得画像110を撮像し、ロックオン対象400の設定が可能な状態とすることができる。ここで、相互に近接した複数のオブジェクトを遠方から観察すると、1つのオブジェクトとして視認されることがある。このため、遠方において、1つのオブジェクトとして認識され、ロックオン対象400として設定された目標4が、接近時の取得画像110により、複数のオブジェクトとして認識されることがある。
【0123】
例えば、図9A及び図9Bに示すロックオン対象400が、飛しょう体1に接近することにより、図16に示すように複数の画像内目標候補400−1、400−2、400−3として撮像される場合がある。このような場合、例えば、画像誘導中の飛しょう体1は、図9A及び図9Bに示すロックオン対象400と相関の最も高い画像内目標候補(例えば、図16に示す画像内目標候補400−1)に向けて画像誘導を行う。
【0124】
あるいは、画像誘導中の飛しょう体1は、ロックオン対象400との相関が、所定の閾値よりも高い複数の画像内目標候補の重心に向けて画像誘導を行ってもよい。具体的には、飛しょう体1は、図9A及び図9Bに示すロックオン対象400との相関が、所定の閾値よりも高い画像内目標候補400−1、400−2、400−3を抽出し、それぞれの位置N1、N2、N3の重心N0を飛しょう方向として画像誘導を行う。
【0125】
通常、上述の飛しょう体1の接近による目標の分裂現象は、飛しょう体1が設定不能状態となりロックオン対象400が確定する前の設定可能期間中に発生する。このため、第1実施例の第1変形例及び第2変形例のように、設定可能期間中に画像誘導している場合、複数目標の重心N0に相関誘導することは有効である。特に、複数の画像目標候補400−1、400−2、400−3のそれぞれの相関の差が小さく、突出して相関の高い画像内目標候補がない場合や、画像上における目標候補間の距離が長い場合等、それぞれの重心N0をロックオン対象400として画像誘導することは、更に有効である。例えば、画像上において、複数の画像内目標候補のそれぞれの間隔が長い場合、1つの画像内目標候補をロックオン対象とすると、飛しょう体1の移動により、真の目標が取得画像110(画像センサ11の視野)から外れてしまう恐れがある。このような場合、複数の画像内目標候補の重心に指向することで、真の目標が取得画像110から外れることを防ぐことができる。
【0126】
2.第2実施例
次に、第2実施例における飛しょう体誘導システムについて説明する。第2実施例における飛しょう体誘導システムは、第1実施例のシステムに、慣性誘導のための目標を変更する構成及び機能を追加したシステムである。第2実施例における飛しょう体誘導システムは、第1実施例の構成を含み、第1実施例と同様の効果を奏する。このため、以下では、第1実施例と同様な構成及び動作の説明は省略し、第1実施例と異なる構成及び動作を中心に説明する。
【0127】
(飛しょう体1の構成)
飛しょう体1の誘導制御部13は、発射後、任意の時期に設定可能状態に設定される。これにより、飛しょう体1は、指令装置2から送信される設定情報又は目標設定情報を受け付け可能な状態となる。設定可能状態の間に、設定情報を受け付けると、誘導制御部13は、設定情報に基づいて指定された目標がロックオン対象400に設定される。又、設定可能状態の間に、目標設定情報を受け付けると、目標設定情報に基づいて指定される位置座標に慣性誘導の目標が変更される。具体的には、設定可能状態の間に、目標設定情報を受け付けると、慣性誘導の目標が、目標設定情報によって指定された目標の位置座標及び高さに変更される。又、目標設定情報で指定される飛しょう経路に変更される。目標設定情報は、新たに指定する飛しょう経路を含んでもよい。この場合、誘導制御部13は、目標設定情報に含まれる飛しょう経路に変更する。あるいは、目標設定情報は、飛しょう経路を指定する情報を含んでもよい。この場合、予め、複数の飛しょう経路が飛しょう体1の記憶装置16に登録されており、誘導制御部13は、目標設定情報によって指定された飛しょう経路を記憶装置16から選択して変更する。
【0128】
第2実施例において飛しょう体1が設定可能状態となるタイミングは、飛しょう体1が取得画像110を撮像する前であってもよい。すなわち、飛しょう体1が画像誘導を行う前に目標設定情報を受け付け可能な設定可能状態としてもよい。この場合、画像誘導開始の前に飛しょう体1の慣性誘導の目標4を変更することが可能となる。
【0129】
又、設定可能状態の間、目標設定情報が受け付けられれば、慣性誘導の目標が複数回変更されても構わない。
【0130】
更に、誘導制御部13は、所定の条件に適合した場合、設定可能状態を解除し、設定情報及び目標設定情報の受付を禁止する設定不能状態となる。所定の条件とは、飛しょう体1の目標変更が困難となる条件を示し、目標4までの距離、飛しょう体1の速度、姿勢、高度、又は飛しょう方向に応じて決まる。例えば、誘導制御部13は、飛しょう体1と目標4との距離が、予め設定された目標変更限界距離に至ると設定不能状態となる。あるいは、誘導制御部13は、飛しょう体1の目標4に対する進入角度が、予め設定された目標変更限界角に至ると設定不能状態となる。あるいは、飛しょう体1の速度と目標4までの距離から計算された目標到達予定時間が、予め設定された目標変更限界時間よりも短くなると、設定不能状態となる。
【0131】
ロックオン対象400の設定可能状態と、慣性誘導目標の設定可能状態のそれぞれの設定又は解除のタイミングは、同じでも異なっていてもどちらでもよい。ただし、画像誘導の目標を変更する場合、慣性誘導の目標を変更するよりも、目標までの距離や変更時間が短くてもよい。このため、ロックオン対象に対する設定可能状態の解除のタイミングは、慣性誘導目標の設定可能状態の解除よりも遅いタイミングに設定できる。
【0132】
ロックオン候補100の抽出から設定不能状態となるまでに設定情報や目標設定情を受け付けていない場合、誘導制御部13は、ロックオン候補100をロックオン対象400として設定することが好ましい。この場合、指令装置2から設定情報が送信されなくても、飛しょう体1は自らが自動抽出した目標に向かって画像誘導されることとなる。
【0133】
(指令装置2の構成)
第2実施例におけるユーザインタフェース23は、ユーザの操作に応じて、ロックオン対象400を指定する指定信号を出力し、他の操作(第3操作とも称す)に応じて、慣性誘導の目標座標を指定する目標指定信号を出力する。飛しょう体制御装置21は、指定信号に基づいて、ロックオン対象400を指定する設定情報を飛しょう体1に送信し、目標指定信号に基づいて、慣性誘導の目標位置を指定する目標設定情報を飛しょう体1に送信する。この際、目標設定情報には、目標位置のみならず当該目標位置に至る飛しょう経路を示す情報が含まれることが好ましい。
【0134】
目標設定情報で指定する慣性誘導の目標は、目標4の地理系座標やその高度をユーザインタフェース23によって入力することにより設定できる。あるいは、記憶装置213に目標4の地理系座標や高度が記録されていれば、ユーザインタフェース23によって、これらの情報を選択することで、慣性誘導の目標を飛しょう体1に指定することができる。
【0135】
(第2実施例における飛しょう体1の動作)
図17は、本発明による飛しょう体1の画像誘導動作の第2実施例を示すフロー図である。図17を参照して、ステップS301からステップS309の動作は、図13に示すステップS101からA109の動作と同様であるので、その詳細な説明は省略し、図13に示す一例と異なるステップS210からS213における動作を中心に説明する。
【0136】
第2実施例における飛しょう体1は、画像センサ11による画像取得後、設定可能状態において、設定情報及び目標設定情報を待ち受ける(ステップS304、S305No、S310No)。この間に、指令装置2から設定情報を受信した場合、第1実施例と同様に、設定情報は受け付けられ、設定情報で指定された画像内目標がロックオン対象400として設定される(ステップS304No、S305Yes、S306、S307)。
【0137】
一方、設定可能状態の間に、指令装置2から目標設定情報を受信した場合、目標設定情報は受け付けられ、目標設定情報で指定された位置座標に慣性誘導目標が変更される(ステップS304No、S305No、S310Yes、S311、S312)。
【0138】
飛しょう体1は、設定された位置座標の目標4に指向した慣性誘導により飛しょう制御される(ステップS313)。この際、飛しょう体1は、画像誘導制御(終末誘導)を解除し、高度を上げて、慣性誘導制御(中間誘導)に移行する。飛しょう体1は、目標設定情報に含まれる新たな目標までの飛しょう経路に従い、新たな目標に向かって慣性航行することが好ましい。その後、新たな目標4に接近すると、再び目標方向の画像の撮像を開始し、ステップS301に移行する。
【0139】
以上のように、本実施例における飛しょう体1は、ロックオン対象400のみならず慣性誘導の目標も飛しょう中に変更することが可能となる。
【0140】
(第2実施例における目標変更動作の具体例)
第2実施例における指令装置2は、記憶装置213に予め登録された目標候補から選択された目標を、新たな慣性誘導目標として飛しょう体1に指定してもよい。例えば、記憶装置213には、飛しょう体1が目標とすべき目標候補が設定された目標テーブルを含むことが好ましい。
【0141】
図18は、本発明に係る目標テーブルの構造の一例を示す図である。図18に示す目標テーブルには、飛しょう体1を識別する飛しょう体IDに、目標を識別する目標ID、当該目標の位置情報、及び目標として選択する際の優先度が対応付けられて記録される。例えば、飛しょう体1“M1”の目標候補として“T10”、“T11”、“T12”が対応付けられ、“T11”、“T10”、“T12”の順に優先度が設定される。目標の位置情報は、例えば地理系座標とその高度で示され、目標“T10”、“T11”、“T12”の位置情報は、“X0、Y0、Z0”、“X1、Y1、Z1”、“X2、Y2、Z2”である。同様に他の飛しょう体1“M2”についても目標候補として、T10”、“T20”が対応付けられ、“T10”、“T20”の順に優先度が設定される。又、目標“T10”、“T20”の位置情報は、“X0、Y0、Z0”、“X3、Y3、Z3”である。図18に示すように、同じ目標“T10”が異なる飛しょう体1の目標、あるいは目標候補として設定されてもかまわない。
【0142】
上述した目標テーブルは表示装置22に表示されることが好ましい。ユーザは、表示装置22に表示される目標テーブルにより、目標変更時に優先度の高い目標を容易に設定することが可能となる。
【0143】
図19は、本発明による飛しょう体誘導システムの運用例を示す図である。図19を参照して、本発明による飛しょう体誘導システムでは、複数の飛しょう体1−1、1−2が、発射装置3から逐次的又は同時的に発射され得る。この際、複数の飛しょう体1の目標4が重複する場合がある。例えば、複数の目標4−1、4−2のうち、飛しょう体1−1、1−2を同一の目標4−2に対して飛しょうさせる場合がある。
【0144】
このような場合、一の飛しょう体1−2がすでに到達した目標に対して、他の飛しょう体1−1が向かうことを防ぐ必要がある。本発明による飛しょう体誘導システムでは、目標到達直前の取得画像110により、飛しょう体1が到達したか否かを確認することができる。このため、飛しょう体1−2の到達が確認された目標を、他の飛しょう体1−1の目標としないように、指令装置2からの設定情報又は目標設定情報によって制御することができる。
【0145】
例えば、ユーザは、ユーザインタフェース23を操作することで、取得画像110によって到達が確認された目標を、到達済みとして記憶装置213に登録する。到達済みに登録された目標は、飛しょう体1の目標、又は目標候補から除外され、指定不能に設定されることが好ましい。具体的には、図20に示す目標テーブルのように、目標毎に到達状況を登録できる項目“状況”を設けることで、飛しょう体1が到達した目標を、他の飛しょう体1の目標、又は目標候補から除外できる。あるいは、図21に示す目標テーブルのように、飛しょう体1が到達した目標の優先度を最低値(例えば∞)に設定することで、他の飛しょう体1の目標、又は目標候補から除外され、指定不能に設定できる。
【0146】
図20及び図21の一例では、飛しょう体1“M1”、“M2”が同じ目標“T11”に設定されている(優先度“1”)。このとき、飛しょう体1“M2”の目標“M11”への到達が登録された場合、図20に示す一例では、目標“T11”の状況が“M2到達”に設定される。これにより、ユーザは、飛しょう体1“M1”の目標から目標“T11”を除外し、次に優先度の高い目標“T10”に変更することができる。同様に、飛しょう体1“M2”の目標“M11”への到達が登録された場合、図21に示す一例では、目標“T11”の優先度が“∞”に設定される。これにより、ユーザは、飛しょう体1“M1”の目標から目標“T11”を除外し、次に優先度の高い目標“T10”に変更することができる。
【0147】
尚、目標到達の確認は、飛しょう体1による取得画像110の他、図示しない他の装置、例えば人口衛星や航空機等から撮影された画像を解析することで、行われてもよい。
【0148】
図22は、本発明に係る目標変更用画面500の一例を示す図である。図22を参照して、目標変更用画面500は、ユーザが飛しょう体1の目標を変更する際に、表示装置22に表示される画面である。
【0149】
目標変更用画面500は、設定可能時間501、現在状況情報502、目標候補情報503、選択ボタン504を含む。
【0150】
設定可能時間501は、目標を変更可能な時間を示し、この時間が経過した後は、目標変更ができなくなることを示す。設定可能時間501は、例えば、飛しょう体1の状態(例えば高度、速度、姿勢)と、目標変更可能な飛しょう体1と目標4との距離、飛しょう体1の高度とに基づいて算出される。設定可能時間501は、飛しょう体1において計算され、指令装置2に通知されることが好ましい。あるいは、飛しょう体1の状態(例えば高度、速度、姿勢)やその位置が指令装置2に通知され、これを用いて指令装置2において設定可能時間501が計算されてもよい。
【0151】
現在状況情報502は、飛しょう体1の現在の目標4についての状況を示す。例えば、現在状況情報502は、飛しょう体1を特定する飛しょう体ID、当該飛しょう体1の現在の目標を特定する目標IDやその位置情報、当該目標への到達状況を示す情報等を含む。
【0152】
目標候補情報503は、飛しょう体1の目標候補となり得る目標を示す。例えば、目標候補情報503は、目標候補をその優先度に応じて表示されることが好ましい。図22に示す一例では、目標候補を特定する目標ID、その優先度、及び目標の位置情報が目標候補情報503として表示される。
【0153】
選択ボタン504は、ユーザインタフェース23を操作することで押下されると、対応する目標候補が、飛しょう体1の目標4として設定される。図22に示す一例では、選択ボタン504−1が押下されることで、目標候補情報503−1(目標“T11”)が選択され、選択ボタン504−2が押下されることで、目標候補情報503−2(目標“T12”)が選択される。
【0154】
目標変更用画面500を利用することにより、ユーザは、現在の飛しょう体1の目標の到着状況を確認できるとともに、優先度に応じた目標4の変更、設定を容易に行うことができる。
【0155】
(第2実施例の第1変形例)
第2実施例では、ユーザインタフェース23を利用して手動で、目標4(慣性誘導の目標)の変更が行われたが、これに限らず、指令装置2における飛しょう体制御装置21によって自動的に行われてもかまわない。
【0156】
例えば、図20図21に示す目標テーブルが記憶装置213に登録されている場合、上述のように、飛しょう体1の目標4への到達状況や優先度が、飛しょう体1の飛しょう間においても動的に更新され得る。飛しょう体制御装置21は、他の飛しょう体1の目標到達によって、飛しょう体1の目標が選択対象から除外された場合、自動的に次に優先度の高い目標4に変更し、目標設定情報として飛しょう体1に通知する。これにより、ユーザが目標到達を指令装置2に入力することにより、自動的に飛しょう体1の目標変更が可能となる。
【0157】
目標テーブルの更新は、ユーザインタフェース23によって行われてもよいが、図示しない他の指令装置2によって行われてもよい。すなわち、指令装置2が複数設けられた場合、目標の到達状況が共有化され、この情報を利用して目標変更が行われてもよい。
【0158】
(第2実施例の第2変形例)
図17に示す飛しょう体1の動作では、ロックオン候補100の抽出からロックオン対象400の設定までの間、慣性航行が継続されるが、これに限らず、第1実施例の第2変形例と同様に、ユーザによるロックオン設定や、設定不能状態への変更を待たずに画像誘導を開始してもよい。図23は、本発明による飛しょう体1の画像誘導動作の第2実施例の第2変形例を示すフロー図である。
【0159】
図23を参照して、本変形例におけるステップS301、S302、S304〜S308、S310〜S313の動作は、図17に示す同符号の動作と同様であるので、その詳細な説明は省略し、図17に示す一例と異なる動作を中心に説明する。
【0160】
本変形例における飛しょう体1は、図17に示すステップS301、S302と同様に画像取得及びロックオン候補100の抽出を行う。続いて、飛しょう体1では、設定情報の受付を待つことなく、抽出したロックオン候補100をロックオン対象として設定し、画像誘導を行う(ステップS402、S403)。
【0161】
飛しょう体1は、図17に示すステップS303と同様に取得画像110及び目標識別情報200を指令装置2に送信する(ステップS404)。指令装置2は、取得画像110及び目標識別情報200を受信すると、これらを用いた目標抽出画像6を表示する。これにより、ユーザは、飛しょう体1が抽出したロックオン候補100を特定できる。本変形例では、飛しょう体1は、既にロックオン候補100をロックオン対象400として画像誘導されているため、ユーザは、目標抽出画像6により、飛しょう体1のロックオン対象400を確認することとなる。
【0162】
飛しょう体1は、発射後、任意の時期に設定可能状態に設定される。これにより、飛しょう体1は、指令装置2から送信される設定情報又は目標設定情報を受け付け可能な状態となる。飛しょう体1が設定可能状態となるタイミングや設定不能状態となるタイミングは、上述と同様、設定情報と目標設定情報のそれぞれについて個別に設定されてもよい。
【0163】
飛しょう体1が設定可能状態である間、図17に示すステップS304〜S308、S310〜S313と同様に、指令装置2から受け付けた設定情報や、目標設定情報に基づいて、ロックオン対象400又は慣性誘導目標の設定、変更が行われる。本変形例では、最初に設定情報を受け付けたとき、飛しょう体1は、既にロックオン候補100をロックオン対象400として画像誘導されている。このため、最初に設定情報を受け付けた場合でも、ロックオン対象400が更新されることとなる。又、目標設定情報を受け付けた場合、飛しょう体1は、画像誘導を解除して目標4の変更を行うことになる。
【0164】
ステップS313において、飛しょう体1は、画像誘導制御(終末誘導)を解除し、高度を上げて、慣性誘導制御(中間誘導)に移行する。飛しょう体1は、目標設定情報に含まれる新たな目標までの飛しょう経路に従い、新たな目標に向かって慣性航行することが好ましい。その後、新たな目標4に接近すると、再び目標方向の画像の撮像を開始し、ステップS301に移行する。
【0165】
一方、飛しょう体1が設定不能状態となるまで、飛しょう体1が設定情報や目標設定が受信しない場合、ロックオン候補100をロックオン対象400とした画像誘導が継続される(ステップS304Yes、S308)。
【0166】
以上のように、第2実施例の第2変形例によれば、飛しょう体1は、ロックオン候補100をロックオン対象400として抽出し画像誘導を開始するため、画像取得してから早期に画像誘導に移行できる。例えば、第2実施例では、設定情報を受信しない場合、設定不能状態となるまで画像誘導が開始されないことがあるが、本変形例では、少なくともロックオン候補100の抽出時から画像誘導が開始され得る。又、ロックオン候補100をロックオン対象400として画像誘導している間、飛しょう体1は、少なくともロックオン候補100として抽出された目標の周辺領域を撮像し、指令装置2に送信できる。このため、ユーザは、少なくともロックオン候補100として抽出された目標及びその周辺領域を含む取得画像110を確認しながら、ロックオン対象の設定又は承認が可能となる。
【0167】
以上のように、第2実施例における飛しょう体誘導システムによれば、目標方向の画像を取得してから目標変更が不可能となるまでの間、ロックオン対象400のみならず、取得画像110外の目標も変更することが可能となる。
【0168】
尚、第2実施例における飛しょう体1も、第1実施例の第1変形例(図14に示す動作)と同様に、設定情報又は目標設定情報の受付の都度、ロックオン対象400又は慣性誘導の目標が変更されてもよい。
【0169】
以上、本発明の実施の形態を詳述してきたが、具体的な構成は上記実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。
【0170】
本発明によるシステムでは、ユーザは、目標抽出画像6を利用して、ロックオン対象400の指定を行うことができる。このとき、ロックオン対象400の位置を指定するのではなく、飛しょう体1によって抽出されたロックオン候補100を承認することで、ロックオン候補100をロックオン対象400として指定しても構わない。具体的には、図24に示すように、ロックオン候補100をロックオン対象400として承認することを指示する、承認ボタン600を目標抽出画像6に含めてもよい。この場合、ユーザインタフェース23の操作により承認ボタン600が押下されると、ロックオン候補100が、ロックオン対象400として指定する設定情報が生成及び送信される。ユーザは、ロックオン候補100を承認するか否かを選択することで、ロックオン対象400を設定できるため、目標承認の指示時間が更に短縮できる。尚、目標抽出画像6にも、ロックオン対象400を設定可能な時間を示す設定可能時間501が表示されることが好ましい。
【0171】
又、上述において画像解析部12は、遺伝的アルゴリズムを利用してマッチング率の高い抽出用画像204を作成し、ロックオン候補100の抽出を行ったがこれに限らない。例えば、画像解析部12は、遺伝的アルゴリズムと異なるメタヒューリスティクスにより、条件画像201から、ロックオン候補100の抽出に最適な抽出用画像204を生成してもよい。ここで、メタヒューリスティクスは、組合せ最適化問題に対する発見的解法を示し、例えば、疑似焼きなまし法(SA法: Simulated Annealing)、タブー探索法(TS法:Tabu Search)、蟻コロニー最適化(ACO:Ant Colony Optimization)、又は粒子群最適化(PSO:Particle Swarm Optimization)等の手法を示す。
【0172】
更に、上述において、画像解析部12は、1つのロックオン候補100を抽出したが、これに限らず、複数のロックオン候補100を抽出してもよい。例えば、抽出用画像に含まれる目標T0の位置に対応する取得画像110上の位置の近傍(所定の範囲内)に複数の特徴(例示:線分、角、多角形等)が抽出される場合がある。この場合、画像解析部12は、複数の特徴それぞれをロックオン候補100として抽出する。指令装置2を利用するユーザは、複数のロックオン候補100からロックオン対象400となる目標を選択指定する。これにより、飛しょう体1は、抽出した複数のロックオン候補100の1つをロックオン対象400として、画像誘導される。
【0173】
又、複数のロックオン候補100が抽出された場合において、ロックオン対象400が設定されないまま設定不能状態となる場合がある。この場合、例えば、飛しょう体1の誘導制御部13は、設定不能状態となった時点において飛しょう体1が指向している座標に最も近いロックオン候補100をロックオン対象400に設定する。あるいは、誘導制御部13は、複数のロックオン候補100のうち、最も相関の高いロックオン候補100をロックオン対象400として設定する。これにより、複数のロックオン候補100のいずれもロックオン対象400として設定されない場合でも、飛しょう体1において自動的にロックオン対象400が設定され得る。
【0174】
尚、上述した実施例やその変形例は、技術的な矛盾がない範囲内で組み合わせて実行できる。
【符号の説明】
【0175】
1、1−1、1−2 :飛しょう体
2 :指令装置
3 :発射装置
4、4−1、4−2 :目標
5 :通信衛星
6 :目標抽出画像
10 :演算処理装置
11 :画像センサ
12 :画像解析部
13 :誘導制御部
14 :制御装置
15 :通信装置
16 :記憶装置
21 :飛しょう体制御装置
22 :表示装置
23 :ユーザインタフェース
100 :ロックオン候補
110 :取得画像
120 :補正画像
121 :画像補正部
122 :抽出用画像生成部
123 :目標抽出部
124 :目標識別部
151 :送信部
152 :受信部
160 :誘導制御プログラム
200 :目標識別情報
201 :条件画像
202 :目標位置情報
203 :解候補画像
204 :抽出用画像
400 :ロックオン対象
500 :目標変更用画面
図1
図2
図3
図4
図5
図6
図7
図8
図9A
図9B
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24