特許 6132981 飛行機の状態をリアルタイムに修正する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6132981

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】飛行機の状態をリアルタイムに修正する方法および装置

(51)【国際特許分類】

   G01C 21/24 20060101AFI20170515BHJP

   G01B 11/26 20060101ALI20170515BHJP

   B64C 39/02 20060101ALI20170515BHJP

   B64D 47/08 20060101ALI20170515BHJP

   G01C 7/04 20060101ALI20170515BHJP

【ＦＩ】

   G01C21/24

   G01B11/26 H

   B64C39/02

   B64D47/08

   G01C7/04

【請求項の数】14

【全頁数】13

(21)【出願番号】特願2016-526361(P2016-526361)

(86)(22)【出願日】2014年3月24日

(65)【公表番号】特表2017-501383(P2017-501383A)

(43)【公表日】2017年1月12日

(86)【国際出願番号】CN2014073985

(87)【国際公開番号】WO2015143615

(87)【国際公開日】20151001

【審査請求日】2016年4月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ジョウ，グーユエ

(72)【発明者】

【氏名】ヤン，シュオ

(72)【発明者】

【氏名】リウ，アン

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 中国特許出願公開第１０１５９８５５６（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／００−２１／３６

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｇ０１Ｂ １１／２６

Ｇ０１Ｃ ７／０４

(57)【特許請求の範囲】

【請求項1】

撮像ユニットの履歴状態情報と、前記撮像ユニットが撮影した現在画像および前記現在画像の前の履歴画像と、少なくとも１つのセンサが感知して現在測定した外部情報または内部情報とを取得するステップと；
前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点を予測し、前記適合特徴点から現在の前記撮像ユニットの外部情報または内部情報を計算するステップと；
予め較正した前記少なくとも１つのセンサの、前記撮像ユニットに対する位置関係に基づいて、前記撮像ユニットの外部情報と前記少なくとも１つのセンサの外部情報との間または前記撮像ユニットの内部情報と前記少なくとも１つのセンサの内部情報との間の相対的比例関係を計算するステップと；
前記相対的比例関係を利用して、前記履歴状態情報から推定して得た前記撮像ユニットの現在状態情報を修正するステップと
を含むことを特徴とする、飛行機の状態をリアルタイムに修正する方法。

【請求項2】

前記相対的比例関係を利用して、前記履歴状態情報から推定して得た前記撮像ユニットの現在状態情報を修正する前記ステップは：
予め構築された状態モデルと測定モデルに基づき、カルマンフィルタを用いて前記履歴状態情報をフィルタリングし、前記撮像ユニットの現在状態情報を得ることと；
前記相対的比例関係と前記現在状態情報を積演算することと
を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点を予測するステップは：
前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点の、前記現在画像中での座標位置を予測することと；
前記座標位置から最も近い特徴点を、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点として選択することと
を含むことを特徴とする請求項１または２に記載の方法。

【請求項4】

前記撮像ユニットは単眼撮像ヘッドを備えることを特徴とする請求項１〜３のいずれか一項に記載の方法。

【請求項5】

前記単眼撮像ヘッドは全景撮像ヘッドであり、前記撮像ユニットは、外部光線を前記単眼撮像ヘッドに反射するための反射鏡をさらに備え、前記撮像ユニットが撮影した現在画像を取得する前記ステップの後に：
予め構築された、前記反射鏡に対応する補正モデルに基づいて、外部空間中の任意の一点と前記撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を取得し、前記座標マッピング関係を利用して、前記撮像ユニットが撮影した現在画像を補正することをさらに含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記履歴状態情報は、撮像ユニットの姿勢、位置、速度、方向、および周囲の環境の情報のうち１種または複数種を含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。

【請求項7】

前記外部情報は、外部対象に対する距離情報を含み、前記内部情報は、加速度情報、方向情報、角速度情報、速度情報、または飛行距離情報のうち１種または複数種を含むことを特徴とする請求項１〜６のいずれか一項に記載の方法。

【請求項8】

飛行機は撮像ユニットと少なくとも１つのセンサとを備え：
前記撮像ユニットの履歴状態情報と、前記撮像ユニットが撮影した現在画像および前記現在画像の前の履歴画像と、前記少なくとも１つのセンサが感知して現在測定した外部情報または内部情報とを取得するための取得モジュールと；
前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点を予測し、前記適合特徴点から現在の前記撮像ユニットの外部情報または内部情報を計算するための適合モジュールと；
予め較正した前記少なくとも１つのセンサの、前記撮像ユニットに対する位置関係に基づいて、前記撮像ユニットの外部情報と前記少なくとも１つのセンサの外部情報との間または前記撮像ユニットの内部情報と前記少なくとも１つのセンサの内部情報との間の相対的比例関係を計算するための計算モジュールと；
前記相対的比例関係を利用して、前記履歴状態情報から推定して得た前記撮像ユニットの現在状態情報を修正するための修正モジュールと
を備えることを特徴とする、飛行機の状態をリアルタイムに修正する装置。

【請求項9】

前記修正モジュールはフィルタユニットと修正ユニットとを備え、
前記フィルタユニットは、予め構築された状態モデルと測定モデルに基づき、カルマンフィルタを用いて前記履歴状態情報をフィルタリングし、前記撮像ユニットの現在状態情報を得るために用いられ；
前記修正ユニットは、前記相対的比例関係と前記現在状態情報を積演算するために用いられることを特徴とする請求項８に記載の装置。

【請求項10】

前記適合モジュールは具体的に、前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点の、前記現在画像中での座標位置を予測し、前記座標位置から最も近い特徴点を、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点として選択するために用いられることを特徴とする請求項８または９に記載の装置。

【請求項11】

前記撮像ユニットは単眼撮像ヘッドを備えることを特徴とする請求項８〜１０のいずれか一項に記載の装置。

【請求項12】

前記単眼撮像ヘッドは全景撮像ヘッドであり、前記撮像ユニットは、外部光線を前記単眼撮像ヘッドに反射するための反射鏡をさらに備え、前記装置は、前記取得モジュールが、前記撮像ユニットが撮影した現在画像を取得した後、予め構築された、前記反射鏡に対応する補正モデルに基づいて、外部空間中の任意の一点と前記撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を取得し、前記座標マッピング関係を利用して、前記撮像ユニットが撮影した現在画像を補正するために用いられる補正モジュールをさらに備えることを特徴とする請求項１１に記載の装置。

【請求項13】

前記履歴状態情報は、撮像ユニットの姿勢、位置、速度、方向、および周囲の環境の情報を含むことを特徴とする請求項８〜１２のいずれか一項に記載の装置。

【請求項14】

前記外部情報は、外部対象に対する距離情報を含み、前記内部情報は、加速度情報、方向情報、角速度情報、速度情報、または飛行距離情報のうち１種または複数種を含むことを特徴とする請求項８〜１３のいずれか一項に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は無人飛行制御分野に関し、特に、飛行機の状態をリアルタイムに修正する方法に関し、さらに、飛行機の状態をリアルタイムに修正する装置に関する。

【背景技術】

【0002】

近年、撮像機器付きの無人操縦の飛行機（固定翼飛行機や、ヘリコプターを含む回転翼飛行機など）が、監視、計測、捜索救助等の応用分野で非常に重要な役割を果たしている。これらの飛行機の操縦については通常、ユーザがリモートコントローラを介して実現する。

【0003】

操縦者が飛行機を遠隔操作する過程において、操縦者の視認距離に限りがあるため、飛行機が遠くまで飛ぶかまたは視線が遮られる場合には、操縦者が飛行機の状態を観察するのは困難であり、飛行機に補助的飛行手段がなければ、飛行機が飛び去って失われたり障害物に衝突したりしやすい。このため、補助的飛行手段を備えた飛行機が、機運に応じて登場している。従来の飛行機は通常、撮像機器の助けにより視覚ナビゲーションを行うことにより、自らの状態情報を推定する。しかしながら、推定した状態情報と実際の状態情報との間にずれがあり、視覚ナビゲーションの時間が長くなるほどずれが広がることにより、視覚ナビゲーションの信頼性が低下していた。

【発明の概要】

【課題を解決するための手段】

【0004】

本発明の主な目的は、飛行機の状態情報を修正し、ずれを低減することができる、飛行機の状態をリアルタイムに修正する方法および装置を提供することである。

【0005】

上記の技術的課題を解決するために本発明が採用する１つの技術案は：撮像ユニットの履歴状態情報と、前記撮像ユニットが撮影した現在画像および前記現在画像の前の履歴画像と、少なくとも１つのセンサが感知して現在測定した外部情報または内部情報とを取得するステップと；前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点を予測し、前記適合特徴点から現在の前記撮像ユニットの外部情報または内部情報を計算するステップと；予め較正した前記少なくとも１つのセンサの、前記撮像ユニットに対する位置関係に基づいて、前記撮像ユニットの外部情報と前記少なくとも１つのセンサの外部情報との間もしくは前記撮像ユニットの内部情報と前記少なくとも１つのセンサの内部情報との間の相対的比例関係を計算するステップと；前記相対的比例関係を利用して、前記履歴状態情報から推定して得た前記撮像ユニットの現在状態情報を修正するステップとを含む、飛行機の状態をリアルタイムに修正する方法を提供することである。

【0006】

ここで、前記相対的比例関係を利用して、前記履歴状態情報から推定して得た前記撮像ユニットの現在状態情報を修正する前記ステップは：予め構築された状態モデルと測定モデルに基づき、カルマンフィルタを用いて前記履歴状態情報をフィルタリングし、前記撮像ユニットの現在状態情報を得ることと；前記相対的比例関係と前記現在状態情報を積演算することとを含む。

【0007】

ここで、前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点を予測するステップは：前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点の、前記現在画像中での座標位置を予測することと；前記座標位置から最も近い特徴点を、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点として選択することとを含む。

【0008】

ここで、前記撮像ユニットは単眼撮像ヘッドを備える。

【0009】

ここで、前記単眼撮像ヘッドは全景撮像ヘッドであり、前記撮像ユニットは、外部光線を前記単眼撮像ヘッドに反射するための反射鏡をさらに備え、前記撮像ユニットが撮影した現在画像を取得する前記ステップの後、前記方法は：予め構築された、前記反射鏡に対応する補正モデルに基づいて、外部空間中の任意の一点と前記撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を取得し、前記座標マッピング関係を利用して、前記撮像ユニットが撮影した現在画像を補正することをさらに含む。

【0010】

ここで、前記状態情報は、撮像ユニットの姿勢、位置、速度、方向、および周囲の環境の情報を含む。

【0011】

ここで、前記外部情報は、外部対象に対する距離情報を含み、前記内部情報は、加速度情報、方向情報、角速度情報、速度情報、または飛行距離情報のうち１種または複数種を含む。

【0012】

上記の技術的課題を解決するために本発明が採用するもう１つの技術案は：飛行機が、撮像ユニットと、少なくとも１つのセンサとを備え、前記撮像ユニットの履歴状態情報と、前記撮像ユニットが撮影した現在画像および前記現在画像の前の履歴画像と、前記少なくとも１つのセンサが感知して現在測定した外部情報または内部情報とを取得するための取得モジュールと；前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点を予測し、前記適合特徴点から現在の前記撮像ユニットの外部情報または内部情報を計算するための適合モジュールと；予め較正した前記少なくとも１つのセンサの、前記撮像ユニットに対する位置関係に基づいて、前記撮像ユニットの外部情報と前記少なくとも１つのセンサの外部情報との間もしくは前記撮像ユニットの内部情報と前記少なくとも１つのセンサの内部情報との間の相対的比例関係を計算するための計算モジュールと；前記相対的比例関係を利用して、前記履歴状態情報から推定して得た前記撮像ユニットの現在状態情報を修正するための修正モジュールと、を備える、飛行機の状態をリアルタイムに修正する装置を提供することである。

【0013】

ここで、前記修正モジュールはフィルタユニットと修正ユニットとを備え、前記フィルタユニットは、予め構築された状態モデルと測定モデルに基づき、カルマンフィルタを用いて前記履歴状態情報をフィルタリングし、前記撮像ユニットの現在状態情報を得るために用いられ；前記修正ユニットは、前記相対的比例関係と前記現在状態情報を積演算するために用いられる。

【0014】

ここで、前記適合モジュールは具体的に、前記履歴状態情報に基づいて、前記履歴画像中の目標特徴点の、前記現在画像中での座標位置を予測し、前記座標位置から最も近い特徴点を、前記履歴画像中の目標特徴点に対応する前記現在画像中の適合特徴点として選択するために用いられる。

【0015】

ここで、前記撮像ユニットは単眼撮像ヘッドを備える。

【0016】

ここで、前記単眼撮像ヘッドは全景撮像ヘッドであり、前記撮像ユニットは、外部光線を前記単眼撮像ヘッドに反射するための反射鏡をさらに備え、前記装置は、前記取得モジュールが、前記撮像ユニットが撮影した現在画像を取得した後、予め構築された、前記反射鏡に対応する補正モデルに基づいて、外部空間中の任意の一点と前記撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を取得し、前記座標マッピング関係を利用して、前記撮像ユニットが撮影した現在画像を補正するために用いられる補正モジュールをさらに備える。

【0017】

ここで、前記状態情報は、撮像ユニットの姿勢、位置、速度、方向、および周囲の環境の情報を含む。

【0018】

ここで、前記外部情報は、外部対象に対する距離情報を含み、前記内部情報は、加速度情報、方向情報、角速度情報、速度情報、または飛行距離情報のうち１種または複数種を含む。

【0019】

本発明の有益な効果は次の通りである：従来技術の場合と異なり、本発明が提供する、飛行機の状態をリアルタイムに修正する方法および装置は、履歴状態情報および撮像ユニットが撮影した履歴画像と現在画像中の特徴点によって、撮像ユニットの外部情報または内部情報を計算し、少なくとも１つのセンサの外部情報または内部情報をさらに結び付けて、２つの外部情報または内部情報の間の相対的比例関係を得、相対的比例関係を利用して、履歴状態情報に基づいて得た現在状態情報を修正することにより、飛行機の状態情報を修正する目的を達成することができ、状態情報のずれを低減して正確性と信頼性を高めることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の、飛行機の状態をリアルタイムに修正する方法の一実施形態のフローチャートである。

【図2】本発明の、飛行機の状態をリアルタイムに修正する方法における画像補正前および補正後の比較概略図である。

【図3】図１に示す、飛行機の状態をリアルタイムに修正する方法の、具体的な応用場面におけるフローチャートである。

【図4】本発明の、飛行機の状態をリアルタイムに修正する装置の一実施形態の構造概略図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態中の図面を参照しながら、本発明の実施形態中の技術案について明確かつ十全に記述するが、当然ながら、記述される実施形態は本発明の一部の実施形態であるに過ぎず、すべての実施形態ではない。本発明中の実施形態に基づき、当業者が、進歩性を有する作業を行わない前提の下で得た他のあらゆる実施形態は、本発明が保護する範囲にいずれも含まれる。

【0022】

図１に示すのは、本発明の、飛行機の状態をリアルタイムに修正する方法の一実施形態のフローチャートであり、この方法は次のステップを含む：

【0023】

Ｓ１０１：撮像ユニットの履歴状態情報と、撮像ユニットが撮影した現在画像および現在画像の前の履歴画像と、少なくとも１つのセンサが感知して現在測定した外部情報または内部情報とを取得する。

【0024】

ここで、飛行機が離陸する時点での状態情報の情報量は０であり、離陸した後の単位時刻毎の状態情報はいずれも１つ前の単位時刻の状態情報に関連する。撮像ユニットは飛行機に固定されているので、飛行機の状態情報は撮像ユニットの状態情報と見なすことができる。本実施形態では、状態情報は、撮像ユニットの姿勢、位置、速度、方向、および周囲の環境の情報等を少なくとも含む。本実施形態では、撮像ユニットは単眼撮像ヘッドを備える。

【0025】

個々の単位時刻の間の間隔が長ければ、履歴状態情報は、好ましくは１つ前の単位時刻の状態情報であってよく、履歴画像は、好ましくは１つ前の単位時刻の画像であってよく；個々の単位時刻の間隔が短ければ、履歴状態情報は複数の単位時刻を隔てた状態情報であってよく、履歴画像は複数の単位時刻を隔てた画像であってよい。

【0026】

本実施形態では、外部情報は、外部対象に対する距離情報を含み、内部情報は、加速度情報、方向情報、角速度情報、速度情報、または飛行距離情報のうち１種または複数種を含む。具体的に実施する際には、レーザセンサや超音波センサ等の外部センサを用いて外部対象に対する距離を測定することができ、加速度センサ、方向センサ、飛行距離計等の内部センサを用いて加速度、方向、飛行距離等の内部情報を測定することができる。

【0027】

Ｓ１０２：履歴状態情報に基づいて、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点を予測し、適合特徴点から現在の撮像ユニットの外部情報または内部情報を計算する。

【0028】

具体的には、撮像ユニットが撮影した画像は、樹木や建築物等、多くの物体情報を含み、これらの物体の縁角点は、いずれも目標特徴点とすることができる。履歴状態情報は、方向や速度等の、運動ベクトルを特徴づける情報を含むので、履歴画像中の目標特徴点を選択した後、履歴状態情報中の方向と速度に基づいて、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点を推定することができる。

【0029】

撮像ユニットの外部情報または内部情報と、センサが測定した外部情報または内部情報とは、異なる測定結果に属する。撮像ユニットの外部情報または内部情報はいずれも適合特徴点から算出することができる。例えば、外部対象に対する距離情報を計算する場合には、現在の特徴点の座標値によって撮像ユニットと適合特徴点の距離を計算しており、速度情報を計算する場合には、現在の特徴点の座標値、目標特徴点の座標値、および隔てた単位時刻によって撮像ユニットの速度を計算する。

【0030】

本実施形態の好ましい案として、履歴状態情報に基づいて、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点を予測するステップは、具体的に：履歴状態情報に基づいて、履歴画像中の目標特徴点の、現在画像中の座標位置を予測することと；座標位置から最も近い特徴点を、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点として選択することとを含むことができる。

【0031】

ここで、履歴状態情報によって、目標特徴点がある座標位置の変位を得ることにより、目標特徴点の、現在画像中の座標位置を決定することができ、この過程は、オプティカルフロー法や、特徴記述子に基づく適合法等の方法を採用することができる。当然ながら、飛行機の状態情報には変化が存在する可能性があり、目標特徴点の、現在画像中の座標位置に座標点がない可能性があるので、この座標位置から最も近い特徴点を探して適合特徴点としてもよい。

【0032】

Ｓ１０３：予め較正した少なくとも１つのセンサの、撮像ユニットに対する位置関係に基づいて、撮像ユニットの外部情報と少なくとも１つのセンサの外部情報との間もしくは撮像ユニットの内部情報と少なくとも１つのセンサの内部情報との間の相対的比例関係を計算する。

【0033】

ここで、飛行機上のセンサと撮像ユニットとの間の位置関係は、事前の較正によって得られたものであり、既知の量である。位置関係は、センサと撮像ユニットの間の距離を含む。位置関係と、センサの外部情報または内部情報と、撮像ユニットの外部情報または内部情報とに基づき、２つの外部情報の間または２つの内部情報の間の相対的比例関係を得ることができる。

【0034】

Ｓ１０４：相対的比例関係を利用して、履歴状態情報から推定して得た撮像ユニットの現在状態情報を修正する。

【0035】

本実施形態の好ましい案として、Ｓ１０４は具体的に：予め構築された状態モデルと測定モデルに基づいて、カルマンフィルタを用いて履歴状態情報をフィルタリングし、撮像ユニットの現在状態情報を得ることと；相対的比例関係と現在状態情報を積演算することとを含む。

【0036】

ここで、状態モデルと測定モデルはいずれも予め構築されたものであり、既知のものである。カルマンフィルタを用いて得た現在状態情報と実際状態情報に比例関係が存在し、相対的比例関係と現在状態情報を積演算することによって現在状態情報を実際状態情報にさらに近づけ、さらには実際状態情報と等しくすることにより、修正の目的を果たす。

【0037】

説明を要するのは、本実施形態は、カルマンフィルタを用いる以外に、ＥＫＦ（Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ、拡張カルマンフィルタ）など他のフィルタを用いてもよいという点である。

【0038】

より多くの実施形態において、撮像ユニットの撮像範囲を考慮して、単眼撮像ヘッドに全景撮像ヘッドを用いており、かつ、撮像ユニットは反射鏡をさらに備え、反射鏡は外部光線を単眼撮像ヘッドに反射するために用いられる。そして、撮像ユニットが撮影した現在画像を取得するステップの後に、この方法は：予め構築された、反射鏡に対応する補正モデルに基づいて、外部空間中の任意の一点と撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を取得し、座標マッピング関係を利用して、撮像ユニットが撮影した現在画像を補正することをさらに含む。

【0039】

ここで、反射鏡の曲面は、通常は放物線または双曲線である。放物線を例にとると、単眼撮像ヘッドの結像点は放物線の準線上に位置しており、かつ、放物線の焦点から結像点までを結ぶ線は準線に対して垂直である。放物線上の任意の一点から準線までの距離は焦点までの距離と等しいので、この性質に基づいて補正モデルを構築することができることにより、補正モデルに基づいて、外部空間中の任意の一点と撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を得て、座標マッピング関係を利用し、単眼撮像ヘッドの現在画像を展開する際に補正することができる。図２に示すように、補正前の現在画像は反射鏡による影響が深刻であれば、柱形に展開して補正された後に正しい画像を得ることができる。

【0040】

図３に示すのは、図１に示した、飛行機の状態をリアルタイムに修正する方法の、具体的な応用場面におけるフローチャートであり、本実施形態では、撮像ユニットは反射鏡と単眼撮像ヘッドを備え、センサにはレーザセンサを採用する。この方法は次のステップを含む：

【0041】

Ｓ２０１：初期化を行い、予め較正した撮像ユニットと少なくとも１つのセンサとの間の位置関係と、予め構築された状態モデルおよび測定モデルと、予め構築された、反射鏡に対応する補正モデルと、カメラの初期状態情報とを取得する。

【0042】

ここで、状態モデルの方程式は次の通りである：
ｘ（ｋ｜ｋ−１）＝Ａｘ（ｋ−１｜ｋ−１）＋ＢＵ（ｋ）＋ｗ（ｋ）
式中、ｋは時間係数であり、ｘ（ｋ｜ｋ−１）は現在状態情報の予測値であり、ｘ（ｋ−１｜ｋ−１）は１つ前の状態情報の推計値であり、Ｕ（ｋ）は既知の入力量であり、ｗはプロセスノイズであり、Ａ、Ｂはいずれも状態パラメータである。

【0043】

測定モデルの方程式は次の通りである：
Ｚ（ｋ）＝Ｈｘ（ｋ｜ｋ−１）＋ｖ（ｋ）
式中、Ｚ（ｋ）は適合特徴点の測定値であり、ｖはプロセスノイズであり、Ｈは測定パラメータである。

【0044】

Ｓ２０２：１つ前の状態情報と状態モデルに基づいて、システムの現在状態情報の予測値を予測して得る。

【0045】

Ｓ２０３：撮像ユニットが撮影した現在画像と、現在画像の前の１つ前の画像と、レーザセンサが測定したワールド座標系の下の特徴点とを取得する。

【0046】

Ｓ２０４：補正モデルに基づいて、外部空間中の任意の一点と現在画像中の対応点との座標マッピング関係を取得し、座標マッピング関係を利用して現在画像を補正する。

【0047】

Ｓ２０５：１つ前の状態情報に基づいて、１つ前の画像中の目標特徴点に対応する補正後の現在画像中の適合特徴点を予測し、所定の測定モデルと適合特徴点に基づいて適合特徴点の測定値を得る。

【0048】

ここで、測定モデルの方程式において、ｘ（ｋ｜ｋ−１）は目標特徴点であり、現在状態情報の予測値中１つのパラメータである。

【0049】

Ｓ２０６：現在状態情報の予測値と適合特徴点の測定値を、カルマンフィルタを用いてフィルタリングし、撮像ユニットの現在状態情報の推計値を得る。

【0050】

ここで、カルマンフィルタの時間更新方程式は次の通りである：
ｘ（ｋ｜ｋ）＝ｘ（ｋ｜ｋ−１）＋ｋｇ（ｋ）（Ｚ（ｋ）−Ｈｘ（ｋ｜ｋ−１））
ｋｇ（ｋ）＝Ｐ（ｋ｜ｋ−１）Ｈ’／ＨＰ（ｋ｜ｋ−１））Ｈ’＋Ｒ）
式中、ｘ（ｋ｜ｋ）は現在状態情報の推計値であり、ｋｇ（ｋ）はカルマンゲインであり、Ｐ（ｋ｜ｋ−１）はｘ（ｋ｜ｋ−１）が対応する共分散であり、Ｒはｖの共分散であり、Ｈ’はＨの転置行列である。

【0051】

Ｓ２０７：レーザセンサからワールド座標系の下の特徴点までの第１の距離と、撮像ユニットから適合特徴点の測定値までの第２の距離とを計算し、位置関係に基づいて第１の距離と第２の距離との間の相対的比例関係を計算する。

【0052】

ここで、レーザセンサが発するレーザビーム上に特徴点がなければ、レーザビームから最も近い特徴点を選定する。

【0053】

Ｓ２０８：相対的比例関係と現在状態情報の推計値を積演算する。

【0054】

ここで、積演算を行った後、外部マークポイントクラウドなどの現在状態情報および外部情報を利用してローカルマップを構築することができ、このローカルマップによって障害物の空間位置を識別することができることにより、飛行機が操縦者の視野の外にあるときに障害物の回避とナビゲーションを行うことができる。

【0055】

図４に示すのは、本発明の、飛行機の状態をリアルタイムに修正する装置の一実施形態の構造概略図である。飛行機は、撮像ユニットと、少なくとも１つのセンサとを備え、この装置は、取得モジュール１０と、適合モジュール２０と、計算モジュール３０と、修正モジュール４０とを備える。

【0056】

取得モジュール１０は、撮像ユニットの履歴状態情報と、撮像ユニットが撮影した現在画像および現在画像の前の履歴画像と、少なくとも１つのセンサが感知して現在測定した外部情報または内部情報とを取得するために用いられる。

【0057】

ここで、飛行機が離陸する時点での状態情報の情報量は０であり、離陸した後の単位時刻毎の状態情報はいずれも１つ前の単位時刻の状態情報に関連する。撮像ユニットは飛行機に固定されているので、飛行機の状態情報は撮像ユニットの状態情報と見なすことができる。本実施形態では、状態情報は、撮像ユニットの姿勢、位置、速度、方向、および周囲の環境の情報等を少なくとも含む。本実施形態では、撮像ユニットは単眼撮像ヘッドを備える。

【0058】

個々の単位時刻の間の間隔が長ければ、履歴状態情報は、好ましくは１つ前の単位時刻の状態情報であってよく、履歴画像は、好ましくは１つ前の単位時刻の画像であってよく；個々の単位時刻の間隔が短ければ、履歴状態情報は複数の単位時刻を隔てた状態情報であってよく、履歴画像は複数の単位時刻を隔てた画像であってよい。

【0059】

本実施形態では、外部情報は、外部対象に対する距離情報を含み、内部情報は、加速度情報、方向情報、角速度情報、速度情報、または飛行距離情報のうち１種または複数種を含む。具体的に実施する際には、レーザセンサや超音波センサ等の外部センサを用いて外部対象に対する距離を測定することができ、加速度センサ、方向センサ、飛行距離計等の内部センサを用いて加速度、方向、飛行距離等の内部情報を測定することができる。

【0060】

適合モジュール２０は、履歴状態情報に基づいて、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点を予測し、適合特徴点から現在の撮像ユニットの外部情報または内部情報を計算するために用いられる。

【0061】

ここで、具体的には、撮像ユニットが撮影した画像は、樹木や建築物等、多くの物体情報を含み、これらの物体の縁角点は、いずれも目標特徴点とすることができる。履歴状態情報は、方向や速度等の、運動ベクトルを特徴づける情報を含むので、履歴画像中の目標特徴点を選択した後、履歴状態情報中の方向と速度に基づいて、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点を推定することができる。

【0062】

撮像ユニットの外部情報または内部情報と、センサが測定した外部情報または内部情報とは、異なる測定結果に属する。撮像ユニットの外部情報または内部情報はいずれも適合特徴点から算出することができ、例えば、外部対象に対する距離情報を計算する場合には、現在の特徴点の座標値によって撮像ユニットと適合特徴点の距離を計算し、速度情報を計算する場合には、現在の特徴点の座標値、目標特徴点の座標値、および隔てた単位時刻によって撮像ユニットの速度を計算する。

【0063】

本実施形態の好ましい案として、適合モジュール２０は具体的に、履歴状態情報に基づいて、履歴画像中の目標特徴点の、現在画像中の座標位置を予測して、座標位置から最も近い特徴点を、履歴画像中の目標特徴点に対応する現在画像中の適合特徴点として選択するために用いられる。

【0064】

ここで、履歴状態情報によって、目標特徴点がある座標位置の変位を得ることにより、目標特徴点の、現在画像中の座標位置を決定することができ、この過程は、オプティカルフロー法や、特徴記述子に基づく適合法等の方法を採用することができる。当然ながら、飛行機の状態情報には変化が存在する可能性があり、目標特徴点の、現在画像中の座標位置に座標点がない可能性があるので、この座標位置から最も近い特徴点を探して適合特徴点としてもよい。

【0065】

計算モジュール３０は、予め較正した少なくとも１つのセンサの、撮像ユニットに対する位置関係に基づいて、撮像ユニットの外部情報と少なくとも１つのセンサの外部情報との間もしくは撮像ユニットの内部情報と少なくとも１つのセンサの内部情報との間の相対的比例関係を計算するために用いられる。

【0066】

ここで、飛行機上のセンサと撮像ユニットとの間の位置関係は、事前の較正によって得られたものであり、既知の量である。位置関係は、センサと撮像ユニットの間の距離を含む。位置関係と、センサの外部情報または内部情報と、撮像ユニットの外部情報または内部情報とに基づき、２つの外部情報の間または２つの内部情報の間の相対的比例関係を得ることができる。

【0067】

修正モジュール４０は、相対的比例関係を利用して、履歴状態情報から推定して得た撮像ユニットの現在状態情報を修正するために用いられる。

【0068】

ここで、本実施形態の好ましい案として、修正モジュール４０は、フィルタユニット４１０と修正ユニット４２０とを備える。フィルタユニット４１０は、予め構築された状態モデルと測定モデルに基づいて、カルマンフィルタを用いて履歴状態情報をフィルタリングし、撮像ユニットの現在状態情報を得るために用いられる。修正ユニット４２０は、相対的比例関係と現在状態情報を積演算するために用いられる。

【0069】

ここで、状態モデルと測定モデルはいずれも予め構築されたものであり、既知のものである。カルマンフィルタを用いて得た現在状態情報と実際状態情報に比例関係が存在し、相対的比例関係と現在状態情報を積演算することによって現在状態情報を実際状態情報にさらに近づけ、さらには実際状態情報と等しくすることにより、修正の目的を果たす。

【0070】

説明を要するのは、本実施形態は、カルマンフィルタを用いる以外に、ＥＫＦなど他のフィルタを用いてもよいという点である。

【0071】

より多くの実施形態において、撮像ユニットの撮像範囲を考慮して、単眼撮像ヘッドに全景撮像ヘッドを用いており、かつ、撮像ユニットは反射鏡をさらに備え、反射鏡は外部光線を単眼撮像ヘッドに反射するために用いられる。そして、この装置は補正モジュール５０をさらに備えていてもよい。補正モジュール５０は、取得モジュール１０が、撮像ユニットが撮影した現在画像を取得した後、予め構築された、反射鏡に対応する補正モデルに基づいて、外部空間中の任意の一点と撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を取得し、座標マッピング関係を利用して、撮像ユニットが撮影した現在画像を補正するために用いられる。

【0072】

ここで、反射鏡の曲面は、通常は放物線または双曲線である。放物線を例にとると、単眼撮像ヘッドの結像点は放物線の準線上に位置しており、かつ、放物線の焦点から結像点までを結ぶ線は準線に対して垂直である。放物線上の任意の一点から準線までの距離は焦点までの距離と等しいので、この性質に基づいて補正モデルを構築することができることにより、補正モデルに基づいて、外部空間中の任意の一点と撮像ユニットが撮影した現在画像中の対応点との座標マッピング関係を得て、座標マッピング関係を利用し、単眼撮像ヘッドの現在画像を展開する際に補正することができる。

【0073】

本発明の実施形態は、上記実施形態の装置を備えた飛行機をさらに提供するものであり、飛行機の他の構造については従来技術が参照され、ここでは詳述しない。

【0074】

上記方式によって、本発明の、飛行機の状態をリアルタイムに修正する方法および装置は、履歴状態情報と、撮像ユニットが撮影した履歴画像および現在画像中の特徴点とによって、撮像ユニットの外部情報または内部情報を計算し、少なくとも１つのセンサの外部情報または内部情報をさらに結び付けて、２つの外部情報または内部情報の間の相対的比例関係を得、相対的比例関係を利用して、履歴状態情報に基づいて得た現在状態情報を修正することにより、飛行機の状態情報を修正する目的を達成することができ、状態情報のずれを低減して正確性と信頼性を高め、飛行機が飛び去って失われるのを避け、操縦者の飛行体験を豊かにすることができる。

【0075】

上記は本発明の実施形態であるにすぎず、このため本発明の特許の範囲を限定するものではなく、本発明の明細書および図面の内容を利用して行われた同等な構造または同等なプロセス変換は、他の関連する技術分野に直接的または間接的に用いられ、いずれも同じ理由で本発明の特許保護の範囲内に含まれる。

【図1】

【図2】

【図3】

【図4】