特許 7153820 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-05

(45)【発行日】2022-10-14

(54)【発明の名称】画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置

(51)【国際特許分類】

   B64D 47/00 20060101AFI20221006BHJP

   G08G 5/00 20060101ALI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

   G06V 10/762 20220101ALI20221006BHJP

   G05D 1/10 20060101ALI20221006BHJP

   G06V 20/13 20220101ALI20221006BHJP

【ＦＩ】

B64D47/00

G08G5/00 A

G06T7/00 640

G06V10/762

G06T7/00 350B

G05D1/10

G06V20/13

【請求項の数】 8

(21)【出願番号】P 2022091137

(22)【出願日】2022-06-03

(65)【公開番号】P2022119973

(43)【公開日】2022-08-17

【審査請求日】2022-06-03

(31)【優先権主張番号】202210559442.4

(32)【優先日】2022-05-23

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】522223408

【氏名又は名称】珠海翔翼航空技術有限公司

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際特許業務法人

(72)【発明者】

【氏名】曾鈿

(72)【発明者】

【氏名】呉林

(72)【発明者】

【氏名】劉小東

(72)【発明者】

【氏名】葉宗華

(72)【発明者】

【氏名】戴慧林

(72)【発明者】

【氏名】翁沛炎

【審査官】長谷井 雅昭

(56)【参考文献】

【文献】特許第６８９０７４９（ＪＰ，Ｂ１）

【文献】韓国登録特許第１０－２３７９３０３（ＫＲ，Ｂ１）

【文献】国際公開第２０１９／０４４２４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ２０／１３

Ｂ６４Ｄ ４７／００

Ｇ０８Ｇ ５／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７６２

Ｇ０５Ｄ １／１０

Ｂ６４Ｆ １／３６

(57)【特許請求の範囲】

【請求項1】

航路における過去の衛星画像、気象情報および等高線画像を取得することと、
等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得することと、
飛行体に配置されたセンサーに基づき、センサーデータを取得することと、
センサーデータおよび気象情報に基づき、飛行体の航続距離を計算することと、
飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得することと、
候補着陸領域の現在の衛星画像を取得して、着陸領域を選定することと、
前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成することと、を含み、
前記候補着陸領域の取得方法には、
等高線情報を含む衛星画像に基づき、高度差が予め設定された穏やかな閾値よりも小さい連続領域を平坦領域として選択することと、
地形画像識別モデルによって、各平坦領域の地形分析結果を識別することと、
地形分析結果に従って、対応する接地滑走矩形枠の長さおよび幅を計算することと、
前記接地滑走矩形枠を含むことに十分である平坦領域を候補着陸領域として選択するとともに、地形分析結果に従って候補着陸領域に対して着陸スコア値を計算することと、が含まれ、
前記地形画像識別モデルには、
過去の衛星画像に従って、平坦領域の地形タイプを識別するための地形タイプ識別モデルと、
過去の衛星画像に従って、平坦領域の画像均一性スコア値を識別するための地形均一性識別モデルと、
過去の衛星画像を異なるグリッドに区画し、各グリッドと他のすべてのグリッドとの整合性スコア値を計算するための区画整合性識別モデルと、が含まれ、
地形タイプ、画像均一性スコア値および整合性スコア値に従って、重み付け加算して地形分析結果を得、
前記地形タイプ識別モデルは、ＬＢＰアルゴリズムおよびＫクラスタリングアルゴリズムに基づいて構築された分類モデルであり、具体的に、
平坦領域の過去の衛星画像に基づいて二値画像に変換して、各画素ポイントに対して近傍ウィンドウを設定し、
各画素ポイントの近傍ウィンドウにおける画素の平均画素値を計算し、
平均画素値と、対応する画素ポイントの画素値のサイズを比較し、平均画素値が画素ポイントの画素値以上の画素ポイントを１とし、そうでなければ０として、ＬＢＰ二値化画像を得、
畳み込みレイヤによって前記ＬＢＰ二値化画像に対して特徴抽出してＬＢＰ特徴画像を得、
ｃｏｎｃａｔレイヤによって前記ＬＢＰ特徴画像および衛星画像を結合して、特徴結合画像を得、
前記特徴結合画像に基づき、ＫＮＮクラシファイヤによって特徴結合画像と予め設定された地形タイプデータベースにおける各地形画像との類似度を計算して、平坦領域の地形タイプを出力することを特徴とする、飛行体強制着陸経路計画方法。

【請求項2】

前記地形均一性識別モデルは、
各画素ポイントと、所在する平坦領域との画素均一性

を計算することを特徴とする、
請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。

【数1】

（ただし、

は、座標が

の画素値、ｉおよびｊは、画素番号、

は、ｘ軸方向における画素期待値、

は、ｙ軸方向における画素期待値、

は、ｘ軸方向における画素標準偏差、

は、ｙ軸方向における画素標準偏差を表し、
平坦領域の画素ポイントの相関度平均値は、該平坦領域の画像均一性スコア値を表す。）

【請求項3】

前記区画整合性識別モデルは、具体的に以下の通りであることを特徴とする、
請求項２に記載の画像識別に基づく飛行体強制着陸経路計画方法。

【数2】

（ただし、

は、整合性スコア値、

は、グリッドのスケール、

は、色整合性スコア値、

は、相対高度整合性スコア値、

は、色整合性スコア値の重み、

は、相対高度整合性スコア値の重みを表し、
前記色整合性スコア値

は、下記式で表され、

【数3】

ただし、

は、グリッドｐ～グリッドｑの色類似度、

は、グリッドｑ～グリッドｐの色類似度を表し、

【数4】

ただし、

および

は、それぞれ、グリッド

～グリッド

の類似度の計算、およびグリッド

～グリッド

の類似度の計算、

および

は、それぞれグリッドの平均色値、

は、予め設定された定数、

は、グリッド数を表し、
前記相対高度整合性スコア値

は、下記式で表され、

【数5】

ただし、

は、グリッドｐ～グリッドｑの画像相対高度整合性、

は、グリッドｑ～グリッドｐの画像相対高度整合性を表し、

【数6】

ただし、

は、グリッドｐの平均高度、

は、グリッドｑの平均高度を表す。）

【請求項4】

前記候補着陸領域の現在の衛星画像を取得し、着陸領域を選定することは、具体的に、
候補着陸領域の現在の衛星画像を取得し、
着陸スコア値が最も高い候補着陸領域の現在の衛星画像と過去の衛星画像との類似度を計算し、類似度が予め設定された信頼閾値以上である場合、前記着陸スコア値が最も高い候補着陸領域を着陸領域として選定し、
類似度が前記予め設定された信頼閾値を下回る場合、着陸スコア値が次に高い候補着陸領域を選択し、類似度が予め設定された信頼閾値以上になるまで、現在の衛星画像と過去の衛星画像との類似度を計算し、着陸領域を選定する、ことを特徴とする、
請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。

【請求項5】

前記着陸点の選択方法は、
飛行体座標に基づき、飛行体座標から前記着陸領域までの進行方向を計算し、
着陸領域において、進行方向を軸線として、軸線方向において接地滑走矩形枠を含む空間が存在すれば、軸線方向において接地滑走矩形枠の長さが最も長いことを満たす開始側の中点を着陸点として選択し、
軸線方向において接地滑走矩形枠を含む空間が存在しなければ、軸線方向において偏角が最も小さい方向における、接地滑走矩形枠の長さが最も長い開始側の中点を着陸点として選択することを特徴とする、
請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。

【請求項6】

前記計画方法は、救援難易度を評価するステップをさらに含み、具体的に、
すべての候補着陸領域の過去の衛星画像に対して、すべての候補着陸領域から幹線道路までの経路および経路距離を計算し、
前記経路は、等高線情報を含む衛星画像の中で、予め設定された水平距離内の高度差が予め設定された勾配閾値を下回ることを満たし、
経路距離に従って救援難易度スコア値を設定し、
救援難易度スコア値を前記地形タイプ、画像均一性ブランチおよび整合性スコア値と重み付け加算して地形分析結果を得ることを特徴とする、
請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。

【請求項7】

少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサに通信接続されるメモリーと、を含む電子装置であって、
前記メモリーには、前記プロセッサにより実行可能な命令が記憶され、前記命令は、前記プロセッサにより実行されて、請求項１～６のいずれか一項に記載の画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられる、電子装置。

【請求項8】

コンピュータにより実行されて、請求項１～６のいずれか一項に記載の画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられるコンピュータ命令が記憶されている、コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像識別の分野に属し、具体的に、画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置に関する。

【背景技術】

【0002】

技術の発展に伴い、飛行体は、主な交通および輸送手段の１つとなっている。しかし、各々の飛行体のサービス時間が十数年に達することができるが、サービス時間の経過に従って、飛行体は、不可避に様々な故障が発生し、悪天候条件に遭遇する場合に、飛行体に様々な損傷をもたらして、飛行体が安全に目的地に到達できない恐れがある。

【0003】

飛行体が安全に目的地に到達できない状況に対して、パイロットは、現在の飛行体の状況に対して強制着陸を行う必要がある。現在、故障が発生すると、パイロットが管制塔からの遠隔命令を受信することによってしか強制着陸タスクを行うことができない。パイロットによる全部の操作がいずれも視覚識別に基づいて反応するので、視程が不足であるか、または雲霧に遮蔽された場合に、装置の補助がなく、視覚識別だけで正確に反応することが困難である。強制着陸タスクは、通常、やむを得ず行われることであり、且つ反応時間が極めて短く、リアルタイム性の要求が高いため、成功確率を向上させるように、できるだけ補助を提供することは、重要な意義を持つことになっている。

【発明の概要】

【課題を解決するための手段】

【0004】

従来技術における、視程が不足であるか、または雲霧に遮蔽された場合に、装置の補助がなく正確に反応することが困難であるという問題を解決するために、本発明は、
航路における過去の衛星画像、気象情報および等高線画像を取得することと、
等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得することと、
飛行体に配置されたセンサーに基づき、センサーデータを取得することと、
センサーデータおよび気象情報に基づき、飛行体の航続距離を計算することと、
飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得することと、
候補着陸領域の現在の衛星画像を取得して、着陸領域を選定することと、
前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成することと、を含む画像識別に基づく飛行体強制着陸経路計画方法を提供する。

【0005】

一部の好適な実施形態において、前記候補着陸領域の取得方法には、
等高線情報を含む衛星画像に基づき、高度差が予め設定された穏やかな閾値よりも小さい連続領域を平坦領域として選択することと、
地形画像識別モデルによって、各平坦領域の地形分析結果を識別することと、
地形分析結果に従って、対応する接地滑走矩形枠の長さおよび幅を計算することと、
前記接地滑走矩形枠を含むことに十分である平坦領域を候補着陸領域として選択するとともに、地形分析結果に従って候補着陸領域に対して着陸スコア値を計算することと、が含まれる。

【0006】

一部の好適な実施形態において、前記地形画像識別モデルには、
過去の衛星画像に従って、平坦領域の地形タイプを識別するための地形タイプ識別モデルと、
過去の衛星画像に従って、平坦領域の画像均一性スコア値を識別するための地形均一性識別モデルと、
過去の衛星画像を異なるグリッドに区画し、各グリッドと他のすべてのグリッドとの整合性スコア値を計算するための区画整合性識別モデルと、が含まれ、
地形タイプ、画像均一性スコア値および整合性スコア値に従って、重み付け加算して地形分析結果を得る。

【0007】

本発明の他の態様としては、航路における過去の衛星画像、気象情報および等高線画像を取得するように構成される飛行情報取得モジュールと、
等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得するように構成される画像情報結合モジュールと、
飛行体に配置されたセンサーに基づき、センサーデータを取得するように構成されるセンサーデータ取得モジュールと、
センサーデータおよび気象情報に基づき、飛行体の航続距離を計算するように構成される航続距離取得モジュールと、
飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルに基づき、候補着陸領域を取得するように構成される候補着陸領域取得モジュールと、
候補着陸領域の現在の衛星画像を取得して、着陸領域を選定するように構成される着陸領域選択モジュールと、
前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成するように構成される経路生成モジュールと、を含む、画像識別に基づく飛行体強制着陸経路計画システムを提供する。

【0008】

本発明の第３態様としては、少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサに通信接続されるメモリーと、を含む電子装置であって、前記メモリーには、前記プロセッサにより実行可能な命令が記憶され、前記命令は、前記プロセッサにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられる電子装置を提供する。

【0009】

本発明の第４態様としては、コンピュータにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられるコンピュータ命令が記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。

【発明の効果】

【0010】

本発明の有益な効果は、以下の通りである。

【0011】

（１）本発明は、画像情報に基づき、最適な着陸点を自動識別し、選択し、強制着陸経路を生成して、パイロットが強制着陸タスクを実行することに対して補助することにより、パイロットが強制着陸タスクを実行する成功率を極めて大きく向上させ、安全性を向上させ、損失を低減させることができる。

【0012】

（２）本発明により選択される着陸点は、地形タイプ、均一性および整合性の綜合情況を考慮し、強制着陸タスクにより引き起こされ得る損失を低減させることができる。

【0013】

以下の図面を参照して行われる非限定的な実施例に対する詳細な説明を閲読することにより、本発明の他の特徴、目的及び利点は、より明らかになる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施例における画像識別に基づく飛行体強制着陸経路計画方法のフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面および実施例を結び付けて、本発明についてさらに詳しく説明する。ここで記載される具体的な実施例は、関連発明を解釈するためのものに過ぎず、本発明を限定するものではないことを理解すべきである。なお、説明を容易にするために、図面に、本発明に関連する部分のみを示している。

【0016】

なお、衝突しない限り、本発明における実施例および実施例における特徴は、互いに組み合わせることができる。以下、図面を参照しながら実施例を結び付けて、本発明について詳細に説明する。

【0017】

本発明は、画像識別に基づく飛行体強制着陸経路計画方法を提供し、画像情報を自動識別し、最適な着陸点を選択して強制着陸経路を生成して、パイロットが強制着陸タスクを実行することに対して補助することにより、パイロットが強制着陸タスクを実行する成功率を極めて大きく向上させ、安全性を向上させ、損失を低減させることができる。

【0018】

本発明に係る画像識別に基づく飛行体強制着陸経路計画方法は、以下を含む。

【0019】

Ｓ１００：航路における過去の衛星画像、気象情報および等高線画像を取得する。

【0020】

Ｓ２００：等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得する。

【0021】

Ｓ３００：飛行体に配置されたセンサーに基づき、センサーデータを取得する。

【0022】

Ｓ４００：センサーデータおよび気象情報に基づき、飛行体の航続距離を計算する。

【0023】

Ｓ５００：飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得する。

【0024】

Ｓ６００：候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。

【0025】

Ｓ７００：前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成する。

【0026】

本発明に係るシステムについてよりはっきりに説明するために、以下、図１を参照して本発明の実施例における各ステップについて詳しく説明する。

【0027】

本発明の第１実施例における画像識別に基づく飛行体強制着陸経路計画方法は、以下を含む。

【0028】

Ｓ１００：航路における過去の衛星画像、気象情報および等高線画像を取得する。

【0029】

Ｓ２００：等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得する。本実施例において、等高線情報を含む衛星画像は、地形タイプ情報と地勢情報を結合したものである。

【0030】

Ｓ３００：飛行体に配置されたセンサーに基づき、センサーデータを取得する。

【0031】

Ｓ４００：センサーデータおよび気象情報に基づき、飛行体の航続距離を計算する。

【0032】

Ｓ５００：飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得する。

【0033】

本実施例において、前記候補着陸領域の取得方法は、以下を含む。

【0034】

等高線情報を含む衛星画像に基づき、高度差が予め設定された穏やかな閾値よりも小さい連続領域を平坦領域として選択する。

【0035】

地形画像識別モデルによって、各平坦領域の地形分析結果を識別する。

【0036】

本実施例において、前記地形画像識別モデルは、地形タイプ識別モデル、地形均一性識別モデルおよび区画整合性識別モデルを含む。

【0037】

地形タイプを均一性および区画整合性と結合する目的は、着陸領域を選択する際に、ある領域に複数種の地形タイプがあるか、或いは不規則な凹凸などが存在する可能性があることにある。均一性および区画整合性を同様に参照要素として分析することにより、地面タイプが適合であるとともに、地面上の雑物の分布が均一で平坦な領域を着陸領域として選択することができる。

【0038】

前記地形タイプ識別モデルは、過去の衛星画像に従って平坦領域の地形タイプを識別するために用いられる。地形タイプは、空港、水面、芝生、植生、道路および空地を含む。航続距離内に空港が存在する場合、空港を着陸領域として選択することが好ましい。

【0039】

本実施例において、前記地形タイプ識別モデルは、ＬＢＰアルゴリズムおよびＫクラスタリングアルゴリズムに基づいて構築された分類モデルであり、具体的に、以下の通りである。

【0040】

平坦領域の過去の衛星画像に基づいて二値画像に変換して、各画素ポイントに対して近傍ウィンドウを設定する。

【0041】

各画素ポイントの近傍ウィンドウにおける画素の平均画素値を計算する。

【0042】

平均画素値と、対応する画素ポイントの画素値のサイズを比較し、平均画素値が画素ポイントの画素値以上の画素ポイントを１とし、そうでなければ０として、ＬＢＰ二値化画像を得る。

【0043】

畳み込みレイヤ（convolutional layer）によって前記ＬＢＰ二値化画像に対して特徴抽出してＬＢＰ特徴画像を得る。

【0044】

ｃｏｎｃａｔレイヤによって前記ＬＢＰ特徴画像および衛星画像を結合して、特徴結合画像を得る。

【0045】

前記特徴結合画像に基づき、ＫＮＮクラシファイヤによって特徴結合画像と予め設定された地形タイプデータベースにおける各地形画像との類似度を計算して、平坦領域の地形タイプを出力する。

【0046】

前記地形均一性識別モデルは、過去の衛星画像に従って、平坦領域の画像均一性スコア値を識別するために用いられる。

【0047】

本実施例において、前記地形均一性識別モデルは、具体的に、
各画素ポイントと、所在する平坦領域との画素均一性

を計算する。

【数1】

（ただし、

は、座標が

の画素値、ｉおよびｊは、画素番号、

は、ｘ軸方向における画素期待値、

は、ｙ軸方向における画素期待値、

は、ｘ軸方向における画素標準偏差、

は、ｙ軸方向における画素標準偏差を表す。）
平坦領域の画素ポイントの相関度平均値は、該平坦領域の画像均一性スコア値を表す。

【0048】

前記区画整合性識別モデルは、過去の衛星画像を異なるグリッドに区画し、各グリッドと、他のすべてのグリッドとの整合性スコア値（一致性分値）を計算するために用いられる。

【0049】

本実施例において、前記区画整合性識別モデルは、具体的に以下の通りである。

【数2】

（ただし、

は、整合性スコア値、

は、グリッドのスケール、

は、色整合性スコア値、

は、相対高度整合性スコア値、

は、色整合性スコア値の重み、

は、相対高度整合性スコア値の重みを表し、
前記色整合性スコア値

は、下記式で表され、

【数3】

ただし、

は、グリッドｐ～グリッドｑの色類似度、

は、グリッドｑ～グリッドｐの色類似度を表し、

【数4】

ただし、

および

は、それぞれ、グリッド

～グリッド

の類似度の計算、およびグリッド

～グリッド

の類似度の計算、

および

は、それぞれグリッドの平均色値、

は、予め設定された定数、

は、グリッド数を表し、
前記相対高度整合性スコア値

は、下記式で表され、

【数5】

ただし、

は、グリッドｐ～グリッドｑの画像相対高度整合性、

は、グリッドｑ～グリッドｐの画像相対高度整合性を表し、

【数6】

ただし、

は、グリッドｐの平均高度、

は、グリッドｑの平均高度を表し、好ましくは、

を０．８５とする。）

【0050】

地形タイプ、画像均一性スコア値および整合性スコア値に従って、重み付け加算して地形分析結果を得る。

【0051】

地形分析結果に従って、対応する接地滑走矩形枠の長さおよび幅を計算する。

【0052】

前記接地滑走矩形枠を含むことに十分である平坦領域を候補着陸領域として選択するとともに、地形分析結果に従って候補着陸領域に対して着陸スコア値を計算する。接地滑走矩形枠の幅は、飛行体の翼幅に予め設定された許容範囲（Ｆａｕｌｔ ｔｏｌｅｒａｎｃｅ ｗｉｄｔｈ）を加算したものであり、接地滑走矩形枠の長さは、地面タイプのブレーキ係数および正常飛行中の飛行速度に従って算出したものである。

【0053】

Ｓ６００：候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。

【0054】

本実施例において、前記候補着陸領域の現在の衛星画像を取得し、着陸領域を選定することは、具体的に、以下の通りである。

【0055】

候補着陸領域の現在の衛星画像を取得する。

【0056】

着陸スコア値が最も高い候補着陸領域の現在の衛星画像と過去の衛星画像との類似度を計算し、類似度が予め設定された信頼閾値以上である場合、前記着陸スコア値が最も高い候補着陸領域を着陸領域として選定する。現在の衛星画像と過去の衛星画像との類似度を計算する目的は、着陸領域において一時的な活動または地形変化、たとえば、群衆の集まりや斜面崩壊などの情況があるか否かを確認することにある。強制着陸タスクが突発的なイベントであるので、航路のうちすべての地域の現在の衛星画像を再取得して分析することを待つ時間がない。そのため、選択された着陸スコア値が最も高い候補着陸領域の現在の衛星画像だけを分析し、且つ過去の衛星画像との類似度だけを分析することにより、着陸スコア値が最も高い候補着陸領域が信頼的であるか否かを快速に判断することに有利である。群衆の集まりや地形変化がない場合に、スコア値が最も高い候補着陸領域が信頼的であると判断し、着陸領域として選択することができる。

【0057】

類似度が前記予め設定された信頼閾値を下回る場合、着陸スコア値が次に高い候補着陸領域を選択し、類似度が予め設定された信頼閾値以上になるまで、現在の衛星画像と過去の衛星画像との類似度を計算し、着陸領域を選定する。

【0058】

Ｓ７００：前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成する。

【0059】

本実施例において、前記着陸点の選択方法は、以下の通りである。

【0060】

飛行体座標に基づき、飛行体座標から前記着陸領域までの進行方向を計算する。

【0061】

着陸領域において、進行方向を軸線として、軸線方向において接地滑走矩形枠を含む空間が存在すれば、軸線方向において接地滑走矩形枠の長さが最も長いことを満たす開始側の中点を着陸点として選択する。

【0062】

軸線方向において接地滑走矩形枠を含む空間が存在しなければ、軸線方向において偏角が最も小さい方向における、接地滑走矩形枠の長さが最も長い開始側の中点を着陸点として選択する。

【0063】

本実施例において、補強リアリティデバイス（Augmented Reality device）を介してパイロットに対して前記強制着陸経路を表示することができ、すべての候補着陸領域をパイロットに表示し、パイロットにより着陸領域を選択し、指揮管制塔に着陸領域の位置情報を送信することができる。

【0064】

本発明の第２実施例として、本発明に係る画像識別に基づく飛行体強制着陸経路計画方法は、フルフライトシミュレーター（ｆｕｌｌ ｆｌｉｇｈｔ ｓｉｍｕｌａｔｏｒ）によってパイロットに対して飛行トレーニングを実施するために用いられることができ、具体的に以下の通りである。

【0065】

航路における過去の衛星画像、気象情報および等高線画像を取得する。

【0066】

正常飛行中の画像を取得する。

【0067】

等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得する。

【0068】

正常飛行中に飛行体に配置されたセンサーにより取得したセンサーデータを記録する。

【0069】

正常飛行中の画像およびセンサーデータに対して、フルフライトシミュレーター（Full-motion simulator）でシーン復元を行う。

【0070】

故障タイプデータベースを確立し、オイル量、機器パラメータ、音声、振幅および周波数を含む、様々の故障タイプおよび故障程度に対応するセンサーデータを記憶する。

【0071】

故障タイプおよび故障程度をランダムで選択するか、主操作者がトレーニングされて故障タイプおよび故障程度を選択し、フルフライトシミュレーターで正常飛行中における突発的な故障を模倣し、故障程度に対応するセンサーデータを設定して、パイロットがトレーニングされて強制着陸タスクを実行するために用いられる。フルフライトシミュレーターのキャビンで真実なキャビン視角画像を復元し、センサーデータを表示する。さらに、ニーズに応じて熱雷（雷暴）、ウインド・シャー（Ｗｉｎｄ Ｓｈｅａｒ）、揺れ及び特殊な状況を設定し、異なる視程を設定する。朝、昼間、夕暮れ、夜の飛行時間を設定する。故障が発生する際に、特殊な天候、揺れ、振動または落下を模倣する。

【0072】

センサーデータおよび気象情報に基づき、飛行体の航続距離を計算する。

【0073】

飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得する。

【0074】

候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。

【0075】

前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成する。

【0076】

本実施例において、強制着陸が完了した後、実際的な着陸点、実際的な接地滑走距離および実際的な接地滑走方向を記録し、実際的な着陸点と、システムにより推薦された着陸点との相対距離を計算しながら、実際的な接地滑走距離および実際的な接地滑走方向と、システムにより推薦された接地滑走距離および接地滑走角度との偏差を計算することができる。

【0077】

タスク完成時間、前記相対距離、接地滑走距離および接地滑走角度との偏差に従って、タスク完成スコア値を計算し、誤操作ステップを捜索する。

【0078】

本発明の第３実施例における画像識別に基づく飛行体強制着陸経路計画システムは、飛行情報取得モジュール、画像情報結合モジュール、センサーデータ取得モジュール、航続距離取得モジュール、候補着陸領域取得モジュール、着陸領域選択モジュールおよび経路生成モジュールを含む。

【0079】

前記飛行情報取得モジュールは、航路における過去の衛星画像、気象情報および等高線画像を取得するように構成される。

【0080】

前記画像情報結合モジュールは、等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得するように構成される。

【0081】

前記センサーデータ取得モジュールは、飛行体に配置されたセンサーに基づき、センサーデータを取得するように構成される。

【0082】

前記航続距離取得モジュールは、センサーデータおよび気象情報に基づき、飛行体の航続距離を計算するように構成される。

【0083】

前記候補着陸領域取得モジュールは、飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得するように構成される。

【0084】

前記着陸領域選択モジュールは、候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。

【0085】

前記経路生成モジュールは、前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成するように構成される。

【0086】

本発明の第４実施例における電子装置は、少なくとも１つのプロセッサ、および少なくとも１つの前記プロセッサに通信接続されるメモリーを含む。そのうち、前記メモリーには、前記プロセッサにより実行可能な命令が記憶され、前記命令は、前記プロセッサにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられる。

【0087】

本発明の第５実施例におけるコンピュータ読み取り可能な記憶媒体は、前記コンピュータにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するためのコンピュータ命令が記憶されている。

【0088】

当業者であれば、説明を容易および簡素にするために、上述した記憶装置、処理装置の具体的な作動過程および関連説明は、上述した方法実施例に対応する過程を参照できることを明確に理解することができ、ここで繰り返し説明しない。

【0089】

特に、本発明の実施例によれば、以上のフローチャートを参照して説明した過程は、コンピュータソフトウェアプログラムとして実現されることができる。たとえば、本発明の実施例は、コンピュータ読み取り可能な媒体に載せられた、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む、コンピュータプログラム製品を含む。このような実施例において、該コンピュータプログラムは、通信によって部分的にネットワークからダウンロードしてインストールされ、および／またはリムーバブル媒体からインストールされてもよい。該コンピュータプログラムは、中央処理装置（ＣＰＵ）により実行される場合、本発明の方法において限定された上記機能を実行する。なお、本発明に係るコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体または上記両者の任意の組合せであってもよい。コンピュータ読み取り可能な記憶媒体は、たとえば、電気、磁気、光、電磁気、赤外線、または半導体のシステム、装置またはデバイス、または任意の以上の組合せを含んでもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体例は、１つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリー（ＥＰＲＯＭまたはフラッシュメモリー）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリー（ＣＤ－ＲＯＭ）、光ストレージコンポーネント、磁気ストレージデバイス、または上記任意の接的な組合せを含んでもよいがこれらに限定されない。本発明において、コンピュータ読み取り可能な記憶媒体は、いずれのプログラムを含むまたは記憶する有形媒体であってもよく、該プログラムは、命令実行システム、装置またはデバイスで使用されるか、またはそれと組み合わせて使用させてもよい。本発明において、コンピュータ読み取り可能な信号媒体は、ベースバンドに含まれてもよいか、またはキャリアウェーブの一部として伝送する、コンピュータ読み取り可能なプログラムコードが載せられたデータ信号であってもよい。このような伝送するデータ信号は、複数種の形態を利用することができ、電磁信号、光信号または上記の任意の適当な組合せを含むが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外のいずれのコンピュータ読み取り可能な媒体であってもよく、該コンピュータ読み取り可能な媒体は、命令実行システム、装置またはデバイスで使用されるか、またはそれと組み合わせて使用するプログラムを送信、伝送または輸送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、任意の適当な媒体で輸送されることができ、無線、ワイヤ、光ケーブル、ＲＦ（無線周波数）など、または上記の任意の適合な組合せを含むが、これらに限定されない。

【0090】

１種または複数種のプログラムデザイン言語またはその組合せで本発明の操作を実行するためのコンピュータプログラムコードを書き、上記プログラムデザイン言語は、オブジェクト指向プログラミング言語、たとえば、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、従来の手続型プログラムデザイン言語、たとえば「Ｃ」言語または類似のプログラムデザイン言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、１つの独立なソフトウェアパッケージとして実行され、部分的にユーザコンピュータで部分的にリモートコンピュータで実行され、または完全にリモートコンピュータまたはサーバで実行されてもよい。リモートコンピュータに関する状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザコンピュータに接続されることができ、或いは、外部コンピュータに接続される（たとえば、インターネットサービスプロバイダを用いてインターネットによって接続される）ことができる。

【0091】

図面におけるフローチャートとブロック図は、本発明の各種の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点では、フローチャートまたはブロック図における各ボックスは１つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、該モジュール、プログラムセグメント、またはコードの一部が１つまたは複数の所定のロジック機能を実現するための実行可能な命令を含む。注意すべきものとして、幾つかの切り替え可能な実現において、ボックスに表記した機能も図面に表記した順序と異なるもので発生することができる。例えば、２つの連続して示すボックスは実際に基本的に並行して実行でき、それらは関連する機能によれば、逆の順序で実行される場合がある。また、注意する必要があるものとして、ブロック図及び／またはフローチャートにおける各ボックス、及びブロック図及び／またはフローチャートにおけるボックスの組み合わせは、所定の機能または操作を実行する専用のハードウェアに基づくシステムで実現されることができるか、または専用のハードウェアとコンピュータ命令との組み合わせで実現されることができる。

【0092】

また、用語「第１」「第２」などは、類似する対象を区分するためのものに過ぎず、特定の順序または時間的順序を説明又は表示するためのものではない。

【0093】

用語「含む」または何れの他の類似用語は、非排他的に含むことを意味する。したがって、一連の要素を含む過程、方法、物または装置／デバイスには、それらの要素に加え、その他の明示しない要素を含み、或いは、これらの過程、方法、物、または装置／デバイスに固有する要素をさらに含むことができる。

【0094】

ここに至って、図面に示す好適な実施形態を結び付けて本発明の技術案について説明したが、当業者であれば、本発明の保護範囲は、これらの具体的な実施形態に限定されないことを理解すべきである。本発明の原理から逸脱しない限り、当業者が関連技術特徴に対して均等な変更または置換を行うことができ、これらの変更または置換された技術案は、本発明の保護範囲に含まれるべきである。

【図1】