特許 7475745 バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240422BHJP

   G06T 7/00 20170101ALI20240422BHJP

   G08B 17/00 20060101ALI20240422BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G08B17/00 Z

【請求項の数】 9

(21)【出願番号】P 2023131096

(22)【出願日】2023-08-10

【審査請求日】2023-08-10

(31)【優先権主張番号】202310483913.2

(32)【優先日】2023-04-27

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】522036543

【氏名又は名称】南京郵電大学

(74)【代理人】

【識別番号】110000291

【氏名又は名称】弁理士法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】張 暉

(72)【発明者】

【氏名】馬 博文

(72)【発明者】

【氏名】趙 海涛

(72)【発明者】

【氏名】朱 洪波

【審査官】佐藤 実

(56)【参考文献】

【文献】中国特許出願公開第１１４６７７６２９（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４８４２１８５（ＣＮ，Ａ）

【文献】米国特許第１１２９５１３１（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／８２

Ｇ０６Ｔ ７／００

Ｇ０８Ｂ １７／００

(57)【特許請求の範囲】

【請求項1】

バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法であって、
無人航空機によってターゲット領域の画像を空撮して取得し、且つ取得したターゲット領域の画像に対して、煙タブ及び火炎タブをそれぞれ付し、煙トレーニングセット及び火炎トレーニングセットを構築するステップ１と、
ステップ１における煙トレーニングセット及び火炎トレーニングセットを利用して、ターゲット領域の画像における煙及び火炎という２のターゲットの特徴に対して、バイナリ検出ネットワークの構築及びトレーニングを行い、ここで、前記バイナリ検出ネットワークは、それぞれ改善されたＦＣＯＳネットワークを基準とする煙検出分岐及び火炎検出分岐を含むステップ２と、
トレーニングされたバイナリ検出ネットワークを用いて、無人航空機によってリアルタイムで空撮して取得されたターゲット領域の動画の現フレームを検出し、煙検出分岐及び火炎検出分岐の検出結果を融合してから出力するステップ３と、
ターゲット領域の動画が終了するまで、ステップ３を繰り返し、ターゲット領域の動画の次フレームを検出するステップ４とを含み、
前記ステップ２において改善されたＦＣＯＳネットワークを基準とし、ここで、改善されたＦＣＯＳネットワークの構築プロセスは、基幹ネットワークＲｅｓＮｅｔのＣ３とＣ４との間、及びＣ４とＣ５との間に、それぞれ１つのＣＢＡＭのアテンションモジュールを追加し、回帰分岐において、変形可能なコンボリューションで、元のコンボリューションカーネルを置き換えることである、ことを特徴とするバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項2】

前記改善されたＦＣＯＳネットワークは、トレーニングを行う時に、ＦＰＮレイヤの回帰のアダプティブトレーニング決定方法を採用しており、具体的なプロセスは、
ＦＰＮレイヤの回帰ベクトルセットΨ＝［Ψ_１，Ψ_２，…Ψ_ｉ，…，Ψ_Ｎ］を構築し、Ｎは、タブカテゴリの総数であり、Ψ_ｉは、１つの７タプルであり、前の５つの位置はＦＰＮレイヤのデフォルト回帰範囲であり、６番目の位置はタブカテゴリであり、７番目の位置は範囲修正フラグビットであるステップ２．１と、
現フレームにおける１つの画素サイズがｋ×ｋである所定ターゲットに対して、デフォルト回帰スケールの範囲に基づいて、そのデフォルトレイヤＰ_ｌ’を決定するステップ２．２と、
異なるＦＰＮレイヤの損失値に対して、最小値の判断を行い、判断の式は次の通りであり、

【数112】

ここで、

【数113】

は、レイヤ間の損失度の最小値であり、ｌは、ＦＰＮの３から７レイヤまでのインデックスパラメータを示し、Ｌ_all（ｌ-２）、Ｌ_all（ｌ-1）、Ｌ_all（ｌ）、Ｌ_all（ｌ+1）、Ｌ_all（ｌ+２）は、それぞれレイヤＰ_ｌ-2、Ｐ_ｌ-1、Ｐ_ｌ、Ｐ_ｌ+1、Ｐ_ｌ+2、

【数114】

がＦＰＮレイヤである損失関数を示すステップ２．３と、

【数115】

がレイヤＰ_ｌ’の損失値と一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を１に設定し、その後、この所定ターゲットの異なる入力スケールに関して、デフォルト回帰スケール範囲に従って勾配反転学習を直接に行うステップ
２．４と、

【数116】

がレイヤＰ_ｌ’-1又はＰ_ｌ’+1の損失値に一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を０に設定し、且つデフォルト回帰スケールの範囲に対して次の修正を行った後、ステップ２．２に戻り、

【数117】

がレイヤＰ_ｌ’-1の損失値に一致する場合、レイヤＰ_ｌ’-1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（２^{８（ｌ’-3）}，ｋ）をレイヤＰ_ｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰ_ｌ’-1に対応するデフォルト回帰スケールの範囲に組み込み、

【数118】

がレイヤＰ_ｌ’+1の損失値に一致する場合、レイヤＰ_ｌ’+1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（ｋ，２^{８（ｌ’-2）}）をレイヤＰ_ｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰ_ｌ’+1に対応するデフォルト回帰スケールの範囲に組み込むステップ２．５と、

【数119】

がレイヤＰ_ｌ’-2又はレイヤＰ_ｌ’-2の損失値に一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を－１に設定し、且つこのようなターゲットに対して、ＦＰＮの各レイヤの損失度を利用してレイヤを自動的に選択し勾配反転学習を直接に行うステップ２．６と、を含むことを特徴とする請求項１に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項3】

前記ステップ３における融合は、具体的に、煙検出分岐及び火炎検出分岐の検出結果における位置枠情報及び識別されたターゲット確率は、いずれも現フレームの対応する位置にタブ付けされる、ことを特徴とする請求項１に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項4】

前記ステップ４においてターゲット領域の動画の次フレームを検出する前に、現フレームの検出結果を先行知識として、協調最適化フィードバック及び協調強化フィードバックという２つのフィードバックメカニズムの選択を行い、選択の根拠は次の通りであり、
現フレームの検出結果において煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されていない場合、無煙無火の状況であり、協調強化フィードバックを選択し、
現フレームの検出結果において煙検出分岐にターゲットが検出されており、一方、火炎検出分岐にターゲットが検出されていない場合、有煙無火の状況であり、協調最適化フィードバックを選択し、
煙検出分岐にターゲットが検出されておらず、一方、火炎検出分岐にターゲットが検出されている場合、有火無煙の状況であり、協調強化フィードバックを選択し、
煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されている場合、煙検出分岐に検出された最小ターゲット煙面積を

【数120】

とし、火炎検出分岐に検出された最小ターゲット火炎面積を

【数121】

とし、

【数122】

と設定した閾値η_ｍｉｎの大小関係に基づいて選択し、

【数123】

即ち煙が大きく火炎が小さい場合、協調最適化フィードバック及び協調強化フィードバックを同時に選択し、

【数124】

即ち煙及び火炎がほぼ同じである場合、協調最適化フィードバックを選択し、

【数125】

即ち煙が小さく火炎が大きい場合、協調強化フィードバックを選択する、ことを特徴とする請求項１に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項5】

前記協調最適化フィードバックの具体的なプロセスは次の通りであり、
１）現フレームＩ_t-1（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、カルマンフィルタ方法を用いて、次フレームＩ_t（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、それぞれ煙ターゲット領域セット

【数126】

及び火炎ターゲット領域セット

【数127】

とし、ここで、

【数128】

は、それぞれＩ_t-1（ｘ，ｙ）の検出結果における煙及び火炎のターゲット領域の数であり、
２）第１の画素の判別関数を構築し、Ａ_ｓｍ及びＡ_ｆｉｒにおける煙及び火炎のターゲット領域内の第１の画素の判別関数値が０である画素ドットを除去し、新しい煙ターゲット領域セット

【数129】

及び火炎ターゲット領域セット

【数130】

を取得し、ここで、第１の画素の判別関数は次の通りであり、

【数131】

ここで、

【数132】

は、それぞれ火炎及び煙の画素の判別関数であり、（ｘ，ｙ）は、画素座標を示し、ｆ_Ｈ（ｘ，ｙ）、ｆ_Ｓ（ｘ，ｙ）及びｆ_Ｉ（ｘ，ｙ）は、それぞれ画素（ｘ，ｙ）のＨＳＩスペースチャンネルにおける値を示し、
３）フレーム間差分法を用いて、Ｉ_t（ｘ，ｙ）におけるＡ’_ｓｍ及びＡ’_ｆｉｒ以外の煙及び火炎のターゲットを位置決め、具体的に次の通りであり、
Ｓ３１：Ｉ_t（ｘ，ｙ）及びＩ_t-1（ｘ，ｙ）においてＡ’_ｓｍが含まれない画像

【数133】

及びＡ’_ｆｉｒが含まれない画像

【数134】

をそれぞれ取得し、
Ｓ３２：フレーム差領域Ｄ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）を取得し、

【数135】

Ｓ３３：取得したＤ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）に対して、第２の画素の判別関数を構築し、Ｄ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）において第２の画素の判別関数値が０である画素ドットを除去し、Ａ’_ｓｍ又はＡ’_ｆｉｒ領域からずれる煙及び火炎領域Ｕ_ｓｍ及びＵ_ｆｉｒを取得し、ここで、第２の画素の判別関数の計算プロセスは、次の通りであり、

【数136】

ここで、Ｔは、運動領域の判断閾値であり、Ｕ_ｓｍ及びＵ_ｆｉｒは、それぞれＡ’_ｓｍ及びＡ’_ｆｉｒからずれる煙及び火炎領域であり、
Ｓ３４：Ｉ_t（ｘ，ｙ）において

【数137】

に対して、それぞれマスキングを行い、それによってＩ_t（ｘ，ｙ）に対応する煙消去マスキング画像

【数138】

及び火炎消去マスキング画像

【数139】

を取得し、
４）Ｉ_t-１（ｘ，ｙ）は有煙無火の状況である場合、Ｉ_t（ｘ，ｙ）検出を行う時に、

【数140】

をバイナリ検出ネットワークにおける火炎検出分岐の入力とし、Ｉ_t（ｘ，ｙ）を煙検出分岐の入力とし、
Ｉ_t-１（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉ_t（ｘ，ｙ）検出を行う時に、

【数141】

をバイナリ検出ネットワークにおける煙検出分岐の入力とし、

【数142】

を火炎検出分岐の入力とし、
Ｉ_t-１（ｘ，ｙ）は煙及び火炎がほぼ同じである場合、Ｉ_t（ｘ，ｙ）検出を行う時に、

【数143】

をバイナリ検出ネットワークにおける煙検出分岐の入力とし、

【数144】

を火炎検出分岐の入力とする、ことを特徴とする請求項４に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項6】

前記協調強化フィードバックの具体的なプロセスは次の通りであり、
（１）Ｉ_t-１（ｘ，ｙ）は無煙無火の状況である場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるＦＰＮの各レイヤ特徴重みω_ｌに対して、アダプティブ調整を行い、調整された重みは、

【数145】

であり、
ここで、

【数146】

は、レイヤ重み調節因子であり、

【数147】

ｈ_ｕａｖは、現在の無人航空機の空撮の高さを示し、

【数148】

は、バイナリ検出ネットワークトレーニング時に、対応する無人航空機の平均の空撮の高さを示し、ｌは、現在のＦＰＮのレイヤ数を示し、

【数149】

は、特徴図の融合を行う必要のあるＦＰＮレイヤ総数であり、
（２）Ｉ_t-１（ｘ，ｙ）は有火無煙の状況である場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮの各レイヤ特徴重みω_ｌに対して、アダプティブ調整を行い、具体的なステップは次の通りであり、
先ず、Ｉ_t-１（ｘ，ｙ）に検出された複数の火炎ターゲットの識別確率に対してソーティングを行い、識別確率が最も小さい火炎ターゲットをＳ_ｆｉｒとし、対応する識別確率をＰ_ｆｉｒとし、
次に、現在の煙ターゲットのスケール回帰範囲に基づいて、Ｓ_ｆｉｒに対してＦＰＮレイヤスケール位置決めを行い、ＦＰＮレイヤに位置決められたものを

【数150】

とし、
その後、識別確率Ｐ_ｆｉｒ及び設定したターゲットの所望確率Ｐ_Ｅを利用して、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮの各レイヤ特徴重みに対して修正を行い、修正後の重みは次の通りであり、

【数151】

（３）Ｉ_t-１（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐のＦＰＮの各レイヤの特徴融合重みω_ｌ及びガウシアン重み付け関数Ｇ_x,y,ｌの標準差に対して、それぞれ調整を行い、具体的な調整ステップは次の通りであり、
煙検出分岐におけるＧ_x,y,ｌの修正の面でみれば、協調フィードバック強化によって得られた

【数152】

の領域の標準差で元の標準差を置き換えることにより、Ｇ_{ｘ, ｙ,ｌ}の修正を実現し、
煙検出分岐におけるω_ｌの修正の面でみれば、先ず、識別確率が最も小さい煙ターゲットＳ_ｓｍ、対応する確率Ｐ_ｓｍを取得し、対応するＦＰＮレイヤ

【数153】

の位置決めを行い、Ｐ_ｓｍ≧Ｐ_Ｅである場合、重み調整を行う必要がなく、Ｐ_ｓｍ＜Ｐ_Ｅである場合、次の式を利用して重み調整を行い、

【数154】

煙検出分岐と同じな調整ステップに基づき、火炎検出分岐におけるＧ_x,y,ｌ及びω’_ｌを調整し、
（４）Ｉ_t-１（ｘ，ｙ）は煙が小さく火炎が大きい場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐のレイヤ融合重みω_ｌに対して、無火有煙の状況である場合に火炎検出分岐におけるω_ｌに対する修正方式によって調整を行い、一方、火炎検出分岐におけるω_ｌに対して、煙が大きく火炎が小さい場合に火炎検出分岐におけるω_ｌに対する修正方式によって調整を行う、ことを特徴とする請求項４に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項7】

現フレームＩ_t-1（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、速度に基づいて修正されたカルマンフィルタ方法に基づいて、次フレームＩ_t（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、ここで、カルマンフィルタの速度の修正の計算プロセスは次の通りであり、

【数155】

ここで、ｖ_ｕａｖは、無人航空機の速度を示し、ｗ’及びｈ’は、ターゲット領域の画像の幅及び高さを示し、Ｌは、無人航空機の空撮レンズの受容野の直径を示し、∂は、スケーリングパラメータを示し、Δｈは、無人航空機の上昇又は下降プロセスにおける高さの差を示し、Δｔ_ｈは、無人航空機の上昇及び下降プロセスにおいてかかった時間を示し、ｗ_ｔ-1及びｈ_ｔ-1は、Ｉ_t-1（ｘ，ｙ）におけるターゲットの検出枠の幅及び高さであり、Δｔは、フレーム数の間隔であり、ｖ_ｔｘ、ｖ_ｔｙ、ｖ_ｔｗ、ｖ_ｔｈは、第ｔ時刻のターゲットの検出枠の中心座標及び検出枠の幅、高さの速度値をそれぞれ示す、ことを特徴とする請求項５に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法。

【請求項8】

１つ又は複数のプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記１つ又は複数のプログラムはコマンドを含み、前記コマンドがコンピューティング機器により実行される時、前記コンピューティング機器に請求項１から７のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータ可読記憶媒体。

【請求項9】

１つ又は複数のプロセッサ、１つ又は複数のメモリ、及び１つ又は複数のプログラムを含み、ここで、１つ又は複数のプログラムは、前記１つ又は複数のメモリに記憶されており、前記１つ又は複数のプロセッサによって実行されるように配置され、前記１つ又は複数のプログラムは、請求項１から７のいずれか１項に記載の方法を実行するためのコマンドを含む、ことを特徴とするバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法に関し、ターゲット識別及びコンピュータビジョン分野に属す。

【背景技術】

【0002】

森林は変化の激しい環境であり、火災の原因も多様であるため、森林火災の予防及び検出作業は極めて困難である。従来の森林火災の検出は主に人手によって行われており、多くの人手、物資及び資金を投入する必要があるとともに、検出効率及び安全性にも問題があり、ターゲット検出技術の発展及び無人航空機製品の低価格化に伴い、無人航空機を利用した森林火災の巡回監視が主要な手段となっている。しかし、森林火災における煙検出及び火炎検出は、空撮された動画シーケンス画像において異なる動的特性およびスペース特性を有し、２つのターゲットは相互に絡み合ったり遮蔽したりするため、従来のターゲット検出モデルは、煙及び火炎を効果的に検出し、追跡することができない。

【0003】

以上から、如何に従来技術に基づいて空撮された森林画像における煙及び火炎を正確且つ効果的に検出するかが、当業者にとって緊急な課題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、従来技術の無人航空機の巡回監視プロセスにおいて、ターゲットスケールの差異が比較的に大きく且つ煙及び火炎ターゲットが相互に遮蔽することにより、無人航空機の巡回監視画像におけるターゲットの識別の正確率が低いという問題を解決するバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法を提供することである。

【0005】

本発明は、上記課題を解決するために、次の技術案を採用する。

【0006】

バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法であって、
無人航空機によってターゲット領域の画像を空撮して取得し、且つ取得したターゲット領域の画像に対して、煙タブ及び火炎タブをそれぞれ付し、煙トレーニングセット及び火炎トレーニングセットを構築するステップ１と、
ステップ１における煙トレーニングセット及び火炎トレーニングセットを利用して、ターゲット領域の画像における煙及び火炎という２つのターゲットの特徴に対して、バイナリ検出ネットワークの構築及びトレーニングを行い、ここで、前記バイナリ検出ネットワークは、それぞれ改善されたＦＣＯＳネットワークを基準とする煙検出分岐及び火炎検出分岐を含むステップ２と、
トレーニングされたバイナリ検出ネットワークを用いて、無人航空機によってリアルタイムで空撮して取得されたターゲット領域の動画の現フレームを検出し、煙検出分岐及び火炎検出分岐の検出結果を融合して出力するステップ３と、
ターゲット領域の動画が終了するまで、ステップ３を繰り返し、ターゲット領域の動画の次フレームを検出するステップ４と、を含む。

【0007】

さらに、前記ステップ２において改善されたＦＣＯＳネットワークを基準とし、ここで、改善されたＦＣＯＳネットワークの構築プロセスは、基幹ネットワークＲｅｓＮｅｔのＣ３とＣ４との間、及びＣ４とＣ５との間に、それぞれ１つのＣＢＡＭのアテンションモジュールを追加し、回帰分岐において、変形可能なコンボリューションで、元のコンボリューションカーネルを置き換えることである。

【0008】

さらに、前記改善されたＦＣＯＳネットワークは、トレーニングを行う時に、ＦＰＮレイヤの回帰のアダプティブトレーニング決定方法を採用しており、具体的なプロセスは、
ＦＰＮレイヤの回帰ベクトルセットΨ＝［Ψ_１，Ψ_２，…Ψ_ｉ，…Ψ_Ｎ］を構築し、Ｎは、タブカテゴリの総数であり、Ψｉは、１つの７タプルであり、前の５つの位置はＦＰＮレイヤのデフォルト回帰範囲であり、６番目の位置はタブカテゴリであり、７番目の位置は範囲修正フラグビットであるステップ２．１と、
現フレームにおける１つの画素サイズがｋ×ｋである所定ターゲットに対して、デフォルト回帰スケールの範囲に基づいて、そのデフォルトレイヤＰ_ｌ’を決定するステップ２．２と、
異なるＦＰＮレイヤの損失値に対して、最小値の判断を行い、判断の式は次の通りであり、

【数1】

ここで、

【数2】

は、レイヤ間の損失度の最小値であり、ｌは、ＦＰＮの３から７レイヤまでのインデックスパラメータを示しＬ_all（ｌ-２）、Ｌ_all（ｌ-1）、Ｌ_all（ｌ）、Ｌ_all（ｌ+1）、Ｌ_all（ｌ+２）は、それぞれレイヤＰ_ｌ-2、Ｐ_ｌ-1、Ｐ_ｌ、Ｐ_ｌ+1、Ｐ_ｌ+2、

【数3】

がＦＰＮレイヤである損失関数を示すステップ２．３と、

【数4】

がレイヤＰ_ｌ’の損失値と一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を１に設定し、その後、この所定ターゲットの異なる入力スケールに関して、デフォルト回帰スケール範囲に従って勾配反転学習を直接に行うステップ２．４と、

【数5】

がレイヤＰ_ｌ’-1又はＰ_ｌ’+1の損失値に一致する場合、所定ターゲットのカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を０に設定し、且つデフォルト回帰スケールの範囲に対して次に修正を行った後、ステップ２．２に戻り、

【数6】

がレイヤＰ_ｌ’-1の損失値に一致する場合、レイヤＰ_ｌ’-1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（２^{８（ｌ’-3）}，ｋ）をレイヤＰ_ｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰ_ｌ’-1に対応するデフォルト回帰スケールの範囲に組み込み、

【数7】

がレイヤＰ_ｌ’+1の損失値に一致する場合、レイヤＰ_ｌ’+1に対応するデフォルト回帰スケールの範囲を拡大し、即ち、（ｋ，２^{８（ｌ’-2）}）をレイヤＰ_ｌ’に対応するデフォルト回帰スケールの範囲から分離して、レイヤＰ_ｌ’+1に対応するデフォルト回帰スケールの範囲に組み込むステップ２．５と、

【数8】

がレイヤＰ_ｌ’-2又はレイヤＰ_ｌ’-2の損失値に一致する場合、所定ターゲットカテゴリに対応するレイヤ回帰ベクトルの７番目の位置を－１に設定し、且つこのようなターゲットに対して、ＦＰＮの各レイヤの損失度を利用してレイヤを自動的に選択し勾配反転学習を直接に行うステップ２．６とを含む。

【0009】

さらに、前記ステップ３における融合は、具体的に、煙検出分岐及び火炎検出分岐の検出結果における位置枠情報及び識別されたターゲット確率は、いずれも現フレームの対応する位置にタブ付けされる。

【0010】

さらに、前記ステップ４においてターゲット領域の動画の次フレームを検出する前に、現フレームの検出結果を先行知識として、協調最適化フィードバック及び協調強化フィードバックという２つのフィードバックメカニズムの選択を行い、選択の根拠は、次の通りであり、
現フレームの検出結果において煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されていない場合、無煙無火の状況であり、協調強化フィードバックを選択し、
現フレームの検出結果において煙検出分岐にターゲットが検出されており、一方、火炎検出分岐にターゲットが検出されていない場合、有煙無火の状況であり、協調最適化フィードバックを選択し、
煙検出分岐にターゲットが検出されておらず、一方、火炎検出分岐にターゲットが検出されている場合、有火無煙の状況であり、協調強化フィードバックを選択し、
煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されている場合、煙検出分岐に検出された最小ターゲット煙面積を

【数9】

とし、火炎検出分岐に検出された最小ターゲット火炎面積を

【数10】

とし、

【数11】

と設定した閾値η_ｍｉｎの大小関係に基づいて選択し、

【数12】

即ち煙が大きく火炎が小さい場合、協調最適化フィードバック及び協調強化フィードバックを同時に選択し、

【数13】

即ち煙及び火炎がほぼ同じである場合、協調最適化フィードバックを選択し、

【数14】

即ち煙が小さく火炎が大きい場合、協調強化フィードバックを選択する。

【0011】

さらに、前記協調最適化フィードバックの具体的なプロセスは次の通りであり、
１）現フレームＩ_t-１（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、カルマンフィルタ方法を用いて、次フレームＩ_t（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、それぞれ煙ターゲット領域セット

【数15】

及び火炎ターゲット領域セット

【数16】

とし、ここで、

【数17】

は、それぞれＩ_t-１（ｘ，ｙ）の検出結果における煙及び火炎のターゲット領域の数であり、
２）第１の画素の判別関数を構築し、Ａ_ｓｍ及びＡ_ｆｉｒにおける煙及び火炎のターゲット領域内の第１の画素の判別関数値が０である画素ドットを除去し、新しい煙ターゲット領域セット

【数18】

及び火炎ターゲット領域セット

【数19】

を取得し、ここで、第１の画素の判別関数は次の通りであり、

【数20】

ここで、

【数21】

は、それぞれ火炎及び煙の画素の判別関数であり、（ｘ，ｙ）は、画素座標を示し、ｆ_Ｈ（ｘ，ｙ）、ｆ_Ｓ（ｘ，ｙ）及びｆ_Ｉ（ｘ，ｙ）は、それぞれ画素（ｘ，ｙ）のＨＳＩスペースチャンネルにおける値を示し、
３）フレーム間差分法を用いて、Ｉ_t（ｘ，ｙ）におけるＡ’_ｓｍ及びＡ’_ｆｉｒ以外の煙及び火炎のターゲットを位置決め、具体的に次の通りであり、
Ｓ３１：Ｉ_t（ｘ，ｙ）及びＩ_t-１（ｘ，ｙ）においてＡ’_ｓｍが含まれない画像

【数22】

及びＡ’_ｆｉｒが含まれない画像

【数23】

をそれぞれ取得し、
Ｓ３２：フレーム差領域Ｄ_ｓｍ（ｘ，ｙ）及びＤ_fir（ｘ，ｙ）を取得し、

【数24】

Ｓ３３：取得したＤ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）に対して、第２の画素の判別関数を構築し、Ｄ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）において第２の画素の判別関数値が０である画素ドットを除去し、Ａ’_ｓｍ又はＡ’_ｆｉｒ領域からずれる煙及び火炎領域Ｕ_ｓｍ及びＵ_ｆｉｒを取得し、ここで、第２の画素の判別関数の計算プロセスは、次の通りであり、

【数25】

ここで、Ｔは、運動領域の判断閾値であり、Ｕ_ｓｍ及びＵ_ｆｉｒは、それぞれＡ’_ｓｍ及びＡ’_ｆｉｒからずれる煙及び火炎領域であり、
Ｓ３４：Ｉ_t（ｘ，ｙ）において

【数26】

【数27】

及び火炎消去マスキング画像

【数28】

を取得し、
４）Ｉ_t-1（ｘ，ｙ）は有煙無火の状況である場合、Ｉ_t（ｘ，ｙ）検出を行う時に、

【数29】

をバイナリ検出ネットワークにおける火炎検出分岐の入力とし、Ｉ_t（ｘ，ｙ）を煙検出分岐の入力とし、Ｉ_t-1（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉ_t（ｘ，ｙ）検出を行う時に、

【数30】

をバイナリ検出ネットワークにおける煙検出分岐の入力とし、

【数31】

を火炎検出分岐の入力とし、Ｉ_t-1（ｘ，ｙ）は煙及び火炎がほぼ同じである場合、Ｉ_t（ｘ，ｙ）検出を行う時に、

【数32】

をバイナリ検出ネットワークにおける煙検出分岐の入力とし、

【数33】

を火炎検出分岐の入力とする。
さらに、現フレームＩ_t-1（ｘ，ｙ）の検出結果における煙及び火炎の検出情報に基づいて、速度に基づいて修正されたカルマンフィルタ方法に基づいて、次フレームＩ_t（ｘ，ｙ）における煙及び火炎のターゲット領域を予測し、ここで、カルマンフィルタの速度の修正の計算プロセスは次の通りであり、

【数34】

ここで、Ｖ_ｕａｖは、無人航空機の速度を示し、ｗ’及びｈ’は、ターゲット領域の画像の幅及び高さを示し、Ｌは、無人航空機の空撮レンズの受容野の直径を示し、∂は、スケーリングパラメータを示し、Δｈは、無人航空機の上昇又は下降プロセスにおける高さの差を示し、Δｔ_ｈは、無人航空機の上昇及び下降プロセスにおいてかかった時間を示し、ｗ_t-1及びｈ_ｔ－１は、Ｉ_ｔ－１（ｘ，ｙ）におけるターゲットの検出枠の幅及び高さであり、Δｔは、フレーム数の間隔であり、ｖ_ｔｘ、ｖ_ｔｙ、ｖ_ｔｗ、ｖ_ｔｈは、第ｔ時刻のターゲットの検出枠の中心座標及び検出枠の幅、高さの速度値をそれぞれ示す。

【0012】

さらに、前記協調強化フィードバックの具体的なプロセスは次の通りであり、
（１）Ｉ_ｔ－１（ｘ，ｙ）は無煙無火の状況である場合、Ｉ_ｔ（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるＦＰＮの各レイヤ特徴重みω_ｌに対して、アダプティブ調整を行い、調整された重みは、

【数35】

ここで、

【数36】

は、レイヤ重み調節因子であり、

【数37】

は、現在の無人航空機の空撮の高さを示し、

【数38】

は、バイナリ検出ネットワークトレーニング時に、対応する無人航空機の平均の空撮の高さを示し、ｌは、現在のＦＰＮのレイヤを示し、

【数39】

は、特徴図の融合を行う必要のあるＦＰＮレイヤ総数であり、
（２）Ｉ_t-1（ｘ，ｙ）は有火無煙の状況である場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮのレイヤ特徴重みω_ｌに対して、アダプティブ調整を行い、具体的なステップは次の通りであり、
先ず、Ｉ_ｔ－１（ｘ，ｙ）に検出された複数の火炎ターゲットの識別確率に対してソーティングを行い、識別確率が最も小さい火炎ターゲットをＳ_ｆｉｒとし、対応する識別確率をＰ_ｆｉｒとし、
次に、現在の煙ターゲットのスケール回帰範囲に基づいて、Ｓ_ｆｉｒに対してＦＰＮレイヤスケール位置決めを行い、ＦＰＮレイヤに位置決められたものを

【数40】

とし、
その後、識別確率Ｐ_ｆｉｒ及び設定したターゲットの所望確率Ｐ_Ｅを利用して、バイナリ検出ネットワークにおける火炎検出分岐のＦＰＮの各レイヤの特徴重みに対して修正を行い、修正後の重みは次の通りであり、

【数41】

（３）Ｉ_t-1（ｘ，ｙ）は煙が大きく火炎が小さい場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐のＦＰＮの各レイヤの特徴融合重みω_ｌ及びガウシアン重み付け関数Ｇ_x,y,ｌの標準差に対して、それぞれ調整を行い、具体的な調整ステップは次の通りであり、煙検出分岐におけるＧ_x,y,ｌの修正の面でみれば、協調フィードバック強化によって得られた

【数42】

の領域の標準差で元の標準差を置き換えることにより、Ｇ_x,y,ｌの修正を実現し、
煙検出分岐におけるω_ｌの修正の面でみれば、先ず、識別確率が最も小さい煙ターゲットＳ_ｓｍ、対応する確率Ｐ_ｓｍを取得し、対応するＦＰＮレイヤ

【数43】

の位置決めを行い、Ｐ_ｓｍ≧Ｐ_Ｅである場合、重み調整を行う必要がなく、Ｐ_ｓｍ＜Ｐ_Ｅである場合、次の式を利用して重み調整を行い、

【数44】

最後に、修正後のＧ_x,y,ｌ 及び調整後のＦＰＮレイヤの各レイヤの融合重みω’_ｌ を利用して、煙検出分岐に対して調整を行い、
煙検出分岐と同じな調整ステップに基づき、火炎検出分岐におけるＧ_x,y,ｌ及びω’_ｌを調整し、
（４）Ｉ_ｔ-1（ｘ，ｙ）は煙が小さく火炎が大きい場合、Ｉ_t（ｘ，ｙ）検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐のレイヤ融合重みω_ｌに対して、有火無煙の状況である場合に火炎検出分岐におけるω_ｌに対する修正方式によって調整を行い、一方、火炎検出分岐におけるω_ｌに対して、煙が大きく火炎が小さい場合に火炎検出分岐におけるω_ｌ に対する修正方式によって調整を行う。

【0013】

本発明は、１つ又は複数のプログラムが記憶されるコンピュータ可読記憶媒体を提供し、前記１つ又は複数のプログラムはコマンドを含み、前記コマンドがコンピューティング機器により実行される時、前記コンピューティング機器に以上に記載の方法を実行させる。

【0014】

本発明は、バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出機器を更に含み、１つ又は複数のプロセッサ、１つ又は複数のメモリ、及び１つ又は複数のプログラムを含み、ここで、１つ又は複数のプログラムは、前記１つ又は複数のメモリに記憶されており、前記１つ又は複数のプロセッサによって実行されるように配置され、前記１つ又は複数のプログラムは、以上に記載の方法を実行するためのコマンドを含む。

【発明の効果】

【0015】

本発明に記載されるバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法は以上の技術案を採用しており、従来技術に比べて、次のような技術的効果を有する。

【0016】

１、本発明による改善されたＦＣＯＳモデルは、煙ターゲット及び火炎ターゲットに対して、より優れた識別効果を有する。

【0017】

２、本発明は、改善されたＦＣＯＳモデルを基準として構築されたバイナリ検出ネットワークは、煙検出及び火炎検出を２つの独立したものとしてそれぞれ検出し、煙及び火炎が相互に絡み合ったり遮蔽したりすることによるターゲットの検出漏れ及び位置決め精度が低い問題を避ける。

【0018】

３、本発明は、提案した２つの協調フィードバックメカニズムによって、バイナリ検出ネットワークの異なるクルーズ高さ、異なる森林火災の巡回監視のシーンにおけるロバスト性を向上させる。

【図面の簡単な説明】

【0019】

【図1】バイナリ協調ネットワークによる森林火災検出の方法のフローチャートである。

【図2】変形可能なコンボリューションに基づく回帰分岐の改善である。

【図3】改善されたＦＣＯＳネットワークである。

【発明を実施するための形態】

【0020】

以下、図面及び実施例を結び付けて本発明の技術案をさらに説明する。

【0021】

本発明に記載されるバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法の構造全体は図１に示されており、具体的なステップは次の通りであり、
ステップ１：ＦＣＯＳネットワークが煙ターゲット及び火炎ターゲットを検出する効果は良くないため、本発明は、煙及び火炎のターゲット特徴に基づいて、ＦＣＯＳモデルの基幹ネットワーク、回帰分岐及びトレーニングポリシーを改善する。

【0022】

ＦＯＣＳアルゴリズムは画素ごとに回帰するポリシーを採用する。ＦＰＮ特徴図におけるある点（ｘ，ｙ）に対して、ステップサイズｓに基づいて入力画像にマッピングされる対応する座標は

【数45】

である。点（ｘ，ｙ）のマッピング点が入力画像によってタブ付けされる任意の１つの実枠内に位置する場合、この点（ｘ，ｙ）はポジティブサンプルとして判定される。そうでなければ、ネガティブサンプルとしてタブ付けされる。サンプル点（ｘ，ｙ）は入力画像にマッピングする点（ｘ’，ｙ’）が実枠内に位置する場合、この点からの実枠

【数46】

の上下左右の４つの辺の距離は、ターゲット回帰のオフセット量（ｌ^＊，ｔ^＊，ｒ^＊，ｂ^＊）とし、計算は次に示される。

【数47】

（ｘ’，ｙ’）が複数の実枠内に同時に位置する場合、この点はボケサンプルとしてタブ付けされ、このような現象を避けるために、ＦＣＯＳは各スケールの特徴レイヤにいずれも枠回帰範囲制限を加えることにより、検出枠の重畳を緩和し、具体的に次の通りである。
（１）現在のレイヤにおける回帰ターゲットｌ^＊、ｔ^＊、ｒ^＊、ｂ^＊を計算する。
（２）ｍａｘ（ｌ^＊、ｔ^＊、ｒ^＊、ｂ^＊）＞ｌ又はｍａｘ（ｌ^＊、ｔ^＊、ｒ^＊、ｂ^＊）＜ｍ_Ｆ－１を満たすか否かを判断する。
（３）満たす場合、この境界枠に対して回帰の予測を行わない。

【0023】

ここで、ｍ_Ｆは、現在の特徴レイヤの最大の回帰範囲であり、順に（－１，６４）、（６４，１２８）、（１２８，２５６）、（２５６，５１２）、（５１２，∞）であり、このような制限によって様々なサイズの物体の間は異なる特徴レイヤが与えられて回帰の学習を行い、それによって、多すぎるボケサンプルが発生することを避ける。
改善されたＦＣＯＳネットワークの全体構成図は図３に示されており、ＦＣＯＳネットワークの改善は具体的に次の通りである。

【0024】

基幹ネットワークＲｅｓＮｅｔのＣ３とＣ４との間、及びＣ４とＣ５との間に、それぞれ１つのＣＢＡＭのアテンションモジュールを追加し、スケールが比較的に小さい煙ターゲット又は火炎ターゲットに対する特徴抽出能力を向上させるために用いられ、次に、回帰分岐において、変形可能なコンボリューションで、従来のコンボリューションカーネルを置き換えて、一部の火炎ターゲットの位置決めの不正確の問題を解決し、それによって、ターゲットの検出効果を向上させ、具体的な構成は図２に示される。

【0025】

トレーニングポリシーについて、ＦＰＮレイヤ回帰アダプティブトレーニング決定方法を提案し、関連ステップは次の通りである。

【0026】

ステップ１．１：レイヤ回帰ベクトルΨ＝［Ψ_１，Ψ_２，…Ψ_i，Ψ_N］を構築し、Ｎは、タブカテゴリの総数であり、Ψ_iは、１つの７タプルであり、前の５つの位置はＦＰＮレイヤのデフォルト回帰範囲であり、６番目の位置はタブカテゴリであり、７番目の位置は、範囲修正フラグビットであり、デフォルトはＮＵＬＬである。

【0027】

ステップ１．２：現フレームにおける１つの画素サイズがｋ×ｋである所定ターゲットに対して、デフォルト回帰のスケール範囲に基づいて、そのデフォルトレイヤＰ_ｌ’を決定する。

【0028】

ステップ１．３：異なるＦＰＮレイヤの損失値に対して、最小値の判断を行い、判断の式は次の通りである。

【数48】

ここで、

【数49】

は、レイヤ間の損失度の最小値であり、ｌは、ＦＰＮの３から７レイヤまでのインデックスパラメータを示し、Ｌ_all（ｌ-２）、Ｌ_all（ｌ-1）、Ｌ_all（ｌ）、Ｌ_all（ｌ+1）、Ｌ_all（ｌ+２）は、それぞれレイヤＰ_ｌ-2、Ｐ_ｌ-1、Ｐ_ｌ、Ｐ_ｌ+1、Ｐ_ｌ+2、

【数50】

がＦＰＮレイヤである損失関数を示す。

【0029】

ここで、レイヤＰ_ｌ の損失度の計算は次の通りである。

【数51】

ここで、

【数52】

は、それぞれレイヤＰ_ｌ における位置（ｘ，ｙ）に予測された分類スコア、予測枠位置及び予測された中心度を示し、Ｎ_posは、ポジティブサンプルの数であり、

【数53】

は、分類ターゲットであり、

【数54】

は、タブ付けされる枠の座標であり、

【数55】

は、実枠の中心度である。

【数56】

は、サンプルの判別関数であり、ポジティブサンプルの場合に１であり、ネガティブサンプルの場合に０である。Ｌ_all（ｌ）は、所定ターゲット画素ドット（ｘ，ｙ）のレイヤＰ_ｌにおける総損失値であり、Ｌ_ｃｌｓ（ｌ）は、分類損失であり、Ｆｏｃａｌｌｏｓｓを利用してポジティブとネガティブサンプルのアンバランスの問題を解決し、Ｌ_ｃｎｔ（ｌ）は、ｃｅｎｔｅｒ－ｎｅｓｓ損失であり、二分類クロスエントロピを用い、Ｌ_ｒｅｇ（ｌ）は、回帰損失であり、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）損失を用いて示される。

【0030】

ステップ１．４：

【数57】

がレイヤＰ_ｌ’の損失値に一致する場合、このターゲットの様々なＦＰＮレイヤにおけるセマンティック特徴抽出パフォーマンスは、ＦＰＮの様々なレイヤのスケール回帰の範囲に強く関連していると考えられ、入力ターゲットのカテゴリに対応するレイヤの回帰ベクトルΨ_iの７番目の位置を１に設定し、その後、このターゲットに関する様々な入力スケールについて、ＦＰＮ回帰レイヤの範囲に従って、勾配反転学習を直接に行う。

【0031】

ステップ１．５：

【数58】

がレイヤＰ_ｌ’の損失値に一致しない場合、ケースバイケースで判断する必要がある。

【0032】

【数59】

がレイヤＰ_ｌ’-1又はＰ_ｌ’+1の損失値に一致する場合、このターゲットがＦＰＮの様々なレイヤのスケール回帰に弱く関連すると考えられ、対応するターゲットのカテゴリのレイヤの回帰ベクトルΨ_iの７番目の位置を０に設定し、且つスケール制限の範囲を修正し、修正は次の通りである。

【0033】

【数60】

がＰ_ｌ’-1の損失値に一致する場合、Ｐ_ｌ’-1に対応する回帰の範囲を拡大し、即ち（２^{８（ｌ-3）}，ｋ）をＰ_ｌ’回帰範囲から分離してＰ_ｌ’-1に組み込み、

【数61】

がＰ_ｌ’+1の損失値に一致する場合、Ｐ_ｌ’+1に対応する回帰範囲を拡大し、即ち（ｋ，２^{８（ｌ-2）}）をＰ_ｌ’回帰範囲から分離してＰ_ｌ’+1に組み込む。

【0034】

ステップ１．６：

【数62】

がレイヤＰ_ｌ’-2又はＰ_ｌ’-2の損失値に一致する場合、即ち最も小さい損失度が位置する特徴レイヤと現在の特徴レイヤとの間隔が１よりも大きい場合、ＦＰＮのレイヤのスケール回帰ポリシーがこのタイプのターゲットに適切ではないと考えられ、そのため、ターゲットカテゴリに対応するレイヤ回帰ベクトルΨ_iの７番目の位置を－１に設定し、このタイプのターゲットに対して、ＦＰＮの各レイヤの損失度を利用して自動的にレイヤを選択して勾配反転学習を直接に行う。

【0035】

ステップ１．７：弱く関連すると判定されるターゲット（ステップ１．５）について、ステップ１．２、ステップ１．３及びステップ１．５に従って、スケール範囲を繰り返し修正し、ステップ１．４及びステップ１．６の状況が出た後、繰り返しを終了する。

【0036】

ステップ２：改善されたＦＣＯＳネットワークを基準とし、バイナリ検出ネットワークの構築及びトレーニングを行い、バイナリ検出ネットワークの煙検出分岐及び火炎検出分岐は、それぞれステップ１に記載された改善されたＦＣＯＳネットワークであり、トレーニングについて、煙検出分岐は、煙トレーニングセットのみに対してトレーニングを行い、即ちトレーニングを完了した後に煙検出のみを行い、同様に、火炎検出分岐は、火炎トレーニングセットのみに対してトレーニングを行い、即ちトレーニングを完了した後に火炎検出のみを行う。

【0037】

ステップ３：トレーニングされたバイナリ検出ネットワークを用いて、現フレームを検出し、２つの検出分岐に得られたターゲット枠情報及びカテゴリ確率をステップ４及びステップ５にそれぞれ入力して、その後の処理を行う。

【0038】

ステップ４：ステップ３において得られた煙ターゲット及び火炎ターゲットの関係状況に基づいて、協調最適化フィードバック及び協調強化フィードバックという２つのフィードバックメカニズムの選択を行う。ここで、協調フィードバック最適化は、主にステップ３において得られた複数の煙枠又は火炎枠の位置情報を先行知識として、速度に基づいて修正されたカルマンフィルタ及びフレーム間差分法両方を結び付けて、次フレームの画像における煙及び火炎の概略位置を予測し、バイナリ協調ネットワークの検出分岐が異なることに対して、次フレームにおいて予測された概略な煙ターゲット又は火炎ターゲットの位置に対して事前にマスキングを行い、それによって、バイナリ検出ネットワークの煙又は火炎に対する検出精度を向上させる。一方、協調フィードバック強化は、後処理操作として、主にバイナリネットワークの検出分岐における特徴図の重みを調整することにより、ステップ３を利用して結果を伝達して、次フレームの同じタイプのターゲットに対する検出精度を向上させることを実現する。

【0039】

２つのフィードバックメカニズムの選択について、バイナリ検出ネットワークにおいて煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されていない場合、即ち無煙無火の状況であり、協調強化フィードバックを選択し、煙検出分岐にターゲットが検出されており、一方、火炎検出分岐にターゲットが検出されていない場合、即ち有煙無火の状況であり、協調最適化フィードバックを選択し、煙検出分岐にターゲットが検出されておらず、一方、火炎検出分岐検出にターゲットが検出されている場合、即ち有火無煙の状況であり、協調強化フィードバックを選択し、煙検出分岐及び火炎検出分岐にいずれもターゲットが検出されている場合、煙検出分岐に検出された最小ターゲット煙面積を

【数63】

とし、同様に、火炎検出分岐に検出された最小ターゲット火炎面積を

【数64】

とし、

【数65】

と設定した閾値η_ｍｉｎの大小関係に基づいて次の判断を行う。

【0040】

【数66】

即ち煙が大きく火炎が小さい場合、２つのフィードバックメカニズム両方を選択し、

【数67】

即ち煙及び火炎がほぼ同じである場合、協調最適化フィードバックを選択し、

【数68】

即ち煙が小さく火炎が大きい場合、協調強化フィードバックを選択する。

【0041】

協調最適化フィードバックは、主に現フレームに検出される複数の煙枠又は火炎枠の位置情報を先行知識として、速度に基づいて修正されたカルマンフィルタ及びフレーム間差分法両方を結び付けて、次フレームの画像における煙及び火炎の概略位置を予測し、バイナリ協調ネットワークの検出分岐が異なることに対して、次フレームにおいて予測された概略な煙又は火炎ターゲット位置に対して事前にマスキングを行い、それによって、バイナリ検出ネットワークの煙又は火炎の検出精度を向上させることである。具体的なステップは次の通りである。

【0042】

ステップ一：速度に基づいて修正されたカルマンフィルタモデルを構築して、次フレームの煙ターゲット又は火炎ターゲットが現れる可能性のある位置を予測する。

【0043】

カルマンフィルタは、ターゲット運動を等速運動にモデル化して、ターゲットの運動状態は（ｐ_ｔ，ｖ_ｔ）として示され、ここで、ｐ_ｔは、第ｔ時刻のターゲット位置を示し、ｖ_ｔは、ｐ_ｔの各パラメータの速度を示し、ターゲット状態は、即ち次のベクトル形式として示されることができる。
γ_t = （ｘ_ｔｃ, ｙ_ｔｃ, ｗ_ｔ, ｈ_ｔ, ｖ_ｔｘ, ｖ_ｔｙ, ｖ_ｔｗ, ｖ_ｔｈ）^Ｔ
式では、ｘ_ｔｃ、ｙ_ｔｃは、第ｔ時刻のターゲットの検出枠の中心座標を示し、ｗ_ｔは、検出枠の幅を示し、ｈ_ｔは、検出枠の高さを示し、ｖ_ｔｘ、ｖ_ｔｙ、ｖ_ｔｗ、ｖ_ｔｈは、それぞれの速度の変化値を示す。

【0044】

しかし、実際の森林火災の巡回監視プロセスでは、無人航空機は時々急速に加速したり減速したりする場合があるため、等速モデルを用いると、ターゲットの予測枠に比較的に大きいずれが生じるため、本明細書では、現在の無人航空機の空撮速度及び高さの変化率を利用して、ｖ_ｔにおける各速度パラメータを修正し、関連する計算は次の通りである。

【数69】

式では、ｖ_ｕａｖは、無人航空機の速度を示し、ｗ’及びｈ’は、空撮図の幅及び高さを示し、Ｌは、無人航空機の空撮レンズの受容野の直径を示し、∂は、スケーリングパラメータを示し、Δｈは、無人航空機の上昇又は下降プロセスにおける高さの差を示し、Δｔ_ｈは、無人航空機の上昇又は下降プロセスにおいてかかった時間を示し、ｗ_ｔ-1及びｈ_ｔ-1は、前の１つのフレームのターゲットの検出枠の幅及び高さであり、Δｔは、フレーム数間隔である。

【0045】

速度を修正した後、カルマンフィルタを利用して、ターゲットの状態及びターゲットの状態の共分散の予測方程は次の通りである。

【数70】

式では、

【数71】

は、ｔ時刻のターゲットの予測状態を示し、

【数72】

は、ｔ－１時刻の最適の推定値を示し、Ｆ_Ｓは、状態遷移行列を示し、即ちターゲットの運動パラメータ行列であり、Ｗ_ｔ-1|ｔ-1は、ｔ－１時刻の運動雑音を示し、一般的に、平均値のサイズがゼロである白色ガウス雑音を採用する。Ｐ_ｔ|ｔ-1、Ｐ_ｔ-1|ｔ-1、Ｑ_Ｗは、それぞれ、

【数73】

の共分散である。

【0046】

カルマンフィルタの軌跡状態の更新プロセスでは、現在の時刻の検出に基づいて、関連する軌跡状態を校正し、より正確な状態推定値を得て、状態更新の方程は次の通りである。

【数74】

式では、

【数75】

は、ｔ時刻のターゲットの最適推定を示し、Ｚ_ｔ＝（ｘ_Ｚ，ｙ_Ｚ，ｗ_Ｚ，ｈ_Ｚ）は、ｔ時刻の検出平均値のベクトルであり、Ｈ_γは、観測遷移行列を示し、Ｋ_ｔは、カルマンゲインであり、具体的な計算は次の通りである。

【数76】

式では、Ｒ_γは、検出器の雑音行列を示し、４×４の対角行列であり、対角線における値は、それぞれ中心点座標及び幅、高さの雑音である。カルマンフィルタの上記式は、現在のターゲットの運動推定の最適状態を推定し、

【数77】

の共分散行列Ｐ_ｔ|ｔを更新し、このように繰り返して、現在の時刻のターゲットの検出情報に基づいて、次の時刻のターゲットの位置推定を完了することを実現する。

【0047】

本発明は、現フレームの画像をＩ_t-1（ｘ，ｙ）とし、次フレームの画像をＩ_t（ｘ，ｙ）とし、速度に基づいてカルマンフィルタを修正した後に、Ｉ_t（ｘ，ｙ）において予測される煙ターゲット及び火炎ターゲット領域セットをそれぞれ

【数78】

とし、ここで

【数79】

は、それぞれＩ_t-1（ｘ，ｙ）において検出された煙ターゲット及び火炎ターゲットの数である。しかし、樹木などの剛体ターゲットと異なって、煙及び火炎は非剛体ターゲットとして、短時間内で大きく変形する可能性があり、即ち一部の煙ターゲット又は火炎ターゲットが非剛体変形によってカルマンフィルタが予測される軌跡からずれる可能性が高いため、上述した予測される領域を細分化及び補正する必要があり、具体的な詳細は、ステップ二及びステップ三に示される。

【0048】

ステップ二：煙及び火炎の色スペース特徴について、第１の画素の判別関数を構築し、カルマンフィルタによって得られた予測位置を細分化し、具体的なステップは次の通りである。

【0049】

２．１）第１の画素の判別関数の数を定義して、具体的には次の通りである。
森林のシーンにおいて、煙及び火炎の色特徴は比較的に際立って、煙は一般的に白色、灰色及び黒色で現れ、一方、火炎は一般的に赤茶色、オレンジ色で現れる。従って、本発明は、煙及び火炎の色スペース特徴に基づいて、火炎及び煙ターゲットに対する第１の画素の判別関数を提出し、具体的な計算は次の通りである。

【数80】

式では、

【数81】

は、それぞれ火炎ターゲット及び煙ターゲットの判別関数であり、（ｘ，ｙ）は、画素座標を示し、ｆ_Ｈ（ｘ，ｙ）、ｆ_Ｓ（ｘ，ｙ）及びｆ_Ｉ（ｘ，ｙ）は、それぞれ当該画素ドットのＨＳＩスペースチャンネルにおける値を示す。

【0050】

２．２）領域セット

【数82】

に亘って、ステップ２．１における第１の画素の判別関数を利用して、各領域内の画素ドットを判断し、Ａ_ｓｍ及びＡ_ｆｉｒにおける煙ターゲット及び火炎ターゲット領域内第１の画素の判別関数値が０である画素ドットを除去し、それによって新しい煙及び火炎ターゲット領域

【数83】

を取得する。
ステップ三：フレーム間差分法を用いて、Ａ’_ｓｍ又はＡ’_ｆｉｒ
領域からずれる一部の煙又は火炎ターゲットを位置決め、具体的は次の通りである。

【0051】

３．１）ステップ二から得られたＡ’_ｓｍ及びＡ’_ｆｉｒに基づいて、Ｉ_t（ｘ，ｙ）及びＩ_t-１（ｘ，ｙ）におけるＡ’_ｓｍ領域が含まれる画像

【数84】

及びＡ’_ｆｉｒ領域が含まれない画像

【数85】

を取得する

【0052】

３．２）フレーム差領域Ｄ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）を取得し、関連計算は次の通りである。

【数86】

【0053】

３．３）得られたＤ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）に基づいて、閾値判断及びステップ２．１において提出された画素の判定ルールによって、第２の画素の判別関数を構築し、Ｄ_ｓｍ（ｘ，ｙ）及びＤ_ｆｉｒ（ｘ，ｙ）における第２の画素判別の関数値が０である画素ドットを除去し、Ａ’_ｓｍ又はＡ’_ｆｉｒ領域からずれる煙及び火炎領域Ｕ_ｓｍ及びＵ_ｆｉｒを取得し、ここで、第２の画素の判別関数の計算プロセスは次の通りである。

【数87】

式では、Ｔは、運動領域の判断閾値であり、Ｕ_ｓｍ及びＵ_ｆｉｒは、それぞれＡ’_ｓｍ及びＡ’_ｆｉｒからずれる煙及び火炎領域である。

【0054】

ステップ四：Ｉ_t（ｘ，ｙ）において

【数88】

に対してマスキングを行い、それによって、Ｉ_t（ｘ，ｙ）に対応する煙消去の画像

【数89】

又は火炎消去の画像

【数90】

を取得する。

【0055】

以上に説明された協調最適化フィードバックプロセスは、有煙無火の場合、煙が大きく火炎が小さい場合、及び煙と火炎がほぼ同じである場合における具体的な使用は次の通りである。

【0056】

（１）有煙無火の場合について、このような状況は、Ｉ_t-１（ｘ，ｙ）には煙ターゲットのみを検出したが火炎ターゲットを検出しなかったことを示し、このような状況は実際のシーンにおいて確かに存在する可能性があるが、煙に干渉されて火炎ターゲットの検出漏れが生じる可能性もある。上記のような状況を避けるために、Ｉ_t（ｘ，ｙ）画像の検出を行う時に、

【数91】

をバイナリネットワークにおける火炎検出分岐の入力として、一方、煙検出分岐は、依然としてＩ_t（ｘ，ｙ）画像入力を維持する。

【0057】

（２）煙が大きく火炎が小さい場合について、このような状況は、Ｉ_t-１（ｘ，ｙ）には煙ターゲット及び火炎ターゲットが同時に検出されており、且つ煙ターゲットが占める領域の面積は、火炎ターゲットの面積よりも大きい場合を示し、実際のシーンにおける煙及び火炎関係に一致し、この後の検出の安定性を確保するために、Ｉ_t（ｘ，ｙ）の画像の検出を行う時に、

【数92】

をバイナリネットワークにおける煙検出分岐の入力とし、

【数93】

を火炎検出分岐の入力とする。

【0058】

（３）煙及び火炎がほぼ同じである場合について、このような状況は、Ｉ_t-１（ｘ，ｙ）には煙ターゲット及び火炎ターゲットが同時に検出されるが、煙ターゲットが占める領域面積と火炎ターゲット面積に殆ど差異がない場合を示し、このような状況は、実際のシーンに確かに存在するが、煙ターゲットの位置決めが正確ではないことが発生する可能性があり、煙ターゲットに対する識別の正確性を向上させるとともに、火炎ターゲットのこの後の検出の安定性を確保するために、Ｉ_t（ｘ，ｙ）の画像の検出を行う時に、煙が大きく火炎が小さい場合と同じように処理すればよい。

【0059】

協調強化フィードバックは、後処理操作として、主にバイナリネットワークの検出分岐における特徴図の重みを調整することにより、現フレームの結果の伝達を利用して次フレームの同じタイプのターゲットに対して存在する可能性のあるミス結果を修正することを実現する。ターゲットの検出プロセスにおいて、ＦＣＯＳネットワークは、複数のＦＰＮ特徴図に対して重み付け融合を行い、ガウシアンの重み付けに基づく特徴融合方法を採用する。具体的な融合プロセスは次の通りである。

【数94】

式では、

【数95】

は、融合される特徴図であり、

【数96】

は、融合されたＦＰＮのレイヤ総数であり、

【数97】

は、Ｆ_ｌレイヤの（ｘ，ｙ）箇所における特徴ベクトルであり、ω_ｌは、１つのトレーニング可能な重みであり、トレーニングポリシーを通じた後に確定的に発生し、各特徴図の重要性を制御するために用いられ、Ｇ_ｘ,ｙ,ｌは、１つのガウシアンの重み付け関数であり、各特徴図に対して重み付けを行うために用いられ、ガウシアンの重み付け関数の形式は次の通りである。

【数98】

式では、ｘ_ｌ及びｙ_ｌは、Ｐ_ｌレイヤの特徴図のスペース次元における中心位置であり、σ_Ｇは、ガウス分布の標準差である。この関数は、位置（ｘ，ｙ）から遠い特徴図に対して比較的に小さい重みを付与し、一方、位置（ｘ，ｙ）から近い特徴図に対して比較的に大きい重みを付与することを示す。

【0060】

無煙無火の場合、有火無煙の場合、煙が大きく火炎が小さい場合、煙が小さく火炎が大きい場合という４つの場合における協調フィードバック強化の具体的な使用は次の通りである。

【0061】

（１）Ｉ_t-１（ｘ，ｙ）が無煙無火の状況であると判断される場合、Ｉ_t（ｘ，ｙ）画像の検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるネットワークトレーニングによって発生されるＦＰＮの各レイヤの特徴重みω_ｌに対して、無人航空機の巡回監視の高さの状況に応じてアダプティブ調整を行う必要があり、具体的な調整は次の通りである。

【0062】

先ず、高さに基づいて変化するレイヤの重みの調節因子

【数99】

を定義し、具体的な計算プロセスは次の通りである。

【数100】

ここで、ｈ_ｕａｖは、現在の無人航空機の空撮の高さを示し、

【数101】

は、バイナリ協調ネットワークは無人航空機が平均の高さを採集するようにトレーニングすることを示し、ｌは、現在のＦＰＮのレイヤ数を示す。

【0063】

そして、取得された

【数102】

に基づいて、バイナリ検出ネットワークの煙検出分岐及び火炎検出分岐におけるレイヤ特徴の融合重みω_ｌに対して新たに重みを付け、具体的な計算は次の通りである。

【数103】

ここで、

【数104】

は、特徴図の融合を行う必要があるＦＰＮのレイヤ総数である。

【0064】

最後、重みが調整された後のバイナリ検出ネットワークは、この後のフレームの煙ターゲット又は火炎ターゲットを検出するために用いられ、この後のフレームには、有火無煙の状況、煙が大きく火炎が小さい状況、煙が小さく火炎が大きい状況が現れるまで、重みを再び調整する。

【0065】

（２）Ｉ_t-１（ｘ，ｙ）が有火無煙の状況であると判断される場合、実際のシーンにおける煙及び火炎の関係に一致しないため、Ｉ_t（ｘ，ｙ）の画像の検出を行う時に、現在の火炎ターゲットの検出結果に基づいて、バイナリ検出ネットワークにおける火炎分岐に対してフィードバック強化を行う必要があり、関連ステップは次の通りである。

【0066】

先ず、検出された複数の火炎ターゲットの識別確率に対してソーティングを行い、識別確率が最も小さい火炎ターゲットをＳ_ｆｉｒとし、対応する識別確率をＰ_ｆｉｒとし、

【0067】

次に、煙ターゲットのスケール回帰範囲に基づいて、Ｓ_ｆｉｒに対してＦＰＮレイヤのスケール位置決めを行い、ＦＰＮレイヤに位置決められたものを

【数105】

とし、
その後、識別確率Ｐ_ｆｉｒ及びターゲットの所望確率Ｐ_Ｅを利用して、重みを修正し、関連計算は次の通りである。

【数106】

【0068】

最後に、修正後のＦＰＮレイヤの融合重みω’_ｌで、元の火炎検出分岐における重みを置き換えて、それによって、火炎検出分岐の次フレームの火炎ターゲットに対する検出能力を向上させる。

【0069】

（３）Ｉ_t-１（ｘ，ｙ）が煙が大きく火炎が小さい状況であると判断される場合、Ｉ_t（ｘ，ｙ）の画像の検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐及び火炎検出分岐におけるＦＰＮの各レイヤの特徴融合重みω_ｌ及びガウシアンの重み付け関数Ｇ_{ｘ，ｙ,ｌ}の標準差に対して、それぞれ調整を行う必要があり、具体的な調整は次の通りである。

【0070】

煙検出分岐Ｇ_{ｘ，ｙ，ｌ}の修正について、まず、協調フィードバック強化モジュールによって、Ｉ_t（ｘ，ｙ）フレームにおける煙が現れる可能性のある領域

【数107】

が得られ、そして、

【数108】

領域に基づいて領域標準差σ_ＳＭを計算し、最後に、σ_ＳＭで元の標準差σ_Ｇ、を置き換えて、Ｇ_ｘ,ｙ,ｌの修正を実現する。

【0071】

煙検出分岐のω_ｌの修正について、先ず、有火無煙の状況と同様に、識別確率が最も小さい煙ターゲットＳ_ｓｍ、対応する確率Ｐ_ｓｍを取得し、対応するＦＰＮレイヤ

【数109】

の位置決めを行い、しかし、所望確率Ｐ_Ｅ及び識別確率Ｐ_ｓｍに基づいて重みω_ｌを修正する場合に相違があり、Ｐ_ｓｍ≧Ｐ_Ｅである場合、煙識別が最も悪い状況であっても所望確率以上に達成することを代表し、即ちこの時のＦＰＮレイヤの各レイヤの融合重みは比較的に適切であり、別途に調整する必要がなく、Ｐ_ｓｍ＜Ｐ_Ｅである場合、現在の特徴レイヤ

【数110】

を主体とする特徴図の融合効果は、依然として向上させる必要があるため、次の式を利用して調整を行う。

【数111】

【0072】

最後に、修正後のＧ_ｘ,ｙ,ｌ及びＦＰＮレイヤの各レイヤの融合重みω’_ｌを利用して、煙検出分岐を調整する。

【0073】

同様に、上述した煙検出分岐の修正方式に従って、火炎検出分岐におけるＧ_{ｘ，ｙ，ｌ}及びω’_ｌを修正する。

【0074】

（４）Ｉ_t-1（ｘ，ｙ）が煙が小さく火炎が大きい状況であると判断される場合、このような状況は、煙の位置決めが正確ではなく、即ち、検出が不完全であるため発生された状況であり、Ｉ_t（ｘ，ｙ）の画像の検出を行う時に、バイナリ検出ネットワークにおける煙検出分岐のレイヤ融合重みω_ｌに対して、有火無煙の場合に火炎検出分岐におけるω_ｌに対する修正方式に従って調整する必要があり、一方、火炎検出分岐におけるω_ｌに対して、煙が大きく火炎が小さい場合に火炎検出分岐におけるω_ｌに対する修正方式に従って調整を行う。

【0075】

ステップ５：ステップ３によって得られた２つの検出分岐における検出結果に対して融合を行い、現フレームの検出カテゴリ及び対応する確率を出力し、そして、動画が終了するまで、この後のフレームについてステップ３～ステップ５の操作を循環する。

【0076】

同じ技術案に基づいて、本発明は、１つ又は複数のプログラムが記憶されるコンピュータ可読記憶媒体をさらに開示し、前記１つ又は複数のプログラムはコマンドを含み、前記コマンドは、コンピューティング機器によって実行される時に、前記コンピューティング機器に以上に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法を実行させる。

【0077】

本発明は、バイナリ協調フィードバックに基づく無人航空機のスマートクルーズの検出機器をさらに提供し、１つ又は複数のプロセッサ、１つ又は複数のメモリ、及び１つ又は複数のプログラムを含み、ここで、１つ又は複数のプログラムは、前記１つ又は複数のメモリに記憶されており、且つ前記１つ又は複数のプロセッサによって実行されるように配置され、前記１つ又は複数のプログラムは、以上に記載のバイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法を実行するためのコマンドを含む。

【0078】

以上、図面を結び付けて本発明の実施の形態を詳しく説明したが、本発明は上述した実施の形態に限定されず、当業者が備える知識範囲内では、本発明の趣旨を逸脱しない前提で様々な変更を行うこともできる。

【要約】      （修正有）

【課題】バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法及び機器を提供する。
【解決手段】方法は、取得したターゲット領域の画像に対して、煙タブ及び火炎タブをそれぞれ付し、煙トレーニングセット及び火炎トレーニングセットを構築するステップ１と、ステップ１における煙トレーニングセット及び火炎トレーニングセットを利用して、バイナリ検出ネットワークの構築及びトレーニングを行い、改善されたＦＣＯＳネットワークを基準とする煙検出分岐及び火炎検出分岐を含むステップ２と、トレーニングされたバイナリ検出ネットワークを用いて、リアルタイムで空撮して取得されたターゲット領域の動画の現フレームを検出し、煙検出分岐及び火炎検出分岐の検出結果を融合してから出力するステップ３と、ターゲット領域の動画が終了するまで、ステップ３を繰り返し、ターゲット領域の動画の次フレームを検出するステップ４と、を含む。
【選択図】図１

【図1】

【図2】

【図3】