特許 6110316 監視システムおよび飛行場内の異物、破片、または損害を検出する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6110316

(24)【登録日】2017年3月17日

(45)【発行日】2017年4月5日

(54)【発明の名称】監視システムおよび飛行場内の異物、破片、または損害を検出する方法

(51)【国際特許分類】

   B64F 1/36 20170101AFI20170327BHJP

   H04N 7/18 20060101ALI20170327BHJP

   G08G 5/00 20060101ALI20170327BHJP

   G08B 25/00 20060101ALI20170327BHJP

   F41H 13/00 20060101ALN20170327BHJP

【ＦＩ】

   B64F1/36

   H04N7/18 D

   G08G5/00 Z

   G08B25/00 510M

   !F41H13/00

【請求項の数】53

【全頁数】47

(21)【出願番号】特願2013-554422(P2013-554422)

(86)(22)【出願日】2012年2月21日

(65)【公表番号】特表2014-513642(P2014-513642A)

(43)【公表日】2014年6月5日

(86)【国際出願番号】SG2012000052

(87)【国際公開番号】WO2012115594

(87)【国際公開日】20120830

【審査請求日】2015年2月17日

(31)【優先権主張番号】201101223-4

(32)【優先日】2011年2月21日

(33)【優先権主張国】SG

(73)【特許権者】

【識別番号】513209268

【氏名又は名称】ストラテック システムズ リミテッド

【氏名又は名称原語表記】ＳＴＲＡＴＥＣＨ ＳＹＳＴＥＭＳ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】110001450

【氏名又は名称】特許業務法人大島・西村・宮永商標特許事務所

(74)【代理人】

【識別番号】100113376

【弁理士】

【氏名又は名称】南条 雅裕

(72)【発明者】

【氏名】チュウ キエン ミュウ デビッド

【審査官】 田合 弘幸

(56)【参考文献】

【文献】 特表２０１０−５３９７４０（ＪＰ，Ａ）

【文献】 特開２００４−００９９９３（ＪＰ，Ａ）

【文献】 特開２０００−２０７６９３（ＪＰ，Ａ）

【文献】 特開２００１−０２８７４５（ＪＰ，Ａ）

【文献】 特開２００６−０１８６５８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／００９８８４３（ＵＳ，Ａ１）

【文献】 特開２０１０−１８５７２３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６４Ｆ １／３６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

飛行場の画像を獲得するための１つまたは複数のカメラと、
１つまたは複数のカメラによって獲得された画像から飛行場内の異物、破片または損害を検出するための処理装置と、
飛行場内の兵器衝撃を検出して、１つまたは複数のカメラに、検出された兵器衝撃の領域中の画像を獲得するよう指示するための兵器衝撃監視システムであって、前記兵器衝撃が、兵器衝撃によって引き起こされた爆発、煙、埃または閃光の画像によって検出される、兵器衝撃監視システムと
を備える、飛行場内の異物、破片、または損害を検出するための監視システム。

【請求項2】

１つまたは複数のカメラが静止および非静止カメラの組合せを備える、請求項１に記載の監視システム。

【請求項3】

１つまたは複数のカメラが、損害の種類を検出するためのディテールを有する画像を得るために、検出された兵器衝撃の領域にズームインまたはフォーカスする、請求項１または２に記載の監視システム。

【請求項4】

飛行場内で検出された異物、破片、または損害の位置に基づいて航空機の着陸の最小稼働仮設滑走路（ＭＯＳ）を導き出すための計算モジュールを備える、請求項１〜３のいずれか一項に記載の監視システム。

【請求項5】

処理装置が、飛行場内の亀裂、弾孔、地下爆発、破砕、ＵＸＯ、または動物を検出する、請求項１〜４のいずれか一項に記載の監視システム。

【請求項6】

処理装置が、弾孔、地下爆発または破砕の周りの破片の量をそれぞれ検出することによって弾孔、地下爆発または破砕の大きさを決定する、請求項５に記載の監視システム。

【請求項7】

１つまたは複数のカメラが、飛行場の広域画像獲得を提供するために広角レンズを備える、請求項１〜６のいずれか一項に記載の監視システム。

【請求項8】

１つまたは複数のカメラが、飛行場の画像を獲得するために飛行場の上空を飛行するよう手配された航空機上に装着されている、請求項１〜７のいずれか一項に記載の監視システム。

【請求項9】

低視度または低周囲照度条件下で人工照明を提供するための１つまたは複数の赤外線照明器を備える、請求項１〜８のいずれか一項に記載の監視システム。

【請求項10】

処理装置が、異物、破片、または損害の大きさを測定するように構成されている、請求項１〜９のいずれか一項に記載の監視システム。

【請求項11】

飛行場内で検出された損害を飛行場マップ上にマッピングする、請求項１〜１０のいずれか一項に記載の監視システム。

【請求項12】

異物、破片または損害の可能性がある獲得画像中の領域を検出することための領域に基づく検出器と、
獲得画像中のすべての物体のエッジを検出するためのエッジに基づく検出器とを備え、画像中のエッジに基づく検出器によって検出されたエッジと重複する、画像中の領域に基づく検出器によって検出された領域が記憶される、請求項１〜１１のいずれか一項に記載の監視システム。

【請求項13】

１つまたは複数のカメラによって獲得された画像を一緒にまとめて、先に獲得されたステッチ画像と後に獲得されたステッチ画像との間の差分領域を、後に獲得されたステッチ画像中でハイライトする、請求項１〜１２のいずれか一項に記載の監視システム。

【請求項14】

兵器衝撃監視システムが、兵器衝撃を検出した際に視覚または音声警報を作動させるように構成されている、請求項１〜１３のいずれか一項に記載の監視システム。

【請求項15】

兵器衝撃の位置または飛行場損害の情報に基づいて修復作業を推定および計画するための修復の推定および計画モジュールを備える、請求項１〜１４のいずれか一項に記載の監視システム。

【請求項16】

１つまたは複数のカメラが飛行場内の滑走路の対向する側に設置され、その視野が重複する、請求項１〜１５のいずれか一項に記載の監視システム。

【請求項17】

カバレッジの冗長を提供するために１つまたは複数のカメラの視野を重複させる、請求項１〜１６のいずれか一項に記載の監視システム。

【請求項18】

飛行場内の損害を修復するまたは異物を取り除くための遠隔警報および重要情報を受信するための１つまたは複数の携帯用手持ち機器を備える、請求項１〜１７のいずれか一項に記載の監視システム。

【請求項19】

現在の獲得画像および参照画像中に位置する共通物体の位置に基づいて、カメラによって撮影された現在の獲得画像と参照画像との間のオフセットを補正するための画像オフセット補償器を備える、請求項１〜１８のいずれか一項に記載の監視システム。

【請求項20】

画像オフセット補償器が、現在の獲得画像と参照画像との間の補正するオフセットを決定するために、現在の獲得画像および参照画像中の複数の共通物体を使用する、請求項１９に記載の監視システム。

【請求項21】

直線回帰を使用して現在の獲得画像と参照画像との間の補正するオフセットを決定し、現在の獲得画像および参照画像中の共通物体をマッチさせることによって決定されたスコアが事前に決定された閾値よりも大きい場合に、現在の獲得画像および参照画像中の共通物体に基づいて計算されたオフセット値を直線回帰について検討する、請求項２０に記載の監視システム。

【請求項22】

飛行場内で検出された異物、破片、または損害の位置に基づいて航空機の最小飛行場稼働表面（ＭＡＯＳ）を導き出すための計算モジュールをさらに備える、請求項１〜２１のいずれか一項に記載の監視システム。

【請求項23】

低視度または低周囲照度条件下で人工照明を提供するための１つまたは複数の可視スペクトル照明器を備える、請求項１〜２２のいずれか一項に記載の監視システム。

【請求項24】

兵器衝撃が、兵器衝撃によって引き起こされた音によって検出される、請求項１〜２３のいずれか一項に記載の監視システム。

【請求項25】

処理装置が、
カメラによって獲得された画像の適応画像処理に基づいて飛行場内の異物、破片または損害を検出し、
赤外線またはレーザー照明器などの補助照明なしで昼および夜の周囲光条件下のどちらでも異物、破片または損害を検出するために適応的に操作可能な、請求項１〜２４のいずれか一項に記載の監視システム。

【請求項26】

処理装置が、獲得された画像を強調するために画像強調方法を適用する、請求項１〜２５のいずれか一項に記載の監視システム。

【請求項27】

獲得された画像を強調させる前記方法が、獲得された画像に対する高域フィルター、Ｓｏｂｅｌ Ｘの左から右フィルターおよびＳｏｂｅｌ Ｘの右から左フィルター、またはＳｃｈａｒｒ Ｘフィルターを備える、請求項２６に記載の監視システム。

【請求項28】

処理装置が、処理の瞬間が昼間または夜間であるかを決定し、夜間に獲得された画像から航空機の着陸または航空機の離陸または地上車両の移動などが原因の異常光条件を検出する、請求項２６または２７に記載の監視システム。

【請求項29】

異常光条件の検出が、それぞれの画像を１つまたは複数の前の画像と比較するためのグローバルヒストグラムおよび統計分析を備えており、閾値を参照して強度の変化に基づいて異常光条件を同定する、請求項２８に記載の監視システム。

【請求項30】

異常光条件が検出された画像がさらなる処理から無視される、請求項２８または２９に記載の監視システム。

【請求項31】

処理装置が、様々な環境条件における最適異物、破片または損害のエッジ抽出の１つまたは複数の閾値を適応的に推定し、経時的に記録された背景画像エッジマップに基づく統計方法を使用してピクセル・レベル・エッジ・マップを生成して、ピクセルレベルの閾値マップを生成するために使用するグレースケールのルックアップテーブル（ＬＵＴ）を決定する、請求項２６から３０のいずれか一項に記載の監視システム。

【請求項32】

処理装置が、時間的フィルタリングをピクセル・レベル・エッジ・マップにさらに適用して、蓄積されて閾値を通過したピクセルのみからなるロバスト・エッジ・マップのみを保持する、請求項３１に記載の監視システム。

【請求項33】

処理装置が、ロバスト・エッジ・マップを、
以前得られた背景エッジ画像を現在の画像と比較することと
飛行場内のゆっくりと変化する特長を同定することと、
背景エッジ画像をゆっくりとした変化特長で更新することと
を含む適応背景学習にさらに供する、請求項３２に記載の監視システム。

【請求項34】

処理装置が、適応背景エッジマップ、以前に学習および保存された昼または夜の背景エッジマップ、ならびに特定の季節または気象条件について生成された季節的マーキングマップを備える複合背景エッジマップをさらに生成する、請求項３３に記載の監視システム。

【請求項35】

処理装置が、複合背景エッジマップとロバスト・エッジ・マップとをさらに比較し、背景エッジを除去して異物、破片または損害の疑いのあるエッジマップを抽出する、請求項３４に記載の監視システム。

【請求項36】

処理装置が、疑いのあるエッジマップからの環境変化に関連する所望しないエッジをフィルタリングするためのエッジフィルタリングをさらに行い、疑いのあるエッジマップから異物、破片または損害のエッジパラメータを計算する、請求項３５に記載の監視システム。

【請求項37】

環境条件に、昼から夜の変化、または夜から昼の変化、気象条件、雨、煙、雲が含まれる、請求項３６に記載の監視システム。

【請求項38】

ビデオディスプレイ上で異物、破片または損害のグラフィックを飛行場の前記疑いのあるエッジマップ上にオーバーレイして、管制塔または管制室の操作員に異物、破片または損害の検出の警報を出すことが、処理装置によって行われる画像処理に含まれる、請求項３５〜３７のいずれか一項に記載の監視システム。

【請求項39】

処理装置が異物、破片または損害をさらに分類する、請求項１〜３８のいずれか一項に記載の監視システム。

【請求項40】

１つまたは複数のカメラが飛行場滑走路の片側に配置される、請求項１に記載の監視システム。

【請求項41】

１つまたは複数のカメラが故障した場合に、それぞれの隣接カメラが、故障したカメラによってカバーされていた領域をカバーするように操作可能である、請求項１〜４０のいずれか一項に記載の監視システム。

【請求項42】

１つまたは複数のカメラが、１つもしくは複数の白黒カメラ、１つもしくは複数のカラーカメラ、または両方を備える、請求項１〜４１のいずれか一項に記載の監視システム。

【請求項43】

１つまたは複数の暗視カメラをさらに備える、請求項１〜４２のいずれか一項に記載の監視システム。

【請求項44】

飛行場内の滑走路表面が複数のセグメントに分割されており、１つまたは複数の非静止カメラが滑走路をセグメント毎に異物、破片または損害の検出について順次走査する、請求項２〜４３のいずれか一項に記載の監視システム。

【請求項45】

異物、破片または損害の検出時間を短縮するために、非静止カメラが航空機の着陸または離陸のそれぞれの位置中の滑走路セグメントを最初に走査するように指示されるよう、静止カメラが滑走路上の航空機の離着陸のそれぞれの位置を検出する、請求項２〜４４のいずれか一項に記載の監視システム。

【請求項46】

処理装置が、雨動作クラッタの雨様の特徴を認識することによっておよび滑走路全体にわたって起こる雨が原因の動作クラッタに基づいて、滑走路のシーン画像中の雨クラッタをフィルター除去するために時間的フィルタリングを適用する、請求項１〜４５のいずれか一項に記載の監視システム。

【請求項47】

処理装置が、雪動作クラッタの雪様の特徴を認識することによっておよび滑走路全体にわたって起こる雪が原因の動作クラッタに基づいて、飛行場内の滑走路の滑走路シーン画像中の雪クラッタをフィルター除去するために時間的フィルタリングを適用する、請求項１〜４６のいずれか一項に記載の監視システム。

【請求項48】

処理装置が、滑走路のシーン較正のために飛行場内の滑走路上に縦方向に沿ってかつ滑走路の側方から同じ垂直距離に位置するマーカーまたは滑走路端燈を活用して、滑走路の画像上のピクセルを実世界座標フレーム上の正確な座標にマッピングする、請求項１〜４７のいずれか一項に記載の監視システム。

【請求項49】

処理装置が、滑走路中央線の両側の２本の平行な水平滑走路の線および滑走路中央線を活用して、滑走路のシーン較正のために２つの垂直ピクセルマッピング比を導き出して飛行場内の滑走路上の画像上のピクセルを実世界座標フレーム上の正確な座標にマッピングする、請求項１〜４８のいずれか一項に記載の監視システム。

【請求項50】

前記１つまたは複数のカメラはモノスコープカメラを含んでおり、処理装置が、モノスコープビジョンおよびモノスコープカメラによって獲得された較正された滑走路のシーン画像を活用して、飛行場内の滑走路上の異物、破片または損害の位置および範囲を決定する、請求項２〜４９のいずれか一項に記載の監視システム。

【請求項51】

静止カメラおよび較正された滑走路のシーン画像によって決定された異物、破片または損害の位置および範囲を活用して、非静止カメラが異物、破片または損害にパン、チルト、ズームまたはフォーカスするよう自動制御し、検出された異物、破片もしくは損害の正確性の検証または誤認警報のフィルタリングを可能にする詳細を有する異物、破片または損害の画像を得る、請求項５０に記載の監視システム。

【請求項52】

異物、破片または損害の範囲および位置を、重複する視野を有する一対の監視カメラによってそれぞれ獲得された画像を比較することによって得られた画像の差分から計算することができるように、一対の監視カメラを含めた立体視を活用して飛行場内の滑走路の同じセグメントをカバーする、請求項１〜５１のいずれか一項に記載の監視システム。

【請求項53】

飛行場の画像を獲得するステップと、
獲得された画像から飛行場内の異物、破片または損害を検出するステップと、
飛行場内の兵器衝撃を検出するステップであって、前記兵器衝撃が、兵器衝撃によって引き起こされた爆発、煙、埃または閃光の画像によって検出される、前記ステップと、
１つまたは複数のカメラに検出された兵器衝撃の領域中の画像を獲得するよう指示する
ステップと
を含む、飛行場内の異物、破片、または損害を検出する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システムおよび飛行場内の異物、破片、または損害を検出する方法、特に、飛行場監視（飛行場内の滑走路および／または誘導路および／または進入路および／またはインフィールド／草地および／またはエプロンおよび／または舗装路の監視が含まれる）、異物、破片（ＦＯＤ）や損害（亀裂、弾孔、破砕、ＵＸＯ、地下爆発）の検出／測定／分類ならびに飛行場損害評価のための方法に幅広く関する。

【背景技術】

【0002】

滑走路監視は空港運用に非常に重要である。滑走路は、航空機または滑走路を使用する他の車両の磨損の結果として生じた深い穴などの損害に絶えずさらされている。時折、破片または異物が滑走路上に現れる場合があり、これはジェット噴流、航空機の離陸／着陸、自然の原因などに起因している可能性がある。航空機の移動を伴う現役滑走路上では、異物、破片または損害（ＦＯＤ）の存在は飛行機墜落およびその結果として人命の損失をもたらす場合があり、航空会社に顕著な損失をもたらす。

【0003】

様々な方法が滑走路監視を実施するために用いられている。慣習的には、検査官が空港滑走路を動き回って、目視検査および手動監視を定期的に実施する。目視検査は遅く、労働集約的である。さらに、目視検査は滑走路の周辺条件の影響を受けやすいため信頼できない。

【0004】

一部の空港では、空港滑走路およびその隣接領域上の損害、破片および他の危険を検出するためにレーダーを用いる自動システムを使用している。レーダーを使用するシステムでは、通常はマイクロ波シグナルを滑走路一面に送出し、任意の異物からの反射されたシグナルを検出して分析する。マイクロ波シグナルはパルスまたは構造的であるため、シグナルが受信機に到達するまでにかかった時間を計算し、そこから、異物までの距離を導き出す。より短い波長およびより高いパルス繰返し周波数を有するレーダーセンサを使用することによって、より高い距離分解能を得ることが可能となり、立ち代ってこれは背景クラッタを低下させ得る。

【0005】

しかし、滑走路監視のために任意のレーダーを使用するシステムはそれぞれの制限を有する。レーダーは金属物体の検出に優れた手段であるが、他方でゴムなどの非金属物質の検出には感度がより低い。レーダーシグネチャが乏しい材料（たとえばゴム）から作製された物体は、そのようなレーダーに基づくシステムにおいて大きな問題を引き起こす可能性がある。さらに、レーダーは、より小さな非金属物質の検出には信頼できない場合がある。さらなる制限には、他の物体または基礎構造によって引き起こされる遮断が原因の、レーダーの盲点または影が含まれる。さらに、レーダーは、それほど危険ではあり得ない小さな金属物体から反射されたシグナルについてさえも強力なシグナルを示すことによって、誤認警報を作動させ得る。したがって、レーダーに基づく監視システムは「知能」を欠いており、操作員によって検証および特徴づけするための物体の視覚画像を提供できないことに悩まされる。

【0006】

一部の空港では、滑走路上の物体、亀裂、空洞などを検出するために赤外線または熱イメージングシステムを利用している。しかし、赤外線または熱イメージングシステムを用いるシステムは周辺の熱平衡外にある赤外線放射（物体から放出されたもの）しか感知することができず、すなわち、赤外線または熱イメージングシステムは十分な熱コントラストを有する物体（たとえば冷えた滑走路上の温かい金属破片）しか検出することができない。熱コントラストが乏しい小さな物体は、赤外線／熱イメージングシステムに顕著な課題を提示し得る。さらに、そのようなシステムの性能は悪天候（たとえば寒空）条件下では予測できない。さらに、赤外線／熱イメージングシステムは、物体の検出、特徴づけおよび分類に必要な分解能も欠く。

【0007】

近年、滑走路の近くに配置された１つまたは複数のビデオカメラを使用する監視が提案されている。カメラから得られたビデオシグナルは、空港管制室の制御盤上で操作員によって視覚的に監視される。

【0008】

また、画像処理（たとえば背景減算）に頼って監視カメラから受信された滑走路のビデオ画像を処理することによって任意のＦＯＤまたは飛行場滑走路損害を検出することも提案されている。

【0009】

背景減算を使用するＦＯＤまたは飛行場滑走路損害の検出はいくつかの問題を有する。第一に、ピクセル特性が背景と前景とのピクセル間を正しく識別するために必ずしも十分とは限らない。さらに、背景は、ノイズ、クラッタ、外部事象、照明条件および気象条件の変動などが原因の変化を受けやすい。

【0010】

さらに、現在使用されている画像処理システムは周囲の照明条件に依存しており、低照度条件に適しておらず、これはピクセルの特徴づけにおいて顕著な問題を引き起こす。

【0011】

既存の監視システムで使用されているビデオカメラは、夜の監視にはレーザー光または赤外光などの追加の補助照明を必要とする。立ち代ってこれは、そのようなシステムを使用する空港において顕著な基礎構造を必要とし、費用を増加させる。また、レーザー光または赤外光などの光学光の存在は、空港で使用されている他のシステムと干渉する可能性があり、空港での航空機航行に対する安全性の問題をもたらし得、パイロットなどに危険をもたらし得る。

【0012】

さらに、攻撃軍の最も有効な戦術の一つは敵の飛行場への先制攻撃である。滑走路が破壊されて航空機が飛行不能となった後、これらの飛行場はさらなる攻撃のより容易な標的となる。この脅威は、滑走路を破壊するために設計された現代兵器、たとえば、クラスター爆弾、複数ロケット発射装置（ＭＲＬ）の開発によって大きくなっている。

【0013】

標的（たとえば軍用飛行場滑走路）に対する戦闘損害評価（ＢＤＡ）は戦時中において非常に重要である。伝統的に、偵察チームを送って滑走路の全長を偵察させ、滑走路を参照とした弾孔の直径、深度、および位置に関する損害のチャートを作成する。典型的なチャート作成には約６０〜１２０分間を要する。そのような長い手引き書に基づいた活動は戦闘状況では非効率的であり、必然的に兵士をさらなる爆撃の危険性に曝す。

【発明の概要】

【発明が解決しようとする課題】

【0014】

したがって、上記問題のうちの１つまたは複数に取り組むことに努める、滑走路監視および飛行場損害評価を提供する必要性が存在する。

【課題を解決するための手段】

【0015】

本発明の一態様に従って、飛行場の画像またはビデオを獲得するための１つまたは複数のカメラと、１つまたは複数のカメラによって獲得された画像から飛行場内の異物、破片または損害を検出するための処理装置と、飛行場内の兵器衝撃を検出して、１つまたは複数のカメラに、検出された兵器衝撃の領域中の画像を獲得するよう指示するための兵器衝撃監視システムとを備える、飛行場内の異物、破片、または損害を検出するための監視システムが提供される。

【0016】

１つまたは複数のカメラは静止および非静止カメラの組合せを備え得る。

【0017】

１つまたは複数のカメラは、損害の種類を検出するための詳細を有する画像を得るために、検出された兵器衝撃の領域にズームインまたはフォーカスし得る。

【0018】

兵器衝撃は、兵器衝撃によって引き起こされた爆発、煙、埃もしくは閃光の画像または音によって検出され得る。

【0019】

監視システムは、飛行場内で検出された異物、破片、または損害の位置に基づいて航空機の着陸の最小稼働仮設滑走路（ＭＯＳ）を導き出すための計算モジュールを備え得る。

【0020】

監視システムは、飛行場内の亀裂、弾孔、地下爆発、破砕、ＵＸＯ、または動物を検出し得る。

【0021】

処理装置は、弾孔、地下爆発または破砕の周りの破片の量をそれぞれ検出することによって弾孔、地下爆発または破砕の大きさを決定し得る。

【0022】

１つまたは複数のカメラは、飛行場の広域画像獲得を提供するために広角レンズを備え得る。

【0023】

１つまたは複数のカメラは、飛行場の画像を獲得するために飛行場の上空を飛行するよう手配された航空機上に装着され得る。

【0024】

監視システムは、低視度または低周囲照度条件下で人工照明を提供するための１つまたは複数の赤外線または可視スペクトル照明器を備え得る。

【0025】

処理装置は、異物、破片、または損害の大きさまたは物理的属性を測定するように構成され得る。

【0026】

飛行場内で検出された損害は、飛行場マップ上にマッピングし得る。

【0027】

監視システムは、異物、破片または損害の可能性がある獲得画像中の領域を検出するための領域に基づく検出器と、獲得画像中のすべての物体のエッジを検出するためのエッジに基づく検出器とを備え、画像中のエッジに基づく検出器によって検出されたエッジと重複する、画像中の領域に基づく検出器によって検出された領域が記憶され得る。

【0028】

１つまたは複数のカメラによって獲得された画像を一緒にまとめて、先に獲得されたステッチ画像と後に獲得されたステッチ画像との間の差分領域を、後に獲得されたステッチ画像中でハイライトし得る。

【0029】

兵器衝撃監視システムは、兵器衝撃を検出した際に視覚または音声警報を作動させるように構成され得る。

【0030】

監視システムは、兵器衝撃の位置および損害の情報に基づいて修復作業を推定および計画するための修復の推定および計画モジュールを備え得る。

【0031】

１つまたは複数のカメラは飛行場内の滑走路の対向する側に設置してよく、その視界は重複し得る。

【0032】

１つまたは複数のカメラの視界は重複し得る。

【0033】

監視システムは、飛行場内の損害を修復するまたは異物を取り除くための遠隔警報および重要情報を受信するための１つまたは複数の携帯用手持ち機器を備え得る。

【0034】

監視システムは、現在の獲得画像および参照画像中に位置する共通物体の位置に基づいて、カメラによって撮影された現在の獲得画像と参照画像との間のオフセットを補正するための画像オフセット補償器を備え得る。

【0035】

画像オフセット補償器は、現在の獲得画像と参照画像との間の補正するオフセットを決定するために、現在の獲得画像および参照画像中の複数の共通物体を使用し得る。

【0036】

直線回帰を使用して現在の獲得画像と参照画像との間の補正するオフセットを決定し、現在の獲得画像および参照画像中の共通物体をマッチさせることによって決定されたスコアが事前に決定された閾値よりも大きい場合に、現在の獲得画像および参照画像中の共通物体に基づいて計算されたオフセット値を直線回帰について検討し得る。

【0037】

監視システムは、飛行場内で検出された異物、破片、または損害の位置に基づいて航空機の最小飛行場稼働表面（ＭＡＯＳ）を導き出すための計算モジュールをさらに備え得る。

【0038】

監視システムは、低視度または低周囲照度条件下で人工照明を提供するための１つまたは複数の可視スペクトル照明器を備え得る。

【0039】

兵器衝撃は、兵器衝撃によって引き起こされた音によって検出され得る。

【0040】

本発明の別の態様に従って、飛行場の画像を獲得するステップと、獲得された画像から飛行場内の異物、破片または損害を検出するステップと、飛行場内の兵器衝撃を検出するステップと、１つまたは複数のカメラに、検出された兵器衝撃の領域中の画像を獲得するよう指示するステップとを含む、飛行場内の異物、破片、または損害を検出する方法を提供する。

【0041】

本発明を、添付の図面を参照しながら、非限定的な実施形態によってさらに説明する。

【図面の簡単な説明】

【0042】

【図1】滑走路および／または誘導路上の異物、破片または損害（ＦＯＤ）および飛行場損害を検出するための監視システムにおける監視カメラの配置を例示する模式図である。

【図2】一実施形態によるＦＯＤおよび飛行場損害の検出の基本的な流れ図である。

【図3】本発明の一実施形態の詳細な流れ図である。

【図4】図３Ａにおいてエッジマップを抽出するために使用したルックアップテーブルを示すグラフである。

【図5】滑走路および／または誘導路上のＦＯＤまたは飛行場損害を検出するための監視システムにおける監視カメラの冗長カバレッジを例示する模式図である。

【図6】代替実施形態による滑走路表面の走査を例示する模式図である。

【図7】画像較正（ピクセル対実世界の座標較正）のために滑走路の線を活用する、一実施形態による滑走路の線を例示する模式図である。

【図8】例示的な実施形態の方法およびシステムを実装するためのコンピュータシステムを例示する模式図である。

【図9】異物、破片または損害（ＦＯＤ）および飛行場滑走路損害を検出するためのシステムと、例示的な実施形態の兵器衝撃監視システムとを備える総合飛行場損害評価システムを例示する模式図である。

【図10】図９の兵器衝撃監視システムを使用した衝撃検出システムを例示する模式図である。

【図11】図９の総合飛行場損害評価システムで使用されているソフトウェアモジュールを示すレイアウトである。

【図12】戦時中の図１１のソフトウェアモジュールの対話を示すレイアウトである。

【図13】平時中の図１１のソフトウェアモジュールの対話を示すレイアウトである。

【図14】図９の総合飛行場損害評価システムのハードウェアレイアウトを例示する模式図である。

【図15】滑走路のステッチ画像を示す図であり、滑走路画像中の特定の異物破片および損害領域がハイライトされている。

【図16】２種類の検出器を使用した、飛行場画像中の異物、破片（ＦＯＤ）または損害の検出を例示する流れ図である。

【図17】画像の較正に使用される飛行場の様々な領域に存在するマーカーを例示する図である。

【図18】現在の画像と基準画像との間のオフセットを例示する図である。

【図19】現在の画像と基準画像との間のオフセット補正を例示する図である。

【図20】飛行場画像のオフセット補償のために直線回帰を使用することを例示する流れ図である。

【発明を実施するための形態】

【0043】

図１Ａは、例示的な実施形態による、滑走路（１０６）上の異物、破片または損害（ＦＯＤ）および滑走路損害を検出するための飛行場滑走路監視システム（１００）における監視カメラの配置を例示する模式図である。滑走路（１０６）は中央に位置し、誘導路（１０３、１０４）および草地（１０２）に隣接している。滑走路に向けられた複数の監視カメラ（１０８）は、それぞれの監視カメラ（１０８）の軸が滑走路（１０６）の長さに垂直であるように、誘導路（１０４）の片方の端に沿って配置されている。それぞれの監視カメラ（１０８）は視野（１１０）を走査するように操作可能であり、水平画角（１１１）を有する。それぞれの視野（１１０）には誘導路（１０３、１０４）、滑走路（１０６）および草地（１０２）の一部分が含まれる。また、それぞれの視野（１１０）には滑走路（１０６）に沿って隣接カメラ（１０８）からの交差部分（１１２）も含まれる。

【0044】

監視カメラ（１０８）は滑走路から１５０ｍ〜７００ｍ離れて位置しており、隣接カメラ間で約１０〜５０％の重複を生じる。

【0045】

カメラ（１０８）のそれぞれからのビデオおよび／または画像は空港の管制塔または管制室（１３５）内の応用コンピュータシステム（示さず）に送られる。受信されたビデオおよび／または画像は応用コンピュータシステムのビデオ処理装置によって処理される。応用コンピュータシステムは、監視カメラからのビデオおよび／または画像を連続的に処理して、ＦＯＤおよび滑走路損害を検出し、ＦＯＤまたは滑走路損害が検出された場合に操作員に警報を出す。また、管制塔または管制室（１３５）内の操作員は、リアルタイムの滑走路のビデオおよび／または画像をビデオディスプレイ（示さず）上で視覚的に監視することもできる。応用コンピュータシステムがビデオデータを処理中に何らかの異物、破片または損害（ＦＯＤ）が検出された場合は、操作員はそれについて警告を受ける（視覚警報および／もしくは音声警報ならびに／またはＧＳＭ、ＳＭＳもしくはＭＭＳなどの移動通信手段を介した遠隔無線警報による）。警報および／または遠隔無線警報を受信した際、操作員は監視カメラ（１０８）を検出された物体へとズームし、ＦＯＤまたは滑走路損害を視覚的に検証する。ＦＯＤまたは飛行場滑走路損害が確認された場合は、警報（音および／または視覚）が管制塔または管制室（１３５）内で作動される。また、ＦＯＤまたは飛行場滑走路損害の検出は滑走路（１０６）の近くに位置する遠隔警報（音および／または視覚）も作動させる。また、滑走路復旧チームまたは飛行場修復チームに通知するために無線警報（ＧＳＭ、ＳＭＳまたはＭＭＳなど）も作動される。したがって、すぐに滑走路復旧チームが復旧車両を派遣して、検出されたＦＯＤを片付ける、すなわち異物、破片を取り除く、または損害を修復する。

【0046】

使用される監視カメラは受動的であり、照明器（レーザーまたは赤外線照明器など）を備えていない。監視カメラ（１０８）のそれぞれは、高分解能昼間視／暗視カメラ、低照度高感度カラーカメラ、光増感ＣＣＤを備えたカメラ（ＩＣＣＤカメラ）、電子増倍管ＣＣＤを備えたカメラ（ＥＭ−ＣＣＤカメラ）、暗視カメラ、静止カメラ、高分解能メガピクセルカメラ、非静止カメラ（パニングカメラ、パン・チルト・ズーム（ＰＴＺ）カメラもしくはズームカメラなど）、近赤外線（ＳＷＩＲ）カメラ、中赤外線（ＭＷＩＲ）カメラ、または熱イメージング装置のうちの１つであることができる。したがって、監視システムは、受動的カメラのみを使用して、追加の補助照明（赤外線照明器またはレーザー照明器など）の設置を必要とせずに稼働することができる。

【0047】

システム（１００）において使用される監視カメラ（１０８）は、画像処理用の滑走路のビデオ画像またはデジタル画像を生成することができる。しかし、静止画デジタルカメラを使用して画像処理用の滑走路のデジタル静止画像を生成してもよい。

【0048】

たとえば、ズームカメラまたはパン・チルト・ズーム（ＰＴＺ）カメラを使用して滑走路上の任意の領域に自動的にズームインして、ＦＯＤまたは飛行場滑走路損害の詳細な視界を得ることができる。ズームインビデオ画像は滑走路上の目的領域のさらなる詳細を提供するため、操作員は、検出されたＦＯＤまたは滑走路損害によって引き起こされた潜在的な危険を評価し、適切な行動をすぐに開始させるためにより良好な立場にある。例示的な実施形態では、ＰＴＺカメラまたはズームカメラは、応用コンピュータシステムがＦＯＤまたは滑走路損害を検出した場合にはいつでも応用コンピュータシステムによって遠隔制御し、滑走路上の目的領域にズームインすることができる。あるいは、ＰＴＺカメラまたはズームカメラは、操作員によって手動で制御し、飛行場内の特定の領域にズームインしてズームインビデオまたは画像を得ることもできる。

【0049】

図１Ｂは、滑走路（１０６）上のＦＯＤまたは滑走路損害を検出するための滑走路監視システム（５００）における監視カメラの代替配置を例示する模式図である。滑走路に向けられた複数の監視カメラ（５０８）は誘導路（１０４）の片方の端に沿って配置されている。滑走路に向けられた別の複数の監視カメラ（５０９）は、誘導路（１０３）の他方の遠方の端に沿って配置されている。それぞれの監視カメラ（５０８、５０９）の軸は滑走路（１０６）の長さに垂直である。それぞれの監視カメラ（５０８）は視野（５１０）を監視するように操作可能であり、水平画角（５１１）を有する。それぞれの監視カメラ（５０９）は視野（５１５）を監視するように操作可能であり、水平画角（５２１）を有する。それぞれの視野（５１０、５１５）には、誘導路（１０３、１０４）、滑走路（１０６）および草地（１０２）からの一部分が含まれる。カメラ（５０８、５０９）は、隣接カメラの視野（５１０および５１５）が互いに交互し、明確な分界線または一部のカバレッジ重複を有するように、交互に配置されている。また、隣接監視カメラの重複カバレッジ（視野）は、１つの監視カメラが故障した場合に隣接監視カメラが故障したカメラの視野もカバーできるように、一部の冗長も提供する。また、監視カメラを、滑走路のすべてのセクターが少なくとも２台の監視カメラによってカバーされて視野カバレッジの冗長を提供するように配置することも可能である。したがって、少なくとも２台の監視カメラが同じ滑走路セクターおよび同じ滑走路損害（弾孔、地下爆発、破砕、ＵＸＯ）またはＦＯＤを見ている可能性がある。これは、飛行場の特定の滑走路セクターまたは領域をカバーするために単一の監視カメラのみを使用する場合に起こる可能性がある、飛行場滑走路損害／ＦＯＤの閉塞の問題を克服することも助ける。したがって、この配置では、２台の異なるカメラによって見られる、同じ滑走路損害（弾孔、地下爆発、破砕、ＵＸＯ）またはＦＯＤの２つの異なる視界を獲得することが可能である。これは、滑走路損害またはＦＯＤの検出、測定および分類の率の改善を助ける。

【0050】

図１Ｃは、滑走路（１０５）上の滑走路損害またはＦＯＤを検出するための滑走路監視システム（５５０）における監視カメラのさらに別の代替実施形態を示す模式図である。滑走路に向けられた複数の監視カメラ（５５１）は誘導路（１０４）の片方の端に沿って配置されている。滑走路に向けられた別の複数の監視カメラ（５５２）は、誘導路（１０３）の他方の遠方の端に沿って配置されている。それぞれの監視カメラ（５５１、５５２）の軸は滑走路（１０５）の長さに垂直である。それぞれの監視カメラ（５５１）は視野（５５５）を監視するように操作可能であり、水平画角（５５３）を有する。それぞれの監視カメラ（５５２）は視野（５５６）を監視するように操作可能であり、水平画角（５５４）を有する。それぞれの視野（５５５、５５６）には、誘導路（１０３、１０４）、滑走路（１０５）および草地（インフィールドが含まれる）（１０２）からの一部分が含まれる。この配置により、滑走路および／または誘導路のそれぞれのセクターが、滑走路の両側から１台ずつの少なくとも２台の監視カメラによってカバーされることが可能となる。これは監視カバレッジの冗長を提供する。それに加えて、これは、飛行場滑走路損害（弾孔、地下爆発、破砕、ＵＸＯ）またはＦＯＤにおける、監視カメラ視界の遮断が原因の閉塞の問題を克服することも助ける。そのような閉塞は、監視カメラのカメラ視界内に存在する他のＦＯＤ物体または滑走路損害によって引き起こされる場合があり、飛行場の特定の領域をカバーするために単一のカメラしか使用しない場合に起こる場合がある。

【0051】

滑走路の対向する側の監視カメラの視野は、滑走路および／または誘導路のカバレッジの冗長を提供するために一部の重複を有する。したがって、監視カメラを滑走路の対向する側に設置することは、滑走路および／または誘導路上の弾孔／地下爆発／破砕／ＵＸＯおよびＦＯＤの正確な検出／測定／分類における閉塞が原因の問題を克服することも助ける。

【0052】

以下の説明の一部は、明示的かつ暗黙的に、アルゴリズムおよびコンピュータメモリ内のデータの操作の関数または記号表示に関して提示されている。これらのアルゴリズム記述および関数または記号表示は、データ処理分野の技術者によって、その仕事の内容を当技術分野の他の技術者に最も有効に伝えるために使用される手段である。アルゴリズムとは、本明細書中および一般的に、所望の結果をもたらす自己矛盾のない一連のステップであると理解される。ステップとは、記憶、転送、結合、比較、および他の様式で操作することができる、電気的、磁気的または光学的シグナルなどの物理量の物理的操作を必要とするものである。

【0053】

別段に具体的に記述した場合以外は、かつ以下から明らかなように、本明細書全体にわたって、「計算する」、「決定する」、「置換する」、「生成する」、「初期化する」、「出力する」などの用語を利用した議論は、コンピュータシステム内で物理量として表されるデータを、コンピュータシステムまたは他の情報記憶、伝送もしくは表示装置内で物理量として同様に表される他のデータへと操作および変換する、コンピュータシステムまたは同様の電子装置の動作および処理をいうことを理解されたい。

【0054】

また、本明細書は、方法の処理を行うための装置も開示する。そのような装置は、所要の目的のために特別に構築されていてよい、またはコンピュータ内に記憶されているコンピュータプログラムによって選択的に起動もしくは再構成される汎用コンピュータもしくは他の装置を備えていてよい。本明細書中に提示するアルゴリズムおよび表示は、任意の特定のコンピュータまたは他の装置に固有に関連していない。本明細書中の教示に従って様々な汎用機器をプログラムと共に使用し得る。あるいは、所要の方法ステップを行うためのより特化した装置の構築が適切であり得る。以下の説明から、慣用の汎用コンピュータの構造が見えるであろう。

【0055】

さらに、本明細書は、本明細書中に記載の方法の個々のステップはコンピュータコードによって実行され得ることが当業者には明らかであろう点で、コンピュータプログラムも暗黙的に開示する。コンピュータプログラムは、任意の特定のプログラミング言語およびその実装に限定されることを意図しない。本明細書中に包含される開示の教示を実装するために様々なプログラミング言語およびそのコードを使用し得ることを理解されよう。さらに、コンピュータプログラムは任意の特定の制御フローに限定されることを意図しない。コンピュータプログラムの数多くの他の変形が存在し、これらは本発明の精神または範囲から逸脱せずに異なる制御フローを使用することができる。

【0056】

さらに、コンピュータプログラムのステップのうちの１つまたは複数を順次ではなく並行して行い得る。そのようなコンピュータプログラムは任意のコンピュータ読取可能媒体に記憶させ得る。コンピュータ読取可能媒体には、磁気または光学ディスク、メモリチップ、または汎用コンピュータとの対話に適した他の記憶装置などの記憶装置が含まれ得る。コンピュータ読取可能媒体には、インターネットシステムに例示されるものなどの有線媒体、またはＧＳＭ移動電話システムに例示されるものなどの無線媒体も含まれ得る。コンピュータプログラムは、そのような汎用コンピュータにロードして実行した場合に、好ましい方法のステップを実装する装置を有効にもたらす。

【0057】

また、本発明はハードウェアモジュールとしても実装し得る。より詳細には、ハードウェアの意味では、モジュールとは他の構成要素またはモジュールと共に使用するために設計された機能的ハードウェアユニットである。たとえば、個別の電子部品を使用してモジュールを実装し得るか、これが特定用途集積回路（ＡＳＩＣ）などの電子回路全体の一部分を形成することができる。数々の他の可能性が存在する。当業者は、システムをハードウェアおよびソフトウェアのモジュールの組合せとしても実装できることを理解されよう。

【0058】

管制塔または管制室（１３５）（図１Ａ）内の応用コンピュータシステムは以下の機能を有する。
１．カメラの数、それぞれのカメラのカバレッジ領域（視野）、カメラの較正、警報を生成すべき事象、警報の種類などに関する監視システムの構成を行う。
２．操作員が、ＦＯＤまたは滑走路損害を有効に確認すること、ＦＯＤが滑走路上の異物、破片または損害（弾孔、地下爆発、破砕、ＵＸＯ）であるかを決定すること、ならびに異物または飛行場滑走路損害を測定および分類することを可能にするために、それぞれの監視カメラの視野を選択する（カメラの画角を遠隔調節することによる）。ビデオディスプレイは複数の監視カメラからの多重化ビデオを示すことができる。
３．それぞれのＰＴＺまたはズームカメラが飛行場滑走路上の所望の目的領域にパン、チルトおよび／またはズームインするよう自動的に調節することによって、それぞれのパン・チルト・ズーム（ＰＴＺ）またはズームカメラの視野（画角）を選択する。関連するＰＴＺまたはズームカメラは、損害を受けたまたは破片もしくは異物を含むことが疑われる飛行場滑走路の部分に自動的にズームするために、応用コンピュータシステムによって遠隔制御されている。また、この機能は応用コンピュータシステムを用いて操作員によって手動および遠隔で行うこともできる。
４．音または視覚警報を構成する。ここで、滑走路上に問題が表れた（すなわちＦＯＤまたは滑走路損害が検出された）場合は、警報の優先リストが自動的に生成されるようにシステムを操作可能であり、最大の弾孔あるいは最も危険な破片もしくは異物または滑走路損害（弾孔、地下爆発、破砕、ＵＸＯ）が最優先されて、操作員が必要な修正行動をとることを可能にする。警報は音声および／もしくは視覚または両方であるように構成することができる。警報には、ＧＳＭ、ＳＭＳもしくはＭＭＳまたは３Ｇ移動通信などの移動通信手段を介した遠隔無線警報も含めることができる。
５．システムが滑走路または誘導路上のＦＯＤまたは滑走路損害を検出した場合に様々な監視カメラによって獲得されたビデオ画像および／または静止画画像を処理および記録し、滑走路シーンの記録されたビデオ画像および／または静止画画像を再生する。
６．事象、ビデオデータおよび記憶された他のデータの管理。容易な読み出しおよび様々な報告書の生成のために、すべての関連するデータはデータベース内にログ付けされている。
７．他のシステムがデータベースにアクセスすることを可能にするシステムインタフェース。
８．他のシステムがリアルタイムデータおよびすべての現場機器の詳細を含めたシステム全体にわたるステータスを得ることを可能にするための、リアルタイムデータを共有するためのシステムインタフェース。リアルタイムデータを航空機の着陸／離陸の制御システムと統合することは、航空機およびクルーに即時の安全性を提供するために有用である。

【0059】

図２は、一実施形態によるＦＯＤまたは飛行場滑走路損害の検出の基本的な流れ図である。

【0060】

ステップ２０１では、監視カメラが滑走路の一部分のそれぞれの画像を獲得する。獲得された画像の処理に関与するステップは以下の段落で説明されている。

【0061】

ステップ２０３では、獲得された画像の前処理を行うために画像強調を行う。Ｘ方向（滑走路方向に平行）の段階的なグレースケール変化および高コントラストの滑走路の白線は、滑走路に平行な方向に高い勾配変化を有する特長（ほぼすべての実３Ｄ異物、損害、または破片（ＦＯＤ）はこれらの特性を有する）を強調するために排除されている。

【0062】

出力画像中のすべてのピクセルは、一部の顕著な滑走路灯およびＦＯＤ以外はほぼゼロとなる（白い滑走路の線および移動する雲または雨が原因でグレースケールの勾配変化を有する領域が含まれる）。このステップは、低い誤認警報率を有する信頼性のあるＦＯＤまたは滑走路損害の検出を支援することができる。

【0063】

最適な結果を達成するために、Ｓｏｂｅｌ Ｘの左から右＋右から左またはＳｃｈａｒｒ Ｘなどの高域フィルターを使用する。

【0064】

ステップ２０５では、異常光検出を夜間での検出に適用する。滑走路シーン上の突然の明るい光または明るいスポットは監視カメラ（１０８）をブルームする場合がある。これは、航空機が着陸する際、離陸する際、または地上車両が夜間に移動する際に起こり得る。検出アルゴリズムがそのような状況を決定する。異常光が検出された場合、画像は無視される。アルゴリズムは、グローバルヒストグラムおよび統計分析（たとえば平均グレースケール）を行って、獲得された画像を進行的に更新される画像と比較する。また、アルゴリズムは、明るいスポットのパラメータ（大きさ、領域など）も活用して、異常光条件が存在するかどうかを決定する。

【0065】

ステップ２０７では、最適検出パラメータが推定され、適応ピクセル・レベル・エッジ・マップが抽出される。様々な気象および昼／夜条件下では、飛行場または滑走路（１０６）の画像は非常に異なって見え得る。画像は、滑らかもしくは荒い、または反射が多い場合がある。このステップは、最小限のノイズで実際のＦＯＤまたは損害のエッジを抽出するために、最適なＦＯＤまたは損害のエッジ抽出閾値を適応的に推定することである。アルゴリズムは、元の（動作領域を除く）または進行的に学習された背景画像に基づく統計方法（たとえば平均、偏差）を使用して、ピクセルレベルの閾値マップの生成に使用するグレースケールのルックアップテーブル（ＬＵＴ）を決定する。

【0066】

ステップ２０９では、時間的フィルタリングを大量のエッジマップに適用して、ノイズが減少したロバストエッジを保持する。時間的フィルタリングはピクセルレベルで適用する。蓄積されて特定の閾値を通過したピクセルのみがロバスト・エッジ・ピクセルとみなされる（ロバスト・エッジ・マップで使用される）。明滅するピクセルは蓄積されて閾値を通過することができず、したがって削除される（ロバスト・エッジ・マップで使用されない）。

【0067】

ステップ２１１では、適応背景学習は、背景学習の無限インパルス応答（ＩＩＲ）の原理を使用して行う。
Ｂ_ｔ：時間ｔでの背景画像であり、
Ｂ_ｔ−１：時間ｔ−１での背景画像であり、
Ｉ_ｔ：時間ｔでの現在の画像であり、
この場合、背景画像は
Ｂ_ｔ＝Ｂ_ｔ−１＊α＋Ｉ_ｔ＊（１−α）
によって更新される。

【0068】

システムは、背景学習に主にエッジマップを使用する。学習された特長には主に中央燈が含まれ、低いカメラ角度が原因で一部の端燈が滑走路領域内にわずかに入る。適応背景学習の主な目的は、誤認警報を生成せずに、背景に溶け込ませるために滑走路上のゆっくりとした特長変化過程を獲得すること、および翌日に背景エッジマップとして使用するために学習された背景エッジマップをファイルまたはデータベースに毎日保存することである。これにより、システムが滑走路のマーキングの変化にできる限り素早く適応することが可能となる。

【0069】

ステップ２１３では、複合背景エッジマップが得られる。複合背景エッジマップは飛行場滑走路／誘導路のマーキングを表す。複合背景エッジマップは、適応背景エッジマップ、前日の保存された背景エッジマップ、および任意選択で季節的なマーキング（季節的なマーキングは雪などの特定の季節または気象条件中に生成される）からなる。これらを単純に加算するか、またはさらに処理して、最終背景エッジを形成することができる。

【0070】

ステップ２１５では、エッジマップと複合背景エッジマップとを比較することによって疑いのあるエッジを抽出する。このステップでは、ステップ２１３で処理された画像（複合背景エッジマップ）から滑走路／誘導路のマーキングのエッジが除去される。残ったエッジはおそらくＦＯＤまたは飛行場損害である。

【0071】

ステップ２１７では、エッジフィルタリングを行って、ＦＯＤまたは滑走路誘導路の損害の一部ではないが雪、雨または朝のグレアなどの他の気象条件が原因であり得るエッジの一部をフィルタリングする。気象条件はセンサおよび／または画像処理方法によって検出される。このステップは、これらの気象条件を検出するために１つまたは複数の選択可能なアルゴリズムを使用することを含み、たとえば、雨のために滑走路灯が点灯している場合は滑走路上に反射が生じる場合がある。特定のフィルタリングアルゴリズムが光を位置決定して反射エッジをフィルタリングする。

【0072】

ステップ２１９で物体の分類を行って、ステップ２１７からの検出された物体が実際にＦＯＤまたは飛行場滑走路／誘導路の損害（弾孔、地下爆発、破砕、ＵＸＯ）であるかどうかを決定する。物体の分類方法の一部の例は、パターンマッチング、ベイズ分類器、線形班別分類器、ニューラルネットワーク分類器、ファジー分類器およびニューラルファジー分類器、最近傍分類器である。また、飛行場滑走路／誘導路の損害が弾孔または地下爆発または破砕であるかを決定し、弾孔または地下爆発または破砕の周りの破片の量を検出および測定することによってその大きさを測定することも可能である。

【0073】

ステップ２１７からのフィルタリングしたエッジを使用して、システムは関連する物体属性、たとえば、長さ、高さ、周長、領域、質感、色特性（色相および彩度）、光強度（グレーレベル）を抽出する。これらの物体属性は物体が分類の入力ベクターを形成して、検出された物体が実際にＦＯＤまたは飛行場損害であるかどうかを決定する。

【0074】

ステップ２２１では、ＦＯＤまたは飛行場滑走路損害が検出された後、管制塔または管制室内の操作員は、視覚警報および／もしくは音声警報ならびに／または無線警報（ＧＳＭ、ＳＭＳもしくはＭＭＳなど）のいずれかによってその警告を受ける。警報および／または無線警報を受信した際、操作員は監視カメラを検出されたＦＯＤまたは飛行場滑走路／誘導路の損害にズームする。ＦＯＤまたは飛行場滑走路／誘導路の損害が確認された場合、別の警報（音および／または視覚）が管制塔または管制室内で作動される。また、ＦＯＤの確認により、滑走路または誘導路の近くに位置する遠隔警報（音および／または視覚）も作動される。それに加えてまたはその代わりに、無線警報（ＧＳＭ、ＳＭＳまたはＭＭＳなど）を作動させて滑走路復旧チームに通知することもできる。すぐに飛行場復旧チームが復旧車両を派遣して、検出されたＦＯＤを片付ける、すなわち異物もしくは破片を取り除く、または飛行場滑走路／誘導路の損害を修復する。

【0075】

図３Ａおよび３Ｂは、本発明の一実施形態の詳細な流れ図である。ステップ３０１の処理を開始した際、ステップ３０２でシステムは初期化される。ステップ３０３では、監視カメラが飛行場の滑走路または誘導路の一部分の初期画像を獲得する。

【0076】

画像を分析してすべての動作を検出する。本例の実施形態では、動作がまったくない画像のみを背景学習に使用し、最終的には参照背景画像としてデータベース内に記憶される。

【0077】

ステップ３０５では、獲得された画像は、獲得された画像の前処理を行うために画像強調に供する。画像前処理の後、一部の顕著な滑走路灯以外は、画像中のすべてのピクセルはゼロとなる（白い滑走路の線および移動する雲または雨が原因でグレースケールの勾配の変化を有する領域に対応するピクセルを含めて）。

【0078】

ステップ３０７では、昼から夜、または夜から昼の変化が存在するかどうかを調べるための検査を行う。たとえば、これはセンサまたはカメラの光強度の差異を監視することによって達成することができる。昼から夜または夜から昼の変化の光強度の変化は、通常は気象の変化が原因のものよりはるかに大きい。昼から夜もしくは夜から昼の変化または夜間条件が検出された場合は、ステップ３０９で異常光検出検査が行われる。ステップ３１１で異常光が検出された場合は、以前に獲得された画像は無視され、ステップ３０３から次の画像が獲得される。異常光が検出されなかった場合は、ステップ３１５で感知される様々な環境条件（たとえば、昼／夜、雨、雪、煙など）について、ステップ３１３で推定される最適な異物、破片または損害（ＦＯＤ）の検出パラメータが導き出される。

【0079】

たとえば、様々な環境条件（たとえば、昼／夜、雨、煙など）は１つまたは複数のセンサによって検出することができる。また、変更を行うために１つまたは複数の閾値が組み込まれた、カメラの絞り（ｉｒｉｓ）に基づくシステムを使用することもできる。たとえば、閾値は昼には５０に設定することができ、夜には７０まで上げることができる。また、時間フィルターを使用することもでき、昼であるか夜であるかを確認するために特定の値を一定期間維持させる。また、応用コンピュータシステムは、昼または夜の条件を確認するために、そのリアルタイムクロック（ＲＴＣ）および電子カレンダーからの入力を含めた他の日時の入力を使用することもできる。

【0080】

飛行場の滑走路または誘導路のマーキングは昼間および夜間で異なる。通常は夜間の方がマーキングが多い。夜のマーキングを昼のマーキングに優先する。

【0081】

ステップ３１７は適応ピクセル・レベル・エッジ・マップの抽出（図４を参照）を提供し、最小限のノイズで実際のＦＯＤまたは損害のエッジを抽出するために、最適なＦＯＤまたは飛行場滑走路／誘導路の損害のエッジ抽出閾値がルックアップテーブル（ＬＵＴ）から導き出される。

【0082】

ステップ３１９（図３Ｂ）では、動作エッジフィルタリング行って静止エッジマップを生成する。ステップ３２１では、時間的フィルタリングを行ってロバスト・エッジ・マップを抽出する。蓄積されて特定の閾値を通過したピクセルのみがロバスト・エッジ・ピクセルとみなされる（ロバスト・エッジ・マップで使用される）。明滅するピクセルは蓄積されて閾値を通過することができず、したがって削除される（ロバスト・エッジ・マップで使用されない）。

【0083】

ステップ３２３では、適応背景が学習されたかどうかを決定するための検査を行う。システムは背景学習にエッジマップを使用する。適応背景３２３が学習されていない場合は、ステップ３２５で適応背景エッジマップが初期化／更新される。ステップ３２７では、適応背景マップが事前に定義された条件に達成するかどうかを決定するための検査を行う。達成していた場合は、ステップ３２９で表示がフラグされて、適応背景が学習されたことを通知する。達成していない場合は、処理はステップ３０３（図３Ａ）に戻り、画像を獲得し続ける。

【0084】

適応背景３２３が学習されている場合は、ステップ３３１で複合背景エッジマップが生成される。複合背景マップは、ステップ３２５で生成／更新された適応背景マップ、以前に保存された昼／夜背景マップ、およびステップ３０２（図３Ａ）で処理が初期化された後にステップ３３３で提供される季節的マーキングマップからなる。季節的なマーキングは、特定の季節または気象条件（たとえば、雪または雨）下での滑走路のマーキングに関連している。画像を処理することまたは外部センサを使用することによって、誤認警報を減らすためにシステムは季節または気象条件を同定することができる。複合背景マップには滑走路のマーキングが含まれる。

【0085】

ステップ３３５では、複合背景マップとエッジマップとを比較することによって疑いのあるエッジマップを抽出する。ステップ３３７では、エッジフィルターを適用して、雨が原因の反射などの突然の環境変化に関連する所望しないエッジをすべてフィルタリングする。たとえば、雨条件下では、滑走路灯の画像は、ＦＯＤまたは飛行場滑走路／誘導路の損害に類似し得る明るいスポットとして検出される場合がある。システムは、以前に記憶された画像と比較することによってそのような潜在的な誤認警報を検出することができる。

【0086】

ステップ３３７の後、適応背景マップはステップ３３９で更新され、ステップ３４１で、昼から夜の変化、または夜から昼の変化が存在するかを調べるための検査を行う。昼から夜の変化、または夜から昼の変化が存在する場合は、ステップ３４３ですぐに使用するための最後の昼または夜の背景マップが読み込まれ、ステップ３４５で適応背景マップが翌日に使用するための昼／夜の背景エッジマップとして記憶される。ステップ３４１で昼から夜の変化、または夜から昼の変化が存在しない場合は、処理はステップ３０３（図３Ａ）に戻り、画像を獲得し続ける。

【0087】

ステップ３４７では、ステップ３３７からのフィルタリングした疑いのあるエッジマップからエッジパラメータ（大きさ、領域など）が計算される。ステップ３４９では、エッジパラメータが閾値を超えるかどうかを決定するための検査を行う。超える場合は、ステップ３５１で、滑走路上の疑いのある領域をビデオディスプレイ上でオーバーレイし、管制塔または管制室内の操作員は音シグナルおよび／または視覚的ならびに／あるいは無線警報（ＧＳＭ、ＳＭＳもしくはＭＭＳ、または３Ｇなど）のいずれかによってその警報を受ける。ステップ３５３では、警報を受けた際、操作員は、視覚検証のために監視カメラを使用してパンおよび／またはチルトおよび／またはズーム操作を行う。ステップ３５３では、ＦＯＤまたは飛行場滑走路損害が確認された場合、３５７で飛行場滑走路復旧チームが無線手段（ＧＳＭ、ＳＭＳ、もしくはＭＭＳまたは３Ｇなど）によってすぐに通知される。ＦＯＤまたは飛行場滑走路／誘導路の損害の画像はビデオディスプレイ上に表示され続け、警報シグナルはステップ３５９で復旧チームがＦＯＤを飛行場滑走路から回復または片付ける（すなわち異物もしくは破片を取り除く、または飛行場滑走路／誘導路の損害を修復する）まで持続する。

【0088】

図４は、上述のステップ２０７（図２）およびステップ３１７（図３Ａ）で適応ピクセル・レベル・エッジ・マップを抽出するために使用するルックアップテーブル（ＬＵＴ）を示すグラフである。

【0089】

Ｐ１、Ｐ２〜ＰｎおよびＴ１、Ｔ２〜Ｔｎは、獲得された画像、進行的に学習された画像および外部センサ入力の統計分析に基づいた推定であり、これにより、最小限のノイズでＦＯＤまたは損害のエッジマップを抽出するために使用するピクセルレベルの閾値を生成するための最適区分的ルックアップテーブル（ＬＵＴ）が計算される。

【0090】

獲得された画像または進行的に学習された背景画像中のピクセル値を上記ＬＵＴによって閾値画像中の閾値にマッピングする。その後、獲得された画像はこの閾値画像を減算する。０を超えるすべてのピクセル値を２５５に設定する。この生じた画像は適応ピクセル・レベル・エッジ・マップに対応する（図２のステップ２０７および図３Ａのステップ３１７）。

【0091】

滑走路のシーン較正および飛行場滑走路／誘導路の損害、ならびにＦＯＤおよび損害の位置決定、測定ならびに／または分類を本発明の実施形態で行い得る。

【0092】

また、本発明の実施形態はカラー監視カメラも使用し、カラーイメージング処理を提供する。

【0093】

しかし、上述のすべての技法および画像処理方法は、白黒画像処理およびカラー画像処理のどちらにも機能する。したがって、滑走路監視システムは白黒カメラ（可視スペクトルカメラ、赤外線カメラおよび熱イメージング装置が含まれる）またはカラーカメラのどちらを使用することもできる。

【0094】

例示的な実施形態において監視カメラによって獲得された飛行場滑走路／誘導路のシーン画像は、シーン画像上のそれぞれのピクセルに対応する物理的な位置および範囲が、数式、または滑走路のシーン画像中のそれぞれのピクセルを滑走路などの監視領域上に定義された参照データ（ＷＧＳ８４もしくは空港グリッドなど）の２Ｄもしくは３Ｄの物理的実世界座標フレーム（ｘ，ｙ，ｚ）中の特定の正確な座標にマッピングする、事前に計算されたルックアップテーブルのどちらかを使用して計算されるように、事前に較正されている。

【0095】

システムは、滑走路のシーン較正のために静止飛行場滑走路／誘導路特長を活用する。たとえば、何らかの固定された実世界参照位置に対するこれらの静止滑走路特長の位置および範囲を、地上測量、物理的測定または滑走路マップから事前に決定することができる。たとえば、１つのそのような有用な特長は、マーカーを配置すること、または滑走路の縦方向に沿った、滑走路の側方から同じ垂直（ｙ軸）距離の滑走路上の滑走路端燈を使用することである。これらのマーカーは滑走路の縦（水平）方向に沿っており、滑走路の側方から同じ垂直距離であるため、これらのマーカーの水平（ｘ軸）距離分離も滑走路のシーン画像中のピクセル計数にマッピングすることができる。したがって、水平（ｘ軸）ピクセルマッピング比（メートル／ピクセル）は、２つのマーカー間の物理的な地上水平距離を水平ピクセル幅（滑走路画像上の２つのマーカー間のピクセル数）で除算することによって導き出すことができる。既知の位置を有する最低２つの静止滑走路特長を使用してそれぞれのシーン画像を較正することができる。

【0096】

たとえば、より正確なシーン較正のため、および不均一な滑走路表面に対応するために、好ましくは数対の滑走路マーカーを滑走路の縦方向に沿って（滑走路の側方から同じ垂直距離で）配置して、滑走路上に一連の仮想水平線を印す。これらの水平仮想線の地上物理的距離（それぞれのマーカー対の間）は、巻尺または測定ホイールまたはＧＰＳ受信機を使用して測定することができる。特定のカメラ設定におけるこの水平仮想線上のピクセル数は、滑走路のセクション画像から測定される。

【0097】

たとえば、滑走路上の監視カメラの視野は台形形状を有する。したがって、滑走路画像のピクセルマッピング比（メートル／ピクセル）は滑走路の垂直方向（Ｙ軸）にわたって異なる。したがって、滑走路の遠方側はより狭く、より大きなピクセルマッピング比（メートル／ピクセル）を有する一方で、手前側はより幅広く、より小さなピクセルマッピング比（メートル／ピクセル）を有する。システムは、中央線の両側の２本の平行な水平滑走路の線および中央線を活用して、画像ピクセルを使用したデータ（ＷＧＳ８４、空港グリッドまたはデカルト座標系であることができる）に基づいて、実世界参照座標フレーム上の正確な座標へとマッピングするための正しいピクセルマッピング比（垂直なｙ軸用）を決定する。したがって、滑走路の水平線と中央線との間の物理的垂直（ｙ軸）距離は地上で測定できるため、垂直ピクセルマッピング比（メートル／ピクセル）は、これらの線の間の物理的垂直距離（地上で測定）を、これらの線の間のピクセル数（滑走路画像上で垂直ピクセル幅から誘導）で除算することによって導き出すことができる。

【0098】

図７は、例示的な実施形態による例示的な滑走路の線を例示する模式図である。滑走路の遠方側に１本の水平滑走路線（８０２）が存在し、滑走路の手前側に別の水平滑走路線（８０３）が存在する。８０２は遠方側の滑走路縁線であることもでき、８０３は滑走路の手前側の滑走路縁線であることもできる。これらの線（８０２、８０３）はどちらも中央線（８０１）に平行であり、これらの線はすべて滑走路の水平方向（ｘ軸）に沿っている。手前側の水平線（８０３）と中央線（８０１）との間の物理的垂直距離は８０５であり、滑走路画像上のこれら２本の線の間の垂直ピクセル幅（ピクセル数）はｙ１ピクセルである。したがって、手前側の垂直ピクセルマッピング比は、８０５をｙ１で除算することによって得られる（メートル／ピクセル）。同様に、遠方側の水平線（８０２）と中央線（８０１）との間の物理的垂直距離は８０４である一方で、滑走路画像上のこれら２本の線の間の垂直ピクセル幅（ピクセル数）はｙ２ピクセルである。したがって、滑走路の遠方側の垂直ピクセルマッピング比は８０４をｙ２で除算することによって得られる（メートル／ピクセル）。したがって、２つの異なる垂直（ｙ軸）ピクセルマッピング比（８０５／ｙ１および８０４／ｙ２）を使用して、中央線を参照として使用してピクセルが滑走路の手前側または遠方側にあるかに応じて、滑走路画像上のピクセルを実世界参照座標フレーム上の正確な座標へとマッピングする。

【0099】

上記技法は、ピクセルマッピングの正確性を改善することができる。較正は、様々な実世界座標データ、たとえば、ＷＧＳ８４、空港グリッドまたはデカルト座標系に基づくことができる。

【0100】

滑走路の縁／中央／水平の線は任意の色であることができる。滑走路の縁／水平／中央の線と滑走路表面との間にコントラストが存在する限りは、較正を行うことができる。さらに、滑走路の縁および中央の線は連続的である必要はない。連続的な線は、隣接線を補間することによって導き出すことができる。

【0101】

本発明の代替実施形態は、任意選択でまたはそれに加えて、一対の監視カメラを使用した立体視を活用して、滑走路の同じセグメントをカバーすることができる。立体視を使用する場合、飛行場滑走路／誘導路の損害またはＦＯＤの範囲および位置は、滑走路上の監視領域（視野）上の同じ領域をカバーしている２台のカメラによって獲得された２つの画像を比較することによって得られた差分画像から計算することもできる。

【0102】

立体画像対のそれぞれの画像中で局所的な特長を検出し、その後、画像間でマッチさせる。これにより、疎らであるが高品質な相違ベクトル組がもたらされる（これは、それぞれの画像中でみられる画像特長の相対位置を測定するものである）。これらの相違ベクトルから、特長位置の２Ｄおよび３Ｄの推定を計算し、滑走路表面の平坦な（または少なくとも滑らかな）モデルと比較することができる。あるいは、画像をピクセルレベルで登録し、より可変的な品質のために密な相違ベクトル組を提供することができる。

【0103】

立体イメージングの課題のうちの１つは、範囲の計算に使用した２つの画像の対応の決定である。用いられるピクセル対応技法には、相互相関演算子の使用、関係制約を用いた記号マッチング、およびこれらの技法の組合せが含まれる。

【0104】

たとえば、一組の立体カメラによって獲得された２つの画像（画像１、画像２）間でピクセルを相関させる必要がある場合は、相互関連は、画像１中の所定の点Ｐ１に対して画像２の固定領域があり、画像２中にはＰ１に対応する点Ｐ２が存在しなければならないという仮定に基づいている。この領域の大きさは、カメラの較正処理から得られたカメラ設定に関するパラメータによって決定される。対応を決定するための記号マッチング手法では、一方の画像中の特長にマッチする他方中の特長を検索する。使用される典型的な特長は、分岐点、線セグメントまたは領域である。分岐点の対応は疎らな深度マップを生じ、深度は小さな点集合でのみ知られている。線セグメントの対応は、その端点間の対応をもたらすことができる。

【0105】

一代替実施形態は、飛行場滑走路および／または誘導路および／またはインフィールドの広域カバレッジを提供するために、広角レンズを備えた１つまたは複数の静止監視カメラを活用する。静止監視カメラは、任意の飛行場の侵入、襲撃または爆撃を検出し、１つまたは複数のパン・チルト・ズーム（ＰＴＺ）カメラを飛行場滑走路／誘導路上の検出された損害またはＦＯＤの特定の領域（複数可）に向けさせて滑走路損害（弾孔、地下爆発、破砕、ＵＸＯ）およびＦＯＤの迅速な検出／測定／分類を可能にすることができる。

【0106】

また、本発明の代替実施形態は、飛行場滑走路／誘導路の上空を飛行して飛行場滑走路／誘導路の航空デジタル画像またはビデオを獲得する、無人航空機または無人航空車両（ＵＡＶ）などの航空機も活用することができる。また、滑走路および／または誘導路の上空を飛行して飛行場滑走路／誘導路の航空デジタル画像またはビデオを獲得する垂直離着陸航空機（ＶＴＯＬ）も使用することができる。デジタル画像またはビデオは、ＵＡＶまたはＶＴＯＬ上に装着された、搭載された電気光学センサ（ＥＯセンサ）を活用することによって獲得される。ＥＯセンサは受動的であることができ、人工照明の使用を必要としない。ＥＯセンサによって獲得された、獲得ジタル画像およびビデオはリアルタイムで分析／処理されて滑走路損害（弾孔／地下爆発／破砕およびＵＸＯ）ならびにＦＯＤの検出／測定／分類を可能にする。夜間などの低照度条件下では、滑走路損害またはＦＯＤ検出能力を増強するために赤外線（ＩＲ）人工照明を使用することもできる。

【0107】

また、本発明の代替実施形態は、赤外線（ＩＲ）照明器または可視スペクトル照明器も活用して、低視度および低周囲照度条件下（夜間など）で人工照明を提供する。ＩＲまたは可視スペクトル照明器は、ＩＲまたは可視スペクトル光の狭いフォーカスビームを、監視カメラ（複数可）によって走査されている飛行場滑走路／誘導路／インフィールドのセクターにもたらす。また、ＩＲまたは可視スペクトル照明器はパン、チルト、ズーム（ＰＴＺ）能力も有することができる。ＩＲ照明器または可視スペクトル照明器の制御（オン／オフ、光力、ＰＴＺ）は、低視度条件下での最適な人工照明のためにビデオ・プロセッサ・ユニット（ＶＰＵ）または中央コンピュータシステム（ＣＣＳ）によって制御することができる。

【0108】

本発明の代替実施形態は、監視カメラの冗長カバレッジを提供する。図５は、滑走路上のＦＯＤまたは損害を検出するための監視システム（６００）における監視カメラの冗長カバレッジを例示する模式図である。監視カメラ（６０１、６０３、６０５、６０７、６０９）は誘導路（１０４）の片方の端に位置する。すべての監視カメラ（６０１、６０３、６０５、６０７、６０９）が正常に機能している場合は、それぞれの監視カメラ（６０１、６０３、６０５、６０７、６０９）のカバレッジ角度（画角）（６１１）は通常は等しく保たれる。カメラ（６０３）が故障および冗長となった場合、冗長カメラ（６０３）に隣接する監視カメラ（６０１および６０５）のそれぞれの通常のカバレッジ角度（画角）（６１１）は、冗長カメラ（６０３）の視野に向かって６１３まで広がる。このようにして、監視カメラ（６０１、６０３、６０５、６０７、６０９）からなる飛行場滑走路／誘導路の監視システムは、１つまたは複数の監視カメラが機能しない場合でも飛行場滑走路の完全なカバレッジが提供されるように機能するよう操作可能である。たとえば、カメラのカバレッジ視野（画角）は、手動で調節するか、または操作員によって、カメラのズームもしくはＰＴＺ機能を遠隔制御する応用コンピュータシステムを使用して遠隔で行うことができる。また、調節は応用コンピュータシステムによって自動的に行うこともできる。たとえば、ズーム機能を有するカメラまたはパン・チルト・ズーム（ＰＴＺ）カメラを使用してカバレッジ視野（画角）を変更し得る。

【0109】

図６は、代替実施形態による滑走路表面の走査を例示する模式図である。

【0110】

監視下の滑走路表面領域（７００）は滑走路表面（７００）上の小さな領域をカバーする数々のセグメント（７０２）へと分割されている。水平画角（７１１）を有する視野をカバーすることができる１つまたは複数の非静止カメラ（７０８）を使用して、滑走路表面（７００）領域全体がセグメント毎に走査される。非静止カメラの例はパン・チルト・ズーム（ＰＴＺ）カメラまたはズームカメラである。ＰＴＺカメラのパン・チルト・ズーム機能またはズームカメラのズーム機能は、応用コンピュータシステムまたはカメラ制御装置によって遠隔制御されている。滑走路表面領域（７００）は、１つまたは複数の非静止カメラを使用することによって縦方向（７０３）に沿って一端（７１０）から他端（７２０）まで順次走査される。

【0111】

代替実施形態による飛行場滑走路表面の走査は、応用コンピュータシステムまたはカメラ制御装置によって制御されている。この滑走路走査方法の課題は、特にＦＯＤまたは滑走路損害が走査サイクルの終わり近くのセグメントに位置している場合に、ＦＯＤまたは滑走路損害の検出時間が長いことである。滑走路の走査サイクル時間を加速させるために、代替方法では、１つまたはさらには２つのセグメントを省略すること、すなわち、２つまたはさらには３つのセグメント毎に１つのセグメントを走査する。以前に走査しなかったセグメントは次の走査サイクル中に走査し、一方で以前のサイクル中に走査したものはこのサイクル中では走査しない。滑走路走査方法の代償は、滑走路表面上の走査していないセグメントに存在するＦＯＤを検出するために長い検出時間がかかることである。

【0112】

滑走路上のＦＯＤは主に航空機の離着陸に起因するため、代替実施形態においてＦＯＤ検出時間を短縮するための別の方法は、非静止または静止監視カメラの組合せを活用することである。静止カメラは、好ましくは、滑走路および／または誘導路の重要なセクションをカバーするために十分に広い視野（広い画角）を有する。静止監視カメラによって獲得された画像をリアルタイムで処理することによって、応用コンピュータシステムは滑走路上の航空機の離着陸の発生および位置を検出することができる。その後、非静止監視カメラは、応用コンピュータシステムによって、航空機の着陸または離陸が先ほど起こった滑走路上の特定の位置をカバーするセグメントを最初に走査するように指示されることができる。この方法は、ＦＯＤ検出時間の短縮を援助することができる。

【0113】

静止監視カメラがＦＯＤまたは飛行場滑走路損害を検出した場合は、管制塔または管制室内の応用コンピュータシステムが、静止カメラによって獲得されたシーン画像に基づいて滑走路上の検出されたＦＯＤまたは滑走路損害の位置および範囲を決定する。飛行場滑走路／誘導路表面上の検出されたＦＯＤまたは飛行場滑走路／誘導路の損害の位置および範囲の決定は、滑走路の較正されたシーン画像を用いたモノスコープビジョンを使用することによって達成する。たとえば、較正された滑走路のシーン画像中で、それぞれのピクセルを実世界座標フレーム上の正確な座標にマッピングする（ＷＧＳ８４または空港グリッドデータに基づくことができる）。あるいは、ステレオスコープビジョンに基づいた物体の位置決定および範囲決定技法を使用することもできる。

【0114】

静止監視カメラ（モノスコープまたはステレオスコープ）によって検出されたＦＯＤまたは飛行場滑走路／誘導路の損害の範囲および位置に関する情報は、非静止カメラ（たとえば、パニングカメラまたはパン・チルト・ズーム（ＰＴＺ）カメラまたはズームカメラ）を自動制御してＦＯＤまたは飛行場滑走路／誘導路の損害または飛行場滑走路／誘導路上の目的領域にパンおよび／またはチルトおよび／またはズームおよび／またはフォーカスさせるため、ならびに検出されたＦＯＤもしくは飛行場滑走路／誘導路の損害の存在を確認するまたは誤認警報をフィルタリングするために十分な詳細を有するＦＯＤまたは目的領域または飛行場滑走路／誘導路の損害のビデオディスプレイの望遠写真画像を得るために、システムによって利用される。また、これらの望遠写真画像は、検出されたＦＯＤまたは飛行場滑走路／誘導路の損害の正確な測定、特徴づけおよび分類にも利用される。物体の長さ、高さ、領域、曲率、周長、質感、色特性を含めた正確な物体特長をこれらの望遠写真画像から抽出することができ、これらは事前に訓練した物体分類器への入力として使用することができる。

【0115】

また、本発明の実施形態は、異物、破片または損害（ＦＯＤ）、誘導路または滑走路損害を検出／測定／分類するためのシステム（１００）（図９）と、兵器衝撃監視システムとを備える総合的飛行場および滑走路誘導路の損害評価システムとして使用するために拡張することもできる。

【0116】

図９は、例示的な実施形態による、異物、破片または損害（ＦＯＤ）、飛行場滑走路／誘導路の損害を検出するためのシステム（１００）と、兵器衝撃監視システム（９５０）とを備える総合飛行場損害評価システム（９５２）を例示する模式図である。

【0117】

図１０は、図９の兵器衝撃監視システムを使用した衝撃検出システムを例示する模式図である。

【0118】

飛行場に対する敵の攻撃の後、まず、すべての損害（たとえば１００３）が検出され、兵器衝撃監視システムの静止カメラ（９５１）からのビデオまたは画像データを入力として使用して情報を飛行場設計図（１０００）上にプロットする。その後、航空機の種類、積載量および周囲条件に応じて最小飛行場稼働表面（ＭＡＯＳ）および／または最小稼働仮設滑走路（ＭＯＳ）（１００７）、ならびに飛行運用を再開させるために必要な最小量の初期修復作業を導き出す。ＭＡＯＳおよびＭＯＳ（１００７）の確立において、１つまたは複数、好ましくはすべての弾孔（１００３）の大きさおよび位置、弾孔（１００３）の位置への接近しやすさ、損害を受けた誘導路または進入路（１００９）を介した航空機のＭＯＳ（９０７）への接近しやすさ、および不発爆弾（ＵＸＯ）または弾孔（たとえば１０１１）の位置が考慮される。

【0119】

本発明の実施形態は、以下を有利に提供することができる知的ビデオ／画像処理を利用する。
・飛行場滑走路／誘導路の損害（弾孔、地下爆発、ＵＸＯ、破砕）およびＦＯＤのリアルタイム自動検出、
・飛行場滑走路／誘導路の損害項目（弾孔、地下爆発、ＵＸＯ、破砕）およびＦＯＤの視覚検証および正確な位置、
・飛行場滑走路／誘導路の損害（弾孔、地下爆発、ＵＸＯ、破砕）およびＦＯＤの大きさ／物理的属性の測定、ならびに
・飛行場マップまたは飛行場滑走路マップへの飛行場損害または飛行場滑走路損害の程度のマッピング。

【0120】

知的ビデオ／画像処理に基づくシステムから導き出された集合情報は、好ましくは有効な決断支援システムを提供する。

【0121】

コンピュータビジョンに基づく兵器衝撃監視システム（９５０）は、空軍、海軍および陸軍の現実的な武器訓練および防衛訓練を容易にするために、ロケットおよび爆弾の衝撃を自動的に検出してスコア付けする。監視システム（９５０）は、昼および夜のどちらに運用中の陸上および水上の単一または複数の打撃もスコア付けすることができる。兵器衝撃監視システム（９５０）は開放型アーキテクチャで設計されているため、空中戦操縦用計装（ＡＣＭＩ）と一体化させて電子戦闘訓練システム（ＥＷＴＳ）のサブシステムのうちの１つとすることができる。

【0122】

先端戦闘損害評価（ＢＤＡ）システム（９５０）の実施形態は、好ましくは以下に基づいて実装される。
・知的ビデオ／画像処理の技術経験、
・軍事および／または飛行場環境における現場で実証された、コンピュータビジョンに基づくシステムの適応、
・空軍に組み込むことができる、システム設計、ハードウェアおよびソフトウェアの信頼性およびロバスト性、
・戦時および平時における投資の回収の最適化に関する経済的実行可能性。

【0123】

本発明の実施形態は、兵器衝撃監視システム（９５０）（図９）ならびに飛行場滑走路／誘導路の損害およびＦＯＤの検出システム（１００）（図９）の統合によって先端自動ＢＤＡシステム（９５０）を提供する。

【0124】

兵器衝撃監視システム（１０００）（図１０）は、単一または複数の目に見える兵器衝撃を飛行場領域の広角または普通角または挟角の視界角から自動的かつ正確に検出およびプロットする能力を有する。兵器衝撃シグネチャの種類には、通常は爆発、煙、埃または何らかの形態の閃光（夜間）などの目に見える衝撃を生成する、空対地および地対地のミサイル、ロケット、爆弾および砲撃の一斉射撃などに由来するものが含まれる。兵器衝撃監視システム（１０００）は兵器衝撃によって生じる音も活用して兵器衝撃の位置を決定し得ることが可能である。これは、マイクを戦略的な位置に配置し、音源追跡技法を使用することによって達成することができる。

【0125】

他方では、飛行場滑走路／誘導路の損害およびＦＯＤの検出システム（１００）（図９）は、飛行場内滑走路／誘導路／エプロン環境内の非常に小さな物体（たとえば４ｃｍの大きさのＦＯＤ）、ＵＸＯ、飛行場滑走路／誘導路の損害（弾孔、地下爆発、破砕）および舗装状態（たとえば亀裂）を走査、検索および検出するように事前にプログラミングされたズームイン視界を備えて有利に設計されている。特殊電気光学（ＥＯ）センサを備えたＦＯＤ検出システム（１００）（図９）は２４時間稼働し、画像処理および強調ソフトウェア技術と一体化して、システムが夜間の稼働中でさえも非常に小さな物体を「見て」検出することを可能にする。飛行場滑走路／誘導路の損害およびＦＯＤの検出システム（１００）（図９）は飛行場の指定された舗装路を安全な距離から遠隔で監視および検査し、検出された標的の位置を正確に示す。

【0126】

図１１は、図９の総合飛行場損害評価システム（９５２）で使用されるソフトウェアモジュールを示すレイアウトを示す。ＢＤＡソフトウェアは、変化する環境的飛行場条件に強い複数のソフトウェア技法を使用して変化するシーンを自己学習してそれに適応し、爆撃（弾孔、地下爆発、破砕）もしくはＵＸＯまたはＦＯＤのシグネチャを潜在的な誤警報から識別することができる。検出アルゴリズムが長さ、高さ、深度、周長、領域、質感、曲率、色特性（色相および彩度）、光強度（グレーレベル）などの標的の関連属性を抽出して、標的を決定および測定する。例示的な実施形態において用いられている技法の一部には以下が含まれる。
・動的背景モデリングおよびシーン変化検出技法に基づく知的ビデオ分析。滑走路上のタイヤ跡さえも、確実な検出のために背景シーンに常に更新される、
・気象の変化、熱波などの影響が原因のビデオまたは画像のノイズ構成要素を低下（減弱）させるためのノイズフィルタリング処理、
・分析／処理のために微光／視界不良条件下で最良品質の画像を生成するための画像集約技法、
・静止標的を飛行場滑走路／誘導路上の航空機、車両、人、野生生物などの正当な移動物体から区別するための静止標的検出、
ならびに
・連続的な自己学習および昼から夜への環境変化、曇り影や雨、雪などのシーン変化に適応するために適用された人工知能技術。

【0127】

同時に、別個の専用センサから同時画像処理が行われる。
・兵器衝撃監視およびスコア付けに使用されたセンサ（９５１）（図９）の入力からの処理：アルゴリズムは、実際の同定可能な兵器衝撃シグネチャを他の背景効果から検出および区別するために、最初に滑走路／誘導路の指定された広域視野を分析する。検出された際、ソフトウェアは視覚および音声警報を作動し、衝撃点の特定の位置で詳細な画像またはビデオを獲得するように、ＦＯＤセンサ（１０８）（図９）のパン−チルト−ズーム機能に指令を出す。ＦＯＤおよび損害の検出アルゴリズムは損害の程度を検索、検出および測定する、ならびに
・ＦＯＤセンサの入力からの処理：アルゴリズムは、飛行場の滑走路または誘導路の舗装路の指定されたズームイン視界をセクター毎に走査および分析し、弾孔、地下爆発、破砕またはＵＸＯを検出するように事前にプログラミングされている。検出された際、ソフトウェアは画像またはビデオを獲得し、正確な位置を計算し、ユーザに対する視覚および音声警報を作動した後に、滑走路または誘導路の次のセクターの検査を続ける。

【0128】

ピクセルレベルの画像分解能によって、ＢＤＡソフトウェアは、好ましくは±１ｍ（３．２８ｆｔ）の位置の正確性で弾孔、地下爆発、破砕もしくはＵＸＯまたはＦＯＤを位置決定すること、および弾孔／地下爆発／破砕／ＵＸＯ／ＦＯＤの大きさ／寸法を測定することができる。

【0129】

それ以降、ソフトウェアは、検出された弾孔、地下爆発、破砕もしくはＵＸＯまたはＦＯＤ（１００３）（図１０）のスナップショットを獲得し、発生日時、弾孔／地下爆発／破砕／ＵＸＯ／ＦＯＤ標的（１００３）（図１０）の座標および大きさを示し、検出を二次元（２Ｄ）のグラフィカル情報システム（ＧＩＳ）マップ（１０００）（図１０）上にプロットおよび表示することができる。

【0130】

さらに、すべてのセンサ（９５１および１０８）（図９）からのリアルタイムビデオ画像は、戦闘損害の程度、滑走路および誘導路の状態ならびに舗装状態を評価するためにユーザが利用可能である。

【0131】

図１１を参照して、ＢＤＡシステムモジュール（１１０３）は兵器衝撃監視システムモジュールおよびＦＯＤ検出モジュールを一体化する。これは例示的な実施形態における開放型標準モジュール設計のおかげで可能であり、拡張性、保守性、カスタマイズ、およびトラブルシューティングの容易さを有利にもたらす。

【0132】

例示的な実施形態における主要なモジュールは以下のとおりである。
・飛行場の標的領域のビデオまたは画像を獲得する兵器衝撃監視システムのＥＯセンサ（ＥＯＳ）モジュール（１１２９）。
・ＦＯＤおよび損害の検出システムのＰＴＺレベルに飛行場上の特定の標的領域を走査（パン／チルト／ズーム）するよう指令を出すための、飛行場監視システムのＥＯセンサ（ＥＯＳ）およびパン−チルト−ズーム（ＰＴＺ）モジュール（１１３１）（ＦＯＤおよび損害の検出用）。
・ＥＯセンサおよびＰＴＺセンサからの画像をＶＰＵ（有線／無線）に伝送するための画像伝送モジュール（１１３３）。
・画像の品質およびフレームレートを検査、補正および細かく時間決定する（ｆｉｎｅ−ｔｉｍｅ）ための画像収集モジュール（１１３５）。
・各フレーム内の参照マーカーを検出し、センサの振動に遭遇した際に画像をその元の位置に戻して安定化／回復するための画像安定化モジュール（１１３７）。
・前景抽象化モジュールにおいて使用する、各フレーム内の参照背景画像を作成および更新するための参照画像計算モジュール（１１３９）。
・画像ピクセルの顕著な変化を検出するために現在のフレームを参照背景画像から減算するための前景抽象化モジュール（１１４１）。
・兵器衝撃が検出された際にいくつかの連続的なフレーム内で見つかるパターンに基づいて検出された顕著な変化を同定するための衝撃検出モジュール（１１４３）。
・物体（ＦＯＤまたは飛行場損害など）が検出された際に様々な属性に基づいて検出された顕著な変化を同定するためのＦＯＤ検出モジュール（１１４５）。
・検出されたＦＯＤまたは損害の位置（弾孔の位置、地下爆発、破砕、ＵＸＯの位置が含まれる）を抽出するためのＢＤＡ位置抽出モジュール（１１４７）。
・ＦＯＤまたは損害（弾孔、地下爆発、破砕、ＵＸＯが含まれる）の物理的寸法を測定するためのＢＤＡ大きさ測定モジュール（１１４９）。
・最良の（最適な）ＭＡＯＳおよびＭＯＳを計算するための最良ＭＡＯＳおよびＭＯＳ計算モジュール（１１５１）。
・最良ＭＯＳおよび／またはＭＡＯＳに必要な修復作業の推定および計画を含めて、必要な修復作業を推定および計画するための修復の推定および計画モジュール（１１５３）。
・調査／分析のためにビデオ映像の記録および再生を可能にするための記録モジュール（１１５５）。
・ビデオまたは画像および計算された飛行場損害データをグラフィカル・ユーザ・インタフェース上に表示するための表示モジュール（１１５７）。

【0133】

図１２は、戦時中の図１１のソフトウェアモジュールの対話を示すレイアウトを示す。本発明のＢＤＡシステム（９５２）（図９）の実施形態は戦時中に以下の利点を提供することができる。

【0134】

ＢＤＡシステム（９５２）（図９）は飛行場爆撃の２４時間検出を提供し、戦時中に弾孔、地下爆発、破砕、ＵＸＯおよびＦＯＤを位置決定および測定する。軍事活動中に被る飛行場／滑走路上の損害の適時かつ正確な評価は戦時中には重大である。飛行場（滑走路および誘導路が含まれる）に与えられた物理的損害の程度に関する情報を提供することによって、航空機の離着陸の再計画および飛行場滑走路／誘導路の修復の優先順位づけが有利に容易となる。

【0135】

ピクセルレベルの分析によって、ＢＤＡシステム（９５２）（図９）は自動的に爆撃を検出し、位置を決定し、弾孔、地下爆発、破砕、ＵＸＯ、ＦＯＤの大きさを正確に測定する。この情報に基づいて、ユーザ（飛行場の指揮官）は飛行場滑走路／誘導路の損害を最速で修復するために必要なリソース、時間および材料を評価および決定することができる。

【0136】

さらに、ＢＤＡシステム（９５２）（図９）は飛行場損害の程度のマッピングを提供することができる。

【0137】

弾孔の大きさおよび位置の情報の自動分析によって、システム（９５２）は飛行場損害の程度を２Ｄ飛行場マップ上にマッピングし、ユーザが以下を含めた飛行場滑走路／誘導路全体の運用状況を決定することを知的に支援する。
ａ．滑走路上の弾孔、地下爆発、破砕、ＵＸＯ、ＦＯＤの量、位置および大きさ、
ｂ．航空機の離陸／着陸運用に使用可能な滑走路の位置／「仮設滑走路」、
ｃ．損害を受けており修復作業を必要とする滑走路の位置／「仮設滑走路」、ならびに
ｄ．航空機の種類および隊の位置に基づいて推奨される最小飛行場稼働表面（ＭＡＯＳ）および最小稼働仮設滑走路（ＭＯＳ）。

【0138】

ＢＤＡシステム（９５２）（図９）は、地上および空中システムのどちらにもまったく危険／妨害なく、すべての飛行場環境での運用に安全な「受動的」システムである。これは完全に非侵入型であり、能動的放出がなく、能動的光源によって支援されない。人に健康上の危険をもたらさず、地上および航空機内のすべての既存の機器もしくは将来のシステムの実装に運用上の妨害を与えない。「能動的」システムとは異なり、提案された「受動的技術」は、高速対レーダーミサイル（ＨＡＲＭ）からの攻撃を回避するため、戦争中に空軍基地において特に重大である。

【0139】

ＢＤＡシステムの実施形態は、飛行場、滑走路および誘導路を保護するために、すべての気象条件下で２４時間稼働するように設計および構築することができる。ＢＤＡシステム（９５０）（図９）の実施形態は、昼間および夜間の稼働のどちらでも非常に小さな物体（ＦＯＤ）および滑走路誘導路の損害（弾孔、地下爆発、破砕、ＵＸＯ）を「見て」検出することが現場で実証されている。ＢＤＡシステムの実施形態は、煙霧（空気汚染指数１２０、可視距離２００メートル）および大雨（２８ｍｍ／時）の極端な気象条件下で有利に行われる。

【0140】

ＢＤＡシステムの実施形態は、戦時中のシステムの生存性を高めるために部分的または包括的な重複カバレッジを有する冗長で設計することができる。

【0141】

冗長を提供するために、ＦＯＤまたは損害の検出センサ（５０８および５０９）（図１Ｂ）は数百メートル間隔で、滑走路の対向する側に設置される。いずれかのセンサが故障した場合、隣接および／または対向のセンサが、故障したセンサによって監視されるはずの「失われた」セクターのカバレッジを提供し続ける。

【0142】

さらに、後置システムには、予定外のダウン時間を最小限に短縮するために冗長サーバー（複数可）が含まれる。故障した構成要素の適時の交換を可能にするために、緊急予備部品が提案される。

【0143】

図１３は、平時中の図１１のソフトウェアモジュールの対話を示すレイアウトを示す。本発明のＢＤＡシステムの実施形態は平時中に以下の利点を提供することができる。

【0144】

飛行場滑走路上の走査／弾孔の検索／ＵＸＯの測定に加えて、ＦＯＤ ＥＯセンサ（１０８）（図９）は他のＦＯＤならびに滑走路／誘導路の損害（地下爆発および破砕など）も検出することができる。これはＦＯＤおよび滑走路損害の検出をリアルタイム基準で自動化し、空軍基地の状況認識および作戦即応性の増強を助ける。組込み人工知能技術は、人が原因の誤りまたは自己満足が回避されるように、ＦＯＤおよび滑走路／誘導路の損害の客観的かつ確実な同定を確かにする。

【0145】

ＦＯＤ ＥＯセンサの採用は、操作員が超微光飛行場環境で明確に見ることを可能にする。ＦＯＤ ＥＯセンサが飛行場監視に貢献できる状況の一部には以下のものがある。

【0146】

重要監視状況
・飛行場滑走路／誘導路の侵入／攻撃
・飛行場、滑走路および／または誘導路の損害評価
・飛行場滑走路および／または誘導路の損害（弾孔、地下爆発、破砕、ＵＸ）およびＦＯＤの検出／測定／分類
・翼端の衝突
・航空機の破損
・緊急着陸／胴体着陸
・一般的監視状況
・一般的エアサイド監視
・滑走路表面状況の監視
・飛行場内（たとえば、航空機牽引、舗装または建設作業など）の安全性順守の強化

【0147】

滑走路／誘導路の表面／舗装状態の監視
すべての他の空港システムと同様、滑走路および誘導路は長年の間に環境因子が原因で老朽化する。不定期の時間がかかる手動検査では、石材が失われた領域が一般的に見つかる。滑走路または誘導路の特定部分、特に航空機の離着陸領域が一般的に損傷しており、アスファルト／コンクリートの塊の顕著な剥離を伴っている。

【0148】

ＦＯＤ ＥＯセンサは、滑走路および／または誘導路を連続的に検査し、滑走路および／または誘導路の表面の非常に高い分解能のズームイン画像を獲得するため、表面状況を精査して滑走路または誘導路の破片、顕著な亀裂または損害を検出する能力を有利に提供する。

【0149】

たとえば、鳥衝突事故が地上レベルで起こる場合がある。いくつかの種類の鳥が年間を通して通常見られ、渡りの月間中には鳥の活動が典型的には増加する。本発明の実施形態は、滑走路および／または誘導路上の鳥の存在の検出に有効な場合があり、飛行場の操作員が地上での鳥衝突事故を防止することを助けるために有効な、決断支援システムを提供する。

【0150】

また、例示的な実施形態における滑走路安全性は、好ましくは、滑走路をさまよう動物などの問題も考慮する。知的ビジョン技術を使用して、例示的な実施形態は、好ましくは、滑走路および／または誘導路上のヘビ、カメ、オオトカゲおよび他の野生生物を見つけ出す。航空機の安全性のために、滑走路および／または誘導路上の野生生物を検出する能力は、滑走路および／または誘導路を閉鎖し、滑走路から野生生物を捕まえてその危険を取り除くように地上クルーを派遣するよう、飛行場操作員に指示することができる。

【0151】

図１４は、例示的な実施形態による総合飛行場損害評価システムのハードウェアシステム（１４００）のレイアウトを例示する模式図を示す。

【0152】

統合ＢＤＡのハードウェアシステム（１４００）（図１４）は、電気光学（ＥＯ）システム（１４０１）と（１４０３および１４０９）からなる中央コンピュータシステム（ＣＣＳ）とを備える。

【0153】

ＥＯシステム（１４０１）（図１４）は、一連のＥＯセンサユニット（カメラ）（１４０５ａ〜ｄ）およびそのそれぞれの専用ビデオ処理装置（ＶＰＵ）（１４０７）からなる。ＥＯセンサ（カメラ）（１４０５ａ）はタワーまたは建造物に装着されており、飛行場の標的領域を検査してそのライブビデオまたは画像を獲得する。一実施形態では、自動監視システムは広い視野を有するメガピクセル静止ＥＯセンサを使用して滑走路／誘導路の７００ｍ（２，２９７ｆｔ）の長さまでをカバーする。一実施形態では、ＦＯＤシステム（ＥＯセンサユニット（１４０５ｂ〜ｄ））は、高透明度のズームレンズを備えたパン／チルト／ズーム（ＰＴＺ）超低照度ＥＯセンサを適用して、滑走路／誘導路のセクターをサブセクター毎に調査／精査する。それぞれのサブセクターは約５．５ｍ（１８ｆｔ）であり、ＰＴＺ ＥＯセンサのそれぞれがパンして滑走路／誘導路の３５０ｍ（１，１４８ｆｔ）の長さまでをカバーする。それぞれのＶＰＵ（１４０７）はＥＯセンサユニットからのビデオ画像を処理するための専用のものである。このビデオが光学的送受信機を介してＶＰＵにストリーミングされて画像処理される。ＶＰＵ（１４０７）の出力は画像またはビデオおよびデータの両方を中央コンピュータシステム（ＣＣＳ）の管理サーバー（１４０９）に伝送する。

【0154】

ロバスト性のために、ＢＤＡシステム（１４００）（図１４）は２レベルの冗長設計機構、すなわち前置および後置の組込み冗長を提供してシステム運用の高い稼働率を確実にする。ＦＯＤおよび損害の検出ＥＯセンサ（１０８）（図９）および兵器衝撃監視ＥＯ（９５１）（図９）が滑走路の片側に設置されており、これらはすべて滑走路の中心線から少なくとも３００ｍ（９８４ｆｔ）離れている。兵器衝撃監視センサ（９５１）が爆撃によって打撃を受けた場合、ＦＯＤおよび損害の検出センサ（１０８）は、ＦＯＤまたは損害（弾孔／ＵＸＯなど）を検索、検出および測定するよう機能し続けることができる。同様に、ＦＯＤおよび損害の検出センサが打撃を受けた場合、兵器衝撃検出（９５１）も飛行場滑走路／誘導路の損害を検出および位置決定することができる。

【0155】

システム（１４００）はどのようなＥＯセンサの機能不良も考慮して冗長を提供するため、十分なＥＯセンサの重複カバレッジが存在し、隣接ＥＯセンサが不良ＥＯセンサのバックアップのカバレッジを提供する。後置冗長は管理サーバーの故障を防止する。言い換えれば、管理サーバーは冗長のために（少なくとも）１つの対で設計および配置されている。高い稼働率を確実にするために、主サーバーが故障した場合には冗長サーバーが自動的に引き継ぐべきである。

【0156】

例示的な一実施形態では、中央コンピュータシステム（ＣＣＳ）は、管理サーバー（冗長を含む）（１４０９）、デジタルビデオ記録器（ＤＶＲ）（１４１１）、操作員ワークステーション（１４１３）、管理者／維持者ワークステーション（１４１５）、および携帯用手持ち機器（１４１７）からなる。

【0157】

管理サーバー（１４０９）は、ユーザアクセス制御、システム構成、警報構成、画像および関連情報の管理、データクエリ、ならびに報告書生成を含めたシステム運用の中央データベースである。管理サーバーが故障した場合は冗長サーバーがこの機能を引き継ぐ。ＤＶＲ（１４１１）は、すべてのセンサユニットからの画像の連続的なリアルタイム・デジタル・ビデオ記録を提供する。一実施形態では、ＤＶＤ（１４１１）は３０日間記憶するサイズであり、必要に応じてビデオをＤＶＤにアーカイブすることができる。この施設は分析および調査のためのビデオ再生を可能にする。

【0158】

操作員ワークステーション（１４１３）は、システム（１４００）のログイン、監視および運用のメイン・ユーザ・インタフェースとして役割を果たす。管理者／維持者ワークステーション（１４１５）は、ネットワークおよび機器の検診およびトラブルシューティングを実施するための技術支援に主に使用される。また、これは操作員ワークステーション（１４１３）が機能不良となった場合に運用のバックアップとしても機能することができる。

【0159】

携帯用手持ち機器（１４１７）が地上支援クルーに支給され、それにより、クルーが弾孔を修復するまたは滑走路／誘導路から破片を取り除くために動員される前および／またはその間に、遠隔警報および重要情報（日時、場所、損害の大きさ、画像など）を受信することが可能となる。この情報により、地上クルーは十分なリソースおよび材料で応答し、標的の位置を迅速に発見するように準備する。

【0160】

前置の電気光学システム（１４０１）はＥＯセンサ（１４０５ａ〜ｄ）およびＶＰＵ（１４０７）からなる。滑走路／誘導路に沿ったすべてのＥＯセンサ（１４０５ａ〜ｄ）は連続稼働用に電力供給されており、光ファイバーリンクを介して後置機器室に接続されている。それぞれのセンサ（１４０７）はファイバーリンクによってその専用ＶＰＵ（１４０７）に接続されており、記録用にＤＶＲ（１４１１）にビデオ分配されている。

【0161】

後置機器は、管理サーバー（１４０９）、ＤＶＲ（１４１１）、スイッチ（１４１９）および操作員／管理者ワークステーション（１４１３、１４１５）からなる。ワークステーション（１４１３、１４１５）は、好ましくは地上運用コントロールセンターまたは飛行場指揮所に位置する。また、システム（１４００）は、利用可能な場合はＴＣＰ／ＩＰ通信プロトコルを使用した既存のＬＡＮネットワークを活用することもできる。ビデオはＶＰＵ（１４０７）によって処理され、たとえば弾孔が検出された際に、関連データを有する画像を管理（冗長）サーバー（１４０９）に伝送する。管理サーバーは警報ステータスを記憶し、弾孔を位置決定してその大きさを測定し、データを操作員ワークステーション（１４１３）上に提示する。ユーザが手動（ライブ）視界を選択した場合、リアルタイムビデオが選択されたセンサからストリーミングされる。調査目的には、ユーザは記憶された記録をＤＶＲからダウンロードして分析のためにビデオを再生することができ、たとえば、滑走路１つあたり１つの手持ち携帯用機器（１４１７）を地上クルーに支給することができる。

【0162】

ユーザが標的を確認し、飛行場滑走路／誘導路の修復を開始する際、手持ち機器（１４１７）が、クルーが飛行場滑走路／誘導路の復旧または修復を準備するための画像を含めた重要情報を受信する。

【0163】

ＢＤＡシステムの実施形態は、好ましくは以下の弾孔の大きさを検出することができる。
・小さな弾孔：小さなロケット、大砲発射、着発信管兵器からの１０ｃｍ〜１．５ｍ
・中程度の弾孔：クラスター兵器、大きなロケット、小さなコンクリート貫通爆弾からの１．５ｍ〜６ｍ
・大きな弾孔：>遅発信管兵器、大きなコンクリート貫通爆弾からの６ｍ

【0164】

弾孔以外に、ＢＤＡシステムは滑走路および誘導路上の地下爆発、破砕、ＵＸＯおよびＦＯＤも検出および測定することができる。

【0165】

一実施形態のＢＤＡシステムの作業ワークフローを以下に説明する。
ａ）専用静止ＥＯセンサユニット（１４０５ａ）からのビデオまたは画像がリアルタイムで自動的に獲得および処理されて兵器衝撃の確実な同定を提供し、専用パニングＥＯセンサユニット（１４０５ｂ〜ｄ）からのビデオがリアルタイムで自動的に獲得および処理されて検出された損害／ＵＸＯ／ＦＯＤの確実な同定を提供する、
ｂ）滑走路／誘導路の完全な評価のためにビデオおよび警報が地上運用コントロールセンターまたは指揮所において単一の視界で表示される、
ｃ）検出されたすべての爆撃、弾孔、地下爆発、破砕、ＵＸＯまたはＦＯＤが自動的にハイライトされ、操作員ワークステーションで警報が出される。静止ＥＯセンサ（１４０５ａ）によって兵器衝撃が検出された際、パニングＥＯセンサ（１４０５ｂ〜ｄ）がその位置に向けられてＦＯＤまたは飛行場損害のズームイン測定を行う。
ｄ）視覚検証のために、検出された標的のコンピュータ支援ズーム画像ならびに関連する位置および大きさの情報が操作員ワークステーションで表示される。
ｅ）航空機の種類および隊の位置に基づいて、システムが優先的な修復について最小飛行場稼働表面（ＭＡＯＳ）および最小稼働仮設滑走路（ＭＯＳ）を推奨する。
ｆ）ユーザによって確認された際、ＧＳＭまたは３Ｇ移動通信ネットワークによる無線手段を介した遠隔警報が、地上支援または修復クルーが保有する手持ち機器に送信される。手持ち機器は、日時、弾孔／地下爆発／破砕／ＵＸＯ／ＦＯＤの位置（複数可）、弾孔／地下爆発／破砕／ＵＸＯ／ＦＯＤの大きさ（複数可）、修復の分類および優先度などの情報を提供する、
ｇ）ユーザは航空機の離着陸を停止させ、弾孔／地下爆発／破砕を修復するまたはＵＸＯ／ＦＯＤを滑走路／誘導路から取り除くために地上クルーを派遣する、
ｈ）修復／除去が完了し、滑走路が運用を再開した後、報告書生成および事後分析／調査のためにビデオ、画像および警報の記録を読み出すことができる。

【0166】

国際民間航空機関（ＩＣＡＯ）および連邦航空局（ＦＡＡ）の規制基準の下、重要な航法機器のみが滑走路の中心線から１５０ｍ（４９２ｆｔ）以内に設置することが許可されており、すべての他の必要な設置物は４９２ｆｔの印の先で１：７の高さ制限に従わなければならない。本発明のＢＤＡシステムの実施形態は、好ましくはＩＣＡＯ、ＦＡＡおよび他の空軍基準に準拠する。

【0167】

また、本明細書中に上述した本発明の実施形態は、雨が原因の背景クラッタのフィルター除去も提供することができる。典型的には、雨クラッタは滑走路または誘導路上の局所領域のみではなく、滑走路全体にわたっても起こる。また、雨は、滑走路のシーン画像中で雨が滑走路表面に当たった際のしぶきなどの特定の特徴を有する動作クラッタも引き起こす場合がある。したがって、雨クラッタをフィルター除去するための一方法は、滑走路全体にわたって起こる雨様の特徴を用いて、滑走路または誘導路シーン中の動作クラッタを検出および認識することである。雨クラッタは静的でなくフレーム間で異なるため、時間的フィルタリングを使用して雨クラッタをフィルタリングすることもできる。このようにして、滑走路または誘導路全体にわって起こる雨様の特徴を有する動作クラッタは雨クラッタとしてフィルター除去される。また、代替実施形態では、上記原理を応用して、雪が原因の背景クラッタもフィルタリングすることができる。したがって、滑走路全体にわたって起こる雪様の特徴を有する動作クラッタは、時間的フィルタリングを使用して雪クラッタとしてフィルター除去される。

【0168】

本発明の例示的な実施形態では、監視カメラから得られた参照背景画像にエッジ検出技法を使用して前処理して、システムを照明の変化、クラッタおよびに対してより回復力のあるものにし、誤認警報を減らす。

【0169】

エッジの強調および検出技法を使用して滑走路または誘導路の特長のエッジを同定する。画像中のエッジとは、ピクセル特性が突然変化する箇所を横断する外郭である。エッジの強調および検出を使用して、背景減算および／または学習に基づいて前景ピクセル同定における照明の変化に対する回復力を改善する。

【0170】

上述の本発明の実施形態は、以下の特長のうちの１つまたは複数を有することができる。
−滑走路に平行な方向に高い勾配変化を有する特長を強調するための、高域フィルター（Ｓｏｂｅｌ Ｘの左から右＋右から左またはＳｃｈａｒｒ Ｘなど）を使用した滑走路画像の画像強調
−ＦＯＤまたは損害のエッジ抽出閾値の最適推定。推定は様々な環境条件（たとえば、雨、光反射、夜間など）に適応し、進行的に学習された背景エッジマップに基づく統計方法を活用して、適応ピクセル・レベル・エッジ・マップ抽出のためのピクセルレベルの閾値マップを生成するために使用するグレースケールのルックアップテーブル（ＬＵＴ）を決定する
−時間的フィルタリングをピクセルレベルで適用し、大量のエッジマップを使用してノイズを低減させることによってロバストエッジを保持する。閾値を超えるピクセルのみがロバスト・エッジ・ピクセルとして分類され、残ったピクセルはエッジマップに使用されない。
−現在のエッジ画像を以前の背景画像と比較して、誤認警報を生成せずにこれらの特長を背景に溶け込ませるために滑走路または誘導路上のゆっくりとした特長変化過程を獲得する適応背景学習。
−適応背景エッジマップおよび以前に学習された背景マップおよび任意選択で季節的なマーキング（雪などの特定の季節または気象条件で生成）からなる複合背景エッジマップ。
−エッジマップと複合背景マップとを比較することによる、疑いのあるエッジマップの生成
−突然の環境変化、たとえば、雨が原因の反射または他の気象条件が原因の可能性があるエッジの一部をフィルタリングするためのエッジフィルタリング。
−グローバルヒストグラムおよび統計分析を使用し、進行的に更新される画像と比較して異常光条件を決定することによる、夜間の異常光検出（航空機の着陸、航空機の離陸、地上車両の移動が原因のものなど）を伴う滑走路上のＦＯＤまたは飛行場滑走路／誘導路の損害の検出。
−補助照明（レーザーまたは赤外線照明器など）の設置を必要とせずに滑走路または誘導路上のＦＯＤまたは飛行場滑走路／誘導路の損害を検出するための昼／夜の監視。
−飛行場の滑走路または誘導路上ですべての異物および損害が正確に検出、同定および位置決定されることを確実にするための、自動、コンピュータ支援、および／または手動のズームイン視界能力を用いた飛行場の滑走路または誘導路の画像を獲得するためのイメージング手段。
−受動的な性質であり、暗条件または低照度条件下で補助照明（レーザーまたは赤外線照明器などの）設置の必要性を排除する。
−昼間および夜間中のカラー画像。
−ＦＯＤまたは飛行場滑走路／誘導路の損害を検出、位置決定または同定するための、コンピュータビジョン画像処理技法を使用した監視カメラのネットワークから得られたビデオおよび／または静止画画像の処理。監視カメラは単一または複数であり、可動性および／または静止であり、指定された監視領域内に柔軟に配置可能である。
−例示的な実施形態では、カメラは、適応画像処理を使用した改善された画像処理のおかげで、既存のシステムと比較して滑走路または誘導路からより離れた距離に配置し得る。これにより、使用するカメラの数を減らすおよび／または既存の基礎構造との「干渉」を減少させる、および／または滑走路近辺の閉塞を減らすことができる。

【0171】

ＢＤＡシステムは、正常状態（平時）中には異物、破片（ＦＯＤ）検出システムとして運用するように構成することができる。

【0172】

切迫した空襲警告が受信された場合、ＢＤＡシステムは警告状態となり、ＢＤＡシステムは飛行場損害の検出、測定および分類をその運用に含めるように切り替わり得る。飛行場損害の検出／測定／分類の結果は、飛行場内の兵器衝撃が原因のいかなる損害も回避する安全な航空機の離着陸に必要なＭＡＯＳおよびＭＯＳの計算をもたらす。

【0173】

図１４のビデオ処理装置（１４０７）および図１４の管理サーバー（１４０９）に関して、それぞれのビデオ処理装置（１４０７）は、１つのカメラ視界角度（単一のＥＯＳからのビデオ／画像に基づく）から飛行場滑走路損害項目を検出、測定および分類し、統合および最適化のために検出、測定および分類の結果を管理サーバー（１４０９）に送信することを司っている。管理サーバー（１４０９）は、複数のカメラ視界によって獲得されたビデオ／画像に基づいて、複数のビデオ処理装置（１４０７）によるビデオ／画像および／またはＦＯＤもしくは損害の検出／測定／分類結果の出力の最適化を行うことができる。そのような最適化には、同じ領域の複数の入力画像を融合して、入力画像のどれよりも有益な領域の合成画像を提供することが含まれる。また、管理サーバー（１４０９）は飛行場損害領域がハイライトされたステッチ飛行場画像も提供してよく、これは表示モジュール（１１５７）（図１１）および（１４１３）（図１４）上に表示するために有用である。

【0174】

また、管理サーバー（１４０９）は、様々なビデオ処理装置（１４０７）および管理サーバー（１４０９）上で実行されている様々な処理を含めた、ＢＤＡシステムのＢＤＡ処理全体を開始させることを司っている場合がある。サーバー処理（管理サーバー（１４０９）上で実行されている）はＦＯＤおよび／または損害の検出、測定および分類の結果を様々なビデオ処理装置（１４０７）から受信する。

【0175】

その後、実行されたサーバー処理は、複数の隣接ＥＯＳ（様々なカメラ視界角度を有する）および複数のビデオ処理装置（１４０７）による出力によって検出された、同じＦＯＤまたは損害項目（弾孔またはＵＸＯなど）に関する検出、測定および分類の結果をさらに処理および最適化する。サーバー処理は、それぞれの検出された飛行場損害項目について最短距離、同様の大きさなどの特定の基準に基づいて処理を行うことができる。続いて、サーバー処理は、発見されたＦＯＤまたは飛行場損害項目を再測定および／または再分類し、検出、測定および分類の正確性を改善するために少なくとも２つのカメラ視界角度（２台の隣接するＥＯＳからのビデオ／画像に基づく）を使用して損害項目の寸法を計算することさえできる。サーバー処理は２つのカメラ視界からの同じ領域の複数の入力画像を最適に融合して単一のＥＯＳから受信された入力画像のどれよりも有益な領域合成画像を提供することができるため、２つのカメラ視界角度の画像を使用することは改善である。また、これは、単一のＥＯＳを使用して飛行場の特定の領域をカバーする場合に起こる可能性がある、ＦＯＤまたは損害の閉塞の問題の克服も助ける。

【0176】

警告状態にある場合、ＢＤＡシステムのサーバー処理は兵器衝撃監視システム（ＷＩＳＳ）処理を開始する。ビデオ処理装置（１４０７）の様々な処理は様々なＥＯＳからのビデオ／画像を同時に処理する。サーバー処理がＷＩＳＳ処理を開始した場合、ＷＩＳＳ処理は、すべての検出された兵器衝撃が管理サーバー（１４０９）に対してすぐに警報を作動し、衝撃位置が操作員ワークステーション（１４１３）上のデジタル飛行場マップ上にプロットされ得るように、兵器衝撃検出処理をすぐに開始し得る。

【0177】

空襲が終わりＢＤＡシステムの状態が「攻撃後」に変わった場合、飛行場指揮官はＢＤＡ損害の検出、測定および分類ならびにＭＡＯＳおよびＭＯＳの計算を行うことを決定し得る。指揮官が様々なＢＤＡ処理を起動して詳細なＢＤＡ ＦＯＤおよび／または飛行場損害の検出、測定および分類を開始することを可能にするために、指揮官に手動のトリガを提供し得る。

【0178】

ＢＤＡシステムで使用されているプロセッサが単一カメラ視界のＢＤＡの検出、測定および分類を完了した後、サーバー処理によって結果を統合およびさらに最適化し得る。すべての重複したＢＤＡ ＦＯＤおよび飛行場損害の検出／測定／分類は、サーバー処理によってより高い正確性および確実性で再分類および再測定することができる。

【0179】

ＭＡＯＳ／ＭＯＳの計算のために、最終的なＢＤＡ ＦＯＤおよび／または損害の検出、測定および分類の結果をＭＡＯＳ／ＭＯＳの計算アプリケーションに送信し得る。

【0180】

ＢＤＡシステムは、飛行場の画像の完全な組（「飛行場基準画像」としても知られる）を獲得するために基準学習処理を実行するよう構成し得る。基準画像とは、基準画像を獲得する時点で飛行場のカメラ視界に未知の異物、破片もしくは損害、または未知の変化が存在しない場合の飛行場の画像をいう。

【0181】

ＢＤＡシステムはＥＯＳを使用してすべてのセクター／サブセクターを１サイクル走査して飛行場基準画像を生成し、その後、クイック・スキャン・ステッチおよび検出ループに入る。セクターとは飛行場内の指定された領域をいう。サブセクターとはセクター内のさらなる区画である。クイック・スキャン・ステッチおよび検出ループは飛行場を走査し続け、様々なサブセクター画像を一緒にまとめる。また、これは、基準画像と比較した後に飛行場画像上の主な差分も検出する。飛行場の顕著な差分を有する領域は、たとえば色によってハイライトされ、飛行場指揮官がディスプレイ上のこれらの領域にズームインし、その間または後の迅速な初期損害評価を行うことを可能にする。したがって、ＥＯＳ（すなわち１つまたは複数のカメラ）によって獲得された画像を一緒にまとめて、先に獲得されたステッチ画像と後に獲得されたステッチ画像との間の差分領域を、飛行場の滑走路または誘導路の後に獲得されたステッチ画像中でハイライトする。

【0182】

図１５は、損害を受けた部分（１５０６）がハイライトされたステッチ滑走路画像（１５０２）を例示する。ステッチ画像はクイック・スキャン・ステッチおよび検出ループによって生成される。また、損害を受けた部分のズームイン視界（１５０４）も図１５に示されている。ステッチ飛行場滑走路画像（１５０２）は、滑走路の一部分（１５０６）が空襲中にひどく損害を受けたことを示している。ズームイン視界（１５０４）は、滑走路上の損害を受けた項目の明白な指標であり、飛行場指揮官による早期飛行場損害評価に有用である。

【0183】

クイック・スキャン・ステッチおよび検出ループは無限ループで実行され、たとえば空襲が終わってＢＤＡシステムが「攻撃後」に入るまで更新されたステッチ飛行場滑走路画像を提供し続けるように構成し得る。それが起こった場合、飛行場指揮官はＢＤＡシステムを作動してＢＤＡ飛行場損害の検出、測定および分類処理を開始させる。

【0184】

その後、ＢＤＡシステムはフルサイクル検出を行って、飛行場内のすべての潜在的な損害項目を抽出し得る。その後、これは個々の損害項目（弾孔またはＵＸＯなど）を分類および測定し始める。最終的な検出、測定および分類の結果（様々なビデオ処理装置（１４０７）からの出力）はサーバーに送信されて統合および最適化される（すなわち、複数の画像および／または検出／測定／分類の結果を融合してより有益な画像を得る）。

【0185】

飛行場内の異物、破片または損害を検出するために、２つの画像処理に基づく検出器をＢＤＡシステムにおいて同時に使用し得る。検出器の１つは領域に基づく検出器であることができ、これにはある区域の獲得された画像のクレースケール視界を比較して、飛行場内の異物、破片または損害の存在を示唆している可能性のある領域を同定することが含まれる。しかし、変化する気象条件が原因で、領域に基づく検出器は単独では信頼性がない場合がある。これらは、光の変化が領域のグレースケール視界を変化させる場合に過剰な誤検出を生成する傾向にある。一方、画像中の物体のエッジ（すなわち境界または輪郭）を検出するために使用するエッジに基づく検出器は照明の変化に対する感度がより低く、気象条件が変化した場合さえも依然として物体のエッジを検出することができる。

【0186】

使用する主検出器がエッジに基づく検出器であり、二次検出器が領域に基づく検出器である可能性がある。運用中、異物、破片または損害を有する可能性があると同定された獲得画像中の領域は、まず領域に基づく検出器によって決定される。その後、領域に基づく検出器の処理された出力画像を、すべての検出されたエッジの輪郭を描くエッジに基づく検出器の処理された出力画像と比較する。エッジに基づく検出器の出力画像中で強力なエッジ構成要素（すなわち良好な輪郭）を示さない、領域に基づく検出器の処理された出力画像中の同定領域は廃棄され、信頼できないとみなされる。強力なエッジ構成要素を有する同定領域は、たとえば、検出された強力なエッジ構成要素を有する領域の位置情報を抽出するための図１１のＢＤＡ位置抽出モジュール（１１４７）と、画像中の強力なエッジ構成要素を有する領域をピクセルレベルで測定して測定値を物理的寸法に変換するための図１１のＢＤＡ大きさ測定モジュール（１１４９）とによるさらなる処理に送信される。その後、物理的寸法を分類して、たとえば、画像中の同定領域が実際にはどの損害の種類（弾孔、地下爆発、破砕、ＵＸＯ）またはＦＯＤであるかを決定することができる。

【0187】

図１６は、領域に基づく検出器およびエッジに基づく検出器の２つの検出器を使用する場合の検出アルゴリズムの流れ図を示す。

【0188】

ステップ１６０２では、飛行場の画像を獲得するように構成された１つまたは複数のカメラ（すなわちＥＯＳ）から画像を読み出す。

【0189】

ステップ１６０４では、ノイズの低減を行って、ステップ１６０２で読み出された画像中に存在するノイズを低減させる。

【0190】

ステップ１６０６では、ステップ１６０４に供された画像中のすべての物体のエッジの存在を検出するために、エッジに基づく検出器によるエッジ検出を行う。

【0191】

ステップ１６０８では、ステップ１６０６で検出されたエッジまたは輪郭に関する情報を抽出する。エッジ構成要素は、抽出される前に強力であるとみなされる必要がある。何が強力であるとみなされるかを決定するために、比較する閾値を事前に決定することができる。

【0192】

同時に、ステップ１６０４に供された画像に対してステップ１６１４を領域に基づく検出器によって実施して、異物、破片または損害が存在する可能性がある画像中の領域に関する情報を抽出する。

【0193】

ステップ１６１０では、ステップ１６１４で抽出された領域の情報とステップ１６０８で検出されたエッジの抽出された情報とを比較する。抽出されたエッジと重複する領域のみがステップ１６１０の出力として保持され、記憶される。

【0194】

ステップ１６１２では、ステップ１６１０の出力に対して全物体セグメント化を実施する。これは、ステップ１６１０の出力画像を分析し、検出された領域を分類して、これらが実際にはどの損害の種類（弾孔、地下爆発、破砕、ＵＸＯ）またはＦＯＤであるかを決定することを含む。

【0195】

空襲中、ＥＯＳノードタワー（すなわち１つまたは複数のカメラが装着された飛行場内のタワー）がねじれる、ずれる、または損害する可能性がある。この場合、ＢＤＡシステムが飛行場のセクター／サブセクター中の飛行場画像を獲得し、これをタワーがねじれる、ずれる、または損害する前の飛行場の基準（または参照）画像と比較し始めた際に、ねじれた、ずれた、または損害したタワーによって引き起こされた影響を受けたカメラ視界のミスアラインメントが原因で多くの望ましくないアーティファクトが生成され得る。これは誤警報を生成し、検出エラーを引き起こす。

【0196】

そのようなＥＯＳノードタワーのオフセットによって引き起こされる誤警報の数を最小限にするために、ＢＤＡシステムには、現在の画像および基準画像（すなわち参照画像）中で獲得される共通ＥＯＳノードタワーの位置オフセット効果の補正に使用される自動較正補償方法を行うための画像オフセット補償器が含まれ、これにより、損害を正確に検出、測定および分類するための補正された画像が生成される。

【0197】

ＥＯＳノードアラインメント補正に使用する技法は、近くの目印またはそれぞれの飛行場サブセクター内の目印からの目立つマーカー、たとえば、滑走路端燈、看板およびＥＯＳタワー構造の活用である。これらのマーカーは、較正処理中に参照として獲得される。検出中、ＥＯＳが検出サイクルを開始した際、まず、事前に設定した閾値レベルを超える信頼スコアで様々なサブセクターのすべてのマーカー位置を検査する。その後、適切なオフセットが計算される。その後、計算されたオフセットをそれぞれのサブセクター画像にしかるべく適用して、飛行場損害を検出し始める。

【0198】

図１７は、自動較正補正に使用されるマーカーを例示する。飛行場内の９つのサブセクターを有する領域のうち、４つのサブセクター（１７１０、１７１２、１７１４および１７１６）内の４つのマーカー（１７０２、１７０４、１７０６および１７０８）を選択して較正補正を行う。

【0199】

図１８は２つの画像（１８０２および１８０４）を示す。画像（１８０２）（基準画像）は、較正処理中のサブセクター３（１７１２）（図１７）の基準画像を示す。囲み線（１８０８）によって印したｍ２マーカー（１８０６）（この場合は滑走路の端燈）の周りの領域が、マッチング目的のための参照標的領域として選択される。画像（１８０４）（現在の画像）は、サブセクター３（１７１２）（図１７）を獲得するために装着されたカメラによって獲得された現在の画像中の、ｍ２マーカー（１８０６）の現在の位置を示す。囲み線（１８１０）は現在の画像中に見つかるｍ２マーカー（１８０６）の位置を示し、これは基準画像（１８０２）中の囲み線（１８０８）によって印されたｍ２マーカー（１８０６）の領域から明らかにずれている。

【0200】

図１８および１９を参照して、ＢＤＡシステムは、パターン照合もしくはブロブ検出などの標的発見技法、または両技法の組合せを使用して、現在の画像（１８０４）中のｍ２マーカー（１８０６）の正確な位置を見つける。Ｘ座標およびＹ座標のオフセット（Δ_ｘ１９０４，Δ_ｙ１９０６）（図１９）を使用して、異物、破片または損害の検出および位置決定のために基準画像（１８０２）および現在の画像（１８０４）の両方において補正された領域（１９０８）を位置決定することができる。それぞれの画像（１８０２および１８０４）において囲み線（１９０８）によって示された領域が補正された領域（１９０８）とみなされる。

【0201】

基準画像（たとえば１８０２）と現在の画像（たとえば１８０４）との間のマッチングの信頼スコアを考慮し得ることを理解されたい。信頼スコアが特定の閾値より高い場合にのみ補正が開始される。

【0202】

１つのマーカー位置はランダムすぎる場合があり、マッチングが不正確であり得るか、または環境変化もしくは特定の時点の通過物体が原因で誤ったパターンがマッチングされ得るため、複数のマーカー（すなわち現在の画像および基準画像中の共通物体）の使用が較正補正のロバスト性および信頼性を増強する。複数のマーカーのマッチングは、より多くの検証用データ、および基準画像（たとえば１８０２）と獲得された現在の画像（たとえば１８０４）との間の実際のオフセットのより良好な提示を提供する。

【0203】

ｎ個のマーカー位置が存在すると仮定した場合、マッチング信頼スコアはＣ_ｉであり、式中、ｉ＝１，ｎである。

【0204】

したがって、オフセットは（Δ_ｘｉ，Δ_ｙｉ）、ｉ＝１，ｎである。

【0205】

最小信頼スコアがＴ_ｃであると仮定する。その場合、実際のオフセットは、閾値Ｔ_ｃを通過する有効なマーカーの平均：

であることができるか、または直線回帰を使用することによって得ることができる。

【0206】

図２０は、基準（参照）画像と現在の画像との間の実際のオフセットを決定するための直線回帰の使用を例示する。複数のｎ個のマーカー位置が既に同定されていると仮定する。マーカーマッチングは最初のマーカーから開始され最後のマーカーまでである。マーカーｉは、最初から最後までのマーカーのうちの１つをいう。高い信頼スコアを達成するすべてのマーカーについて、Ｘ／Ｙ（すなわちＸ座標およびＹ座標）オフセットをピクセル値で提示してリストに追加する。Ｔ_ｃは、計算した実際のマッチングスコアがそれを超える場合に補正マッチングを高い信頼性で確実に裏付ける、事前に決定された最低マッチングスコアである。

【0207】

最後のマーカーをマッチングした後、オフセットは画像中で直線的あるはずであるため、リストを直線的に当てはめる。当てはめエラーを評価する。当てはめエラーが小さい場合は、オフセットはこれらの複数のマーカー間で一貫しており、したがって現在の画像と基準画像とのオフセットに使用できることを意味する。当てはめエラーが小さくない場合、オフセットは補償することができない。この例では、Ｔ_ｆがピクセルで測定した最大オフセットエラーである。

【0208】

ステップ２００２では、実際のオフセットを決定するためにマーカーｉの位置を検査し、マーカーｉはｎ個のマーカー位置中のマーカーのうちの１つである。

【0209】

ステップ２００４では、マーカーｉが最後のマーカーであるかどうかを見るためにその位置を検査する。

【0210】

マーカーｉが最後のマーカーである場合は、ステップ２００６で、それぞれのマーカーに対応するすべてのオフセット値を含有するオフセットリストに基づいて直線回帰を行う。それぞれのマーカーは、基準画像と現在の画像とを比較した後に、そのそれぞれの設定されたオフセット値を生成できることに注目されたい。

【0211】

ステップ２００８では、回帰エラーがＴ_ｆ値よりも大きいかどうかを見るための検査を行う。

【0212】

ステップ２００８の検査で回帰エラーがＴ_ｆ値よりも大きいことが示された場合は、ステップ２０１０で補償を行って現在の画像をオフセットし、補正された領域を獲得する。そうでなければ手順は終了する。

【0213】

ステップ２００４でマーカーｉが最後のマーカーでない場合は、ステップ２０１２で基準画像と現在の画像との間でマーカーｉのマーカーマッチングが行われる。マーカーｉに基づくオフセット値も決定される。

【0214】

ステップ２０１４では、現在の画像および基準画像中のマーカーｉをマッチングすることによって決定されたマッチングスコアが閾値Ｔ_ｃ値を超えるかどうかをみるための検査を行う。

【0215】

ステップ２０１４で閾値Ｔ_ｃ値を超えていた場合は、ステップ２０１６でマーカーｉのオフセット値をオフセットリストに追加する。そうでなければ手順はステップ２００２に進む。

【0216】

本明細書中に記載の例示的な実施形態の方法およびシステムは、図８に模式的に示すコンピュータシステム（９００）上に実装することができる。これは、コンピュータシステム（９００）内で実行され、コンピュータシステム（９００）に例示的な実施形態の方法を実施するよう指示するコンピュータプログラムなどのソフトウェアとして実装し得る。

【0217】

コンピュータシステム（９００）は、コンピュータモジュール（９０２）、キーボード（９０４）およびマウス（９０６）などの入力モジュール、ならびにディスプレイ（９０８）およびプリンター（９１０）などの複数の出力装置を備える。

【0218】

コンピュータモジュール（９０２）は、たとえばローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）などのネットワークシステムへのアクセスを可能にするために、適切な送受信装置（９１４）を介してコンピュータネットワーク（９１２）に接続されている。

【0219】

本例のコンピュータモジュール（９０２）には、プロセッサ（９１８）、ランダム・アクセス・メモリ（ＲＡＭ）（９２０）および読み出し専用メモリ（ＲＯＭ）（９２２）が含まれる。また、コンピュータモジュール（９０２）には、いくつかの入力／出力（Ｉ／Ｏ）インタフェース、たとえば、ディスプレイ（９０８）へのＩ／Ｏインタフェース（９２４）およびキーボード（９０４）へのＩ／Ｏインタフェース（９２６）も含まれる。

【0220】

コンピュータモジュール（９０２）の構成要素は、典型的には、相互接続したバス（９２８）を介して、関連分野の技術者に知られている様式で通信する。

【0221】

応用プログラムは、典型的には、ＣＤ−ＲＯＭまたはフラッシュ・メモリ・キャリアなどのデータ記憶媒体上にコードしてコンピュータシステム（９００）のユーザに供給し、データ記憶装置（９３０）の対応するデータ記憶媒体ドライブを利用して読み取る。応用プログラムは、プロセッサ（９１８）によって読み取られ、その実行中に制御される。プログラムデータの中間記憶はＲＡＭ（９２０）を使用して達成し得る。

【0222】

本明細書における飛行場への言及は、滑走路および／または誘導路および／または進入路および／またはインフィールド／草地および／またはエプロンおよび／または舗装路を含めた、飛行場内のすべての領域にわたることを理解されたい。異物、破片または任意の種類の損害の監視、および飛行場の滑走路もしくは誘導路または飛行場滑走路／誘導路内の兵器衝撃の監視へのすべての言及は、進入路および／またはインフィールド／草地および／またはエプロンおよび／または舗装路などの、飛行場の他の領域にも適用できることを理解されたい。

【0223】

本明細書中の損害への参照には、亀裂、弾孔、ＵＸＯ、破砕、地下爆発が含まれることを理解されたい。

【0224】

本発明は上記実施形態に限定されない。しかし、当業者は、本発明の範囲から逸脱せずに、本明細書中に包含される情報に鑑みて、変更を加えて本発明を実施できることを理解されよう。

【符号の説明】

【0225】

１００ 飛行場滑走路監視システム
１０２ 草地
１０３ 誘導路
１０４ 誘導路
１０５ 滑走路
１０６ 滑走路
１０８ 監視カメラ
１１０ 視野
１１１ 水平画角
１１２ 交差部分
１３５ 管制塔または管制室
５００ 滑走路監視システム
５０８ 監視カメラ
５０９ 監視カメラ
５１０ 視野
５１１ 水平画角
５１５ 視野
５２１ 水平画角
５５０ 滑走路監視システム
５５１ 監視カメラ
５５２ 監視カメラ
５５２ 監視カメラ
５５３ 水平画角
５５４ 水平画角
５５５ 視野
５５６ 視野
６００ 監視システム
６０１ 監視カメラ
６０３ 監視カメラ
６０５ 監視カメラ
６０７ 監視カメラ
６０９ 監視カメラ
６１１ カバレッジ角度（画角）
６１３ 広がった視野
７００ 滑走路表面領域
７０２ セグメント
７０３ 縦方向
７０８ 非静止カメラ
７１０ 一端
７１１ 水平画角
７２０ 他端
８０１ 中央線
８０２ 水平滑走路線
８０３ 水平滑走路線
８０４ 物理的垂直距離
８０５ 物理的垂直距離
９００ コンピュータシステム
９０２ コンピュータモジュール
９０４ キーボード
９０６ マウス
９０８ ディスプレイ
９１０ プリンター
９１２ コンピュータネットワーク
９１４ 送受信装置
９１８ プロセッサ
９２０ ランダム・アクセス・メモリ
９２２ 読み出し専用メモリ
９２４ ディスプレイへのＩ／Ｏインタフェース
９２６ キーボードへのＩ／Ｏインタフェース
９２８ バス
９３０ データ記憶装置
９５０ 兵器衝撃監視システム
９５１ 静止カメラ
９５２ 総合飛行場損害評価システム
１０００ 飛行場設計図
１０００ 兵器衝撃監視システム
１０００ グラフィカル情報システム（ＧＩＳ）マップ
１００３ 弾孔
１００７ 最小稼働仮設滑走路
１００９ 損害を受けた誘導路または進入路
１０１１ 弾孔
１１０３ ＢＤＡシステムモジュール
１４００ ハードウェアシステム
１４０１ 電気光学システム
１４０３ 中央コンピュータシステム
１４０５ ＥＯセンサユニット（カメラ）
１４０７ ビデオ処理装置
１４０９ 管理サーバー
１４１１ ＤＶＲ
１４１３ 操作員ワークステーション
１４１５ 管理者／維持者ワークステーション
１４１７ 携帯用手持ち機器
１４１９ スイッチ
１５０２ ステッチ飛行場滑走路画像
１５０４ ズームインした視界
１５０６ 損害を受けた部分
１７０２ マーカー
１７０４ マーカー
１７０６ マーカー
１７０８ マーカー
１７１０ サブセクター
１７１２ サブセクター
１７１４ サブセクター
１７１６ サブセクター
１８０２ 基準画像
１８０４ 現在の画像
１８０６ ｍ２マーカー
１８０８ 囲み線
１８１０ 囲み線
１９０８ 補正された領域

【図1A】

【図1B】

【図1C】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】