特表 2024-500412 コンテキストエンコーダベースのファイバセンシング異常検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-09

(54)【発明の名称】コンテキストエンコーダベースのファイバセンシング異常検出

(51)【国際特許分類】

   G01H 9/00 20060101AFI20231226BHJP

   G01D 5/353 20060101ALI20231226BHJP

【ＦＩ】

G01H9/00 E

G01D5/353 B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023536983

(86)(22)【出願日】2021-12-21

(85)【翻訳文提出日】2023-06-16

(86)【国際出願番号】 US2021064755

(87)【国際公開番号】W WO2022140487

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】63/128,960

(32)【優先日】2020-12-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/556,939

(32)【優先日】2021-12-20

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】ハン、 シャオボ

(72)【発明者】

【氏名】ホワン、 ミン－ファン

(72)【発明者】

【氏名】コサット、 エリック

【テーマコード（参考）】

2F103

2G064

【Ｆターム（参考）】

2F103BA18

2F103CA07

2F103EC09

2G064AB02

2G064BA02

2G064BC02

2G064BC12

2G064BC22

2G064BC33

2G064DD08

2G064DD15

2G064DD21

(57)【要約】

本開示の態様は、異常な振動を生じる活動によるセンサファイバの損傷を防止できるように、分散型光ファイバセンシングシステム（ＤＦＯＳ）の一部であるセンサファイバに近接する異常振動を検出する、教師なしコンテキストエンコーダベースのファイバセンシング方法を説明する。有利には、本発明の方法は、正常なデータストリームのみを必要とし、機械学習に基づく動作を利用して、センシングデータを分析し、建設やその他のファイバ脅威活動に関連する異常イベントをリアルタイムで報告する。機械学習アルゴリズムは、コンテキストエンコーダによるウォーターフォール画像修復に基づいており、エンドツーエンド方法で自己訓練され、ＤＦＯＳセンサファイバが新しい経路に光学的に接続されるたびに拡張される。したがって、本発明の方法およびシステムは、従来技術の教師あり方法と比較して、配備がはるかに容易である。
【選択図】図６

【特許請求の範囲】

【請求項1】

ＤＦＯＳインタロゲータおよび異常検出器と光通信するある長さの光センシングファイバを含む分散型光ファイバセンシング（ＤＦＯＳ）システムを動作させるためのコンテキストエンコーダ方法であって、
前記光センシングファイバが道路に近接して配備される前記ＤＦＯＳシステムを提供することと、
前記ＤＦＯＳを動作させて、道路交通と前記センシングファイバに近接する他のインフラストラクチャの振動パターンとを含む前記道路の正常な特性を取得することと、
前記ＤＦＯＳの動作中に生成されたウォーターフォール画像から、コンテキストエンコーダ／デコーダの効果による前記ウォーターフォール画像の異常なパターンを決定することと、を含む、方法。

【請求項2】

前記光センシングファイバは、任意のＤＦＯＳ信号に加えて電気通信トラフィックを伝送することができる配備された光ファイバである、請求項１に記載の方法。

【請求項3】

前記コンテキストエンコーダ／デコーダは、前記生成されたウォーターフォール画像を入力として受信し、各入力画像について、２つの出力画像を生成し、一方は前記入力されたウォーターフォール画像の中央部分がゼロに設定されている（トリミング画像）、請求項２に記載の方法。

【請求項4】

前記コンテキストエンコーダ／デコーダのエンコーダは、３つの層を含み、個々の層は、畳み込み、バッチ正規化、Leaky Relyu活性化、および、ダウンサンプリング用のストライドによる畳み込みを有する、請求項３に記載の方法。

【請求項5】

前記コンテキストエンコーダ／デコーダのデコーダが３つの層を含み、各層が転置畳み込み演算子を含む、請求項４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、分散型光ファイバセンシング（ＤＦＯＳ）に関する。より詳細には、本開示は、配備された光ファイバケーブルの完全性を脅かす可能性のある環境条件を判断するためのコンテキストエンコーダベースのファイバセンシング異常検出方法に関する。

【背景技術】

【0002】

当業者には理解されるように、光ファイバ通信システムは、とりわけ、インターネットワーキング（すなわち、インターネット、ワールドワイドウェブなど）、セルラーテレフォニー（すなわち、ＬＴＥ／５Ｇフロントホール／バックホール）を含む電気通信目的のために広く展開されてきた。このような電気通信の通信媒体となる光ファイバケーブルは、通常、４フィートを超える深さで地中に埋設されるが、それでも、主に光ファイバケーブルの近辺で行われる建設作業により、頻繁に切断されることがある。光ファイバケーブルが切断されると、結果として信号伝送が停止する。したがって、このような光ファイバケーブルの切断の発生を防止するか、または最小限に抑えるシステム、方法、および構造は、当技術分野にさらに歓迎すべきものとなる。

【発明の概要】

【0003】

当技術分野における進歩は、配備された光ファイバケーブルに対する物理的脅威を、そのような脅威が物理的損傷に具体化する前に決定するためのシステム、方法、および構造を対象とする本開示の態様に従ってなされる。

【0004】

従来技術とは明らかに対照的に、本発明の方法は、正常なデータストリームのみを必要とする、独創的な教師なしコンテキストエンコーダベースの動作を使用する。機械学習に基づく動作を利用して、センシングデータを分析し、建設やその他のファイバ脅威活動に関連する異常イベントをリアルタイムで報告する。本発明の機械学習アルゴリズムは、コンテキストエンコーダによるウォーターフォール画像修復に基づいており、エンドツーエンド方法で自己訓練され、ＤＦＯＳセンサファイバが新しい経路に光学的に接続されるたびに拡張される。したがって、本発明の方法およびシステムは、従来技術の教師あり方法と比較して、配備がはるかに容易である。

【図面の簡単な説明】

【0005】

本開示のより完全な理解は、添付図面を参照することによって実現され得る。

【0006】

【図1】当技術分野で知られているような例示的なＤＦＯＳ配置の概略図である。

【0007】

【図2(A)】本開示の態様による、配備された光ファイバ上に重ねられたセンシング層の例示的なシステムレイアウトを示す図である。

【図2(B)】本開示の態様による、正常な道路交通および建設工事を含む、ＤＦＯＳによってファイバから受信した概略的なウォーターフォール画像を示す図である。

【0008】

【図3】本開示の態様によるコンテキストエンコーダの訓練および試験の有効性を示す概略図である。

【0009】

【図4】本開示の態様による畳み込みオートエンコーダ／デコーダの例示的なモデルアーキテクチャを示す概略図である。

【0010】

【図5】本開示の態様によるデータ処理フローおよびシステムチャートを示す概略図である。

【0011】

【図6】本開示の態様による全体的な手順のフロー図である。

【0012】

【図7】本開示の態様による、実地試験中に得られた建設活動の概略的なウォーターフォールプロットおよび異常スコアプロットを示す図である。

【0013】

【図8】本開示の態様による、第２の実地試験中に得られた建設活動の概略的なウォーターフォールプロットおよび異常スコアプロットを示す図である。

【0014】

【図9】本開示の態様による、２つの異常イベントの同時検出を示す、第３の実地試験中に得られた建設活動の概略的なウォーターフォールプロットおよび異常スコアプロットを示す図である。

【0015】

【図10】本開示の態様による、オペレータに報告するためのケーブル経路情報および検出された異常を含む例示的なユーザディスプレイの概略図である。

【0016】

例示的な実施形態は、図面および詳細な説明によってより完全に説明される。しかしながら、本開示による実施形態は様々な形態で実施することができ、図面および詳細な説明に記載された特定のまたは例示的な実施形態に限定されない。

【発明を実施するための形態】

【0017】

以下は、単に本開示の原理を例示するものである。したがって、当業者は本明細書に明示的に記載または図示されていないが、本開示の原理を具現化し、その精神および範囲内に含まれる様々な構成を考案することができることが理解されよう。

【0018】

さらに、本明細書に記載されているすべての実施例および条件付き用語は、本開示の原理および技術を促進するために発明者によって寄与された概念を読者が理解するのを助けるための教育目的のためだけのものであることを意図しており、そのような具体的に列挙された実施例および条件に限定されないと解釈されるべきである。

【0019】

さらに、本開示の原理、態様、および実施形態を記載する本明細書のすべての記述、ならびにその具体例は、その構造的および機能的等価物の両方を包含することを意図している。さらに、そのような等価物は、現在知られている等価物と、将来開発される等価物、すなわち、構造に関係なく同じ機能を実行する開発された要素との両方を含むことが意図されている。

【0020】

したがって、たとえば、本明細書の任意のブロック図が、本開示の原理を実施する例示的な回路の概念図を表すことは、当業者には理解されるであろう。

【0021】

本明細書で特に明記しない限り、図面を構成する図は、縮尺通りに描かれていない。

【0022】

いくつかの追加の背景として、近年、分散型振動センシング（ＤＶＳ）や分散型音響センシング（ＤＡＳ）を含む分散型光ファイバセンシング（ＤＦＯＳ）システムが、インフラストラクチャ監視、侵入検出、および地震検出を含むがこれらに限定されない多くの用途で広く受け入れられていることに改めて留意する。ＤＡＳおよびＤＶＳでは、後方レイリー散乱効果を用いてファイバの歪みの変化を検出し、ファイバ自体が後続の分析のために光センシング信号をインタロゲータに戻す伝送媒体として機能する。

【0023】

いくつかの追加の背景として、また当技術分野で一般に知られている例示的な分散型光ファイバセンシングシステムの概略図である図１を参照して、まず、分散型光ファイバセンシング（ＤＦＯＳ）は、インタロゲータに順に接続される光ファイバケーブルに沿った任意の場所で環境条件（温度、振動、伸縮レベルなど）を検出するために重要かつ広く使用される技術であることに留意する。知られているように、現代のインタロゲータは、ファイバへの入力信号を生成し、反射／散乱され、その後に受信された信号を検出／分析するシステムである。信号が分析され、ファイバの長さに沿って遭遇する環境条件を示す出力が生成される。このように受信された信号は、ラマン後方散乱、レイリー後方散乱、およびブリリオン後方散乱などのファイバ内の反射から生じ得る。また、複数のモードの速度差を利用した順方向の信号とすることもできる。一般性を失うことなく、以下の説明では、反射信号を想定しているが、同じアプローチを転送信号にも適用することができる。

【0024】

理解されるように、現代のＤＦＯＳシステムは、光パルス（または任意の符号化信号）を周期的に生成し、それらを光ファイバに送るインタロゲータを含む。送られた光パルス信号は、光ファイバに沿って伝送される。

【0025】

ファイバの長さに沿った位置では、信号のごく一部が反射してインタロゲータに戻される。反射信号は、例えば、機械的振動を示す電力レベルの変化など、インタロゲータが検出するために使用する情報を搬送する。

【0026】

反射信号は電気領域に変換され、インタロゲータ内で処理される。パルス注入時間と信号が検出された時間とに基づいて、インタロゲータは信号がファイバに沿ったどの位置から来ているかを判断し、ファイバに沿った各位置の活動を感知することができる。

【0027】

本開示の一態様は、センシングファイバに近接する異常振動を検出／決定するために、既存の配備された光ファイバケーブルをセンシング媒体として使用することを改めて留意されたい。異常イベント（例えば、掘削機、掘削リグ、削岩機など）は、ケーブル切断イベントが発生する前の早い段階で、分散型光ファイバセンシング（ＤＦＯＳ）技術によって自動的に検出することができる。機械学習ベースのシステムを利用して、センシングデータを分析し、運用および／またはファイバ保守要員／システムに関連する異常イベントをリアルタイムで報告する。これから示して説明するように、本発明の機械学習方法は、コンテキストエンコーダによるウォーターフォール画像修復に基づく。

【0028】

さらに、教師あり異常検出方法では、異常画素の人間によるラベル付けが必要であり、その作成が困難であることにも留意されたい。さらに、このような教師あり異常検出は、非常に類似した経路条件を有するファイバ経路と異常パターンのみに一般化することができ、これらは両方とも非現実的である。実際には、ファイバセンシングの信号特性は、ケーブルと地面の結合、土壌の種類、埋設深さなど、様々な要因によって変化する可能性がある。一方、異常パターンは、建設機械の種類や動作によって異なる。

【0029】

これとは対照的に、本開示の態様によるコンテキストエンコーダベースの方法は、教師なしであり、正常なＤＦＯＳデータストリームのみを必要とする。これは、エンドツーエンド方式で、つまり、ＤＦＯＳセンサ（すなわち、ＤＡＳ）が新しい経路に接続されるたびに、自己訓練することができる。したがって、従来技術の教師あり技術よりも導入が容易である。

【0030】

レイリー後方散乱効果を活用することによって、光ファイバ経路全体に沿った任意の点で、周囲の効果の関連するダイナミクスをＤＦＯＳシステムによって感知することができる。本開示の態様によれば、環境振動（例えば、通常の道路交通、橋など）と建設活動（例えば、掘削機の掘削など）とを比較することによって、本発明の方法は、ウォーターフォール画像上に示される特徴的なパターンを生成し、区別する。本発明のコンテキストエンコーダベースの異常検出システムおよび方法は、光ファイバケーブルが切断される前に、光ファイバを損傷する可能性がある建設イベントを早期に検出／決定する。当業者には容易に理解され、認識されるように、本発明のシステムおよび方法は、面倒で、誤差が生じ易く、費用が掛かる手動検査の労力を節約する。

【0031】

さらに、本発明の方法は、再構成ベースであり、交通などの正常な振動パターンのみを再構成し、再構成誤差の閾値化によって異常領域を特定することに留意されたい。

【0032】

従来、入力画像を受信し、それ自体を再構成しようとする畳み込みオートエンコーダベースの手法が、異常検出に適用されてきた。このような方法は、モデル容量が小さい場合でも、正常なウォーターフォール画像だけでなく、異常なウォーターフォール画像も同様の品質レベルで記憶して再構成することができる。その理由は、１）ウォーターフォール画像の振動パターンは自然画像よりも単純であるが、ノイズが多い、２）フィールドデータは、制御された実験室環境で収集されたデータよりも高度であり、混合パターンを含むためである。標準的な畳み込みオートエンコーダを用いた訓練では、モデルに、目に見えない異常振動イベントを再構築するのに十分な表現力を有する多様な辞書のセットを本質的に学習させる必要がある。

【0033】

局所領域からの正常な交通パターンは、規則的なスロープパターンと類似していることに留意された。

【0034】

本開示の態様によるコンテキストエンコーダベースの方式では、まず、ウォーターフォール画像の中央部分が除去され、モデルは、周辺領域で提供されるコンテキスト情報を用いて欠落領域を予測するように訓練される。このように、本発明のモデルは、ウォーターフォール画像の構造情報を「強制的に」学習する。

【0035】

試験シーンで建設イベントがある場合は、通常のシナリオの下で学習されたレジームに違反し、モデルは、欠落領域を適切に再構築できず、再構築誤差が発生することに留意されたい。

【0036】

図２（Ａ）および図２（Ｂ）は、本開示の態様による、配備された光ファイバ上に重ねられたセンシング層の例示的なシステムレイアウトと、正常な道路交通および建設工事を含む、ＤＦＯＳによってファイバから受信した概略的なウォーターフォール画像を示す。

【0037】

図に示すように、分散型光ファイバセンシングシステム（ＤＦＯＳ）および異常検出器は、集中制御局内に配置され、ケーブル経路全体の遠隔監視を提供する。動作上、ＤＦＯＳシステムは、フィールド光ファイバに接続され、センシング機能を提供する。ファイバは、ダークファイバであるか、または、１つまたは複数のサービスプロバイダのライブ電気通信トラフィック（すなわち、運用ファイバ）を伝送することができる。

【0038】

図２（Ｂ）は、ＤＦＯＳシステムによって生成された例示的な受信ウォーターフォール画像の概略図を示しており、検出された正常な道路交通および建設作業の両方を示す。正常な道路交通状態では、道路交通パターンと環境ノイズが検出され、ＡＩアルゴリズムで正常なパターンとして訓練される。ケーブルの近くで建設作業が行われると、ウォーターフォールトレースから特徴的なパターンが発見／決定され、コンテキストエンコーダベースの異常検出システムによって決定された異常イベントとして分類される。

【0039】

図３は、本開示の態様によるコンテキストエンコーダの訓練および試験の有効性を示す概略図である。より詳細には、この図は、コンテキストエンコーダの例示的な入力画像および例示的な出力画像を示す。入力画像の中央部分はゼロに設定される。モデル出力は再構成を生成し、この再構成の精度は、常に利用可能なグラウンドトゥルースに対するＬ２損失などの再構成誤差を計算することによって評価される。異常スコアは、各ケーブル点の時間窓内の複数のパッチからの再構成誤差を集計することによって導出される。

【0040】

図４は、本開示の態様による畳み込みオートエンコーダ／デコーダの例示的なモデルアーキテクチャを示す概略図である。この図を参照すると、エンコーダは圧縮ユニットとして動作し、デコーダは解凍ユニットとして動作し、両方とも３つの層を含むことに留意されたい。

【0041】

エンコーダでは、各層は、畳み込み、バッチ正規化、Leaky Relu活性化、および、ダウンサンプリング用のストライドによる畳み込みを含む。デコーダでは、アップスケーリングは、転置畳み込み演算子によって実現される。

【0042】

図５は、本開示の態様によるデータ処理フローおよびシステムチャートを示す概略図であり、以下の要素を含む。

【0043】

入力：

【0044】

Ｉ－１：正常なシナリオでのＤＦＯＳデータ：道路交通や周囲の環境ノイズを含む訓練のための正常な条件下でＤＦＯＳシステムによって収集されたウォーターフォール画像データ。

【0045】

Ｉ－２：ＤＦＯＳリアルタイムストリーム：試験と検出のためのリアルタイムのウォーターフォールストリーム。

【0046】

Ｉ－３：Ｎレベル切り捨て、ダウンサンプリング係数：ウォーターフォールの強度が切り捨てられる分位数、および等間隔量子化後のレベル数（例えば、６４または１２８）、ダウンサイズ係数（４）。

【0047】

Ｉ－４：パッチサイズとホールサイズ：ウォーターフォール画像のサイズ（３２ｘ３２）とトリミングされたホールのサイズ（２４ｘ２４）。

【0048】

Ｉ－５：アラーム閾値レベル：ウォーターフォールを連続的に監視し、複数の時間フレームにわたる累積異常スコアを計算することによって、最終的なアラーム決定が行われる。位置固有の閾値は、Ｏ－３に従って導出される。例えば、橋の近くの領域では再構成誤差が大きくなり、そのため閾値が高くなることが予想される。異常スコアが閾値を越えると、アラームがトリガーされ、地図上に表示される。

【0049】

手順：

【0050】

Ｐ－１：データ前処理：入力を標準化するために、まず、ウォーターフォール画像の強度値は、指定された分位レベル（例えば、０．９５）でクリップされ、Ｎレベルに均等に量子化され、次いで、より小さいサイズにダウンサイズ化される。各入力画像には、２つのコピーがあり、１つは中央部分が切り取られ、もう１つはグラウンドトゥルースとして機能する。

【0051】

Ｐ－２：モデル訓練：データＩ－１を使用して、指定されたモデルのパラメータを学習する。モデルはＯ－２に保存される。一方、正常条件下での再構成誤差の統計はＯ－３に保存される。位置固有の閾値は、ユーザ指定のレベルＩ－５での再構成誤差の分布から導出される。

【0052】

Ｐ－３：推論：保存されたモデルＯ－２がロードされ、「ホール」を有する画像パッチに適用され、再構成誤差を計算するためにグラウンドトゥルースのコピーと比較される。

【0053】

Ｐ－４：閾値：各ケーブル点での異常スコアは、指定された時間窓内のデータＩ－１に対するモデルＯ－２の再構成誤差の合計をとることによって計算される。異常スコアが閾値を超えると、アラームＯ－１がトリガーされる。

【0054】

実地試験から収集されたウォーターフォール画像に適用される、提案されたコンテキストエンコーダのいくつかの実施例が、次の図に例示的に示されている。図７は、本開示の態様による、実地試験中に得られた建設活動の概略的なウォーターフォールプロットおよび異常スコアプロットを示す。図８は、本開示の態様による、第２の実地試験中に得られた建設活動の概略的なウォーターフォールプロットおよび異常スコアプロットを示す。図９は、本開示の態様による、２つの異常イベントの同時検出を示す、第３の実地試験中に得られた建設活動の概略的なウォーターフォールプロットおよび異常スコアプロットを示す。

【0055】

出力：

【0056】

Ｏ－１：アラーム：詳細なアラーム表示は、本開示の態様による、オペレータに報告するためのケーブル経路情報および検出された異常を含む例示的なユーザディスプレイの概略図を示す図１０を参照して示され説明される。異常スコアに基づいて、技術者は、光ファイバケーブルの動作／完全性をチェックする決定を行うことができる。

【0057】

Ｏ－２：モデル：経路毎に特別に訓練されたモデル。

【0058】

Ｏ－３：正常統計:正常なシナリオの下で同じ位置における指定されたモデルの再構成誤差の分布。

【0059】

この時点で、いくつかの具体例を使用して本開示を提示したが、当業者は本教示がそのように限定されないことを認識するのであろう。したがって、本開示は、本明細書に添付される特許請求の範囲によってのみ限定されるべきである。

【図1】

【図2(A)】

【図2(B)】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】