特表2024-504021 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ヒタチ　ヴァンタラ　エルエルシーの特許一覧

特表2024-504021降雨林における違法伐採のためのセンサ融合を伴う動的音響シグネチャシステム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-30

(54)【発明の名称】降雨林における違法伐採のためのセンサ融合を伴う動的音響シグネチャシステム

(51)【国際特許分類】

G06Q 50/02 20240101AFI20240123BHJP

G06N 20/00 20190101ALI20240123BHJP

G10L 17/26 20130101ALI20240123BHJP

G10L 25/18 20130101ALI20240123BHJP

G16Y 10/05 20200101ALI20240123BHJP

【ＦＩ】

G06Q50/02

G06N20/00

G10L17/26

G10L25/18

G16Y10/05

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023539742

(86)(22)【出願日】2020-12-30

(85)【翻訳文提出日】2023-06-27

(86)【国際出願番号】 US2020067556

(87)【国際公開番号】W WO2022146434

(87)【国際公開日】2022-07-07

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＶＩＳＵＡＬＢＡＳＩＣ

３．ＰＹＴＨＯＮ

４．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】520155228

【氏名又は名称】ヒタチヴァンタラエルエルシー

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】ウー，ジアイ

(72)【発明者】

【氏名】ダモ，マウロ，エー．

(72)【発明者】

【氏名】アイン－ウル－アイーシャ，フヌ

(72)【発明者】

【氏名】リン，ウェイ

(72)【発明者】

【氏名】シュマルゾ，ウィリアム

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC01

(57)【要約】

本明細書に記載の実装例は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータから人為擾乱を検出すること、１つ又は複数のセンサに関連する地域に関するチェーンソーイベント（例えば、軽いチェーンソーイベント又は密なチェーンソーイベント）の確率及びチェーンソーイベントの推定リードタイムを決定するために、検出された人為擾乱を処理すること、及びセンサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域の人為擾乱又はチェーンソーイベントへの状態変化の確率を決定することを対象とし得る。

【特許請求の範囲】

【請求項1】

センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けすること、
現在のセンサ段階から別のセンサ段階への前記１つ又は複数のセンサに関連する地域の変化に関する確率及びリードタイムを推定するために、前記識別及びラベル付けされたパターンを処理することであって、精度を改善するように構成される逐次的誤差学習プロセスを含む、処理すること、及び
前記センサのネットワーク内の前記１つ又は複数のセンサに対する隣接センサについて、前記隣接センサに関連する他の地域のセンサ段階の変化の確率を決定すること
を含む方法。

【請求項2】

前記ネットワーク内の前記１つ又は複数のセンサからストリーミングされる前記センサデータの前記特性に基づいて前記パターンを前記識別及びラベル付けすることは、
前記ストリーミングされたセンサデータ内の音響データを時間領域から周波数領域に変換すること、
前記変換された音響信号から周波数領域の特徴を導出すること、
前記周波数領域の特徴に次元縮小を適用すること、
前記次元縮小された周波数領域の特徴をクラスタリングすること、及び
センサ段階を識別するためにフィンガプリント解析を適用すること
を含む、請求項１に記載の方法。

【請求項3】

前記センサ段階を識別するために前記フィンガプリント解析を前記適用することは、
背景雑音から信号フィンガプリントを識別すること、
異常イベントの先行インジケータを識別すること、及び
異常とそのシーケンスとの間のイベントの関連付けを、周波数帯分布及び画像分類を通して解析すること
を含む、請求項２に記載の方法。

【請求項4】

前記センサのネットワーク内の前記１つ又は複数のセンサからストリーミングされる前記センサデータの前記特性に基づいてパターンを前記識別及びラベル付けすることは、前記センサデータを増強するためにデータを合成することを更に含み、前記データを合成することは、
分けられた雑音信号及び標的信号から信号特徴を抽出して、異常信号及び前記雑音信号をレプリケートすること、
前記レプリケートされた異常信号及び前記雑音信号を、重畳を通して組み合わせて合成データを形成すること、及び
前記合成データを検証すること
を含む、請求項１に記載の方法。

【請求項5】

前記センサのネットワーク内の前記１つ又は複数のセンサからストリーミングされる前記センサデータの前記特性に基づいて前記パターンを前記識別及びラベル付けすることは、音声及び画像のメタデータ学習に基づいて、前記センサデータに対して外れ値の除去を実行することを含む、請求項１に記載の方法。

【請求項6】

前記現在の段階から別の段階への前記１つ又は複数のセンサに関連する前記地域の変化に関する前記確率及び前記リードタイムを推定するために、前記識別及びラベル付けされたパターンを前記処理することは、ラベル付きセンサ段階の全ての種類に関する前記確率及び前記リードタイムを出力するように時間的パターンで訓練された確率プロセスを通して行われる、請求項１に記載の方法。

【請求項7】

精度を改善するように構成される前記逐次的誤差学習プロセスは、確率プロセスから継承される誤差を学習し、且つ訓練フェーズ間の擬似ラベルを改善するように構成される自己フィードバックループを含む、請求項１に記載の方法。

【請求項8】

前記センサのネットワーク内の前記１つ又は複数のセンサに対する前記隣接センサについて、前記隣接センサに関連する他の地域の前記センサ段階の変化の前記確率を前記決定することは、前記センサのネットワーク内の前記隣接センサからの地理情報及び時間情報を伴う融合フィンガプリントラベルに基づいて、前記他の地域の前記センサ段階の変化の前記確率及び推定発生時間を決定するように構成されるベイズ学習モデルに基づく、請求項１に記載の方法。

【請求項9】

前記センサのネットワーク内の前記１つ又は複数のセンサに対する前記隣接センサについて、前記隣接センサに関連する前記他の地域の前記センサ段階の変化の前記確率を前記決定することは、前記センサ段階の変化の前記確率を有する、前記センサのネットワークのセンサを含む動的フットプリントを生成することを更に含み、前記動的フットプリントは、前記センサのネットワークのうち、前記状態の変化を受けている前記センサの視覚化を経時的に時間的順序で提供する、請求項１に記載の方法。

【請求項10】

前記現在のセンサ段階及び前記別のセンサ段階のそれぞれは、人為擾乱、密なチェーンソー、軽いチェーンソー又は静かな時間の１つである、請求項１に記載の方法。

【請求項11】

プロセスを実行するための命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けすること、
現在のセンサ段階から別のセンサ段階への前記１つ又は複数のセンサに関連する地域の変化に関する確率及びリードタイムを推定するために、前記識別及びラベル付けされたパターンを処理することであって、精度を改善するように構成される逐次的誤差学習プロセスを含む、処理すること、及び
前記センサのネットワーク内の前記１つ又は複数のセンサに対する隣接センサについて、前記隣接センサに関連する他の地域のセンサ段階の変化の確率を決定すること
を含む、非一時的コンピュータ可読媒体。

【請求項12】

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、モノのインターネット（ＩｏＴ）システムを対象とし、より詳細には、動的な音響シグネチャ認識を促進するＩｏＴシステムを対象とする。

【背景技術】

【0002】

違法伐採は、自然規制に違反する森林の伐採である。違法伐採の環境的な影響は、森林破壊、生物多様性の喪失及び温室効果ガスの排出を含む。

【0003】

降雨林の原生地の規模が膨大であることは、違法な伐採者を位置特定する難易度を高める。データを収集する幾つかの音響センサを用いても、環境雑音及び混合する動物音が降雨林の解析をより困難にする。

【0004】

違法伐採を阻止するために、新たなＩｏＴ技術、高度な機械学習システム及びアルゴリズムが開発及び適用されている。しかし、従来技術の実装には、著しい制約がある。

【0005】

１つの制約は、音響ラベルの不十分さである。従来技術のシステムは、幾つかの理由から導出することが困難である正確なラベル及びセンサデータに依拠する。第１に、手動のラベル付けプロセスは、相対的に正確なラベルを作成可能であるが、かかるプロセスは、著しい人的資源を費やす。第２に、履歴レコードが全てのシナリオをカバーできない場合がある。第３に、不十分なデータがある場合、新たな異常イベントを識別又は阻止することができない。

【0006】

従来技術の別の問題は、阻止予測の欠如である。従来技術の手法は、違法伐採が行われているときにのみ違法伐採を検出する。警備員が伐採場を発見するとき、違法伐採者は、既に去っている。換言すれば、予防措置がない。様々な予測ラベルが時間的関係及び因果関係を欠いている。ラベルとリードタイムとを関連付けるためのメカニズムは、予め決定され／予め計算され、従って新たな情報によって更新することができない。

【0007】

更に、従来技術のモデルの信頼性は、データの完全性及びセンサの動作時間に極めて依存する。欠落データ又はセンサ障害は、常にモデルの性能を低下させるか又はモデルの実行を妨げる。既存のモデルは、耐障害性を欠き、導入後に根本原因又は偽陰性レコードを識別することができない。環境上の制約により、センサベースのデータは、環境雑音を異なって示す場合があり、これは、導入された予め学習されたパターンと干渉する。

【発明の概要】

【課題を解決するための手段】

【0008】

上述の問題に対処するために、本明細書に記載する実装例は、ガーディアンにわたる融合センサによる音響信号又は画像をラベル付けし、違法伐採の先行インジケータを識別し、伐採者のトラバースパターンを予測して、違法伐採をその発生前に阻止するためのメディアシグネチャシステムを対象とする。

【0009】

実装例は、動的フィンガプリントシステムを使用することによってラベルの可用性に対処する。単一チャネルの音響ファイル又は画像から最大限の情報をリアルタイムで抽出することにより、システムは、音響信号のみを用いてラベルを作成する。異常信号及び背景信号を、調節されたパワーレベル及び修正されたハーモニックスと組み合わせる合成データを使用することにより、センサの可用性が解決される。

【0010】

更に、本明細書に記載する実装例は、マルチソースの複雑な及び連続した背景雑音内の信号フィンガプリントを識別する。メディアフィンガプリントは、音響信号又は画像の時間的パターンをその知覚特性に基づいて単一チャネルから識別する。本明細書に記載する実装例は、異常とそのシーケンスとの間のイベントの関連付けを組み込み、それにより特定の異常な音響信号又は画像の先行インジケータを識別する。その結果、実装例は、潜在的な異常信号に対する先行インジケータを使用することにより、アクション可能アラートを生成することができる。

【0011】

最後に、この実装例は、全環境のセンサデータ及び／又は既知の特性を考慮する異常フットプリントを予測する。メディアフットプリントは、全チャネルにわたる環境情報及び地理情報を考慮するトラバースパターンを識別する。メディアフットプリントは、センサ融合手法により、センサにわたる情報を統合して耐障害性モデルを作成して、降雨林環境に対処する。センサ融合とは、結果として生じる情報がデータを単独で使用するよりも優れているように、センサデータ又はセンサデータから導出されるデータを組み合わせ、且つ集約することである。センサ融合は、環境上のコンテキスト情報並びに人間及びセンサの入力を演繹的知識及び現在の状態として使用するため、耐障害性と共に解析アルゴリズムを改善し、解析結果を決定するために特定のセンサ又はセンサ群に依拠しなくてもよい。人間の介入が限られた自己フィードバック、誤差学習システムを構築することにより、この手法は、ラベリングの結果も改善する。

【0012】

従って、実装例は、従来技術の制限に対処することができ、センサ融合を用いて音響シグネチャを動的に予測することができる。

【0013】

本開示の態様は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けすること、１つ又は複数のセンサに関連する地域に関するチェーンソーイベントの確率及びチェーンソーイベントの推定リードタイムを決定するために、識別及びラベル付けされたパターンを処理すること、及びセンサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域の人為擾乱又はチェーンソーイベントへの状態変化の確率を決定することを含み得る方法を含む。

【0014】

【0015】

本開示の態様は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けするための手段と、１つ又は複数のセンサに関連する地域に関するチェーンソーイベントの確率及びチェーンソーイベントの推定リードタイムを決定するために、識別及びラベル付けされたパターンを処理するための手段と、センサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域の人為擾乱又はチェーンソーイベントへの状態変化の確率を決定するための手段とを含み得るシステムを含む。

【0016】

【0017】

本開示の態様は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータから第１のイベントを検出すること、１つ又は複数のセンサに関連する地域に関する第２のイベントの確率及び第２のイベントの推定リードタイムを決定するために、第１のイベントを処理すること、及びセンサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域の第１のイベント又は第２のイベントへの状態変化の確率を決定することを含み得る方法を含むことができる。

【0018】

【0019】

本開示の態様は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータから第１のイベントを検出するための手段と、１つ又は複数のセンサに関連する地域に関する第２のイベントの確率及び第２のイベントの推定リードタイムを決定するために、第１のイベントを処理するための手段と、センサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域の第１のイベント又は第２のイベントへの状態変化の確率を決定するための手段とを含み得るシステムを含むことができる。

【0020】

【0021】

本開示の態様は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けすること、現在のセンサ段階から別のセンサ段階への１つ又は複数のセンサに関連する地域の変化に関する確率及びリードタイムを推定するために、識別及びラベル付けされたパターンを処理することであって、精度を改善するように構成される逐次的誤差学習プロセスを含む、処理すること、及びセンサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域のセンサ段階の変化の確率を決定することを含み得る方法を含むことができる。

【0022】

本開示の態様は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けするための手段と、現在のセンサ段階から別のセンサ段階への１つ又は複数のセンサに関連する地域の変化に関する確率及びリードタイムを推定するために、識別及びラベル付けされたパターンを処理するための手段であって、精度を改善するように構成される逐次的誤差学習プロセスを含む、手段と、センサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域のセンサ段階の変化の確率を決定するための手段とを含み得るシステムを含むことができる。

【0023】

【0024】

【図面の簡単な説明】

【0025】

【図1】図１は、一実装例による、情報融合を実装する全般的なシステムの一例を示す。

【0026】

【図2】図２は、一実装例による、構造化データ及び合成データの一例を示す。

【0027】

【図3】図３は、一実装例による、情報の構造化及び処理の一例を示す。

【0028】

【図4】図４は、一実装例による、リアルタイムの音響信号及び外部イベントを有するデータを合成する一例を示す。

【0029】

【図5】図５は、一実装例による、適格性基準の一例を示す。

【0030】

【図6】図６は、一実装例による、単一チャネルからの情報抽出の一例を示す。

【0031】

【図7】図７は、一実装例による、単一チャネルからの音響信号をクラスタリングする一例を示す。

【0032】

【図8】図８は、一実装例による、動的フィンガプリント解析を示す。

【0033】

【図9】図９は、一実装例による、クラスタ中心の周波数スペクトルを導出する一例を示す。

【0034】

【図10】図１０は、一実装例による、時間的フィンガプリント集約解析のワークフローを示す。

【0035】

【図11】図１１は、一実装例による、ＵＴＣ時間及びＧＭＴ＋７現地時間帯を使用した結果の一例を示す。

【0036】

【図12】図１２は、一実装例による、予測クラスタの一例を示す。

【0037】

【図13】図１３は、一実装例による、ラベル及びリードタイムを確率プロセスに組み込むことの一例を示す。

【0038】

【図14】図１４は、一実装例による、確率プロセスとして離散時間マルコフ連鎖を使用する一例を示す。

【0039】

【図15】図１５は、一実装例による、逐次的誤差学習の一例を示す。

【0040】

【図16】図１６は、一実装例による、センサ融合コンストラクト及びフットプリントトラバースの一例を示す。

【0041】

【図17】図１７は、一実装例による、違法伐採のフィンガプリントのマッピングの一例を示す。

【0042】

【図18】図１８は、一実装例による、違法伐採のフットプリントのトラバースの一例を示す。

【0043】

【図19】図１９は、一実装例による、接続されたセンサ及び管理機器を有する複数のシステムを含むシステムを示す。

【0044】

【図20】図２０は、一部の実装例で使用するのに適したコンピュータ装置の一例を有する計算環境の一例を示す。

【発明を実施するための形態】

【0045】

以下の詳細な説明は、図面の詳細及び本願の実装例を示す。図面間の冗長な要素の参照番号及び説明は、明瞭にするために省略される。説明の全体を通して使用される用語は、例として示され、限定的であることを意図しない。例えば、「自動」という用語の使用は、本願の実装形態を実践する当業者の所望の実装形態に応じて、完全に自動の実装形態又は実装形態の一定の側面に対するユーザ若しくは管理者の制御を含む半自動の実装形態を含み得る。選択は、ユーザインタフェース若しくは他の入力手段により、ユーザによって行われ得るか、又は所望のアルゴリズムによって実装され得る。本明細書に記載する実装例は、単独で又は組み合わせで利用することができ、実装例の機能は、所望の実装形態に応じて任意の手段によって実装され得る。

【0046】

図１は、一実装例による、情報融合を実装する全般的なシステムの一例を示す。このシステムは、以下の側面を含み得る。

【0047】

構造化データ及び合成データ１００は、情報を統合し、適格性を評価し、フィルタリングされたデータを中央データベース内に記憶するコンポーネントである。このコンポーネントの更なる詳細は、図２～図５に関して記載する。単一チャネルからの抽出２００は、単一チャネルからの音響信号をクラスタリングするコンポーネントである。このコンポーネントの更なる詳細は、図６～図７に関して与えられる。動的フィンガプリント解析３００は、音響信号又は画像の時間的パターンを識別し、擬似ラベルを作成するコンポーネントである。このコンポーネントの更なる詳細は、図８～図１２に関して記載する。ラベル及びリードタイムの確率プロセスへの組み込み４００は、ラベル／リードタイムを洗練させ、パターンを学習するための確率プロセスを構築するコンポーネントである。このコンポーネントの更なる詳細は、図１３～図１４に関して記載する。逐次的誤差学習５００は、人間によってレビューされるサンプルと共に自己フィードバックループを作成することにより、ラベリング結果を向上させるコンポーネントである。このコンポーネントの更なる詳細は、図１５に関して記載する。センサ融合コンストラクト及びフットプリントトラバース６００は、全環境のセンサデータ及び／又は既知の特性を考慮することにより、異常フットプリントを予測するコンポーネントである。このコンポーネントの更なる詳細は、図１６～図１８に関して与えられる。

【0048】

把握（情報の合成及び解釈）、知覚（情報の識別及び検出）、投射（情報の予測及びシミュレート）及び解決（情報に基づく決定及び計画の作成）を含む、情報融合の４つの機能を図１に示す。

【0049】

図２は、一実装例による、構造化データ及び合成データ１００の一例を示す。第１の段階は、情報の統合１０６、適格性の評価１０７及びフィルタリングされたデータを中央データベース内に記憶することである。ワークフローを図２に示す。リアルタイム音響信号１０１、主題専門家（ＳＭＥ）記述１０２、外部イベント１０３及び合成データ１０５を含む４つの潜在的なデータソースがある。

【0050】

図３にあるように、様々な入力から情報を構造化及び処理する。

【0051】

従来技術とは対照的に、このコンポーネントは、訓練データセットを強化するために合成データを利用すること、及び複合技法に基づいて音響ファイル又は画像の質を評価することを含む幾つかの新規の側面を促進する。

【0052】

リアルタイム画像又は音響ファイル１０１は、限定されないが、音響ファイル１１０、衛星画像１１１、カメラ画像１１２及びカメラビデオ１１３を含む。地理及び時間メタデータ１１４は、全てのデータソースから抽出され、統合される。音響信号は、降雨林内に配置される装置を使用して収集され、ネットワークを介して計算クラウドに転送される。音響信号は、降雨林内の動物、種、人間等からの音声を記録し、それらの音声は、数ヘルツ（Ｈｚ）～数千Ｈｚの周波数のスペクトルを含む。この情報を統合するために、音響ファイル１１０を指定の形式及び周波数でスライスし、保存する必要がある。加えて、所望の実装形態にもよるが、衛星画像１１１、カメラ画像１１２及びカメラビデオ１１３は、音響ファイル１１０に対する代替形態又は付随物である。カメラビデオ１１３は、より多くのデータ次元を与える音声情報及びビデオ情報の両方を含む。代替的なデータ入力を使用することは、人物及びフィンガプリントの検出をより直接的に促進し得る。

【0053】

ＳＭＥ記述１０２は、降雨林のガーディアン内の警備員からの応答である。検出モデルが違法伐採に関するアラートを送出すると、警備員が出向いて違法伐採活動を検証することができる。現地での警備員の検証後、警備員は、自らの所見を記述し、証拠と共に応答することができる。この情報を統合するために自然言語処理（ＮＬＰ）１２０が適用され、対応するタイムスタンプを有する異常ラベル１２１を作成する。

【0054】

外部イベント１０３は、公開データセット又は特定の音響データベース内のラベル付き音響ファイルである。ラベルは、例えば、「チェーンソー」、「吠えている犬」及び「車両」を含み得る。合成データ内で使用法が説明される。

【0055】

実装例では、合成データ１０５が生成される。合成データ１０５を使用する目的は、訓練データセットを強化するためであり、とりわけ訓練データセットが標的イベントの例を欠く場合又はデータが歪曲されている場合、合成データ１０５を使用してデータを平衡させることができる。合成データは、リアルタイムの音響信号及び外部イベントを用いて１０４で構築される。

【0056】

図４は、一実装例による、リアルタイムの音響信号及び外部イベント１０３を有するデータを合成する一例を示す。最初に、音響の例のそれぞれが別々に見られる。第１の例の種類は、背景雑音としての役割を果たす雑音信号１４１を含む。第２の例の種類は、リアルタイムの異常ファイルからの標的イベント１４０に関するものであり、信号の詳細を抽出する。次いで、このプロセスは、信号パワーレベル１４５、周波数１４６及びハーモニックス１４８を修正することにより、所望の環境内の異常信号の存在をレプリケートするために抽出情報を使用する。次いで、このプロセスは、リアルタイム音響信号を模倣できることを確実にするために、背景雑音１４２に関する信号パワーレベルを修正する。次いで、このプロセスは、異常信号１５０と雑音信号とを重畳１５１によって組み合わせ、敵対的生成ネットワーク（ＧＡＮ）１５２を使用して、合成データをリアルタイムデータと区別できないことを１５３で検証する。確認されると、合成データ１０５を保つことができる。

【0057】

図５は、一実装例による適格性基準１０７の一例を示す。集中データの構築後、音声及び画像を評価し、フィルタリングする必要がある。将来の段階のためのより高い精度を実現するために、評価プロセスが必要である。図５は、適格なコンポーネントを選択するための複合手法を示す。音響ファイルについて、音声サイジング１７０及びサンプリングレート１７１を評価する一方、画像及びビデオでは、画像サイジング１７２、画像解像度１７３及び画像の赤緑青（ＲＧＢ）及びグレースケール１７４を検出する。音声及び画像の検出に基づき、１７５で外れ値を適宜除去する。

【0058】

図６は、一実装例による、単一チャネルからの情報抽出の一例を示す。第２の段階は、単一チャネルからの音響信号をクラスタリングすることである。この段階のワークフローを図６に示す。図７は、一実装例による、単一チャネルからの音響信号をクラスタリングする一例を示す。

【0059】

まず、２０１では、音響データを時間領域から周波数領域に変換する。周波数領域は、数学関数又は信号が、時間ではなく、周波数に関して伝えられる解析空間を指す。例えば、時間領域グラフは、経時変化を表示し得るのに対して、周波数領域グラフは、信号のどの程度が所与の各周波数帯内にあるかを表示する。

【0060】

図７では、高速フーリエ変換（ＦＴＴ）を操作するが、実装例に従って使用可能なメル周波数ケプストラム係数（ＭＦＣＣ）、短時間フーリエ変換（ＳＴＦＴ）等の代替策がある。ＦＦＴの結果からの帯域幅を使用する代わりに、周波数領域の結果に由来する振幅の結果を平滑化するためにカーネル密度推定（ＫＤＥ）が適用される。

【0061】

周波数領域の特徴を導出した後、高次元空間から低次元空間にデータを変換するために次元縮小２０２を適用することができる。降雨林における音響ファイルは、通常、数Ｈｚ（低周波数、例えばチェーンソー、人間の会話）～数千Ｈｚ（高周波数、例えば鳥のさえずり、昆虫の顫音）の広範囲の音声周波数を含む。低次元表現は、理想的には、その固有の次元に近い、元のデータの幾らかの有意味な特性を保持する。

【0062】

図７では、主成分解析（ＰＣＡ）が実行され、元のデータをより少ない次元に投射する。所望の実装形態に応じて、非負行列因子分解（ＮＭＦ）、線形判別解析（ＬＤＡ）等の他の代替策も使用することができる。

【0063】

クラスタリングのための特徴が定められると、クラスタ番号を作成するためにハイパーパラメータ調整２０３並びにクラスタリング技法２０４を実行する。クラスタリングは、同じグループ内のデータポイントが、他のグループ内のデータポイントよりも同じグループ内の他のデータポイントとより同様であるように、母集団又はデータポイントを幾つかのグループに分けるタスクである。換言すれば、目的は、同様の特色を有するグループを分離し、それらをクラスタ内に割り当てることである。周波数帯の振幅としての入力では、クラスタリングは、同様の周波数スペクトル及び分布を見つけるために振幅をグループ化することである。

【0064】

図７では、混合ガウスモデル（ＧＭＭ）が使用されている。ＧＭＭは、全てのデータポイントが、未知のパラメータを有する有限数のガウス分布の混合から生成されると想定する確率モデルである。各ガウス分布がクラスタを表した状態で、クラスタリングプロセスは、各分布に属するデータの確率を識別することである。従って、ＧＭＭは、ソフトクラスタリングを提供する一方、Ｋ平均、階層及び密度ベースの空間クラスタリング等の他のハードクラスタリング手法も所望の実装形態に応じて適用することができる。

【0065】

この段階の結果は、データポイントごとの１つのクラスタ番号である。

【0066】

図８は、一実装例による動的フィンガプリント解析３００を示す。第３の段階は、音響信号又は画像の時間的パターンを単一チャネルからのその知覚特性に基づいて識別することである。換言すれば、クラスタ番号を知ることは、音響信号にラベル付けするには不十分である。単一チャネルからのフィンガプリント解析は、周波数、時間的及び関連付けの側面の検討を必要とする。

【0067】

図８は、この段階のワークフローを示す。この段階では、音響信号のための擬似ラベル３０４を作成するために、周波数帯解析３０１、時間的フィンガプリント集約解析３０２及びイベント関連付け解析３０３が包括的に検討される。

【0068】

従来技術の実装形態と比較して、この段階は、幾つかの新規の側面を含む。例えば、この段階は、マルチソースの、複雑な且つ連続的な背景雑音内で信号フィンガプリントを識別し、異常イベントのための先行インジケータを更に識別する。更に、この段階は、異常とそのシーケンスとの間のイベントの関連付けを、周波数帯分布及び画像分類を通して解析する。

【0069】

周波数帯解析３０１は、基礎となる音声周波数を有するクラスタ中心の周波数スペクトルを解析するために使用される。周波数帯は、低周波数及び高周波数によって区切られる周波数領域内の間隔である。

【0070】

前の段階からの入力により、情報抽出と比較して逆のステップを使用して、クラスタ中心の周波数スペクトルを導出することができる。特徴の形式としてのクラスタ中心は、次元縮小モデルによって元に戻され、元の周波数領域に再構築することができる。

【0071】

図９は、一実装例による、クラスタ中心の周波数スペクトルを導出する一例を示す。周波数領域に元通り変換されている４つのクラスタ中心がある。Ｘ軸は、０Ｈｚ～６，０００Ｈｚの周波数である。Ｙ軸は、周波数スペクトルを分布として検討した確率密度である。低周波音（人間の会話及びチェーンソーの音）及び高周波音（鳥のさえずり及び昆虫の顫音）を認識し、音声の構成に関してラベルを定めることができる。

【0072】

図１０は、一実装例による、時間的フィンガプリント集約解析３０２のワークフローを示す。時間的フィンガプリント集約解析がこの段階で利用される。時間的パターンを識別するために、３２０でクラスタがタイムスタンプと結び付けられ、ハイパーパラメータ調整３２１を使用して最適化される様々な閾値によって３２２で集約される。

【0073】

これを実践でどのように使用するかを説明するために、図１１は、一実装例による、ＵＴＣ時間及びＧＭＴ＋７現地時間帯を使用した結果の一例を示す。Ｘ軸は、時間を表すのに対して、Ｙ軸は、クラスタのカウントを表す。夜間は、クラスタ中心４が多数を占める一方、クラスタ中心１は、交互のクラスタ中心２及び３前又はその後に日中に現れるという時間的パターンを推論することができる。

【0074】

この段階の別の実装例は、イベント関連付け解析である。この新規のステップは、イベント前からイベント、イベント後までのイベントシーケンスを考慮するだけでなく、周波数及び時間情報を用いてイベントの属性及びクラスを識別する。

【0075】

降雨林での使用事例では、違法伐採のライフサイクルは、元の生態系、人為擾乱、違法伐採及び擾乱生態系として記載することができる。

【0076】

入力としてのＳＭＥ記述により、異常イベントを各クラスタに関連付けることができる。異常イベントと予測クラスタとの間の重複は、前のクラスタと、続くクラスタとの間の関係を理解することを促進する。

【0077】

図１２は、一実装例による予測クラスタの一例を示す。予測クラスタが円形、正方形、ひし形及び三角形を含む様々な形状で印付けされている。図３の１２１の異常ラベルを検討し、信号期間内のＳＭＥ記述から抽出される任意の異常がある場合に形状が黒色で埋められる。この例では、黒色点は、クラスタ１（三角形）及びクラスタ４（ひし形）には殆どなく、クラスタ３（円形）には軽くあり、クラスタ２（正方形）には密にある。従って、クラスタ２は、ＳＭＥによって確認される最も多くのチェーンソー音を有する音声を表す一方、クラスタ３は、ＳＭＥによって確認されるより少ないチェーンソー音を有する音声を表す。

【0078】

更に、周波数帯解析及び時間的フィンガプリント集約解析から得られる情報を組み合わせ、クラスタごとの対応するラベルと共に以下の関係を導出することができる。
・クラスタ１：人為擾乱のクラスタ
・クラスタ２：密なチェーンソーのクラスタ
・クラスタ３：軽いチェーンソーのクラスタ
・クラスタ４：静かな時間のクラスタ

【0079】

その結果、この新規の段階後に擬似ラベルが生成される。各クラスタの定義を以下に示す：
・人為擾乱のクラスタは、伐採活動前及びその後に生じる人間の活動を伴う音声を識別する。このクラスタは、伐採の候補を探すために降雨林を探索すること又は降雨林から丸太を運び出すこと等の人間の活動を含む。このクラスタは、人間の会話、オートバイ、自動車、吠えている犬等の音声で構成され得る。人為擾乱により、かかる音声内の動物の音は、静かな時間のクラスタと比較して稀である。
・密なチェーンソーのクラスタは、激しいチェーンソー音を有する音声を識別する。このクラスタは、音声内の殆どの長さを占める明瞭で大きいチェーンソー音と共に伐採活動中に生じる。このクラスタは、動物の音が完全に遮られながらチェーンソー音が音声で他を圧倒するときの実際の伐採時間を表す。このクラスタは、通常、伐採者が降雨林の明瞭な視覚を有する日中に生じる。
・軽いチェーンソーのクラスタは、より少ないチェーンソー音を有する音声を識別する。このクラスタは、伐採活動中に生じるが、チェーンソー音が部分的な音声長のみを占める。伐採活動中、伐採者は、休憩するか又は自らの工具を変更する場合がある。より少ないチェーンソー音が検出される理由は、そのような中断で説明される。軽いチェーンソーのラベルは、通常、伐採者が降雨林の明瞭な視覚を有する日中にクラスタリングされる。
・静かな時間のクラスタは、動物の音、昆虫の音、雨／風の音等を含む、降雨林内の自然音を有する音声を識別する。このクラスタは、人間の介入なしの純粋な環境音を表す。このクラスタは、日中又は夜間に生じ得る。

【0080】

図１３は、一実装例による、ラベル及びリードタイムの確率プロセスへの組み込み４００の一例を示す。第４の段階は、ラベル／リードタイムを洗練させ、パターンを学習するための確率プロセスを構築するためのものである。リードタイムは、あるラベルから次のラベルまで経過する時間の量として定義される。ラベルの時間的特性により、リードタイムは、異なるラベル又は同じラベルとの間で計算することができる。

【0081】

図１３は、この段階のワークフローの一例を示す。入力としての擬似ラベルにより、４０１でラベルを洗練させることができ、４０４でリードタイムを計算することができる。２つのニューラルネットワークモデルを生成することができ（例えば、ニューラルネットワークラベリング４０３及び逐次的ディープラーニング４０６）、ハイパーパラメータ調整４０２及び４０５によって精度を改善することができる。パターンを学習し、予測結果を得た後、予測されたラベル及びリードタイムを４０７で組み合わせて確率プロセスを作成することができ、このプロセスは、ラベル又はリードタイム４０８を適宜出力するように構成され得る。

【0082】

従来技術と比較して、この段階は、ラベル及びリードタイムの両方を組み込むための多重出力プロセスを構築し、ニューラルネットワークモデルによってモデルのロバスト性及びレジリエンスを改善するために新規である。

【0083】

マルコフ連鎖は、一定の確率規則に従ってある状態から別の状態への遷移を経験する確率モデルである。図１４は、一実装例による、確率プロセスとして離散時間マルコフ連鎖を使用する一例を示す。離散時間マルコフ連鎖では、連鎖が１単位時間後に現在の状態から次の状態にジャンプする。

【0084】

降雨林の使用事例では、３つのクラスタ（Ａ／Ｂ／Ｃ）があると仮定し、Ａは、静かなクラスタであり、Ｂは、人為擾乱のクラスタであり、Ｃは、チェーンソーのクラスタである。

【0085】

単一の資産について、クラスタの変化の可能性を履歴から確率的に計算する。例えば、３つの定義されたクラスタにより、ｔ１からｔ２への可能性は、以下の９個の組み合わせを有する：
・ＰＡＡ：自己遷移及びクラスタＡとしてとどまる可能性。
・ＰＡＢ：クラスタＡからクラスタＢに状態が変化する可能性。
・ＰＡＣ：クラスタＡからクラスタＣに状態が変化する可能性。
・ＰＢＢ：自己遷移及びクラスタＢとしてとどまる可能性。
・ＰＢＡ：クラスタＢからクラスタＡに状態が変化する可能性。
・ＰＢＣ：クラスタＢからクラスタＣに状態が変化する可能性。
・ＰＣＣ：自己遷移及びクラスタＣとしてとどまる可能性。
・ＰＣＡ：クラスタＣからクラスタＡに状態が変化する可能性。
・ＰＣＢ：クラスタＣからクラスタＢに状態が変化する可能性。

【0086】

単一の資産について、クラスタの変化のリードタイムを履歴から確率的に計算する。確率をリードタイムで置換しながら、図１４の同じフレームワークを再び使用することができる。例えば、クラスタＡ、クラスタＡ、クラスタＢとしての対応する状態を有するｔ１、ｔ２、ｔ３のレコードがある場合、リードタイムを計算し、ＬＡＡ（即ちクラスタＡからクラスタＡへのリードタイム）及びＬＡＢ（即ちクラスタＡからクラスタＢへのリードタイム）に与えることができる。

【0087】

従って、連続時間マルコフ連鎖は、２つのコンポーネントを有する。第１に、遷移の確率Ｐｉｊを与える離散時間マルコフ連鎖があるべきである。第２に、各状態で費やされる時間の量を制御する保留時間パラメータＬｉｊが状態ごとにある。

【0088】

遷移の確率Ｐｉｊ及び保留時間パラメータＬｉｊを用いて確率プロセスを作成し、予測ラベル及びリードタイムを生成することができる。

【0089】

図１５は、一実装例による逐次的誤差学習５００の一例を示す。第５の段階は、人間によってレビューされるサンプルと共に自己フィードバックループを作成することにより、ラベリング結果を向上させることである。この段階のワークフローを図１５に示す。本明細書に記載するように、精度を改善するように構成される逐次的誤差学習プロセスは、確率プロセスから継承される誤差を学習し、且つ訓練フェーズ間の擬似ラベルを改善するように構成される自己フィードバックループを含み得る。

【0090】

５０１では、ラベルのパーセンテージに基づいて層化サンプルを得る。５０２及び５０３では、（例えば、人間又は他の外部エージェントによって）サンプルをレビューし、予測ラベルを検証する。５０４では、誤差率が閾値を下回る場合（はい）、次の段階に続き、そうではなく誤差率が閾値以上である場合（いいえ）、５０５において、誤差を学習するようにマルチクラス分類モデルを訓練する。分類モデルが誤差について学習すると、５０６における現段階の予測ラベルで段階３における擬似ラベルを置き換える。閾値は、所望の実装形態に応じて任意のレベルに設定することができる。

【0091】

誤差を学習するための自己フィードバックループにより、この段階は、人間のレビューがラベルの結果をリリースするまでラベルの結果を一貫して改善する。従って、この段階は、人間の介入により、確率プロセスから継承される誤差を捕捉し、誤差を逐次的に訂正及び学習することができる。加えて、訓練フェーズ中、この段階は、擬似ラベル及びモデルの精度を徐々に改善することができる。

【0092】

従来技術と比較して、この段階は、人間によってレビューされるサンプルと共に自己フィードバック誤差学習システムを構築することでラベリング結果を改善するために新規である。その結果、この段階は、逐次的誤差学習システムをもたらす。誤差率が満足できるものである場合、この段階は、次の段階にラベルをリリースする。

【0093】

図１６は、一実装例による、センサ融合コンストラクト及びフットプリントトラバース６００の一例を示す。第６の段階は、全環境のセンサデータ及び／又は既知の特性を考慮する異常フットプリントを予測することである。

【0094】

センサ融合６０１は、結果として生じる情報がデータを単独で使用するよりも優れているように、センサデータ又はセンサデータから導出されるデータを組み合わせ、且つ集約することである。センサ融合６０１は、故障センサのセンサコホート又は前の時間的情報を伴う故障センサ情報を転嫁するためのシステムレベルの状態を提供する。

【0095】

センサ融合６０１は、環境のコンテキスト情報並びに人間及びセンサの入力を演繹的知識及び現在の状態として使用するため、耐障害性と共に解析アルゴリズムを改善し、解析結果を決定するために特定のセンサ又はセンサ群に依拠しなくてもよい。更に、センサ融合６０１は、相互参照センサ情報及びセンサコホートからの情報を伴う故障センサの入力を除去することで安定化された機械学習アルゴリズムにより、より優れた義務を提供する。

【0096】

図１６は、第６の段階のワークフローの一例を示す。ラベル、リードタイム及び対応するメタデータが全ての単一チャネルから統合される。メタデータは、地理情報及び時間情報を含む。異なる時点において、全環境について前の段階からのチャネル位置及び予測ラベルを用いてマップが作成される。複数の期間にわたって他の位置から得られた情報を用いて、ベイズ学習６０３からベイズモデルが構築される。センサにわたるラベルにより、新たなラベル及びリードタイムで以前のものが更新される。異常イベントのフットプリントが６０４でトレースされる。新たに出現した異常のパスを使用して根本原因を識別する。

【0097】

従来技術と比較して、この段階は、センサ融合手法によってセンサにわたる情報を統合して耐障害性モデルを作成して、降雨林環境に対処し、全環境のセンサデータ又は既知の特性を考慮することによって異常フットプリントを予測できるために新規である。

【0098】

降雨林では、この段階は、違法伐採のライフサイクルのフットプリントトラバースを構築するために、ある期間にわたって全てのガーディアンからのラベルを組み合わせることである。図１７～図１８は、一実装例による違法伐採のフィンガプリントのマッピング及びフットプリントのトラバースを示す。

【0099】

ラベルデータ及びメタデータを融合するために、予測ラベルとメタデータとの間の結び付きを構築する必要がある。

【0100】

以下を仮定する：
・Ｇｉは、ガーディアンｉに関する地理位置を表し、ｉ＝１，２，．．．，ｎであり、
・Ｔｊは、タイムスタンプｙを表し、ｊ＝１，２，．．．，ｍであり、
・Ｌｉｊは、時間ＴｊにおけるガーディアンのＧｉにおける予測ラベル又はリードタイムを表し、ｉ＝１，２，．．．，ｎ及びｊ＝１，２，．．．，ｍである。

【0101】

以下の結び付きを作成する必要がある。
Ｇ１－Ｔ１－Ｌ１１
Ｇ１－Ｔ２－Ｌ１２
．．．
Ｇ１－Ｔｍ－Ｌ１ｍ

Ｇ２－Ｔ１－Ｌ２１
Ｇ２－Ｔ２－Ｌ２２
．．．
Ｇ２－Ｔｍ－Ｌ２ｍ
．．．
Ｇｎ－Ｔ１－Ｌｎ１
Ｇｎ－Ｔ２－Ｌｎ２
．．．
Ｇｎ－Ｔｍ－Ｌｎｍ

【0102】

結び付きが構築されると、６０２で静的フィンガプリントを作成することができる。図１７の例のように、ガーディアンにわたる４つのタイムスタンプがある。凡例は、以下の通り、図１６と同じである。
・黒丸：静かな段階
・破線の円：人為擾乱の段階
・実線の円：チェーンソーによる擾乱の段階

【0103】

時間が進むにつれて予測ラベルも変化する。Ｔ１において、Ｇ１及びＧ２のラベルが静かな段階から人為擾乱の段階に変わり、これは、幾らかの伐採者が森林に入ったことを意味し得る。Ｔ２において、伐採者が森林内を移動し、Ｇ２及びＧ３は、人為擾乱の段階にあるのに対して、Ｇ１は、静かな段階に戻る。Ｔ３において、伐採者が更に進み、ガーディアンＧ４において木の伐採を開始する。Ｔ４において、伐採地域が拡大し、Ｇ５も擾乱される。

【0104】

地理情報を融合することによって音響フィンガプリントを構築することができる。このシグネチャシステムの１つの結果として、音響フィンガプリントは、音響信号の時間的パターンを単一チャネルからのその知覚特性に基づいて識別する。

【0105】

他方で、独立したフィンガプリントは、２つの制約により違法伐採活動のフットプリントを予測する際に不十分である。第１に、全環境からの逐次情報を知ることなしに、複数の期間にわたるガーディアンの状態を結び付けることが不可能である。第２に、一部のセンサを利用できない場合、そのガーディアンの予測も実現不能になる。

【0106】

これらの問題を解決するために、フットプリントを予測するためにベイジアンネットワーク６０３が行われる。ベイジアンネットワークは、変数の組及びその条件付き依存関係を有向非巡回グラフ（ＤＡＧ）によって表す確率論的なグラフィカルモデルである。ベイジアンネットワークは、発生したイベントを取り、幾つかのあり得る既知の原因が寄与要因であった可能性を予測するのに理想的である。ベイジアンネットワークの手法は、限定されないが、動的ベイジアンネットワーク（ＤＢＮ）及び隠れマルコフモデル（ＨＭＭ）を含む。

【0107】

従って、あるガーディアンの状態を入手できない場合、直接のガーディアンの状態を補うために間接的なガーディアンの状態を使用することができる。同じ量を測定する複数のセンサを使用することは、ロバスト性及び耐障害性を高めることができる。加えて、逐次的なガーディアンの状態に基づき、違法伐採者のトラバースパターンを識別することができる。

【0108】

図１８の例では、フットプリントが作成されており、複数の期間にわたってＧ１からＧ５までのラベルを融合することにより、Ｇ５ラベルの確率が予測され得る。

【0109】

動的フットプリント６０４のトラバースは、このシステムの極めて重要な出力である。トラバースパターンは、ガーディアンにわたる融合データによってその地理的及び時間的メタデータを考慮して学習される。モデルを構築するとき、演繹的知識として複数のレーダー、ライダ及びカメラからの入力を考慮し、トラバースフットプリントは、あり得る最も包括的な、従って正確な環境モデルを提供する。この出力は、調査を強化するために不法侵入者の動作パターンの完全な識別として使用することができる。

【0110】

このシステムの別の出力は、アラート通知システムである。フットプリントトラバースを予測した状態で、特定のガーディアンについて識別される人為擾乱の長さに対する閾値を設定することにより、高信頼のアラートシステムを作成することができる。例えば、Ｇ１及びＧ２が著しい量の人為擾乱に遭遇している場合、警備員は、違法伐採者を阻止するためにＧ４及びＧ５に注意を向けることができる。このシステムは、人為擾乱の長さ又は人為擾乱の段階として識別されるラベルの数を調節することにより、アラート疲れを回避することもできる。

【0111】

この動的フットプリントトラバースは、降雨林の立地におけるガーディアンにわたる警備員の資源を最適化するためにも有用であり得る。違法伐採の予測された可能性に従い、ガーディアンのために脆弱尺度を作成することができる。脆弱尺度が高いガーディアン内では、その地域をより十分に監視するために、警備員は、より多くの資源を割り当てるか、又はより多くのガーディアンを導入することができる。

【0112】

本明細書に記載の実装例により、動的音響シグネチャシステムは、データを融合して違法伐採活動のフィンガプリント及びフットプリントを予測する。動的音響シグネチャシステムは、確率プロセス、自己フィードバック誤差学習及びセンサ融合プロセスを使用して高信頼の及びロバストな予測をもたらす。このシステムは、限られた人間の介入によって音響信号にラベル付けし、人為擾乱の段階を識別することによって違法伐採を阻止することができる。

【0113】

実装例は、伐採者のフットプリントを推定し、違法伐採を阻止することを望む公共施設又は森林警備員に適用することができる。加えて、伐採を阻止することは、火災を阻止することに及び得る。解析対象として「チェーンソー」を「火災」で置換することにより、火災のフットプリントも学習及び予測することができる。更に、本発明におけるこの対象は、違法伐採者から旅行者に拡張することができる。道に迷った旅行者を位置特定して救出することは、大災害中に著しい影響を与える。

【0114】

加えて、機械及び製品のイベントもシグネチャ（フィンガプリント及びフットプリント）を有するため、本明細書に記載の実装例は、幾らかの軽微な修正を伴って工業生産に適用することができる。例えば、この手法を用いて、障害を事前に阻止し、根本原因の障害理由を阻止するために、「生産工学における障害フットプリント」を識別することができる。仮定は、機械又は製品のパターンが正常から異常に変化するには時間がかかるはずであり、このプロセスをシステムによって学習できることである。

【0115】

実装例は、連鎖的な障害を突き止めるために使用することができる。送電網の例では、変圧器の障害が負荷を引き継がなければならない一連の別の変圧器に影響を及ぼし、その変圧器からの電力に依拠する人にも影響を及ぼす場合がある。

【0116】

図１９は、一実装例による、接続されたセンサ及び管理機器を有する複数のシステムを含むシステムを示す。１つ又は複数のセンサシステム１９０１－１、１９０１－２、１９０１－３及び１９０１－４は、モノのインターネット（ＩｏＴ）ゲートウェイ又は他の管理システムのための機能を促進する管理機器１９０２に接続されるネットワーク１９００に通信可能に結合される。管理機器１９０２は、システム１９０１－１、１９０１－２、１９０１－３及び１９０１－４から受信されるラベル付きデータ及びラベルなしデータを含み得る、センサシステム１９０１－１、１９０１－２、１９０１－３及び１９０１－４から収集される履歴データを含むデータベース１９０３を管理する。代替的な実装例では、センサシステム１９０１－１、１９０１－２、１９０１－３、１９０１－４からのデータは、企業資源計画システム等のデータを取り込む独自データベース等の中央リポジトリ又は中央データベースに記憶することができ、管理機器１９０２は、中央リポジトリ又は中央データベースからのデータにアクセスすることができるか、又はかかるデータを取得することができる。かかるシステムは、所望の実装形態に応じて、森林から機器１９０２、製造システムに付加されたセンサ等への通信を促進するために伝送装置に接続される遠隔センサを含み得る。

【0117】

図２０は、図１９に示す管理機器１９０２等、一部の実装例で使用するのに適したコンピュータ装置の一例を有する計算環境の一例を示す。

【0118】

計算環境２０００内のコンピュータ装置２００５は、１つ又は複数の処理ユニット、コア又はプロセッサ２０１０、メモリ２０１５（例えば、ＲＡＭ、ＲＯＭ等）、内部記憶域２０２０（例えば、磁気、光学、ソリッドステート記憶域及び／又は有機）及び／又はＩ／Ｏインタフェース２０２５を含み得、その何れも、情報を伝達するために通信メカニズム若しくはバス２０３０上で結合され得るか、又はコンピュータ装置２００５内に埋め込まれ得る。Ｉ／Ｏインタフェース２０２５は、所望の実装形態に応じて、カメラから画像を受信するか、又はプロジェクタ若しくはディスプレイに画像を提供するようにも構成される。

【0119】

コンピュータ装置２００５は、入力／ユーザインタフェース２０３５及び出力装置／インタフェース２０４０に通信可能に結合され得る。入力／ユーザインタフェース２０３５及び出力装置／インタフェース２０４０の何れか一方又は両方は、有線インタフェース又は無線インタフェースであり得、取り外し可能であり得る。入力／ユーザインタフェース２０３５は、入力を行うために使用可能な任意の物理的な又は仮想的な装置、コンポーネント、センサ又はインタフェースを含み得る（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイクロホン、カメラ、ブライユ点字、運動センサ、光学読取り装置等）。出力装置／インタフェース２０４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、ブライユ点字等を含み得る。一部の実装例では、入力／ユーザインタフェース２０３５及び出力装置／インタフェース２０４０は、コンピュータ装置２００５に埋め込まれ得るか、又はコンピュータ装置２００５に物理的に結合され得る。他の実装例では、他のコンピュータ装置がコンピュータ装置２００５のための入力／ユーザインタフェース２０３５及び出力装置／インタフェース２０４０として機能し得るか、又はそれらの機能を提供し得る。

【0120】

コンピュータ装置２００５の例は、限定されないが、高移動性の装置（例えば、スマートフォン、車両及び他の機械内の装置、人間及び動物が運ぶ装置等）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯型テレビ、ラジオ等）及び移動性に関して設計されていない装置（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つ又は複数のプロセッサが埋め込まれた及び／又は結合されたテレビ、ラジオ等）を含み得る。

【0121】

コンピュータ装置２００５は、同じ構成又は異なる構成の１つ又は複数のコンピュータ装置を含む任意の数のネットワーク化されたコンポーネント、装置及びシステムと通信するために、外部記憶域２０４５及びネットワーク２０５０に（例えば、Ｉ／Ｏインタフェース２０２５を介して）通信可能に結合され得る。コンピュータ装置２００５又は接続された任意のコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン又は別のラベルとして機能し得るか、そのサービスを提供し得るか又はそのように言及され得る。

【0122】

Ｉ／Ｏインタフェース２０２５は、限定されないが、計算環境２０００内の少なくとも全ての接続されたコンポーネント、装置及びネットワークとの間で情報をやり取りするために任意の通信プロトコル若しくは規格又はＩ／Ｏプロトコル若しくは規格（例えば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラネットワークプロトコル等）を使用する有線及び／又は無線インタフェースを含み得る。ネットワーク２０５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話網、セルラネットワーク、衛星ネットワーク等）であり得る。

【0123】

コンピュータ装置２００５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能媒体又はコンピュータ可読媒体を使用し、且つ／又はそれらを使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波等を含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光学媒体（例えば、ＣＤＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート記憶域）及び他の不揮発性記憶域又はメモリを含む。

【0124】

計算環境の一部の例では、コンピュータ装置２００５を使用して技法、方法、アプリケーション、プロセス又はコンピュータ実行可能命令を実装することができる。コンピュータ実行可能命令は、一時的媒体から取得し、非一時的媒体上に記憶し、それから取得することができる。実行可能命令は、任意のプログラミング言語、スクリプト言語及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、ＶｉｓｕａｌＢａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ等）の１つ又は複数に由来し得る。

【0125】

プロセッサ２０１０は、ネイティブ環境又は仮想環境内で任意のオペレーティングシステム（ＯＳ）（不図示）の下で実行可能である。論理ユニット２０６０、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット２０６５、入力ユニット２０７０、出力ユニット２０７５及び様々なユニットは、互いに、ＯＳと且つ他のアプリケーション（不図示）と通信するためのユニット間通信メカニズム２０９５を含む１つ又は複数のアプリケーションを導入することができる。記載のユニット及び要素は、設計、機能、構成又は実装の点で変更することができ、行った説明に限定されない。

【0126】

一部の実装例では、情報又は実行命令がＡＰＩユニット２０６５によって受信されると、それは、１つ又は複数の他のユニット（例えば、論理ユニット２０６０、入力ユニット２０７０、出力ユニット２０７５）に伝達され得る。上記の一部の実装例において、一部の例では、論理ユニット２０６０は、ユニット間の情報フローを制御し、ＡＰＩユニット２０６５、入力ユニット２０７０、出力ユニット２０７５によって提供されるサービスを指示するように構成され得る。例えば、１つ又は複数のプロセス又は実装形態のフローは、論理ユニット２０６０によって単独で又はＡＰＩユニット２０６５と組み合わせて制御され得る。入力ユニット２０７０は、実装例で説明した計算のための入力を得るように構成され得、出力ユニット２０７５は、実装例で説明した計算に基づいて出力を与えるように構成され得る。

【0127】

プロセッサ２０１０は、例えば、図２、図６及び図８に示すように、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けすること、図１３～図１５に示すように現在のセンサ段階から別のセンサ段階への１つ又は複数のセンサに関連する地域の変化に関する確率及びリードタイムを推定するために、識別及びラベル付けされたパターンを処理することであって、精度を改善するように構成される逐次的誤差学習プロセスを含む、処理すること、及び図１６に示すように、センサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域のセンサ段階の変化の確率を決定することを行うように構成され得る。

【0128】

プロセッサ２０１０は、図６～図８に示すように、ストリーミングされたセンサデータ内の音響データを時間領域から周波数領域に変換し、変換された音響信号から周波数領域の特徴を導出し、周波数領域の特徴に次元縮小を適用し、次元縮小された周波数領域の特徴をクラスタリングし、且つセンサ段階を識別するためにフィンガプリント解析を適用することにより、ネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けするように構成され得る。

【0129】

プロセッサ２０１０は、図８～図１２に示すように、背景雑音から信号フィンガプリントを識別し、異常イベントの先行インジケータを識別し、異常とそのシーケンスとの間のイベントの関連付けを、周波数帯分布及び画像分類を通して解析することにより、センサ段階を識別するためにフィンガプリント解析を適用するように構成され得る。

【0130】

プロセッサ２０１０は、図４に示すように、センサデータを増強するためにデータを合成することであって、分けられた雑音信号及び標的信号から信号特徴を抽出して、異常信号及び雑音信号をレプリケートすること、レプリケートされた異常信号及び雑音信号を、重畳を通して組み合わせて合成データを形成すること、及び合成データを検証することを含む、合成することにより、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けするように構成され得る。

【0131】

プロセッサ２０１０は、図５に示すように、音声及び画像のメタデータ学習に基づいて、センサデータに対して外れ値の除去を実行することにより、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータの特性に基づいてパターンを識別及びラベル付けするように構成され得る。

【0132】

プロセッサ２０１０は、図１３～図１４に示すように、時間的パターンで訓練された確率プロセスを通して、現在の段階から別の段階への１つ又は複数のセンサに関連する地域の変化に関する確率及びリードタイムを推定して、ラベル付きセンサ段階の全ての種類に関する確率及びリードタイムを出力するために、識別及びラベル付けされたパターンを処理するように構成され得る。

【0133】

所望の実装形態に応じて、精度を改善するように構成される逐次的誤差学習プロセスは、確率プロセスから継承される誤差を学習し、且つ訓練フェーズ間の擬似ラベルを改善するように構成される自己フィードバックループを含み得る。

【0134】

プロセッサ２０１０は、図１６及び図１７に示すように、センサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、センサのネットワーク内の隣接センサからの地理情報及び時間情報を伴う融合フィンガプリントラベルに基づいて、他の地域のセンサ段階の変化の確率及び推定発生時間を決定するように構成されるベイズ学習モデルに基づき、隣接センサに関連する他の地域のセンサ段階の変化の確率を決定するように構成され得る。

【0135】

プロセッサ２０１０は、図１８に示すように、センサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、センサ段階の変化の確率を有するセンサのネットワークのセンサを含む動的フットプリントを生成することであって、動的フットプリントは、センサのネットワークのうち、状態の変化を受けているセンサの視覚化を経時的に時間的順序で提供する、生成することにより、隣接センサに関連する他の地域のセンサ段階の変化の確率を決定するように構成される。

【0136】

所望の実装形態に応じて、図１６に示すように、センサ段階（例えば、現在のセンサ段階、別のセンサ段階）は、人為擾乱、密なチェーンソー、軽いチェーンソー又は静かな時間の１つであり得る。

【0137】

（例えば、工場設定又は他のＩｏＴ設定に適用されるように）所望の実装形態に応じて、他の状態変化を決定するために実装例を拡張することもできる。かかる実装例では、プロセッサ２０１０は、センサのネットワーク内の１つ又は複数のセンサからストリーミングされるセンサデータから第１のイベントを検出すること、１つ又は複数のセンサに関連する地域に関する第２のイベントの確率及び第２のイベントの推定リードタイムを決定するために、第１のイベントを処理すること、及びセンサのネットワーク内の１つ又は複数のセンサに対する隣接センサについて、隣接センサに関連する他の地域の第１のイベント又は第２のイベントへの状態変化の確率を決定することを行うように構成され得る。段階の変化は、所望の実装形態による任意の種類の障害状態であり得、隣接センサに関する段階の変化は、連鎖的な障害イベントを検出するために利用することができる。

【0138】

連鎖的な障害を突き止めるために他の状態変化を検出するためのかかる実装形態の一例では、一例は、複数の変圧器を有する送電網を含み得る。変圧器に完全に負荷がかかり障害が生じると、送電網を支援するために隣接する他の変圧器が追加の負荷を処理しなければならない。しかし、その負荷が隣接する変圧器の障害も引き起こす場合、ある変圧器の障害が隣接する他の変圧器の障害を順に引き起こす連鎖的な障害イベントが生じる可能性がある。

【0139】

従って、フィンガプリント解析において初期の連鎖的障害があるかどうかを判定するために実装例を使用することができ、そこから連鎖的障害を阻止するためにシステムが直ちにシャットダウンされ得る。

【0140】

詳細な説明の一部がコンピュータ内の操作のアルゴリズム及び記号表現に関して提示された。これらのアルゴリズム的記述及び記号表現は、その革新の本質を他の当業者に伝えるためにデータ処理技術の当業者によって使用される手段である。アルゴリズムは、所望の終了状態又は結果をもたらす一連の定義されたステップである。一実装例では、実行されるステップが具体的な結果を実現するために有形量の物理的操作を必要とする。

【0141】

別段の定めがない限り、解説から明らかなように、説明の全体を通して「処理」、「コンピューティング」、「計算」、「決定」、「表示」等の用語を利用する解説は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリ若しくはレジスタ又は他の情報記憶域、伝送若しくは表示装置内で物理量として同様に表される他のデータに変換するコンピュータシステム又は他の情報処理装置のアクション及びプロセスを含み得ることが理解されるであろう。

【0142】

実装例は、本明細書の操作を行うための機器にも関係し得る。この機器は、所要の目的のために特別に構築され得るか、又は１つ若しくは複数のコンピュータプログラムによって選択的に活性化若しくは再構成される１つ若しくは複数の汎用コンピュータを含み得る。かかるコンピュータプログラムは、コンピュータ可読記憶媒体又はコンピュータ可読信号媒体等のコンピュータ可読媒体内に記憶され得る。コンピュータ可読記憶媒体は、限定されないが、光ディスク、磁気ディスク、読取専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイス及びドライブ等の有形媒体又は電子情報を記憶するのに適した他の任意の種類の有形媒体若しくは非一時的媒体を含み得る。コンピュータ可読信号媒体は、搬送波等の媒体を含み得る。本明細書で提示したアルゴリズム及び表示は、特定のコンピュータ又は他の機器に固有に関係するものではない。コンピュータプログラムは、所望の実装形態の操作を実行する命令を含む純粋なソフトウェア実装を含み得る。

【0143】

本明細書の例によるプログラム及びモジュールと共に様々な汎用システムが使用され得るか、又は所望の方法ステップを実行するためのより特化した機器を構築することが便利であることが証明され得る。加えて、実装例は、特定のプログラミング言語に関して説明されていない。本明細書に記載した実装例の技法を実装するために、様々なプログラミング言語を使用できることが理解されるであろう。プログラミング言語の命令は、１つ又は複数の処理装置、例えば中央処理装置（ＣＰＵ）、プロセッサ又はコントローラによって実行され得る。

【0144】

当技術分野で知られているように、上述した操作は、ハードウェア、ソフトウェア又はソフトウェアとハードウェアとの何らかの組み合わせによって行うことができる。実装例の様々な側面が回路及び論理装置（ハードウェア）を使用して実装できるが、機械可読媒体上に記憶される命令（ソフトウェア）を使用して他の側面が実装され得、かかる命令は、プロセッサによって実行される場合、本願の実装形態を実行するための方法をプロセッサに実行させる。更に、本願の一部の実装例は、ハードウェアのみで実行できるのに対して、他の実装例は、ソフトウェアのみで実行することができる。更に、記載した様々な機能は、単一のユニット内で実行することができるか、又は任意の数の方法で幾つかのコンポーネントに分散させることができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体上に記憶される命令に基づいて汎用コンピュータ等のプロセッサによって実行され得る。必要に応じて、命令は、圧縮形式及び／又は暗号化形式で媒体上に記憶することができる。

【0145】

更に、本明細書を検討し、且つ本願の技法を実践することにより、本願の他の実装形態が当業者に明らかになる。記載した実装例の様々な側面及び／又はコンポーネントは、単独で又は任意の組み合わせで使用することができる。本明細書及び実装例は、単に例として検討されることを意図し、本願の真の範囲及び趣旨は、添付の特許請求の範囲によって示される。

【図1】