特開 2024-136086 接近動体検出方法、接近動体検出システム、及び、情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024136086

(43)【公開日】2024-10-04

(54)【発明の名称】接近動体検出方法、接近動体検出システム、及び、情報処理装置

(51)【国際特許分類】

   G01V 1/00 20240101AFI20240927BHJP

   G01H 17/00 20060101ALI20240927BHJP

【ＦＩ】

G01V1/00 A

G01H17/00 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023047060

(22)【出願日】2023-03-23

(71)【出願人】

【識別番号】000211307

【氏名又は名称】中国電力株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】引野 健治

(72)【発明者】

【氏名】吉崎 司

(72)【発明者】

【氏名】米澤 幹夫

【テーマコード（参考）】

2G064

2G105

【Ｆターム（参考）】

2G064AB01

2G064AB02

2G064AB13

2G064BA02

2G064BD02

2G064CC02

2G064CC41

2G064CC43

2G064DD02

2G105AA01

2G105BB02

2G105EE01

2G105HH04

(57)【要約】

【課題】予め設定登録された動体６のデータの有無に依らず接近する動体６を検出する、接近動体検出方法を提供すること。
【解決手段】接近動体検出方法は、接近してくる動体６のない状態における周囲音である定常周囲音を集音する第１の集音ステップと、定常周囲音を高速フーリエ変換するステップと、現在の周囲音である現在周囲音を集音する第２の集音ステップと、現在周囲音を高速フーリエ変換するステップと、定常周囲音の高速フーリエ変換データと現在周囲音の高速フーリエ変換データとの差異を計算する差異計算ステップと、差異の大きさと差異が生じている周波数である異常周波数を特定する異常周波数特定ステップと、異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する異常音抽出ステップと、異常音の音量又は／及び周波数に基づいて、接近してくる動体６を検出する動体検出ステップと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

接近してくる動体を検出する接近動体検出方法であって、
接近してくる前記動体のない状態における周囲音である定常周囲音を集音する第１の集音ステップと、
集音した前記定常周囲音を録音する第１の録音ステップと、
前記定常周囲音を高速フーリエ変換する第１の高速フーリエ変換ステップと、
高速フーリエ変換された前記定常周囲音のデータである定常高速フーリエ変換データを保存する第１のデータ保存ステップと、
現在の前記周囲音である現在周囲音を集音する第２の集音ステップと、
集音した前記現在周囲音を録音する第２の録音ステップと、
前記現在周囲音を高速フーリエ変換する第２の高速フーリエ変換ステップと、
高速フーリエ変換された前記現在周囲音のデータである現在高速フーリエ変換データを保存する第２のデータ保存ステップと、
前記定常高速フーリエ変換データと前記現在高速フーリエ変換データとの差異を計算する差異計算ステップと、
前記差異の大きさと前記差異が生じている周波数である異常周波数を特定する異常周波数特定ステップと、
前記異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する異常音抽出ステップと、
前記異常音又は／及び前記異常周波数に基づいて、接近してくる前記動体を検出する動体検出ステップと、
を有する接近動体検出方法。

【請求項2】

前記第１の集音ステップにおいて、所定期間以上集音し、
前記定常高速フーリエ変換データとして、前記所定時間に得られた複数の高速フーリエ変換データの平均値或いは中央値を採用する、
請求項１に記載の接近動体検出方法。

【請求項3】

前記差異計算ステップにおいて、前記定常高速フーリエ変換データについて所定の大きさ以上の信号をもたらす周波数に基づいてクラスタリングを行い、前記現在高速フーリエ変換データについて所定の大きさ以上の信号をもたらす周波数に基づいてクラスタリングを行い、クラスタリング結果の差異を計算する、
請求項１又は請求項２に記載の接近動体検出方法。

【請求項4】

前記第１の集音ステップにおいて、洋上風力発電設備を建設しようとする海域において集音が行われる、
請求項１又は請求項２に記載の接近動体検出方法。

【請求項5】

前記動体検出ステップにて、前記異常音の音圧が時間の経過とともに大きくなる場合に前記動体が接近してくると検出する、
請求項１又は請求項２に記載の接近動体検出方法。

【請求項6】

前記動体検出ステップにて、前記異常周波数が所定の周波数である場合に、接近してくる前記動体があると検出する、
請求項１又は請求項２に記載の接近動体検出方法。

【請求項7】

前記異常周波数の分布のデータベースを構築するステップを更に有し、
前記動体検出ステップは、検出された前記異常周波数の分布と前記データベースとに基づいて前記接近してくる前記動体を特定するステップを有する、
請求項１又は請求項２に記載の接近動体検出方法。

【請求項8】

前記動体検出ステップにて、前記異常周波数が時間の経過とともに高い周波数から低い周波数に移行した場合、動体６が接近して来た後離反したと検出する、
請求項１又は請求項２に記載の接近動体検出方法。

【請求項9】

接近してくる動体を検出する接近動体検出システムであって、
集音装置と録音装置と情報処理装置とを有し、
前記集音装置は、接近してくる前記動体のない状態における周囲音である定常周囲音を集音し、更に、現在の前記周囲音である現在周囲音を集音し、
前記録音装置は、集音した前記定常周囲音を録音し、更に、前記現在周囲音を録音し、
前記情報処理装置は、
録音された前記定常周囲音を高速フーリエ変換する高速フーリエ変換部と、
高速フーリエ変換された前記定常周囲音のデータである定常高速フーリエ変換データを保存する記憶部と、
前記現在周囲音を高速フーリエ変換する前記高速フーリエ変換部と、
高速フーリエ変換された前記現在周囲音のデータである現在高速フーリエ変換データを保存する前記記憶部と、
前記定常高速フーリエ変換データと前記現在高速フーリエ変換データとの差異を計算する差異計算部と、
前記差異の大きさと前記差異が生じている周波数である異常周波数を特定する異常周波数特定部と、
前記異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する異常音抽出部と、
前記異常音又は／及び前記異常周波数とに基づいて接近してくる前記動体を検出する動体検出部と、
を有する、
接近動体検出システム。

【請求項10】

接近してくる動体の有無を判定するための学習モデルを構築する情報処理装置であって、
周囲音に基づくデータを入力データとして取得する入力データ取得手段と、
前記周囲音の前記入力データにおいて前記接近してくる前記動体の有無の判定結果をラベルとして取得するラベル取得手段と、
前記入力データと前記ラベルとの組を教師データとし教師あり学習を行うことにより、
現在の前記周囲音に基づいて前記接近してくる前記動体の有無を判定するための学習モデルを構築する学習モデル構築手段と、
を備える情報処理装置。

【請求項11】

前記周囲音に基づくデータは、前記周囲音を高速フーリエ変換したデータである、
請求項１０に記載の情報処理装置。

【請求項12】

前記ラベル取得手段が、請求項１における動体検出ステップの検出結果に対する正誤の判定結果を前記ラベルとして取得する、
請求項１０又は請求項１１に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接近動体検出方法、接近動体検出システム、及び、情報処理装置に関する。

【背景技術】

【0002】

従来より、特定の施設に接近してくる動体を迅速に検出して警報を発出する接近警報システムが提案されている。

【0003】

例えば、特許文献１には、無人飛行機を検出して警報を出す技術が開示されている。特許文献１に開示された技術においては、内燃機関を搭載した無人飛行機の飛行パターンデータが予め登録されている。登録された飛行パターンデータで示される周波数と音圧に基づいて無人飛行機を特定し警報が発出される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６０７９７４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、予め登録されていない飛行パターンの無人飛行機の接近に対して警報を発出することができない。又、接近動体の個別データが必要であり、データのない接近動体については検出することができない。

【0006】

本発明は、予め設定登録された動体のデータの有無に依らず接近する動体を検出する、接近動体検出方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の一態様である接近動体検出方法は、接近してくる動体のない状態における周囲音である定常周囲音を集音する第１の集音ステップと、集音した前記定常周囲音を録音する第１の録音ステップと、前記定常周囲音を高速フーリエ変換する第１の高速フーリエ変換ステップと、高速フーリエ変換された前記定常周囲音のデータである定常高速フーリエ変換データを保存する第１のデータ保存ステップと、現在の前記周囲音である現在周囲音を集音する第２の集音ステップと、集音した前記現在周囲音を録音する第２の録音ステップと、前記現在周囲音を高速フーリエ変換する第２の高速フーリエ変換ステップと、高速フーリエ変換された前記現在周囲音のデータである現在高速フーリエ変換データを保存する第２のデータ保存ステップと、前記定常高速フーリエ変換データと前記現在高速フーリエ変換データとの差異を計算する差異計算ステップと、前記差異の大きさと前記差異が生じている周波数である異常周波数とを特定する異常周波数特定ステップと、前記異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する異常音抽出ステップと、前記異常音又は／及び前記異常周波数に基づいて、接近してくる前記動体を検出する動体検出ステップと、を有する。

【発明の効果】

【0008】

本発明によれば、予め設定登録された動体を特定するデータの有無に依らず接近する動体を検出する、接近動体検出方法が提供される。

【図面の簡単な説明】

【0009】

【図1】本発明に係る接近動体検出システムの模式図である。

【図2】本発明に係る情報処理装置のハードウェア構成を示すブロック図である。

【図3】本発明に係る情報処理装置の機能的構成を示すブロック図である。

【図4】本発明に係る集音装置が海中で集音する音の種類とその周波数帯域を示す図である。

【図5】本発明に係る集音装置が空中で集音するプロペラ騒音の音圧の周波数依存性を示す図である。

【図6】本発明に係る情報処理装置が、定常周囲音を高速フーリエ変換した結果を示す図である。

【図7】本発明に係る情報処理装置が、現在周囲音を高速フーリエ変換した結果を示す図である。

【図8】本発明に係る情報処理装置が周囲音に対してバンドパスフィルタをかけて得る、周囲音の異常部を示す図である。

【図9】本発明に係る情報処理装置が周囲音に対してバンドパスフィルタをかけて得る、周囲音の異常部に対応する正常時の周囲音を示す図である。

【図10】本発明に係る情報処理装置が周囲音に基づいて接近する動体の有無を判定する、第１実施形態におけるプロセスを説明するフローチャートである。

【図11】ドップラー効果の状況を示す模式図である。

【図12】本発明に係る洋上風力発電設備に接近し離反するドローンから発せられる音の状況を示す模式図である。

【図13】本発明に係る情報処理装置が、接近し離反するドローンが存在する場合の周囲音を高速フーリエ変換した結果を示す図である。

【図14】本発明の第２実施形態に係る情報処理装置の機能的構成を示すブロック図である。

【図15】本発明の第３実施形態に係る情報処理装置の機能的構成を示すブロック図である。

【図16】本発明に係る情報処理装置が第３実施形態において行う、教師有り機械学習のフローチャートである。

【図17】本発明に係る情報処理装置が教師あり機械学習の結果に基づいて接近する動体の有無を判定するフローチャートである。

【図18】機械なし学習に基づく接近する動体の有無の判定結果を教師データに取り込み教師あり学習を行う、第４実施形態におけるプロセスを説明するフローチャートである。

【発明を実施するための形態】

【0010】

（第１実施形態）
以下、本発明の実施形態に係る接近動体検出方法及び接近動体検出システム１００及び情報処理装置１について図面を参照しながら説明する。なお、各図において、同一構成要素には同一符号を付す。同一構成要素にて第１の構成要素、第２の構成要素のように区別する場合には、符号にａ、ｂ等が付加される。

【0011】

図１は、本発明に係る接近動体検出システム１００の模式図である。接近動体検出システム１００は、情報処理装置１と集音装置２と録音装置３と通信装置４とを備える。集音装置２と録音装置３と通信装置４とは、例えば洋上風力発電設備５に付随して設けられる。接近動体検出システム１００は、動体６の接近を検出する。動体６は、例えば無人飛行ドローン６ａ或いは船舶６ｂである。情報処理装置１は、洋上風力発電設備５とは離れた例えば地上に設置されている。情報処理装置１は、受信装置４ｂを有する。

【0012】

集音装置２は、周囲の音である周囲音を集音する装置である。集音装置２は、例えば無指向性マイクロフォンである。録音装置３は、集音装置２により集音された周囲音を録音する装置である。録音装置３は、例えばデジタル録音装置であり、集音装置２からの信号をＭＰＥＧ形式に圧縮して保存する。通信装置４は、送信装置４ａと受信装置４ｂとを有する。通信装置４を通して、録音装置３に録音された周囲音は情報処理装置１に送信される。

【0013】

図２は情報処理装置１のハードウェア構成を示す。図２に示すように、情報処理装置１は、制御部１０と、入出力部１６と、通信手段１７と、記憶部１８と、を備える。制御部１０は、プロセッサ１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インタフェース１５とを有する。情報処理装置１は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータであってもよいし、専用のハードウェアに組み込まれているコンピュータであってもよい。

【0014】

プロセッサ１１は、各種演算及び処理を行う。プロセッサ１１は、例えば、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）又はＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等である。或いは、プロセッサ１１は、これらのうちの複数を組み合わせたものである。又、プロセッサ１１は、これらにハードウェアアクセラレーター等を組み合わせたものであってもよい。

【0015】

プロセッサ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。プロセッサ１１は、ＲＯＭ１２に記録されているプログラム又はＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。プログラムの一部又は全部は、プロセッサ１１の回路内に組み込まれていてもよい。

【0016】

バス１４は入出力インタフェース１５にも接続される。入出力インタフェース１５には、入出力部１６と、通信手段１７と、記憶部１８と、が接続されている。

【0017】

入出力部１６は、有線又は無線により電気的に入出力インタフェース１５に接続される。入出力部１６は例えばキーボード及びマウス等の入力部と画像を表示するディスプレイ及び音声を拡声するスピーカ等の出力部とによって構成される。なお、入出力部１６はタッチパネルのように表示機能と入力機能が一体的な構成であってもよい。

【0018】

通信手段１７は、図１に示した通信装置４を介して通信を行うための装置である。記憶部１８は、接近動体検出システム１００を制御するプログラム、後述する高速フーリエ変換を実行するプログラム、後述する高速フーリエ変換されたデータを解析するプログラム、後述する定常周囲音、現在周囲音等を記憶する、例えばハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）等の記憶装置である。

【0019】

図２に示したハードウェア構成は、あくまで一例であり、特にこの構成に限定されるわけではない。シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを、プロセッサとしての機能的構成を実現するものとして採用してもよい。情報処理装置１が記憶部１８を有するのではなく、記憶部１８が別途設けられる構成が採用されてもよい。

【0020】

図３は、本実施形態に係る情報処理装置１の機能的構成を示すブロック図である。図３に示す各機能は、図２に示す情報処理装置１の有するプロセッサ１１等により実現される。情報処理装置１は、周囲音受付部１０１と、高速フーリエ変換部１０２と、データ蓄積部１０３と、差異計算部１０４と、異常周波数特定部１０５と、異常音抽出部１０６と、動体検出部１０７とを有する。

【0021】

周囲音受付部１０１は、集音装置２が集音し、録音装置３が録音した周囲音を、通信装置４を通して受け付ける。周囲音としては、接近してくる動体６のない状態における周囲音である定常周囲音と、現在の周囲音である現在周囲音とがある。定常周囲音の集音は、例えば、接近してくる動体６がないことを確認の上で行われる。或いは、定常周囲音の集音は、洋上風力発電設備の建設において、洋上風力発電設備を建設しようとする海域で洋上風力発電設備の建設前に行われる。そして、風力発電設備自体からの音響データ、例えば風車のブレードの風切音、は別途取得され、洋上風力発電設備の建設前に集音された音響データと合成される。周囲音受付部１０１は、録音装置３の録音を適宜デジタル化して記憶部１８に記録する。高速フーリエ変換部１０２は、デジタル化された定常周囲音と現在周囲音とを高速フーリエ変換する。データ蓄積部１０３は、定常周囲音の高速フーリエ変換されたデータを蓄積する。差異計算部１０４は、データ蓄積部１０３が蓄積した定常周囲音の高速フーリエ変換データの例えば平均或いは中央値と、高速フーリエ変換された現在周囲音のデータである現在高速フーリエ変換データと、の差異を計算する。異常周波数特定部１０５は、差異の大きさと差異が生じている周波数である異常周波数とを特定する。異常音抽出部１０６は、異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する。動体検出部１０７は、異常音の音量又は／及び周波数に基づいて、接近してくる動体６を検出する。

【0022】

次に、接近動体検出システム１００が接近する動体６を検出する態様について、図１から図１０を参照してより詳細に説明する。例えば、集音装置２は、洋上風力発電設備５を建設しようとする海域、或いは、洋上風力発電設備５の設置された洋上において集音を行う。図４は、集音装置２が海中で集音する音の種類とその周波数帯域を示す。海中の騒音源としては、例えば、海底探査のエアガン、船舶６ｂの海運に伴う音、洋上風車の音、杭打ちの音、ソナーや魚群探知機の発する音等が挙げられる。その周波数帯域は数Ｈｚから数十万Ｈｚにまで及んでいる。図５は、集音装置２が空中で集音するプロペラ騒音の音圧の周波数依存性を示す。プロペラの周りにダクトが設けられている場合と設けられていない場合とで異なるが、周波数は１０Ｈｚから１００００Ｈｚ以上にまで亘る。ドローンについては、プロペラの風切音ノイズは１０ｋＨｚ程度以下で広い周波数範囲にわたってフラットに発生する。これは、空気との摩擦が原因で発生するノイズの特徴である。モーターノイズの内、機械ノイズは１０ｋＨｚ付近で発生する。

【0023】

高速フーリエ変換部１０２は、図４及び図５の結果に基づいて、フーリエ変換での周波数帯域を例えば、１Ｈｚから１０万Ｈｚに設定する。

【0024】

図６は、高速フーリエ変換部１０２が、定常周囲音を高速フーリエ変換した結果を示す。横軸は周波数、縦軸は音の強度或いは音圧を示す。洋上風力発電設備５のブレードの風切音、波の音、風の音等が検出されている。図７は、高速フーリエ変換部１０２が、現在周囲音を高速フーリエ変換した結果を示す。図６と同様に、横軸は周波数、縦軸は音の強度或いは音圧を示す。洋上風力発電設備５のブレードの風切音、波の音、風の音等が検出されている。図７においては、図６に示した音にない特別な信号が検出されている。図７においては、動体６の接近音と記載されている。動体６は、例えば、無人航空機ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）である。ここで、定常周囲音の高速フーリエ変換した結果のデータの取得には、所定時間以上の集音が集音装置２によって行われる。そして、所定時間に得られた複数の高速フーリエ変換データの平均値或いは中央値が、定常周囲音を表すものとして採用されてもよい。

【0025】

差異計算部１０４は、図６に示した定常周囲音が高速変換されたデータと、図７に示した現在周囲音が高速変換されたデータとの差異を計算する。異常周波数特定部１０５は、差異が所定以上の周波数を特定する。そして、異常周波数特定部１０５は、図７に示した例えば動体６の接近音に起因する信号を特定する。

【0026】

ここで、未知の動体６を検出する場合に、所定以上の差異、を如何に策定するかが問題となる。現在周囲音を高速フーリエ変換した各周波数の値と、定常周囲音を高速フーリエ変換した対応する周波数の値との差異が、例えば定常周囲音を高速フーリエ変換した値に比してプラス１０％以上の周波数を特定する。或いは、入力として、１０％とした場合、２０％とした場合、３０％とした場合などのデータを蓄積し、実際に未登録の動体６の接近音であったかどうかの結果の情報を与え、教師あり機械学習を行う。これにより、差異としてどの程度を所定の値として設定することが適しているかが求められる。

【0027】

異常音抽出部１０６は、図７に示した例えば飛行する動体６の接近音の周波数である異常周波数を含む所定の周波数範囲について、高速フーリエ変換していない音信号をバンドパスフィルタを用いて抽出する。バンドパスフィルタ機能は、情報処理装置１の制御部１０が担うことが可能である。一方、バンドパスフィルタ機能をハードウェアで用意し、異常音抽出部１０６がハードウェアに対して周波数の中心値、バンド幅を指定してもよい。或いは、高速フーリエ変換部１０２が、所定の周波数範囲のみを抜き出して、逆フーリエ変換してもよい。

【0028】

ここで、未知の動体６を検出する場合に、所定の周波数範囲、を如何に策定するかが問題となる。例えば周波数範囲を周波数のプラスマイナス１０％以内の周波数とする。或いは、入力として、プラスマイナス５％とした場合、１０％とした場合、２０％とした場合、３０％とした場合などのデータを蓄積し、実際に未登録の動体６の接近音であったかどうかの情報を与え、教師あり機械学習を行う。これにより、周波数範囲としてどの程度を設定することが適しているかが求められる。

【0029】

図８は、図７に示す所定の周波数範囲においてバンドパスフィルタを用いて抽出された、現在の音響データの波形（ａ）と音響データのパワー（ｂ）とを示す。図８（ａ）において、横軸は時間、縦軸は振幅を示す。図８（ｂ）において、横軸は時間、縦軸は正規化された出力を示す。

【0030】

図９は、図７に示す所定の周波数範囲において抽出された、正常時の音響データの波形（ａ）と正常時の音響データのパワー（ｂ）とを示す。図９（ａ）において、横軸は時間、縦軸は振幅を示す。図９（ｂ）において、横軸は時間、縦軸はパワーを示す。正常時においては、振幅はほぼ一定であり、パワーもほぼ一定である。

【0031】

図９に比して、図８においては、振幅が時刻Ｔ０に大きくなり、パワーも時刻Ｔ０に大きくなっている。そして、時刻Ｔ０において、図８（ｂ）に示すように、パワーが所定のしきい値を超えている。動体検出部１０７は、得られる信号の差異の大きさが時間の経過とともに大きくなり、所定のしきい値を超える時に動体６が接近してくると検出する。動体検出部１０７は、異常音の音圧が時間の経過とともに大きくなる場合に動体６が接近してくると検出してもよい。所定のしきい値を超える音圧が観測される場合に、動体６が接近してくると検出してもよい。

【0032】

ここで、未知の動体６を検出する場合に、所定のしきい値を超えたパワー、を如何に策定するかが問題となる。例えば所定のしきい値を３０ｄＢとする。或いは、入力として、３０ｄＢとした場合、５０ｄＢとした場合、６０ｄＢとした場合、などのデータを蓄積し、実際に未登録の動体６の接近音であったかどうかの情報を与え、教師あり機械学習を行う。これにより、所定のしきい値としてどの程度を設定することが適しているかが求められる。

【0033】

上記において、動体６の接近音の周波数は、異常周波数特定部１０５により特定されたが、予め、所定の周波数を設定して、音圧の変化を検証してもよい。動体検出部１０７は、異常周波数が所定の周波数である場合に、接近してくる動体６があると検出してもよい。例えば、ドローンの飛行音のような、異常音である可能性の高い音の周波数が予め設定されている。そして、異常周波数が当該周波数であり、パワーが所定のしきい値を超える場合に、接近してくるドローンがあると検出が行われる。

【0034】

図１０は、情報処理装置１が周囲音に基づいて接近する動体６の有無を判定する流れを説明するフローチャートである。図１から図９を適宜参照する。

【0035】

図１及び図３に示すように、周囲音受付部１０１は、集音装置２が集音し、録音装置３が録音した周囲音を、通信装置４を通して受け付ける。周囲音は、接近してくる動体６のない状態における周囲音である定常周囲音である（ステップＳ１０１）。高速フーリエ変換部１０２は、デジタル化された定常周囲音を高速フーリエ変換する（ステップＳ１０２）。データ蓄積部１０３が蓄積したデータが十分の場合、データの蓄積を終了する。データが十分とは、例えば、それまでに取得したデータの平均或いは中央値からの新規に取得したデータの差異が偏差値として５以下であるような場合である。データ蓄積が終了していない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０１に戻る。データ蓄積が終了している場合（ステップＳ１０３：Ｙｅｓ）、周囲音受付部１０１は、集音装置２が集音し、録音装置３が録音した現在の周囲音を、通信装置４を通して受け付ける。周囲音は、現在の周囲音である現在周囲音である（ステップＳ１０４）。

【0036】

高速フーリエ変換部１０２は、デジタル化された現在周囲音を高速フーリエ変換する（ステップＳ１０５）。差異計算部１０４は、高速フーリエ変換された定常周囲音のデータである定常高速フーリエ変換（ＦＦＴ：Ｆａｓｒ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）データと、高速フーリエ変換された現在周囲音のデータである現在高速フーリエ変換データと、の差異を計算する（ステップＳ１０６）。異常周波数特定部１０５は、差異の大きさと差異が生じている周波数である異常周波数を特定する（ステップＳ１０７）。

【0037】

異常音抽出部１０６は、異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて音響データとして抽出する（ステップＳ１０８）。動体検出部１０７は、ステップＳ１０８で得られた音響データの音圧又は及び周波数に基づいて、接近してくる動体６の有無を判定する（ステップＳ１０９）。動体６の監視を続行する場合には（ステップＳ１１０：Ｙｅｓ）、処理はステップＳ１０４に戻る。動体６の監視を続行しない場合には（ステップＳ１１０：Ｎｏ）、処理が終了する。

【0038】

（変形例１）
図７は、差異が単独の周波数の場合を示している。図５のように、飛行する動体６であっても音圧の周波数依存性が異なり、広い周波数帯域で音圧が観察されることがある。この場合、フーリエ変換されたデータの傾向から接近してくる飛行する動体６を特定することができる。例えば、図５の例では、正常時と現在とのフーリエ変換されたデータの差から、ダクトのある飛行する動体６か、ダクトのない飛行する動体６かを判断することができる。動体検出部１０７は、異常周波数の分布のデータベースを予め構築し、検出された周波数の分布と異常周波数の分布のデータベースとに基づいて接近してくる動体６を特定する。

【0039】

（変形例２）
図９に示した例においては、音圧の変化のみが検証されている。動体６が飛行体であり、接近してきている場合には、動体６の発する音のドップラー効果を利用することができる。図１１は、集音装置２のある検知点と動体６との関係と、音波との関係を示す。図１１（ａ）は動体６が静止している場合を、図１１（ｂ）は動体６が検知点に接近してきている場合を、図１１（ｃ）は動体６が検知点から遠ざかる場合を示す。

【0040】

例えば、動体６であるドローンが洋上風力発電設備５に接近してきて遠ざかる場合には、図１２に示すように、高い音から低い音に変化する。高速フーリエ変換した信号においては、図１３に示すように、動体６の接近音は、特異な信号として出現する。動体６の接近音は、高周波数から低周波数に信号ピーク周波数が移動する。動体検出部１０７は、異常周波数特定部１０５が特定した信号ピークの周波数の変化に基づいて、動体６の接近と脱離とを検出する。動体検出部１０７は、異常周波数が時間の経過とともに高い周波数から低い周波数に移行した場合、動体６が接近して来た後離反したと検出する。

【0041】

（第２実施形態）
上記の実施形態においては、異常周囲音を含まない定常周囲音についてのみデータの蓄積が行われている。そして、当該蓄積されたデータの平均値あるいは中央値と現在周囲音とが比較されていた。データの蓄積を、異常周囲音を含む可能性のある場合を含めて行い、教師なし学習の一つであるクラスタリングを行う第２実施形態について説明する。

【0042】

図１４は、第２実施形態における情報処理装置１の制御部１０が有する機能的構成を示す。制御部１０は、周囲音受付部１０１と高速フーリエ変換部１０２とデータ蓄積部１０３とクラスタリング部１０８と動体検出部１０７と異常周波数特定部１０５とを有する。周囲音受付部１０１は、定常周囲音と異常周囲音との区別を行わず、周囲音を受け付ける。高速フーリエ変換部１０２は、周囲音受付部１０１が受け付けた周囲音の音響データを高速フーリエ変換する。データ蓄積部１０３は、高速フーリエ変換された音響データを蓄積する。

【0043】

クラスタリング部１０８は、データ蓄積部１０３が蓄積したデータについてクラスタリングを行う。まず、所定の大きさ以上の信号をもたらす周波数とその信号の大きさが各データについて検出される。次に、各周波数を各軸、信号の大きさを座標値としてベクトルが定義されデータ整理が行われる。これらのデータについて主成分分析が行われる。例えば、ＡからＥの周波数が抽出される。各音響データについて、周波数ＡからＥに於ける高速フーリエ変換後の強度がそれぞれ抽出される。結果として、定常周囲音ＡからＤに基づく値の和がＸ軸、特定の周波数Ｅに基づく値がＹ軸として主成分が抽出される。そして、Ｙ軸の値が一定以上のものと、一定以下のものとしてクラスタリングが行われる。

【0044】

特定の周波数は、異常周囲音に基づく周波数である可能性が高い。動体検出部１０７は、Ｙ軸の値が一定以上のデータによるクラスタを、動体６の接近情報を含む可能性のあるクラスターとして検出する。動体検出部１０７は、所属するデータの少ない特定のクラスターを動体６の接近情報を含む可能性のあるクラスターとして検出してもよい。動体検出部１０７が特定の周波数の音を含む一連のデータを含むクラスターを動体６の接近情報を含む可能性のあるクラスターとして検出してもよい。更に、異常周波数特定部１０５が異常周波数の分布のデータベースを構築してもよい。そして、動体検出部１０７は、検出された異常周波数の分布とデータベースとに基づいて接近してくる動体６を特定してもよい。

【0045】

本実施形態は、クラスタリングに基づく教師なし学習を行っている。異常周波数を検出した後、その周波数に基づいてバンドパスフィルタを用いて音響データを図８に示すように抽出し、当該音響データの音圧、音圧の変化、周波数の変化に基づいて接近してくる動体６を特定してもよい。

【0046】

（第３実施形態）
以上の説明においては、定常周囲音との比較（第１実施形態）、或いは、教師なし学習（第２実施形態）が行われている。以下、教師あり学習の例について説明する。

【0047】

本実施形態に係る情報処理装置１は、接近してくる動体６の有無を判定するための学習モデルを構築する教師有り機械学習を行う。図１５は、制御部１０の有する機能的構成のブロック図である。情報処理装置１の制御部１０は、周囲音の音響データを受け付ける周囲音受付部１０１と、周囲音受付部１０１が受け付けた音響データを高速フーリエ変換する高速フーリエ変換部１０２と、高速フーリ変換された周囲音のデータを入力データとして取得する入力データ取得部１０９と、周囲音の入力データにおいて接近してくる動体６の有無の判定結果をラベルとして取得するラベル取得部１１０と、入力データとラベルとの組を教師データとし教師あり学習を行うことにより、現在の周囲音に基づいて接近してくる動体６の有無を判定するための学習モデルを構築する学習モデル構築部１１１と、学習モデル記憶部１１２と、を備える。

【0048】

入力データ取得部１０９は、周囲音を高速フーリエ変換したデータを図６及び図７に示すように取得する。ラベル取得部１１０は、データの取得に際して、動体６が接近してきている状態なのかどうかの判定結果をラベルとして取得する。なお、この判定結果は、例えば洋上風力発電設備５を設置する事業者による実際の判定結果であって、動体６が接近してきている、即ち異常、か、動体６が接近してきていない、即ち正常、かの二値で表される判定結果であることが好ましい。周囲音を高速フーリエ変換したデータと対応するラベルとが紐づけされて蓄積される。例えば、殆どの場合においては接近する動体６は存在しないので、図６に示したデータと同様のデータが得られる。ラベルとしては接近する動体６は存在しないという結果となる。接近する動体６が存在する場合、図７に示したデータと同様のデータが得られる。ラベルとしては接近する動体６が存在するという結果となる。

【0049】

学習モデル構築部１１１は、上記の入力データと、上記のラベルとの組を教師データとして教師あり学習をおこなう。学習モデル構築部１１１は、接近する動体６が存在するかを判定するための学習モデルを構築し、構築した学習モデルを、動体検出部１０７に送る。動体検出部１０７は、学習モデルに基づいて接近する動体６の有無を判定する。例えば、学習モデル構築部１１１が、図７に示される特異なピークが存在するデータについて、接近する動体６が存在することを示すデータである、と導出することが期待される。

【0050】

なお、本実施形態においては、上記の入力データとしての周囲音の高速フーリエ変換結果が、各々が互いに異なる接近する動体６の音についての結果である場合、複数の接近する動体６に対して１つの学習モデルを構築してもよい。互いに異なる動体６が接近する場合に対しても対応することができる。

【0051】

学習モデル構築部１１１は、例として、サポート・ベクター・マシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｏｔｒ Ｍａｃｈｉｎｅ，以下ＳＶＭともいう）を用いて実現することができる。

【0052】

この場合、学習モデル構築部１１１は、上記のラベルとして、接近する動体６が存在する異常状態か正常状態かに係る二値化されたラベルを用いる。そして、学習モデル構築部１１１は、上記の入力データを含む空間を、上記の特定の接近する動体６が存在する状態に該当するか否かに関して、マージンが最大となるように分離する超平面を算出する。更に、学習モデル構築部１１１は、この超平面の係数を、後述の動体検出部１０７が接近する動体６の有無の判定のために用いる学習モデルのパラメータとすることが可能である。

【0053】

学習モデル記憶部１１２は、学習モデル構築部１１１が構築した学習モデルを記憶する。情報処理装置１は、上記の構成を有することにより、動体６の接近の有無を判定するための学習モデルを構築する。次に、第２実施形態に係る接近動体検出システム１００の動作について説明する。

【0054】

図１６は、制御部１０の動作を示すフローチャートである。ステップＳ２０１において、入力データ取得部１０９が、周囲音の高速フーリエ変換結果を入力データとして取得する。

【0055】

ステップＳ２０２において、ラベル取得部１１０が、ステップＳ２０１において取得された周囲音の高速フーリエ変換結果についての接近する動体６の有無についての判定結果をラベルとして取得する。

【0056】

ステップＳ２０３において、学習モデル構築部１１１は、入力データとラベルとの組を教師データとする。

【0057】

ステップＳ２０４において、学習モデル構築部１１１は、ステップＳ２０３の教師データを用いて教師あり学習を行う。

【0058】

ステップＳ２０５において、機械学習が終了した場合（Ｓ２０５：ＹＥＳ）には、処理はステップＳ２０６に移行する。機械学習がまだ終了していない場合（Ｓ２０５：ＮＯ）には、処理はステップＳ２０１に移行する。

【0059】

ステップＳ２０６において、学習モデル構築部１１１は、構築した学習モデルを動体検出部１０７に送る。その後処理は終了する。

【0060】

次に、図１７を参照し、接近する動体６の有無の判定について説明する。図１７は、接近する動体６の有無の判定のフローチャートである。

【0061】

ステップＳ３０１において、周囲音受付部１０１が現在の周囲音を受け付ける。ステップＳ３０２において、高速フーリエ変換部１０２は、周囲音受付部１０１が受け付けた現在の周囲音について高速フーリエ変換を行う。ステップＳ３０３において、動体検出部１０７は、高速フーリエ変換部１０２によりフーリエ変換されたデータと学習モデルとに基づいて、接近する動体６の有無を判定する。その後、全ての処理が終了する。

【0062】

（第４実施形態）
上記の実施形態においては、定常時のデータとの比較による例と教師なし学習と教師あり学習との例について説明した。これらを組み合わせた例について説明する。

【0063】

第１実施形態及び第２実施形態において、情報処理装置１は接近する動体６の有無について判定した。この判定結果をラベル取得部１１０が、ラベルとして取得する。学習モデル構築部１１１は、入力データとラベルとの組み合わせを教師データに組み入れる。

【0064】

図１８は、第４実施形態における処理のフローチャートである。図１０及び図１６から図１７に記載のプロセスと同様のステップについては同一のステップ番号が付与されている。処理がスタートすると、定常時における周囲音の録音が行われ（ステップＳ１０１）、高速フーリエ変換が行われ（ステップＳ１０２）、データの蓄積或いは教師無しの機械学習が行われる（ステップＳ１０１～ステップＳ１０２）。データの蓄積或いは機械学習が終了すると（ステップＳ１０３）、現在の周囲音の録音がなされる（ステップＳ１０４）。更に、高速フーリエ変換が行われる（ステップＳ１０５）。最後に、図１０に示した処理（ステップＳ１０６からＳ１０８）を経て、動体検出部１０７は、移動する動体６の有無を判定する（ステップＳ１０９）。

【0065】

判定結果に基づき作成されたラベル（ステップＳ４０１）と、周囲音を高速フーリエ変換した入力データとで生成された組（ステップＳ４０２）をラベル取得部１１０は取得する。学習モデル構築部１１１は、この入力データとラベルとの組を教師データとする（ステップＳ２０３）。学習モデル構築部１１１は、教師データに基づいて機械学習を行う（ステップＳ２０４）。更に、動体検出部１０７は、教師あり学習の結果に基づいて接近する動体６の有無を判定する（ステップＳ３０３）。

【0066】

本開示は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。又、上述した実施形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

【0067】

以上説明した実施形態に係る接近動体検出方法によれば以下のような効果が奏される。

【0068】

（１）接近動体検出方法は、接近してくる動体６を検出する接近動体検出方法であって、接近してくる動体６のない状態における周囲音である定常周囲音を集音する第１の集音ステップと、集音した定常周囲音を録音する第１の録音ステップと、定常周囲音を高速フーリエ変換する第１の高速フーリエ変換ステップと、高速フーリエ変換された定常周囲音のデータである定常高速フーリエ変換データを保存する第１のデータ保存ステップと、現在の周囲音である現在周囲音を集音する第２の集音ステップと、集音した現在周囲音を録音する第２の録音ステップと、現在周囲音を高速フーリエ変換する第２の高速フーリエ変換ステップと、高速フーリエ変換された現在周囲音のデータである現在高速フーリエ変換データを保存する第２のデータ保存ステップと、定常高速フーリエ変換データと現在高速フーリエ変換データとの差異を計算する差異計算ステップと、差異の大きさと差異が生じている周波数である異常周波数を特定する異常周波数特定ステップと、異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する異常音抽出ステップと、異常音又は／及び異常周波数に基づいて、接近してくる動体６を検出する動体検出ステップと、を有する。

【0069】

これにより、予め設定登録された動体６のデータの有無に依らず接近する動体６を検出する、接近動体検出方法が提供される。

【0070】

（２）（１）の接近動体検出方法は、第１の集音ステップにおいて、所定期間以上集音し、定常高速フーリエ変換データとして、所定時間に得られた複数の高速フーリエ変換データの平均値或いは中央値を採用する。

【0071】

これにより、蓄積された定常高速フーリエ変換データに基づき異常高速フーリエ変換データを抽出する一例の形態が提供される。

【0072】

（３）（１）又は（２）の接近動体検出方法は、差異計算ステップにおいて、定常高速フーリエ変換データについて所定の大きさ以上の信号をもたらす周波数に基づいてクラスタリングを行い、現在高速フーリエ変換データについて所定の大きさ以上の信号をもたらす周波数に基づいてクラスタリングを行い、クラスタリング結果の差異を計算する。

【0073】

これにより、蓄積された定常高速フーリエ変換データの教師なし学習の一例の形態が提供される。クラスタリングの手法が用いられることにより、動体６の接近のない状態でのクラスターと動体６の接近のある状態でのクラスターとに分けることができ、接近する動体６の有無が明確となる。

【0074】

（４）（１）から（３）の何れか１つの接近動体検出方法は、第１の集音ステップにおいて、洋上風力発電設備を建設しようとする海域において集音が行われる。

【0075】

これにより、洋上という監視のし難い場所において、接近する動体６を検出することができる。

【0076】

（５）（１）から（４）の何れか１つの接近動体検出方法は、動体検出ステップにて、異常音の音圧が時間の経過とともに大きくなる場合に動体６が接近してくると検出する。

【0077】

これにより、動体６が出現したというだけでなく、動体６が接近しきていることをより明確に検出することができる。

【0078】

（６）（１）から（５）の何れか１つの接近動体検出方法は、動体検出ステップにて、異常周波数が所定の周波数である場合に、接近する動体６があると検出する。

【0079】

これにより、周波数という限られた動体６の情報に基づいて、接近する動体６があることを検出することができる。

【0080】

（７）（１）から（６）の何れか１つの接近動体検出方法は、異常周波数の分布のデータベースを構築するステップを更に有し、動体検出ステップは、検出された異常周波数の分布とデータベースとに基づいて接近してくる動体６を特定するステップを有する。

【0081】

これにより、正常状態についての教師なし学習に基づいての判定に加えて、異常状態についての判定が明確になる。

【0082】

（８）（１）から（７）の何れか１つの接近動体検出方法は、動体検出ステップにて、異常周波数が時間の経過とともに高い周波数から低い周波数に移行した場合、動体６が接近して来た後離反したと検出する。

【0083】

これにより、動体６が出現したというだけでなく、動体６が接近しきていることをより明確に検出することができる。

【0084】

（９）接近動体検出システム１００は、接近してくる動体６を検出する接近動体検出システム１００であって、集音装置２と録音装置３と情報処理装置１とを有し、集音装置２は、接近してくる動体６のない状態における周囲音である定常周囲音を集音し、更に、現在の周囲音である現在周囲音を集音し、録音装置３は、集音した定常周囲音を録音し、更に、現在周囲音を録音し、情報処理装置１は録音された定常周囲音を高速フーリエ変換する高速フーリエ変換部１０２と、高速フーリエ変換された定常周囲音のデータである定常高速フーリエ変換データを保存する記憶部１８と、現在周囲音を高速フーリエ変換する高速フーリエ変換部１０２と、高速フーリエ変換された現在周囲音のデータである現在高速フーリエ変換データを保存する記憶部１８と、定常高速フーリエ変換データと現在高速フーリエ変換データとの差異を計算する差異計算部１０４と、差異の大きさと差異が生じている周波数である異常周波数を特定する異常周波数特定部１０５と、異常周波数を含み高速フーリエ変換していない音信号である異常音をバンドパスフィルタを用いて抽出する異常音抽出部１０６と、異常音又は／及び異常周波数とに基づいて接近してくる動体６を検出する動体検出部１０７と、を有する。

【0085】

これにより、予め設定登録された動体６のデータの有無に依らず接近する動体６を検出する、接近動体検出システム１００が提供される。

【0086】

（１０）情報処理装置１は、接近してくる動体６の有無を判定するための学習モデルを構築する情報処理装置であって、周囲音に基づくデータを入力データとして取得する入力データ取得手段と、周囲音の入力データにおいて接近してくる動体６の有無の判定結果をラベルとして取得するラベル取得手段と、入力データとラベルとの組を教師データとし教師あり学習を行うことにより、現在の周囲音に基づいて接近してくる動体６の有無を判定するための学習モデルを構築する学習モデル構築手段と、を備える。

【0087】

これにより、動体６自体の情報がない状態においても、過去に於ける接近する動体６の有無の判定結果の情報のみに基づいて、接近する動体６の有無を判定することができる。

【0088】

（１１）（１０）に記載の情報処理装置１において、周囲音に基づくデータは、周囲音を高速フーリエ変換したデータである。

【0089】

これにより、周囲音の周波数に基づいて接近する動体６の有無を判定することができる。

【0090】

（１２）（１０）又は（１１）の情報処理装置１において、ラベル取得手段が、（１）における動体検出ステップの検出結果に対する正誤の判定結果をラベルとして取得する。

【0091】

これにより、教師なし学習の結果を教師として教師有り学習をさせることになり、動体６の検出がより確実で速く実現され得る。

【符号の説明】

【0092】

１ 情報処理装置
２ 集音装置
３ 録音装置
４ 通信装置
５ 洋上風力発電設備
６ 動体
６ａ 無人飛行ドローン
６ｂ 船舶
１０ 制御部
１１ プロセッサ
１２ ＲＯＭ
１３ ＲＡＭ
１４ バス
１５ 入出力インタフェース
１６ 入出力部
１７ 通信手段
１８ 記憶部
１００ 接近動体検出システム
１０１ 周囲音受付部
１０２ 高速フーリエ変換部
１０３ データ蓄積部
１０４ 差異計算部
１０５ 異常周波数特定部
１０６ 異常音抽出部
１０７ 動体検出部
１０８ クラスタリング部
１０９ 入力データ取得部
１１０ ラベル取得部
１１１ 学習モデル構築部
１１２ 学習モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】