特許 7516685 漏液検査支援装置、漏液検査支援方法、及び判別モデル作成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】漏液検査支援装置、漏液検査支援方法、及び判別モデル作成装置

(51)【国際特許分類】

   G01N 29/44 20060101AFI20240708BHJP

   G01M 3/24 20060101ALI20240708BHJP

   F17D 5/06 20060101ALI20240708BHJP

【ＦＩ】

G01N29/44

G01M3/24 B

F17D5/06

【請求項の数】 7

(21)【出願番号】P 2023568604

(86)(22)【出願日】2023-11-06

(86)【国際出願番号】 JP2023039932

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000112691

【氏名又は名称】フジテコム株式会社

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】南 泳旭

【審査官】井上 徹

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０１９９５３３（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０２０－００９２５０３（ＫＲ，Ａ）

【文献】南 泳旭、外3名，リカレンスプロットの活用と畳み込みNNによる漏水判別モデルの構築，土木学会論文集Ｇ（環境），2021年03月08日，第７６巻第６号，第２７３頁～第２８４頁

【文献】川村 和湖、外７名，音圧ヒストグラムを活用した水道管路の漏水判別モデル，土木学会論文集Ｇ（環境），2018年04月01日，第７３巻第６号，第９３頁～第１００頁

【文献】南 泳旭、外４名，時系列データの決定論的性質に着目した水道管路の漏水判別，土木学会論文集Ｇ（環境），2020年03月16日，第７５巻第６号，第２１９頁～第２３０頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２９／００－Ｇ０１Ｎ ２９／５２

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｍ ３／００－Ｇ０１Ｍ ３／４０

Ｆ１７Ｄ １／００－Ｆ１７Ｄ ５／０８

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が暗騒音であるか否かを示す情報が出力される第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報が出力される第２判別モデルとを含んで構成される判別モデルを記憶する記憶装置、及び、
音のデータを取得するデータ取得処理と、
取得した音のデータが示す音圧及び周波数の時系列変化を、所定のアルゴリズムにより画像データに変換する画像データ生成処理と、
前記画像データを、前記第１判別モデルに入力することにより、前記画像データが示す音が暗騒音であるか否かを示す情報を出力する第１判別処理と、
前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したか否かを判定し、前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したと判定した場合に、前記画像データを前記第２判別モデルに入力することにより、前記画像データが示す音が漏液音又は擬似漏液音のいずれであることを示す情報を出力する第２判別処理とを実行する制御装置
を備える、漏液検査支援装置。

【請求項2】

前記記憶装置は、音の音圧及び周波数の時系列変化を示す画像データが入力される入力層、前記入力された画像データの特徴量が抽出される中間層、及び、前記入力層及び前記中間層に基づき、前記画像データが示す音が暗騒音であるか否かを示す情報が出力される出力層を有する第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力される入力層、前記入力された画像データの特徴量が抽出される中間層、及び、前記入力層及び前記中間層に基づき、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報が出力される出力層を有する第２判別モデルと、を記憶し、
前記制御装置は、
前記第１判別処理において、前記画像データを、前記第１判別モデルの入力層に入力することにより、前記画像データが示す音が暗騒音であるか否かを示す情報を前記第１判別モデルの出力層より出力し、
前記第２判別処理において、前記画像データを、前記第２判別モデルの入力層に入力することにより、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報を前記第２判別モデルの出力層より出力する、
請求項１に記載の漏液検査支援装置。

【請求項3】

前記制御装置は、
前記第１判別処理において、前記画像データを分割して得られた各画像データを前記第１判別モデルにそれぞれ入力することにより、前記各画像データが示す音が暗騒音であるか否かを示す情報をそれぞれ出力し、出力した各情報が示す内容に基づき、前記各画像データが示す音が暗騒音であるか否かが不明であるか否かを判定し、前記各画像データが示す音が暗騒音であるか否かが不明であると判定した場合には、前記画像データが示す音が暗騒音でないことを示す情報を出力する、
請求項１に記載の漏液検査支援装置。

【請求項4】

前記記憶装置は、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が漏液音又は所定種類の擬似漏液音であることを示す情報が出力される第２判別モデルを、複数の前記所定種類について記憶し、
前記制御装置は、
前記第２判別処理において、前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したと判定した場合に、全ての第２判別モデルが、前記画像データが示す音が漏液音であることを示す情報を出力したか否かを判定し、前記全ての第２判別モデルが前記画像データが示す音が漏液音であることを示す情報を出力したと判定した場合に、前記画像データが示す音が漏液音であることを示す情報を出力する、
請求項１に記載の漏液検査支援装置。

【請求項5】

前記制御装置は、
前記第２判別処理において、前記全ての第２判別モデルのうち複数の第２判別モデルが、前記画像データが示す音が擬似漏液音であることを示す情報を出力したと判定した場合に、前記画像データが示す音が、前記複数の第２判別モデルのうち最も精度が高い第２判別モデルに係る種類の擬似漏液音であることを示す情報を出力する、
請求項４に記載の漏液検査支援装置。

【請求項6】

音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が暗騒音であるか否かを示す情報が出力される第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報が出力される第２判別モデルとを含んで構成される判別モデルを記憶する記憶装置、及び、制御装置を備える情報処理装置による漏液検査支援方法であって、
前記制御装置が、
音のデータを取得するデータ取得処理と、
取得した音のデータが示す音圧及び周波数の時系列変化を、所定のアルゴリズムにより画像データに変換する画像データ生成処理と、
前記画像データを、前記第１判別モデルに入力することにより、前記画像データが示す音が暗騒音であるか否かを示す情報を出力する第１判別処理と、
前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したか否かを判定し、前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したと判定した場合に、前記画像データを前記第２判別モデルに入力することにより、前記画像データが示す音が漏液音又は擬似漏液音のいずれであることを示す情報を出力する第２判別処理とを実行する、
漏液検査支援方法。

【請求項7】

音の音圧及び周波数の時系列変化を示す画像データと、前記画像データが示す音が漏液音、擬似漏液音、又は、前記漏液音及び前記擬似漏液音以外の音である暗騒音のいずれであるかを示す情報とを含む教師データを記憶する記憶装置、及び、
前記教師データに基づき、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が暗騒音であるか否かを示す情報が出力される第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報が出力される第２判別モデルとを含んで構成される判別モデルを作成する制御装置を備える、判別モデル作成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、漏液検査支援装置、漏液検査支援方法、及び判別モデル作成装置に関する。

【背景技術】

【0002】

水道管路等で行われる漏水検査においては、音聴法（非特許文献１）、又は音圧ロガー（非特許文献２）を用いた検査が採用されることが多い。

【先行技術文献】

【非特許文献】

【0003】

【文献】”管路音圧監視システム LNL-1”、［online］、［令和５年（２０２３年）９月１２日検索］、インターネット（URL: https://www.fujitecom.co.jp/products/lnl-1/）

【文献】”金の音聴棒 LSPシリーズ”、［online］、［令和５年（２０２３年）９月１２日検索］、インターネット（URL: https://www.fujitecom.co.jp/products/lsp/）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、音聴法による漏水検知は、検査員の音聴能力に大きく左右されるため、検査精度が不安定になる（例えば、漏水の規模によって検査精度が異なる）おそれがある。

【0005】

また、音圧ロガーは音圧レベルを活用し漏水を検知するものであるから、例えば同じ振動の強さを持つ擬似漏水音（例えば、電柱のトランス、浄化槽ブロアポンプの振動音）を漏水と誤判定するおそれがある。この場合、確認調査のための現場への無効派遣が増加し、業務効率が低下する。

【0006】

本発明は、このような背景に鑑みてなされたものであり、漏液検査を精度よく行うことを支援することが可能な漏液検査支援装置、漏液検査支援方法、及び判別モデル作成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するための本発明の一つは、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が暗騒音であるか否かを示す情報が出力される第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報が出力される第２判別モデルとを含んで構成される判別モデルを記憶する記憶装置、及び、音のデータを取得するデータ取得処理と、取得した音のデータが示す音圧及び周波数の時系列変化を、所定のアルゴリズムにより画像データに変換する画像データ生成処理と、前記画像データを、前記第１判別モデルに入力することにより、前記画像データが示す音が暗騒音であるか否かを示す情報を出力する第１判別処理と、前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したか否かを判定し、前記第１判別モデルが、前記画像データが示す音が暗騒音でないことを示す情報を出力したと判定した場合に、前記画像データを前記第２判別モデルに入力することにより、前記画像データが示す音が漏液音又は擬似漏液音のいずれであることを示す情報を出力する第２判別処理とを実行する制御装置を備える、漏液検査支援装置である。

【0008】

上記課題を解決するための本発明の他の一つは、音の音圧及び周波数の時系列変化を示す画像データと、前記画像データが示す音が漏液音、擬似漏液音、又は、前記漏液音及び前記擬似漏液音以外の音である暗騒音のいずれであるかを示す情報とを含む教師データを記憶する記憶装置、及び、前記教師データに基づき、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が暗騒音であるか否かを示す情報が出力される第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力され、前記画像データが示す音が漏液音又は擬似漏液音であることを示す情報が出力される第２判別モデルとを含んで構成される判別モデルを作成する制御装置を備える、判別モデル作成装置である。

【発明の効果】

【0009】

本発明によれば、漏液検査を精度よく行うことを支援することができる。

【0010】

上記した以外の構成及び効果等は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る漏液検査支援システムの構成の一例を示す図である。

【図2】漏液検査支援装置が備えるハードウェア及び漏液検査支援装置が備える機能の一例を説明する図である。

【図3】漏液検査支援システムで行われる処理の概要を説明するフロー図である。

【図4】判別モデル作成処理の処理の詳細を説明するフロー図である。

【図5】前処理の詳細を説明するフロー図である。

【図6】画像データ生成処理の詳細を説明するフロー図である。

【図7】モデル学習処理の詳細を説明するフロー図である。

【図8】漏水音判別処理を説明するフロー図である。

【図9】判別処理の詳細を説明するフロー図である。

【図10】対象画像データの分割方法の例を示す図である。

【図11】漏水音判別処理の一例を示す図である。

【発明を実施するための形態】

【0012】

本発明の実施の形態について、図面を参照しつつ説明する。

【0013】

図１は、本実施形態に係る漏液検査支援システム１の構成の一例を示す図である。漏液検査支援システム１は、録音装置１０、漏液検査支援装置２０、及び検査者端末３０の各情報処理装置を含んで構成される。各情報処理装置の間は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、又は専用線等の有線又は無線の通信ネットワーク５により通信可能に接続されている。

【0014】

漏液検査支援システム１は、所定の検査エリアにて行われる漏液検査を支援する情報処理システムである。本実施形態では、漏液検査支援システム１は、上水道又は下水道等の管路を流れる水の漏水検査を支援するものとする。

【0015】

録音装置１０は、所定の検査エリアにて漏水検査を行う検査者が使用する装置である。録音装置１０は、検査エリアの所定位置に設定され又は検査者により把持され、検査エリアで発生する音を、継続的に又は所定のタイミング（例えば、所定の時刻、所定の時間間隔、又は検査者端末３０等により指定されたタイミング）で録音する。録音装置１０は、例えば、マイク（集音装置）等から構成される。

【0016】

録音装置１０が録音した音のデータ（録音データ）は、漏液検査支援装置２０に送信される。なお、録音装置１０が録音した録音データは、所定の外部の情報処理システム（例えば、所定のデータベース、クラウド等）に送信され、漏液検査支援装置２０がその情報処理システムから録音データを受信するようにしてもよい。また、検査者が、録音装置１０が録音した録音データを所定の記憶媒体に格納し、この記憶媒体により漏液検査支援装置２０に録音データを記憶させてもよい。

【0017】

ここで、録音装置１０が録音する音は、検査エリア内外の所定位置から継続的に発生する漏水音以外の音である、擬似漏水音（擬似漏液音）又は暗騒音である可能性がある。擬似漏水音は、漏水音と同様に継続的に発生する音であり、また、その音圧も漏水音と同じ又は類似するが、漏水音とは異なる。擬似漏水音は、例えば、電柱のトランスからの音、又は浄化槽のブロアポンプの振動音である。一方、暗騒音は、擬似漏水音及び暗騒音以外の音であり、例えば、街の雑踏の音、又は自動車の走行音である。

【0018】

そこで、漏液検査支援装置２０は、録音装置１０から取得した録音データを後述する判別モデルにより解析し、その録音データが示す音が漏水音、擬似漏水音、又は暗騒音のいずれかであるかを判別する。

【0019】

検査者端末３０は、検査者が使用する情報処理装置であり、漏液検査支援装置２０による判別結果等の情報を画面に表示する。

【0020】

図２は、漏液検査支援装置２０が備えるハードウェア及び漏液検査支援装置２０が備える機能の一例を説明する図である。まず、漏液検査支援装置２０は、ＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＧＰＵ(Graphics Processing Unit)、ＦＰＧＡ(Field-Programmable Gate Array)などの制御装置２１、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置２２、キーボード、マウス、又はタッチパネル等の入力装置２３、液晶モニタ又はＬＣＤ（Liquid Crystal Display）等の出力装置２４、ＮＩＣ(Network Interface Card)、無線通信モジュール、USB (Universal Serial Interface)モジュール、又はシリアル通信モジュール等で構成される通信装置２５の各ハードウェアを備える。なお、検査者端末３０も漏液検査支援装置２０と同様のハードウェアを備える。

【0021】

また、漏液検査支援装置２０は、データ取得部５１、前処理部５２、画像データ生成部５３、判別モデル作成部５４、及び判別部５５の各機能部（プログラム）を有する。

【0022】

データ取得部５１は、録音装置１０が録音した又は外部の情報処理システム（データベース、クラウド等）に記憶されているデータ（音のデータ）を取得する。

【0023】

前処理部５２は、データ取得部５１で取得した音のデータから、不要なノイズ等（例えば、車両の通過音等の突発的な（一時的な）音）のデータ部分を除去する。

【0024】

画像データ生成部５３は、前処理部５２でノイズ等を除去した音のデータが示す音圧及び周波数の時系列変化を、所定のアルゴリズムにより画像データに変換する。

【0025】

判別モデル作成部５４は、所定の教師データに基づき、音の音圧及び周波数の時系列変化を示す画像データが入力され、その画像データが示す音が漏液音、擬似漏液音、又は、漏液音及び擬似漏液音以外の音である暗騒音のいずれであるかを示す情報が出力される判別モデルを作成する。

【0026】

なお、漏液検査支援装置２０は、上記教師データとして、音の音圧及び周波数の時系列変化を示す画像データと、その画像データが示す音が漏液音、擬似漏液音、又は暗騒音のいずれであるかを示す情報とを含むデータを記憶している。

【0027】

本実施形態では、判別モデルは、第１判別モデル及び複数の第２判別モデルからなるものとする。具体的には、第１判別モデルは、音の音圧及び周波数の時系列変化を示す画像データが入力され、その画像データが示す音が暗騒音であるか否かを示す情報が出力される。第２判別モデルは、音の音圧及び周波数の時系列変化を示す画像データが入力され、その画像データが示す音が漏水音又は擬似漏水音のいずれかであることを示す情報が出力される。第２判別モデルは、擬似漏水音の各種類ごとに生成される。

【0028】

なお、本実施形態では、第１判別モデルは、画像データが示す音が暗騒音であると判定した場合には「０」を出力し、画像データが示す音が暗騒音ではないと判定した場合には「１」を出力するものとする。また、第２判別モデルは、画像データが示す音が漏水音であると判定した場合には「１」を出力し、画像データが示す音が擬似漏水音であると判定した場合には「０」を出力するものとする。なお、各判別モデルは、画像データが示す音の種類を確率値によって出力してもよい。

【0029】

判別部５５は、画像データ生成部５３が変換した画像データを、判別モデルに入力することにより、画像データ生成部５３が変換した画像データが示す音が漏水音、擬似漏水音、又は、暗騒音のいずれであるかを示す情報を出力する。具体的には、判別部５５は、第１判別部５５１、及び第２判別部５５２を有する。

【0030】

第１判別部５５１は、画像データ生成部５３が変換した画像データを、第１判別モデルに入力することにより、その画像データが示す音が暗騒音であるか否かを示す情報を出力する。

【0031】

第２判別部５５２は、第１判別モデルが上記画像データが示す音が暗騒音でないことを示す情報を出力したか否かを判定し、第１判別モデルが上記画像データが示す音が暗騒音でないことを示す情報を出力したと判定した場合に、その画像データを第２判別モデルに入力することにより、その画像データが示す音が漏液音又は擬似漏液音のいずれであるかを示す情報を出力する。

【0032】

以上に説明した漏液検査支援装置２０の各機能部は、制御装置２１が、記憶装置２２に格納されている各プログラムを読み出して実行することにより実現される。また各プログラムは、例えば、記録媒体に記録して配布することができる。なお、漏液検査支援装置２０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、漏液検査支援装置２０によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ (Application Programming Interface)等を介して提供するサービスによって実現してもよい。

【0033】

次に、漏液検査支援システム１で行われる処理の詳細を説明する。

【0034】

＜処理の概要＞
図３は、漏液検査支援システム１で行われる処理の概要を説明するフロー図である。

【0035】

まず、漏液検査支援装置２０は、判別モデル（第１判別モデル、第２判別モデル）を生成する判別モデル作成処理ｓ１を実行する。判別モデル作成処理ｓ１は、例えば、漏液検査支援装置２０が管理者から所定の入力を受け付けた場合、又は所定のタイミング（例えば、所定の時刻、所定の時間間隔等）で実行される。判別モデル作成処理ｓ１の詳細は後述する。

【0036】

その後、漏液検査支援装置２０は、検査エリアの音（以下、判定対象音という）のデータを、判別モデル作成処理ｓ１で生成した判別モデルに入力することで、検査エリアで発生している音を判別する漏水音判別処理ｓ２を実行する。漏水音判別処理ｓ２は、例えば、漏液検査支援装置２０が管理者（検査者端末３０）から所定の入力を受け付けた場合に実行される。漏水音判別処理ｓ２の詳細は後述する。

【0037】

その後、漏液検査支援装置２０は、漏水音判別処理ｓ２の実行の結果特定された、判定対象音の種類（漏水音、暗騒音、又は擬似漏水音（トランス音等））を示す情報を、検査者端末３０の画面に表示する。

【0038】

なお、判別モデル作成処理ｓ１及び漏水音判別処理ｓ２はそれぞれ繰り返し実行されてもよい。

【0039】

以下、各処理の詳細を説明する。

【0040】

＜判別モデル作成処理＞
図４は、判別モデル作成処理ｓ１の処理の詳細を説明するフロー図である。

【0041】

まず、データ取得部５１は、音データ及び正解データを教師データとして取得する（ｓ１１）。例えば、データ取得部５１は、録音装置１０が録音した、又は外部の情報処理システム（データベース、クラウド等）に記憶されている音データのうち、その音の種類（漏水音、各種の擬似漏水音、又は暗騒音）を示す情報が付帯している音データ（すなわち、音の種類が事前に判明している音データ）を特定し、特定した音データと、その音データの種類を示す情報とを取得する。

【0042】

そして、前処理部５２は、ｓ１１で取得した各音データに対して、その音に含まれているノイズを除去する前処理ｓ１３を実行する。前処理ｓ１３の詳細は後述する。

【0043】

画像データ生成部５３は、前処理ｓ１３でノイズを除去した各音データを、判別モデルの入力値として使用可能な画像データに変換する画像データ生成処理ｓ１５を実行する。画像データ生成処理ｓ１５の詳細は後述する。

【0044】

判別モデル作成部５４は、画像データ生成部５３で生成した画像データと、その画像データに対応する音の種類（漏水音、各擬似漏水音、又は暗騒音）とに基づき判別モデルを生成するモデル学習処理ｓ１７を実行する。モデル学習処理ｓ１７の詳細は後述する。

【0045】

＜前処理＞
図５は、前処理ｓ１３の詳細を説明するフロー図である。前処理部５２は、ｓ１１で取得した音データを選択する（ｓ１３１）。

【0046】

前処理部５２は、ｓ１３１で選択した音データ（以下、選択音データという）から、所定の周波数以上の周波数部分及び所定の周波数以下の周波数部分をそれぞれ除去する（ｓ１３２）。例えば、前処理部５２は、音データに対して、漏水音が取り得る周波数帯以外の周波数に対して、伝達関数等を用いて、ローパスフィルタ（Low Pass Filter：LPF）及びハイパスフィルタ（High Pass Filter：HPF）をかける。

【0047】

次に、前処理部５２は、選択音データに対してオーバーオール値（OA値：全周波数のパワー値の総和）を計算する（ｓ１３３）。

【0048】

例えば、まず、前処理部５２は、選択音データに対して複数のデータ区間（時間区間）を設定する（例えば、２の階乗数のデータ区間を設定する）。前処理部５２は、各データ区間の音データに対して高速フーリエ変換（Fast Fourier Transform：FFT）を行うことで、オーバーオール値を算出する。なお、前処理部５２は、特定の周波数のみを対象としたパーシャルオーバーオール値をそれぞれ算出してもよい。

【0049】

次に、前処理部５２は、選択音データに対してフィルタリングを行うための閾値を決定する（ｓ１３４）。

【0050】

例えば、前処理部５２は、ある閾値を設定し、選択音データの各データ区間に対して、閾値以下のオーバーオール値のデータ区間の長さを特定する。オーバーオール値が閾値以下のデータ区間の長さが所定の長さ（最大データ区間量）より大きい場合は、前処理部５２は、オーバーオール値が閾値以下のデータ区間の長さが最大データ区間量以下となるように当該閾値を変更し（例えば、閾値を所定量増加させる）、オーバーオール値が変更した閾値以下のデータ区間の長さを特定する。一方、オーバーオール値が閾値以下のデータ区間の長さが所定の長さ（最小データ区間量）より小さい場合は、前処理部５２は、オーバーオール値が閾値以下のデータ区間の長さが最小データ区間量以上となるように閾値を変更し（例えば、閾値を所定量減少させる）、オーバーオール値が変更した閾値以下のデータ区間の長さを特定する。前処理部５２は、オーバーオール値が閾値以下のデータ区間の長さが最小データ区間量以上最大データ区間量以下になるまで、このような処理を繰り返す。

【0051】

次に、前処理部５２は、選択音データから、ｓ１３４で決定したオーバーオール値が閾値以下の各データ区間の選択音データを抽出し、抽出した各データ区間の選択音データを結合することで、選択音データを修正する（ｓ１３５）。なお、前処理部５２は、ｓ１３４で、データ区間の長さが最小データ区間量以上となる閾値を決定できなかった場合は、所定の音データを追加してもよい。例えば、前処理部５２は、結合したデータの所定の冒頭区間を複製したデータを生成し、生成したデータを上記結合したデータに追加する。

【0052】

前処理部５２は、ｓ１３５で修正した選択音データに対してアンチエイリアシングフィルタをかける（ｓ１３６）。例えば、前処理部５２は、ｓ１３５で修正した選択音データに対してローパスフィルタ又はハイパスフィルタをかけ、データを間引く。

【0053】

前処理部５２は、ｓ１３６でアンチエイリアシングフィルタをかけた選択音データに対してサンプリング（ダウンサンプリング又はアップサンプリング）を行うことで、当該選択音データを目的の周波数のデータに変更する（ｓ１３７）。

【0054】

前処理部５２は、ｓ１３７で生成した音データを、所定のフォーマットの音データに変換する（ｓ１３８）。

【0055】

前処理部５２は、ｓ１３２～ｓ１３８の処理を行っていない音データがあるか否かを判定する（ｓ１３９）。ｓ１３２～ｓ１３８の処理を行っていない音データがある場合は（ｓ１３９：ＹＥＳ）、前処理部５２はその音データを選択すべくｓ１３１の処理を繰り返す。ｓ１３２～ｓ１３８の処理を行っていない音データがない場合は（ｓ１３９：ＮＯ）、前処理ｓ１３は終了する。

【0056】

＜画像データ生成処理＞
図６は、画像データ生成処理ｓ１５の詳細を説明するフロー図である。

【0057】

画像データ生成部５３は、前処理ｓ１３で生成した時系列の音データの一つを選択する（ｓ１５１）。

【0058】

画像データ生成部５３は、選択した音データを、アトラクタの形式に再構成する（ｓ１５２）。例えば、画像データ生成部５３は、音データにおける各データ点を、三次元の時間遅れ直交系の座標に変換する。

【0059】

画像データ生成部５３は、ｓ１５２で再構成した各データに基づき、アトラクタにおけるデータの特徴量を算出する（ｓ１５３）。例えば、画像データ生成部５３は、軌道平行測度法（Trajectory Parallel Measure Method: TPM Method）により、データの軌跡の平行度（TPM）を算出する。

【0060】

画像データ生成部５３は、ｓ１５３で算出した各特徴量を、二次元のマトリクス上の値に変換する（ｓ１５４）。例えば、画像データ生成部５３は、アトラクタにおける各データの組み合わせを表す二次元座標系に、データ間の距離を割り当てる。

【0061】

画像データ生成部５３は、ｓ１５４で変換した二次元のマトリクスを二次元の画像データとする（ｓ１５５）。例えば、画像データ生成部５３は、その長軸方向を時間軸方向とする長方形状の画像データを生成する。

【0062】

なお、ここで説明した音データの画像化（モノクロの二次元平面図への変換）は、リカレンスプロット（recurrence plot：RP）として知られている（Eckmann, J. P., Kamphorst, S. O. and Ruelle, D.：Recurrence Plots of Dynamical Systems, Europhys. Lett., Vol.4, No.9, pp.973-977, 1987.）。リカレンスプロットは、時系列データを画像データで表現する方法の一つであり、カオス理論において用いられる。リカレンスプロットにおける二次元平面図は、縦軸及び横軸を共に時間軸としており、「２つの対応する時刻の状態間の距離が近ければ対応する場所に点を打ち、そうでなければ点を打たない」ことで定義可能である。この二次元平面図は、ノルムを用いた以下の式１で表すことができる。

【0063】

Ｄｉ，ｊ ＝ Θ（ε－｜｜Ｘｉ－Ｘｊ｜｜） ・・・（式１）

【0064】

ここでXi∈Dm、Di,jは距離マトリックス（i,j=1, 2, …, N）、mは埋め込み次元、Θはヘヴィサイド関数（Heaviside function）、εは閾値である。リカレンスプロットは、リカレンスポイント（Di,j=1となる点）を全てのiとjの組み合わせについてプロットすることで作成される。リカレンスプロットの２次元画像は、矩形の画像における対角線を軸とした左右対称の画像となる。２次元画像において音の周波数は、色（濃淡）の繰り返し密度として反映される。

【0065】

なお、式１のようなヘヴィサイド関数及び閾値を用いず、計算値（||Xi－Xj||）の比較を通じて複数の段階に分けられた色を持つリカレンスプロットの作成方法を採用してもよい（Iwanski, J. S. and Bradley, E.：Recurrence plots of exper-imental data: To embed not to embed?, Chaos, An Interdis-ciplinary Journal of Nonlinear Science, Vol.8, No.4, pp.861-871, 1998.；Choi, J. M., Bae, B. H. and Kim, S. Y.：Divergence in perpendicular recurrence plot; quantification of dynamical divergence from short chaotic time series, Physics Letters A, Vol.263, No.4-6, pp.299-306, 1999.）。

【0066】

なお、ヘヴィサイド関数及び閾値を用いないリカレンスプロットである閾値無しリカレンスプロット（unthresholded recurrence plot: UTRP）又はグローバルリカレンスプロット（global recurrence plot）を採用してもよい（Iwanski, J. S. and Bradley, E.：Recurrence plots of exper-imental data: To embed not to embed?, Chaos, An Interdis-ciplinary Journal of Nonlinear Science, Vol.8, No.4, pp.861-871, 1998.；Webber JR., C. L., Recurrence Quantification Analysis, 2003. URL: http://homepages.luc.edu/~cwebber.）。UTRPは、ノルムを用いた以下の式２で表される。

【0067】

Ｄｉ，ｊ ＝ ｜｜Ｘｉ－Ｘｊ｜｜ ・・・（式２）

【0068】

本実施形態では、Hz単位で敏感に変化する音の周波数の特徴を詳細に表現するために、UTRPを採用するものとする。

【0069】

画像データ生成部５３は、ｓ１５１～ｓ１５５の処理を行っていない音データがあるか否かを判定する（ｓ１５６）。ｓ１５１～ｓ１５５の処理を行っていない音データがある場合は（ｓ１５６：ＹＥＳ）、画像データ生成部５３はその音データを選択すべくｓ１５１の処理を繰り返す。ｓ１５１～ｓ１５５の処理を行っていない音データがない場合は（ｓ１５６：ＮＯ）、画像データ生成処理ｓ１５は終了する。

【0070】

＜モデル学習処理＞
図７は、モデル学習処理ｓ１７の詳細を説明するフロー図である。

【0071】

判別モデル作成部５４は、画像データ生成処理ｓ１５で生成した、判別モデル構築に必要な教師データとしての画像データを取得する（ｓ１７１）。

【0072】

例えば、判別モデル作成部５４は、第１判別モデルを構築する場合は、暗騒音の各画像データ及び漏水音の各画像データを取得する。また、判別モデル作成部５４は、第２判別モデルを構築する場合は、漏水音の各画像データ及びいずれかの種類の擬似漏水音の各画像データを取得する。

【0073】

判別モデル作成部５４は、ｓ１７１で取得した各画像データと、各画像データの正解データ（「漏水音」、「暗騒音」「トランス」等）とに基づき所定の機械学習を行うことで、判別モデル（暗騒音とそれ以外とを区別する第１判別モデル、又は、漏水音と各種の擬似漏水音とを判別する複数の第２判別モデル）を生成する。判別モデル作成部５４は、複数回（エポック）、機械学習を行う。

【0074】

本実施形態では、判別モデルは、入力値が入力される入力層と、入力値から特徴量を抽出して出力する１又は複数の中間層（プーリング層、全結合層等）と、入力値及び中間層に基づく出力値が出力される出力層とを有するニューラルネットワークとする。ニューラルネットワークとしては、例えば、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）があるが、本実施形態ではＣＮＮを採用するものとする。この場合、判別モデル作成部５４は、学習中の判別モデルの出力値と、正解データとが一致するように、各ハイパーパラメータの値をチューニング（調節）する。

【0075】

なお、判別モデルは、ニューラルネットワーク以外にも、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は回帰木等を適用したモデルを採用してもよい。さらに、各判別モデルは、このような学習済みモデル以外にも、所定の条件式又は関数式の組み合わせ、データベース等の他のデータ形式であることを妨げない。

【0076】

判別モデル作成部５４は、所定エポック数機械学習を行ったか確認する（ｓ１７３）。所定エポック数機械学習を行った場合は（ｓ１７３：ＹＥＳ）、判別モデル作成部５４はｓ１７４の処理を実行し、所定エポック数機械学習を行っていない場合は（ｓ１７３：ＮＯ）、判別モデル作成部５４はｓ１７２の処理を繰り返す。

【0077】

ｓ１７４において判別モデル作成部５４は、ｓ１７２で生成した生成した各エポックの判別モデルの精度を推定する。

【0078】

例えば、判別モデル作成部５４は、ｓ１７１で取得した画像データとは別の各画像データと、その各画像データの正解データとを取得する。判別モデル作成部５４は、取得した各画像データをｓ１７２で生成した各エポックの判別モデルにそれぞれ入力することにより、出力値を混同行列（Confusion Matrix）として得る。判別モデル作成部５４は、混同行列に基づき、判別モデルのバランス正解率（Balnced Accuracy）をエポックごとに算出する。

【0079】

そして、判別モデル作成部５４は、ｓ１７４で推定した各精度に基づき、最も精度が高いエポックの判別モデルを、採用すべき判別モデルとして記憶する。

【0080】

画像データ生成部５３は、ｓ１７２～ｓ１７５の処理を行っていない判別モデルがあるか否かを判定する（ｓ１７６）。ｓ１７２～ｓ１７５の処理を行っていない音データがある場合は（ｓ１７６：ＹＥＳ）、画像データ生成部５３はその音データを選択すべくｓ１７１の処理を繰り返す。ｓ１７２～ｓ１７５の処理を行っていない音データがない場合は（ｓ１７６：ＮＯ）、モデル学習処理ｓ１７は終了する。

【0081】

＜漏水音判別処理＞
図８は、漏水音判別処理ｓ２を説明するフロー図である。

【0082】

まず、判別部５５は、判別する音（判別対象音）の音データを取得する（ｓ２１）。例えば、判別部５５は、検査者端末３０に所定の入力画面を表示し、検査者端末３０から、判別する音の音データの指定の入力を検査者から受け付ける。

【0083】

画像データ生成部５３は、ｓ２１で取得した音データ（以下、判定対象音データという）に対して、前記した前処理ｓ１３と同様の処理を行い、判定対象音データに含まれるノイズを除去する（ｓ２２）。

【0084】

画像データ生成部５３は、前記した画像データ生成処理ｓ１５と同様の処理を行い、ｓ２２でノイズを除去した判定対象音データを画像データに変換する（ｓ２３）。

【0085】

判別部５５は、判別モデル作成処理ｓ１で生成した各判別モデル（第１判別モデル、第２判別モデル）に、ｓ２３で変換した判定対象音データ（以下、対象画像データという）を入力することで、判定対象音データが示す音の種類を判別する判別処理ｓ２５を実行する。判別処理ｓ２５の詳細は次述する。

【0086】

＜判別処理＞
図９は、判別処理ｓ２５の詳細を説明するフロー図である。

【0087】

判別部５５は、対象画像データを複数の画像データに分割し取得する（ｓ２５１）。

【0088】

ここで、図１０は、対象画像データの分割方法の例を示す図である。

【0089】

例えば、判別部５５は、対象画像データ１０１０の長方形の領域を所定軸（例えば、長軸）方向に等間隔で所定数の部分１０１１に分割することで、対象画像データを、複数の同形状の矩形の画像データに分割して各部分１０１１を取得する（連続/等間隔）。すなわち、判別部５５は、対象画像データを時系列的に等間隔に分割する。

【0090】

また、例えば、判別部５５は、対象画像データ１０２０の長方形の領域を所定軸（例えば、長軸）方向に等間隔で分割し、分割した各部分から所定間隔でその一部１０２１を選択する（例えば、上記所定軸に沿って１つおきに各部分を選択する）ことで、対象画像データを複数の同形状の矩形の画像データに分割し取得する（断続/等間隔）。すなわち、判別部５５は、対象画像データを時系列的に、断続的に分割する。

【0091】

また、例えば、判別部５５は、対象画像データ１０３０の長方形の領域を所定軸（例えば、長軸）方向に等間隔で分割し、分割した各部分からランダムにそれらの一部１０３１を選択することで、対象画像データを複数の同形状の矩形の画像データに分割し取得する（断続/不等間隔）。すなわち、判別部５５は、対象画像データを時系列的に、ランダムな時間間隔及び時間帯で分割する。

【0092】

また、例えば、判別部５５は、対象画像データ１０４０の長方形の領域を所定軸（例えば、長軸）方向にランダムで分割して各部分１０４１を得ることで、対象画像データを複数の異なる矩形の画像データに分割する（無作為抽出）。すなわち、判別部５５は、対象画像データを無作為に分割する。

【0093】

なお、ここで説明した対象画像データの分割の方法は一例である。また、判別部５５は、複数の分割方法のそれぞれにより対象画像データを分割してもよい。

【0094】

本実施形態では、判別モデルへの入力値として二次元の画像データ（リカレンスプロット）を使用しているため、上記のような入力値の時系列的な分割が容易であり、後述する暗騒音及び漏水音等の判定を分割して得た複数の入力値により正確に行うことができる。

【0095】

次に、図９に示すように、判別部５５は、ｓ２４１で分割した各画像データを、モデル作成処理ｓ１で作成した第１判別モデルにそれぞれ入力することで、第１判別モデルの出力層から出力値を取得する（ｓ２４２）。

【0096】

判別部５５は、ｓ２４２で取得した各出力値に基づき、対象画像データが暗騒音の画像データであるか否かを判定する（ｓ２４３）。

【0097】

例えば、判別部５５は、出力値が０（暗騒音）となった画像データが過半数である場合には、対象画像データが暗騒音の画像データであると判定し、出力値が０（暗騒音）となった画像データが半数未満である場合には、対象画像データが暗騒音の画像データでないと判定する。

【0098】

一方、判別部５５は、出力値が０（暗騒音）となった画像データが半数である場合には、対象画像データが暗騒音の画像データであるか否かは不明であるが、判別部５５は、対象画像データは暗騒音の画像データでないとする。

【0099】

なお、ここで説明した判定方法は一例である。例えば、判別部５５は、不明の場合とする基準の割合を半数以外の値又は所定の数値範囲としてもよいし、検査エリアによってその割合を変えるようにしてもよい。

【0100】

対象画像データが暗騒音の画像データである場合は（ｓ４２３：ＹＥＳ）、判別部５５はｓ２４４の処理を実行し、対象画像データが暗騒音の画像データでない場合（又は暗騒音の画像データか不明な場合）は（ｓ４２３：ＮＯ／不明）、判別部５５はｓ２４５の処理を実行する。

【0101】

ｓ２４４において判別部５５は、対象画像データが示す音が暗騒音である旨を記憶し、判別処理ｓ２５は終了する。

【0102】

ｓ２４５において判別部５５は、ｓ２４１で分割した各画像データを、判別モデル作成処理ｓ１で生成した各第２判別モデルにそれぞれ入力することで、各第２判別モデルの出力層から出力値を取得する。

【0103】

判別部５５は、ｓ２４５で取得した各出力値に基づき、対象画像データが漏水音又は擬似漏水音のいずれの画像データであるかを判定する（ｓ２４６）。

【0104】

例えば、まず、判別部５５は、各第２判別モデルについて、各画像データに基づく出力値のうち過半数が１（漏水音）の場合は、対象画像データが漏水音の画像データと判定し、各画像データに基づく出力値のうち半数未満が１（漏水音）の場合は、対象画像データが擬似漏水音の画像データと判定する。一方、判別部５５は、１（漏水音）となった出力値が半数である場合には、対象画像データが漏水音の画像データであるか否かは不明であるが、判別部５５は、対象画像データは漏水音の画像データとする。

【0105】

判別部５５は、このような処理を各第２判別モデルについて繰り返し、全ての第２判別モデルが、対象画像データが漏水音であると判定した場合（全ての第２判別モデルが、漏水音である旨の出力値を出力したと判定した場合）には、対象画像データが漏水音の画像データであると判定し、それ以外の場合（少なくとも１以上の第２判別モデルが、対象画像データが擬似漏水音であると判定した場合）は、対象画像データが擬似漏水音の画像データであると判定する。

【0106】

なお、ここで説明した判定方法は一例である。例えば、判別部５５は、ｓ２４３と同様に、漏水音か否かが不明の場合とする基準の割合を半数以外の値又は所定の数値範囲としてもよいし、検査エリアによってその割合を変えるようにしてもよい。

【0107】

対象画像データが漏水音の画像データである場合は（ｓ４２６：ＹＥＳ）、判別部５５はｓ２４７の処理を実行し、対象画像データが擬似漏水音の画像データである場合は（ｓ４２８：ＮＯ）、判別部５５はｓ２４８の処理を実行する。

【0108】

ｓ２４８－ｓ２５０において判別部５５は、ｓ２４５で取得した各出力値に基づき、対象画像データがいずれの種類の擬似漏水音の画像データであるかを判定する。

【0109】

具体的には、まずｓ２４８において判別部５５は、擬似漏水音の種類を一義的に特定できるか否かを判定する。例えば、判別部５５は、出力値の過半数が０（擬似漏水音）となった第２判別モデルが１つのみであるか否かを判定する。

【0110】

擬似漏水音の種類を一義的に特定できる場合は（ｓ４２８：ＹＥＳ）、判別部５５はｓ２４９の処理を実行し、擬似漏水音の種類を一義的に特定できない場合は（ｓ４２８：ＮＯ）、判別部５５はｓ２５０の処理を実行する。

【0111】

なお、ここで説明した判別方法は、一例である。例えば、判別部５５は、出力値が０（擬似漏水音）であった割合が最も高かった第２判別モデルを、一義的に特定可能な擬似漏水音としてもよい。

【0112】

ｓ２４９において判別部５５は、ｓ２４９で特定した第２判別モデルに係る擬似漏水音を、判別対象音と記憶する。以上で判別処理ｓ２５は終了する。

【0113】

ｓ２５０において判別部５５は、ｓ２４５の処理の結果又は第２判別モデルの特性に基づいて、擬似漏水音の種類を特定する。

【0114】

例えば、判別部５５は、ｓ２４５で出力値の過半数が０（擬似漏水音）となった第２判別モデルのうち、判別モデル作成処理ｓ１で算出した精度が最も高かった第２判別モデルに係る種類の擬似漏水音を、判別対象音と記憶する。以上で判別処理ｓ２５は終了する。

【0115】

なお、ここで説明した擬似漏水音の種類の特定方法は一例である。例えば、判別部５５は、出力値が０（擬似漏水音）であった割合が最も高かった第２判別モデルに係る種類の擬似漏水音を、判別対象音としてもよい。また、精度が最も高かった第２判別モデル又は出力値が０（擬似漏水音）であった割合が最も高かった第２判別モデルが複数あった場合には、それらの全ての種類の擬似漏水音を、判別対象音としてもよいし、それらの複数の第２判別モデルをさらに異なる方法で判別することで、一つの種類の擬似漏水音のみを、判別対象音としてもよい。

【0116】

ここで、図１１は、漏水音判別処理ｓ２の一例を示す図である。

【0117】

まず、漏液検査支援装置２０は、３つの判別対象音１０１（１０１Ａ－１０１Ｃ）のそれぞれに対して前処理ｓ２２を実行する。

【0118】

漏液検査支援装置２０は、画像データ生成処理ｓ２３により、各判別対象音１０１を画像データ（ここでは、複数のリカレンスプロット１０２）に変換する。

【0119】

そして、漏液検査支援装置２０は、判別処理ｓ２４において、各画像データ（リカレンスプロット１０２）を複数の画像データ１０３に分割した上で、分割した各画像データ１０３を、第１判別モデル１０４に入力する。

【0120】

漏液検査支援装置２０は、各画像データ１０３の第１判別モデル１０４に対する出力値を取得する。ここでは、判別対象音１０１Ａに対するリカレンスプロット１０２Ａについては、画像データ１０３の過半数が「暗騒音」と判定され（符号１０６）、判別対象音１０１Ｂに対するリカレンスプロット１０２Ｂについては、画像データ１０３の半数が「暗騒音」と判定され（符号１０７）、判別対象音１０１Ｃに対するリカレンスプロット１０２Ｃについては、画像データ１０３の過半数が「暗騒音でない」と判定された（符号１０８）ものとする。

【0121】

すると、漏液検査支援装置２０は、判別対象音１０１Ａは「暗騒音」であると記憶し（符号１０９）、判別対象音１０１Ａに関する処理は終了する。

【0122】

一方、漏液検査支援装置２０は、判別対象音１０１Ｂ及び判別対象音１０１Ｃについて、分割した各画像データ１０３を、各種類の第２判別モデル１１０（例えば、漏水音とトランス音を判別する第２判別モデル１１０Ａ、漏水音とブロア音を判別する第２判別モデル１１０Ｂ）に入力する。

【0123】

漏液検査支援装置２０は、各画像データ１０３の各第２判別モデル１１０に対する出力値を取得する。ここでは、判別対象音１０１Ｂに対するリカレンスプロット１０２Ｂについては、全ての第２判別モデル１１０の出力値の半数以上が「漏水音」と判定したものとする（符号１１１）。また、判別対象音１０１Ｃに対するリカレンスプロット１０２Ｃについては、出力値の半数以上が「漏水音」と判定しなかった第２判別モデル１１０Ａがあったものとする（符号１１２）。

【0124】

すると、漏液検査支援装置２０は、判別対象音１０１Ｂは「漏水音」であると記憶し（符号１１３）、判別対象音１０１Ｂに関する処理は終了する。また、漏液検査支援装置２０は、判別対象音１０１Ｃは「トランス音」であると記憶し（符号１１４）、判別対象音１０１Ｃに関する処理は終了する。

【0125】

以上に説明したように、本実施形態の漏液検査支援装置２０は、判定対象音の音データが示す音圧及び周波数の時系列変化を、所定のアルゴリズムにより画像データに変換し、変換した画像データを判別モデルに入力することにより、変換した画像データが示す音が漏水音、擬似漏水音、又は、暗騒音のいずれであるかを示す情報を出力する。

【0126】

すなわち、漏液検査支援装置２０は、判定対象音の音圧及び周波数の時系列変化を反映した画像データ及び判別モデルにより、判定対象音が漏水音、擬似漏水音、又は、暗騒音のいずれであるかを特定する。これにより、音圧（振動強さ）が互いに類似し判別が困難な漏水音と擬似漏水音を区別し、正確な漏水検査を支援することができる。また、判定対象音の判別を、データ管理が容易な画像データ（例えば、ｓ２４１の処理で説明したように、画像データの所望の時系列的な分割が容易である。また、検査者は、画像データのパターン等を視認することで音の特徴の概略を把握できる。）を用いて行うことにより、多数の漏水検査も効率良く支援することができる。

【0127】

以上のように、本実施形態の漏液検査支援装置２０によれば、漏液検査を精度よく行うことを支援することができる。例えば、判別モデルを用いることで、検査の実経験が少ない検査者でも、精度の高い漏水検査を行うことができる。また、精度の高い漏水検査を行えることで、検査員による無効派遣を低減することができる。

【0128】

特に、本実施形態の判別モデルは、判定対象音の音データが示す音の音圧及び周波数の時系列変化を示す画像データが入力される入力層、入力された画像データの特徴量が記憶される中間層、及び、入力層及び中間層に基づき、画像データが示す音が漏水音、擬似漏水音、又は、暗騒音のいずれであるかを示す情報が出力される出力層を有する学習済みモデルである。

【0129】

画像データの判別を行うこのような学習済みモデルは、一般的に判別精度が高い。そこで、漏水音、擬似漏水音、又は暗騒音の判別に当該学習済みモデルを適用することで、精度の高い音判別を実現することができる。

【0130】

さらに、本実施形態の判別モデルは、音の音圧及び周波数の時系列変化を示す画像データが入力され、画像データが示す音が暗騒音であるか否かを示す情報が出力される第１判別モデルと、音の音圧及び周波数の時系列変化を示す画像データが入力され、画像データが示す音が漏水音又は擬似漏水音であることを示す情報が出力される第２判別モデルとからなる。そして、本実施形態の漏液検査支援装置２０は、判定対象音の変換した画像データを第１判別モデルに入力することにより、その画像データが示す音が暗騒音であるか否かを示す情報を出力し、その画像データが示す音が暗騒音でないことを示す情報を出力した場合に、その画像データを第２判別モデルに入力することにより、その画像データが示す音が漏水音又は擬似漏水音であることを示す情報を出力する。

【0131】

このように、本実施形態の漏液検査支援装置２０は、暗騒音であるか否かを判別する第１判別モデルと、漏水音又は擬似漏水音を判別する第２判別モデルとを用い、第１判別モデルにより判定対象音が暗騒音でないと判定した場合に、画像データを第２判別モデルに入力して判定対象音が漏水音又は擬似漏水音かを判定する。これにより、判定対象音が（実際は漏水音であるのに）漏水音でないと誤判定することを防げ、かつ判定対象音が漏水音か擬似漏水音かを精度よく判定することができる。また、判定対象音が擬似漏水音と判定された場合には、検査エリアの状況と対比することで、判定結果を検証することができる。

【0132】

また、本実施形態の漏液検査支援装置２０は、画像データを分割して得られた各画像データを第１判別モデルにそれぞれ入力することにより、各画像データが示す音が暗騒音であるか否かを示す情報をそれぞれ出力し、出力した各情報が示す内容に基づき、各画像データが示す音が暗騒音であるか否かが不明であると判定した場合には、画像データが示す音が暗騒音でないことを示す情報を出力する。

【0133】

このように、漏液検査支援装置２０は、第１判別モデルによる各分割画像データの判定の結果、判定対象音が暗騒音であるかが不明な場合は、判定対象音が暗騒音ではないとする。このように、判定対象音が暗騒音であるか不明な場合に暗騒音でない方に分類することで、判定対象音が実際には漏水音であるのに漏水事象を見逃すリスクを避けることができる。すなわち、判定対象音が実際には漏水音であった場合に「暗騒音」と誤って判定され検査者が漏水事象を見逃すリスクを避けることができ、一方、判定対象音が実際には漏水音でなかった場合には次述する第２判別モデルにより判定対象音が擬似漏水音と判定され、少なくとも漏水音ではないことが提示されることが期待され、不合理ではない。

【0134】

また、本実施形態の漏液検査支援装置２０は、複数種類の擬似漏水音の第２判別モデルを記憶し、第１判別モデルが、判定対象音の画像データが示す音が暗騒音でないことを示す情報を出力したと判定した場合には、全ての上記第２判別モデルが、当該画像データが示す音が漏水音であることを示す情報を出力したと判定した場合に、当該画像データが示す音が漏水音であることを示す情報を出力する。

【0135】

このように、複数の第２判別モデルのいずれも、判定対象音の画像データが漏水音の画像データであると判定した場合にのみ、判定対象音が漏水音であると判定することで、判定対象音が多数種類存在する擬似漏水音のいずれでもないことを確認した上で、判定対象音が漏水音であると判定することができる。

【0136】

さらに、本実施形態の漏液検査支援装置２０は、全ての第２判別モデルのうち複数の第２判別モデルが、判定対象音の画像データが擬似漏水音であることを示す情報を出力したと判定した場合に、その画像データが示す音が、それら複数の第２判別モデルのうち最も精度が高い第２判別モデルに係る種類の擬似漏水音であることを示す情報を出力する。

【0137】

このように、判定対象音が複数種類の擬似漏水音のいずれかである可能性がある場合には、対応する第２判別モデルのうち精度が最も高い判別モデルの擬似漏水音を、判定対象音と決定する。これにより、擬似漏水音の具体的な種類を精度良く特定することができる。

【0138】

本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で、任意の構成要素を用いて実施可能である。以上説明した実施形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、上記では種々の実施形態や変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【0139】

例えば、本実施形態の各装置が備えるハードウェアの一部は、他の装置に設けてもよい。

【0140】

また、各装置の各プログラムは他の装置に設けてもよいし、あるプログラムを複数のプログラムからなるものとしてもよいし、複数のプログラムを一つのプログラムに統合してもよい。例えば、判別モデル作成部５４（及び判別モデルの作成に必要なデータ取得部５１、前処理部５２、及び画像データ生成部５３の一部）を判別モデル作成装置として漏液検査支援装置２０と異なる情報処理装置として構成してもよい。

【0141】

また、本実施形態では、漏液検査支援システム１が漏水を検知する場合を説明したが、漏液検査支援システム１は、水以外の液体又は液状物質（例えば、石油）の漏洩を検知する場合にも適用することができる。

【0142】

また、本実施形態では、判別モデルを第１判別モデル及び第２判別モデルの２つのモデルによって構成する場合を説明したが、それ以外の数又は種類のモデル構成としてもよい。例えば、漏水音、擬似漏水音、又は暗騒音のいずれかであるかを判別する一つの判別モデルの構成としてもよいし、第２判別モデルの代わりに異なる種類間の擬似漏水音の判別を行う判別モデルを構築することで、これらのいずれの判別モデルによっても擬似漏水音を特定できなかった場合に、判定対象音を漏水音と判定するようにしてもよい。

【0143】

また、本実施形態では、音データを画像データに変換する方法としてリカレンスプロットを利用する場合を説明したが、その他の画像変換アルゴリズムを採用してもよい。

【符号の説明】

【0144】

２０ 漏液検査支援装置、２１ 制御装置、２２ 記憶装置、５１ データ取得部、５２ 前処理部、５３ 画像データ生成部、５４ 判別モデル作成部、５５ 判別部

【要約】

【課題】漏液検査を精度よく行うことを支援する。
【解決手段】音の音圧及び周波数の時系列変化を示す画像データが入力され、画像データが示す音が漏液音、擬似漏液音、又は、暗騒音のいずれであるかを示す情報が出力される判別モデルを記憶する記憶装置２２、及び、音のデータを取得するデータ取得処理と、取得した音のデータが示す音圧及び周波数の時系列変化を、所定のアルゴリズムにより画像データに変換する画像データ生成処理と、画像データを、判別モデルに入力することにより、画像データが示す音が漏液音、擬似漏液音、又は、暗騒音のいずれであるかを示す情報を出力する判別処理とを実行する制御装置２１を備える、漏液検査支援装置２０。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】