(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-20
(45)【発行日】2022-12-28
(54)【発明の名称】機械学習装置、解析装置、機械学習方法および解析方法
(51)【国際特許分類】
A61B 7/04 20060101AFI20221221BHJP
A61B 10/00 20060101ALI20221221BHJP
G10L 25/15 20130101ALI20221221BHJP
G10L 25/18 20130101ALI20221221BHJP
【FI】
A61B7/04 L
A61B10/00 H
G10L25/15
G10L25/18
(21)【出願番号】P 2020518303
(86)(22)【出願日】2019-05-07
(86)【国際出願番号】 JP2019018287
(87)【国際公開番号】W WO2019216320
(87)【国際公開日】2019-11-14
【審査請求日】2022-03-28
(31)【優先権主張番号】P 2018089850
(32)【優先日】2018-05-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】304020292
【氏名又は名称】国立大学法人徳島大学
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】榎本 崇宏
(72)【発明者】
【氏名】合嶋 裕樹
(72)【発明者】
【氏名】佐藤 竜之介
(72)【発明者】
【氏名】芥川 正武
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】国際公開第2017/135127(WO,A1)
【文献】特表2015-514456(JP,A)
【文献】米国特許出願公開第2017/0301347(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 7/00-7/04
(57)【特許請求の範囲】
【請求項1】
音響データに
腸音が含まれているかを予測する予測アルゴリズムを学習する機械学習装置であって、
集音装置によって被験者から得られた音響データを取得する音響データ取得部と、
前記音響データに前記
腸音が含まれるか否かをユーザの操作に応じて判定する生体音判定部と、
前記音響データにおける特徴量を抽出する特徴量抽出部と、
前記生体音判定部の判定結果および前記特徴量に基づいて、前記予測アルゴリズムを学習する学習部と、
を備え、
前記特徴量は、PNCC、MFCC、△PNCC、△△PNCC、△MFCC、△△MFCC
、およびLPC係数
、ならびに、それらの統計量の少なくともいずれかを含む、機械学習装置。
【請求項2】
前記学習部は、人工ニューラルネットワーク(ANN)で構成される、請求項
1に記載の機械学習装置。
【請求項3】
前記集音装置は非接触マイクロフォンである、請求項1
または2に記載の機械学習装置。
【請求項4】
前記音響データ取得部によって取得された前記音響データから、複数のセグメントを検出するセグメント検出部をさらに備え、
前記生体音判定部は、各セグメントに前記
腸音が含まれるか否かをユーザの操作に応じて判定し、
前記特徴量抽出部は、各セグメントにおける特徴量を抽出し、
前記学習部は、各セグメントにおける前記特徴量および前記生体音判定部による判定結果に基づいて、前記予測アルゴリズムを学習する、請求項1~
3のいずれかに記載の機械学習装置。
【請求項5】
前記セグメント検出部は、SNRが所定値以上のセグメントを検出する、請求項
4に記載の機械学習装置。
【請求項6】
前記音響データに前記
腸音が含まれる場合、前記
腸音の種類をユーザの操作に応じて判定する分類判定部をさらに備え、
前記学習部は、さらに前記
腸音の種類に基づいて、前記予測アルゴリズムを学習する、請求項1~
5のいずれかに記載の機械学習装置。
【請求項7】
集音装置によって対象者から得られた音響データを解析する解析装置であって、
請求項1~
6のいずれかに記載の機械学習装置によって学習された予測アルゴリズムに従って、前記音響データに
腸音が含まれているかを予測する生体音予測部を備えた、解析装置。
【請求項8】
前記生体音予測部の予測結果に基づいて、前記音響データから前記
腸音が含まれているセグメントを抽出する生体音セグメント抽出部と、
前記生体音セグメント抽出部によって抽出された前記セグメントに基づいて、前記対象者の
腸運動性を評価する第1状態評価部と、
をさらに備えた、請求項
7に記載の解析装置。
【請求項9】
前記第1状態評価部は、所定時間あたりの前記腸音の発生数、前記腸音のSNR、前記腸音の長さ、および前記腸音の発生間隔を指標として、前記腸運動性を評価する、請求項8に記載の解析装置。
【請求項10】
前記予測アルゴリズムは、請求項
6に記載の機械学習装置によって学習された予測アルゴリズムであり、
前記音響データに
腸音が含まれていると予測された場合に、前記予測アルゴリズムに従って、前記
腸音の種類を予測する分類予測部をさらに備えた、請求項
7~
9のいずれかに記載の解析装置。
【請求項11】
前記分類予測部によって予測された前記
腸音の種類に基づいて、前記対象者の
腸疾患の有無を評価する第2状態評価部をさらに備えた、請求項
10に記載の解析装置。
【請求項12】
音響データに
腸音が含まれているかを予測する予測アルゴリズムを学習する機械学習方法であって、
集音装置によって被験者から得られた音響データを取得する音響データ取得ステップと、
前記音響データに前記
腸音が含まれるか否かをユーザの操作に応じて判定する生体音判定ステップと、
前記音響データにおける特徴量を抽出する特徴量抽出ステップと、
前記生体音判定ステップの判定結果および前記特徴量に基づいて、前記予測アルゴリズムを学習する学習ステップと、
を備え、
前記特徴量は、PNCC、MFCC、△PNCC、△△PNCC、△MFCC、△△MFCC
、およびLPC係数
、ならびに、それらの統計量の少なくともいずれかを含む、機械学習方法。
【請求項13】
集音装置によって対象者から得られた音響データを
コンピュータが解析する解析方法であって、
請求項12に記載の機械学習方法によって学習された予測アルゴリズムに従って、前記音響データに腸音が含まれているかを予測する予測ステップを備えた、解析方法。
【請求項14】
前記予測ステップの予測結果に基づいて、前記音響データから前記
腸音が含まれているセグメントを抽出する生体音セグメント抽出ステップと、
前記生体音セグメント抽出ステップによって抽出された前記セグメントに基づいて、前記対象者の
腸運動性を評価する状態評価ステップと、
をさらに備えた、請求項1
3に記載の解析方法。
【請求項15】
前記状態評価ステップでは、所定時間あたりの前記腸音の発生数、前記腸音のSNR、前記腸音の長さ、および前記腸音の発生間隔を指標として、前記腸運動性を評価する、請求項14に記載の解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号対雑音比が劣化する環境下において、音響データから生体音を自動抽出または分類する技術に関する。
【背景技術】
【0002】
胃腸の運動機能の低下及び消失はQOLや日々の食生活に大きく関わる問題である。ストレスなどが原因で胃腸の運動機能に障害が起こることで、胃もたれや痛みを感じる機能性消化管障害(FGIDs:Functional gastrointestinal disorders)はその一例と言える。
【0003】
このような腸疾患の診断は、胃腸の運動性を評価することで行われる。現在、胃腸の運動性を測る手段としてX線検査や内視鏡検査が行われているが、患者への心身面や金銭面の負担が大きく、大掛かりな検査機器が必要であり、繰り返しの観察には適していない。
【0004】
近年、腸の運動機能を評価するために、腸蠕動音(BS:Bowel sound)から得られた音響特徴量が用いられている。腸蠕動音は、消化管の蠕動運動によってガスや内容物が消化管内を移動することで発生する音である(非特許文献1)。腸蠕動音は、電子聴診器を体表面に取り付けることにより、簡単に録音することができる。例えば非特許文献2には、電子聴診器により獲得された録音データからBSを自動抽出して、腸運動機能を評価する方法が開示されている。
【0005】
静音下では、BSの信号対雑音比が劣化するが、電子聴診器を使用しなくとも、離れたところでBSを認識することができる。このことから、最近の本発明者らによる研究では、電子聴診器を用いた場合と同様に、非接触マイクロフォンを用いて獲得した場合も、BSをもとに腸の運動性を評価できることが示されている(非特許文献3)。
【先行技術文献】
【非特許文献】
【0006】
【文献】G. P. Zaloga, "Blind bedside placement of enteric feeding tubes", Techniques in Gastrointestinal Endoscopy, 2001, 3(1), p. 9-15
【文献】Takahiro Emoto, et al. "ARMA-based spectral bandwidth for evaluation of bowel motility by the analysis of bowel sounds.", Physiological measurement 34.8 (2013): 925.
【文献】Takahiro Emoto et. al, "Evaluation of human bowel motility using non-contact microphones", Biomedical Physics & Engineering Express, 2016, 2(4), 045012.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献3の研究では、非接触マイクロフォンで獲得した録音データからBSを手動で抽出するために、多くの時間を費やして慎重なラベリング作業を行う必要があった。マイクロフォンに基づくセンサ(例えば、電子聴診器やマイクロフォン)は、環境雑音の影響を受けやすい。非接触マイクロフォンで録音されたBSは体表面から直接電子聴診器で得られるBSよりも音圧が低下する。さらに、電子聴診器の録音に比べ、BS以外の音がより大きく、混入されるおそれがある。よって、多くの手間や時間を要するBSのラベリング作業を省くためには、雑音に頑健なBS抽出システムを構築する必要がある。
【0008】
本発明は、上記問題を解決するためになされたものであって、雑音の多い音響データから生体音を精度よく抽出または分類することを課題とする。
【課題を解決するための手段】
【0009】
本発明者らは、雑音に頑健な特徴量によって機械学習された予測アルゴリズムを用いることにより前記課題が解決できることを見出し、本発明を完成するに至った。
【0010】
本発明は、次の態様を含む。
項1.
音響データに生体音が含まれているかを予測する予測アルゴリズムを学習する機械学習装置であって、
集音装置によって被験者から得られた音響データを取得する音響データ取得部と、
前記音響データに前記生体音が含まれるか否かをユーザの操作に応じて判定する生体音判定部と、
前記音響データにおける特徴量を抽出する特徴量抽出部と、
前記生体音判定部の判定結果および前記特徴量に基づいて、前記予測アルゴリズムを学習する学習部と、
を備え、
前記特徴量は、PNCC、MFCC、△PNCC、△△PNCC、△MFCC、△△MFCC、BSF、フォルマントに関連する特徴、ピッチに関連する特徴、LPC係数、スペクトルフラットネス、対数エネルギ、有音区間の持続時間、ZCR、およびエントロピーに基づく指標、ならびに、それらの統計量の少なくともいずれかを含む、機械学習装置。
項2.
前記生体音は腸蠕動音である、項1に記載の機械学習装置。
項3.
前記特徴量はPNCCを含む、項1または2に記載の機械学習装置。
項4.
前記特徴量はBSFおよびその統計量の少なくともいずれかを含む、項1~3のいずれかに記載の機械学習装置。
項5.
前記特徴量は、BSF1の平均および標準偏差、BSF2の平均および標準偏差、BSF3の平均および標準偏差、BSF4の平均および標準偏差、並びに、BSF5を含む、項4に記載の機械学習装置。
項6.
前記学習部は、人工ニューラルネットワーク(ANN)で構成される、項1~5のいずれかに記載の機械学習装置。
項7.
前記集音装置は非接触マイクロフォンである、項1~6のいずれかに記載の機械学習装置。
項8.
前記音響データ取得部によって取得された前記音響データから、複数のセグメントを検出するセグメント検出部をさらに備え、
前記生体音判定部は、各セグメントに前記生体音が含まれるか否かをユーザの操作に応じて判定し、
前記特徴量抽出部は、各セグメントにおける特徴量を抽出し、
前記学習部は、各セグメントにおける前記特徴量および前記生体音判定部による判定結果に基づいて、前記予測アルゴリズムを学習する、項1~7のいずれかに記載の機械学習装置。
項9.
前記セグメント検出部は、SNRが所定値以上のセグメントを検出する、項8に記載の機械学習装置。
項10.
前記音響データに前記生体音が含まれる場合、前記生体音の種類をユーザの操作に応じて判定する分類判定部をさらに備え、
前記学習部は、さらに前記生体音の種類に基づいて、前記予測アルゴリズムを学習する、項1~9のいずれかに記載の機械学習装置。
項11.
集音装置によって対象者から得られた音響データを解析する解析装置であって、
項1~10のいずれかに記載の機械学習装置によって学習された予測アルゴリズムに従って、前記音響データに生体音が含まれているかを予測する生体音予測部を備えた、解析装置。
項12.
前記生体音予測部の予測結果に基づいて、前記音響データから前記生体音が含まれているセグメントを抽出する生体音セグメント抽出部と、
前記生体音セグメント抽出部によって抽出された前記セグメントに基づいて、前記対象者の状態を評価する第1状態評価部と、
をさらに備えた、項11に記載の解析装置。
項13.
前記生体音は腸蠕動音であり、
前記第1状態評価部は、前記状態として腸運動性を評価する、項12に記載の解析装置。
項14.
前記予測アルゴリズムは、項8に記載の機械学習装置によって学習された予測アルゴリズムであり、
前記音響データに生体音が含まれていると予測された場合に、前記予測アルゴリズムに従って、前記生体音の種類を予測する分類予測部をさらに備えた、項11~13のいずれかに記載の解析装置。
項15.
前記分類予測部によって予測された前記生体音の種類に基づいて、前記対象者の状態を評価する第2状態評価部をさらに備えた、項14に記載の解析装置。
項16.
前記生体音は腸蠕動音であり、
前記第2状態評価部は、前記状態として腸疾患の有無を評価する、項15に記載の解析装置。
項17.
音響データに生体音が含まれているかを予測する予測アルゴリズムを学習する機械学習方法であって、
集音装置によって被験者から得られた音響データを取得する音響データ取得ステップと、
前記音響データに前記生体音が含まれるか否かをユーザの操作に応じて判定する生体音判定ステップと、
前記音響データにおける特徴量を抽出する特徴量抽出ステップと、
前記生体音判定ステップの判定結果および前記特徴量に基づいて、前記予測アルゴリズムを学習する学習ステップと、
を備え、
前記特徴量は、PNCC、MFCC、△PNCC、△△PNCC、△MFCC、△△MFCC、BSF、フォルマントに関連する特徴、ピッチに関連する特徴、LPC係数、スペクトルフラットネス、対数エネルギ、有音区間の持続時間、ZCR、およびエントロピーに基づく指標、ならびに、それらの統計量の少なくともいずれかを含む、機械学習方法。
項18.
集音装置によって対象者から得られた音響データを解析する解析方法であって、
項17に記載の機械学習方法によって学習された予測アルゴリズムに従って、前記音響データに生体音が含まれているかを予測する予測ステップを備えた、解析方法。
項19.
前記予測ステップの予測結果に基づいて、前記音響データから前記生体音が含まれているセグメントを抽出する生体音セグメント抽出ステップと、
前記生体音セグメント抽出ステップによって抽出された前記セグメントに基づいて、前記対象者の状態を評価する状態評価ステップと、
をさらに備えた、項18に記載の解析方法。
【発明の効果】
【0011】
本発明によれば、雑音の多い音響データから生体音を精度よく抽出または分類することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の一実施形態に係る診断支援システムの概略構成を示すブロック図である。
【
図2】本発明の一実施形態に係る機械学習装置の機能を示すブロック図である。
【
図3】本発明の一実施形態に係る機械学習方法の全体的な手順を示すフローチャートである。
【
図4】本発明の一実施形態に係る解析装置の機能を示すブロック図である。
【
図5】本発明の一実施形態に係る解析方法の全体的な手順を示すフローチャートである。
【
図6】本発明の変形例に係る機械学習装置の機能を示すブロック図である。
【
図7】本発明の変形例に係る解析装置の機能を示すブロック図である。
【
図8】特徴量がMFCCおよびPNCCである場合の予測精度(Acc)をSNRの基準値毎に示したグラフであり、(a)は炭酸水摂取前のグラフ、(b)は炭酸水摂取後のグラフである。
【
図9】(a)および(b)は、事前検証において算出された4つの指標の時間推移を示している。
【
図10】乳酸菌飲料負荷試験時における1分間あたりのBS発生数の推移を示している。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。
【0014】
(全体構成)
図1は、本実施形態に係る診断支援システム100の概略構成を示すブロック図である。診断支援システム100は、機械学習装置1および解析装置2を備えている。機械学習装置1は、音響データに生体音が含まれているかを予測する予測アルゴリズムを学習する。解析装置2は、機械学習装置1によって学習された予測アルゴリズムに従って、対象者から得られた音響データに生体音が含まれているかを予測し、さらに、対象者の状態を評価する機能を有している。機械学習装置1と解析装置2とは、別個の装置で実現してもよいし、機械学習装置1と解析装置2とを一つの装置で構成してもよい。
【0015】
以下、機械学習装置1および解析装置2の構成例について説明する。
【0016】
(機械学習装置)
図2は、本実施形態に係る機械学習装置1の機能を示すブロック図である。機械学習装置1は、例えば汎用のパーソナルコンピュータで構成することができ、ハードウェア構成として、CPU(図示せず)、主記憶装置(図示せず)、補助記憶装置11などを備えている。機械学習装置1では、CPUが補助記憶装置11に記憶された各種プログラムを主記憶装置に読み出して実行することにより、各種演算処理を実行する。補助記憶装置11は、例えばハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)で構成することができる。補助記憶装置11は、機械学習装置1に内蔵されてもよいし、機械学習装置1とは別体の外部記憶装置として設けてもよい。
【0017】
機械学習装置1には、入力装置3および集音装置4が接続されている。入力装置3は、例えばキーボード、タッチパネル、マウス等で構成され、ユーザからの入力操作を受け付ける。
【0018】
集音装置4は、本実施形態では、非接触マイクロフォンで構成される。集音装置4を被験者5に近付けることにより、集音装置4は被験者5から発せられる生体音を録音し、音響データを機械学習装置1に送信する。
【0019】
なお、音響データは、有線または無線で機械学習装置1に送信してもよいし、SDカード等の記録媒体を介して機械学習装置1に入力してもよい。また、集音装置4は、非接触マイクロフォンに限らず、電子聴診器であってもよい。あるいは、非接触マイクロフォンと電子聴診器とを組み合わせて集音装置4を構成してもよい。従来より、腹部に複数の聴診器を使用する技術が開発されてきたが、聴診器に非接触マイクロフォンを搭載することにより、シングルチャネル聴診器を用いるだけで、雑音下であってもBSを基に腸の運動性を評価することができると期待される。
【0020】
機械学習装置1は、音響データに生体音が含まれているかを予測する予測アルゴリズムを学習する機能を有している。この機能を実現するために、機械学習装置1は、機能ブロックとして、教師データ作成部12および学習部13を備えている。生体音は、人間の生体活動に起因する音であれば特に限定されないが、本実施形態では、腸蠕動音を対象としている。
【0021】
教師データ作成部12は、集音装置4からの音響データに基づいて、教師データD1を作成する機能ブロックであり、音響データ取得部121、セグメント検出部122、生体音判定部123および特徴量抽出部124およびを備えている。
【0022】
音響データ取得部121は、集音装置4によって被験者5から得られた音響データを取得する。被験者5の体勢は特に限定されないが、本実施形態では仰臥位である。
【0023】
セグメント検出部122は、音響データ取得部121によって取得された音響データから、複数のセグメントを検出する。セグメントの検出基準は特に限定されないが、本実施形態では、セグメント検出部122は、STE(Short term energy)法を用いて、SNR(Signal to Noise Ratio)が所定値以上のセグメントを検出する。
【0024】
本実施形態におけるSNRは次のように定義される。
【数1】
ここで、P
Sは信号のパワー、P
Nは雑音のパワーである。P
Nは、視聴試験を行うことにより、サイレンスであると判断された1秒の区間から算出している。録音データは、セグメントの候補となるサブセグメントサイズ:256、シフトサイズ:64で分割され、STE法によって、サブセグメント毎に、エネルギを計算することができる。SNR(Signal to Noise Ratio)が所定値以上を1として、所定値以下を0とする。1以上はセグメントであり、連続して続くサブセグメントはセグメントとして取り扱う。
【0025】
生体音判定部123は、音響データに生体音が含まれるか否かをユーザの操作に応じて判定する。本実施形態では、ユーザが各セグメントの再生音を聴き、各セグメントに生体音である腸蠕動音(BS)が含まれているかを判定し、入力装置3を介して判定結果を入力する。これに応じて、生体音判定部123は、各セグメントにBS含まれるか否かを判定する。具体的には、生体音判定部123は、ユーザによってBSが含まれていると判定された区間をBSエピソードと定義し、各セグメントの範囲内にBSエピソードが存在していれば、当該セグメントをBSセグメントとし、存在していなければnon-BSセグメントとする。
【0026】
なお、非接触マイクロフォンを用いて獲得されるBSは一般的に音が小さく、音響データのSNは劣化する。しかし、人間による聴覚評価では、ほぼ100%の精度でBSの有無を識別することができる。
【0027】
特徴量抽出部124は、音響データにおける特徴量を抽出する。本実施形態では、特徴量は、PNCC(power normalized cepstral coefficients)であるが、本発明はこれに限定されない。特徴量として、例えば、MFCC(mel-frequency cepstral coefficients)、△PNCC、△△PNCC、△MFCC、△△MFCC、BSF、フォルマントに関連する特徴、ピッチに関連する特徴、LPC係数、スペクトルフラットネス、対数エネルギ、有音区間の持続時間、ZCR、および近似エントロピーなどのエントロピーに基づく指標、ならびに、それらの統計量(平均、標準偏差など)を用いることができる。なお、PNCCの詳細については、Kim, Chanwoo, and Richard M. Stern. "Power-normalized cepstral coefficients (PNCC) for robust speech recognition." Acoustics, Speech
and Signal Processing (ICASSP), 2012 IEEE International Conference on. IEEE, 2012.を参照されたい。
【0028】
MFCCは、特に音声認識の分野において、声道特性を表す特徴量とも言われ、一般的に使用されてきた。このMFCCは、声道特性を連想するような生体音の検出に対しても適用されてきたが、本発明者らの調査によれば、本願出願時点まで、声道特性との関係性を連想できない、腸音の検出には利用されなかった。MFCCは、ヒトの聴覚系を簡易的に模擬したメルスケールと呼ばれる対数軸上に等間隔に配置された三角フィルタバンクの出力に対し離散コサイン変換を行うことにより算出される。
【0029】
PNCCは、雑音環境下での音声認識システムの頑健性を改善するために開発された特徴量である。しかしながら、PNCCは、録音データのサンプリングレートが低い場合(例えば、聴診器の録音データのような場合)、検出対象とするサウンドデータの音響やスペクトルの特性によっては、MFCCより検出性能が劣化する場合があるとの報告がある。PNCCは、ヒトの生理的な側面により近くなるようにMFCCを算出する過程を改善したものである。PNCCはMFCCに比べ、主に、以下の3つの点が異なっている。
【0030】
1つ目は、MFCCで使用される三角フィルタバンクの代わりに蝸牛の働きを模擬するために等価長方形帯域幅に基づくガンマトーンフィルタバンクを使用している点である。2つ目は、MFCCの算出過程には使用されていない、中時間処理された音声の算術平均及び幾何平均の比(AM-to-GM ratio)に基づいたバイアスサブトラクションを使用している点である。3つ目は、MFCCで使用される対数非線形性をべき乗非線形性に置き換える点である。これらにより、雑音に頑健な音声処理が可能となると言われている。
【0031】
BSF(bowel sound feature):BSF1~BSF5は、本発明者らが見出した新たな特徴量である。PNCC特徴抽出の構造において、transfer functions of a 24-channel gammatone-shaped bankに基づく squared gammatone integration 処理、peak power normalization 処理、パワーバイアスサブトラクション処理後のパワー:U(i,l)にPower-law nonlinearityを適用したパワーは次のように表現される。
GV(i,l)=U(i,l)1/15
ここでiはフレーム、lはチャネルインデックスである。
【0032】
BSF1:パワー:GV(i,l)に基づいて得られる、新たなBS特徴量である。BSF1の算出方法はいくつか存在するが、本明細書では、その1つをα
iとする。α
iは、パワー:GV(i,l)から、GV(i,l)の平均値を差し引いた値の二乗和をとる。
【数2】
α
i以外のBSF1として、例えば、フレームごとに、GV(i,l)の中心モーメントを使用することができる。GV(i,l)は、0から1にスケーリングすることもできる。
【0033】
BSF2:PNCCとパワースペクトルに基づいて得られる、新たなBS特徴量である。本明細書では、BSF2の1つをβ
iとする。β
iは、フレームごとに、S次元のPNCCの平均値をパワースペクトルの平均値で割って得られる。
【数3】
ここで、c
i(s)は、i番目のフレームにおけるs次元目のPNCCである。Pi(f)は、i番目のフレームにおけるパワースペクトルを表している。
【0034】
BSF3:PNCCに基づいて得られる、新たなBS特徴量である。本明細書では、BSF3の1つをγ
iとする。γ
iは、フレームごとに、S次元のPNCCの分散値を求めたものである。
【数4】
ここで、c
iバーは、i番目のフレームにおけるPNCCの平均値である。
【0035】
BSF4:これもPNCCに基づいて得られる、新たなBS特徴量である。本明細書では、BSF4の1つをζ
iとする。ζ
iは、フレームごとに、S次元のPNCCの二乗和を求めたものである。
【数5】
この特徴量は、BSF3とほぼ等価であり。状況に応じて、BSF3か、BSF4、どちらかが選択されるべきである。
【0036】
BSF5:マニュアルラベリング、もしくは、自動抽出により獲得されたBSセグメント長:Tである。
【0037】
BSF1、BSF2、BSF3、BSF4は、パワーバイアスサブトラクション処理を省いた場合、フィルタバンクをメルフィルタバンク等に変えた場合においても計算することができる。特に、BSF3はSTEに代わる特徴量として期待される。
【0038】
本実施形態において、特徴量抽出部124は、セグメント検出部122が検出した各セグメントにおけるPNCCを抽出するが、特徴量はこれに限定されない。そして、教師データ作成部12は、生体音判定部123の判定結果と特徴量抽出部124によって抽出されたPNCCとを、セグメントごとに対応付けることにより、教師データD1を作成する。教師データD1は、例えば補助記憶装置11に保存される。
【0039】
学習部13は、教師データD1に基づいて、予測アルゴリズムD2を学習する機能ブロックである。本実施形態では、学習部13は、人工ニューラルネットワーク(ANN)で構成される。ANNの構造は、入力層、中間層、出力層の少なくとも三層からなる階層型ニューラルネットワークである。学習済みの予測アルゴリズムD2は、例えば補助記憶装置11に保存される。
【0040】
なお、学習部13はANNに限定されず、線形識別関数、Gaussian Mixture Model (GMM)、Support Vector Machine(SVM)、Probabilistic neural network(PNN)、Radial bias function network(RBFN)、Convolutional neural network(CNN)、DeepNN、DeepSVMなどの学習機械を用いて構築することも可能である。
【0041】
(機械学習方法)
本実施形態に係る機械学習方法は、
図2に示す機械学習装置1を用いて実施される。
図3は、本実施形態に係る機械学習方法の全体的な手順を示すフローチャートである。
【0042】
ステップS1では、音響データ取得部121が、集音装置4によって被験者5から得られた音響データを取得する(音響データ取得ステップ)。
【0043】
ステップS2では、セグメント検出部122が、SNRが所定値以上のセグメントを音響データから複数検出する。
【0044】
ステップS3では、生体音判定部122が、各セグメントに生体音(本実施形態では、腸蠕動音)が含まれるか否かをユーザの操作に応じて判定する(生体音判定ステップ)。
【0045】
ステップS4では、各セグメントにおける特徴量を抽出する(特徴量抽出ステップ)。特徴量はPNCCを含むことが好ましい。ステップS3の判定結果とステップS4において抽出されたPNCCとを、セグメントごとに対応付けることにより、教師データD1が作成され。なお、ステップS3およびS4の順序は特に限定されない。
【0046】
その後、教師データD1が十分に蓄積されるまで(ステップS5においてYES)、被験者5を代えながらステップS1~S4が繰り返される。
【0047】
ステップS6では、学習部13が教師データD1に基づいて、予測アルゴリズムD2を学習する。
【0048】
(解析装置)
以下では、学習済みの予測アルゴリズムD2を用いて、音響データに生体音が含まれているかの予測等を行う形態について説明する。
【0049】
図4は、本実施形態に係る解析装置2の機能を示すブロック図である。解析装置2は、
図2に示す機械学習装置1と同様に、例えば汎用のパーソナルコンピュータで構成することができる。すなわち、解析装置2は、ハードウェア構成として、CPU(図示せず)、主記憶装置(図示せず)、補助記憶装置51などを備えている。解析装置2では、CPUが補助記憶装置51に記憶された各種プログラムを主記憶装置に読み出して実行することにより、各種演算処理を実行する。補助記憶装置51は、例えばハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)で構成することができ、学習済みの予測アルゴリズムD2が記憶されている。また、補助記憶装置51は、解析装置2に内蔵されてもよいし、解析装置2とは別体の外部記憶装置として設けてもよい。
【0050】
解析装置2には、集音装置4および表示装置6が接続されている。集音装置4は、
図2に示す集音装置4と同一の構成とすることができる。表示装置6は、例えば液晶ディスプレイで構成することができる。
【0051】
解析装置2は、上述の機械学習装置1によって学習された予測アルゴリズムに従って、対象者から得られた音響データに生体音が含まれているかを予測し、さらに、対象者7の状態を評価する機能を有している。この機能を実現するために、解析装置2は、機能ブロックとして、音響データ取得部22、セグメント検出部23、特徴量抽出部24、生体音予測部25、生体音セグメント抽出部26および状態評価部(第1状態評価部)27を備えている。なお、解析装置2の機能の少なくとも一部を、集音装置4に搭載してもよい。
【0052】
音響データ取得部22、セグメント検出部23および特徴量抽出部24は、
図2に示す機械学習装置1の音響データ取得部121、セグメント検出部122および特徴量抽出部124とそれぞれ同一の機能を有している。すなわち、音響データ取得部22は、集音装置4によって対象者7から得られた音響データを取得し、セグメント検出部23は、音響データ取得部22によって取得された音響データから、複数のセグメントを検出し、特徴量抽出部24は、音響データにおける特徴量を抽出する。特徴量抽出部24が用いる特徴量は、機械学習装置1の特徴量抽出部124において用いられた特徴量と同一である。
【0053】
生体音予測部25は、予測アルゴリズムD2に従って、音響データに生体音が含まれているかを予測する。本実施形態では、生体音予測部25は、セグメント検出部23によって検出された各セグメントについて、特徴量抽出部24によって抽出された特徴量に基づき、当該セグメントに腸蠕動音(BS)が含まれているかを予測する。より具体的には、生体音予測部25は、各セグメントについて、BSが含まれている可能性を示す0~1の予測スコアを予測結果として出力する。
【0054】
生体音セグメント抽出部26は、生体音予測部25の予測結果に基づいて、音響データから生体音が含まれているセグメントを抽出する。本実施形態では、セグメント検出部23によって検出されたセグメントの中から、予測スコアが最適閾値Thよりも大きいセグメントを、BSが含まれているセグメント(BSセグメント)として抽出する。
【0055】
最適閾値T
hは、次のように設定する。まず、生体音予測部25の予測スコアをもとに、受信者動作特性(ROC : Receiver Operating Characteristic)解析を行うことにより、カットオフポイントにおける感度(Sensitivity)、特異度(Specificity)、精度(Accuracy)を次のように求めることができる。
【数6】
ここで、TP、TN、FP、FNの定義は以下の通りである。
True Positive(TP):BSセグメントを自動抽出した数
True Negative(TN):non-BSセグメントを自動抽出しなかった数
False Negative(FN):BSセグメントを自動抽出しなかった数
False Positive(FP):non-BSセグメントを自動抽出した数
【0056】
ROC曲線において、感度:1、特異度:1の位置からのユーグリッド距離が最短となる点を基に、最適閾値Thが決定される。本実施形態では、例えばTh=0.55に設定することができる。
【0057】
状態評価部27は、生体音セグメント抽出部26によって抽出されたセグメントに基づいて、対象者7の状態を評価する。本実施形態では、状態評価部27は、前記状態として腸運動性を評価する。状態評価部27の評価結果は、例えば表示装置6に表示される。
【0058】
(解析方法)
本実施形態に係る解析方法は、
図4に示す解析装置2を用いて実施される。
図5は、本実施形態に係る解析方法の全体的な手順を示すフローチャートである。
【0059】
ステップS11では、音響データ取得部22が、集音装置4によって対象者7から得られた音響データを取得する(音響データ取得ステップ)。
【0060】
ステップS12では、セグメント検出部23が、SNRが所定値以上のセグメントを音響データから複数検出する。
【0061】
ステップS13では、特徴量抽出部24が各セグメントにおける特徴量を抽出する。ここでの特徴量は、上述の機械学習方法のステップS4において用いられた特徴量と同一である。
【0062】
ステップS14では、生体音予測部25が、予測アルゴリズムD2に従って、音響データに生体音が含まれているかを予測する(予測ステップ)。本実施形態では、生体音予測部25は、特徴量抽出部24が抽出したセグメントに腸蠕動音(BS)が含まれているかを予測する。
【0063】
【0064】
BSが含まれているかの予測が行われていない他のセグメントがある場合(ステップS17においてYES)、ステップS13に戻り、S16までの処理を繰り返す。
【0065】
一方、他のセグメントがない場合(ステップS17においてNO)、ステップS18において、状態評価部27が、抽出されたセグメントに基づいて、対象者7の状態を評価する(状態評価ステップ)。本実施形態では、状態評価部27が、BSセグメントに基づいて、対象者7の腸運動性を評価する。例えば、以下に記載してあるように、腸運動性の評価には、1分あたりのBSセグメント数、BS長、BSセグメントのエネルギ、BSセグメント間隔が使用できる。また、検出したBSセグメントに対してフィジカルアセスメントの概念を適用することができる。
【0066】
以上により、解析装置2は、学習済みの予測アルゴリズムD2を用いて、音響データに生体音が含まれているかの予測等を行う。ここで、予測アルゴリズムD2は、機械学習装置1における機械学習によって得られたものであり、十分な量の教師データD1を用いて機械学習させることで、解析装置2の予測精度を高めることが可能となる。特に、本実施形態では、予測に用いる音響データの特徴量が、PNCC、MFCC、△PNCC、△△PNCC、△MFCC、△△MFCC、フォルマントに関連する特徴、ピッチに関連する特徴、LPC係数、スペクトルフラットネス、対数エネルギ、有音区間の持続時間、ZCR、および近似エントロピーなどのエントロピーに基づく指標、ならびに、それらの統計量の少なくともいずれかを含んでいる。これらの特徴量は、雑音耐性に優れているので、集音装置4によって得られた音響データに雑音が多く含まれている場合であっても、音響データに生体音が含まれているか否かを高精度に予測することができる。よって、音響データから生体音が含まれているセグメントを自動的に抽出することが可能となり、対象者7の状態評価を簡便に行うことができる。
【0067】
[変形例]
本変形例では、生体音の有無に加え、生体音の種類を予測する構成について説明する。本変形例において、上記実施形態におけるものと同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
【0068】
図6は、本変形例に係る機械学習装置1’の機能を示すブロック図である。機械学習装置1’は、
図2に示す機械学習装置1において、教師データ作成部12を教師データ作成部12’に置き換えた構成であり、教師データ作成部12’は、教師データ作成部12において、分類判定部125をさらに備えた構成である。
【0069】
分類判定部125は、音響データに生体音が含まれる場合、前記生体音の種類をユーザの操作に応じて判定する機能ブロックである。本変形例では、分類判定部125は、生体音判定部123によって腸蠕動音(BS)が含まれていると判定されたBSセグメントについて、入力装置3を介したユーザの操作に応じて、当該BSの種類を判定する。BSの種類は、例えば「グー」、「キュルキュル」、「ポコ」などの擬音に応じて分類することができる。なお、BSを分類するカテゴリーや数は、特に限定されない。
【0070】
フィジカルアセスメントの技術では、一般の聴診で(正常な)腸音として聴取される「グルグル・ゴロゴロという音」、短いポコ音、持続するギュー音や、腸音の亢進時に聴取される「グルグルと突進するような音」に分類することが出来る。打診時には、腸管ガスの貯留に関連する「ポンポンという音」、便秘(便がある部位)や膀胱内の尿の貯留に関連する「濁音」に分類することができると言われている。更に、腸蠕動音は、正常、亢進、減弱、消失に分類することができ、腸音の亢進は、感染性胃腸炎などの炎症や下痢、イレウスの沈静化時に聴取される。腸音の減弱は、手術による腹膜の炎症、便秘時に聴取される。腸音の消失は、イレウス時に聴取されると言われる。そのほかに、腹部の血管雑音の聴取は腹部動脈の狭窄病変が疑われると言われる。
【0071】
教師データ作成部12’は、生体音判定部123の判定結果および分類判定部125の分類と特徴量抽出部124によって抽出されたPNCCとを、セグメントごとに対応付けることにより、教師データD1’を作成する。学習部13は、教師データD1’に基づいて、予測アルゴリズムD2’を学習する。
【0072】
図7は、本変形例に係る解析装置2’の機能を示すブロック図である。解析装置2’は、
図4に示す解析装置2において、分類予測部28および状態評価部(第2状態評価部)29をさらに備えた構成である。
【0073】
分類予測部28は、音響データに生体音が含まれていると予測された場合に、予測アルゴリズムD2’に従って、前記生体音の種類を予測する機能ブロックである。本変形例では、生体音予測部25によって、BSが含まれていると予測されたセグメントについて、当該BSの種類を特徴量抽出部24が抽出したPNCC等の特徴量に基づいて予測する。これにより、BSの種類を自動判別することが可能となる。
【0074】
状態評価部29は、分類予測部28によって予測された生体音の種類に基づいて、対象者7の状態を評価する。本実施形態では、状態評価部29は、前記状態として腸疾患の有無を評価する。状態評価部29の評価結果は、例えば表示装置6に表示される。
【0075】
このように、本変形例では、生体音を上述した音に分類することができる。また、ANNの出力層のユニットが1つの場合、生体音を2クラスに分類できるが、出力層のユニットを複数とすることにより、生体音を多クラスに分類できる。
【0076】
なお、本変形例は、STE法を用いてSNRが所定値以上のセグメントを検出した後の腸音分類にも使用することができる。上記カテゴリーに生体音を分類することにより、それらの音の減少、消失、亢進を腸蠕動音の音響特徴量より計算して、疾患との関連を評価できる。
【0077】
また、本変形例では、音響データに生体音が含まれているか否かの予測、および、生体音の種類の予測のために用いられる特徴量は、雑音に頑健な特徴量に限定されない。例えば、騒音の少ない環境下で、集音装置4として電子聴診器を用いた場合は、生体音の分類予測のためにあらゆる特徴量を用いることができる。
【0078】
[付記事項]
本発明は上記実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる形態も本発明の技術的範囲に含まれる。
【0079】
例えば、上記実施形態では、被験者から得られた音響データからセグメントを抽出し、各セグメントに対して、生体音が含まれているかの判定および特徴量抽出を行っていたが、セグメントの抽出は必須ではない。
【0080】
また、上記実施形態では、生体音が腸蠕動音(BS)である場合について説明したが、生体活動に起因する生体音であれば特に限定されない。そのような生体音としては、心拍音、嚥下音、呼吸音(いびき)、発話音(しゃべり方)、歩行音などが挙げられる。
【実施例】
【0081】
以下、本発明の実施例について説明するが、本発明は下記実施例に限定されない。
【0082】
[実施例1]
実施例1では、特徴量としてMFCCおよびPNCCをそれぞれ用いて予測アルゴリズムを学習し、学習済みの予測アルゴリズムによって、音響データに腸蠕動音(BS)が含まれているかを予測し、BSが含まれている音響データの予測が可能であるかを検証した。
【0083】
具体的には、研究内容に同意を得られた男性被験者20名(age:22.9±3.4、BMI:22.7±3.8)に対して炭酸水負荷試験(STT)を行った。被験者には12時間以上の絶食後に炭酸水を摂取してもらい、炭酸水摂取前の10分間の安静時、炭酸水摂取後15分間の安静時にSTTを行った。集音装置として、非接触マイクロフォン(RODE社製 NT55)、電子聴診器(Cardionics社製 E-Scope2)、マルチトラックレコーダ(ZOOM社製 R16)を用いて録音を行った。音響データは、サンプリング周波数44100Hz、ディジタル分解能16bitで獲得された。試験中、被験者は仰臥位の状態であり、電子聴診器を臍から右に9cmの位置に配置し、非接触マイクロフォンを臍から上方に20cmの位置に配置した。
【0084】
非接触マイクロフォンから取得された音響データを機械学習装置に取り込んだ後、SNRが所定値以上のセグメントを検出した(
図3のステップS2)。腸蠕動音(BS)は一般的に100Hzから500Hzの間に主要周波数成分が存在すると報告されているため、音響データに対して、4000Hzへのダウンサンプリング処理、さらに、3次バターワース・バンドパスフィルタ処理(カットオフ周波数:100Hz~1500Hz)を行なった。(以下全ての実施例において、前処理として、音響データに対して、この3次のバターワース・バンドパスフィルタ処理が行われていることに注意されたい。)解析のために、音響データは、窓幅:256サンプル、シフト幅:64サンプルでセグメントに分割し、STE法により、窓幅毎にパワーを計算し、SNRが所定値以上のセグメントを検出した。
【0085】
続いて、各セグメントにBSが含まれているかの生体音判定(
図3のステップS3)を人間の聴覚評価によって行った。非接触マイクロフォンの録音データに含まれるBSは、電子聴診器の録音データにおいても含まれているため、生体音判定では、音声再生ソフトウェア上で、両録音データを注意深く視聴し、耳でBSを識別できた20ms以上のエピソードをBSセグメントとしてラベリングを行なった。
【0086】
また、各セグメントにおいて、MFCCおよびPNCCの2つの特徴量を抽出した(
図3のステップS4)。本実施例では、MFCCおよびPNCCのそれぞれについて、周波数帯を考慮し24チャネルのガンマトーンフィルタをもとに計算した。MFCCおよびPNCCは、セグメントを、フレームサイズ:200、シフトサイズ:100で分割して、フレーム毎に計算が行われた。そのため、各セグメントにおいて、平均化した13次元のMFCCおよび13次元のPNCCを特徴量として使用した。
【0087】
以上により、20名分の音響データから、BSセグメントおよびnon-BSセグメント、および、各セグメントの特徴量を取得した。そして、これらのセグメントのうち、3/4を教師データとして用い、残りの1/4を評価用データとして用いた。
【0088】
予測アルゴリズムの学習では、入力層、中間層および出力層のユニット数がそれぞれ13、25および1の人工ニューラルネットワーク(ANN)を用いた。中間層ユニットの出力関数は双曲線正接関数であり、出力層ユニットの伝達関数は線形関数であった。教師信号として、学習対象のセグメントがBSセグメントであれば1、non-BSセグメントであれば0を与え、Levenberg-Marquardt法に基づく誤差逆伝搬法によりANNを学習させ、予測アルゴリズムを作成した。なお、学習アルゴリズムには、誤差逆伝搬法の他、弾性逆伝搬法等が使用可能である。中間層、出力層のユニットの出力関数には例えば、softmax等が使用可能である。
【0089】
予測アルゴリズムの学習及び評価は、(1)結合荷重の初期値をランダムに、(2)学習データおよび評価用データをランダムに与えて複数回試行した。これにより、予測アルゴリズムの予測精度の平均値を計算した。
【0090】
1人の被験者の音響データから腸運動性を評価するために、leave one out交差検証を通して、予測アルゴリズムを用いて自動抽出された複数のセグメントから上述の2つの音響特徴量を抽出した。そして、被験者が炭酸水を摂取する前後のこれらの音響特徴量の違いを、ウィルコクソンの符号順位和検定を用いて評価した。
【0091】
本実施例では、STE法において音響データからセグメントを検出するための基準となるSNRの所定値(基準値)が、予測アルゴリズムの予測精度および腸運動性の評価にどのような影響を与えるのかを調査するために、SNRの所定値を0、0.5、1、2dBと変化させた。基準値ごとに得られたBSセグメントおよびNon-BSセグメントの、数および長さを表1に示す。
【0092】
【0093】
表1より、炭酸水摂取前と摂取後の両者ともに、Non-BSセグメントの数は基準値の低下に伴って増加するが、炭酸水摂取前のBSセグメントの数は一定の基準値を境に減少する傾向にあり、炭酸水摂取後のBSセグメントの数は基準値の低下に伴って低下する傾向にあることが分かった。また、BSセグメントおよびNon-BSセグメントとも、基準値の低下に伴い、大きくなっていることが確認できる。また、BSセグメントの数および長さ、ならびに、Non-BSセグメントの数は、炭酸水摂取前よりも摂取後のほうが大きく、Non-BSセグメントの長さは、炭酸水摂取前よりも摂取後のほうが小さい。
【0094】
【0095】
【0096】
表2によれば、特徴量がMFCCの場合、炭酸水摂取前では、基準値の減少とともに、精度が劣化することが分かった。一方で炭酸水摂取後では、基準値の減少とともに精度が概ね高くなることが分かった。表3によれば、特徴量がPNCCの場合、炭酸水摂取前後のいずれにおいても、基準値の減少とともに、精度が高くなり、基準値が0dBの場合、最も高い精度が得られることが分かった。
【0097】
図8は、特徴量がMFCCおよびPNCCである場合の予測精度(Acc)をSNRの基準値毎に示したグラフであり、(a)は炭酸水摂取前のグラフ、(b)は炭酸水摂取後のグラフである。
図8から、SNRの全ての基準値において、PNCCを用いた場合の精度のほうが、MFCCを用いた場合の精度より高いことが分かった。特に、SNRの基準値が0dBの場合、炭酸水摂取前におけるPNCCの標準偏差はMFCCの標準偏差と比べ小さくなり、PNCCの平均値はMFCCの平均値に比べ、十分高くなることが分かった。一般に炭酸水摂取前では、摂取後と比較して、音圧の低いBSが多く発生していることから、BSが含まれているかの予測を行うための特徴量は、PNCCが特に有効であることが分かった。
【0098】
[実施例2]
本実施例では、実施例1において特に有効と判明したPNCCを特徴量として用いて、実施例1と同様に予測アルゴリズムを学習し、学習済み予測アルゴリズムによる音響データに腸蠕動音(BS)が含まれているかの予測、および、抽出した音響データに基づく腸運動性の評価が可能であるかを検証した。
【0099】
音響データにBSが含まれているかの予測精度を評価するにあたって、実施例1では、ランダムサンプリングによる評価を行ったが、本実施例では、leave one out 交差検証による評価を行った。具体的には、20名の被験者ごとにleave one out 交差検証を50回繰り返し、被験者ごとに最も精度が高くなった分類精度の平均値を計算した。その結果を表4に示す。
【0100】
【0101】
さらに、予測アルゴリズムによって抽出したBSセグメントに基づいて、被験者の腸運動性の評価を行った。具体的には、BSセグメントから、腸運動性を評価するための指標として、一分間あたりのBSの発生数、SNR、BSの長さ、およびBSの発生間隔を検出し、炭酸水摂取前後における腸運動性の違いを捉えた。一分間あたりのBSの発生数、およびSNRを表5に示し、BSの長さ、およびBSの発生間隔を表6に示す。
【0102】
【0103】
表5および表6より、SNRの基準値を0dBまで低下させても、炭酸水摂取前後における腸運動性の違いを捉えることができることが分かった。この結果は、BSセグメントの抽出精度に関係していることに注意されたい。以上のことから、SNRの基準値が0dBまで変化する場合であれば、一分間あたりのBSの発生数(一分間あたりのBSセグメントの数)、SNR、BSの発生間隔は、基準値の変化に影響を受けない指標であると示唆された。
【0104】
なお、被験者が炭酸水を摂取すると、腸管の運動性が強く亢進することが知られている。よって、本発明に係る予測アルゴリズムは、健常者に比べ腸運動性が強く亢進していると考えられる腸疾患等の評価、モニタリングに有用であることが示唆された。
【0105】
[実施例3]
本実施例では、PNCCを特徴量として用いて予測アルゴリズムを学習し、学習済み予測アルゴリズムによる音響データに腸蠕動音(BS)が含まれているかの予測、および、抽出した音響データに基づく腸運動性の評価、特に、過敏性腸症候群(IBS)の識別が可能であるかを確認した。
【0106】
まず、事前検証として、IBSおよび非IBSの48名の被験者から取得した音響データから腸蠕動音(BS)が含まれているBSセグメントを手動で抽出し、BSセグメントを解析することにより、IBSおよび非IBSを識別するための指標を調査した。
【0107】
具体的には、研究内容に同意が得られた男性被験者48名(IBS:23名(年齢:22.2±1.43、BMI:22.1±3.39)、非IBS:25名(年齢:22.7±3.32、BMI:21.6±3.69))に対して炭酸水負荷試験(STT)を行った。被験者は、RomeIII診断基準をもとに、IBSか非IBSかに分類された。STTの内容は、実施例1と同様であり、被験者には前日の12時間以上の絶食後に炭酸水を摂取してもらい、当日の午前中において、炭酸水摂取前の10分間の安静時、炭酸水摂取後15分間の安静時にSTTを行った。ただし、実験当日に腹痛や腹部不快感を訴えた被験者は除いた。集音装置として、非接触マイクロフォン(RODE社製 NT55)、電子聴診器(Cardionics社製 E-Scope2(48名)、オーディオインターフェイス(ZOOM社製 R16(34名)、R24(14名))を用いて録音を行った。音響データは、サンプリング周波数:44100Hz、ディジタル分解能:16bitで同時に記録された。実験中の被験者の体位は仰臥位であり、電子聴診器を臍から右9cmの位置に配置し、非接触マイクロフォンを臍から上方に20cmの位置に配置した。音響データは、一般的に知られている腸蠕動音(BS)の周波数特性を考慮して、4000Hzへのダウンサンプリング処理を行った。
【0108】
非接触マイクロフォンの音響データから手動でBSセグメントを抽出する作業では、電子聴診器の録音データから得られたARMAスペクトルピークの帯域幅を参考にして、BSの検出を行なった。これにより、BSが発生している時間が分かるため、それを参考にして、音声再生ソフトウェア上で、両録音データを視聴して、聴感評価を行なった。抽出されたBSセグメントをIBS群と非IBS群に分類し、IBS/非IBSを識別するための指標として、一分間あたりのBSの発生数、およびBSの発生間隔の2つの指標をBSから検出し、STTを実施した25分間における5分毎の各指標の平均値を算出した。そして、IBS群と非IBS群との間で、各指標に有意な差があるかをウィルコクソンの符号順位和検定によって検証した。
【0109】
図9(a)および(b)は、事前検証において算出された2つの指標の時間推移を示している。0~10分は炭酸水摂取前であり、10~25分は炭酸水摂取後である。
図9から、20~25分(炭酸水摂取後10~15分)の区間における一分間あたりのBS発生数およびBS発生間隔において、IBS群と非IBS群との間で有意差があるという傾向が確認された。なお、電子聴診器の録音データに対して、ARMAに基づくアプローチを用いて推定した、一分間あたりのBS発生数を計算した場合では、IBS群と非IBS群との間で有意な違いが見られなかった。この結果は、電子聴診器録音に含まれるBSの中でも、特徴的なBSを獲得できる非接触マイクロフォン録音の顕著な有用性を強調する。
【0110】
続いて、本実施例では、事前検証における被験者の中から同一のオーディオインターフェース(R16)を用いて録音された音響データをピックし、予測アルゴリズムによって、音響データからBSセグメントを抽出した。そして、抽出したBSセグメントに基づき、被験者がIBSであるか否かを識別し、その精度を検証した。予測アルゴリズムは、PNCCを特徴量として用いたANNによる機械学習によって作成した。ANNの入力層、中間層および出力層のユニット数は、それぞれ8~28、40、1であった。また、教師データの作成におけるSTE法によるセグメント検出では、SNRの基準値を0dBとした。
【0111】
具体的には、研究内容に同意が得られた男性被験者34名(IBS:18名(年齢:23.1±3.84、BMI:21.9±4.07)、非IBS:16名(年齢:22.3±1.69、BMI:23.1±3.61))に対して、事前検証と同様のSTTを行い、事前検証と同様の方法によって、被験者から音響データを取得した。まず、音響データは、そして、取得した音響データは、サブセグメント:256、オーバーラップ:128で分割されたデータに対してSTE法を使用し、SNRが0dB以上のセグメントを検出し、予測アルゴリズムによってBSセグメントを抽出出来るか検討を行った。本実施例では、各セグメントは、フレームサイズ:200、オーバーラップ:100で分割され、フレーム毎に20次元のPNCC、20次元のMFCCが計算された。その後、各セグメントにおける20次元のMFCCの平均値、20次元のPNCCの平均値と20次元のPNCCの標準偏差、本実施例の特徴量:BSF1、BSF2、BSF3およびBSF4の各標準偏差、各平均値を計算した。また、ANNの入力層、中間層および出力層のユニット数は上述した通り(それぞれ8~28、40、1)であり、抽出性能の評価は、leave one out 交差検証によって行った。その評価結果を表7に示す。
【0112】
【0113】
このように、拡大されたサウンドデータベース(20名から34名)を使用することにより、PNCCの平均値(20次元)を使用する場合、およびMFCCの平均値(20次元)を使用する場合よりも格段に高いBS検出性能が得られることが明らかになった。このことから、本実施例のようにサンプリングレートが低い場合でも、BSの検出においては、MFCCよりPNCCが有効であることが確認された。また、本実施例の特徴量:BSF1、BSF2、BSF3およびBSF4の統計量(トータル:8次元)の特徴量を使用するだけで、PNCCの平均値(20次元)を使用する場合よりも高いBS検出性能を得ることができることが確認された。これは、明らかに、これら4つの特徴量がBS検出に有効であることを示していると考えられる。さらに、PNCCの統計量(標準偏差)とBSF1、BSF2、BSF3およびBSF4の統計量を組み合わせることにより、性能が改善されることが明らかとなった。
【0114】
事前検証では、例として、STTの20~25分(炭酸水摂取後10~15分)の区間における一分間あたりのBS発生数およびBS発生間隔において、IBS群と非IBS群との間で有意差があるという傾向が確認された。これに対し、PNCCの標準偏差とBSF1、BSF2、BSF3、BSF4の統計量(平均値と標準偏差)とを組み合わせた予測アルゴリズムによって抽出されたBSセグメントについても同様の傾向があるか確認するため、STTの20~25分(炭酸水摂取後10~15分)の区間における一分間あたりのBSセグメント数を推定した。その結果を表8に示す。
【0115】
【0116】
表7および表8に示す結果から、予測アルゴリズムを用いることにより、炭酸水摂取後、平均88.6%の感度でBSセグメントを抽出できることが分かった。そして、抽出されたBSセグメントに基づき、IBSおよび非IBSそれぞれの炭酸水摂取後10~15分の区間における、一分間あたりのBSセグメント数を計算した結果、IBS群と非IBS群との間に有意な差が認められた。以上のことから、手動で抽出したBSセグメントと同様に、予測アルゴリズムを用いて抽出したBSセグメントであっても、IBSと非IBSとの識別が可能であることが分かった。なお、BSF1、BSF2、BSF3、BSF4の統計量(平均値と標準偏差)のみを用いた場合でも、一分間あたりのBSセグメント数を基にして、IBSと非IBSとの間に有意な違い(P<0.05)が見られたことに注意されたい。
【0117】
なお、聴診器と非接触マイクロフォンを同時録音できるセンサでは、BSは同期して獲得される。今回の環境より雑音の多い状況下において、非接触マイクロフォンの録音データからBSセグメントを検出する場合、聴診器の録音データから、推定されたBSを参照することにより、非接触マイクロフォン録音からBSを検出する性能を改良することができる。
【0118】
[実施例4]
本実施例では、非接触マイクロフォンを用いて、5名の被験者から録音された、(i)炭酸水摂取後の5分間の録音データ、(ii)コーヒー摂取後の5分間の録音データからマニュアルラベリングによりBSを抽出し、BSの種類について、次の5つのパターンP1~P5に分類を行った。
P1:約50ms程度以下の極めて短いBS(例、気泡が破裂したような音)。
P2:液体の移動に伴い発生するような、ゴロゴロゴロ、ギュルギュルギュルのようなBSであり、一般的に、スペクトログラム上、大きな変化が見られない。
P3:ギュル、ゴロ、グル、グゥのような音であり、P2に類似しており、P2より、BS長が短い傾向にある。
P4:グー、ギュー、クーのような音であり、単純いびき症のいびき音に類似したスペクトル構造が見られる。
P5:P4に類似した音が時間と共に比較的大きく変化するパターンであり、例えば、時間と共に高周波へシフトするパターンが挙げられ、スペクトログラムの形状が時間とともに明らかに変化するパターンである。
【0119】
なお、具体的な分類方法については、Dimoulas, C., Kalliris, G., Papanikolaou, G., Petridis, V., & Kalampakas, A. (2008). Bowel-sound pattern analysis using wavelets and neural networks with application to long-term, unsupervised, gastrointestinal motility monitoring. Expert Systems with Applications, 34(1), 26-41.を参照されたい。
【0120】
図10に、(a)炭酸水摂取後のBSパターンの発生頻度、(b)コーヒー摂取後のBSパターンの発生頻度を示す。この図から、両群間において、BSパターンの発生頻度の違いが確認された。コーヒー摂取後では、炭酸水摂取後に比べ、BSのパターンP1が明らかに多く見られることが確認された。逆に、炭酸水摂取後では、特に、パターンP2、P4の発生頻度が増加していることが確認された。これらの結果は明らかに、飲料水の成分の違いによる腸管内の状態の違いを表現していると思われる。これにより、BSパターンに基づいて、腸疾患の有無の評価が可能であることが示唆される。
【0121】
[実施例5]
本実施例では、非接触マイクロフォンを用いて、5名の被験者から録音された、(i)炭酸水摂取後の5分間の録音データ、(ii)コーヒー摂取後の5分間の録音データからマニュアルラベリングによりBSを抽出して作成されたデータベースからBSパターンの自動分類を行った。なお、上述したパターンP1は50ms程度以下の短い音であり、BSセグメントの長さの情報だけで十分識別可能であるため、本実施例では除外されている。腸管が蠕動運動を行う際、空気や内容物(液体等)が腸管内を移動するときにBSが発生することが知られているため、本実施例では、パターンP2、P3を液体優位なBSパターンとしてまとめ、教師信号PA1:(0、1)を与えている。同様にパターンP4、P5を空気優位なBSパターンとしてまとめ、教師信号PA2:(1、0)を与えている。
【0122】
これらのBSパターンの自動分類には、下記の特徴量1~3を使用した。
特徴量1:BSF5
特徴量2(本実施例の特徴量):BSF1、BSF2、BSF3、BSF4の統計量(平均値と標準偏差)
特徴量3:特徴量2+BSF5
【0123】
自動分類アルゴリズムの学習では、入力層、中間層および出力層のユニット数がそれぞれ1~9、30および2のANNを用いた。スケーリング共役勾配法アルゴリズムによりANNを学習し、中間層ユニットの出力関数は双曲線正接関数であり、出力層ユニットの伝達関数は線形関数であった。データベースは、学習用データ:評価用データ=3:2に分割して、平均2乗誤差を基に分類アルゴリズムの性能評価を行った。その結果を表9に示す。表9には、300回の試行の後、最小の平均二乗誤差が代表値として表現されている。
【0124】
【0125】
BSF5を使用した場合(特徴量1)、本実施例の特徴量:BSF1、BSF2、BSF3、BSF4の統計量(平均値と標準偏差)を使用した場合(特徴量2)とでは、分類性能は変わらないことが確認された。しかしながら、これらの特徴量を組み合わせた場合(特徴量3)、格段の分類性能が得られることが示唆された。
【0126】
以上のことから、本実施例の特徴量であるBSFは、BS検出だけではなく、BS分類においても大きな貢献を果たすと考えられる。勿論、これらの考え方は、非接触マイクロフォンの録音データだけではなく、聴診器の録音データにも役に立つと考えられる。
【0127】
[実施例6]
本実施例では、従来から、BS検出に使用されてきた(i)ARMAに基づくアプローチから抽出された後述の特徴量:ψk、(ii)本実施例の特徴量:BSF1、BSF2、BSF3、BSF4、および20次元のPNCCを用いて予測アルゴリズムを学習し、学習済み予測アルゴリズムによる腸蠕動音(BS)の抽出性能の比較検討を行った。また、音響データは、ノイズの多い環境下で電子聴診器を用いて取得した。2013年に本発明者らが開発したARMAに基づく腸音検出法は、サブセグメント毎に検出結果を得る必要があった。ここでは、本発明との性能比較を行うために、サブセグメントに対して本発明が適用された。なお、ここで使用するサブセグメント長は、フレーム長と等価である。
【0128】
本実施例では、研究内容に同意が得られた男性被験者10名に対して炭酸水負荷試験(STT)を行った。STTの内容は、実施例1と同様であり、被験者には(i)前日の12時間以上の絶食後、(ii)炭酸水摂取直後、(iii)食後1時間以内、(iv)コーヒー摂取直後に安静状態になってもらい、当日の午前中において、集音装置として、電子聴診器(Cardionics社製 E-Scope2)を用い、被験者ごとに騒音レベルの異なる下記のA~Eの環境下で、1分間録音を行った。(すなわち、1人の被験者からは、4つの状態(iからiv)×5つの録音環境(AからE)=20パターンの録音データが獲得される。)
A:静音下(騒音レベル:約32dB)
B:音読(約56dB)
C:足音(約51dB)
D:テレビ(約55dB)
E:扇風機稼働(約52dB)
なお、これらの騒音レベルは、被験者から、およそ1m程度離れた位置にある騒音計を使用して計測を行った。また、騒音源も被験者からおよそ1m程度離れた位置に配置したことに注意されたい。
【0129】
続いて、サブセグメントにBSが含まれているかの生体音判定(
図3のステップS3)を人間の聴覚評価によって実施例1と同様に行った。
【0130】
また、各サブセグメントにおいて、ARMAに基づくアプローチを用いて特徴量を抽出した。具体的には、以下の処理を行った。
【0131】
まず、音響データは、サブセグメント長:M、オーバーラップ:Sで分割した。分割された信号は、次のように、表現することができる。
【数7】
【0132】
さらに、分割された信号に対し、最小二乗回帰分析を用いて線形トレンドを除去した。その後、以下の式のように、自己回帰移動平均(ARMA)モデルを用いて、信号をモデリングした。
【数8】
ここで、a、bはARMAの係数であり、w
k(n)は白色雑音であり、p、qはARMAの次数である。
【0133】
Prony法によりARMAモデルの係数が算出された後に、ARMAモデルのパワースペクトルを計算した。Prony法は、AR(m)モデルにより得られた、インパルス応答(長さl)をもとにしてARMA係数を設計する方法である。このパワースペクトルは極a、根bを含んだフィルタで雑音分散σ
wをフィルタリングすることにより生成される。さらに、パワースペクトルを計算する前には、スペクトルの振幅推定の向上のため、ARMA係数のDサンプルのゼロパディングを行なった。
【数9】
【0134】
[数9]のパワースペクトルからピークピッキングを行うことにより、ピーク周波数での3dB帯域幅を求めた。
【数10】
【0135】
BW3dbは、ARMAのスペクトルピークにおける3dB帯域幅である。スペクトルに複数のピークが観測された場合は、最も狭い3dB帯域幅が用いられる。BW3dbが計算できない場合は、BW3db=0とされる。ψkは3次のメディアンフィルタにより平滑化されて使用される。
【0136】
また、カットオフ周波数:80Hzを持つ、100次のFIRハイパスフィルタを使用して、音響データをフィルタリングした。ただし、このカットオフ周波数は、フィルタの正規化ゲインが-6dBとなる周波数である。そして、フィルタリングされた信号を、サブセグメント長:M、オーバーラップ:Sで分割した。分割された信号は、次のように、表現することができる。
【数11】
ここで、Nはトータルサブセグメント数であり、s(n)はフィルタ処理された信号である。
【0137】
ARMAに基づくアプローチから抽出される特徴量は、ψk(数6)である。特徴量:ψkの算出には、M=256、S=128、p=5、q=5、D=1024、m=30、l=4000の各パラメータを使用した。このアプローチとの性能を比較するために、特徴量:BSF1とBSF2およびBSF3、ならびに、20次元のPNCCが使用された。
【0138】
予測アルゴリズムの学習では、入力層および出力層のユニット数がそれぞれ(i:ψkの場合)1、(ii:本実施例の特徴量の場合)24および1であり、中間層のユニット数(H)が40のANNを用いた。教師信号として、学習対象のサブセグメントがBSサブセグメントであれば1、non-BSサブセグメントであれば0を与え、スケーリング共役勾配法アルゴリズムによりANNを学習させ、予測アルゴリズムを作成した。
【0139】
予測アルゴリズムの予測精度の評価では、leave one out 交差検証を用い、感度、特異度、PPVを計算した。特徴量として、(i)ψkを用いた場合と、(ii)発明の特徴量:BSF1,BSF2、BSF3、および20次元のPNCCの場合の結果を表10に示す。ここで、サブセグメンントに対してPNCCを使用するため、フィルタバンクには、メルフィルタバンクを使用し、PNCCのパワーバイアスサブトラクッション処理は実施しなかった。
【0140】
【0141】
この結果から、音響データが雑音の多い環境下で取得された場合であれば、予想通り、ARMAに基づくアプローチのBS検出性能が劣化することが確認された。一方で、特徴量として本実施例の特徴量:BSF1、BSF2、BSF3、および20次元のPNCCを用いて学習された予測アルゴリズムを用いることにより、ARMAに基づくアプローチより遥かに高い検出性能が得られることが確認された。また、10人の被験者の200パターンの録音データからマニュアルラベリングにより抽出された、各録音データに対するBSサブセグメント数と本実施例の予測アルゴリズムより推定された各録音データに対するBSサブセグメント数との相関係数を求めた結果、R=0.9272という高い相関が確認された。ここでは、ARMAに基づくアプローチを使用した場合とBS検出性能を比較するために、サブセグメントに対して本実施例の特徴量が使用された。このような聴診器の録音データの場合でも、セグメント分割して、BSF1、BSF2、BSF3、および20次元のPNCCの統計量を抽出することにより、更なる性能向上が期待される。
【0142】
なお、本技術は、SNRが低下するような環境下でも、BSを検出することを目指して、開発されてきた。上述の各実施例は、極めて小さな音のBSも検出対象としていたことに注意されたい。
【符号の説明】
【0143】
1 機械学習装置
1’ 機械学習装置
2 解析装置
2’ 解析装置
3 入力装置
4 集音装置
6 表示装置
7 対象者
11 補助記憶装置
12 教師データ作成部
12’ 教師データ作成部
13 学習部
22 音響データ取得部
23 セグメント検出部
24 特徴量抽出部
25 生体音予測部
26 生体音セグメント抽出部
27 状態評価部(第1状態評価部)
28 分類予測部
29 状態評価部(第2状態評価部)
51 補助記憶装置
100 診断支援システム
121 音響データ取得部
122 セグメント検出部
122 生体音判定部
123 生体音判定部
124 特徴量抽出部
125 分類判定部
D1 教師データ
D1’ 教師データ
D2 予測アルゴリズム
D2’ 予測アルゴリズム