特開 2024-98246 シャント音による異常識別システム、シャント音による異常識別方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098246

(43)【公開日】2024-07-23

(54)【発明の名称】シャント音による異常識別システム、シャント音による異常識別方法及びプログラム

(51)【国際特許分類】

   A61B 7/04 20060101AFI20240716BHJP

   A61M 1/36 20060101ALI20240716BHJP

   G06T 7/00 20170101ALI20240716BHJP

【ＦＩ】

A61B7/04 Y

A61M1/36 141

G06T7/00 612

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023001625

(22)【出願日】2023-01-10

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り １．２０２２年１月２０日発行のＩＣＡＲＯＢ２０２２予稿集「ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ ２０２２ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＡＲＴＩＦＩＣＩＡＬ ＬＩＦＥ ＡＮＤ ＲＯＢＯＴＩＣＳ」第３４頁、第１２３頁、第５４４頁から第５４９頁にて発表 ２．２０２２年１月２２日にＩＣＡＲＯＢ２０２２にて発表 ３．２０２２年１月２３日に第１４回ＶＡ超音波検査研究会にて発表 ４．２０２２年５月１５日に日本医工学治療学会第３８回学術大会血液浄化技術分科会にて発表

(71)【出願人】

【識別番号】504224153

【氏名又は名称】国立大学法人 宮崎大学

(71)【出願人】

【識別番号】592148993

【氏名又は名称】東郷メディキット株式会社

(74)【代理人】

【識別番号】100175064

【弁理士】

【氏名又は名称】相澤 聡

(72)【発明者】

【氏名】木船 和弥

(72)【発明者】

【氏名】田村 宏樹

(72)【発明者】

【氏名】田中 保臣

【テーマコード（参考）】

4C077

5L096

【Ｆターム（参考）】

4C077AA05

4C077DD20

4C077DD30

4C077EE01

4C077HH03

4C077HH20

4C077HH21

4C077KK25

5L096BA06

5L096BA13

5L096DA02

5L096GA34

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】シャント部分において発生する狭窄や血栓などの異常を自動的に識別可能なシャント吻合部の音による異常識別システム、シャント音による異常識別方法及びプログラムを提供する。
【解決手段】シャント音取得装置は、患者のシャント音の音声データを取得するシャント音収集部と、前記音声データの周波数解析を行なって画像を生成する波形出力部とを含み、前記機械学習装置は、前記画像を学習用データとして入力する学習用データ入力部と、前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力部と、前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習部と、前記画像を推定用データとして入力する推定用データ入力部と、前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

シャント音取得装置と、機械学習装置とを含み、
前記シャント音取得装置は、
患者のシャント音の音声データを取得するシャント音収集部と、
前記音声データの周波数解析を行なって画像を生成する波形出力部とを含み、
前記機械学習装置は、
前記画像を学習用データとして入力する学習用データ入力部と、
前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力部と、
前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習部と、
前記画像を推定用データとして入力する推定用データ入力部と、
前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定部と、を含む
シャント音による異常識別システム

【請求項2】

前記波形出力部は、時間情報を含む周波数解析を行なって前記画像を生成する
請求項１記載のシャント音による異常識別システム

【請求項3】

前記推定部は、前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する第１の推定ステップと、
前記第１の推定ステップにおける推定結果及び学習済み線形ＳＶＭに基づいて前記患者の前記シャント部の異常の有無を推定する第２の推定ステップと、を実行する
請求項１記載のシャント音による異常識別システム

【請求項4】

前記シャント音収集部は、ストレス前の前記シャント音の第１の音声データ、及びストレス後の前記シャント音の第２の音声データをそれぞれ取得し、
前記波形出力部は、前記第１の音声データを周波数解析した第１の画像、及び前記第２の音声データを周波数解析した第２の画像を生成し、
前記学習用データ入力部は、前記第１及び第２の画像を混合して前記学習用データとして入力する
請求項１記載のシャント音による異常識別システム

【請求項5】

前記シャント音収集部は、ストレス前の前記シャント音の第１の音声データ、及びストレス後の前記シャント音の第２の音声データをそれぞれ取得し、
前記波形出力部は、前記第１の音声データを周波数解析した第１の画像、及び前記第２の音声データを周波数解析した第２の画像を生成し、
前記学習用データ入力部は、前記第１の画像を第１の学習用データ、前記第２の画像を第２の学習用データとしてそれぞれ入力し、
前記ラベル入力部は、ストレス前の前記患者のシャント部の異常の有無を示す前記判定結果を第１のラベル、及びストレス後の前記患者のシャント部の異常の有無を示す前記判定結果を第２のラベルとしてそれぞれ入力し、
前記学習部は、前記第１の学習用データ及び前記第１のラベルの相関関係を示す第１の学習済みモデル、及び前記第２の学習用データ及び前記第２のラベルの相関関係を示す第２の学習済みモデルをそれぞれ生成し、
前記推定用データ入力部は、前記第１の画像を第１の推定用データ、及び前記第２の画像を第２の推定用データとして入力し、
前記推定部は、前記第１の学習済みモデル及び前記第１の推定用データに基づく第１の推定ステップと、前記第２の学習済みモデル及び前記第２の推定用データに基づく第２の推定ステップと、
前記第１及び第２の推定ステップにおける推定結果と、重回帰分析、決定木、ランダムフォレスト又はＳＶＭのいずれかにより前記患者の前記シャント部の異常の有無を推定する第３の推定ステップと、を実行する
請求項１記載のシャント音による異常識別システム

【請求項6】

患者のシャント音の音声データの周波数解析により生成された画像を学習用データとして入力する学習用データ入力部と、
前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力部と、
前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習部と、
前記画像を推定用データとして入力する推定用データ入力部と、
前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定部と、を含む
シャント音による異常識別装置。

【請求項7】

患者のシャント音の音声データの周波数解析により生成された画像を学習用データとして入力する学習用データ入力ステップと、
前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力ステップと、
前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習ステップと、
前記画像を推定用データとして入力する推定用データ入力ステップと、
前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定ステップと、を含む
シャント音による異常識別方法。

【請求項8】

請求項７記載の方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はシャント音による異常識別システム、シャント音による異常識別方法及びプログラムに関し、例えばシャントの吻合部分において発生するトラブルを早期に識別する技術に関する。

【背景技術】

【0002】

血液透析を行うために静脈と動脈を直接つなぎ、大量の血液の出入り口となるように形成した血管をシャントという。シャントは血液透析が必要な患者の命綱とも言われており、シャント部分で生じる狭窄や血栓等のトラブルを早期に発見することが重要である。

【0003】

シャントの動脈と静脈を吻合している部分（吻合部）では、動脈と静脈の圧格差から生じる乱流が血管壁を振動（スリル）させることにより生じる雑音（シャント音）が一番大きく聞こえる。シャント音、より具体的にはシャント音に含まれる周波数は、一部の要因を除き、狭窄や血栓等のシャントのトラブルによって変化が生じる。そのため、医師は患者へシャントのスリルや聴診によるセルフケアの方法を教育し、日頃よりシャントへのトラブルに気を配るように促してきた。しかしながら、最近は多くの患者が高齢による加齢性難聴により、シャント音（に含まれる周波数の違い）がわからなくなっている。このように、シャントのトラブルをいち早く発見すべき患者によるシャントのセルフケアができなくなってきていることで、シャントトラブルの重症化（要手術等）が懸念されている。また、医師や透析室で専任勤務する看護師や臨床工学技士でも患者固有のシャント音の日々の変化に気づくことは容易ではない。

【0004】

特許文献１では、シャントの吻合部で発生するシャント音を聴診器で聞くことで、狭窄の有無や程度を判断する手法が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１８５１２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１記載の手法では、シャントにトラブルが生じてくると、医師が患者のシャントを診察（聴診含む）して理学的な評価を行い、狭窄や血栓等の異常の有無や程度を識別する必要がある。しかし、そのような判断には少なからず知識と経験が必要であり、日頃より患者固有のシャント音を記憶しておくことも必要だが容易ではない。

【0007】

そこで、シャント音が聞こえにくい又は聞こえない患者であっても、シャント音を採音する手技さえ覚えておけば、シャントトラブルを早期に発見できるようなシステムが必要である。

【0008】

本発明は、例えばこのような患者によるシャントセルフケアの問題点を解決するためになされたものであり、シャントの吻合部分において発生するトラブルを自動的に識別可能なシャント音による異常識別システム、シャント音による異常識別方法及びプログラムを提供することを目的とする。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

【課題を解決するための手段】

【0009】

一実施の形態において、シャント音による異常識別システムは、シャント音取得装置と、機械学習装置とを含み、前記シャント音取得装置は、患者のシャント音の音声データを取得するシャント音収集部と、前記音声データの周波数解析を行なって画像を生成する波形出力部とを含み、前記機械学習装置は、前記画像を学習用データとして入力する学習用データ入力部と、前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力部と、前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習部と、前記画像を推定用データとして入力する推定用データ入力部と、前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定部と、を含む。
一実施の形態において、前記波形出力部は、時間情報を含む周波数解析を行なって前記画像を生成する。
一実施の形態において、前記推定部は、前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する第１の推定ステップと、前記第１の推定ステップにおける推定結果及び学習済み線形ＳＶＭに基づいて前記患者の前記シャント部の異常の有無を推定する第２の推定ステップと、を実行する。
一実施の形態において、前記シャント音収集部は、ストレス前の前記シャント音の第１の音声データ、及びストレス後の前記シャント音の第２の音声データをそれぞれ取得し、前記波形出力部は、前記第１の音声データを周波数解析した第１の画像、及び前記第２の音声データを周波数解析した第２の画像を生成し、前記学習用データ入力部は、前記第１及び第２の画像を混合して前記学習用データとして入力する。
一実施の形態において、前記シャント音収集部は、ストレス前の前記シャント音の第１の音声データ、及びストレス後の前記シャント音の第２の音声データをそれぞれ取得し、前記波形出力部は、前記第１の音声データを周波数解析した第１の画像、及び前記第２の音声データを周波数解析した第２の画像を生成し、前記学習用データ入力部は、前記第１の画像を第１の学習用データ、前記第２の画像を第２の学習用データとしてそれぞれ入力し、前記ラベル入力部は、ストレス前の前記患者のシャント部の異常の有無を示す前記判定結果を第１のラベル、及びストレス後の前記患者のシャント部の異常の有無を示す前記判定結果を第２のラベルとしてそれぞれ入力し、前記学習部は、前記第１の学習用データ及び前記第１のラベルの相関関係を示す第１の学習済みモデル、及び前記第２の学習用データ及び前記第２のラベルの相関関係を示す第２の学習済みモデルをそれぞれ生成し、前記推定用データ入力部は、前記第１の画像を第１の推定用データ、及び前記第２の画像を第２の推定用データとして入力し、前記推定部は、前記第１の学習済みモデル及び前記第１の推定用データに基づく第１の推定ステップと、前記第２の学習済みモデル及び前記第２の推定用データに基づく第２の推定ステップと、前記第１及び第２の推定ステップにおける推定結果と、重回帰分析、決定木、ランダムフォレスト又はＳＶＭのいずれかにより前記患者の前記シャント部の異常の有無を推定する第３の推定ステップと、を実行する。
一実施の形態において、シャント音による異常識別装置は、患者のシャント音の音声データの周波数解析により生成された画像を学習用データとして入力する学習用データ入力部と、前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力部と、前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習部と、前記画像を推定用データとして入力する推定用データ入力部と、前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定部と、を含む。
一実施の形態において、シャント音による異常識別方法は、患者のシャント音の音声データの周波数解析により生成された画像を学習用データとして入力する学習用データ入力ステップと、前記患者のシャント部の異常の有無を示す判定結果をラベルとして入力するラベル入力ステップと、前記学習用データ及び前記ラベルの相関関係を示す学習済みモデルを生成する学習ステップと、前記画像を推定用データとして入力する推定用データ入力ステップと、前記学習済みモデル及び前記推定用データに基づいて前記患者の前記シャント部の異常の有無を推定する推定ステップと、を含む。
一実施の形態において、プログラムは、上記方法をコンピュータに実行させる。

【発明の効果】

【0010】

本発明により、シャントの吻合部分において発生するトラブルを自動的に識別可能なシャント音による異常識別システム、シャント音による異常識別方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】シャント音による異常識別システム１のハードウェア構成を示す図である。

【図2】シャント音による異常識別システム１の機能構成を示す図である。

【図3】シャント音による異常識別システム１の動作を示すフローチャートである。

【図4】シャント音による異常識別システム１の動作を示すフローチャートである。

【図5A】シャント音による異常識別システム１の機能構成を示す図である。

【図5B】シャント音による異常識別システム１の動作を示すフローチャートである。

【図6A】シャント音による異常識別システム１の機能構成を示す図である。

【図6B】シャント音による異常識別システム１の動作を示すフローチャートである。

【図7】シャント音による異常識別システム１の動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

＜実施の形態１＞
実施の形態１では、公知の手法で得られるシャントへのエコー検査の結果と、本発明独自の手法で得られるシャント音の特徴とを紐づけ、機械学習させる。これにより、シャント音のデータのみに基づいてシャントの異常を検出する。

【0013】

図１は、実施の形態１にかかるシャント音による異常識別システム１（以下、単にシステム１と称する）のハードウェア構成を示すブロック図である。

【0014】

システム１は、シャント音取得装置１０、機械学習装置２０を有する。シャント音取得装置１０、機械学習装置２０はいずれもプロセッサ、メモリ及び入出力装置等を備えたコンピュータであり、プロセッサがメモリに記憶されたプログラムを実行することにより所定の機能を実現する。

【0015】

図２は、システム１の機能構成を示すブロック図である。

【0016】

シャント音取得装置１０は、患者のシャント音を収集するための装置である。

【0017】

シャント音取得装置１０は、シャント音収集部１０１、波形出力部１０２を含む。

【0018】

シャント音収集部１０１は、例えばマイクや電子聴診器である。シャント音収集部１０１を患者のシャント部近傍にあてることで音声データを収集する。

【0019】

波形出力部１０２は、シャント音収集部１０２が収集した音声データを加工して周波数特徴を表した画像を生成する。本実施の形態では、時間情報を含む周波数解析、典型的にはウェーブレット変換による画像化を行う。ウェーブレット変換によれば、音の強弱、周波数変動、突発的な音の発生といった情報を含む画像を得ることができる。好ましくは、３０秒程度の音声データを使用することで、突発的な音の発生を捉えられる可能性が向上する。

【0020】

なお、音声データを画像化する手法としては時間情報を含まない周波数解析、典型的にはフーリエ変換も広く知られているが、時間情報が失われることにより識別率が低下する可能性がある。また、典型的なフィルタや公知のノイズ除去を行う教師無しモデルのＡｕｔｏＥｎｃｏｄｅｒなどにより特定の周波数やノイズを除外するなどすることで識別率が改善する可能性がある。

【0021】

ウェーブレット変換について説明する。連続ウェーブレット変換（以降ＣＷＴ）はフーリエ変換と同様に、信号および解析関数の間の相似性を測定するために内積を使用する。フーリエ変換では、解析関数は複素指数ｅ^ｊωｔである。結果の変換は、単一変数ωの関数である。短時間フーリエ変換では、解析関数はウィンドウ処理された複素指数ｗ（ｔ）ｅ^ｊωｔであり、結果は２つの変数の関数である。

【数1】

スケールパラメーターａと位置パラメータｂの値を連続的に変化させることで、ＣＷＴ係数Ｃ（ａ、ｂ）を求める。解析関数はウェーブレットψであり、ＣＷＴで使用できるさまざまなマザーウェーブレットがある。これがウェーブレット解析の強みであり、検出する信号の特徴に応じて、その特徴の検出を容易にするウェーブレットを自由に選択できる。例えばｍｏｒｌｅｔ、ｍｏｒｓｅ、ｂｕｍｐと呼ばれるマザーウェーブレットがある。ｍｏｒｓｅは２つのパラメータを変化させ、時間と周波数の拡散を変更することができる。ｍｏｒｌｅｔは時間と周波数における等分散を特徴とする。ｂｕｍｐは時間の分散が広く、周波数の分散が狭い。

【0022】

機械学習装置２０は、シャント音取得装置１０が生成するシャント音の特徴画像を学習用データとし、既知の手法で得られるエコー検査の結果をラベルとして入力して、両者の関連性を機械学習する。また、機械学習により生成された学習モデルを使用し、シャント音の特徴画像を推定用画像として入力して、シャント部の異常の有無を推定する。

【0023】

機械学習装置２０は、学習用データ入力部２０１、ラベル入力部２０２、学習部２０３、推定用データ入力部２０４、推定部２０５を含む。

【0024】

学習用データ入力部２０１は、波形出力部１０２が生成した画像を入力する。学習段階で使用されるのは、診断結果が既知であるシャント音の画像である。学習用データ入力部２０１は、機械学習に適した形式にするため画像に前処理を実施しても良い。本実施の形態では、入力画像を正方形にリサイズした。

【0025】

ラベル入力部２０２は、患者の検査結果を入力する。本実施の形態では、学習用データを提供した患者に対して、既知の検査手法であるエコー検査を同時に実施し、医師によるエコー検査の判定結果をラベルとして入力した。「良い（ｎｏｒｍａｌ）」「経過観察が必要（ｇｒａｙ）」「治療の検討が必要（ａｂｎｏｒｍａｌ）」の三段階でラベル付けを行った。

【0026】

学習部２０３は、学習用データとラベルとのセットを大量に入力して、任意の機械学習アルゴリズムに従い、学習用データとラベルとの相関性を学習する。本実施の形態では、学習用データ入力部２０１において入力及び前処理が行われたシャント音の特徴画像と、ラベル入力部２０２に入力された検査結果を示すラベルとをセットで入力し、教師ありアルゴリズムに従って両者の相関性を学習する。その結果として、学習部２０３は、シャント音の特徴画像と検査結果を示すラベルとの相関性を示すモデル構造である学習済みモデルを出力する。

【0027】

なお本実施の形態では、ＹＯＬＯという公知の教師あり学習アルゴリズムを採用して学習を行った。ＹＯＬＯは画像からの物体検出アルゴリズムとして知られており、これを転用すれば、シャント音の特徴画像がどのラベルに属するかを判定する用途にも好適と考えられるためである。ＹＯＬＯと同様に物体検知またはパターン検知ができるニューラルネットワーク、ディープラーニング等のモデルであれば、ＹＯＬＯに限らない。

【0028】

推定用データ入力部２０４は、波形出力部１０２が生成した画像を入力する。推定段階で入力されるのは、診断結果が未知であるシャント音の画像である。学習用データと同様に、機械学習に適した形式にするため画像に前処理を実施しても良い。本実施の形態では、入力画像を正方形にリサイズした。

【0029】

推定部２０５は、学習済みモデルに推定用データを入力し、推定用データとの相関性が高いラベルを出力する。本実施の形態では、患者のシャント音の特徴画像を推定データとして入力することで、患者が「良い（ｎｏｒｍａｌ）」「経過観察が必要（ｇｒａｙ）」「治療の検討が必要（ａｂｎｏｒｍａｌ）」のいずれに該当するかを出力する。

【0030】

ＹＯＬＯを利用する場合、各ラベルに該当する可能性を示す数値が判定結果として出力される。例えば「良い（ｎｏｒｍａｌ）」である可能性は０、「経過観察が必要（ｇｒａｙ）」である可能性は０．７５（７５％）、「治療の検討が必要（ａｂｎｏｒｍａｌ）」である可能性は０．５（５０％）などである。

【0031】

図３は、実施の形態１にかかるシステム１の動作を示すフローチャートである。

【0032】

Ｓ１０１：シャント音の画像化
シャント音取得装置１０のシャント音収集部１０１が、患者のシャント音の音声データを取得する。波形出力部１０２が、音声データを画像化する。

【0033】

Ｓ１０２：学習
機械学習装置２０の学習部２０３が、学習用データ入力部２０１に入力された音声データの特徴画像と、ラベル入力部２０２に入力されたラベル（シャント部の異常の有無を示す）に基づいて機械学習を行う。

【0034】

Ｓ１０３：推定
機械学習装置２０の推定部２０５が、学習部２０３が生成した学習済みモデルと、推定用データ入力部２０４に入力された音声データの特徴画像に基づいて、シャント部の異常の有無を推定する。

【0035】

本実施の形態によれば、システム１は、画像化されたシャント音と、シャント部の異常の有無を示すラベルとの相関関係を示す学習済みモデルを生成する。これにより、システム１は、画像化されたシャント音に基づいて、シャント部の異常の有無を推定する推定器として動作する。これにより、属人的な知識や経験等を必要とせず、シャント部の異常を自動的に検知できるようになる。

【0036】

＜実施の形態２＞
シャント音は、シャントの吻合部が心臓とほぼ同じ高さにある状態（ストレス前）で計測した場合と、シャントの吻合部が心臓からできる限り高い位置にある状態（ストレス後）で計測した場合とで性状変化を生じる場合がある。例えば、ストレス後にシャント音を聴診すると、シャント音が小さくなったり、断続音になるなどストレス前とは異なる性状変化が認められることを発明者らは発見した。そのほか、シャントに問題がない場合でも心機能に重度の障害（例：拡張型心筋症）があるとき、ストレス前は問題がないがストレス後の変化があたかもシャントに異常があるような音の性状変化を起こす場合があることがわかった。

【0037】

この知見を踏まえ、実施の形態２では、ストレス前（シャントの吻合部が心臓とほぼ同じ高さ）のシャント音、ストレス後（シャントの吻合部が心臓からできる限り高い位置）のシャント音の両方を使用して機械学習を行うことにより、推定精度を向上させる。

【0038】

実施の形態２にかかるシステム１のハードウェア構成及び機能構成は、基本的に実施の形態１と同様である。以下では、各要素における具体的動作の相違点について主に説明する。共通点に関しては適宜説明を省略する。

【0039】

シャント音収集部１０１は、ストレス前のシャント音及びストレス後のシャント音の音声データを取得する。

【0040】

波形出力部１０２は、シャント音収集部１０２が収集したストレス前のシャント音及びストレス後のシャント音の音声データを加工して、周波数特徴を表した画像を生成する。

【0041】

学習用データ入力部２０１は、ストレス前のシャント音の特徴画像及びストレス後のシャント音の特徴画像を学習用データとして取得する。学習段階で入力されるのは、診断結果が既知であるシャント音の画像である。

【0042】

ラベル入力部２０２は、ストレス前のエコー検査の測定値（上腕動脈血流量（ＦＶ）、末梢血管抵抗値（ＲＩ、ＰＩ）、形態評価等）とストレス後のエコー検査の測定値を医師が総合的に考慮した判定結果をラベルとして入力する。例えば、患者が「良い（ｎｏｒｍａｌ）」「経過観察が必要（ｇｒａｙ）」「治療の検討が必要（ａｂｎｏｒｍａｌ）」のいずれに該当するかをラベルとして入力する。

【0043】

学習部２０３は、ストレス前のシャント音の特徴画像及びストレス後のシャント音の特徴画像を学習用データとし、医師による総合判定結果をラベルとして機械学習を行い、学習済みモデルを生成する。

【0044】

推定用データ入力部２０４は、ストレス前のシャント音の特徴画像及びストレス後のシャント音の特徴画像を推定用データとして取得する。推定段階で入力されるのは、診断結果が未知であるシャント音の画像である。

【0045】

推定部２０５は、学習済みモデルにストレス前のシャント音の特徴画像及びストレス後のシャント音の特徴画像を入力し、推定用データとの相関性が高いラベルを出力する。例えば、患者が「良い（ｎｏｒｍａｌ）」「経過観察が必要（ｇｒａｙ）」「治療の検討が必要（ａｂｎｏｒｍａｌ）」に該当する可能性を示す数値を出力する。

【0046】

図４は、実施の形態２にかかるシステム１の動作を示すフローチャートである。

【0047】

Ｓ２０１：ストレス前後のシャント音の画像化
シャント音取得装置１０のシャント音収集部１０１が、患者のストレス前後のシャント音の音声データを取得する。波形出力部１０２が、各音声データを画像化する。

【0048】

Ｓ２０２：学習（ストレス前後の画像を混合入力）
機械学習装置２０の学習部２０３が、ストレス前後のシャント音の特徴画像と、ラベル入力部２０２に入力されたラベルとに基づいて機械学習を行う。

【0049】

Ｓ２０３：推定
機械学習装置２０の推定部２０５が、学習部２０３が生成した学習済みモデルと、ストレス前後のシャント音の特徴画像とに基づいて、シャント部の異常の有無を推定する。

【0050】

発明者らの実験によれば、実施の形態２に示すようにストレス前後のシャント音の特徴画像を混合して学習用データ及び推定用データとして使用した場合には、ストレス前のみ又はストレス後のみの特徴画像を使用した場合と比較して高い識別精度でシャント部の異常を検知できることがわかった。ストレス前後の特徴画像を混合した場合、識別率は最大で９７％であった。一方、混合しない場合は識別率は低下し、ストレス前の特徴画像のみを使用する場合では最大で９２％、ストレス後の特徴画像のみを使用する場合でも同程度であった。

【0051】

本実施の形態では、ストレス前後のシャント音の特徴画像を混合して学習用データ及び推定用データとして使用し、実施の形態１と同様の機械学習手法によりシャント部の異常を推定した。しかしながら、本発明はこれに限定されず種々の変形が可能である。

【0052】

例えば、ＹＯＬＯと同様に物体検知またはパターン検知ができるニューラルネットワーク、ディープラーニング等のモデルであれば、ＹＯＬＯ以外の機械学習手法を採用して良い。または、ストレス前後のシャント音から特徴画像に限定されない任意の特徴量を生成し、その特徴量を学習用データおよび推定用データとして使用して、任意の機械学習手法によりシャント部の異常を推定しても良い。

【0053】

あるいは、ストレス前後のシャント音データを使用し、機械学習以外の手法によりシャント部の異常を推定しても良い。典型的には、特許文献１記載の手法をストレス前後のシャント音データに適用することができる。例えば、正常時のストレス前のシャント音（予め取得されているものとする）と新たに測定されたストレス前のシャント音とを比較する。また、正常時のストレス後のシャント音（予め取得されているものとする）と新たに測定されたストレス後のシャント音とを比較する。いずれか一方又は両方の比較において、新たに測定されたシャント音の波形が正常なシャント音と大きく異なった場合、または、正常なシャント音から算出される周波数の上限値を新たに測定されたシャント音が超えたことが認められた場合などに、異常と判定する。

【0054】

＜実施の形態３＞
実施の形態３では、学習用データ及び推定用データの作り方を工夫することで、実施の形態１と比較して高精度な推定を可能とする。具体的には、９つの変数を用いてＹＯＬＯ等の機械学習アルゴリズムで学習及び判定した後、線形ＳＶＭにてさらに判定を行う。

【0055】

本実施の形態では、まず、１つの音声データ（シャント音）から、時間をずらしながら（音声データから切り出す部分を変えながら、すなわち切り出しの開始時刻又は終了時刻の少なくとも一方を変更して）複数の音声サンプルを切り出す。

【0056】

次に、各音声サンプルから特徴画像（周波数を画像化したデータ）を生成し、実施の形態１又は２に示した機械学習装置２０の推定部２０５にそれらの特徴画像を入力する。推定部２０５は、ノーマル０．９、グレー０．１、アブノーマル０．２といった０から１までの範囲の数値を推定結果として出力する。これにより、１つの音声データから時間をずらして切り出された複数の音声サンプルに対応する複数の判定結果（判定結果群という）が得られる。判定結果群から、ノーマルの最大値、ノーマルのｙ平均値、ノーマルの可能性が高いと判定された割合といった変数を計算する。なお、変数の種類はこれらに限定されるものではなく、判定結果群を使用する限り任意に生成できる。

【0057】

最後に、それらの変数を入力として、任意の機械学習手法（典型的にはＳＶＭ：サポートベクターマシンなど）を用いて、最終的な判定を行う。これにより、時間変化を考慮した高精度なシャント部の異常推定を行うことができる。

【0058】

図５Ａは、実施の形態３にかかるシステム１の機能構成を示すブロック図である。以下、実施の形態１と異なる構成要素について主に説明し、実施の形態１と共通する要素については適宜説明を省略する。

【0059】

シャント音取得装置１０の波形出力部１０２は、シャント音収集部１０２が収集した音声データから、時間をずらしながら（音声データから切り出す部分を変えながら、すなわち切り出しの開始時刻又は終了時刻の少なくとも一方を変更して）複数の音声サンプルを切り出す。また、各音声サンプルそれぞれを用いて特徴画像（周波数を画像化したデータ）を生成する。

【0060】

機械学習装置２０の学習用データ入力部２０１、ラベル入力部２０２、学習部２０３、推定用データ入力部２０４、推定部２０５は、波形出力部１０２が生成した特徴画像を用いた学習及び推定を行う。推定部２０５は、ノーマル０．９、グレー０．１、アブノーマル０．２といった０から１までの範囲の数値を推定結果として出力する。これにより、１つの音声データから時間をずらして切り出された複数の音声サンプルに対応する複数の判定結果（判定結果群）が得られることになる。

【0061】

機械学習装置２０の変数生成部２０６は、判定結果群に基づいて任意の変数を複数種類算出する（変数群という）。変数は、典型的にはノーマルの最大値、ノーマルのｙ平均値、ノーマルの可能性が高いと判定された割合といった統計値である。

【0062】

機械学習装置２０の第２推定部２０７は、変数生成部２０６が生成した変数群を入力として、任意の機械学習手法（学習済みモデル）を用いてシャント部の異常推定を行う。

【0063】

図５Ｂは、実施の形態３にかかるシステム１の動作を示すフローチャートである。

【0064】

Ｓ３０１：シャント音の画像化
シャント音取得装置１０のシャント音収集部１０１が、患者のシャント音の音声データを取得する。波形出力部１０２が、音声データから時間をずらしながら複数の音声サンプルを切り出し、各音声サンプルの特徴画像を生成する。

【0065】

Ｓ３０２：学習
機械学習装置２０の学習部２０３が、学習用データ入力部２０１に入力された各音声サンプルの特徴画像と、ラベル入力部２０２に入力されたラベル（シャント部の異常の有無を示す）に基づいて機械学習を行う。

【0066】

Ｓ３０３：推定
機械学習装置２０の推定部２０５が、学習部２０３が生成した学習済みモデルと、推定用データ入力部２０４に入力された各音声サンプルの特徴画像に基づいて、シャント部の異常の有無を推定する。

【0067】

Ｓ３０４：学習済み線形ＳＶＭによる第２の推定
変数生成部２０６は、Ｓ３０３における判定結果群に基づいて複数の変数（変数群）を算出する。第２推定部２０７は、変数生成部２０６が生成した変数群を入力として、任意の学習済みモデルを用いてシャント部の異常推定を行う。ここで使用する学習済みモデルは、ＳＶＭなど任意の機械学習手法を用いるものであって良い。

【0068】

本実施の形態によれば、時間変化を考慮した高精度なシャント部の異常推定を行うことができる。

【0069】

＜実施の形態４＞
実施の形態４では、ストレス前のシャント音と、ストレス後のシャント音とを使用してそれぞれ別々に学習及び推定を行う。その後、重回帰分析、決定木、ランダムフォレスト、ＳＶＭ（サポートベクターマシン）等の分析手法を用いて推定結果を統合する。

【0070】

図６Ａは、実施の形態４にかかるシステム１の機能構成を示すブロック図である。以下、実施の形態１と異なる構成要素について主に説明し、実施の形態１と共通する要素については適宜説明を省略する。

【0071】

シャント音収集部１０１は、ストレス前のシャント音及びストレス後のシャント音の音声データを取得する。

【0072】

波形出力部１０２は、シャント音収集部１０２が収集したストレス前のシャント音及びストレス後のシャント音の音声データを加工して、それぞれの周波数特徴を表した画像を生成する。

【0073】

学習用データ入力部２０１は、ストレス前のシャント音の特徴画像及びストレス後のシャント音の特徴画像を学習用データとして取得する。

【0074】

ラベル入力部２０２は、ストレス前のシャントエコー検査の測定値（上腕動脈血流量（ＦＶ）、末梢血管抵抗値（ＲＩ、ＰＩ）、形態評価等）に基づく医師の判定結果と、ストレス後のエコー検査の測定値に基づく医師の判定結果とをそれぞれラベルとして入力する。例えば、患者が「良い（ｎｏｒｍａｌ）」「経過観察が必要（ｇｒａｙ）」「治療の検討が必要（ａｂｎｏｒｍａｌ）」のいずれに該当するかをラベルとして入力する。

【0075】

学習部２０３は、ストレス前のシャント音の特徴画像を学習用データとし、ストレス前のエコー検査の測定値に基づく医師の判定結果をラベルとして機械学習を行う。これとは別に、学習部２０３は、ストレス後のシャント音の特徴画像を学習用データとし、ストレス後のエコー検査の測定値に基づく医師の判定結果をラベルとして機械学習を行う。すなわち、学習部２０３は、ストレス前のデータによる学習と、ストレス後のデータによる学習を並行して（又は順次）実行する。これら２つの学習プロセスは互いに影響を与えることなく、独立して実行される。

【0076】

推定用データ入力部２０４は、ストレス前のシャント音の特徴画像及びストレス後のシャント音の特徴画像を推定用データとして取得する。推定段階で入力されるのは、診断結果が未知であるシャント音の画像である。

【0077】

推定部２０５は、ストレス前のデータに基づいて生成された学習済みモデルに、ストレス前のシャント音の特徴画像を入力し、これとの相関性が高いラベルを出力する。例えば、患者が「良い（ｎｏｒｍａｌ）」「経過観察が必要（ｇｒａｙ）」「治療の検討が必要（ａｂｎｏｒｍａｌ）」に該当する可能性を示す数値を出力する。これとは別に、推定部２０５は、ストレス後のデータに基づいて生成された学習済みモデルに、ストレス後のシャント音の特徴画像を入力し、これとの相関性が高いラベルを出力する。すなわち、推定部２０５は、ストレス前のデータを使用した推定と、ストレス後のデータを使用した推定を並行して（又は順次）実行する。これら２つの推定プロセスは互いに影響を与えることなく、独立して実行される。

【0078】

推定結果統合部２０８は、上述の２つの推定プロセスで出力された推定結果を統合する。ここでは重回帰分析、決定木、ランダムフォレスト、ＳＶＭ（サポートベクターマシン）等の分析手法が用いられる。

【0079】

重回帰分析とは、１つの目的変数を複数の説明変数で予測を行うものである。数２のａ_ｉが回帰係数で、ｘ_ｉが説明変数でａ_０が切片である。係数及び切片を算出するために最小２乗法が使用されている。

【数2】

【0080】

決定木とは、予測モデルであり、ある事項に対する観察結果から、その事項の目標値に関する結論を導く。内部の節点は変数に対応し、子である節点への枝はその変数の取り得る値を示す。端点は、ｒｏｏｔからの経路によって表される変数値に対して、目的変数の予測値を表す。

【0081】

ランダムフォレストとは、複数のモデルに学習させて、全ての予測結果を統合することで、汎化性能を高める手法である。同時に複数のモデルに学習させて、予測結果の平均をとることで汎化能力を向上させるバギングと、複数のモデルの異なる予測結果を統合し、汎化性能を高めるブースティングという手法がある。

【0082】

ＳＶＭアルゴリズムの目的は、あるクラスのデータ点を、別のクラスのデータ点から、可能な限り分離する超平面をみつけることである。「最適」は、２つのクラス間で最大のマージンを持つ超平面を指す。サポートベクターマシンの学習は、クラス間のソフトマージンを最小化するような超平面をあてはめる二次最適化問題を解くことに相当する。変換される特徴量の数は、サポートベクターの数によって決まる。

【0083】

図６Ｂは、実施の形態４にかかるシステム１の動作を示すフローチャートである。

【0084】

Ｓ４０１：シャント音の画像化
シャント音取得装置１０のシャント音収集部１０１が、患者のストレス前のシャント音の音声データを取得する。波形出力部１０２が、音声データを画像化する。

【0085】

Ｓ４０２：学習
機械学習装置２０の学習部２０３が、学習用データ入力部２０１に入力されたストレス前の音声データの特徴画像と、ラベル入力部２０２に入力されたラベル（シャント部の異常の有無を示す）に基づいて機械学習を行う。

【0086】

Ｓ４０３：推定
機械学習装置２０の推定部２０５が、学習部２０３が生成した学習済みモデルと、推定用データ入力部２０４に入力されたストレス前の音声データの特徴画像に基づいて、シャント部の異常の有無を推定する。
Ｓ４０４：シャント音の画像化
シャント音取得装置１０のシャント音収集部１０１が、患者のストレス後のシャント音の音声データを取得する。波形出力部１０２が、音声データを画像化する。

【0087】

Ｓ４０５：学習
機械学習装置２０の学習部２０３が、学習用データ入力部２０１に入力されたストレス後の音声データの特徴画像と、ラベル入力部２０２に入力されたラベル（シャント部の異常の有無を示す）に基づいて機械学習を行う。

【0088】

Ｓ４０６：推定
機械学習装置２０の推定部２０５が、学習部２０３が生成した学習済みモデルと、推定用データ入力部２０４に入力されたストレス後の音声データの特徴画像に基づいて、シャント部の異常の有無を推定する。

【0089】

Ｓ４０７：推定結果の統合
推定結果統合部２０８が、Ｓ４０３及びＳ４０６の２つの推定プロセスで出力された推定結果を、例えば重回帰分析、決定木、ランダムフォレスト、ＳＶＭ（サポートベクターマシン）等の公知の分析手法を用いて統合する。

【0090】

本実施の形態によれば、実施の形態１に比べて高精度なシャント部の異常推定が可能となる。

【0091】

＜実施の形態５＞
実施の形態５では、上述の実施の形態に示した一連の処理を自動化する。一例として、実施の形態３を自動化する手法を具体的に開示する。

【0092】

図７は、実施の形態５にかかるシステム１の動作を示すフローチャートである。

【0093】

Ｓ５０１：音声ファイルの生成
シャント音収集部１０１がシャント音の音声データを収集し、音声ファイルをシャント音取得装置１０内の所定のフォルダに格納する。

【0094】

Ｓ５０２：画像ファイルの生成
シャント音取得装置１０は所定のフォルダに音声ファイルが格納されたことを検知し、波形出力部１０２を起動する。波形出力部１０２が音声データを加工して周波数特徴を表した画像を生成し、機械学習装置２０内の所定のフォルダ内に格納する。

【0095】

Ｓ５０３：学習済みモデルによる判定
機械学習装置２０は所定のフォルダに画像ファイルが格納されたことを検知し、ＹＯＬＯの学習済みモデルに画像ファイルを入力する。ＹＯＬＯは判定結果をｃｓｖファイルに書き出して機械学習装置２０内の所定のフォルダ内に格納する。

【0096】

Ｓ５０４：線形ＳＶＭによる判定
機械学習装置２０は所定のフォルダにｃｓｖファイルが格納されたことを検知する。複数の画像の判定が行われた場合、機械学習装置２０は出力済みの複数のｃｓｖファイルを結合する。

【0097】

機械学習装置２０は学習済みの線形ＳＶＭにｃｓｖファイルを入力し、判定結果を得る。

【0098】

ここで、線形ＳＶＭは線によってクラス分類する。数１は２クラスの分類の場合そのまま使用できるが、今回は３クラスの分類であるため、工夫する必要がある。そこでＥＣＯＣモデルと呼ばれるモデルを使用した。表１のようにクラスのすべての組み合わせのｓｖｍを作成し、符号化設計する。数２の超平面の式をもとに各ｓｖｍの分類スコアを算出する。数３はヒンジ損失関数という。数３に分類スコアを代入し、数４に数３の結果を代入することでバイナリ損失を算出することが出来る。このバイナリ損失の最小となるクラスにより、観測値の予測クラスが決まる。

【表1】

【数3】

【数4】

【0099】

Ｓ５０５：判定結果の出力
判定結果を画面等に出力する。

【0100】

＜その他の実施の形態＞
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各実施例を相互に組み合わせて実施することができる。

【0101】

また、上述の実施の形態では、本発明を主にハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【符号の説明】

【0102】

１ シャント音による異常識別システム
１０ シャント音取得装置
１０１ シャント音収集部
１０２ 波形出力部
２０ 機械学習装置
２０１ 学習用データ入力部
２０２ ラベル入力部
２０３ 学習部
２０４ 推定用データ入力部
２０５ 推定部
２０６ 変数生成部
２０７ 第２推定部
２０８ 推定結果統合部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】