特表 2023-507344 患者音からの呼吸器疾患の診断

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-22

(54)【発明の名称】患者音からの呼吸器疾患の診断

(51)【国際特許分類】

   G16H 50/50 20180101AFI20230215BHJP

【ＦＩ】

G16H50/50

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022536865

(86)(22)【出願日】2020-12-16

(85)【翻訳文提出日】2022-07-27

(86)【国際出願番号】 AU2020051382

(87)【国際公開番号】W WO2021119742

(87)【国際公開日】2021-06-24

(31)【優先権主張番号】2019904754

(32)【優先日】2019-12-16

(33)【優先権主張国・地域又は機関】AU

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】519281217

【氏名又は名称】レスアップ ヘルス リミテッド

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】ペルトネン，ヴェサ ツオマス クリスチャン

(72)【発明者】

【氏名】ウッド，ジャワン タナー

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA04

(57)【要約】

患者の呼吸器系の疾患の存在を予測するための方法は、少なくとも１つの電子プロセッサを動作させて、前記疾患に関連付けられた、前記患者の１または複数の音を、音の対応する１または複数の画像表現に変換することと、前記１または複数の画像表現を、前記疾患の存在を予測するために訓練された少なくとも１つのパターン分類器に適用することと、前記プロセッサを動作させて、前記パターン分類器の少なくとも１つの出力に基づいて、前記患者の前記疾患の存在の予測することと、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

患者の呼吸器系の疾患の存在を予測するための方法であって、
少なくとも１つの電子プロセッサを動作させて、前記疾患に関連付けられた、前記患者の音声記録における音の１または複数のセグメントを、音の前記セグメントの対応する１または複数の画像表現に変換することと、
前記少なくとも１つの電子プロセッサを動作させて、前記１または複数の画像表現を、前記画像表現から前記疾患の存在を予測するために訓練された少なくとも１つのパターン分類器に適用することと、
前記少なくとも１つの電子プロセッサを動作させて、前記パターン分類器の少なくとも１つの出力に基づいて、前記患者の前記疾患の存在の予測を生成することと、
を有する方法。

【請求項2】

前記プロセッサを動作させて、音の前記１または複数のセグメントを、前記対応する１または複数の画像表現に変換することを含み、
前記画像表現は、１の軸における周波数を他の軸における時間へ関連付ける、請求項１に記載の方法。

【請求項3】

前記画像表現は、スペクトログラムを含む、請求項２に記載の方法。

【請求項4】

前記画像表現は、メルスペクトログラムを含む、請求項３に記載の方法。

【請求項5】

前記プロセッサを動作させて、咳嗽音の初期と後続の位相をそれぞれ検出するために訓練された第１および第２の咳嗽音のパターン分類器を用いて、前記音声記録の咳嗽の音声セグメントとして前記可能性のある咳嗽音を識別することを含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記画像表現は、Ｎ×Ｍの画素の寸法を有し、
前記画像は、前記セグメントそれぞれのＮ個のウィンドウを処理する前記プロセッサによって形成され、
各ウィンドウは、Ｍ個の周波数のビンにおいて解析される、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記Ｎ個のウィンドウはそれぞれ、前記Ｎ個のウィンドウの少なくとも他の１つと重複する、請求項６に記載の方法。

【請求項8】

前記ウィンドウの長さは、その関連した咳嗽の音声セグメントの長さと比例する、請求項７に記載の方法。

【請求項9】

前記プロセッサを動作させて、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）および周波数ビンごとのパワー値を計算し、前記１または複数の画像表現のうちの前記対応する画像表現の対応する画素値を得ることを含む、請求項８に記載の方法。

【請求項10】

前記プロセッサを動作させて、前記Ｍ個の周波数ビンのそれぞれに対するパワー値である、Ｍ個のパワー値の形で周波数ビンごとのパワー値を計算することを含む、請求項９に記載の方法。

【請求項11】

前記Ｍ個の周波数ビンは、Ｍ個のメル周波数ビンを含み、
前記方法は、前記プロセッサを動作させて、前記Ｍ個のパワー値を連結および正規化し、メルスペクトログラム画像の形で前記対応する画像表現を生成することを含む、
請求項９または１０に記載の方法。

【請求項12】

前記画像表現は、正方形であり、
ＭはＮに等しい、請求項６から１１のいずれか一項に記載の方法。

【請求項13】

前記プロセッサを動作させて、特定の疾患に関する症状および／または臨床兆候の入力を受け付けることを含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

前記プロセッサを動作させて、前記１または複数の画像表現に加えて、前記少なくとも１つのパターン分類器に前記症状および／または臨床兆候を適用することを含む、請求項１３に記載の方法。

【請求項15】

前記プロセッサを動作させて、前記少なくとも１つの画像表現および前記症状および／または臨床兆候に反応して、前記少なくとも１つのパターン分類器の前記少なくとも１つの出力に基づいて、前記患者における前記疾患の存在を予測することを含む、請求項１４に記載の方法。

【請求項16】

前記少なくとも１つのパターン分類器は、
前記表現に反応する表現パターン分類器と、
前記症状および／または臨床兆候に反応する症状分類器と、
を含む、請求項１５に記載の方法。

【請求項17】

前記表現パターン分類器は、ニューラルネットワークを含む、請求項１６に記載の方法。

【請求項18】

前記ニューラルネットワークは、好ましくは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である、請求項１７に記載の方法。

【請求項19】

前記症状パターン分類器は、ＬＲＭ（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ Ｍｏｄｅｌ）である、請求項１６から１８のいずれか一項に記載の方法。

【請求項20】

前記プロセッサを動作させて、前記症状パターン分類器からの１または複数の出力に基づいて、症状ベース予測確率を決定することを含む、請求項１６から１９のいずれか一項に記載の方法。

【請求項21】

前記プロセッサを動作させて、前記表現パターン分類器からの１または複数の出力に基づいて、表現ベース予測確率を決定することを含む、請求項１６から２０のいずれか一項に記載の方法。

【請求項22】

２から７の間の表現に反応して、前記表現パターン分類器からの１または複数の出力に基づいて、前記表現ベース予測確率を決定することを含む、請求項２１に記載の方法。

【請求項23】

５の表現に反応して、前記表現パターン分類器からの１または複数の出力に基づいて、前記表現ベース予測確率を決定することを含む、請求項２２に記載の方法。

【請求項24】

各表現に対する表現ベース予測確率の平均として、前記表現ベース予測確率を決定することを含む、請求項２２または２３に記載の方法。

【請求項25】

前記表現ベース予測確率および前記症状ベース予測確率に基づいて、全体予測確率値を決定することを含む、請求項２０から２４のいずれか一項に記載の方法。

【請求項26】

前記表現ベース確率および前記症状ベース確率の加重平均として前記全体確率値を決定することを含む、請求項２５に記載の方法。

【請求項27】

前記プロセッサを動作させて、所定の閾値と前記表現ベース予測確率との比較を行うことを含む、請求項２１から２６のいずれか一項に記載の方法。

【請求項28】

前記プロセッサを動作させて、所定の位置器と前記全体確率値との比較を行うことを含む、請求項２７に記載の方法。

【請求項29】

前記プロセッサを動作させて、前記比較に基づいて、前記疾患が存在するかまたは存在しないかの表示を、前記プロセッサに応答して表示スクリーン上で提示することを含む、請求項２８に記載の方法。

【請求項30】

患者の呼吸器系の疾患の存在を予測するための装置であって、
電子メモリに、患者のデジタル音声記録を格納する音声キャプチャ構造と、
前記疾患に関連付けられた前記記録の音セグメントをその画像表現に変換する音セグメントから画像表現へのアセンブリと、
前記音セグメントから画像表現へのアセンブリとコミュニケーションをとる少なくとも１つのパターン分類器であって、前記呼吸器の疾患を予測する前記患者の音セグメントの確率を示す信号を生成するように、画像表現を処理するように構成されるパターン分類器と、
を有する装置。

【請求項31】

前記電子メモリとコミュニケーションをとるセグメント識別アセンブリであって、前記デジタル音声記録を処理し、予測が求められる疾患に関連付けられた音を有する前記デジタル音声記録の前記セグメントを識別する、セグメント識別アセンブリを含む、請求項３０に記載の装置。

【請求項32】

前記セグメント識別アセンブリは、前記デジタル音声記録を処理し、前記疾患に関連付けられた音を有する前記デジタル音声記録の前記セグメントを識別するように構成され、
前記疾患は、肺炎を含み、
前記セグメントは、前記患者の咳嗽音を含む、請求項３１に記載の装置。

【請求項33】

前記セグメント識別アセンブリは、前記デジタル音声記録を処理し、前記疾患に関連付けられた音を有する前記デジタル音声記録の前記セグメントを識別するように構成され、
前記疾患は、喘息を含み、
前記セグメントは、前記患者の喘鳴音を含む、請求項３１に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０１９年１２月１６日出願のオーストラリア仮特許出願第２０１９９０４７５４号の優先権を主張し、同出願の開示は参照により本明細書に援用される。

【0002】

本発明は、呼吸器疾患の診断のために患者音を処理する装置および方法に関する。

【背景技術】

【0003】

先行技術の方法、装置、又は文献へのいかなる言及も、これが通常の一般知識を成すかその一部を成すことの証拠又は認定に当たるものと解釈されてはならない。

【0004】

呼吸器疾患を識別するのに患者音を電子的に処理することは周知である。通常、このような処理が行われる手法の一つは、当該の疾患と関連する音のセグメントから特徴を抽出することである。例えば、当該の疾患は肺炎であり、そのケースでは関連の音セグメントは患者の咳嗽音を包含するセグメントである。抽出される咳嗽音の特徴は一般的に、音セグメントの様々な特性を定量化する値である。例えば、咳嗽音波形のセグメントの時間領域でのゼロ交差の数が一つの特徴であってよい。別の特徴は、咳嗽音のセグメントのガウス分布からの偏差を表す値であってよい。他の特徴は、咳嗽音のセグメントのエネルギーレベルの対数であってよい。

【0005】

特徴の値が判断されると、これらから特徴ベクトルが形成される。そして特定の疾患を抱えているか抱えていないことが分かっている患者からの咳嗽音の特徴ベクトルが、ニューラルネットワークのようなパターン分類器を訓練する訓練ベクトルとして使用される。その際には、患者が特定の疾患を抱えているか否かを予測する可能性が非常に高いものとして検査特徴ベクトルを分類するのに、訓練済み分類器が使用できる。

【0006】

それゆえ、このような機械学習ベースの自動診断システムが非常に有益であることが認識されるだろう。実際に、このような予測システムに事前訓練済みニューラルネットワークを実装することによりポータブル性の高い予測支援手段を臨床医に提供するアプリによってスマートフォンのプロセッサを設定することが可能である。そして臨床医は、予測結果を考慮して適切な治療を患者に与えることが可能である。このようなシステムの一つは非特許文献１に記載されている。

【0007】

しかしながら、ガウス分布からの偏差、ログエネルギーレベル、そして他の計算集約的特徴など幾つかの特徴の値の判断は、技術的要求の厳しい複雑なプログラミングを必要とすることが認識されるだろう。更に、診断されるべき対象疾患の特徴ベクトルを形成するのに使用すべき最適な特徴集合を選択することは、全く容易ではない。特徴の最適又は近最適集合に到達するには、検査、直感、そして突然のひらめきが大抵必要とされる。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】ポーター（Ｐｏｒｔｅｒ），Ｐ、アベイラトネ（Ａｂｅｙｒａｔｎｅ），Ｕ、スォーンカー（Ｓｗａｒｎｋａｒ），Ｖその他著 「小児に多い呼吸器障害の識別のための自動化咳嗽音中心解析システムの診断精度を検査する有望な多角的研究（Ａ ｐｒｏｓｐｅｃｔｉｖｅ ｍｕｌｔｉｃｅｎｔｅｒ ｓｔｕｄｙ ｔｅｓｔｉｎｇ ｔｈｅ ｄｉａｇｎｏｓｔｉｃ ａｃｃｕｒａｃｙ ｏｆ ａｎ ａｕｔｏｍａｔｅｄ ｃｏｕｇｈ ｓｏｕｎｄ ｃｅｎｔｅｒｅｄ ａｎａｌｙｔｉｃ ｓｙｓｔｅｍ ｆｏｒ ｔｈｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｃｏｍｍｏｎ ｒｅｓｐｉｒａｔｏｒｙ ｄｉｓｏｒｄｅｒｓ ｉｎ ｃｈｉｌｄｒｅｎ）」呼吸器研究（Ｒｅｓｐｉｒ Ｒｅｓ）２０，８１（２０１９年）（以下、ポーターその他（Ｐｏｒｔｅｒ ｅｔ ａｌ．）論文と呼ばれる）

【発明の概要】

【発明が解決しようとする課題】

【0009】

検討された先行技術によるものの改良、あるいは少なくとも有用な代替例である、患者音からの呼吸器疾患の自動診断のための方法および装置が利用可能である場合、非常に有利であろう。

【課題を解決するための手段】

【0010】

第一の態様によれば、患者の呼吸器系の疾患の存在を予測する方法であって、
少なくとも１つの電子プロセッサを作動させて、疾患と関連する患者の音声記録の１または複数の音セグメントを音セグメントの１または複数の対応する画像表現に変換することと、
少なくとも１つの電子プロセッサを作動させて、画像表現から疾患の存在を予測するように訓練された少なくとも１つのパターン分類器に１または複数の画像表現を適用することと、
少なくとも一つの電子プロセッサ（「プロセッサ」）を作動させて、パターン分類器の少なくとも１つの出力に基づいて患者の疾患の存在の予測を生成することと、
を有する、方法が提供される。

【0011】

一実施形態において、方法は、プロセッサを作動させて、１または複数の音セグメントを対応する１または複数の画像表現に変換することを含み、画像表現は１つの軸上の周波数を別の軸上の時間に関係付ける。

【0012】

一実施形態において、画像表現はスペクトログラムを有する。

【0013】

一実施形態において、画像表現はメルスペクトログラムを有する。

【0014】

一実施形態において、方法は、プロセッサを作動させて、咳嗽音の初期および後続の位相をそれぞれ検出するように訓練された第１および第２の咳嗽音パターン分類器を使用して潜在的な咳嗽音を音声記録の咳嗽音声セグメントとして識別することを含む。

【0015】

一実施形態において、画像表現はＮ×Ｍの画素の寸法を有し、セグメントの各々のＮ個のウィンドウをプロセッサが処理することにより画像が形成され、各ウィンドウがＭ個の周波数ビンで解析される。

【0016】

一実施形態において、Ｎ個のウィンドウの各々はＮ個のウィンドウの他の少なくとも１つと重複する。

【0017】

一実施形態において、ウィンドウの長さは関連の咳嗽音声セグメントの長さに比例する。

【0018】

一実施形態において、方法は、プロセッサを作動させて、１または複数の画像表現のうち対応する画像表現の対応する画素値に達するように高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）と周波数ビン当たりのパワー値とを算出することを含む。

【0019】

一実施形態において、方法は、プロセッサを作動させて、Ｍ個の周波数ビンの各々についてのパワー値であるＭ個のパワー値の形で周波数ビン当たりのパワー値を算出することを含む。

【0020】

一実施形態において、Ｍ個の周波数ビンはＭ個のメル周波数ビンを有し、方法は、プロセッサを作動させて、Ｍ個のパワー値を連結および正規化することにより対応する画像表現をメルスペクトログラム画像の形で作成することを含む。

【0021】

一実施形態において、画像表現は方形であり、ＭはＮに等しい。

【0022】

一実施形態において、方法は、プロセッサを作動させて、特定の疾患についての症状および／または臨床兆候の入力を受け付けることを含む。

【0023】

一実施形態において、方法は、プロセッサを作動させて、１または複数の画像表現に加えて症状および／または臨床兆候を少なくとも１つのパターン分類器に適用することを含む。

【0024】

一実施形態において、方法は、プロセッサを作動させて、少なくとも一つの画像表現と症状および／または臨床兆候とに応じて、少なくとも１つのパターン分類器の少なくとも１つの出力に基づいて患者の疾患の存在を予測することを含む。

【0025】

一実施形態において、少なくとも一つのパターン分類器は、
表現に応じる表現パターン分類器と、
症状および／または臨床兆候に応じる症状分類器と、
を有する。

【0026】

一実施形態において、表現パターン分類器はニューラルネットワークを有する。

【0027】

一実施形態において、ニューラルネットワークは畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。

【0028】

一実施形態において、症状パターン分類器はロジスティック回帰モデル（ＬＲＭ：Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ Ｍｏｄｅｌ）を有する。

【0029】

一実施形態において、方法は、プロセッサを作動させて、症状パターン分類器からの１または複数の出力に基づいて、症状ベース予測確率を判断することを含む。

【0030】

一実施形態において、方法は、プロセッサを作動させて、表現パターン分類器からの１または複数の出力に基づいて、表現ベース予測確率を判断することを含む。

【0031】

一実施形態において、方法は、２個と７個の間の表現に応じた表現パターン分類器からの１または複数の出力に基づいて表現ベース予測確率を判断することを含む。

【0032】

一実施形態において、方法は、５個の表現に応じた表現パターン分類器からの１または複数の出力に基づいて表現ベース予測確率を判断することを含む。

【0033】

一実施形態において、方法は、各表現についての表現ベース予測確率の平均として表現ベース予測確率を判断することを含む。

【0034】

一実施形態において、方法は、表現ベース予測確率と症状ベース予測確率とに基づいて全体予測確率値を判断することを含む。

【0035】

一実施形態において、方法は、表現ベース確率と症状ベース確率との加重平均として全体確率値を判断することを含む。

【0036】

一実施形態において、方法は、プロセッサを作動させて、表現ベース予測確率値と所定の閾値との比較を行うことを含む。

【0037】

一実施形態において、方法は、プロセッサを作動させて、全体確率値と所定の閾値との比較を行うことを含む。

【0038】

一実施形態において、方法は、プロセッサを作動させて、比較に基づく疾患が存在するか存在しないかの表示を、プロセッサに対応するディスプレイ画面に提示することを含む。

【0039】

更なる態様によれば、患者の呼吸器の疾患の存在を予測するための装置であって、
患者のデジタル音声記録を電子メモリに記憶するように構成される音声キャプチャ構造と、
疾患と関連する記録の音セグメントをその画像表現に変換するように構成される音セグメント・画像表現アセンブリと、
画像表現を処理して、患者音セグメントが呼吸器疾患を予測するものである確率を表す信号を発生させるように構成された、音セグメント・画像表現アセンブリとコミュニケーションをとる少なくとも１つのパターン分類器と、
を有する、装置が提供される。

【0040】

一実施形態では、装置は、デジタル音声記録を処理することにより、予測が求められる疾患と関連する音を有するデジタル音声記録のセグメントを識別するように構成された、電子メモリとコミュニケーションをとるセグメント識別アセンブリを含む。

【0041】

一実施形態において、セグメント識別アセンブリは、デジタル音声記録を処理することにより、疾患と関連する音を有するデジタル音声記録のセグメントを識別するように構成され、疾患は肺炎を有し、セグメントは患者の咳嗽音を有する。

【0042】

一実施形態において、セグメント識別アセンブリは、デジタル音声記録を処理することにより、疾患と関連する音を有するデジタル音声記録のセグメントを識別するように構成され、疾患が喘息を有し、セグメントは患者の喘鳴音を有する。

【0043】

発明の別の態様によれば、パターン分類器を訓練して患者における呼吸器疾患の存在を患者の音声記録から予測するための方法が提供され、この方法は、
疾患を抱えている、および、抱えていない患者の、疾患と関連する音を、対応の画像表現に変換することと、
疾患を抱えている患者からの疾患と関連する音に対応する画像表現の適用に応じて疾患の存在を予測する出力を生成し、疾患を抱えていない患者からの音に対応する画像表現の適用に応じて疾患の非存在を予測する出力を生成するように、パターン分類器を訓練することと、
を有する。

【0044】

本発明の更なる態様によれば、患者からの音セグメントの画像表現に基づいて患者の呼吸器疾患の存在を予測する為の方法が提供される。

【0045】

本発明の別の態様によれば、患者の呼吸器疾患の存在を予測するための装置が提供され、この装置は、患者からの音セグメントを対応の画像表現に変換するように構成される。

【0046】

本発明の別の態様によれば、患者からの音セグメントの画像表現に基づいて患者の呼吸器疾患の存在を予測するための方法を実装する１または複数のプロセッサのための有形の非一時的機械可読命令を担持するコンピュータ可読媒体が提供される。

【0047】

本発明の好適な特徴、実施形態、そして変形は、本発明を実施するのに充分な情報を当業者に提供する以下の詳細な説明から了解され得る。詳細な説明は前出の発明の概要の範囲をいかなる点でも限定するものと見なされてはならない。詳細な説明では以下の幾つかの図面を参照する。

【図面の簡単な説明】

【0048】

【図1】本発明の実施形態による疾患予測方法のフローチャートである。

【図2】呼吸器疾患予測装置のブロック図である。

【図2A】一連の咳嗽音と第１および第２の訓練済みパターン分類器の対応出力とが描かれたグラフである。

【図3】疾患についての患者の症状の入力を誘導するための装置のインタフェース画面ディスプレイである。

【図4】患者音の録音中の装置のインタフェース画面ディスプレイである。

【図5】疾患と関連する患者音の画像表現を作成するように装置に実装される方法のステップを示す図である。

【図6】疾患と関連する患者音のメルスペクトログラム画像表現である。

【図7】疾患と関連する患者音のデルタメルスペクトログラム画像表現である。

【図8】患者の疾患状態の存在の予測を提示する為の装置のインタフェース画面ディスプレイである。

【図9】本発明の実施形態による畳み込みニューラルネットワーク（ＣＮＮ）訓練装置のブロック図である。

【図10】図９の訓練装置により実行されるソフトウェア製品において命令としてコード化される方法のフローチャートである。

【発明を実施するための形態】

【0049】

図１には、患者における呼吸器病などの疾患の存在を予測するための、本発明の好適な実施形態による方法のフローチャートが提示されている。これから検討するように、図１のフローチャートは、患者音の一部分の画像表現に基づく表現ベース予測確率を症状ベース予測確率と組み合わせたものである。症状ベース予測確率は、疾患についての自己申告患者症状に基づく。更に検討されるように、他の実施形態では自己申告症状が使用されず、予測は患者音の一部分の画像表現のみに基づく。

【0050】

この方法を実装するように設定されるハードウェアプラットフォームは、呼吸器疾患予測装置を有する。装置は、明確に記すと、これから記載されるように方法ステップを実行するために作動時にプロセッサを構成する命令を記憶する電子メモリとの通信状態にある少なくとも１つのプロセッサを格納するデスクトップコンピュータ、あるいはスマートフォンのようなポータブルコンピュータデバイスであってよい。特殊なハードウェア、つまり専用の装置と、特殊なプログラミングによる１または複数のプロセッサから構成される装置のいずれも伴わずに方法を実行するのは不可能であることが認識されるだろう。代替的に、これから検討されるステップの各々を実行する特殊な回路構成を含む専用アセンブリとして装置が実装されてもよい。回路構成は主に、ＨＤＬ（Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｏｒ Ｌａｎｇｕａｇｅ）またはヴェリログ（Ｖｅｒｉｌｏｇ）仕様により設定されるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を使用して実装されてよい。

【0051】

図２は、ここに記載される実施形態ではスマートフォンの１または複数のプロセッサ及びメモリを使用して実装される呼吸器疾患予測装置５１を有する装置のブロック図である。呼吸器疾患予測装置５１は、電子メモリ５５にアクセスする、短縮して「プロセッサ」と呼ばれ得る少なくとも１つのプロセッサ５３を含む。電子メモリ５５は、例えばプロセッサ５３による実行のための、アンドロイド（登録商標）オペレーティングシステムまたはアップルｉＯＳオペレーティングシステムなどのオペレーティングシステム５８を含む。本発明の好適な実施形態によれば、電子メモリ５５は、呼吸器疾患予測ソフトウェア製品または「アプリ」５６も含む。呼吸器疾患予測アプリ５６は、呼吸器疾患予測装置５１が患者５２からの音を処理して、患者５２における呼吸器疾患の存在の予測をＬＣＤタッチ画面インタフェース６１によって臨床医５４に提示するためにプロセッサ５３により実行可能な命令を含む。アプリ５６は、訓練済み予測器または決定装置のようなパターン分類器をプロセッサが実装するための命令を含み、ここに記載の本発明の好適な実施形態において、パターン分類器は、特殊な訓練済みの畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）６３、および特殊な訓練を受けたロジスティック回帰モデル（ＬＲＭ：Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ Ｍｏｄｅｌ）６０を包含する。

【0052】

プロセッサ５３は、図２に記されているように、プロセッサと様々な周辺機器との間でデジタル信号２００が伝搬される金属導体から構成されるデータバス５７を介して、複数の周辺アセンブリ５９から７３とのデータ通信状態にある。結果的に、必要であれば、呼吸器疾患予測装置５１は、ＷＡＮ／ＷＬＡＮアセンブリ７３と無線周波数アンテナ７９とを介して音声および／またはデータ通信ネットワーク８１との音声およびデータ通信を確立できる。装置はまた、所望であれば患者５２の画像がキャプチャできるようにデジタルカメラを操作するレンズ・ＣＣＤアセンブリ５９など他の周辺機器も含む。ヒューマンマシンインタフェースとして作用して臨床医５４が結果を読み取るとともにコマンドおよびデータを装置５１に入力することを可能にするＬＣＤタッチ画面インタフェース６１が設けられる。ＵＳＢスティックなどの外部記憶デバイスへのシリアルデータ接続を設けるための、あるいはデータネットワークまたは外部の画面およびキーボード等へのケーブル接続を行うためのＵＳＢポート６５が設けられる。メモリ５５により用意される内部データ記憶空間に加えて、必要に応じて追加の二次記憶のための二次記憶カード６４も設けられる。音声インタフェース７１はマイクロフォン７５をデータバス５７に結合し、アンチエイリアシングフィルタリング回路構成と、（患者音波３９に対応する）マイクロフォン７５から、メモリ５５に記憶されてプロセッサ５３により処理できるデジタル音声信号５０（図５に図示）にアナログ電気波形を変換するアナログデジタルサンプラーとを含む。音声インタフェース７１はスピーカ７７にも結合される。音声インタフェース７１は、デジタル音声をアナログ信号に変換するためのデジタルアナログ変換器と、メモリ５５または二次記憶装置６４に記録された音声が臨床医５４による聴取のために再生できるようにスピーカ７１に接続される音声増幅器とを含む。マイクロフォン７５と音声インタフェース７１とは、アプリ５６でプログラミングされたプロセッサ５３とともに、メモリ５５または二次記憶装置６４などの電子メモリに患者５２のデジタル音声記録を記憶するために構成された音声キャプチャ構成を有することが認識されるであろう。

【0053】

患者における特定の呼吸器疾患の存在を予測するものとしておそらくは患者症状との組み合わせで患者音を分類するための装置として作動する構成となるように、呼吸器疾患予測装置５１がアプリ５６でプログラミングされる。

【0054】

既に述べられたように、図２に図示されている呼吸器疾患予測装置５１は、アプリ５６による独自の構成を持つスマートフォンハードウェアの形で設けられるが、デスクトップコンピュータ、ラップトップ、またはタブレットコンピュータデバイスなど他の幾つかのタイプのコンピュータデバイスを等しく使用し得るか、アプリ５６により特殊なプログラミングが行われたバーチャル装置をハードウェアが有するクラウドコンピューティング環境において実装されてもよい。更に、汎用プロセッサを使用しない専用の呼吸器疾患予測装置も構築されてよい。例えば、このような専用装置は、マイクロフォンと、患者のデジタル音声記録を電子メモリに記憶するように設定されるアナログデジタル変換回路構成とを含む音声キャプチャ構成を有してよい。装置は更に、デジタル音声記録を処理することにより、予測が求められる疾患と関連する音を有するデジタル音声記録のセグメントを識別するように構成された、メモリとの通信状態にあるセグメント識別アセンブリを含む。例えば、疾患は肺炎を有し、セグメントは患者の咳嗽音を有してよい。別の例として、疾患は喘息を有し、セグメントは患者の喘鳴音を有してよい。識別された音セグメントを画像表現に変換する音声セグメント・画像表現アセンブリが提供されてよい。専用装置は更に、患者音セグメントを表す信号を、呼吸器疾患を表すものとして発生させるように構成され、特徴抽出プロセッサとの通信状態にあるハードウェア実装パターン分類器を含む。

【0055】

患者５２における呼吸器疾患の存在を予測するのに呼吸器疾患予測装置５１が使用するとともにアプリ５６を構成する命令を有する手順の実施形態が図１のフローチャートに図示され、これから詳しく記載される。

【0056】

ボックス２で、臨床医５４又は別の介護者や患者３９は、図２に示されているようにプロセッサ５３によりＬＣＤタッチ画面インタフェース６１を作動させて画面８０を表示させる命令を格納するアプリ５６を選択する。そして患者の年齢と、発熱、喘鳴、咳嗽のような症状の存在および／または重症度が、症状検査特徴ベクトルとしてメモリ５５に入力および記憶される。患者の溶存酸素レベル（％）、呼吸数、心拍数等の臨床兆候も入力されてよい。そして、制御は図１のボックス４へ進み、ここでプロセッサ５３は、アプリ５６が実装するようにプログラミングされた事前訓練済みＬ２正規化ロジスティック回帰モデル６０の形の症状パターン分類器に症状検査特徴ベクトルを適用する。

【0057】

ＬＲＭ６０からの出力は、患者５２が抱えている特定の疾患と症状検査特徴ベクトルが関連する確率を表す信号、例えばデジタル電気信号である。例えば、肺炎のような特定の疾患を抱えている／抱えていない人々に対応する訓練ベクトルでＬＲＭが事前訓練された場合には、ＬＲＭの出力は、患者が疾患を抱えている確率ｐ_１を表す。ボックス６で、プロセッサ５３はＬＲＭ６０からの出力に基づいて症状ベース予測確率ｐ_１を確定する。

【0058】

ボックス８で、プロセッサ５３は、装置５１を作動させてマイクロフォン７５および音声インタフェース７１を介して患者５２からの音３９の記録を開始するように臨床医５４に促す図３の画面８２のような画面を表示する。音声インタフェース７１は、バス５７で伝搬されてプロセッサ５３によりデジタルファイルとしてメモリ５５および／または二次記憶ＳＤカード６４に記録されるデジタル信号２００に音を変換する。ここに記載される好適な実施形態では、録音に存在する当該の疾患と関連の幾つかの音を含むのに充分な期間にわたって記録が継続するべきである。

【0059】

ボックス１０で、プロセッサ５３は、特定の疾患の特徴である音セグメントを識別する。例えば、疾患が肺炎であると、プロセッサ５３がデジタル音ファイルを処理して咳嗽音セグメントを識別するための命令をアプリ５６が格納する。

【0060】

咳嗽音を識別するための好適な方法は、国際公開第２０１８／１４１０１３号に記載されており（本明細書では時に「ＬＷ２」法と呼ばれる）、その開示全体が参照により本明細書に援用される。ＬＷ２法では、咳嗽音の初期の位相相と咳嗽音の後続の位相とを検出するためにそれぞれ訓練された二つの事前訓練済みニューラルネットに、患者音からの特徴ベクトルが適用される。第１のニューラルネットは初期の爆発的な位相（ｅｘｐｌｏｓｉｖｅ ｐｈａｓｅ）を検出するように能動的訓練により加重され、第２のニューラルネットは咳嗽音の１または複数の爆発後の位相（ｐｏｓｔ－ｅｘｐｌｏｓｉｖｅ ｐｈａｓｅ）を検出するように能動的に重み付けされる。ＬＷ２法の好適な実施形態において、第１のニューラルネットは更に、爆発的な位相については能動的訓練により、爆発後の位相については受動的訓練により重み付けされる。ＬＷ２は、一連の連続した咳嗽の咳嗽音を識別するのに特に適している。

【0061】

ボックス１０では、音声ファイル５０の潜在的咳嗽音（ＰＣＳ：Ｐｏｔｅｎｔｉａｌ Ｃｏｕｇｈ Ｓｏｕｎｄ）をプロセッサ５３が識別する。本発明の好適な実施形態では、咳嗽音の初期および後続の位相をそれぞれ検出するように訓練されたニューラルネットワークを各々が好ましくは包含する第１の咳嗽音パターン分類器（ＣＳＰＣ１）６２ａと第２の咳嗽音パターン分類器（ＣＳＰＣ２）６２ｂとを実装するようにプロセッサ５３を構成する命令をアプリ５６が含む。ゆえに、好適な実施形態では、既に検討したＬＷ２法を使用してプロセッサ５３がＰＣＳを識別する。

【0062】

咳嗽音検出のための他の方法は、やはり使用され得る先行技術でも周知である。例えば、例えば、アベイラトネ他（Ａｂｅｙｒａｔｎｅ ｅｔ ａｌ．）による国際公開第２０１３／１４２９０８号には、複数の患者音セグメントの各々について幾つかの特徴を判断することと、これらの特徴から特徴ベクトルを形成することと、単一の事前訓練済み分類器にこれらを適用することとを必要とする咳嗽検出方法が記載されている。その際に分類器からの出力は、セグメントを「咳嗽」と「非咳嗽」のいずれかと見なすように処理される。

【0063】

図２Ａは、患者５２からの音波４０の録音の一部分を示すグラフである。録音はデジタル音ファイル５０としてメモリ５５に記憶される。

【0064】

好ましくはボックス１０でプロセッサ５３により実装される国際公開第２０１８／１４１０１３号に記載のＬＷ２法の適用例がこれから説明される。ＬＷ２法は、咳嗽音の第１の位相および第２の位相を認識するようにそれぞれ訓練された二つの訓練済みニューラルネットワークＣＳＰＣ１ ６２ａ及びＣＳＰＣ２ ６２ｂに音波の特徴を適用することを必要とする。第１のニューラルネットワークＣＳＰＣ１ ６２ａの出力は図４にライン５４で示されており、音波の対応部分が咳嗽音の第１の位相である可能性を表す信号を有する。第２のニューラルネットワークＣＳＰＣ２ ６２ｂの出力は、図４にライン５２で示されており、音波の対応部分が咳嗽音の後続の位相である可能性を表す信号を有する。第１および第２の訓練済みニューラルネットワークＣＳＰＣ１ ６２ａおよびＣＳＰＣ２ ６２ｂの出力５４、５２に基づいて、プロセッサ５３は、セグメント６８ａおよび６８ｂに位置する２つの咳嗽音６６ａ、６６ｂを識別する。

【0065】

ボックス１２で、プロセッサは、変数「現在咳嗽音」を、音ファイルで識別された第１の咳嗽音に設定する。

【0066】

ボックス１４で、プロセッサは、例えばファイルとしてメモリ５５と二次記憶装置６４のいずれかに記憶される対応の画像表現を作成するように現在咳嗽音を変換する。

【0067】

この画像表現は、デジタル音声ファイルの「現在咳嗽音」部分のスペクトログラムを有するかこれに基づいていてよい。可能な画像表現は、メル周波数スペクトログラム（または「メルスペクトログラム」）、連続ウェーブレット変換、およびデルタ特徴としても知られる時間次元でのこれら表現の導関数を含む。

【0068】

ボックス１４の一つの特定実装形態の例が図５に描かれている。最初に、プロセッサ５３はデジタル音ファイル５０の二つの咳嗽音６６ａ、６６ｂを識別する。

【0069】

プロセッサ５３は、検出された咳嗽６６ａ、６６ｂを別々の咳嗽音声セグメント６８ａ、６８ｂとして識別する。そして別々の咳嗽音声セグメント６８ａ、６８ｂの各々が、Ｎ個（この例ではＮ＝５）の等しい長さの重複ウィンドウ７２ａ１，．．．，７２ａ５および７２ｂ１，．．．，７２ｂ５に分割される。短い咳嗽セグメント、例えば咳嗽セグメント６８ａよりいくらか短い咳嗽セグメント６８ｂについては、セグメント部６８ｂに使用される重複ウィンドウ７２ｂは、セグメント部６８ａに使用される重複ウィンドウ７２ａより比例的に短い。

【0070】

そして、プロセッサ５３は、対応する画素値に達するように、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）とメルバンク当たりのパワーとを算出する。これらの操作を音波に実施するようにプロセッサを作動させる機械可読命令がアプリ５６に含まれている。このような命令は、例えば、ｈｔｔｐｓ：／／ｌｉｂｒｏｓａ．ｇｉｔｈｕｂ．ｉｏ／ｌｉｂｒｏｓａ／＿ｍｏｄｕｌｅｓ／ｌｉｂｒｏｓａ／ｃｏｒｅ／ｓｐｅｃｔｒｕｍ．ｈｔｍｌ（２０１９年１２月１１日検索）で公開されている。

【0071】

図５に図示されている例で、プロセッサ５３は、各々がＮ＝５個のメル周波数ビンを含むＮ＝５個のメルスペクトログラム７４ａ、７４ｂをＮ＝５個の重複ウィンドウ７２ａ１，．．．，７２ａ５および７２ｂ１，．．．，７２ｂ５の各々から抽出する。

【0072】

プロセッサ５３は、スペクトログラム７４ａ、７４ｂに記憶された値を連結および正規化して、それぞれ咳嗽音６６ａ、６６ｂを表す画像表現である対応の方形メルスペクトログラム画像７６ａ、７６ｂを作成する。画像７６ａ、７６ｂの各々は、８ビットのグレースケールＮ×Ｎの画像である。

【0073】

Ｎは正の整数値であってよく、或るＮでは、音声インタフェース７１のサンプリングレートに応じて元の音声に存在する全ての情報を咳嗽画像が含み、これが望ましい。より高いＮに対応するようにＦＦＴビンの数を増加する必要があってよい。

【0074】

図６は、図５に記されたプロセスを使用して得られた方形メルスペクトログラム画像であってＮ＝２２４である。この画像で、時間は左から右へ水平軸上で増加し、周波数は下から上へ垂直軸上で増加する。濃色エリアはメル周波数ビンの振幅の増加を指す。

【0075】

図７は、図５に記されたのと類似のプロセスを使用して得られた方形のデルタメルスペクトログラム画像であってＮ＝２２４である。この画像で、濃色エリアは正のデルタを、淡色エリアは負のデルタを指す。

【0076】

図６と図７の両方は、本特許明細書の公開を目的として白黒画像となるように閾値処理されている。

【0077】

Ｎ＝Ｍの場合に、Ｎ×Ｍのセグメントから導出されたＮ×Ｍの画素の各々がＭ個のメル周波数ビンについて解析されると好都合である。他の実施形態では、処理される画像が方形であるようにＮはＭに等しくなくてもよく、類似の寸法の訓練画像を使用してＣＮＮが訓練されるとすると、これで全く申し分ない。

【0078】

ボックス１４の検討から、ボックス１４の手順を実施するようにアプリ５６により構成されるプロセッサ５３は、疾患と関連する記録の識別済み音セグメントを対応する画像表現に変換するように構成される音セグメント・画像表現アセンブリを有することが理解されるだろう。

【0079】

図１に戻ると、ボックス１６で、プロセッサ５３は、訓練済み畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）６３の形のパターン分類器に、画像表現、例えば画像７６ａを適用する。ＣＮＮ６３は、患者５２の特定の呼吸器疾患の存在を画像７６ａから予測するように訓練される。ＣＮＮ６３は、疾患の存在の予測を出力確率信号の形で生成するパターン分類器を有する。出力確率信号は０と１の間の範囲であり、１は、患者に疾患が存在する確実性を表し、０は疾患の可能性が存在しないことを表す。プロセッサ５３は、現在の咳嗽音の画像表現についての表現ベース予測確率を記録する。ボックス２０では点検が実施され、処理されるべき咳嗽が多い場合には、制御はボックス１２へ分岐してプロセスが繰り返される。代替的に、ボックス２０で全ての咳嗽音が処理された場合には、制御はボックス２４へ進む。

【0080】

患者音セグメントが呼吸器疾患を予測するものである確率を表す出力を生成するように構成されたパターン分類器をＣＮＮ６３が有することが認識されるだろう。

【0081】

ボックス２４で、プロセッサ５３は、咳嗽全てについての確率出力信号から平均活性化確率ｐ_２を判断する。ボックス２６で、プロセッサ５３は、患者の症状に基づいた、呼吸器疾患が存在する確率ｐ_１を、画像に応じたＣＮＮの出力から判断された表現ベース確率予測である平均活性化確率ｐ_２と組み合わせる。ボックス２６で判断されるｐ_ａｖｇ確率は、係数「ａ」で重み付けされたｐ_１およびｐ_２の加重平均である。係数「ａ」は一般的に０．５である。

【0082】

ボックス２８で、プロセッサ５３はＰ_ａｖｇ値を所定の閾値と比較する。閾値がどのように判断されるかは後で記載される。ｐ_ａｖｇが閾値より大きい場合に、プロセッサ５３は、当該の呼吸器疾患が存在することが示されているか否かを指摘する。ここに記載される実施形態では、プロセッサ５３は、ＬＣＤタッチ画面インタフェース６１を作動させて、図８に示されている画面７８を表示する。画面７８は、検出された疾患の名称（例えば「肺炎」）と、それが存在すると判断されたか否かと、を提示する。

【0083】

本発明の他の実施形態で、プロセッサ５３は患者症状および／または臨床兆候を収集せず、そのためボックス２、４、６、２６を実施しない。ボックス２８に代わって、ｐ_２が閾値と比較され、ボックス３０、３２で行われた疾患が存在するか否かの指摘がｐ_２のみに基づいて行われる。

【0084】

成果
既に言及されたポーター他（Ｐｏｒｔｅｒ ｅｔ ａｌ．）の論文に記載された診断方法の成果が、本発明の様々な実施形態と比較された。

【0085】

研究では、ウェスタン・オーストラリア州パースのジューンダラップ・ヘルス・キャンパス（Ｊｏｏｎｄａｌｕｐ Ｈｅａｌｔｈ Ｃａｍｐｕｓ）から１０２１人の患者が採用された。患者は、急性期一般病棟ＥＤおよび外来診察室から採用された。充分な診察で専門の臨床医により下された臨床診断および調査結果との比較による感度および特異度を使用して、診断法の成果が評価された。この集合の人口構成は以下の通りである。集合には６２８人の女性と３９３人の男性が含まれる。女性年齢中央値は６７歳で、年齢の最低は１６歳、最高は９９歳であった。男性年齢中央値は６８歳で、年齢の最低は１６歳、最高は９３歳であった。

【0086】

２５分割交差検証法を使用してデータ集合全体についてこの結果が蓄積された。旧来の方法と本明細書に記載の実施形態の方法の両方の結果は、同じデータ集合についての２５分割交差検証法であった。訓練群の患者のみを使用してモデル構築が行われた。各記録の全ての咳嗽を使用して訓練が行われた。しかしながら、検証では、図１を参照して検討された手順で使用するのに好適な咳嗽の数であるので、本発明者らは最初の５個の咳嗽のみを使用した、つまりボックス１２から１８で５個の咳嗽が処理された後にボックス２０からボックス２４に分岐する。

【0087】

表１は、ポーター他（Ｐｏｒｔｅｒ ｅｔ ａｌ．）の論文の主題である先行技術の手順を、プロセッサ５３が患者症状を収集せず、それゆえ図１のボックス２、４、６、２６を実施しない本発明の前述の実施形態と比較したものである。ボックス２８に代わってｐ_２が閾値と比較され、ボックス３０、３２で行われる、疾患が存在するか否かの指摘は、ｐ_２のみに基づいて行われる。

【0088】

【表1】

【0089】

表２は、患者兆候の使用による補足を含むポーター他（Ｐｏｒｔｅｒ ｅｔ ａｌ．）に記載の診断手順の成果を、図１を参照して記載された本発明の実施形態と比較したものである。

【0090】

咳嗽音および臨床症状の組み合わせ

【0091】

【表2】

【0092】

本発明の実施形態による手順が診断成果の向上という結果をもたらすことが表１および表２から読み取られるだろう。だがより重要なのは、本発明による実施形態が音声特徴を手作りして高度分類システムを手作業で構築する必要性を回避することである。

【0093】

図９は、ＣＮＮ訓練ソフトウェア１４０に従って構成されたデスクトップコンピュータの１または複数のプロセッサおよびメモリを使用して実装されるＣＮＮ訓練装置１３３のブロック図である。ＣＮＮ訓練装置１３３は、１または複数の内蔵マイクロプロセッサ１３５に電力供給してこれとインタフェース接続するための回路構成を含むメインボード１３４を含む。

【0094】

メインボード１３４は、マイクロプロセッサ１３５と二次メモリ１４７との間のインタフェースとして作用する。二次メモリ１４７は、１または複数の光学または磁気、あるいはソリッドステートのドライブを有してよい。二次メモリ１４７は、オペレーティングシステム１３９のための命令を記憶する。メインボード１３４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５０およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４３とも通信する。ＲＯＭ１４３は一般的に、起動時にマイクロプロセッサ１３５がアクセスするとともにオペレーティングシステム１３９をロードするためにマイクロプロセッサ１３５を用意するＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）あるいはＵＥＦＩ（Ｕｎｉｆｉｅｄ Ｅｘｔｅｎｓｉｂｌｅ Ｆｉｒｍｗａｒｅ Ｉｎｔｅｒｆａｃｅ）のような起動ルーチンについての命令を記憶する。

【0095】

メインボード１３４は、ディスプレイ１４７を駆動するための統合グラフィックアダプタも含む。メインボード１３３は一般的に、通信アダプタ１５３、例えばサーバ１３３をデータネットワークとのデータ通信状態にするＬＡＮアダプタ、モデム、あるいはシリアルまたはパラレルポートを含む。

【0096】

ＣＮＮ訓練装置１３３のオペレータ１６７は、キーボード１４９、マウス１２１、およびディスプレイ１４７によってこの装置とのインタフェース接続を行う。

【0097】

オペレータ１６７は、オペレーティングシステム１３９を作動させてソフトウェア製品１４０をロードする。ソフトウェア製品１４０は、光学ディスク１５７のようなコンピュータ可読媒体に担持される有形の非一時的機械可読命令１５９として用意されてよい。代替的に、ポート１５３を介してダウンロードされてもよい。

【0098】

二次記憶装置１４７は一般的に、磁気又はソリッドステートデータドライブにより実装され、オペレーティングシステムを記憶し、例えばＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）とＵｂｕｎｔｕ Ｌｉｎｕｘ（登録商標）デスクトップは、このようなオペレーティングシステムの二つの例である。

【0099】

二次記憶装置１４７は、本発明の実施形態によるＣＮＮ訓練ソフトウェア製品１４０であるソフトウェア製品１４０も含む。ＣＮＮ訓練ソフトウェア製品１４０は、図１０に図示されている方法を実装するＣＰＵ１３５（または代替的および集合的に「プロセッサ１３５」と呼ばれる）のための命令から構成される。

【0100】

最初に図１０のボックス１９２で、プロセッサ１３５は、一般的には患者音声とメタデータとを格納する幾つかのファイルから構成される訓練患者音声データベースを、通信ポート１５３を介してデータ記憶ソースから検索する。メタデータは訓練ラベル、つまり患者についての情報、例えば年齢、性別等と、幾つかの呼吸器疾患の各々を患者が抱えているか否かを含む。

【0101】

ボックス１９４で、肺炎についての咳嗽、あるいは特定の疾患と関連する他の音、例えば喘息についての喘鳴音などの音声セグメントが識別される。各患者のデータでの咳嗽事象は、例えば図１のボックス１０で既に検討されたのと同じ方式で識別される。

【0102】

ボックス１９６で、プロセッサ１３５は、図１のボックス１４で既に検討されたのと同じ方式で咳嗽事象を画像として表現し、各咳嗽を表すようにメルスペクトログラム画像が作成される。

【0103】

ボックス１９８で、プロセッサ１３５は、続いて畳み込みニューラルネット（ＣＮＮ）を訓練するための追加訓練例を作成するように各メルスペクトログラムを変換する。ＣＮＮは非常にパワフルな学習手段であって、限定数の訓練画像により訓練例を記憶してモデルを過剰適合となりうるので、このデータ拡張ステップは好ましい。本発明者らは、前もって確認されていないデータではこのようなモデルがうまく一般化されないことに気付いた。適用される画像変換は、小規模のランダムズーミング、クロッピング、そしてコントラスト変調を含むがこれらに限定されるわけではない。

【0104】

ボックス２００で、プロセッサ１３５は、ボックス１９８で作成された拡張咳嗽画像と元の訓練ラベルとについてＣＮＮ１４２を訓練する。ドロップアウトと荷重 減衰とバッチ正規化などの正規化技術を使用して、ＣＮＮの過剰適合が更に低減される。

【0105】

ＣＮＮを作成するのに使用されるプロセスの一例は、ＲｅｓＮｅｔ－１８のようなショートカットコネクションを含む残差ネットワークである事前訓練済みＲｅｓＮｅｔモデルを入手して、モデルの畳み込み層をバックボーンとして使用し、この問題領域に適合する層で最終的な非畳み込み層を置換することである。これらは全結合隠れ層、ドロップアウト層、そしてバッチ正規化層を含む。ＲｅｓＮｅｔ－１８についての情報は、ｈｔｔｐ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｄｅｅｐｌｅａｒｎｉｎｇ／ｒｅｆ／ｒｅｓｎｅｔ１８．ｈｔｍｌ（２０１９年１２月２日に検索）で入手可能であり、その開示は参照により本明細書に援用される。ＲｅｓＮｅｔ－１８は、イメージネット（ＩｍａｇｅＮｅｔ）データベース（ｈｔｔｐ：／／ｗｗｗ．ｉｍａｇｅ－ｎｅｔ．ｏｒｇ）からの百万以上の画像で訓練された畳み込みニューラルネットワークである。ネットワークは１８層の奥行があり、キーボード、マウス、鉛筆、そして多くの動物など１０００個の物体カテゴリに画像を分離できる。その結果、ネットワークは広範囲の画像についての豊富な特徴表現を学習している。ネットワークは２２４×２２４の画像入力サイズを有する。

【0106】

ＲｅｓＮｅｔ－１８層を固定して新たな非畳み込み層のみを訓練するだけで充分であるが、ＲｅｓＮｅｔ－１８層と新たな非畳み込み層の両方を再訓練して作業モデルを達成することも可能であることを、本発明者らは発見した。０．５の固定ドロップアウト比が好ましくは使用される。適応オプティマイザとして好ましくはＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）が使用されるが、他のオプティマイザ技術も使用されてよい。

【0107】

ボックス２０２で、ボックス１９６からの元の（非拡張）咳嗽画像がＣＮＮ１４２に適用され、特定の疾患を表す各咳嗽の確率を訓練済みＣＮＮ１４２から誘導するようにここで訓練される。

【0108】

ボックス２０４で、プロセッサ１３５は各記録の咳嗽の平均確率を算出し、これを記録時アクティブ化と見なす。

【0109】

ボックス２０６では、所望の成果の特性を提供して図１のボックス２８で使用される「閾値」を算出するのに記録ごとのアクティブ化が使用される。

【0110】

そして訓練済みＣＮＮは、疾患予測アプリ５６の一部としてのＣＮＮ６３として配布される。

【0111】

要約すると、一態様において、例えば肺炎または喘息だがこれらに限定されない患者５２の呼吸器系の疾患の存在を予測するための方法が提供される。この方法は、少なくとも１つの電子プロセッサ５３を作動させて、疾患と関連する患者の１または複数のセグメント、例えばデジタル音ファイル５０などの録音での音４０のセグメント６８ａ、６８ｂを、表現７４ａ、７４ｂ、７６ａ、７６ｂのような対応する１または複数の画像表現に変換することを含む。この方法は、少なくとも１つの電子プロセッサ５３を作動させて、画像表現から疾患の存在を予測するように訓練された少なくとも１つのパターン分類器６３に１または複数の画像表現、例えば表現７６ａ、７６ｂを適用することも含む。この方法は、少なくとも１つの電子プロセッサ５３を作動させて、パターン分類器６３の少なくとも１つの出力（図１のボックス１８）に基づいて患者における疾患の存在の予測（図１のボックス３０、３２）を生成することを含む。例えば、画面７８（図８）などの画面に予測が提示されてよい。

【0112】

別の態様では、肺炎または喘息などだがこれらに限定されない患者における呼吸器疾患の存在を予測するための装置が提供される。装置は、音声キャプチャ構成、例えばマイクロフォン７５および音声インタフェース７１を、メモリ５５または二次記憶装置６４のような電子メモリに患者５２のデジタル録音を記憶するようにアプリ５６の命令により構成されるプロセッサ５３とともに含む。例えば、疾患と関連するデジタル音ファイル５０などの録音の識別済み音セグメント、例えばセグメント６８ａ、６８ｂを、画像表現７６ａ、７６ｂなど対応する画像表現に変換するボックス１４（図１）の手順を実施するようにアプリ５６により設定されるプロセッサ５３により、音セグメント・画像表現アセンブリが提供される。音セグメント・画像表現アセンブリとの通信状態にあるとともに、画像表現を処理して、患者音セグメントが呼吸器疾患を予測する確率を表す信号を発生させるように、例えば事前訓練により設定される少なくとも一つのパターン分類器、例えば画像パターン分類器６３も装置に含まれる。

【0113】

法を順守して、本発明は多かれ少なかれ構造又は方法の特徴に固有の言語で記載されている。「有する（ｃｏｍｐｒｉｓｅｓ）」と、「有する（ｃｏｍｐｒｉｓｉｎｇ）」および「から成る（ｃｏｍｐｒｉｓｅｄ ｏｆ）」などその変形は、追加特徴を除外する為ではなく包括的な意味で終始使用される。

【0114】

本明細書に記載の手段は発明を実行する好適な形態を包含するので、図示及び記載された特定の特徴に発明が限定されないことが理解されるはずである。それゆえ本発明は、当業者により適切に解釈される添付請求項の適正な範囲内の形態又変形のいずれでも請求される。

【0115】

明細書及び請求項（存在する場合に）を通して、文脈上その他が必要とされない限り、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」または「約（ａｂｏｕｔ）」の語は、この語により定性化される範囲の値に限定されないことが理解されるであろう。

【0116】

本発明の実施形態は例示的であることのみを意図したものであり、発明を限定することは意図されていない。それゆえ、発明の範囲を逸脱することなく記載の実施形態に対して他の様々な変更及び変形が行われ得ることが認識されるべきである。

【図1】

【図2】

【図2A】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】