(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-14
(54)【発明の名称】中耳炎診断のための機械学習
(51)【国際特許分類】
A61B 1/045 20060101AFI20220307BHJP
A61B 8/14 20060101ALI20220307BHJP
A61B 1/227 20060101ALI20220307BHJP
A61B 1/00 20060101ALI20220307BHJP
G06T 7/00 20170101ALI20220307BHJP
【FI】
A61B1/045 614
A61B8/14
A61B1/227
A61B1/00 530
A61B1/00 526
A61B1/045 618
A61B1/00 512
A61B1/00 550
G06T7/00 350B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021542432
(86)(22)【出願日】2020-01-24
(85)【翻訳文提出日】2021-09-09
(86)【国際出願番号】 US2020015101
(87)【国際公開番号】W WO2020154698
(87)【国際公開日】2020-07-30
(32)【優先日】2019-01-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521212409
【氏名又は名称】オトネクサス メディカル テクノロジーズ, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】コレドール, チャーリー
(72)【発明者】
【氏名】モーリング, マーク エー.
(72)【発明者】
【氏名】キャメロン, ケイトリン
(72)【発明者】
【氏名】ゲイツ, ジョージ
【テーマコード(参考)】
4C161
4C601
5L096
【Fターム(参考)】
4C161AA11
4C161BB08
4C161CC06
4C161CC07
4C161FF40
4C161FF46
4C161HH51
4C161LL01
4C161MM10
4C161QQ03
4C161SS21
4C601KK13
5L096AA03
5L096AA06
5L096BA06
5L096BA13
5L096CA04
5L096CA27
5L096DA02
5L096HA02
5L096HA11
5L096HA13
5L096JA16
5L096KA03
5L096KA04
(57)【要約】
分類器を使用することによって鼓膜を分類するためのシステムおよび方法が、本明細書において開示される。分類器は、機械学習アルゴリズムである。鼓膜を分類する方法は、取り調べシステムから、鼓膜に関連する1つ以上のデータセットを受信することと、1つ以上のデータセットからパラメータの組を決定することであって、パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性または静的位置に関連している、ことと、パラメータの組から導出された分類器モデルに基づいて、鼓膜の分類を出力することとを含む。分類は、鼓膜の状態、条件、または可動性メトリックのうちの1つ以上を備えている。
【特許請求の範囲】
【請求項1】
鼓膜を分類する方法であって、前記方法は、
取り調べシステムから、前記鼓膜に関連する1つ以上のデータセットを受信することと、
前記1つ以上のデータセットからパラメータの組を決定することであって、前記パラメータの組のうちの少なくとも1つのパラメータは、前記鼓膜の動的特性または静的位置に関連している、ことと、
前記パラメータの組から導出された分類器モデルに基づいて、前記鼓膜の分類を出力することと
を含み、
前記分類は、前記鼓膜の状態、条件、または可動性メトリックのうちの1つ以上を備えている、方法。
【請求項2】
前記取り調べシステムは、撮像システムを備え、前記1つ以上のデータセットは、前記鼓膜の1つ以上の画像を備えている、請求項1に記載の方法。
【請求項3】
前記分類器モデルは、機械学習アルゴリズムを備えている、請求項1に記載の方法。
【請求項4】
前記機械学習アルゴリズムは、線形回帰、ロジスティック回帰、分類および回帰木アルゴリズム、サポートベクターマシン(SVM)、ナイーブベイズ、K近傍法、ランダムフォレストアルゴリズム、XGBoostおよびLightGBM等のブースティングアルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワークのうちの1つ以上を備えている、請求項3に記載の方法。
【請求項5】
前記機械学習アルゴリズムは、教師付き学習アルゴリズム、教師なし学習アルゴリズム、または半教師付き学習アルゴリズムである、請求項3に記載の方法。
【請求項6】
前記鼓膜の1つ以上の画像は、1つ以上の超音波画像を備えている、請求項2に記載の方法。
【請求項7】
前記1つ以上の超音波画像は、空気圧超音波鼓膜鏡からの画像を備えている、請求項6に記載の方法。
【請求項8】
前記1つ以上の超音波画像は、空気圧励起に応答して測定される、請求項6に記載の方法。
【請求項9】
前記鼓膜の1つ以上の画像は、1つ以上の光コヒーレンストモグラフィ画像を備えている、請求項2に記載の方法。
【請求項10】
前記画像は、光学画像を備えている、請求項2に記載の方法。
【請求項11】
前記膜の動的特性または静的位置に関連する前記少なくとも1つのパラメータは、空気圧励起に応答したものである、請求項2に記載の方法。
【請求項12】
前記空気圧励起は、ガスの吹き付けを備えている、請求項11に記載の方法。
【請求項13】
前記空気圧励起は、10Hzより大きい周波数を有する、請求項11に記載の方法。
【請求項14】
前記鼓膜の前記動的特性は、
膜移動または膜可動性の指示と、
前記鼓膜の最小または最大変位と、
外れ値変位と、
最小変位と最大変位との間の差異または比率と、
変位の傾きまたは空気圧励起の圧力に対する最小変位と最大変位との間の差異または比率の傾きと、
加えられた圧力に対する測定された圧力の応答と、
空気圧励起に応答した前記鼓膜の視覚的移動と、
特異値分解、主成分分析、およびK平均クラスタリングから発生させられた1つ以上の統計成分と、
超音波パルスエコー振幅または超音波エコー位相またはその微分またはその移動平均と
のうちの1つ以上を備えている、請求項1に記載の方法。
【請求項15】
前記鼓膜の前記動的特性は、空気圧励起の圧力に対して正規化される、請求項14に記載の方法。
【請求項16】
前記方法は、前記鼓膜の可動性の順位読み出し、カテゴリ読み出し、または連続した数値出力のうちの1つ以上を発生させることをさらに含む、請求項1に記載の方法。
【請求項17】
順位読み出しは、膜可動性の程度に関連した数値スケールを備えている、請求項16に記載の方法。
【請求項18】
前記数値スケールは、0~4+の分類を備えている、請求項17に記載の方法。
【請求項19】
カテゴリ読み出しは、高可動、中可動、半可動、または非可動のうちの少なくとも1つとしての膜可動性の程度の指示を備えている、請求項16に記載の方法。
【請求項20】
カテゴリ読み出しは、バイナリ分類を備えている、請求項16に記載の方法。
【請求項21】
連続した数値出力は、測定膜変位、膜移動の速度、または膜回復の速度のうちの1つ以上を備えている、請求項16に記載の方法。
【請求項22】
前記鼓膜の状態または条件は、急性中耳炎、滲出液を伴う急性中耳炎、中耳滲出液、慢性中耳炎、慢性化膿性中耳炎、細菌感染、ウイルス感染、滲出液なし、および未知の分類のうちの1つ以上を備えている、請求項1に記載の方法。
【請求項23】
前記1つ以上のデータセットは、mモード超音波データセットを備えている、請求項1に記載の方法。
【請求項24】
前記1つ以上のデータセットは、赤外線画像を備えている、請求項1に記載の方法。
【請求項25】
前記1つ以上のデータセットは、空気圧データセットを備えている、請求項1に記載の方法。
【請求項26】
前記1つ以上のデータセットは、空気圧励起に応答して撮影された1つ以上の光学画像を備えている、請求項1に記載の方法。
【請求項27】
前記静的位置は、膨張した膜または後退した膜を備えている、請求項1に記載の方法。
【請求項28】
鼓膜を分類するためのシステムであって、前記システムは、メモリを備えているコンピューティングシステムを備え、前記メモリは、前記鼓膜を分類するための命令を備え、前記コンピューティングシステムは、少なくとも、
取り調べシステムから、前記鼓膜に関連する1つ以上のデータセットを受信することと、
前記1つ以上のデータセットからパラメータの組を決定することであって、前記パラメータの組のうちの少なくとも1つのパラメータは、前記鼓膜の動的特性または静的位置に関連している、ことと、
前記パラメータの組から導出された分類器モデルに基づいて、前記鼓膜の分類を出力することと
を行うために、前記命令を実行するように構成され、
前記分類は、前記鼓膜の状態、条件、または可動性メトリックを備えている、システム。
【請求項29】
前記取り調べシステムは、撮像システムを備え、前記1つ以上のデータセットは、前記鼓膜の1つ以上の画像を備えている、請求項28に記載のシステム。
【請求項30】
前記システムは、空気圧超音波鼓膜鏡をさらに備えている、請求項28に記載のシステム。
【請求項31】
前記分類器モデルは、機械学習アルゴリズムを備えている、請求項28に記載のシステム。
【請求項32】
前記機械学習アルゴリズムは、線形回帰、ロジスティック回帰、分類および回帰木アルゴリズム、サポートベクターマシン(SVM)、ナイーブベイズ、K近傍法、ランダムフォレストアルゴリズム、XGBoostおよびLightGBM等のブースティングアルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワークのうちの1つ以上を備えている、請求項31に記載のシステム。
【請求項33】
前記機械学習アルゴリズムは、教師付き学習アルゴリズム、教師なし学習アルゴリズム、または半教師付き学習アルゴリズムである、請求項31に記載のシステム。
【請求項34】
前記鼓膜の1つ以上の画像は、1つ以上の超音波画像を備えている、請求項29に記載のシステム。
【請求項35】
前記1つ以上の超音波画像は、空気圧超音波鼓膜鏡からの画像を備えている、請求項34に記載のシステム。
【請求項36】
前記1つ以上の超音波画像は、空気圧励起に応答して測定される、請求項34に記載のシステム。
【請求項37】
前記鼓膜の1つ以上の画像は、1つ以上の光コヒーレンストモグラフィ画像を備えている、請求項29に記載のシステム。
【請求項38】
前記画像は、光学画像を備えている、請求項29に記載のシステム。
【請求項39】
前記膜の動的特性または静的位置に関連する前記少なくとも1つのパラメータは、空気圧励起に応答したものである、請求項29に記載のシステム。
【請求項40】
前記空気圧励起は、ガスの吹き付けを備えている、請求項39に記載のシステム。
【請求項41】
前記空気圧励起は、10Hzより大きい周波数を備えている、請求項39に記載のシステム。
【請求項42】
前記鼓膜の前記動的特性は、
膜移動または膜可動性の指示と、
前記鼓膜の最小または最大変位と、
外れ値変位と、
最小変位と最大変位との間の差異または比率と、
変位の傾きまたは空気圧励起の圧力に対する最小変位と最大変位との間の差異または比率の傾きと、
加えられた圧力に対する測定された圧力の応答と、
空気圧励起に応答した前記鼓膜の視覚的移動と、
特異値分解、主成分分析、およびK平均クラスタリングから発生させられた1つ以上の統計成分と、
超音波パルスエコー振幅または超音波エコー位相またはその微分またはその移動平均と
のうちの1つ以上を備えている、請求項28に記載のシステム。
【請求項43】
前記鼓膜の前記動的特性は、空気圧励起の圧力に対して正規化されている、請求項42に記載のシステム。
【請求項44】
前記コンピューティングシステムは、前記鼓膜の可動性の順位読み出し、カテゴリ読み出し、または連続した数値出力のうちの1つ以上を発生させるために、前記命令を実行するようにさらに構成されている、請求項28に記載のシステム。
【請求項45】
順位読み出しは、膜可動性の程度に関連した数値スケールを備えている、請求項44に記載のシステム。
【請求項46】
前記数値スケールは、0~4+の分類を備えている、請求項45に記載のシステム。
【請求項47】
カテゴリ読み出しは、高可動、中可動、半可動、または非可動のうちの少なくとも1つとしての膜可動性の程度の指示を備えている、請求項44に記載のシステム。
【請求項48】
カテゴリ読み出しは、バイナリ分類を備えている、請求項44に記載のシステム。
【請求項49】
連続した数値出力は、測定膜変位、膜移動の速度、または膜回復の速度のうちの1つ以上を備えている、請求項44に記載のシステム。
【請求項50】
前記鼓膜の状態または条件は、急性中耳炎、滲出液を伴う急性中耳炎、中耳滲出液、慢性中耳炎、慢性化膿性中耳炎、細菌感染、ウイルス感染、滲出液なし、および未知の分類のうちの1つ以上を備えている、請求項28に記載のシステム。
【請求項51】
前記1つ以上のデータセットは、mモード超音波データセットを備えている、請求項28に記載のシステム。
【請求項52】
前記1つ以上のデータセットは、赤外線画像を備えている、請求項28に記載のシステム。
【請求項53】
前記1つ以上のデータセットは、空気圧データセットを備えている、請求項28に記載のシステム。
【請求項54】
前記1つ以上のデータセットは、空気圧励起に応答して撮影された1つ以上の光学画像を備えている、請求項28に記載のシステム。
【請求項55】
前記静的位置は、膨張した膜または後退した膜を備えている、請求項28に記載のシステム。
【請求項56】
機械実行可能コードを備えている非一過性コンピュータ読み取り可能な媒体であって、前記コードは、コンピューティングシステムによって実行されると、膜を分類する方法を実装し、前記方法は、
取り調べシステムから、前記鼓膜に関連する1つ以上のデータセットを受信することと、
前記1つ以上のデータセットからパラメータの組を決定することであって、前記パラメータの組のうちの少なくとも1つのパラメータは、前記鼓膜の動的特性または静的位置に関連している、ことと、
前記パラメータの組から導出された分類器モデルに基づいて、前記鼓膜の分類を出力することと
を含み、
前記分類は、前記鼓膜の状態、条件、または可動性メトリックを備えている、非一過性コンピュータ読み取り可能な媒体。
【請求項57】
前記取り調べシステムは、撮像システムを備え、前記1つ以上のデータセットは、前記鼓膜の1つ以上の画像を備えている、請求項56に記載の非一過性コンピュータ読み取り可能な記憶媒体。
【請求項58】
前記方法は、請求項2-27のいずれか1項に記載の方法をさらに含む、請求項56に記載の非一過性コンピュータ読み取り可能な記憶媒体。
【請求項59】
コンピュータ実装分類器を訓練する方法であって、前記方法は、
1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、前記1つ以上の鼓膜に関連する1つ以上の分類されたデータセットとを受信することであって、前記分類は、前記鼓膜の状態、条件、または可動性メトリックを備え、前記パラメータの組は、前記1つ以上の鼓膜の動的特性または静的位置に関連する少なくとも1つのパラメータを備えている、ことと、
データベース内に前記パラメータの組と前記1つ以上の分類されたデータセットとを記憶することと、
前記パラメータの組と前記1つ以上の分類されたデータセットとに基づいて、分類器モデルを構築することであって、前記分類器モデルは、前記パラメータの組から導出され、前記分類器モデルは、前記1つ以上の分類されたデータセットのうちのデータセットに基づいて、分類を出力する、ことと、
前記分類器モデルを使用し、未分類データセットの分類を提供することと
を含む、方法。
【請求項60】
前記方法は、第2の1つ以上の分類されたデータセットに基づいて、前記データベースを更新することと、
前記第2の1つ以上の分類されたデータセットに基づいて、前記分類器モデルを更新することと
をさらに含む、請求項59に記載の方法。
【請求項61】
前記方法は、前記分類器モデルを使用し、請求項1-27のいずれか1項に記載の鼓膜を分類する方法によって未分類データセットの分類を提供することをさらに含む、請求項59または60に記載の方法。
【請求項62】
コンピュータ実装分類器を訓練するためのシステムであって、前記システムは、メモリを備えているコンピューティングシステムを備え、前記メモリは、前記データセットを訓練するための命令を備え、前記コンピューティングシステムは、少なくとも、
1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、前記1つ以上の鼓膜に関連する1つ以上の分類されたデータセットとを受信し、前記分類は、前記鼓膜の状態、条件、または可動性メトリックを備え、前記パラメータの組は、前記1つ以上の鼓膜の動的特性または静的位置に関連する少なくとも1つのパラメータを備えている、ことと、
データベース内に前記パラメータの組と前記1つ以上の分類されたデータセットとを記憶することと、
前記パラメータの組と前記1つ以上の分類されたデータセットとに基づいて、分類器モデルを構築することであって、前記分類器モデルは、前記パラメータの組から導出され、前記分類器モデルは、前記1つ以上の分類されたデータセットのうちのデータセットに基づいて、分類を出力する、ことと、
前記分類器モデルを使用し、未分類データセットの分類を提供することと
を行うために、前記命令を実行するように構成されている、システム。
【請求項63】
前記システムは、少なくとも、第2の1つ以上の分類されたデータセットに基づいて、前記データベースを更新し、前記第2の1つ以上の分類されたデータセットに基づいて、前記分類器モデルを更新するために、前記命令を実行するように構成されている、請求項62に記載のシステム。
【請求項64】
前記システムは、請求項28-55のいずれか1項に記載の鼓膜を分類するためのシステムをさらに備えている、請求項62または63に記載のシステム。
【請求項65】
機械実行可能コードを備えている非一過性コンピュータ読み取り可能な媒体であって、前記コードは、コンピューティングシステムによって実行されると、コンピュータ実装分類器を訓練する方法を実装し、前記方法は、
1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、前記1つ以上の鼓膜に関連する1つ以上の分類されたデータセットとを受信することであって、前記分類は、前記鼓膜の状態、条件、または可動性メトリックを備え、前記パラメータの組は、前記1つ以上の鼓膜の動的特性または静的位置に関連する少なくとも1つのパラメータを備えている、ことと、
データベース内に前記パラメータの組と前記1つ以上の分類されたデータセットとを記憶することと、
前記パラメータの組と前記1つ以上の分類されたデータセットとに基づいて、分類器モデルを構築することであって、前記分類器モデルは、前記パラメータの組から導出され、前記分類器モデルは、分類を出力する、ことと、
前記分類器モデルを使用し、未分類データセットの分類を提供することと
を含む、非一過性コンピュータ読み取り可能な媒体。
【請求項66】
前記方法は、第2の1つ以上の分類されたデータセットに基づいて、前記データベースを更新することと、前記第2の1つ以上の分類されたデータセットに基づいて、前記分類器モデルを更新することとをさらに含む、請求項65に記載の非一過性コンピュータ読み取り可能な媒体。
【請求項67】
前記方法は、前記分類器モデルを使用し、請求項1-28のいずれか1項に記載の鼓膜を分類する方法によって未分類データセットの分類を提供することをさらに含む、請求項65または66に記載の非一過性コンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その出願が参照することによって本明細書に組み込まれる2019年1月25日に出願された米国仮出願第62/796,762号の利益を主張する。
【0002】
本開示は、診断のため等、組織および関連する物質を特性評価するためのシステムおよび方法に関する。具体的に、本開示は、中耳炎(すなわち、耳感染)を診断および特性評価するために鼓膜の可動性または位置等の組織の可動性または位置を測定することに関する。本開示の実施形態は、例えば、鼓膜の可動性または位置を予測するために、鼓膜の光学および/または音響および/または圧力のデータセットから成る訓練データの組を用いた機械学習を伴う。予測モデルは、訓練セットを用いて発生させられ、患者の鼓膜の可動性または位置を特性評価し、それによって、任意の中耳炎を診断および特性評価するために使用され得る。
【背景技術】
【0003】
中耳炎(OM)は、内耳の炎症性疾患の群であり、「耳感染」として一般的に公知である最も一般的な小児医療問題の原因である。OMは、中耳内の液体滲出の存在によって定義され、2つの主要なタイプから成る:急性中耳炎(AOM)、滲出液を伴う中耳炎(OME)、慢性中耳炎(COM)、および慢性化膿性中耳炎(CSOM)。通常、耳の痛みを示す感染の急速な発症は、AOM中耳滲出液(MEE)の特性である一方、OMEは、典型的に、MEE流体が非感染性であるので、症状に関連付けられていない。
【0004】
OMの診断は、最も一般的に、鼓膜(TM)、すなわち、「鼓室」を視覚的に査定するための耳鏡検査に依拠する。オトスコープは、TMを照明および拡大し、医師が、色調、透明度、および膨らみ等のOM感染に関連する視覚的インジケータを定性的に解釈することを可能にする。しかしながら、耳鏡検査によるOME診断の正確度は、機器および医師の技能に起因して変動し、OMを深く熟知している小児科医および耳鼻科医は、耳鏡検査を使用して50~70%の範囲内の推定される診断正確度を有する。耳鏡検査を通してOMを適切に診断することの困難を所与として、主要な小児科医の40%のみが、自身の耳鏡検査所見について確信を持ち、AOMは、高い頻度で誤診される。
【0005】
故に、鼓膜を分類する、および/または中耳炎を診断するための改良されたシステム、デバイス、および方法が、所望される。
【0006】
本明細書の開示に関連し得る参考文献は、米国特許第US5235510号(特許文献1)、第US5331550号、第US6090044号、第US7058441号、第US7283653号、第US7771356号、第US8115934号、第US8798345号、第US8996098号、第US9053536号、第US9445713号、第US9536054号、第US9589374号、第US9636007号、第US9684960号、第US9750450号、第US9867528号、第US9922242号、および第US10013757号、米国公開第US2003026470号、第US2004068167号、第US2006235725号、第US2006282009号、第US2007112273号、第US2009112100号、第US2012185275号、第US2013303941号、第US2014036054号、第US2017071509号、第US2017126943号、第US2017132367号、第US2018025210号、第US2018211380号、第US2018242860号、および第US2018260616号、および国際公開第WO2000/010451号、第WO2001/026026号、第WO2009/157825号、第WO2018/045269号、第WO2018/106005号、第WO2018/140014、および第WO2018/198253号を含み得る。
【0007】
以下の非特許刊行物は、本明細書の開示に関連し得る:Vertan,C. et al,「Eardrum color content analysis in video-otoscopy images for the diagnosis support of pediatric」Int. Symp. on Signals,Circuits and Systems,Bucharest,Romania,July 2011、Shaikh,N. et al.,「Development of an algorithm for the diagnosis of otitis media」Academic Pediatrics,Volume 12,Number 3(May-June 2012)、Kuruvilla,A. et al.,「Automated diagnosis of otitis media:vocabulary and grammar」International Journal of Biomedical Imaging:NA. Hindawl Limited.(2013)、Rappaport,K. et al.,「Comparative Assessment of a Smartphone Otoscope for the Diagnosis and Management of Acute Otitis Media」Provisional Section on Advances in Therapeutics and Technology Poster Presentation(October 28,2013)、Shie,C.K. et al.,「A hybrid feature-based segmentation and classification system for the computer aided self-diagnosis of otitis media」Conf Proc IEEE Eng Med Biol Soc.,2014; 2014:4655-8、Somrak,M. et al.,「Tricorder:consumer medical device for discovering common medical conditions」Informatica 38.1:81(8). Slovenian Society Informatika.(Mar. 2014)、Myburgh,H. et al.,「Towards low cost automated smartphone- and cloud-based otitis media diagnosis」Biomedical Signal Processing and Control 39(2018) 34-52、Umea University. 「Diagnosing ear infection using smartphone.」ScienceDaily. ScienceDaily,30 March 2016. <www.sciencedaily.com/releases/2016/03/160330102850.htm>、 Senaras,C. et al,「Detection of eardrum abnormalities using ensemble deep learning approaches」Proc. SPIE 10575,Medical Imaging 2018:Computer-Aided Diagnosis,105751A(27 February 2018)、Kasher,M.S.,「Otitis Media Analysis:An Automated Feature Extraction and Image Classification System」Helsink Metropolia University of Applied Sciences,Bachelor of Engineering,Degree Programme in Electronics,Bachelor’s Thesis(25.04.2018)、およびTran,T. et al.,「Development of an Automatic Diagnostic Algorithm for Pediatric Otitis Media」Otology & neurotology:official publication of the American Otological Society,American Neurotology Society [and] European Academy of Otology and Neurotology 39.8:1060-1065.(Sep 2018)。
【先行技術文献】
【特許文献】
【0008】
【発明の概要】
【課題を解決するための手段】
【0009】
本開示は、中耳炎(すなわち、耳感染)を診断および特性評価するために鼓膜の可動性および位置を測定するためのシステムおよび方法に関する。機械学習が、鼓膜の可動性および/または位置に関する予測モデルを発生させるために、鼓膜の光学および/または超音波および/または圧力のデータセットから成る訓練データの組と共に使用され得る。
【0010】
本開示の側面は、鼓膜を分類する方法を提供する。方法は、取り調べシステムから、鼓膜に関連する1つ以上のデータセットを受信することと、1つ以上のデータセットからパラメータの組を決定することであって、パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性または静的位置に関連している、ことと、パラメータの組から導出された分類器モデルに基づいて、鼓膜の分類を出力することであって、分類は、鼓膜の状態、条件、または可動性メトリックのうちの1つ以上を備えている、こととを含み得る。
【0011】
いくつかの実施形態において、取り調べシステムは、撮像システムを備え、1つ以上のデータセットは、鼓膜の1つ以上の画像を備えている。いくつかの実施形態において、分類器モデルは、機械学習アルゴリズムを備えている。いくつかの実施形態において、機械学習アルゴリズムは、線形回帰、ロジスティック回帰、分類および回帰木アルゴリズム、サポートベクターマシン(SVM)、ナイーブベイズ、K近傍法、ランダムフォレストアルゴリズム、XGBoostおよびLightGBM等のブースティングアルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワークのうちの1つ以上を備えている。いくつかの実施形態において、機械学習アルゴリズムは、教師付き学習アルゴリズム、教師なし学習アルゴリズム、または半教師付き学習アルゴリズムである。
【0012】
いくつかの実施形態において、鼓膜の1つ以上の画像は、1つ以上の超音波画像を備えている。いくつかの実施形態において、1つ以上の超音波画像は、空気圧超音波鼓膜鏡からの画像を備えている。いくつかの実施形態において、1つ以上の超音波画像は、空気圧励起に応答して測定される。いくつかの実施形態において、鼓膜の1つ以上の画像は、1つ以上の光コヒーレンストモグラフィ画像を備えている。いくつかの実施形態において、画像は、光学画像を備えている。
【0013】
いくつかの実施形態において、膜の動的特性または静的位置に関連する少なくとも1つのパラメータは、空気圧励起に応答する。いくつかの実施形態において、空気圧励起は、ガスの吹き付けを備えている。いくつかの実施形態において、空気圧励起は、10Hzより大きい周波数を有する。いくつかの実施形態において、鼓膜の動的特性は、膜移動または膜可動性の指示、鼓膜の最小または最大変位、外れ値変位、最小変位と最大変位との間の差異または比率、変位の傾きまたは空気圧励起の圧力に対する最小変位と最大変位との間の差異または比率の傾き、加えられた圧力に対する測定された圧力の応答、空気圧励起に応答する鼓膜の視覚的移動、特異値分解、主成分分析、およびK平均クラスタリングから発生させられた1つ以上の統計成分、および超音波パルスエコー振幅または超音波エコー位相またはその微分またはその移動平均のうちの1つ以上を備えている。いくつかの実施形態において、鼓膜の動的特性は、空気圧励起の圧力に対して正規化される。
【0014】
いくつかの実施形態において、方法は、鼓膜の可動性の順位読み出し、カテゴリ読み出し、または連続した数値出力のうちの1つ以上を発生させることをさらに含む。いくつかの実施形態において、順位読み出しは、膜可動性の程度に関連した数値スケールを備えている。いくつかの実施形態において、数値スケールは、0~4+の分類を備えている。いくつかの実施形態において、カテゴリ読み出しは、高可動、中可動、半可動、または非可動のうちの少なくとも1つとしての膜可動性の程度の指示を備えている。いくつかの実施形態において、カテゴリ読み出しは、バイナリ分類を備えている。いくつかの実施形態において、連続した数値出力は、測定膜変位、膜移動の速度、または膜回復の速度のうちの1つ以上を備えている。
【0015】
いくつかの実施形態において、鼓膜の状態または条件は、急性中耳炎、滲出液を伴う急性中耳炎、中耳滲出液、慢性中耳炎、慢性化膿性中耳炎、細菌感染、ウイルス感染、滲出液なし、および未知の分類のうちの1つ以上を備えている。
【0016】
いくつかの実施形態において、1つ以上のデータセットは、mモード超音波データセットを備えている。いくつかの実施形態において、1つ以上のデータセットは、赤外線画像を備えている。いくつかの実施形態において、1つ以上のデータセットは、空気圧データセットを備えている。いくつかの実施形態において、1つ以上のデータセットは、空気圧励起に応答して撮影された1つ以上の光学画像を備えている。いくつかの実施形態において、静的位置は、膨張した膜または後退した膜を備えている。
【0017】
別の側面では、本開示は、鼓膜を分類するためのシステムを提供する。システムは、メモリを備えているコンピューティングシステムを備え、メモリは、鼓膜を分類するための命令を備え得、コンピューティングシステムは、少なくとも、取り調べシステムから、鼓膜に関連する1つ以上のデータセットを受信することと、1つ以上のデータセットからパラメータの組を決定することであって、パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性または静的位置に関連している、ことと、パラメータの組から導出された分類器モデルに基づいて、鼓膜の分類を出力することであって、分類は、鼓膜の状態、条件、または可動性メトリックを備えている、こととを行うために、命令を実行するように構成される。
【0018】
いくつかの実施形態において、取り調べシステムは、撮像システムを備え、1つ以上のデータセットは、鼓膜の1つ以上の画像を備えている。いくつかの実施形態において、システムは、空気圧超音波鼓膜鏡をさらに備えている。
【0019】
いくつかの実施形態において、分類器モデルは、機械学習アルゴリズムを備えている。いくつかの実施形態において、機械学習アルゴリズムは、線形回帰、ロジスティック回帰、分類および回帰木アルゴリズム、サポートベクターマシン(SVM)、ナイーブベイズ、K近傍法、ランダムフォレストアルゴリズム、XGBoostおよびLightGBM等のブースティングアルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワークのうちの1つ以上を備えている。いくつかの実施形態において、機械学習アルゴリズムは、教師付き学習アルゴリズム、教師なし学習アルゴリズム、または半教師付き学習アルゴリズムである。
【0020】
いくつかの実施形態において、鼓膜の1つ以上の画像は、1つ以上の超音波画像を備えている。いくつかの実施形態において、1つ以上の超音波画像は、空気圧超音波鼓膜鏡からの画像を備えている。いくつかの実施形態において、1つ以上の超音波画像は、空気圧励起に応答して測定される。いくつかの実施形態において、鼓膜の1つ以上の画像は、1つ以上の光コヒーレンストモグラフィ画像を備えている。いくつかの実施形態において、画像は、光学画像を備えている。
【0021】
いくつかの実施形態において、膜の動的特性または静的位置に関連する少なくとも1つのパラメータは、空気圧励起に応答したものである。いくつかの実施形態において、空気圧励起は、ガスの吹き付けを備えている。いくつかの実施形態において、空気圧励起は、10Hzより大きい周波数を備えている。いくつかの実施形態において、鼓膜の動的特性は、膜移動または膜可動性の指示、鼓膜の最小または最大変位、外れ値変位、最小変位と最大変位との間の差異または比率、変位の傾きまたは空気圧励起の圧力に対する最小変位と最大変位との間の差異または比率の傾き、加えられた圧力に対する測定された圧力の応答、空気圧励起に応答する鼓膜の視覚的移動、特異値分解、主成分分析、およびK平均クラスタリングから発生させられた1つ以上の統計成分、および超音波パルスエコー振幅または超音波エコー位相またはその微分またはその移動平均のうちの1つ以上を備えている。いくつかの実施形態において、鼓膜の動的特性は、空気圧励起の圧力に対して正規化される。
【0022】
いくつかの実施形態において、コンピューティングシステムは、鼓膜の可動性の順位読み出し、カテゴリ読み出し、または連続した数値出力のうちの1つ以上を発生させるために、命令を実行するようにさらに構成される。いくつかの実施形態において、順位読み出しは、膜可動性の程度に関連した数値スケールを備えている。いくつかの実施形態において、数値スケールは、0~4+の分類を備えている。いくつかの実施形態において、カテゴリ読み出しは、高可動、中可動、半可動、または非可動のうちの少なくとも1つとしての膜可動性の程度の指示を備えている。いくつかの実施形態において、カテゴリ読み出しは、バイナリ分類を備えている。いくつかの実施形態において、連続した数値出力は、測定膜変位、膜移動の速度、または膜回復の速度のうちの1つ以上を備えている。
【0023】
いくつかの実施形態において、鼓膜の状態または条件は、急性中耳炎、滲出液を伴う急性中耳炎、中耳滲出液、慢性中耳炎、慢性化膿性中耳炎、細菌感染、ウイルス感染、滲出液なし、および未知の分類のうちの1つ以上を備えている。
【0024】
いくつかの実施形態において、1つ以上のデータセットは、mモード超音波データセットを備えている。いくつかの実施形態において、1つ以上のデータセットは、赤外線画像を備えている。いくつかの実施形態において、1つ以上のデータセットは、空気圧データセットを備えている。いくつかの実施形態において、1つ以上のデータセットは、空気圧励起に応答して撮影された1つ以上の光学画像を備えている。いくつかの実施形態において、静的位置は、膨張した膜または後退した膜を備えている。
【0025】
別の側面では、本開示は、コンピューティングシステムによって実行されると、膜を分類する方法を実装する機械実行可能コードを備えている非一過性コンピュータ読み取り可能な媒体を提供し、方法は、取り調べシステムから、鼓膜に関連する1つ以上のデータセットを受信することと、1つ以上のデータセットからパラメータの組を決定することであって、パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性または静的位置に関連している、ことと、パラメータの組から導出された分類器モデルに基づいて、鼓膜の分類を出力することであって、分類は、鼓膜の状態、条件、または可動性メトリックを備えている、こととを含む。
【0026】
いくつかの実施形態において、取り調べシステムは、撮像システムを備え、1つ以上のデータセットは、鼓膜の1つ以上の画像を備えている。いくつかの実施形態において、方法はさらに、本明細書に開示される任意の側面または実施形態の方法を含む。
【0027】
別の側面では、コンピュータ実装分類器を訓練する方法が、提供される。方法は、1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、1つ以上の鼓膜に関連する1つ以上の分類されたデータセットとを受信することであって、分類は、鼓膜の状態、条件、または可動性メトリックを備え、パラメータの組は、1つ以上の鼓膜の動的特性または静的位置に関連する少なくとも1つのパラメータを備えている、ことと、データベース内にパラメータの組および1つ以上の分類されたデータセットを記憶することと、パラメータの組および1つ以上の分類されたデータセットに基づいて、分類器モデルを構築することであって、分類器モデルは、パラメータの組から導出され、分類器モデルは、1つ以上の分類されたデータセットのうちのデータセットに基づいて、分類を出力する、ことと、分類器モデルを使用し、未分類データセットの分類を提供することとを含み得る。
【0028】
いくつかの実施形態において、方法は、第2の1つ以上の分類されたデータセットに基づいて、データベースを更新することと、第2の1つ以上の分類されたデータセットに基づいて、分類器モデルを更新することとをさらに含む。いくつかの実施形態において、方法は、分類器モデルを使用し、任意の側面または実施形態の鼓膜を分類する方法によって未分類データセットの分類を提供することをさらに含む。
【0029】
別の側面では、コンピュータ実装分類器を訓練するためのシステムが、提供される。システムは、メモリを備えている、コンピューティングシステムを備え、メモリは、データセットを訓練するための命令を備え得、コンピューティングシステムは、少なくとも、1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、1つ以上の鼓膜に関連する1つ以上の分類されたデータセットとを受信することであって、分類は、鼓膜の状態、条件、または可動性メトリックを備え、パラメータの組は、1つ以上の鼓膜の動的特性または静的位置に関連する少なくとも1つのパラメータを備えている、ことと、データベース内にパラメータの組および1つ以上の分類されたデータセットを記憶することと、パラメータの組および1つ以上の分類されたデータセットに基づいて、分類器モデルを構築することであって、分類器モデルは、パラメータの組から導出され、分類器モデルは、1つ以上の分類されたデータセットのうちのデータセットに基づいて、分類を出力する、ことと、分類器モデルを使用し、未分類データセットの分類を提供することとを行うために、命令を実行するように構成される。
【0030】
いくつかの実施形態において、システムは、少なくとも、第2の1つ以上の分類されたデータセットに基づいて、データベースを更新し、第2の1つ以上の分類されたデータセットに基づいて、分類器モデルを更新するために、命令を実行するように構成される。いくつかの実施形態において、システムは、任意の側面または実施形態の鼓膜を分類するためのシステムをさらに備えている。
【0031】
別の側面では、本開示は、コンピューティングシステムによって実行されると、コンピュータ実装分類器を訓練する方法を実装する、機械実行可能コードを備えている非一過性コンピュータ読み取り可能な媒体を提供する。方法は、1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、1つ以上の鼓膜に関連する1つ以上の分類されたデータセットとを受信することであって、分類は、鼓膜の状態、条件、または可動性メトリックを備え、パラメータの組は、1つ以上の鼓膜の動的特性または静的位置に関連する少なくとも1つのパラメータを備えている、ことと、データベース内にパラメータの組および1つ以上の分類されたデータセットを記憶することと、パラメータの組および1つ以上の分類されたデータセットに基づいて、分類器モデルを構築することであって、分類器モデルは、パラメータの組から導出され、分類器モデルは、分類を出力する、ことと、分類器モデルを使用し、未分類データセットの分類を提供することとを含み得る。
【0032】
いくつかの実施形態において、方法は、第2の1つ以上の分類されたデータセットに基づいて、データベースを更新することと、第2の1つ以上の分類されたデータセットに基づいて、分類器モデルを更新することとをさらに含む。いくつかの実施形態において、方法は、分類器モデルを使用し、任意の側面または実施形態の鼓膜を分類する方法によって未分類データセットの分類を提供することをさらに含む。
【0033】
(参照による組み込み)
本明細書に言及される全ての刊行物、特許、および特許出願は、各個々の刊行物、特許、または特許出願が具体的かつ個々に参照することによって組み込まれることが示される場合と同程度に、参照することによって本明細書に組み込まれる。参照することによって組み込まれる刊行物および特許または特許出願が本明細書に含まれる開示と矛盾する範囲について、本明細書は、いかなるそのような矛盾する資料にも優先する、および/または先立つことを意図している。
【図面の簡単な説明】
【0034】
本発明の新規の特徴は、添付される請求項に具体的に記載される。本発明の特徴および利点のより深い理解が、本発明の原理が利用される例証的実施形態を記載する以下の発明を実施するための形態および付随の図面(また、本明細書では、「図(Figure)」および「図(FIG.)」)を参照して取得されるであろう。
【0035】
【
図1】
図1は、いくつかの実施形態による、鼓膜を特性評価するための例示的方法のフローチャートである。
【0036】
【
図2】
図2は、いくつかの実施形態による、鼓膜を分類するための例示的システム200を図示する概略図である。
【0037】
【
図3】
図3は、本明細書に開示されるような取り調べシステムの例を図示する概略図である。
【0038】
【
図4】
図4は、本開示の取り調べデバイスによって提供される例示的データセットを図示する。
【0039】
【
図5】
図5および
図5Bは、いくつかの実施形態による、分類を出力するための分類器モデルへの入力を構成し得る圧力、超音波、および光学測定から導出されるパラメータの組の概略図である。
【0040】
【
図6】
図6は、いくつかの実施形態による、機械学習アルゴリズムを備えている分類器モデルの例600を図示する概略図である。
【0041】
【
図7】
図7A、
図7B、および
図7Cは、いくつかの実施形態による、機械学習アルゴリズムによって発生させられ得る例示的決定木を図示する概略図である。
【0042】
【
図8】
図8は、いくつかの実施形態による、コンピュータ実装分類器を訓練する例示的方法のフローチャートである。
【0043】
【
図9】
図9は、コンピュータ実装分類器を訓練するためのシステムの例を図示する概略図である。
【0044】
【
図10】
図10は、いくつかの実施形態による、デジタル処理デバイスと、ユーザに可視であるディスプレイとを備えている鼓膜を分類するための例示的システムを図示する概略図である。
【発明を実施するための形態】
【0045】
本明細書に開示されるような方法、システム、および媒体は、組織の改良された分類(例えば、診断)を提供することによって、組織を分類する既存の方法を改良し得る。例えば、本明細書に提供される方法およびシステムは、鼓膜の分類を改良する分類器を構築するために、機械学習方法を使用し得る。機械学習アプローチは、データセットへの新しい洞察を得るために、大きいデータセットを活用し得る。分類器モデルは、より良好な患者転帰につながり得る鼓膜の特性評価を改良し得る。分類器モデルは、空気圧耳鏡検査を使用する医師の訓練および経験に起因する分散を低減させながら、臨床医により正確な中耳炎管理のための情報(例えば、鼓膜の可動性情報および/または鼓膜の状態または条件)を提供し得る。ある場合、本明細書に提供される方法およびシステムは、訓練および検証されたアルゴリズムから疾患状態を直接提供し得る。
【0046】
本明細書に開示されるような方法、システム、および媒体は、鼓膜の可動性に関連するパラメータを活用することによって、組織を分類する既存の方法を改良し得る。正常な鼓膜は、圧力に応答して移動し得、可動性の不足または低減は、中耳内の流体、穿孔、または鼓膜硬化症等の指示である。可動性測定の追加は、OM診断に関する可視の鼓室特性の予測値が変動し得るので、診断正確度のために重要であり得る。故に、可動性の追加の情報は、鼓室の外観が、中耳病状のいかなる指示も与えないときであっても、滲出液の存在の指示を提供し得る。
【0047】
本明細書に開示されるような方法、システム、および媒体は、例えば、共同所有の米国特許第7,771,356号および米国特許公開第2019/0365292号、第2018/0310917号、および第2017/0014053号(それらの各々は、参照することによってその全体として組み込まれる)に説明されるそれら等の延性膜、表面、および表面下特性を特性評価するためのデバイスおよび方法と組み合わせて使用され得る。本明細書に開示されるような方法、システム、および媒体は、例えば、本発明の譲受人に譲渡された米国特許公開第2019/0200873号および米国特許公開第2017/0360302号(それらの各々は、参照することによってその全体として本明細書に組み込まれる)に開示されるように、光コヒーレンストモグラフィ(OCT)を使用するデバイスおよび方法と組み合わせて使用され得る。
【0048】
本明細書に開示されるような方法、システム、および媒体は、いくつかの生物学的組織を特性評価し、種々の診断情報を提供するために使用され得る。生物学的組織は、患者器官を備え得る。検鏡が、患者組織を特性評価するために、体腔内に配置され得る。患者器官または体腔は、例えば、いくつか例を挙げると、筋肉、腱、靭帯、口、舌、咽頭、食道、胃、腸、肛門、肝臓、胆嚢、膵臓、鼻、喉頭、気管、肺、腎臓、膀胱、尿道、子宮、膣、卵巣、精巣、前立腺、心臓、動脈、静脈、脾臓、腺、脳、脊髄、神経等を備え得る。
【0049】
本明細書に開示されるような方法、システム、および媒体は、鼓膜を分類するために使用され得る。例えば、膜が、急性中耳炎(AOM)、慢性中耳炎、滲出液を伴う中耳炎、および/または慢性化膿性中耳炎等の耳の条件を決定するために分類され得る。耳がAOMを示す分類は、滲出液の存在の検出と、漿液性、粘液性、化膿性、またはこれらの組み合わせのうちの1つとしての滲出液のタイプの特性評価とを含み得る。AOMでは、中耳滲出液(MEE)は、病原体によって誘発され得、MEEは、ウイルス感染の場合、薄いか、または漿液性であり、細菌感染の場合、より厚く、化膿性であり得る。故に、鼓膜に隣接する流体の種々の特性を決定することは、膜を特性評価するために使用され得る情報を提供し得る。
【0050】
ここで、種々の実施形態が、詳細に参照され、それらの例は、付随の図面に図示される。以下の発明を実施するための形態では、多数の具体的詳細が、本開示および説明される実施形態の徹底的な理解を提供するために記載される。しかしながら、本開示の実施形態は、随意に、これらの具体的詳細を伴わずに実践される。他の事例では、周知の方法、手順、構成要素、および回路は、実施形態の側面を不必要に不明瞭にしないように、詳細に説明されていない。図面では、同様の参照番号は、同様または類似するステップまたは構成要素を指定する。
【0051】
本明細書に使用される専門用語は、特定の実施形態を説明することのみを目的とし、請求項の限定であることを意図していない。実施形態の説明および添付される請求項において使用される場合、単数形「a」、「an」、および「the」は、文脈が明確に別様に示さない限り、複数形も同様に含むことを意図している。また、本明細書に使用されるような用語「および/または」が、関連付けられる列挙されるアイテムのうちの1つ以上のもののありとあらゆる可能な組み合わせを指し、包含することを理解されたい。用語「~を備えている(comprises)」および/または「~を備えている(comprising)」が、本明細書において使用されるとき、記載される特徴、整数、ステップ、動作、要素、および/または構成要素の存在を規定し、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはその群の存在または追加を除外しないことをさらに理解されたい。
【0052】
本明細書に使用される場合、用語「~である場合」は、随意に、文脈に応じて、記載される先行条件が当てはまる、「~であるとき」、または「~に応じて」、または「~を決定することに応答して」、または「決定に従って」、または「~を検出することに応答して」を意味するように解釈される。同様に、語句「[記載される先行条件が当てはまること]が決定される場合」、または「[記載される先行条件が当てはまる]場合」、または「[記載される先行条件が当てはまる]とき」は、随意に、文脈に応じて、記載される先行条件が当てはまる、「~を決定することに応じて」、または「~を決定することに応答して」、または「決定に従って」、または「~を検出することに応じて」、または「~を検出することに応答して」を意味するように解釈される。
【0053】
本明細書に使用される場合、かつ別様に規定されない限り、用語「約」または「およそ」は、部分的に、値が測定または決定される方法に依存する、当業者によって決定されるような特定の値に関する許容可能な誤差を意味する。ある実施形態において、用語「約」または「およそ」は、1、2、3、または4標準偏差以内を意味する。ある実施形態において、用語「約」または「およそ」は、所与の値または範囲の30%、25%、20%、15%、10%、9%、8%、7%、6%、5%、4%、3%、2%、1%、0.5%、0.1%、または0.05%以内を意味する。
【0054】
本明細書に使用される場合、用語「~を備えている(comprises)」、「~を備えている(comprising)」、またはその任意の他の変形例は、要素のリストを備えているプロセス、方法、物品、または装置が、それらの要素のみを含まず、明確に列挙されない、またはそのようなプロセス、方法、物品、または装置に固有の他の要素を含み得るように、非排他的な包含を網羅することを意図している。
【0055】
本明細書に使用される場合、用語「対象」および「患者」は、同義的に使用される。本明細書に使用される場合、用語「対象」および「複数の対象」は、動物(例えば、鳥類、爬虫類、および哺乳類)を指し、哺乳類は、霊長類(例えば、サル、チンパンジー、およびヒト)および非霊長類(例えば、ラクダ、ロバ、シマウマ、ウシ、ブタ、ウマ、ネコ、イヌ、ラット、およびマウス)を含む。ある実施形態において、哺乳類は、生後0~6ヶ月、生後6~12ヶ月、1~5歳、5~10歳、10~15歳、15~20歳、20~25歳、25~30歳、30~35歳、35~40歳、40~45歳、45~50歳、50~55歳、55~60歳、60~65歳、65~70歳、70~75歳、75~80歳、80~85歳、85~90歳、90~95歳、または95~100歳である。
【0056】
図1は、いくつかの実施形態による、鼓膜を分類するための例示的方法100のフローチャートである。動作110において、方法100は、取り調べシステムから、鼓膜に関連する1つ以上のデータセットを受信することを含み得る。動作120において、方法100は、1つ以上のデータセットからパラメータの組を決定することを含み得る。パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性に関連し得る。動作130において、方法100は、パラメータの組から導出された分類器モデルに基づいて、鼓膜の分類を出力することを含み得る。分類は、鼓膜の状態、条件、または可動性メトリックのうちの1つ以上を備え得る。
【0057】
上記の動作は、いくつかの実施形態による、鼓膜を分類する方法100を示すが、当業者は、本明細書に説明される教示に基づく多くの変形例を認識するであろう。ステップは、任意の順序で完了され得る。ステップは、追加または削除され得る。ステップのうちのいくつかは、サブステップを含み得る。ステップのうちの多くは、製造方法に有益であれば何度も繰り返され得る。
【0058】
方法100の1つ以上のステップは、本明細書に説明されるような回路、例えば、デジタル処理デバイスまたはプロセッサまたはフィールドプログラマブルゲートアレイのためのプログラマブルアレイ論理等の論理回路のうちの1つ以上を用いて実施され得る。回路は、方法100の1つ以上のステップを提供するようにプログラムされ得、プログラムは、例えば、コンピュータ読み取り可能なメモリ上に記憶されたプログラム命令またはプログラマブルアレイ論理またはフィールドプログラマブルゲートアレイ等の論理回路のプログラムされたステップを備え得る。方法100の1つ以上のステップを実施するように動作可能なデジタル処理デバイスの実施形態、変形例、および例が、本明細書の別の場所に、例えば、節「デジタル処理デバイス」およびそれにおいて説明される
図10に関して説明される。
【0059】
図2は、いくつかの実施形態による、鼓膜を分類するための例示的システム200を図示する概略図である。システム200は、取り調べシステムから受信された1つ以上のデータセット210を備え得る。1つ以上のデータセット210は、システム200のメモリ内に記憶され得る。システム200は、1つ以上のデータセット210に基づいて鼓膜を分類し、分類230を出力するように動作可能である分類器モデル220を備え得る。分類230は、鼓膜の状態、条件、または可動性メトリックのうちの1つ以上を備え得る。分類器モデルの出力(例えば、分類)が、発生させられ得る。分類は、TM可動性についての情報を備え得、それは、OM感染の医師の診断または患者の疾患状態の直接診断において医師を支援することができる。
【0060】
例えば、鼓膜を分類するためのシステムが、本明細書に開示される。システムは、メモリを備えているコンピューティングシステムを備え、メモリは、鼓膜を分類するための命令を備え得、コンピューティングシステムは、少なくとも、取り調べシステムから、鼓膜に関連する1つ以上のデータセットを受信することと、1つ以上のデータセットからパラメータの組を決定することであって、パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性に関連している、ことと、パラメータの組から導出された分類器モデルに基づいて、鼓膜の分類を出力することとを行うための命令を実行するように構成され、分類は、鼓膜の状態、条件、または可動性メトリックを備えている。鼓膜を分類するためのシステムのコンピューティングデバイスの実施形態、変形例、および例が、本明細書の別の場所に、例えば、節「デジタル処理デバイス」およびそれにおいて説明される
図10に関して説明される。
【0061】
(取り調べシステム)
図3は、本明細書に開示されるような取り調べシステム300の例を図示する概略図である。本明細書に開示されるような取り調べシステム300は、本明細書に開示されるように、対象320の生体膜(例えば、鼓膜)に関連する1つ以上のデータセット210を収集し得る。鼓膜に関連する1つ以上のデータセットは、特性評価されるべき生体膜(例えば、鼓膜)の物理的特性に関連するデータを備え得る。いくつかの例では、取り調べシステムは、撮像システムを備え得る。いくつかの例では、取り調べシステムは、撮像システムを備えていない。取り調べシステムは、超音波データ、例えば、反射超音波データを収集し得る。取り調べシステムは、光コヒーレンストモグラフィデータを収集し得る。取り調べは、赤外線データを収集し得る。取り調べシステムは、光学データを収集し得る。取り調べシステムは、空気圧励起に応答して、データを収集し得る。取り調べシステムは、例えば、空気圧励起に応答して、膜移動に関連するデータセットを収集し得る。空気圧励起は、空気の吹き付け等の圧力励起を備え得る。取り調べシステムは、加えられた圧力の関数として外耳道内の圧力を測定し得る。ある例では、取り調べシステムは、空気圧励起に続く外耳道内の圧力を測定し得る。
【0062】
本明細書に開示されるような取り調べシステムの任意の例または例の組み合わせが、それらから、本明細書に開示されるような分類器モデル内に含むべきパラメータを発生させるためのデータセットを提供するために、独立して、または組み合わせて使用され得る。例えば、本明細書に開示されるような取り調べシステムの任意の例または例の組み合わせが、分類出力を提供するための機械学習アルゴリズムへの入力として、独立して、または組み合わせて使用され得る。
【0063】
本明細書に開示されるような取り調べシステムは、本明細書に開示される分類システムから遠隔であり得る。取り調べシステムは、1つ以上のデータセット(例えば、データ)を収集し得、1つ以上のデータセットは、本明細書に開示されるような分類システムに送信され得る。ある場合、1つ以上のデータセットは、遠隔サーバから受信され得る。しかしながら、ある場合、取り調べシステムは、本明細書に開示されるような分類システムにローカルであり得る。例えば、分類システムは、超音波鼓膜鏡内の論理上等、分類システムのプロセッサ上のオンボード論理の一部であり得る。
【0064】
ある場合、取り調べシステムは、撮像システムを備えていない。例えば、取り調べシステムは、超音波システムを備え得る。超音波システムは、超音波データセット、例えば、ドップラ超音波データを収集し得る。ある場合、取り調べシステムは、周波数依存データ、例えば、周波数依存光コヒーレンストモグラフィデータ、吸収スペクトル、深度依存超音波トモグラフィデータ等を収集する。超音波データは、空気圧超音波鼓膜鏡からのデータを備え得る。
【0065】
取り調べシステムは、超音波データを備え得る。超音波データは、振幅モード(aモード)超音波データを備え得る。超音波データは、2次元(bモード)超音波データを備え得る。超音波データは、mモード(運動モード)超音波データを備え得る。超音波データは、ドップラ超音波データを備え得る。超音波データは、固定されたゲート深度における超音波mモード位相対時間を備え得る。超音波データは、固定されたゲート深度におけるmモード振幅対時間を備え得る。
【0066】
いくつかの例では、取り調べシステムは、撮像システムを備えている。撮像システムは、鼓膜の1つ以上の画像を備えている1つ以上のデータセットを収集し得る。ある例では、画像は、カメラから等の光学画像を備え得る。ある例では、画像は、超音波画像を備え得る。画像は、光コヒーレンストモグラフィ画像を備え得る。撮像システムは、磁気共鳴撮像(MRI)またはコンピュータトモグラフィ(CT)または陽電子放出トモグラフィ(PET)または撮像モダリティの組み合わせ等、任意の他の撮像モダリティを備え得る。画像モダリティのうちの任意のものが、随意に、空気圧励起と共に使用され得る。例えば、画像が、空気圧励起に応答して収集され得る。いくつかの画像が、空気圧励起の前および後に収集され得る。1つ以上の画像は、超音波画像を備え得る。1つ以上の超音波画像は、空気圧超音波鼓膜鏡からの画像を備えている。1つ以上の超音波画像は、空気圧励起に応答して測定され得る。ある例では、取り調べシステムは、CCDカメラを使用して、鼓膜の動的視覚的移動を測定し得る。空気圧励起に応答する光学画像データセットは、光学統合画像強度対時間波形を備え得る。空気圧励起に応答する光学画像データセットは、光強度錐体対時間波形を備え得る。空気圧励起に応答する光学画像データセットは、光位置錐体対時間波形を備え得る。空気圧励起に応答する光学画像データセットは、画像鮮明度指数対時間波形を備え得る。
【0067】
ある例では、本明細書に開示されるような取り調べシステムは、米国特許第7,771,356号および米国特許公開第2019/0365292号、第2018/0310917号、および第2017/0014053号(各々は、参照することによってその全体として本明細書に組み込まれる)に開示される方法およびシステムのある実施形態、変形例、または例を備え得る。組み込まれる参考文献に開示されるような超音波エコー信号を使用して鼓膜の運動に関する情報を取得する方法およびシステムが、鼓膜の動的特性に関連する1つ以上のパラメータを発生させるために使用され得る。超音波エコー信号を測定するためのシステムは、系統的圧力パルスを加え、次いで、超音波からドップラシフト信号を抽出することによって、鼓膜の運動を誘発し、TMの変位を分析すること、および/または耳滲出液の粘度を分類することを行い得る。
【0068】
ある例では、本明細書に開示されるような取り調べシステムは、本発明の譲受人に譲渡された米国特許公開第2019/0200873号および米国特許公開第2017/0360302号(それらの各々は、参照することによってその全体として本明細書に組み込まれる)に開示される方法およびシステムのある実施形態、変形例、または例を備え得る。米国特許公開第2019/0200873号および米国特許公開第2017/0360302号に開示されるような光コヒーレンストモグラフィ(OCT)を使用して膜を特性評価する方法およびシステムが、鼓膜の動的特性に関連する1つ以上のパラメータを発生させるために使用され得る。例えば、鼓膜の動的特性は、加えられた空気圧励起に応答する反射光学信号の位相遅延または時間遅延を備え得る。OCTは、鼓膜に関連する深度依存データを収集するために使用され得る。OCTは、膜または膜に隣接する流体の吸収の波長等の周波数依存データを収集するために使用され得る。
【0069】
取り調べシステムは、空気圧励起に応答して、データを収集し得る。取り調べシステムは、例えば、空気圧励起に応答して、膜移動に関連するデータを収集し得る。空気圧励起は、空気の吹き付け等の圧力励起を備え得る。空気圧励起は、超音波励起に対する膜の応答を変化させ得る。例えば、空気圧励起は、膜に撓ませ得、それは、空気圧励起にさらされていない膜に対する反射超音波の位相を変化させ得る。膜の撓みは、減衰調和運動を備え得る。この運動は、膜の弾性の変化によって影響を受け得る。膜弾性の変化は、例えば、水、細菌成長、または他の異物が膜に隣接している場合、起こり得る。
【0070】
いくつかの例では、空気圧励起は、ある時間間隔中、表面または膜の移動を発生させ得る。この間隔は、超音波送信機によって表面または膜に送達される音響波と一致し得る。空気圧励起は、連続的であり得、空気圧励起は、パルス状などであり得る。表面から反射された超音波は、トランスデューサにおいて受信され得る。トランスデューサは、入射音響波を発生させた同じトランスデューサであり得る。表面または膜の変位は、伝送信号と比較されたとき、受信信号の位相変化に関連し得る。膜の移動は、受信超音波の位相変化に影響を及ぼし得る。変位は、時間に伴って変動し得る。表面または膜に結合される空気圧励起に応答する反射超音波の位相シフトによって測定されるような表面または膜の時間的変位の分析が、表面または膜の機械的特性を決定するために使用され得る。
【0071】
時間的情報の分析が、比較を作成するために、他の膜応答のテンプレートから測定される時間的変位と組み合わせて使用され得る。時間的情報の分析は、表面または膜の応答を特性評価する反射超音波の振幅の遅延に関連付けられた他のメトリックと組み合わせて使用され得る。測定される機械的特性は、延性、弾性、硬度等を含み得る。表面、または代替として、膜の表面の下方の流体の機械的特性の非接触測定値が、決定され得る。
【0072】
いくつかの実施形態において、表面の弾性が、測定され得る。膜からの反射超音波の位相および/または振幅が、弾性メトリックを生成するために分析され得る。弾性測定は、加えられた励起に応答する一連の測定を特性評価し得る。弾性メトリックは、表面の応答から導出され得、いくつかの異なる現象のうちの1つ以上のものの指示を提供し得る。例えば、弾性メトリックは、膜に隣接する表面が、ガス状境界を有するか、流体境界を有するかを示し得る。例えば、膜は、膜が、流体境界を有する場合、あまり移動しないことも、より緩慢に移動することも、および/または、全く移動しないこともある。ある例では、弾性メトリックは、膜の流体境界の後方の流体を特性評価する場合に関して、流体の範囲または特性を示し得る。いくつかの例では、弾性メトリックは、応答のヒステリシスを伴って、または伴わず弾性流体の特性を測定するために使用され得る。ヒステリシス応答を伴う流体では、流体は、変位応答のオフセット、すなわち、「記憶」を示し得、それによって、1つの方向における応答挙動は、特定の変位距離を進行した後にのみ、反対方向における応答挙動に類似する。ヒステリシス応答に関して、システムのヒステリシスに関連付けられた特定の測定された変位後に応答の線形挙動を特性評価することが、必要であり得る。流体弾性メトリックは、表面励起に対する表面または膜の特徴的応答と、反射超音波特性評価とから決定され得る。
【0073】
いくつかの実施形態において、表面の撓みが、推定され得る。例えば、表面の撓みの推定値は、速度、加速度、または経時的な撓みに関連付けられた任意の他のメトリックの測定された推定値から導出され得る。例えば、表面の変位は、トランスデューサから表面までの短縮された経路をもたらし、表面からトランスデューサに戻るような反射信号は、位相シフトを伴って戻るであろう。励起に対する反射超音波の位相シフトは、したがって、撓みの量についての情報を与える。励起によって加えられる力の推定値を用いて、膜の弾性の推定値が、推定されることができる。
【0074】
ある例では、励起は、立ち上がりエッジ、立ち下がりエッジ、またはインパルス励起を伴うステップ応答またはインパルス応答である。インパルス励起は、膜の振動する撓みを始めさせる。反射超音波は、励起の時点から膜の振動の減衰期間を通して測定されることができる。いくつかの実施形態において、位置、弾性、または粘度の推定が、リングダウン特性の試験によって実施され得る。例えば、リングダウン特性は、指数関数的衰退時間、またはリングサイクル間隔、またはリングサイクル周波数のうちの少なくとも1つを備え得る。下式等のリングダウン特性への応答の分解等:
【数1】
式中、
Φ(t)は、一連の測定に関する捕捉された位相であり、
τは、指数関数的衰退係数であり、
fは、リングサイクル周波数であり、
tは、時間である。
【0075】
振動子の減衰定数は、膜から周辺環境に失われるエネルギーに関連し得る。ある例では、膜が、流体に隣接している場合、流体は、膜の振動を減衰させ得る。流体の粘度は、振動子の減衰に関連し得る。リングサイクル周波数は、弾性膜の復元定数に関連し得る。復元定数は、膜の弾性に関連し得る。復元定数は、膜に隣接する流体の粘度に関連し得る。リングサイクル周波数は、膜に隣接する流体の粘度が低いほど、高くなり得る。
【0076】
各励起事象は、膜の新しい撓みを始めさせ得る。例えば、インパルス励起は、限定された期間にわたって膜を引き入れ、または膜を押し出し得る。例えば、方形波励起は、より長い時間にわたって膜を引き入れ、または膜を押し出し得る。例えば、正弦波または他のより複雑な励起が、加えられ得、トランスデューサにおいて観察されるリングダウンは、励起場と応答場との相互相関であり得る。空気圧励起は、100kHzを下回る、1kHzを下回る、100Hzを下回る、10Hzを下回る、1Hzを下回る、またはそれを下回る、または任意の2つの先述の値によって与えられる範囲内の周波数において加えられ得る。空気圧励起は、1Hzを上回る、10Hzを上回る、100Hzを上回る、1kHzを上回る、100kHzを上回る、またはそれを上回る、または任意の2つの先述の値によって与えられる範囲内の周波数において加えられ得る。空気圧励起は、10Hz~100Hzの範囲内で加えられ得る。
【0077】
図4は、本開示の取り調べデバイスによって提供される例示的データセットを図示する。パートAにおいて、
図4は、mモード超音波信号の強度スケールを示す。パートAは、圧力パルスが加えられている時間経過中、超音波測定を使用して、規定された時間範囲にわたって移動する鼓膜の位置を特性評価する。パートAの水平時間スケールは、パートB、C、およびDにおけるものと同じスケールである(パートDは、パートBおよびCと比較して、その時間範囲において省略されている)。パートBにおいて、
図4は、パートAからのヒートマップの水平スライスのプロットを示す(破線によって示される)。パートAは、全ての深度における信号振幅を示す一方、パートBは、経時的な信号位相変化に基づく膜位置変化を示す。パートBは、測定された時間に対する鼓膜位置を示す。パートCにおいて、
図4は、パートBにおける同じ時間範囲にわたって加えられる圧力パルスを示す。パートDにおいて、
図4は、パートCにおける時間スケールの第1の半分に及ぶ圧力パルス中の外耳道内の圧力の測定値を示す。パートCの時間スケールの第2の半分中の外耳道内の圧力の測定値は、パートDにおける第2の曲線としてプロットされ、第1の半分からのデータに重複するように時間において平行移動させられている。パートDにおけるこれらの感知された圧力プロファイルは、値が非常に近く、互いに区別することが困難であり、圧力刺激が繰り返されるときの鼓膜の非常に類似する運動を示す。パートEにおいて、
図4は、CCDカメラによって記録された例示的光学画像を示し、白色エリアの動的移動、すなわち、圧力パルス中の光の錐体(矢印を伴う黒色枠によって強調される)は、TMの可動性を示す。
【0078】
まとめると、
図4は、圧力パルスが加えられると(C)、発生させられ、変換された超音波信号が、鼓膜位置についての詳細な情報(AおよびB)と、画像(D)および(E)からの固有の圧力および光学応答とを提供することを示す。これらの測定値内に含まれる情報は、分類を出力するための機械学習モデル等の分類器モデルを訓練するためのパラメータの組を発生させるために使用され得る。
【0079】
(モデルパラメータ)
パラメータの組が、1つ以上のデータセットから導出され得る。パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性に関連し得る。パラメータの組は、鼓膜の静的特徴に関連するパラメータ(例えば、膜運動に関連しないパラメータ)も含み得る。パラメータの組は、膜運動に関連するパラメータと、膜運動に関連しないパラメータとを含み得る。パラメータの組は、静的パラメータと、動的パラメータとを含み得る。パラメータの組は、1つ以上の超音波特徴、1つ以上の圧力特徴、および/または1つ以上の光学特徴を含み得る。パラメータの組またはパラメータの組の一部は、訓練された機械学習アルゴリズム等の分類器モデルへの入力として使用され得る。分類器モデルは、分類を出力し得る。分類は、可動性出力を含み得る。分類は、疾患状態を含み得る。
【0080】
パラメータの組のうちの少なくとも1つのパラメータは、鼓膜の動的特性に関連し得る。鼓膜の動的特性は、時間に伴って変化し得る。例えば、鼓膜の動的特性は、空気圧励起、例えば、空気の吹き付けまたはガスの吹き付けに応答して、時間に伴って変化し得る。動的特性に関連する潜在的パラメータの非包括的リストは、以下の通りである:膜移動または膜可動性の指示、鼓膜の最小または最大変位、外れ値変位、最小変位と最大変位との間の差異または比率、変位の傾きまたは空気圧励起の圧力に対する最小変位と最大変位との間の差異または比率の傾き、加えられた圧力に対する測定された圧力の応答、空気圧励起に応答する鼓膜の視覚的移動、特異値分解、主成分分析、およびK平均クラスタリングから発生させられた1つ以上の統計成分、および超音波パルスエコー振幅または超音波エコー位相またはその微分またはその移動平均。動的パラメータは、上でリストアップされたパラメータの正規化または平均等、動的励起に応答する鼓膜の正規化または平均化された動的特性から導出され得る。
【0081】
表1は、鼓膜の動的特性に関連するパラメータの例示的リストを示す。加えられた空気圧励起に応答する鼓膜の変位は、
図4の方法によって測定され得る。代替として、空気圧励起に応答する鼓膜の変位は、光コヒーレンストモグラフィによって測定され得る。
【0082】
鼓膜の動的特性に関連するパラメータは、鼓膜の最小または最大変位を備え得る。鼓膜が移動する絶対距離は、患者によって変動し得る。典型的に、より大きい変位は、より高い可動性に関連し得る一方、より小さい変位は、より低い可動性に関連し得る。これらの変位は、種々の分類を示し得る。例えば、低可動性は、膜の後方の粘性流体に関連し得る。
【0083】
鼓膜の動的特性に関連するパラメータは、外れ値変位を備え得る。いくつかの事例では、測定された変位が、超音波デバイスの測定範囲外に移動するほど大きく、または小さくあり得る。この「外れ値」変位は、カテゴリ「はい」/「いいえ」特徴として扱われてもよい。大きい外れ値は、典型的に、高可動性の鼓膜を示し得る。小さい外れ値は、典型的に、高不動性の鼓膜を示し得る。
【0084】
鼓膜の動的特性に関連するパラメータは、最小変位と最大変位との間の差異または比率を備え得る。最小変位と最大変位との間の差異は、鼓膜の静的後退または膨張に関連し得る。静的後退または膨張は、+および-圧力パルス中に膜が進行した距離間の関係の測定によって測定され得る。膨張した膜(取り調べデバイスに向かって)は、正圧サイクル中のより高い可動性および負圧サイクル中のより低い可動性によって示され得る。後退した膜は、正圧サイクル中のより低い可動性および負圧サイクル中のより高い可動性によって示され得る。そのような測定値は、静的膜パラメータ、例えば、膨張した膜または後退した膜を抽出するために使用され得る。
【0085】
鼓膜の動的特性に関連するパラメータは、移動が少なくとも部分的に加えられる圧力刺激に依存するであろうから、測定された圧力パルスの振幅によって変位特徴のうちのいずれかを正規化すること、および変位および測定された圧力を使用する任意の他の線形または非線形変換を含む変位特徴の変動を備え得る。このメトリックは、双方向性であり得、例えば、鼓膜の可動性の特性評価は、正圧刺激下および負圧刺激下のメトリックを把握することで、より完全となり得る。
【0086】
鼓膜の動的特性に関連するパラメータは、変位の傾き、空気圧励起の圧力に対する最小変位と最大変位との間の差異の傾き、または空気圧励起の圧力に対する最小変位と最大変位との間の比率の傾きを備え得る。膜が、圧力パルスによって変位された後、それがその元の位置に戻る速度は、膜可動性を示し得る。速度は、本明細書に説明される変位測定値の微分によって測定され得る。二次またはより高次の微分も、利用され得る。本明細書に説明されるようなリングダウン特徴の減衰係数も、膜の復元力に関連し得る。
【0087】
鼓膜の動的特性に関連するパラメータは、測定された圧力対加えられる圧力の応答を備え得る。加えられた圧力を下回る測定された圧力は、膜可動性を示し得る。それは、計器シールの破損も示し得、それは、手技における誤差が識別されることを可能にするであろう。鼓膜の動的特性に関連するパラメータは、圧力応答の傾きを備え得る。圧力の傾きは、鼓膜の可動性と直接互いに関係し得る。
【0088】
鼓膜移動は、圧力刺激中にCCDカメラを介して視認され得る。これらの視覚的移動および変位(率、大きさ)は、分類器を訓練するための入力パラメータまたは特徴に変換され得る。例えば、ユーザ(例えば、医療専門家)が、膜可動性の観察を示し得る。ユーザは、膜が、定性的に可動または不動であることを示し得る。ユーザは、0~4点スケールで可動性を示し得る。例えば、圧力が、外耳道内に加えられた後、正常な鼓膜は、活発に移動し、4+として分類され得る一方、部分的または完全に損なわれた鼓膜は、順位スケールで可動性の減少する程度を表すために、3+、2+、1+、または可動性なしとして分類され得る。例えば、医療提供者は、鼓膜の活発さ、例えば、膜が加えられた励起に応答して迅速に元に戻る様子を定性的に示し得る。圧力査定は、空気圧耳鏡検査中に臨床医によって実施され得る。
【0089】
他のパラメータが、超音波信号の異なる前処理に起因して生じ得る他のタイプの超音波信号から導出され得、それらは、限定ではないが、以下を含む:異なる周波数におけるバンドパスフィルタ、パルスおよび測定の異なる一続き、(I,Q)ドップラ信号の変換、およびデータ処理ステップ。種々の非限定的例は、以下を含む:バンドパスフィルタが、超音波信号捕捉の「高速時間ドメイン」内で適用され、超音波トランスデューサの通過帯域外にある雑音アーチファクトを除去し、それによって、信号対雑音比を改良し得ること;鼓膜の深度における(I,Q)ドップラ信号の位相が、膜変位対時間のパラメータを導出するために積分され得ること;変位対時間のパラメータが、外耳道刺激圧力の変化中の応答を明らかにするために解析され、圧力刺激変化の開始および終了時の傾き(活発さまたは不活発さ)および位置に関して評価され得る(位置の合計変化を知らせる)こと;ヒルバート変換が、鼓膜からの超音波反射の振幅を査定するために使用され得、鼓膜の可動性のさらなる指示として圧力刺激下の光錐配向の変化を検出するために刺激圧力変化の時点で評価され得ること;膜運動方向性が、先験的理解の必要条件として評価され得ること、例えば、外耳道内の圧力の減少の下、鼓膜が超音波トランスデューサに向かって移動し得、外耳道内の圧力の増加の下、逆もまた同様であること;鼓膜からの反射の信号対雑音比が、有効であるかどうかとして結果として生じる可動性測定を適格とするために評価され得ること;および、鼓膜信号よりも広い深度範囲を網羅する複数の隣接するゲートが、識別され得、これがトランスデューサの正面に位置付けられるタイムフレームの間に鼓膜信号を最良に追跡し、適格とされる鼓膜信号を有するゲート深度のうちの最良のものから可動性を評価するように並行して監視され得ること。
【0090】
鼓膜の動的特性に関連するパラメータは、ドップラ超音波データから導出され得る。例えば、時間の関数としての鼓膜のドップラ信号は、超音波エコー振幅と、超音波エコー位相とを含み得る。これらのパラメータは、特定のパルス-エコーゲート深度に依存し得る。超音波エコー振幅に関連するパラメータは、鼓膜音響断面および鼓膜表面法線の方向に関連するデータを備え得る。超音波エコー位相に関連するパラメータは、超音波エコー位相の時間微分を備え得る。超音波エコー位相は、膜速度に比例し得る。
【0091】
鼓膜の動的特性に関連するパラメータは、上記のデータセットのうちのいずれかに対する主成分分析、K平均、または類似するクラスタアルゴリズムから導出される特徴を備え得る。例えば、特徴の共線性を低減させるために、またはそれらのそれぞれの特徴に基づいてサンプルの類似する群をクラスタリングするために、静的データの任意の線形または非線形変換(例えば、主成分分析、K平均クラスタリング)が、1つ以上のパラメータを抽出するために使用され得る。PCAおよびK平均は、パラメータを作成するために、種々のデータセットに対して使用され得る。PCAおよびK平均は、特徴間の共線性がデータセット内に冗長な情報を作成するときに試行され得る。PCAおよびK平均は、予測における分散を低減させ得るまたは正確度を改良するパラメータを提供し得る。PCAの場合、主成分は、単独で、または非変換特徴と組み合わせて、訓練特徴として使用され得る。任意の数の主成分が、選定され得る(例えば、95%等の被説明分散が満たされるまで、上位2~3またはN個の数の成分のみ)。K平均クラスタリングに関して、「クラスタ」等の特徴が、導出され得、各サンプルが分類されるクラスタ群から成るカテゴリ訓練特徴が、訓練モデルにおけるパラメータとして使用され得る。
【0092】
異なるウィンドウ長にわたる移動平均および指数移動平均を含む時間に対する追加の特徴を発生させる。
【表1】
【0093】
パラメータの組は、膜の静的特性に関連するパラメータを含み得る。例えば、光学測定値を生成する取り調べシステムは、視覚的特徴に基づくパラメータの抽出を可能にし得る。中耳炎の視覚的インジケータは、色調、透明度、および/または膨らみを含み得る。他の静的パラメータは、色、不透明度、半透明度、および位置を含み得る。光学測定値からの視覚的特徴は、ユーザによって示され得、パラメータ、例えば、可視の膨らみまたは不可視の膨らみによって表され得る。
【0094】
別の例では、鼓膜の静的位置特性に関連するパラメータは、光コヒーレンストモグラフィ方法から導出され得る。例えば、パラメータは、鼓膜の深度特性に関連し得る。例えば、耳が、低粘度の感染性滲出液を含み、鼓膜光コヒーレンストモグラフィ信号の初期ピークが、反射信号の光学減衰から低下した振幅を伴う拡張反射の軸状領域を発生させ得る。例えば、耳が、細菌感染を含み、細菌膜が、鼓膜の反対表面上に存在し得、それは、反射のより大きい軸状範囲を生成し、高い散乱係数および減衰の対応する増加が続き得る。例えば、パラメータは、鼓膜の吸収特徴の波長に関連し得る。鼓膜が、細菌性滲出液、ウイルス性滲出液、または滲出液なしに対応する波長において吸収することが見出される場合、吸収の波長または吸収特徴の同一性が、パラメータの組のパラメータを構成し得る。
【0095】
(分類)
本開示の方法およびシステムは、鼓膜の分類(例えば、出力)を出力し得る。分類は、本明細書に開示されるような分類器モデルに基づき得、その分類器は、機械学習アルゴリズムであり得る。パラメータの組またはパラメータの組の一部が、訓練された機械学習アルゴリズム等の分類器モデルへの入力として使用され得る。分類器モデルは、分類を出力し得る。分類は、可動性出力を含み得る。分類は、疾患状態を含み得る。分類は、鼓膜の状態、条件、または可動性メトリックのうちの1つ以上を備え得る。分類器モデルの出力が、発生させられ得る。出力は、TM可動性についての情報を備え得、それは、中耳炎感染の医師の診断または患者の疾患状態の直接診断において、医師を支援することができる。
【0096】
図5Aおよび
図5Bは、いくつかの実施形態による、分類を出力するための分類器モデル520への入力510を構成し得る圧力、超音波、および光学測定から導出されるパラメータの組の概略図である。
図5Aに示されるように、反射超音波の振幅、圧力励起後の超音波応答の傾き、測定された圧力対加えられた圧力、圧力応答の傾き、および光学活発さが、分類器への入力を構成し得る。分類器は、可動性メトリック530を出力し得る。
図5Aに示されるように、可動性メトリック530は、可動または非可動等のバイナリ分類を備え得る。
図5Bに示されるように、反射超音波の振幅、圧力励起後の超音波応答の傾き、測定された圧力対加えられた圧力、圧力応答の傾き、および光学活発さが、分類器への入力を構成し得る。分類器は、示されるように、急性中耳炎、滲出液を伴う中耳炎、および滲出液なし等の状態または条件531を出力し得る。
【0097】
ある場合、分類は、鼓膜の可動性メトリックを備え得る。可動性メトリックは、バイナリ分類、順位出力、カテゴリ順位出力、または連続的数値のうちの1つ以上を備え得る。分類は、種々の形態の鼓膜情報を含み得、その情報は、医療提供者(例えば、医師)に提供され得る。分類は、超音波、圧力、および光学測定特徴のうちの1つ以上に基づき得る。
【0098】
いくつかの例では、分類は、カテゴリ読み出しを備えている。カテゴリ読み出しは、高可動、中可動、半可動、または非可動のうちの少なくとも1つとしての膜可動性の程度の指示を備え得る。例えば、カテゴリ分類は、高可動、中可動、半可動、または非可動を備え得る。いくつかの例では、カテゴリ読み出しは、バイナリ分類を備えている。バイナリ分類は、可動性または非可動性を備え得る。バイナリ分類は、正常な可動性または異常な可動性を備え得る。ある例では、単純な分類が、バイナリ分類器であり得、「可動」または「非可動」のいずれかの最大確率に基づくバイナリ選定が、医師に表示される。
【0099】
いくつかの例では、分類は、カテゴリ順位分類を備えている。カテゴリ順位分類は、本明細書の上記に説明されるような0~4+スケールを備え得る。別の例では、カテゴリ順位出力は、0~10点スケールを備え得、例えば、10.0は、高可動であり、5.0は、若干可動であり、0は、非可動である(または逆である)。ユーザは、膜が、定性的に可動または不動であることを示し得る。ユーザは、0~4点スケールで可動性を示し得る。例えば、圧力が、外耳道内に加えられた後、正常な鼓膜は、活発に移動し、4+として分類され得る一方、部分的または完全に損なわれた鼓膜は、順位スケールで可動性の減少する程度を表すために、3+、2+、1+、または可動性なしとして分類され得る。圧力査定は、空気圧耳鏡検査中に臨床医によって実施され得る。
【0100】
いくつかの実施形態において、分類は、測定膜変位、膜移動の速度、または膜回復の速度のうちの1つ以上を備えている連続した数値出力を備えている。いくつかの例では、順位読み出しは、膜可動性の程度に関連した数値スケールを備えている。連続的メトリックは、デシメートされた増分を伴う数値スケールを備え得る。連続した数値出力のある例では、連続的変数回帰アルゴリズムが、連続的予測、例えば、特定の状態または条件のパーセント尤度を発生させるために使用され得る。いくつかの例では、状態または条件は、ある値またはスケールに正規化され得る。例えば、連続的メトリックは、最大値が、10であり、最小値が、ゼロであるように正規化され得、10は、高可動膜に関連し、0は、不動膜に関連し、または、逆も同様である。
【0101】
いくつかの例では、マルチクラス分類が、使用され得る。例えば、バイナリ分類(例えば、可動または非可動)が、決定され得、非可動が、最も可能性が高い場合、非可動性の種々の程度が、分類され得る(例えば、4点スケールで0対1+対2+対3+)。別の例では、分類は、各可能なカテゴリの予期される確率を備え得る。予期される確率は、医療提供者に表示される分類として選定される最大確率を備え得る。例えば、確率は、ソフトマックス関数または一対他分類等の方略を使用して計算され得る。
【0102】
分類は、鼓膜の状態または条件をユーザ(例えば、医療提供者)に示し得る。ある場合、分類は、鼓膜の状態または条件を備え得る。鼓膜の状態または条件は、急性中耳炎、滲出液を伴う急性中耳炎、中耳滲出液、細菌感染、ウイルス感染、滲出液なし、および未知の分類のうちの1つ以上を備え得る。耳が急性中耳炎を示す分類は、滲出液の存在の検出、および漿液性、粘液性、化膿性、またはこれらの組み合わせのうちの1つとしての滲出液のタイプの特性評価を含み得る。急性中耳炎では、中耳滲出液は、病原体によって誘発され得、ウイルス感染では、薄いか、または漿液性であり、細菌感染では、より厚く、化膿性であり得る。
【0103】
(分類器モデル)
図6は、いくつかの実施形態による、機械学習アルゴリズムを備えている分類器モデルの例600を図示する概略図である。分類器モデルが、パラメータの組610に基づいて発生させられ得る。パラメータの組610は、超音波特徴および/または圧力特徴および/または光学特徴を含み得る。例えば、パラメータの組は、分類器モデルへの入力を構成し得、分類は、分類器モデルの出力であり得る。分類器モデルは、分類630を出力し得る。分類は、可動性出力を含み得る。分類は、疾患状態を含み得る。
【0104】
分類器モデルは、機械学習アルゴリズム620を備え得る。例えば、機械学習アルゴリズムは、線形回帰、ロジスティック回帰、分類および回帰木アルゴリズム、サポートベクターマシン(SVM)、ナイーブベイズ、K近傍法、ランダムフォレストアルゴリズム、XGBoostおよびLightGBM等のブースティングアルゴリズム、ニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワークのうちの1つ以上を備え得る。機械学習アルゴリズムは、教師付き学習アルゴリズム、教師なし学習アルゴリズム、または半教師付き学習アルゴリズムであり得る。
【0105】
機械学習アルゴリズムは、パラメータの組を使用して予測を行うために使用され得る。機械学習アルゴリズムの1つのクラスである人工ニューラルネットワーク(ANN)が、分類器モデルの一部を構成し得る。例えば、フィードフォワードニューラルネットワーク(畳み込みニューラルネットワークまたはCNN等)およびリカレントニューラルネットワーク(RNN)が、使用され得る。ニューラルネットワークバイナリ分類器は、その基礎となる機械学習モデルによって行われた予測をグラウンドトゥルースと比較することによって訓練され得る。誤差関数が、予測された値とグラウンドトゥルースとの間の不一致を計算し、この誤差は、予測された出力の値に影響を及ぼす重みの組を変更するために、複数のサイクルまたはエポックにわたってニューラルネットワークを通して反復的に逆伝搬される。訓練は、予測された値が、小さい大きさの計算された誤差を取得する等、収束条件を満たすと、終了する。ニューラルネットワークの複数の層が、採用され、ディープニューラルネットワークを作成し得る。ディープニューラルネットワークを使用することは、ニューラルネットワークアルゴリズムの予測力を増加させ得る。ある場合、ニューラルネットワークを使用する機械学習アルゴリズムは、Adam最適化(例えば、適応学習率)、正則化等をさらに含み得る。層の数、層内のノードの数、畳み込みニューラルネットワークにおけるストライド長、パディング、フィルタ等は、ニューラルネットワークにおける調節可能なパラメータであり得る。
【0106】
追加の機械学習アルゴリズムおよび統計モデルが、本明細書に開示されるパラメータから洞察を取得するために使用され得る。使用され得る追加の機械学習方法は、ロジスティック回帰、分類および回帰木アルゴリズム、サポートベクターマシン(SVM)、ナイーブベイズ、K近傍法、およびランダムフォレストアルゴリズムである。これらのアルゴリズムは、データ分類、クラスタリング、密度推定、または次元削減を含む多くの異なるタスクのために使用され得る。機械学習アルゴリズムは、能動学習、教師付き学習、教師なし学習、または半教師付き学習タスクのために使用され得る。本開示では、種々の統計、機械学習、または深層学習アルゴリズムが、パラメータの組に基づいて出力を発生させるために使用され得る。
【0107】
機械学習アルゴリズムは、教師付き学習アプローチを使用し得る。教師付き学習では、アルゴリズムは、訓練データから関数またはモデルを発生させることができる。訓練データは、標識化されることができる。訓練データは、それに関連付けられたメタデータを含み得る。訓練データの各訓練例は、少なくとも入力オブジェクトおよび所望の出力値から成る対であり得る。教師付き学習アルゴリズムは、ユーザが1つ以上の制御パラメータを決定することを要求し得る。これらのパラメータは、訓練データの一部、例えば、検証セットに対する性能を最適化することによって調節されることができる。パラメータ調節および学習後、結果として生じる関数/モデルの性能は、訓練セットとは別個であり得る試験セット上で測定されることができる。回帰方法が、教師付き学習アプローチにおいて使用されることができる。
【0108】
いくつかの実施形態において、教師付き機械学習アルゴリズムは、限定ではないが、ニューラルネットワーク、サポートベクターマシン、最近傍補間器、決定木、ブースティング決定スタンプ、そのようなアルゴリズムのブースティングバージョン、そのようなアルゴリズムの派生バージョン、またはそれらの組み合わせを含むことができる。いくつかの実施形態において、機械学習アルゴリズムは、ベイズモデル、決定グラフ、帰納論理プログラミング、ガウス過程回帰、遺伝的プログラミング、カーネル推定器、最小メッセージ長、多線型部分空間学習、ナイーブベイズ分類器、最大エントロピ分類器、条件付き確率場、最小複雑度マシン、ランダムフォレスト、分類器のアンサンブル、および多基準分類アルゴリズムのうちの1つ以上を含むことができる。
【0109】
機械学習アルゴリズムは、半教師付き学習アプローチを使用し得る。半教師付き学習は、適切な関数または分類器を発生させるために、標識化および非標識化データの両方を組み合わせることができる。
【0110】
いくつかの実施形態において、機械学習アルゴリズムは、教師なし学習アプローチを使用し得る。教師なし学習では、アルゴリズムは、非標識化データから隠された構造(すなわち、指示、観察、または算出されることができない分類または分類)を記述するための関数/モデルを発生させ得る。学習者に与えられる例が標識化されていないので、関連するアルゴリズムによって出力される構造の正確度のいかなる評価も、存在しない。教師なし学習に対するアプローチは、クラスタリング、異常検出、およびニューラルネットワークを含む。
【0111】
機械学習アルゴリズムは、強化学習アプローチを使用し得る。強化学習では、アルゴリズムは、世界の観察を前提として行動する方法のポリシを学習することができる。全てのアクションは、環境内である程度の影響を及ぼし得、環境は、学習アルゴリズムを誘導するフィードバックを提供することができる。
【0112】
前述で議論される機械学習アルゴリズムは、入力特徴と出力標識との間のはるかに複雑な関係を発生させ得るが、関係アルゴリズムのいくつかの単純な例が、
図7の例証的決定木によって示される。
【0113】
図7A、
図7B、および
図7Cは、いくつかの実施形態による、機械学習アルゴリズムによって発生させられ得る例示的決定木を図示する概略図である。いくつかの実施形態において、機械学習アルゴリズムは、パラメータの組に基づいて、決定木を構築する。決定木は、パラメータの組内のパラメータのある閾値を備え得る。閾値は、データセットが分類されるべきである木の枝を決定し得る。決定木は、木の上位ノードにおいて最大の情報利得を備え得る。決定木は、部分的に、所与のデータセットに関する最も情報の多いノード(例えば、パラメータ)を探索することによって構築され得る。
【0114】
いくつかの例では、決定木は、プルーニングされる。プルーニングは、パラメータの組内のパラメータの数を最も関連するパラメータの一部に低減させることを含み得る。パラメータの一部は、規定された感度または特異度、例えば、90%感度または特異度内のデータセットの分類するべきパラメータの最小数であり得る。いくつかの実施形態において、決定木は、J48、C4.5、またはID3を備えている。いくつかの実施形態において、決定木は、ADABoostまたはDecisionStumpを備えている。
【0115】
図7Aに示されるように、第1の例示的木は、単一のパラメータ(例えば、変位の絶対値)を備えている。パラメータが、0.2mmの閾値を上回る場合、膜は、可動として分類される。パラメータが、0.2mmの閾値を下回る場合、膜は、非可動として分類される。
【0116】
図7Bに示されるように、第2の例示的木は、3つのパラメータ(例えば、固定された圧力刺激振幅を伴う変位の絶対値、固定された時間測定ウィンドウ持続時間を伴う変位の絶対値、および外れ値変位)を備えている。モデルの分類は、鼓膜の可動性に関連する。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を上回り、外れ値変位が0.5を上回る場合、膜は、高可動である。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を上回り、外れ値変位が0.5を下回る場合、膜は、半可動である。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を下回り、固定された時間測定ウィンドウ持続時間を伴う変位の絶対値が1.5を上回る場合、膜は、ほぼ不動である。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を下回り、固定された時間ウィンドウ持続時間を伴う変位の絶対値が1.5を下回る場合、膜は、完全に不動である。
【0117】
図7Cに示されるように、第3の例示的木は、3つのパラメータ(例えば、固定された圧力刺激振幅を伴う変位の絶対値、固定された時間測定ウィンドウ持続時間を伴う変位の絶対値、および外れ値変位)を備えている。モデルの分類は、鼓膜の状態または条件に関連する。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を上回り、外れ値変位が0.5を上回る場合、膜は、いかなる滲出液も有していないものとして特性評価される。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を上回り、外れ値変位が0.5を下回る場合、膜は、滲出液を伴う中耳炎を有するものとして特性評価される。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を下回り、固定された時間ウィンドウ持続時間を伴う変位の絶対値が1.5を上回る場合、膜は、滲出液を伴う中耳炎を有するものとして特性評価される。固定された圧力刺激振幅を伴う変位の絶対値が0.1の閾値を下回り、固定された時間ウィンドウ持続時間を伴う変位の絶対値が1.5を下回る場合、膜は、急性中耳炎を有するものとして特性評価される。
【0118】
(コンピュータ実装分類器の訓練)
図8は、いくつかの実施形態による、コンピュータ実装分類器を訓練する例示的方法のフローチャートを示す。動作810において、方法800は、1つ以上の鼓膜に関連する1つ以上のデータセットに基づくパラメータの組と、1つ以上の鼓膜に関連する1つ以上の分類されたデータセットと受信することを含み得る。分類は、鼓膜の状態、条件、または可動性メトリックを備え得、パラメータの組は、1つ以上の鼓膜の動的特性に関連する少なくとも1つのパラメータを備えている。動作820において、方法800は、データベース内にパラメータの組および1つ以上の分類されたデータセットを記憶することを含み得る。動作830において、方法800は、パラメータの組および1つ以上の分類されたデータセットに基づいて、分類器モデルを構築することを含み得る。分類器モデルは、パラメータの組から導出され得、分類器モデルは、1つ以上の分類されたデータセットのうちのデータセットに基づいて、分類を出力する。動作840において、方法800は、分類器モデルを使用し、未分類データセットの分類を提供することを含み得る。
【0119】
ある場合、方法は、第2の1つ以上の分類されたデータセットに基づいて、データベースを更新することをさらに含む。ある場合、方法は、第2の1つ以上の分類されたデータセットに基づいて、分類器モデルを更新することをさらに含む。方法は、分類器モデルを使用し、本明細書に説明される鼓膜を分類する方法によって未分類データセットの分類を提供することをさらに含み得る。分類器は、継続的に更新され得る。例えば、方法は、改良された検出のためにモデルパラメータを継続的に更新するために、オンライン勾配降下または確率的勾配降下方法を使用し得る。ある場合、分類器は、全てのデータセットで更新され得る。分類器は、最近のサンプルで数回に分けて更新され得る。
【0120】
上記の動作は、いくつかの実施形態によるコンピュータ実装分類器を訓練する方法800を示すが、当業者は、本明細書に説明される教示に基づく多くの変形例を認識するであろう。ステップは、任意の順序で完了され得る。ステップは、追加または削除され得る。ステップのうちのいくつかは、サブステップを含み得る。ステップのうちの多くは、製造方法に有益であれば何度も繰り返され得る。
【0121】
方法800の1つ以上のステップは、本明細書に説明されるような回路、例えば、デジタル処理デバイスまたはプロセッサまたはフィールドプログラマブルゲートアレイのためのプログラマブルアレイ論理等の論理回路のうちの1つ以上を用いて実施され得る。回路は、方法800の1つ以上のステップを提供するようにプログラムされ得、プログラムは、例えば、コンピュータ読み取り可能なメモリ上に記憶されたプログラム命令またはプログラマブルアレイ論理またはフィールドプログラマブルゲートアレイ等の論理回路のプログラムされたステップを備え得る。方法800の1つ以上のステップを実施するように動作可能なデジタル処理デバイスの実施形態、変形例、および例が、本明細書の別の場所に、例えば、節「デジタル処理デバイス」およびそれにおいて説明される
図10に関して説明される。
【0122】
図9は、いくつかの実施形態による、コンピュータ実装分類器を訓練するためのシステム900の例を図示する概略図である。
図9のシステムは、
図8に示されるような方法800を実施するように動作可能なシステムの例を備え得る。システム900は、1つ以上の分類されたデータセット(例えば、履歴データ)を備え得る。1つ以上の分類されたデータセットは、1つ以上の鼓膜に関連する1つ以上のデータセットを備え得る。分類されたデータセットは、既知の分類を伴うデータを備え得る。例えば、分類されたデータセットは、生検された鼓膜からのデータセットを備え得る。分類されたデータセットは、鼓膜の動的特性に基づく少なくとも1つのパラメータを含む関連付けられたパラメータの組を有し得る。分類されたデータセットは、関連付けられた分類を有し得る。ある場合、パラメータ(例えば、特徴)の組が、1つ以上の分類されたデータセットから抽出され得る。
【0123】
システム900の下側ループでは、1つ以上の分類されたデータセットの全てまたは一部が、訓練データとして使用され得る。分類されたデータセットに関するパラメータの組は、分類を見出すために分類器モデルを訓練するための誘導学習アルゴリズムの一部として使用され得る。例えば、分類されたデータセットの全てまたは一部が、誘導学習アルゴリズムのための訓練データセットとして使用され得る。
【0124】
システム900の上側ループに示されるように、分類されたデータセットの一部が、検証データセット(例えば、試験データ)として保留され得る。検証データは、例えば、実験による確立された分類の組を有し得る。検証データセットは、分類器モデルの予測を試験するために使用され得る。検証データセットは、訓練データセットに基づいて訓練されたモデルを検証するために使用され得る。訓練データは、工学設計試験ループの一部として使用され得る。例えば、モデルまたはモデルの組(例えば、「アンサンブル」)が、検証手順を使用して決定され得、モデルは、利用可能なデータの一部(例えば、訓練データ)に基づいて訓練され、次いで、利用可能なデータの残りの一部(例えば、試験データ)を予測するために使用される。正確度メトリック(例えば、数値データに関する2乗平均平方根誤差、カテゴリデータに関する精度および再現率、受信者動作曲線下の面積(AUC)等)が、所与のモデルが提供されるデータセットに関して正確である程度を分類するために定義され得る。いくつかの例では、オーバーまたはアンダーサンプリング(例えば、合成マイノリティオーバーサンプリング技法(SMOTE))が、モデル構築の一部としてモデル訓練の間に使用され得る。
【0125】
モデルがこれまでに遭遇したことのないデータに一般化することができない機械学習モデルのリスクは、可能な限り多くの代表的訓練データセットを使用することによって軽減され得る。加えて、モデル一般化を最大化するために、相互検証とともにハイパーパラメータ調整等の技法を利用することは、モデル一般化を改良し得る。簡潔に言えば、ハイパーパラメータ調整は、訓練および検証データに対するバイアス(すなわち、アンダーフィッティング)または分散(すなわち、オーバーフィッティング)のいずれかを防止するために、所与のモデルの側面を変更し得る。加えて、相互検証は、データの異なる一部(例えば、K分割および一個抜き)に基づいて連続して訓練するために使用され得、各一部から発生させられた正確度予測は、所与のモデルに関する全体的正確度メトリックを作成するために平均化され得る。
【0126】
訓練された分類器モデルは、次いで、未分類データセットに基づく試験を受け得る。例えば、未分類データセットは、分類されたデータの組の中にない1つ以上の鼓膜を備え得る。分類器モデルは、未分類データセットから抽出されたパラメータの組に基づいて、分類を発生させるために使用され得る。分類器モデルは、例えば、高可動、若干可動、低可動、または非可動のうちの1つとして膜を分類するために使用され得る。
【0127】
コンピュータ実装分類器を訓練するためのシステムは、本明細書の別の場所に、例えば、節「デジタル処理デバイス」およびそれにおいて説明される
図10に関して説明される、デジタル処理デバイスの実施形態、変形例、および例を備え得る。
(デジタル処理デバイス)
【0128】
いくつかの実施形態において、本明細書に説明されるデバイス、システム、およびその使用方法は、デジタル処理デバイスまたはその使用を含む。例えば、デジタル処理デバイスは、本明細書に開示されるデバイスおよび方法の種々の側面を制御するために使用され得る。例えば、デジタル処理デバイスは、鼓膜を分類する方法を実施するために使用され得る。デジタル処理デバイスは、コンピューティングシステムを備え、例えば、コンピューティングシステムは、メモリを備え、メモリは、鼓膜を分類するための命令を備え得る。デジタル処理デバイスは、鼓膜を分類する方法の1つ以上のステップを実施するように構成され得る。デジタル処理デバイスは、本明細書に開示されるように、方法100または方法800の1つ以上のステップを実施するように構成され得る。デジタル処理デバイスは、本明細書に開示されるような取り調べシステムの任意の例、変形例、または例等の取り調べシステムを制御するように構成され得る。デジタル処理デバイスは、取り調べシステムから1つ以上のデータセットを受信し、および/または読み出し得る。デジタル処理デバイスは、1つ以上のデータセットに関するデータベース管理システムを備え得る。デジタル処理デバイスは、本明細書に開示されるように、コンピュータ実装分類器を訓練するための1つ以上のステップを実施し得る。
【0129】
さらなる実施形態において、デジタル処理デバイスは、デバイスの機能を実行する1つ以上のハードウェア中央処理ユニット(CPU)、汎用グラフィックス処理ユニット(GPGPU)、またはフィールドプログラマブルゲートアレイ(FPGA)を含む。なおもさらなる実施形態において、デジタル処理デバイスは、実行可能命令を実施するように構成されるオペレーティングシステムをさらに備えている。いくつかの実施形態において、デジタル処理デバイスは、随意に、コンピュータネットワークに接続され得る。さらなる実施形態において、デジタル処理デバイスは、随意に、それがワールドワイドウェブにアクセスするように、インターネットに接続される。なおもさらなる実施形態において、デジタル処理デバイスは、随意に、クラウドコンピューティングインフラストラクチャに接続される。他の実施形態において、デジタル処理デバイスは、随意に、イントラネットに接続される。他の実施形態において、デジタル処理デバイスは、随意に、データ記憶デバイスに接続される。
【0130】
本明細書における説明によると、好適なデジタル処理デバイスは、非限定的例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、セットトップコンピュータ、メディアストリーミングデバイス、ハンドヘルドコンピュータ、インターネットアプライアンス、モバイルスマートフォン、タブレットコンピュータ、携帯情報端末、ビデオゲームコンソール、および車両を含む。当業者は、多くのスマートフォンが、本明細書に説明されるシステムにおける使用のために好適であることを認識するであろう。当業者は、随意のコンピュータネットワーク接続を伴う選択的テレビ、ビデオプレーヤ、およびデジタル音楽プレーヤが、本明細書に説明されるシステムにおける使用のために好適であることも認識するであろう。好適なタブレットコンピュータは、当業者に公知であるブックレット、スレート、およびコンバーチブル構成を伴うものを含む。
【0131】
いくつかの実施形態において、デジタル処理デバイスは、実行可能命令を実施するように構成されるオペレーティングシステムを含む。オペレーティングシステムは、例えば、デバイスのハードウェアを管理し、アプリケーションの実行のためのサービスを提供する、プログラムおよびデータを含む、ソフトウェアである。
【0132】
いくつかの実施形態において、デバイスは、記憶および/またはメモリデバイスを含む。記憶および/またはメモリデバイスは、一時的または恒久的にデータまたはプログラムを記憶するために使用される1つ以上の物理的装置である。いくつかの実施形態において、デバイスは、揮発性メモリであり、記憶された情報を維持するために電力を要求する。いくつかの実施形態において、デバイスは、不揮発性メモリであり、デジタル処理デバイスが給電されていないとき、記憶された情報を保持する。さらなる実施形態において、不揮発性メモリは、フラッシュメモリを備えている。いくつかの実施形態において、不揮発性メモリは、ダイナミックランダムアクセスメモリ(DRAM)を備えている。いくつかの実施形態において、不揮発性メモリは、強誘電体ランダムアクセスメモリ(FRAM(登録商標))を備えている。いくつかの実施形態において、不揮発性メモリは、相変化ランダムアクセスメモリ(PRAM)を備えている。他の実施形態において、デバイスは、非限定的例として、CD-ROM、DVD、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープドライブ、光学ディスクドライブ、およびクラウドコンピューティングベースの記憶装置を含む記憶デバイスである。さらなる実施形態において、記憶および/またはメモリデバイスは、本明細書に開示されるもの等のデバイスの組み合わせである。
【0133】
いくつかの実施形態において、デジタル処理デバイスは、視覚情報をユーザに送信するために、ディスプレイを含む。いくつかの実施形態において、ディスプレイは、ブラウン管(CRT)である。いくつかの実施形態において、ディスプレイは、液晶ディスプレイ(LCD)である。さらなる実施形態において、ディスプレイは、薄膜トランジスタ液晶ディスプレイ(TFT-LCD)である。いくつかの実施形態において、ディスプレイは、有機発光ダイオード(OLED)ディスプレイである。種々のさらなる実施形態において、OLEDディスプレイ上に、パッシブマトリクスOLED(PMOLED)またはアクティブマトリクスOLED(AMOLED)ディスプレイがある。いくつかの実施形態において、ディスプレイは、プラズマディスプレイである。他の実施形態において、ディスプレイは、ビデオプロジェクタである。なおもさらなる実施形態において、ディスプレイは、本明細書に開示されるもの等のデバイスの組み合わせである。
【0134】
いくつかの実施形態において、デジタル処理デバイスは、ユーザから情報を受信するために、入力デバイスを含む。いくつかの実施形態において、入力デバイスは、キーボードである。いくつかの実施形態において、入力デバイスは、非限定的例として、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームコントローラ、またはスタイラスを含む、ポインティングデバイスである。いくつかの実施形態において、入力デバイスは、タッチスクリーンまたはマルチタッチスクリーンである。他の実施形態において、入力デバイスは、音声または他の音入力を捕捉するためのマイクロホンである。他の実施形態において、入力デバイスは、運動または視覚入力を捕捉するためのビデオカメラまたは他のセンサである。さらなる実施形態において、入力デバイスは、Kinect、Leap Motion等である。なおもさらなる実施形態において、入力デバイスは、本明細書に開示されるもの等のデバイスの組み合わせである。
【0135】
図10を参照すると、特定の実施形態において、例示的デジタル処理デバイス1001は、本明細書に説明されるような鼓膜を分類するためのシステムおよび方法およびコンピュータ実装分類器を訓練するためのシステムおよび方法を制御または実装するようにプログラムされ、または別様に構成される。デバイス1001は、例えば、処理ステップを実施すること等、本開示の鼓膜を分類するためのシステムおよび方法およびコンピュータ実装分類器を訓練するためのシステムおよび方法の種々の側面を調整し得る。本実施形態において、デジタル処理デバイス1001は、単一コアまたはマルチコアプロセッサまたは並列処理のための複数のプロセッサであり得る中央処理ユニット(CPU、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」)1005を含む。デジタル処理デバイス1001は、メモリまたはメモリ場所1010(例えば、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ)と、電子記憶ユニット1015(例えば、ハードディスク)と、1つ以上の他のシステムと通信するための通信インターフェース1020(例えば、ネットワークアダプタ)と、キャッシュ、他のメモリ、データ記憶装置、および/または電子ディスプレイアダプタ等の周辺デバイス1025とも含む。メモリ1010、記憶ユニット1015、インターフェース1020、および周辺デバイス1025は、マザーボード等の通信バス(実線)を通してCPU1005と通信する。記憶ユニット1015は、データを記憶するためのデータ記憶ユニット(またはデータリポジトリ)であり得る。デジタル処理デバイス1001は、通信インターフェース1020を用いてコンピュータネットワーク(「ネットワーク」)1030に動作的に結合されることができる。ネットワーク1030は、インターネット、イントラネットおよび/またはエクストラネット、またはインターネットと通信するイントラネットおよび/またはエクストラネットであり得る。ある場合におけるネットワーク1030は、電気通信および/またはデータネットワークである。ネットワーク1030は、クラウドコンピューティング等の分散コンピューティングを可能にし得る1つ以上のコンピュータサーバを含むことができる。ネットワーク1030は、ある場合、デバイス1001を用いて、デバイス1001に結合されるデバイスがクライアントまたはサーバとして挙動することを可能にし得るピアツーピアネットワークを実装することができる。
【0136】
継続して
図10を参照すると、CPU1005は、プログラムまたはソフトウェアにおいて具現化され得る一続きの機械読み取り可能な命令を実行することができる。命令は、メモリ1010等のメモリ場所内に記憶され得る。命令は、CPU1005に向けられることができ、命令は、その後、本開示の方法を実装するようにCPU1005をプログラムまたは別様に構成することができる。CPU1005によって実施される動作の例は、フェッチ、デコード、実行、およびライトバックを含むことができる。CPU1005は、集積回路等の回路の一部であり得る。デバイス1001の1つ以上の他の構成要素が、回路内に含まれることができる。ある場合、回路は、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)である。
【0137】
継続して
図10を参照すると、記憶ユニット1015は、ドライバ、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット1015は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。ある場合におけるデジタル処理デバイス1001は、イントラネットまたはインターネットを通して通信する遠隔サーバ上に位置する等、外部にある1つ以上の追加のデータ記憶ユニットを含むことができる。デジタル処理デバイス1001は、ネットワーク1030を通して1つ以上の遠隔コンピュータシステムと通信することができる。例えば、デバイス1001は、ユーザの遠隔コンピュータシステムと通信することができる。
【0138】
遠隔コンピュータシステムの例は、パーソナルコンピュータ(例えば、ポータブルPC)、スレートまたはタブレットPC(例えば、Apple(登録商標) iPad(登録商標)、Samsung(登録商標) Galaxy Tab)、電話、スマートフォン(例えば、Apple(登録商標) iPhone(登録商標)、Android対応デバイス、Blackberry(登録商標))、または携帯情報端末を含む。
【0139】
本明細書に説明されるような方法は、例えば、メモリ1010または電子記憶ユニット1015上等のデジタル処理デバイス1001の電子記憶場所上に記憶される機械(例えば、コンピュータプロセッサ)実行可能コードを用いて実装されることができる。機械実行可能または機械読み取り可能なコードは、ソフトウェアの形態において提供されることができる。使用中、コードは、プロセッサ1005によって実行されることができる。ある場合、コードは、記憶ユニット1015から読み出され、プロセッサ1005による迅速なアクセスのためにメモリ1010上に記憶されることができる。いくつかの状況では、電子記憶ユニット1015は、除外されることができ、機械実行可能命令が、メモリ1010上に記憶される。
【0140】
デジタル処理デバイス1001は、ユーザインターフェース(UI)1040を備えている電子ディスプレイ1035を含むこと、またはそれと通信することができる。UIの例は、限定ではないが、グラフィカルユーザインターフェース(GUI)およびウェブベースのユーザインターフェースを含む。ある場合、電子ディスプレイ1035は、ネットワークを介して、例えば、ネットワーク1030を介して、コンピュータシステム1001に接続され得る。
【0141】
いくつかの実施形態において、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、随意にネットワーク化されるデジタル処理デバイスのオペレーティングシステムによって実行可能な命令を含むプログラムを用いてエンコードされる1つ以上の非一過性コンピュータ読み取り可能な記憶媒体を含む。さらなる実施形態において、コンピュータ読み取り可能な記憶媒体は、デジタル処理デバイスの有形構成要素である。なおもさらなる実施形態において、コンピュータ読み取り可能な記憶媒体は、随意に、デジタル処理デバイスからリムーバブルである。いくつかの実施形態において、コンピュータ読み取り可能な記憶媒体は、非限定的例として、CD-ROM、DVD、フラッシュメモリデバイス、ソリッドステートメモリ、磁気ディスクドライブ、磁気テープドライブ、光学ディスクドライブ、クラウドコンピューティングシステムおよびサービス、および同等物を含む。ある場合、プログラムおよび命令は、恒久的に、実質的に恒久的に、半恒久的に、または非一時的に媒体上でエンコードされる。
【0142】
いくつかの実施形態において、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、少なくとも1つのコンピュータプログラムまたはそれらの使用を含む。コンピュータプログラムは、規定されたタスクを実施するように書き込まれるデジタル処理デバイスのCPUにおいて実行可能な一続きの命令を含む。コンピュータ読み取り可能な命令は、特定のタスクを実施または特定の抽象データタイプを実装する機能、オブジェクト、アプリケーションプログラミングインターフェース(API)、データ構造等のプログラムモジュールとして実装され得る。本明細書に提供される開示に照らして、当業者は、コンピュータプログラムが種々の言語の種々のバージョンで書き込まれ得ることを認識するであろう。
【0143】
コンピュータ読み取り可能な命令の機能性は、種々の環境において所望に応じて、組み合わせられ、または分散され得る。いくつかの実施形態において、コンピュータプログラムは、一続きの命令を備えている。いくつかの実施形態において、コンピュータプログラムは、複数の一続きの命令を備えている。いくつかの実施形態において、コンピュータプログラムは、1つの場所から提供される。他の実施形態において、コンピュータプログラムは、複数の場所から提供される。種々の実施形態において、コンピュータプログラムは、1つ以上のソフトウェアモジュールを含む。種々の実施形態において、コンピュータプログラムは、部分的または全体的に、1つ以上のウェブアプリケーション、1つ以上のモバイルアプリケーション、1つ以上のスタンドアロンアプリケーション、1つ以上のウェブブラウザプラグイン、拡張、アドイン、またはアドオン、またはそれらの組み合わせを含む。
【0144】
いくつかの実施形態において、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、ソフトウェア、サーバ、および/またはデータベースモジュール、またはその使用を含む。本明細書に提供される開示を考慮して、ソフトウェアモジュールは、当技術分野で公知の機械、ソフトウェア、および言語を使用して、当業者に公知の技法によって作成される。本明細書に開示されるソフトウェアモジュールは、多数の方法で実装される。種々の実施形態において、ソフトウェアモジュールは、ファイル、コードの区分、プログラミングオブジェクト、プログラミング構造、またはそれらの組み合わせを備えている。さらなる種々の実施形態において、ソフトウェアモジュールは、複数のファイル、複数のコードの区分、複数のプログラミングオブジェクト、複数のプログラミング構造、またはそれらの組み合わせを備えている。種々の実施形態において、1つ以上のソフトウェアモジュールは、非限定的例として、ウェブアプリケーション、モバイルアプリケーション、およびスタンドアロンアプリケーションを備えている。いくつかの実施形態において、ソフトウェアモジュールは、1つのコンピュータプログラムまたはアプリケーション内にある。他の実施形態において、ソフトウェアモジュールは、2つ以上のコンピュータプログラムまたはアプリケーション内にある。いくつかの実施形態において、ソフトウェアモジュールは、1つの機械上でホストされる。他の実施形態において、ソフトウェアモジュールは、2つ以上の機械上でホストされる。さらなる実施形態において、ソフトウェアモジュールは、クラウドコンピューティングプラットフォーム上でホストされる。いくつかの実施形態において、ソフトウェアモジュールは、1つの場所における1つ以上の機械上でホストされる。他の実施形態において、ソフトウェアモジュールは、2つ以上の場所における1つ以上の機械上でホストされる。
【0145】
いくつかの実施形態において、本明細書に開示されるプラットフォーム、システム、媒体、および方法は、1つ以上のデータベースまたはその使用を含む。本明細書に提供される開示を考慮して、当業者は、多くのデータベースが、取り調べシステムからのデータセットの記憶および読み出し、分類されたデータセットの記憶、1つ以上のデータセットからのパラメータの決定、分類されたデータセットに関連付けられたパラメータの記憶等のために好適であることを認識するであろう。種々の実施形態において、好適なデータベースは、非限定的例として、関係データベース、非関係データベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティ関係モデルデータベース、連想データベース、およびXMLデータベースを含む。さらなる非限定的例は、SQL、PostgreSQL、MySQL、Oracle、DB2、およびSybaseを含む。いくつかの実施形態において、データベースは、インターネットベースである。さらなる実施形態において、データベースは、ウェブベースである。なおもさらなる実施形態において、データベースは、クラウドコンピューティングベースである。他の実施形態において、データベースは、1つ以上のローカルコンピュータ記憶デバイスに基づく。
【0146】
本開示の好ましい実施形態が、本明細書に示され、説明されたが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白であろう。多数の変形例、変更、および置換が、ここで、本開示の範囲から逸脱することなく、当業者に想起されるであろう。本明細書に説明される本開示の実施形態の種々の代替が、本開示の発明を実践する際に採用され得ることを理解されたい。以下の請求項は、本発明の範囲を定義し、これらの請求項の範囲内の方法および構造およびそれらの均等物が、それによって網羅されることを意図している。
【手続補正書】
【提出日】2021-09-22
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0077
【補正方法】変更
【補正の内容】
【0077】
図4は、本開示の取り調べデバイスによって提供される例示的データセットを図示する。
図4Aは、mモード超音波信号の強度スケールを示す。
図4Aは、圧力パルスが加えられている時間経過中、超音波測定を使用して、規定された時間範囲にわたって移動する鼓膜の位置を特性評価する。
図4Aの水平時間スケールは、
図4B、
図4C、および
図4Dにおけるものと同じスケールである(
図4Dは、
図4Bおよび
図4Cと比較して、その時間範囲において省略されている)。
図4Bは、
図4Aからのヒートマップの水平スライスのプロットを示す(破線によって示される)。
図4Aは、全ての深度における信号振幅を示す一方、
図4Bは、経時的な信号位相変化に基づく膜位置変化を示す。
図4Bは、測定された時間に対する鼓膜位置を示す。
図4Cは、
図4Bにおける同じ時間範囲にわたって加えられる圧力パルスを示す。
図4Dは、
図4Cにおける時間スケールの第1の半分に及ぶ圧力パルス中の外耳道内の圧力の測定値を示す。
図4Cの時間スケールの第2の半分中の外耳道内の圧力の測定値は、
図4Dにおける第2の曲線としてプロットされ、第1の半分からのデータに重複するように時間において平行移動させられている。
図4Dにおけるこれらの感知された圧力プロファイルは、値が非常に近く、互いに区別することが困難であり、圧力刺激が繰り返されるときの鼓膜の非常に類似する運動を示す。
図4Eは、CCDカメラによって記録された例示的光学画像を示し、白色エリアの動的移動、すなわち、圧力パルス中の光の錐体(矢印を伴う黒色枠によって強調される)は、TMの可動性を示す。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0078
【補正方法】変更
【補正の内容】
【0078】
まとめると、
図4は、圧力パルスが加えられると(
図4C)、発生させられ、変換された超音波信号が、鼓膜位置についての詳細な情報(
図4Aおよび
図4B)と、画像(
図4D)および(
図4E)からの固有の圧力および光学応答とを提供することを示す。これらの測定値内に含まれる情報は、分類を出力するための機械学習モデル等の分類器モデルを訓練するためのパラメータの組を発生させるために使用され得る。
【手続補正3】
【補正対象書類名】図面
【補正方法】変更
【補正の内容】
【国際調査報告】