知財求人 - 知財ポータルサイト「IP Force」
特表2024-529940中耳炎のコンピュータ支援診断のマルチモーダル手法のためのシステムおよび使用方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-14
(54)【発明の名称】中耳炎のコンピュータ支援診断のマルチモーダル手法のためのシステムおよび使用方法
(51)【国際特許分類】
A61B 1/227 20060101AFI20240806BHJP
A61B 1/00 20060101ALI20240806BHJP
A61B 1/045 20060101ALI20240806BHJP
【ＦＩ】
A61B1/227
A61B1/00 526
A61B1/045 614
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024503929
(86)(22)【出願日】2022-07-25
(85)【翻訳文提出日】2024-03-13
(86)【国際出願番号】 US2022038148
(87)【国際公開番号】W WO2023004183
(87)【国際公開日】2023-01-26
(31)【優先権主張番号】63/225,129
(32)【優先日】2021-07-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
２．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】524027916
【氏名又は名称】フォトニケア インコーポレイテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】シェルトン，ライアン
(72)【発明者】
【氏名】ノーラン，ライアン
(72)【発明者】
【氏名】モハン，ニシャント
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA11
4C161BB08
4C161WW13
4C161WW15
(57)【要約】
耳鏡システムは、スコープ１１０による部分的コヒーレント光の干渉を用いて赤外線の時間を推定することにより、患者の耳の地下情報を写像する。臨床的関連性の診断決定は、画像または信号の内容およびそれらの互いとの関係を解釈することを必要とする。一実施形態では、図２Ｃに示すように鼓膜の耳鏡検査画像を取得し、ＩＯをＯＣＴ画像と同時レジストレーションする。外耳道の内容物によって妨害されていない鼓膜の綺麗な部分でＯＣＴ信号が取得され、かつ鼓膜の奥で流体が検出された場合に、中耳炎の診断を行う。
【選択図】図２Ａ
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
鼓膜の奥の内容物を観察し、かつ前記鼓膜の奥の前記内容物からデータを生成するための方法と、前記鼓膜の表面を観察し、かつ前記鼓膜の表面の画像を生成するための方法、および中耳炎の診断を与えるための前記鼓膜の奥の前記内容物からの前記データおよび前記鼓膜の表面の前記画像を用いた計算方法とを含む、中耳炎を診断するためのシステム。
【請求項2】
前記鼓膜の奥の前記内容物を観察するための前記方法は、電磁放射線、低コヒーレンス干渉法または機械波を使用する、請求項１に記載のシステム。
【請求項3】
前記鼓膜の表面を観察するための前記方法は電磁放射線および電磁波検出器を使用する、請求項１に記載のシステム。
【請求項4】
中耳炎を診断するための前記計算方法は、ディープラーニング、ニューラルネットワーク、サポートベクターマシン、ロジスティック回帰またはランダムフォレストなどの機械学習に基づく、請求項１に記載のシステム。
【請求項5】
中耳炎を診断するための前記計算方法は前記鼓膜を前記内容物の残りから分割する、請求項１に記載のシステム。
【請求項6】
前記鼓膜の奥の前記内容物を観察するための前記方法は、空間座標において地下情報と同時レジストレーションされる表面画像を含む、請求項５に記載のシステム。
【請求項7】
前記地下情報のみを使用して中耳内の内容物および構造を検出する、請求項６に記載のシステム。
【請求項8】
前記計算方法は、「ＭＥＥなし」、ＯＭＥおよびＡＯＭを含む「健康な状態」から「重症の状態」までの前記中耳の状態を示す尺度を提供する、請求項７に記載のシステム。
【請求項9】
前記鼓膜の奥に存在する流体の種類を診断することをさらに含み、前記流体の種類は漿液性、粘液性、粘液膿性または漿液膿性を含む、請求項８に記載のシステム。
【請求項10】
鼓膜の奥の内容物を観察し、かつ前記鼓膜の奥の前記内容物からデータを生成すること、前記鼓膜の表面を観察し、かつ前記鼓膜の表面の画像を生成すること、および計算方法により中耳炎の診断を与えるために前記鼓膜の奥の前記内容物からの前記データおよび前記鼓膜の表面の前記画像を使用することを含む、中耳炎を診断するための方法。
【請求項11】
前記鼓膜の奥の前記内容物を観察することは、電磁放射線、低コヒーレンス干渉法または機械波を使用する、請求項１０に記載のシステム。
【請求項12】
前記鼓膜表面を観察することは電磁放射線および電磁波検出器を使用する、請求項１０に記載のシステム。
【請求項13】
中耳炎を診断するための前記計算方法は、ディープラーニング、ニューラルネットワーク、サポートベクターマシン、ロジスティック回帰またはランダムフォレストなどの機械学習に基づく、請求項１０に記載のシステム。
【請求項14】
中耳炎を診断するための前記計算方法は前記鼓膜を前記内容物の残りから分割する、請求項１３に記載のシステム。
【請求項15】
前記鼓膜の奥の内容物を前記観察することは、空間座標において地下情報と同時レジストレーションされる表面画像を含む、請求項１４に記載のシステム。
【請求項16】
前記地下情報のみを使用して中耳内の内容物および構造を検出する、請求項１５に記載のシステム。
【請求項17】
前記計算方法は「ＭＥＥなし」、ＯＭＥおよびＡＯＭを含む「健康な状態」から「重症の状態」までの前記中耳の状態を示す尺度を提供する、請求項１６に記載のシステム。
【請求項18】
前記鼓膜の奥に存在する流体の種類を診断することをさらに含み、前記流体の種類は漿液性、粘液性、粘液膿性または漿液膿性を含む、請求項１７に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に、中耳炎および関連する状態に関する。
【背景技術】
【0002】
中耳炎すなわち中耳の感染は、小児が医者にかかる主な原因の１つである。中耳の感染は、鼓膜の奥に流体が存在し、それが鼓膜を圧迫して急性の痛みを生じさせる。痛みが鼓膜の奥の感染によるものであるかの診断は多くの場合に耳鏡、すなわち鼓膜の拡大像を与える装置を用いて鼓膜を観察することにより行われる。最近になって、鼓膜の奥の中耳の状態を直接見るための新しい方法が開発された。
【0003】
本発明は、これらの問題ならびに他の問題を解決することを試みる。
【発明の概要】
【0004】
本明細書では、複数のセンシングおよびイメージング技術を用いて中耳炎および関連する状態を診断するためのシステム、方法および装置が提供される。
【0005】
本方法、システムおよび装置は一部が以下の説明に記載されており、一部は以下の説明から明らかになったり、本方法、装置およびシステムの実施により学んだりすることができる。本方法、装置およびシステムの利点は、添付の特許請求の範囲に特に指摘されている要素および組み合わせを用いて実現および達成される。当然のことながら、上記概要および以下の詳細な説明はどちらも単に例示的かつ説明的なものであり、本方法、装置およびシステムを特許請求されているものとして限定するものではない。
【0006】
従って本発明の目的は、出願人らがその権利を留保するようにあらゆる以前から知られている製品、当該製品を作製するプロセスまたは当該製品を使用する方法を本発明に包含することではなく、それによりあらゆる以前から知られている製品、プロセスまたは方法の放棄を開示することにある。さらに本発明は、出願人らがその権利を留保するように、ＵＳＰＴＯ（３５Ｕ．Ｓ．Ｃ．§１１２、第１パラグラフ）またはＥＰＯ（ＥＰＣ第８３条）の記載および実施可能要件を満たさないどんな製品、当該製品を作製するプロセスまたは当該製品を使用する方法も本発明の範囲に包含することは意図しておらず、それによりあらゆる以前に記載された製品、当該製品を作製するプロセスまたは当該製品を使用する方法の放棄を開示していることに留意されたい。ＥＰＣ第５３（ｃ）条ならびにＥＰＣ規則２８（ｂ）および（ｃ）を遵守するように本発明を実施することが有利であり得る。本出願の系統またはあらゆる他の系統あるいは第三者のあらゆる以前に出願された申請における出願人のあらゆる取得特許の主題であるあらゆる実施形態を明示的に放棄する全ての権利が明示的に留保される。本明細書のいずれの内容も保証として解釈されるべきではない。
【0007】
添付の図面では、同様の要素は本発明のいくつかの好ましい実施形態の中で同様の符号によって特定されている。
【図面の簡単な説明】
【0008】
【図1】図１Ａは正常かつ健康な耳の概略断面図であり、鼓膜のすぐ奥にある中耳腔は空気で満たされている。図１Ｂは適切な中耳排液を制限する可能性がある耳管の脹れの概略断面図であり、中耳腔は滲出性中耳炎（ＯＭＥ）の間に漿液性滲出液、すなわち透明な水様流体で満たされる可能性がある。図１Ｃは急性中耳炎（ＡＯＭ）の間の化膿性滲出液、すなわち濁った粘性流体の概略断面図である。
【図2】図２ＡはＯＣＴシステムおよびスコープの正面斜視図である。図２Ｂは鼓膜のＯＣＴ画像である。図２Ｃは鼓膜の耳鏡画像である。図２Ｄは外耳道の内容物によって妨害されていない鼓膜の綺麗な部分で取得されたＯＣＴ信号であり、鼓膜の奥で流体が検出されている。図２ＥはＯＣＴ画像における流体と鼓膜との境界である。
【図3】図３Ａは正常かつ健康な耳のＯＣＴ画像（上）および耳鏡画像（下）であり、中耳腔が空気（緑色の矢印）のみを含んでいることを示している。図３Ｂは異常な耳のＯＣＴ画像および耳鏡画像であり、透明な水様漿液性滲出液（橙黄色の矢印）が存在するＯＭＥのものとして区別される流体が蓄積している可能性があることを示している。図３Ｃは異常な耳のＯＣＴ画像および耳鏡画像であり、濁った化膿性滲出液（赤い矢印）が存在するＡＯＭとして特定される流体が蓄積している可能性があることを示している。図３Ｄは、かなりの耳垢が存在している中耳のＯＣＴ画像および耳鏡画像である。
【図4】図４ＡはＴＭ（ブタの腸の内層）および中耳腔（赤色）を備えた確立された代表的な中耳モデルの斜視図であり、図４Ｂは、ＭＥＥの種類の特定および分類のために機械学習モデルに適用するためのＯＣＴシステムおよびスコープデータを収集するために使用されるヒトのＭＥＥ試料が充填された耳鏡検査訓練モデルの側面図であり、ＯＣＴシステムおよびスコープのイメージングは耳モデルの真下から行って確実にＭＥＥデータを収集した。
【図5】アノテーションされているディープスキャンであり、ここでは高密度な水平の白色の信号トレースは鼓膜（ＴＭ）を表し、線の下の散乱は滲出液（挿入図により詳細に示されている）の存在を示す。品質ディープスキャンデータセグメントは、画像の上を横切る色付きの線によりアノテーションした。アノテーションは実験室分析によって確認された臨床的分類に基づいて色分けされており、赤色（図示）は粘液性滲出液を示している。
【図6】３つのクラスのそれぞれにおけるサポートベクターマシン（ＳＶＭ）に使用するために選択された２つの特徴量の散布図であり（確率密度を含む）、粘液性クラスと「ＭＥＥなし」クラスとの間に妥当な量の分離が存在するが、漿液性クラスと「ＭＥＥなし」クラスは最大面積の重複を有し、これは漿液性試料のより高い誤分類率を説明することができる。
【図7】図７Ａは、テストパーティションに関する中央ニューラルネットワーク（ＣＮＮ）予測の混同行列である。高粘液性および「ＭＥＥなし」の再現率値は有望な結果を示している。「ＭＥＥなし」としての漿液性試料の誤分類は、それらのクラスに典型的なディープスキャンがかなり類似していることが原因であり得る（すなわち、「ＭＥＥなし」の信号ゼロに対して漿液性の信号の低い輝度および密度）。図７Ｂはテストパーティションに関する多クラスＳＶＭ予測の混同行列である。ＣＮＮと同様にＳＶＭは粘液性試料を区別することには優れているが、漿液性試料を正確に特定することは非常に難しい。図７Ｃはアブレーション研究試料セットからのＣＮＮ予測の混同行列であり、ここではＴＭの真下の面積を除去した（値＝０）。結果から、予期したとおりＴＭの真下（すなわち中耳腔）におけるディープスキャン散乱の存在が試料のＣＮＮの分類に有意かつ適切に影響を与えることが実証されている。
【図8】図８Ａ～図８Ｃは、多層Ｕ－ｎｅｔを用いた耳鏡検査のセグメンテーションに関する結果を示す耳鏡からの写真であり、ここでは図８Ａは元の耳鏡画像であり、図８Ｂは鼓膜のヒューマンアノテーションであり、図８Ｃは０．９６のＤｉｃｅスコアを有する鼓膜のＡＩアノテーションである。Ｄｉｃｅスコアは手動でアノテーションされ、かつ機械でセグメンテーションされた例のためによく使用される。
【図9】（１）広範囲の耳鏡検査専門知識を有するＯＣＴシステムおよびスコープユーザからの品質データ取得の容易さおよび信頼性、および（２）「ＭＥＥなし」、ＯＭＥおよびＡＯＭを分類するためのＯＣＴシステムおよびスコープ画像の容易かつ信頼できる解釈の両方を容易にするためのマルチモーダルＣＮＮのアーキテクチャの概略フローチャートである。これを達成するために、ＲＯＩセグメンテーションアルゴリズム（緑色）により耳鏡検査画像データを評価し、耳鏡検査ディスプレイにおけるＲＯＩのリアルタイムオーバーレイを可能にする。
【発明を実施するための形態】
【0009】
本発明の上記および他の特徴および利点は、添付の図面と共に読まれる例示的な実施形態の以下の詳細な説明から明らかである。詳細な説明および図面は限定的なものではなく本発明の単に例示であり、本発明の範囲は添付の特許請求の範囲およびそれらの均等物によって定められる。
【0010】
次に、本発明の実施形態について図を参照しながら説明する。図の中の同様の番号は全体をとおして同様の要素を反映している。本明細書において提供されている説明において使用されている用語は、単に本発明の特定の具体的な実施形態の詳細な説明と共に利用されているため、いかなる限定的または制限的方法で解釈されることも意図していない。さらに本発明の実施形態は、いくつかの新規な特徴を含んでいてもよいが、そのうちの１つがその望ましい属性に単独で関与するものであったり、本明細書に記載されている本発明を実施するのに必須であったりするものではない。
【0011】
近位および遠位という言葉は、本明細書に記載されている器具の構成要素の具体的な端部を示すために本明細書で用いられている。当該器具が使用されている場合に近位端は当該器具の操作者により近い器具の端部を指す。遠位端は操作者からより遠い構成要素の端部を指す。
【0012】
本発明について記載している文脈における「１つの（ａ）」および「１つの（ａｎ）」および「その（前記）（ｔｈｅ）」という用語および同様の指示物の使用は、本明細書に別段の指示がない限り、あるいは文脈に明らかに矛盾しない限り、単数および複数の両方を包含するものと解釈されるべきである。「～を含む（ｃｏｍｐｒｉｓｅｓ）」、「～を含むこと（ｃｏｍｐｒｉｓｉｎｇ）」および／または「～を含む（備える）（ｉｎｃｌｕｄｅｓ）」「～を含むこと（備えること）（ｉｎｃｌｕｄｉｎｇ）」という用語は、本明細書で使用されている場合、記載されている特徴、整数、工程、動作、要素および／またはコンポーネントの存在を明示しているが、その１つ以上の他の特徴、整数、工程、動作、要素、コンポーネントおよび／またはグループの存在または追加を排除するものではないことがさらに理解されるであろう。
【0013】
本明細書中の値の範囲の記載は、本明細書に別段の指示がない限り、単にその範囲に含まれる各別個の値を個々に言及するのを省略する方法としての役割を果たすことを意図しており、各別個の値は本明細書に個々に記載されているかのように本明細書に組み込まれる。「約」という単語は、数値に付されている場合、記載されている数値からの最大１０％（その数値を含む）偏差を示すものとして解釈されるべきである。本明細書に示されているありとあらゆる例または例示的表現（「例えば」または「～など」）の使用は、単に本発明をより良く理解するためのものであり、特許請求の範囲に別段の記載がない限り、本発明の範囲に限定を課すものではない。本明細書中のいずれの言葉もあらゆる特許請求されていない要素を本発明の実施に必須であるものと示しているものとして解釈されるべきではない。
【0014】
「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」、「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「例示的な実施形態」、「様々な実施形態」などの言及は、そのように記載されている本発明の実施形態が特定の特徴、構造または特性を含んでいてもよいが、全ての実施形態が必ずしも特定の特徴、構造または特性を含むわけではないことを示してもよい。さらに、「一実施形態では」または「例示的な一実施形態では」という語句の繰り返しの使用は、必ずしも同じ実施形態を指すわけではないがそうである場合もある。
【0015】
本明細書で使用される「方法」という用語は、限定されるものではないが、化学、薬理学、生物学、生化学および医学技術の実施者によって知られているか、彼らに知られている方法、手段、技術および手順から容易に開発される様式、手段、技術および手順を含む、所与の作業を達成するための様式、手段、技術および手順を指す。明示的に別段の記載がない限り、本明細書に記載されているどの方法または態様もその工程を特定の順序で行うことを必要とするものとして解釈されることを決して意図していない。従って、方法の請求項が特許請求の範囲または本明細書においてそれらの工程が特定の順序に限定されるべきであることを具体的に記載していない場合、いかなる点においても順序が推定されることは決して意図されていない。これは、工程または動作フローの配置に関する論理の問題、文法構成または句読点から導かれる明白な意味あるいは本明細書に記載されている態様の数または種類を含む解釈のためのあらゆる可能な非明示的基準（ｎｏｎ－ｅｘｐｒｅｓｓ ｂａｓｉｓ）に当てはまる。
【0016】
説明
耳感染は、図１Ａ～図１Ｃに示すように中耳滲出液（ＭＥＥ）、すなわち耳管排液が損なわれることによる中耳への流体蓄積を伴う。急性中耳炎（ＡＯＭ）、すなわち濁った流体（すなわち化膿性滲出液）が存在する間に、現在の米国小児科学会（ＡＡＰ）のガイドラインによれば、ＭＥＥの存在に加えてＴＭの膨隆および気密耳鏡検査（現在では滅多に行われない）によるＴＭの動きの低下が存在する場合に抗菌薬が処方されるべきである。滲出性中耳炎（ＯＭＥ）では、透明な水様流体（すなわち漿液性滲出液）が中耳腔に存在する。現在の米国耳鼻咽喉科頭頸部外科学会（Ａｍｅｒｉｃａｎ Ａｃａｄｅｍｙ ｏｆ Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－Ｈｅａｄｓ ａｎｄ Ｎｅｃｋ Ｓｕｒｇｅｒｙ）（ＡＡＯ－ＨＮＳ）のガイドラインによれば、ＯＭＥの場合および特に流体が実際に存在しない疑い例に対して抗菌薬は推奨されていない。何回かの再発性の急性症状の発現または１回の慢性症状の発現の間にＭＥＥが解決しない場合、この流体はより粘性の状態（すなわち粘液性滲出液）に進行し、鼓膜換気チューブ留置（ＴＴＰ）術を必要とする場合がある。図１Ａは、正常かつ健康な耳では、鼓膜のすぐ奥にある中耳腔が空気で満たされていることを示している。病気の場合、耳管の脹れが適切な中耳排液を制限する可能性があり、中耳腔が図１Ｂに示すように滲出性中耳炎（ＯＭＥ）の間に漿液性滲出液、すなわち透明な水様流体あるいは図１Ｃに示すように急性中耳炎（ＡＯＭ）の間に化膿性滲出液、すなわち濁った粘性流体で満たされる可能性がある。特に長期間にわたる滲出液の存在は、かなりの聴力損失を引き起こし、これにより学習および言語発達の遅れが生じる可能性があり、最終的に排液および通気のためにＴＴＰ術を必要とする。
耳感染は、図１Ａ～図１Ｃに示すように中耳滲出液（ＭＥＥ）、すなわち耳管排液が損なわれることによる中耳への流体蓄積を伴う。急性中耳炎（ＡＯＭ）、すなわち濁った流体（すなわち化膿性滲出液）が存在する間に、現在の米国小児科学会（ＡＡＰ）のガイドラインによれば、ＭＥＥの存在に加えてＴＭの膨隆および気密耳鏡検査（現在では滅多に行われない）によるＴＭの動きの低下が存在する場合に抗菌薬が処方されるべきである。滲出性中耳炎（ＯＭＥ）では、透明な水様流体（すなわち漿液性滲出液）が中耳腔に存在する。現在の米国耳鼻咽喉科頭頸部外科学会（Ａｍｅｒｉｃａｎ Ａｃａｄｅｍｙ ｏｆ Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－Ｈｅａｄｓ ａｎｄ Ｎｅｃｋ Ｓｕｒｇｅｒｙ）（ＡＡＯ－ＨＮＳ）のガイドラインによれば、ＯＭＥの場合および特に流体が実際に存在しない疑い例に対して抗菌薬は推奨されていない。何回かの再発性の急性症状の発現または１回の慢性症状の発現の間にＭＥＥが解決しない場合、この流体はより粘性の状態（すなわち粘液性滲出液）に進行し、鼓膜換気チューブ留置（ＴＴＰ）術を必要とする場合がある。図１Ａは、正常かつ健康な耳では、鼓膜のすぐ奥にある中耳腔が空気で満たされていることを示している。病気の場合、耳管の脹れが適切な中耳排液を制限する可能性があり、中耳腔が図１Ｂに示すように滲出性中耳炎（ＯＭＥ）の間に漿液性滲出液、すなわち透明な水様流体あるいは図１Ｃに示すように急性中耳炎（ＡＯＭ）の間に化膿性滲出液、すなわち濁った粘性流体で満たされる可能性がある。特に長期間にわたる滲出液の存在は、かなりの聴力損失を引き起こし、これにより学習および言語発達の遅れが生じる可能性があり、最終的に排液および通気のためにＴＴＰ術を必要とする。
【0017】
本明細書に開示されている方法は、鼓膜の奥の内容物を観察し、かつ鼓膜の奥の内容物からデータを生成するための方法と、鼓膜の表面を観察し、かつ鼓膜の表面の画像を生成するための方法と、中耳炎の診断を与えるための鼓膜の奥の内容物からのデータおよび鼓膜の表面の画像を用いた計算方法とを含む、中耳炎を診断するためのシステムを支援する。鼓膜の奥の内容物を観察するための本システムは、一実施形態によれば電磁放射線、低コヒーレンス干渉法または超音波のような機械波を使用する。鼓膜表面を観察するための本システムは、電磁放射線および電磁波検出器を使用する。中耳炎を診断するための計算方法は、ディープラーニング（ニューラルネットワーク）、サポートベクターマシン、ロジスティック回帰またはランダムフォレストなどの機械学習に基づく。中耳炎を診断するための計算技術は、鼓膜を内容物の残りから分割する。表面画像は空間座標において地下情報と同時レジストレーションする。一実施形態によれば、地下情報のみを使用して中耳内の内容物および構造を検出する。本計算方法は、「健康な状態」から「重症の状態」までの中耳の状態を示す尺度を提供する。本システムは鼓膜の奥に存在する流体の種類を診断する。流体の種類としては漿液性、粘液性、粘液膿性および漿液膿性が挙げられる。
【0018】
一実施形態では、耳の奥の内容物からデータを生成するための本システムおよび方法は、図２Ａに示されている光干渉断層撮影（ＯＣＴ）システムおよびスコープ１００である。ＯＣＴシステムおよびスコープ１００は、ＯＣＴシステム１１０と、耳鏡を使用するのに臨床医が慣れている同じ方法で耳に当てるスコープ１２０とを含む。一実施形態では、ＯＣＴシステムはＯＣＴアーキテクチャを含むスペクトルドメインＯＣＴプラットフォームである。図２Ａに示すように、ＯＣＴシステム１１０はスコープ１１０による部分コヒーレント光の干渉を用いて赤外線の時間を推定することにより地下情報を写像する。臨床的関連性の診断決定は、画像または信号の内容およびそれらの互いとの関係を解釈する必要がある。一実施形態では、図２Ｃに示すような鼓膜の耳鏡画像を取得し、図２Ｂに示すようなＯＣＴ画像と同時レジストレーションする。図２Ｄに示すように、外耳道の内容物によって妨害されていない鼓膜の綺麗な部分に関するＯＣＴ信号を取得し、鼓膜の奥で流体が検出された場合に中耳炎の診断がなされる。本方法は、２つの異なるモダリティを組み合わせること、ならびに鼓膜の信号を流体から識別することを含む。ＯＣＴ画像における流体と鼓膜との境界が図２Ｅに示されている。
【0019】
本方法およびシステムは、リアルタイムのスクロール式疑似３Ｄ（Ｍスキャン）ＯＣＴ画像（本明細書では「ディープスキャン」という）および対応するビデオ耳鏡検査画像（図３Ａ）を生成および提供するために、時間（ｘ軸）に対して示される一次元（１Ｄ）（Ａライン）ＯＣＴデータ（ｙ軸）からなる。正常かつ健康な耳では、図３Ａに見られるように中耳は空気のみを含み、従ってＯＣＴ信号を有しない（すなわち黒色のみ）。透明な水様漿液性滲出液（すなわちＯＭＥ）を有する耳では、まばらなＯＣＴ信号を生成するまばらな滲出液内容物（例えば死滅した中耳上皮細胞）により不均一な低輝度散乱ＯＣＴ信号が見られる。慢性もしくは再発性滲出液では、免疫細胞機能および／または上皮再構築による細胞の分泌（例えばタンパク質）の蓄積により、散乱ＯＣＴ信号の増加と共に粘液性滲出液が生じる。濁ったすなわち化膿性滲出液が存在する耳（すなわちＡＯＭ）では、高密度な滲出液内容物からの濁り（例えば、原因菌および反応性免疫細胞、それによる膿）の増加により均一な高輝度散乱ＯＣＴ信号が見られ、それにより散乱ＯＣＴ信号が増加する。これらのＯＣＴ画像の品質の一般的な集合体が存在する一方で、ＭＥＥ中に存在する内容物の連続体が存在し、得られるＯＣＴ散乱輝度および信号密度は、ＭＥＥ内容物の量および種類に応じてＯＭＥおよびＡＯＭについての上記２つの記載の間の範囲になる場合もある。図３Ａに示すように、正常かつ健康な耳（左）では中耳腔は空気のみ（緑色の矢印）を含むが、異常な耳では流体が蓄積する可能性があり、この流体を、図３Ｃに示すような濁った化膿性滲出液（赤い矢印）が存在するＡＯＭのものに対して、図３Ｂに示すように透明な水様漿液性滲出液（橙黄色の矢印）が存在するＯＭＥのものとして区別するための能力は、抗菌薬および／またはＴＴＰ術の使用に関する決定のために重要である。これらの画像は、かなりの耳垢が存在している状態の耳であっても中耳の内容物を評価するためのＯＣＴシステムおよびスコープの能力を示している。
【0020】
一実施形態では、本方法およびシステムは、中耳炎の診断を与えるための計算アルゴリズムと共に複数のモダリティを含む。一実施形態によれば、この計算アルゴリズムは機械学習モデルを含む。本方法は機械学習モデルを適用して、ＯＣＴディープスキャンを用いて約８７～約９０％の正確性でＭＥＥに対する「ＭＥＥなし」の特定および分類をガイドすることを含む。一実施形態では、ディープスキャンは診断品質を含み、この診断品質はＴＭからのディープスキャン信号を含み、下にある中耳腔をディープスキャンフレームの上側３分の２において見ることができる。別の実施形態では、ディープスキャン機械学習モデルは漿液性滲出液を特定するか「ＭＥＥなし」として分類する。漿液性滲出液および「ＭＥＥなし」はどちらも、抗菌薬処方の代わりに「慎重な経過観察」により臨床的に管理される。本方法はＯＭＥの発症を正確に特定して慢性漿液性滲出液を特定し、かつ適切であればＴＴＰにより介入する。ディープスキャンモダリティと耳鏡検査モダリティを組み合わせた新規なマルチモーダル機械学習手法は、いずれか一方のモダリティだけでは達成することができないタスクを相乗的に達成する。モダリティ間に重複する情報が存在する場合があるが、２つのモダリティが診断に影響し得る独立した情報を提供するという明らかな例が存在する。例えばディープスキャンを使用してＴＭの膨隆を確実に検出することはできないが、この特徴は多くの場合に耳鏡検査で特定することができる。逆に、耳鏡検査像のかなりの耳垢による閉塞の存在下であっても、ディープスキャンを使用してＭＥＥの濁りを特定および定量化することができる。ディープスキャンの近赤外線は厚い耳垢を通したイメージングは不可能だが、ＯＣＴシステムおよびスコープ操作者は、中耳のディープスキャンを得るために耳垢の小さい開口部を通して十字線を照準に合わせるだけでよい（外耳道が１００％影響を受けることは滅多にない）。一実施形態では、ＯＣＴシステムおよびスコープは、耳垢により最大９４％の閉塞を有する耳であっても中耳内容物をイメージングする（例えば図３Ａ）。極めて対照的に、耳鏡検査のみでは耳垢閉塞により像を得るのが益々難しくなりつつあり、既に興奮している小児に対して耳鏡検査を行うことは難し過ぎるため、耳垢の除去は一般にＡＯＭ（２９％）を有する小児に対して行われない。マルチモーダルニューラルネットワークは、中耳診断のために耳鏡検査とディープスキャン画像との相関を適用することを含む。
【0021】
一実施形態では、エクスビボでのイメージングおよび分析のために、ＴＴＰ術を受けている小児科の対象からのヒトのＭＥＥ試料を使用した。図４Ａ～図４Ｂに示すように、ヒトのＴＭのものと生物力学的かつ光学的に同等のブタの腸の内層を有する耳モデル２００を使用する。耳鏡検査訓練のために使用される市販の中耳腔（Ｎａｓｃｏ社、図４Ａに示されている）と組み合わせたこのＴＭ模倣組織により、図４Ｂに示されているＯＣＴシステムおよびスコープ１００のイメージングのために同等の中耳モデル２１０を作り出す。採取されたヒトのＭＥＥ試料を中耳モデルの中に置くことにより、十分に大きくかつ多様であるが、なお病理学的に代表的なＯＣＴシステムおよびスコープのディープスキャンデータセットを収集するための制御された手段を得た。
【0022】
一実施形態では、ＴＭへのイメージングビームの入射角度を変えながら、各試料のために１００秒間の装置最長持続時間にわたって３回の記録を行った。ＯＣＴシステムおよびスコープは１秒当たり３８本のＡラインを生成し、従って各ＭＥＥ試料は、全部でデータの少なくとも１１，４００本のＡラインを生成した。次いでＭＥＥ試料を定量的に処理して、分光光度計（Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ Ｓｃｉｅｎｔｉｆｉｃ社）および粘度計（ＲｈｅｏＳｅｎｓｅ社）を用いて濁りおよび粘度をそれぞれ決定した。これらの定量的測定を使用して、協力している耳鼻咽喉科外科医のＭＥＥ分類を確認および実証した。ＴＭのみを有する耳モデル（「ＭＥＥなし」）もイメージングして正常かつ健康な耳をシミュレートした。得られたデータは、４７個の「ＭＥＥなし」試料および４７個のＭＥＥ試料、すなわち８個の「漿液性」試料（ＯＭＥ）および３９個の「粘液性」試料からなる。著しくより少ない数の漿液性試料による影響を相殺するために、分析ではＦ１スコアを使用した。
【0023】
ディープスキャンでは、生体模倣ＴＭからの信号はイメージング中の動きにより深度位置において変化し、これは患者ならびにＯＣＴシステムおよびスコープ操作者の両方からの自然な臨床データ収集の動きをシミュレートするために意図的に行った。画像前処理の一部として、ＴＭの深度位置はＡラインごとの最大強度値を見つけることにより特定し、ＴＭが画像上に位置合わせされるように各個々のＡラインを移動させる。図５に示すように、各ＡラインにおけるＴＭ信号の存在および明確性に基づいて、公平なＯＣＴ専門家により各ディープスキャンに手動でアノテーションした。１本のＡラインでは信頼できる診断を得るのに十分ではない可能性が高いという事実を考慮するために、各ディープスキャンをモデルへの入力として使用するために１２本のＡラインのグループに分けた。
【0024】
３つの異なるクラス（「ＭＥＥなし」、漿液性および粘液性）のディープスキャンは目視では、主にＴＭの真下での信号散乱において異なるように見えた。「ＭＥＥなし」クラスはＴＭの真下での信号の不存在を示し、２つのＭＥＥクラスはＴＭの真下での信号の輝度および密度の程度において異なっており、粘液性クラスはより明るくかつより高い密度の信号を有していた。これは以前に公開された臨床データと一貫していた。
【0025】
分析のために本方法はディープスキャンから３つの特徴、すなわち（１）ＴＭの真下での散乱の平均強度、（２）ＴＭおよび下にある中耳腔全体の画素強度の標準偏差、および（３）ＴＭの画素強度の合計と中耳腔の画素強度の合計との比を含む。一実施形態では、ディープスキャンからのこれらの３つの特徴を用いたこの分類タスクに適したモデルであるサポートベクターマシン（ＳＶＭ）を使用し、かつ３つの特徴を必要としない機械学習モデルである中央ニューラルネットワーク（ＣＮＮ）も訓練した。このデータセットを訓練パーティション（約８０％）、検証パーティション（約１０％）およびテスト（約１０％）パーティションに分ける。データ漏れを回避するために、これらのパーティションは試料レベルで分割し、すなわちある試料に対して行われる全てのＯＣＴシステムおよびスコープデータ取得は同じパーティションにあるようにする。偶然に容易なテストパーティションを選ぶという可能性をなくすために、層化ｋ分割交差検証（ｋ＝５）を行い、分割間に有意差は認められなかった。これらの３つの特徴について、ＳＶＭは粘液性クラスと「ＭＥＥなし」クラスとの間に妥当な量の分離を示している。漿液性クラスは図６に示すように他のクラスの両方と重複を有し、「ＭＥＥなし」とはさらに重複している。
【0026】
図７Ａ～図７Ｃに示すようにＣＮＮを同様に行ったが、ＳＶＭよりも僅かに良好であった。ＣＮＮおよびＳＶＭはどちらも粘液性および「ＭＥＥなし」試料を特定するのに優れている（Ｆ１スコア：ＣＮＮ：９６．７９％の粘液性、９０．８４％の「ＭＥＥなし」；ＳＶＭ：９７．３８％の粘液性、８８．２９％の「ＭＥＥなし」）。しかし、どちらのモデルも漿液性をそれ以外の２つのクラスから正確に判別することは非常に難しい。これを評価するために多段階ＳＶＭモデルは、２つの２値ＳＶＭ：（１）ＭＥＥに対して「ＭＥＥなし」および（２）漿液性に対して粘液性を含む。このモデルは多クラスＳＶＭと同等に行った（Ｆ１スコア：９７．１６％の粘液性、８８．３３％の「ＭＥＥなし」；ＭＥＥの正確性に対して８７．４３％の「ＭＥＥなし」、漿液性の正確性に対して９２．６７％の粘液性）。刊行物と比較して、これらの値は、（１）主観的盲検読影分析および「ＭＥＥなし」、漿液性滲出液（例えばＯＭＥ）、および非漿液性滲出液（例えばＡＯＭおよび粘液性）としてのＯＣＴ画像の分類では約９０％の正確性に匹敵しており、かつ（２）主観的盲検読影分析および標準耳鏡検査画像の分類では約５０％の正確性よりも高い。
【0027】
ＣＮＮが画像分類のためにディープスキャンの妥当な部分を使用していることを確認するために、ディープスキャンの様々な領域から画素を除去することによりアブレーション研究を行った。ＴＭの真下の信号を除去した場合（値＝０）、予期したとおり当該モデルは「ＭＥＥなし」とＭＥＥ試料とを判別することができない。図７Ｃに示すように、これらの結果は、ＴＭの下の信号（すなわち中耳）がディープスキャンのＣＮＮ分類に対して最も影響を有し、これはディープスキャンを評価するためのＯＣＴ専門家分析技術に適し、かつ一致していることを示している。
【0028】
単純な手動で設計された特徴およびＣＮＮに対して訓練したＳＶＭの全体的な好性能は、ＯＣＴシステムおよびスコープがユーザー診断の正確性を高めるための本質的に高い診断可能性を有するモダリティであることを示している。ＣＮＮはＳＶＭよりも僅かに優れていたが、この相違は収集されたさらなるデータにより広がり、従ってＣＮＮを用いて進める。ＳＶＭおよびＣＮＮモデルの性能は、ＯＣＴシステムおよびスコープにおけるそのようなモデルの使用が、「ＭＥＥなし」および粘液性滲出液の検出のための優れた診断正確性を促進するという仮説を支持しているが、ＯＭＥ（すなわち漿液性滲出液）の正確な診断にはさらなる開発が必要である。本方法は、優れた分類性能を達成するために新規なマルチモーダル機械学習モデルへの耳鏡検査画像の組み込みを含む。さらに、小児科のプライマリケア環境において提案されている臨床的研究を行うことは、ＴＴＰ術の時点で滅多に見られない化膿性滲出液を有する患者からデータを収集するために必須である。流体内容物の密度の上昇によるより高い濁りにより、粘液性滲出液の増加を超えるＡＯＭ（化膿性）ディープスキャンによる耳からの散乱信号の増加が生じる。
【実施例】
【0029】
以下の実施例は、ここに特許請求されている化合物、組成物、物品、装置および／または方法を作製および評価する方法に関する完全な開示および説明を当業者に提供するために記載されており、本発明の単に例示であることを意図しており、本発明者らが自身の発明とみなしているものの範囲を限定することは意図していない。但し当業者であれば、本開示を考慮して、開示されている具体的な実施形態において多くの変形が可能であり、かつ本発明の趣旨および範囲から逸脱することなく同様または類似の結果をなお得ることができることを理解しているはずである。
【0030】
数（例えば、量、温度など）に関して正確さを保証するように努めたが、若干の誤差および偏差は考慮されるべきである。別段の指示がない限り、部とは重量部であり、温度は摂氏温度（℃）または周囲温度であり、圧力は大気圧またはそれに近い圧力である。
【0031】
これらの実施例の目的は、ユーザーの専門知識に関わらず品質データ収集の信頼できる容易さおよびＯＣＴシステムおよびスコープ画像（耳鏡検査およびディープスキャン）の正確な支援解釈を達成するための新規なマルチモーダルイメージング機械学習手法の開発および評価を例示することにある。そのような開発により、最終的に耳の健康を回復させるための有効な治療計画に焦点が当てられた診断正確性および臨床結果に対する影響を評価するための臨床展開に適したロバストなＣＮＮモデルを得ることができた。
【0032】
実施例１：ディープラーニングモデルＯＣＴシステムおよびスコープソフトウェアを用いて画像取得をガイドすることによるＯＣＴシステムおよびスコープの信頼できるユーザビリティ
【0033】
ＯＣＴシステムおよびスコープは、様々な耳鏡検査専門知識レベルの臨床医が自身の既存のワークフローの中で品質データを容易かつ確実に収集することができる場合に限り、標準治療を向上させることができる。患者の検査を行うためにＯＣＴシステムおよびスコープを使用することと標準的な耳鏡を使用することとの主な違いは、ユーザーが照準をより認識しなければならない点にある。ＯＣＴシステムおよびスコープの場合、ディープスキャンが取得される位置を示すために耳鏡検査の視野の中心に十字線が表示される（図４Ａを参照）。ＴＭをターゲット関心領域（ＲＯＩ）としてリアルタイムマーキングすることができるソフトウェアを開発およびテストするためのディープラーニング方法は、より容易な照準および診断品質データ取得ならびに高速ユーティリティを促進する。
【0034】
実験設計および方法：
モデル訓練のためのデータアノテーション
実施例１からのラベル付けされたデータを、ＲＯＩの自動検出のためのモデルを開発および訓練するために使用する。実施例２のためのデータアノテーションは、ＴＭを耳鏡検査画像の残りの部分から分離するマスクを定めることを含む。全てのビデオ耳鏡検査フレームのための耳鏡検査専門家によるＴＭの手動アノテーションはコストおよび時間がかかるため、２つの半自動化方法を使用する。能動的輪郭アルゴリズムを使用して、画像編集アプリケーションにおけるスマート選択ツールと同様に、粗い手動のアウトラインを自動的に微調整することによりアノテーションを促進することができる。さらに、セグメンテーションネットワークを手動アノテーションについて訓練し、アノテーションなしデータに対して当該モデルを実行する。従って専門家は、アノテーション全体を手動で作成する代わりに、セグメンテーション提案を受け入れるか修正することのみを必要とする。この反復技法は対話型セグメンテーションである。
モデル訓練のためのデータアノテーション
実施例１からのラベル付けされたデータを、ＲＯＩの自動検出のためのモデルを開発および訓練するために使用する。実施例２のためのデータアノテーションは、ＴＭを耳鏡検査画像の残りの部分から分離するマスクを定めることを含む。全てのビデオ耳鏡検査フレームのための耳鏡検査専門家によるＴＭの手動アノテーションはコストおよび時間がかかるため、２つの半自動化方法を使用する。能動的輪郭アルゴリズムを使用して、画像編集アプリケーションにおけるスマート選択ツールと同様に、粗い手動のアウトラインを自動的に微調整することによりアノテーションを促進することができる。さらに、セグメンテーションネットワークを手動アノテーションについて訓練し、アノテーションなしデータに対して当該モデルを実行する。従って専門家は、アノテーション全体を手動で作成する代わりに、セグメンテーション提案を受け入れるか修正することのみを必要とする。この反復技法は対話型セグメンテーションである。
【0035】
関心領域セグメンテーションアルゴリズムならびにディープラーニングＯＣＴシステムおよびスコープソフトウェアの統合
図９に示すように、このディープネットワークの提案されているアーキテクチャは、実施例２および実施例３の目的の両方を考慮に入れると共に、得られるＯＣＴシステムおよびスコープソフトウェアの実装も考慮する。当該層を２つの段階、すなわちエンコーダ段階およびデコーダ段階に分ける。エンコーダ段階は入力された耳鏡検査画像を特徴量に変換するＡｌｅｘ－ｎｅｔ型構造を含む。次いでデコーダ段階は、スキップ接続と組み合わせられた一連の学習されたアップサンプリング層を介してこれらの特徴量をターゲットマスクの中にアップサンプルする。損失関数はＤｉｃｅ損失であり、ネットワークはＡｄａｍオプティマイザーを用いて最適化されるものとする。残りのアーキテクチャの詳細は実施例３で考察されている。この情報に基づき、得られたディープラーニングＯＣＴシステムおよびスコープソフトウェアは、リアルタイムで耳鏡検査画像の上にターゲットマスクのアウトラインを描いて、ＯＣＴシステムおよびスコープ操作者が十字線に照準を合わせるためのリアルタイムイメージングターゲットを容易にすることができる。このアーキテクチャは、セグメンテーションおよび分類タスクを単一のネットワークに組み合わせることにより、別個のネットワークと比較してセグメンテーションおよび分類性能の両方が向上することを示唆する証拠から生まれた。さらに、耳鏡検査（緑色、赤色）およびディープスキャンデータ（青色）を評価し、３つの診断のクラスの１つに分類する（茶色）。
図９に示すように、このディープネットワークの提案されているアーキテクチャは、実施例２および実施例３の目的の両方を考慮に入れると共に、得られるＯＣＴシステムおよびスコープソフトウェアの実装も考慮する。当該層を２つの段階、すなわちエンコーダ段階およびデコーダ段階に分ける。エンコーダ段階は入力された耳鏡検査画像を特徴量に変換するＡｌｅｘ－ｎｅｔ型構造を含む。次いでデコーダ段階は、スキップ接続と組み合わせられた一連の学習されたアップサンプリング層を介してこれらの特徴量をターゲットマスクの中にアップサンプルする。損失関数はＤｉｃｅ損失であり、ネットワークはＡｄａｍオプティマイザーを用いて最適化されるものとする。残りのアーキテクチャの詳細は実施例３で考察されている。この情報に基づき、得られたディープラーニングＯＣＴシステムおよびスコープソフトウェアは、リアルタイムで耳鏡検査画像の上にターゲットマスクのアウトラインを描いて、ＯＣＴシステムおよびスコープ操作者が十字線に照準を合わせるためのリアルタイムイメージングターゲットを容易にすることができる。このアーキテクチャは、セグメンテーションおよび分類タスクを単一のネットワークに組み合わせることにより、別個のネットワークと比較してセグメンテーションおよび分類性能の両方が向上することを示唆する証拠から生まれた。さらに、耳鏡検査（緑色、赤色）およびディープスキャンデータ（青色）を評価し、３つの診断のクラスの１つに分類する（茶色）。
【0036】
ＰｙｔｈｏｎおよびＴｅｎｓｏｒＦｌｏｗ ２．０またはそれ以降をディープラーニングソフトウェアスタックとして使用する。最新のＣＵＤＡおよびｃｕＤＮＮライブラリーを用いたソリッドステートドライブ付きＵｂｕｎｔｕワークステーション上で消費者グレードのＮｖｉｄｉａグラフィックスカードを用いて当該モデルを訓練する。取得されたデータの約８０％を訓練のために使用し、取得されたデータの１０％を当該モデルおよびハイパーパラメータの改良のために使用し、取得されたデータの１０％をテストのために使用する。画素単位での正確性のために、当該モデルから生成されたセグメンテーションマスクをユーザー生成されたセグメンテーションマスクと比較する。ＴｅｎｓｏｒＦｌｏｗ ｌｉｔｅライブラリーを用いてＰｙｔｈｏｎで開発されたモデルとＣ＋＋ベースのアプリケーションとの統合を行ってデスクトップコンピュータ上で訓練し、かつＯＣＴシステムおよびスコープの内部などへの組込み型システムで実行することができる携帯可能なモデルファイルを生成する。初期のプロトタイピングは、各フォワードパスが約９００万回の浮動小数点積和演算を実行すると推定する。従って、３０フレーム／秒でのリアルタイム演算は１秒当たり約２億７０００万回の浮動小数点の積和演算を必要とする。この計算負荷は、１コア当たり１０億回のフロップス（ＦＬＯＰＳ）の総推定ＣＰＵ処理能力を有する既存のＯＣＴシステムおよびスコープハードウェアの理論上の能力の範囲内である。
【0037】
ディープラーニングＯＣＴシステムおよびスコープソフトウェアのユーザビリティアップグレードを含むＯＣＴシステムおよびスコープの臨床的なユーザーテストおよび開発
【0038】
多数のマルチモーダル耳画像からのデータを用いて、初期のディープラーニングＯＣＴシステムおよびスコープソフトウェアのユーザビリティアップグレードを開発し、かつソフトウェアのアップグレードにより臨床的ＯＣＴシステムおよびスコープ装置に一体化させる。ディープラーニングＯＣＴシステムおよびスコープソフトウェアの使用を含む／含まないＯＣＴシステムおよびスコープは、プライマリケア医、医療助手およびナースプラクティショナーからなるユーザーグループをガイドする。臨床チームメンバーには、この新しい操作モードを有するＯＣＴシステムおよびスコープを使用するための短いチュートリアルおよび訓練実践セッションが与えられる。各臨床ユーザーは全部で１０人の患者のデータを収集し、そのうち５人にディープラーニングＯＣＴシステムおよびスコープソフトウェアを使用し、５人にそれらを使用しなかった。以下の定量的測定基準：１）耳の検査後の短い定量的調査によるユーザー経験および最後により広く考察するためのフォーカスグループ、２）ユーザー内およびユーザー間の品質データ収集率の計算、ならびに３）耳鏡検査ビデオ分析による外耳道内へのプローブの最初の挿入からの品質データ収集を達成するために必要な持続時間を用いて、ディープラーニングＯＣＴシステムおよびスコープソフトウェアの影響を分析する。
【0039】
１年間にわたる２種類の臨床データを収集し、かつアノテーションしたら、当該モデルを訓練し、改良し、かつ完全な臨床データセットに対してテストする（それぞれ８０／１０／１０分割）。次いで、当該モデルをＯＣＴシステムおよびスコープソフトウェアに実装し、臨床的ユーザーテスト結果およびフィードバックにより、ディープラーニングＯＣＴシステムおよびスコープソフトウェアユーザビリティ設計機構を動かす。
【0040】
データ分析および解釈：
３つの重要な工程、すなわち（ａ）セグメンテーションのためのディープラーニングＯＣＴシステムおよびスコープソフトウェアモデル開発、（ｂ）ＯＣＴシステムおよびスコープソフトウェアの実装および統合、ならびに（ｃ）臨床現場における反復性能テストに対してデータ分析およびテストを行う。ＣＮＮについてのセグメンテーション正確性をＤｉｃｅスコアを用いて計算し、ゴールドスタンダードアノテーションと比較する。臨床成績を上に定められている３つの測定基準を用いて評価する。各測定基準のためのスコアを別々に割り当て、ディープラーニングＯＣＴシステムおよびスコープソフトウェアを用いる場合と用いない場合のスコアの違いを記録する。
３つの重要な工程、すなわち（ａ）セグメンテーションのためのディープラーニングＯＣＴシステムおよびスコープソフトウェアモデル開発、（ｂ）ＯＣＴシステムおよびスコープソフトウェアの実装および統合、ならびに（ｃ）臨床現場における反復性能テストに対してデータ分析およびテストを行う。ＣＮＮについてのセグメンテーション正確性をＤｉｃｅスコアを用いて計算し、ゴールドスタンダードアノテーションと比較する。臨床成績を上に定められている３つの測定基準を用いて評価する。各測定基準のためのスコアを別々に割り当て、ディープラーニングＯＣＴシステムおよびスコープソフトウェアを用いる場合と用いない場合のスコアの違いを記録する。
【0041】
他の手法：
他のオプションは異なるネットワークアーキテクチャ、特にセグメンテーションおよび分類が別々に行われるものを使用する。また、本システムに全ての他の動作が実装されているが、提案されているネットワークが既存のＯＣＴシステムおよびスコープハードウェアのために計算的に高価になり過ぎる場合、他の手法は、ＳＤ－Ｕｎｅｔ１０１で開始する計算効率のために設計された異なるニューラルネットワークアーキテクチャを使用することができる。また、別の１６０億回のフロップス（ＦＬＯＰＳ）のためにオンボードＧＰＵを使用することができ、ディープニューラルネットワークはＧＰＵ加速度のための優れた候補である。
他のオプションは異なるネットワークアーキテクチャ、特にセグメンテーションおよび分類が別々に行われるものを使用する。また、本システムに全ての他の動作が実装されているが、提案されているネットワークが既存のＯＣＴシステムおよびスコープハードウェアのために計算的に高価になり過ぎる場合、他の手法は、ＳＤ－Ｕｎｅｔ１０１で開始する計算効率のために設計された異なるニューラルネットワークアーキテクチャを使用することができる。また、別の１６０億回のフロップス（ＦＬＯＰＳ）のためにオンボードＧＰＵを使用することができ、ディープニューラルネットワークはＧＰＵ加速度のための優れた候補である。
【0042】
（１）定量的ユーザー経験調査およびフォーカスグループフィードバック、（２）ユーザー内およびユーザー間の品質データ収集率、および（３）耳鏡検査ビデオの分析による外耳道内へのプローブの最初の挿入から品質データ収集までの時間によって測定されるような当該装置のユーザビリティを高める。これらの測定基準のそれぞれにおいて少なくとも２０％の向上が見込まれる。
【0043】
実施例２：ＯＣＴシステムおよびスコープならびに得られた耳鏡検査およびディープスキャンデータを用いて診断補助を与えるためのマルチモーダルディープラーニングモデル
【0044】
ＯＣＴシステムおよびスコープのためのＣＡＤ、具体的には機械学習アルゴリズムの使用は、全てのユーザーの診断能力を高めることを目的としている。そのようなマシン支援は、耳鏡検査およびディープスキャン画像の両方を有するＯＣＴシステムおよびスコープのようなマルチモダリティ設定において特に役立つ。耳模型モデルにおいてイメージングされるエクスビボでのヒトのＭＥＥを用いて、先に開発された成功モデルならびに開発された耳鏡検査分類作業を構築したら、Ａラインのグループおよび対応する耳鏡検査画像を異なる疾患管理経路を提供するクラスに分類するように、インビボ臨床データを用いてＣＮＮを訓練する。
【0045】
マルチモーダルＯＣＴシステムおよびスコープデータ（耳鏡検査およびディープスキャン画像）を３方向分類のために使用して最終的に診断を支援する。耳鏡検査画像への以下のデータ拡張技術：ノイズの追加、水平および垂直スケーリング、水平ミラーリング（左右差ラベルを調整するために注意を払う）、輝度およびコントラスト調整、回転ならびに異なる耳鏡サイズを模倣するための円形クロップを用いる。ディープスキャンへの以下のデータ拡張技術：ノイズの追加、垂直および水平スケーリング、輝度およびコントラスト調整を用いる。データ拡張に加えて、先に行ったようにディープスキャンを以下の方法、すなわち各Ａラインの最大強度信号を画像の上に配置するための強度正規化およびＴＭ位置正規化において前処理する。
【0046】
画像分類アルゴリズムならびにＯＣＴシステムおよびスコープソフトウェアの統合
実施例３は、実施例２に記載されているＵ－ｎｅｔのエンコーダ部分によって生成された特徴量を使用する。図８Ａ～図８Ｃは、多層Ｕ－ｎｅｔを用いた耳鏡検査のセグメンテーションに対する結果を示す耳鏡からの写真であり、図８Ａは元の耳鏡画像であり、図８Ｂは鼓膜のヒューマンアノテーションであり、図８Ｃは０．９６のＤｉｃｅスコアを有する鼓膜のＡＩアノテーションである。Ｄｉｃｅスコアは、手動でアノテーションされ、かつ機械でセグメンテーションされた例のためによく使用される。セグメンテーションのために使用される基本的な構造はＵ－ｎｅｔアーキテクチャを含み、１つの特定の事例ではＵ－ｎｅｔアーキテクチャのエンコーダおよびデコーダアームの両方に畳み込み、プーリングおよび空間ドロップアウトを含む６つの層を含んでいた。
実施例３は、実施例２に記載されているＵ－ｎｅｔのエンコーダ部分によって生成された特徴量を使用する。図８Ａ～図８Ｃは、多層Ｕ－ｎｅｔを用いた耳鏡検査のセグメンテーションに対する結果を示す耳鏡からの写真であり、図８Ａは元の耳鏡画像であり、図８Ｂは鼓膜のヒューマンアノテーションであり、図８Ｃは０．９６のＤｉｃｅスコアを有する鼓膜のＡＩアノテーションである。Ｄｉｃｅスコアは、手動でアノテーションされ、かつ機械でセグメンテーションされた例のためによく使用される。セグメンテーションのために使用される基本的な構造はＵ－ｎｅｔアーキテクチャを含み、１つの特定の事例ではＵ－ｎｅｔアーキテクチャのエンコーダおよびデコーダアームの両方に畳み込み、プーリングおよび空間ドロップアウトを含む６つの層を含んでいた。
【0047】
これらの特徴量は耳鏡検査画像から得られ、ディープスキャン分類ネットワークから得られた特徴量と組み合わせてもよい。分類ネットワークは複数の３×１畳み込み、バッチ正規化、ドロップアウトおよび２×１最大値プーリング演算からなる。これらの演算は個々のＡラインから特徴量を抽出する。次いで、耳鏡検査画像セグメンテーションＵ－ｎｅｔから得られた特徴量と連結する前に複数のＡラインからの特徴量を一緒に平均し、次いで分類ヘッドに供給する。組み合わせた特徴量により、多クラス分類層が分類タスクのために耳鏡検査およびディープスキャン画像の両方からの情報を使用することが可能になる。セグメンテーションおよび分類タスクの両方のために同じエンコーダネットワークを使用することにより計算効率を高め、かつ一般化可能性を高める。アルゴリズム開発ツールは実施例２に記載されているものと同一である。分類ニューラルネットワークそれ自体による各フォワードパスは、３０ＨｚのＯＣＴシステムおよびスコープライン速度のために１秒当たり３０００万回の演算に対応する約１００万回の浮動小数点積和演算を実行する。
【0048】
当該モデルからの結果を、耳鏡を用いる医師およびＯＣＴ専門家からの検証済みの結果と比較して当該モデルの正確性を推定する。これらの値を、過去の調査において臨床医により分析された場合にＯＣＴシステムおよびスコープにより生成された臨床データセットから見られる結果、耳鏡検査分類アルゴリズムからの過去の結果ならびに他の医療装置および診断技術の使用により生成された公開されている臨床的統計とも比較する。本方法は機械学習の使用と組み合わせた場合に、従来の耳鏡検査、気密耳鏡検査または鼓膜聴力検査の診断結果よりもＯＣＴシステムおよびスコープによる優れた診断能力を定量的に証明する（ＭＥＥの特定のために９０％以上の正確性およびＯＭＥまたはＡＯＭの分類のために８０％以上の正確性）。
【0049】
訓練のために実施例１のデータの８０％、ハイパーパラメータ最適化のために１０％およびテストのために１０％を用いて、「ＭＥＥなし」に対してＭＥＥを分類するために９０％以上の正確性、ＯＭＥに対してＡＯＭを分類するために８０％以上の正確性を達成するために、ＯＣＴシステムおよびスコープデータ（耳鏡検査およびディープスキャン）の分類のためのＣＮＮモデルを開発する。
【0050】
結論
上に記載されている本システムおよび方法は、（１）ディープラーニングＯＣＴシステムおよびスコープソフトウェア、ユーザーの耳鏡検査専門知識に関わらず、ＯＣＴシステムおよびスコープの信頼できる品質データの収集し易さを高めるためのディープラーニング手法と、（２）ＭＥＥの存在／不存在を正確に特定することができるロバストなＣＮＮならびに現在の臨床的標準治療技術、すなわち基本的な耳鏡検査、気密耳鏡検査または鼓膜聴力検査のために報告されているものよりも優れた分類とを含む。
上に記載されている本システムおよび方法は、（１）ディープラーニングＯＣＴシステムおよびスコープソフトウェア、ユーザーの耳鏡検査専門知識に関わらず、ＯＣＴシステムおよびスコープの信頼できる品質データの収集し易さを高めるためのディープラーニング手法と、（２）ＭＥＥの存在／不存在を正確に特定することができるロバストなＣＮＮならびに現在の臨床的標準治療技術、すなわち基本的な耳鏡検査、気密耳鏡検査または鼓膜聴力検査のために報告されているものよりも優れた分類とを含む。
【0051】
実施例：機械学習データ
対象：耳関連の訴えを有する来院予定の小児科の患者（４歳以下）
場所：ピッツバーグ大学医療センター：小児病院
対象：耳関連の訴えを有する来院予定の小児科の患者（４歳以下）
場所：ピッツバーグ大学医療センター：小児病院
【0052】
データ収集：
インフォームドコンセント後に、小児科の対象をＯｔｏＳｉｇｈｔ中耳スコープを用いて主治医が両側から撮影し（両耳）、対応する臨床および診断データを機械学習開発および分析のためのその後の画像分類のために電子データベースの形態で記録する。
インフォームドコンセント後に、小児科の対象をＯｔｏＳｉｇｈｔ中耳スコープを用いて主治医が両側から撮影し（両耳）、対応する臨床および診断データを機械学習開発および分析のためのその後の画像分類のために電子データベースの形態で記録する。
【0053】
図１０Ａは左耳のＯＣＴ画像および耳鏡画像であり、図１０Ｂは正常すなわち健康なＴＭを示す４５ヶ月齢の対象の右耳のＯＣＴ画像および耳鏡画像である。図１１Ａは左耳のＯＣＴ画像および耳鏡画像であり、図１１Ｂ急性耳炎を示す８ヶ月齢の対象の右耳のＯＣＴ画像および耳鏡画像である。機械学習アルゴリズムは、医師によって診断される耳鏡画像と相関させた場合にＯＣＴ画像から急性耳炎を正確に特定することができた。
【0054】
システム
上で使用されている「コンポーネント」および「システム」という用語は、コンピュータ関連の実体、ハードウェア、ハードウェアおよびソフトウェアの組み合わせ、ソフトウェアまたは実行中のソフトウェアのいずれかを指すことを意図している。例えばコンポーネントは限定されるものではないが、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、スレッド、プログラムおよび／またはコンピュータであってもよい。例示として、サーバ上で実行中のアプリケーションおよびそのサーバの両方がコンポーネントであってもよい。１つ以上のコンポーネントがプロセスおよび／またはスレッド内に存在していてもよく、コンポーネントは１つのコンピュータ上に局在化されていてもよく、かつ／または２つ以上のコンピュータ間に分散されていてもよい。
上で使用されている「コンポーネント」および「システム」という用語は、コンピュータ関連の実体、ハードウェア、ハードウェアおよびソフトウェアの組み合わせ、ソフトウェアまたは実行中のソフトウェアのいずれかを指すことを意図している。例えばコンポーネントは限定されるものではないが、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、スレッド、プログラムおよび／またはコンピュータであってもよい。例示として、サーバ上で実行中のアプリケーションおよびそのサーバの両方がコンポーネントであってもよい。１つ以上のコンポーネントがプロセスおよび／またはスレッド内に存在していてもよく、コンポーネントは１つのコンピュータ上に局在化されていてもよく、かつ／または２つ以上のコンピュータ間に分散されていてもよい。
【0055】
一般にプログラムモジュールは、特定のタスクを実行するか特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。さらに当業者であれば、本発明の方法は、それらのそれぞれを１つ以上の関連する装置に動作可能に結合することができる単一のプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータならびにパーソナルコンピュータ、ハンドヘルド計算装置およびマイクロプロセッサベースもしくはプログラム可能な大衆消費電子製品などを含む、他のコンピュータシステム構成により実施できることが分かるであろう。
【0056】
本技術革新の例示されている態様は、特定のタスクが通信ネットワークを介してリンクされている遠隔処理装置によって実行される分散コンピューティング環境で実施してもよい。分散コンピューティング環境では、プログラムモジュールはローカルおよび遠隔メモリ記憶装置の両方に位置していてもよい。
【0057】
コンピュータは典型的に様々なコンピュータ可読媒体を備える。コンピュータ可読媒体は、コンピュータによってアクセスすることができるどんな利用可能な媒体であってもよく、揮発性および非揮発性媒体の両方、取外し可能および取外し不可能な媒体を含む。例として限定されるものではないが、コンピュータ可読媒体はコンピュータ記憶媒体および通信媒体を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報の記憶ためにあらゆる方法または技術に実装される揮発性および非揮発性、取外し可能および取外し不可能な媒体を含む。コンピュータ記憶媒体としては限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、あるいは所望の情報を記憶するために使用することができ、かつコンピュータによってアクセスすることができるあらゆる他の媒体が挙げられる。
【0058】
通信媒体は典型的に、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを搬送波または他の搬送機構などの変調データ信号に具体化し、かつあらゆる情報伝達媒体を含む。「変調データ信号」という用語は、その特性セットの１つ以上を有するか、信号中の情報を符号化するような方法で変更されている信号を意味する。例として限定されるものではないが、通信媒体としては有線ネットワークまたは直接有線接続などの有線媒体ならびに音響、ＲＦ、赤外線および他の無線媒体などの無線媒体が挙げられる。上記のいずれかの組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。
【0059】
ソフトウェアはアプリケーションおよびアルゴリズムを含む。ソフトウェアはスマートフォン、タブレットまたはパーソナルコンピュータ、クラウド、ウェアラブル装置または他の計算もしくは処理装置に実装されていてもよい。ソフトウェアはログ、ジャーナル、表、ゲーム、記録、通信、ＳＭＳメッセージ、ウェブサイト、チャート、対話型ツール、ソーシャルネットワーク、ＶｏＩＰ（ボイスオーバーインターネットプロトコル）、電子メールおよびビデオを含んでもよい。
【0060】
いくつかの実施形態では、本明細書に記載されている機能またはプロセスのいくつかまたは全ては、コンピュータ可読プログラムコードから形成されており、かつコンピュータ可読媒体に具体化されているコンピュータプログラムによって行われる。「コンピュータ可読プログラムコード」という語句は、ソースコード、オブジェクトコード、実行可能コード、ファームウェア、ソフトウェアなどを含む任意の種類のコンピュータコードを含む。「コンピュータ可読媒体」という語句は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）またはあらゆる他の種類のメモリなどのコンピュータによってアクセスすることができる任意の種類の媒体を含む。
【0061】
本明細書において言及されている全ての刊行物および特許出願は、あたかも各個々の刊行物または特許出願が参照により本明細書に組み込まれることが具体的に、かつ個々に示されているのと同程度に、参照により本明細書に組み込まれる。
【0062】
本発明を様々な実施形態に関連して説明してきたが、当然のことながら本発明はさらなる修正が可能である。本出願は、一般に本発明の原理に従い、かつ本発明が属する技術分野において公知の実施および慣行の範囲内にあるものとして本開示からのそのような逸脱を含む本発明のあらゆる変形、使用または改変を包含することを意図している。
【図1】
【図2-1】
【図2-2】
【図2-3】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9-1】
【図9-2】
【図10】
【図11】
【国際調査報告】