▶ オハイオ ステート イノベーション ファウンデーションの特許一覧
特表2024-507777視覚的に説明的な単語を使用して耳の病態を診断するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】視覚的に説明的な単語を使用して耳の病態を診断するシステム及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20240214BHJP
A61B 1/227 20060101ALI20240214BHJP
【ＦＩ】
A61B1/045 614
A61B1/227
A61B1/045 642
A61B1/045 621
A61B1/045 618
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023548791
(86)(22)【出願日】2021-12-08
(85)【翻訳文提出日】2023-09-20
(86)【国際出願番号】 US2021062409
(87)【国際公開番号】W WO2022173499
(87)【国際公開日】2022-08-18
(31)【優先権主張番号】63/148,763
(32)【優先日】2021-02-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】516046846
【氏名又は名称】オハイオ ステート イノベーション ファウンデーション
(74)【代理人】
【識別番号】100104411
【弁理士】
【氏名又は名称】矢口 太郎
(72)【発明者】
【氏名】グルカン、メティン
(72)【発明者】
【氏名】モバリー、アーロン
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA11
4C161CC06
4C161HH51
4C161SS21
4C161WW04
4C161YY16
(57)【要約】
本明細書では、被験者の鼓膜の視覚的に説明的な単語を使用することによって広範囲な鼓膜状態を検出するシステム及び方法を開示する。
【選択図】図７
【選択図】図７
【特許請求の範囲】
【請求項1】
説明的な単語から鼓膜の病態を分類するための方法であって、被験者の鼓膜状態を説明する１つまたは複数の説明的な単語を受信する工程と、
コンピューティングデバイスによって、複数の鼓膜状態及び対応する単語群からなるモデルであって、各単語群が、人工知能アルゴリズムによって判定された前記複数の鼓膜状態のそれぞれに最も頻繁に関連付けられた単語からなる、前記モデルを使用して、前記被験者の前記鼓膜状態を説明する受信された前記１つまたは複数の説明的な単語に基づいて、前記被験者の鼓膜の診断を判定する判定する工程と、
を含む、前記方法。
【請求項2】
前記１つまたは複数の説明的な単語が医療提供者の音声として電子的に受信される、請求項１に記載の方法。
【請求項3】
前記１つまたは複数の説明的な単語が文字として電子的に受信される、請求項１に記載の方法。
【請求項4】
前記１つまたは複数の説明的な単語がリアルタイムで受信される、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記１つまたは複数の説明的な単語が、時間的に後に記録及び受信される、請求項１から３のいずれか一項に記載の方法。
【請求項6】
前記モデルが、前記複数の鼓膜状態を有する複数の鼓膜画像を取得し、前記複数の鼓膜状態のそれぞれについての鼓膜の合成画像を形成し、専門家に各合成画像とそれに対応する鼓膜状態の記述レポートとを提供してもらい、前記人工知能アルゴリズムを使用して各専門家の記述レポートを分析し、対応する鼓膜画像に最も頻繁に関連付けられた単語の前記単語群を判定する工程によって開発される、請求項１から５のいずれか一項に記載の方法。
【請求項7】
各専門家の記述レポートを前処理するために、１つまたは複数の自然言語処理（ＮＬＰ）ツールが使用される、請求項６に記載の方法。
【請求項8】
前記ＮＬＰツールが、トークン化、ストップワード除去、単語正規化、及び句読点消去のうちの１つまたは複数を含む、請求項７に記載の方法。
【請求項9】
各前処理された専門家の記述レポートに（用語頻度カウンタとしても知られる）単語バッグ（ＢｏＷ）モデルを適用して、その特定の単語が各レポートに出現する回数を取得して、その頻度を暗示する、請求項７または請求項８のいずれか一項に記載の方法。
【請求項10】
前記単語群が、前記ＢｏＷモデルによって判定されたように、各鼓膜状態について単語カウントが最も多い５つの単語で構成される、請求項９に記載の方法。
【請求項11】
前記モデルが訓練されると、前記モデルが、追加の鼓膜画像を特徴付ける単語群を自動的に作成することができる、請求項６から１０のいずれか一項に記載の方法。
【請求項12】
前記被験者の前記鼓膜状態を説明する前記受信した１つまたは複数の説明的な単語に基づいて前記被験者の前記鼓膜の前記診断を判定する工程が、近傍成分分析（ＮＣＡ）を使用して、前記鼓膜状態を説明する前記受信した１つまたは複数の説明的な単語を前記単語群と比較することを含み、ＮＣＡが、ｋ最近傍性能を最大化するデータの線形変換を学習する、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
前記モデルが、前記複数の鼓膜状態の各々をその対応する単語群と関連付けるデータベースを含む、請求項１から１２のいずれか一項に記載の方法。
【請求項14】
前記被験者の前記鼓膜の前記診断が、正常、滲出、退縮、または鼓膜硬化症のうちの１つである、請求項１から１３のいずれか一項に記載の方法。
【請求項15】
前記被験者の前記鼓膜状態を説明する１つまたは複数の説明的な単語を受信する工程が、医療提供者が前記説明的な単語をスマートデバイスに発話するまたはタイプすることであって、前記説明的な単語がその後にネットワークを介して送信される、前記発話するまたはタイプすること、を含む、請求項１から１４のいずれか一項に記載の方法。
【請求項16】
前記スマートデバイスがスマートフォンを含む、請求項１５に記載の方法。
【請求項17】
前記ネットワークの少なくとも一部がクラウドコンピューティングアーキテクチャを含む、請求項１５または１６に記載の方法。
【請求項18】
前記医療提供者が、前記被験者の前記鼓膜画像を見ながら、前記説明的な単語を前記スマートデバイスに発話するまたはタイプする、請求項１５から１７のいずれか一項に記載の方法。
【請求項19】
前記医療提供者が、耳鏡を使用して前記被験者の前記鼓膜を見ながら、前記説明的な単語を前記スマートデバイスに発話するまたはタイプする、請求項１５から１７のいずれか一項に記載の方法。
【請求項20】
説明的な単語から鼓膜の病態を分類するためのシステムであって、被験者の鼓膜を観察するように構成されたデバイスと、
メモリと通信するプロセッサであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに、
被験者の鼓膜状態を説明する１つまたは複数の説明的な単語を受信する工程と、
複数の鼓膜状態及び対応する単語群からなるモデルであって、各単語群が、人工知能アルゴリズムによって判定された前記複数の鼓膜状態のそれぞれに最も頻繁に関連付けられた単語からなる、前記モデルを使用して、前記被験者の前記鼓膜状態を説明する受信された前記１つまたは複数の説明的な単語に基づいて、前記被験者の鼓膜の診断を判定する工程と、
を実行させるコンピュータ実行可能命令を含む、前記プロセッサと、
を備える、前記システム。
【請求項21】
前記１つまたは複数の説明的な単語が、医療提供者の音声として電子的に受信される、請求項２０に記載のシステム。
【請求項22】
前記１つまたは複数の説明的な単語が、文字として電子的に受信される、請求項２０に記載のシステム。
【請求項23】
前記１つまたは複数の説明的な単語がリアルタイムで受信される、請求項２０から２２のいずれか一項に記載のシステム。
【請求項24】
前記１つまたは複数の説明的な単語が、時間的に後に記録及び受信される、請求項２０から２２のいずれか一項に記載のシステム。
【請求項25】
前記モデルが、前記複数の鼓膜状態を有する複数の鼓膜画像を取得し、前記複数の鼓膜状態のそれぞれについての鼓膜の合成画像を形成し、専門家に各合成画像とそれに対応する鼓膜状態の記述レポートとを提供してもらい、前記人工知能アルゴリズムを使用して各専門家の記述レポートを分析し、対応する鼓膜画像に最も頻繁に関連付けられた単語の前記単語群を判定する工程によって開発される、請求項２０から２４のいずれか一項に記載のシステム。
【請求項26】
各専門家の記述レポートを前処理するために、１つまたは複数の自然言語処理（ＮＬＰ）ツールが使用される、請求項２５に記載のシステム。
【請求項27】
前記ＮＬＰツールが、トークン化、ストップワード除去、単語正規化、及び句読点消去のうちの１つまたは複数を含む、請求項２６に記載のシステム。
【請求項28】
各前処理された専門家の記述レポートに（用語頻度カウンタとしても知られる）単語バッグ（ＢｏＷ）モデルを適用して、その特定の単語が各レポートに出現する回数を取得して、その頻度を暗示する、請求項２６または請求項２７のいずれか一項に記載のシステム。
【請求項29】
前記単語群が、前記ＢｏＷモデルによって判定されたように、各鼓膜状態について単語カウントが最も多い５つの単語で構成される、請求項２８に記載のシステム。
【請求項30】
前記モデルが訓練されると、前記モデルが、追加の鼓膜画像を特徴付ける単語群を自動的に作成することができる、請求項２５から２９のいずれか一項に記載のシステム。
【請求項31】
前記プロセッサに、前記被験者の前記鼓膜状態を説明する前記受信した１つまたは複数の説明的な単語に基づいて前記被験者の前記鼓膜の前記診断を判定させるコンピュータ実行可能命令を実行する前記プロセッサが、前記プロセッサに、前記鼓膜状態を説明する前記受信した１つまたは複数の説明的な単語を、近傍成分分析（ＮＣＡ）を使用して前記単語群と比較させるコンピュータ可読命令を実行させる前記プロセッサを含み、ＮＣＡは、ｋ最近傍性能を最大化するデータの線形変換を学習する、請求項２０から３０のいずれか一項に記載のシステム。
【請求項32】
前記モデルが、前記複数の鼓膜状態の各々をその対応する単語群と関連付ける前記メモリに記憶されたデータベースを備える、請求項２０から３１のいずれか一項に記載のシステム。
【請求項33】
前記被験者の前記鼓膜の前記診断が、正常、滲出、退縮、または鼓膜硬化症のうちの１つである、請求項２０から３２のいずれか一項に記載のシステム。
【請求項34】
ネットワークに接続されたスマートデバイスをさらに備え、前記被験者の前記鼓膜状態を説明する１つまたは複数の説明的な単語を受信する工程が、医療提供者が前記説明的な単語を前記スマートデバイスに発話するまたはタイプすることであって、前記説明的な単語がその後に前記ネットワークを介して送信される、前記発話するまたはタイプすることを含む、請求項２０から３３のいずれか一項に記載のシステム。
【請求項35】
前記スマートデバイスがスマートフォンを含む、請求項３４に記載のシステム。
【請求項36】
前記ネットワークの少なくとも一部がクラウドコンピューティングアーキテクチャを含む、請求項３４または３５のいずれか一項に記載のシステム。
【請求項37】
前記医療提供者が、前記画像取込デバイスによって取り込まれた前記被験者の前記鼓膜画像を見ながら、前記説明的な単語を前記スマートデバイスに発話するまたはタイプする、請求項３４から３６のいずれか一項に記載のシステム。
【請求項38】
前記画像取込デバイスが耳鏡またはビデオ耳鏡を含む、請求項３７に記載のシステム。
【請求項39】
コンピュータ可読媒体に格納されたコンピュータ実行可能コードセクションを含む非一時的なコンピュータプログラム製品であって、前記コンピュータ実行可能コードセクションが、説明的な単語から鼓膜の病態を分類するための方法を実行するためのものであり、前記方法が、被験者の鼓膜状態を説明する１つまたは複数の説明的な単語を受信する工程と、
複数の鼓膜状態及び対応する単語群からなるモデルであって、各単語群が、人工知能アルゴリズムによって判定された前記複数の鼓膜状態のそれぞれに最も頻繁に関連付けられた単語からなる、前記モデルを使用して、前記被験者の前記鼓膜状態を説明する受信された前記１つまたは複数の説明的な単語に基づいて、前記被験者の鼓膜の診断を判定する工程と、
を含む、前記コンピュータプログラム製品。
【請求項40】
前記１つまたは複数の説明的な単語が医療提供者の音声として電子的に受信される、請求項３９に記載のコンピュータプログラム製品。
【請求項41】
前記１つまたは複数の説明的な単語が文字として電子的に受信される、請求項３９に記載のコンピュータプログラム製品。
【請求項42】
前記１つまたは複数の説明的な単語がリアルタイムで受信される、請求項３９から４１のいずれか一項に記載のコンピュータプログラム製品。
【請求項43】
前記１つまたは複数の説明的な単語が、時間的に後に記録及び受信される、請求項３９から４１のいずれか一項に記載のコンピュータプログラム製品。
【請求項44】
前記モデルが、前記複数の鼓膜状態を有する複数の鼓膜画像を取得し、前記複数の鼓膜状態のそれぞれについての鼓膜の合成画像を形成し、専門家に各合成画像とそれに対応する鼓膜状態の記述レポートとを提供してもらい、前記人工知能アルゴリズムを使用して各専門家の記述レポートを分析し、対応する鼓膜画像に最も頻繁に関連付けられた単語の前記単語群を判定する工程によって開発される、請求項３９から４３のいずれか一項に記載のコンピュータプログラム製品。
【請求項45】
各専門家の記述レポートを前処理するために、１つまたは複数の自然言語処理（ＮＬＰ）ツールが使用される、請求項４４に記載のコンピュータプログラム製品。
【請求項46】
前記ＮＬＰツールが、トークン化、ストップワード除去、単語正規化、及び句読点消去のうちの１つまたは複数を含む、請求項４５に記載のコンピュータプログラム製品。
【請求項47】
各前処理された専門家の記述レポートに（用語頻度カウンタとしても知られる）単語バッグ（ＢｏＷ）モデルを適用して、その特定の単語が各レポートに出現する回数を取得して、その頻度を暗示する、請求項４５または請求項４６のいずれか一項に記載のコンピュータプログラム製品。
【請求項48】
前記単語群が、前記ＢｏＷモデルによって判定されたように、各鼓膜状態について単語カウントが最も多い５つの単語で構成される、請求項４７に記載のコンピュータプログラム製品。
【請求項49】
前記モデルが訓練されると、前記モデルが、追加の鼓膜画像を特徴付ける単語群を自動的に作成することができる、請求項４４から４８のいずれか一項に記載のコンピュータプログラム製品。
【請求項50】
前記被験者の前記鼓膜状態を説明する前記受信した１つまたは複数の説明的な単語に基づいて、前記被験者の前記鼓膜の前記診断を判定する工程が、近傍成分分析（ＮＣＡ）を使用して前記鼓膜状態を説明する前記受信した１つまたは複数の説明的な単語を前記単語群と比較することを含み、ＮＣＡが、ｋ最近傍性能を最大化するデータの線形変換を学習する、請求項３９から４９のいずれか一項に記載のコンピュータプログラム製品。
【請求項51】
前記モデルが、前記複数の鼓膜状態の各々をその対応する単語群と関連付けるデータベースを含む、請求項３９から５０のいずれか一項に記載のコンピュータプログラム製品。
【請求項52】
前記被験者の前記鼓膜の前記診断が、正常、滲出、退縮、または鼓膜硬化症のうちの１つである、請求項３９から５１のいずれか一項に記載のコンピュータプログラム製品。
【請求項53】
前記被験者の前記鼓膜状態を説明する１つまたは複数の説明的な単語を受信する工程が、医療提供者が前記説明的な単語をスマートデバイスに発話するまたはタイプすることであって、前記説明的な単語がその後にネットワークを介して送信される、前記発話するまたはタイプすること、を含む、請求項３９から５２のいずれか一項に記載のコンピュータプログラム製品。
【請求項54】
前記スマートデバイスがスマートフォンを含む、請求項５３に記載のコンピュータプログラム製品。
【請求項55】
前記ネットワークの少なくとも一部がクラウドコンピューティングアーキテクチャを含む、請求項５３または５４のいずれか一項に記載のコンピュータプログラム製品。
【請求項56】
前記医療提供者が、前記被験者の前記鼓膜画像を見ながら、前記説明的な単語を前記スマートデバイスに発話するまたはタイプする、請求項５３から５５のいずれか一項に記載のコンピュータプログラム製品。
【請求項57】
前記医療提供者が、耳鏡を使用して前記被験者の前記鼓膜を見ながら、前記説明的な単語を前記スマートデバイスに発話するまたはタイプする、請求項５３から５５のいずれか一項に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
政府支援条項
本発明は、国立衛生研究所によって授与された助成金番号Ｒ２１ＤＣ０１６９７２の下で政府の支援を受けてなされた。政府は、本発明において特定の権利を有する。
本発明は、国立衛生研究所によって授与された助成金番号Ｒ２１ＤＣ０１６９７２の下で政府の支援を受けてなされた。政府は、本発明において特定の権利を有する。
【0002】
関連出願の相互参照
本出願は、２０２１年２月１２日に出願された米国仮特許出願６３／１４８，７６３の優先権及び利益を主張し、この仮特許出願は参照により完全に組み込まれ、本明細書の一部となる。
本出願は、２０２１年２月１２日に出願された米国仮特許出願６３／１４８，７６３の優先権及び利益を主張し、この仮特許出願は参照により完全に組み込まれ、本明細書の一部となる。
【背景技術】
【0003】
耳の感染症、特に中耳の急性感染症（急性中耳炎）は、最も一般的に治療されている小児疾患であり、米国だけで年間約２，０００万件の医師の診察を受けている。
【0004】
耳の病気は、適切な時期に診断され、適切な治療法が適用されれば、簡単に治療できる病気の１つである。そうしないと、耳の病気により難聴やその他の合併症が発生する可能性がある。耳鏡検査は、外耳道と鼓膜（ｔｙｍｐａｎｉｃ ｍｅｍｂｒａｎｅ、ＴＭ）を検査するために使用される最も基本的で一般的なツールの１つである。ただし、経験豊富で熟練した医師による検査が常に可能であるとは限らない。同じ耳鏡検査の経験のない医師を支援するには、コンピュータ支援診断（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｉａｇｎｏｓｉｓ、ＣＡＤ）システムが役立つ場合がある。しかし、ほとんどのＣＡＤシステムでは、検査を受ける被験者から得られた画像を取得して分析する必要がある。２０１９年７月１８日に公開された米国特許出願公開第２０１９／０２１６３０８号明細書は、参照により完全に組み込まれ、コンテンツベースの画像検索（ｃｏｎｔｅｎｔ－ｂａｓｅｄ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ、ＣＢＩＲ）システムの一例であり、これはまた、医師がＴＭ画像に基づいて診断決定を下すのを助けるように設計されたＣＡＤシステムの良い例である。
【0005】
ただし、画像データはサイズが大きく、画像分析を実行できる処理能力を備えたリモートサイトから場所（及びデバイス）に送信するのが困難な場合がある。
【0006】
したがって、その一部を上で説明した当技術分野の課題を克服するシステム及び方法が望まれている。特に、多数の耳の病態のいずれかを適切に識別し分類するために、ＴＭの状態を説明するために使用される視覚的に説明的な単語に基づいてＴＭの状態について診断上の決定を下す、タイムリーで正確な方法及びシステムが必要とされている。
【発明の概要】
【0007】
ここでは、深層学習と自然言語処理（ＮＬＰ）との相乗効果の恩恵を受けるデジタル耳鏡ビデオ要約及び自動診断ラベル割り当てモデルを利用するデータベースの作成について説明する。ＴＭ疾患の主要な視覚的特徴は、ＴＭ画像の短い記述レポートから得られる。複数の異なるＴＭ疾患からの耳鏡検査記録が得られ、さまざまな疾患の視覚的指標を示すＴＭ及び正常なＴＭについて合成画像が生成された。耳鼻咽喉科の専門家はこれらの合成画像を検討し、ＴＭの視覚的ランドマーク及び各耳の疾患を説明する短いレポートを作成した。ＮＬＰ及び単語バック（ｂａｇ－ｏｆ－ｗｏｒｄｓ、ＢｏＷ）モデルに基づいて、各ＴＭ診断カテゴリを特徴付ける最も頻繁に使用される単語の縮小セット（例えば、５つ）が決定された。これらの単語の削減されたセット、及び各セットに対応するＴＭ状態（正常、ＴＭ疾患１、ＴＭ疾患２、．．．など）がデータベースに保存された。訓練が完了すると、モデルは追加画像のＴＭ診断カテゴリを特徴付ける単語の縮小セットを自動的に作成できる。
【0008】
モデル及びデータベースが作成されると、被験者のＴＭの視覚的な説明が医療提供者から受信され、縮小された単語のセットと比較される。次に、被験者のＴＭ状態の診断は、医療提供者から受け取った視覚的に説明的な単語と、データベースに保存されているＴＭ状態に関連付けられた縮小された単語セットとの間の最良のマッチに基づいて行われる。場合によっては、開示されるシステム、方法、及びコンピュータプログラム製品は、モバイルデバイスから医療提供者によって提供される視覚的説明を分析することによってモデルがＴＭの診断を自動的に行うことができる遠隔医療アプリケーションを含む。
【0009】
その他の有利な点は、以下の説明で部分的に述べられ、または実践によって学ぶことができる。この有利な点は、添付の特許請求の範囲に特に指摘された要素及び組み合わせによって実現され達成されることになる。上記の一般的な説明と以下の詳細な説明との両方は、例示的及び説明的なものに過ぎず、特許請求されているように限定的ではないことを理解されたい。
【0010】
添付の図面は、本明細書に組み込まれ、本明細書の一部を構成するものであり、実施形態を示しており、本明細書の説明と併せて、本方法及び本システムの原理を明らかにする目的を果たす。
【図面の簡単な説明】
【0011】
【図1】被験者の鼓膜の視覚的記述子から耳の病態を分類するための例示的な概観システムを示す図である。
【図2】被験者の鼓膜の視覚的記述子から耳の病態を分類するための別の例示的な概観システムを示す図である。
【図3】耳鏡画像及び／またはビデオクリップから合成画像生成用のモデルを作成し、合成画像を閲覧してレポートを作成するプロセスを示す。
【図4】例示的な合成画像生成方法のフロー図を示す。ケース１は、新しいフレームが、以前は別の重要なフレームによってカバーされていなかった新しい関心領域を含む場合に発生し、ケース２は、以前の重要なフレームによって既にカバーされている領域が、この新しいフレーム中では向上した品質を有する場合に発生する。
【図6A】特定のＴＭ状態に関連付けられた単語群の例を示す図である。
【図6B】特定のＴＭ状態に関連付けられた単語群の例を示す図である。
【図6C】特定のＴＭ状態に関連付けられた単語群の例を示す図である。
【図7】被験者のＴＭを説明する視覚的に説明的な単語から耳の病態を分類する例示的な方法を示すフローチャートである。
【図8】被験者の左右の鼓膜耳鏡検査画像を使用して鼓膜の病態を分類するために使用できる例示的なコンピュータを示す。
【発明を実施するための形態】
【0012】
本方法及びシステムが開示され記載される前に、方法及びシステムは、特定の合成方法、特定の構成要素に、または特定の組成に限定されないことが理解されることになる。本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、限定することを意図するものではないことも理解すべきである。
【0013】
明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈に別途明示のない限り、複数の指示対象を含む。範囲は、「約」ある特定の値から、及び／または「約」別の特定の値までとして本明細書では表現される場合がある。そのような範囲が表現される場合、別の実施形態は、ある特定の値から、及び／または他の特定の値までを含む。同様に、値が近似値として表される場合、先行詞「約」を使用することにより、特定値が別の実施形態を形成することが理解されるであろう。さらに、各範囲の終点は、他の終点との関係でも、他の終点とは無関係でも、有意であることが理解されるであろう。
【0014】
「任意」または「任意に」は、その後に記載される事象または状況が生じても生じなくてもよいこと、及び、記載が該事象または状況が生じる場合及び生じない場合を含むことを意味する。
【0015】
この明細書の記載及び特許請求の範囲全体にわたって、文言「含む（ｃｏｍｐｒｉｓｅ）」及びその文言の変形、例えば「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」及び「含む（ｃｏｍｐｒｉｓｅｓ）」は、「限定されるものではないが、～を含んでいる」を意味しており、例えば、他の付加物、構成要素、整数またはステップを除外することを意図していない。「例示的な」は、「～の例」を意味しており、好適なまたは理想的な実施形態の指示を伝えることを意図していない。「～など（ｓｕｃｈ ａｓ）」は、限定的な意味ではなく、説明のために使用される。
【0016】
開示された方法及びシステムを実行するために使用され得る構成要素が、開示される。これら及び他の構成要素が本明細書に開示されており、これらの構成要素の組み合わせ、サブセット、相互作用、グループなどが開示されている場合、これらの各様々な個別の及び集合的な組み合わせ及び順列の特定の指示が明示的に開示されていないことがあるが、それぞれが、全ての方法及びシステムについて、本明細書に具体的に企図され記載されていることが理解される。このことは、限定されるものではないが、開示された方法のステップを含んでいる、本出願の全ての態様に適用される。したがって、実施することできる様々な追加のステップがある場合、これらの追加のステップのそれぞれは、開示の方法の任意の特定の実施形態または実施形態の組み合わせで実施することができると理解される。
【0017】
当業者によって理解されるように、本方法及び本システムは、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取り得る。さらに、本方法及び本システムは、記憶媒体に具現化されたコンピュータ可読プログラム命令（例えば、コンピュータソフトウェア）を有するコンピュータ可読記憶媒体上のコンピュータプログラム製品の形態を取り得る。より具体的には、本方法及び本システムは、ウェブ実装コンピュータソフトウェアの形態を取り得る。ハードディスク、ＣＤ－ＲＯＭ、光学ストレージデバイス、または磁気ストレージデバイスを含む、適切な任意のコンピュータ可読記憶媒体を利用することができる。
【0018】
以下、本方法及び本システムの実施形態について、方法、システム、装置及びコンピュータプログラム製品のブロック図及びフローチャート図を参照しながら説明する。ブロック図及びフローチャート図の各ブロック、ならびにブロック図及びフローチャート図のブロックの組み合わせは、それぞれコンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理デバイスにロードされて機械を生成することができ、コンピュータまたは他のプログラム可能なデータ処理デバイスで実行される命令が、１つまたは複数のフローチャートブロックに指定された機能を実装するための手段を作成する。
【0019】
これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理デバイスに特定の方法で機能するように指示することができるコンピュータ可読メモリに格納されてもよく、コンピュータ可読メモリに格納された命令が、１つまたは複数のフローチャートブロックに指定された機能を実装するためのコンピュータ可読命令を含む製品を生成する。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理デバイスにロードされて、コンピュータまたは他のプログラム可能な装置上で実行されることになる動作ステップに、コンピュータまたは他のプログラム可能な装置上で実行される命令が、１つまたは複数のフローチャートブロックに指定された機能を実装するためのステップを提供するように、コンピュータ実装プロセスを生成させることができる。
【0020】
したがって、ブロック図及びフローチャート図のブロックは、指定された機能を実行するための手段の組み合わせ、指定された機能を実行するためのステップの組み合わせ、及び指定された機能を実行するためのプログラム命令手段をサポートする。また、ブロック図及びフローチャート図の各ブロック、ならびにブロック図及びフローチャート図のブロックの組み合わせは、指定された機能またはステップを実行する専用ハードウェアベースコンピュータシステム、または専用ハードウェアとコンピュータ命令との組み合わせによって実装できることも理解されよう。
【0021】
本発明の方法及びシステムは、好ましい実施形態の以下の詳細な説明及びそこに含まれる実施例、ならびに図及びそれらの前後の説明を参照することによって、より容易に理解することができる。
【0022】
図１は、被験者１０４の鼓膜の視覚的記述子から耳の病態を分類するための例示的な概観システム１００を示す。図１に示すように、システム１００の一実施形態は、画像取込機構１０２を備える。一態様では、画像取込機構１０２はカメラであってもよい。より詳細には、画像取込機構１０２は、デジタル耳鏡及び／またはビデオ耳鏡であってもよい。画像取込機構１０２は、各耳の静止画像及び／またはビデオ画像を撮影することができる。一般に、画像取込機構１０２はデジタルカメラであるが、適切なアナログ／デジタル変換器を備えた、または適切なアナログ／デジタル変換器と通信するアナログデバイスであってもよい。画像取込機構１０２は、ウェブカメラ、スキャナ、レコーダ、または静止画像またはビデオを取り込むことができる他の任意のデバイスであってもよい。場合によっては、システムは、各耳の画像を同時にまたは順番に取り込むための２つの画像取込機構１０２を備えていてもよい。
【0023】
図１に示すように、画像取込機構１０２は、画像取込デバイス１０２によって取り込まれた画像を表示するように構成されたデバイスと直接通信する。例えば、耳鏡またはビデオ耳鏡は、ディスプレイ１０６に接続され得るか、またはディスプレイ１０６と一体化され得る。医療提供者１０８は、ディスプレイ１０６上の画像を検討する。医療提供者は、ディスプレイ１０６上に示される被験者の鼓膜の１つまたは複数の画像を視覚的に説明するために言葉を使用する。視覚的に説明的な単語は、デバイス１１０に発話したり、タイプしたりすることができ、そこで記憶され、クラウドコンピューティングアーキテクチャ１１２に送信され得る。デバイス１１０は、スマートフォン、タブレット、ラップトップコンピュータ、または任意の他の固定またはモバイルコンピューティングデバイスなどのスマートデバイスを備えるか、またはその一部であってもよい。場合によっては、デバイス１１０は、視覚的に説明的な単語（発話されたかタイプされたかにかかわらず）を受信し、それらをクラウドコンピューティングアーキテクチャ１１２に送信するための専用アプリケーションを実行していてもよい。専用アプリケーションは、医療提供者１０８及び／または医療提供者１０８の指定者のみが専用アプリケーション及び／または１つまたは複数の画像を視覚的に説明するために使用される単語にアクセスできるように、セキュリティ機能を有してもよい。このようなセキュリティ機能は、ＨＩＰＡＡ（米国）などのデータセキュリティとプライバシーに関する政府プロトコルに準拠したものであってもよい。クラウドコンピューティングアーキテクチャ１１２は、視覚的に説明的な単語を処理デバイス１１４に配信する。処理装置１１４は、クラウドコンピューティングアーキテクチャ１１２の一部であってもよいし、クラウドコンピューティングアーキテクチャ１１２と通信する処理デバイスであってもよい。視覚的に説明的な単語は、デバイス１１０からリアルタイムで送信されてもよいし、デバイス１１０に記憶されて後で送信されてもよい。
【0024】
処理デバイス１１４は、基本構成では、プロセッサ１１６及びメモリ１１８から構成され得る。プロセッサ１１６は、メモリ１１８に記憶されたコンピュータ可読命令を実行することができる。プロセッサ１１６はさらに、メモリ１１８に記憶されたコンピュータ可読命令を実行して、医療提供者１０８から受け取った視覚的に説明的な単語を使用して判断し、視覚的に説明された単語から耳の病態を分類することができる。さらに、プロセッサ１１６は、コンピュータ可読命令を実行して、医療提供者から受け取った視覚的に説明的な単語を、さまざまな状態（正常、滲出、退縮、鼓膜硬化症など）の耳の鼓膜画像を視覚的に観察して、耳の鼓膜状態を診断するのに最も頻繁に使用される人工知能（ＡＩ）アルゴリズムによって選択されたメモリ１１８内に常駐するデータベース１２０内の単語と比較することができる。。次に、プロセッサ１１６は、耳の状態の診断を行うことができるように、医療提供者から受け取った視覚的に説明的な単語と、ＴＭの状態を説明するために使用されるデータベース内の最も近い説明的な単語との間のマッチを行う。次いで、診断は、処理デバイス１１４からクラウドコンピューティングアーキテクチャ１１２を介して医療提供者１０８のデバイス１１０に返送され、そこで被験者１０４の耳（または複数の耳）の診断が医療提供者１０８によって受信される。
【0025】
場合によっては、視覚的に説明的な単語は、分析のためにデバイス１１０からネットワーク（図１には図示せず）を介して処理デバイス１１４に直接送信され、それによってクラウドコンピューティングアーキテクチャ１１２が省略されてもよい。ネットワークは、例えば、有線（光ファイバを含む）ネットワーク、無線、もしくは有線と無線との組み合わせ）または直接接続ケーブル（例えば、ユニバーサルシリアルバス（ＵＳＢ）接続、ＩＥＥＥ１３９４「Ｆｉｒｅｗｉｒｅ」接続などを使用する）を含んでもよい。他の態様では、医療提供者１０８からの視覚的に説明的な単語は、例えばポータブルメモリデバイスなどを使用して、視覚的に説明的な単語をダウンロードまたは処理デバイス１１４に転送できるように、メモリデバイスに記録または記憶されてもよい。
【0026】
図２は、被験者の鼓膜の視覚的記述子から耳の病態を分類するための別の例示的な概観システム２００を示す。図２に示す例では、画像取込機構１０２は、デバイス２０２に関連付けられたディスプレイ上に表示される被験者１０４のＴＭの画像を取り込む。デバイス２０２は、クラウドコンピューティングアーキテクチャ１１２と直接通信できるようにするネットワークインターフェース機構も含む。デバイス２０２はさらに、医療提供者１０８が被験者１０４のＴＭについての視覚的に説明的な単語を発話する、タイプする、またはその他の方法でデバイス２０２に入力し、これらの視覚的に説明的な単語をクラウドコンピューティングアーキテクチャ１１２に送信できるようにするＩ／Ｏ機構を含む。これらは、被験者１０４のＴＭ状態の自動診断を行うために、処理デバイス１１４によって、対応するＴＭ状態に関連付けられたデータベース内の縮小された単語のセットと比較される。次いで、診断は、クラウドコンピューティングアーキテクチャ１１２を介してデバイス２０２に戻り、医療提供者１０８に提供される。図１と同様に、場合によっては、図２のクラウドコンピューティングアーキテクチャ１１２は、直接的なネットワーク状態に置き換えることもできるし、場合によっては、医療提供者からの説明的な単語を保存し、分析のために処理デバイスに物理的に取り込むこともできる。デバイス２０２はまた、上述のように、医療提供者１０８によって提供される画像を表示し、画像の視覚的に説明的な単語を送信するアプリケーションを実行するように構成されてもよい。上記と同様に、アプリケーション及び／またはデバイス２０２は、データプライバシー及びセキュリティプロトコルを有することができ、視覚的に説明的な単語をリアルタイムで送信したり、後の送信のためにそれらを保存したりすることもできる。場合によっては、デバイス２０２は、スマートフォン、タブレット、ラップトップコンピュータ、または任意の他の固定もしくはモバイルコンピューティングデバイスなどのスマートデバイスである。
【0027】
モデルの作成
図３は、ＴＭの状態を説明するために使用される視覚的に説明的な単語に基づいて、被験者のＴＭの診断を決定するためのモデルを作成するプロセスを示す。モデルは、耳鏡画像及び／またはビデオクリップから合成画像を生成し、合成画像を見ることによってレポートを作成することから始まる。
図３は、ＴＭの状態を説明するために使用される視覚的に説明的な単語に基づいて、被験者のＴＭの診断を決定するためのモデルを作成するプロセスを示す。モデルは、耳鏡画像及び／またはビデオクリップから合成画像を生成し、合成画像を見ることによってレポートを作成することから始まる。
【0028】
図３の例では、データベースを作成するための画像は、Ｃｏｌｕｍｂｕｓ，Ｏｈｉｏ，ＵＳＡにあるＯｈｉｏ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ（ＯＳＵ）及びＮａｔｉｏｎｗｉｄｅ Ｃｈｉｌｄｒｅｎ'ｓ Ｈｏｓｐｉｔａｌ（ＮＣＨ）の耳鼻咽喉科クリニック及びプライマリケア施設で取り込まれた成人及び小児の高解像度デジタルビデオから取得された。Ｉｎｓｔｉｔｕｔｉｏｎａｌ Ｒｅｖｉｅｗ Ｂｏａｒｄ、ＩＲＢはデータ収集プロセスを承認した。高精細度（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ、ＨＤ）ビデオ耳鏡（ＪＥＤＭＥＤ Ｈｏｒｕｓ＋ＨＤ Ｖｉｄｅｏ Ｏｔｏｓｃｏｐｅ， Ｓｔ．Ｌｏｕｉｓ，ＭＯ）を使用して、ビデオデータを取り込み及び記録した。データセットには１７３件の耳鏡ビデオが含まれており、その中には滲出性中耳炎の８６件（この論文の残りの部分ではこの状態を滲出と呼ぶ）、ＴＭの退縮（退縮と呼ぶ）の３５件、鼓膜硬化症の５２件が含まれている。合成画像を生成した後、耳鼻咽喉科医は各画像の診断を行い、ＴＭ画像上で病変の輪郭を描き、対応するＴＭ異常の視覚的特徴を説明する短い記述レポートを作成した。他のデータセットを使用して合成画像及び対応するレポートを作成できることを理解されたい。
【0029】
合成画像の生成
Ｕ－Ｎｅｔベースのセマンティックセグメンテーション方法を利用して耳鏡ビデオから意味のあるビデオフレームを決定したが、他の方法も本開示の範囲内であると考えられる。このプロセスは、以下、図４を参照してより詳細に説明される。セマンティックセグメンテーションタスクのこの非限定的な例では、セグメンテーションモデルは３６個の耳鏡ビデオを使用して開発された。これらのビデオから７６４フレームが選択され、ＴＭ領域は２人の耳鼻咽喉科医によって手動で特定され、注釈が付けられた。
Ｕ－Ｎｅｔベースのセマンティックセグメンテーション方法を利用して耳鏡ビデオから意味のあるビデオフレームを決定したが、他の方法も本開示の範囲内であると考えられる。このプロセスは、以下、図４を参照してより詳細に説明される。セマンティックセグメンテーションタスクのこの非限定的な例では、セグメンテーションモデルは３６個の耳鏡ビデオを使用して開発された。これらのビデオから７６４フレームが選択され、ＴＭ領域は２人の耳鼻咽喉科医によって手動で特定され、注釈が付けられた。
【0030】
適切な画像の取得は、視覚的障害（例えば、ワックス、毛髪など）、不十分な照明、小さな視野、画像の周囲の黒い余白、画像上のタイム／文字スタンプなどのために困難なタスクであり得る。患者が子供の場合、患者が非協力的である間は良好な静止画像を取り込むことができないという問題も生じる可能性がある。これらの課題を解決するために、被験者の各外耳道の短いビデオ（約３～５秒）が取り込まれる。次に、ソフトウェアは、図４に示すアルゴリズムを実行して、鼓膜のビデオフレームを分析し、新たなモザイク画像を作成する。
【0031】
ビデオシーケンス内の新しいフレームごとに、図４で説明したモザイク画像作成アルゴリズムは、障害物のない関心領域を決定する（例えば、ワックス、毛髪、暗縁、文字など）。これらの各領域はサブセクションに分割され、各セクションの画質は、焦点が合っているか、適切なコントラストと照明があるかどうかという点で評価される。フレームが、前のフレームに含まれていない鼓膜の部分を含むか、または鼓膜の既に含まれているがより高い品質（焦点、コントラスト、及び照明に関して）を有する鼓膜の部分を含む場合、このフレームは「重要なフレーム」としてラベル付けされるか、そうでなければ識別される。最後に、この方法では、ビデオシーケンス内のすべての「重要なフレーム」の関心領域を考慮してモザイク画像を構築する。
【0032】
フレームには、異なる量の視覚障害物（例えば、ワックス、毛髪、グレア、文字、暗縁など）及び／または照明の質が含まれる場合がある。本明細書で説明するように、この方法は、優れた照明を備えた障害物のない複合画像を構築することを含む。したがって、アルゴリズムは、合成画像の生成中に障害物（ワックス、グレア、毛髪、文字、暗縁－下記を参照）と焦点の合っていない領域を検出する。これを行うために、アルゴリズムは各新しいフレームを以前のフレームと比較し、より焦点が合っていて明るい領域を使用して新しい画像を更新する。焦点と照明の品質を決定するために、画像のエントロピーが計算され、最も高いエントロピーを持つフレームが選択される。
【0033】
ワックスの検出に関しては、耳垢の典型的な特徴の１つはその黄色である。したがって、黄色の領域は、ＣＭＹＫ色空間の閾値処理を使用して識別される。これらの潜在的な耳垢領域が、ＣＭＹＫ空間内で最も高い「Ｙ」値を持つ領域として検出された後、これらの耳垢領域の強度の勾配の大きさ（つまり、「Ｙ」値）の平均及び標準変動が計算される。これらの特徴は、ワックス領域を検出するためにＦＳＧ分類器に入力される。
【0034】
グレアは、鼓膜の表面における耳鏡からの光の反射によって引き起こされる。グレアは、いくつかの特徴（鼓膜の平均色値など）の計算において問題になる可能性がある。一方、重要な臨床診断の手がかりである光の円錐は、グレア検出アルゴリズムによって誤ってグレアと見なされ、除去される可能性がある。特徴を正確に抽出するために、開示された方法は、強度値のヒストグラムを計算することを含み、ヒストグラム内の最高の強度値に対応するピークを見つける。そのピークは、光のグレアと円錐に対応する。グレアと円錐状の光とを区別するために、面積閾値処理が適用される（グレア（複数可）が円錐状の光（複数可）よりも大きい場合）。
【0035】
毛髪の検出には、参照により組み込まれるＲ．Ｇ．ｖｏｎ Ｇｉｏｉ、Ｊ．Ｊａｋｕｂｏｗｉｃｚ、Ｊ．－Ｍ．Ｍｏｒｅｌ、Ｇ．Ｒａｎｄａｌｌ、"ＬＳＤ：Ａ ｆａｓｔ ｌｉｎｅ ｓｅｇｍｅｎｔ ｄｅｔｅｃｔｏｒ ｗｉｔｈ ａ ｆａｌｓｅ ｄｅｔｅｃｔｉｏｎ ｃｏｎｔｒｏｌ"、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．３２、ｐｐ．７２２－７３２、２０１０で記載されているものなどの線分検出器を使用した細い線状構造の検出が含まれる。各髪束は、互いにほぼ平行な２本の線（毛髪の両端）で表され、これらの線は互いに接近している。したがって、距離が短いほぼ平行な各線のペアが毛髪の候補とみなされる。画像のテクスチャはこれらの平行線の間で計算され、テクスチャの変化が小さいものは毛髪としてマークされる。
【0036】
場合によっては、関心領域が抽出された後、これらの領域は６４ｘ６４ピクセルのブロックに分割される。各ブロックについて、標準偏差、階調共起行列、コントラスト、及び平均強度値が計算される。これらの値は、タイルの品質を計算するために重み付けされる。重みは、手動または自動で決定することができる。
【0037】
２つのフレームを登録する場合、注目点が自動的に抽出され、それらの点の特徴ベクトルがマッチされる。関心のあるポイントを抽出するために、３つの最先端のアプローチのパフォーマンスが比較される（Ｈ．Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄ Ｌ．Ｖａｎ Ｇｏｏｌ，"Ｓｕｒｆ：Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ，" Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ-ＥＣＣＶ ２００６，ｐｐ．４０４－４１７，２００６；Ｄ．Ｇ．Ｌｏｗｅ，"Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ，"Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，Ｖｏｌ．６０，ｐｐ．９１－１１０，２００４；及びＥ．Ｒｕｂｌｅｅ，Ｖ．Ｒａｂａｕｄ，Ｋ．Ｋｏｎｏｌｉｇｅ，ａｎｄ Ｇ．Ｂｒａｄｓｋｉ，"ＯＲＢ：Ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｔｅｒｎａｔｉｖｅ ｔｏ ＳＩＦＴ ｏｒ ＳＵＲＦ，"ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，２０１１，ｐｐ．２５６４－２５７１を参照されたい（それぞれ参照により完全に組み込まれる））。。マッチした点を特定するために、このアプローチでは２つのフレーム内で検出された特徴のすべての可能なペア間の距離を計算する。このアプローチでは、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）を使用して初期ホモグラフ行列を推定する（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，"Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，"Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，ｐｐ．３８１－３９５，１９８１を参照されたい（これも参照により組み込まれる）。
【0038】
各フレームは、次の２つの基準、すなわち、（１）新しいフレームが、以前は別の重要なフレームによってカバーされていなかった新しい関心領域を含むかどうか、または、（２）以前の重要なフレームによって既にカバーされている領域が、この新しいフレーム中では向上した品質を有しているかどうか、に従って「重要フレーム」であるかどうか識別される。その後、スティッチングによって合成画像を作成できる。開示された方法は、合成画像の構築中に「重要なフレーム」を使用する。このアルゴリズムは、鼓膜のサブパーツに最適な「重要なフレーム」を選択し、マルチバンドブレンディング（ピラミッドブレンディング）手法を使用する。これにより、高周波の詳細を維持しながら、照明の違いにもかかわらず画像間のスムーズな移行が保証される。
【0039】
次に、フリーウェアの画像ステッチングエンジン［１２］を使用して、選択したフレームを使用して強化された合成画像を作成した。図５Ａ～図５Ｄは、参照用の正常なＴＭと共に、記載されたデータセットからのＴＭ状態の例を示す。図５Ａは、正常なＴＭである。図５Ｂは、滲出を伴うＴＭである。図５Ｃは、退縮を伴うＴＭである。図５Ｄは、鼓膜硬化症を伴うＴＭである。
【0040】
文字の分析及び分類
図３に戻って参照すると、いくつかのＮＬＰツールを使用して、耳鼻咽喉科医（つまり、専門家）のＴＭレポートを次のように前処理して分析した：トークン化［１３］、ストップワード除去［１４］、単語正規化［１５］、及び句読点消去［１６］。
図３に戻って参照すると、いくつかのＮＬＰツールを使用して、耳鼻咽喉科医（つまり、専門家）のＴＭレポートを次のように前処理して分析した：トークン化［１３］、ストップワード除去［１４］、単語正規化［１５］、及び句読点消去［１６］。
【0041】
トークン化された文書は、単語の集合（トークンとしても知られる）として表される文書である。「ａ」、「ａｎｄ」、「ｔｏ」などの単語（ストップワードと呼ばれる）は、データにノイズを加える可能性がある。ストップワード除去機能を使用して、これらの単語は削除された。次に、単語正規化を使用して単語をルート形式に縮小した（例：「Ｃｏｎｎｅｃｔｉｏｎ」→「ｃｏｎｎｅｃｔ」）。最後の前処理ステップとして、文字から句読点が削除された。
【0042】
単語バッグ（ＢｏＷ）モデル［１７］（用語頻度カウンタとも呼ばれる）を適用して、各レポートに単語が出現する回数を取得し、その頻度を暗示した。各診断カテゴリのＢｏＷモデルで最も重要な単語を記録するために、単語カウントが最も多い５つの単語が訓練データに指定されたが、他のインスタンスではより多くのまたはより少ない単語が使用される可能性がある。前処理されたテストレポートのマルチクラス分類のために、最も頻繁に使用される５つの単語を含む訓練データのＢｏＷモデルを使用して、近傍成分分析（ＮＣＡ）［１８］が作成された。ＮＣＡは、ｋ最近傍性能を最大化するデータの線形変換を学習する［１９］。さらに、ＮＣＡは低ランク変換を生成することで次元削減を実現し、視覚的特徴を文字特徴と統合しながら、開示を高次元特徴空間に拡張する。
【0043】
ＴＭ状態ごとに、単語群が生成された。例えば、図６Ａ～図６Ｃを参照されたい。結果として得られた単語群を分析することによって、滲出に関するキーワード（図６Ａ）が主に「琥珀色」や「暗色」などの色の特徴を示していることが分かる。退縮（図６Ｂ）の場合、キーワードは「退縮」及び「吸引」であり、鼓膜硬化症（図６Ｃ）の場合、病変は主に「白色」及び「プラーク」という単語で説明された。単語群は、「正常な」状態を含む任意の数のＴＭ状態に対してこの方法で生成できる。訓練が完了すると、モデルは追加画像のＴＭ診断カテゴリを特徴付ける単語の縮小セットを自動的に作成できる。
【0044】
ＴＭ状態と各状態に関連する単語群のデータベースが作成されると、医療提供者が被験者のＴＭを視覚的に説明するときに、そのデータベースを使用して被験者のＴＭ状態を判断できる。図７は、被験者のＴＭを記述する視覚的に説明的な単語から耳の病態を分類する例示的な方法を示すフローチャートである。ステップ７０２及び７０４は、上述のように、単語群及び関連するＴＭ状態のデータベースを作成するプロセスを説明する。７０６で、被験者のＴＭを視覚的に説明する１つまたは複数の単語が医療提供者から受信される。これらの言葉は、本明細書で説明するように、さまざまな方法で受け取られる可能性がある。例えば、それらは医療提供者の音声によってリアルタイムにまたは録音されて表現されてもよいし、書面形式（例えば文字）で提供されてもよい。視覚的説明の１つまたは複数の単語は電子的に受信され、７０８で、コンピュータ実行可能命令を実行する処理デバイスを使用して、データベース内のさまざまなＴＭ状態に関連付けられた単語群と比較される。１つまたは複数の視覚的な説明の単語と単語群との間で最も近い適合が見つかる。次いで、選択された単語群に対応するＴＭ状態が、被験者のＴＭの診断として提供される。
【0045】
システムは複数のユニットから構成されるものとして上で説明されている。当業者であれば、これが機能の説明であり、それぞれの機能がソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせによって実行できることを理解するであろう。ユニットは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせにすることができる。これらのユニットは、被験者のＴＭを視覚的に説明する言葉に基づいてＴＭ状態の診断を決定するためのソフトウェアを備えることができる。例示的な一態様では、ユニットは、図８に示され、後述されるようなプロセッサ８２１を備えるコンピューティングデバイスを備えることができる。
【0046】
図８は、画像から鼓膜の病態を分類するために使用することができる例示的なコンピュータを示す。本書で使用するとき、「コンピュータ」は、複数のコンピュータを含む場合がある。コンピュータは、例えば、プロセッサ８２１、ランダムアクセスメモリ（ＲＡＭ）モジュール８２２、読み出し専用メモリ（ＲＯＭ）モジュール８２３、ストレージ８２４、データベース８２５、１つまたは複数の入力／出力（Ｉ／Ｏ）デバイス８２６、及びインターフェース８２７などの１つまたは複数のハードウェア構成要素を含むことができる。代替的及び／または追加的に、コンピュータは、例えば、例示的な実施形態に関連する方法を実行するためのコンピュータ実行可能命令を含むコンピュータ可読媒体などの１つまたは複数のソフトウェア構成要素を含むことができる。上記に掲載されたハードウェア構成要素の１つまたは複数が、ソフトウェアを使用して実装され得ることが企図される。例えば、ストレージ８２４は、１つまたは複数の他のハードウェア構成要素に関連付けられたソフトウェアパーティションを含んでもよい。上記に掲載された構成要素は、例示的なものに過ぎず、限定することを意図するものではないことが理解される。
【0047】
プロセッサ８２１は、鼓膜の１つまたは複数の画像に基づいて鼓膜の病態を分類するためのコンピュータに関連する１つまたは複数の機能を実行するために、それぞれが命令を実行しデータを処理するように構成された１つまたは複数のプロセッサを含むことができる。プロセッサ８２１は、ＲＡＭ８２２、ＲＯＭ８２３、ストレージ８２４、データベース８２５、Ｉ／Ｏデバイス８２６、及びインターフェース８２７に通信可能に結合することができる。プロセッサ８２１は、様々な処理を実行するために、コンピュータプログラム命令のシーケンスを実行するように構成され得る。コンピュータプログラム命令は、プロセッサ８２１による実行のためにＲＡＭ８２２にロードされてもよい。
【0048】
ＲＡＭ８２２及びＲＯＭ８２３は各々、プロセッサ８２１の動作に関連する情報を記憶するための１つまたは複数のデバイスを含むことができる。例えば、ＲＯＭ８２３は、１つまたは複数の構成要素及びサブシステムの動作の識別、初期化、及び監視を行うための情報を含む、コンピュータに関連する情報にアクセスしてそれを記憶するように構成されたメモリデバイスを含み得る。ＲＡＭ８２２は、プロセッサ８２１の１つまたは複数の動作に関連付けられたデータを記憶するためのメモリデバイスを含み得る。例えば、ＲＯＭ８２３は、プロセッサ８２１による実行のために命令をＲＡＭ８２２にロードすることができる。
【0049】
ストレージ８２４は、プロセッサ８２１が開示された実施形態と一致するプロセスを実行するために必要となり得る情報を記憶するように構成された任意のタイプの大容量ストレージデバイスを含み得る。例えば、ストレージ８２４は、ハードドライブ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の任意のタイプの大容量メディアデバイスなど、１つまたは複数の磁気及び／または光ディスクデバイスを含んでもよい。
【0050】
データベース８２５は、コンピュータ及び／またはプロセッサ８２１によって使用されるデータの記憶、整理、ソート、フィルタリング、及び／または配列で協働する１つまたは複数のソフトウェア及び／またはハードウェア構成要素を含むことができる。例えば、データベース８２５は、複数の単語群、及び各単語群に関連付けられたＴＭ状態を、被験者のＴＭを視覚的に説明する１つまたは複数の単語を受信するためのコンピュータ実行可能命令とともに格納することができる。１つまたは複数の視覚的に説明的な単語を複数の単語群のそれぞれと比較し、１つまたは複数の視覚的に説明的な単語と単語群の１つとの間の最も近い適合を決定するステップと、選択された単語群に関連付けられたＴＭ状態に基づいて被験者のＴＭ状態を診断する。データベース８２５は、上記に掲載された情報とは違った追加の情報及び／または異なる情報を格納し得ることが企図される。
【0051】
Ｉ／Ｏデバイス８２６は、コンピュータに関連付けられたユーザと情報を交換するように構成された１つまたは複数の構成要素を含み得る。例えば、Ｉ／Ｏデバイスは、デジタル画像、デジタル画像の分析結果、メトリクスなどのデータベースをユーザが維持するのを可能にするために、キーボード及びマウスが統合されたコンソールを含むことができる。Ｉ／Ｏデバイス８２６は、モニタに情報を出力するためのグラフィカルユーザインターフェース（ＧＵＩ）を含むディスプレイを含むこともできる。Ｉ／Ｏデバイス８２６は、例えば、コンピュータに付随する情報を印刷するためのプリンタ、ユーザが携帯型メディアデバイスに格納されたデータを入力できるようにするためのユーザアクセス可能なディスクドライブ（例えば、ＵＳＢポート、フロッピー、ＣＤ－ＲＯＭ、またはＤＶＤ－ＲＯＭドライブなど）、マイク、スピーカシステム、または他の適切な任意のタイプのインターフェースデバイスなどの周辺デバイスを含むこともできる。
【0052】
インターフェース８２７は、インターネット、ローカルエリアネットワーク、ワークステーションピアツーピアネットワーク、ダイレクトリンクネットワーク、無線ネットワーク、または他の適切な任意の通信プラットフォームなどの通信ネットワークを介してデータの送信及び受信を行うように構成された１つまたは複数の構成要素を含み得る。例えば、インターフェース８２７は、１つまたは複数の変調器、復調器、マルチプレクサ、デマルチプレクサ、ネットワーク通信デバイス、無線デバイス、アンテナ、モデム、無線機、受信機、送信機、送受信機、及び有線または無線の通信ネットワークを介してデータ通信を可能にするように構成された他の任意のタイプのデバイスを含むことができる。
【実施例】
【0053】
以下の実施例を、開示する主題による方法及び結果を説明するために記載する。これらの実施例は、本明細書に開示する主題のすべての態様を含むことを意図するものではなく、むしろ代表的な方法及び結果を説明することを意図している。これらの実施例は、当業者には明らかである本発明の均等物及び変形を除外することを意図するものではない。
【0054】
数値（例えば量、温度など）に関して正確性を確実にする取り組みがなされているが、ある程度の誤差及び偏差があるだろう。別段に示されていない限り、部は、重量部であり、温度は、℃または周囲温度であり、圧力は、大気圧または大気圧近傍である。反応条件、例えば、記載されたプロセスから得られる生成物の純度及び収率を最適化するために使用できる成分濃度、温度、圧力及び他の反応範囲及び条件には多数の変形及び組み合わせが存在する。
【0055】
実験的セットアップ
提案されたモデルのパフォーマンスを評価するために、感度、特異性、及びＦ１スコアという３つの包括的な評価尺度が使用された。
提案されたモデルのパフォーマンスを評価するために、感度、特異性、及びＦ１スコアという３つの包括的な評価尺度が使用された。
【0056】
感度は次のように計算される。
特異性は次のようになる。
Ｆ１スコアは次のようになる。
式中、ＴＰは真陽性の数、ＴＮは真陰性の数、ＦＰは偽陽性の数、ＦＮは偽陰性の数を示す。モデルを検証するために、１人の患者を除外する相互検証スキームが適用された。
【数1】
【数2】
【数3】
【0057】
結果及び考察
単語群は、本明細書に記載されているように、滲出、退縮、及び鼓膜硬化症の鼓膜状態に対して作成された。
単語群は、本明細書に記載されているように、滲出、退縮、及び鼓膜硬化症の鼓膜状態に対して作成された。
【0058】
分類器の混同行列は、各ＴＭカテゴリの上位５単語を使用したバッグオブワードからの文字分類に基づいており、表１に示されている。
【表1】
【0059】
滲出液としてラベル付けされた記述の８６件の事例から、モデルはそれらすべてを正しく予測した。一方、２６件の事例は退縮として正常に予測され、９件は誤分類された。４６例は鼓膜硬化症として予測され、６件の誤分類があった。表２に、これらの値に基づいて提案された分類モデルの感度、特異性、及びＦ１スコアを示す。
【表2】
【0060】
表２に示すように、実験結果は、開示されたモデルの実施形態が、短い記述レポートを使用した耳鏡検査記録の診断ラベル予測のタスクにおいて効果的に実行された（全体のＦ１スコアは９０．２％）ことを示した。私たちのモデルでは、すべての単語ではなく、任意の疾患カテゴリの上位５つの単語を使用していることに注目されたい。上位５単語を決定する際の目的は、各疾患の「キーワード」単語を取得し、これらのキーワードを使用してモデルの効率を調査することであった。
【0061】
また、このモデルは、誤って分類された退縮及び鼓膜硬化症のほぼすべての症例を滲出として予測していることも観察された。滲出は、特定し、他の状態と区別するのが最も難しいＴＭ状態の１つである。誤って分類された例では、耳鼻咽喉科医は主に滲出の疑いがあるが、明確ではないという所見を説明した。例えば、耳鼻咽喉科医は真のラベルを滲出ではなく退縮と判断したが、耳鼻咽喉科医は滲出のわずかな視覚的証拠をいくつか記載したが、これらの証拠は微妙なものであると評価した。したがって、私たちのモデルはこれらの事例を滲出として推定した。
【0062】
結論
ＴＭ画像の分析に対する関心が高まっている。これらの研究のほとんどは画像分析及び疾患分類に焦点を当てているが、より良い診断と治療に役立つ可能性のある他のデータソースを開発することが重要である。そのような情報源の１つは、医師の観察やメモである可能性がある。この研究の主な貢献は、ＴＭレポートを分析し、生の耳鏡ビデオの合成画像を確認することで生成されたさまざまなタイプのＴＭ異常を記述し、ＮＬＰと機械学習を使用してこれらのレポートからテストインスタンスのラベルを予測することである。一例では、ＮＬＰ技術を使用して各カテゴリから最も頻繁に使用される５つの単語を抽出し、訓練データからこれらの５つの単語に基づいて分類器を作成した。１人の患者を除外する相互検証法に従うことにより、例示的なモデルは、滲出、退縮、及び鼓膜硬化症についてそれぞれ９２．５％、８５．３％、及び９２．９％のＦ１スコアを達成した。したがって、文字の特徴を使用すると、ＴＭビデオ及び画像のコンピュータ診断に満足のいく情報が提供できることが示されている。
ＴＭ画像の分析に対する関心が高まっている。これらの研究のほとんどは画像分析及び疾患分類に焦点を当てているが、より良い診断と治療に役立つ可能性のある他のデータソースを開発することが重要である。そのような情報源の１つは、医師の観察やメモである可能性がある。この研究の主な貢献は、ＴＭレポートを分析し、生の耳鏡ビデオの合成画像を確認することで生成されたさまざまなタイプのＴＭ異常を記述し、ＮＬＰと機械学習を使用してこれらのレポートからテストインスタンスのラベルを予測することである。一例では、ＮＬＰ技術を使用して各カテゴリから最も頻繁に使用される５つの単語を抽出し、訓練データからこれらの５つの単語に基づいて分類器を作成した。１人の患者を除外する相互検証法に従うことにより、例示的なモデルは、滲出、退縮、及び鼓膜硬化症についてそれぞれ９２．５％、８５．３％、及び９２．９％のＦ１スコアを達成した。したがって、文字の特徴を使用すると、ＴＭビデオ及び画像のコンピュータ診断に満足のいく情報が提供できることが示されている。
【0063】
参考文献
本出願全体を通して、様々な刊行物が参照され得る。これらの刊行物の開示は、その全体が、本方法及び本システムが属する技術の状態をより完全に説明するために、本明細書により、本出願に参照により組み込まれる。以下の刊行物はそれぞれ参照により完全に組み込まれ、本明細書の一部をなす。
［１］Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．，"Ｄｅｃｉｓｉｏｎ ｆｕｓｉｏｎ ｏｎ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ｔｙｍｐａｎｏｍｅｔｒｙ ｔｏ ｄｅｔｅｃｔ ｅａｒｄｒｕｍ ａｂｎｏｒｍａｌｉｔｉｅｓ，"ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０２０：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０２０，ｖｏｌ．１１３１４：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１１３１４１Ｍ.
［２］ Ａ．Ｃ．Ｍｏｂｅｒｌｙ ｅｔ ａｌ．，"Ｄｉｇｉｔａｌ ｏｔｏｓｃｏｐｙ ｖｅｒｓｕｓ ｍｉｃｒｏｓｃｏｐｙ：Ｈｏｗ ｃｏｒｒｅｃｔ ａｎｄ ｃｏｎｆｉｄｅｎｔ ａｒｅ ｅａｒ ｅｘｐｅｒｔｓ ｉｎ ｔｈｅｉｒ ｄｉａｇｎｏｓｅｓ？，"Ｊｏｕｒｎａｌ ｏｆ ｔｅｌｅｍｅｄｉｃｉｎｅ ａｎｄ ｔｅｌｅｃａｒｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．４５３－４５９，２０１８．
［３］ Ｄ．Ｌｉｖｉｎｇｓｔｏｎｅ，Ａ．Ｓ．Ｔａｌａｉ，Ｊ．Ｃｈａｕ，ａｎｄ Ｎ．Ｄ．Ｆｏｒｋｅｒｔ，"Ｂｕｉｌｄｉｎｇ ａｎ Ｏｔｏｓｃｏｐｉｃ ｓｃｒｅｅｎｉｎｇ ｐｒｏｔｏｔｙｐｅ ｔｏｏｌ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，"Ｊｏｕｒｎａｌ ｏｆ Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－Ｈｅａｄ&Ｎｅｃｋ Ｓｕｒｇｅｒｙ，ｖｏｌ．４８，ｎｏ．１，ｐｐ．１－５，２０１９.
［４］ Ｒ．Ｍ．Ｒｏｓｅｎｆｅｌｄ ｅｔ ａｌ．，"Ｃｌｉｎｉｃａｌ ｐｒａｃｔｉｃｅ ｇｕｉｄｅｌｉｎｅ：ｏｔｉｔｉｓ ｍｅｄｉａ ｗｉｔｈ ｅｆｆｕｓｉｏｎ，"Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－Ｈｅａｄ ａｎｄ Ｎｅｃｋ Ｓｕｒｇｅｒｙ，ｖｏｌ．１３０，ｎｏ．５，ｐｐ．Ｓ９５－Ｓ１１８，２００４．
［５］ Ａ．Ｋｕｒｕｖｉｌｌａ，Ｎ．Ｓｈａｉｋｈ，Ａ．Ｈｏｂｅｒｍａｎ，ａｎｄ Ｊ．Ｋｏｖａｃｅｖｉｃ，"Ａｕｔｏｍａｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｏｔｉｔｉｓ ｍｅｄｉａ：ｖｏｃａｂｕｌａｒｙ ａｎｄ ｇｒａｍｍａｒ，"Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，ｖｏｌ．２０１３，ｐ．２７，２０１３．
［６］ Ｃ．Ｓｅｎａｒａｓ ｅｔ ａｌ．，"Ａｕｔｏｓｃｏｐｅ：ａｕｔｏｍａｔｅｄ ｏｔｏｓｃｏｐｙ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｔｏ ｄｉａｇｎｏｓｅ ｅａｒ ｐａｔｈｏｌｏｇｙ ａｎｄ ｕｓｅ ｏｆ ｃｌｉｎｉｃａｌｌｙ ｍｏｔｉｖａｔｅｄ ｅａｒｄｒｕｍ ｆｅａｔｕｒｅｓ，"ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１７：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０１７，ｖｏｌ．１０１３４：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１０１３４１Ｘ．
［７］ Ｄ．Ｃｈａ，Ｃ．Ｐａｅ，Ｓ．－Ｂ．Ｓｅｏｎｇ，Ｊ．Ｙ．Ｃｈｏｉ，ａｎｄ Ｈ．－Ｊ．Ｐａｒｋ，"Ａｕｔｏｍａｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｅａｒ ｄｉｓｅａｓｅ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ａ ｂｉｇ ｏｔｏｅｎｄｏｓｃｏｐｙ ｉｍａｇｅ ｄａｔａｂａｓｅ，"ＥＢｉｏＭｅｄｉｃｉｎｅ，ｖｏｌ．４５，ｐｐ．６０６－６１４，２０１９．
［８］ Ｃ．Ｓｅｎａｒａｓ ｅｔ ａｌ．，"Ｄｅｔｅｃｔｉｏｎ ｏｆ ｅａｒｄｒｕｍ ａｂｎｏｒｍａｌｉｔｉｅｓ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ，"ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１８：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０１８，ｖｏｌ．１０５７５：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１０５７５１Ａ．
［９］ Ｓ．Ｃａｍａｌａｎ ｅｔ ａｌ．，"ＯｔｏＭａｔｃｈ：Ｃｏｎｔｅｎｔ－ｂａｓｅｄ ｅａｒｄｒｕｍ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，"Ｐｌｏｓ ｏｎｅ，ｖｏｌ．１５，ｎｏ．５，ｐ．ｅ０２３２７７６，２０２０．
［１０］ Ｃ．Ｇｓａｘｎｅｒ ｅｔ ａｌ．，"ＰＥＴ－ｔｒａｉｎ：Ａｕｔｏｍａｔｉｃ ｇｒｏｕｎｄ ｔｒｕｔｈ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ＰＥＴ ａｃｑｕｉｓｉｔｉｏｎｓ ｆｏｒ ｕｒｉｎａｒｙ ｂｌａｄｄｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ＣＴ ｉｍａｇｅｓ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，"ｉｎ ２０１８ １１ｔｈ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ（ＢＭＥｉＣＯＮ），２０１８：ＩＥＥＥ，ｐｐ．１－５．
［１１］ Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．，"ＳｅｌｅｃｔＳｔｉｔｃｈ：Ａｕｔｏｍａｔｅｄ Ｆｒａｍｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｓｔｉｔｃｈｉｎｇ ｔｏ Ｃｒｅａｔｅ Ｃｏｍｐｏｓｉｔｅ Ｉｍａｇｅｓ ｆｒｏｍ Ｏｔｏｓｃｏｐｅ Ｖｉｄｅｏ Ｃｌｉｐｓ，"Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，ｖｏｌ．１０，ｎｏ．１７，ｐ．５８９４，２０２０．
［１２］ Ｍｉｃｒｏｓｏｆｔ．（１２／２０／２０１８）．Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｅ Ｅｄｉｔｏｒ（ＩＣＥ）［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｈｔｔｐｓ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｒｅｓｅａｒｃｈ／ｐｒｏｄｕｃｔ／ｃｏｍｐｕｔａｔｉｏｎａｌ－ｐｈｏｔｏｇｒａｐｈｙ－ａｐｐｌｉｃａｔｉｏｎｓ／ｉｍａｇｅ－ｃｏｍｐｏｓｉｔｅ－ｅｄｉｔｏｒ／．
［１３］ Ｂ．Ｊｕｒｉｓｈ ａｎｄ Ｋ．－Ｍ．Ｗｕｒｚｎｅｒ，"Ｗｏｒｄ ａｎｄ Ｓｅｎｔｅｎｃｅ Ｔｏｋｅｎｉｚａｔｉｏｎ ｗｉｔｈ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ，"Ｊ．Ｌａｎｇ．Ｔｅｃｈｎｏｌ．Ｃｏｍｐｕｔ．Ｌｉｎｇｕｉｓｔｉｃｓ，ｖｏｌ．２８，ｎｏ．２，ｐｐ．６１－８３，２０１３．
［１４］ Ｃ．Ｓｉｌｖａ ａｎｄ Ｂ．Ｒｉｂｅｉｒｏ，"Ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｓｔｏｐ ｗｏｒｄ ｒｅｍｏｖａｌ ｏｎ ｒｅｃａｌｌ ｖａｌｕｅｓ ｉｎ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ，"ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２００３．，２００３，ｖｏｌ．３：ＩＥＥＥ，ｐｐ．１６６１－１６６６．
［１５］ Ｍ．Ｔｏｍａｎ，Ｒ．Ｔｅｓａｒ，ａｎｄ Ｋ．Ｊｅｚｅｋ，"Ｉｎｆｌｕｅｎｃｅ ｏｆ ｗｏｒｄ ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｎ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩｎＳｃｉＴ，ｖｏｌ．４，ｐｐ．３５４－３５８，２００６．
［１６］ Ｈ．Ｋ．Ｋｕｍａｒ ａｎｄ Ｂ．Ｈａｒｉｓｈ，"Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｓｈｏｒｔ ｔｅｘｔ ｕｓｉｎｇ ｖａｒｉｏｕｓ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅｓ：Ａｎ ｅｍｐｉｒｉｃａｌ ｅｖａｌｕａｔｉｏｎ，"ｉｎ Ｒｅｃｅｎｔ Ｆｉｎｄｉｎｇｓ ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ：Ｓｐｒｉｎｇｅｒ，２０１８，ｐｐ．１９－３０．
［１７］ Ａ．ＭｃＣａｌｌｕｍ ａｎｄ Ｋ．Ｎｉｇａｍ，"Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｅｖｅｎｔ ｍｏｄｅｌｓ ｆｏｒ ｎａｉｖｅ Ｂａｙｅｓ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，"ｉｎ ＡＡＡＩ－９８ ｗｏｒｋｓｈｏｐ ｏｎ ｌｅａｒｎｉｎｇ ｆｏｒ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ，１９９８，ｖｏｌ．７５２，ｎｏ．１：Ｃｉｔｅｓｅｅｒ，ｐｐ．４１－４８．
［１８］ Ｊ．Ｇｏｌｄｂｅｒｇｅｒ，Ｇ．Ｅ．Ｈｉｎｔｏｎ，Ｓ．Ｔ．Ｒｏｗｅｉｓ，ａｎｄ Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ，"Ｎｅｉｇｈｂｏｕｒｈｏｏｄ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ，"ｉｎ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ，２００５，ｐｐ．５１３－５２０．
［１９］ Ｗ．Ｙａｎｇ，Ｋ．Ｗａｎｇ，ａｎｄ Ｗ．Ｚｕｏ，"Ｎｅｉｇｈｂｏｒｈｏｏｄ Ｃｏｍｐｏｎｅｎｔ Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｈｉｇｈ－Ｄｉｍｅｎｓｉｏｎａｌ Ｄａｔａ，"ＪＣＰ，ｖｏｌ．７，ｎｏ．１，ｐｐ．１６１－１６８，２０１２．
本出願全体を通して、様々な刊行物が参照され得る。これらの刊行物の開示は、その全体が、本方法及び本システムが属する技術の状態をより完全に説明するために、本明細書により、本出願に参照により組み込まれる。以下の刊行物はそれぞれ参照により完全に組み込まれ、本明細書の一部をなす。
［１］Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．，"Ｄｅｃｉｓｉｏｎ ｆｕｓｉｏｎ ｏｎ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ｔｙｍｐａｎｏｍｅｔｒｙ ｔｏ ｄｅｔｅｃｔ ｅａｒｄｒｕｍ ａｂｎｏｒｍａｌｉｔｉｅｓ，"ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０２０：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０２０，ｖｏｌ．１１３１４：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１１３１４１Ｍ.
［２］ Ａ．Ｃ．Ｍｏｂｅｒｌｙ ｅｔ ａｌ．，"Ｄｉｇｉｔａｌ ｏｔｏｓｃｏｐｙ ｖｅｒｓｕｓ ｍｉｃｒｏｓｃｏｐｙ：Ｈｏｗ ｃｏｒｒｅｃｔ ａｎｄ ｃｏｎｆｉｄｅｎｔ ａｒｅ ｅａｒ ｅｘｐｅｒｔｓ ｉｎ ｔｈｅｉｒ ｄｉａｇｎｏｓｅｓ？，"Ｊｏｕｒｎａｌ ｏｆ ｔｅｌｅｍｅｄｉｃｉｎｅ ａｎｄ ｔｅｌｅｃａｒｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．４５３－４５９，２０１８．
［３］ Ｄ．Ｌｉｖｉｎｇｓｔｏｎｅ，Ａ．Ｓ．Ｔａｌａｉ，Ｊ．Ｃｈａｕ，ａｎｄ Ｎ．Ｄ．Ｆｏｒｋｅｒｔ，"Ｂｕｉｌｄｉｎｇ ａｎ Ｏｔｏｓｃｏｐｉｃ ｓｃｒｅｅｎｉｎｇ ｐｒｏｔｏｔｙｐｅ ｔｏｏｌ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，"Ｊｏｕｒｎａｌ ｏｆ Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－Ｈｅａｄ&Ｎｅｃｋ Ｓｕｒｇｅｒｙ，ｖｏｌ．４８，ｎｏ．１，ｐｐ．１－５，２０１９.
［４］ Ｒ．Ｍ．Ｒｏｓｅｎｆｅｌｄ ｅｔ ａｌ．，"Ｃｌｉｎｉｃａｌ ｐｒａｃｔｉｃｅ ｇｕｉｄｅｌｉｎｅ：ｏｔｉｔｉｓ ｍｅｄｉａ ｗｉｔｈ ｅｆｆｕｓｉｏｎ，"Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－Ｈｅａｄ ａｎｄ Ｎｅｃｋ Ｓｕｒｇｅｒｙ，ｖｏｌ．１３０，ｎｏ．５，ｐｐ．Ｓ９５－Ｓ１１８，２００４．
［５］ Ａ．Ｋｕｒｕｖｉｌｌａ，Ｎ．Ｓｈａｉｋｈ，Ａ．Ｈｏｂｅｒｍａｎ，ａｎｄ Ｊ．Ｋｏｖａｃｅｖｉｃ，"Ａｕｔｏｍａｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｏｔｉｔｉｓ ｍｅｄｉａ：ｖｏｃａｂｕｌａｒｙ ａｎｄ ｇｒａｍｍａｒ，"Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，ｖｏｌ．２０１３，ｐ．２７，２０１３．
［６］ Ｃ．Ｓｅｎａｒａｓ ｅｔ ａｌ．，"Ａｕｔｏｓｃｏｐｅ：ａｕｔｏｍａｔｅｄ ｏｔｏｓｃｏｐｙ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｔｏ ｄｉａｇｎｏｓｅ ｅａｒ ｐａｔｈｏｌｏｇｙ ａｎｄ ｕｓｅ ｏｆ ｃｌｉｎｉｃａｌｌｙ ｍｏｔｉｖａｔｅｄ ｅａｒｄｒｕｍ ｆｅａｔｕｒｅｓ，"ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１７：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０１７，ｖｏｌ．１０１３４：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１０１３４１Ｘ．
［７］ Ｄ．Ｃｈａ，Ｃ．Ｐａｅ，Ｓ．－Ｂ．Ｓｅｏｎｇ，Ｊ．Ｙ．Ｃｈｏｉ，ａｎｄ Ｈ．－Ｊ．Ｐａｒｋ，"Ａｕｔｏｍａｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｅａｒ ｄｉｓｅａｓｅ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ａ ｂｉｇ ｏｔｏｅｎｄｏｓｃｏｐｙ ｉｍａｇｅ ｄａｔａｂａｓｅ，"ＥＢｉｏＭｅｄｉｃｉｎｅ，ｖｏｌ．４５，ｐｐ．６０６－６１４，２０１９．
［８］ Ｃ．Ｓｅｎａｒａｓ ｅｔ ａｌ．，"Ｄｅｔｅｃｔｉｏｎ ｏｆ ｅａｒｄｒｕｍ ａｂｎｏｒｍａｌｉｔｉｅｓ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ，"ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１８：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０１８，ｖｏｌ．１０５７５：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１０５７５１Ａ．
［９］ Ｓ．Ｃａｍａｌａｎ ｅｔ ａｌ．，"ＯｔｏＭａｔｃｈ：Ｃｏｎｔｅｎｔ－ｂａｓｅｄ ｅａｒｄｒｕｍ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，"Ｐｌｏｓ ｏｎｅ，ｖｏｌ．１５，ｎｏ．５，ｐ．ｅ０２３２７７６，２０２０．
［１０］ Ｃ．Ｇｓａｘｎｅｒ ｅｔ ａｌ．，"ＰＥＴ－ｔｒａｉｎ：Ａｕｔｏｍａｔｉｃ ｇｒｏｕｎｄ ｔｒｕｔｈ ｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ＰＥＴ ａｃｑｕｉｓｉｔｉｏｎｓ ｆｏｒ ｕｒｉｎａｒｙ ｂｌａｄｄｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ ＣＴ ｉｍａｇｅｓ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，"ｉｎ ２０１８ １１ｔｈ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ（ＢＭＥｉＣＯＮ），２０１８：ＩＥＥＥ，ｐｐ．１－５．
［１１］ Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．，"ＳｅｌｅｃｔＳｔｉｔｃｈ：Ａｕｔｏｍａｔｅｄ Ｆｒａｍｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｓｔｉｔｃｈｉｎｇ ｔｏ Ｃｒｅａｔｅ Ｃｏｍｐｏｓｉｔｅ Ｉｍａｇｅｓ ｆｒｏｍ Ｏｔｏｓｃｏｐｅ Ｖｉｄｅｏ Ｃｌｉｐｓ，"Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，ｖｏｌ．１０，ｎｏ．１７，ｐ．５８９４，２０２０．
［１２］ Ｍｉｃｒｏｓｏｆｔ．（１２／２０／２０１８）．Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｅ Ｅｄｉｔｏｒ（ＩＣＥ）［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｈｔｔｐｓ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ－ｕｓ／ｒｅｓｅａｒｃｈ／ｐｒｏｄｕｃｔ／ｃｏｍｐｕｔａｔｉｏｎａｌ－ｐｈｏｔｏｇｒａｐｈｙ－ａｐｐｌｉｃａｔｉｏｎｓ／ｉｍａｇｅ－ｃｏｍｐｏｓｉｔｅ－ｅｄｉｔｏｒ／．
［１３］ Ｂ．Ｊｕｒｉｓｈ ａｎｄ Ｋ．－Ｍ．Ｗｕｒｚｎｅｒ，"Ｗｏｒｄ ａｎｄ Ｓｅｎｔｅｎｃｅ Ｔｏｋｅｎｉｚａｔｉｏｎ ｗｉｔｈ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ，"Ｊ．Ｌａｎｇ．Ｔｅｃｈｎｏｌ．Ｃｏｍｐｕｔ．Ｌｉｎｇｕｉｓｔｉｃｓ，ｖｏｌ．２８，ｎｏ．２，ｐｐ．６１－８３，２０１３．
［１４］ Ｃ．Ｓｉｌｖａ ａｎｄ Ｂ．Ｒｉｂｅｉｒｏ，"Ｔｈｅ ｉｍｐｏｒｔａｎｃｅ ｏｆ ｓｔｏｐ ｗｏｒｄ ｒｅｍｏｖａｌ ｏｎ ｒｅｃａｌｌ ｖａｌｕｅｓ ｉｎ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ，"ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２００３．，２００３，ｖｏｌ．３：ＩＥＥＥ，ｐｐ．１６６１－１６６６．
［１５］ Ｍ．Ｔｏｍａｎ，Ｒ．Ｔｅｓａｒ，ａｎｄ Ｋ．Ｊｅｚｅｋ，"Ｉｎｆｌｕｅｎｃｅ ｏｆ ｗｏｒｄ ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｎ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩｎＳｃｉＴ，ｖｏｌ．４，ｐｐ．３５４－３５８，２００６．
［１６］ Ｈ．Ｋ．Ｋｕｍａｒ ａｎｄ Ｂ．Ｈａｒｉｓｈ，"Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｓｈｏｒｔ ｔｅｘｔ ｕｓｉｎｇ ｖａｒｉｏｕｓ ｐｒｅｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅｓ：Ａｎ ｅｍｐｉｒｉｃａｌ ｅｖａｌｕａｔｉｏｎ，"ｉｎ Ｒｅｃｅｎｔ Ｆｉｎｄｉｎｇｓ ｉｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ：Ｓｐｒｉｎｇｅｒ，２０１８，ｐｐ．１９－３０．
［１７］ Ａ．ＭｃＣａｌｌｕｍ ａｎｄ Ｋ．Ｎｉｇａｍ，"Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｅｖｅｎｔ ｍｏｄｅｌｓ ｆｏｒ ｎａｉｖｅ Ｂａｙｅｓ ｔｅｘｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，"ｉｎ ＡＡＡＩ－９８ ｗｏｒｋｓｈｏｐ ｏｎ ｌｅａｒｎｉｎｇ ｆｏｒ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ，１９９８，ｖｏｌ．７５２，ｎｏ．１：Ｃｉｔｅｓｅｅｒ，ｐｐ．４１－４８．
［１８］ Ｊ．Ｇｏｌｄｂｅｒｇｅｒ，Ｇ．Ｅ．Ｈｉｎｔｏｎ，Ｓ．Ｔ．Ｒｏｗｅｉｓ，ａｎｄ Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ，"Ｎｅｉｇｈｂｏｕｒｈｏｏｄ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ，"ｉｎ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ，２００５，ｐｐ．５１３－５２０．
［１９］ Ｗ．Ｙａｎｇ，Ｋ．Ｗａｎｇ，ａｎｄ Ｗ．Ｚｕｏ，"Ｎｅｉｇｈｂｏｒｈｏｏｄ Ｃｏｍｐｏｎｅｎｔ Ｆｅａｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ ｆｏｒ Ｈｉｇｈ－Ｄｉｍｅｎｓｉｏｎａｌ Ｄａｔａ，"ＪＣＰ，ｖｏｌ．７，ｎｏ．１，ｐｐ．１６１－１６８，２０１２．
【0064】
方法及びシステムを、好ましい実施形態及び特定の実施例に関連して説明してきたが、本明細書の実施形態は、あらゆる点で制限的ではなく、例示的であることが意図されているため、記載した特定の実施形態に範囲を限定することは意図されていない。
【0065】
別段に明示的な定めのない限り、本明細書に示されているいずれの方法も、そのステップを特定の順序で行う必要があるものとして解釈するようには全く意図されていない。従って、方法の請求項がそのステップが従うべき順序を実際に記載していない場合、または該ステップが特定の順序に限定されるべきであることが請求項または説明に具体的に述べられていない場合、いかなる点でも順序が推測されることを決して意図しない。これは、解釈のためのあらゆる可能性のある不明確な基準（ステップまたは動作フローのアレンジに関する論理の問題、文法構成または句読点に由来する平明な意味、明細書中に記載される実施形態の数または型が挙げられる）についても当てはまる。
【0066】
範囲または趣旨から逸脱することなく、様々な修正及び変形を行い得ることは、当業者にとって明らかであろう。他の実施形態は、本明細書の考察及び本明細書に開示された実践から、当業者には明らかであろう。本明細書及び実施例は、例示的なものとしてのみ考慮されることが意図されており、真の範囲及び趣旨は、次の特許請求の範囲によって示される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【国際調査報告】