特表 2024-509717 耳の病状を診断するための自動耳鏡検査画像分析に左右の鼓膜耳鏡検査画像を使用するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-05

(54)【発明の名称】耳の病状を診断するための自動耳鏡検査画像分析に左右の鼓膜耳鏡検査画像を使用するシステム及び方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240227BHJP

   G06T 7/00 20170101ALI20240227BHJP

   A61B 5/00 20060101ALI20240227BHJP

   A61F 11/00 20220101ALN20240227BHJP

【ＦＩ】

G06V10/82

G06T7/00 612

G06T7/00 350C

A61B5/00 G

A61B5/00 101A

A61F11/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023547758

(86)(22)【出願日】2021-12-08

(85)【翻訳文提出日】2023-09-15

(86)【国際出願番号】 US2021062401

(87)【国際公開番号】W WO2022169503

(87)【国際公開日】2022-08-11

(31)【優先権主張番号】63/146,903

(32)【優先日】2021-02-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＭＡＴＬＡＢ

(71)【出願人】

【識別番号】516046846

【氏名又は名称】オハイオ ステート イノベーション ファウンデーション

(74)【代理人】

【識別番号】100104411

【弁理士】

【氏名又は名称】矢口 太郎

(72)【発明者】

【氏名】グルカン、メティン

(72)【発明者】

【氏名】モバリー、アーロン

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XB01

4C117XB09

4C117XD09

4C117XE43

4C117XG39

4C117XJ01

4C117XJ34

4C117XK05

4C117XK07

4C117XK08

4C117XK13

5L096BA06

5L096CA04

5L096EA12

5L096EA35

5L096GA41

5L096HA11

5L096JA11

5L096JA22

5L096KA04

(57)【要約】

本明細書では、一組の画像（右耳と左耳の両方からの画像）を比較する自動耳鏡検査画像分析システム及び方法を開示及び説明する。開示されたシステム及び方法は、深層学習及び色ベースの特徴を使用して、ＴＭ画像のペアを分類する。画像の分類には、例えば、「正常－正常」、「正常－異常」、「異常－正常」、または「異常－異常」が含まれ得る。深層学習ベースの特徴を抽出するには、ルックアップテーブルを作成して使用することができる。画像の前処理ステップは、ルックアップテーブルの作成に使用される。ペアになった画像のルックアップテーブル値がラベルに従って分析され、右耳の値と左耳の値の間の関連性が判断される。
【選択図】 図６

【特許請求の範囲】

【請求項1】

患者の左右両方の鼓膜の画像から鼓膜の病状を分類する方法であって、
画像キャプチャデバイスを使用して患者の左鼓膜のそれぞれの１つまたは複数の画像と右鼓膜の１つまたは複数の画像をキャプチャすることと、
前記患者の前記左鼓膜及び前記右鼓膜の前記キャプチャされた１つまたは複数の画像に対して前処理及びデータ拡張を実行して、前記患者の前記右鼓膜の合成画像及び前記対応する左鼓膜の合成画像を作成して、前記患者に対して鼓膜画像のペアを形成することと、
前記鼓膜画像のペアから特徴を抽出することと、
前記抽出された特徴を使用して、前記鼓膜画像のペアの特徴ベクトルを形成することと、
前記鼓膜画像のペアの病状を分類することと、
を含む、前記方法。

【請求項2】

前記特徴ベクトルが２つの部分を有し、第１の部分は深層学習技術を使用して作成されたルックアップテーブルベースの値で構成され、第２の部分はペアの鼓膜間のレジストレーション誤差を記録することによって作成された手作りの特徴、Ｌ＊ａ＊ｂ＊色空間のａ＊及びｂ＊成分のヒストグラムなどの色ベースの特徴、ならびにこれらのカラーチャネルの統計的測定値で構成される、請求項１に記載の方法。

【請求項3】

前記深層学習技術が転移ベースの学習を含む、請求項２に記載の方法。

【請求項4】

前記転移ベースの学習が、Ｉｎｃｅｐｔｉｏｎ Ｖ３またはＲｅｓＮｅｔを含む深層学習ネットワークを再トレーニングすることを含む、請求項３に記載の方法。

【請求項5】

前記抽出された特徴が連結されて単一の特徴ベクトルを形成する、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記鼓膜画像のペアの病状を分類することが、ツリーバガー分類器によって前記単一の特徴ベクトルを分類することを含む、請求項５に記載の方法。

【請求項7】

前処理が、センサベースの問題を軽減すること、前記１つまたは複数の画像内の関心領域を選択すること、グレア効果（光の反射）、耳垢、毛髪、暗い縁、及びテキストを検出すること、前記患者の前記右鼓膜の前記合成画像及び前記対応する左鼓膜の前記合成画像から、前記グレア効果、耳垢、毛髪、暗い縁及びテキストが低減または除去された前記１つまたは複数の画像のコピーを作成すること、のうちの１つまたは複数を含む、請求項１～６のいずれか一項に記載の方法。

【請求項8】

データ拡張が、前記１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に反射させることと、前記１つまたは複数の画像のそれぞれを０．７～２の範囲でスケーリングすることと、前記１つまたは複数の画像のそれぞれをランダムに回転することと、前記１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に０～４５度の範囲で剪断することと、それらの画像を水平方向と垂直方向の両方に－３０～３０ピクセルの範囲で平行移動することと、を含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記鼓膜画像のペアの病状を分類することが、各鼓膜を正常または異常として分類することを含む、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記異常が、急性中耳炎（ＡＯＭ）、中耳滲出液（非感染体液）、真珠腫（耳の一般的な破壊性皮膚嚢胞）、鼓膜穿孔、及び正常と比較した鼓膜陥凹のうちの１つまたは複数を含む、請求項９に記載の方法。

【請求項11】

前記画像キャプチャデバイスが、前記鼓膜のそれぞれの１つまたは複数の静止画像をキャプチャするか、または前記鼓膜のそれぞれのビデオをキャプチャする、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記画像キャプチャデバイスが高解像度耳鏡またはデジタルビデオ耳鏡を含む、請求項１０に記載の方法。

【請求項13】

患者の左右両方の鼓膜の画像から鼓膜の病状を分類するシステムであって、
画像キャプチャデバイスであって、患者の左鼓膜のそれぞれの１つまたは複数の画像と右鼓膜の１つまたは複数の画像をキャプチャする前記画像キャプチャデバイスと、
メモリであって、患者の前記左鼓膜のそれぞれのキャプチャされた１つまたは複数の画像及び右鼓膜の１つまたは複数の画像が記憶される、前記メモリと、
前記メモリと通信するプロセッサであって、前記プロセッサは、前記メモリに格納されているコンピュータ可読命令であって、前記プロセッサに、
前記患者の前記左鼓膜及び前記右鼓膜の前記キャプチャされた１つまたは複数の画像に対して前処理及びデータ拡張を実行して、前記患者の前記右鼓膜の合成画像及び前記対応する左鼓膜の合成画像を作成して、前記患者に対して鼓膜画像のペアを形成させ、
前記鼓膜画像のペアから特徴を抽出させ、
前記抽出された特徴を使用して、前記鼓膜画像のペアの特徴ベクトルを形成させ、
前記鼓膜画像のペアの病状を分類させる、
前記コンピュータ可読命令を実行する、前記プロセッサと、
を含む、前記システム。

【請求項14】

前記特徴ベクトルが２つの部分を有し、第１の部分は深層学習技術を使用して作成されたルックアップテーブルベースの値で構成され、第２の部分はペアの鼓膜間のレジストレーション誤差を記録することによって作成された手作りの特徴、Ｌ＊ａ＊ｂ＊色空間のａ＊及びｂ＊成分のヒストグラムなどの色ベースの特徴、ならびにこれらのカラーチャネルの統計的測定値で構成される、請求項１３に記載のシステム。

【請求項15】

前記深層学習技術が転移ベースの学習を含む、請求項１４に記載のシステム。

【請求項16】

前記転移ベースの学習が、Ｉｎｃｅｐｔｉｏｎ Ｖ３またはＲｅｓＮｅｔを含む深層学習ネットワークを再トレーニングすることを含む、請求項１５に記載のシステム。

【請求項17】

前記抽出された特徴が連結されて単一の特徴ベクトルを形成する、請求項１３～１６のいずれか一項に記載のシステム。

【請求項18】

前記鼓膜画像のペアの病状を分類することが、ツリーバガー分類器によって前記単一の特徴ベクトルを分類することを含む、請求項１７に記載のシステム。

【請求項19】

前処理が、センサベースの問題を軽減すること、前記１つまたは複数の画像内の関心領域を選択すること、グレア効果（光の反射）、耳垢、毛髪、暗い縁、及びテキストを検出すること、前記患者の前記右鼓膜の前記合成画像及び前記対応する左鼓膜の前記合成画像から、前記グレア効果、耳垢、毛髪、暗い縁及びテキストが低減または除去された前記１つまたは複数の画像のコピーを作成すること、のうちの１つまたは複数を含む、請求項１３～１８のいずれか一項に記載のシステム。

【請求項20】

データ拡張が、前記１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に反射させることと、前記１つまたは複数の画像のそれぞれを０．７～２の範囲でスケーリングすることと、前記１つまたは複数の画像のそれぞれをランダムに回転することと、前記１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に０～４５度の範囲で剪断することと、それらの画像を水平方向と垂直方向の両方に－３０～３０ピクセルの範囲で平行移動することと、を含む、請求項１３～１９のいずれか一項に記載のシステム。

【請求項21】

前記鼓膜画像のペアの病状を分類することが、各鼓膜を正常または異常として分類することを含む、請求項１３～２０のいずれか一項に記載のシステム。

【請求項22】

前記異常が、急性中耳炎（ＡＯＭ）、中耳滲出液（非感染体液）、真珠腫（耳の一般的な破壊性皮膚嚢胞）、鼓膜穿孔、及び正常と比較した鼓膜陥凹のうちの１つまたは複数を含む、請求項２１に記載のシステム。

【請求項23】

前記画像キャプチャデバイスが、前記鼓膜のそれぞれの１つまたは複数の静止画像をキャプチャするか、または前記鼓膜のそれぞれのビデオをキャプチャする、請求項１３～２２のいずれか一項に記載のシステム。

【請求項24】

前記画像キャプチャデバイスが高解像度耳鏡またはデジタルビデオ耳鏡を含む、請求項２３に記載のシステム。

【請求項25】

コンピュータ可読媒体に格納されたコンピュータ実行可能コードセクションを含む非一時的コンピュータプログラム製品であって、画像から鼓膜の病状を分類する方法を実行するための前記コンピュータ実行可能コードセクションは、
前記患者の前記左鼓膜及び前記右鼓膜の前記キャプチャされた１つまたは複数の画像に対して前処理及びデータ拡張を実行して、前記患者の前記右鼓膜の合成画像及び前記対応する左鼓膜の合成画像を作成して、前記患者に対して鼓膜画像のペアを形成することと、
前記鼓膜画像のペアから特徴を抽出することと、
前記抽出された特徴を使用して、前記鼓膜画像のペアの特徴ベクトルを形成することと、
前記鼓膜画像のペアの病状を分類することと、
を含む、前記非一時的コンピュータプログラム製品。

【請求項26】

前記特徴ベクトルが２つの部分を有し、第１の部分は深層学習技術を使用して作成されたルックアップテーブルベースの値で構成され、第２の部分はペアの鼓膜間のレジストレーション誤差を記録することによって作成された手作りの特徴、Ｌ＊ａ＊ｂ＊色空間のａ＊及びｂ＊成分のヒストグラムなどの色ベースの特徴、ならびにこれらのカラーチャネルの統計的測定値で構成される、請求項２５に記載のコンピュータプログラム製品。

【請求項27】

前記深層学習技術が転移ベースの学習を含む、請求項２６に記載のコンピュータプログラム製品。

【請求項28】

前記転移ベースの学習が、Ｉｎｃｅｐｔｉｏｎ Ｖ３またはＲｅｓＮｅｔを含む深層学習ネットワークを再トレーニングすることを含む、請求項２７に記載のコンピュータプログラム製品。

【請求項29】

前記抽出された特徴が連結されて単一の特徴ベクトルを形成する、請求項２５～２８のいずれか一項に記載のコンピュータプログラム製品。

【請求項30】

前記鼓膜画像のペアの病状を分類することが、ツリーバガー分類器によって前記単一の特徴ベクトルを分類することを含む、請求項２９に記載のコンピュータプログラム製品。

【請求項31】

前処理が、センサベースの問題を軽減すること、前記１つまたは複数の画像内の関心領域を選択すること、グレア効果（光の反射）、耳垢、毛髪、暗い縁、及びテキストを検出すること、前記患者の前記右鼓膜の前記合成画像及び前記対応する左鼓膜の前記合成画像から、前記グレア効果、耳垢、毛髪、暗い縁及びテキストが低減または除去された前記１つまたは複数の画像のコピーを作成すること、のうちの１つまたは複数を含む、請求項２５～３０のいずれか一項に記載のコンピュータプログラム製品。

【請求項32】

データ拡張が、前記１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に反射させることと、前記１つまたは複数の画像のそれぞれを０．７～２の範囲でスケーリングすることと、前記１つまたは複数の画像のそれぞれをランダムに回転することと、前記１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に０～４５度の範囲で剪断することと、それらの画像を水平方向と垂直方向の両方に－３０～３０ピクセルの範囲で平行移動することと、を含む、請求項２５～３１のいずれか一項に記載のコンピュータプログラム製品。

【請求項33】

前記鼓膜画像のペアの病状を分類することが、各鼓膜を正常または異常として分類することを含む、請求項２５～３２のいずれか一項に記載のコンピュータプログラム製品。

【請求項34】

前記異常が、急性中耳炎（ＡＯＭ）、中耳滲出液（非感染体液）、真珠腫（耳の一般的な破壊性皮膚嚢胞）、鼓膜穿孔、及び正常と比較した鼓膜陥凹のうちの１つまたは複数を含む、請求項３３に記載のコンピュータプログラム製品。

【請求項35】

画像キャプチャデバイスが、前記鼓膜のそれぞれの１つまたは複数の静止画像をキャプチャするか、または前記鼓膜のそれぞれのビデオをキャプチャする、請求項２５～３４のいずれか一項に記載のコンピュータプログラム製品。

【請求項36】

前記画像キャプチャデバイスが高解像度耳鏡またはデジタルビデオ耳鏡を含む、請求項３５に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

政府支援条項
本発明は、合衆国国立衛生研究所により付与された助成金番号Ｒ２１ ＤＣ０１６９７２の下、政府の支援を受けて行われた。米国政府は、本発明における一定の権利を有する。

【0002】

関連出願の相互参照
本出願は、２０２１年２月８日に出願された米国仮特許出願第６３／１４６，９０３号の優先権及び利益を主張し、この仮特許出願は参照により完全に組み込まれ、本明細書の一部となる。

【背景技術】

【0003】

耳の感染症、特に中耳の急性感染症（急性中耳炎）は、最も一般的に治療されている小児疾患であり、米国だけで年間約２，０００万件の医師の診察が行われている。

【0004】

耳の疾患は、適切な時期に診断され、適切な治療法が適用されれば、簡単に治療できる疾患の一つである。そうしないと、耳の疾患により難聴やその他の合併症が発生する可能性がある。耳鏡検査は、外耳道と鼓膜（ｔｙｍｐａｎｉｃ ｍｅｍｂｒａｎｅ、ＴＭ）を検査するために使用される最も基本的かつ一般的なツールの１つである［１，２］。耳鼻咽喉科医や小児科医は、耳鏡検査と臨床的特徴を利用して、ＴＭの穿孔、真珠腫、急性中耳炎（ＡＯＭ）、及び慢性中耳炎（ＣＯＭ）を診断できる。しかしながら、経験豊富で熟練した医師による検査が常に可能であるとは限らない。同じ耳鏡検査の経験のない医師を支援するには、コンピュータ支援診断（ＣＡＤ）システムが役立つ可能性がある［３］。

【0005】

中耳炎（ＯＭ）は５歳未満の子供にとって最も一般的な疾患の１つであるため［９，１０］、ほとんどのＣＡＤシステムは、中耳に感染症があるかどうかを判断する分類方法を使用している［４－８］。陥没、穿孔、鼓膜硬化症などの他の耳疾患は、自動ＣＡＤシステムによって正常な鼓膜画像に対して異常な鼓膜画像として分類される［１１－１３］。分類方法に加えて、耳鏡画像上のＴＭをセグメント化して分類するアプローチもある［１４－１６］。最近では、特定の耳鏡検査ビデオフレームを選択し、それらをつなぎ合わせることで作成される合成画像も、耳の病状を検出する確率を高めるために使用されている［１７，１８］。２０１９年７月１８日に公開された米国ＰＧ特許公開 第２０１９／０２１６３０８Ａ１号（参照により完全に組み込まれる）は、コンテンツベースの画像検索（ＣＢＩＲ）システムの一例であり、医師を支援するために設計されたＣＡＤシステムの好例である［１９］。

【0006】

一般に、鼓膜の分類やセグメント化に使用されるＴＭ解析用のＣＡＤアプローチは、手作りの特徴ベースと深層学習ベースの２つのカテゴリに分類できる。手作りの特徴ベースのアプローチの場合、最も一般的に使用される特徴は、従来のテクスチャアプローチに加えて色ベースの情報である［１２，１５，２０－２３］。鼓膜の正常な場合と異常な場合には大きな違いがあるため、色ベースの情報が一般的である。深層学習ベースのアプローチは、一般に精度が高いため、テクスチャベースのアプローチよりもよく使用される［４，２４］。ある研究では、耳鏡検査画像を分類するために手作りのアプローチと深層学習ベースのアプローチの両方を使用した［７］。

【0007】

しかしながら、ＯＭ異常に対するＣＡＤにおけるこれまでの作業は、片耳（すなわち、右または左のいずれか）のＴＭ画像にのみ適用されてきた。例えば、リーらは、耳の側を検出する畳み込みニューラルネットワーク（ＣＮＮ）ベースのアプローチを提案したが、この情報はペアになった画像（右耳と左耳）を一緒に分類するためには使用されなかった［２５］。しかしながら、医師は通常、診断を下す前に身体検査で両耳を検査する。

【0008】

したがって、その一部を上で説明した、当技術分野における課題を克服するシステム及び方法が望まれている。特に、多数の耳の病状のいずれも適切に特定し、分類するために、耳鏡検査画像を分析するためのタイムリーで正確な方法及びシステムが必要とされている。

【発明の概要】

【0009】

本明細書では、一組の画像（右耳と左耳の両方からの画像）を比較する自動耳鏡検査画像分析システム及び方法を開示及び説明する。開示されたシステム及び方法は、深層学習及び色ベースの特徴を使用して、ＴＭ画像のペアを分類する。画像分類には、例えば、「正常－正常」、「正常－異常」、「異常－正常」、「異常－異常」が含まれ得る。深層学習ベースの特徴を抽出するには、ルックアップテーブルを作成して使用することができる。画像の前処理ステップは、ルックアップテーブルの作成に使用される。ペアになった画像のルックアップテーブル値がラベルに従って分析され、右耳の値と左耳の値の間の関連性が判断された。加えて、色ベースの特徴の寄与を使用して、分類精度を向上させることもできる。

【0010】

本明細書では、患者の左右両方の鼓膜の画像から鼓膜の病状を分類するための方法、システム、及びコンピュータプログラム製品を開示及び説明する。画像キャプチャデバイスを使用して患者の左鼓膜のそれぞれの１つまたは複数の画像及び右鼓膜の１つまたは複数の画像をキャプチャすることと、患者の左鼓膜及び右鼓膜のキャプチャされた１つまたは複数の画像に対して前処理及びデータ拡張を実行して、患者の右鼓膜の合成画像及び対応する左鼓膜の合成画像を作成して、患者の鼓膜画像のペアを形成することと、鼓膜画像のペアから特徴を抽出することと、抽出された特徴を使用して、鼓膜画像のペアの特徴ベクトルを形成することと、鼓膜画像のペアの病状を分類することと、のための方法、システム、及びコンピュータプログラム製品が説明及び開示される。

【0011】

追加の利点は、以下の説明で部分的に述べられ、または実践によって学ぶことができる。この有利な点は、添付の特許請求の範囲に特に指摘された要素及び組み合わせによって実現され達成されることになる。上記の一般的な説明と以下の詳細な説明との両方は、例示的及び説明的なものに過ぎず、特許請求されているように限定的ではないことを理解されたい。

【図面の簡単な説明】

【0012】

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成するものであり、実施形態を示しており、本明細書の説明と併せて、本方法及び本システムの原理を明らかにする目的を果たす。

【図1】単一患者の右鼓膜と左鼓膜の両方からの画像から鼓膜の病状を分類するための例示的な概観システムを示す。

【図2A】自動耳鏡検査画像分析のための左右の鼓膜耳鏡検査画像の使用に基づいて耳の病状を分類するアプローチの一実施形態を含むモジュールを示す。

【図2B】例示的な合成画像生成方法のフロー図を示し、ケース１は、新しいフレームが、以前は別の重要なフレームによってカバーされていなかった新しい関心領域を含む場合に発生し、ケース２は、領域が以前の重要なフレームによってすでにカバーされている領域がこの新しいフレームではより良い品質を有する場合に発生する。

【図3】図３Ａ～３Ｆは、正常、滲出液を伴う異常、及び鼓膜切開チューブを伴う異常のカテゴリからのペアになった例を示し、異なるカテゴリの画像間の変動性を示している。

【図4】鼓膜切開チューブ診断による左右の鼓膜画像を示す。

【図5】鼓膜画像のペアに対する特徴ベクトル構造の作成を示す。

【図6】患者の左右の鼓膜耳鏡検査画像を使用して鼓膜の病状を分類する例示的な方法を示すフローチャートである。

【図7】患者の左右の鼓膜耳鏡検査画像を使用して鼓膜の病状を分類するために使用できる例示的なコンピュータを示す。

【図8】異なる特徴ベクトルについて、正常－正常及び異常－異常のペアのみ、及び異常－正常／正常－異常のペアを追加した後の３分割の分類精度の結果を示す。

【図9A】正常－正常、異常－異常、正常－異常、及び異常－正常のペアの鼓膜の右側及び左側のルックアップ値分布を示す図である。

【図9B】正常－正常、異常－異常、正常－異常、及び異常－正常のペアの鼓膜の右側及び左側のルックアップ値分布を示す図である。

【図10】耳鼻咽喉科専門医によって「微妙」とラベル付けされ、転移学習によって誤分類されたペア画像に関する４つの例を示している。

【発明を実施するための形態】

【0013】

本方法及びシステムが開示され記載される前に、方法及びシステムは、特定の合成方法、特定の構成要素に、または特定の組成に限定されないことが理解されるべきである。本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、限定することを意図するものではないことも理解すべきである。

【0014】

明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈に別途明示のない限り、複数の指示対象を含む。範囲は、「約」ある特定の値から、及び／または「約」別の特定の値までとして本明細書では表現される場合がある。そのような範囲が表現される場合、別の実施形態は、ある特定の値から、及び／または他の特定の値までを含む。同様に、値が近似値として表される場合、先行詞「約」を使用することにより、特定値が別の実施形態を形成することが理解されるであろう。さらに、各範囲の終点は、他の終点との関係でも、他の終点とは無関係でも、有意であることが理解されるであろう。

【0015】

「任意」または「任意に」は、その後に記載される事象または状況が生じても生じなくてもよいこと、及び、記載が該事象または状況が生じる場合及び生じない場合を含むことを意味する。

【0016】

この明細書の記載及び特許請求の範囲全体にわたって、文言「含む（ｃｏｍｐｒｉｓｅ）」及びその文言の変形、例えば「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」及び「含む（ｃｏｍｐｒｉｓｅｓ）」は、「限定されるものではないが、～を含んでいる」を意味しており、例えば、他の付加物、構成要素、要素またはステップを除外することを意図していない。「例示的な」は、「～の例」を意味しており、好適なまたは理想的な実施形態の指示を伝えることを意図していない。「～など（ｓｕｃｈ ａｓ）」は、限定的な意味ではなく、説明のために使用される。

【0017】

開示された方法及びシステムを実行するために使用され得る構成要素が、開示される。これら及び他の構成要素が本明細書に開示されており、これらの構成要素の組み合わせ、サブセット、相互作用、グループなどが開示されている場合、これらの各様々な個別の及び集合的な組み合わせ及び順列の特定指示が明示的に開示されていないことがあるが、それぞれが、すべての方法及びシステムについて、本明細書に具体的に企図され記載されていることが理解される。このことは、限定されるものではないが、開示された方法のステップを含んでいる、本出願のすべての態様に適用される。したがって、実行可能な様々な追加ステップがある場合、これらの追加ステップのそれぞれは、開示された方法の任意の特定の実施形態または実施形態の組み合わせで実行可能であることが理解される。

【0018】

当業者によって理解されるように、本方法及び本システムは、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態を取り得る。さらに、本方法及び本システムは、記憶媒体に具現化されたコンピュータ可読プログラム命令（例えば、コンピュータソフトウェア）を有するコンピュータ可読記憶媒体上のコンピュータプログラム製品の形態を取り得る。より具体的には、本方法及び本システムは、ウェブ実装コンピュータソフトウェアの形態を取り得る。ハードディスク、ＣＤ－ＲＯＭ、光学ストレージデバイス、または磁気ストレージデバイスを含む、適切な任意のコンピュータ可読記憶媒体を利用することができる。

【0019】

以下、本方法及び本システムの実施形態について、方法、システム、装置及びコンピュータプログラム製品のブロック図及びフローチャート図を参照しながら説明する。ブロック図及びフローチャート図の各ブロック、ならびにブロック図及びフローチャート図のブロックの組み合わせは、それぞれコンピュータプログラム命令によって実施できることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置にロードされて機械を生成することができ、コンピュータまたは他のプログラム可能なデータ処理装置で実行される命令が、１つまたは複数のフローチャートブロックに指定された機能を実装するための手段を作成する。

【0020】

これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で機能するように指示することができるコンピュータ可読メモリに格納されてもよく、コンピュータ可読メモリに格納された命令が、１つまたは複数のフローチャートブロックに指定された機能を実装するためのコンピュータ可読命令を含む製品を生成する。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理装置にロードされて、コンピュータまたは他のプログラム可能な装置上で実行されることになる一連の動作ステップに、コンピュータまたは他のプログラム可能な装置上で実行される命令が、１つまたは複数のフローチャートブロックに指定された機能を実装するためのステップを提供するように、コンピュータ実装プロセスを生成させることができる。

【0021】

したがって、ブロック図及びフローチャート図のブロックは、指定された機能を実行するための手段の組み合わせ、指定された機能を実行するためのステップの組み合わせ、及び指定された機能を実行するためのプログラム命令手段をサポートする。また、ブロック図及びフローチャート図の各ブロック、ならびにブロック図及びフローチャート図のブロックの組み合わせは、指定された機能またはステップを実行する専用ハードウェアベースコンピュータシステム、または専用ハードウェアとコンピュータ命令との組み合わせによって実装できることも理解されよう。

【0022】

本発明の方法及びシステムは、好ましい実施形態の以下の詳細な説明及びそこに含まれる実施例、ならびに図及びそれらの前後の説明を参照することによって、より容易に理解することができる。

【0023】

図１は、人の左耳と右耳の両方の画像のセットから耳の病状を分類するための例示的な概観システムを示す。図１に示されるように、システム１００の一実施形態は、画像キャプチャ機構１０２を備える。一態様では、画像キャプチャ機構１０２はカメラであり得る。より具体的には、画像キャプチャ機構１０２はデジタル耳鏡であってもよい。画像キャプチャ機構１０２は、各耳の静止画像及び／またはビデオ画像を撮影することができる。一般に、画像キャプチャ機構１０２はデジタルカメラであるが、適切なアナログ／デジタル変換器を備えた、または適切なアナログ／デジタル変換器と通信するアナログデバイスであってもよい。画像キャプチャ機構１０２はまた、ウェブカメラ、スキャナ、レコーダ、または静止画像またはビデオをキャプチャすることができる他の任意のデバイスであってもよい。場合によっては、システムは、各耳の画像を同時にまたは順番にキャプチャするための２つの画像キャプチャ機構１０２を備えることができる。

【0024】

図１に示すように、画像キャプチャ機構１０２は、例えば、ネットワーク（有線（光ファイバを含む）、無線、または有線と無線の組み合わせ）または直接接続ケーブル（例えば、ユニバーサルシリアルバス（ＵＳＢ）接続、ＩＥＥＥ１３９４「Ｆｉｒｅｗｉｒｅ」接続などを使用する）を介して、コンピューティングデバイス１１０と直接通信する。他の態様では、画像キャプチャ機構１０２は、コンピューティングデバイス１１０から遠隔に配置することができるが、画像をキャプチャし、それらをメモリデバイスに記憶することができ、例えば、ポータブルメモリデバイスなどを使用して画像をコンピューティングデバイス１１０にダウンロードまたは転送できるようにすることができる。一態様では、コンピューティングデバイス１１０及び画像キャプチャ機構１０２は、スマートデバイス、スマートフォン、タブレット、ラップトップコンピュータ、または任意の他の固定またはモバイルコンピューティングデバイスなどのデバイスを備えることができるか、またはその一部であり得る。

【0025】

基本的な構成では、コンピューティングデバイス１１０は、プロセッサ１０４及びメモリ１０８から構成され得る。プロセッサ１０４は、メモリ１０８に記憶されたコンピュータ可読命令を実行し得る。さらに、画像キャプチャデバイス１０２によってキャプチャされた画像は、静止画像であろうとビデオであろうと、メモリ１０８に記憶され、メモリ１０８に記憶されたコンピュータ可読命令を使用してプロセッサ１０４によって処理され得る。

【0026】

プロセッサ１０４は、画像キャプチャデバイス１０２及びメモリ１０８と通信する。プロセッサ１０４は、メモリ１０８に格納されたコンピュータ可読命令を実行して、画像キャプチャデバイス１０２を使用して、患者の左耳と右耳の両方の画像のセットをキャプチャすることができる。一態様では、キャプチャされた画像は、患者の左鼓膜及び右鼓膜の一連の画像を含むことができる。

【0027】

プロセッサ１０４はさらに、メモリ１０８に格納されたコンピュータ可読命令を実行して、画像キャプチャデバイス１０２を使用して、１つまたは複数のセットのデジタル画像をキャプチャし、１つまたは複数のセットから耳の病状を分類することができる。

【0028】

図２Ａは、自動耳鏡検査画像分析のための左右の鼓膜耳鏡検査画像の使用に基づいて耳の病状を分類するアプローチの一実施形態を含むモジュールを示す。これらのモジュールは、プロセッサ１０４によって実行できるソフトウェアを含んでもよい。これらのモジュールは、画像セットのキャプチャ２０２、前処理及びデータ拡張２０４、ルックアップテーブルを生成するための特徴抽出２０６、鼓膜画像のペアに対する特徴ベクトルの形成２０８及びペアの分類２１０を含む。これらの各モジュールについては、本明細書でさらに詳しく説明する。画像取得処理については、図１を参照して上記で説明した。

【0029】

ＨＤビデオ耳鏡（例えば、ミズーリ州セントルイスのＪＥＤＭＥＤ Ｈｏｒｕｓ＋ＨＤ Ｖｉｄｅｏ Ｏｔｏｓｃｏｐｅ）などの耳鏡を使用して、鼓膜のペア（同じ患者の左耳と右耳）の１つまたは複数の画像セットまたはビデオをキャプチャすることができる。収集されたＨＤ画像の解像度が高いため、一部の異常を特定できるが、この製品の設計上の問題の一部により、自律的な認識が困難になる可能性がある。前処理モジュール２０２では、これらの課題が軽減され、画像はその特徴を計算するために準備される。

【0030】

適切な画像を取得することは、視覚的な障害物（耳垢、毛髪など）、不十分な照明、狭い視野、画像の周囲の黒い縁、画像上の時間／テキストスタンプなどのために困難なタスクであり得る。患者が子供の場合、患者が協力的でない間は良好な静止画像をキャプチャすることができないという問題も生じる可能性がある。これらの課題を解決するために、患者の各外耳道の短いビデオ（約３～５秒）がキャプチャされる。次に、図２Ｂに示すアルゴリズムを実行するソフトウェアが実行され、鼓膜のビデオフレームを分析し、新しいモザイク画像を作成する。

【0031】

ビデオシーケンス内の新しいフレームごとに、図２Ｂで説明したモザイク画像作成アルゴリズムが、障害物（例えば、耳垢、毛髪、暗い縁、テキストなど）のない関心領域を決定する。これらの各領域はサブセクションに分割され、各セクションの画質は、焦点が合っているか、適切なコントラストと照明があるかどうかという点で評価される。フレームに、前のフレームには含まれていない鼓膜の部分が含まれている場合、またはすでに含まれている鼓膜の部分が含まれているが、（焦点、コントラスト、照明の点で）品質が高い場合、このフレームは「重要なフレーム」としてラベル付けされるか、またはその他の方法で特定される。最後に、新しい方法では、ビデオシーケンス内のすべての「重要なフレーム」の関心領域を考慮してモザイク画像を構築する。

【0032】

フレームには、異なる量の視覚障害物（例えば、耳垢、毛髪、グレア、文字、暗い縁など）及び／または照明の質が含まれる場合がある。本明細書で説明するように、この方法は、優れた照明を備えた障害物のない複合画像を構築することを含む。したがって、アルゴリズムは、合成画像の生成中に障害物（耳垢、グレア、毛髪、文字、暗い縁－下記を参照）及び焦点の合っていない領域を検出する。これを行うために、アルゴリズムは新しい各フレームを以前のフレームと比較し、より焦点が合っていて明るい領域を使用して新しい画像を更新する。焦点と照明の品質を決定するために、画像のエントロピーが計算され、最も高いエントロピーを持つフレームが選択される。

【0033】

耳垢の検出に関しては、耳垢の典型的な特徴の１つはその黄色である。したがって、黄色の領域は、ＣＭＹＫ色空間の閾値処理を使用して特定される。これらの潜在的な耳垢領域が、ＣＭＹＫ空間内で最も高い「Ｙ」値を持つ領域として検出された後、これらの耳垢領域の強度の勾配の大きさ（つまり、「Ｙ」値）の平均及び標準変動が計算される。これらの特徴は、耳垢領域を検出するためにＦＳＧ分類器に入力される。

【0034】

グレアは、鼓膜の表面における耳鏡からの光の反射によって引き起こされる。グレアは、いくつかの特徴（例えば、鼓膜の平均色値）の計算において問題となる可能性がある。一方、重要な臨床診断の手がかりである光錐は、グレア検出アルゴリズムによって誤ってグレアと見なされ、除去される可能性がある。特徴を正確に抽出するために、開示された方法は、強度値のヒストグラムを計算することを含み、ヒストグラム内の最高の強度値に対応するピークを見つける。そのピークは、グレアと光錐に対応する。グレアと光錐を区別するために、面積閾値処理が適用される（グレア（複数可）が光錐（複数可）よりも大きい場合）。

【0035】

毛髪の検出には、Ｒ．Ｇ．ｖｏｎ Ｇｉｏｉ、Ｊ．Ｊａｋｕｂｏｗｉｃｚ、Ｊ．－Ｍ．Ｍｏｒｅｌ， ａｎｄ Ｇ．Ｒａｎｄａｌｌ，"ＬＳＤ： Ａ ｆａｓｔ ｌｉｎｅ ｓｅｇｍｅｎｔ ｄｅｔｅｃｔｏｒ ｗｉｔｈ ａ ｆａｌｓｅ ｄｅｔｅｃｔｉｏｎ ｃｏｎｔｒｏｌ，" ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３２，ｐｐ．７２２－７３２，２０１０に記載されており、参照により組み込まれているような、ラインセグメント検出器を用いることによって、薄い線形構造を検出することが含まれる。各髪束は、互いにほぼ平行な２本の線（髪の両端）で表され、これらの線は互いに接近している。したがって、距離が短いほぼ平行な各線のペアが毛髪の候補とみなされる。画像のテクスチャはこれらの平行線の間で計算され、テクスチャの変化が小さいものは毛髪としてマークされる。

【0036】

いくつかの場合では、関心領域が抽出された後、これらの領域は６４×６４ピクセルのブロックに分割される。各ブロックについて、標準偏差、グレーレベル共起行列、コントラスト、及び平均強度値が計算される。これらの値は、タイルの品質を計算するために重み付けされる。重みは手動または自動で決定できる。

【0037】

２つのフレームを登録するために、関心点が自動的に抽出され、それらの点の特徴ベクトルが照合される。関心点を抽出するために、３つの最先端のアプローチのパフォーマンスが比較される（Ｈ．Ｂａｙ， Ｔ．Ｔｕｙｔｅｌａａｒｓ， ａｎｄ Ｌ．Ｖａｎ Ｇｏｏｌ， "Ｓｕｒｆ： Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ，" Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ－ＥＣＣＶ ２００６，ｐｐ．４０４－４１７，２００６；Ｄ．Ｇ．Ｌｏｗｅ， "Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ，" Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， ｖｏｌ．６０，ｐｐ．９１－１１０，２００４；ａｎｄ Ｅ．Ｒｕｂｌｅｅ， Ｖ．Ｒａｂａｕｄ， Ｋ．Ｋｏｎｏｌｉｇｅ， ａｎｄ Ｇ．Ｂｒａｄｓｋｉ， "ＯＲＢ： Ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｔｅｒｎａｔｉｖｅ ｔｏ ＳＩＦＴ ｏｒ ＳＵＲＦ，" ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，２０１１，ｐｐ．２５６４－２５７１を参照。各内容は参照により完全に組み込まれる）。一致した点を特定するために、このアプローチでは２つのフレーム内で検出された特徴のすべての可能なペア間の距離を計算する。このアプローチでは、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）を使用して初期ホモグラフ行列を推定する（これも参照により組み込まれる、Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ， "Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ： ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，"Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，ｖｏｌ．２４，ｐｐ．３８１－３９５，１９８１を参照）。

【0038】

各フレームは、（１）新しいフレームに、以前は別の重要なフレームによってカバーされていなかった新しい関心領域が含まれているか、または、（２）以前の重要なフレームによってすでにカバーされている領域が、この新しいフレームにおいてより高い品質を有しているか、という２つの基準に従って、「重要なフレーム」であるかどうか特定される。その後、スティッチングによって合成画像を作成できる。開示された方法は、合成画像の構築中に「重要なフレーム」を使用する。このアルゴリズムは、鼓膜のサブパーツに最適な「重要なフレーム」を選択し、マルチバンドブレンディング（ピラミッドブレンディング）手法を使用する。これにより、高周波の詳細を維持しながら、照明の違いにもかかわらず画像間のスムーズな遷移が保証される。

【0039】

本明細書で述べるように、前処理には埋め込まれたテキストの除去も含まれる場合がある。多くの場合、耳鏡でキャプチャされた画像には、臨床目的で日時情報が埋め込まれている。前処理では、この埋め込まれた日付と時刻の情報を削除することが望ましい場合がある。埋め込まれたテキストを検出するには、様々なバンドの強度比と勾配情報が併用される。テキストの可能な位置と色の範囲に関する事前情報により、このソリューションでは高い再現率でテキスト文字を検出できる。検出されたテキストピクセルはガイダンスフィールドの作成に使用され、これらのピクセルの勾配の大きさは０に設定される。最終的に、オーバーレイされたテキストはシームレスに隠される。

【0040】

前処理モジュール２０２は、関心領域（ＲＯＩ）検出をさらに含み得る。鼓膜を含むＲＯＩは、使用される画像キャプチャデバイス（耳鏡など）の先端の物理的特性により、画像全体の任意の場所に存在する可能性がある。また、先端の特性により、画像内の先端の境界でいくつかの反射の問題が発生する場合がある。この問題を解決するために、アルゴリズムは強度値に従ってすべてのピクセルをクラスタリングし、画像境界上のピクセルの大部分を考慮して背景領域を選択する。背景ピクセルが検出された後、ブックスタイン制約を伴う線形最小二乗法を使用して、可能性のある前景ピクセルが楕円に適合される。最後に、モルフォロジー収縮演算を適用して、先端の周囲に発生する可能性のあるグレアアーティファクトを除去する。

【0041】

前処理モジュール２０２は、グレアの検出及び除去を含んでいてもよい。画像における最も重大なアーチファクトの１つは、鼓膜の表面上の画像キャプチャデバイス（例えば、高解像度デジタル耳鏡を含む耳鏡）からの光の反射によって引き起こされるグレアである。グレアは、いくつかの特徴（例えば、鼓膜の平均色値）の計算において課題となる可能性がある。一方、重要な臨床診断の手がかりである光錐は、グレア検出アルゴリズムによって誤ってグレアと見なされ、除去される可能性がある。特徴を正確に抽出するために、強度値のヒストグラムが計算され、グレアに対応するヒストグラム内の関連ピークが見つかる。グレアの検出後、アルゴリズムは、検出されたグレア領域が画像の残りの部分にシームレスにブレンドされる画像の修正コピーを作成する。

【0042】

１つのステップは、正常な耳の画像と異常な耳の画像を認識するように人工知能（ＡＩ）ネットワークをトレーニングするためのデータセットを取得することである。それらの様々なデータセットはトレーニング目的で使用される場合があり、この非限定的な例では、使用されたすべての画像は、ＩＲＢ（倫理審査委員会）の承認（研究番号：２０１６Ｈ００１１）を得て、オハイオ州立大学（ＯＳＵ）のｐｒｉｍａｒｙ ｃａｒｅ ｃｌｉｎｉｃｓ ａｎｄ Ｅａｒ， Ｎｏｓｅ， ａｎｄ Ｔｈｒｏａｔ （ＥＮＴ）施設ならびに米国オハイオ州コロンバスのＮａｔｉｏｎｗｉｄｅ Ｃｈｉｌｄｒｅｎ'ｓ Ｈｏｓｐｉｔａｌ （ＮＣＨ）の成人及び小児患者からキャプチャされたものである。さらに、オハイオ州立大学倫理審査委員会が定めたルールに従って、実験データセットの作成中にすべてのサンプルが完全に匿名化された。

【0043】

合計１５０ペア（つまり、３００個の個別）の鼓膜画像を使用して、システムのトレーニングとテストが行われた。各ペアは、同じ診察時にキャプチャされた同じ人の右耳画像と左耳画像を含む。各カテゴリ（正常－異常）の画像数を表１に示す。この例では、十分な画像数がなかったため、中耳の異常滲出液（体液）と鼓膜切開チューブの２つの異常カテゴリのみが含まれており、これは、他のカテゴリでは、分類器を適切にトレーニング及びテストするのに十分な数の画像がなかったからである。しかしながら、システムは、視覚情報から判断できる耳の異常の任意の時点の画像を使用してトレーニングすることができる。ここでも、この非限定的な例では、データセット内にキャプチャされる異常の数が限られているため、異常の種類に応じてペアを個別に分類するのではなく、正常－異常のペアの分類が問題となる。ペア画像の数に加えて、ルックアップテーブルの特徴を抽出しながら、開発したシステムの深層学習部分を検証するために１３７個の単一画像（８３個の異常、５４個の正常）が使用された。

【表1】

【0044】

図３Ａ～３Ｆは、正常、滲出液を伴う異常、及び鼓膜切開チューブを伴う異常のカテゴリからのペアになった例を示し、異なるカテゴリの画像間の変動性を示している。一部のカテゴリの画像は、訓練されていない人にとっては他のカテゴリと区別するのが困難である。多くの場合、右耳と左耳の類似点は明らかではない。図３ｅ及び３ｆからわかるように、鼓膜切開チューブの異常は、同じ患者でも異なって現れる。

【0045】

トレーニングと検証にはペア画像の数を増やす必要があったため、すべてのペア画像データセットが使用された。データベースにはＪＰＥＧ形式でキャプチャされた画像が含まれていたが、他の画像形式を使用することもできる。加えて、個々の画像は耳鏡検査ビデオクリップのフレームから選択された。単一画像とビデオフレームは両方とも同じサイズ（１４４０×１０８０ピクセル）と解像度であったが、他のサイズと解像度が使用されてもよい。ビデオフレーム内の一部の画像は焦点が合っていないか、大量の耳垢が含まれているか、適切な照明がなかった。したがって、最適な単一画像とフレームを手動で選択して、適切な画像のペアを形成した。

【0046】

画像のデータセットを使用してシステムが訓練され検証されると、システムは、上記で図１に関して説明したように、患者の耳をキャプチャした画像を受信して分析できることが理解されるべきである。

【0047】

図２Ａに戻って参照すると、第２のモジュールはデータ拡張及び前処理２０４である。データ拡張アプローチを使用して、転移学習用の画像の数と多様性を増やした。拡張アプローチには、水平方向と垂直方向の両方で画像を反射させること、０．７～２の範囲で画像をスケーリングすること、画像をランダムに回転させること、０～４５度の範囲内で水平方向と垂直方向に画像を剪断すること、－３０度のピクセル範囲内で水平方向と垂直方向の両方で最大３０ピクセルまで画像を平行移動することが含まれる。データ拡張は、分析のためにキャプチャされた画像だけでなく、トレーニングや検証に使用される画像にも適用できる。

【0048】

これらの画像から特徴を抽出するために、前述した前処理ステップで関心領域（ＲｏＩ）が抽出された。

【0049】

特徴ベクトルの形成
鼓膜ペアを正常または異常として分類するために、特徴抽出及びルックアップテーブルモジュール２０６は、転移学習ベース のルックアップテーブル特徴抽出及び手作りの特徴抽出の２つのステップで完了された。転移学習ベースのルックアップテーブルの特徴は、鼓膜画像検索システムについて、Ｓ．Ｃａｍａｌａｎ ｅｔ ａｌ．， "ＯｔｏＭａｔｃｈ： Ｃｏｎｔｅｎｔ－ｂａｓｅｄ ｅａｒｄｒｕｍ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，" Ｐｌｏｓ ｏｎｅ，ｖｏｌ．１５，ｎｏ．５，ｐ．ｅ０２３２７７６，２０２０におけるものと同じであり、これは参照により組み込まれる。本明細書では、以下に説明するように、ルックアップテーブル特徴抽出と手作りの特徴抽出がペアでの分類システムに統合されている。手作りの特徴には、レジストレーション誤差、ヒストグラム、及び、Ｌ＊ａ＊ｂ＊色空間のａ＊成分とｂ＊成分の統計的測定値が含まれた。

【0050】

転移学習ベースの特徴抽出
深層学習を使用して鼓膜の異常を分類できる。この方法には、次のネットワークの少なくとも１つが含まれる場合がある：（１）既存のネットワークモデル、つまり、別のデータセット（ｉｍａｇｅｎｅｔなど）に既にトレーニングされているＲｅｓＮｅｔ－５０［８］、Ｉｎｃｅｐｔｉｏｎ ｖ３ ［９］、またはＩｎｃｅｐｔｉｏｎ－Ｒｅｓｎｅｔ ［１０］が転移学習に使用される（Ｋ．Ｈｅ， Ｘ．Ｚｈａｎｇ， Ｓ．Ｒｅｎ， ａｎｄ Ｊ．Ｓｕｎ， "Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ，" ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１６，ｐｐ．７７０－７７８；Ｃ．Ｓｚｅｇｅｄｙ， Ｖ．Ｖａｎｈｏｕｃｋｅ， Ｓ． Ｉｏｆｆｅ， Ｊ．Ｓｈｌｅｎｓ， ａｎｄ Ｚ． Ｗｏｊｎａ， "Ｒｅｔｈｉｎｋｉｎｇ ｔｈｅ ｉｎｃｅｐｔｉｏｎ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，" ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１６，ｐｐ．２８１８－２８２６；ａｎｄ Ｃ． Ｓｚｅｇｅｄｙ， Ｓ． Ｉｏｆｆｅ， Ｖ． Ｖａｎｈｏｕｃｋｅ， ａｎｄ Ａ． Ａｌｅｍｉ， "Ｉｎｃｅｐｔｉｏｎ－ｖ４， ｉｎｃｅｐｔｉｏｎ－ｒｅｓｎｅｔ ａｎｄ ｔｈｅ ｉｍｐａｃｔ ｏｆ ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎｓ ｏｎ ｌｅａｒｎｉｎｇ，" ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０２．０７２６１，２０１６を参照されたく、そのそれぞれは参照により完全に組み込まれる）。

【0051】

一例では、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２畳み込みニューラルネットワーク（ＣＮＮ）が、データセットからの耳鏡画像を使用してトレーニングされる。ネットワークをトレーニングした後、結果として得られた特徴は、各画像を１，５３６個の特徴のベクトルにマッピングするプーリングの対象になった。接続された層の出力に依存して、トレーニング画像とテスト画像ごとに１×３ベクトルが生成された。ここで３は、データベース内の画像カテゴリの数（正常、滲出液、鼓膜切開チューブ）を表す。特徴は、平均プーリング層の出力で１５３６×１ベクトルを形成した。したがって、重みは完全結合層の１５３６×３行列であった。特徴ベクトルの転置行列に重みベクトルを乗算すると、画像のトレーニングセットごとに確立された１×３ベクトルが生成される。これらのベクトルを行列の行（トレーニング画像の数×３のサイズ）に変換すると、これがルックアップテーブルを構成する。

【0052】

この手順は、正常／異常の特徴を抽出するために鼓膜画像のペアに適用された。カテゴリの数は２（つまり、正常、異常）であり、重みは完全結合層の１５３６×２の行列を構成する。生成されたルックアップテーブルは、長さＮ×２のベクトルであり、ここで、Ｎはトレーニング画像の数である。また、テスト画像には重みを乗算した後の１×２ベクトルが含まれる。鼓膜画像のペアごとに、これらのルックアップ値が計算され、これらの値を使用して新しい特徴ベクトルが形成される。

【0053】

転移学習からルックアップテーブルを作成する手順は、次のように一般化できる：
各画像ｉの平均プーリング層出力として特徴ベクトルｆ_ｉを形成する。そのサイズは（Ｆ×１） （この場合Ｆ＝１５３６）である。
サイズ（Ｆ×Ｃ）のｗを完全結合層の重みとし、ここでＣはトレーニングクラスの数である（この場合、「正常」と「異常」の２つのカテゴリのためＣ＝２）。
１つの画像ｉのルックアップテーブル値ｌ_ｉは、ｌ_ｉ＝ｌ_ｉ＝ｆ_ｉ ^Ｔ×ｗとして計算でき、そのサイズは （１×Ｃ）である。
Ｎがデータセット内の画像の数（トレーニングとテストの両方）である場合、ルックアップテーブルＬ_Ｔは、各画像ｉのルックアップテーブル値ｌ_ｉの連結として計算され、サイズＮ×Ｃ（この場合は３００×２）の行列になる。

【0054】

右鼓膜画像のルックアップテーブル値はＲ１及びＲ２であり、左鼓膜画像のルックアップテーブル値はＬ_１及びＬ_２である。それらの比（Ｒ_１／Ｌ_１、Ｒ_２／Ｌ_２）、合計（Ｒ_１＋Ｌ_１、Ｒ_２＋Ｌ_２）、及び差（Ｒ_１－Ｌ_１、Ｒ_２－Ｌ_２）も連結されて特徴ベクトルを形成する。この新しいベクトルには、両方の鼓膜ペアの特徴が含まれており、鼓膜画像ペアのルックアップテーブル値の導関数を組み合わせることにより、ペアをまとめて分類できる。

【0055】

手作りの特徴抽出
ルックアップテーブルベースの特徴に加えて、ペアの鼓膜画像間のレジストレーション誤差をキャプチャした手作りの特徴も使用された。レジストレーションは、異なるセンサまたは異なる視点から異なる時間に取得された２つ以上の画像を照合及び比較し、それらの間で適切な空間的対応を表す最適な変換を見つけるために使用される［２６，２７］。画像レジストレーションは、診断、治療モニタリング、手術シミュレーション、放射線治療、支援／誘導手術、造影画像の画像減算などの目的で、様々な医療モダリティからの画像を位置合わせするために医学で頻繁に使用されている［２８－３１］。本明細書で説明するように、画像レジストレーションは、鼓膜画像のペア間の誤差を計算するために使用され、ペアを一緒に分類するための特徴として使用される。

【0056】

同じ人物の左右の鼓膜画像ではツチ骨の位置が異なるため、正常な場合でも鼓膜画像のレジストレーションは困難である。さらに、ペアの画像が対称であることはほとんどなく、耳鏡でキャプチャされたときに同じ視点から得られることもない。疾患のある鼓膜の場合、一部の疾患（滲出液など）は鼓膜の形状の変化を引き起こし、２Ｄ画像では簡単に検出できないため、レジストレーションは正常な場合よりも困難である。

【0057】

本明細書では、剛体レジストレーションと非剛体レジストレーションの両方が使用される。どちらのタイプのレジストレーションでも、移動画像とターゲット画像が必要であり、移動（ソース）画像は空間的に変換され、ターゲット（固定、感知）画像と位置合わせされる。剛体レジストレーション［３２］には、動画のターゲット画像への変換、スケーリング、回転が含まれ、非剛体マッチングはデーモン法［３３］を使用して行われ、これは、マクスウェルのデーモンに応じて点を変換し、画像の変形部分と一致させる。デーモンレジストレーション力の基本は、オプティカルフロー方程式を計算することにより、時間的な画像シーケンスの小さな変形を見つけることである。したがって、変位は、対応する一致点に対してＴｈｉｒｉｏｎ法［３３］によって推定される。デーモン方程式は各反復における局所的な変位を近似するため、正則化のための変位にはガウス平滑化が使用される。

【0058】

レジストレーションの前に、各画像はカラー（ＲＧＢ）からグレースケール画像に変換され、グレースケール画像にレジストレーションが適用される。剛体レジストレーションの場合、相互情報量が類似性メトリックとして使用される。最適化には、パラメータのセットを反復して可能な限り最良のレジストレーションを生成する１プラス１進化的最適化アルゴリズム［３４，３５］が使用され、初期半径のパラメータは０．００９、イプシロンは１．５×１０－４、成長係数は１．０１、最大反復回数は３００である。剛体レジストレーションの後、単一モダリティパラメータによる非剛体デーモンアルゴリズム画像レジストレーション［３６］が剛体レジストレーション画像に適用される。

【0059】

固定画像とレジストレーション画像の間の平均二乗誤差は、対応するピクセルの差として計算され、それらの平均二乗を取り、固定画像と動画の間の類似性メトリックとして使用される。平均二乗誤差の１つは剛体レジストレーションの後に計算され、もう１つは非剛体レジストレーションの後に計算される。特徴ベクトルに連結されたこれら２つの平均二乗誤差は、ルックアップテーブルベースの値で始まる。

【0060】

図４は、鼓膜切開チューブ診断による左右の鼓膜画像を示す。右側の画像は固定されているとみなされ、左側の画像は２つの画像に一致するように移動しているとみなされる。一番右の画像は、剛体デーモンと非剛体デーモンのアルゴリズムのレジストレーション後を示している。

【0061】

鼓膜画像の各ペアのＬ＊ａ＊ｂ＊色空間のａ＊成分とｂ＊成分を使用して色ベースの特徴を抽出し、ペアを正確に分類する。Ｌ＊ａ＊ｂ＊色空間は、等しい知覚色差に対応する、ｘ、ｙ色度図上で等しい距離を持つ均一色空間である。この色空間では、Ｌ＊は明度を示し、ａ＊とｂ＊は色度座標であり、＋ａ＊は赤色方向、－ａ＊は緑色方向、＋ｂ＊は黄色方向、－ｂ＊は青色方向である。ＲＧＢカラー画像はＬ＊ａ＊ｂ＊色空間に変換され、ａ＊バンドとｂ＊バンドのヒストグラムと統計的測定値が計算される。カラーバンドのヒストグラムは１０個のビンに分割され、各ビンの番号が画像の各ペアの特徴ベクトルに連結される。ヒストグラム値は４０個あり、これらは各耳ペアの２つの画像（右と左の画像）と２つのバンド（ａ＊及びｂ＊バンド）から取得される。ヒストグラム値に加えて、ペアの各バンドの平均、標準偏差、歪度、尖度の統計的測定値がある。これら４つの統計的測定値から合計１６の特徴が得られる。新しい特徴ベクトル形成の図式的な概要を図５に示す。

【0062】

図５は、鼓膜画像のペアに対する特徴ベクトル構造の作成を示す。剛体及び非剛体のレジストレーション誤差は、鼓膜のペアについて計算された。ＲＧＢペアの画像はＬ＊ａ＊ｂ＊色空間に変換され、ａ＊成分とｂ＊成分は色ヒストグラムの作成と統計的測定値の計算に使用される。すべての特徴が連結されて手作りの特徴ベクトルを形成し、ここで、ＲＲＥ：剛体レジストレーション誤差、ＮＲＲＥ：非剛体レジストレーション誤差、ＨＲ ａ＊：右ａ＊のヒストグラム、ＨＲ ｂ＊：右ｂ＊のヒストグラム、ＨＬ ａ＊：左ａ＊のヒストグラム、ＨＬ ｂ＊：左ｂ＊のヒストグラム、ＳＭＲ ａ＊：右ａ＊の統計的測定値、ＳＭＲ ｂ＊：右ｂ＊の統計的測定値、ＳＭＬ ａ＊：左ａ＊の統計的測定値、及びＳＭＬ ｂ＊：左ｂ＊の統計的測定値、である）。

【0063】

分類
ルックアップテーブル値と手作りの特徴を連結することによってペア（右と左）の鼓膜画像の特徴ベクトルが形成された後、これらは分類される。画像のペアを一緒に分類するには、すべての特徴がペアごとに１つのベクトルに収集される。したがって、単一画像を分類する場合と、ペアを「正常－正常」（Ｎ－Ｎ）、「異常－異常」（Ａ－Ａ）、「正常－異常」（Ｎ－Ａ）、「異常－正常」（Ａ－Ｎ）に分類する場合の違いが分析され得る。単一画像の分類結果は、鼓膜画像の「正常／異常」クラスに従って最後の３つの層を変更することによって、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ－ｖ２事前トレーニング済みネットワークをトレーニングした後に得られた。ペア画像の分類では、新しく作成された特徴ベクトルがＴｒｅｅ Ｂａｇｇｅｒアルゴリズムで使用される。

【0064】

Ｔｒｅｅ Ｂａｇｇｅｒアルゴリズムは、ブートストラップ集約デシジョンツリーのアンサンブルモデルである。複数のデシジョンツリーは、トレーニングデータを何度も置換してリサンプリングし、多数決予測のためにツリーに投票することで構成される［３７］。これらのデシジョンツリーは、リーフがクラスラベルを表す分類ツリーであり、ブランチは、これらのクラスラベルに伝達する特徴の結合を表す。開示されたものでは、リーフは「正常」及び「異常」のクラスラベルであり、ブランチは特徴ベクトルの結合である。アウトオブバッグ（ＯＯＢ）誤差法［３８］を利用して、ブーストされたデシジョンツリーモデルの予測誤差を測定し、データをサブサンプリングして方法をトレーニングした。ＯＯＢ誤差は、トレーニングデータからサブサンプルを除外し、ブートストラップサンプルの平均予測誤差を計算することによって測定される［３９］。サブサンプリングは、ツリーの構築に使用されない（アウトオブバッグで定義された）観測値の予測を評価することにより、予測パフォーマンスを向上させる。

【0065】

この研究では、Ｍａｔｌａｂ２０１９ＢソフトウェアのＴｒｅｅＢａｇｇｅｒ教師あり機械学習機能を使用してデシジョンツリーをモデル化した。観測値がアウトオブバッグである選択されたツリーは、クラス事後確率の加重平均を構成する。したがって、予測されたクラスは、対応するクラスの最大の加重平均になる。これは、バイアスを上げずに分散を減らすことでモデルの安定性と精度を向上させるように設計されている。アウトオブバッグ誤差に応じて決定される最適なツリー数は、ツリーの累積に応じて変化する。私たちの研究では、クラスの数（正常及び異常）と観察の数（１５０ペアの鼓膜画像）によってデシジョンツリーの数が制限され、経験的に５つが選択される。

【0066】

図６は、患者の左右両方の鼓膜の画像から耳の病状を分類する例示的な方法を示すフローチャートである。一実施形態では、方法は、画像キャプチャデバイスを使用して患者の左鼓膜の１つまたは複数の画像のそれぞれと右鼓膜の１つまたは複数の画像をキャプチャすること６０２を含む。様々な例において、画像キャプチャデバイスは、鼓膜のそれぞれの１つまたは複数の静止画像をキャプチャするか、または鼓膜のそれぞれのビデオをキャプチャする。例えば、画像キャプチャデバイスは、高解像度耳鏡またはデジタルビデオ耳鏡を備え得る。６０４において、患者の左鼓膜及び右鼓膜のキャプチャされた１つまたは複数の画像に対して前処理及びデータ拡張が実行され、患者の右鼓膜の合成画像及び対応する左鼓膜の合成画像を作成して、患者に対して鼓膜画像のペアを形成する。前処理は、センサベースの問題を軽減すること、１つまたは複数の画像内の関心領域を選択すること、グレア効果（光の反射）、耳垢、毛髪、暗い縁、及びテキストを検出すること、患者の右鼓膜の合成画像及び対応する左鼓膜の合成画像から、グレア効果、耳垢、毛髪、暗い縁及びテキストが低減または除去された１つまたは複数の画像のコピーを作成すること、のうちの１つまたは複数を含むことができる。データ拡張には、１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に反射させること、１つまたは複数の画像のそれぞれを０．７～２の範囲でスケーリングすること、１つまたは複数の画像のそれぞれをランダムに回転すること、１つまたは複数の画像のそれぞれを水平方向と垂直方向の両方に０～４５度の範囲で剪断すること、及びそれらの画像を水平方向と垂直方向の両方に－３０～３０ピクセルの範囲で平行移動することが含まれてもよい。

【0067】

６０６において、鼓膜画像のペアから特徴が抽出される。６０８において、抽出された特徴を使用して、鼓膜画像のペアに対して特徴ベクトルが形成される。抽出された特徴が連結されて、単一の特徴ベクトルが形成される。特徴ベクトルは２つの部分を有し、第１の部分は深層学習技術を使用して作成されたルックアップテーブルベースの値で構成され、第２の部分はペアの鼓膜間のレジストレーション誤差を記録することによって作成された手作りの特徴、Ｌ＊ａ＊ｂ＊色空間のａ＊及びｂ＊成分のヒストグラムなどの色ベースの特徴、ならびにこれらのカラーチャネルの統計的測定値で構成される。深層学習技術には転移ベースの学習が含まれる場合がある。転移ベースの学習には、Ｉｎｃｅｐｔｉｏｎ Ｖ３またはＲｅｓＮｅｔなどの深層学習ネットワークの再トレーニングが含まれてもよい。６１０において、鼓膜画像のペアの病状が分類される。いくつかの場合では、鼓膜画像のペアの病状を分類することは、ツリーバガー分類器によって単一の特徴ベクトルを分類することを含む。一般に、鼓膜画像のペアの病状を分類することは、各鼓膜を正常または異常として分類することを含む。異常には、急性中耳炎（ＡＯＭ）、中耳滲出液（非感染体液）、真珠腫（耳の一般的な破壊性皮膚嚢胞）、鼓膜穿孔、及び正常と比較した鼓膜陥凹のうち１つまたは複数が含まれ得る。

【0068】

システムは複数のユニットから構成されるものとして上で説明されている。当業者であれば、これが機能の説明であり、それぞれの機能がソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせによって実行できることを理解するであろう。ユニットは、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせにすることができる。ユニットは、標本の組織を識別するためのソフトウェアを備えることができる。例示的な一態様では、ユニットは、図７に示され以下で説明するようなプロセッサ７２１を備える、コンピューティングデバイスを備えることができる。

【0069】

図７は、画像から鼓膜の病状を分類するために使用できる例示的なコンピュータを示す。本書で使用するとき、「コンピュータ」は、複数のコンピュータを含む場合がある。本コンピュータは、例えば、プロセッサ７２１、ランダムアクセスメモリ（ＲＡＭ）モジュール７２２、リードオンリーメモリ（ＲＯＭ）モジュール７２３、ストレージ７２４、データベース７２５、１つまたは複数の入力／出力（Ｉ／Ｏ）デバイス７２６、及びインタフェース７２７などの１つまたは複数のハードウェア構成要素を含むことができる。代替として、及び／または追加として、本コンピュータは、例示的な実施形態に関連する方法を実行するためのコンピュータ実行可能命令を含むコンピュータ可読媒体などの１つまたは複数のソフトウェア構成要素を含んでもよい。上記に掲載されたハードウェア構成要素の１つまたは複数が、ソフトウェアを使用して実装され得ることが企図される。例えば、ストレージ８２４は、１つまたは複数の他のハードウェア構成要素に関連付けられたソフトウェアパーティションを含んでもよい。上記に掲載された構成要素は、例示的なものに過ぎず、限定することを意図するものではないことが理解される。

【0070】

プロセッサ７２１は、鼓膜の１つまたは複数の画像に基づいて鼓膜の病状を分類するためのコンピュータに関連付けられた１つまたは複数の機能を実行するために、それぞれが命令を実行しデータを処理するように構成された１つまたは複数のプロセッサを含むことができる。プロセッサ７２１は、ＲＡＭ７２２、ＲＯＭ７２３、ストレージ７２４、データベース７２５、Ｉ／Ｏデバイス７２６、及びインタフェース７２７と通信可能に結合され得る。プロセッサ７２１は、様々な処理を実行するために、コンピュータプログラム命令のシーケンスを実行するように構成され得る。コンピュータプログラム命令は、プロセッサ７２１による実行のためにＲＡＭ７２２にロードされ得る。

【0071】

ＲＡＭ７２２及びＲＯＭ７２３は、それぞれ、プロセッサ７２１の動作に関連付けられた情報を記憶するための１つまたは複数のデバイスを含み得る。例えば、ＲＯＭ７２３は、１つまたは複数の構成要素及びサブシステムの動作の特定、初期化、及び監視を行うための情報を含む、コンピュータに関連する情報にアクセスしてそれを記憶するように構成されたメモリデバイスを含み得る。ＲＡＭ７２２は、プロセッサ７２１の１つまたは複数の動作に関連付けられたデータを記憶するためのメモリデバイスを含み得る。例えば、ＲＯＭ７２３は、プロセッサ７２１による実行のために命令をＲＡＭ７２２にロードすることができる。

【0072】

ストレージ７２４は、プロセッサ７２１が開示された実施形態と一致するプロセスを実行するために必要となり得る情報を記憶するように構成された任意のタイプの大容量ストレージデバイスを含み得る。例えば、ストレージ７２４は、ハードドライブ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の任意のタイプの大容量メディアデバイスなど、１つまたは複数の磁気及び／または光ディスクデバイスを含んでもよい。

【0073】

データベース７２５は、コンピュータ及び／またはプロセッサ７２１によって使用されるデータの記憶、整理、ソート、フィルタリング、及び／または配列で協働する１つまたは複数のソフトウェア及び／またはハードウェア構成要素を含むことができる。例えば、データベース７２５は、患者の左右両方の鼓膜のデジタル画像を、患者の左鼓膜及び右鼓膜のキャプチャされた１つまたは複数の画像に対して前処理及びデータ拡張を実行して、患者の右鼓膜の合成画像及び対応する左鼓膜の合成画像を作成して、患者の鼓膜画像のペアを形成し、鼓膜画像のペアから特徴を抽出し、抽出された特徴を使用して、鼓膜画像のペアの特徴ベクトルを形成し、鼓膜画像のペアの病状を分類する、ためのコンピュータ実行可能命令とともに格納することができる。データベース７２５は、上記に掲載された情報とは違った追加の情報及び／または異なる情報を格納し得ることが企図される。

【0074】

Ｉ／Ｏデバイス７２６は、コンピュータに関連付けられたユーザと情報を交換するように構成された１つまたは複数の構成要素を含み得る。例えば、Ｉ／Ｏデバイスは、デジタル画像、デジタル画像の解析結果、メトリクスなどのデータベースをユーザが維持するのを可能にするために、キーボード及びマウスが統合されたコンソールを含むことができる。Ｉ／Ｏデバイス７２６は、モニタに情報を出力するためのグラフィカルユーザインタフェース（ＧＵＩ）を含むディスプレイを含むこともできる。Ｉ／Ｏデバイス７２６は、例えば、コンピュータに関連付けられた情報を印刷するためのプリンタ、ユーザが携帯型メディアデバイスに格納されたデータを入力できるようにするためのユーザアクセス可能なディスクドライブ（例えば、ＵＳＢポート、フロッピー、ＣＤ－ＲＯＭ、またはＤＶＤ－ＲＯＭドライブなど）、マイク、スピーカシステム、または他の適切な任意のタイプのインタフェースデバイスなどの周辺デバイスを含むこともできる。

【0075】

インタフェース７２７は、インターネット、ローカルエリアネットワーク、ワークステーションピアツーピアネットワーク、ダイレクトリンクネットワーク、無線ネットワーク、または他の適切な任意の通信プラットフォームなどの通信ネットワークを介してデータの送信及び受信を行うように構成された１つまたは複数の構成要素を含み得る。例えば、インタフェース７２７は、１つまたは複数の変調器、復調器、マルチプレクサ、デマルチプレクサ、ネットワーク通信デバイス、無線デバイス、アンテナ、モデム、及び通信ネットワークを介してデータ通信を可能にするように構成された他の任意のタイプのデバイスを含むことができる。

【実施例】

【0076】

以下の実施例を、開示する主題による方法及び結果を説明するために以下に記載する。これらの実施例は、本明細書に開示する主題のすべての態様を含むことを意図するものではなく、むしろ代表的な方法及び結果を説明することを意図している。これらの実施例は、当業者に明らかである本発明の同等物及び変形を除外することを意図するものではない。

【0077】

数字（例えば、量、温度等）については、精度を確保するように努めているが、ある程度の誤差及び偏差は考慮されたい。別段に示されていない限り、部は、重量部であり、温度は、℃または周囲温度であり、圧力は、大気圧または大気圧近傍である。反応条件、例えば、記載されたプロセスから得られる生成物の純度及び収率を最適化するために使用できる成分濃度、温度、圧力及び他の反応範囲及び条件には多数の変形及び組み合わせが存在する。

【0078】

実験設定
１５０ペアの画像（表１を参照）は、上記のデータセット内でペア画像の数が最も多い正常及び異常（滲出液及び鼓膜切開チューブ）カテゴリから選択された。データセットがビデオの選択されたビデオフレームで強化された後でも、データセットにはモデルをトレーニングするための１５０個のペアの鼓膜画像が含まれていた。カテゴリごとにバランスの取れたデータ量を設定すると、多数派のクラスへの偏りが回避され、全体的な誤差率が最小限に抑えられることがわかっているが、ケース数が限られているため、より多くの正常と異常のペアの画像をデータセットに追加することはできない。

【0079】

限られた数のペア画像が、データグループのトレーニングとテストの両方に使用された。システムには２つのトレーニングステップがあった。１つは転移学習トレーニング用、もう１つはランダムフォレスト分類器トレーニング用である。ルックアップテーブル生成の特徴抽出フェーズの再トレーニング中に、単一の８３個の「正常」鼓膜画像と５４個の「異常」鼓膜画像（ペアではない）を含む別の検証データセットが転移学習トレーニングに使用された。検証に別のデータセットが使用されたため、それ以上のケースをトレーニングに割り当てることができなかった。

【0080】

結果の一般化可能性をテストするために、ｋ分割（ｋ＝３）交差検証が使用された。「正常－異常」及び「異常－正常」のペア画像の数が少ないため、分割数（ｋ）も低く抑えられた。ペアの画像は、カテゴリごとに３つのランダムグループに分割された。１つのグループはテストに使用され、他の２つのグループはトレーニングに使用された。トレーニンググループは、転移学習でネットワークパラメーターを学習し、ツリーバガー分類器部分のモデルを適合させるために使用された。システムを実行する前にデータがグループに分割されていたため、トレーニングでもテストでも同じペアが同じグループに入れられた。そのため、各患者の鼓膜画像ペアはトレーニングまたはテストのいずれかに使用されたが、両方には使用されなかった。

【0081】

ツリーバガーアルゴリズムも３分割交差検証法で評価された。システムを適切にモデル化するには、データセットのサイズとカテゴリの数がツリーバガー分類器で重要な役割を果たす。トレーニングには１００ペア、テストには５０ペアが使用され、カテゴリの数は４（Ｎ－Ｎ、Ｎ－Ａ、Ａ－Ａ、Ａ－Ｎ）であったため、分類器のモデル化には５つのツリーを使用することが経験的に決定された。

【0082】

結果と考察
単一の鼓膜画像を使用して、各トレーニング分割の尺度として分類精度を使用してトレーニングの転移学習部分のシステムをトレーニング及びテストした。ルックアップテーブル値を抽出するために転移学習を２回（正常画像ペアと異常画像ペアを追加する前と後に）再トレーニングした。「正常－異常」のペア画像の数が限られていたため、「正常－正常」及び「異常－異常」のペア画像と、正常または異常の分類カテゴリから開始した。次に実験は、「正常－異常」鼓膜ペア画像を追加して行われ、それらを比較した。表２は、これらの場合の２つの実験結果を示している。

【表2】

【0083】

表２に示すように、正常と異常のペアの鼓膜画像を追加する前、トレーニング、検証、及びテストの精度はそれぞれ８８．８％±３．３％、８６．７％±６．７％、８３．３％±３．３％であった。しかしながら、正常－異常のケースを追加すると、精度は８３．６％±６．３％、７８．４％±６．８％、及び７８．７±０．１％に減少した。このトレーニングステップは、ルックアップテーブルの作成とルックアップテーブルの特徴の抽出のみに使用された。

【0084】

転移学習を使用してルックアップテーブルを作成した後、ルックアップテーブルベースの特徴抽出と手作りの特徴抽出を実験的にテストした。ルックアップテーブルベースの特徴抽出は、特徴抽出フェーズの最初のステップであった。手作りの特徴は、レジストレーション誤差、Ｌ＊ａ＊ｂ＊のヒストグラムのビン内のカウント数、平均、及びその他の統計的測定値（標準偏差、歪度、尖度）であり、これらは各ステップで連結され、システムは各連結後にテストされた。

【0085】

図８は、正常－正常（Ｎ－Ｎ）、異常－異常（Ａ－Ａ）、及びすべてのペア（Ｎ－Ｎ、Ａ－Ａ、Ｎ－Ａ、及びＡ－Ｎ）のシステム精度を示している。Ｎ－Ａ、Ａ－Ｎペア画像を追加すると、精度が低下した。Ｎ－Ａペアがデータセットに追加される前、ルックアップテーブルベースの特徴抽出精度の結果は、８５．１％の最高精度と７．６％の低い標準偏差であった。Ａ－Ｎペアを追加した後、Ｌ＊ａ＊ｂ＊特徴をルックアップテーブルベースの特徴に連結したレジストレーション誤差とヒストグラムの最高精度結果は８５．８％±６．４％であった。

【0086】

ペア画像の分類精度を単一画像の分類精度と比較すると、８３．３％（ＳＤ±３．３％）から８５．１％（ＳＤ±７．６％）（Ｎ－Ｎ及びＡ－Ａペア）、及び７８．８％（ＳＤ±０．１％）から８５．８（ＳＤ±６．４％）（Ｎ－Ｎ、Ａ－Ａ、Ｎ－Ａ、及びＡ－Ｎペア）のいくらかの改善が見られた。残念ながら、転移学習の分類結果とテストされた各ペアの特徴の間のｔ検定によると、ほとんどの改善は統計的に有意ではない。同じカテゴリペア（つまり、Ｎ－ＮとＡ－Ａ）の画像では、平均ｐ値は０．８０であるが、すべてのカテゴリペア（Ｎ－Ｎ、Ａ－Ａ、Ｎ－Ａ、及びＡ－Ｎ）の画像の平均ｐ値は０．１６である。ｐ値は減少したが、統計的に有意ではなかった（＜０．０５）。しかしながら、転移学習の分類結果とすべての特徴（Ｌ＊ａ＊ｂ＊色空間の平均値を除く）の間のｔ検定のｐ値は０．０００４であり、統計的に有意である。その理由は、３分割相互検証の両方の結果の標準偏差が０．１％と０．２％であるのに対し、それらの精度値はそれぞれ７８．７％と８３．３％であるためである。したがって、わずかな違いがあるだけで、３分割の結果はすべて一致した。

【0087】

図９Ａ及び９Ｂは、正常－正常、異常－異常、正常－異常、及び異常－正常のペアの鼓膜の右側及び左側のルックアップ値分布を示す図である。正常－正常ペアの第１のルックアップテーブル値は図９Ａの左下隅に位置し、異常－異常ペアの第１のルックアップテーブル値は図９Ａの右上隅に位置しており、図９Ｂではその逆である。左右の正常なペア（Ｎ－Ｎ）の第１の値はゼロ未満であり、異常なペア（Ａ－Ａ）の場合、同じ値は－０．５より大きかった（図９Ａ）。第２のルックアップテーブル値については、Ｎ－Ｎ及びＡ－Ａペアのコーナーが切り替わった（図９Ｂ）。予想は、正常－異常のペアが図９Ａの左上に記載され、異常－正常のペアが図９Ａの右下隅に記載され、図９Ｂではその逆ということであった。しかしながら、正常－異常、異常－正常のペアは他のペアに混在して記載された。正常－異常及び異常－正常のペアの数は非常に限られており、そのほとんどは微妙である。

【0088】

図９Ａと９Ｂでは、Ｎ－ＮとＡ－Ａのペアの分布が特徴空間の別々の象限にうまく分離されていたため、正常と異常のペアの値が他の象限に分布すると予想された。例えば、図９Ａでは、左右両方の値が０未満のＮ－Ｎペア、－０．５より大きいＡ－Ａペア、及びＡ－Ｎ（耳ペア右側異常及び左側正常）ペア（黒丸で表す）は、図の右下象限に分布すると想定される。同様に、Ｎ－Ａ（耳のペアの右側が正常であり、左側が異常である）のペア（青い円で表される）は、図９Ａの左上象限に分布すると想定される。しかしながら、図９Ａ及び９Ｂでは、Ｎ－Ｎ及びＡ－Ａペアの値に黒丸と青丸が混在している。これにより、正常と異常のペア画像を追加した後の転移学習テスト結果とルックアップテーブルベースの特徴抽出システムの結果の精度が低下した。

【0089】

これらの青丸（Ｎ－Ａ）と黒丸（Ａ－Ｎ）の予想外の分布が観察された後、耳鼻咽喉科の専門家が、成人患者と小児患者の両方の耳鏡ビデオクリップのビデオフレームから選択された正常と異常のペア画像を検査した。専門家は、正常と異常のペア画像を「微妙」または「微妙ではない」とラベル付けし、ペア画像の６３．３％（１９／３０）が「微妙」とラベル付けされた。図１０は、耳鼻咽喉科専門医によって「微妙」とラベル付けされ、転移学習によって誤分類されたペア画像に関する４つの例を示している。

【0090】

画像化の問題が誤分類の原因である可能性がある。３組のペアには照明の問題があり、画像上で黄色または白色の光点として現れ、カメラが鼓膜領域に焦点を合わせることが困難であった。もう１つの共通の問題は、耳垢や毛髪が鼓膜よりも耳鏡に近く、光を反射するためであった。さらに、画像の鼓膜領域はそのカテゴリを分類するには十分ではなかった。これらの画像のもう１つの問題は、画像のぼやけた部分である。図１０の２列目は、焦点が合っていない問題のある画像を示している。図１０ｃ－通常は焦点の合った画像であるが、図１０ｃ－滲出液は光の反射により２つの領域間でぼやけている。対照的に、図１０ｄ－滲出液と図１０ｄ－通常には、光の反射量に関係なく、ぼやけた領域が含まれる。

【0091】

正常－異常ペア画像の問題（光、耳垢、毛髪、ぼやけ）によっては精度が低下する。しかしながら、限られた量のデータで正常－異常のケースを実験的にテストして調査したいと考えた。精度の向上は統計的に有意ではないが（おそらくデータが限られているため）、私たちのアプローチを使用しても精度の向上が観察されており、この向上はおそらく、ペアの画像から抽出され一緒に使用される追加の特徴によるものである可能性がある。私たちのペア画像分類アプローチは、ペアの鼓膜画像を一緒に分類するための初めてのアプローチであり、結果は有望である。

【0092】

結論
本研究では、ペアの鼓膜画像を「正常－正常」、「異常－異常」、「正常－異常」、「異常－正常」に分類するシステムを提案する。私たちの知る限り、これは同じ患者の鼓膜画像のペアを一緒に分類した最初の研究である。画像のペアを分類するために、深層学習ベースと手作りの２つの特徴抽出方法を使用し、鼓膜画像の両側から得られた特徴を組み合わせて、画像のペアを一緒に分類した。次に、片側の鼓膜画像の結果を分析し、「正常－異常」及び「異常－正常」のケースがある場合とない場合のペアの鼓膜画像を分析した。

【0093】

また、ペア画像の各グループの特徴を抽出した後の結果も比較した。実験結果によると、すべてのタイプのペア画像分類の最高精度は８５．８％（±６．４％）であった。連結されたレジストレーション誤差の特徴とＬ＊ａ＊ｂ＊特徴のヒストグラム。しかし、片面鼓膜画像分類と転移学習との間の差異の唯一の統計的に有意な結果は、抽出され連結されたすべての特徴（Ｌ＊ａ＊ｂ＊色空間の平均の特徴を除く）によるもので、８３．５％（±０．２％）精度であった。他の実験では統計的に有意な差は生じなかった。それでも、Ｌ＊ａ＊ｂ＊色空間特徴の平均を除くすべての連結特徴について、少なくとも１つの統計的に有意な結果が期待できる。

【0094】

この研究の限界の１つは、Ａ－Ｎ（異常－正常）ペア画像の数が少ないことであり、異常クラスは滲出性中耳炎と鼓膜切開チューブのカテゴリのみで構成される。これに加えて、専門家による評価では、既存のＡ－Ｎペア画像の６３．３％（１９／３０）が微妙であった。将来の研究では、鼓膜ペアの各カテゴリについて、より多くのペア画像が含まれることになる。また、同じカテゴリペアの転移学習ベースのルックアップテーブル値が、異なるラベルが付けられたペア画像に従って簡単に分類できることも観察した。したがって、ルックアップテーブルの値を使用して微妙な画像を選択し、将来の研究のためにトレーニングデータセットからそれらを自動的に削除できる。

【0095】

参考文献
以下の各参考文献は個別に参照により組み込まれ、本明細書の一部となる。
［１］Ｌ．Ｋ．Ｃｏｌｅ，"Ｏｔｏｓｃｏｐｉｃ ｅｖａｌｕａｔｉｏｎ ｏｆ ｔｈｅ ｅａｒ ｃａｎａｌ，" Ｔｈｅ Ｖｅｔｅｒｉｎａｒｙ ｃｌｉｎｉｃｓ ｏｆ Ｎｏｒｔｈ Ａｍｅｒｉｃａ．Ｓｍａｌｌ ａｎｉｍａｌ ｐｒａｃｔｉｃｅ， ｖｏｌ． ３４， ｎｏ． ２， ｐｐ． ３９７－４１０， ２００４．
［２］Ｍ．Ｅ．Ｐｉｃｈｉｃｈｅｒｏ ａｎｄ Ｍ．Ｄ．Ｐｏｏｌｅ， "Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｐｅｒｆｏｒｍａｎｃｅ ｂｙ ｏｔｏｌａｒｙｎｇｏｌｏｇｉｓｔｓ， ｐｅｄｉａｔｒｉｃｉａｎｓ， ａｎｄ ｇｅｎｅｒａｌ ｐｒａｃｔｉｃｉｏｎｅｒｓ ｏｎ ａｎ ｏｔｏｅｎｄｏｓｃｏｐｉｃ ｄｉａｇｎｏｓｔｉｃ ｖｉｄｅｏ ｅｘａｍｉｎａｔｉｏｎ，" Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｐｅｄｉａｔｒｉｃ ｏｔｏｒｈｉｎｏｌａｒｙｎｇｏｌｏｇｙ，ｖｏｌ．６９，ｎｏ．３，ｐｐ．３６１－３６６，２００５．
［３］Ｌ．Ｓ．Ｇｏｇｇｉｎ， Ｒ．Ｈ．Ｅｉｋｅｌｂｏｏｍ， ａｎｄ Ｍ．Ｄ．Ａｔｌａｓ， "Ｃｌｉｎｉｃａｌ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ ｓｙｓｔｅｍｓ ａｎｄ ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｉａｇｎｏｓｉｓ ｉｎ ｏｔｏｌｏｇｙ，" Ｏｔｏｌａｒｙｎｇｏｌｏｇｙ－－Ｈｅａｄ ａｎｄ Ｎｅｃｋ Ｓｕｒｇｅｒｙ， ｖｏｌ． １３６， ｎｏ． ４＿ｓｕｐｐｌ，ｐｐ．ｓ２１－ｓ２６，２００７．
［４］Ｍ．Ａ．Ｋｈａｎ ｅｔ ａｌ．， "Ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ｏｆ ｔｙｍｐａｎｉｃ ｍｅｍｂｒａｎｅ ａｎｄ ｍｉｄｄｌｅ ｅａｒ ｉｎｆｅｃｔｉｏｎ ｆｒｏｍ ｏｔｏ－ｅｎｄｏｓｃｏｐｉｃ ｉｍａｇｅｓ ｖｉａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，" Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０２０．
［５］Ａ．Ｋｕｒｕｖｉｌｌａ， Ｎ．Ｓｈａｉｋｈ， Ａ．Ｈｏｂｅｒｍａｎ， ａｎｄ Ｊ．Ｋｏｖａｃｅｖｉｃ， "Ａｕｔｏｍａｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｏｔｉｔｉｓ ｍｅｄｉａ： ｖｏｃａｂｕｌａｒｙ ａｎｄ ｇｒａｍｍａｒ，" Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，ｖｏｌ．２０１３，２０１３．
［６］Ｅ．Ｂａｓａｒａｎ， Ｚ．Ｃｏｍｅｒｔ， ａｎｄ Ｙ．Ｃｅｌｉｋ， "Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｐｐｒｏａｃｈ ｆｏｒ ａｕｔｏｍａｔｉｃ ｔｙｍｐａｎｉｃ ｍｅｍｂｒａｎｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，" Ｂｉｏｍｅｄｉｃａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ，ｖｏｌ．５６，ｐ．１０１７３４，２０２０．
［７］Ｍ．Ｓ．Ｋａｓｈｅｒ， "Ｏｔｉｔｉｓ Ｍｅｄｉａ Ａｎａｌｙｓｉｓ－Ａｎ Ａｕｔｏｍａｔｅｄ Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ，" ２０１８．
［８］Ｅ．Ｂａｓａｒａｎ， Ｚ．Ｃｏｍｅｒｔ， Ａ．Ｓｅｎｇｕｒ， Ｕ．Ｂｕｄａｋ， Ｙ．Ｃｅｌｉｋ， ａｎｄ Ｍ．Ｔｏｇａｃａｒ， "Ｃｈｒｏｎｉｃ Ｔｙｍｐａｎｉｃ Ｍｅｍｂｒａｎｅ Ｄｉａｇｎｏｓｉｓ ｂａｓｅｄ ｏｎ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，" ｉｎ ２０１９ ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ （ＵＢＭＫ），２０１９：ＩＥＥＥ，ｐｐ．１－４．
［９］Ｈ．Ｃ．Ｍｙｂｕｒｇｈ， Ｓ．Ｊｏｓｅ， Ｄ．Ｗ．Ｓｗａｎｅｐｏｅｌ， ａｎｄ Ｃ．Ｌａｕｒｅｎｔ， "Ｔｏｗａｒｄｓ ｌｏｗ ｃｏｓｔ ａｕｔｏｍａｔｅｄ ｓｍａｒｔｐｈｏｎｅ－ａｎｄ ｃｌｏｕｄ－ｂａｓｅｄ ｏｔｉｔｉｓ ｍｅｄｉａ ｄｉａｇｎｏｓｉｓ，" Ｂｉｏｍｅｄｉｃａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ，ｖｏｌ．３９，ｐｐ．３４－５２，２０１８．
［１０］Ｌ．Ｍｏｎａｓｔａ ｅｔ ａｌ．， "Ｂｕｒｄｅｎ ｏｆ ｄｉｓｅａｓｅ ｃａｕｓｅｄ ｂｙ ｏｔｉｔｉｓ ｍｅｄｉａ： ｓｙｓｔｅｍａｔｉｃ ｒｅｖｉｅｗ ａｎｄ ｇｌｏｂａｌ ｅｓｔｉｍａｔｅｓ，" ＰｌｏＳ ｏｎｅ，ｖｏｌ．７，ｎｏ．４，ｐ．ｅ３６２２６，２０１２．
［１１］Ｄ．Ｃｈａ， Ｃ．Ｐａｅ， Ｓ．－Ｂ．Ｓｅｏｎｇ， Ｊ．Ｙ．Ｃｈｏｉ， ａｎｄ Ｈ．－Ｊ．Ｐａｒｋ， "Ａｕｔｏｍａｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｅａｒ ｄｉｓｅａｓｅ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ａ ｂｉｇ ｏｔｏｅｎｄｏｓｃｏｐｙ ｉｍａｇｅ ｄａｔａｂａｓｅ，" ＥＢｉｏＭｅｄｉｃｉｎｅ，ｖｏｌ．４５，ｐｐ．６０６－６１４，２０１９．
［１２］Ｃ．Ｓｅｎａｒａｓ ｅｔ ａｌ．， "Ａｕｔｏｓｃｏｐｅ： ａｕｔｏｍａｔｅｄ ｏｔｏｓｃｏｐｙ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｔｏ ｄｉａｇｎｏｓｅ ｅａｒ ｐａｔｈｏｌｏｇｙ ａｎｄ ｕｓｅ ｏｆ ｃｌｉｎｉｃａｌｌｙ ｍｏｔｉｖａｔｅｄ ｅａｒｄｒｕｍ ｆｅａｔｕｒｅｓ，" ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１７：Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０１７，ｖｏｌ．１０１３４： Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１０１３４１Ｘ．
［１３］Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．， "Ｄｅｃｉｓｉｏｎ ｆｕｓｉｏｎ ｏｎ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ｔｙｍｐａｎｏｍｅｔｒｙ ｔｏ ｄｅｔｅｃｔ ｅａｒｄｒｕｍ ａｂｎｏｒｍａｌｉｔｉｅｓ，" ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０２０： Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，２０２０，ｖｏｌ．１１３１４： Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１１３１４１Ｍ．
［１４］Ｃ．－Ｋ．Ｓｈｉｅ，Ｈ．－Ｔ．Ｃｈａｎｇ，Ｆ．－Ｃ．Ｆａｎ，Ｃ．－Ｊ．Ｃｈｅｎ，Ｔ．－Ｙ．Ｆａｎｇ， ａｎｄ Ｐ．－Ｃ．Ｗａｎｇ， "Ａ ｈｙｂｒｉｄ ｆｅａｔｕｒｅ－ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｔｈｅ ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｓｅｌｆ－ｄｉａｇｎｏｓｉｓ ｏｆ ｏｔｉｔｉｓ ｍｅｄｉａ，" ｉｎ ２０１４ ３６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ，２０１４：ＩＥＥＥ，ｐｐ．４６５５－４６５８．
［１５］Ｍ．Ｖｉｓｃａｉｎｏ， Ｊ．Ｃ．Ｍａａｓｓ， Ｐ．Ｈ．Ｄｅｌａｎｏ， Ｍ．Ｔｏｒｒｅｎｔｅ， Ｃ．Ｓｔｏｔｔ， ａｎｄ Ｆ．Ａｕａｔ Ｃｈｅｅｉｎ， "Ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｅｘｔｅｒｎａｌ ａｎｄ ｍｉｄｄｌｅ ｅａｒ ｃｏｎｄｉｔｉｏｎｓ： Ａ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ，" Ｐｌｏｓ ｏｎｅ，ｖｏｌ．１５，ｎｏ．３，ｐ．ｅ０２２９２２６，２０２０．
［１６］Ｊ．Ｓｅｏｋ， Ｊ．－Ｊ．Ｓｏｎｇ， Ｊ．－Ｗ．Ｋｏｏ， Ｈ．Ｃ． Ｋｉｍ， ａｎｄ Ｂ．Ｙ．Ｃｈｏｉ， "Ｔｈｅ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ ｎｏｒｍａｌ ａｎｄ ｐａｔｈｏｌｏｇｉｃ ｔｙｍｐａｎｉｃ ｍｅｍｂｒａｎｅ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，" ＢｉｏＲｘｉｖ，ｐ．５１５００７，２０１９．
［１７］Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．， "Ｄｉｇｉｔａｌ ｏｔｏｓｃｏｐｙ ｖｉｄｅｏｓ ｖｅｒｓｕｓ ｃｏｍｐｏｓｉｔｅ ｉｍａｇｅｓ： Ａ ｒｅａｄｅｒ ｓｔｕｄｙ ｔｏ ｃｏｍｐａｒｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ＥＮＴ ｐｈｙｓｉｃｉａｎｓ，" Ｔｈｅ Ｌａｒｙｎｇｏｓｃｏｐｅ，２０２０．
［１８］Ｈ．Ｂｉｎｏｌ ｅｔ ａｌ．， "ＳｅｌｅｃｔＳｔｉｔｃｈ： ａｕｔｏｍａｔｅｄ ｆｒａｍｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｓｔｉｔｃｈｉｎｇ ｔｏ ｃｒｅａｔｅ ｃｏｍｐｏｓｉｔｅ ｉｍａｇｅｓ ｆｒｏｍ Ｏｔｏｓｃｏｐｅ ｖｉｄｅｏ ｃｌｉｐｓ，" Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，ｖｏｌ．１０，ｎｏ．１７，ｐ．５８９４，２０２０．
［１９］Ｓ．Ｃａｍａｌａｎ ｅｔ ａｌ．， "ＯｔｏＭａｔｃｈ： Ｃｏｎｔｅｎｔ－ｂａｓｅｄ ｅａｒｄｒｕｍ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ，" Ｐｌｏｓ ｏｎｅ， ｖｏｌ．１５，ｎｏ．５，ｐ．ｅ０２３２７７６，２０２０．
［２０］Ｃ．－Ｋ．Ｓｈｉｅ，Ｈ．－Ｔ．Ｃｈａｎｇ，Ｆ．－Ｃ．Ｆａｎ，Ｃ．－Ｊ．Ｃｈｅｎ，Ｔ．－Ｙ．Ｆａｎｇ， ａｎｄ Ｐ．－Ｃ．Ｗａｎｇ， "Ａ ｈｙｂｒｉｄ ｆｅａｔｕｒｅ－ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｔｈｅ ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｓｅｌｆ－ｄｉａｇｎｏｓｉｓ ｏｆ ｏｔｉｔｉｓ ｍｅｄｉａ，" ｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ Ｓｏｃｉｅｔｙ （ＥＭＢＣ）， ３６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ， ２０１４ ２０１４，ｐｐ．４６５５－４６５８．
［２１］Ｉ．Ｍｉｒｏｎｉｃａ， Ｃ．Ｖｅｒｔａｎ， ａｎｄ Ｄ．Ｃ．Ｇｈｅｏｒｇｈｅ， "Ａｕｔｏｍａｔｉｃ ｐｅｄｉａｔｒｉｃ ｏｔｉｔｉｓ ｄｅｔｅｃｔｉｏｎ ｂｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｇｌｏｂａｌ ｉｍａｇｅ ｆｅａｔｕｒｅｓ，" ｉｎ ２０１１ Ｅ－Ｈｅａｌｔｈ ａｎｄ Ｂｉｏｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ （ＥＨＢ），２０１１：ＩＥＥＥ，ｐｐ．１－４．
［２２］Ｅ．Ｂａｓａｒａｎ， Ａ．Ｓｅｎｇｕｒ， Ｚ．Ｃｏｍｅｒｔ， Ｕ．Ｂｕｄａｋ， Ｙ．Ｃｅｌ１ｋ， ａｎｄ Ｓ．Ｖｅｌａｐｐａｎ， "Ｎｏｒｍａｌ ａｎｄ Ａｃｕｔｅ Ｔｙｍｐａｎｉｃ Ｍｅｍｂｒａｎｅ Ｄｉａｇｎｏｓｉｓ ｂａｓｅｄ ｏｎ Ｇｒａｙ Ｌｅｖｅｌ Ｃｏ－Ｏｃｃｕｒｒｅｎｃｅ Ｍａｔｒｉｘ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，" ｉｎ ２０１９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｍｐｏｓｉｕｍ （ＩＤＡＰ），２０１９：ＩＥＥＥ，ｐｐ．１－６．
［２３］Ａ．Ｋｕｒｕｖｉｌｌａ， Ｎ．Ｓｈａｉｋｈ， Ａ．Ｈｏｂｅｒｍａｎ， ａｎｄ Ｊ．Ｋｏｖａｃｅｖｉｃ， "Ａｕｔｏｍａｔｅｄ Ｄｉａｇｎｏｓｉｓ ｏｆ Ｏｔｉｔｉｓ Ｍｅｄｉａ：Ｖｏｃａｂｕｌａｒｙ ａｎｄ Ｇｒａｍｍａｒ，" （ｉｎ ｅｎ）， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，ｐｐ．１－１５，２０１３ ２０１３，ｄｏｉ：１０．１１５５／２０１３／３２７５１５．
［２４］Ｃ．Ｓｅｎａｒａｓ ｅｔ ａｌ．， "Ｄｅｔｅｃｔｉｏｎ ｏｆ ｅａｒｄｒｕｍ ａｂｎｏｒｍａｌｉｔｉｅｓ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ，" ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１８： Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ， ２０１８，ｖｏｌ．１０５７５： Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，ｐ．１０５７５１Ａ．
［２５］Ｊ．Ｙ．Ｌｅｅ， Ｓ．－Ｈ．Ｃｈｏｉ， ａｎｄ Ｊ．Ｗ． Ｊ．Ａ．Ｓ．Ｃｈｕｎｇ， "Ａｕｔｏｍａｔｅｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｔｈｅ Ｔｙｍｐａｎｉｃ Ｍｅｍｂｒａｎｅ Ｕｓｉｎｇ ａ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，"ｖｏｌ．９，ｎｏ．９，ｐ．１８２７，２０１９．
［２６］Ｌ．Ｇ．Ｂｒｏｗｎ， "Ａ ｓｕｒｖｅｙ ｏｆ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ，" ＡＣＭ ｃｏｍｐｕｔｉｎｇ ｓｕｒｖｅｙｓ （ＣＳＵＲ），ｖｏｌ．２４，ｎｏ．４，ｐｐ．３２５－３７６，１９９２．
［２７］Ｓ．Ｍａｍｂｏ， Ｙ．Ｈａｍａｍ， Ｂ．ｖａｎ Ｗｙｋ， Ｋ．Ｄｊｏｕａｎｉ， ａｎｄ Ｐ．Ｓｉａｒｒｙ， "Ａ ｒｅｖｉｅｗ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ，" Ｗｏｒｌｄ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅ， Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖｏｌ．１２，ｎｏ．１，２０１８．
［２８］Ｘ．Ｈｕａｎｇ， Ｊ．Ｒｅｎ， Ｇ．Ｇｕｉｒａｕｄｏｎ， Ｄ．Ｂｏｕｇｈｎｅｒ， ａｎｄ Ｔ．Ｍ．Ｐｅｔｅｒｓ， "Ｒａｐｉｄ ｄｙｎａｍｉｃ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｔｈｅ ｂｅａｔｉｎｇ ｈｅａｒｔ ｆｏｒ ｄｉａｇｎｏｓｉｓ ａｎｄ ｓｕｒｇｉｃａｌ ｎａｖｉｇａｔｉｏｎ，" ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ，ｖｏｌ．２８，ｎｏ．１１，ｐｐ．１８０２－１８１４，２００９．
［２９］Ｋ．Ｍｉｌｌｅｒ ｅｔ ａｌ．， "Ｍｏｄｅｌｌｉｎｇ ｂｒａｉｎ ｄｅｆｏｒｍａｔｉｏｎｓ ｆｏｒ ｃｏｍｐｕｔｅｒ‐ｉｎｔｅｇｒａｔｅｄ ｎｅｕｒｏｓｕｒｇｅｒｙ，" Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｆｏｒ Ｎｕｍｅｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，ｖｏｌ．２６，ｎｏ．１，ｐｐ．１１７－１３８，２０１０．
［３０］Ｎ．Ｓｔｒｅｈｌ， Ｓ．Ｔｏｍｅｉ， Ｊ．Ｒｏｓｅｎｍａｎ， ａｎｄ Ｓ．Ｊｏｓｈｉ， "Ｌａｒｇｅ ｄｅｆｏｒｍａｔｉｏｎ ３Ｄ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｉｎ ｉｍａｇｅ－ｇｕｉｄｅｄ ｒａｄｉａｔｉｏｎ ｔｈｅｒａｐｙ．"
［３１］Ｄ．Ｍａｋｓｉｍｏｖ ｅｔ ａｌ．， "Ｇｒａｐｈ－ｍａｔｃｈｉｎｇ ｂａｓｅｄ ＣＴＡ，" ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ，ｖｏｌ．２８，ｎｏ．１２，ｐｐ．１９４０－１９５４，２００９．
［３２］Ａ．Ｒｏｃｈｅ， Ｘ．Ｐｅｎｎｅｃ， Ｇ．Ｍａｌａｎｄａｉｎ， ａｎｄ Ｎ．Ｊ．Ｉ．ｔ．ｏ．ｍ．ｉ．Ａｙａｃｈｅ， "Ｒｉｇｉｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ３－Ｄ ｕｌｔｒａｓｏｕｎｄ ｗｉｔｈ ＭＲ ｉｍａｇｅｓ： ａ ｎｅｗ ａｐｐｒｏａｃｈ ｃｏｍｂｉｎｉｎｇ ｉｎｔｅｎｓｉｔｙ ａｎｄ ｇｒａｄｉｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ，"ｖｏｌ．２０，ｎｏ．１０，ｐｐ．１０３８－１０４９，２００１．
［３３］Ｊ．－Ｐ．Ｔｈｉｒｉｏｎ， "Ｎｏｎ－ｒｉｇｉｄ ｍａｔｃｈｉｎｇ ｕｓｉｎｇ ｄｅｍｏｎｓ，" ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ＣＶＰＲ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９６：ＩＥＥＥ，ｐｐ．２４５－２５１．
［３４］Ａ．Ｋｅｉｋｈｏｓｒａｖｉ， Ｂ．Ｌｉ， Ｙ．Ｌｉｕ， ａｎｄ Ｋ．Ｗ．Ｅｌｉｃｅｉｒｉ， "Ｉｎｔｅｎｓｉｔｙ－ｂａｓｅｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｂｒｉｇｈｔ－ｆｉｅｌｄ ａｎｄ ｓｅｃｏｎｄ－ｈａｒｍｏｎｉｃ ｇｅｎｅｒａｔｉｏｎ ｉｍａｇｅｓ ｏｆ ｈｉｓｔｏｐａｔｈｏｌｏｇｙ ｔｉｓｓｕｅ ｓｅｃｔｉｏｎｓ，" Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ，ｖｏｌ．１１，ｎｏ．１，ｐｐ．１６０－１７３，２０２０．
［３５］Ｍ．Ｓｔｙｎｅｒ， Ｃ．Ｂｒｅｃｈｂｕｈｌｅｒ， Ｇ．Ｓｚｃｋｅｌｙ， ａｎｄ Ｇ．Ｇｅｒｉｇ， "Ｐａｒａｍｅｔｒｉｃ ｅｓｔｉｍａｔｅ ｏｆ ｉｎｔｅｎｓｉｔｙ ｉｎｈｏｍｏｇｅｎｅｉｔｉｅｓ ａｐｐｌｉｅｄ ｔｏ ＭＲＩ，"ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ，ｖｏｌ．１９，ｎｏ．３，ｐｐ．１５３－１６５，２０００．
［３６］Ｄ．－Ｊ．Ｋｒｏｏｎ， "Ｍｕｌｔｉｍｏｄａｌｉｔｙ ｎｏｎ－ｒｉｇｉｄ ｄｅｍｏｎ ａｌｇｏｒｉｔｈｍ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ， "ＭａｔｌａｂＣｅｎｔｒａｌ， ｗｗｗ． ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｍａｔｌａｂｃｅｎｔｒａｌ／ｆｉｌｅｅｘｃｈａｎｇｅ／２１４５１－ｍｕｌｔｉｍｏｄａｌｉｔｙ－ｎｏｎ－ｒｉｇｉｄ－ｄｅｍｏｎ－ａｌｇｏｒｉｔｈｍ－ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ，２００８．
［３７］Ｌ．Ｂｒｅｉｍａｎ， "Ｂａｇｇｉｎｇ ｐｒｅｄｉｃｔｏｒｓ，"Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，ｖｏｌ．２４，ｎｏ．２，ｐｐ．１２３－１４０，１９９６．
［３８］Ｗ．Ｍａｔｔｈｅｗ， "Ｂｉａｓ ｏｆ ｔｈｅ Ｒａｎｄｏｍ Ｆｏｒｅｓｔ ｏｕｔ－ｏｆ－ｂａｇ （ＯＯＢ） ｅｒｒｏｒ ｆｏｒ ｃｅｒｔａｉｎ ｉｎｐｕｔ ｐａｒａｍｅｔｅｒｓ，" Ｏｐｅｎ Ｊｏｕｒｎａｌ ｏｆ Ｓｔａｔｉｓｔｉｃｓ，ｖｏｌ．２０１１，２０１１．
［３９］Ｇ．Ｊａｍｅｓ， Ｄ．Ｗｉｔｔｅｎ， Ｔ．Ｈａｓｔｉｅ， ａｎｄ Ｒ．Ｔｉｂｓｈｉｒａｎｉ， Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｓｔａｔｉｓｔｉｃａｌ ｌｅａｒｎｉｎｇ．Ｓｐｒｉｎｇｅｒ，２０１３．

【0096】

方法及びシステムを、好ましい実施形態及び特定の実施例に関連して説明してきたが、本明細書の実施形態は、あらゆる点で制限的ではなく、例示的であることが意図されているため、記載した特定の実施形態に範囲を限定することは意図されていない。

【0097】

別段に明示的な定めのない限り、本明細書に示されているいずれの方法も、そのステップを特定の順序で行う必要があるものとして解釈するようには全く意図されていない。したがって、方法の請求項がそのステップが従うべき順序を実際に記載していない場合、またはそのステップが特定の順序に限定されるべきであることが請求項もしくは説明において別段に具体的に述べられていない場合、いかなる点でも順序が推測されることは決して意図されていない。これは、解釈のためのあらゆる可能性のある不明確な基準（ステップまたは動作フローのアレンジに関する論理の問題、文法構成または句読点に由来する平明な意味、明細書中に記載される実施形態の数または型が挙げられる）についても当てはまる。

【0098】

本出願全体を通して、様々な刊行物が参照され得る。これらの刊行物の開示は、その全体が、本方法及び本システムが属する技術の状態をより完全に説明するために、本明細書により、本出願に参照によりすべて組み込まれる。

【0099】

範囲または趣旨から逸脱することなく、様々な修正及び変形を行い得ることは、当業者にとって明らかであろう。他の実施形態は、本明細書の考察及び本明細書に開示された実践から、当業者には明らかであろう。本明細書及び実施例は、例示的なものとしてのみ考慮されることが意図されており、真の範囲及び趣旨は、次の特許請求の範囲によって示される。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【国際調査報告】