▶ オハイオ・ステイト・イノベーション・ファウンデーションの特許一覧
特開2023-182612耳病理を診断するための耳鏡検査画像分析のシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023182612
(43)【公開日】2023-12-26
(54)【発明の名称】耳病理を診断するための耳鏡検査画像分析のシステム及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20231219BHJP
A61B 1/227 20060101ALI20231219BHJP
【ＦＩ】
A61B1/045 618
A61B1/227
A61B1/045 611
【審査請求】有
【請求項の数】30
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023149250
(22)【出願日】2023-09-14
(62)【分割の表示】P 2019512207の分割
【原出願日】2017-09-01
(31)【優先権主張番号】62/382,914
(32)【優先日】2016-09-02
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＩＲＥＷＩＲＥ
(71)【出願人】
【識別番号】514137997
【氏名又は名称】オハイオ・ステイト・イノベーション・ファウンデーション
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】セナラス，カグラー
(72)【発明者】
【氏名】モバリー，アーロン・クリストファー
(72)【発明者】
【氏名】テクノス，セオドロス
(72)【発明者】
【氏名】エッシグ，ガース・フレドリック，ジュニア
(72)【発明者】
【氏名】エルマラギー，チャールズ・アルバート
(72)【発明者】
【氏名】タジ－シャール，ナザト・ファティマ
(72)【発明者】
【氏名】ユ，リアンボ
(72)【発明者】
【氏名】グルカン，メチン・ナフィ
(57)【要約】 （修正有）
【課題】高解像度の耳鏡画像を使用して広範囲の鼓膜異常を検出し、鼓膜の状態を「正常」又は「異常」として報告するシステム及び方法を提供する。
【解決手段】画像撮像デバイス（例えば、高解像度デジタル耳鏡）と；メモリと；メモリと連通するプロセッサであって、プロセッサが、プロセッサに、撮像された１つ以上の画像に対して前処理を実施させ、撮像された１つ以上の画像を使用して鼓膜の病理を分類させるメモリに記憶されたコンピュータ可読命令を実行する、プロセッサと、を備える。
【選択図】図３Ａ
【解決手段】画像撮像デバイス（例えば、高解像度デジタル耳鏡）と；メモリと；メモリと連通するプロセッサであって、プロセッサが、プロセッサに、撮像された１つ以上の画像に対して前処理を実施させ、撮像された１つ以上の画像を使用して鼓膜の病理を分類させるメモリに記憶されたコンピュータ可読命令を実行する、プロセッサと、を備える。
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
画像から鼓膜病理を分類する方法であって、
画像撮像デバイスを使用して、鼓膜の１つ以上の画像を撮像することと、
前記撮像された１つ以上の画像に対して前処理を実施することと、
前記撮像された１つ以上の画像を使用して、前記鼓膜の病理を分類することと、を含む、方法。
画像撮像デバイスを使用して、鼓膜の１つ以上の画像を撮像することと、
前記撮像された１つ以上の画像に対して前処理を実施することと、
前記撮像された１つ以上の画像を使用して、前記鼓膜の病理を分類することと、を含む、方法。
【請求項2】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記１つ以上の画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、を含む、請求項１に記載の方法。
【請求項3】
前記前処理工程が、センサーベースの問題を低減することと、前記１つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減された前記１つ以上の画像のコピーを作成することと、のうちの１つ以上を含む、請求項２に記載の方法。
【請求項4】
前記１つ以上の画像から前記ＣＶＦを抽出することが、前記１つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項２又は３に記載の方法。
【請求項5】
前記ＣＭＥＦが、前記１つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項２～４のいずれか一項に記載の方法。
【請求項6】
ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項２～５のいずれか一項に記載の方法。
【請求項7】
前記２層積層一般化アルゴリズムが、ファジースタック一般化（ＦＳＧ）分類子を使用することを含む、請求項２～６のいずれか一項に記載の方法。
【請求項8】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記自動化された異常の識別のために深層学習を使用することを含む、請求項１に記載の方法。
【請求項9】
前記深層学習が、Ｉｎｃｅｐｔｉｏｎ Ｖ３又はＲｅｓＮｅｔを含む深層学習ネットワークを含む、請求項８に記載の方法。
【請求項10】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記１つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項１に記載の方法。
【請求項11】
前記異常が、急性中耳炎（ＡＯＭ）、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの１つ以上を含む、請求項８～１０のいずれか一項に記載の方法。
【請求項12】
前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
前記画像撮像デバイスが高解像度耳鏡を含む、請求項１３に記載の方法。
【請求項15】
鼓膜病理を画像から分類するためのシステムであって、
画像撮像デバイスであって、前記画像撮像デバイスが、鼓膜の１つ以上の画像を撮像する、画像撮像デバイスと、
前記撮像された１つ以上の画像が記憶されているメモリと、
前記メモリと連通するプロセッサであって、前記プロセッサは、前記プロセッサに、
前記撮像された１つ以上の画像に対して前処理を実施させ、
前記撮像された１つ以上の画像を使用して鼓膜の病理を分類させる、前記メモリに記憶されたコンピュータ可読命令を実行する、システム。
画像撮像デバイスであって、前記画像撮像デバイスが、鼓膜の１つ以上の画像を撮像する、画像撮像デバイスと、
前記撮像された１つ以上の画像が記憶されているメモリと、
前記メモリと連通するプロセッサであって、前記プロセッサは、前記プロセッサに、
前記撮像された１つ以上の画像に対して前処理を実施させ、
前記撮像された１つ以上の画像を使用して鼓膜の病理を分類させる、前記メモリに記憶されたコンピュータ可読命令を実行する、システム。
【請求項16】
前記プロセッサが、前記１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記１つ以上の画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、によって前記鼓膜の病理を分類するコンピュータ可読命令を実行する、請求項１５に記載のシステム。
【請求項17】
前記前処理工程が、センサーベースの問題を低減することと、前記１つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減される前記１つ以上の画像のコピーを作成することと、のうちの１つ以上を含む、請求項１６に記載のシステム。
【請求項18】
前記１つ以上の画像から前記ＣＶＦを抽出することが、前記１つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項１６又は１７のいずれかに記載のシステム。
【請求項19】
前記ＣＭＥＦが、前記１つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項１６～１８のいずれか一項に記載のシステム。
【請求項20】
ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項１６～１９のいずれか一項に記載のシステム。
【請求項21】
前記２層積層一般化アルゴリズムが、ファジースタック一般化（ＦＳＧ）分類子を使用することを含む、請求項１６～２０のいずれか一項に記載のシステム。
【請求項22】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記自動化された異常の識別のために深層学習を使用することを含む、請求項１５に記載のシステム。
【請求項23】
前記深層学習が、Ｉｎｃｅｐｔｉｏｎ Ｖ３又はＲｅｓＮｅｔを含む深層学習ネットワークを含む、請求項２２に記載のシステム。
【請求項24】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記１つ以上の画像を画像のライブラリと比
較して異常を識別することを含む、請求項１５に記載のシステム。
較して異常を識別することを含む、請求項１５に記載のシステム。
【請求項25】
前記異常が、急性中耳炎（ＡＯＭ）、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの１つ以上を含む、請求項２２～２４のいずれか一項に記載のシステム。
【請求項26】
前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項１５～２５のいずれか一項に記載のシステム。
【請求項27】
前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項１５～２６のいずれか一項に記載のシステム。
【請求項28】
前記画像撮像デバイスが高解像度耳鏡を含む、請求項２７に記載のシステム。
【請求項29】
コンピュータ可読媒体上に記憶されたコンピュータ実行可能コードセクションを備えた非一時的コンピュータプログラム製品であって、前記コンピュータ実行可能コードセクションが、画像から鼓膜病理を分類する方法を実施するために、
鼓膜の１つ以上の画像に対して前処理を実施することと、
前記１つ以上の画像を使用して前記鼓膜の病理を分類することと、を含む、非一時的コンピュータプログラム製品。
鼓膜の１つ以上の画像に対して前処理を実施することと、
前記１つ以上の画像を使用して前記鼓膜の病理を分類することと、を含む、非一時的コンピュータプログラム製品。
【請求項30】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記１つ以上の画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、を含む、請求項２９に記載のコンピュータプログラム製品。
【請求項31】
前記前処理工程が、センサーベースの問題を低減することと、前記１つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減される前記１つ以上の画像のコピーを作成することと、のうちの１つ以上を含む、請求項３０に記載のコンピュータプログラム製品。
【請求項32】
前記１つ以上の画像から前記ＣＶＦを抽出することが、前記１つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項３０又は３１に記載のコンピュータプログラム製品。
【請求項33】
前記ＣＭＥＦが、前記１つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項３０～３２のいずれか一項に記載のコンピュータプログラム製品。
【請求項34】
ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項３０～３３のいずれか一項に記載のコンピュータプログラム製品。
【請求項35】
前記２層積層一般化アルゴリズムが、ファジースタック一般化（ＦＳＧ）分類子を使用することを含む、請求項３０～３４のいずれか一項に記載のコンピュータプログラム製品。
【請求項36】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、前記自動
化された異常の識別のために深層学習を使用することを含む、請求項２９に記載のコンピュータプログラム製品。
化された異常の識別のために深層学習を使用することを含む、請求項２９に記載のコンピュータプログラム製品。
【請求項37】
前記深層学習が、Ｉｎｃｅｐｔｉｏｎ Ｖ３又はＲｅｓＮｅｔを含む深層学習ネットワークを含む、請求項３６に記載のコンピュータプログラム製品。
【請求項38】
前記撮像された１つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記１つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項２９に記載のコンピュータプログラム製品。
【請求項39】
前記異常が、急性中耳炎（ＡＯＭ）、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの１つ以上を含む、請求項３６～３８のいずれか一項に記載のコンピュータプログラム製品。
【請求項40】
前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項２９～３９のいずれか一項に記載のコンピュータプログラム製品。
【請求項41】
前記１つ以上の画像が画像撮像デバイスを使用して撮像され、前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項２９～４０のいずれか一項に記載のコンピュータプログラム製品。
【請求項42】
前記画像撮像デバイスが高解像度耳鏡を含む、請求項４１に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、２０１６年９月２日に出願された米国仮特許出願第６２／３８２，９１４号に対する優先権及び利益を主張し、同出願は、参照により完全に組み込まれ、本明細書の一部をなす。
本出願は、２０１６年９月２日に出願された米国仮特許出願第６２／３８２，９１４号に対する優先権及び利益を主張し、同出願は、参照により完全に組み込まれ、本明細書の一部をなす。
【背景技術】
【0002】
耳感染、具体的には中耳の急性感染症（急性中耳炎）は、最も一般的に治療される小児疾患であり、米国だけで年間約２０００万回の内科医の診察を占める。診断の主観的性質は、鼓膜を評価する客観的方法を開発することによって、診断精度を改善するために対処される必要がある重要な間隙をもたらす。文献における少数の以前の研究は、耳病理の客観的診断を支援するために、コンピュータベースの鼓膜分析に焦点を当ててきたが、これらの研究は、他の有意な耳病理を除外しながら、中耳炎の評価に限定されていた［１～４］。鼓膜異常を識別するためのより包括的な客観的方法の開発は、臨床医が臨床耳鏡検査で捕えにくいことがある病理（例えば、中耳流体）を診断又は除外することを支援するであろう。
【0003】
耳病理診断に関する現在の仕事及び既存のソフトウェアツールは以下のとおりである。Ｍｉｒｏｎｉｃａ及び同僚によるコンピュータ画像分析ソフトウェアを開発するための早期研究の試みは、小児症例の中耳炎に排他的に焦点を当てていた［１］。この研究の著者は、異なる教師あり分類子を使用することによって、２つの色記述子ＨＳＶ色ヒストグラム及びＨＳＶ色コヒーレンスベクトルの性能を調査した。彼らの実験は、ＨＳＶ色コヒーレンスベクトルが古典的な色ヒストグラムよりも良好な性能を示したことを示した。しかしながら、著者らはまた、色情報のみでは中耳炎の識別に十分ではないと結論づけた。より最近の研究では、Ｋｕｒｕｖｉｌｌａ及び同僚らは、所与の鼓膜画像を急性中耳炎（acute otitis media、ＡＯＭ）、滲出液を伴う中耳炎（otitis media with effusion、ＯＭＥ）、又は滲出液を伴わない中耳炎（no effusion、ＮＯＥ）として分類するために語彙
及び文法システムを開発した［２］。アルゴリズムは、鼓膜を局所化することを目的としたセグメント化工程で開始し、局所照明問題の効果を低減する工程がそれに続いていた。次に、鼓膜の膨張性若しくは半透明性、又は鼓膜の背後の気泡の存在などの臨床的特徴を表すいくつかの代表的な特徴を抽出した。最後に、階層的なルールベースの決定木を使用して画像を分類した。Ｓｈｉｅ及び同僚は、中耳炎を検出するための別のアプローチを提案している［３］。入力された耳鏡画像から鼓膜を分離するために、彼らは修正された２段階の能動輪郭セグメント化方法を導入した。次いで、アルゴリズムは、ガボール、勾配のヒストグラム、及びグリッドカラーモーメントなどのいくつかの色及び質感特徴を抽出した。これらの特徴の各々は、異なるサポートベクトルマシン（Support Vector Machine、ＳＶＭ）分類子を訓練するために別々に使用された。最後に、ＳＶＭ分類子の予測確率を、最終分類のためのＡｄａｂｏｏｓｔによる特徴として使用した。２０１５年に、Ｓｈｉｅ及び同僚は、中耳炎の検出のための転送学習パラダイムを使用した［４］。著者らは、ＩｍａｇｅＮｅｔ画像から、教師なしコードブックを抽出した。彼らは、コードブックを使用して中耳炎画像を符号化することによって得られた転送学習された特徴ベクトルを使用して、ラベル付けされた中耳炎のインスタンスから分類子を学習するために教師あり学習を用いた。最後に、彼らは、分類結果をいくつかのヒューリスティック特徴の結果（［３］に公開）と融合させて、それらの検出性能を改善した。データベースの内容及びサイズ並びにこれらの以前の研究の焦点のばらつきのため、性能を客観的に比較することは困難であるが、これらの方法の精度は、７３％［１］～８９％［２］の範囲であった。
及び文法システムを開発した［２］。アルゴリズムは、鼓膜を局所化することを目的としたセグメント化工程で開始し、局所照明問題の効果を低減する工程がそれに続いていた。次に、鼓膜の膨張性若しくは半透明性、又は鼓膜の背後の気泡の存在などの臨床的特徴を表すいくつかの代表的な特徴を抽出した。最後に、階層的なルールベースの決定木を使用して画像を分類した。Ｓｈｉｅ及び同僚は、中耳炎を検出するための別のアプローチを提案している［３］。入力された耳鏡画像から鼓膜を分離するために、彼らは修正された２段階の能動輪郭セグメント化方法を導入した。次いで、アルゴリズムは、ガボール、勾配のヒストグラム、及びグリッドカラーモーメントなどのいくつかの色及び質感特徴を抽出した。これらの特徴の各々は、異なるサポートベクトルマシン（Support Vector Machine、ＳＶＭ）分類子を訓練するために別々に使用された。最後に、ＳＶＭ分類子の予測確率を、最終分類のためのＡｄａｂｏｏｓｔによる特徴として使用した。２０１５年に、Ｓｈｉｅ及び同僚は、中耳炎の検出のための転送学習パラダイムを使用した［４］。著者らは、ＩｍａｇｅＮｅｔ画像から、教師なしコードブックを抽出した。彼らは、コードブックを使用して中耳炎画像を符号化することによって得られた転送学習された特徴ベクトルを使用して、ラベル付けされた中耳炎のインスタンスから分類子を学習するために教師あり学習を用いた。最後に、彼らは、分類結果をいくつかのヒューリスティック特徴の結果（［３］に公開）と融合させて、それらの検出性能を改善した。データベースの内容及びサイズ並びにこれらの以前の研究の焦点のばらつきのため、性能を客観的に比較することは困難であるが、これらの方法の精度は、７３％［１］～８９％［２］の範囲であった。
【0004】
最近では、手持ち式ビデオ耳鏡システムを使用して収集されたデジタル画像を使用して、専門家の診断精度を調べる研究が行われた（Ａ．Ｃ．Ｍｏｂｅｒｌｙ，Ｍ．Ｚｈａｎｇ，Ｌ．Ｙｕ，Ｍ．Ｇｕｒｃａｎ，Ｃ．Ｓｅｎａｒａｓ，Ｔ．Ｎ．Ｔｅｋｎｏｓ，ｅｔ ａｌ．，「Ｄｉｇｉｔａｌ ｏｔｏｓｃｏｐｙ ｖｅｒｓｕｓ ｍｉｃｒｏｓｃｏｐｙ：Ｈｏｗ ｃｏｒｒｅｃｔ ａｎｄ ｃｏｎｆｉｄｅｎｔ ａｒｅ ｅａｒ ｅｘｐｅｒｔｓ
ｉｎ ｔｈｅｉｒ ｄｉａｇｎｏｓｅｓ？」，Ｊｏｕｒｎａｌ ｏｆ Ｔｅｌｅｍｅｄｉｃｉｎｅ ａｎｄ Ｔｅｌｅｃａｒｅ，ｐ．１３５７６３３Ｘ１７７０８５３１，２０１７、を参照されたい。同文献は、参照により完全に組み込まれる）。データベースからの２１０枚の耳画像のサブセットをレビューした１２人の耳科医（耳疾患の専門研修を受けた耳鼻咽喉科医）について、診断精度、評定者間の合意、及び信頼度を、評価した。耳科医は、正常又は７種類の病理として画像に診断を割り当てた。耳病理を診断するための全体的な精度率は、客観的評価を用いた耳顕微鏡の至適基準と比較してわずかに７５．６％であった。この研究からの知見は、より正確な耳診断を行う際に臨床医を支援するために、本明細書に記載されるものなどの客観的コンピュータ支援画像分析（computer-assisted image analysis、ＣＡＩＡ）アプローチの必要性に関する更なる支援を提供する。
ｉｎ ｔｈｅｉｒ ｄｉａｇｎｏｓｅｓ？」，Ｊｏｕｒｎａｌ ｏｆ Ｔｅｌｅｍｅｄｉｃｉｎｅ ａｎｄ Ｔｅｌｅｃａｒｅ，ｐ．１３５７６３３Ｘ１７７０８５３１，２０１７、を参照されたい。同文献は、参照により完全に組み込まれる）。データベースからの２１０枚の耳画像のサブセットをレビューした１２人の耳科医（耳疾患の専門研修を受けた耳鼻咽喉科医）について、診断精度、評定者間の合意、及び信頼度を、評価した。耳科医は、正常又は７種類の病理として画像に診断を割り当てた。耳病理を診断するための全体的な精度率は、客観的評価を用いた耳顕微鏡の至適基準と比較してわずかに７５．６％であった。この研究からの知見は、より正確な耳診断を行う際に臨床医を支援するために、本明細書に記載されるものなどの客観的コンピュータ支援画像分析（computer-assisted image analysis、ＣＡＩＡ）アプローチの必要性に関する更なる支援を提供する。
【0005】
鼓膜異常を識別する客観的方法は、特に臨床耳鏡検査で捕えにくいことがある病理について、現在主観的情報に基づいている診断を行うか又は除外する際の臨床医を支援するであろう。従来のアプローチのいくつか［１～４］は、特に中耳炎の客観的評価のために有望であるが、現在それらのいずれも、２つ以上の種類の鼓膜異常を識別することができない。したがって、他の臨床的に関連する異常（例えば、鼓室硬化症又は鼓膜収縮）は、これらの以前の方法論では「中耳炎」又は「正常」として検出されるであろう。結果として生じる誤分類は、これらの病理の不適切な臨床管理につながり得る。
【0006】
したがって、当技術分野における課題を克服するシステム及び方法が所望されており、そのうちのいくつかは上記に記載されている。具体的には、多数の耳病理のいずれかを適切に識別し、分類するために、耳鏡検査画像を分析するための適時かつ正確な方法及びシステムの必要性が存在する。
【発明の概要】
【0007】
本明細書では、新規な自動耳鏡検査画像分析システム及び方法を開示し、説明する。現在、１４個を超える鼓膜異常を検出し、鼓膜の状態を「正常」又は「異常」として報告し、異常の種類を報告するシステム及び方法が設計されている（図１Ａ～１Ｅを参照されたい）。実証実験は、オハイオ州立大学（ＯＳＵ）耳鼻咽喉科（Ear, Nose, and Throat、
ＥＮＴ）診療所及びＮａｔｉｏｎｗｉｄｅ Ｃｈｉｌｄｒｅｎ’ｓ Ｈｏｓｐｉｔａｌ（ＮＣＨ）、並びに一次医療環境（Ｄｒ．Ｔａｊ－Ｓｃｈａａｌによる）において、耳鏡を介して撮像された高解像度の成人及び小児画像の集中データベースを使用して実施された。以前の研究とは異なり、開示されたアプローチは、１）臨床知識に照らして症状を特徴付けるように設計された臨床目的上の鼓膜特徴部（ＣＭＥＦ）と、２）コンピュータビジョン文献のいくつかの既存の色、質感、及び形状特徴と、の混成特徴セットを共に使用することを目的とする。コンピュータビジョン特徴部としては、以前の中耳炎検出研究［３、４］において有用であることが見出された勾配のヒストグラム、及びグリッドカラーモーメント特徴、並びにコンテンツベースの画像検索において堅牢性が既に実証されているＭＰＥＧ７記述子が挙げられる。ＭＰＥＧ７記述子は、異なる生物医学的画像処理問題［５］において分析されているが、これは、鼓膜画像に対するＭＰＥＧ７記述子の有効性を評価した初めての研究である。同様に、臨床目的上の鼓膜特徴部の新しいセットが、異なる種類の異常（グロメット管、耳垢、及び／又は穿孔の存在など）を認識するように定義され、フレームワークに統合されている。最後に、最新の教師ありアンサンブル学習分類子のうちの１つ、ファジースタック一般化（Fuzzy Stacked Generalization、ＦＳＧ）は、個々の特徴［６］に基づいて、複数の基層分類子の決定によって構築された融合空間を
作成する。したがって、各特徴の個々の強度に依存するのではなく、特徴の多様性及び協働が、全体的な分類性能を改善する。
ＥＮＴ）診療所及びＮａｔｉｏｎｗｉｄｅ Ｃｈｉｌｄｒｅｎ’ｓ Ｈｏｓｐｉｔａｌ（ＮＣＨ）、並びに一次医療環境（Ｄｒ．Ｔａｊ－Ｓｃｈａａｌによる）において、耳鏡を介して撮像された高解像度の成人及び小児画像の集中データベースを使用して実施された。以前の研究とは異なり、開示されたアプローチは、１）臨床知識に照らして症状を特徴付けるように設計された臨床目的上の鼓膜特徴部（ＣＭＥＦ）と、２）コンピュータビジョン文献のいくつかの既存の色、質感、及び形状特徴と、の混成特徴セットを共に使用することを目的とする。コンピュータビジョン特徴部としては、以前の中耳炎検出研究［３、４］において有用であることが見出された勾配のヒストグラム、及びグリッドカラーモーメント特徴、並びにコンテンツベースの画像検索において堅牢性が既に実証されているＭＰＥＧ７記述子が挙げられる。ＭＰＥＧ７記述子は、異なる生物医学的画像処理問題［５］において分析されているが、これは、鼓膜画像に対するＭＰＥＧ７記述子の有効性を評価した初めての研究である。同様に、臨床目的上の鼓膜特徴部の新しいセットが、異なる種類の異常（グロメット管、耳垢、及び／又は穿孔の存在など）を認識するように定義され、フレームワークに統合されている。最後に、最新の教師ありアンサンブル学習分類子のうちの１つ、ファジースタック一般化（Fuzzy Stacked Generalization、ＦＳＧ）は、個々の特徴［６］に基づいて、複数の基層分類子の決定によって構築された融合空間を
作成する。したがって、各特徴の個々の強度に依存するのではなく、特徴の多様性及び協働が、全体的な分類性能を改善する。
【0008】
本明細書では、鼓膜病理を画像から分類するための方法が開示される。１つの方法は、画像撮像デバイス（例えば、高解像度デジタル耳鏡）を使用して鼓膜（例えば、鼓膜）の１つ以上の画像を撮像することと、撮像された１つ以上の画像に対して前処理を実施することと、撮像された１つ以上の画像を使用して鼓膜の病理を分類することと、を含む。
【0009】
本明細書では、鼓膜病理を画像から分類するためのシステムも開示される。そのようなシステムの１つは、画像撮像デバイス（例えば、高解像度デジタル耳鏡）と；メモリと；メモリと連通するプロセッサであって、プロセッサが、プロセッサに、撮像された１つ以上の画像に対して前処理を実施させ、撮像された１つ以上の画像を使用して鼓膜の病理を分類させるメモリに記憶されたコンピュータ可読命令を実行する、プロセッサと、を備える。
【0010】
本開示の更に別の態様は、コンピュータ可読媒体上に記憶されたコンピュータ実行可能コードセクションを備えた非一時的コンピュータプログラム製品であって、該コンピュータ実行可能コードセクションが、画像から鼓膜病理を分類する方法を実施するために、鼓膜（例えば、鼓膜）の１つ以上の画像に対して前処理を実施することと、画像を使用して鼓膜の病理を分類することと、を含む、非一時的コンピュータプログラム製品を含む。
【0011】
更なる利点は、以下の説明において部分的に記載されるか、又は実施によって学習されてもよい。利点は、添付の「特許請求の範囲」で特に指摘された要素及び組み合わせを用いて実現及び達成されるであろう。上述の一般的な説明及び後述の「発明を実施するための形態」の両方は具体例であって、例示だけを目的としており、特許請求されている範囲の限定を意図するものではないことを理解されたい。
【0012】
本明細書に組み込まれ、また本明細書の一部を構成する添付の図面は、実施形態を例証し、以下の説明と共に、方法及びシステムの原理を説明するよう機能する。
【図面の簡単な説明】
【0013】
【図2】画像から鼓膜病理を分類するための例示的な概要システムを示す。
【図3A】耳病理を分類するためのアプローチの一実施形態を含むモジュールを示す。
【図3B】新しいフレームが別の重要なフレームによって以前に覆われていない新たな関心領域を含む場合にケース１が生じ、以前の重要なフレームによって既に覆われている領域がこの新たなフレームにおいてより高い品質を有する場合にケース２が生じる例示的な合成画像生成方法の流れ図を示す。
【図4A】鼓膜の画像からの埋め込まれたテキストの除去を示す写真である。
【図4B】鼓膜の画像からの埋め込まれたテキストの除去を示す写真である。
【図4C】鼓膜の画像からの埋め込まれたテキストの除去を示す写真である。
【図5A】鼓膜の画像内の関心領域（region of interest、ＲＯＩ）を識別することを示す写真である。
【図5B】鼓膜の画像内の関心領域（region of interest、ＲＯＩ）を識別することを示す写真である。
【図6A】鼓膜の画像内のグレアの検出及び除去を示す写真である。
【図6B】鼓膜の画像内のグレアの検出及び除去を示す写真である。
【図7】滲出性中耳炎の診断を伴う耳のためのコンテンツベースの画像検索の例である。
【図8】鼓膜病理を分類する例示的な方法を示すフローチャートである。
【図9】画像から鼓膜病理を分類するために使用することができる例示的なコンピュータを示す。
【図10A】正確に分類された異常な鼓膜の画像を示す写真である。
【図10B】正確に分類された異常な鼓膜の画像を示す写真である。
【図10C】正確に分類された異常な鼓膜の画像を示す写真である。
【図11A】不正確に異常として分類された１７個の正常な鼓膜のうちの３つを示す写真である。
【図11B】不正確に異常として分類された１７個の正常な鼓膜のうちの３つを示す写真である。
【図11C】不正確に異常として分類された１７個の正常な鼓膜のうちの３つを示す写真である。
【図12A】不正確に正常として分類された異常な鼓膜を示す写真である。
【図12B】不正確に正常として分類された異常な鼓膜を示す写真である。
【図12C】不正確に正常として分類された異常な鼓膜を示す写真である。
【発明を実施するための形態】
【0014】
本方法及びシステムを開示及び記載する前に、方法及びシステムは、特定の合成方法、特定の構成要素、又は特定の組成物に限定されないことを理解されたい。本明細書で使用される専門用語は、特定の実施形態を説明するための目的のものにすぎず、限定することを意図しないことも理解するべきである。
【0015】
本明細書及び添付の特許請求の範囲において使用されるとき、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、その内容について別段の明確な指示がない限り、複数の指示対象を包含する。範囲は、「約」１つの特定の値から、及び／又は「約」別の特定の値までとして表されてもよい。このような範囲が表されるとき、別の実施形態は、１つの特定の値から、かつ／又は他の特定の値までを含む。同様に、値が、先行詞「約」の使用によって近似として表されるとき、特定の値は、別の実施形態を形成することが理解されるであろう。範囲のそれぞれの端点は、他の端点に関しても、他の端点とは独立しても、この両方において、有意であると更に理解されるであろう。
【0016】
「任意選択的な」又は「任意選択的に」は、引き続いて記載された事象又は状況が起こってもよいかあるいは起こらなくてもよいこと、及び説明が、当該事象又は状況が起こる場合の例及びそれが起こらない場合の例を含むことを意味する。
【0017】
本明細書の説明及び特許請求の範囲の全体を通して、単語「ｃｏｍｐｒｉｓｅ」、並びに「ｃｏｍｐｒｉｓｉｎｇ」及び「ｃｏｍｐｒｉｓｅｓ」などの単語の変化形は、例えば、他の添加剤、構成成分、整数、又は工程が「含まれるが、これらに限定されない」及び
「例えば、除外することを意図しない」ことを意味する。「例示的な」は、「の一例」を意味し、好ましい又は理想的な実施形態の指示を伝えることを意図しない。「などの」は、限定的な意味で使用されるものではなく、説明的な目的で使用される。
「例えば、除外することを意図しない」ことを意味する。「例示的な」は、「の一例」を意味し、好ましい又は理想的な実施形態の指示を伝えることを意図しない。「などの」は、限定的な意味で使用されるものではなく、説明的な目的で使用される。
【0018】
開示された方法及びシステムを行うために使用することができる構成要素が開示されている。これらの構成要素及び他の構成要素が本明細書において開示され、これらの構成要素の組み合わせ、サブセット、相互作用、グループなどが開示される場合、これらの各々の多様な個別の組み合わせ及び集合的な組み合わせ並びに置換が明確に開示される一方、各々は、全ての方法及びシステムに関して、本明細書において具体的に想定及び説明されていることを理解されたい。これは、本出願の全ての態様に適用されるが、開示された方法における工程に限定されるわけではない。このように、実施することができる多様な更なる工程が存在する場合、これらの更なる工程のそれぞれは、任意の特定の実施形態又は開示される方法の実施形態の組み合わせにより実施することができることが理解される。
【0019】
当業者には理解されるように、方法及びシステムは、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形態をとることができる。更に、方法及びシステムは、記憶媒体内に具現化されたコンピュータ可読プログラム命令（例えば、コンピュータソフトウェア）を有するコンピュータ可読記憶媒体上のコンピュータプログラム製品の形態をとることができる。より具体的には、本方法及びシステムは、ウェブ実装コンピュータソフトウェアの形態をとることができる。ハードディスク、ＣＤ－ＲＯＭ、光学記憶デバイス、又は磁気記憶デバイスを含む、任意の好適なコンピュータ可読記憶媒体を利用することができる。
【0020】
方法及びシステムの実施形態は、方法、システム、装置、及びコンピュータプログラム製品のブロック図及びフローチャート図を参照して以下に説明する。ブロック図及びフローチャート図の各ブロック、並びにブロック図及びフローチャート図におけるブロックの組み合わせは、コンピュータプログラム命令によって実装することができることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置上で実行される命令が、フローチャートブロック（複数可）内で指定された機能を実装するための手段を作成するように、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置にロードされてもよい。
【0021】
これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに記憶された命令が、フローチャートブロック（複数可）内で指定された機能を実装するためのコンピュータ可読命令を含む製品を生み出すように、コンピュータ又は他のプログラム可能なデータ処理装置を特定の方法で機能させることができるコンピュータ可読メモリに記憶されてもよい。コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装置上で実行される命令がフローチャートブロック（複数可）内で指定された機能を実装するための工程を提供するように、コンピュータ又は他のプログラム可能な装置上で実施される一連の動作工程にコンピュータ実装プロセスを生み出させるようにコンピュータ又は他のプログラム可能なデータ処理装置上にロードされてもよい。
【0022】
したがって、ブロック図及びフローチャート図のブロックは、指定された機能を実施するための手段の組み合わせ、指定された機能を実施するための工程と指定された機能を実施するためのプログラム命令手段との組み合わせをサポートしている。ブロック図及びフローチャート図の各ブロック、並びにブロック図及びフローチャート図内のブロックの組み合わせは、指定された機能若しくは工程を実施する専用ハードウェアベースのコンピュータシステム、又は専用ハードウェア及びコンピュータ命令の組み合わせによって実装され得ることも理解されるであろう。
【0023】
本方法及びシステムは、好ましい実施形態の以下の詳細な説明及び好ましい実施形態に含まれる実施例並びに図面及びこれらのこれまでの記載及び以下の記載を参照することにより、より容易に理解することができる。
【0024】
図２は、画像から耳病理を分類するための例示的な概要システムを示す。図２に示すように、装置１００の一実施形態は、画像撮像機構１０２を備える。一態様において、画像撮像機構１０２はカメラであってもよい。より具体的には、画像撮像機構１０２はデジタル耳鏡であってもよい。画像撮像機構１０２は、静止画及び／又は動画を撮影することができる。概ね、画像撮像機構１０２は、デジタルカメラであると考えられるが、適当なアナログ／デジタルコンバータが備えられているか又はこれと連通しているアナログデバイスであってもよい。画像撮像機構１０２はまた、ウェブカメラ、スキャナ、レコーダ、又は静止画若しくは動画を撮像することができる任意の他のデバイスであってもよい。
【0025】
図２に示すように、画像撮像機構１０２は、例えば、ネットワーク（（光ファイバを含む）有線、無線若しくは有線と無線との組み合わせ）又は（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）接続、ＩＥＥＥ１３９４「Ｆｉｒｅｗｉｒｅ」接続などを使用する）直接接続ケーブルを介してコンピューティングデバイス１１０と直接連通している。他の態様において、画像撮像機構１０２は、コンピューティングデバイス１１０から離れて位置することができるが、画像を撮像し、メモリデバイス上に画像を格納することができ、画像は、例えば、携帯用メモリデバイスなどを使用してコンピューティングデバイス１１０にダウンロードするか又は転送することができる。一態様において、コンピューティングデバイス１１０及び画像撮像機構１０２は、スマートデバイス、スマートフォン、タブレット、ラップトップコンピュータ又は任意の他の固定型若しくは携帯型コンピューティングデバイスなどのデバイスを備えることができるか、又はこれらの一部であってもよい。
【0026】
基本的な構成において、コンピューティングデバイス１１０は、プロセッサ１０４及びメモリ１０８を備えることができる。プロセッサ１０４は、メモリ１０８に格納されているコンピュータ可読指示を実行することができる。更に、静止画であれ動画であれ、画像撮像デバイス１０２によって撮像された画像は、メモリ１０８に格納され、メモリ１０８に格納されたコンピュータ可読指示を使用して、プロセッサ１０４によって処理することができる。
【0027】
プロセッサ１０４は、画像撮像デバイス１０２及びメモリ１０８と連通している。プロセッサ１０４は、メモリ１０８に格納されたコンピュータ可読命令を実行して、画像撮像デバイス１０２を使用して画像を撮像することができる。一態様では、撮像された画像は、被験者の鼓膜の画像を含むことができる。
【0028】
プロセッサ１０４は更に、メモリ１０８上に記憶されたコンピュータ可読命令を実行して、画像撮像デバイス１０２を使用して１つ以上のデジタル画像を撮像し、１つ以上の画像から耳病理を分類することができる。
【0029】
図３Ａは、耳病理を分類するためのアプローチの一実施形態を含むモジュールを示す。これらのモジュールは、プロセッサ１０４によって実行され得るソフトウェアを含んでもよい。これらのモジュールは、前処理２０２と、臨床的に有意義な鼓膜機能（ＣＭＥＦ）２０４の抽出と、コンピュータビジョン特徴部（ＣＶＦ）２０６の抽出と、決定融合による分類２０８と、を含む。これらのモジュールの各々は、本明細書でより詳細に説明される。
【0030】
ＨＤビデオ耳鏡（例えば、ＪＥＤＭＥＤ Ｈｏｒｕｓ＋ＨＤ Ｖｉｄｅｏ Ｏｔｏｓｃ
ｏｐｅ、セントルイス、ミズーリ州）などの耳鏡を使用して、鼓膜の１つ以上の画像又はビデオを撮像することができる。収集されたＨＤ画像のより高い解像度は、異常の一部の識別を可能にするが、この製品の設計問題の一部は、自律的認識の課題を引き起こす場合がある。前処理モジュール２０２では、これらの課題が低減され、それらの特徴の計算のために画像が作成される。
ｏｐｅ、セントルイス、ミズーリ州）などの耳鏡を使用して、鼓膜の１つ以上の画像又はビデオを撮像することができる。収集されたＨＤ画像のより高い解像度は、異常の一部の識別を可能にするが、この製品の設計問題の一部は、自律的認識の課題を引き起こす場合がある。前処理モジュール２０２では、これらの課題が低減され、それらの特徴の計算のために画像が作成される。
【0031】
適切な画像の取得は、視覚的障害（例えば、耳あか、毛髪）、不十分な照明、又は小さな視野のために困難なタスクであり得る。患者が子供である場合、患者が協働しない間、良好な静止画像を撮像することができることに関する問題もあり得る。これらの課題を解決するために、新しいアプローチが開発された。このアプローチでは、耳道の短いビデオ（約３～５秒）が撮像される。次に、図３Ｂに示すアルゴリズムを実行するソフトウェアが、鼓膜のビデオフレームを分析し、新しいモザイク画像を作成する（サンプル出力については図３Ｃを参照されたい）。
【0032】
図３Ｂに記載されているようなモザイク画像作成アルゴリズムは、ビデオシーケンス内の新しいフレームごとに、障害物を含まない対象領域（例えば、耳あか、毛髪－これが達成される詳細な方法は以下のとおりである）を決定する。これらの領域の各々は、サブセクションに分割され、各セクションにおける画質は、ピントが合っており、適切なコントラスト及び照明を有するという点から評価される。フレームが前のフレームに含まれていない鼓膜の部分を含む場合、又は鼓膜の既に含まれている部分を含むが、より高い品質（ピント、コントラスト、及び照明の点で）で含む場合、このフレームは「重要なフレーム」とラベル付けされるか、又は別の方法で識別される。最後に、新しい方法は、ビデオシーケンス内の全ての「重要なフレーム」内の関心領域を考慮することによって、モザイク画像を構築する。
【0033】
フレームは、異なる量の視覚的障害物（例えば、耳あか、毛髪、グレアなど）及び／又は照明の質を含んでもよい。本明細書に記載されるように、本方法は、優れた照明を有する障害物を含まない合成画像を構築することを含む。したがって、アルゴリズムは、合成画像生成中の障害物（耳あか、グレア、及び毛髪－以下を参照されたい）及びピントずれ領域を検出する。これを行うために、アルゴリズムは、各新しいフレームを前のフレームと比較し、よりピントが合っており、良好に照明されている領域を使用して新しい画像を更新する。ピント及び照明品質を決定するために、画像エントロピーが計算され、最も高いエントロピーを有するフレームが選択される。
【0034】
耳あか検出に関しては、耳垢の典型的な特性の１つは、その黄色である。したがって、黄色領域は、ＣＭＹＫ色空間内で閾値を使用することによって識別される。これらの潜在的な耳垢領域が、ＣＭＹＫ空間における最も高い「Ｙ」値を有する領域として検出された後、これらの耳垢領域の強度（すなわち、「Ｙ」値）の勾配の大きさの平均及び標準偏差が計算される。これらの特徴は、耳あか領域を検出するためにＦＳＧ分類子に入力される。
【0035】
グレアは、鼓膜の表面上の耳鏡からの光の反射によって引き起こされる。グレアは、特徴の一部（例えば、鼓膜の平均色値）の計算にとって問題となり得る。一方、光円錐、重要な臨床診断の手がかりは、グレア検出アルゴリズムによって不注意にグレアと見なされ、除去され得る。特徴を正しく抽出するために、開示される方法は、強度値のヒストグラムを計算することと、ヒストグラム内の最も高い強度値に対応するピークを見つけることと、を含む。このピークは、グレア及び光円錐に対応する。グレアと光円錐とを区別するために、エリア閾値が適用される（グレア（複数可）は光円錐（複数可）よりも大きい）。
【0036】
毛髪検出は、Ｒ．Ｇ．ｖｏｎ Ｇｉｏｉ，Ｊ．Ｊａｋｕｂｏｗｉｃｚ，Ｊ．－Ｍ．Ｍｏｒｅｌ，とＧ．Ｒａｎｄａｌｌ，「ＬＳＤ：Ａ ｆａｓｔ ｌｉｎｅ ｓｅｇｍｅｎｔ ｄｅｔｅｃｔｏｒ ｗｉｔｈ ａ ｆａｌｓｅ ｄｅｔｅｃｔｉｏｎ ｃｏｎｔｒｏｌ」，ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．３２，ｐｐ．７２２～７３２，２０１０に記載されているものなどの線分検出器を使用することによって、細い線形構造を検出することを含み、同文献は、参照により組み込まれる。各毛髪は、互いにほぼ平行な２本の線（毛髪の両端部）によって表され、線は互いに近接している。したがって、短い距離を有する各ほぼ平行な線ペアは、毛髪候補と見なされる。画像の質感は、これらの平行線の間で計算され、小さな質感のばらつきを有するものは毛髪としてマークされる。
【0037】
実施形態のうちの１つでは、関心領域が抽出された後、これらの領域は６４×６４画素のブロックに分割される。各ブロックについて、標準偏差、グレーレベル共起行列、コントラスト、及び平均強度値が計算される。これらの値を重み付けしてタイル品質を計算する。重みは、手動又は自動で決定されてもよい。
【0038】
２つのフレームを登録するために、関心点を自動的に抽出し、これらの点の特徴ベクトルを突き合わせる。関心点を抽出するために、３つの最新のアプローチの性能を比較する（Ｈ．Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄ Ｌ．Ｖａｎ Ｇｏｏｌ，「Ｓｕｒｆ：Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ」，Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ－ＥＣＣＶ ２００６，ｐｐ．４０４～４１７，２００６；Ｄ．Ｇ．Ｌｏｗｅ，「Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅ ｆｒｏｍ ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ
ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，ｖｏｌ．６０，ｐｐ．９１～１１０，２００４；及びＥ．Ｒｕｂｌｅｅ，Ｖ．Ｒａｂａｕｄ，Ｋ．Ｋｏｎｏｌｉｇｅ，ａｎｄ Ｇ．Ｂｒａｄｓｋｉ，「ＯＲＢ：Ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｔｅｒｎａｔｉｖｅ ｔｏ ＳＩＦＴ ｏｒ ＳＵＲＦ」，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１１
ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，２０１１，ｐｐ．２５６４～２５７１、を参照されたい。同文献の各々は、参照により完全に組み込まれる）。一致点を識別するために、このアプローチは、２つのフレーム内の検出された特徴の全ての可能なペア間の距離を計算する。このアプローチは、ランダムサンプルコンセンサス（Random Sample Consensus、ＲＡＮＳＡＣ）によって初期ホモグラフ行列を推定
する（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，「Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ
ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ」，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，ｖｏｌ．２４，ｐｐ．３８１～３９５，１９８１を参照されたい。同文献も、参照により組み込まれる）。
ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，ｖｏｌ．６０，ｐｐ．９１～１１０，２００４；及びＥ．Ｒｕｂｌｅｅ，Ｖ．Ｒａｂａｕｄ，Ｋ．Ｋｏｎｏｌｉｇｅ，ａｎｄ Ｇ．Ｂｒａｄｓｋｉ，「ＯＲＢ：Ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｔｅｒｎａｔｉｖｅ ｔｏ ＳＩＦＴ ｏｒ ＳＵＲＦ」，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１１
ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，２０１１，ｐｐ．２５６４～２５７１、を参照されたい。同文献の各々は、参照により完全に組み込まれる）。一致点を識別するために、このアプローチは、２つのフレーム内の検出された特徴の全ての可能なペア間の距離を計算する。このアプローチは、ランダムサンプルコンセンサス（Random Sample Consensus、ＲＡＮＳＡＣ）によって初期ホモグラフ行列を推定
する（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ．Ｃ．Ｂｏｌｌｅｓ，「Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ：ａ ｐａｒａｄｉｇｍ ｆｏｒ ｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ
ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ」，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，ｖｏｌ．２４，ｐｐ．３８１～３９５，１９８１を参照されたい。同文献も、参照により組み込まれる）。
【0039】
各フレームは、（１）新しいフレームが、別の重要なフレームによって以前に覆われていなかった新しい関心領域を含むかどうか、又は（２）以前の重要なフレームによって既に覆われていた領域が、この新たなフレームにおいてより高い品質を有するかどうか、という２つの基準に基づいて、「重要なフレーム」を有したり、又は有さなかったりする。次いで、合成画像をスティッチによって作成することができる（図３Ｆ）。開示される方法は、合成画像構築中に「重要なフレーム」を使用する。アルゴリズムは、鼓膜のサブ部分について最も好適な「重要なフレーム」を選択し、高頻度の詳細を維持しながら照明差にもかかわらず画像間の滑らかな遷移を確実にするマルチバンドブレンド（ピラミッドブレンド）法を使用する。
【0040】
図３Ａに戻ると、前処理は、埋め込まれたテキストの除去を含んでもよい。多くの例では、耳鏡によって撮像された画像は、臨床目的のために画像内に日付及び時間情報を埋め込む。前処理では、この埋め込まれた日付及び時間情報を除去することが望ましい場合がある。静止画像及びビデオシーケンスのテキスト検出及び除去プロセスは、コンピュータビジョンコミュニティで検討されてきた［７］。しかしながら、既存の研究のいくつかとは異なり、埋め込まれたテキストを検出するために、異なる帯域の強度比及び勾配情報が共に使用される。テキストの可能な位置及び色範囲に関する以前の情報により、この解決策は、高い再現率でテキスト文字の検出を可能にする。検出されたテキスト画素は、ガイダンスフィールドを作成するために使用され、勾配の大きさは、これらの画素についてはゼロに設定される。最後に、オーバーレイされたテキストは、シームレスに隠蔽され［８］（図４Ａ～４Ｃ）、図４Ｃの画像をもたらす。
【0041】
前処理モジュール２０２は、関心領域（ＲＯＩ）検出を更に含んでもよい。鼓膜を含むＲＯＩは、使用される画像撮像デバイス（例えば、耳鏡）の先端の物理的特性のため、画像全体の任意の位置にあることができる。また、先端特性は、画像内の先端の境界でいくらかの反射問題を生じさせることがある（図５Ａ及び５Ｂを参照されたい）。この問題を解決するために、アルゴリズムは、全ての画素をそれらの強度値に従ってクラスタ化し、次いで、画像境界上の画素の大部分を考慮することによって背景領域を選択する。背景画素が検出された後、可能な前景画素は、ブックスタイン制約による線形最小二乗を使用することによって、楕円にフィッティングされる［９］。最後に、形態的な侵食動作を適用して、先端の周囲の可能なグレアアーチファクトを取り除く。
【0042】
前処理モジュール２０２はまた、グレア検出及び除去を含んでもよい。画像内の最もクリティカルなアーチファクトのうちの１つは、画像撮像デバイス（例えば、高解像度デジタル耳鏡を含む耳鏡）からの光の、鼓膜の表面上での反射によって引き起こされるグレアである。グレアは、特徴の一部（例えば、鼓膜の平均色値）の計算にとって課題となり得る。一方、重要な臨床診断の手がかりである光円錐は、グレア検出アルゴリズムによって不注意にグレアと見なされ、除去されることがある。特徴を正しく抽出するために、強度値のヒストグラムを計算し、グレアに対応するヒストグラム内の関連ピークを見つける。グレア検出後、アルゴリズムは、グレアの検出領域が［８］の方法を使用することによって画像の残部にシームレスにブレンドされた、画像の修正コピーを作成する（例えば、図６Ａ及び６Ｂを参照されたい）。
【0043】
図３に示すモジュールは、臨床目的上の鼓膜特徴部（ＣＭＥＦ）２０４の抽出を更に含む。ＣＭＥＦは、異常及び正常を定義するために使用される臨床知識に照らして症状を特徴付けるために定義される、光円錐の存在及び位置、槌骨の視認性、膜の突出、グロメット管の存在、耳あかの存在などのような、手作りの特徴のセットを含む。
【0044】
コンピュータビジョン特徴部（ＣＶＦ）モジュール２０６の抽出は、ＭＰＥＧ７視覚記述子の使用を含んでもよく、ＭＰＥＧ７視覚記述子は、コンテンツベースの画像検索、モーメントのヒストグラム、及びコンピュータビジョン特徴部としてのグリッドカラー勾配特徴部においてその堅牢性を既に実証している。Ｔ．Ｓｉｋｏｒａ，「Ｔｈｅ ＭＰＥＧ－７ ｖｉｓｕａｌ ｓｔａｎｄａｒｄ ｆｏｒ ｃｏｎｔｅｎｔ ｄｅｓｃｒｉｐｔｉｏｎ－ａｎ ｏｖｅｒｖｉｅｗ」，ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．１１，ｎｏ．６，ｐｐ．６９６～７０２，Ｊｕｎ ２００１．ｄｏｉ：１０．１１０９／７６．９２７４２２を参照されたい。同文献は、参照により完全に組み込まれる。
【0045】
分類モデル２０８は、異常を検出するために、ファジースタック一般化（ＦＳＧ）［６
］と呼ばれる２層決定融合技術の使用を含んでもよい。これは、強力な特徴の代わりに相補的特徴の利点を使用することを可能にするからである。ベース層では、各特徴空間は、分類メンバシップベクトルを計算するために個々の分類子によって別々に利用される。次いで、ベース層分類子の決定、クラスメンバシップ値は、メタ層分類子に供給される新しい空間を構築するように集約される。本明細書の実施例セクションには、異なる分類子との比較が提供されている。
］と呼ばれる２層決定融合技術の使用を含んでもよい。これは、強力な特徴の代わりに相補的特徴の利点を使用することを可能にするからである。ベース層では、各特徴空間は、分類メンバシップベクトルを計算するために個々の分類子によって別々に利用される。次いで、ベース層分類子の決定、クラスメンバシップ値は、メタ層分類子に供給される新しい空間を構築するように集約される。本明細書の実施例セクションには、異なる分類子との比較が提供されている。
【0046】
ＦＳＧはまた、複数種類の耳病理、例えば、ＡＯＭ、滲出性中耳炎（非感染流体）、真珠腫性中耳炎（耳内の一般的な破壊的皮膚嚢胞）、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みを識別するために、ＦＳＧを多クラス分類に使用することもできる。したがって、同じ２層決定融合ＦＳＧ技術は、強い特徴の代わりに相補的特徴の利点を使用することを可能にするので、異常の種類の識別のために修正される。ファジークラスメンバシップ値は、信頼水準を推定するために使用される。
【0047】
代替的に又は追加的に、深層学習を使用して、鼓膜異常を分類することができる。ニューラルネットワークは、第１の方法の出力、元のビデオクリップ及びメタデータ（例えば、患者の年齢及び性別）を使用することができる。本方法は、以下のネットワークのうちの少なくとも１つを含んでもよい。（１）既に異なるデータセット（ｉｍａｇｅｎｅｔのような）で訓練された既存のネットワークモデル、すなわちＲｅｓＮｅｔ－５０［８］、Ｉｎｃｅｐｔｉｏｎ ｖ３［９］、又はＩｎｃｅｐｔｉｏｎ－Ｒｅｓｎｅｔ［１０］が、転送学習のために使用される（Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，ａｎｄ Ｊ．Ｓｕｎ，「Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１６，ｐｐ．７７０～７７８；Ｃ．Ｓｚｅｇｅｄｙ，Ｖ．Ｖａｎｈｏｕｃｋｅ，Ｓ．Ｉｏｆｆｅ，Ｊ．Ｓｈｌｅｎｓ，ａｎｄ Ｚ．Ｗｏｊｎａ，「Ｒｅｔｈｉｎｋｉｎｇ ｔｈｅ ｉｎｃｅｐｔｉｏｎ ｏｆ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ
ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１６，ｐｐ．２８１８～２８２６；及びＣ．Ｓｚｅｇｅｄｙ，Ｓ．Ｉｏｆｆｅ，Ｖ．Ｖａｎｈｏｕｃｋｅ，ａｎｄ Ａ．Ａｌｅｍｉ，「Ｉｎｃｅｐｔｉｏｎ－ｖ４，ｉｎｃｅｐｔｉｏｎ－ｒｅｓｎｅｔ ａｎｄ ｔｈｅ ｉｍｐａｃｔ ｏｆ ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎｓ ｏｎ ｌｅａｒｎｉｎｇ」，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０２．０７２６１，２０１６、を参照されたい。同文献の各々は、参照により完全に組み込まれる）。（２）教師なし及び教師ありのアプローチで設計及び訓練された新規の深層学習ネットワーク。（３）２つ以上の異なる分類アプローチを組み合わせるための、アンサンブリングニューラルネットワーク。
ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１６，ｐｐ．２８１８～２８２６；及びＣ．Ｓｚｅｇｅｄｙ，Ｓ．Ｉｏｆｆｅ，Ｖ．Ｖａｎｈｏｕｃｋｅ，ａｎｄ Ａ．Ａｌｅｍｉ，「Ｉｎｃｅｐｔｉｏｎ－ｖ４，ｉｎｃｅｐｔｉｏｎ－ｒｅｓｎｅｔ ａｎｄ ｔｈｅ ｉｍｐａｃｔ ｏｆ ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎｓ ｏｎ ｌｅａｒｎｉｎｇ」，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０２．０７２６１，２０１６、を参照されたい。同文献の各々は、参照により完全に組み込まれる）。（２）教師なし及び教師ありのアプローチで設計及び訓練された新規の深層学習ネットワーク。（３）２つ以上の異なる分類アプローチを組み合わせるための、アンサンブリングニューラルネットワーク。
【0048】
代替的に又は任意選択的に、機械学習を使用して、鼓膜病理の分類のために同様の鼓膜症例の画像を検索することができる。この方法のこの実施形態は、異なるレベルの経験及び専門知識を有する臨床医によって使用することができる。上述の深層学習ツールによって提供される決定支持は、多くの臨床医にとって十分であろうが、一部の臨床医（特に、経験が少ない者）は、最終的な診断を下すのに追加の助けを必要とする場合がある。これらの臨床医の場合、既に確立されたグラウンドトルースを有する類似した見た目の画像の選集を彼らに提供することは、有用であろう。この方法では、コンテンツベースの画像検索（content-based image retrieval、ＣＢＩＲ）法を使用するこのようなツールが記載
されている。
されている。
【0049】
診断的意思決定は、伝統的に患者のデータ（画像及びメタデータ）からの証拠を類似症
例における医師の以前の経験と併せて使用することを伴うため、画像類似度の問題は、医療分野において重要な用途を有する。コンテンツベースの画像検索は、定量化可能な（客観的に計算された）特徴を検索基準として使用する画像検索技術である。開示されたアプローチは、深層学習技術に基づく。図７は、滲出性中耳炎の診断を伴う耳のためのコンテンツベースの画像検索の例である。図７に見られるように、ＣＢＩＲを使用した試験画像と耳病理の画像との比較に基づく滲出液の可能性（６２％）は、正常な耳の可能性（３７％）又は急性中耳炎の可能性（１５％）よりもはるかに大きい。
例における医師の以前の経験と併せて使用することを伴うため、画像類似度の問題は、医療分野において重要な用途を有する。コンテンツベースの画像検索は、定量化可能な（客観的に計算された）特徴を検索基準として使用する画像検索技術である。開示されたアプローチは、深層学習技術に基づく。図７は、滲出性中耳炎の診断を伴う耳のためのコンテンツベースの画像検索の例である。図７に見られるように、ＣＢＩＲを使用した試験画像と耳病理の画像との比較に基づく滲出液の可能性（６２％）は、正常な耳の可能性（３７％）又は急性中耳炎の可能性（１５％）よりもはるかに大きい。
【0050】
ＣＢＩＲアルゴリズムは、画像の視覚的コンテンツを分析することによって、類似の画像を検索する。本明細書に開示されるように、手作りの特徴に依存するのではなく、深層学習ベースの解決策は、画像から直接特徴を学習する。開示された深層学習方法は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）を用いる。ＣＮＮの最後の３つの完全に接続された層を使用して、特徴を抽出することができる。追加的に、ＣＮＮ結果は、異なるタイプの深層学習構造の結果と比較される。
【0051】
従来のＣＢＩＲアプローチは、典型的には、ユークリッド距離を使用するなど、マルチメディア類似性検索のために低レベル機能に対してリジッド距離関数を選択する。しかしながら、固定されたリジッド類似度／距離関数は、特徴が複雑である場合、常に最適ではないかもしれない。抽出された特徴空間内の距離を直接測定する代わりに、類似度学習（similarity learning、ＳＬ）アルゴリズムが使用される。類似度メトリックを学習する
ために、ペアワイズランク付けモデルが用いられる。訓練サンプルｉについては、ｄｉ＝（ｐｉ，ｐｉ ＋ｐｉ －）をトリプレットと呼び、式中、ｐｉ、ｐｉ ＋、ｐｉ －は、それぞれ、クエリ画像、正画像、及び負画像である。トリプレットのヒンジ損失が定義され、全体的な損失、トリプレットベースのランク付け損失関数を最小化することを目的とする。最後に、メタデータ情報は、一般的な画像特徴、及び医療コンテンツベースの画像検索研究に対する一般的な補足物である。患者の年齢及び民族性、症状／温度、耳の既往歴、並びに他の非画像データを、セマンティックギャップを低減する手段として、画像特徴にセマンティック情報を追加するために組み込むことができる。
ために、ペアワイズランク付けモデルが用いられる。訓練サンプルｉについては、ｄｉ＝（ｐｉ，ｐｉ ＋ｐｉ －）をトリプレットと呼び、式中、ｐｉ、ｐｉ ＋、ｐｉ －は、それぞれ、クエリ画像、正画像、及び負画像である。トリプレットのヒンジ損失が定義され、全体的な損失、トリプレットベースのランク付け損失関数を最小化することを目的とする。最後に、メタデータ情報は、一般的な画像特徴、及び医療コンテンツベースの画像検索研究に対する一般的な補足物である。患者の年齢及び民族性、症状／温度、耳の既往歴、並びに他の非画像データを、セマンティックギャップを低減する手段として、画像特徴にセマンティック情報を追加するために組み込むことができる。
【0052】
図８は、耳病理を分類する例示的な方法を示すフローチャートである。一実施形態では、本方法は、８０２画像撮像デバイス（例えば、耳鏡）を使用して、鼓膜の１つ以上の画像又はビデオを撮像することを含む。一態様では、１つ以上の画像は、１つ以上の高解像度の耳鏡画像を含む。８０４では、撮像された１つ以上の画像に対して前処理が実施される。前処理工程は、センサーベースの問題を低減することと、１つ以上の画像内の関心領域を選択することと、光反射を検出し、これらのグレア効果が低減された１つ以上の画像のコピーを作成することと、のための前処理工程を含んでもよい。前処理はまた、上述のように、ぼやけ、耳あか、グレア、毛髪などを除去するために、合成画像を生成することを含んでもよい。８０６では、鼓膜の病理を分類することが実施される。病理を分類する実施形態のうちの１つは、１つ以上の画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することを含み得る。色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上が使用される。臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）が、１つ以上の画像から抽出される。臨床目的上の鼓膜特徴部は、１つ以上の画像から異常及び正常に関するいくつかの手がかりを識別する。鼓膜の病理を分類することは、ＣＭＥＦ及びＣＶＦを使用した決定融合によって実施されてもよい。ＣＶＦ情報及びＣＭＥＦ情報を、強い特徴の代わりに相補的特徴に焦点を当てる２層積層一般化アルゴリズム（ＦＳＧ）によって融合した。病理分類方法の他の実施形態はまた、上で説明したように、深層学習及び／又は深層学習特徴部を利用するＣＢＩＲを使用した異常の自動識別と、ペアワイズランク付けモデルを訓練することとを含んでもよい。工程８０６は、後述するように、コンピューティングデバイスのプロセッサを使用して実施される。
【0053】
システムは、ユニットから構成されるとして上述されている。当業者は、これが機能的な説明であり、それぞれの機能がソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの組み合わせによって実施され得ることを理解するであろう。ユニットは、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの組み合わせであり得る。ユニットは、標本の組織を区別するためのソフトウェアを含むことができる。例示的な一態様では、ユニットは、図９に例示され、後述されるようにプロセッサ９２１を備えるコンピューティングデバイスを含むことができる。
【0054】
図９は、画像から鼓膜病理を分類するために使用することができる例示的なコンピュータを示す。本明細書で使用するとき、「コンピュータ」は、複数のコンピュータを含み得る。コンピュータは、例えば、プロセッサ９２１、ランダムアクセスメモリ（ＲＡＭ）モジュール９２２、読み出し専用メモリ（ＲＯＭ）モジュール９２３、記憶装置９２４、データベース９２５、１つ以上の入出力（Ｉ／Ｏ）デバイス９２６、及びインターフェース９２７などの１つ以上のハードウェア構成要素を含んでもよい。代替的に、かつ／又は追加的に、コンピュータは、例えば、特定の開示される実施形態と一致する方法を実施するためのコンピュータ実行可能命令を含むコンピュータ可読媒体などの１つ以上のソフトウェア媒体構成要素を含んでもよい。上記に列挙されるハードウェア構成要素のうちの１つ以上がソフトウェアを使用して実装され得ることが企図される。例えば、記憶装置８２４は、１つ以上の他のハードウェア構成要素と関連付けられたソフトウェアパーティションを含んでもよい。上記に列挙される構成要素が単に例示的なものであり、限定的であるように意図されるものではないことが理解される。
【0055】
プロセッサ９２１は、各々鼓膜の１つ以上の画像に基づいて鼓膜の病理を分類するためのコンピュータに関連付けられた１つ以上の機能を実施する命令及びプロセスデータを実行するように構成された、１つ以上のプロセッサを含んでもよい。プロセッサ９２１は、ＲＡＭ９２２、ＲＯＭ９２３、記憶装置９２４、データベース９２５、Ｉ／Ｏデバイス９２６、及びインターフェース９２７に通信可能に連結されてもよい。プロセッサ９２１は、一連のコンピュータプログラム命令を実行して様々なプロセスを実施するように構成されてもよい。コンピュータプログラム命令は、プロセッサ９２１による実行のためにＲＡＭ９２２内にロードされてもよい。
【0056】
ＲＡＭ９２２及びＲＯＭ９２３は各々、プロセッサ９２１の動作に関連付けられた情報を記憶するための１つ以上のデバイスを含んでもよい。例えば、ＲＯＭ９２３は、１つ以上の構成要素及びサブシステムの動作を識別し、初期化し、監視するための情報を含む、コンピュータに関連付けられた情報にアクセスし、記憶するように構成されたメモリデバイスを含んでもよい。ＲＡＭ９２２は、プロセッサ９２１の１つ以上の動作と関連付けられたデータを記憶するためのメモリデバイスを含んでもよい。例えば、ＲＯＭ９２３は、プロセッサ９２１による実行のためにＲＡＭ９２２内に命令をロードしてもよい。
【0057】
記憶装置９２４は、プロセッサ９２１が開示される実施形態と一致するプロセスを実施するために必要とし得る情報を記憶するように構成された任意の種類の大容量記憶デバイスを含んでもよい。例えば、記憶装置９２４は、１つ以上の磁気及び／又は光ディスクデバイス、例えば、ハードドライブ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又は任意の他の種類の大量伝達媒体デバイスなどを含んでもよい。
【0058】
データベース９２５は、１つ以上のソフトウェア及び／又はハードウェア構成要素を含んでもよく、それらが協働して、コンピュータ及び／又はプロセッサ９２１によって使用されるデータを記憶する、構造化する、ソートする、フィルタリングする、及び／又は配置する。例えば、データベース９２５は、１つ以上の画像を前処理することと、１つ以上
の画像から臨床的に有意義な鼓膜機能（ＣＭＥＦ）を抽出することと、１つ以上の画像からコンピュータビジョン特徴部（computer vision feature、ＣＶＦ）を抽出することと
、ＣＭＥＦ及びＣＶＦを使用する決定融合によって鼓膜の病理を分類することと、のためのコンピュータ実行可能命令、並びに／又は深層学習及び／若しくは深層学習特徴部を利用するＣＢＩＲを使用した異常の自動識別と、ペアワイズランク付けモデルを訓練することとのためのコンピュータ実行可能命令と共に、鼓膜のデジタル画像を記憶してもよい。データベース９２５は、追加的な情報及び／又は上記に列挙したものとは異なる情報を記憶し得ることが企図される。
の画像から臨床的に有意義な鼓膜機能（ＣＭＥＦ）を抽出することと、１つ以上の画像からコンピュータビジョン特徴部（computer vision feature、ＣＶＦ）を抽出することと
、ＣＭＥＦ及びＣＶＦを使用する決定融合によって鼓膜の病理を分類することと、のためのコンピュータ実行可能命令、並びに／又は深層学習及び／若しくは深層学習特徴部を利用するＣＢＩＲを使用した異常の自動識別と、ペアワイズランク付けモデルを訓練することとのためのコンピュータ実行可能命令と共に、鼓膜のデジタル画像を記憶してもよい。データベース９２５は、追加的な情報及び／又は上記に列挙したものとは異なる情報を記憶し得ることが企図される。
【0059】
Ｉ／Ｏデバイス９２６は、コンピュータと関連付けられたユーザと情報を通信するように構成された１つ以上の構成要素を含んでもよい。例えば、Ｉ／Ｏデバイスは、ユーザがデジタル画像のデータベース、デジタル画像の分析結果、メトリックなどを維持することを可能にするために、統合されたキーボード及びマウスを有するコンソールを含んでもよい。Ｉ／Ｏデバイス９２６はまた、モニタ上に情報を出力するためのグラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）を含むディスプレイを含んでもよい。Ｉ／Ｏデバイス９２６は、例えば、コンピュータと関連付けられた情報を印刷するためのプリンタ、ユーザが携帯媒体デバイス上にデータを入力することを可能にするユーザアクセス可能ディスクドライブ（例えば、ＵＳＢポート、フロッピー（登録商標）、ＣＤ－ＲＯＭ、又はＤＶＤ－ＲＯＭドライブなど）、マイクロフォン、スピーカシステム、又は任意の他の好適な種類のインターフェースデバイスなどの周辺デバイスも含んでもよい。
【0060】
インターフェース９２７は、通信ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワークステーションピア・ツー・ピアネットワーク、直接リンクネットワーク、無線ネットワーク、又は任意の他の好適な通信プラットフォームなどを介してデータを伝送及び受信するよう構成された１つ以上の構成要素を含んでもよい。例えば、インターフェース９２７は、１つ以上の変調器、復調器、マルチプレクサ、デマルチプレクサ、ネットワーク通信デバイス、無線デバイス、アンテナ、モデム、及び通信ネットワークを介してデータ通信を可能にするように構成された任意の他の種類のデバイスを含んでもよい。
【実施例0061】
以下の実施例は、開示の主題に従った方法及び結果を説明するために以下に記載される。これらの実施例は、本明細書に開示される主題の全ての態様を含むことを意図するものではなく、むしろ代表的な方法及び結果を説明するものである。これらの実施例は、当業者に明らかである等価物及び変形例を排除することを意図するものではない。
【0062】
数字（例えば、量、温度など）に関して精度を保証する努力がなされたが、ある程度の誤差及び偏差を考慮するものとする。別途記載のない限り、部は重量部であり、温度は℃単位であり、又は周囲温度であり、圧力は大気又はほぼ大気の圧力である。数多くの変更例及び反応条件（例えば、構成成分の濃度、温度、圧力並びに他の反応の範囲及び条件）の組み合わせが存在し、これらを使用して記載されたプロセスから得られる生産物純度及び収率を最適化することができる。
【0063】
例示的な研究では、異常を有する１１３枚の画像を含む成人及び小児患者の２４７枚の鼓膜画像を収集した。画像は、オハイオ州立大学（ＯＳＵ）耳鼻咽喉科（ＥＮＴ）診療所及びＮａｔｉｏｎｗｉｄｅ Ｃｈｉｌｄｒｅｎ’ｓ Ｈｏｓｐｉｔａｌ（ＮＣＨ）、並びに一次医療環境（Ｄｒ．Ｔａｊ－Ｓｃｈａａｌによる）において、ＨＤ耳鏡（ＪＥＤＭＥＤ Ｈｏｒｕｓ＋ＨＤ Ｖｉｄｅｏ Ｏｔｏｓｃｏｐｅ、セントルイス、ミズーリ州）を介して撮像された。画像は、サイズ１４４０×１０８０画素であり、ＪＰＥＧを使用して
圧縮された。この研究のデータ収集フェーズは、進行中である。
圧縮された。この研究のデータ収集フェーズは、進行中である。
【0064】
性能評価
分類性能は、専門的な耳鼻咽喉科医によって生成された「グラウンドトルース」に基づいて評価される。実験では、ｎ＝２０で、ｎ倍の交差検証技術を使用した。結果を感度、特異性、及び精度メトリック［１０］に関して評価した。
分類性能は、専門的な耳鼻咽喉科医によって生成された「グラウンドトルース」に基づいて評価される。実験では、ｎ＝２０で、ｎ倍の交差検証技術を使用した。結果を感度、特異性、及び精度メトリック［１０］に関して評価した。
【0065】
結果及び考察
記載されたシステム及び方法の予備結果の混同行列を表１に示す。図１０Ａ～１０Ｃは、正確に分類された異常な鼓膜の画像を示す。図１１Ａ～１１Ｃは、異常として分類された１７個の正常な鼓膜のうちの３つを含む。同様に、３つの誤って分類された異常な鼓膜を図１２Ａ～１２Ｃに示す。
記載されたシステム及び方法の予備結果の混同行列を表１に示す。図１０Ａ～１０Ｃは、正確に分類された異常な鼓膜の画像を示す。図１１Ａ～１１Ｃは、異常として分類された１７個の正常な鼓膜のうちの３つを含む。同様に、３つの誤って分類された異常な鼓膜を図１２Ａ～１２Ｃに示す。
【0066】
【表1】
【0067】
追加的に、選択された決定融合技術の堅牢性を調査した。この目的のために、サポートベクトルマシン（ＳＶＭ）［１１］及びランダムフォレスト分類子（Random Forest、Ｒ
Ｆ）［１２］（表２）と比較したＦＳＧの分類性能を評価した。
Ｆ）［１２］（表２）と比較したＦＳＧの分類性能を評価した。
【0068】
【表2】
【0069】
このデータセットに基づく予備結果は、提案されたアプローチが「正常」対「異常」の分類に非常に有望であることを示す。これらの予備実験では、開示されたシステム及び方法は、所与の２４７枚の鼓膜画像を、およそ８４．６％の精度で正常又は異常として分類することができた。これらの実験によれば、視覚的ＭＰＥＧ－７特徴は、鼓膜画像の分類に非常に有望である。しかしながら、異常の一部の性能を向上させるために、ＣＭＥＦも必要とされる場合がある。
【0070】
参考文献（これらの全ては、特に断りがない限り、参照により組み込まれる）：
１．Ｍｉｒｏｎｉｃａ，Ｉ．，Ｃ．Ｖｅｒｔａｎ，ａｎｄ Ｄ．Ｃ．Ｇｈｅｏｒｇｈｅ．Ａｕｔｏｍａｔｉｃ ｐｅｄｉａｔｒｉｃ ｏｔｉｔｉｓ ｄｅｔｅｃｔｉｏｎ ｂｙ
ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｇｌｏｂａｌ ｉｍａｇｅ ｆｅａｔｕｒｅｓ．２０１１．ＩＥＥＥ。
１．Ｍｉｒｏｎｉｃａ，Ｉ．，Ｃ．Ｖｅｒｔａｎ，ａｎｄ Ｄ．Ｃ．Ｇｈｅｏｒｇｈｅ．Ａｕｔｏｍａｔｉｃ ｐｅｄｉａｔｒｉｃ ｏｔｉｔｉｓ ｄｅｔｅｃｔｉｏｎ ｂｙ
ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｇｌｏｂａｌ ｉｍａｇｅ ｆｅａｔｕｒｅｓ．２０１１．ＩＥＥＥ。
【0071】
２．Ｋｕｒｕｖｉｌｌａ，Ａ．，ｅｔ ａｌ．，Ａｕｔｏｍａｔｅｄ Ｄｉａｇｎｏｓｉｓ ｏｆ Ｏｔｉｔｉｓ Ｍｅｄｉａ：Ｖｏｃａｂｕｌａｒｙ ａｎｄ Ｇｒａｍｍａｒ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｄｉｃａｌ Ｉｍ
ａｇｉｎｇ，２０１３．２０１３：ｐ．１～１５。
ａｇｉｎｇ，２０１３．２０１３：ｐ．１～１５。
【0072】
３．Ｓｈｉｅ，Ｃ．－Ｋ．，ｅｔ ａｌ．Ａ ｈｙｂｒｉｄ ｆｅａｔｕｒｅ－ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｔｈｅ ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｓｅｌｆ－ｄｉａｇｎｏｓｉｓ ｏｆ ｏｔｉｔｉｓ ｍｅｄｉａ．２０１４．ＩＥＥＥ。
【0073】
４．Ｓｈｉｅ，Ｃ．－Ｋ．，ｅｔ ａｌ．Ｔｒａｎｓｆｅｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｆｏｒ ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ．２０１５．ＩＥＥＥ。
【0074】
５．Ｃｏｉｍｂｒａ，Ｍ．Ｔ．ａｎｄ Ｊ．Ｓ．Ｃｕｎｈａ，ＭＰＥＧ－７ ｖｉｓｕａｌ ｄｅｓｃｒｉｐｔｏｒｓ－ｃｏｎｔｒｉｂｕｔｉｏｎｓ ｆｏｒ ａｕｔｏｍａｔｅｄ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｉｎ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ．ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ，２００６．１６（５）：ｐ．６２８。
【0075】
６．Ｏｚａｙ，Ｍ．ａｎｄ Ｆ．Ｔ．Ｙａｒｍａｎ－Ｖｕｒａｌ，Ｈｉｅｒａｒｃｈｉｃａｌ ｄｉｓｔａｎｃｅ ｌｅａｒｎｉｎｇ ｂｙ ｓｔａｃｋｉｎｇ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｃｌａｓｓｉｆｉｅｒｓ．Ｉｎｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ，２０１６．２９：ｐ．１４～３１。
【0076】
７．Ｌｅｅ，Ｃ．Ｗ．，Ｋ．Ｊｕｎｇ，ａｎｄ Ｈ．Ｊ．Ｋｉｍ，Ａｕｔｏｍａｔｉｃ
ｔｅｘｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒｅｍｏｖａｌ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ，２００３．２４（１５）：ｐ．２６０７～２６２３。
ｔｅｘｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒｅｍｏｖａｌ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ，２００３．２４（１５）：ｐ．２６０７～２６２３。
【0077】
８．Ｔａｎａｋａ，Ｍ．，Ｒ．Ｋａｍｉｏ，ａｎｄ Ｍ．Ｏｋｕｔｏｍｉ．Ｓｅａｍｌｅｓｓ ｉｍａｇｅ ｃｌｏｎｉｎｇ ｂｙ ａ ｃｌｏｓｅｄ ｆｏｒｍ ｓｏｌｕｔｉｏｎ ｏｆ ａ ｍｏｄｉｆｉｅｄ ｐｏｉｓｓｏｎ ｐｒｏｂｌｅｍ．ｉｎ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２０１２ Ｐｏｓｔｅｒｓ．２０１２．ＡＣＭ。
【0078】
９．Ｂｏｏｋｓｔｅｉｎ，Ｆ．Ｌ．，Ｆｉｔｔｉｎｇ ｃｏｎｉｃ ｓｅｃｔｉｏｎｓ
ｔｏ ｓｃａｔｔｅｒｅｄ ｄａｔａ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ
Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，１９７９．９（１）：ｐ．５６～７１。
ｔｏ ｓｃａｔｔｅｒｅｄ ｄａｔａ．Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ
Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，１９７９．９（１）：ｐ．５６～７１。
【0079】
１０．Ｆａｗｃｅｔｔ，Ｔ．，Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ＲＯＣ ａｎａｌｙｓｉｓ．Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｌｅｔｔｅｒｓ，２００６．２７（８）：ｐ．８６１～８７４。
【0080】
１１．Ｂｉｓｈｏｐ，Ｃ．Ｍ．，Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ．Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，２００６．１２８。
【0081】
１２．Ｂｒｅｉｍａｎ，Ｌ．，Ｒａｎｄｏｍ ｆｏｒｅｓｔｓ．Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ，２００１．４５（１）：ｐ．５～３２。
【0082】
好ましい実施形態及び特定の実施例に関連して方法及びシステムが説明されてきたが、本明細書の実施形態は、限定的ではなく例示的であることを意図するので、本明細書に記載される特定の実施形態に限定されることを意図するものではない。
【0083】
特に明記しない限り、本明細書に記載される任意の方法は、その工程が特定の順序で実施されることを必要とすると解釈されることを決して意図するものではない。したがって、方法クレームが、その工程がたどる順序を実際に記載しておらず、又はその工程が特定の順序に限定されるべきである旨が特許請求の範囲又は明細書に特に明記されていない場合、いかなる点においても順序が推測されることを意図するものではない。これは、工程又は動作フローの配置に関するロジック事項、文法的な組織化又は句読点に由来する平易な意味、本明細書に記載される実施形態の数又は種類、を含む、解釈のためのいかなる可能な非明示的な根拠にも当てはまる。
【0084】
本明細書全体において、様々な出版物が参照され得る。これらの出版物の開示全体が、開示内容が関連する技術分野の現状技術をより十分に説明するためにここに参照により本出願に完全に組み込まれる。
【0085】
範囲又は趣旨から逸脱することなく、様々な修正及び変更を行うことができることが、当業者には明らかであろう。他の実施形態は、本明細書及び本明細書に開示される実践を考慮すれば、当業者には明らかであろう。本明細書及び実施例は、単に例示的なものと見なされ、本開示の真の範囲及び趣旨は以下の特許請求の範囲によって示されることが意図される。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【手続補正書】
【提出日】2023-10-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
メモリに保存されたコンピュータ可読命令を実行するプロセッサによって実行される、画像から鼓膜病理を分類する方法であって、
前記プロセッサと連通する画像撮像デバイスを使用して、鼓膜の１つ以上の画像を撮像することと、
前記撮像された１つ以上の画像から合成画像を生成する前処理を実施することと、
前記合成画像を使用して、前記鼓膜の病理を分類することとを含む、方法。
前記プロセッサと連通する画像撮像デバイスを使用して、鼓膜の１つ以上の画像を撮像することと、
前記撮像された１つ以上の画像から合成画像を生成する前処理を実施することと、
前記合成画像を使用して、前記鼓膜の病理を分類することとを含む、方法。
【請求項2】
前記合成画像を使用して前記鼓膜の病理を分類することが、前記合成画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記合成画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てるファジースタック一般化（ＦＳＧ）分類子を使用する２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、を含み、
前記２層積層一般化アルゴリズムにおいては、前記ＣＶＦが入力される第１ベース分類子の決定、および前記ＣＭＥＦが入力される第２ベース分類子の決定がメタ層分類子によって融合され、前記第２ベース分類子は、前記第１ベース分類子とは異なる、請求項１に記載の方法。
前記２層積層一般化アルゴリズムにおいては、前記ＣＶＦが入力される第１ベース分類子の決定、および前記ＣＭＥＦが入力される第２ベース分類子の決定がメタ層分類子によって融合され、前記第２ベース分類子は、前記第１ベース分類子とは異なる、請求項１に記載の方法。
【請求項3】
前記前処理工程が、センサーベースの問題を低減することと、前記鼓膜の表面上での光反射によって引き起こされるグレアを検出することと、これらのグレア効果が低減された前記合成画像のコピーを作成することと、のうちの１つ以上を含む、請求項２に記載の方法。
【請求項4】
前記合成画像から前記ＣＶＦを抽出することが、前記合成画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項２又は３に記載の方法。
【請求項5】
前記ＣＭＥＦが、前記合成画像から異常及び正常に関する手がかりのいくつかを識別する、請求項２～４のいずれか一項に記載の方法。
【請求項6】
前記ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項２～５のいずれか一項に記載の方法。
【請求項7】
前記前処理は、前記撮像された１つ以上の画像のうち最も高い画像エントロピーを有する画像を用いて前記合成画像を生成する、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記合成画像を使用して前記鼓膜の病理を分類することが、前記異常の識別のために深層学習を使用することを含む、請求項５に記載の方法。
【請求項9】
前記合成画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記合成画像を画像のライブラリと比較して異常を識別することを含む、請求項１に記載の方法。
【請求項10】
前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項１～９のいずれか一項に記載の方法。
【請求項11】
鼓膜病理を画像から分類するためのシステムであって、
画像撮像デバイスであって、前記画像撮像デバイスが、鼓膜の１つ以上の画像を撮像する、画像撮像デバイスと、
前記撮像された１つ以上の画像が記憶されているメモリと、
前記メモリと連通するプロセッサであって、前記プロセッサは、前記プロセッサに、
前記撮像された１つ以上の画像から合成画像を生成する前処理を実施させ、
前記合成画像を使用して鼓膜の病理を分類させる、前記メモリに記憶されたコンピュータ可読命令を実行する、システム。
画像撮像デバイスであって、前記画像撮像デバイスが、鼓膜の１つ以上の画像を撮像する、画像撮像デバイスと、
前記撮像された１つ以上の画像が記憶されているメモリと、
前記メモリと連通するプロセッサであって、前記プロセッサは、前記プロセッサに、
前記撮像された１つ以上の画像から合成画像を生成する前処理を実施させ、
前記合成画像を使用して鼓膜の病理を分類させる、前記メモリに記憶されたコンピュータ可読命令を実行する、システム。
【請求項12】
前記プロセッサが、前記合成画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記合成画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てるファジースタック一般化（ＦＳＧ）分類子を使用する２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、によって前記鼓膜の病理を分類するコンピュータ可読命令を実行し、
前記２層積層一般化アルゴリズムにおいては、前記ＣＶＦが入力される第１ベース分類子の決定、および前記ＣＭＥＦが入力される第２ベース分類子の決定がメタ層分類子によって融合され、前記第２ベース分類子は、前記第１ベース分類子とは異なる、請求項１１に記載のシステム。
前記２層積層一般化アルゴリズムにおいては、前記ＣＶＦが入力される第１ベース分類子の決定、および前記ＣＭＥＦが入力される第２ベース分類子の決定がメタ層分類子によって融合され、前記第２ベース分類子は、前記第１ベース分類子とは異なる、請求項１１に記載のシステム。
【請求項13】
前記前処理工程が、センサーベースの問題を低減することと、前記鼓膜の表面上での光反射によって引き起こされるグレアを検出することと、これらのグレア効果が低減される前記合成画像のコピーを作成することと、のうちの１つ以上を含む、請求項１２に記載のシステム。
【請求項14】
前記合成画像から前記ＣＶＦを抽出することが、前記合成画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項１２又は１３のいずれかに記載のシステム。
【請求項15】
前記ＣＭＥＦが、前記合成画像から異常及び正常に関する手がかりのいくつかを識別する、請求項１２～１４のいずれか一項に記載のシステム。
【請求項16】
前記ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項１２～１５のいずれか一項に記載のシステム。
【請求項17】
前記前処理は、前記撮像された１つ以上の画像のうち最も高い画像エントロピーを有する画像を用いて前記合成画像を生成する、請求項１１～１６のいずれか一項に記載のシステム。
【請求項18】
前記合成画像を使用して前記鼓膜の病理を分類することが、前記異常の識別のために深層学習を使用することを含む、請求項１５に記載のシステム。
【請求項19】
前記合成画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記合成画像を画像のライブラリと比較して異常を識別することを含む、請求項１１に記載のシステム。
【請求項20】
前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項１１～１９のいずれか一項に記載のシステム。
【請求項21】
コンピュータ可読媒体上に記憶されたコンピュータ実行可能コードセクションを備えたコンピュータプログラムであって、前記コンピュータ実行可能コードセクションが、画像から鼓膜病理を分類する方法を実施するために、
鼓膜の１つ以上の画像から合成画像を生成する前処理を実施することと、
前記合成画像を使用して前記鼓膜の病理を分類することとを含む、コンピュータプログラム。
鼓膜の１つ以上の画像から合成画像を生成する前処理を実施することと、
前記合成画像を使用して前記鼓膜の病理を分類することとを含む、コンピュータプログラム。
【請求項22】
前記合成画像を使用して前記鼓膜の病理を分類することが、前記合成画像からコンピュータビジョン特徴部（ＣＶＦ）を抽出することと、前記合成画像から臨床的に有意義な鼓膜特徴部（ＣＭＥＦ）を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てるファジースタック一般化（ＦＳＧ）分類子を使用する２層積層一般化アルゴリズムによって融合されたＣＶＦ及びＣＭＥＦ情報を使用して前記鼓膜の病理を分類することと、を含み、
前記２層積層一般化アルゴリズムにおいては、前記ＣＶＦが入力される第１ベース分類子の決定、および前記ＣＭＥＦが入力される第２ベース分類子の決定がメタ層分類子によって融合され、前記第２ベース分類子は、前記第１ベース分類子とは異なる、請求項２１に記載のコンピュータプログラム。
前記２層積層一般化アルゴリズムにおいては、前記ＣＶＦが入力される第１ベース分類子の決定、および前記ＣＭＥＦが入力される第２ベース分類子の決定がメタ層分類子によって融合され、前記第２ベース分類子は、前記第１ベース分類子とは異なる、請求項２１に記載のコンピュータプログラム。
【請求項23】
前記前処理工程が、センサーベースの問題を低減することと、前記合成画像内の関心領域を選択することと、前記鼓膜の表面上での光反射によって引き起こされるグレアを検出することと、これらのグレア効果が低減される前記合成画像のコピーを作成することと、のうちの１つ以上を含む、請求項２２に記載のコンピュータプログラム。
【請求項24】
前記合成画像から前記ＣＶＦを抽出することが、前記合成画像から色、質感、及び形状情報を抽出するために、視覚的ＭＰＥＧ－７記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの１つ以上を使用することを含む、請求項２２又は２３に記載のコンピュータプログラム。
【請求項25】
前記ＣＭＥＦが、前記合成画像から異常及び正常に関する手がかりのいくつかを識別する、請求項２２～２４のいずれか一項に記載のコンピュータプログラム。
【請求項26】
前記ＣＭＥＦが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項２２～２５のいずれか一項に記載のコンピュータプログラム。
【請求項27】
前記前処理は、前記１つ以上の画像のうち最も高い画像エントロピーを有する画像を用いて前記合成画像を生成する、請求項２１～２６のいずれか一項に記載のコンピュータプログラム。
【請求項28】
前記合成画像を使用して前記鼓膜の病理を分類することが、前記異常の識別のために深層学習を使用することを含む、請求項２５に記載のコンピュータプログラム。
【請求項29】
前記合成画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索（ＣＢＩＲ）を使用して前記合成画像を画像のライブラリと比較して異常を識別することを含む、請求項２１に記載のコンピュータプログラム。
【請求項30】
前記合成画像が画像撮像デバイスを使用して撮像され、前記画像撮像デバイスが、前記鼓膜の１つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項２１～２９のいずれか一項に記載のコンピュータプログラム。
【外国語明細書】