IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 上海美沃精密儀器股▲フン▼有限公司の特許一覧 ▶ 復旦大学附属眼耳鼻喉科医院の特許一覧

特許7454679マルチモーダルデータに基づく両眼円錐角膜の評価システム
<>
  • 特許-マルチモーダルデータに基づく両眼円錐角膜の評価システム 図1
  • 特許-マルチモーダルデータに基づく両眼円錐角膜の評価システム 図2
  • 特許-マルチモーダルデータに基づく両眼円錐角膜の評価システム 図3
  • 特許-マルチモーダルデータに基づく両眼円錐角膜の評価システム 図4
  • 特許-マルチモーダルデータに基づく両眼円錐角膜の評価システム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-13
(45)【発行日】2024-03-22
(54)【発明の名称】マルチモーダルデータに基づく両眼円錐角膜の評価システム
(51)【国際特許分類】
   A61B 3/107 20060101AFI20240314BHJP
   G06T 7/00 20170101ALI20240314BHJP
【FI】
A61B3/107
G06T7/00 612
【請求項の数】 5
(21)【出願番号】P 2022541624
(86)(22)【出願日】2021-08-05
(65)【公表番号】
(43)【公表日】2023-09-26
(86)【国際出願番号】 CN2021110812
(87)【国際公開番号】W WO2023272876
(87)【国際公開日】2023-01-05
【審査請求日】2022-07-04
(31)【優先権主張番号】202110717940.2
(32)【優先日】2021-06-28
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】522267826
【氏名又は名称】上海美沃精密儀器股▲フン▼有限公司
(73)【特許権者】
【識別番号】522267837
【氏名又は名称】復旦大学附属眼耳鼻喉科医院
(74)【代理人】
【識別番号】110002468
【氏名又は名称】弁理士法人後藤特許事務所
(72)【発明者】
【氏名】沈 陽
(72)【発明者】
【氏名】周 行涛
(72)【発明者】
【氏名】李 慧傑
(72)【発明者】
【氏名】王 崇陽
(72)【発明者】
【氏名】陳 文光
(72)【発明者】
【氏名】趙 ▲セイ▼
(72)【発明者】
【氏名】李 美燕
(72)【発明者】
【氏名】▲セン▼ 芸勇
(72)【発明者】
【氏名】徐 海鵬
(72)【発明者】
【氏名】牛 凌凌
(72)【発明者】
【氏名】趙 武校
(72)【発明者】
【氏名】韓 田
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開2020-124460(JP,A)
【文献】特表2021-531098(JP,A)
【文献】中国特許出願公開第110517219(CN,A)
【文献】米国特許出願公開第2017/0357879(US,A1)
【文献】中国特許出願公開第111160431(CN,A)
【文献】中国特許出願公開第109256207(CN,A)
【文献】中国特許出願公開第110717884(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
G06T 7/00
JSTPlus(JDreamIII)
JMEDPlus(JDreamIII)
JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
両眼マルチモーダルデータを収集するデータ収集ユニットであって、前記データは、両眼角膜の4屈折マップ及び角膜絶対高さデータを含み、前記角膜の4屈折マップは、角膜前面の軸方向曲率、角膜前面の相対高さトポグラフィー、角膜後面の相対高さトポグラフィー及び角膜厚さトポグラフィーを含み、前記角膜絶対高さデータは、角膜前後面の絶対高さデータを含むデータ収集ユニットと、
分類された症例に基づいて、前記両眼マルチモーダルデータを分類された種類と関連付け、要求に応じてデータ分類を行うデータ分類ユニットと、
前記データ分類ユニットの前記4屈折マップにおける各トポグラフィーデータ及び前記角膜前後面の高さデータを同じサイズのデータマトリックスに統一する統一ユニットと、
以上のデータに基づいて4つの分岐ユニットでそれぞれ両眼早期円錐角膜を判断する判断ユニットであって、4つの前記分岐ユニットは、それぞれ分岐ユニットA、分岐ユニットB、分岐ユニットC及び分岐ユニットDであり、
分岐ユニットAは、全ての前記4屈折マップデータマトリックスをデータ処理した後に深度畳み込みネットワークの分類ネットワークに送信して円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(A)を出力し、
分岐ユニットBは、全ての前記4屈折マップデータマトリックスにおける各マップデータマトリックスに対して固有値計算を行い、固有値データをSVMサポートベクターマシン二分類方法に送信し、円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(B)を出力し、
分岐ユニットCは、前記角膜前後面の絶対高さデータを最適フィッティング球面データと比較し、円錐角膜症例と正常症例の臨界閾値を取得することにより、ある症例を判定し、当該ある症例に対して分類結果P(C)を出力し、
分岐ユニットDは、左右眼の4屈折マップデータマトリックスの平均値、最大値、標準偏差を特徴量とし、臨界閾値を利用するか、又はSVM分類方法を用いて、最適な感受性及び特異性、及びある症例の両眼に円錐角膜が発生する確率P(D)を取得する、判断ユニットと、
前記分岐ユニットA、B、C、Dにおける最後の結果を重み付け加算することにより、前記ある症例の両眼に円錐角膜が発生する最終的な確率を取得する取得ユニットと、を含むことを特徴とする、
マルチモーダルデータに基づく両眼円錐角膜の評価システム
【請求項2】
前記分岐ユニットAは、具体的には、
データをスケーリングするスケーリング部であって、前記統一ユニットで処理された全ての前記4屈折マップデータマトリックスを線形補間の方法で224×224のサイズにスケーリングするスケーリング部と、
データを正規化する正規化部Aであって、前記データを7:3の比率に応じてトレーニングセットと検証セットに分け、次に前記トレーニングセットでそれぞれ前記4屈折マップデータマトリックスの平均値と標準偏差を計算し、それに応じて4つの平均値と4つの標準偏差を取得して、全ての症例の4屈折マップデータマトリックスを前記平均値と前記標準偏差で正規化する正規化部Aと、
深度畳み込みネットワークの分類ネットワーク設計に基づいて、Resnet50分類ネットワークを用いて前記4屈折マップデータマトリックスに二分類を行うことにより、単眼の正常角膜及び円錐角膜を識別する識別部と、
分類モデルをトレーニングするトレーニング部Aであって、前記4屈折マップデータマトリックスをチャネルに応じて接続して、4チャネルの入力を取得し、データ増幅は、回転、平行移動、ランダムファジー前処理を採用し、損失関数は、二分類の交差エントロピー関数を採用し、MobileNetV3のIMAGENETデータセットでのトレーニング重み値を初期重み値とし、次に微調整トレーニングを行い、最終的に前記トレーニングセットと前記検証セットのloss値の差が最小のトレーニング重み値をトレーニング結果として選択するトレーニング部Aと、
モデル指標を評価する評価部Aであって、前記検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐ユニットAで円錐角膜の感受性及び特異性を識別し、取得する評価部Aと、
結果を出力する出力部Aであって、評価部Aでの前記トレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐ユニットAで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれp(Al)及びp(Ar)として記録し、分類結果P(A)=p(Al)(p(Al)>p(Ar))、p(Ar)(p(Al)<p(Ar))を出力する出力部Aと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム
【請求項3】
前記分岐ユニットBは、具体的には、
角膜前面の軸方向曲率の固有値を計算する角膜前面軸方向曲率計算部であって、角膜前面の軸方向曲率データマトリックスにおいて曲率の最大最小値点及び位置座標を計算し、直径6mm位置における上下屈折力差IS値を計算し、直径が4.5mmの範囲内の表面不規則性SRI値、表面非対称性SAI値を計算する角膜前面軸方向曲率計算部と、
角膜前面の相対高さの固有値を計算する角膜前面相対高さ計算部であって、角膜前面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算する角膜前面相対高さ計算部と、
角膜後面の相対高さの固有値を計算する角膜後面相対高さ計算部であって、角膜後面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算する角膜後面相対高さ計算部と、
角膜厚さの固有値を計算する角膜厚さ計算部であって、角膜厚さデータマトリックスにおいて厚さの最小値及び位置座標を計算し、角膜頂点での厚さを計算する角膜厚さ計算部と、
距離の固有値を計算する距離計算部であって、前記角膜前面相対高さ計算部によって計算される角膜前面の高さの最大値位置と前記角膜後面相対高さ計算部によって計算される角膜後面の高さの最大値位置との間の距離を計算し、前記角膜前面の高さの最大値位置と前記角膜厚さ計算部によって計算される角膜厚さの最小値位置との間の距離を計算し、前記角膜後面の高さの最大値位置と前記角膜厚さの最小値位置との間の距離を計算する距離計算部と、
角膜体積の固有値を計算する角膜体積計算部であって、前記角膜厚さデータマトリックスを半径が4.5mmの範囲内で体積積分して前記角膜体積を取得する角膜体積計算部と、
全ての前記固有値に正規化処理を行い、かつ全ての正規化された症例データの固有値を7:3の比率に応じてトレーニングセットと検証セットに分ける正規化部Bと、
SVMサポートベクターマシン二分類方法を用いて前記正規化部Bで正規化された前記トレーニングセットの特徴データに特徴トレーニングを行い、前記特徴トレーニング中にRBF kernelを選択し、cross-validation及びgrid-searchを用いて最適なc及びgを取得してデータをトレーニングするトレーニング部Bと、
モデル指標を評価する評価部Bであって、前記検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐ユニットで円錐角膜の感受性及び特異性を識別する評価部Bと、
結果を出力する出力部Bであって、前記トレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐ユニットBで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれp(Bl)及びp(Br)として記録し、分類結果P(B)=p(Bl)(p(Bl)>p(Br))、p(Br)(p(Bl)<p(Br))を出力する出力部Bと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム
【請求項4】
前記分岐ユニットCは、具体的には、
前記角膜前面の標準的相対高さデータを取得する角膜前面標準的相対高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜前面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、前記角膜前面データと取得された最適フィッティング球面との間の高さ差を前記角膜前面の標準的相対高さデータとする角膜前面標準的相対高さ取得部と、
前記角膜前面の特徴的高さデータを取得する角膜前面特徴的高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜前面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得し、現在の前記BFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得して、前記角膜前面データと前記取得された異なるBFS最適フィッティング球面との間の高さ差を前記角膜前面の特徴的相対高さデータとする角膜前面特徴的高さ取得部と、
前記角膜前面の増幅高さデータを取得する角膜前面増幅高さ取得部であって、前記標準的相対高さデータと前記11組の特徴的相対高さデータを差分して、11組の角膜前面増幅データを取得する角膜前面増幅高さ取得部と、
前記角膜後面の標準的相対高さデータを取得する角膜後面標準的相対高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜後面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、前記角膜後面データと取得された最適フィッティング球面との間の高さ差を前記角膜後面の標準的相対高さデータとする角膜後面標準的相対高さ取得部と、
前記角膜後面の特徴的高さデータを取得する角膜後面特徴的高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜後面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得し、現在の前記BFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得し、前記角膜後面データと取得された異なる前記BFS最適フィッティング球面との間の高さ差を前記角膜後面の特徴的相対高さデータとする角膜後面特徴的高さ取得部と、
前記角膜後面の増幅高さデータを取得する角膜後面増幅高さ取得部であって、前記角膜後面の標準的相対高さデータと前記11組の特徴的相対高さデータを差分して、11組の角膜後面増幅データを取得する角膜後面増幅高さ取得部と、
前記角膜前面増幅高さ取得部及び前記角膜後面増幅高さ取得部により取得した高さデータを合計して取得された22組の前記角膜前後面の増幅データマトリックスを特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計する統計部と、
分岐ユニットCで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれp(Cl)とp(Cr)として記録する記録部Cであって、p(Cl)とp(Cr)は、いずれも現在の症例に基づいて計算された各組の増幅データと統計部により取得された前記臨界閾値との間の差分値を重み比率として加算して取得され、分類結果P(C)=p(Cl)(p(Cl)>p(Cr))、p(Cr)(p(Cl)<p(Cr))を出力する記録部Cと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム
【請求項5】
前記分岐ユニットDは、具体的には、
データ方位を統一する統一部であって、右眼の4屈折マップデータマトリックスを縦列方向に沿って鏡像し、前記左右眼の4屈折マップデータマトリックスの鼻側及び側頭側の方位を統一する統一部と、
4屈折マップdiffグラフマトリックスを取得する4屈折マップdiffグラフマトリックス取得部であって、それぞれ前記左右眼の4屈折マップデータマトリックスに対してポイントツーポイント差分を行った後に絶対値を取得し、4屈折マップdiffグラフデータマトリックスを取得する4屈折マップdiffグラフマトリックス取得部と、
diffデータ特徴を計算するdiffデータ特徴計算部であって、直径が6mmのデータ範囲内の前記4屈折マップdiffグラフデータマトリックスにおける全てのデータの平均値、最大値、標準偏差をそれぞれ計算して特徴量とするdiffデータ特徴計算部と、
diffデータ特徴計算部により取得された12組の前記左右眼角膜の4屈折マップdiffグラフの平均値、最大値、標準偏差を特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計するか、又はSVM分類方法を採用し、全てのタイプのdiffデータの特徴に正規化トレーニングとテストを行い、最適な感受性及び特異性を与える賦与部と、
分岐ユニットDで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれP(D)として記録する記録部Dであって、前記P(D)は、現在の症例に基づいて計算された各組のdiffデータ固有値と前記賦与部により取得された前記臨界閾値との間の差分値を重み比率として加算して取得される記録部Dと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼科データ検査技術に関し、特にマルチモーダルデータに基づく両眼円錐角膜検査方法に関する。
【背景技術】
【0002】
人間の目の円錐角膜は、角膜が拡張し、角膜の中央が薄くなって前方に突出し、円錐形を呈するという特徴がある臨床眼科疾患である。このような疾患は、屈折矯正手術の禁忌であり、単眼又は両眼に発生し、かつ一般的に視力の著しい低下をもたらす。円錐角膜は、角膜の後面で最初に発病し、さらに角膜の前面に徐々に発展することが多い。
【0003】
現在の円錐角膜の検査及び治療は、既に角膜病学、屈折矯正手術学、検眼学等が密接に協力する臨床疾患学に発展している。一般的に角膜トポグラフィーに基づいて円錐角膜検査を行う方法は、臨床統計学的方法であり、角膜トポグラフィーの形態的特徴を利用して臨床パラメータ及び病歴に合わせて円錐角膜の検査及び臨床病期の分類を行うことが多い。統計学のモデルで取得された結果は、サマリーパラメータであり、かつ既知の検査結果データセットに基づいてパラメータ境界線が取得され、例えば、広く応用されるKISA指数、IS指数、SRI/SAI指数等である。このような方法は、プラットフォームデータに制限されることが多く、人為的に認められた有限個の単眼特徴に過度に依存し、両眼の間の相互関係を無視し、かつ異なる指数における感受性及び特異性が異なり、早期円錐角膜と不完全型円錐角膜に良好な判断を与えることができない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、両眼円錐角膜の早期検査の問題に対して、マルチモーダルデータに基づく両眼円錐角膜の検査方法を提供する。マルチモーダル屈折トポグラフィーのマトリックスデータに基づいて、畳み込みニューラルネットワーク法、固有値SVM法、両眼対比法及び調整可能なBFSの増幅トポグラフィー法を組み合わせて、両眼の総合円錐角膜の検査結果を与え、特に早期の後円錐角膜及び不完全型円錐角膜のスクリーニング及び検査に対してより高いロバスト性及び正確性を有する。
【課題を解決するための手段】
【0005】
本発明の技術手段は、以下のとおりである。マルチモーダルデータに基づく両眼円錐角膜の検査方法は、具体的には、
両眼マルチモーダルデータを収集するステップであって、データは、両眼角膜の4屈折マップ及び角膜絶対高さデータを含み、角膜の4屈折マップは、角膜前面の軸方向曲率、角膜前面の相対高さトポグラフィー、角膜後面の相対高さトポグラフィー及び角膜厚さトポグラフィーを含み、角膜絶対高さデータは、角膜前後面の絶対高さデータを含むステップ1)と、
分類された症例に基づいて、両眼マルチモーダルデータを分類された種類と関連付け、要求に応じてデータ分類を行うステップ2)と、
ステップ2)の4屈折マップにおける各トポグラフィーデータ及び角膜前後面の高さデータを同じサイズのデータマトリックスに統一するステップ3)と、
以上のデータに基づいて4つの分岐方法でそれぞれ両眼早期円錐角膜を判断するステップであって、4つの分岐方法は、それぞれ分岐方法A、分岐方法B、分岐方法C及び分岐方法Dであり、
分岐方法Aは、全ての4屈折マップデータマトリックスをデータ処理した後に深度畳み込みネットワークの分類ネットワークに送信して円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(A)を出力し、
分岐方法Bは、全ての4屈折マップデータマトリックスにおける各マップデータマトリックスに対して固有値計算を行い、固有値データをSVMサポートベクターマシン二分類方法に送信し、円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(B)を出力し、
分岐方法Cは、角膜前後面の絶対高さデータを最適フィッティング球面データと比較し、円錐角膜症例と正常症例の臨界閾値を取得することにより、ある症例を判定し、当該ある症例に対して分類結果P(C)を出力し、
分岐方法Dは、左右眼の4屈折マップデータマトリックスの平均値、最大値、標準偏差を特徴量とし、臨界閾値を利用するか、又はSVM分類方法を用いて、最適な感受性及び特異性、及びある症例の両眼に円錐角膜が発生する確率P(D)を取得するステップ4)と、
分岐方法A、B、C、Dにおける最後の結果を重み付け加算することにより、ある症例の両眼に円錐角膜が発生する最終的な確率を取得するステップ5)と、を含む。
【0006】
好ましくは、前記分岐方法Aは、具体的には、
データをスケーリングするステップであって、ステップ3)で処理された全ての4屈折マップデータマトリックスを線形補間の方法で224×224のサイズにスケーリングするステップA-1と、
データを正規化するステップであって、ステップA-1のデータを7:3の比率に応じてトレーニングセットと検証セットに分け、次にトレーニングセットでそれぞれ4屈折マップデータマトリックスの平均値と標準偏差を計算し、それに応じて4つの平均値と4つの標準偏差を取得して、全ての症例の4屈折マップデータマトリックスを平均値と標準偏差で正規化するステップA-2と、
深度畳み込みネットワークの分類ネットワーク設計に基づいて、Resnet50分類ネットワークを用いて4屈折マップデータマトリックスに二分類を行うことにより、単眼の正常角膜及び円錐角膜を識別するステップA-3と、
分類モデルをトレーニングするステップであって、4屈折マップデータマトリックスをチャネルに応じて接続して、4チャネルの入力を取得し、データ増幅は、回転、平行移動、ランダムファジー前処理を採用し、損失関数は、二分類の交差エントロピー関数を採用し、MobileNetV3のIMAGENETデータセットでのトレーニング重み値を初期重み値とし、次に微調整トレーニングを行い、最終的にトレーニングセットと検証セットのloss値の差が最小のトレーニング重み値をトレーニング結果として選択するステップA-4と、
モデル指標を評価するステップであって、検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐方法Aで円錐角膜の感受性及び特異性を識別し、取得するステップA-5と、
結果を出力するステップであって、ステップA-5でのトレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐方法Aで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Al)及びp(Ar)として記録し、分類結果P(A)=p(Al)(p(Al)>p(Ar))、p(Ar)(p(Al)<p(Ar))を出力するステップA-6と、を実現する。
【0007】
好ましくは、前記分岐方法Bは、具体的には、
角膜前面の軸方向曲率の固有値を計算するステップであって、角膜前面の軸方向曲率データマトリックスにおいて曲率の最大最小値点及び位置座標を計算し、直径6mm位置における上下屈折力差IS値を計算し、直径が4.5mmの範囲内の表面不規則性SRI値、表面非対称性SAI値を計算するステップB-1と、
角膜前面の相対高さの固有値を計算するステップであって、角膜前面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算するステップB-2と、
角膜後面の相対高さの固有値を計算するステップであって、角膜後面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算するステップB-3と、
角膜厚さの固有値を計算するステップであって、角膜厚さデータマトリックスにおいて厚さの最小値及び位置座標を計算し、角膜頂点での厚さを計算するステップB-4と、
距離の固有値を計算するステップであって、ステップB-2における角膜前面の高さの最大値位置とステップB-3における角膜後面の高さの最大値位置との間の距離を計算し、ステップB-2における角膜前面の高さの最大値位置とステップB-4における角膜厚さの最小値位置との間の距離を計算し、ステップB-3における角膜後面の高さの最大値位置とステップB-4における角膜厚さの最小値位置との間の距離を計算するステップB-5と、
角膜体積の固有値を計算するステップであって、角膜厚さデータマトリックスを半径が4.5mmの範囲内で体積積分して角膜体積を取得するステップB-6と、
ステップB-1からステップB-6までの全ての固有値に正規化処理を行い、かつ全ての正規化された症例データの固有値を7:3の比率に応じてトレーニングセットと検証セットに分けるステップB-7と、
SVMサポートベクターマシン二分類方法を用いてステップB-7で正規化されたトレーニングセットの特徴データに特徴トレーニングを行い、特徴トレーニング中にRBF kernelを選択し、cross-validation及びgrid-searchを用いて最適なc及びgを取得してデータをトレーニングするステップB-8と、
モデル指標を評価するステップであって、検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐方法で円錐角膜の感受性及び特異性を識別するステップB-9と、
結果を出力するステップであって、ステップB-9でのトレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐方法Bで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Bl)及びp(Br)として記録し、分類結果P(B)=p(Bl)(p(Bl)>p(Br))、p(Br)(p(Bl)<p(Br))を出力するステップB-10と、を実現する。
【0008】
好ましくは、前記分岐方法Cは、具体的には、
角膜前面の標準的相対高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜前面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、角膜前面データと取得された最適フィッティング球面との間の高さ差を角膜前面の標準的相対高さデータとするステップC-1と、
角膜前面の特徴的高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜前面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得して、現在のBFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得して、角膜前面データと取得された異なるBFS最適フィッティング球面との間の高さ差を角膜前面の特徴的相対高さデータとするステップC-2と、
角膜前面の増幅高さデータを取得するステップであって、ステップC-2で取得された標準的相対高さデータとステップC-3で取得された11組の特徴的相対高さデータを差分して、11組の角膜前面増幅データを取得するステップC-3と、
角膜後面の標準的相対高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜後面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、角膜後面データと取得された最適フィッティング球面との間の高さ差を角膜後面の標準的相対高さデータとするステップC-4と、
角膜後面の特徴的高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜後面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得し、現在のBFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得し、角膜後面データと取得された異なるBFS最適フィッティング球面との間の高さ差を角膜後面の特徴的相対高さデータとするステップC-5と、
角膜後面の増幅高さデータを取得するステップであって、ステップC-4で取得された角膜後面の標準的相対高さデータとステップC-5で取得された11組の特徴的相対高さデータを差分して、11組の角膜後面増幅データを取得するステップC-6と、
ステップC-3及びC-6で合計して取得された22組の角膜前後面の増幅データマトリックスを特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計するステップC-7と、
本分岐方法Cで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Cl)とp(Cr)として記録するステップであって、p(Cl)とp(Cr)は、いずれも現在の症例に基づいて計算された各組の増幅データとステップC-7で取得された臨界閾値との間の差分値を重み比率として加算して取得され、分類結果P(C)=p(Cl)(p(Cl)>p(Cr))、p(Cr)(p(Cl)<p(Cr))を出力するステップC-8と、を実現する。
【0009】
好ましくは、前記分岐方法Dは、具体的には、
データ方位を統一するステップであって、右眼の4屈折マップデータマトリックスを縦列方向に沿って鏡像し、左右眼の4屈折マップデータマトリクスの鼻側及び側頭側の方位を統一するステップD-1と、
4屈折マップdiffグラフマトリックスを取得するステップであって、それぞれ左右眼の4屈折マップデータマトリックスに対してポイントツーポイント差分を行った後に絶対値を取得し、4屈折マップdiffグラフデータマトリックスを取得するステップD-2と、
diffデータ特徴を計算するステップであって、直径が6mmのデータ範囲内の4屈折マップdiffグラフデータマトリックスにおける全てのデータの平均値、最大値、標準偏差をそれぞれ計算して特徴量とするステップD-3と、
ステップD-3で取得された12組の左右眼角膜の4屈折マップdiffグラフの平均値、最大値、標準偏差を特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計するか、又はSVM分類方法を採用し、全てのタイプのdiffデータの特徴に正規化トレーニングとテストを行い、最適な感受性及び特異性を与えるステップD-4と、
本分岐方法で取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれP(D)として記録するステップであって、P(D)は、現在の症例に基づいて計算された各組のdiffデータ固有値とステップD-4で取得された臨界閾値との間の差分値を重み比率として加算して取得されるステップD-5と、を実現する。
【発明の効果】
【0010】
本発明の有益な効果は、以下のとおりである。本発明に係るマルチモーダルデータに基づく両眼円錐角膜の検査方法によれば、両眼の間の相互関係を考慮し、深度畳み込みネットワーク方法、従来の機械学習svm方法及び調整可能なBSFの高さマップ増幅方法に基づいた病巣の感受性及び特異性の識別を組み合わせて、その感受性及び特異性のバランスを取り、多次元で患者を単位とする円錐角膜の発病率を総合的に判断する。両眼データに合わせて人工選択特徴を含むだけでなく、深度ネットワーク自体がビッグデータから学習する特徴も含むから、検査方法は、より強いロバスト性及び正確性を有する。
【図面の簡単な説明】
【0011】
図1】本発明に係るマルチモーダルデータに基づく両眼円錐角膜の検査方法のフローチャートである。
図2】角膜の4屈折マップである。
図3】角膜前後面の絶対高さマップである。
図4】本発明に係る方法における分類ネットワークの構造図である。
図5】左右眼角膜の4屈折マップDiffグラフである。
【発明を実施するための形態】
【0012】
以下、図面及び具体的な実施例を参照しながら本発明を詳細に説明する。本実施例は、本発明の技術的解決手段を前提として実施され、詳細な実施形態及び具体的な操作過程を提供するが、本発明の保護範囲は、下記実施例に限定されない。
【0013】
図1に示すマルチモーダルデータに基づく両眼円錐角膜の検査方法のフローチャートは、具体的には、以下のステップ1~5を含む。
【0014】
ステップ1では、両眼マルチモーダルデータを収集する。データは、両眼角膜の4屈折マップ及び角膜絶対高さデータを含み、前眼部三次元解析装置、又は前眼部OCT測定装置により4屈折マップを取得する。図2に示すように、角膜の4屈折マップは、角膜前面の軸方向曲率、角膜前面の相対高さトポグラフィー、角膜後面の相対高さトポグラフィー及び角膜厚さトポグラフィーを含み、図3に示すとおり、角膜絶対高さデータは、角膜前後面の絶対高さデータを含む。
【0015】
ステップ2では、分類された症例に基づいて、両眼マルチモーダルデータを分類された種類と関連付ける。分類数は、具体的な需要に依存し、例えば、円錐角膜及び正常角膜に二分類する。
【0016】
ステップ3では、角膜の4屈折マップ及び色対応コードに基づいて、0.02mmをデータステップサイズとしてトポグラフィー(4屈折マップにおける4枚のマップは、いずれもトポグラフィーと呼ばれる)の直径9mm範囲内の二次元フルサンプリングデータマトリクスを取得する。各トポグラフィーデータ及び角膜前後面の高さデータマトリックスのサイズは451×451である。
【0017】
ステップ4では、以上のデータに基づいて4つの分岐方法でそれぞれ両眼早期円錐角膜を判断する。4つの分岐方法は、それぞれ分岐方法A、分岐方法B、分岐方法C及び分岐方法Dである。
【0018】
分岐方法A:当該分岐方法は、単一の症例を基準とする。全ての4屈折マップマトリックスにおける各データは、いずれも計算に関与し、円錐角膜判定に影響を与える可能性のある全ての要因を最大限に保持する。機械の自己学習により大量データから病変を判定するという目的を達成する。これにより、人為的、かつ主観的な特徴選択に依存せず、病巣識別の特異性を強化することができる。
【0019】
ステップA-1では、データをスケーリングする。ステップ3で処理された全ての4屈折マップデータマトリックスを線形補間の方法で224×224のサイズにスケーリングする。
【0020】
ステップA-2では、データを正規化する。ステップA-1のデータを7:3の比率に応じてトレーニングセットと検証セットに分ける。次にトレーニングセットでそれぞれ4屈折マップデータマトリックスの平均値と標準偏差を計算し、それに応じて4つの平均値と4つの標準偏差を取得する。全ての症例の4屈折マップデータマトリックスを平均値と標準偏差で正規化する。
【0021】
ステップA-3では、深度畳み込みネットワークの分類ネットワーク設計に基づいて、Resnet50分類ネットワークを用いて4屈折マップデータマトリックスに二分類を行うことにより、単眼の正常角膜及び円錐角膜を識別する。構築されたResnet50分類ネットワークモデルは、バックボーンネットワークが不変で、一番目の畳み込み層のチャネル入力を4に修正し、最後に全接続層を出力する出力数を2に修正し、ネットワーク構造を図4に示す。
【0022】
ステップA-4では、分類モデルをトレーニングする。4屈折マップデータマトリックスをチャネルに応じて接続して、4チャネルの入力を取得する。データ増幅は、回転、平行移動、ランダムファジー前処理等を採用する。損失関数は、二分類の交差エントロピー関数を採用する。MobileNetV3のIMAGENETデータセットでのトレーニング重み値を初期重み値とし、次に微調整トレーニングを行う。60回の反復トレーニングを行い、初期学習率が0.01であり、20回目で、40回目でそれぞれ学習率を10倍低下させる。最終的にトレーニングセットと検証セットのloss値の差が最小のトレーニング重み値をトレーニング結果として選択する。
【0023】
ステップA-5では、モデル指標を評価し、検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐方法Aで円錐角膜の感受性及び特異性を識別する。
【0024】
ステップA-6では、結果を出力する。ステップA-5でのトレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐方法Aで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Al)及びp(Ar)として記録する。分類結果P(A)=p(Al)、(p(Al)>p(Ar));p(Ar)、(p(Al)<p(Ar))を出力する。
【0025】
分岐方法B:当該分岐方法は、単一の症例を基準とし、人工定義により病変の特徴を直接反映することができ、その後にモニタリング学習方法SVMを用いて、病変したか否かの分類を実現する。小サンプルデータを用いても効率性と感受性が保証される。
【0026】
ステップB-1では、角膜前面の軸方向曲率の固有値を計算する。角膜前面の軸方向曲率データマトリックスにおいて曲率の最大最小値点及び位置座標を計算し、直径6mm位置における上下屈折力差IS値を計算し、直径が4.5mmの範囲内の表面不規則性SRI値、表面非対称性SAI値を計算する。
【0027】
ステップB-2では、角膜前面の相対高さの固有値を計算し、角膜前面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算する。
【0028】
ステップB-3では、角膜後面の相対高さの固有値を計算し、角膜後面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算する。
【0029】
ステップB-4では、角膜厚さの固有値を計算し、角膜厚さデータマトリックスにおいて厚さの最小値及び位置座標を計算し、角膜頂点での厚さを計算する。
【0030】
ステップB-5では、距離の固有値を計算し、ステップB-2における角膜前面の高さの最大値位置とステップB-3における角膜後面の高さの最大値位置との間の距離を計算し、ステップB-2における角膜前面の高さの最大値位置とステップB-4における角膜厚さの最小値位置との間の距離を計算し、ステップB-3における角膜後面の高さの最大値位置とステップB-4における角膜厚さの最小値位置との間の距離を計算する。
【0031】
ステップB-6では、角膜体積の固有値を計算し、角膜厚さデータマトリックスを半径が4.5mmの範囲内で体積積分して角膜体積を取得する。
【0032】
ステップB-7では、ステップB-1からステップB-6までの全ての固有値に正規化処理を行い、かつ全ての正規化された症例データの固有値を7:3の比率に応じてトレーニングセットと検証セットに分ける。
【0033】
ステップB-8では、SVMサポートベクターモデルをトレーニングし、SVMサポートベクターマシン二分類方法を用いてステップB-7で正規化されたトレーニングセットの特徴データに特徴トレーニングを行い、特徴トレーニング中にRBF kernel(動径基底関数カーネル)を選択し、cross-validation(交差検証)及びgrid-search(グリッド検索)を用いて最適なc及びgを取得してデータをトレーニングする。
【0034】
ステップB-9では、モデル指標を評価し、検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐方法で円錐角膜の感受性及び特異性を識別する。
【0035】
ステップB-10では、結果を出力し、ステップB-9でのトレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐方法Bで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Bl)及びp(Br)として記録する。分類結果P(B)=p(Bl)(p(Bl)>p(Br))、p(Br)(p(Bl)<p(Br))を出力する。
【0036】
分岐方法C:当該分岐方法は、単一の症例を基準とし、従来のBelin方法をアップグレードし、高さ増幅データにより角膜前後面の病変特徴を十分に反映するだけでなく、異なるBSF値を変更することにより特徴の次元を向上させ、統計方法使用時の特異性を向上させ、偽陽性の誤報率を減少させる。
【0037】
ステップC-1では、角膜前面の標準的相対高さデータを取得し、角膜前後面の絶対高さデータに対して、角膜前面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS(最適フィッティング球面)値を取得して、角膜前面データと取得された最適フィッティング球面との間の高さ差を角膜前面の標準的相対高さデータとする。
【0038】
ステップC-2では、角膜前面の特徴的高さデータを取得し、角膜前後面の絶対高さデータに対して、角膜前面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得する。現在のBFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得する。角膜前面データと取得された異なるBFS最適フィッティング球面との間の高さ差を角膜前面の特徴的相対高さデータとする。
【0039】
ステップC-3では、角膜前面の増幅高さデータを取得し、ステップC-2で取得された標準的相対高さデータとステップC-3で取得された11組の特徴的相対高さデータを差分して、11組の角膜前面増幅データを取得する。
【0040】
ステップC-4では、角膜後面の標準的相対高さデータを取得し、角膜前後面の絶対高さデータに対して、角膜後面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、角膜後面データと取得された最適フィッティング球面との間の高さ差を角膜後面の標準的相対高さデータとする。
【0041】
ステップC-5では、角膜後面の特徴的高さデータを取得し、角膜前後面の絶対高さデータに対して、角膜後面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得する。現在のBFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得する。角膜後面データと取得された異なるBFS最適フィッティング球面との間の高さ差を角膜後面の特徴的相対高さデータとする。
【0042】
ステップC-6では、角膜後面の増幅高さデータを取得するステップであって、ステップC-4で取得された角膜後面の標準的相対高さデータとステップC-5で取得された11組の特徴的相対高さデータを差分して、11組の角膜後面増幅データを取得する。
【0043】
ステップC-7では、ステップC-3及びC-6で合計して取得された22組の角膜前後面の増幅データマトリックスを特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計する。
【0044】
ステップC-8では、本分岐方法Cで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Cl)とp(Cr)として記録する。p(Cl)とp(Cr)は、いずれも現在の症例に基づいて計算された各組の増幅データとステップC-7で取得された臨界閾値との間の差分値を重み比率として加算して取得される。分類結果P(C)=p(Cl)(p(Cl)>p(Cr))、p(Cr)(p(Cl)<p(Cr))を出力する。
【0045】
分岐方法D:当該分岐方法は、両眼症例を基準とし、左右眼の4屈折マップデータを組み合わせる方法を採用し、両眼のトポグラフィーの差異データを抽出することにより病巣自体の特徴を反応させることにより、円錐角膜患者を個体とする識別精度を向上させる。
【0046】
ステップD-1では、データ方位を統一し、右眼の4屈折マップデータマトリックスを縦列方向に沿って鏡像する。これにより、左右眼の4屈折マップデータマトリックスの鼻側及び側頭側の方位を統一する。
【0047】
ステップD-2では、図5に示すように、4屈折マップdiffグラフマトリックスを取得し、それぞれ左右眼の4屈折マップデータマトリックスに対してポイントツーポイント差分を行った後に絶対値を取得し、4屈折マップdiffグラフデータマトリックスを取得する。
【0048】
ステップD-3では、diffデータ特徴を計算し、直径が6mmのデータ範囲内の4屈折マップdiffグラフデータマトリックスにおける全てのデータの平均値、最大値、標準偏差をそれぞれ計算して特徴量とする。
【0049】
ステップD-4では、ステップD-3で取得された12組の左右眼角膜の4屈折マップdiffグラフの平均値、最大値、標準偏差を特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計する、又はSVM分類方法を採用し、全てのタイプのdiffデータの特徴に正規化トレーニングとテストを行い、最適な感受性及び特異性を与える。
【0050】
ステップD-5では、本分岐方法で取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれP(D)として記録し、P(D)は、現在の症例に基づいて計算された各組のdiffデータ固有値とステップD-4で取得された臨界閾値との間の差分値を重み比率として加算して取得される。
【0051】
ステップ5では、分岐方法A、B、C、Dにおける最後の結果を重み付け加算することにより、ある症例の両眼に円錐角膜が発生する最終的な確率P=w×P(A)+w×P(B)+w×P(C)+w×P(D)/(w+w+w+w)を取得する。ここで、w、w、w、wは、それぞれ分岐方法A、B、C、Dの重み値である。当該重み値の取得は、目標需要に応じて、各分岐方法の利点を十分に利用するよう確保することにより、感受性及び特異性の最適なバランスを達成し、ロバスト性を確保すると同時に偽陰性率及び偽陽性率を最小化する。
【0052】
上述した実施例は、本発明のいくつかの実施形態を示し、その説明が具体的で詳細であるが、本発明の特許範囲を限定するものと理解すべきではない。なお、当業者にとっては、本発明の構想から逸脱しない前提で、さらにいくつかの変形及び改善を行うことができ、これらは、いずれも本発明の保護範囲に属する。したがって、本発明の特許の保護範囲は、添付された特許請求の範囲を基準とすべきである。
図1
図2
図3
図4
図5