(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022082077
(43)【公開日】2022-06-01
(54)【発明の名称】眼科画像処理装置、および、眼科画像処理プログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20220525BHJP
A61B 3/12 20060101ALI20220525BHJP
G06T 1/00 20060101ALI20220525BHJP
G06T 7/00 20170101ALI20220525BHJP
【FI】
A61B3/10 100
A61B3/12
G06T1/00 290Z
G06T7/00 612
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2020193429
(22)【出願日】2020-11-20
(71)【出願人】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(72)【発明者】
【氏名】柴 涼介
(72)【発明者】
【氏名】熊谷 佳紀
【テーマコード(参考)】
4C316
5B057
5L096
【Fターム(参考)】
4C316AA09
4C316AB02
4C316AB11
4C316AB12
4C316AB16
4C316AB19
4C316FB13
4C316FB16
4C316FB26
4C316FB27
4C316FZ01
5B057AA07
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057DA01
5B057DA16
5B057DB02
5B057DB09
5B057DC40
5L096AA06
5L096BA06
5L096BA13
5L096DA04
5L096FA79
5L096GA30
5L096KA04
(57)【要約】
【課題】眼科画像に写っている組織の構造の異常をより適切にユーザに判断させること。
【解決手段】 眼科画像処理装置21の制御CPU23は、被検眼における複数の断層面の断層画像を含む眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、断層画像における複数の組織に含まれる、2つ以上の組織を識別するための確率分布を取得し、組織における構造の異常度の2次元分布を表す構造異常度マップ51A~51Fを、確率分布に基づいて2つ以上の組織毎に生成し、2つ以上の組織毎に生成された2つ以上の構造異常度マップ51A~51Fを表示装置28上に同時に並べて表示させる。
【選択図】
図11
【特許請求の範囲】
【請求項1】
被検眼の眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
被検眼における複数の断層面の断層画像を含む眼科画像を取得し、
機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、2つ以上の組織を識別するための確率分布を取得し、
前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて2つ以上の組織毎に生成し、
2つ以上の組織毎に生成された2つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる眼科画像処理装置。
【請求項2】
請求項1記載の眼科画像処理装置であって、
前記構造異常度マップにおける各画素の階調値と構造の異常度との対応関係が組織毎に変更可能、あるいは、前記対応関係が組織に応じて異なる眼科画像処理装置。
【請求項3】
請求項2記載の眼科画像処理装置であって、
前記制御部は、疾病の種別を選択し、選択された疾病の種別に応じて組織毎の前記対応関係を設定する眼科画像処理装置。
【請求項4】
請求項2記載の眼科画像処理装置であって、
前記制御部は、前記眼科画像におけるノイズレベルに応じて組織毎の前記対応関係を設定する眼科画像処理装置。
【請求項5】
請求項1~4のいずれかに記載の眼科画像処理装置であって、
前記制御部は、
前記構造異常度マップと対応する被検眼の正面画像を更に取得し、
前記2つ以上の前記構造異常度マップと共に前記正面画像を表示装置に表示させる眼科画像処理装置。
【請求項6】
請求項5記載の眼科画像処理装置であって、
前記制御部は、前記正面画像として血管の分布を示した画像を取得し、
前記複数の構造異常度マップと共に、前記構造異常度マップのうち少なくとも1つと同一の組織についての前記正面画像を、同時に表示する眼科画像処理装置。
【請求項7】
請求項1から6の何れかの眼科画像処理装置であって、
前記制御部は、被検眼について取得された前記確率分布と層または層境界が正確に識別される場合の前記確率分布との乖離度に基づいて、構造の異常度の二次元分布を表す構造異常度マップを生成する眼科画像処理装置。
【請求項8】
請求項7記載の眼科画像処理装置であって、
前記制御部は、前記乖離度と、正常眼における乖離度と、の差分を構造の異常度とする前記構造異常度マップを生成する眼科画像処理装置。
【請求項9】
請求項1~8に記載の眼科画像処理装置であって、
前記数学モデルは、入力側を過去に撮影された被検眼における複数の断層面の断層画像を含む眼科画像とし、且つ、出力側を前記入力側の前記断層画像における層または層境界を示すデータとする訓練データセットを用いて訓練されていることを特徴とする眼科画像処理装置。
【請求項10】
被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
眼科画像撮影装置によって撮影された眼科画像として、被検眼における複数の断層面の断層画像を含む眼科画像を取得する画像取得ステップと、
機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、2つ以上の組織を識別するための確率分布を取得する取得ステップと、
前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて2つ以上の組織毎に生成する構造異常度マップ生成ステップと、
2つ以上の組織毎に生成された2つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる表示ステップと、
を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被検眼の眼科画像を処理する眼科画像処理装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。
【背景技術】
【0002】
従来、画像に写っている物体の構造等の異常を推定するための種々の技術が提案されている。
【0003】
例えば、本願発明者による特許文献1においては、眼科画像を入力することで眼科画像中の組織を識別するための確率分布が取得される学習済みモデルを用いる手法が提案されている。特許文献1によれば、定量的な構造の異常度が、学習済みモデルから出力される確率分布に基づいて得られる。
【0004】
また、特許文献1には、組織における構造の異常度の二次元分布を示す構造異常度マップを生成することについても記載されている。特許文献1では、複数の層および境界を含む組織について、組織全体についての、あるいは、特定のいずれかの層または境界についての構造異常度マップを生成することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、組織全体についての、あるいは、特定のいずれかの組織についての、1枚の構造異常度マップからは、異常の有無は把握できるものの、構造的な異常の全容を把握することは困難であった。
【0007】
本開示の典型的な目的は、眼科画像に写っている組織の構造の異常をより適切にユーザに判断させることが可能な眼科画像処理装置、および眼科画像処理プログラムを提供することである。
【課題を解決するための手段】
【0008】
本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、被検眼における複数の断層面の断層画像を含む眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、2つ以上の組織を識別するための確率分布を取得し、前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて2つ以上の組織毎に生成し、2つ以上の組織毎に生成された2つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる。
【0009】
本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像として、被検眼における複数の断層面の断層画像を含む眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記断層画像における複数の組織に含まれる、2つ以上の組織を識別するための確率分布を取得する取得ステップと、前記組織における構造の異常度の二次元分布を表す構造異常度マップを、前記確率分布に基づいて2つ以上の組織毎に生成する構造異常度マップ生成ステップと、2つ以上の組織毎に生成された2つ以上の前記構造異常度マップを表示装置上に同時に並べて表示させる表示ステップと、を前記眼科画像処理装置に実行させる。
【発明の効果】
【0010】
本開示によれば、眼科画像に写っている組織の構造の異常をより適切にユーザに判断させることができる。
【図面の簡単な説明】
【0011】
【
図1】数学モデル構築装置1、眼科画像処理装置21、および眼科画像撮影装置11A,11Bの概略構成を示すブロック図である。
【
図2】数学モデル構築装置1が実行する数学モデル構築処理のフローチャートである。
【
図5】眼科画像処理装置21が実行する眼科画像処理のフローチャートである。
【
図6】数学モデルに入力される二次元断層画像40と、二次元断層画像40中の一次元領域A1~ANの関係を模式的に示す図である。
【
図7】境界Bi近傍の構造の異常度が低い場合の、境界Biを識別するための確率分布を示すグラフの一例である。
【
図8】境界Bi近傍の構造の異常度が高い場合の、境界Biを識別するための確率分布を示すグラフの一例である。
【
図9】二次元断層画像51A、構造異常度グラフ52A、および乖離度表53Aが表示された表示画面の一例である。
【
図10】二次元断層画像51B、構造異常度グラフ52B、および乖離度表53Bが表示された表示画面の一例である。
【
図11】境界毎に生成された複数の構造異常度マップの表示態様の一例を示した図である。
【発明を実施するための形態】
【0012】
<概要>
以下に、本開示の例示的な実施形態を説明する。本実施形態では、主に、眼科画像から構造異常度マップを生成し、表示する手法について説明する。
【0013】
本実施形態では、眼科画像処理装置によって、眼科画像が処理される。眼科画像処理装置の制御部は、被検眼における複数の断層面の断層画像を含む眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、断層画像における複数の組織に含まれる、2つ以上の組織を識別するための確率分布を取得する。制御部は、組織における構造の異常度の二次元分布を表す構造異常度マップを、確率分布に基づいて2つ以上の組織毎に生成する。制御部は、2つ以上の組織毎に生成された2つ以上の構造異常度マップを表示装置上に同時に並べて表示させる。
【0014】
それぞれの構造異常度マップ上では、それぞれの組織において構造的な異常が生じた部位が視覚化される。ユーザは、二次元の領域内の各々の位置における構造の異常度を、構造異常度マップによって的確に把握することができる。更に、表示装置上に同時に並べて表示される2つ以上の組織毎に生成された2つ以上の構造異常度マップからは、構造的な異常の奥行き方向への分布および拡がりを、見て取ることができる。従って、2つ以上の組織毎に生成された2つ以上の構造異常度マップの同時表示は、ユーザが構造的な異常の全容を速やかに把握するうえで有用である。
【0015】
なお、数学モデルによって識別される複数の組織は、被検眼の奥行き方向(z方向)に関して互いに異なる位置に存在していてもよい。一例として、眼底における複数の層および層の境界のうち、2つ以上の層または境界が、数学モデルによって識別されてもよい。
【0016】
本実施形態では、被検眼における複数の断層面の断層画像を含む眼科画像が、制御部によって取得され、更には処理される。複数の断層面は被検眼における位置が互いに異なる。以下の説明では、特に断りが無い限り、断層面はXZ方向に広がる面とする。但し、必ずしもこれに限られるものでは無い。各々の断層画像は、例えば、OCT装置によって撮影されたOCT画像であってもよい。このとき、OCT画像は、二次元OCT画像であってもよいし、三次元OCT画像であってもよい。また、断層画像は、モーションコントラスト画像(以下、MC画像と称する。)であってもよい。MC画像は、同一位置から異なる時間に取得された複数のOCTデータを処理することで得られるモーションコントラストデータから作成される。断層画像は、必ずしもOCT画像に限定される必要は無く、例えば、OCT装置以外の装置(例えばシャインプルーフカメラ等)によって撮影されてもよい。
【0017】
数学モデルは、入力側を過去に撮影された被検眼の組織の断層画像のデータとし、且つ、出力側を入力側の断層画像における組織を示すデータとする訓練データセットを用いて訓練されていてもよい。この場合、訓練された数学モデルは、断層画像を入力することで、組織を識別するための確率分布を適切に出力することができる。
【0018】
なお、確率分布を出力する数学モデルの具体的な態様は適宜選択できる。例えば、数学モデルは、入力された断層画像の領域内において、組織の特定の境界および特定部位の少なくともいずれかが存在する座標を確率変数とする確率分布を出力してもよい。この場合、数学モデルによって出力される確率分布に基づいて、断層画像中の境界および特定部位の少なくともいずれかが適切且つ直接的に識別される。なお、この場合、確率分布を取得する対象となる「特定の境界」は、1つの境界であってもよいし、複数の境界であってもよい。複数の境界の確率分布を取得する場合、制御部は、複数の境界の各々について別々に確率分布を取得してもよい。同様に、確率分布を取得する対象となる「特定部位」の数も、1つであってもよいし複数であってもよい。また、確率分布を取得する単位となる眼科画像中の領域は、一次元領域、二次元領域、および三次元領域のいずれであってもよい。確率変数とする座標の次元は、確率分布を取得する単位となる領域の次元と一致していてもよい。
【0019】
取得される確率分布に基づいて、組織における構造の異常度を示す構造情報が得られる。構造情報の二次元マップとして、組織における構造の異常度の二次元分布を表す構造異常度マップが生成されてもよい。
【0020】
ここで、構造情報は、例えば、組織が正確に識別される場合の確率分布に対する、取得された確率分布の乖離度であってもよい。乖離度には、取得された確率分布のエントロピー(平均情報量)が含まれていてもよい。エントロピーは、不確実性、乱雑さ、無秩序の度合いを表す。本開示では、組織が正確に識別される場合に出力される確率分布のエントロピーは0となる。また、組織における構造の異常度が増加し、組織の識別が困難になる程、エントロピーは増大する。従って、乖離度として確率分布のエントロピーを用いることで、組織における構造の異常度がより適切に定量化される。ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布の散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布同士の差異を図る尺度であるKLダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布の最大値が乖離度として使用されてもよい。
【0021】
このような乖離度は、数学モデルによって出力された確率分布に基づいて制御部によって算出されてもよい。また、確率分布から乖離度への変換が数学モデルの中で行われ、これにより、数学モデルからの出力として乖離度が取得されてもよい。更に、構造異常度マップの生成についても、数学モデルの中で行われてもよく、数学モデルからの出力として構造異常度マップが取得されてもよい。
【0022】
<構造異常度マップの変形例:差分マップ>
なお、眼底において、中心窩および視神経乳頭等では、眼底における他の領域と構造が大きく異なっていることが知られている。このため構造の乖離度は、正常眼であっても、中心窩および視神経乳頭ではその他の組織と比べて高くなりやすい。従って、乖離度の二次元分布を構造異常度マップとして表現した場合、正常眼であっても、眼底における構造異常度マップ上では、中心窩および視神経乳頭の領域は、他の領域と比べて異常度の高い領域として描写され得る。この場合は、中心窩および視神経乳頭の少なくともいずれかと対応する構造上の異常度の高い領域は、構造異常度マップ上の位置関係をユーザに把握させるための目印として利用できる。一方で、中心窩および視神経乳頭のいずれかにおいて実際に異常が生じていても、乖離度の二次元分布によって表現された構造異常度マップからユーザが把握することは難しい。これに対し、構造異常度マップは、被検眼における乖離度の二次元分布と、正常眼における乖離度の二次元分布との差分マップであってもよい。正常眼における乖離度の二次元分布は、複数の正常眼の断層画像を集めて作成されてもよい。この場合、乖離度の二次元分布として表現された構造異常度マップと比べて、差分マップでは、中心窩および視神経乳頭等の、本来的に乖離度が高くなりやすい組織およびその周辺における構造上の異常度が、より適切にマップ上に反映されやすいと考えられる。なお、眼底において、中心窩および視神経乳頭の他に、本来的に乖離度が高くなりやすい組織としては、後述の血管が挙げられ、差分マップでは、実際に構造的な異常が生じているか否かに関わらず、血管の位置が周囲に対して異常度が高い場所として表現されることも軽減され得る。
【0023】
<組織毎に、構造の異常度と階調値との対応関係を設定>
構造異常度マップに含まれる各画素は、構造の異常度に応じた階調値で表現されてもよい。例えば、断層画像の中で、血管は、周囲の組織と異なる態様で描写されるため、周囲の組織に対して構造の異常度が高くなりやすい。このため、正常眼であっても、血管が多く分布している組織では、血管の分布が少ない組織と比べて、より多くの位置に、より大きな構造の異常度が出力される領域が分布されやすい。よって、それぞれの組織の構造異常度マップの間では、実際に構造的な異常が生じているか否かに関わらず周囲に対して異常度が高い場所として表現されるノイズの程度に大きな違いが生じる場合があり得る。ノイズの程度に大きな違いがある複数の構造異常度マップを同時に表示する際に、例えば、構造の異常度と階調値との対応関係がそれぞれの組織毎の構造異常度マップの間で同一に揃っている場合、構造異常度マップ間でのノイズの程度の違いが組織の間での異常の程度の違いを表していると、ユーザに誤解されやすくなってしまう可能性がある。
【0024】
これに対し、本実施形態では、2つ以上の組織毎に生成される2つ以上の構造異常度マップの間で、構造異常度マップにおける構造の異常度と各画素の階調値との対応関係が、組織毎に変更可能であってもよい。あるいは、構造異常度マップにおける構造の異常度と各画素の階調値との対応関係が組織に応じて異なっていてもよい。なお、ここでいう、構造の異常度と各画素の階調値との対応関係は、構造の異常度から階調値へ変換するためのガンマ特性であってもよい。ガンマ特性は、例えば、ガンマ値として表すことができる。一例として、構造の異常度と階調値との対応関係は、(数1)を用いて表現できる。inputは構造の異常度であり、outputは階調値である。γはガンマ値である。
【0025】
output = input 1 / γ …(数1)
【0026】
なお、inputは0~1の範囲の値で予め正規化しておく。この場合、(数1)の計算後、所望の段階の階調表現となるように、適宜、整数化が行われる。例えば、(数1)で求めたoutputに255を掛けることで、256階調で画像化されてもよい。
【0027】
ここで、便宜上、2つ以上の構造異常度マップのうち、相対的に、血管がより多く分布した組織における構造異常度マップを、第1構造異常度マップと称する。また、第1構造異常度マップに対して血管が相対的に少ない組織における構造異常度マップを、第2構造異常度マップと称する。
【0028】
例えば、第1構造異常度マップにおけるガンマ値が第2構造異常度マップよりも小さければ、第1構造異常度マップと第2構造異常度マップとが見比べられたときに、構造異常度マップ間でのノイズの程度の違いが目立ちにくくなる。従って、上述の誤解を招きにくくなる。その結果、それぞれの組織における構造上の異常が、組織毎の構造異常度マップに基づいてユーザに適正に把握されやすい。
【0029】
例えば、眼底に含まれる複数の組織の中では、浅層側で血管が集中していることが知られている。このため、例えば、それぞれの組織に対して適切なガンマ特性が、組織毎(ここでは、層毎または層境界毎)に、あらかじめ個別に定められていてもよい。
【0030】
また、任意の組織における微妙な構造上の異常を確認したい場合は、所望の組織における構造異常度マップのガンマ値を、ユーザの操作に基づいて増大させてもよい。これにより、所望の組織における微妙な構造上の異常が、構造異常度マップにおいて強調され、ユーザが確認しやすくなる。
【0031】
また、特徴的な構造上の異常が生じる組織は、疾病の種別に応じて異なり得る。そこで、組織毎の、構造の異常度と各画素の階調値との対応関係は、例えば、疾病の種別に応じて設定可能であってもよい。疾病の種別は、適宜選択可能であってもよい。例えば、ユーザが症例名および病名等の何れかを、装置に対して手動で入力することで、入力に応じて疾病の種別が選択されてもよい。これにより、疾病毎の特徴的な構造上の異常が、構造異常度マップを介してユーザに確認されやすくなる。なお、構造の異常度と階調値との対応関係を、それぞれの構造異常度マップ毎に設定または変更するうえで、必ずしもガンマ補正が利用される必要は無い。例えば、それぞれの構造異常度マップの明るさ、および、コントラストの少なくともいずれかが、それぞれの構造異常度マップ毎に設定または変更されてもよい。また、いずれかの構造異常度マップに対し、ヒストグラム平坦化等の処理が施されてもよい。
【0032】
また、眼科画像(ここでは断層画像)のノイズレベルに応じて、それぞれの構造異常度マップにおける構造の異常度と階調値との対応関係が調整されてもよい。乖離度は、画質が悪い断層画像を処理した場合にも高くなる場合がある。従って、眼科画像のノイズレベルが高ければ、ノイジーな構造異常度マップが出力されやすくなる。なお、眼科画像のノイズレベルは、眼科画像に含まれる断層画像に対する評価値であってもよい。この場合、例えば、眼科画像における組織毎のノイズレベルに応じて、構造異常度マップ毎にガンマ補正が自動的に行われてもよい。また、例えば、組織毎に生成した正面画像(例えば、組織毎のOCT en-face 画像)に対する評価値であってもよい。例えば、評価値としては、眼科画像の信号の強さ、または信号の良好さを示す指標(例えば、SSI(Signal Strength Index)またはQI(Quality Index)等)を利用できる。
【0033】
<被検眼の正面画像と、構造異常度マップとの同時表示>
本実施形態において、眼科画像処理装置の制御部は、構造異常度マップと対応する被検眼の正面画像を更に取得してもよい。換言すれば、構造異常度マップが示す組織を含む被検眼の部位についての正面画像が、取得されてもよい。制御部は、取得した正面画像を、構造異常度マップと共に表示装置に表示させてもよい。これにより、構造異常度マップ上で異常度の高い領域についての被検眼上の位置を、ユーザが把握しやすくなる。なお、このとき、構造異常度マップは、2つ以上の組織に対応する2枚以上が同時に表示されてもよい。2枚以上の構造異常度マップのうち少なくとも1枚と対応する正面画像が、表示装置上に表示されてもよい。また、正面画像は、構造異常度マップと並列して表示されてもよいし重畳して表示されてもよい。両者を重畳する際、正面画像および構造異常度マップの一方が半透明であることで、両者を同時に視認可能であってもよい。
【0034】
正面画像は、種々の画像であり得る。例えば、正面画像は、三次元OCTデータから生成されたOCT正面画像(具体例として、en-face画像、Cスキャン画像等)であってもよい。また、正面画像は、モーションコントラストデータに基づくMC正面画像であってもよい。また、眼底カメラおよびSLO等で撮影された正面画像であってもよい。なお、複数種類の正面画像のうち2つ以上が同時に表示されてもよいし、切り換えて表示されてもよい。
【0035】
また、正面画像は、血管の分布を示した画像であってもよい。血管の分布を示した画像としては、例えば、MC正面画像であってもよい。また、血管の分布を示した画像は、血管密度の二次元分布を示した血管密度マップであってもよい。例えば、構造異常度マップ上に血管によるノイズが描写されていても、そのノイズが血管に起因していることを、共に表示されるMC正面画像を介して、直感的にユーザに把握させやすい。また、2つ以上の組織毎に生成された2つ以上の構造異常度マップの少なくともいずれかに対して、対応する組織におけるMC正面画像が表示されてもよい。これにより、異常度の高い領域が血管によるものか否かを、組織毎に適切に把握しやすくなる。また、組織毎のMC正面画像と代替的に、または、追加的に、組織毎のOCT正面画像が、少なくともいずれかの構造異常度マップに対応付けて表示されてもよい。これにより、構造の異常度が高い領域において、実際に構造の異常が生じているか否かを、好適にユーザに把握させやすくなる。
【0036】
また、正面画像は、構造異常度マップの位置毎における断層画像の画像品質を示した画質マップであってもよい。画質マップは、例えば、Aスキャン毎の信号強度を画像化したSSIマップであってもよい。前述のとおり、画質が悪い場合ほど、異常度が大きな値となりやすい。従って、異常度の高い領域が画質の低さに起因するものか否かを、構造異常度マップを画質マップと見比べることで、好適にユーザに把握させやすくなる。
【0037】
<解析画像と構造異常度マップとの同時表示>
また、正面画像に代えて又は加えて、眼科画像(断層画像および正面画像の少なくともいずれか)に対する解析結果をグラフィカルに示す解析画像が、構造異常度マップと同時に表示されてもよい。解析画像には、組織の厚みに関する解析結果が示されていてもよい。解析画像と正面画像は、画面上の同一の位置において、切換表示されてもよい。2つ以上の組織毎に生成された2つ以上の構造異常度マップの少なくともいずれかに対して、対応する組織における解析画像が表示されてもよい。
【0038】
解析画像は、断層画像および正面画像のいずれかの解析マップであってもよいし、解析チャートであってもよい。例えば、組織の厚みを示す解析チャートとして、GCHART、S/Iチャート、ETDSチャート等が利用されてもよい。
【0039】
構造異常度マップと解析画像とは、重畳して表示されてもよい。例えば、解析画像として厚みマップが重畳される場合、構造の異常度と厚みとの何れか一方については、等高線で表現し、他方については画素の階調で表現することで、構造の異常度と厚みとを総合的に確認できるので、ユーザが異常の可能性を的確に把握しやすい。
【0040】
上述の複数の構造異常度マップは、確認画面において表示されてもよい。確認画面は、撮影された断層画像をユーザに確認させるために表示される。このとき、制御部は、同一の被検眼の組織を撮影した複数の断層画像のうち、構造の異常度が最も高い断層画像、または、構造の異常度が閾値以上の断層画像を表示装置に表示させてもよい。例えば、確認画面に、複数の断層画像のうち、構造の異常度が高い断層画像を表示させることで、構造の異常度が高い部位が撮影された断層画像を、容易にユーザに確認させることができる。また、制御部は、撮影された断層画像をユーザに確認させるビューワーを起動させた際に、複数の断層画像のうち、構造の異常度が高い断層画像を表示させることで、構造の異常度が高い部位が撮影された断層画像を最初にユーザに確認させてもよい。
【0041】
制御部は、構造異常度マップ上で構造の異常度が閾値以上の部位を撮影する撮影指示を、眼科画像撮影装置に出力する処理を実行してもよい。また、制御部は、構造の異常度が閾値以上の部位の断層画像または拡大画像を表示装置に表示させる処理を実行してもよい。この場合、構造の異常度が高い部位の画像が、適切にユーザによって確認される。
【0042】
なお、制御部は、構造の異常度が閾値以上の部位を撮影する撮影指示を出力する場合に、構造の異常度が閾値以上の部位の断層画像を、より高画質に撮影する指示を出力してもよい。例えば、より高解像な断層画像を取得する指示を出力してもよい。また、構造の異常度が閾値以上の部位の断層画像を複数回撮影し、撮影された複数の断層画像の加算平均画像を取得する指示を出力してもよい。この場合、構造の異常度が高い部位の断層画像が、高画質で取得される。
【0043】
制御部は、構造異常度マップを、被検眼の疾患に関する自動診断結果を出力する数学モデルに入力してもよい。このとき、自動診断結果は、疾患の種別が出力されてもよい。この場合、断層画像を用いて疾患を検索したり、識別したりするよりも、より構造異常に着目した結果が得られ、且つ、効率よく自動診断結果が得られると考えられる。
「実施例」
(装置構成)
以下、本開示における典型的な実施形態の1つについて、図面を参照して説明する。
図1に示すように、本実施形態では、数学モデル構築装置1、眼科画像処理装置21、および眼科画像撮影装置11A,11Bが用いられる。数学モデル構築装置1は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼科画像に基づいて、眼科画像中の組織を識別するための確率分布を出力する。眼科画像処理装置21は、数学モデルを用いて確率分布を取得し、取得した確率分布と、組織が正確に識別される場合の確率分布との乖離度を、組織の構造の異常度を示す構造情報として取得する。眼科画像撮影装置11A,11Bは、被検眼の組織の画像である眼科画像を撮影する。
【0044】
一例として、本実施形態の数学モデル構築装置1にはパーソナルコンピュータ(以下、「PC」という)が用いられる。詳細は後述するが、数学モデル構築装置1は、眼科画像撮影装置11Aから取得した眼科画像(以下、「訓練用眼科画像」という)と、訓練用眼科画像における少なくともいずれかの組織の位置を示す訓練用データとを利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置1として機能できるデバイスは、PCに限定されない。例えば、眼科画像撮影装置11Aが数学モデル構築装置1として機能してもよい。また、複数のデバイスの制御部(例えば、PCのCPUと、眼科画像撮影装置11AのCPU13A)が、協働して数学モデルを構築してもよい。
【0045】
また、本実施形態の眼科画像処理装置21にはPCが用いられる。しかし、眼科画像処理装置21として機能できるデバイスも、PCに限定されない。例えば、眼科画像撮影装置11Bまたはサーバ等が、眼科画像処理装置21として機能してもよい。眼科画像撮影装置(本実施形態ではOCT装置)11Bが眼科画像処理装置21として機能する場合、眼科画像撮影装置11Bは、眼科画像を撮影しつつ、撮影した眼科画像から乖離度を取得することができる。また、眼科画像撮影装置11Bは,取得した乖離度に基づいて適切な部位を撮影することもできる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置21として機能してもよい。複数のデバイスの制御部(例えば、PCのCPUと、眼科画像撮影装置11BのCPU13B)が、協働して各種処理を行ってもよい。
【0046】
また、本実施形態では、各種処理を行うコントローラの一例としてCPUが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、CPU以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてGPUを採用することで、処理の高速化を図ってもよい。
【0047】
数学モデル構築装置1について説明する。数学モデル構築装置1は、例えば、眼科画像処理装置21または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置1は、各種制御処理を行う制御ユニット2と、通信I/F5を備える。制御ユニット2は、制御を司るコントローラであるCPU3と、プログラムおよびデータ等を記憶することが可能な記憶装置4を備える。記憶装置4には、後述する数学モデル構築処理(
図2参照)を実行するための数学モデル構築プログラムが記憶されている。また、通信I/F5は、数学モデル構築装置1を他のデバイス(例えば、眼科画像撮影装置11Aおよび眼科画像処理装置21等)と接続する。
【0048】
数学モデル構築装置1は、操作部7および表示装置8に接続されている。操作部7は、ユーザが各種指示を数学モデル構築装置1に入力するために、ユーザによって操作される。操作部7には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部7と共に、または操作部7に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置8は、各種画像を表示する。表示装置8には、画像を表示可能な種々のデバイス(例えば、表示装置、ディスプレイ、プロジェクタ等の少なくともいずれか)を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。
【0049】
数学モデル構築装置1は、眼科画像撮影装置11Aから眼科画像のデータ(以下、単に「眼科画像」という場合もある)を取得することができる。数学モデル構築装置1は、例えば、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼科画像撮影装置11Aから眼科画像のデータを取得してもよい。
【0050】
眼科画像処理装置21について説明する。眼科画像処理装置21は、例えば、被検者の診断または検査等を行う施設(例えば、病院または健康診断施設等)に配置される。眼科画像処理装置21は、各種制御処理を行う制御ユニット22と、通信I/F25を備える。制御ユニット22は、制御を司るコントローラであるCPU23と、プログラムおよびデータ等を記憶することが可能な記憶装置24を備える。記憶装置24には、後述する眼科画像処理(
図5参照)を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置1によって構築された数学モデルを実現させるプログラムが含まれる。通信I/F25は、眼科画像処理装置21を他のデバイス(例えば、眼科画像撮影装置11Bおよび数学モデル構築装置1等)と接続する。
【0051】
眼科画像処理装置21は、操作部27および表示装置28に接続されている。操作部27および表示装置28には、前述した操作部7および表示装置8と同様に、種々のデバイスを使用することができる。
【0052】
眼科画像処理装置21は、眼科画像撮影装置11Bから眼科画像を取得することができる。眼科画像処理装置21は、例えば、有線通信、無線通信、着脱可能な記憶媒体(例えばUSBメモリ)等の少なくともいずれかによって、眼科画像撮影装置11Bから眼科画像を取得してもよい。また、眼科画像処理装置21は、数学モデル構築装置1によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。
【0053】
眼科画像撮影装置11A,11Bについて説明する。一例として、本実施形態では、数学モデル構築装置1に眼科画像を提供する眼科画像撮影装置11Aと、眼科画像処理装置21に眼科画像を提供する眼科画像撮影装置11Bが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は2つに限定されない。例えば、数学モデル構築装置1および眼科画像処理装置21は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置1および眼科画像処理装置21は、共通する1つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する2つの眼科画像撮影装置11A,11Bは、同一の構成を備える。従って、以下では、2つの眼科画像撮影装置11A,11Bについて纏めて説明を行う。
【0054】
また、本実施形態では、眼科画像撮影装置11(11A,11B)として、OCT装置を例示する。
【0055】
眼科画像撮影装置11(11A,11B)は、各種制御処理を行う制御ユニット12(12A,12B)と、眼科画像撮影部16(16A,16B)を備える。制御ユニット12は、制御を司るコントローラであるCPU13(13A,13B)と、プログラムおよびデータ等を記憶することが可能な記憶装置14(14A,14B)を備える。
【0056】
眼科画像撮影部16は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部16には、OCT光源、OCT光源から出射されたOCT光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。
【0057】
眼科画像撮影装置11は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、CPU13は、スキャンライン上にOCT光(測定光)を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、CPU13は、OCT光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、CPU13は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、CPU13は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。
(数学モデル構築処理)
図2~
図4を参照して、数学モデル構築装置1が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置4に記憶された数学モデル構築プログラムに従って、CPU3によって実行される。数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、眼科画像中の組織を識別するための確率分布を出力する数学モデルが構築される。訓練データセットには、入力側のデータ(入力用訓練データ)と出力側のデータ(出力用訓練データ)が含まれる。
【0058】
図2に示すように、CPU3は、眼科画像撮影装置11Aによって撮影された眼科画像である訓練用眼科画像のデータを、入力用訓練データとして取得する(S1)。本実施形態では、訓練用眼科画像のデータは、眼科画像撮影装置11Aによって生成された後、数学モデル構築装置1によって取得される。しかし、CPU3は、訓練用眼科画像を生成する基となる信号(例えばOCT信号)を眼科画像撮影装置11Aから取得し、取得した信号に基づいて訓練用眼科画像を生成することで、訓練用眼科画像のデータを取得してもよい。
【0059】
なお、本実施形態のS1では、OCT装置である眼科画像撮影装置11Aによって撮影された二次元断層画像が、訓練用眼科画像として取得される。
図3に、眼底の二次元断層画像である訓練用眼科画像30の一例を示す。
図3に例示する訓練用眼科画像30には、眼底における複数の層が表れている。なお、本実施形態において、訓練データセットに含まれる訓練用眼科画像は、いずれも、構造の異常度が低い組織の眼科画像であってもよいが、必ずしもこれに限られるものでは無い。例えば、一部の組織についての構造の異常度が高い眼科画像が、訓練データセットに含まれていてもよい。疾患眼であっても組織が異常な構造のみで形成されているわけでは無く、多くの正常な構造を含んでいる。よって、一部の組織についての構造の異常度が高い眼科画像が訓練データセットに存在していても、訓練データセットにおいて、正常な構造についてのデータの方が、異常な構造についてのデータより十分に多くなると考えられるため、数学モデルを用いた組織の識別に悪影響が生じ難い。また、訓練データセットの中に、異常な構造についてのデータが適度に存在することで、識別の精度が向上することも考えられる。
【0060】
次いで、CPU3は、訓練用眼科画像における組織のうち、少なくともいずれかの組織の位置を示す訓練用データを取得する(S2)。
図4に、訓練用眼科画像30として眼底の二次元断層画像が使用される場合の訓練用データ31の一例を示す。
図4に例示する訓練用データ31には、訓練用眼科画像30に写っている複数の組織(詳細には、複数の層および境界)のうち、6つの境界の各々の位置を示すラベル32A~32Fのデータが含まれている。本実施形態では、訓練用データ31におけるラベル32A~32Fのデータは、作業者が訓練用眼科画像30における境界を見ながら操作部7を操作することで生成される。ただし、ラベルのデータの生成方法を変更することも可能である。
【0061】
なお、訓練用データを変更することも可能である。例えば、訓練用眼科画像30として眼底の二次元断層画像が使用される場合には、訓練用データは、眼底における少なくともいずれかの層の位置を示すデータであってもよい。また、訓練用データは、層および境界でなく、組織中の点状の部位等の位置を示すデータであってもよい。
【0062】
次いで、CPU3は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する(S3)。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン(SVM)等が一般的に知られている。
【0063】
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード(順伝播型)ニューラルネットワーク、RBFネットワーク(放射基底関数)、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク(リカレントニューラルネット、フィードバックニューラルネット等)、確率的ニューラルネット(ボルツマンマシン、ベイシアンネットワーク等)等がある。
【0064】
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均(あるいは多数決)を取る。
【0065】
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。
【0066】
SVMは、線形入力素子を利用して2クラスのパターン識別器を構成する手法である。SVMは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準(超平面分離定理)で、線形入力素子のパラメータを学習する。
【0067】
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ(例えば、重み)が更新される。
【0068】
本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の1つ以上の隠れ層を含む。各層には、複数のノード(ユニットとも言われる)が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク(CNN)が用いられている。
【0069】
一例として、本実施形態で構築される数学モデルは、眼科画像中の領域(一次元領域、二次元領域、三次元領域、および、時間軸を含む四次元領域のいずれか)内において、特定の組織(例えば、特定の境界、特定の層、または特定の部位等)が存在する座標(一次元座標、二次元座標、三次元座標、および四次元座標のいずれか)を確率変数とする確率分布を、組織を識別するための確率分布として出力する。本実施形態では、数学モデルに確率分布を出力させるために、ソフトマックス関数が適用されている。詳細には、S3で構築される数学モデルは、二次元断層画像中の特定の境界に交差する方向(本実施形態では、OCTのAスキャン方向)に延びる一次元領域における、特定の境界が存在する座標を確率変数とする確率分布を出力する。
【0070】
ただし、数学モデルが組織を識別するための確率分布を出力する具体的方法は、適宜変更できる。例えば、数学モデルは、二次元領域または三次元領域において、特定の組織(例えば特徴部位等)が存在する二次元座標または三次元座標を確率変数とする確率分布を、組織を識別するための確率分布として出力してもよい。また、数学モデルは、被検眼における複数の組織(例えば、複数の層および境界)の種類を確率変数とする確率分布を、入力された眼科画像の各領域毎(例えば画素毎)に出力してもよい。また、数学モデルに入力される眼科画像が動画像であってもよい。
【0071】
また、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する2つのニューラルネットワークを利用する敵対的生成ネットワーク(Generative adversarial networks:GAN)が、機械学習アルゴリズムとして採用されてもよい。
【0072】
数学モデルの構築が完了するまで(S4:NO)、S1~S3の処理が繰り返される。数学モデルの構築が完了すると(S4:YES)、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置21に組み込まれる。
(眼科画像処理)
図5から
図11を参照して、眼科画像処理装置21が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置24に記憶された眼科画像処理プログラムに従って、CPU23によって実行される。
【0073】
まず、CPU23は、被検眼の組織(本実施形態では眼底)の三次元断層画像を取得する(S11)。三次元断層画像は、眼科画像撮影装置11Bによって撮影されて、眼科画像処理装置21によって取得される。前述したように、三次元断層画像は、互いに異なるスキャンライン上に測定光を走査させることで撮影された複数の二次元断層画像を組み合わせることで構成されている。なお、CPU23は、三次元断層画像を生成する基となる信号(例えばOCT信号)を眼科画像撮影装置11Bから取得し、取得した信号に基づいて三次元断層画像を生成してもよい。
【0074】
CPU23は、取得した三次元断層画像を構成する複数の二次元断層画像のうち、T番目(Tの初期値は「1」)の二次元断層画像を抽出する(S12)。
図6に、二次元断層画像40の一例を示す。二次元断層画像40には、被検眼の眼底における複数の境界が表れている。
図6に示す例では、内境界膜(ILM)である境界Biと、神経線維層(NFL)と神経節細胞層(GCL)の境界Bgを含む複数の境界が表れている。また、二次元断層画像40中に、複数の一次元領域A1~ANが設定される。本実施形態では、二次元断層画像40中に設定される一次元領域A1~ANは、特定の境界(本実施形態では、境界Biと境界Bgを含む複数の境界)に交差する軸に沿ってに延びる。詳細には、本実施形態の一次元領域A1~ANは、OCT装置によって撮影された二次元断層画像40を構成する複数(N本)のAスキャンの各々の領域に一致する。
【0075】
なお、複数の一次元領域を設定する方法を変更することも可能である。例えば、CPU23は、各々の一次元領域の軸と特定の境界の角度が極力垂直に近づくように、複数の一次元領域を設定してもよい。この場合、各々の一次元領域の位置および角度は、例えば、一般的な被検眼の組織(本実施形態では眼底)の形状に基づいて、角度が垂直に近づくように設定されてもよい。
【0076】
CPU23は、数学モデルにT番目の二次元断層画像を入力することで、複数の一次元領域A1~ANの各々において、M番目(Mの初期値は「1」)の境界が存在する座標の確率分布を、組織を識別するための確率分布として取得する(S14)。
図7および
図8に、一次元座標A1から取得される、境界Biが存在する座標の確率分布を示すグラフの一例を示す。
図7および
図8に示す例では、一次元領域A1の一次元座標を確率変数として、境界Biが存在する座標の確率分布が示されている。つまり、
図7および
図8に示す例では、横軸は確率変数、縦軸は前記確率変数の確率であり、前記確率変数は一次元領域A1における境界Biの存在する座標である。S14では、複数の一次元領域A1~ANの各々における確率分布が取得される。
【0077】
図7に示す確率分布は、組織(詳細には、境界Biの近傍の組織)の構造の異常度が低い場合に出力される確率分布の一例である。構造の異常度が低い位置では、数学モデルによって組織が正確に識別され易いので、組織の位置の確率が偏り易い。
図7に示すグラフによると、一次元領域A1上の各点の中で、境界Biが存在する可能性が最も高い点が、点Pであると判断できる。数学モデルが正確に組織を識別した場合の確率分布(つまり、理想的な確率分布)は、一次元領域A1上の1つの点でのみ1の値を取り、他の点では0となる。
【0078】
一方で、
図8に示す確率分布は、組織の構造の異常度が高い場合に出力される確率分布の一例である。
図8に示すように、構造の異常度が高い位置では、確率分布が偏り難くなる。以上のように、組織の構造の異常度に応じて、組織を識別するための確率分布の偏りは変化する。
【0079】
次いで、CPU23は、M番目の境界に関する、確率分布Pの乖離度を取得する(S15)。乖離度とは、組織が正確に識別される場合の確率分布に対する、S14で取得された確率分布Pの差である。本実施形態では、乖離度は、組織の構造の異常度を示す構造情報として取得される。本実施形態のS15では、複数の一次元領域A1~ANについて取得された複数の確率分布Pの各々に対して乖離度が取得(算出)される。
【0080】
本実施形態では、乖離度として、確率分布Pのエントロピーが算出される。エントロピーは、以下の(数2)で与えられる。エントロピーH(P)は、0≦H(P)≦log(事象の数)の値を取り、確率分布Pが偏っている程小さな値になる。つまり、エントロピーH(P)が小さい程、組織の構造の異常度が低いことになる。組織が正確に識別される場合の確率分布のエントロピーは、0となる。また、組織の構造の異常度が増加し、組織の識別が困難になる程、エントロピーH(P)は増大する。従って、乖離度として確率分布PのエントロピーH(P)を用いることで、組織の構造の異常度が適切に定量化される。
【0081】
H(P)=-Σplog(p)・・・(数2)
ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布Pの散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布P同士の差異を図る尺度であるKLダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布Pの最大値(例えば、
図7および
図8に例示する確率の最大値)が乖離度として使用されてもよい。また、取得された確率分布Pの最大値と、2番目に大きい値の差が乖離度として使用されてもよい。
【0082】
次いで、CPU23は、T番目の二次元断層画像において検出対象とする、全ての境界の乖離度が取得されたか否かを判断する(S16)。一部の境界の乖離度が取得されていなければ(S16:NO)、境界の順番Mに「1」が加算されて(S17)、処理はS14に戻り、次の境界の乖離度が取得される(S14,S15)。全ての境界の乖離度が取得されると(S16:YES)、CPU23は、T番目の二次元断層画像の乖離度を記憶装置24に記憶させると共に、表示装置28に表示させる(S19)。CPU23は、T番目の二次元断層画像の構造異常度グラフを取得(本実施形態では生成)し、表示装置28に表示させる(S20)。
【0083】
図9および
図10を参照して、構造異常度グラフ52について説明する。
図9は、構造の異常度が低い二次元断層画像51Aと、二次元断層画像51Aに関する構造異常度グラフ52Aと、二次元断層画像51Aに関する乖離度を示す乖離度表53Aとが表示された表示画面の一例である。また、
図10は、構造の異常度が高い二次元断層画像51Bと、二次元断層画像51Bに関する構造異常度グラフ52Bと、二次元断層画像51Bに関する乖離度を示す乖離度表53Bとが表示された表示画面の一例である。
【0084】
図9および
図10に示すように、二次元断層画像51は、X方向(図面の左右方向)およびZ方向(図面の上下方向)に広がる二次元の画像である。前述したように、乖離度は、眼科画像上でZ方向に平行に延びる複数の軸(本実施形態では、複数のAスキャン)毎に取得される。
図9および
図10に示す構造異常度グラフ52では、横軸をX軸とし、X方向の各々の位置における乖離度が縦軸に示されている。
【0085】
一例として、本実施形態の構造異常度グラフ52では、複数の境界の各々について取得された、複数の乖離度(本実施形態ではエントロピー)の平均値が、X方向の位置毎に示されている。しかし、1つの境界の乖離度が構造異常度グラフ52によって示されてもよい。また、特定の複数の境界(例えば、IPL/INLの境界と、OPL/ONLの境界)の平均値が、構造異常度グラフ52によって示されてもよい。また、平均値の代わりに、平均値以外の各種統計値(例えば、中央値、最頻値、最大値、または最小値等)が用いられてもよい。
【0086】
図9に示すように、X方向の全体で構造の異常度が低い場合には、構造異常度グラフ52Aによって示される乖離度が、X方向の全体で低い値となる。一方で、
図10に示すように、構造の異常度が高いX方向の位置では、構造異常度グラフ52Bによって示される乖離度は高い値となる。以上のように、構造異常度グラフ52によると、X方向のいずれの位置の異常度が高いかが、ユーザによって適切に把握される。
【0087】
図9および
図10を参照して、乖離度の表示方法の一例について説明する。
図9および
図10に示すように、本実施形態の乖離度表53では、複数の境界毎に、取得された乖離度(本実施形態ではエントロピー)が表示される。従って、ユーザは、構造の異常度が高い境界を、定量化された値に基づいて適切に把握することができる。本実施形態の乖離度表53で表示される乖離度は、複数の一次元領域(本実施形態ではAスキャン)毎に取得された複数の乖離度の平均値である。また、本実施形態の乖離度表53では、全ての境界に関する乖離度の平均値が表示される。従って、ユーザは、眼科画像に写っている組織中に、構造の異常度が高い部位があるか否かを、平均値によって容易に把握することができる。さらに、本実施形態の乖離度表53では、全ての境界のうち、複数の特定の境界に関する乖離度の平均値が表示される。一例として、本実施形態では、疾患による影響で構造が崩れやすい境界(IPL/INLの境界と、OPL/ONLの境界)の平均値が表示される。従って、ユーザは、疾患による構造異常が存在するか否かを容易に把握することができる。なお、前述したように、平均値以外の各種統計値が用いられてもよい。
【0088】
次いで、CPU23は、三次元断層画像を構成する全ての二次元断層画像の乖離度が取得されたか否かを判断する(S21)。一部の二次元断層画像の乖離度が取得されていなければ(S21:NO)、二次元断層画像の順番Tに「1」が加算されて(S22)、処理はS12に戻り、次の二次元断層画像の乖離度が取得される(S12~S20)。全ての二次元断層画像の乖離度が取得されると(S21:YES)、CPU23は、構造異常度マップを取得(本実施形態では生成)し、表示装置28に表示させる(S24)。
【0089】
図11を参照して、構造異常度マップについて説明する。構造異常度マップは、組織における乖離度の二次元分布を示す。本実施例において、構造異常度マップでは、組織(本実施形態では眼底)を正面から見た場合の、乖離度の二次元分布が示されている。ただし、二次元分布を示す方向は適宜変更されてもよい。既に、三次元断層画像を構成する複数の二次元断層画像の各々について乖離度が取得されており、これにより、組織の全体の乖離度が取得されている。ここでいう、組織の全体の乖離度は、本実施例においてはラベル32A~32F(
図4参照)と対応する第1~第6の層境界における乖離度とも言い換えられる。
【0090】
本実施例では、一例として、ラベル32A~32F(
図4参照)とそれぞれ対応する第1~第6の層境界の構造異常度マップ51A~51Fが、それぞれの層境界の乖離度に基づいて生成される。
図11は、表示装置28における構造異常度マップ51A~51Fの表示態様の一例を示している。
【0091】
構造異常度マップ51A~51Fは、各位置における乖離度を色や濃淡として表現したグラフであってもよい。このとき、構造異常度マップ51A~51Fにおける各画素の階調値は、層境界の各位置における乖離度から変換される。例えば、
図11に示す構造異常度マップ51A~51Fは、乖離度がグレースケールで示されている。ここで、本実施例では、乖離度(本実施例ではエントロピー)は0~1の範囲で算出されるので、0~1の範囲の各値が、例えば、0~255の階調値に変換され、マップ上で表現される。
図11に示す構造異常度マップ51A~51Fは、乖離度が高い画素ほど、小さな階調値で(つまり、より高輝度に)表現されている。なお、
図11に示した構造異常度マップ51A~51Fの間で、乖離度と階調値との対応関係は同一である。但し、構造異常度マップにおいて各位置の乖離度を示すための具体的な方法は、グレースケールに限られるものでは無く、カラーマップや、三次元マップなど、適宜変更できる。
【0092】
図11に一例として示した構造異常度マップ51A~51Fは、深層側に剥離がある被検眼に対する処理結果である。構造異常度マップ51A~51Fからは、複数のマップの中心部に乖離度の高い領域が、少なくとも第2層境界から第6層境界までの複数の構造異常度マップ51B~51Fにおいて表れていることが見て取れる。よって、ユーザは、複数の層に影響する構造の異常の可能性があることを、複数の構造異常度マップ51A~51Fに基づいて、容易に把握できる。また、別の事例として、層境界毎に生成される複数の構造異常度マップのうち、少数のマップにしか乖離度の高い領域が表れていなければ、実施例と比較してより局所的な構造の異常の可能性を、ユーザに疑わせることができる。このように、複数の構造異常度マップの表示は、ユーザが構造的な異常の全容を速やかに把握するうえで有用である。
【0093】
図11に示すように、本実施例では、構造異常度マップ51A~51Fと同時に、眼底の正面画像52が表示される。本実施例では、正面画像52の撮影範囲が、構造異常度マップ51A~51Fと対応している。構造異常度マップ51A~51F上で乖離度の高い箇所が、眼底上のどこに存在するかを、正面画像52に照らしてユーザが確認できる。本実施例における正面画像52は、例えば、OCT正面画像であってもよい。このとき、OCT正面画像の一種であるMC正面画像であってもよい。MC正面画像では、血管が描写される。このため、例えば、構造異常度マップ51A~51F上で異常度の高い領域が血管由来のものか否かを、容易にユーザに把握させやすい。
【0094】
また、正面画像52としてOCT正面画像が表示される場合、いずれかの境界に関するOCT正面画像が、正面画像52として表示されてもよい。このとき、境界毎のOCT正面画像をユーザの操作に応じて選択可能であってもよい。例えば、いずれかの構造異常度マップ51A~51Fに対する選択操作が入力されることで、選択されたマップと対応する境界に関してのOCT正面画像が、正面画像52として表示されてもよい。所望の構造異常度マップと対応する層のOCT正面画像が同時に表示されることで、構造異常度マップにおいて乖離度の高い位置における、異常の有無を、ユーザが把握しやすい。
【0095】
また、本実施例では、それぞれの構造異常度マップ51A~51Fにおける、乖離度と階調値との対応関係を、マップ毎に個別に変更可能である。
図11では、乖離度と階調値との対応関係を変更するためのGUIウィジェットの例として、スライダ53A~53Fが、各構造異常度マップ51A~51Fと隣接して設置されている。それぞれのスライダ53A~53Fにおいて、つまみの位置が、個別の操作に基づいて変更され得る。それぞれの構造異常度マップ51A~51Fにおいて、乖離度を階調値へ変換するときのガンマ値が、つまみの位置に応じて変更される。本実施例では、つまみの位置が左に移動されるほどガンマ値は減少され、つまみの位置が右に移動されるほどガンマ値は増大される。スライダ53A~53Fを操作することで、事後的に構造異常度マッププ51A~51Fにおける感度を変更できる。すなわち、ガンマ値が減少されるほどマップ上ではより高い乖離度の位置が強調される低感度なマップとなる。反対に、ガンマ値が増大されるほどより高感度なマップとなり、微妙な構造の異常をマップ上で目立たせることができる。なお、つまみの初期位置(つまり、ガンマ値の初期値)は、一定であってもよいし、三次元断層画像を構成する二次元断層画像のノイズレベルに基づいて決定されてもよい。
【0096】
ここで、例えば、眼底には、中心窩、視神経乳頭、および、血管等の本来的に乖離度が高くなりやすい組織(以下、特定の組織という)が存在している。
図11に示した第1~第6の層境界の構造異常度マップ51A~51Fのうち幾つかに、特定の組織の影響が目立って描写されている。特定の組織に基づく描写は、構造異常度マップ51A~51Fから異常を把握するうえでのノイズとなってしまう可能性がある。このような場合、特定の組織に基づく描写が目立ったマップでは、ガンマ値を減少させて感度を下げることで、特定の組織に基づく描写をバックグラウンド側に近づけつつ、異常の可能性がある位置を明確化できる場合がある。また、例えば、
図11に示す第1の層境界の構造異常度マップ51Aのように、目立った異常部位が見られない場合に、ガンマ値を増大させて感度を高めることで、微妙な構造の異常がマップ上に浮かび上がる場合がある。
【0097】
また、本実施例では、第1~第6の層境界の構造異常度マップ51A~51Fのそれぞれにおける乖離度を階調値との対応関係が、ユーザによって選択される疾病の種別に応じて、マップ毎に変更される。この場合、この場合、疾病の種別と、境界毎の構造異常度マップにおけるガンマ値(本実施例において乖離度と階調値との対応関係を示情報)と、の関係は、ルックアップテーブルとして、記憶装置24に予め記憶されていてもよい。本実施例では、ボックス54を介して疾病の種別が選択される。ボックス54を選択すると複数の疾病の名称が並んだプルダウンメニューが展開される。その中からいずれかが操作に基づいて選択されることによって、疾病の種別に応じたガンマ値が反映された構造異常度マップ51A~51Fが、画面上に表示される。例えば、RVO(retinal vein occlusion; 網膜静脈閉塞症)では網膜全体の構造が大きく崩れるため、RVOが選択された場合は、それぞれの構造異常度マップ51A~51Fの感度を標準時よりも低減させてもよい。これにより、RVOによる構造の異常の全容を、より把握しやすくなると考えられる。
【0098】
また、上記のように疾患の種別が選択可能である場合、構造異常度マップ51A~51Fのうちいずれか1つ以上を、選択された疾患の種別に応じて強調表示してもよい。例えば、CSC( central serous chorioretinopathy; 中心性漿液性網脈絡膜症)が選択された場合、CSCの診断において重視されるIS/OSおよびRPE/BMのそれぞれに対応するマップが強調されてもよい。このようにすることで、ユーザが確認すべき情報の量が、好適に抑制できる。なお、強調表示は種々の態様が考えられる。一例として、強調表示の対象となるマップの枠線が太線に変化することで強調されてもよい。
【0099】
また、
図11に一例として示した、被検眼の乖離度の二次元分布による構造異常度マップ51A~51Fは、中心窩付近に異常がある。
図11では、幾つかのマップ上において、中心窩付近における乖離度の高い範囲が中心窩のサイズに比べて明らかに広いため、容易に異常を疑うことが可能である。但し、仮に、異常の範囲が
図11の例に比べて狭く、中心窩と重なってしまっていた場合、中心窩は本来的に乖離度が高くなりやすい組織であるから、乖離度の二次元分布による構造異常度マップからは、構造の異常をユーザが把握しにくくなる可能性が考えられる。これに対し、乖離度の二次元分布による構造異常度マップの代わりに、被検眼の乖離度の二次元分布と正常眼における乖離度の二次元分布との差分マップを表示してもよい。正常眼における乖離度の二次元分布は、複数の正常眼の三次元OCTデータを集めて作成されてもよい。差分マップは、境界毎に生成されてもよい。差分マップでは、本来的に乖離度が高くなりやすい組織と異常とが重なっている場合に、構造的な異常をより的確に描写できる可能性がある。
【0100】
また、CPU23は、眼科画像(本実施形態では三次元断層画像)に写っている組織の中に、乖離度が閾値以上の部位(以下、「異常部位」という)が存在する場合に、異常部位の断層画像(二次元断層画像および三次元断層画像の少なくともいずれか)または拡大画像を、表示装置28に表示させる。
図11では、断層画像55が示されている。詳細には、本実施形態のCPU23は、三次元断層画像を構成する複数の二次元断層画像のうち、乖離度が最も高い断層画像、または、乖離度が閾値以上の断層画像を表示装置28に表示させる。本実施例では、
図11に示すように、断層画像55が、構造異常度マップ51A~51Fと共に表示される。これによって、構造的な異常度マップ51A~51Fにおける乖離度の高い領域の実際の構造を、ユーザが直ちに確認できる。更に、本実施例では、断層画像55の取得位置を示すグラフィック56が、構造異常度マップ51A~51F上、および、正面画像52上のいずれかに表示される。これにより、構造的な異常の可能性がある箇所を、ユーザが容易に把握できる。
【0101】
なお、構造異常度マップ51A~51Fと同時に表示される断層画像は、変更可能であってもよい。例えば、任意の取得位置での断層画像が表示されてもよい。また、構造の異常度が閾値以下の断層画像(例えば、
図11において符号57で示したライン上で取得された断層画像)が、断層画像55と共に、又は、切換えて、表示されてもよい。
【0102】
また、層または層境界が識別されることで、断層画像において識別されたそれぞれの層または層境界が識別可能な態様で表示される場合がある。そこで、
図11に示した断層画像55に対し、それぞれの層または層境界を識別するための識別情報が付与されてもよい。例えば、断層画像55における第1~第6の層境界の位置に、層境界を強調する線が重畳されてもよい。また、更に、断層画像55における第1~第6の層境界とそれぞれ対応付けられた、テキストが表示されてもよい。
【0103】
<再撮影>
これらの処理は、眼科画像撮影装置11Bが眼科画像処理を実行している場合にも同様に実行できる。また、例えば、
図11の表示態様で、複数の構造異常度マップ51A~51Fが確認画面上に表示されてもよい。
【0104】
制御部は、構造異常度マップ上で構造の異常度が閾値以上の部位を、撮影する撮影指示を眼科画像撮影装置に出力する処理を実行してもよい。また、制御部は、構造の異常度が閾値以上の部位の断層画像または拡大画像を表示装置に表示させる処理を実行してもよい。この場合、構造の異常度が高い部位の画像が、適切にユーザによって確認される。
【0105】
なお、制御部は、構造の異常度が閾値以上の部位を撮影する撮影指示を出力する場合に、構造の異常度が閾値以上の部位の断層画像を、より高画質に撮影する指示を出力してもよい。例えば、より高解像な断層画像を取得する指示を出力してもよい。また、構造の異常度が閾値以上の部位の断層画像を複数回撮影し、撮影された複数の断層画像の加算平均画像を取得する指示を出力してもよい。この場合、構造の異常度が高い部位の眼科画像が、高画質で取得される。
【0106】
「変容例」
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。
【0107】
<経過観察>
同一の被検眼について異なる日時に撮影された眼科画像に基づく構造異常度マップ(以下、時系列の複数の構造異常度マップという)を用いて、経過観察のための表示が、眼科画像処理装置23によって行われてもよい。例えば、時系列の複数の構造異常度マップには、層毎にまたは境界毎に生成された複数の構造異常度マップが含まれていてもよく、それぞれの層毎にまたは境界毎に、時系列の複数の構造異常度マップが表示されてもよい。あわせて、層毎または境界毎の異常度の変化を示すトレンドグラフが表示されてもよい。
【0108】
このとき、時系列の2つの構造異常度マップによる差分マップが生成され、表示されてもよい。構造の異常度の増減の二次元分布が、差分マップとして表示されてもよい。差分マップによって、位置毎の構造の異常度の時間変化を、ユーザが容易に確認することができる。
【0109】
<層毎の構造異常度マップの中から、疾患の種別に応じた一つ以上を選択的に表示>
上記実施例では、三次元断層画像から生成された層または境界毎の複数の構造異常度マップのすべてが、同時に表示装置上に表示される表示態様を示した。しかし、構造異常度マップの表示態様は、必ずしもこれに限られるものではない。例えば、三次元断層画像から生成される複数の構造異常度マップのうち、疾患の種別に応じた1つ以上の構造異常度マップが、選択的に表示されてもよい。このとき、疾患の種別に応じた構造異常度マップは、2つ以上であってもよく、この場合、疾患の種別に応じた2つ以上の構造異常度マップは、同時に表示されてもよい。このようにすることで、ユーザが確認すべき情報を好適に抑制できる。
【0110】
<構造異常度マップを利用した疾患の種別の検索・識別>
上記実施例では、疾患の種別は、ボックス54を介して、ユーザによって手動で選択された。しかし、必ずしもこれに限られるものでは無く、自動的に選択(分類)されてもよい。例えば、自動診断の結果として、疾患の種別を示す情報が取得されてもよい。このとき、構造異常度マップに基づいて自動診断が実行されてもよい。例えば、被検眼の疾患に関する自動診断結果を出力する数学モデルに構造異常度マップを入力することで、疾患の種別を示す情報が取得されてもよい。数学モデルは、構造異常度マップと、各構造異常度マップの正解データとなる診断結果(例えば、疾患の種別)と、を教師データとして、学習されていてもよい。構造異常度マップは、三次元断層画像の構造異常のみを抽出したマップ(構造異常に着目して効率よく圧縮された情報)なので、三次元断層画像そのものに基づいて自動診断結果を得ようとする場合と比べ、より構造異常に着目した結果が得られると考えられる。また、三次元断層画像と比べて構造異常度マップは情報が圧縮されているので、構造異常度マップを利用するほうが、より高速に、自動診断結果を取得できる。従って、上記の実施形態および実施例のように、層毎または境界毎に生成された複数の構造異常度マップのうち、選択表示あるいは強調表示するマップを特定する目的にとどまらず、被検眼の自動診断そのものに、構造異常度マップを利用してもよい。
【0111】
また、画像診断の分野では、被検者の画像をもとに類似症例を検索する技術が知られている。類似症例検索データベースに検索クエリを入力することで、検索クエリに応じた類似症例データが得られる。類似症例データとしては、類似症例における眼科画像そのもの、類似症例に対する診断結果、および、類似症例における経過観察の結果等のうち少なくともいずれかであってもよい。このような類似症例検索における検索クエリとして、構造異常度マップが利用されてもよい。構造異常度マップを検索クエリとして利用された場合は、三次元断層画像を検索クエリとして入力する場合よりも高速に、類似症例を得ることができると考えられる。
【符号の説明】
【0112】
11A,11B 眼科画像撮影装置
13A,13B CPU
21 眼科画像処理装置
23 CPU
24 記憶装置
28 表示装置
30 訓練用眼科画像
31 訓練用データ
40,51 二次元断層画像
52 構造異常度グラフ
53 乖離度表
51A~51F 構造異常度マップ