特許 7594827 生体画像処理プログラム，生体画像処理装置及び生体画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-27

(45)【発行日】2024-12-05

(54)【発明の名称】生体画像処理プログラム，生体画像処理装置及び生体画像処理方法

(51)【国際特許分類】

   A61B 3/10 20060101AFI20241128BHJP

   G06T 7/00 20170101ALI20241128BHJP

   G06T 7/11 20170101ALI20241128BHJP

【ＦＩ】

A61B3/10 100

G06T7/00 612

G06T7/00 350C

G06T7/11

【請求項の数】 15

(21)【出願番号】P 2023553835

(86)(22)【出願日】2021-10-13

(86)【国際出願番号】 JP2021037976

(87)【国際公開番号】W WO2023062764

(87)【国際公開日】2023-04-20

【審査請求日】2024-09-13

【新規性喪失の例外の表示】特許法第３０条第２項適用 １．令和３年３月１０日 第１２５回日本眼科学会総会講演抄録「日本眼科學會雜誌」 第１２５回臨時増刊号 第２１７頁、２．令和３年４月９日 第１２５回日本眼科学会総会、３．令和３年８月２３日 第３２回日本緑内障学会抄録集 第１７１頁、４．令和３年９月１２日 第３２回日本緑内障学会

【早期審査対象出願】

(73)【特許権者】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】中澤 徹

(72)【発明者】

【氏名】シャルマ パルマナンド

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】中国特許出願公開第１１１８８２５６６（ＣＮ，Ａ）

【文献】特開２０２１－１４０７６９（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２４４６８９２（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１２５９９０６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１３１０７６４（ＣＮ，Ａ）

【文献】国際公開第２０２０／１６５１９６（ＷＯ，Ａ１）

【文献】WANG, J. et al.，AEC-Net: Attention and Edge Constraint Network for Medical Image Segmentation，2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMB，2020年08月27日，pp. 1616-1619，<Date of Conference : 20-24 July 2020>, <Date Added to IEEE Xplore : 27 August 2020>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

生体画像のセグメンテーションを実行するためのコンピュータに、
入力された前記生体画像について、畳み込みブロックにチャネルを平均化するためのアテンションブロックを付加することにより、前記生体画像のサイズの削減を行って特徴点を抽出し、
前記畳み込みブロックに前記アテンションブロックが付加された状態で、前記チャネルを収縮させることにより、抽出した前記特徴点を含む前記生体画像をセグメンテーションした特徴画像に関する情報を出力する、
処理を実行させる、生体画像処理プログラム。

【請求項2】

前記生体画像に含まれるセグメンテーションの対象部分の外形又は血管部分が含まれていない領域を優先的に削減することにより、前記特徴点を抽出する、
処理を前記コンピュータに実行させる、請求項１に記載の生体画像処理プログラム。

【請求項3】

前記チャネルを収縮させた後に、入力された前記生体画像のサイズまで拡張させて前記特徴画像を出力する、
処理を前記コンピュータに実行させる、請求項１又は２に記載の生体画像処理プログラム。

【請求項4】

前記特徴画像に関する情報に基づき、前記生体画像における一以上の領域毎に、血管密度を算出する、
処理を前記コンピュータに実行させる、請求項１～３のいずれか一項に記載の生体画像処理プログラム。

【請求項5】

前記生体画像は、眼球の画像であり、
前記眼球の中心窩無血管帯をセグメンテーションした前記特徴画像に関する情報を出力する、
処理を前記コンピュータに実行させる、請求項１～４のいずれか一項に記載の生体画像処理プログラム。

【請求項6】

生体画像のセグメンテーションを実行するための生体画像処理装置であって、
入力された前記生体画像について、畳み込みブロックにチャネルを平均化するためのアテンションブロックを付加することにより、前記生体画像のサイズの削減を行って特徴点を抽出し、
前記畳み込みブロックに前記アテンションブロックが付加された状態で、前記チャネルを収縮させることにより、抽出した前記特徴点を含む前記生体画像をセグメンテーションした特徴画像に関する情報を出力する、
プロセッサを備える、生体画像処理装置。

【請求項7】

前記プロセッサは、前記生体画像に含まれるセグメンテーションの対象部分の外形又は血管部分が含まれていない領域を優先的に削減することにより、前記特徴点を抽出する、
請求項６に記載の生体画像処理装置。

【請求項8】

前記プロセッサは、前記チャネルを収縮させた後に、入力された前記生体画像のサイズまで拡張させて前記特徴画像を出力する、
請求項６又は７に記載の生体画像処理装置。

【請求項9】

前記プロセッサは、前記特徴画像に関する情報に基づき、前記生体画像における一以上の領域毎に、血管密度を算出する、
請求項６～８のいずれか一項に記載の生体画像処理装置。

【請求項10】

前記生体画像は、眼球の画像であり、
前記プロセッサは、前記眼球の中心窩無血管帯をセグメンテーションした前記特徴画像に関する情報を出力する、
請求項６～９のいずれか一項に記載の生体画像処理装置。

【請求項11】

生体画像のセグメンテーションを実行するためのコンピュータが、
入力された前記生体画像について、畳み込みブロックにチャネルを平均化するためのアテンションブロックを付加することにより、前記生体画像のサイズの削減を行って特徴点を抽出し、
前記畳み込みブロックに前記アテンションブロックが付加された状態で、前記チャネルを収縮させることにより、前記生体画像をセグメンテーションした特徴画像に関する情報を出力する、
処理を実行する、生体画像処理方法。

【請求項12】

前記生体画像に含まれるセグメンテーションの対象部分の外形又は血管部分が含まれていない領域を優先的に削減することにより、前記特徴点を抽出する、
処理を前記コンピュータが実行する、請求項１１に記載の生体画像処理方法。

【請求項13】

前記チャネルを収縮させた後に、入力された前記生体画像のサイズまで拡張させて前記特徴画像を出力する、
処理を前記コンピュータが実行する、請求項１１又は１２に記載の生体画像処理方法。

【請求項14】

前記特徴画像に関する情報に基づき、前記生体画像における一以上の領域毎に、血管密度を算出する、
処理を前記コンピュータが実行する、請求項１１～１３のいずれか一項に記載の生体画像処理方法。

【請求項15】

前記生体画像は、眼球の画像であり、
前記眼球の中心窩無血管帯をセグメンテーションした前記特徴画像に関する情報を出力する、
処理を前記コンピュータが実行する、請求項１１～１４のいずれか一項に記載の生体画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に記載する技術は、生体画像処理プログラム，生体画像処理装置及び生体画像処理方法に関する。

【背景技術】

【0002】

撮影した生体画像（別言すれば、医用画像）をデノイズ（別言すれば、高画質化）して、生体画像から対象部位をセグメンテーションすることがある。

【0003】

例えば、特許文献１では、被験者の所定部位の医用画像を取得し、医用画像の少なくとも一部の領域の状態に応じたノイズが少なくとも一部の領域に付加された学習データを用いて得た機械学習エンジンを含む高画質化エンジンを用いて、取得した医用画像から高画質化された画像を生成する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１６６８１３号公報

【文献】特開２０２０－１６３１００号公報

【文献】特開２０１９－１８７５５１号公報

【非特許文献】

【0005】

【文献】U-Net: Convolutional Networks for Biomedical Image Segmentation; 2015; Cham. Springer International Publishing.

【文献】Hu J, Shen L, Albanie S, et al. Squeeze-and-Excitation Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence 2020;42(8):2011-23 doi: 10.1109/TPAMI.2019.2913372[published Online First: Epub Date].

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、生体画像のデノイズには、複雑な演算処理や高性能なハードウェア資源が必要になるおそれがある。

【0007】

１つの側面では、本明細書に記載する技術は、簡易な演算処理によって生体画像のセグメンテーションを正確に実施することを目的とする。

【課題を解決するための手段】

【0008】

１つの側面において、生体画像処理プログラムは、生体画像のセグメンテーションを実行するためのコンピュータに、入力された前記生体画像について、畳み込みブロックにチャネルを平均化するためのアテンションブロックを付加することにより、前記生体画像のサイズの削減を行って特徴点を抽出し、前記畳み込みブロックに前記アテンションブロックが付加された状態で、前記チャネルを収縮させることにより、抽出した前記特徴点を含む前記生体画像をセグメンテーションした特徴画像に関する情報を出力する、処理を実行させる。

【発明の効果】

【0009】

１つの側面として、簡易な演算処理によって生体画像のセグメンテーションを正確に実施することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態としての生体画像処理を説明する図である。

【図2】図１に示した血管密度の算出処理の詳細を説明する図である。

【図3】実施形態における生体画像のセグメンテーション処理を説明する図である。

【図4】図４Ａは図３に示した畳み込み演算ブロックに対する処理を説明するフローチャートであり、図４Ｂは図３に示したアテンションブロックに対する処理を説明するフローチャートである。

【図5】図３に示したセグメンテーション処理における収縮処理及び分類処理を説明する図である。

【図6】実施形態としてのフェイクＦＡＺの除去処理を説明する図である。

【図7】深層学習モデルの種類毎の性能を比較するテーブルである。

【図8】深層学習モデルの種類毎のダイス類似係数を比較するグラフである。

【図9】図９ＡはＯＣＴＡ画像であり、図９ＢはＧＴのＦＡＺ領域画像、図９ＣはＵｎｅｔのＦＡＺ領域画像、図９ＤはＵｎｅｔ＿ＡＢのＦＡＺ領域画像、図９ＥはＵｎｅｔ＿ＡＢ＿１２８＿ｕｐサンプリング＿ＡｄｄのＦＡＺ領域画像、図９ＦはＬＷＢＮＡ＿ＵｎｅｔのＦＡＺ領域画像である。

【図10】実施形態としての生体画像処理装置のハードウェア構成例を模式的に示すブロック図である。

【図11】図１０に示した生体画像処理装置のソフトウェア構成例を模式的に示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。

【0012】

また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。

【0013】

図１は、実施形態としての生体画像処理を説明する図である。

【0014】

符号Ａ１に示すように、プログラムは、オリジナル画像として、網膜の光干渉断層撮影血管造影（ＯＣＴＡ）画像の入力を受け付ける（INPUT OCTA IMAGE）。

【0015】

符号Ａ２に示すように、プログラムは、ＯＣＴＡ画像から中心窩無血管帯（ＦＡＺ）領域をセグメンテーションして検出し、ＦＡＺパラメータを算出する（CALCULATE FAZ PARAMETERS）。ＦＡＺパラメータとしては、例えば、ＦＡＺ領域（FAZ_AREA）について、面積（例えば、0.4716 mm²），環状インデックス（Circularity Index；例えば、0.6404），円周長（Perimeter；3.04111 mm），上半分の円周長（Upper Half Detailed calculation of perimeter；例えば、1.6503 mm），下半分の円周長（Lower half Detailed calculation of perimeter；例えば、1.3908 mm），４つの象限の円周長（Perimeter with angle；例えば、0-90°で0.8164 mm, 90-180°で0.8339 mm, 180-270°で0.7101 mm, 270-360°で0.6808 mm）が算出されてよい。なお、環状インデックスは、値が1に近いほど正円であることを示し、値が0に近いほど直線であることを示す。プログラムは、ＦＡＺ領域の中心を決定し、ＦＡＺ領域の境界を上半分と下半分の二つの部分で分割することにより、上半分及び下半分の周囲を算出する。

【0016】

符号Ａ３に示すように、プログラムは、血管密度の算出を行う（Calculation of Vascular density）。血管密度の算出処理の詳細は、図２を用いて後述する。

【0017】

図２は、図１に示した血管密度の算出処理の詳細を説明する図である。

【0018】

符号Ａ３１に示すように、プログラムは、オリジナルのＯＣＴＡ画像（Original OCTA image）について、訓練されたDeep Learning（ＤＬ）モデルを用いて、画像を濃密化してデノイズ画像（Denoised image）を取得する。

【0019】

符号Ａ３２に示すように、プログラムは、デノイズ画像から二値画像（Binary image）を生成して、ＦＡＺ領域を含めた全画像血管密度%wiVD（例えば、40.1203）及びＦＡＺ領域を含めない全画像血管密度%wiVD_without_FAZ（例えば、42.3787）を算出する。

【0020】

符号Ａ３３に示すように、ＦＡＺ領域の中心は画像の中心点に正確にあるわけではないので、プログラムは、ＦＡＺ領域の中心を画像中心とする。そして、プログラムは、画像をＦＡＺ領域の中心から上半分と下半分とに分け、ＦＡＺ領域の有無で上下半分の血管密度（Upper and lower half Vascular）を算出する。図示する例では、ＦＡＺ領域を含む上半分の血管密度%UH_VDは39.7751であり、ＦＡＺ領域を含まない上半分の血管密度%UH_VD noFAZは42.3611であり、ＦＡＺ領域を含む下半分の血管密度%LH_VDは38.8605であり、ＦＡＺ領域を含まない下半分の血管密度%LH_VD noFAZは41.1779である。

【0021】

符号Ａ３４に示すように、プログラムは、中心周辺血管密度%pfVD（Para-Foveal Vascular density；例えば、40.8791）を算出する。

【0022】

符号Ａ３５に示すように、プログラムは、ＦＡＺ領域を含む中心窩血管密度%fVD（Foveal Vascular density with faz；例えば、28.1084）ＦＡＺ領域を含まない中心窩血管密度%fVD_without_ FAZ（Foveal Vascular density without faz；例えば、38.5901）を算出する。

【0023】

符号Ａ３６に示すように、プログラムは、ＦＡＺ領域の有無で６つの角度領域毎に、角度領域血管密度（Vascular density with angle）を算出する。例えば、ＦＡＺ領域を含む０～６０°の角度領域血管密度0-60 with FAZは35.8756であり、ＦＡＺ領域を含まない０～６０°の角度領域血管密度0-60 without FAZは39.0671である。

【0024】

図３は、実施形態における生体画像のセグメンテーション処理を説明する図である。

【0025】

生物医学画像セグメンテーションのために設計されたＤＬモデルとして、Ｕｎｅｔがある（例えば、非特許文献１を参照）。

【0026】

Ｕｎｅｔは、縮小経路（別言すれば、特徴点を抽出するためのエンコーダ）とスキップ結合をもつ拡大経路（別言すれば、イメージ再構成のためのデコーダ）とを有する。

【0027】

Ｕｎｅｔの構造は、関心領域を抽出するカスケード回帰神経ネットワーク（ＣＮＮ）に依存する。体節形成を促進する最も簡単な方法は、より多くの層を積み重ねてネットワークをより深くすることである。

【0028】

一般的に、ネットワークをより深くすることにより、多くのパラメータの乗算が発生し、より大きな計算力と貯蔵能力が必要となる。

【0029】

図３には、眼科画像のセグメンテーションのために設計した軽量ＤＬモデルのアーキテクチャが示されている。図３に示すセグメンテーション処理は、収縮，拡大及びボトルネック経路において、アテンションブロック（Attention Block）を伴うＵｎｅｔが利用される。

【0030】

符号Ｂ１に示す層において、入力（Input）画像のサイズは320×320で3チャネルであるのに対して、サイズは320×320のままであるがチャネル数が128に増加させられる。符号Ｂ２に示す層においてサイズが160×160に圧縮され、符号Ｂ３に示す層においてサイズが80×80に圧縮され、符号Ｂ４に示す層においてサイズが40×40に圧縮され、符号Ｂ５に示す層においてサイズが20×20に圧縮される。なお、各層において、チャネル数は128のままである。

【0031】

モデルパラメータは、収縮／拡張経路の両方で特徴チャネル／フィルタの数を128に固定し、コンカテネーション（スキップ接続に使用）をAdd層で置き換え、アップサンプリングで２Ｄ畳み込み演算層（conv2D, activation-sigmoid）を転置することによりトリミングしている。

【0032】

図３の各畳み込み演算ブロック（Conv-Block）は、同じパディングを有する3×3畳み込み演算の層から作られ、その後、バッチ正規化および活性化のための整流された線形ユニット（relu）が続く。そして、maxpooling/upsampling後に、脱落層を用いた。

【0033】

収縮経路及び拡張経路ともに特徴マップ層に注意を向けるにあたっては、squeeze and excitation（ＳＥ）ブロック（例えば、非特許文献２を参照）を修正することで作成したアテンションブロックを付加する。

【0034】

アテンションブロックでは、チャネルの全体的な平均化と、それに続く全結合層、reluおよびシグモイド関数による活性化、そして得られたウェイトの各チャネルへの乗算を行う。reluとシグモイド活性化の組み合わせはチャネルの注意の重みを0.5から1.0の間に制限する。すなわち、優先度が低いチャネルは抑制される。ここで、優先度が低いチャネルとは、ＦＡＺ領域の外形や血管部分等の特徴点が含まれていないチャネルである。特徴点が含まれていないチャネルが抑制されて、特徴点のみが多く含まれるようになった生体画像は、特徴画像と称されてよい。

【0035】

すなわち、優先度の低いチャネルはそれらを完全に排除する代わりに半分に抑制され、ネットワークは次の層でそれらの重要性を決定する可能性がある。Unetタイプのモデルでは、収縮経路及び拡張経路の中心における高レベルの特徴マップの絞り込みも、分割画像の正確な再構成において重要である。

【0036】

非特許文献２等においては、ボトルネックにおける特徴マップについて検討されていなかった。そこで、本実施形態では、ボトルネックに注目してチャネルの連続狭窄を導入した。ここでは、必要な分割画像をデコーダによって再構成するために必要な機能だけを許容する。これは、連続した層ブロックでチャネルの数を半分ずつ減らすことによって行われる。例えば、図３の符号Ｂ５に示すボトルネック（すなわち中間ブロック）では、チャネル数は4段階で128から16に減少している。スキップ接続とそれに続くアテンションブロックを用いて微調整し、さらにアップサンプリング前の全体的な特徴マップを強調する。

【0037】

中間ブロックから出力（Output）画像の生成までの拡張経路では、入力画像の収縮経路とは逆に、画像のチャネル数が128に維持されたままサイズが段階的に増加され、出力画像は入力画像と同様にサイズが320×320で3チャネルとなる。

【0038】

以下では、アテンションブロックを伴うボトルネック狭小化（ＢＮＡ）が、質の悪いＯＣＴＡ画像においてネットワークによって検出されたフェイクＦＡＺ領域の識別に著しく効果的であり、ＦＡＺの総合的なセグメンテーション精度の改善に役立つことを説明する。

【0039】

本実施形態では、重要な特徴点を抽出するために画像サイズの縮小、及びエンコーダネットワークによって正確なセグメント化画像を再構成するために、ボトルネックでのチャネル縮小を利用する。本実施形態では、このネットワークを、アテンションブロックを伴う軽量のボトルネック狭小化Ｕｎｅｔ（LWBNA_UNet）と称する。

【0040】

図４Ａは図３に示した畳み込み演算ブロックに対する処理を説明するフローチャートであり、図４Ｂは図３に示したアテンションブロックに対する処理を説明するフローチャートである。

【0041】

図４Ａにおいて、畳み込み演算ブロックは、アップサンプリングで２Ｄ畳み込み演算層（conv 2D, activation-sigmoid）に転置される（ステップＳ１１）。

【0042】

畳み込み演算ブロックは、バッチ正規化（Batch normalization）が行われる（ステップＳ１２）。

【0043】

畳み込み演算ブロックは、reluをアクティベーション（Activation -relu）する（ステップＳ１３）。そして、畳み込み演算ブロックに対する処理は終了する。

【0044】

図４Ｂにおいて、アテンションブロックは、チャネルの全体的な平均化（Global average pooling）を行う（ステップＳ２１）。

【0045】

アテンションブロックは、チャネルの高密度化（dense）を行う（ステップＳ２２）。

【0046】

アテンションブロックは、relu＋シグモイドのアクティベーション（ACTIVETION relu + SIGMOID）を行う（ステップＳ２３）。

【0047】

アクティベーションを行ったアテンションブロックとオリジナルのアテンションブロックとが乗算される（ステップＳ２４）。そして、アテンションブロックに対する処理は終了する。

【0048】

図５は、図３に示したセグメンテーション処理における収縮処理及び分類処理を説明する図である。

【0049】

符号Ｄ１に示すように、セグメンテーション処理へ入力されたブロックは、X-pix _* Y-pix * Fに収縮される。Mは画像サイズに応じた１以上の値であり、「-pix」はピクセルを表す。符号Ｄ２に示すように、ブロックは、更に、X-pix/2 * Y-pix/2 * 2*M*Fに収縮される。Fは画像サイズに応じた８以上の値である。符号Ｄ３に示すように、ブロックは、更に、X-pix/4 * Y-pix/4 * 4*M*Fに収縮される。符号Ｄ４に示すように、ブロックは、更に、X-pix/8 * Y-pix/8 * 8*M*Fに収縮される。

【0050】

符号Ｄ５に示すボトルネック（すなわち中間ブロック）では、チャネル数は4段階で8*M*F，4*M*F，2*M*F， M*Fに減少している。そして、符号Ｄ６に示すように、ＦＣ１レイヤー及びＦＣ２レイヤーが出力される。この出力は、Category-1, Category-2, Category-3, ・・・に分類されてよい。符号Ｄ６１に示す例（EXAMPLE 1）では、” Category-1 bad”，” Category-2 medium”及び”Category-3 good”の３つに分類されている。また、符号Ｄ６２に示す例（EXAMPLE 2）では、” Category-1 DH-”及び”Category-3 DH+”の２つに分類されている。なお、DH-は出血無しを表し、DH+は出欠有りを表す。

【0051】

図６は、実施形態としてのフェイクＦＡＺの除去処理を説明する図である。

【0052】

符号Ｃ１に示すように、ＤＬモデルに対する未知画像が入力される。

【0053】

符号Ｃ２に示すように、Ｕｎｅｔにおいて訓練ＤＬモデル（Unet Trained DL model）が参照される。

【0054】

符号Ｃ３に示すように、画像中心部のＦＡＺが補正されると共に、画像左下のフェィクＦＡＺが除去される。これにより、符号Ｃ４に示す画像が出力される。

【0055】

そして、符号Ｃ５に示すように、ＦＡＺパラメータが算出される。

【0056】

図７は、深層学習モデルの種類毎の性能を比較するテーブルである。

【0057】

本実施形態における軽量ＤＬモデル（LWBNA_Unet）において、ＯＣＴＡ画像におけるＦＡＺのセグメンテーションについて試験した。また、比較のために、アテンションブロックの有無別に標準Unetモデルを構築した。

【0058】

図７においては、訓練後に生成された出力ファイルの大きさ（File size）とともに、モデル中のパラメータの総数（Total parameters）のまとめを示している。ここでは、名称「Unet」は従来のUnetアーキテクチャを表す。「Unet_AB」は、従来のUnetアーキテクチャの収縮経路と拡張経路とに加えて、チャネル・アテンション・ブロックを用いている。モデルの平均値128または64は、2D回帰層ごとに一定のフィルタ数(128または64)を有している。いくつかのモデルではアップサンプリングを使用し、トランスポーズ畳み込み演算と連結層の代わりに層を追加し、トレーニング可能なパラメータの数を減少させる。

【0059】

図７では、訓練されたＤＬモデルの性能を、145のＯＣＴＡ画像のテストデータセットでテストした。手動で分割した画像とＤＬモデルで予測した画像との間でダイス類似係数(Dice coefficient；D)を計算した。最大の輪郭Dは、（複数のFAZ領域が存在する場合）予測画像における最大の分割領域を選択することによって計算される。標準偏差は標準偏差である。すべてのモデルは、一定のエポック数(500)について訓練された。

【0060】

図８は、深層学習モデルの種類毎のダイス類似係数を比較するグラフである。図９ＡはＯＣＴＡ画像であり、図９ＢはＧＴのＦＡＺ領域画像、図９ＣはＵｎｅｔのＦＡＺ領域画像、図９ＤはＵｎｅｔ＿ＡＢのＦＡＺ領域画像、図９ＥはＵｎｅｔ＿ＡＢ＿１２８＿ｕｐサンプリング＿ＡｄｄのＦＡＺ領域画像、図９ＦはＬＷＢＮＡ＿ＵｎｅｔのＦＡＺ領域画像である。

【0061】

図７の結果から、どのモデルがＦＡＺのセグメンテーションに最適であるかを判断することは困難である。そこで、ＤＬモデルで予測したＦＡＺ領域の細分化をボックスプロットを用いて解析し、図８に示す。各モデルは多くの外れ値を持ち、それらの拡散はUnet、Unet_AB、Unet_AB_upsampling,LWBNA_Unetに対して最小である。D≦0.94を持つ外れ数の最小数(18)はUnet_AB用であるのに対し、これらはUnetとLWBNA_Unetとで同じ(21)である。3つのモデルすべてにおいて、14の外れ値は、同じ平均Dが約0.917であり、共通している。これら14例の外れ値でDが低値を示した主な理由は、画像の不鮮明さとスキャンラインの多すぎる存在によるＦＡＺ境界の不明瞭さである。これらの画像におけるＦＡＺの正確な手動セグメンテーションは、人にとっても困難である。各モデルの残りの異常値（すなわち一般的ではない値）は、主に0.91～0.94の範囲のDを有しており、この場合もその理由は不鮮明な画像である。我々の観察では、Unet_ABとLWBNA_Unetとの両方とも、正確にＦＡＺをセグメント化することができる。

【0062】

図９Ａに示すＯＣＴＡ画像は、サイズが小さく、ＦＡＺ領域内に比較的強い粉様のノイズが存在するため、複雑なＦＡＺ境界を有する。Unet（図９Ｃ）、Unet_AB_128_upsampling_Add（図９Ｅ）から得られるDは、LWBNA_Unet（図９Ｆ）、Unet_AB（図９Ｄ）に比べて著しく低い。

【0063】

図１０は、実施形態としての生体画像処理装置１のハードウェア構成例を模式的に示すブロック図である。

【0064】

図１０に示すように、生体画像処理装置１（Biological image processing apparatus）は、サーバ機能を有し、ＣＰＵ１１，メモリ部１２（Memory unit），表示制御部１３（Display controller），記憶装置１４（Storage device），入力Interface（ＩＦ）１５（Input IF），外部記録媒体処理部１６（External recording medium processing unit）及び通信ＩＦ１７（Communication IF）を備える。

【0065】

メモリ部１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などである。メモリ部１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ部１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ部１２のＲＡＭは、一時記録メモリあるいはワーキングメモリとして利用されてよい。

【0066】

表示制御部１３は、表示装置１３１と接続され、表示装置１３１を制御する。表示装置１３１は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３１は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。本実施形態において、表示装置１３１は、セグメンテーションされた特徴画像に関する情報を表示する。なお、セグメンテーションされた特徴画像に関する情報の出力は、不図示の印刷装置等によって実現されてもよい。

【0067】

記憶装置１４は、高ＩＯ性能の記憶装置であり、例えば、Dynamic Random Access Memory（ＤＲＡＭ）やＳＳＤ，Storage Class Memory（ＳＣＭ），ＨＤＤが用いられてよい。

【0068】

入力ＩＦ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御してよい。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行う。

【0069】

外部記録媒体処理部１６は、記録媒体１６０が装着可能に構成される。外部記録媒体処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。

【0070】

通信ＩＦ１７は、外部装置（external apparatus）との通信を可能にするためのインタフェースである。

【0071】

ＣＰＵ１１は、プロセッサの一例であり、種々の制御や演算を行う処理装置である。ＣＰＵ１１は、メモリ部１２に読み込まれたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。

【0072】

生体画像処理装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、生体画像処理装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。

【0073】

図１１は、図１０に示した生体画像処理装置１のソフトウェア構成例を模式的に示すブロック図である。

【0074】

生体画像処理装置１のＣＰＵ１１は、抽出処理部１１１（Extraction processing unit），出力処理部１１２（Output processing unit）及び血管密度算出部１１３（Blood vessel density calculation unit）としての機能を有する。

【0075】

抽出処理部１１１は、入力された前記生体画像について、畳み込みブロックにチャネルを平均化するためのアテンションブロックを付加することにより、画像サイズの削減を行って特徴点を抽出する。また、抽出処理部１１１は、生体画像に含まれるセグメンテーションの対象部分の外形又は血管部分が含まれていない領域を優先的に削減することにより、特徴点を抽出してよい。

【0076】

出力処理部１１２は、畳み込みブロックにアテンションブロックが付加された状態で、チャネルを収縮させることにより、抽出した特徴点を含む生体画像をセグメンテーションした特徴画像に関する情報を出力する。また、出力処理部１１２は、チャネルを収縮させた後に、入力された生体画像のサイズまで拡張させて特徴画像を出力してよい。

【0077】

血管密度算出部１１３は、特徴画像に関する情報に基づき、眼球における一以上の領域毎に、血管密度を算出する。

【0078】

これにより、簡易な演算処理によって生体画像のセグメンテーションを正確に実施することができる。

【0079】

開示の技術は上述した各実施形態に限定されるものではなく、各実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。各実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0080】

上述した実施形態においては、眼球の生体画像からＦＡＺ領域をセグメンテーション処理する例を説明したが、これに限定されるものではない。実施形態におけるセグメンテーション処理は、実施形態におけるLWBNA_UNetに適用するＤＬモデルを変更することにより、種々の生体画像から特定部位をセグメンテーションするために用いることができる。例えば、生体の臓器を撮像した画像から癌細胞等の腫瘍をセグメンテーションするために用いられてよい。この場合には、腫瘍を有する臓器の画像がＤＬモデルとして実施形態におけるLWBNA_UNetに適用されてよい。

【符号の説明】

【0081】

１ ：生体画像処理装置
１１ ：ＣＰＵ
１２ ：メモリ部
１３ ：表示制御部
１４ ：記憶装置
１５ ：入力ＩＦ
１６ ：外部記録媒体処理部
１７ ：通信ＩＦ
１００ ：回路図
１０１ ：ｎｐｎ型トランジスタ
１０２ ：電圧ＶＧＧ
１０３ ：電圧ＶＤＤ
１０４ ：抵抗ＲＤ
１１１ ：抽出処理部
１１２ ：出力処理部
１１３ ：血管密度算出部
１３１ ：表示装置
１５１ ：マウス
１５２ ：キーボード
１６０ ：記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】