特許 7439990 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】医療画像処理装置、医療画像処理プログラム、および医療画像処理方法

(51)【国際特許分類】

   A61B 3/10 20060101AFI20240220BHJP

   G06T 7/00 20170101ALI20240220BHJP

【ＦＩ】

A61B3/10 100

G06T7/00 612

G06T7/00 350B

【請求項の数】 12

(21)【出願番号】P 2023510719

(86)(22)【出願日】2022-03-04

(86)【国際出願番号】 JP2022009329

(87)【国際公開番号】W WO2022209574

(87)【国際公開日】2022-10-06

【審査請求日】2023-09-01

(31)【優先権主張番号】P 2021059329

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】柴 涼介

(72)【発明者】

【氏名】熊谷 佳紀

【審査官】北島 拓馬

(56)【参考文献】

【文献】国際公開第２０２０／０２６５３５（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０３６１８２（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１３７６７８（ＷＯ，Ａ１）

【文献】特開２０２０－１２１０３７（ＪＰ，Ａ）

【文献】特開２０２１－０３７１７７（ＪＰ，Ａ）

【文献】特開２０２１－０３７２３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３２７６６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００ － ３／１８

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

生体組織の三次元画像のデータを処理する医療画像処理装置であって、
前記医療画像処理装置の制御部は、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像から、一部の領域である第１領域を抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
前記三次元画像の全領域のうち、前記抽出ステップにおいて前記第１領域として抽出されなかった第２領域における前記特定の構造を、前記第１領域に対して前記数学モデルによって出力された前記特定の構造の検出結果に基づいて検出する第２構造検出ステップと、
を実行することを特徴とする医療画像処理装置。

【請求項2】

生体組織の三次元画像のデータを処理する医療画像処理装置であって、
前記医療画像処理装置の制御部は、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像を構成する複数の二次元画像の各々から、一部の領域である第１領域を抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を実行することを特徴とする医療画像処理装置。

【請求項3】

生体組織の三次元画像のデータを処理する医療画像処理装置であって、
前記医療画像処理装置の制御部は、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を実行し、
前記制御部は、
前記三次元画像に含まれる前記複数の二次元画像のうち、一部の基準画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップを実行した後に、
前記複数の二次元画像のうち、前記基準画像との間の類似度が閾値未満である二次元画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップを実行することを特徴とする医療画像処理装置。

【請求項4】

生体組織の三次元画像のデータを処理する医療画像処理装置であって、
前記医療画像処理装置の制御部は、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を実行し、
前記制御部は、前記抽出ステップにおいて、
前記三次元画像の画像領域内に注目位置を設定し、
設定した前記注目位置を基準として、複数の二次元画像の抽出パターンを設定し、
前記三次元画像から、設定した抽出パターンに合致する複数の二次元画像を、前記第１領域として抽出することを特徴とする医療画像処理装置。

【請求項5】

生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像から、一部の領域である第１領域を抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
前記三次元画像の全領域のうち、前記抽出ステップにおいて前記第１領域として抽出されなかった第２領域における前記特定の構造を、前記第１領域に対して前記数学モデルによって出力された前記特定の構造の検出結果に基づいて検出する第２構造検出ステップと、
を前記医療画像処理装置に実行させることを特徴とする医療画像処理プログラム。

【請求項6】

生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像を構成する複数の二次元画像の各々から、一部の領域である第１領域を抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を前記医療画像処理装置に実行させることを特徴とする医療画像処理プログラム。

【請求項7】

生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を前記医療画像処理装置に実行させ、
前記三次元画像に含まれる前記複数の二次元画像のうち、一部の基準画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行された後に、
前記複数の二次元画像のうち、前記基準画像との間の類似度が閾値未満である二次元画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行されることを特徴とする医療画像処理プログラム。

【請求項8】

生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
組織の三次元画像を取得する画像取得ステップと、
取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、
機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を前記医療画像処理装置に実行させ、
前記抽出ステップにおいて、
前記三次元画像の画像領域内に注目位置が設定され、
設定された前記注目位置を基準として、複数の二次元画像の抽出パターンが設定され、
前記三次元画像から、設定された抽出パターンに合致する複数の二次元画像が、前記第１領域として抽出されることを特徴とする医療画像処理プログラム。

【請求項9】

生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、
前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、
前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、
前記第１画像処理装置が、前記三次元画像から、一部の領域である第１領域を抽出する抽出ステップと、
前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、
前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
前記第２画像処理装置が、前記三次元画像の全領域のうち、前記抽出ステップにおいて前記第１領域として抽出されなかった第２領域における前記特定の構造を、前記第１領域に対して前記数学モデルによって出力された前記特定の構造の検出結果に基づいて検出する第２構造検出ステップと、
を含むことを特徴とする医療画像処理方法。

【請求項10】

生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、
前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、
前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、
前記第１画像処理装置が、前記三次元画像を構成する複数の二次元画像の各々から、一部の領域である第１領域を抽出する抽出ステップと、
前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、
前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を含むことを特徴とする医療画像処理方法。

【請求項11】

生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、
前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、
前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、
前記第１画像処理装置が、前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、
前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、
前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を含み、
前記三次元画像に含まれる前記複数の二次元画像のうち、一部の基準画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行された後に、
前記複数の二次元画像のうち、前記基準画像との間の類似度が閾値未満である二次元画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行されることを特徴とする医療画像処理方法。

【請求項12】

生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、
前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、
前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、
前記第１画像処理装置が、前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、
前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、
前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、
を含み、
前記抽出ステップにおいて、
前記三次元画像の画像領域内に注目位置が設定され、
設定された前記注目位置を基準として、複数の二次元画像の抽出パターンが設定され、
前記三次元画像から、設定された抽出パターンに合致する複数の二次元画像が、前記第１領域として抽出されることを特徴とする医療画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生体組織の画像のデータを処理する医療画像処理装置、医療画像処理装置において実行される医療画像処理プログラム、および、医療画像処理方法に関する。

【背景技術】

【0002】

従来、画像に写っている組織の構造（例えば、層、複数の層の境界、および、組織中の特定部位等の少なくともいずれか）を検出するための種々の技術が提案されている。例えば、畳み込みニューラルネットワークを用いて、各画素がどの層に属するかを画素毎にマッピングし、マッピングの結果に基づいて各層の境界を検出する技術等が知られている。

【0003】

畳み込みニューラルネットワークを利用する場合、高い精度で組織の構造を検出することができるが、画像処理を用いる従来の手法に比べて演算量が多い。従って、三次元画像のデータ（「ボリュームデータ」と言われる場合もある）から組織の構造を検出する場合には、処理するデータの量が膨大となるので、処理時間を短縮できることが望ましい。非特許文献１では、ＣＰＵよりも高い計算能力を有するＧＰＵを使用して、ニューラルネットワークによる眼底の層のセグメンテーションを行うことで、処理時間の短縮化を図っている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｓｖｅｔｌａｎａ Ｂｏｒｋｏｖｋｉｎａ， Ａｃｎｅｒ Ｃａｍｉｎｏ， ｅｔ ａｌ． “Ｒｅａｌ－ｔｉｍｅ ｒｅｔｉｎａｌ ｌａｙｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ＯＣＴ ｖｏｌｕｍｅｓ ｗｉｔｈ ＧＰＵ ａｃｃｅｌｅｒａｔｅｄ ｉｎｆｅｒｅｎｃｉｎｇ ｕｓｉｎｇ ａ ｃｏｍｐｒｅｓｓｅｄ， ｌｏｗ－ｌａｔｅｎｃｙ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ” Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ Ｖｏｌ．１１ Ｉｓｓｕｅ ７， ＰＰ．３９６８－３９８４（２０２０）

【発明の概要】

【0005】

しかしながら、処理を実行する環境等によっては、高い計算能力を有するＧＰＵ等のコントローラ（以下、「高性能コントローラ」という）を使用できない場合も多い。そもそも、高性能コントローラは高価である。従って、三次元画像から組織の構造を検出する際に、高い検出精度を保ちつつ演算量を削減することができれば、非常に有用である。

【0006】

本開示の典型的な目的は、三次元画像から組織の構造を検出する際に、高い検出精度を保ちつつ演算量を削減することが可能な医療画像処理装置、医療画像処理プログラム、および医療画像処理方法を提供することである。

【0007】

本開示における典型的な実施形態が提供する医療画像処理装置の第１態様は、生体組織の三次元画像のデータを処理する医療画像処理装置であって、前記医療画像処理装置の制御部は、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像から、一部の領域である第１領域を抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、前記三次元画像の全領域のうち、前記抽出ステップにおいて前記第１領域として抽出されなかった第２領域における前記特定の構造を、前記第１領域に対して前記数学モデルによって出力された前記特定の構造の検出結果に基づいて検出する第２構造検出ステップと、を実行する。
本開示における典型的な実施形態が提供する医療画像処理装置の第２態様は、生体組織の三次元画像のデータを処理する医療画像処理装置であって、前記医療画像処理装置の制御部は、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像を構成する複数の二次元画像の各々から、一部の領域である第１領域を抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を実行する。
本開示における典型的な実施形態が提供する医療画像処理装置の第３態様は、生体組織の三次元画像のデータを処理する医療画像処理装置であって、前記医療画像処理装置の制御部は、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を実行し、前記制御部は、前記三次元画像に含まれる前記複数の二次元画像のうち、一部の基準画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップを実行した後に、前記複数の二次元画像のうち、前記基準画像との間の類似度が閾値未満である二次元画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップを実行する。
本開示における典型的な実施形態が提供する医療画像処理装置の第４態様は、生体組織の三次元画像のデータを処理する医療画像処理装置であって、前記医療画像処理装置の制御部は、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を実行し、前記制御部は、前記抽出ステップにおいて、前記三次元画像の画像領域内に注目位置を設定し、設定した前記注目位置を基準として、複数の二次元画像の抽出パターンを設定し、前記三次元画像から、設定した抽出パターンに合致する複数の二次元画像を、前記第１領域として抽出する。

【0008】

本開示における典型的な実施形態が提供する医療画像処理プログラムの第１態様は、生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像から、一部の領域である第１領域を抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、前記三次元画像の全領域のうち、前記抽出ステップにおいて前記第１領域として抽出されなかった第２領域における前記特定の構造を、前記第１領域に対して前記数学モデルによって出力された前記特定の構造の検出結果に基づいて検出する第２構造検出ステップと、を前記医療画像処理装置に実行させる。
本開示における典型的な実施形態が提供する医療画像処理プログラムの第２態様は、生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像を構成する複数の二次元画像の各々から、一部の領域である第１領域を抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を前記医療画像処理装置に実行させる。
本開示における典型的な実施形態が提供する医療画像処理プログラムの第３態様は、生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を前記医療画像処理装置に実行させ、前記三次元画像に含まれる前記複数の二次元画像のうち、一部の基準画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行された後に、前記複数の二次元画像のうち、前記基準画像との間の類似度が閾値未満である二次元画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行される。
本開示における典型的な実施形態が提供する医療画像処理プログラムの第４態様は、生体組織の三次元画像のデータを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、組織の三次元画像を取得する画像取得ステップと、取得された前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに、前記抽出ステップにおいて抽出された前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を前記医療画像処理装置に実行させ、前記抽出ステップにおいて、前記三次元画像の画像領域内に注目位置が設定され、設定された前記注目位置を基準として、複数の二次元画像の抽出パターンが設定され、前記三次元画像から、設定された抽出パターンに合致する複数の二次元画像が、前記第１領域として抽出される。

【0009】

本開示における典型的な実施形態が提供する医療画像処理方法の第１態様は、生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、前記第１画像処理装置が、前記三次元画像から、一部の領域である第１領域を抽出する抽出ステップと、前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、前記第２画像処理装置が、前記三次元画像の全領域のうち、前記抽出ステップにおいて前記第１領域として抽出されなかった第２領域における前記特定の構造を、前記第１領域に対して前記数学モデルによって出力された前記特定の構造の検出結果に基づいて検出する第２構造検出ステップと、を含む。
本開示における典型的な実施形態が提供する医療画像処理方法の第２態様は、生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、前記第１画像処理装置が、前記三次元画像を構成する複数の二次元画像の各々から、一部の領域である第１領域を抽出する抽出ステップと、前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を含む。
本開示における典型的な実施形態が提供する医療画像処理方法の第３態様は、生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、前記第１画像処理装置が、前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を含み、前記三次元画像に含まれる前記複数の二次元画像のうち、一部の基準画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行された後に、前記複数の二次元画像のうち、前記基準画像との間の類似度が閾値未満である二次元画像を前記第１領域として前記抽出ステップおよび前記第１構造検出ステップが実行される。
本開示における典型的な実施形態が提供する医療画像処理方法の第４態様は、生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される医療画像処理方法であって、前記医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含み、前記第１画像処理装置が、組織の三次元画像を取得する画像取得ステップと、前記第１画像処理装置が、前記三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出する抽出ステップと、前記第１画像処理装置が、前記抽出ステップにおいて抽出された前記第１領域を前記第２画像処理装置に送信する送信ステップと、前記第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る前記組織の特定の構造の検出結果を出力する数学モデルに前記第１領域を入力することで、前記第１領域における前記特定の構造の検出結果を取得する第１構造検出ステップと、を含み、前記抽出ステップにおいて、前記三次元画像の画像領域内に注目位置が設定され、設定された前記注目位置を基準として、複数の二次元画像の抽出パターンが設定され、前記三次元画像から、設定された抽出パターンに合致する複数の二次元画像が、前記第１領域として抽出される。

【0010】

本開示に係る医療画像処理装置、医療画像処理プログラム、および医療画像処理方法によると、光をスキャンすることで生成される生体組織の画像の歪みが適切に補正される。

【0011】

本開示で例示する医療画像処理装置は、生体組織の三次元画像のデータを処理する。医療画像処理装置の制御部は、画像取得ステップ、抽出ステップ、および第１構造検出ステップを実行する。画像取得ステップでは、制御部は組織の三次元画像を取得する。抽出ステップでは、制御部は、画像取得ステップにおいて取得された三次元画像から、一部の領域である第１領域を抽出する。第１構造検出ステップでは、制御部は、数学モデルに第１領域を入力することで、第１領域における特定の構造の検出結果を取得する。数学モデルは、機械学習アルゴリズムによって訓練されており、入力された画像（本実施形態では、三次元画像から抽出された第１領域の画像）に写る組織の特定の構造の検出結果を出力する。

【0012】

本開示に係る技術によると、三次元画像の全体から、一部の領域である第１領域が抽出され、抽出された第１領域に対して数学モデルによる特定の構造の検出処理が実行される。その結果、三次元画像の全体に対して数学モデルによる処理が実行される場合に比べて、機械学習アルゴリズムを利用した処理の演算量が適切に減少する。なお、以下の説明では、第１領域に対して数学モデルによって実行される構造の検出処理を、「第１構造検出処理」という場合もある。

【0013】

画像から検出する対象とする組織の構造は、適宜選択できる。例えば、画像が眼科画像である場合には、検出対象とする構造は、被検眼の眼底組織の層、眼底組織の層の境界、眼底に存在する視神経乳頭、前眼部組織の層、前眼部組織の層の境界、および、被検眼の疾患部位の少なくともいずれかであってもよい。

【0014】

また、三次元画像を撮影（生成）する撮影装置には、種々の装置を使用することができる。例えば、光コヒーレンストモグラフィの原理を利用して組織の断層画像を撮影するＯＣＴ装置を使用することができる。ＯＣＴ装置による撮影方法には、例えば、光（測定光）のスポットを二次元状に走査させて三次元断層画像を取得する方法、または、一次元方向に延びる光を走査させて三次元断層画像を取得する方法（所謂ラインフィールドＯＣＴ）等を採用できる。また、ＭＲＩ（磁気共鳴画像診断）装置、またはＣＴ（コンピュータ断層撮影）装置等が使用されてもよい。

【0015】

制御部は、第２構造検出ステップをさらに実行してもよい。第２構造検出ステップでは、制御部は、三次元画像の全領域のうち、抽出ステップにおいて第１領域として抽出されなかった第２領域における特定の構造を、第１領域に対して数学モデルによって出力された特定の構造の検出結果に基づいて検出する。

【0016】

この場合、第１領域における構造に加えて、第２領域における構造も検出されるので、三次元画像中の特定の構造がより高い精度で検出される。また、第２領域における特定の構造の検出には、第１領域に対して数学モデルによって出力された検出結果が利用される。従って、第２領域における構造の検出処理の演算量は、第１領域における構造の検出処理の演算量よりも少なくなる。よって、処理の演算量が増加することが抑制された状態で、第１領域および第２領域の各々に対する構造の検出処理が実行される。なお、以下の説明では、第１構造検出処理の検出結果に基づいて実行される、第２領域における構造の検出処理を、「第２構造検出処理」という場合もある。

【0017】

なお、第２構造検出ステップを実行する際の具体的な方法（つまり、第２構造検出処理の具体的な方法）は、適宜選択できる。例えば、制御部は、第１領域を構成する各画素に対する構造の検出結果および画素情報（例えば輝度値等）と、第２領域を構成する各画素の画素情報とを比較することで、第２領域における構造の検出結果を算出してもよい。この場合、第２領域を構成する各画素と、参照する第１領域（例えば、対象の第２領域に最も近い第１領域等）を構成する各画素の位置関係が考慮されてもよい。例えば、第１領域内の複数の画素のうち、第２領域における注目画素からの距離の近さがｎ番目以内の画素に関する検出結果および画素情報が、注目画素の画素情報と比較されてもよい。また、制御部は、第２領域の注目画素についての構造の検出結果を、注目画素の周辺に位置する第１領域の画素に関する構造の検出結果に基づいて、補間処理によって算出してもよい。

【0018】

制御部は、抽出ステップにおいて、三次元画像を構成する複数の二次元画像の各々から第１領域を抽出してもよい。この場合、各々の二次元画像の全領域に対して数学モデルによる構造の検出処理が行われる場合に比べて、処理の演算量が適切に減少する。

【0019】

抽出ステップでは、制御部は、二次元画像を構成する複数の画素列の各々を、類似度に基づいて複数のグループのいずれかに分類し、複数のグループの各々を代表する画素列を第１領域として抽出してもよい。第１構造検出ステップでは、制御部は、抽出ステップにおいて第１領域として抽出された画素列を、数学モデルに入力してもよい。この場合、１つのグループに多数の画素列が分類された場合でも、グループを代表する１つまたは少数の画素列に対して、数学モデルによる構造の検出処理が実行される。従って、数学モデルを用いた処理の演算量が適切に減少する。

【0020】

なお、画素列が延びる方向は、適宜規定すればよい。例えば、三次元画像がＯＣＴ装置によって撮影される場合、三次元画像の構成する複数の二次元画像のうち、ＯＣＴ光の光軸に沿う方向の画素列をＡスキャン画像と言う場合がある。この場合、二次元画像を構成する複数のＡスキャン画像の各々が、複数のグループのいずれかに分類されてもよい。また、Ａスキャン画像に対して垂直に交差する複数の画素列の各々が、複数のグループのいずれかに分類されてもよい。

【0021】

第１構造検出処理に加えて、前述した第２構造検出処理を実行することも可能である。この場合、制御部は、各々のグループから第１領域として検出されなかった画素列（つまり、第２領域）における特定の構造を、同一のグループの第１領域についての数学モデルによる構造の検出結果に基づいて検出してもよい。前述したように、同一のグループに分類された複数の画素列の類似度は高い。従って、第１構造検出処理と第２構造検出処理がグループ毎に実行されることで、第２構造検出処理の精度がさらに向上する。

【0022】

また、複数のグループの各々を代表する画素列を第１領域として抽出するための具体的な方法も、適宜選択できる。例えば、制御部は、各々のグループに分類された複数の画素列に対して加算平均処理を行うことで得られた画素列を、第１領域として抽出してもよい。また、制御部は、各々のグループに属する複数の画素列から、所定の規則に従って、またはランダムに第１領域を抽出してもよい。この場合、各々のグループから抽出される第１領域の数は、１つであってもよいし、複数（ただし、グループに属する画素列の数よりも少ない数）であってもよい。

【0023】

ただし、二次元画像を構成する複数の画素列を単位として構造を検出する方法は、画素列を複数のグループに分類する方法のみに限定されない。例えば、制御部は、二次元画像を構成する複数の画素列から、一定間隔毎に、第１領域として画素列を抽出してもよい。この場合、制御部は、第１方向に並ぶ複数の画素列から第１領域を抽出する処理と、第１方向に対して垂直な第２方向に並ぶ複数の画素列から第１領域を抽出する処理を、共に実行してもよい。

【0024】

三次元画像は、複数の二次元画像が、各々の二次元画像の画像領域に対して交差する方向に順に並べられることで構成されていてもよい。制御部は、抽出ステップにおいて、複数の二次元画像の各々から、組織が写る矩形の像領域を第１領域として抽出してもよい。この場合、組織が写っていない領域は、数学モデルによって特定の組織を検出する対象とする領域から除外される。従って、数学モデルを用いた処理の演算量が適切に減少する。

【0025】

抽出ステップでは、制御部は、複数の二次元画像のうち、一部の基準画像を数学モデルに入力することで、基準画像の像領域を検出してもよい。制御部は、複数の二次元画像のうち、基準画像以外の二次元画像の像領域を、基準画像の像領域の検出結果に基づいて第１領域として抽出してもよい。この場合、基準画像の像領域が、数学モデルによって高精度で検出される。また、基準画像以外の二次元画像の像領域が、基準画像の像領域の検出結果に基づいて少ない演算量で検出される。よって、より適切に像領域が検出される。

【0026】

なお、基準画像の像領域の検出結果に基づいて、他の二次元画像の像領域を抽出する方法は、適宜選択できる。例えば、制御部は、基準画像を構成する各画素に対する像領域の検出結果および画素情報と、他の二次元画像を構成する各画素の画素情報とを比較することで、他の二次元画像の像領域を抽出してもよい。この場合、基準画像を構成する各画素と、他の二次元画像を構成する各画素の位置関係が考慮されてもよい。

【0027】

ただし、各々の二次元画像から像領域を抽出する方法を変更することも可能である。例えば、制御部は、二次元画像を構成する各画素の画素情報に基づいて像領域を抽出してもよい。一例として、制御部は、二次元画像の画像領域のうち、画素の輝度が閾値以上となっている領域を、像領域として検出してもよい。

【0028】

制御部は、各々の二次元画像を構成する複数の画素列の間で像の位置合わせを行う二次元画像内位置合わせステップをさらに実行してもよい。第１構造検出ステップでは、二次元画像内位置合わせステップおよび抽出ステップで位置合わせと抽出が行われた矩形の第１領域が、数学モデルに入力されてもよい。この場合、二次元画像内位置合わせステップと抽出ステップが共に実行されることで、矩形の第１領域内に像が適切に収まり、且つ、矩形の第１領域の大きさが小さくなり易い。従って、少ない演算量で適切に構造が検出される。

【0029】

なお、二次元画像内位置合わせステップと抽出ステップは、いずれが先に実行されてもよい。つまり、複数の画素列の間で像の位置合わせが行われた後に、矩形の像領域が第１領域として抽出されてもよい。また、像領域が第１領域として検出された後に、複数の画素列の間で像の位置合わせが行われることで、第１領域の形状が矩形に調整されてもよい。

【0030】

制御部は、複数の二次元画像の間で像の位置合わせを行う二次元画像間位置合わせステップをさらに実行してもよい。この場合、種々の面で処理が効率化される。例えば、制御部は、１つの二次元画像（第２領域）における特定の構造を、他の二次元画像（第１領域）に対する第１構造検出処理の結果に基づいて検出する際に、複数の二次元画像の間で像の位置合わせが行われていれば、互いの二次元画像間で座標が近似する画素同士を比較することで、第２領域における構造をより適切に検出することができる。

【0031】

なお、二次元画像間位置合わせステップと抽出ステップは、いずれが先に実行されてもよい。また、二次元画像内位置合わせステップと二次元画像間位置合わせステップも、いずれが先に実行されてもよい。

【0032】

制御部は、抽出ステップにおいて、三次元画像に含まれる複数の二次元画像のうちの一部を第１領域として抽出してもよい。この場合、三次元画像を構成する全ての二次元画像に対して数学モデルによる構造の検出処理が行われる場合に比べて、処理の演算量が適切に減少する。

【0033】

制御部は、三次元画像に含まれる複数の二次元画像のうち、一部の基準画像を第１領域として抽出ステップおよび第１構造検出ステップを実行してもよい。その後、制御部は、複数の二次元画像のうち、基準画像との間の類似度が閾値未満である二次元画像を第１領域として抽出ステップおよび第１構造検出ステップを実行してもよい。制御部は、以上の処理を繰り返し実行してもよい。

【0034】

例えば、三次元画像を構成する複数の二次元画像から、一定間隔毎に二次元画像を第１領域として抽出することも可能である。しかし、この場合、構造の変化が激しい部分でも、第１領域は一定間隔毎に抽出されるのみである。その結果、構造の検出精度が低下する可能性がある。これに対し、第１構造検出処理が実行された基準画像との間の類似度を用いて第１領域を抽出すると、構造の変化が激しい部分では密に第１領域が抽出される。よって、構造の検出精度が向上する。

【0035】

ただし、二次元画像を単位として第１領域を抽出する方法は、基準画像との間の類似度を用いて抽出する方法に限定されない。例えば、制御部は、三次元画像を構成する複数の二次元画像から、一定間隔毎に、第１領域として二次元画像を抽出してもよい。

【0036】

抽出ステップにおいて、制御部は、三次元画像の画像領域内に注目位置を設定してもよい。制御部は、設定した注目位置を基準として、複数の二次元画像の抽出パターンを設定してもよい。制御部は、三次元画像から、設定した抽出パターンに合致する複数の二次元画像を、第１領域として抽出してもよい。この場合、注目位置を基準とした抽出パターンに従って、複数の二次元画像が第１領域として抽出される。従って、注目部位に対応した適切な態様で、三次元画像から特定の構造が検出される。

【0037】

なお、注目部位を設定するための具体的な方法は、適宜選択できる。例えば、制御部は、ユーザによって入力された指示に応じて、三次元画像の画像領域内に注目位置を設定してもよい。この場合、ユーザが注目する位置を基準として適切に第１領域が抽出される。また、制御部は、三次元画像中の特定部位（例えば、特定の構造が存在する部位、または、疾患が存在する部位等）を検出し、検出した特定部位を注目位置に設定してもよい。この場合、制御部は、公知の画像処理等によって特定部位を検出してもよい。また、特定部位を検出するための数学モデルが利用されてもよい。

【0038】

また、複数の二次元画像の抽出パターンも適宜選択できる。例えば、画像の撮影光軸に沿う方向から三次元画像を見た場合に、抽出される二次元画像が横断するラインが注目位置を中心とする放射状となるように、抽出パターンが設定されてもよい。また、注目位置に近い程、第１領域として抽出される二次元画像が密になるように、抽出パターンが設定されてもよい。

【0039】

以上説明した種々の方法は一例に過ぎない。従って、上記の方法に変更を加えることも可能である。例えば、制御部は、三次元画像が撮影された際の撮影条件（例えば、撮影部位、撮影方式、および撮影画角等の少なくともいずれか）に応じて、第１領域の抽出方法を変更してもよい。また、制御部は、医療画像処理装置の制御部の処理能力に応じて、第１領域の抽出方法を変更してもよい。

【0040】

本開示で例示する医療画像処理方法は、生体組織の三次元画像のデータを処理する医療画像処理システムにおいて実行される。医療画像処理システムは、ネットワークを介して互いに接続された第１画像処理装置および第２画像処理装置を含む。医療画像処理方法は、画像取得ステップ、抽出ステップ、送信ステップ、および第１構造検出ステップを含む。画像取得ステップでは、第１画像処理装置が組織の三次元画像を取得する。抽出ステップでは、第１画像処理装置が、三次元画像から一部の領域である第１領域を抽出する。送信ステップでは、第１画像処理装置が、抽出ステップにおいて抽出された第１領域を第２画像処理装置に送信する。第１構造検出ステップでは、第２画像処理装置が、機械学習アルゴリズムによって訓練されており、且つ、入力された画像に写る組織の特定の構造の検出結果を出力する数学モデルに第１領域を入力することで、第１領域における特定の構造の検出結果を取得する。

【0041】

この場合、機械学習アルゴリズムによって訓練された数学モデルを実行するためのプログラムが、第１画像処理装置に組み込まれていない場合でも、第１画像処理装置と第２画像処理装置がネットワークを介して接続されていれば、前述した種々の処理が適切に実行される。

【0042】

第１画像処理装置と第２画像処理装置の具体的な態様は、適宜選択できる。例えば、第１画像処理装置は、ＰＣ、携帯端末、および医療画像撮影装置等の少なくともいずれかであってもよい。第１画像処理装置は、被検者の診断または検査等を行う施設に配置されてもよい。また、第２画像処理装置は、サーバ（例えばクラウドサーバ等）であってもよい。

【0043】

なお、第２画像処理装置は、第１構造検出ステップによる構造の検出結果を第１画像処理装置に出力する出力ステップを実行してもよい。第１画像処理装置は、三次元画像の全領域のうち、抽出ステップにおいて第１領域として抽出されなかった第２領域における特定の構造を、第１領域に対して数学モデルによって出力された特定の構造の検出結果に基づいて検出する第２構造検出ステップをさらに実行してもよい。この場合、第１構造検出処理と第２構造検出処理の各々が、医療画像処理システム内で適切に実行される。

【図面の簡単な説明】

【0044】

【図1】数学モデル構築装置１、医療画像処理装置２１、および医療画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。

【図2】眼底の二次元断層画像である訓練用画像３０の一例を示す図である。

【図3】図２に示す訓練用画像３０に写る組織の特定の構造を示す出力データ３１の一例を示す図である。

【図4】医療画像撮影装置１１Ｂが生体の組織５０の三次元画像を撮影する方法を説明するための説明図である。

【図5】複数の二次元画像６１によって三次元画像が構成されている状態を説明するための説明図である。

【図6】医療画像処理装置２１が実行する第１検出処理のフローチャートである。

【図7】二次元画像６１中の複数のＡスキャン画像を複数のグループに分類した状態を説明するための説明図である。

【図8】医療画像処理装置２１が実行する第２検出処理のフローチャートである。

【図9】基準画像６１Ａの像領域に基づいて二次元画像６１Ｂの像領域を抽出する方法の一例を説明するための説明図である。

【図10】医療画像処理装置２１が実行する第３検出処理のフローチャートである。

【図11】位置合わせが行われる前後の二次元画像を比較した図である。

【図12】医療画像処理装置２１が実行する第４検出処理のフローチャートである。

【図13】第４検出処理を説明するための参考図である。

【図14】医療画像処理装置２１が実行する第５検出処理のフローチャートである。

【図15】三次元画像中に注目位置７３と抽出パターン７５が設定された状態の一例を示す図である。

【図16】変形例に係る医療画像処理システム１００の概略構成を示すブロック図である。

【発明を実施するための形態】

【0045】

以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、医療画像処理装置２１、および医療画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された画像に基づいて、画像に写る組織の特定の構造の検出結果を出力する。医療画像処理装置２１は、数学モデルを用いて、画像に写る組織の特定の構造を検出する。医療画像撮影装置１１Ａ，１１Ｂは、生体組織（本実施形態では、被検眼の眼底組織）の画像を撮影する。

【0046】

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、医療画像撮影装置１１Ａから取得した画像（以下、「入力データ」という）と、入力データにおける組織の特定の構造を示す出力データとを利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、医療画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、医療画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0047】

また、本実施形態の医療画像処理装置２１にはＰＣが用いられる。しかし、医療画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、医療画像撮影装置１１Ｂまたはサーバ等が、医療画像処理装置２１として機能してもよい。医療画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂが医療画像処理装置２１として機能する場合、医療画像撮影装置１１Ｂは、生体組織の三次元画像を撮影しつつ、撮影した三次元画像の組織における特定の構造を適切に検出することができる。また、タブレット端末またはスマートフォン等の携帯端末が、医療画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、医療画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

【0048】

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、医療画像処理装置２１または医療画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、医療画像撮影装置１１Ａおよび医療画像処理装置２１等）と接続する。

【0049】

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0050】

数学モデル構築装置１は、医療画像撮影装置１１Ａから画像のデータ（以下、単に「画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、医療画像撮影装置１１Ａから画像のデータを取得してもよい。

【0051】

医療画像処理装置２１について説明する。医療画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。医療画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する医療画像処理（第１検出処理～第５検出処理）を実行するための医療画像処理プログラムが記憶されている。医療画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、医療画像処理装置２１を他のデバイス（例えば、医療画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

【0052】

医療画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

【0053】

医療画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、医療画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

【0054】

医療画像撮影部１６は、生体組織の画像（本実施形態では、被検眼の眼科画像）を撮影するために必要な各種構成を備える。本実施形態の医療画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。

【0055】

医療画像撮影装置１１は、生体組織（本実施形態では被検眼の眼底）の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する（この詳細は後述する）。

【0056】

（数学モデル構築処理）
図２および図３を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。数学モデル構築処理では、複数の訓練データによって数学モデルが訓練されることで、画像に写る組織における特定の構造の検出結果を出力する数学モデルが構築される。訓練データには、入力データと出力データが含まれる。

【0057】

まず、ＣＰＵ３は、医療画像撮影装置１１Ａによって撮影された画像である訓練用画像のデータを、入力データとして取得する。本実施形態では、訓練用画像のデータは、医療画像撮影装置１１Ａによって生成された後、数学モデル構築装置１によって取得される。しかし、ＣＰＵ３は、訓練用画像を生成する基となる信号（例えばＯＣＴ信号）を医療画像撮影装置１１Ａから取得し、取得した信号に基づいて訓練用画像を生成することで、訓練用画像のデータを取得してもよい。

【0058】

なお、本実施形態では、画像から検出する対象とする組織の構造は、被検眼の眼底組織
の層、および、眼底組織の層の境界の少なくともいずれか（以下、単に「層・境界」という）である。この場合、訓練用画像として、被検眼の眼底組織の画像が取得される。詳細には、数学モデル構築処理では、医療画像処理装置２１において画像から構造を検出される際に、数学モデルに入力される画像の態様に応じて、訓練用画像の態様が変化する。例えば、構造（眼底の層・境界）を検出するために数学モデルに入力される画像が二次元画像（眼底の二次元断層画像）であれば、数学モデル構築処理でも、二次元画像（眼底の二次元断層画像）が訓練用画像として用いられる。図２に、眼底の二次元断層画像である訓練用画像３０の一例を示す。図２に例示する訓練用画像３０には、眼底における複数の層・境界が表れている。

【0059】

また、構造（眼底の層・境界）を検出するために数学モデルに入力される画像が、一次元の画像（例えば、ＯＣＴ測定光の光軸に沿う方向に延びるＡスキャン画像）であれば、数学モデル構築処理でも、一次元の画像（Ａスキャン画像）が訓練用画像として用いられる。

【0060】

次いで、ＣＰＵ３は、訓練用画像に写る組織の特定の構造を示す出力データを取得する。図３に、訓練用画像３０として眼底の二次元断層画像が使用される場合の、特定の境界の位置を示す出力データ３１の一例を示す。図３に例示する出力データ３１には、訓練用画像３０（図２参照）に写る眼底組織の６つの境界の各々の位置を示すラベル３２Ａ～３２Ｆのデータが含まれている。本実施形態では、出力データ３１におけるラベル３２Ａ～３２Ｆのデータは、作業者が訓練用画像３０における境界を見ながら操作部７を操作することで生成される。ただし、ラベルのデータの生成方法を変更することも可能である。なお、訓練用画像が一次元の画像であれば、出力データは、一次元の画像上における特定の構造の位置を示すデータとなる。

【0061】

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データを用いた数学モデルの訓練を実行する。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

【0062】

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

【0063】

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

【0064】

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

【0065】

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

【0066】

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データを用いて訓練されることで構築される。前述したように、訓練データは、入力データと出力データのペアである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0067】

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。ただし、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。構築された数学モデルを実現させるプログラムおよびデータは、医療画像処理装置２１に組み込まれる。

【0068】

（三次元画像）
図４および図５を参照して、組織の構造を検出する対象とする三次元画像の一例について説明する。図４に示すように、本実施形態の医療画像撮影装置１１Ｂは、生体の組織５０（図４に示す例では、眼底組織）における二次元の領域５１内で、光（測定光）をスキャンする。詳細には、本実施形態の医療画像撮影装置１１Ｂは、領域５１内の所定の方向に延びるスキャンライン５２上で光をスキャンすることで、光の光軸に沿うＺ方向と、Ｚ方向に垂直なＸ方向に広がる二次元画像６１（図５参照）を取得（撮影）する。図４に示す例では、Ｚ方向は二次元の領域５１に対して垂直な方向（深さ方向）となり、Ｘ方向はスキャンライン５２が延びる方向となる。次いで、医療画像撮影装置１１Ｂは、スキャンライン５２の位置を領域５１内でＹ方向に移動させて、二次元画像６１の取得を繰り返す。Ｙ方向は、Ｚ方向およびＸ方向に共に交差（本実施形態では垂直に交差）する方向となる。その結果、複数のスキャンライン５２の各々を通過し、且つ組織の深さ方向に広がる複数の二次元画像６１が取得される。次いで、図５に示すように、複数の二次元画像６１が、Ｙ方向（つまり、各々の二次元画像の画像領域に対して交差する方向）に並べられることで、領域５１における三次元画像が生成される。

【0069】

以下、本実施形態の医療画像処理装置２１が実行する第１検出処理～第５検出処理について説明する。第１検出処理～第５検出処理では、三次元画像に写る組織の特定の構造が検出される。なお、本実施形態では、ＰＣである医療画像処理装置２１が、医療画像撮影装置１１Ｂから三次元画像を取得し、取得した三次元画像に写る組織の特定の構造を検出する。しかし、前述したように、他のデバイスが医療画像処理装置として機能してもよい。例えば、医療画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂ自身が、以下で説明する第１検出処理～第５検出処理を実行してもよい。また、複数の制御部が協働して第１検出処理～第５検出処理を実行してもよい。本実施形態では、医療画像処理装置２１のＣＰＵ２３は、記憶装置２４に記憶された医療画像処理プログラムに従って、第１検出処理～第５検出処理を実行する。

【0070】

（第１検出処理）
図６および図７を参照して、第１検出処理について説明する。第１検出処理では、二次元画像６１を構成する画素列を処理の単位として、各々の二次元画像６１から構造を検出する処理が行われる。

【0071】

図６に示すように、ＣＰＵ２３は、第１検出処理を開始すると、特定の構造を検出する対象とする三次元画像を取得する（Ｓ１）。例えば、ユーザは、操作部２７（図１参照）を操作し、複数の三次元画像の中から、構造の検出対象とする三次元画像を選択する。ＣＰＵ２３は、ユーザによって選択された三次元画像のデータを取得する。

【0072】

ＣＰＵ２３は、三次元画像を構成する複数の二次元画像６１のうち、Ｔ番目（Ｔは自然数であり、初期値は１）の二次元画像６１を選択する（Ｓ２）。本実施形態では、三次元画像を構成する複数の二次元画像６１の各々に、Ｙ方向に並べられている順に番号が付されている。Ｓ２の処理では、複数の二次元画像６１のうち、Ｙ方向における最も外側に位置する二次元画像６１から順に選択されていく。

【0073】

ＣＰＵ２３は、Ｓ２で選択した二次元画像６１中の複数のＡスキャン画像を、複数のグループのいずれかに分類する（Ｓ３）。図７に示すように、ＯＣＴ装置によって撮影された二次元画像６１は、図７における矢印で示す複数のＡスキャン画像によって構成されている。Ａスキャン画像とは、ＯＣＴ測定光の光軸に沿う方向に延びる画素列である。Ｓ３では、ＣＰＵ２３は、各々のＡスキャン画像同士の位置関係に関わらず、互いの類似度が高い複数のＡスキャン画像を、同一のグループに分類する。図７に示す例では、グループＧ１には、層の剥離が無く、且つ網膜神経線維層が薄い領域のＡスキャン画像が分類されている。グループＧ２には、層の剥離が無く、且つ網膜神経線維層が厚い領域のＡスキャン画像が分類されている。グループＧ３には、ＩＳ／ＯＳラインが剥離している領域のＡスキャン画像が分類されている。グループＧ４には、ＩＳ／ＯＳラインと網膜色素上皮層が共に剥離している領域のＡスキャン画像が分類されている。

【0074】

次いで、ＣＰＵ２３は、複数のグループの各々を代表する画素列である代表Ａスキャン画像を、第１領域として抽出する（Ｓ４）。第１領域とは、三次元画像内の領域のうち、機械学習アルゴリズムによって訓練された数学モデルが用いられることで特定の構造が検出される領域である。グループに属する複数のＡスキャン画像から代表Ａスキャン画像を抽出する方法は、適宜選択できる。本実施形態では、ＣＰＵ２３は、各々のグループに分類された複数のＡスキャン画像に対して加算平均処理を行うことで得られた画素列を、代表Ａスキャン画像として抽出する。その結果、グループを代表する代表Ａスキャン画像が適切に抽出される。

【0075】

ＣＰＵ２３は、各々のグループから抽出された代表Ａスキャン画像（第１領域）に対して、第１構造検出処理を実行する（Ｓ５）。第１構造検出処理とは、数学モデルによって特定の構造を検出する処理である。つまり、第１構造検出処理を実行する場合、ＣＰＵ２３は、三次元画像から抽出された第１領域（図６に示す例では代表Ａスキャン画像）を、機械学習アルゴリズムによって訓練された数学モデルに入力する。数学モデルは、第１領域における特定の構造（本実施形態では、眼底における層・境界）の検出結果を出力する。ＣＰＵ２３は、数学モデルによって出力された検出結果を取得する。第１構造検出処理によると、従来から用いられている画像処理等の手法に比べて演算量は多いが、高い精度で画像中の特定の構造が検出される。

【0076】

ＣＰＵ２３は、各々のグループから第１領域（本実施形態では代表Ａスキャン画像）として抽出されなかったＡスキャン画像を第２領域とし、第２領域に対する第２構造検出処理を、グループ毎に実行する（Ｓ６）。第２構造検出処理とは、三次元画像の全領域のうち、第１領域として検出されなかった第２領域における特定の構造を、第１構造検出処理の検出結果に基づいて検出する処理である。第２構造検出処理の演算量は、第１構造検出処理の演算量よりも少なくなる。また、第２構造検出処理は、高い精度で行われる第１構造検出処理の結果に基づいて実行される。従って、第２領域の構造が適切に検出される。

【0077】

詳細には、本実施形態におけるＳ６の処理では、ＣＰＵ２３は、第１領域（代表Ａスキャン画像）を構成する各画素に対する構造の検出結果および画素情報と、第２領域を構成する各画素の画素情報とを比較することで、第２領域における構造の検出結果を算出する。ここで、ＣＰＵ２３は、第２領域を構成する各画素と、参照する第１領域（同一グループに属する代表Ａスキャン）を構成する各画素の位置関係（例えば、Ｚ方向における距離の近さ等）を考慮してもよい。また、ＣＰＵ２３は、第１構造検出処理の結果に基づく補間処理によって、第２領域に対する第２構造検出処理を行ってもよい。

【0078】

Ｓ３の処理で説明したように、同一のグループに分類された複数のＡスキャン画像間の類似度は高い。従って、本実施形態のＳ５，Ｓ６では、第１構造検出処理と第２構造検出処理がグループ毎に実行されることで、第２構造検出処理の精度がさらに向上する。

【0079】

ＣＰＵ２３は、全ての二次元画像に対する構造の検出処理が完了したか否かを判断する（Ｓ８）。完了していなければ（Ｓ８：ＮＯ）、二次元画像の順番を示すカウンタＴに「１」が加算されて（Ｓ９）、処理はＳ２へ戻る。全ての二次元画像に対する構造の検出処理が完了すると（Ｓ８：ＹＥＳ）、第１検出処理は終了する。

【0080】

なお、本実施形態の第１検出処理では、二次元画像を構成する複数の画素列（Ａスキャン画像）が複数のグループに分類され、グループ毎に第１領域が抽出される。しかし、第１領域の抽出方法を変更することも可能である。例えば、ＣＰＵ２３は、複数の画素列（例えばＡスキャン画像等）からなる小領域（パッチ）を複数のグループに分類し、グループ毎に第１領域を抽出してもよい。また、ＣＰＵ２３は、二次元画像を構成する複数の画素列から、一定間隔毎に第１領域を抽出してもよい。

【0081】

（第２検出処理）
図８および図９を参照して、第２検出処理について説明する。第２検出処理では、各々の二次元画像から、組織の像が写っている領域である像領域が抽出される。抽出された像領域に対して、数学モデルを用いた第１構造検出処理が行われる。従って、組織の像が写っていない領域が、数学モデルによって特定の組織を検出する対象とする領域から除外される。なお、第２～第５検出処理のうち、前述した第１検出処理で説明したステップと同様のステップについては、説明を簡略化する。

【0082】

図８に示すように、ＣＰＵ２３は、第２検出処理を開始すると、特定の構造を検出する対象とする三次元画像を取得する（Ｓ１）。ＣＰＵ２３は、三次元画像を構成する複数の二次元画像６１のうち、Ｔ番目の二次元画像６１を選択する（Ｓ２）。

【0083】

次いで、ＣＰＵ２３は、Ｔ番目の二次元画像６１を基準画像６１Ａ（図９参照）とするか否かを判断する（Ｓ１１）。基準画像６１Ａとは、他の二次元画像６１Ｂにおける像領域の抽出位置の基準となる画像である。複数の二次元画像６１から基準画像６１Ａを選択する方法は、適宜選択できる。一例として、本実施形態では、ＣＰＵ２３は、複数の二次元画像６１から、一定間隔毎に基準画像６１Ａを選択する。なお、最初のＳ１１では、Ｔ＝１番目の二次元画像６１は必ず基準画像６１Ａとして選択される。

【0084】

Ｔ番目の二次元画像６１を基準画像６１Ａとする場合（Ｓ１１：ＹＥＳ）、ＣＰＵ２３は、基準画像６１Ａ（つまり、Ｔ番目の二次元画像６１）に対する第１構造検出処理を実行する（Ｓ１２）。つまり、ＣＰＵ２３は、基準画像６１Ａを数学モデルに入力することで、基準画像６１Ａに写る組織の特定の構造の検出結果を取得する。

【0085】

次いで、ＣＰＵ２３は、Ｓ１２で取得された構造の検出結果に基づいて、基準画像６１Ａにおいて組織の像が写っている像領域を検出する（Ｓ１３）。前述したように、数学モデルを用いる第１構造検出処理では、特定の構造が高い精度で検出され易い。従って、Ｓ１２で取得された検出結果に基づいて検出される像領域も、高い精度で検出され易い。図９に示す基準画像６１Ａでは、第１構造検出処理による構造の検出結果（本実施形態では、眼底の層・境界の検出結果）に基づいて、２本の白い実線で囲まれる領域が像領域として検出されている。

【0086】

一方で、Ｔ番目の二次元画像６１を基準画像６１Ａとしない場合には（Ｓ１１：ＮＯ）、ＣＰＵ２３は、既に検出されている基準画像６１Ａの像領域に基づいて、Ｔ番目の二次元画像６１Ｂ（図９参照）の像領域を、第１領域として抽出する（Ｓ１５）。その結果、Ｔ番目の二次元画像６１Ｂは、数学モデルが用いられる場合に比べて少ない演算量で検出される。図９に示す例では、基準画像６１Ａの近傍に位置する二次元画像６１Ｂのうち、２本の白い破線で囲まれる領域が、像領域として検出されている。

【0087】

なお、本実施形態のＳ１５では、ＣＰＵ２３は、基準画像６１Ａを構成する各画素に対する像領域の検出結果および画素情報と、他の二次元画像６１Ｂを構成する各画素の画素情報とを比較することで、二次元画像６１Ｂの像領域を検出する。また、ＣＰＵ２３は、基準画像６１Ａを構成する各画素と、二次元画像６１Ｂを構成する各画素の位置関係（本実施形態では、ＸＺ座標の位置関係）も考慮して、二次元画像６１Ｂの像領域を検出する。

【0088】

次いで、ＣＰＵ２３は、Ｔ番目の二次元画像６１Ｂを構成する複数の画素列（本実施形態では、前述した複数のＡスキャン画像）の間で、像の位置合わせ（本実施形態では、Ｚ方向における像の位置合わせ）を実行する（Ｓ１６）。例えば、ＣＰＵ２３は、基準画像６１に対する二次元画像６１Ｂの像領域の位置合わせを行うことで、二次元画像６１Ｂの像領域と基準画像の像領域の形状（湾曲形状）を同様の形状とする。その状態で、ＣＰＵ２３は、湾曲形状が平らになるように切り出す、またはＡスキャン画像をＺ方向にずらす処理を実行することで、二次元画像６１Ｂから抽出される像領域６５を矩形（略矩形でもよい）とする。つまり、第２検出処理によると、矩形の像領域６５（第１領域）内に像が適切に収まり、且つ、矩形の像領域６５の大きさが小さくなり易い。ＣＰＵ２３は、矩形の像領域６５に対する第１構造検出処理を実行する（Ｓ１７）。つまり、ＣＰＵ２３は、矩形の像領域６５を数学モデルに入力することで、像領域６５における特定の構造の検出結果を取得する。

【0089】

ＣＰＵ２３は、全ての二次元画像６１に対する構造の検出処理が完了したか否かを判断する（Ｓ１８）。完了していなければ（Ｓ１８：ＮＯ）、二次元画像６１の順番を示すカウンタＴに「１」が加算されて（Ｓ１９）、処理はＳ２へ戻る。全ての二次元画像６１に対する構造の検出処理が完了すると（Ｓ１８：ＹＥＳ）、第２検出処理は終了する。なお、第２検出処理では、Ｓ１６で各Ａスキャン画像に対して実行された位置合わせの移動量の逆数が、Ｓ１７で取得された構造の検出結果に加算されることで、最終的な構造の検出結果が得られる。

【0090】

なお、本実施形態の第２検出処理では、基準画像６１Ａの像領域に基づいて、他の二次元画像６１Ｂの像領域が抽出される。しかし、像領域の抽出方法を変更することも可能である。例えば、ＣＰＵ２３は、二次元画像６１に対して公知の画像処理を行うことで、像領域を検出してもよい。

【0091】

（第３検出処理）
図１０および図１１を参照して、第３検出処理について説明する。第３検出処理では、三次元画像を構成する複数の二次元画像６１に対し、二次元画像６１内における像の位置合わせと、二次元画像６１間の像の位置合わせが実行される。その後、像領域が抽出されて、抽出された像領域における特定の構造が検出される。

【0092】

図１０に示すように、ＣＰＵ２３は、第３検出処理を開始すると、特定の構造を検出する対象とする三次元画像を取得する（Ｓ１）。ＣＰＵ２３は、三次元画像を構成する複数の二次元画像６１の間で、像の位置合わせ（本実施形態では、Ｚ方向における像の位置合わせ）を実行する（Ｓ２１）。さらに、ＣＰＵ２３は、三次元画像を構成する複数の二次元画像６１の各々について、二次元画像６１を構成する複数の画素列（本実施形態では、前述した複数のＡスキャン画像）の間で、像の位置合わせ（本実施形態では、Ｚ方向における像の位置合わせ）を実行する（Ｓ２２）。

【0093】

なお、本実施形態のＳ２２では、ＣＰＵ２３は、ＹＺ方向に広がる二次元画像を複数構築し、構築した複数の二次元画像の間で像の位置合わせを行うことで、ＸＺ方向に広がる二次元画像６１内の隣接画素間の位置合わせを実行する。その結果、複数のＡスキャン画像の間で位置合わせを実行する場合に比べて、ノイズの影響等が抑制される。なお、Ｓ２１の処理とＳ２２の処理の順番は逆であってもよい。

【0094】

図１１では、像の位置合わせ（二次元画像６１間の像の位置合わせと、二次元画像６１内における像の位置合わせ）が行われる前後の二次元画像を比較している。図１１の左側は、像の位置合わせが行われる前の二次元画像であり、図１１の右側は、像の位置合わせが行われた後の二次元画像である。図１１に示すように、画像内、および画像間の位置合わせが行われることで、各画像における像の位置は互いに近くなる。

【0095】

次いで、ＣＰＵ２３は、三次元画像を構成する複数の二次元画像６１のうちの少なくともいずれかを基準画像とし、基準画像とした二次元画像６１から矩形の像領域を第１領域として抽出する（Ｓ２３）。複数の二次元画像６１から基準画像を選択する方法は、前述したＳ１１と同様に適宜選択できる。本実施形態では、ＣＰＵ２３は、複数の二次元画像６１から、一定間隔毎に基準画像を選択する。複数の二次元画像６１のうち、基準画像として選択されなかった二次元画像６１は、数学モデルによる構造の検出処理が実行されない第２領域となる。

【0096】

ＣＰＵ２３は、Ｓ２３で抽出した第１領域に対する第１構造検出処理を実行する（Ｓ２４）。つまり、ＣＰＵ２３は、Ｓ２３で抽出した第１領域を数学モデルに入力することで、第１領域における特定の構造の検出結果を取得する。

【0097】

また、ＣＰＵ２３は、基準画像として選択されなかった二次元画像６１（第２領域）に対する第２構造検出処理を実行する（Ｓ２５）。つまり、ＣＰＵ２３は、第２領域における特定の構造を、基準画像である第１領域に対する第１構造検出処理の結果に基づいて検出する。ここで、第３検出処理では、Ｓ２１において、複数の二次元画像６１の間で像の位置合わせが行われている。従って、Ｓ２５では、第１領域と第２領域の間で座標（本実施形態ではＸＺ座標）が近似する画素同士を比較することで、第２領域における構造が適切に検出される。

【0098】

なお、第３検出処理では、Ｓ２１，Ｓ２２で各Ａスキャン画像に対して実行された位置合わせの移動量の符号（プラス、マイナス）を反転させた反数が、Ｓ２４，Ｓ２５で取得された構造の検出結果に加算されることで、最終的な構造の検出結果が得られる。

【0099】

第３検出処理のうち、Ｓ２３～Ｓ２５の処理を変更することも可能である。例えば、ＣＰＵ２３は、Ｓ２１，Ｓ２２で三次元画像全体の像の位置合わせを行った後に、矩形（略矩形でもよい）の像領域を三次元画像から抽出し、抽出した像領域に対して第１構造検出処理を行ってもよい。この場合、ＣＰＵ２３は、Ｓ２１，Ｓ２２で全体の位置合わせを行った三次元画像から、全てのＡスキャン画像の平均を取り、平均Ａスキャン画像から像の範囲を特定してもよい。その後、ＣＰＵ２３は、特定した像の範囲に基づいて、各々の二次元画像６１から矩形の像領域を抽出し、抽出した像領域を数学モデルに入力することで第１構造検出処理を行っても良い。この場合、第１構造検出処理は省略される。本変形例では、像が存在する可能性が高い領域のみに対して第１構造検出処理が実行されるので、処理量が適切に削減される。

【0100】

（第４検出処理）
図１２および図１３を参照して、第４検出処理について説明する。第４検出処理では、三次元画像を構成する複数の二次元画像６１の一部が、第１構造検出処理の対象とする第１領域として抽出される。詳細には、複数の二次元画像６１の間の類似度に基づいて、複数の二次元画像６１の一部が第１領域として抽出される。

【0101】

図１２に示すように、ＣＰＵ２３は、第４検出処理を開始すると、特定の構造を検出する対象とする三次元画像を取得する（Ｓ１）。ＣＰＵ２３は、三次元画像を構成する複数の二次元画像６１のうち、Ｔ番目の二次元画像６１を選択する（Ｓ２）。

【0102】

ＣＰＵ２３は、その時点における基準画像と、Ｔ番目の二次元画像６１の間の類似度が、閾値未満であるか否かを判断する（Ｓ３１）。第４検出処理における基準画像とは、他の二次元画像６１を第１領域および第２領域のいずれとするかを判断するための基準となる画像である。最初のＳ３１の処理では、基準画像が未だに設定されていない。この場合、処理はＳ３２へ移行し、ＣＰＵ２３は、Ｔ＝１番目の二次元画像６１を基準画像として設定すると共に、Ｔ＝１番目の二次元画像６１を第１領域として抽出する（Ｓ３２）。ＣＰＵ２３は、基準画像であるＴ番目の画像に対して、第１構造検出処理を実行する（Ｓ３３）。

【0103】

一方で、その時点で設定されている基準画像と、Ｔ番目の二次元画像６１の間の類似度が閾値以上である場合には（Ｓ３１：ＮＯ）、ＣＰＵ２３は、Ｔ番目の二次元画像６１を第２領域とし、Ｔ番目の二次元画像６１に対する第２構造検出処理を実行する（Ｓ３４）。つまり、ＣＰＵ２３は、Ｔ番目の二次元画像６１における特定の構造を、類似度が高い基準画像に対する第１構造検出処理の結果に基づいて検出する。

【0104】

なお、一般的に、Ｔ番目の二次元画像６１と基準画像の間の距離（本実施形態では、Ｙ方向の距離）が離間する程、両画像の類似度は低くなり易い。また、Ｔ番目の二次元画像６１と基準画像の間の距離が近い場合でも、構造の変化が激しい部分である程、両画像の類似度は低くなり易い。

【0105】

その時点で設定されている基準画像と、Ｔ番目の二次元画像６１の間の類似度が閾値未満であれば（Ｓ３１：ＹＥＳ）、ＣＰＵ２３は、Ｔ番目の二次元画像６１を新たな基準画像として設定すると共に、Ｔ番目の二次元画像６１を第１領域として抽出する（Ｓ３２）。ＣＰＵ２３は、基準画像であるＴ番目の画像に対して、第１構造検出処理を実行する（Ｓ３３）。

【0106】

ＣＰＵ２３は、全ての二次元画像６１に対する構造の検出処理が完了したか否かを判断する（Ｓ３６）。完了していなければ（Ｓ３６：ＮＯ）、二次元画像の順番を示すカウンタＴに「１」が加算されて（Ｓ３７）、処理はＳ２へ戻る。全ての二次元画像に対する構造の検出処理が完了すると（Ｓ３６：ＹＥＳ）、第４検出処理は終了する。

【0107】

図１３を参照して、第４検出処理の流れ、および効果について説明する。まず、Ｔ＝１番目の二次元画像が基準画像に設定される。Ｔ＝１番目の二次元画像は第１領域として抽出され、数学モデルを用いた第１構造検出処理の対象となる。

【0108】

図１３の例では、Ｔ＝２番目の二次元画像は、基準画像であるＴ＝１番目の二次元画像に隣接している。また、Ｔ＝１，２番目の二次元画像の撮影位置では、構造の変化が緩やかである。その結果、Ｔ＝２番目の二次元画像と、Ｔ＝１番目の二次元画像（基準画像）の間の類似度が閾値以上となっている。この場合、Ｔ＝２番目の二次元画像６１における特定の構造が、Ｔ＝１番目の二次元画像に対する第１構造検出処理の結果に基づいて算出される。なお、図１３の例では、Ｔ＝３番目の二次元画像と、Ｔ＝１番目の二次元画像（基準画像）の間の類似度も閾値以上となっている。

【0109】

しかし、Ｔ＝Ｎ番目の二次元画像と、Ｔ＝１番目の二次元画像（基準画像）の間の類似度は、閾値未満となった。この場合、Ｔ＝Ｎ番目の二次元画像が新たな基準画像に設定され、且つ、数学モデルを用いた第１構造検出処理の対象となる。Ｔ＝Ｎ＋１番目の二次元画像に対する処理は、Ｔ＝Ｎ番目の二次元画像を基準画像として実行される。

【0110】

（第５検出処理）
図１４および図１５を参照して、第５検出処理について説明する。第５検出処理では、三次元画像領域内に注目位置が設定され、設定された注目領域を基準として第１領域が抽出される。

【0111】

図１４に示すように、ＣＰＵ２３は、第５検出処理を開始すると、特定の構造を検出する対象とする三次元画像を取得する（Ｓ１）。ＣＰＵ２３は、三次元画像の画像領域内に、注目位置を設定する（Ｓ４１）。一例として、本実施形態では、ＣＰＵ２３は、操作部２７を介してユーザによって入力された指示に応じて（つまり、ユーザによって指示された位置に）、注目位置を設定する。また、ＣＰＵ２３は、三次元画像中の特定部位を検出し、検出した特定部位を注目位置として設定することも可能である。図１５には、ＯＣＴ測定光の光軸に沿う方向から三次元画像の撮影領域を見た場合の二次元の正面画像７０が示されている。図１５に示す例では、被検眼の眼底組織から、特定部位である黄斑が検出され、検出された黄斑に注目位置７３が設定されている。

【0112】

次いで、ＣＰＵ２３は、注目位置を基準として、複数の二次元画像の抽出パターンを設定する（Ｓ４２）。ＣＰＵ２３は、設定した抽出パターンに合致する二次元画像を、数学モデルによる構造検出の対象とする第１領域として抽出する（Ｓ４３）。Ｓ４２で設定される二次元画像の抽出パターンは、医療画像撮影装置１１Ｂによって撮影された各々の二次元画像６１に合致する必要はなく、任意に設定することが可能である。例えば、図１５に示す例では、ＯＣＴ測定光の光軸に沿う方向から三次元画像を見た場合に、抽出される二次元画像が横断するラインが注目位置７３を中心とする放射状となるように、抽出パターン７５が設定される。その結果、注目位置７３を中心とする複数の二次元画像が、第１領域として抽出される。

【0113】

ＣＰＵ２３は、Ｓ４３で抽出した第１領域に対する第１構造検出処理を実行する（Ｓ４４）。また、三次元画像のうち、第１領域以外の領域である第２領域に対して、第２構造検出処理を実行する（Ｓ４５）。第１構造検出処理および第２構造検出処理には、前述した処理と同様の処理を採用できるので、詳細な説明は省略する。

【0114】

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。図１６を参照して、上記実施形態の変形例である医療画像処理システム１００のシステム構成について説明する。なお、医療画像処理システム１００のうち、上記実施形態と同様の構成を採用できる部分（例えば、医療画像処理装置２１および医療画像撮影装置１１Ｂ等）については、上記実施形態と同じ符号を付し、その説明を省略または簡略化する。

【0115】

図１６に示す医療画像処理システム１００は、医療画像処理装置２１とクラウドサーバ９１を備える。医療画像処理装置２１は、医療画像撮影装置１１Ｂによって撮影された三次元画像を処理する。詳細には、図１６に示す例では、医療画像処理装置２１は、前述した第１～第５検出処理（方法）のうち、第１構造検出処理（図６のＳ５、図８のＳ１７、図１０のＳ２４、図１２のＳ３３、図１４のＳ４４）以外の処理（方法）を実行する第１画像処理装置として機能する。ただし、医療画像処理装置２１とは異なるデバイス（例えば、医療画像撮影装置１１Ｂ等）が、第１画像処理装置として機能してもよい。

【0116】

クラウドサーバ９１は、制御ユニット９２と通信Ｉ／Ｆ９５を備える。制御ユニット９２は、制御を司るコントローラであるＣＰＵ９３と、プログラムおよびデータ等を記憶することが可能な記憶装置９４を備える。記憶装置９４には、前述した数学モデルを実現させるためのプログラムが記憶されている。通信Ｉ／Ｆ９５は、ネットワーク（例えばインターネット等）９を介して、クラウドサーバ９１と医療画像処理装置２１を接続する。図１６に示す例では、クラウドサーバ９１は、前述した第１～第５検出処理のうち、第１構造検出処理（図６のＳ５、図８のＳ１７、図１０のＳ２４、図１２のＳ３３、図１４のＳ４４）を実行する第２画像処理装置として機能する。

【0117】

医療画像処理装置（第１画像処理装置）２１は、図６のＳ４、図８のＳ１５、図１０のＳ２３、図１２のＳ３２、図１４のＳ４３で抽出された第１領域を、クラウドサーバ９１に送信する送信ステップを実行する。クラウドサーバ９１は、前述した第１構造検出処理を実行する。また、クラウドサーバ９１は、第１構造検出処理によって検出された結果を医療画像処理装置２１に出力する出力ステップを実行する。その結果、数学モデルを実行するためのプログラムが医療画像処理装置２１に組み込まれていない場合でも、前述した種々の処理が適切に実行される。

【0118】

また、上記実施形態で例示された処理の一部のみを実行することも可能である。例えば、図１０に示す第３検出処理では、第１領域に対する第１構造検出処理（Ｓ２４）と、その他の第２領域に対する第２構造検出処理（Ｓ２５）が実行される。しかし、Ｓ２３において、三次元画像を構成する全ての二次元画像７１から像領域が検出されてもよい。この場合、第２構造検出処理（Ｓ２５）は省略されてもよい。

【0119】

また、第１～第５検出処理で例示した複数の処理を組み合わせて実行することも可能である。例えば、図８に示す第２検出処理では、像領域以外の第２領域に対する第２構造検出処理は省略されている。しかし、第２検出処理の中で第２構造検出処理を実行することも可能である。

【0120】

図６、図８、図１０、図１２、図１４のＳ１で三次元画像を取得する処理は、「画像取得ステップ」の一例である。図６のＳ４、図８のＳ１５、図１０のＳ２３、図１２のＳ３２、図１４のＳ４３で第１領域を抽出する処理は、「抽出ステップ」の一例である。図６のＳ５、図８のＳ１７、図１０のＳ２４、図１２のＳ３３、図１４のＳ４４に示す第１構造検出処理は、「第１構造検出ステップ」の一例である。図６のＳ４５、図１０のＳ２５、図１２のＳ３４、図１４のＳ４５に示す第２構造検出処理は、「第２構造検出ステップ」の一例である。図８のＳ１６、図１０のＳ２１で二次元画像内の像の位置合わせを行う処理は、「二次元画像内位置合わせステップ」の一例である。図１０のＳ２２で複数の二次元画像間の位置合わせを行う処理は、「二次元画像間位置合わせステップ」の一例である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】