特許 7563384 医療画像処理装置および医療画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】医療画像処理装置および医療画像処理プログラム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20241001BHJP

   A61B 3/14 20060101ALI20241001BHJP

   A61B 3/12 20060101ALI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

   G16H 30/40 20180101ALI20241001BHJP

【ＦＩ】

A61B3/10

A61B3/14

A61B3/12

G06T7/00 350B

G06T7/00 612

G16H30/40

【請求項の数】 6

(21)【出願番号】P 2021535373

(86)(22)【出願日】2020-07-29

(86)【国際出願番号】 JP2020028976

(87)【国際公開番号】W WO2021020419

(87)【国際公開日】2021-02-04

【審査請求日】2023-06-22

(31)【優先権主張番号】P 2019138931

(32)【優先日】2019-07-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】坂下 祐輔

【審査官】安田 明央

(56)【参考文献】

【文献】特開２００６－１４９６５４（ＪＰ，Ａ）

【文献】特開２０１８－１４７３８７（ＪＰ，Ａ）

【文献】特開２０１３－１９８８１７（ＪＰ，Ａ）

【文献】特開２０１０－０９７４７６（ＪＰ，Ａ）

【文献】特開２０１３－１２８６９４（ＪＰ，Ａ）

【文献】特表２０１７－５３７７０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ｇ０６Ｔ ７／００

Ｇ１６Ｈ ３０／４０

(57)【特許請求の範囲】

【請求項1】

被検者の組織の画像である医療画像を処理する医療画像処理装置であって、
前記医療画像処理装置の制御部は、
被検者の医療画像を取得する画像取得ステップと、
前記医療画像上で改変される病変部の位置および範囲の少なくともいずれかが表示される改変用画像を、表示部に表示させる改変用画像表示ステップと、
前記改変用画像を前記表示部に表示させた状態で、改変される前記病変部の位置および範囲の少なくともいずれかを指定する指示を受け付ける病変部受付ステップと、
前記病変部の位置および範囲の少なくともいずれかが指定された場合に、指定内容に応じて前記病変部が改変された予測疾患画像を、前記画像取得ステップにおいて取得された前記医療画像に基づいて取得する予測疾患画像取得ステップと、
取得した前記予測疾患画像と前記改変用画像を前記表示部に同時に、または切り替えて表示させる予測疾患画像表示ステップと、
を実行し、
前記制御部は、前記予測疾患画像取得ステップにおいて、機械学習アルゴリズムによって訓練された数学モデルに、前記被検者の組織の画像および前記病変部の情報を入力することで、前記予測疾患画像を取得することを特徴とする医療画像処理装置。

【請求項2】

請求項１に記載の医療画像処理装置であって、
前記制御部は、
前記画像取得ステップにおいて取得された前記医療画像に病変部が既に存在する場合に、前記医療画像における前記病変部の位置の検出結果を取得する病変部位置取得ステップをさらに実行し、
前記病変部受付ステップおよび前記予測疾患画像取得ステップでは、前記病変部位置取得ステップにおいて取得された前記病変部の位置を、既に存在する前記病変部の位置として、前記指示を受け付ける処理、および前記予測疾患画像を取得する処理を実行することを特徴とする医療画像処理装置。

【請求項3】

請求項１または２に記載の医療画像処理装置であって、
前記制御部は、
前記画像取得ステップにおいて取得された前記医療画像に病変部が既に存在する場合に、前記医療画像における前記病変部の範囲の検出結果を取得する病変部範囲取得ステップをさらに実行し、
前記病変部受付ステップおよび前記予測疾患画像取得ステップでは、前記病変部範囲取得ステップにおいて取得された前記病変部の範囲を、既に存在する前記病変部の範囲として、前記指示を受け付ける処理、および前記予測疾患画像を取得する処理を実行することを特徴とする医療画像処理装置。

【請求項4】

請求項１から３のいずれかに記載の医療画像処理装置であって、
前記制御部は、
前記病変部受付ステップにおいて、改変される前記病変部の種類を指定する指示を受け付けることが可能であり、
前記病変部の種類が指定された場合に、前記予測疾患画像取得ステップにおいて、指定された種類の前記病変部が改変された前記予測疾患画像を、前記医療画像に基づいて取得することを特徴とする医療画像処理装置。

【請求項5】

請求項１から４のいずれかに記載の医療画像処理装置であって、
前記制御部は、
前記病変部の範囲が指定された場合に、前記予測疾患画像取得ステップにおいて、指定された範囲の前記病変部が改変された前記予測疾患画像と共に、前記病変部の範囲が、指定された範囲と、前記画像取得ステップにおいて取得された前記医療画像における前記病変部の範囲の間である前記予測疾患画像を取得することを特徴とする医療画像処理装置。

【請求項6】

被検者の組織の画像である医療画像を処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
被検者の医療画像を取得する画像取得ステップと、
前記医療画像上で改変される病変部の位置および範囲の少なくともいずれかが表示される改変用画像を、表示部に表示させる改変用画像表示ステップと、
前記改変用画像を前記表示部に表示させた状態で、改変される前記病変部の位置および範囲の少なくともいずれかを指定する指示を受け付ける病変部受付ステップと、
前記病変部の位置および範囲の少なくともいずれかが指定された場合に、指定内容に応じて前記病変部が改変された予測疾患画像を、前記画像取得ステップにおいて取得された前記医療画像に基づいて取得する予測疾患画像取得ステップと、
取得した前記予測疾患画像と前記改変用画像を前記表示部に同時に、または切り替えて表示させる予測疾患画像表示ステップと、
を前記医療画像処理装置に実行させ、
前記予測疾患画像取得ステップでは、機械学習アルゴリズムによって訓練された数学モデルに、前記被検者の組織の画像および前記病変部の情報が入力されることで、前記予測疾患画像が取得されることを特徴とする医療画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被検者の組織の画像である医療画像を処理する医療画像処理装置、および、医療画像処理装置によって実行される医療画像処理プログラムに関する。

【背景技術】

【0002】

近年、医療画像を処理して有用な情報を得るための種々の技術が提案されている。例えば、特許文献１に記載の画像処理装置は、疾患に適した画像解析結果を得ることを目的として、被検眼の診断結果を取得し、取得した診断結果に応じた処理手法を用いて被検眼の画像を処理する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１２１８８５号公報

【発明の概要】

【0004】

医師が、疾患が生じた場合の組織の状態、疾患が進行した場合の組織の状態、または疾患が治癒していく場合の組織の状態等を、組織の画像を被検者自身に見せながら患者に説明できれば、医師および患者の双方にとって有用である。しかし、従来は、予測される患者の状態と同等の状態である他の被検者の画像を、説明の際に被検者に見せることができるのみであった。

【0005】

本開示の典型的な目的は、医師から被検者への説明の際に有用となる画像を適切に提示することが可能な医療画像処理装置および医療画像処理プログラムを提供することである。

【0006】

本開示における典型的な実施形態が提供する医療画像処理装置は、被検者の組織の画像である医療画像を処理する医療画像処理装置であって、前記医療画像処理装置の制御部は、被検者の医療画像を取得する画像取得ステップと、前記医療画像上で改変される病変部の位置および範囲の少なくともいずれかが表示される改変用画像を、表示部に表示させる改変用画像表示ステップと、前記改変用画像を前記表示部に表示させた状態で、改変される前記病変部の位置および範囲の少なくともいずれかを指定する指示を受け付ける病変部受付ステップと、前記病変部の位置および範囲の少なくともいずれかが指定された場合に、指定内容に応じて前記病変部が改変された予測疾患画像を、前記画像取得ステップにおいて取得された前記医療画像に基づいて取得する予測疾患画像取得ステップと、取得した前記予測疾患画像と前記改変用画像を前記表示部に同時に、または切り替えて表示させる予測疾患画像表示ステップと、を実行し、前記制御部は、前記予測疾患画像取得ステップにおいて、機械学習アルゴリズムによって訓練された数学モデルに、前記被検者の組織の画像および前記病変部の情報を入力することで、前記予測疾患画像を取得する。

【0007】

本開示における典型的な実施形態が提供する医療画像処理プログラムは、被検者の組織の画像である医療画像を処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、被検者の医療画像を取得する画像取得ステップと、前記医療画像上で改変される病変部の位置および範囲の少なくともいずれかが表示される改変用画像を、表示部に表示させる改変用画像表示ステップと、前記改変用画像を前記表示部に表示させた状態で、改変される前記病変部の位置および範囲の少なくともいずれかを指定する指示を受け付ける病変部受付ステップと、前記病変部の位置および範囲の少なくともいずれかが指定された場合に、指定内容に応じて前記病変部が改変された予測疾患画像を、前記画像取得ステップにおいて取得された前記医療画像に基づいて取得する予測疾患画像取得ステップと、取得した前記予測疾患画像と前記改変用画像を前記表示部に同時に、または切り替えて表示させる予測疾患画像表示ステップと、を前記医療画像処理装置に実行させ、前記予測疾患画像取得ステップでは、機械学習アルゴリズムによって訓練された数学モデルに、前記被検者の組織の画像および前記病変部の情報が入力されることで、前記予測疾患画像が取得される。

【0008】

本開示に係る医療画像処理装置および医療画像処理プログラムによると、医師から被検者への説明の際に有用となる画像が適切に提示される。

【0009】

本開示で例示する医療画像処理装置の制御部は、画像取得ステップ、改変用画像表示ステップ、病変部受付ステップ、予測疾患画像取得ステップ、および予測疾患画像表示ステップを実行する。画像取得ステップでは、制御部は被検者の医療画像を取得する。改変用画像表示ステップでは、制御部は、医療画像上で改変される病変部の位置および範囲の少なくともいずれかが表示される改変用画像を、表示部に表示させる。病変部受付ステップでは、制御部は、改変用画像を表示部に表示させた状態で、改変される病変部の位置および範囲の少なくともいずれかを指定する指示を受け付ける。予測疾患画像生成ステップでは、制御部は、病変部の位置および範囲の少なくともいずれかが指定された場合に、指定内容に応じて病変部が改変された予測疾患画像を、画像取得ステップにおいて取得された医療画像に基づいて取得する。予測疾患画像表示ステップでは、制御部は、取得した予測疾患画像と前記改変用画像を表示部に同時に、または切り替えて表示させる。

【0010】

本開示で例示する医療画像処理装置によると、改変用画像が表示された状態で、改変される病変部の位置および範囲の少なくともいずれかを指定する指示をユーザが入力すると、指定内容に応じて病変部が改変された予測疾患画像が、被検者の医療画像に基づいて取得される。次いで、取得された予測疾患画像が、改変用画像が表示された状態で、または改変用画像と切り替えて表示部に表示される。つまり、病変部を指定する指示が入力されると、指定内容に応じて、被検者自身の医療画像上で病変部が改変された予測疾患画像が取得されて表示される。従って、医師が説明を行う被検者とは別の被検者の画像でなく、説明を行う被検者本人の医療画像が適切に改変された予測疾患画像が、被検者に提示される。よって、医師から被検者への説明の際に有用となる画像が、適切に被検者に提示される。

【0011】

制御部は、予測疾患画像取得ステップにおいて、実際に撮影された被検者の医療画像に基づいて、予測疾患画像を取得する。つまり、制御部は、実際に撮影された医療画像における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれかに基づいて、予測疾患画像を取得する。従って、被検者自身の医療画像に基づくことなく予測疾患画像が取得される場合（例えば、通常の画像描写ソフトによって予測疾患画像が生成される場合等）に比べて、予測される疾患の状態を被検者に実感させやすい。

【0012】

なお、本開示における「医療画像に対する病変部の改変」には、病変部が存在しない領域に対する病変部の「追加」、病変部の「拡大」、病変部の「縮小」、および病変部の「削除」等の少なくともいずれかが含まれる。つまり、病変部の改変が行われる医療画像は、病変部が存在しない医療画像であってもよいし、既に病変部が存在する医療画像であってもよい。また、病変部の位置および範囲の少なくともいずれか（以下、単に「位置・範囲」という場合もある）を指定する指示は、位置・範囲の「追加」を指定する指示でもよいし、位置・範囲の「変更」を指定する指示でもよい。

【0013】

画像取得ステップ、改変用画像表示ステップ、病変部受付ステップ、予測疾患画像取得ステップ、および予測疾患画像表示ステップを実行するデバイスは、適宜選択できる。例えば、パーソナルコンピュータ（以下、「ＰＣ」という）の制御部が、全てのステップを実行してもよい。つまり、ＰＣの制御部は、医療画像撮影装置から医療画像を取得し、取得した医療画像等に基づいて予測疾患画像の取得および表示を実行してもよい。また、複数のデバイス（例えば、医療画像撮影装置、ＰＣ、携帯端末、およびサーバ等の少なくともいずれか）の制御部が協働して、各ステップを実行してもよい。

【0014】

また、改変用画像には種々の画像を採用できる。例えば、改変用画像は、無地の背景上に病変部の位置・範囲を示す画像であってもよい。また、改変用画像は、医療画像に写り込んでいる組織の血管の画像（例えば、医療画像が眼底画像である場合には眼底血管の画像）であってもよい。この場合、血管の画像は、医療画像から血管が抽出されることで取得されてもよいし、医療画像を撮影する撮影装置とは異なる血管撮影装置によって撮影されてもよい。また、画像取得ステップで取得された医療画像そのものが、改変用画像として使用されてもよい。また、医療画像が眼底画像である場合、改変用画像は、眼底の構造に関する分布（例えば、少なくともいずれかの層の厚みの分布）を二次元で示すマップ画像であってもよい。この場合、ユーザは、マップ画像に示された所望の構造の領域（例えば、層の厚みが特定の範囲内である領域）を指定することで、病変部の位置・領域を指定してもよい。また、機械学習アルゴリズムによって訓練された数学モデルによって、何らかの検出結果が取得される場合、アテンションマップが改変用画像として採用されてもよい。詳細は後述するが、アテンションマップとは、数学モデルが検出結果を得る際に影響した各位置に対する影響度（注目度）の、画像領域内における分布を示す。

【0015】

また、改変用画像と予測疾患画像が同一であってもよい。つまり、医療画像上または予測疾患画像上で病変部の位置・範囲が指定されることで、指定内容に応じた予測疾患画像がリアルタイムに生成され、表示されていた医療画像または予測疾患画像が、新たに生成された予測疾患画像に切り替えられてもよい。

【0016】

制御部は、病変部位置取得ステップをさらに実行してもよい。病変部位置取得ステップでは、制御部は、画像取得ステップにおいて取得された医療画像に病変部が既に存在する場合に、医療画像における病変部の位置の検出結果を取得する。制御部は、病変部位置取得ステップにおいて取得された病変部の位置を、既に存在する病変部の位置として、病変部受付ステップで指示を受け付ける処理、および、予測疾患画像取得ステップで予測疾患画像を取得する処理を実行してもよい。

【0017】

この場合、ユーザは、既に存在する病変部の位置に応じて、各種指示（例えば、既に存在する病変部の範囲を拡大または縮小させる指示、既に存在する病変部の位置を変更させる指示、および、既に存在する病変部に加えて新たな病変部を追加させる指示等の少なくともいずれか）を入力することができる。従って、既に存在する病変部の位置に応じた適切な予測疾患画像が取得される。

【0018】

制御部は、病変部範囲取得ステップをさらに実行してもよい。病変部範囲取得ステップでは、制御部は、画像取得ステップにおいて取得された医療画像に病変部が既に存在する場合に、医療画像における病変部の範囲（例えば、位置の情報を含まない病変部の形状および大きさ）の検出結果を取得する。制御部は、病変部範囲取得ステップにおいて取得された病変部の範囲を、既に存在する病変部の範囲として、病変部受付ステップで指示を受け付ける処理、および、予測疾患画像取得ステップで予測疾患画像を取得する処理を実行してもよい。

【0019】

この場合、ユーザは、既に存在する病変部の範囲に応じて、各種指示（例えば、既に存在する病変部の範囲を拡大または縮小させる指示、および、既に存在する病変部に加えて新たな病変部を追加させる指示等の少なくともいずれか）を入力することができる。従って、既に存在する病変部の範囲に応じた適切な予測疾患画像が取得される。

【0020】

なお、制御部は、改変用画像表示ステップで改変用画像を表示部に表示させる際に、医療画像に基づいて取得された病変部の位置および範囲の少なくともいずれか（以下、単に「位置・範囲」という場合もある）を、既に存在する病変部の位置・範囲として、改変用画像上に表示してもよい。この場合、ユーザは、既に存在する病変部の位置・範囲を適切に把握したうえで、各種指示を入力することができる。

【0021】

医療画像中に既に存在する病変部の位置・範囲を取得するための具体的な方法は、適宜選択できる。例えば、制御部は、機械学習アルゴリズムによって訓練された数学モデルに、画像取得ステップにおいて取得された医療画像を入力することで、数学モデルによって出力される病変部の位置・範囲を取得してもよい。この場合、数学モデルは、医療画像のデータを入力用訓練データとし、且つ、入力用訓練データに含まれる病変部の位置・範囲を示す情報を出力用訓練データとする訓練データセットによって、予め訓練されていてもよい。機械学習アルゴリズムが利用されることで、医療画像における病変部の位置・範囲がより適切に取得される。また、制御部は、画像取得ステップにおいて取得された医療画像に対して公知の画像処理を実行することで、医療画像における病変部の位置・範囲を取得してもよい。

【0022】

ただし、医療画像から病変部の位置・範囲を検出しない場合、および、医療画像から病変部の位置・範囲を検出できない場合等でも、本開示で例示する技術は有用である。例えば、制御部は、画像取得ステップにおいて取得された医療画像を表示部に表示させた状態で、病変部受付ステップを実行してもよい。この場合、病変部の位置・範囲が自動的に検出されなくても、ユーザは、表示部に表示された医療画像に基づいて、既に存在する病変部の位置・範囲を自ら判断または推定し、判断または推定の結果に基づいて各種指示を入力することができる。また、取得された医療画像の病変部が何ら存在しない場合に、指定内容に応じて病変部が追加された予測疾患画像が医療画像に基づいて取得されてもよい。

【0023】

制御部は、病変部受付ステップにおいて、改変される病変部の種類（つまり、疾患の種類）を指定する指示を受け付けてもよい。制御部は、病変部の種類が指定された場合に、指定された種類の病変部が改変された予測疾患画像を、医療画像に基づいて取得してもよい。この場合、ユーザは、例えば、医療画像に病変部を新たに追加する場合に、追加する病変部の種類を適宜選択することができる。また、ユーザは、医療画像における病変部の種類を変更することもできる。よって、予測疾患画像がより適切に取得される。

【0024】

また、制御部は、病変部受付ステップにおいて、改変される病変部の疾患の程度（進行状況）を指定する指示を受け付けてもよい。制御部は、疾患の程度が指定された場合に、指定された疾患の程度に応じた色（色の濃度、色の分布の粗さ等を含む）に病変部の色が改変された予測疾患画像を、医療画像に基づいて取得してもよい。この場合、疾患の程度に応じて色が変化する病変部も、適切に予測疾患画像上に表示される。

【0025】

制御部は、病変部種類取得ステップをさらに実行してもよい。病変部種類取得ステップでは、制御部は、画像取得ステップにおいて取得された医療画像に病変部が既に存在する場合に、既に存在する病変部の種類の検出結果を取得する。制御部は、病変部種類取得ステップにおいて病変部の種類が取得された場合に、取得された病変部の種類を既に存在する病変部の種類として、病変部受付ステップで指示を受け付ける処理、および、予測疾患画像取得ステップで予測疾患画像を取得する処理を実行してもよい。

【0026】

この場合、ユーザは、既に存在する病変部の種類に応じて、各種指示（例えば、既に存在する病変部の範囲を拡大または縮小させる指示、および、既に存在する病変部と同じ種類の病変部を他の位置に追加する指示等の少なくともいずれか）を入力することができる。従って、既に存在する病変部の種類に応じた適切な予測疾患画像が取得される。

【0027】

なお、制御部は、病変部種類取得ステップにおいて取得された病変部の種類を表示部に表示させてもよい。この場合、ユーザは、既に存在する病変部の種類を適切に把握したうえで、各種指示を入力することができる。

【0028】

医療画像中に既に存在する病変部の種類を取得するための具体的な方法は、適宜選択できる。例えば、制御部は、機械学習アルゴリズムによって訓練された数学モデルに、画像取得ステップにおいて取得された医療画像を入力することで、数学モデルによって出力される病変部の種類を取得してもよい。この場合、数学モデルは、医療画像のデータを入力用訓練データとし、且つ、入力用訓練データに含まれる病変部の種類を示す情報を出力用訓練データとする訓練データセットによって、予め訓練されていてもよい。機械学習アルゴリズムが利用されることで、医療画像における病変部の種類がより適切に取得される。

【0029】

制御部は、病変部の範囲が指定された場合に、指定された範囲の病変部が改変された予測疾患画像と共に、病変部の範囲が、指定された範囲と、画像取得ステップにおいて取得された医療画像における病変部の範囲の間である予測疾患画像を取得してもよい。この場合、被検者本人の医療画像に基づいて取得される複数の予測疾患画像によって、病変部の範囲が拡大または縮小していく推移がより適切に把握される。

【0030】

なお、病変部の範囲が異なる複数の予測疾患画像を表示部に表示させる方法は、適宜選択できる。例えば、制御部は、複数の予測疾患画像の各々を、時系列に沿って順に切り替えて（例えば動画で）表示させてもよい。この場合、複数の予測疾患画像よりも前に、画像取得ステップにおいて取得された医療画像（つまり、病変部が改変されていない生画像）を表示させてもよい。また、制御部は、複数の予測疾患画像を同時に並べて表示させてもよい。この場合、複数の予測疾患画像に加えて生画像も表示されてもよい。

【0031】

制御部は、予測疾患画像取得ステップにおいて、位置および範囲の少なくともいずれかを含む病変部の情報と、被検者の組織の画像に基づいて、病変部の情報から予測される病変部の画像を含む予測疾患画像を取得してもよい。病変部の情報は、病変部受付ステップにおいて受け付けられた指示に応じて設定される。この場合、ユーザが指定した情報から予測される病変部の画像が、被検者自身の組織の画像に基づいて適切に取得される。よって、予測される疾患の状態を被検者に実感させやすい。

【0032】

制御部は、予測疾患画像取得ステップにおいて、機械学習アルゴリズムによって訓練された数学モデルに被検者の組織の画像と病変部の情報を入力することで、予測疾患画像を取得してもよい。この場合、実際の医療画像を含む複数の訓練用データによって訓練された数学モデルが用いられることで、機械学習アルゴリズムを利用しない関数等を用いる場合に比べて、実際の医療画像に近似した予測疾患画像が取得され易い。

【0033】

機械学習アルゴリズムが利用される場合、数学モデルは、複数の訓練用データセットによって訓練されていてもよい。訓練用データセットは、入力用訓練データおよび出力用訓練データ（例えば正解データ）を含んでいてもよい。出力用訓練データは、医療画像撮影装置によって撮影された、病変部を含む組織の医療画像であってもよい。入力用訓練データは、出力用訓練データから病変部の情報が除去された病変部除去画像と、出力用訓練データにおける病変部の情報（例えば、病変部の位置、範囲、および種類の少なくともいずれかを示す情報）とを含んでいてもよい。この場合、実際に撮影された医療画像に基づいて、予測疾患画像を出力するための数学モデルが適切に訓練される。

【0034】

医療画像は、被検眼の眼底が撮影された眼底画像（例えば、眼底を視線方向から撮影した眼底正面画像、または、眼底の深さ方向の情報を含む眼底断層画像等）であってもよい。一例として、医療画像が眼底正面画像である場合、出力用訓練データは、眼底正面画像を撮影する眼底撮影装置（例えば、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ）、またはＯＣＴ装置）によって撮影された、病変部を含む画像であってもよい。また、入力用訓練データとして用いられる病変部除去画像は、眼底血管の画像であってもよい。眼底血管の画像は、眼底正面画像から眼底血管が抽出されることで取得されてもよいし、眼底正面画像を撮影する眼底撮影装置とは異なる装置によって撮影されてもよい。入力用訓練データとして用いられる病変部の情報は、例えば、出力用訓練データ（眼底正面画像）を見た作業者が、画像中の病変部の位置および範囲を指定することで生成されてもよい。また、眼底正面画像を入力して病変部の情報を出力するように予め訓練された数学モデルに、出力用訓練データが入力されることで、病変部の情報が取得されてもよい。また、眼底正面画像に対する公知の画像処理が行われることで、病変部の位置および範囲等の情報が取得されてもよい。

【0035】

ただし、制御部は、機械学習アルゴリズムを利用せずに予測疾患画像を取得することも可能である。例えば、制御部は、指定内容（指定された病変部の情報）に応じて医療画像の少なくとも一部を変換することで、医療画像から予測疾患画像を生成してもよい。

【0036】

また、医療画像処理装置の制御部は、数学モデルを実現するためのプログラムが記憶された他のデバイス（例えばサーバ等）に医療画像と指定内容を出力してもよい。医療画像の出力先のデバイスは、入力された医療画像と指定内容を数学モデルに入力することで、予測疾患画像を取得し、取得した予測疾患画像を医療画像処理装置に出力してもよい。

【図面の簡単な説明】

【0037】

【図1】数学モデル構築装置１、医療画像処理装置２１、および医療画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。

【図2】予測疾患画像６０を取得するための本実施形態のモデル構造を説明するための説明図である。

【図3】表示装置２８に表示される予測疾患画像取得用画面９の一例を示す図である。

【図4】医療画像処理装置２１が実行する医療画像処理のフローチャートである。

【発明を実施するための形態】

【0038】

（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、医療画像処理装置２１、および医療画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された情報に基づいて、訓練内容に応じた情報を出力する（数学モデルの詳細については、図２を参照して後述する）。医療画像処理装置２１は、数学モデルを用いて、予測疾患画像６０（図２および図３参照）を取得するための各種処理を実行する。予測疾患画像６０とは、疾患が生じると予測される場合の組織の状態、疾患が進行すると予測される場合の組織の状態、または疾患が治癒していくと予測される場合の組織の状態等を示す画像である。予測疾患画像６０は、実際に撮影された被検者の組織の画像に基づいて取得される。医療画像撮影装置１１Ａ，１１Ｂは、被検者の組織の画像である医療画像３０（図２および図３参照）を撮影する。

【0039】

なお、本実施形態では、医療画像３０および予測疾患画像６０として、被検眼の眼底組織を被検眼の視線方向から撮影した二次元の眼底正面画像が用いられる場合を例示する。しかし、医療画像３０および予測疾患画像６０が、眼底正面画像以外の画像である場合でも、本開示で例示する技術の少なくとも一部を適用できる。例えば、医療画像３０および予測疾患画像６０は、被検眼の眼底の深さ方向の情報を含む二次元断層画像または三次元断層画像であってもよい。医療画像３０および予測疾患画像６０は、被検眼の眼底以外の組織の眼科画像（例えば前眼部画像等）であってもよい。また、医療画像３０および予測疾患画像６０は、被検眼以外の生体組織の医療画像（例えば内臓の画像等）であってもよい。

【0040】

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、医療画像撮影装置１１Ａから取得した医療画像を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、医療画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、医療画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。

【0041】

また、本実施形態の医療画像処理装置２１にはＰＣが用いられる。しかし、医療画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、医療画像撮影装置１１Ｂまたはサーバ等が、医療画像処理装置２１として機能してもよい。また、タブレット端末またはスマートフォン等の携帯端末が、医療画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、医療画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。

【0042】

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。

【0043】

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、医療画像処理装置２１または医療画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、数学モデルを構築するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、医療画像撮影装置１１Ａおよび医療画像処理装置２１等）と接続する。

【0044】

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。

【0045】

数学モデル構築装置１は、医療画像撮影装置１１Ａから医療画像３０の情報（以下、単に「医療画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、医療画像撮影装置１１Ａから医療画像３０の情報を取得してもよい。

【0046】

医療画像処理装置２１について説明する。医療画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。医療画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する医療画像処理（図４参照）を実行するための医療画像処理プログラムが記憶されている。医療画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、医療画像処理装置２１を他のデバイス（例えば、医療画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。

【0047】

医療画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。

【0048】

医療画像処理装置２１は、医療画像撮影装置１１Ｂから医療画像３０を取得することができる。医療画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、医療画像撮影装置１１Ｂから医療画像３０を取得してもよい。また、医療画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。

【0049】

医療画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に医療画像３０を提供する医療画像撮影装置１１Ａと、医療画像処理装置２１に医療画像３０を提供する医療画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される医療画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および医療画像処理装置２１は、複数の医療画像撮影装置から医療画像３０を取得してもよい。また、数学モデル構築装置１および医療画像処理装置２１は、共通する１つの医療画像撮影装置から医療画像３０を取得してもよい。なお、本実施形態で例示する２つの医療画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの医療画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。

【0050】

医療画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、医療画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。

【0051】

医療画像撮影部１６は、被検者の組織の医療画像（本実施形態では眼底正面画像）３０を撮影するために必要な各種構成を備える。例えば、医療画像撮影装置１１が眼底カメラである場合には、医療画像撮影部１６には、被検者の眼底の正面画像を撮影するための照明光学系、受光光学系、撮影素子等が含まれる。なお、医療画像撮影装置１１として使用できるデバイスは眼底カメラに限定されない。例えば、走査型レーザ検眼鏡（ＳＬＯ）、ＯＣＴ装置、角膜内皮細胞撮影装置（ＣＥＭ）、コンピュータ断層撮影（ＣＴ）装置等が、医療画像撮影装置１１として使用されてもよい。

【0052】

（数学モデルのモデル構造）
図２を参照して、医療画像処理装置２１が予測疾患画像６０を取得するための、本実施形態の数学モデルのモデル構造について説明する。本実施形態では、予測疾患画像６０を取得するための数学モデルとして、病変部除去モデル７１、病変部識別モデル７２、および予測疾患画像生成モデル７４が用いられる。

【0053】

病変部除去モデル７１は、医療画像３０を入力することで、医療画像３０から病変部３１の情報が除去された病変部除去画像４０を出力する。病変部除去画像４０には、病変部３１の情報を含まず、且つ組織の構造の情報を含む各種画像を採用できる。本実施形態では、組織の構造の１つである血管の画像（眼底血管画像）が、病変部除去画像４０として使用される。

【0054】

病変部識別モデル７２は、医療画像３０を入力することで、医療画像３０に病変部３１が存在する場合の病変部３１の検出結果（病変部情報７３）を出力する。本実施形態では、病変部識別モデル７２によって出力される病変部情報７３には、病変部３１の位置の情報、病変部３１の範囲の情報、および病変部３１の種類（つまり、疾患の種類）の情報が含まれる。詳細は後述するが、予測疾患画像６０が取得される場合には、ユーザから入力される指示に応じて、病変部情報７３の追加および変更（削除を含む）の少なくともいずれかが実行される。

【0055】

一例として、本実施形態の病変部識別モデル７２は、医療画像３０に含まれる病変部３１の種類の検出結果を得る際のアテンションマップ８０（図３参照）を出力する。病変部３１の位置および範囲の情報は、アテンションマップ８０から取得される。アテンションマップ８０は、病変部識別モデル７２が病変部３１の種類の検出結果を得る際に影響した各位置に対する影響度（注目度）の、画像領域内における分布を示す。影響度が高い領域は、影響度が低い領域に比べて、病変部３１の種類の検出結果に強く影響する。アテンションマップ８０の一例は、例えば以下の論文等に記載されている。「Ｒａｍｐｒａｓａａｔｈ Ｒ． Ｓｅｌｖａｒａｊｕ， ｅｔ ａｌ． “Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１７－Ｏｃｔ， ｐｐ． ６１８－６２６」

【0056】

ただし、病変部３１の位置および範囲の情報を取得する方法を変更することも可能である。例えば、医療画像３０に対して公知の画像処理が実行されて、病変部３１の領域がセグメンテーションされることで、病変部３１の位置および範囲の情報が取得されてもよい。

【0057】

予測疾患画像生成モデル７４は、病変部除去画像４０と、追加、変更、および削除の少なくともいずれかが実行された病変部情報７３とを入力することで、予測疾患画像６０を出力する。前述したように、病変部除去画像４０は病変部３１の情報を含まない。従って、病変部除去画像４０と、ユーザから入力される指示に応じた病変部情報７３が用いられることで、ユーザが所望する予測疾患画像６０が、予測疾患画像生成モデル７４によって適切に出力される。

【0058】

本実施形態では、実際に撮影された医療画像３０における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれか（本実施形態では、医療画像３０から取得される病変部除去画像４０が示す組織の構造）に基づいて、予測疾患画像６０が取得される。よって、被検者自身の医療画像３０に基づくことなく予測疾患画像が取得される場合に比べて、予測される疾患の状態を被検者に実感させやすい。

【0059】

また、本実施形態では、実際に撮影された医療画像３０と、位置および範囲の情報を含む病変部情報７３とに基づいて、病変部情報７３から予測される病変部３１の画像を含む予測疾患画像６０が取得される。よって、ユーザが指定した情報から予測される病変部３１の画像が、被検者自身の組織の画像に基づいて適切に取得される。

【0060】

数学モデル構築装置１が実行する数学モデル構築処理の一例について説明する。数学モデル構築装置１のＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行することで、数学モデルを構築する。構築された数学モデルを実現するためのプログラムは、医療画像処理装置２１の記憶装置２４に記憶される。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

【0061】

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。

【0062】

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。

【0063】

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。

【0064】

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。

【0065】

本実施形態では、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）等によって、各々の数学モデルが構築されている。

【0066】

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、複数の訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。

【0067】

病変部除去モデル７１の構築方法の一例について説明する。本実施形態では、数学モデル構築装置１のＣＰＵ３は、病変部除去モデル７１を構築する場合、医療画像撮影装置１１Ａによって撮影された被検者の医療画像３０を入力用訓練データとし、且つ、同一の被検者の病変部除去画像（本実施形態では眼底血管画像）４０を出力用訓練データとして、数学モデルを訓練する。病変部除去画像４０は、例えば、医療画像３０を撮影する手法とは異なる手法で医療画像撮影装置１１Ａによって撮影されてもよいし、医療画像撮影装置１１Ａとは異なるデバイスによって撮影されてもよい。また、公知の画像処理によって、医療画像３０から病変部除去画像４０が抽出されてもよい。また、ユーザから入力される指示に応じて、医療画像３０から病変部除去画像４０が抽出されてもよい。

【0068】

病変部識別モデル７２の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、病変部識別モデル７２を構築する場合、医療画像撮影装置１１Ａによって撮影された被検者の医療画像３０を入力用訓練データとし、且つ、入力用訓練データ（医療画像３０）における病変部３１の情報（本実施形態では、病変部３１の位置の情報、病変部３１の範囲の情報、および病変部３１の種類の情報）を出力用訓練データとして、数学モデルを訓練する。病変部３１の情報は、例えば、入力用訓練データ（医療画像３０）を確認したユーザから入力される指示に応じて生成されてもよい。また、入力用訓練データに対して公知の画像処理が実行されることで、病変部３１の情報の少なくとも一部（例えば、位置および範囲の情報）が生成されてもよい。

【0069】

予測疾患画像生成モデル７４の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測疾患画像生成モデル７４を構築する場合、医療画像撮影装置１１Ａによって撮影された被検者の医療画像３０を、出力用訓練データとする。また、ＣＰＵ３は、出力用訓練データ（医療画像３０）から病変部３１の情報が除去された病変部除去画像４０と、出力用訓練データに関する病変部３１の情報（本実施形態では、病変部３１の位置の情報、病変部３１の範囲の情報、および病変部３１の種類の情報）を、入力用訓練データとする。ＣＰＵ３が病変部除去画像４０および病変部３１の情報を取得する方法には、前述した方法と同様の方法を採用できる。

【0070】

（予測疾患画像取得用画面）
図３を参照して、表示装置２８に表示される予測疾患画像取得用画面９の一例について説明する。予測疾患画像取得用画面９は、ユーザが被検者の予測疾患画像６０を医療画像処理装置２１に生成させる際に、表示装置２８に表示される。

【0071】

本実施形態の予測疾患画像取得用画面９には、医療画像３０、病変部除去画像４０、アテンションマップ８０、改変用画像５０、予測疾患画像６０、追加・削除選択部９１、および病変部種類表示部９２が表示される。

【0072】

医療画像３０は、医療画像撮影装置１１Ｂ（図１参照）によって実際に撮影された被検者の組織の画像である。医療画像３０を予測疾患画像取得用画面９に含めることで、ユーザは、実際に撮影された医療画像３０に写る組織の状態と、予測疾患画像６０に写る組織の状態を容易に把握することができる。

【0073】

病変部除去画像４０は、前述したように、医療画像３０から病変部３１の情報が除去された画像（本実施形態では眼底血管画像）である。病変部除去画像４０を予測疾患画像取得用画面９に含めることで、ユーザは、被検者の組織の構造を把握したうえで、予測疾患画像６０を生成させるための適切な指示を医療画像処理装置２１に入力することができる。

【0074】

アテンションマップ８０は、前述したように、病変部識別モデル７２が病変部３１の種類の検出結果を得る際に影響した各位置に対する影響度（注目度）の分布を示す。従って、アテンションマップ８０には、医療画像３０に写っている病変部３１の位置および範囲が表れる。よって、アテンションマップ８０を予測疾患画像取得用画面９に含めることで、ユーザは、実際に被検者の組織に存在する病変部３１の位置および範囲を把握したうえで、適切な指示を医療画像処理装置２１に入力することができる。

【0075】

改変用画像５０には、医療画像３０上で改変される病変部３１（図２参照）の位置および範囲の少なくともいずれかが表示される。本実施形態の改変用画像５０は、無地の背景上に病変部３１の位置および範囲の少なくともいずれか（本実施形態では、位置と範囲の両方）を示す画像である。なお、病変部３１の位置・範囲を追加または変更（削除を含む）する指示が入力される前の状態では、改変用画像５０には、アテンションマップ８０に表れる病変部３１の位置および範囲が示される。位置・範囲を追加または変更する指示が入力されると、改変用画像５０における病変部３１の位置・範囲が、入力された指示に応じて変更される。図３に例示する改変用画像５０は、病変部３１の位置・範囲を変更する指示が入力された後の画像である。

【0076】

予測疾患画像６０は、予測される組織の状態を示す画像である。病変部３１を指定する指示がユーザによって入力されると、指定内容に応じて生成された予測疾患画像６０が、リアルタイムに表示装置２８に表示される。

【0077】

追加・削除選択部９１は、病変部３１を新たに追加する場合と、病変部３１を削除する場合を切り替える指示をユーザが入力するために表示される。本実施形態では、ユーザが「Ｉｎｓｅｒｔ」を選択する指示を入力すると、病変部３１を新たに追加できる状態となる。ユーザが「Ｄｅｌｅｔｅ」を選択する指示を入力すると、病変部３１を削除できる状態となる。

【0078】

病変部種類表示部９２には、撮影された医療画像３０に既に存在していた病変部３１の種類が表示される。また、ユーザは、病変部種類表示部９２に表示されている病変部３１の種類を切り替えることで、新たに追加する病変部３１の種類を指定する指示、および、その時点で設定されている病変部３１の種類を変更する指示を、医療画像処理装置２１に入力することができる。

【0079】

なお、図３に示す予測疾患画像取得用画面９は一例に過ぎない。つまり、予測疾患画像取得用画面９の構成は適宜変更できる。まず、改変用画像５０の構成を変更することも可能である。改変用画像には、病変部３１の位置（例えば、病変部３１の中心の位置等）のみが表示されてもよい。この場合、病変部３１の範囲は、画像以外のパラメータ（例えば、範囲の広さを示す数値等）によって表示されてもよい。また、病変部３１の位置と範囲が別々の改変用画像に表示されてもよい。また、病変部３１の位置が予め定まっている場合等には、病変部３１の範囲（形状および大きさ）のみが改変用画像に表示されてもよい。

【0080】

また、種々の画像を改変用画像として用いることができる。例えば、病変部除去画像４０が改変用画像として使用されてもよいし、医療画像撮影装置１１Ｂ（図１参照）によって実際に撮影された医療画像３０が改変用画像として使用されてもよい。また、医療画像３０を撮影した医療画像撮影装置１１Ｂとは異なる装置によって撮影された画像が、改変用画像として使用されてもよい。また、改変用画像と予測疾患画像６０が同一であってもよい。つまり、医療画像３０上または予測疾患画像６０上で病変部３１の位置・範囲が指定されることで、指定内容に応じた予測疾患画像６０がリアルタイムに生成され、表示されていた医療画像３０または予測疾患画像６０が、新たに生成された予測疾患画像６０に切り替えられてもよい。また、改変用画像と予測疾患画像６０が切り替えて表示されてもよい。病変部除去画像４０は、医療画像処理（図４参照）の実行中に表示装置２８に表示されなくてもよい。

【0081】

また、本実施形態では、改変用画像５０と予測疾患画像６０が同一の表示装置２８に表示される。しかし、改変用画像５０と予測疾患画像６０は、異なる表示装置に同時に、または切り替えて表示されてもよい。例えば、医師等が視認する表示装置に改変用画像５０が表示され、且つ、被検者等が視認する表示装置に予測疾患画像６０が表示されてもよい。

【0082】

（医療画像処理）
図３および図４を参照して、本実施形態の医療画像処理装置２１が実行する医療画像処理について説明する。医療画像処理は、記憶装置２４に記憶された医療画像処理プログラムに従って、ＣＰＵ２３によって実行される。ＣＰＵ２３は、予測疾患画像６０の生成および表示を開始させる指示がユーザによって入力されると、図４に例示する医療画像処理を開始する。

【0083】

図４に示すように、ＣＰＵ２３は、医療画像処理を開始すると、被検者の医療画像３０（図２参照）を取得する（Ｓ１）。前述したように、本実施形態の医療画像３０は、医療画像撮影装置１１Ｂによって実際に撮影された被検者の組織の画像である。ＣＰＵ２３は、Ｓ１で取得した医療画像３０を、表示装置２８（詳細には、本実施形態では予測疾患画像取得用画面９内）に表示させる。

【0084】

ＣＰＵ２３は、医療画像３０の撮影対象と同一の組織の病変部除去画像４０を取得し、表示装置２８に表示させる（Ｓ２）。前述したように、本実施形態のＣＰＵ２３は、Ｓ１で取得した医療画像３０を病変部除去モデル７１（図２参照）に入力することで、病変部除去画像４０を取得する。従って、機械学習アルゴリズムを利用しない手法（例えば公知の画像処理等）を用いる場合に比べて、より適切に病変部除去画像４０が取得される。ただし、病変部除去画像４０の取得方法を変更することも可能である。例えば、病変部除去画像４０は、医療画像３０を撮影する手法とは異なる手法で医療画像撮影装置１１Ａによって撮影されてもよいし、医療画像撮影装置１１Ａとは異なるデバイスによって撮影されてもよい。また、公知の画像処理によって、医療画像３０から病変部除去画像４０が抽出されてもよい。また、ユーザから入力される指示に応じて、医療画像３０から病変部除去画像４０が抽出されてもよい。

【0085】

次いで、ＣＰＵ２３は、改変用画像５０（図３参照）を表示装置２８に表示させる（Ｓ３）。前述したように、改変用画像５０は、病変部除去画像４０または医療画像３０等であってもよい。

【0086】

次いで、ＣＰＵ２３は、Ｓ１で取得した医療画像３０を病変部識別モデル７２に入力する（Ｓ４）。本実施形態の病変部識別モデル７２は、入力された医療画像３０に既に病変部３１が存在する場合には、病変部情報７３（病変部３１の位置、範囲、および種類の少なくともいずれかの検出結果）を出力する。一方で、医療画像３０に病変部３０が存在しない場合には、病変部情報７３は出力されない。Ｓ１で取得された医療画像３０に病変部３１が存在しない場合には（Ｓ６：ＮＯ）、処理はそのままＳ１１へ移行する。

【0087】

Ｓ１で取得された医療画像３０に病変部３１が存在する場合（Ｓ６：ＹＥＳ）、ＣＰＵ２３は、病変部識別モデル７２によって出力された病変部情報７３を取得し、記憶装置２４に記憶させる（Ｓ７）。その結果、Ｓ７で取得された病変部３１の位置、範囲、および種類が、既に存在する病変部３１の位置、範囲、および種類として、後述するＳ１１～Ｓ２１の処理が実行される。従って、ユーザは、既に存在する病変部３１の位置、範囲、および種類に応じて、各種指示を適切に医療画像処理装置に入力することができる。また、ＣＰＵ２３は、医療画像３０中に既に存在する病変部３１の位置および範囲を、Ｓ７で取得された病変部情報７３に基づいて改変用画像５０上に表示させる（Ｓ８）。さらに、本実施形態では、ＣＰＵ２３は、病変部識別モデル７２によって得られたアテンションマップ８０（図３参照）を、表示装置２８に表示させる。ＣＰＵ２３は、医療画像３０中に既に存在する病変部３１の種類を、Ｓ７で取得された病変部情報７３に基づいて病変部種類表示部９２（図３参照）に表示させる（Ｓ９）。従って、ユーザは、既に存在する病変部３１の位置、範囲、および種類を適切に把握したうえで、各種指示を医療画像処理装置２１に入力することができる。

【0088】

次いで、ＣＰＵ２３は、改変される病変部３１の種類（例えば、予測疾患画像６０に新たに追加する病変部３１の種類）を指定する指示が入力されたか否かを判断する（Ｓ１１）。病変部３１の種類を指定する指示が受け付けられると（Ｓ１１：ＹＥＳ）、ＣＰＵ２３は、指定された病変部３１の種類を記憶装置２３に記憶させる（Ｓ１２）。処理はＳ１３へ移行する。

【0089】

次いで、ＣＰＵ２３は、予測疾患画像６０に病変部３１を新たに追加する指示が入力されたか否かを判断する（Ｓ１３）。一例として、本実施形態では、ユーザは、病変部３１の種類を指定した状態で、改変用画像５０上の所望の位置にカーソルを合わせて操作部２７を操作することで、所望の位置に病変部３１を追加する指示を入力することができる。病変部３１を追加する指示が入力されると（Ｓ１３：ＹＥＳ）、ＣＰＵ２３は、病変部情報７３（図２参照）に、指定された病変部３１の位置および種類の情報を追加する（Ｓ１４）。また、ＣＰＵ２３は、Ｓ１４において追加した病変部３１の位置を、改変用画像５０（図３参照）上に表示させる。その後、処理はＳ２０（後述する）へ移行する。

【0090】

病変部３１を追加する指示が入力されていない場合（Ｓ１３：ＮＯ）、ＣＰＵ２３は、病変部３１の位置を移動させる指示が入力されたか否かを判断する（Ｓ１５）。一例として、本実施形態では、ユーザは、改変用画像５０上の病変部３１の位置を所望の位置にドラッグすることで、病変部３１の移動位置を指定する指示を入力することができる。移動指示が入力されると（Ｓ１５：ＹＥＳ）、ＣＰＵ２３は、病変部情報７３（図２参照）のうち、選択された病変部３１の位置の情報を、Ｓ１５で指定された位置に変更する（Ｓ１６）。また、ＣＰＵ２３は、Ｓ１６において変更した病変部３１の位置の情報に基づいて、改変用画像５０（図３参照）上に表示されている病変部３１の位置を移動させる。その後、処理はＳ２０（後述する）へ移行する。

【0091】

病変部３１の移動指示が入力されていない場合（Ｓ１５：ＮＯ）、ＣＰＵ２３は、病変部３１の範囲を変更（拡大、縮小、または削除）する指示が入力されたか否かを判断する（Ｓ１７）。一例として、本実施形態では、ユーザは、改変用画像５０上の病変部３１の枠部を所望の方向にドラッグすることで、病変部３１の範囲を拡大または縮小を指定する指示を入力することができる。また、ユーザは、改変用加増５０上の病変部３１を選択した状態で、削除ボタンを操作することで、選択した病変部３１の削除を指定する指示を入力することができる。病変部３１の範囲の変更指示が入力されると（Ｓ１７：ＹＥＳ）、ＣＰＵ２３は、病変部情報７３（図２参照）のうち、選択された病変部３１の範囲の情報を、Ｓ１７で指定された範囲に変更（拡大、縮小、または削除）する（Ｓ１８）。また、ＣＰＵ２３は、Ｓ１８において変更した病変部３１の範囲の情報に基づいて、改変用画像５０（図３参照）上に表示されている病変部３１の範囲を変更する。その後、処理はＳ２０へ移行する。

【0092】

Ｓ１３、Ｓ１５、またはＳ１７で病変部３１の指定指示が受け付けられて、Ｓ１４、Ｓ１６、またはＳ１８で病変部情報７３が追加または変更されると、ＣＰＵ２３は、指定内容に応じて病変部３１が改変された予測疾患画像６０を、Ｓ１で取得された医療画像３０に基づいて取得する（Ｓ２０，Ｓ２１）。詳細には、本実施形態のＳ２０では、ＣＰＵ２３は、医療画像３０に基づいてＳ２で取得される病変部除去画像４０と、追加または変更された病変部情報７３を、予測疾患画像生成モデル７４（図２参照）に入力する。Ｓ２１では、ＣＰＵ２３は、予測疾患画像生成モデル７４によって出力された予測疾患画像６０を取得し、記憶装置２４に記憶させると共に、表示装置２８（本実施形態では予測疾患画像取得用画面９）に表示させる。つまり、ＣＰＵ２３は、改変用画像５０を表示装置２８に表示させた状態で、新たに取得した予測疾患画像６０を表示装置２８にリアルタイムに表示させる。

【0093】

なお、本実施形態のＳ２０，Ｓ２１では、ＣＰＵ２３は、指定された位置・範囲の病変部３１が改変された予測疾患画像６０と共に、病変部３１の状態が推移する途中の予測疾患画像６０（以下、「推移途中画像」という）を取得することも可能である。推移途中画像とは、病変部３１の位置・範囲が、Ｓ１３、Ｓ１５、またはＳ１７で指定された位置・範囲と、Ｓ１で取得された医療画像３０における病変部３１の位置・範囲の間の画像である。この場合、ユーザは、病変部３１の状態が推移する過程を適切に把握することができる。なお、ＣＰＵ２３は、Ｓ２０，Ｓ２１で推移途中画像を取得する場合、複数の予測疾患画像６０を時系列に沿って順に切り替えて（例えば動画で）表示装置２８に表示させてもよい。この場合、複数の予測疾患画像６０よりも前に、Ｓ１で取得された医療画像３０を表示させてもよい。また、ＣＰＵ２３は、複数の予測疾患画像６０を同時に並べて表示装置２８に表示させてもよい。

【0094】

医療画像処理を終了させる指示が入力されていなければ（Ｓ２３：ＮＯ）、処理はＳ１１へ戻り、Ｓ１１～Ｓ２３の処理が繰り返される。終了指示が入力されると（Ｓ２３：ＹＥＳ）、医療画像処理は終了する。

【0095】

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、Ｓ１１、Ｓ１３、Ｓ１５、Ｓ１７の処理の少なくともいずれかが省略されてもよい。

【0096】

上記実施形態のＳ２０，Ｓ２１では、Ｓ１で取得された医療画像３０から生成される病変部除去画像４０と、ユーザからの指定内容に応じて追加または変更された病変部情報７３とに基づいて、予測疾患画像６０が取得される。つまり、上記実施形態では、医療画像３０そのものではなく、医療画像３０から取得される病変部除去画像４０に基づいて、予測疾患画像６０が取得される。従って、Ｓ１では、病変部除去画像４０（本実施形態では眼底血管画像）が、予測疾患画像６０を取得するために用いられる被検者の医療画像として取得されてもよい。この場合、Ｓ２の処理は省略してもよい。

【0097】

また、上記実施形態では、予測疾患画像生成モデル７４（図２参照）は、医療画像３０から取得される病変部除去画像４０と、病変部情報７３を入力することで、予測疾患画像７４を出力する。しかし、医療画像３０および病変部情報７３に基づいて予測疾患画像６０を取得するための具体的な方法を変更することも可能である。例えば、ＣＰＵ２３は、医療画像３０から、病変部３１の領域の画像を抽出してもよい。ＣＰＵ２３は、ユーザによって指定された病変部情報７３に応じて、病変部３１の領域の画像の位置、範囲、種類、色等の少なくともいずれかを変換してもよい。ＣＰＵ２３は、変換した画像を医療画像３０に合成することで、予測疾患画像６０を生成してもよい。以上の処理は、機械学習アルゴリズムが利用されることで実行されてもよいし、公知の画像処理によって実行されてもよい。この場合、病変部除去画像４０を取得する処理を省略してもよい。

【0098】

また、医療画像３０が眼底正面画像である場合、改変用画像は、眼底の構造に関する分布（例えば、眼底における少なくともいずれかの層の厚みの分布）を二次元で示すマップ画像であってもよい。この場合、ユーザは、マップ画像に示された所望の構造の領域（例えば、層の厚みが特定の範囲内である領域）を指定することで、病変部３１の位置および領域の少なくともいずれかを指定してもよい。

【0099】

また、ＣＰＵ２３は、改変される病変部３１の疾患の程度（進行状況または治癒状況）を指定する指示を受け付けてもよい。ＣＰＵ２３は、疾患の程度が指定された場合に、指定された疾患の程度に応じた色（色の濃度、および色の分布の粗さ等を含む）に病変部３１の色を改変した予測疾患画像６０を、医療画像３０に基づいて取得してもよい。この場合、予測疾患画像生成モデル７４は、疾患の程度の情報を含む病変部情報７３を入力用訓練データとして訓練されていてもよい。この場合、疾患の程度に応じて色が変換する病変部３１も、適切に予測疾患画像６０上に表示される。

【0100】

なお、図４のＳ１で医療画像３０を取得する処理は、「画像取得ステップ」の一例である。図４のＳ３で改変用画像５０を表示させる処理は、「改変用画像表示ステップ」の一例である。図４のＳ１１，Ｓ１３，Ｓ１５，Ｓ１７で病変部３１に関する指定指示を受け付ける処理は、「病変部受付ステップ」の一例である。図４のＳ２０，Ｓ２１で予測疾患画像６０を取得する処理は、「予測疾患画像取得ステップ」の一例である。図４のＳ２１で予測疾患画像を表示させる処理は、「予測疾患画像表示ステップ」の一例である。図４のＳ４～Ｓ７で医療画像３０中の病変部３１に関する検出結果を取得する処理は、「病変部位置取得ステップ」「病変部範囲取得ステップ」および「病変部種類取得ステップ」の一例である。

【符号の説明】

【0101】

２１ 医療画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
３０ 医療画像
３１ 病変部
４０ 病変部除去画像
５０ 改変用画像
６０ 予測疾患画像
７３ 病変部情報
７４ 予測疾患画像生成モデル

【図1】

【図2】

【図3】

【図4】