特開 2024-118355 学習済モデルの生成方法、画像生成方法、画像生成装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118355

(43)【公開日】2024-08-30

(54)【発明の名称】学習済モデルの生成方法、画像生成方法、画像生成装置およびプログラム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240823BHJP

   A61B 6/50 20240101ALI20240823BHJP

【ＦＩ】

A61B6/00 350M

A61B6/00 331A

A61B6/00 350S

A61B6/00 360Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023024728

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】399086263

【氏名又は名称】学校法人帝京大学

(74)【代理人】

【識別番号】100218062

【弁理士】

【氏名又は名称】小野 悠樹

(74)【代理人】

【識別番号】100093230

【弁理士】

【氏名又は名称】西澤 利夫

(72)【発明者】

【氏名】高田 剛志

(72)【発明者】

【氏名】山田 謙太郎

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA01

4C093AA22

4C093AA24

4C093CA21

4C093DA02

4C093FF07

4C093FF34

(57)【要約】

【課題】対象組織を表す領域とそれ以外の領域とのコントラストが強調された画像を出力する学習済モデルの生成において、被験者への負担を軽減する。
【解決手段】観察対象となる対象組織を表す第１領域と当該第１領域以外の第２領域とを含み、造影剤を使用して得られた第１画像と、観察対象となる対象組織を表す第３領域と当該第３領域以外の第４領域とを含み、当該第３領域と当該第４領域とのコントラストが前記第１画像における前記第１領域と前記第２領域とのコントラストよりも低い第２画像との関係を機械学習することで学習済モデルを生成し、前記第２画像は、前記第１画像に対して画像処理をすることで生成されるコンピュータシステムにより実現される学習済モデルの生成方法。
【選択図】図４

【特許請求の範囲】

【請求項1】

観察対象となる対象組織を表す第１領域と当該第１領域以外の第２領域とを含み、造影剤を使用して得られた第１画像と、
観察対象となる対象組織を表す第３領域と当該第３領域以外の第４領域とを含み、当該第３領域と当該第４領域とのコントラストが前記第１画像における前記第１領域と前記第２領域とのコントラストよりも低い第２画像との関係を機械学習することで学習済モデルを生成し、
前記第２画像は、前記第１画像に対して画像処理をすることで生成される
コンピュータシステムにより実現される学習済モデルの生成方法。

【請求項2】

前記画像処理では、前記第１領域における画素値を変化することで得られる前記第３領域を含む前記第２画像を生成する
請求項１の生成方法。

【請求項3】

前記画像処理では、前記第２領域における画素値を維持することで得られる前記第４領域を含む前記第２画像を生成する
請求項２の生成方法。

【請求項4】

前記画像処理では、１個の前記第１画像から、前記第３領域と前記第４領域とのコントラストが相異なる複数の第２画像を生成する
請求項１の生成方法。

【請求項5】

前記第１画像は、デジタル差分血管造影法（Digital subtraction angiography）により得られた画像である
請求項１の生成方法。

【請求項6】

請求項１の生成方法により生成された学習済モデルに、造影剤を使用して得られた画像であって、観察対象となる対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像を入力することで、前記対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが前記入力画像よりも高い出力画像を生成する生成処理を含む
画像生成方法。

【請求項7】

前記入力画像は、前記第１画像を得るために使用した造影剤の濃度よりも低い濃度の造影剤を使用して得られる画像である
請求項６の画像生成方法。

【請求項8】

前記学習済モデルは、複数の対象組織の種類にそれぞれ対応する複数の学習済モデルを含み、
前記生成処理では、前記複数の学習済モデルのうち利用者からの指示に応じて選択した学習済モデルを用いる
請求項６の画像生成方法。

【請求項9】

請求項１の生成方法により生成された学習済モデルに、造影剤を使用して得られた画像であって、観察対象となる対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像を入力することで、前記対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが前記入力画像よりも高い出力画像を生成する生成部を含む
画像生成装置。

【請求項10】

請求項１の生成方法により生成された学習済モデルに、造影剤を使用して得られた画像であって、観察対象となる対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像を入力することで、前記対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが前記入力画像よりも高い出力画像を生成する生成部
としてコンピュータシステムを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人体について造影剤を用いて撮像される画像のコントラストを改善するための技術に関する。

【背景技術】

【0002】

各種の画像診断において、観察の対象となる組織（以下「対象組織」という）と、対象組織の周囲の組織とのコントラストを強調するために造影剤が使用されている。例えば、血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージングおよび磁気共鳴イメージング（ＭＲＩ）といった各種の画像診断の技術において、造影剤が用いられている。

【0003】

しかし、造影剤の種類によっては、人体に副作用を引き起こす場合がある。例えば、血管内に投与されるヨード系造影剤については、大きな副作用として急性造影剤腎症を引き起こすことが知られている。そこで、人体への安全性を考慮すると、造影剤の使用量を低減することが所望される。しかし、造影剤の使用量を低減すると、対象組織と当該対象組織の周囲にある組織とのコントラストが低下するという問題がある。正確な診断を行うという観点からは、コントラストの低下は望ましくない。

【0004】

そこで、造影剤を使用せずに（または低用量の造影剤で）、コントラストが強調された画像（すなわち通常の用量で造影剤を用いて撮像されたような画像）を得る技術が提案されている。

【0005】

例えば、特許文献１には、造影剤を使用することなく、コントラストが強調されたＭＲＩ画像（磁気共鳴画像）を得ることを目的として、造影剤を使用せず撮像したＭＲＩ画像と、造影剤を使用して撮像したＭＲＩ画像とを学習用データとして学習済モデルを生成する技術が開示されている。そして、造影剤を使用せず撮像したＭＲＩ画像を学習済モデルに入力すると、対象組織と対象組織の周囲の組織とのコントラストが強調されたＭＲＩ画像が出力される。しかし、特許文献１の技術では、造影剤を使用していないＭＲＩ画像からコントラストが強調されたＭＲＩ画像を生成することから、精度に問題があった。

【0006】

一方で、特許文献２には、通常の用量で造影剤を使用して撮像したフル造影剤用量画像と、フル造影剤用量より少ない用量で造影剤を使用して撮像した低造影剤用量画像と、造影剤を投与せずに撮像したゼロ造影剤用量画像とを学習用データとして、学習済モデルを生成する技術が開示されている。そして、低造影剤用量画像とゼロ造影剤用量画像とを学習済モデルに入力することで、フル造影剤用量画像（すなわちコントラストが強調された画像）が出力される。特許文献２では、ゼロ造影剤用量画像だけでなく、低造影剤用量画像も加味した上で、高精度にフル造影剤用量画像が生成できることが想定される。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特表２０２２－５４７０４７号公報

【特許文献2】特表２０２０－５３６６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、特許文献２の技術では、学習用データ（フル造影剤用量画像および低造影剤用量画像）を生成するにあたって、被験者に、実際に、通常の用量の造影剤を投与するだけでなく、低用量の造影剤も投与する必要がある。すなわち、学習済モデルの生成において、被験者への負担が大きいという問題があった。以上の事情を考慮して、本発明では、対象組織を表す領域とそれ以外の領域とのコントラストが強調された画像を出力する学習済モデルの生成において、被験者への負担を軽減することを目的とする。

【課題を解決するための手段】

【0009】

［１］観察対象となる対象組織を表す第１領域と当該第１領域以外の第２領域とを含み、造影剤を使用して得られた第１画像と、観察対象となる対象組織を表す第３領域と当該第３領域以外の第４領域とを含み、当該第３領域と当該第４領域とのコントラストが前記第１画像における前記第１領域と前記第２領域とのコントラストよりも低い第２画像との関係を機械学習することで学習済モデルを生成し、前記第２画像は、前記第１画像に対して画像処理をすることで生成されるコンピュータシステムにより実現される学習済モデルの生成方法。

【0010】

［２］前記画像処理では、前記第１領域における画素値を変化することで得られる前記第３領域を含む前記第２画像を生成する［１］の生成方法。

【0011】

［３］前記画像処理では、前記第２領域における画素値を維持することで得られる前記第４領域を含む前記第２画像を生成する［２］の生成方法。

【0012】

［４］前記画像処理では、１個の前記第１画像から、前記第３領域と前記第４領域とのコントラストが相異なる複数の第２画像を生成する［１］から［３］の生成方法。

【0013】

［５］前記第１画像は、デジタル差分血管造影法（Digital subtraction angiography）により得られた画像である［１］から［４］の生成方法。

【0014】

［６］［１］から［５］の生成方法により生成された学習済モデルに、造影剤を使用して得られた画像であって、観察対象となる対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像を入力することで、前記対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが前記入力画像よりも高い出力画像を生成する生成処理を含む画像生成方法。

【0015】

［７］前記入力画像は、前記第１画像を得るために使用した造影剤の濃度よりも低い濃度の造影剤を使用して得られる画像である［６］の画像生成方法。

【0016】

［８］前記学習済モデルは、複数の対象組織の種類にそれぞれ対応する複数の学習済モデルを含み、前記生成処理では、前記複数の学習済モデルのうち利用者からの指示に応じて選択した学習済モデルを用いる［６］または［７］の画像生成方法。

【0017】

［９］［１］から［５］の生成方法により生成された学習済モデルに、造影剤を使用して得られた画像であって、観察対象となる対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像を入力することで、前記対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが前記入力画像よりも高い出力画像を生成する生成部を含む画像生成装置。

【0018】

［１０］［１］から［５］の生成方法により生成された学習済モデルに、造影剤を使用して得られた画像であって、観察対象となる対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像を入力することで、前記対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが前記入力画像よりも高い出力画像を生成する生成部としてコンピュータシステムを機能させるプログラム。

【発明の効果】

【0019】

本発明によれば、対象組織を表す領域とそれ以外の領域とコントラストが強調された画像を出力する学習済モデルの生成において、被験者への負担を軽減できる。

【図面の簡単な説明】

【0020】

【図1】画像生成装置の構成を例示するブロック図である。

【図2】画像生成装置が行う処理のフローチャートである。

【図3】第１画像と第２画像とを模式的に表す模式図である。

【図4】学習済モデルを生成するためのする機械学習の説明図である。

【図5】上腸間膜動脈における第１画像および第２画像である。

【図6】左腎動脈における入力画像および出力画像である。

【図7】脾動脈における入力画像および出力画像である。

【発明を実施するための形態】

【0021】

図１は、本実施形態に係る画像生成装置１００の構成を例示するブロック図である。本発明に係る画像生成装置１００は、医療において診断に用いられる画像を生成するためのコンピュータシステムである。具体的には、画像生成装置１００は、観察対象となる対象組織Ｖを撮像した画像（以下「入力画像」という）Ｄaから、入力画像Ｄaよりも対象組織Ｖが鮮明である画像（以下「出力画像」という）Ｄbを生成する装置である。

【0022】

本実施形態では、対象組織Ｖが血管である場合を例示し、入力画像Ｄaがデジタル差分血管造影法（DSA：Digital subtraction angiography）により得られた画像である場合を例示する。デジタル差分血管造影法は、造影剤を投与する前後において被検体のＸ線画像をそれぞれ取得し、造影剤を投与した後のＸ線画像（オリジナル画像）から、造影剤を投与する前のＸ線画像（マスク画像）を差し引くことによって、血管が鮮明に映し出されたＤＳＡ画像を得る技術である。

【0023】

本実施形態の入力画像Ｄaは、対象組織Ｖ（血管）を表す領域を含む画像であり、通常の濃度（以下「第１濃度」という）の造影剤を使用して得られる画像よりも、対象組織を表す領域とそれ以外の領域とのコントラストが低い画像である。すなわち、入力画像Ｄaは、通常の濃度の造影剤を使用して得られた画像よりも対象組織Ｖが不明瞭な画像である。

【0024】

本発明において、画像におけるコントラストとは、当該画像における対象組織Ｖ（すなわち造影剤により強調される部分）を表す領域と、当該対象組織Ｖを表す領域以外の領域（すなわち背景や対象組織以外の組織を含む領域）との間の濃度差である。なお、対象組織以外の組織とは、造影剤では強調されない組織である。

【0025】

本実施形態では、入力画像Ｄaとして、第１濃度よりも低い濃度（以下「第２濃度」という）の造影剤を使用して得られた画像を例示する。本実施形態の入力画像Ｄaは、被検体に第２濃度の造影剤を投与して撮像したＸ線画像から、被検体に造影剤を投与する前に撮像したＸ線画像を差し引くことにより得られたＤＳＡ画像である。造影剤は、例えばヨード系造影剤である。

【0026】

一方で、出力画像Ｄbは、入力画像Ｄaと同様に、対象組織Ｖを表す領域を含む画像である。具体的には、出力画像Ｄbのコントラストは、入力画像Ｄaのコントラストよりも高い。出力画像Ｄbは、通常の濃度である第１濃度の造影剤を使用して得られた画像（ＤＳＡ画像）に対応する画像であるとも換言できる。

【0027】

本実施形態では、学習済モデルＭを用いて入力画像Ｄaから出力画像Ｄbが生成される。学習済モデルＭの詳細は、後述する。

【0028】

以上の説明から理解される通り、画像生成装置１００は、造影剤を使用して得られた画像であって、対象組織を表す領域と、当該対象組織を表す領域以外の領域とを含む入力画像Ｄaを学習済モデルＭに入力することで、対象組織を表す領域と、当該対象組織を表す領域以外の領域とのコントラストが入力画像Ｄaよりも高い出力画像Ｄbを生成する装置である。

【0029】

本実施形態では、通常の濃度（第１濃度）よりも低い濃度（第２濃度）の造影剤を用いて、通常の濃度の造影剤を用いて得られたようなコントラストを有する画像が得られる場合を例示する。

【0030】

第２濃度は、被検体への負担が十分に少なく、かつ、高精度に出力画像Ｄbを得る観点から以下のように設定する。第２濃度の下限は、例えば第１濃度の０．１倍以上であり、好ましくは第１濃度の０．２５倍以上であり、より好ましくは第１濃度の０．５倍以上である。第２濃度の上限は、例えば第１濃度の０．９倍以下であり、好ましくは第１濃度の０．８倍以下であり、より好ましくは第１濃度の０．７倍以下である。なお、第１濃度は、対象組織の種類や被験者の体重に応じて設定する。

【0031】

図１に例示される通り、画像生成装置１００は、例えば、制御装置１１と記憶装置１３と表示装置１５と操作装置１７とを含む。

【0032】

制御装置１１は、画像生成装置１００の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置１１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。

【0033】

記憶装置１３は、制御装置１１が実行するプログラムと、制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１３は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、画像生成装置１００に対して着脱される可搬型の記録媒体、または例えばインターネット等の通信網を介して制御装置１１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置１３として利用してもよい。

【0034】

本実施系形態では、例えば入力画像Ｄaや学習済モデルＭが記憶装置１３に記憶される。なお、入力画像Ｄaは、例えば撮像システム２００により撮像される。撮像システム２００は、入力画像Ｄaの種類に応じて適宜に異なる。入力画像ＤaがＤＳＡ画像である場合には、Ｘ線を照射可能な血管造影装置が撮像システム２００として例示される。

【0035】

表示装置１５は、制御装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）パネル等の各種の表示パネルが表示装置１５として利用される。例えば、入力画像Ｄaおよび出力画像Ｄbが表示装置１５に表示される。

【0036】

操作装置１７は、利用者からの指示を受付ける入力機器である。操作装置１７は、例えば、利用者が操作する操作子（例えばマウスやキーボート）、または、利用者による接触を検知するタッチパネルである。

【0037】

本実施形態の制御装置１１は、記憶装置１３に記憶されたプログラムを実行することで、入力画像Ｄaから出力画像Ｄbを生成するための機能（取得部１１２，生成部１１４）を実現する。

【0038】

図２には、制御装置１１が実行する処理の一例を示すフローチャートである。例えば、利用者（典型的には医療従事者）からの操作装置１７に対する指示を契機として、図２の処理が開始される。図２の処理が開始されると、取得部１１２は、記憶装置１３から入力画像Ｄaを取得する（Ｓa1）。次に、生成部１１４は、学習済モデルＭに入力画像Ｄaを入力することで、出力画像Ｄbを生成する（Ｓa2）。Ｓa2は、学習済モデルＭに出力画像Ｄbを出力させる処理であるとも換言できる。そして、生成部１１４は、出力画像Ｄbを表示装置１５に表示させる。

【0039】

以下、本発明に係る学習済モデルＭを生成するための学習処理装置について詳述する。

【0040】

本実施形態の学習済モデルＭは、第１画像Ｋaと第２画像Ｋbとの関係を機械学習することで生成される統計モデルである。すなわち、第１画像Ｋaと第２画像Ｋbとは学習データＴである。

【0041】

図３は、第１画像Ｋaと第２画像Ｋbとの模式的に表す模式図である。以下の説明では、第１画像Ｋaにおいて、対象組織Ｖを表す領域を「第１領域Ｒ1」と表記し、第１領域Ｒ1以外の領域を「第２領域Ｒ2」と表記する。また、第２画像Ｋbにおいて、対象組織Ｖを表す領域を「第３領域Ｒ3」と表記し、第３領域Ｒ3以外の領域を「第４領域Ｒ4」と表記する。なお、第２領域Ｒ2および第４領域Ｒ4は、背景や対象組織以外の組織（すなわち造影剤では強調されない組織）を含む領域であるとも換言できる。

【0042】

第１画像Ｋaは、第１領域Ｒ1と第２領域Ｒ2とを含み、第１濃度の造影剤を使用して得られた画像である。第１画像Ｋaは、出力画像Ｄbにおけるコントラストに対応した画像であるとも換言できる。第１画像Ｋaは、撮像システム２００により撮像される。なお、本実施形態では、第１画像Ｋaを得るために使用した造影剤の濃度（第１濃度）よりも低い濃度（第２濃度）の造影剤を使用して得られる画像を入力画像Ｄaとして例示する。

【0043】

第２画像Ｋbは、第３領域Ｒ3と第４領域Ｒ4とを含む画像である。第３領域Ｒ3は、第１領域Ｒ1に対応する領域であり、第４領域Ｒ4は、第２領域Ｒ2に対応する領域であるとも換言できる。

【0044】

具体的には、第２画像Ｋbは、第３領域Ｒ3と第４領域Ｒ4とのコントラストが第１画像Ｋaにおける第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低い画像である。第２画像Ｋbは、入力画像Ｄaにおけるコントラストに対応した画像であるとも換言できる。図３では、便宜的に、第１画像Ｋaにおける血管を黒色で示し、第２画像Ｋbにおける血管を黒色よりも薄い墨色（灰色）で示す場合を例示する。

【0045】

図４は、学習済モデルＭを生成（確立）するためのする機械学習の説明図である。例えば画像生成装置１００とは別体の機械学習システム３００による機械学習で学習済モデルＭが確立され、当該学習済モデルＭが画像生成装置１００に提供される。機械学習システム３００は、例えばインターネット等の通信網を介して画像生成装置１００と通信可能なサーバシステムである。機械学習システム３００から通信網を介して画像生成装置１００に学習済モデルＭが送信される。

【0046】

学習済モデルＭは、例えば深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）で構成される。例えば、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、または畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の任意の形式の深層ニューラルネットワークが学習済モデルＭとして利用される。同種または複数種の深層ニューラルネットワークの２以上の組合せで学習済モデルＭが構成されてもよい。

【0047】

学習済モデルＭの機械学習には複数の学習データＴが利用される。複数の学習データＴの各々は、上述した通り、第１画像Ｋaと第２画像Ｋbとの組合せで構成される。すなわち、本実施形態では、第１画像Ｋaと第２画像Ｋbとがペアになった学習データＴを用いる場合を例示する。第１画像Ｋaは、撮像システム２００を用いて事前に撮像される。なお、第１画像Ｋaが撮像される条件（例えば被検体および撮像対象となる対象組織Ｖの位置）は、第１画像Ｋa毎に相違し得る。例えば対象組織Ｖが血管である場合には、相異なる被検体の多様な部位における血管を撮像した複数の第１画像Ｋaが学習データＴとして使用される。第２画像Ｋbは、第１画像Ｋaの入力に対して学習済モデルＭが出力すべき正解を意味する。第２画像Ｋbは、画像処理装置４００により生成される。第２画像Ｋbを生成する方法については、後述する。

【0048】

本実施形態の機械学習システム３００は、例えば、敵対的生成ネットワーク（例えばＰｉｘ２Ｐｉｘ）のアルゴリズムを用いて学習済モデルＭを生成する。具体的には、機械学習システム３００は、生成器（ジェネレータ）と識別器（ディスクリミネータ）とを用いて学習済モデルＭを生成する。生成器は、例えば、学習データＴの第２画像Ｋbから第１画像Ｋaを再現した画像（以下「再現画像」という）を生成するニューラルネットワークである。識別器は、例えば、再現画像および第２画像Ｋbのペアと、第１画像Ｋaおよび第２画像Ｋbのペアとの真偽を識別するニューラルネットワークである。識別器は、第１画像Ｋaおよび第２画像Ｋbのペアが入力された場合には「真」であるとの結果を出力し、再現画像および第２画像Ｋbのペアとが入力された場合には「偽」であるとの結果を出力するように学習される。学習の過程で、生成器の損失関数を最大化し、かつ、識別器の損失関数を最小化するように、各々のパラメータが更新される。すなわち、生成器が第１画像Ｋaにより近い再現画像を生成し、識別器が入力された画像を正しく識別するように、生成器および識別器が学習される。以上のように学習された生成器が学習済モデルＭとして利用される。

【0049】

以上の例示では、第１画像Ｋaと第２画像Ｋbとがペアになった学習データＴを用いて学習済モデルＭを生成する方法を例示したが、例えば、相異なる複数の第１画像Ｋaの集合と相異なる複数の第２画像Ｋbの集合とを学習データＴとして学習済モデルＭを生成する手法（例えばＣｙｃｌｅＧＡＮ）を用いてもよい。なお、複数の第１画像Ｋaの集合と複数の第２画像Ｋbの集合とを学習データＴとする構成では、各第１画像Ｋaにおける対象組織の種類と、各第２画像Ｋbにおける対象組織の種類とは、共通していなくてもよい。また、学習済モデルＭを生成する方法は、敵対的生成ネットワークには限定されない。例えばleave-one-out法（１個のデータのみを検証用に利用し、残りを学習データとして利用する交差検証法）を使用して学習済モデルＭが生成される。

【0050】

画像処理装置４００は、第１画像Ｋaから第２画像Ｋbを生成するための画像処理を行う。画像処理装置４００は、画像生成装置１００で説明したのと同様に、制御装置（図示略）や記憶装置（図示略）をコンピュータシステムである。

【0051】

第１画像Ｋaから第２画像Ｋb（すなわち第３領域Ｒ3と第４領域Ｒ4とのコントラストが第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低い画像）を生成する学習処理の一例を説明する。学習処理は、第１画像Ｋaよりも対象組織Ｖを表す領域がそれ以外の領域に対して強調されていない（対象組織Ｖを表す領域が明瞭でない）第２画像Ｋbを生成するとも換言できる。

【0052】

具体的には、画像処理は、第１画像Ｋaから、第３領域Ｒ3と第４領域Ｒ4とのコントラストが当該第１画像Ｋaにおける第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低い第２画像Ｋbを生成する処理である。
すなわち、被検体に投与が想定される造影剤の濃度（通常より低い濃度）に応じた第２画像Ｋbが生成される。第１画像Ｋaは、前処理として解像度を１０２４×１０２４とし、２５６階調（８bit）に変換させる。ただし、第１画像Ｋaに対する前処理は、以上の例示には限定されない。

【0053】

本実施形態の画像処理は、第１領域Ｒ1の画素値（濃度）を第２濃度に応じて変化させることで得られる第３領域Ｒ3と、第２領域Ｒ2における画素値（濃度）を維持することで得られる第４領域Ｒ4とを含む第２画像Ｋbを生成する。以上の画像処理により、第３領域Ｒ3と第４領域Ｒ4とのコントラストが第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低い第２画像Ｋbを生成する。

【0054】

第３領域Ｒ3は、第１領域Ｒ1の各画素の画素値を第２領域Ｒ2の画素値に近づくように（すなわち第１領域Ｒ1と第２領域Ｒ2とのコントラストが低くなるように）変化させることで得られる領域である。ここでいう第２領域Ｒ2の画素値とは、例えば第２領域Ｒ2の最頻値である。なお、第１画像Ｋaにおいて、第１領域Ｒ1よりも第２画像Ｋb（背景部分）が十分に大きくなることが想定される。したがって、典型的には、第１画像Ｋaにおける最頻値が第２領域Ｒ2の最頻値になる。ただし、例えば利用者が目視で第２領域Ｒ2中の任意の画素の画素値を第２領域Ｒ2の画素値として選択してもよい。

【0055】

図３では、第１領域Ｒ1は黒色（０）に近く、第２領域Ｒ2は白色（２５５）に近い第１画像Ｋaを例示する。したがって、第２画像Ｋbの第３領域Ｒ3は、第１画像Ｋaの第１領域Ｒ1よりも薄くなる（すなわち画素値が大きくなる）。なお、図３では、第１領域Ｒ1が黒色に近く、第２領域Ｒ2が白色に近い場合を例示するが、実際の臨床現場で使用される第１画像Ｋaは、第１領域Ｒ1と第２領域Ｒ2との濃淡が逆の場合（第１領域Ｒ1が白色に近く、第２領域Ｒ2が黒色に近い場合）もある。

【0056】

例えば、第１画像Ｋaの各画素の画素値を以下の式（１）を適用して変換することで、第２画像Ｋbが生成される。Ｐ1は、第１画像Ｋaの画素の画素値であり、Ｐ2は、変換後の画素値（すなわち第２画像Ｋbの画素の画素値）である。αは、第２濃度に応じた値である。ＢＧは、第１画像Ｋaにおける最頻値（すなわち第２領域Ｒ2における最頻値）から、ノイズ（例えば生体や撮像システム２００に起因するノイズ）に応じた値（例えば２０）を減算した値である。

【0057】

Ｐ2=ＢＧ－α（ＢＧ－Ｐ1）・・・（１）

【0058】

第１画像Ｋaの各画素のうちＰ1がＢＧより小さい（Ｐ1＜ＢＧ）画素（すなわち第１領域Ｒ1）について、以下の式（１）を行う。第１画像Ｋaについて、Ｐ1がＢＧより小さい画素とは、典型的には第１領域Ｒ1に対応する画素（すなわち対象組織Ｖを表す画素）になる。第１領域Ｒ1における各画素の画素値は、背景に起因する画素値と対象組織Ｖに起因する画素値とが重畳する。式（１）における項「α（ＢＧ－Ｐ1）」は、第１領域Ｒ1における画素について、対象組織Ｖに起因する画素値を抽出した上で、αを乗ずる。

【0059】

例えば、Ｐ1が５０であり、ＢＧが２００であり、αが０．２（第２濃度が第１濃度の０．２倍の濃度）である場合には、Ｐ2は１７０になる。なお、第１画像Ｋa（第１領域Ｒ1）の各画素の画素値を変換する式は、第２濃度に応じて画素値を変換することが可能であれば、以上の式（１）には限定されない。本実施形態の画像処理では、第２濃度が第１濃度に近いほど、第１画像Ｋaのコントラストと第２画像Ｋbのコントラストとの差が小さく、第２濃度が第１濃度よりも薄いほど、第１画像Ｋaのコントラストと第２画像Ｋbのコントラストとの差が大きくなるように、第２画像Ｋbが生成される。

【0060】

第２画像Ｋbにおける第３領域Ｒ3と第４領域Ｒ4とのコントラストは、第２濃度の造影剤を使用して得られる画像における対象組織を表す領域とそれ以外の領域とのコントラストに対応するとも換言できる。

【0061】

本実施形態では、１個の第１画像Ｋaから複数の第２画像Ｋbを生成する場合を例示する。すなわち、１個の第１画像Ｋaから、第３領域Ｒ3と第４領域Ｒ4とのコントラストが相異なる複数の第２画像Ｋbが生成される。具体的には、１個の第１画像Ｋaから、第２濃度を相違させて複数の第２画像Ｋbを生成する。例えば、第１濃度に対して０．２５～０．９倍の範囲内において所定の間隔（例えば０．０２倍）毎に第２濃度を設定して、複数の第２画像Ｋbを生成する。１個の第１画像Ｋaから複数の第２画像Ｋbを生成することで、効率的に機械学習が行えるという利点がある。

【0062】

図５には、実際の第１画像Ｋa（造影剤を用いて上腸間膜動脈を対象組織Ｖとして撮像した画像）と、当該第１画像Ｋaから画像処理で生成した第２画像Ｋbを図示する。

【0063】

以上の説明から理解される通り、第１画像Ｋaにおける第１領域Ｒ1の画素値を第２濃度に応じて変化させることで、第３領域Ｒ3と第４領域Ｒ4とのコントラストが第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低くなる第２画像Ｋbが生成される。ただし、第３領域Ｒ3と第４領域Ｒ4とのコントラストが第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低い第２画像Ｋbを生成することができれば、画像処理は以上の例示には限定されない。

【0064】

本実施形態では、第１画像Ｋaから第２画像Ｋbを生成し、当該第１画像Ｋaと当該第２画像Ｋbとを学習データＴとして用いて学習済モデルＭが生成される。したがって、第１濃度の造影剤を用いて得られた画像と、第２濃度の造影剤を用いて撮像した画像とを学習データとして用いる構成（以下「比較例」という）と比較して、被検体への負担を軽減して、対象組織Ｖを表す領域とそれ以外の領域とのコントラストが強調された画像を出力する学習済モデルＭを生成することが可能である。

【0065】

ここで、２つの画像の組み合わせ（ペア）を学習データＴとして用いる場合には、２つの画像が時間的および空間的に一致していることが望まれている。しかし、比較例において、第１濃度の造影剤を用いて得られた画像と、第２濃度の造影剤を用いて撮像した画像との組み合わせ（ペア）を学習データＴとして用いる場合、双方の画像が空間的および時間的に一致すること非常に困難である。それに対して、本実施形態では、第１画像Ｋaに対する画像処理で第２画像Ｋbが生成されるから、第１画像Ｋaおよび第２画像Ｋbが空間的および時間的に一致する。したがって、学習済モデルＭの精度を向上させることができる。

【0066】

図６および図７には、実際に学習済モデルＭを用いて得られた入力画像Ｄaおよび出力画像Ｄbが図示されている。図６は、左腎動脈を対象組織Ｖとした場合であり、図７は脾動脈を対象組織Ｖとした場合である。なお、図６および図７には、参考画像として入力画像Ｄaをウインドウ処理（ウインドウレベルおよびウインドウ幅の変更）をして、対象組織Ｖとそれ以外の領域とのコントラストを強調した画像も示されている。なお、入力画像Ｄaとしては、第２濃度の造影剤を使用して得られた画像ではなく、通常の濃度（第１濃度）の造影剤を用いたもののコントラストが低かった画像を使用した。

【0067】

ここで、参考画像のようにウインドウ処理をする場合には、画像毎にウインドウレベルおよびウインドウ幅のパラメータを手動で調整する必要がある。また、ウインドウ処理が加えられた画像は、極度に明度が高い又は低い画像になりやすく、視認性に劣る傾向がある。それに対して、本実施形態の構成によれば、ウインドウ処理を行う構成と比較して、出力画像Ｄbを得るためにパラメータの調整をする必要がないという利点や、視認性に優れた出力画像Ｄbが得られるという利点がある。

【0068】

＜変形例＞
以上に例示した態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0069】

（１）前述の形態では、第１画像Ｋaおよび入力画像Ｄaは、デジタル差分血管造影法で撮像された画像であったが、第１画像Ｋaおよび入力画像Ｄaは、以上の例示には限定されない。例えば、デジタル差分血管造影法以外の血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージングおよび磁気共鳴イメージング（ＭＲＩ）といった各種の撮像技術において、造影剤を用いて撮像した画像が、第１画像Ｋaおよび入力画像Ｄaとして採用され得る。なお、被検体に投与する造影剤の種類は、撮像技術の種類に応じて適宜に変更し得る。また、対象組織Ｖは、血管には限定されず、造影剤により強調される組織であれば任意であり、例えばリンパ管、胆管および膵管といった脈管臓器などであってもよい。

【0070】

（２）前述の形態では、第２濃度の造影剤を使用して得られた画像を入力画像Ｄaとして使用する場合を想定したが、入力画像Ｄaは以上の例示には限定されない。例えば、通常の濃度の造影剤を用いたもののコントラストが低い画像を入力画像Ｄaとしてもよい。

【0071】

（３）前述の形態では、第１画像Ｋaにおける第１領域Ｒ1の画素値を式（１）を用いて変化させることで第２画像Ｋbを生成する画像処理を例示したが、第１画像Ｋaから第２画像Ｋbを生成する画像処理には公知の任意の技術が採用される。例えば、第１画像Ｋaから第１領域Ｒ1を抽出する領域抽出技術を用いて画素値を変化させることで第２画像Ｋbを生成する方法や、第１画像Ｋaと第２画像Ｋbとの関係を学習させた学習済モデルＭを用いて第１画像Ｋaから第２画像Ｋbを生成する方法も採用される。対象組織や第１画像Ｋaの種類に応じて第２画像Ｋbを生成する方法は変更し得る。

【0072】

また、前述の形態では、第１領域Ｒ1の画素値を変化させることで得られる第３領域Ｒ3と、第２領域Ｒ2における画素値を維持することで得られる第４領域Ｒ4とを含む第２画像Ｋbを生成した。ただし、第３領域Ｒ3と第４領域Ｒ4とのコントラストが第１領域Ｒ1と第２領域Ｒ2とのコントラストよりも低い第２画像Ｋbを生成することが可能であれば、第１領域Ｒ1および第２領域Ｒ1との画素値の双方を（例えば使用可能な画素値の範囲を変更することで）変化させることで第２画像Ｋbを生成してもよい。第２領域Ｒ2における画素値を維持することで得られる第４領域Ｒ4とを含む第２画像Ｋbによれば、実際の臨床の現場において第２濃度の造影剤を使用して得られる画像や第１濃度の造影剤を使用したもののコントラストが低下した画像に第２画像Ｋbをより近似させることができる。

【0073】

（４）前述の形態では、ＤＳＡ画像において使用する場合を例示したが、本発明の適用となる画像はＤＳＡ画像には限定されない。ただし、ＤＳＡ画像には、アーチファクトがない（または十分に少ない）場合には、基本的には対象組織（血管）像以外の組織が含まれないため、第２画像Ｋbを簡便な方法（例えば上述した式（１））で生成できるという利点がある。なお、ＤＡ（Digital Angiography）画像にも本発明は適用できる。

【0074】

（５）本発明の適用となる被検体は、人体には限定されず、その他の動物（例えば犬や猫）であってもよい。

【0075】

（６）前述の形態において、例えば模擬された組織（例えば模擬血管や模擬臓器）に対して第１濃度の造影剤を用いることで得られた第１画像Ｋaを使用してもよい。

【0076】

（７）前述の形態において、学習済モデルＭが、複数の対象組織の種類にそれぞれ対応する複数の学習済モデルを含んでもよい。すなわち、対象組織の種類毎に学習済モデルが存在する。例えば、腎動脈、脾動脈、膵十二指腸動脈や子宮動脈といった血管の種類毎に学習済モデルが存在する。学習済モデルの生成の段階において、血管の種類毎に機械学習を行うことで、複数の学習済モデルを生成する。そして、生成部１１４は、複数の学習済モデルのうち利用者からの指示に応じて選択した学習済モデルを用いることで、入力画像Ｄaから出力画像Ｄbを生成する。同様に、血管以外の対象組織（例えば胆管や膵管などの脈管臓器）の種類毎に、学習済モデルを含んでもよい。以上の構成によれば、対象組織の種類毎の傾向を学習した学習済モデルが使用されるから、高精度に出力画像Ｄbを生成できるという利点がある。

【0077】

（８）本発明は、観察対象となる対象組織を表す第１領域と当該第１領域以外の第２領域とを含み、造影剤を使用して得られた第１画像と、観察対象となる対象組織を表す第３領域と、当該第３領域以外の第４領域とを含み、当該第３領域と当該第４領域とのコントラストが前記第１画像における前記第１領域と前記第２領域とのコントラストよりも低い第２画像との関係を機械学習することで学習済モデルを生成し、前記第２画像は、前記第１画像に対して画像処理をすることで生成されるコンピュータシステムにより実現される学習済モデルＭの生成方法として観念できる。

【0078】

（９）本発明は、以上の生成方法により生成された学習済モデルＭに入力画像Ｄaを入力することで出力画像Ｄbを出力する生成処理を含む画像生成方法としも観念できる。

【0079】

（１０）本発明は、以上の生成方法により生成された学習済モデルＭに入力画像Ｄaを入力することで出力画像Ｄbを出力する生成部としてコンピュータシステムを機能させるプログラムとしても観念できる。

【0080】

（１１）本発明は、以上の生成方法により生成された学習済モデルＭそのものとしても観念できる。

【0081】

本発明に係るプログラムおよび学習済モデルＭは、例えば、コンピュータが読取可能な記録媒体に格納された形態、または、配信装置から通信網を介して配信される形態で提供されてコンピュータにインストールされ得る。

【符号の説明】

【0082】

１１ ：制御装置
１３ ：記憶装置
１５ ：表示装置
１７ ：操作装置
１００ ：画像生成装置
１１２ ：取得部
１１４ ：生成部
２００ ：撮像システム
３００ ：機械学習システム
４００ ：画像処理装置
Ｄa ：入力画像
Ｄb ：出力画像
Ｋa ：第１画像
Ｋb ：第２画像
Ｍ ：学習済モデル
Ｒ1 ：第１領域
Ｒ2 ：第２領域
Ｔ ：学習データ
Ｖ ：対象組織

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】