特開 2024-139421 学習用データセットの生成方法、機械学習モデル、画像処理装置、学習用データセット生成装置、機械学習装置、画像診断システム、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139421

(43)【公開日】2024-10-09

(54)【発明の名称】学習用データセットの生成方法、機械学習モデル、画像処理装置、学習用データセット生成装置、機械学習装置、画像診断システム、およびプログラム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20241002BHJP

   A61B 8/14 20060101ALI20241002BHJP

   G06V 10/82 20220101ALI20241002BHJP

【ＦＩ】

A61B5/055 380

A61B8/14

A61B5/055 390

G06V10/82

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023050355

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】金子 志行

(72)【発明者】

【氏名】松本 洋日

(72)【発明者】

【氏名】武田 義浩

【テーマコード（参考）】

4C096

4C601

5L096

【Ｆターム（参考）】

4C096AA18

4C096AD14

4C096DC28

4C096DC33

4C096DC35

4C601EE11

4C601JC21

4C601JC40

5L096AA06

5L096BA06

5L096BA13

5L096FA06

5L096FA69

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

【課題】大量の学習用データおよび正解ラベルを含む学習用データセットを効率よく用意することができる学習用データセットの生成方法、機械学習モデル、画像処理装置、学習用データセット生成装置、機械学習装置、画像診断システム、およびプログラムを提供する。
【解決手段】本開示の訓練用データ生成装置は、コンピューターが、第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得する取得ステップと、前記第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアを、学習用データセットとして生成する出力ステップと、を実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

コンピューターが、
第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得する取得ステップと、
前記第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアを、学習用データセットとして生成する出力ステップと、
を実行する、学習用データセットの生成方法。

【請求項2】

前記画像変換処理は、機械学習が施された画像変換モデルにより実行される、
請求項１に記載の学習用データセットの生成方法。

【請求項3】

前記画像変換処理は、第１医用画像撮影装置によって生成された前記第１医用画像データに対し、前記第１医用画像撮影装置とは異なる種類の医用画像撮影装置である第２医用画像撮影装置に対応する医用画像データを前記第２医用画像データとして生成する、
請求項１または２に記載の学習用データセットの生成方法。

【請求項4】

前記第１医用画像撮影装置と前記第２医用画像撮影装置とは、それぞれ異なる種類の超音波探触子を有している、
請求項３に記載の学習用データセットの生成方法。

【請求項5】

前記第１医用画像撮影装置は核磁気共鳴画像装置であり、
前記第２医用画像撮影装置は超音波画像装置である、
請求項３に記載の学習用データセットの生成方法。

【請求項6】

前記画像変換処理は、畳み込みニューラルネットワークまたは注意機構（Ａｔｔｅｎｔｉｏｎ機構）を用いた画像変換モデルにより実行される、
請求項１または２に記載の学習用データセットの生成方法。

【請求項7】

前記画像変換処理は、前記第１医用画像データの輪郭位置と前記第２医用画像データの輪郭位置とが変わらない画像変換処理である、
請求項１または２に記載の学習用データセットの生成方法。

【請求項8】

前記学習用データセットは、前記第１医用画像データと前記第１正解ラベルとからなる第１学習データ、および、前記第２医用画像データと前記第１正解ラベルとのペアからなる第２学習データを含む、
請求項１に記載の学習用データセットの生成方法。

【請求項9】

医用画像データを取得する処理と、
前記医用画像データに対する推論結果を出力する処理と、をコンピューターに実行させる機械学習モデルであって、
第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアにより構成される学習用データセットを用いた機械学習が施されている、
機械学習モデル。

【請求項10】

請求項９に記載の機械学習モデルに対し、第３の医用画像データを入力して得られた第１推論結果を出力する推論部を備える、
画像処理装置。

【請求項11】

前記第３の医用画像データを生成する画像生成部をさらに備える、
請求項１０に記載の画像処理装置。

【請求項12】

前記画像生成部は、被検体に対して送信された超音波に対する反射超音波に基づいて生成された超音波画像データを生成する、
請求項１１に記載の画像処理装置。

【請求項13】

第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得する画像データ取得部と、
前記第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアを、学習用データセットとして生成する生成部と、
を備える、学習用データセット生成装置。

【請求項14】

第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアにより構成される学習用データセットを取得する学習用データセット取得部と、
前記学習用データセットを用いて機械学習モデルに対し機械学習を施す学習部と、
を備える、機械学習装置。

【請求項15】

第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアにより構成される学習用データセットを生成する学習用データセット生成装置と、
前記学習用データセットを用いて機械学習モデルに対し機械学習を施す機械学習装置と、
前記機械学習が施された前記機械学習モデルに第３の医用画像データを入力して得られた推論結果を出力する画像診断装置と、
を備える、画像診断システム。

【請求項16】

第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得する取得機能と、
前記第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアを、学習用データセットとして生成する生成機能と、
をコンピューターに実現させる、プログラム。

【請求項17】

第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得する画像取得ステップと、
前記第１医用画像データの正解ラベルである第１正解ラベルに対する所定のラベル変換処理により生成された第２正解ラベルを取得するラベル取得ステップと、
前記第２医用画像データと前記第２正解ラベルとのペアを、学習用データセットとして生成する生成ステップと、
を備える、学習用データセットの生成方法。

【請求項18】

第１医用画像データと、前記第１医用画像データの正解ラベルである第１正解ラベルとの第１ペアに対する所定の変換処理により生成された、第２医用画像データと、第２正解ラベルとの第２ペアを取得する取得ステップと、
前記第２医用画像データと、前記第１正解ラベルまたは前記第２正解ラベルとのペアを、学習用データセットとして生成する生成ステップと、
を備える、学習用データセットの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習用データセットの生成方法、機械学習モデル、画像処理装置、学習用データセット生成装置、機械学習装置、画像診断システム、およびプログラムに関する。

【背景技術】

【0002】

近年、医療分野において、機械学習が施された機械学習モデルを、画像診断などの支援に用いようとする試みがある。機械学習とは、大量のデータを使用して機械にデータのパターンや相関を学習させ、識別、認識、検出、予測などなど行うものである。

【0003】

特許文献１には、高周波成分が減衰したノイズを加算して得た放射線画像を含む学習データを用いて学習して得た学習済モデルに取得部により取得された第１放射線画像を入力することにより、第１放射線画像に比べてノイズが低減された第２放射線画像を生成する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－３９９８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

機械学習により精度の高い機械学習モデル（識別器）を作成するためには、学習に用いる学習用データの量、および学習用データに対応する正解ラベルの質が重要である。

【0006】

機械学習モデルの用途などによっては、大量の学習用データを用意することが困難な場合がある。また、大量の学習用データを用意できたとしても、大量の学習用データのそれぞれに対して質が高い正解ラベルを付与するために多大な時間および労力が必要となる。このため、学習用データと正解ラベルとのペアにより構成される学習用データセットを効率的に用意したい、という要望がある。

【0007】

本開示は、大量の学習用データおよび正解ラベルを含む学習用データセットを効率よく用意することができる学習用データセットの生成方法、機械学習モデル、画像処理装置、学習用データセット生成装置、機械学習装置、画像診断システム、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一態様に係る学習用データセットの生成方法は、コンピューターが、第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得する取得ステップと、前記第２医用画像データと前記第１医用画像データの正解ラベルである第１正解ラベルとのペアを、学習用データセットとして生成する出力ステップと、を実行する。

【発明の効果】

【0009】

本開示は、大量の学習用データおよび正解ラベルを含む学習用データセットを効率よく用意することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施の形態に係る画像診断システムの構成を示す図

【図2】学習用データセット生成装置の構成の一例を示すブロック図

【図3】学習用データセット生成装置の動作例を説明するためのフローチャート

【図4】学習用データセット生成装置のハードウェア構成の一例を示す図

【図5】機械学習装置の構成を例示するブロック図

【図6】画像診断装置の構成を例示するブロック図

【発明を実施するための形態】

【0011】

以下、図面を参照して本開示の実施の形態について詳細に説明する。

【0012】

［概要］
図１は、本開示の実施の形態に係る画像診断システム１００の構成の一例を示す図である。図１に示すように、画像診断システム１００は、学習用データセット生成装置１０と、機械学習装置２０と、画像診断装置３０と、を備える。

【0013】

学習用データセット生成装置１０は、第１医用画像データに対する所定の画像変換処理により生成された第２医用画像データを取得し、第２医用画像データと第１医用画像データの正解ラベルである第１正解ラベルとのペアを、学習用データセットとして生成する。学習用データセット生成装置１０により生成された学習用データセットは、機械学習装置２０に入力される。

【0014】

第１医用画像データとは、学習用データセット生成装置１０に入力される医用画像データである。第１医用画像データには、予め第１正解ラベルが対応付けられている。

【0015】

学習用データセット生成装置１０における所定の画像変換処理は、例えば、機械学習が施された、所定の画像変換モデルにより実行される。所定の画像変換処理を実行する画像変換モデルは、学習用データセット生成装置１０が備えていてもよいし、学習用データセット生成装置１０とは異なる画像変換装置（図示せず）が備えていてもよい。

【0016】

正解ラベルとは、学習用データに対して与えられる、正解を示す情報である。正解ラベルの内容は、学習用データおよび正解ラベルのペアにより構成される学習用データセットを用いて機械学習された機械学習モデルが入力されたデータに対して実行する処理の内容によって変わる。本実施の形態では、正解ラベルは、例えば学習用データである医用画像データに含まれる関心領域の位置を示す情報（例えば、座標や領域や境界など）、当該関心領域がどのような構造（例えば、骨、血管、筋肉、神経、患部など）であるかを示す情報、および、当該関心領域が正常であるか異常であるか（疾患がない、またはある）を示す情報、の少なくともいずれかである。

【0017】

機械学習装置２０は、学習用データセット生成装置１０から入力された学習用データセットを用いて機械学習を施した、学習済みの画像診断モデルを出力する。機械学習装置２０が出力した学習済みの画像診断モデルは、画像診断装置３０に入力される。

【0018】

画像診断装置３０は、新たな医用画像データである第３の医用画像データを、学習済みの画像診断モデルに入力して得られた推論結果を、画像診断結果として出力する。例えば医師などが、画像診断装置３０が出力した画像診断結果を参照することにより、精度のよい画像診断が可能となる。

【0019】

本実施の形態において、画像診断装置３０は、例えば、超音波探触子（プローブ）を有し、被検体に対して送信された超音波に対する反射超音波に基づいて超音波画像データを生成する、超音波画像装置（超音波診断装置）である。画像診断装置３０が超音波画像装置である場合、上記の第１から第３の医用画像データは、超音波画像データである。

【0020】

一般的に、医療分野において、異なるモダリティからは、全く異なる画像が得られる。例えば、核磁気共鳴（ＮＭＲ：Nuclear Magnetic Resonance）画像装置で撮影したＭＲＩ画像と、超音波装置で撮影した超音波画像とは、全く異なる。このため、例えば超音波画像データに基づいて画像診断を行う画像診断モデルに機械学習を施す場合、学習データとして、超音波画像装置以外のモダリティが生成した、超音波画像データ以外の医用画像データ（例えばＭＲＩ画像データ）を使用することはできない。

【0021】

また、超音波画像装置においても、超音波を送受信する超音波探触子（プローブ）の種類や撮影モードなどが変わると、得られる超音波画像における画角、分解能、深さ方向のＳＮ比などが全く異なるものとなる。このため、１種類の超音波探触子を用いて得られる超音波画像データに基づいて画像診断を行う画像診断モデルに機械学習を施す場合、学習データとして、他の種類の超音波探触子や撮影モードを用いて得られた超音波画像データを使用することはできない。

【0022】

このため、例えば特定の超音波探触子を用いた、特定の撮影モードにおける超音波画像データに基づいて画像診断を行う画像診断モデルのための学習用データセットを用意するためには、特定の超音波探触子を用いて、特定の撮影モードで大量の超音波画像を撮影した上で、各画像に対して正解ラベルを付与する作業が必要となる。しかしながら、特定の撮影モードで大量の超音波画像を撮影し、各画像に質が高い正解ラベルを付与するためには、多くの時間と労力とが必要となる。

【0023】

さらに、画像診断モデルが用いる医用画像データの種類によっては、医療被曝などの侵襲が問題となりうるため、そのような医用画像データの場合には、学習用データとして特定の種類の大量の医用画像データを用意することの困難性が増大する。

【0024】

本開示の実施の形態に係る画像診断システム１００は、学習用データセット生成装置１０により、ある種の医用画像データを用いて画像診断を行う画像診断モデルを効率よく学習させるための学習用データセットを、様々な種類の医用画像データの画像変換処理によって生成することで、比較的少ない労力で大量に得ることができる。そして、機械学習装置２０は、学習用データセット生成装置１０が生成した学習用データセットを用いることで、精度のよい画像診断を行うことができる画像診断モデルを、効率よく学習させることができる。さらに、画像診断装置３０は、学習済みの画像診断モデルを用いて、新たな医用画像データに基づく画像診断結果を出力することができるので、医療従事者などにとって非常に有用である。

【0025】

［各構成の詳細］
以下では、画像診断システム１００が備える各構成について詳細に説明する。

【0026】

＜学習用データセット生成装置１０＞
図２は、学習用データセット生成装置１０の構成の一例を示すブロック図である。図２に示す例では、学習用データセット生成装置１０は、データセット取得部１１と、画像変換部１２と、画像データ取得部１３と、生成部１４と、を備える。

【0027】

データセット取得部１１は、外部から第１医用画像データと第１正解ラベルとのペアであるデータセットを取得する。外部とは、例えば様々な医用画像データを生成する様々なモダリティ、または様々な医用画像データと正解ラベルとからなるデータベースである。

【0028】

画像変換部１２は、学習済みの画像変換モデルを格納しており、第１医用画像データの入力に対して、所定の画像変換処理を実行する。画像変換モデルは、例えば畳み込みニューラルネットワークまたは注意機構（Ａｔｔｅｎｔｉｏｎ機構）を用いた画像変換モデルである。本実施の形態では、画像変換部１２に入力される医用画像データを第１医用画像データ、画像変換部１２により変換された医用画像データを第２医用画像データと記載する。第１医用画像データには、１種類の画像データではなく、それぞれ多様な画像データが含まれうる。多様な画像データとは、例えば、種々のモダリティで撮影された医用画像データ、および、超音波画像装置における、種々の超音波探触子（例えば、セクター、リニア、コンベックスなど）で撮影された超音波画像データ、種々の撮影モードで撮影された超音波画像データ、などを含む。

【0029】

なお、図２に示す例では、学習用データセット生成装置１０が画像変換モデルを含む画像変換部１２を有する場合について説明しているが、上述したように、本開示はこれに限定されない。例えば第１医用画像データの入力に基づいて外部の画像変換装置が出力した第２医用画像データを、学習用データセット生成装置１０が取得するようにしてもよい。

【0030】

画像変換部１２が実行する画像変換処理は、例えばｓｔｙｌｅ変換と呼ばれる、画像のスタイルを変換する画像変換処理である。ｓｔｙｌｅ変換とは、ある画像のスタイル情報を抽出し、他の画像の原型をほぼ残したまま画風や質感だけを転写して合成する手法である。ｓｔｙｌｅ変換を実行する画像変換モデルには、例えばｃｙｃｌｅＧＡＮや拡散モデル（Diffusion Model）などの既存のモデルが用いられればよい。

【0031】

画像変換部１２は、様々な種類の第１医用画像データの入力に対してｓｔｙｌｅ変換を施し、特定の種類の超音波画像データのように見える第２医用画像データを出力する。この場合、画像変換部１２が有する画像変換モデルは、例えば、種々の第１医用画像データを、リニアプローブを用いた超音波画像データのように変換するように機械学習が施された機械学習モデルである。画像変換部１２は、機械学習モデルを交換することにより、多種の第２医用画像データを出力することができる。例えば、画像変換部１２が有する画像変換モデルを交換することにより、画像変換部１２は、種々の第１医用画像データの入力に対して、ＭＲＩ画像のように見える第２医用画像データを出力してもよい。また、画像変換部１２は、予め複数種類の画像変換モデルを有しており、必要に応じて（例えばユーザーの指定により）適宜使用する画像変換モデルを入れ替えるようにしてもよい。

【0032】

画像変換部１２が有する画像変換モデルが第１画像データに対して施す画像変換処理について、具体例を説明する。

【0033】

第１の例として、画像変換部１２は、超音波画像装置において、様々な種類の超音波探触子を用いて生成された第１医用画像データを、特定の超音波探触子を用いて生成された第２医用画像データに変換する。種類が異なる超音波探触子を用いて生成された医用画像データは、それぞれ中心周波数が異なり、画質、すなわち空間分解能やＳＮ比が異なる。画像変換部１２は、例えばセクター、リニア、コンベックスの３種類のうちいずれかの超音波探触子により生成された第１医用画像データを、特定の１つ、例えばリニアの超音波探触子により生成された医用画像データに見える第２医用画像データに変換する。例えば第１の例によれば、あまり普及していない種類の超音波探触子を用いて得られる超音波画像データを用意したい場合などにおいて、比較的普及している種類の超音波探触子を用いて得られる超音波画像データを変換することで、あまり普及していない種類の超音波探触子を用いて得られる超音波画像データを容易に用意することができる。

【0034】

第２の例として、画像変換部１２は、様々な種類のモダリティを用いて生成された第１医用画像データを、特定のモダリティを用いて生成された第２医用画像データに変換する。様々な種類のモダリティの例としては、超音波画像装置、核磁気共鳴画像装置、ＣＴ（Computed Tomography）装置、Ｘ線画像装置などが挙げられる。上述したように、例えば超音波画像装置を用いて生成された超音波画像データと、核磁気共鳴画像装置を用いて生成されたＭＲＩ画像データとは全く異なる画像である。画像変換部１２は、例えば核磁気共鳴画像装置を用いて生成されたＭＲＩ画像データや、ＣＴ装置を用いて生成されたＣＴ画像データを、超音波画像データに見える第２画像データに変換する。

【0035】

ＭＲＩ画像は、一般的に超音波画像と比較して、画像深部に対するＳＮ比が良好である。このため、第１医用画像データとしてＭＲＩ画像データを用いることにより、第１医用画像データが超音波画像データである場合より精度が高い第１正解ラベルを取得することができる場合がある。画像変換部１２がＭＲＩ画像データである第１医用画像データを超音波画像データのように見える第２医用画像データに変換した後、後述の生成部１４が第２医用画像データと第１正解ラベルとをペアにして学習用データセットを生成することにより、生成した学習用データセットにおける正解ラベルの質を向上させることができる。これにより、画像診断モデルの汎化性能が向上し、診断精度が向上する。また、超音波画像データである第１医用画像データを変換してＸ線画像のように見える第２医用画像データとすることで、被検者に対する医療被曝などを考慮する必要なく、大量の学習用データセットを得ることができる。

【0036】

第３の例として、画像変換部１２は、様々な製造会社が製造した同種のモダリティ（例えば、超音波画像装置）を用いて生成された第１医用画像データを、特定の製造会社が製造したモダリティを用いて生成された第２医用画像データに変換する。製造会社が異なるモダリティは、同じ種類のモダリティであっても、また同じ被検体を撮影したとしても、それぞれ全く異なる画質の医用画像データを生成することがある。画像変換部１２は、例えばＡ社、Ｂ社、Ｃ社、Ｄ社が製造したモダリティを用いて生成された第１医用画像データを、特定の１社、例えばＣ社が製造したモダリティを用いて生成されたように見える第２医用画像データに変換する。これにより、画像診断モデルの汎化性能が向上し、診断精度が向上する。つまり、第２医用画像データを学習用データセットに含ませることで、より多くの画質や、より多くの被検体の解剖学的パターンに対応できるように画像診断モデルを訓練することができる。

【0037】

第３の例として、画像変換部１２は、様々な画像処理条件で生成された第１医用画像データ、すなわちゲインや空間周波数などが互いに異なる第１医用画像データを、特定の画像処理条件で生成されたように見える第２医用画像データに変換する。これにより、画像診断モデルの汎化性能が向上し、診断精度が向上する。つまり、第２医用画像データを学習用データセットに含ませることで、より多くの画像処理条件(ゲインや空間周波数など)や、より多くの被検体の解剖学的パターンに対応できるように画像診断モデルを訓練することができる。

【0038】

第４の例として、画像変換部１２は、様々な信号処理で生成された第１医用画像データ、すなわち、超音波画像装置において異なるフォーカスで生成された第１医用画像データを、特定のフォーカスで生成されたように見える第２医用画像データに変換する。これにより、画像診断モデルの汎化性能が向上し、診断精度が向上する。つまり、第２医用画像データを学習用データセットに含ませることで、フォーカスの違いに、より対応できるように画像診断モデルを訓練することができる。

【0039】

第５の例として、画像変換部１２は、第１医用画像データの被検体のＢＭＩ（Body Mass Index）が互いに異なる複数の第１医用画像データを、特定のＢＭＩの被検体を撮影したように見える第２医用画像データに変換する。これにより、例えば痩せた被検体、標準体型の被検体、および太った被検体などが混じった第１医用画像データを、例えば太った被検体を撮影したように見える第２医用画像データに変換することができる。これにより、画像診断モデルの汎化性能が向上し、診断精度が向上する。つまり、第２医用画像データを学習用データセットに含ませることで、被検体の体形による画質の違いに、より対応できるように画像診断モデルを訓練することができる。

【0040】

第６の例として、画像変換部１２は、異なる送信電圧で生成された複数の第１医用画像データを、特定の送信電圧で生成されたように見える第２医用画像データに変換する。例えば超音波画像装置において、送信電圧が比較的低い装置（例えば、可搬型の装置）が生成する医用画像データは、送信電圧が比較的高い装置（例えば、据え置き型の装置）が生成する医用画像データと比較して画質が低いことがある。これにより、画像診断モデルの汎化性能が向上し、診断精度が向上する。つまり、第２医用画像データを学習用データセットに含ませることで、送信電圧による画質の違いに、より対応できるように画像診断モデルを訓練することができる。

【0041】

第７の例として、画像変換部１２は、第１医用画像データの撮像範囲に写る様々なものうち、特定のものを削除して第２医用画像データに変換する。第１医用画像データの撮像範囲に写る様々なものの例としては、アーチファクト、穿刺針などの人工構造物、麻酔液、造影剤、または病変部などが挙げられる。

【0042】

例えば、第１医用画像データに対応付けられた第１正解ラベルが示す関心領域の外に存在する人工構造物などを削除する変換を行うことにより、当該人工構造物がない第２医用画像データを生成することができる。これにより、後述の生成部１４が学習用データセットを生成するとき、第１医用画像データから人工構造物を削除した第２医用画像データに対して、新たに正解ラベルを付与する必要がない。このため、正解ラベルを付与する労力を省略できる。さらに、第１医用画像データに関心領域以外に様々なものが映り込んでいたとしても、写り込んだものに影響されることなく正解ラベルが付与されるので、質の高い学習用データセットが生成される。そして、このようにして生成された学習用データセットを用いて訓練することで、第１医用画像データの撮像範囲に写る様々なもの（アーチファクト、穿刺針などの人工構造物、麻酔液、造影剤、または病変部など）が写っていなくても、精度高く対応できる画像診断モデルを得ることができる。

【0043】

なお、上述の例では関心領域の外に存在する人工構造物などを削除する場合について説明したが、例えば画像変換部１２は、関心領域の内部に写る特定の構造物を削除してもよい。

【0044】

第８の例として、画像変換部１２は、第１医用画像データの撮像範囲に写っていない特定のものを追加して第２医用画像データに変換する。例えば、第１医用画像データの関心領域の内部に新たに病変部の画像を追加する画像変換を行うことにより、特定の病変部が写る第２医用画像データを新たに生成することができる。また、関心領域内の病変部の有無に関係なく、同じ関心領域を認識する学習を施すための学習用データセットを用意することができる。これにより、生成部１４が生成する学習用データセットの質が向上するため、より好適である。なお、撮像範囲に写っていない特定のものは病変部に限らず、穿刺針などの人工構造物や、アーチファクト（例えば穿刺針があることによって生じるアーチファクト）、麻酔液、造影剤であってもよい。これらを追加するように第１医用画像データを変換した第２医用画像データを学習用データセットに含めることで、画像内にアーチファクト、麻酔液、造影剤、または病変部が写っていても精度高く対応できるように画像診断モデルを訓練することができる。

【0045】

本実施の形態において、画像変換部１２は、入力された第１医用画像データの輪郭位置を変更することなく、ｓｔｙｌｅ変換を行うものとする。これにより、多種の第１医用画像データの入力に対して、画像変換部１２は、例えば骨や筋肉、血管などの組織の境界などの位置を変更することなく、画像の一部または画像全体の画風や質感だけ違いがある１種類の医用画像データに変換された第２医用画像データを得ることができる。

【0046】

画像データ取得部１３は、画像変換部１２が出力した第２医用画像データを取得して生成部１４に入力する。なお、学習用データセット生成装置１０が画像変換部１２を有していない例では、画像データ取得部１３は、外部の画像変換装置から第２医用画像データを取得する。

【0047】

生成部１４は、第２医用画像データと、第１正解ラベルとをペアにすることにより、画像診断モデルを学習させるための学習用データセットを生成する。すなわち、生成部１４が生成する学習用データセットには、第１医用画像データがｓｔｙｌｅ変換された第２医用画像データと、第１医用画像データに対応付けられた第１正解ラベルと、が含まれる。生成部１４は、生成した学習用データセットを、機械学習装置２０に対して出力する。

【0048】

上述したように、画像変換部１２におけるｓｔｙｌｅ変換では、画像の輪郭位置が変更しないようになっている。このため、第１医用画像データにおける関心領域などに関する情報を示す第１正解ラベルは、第１医用画像データに対してｓｔｙｌｅ変換を施した第２医用画像データに対してもそのまま適用が可能である。

【0049】

このように、学習用データセット生成装置１０は、第１医用画像データと第１正解ラベルとのペアが入力されたとき、第１医用画像データに対してｓｔｙｌｅ変換を含む画像変換処理を施し、特定の種類の第２医用画像データとした後、第２医用画像データと第１正解ラベルとのペアを学習用データセットとして出力する。ここで、入力される第１医用画像データの種類は問わないため、大量の第１医用画像データを用意しやすくなっている。これにより、画像変換処理後の第２医用画像データが、大量の学習用データセットを集めることが困難な特定の種類の医用画像データであったとしても、種類を問わず多様かつ大量の第１医用画像データを用意することで、大量の第２医用画像データを得ることができる。このため、特定の種類の第２医用画像データを、大量に生成することができる。

【0050】

さらに、画像変換処理において変換された第２医用画像データに対応する正解ラベルとしては、変換前の第１医用画像データに対応する第１正解ラベルをそのまま適用できるので、第２医用画像データを大量に生成した場合でも、正解ラベルを改めて用意する必要がない。これにより、労力を要さずに大量の学習用データセットを得ることができる。

【0051】

また、学習用データセット生成装置１０は、入力されたデータセット（第１医用画像データと第１正解ラベルとのペア）のうち、第１医用画像データについては、出力する学習用データセットには含めない。これにより、第１医用画像データとは種類が全く異なる（例えば、モダリティが異なる、または、超音波探触子の種類が異なる、など）第２医用画像データを含む学習用データセットを生成することができる。これにより、学習用データセット生成装置１０が出力する学習用データセットには特定の種類の医用画像データのみが数多く含まれることになるので、このような学習用データセットを用いて学習を行う際の学習効率および学習の質が向上する。

【0052】

図３は、学習用データセット生成装置１０の動作例を説明するためのフローチャートである。

【0053】

ステップＳ１において、学習用データセット生成装置１０は、第１医用画像データと第１正解ラベルとのペアであるデータセットを外部から取得する。

【0054】

ステップＳ２において、学習用データセット生成装置１０は、第１医用画像データに対して所定の画像変換処理を施し、第２医用画像データを生成する。

【0055】

ステップＳ３において、学習用データセット生成装置１０は、ステップＳ２で生成された第２医用画像データを取得する。

【0056】

ステップＳ４において、学習用データセット生成装置１０は、第２医用画像データと、第１正解ラベルとのペアを学習用データセットとして生成する。

【0057】

図３に示すフローチャートでは、ステップＳ４の処理の後、学習用データセット生成装置１０の動作は停止しているが、例えば所定の周期で図３の動作が繰り返されてもよい。

【0058】

学習用データセット生成装置１０は、サーバー装置、パーソナルコンピューター（ＰＣ）、スマートフォン、タブレット端末などのコンピューターによって実現されうる。また、学習用データセット生成装置１０が有する各種の機能は、コンピューターがプログラムを実行することによって実現される。

【0059】

図４は、学習用データセット生成装置１０のハードウェア構成の一例を示す図である。学習用データセット生成装置１０は、バスＢを介し相互接続されるドライブ装置１０１、ストレージ装置１０２、メモリ装置１０３、プロセッサ１０４、ユーザインタフェース（ＵＩ）装置１０５および通信装置１０６を有する。

【0060】

学習用データセット生成装置１０における後述される各種機能および処理を実現するプログラムまたは指示は、ＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）、フラッシュメモリなどの着脱可能な記憶媒体に格納されてもよい。当該記憶媒体がドライブ装置１０１にセットされると、プログラムまたは指示が記憶媒体からドライブ装置１０１を介しストレージ装置１０２またはメモリ装置１０３にインストールされる。ただし、プログラムまたは指示は、必ずしも記憶媒体からインストールされる必要はなく、ネットワークなどを介して外部の装置からダウンロードされてもよい。

【0061】

ストレージ装置１０２は、ハードディスクドライブなどによって実現され、インストールされたプログラムまたは指示とともに、プログラムまたは指示の実行に用いられるファイル、データなどを格納する。

【0062】

メモリ装置１０３は、ランダムアクセスメモリ、スタティックメモリなどによって実現され、プログラムまたは指示が起動されると、ストレージ装置１０２からプログラムまたは指示、データなどを読み出して格納する。ストレージ装置１０２、メモリ装置１０３および着脱可能な記憶媒体は、非一時的な有形の記憶媒体（non-transitory tangible storage medium）として総称されてもよい。

【0063】

プロセッサ１０４は、１つ以上のプロセッサコアから構成されうる１つ以上のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、処理回路（processing circuitry）などによって実現されてもよく、メモリ装置１０３に格納されたプログラム、指示、当該プログラム若しくは指示を実行するのに必要なパラメータなどのデータなどに従って、後述される学習用データセット生成装置１０の各種機能および処理を実行する。

【0064】

ユーザインタフェース（ＵＩ）装置１０５は、キーボード、マウス、カメラ、マイクロフォンなどの入力装置、ディスプレイ、スピーカ、ヘッドセット、プリンタなどの出力装置、タッチパネルなどの入出力装置から構成されてもよく、ユーザーと学習用データセット生成装置１０との間のインタフェースを実現する。例えば、ユーザーは、ディスプレイまたはタッチパネルに表示されたＧＵＩ（Graphical User Interface）をキーボード、マウスなどを操作し、学習用データセット生成装置１０を操作する。

【0065】

通信装置１０６は、外部装置、インターネット、ＬＡＮ（Local Area Network）、セルラーネットワークなどの通信ネットワークとの有線および／または無線通信処理を実行する各種通信回路により実現される。

【0066】

しかしながら、上述したハードウェア構成は単なる一例であり、本開示による学習用データセット生成装置１０は、他の何れか適切なハードウェア構成により実現されてもよい。

【0067】

＜機械学習装置２０＞
次に、機械学習装置２０について説明する。図５は、機械学習装置２０の構成を例示するブロック図である。図５に示すように、機械学習装置２０は、学習用データセット取得部２１と、学習対象モデル格納部２２と、学習部２３と、を備える。

【0068】

学習用データセット取得部２１は、学習用データセット生成装置１０から出力される学習用データセットを取得する。

【0069】

学習対象モデル格納部２２は、学習用データセットを用いた学習の対象となる機械学習モデル（画像診断モデル）が格納される。

【0070】

学習部２３は、学習用データセットを用いて、学習対象モデル格納部２２に格納されている画像診断モデルを訓練する。これにより、画像診断モデルには、例えば医用画像データの入力に対して推論結果としての画像診断結果を出力するための学習が施される。

【0071】

学習部２３は、学習済みの画像診断モデルを、画像診断装置３０に出力する。

【0072】

［画像診断装置３０］
次に、画像診断装置３０について説明する。画像診断装置３０は、本開示の画像処理装置の一例である。図６は、画像診断装置３０の構成を例示するブロック図である。図６に示すように、画像診断装置３０は、画像診断モデル取得部３１と、画像生成部３２と、推論部３３と、を備える。

【0073】

画像診断モデル取得部３１は、機械学習装置２０から出力された学習済みの画像診断モデルを取得する。

【0074】

画像生成部３２は、新たな第３医用画像データを生成する。画像生成部３２が生成する第３医用画像データは、画像診断モデルの学習に使用された学習用データセットに含まれる第２医用画像データと同じ種類の画像データである。言い換えると、学習用データセット生成装置１０は、画像診断装置３０の画像生成部３２が生成する第３医用画像データの種類に合わせて、第１医用画像データを変換する第２医用画像データの種類を決定する。

【0075】

画像生成部３２が、例えば第３医用画像データとして超音波画像データを生成する場合、学習用データセット生成装置１０が生成する学習用データセットに含まれる第２医用画像データも超音波画像データである。この場合、機械学習装置２０が機械学習を施す画像診断モデルは、超音波画像データの入力に対して推論結果としての画像診断結果を出力する機械学習モデルである。

【0076】

推論部３３は、画像診断モデル取得部３１が取得した学習済みの画像診断モデルを用いて、画像生成部３２が生成した第３医用画像データにおける画像診断を行う。具体的には、推論部３３は、画像診断モデルに第３医用画像データを入力し、推論結果としての画像診断結果を取得し、出力する。画像診断結果は、例えば、超音波画像データにおける関心領域の位置、病変部の位置、種類などを含む。

【0077】

なお、本実施の形態では、画像診断装置３０が第３医用画像データを生成することができるモダリティであるとして説明したが、本開示はこれに限定されない。例えば、画像診断装置３０は第３医用画像データを生成しなくてもよく、この場合、外部から第３医用画像データを取得し、画像診断モデルを用いて画像診断結果を出力する。この場合でも、画像診断装置３０は、医療従事者の画像診断を補助することができるため、好適である。

【0078】

＜作用、効果＞
以上説明したように、本開示の実施の形態に係る画像診断システム１００によれば、学習用データセット生成装置１０が、画像診断装置３０が生成する第３医用画像データと同じ種類の医用画像データのように見える第２医用画像データを、他の種類の医用画像データである第１医用画像データから生成し、機械学習装置２０の学習に用いることができる。このため、第３医用画像データが、大量の学習用データを用意することが困難な種類の医用画像データである場合でも、様々な他の種類の第１医用画像データを第２医用画像データに変換することで、少ない労力で大量の第２医用画像データを得ることができる。

【0079】

また、学習用データセット生成装置１０は、画像変換処理により得られた第２医用画像データに対し、変換元である第１医用画像データに対応する第１正解ラベルを適用させて学習用データセットを生成する。すなわち、既にある正解ラベルをそのまま使用して新たな学習用データセットを生成することができるため、効率よく学習用データセットを得ることができる。このように比較的少ない労力で大量の学習用データセットを用意できるので、機械学習装置２０において学習用データセットを用いた機械学習を施すことにより、診断性能が高い画像診断モデルを生成することができる。また、これにより、学習済みの画像診断モデルを用いて画像診断を行う画像診断装置３０による画像診断の精度が向上する。

【0080】

特に第３医用画像データが特定の超音波探触子を用いて生成された医用画像データである場合、例えば手技的にメジャーではない超音波探触子を用いて生成される医用画像データはデータとして非常に少なく、データベースの規模が小さい。そのような超音波探触子を用いて生成された医用画像データに基づく画像診断を行う画像診断モデルを効率よく学習させることには大きな困難がある。本開示の実施の形態に係る画像診断システム１００によれば、このようなメジャーではない超音波探触子を用いて生成された医用画像データに基づく画像診断を行う画像診断モデルに対する機械学習を施す場合、メジャーな超音波探触子を用いて生成された医用画像データに基づいて容易に大量の学習用データセットを生成できるので、機械学習の効率を非常に向上させることができるとともに、精度が高い画像診断を行うことができる画像診断モデルを効率よく学習させることができる。

【0081】

または、第３医用画像データが超音波画像データである場合、ＳＮ比が悪い、またはプローブの当て方が難しい、などの理由で、被写対象の描出が困難であったり、ラベリング(画像に病変部が含まれるか否かを指定する、または画像内の特定領域を囲う、など)が難しかったりすることがある。このような場合、例えばよりＳＮ比が高くなりやすい核磁気共鳴画像装置を用いて生成されたＭＲＩ画像データを第１医用画像データとして用いることで、第１医用画像データに対して第１正解ラベルを付与する労力を低減することができる。さらに、第１医用画像データに対して画像変換処理を行い、超音波画像データのように見える第２医用画像データを生成して第１正解ラベルとのペアを学習用データセットとすることで、質が高い学習用データセットを生成することができる。

【0082】

以上説明した本開示の一実施形態は、学習用データセットを生成する学習用データセット生成装置、学習用データセットを用いて画像診断モデルに機械学習を施す機械学習装置、学習済みの画像診断モデルを用いて画像診断結果を出力する画像診断装置、および、これらの各構成を含む画像診断システムである。本開示の画像診断システムは、例えば超音波画像データを扱うことができる超音波画像診断システムであってもよい。

【0083】

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形や変更が可能である。

【符号の説明】

【0084】

１００ 画像診断システム
１０ 学習用データセット生成装置
１１ データセット取得部
１２ 画像変換部
１３ 画像データ取得部
１４ 生成部
２０ 機械学習装置
２１ 学習用データセット取得部
２２ 学習対象モデル格納部
２３ 学習部
３０ 画像診断装置
３１ 画像診断モデル取得部
３２ 画像生成部
３３ 推論部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】