特表 2024-519247 深層学習アルゴリズムをトレーニングするための稀な医用画像を生成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-10

(54)【発明の名称】深層学習アルゴリズムをトレーニングするための稀な医用画像を生成する方法

(51)【国際特許分類】

   A61B 6/03 20060101AFI20240501BHJP

   A61B 6/46 20240101ALI20240501BHJP

   G06T 7/00 20170101ALI20240501BHJP

【ＦＩ】

A61B6/03 560J

A61B6/46 506B

A61B6/03 560T

G06T7/00 612

G06T7/00 350C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023548359

(86)(22)【出願日】2022-05-06

(85)【翻訳文提出日】2023-10-20

(86)【国際出願番号】 FR2022050869

(87)【国際公開番号】W WO2022238640

(87)【国際公開日】2022-11-17

(31)【優先権主張番号】2104970

(32)【優先日】2021-05-11

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】520148884

【氏名又は名称】クアンタム サージカル

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ジラルド，ミシェル

(72)【発明者】

【氏名】ブロンデル，リュシアン

(72)【発明者】

【氏名】ナホム，ベルタン

(72)【発明者】

【氏名】バダノ，フェルナンド

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA22

4C093FF12

4C093FF13

4C093FF17

4C093FF35

5L096BA06

5L096BA13

5L096CA18

5L096DA01

5L096DA02

5L096FA02

5L096GA10

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

本発明は、関心生体組織及び前記関心生体組織内の異常を表わす合成医用画像を生成する方法（１００）に関する。本方法（１００）は、異常を有しない真医用画像に関連付けられた大多数セグメンテーションマスクを生成すること（１０１）、異常を有する真医用画像に関連付けられた少数セグメンテーションマスクを生成すること（１０２）、セグメンテーションマスクに基づいて合成医用画像を生成するようにニューラルネットワークをトレーニングすること（１０３）、少数セグメンテーションマスクによる異常のセグメンテーションと大多数セグメンテーションマスクによる生体組織のセグメンテーションとを組み合わせることにより大多数及び少数セグメンテーションマスクに基づき人工セグメンテーションマスクを生成すること（１０４）、及び人工セグメンテーションマスクに基づいてそして以前にトレーニングされたニューラルネットワークを使用することにより合成医用画像を生成すること（１０５）を含む。

【特許請求の範囲】

【請求項1】

関心生体組織（１４）と前記関心生体組織（１４）内の異常（１５）とを表わす合成医用画像（１３）を生成する方法（１００）であって、前記方法（１００）は：
－大多数セグメンテーションマスク（２１）を生成すること（１０１）であって、各大多数セグメンテーションマスク（２１）は異常を有しない患者の関心生体組織（１４）を表わす大多数真医用画像（１１）に関連付けられる、生成すること（１０１）；
－少数セグメンテーションマスク（２２）を生成すること（１０２）であって、各少数セグメンテーションマスク（２２）は異常（１５）を有する患者の関心生体組織（１４）を表わす少数真医用画像（１２）に関連付けられる、生成すること（１０２）；
－セグメンテーションマスクから合成医用画像（１３）を生成するようにニューラルネットワーク（３１）をトレーニングすること（１０３）；
－大多数セグメンテーションマスク（２１）及び少数セグメンテーションマスク（２２）から人工セグメンテーションマスク（２３）を生成すること（１０４）であって、人工セグメンテーションマスク（２３）の前記生成（１０４）は大多数セグメンテーションマスク（２１）の前記関心生体組織（２４）のセグメンテーションと少数セグメンテーションマスク（２２）の異常（２５）のセグメンテーションとを組み合わせることを含む、生成すること（１０４）；
－以前にトレーニングされたニューラルネットワーク（３１’）を使用することにより前記人工セグメンテーションマスク（２３）から合成医用画像（１３）を生成すること（１０５）を含む方法。

【請求項2】

人工セグメンテーションマスク（２３－１～２３－７）の前記生成（１０４）はさらに、前記少数セグメンテーションマスク（２２）の前記異常（２５）の前記セグメンテーションを変形することを含む、請求項１に記載の方法（１００）。

【請求項3】

前記異常（２５）の前記セグメンテーションの前記変換は前記異常（２５）の前記セグメンテーションの回転、拡大、縮小、変形及び／又は移動に対応する、請求項２に記載の方法。

【請求項4】

人工セグメンテーションマスク（２３）の前記生成（１０４）はさらに、前記関心生体組織（２４）の前記セグメンテーションに対する前記異常（２５）の前記セグメンテーションが特定判断基準を満たすということを照査することを含む、請求項１乃至３のいずれか一項に記載の方法（１００）。

【請求項5】

セグメンテーションマスク（２１、２２）は一組のボクセルを含み、
各ボクセルは、前記セグメンテーションマスク（２１、２２）が関連付けられた前記真医用画像（１１、１２）の区画に対応し、
各ボクセルは前記真医用画像（１１、１２）上の前記区画により示されるものを符号化する数値に関連付けられる、請求項１乃至４のいずれか一項に記載の方法（１００）であって
人工セグメンテーションマスク（２３）を生成する前記工程（１０４）は：
－大多数セグメンテーションマスク（２１）及び少数セグメンテーションマスク（２２）を選択すること；
－その数値が前記異常を符号化する一組のボクセルを前記選択された少数セグメンテーションマスク（２２）上で識別すること；
－前記異常を符号化する前記数値により識別された前記ボクセルの前記数値を前記選択された大多数セグメンテーションマスク（２１）上で置換すること、を含む。方法（１００）。

【請求項6】

合成医用画像（１３）を生成するために使用される前記ニューラルネットワーク（３１）は生成器ニューラルネットワーク（３１）であり、
前記生成器ニューラルネットワーク（３１）の前記トレーニングは弁別器ニューラルネットワーク（３２）を使用することにより実施され、
前記生成器ニューラルネットワーク（３１）及び前記弁別器ニューラルネットワーク（３２）は一対の敵対的生成ネットワークを形成する、請求項１乃至５のいずれか一項に記載の方法（１００）。

【請求項7】

前記大多数セグメンテーションマスク（２１）及び前記少数セグメンテーションマスク（２２）が生成される前記真医用画像（１１、１２）は断層像密度測定法により、陽電子放射形断層撮影法により、磁気共鳴画像、又は超音波により取得される医用画像である、請求項１乃至６のいずれか一項に記載の方法（１００）。

【請求項8】

前記関心生体組織は、肝臓、肺若しくは腎臓のような器官、又は骨若しくは血管のような別の解剖学的構造である、請求項１乃至７のいずれか一項に記載の方法（１００）。

【請求項9】

前記異常は腫瘍又は剥離区域である、請求項１乃至８のいずれか一項に記載の方法（１００）。

【請求項10】

真医用画像（１１、１２）上の患者の関心生体組織（１４）内の異常（１５）を検出する又は特徴付けることを目的とする機械学習アルゴリズム（４０）をトレーニングするための方法（２００）であって、前記方法（２００）は：
－請求項１乃至９のいずれか一項に記載の方法（１００）を使用することにより前記関心生体組織及び前記関心生体組織内の異常を表わす合成医用画像（１３）を生成すること（２０１）；
－このように生成された前記合成医用画像（１３）を含む一組のトレーニング画像を使用することにより前記機械学習アルゴリズム（４０）をトレーニングすること（２０２）を含む、方法（２００）。

【請求項11】

前記一組のトレーニング画像は合成医用画像（１３）及び真医用画像（１１、１２）を含み、異常を有する画像の数は異常を有しない画像の数の少なくとも１０％に等しい、請求項１０に記載の方法（２００）。

【請求項12】

前記機械学習アルゴリズム（４０）は異常分類アルゴリズムである、請求項１０乃至１１のいずれか一項に記載の方法（２００）。

【請求項13】

前記機械学習アルゴリズム（４０）は異常セグメンテーションアルゴリズムである、請求項１０乃至１１のいずれか一項に記載の方法（２００）。

【請求項14】

前記機械学習アルゴリズム（４０）は深層ニューラルネットワークによる実施される、請求項１０乃至１３のいずれか一項に記載の方法（２００）。

【請求項15】

１つ又は複数のプロセッサ及び前記１つ又は複数のプロセッサにより読み出され得る少なくとも１つのストレージ媒体を含むデバイスであって、
前記ストレージ媒体は大多数セグメンテーションマスク（２１）及び少数セグメンテーションマスク（２２）を格納するように意図されており、
各大多数セグメンテーションマスク（２１）は異常を有しない患者の前記関心生体組織（１４）の大多数真医用画像（１１）上で可視である関心生体組織（２４）のセグメンテーションを含み、
各少数セグメンテーションマスク（２２）は前記関心生体組織（１４）内の異常（１５）を有する患者の前記関心生体組織（１４）の少数真医用画像（１２）上で可視である異常（２５）のセグメンテーションを含み、
前記デバイスは、以下のことを特徴とする
前記ストレージ媒体は、前記大多数セグメンテーションマスク（２１）からそして前記ストレージ媒体上に格納された前記少数セグメンテーションマスク（２２）から一組の人工セグメンテーションマスク（２３）を生成するために、前記プログラムが前記１つ又は複数のプロセッサにより実行されると前記１つ又は複数のプロセッサを構成する一組のプログラムコード指令を含み、
各人工セグメンテーションマスク（２３）は、大多数セグメンテーションマスク（２１）の前記関心生体組織（２４）のセグメンテーションと少数セグメンテーションマスク（２２）の前記異常（２５）のセグメンテーションとを組み合わせることにより生成される、デバイス。

【請求項16】

人工セグメンテーションマスク（２３－１～２３－７）を生成するために前記１つ又は複数のプロセッサも前記少数セグメンテーションマスク（２２）の前記異常（２５）の前記セグメンテーションを変形するように構成される、請求項１５に記載のデバイス。

【請求項17】

前記異常（２５）の前記セグメンテーションの前記変換は前記異常（２５）の前記セグメンテーションの回転、拡大、縮小、変形又は移動に対応する、請求項１６に記載のデバイス。

【請求項18】

人工セグメンテーションマスク（２３）を生成するために、前記１つ又は複数のプロセッサはまた、前記関心生体組織（２４）の前記セグメンテーションに対する前記異常（２５）の前記セグメンテーションが特定判断基準を満たすということを照査するように構成される、請求項１５乃至１７のいずれか一項に記載のデバイス。

【請求項19】

セグメンテーションマスク（２１、２２）が一組のボクセルを含み、
各ボクセルは前記セグメンテーションマスク（２１、２２）が関連付けられた前記真医用画像（１１、１２）の区画に対応し、
各ボクセルは前記真医用画像（１１、１２）上の前記区画により示されるものを符号化する数値に関連付けられ、
人工セグメンテーションマスク（２３）を生成するために、前記１つ又は複数のプロセッサは以下のことをするように構成される：
－大多数セグメンテーションマスク（２１）及び少数セグメンテーションマスク（２２）を選択すること；
－その数値が前記異常を符号化する一組のボクセルを前記選択された少数セグメンテーションマスク（２２）上で識別すること；
－前記異常を符号化する前記数値により識別された前記ボクセルの前記数値を前記選択された大多数セグメンテーションマスク（２１）上で置換すること、請求項１５乃至１８のいずれか一項に記載のデバイス。

【請求項20】

前記ストレージ媒体はまた、セグメンテーションマスクから合成医用画像（１３）を生成するために以前にトレーニングされたニューラルネットワーク（３１’）を格納し、そして前記プログラムが実行されると、前記１つ又は複数のプロセッサは人工セグメンテーションマスク（２３）から前記ニューラルネットワーク（３１’）により合成医用画像（１３）を生成するように構成される、請求項１５乃至１９のいずれか一項に記載のデバイス。

【請求項21】

合成医用画像（１３）を生成するための前記ニューラルネットワーク（３１）は、弁別器ニューラルネットワーク（３２）を使用することによりトレーニングされるようにされた生成器ニューラルネットワーク（３１）であり、前記生成器ニューラルネットワーク（３１）及び前記弁別器ニューラルネットワーク（３２）は一対の敵対的生成ネットワークを形成する、請求項２０に記載のデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

発明の分野
本出願は、稀な解剖学的異常を呈示する合成医用画像を人工ニューラルネットワークを使用することにより生成する技術分野に関する。生成された合成画像は、医用画像上で可視である関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズム（例えば異常を分類又はセグメント化するための深層ニューラルネットワーク）をトレーニングするために使用されるように意図されている。

【背景技術】

【0002】

先行技術
機械学習アルゴリズムをトレーニングすること（より具体的には人工ニューラルネットワークをトレーニングすること）は、良い予測品質を実現するためにトレーニングセット内に大量のデータを必要とする。トレーニングセット内の稀なクラスのデータを不十分に表示することは１つのクラスから別のクラスにわたって観察される予測偏位に実際に影響を与える。

【0003】

この問題は、医療分野において特に重要である（例えば医用画像上で可視である関心生体組織内の異常を検出する又は特徴付けることを目的とする深層ニューラルネットワークをトレーニングするために）。実際、病気の稀性、患者の機密性、医学的撮像操作を担うために必要な努力並びに経費等々のため大量の医用画像を集めることは難しい。

【0004】

いくつかの既存解決策は、トレーニングセット内の稀なクラスに対応するデータの量を稀な解剖学的異常を呈示する合成医用画像を作成することにより人為的に増加することを目的とする。しかし、先行技術の解決策では、得られる合成画像は一般的に、それらが生成されることになる真画像とは十分に異ならなく、分類又はセグメンテーションのための深層ニューラルネットワークの最適トレーニングを許容しない。実際、このとき他のクラスを犠牲にして特別クラスを過剰学習するリスクがある。過剰学習はアルゴリズムの予測の一般化の損失の現象を表わす、すなわち予測はトレーニングセットのデータに関しては良いが、新しいデータに関しては貧弱である。

【0005】

米国特許出願公開第２０１９／０３７０９６９Ａ１号は、例えば「敵対的生成ネットワーク」（すなわちＧＡＮ：Generative Adversarial Network）により生成された合成画像により腫瘍を分類するためのアルゴリズムをトレーニングすることを教示する。分類アルゴリズムは真画像と混合された合成画像を使用することによりトレーニングされる。いくつかの敵対的生成ニューラルネットワークは様々なクラスの腫瘍の画像を生産するために必要とされる。分類アルゴリズムをトレーニングする方法は、アルゴリズムの学習実行に応じて画像の重み付けを調節する方法を含み、この方法は困難なケース（特に、トレーニングセット内で不十分に表示されるケース）の学習が強化されることを可能にする。この方法の主要欠点は、様々なクラスの合成画像を生成するために複数の敵対的生成ニューラルネットワークをトレーニングする要求であり、これは技術的に困難である。このアプローチの別の制限は、取得される合成画像の多様性が敵対的生成ニューラルネットワークをトレーニングするために使用される画像の多様性により制限されるということである。稀なクラスの合成画像は、敵対的生成ニューラルネットワークのトレーニングデータのセット内に当初存在していなければ生成するのが困難である。

【0006】

いくつかの解決策は互いに相互依存した少なくとも２つの敵対的生成ニューラルネットワークを実装する。そのような手法は、特に生成器のうちの１つの生成器の最適化が他の生成器の最適化に依存するので、技術的複雑性を著しく増加させる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

従って、異常を検出する又は特徴付けることを目的とする学習アルゴリズムをトレーニングするための稀な解剖学的異常の多数の且つ多種多様な画像を作成するために実装することが比較的簡単な解決策の要求が依然として存在する。

【0008】

発明の開示
本出願に開示される方法及びデバイスの目的は、先行技術の欠点（特に上に述べられたもの）のすべて又はいくつかを克服することである。

【課題を解決するための手段】

【0009】

この目的を達成するために、第１の態様によると、関心生体組織及び前記関心生体組織内の異常を表わす合成医用画像を生成する方法が提案される。本方法は、
－大多数（majority）セグメンテーションマスクを生成することであって、大多数セグメンテーションマスクの各セグメンテーションマスクは異常を有しない患者の関心生体組織を表わす大多数真医用画像（majority real medical image）に関連付けられる、生成すること；
－少数（minority）セグメンテーションマスクを生成することであって、少数セグメンテーションマスクの各セグメンテーションマスクは異常を有する患者の関心生体組織を表わす少数真医用画像（minority real medical image）に関連付けられる、生成すること
－セグメンテーションマスクから合成医用画像を生成するようにニューラルネットワークをトレーニングすること；
－大多数セグメンテーションマスク及び少数セグメンテーションマスクから人工セグメンテーションマスクを生成することであって、人工セグメンテーションマスクを生成することは大多数セグメンテーションマスクの関心生体組織のセグメンテーションと少数セグメンテーションマスクの異常のセグメンテーションとを組み合わせることを含む、生成すること；
－以前にトレーニングされたニューラルネットワークを使用することにより人工セグメンテーションマスクから合成医用画像を生成すること、を含む。

【0010】

関心生体組織は器官（例えば肝臓、膵臓、胆嚢、肺又は腎臓）又は別の解剖学的構造（例えば骨又は血管）に対応し得る。関心生体組織内に存在する異常は一般的に、例えば腫瘍、包嚢、剥離区域、動脈瘤などのような損傷に対応する。剥離区域は、既知の方法（マイクロ波、レーザ、高周波など）を使用することにより剥離処理を受けた損傷に対応する。これは壊死エリアに関与する。

【0011】

「真医用画像」は、例えば断層像密度測定法（ＣＴ（コンピュータ断層撮影法（Computerized Tomography））走査）により、陽電子放射形断層撮影法（ＰＥＴ：Positron Emission Tomography走査）により、磁気共鳴画像（ＭＲＩ：Magnetic Resonance Imaging）により、超音波により、又はＸ線により医学撮像デバイスを使用することにより患者上で取得された医用画像であると理解される。

【0012】

用語「大多数」及び「少数」は、異常を有する関心生体組織を表わす医用画像の数より異常を有しない関心生体組織を表わす著しく多い数の医用画像が存在するので使用される。

【0013】

「合成」医用画像は対照的にニューラルネットワークにより人為的に生成される。ニューラルネットワークは、その動作が人間の脳のニューロンに端を発するハードウェア及び／又はソフトウェアコンピュータシステムである。ニューラルネットワークは、それ自体が機械学習アルゴリズムの一部を形成する様々な「深層学習」技術である。機械学習アルゴリズムは人工知能の技術分野の１カテゴリーを形成する。

【0014】

ニューラルネットワークは、真医用画像に関連付けられたセグメンテーションマスクから合成画像を生成するようにトレーニングされる。大多数セグメンテーションマスク及び少数セグメンテーションマスクはニューラルネットワークをトレーニングするために使用され得る。セグメンテーションマスクは、その各ボクセルが真医用画像上のボクセルの位置に示された要素に関係する特別情報を提供する画像である。従って、ボクセルは真医用画像上のボクセルの位置に示された要素に関連付けられた特定数値を担い得る（特定数値は例えば、関心生体組織の健康部に関して定義され、異なる数値は異常に関して定義される）。用語「ボクセル」は画像の特定区画を定義するために一般的に使用される（ボクセルは、画像上の前記区画の位置を識別しそして画像上の前記区画内に示されるものを表わす値を担う）ということに留意すべきである。ボクセルは二次元又は三次元画像に関与し得る。ボクセルが二次元画像に関与すれば、用語「ボクセル」は用語「画素」と同じ意味を担う。

【0015】

セグメンテーションマスクから合成画像を生成するための様々なタイプのニューラルネットワークが企図され得る。例えば、自己符号化器（「変分自己符号化器（Variational Autoencoder）」又はＶＡＥ）型ニューラルネットワークを使用することにより企図することが可能である。しかし、一対の敵対的生成ニューラルネットワーク（ＧＡＮ）の生成器の使用が望ましい。これらのタイプのニューラルネットワークは実際に、高度に現実的である画像が生成されることを可能にする。ＧＡＮは、２つのニューラルネットワークがゼロサムゲームシナリオにおいて競争するように設定された生成モデルである。第１のネットワーク（生成器）は画像を生成し、その敵（弁別器）は、生成された画像が真かどうか（すなわち生成器により生成された合成画像かどうか）を検出することを試みる。

【0016】

ランダム「雑音」からではなくセグメンテーションマスクから合成画像を生成することが先行技術におけるケースが一般的にそうであるよう有利である。ニューラルネットワークの入力としてのセグメンテーションマスクの使用はより大きな制御が、ニューラルネットワークにより生成される合成画像に関し提供されることを可能にする。

【0017】

本発明は、大多数真医用画像に関連付けられた一組の大多数セグメンテーションマスクから、そして少数真医用画像に関連付けられた一組の少数セグメンテーションマスクから人工セグメンテーションマスクを生成することに基づく。人工セグメンテーションマスクを生成するために、大多数セグメンテーションマスクの関心生体組織のセグメンテーションは少数セグメンテーションマスクの異常のセグメンテーションと組み合わされる。異常のセグメンテーションは例えば関心生体組織の様々な位置における大多数セグメンテーションマスク内にそして様々な配向で取り込まれる。大多数セグメンテーションマスク内へ取り込む前に関心生体組織の異常のセグメンテーションを変形することを企図することも可能である。各大多数セグメンテーションマスクは各少数セグメンテーションマスクと組み合わせられ得る。

【0018】

このような配置は非常に広範に多様な人工セグメンテーションマスクが生成されることを可能にする。次に、これは、解剖学的異常を呈示する非常に広範に多様な合成医用画像が生成されることを可能にする。

【0019】

合成医用画像のこの多様性は、真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムに特に効果的である一組のトレーニング画像が生成されることを可能にする。一組のトレーニング画像は真医用画像及び合成医用画像の両方を含み得る。異常を呈示する医用画像の数及び異常の多様性は、多種多様な人工セグメンテーションマスクにより著しく増加される。好適には、一組のトレーニング画像は、異常を有しない画像の数にほぼ等しい数の「異常を有する画像」を含む。従って、これは、特定クラスの異常に関して過剰学習する現象が回避されることを可能にする。

【0020】

さらに、提案された解決策の技術的複雑性は比較的限定される。特に、人工セグメンテーションマスクを生成することは学習アルゴリズムの使用を必要としない。従って、合成医用画像を生成するために提案される方法はせいぜい単一ＧＡＮを必要とする（合成画像を生成するために使用されるニューラルネットワークはＧＡＮであるということを仮定する）。

【0021】

提案された方法は前記関心生体組織内の単一異常を有する関心単一生体組織を表わす合成医用画像の生成に限定されないということにさらに留意すべきである。換言すれば、本方法はまた、関心生体組織内に複数の異常（潜在的に様々な性質の異常）を有する関心生体組織を表わす合成医用画像が生成されることを可能にし得る。従って、本方法は、関心の各表わされた生体組織内に複数の異常を潜在的に有する関心の複数の異なる生体組織を表わす合成医用画像が生成されることを可能にし得る。この目的により、人工セグメンテーションマスクは、関心の様々な生体組織に対応する大多数セグメンテーションマスクと様々なタイプの異常に対応する少数セグメンテーションマスクとの組み合わせから生成され得る。

【0022】

いくつかの特定実施形態では、本方法はさらに、個々に又はすべての技術的に可能な組み合わせに従って採用される以下の特徴のうちの１つ又は複数を含み得る。

【0023】

いくつかの特定実施形態では、人工セグメンテーションマスクの生成はさらに、少数セグメンテーションマスクの異常のセグメンテーションを変換することを含む。

【0024】

いくつかの特定実施形態では、異常のセグメンテーションの変換は、異常のセグメンテーションの回転、拡大、縮小、変形及び／又は移動に対応する。

【0025】

いくつかの特定実施形態では、人工セグメンテーションマスクの生成はさらに、関心生体組織のセグメンテーションに対する異常のセグメンテーションが特定判断基準を満たすということを照査することを含む。

【0026】

これは例えば、いくつかの特定制約が非現実的組み合わせをフィルタで除去するために満たされるということを照査することに関与する。これらの制約は、例えば関心器官内の又は他の器官若しくは他の解剖学的構造に対する異常の位置に関係する。

【0027】

いくつかの特定実施形態では、セグメンテーションマスクは一組のボクセルを含み、各ボクセルはセグメンテーションマスクが関連付けられる真医用画像の区画に対応し、各ボクセルは真医用画像上の前記区画により示されるものを符号化する数値に関連付けられ、そして人工セグメンテーションマスクを生成する工程は以下のことを含む：
－大多数セグメンテーションマスク及び少数セグメンテーションマスクを選択すること；
－その数値が異常を符号化する一組のボクセルを、選択された少数セグメンテーションマスク上で識別すること；
－異常を符号化する数値により識別されたボクセルの数値を、選択された大多数セグメンテーションマスク上で置換すること。

【0028】

いくつかの特定実施形態では、合成医用画像を生成するために使用されるニューラルネットワークは生成器ニューラルネットワークであり、そして生成器ニューラルネットワークのトレーニングは弁別器ニューラルネットワークを使用することにより実施され、生成器ニューラルネットワーク及び弁別器ニューラルネットワークは一対の敵対的生成ネットワークを形成する。

【0029】

一般的に、敵対的生成ニューラルネットワーク（ＧＡＮ）により高解像度画像を取得することは困難である。この欠点を克服するために、本発明による方法は有利には、大多数及び少数真医用画像のサイズを縮小する前工程を含み得る。例えば、医用画像は、１２８×１２８画素のサイズへ低減され得（二次元画像が関与されれば）、そして関心生体組織にその中心を合わされ得る。

【0030】

いくつかの特定実施形態では、大多数セグメンテーションマスク及び少数セグメンテーションマスクが生成される真医用画像は、陽電子放射形断層撮影法により、断層像密度測定法により、磁気共鳴画像により、又は超音波により取得される医用画像である。

【0031】

いくつかの特定実施形態では、関心生体組織は、肝臓、肺若しくは腎臓のような器官、又は骨又は血管のような別の解剖学的構造である。

【0032】

いくつかの特定実施形態では、異常は腫瘍又は剥離区域である。

【0033】

第２の態様によると、真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムをトレーニングするための方法が提案される。本方法は、関心生体組織及び前記関心生体組織内の異常を表わす合成医用画像を先の実施形態のうちの任意の１つによる方法を使用することにより生成することを含む。本方法はその後、このように生成された合成医用画像を含む一組のトレーニング画像を使用することにより機械学習アルゴリズムをトレーニングすることを含む。

【0034】

いくつかの特定実施形態では、本方法はさらに、個々に又はすべての技術的に可能な組み合わせに従って得られる以下の特徴のうちの１つ又は複数を含み得る。

【0035】

いくつかの特定実施形態では、一組のトレーニング画像は合成医用画像及び真医用画像を含み、そして異常を有する画像の数は異常を有しない画像の数の少なくとも１０％に等しい。

【0036】

いくつかの特定実施形態では、機械学習アルゴリズムは異常分類アルゴリズムである。

【0037】

いくつかの特定実施形態では、機械学習アルゴリズムは異常セグメンテーションアルゴリズムである。

【0038】

いくつかの特定実施形態では、機械学習アルゴリズムは深層ニューラルネットワークにより実施される。

【0039】

第３の態様によると、真医用画像上の患者の関心生体組織内の異常を検出又は特徴付ける方法が提案される。本方法は、以下のことを含む：
－真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムを先の実施形態のうちの任意のものによる方法を使用することによりトレーニングすること；
－患者の関心生体組織の真医用画像を受信すること；
－トレーニングされた機械学習アルゴリズムにより前記真医用画像を分析すること；
－真医用画像上で可視である関心生体組織内の異常が検出又は特徴付けされることを可能にする情報を、トレーニングされた機械学習アルゴリズムからの出力として取得すること。

【0040】

第４の態様によると、１つ又は複数のプロセッサ及び１つ又は複数のプロセッサにより読み出され得る少なくとも１つのストレージ媒体を含むデバイスが提案される。ストレージ媒体は大多数セグメンテーションマスク及び少数セグメンテーションマスクを格納するように意図されている。各大多数セグメンテーションマスクは、異常を有しない患者の関心生体組織の大多数真医用画像上で可視である関心生体組織のセグメンテーションを含む。各少数セグメンテーションマスクは、前記関心生体組織内の異常を有する患者の関心生体組織の少数真医用画像上で可視である異常のセグメンテーションを含む。ストレージ媒体は、プログラムが１つ又は複数のプロセッサにより実行されると、大多数セグメンテーションマスクから及びストレージ媒体上に格納された少数セグメンテーションマスクから一組の人工セグメンテーションマスクを生成するために１つ又は複数のプロセッサを構成する一組のプログラムコード指令を含む。各人工セグメンテーションマスクは、大多数セグメンテーションマスクの関心生体組織のセグメンテーションと少数セグメンテーションマスクの異常のセグメンテーションとを組み合わせることにより生成される。

【0041】

いくつかの特定実施形態では、本デバイスはさらに、個々に又はすべての技術的に可能な組み合わせに従って得られる以下の特徴のうちの１つ又は複数を含み得る。

【0042】

いくつかの特定実施形態では、人工セグメンテーションマスクを生成するために、１つ又は複数のプロセッサはまた、少数セグメンテーションマスクの異常のセグメンテーションを変換するように構成される。

【0043】

いくつかの特定実施形態では、異常のセグメンテーションの変換は異常のセグメンテーションの回転、拡大、縮小、変形又は移動に対応する。

【0044】

いくつかの特定実施形態では、人工セグメンテーションマスクを生成するために、１つ又は複数のプロセッサはまた、関心生体組織のセグメンテーションに対する異常のセグメンテーションが特定判断基準を満たすということを照査するように構成される。

【0045】

いくつかの特定実施形態では、セグメンテーションマスクは一組のボクセルを含む。各ボクセルはセグメンテーションマスクが関連付けられる真医用画像の区画に対応する。各ボクセルは、真医用画像上の前記区画により示されるものを符号化する数値に関連付けられる。人工セグメンテーションマスクを生成するために、１つ又は複数のプロセッサは以下のことをするように構成される：
－大多数セグメンテーションマスク及び少数セグメンテーションマスクを選択すること；
－その数値が異常を符号化する一組のボクセルを、選択された少数セグメンテーションマスク上で識別すること；
－異常を符号化する数値により識別されたボクセルの数値を、選択された大多数セグメンテーションマスク上で置換すること。

【0046】

いくつかの特定実施形態では、ストレージ媒体はまた、セグメンテーションマスクから合成医用画像を生成するために、以前にトレーニングされたニューラルネットワークを格納し、そしてプログラムが実行されると、１つ又は複数のプロセッサは人工セグメンテーションマスクからニューラルネットワークにより合成医用画像を生成するように構成される。

【0047】

いくつかの特定実施形態では、合成医用画像を生成するためのニューラルネットワークは弁別器ニューラルネットワークを使用することによりトレーニングされるようにされた生成器ニューラルネットワークであり、そして生成器ニューラルネットワーク及び弁別器ニューラルネットワークにより形成される対は一対の敵対的生成ネットワークを形成する。

【0048】

図面の説明
本発明は、非限定的例として提供されそして図１～図１４を参照する以下の説明を読むことでより良く理解されることになる。

【図面の簡単な説明】

【0049】

【図1】解剖学的異常を表わす合成医用画像を生成するための本発明による方法の主要工程の図式表現である。

【図2】真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムをトレーニングするための本発明による方法の主要工程の図式表現である。

【図3】真医用画像上の患者の関心生体組織内の異常を検出又は特徴付ける本発明による方法の主要工程の図式表現である。

【図4】大多数真医用画像から大多数セグメンテーションマスクを生成する工程の図式表現である。

【図5】少数真医用画像から少数セグメンテーションマスクを生成する工程の図式表現である。

【図6】大多数セグメンテーションマスク及び少数セグメンテーションマスクから人工セグメンテーションマスクを生成する工程の図式表現である。

【図7】解剖学的異常のセグメンテーションの変換を含む人工セグメンテーションマスクを生成する工程の図式表現である。

【図8】大多数セグメンテーションマスク及び少数セグメンテーションマスクからの人工セグメンテーションマスクの生成のイラストである。

【図9】セグメンテーションマスクから合成医用画像を生成するようにニューラルネットワークをトレーニングする工程の図式表現である。

【図10】大多数ケース（異常を有しない）及び少数ケース（異常を有する）のその関連するセグメンテーションマスクの真医用画像及びセグメンテーションマスクからニューラルネットワークにより生成された合成医用画像のイラストである。

【図11】以前にトレーニングされたニューラルネットワークを使用することにより人工セグメンテーションマスクから合成医用画像を生成する工程の図式表現である。

【図12】大多数真医用画像の；その関連付けられた大多数セグメンテーションマスクの；大多数セグメンテーションマスク及び少数セグメンテーションマスクから生成された人工セグメンテーションマスクの；及び人工セグメンテーションマスクからニューラルネットワークにより生成された合成医用画像の３つの異なる大多数真医用画像のイラストである。

【図13】機械学習アルゴリズムから合成医用画像をトレーニングする工程の図式表現である。

【図14】機械学習アルゴリズムにより真医用画像上に示される関心生体組織内の異常の検出又は特徴付けの図式表現である。

【発明を実施するための形態】

【0050】

これらの図全体にわたって、１つの図からの別の図への同一参照符号は同一又は同様な要素を表わす。明確化のために、示される要素は別途述べない限り必ずしも同じスケールで描かれない。

【0051】

発明の少なくとも１つの実施形態の詳細な説明
図１は、関心生体組織内の異常を表わす合成医用画像を生成するための本発明による方法１００の主要工程を概略的に示す。

【0052】

本明細書の残り全体にわたって、関心生体組織は非限定的例として肝臓であると見做され、そして解剖学的異常は腫瘍であると見做される。しかし、本方法は例えば肺、腎臓、骨、血管などの関心の他の生体組織へ適用される可能性があるということに留意すべきある。さらに、本方法は例えば腫瘍、包嚢、剥離区域、動脈瘤などの他のタイプの解剖学的異常へ適用される可能性がある。

【0053】

本方法１００は大多数セグメンテーションマスクを生成する工程１０１を含む。各大多数セグメンテーションマスクは、患者の関心生体組織を表わす大多数真医用画像へ関連付けられる（それによって前記関心生体組織が異常を呈示しない場合）。

【0054】

本明細書の残り全体にわたって、真医用画像は断層像密度測定法撮像デバイスにより取得された二次元画像であると見做される。しかし、いくつかの変形形態では、他の撮像モードを使用することにより（例えば磁気共鳴により、陽電子放射形断層撮影法により、超音波により、又はＸ線により）取得された三次元真医用画像又は真医用画像の使用を妨げるものはない。

【0055】

本方法１００はまた、少数セグメンテーションマスクを生成する工程１０２を含む。各少数セグメンテーションマスクは患者の関心生体組織を表わす少数真医用画像に関連付けられる（それによって前記関心生体組織が異常を呈示する場合）。

【0056】

工程１０１及び１０２の順番は重要でないということに留意すべきである。さらに、方法１００は任意選択的に、真医用画像のサイズを低減する前工程を含み得る。例えば、医用画像は、１２８×１２８画素のサイズへ低減され得（それが二次元画像であれば）、そしてセグメンテーションマスクを生成するために使用される前に関心生体組織にその中心を合わされ得る。

【0057】

方法１００は、セグメンテーションマスクから合成医用画像を生成するためにニューラルネットワーク３１をトレーニングする工程１０３を含む。ニューラルネットワークをトレーニングするために、例えば工程１０１において生成された大多数セグメンテーションマスク及び／又は工程１０２において生成された少数セグメンテーションマスクが使用され得る。しかし、他のセグメンテーションマスクも使用され得る。

【0058】

本明細書の残り全体にわたって、セグメンテーションマスクから合成医用画像を生成するために使用されるニューラルネットワークは一対の敵対的生成ニューラルネットワーク（ＧＡＮ）の生成器であると見做される。しかし、例えば自己符号化器型ニューラルネットワーク（ＶＡＥ）のような他のタイプのニューラルネットワークを使用することも可能だろうということに留意すべきある。セグメンテーションマスクから合成医用画像を生成するための特定タイプのニューラルネットワークの選択は本発明の１つの変形形態に過ぎない。

【0059】

方法１００は、大多数セグメンテーションマスク及び少数セグメンテーションマスクから人工セグメンテーションマスクを生成する工程１０４を含む。人工セグメンテーションマスクの生成１０４は、大多数セグメンテーションマスクの関心生体組織のセグメンテーションと少数セグメンテーションマスクの異常２５のセグメンテーションとを組み合わせることに基づく。

【0060】

工程１０３及び１０４は互いに独立しており、そしてそれらが実行される順番は重要ではないということに留意すべきある。

【0061】

最後に、方法１００は、以前にトレーニングされたニューラルネットワークを使用することにより人工セグメンテーションマスクから合成医用画像を生成する工程１０５を含む。

【0062】

工程１０１～１０５は図４～１２を参照してこの後説明される。

【0063】

図２は、真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムをトレーニングするための本発明による方法２００の主要工程を概略的に示す。

【0064】

方法２００は特に、関心生体組織及び前記関心生体組織内の異常を表わす合成医用画像を生成する工程２０１を含む。合成医用画像の生成２０１は、図１を参照して上に説明された方法１００を使用することにより実施される。

【0065】

方法２００はその後、工程２０１において生成された合成医用画像を含む一組のトレーニング画像を使用することにより機械学習アルゴリズムをトレーニングする工程２０２を含む。

【0066】

機械学習アルゴリズムは、例えば深層ニューラルネットワークに対応する。しかし、例えば「ランダムフォレスト（random forest）」アルゴリズムのような他のタイプの機械学習アルゴリズムの使用を妨げるものはない。

【0067】

機械学習アルゴリズムは、例えば異常の性質（腫瘍のタイプ）が識別されることを可能にする分類アルゴリズムに対応する。別の例によると、機械学習アルゴリズムは医用画像上の異常の外形が画定されることを可能にするセグメンテーションアルゴリズムに対応する。

【0068】

一組のトレーニング画像は真医用画像及び合成医用画像の両方を含み得る。異常を呈示する医用画像の数及び異常の多様性は、合成医用画像を生成するために使用される多種多様な人工セグメンテーションマスクにより著しく増加される。好適には、異常を有する画像の数は異常を有しない画像の数の少なくとも１０％に等しい。理想的には、一組のトレーニング画像は異常を有しない画像の数にほぼ等しい数の、異常を有する画像を含む。従って、これは過剰学習の現象が特定クラスの異常に関して回避されることを可能にする。

【0069】

機械学習アルゴリズムをトレーニングする工程２０２は図１３を参照してこの後説明される。

【0070】

図３は、真医用画像上の患者の関心生体組織内の異常を検出又は特徴付ける本発明による方法３００の主要工程を概略的に示す。

【0071】

方法３００は特に、真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムをトレーニングする工程３０１を含む。このトレーニング工程３０１は、図２を参照して上に説明した方法２００を使用することにより実施される。

【0072】

方法３００はその後、患者の関心生体組織の真医用画像を受信する工程３０２、トレーニングされた機械学習アルゴリズムにより前記真医用画像を分析する工程３０３、及び真医用画像上で可視である関心生体組織内の異常の検出又は特徴付けを可能にする情報を、トレーニングされた機械学習アルゴリズムからの出力として取得する工程３０４を連続的に含む。

【0073】

図４は大多数真医用画像１１から大多数セグメンテーションマスク２１を生成する工程１０１を概略的に示す。関心生体組織１４は大多数真医用画像１１上で可視である。「大多数」画像と呼ばれる真医用画像上で、関心生体組織内にいかなる異常も存在しない。大多数セグメンテーションマスク２１は関心生体組織のセグメンテーションを含む。

【0074】

図５は、少数真医用画像１２から少数セグメンテーションマスク２２を生成する工程１０２を概略的に示す。関心生体組織１４は少数真医用画像１２上で可視である。「少数」画像と呼ばれる真医用画像上では、異常１５が関心生体組織１４内に存在する。少数セグメンテーションマスク２２は関心生体組織のセグメンテーションと異常２５のセグメンテーションとを含む。

【0075】

医学的撮像では、セグメンテーションは、画像から１つ又は複数の特定解剖学的領域を抽出することに関与する必須工程である。セグメンテーションマスクは、各ボクセル（又は二次元画像のケースでは画素）が真医用画像上のボクセルの位置に示された要素に関係する特定情報を提供する画像である。従って、ボクセルは真医用画像上のボクセルの位置に示される要素に関連付けられた特定数値を担い得る。様々な特定数値が、例えば関心生体組織の健康部に関して、関心生体組織内の異常に関して、他の解剖学的構造（例えば骨、血管）に関して、画像の背景に関して、等々に関してそれぞれ定義される。

【0076】

セグメンテーションは手動で実施され得る。この場合、医者は、画像が表示される電子デバイス（コンピュータ、タブレットなど）のグラフィックインターフェース（マウス、スタイラス、タッチスクリーンなど）を使用することにより医用画像上の様々な解剖学的領域の輪郭を自ら画定する。セグメンテーションはまた、人工知能セグメンテーションアルゴリズムを使用することにより自動的に実施され得る。

【0077】

例えば、医用画像上で可視である骨は、１８００ＨＵの幅及び４００ＨＵの中心を有する強度窓によるボクセル強度閾値化方法を使用することによりセグメント化される（ＨＵは、「Houndsfield単位」の頭文字であり、電波密度を記述する量的スケール（すなわち電波に対する材料の不透明度を表わす測定単位）である）。

【0078】

図６は、大多数セグメンテーションマスク２１及び少数セグメンテーションマスク２２から人工セグメンテーションマスク２３を生成する工程１０４を概略的に示す。

【0079】

図６に示す例では、人工セグメンテーションマスク２３を生成する工程１０４は以下のことを含む：
－大多数セグメンテーションマスク２１を選択すること；
－少数セグメンテーションマスク２２を選択すること；
－その数値が異常を符号化する一組のボクセルを、選択された少数セグメンテーションマスク２２上で識別すること；
－異常を符号化する数値により識別されたボクセルの数値を、選択された大多数セグメンテーションマスク２１上で置換すること。

【0080】

大多数セグメンテーションマスク２１及び少数セグメンテーションマスク２２はランダムに選択され得る。従って、人工セグメンテーションマスクの組み合わせの数は、大多数セグメンテーションマスク２１の数と少数セグメンテーションマスク２２の数との積であり得る。

【0081】

様々な意味論的値を有する（すなわち様々なタイプの異常（腫瘍、包嚢、剥離領域、人工物など）を有する）複数の少数セグメンテーションマスク２１は大多数セグメンテーションマスク２２と組み合わされ得、従って潜在的組み合わせの数を増加し得る。人工セグメンテーションマスク２３の組み合わせにおいて使用される様々な少数マスク２１の割合の操作は、生成される合成画像の特性が制御されることを可能にする。同様に、様々な意味論的値（肝臓、肺、膵臓、胆嚢など）を有する複数の大多数マスク２２が少数セグメンテーションマスク２１と組み合わされ得る。様々な大多数マスク２２は、どの器官又は構造内に少数セグメンテーションマスク２１が現われ得るかを制御することを、人工セグメンテーションマスク２３の各画素の様々な大多数マスク２２と少数マスク２１との間のブール論理規則（例えば「ＡＮＤ」、「ＯＲ」、「ＮＯＴ」のような規則）により可能にする。この特徴は、例えばどの器官内に腫瘍の少数セグメンテーションマスク２１のランダム分布が現われ得るか（「ＡＮＤ」）と、どの構造又は器官内にこの少数セグメンテーションマスク２１が現われ得ないか（「ＮＯＴ」）とが制御されることを可能にする。

【0082】

最大関心の大多数セグメンテーションマスク２１と少数セグメンテーションマスク２２との組み合わせは、少数セグメンテーションマスク２２上の異常２５のセグメンテーションと大多数セグメンテーションマスク２１の関心のセグメンテーション（例えば胆嚢、血管、臍、又はさらには肝被膜などのセグメンテーション）との間で推定された距離に応じて選択され得る。

【0083】

図７に示すように、人工セグメンテーションマスク２３を生成する工程１０４は、選択された少数セグメンテーションマスク２２の異常２５のセグメンテーションの変換を含み得る。このような配置は多くの異なる人工セグメンテーションマスクが生成されることを可能にする。異常２５のセグメンテーションの変換は、例えば回転（人工セグメンテーションマスク２３－１に関して図示される）、移動（人工セグメンテーションマスク２３－２に関して図示される）、拡大（人工セグメンテーションマスク２３－３に関して図示される）、縮小（人工セグメンテーションマスク２３－４に関して図示される）、変形（人工セグメンテーションマスク２３－５に関して図示される）、又は異常２５のセグメンテーションが均一に移動、縮小、及び回転されこれらの様々な可能な変換の組み合わせ（人工セグメンテーションマスク２３－６に関して図示される）に対応する。

【0084】

図８は大多数セグメンテーションマスク２１及び少数セグメンテーションマスク２２からの人工セグメンテーションマスク２３の生成１０４を示す。関心生体組織２４－１のセグメンテーションは大多数セグメンテーションマスク２１上に見られ得る。関心生体組織２４－２のセグメンテーション及び異常２５－２のセグメンテーションの両方は少数セグメンテーションマスク２２上に見られ得る。少数セグメンテーションマスク２２の異常２５－２のセグメンテーションと組み合わされた大多数セグメンテーションマスク２１の関心生体組織２４－１のセグメンテーション（考察例では、異常２５－２のセグメンテーションもまた移動された）が、生成された人工セグメンテーションマスク２３上に見られ得る。

【0085】

いくつかの特定実施形態では、人工セグメンテーションマスク２３を生成すること１０４はさらに、関心生体組織２４－１のセグメンテーションに対する異常２５－２のセグメンテーションが特定判断基準を満たすということを照査する工程を含み得る。

【0086】

この追加照査工程は、いくつかの特定制約が満たされるということを保証する。これは特に、いくつかの非現実的組み合わせがフィルタで除去されることを可能にし得る。これらの制約は、例えば関心器官内の又は他の器官若しくは他の解剖学的構造に対する異常の位置に関係する。従って、一例として、判断基準は、関心生体組織のセグメンテーションの端と異常のセグメンテーションの端との間の距離が少なくとも閾値に等しくなければならないという事実に対応し得る。しかし、これは標的アプリケーションに依存する：すなわち、器官内の腫瘍の画像を合成しようとすれば、異常が器官内に位置するということを保証するための手立てが行われることになる；しかし、様々な器官内の腫瘍を有する画像を合成しようとすれば、腫瘍のセグメンテーションと様々な器官のセグメンテーションとの重ね合せが認可されることになる。

【0087】

人工セグメンテーションマスク２３のこの生成１０４は、例えばコンピュータなどの電子デバイスにより実行され得る。本デバイスは例えば、１つ又は複数のプロセッサと１つ又は複数のプロセッサにより読み出され得る少なくとも１つのストレージ媒体とを含む。ストレージ媒体は大多数セグメンテーションマスク２１及び少数セグメンテーションマスク２２を格納するように意図されている。ストレージ媒体はさらに、図６～８を参照して上に説明されたように、プログラムが１つ又は複数のプロセッサにより実行されると、大多数セグメンテーションマスク２１からそしてストレージ媒体上に格納された少数セグメンテーションマスク２２から一組の人工セグメンテーションマスク２３を生成するために１つ又は複数のプロセッサを構成する一組のプログラムコード指令を含む。

【0088】

図９はセグメンテーションマスク２２から合成医用画像１３を生成するようにニューラルネットワーク３１をトレーニングする工程１０３を概略的に示す。

【0089】

本考察例では、合成医用画像１３を生成するために使用されるニューラルネットワーク３１は生成器ニューラルネットワーク３１であり、そして生成器ニューラルネットワーク３１のトレーニングは弁別器ニューラルネットワーク３２を使用することにより実施される。生成器ニューラルネットワーク３１及び弁別器ニューラルネットワーク３２は一対の敵対的生成ネットワーク（ＧＡＮ）を形成する。ＧＡＮタイプのニューラルネットワークは非常に現実的な画像が実際に生成されることを可能にする。ＧＡＮでは、生成器ニューラルネットワーク及び弁別器ニューラルネットワークはゼロサムゲームシナリオにおいて競争するように設定される。生成器は画像を生成し、そしてそれらの相手（弁別器）は、生成された画像が真かどうか（すなわち生成器により生成された合成画像かどうか）を検出することを試みる。

【0090】

第１に、生成器３１はセグメンテーションマスクから合成画像１３を生成するようにトレーニングされる。生成器３１の入力におけるセグメンテーションマスクは同等に少数セグメンテーションマスク２２（図９に示す例におけるような）又は大多数セグメンテーションマスク２１であり得る。

【0091】

第２に、生成器により生成された合成画像１３は、画像１３及びセグメンテーションマスク２２により形成された対が真かどうかを画像１３及び関連セグメンテーションマスク２２を入力として採用することにより認識するように以前にトレーニングされた弁別器３２により分析される。従って、弁別器３２の出力では、「真」又は「偽」の判断が、それによって画像１３により形成された対により行われ、そしてセグメンテーションマスク２２は真又は偽であると見做される。逆伝播ループ３３を使用することにより、弁別器３２により行われた判断の真実性に応じて、生成器３１のパラメータはセグメンテーションマスク２２に関係する生成された合成画像１３が弁別器３２により真であると見做されるまで修正される。

【0092】

生成器３１は画像－画像変換ニューラルネットワークである。生成器３１は例えば文書“Image-to-Image translation with conditional adversarial networks”by Isola, P et alに記載されるような畳み込み型「ｐｉｘ２ｐｉｘ」ニューラルネットワークである。本考察例では、ニューラルネットワークは、サイズ６４、１２８、２５６、５１２、５１２、５１２、５１２の４×４畳み込みフィルタを有する「Batch Normalisation Leaky ReLU」畳み込み層で作られる符号器型の第１の部分と；サイズ５１２、５１２、５１２の４×４畳み込みフィルタを有する「Batch Normalisation Dropout ReLU」畳み込み層及び次にサイズ２５６、１２８、６４の４×４畳み込みフィルタを有する「Batch Normalisation ReLU」畳み込み層で作られる復号器型の第２の部分とを含む。符号器部の画像サイズ縮小は２の画素「ストライド」により生成され、そして復号器部内の画像のサイズの増加は２×２のサイズを有する２Ｄ拡大層（「Ｕｐｓａｍｐｌｉｎｇ２Ｄ」、「Nearest Neighbours」方法）により生成される。その出力は双曲線正接型活性化層（Ｔａｎｈ）により生成される。

【0093】

弁別器３２はニューラルネットワークである。例えば、弁別器３２は、単一画像へ連結される入力として２つの画像を受理するように修正された、文書“Image-to-Image translation with conditional adversarial networks”by Isola, P et alに記載のような「ＰａｔｃｈＧＡＮ」型畳み込みニューラルネットワークである。ニューラルネットワークの残りは、サイズ６４の４×４畳み込みフィルタを有する「Leaky ReLU」畳み込み層と、次にサイズ１２８、２５６、５１２、５１２の４×４畳み込みフィルタを有する４つの「Batch Normalisation Leaky ReLU」畳み込み層とから構成される。その出力はＳ字状（sigmoid）活性化層を使用することにより生成される。

【0094】

画像－画像変換生成器ニューラルネットワーク３１（「ｐｉｘ２ｐｉｘ」）は、生成器３１（合成医用画像１３）の出力予測が弁別器３２の第２の入力を形成するようなやり方でＰａｔｃｈＧＡＮ型弁別器３２と組み合わされる。弁別器の第１の入力は、生成器３１の入力として提供されるセグメンテーションマスク２２に対応する。その出力は７０×７０確率行列である。弁別器３２のニューロンの重み付けは生成器３１をトレーニングする際に修正され得ない。生成器３１の重み付けはトレーニング中に更新され得る。費用計算機能は１：１００の比率で交差エントロピーとノルム１とで構成される。

【0095】

弁別器３２及び生成器３１は延いては、大多数対（各大多数対は大多数医用画像及び関連大多数セグメンテーションマスクを含む）及び少数対（各少数対は少数医用画像及び関連少数セグメンテーションマスクを含む）を含むトレーニングセット上で交互にトレーニングされる。弁別器３２の出力は、その入力が「真」対（すなわちセグメンテーションマスク及びその関連真医用画像を含む対）である場合の１値の、及びその入力が「偽」対（すなわちセグメンテーションマスクとセグメンテーションマスクから生成器３１により生成される合成医用画像とを含む対）である場合０値の７０×７０行列に対して、Ａｄａｍ型確率的勾配アルゴリズム（Adaptive Moment Estimation, beta_1:0.9, beta_02:0.999, epsilon: 1e-08）を使用することにより最適化される。生成器３１の出力は、弁別器３２が入力対は既に遭遇された「真」対に十分に近くないということを検出すると生成器３１のニューロンの重み付け（しかし弁別器３２の重み付けではない）が更新されるように、１値の７０×７０行列に対しＡｄａｍ型確率的勾配アルゴリズムを使用することにより最適化される。弁別器３２の重み付けを交互に更新することは、弁別器３２が生成器３１に先立つことを可能にし、そして自身を更新することを強いる。

【0096】

独立ニューラルネットワークは敵対ネットワーク３１、３２のトレーニングを制御するために使用され得る。例えば、事前トレーニングされた「ＩｎｃｅｐｔｉｏｎＶ３」モデルは、生成器３１により生成された合成画像１３と真画像１２とを比較するために、最後の分類層を除去した後に使用され得る（「ＩｎｃｅｐｔｉｏｎＶ３」は画像解析を支援するための畳み込みニューラルネットワークである）。２つの画像によるモデルからの出力として生成された活性化値がＦＩＤ（「Frechet Inception Distance」の頭文字）スコアを計算するために使用される。このスコアが低いほど、画像はより似ている。生成器３１の重み付けは、新しいＦＩＤスコアが以前に記録されたスコアより低いと直ちに保存される。トレーニングは、ＦＩＤスコアがトレーニング中に取得された最小と比較して余りに大きくなると停止される。

【0097】

図１０は、大多数ケース（異常を有しない）及び少数ケース（異常を有する）の真医用画像１１、１２、その関連セグメンテーションマスク２１、２２、及びセグメンテーションマスク２１、２２からニューラルネットワーク３１により生成された合成医用画像１３のイラストである。

【0098】

ニューラルネットワーク３１のトレーニングが完了すると、そして図１１に示すように、トレーニングされたニューラルネットワーク３１’は、人工セグメンテーションマスク２３から合成医用画像１３を生成するために使用され得る。

【0099】

人工セグメンテーションマスク２３を生成する工程１０４を実施するデバイスはまた、合成医用画像１３を生成する工程１０５を実施し得る。この場合、本デバイスのストレージ媒体は以前にトレーニングされた生成器ニューラルネットワーク３１’を格納し、そして、プログラムが実行されると、本デバイスの１つ又は複数のプロセッサは、人工セグメンテーションマスク２３からニューラルネットワーク３１’により合成医用画像１３を生成するように構成される。

【0100】

図１２は、大多数真医用画像１１；その関連大多数セグメンテーションマスク２１；大多数セグメンテーションマスクから生成された人工セグメンテーションマスク２３；及び人工セグメンテーションマスク２３からニューラルネットワーク３１’により生成された合成医用画像１３の３つの異なる大多数真医用画像１１を一例として示す。

【0101】

工程１０４において生成された多種多様な人工セグメンテーションマスク２３により、異常を呈示する多種多様な合成医用画像１３が生成され得る。合成医用画像１３のこの多様性は、真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする機械学習アルゴリズムに特に効果的である一組のトレーニング画像が生成されることを可能にする。一組のトレーニング画像は真医用画像及び合成医用画像の両方を含み得る。好適には、一組のトレーニング画像は異常を有しない画像の数にほぼ等しい数の、異常を有する画像を含む。従って、これは特定クラスの異常に関する過剰学習の現象を回避する。

【0102】

図１３は、合成医用画像１３から機械学習アルゴリズム４０をトレーニングする工程２０２を概略的に示す。機械学習アルゴリズム４０は、真医用画像上の患者の関心生体組織内の異常を検出する又は特徴付けることを目的とする。本考察例では、機械学習アルゴリズム４０は深層ニューラルネットワークである。

【0103】

図１３に示すように、トレーニング局面中、機械学習アルゴリズム４０は入力として医用画像を採用する（これは、図１３に示す例では合成医用画像１３である）。機械学習アルゴリズム４０から出力として取得されなければならない情報は先験的に知られている（「予測情報」）。取得された情報と予測情報とが比較され、そして比較の結果に依存して、ニューラルネットワークのパラメータは逆伝播ループ４１により更新される。トレーニングは、機械学習アルゴリズム４０が満足な成功率を予測情報に提供することができるまで続く。

【0104】

図１４は、このようにトレーニングされた機械学習アルゴリズム４０’による真医用画像１２上に示された関心生体組織１４内の異常１５の検出又は特徴付けを概略的に示す。機械学習アルゴリズム４０’からの出力として供給される情報は例えば異常が検出されたという指示に、異常の分類（例えば腫瘍の性質）に、及び／又は医用画像１２上の異常のセグメンテーションに対応する。

【0105】

１つの代替動作モードでは、ニューラルネットワーク３１は機械学習アルゴリズム４０がトレーニングされるのと同時にトレーニングされる。この動作モードでは、ニューラルネットワーク３１はトレーニングされることを決して止めずそして合成画像は、ニューラルネットワーク３１により生成され、そして中間的ストレージ工程なしに一定間隔で機械学習アルゴリズム４０により使用される。合成画像の各バッチが、様々なトレーニング工程においてニューラルネットワーク３１により生成され、従って所与の人工セグメンテーションマスク２３は異なる合成画像を生成することになる。このように動作することで、機械学習アルゴリズム４０のニューラルネットワーク３１により生成される画像内の無限の変動性を許容する。この特徴は、機械学習アルゴリズム４０がトレーニング中に同じ合成画像を決して２度使用しないのでトレーニングデータに対する機械学習アルゴリズム４０による過剰フィッティングを制限するので重要である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】