特表 2024-532927 医用画像解析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】医用画像解析システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

   G06T 1/00 20060101ALI20240903BHJP

   A61B 6/03 20060101ALI20240903BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 350B

G06T1/00 290A

G06T1/00 290B

A61B6/03 560B

A61B6/03 560T

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024515082

(86)(22)【出願日】2022-08-25

(85)【翻訳文提出日】2024-03-07

(86)【国際出願番号】 EP2022073699

(87)【国際公開番号】W WO2023041304

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】21197744.2

(32)【優先日】2021-09-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】クローンケ ヒル スヴェン

(72)【発明者】

【氏名】マーク ハンス インゴ

(72)【発明者】

【氏名】フォン ベルグ イェンス

【テーマコード（参考）】

4C093

5B057

5L096

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093CA39

4C093FD05

4C093FF09

4C093FF13

5B057AA08

5B057AA09

5B057DC40

5L096BA06

5L096BA13

5L096EA03

5L096FA23

5L096HA11

5L096KA04

5L096MA03

(57)【要約】

本発明は、入力ユニット２０と、処理ユニット３０とを有する、医用画像解析アルゴリズムをトレーニングする装置１０に関する。入力ユニットは、患者の身体部分の医用画像を受信するように構成される。入力ユニットは、医用画像を処理ユニットに提供するように構成される。処理ユニットは、修正された医用画像を生成するように構成される。修正された医用画像の生成は、医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む。処理ユニットは、修正された医用画像を利用して、医用画像解析機械学習アルゴリズムをトレーニングするように構成される。

【特許請求の範囲】

【請求項1】

医用画像解析アルゴリズムをトレーニングする装置であって、
入力ユニットと、処理ユニットと、を有し、
前記入力ユニットは、患者の身体部分の医用画像を受信するよう構成され、
前記入力ユニットは、前記医用画像を処理ユニットに提供するよう構成され、
前記処理ユニットは、修正された医用画像を生成するように構成され、前記処理ユニットは、前記修正された医用画像を利用して医用画像解析機械学習アルゴリズムをトレーニングするよう構成され、前記修正された医用画像の前記生成は、前記医用画像に関連付けられた２以上の空間周波数帯域を修正すること含む、装置。

【請求項2】

前記処理ユニットは、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するように構成され、前記生成は、前記医用画像の利用を含み、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各々における前記空間周波数の表現は異なり、
前記処理ユニットは、前記スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成するように構成され、前記生成は、前記複数のスケーリングされた画像のうちの２以上のスケーリングされた画像を修正することを含み、
前記処理ユニットは、前記修正されたスケーリングされた画像セットを利用して前記修正された医用画像を生成するように構成される、請求項１に記載の装置。

【請求項3】

前記複数のスケーリングされた画像のうち前記２以上の画像の前記修正は、前記２以上のスケーリングされた画像の各画像に含まれる空間周波数の表現を修正することを含む、請求項２に記載の装置。

【請求項4】

前記複数のスケーリングされた画像のうちの前記２以上の画像の前記修正は、ランダムな修正係数を用いて、前記２以上のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む、請求項３に記載の装置。

【請求項5】

前記修正されたスケーリングされた画像セットの前記生成が、前記複数のスケーリングされた画像を修正することを含む、請求項２乃至４のいずれか１項に記載の装置。

【請求項6】

前記複数のスケーリングされた画像の前記修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する修正係数を用いて、前記複数のスケーリングされた画像の各々に含まれる前記空間周波数の前記表現を修正することを含む、請求項５に記載の装置。

【請求項7】

前記複数のスケーリングされた画像の前記修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する修正係数を用いて、前記複数のスケーリングされた画像の各々に含まれる前記空間周波数の前記表現を修正することを含む、請求項５に記載の装置。

【請求項8】

医用画像生成装置であって、
入力ユニットと、処理ユニットと、を有し、
前記入力ユニットは、患者の身体部分の医用画像を受信するよう構成され、
前記入力ユニットは、前記医用画像を処理ユニットに提供するように構成され、
前記処理ユニットは、修正された医用画像を生成するように構成され、前記生成は、前記医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む、医用画像生成装置。

【請求項9】

医用画像解析システムであって、
入力ユニットと、処理ユニットと、を有し、
前記入力ユニットは、患者の身体部分の検査医用画像を受信するよう構成され、
前記入力ユニットは、前記検査医用画像を前記処理ユニットに提供するよう構成され、
前記処理ユニットは、前記患者の前記身体部分を解析するよう構成され、前記解析は、トレーニングされた機械学習アルゴリズムにより前記検査医用画像をインタロゲートすることを含み、
前記機械学習アルゴリズムは、請求項８に記載の装置によって生成された少なくとも１つの修正された医用画像を利用してトレーニングされたものである、医用画像解析システム。

【請求項10】

医用画像解析アルゴリズムをトレーニングする方法であって、
入力ユニットによって、患者の身体部分の医用画像を受信するステップと、
前記入力ユニットによって、処理ユニットに前記医用画像を提供するステップと、
前記処理ユニットによって、修正された医用画像を生成するステップと、
前記処理ユニットによって、前記修正された医用画像を利用して、医用画像解析機械学習アルゴリズムをトレーニングするステップと、を有し、
前記生成するステップが、前記医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む、方法。

【請求項11】

前記処理ユニットによって、前記医用画像を利用して、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するステップであって、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各々における前記空間周波数の表現は異なる、ステップと、
前記処理ユニットによって、前記スケーリングされた画像セットから、修正されたスケーリングされた画像セットを生成するステップであって、前記生成は、前記複数のスケーリングされた画像のうちの２以上のスケーリングされた画像を修正することを含む、ステップと、
前記処理ユニットによって、前記修正されたスケーリングされた画像セットを利用して、前記修正された医用画像を生成するステップと、
を有する、請求項１０に記載の方法。

【請求項12】

医用画像生成方法であって、
入力ユニットによって、患者の身体部分の医用画像を受信するステップと、
処理ユニットによって、修正された医用画像を生成するステップと、
を有し、前記修正された医用画像の前記生成は、前記医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む、方法。

【請求項13】

前記方法が更に、
前記処理ユニットによって、前記医用画像を利用して、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するステップであって、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各々における前記空間周波数の表現が異なる、ステップと、
前記処理ユニットによって、前記スケーリングされた画像セットから、修正されたスケーリングされた画像セットを生成するステップであって、前記生成は、前記複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含む、ステップと、
前記処理ユニットによって、前記修正されたスケーリングされた画像セットを利用して、前記修正された医用画像を生成するステップと、
を有する、請求項１２に記載の方法。

【請求項14】

医用画像解析方法であって、
入力ユニットによって、患者の身体部位の検査医用画像を受信するステップと、
前記入力ユニットによって、処理ユニットに前記検査医用画像を提供するステップと、
前記処理ユニットによって、前記患者の前記身体部分を解析するステップであって、前記解析は、トレーニングされた機械学習アルゴリズムにより、前記検査医用画像をインタロゲートすることを含む、ステップと、
を有し、前記トレーニングされた機械学習アルゴリズムは、請求項１３に記載の方法によって生成された少なくとも１つの修正された医用画像を利用してトレーニングされたものである、方法。

【請求項15】

請求項１乃至７のいずれか１項に記載の装置、請求項８に記載の生成装置、又は請求項９に記載のシステムを制御するためのコンピュータプログラムであって、プロセッサによって実行される場合、請求項１０又は１１に記載の方法、請求項１２又は１３に記載の方法、又は請求項１４に記載の方法を実行するように構成される、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用画像解析アルゴリズムのトレーニング装置、医用画像生成装置、医用画像解析システム、医用画像解析アルゴリズムのトレーニング方法、医用画像生成方法、医用画像解析方法、コンピュータプログラム及びコンピュータ可読媒体に関する。

【背景技術】

【0002】

Philipsen, R. H., Maduskar, P., Hogeweg, L., Melendez, J., Sanchez, C. I., & van Ginneken, B. (2015). Localized energy-based normalization of medical images: application to chest radiography. IEEE transactions on medical imaging, 34(9), 1965-1975は、エネルギーバンド分解を用いて画像をノーマライズする一般的な方法を開示している。

【0003】

中国特許出願公開第１１１４２８７５３号は、ニューラルネットワークモデルをトレーニングするための画像を得るために、ガウスピラミッド処理及びラプラスピラミッド処理を実行する方法を開示している。

【0004】

Xu, Z., Liu, D., Yang, J., Raffel, C., & Niethammer, M. (2020). Robust and generalizable visual representation learning via random convolutions. arXiv preprint arXiv:2007.13003は、ランダム畳み込みを使用するデータ増強の方法を開示している。

【発明の概要】

【発明が解決しようとする課題】

【0005】

Ｘ線画像及びコンピュータトモグラフィ（ＣＴ）画像などの医用画像の分類、セグメンテーション、又は回帰のためのニューラルネットワークの教師ありトレーニングは、オーバーフィッティングを防ぐために膨大な量のトレーニングデータを必要とする。これは、特定の検査タイプの画像に解剖学的及び病理学的なばらつきがあるためだけでなく、普及している画像スタイルが多数あるためでもある。画像スタイルは、使用されるイメージングシステム、パラメータ選択（例えば、電圧及び電力）、ならびにユーザ依存又は製造業者依存の前処理及び後処理のプリファレンス設定によって影響を受ける。特に、ニューラルネットワークが、さまざまな製造業者に由来する医用画像に適用される場合、スタイル不変性は、良好な一般化可能性のための前提条件になる。スタイル不変性は最新のニューラルネットワークアーキテクチャには組み込まれていないため、トレーニング中に学習される必要がある。しかし、必要とされる適切なトレーニング用医用画像を収集するのは時間がかかり、不可能でさえある。この問題を解決する必要がある。

【0006】

改良された医用画像解析モダリティがあれば有利である。

【課題を解決するための手段】

【0007】

本発明は、独立請求項によって定義され、他の実施形態は、従属請求項によって定義される。本発明の以下の記載された態様及び実施形態は、医用画像解析アルゴリズムをトレーニングする装置、医用画像生成装置、医用画像解析システム、医用画像解析アルゴリズムをトレーニングする方法、医用画像生成方法、医用画像解析方法、コンピュータプログラム及びコンピュータ可読媒体に適用されることに留意すべきである。

【0008】

第１の態様では、医用画像解析アルゴリズムをトレーニングする装置であって、入力ユニットと、処理ユニットとを有する装置が提供される。

【0009】

入力ユニットは、患者の身体部分の医用画像を受信するように構成される。入力ユニットは、前記医用画像を処理ユニットに提供するように構成される。処理ユニットは、修正された医用画像を生成するように構成される。かかる生成は、前記医用画像に関連付けられた２又は２より多くの空間周波数帯域を修正することを含む。処理ユニットは、修正された医用画像を利用して、医用画像解析機械学習アルゴリズムをトレーニングするように構成される。

【0010】

このようにして、医用画像解析アルゴリズムは、少ない実画像データセットに対してトレーニングされることができ、この場合、マルチスケールデータ増強（multi-scale data augmentation）を使用して、実入力画像に対して現実的な任意の数の合成画像であり得るものが生成される。必要な実画像の数が少ないだけでなく、合成画像は、それぞれ異なる画像取得設定で取得されただろう画像を再現し、更には異なる画像取得ユニットで取得されたであろう画像を再現する。そのため、それぞれ異なる画像取得設定を考慮することにより、これらすべての画像に対してトレーニングされた解析アルゴリズムが、よりロバストで正確なものとなる。

【0011】

一例では、処理ユニットは、医用画像を利用して、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するよう構成され、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、複数のスケーリングされた画像の各々における空間周波数の表現は異なる。処理ユニットはまた、スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成するように構成され、かかる生成は、複数のスケーリングされた画像のうち２又は２より多くのスケーリングされた画像を修正することを含む。処理ユニットは、修正されたスケーリングされた画像セットを利用して、修正された医用画像を生成するよう構成される。

【0012】

こうして、患者の身体部分の医用画像は、該医用画像に類似するが互いに異なる複数の合成医用画像を生成するために使用され、それら複数の合成医用画像は、医用画像解析機械学習アルゴリズムをトレーニングするために使用されることができる。

【0013】

一例では、複数のスケーリングされた画像のうち２又は２より多くのスケーリングされた画像を修正することは、２又は２より多くのスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0014】

一例では、複数のスケーリングされた画像のうち２又は２より多くのスケーリングされた画像を修正することは、ランダムな修正係数を用いて、２又は２より多くのスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0015】

一例では、修正されたスケーリングされた画像セットを生成することは、複数のスケーリングされた画像を修正することを含む。

【0016】

一例では、複数のスケーリングされた画像を修正することは、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する修正係数を用いて、複数のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0017】

一例では、複数のスケーリングされた画像の修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する修正係数を用いて、複数のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0018】

第２の態様では、入力ユニット及び処理ユニットを有する医用画像生成装置が提供される。

【0019】

入力ユニットは、患者の身体部分の医用画像を受信するように構成される。入力ユニットは、医用画像を処理ユニットに提供するように構成される。処理ユニットは、修正された医用画像を生成するように構成される。この生成は、画像に関連付けられた２以上の空間周波数帯域を修正することを含む。

【0020】

こうして、限られた数の実画像を利用して、画像解析アルゴリズムのトレーニングに使用可能な現実的な合成画像を生成することができる。

【0021】

第３の態様では、入力ユニット及び処理ユニットを有する医用画像解析システムが提供される。

【0022】

入力ユニットは、患者の身体部分の検査医用画像を受信するように構成される。入力ユニットは、検査医用画像を処理ユニットに提供するように構成される。処理ユニットは、患者の身体部分を解析するように構成される。この解析は、トレーニングされた機械学習アルゴリズムによる検査医用画像のインタロゲーションを含む。機械学習アルゴリズムは、トレーニングされ、前記トレーニングは、第２の態様による生成装置によって生成された少なくとも１つの修正された医用画像を利用することを含む。

【0023】

このようにして、画像を解析する機械学習アルゴリズムが、同じタイプの異なる取得ユニット（従って、異なるＸ線ユニット又は異なるＣＴユニット）によって異なる画像取得設定及び取得を再現することができる画像の包括的なデータセットに対してトレーニングされるので、医用画像の解析が改善される。

【0024】

こうして、例えばオペレータの設定に依存してそれぞれ異なる画像スタイルを事実上模倣し、それぞれ異なるベンダからのユニットによる取得を模倣し、それぞれ異なる後処理コンフィギュレーションを模倣する画像が生成される。次いで、この豊富で多様な画像データセットに対してトレーニングされる機械学習アルゴリズムは、異なるオペレータによってそれぞれ異なって設定される取得ユニット、又は異なるベンダからの取得ユニット、によって取得された画像を解析することにおいて、よりロバストである。

【0025】

第４の態様では、医用画像解析アルゴリズムをトレーニングする方法であって、入力ユニットによって患者の身体部分の医用画像を受信するステップと、入力ユニットによって前記医用画像を処理ユニットに提供するステップと、前記処理ユニットによって、修正された医用画像を生成するステップであって、前記生成は、前記医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む、ステップと、前記処理ユニットによって、医用画像解析機械学習アルゴリズムをトレーニングするステップであって、前記修正された医用画像を利用することを含む、ステップと、を有する方法が提供される。

【0026】

一例では、前記方法は、前記処理ユニットによって、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するステップであって、前記生成は、前記医用画像を利用することを含み、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各画像における空間周波数の表現が異なる、ステップと、前記処理ユニットによって、前記スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成するステップであって、前記生成は、前記複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含む、ステップと、前記処理ユニットによって、前記修正されたスケーリングされた画像セットを利用して、前記修正された医用画像を生成するステップと、を有する。

【0027】

第５の態様において、医用画像生成方法であって、入力ユニットによって、患者の身体部位の医用画像を受信するステップと、前記処理ユニットによって修正された医用画像を生成するステップであって、前記生成は、前記医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む、ステップと、を有する方法が提供される。

【0028】

一例において、前記方法は、前記処理ユニットによって、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するステップであって、前記生成は、前記医用画像を利用することを含み、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各画像における前記空間周波数の表現が異なる、ステップと、前記処理ユニットによって、前記スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成するステップであって、前記生成は、前記複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含む、ステップと、前記処理ユニットによって、前記修正されたスケーリングされた画像セットを利用して前記修正された医用画像を生成するステップと、を有する。

【0029】

第６の態様において、医用画像解析方法であって、入力ユニットによって、患者の身体部分の検査医用画像を受信するステップと、入力ユニットによって、検査医用画像を処理ユニットに提供するステップと、処理ユニットによって、患者の身体部分を解析するステップであって、前記解析は、トレーニングされた機械学習アルゴリズムにより、検査医用画像をインタロゲートすることを含む、ステップとを有し、機械学習アルゴリズムが、第５の態様による方法によって生成された少なくとも１つの修正された医用画像を利用してトレーニングされたものである、方法が提供される。

【0030】

別の態様によれば、前述の装置、生成装置、システムのうち１つ又は複数を制御するコンピュータプログラム素子が提供され、コンピュータプログラム素子は、コンピュータプログラム素子がプロセッサによって実行される場合、関連する前述の方法を実行するように適応される。

【0031】

別の態様によれば、前述のコンピュータプログラム素子を記憶したコンピュータ可読媒体が提供される。

【0032】

コンピュータプログラム素子は例えばソフトウェアプログラムであってもよいが、ＦＰＧＡＰＬＤ又は任意の他の適切なデジタル手段であってもよい。

【0033】

有利なことに、上記の態様のいずれかによって提供される利点は、他の態様のすべてに等しく適用され、その逆も同様である。

【0034】

上記の態様及び実施例は以下に記載される実施形態から明らかになり、そしてそれを参照して説明される。

【図面の簡単な説明】

【0035】

【図1】医用画像解析アルゴリズムをトレーニングする装置の一例を示す概略図。

【図2】医用画像生成装置の一例を示す概略図。

【図3】医用画像解析システムの一例を示す概略図。

【図4】医用画像解析アルゴリズムをトレーニングする方法の一例を示す図。

【図5】医用画像生成方法の一例を示す図。

【図6】医用画像解析方法の一例を示す図。

【図7】入力画像（左側のサブプロット）と、元の画像の大きさにスケーリングされたラプラスピラミッドバンドのシーケンス（他のサブプロット）を示す図。

【図8】入力画像（左側のサブプロット）と、ピラミッド再構成におけるラプラスバンドのランダムに単調増加するプレ係数によって得られた８つの拡張バージョン（他のサブプロット）を示す図。

【図9】は、入力画像（左側のサブプロット）と、ピラミッド再構成におけるラプラスバンドのランダムな単調減少するプレ係数によって得られた８つの拡張バージョン（他のサブプロット）を示す図。

【図10】入力画像（左側のサブプロット）と、ピラミッド再構成におけるラプラスバンドのランダムなプレ係数によって得られた８つの拡張バージョン（他のサブプロット）を示す図。

【発明を実施するための形態】

【0036】

以下、添付の図面を参照して、例示的な実施形態について説明する。

【0037】

図１は、医用画像解析アルゴリズムをトレーニングするための装置１０の一例を示す。装置は、入力ユニット２０と、処理ユニット３０とを有する。入力ユニットは、患者の身体部分の医用画像を受信するように構成される。入力ユニットは、前記医用画像を処理ユニットに提供するように構成される。処理ユニットは、修正された医用画像を生成するように構成され、かかる生成は、医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む。処理ユニットは、医用画像解析機械学習アルゴリズムをトレーニングするように構成され、かかるトレーニングは、修正された医用画像の利用を含む。

【0038】

一例では、医用画像はＸ線画像である。

【0039】

一例では、医用画像はＣＴ画像である。

【0040】

一例では、機械学習アルゴリズムはニューラルネットワークである。

【0041】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像が異なるように修正される。

【0042】

一例では、処理ユニットは、医用画像解析機械学習アルゴリズムをトレーニングするように構成され、かかるトレーニングは、医用画像の利用を含む。

【0043】

一例によれば、処理ユニットは、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するように構成される。スケーリングされた画像セットの生成は、医用画像の利用を含む。各スケーリングされた画像は、医用画像における空間周波数の表現を妥協し、複数のスケーリングされた画像の各画像における空間周波数の表現は異なる。処理ユニットは、スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成するように構成される。修正されたスケーリングされた画像セットの生成は、複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含む。処理ユニットは、修正された医用画像を生成するように構成され、修正された医用画像の生成は、修正されたスケーリングされた画像セットの利用を含む。

【0044】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、異なるように修正される。

【0045】

一例では、各スケーリングされた画像は、周波数の帯域に対応する。

【0046】

一例では、スケーリングされた画像セットは、いくつかの要素を有するラプラシアンピラミッドであり、各要素は、スケーリングされた画像であり、周波数の帯域に対応する。

【0047】

一例によれば、複数のスケーリングされた画像のうちの２以上の画像の修正は、２以上のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0048】

一例によれば、複数のスケーリングされた画像のうちの２以上の画像の修正は、ランダムな修正係数を用いて、２以上のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0049】

一例では、スケーリングされた画像内に含まれる空間周波数の修正は、スケーリングされた画像の周波数帯域に関連する強度分布を修正することを含む。

【0050】

一例では、前記修正は、修正画像内のラプラシアンピラミッドの要素の周波数帯域に関連する強度分布を修正することを含む。

【0051】

一例では、スケーリングされた画像内に含まれる空間周波数の表現の修正は、スケーリングされた画像の強度分布を修正することを含む。

【0052】

一例では、修正は、ラプラシアンピラミッド自体の要素の強度分布を修正することを含む（例えば、いくつかのランダムに選択された基準に対するヒストグラムマッチングによる）。

【0053】

一例では、ランダムな修正係数は、それぞれ異なるスケーリングされた画像に適用される可変の重み係数を含む。

【0054】

一例では、ラプラシアンピラミッドの要素の重みがランダム修正係数として使用される。

【0055】

一例によれば、修正されたスケーリングされた画像セットの生成は、複数のスケーリングされた画像を修正することを含む。

【0056】

一例によれば、複数のスケーリングされた画像の修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する修正係数を用いて、複数のスケーリングされた画像の各スケーリングされた画像内に含まれる空間周波数の表現を修正することを含む。

【0057】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する期待平均値でランダムに生成される

【0058】

一例によれば、複数のスケーリングされた画像の修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する修正係数を用いて、複数のスケーリングされた画像の各スケーリングされた画像内に含まれる空間周波数の表現を修正することを含む。

【0059】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する期待平均値を用いてランダムに生成される。

【0060】

一例では、スケーリングされた画像セットは、ラプラシアンピラミッドを含む。

【0061】

一例では、修正されたスケーリングされた画像セットは、第１の修正されたスケーリングされた画像セットである。処理ユニットは、スケーリングされた画像セットから第２の修正されたスケーリングされた画像セットを生成するように構成される。第２の修正されたスケーリングされた画像セットの生成は、複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含む。修正は、第１の修正されたスケーリングされた画像セットの生成のための修正とは異なる。修正された医用画像は、第１の修正された医用画像である。処理ユニットは、第２の修正された医用画像を生成するように構成され、第２の修正された医用画像の前記生成は、第２の修正されたスケーリングされた画像セットの利用を含む。処理ユニットは、医用画像解析機械学習アルゴリズムをトレーニングするように構成され、前記トレーニングは、第２の修正された医用画像の利用を含む。

【0062】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、第２の修正されたスケーリングされた画像セットを生成するために、異なるように修正される。

【0063】

図２は、医用画像生成装置１００の一例を示す。生成装置１００は、入力ユニット１２０と、処理ユニット１３０とを備える。入力ユニットは、患者の身体部分の医用画像を受信するように構成される。入力ユニットは、医用画像を処理ユニットに提供するように構成される。処理ユニットは、修正された医用画像を生成するように構成される。生成は、医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む。

【0064】

一例では、処理ユニットは、複数のスケーリングされた画像を有するスケーリングされた画像セットを生成するように構成される。スケーリングされた画像セットの生成は、医用画像の利用を含む。各スケーリングされた画像は、医用画像における空間周波数の表現を妥協し、複数のスケーリングされた画像の各々における空間周波数の表現は異なる。処理ユニットは、スケーリングされた画像セットから、修正されたスケーリングされた画像セットを生成するように構成される。修正されたスケーリングされた画像セットの生成は、複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含む。処理ユニットは、修正されたスケーリングされた画像セットを利用して、修正された医用画像を生成するように構成される。

【0065】

一例では、医用画像はＸ線画像である。

【0066】

一例では、医用画像はＣＴ画像である。

【0067】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、異なるように修正される。

【0068】

一例では、スケーリングされた各々は、周波数の帯域に対応する。

【0069】

一例では、スケーリングされた画像セットは、いくつかの要素を有するラプラシアンピラミッドであり、各要素は、スケーリングされた画像であり、周波数の帯域に対応する。

【0070】

一例では、複数のスケーリングされた画像のうちの２以上の修正は、２以上のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0071】

一例では、複数のスケーリングされた画像のうちの２以上の修正は、ランダムな修正係数を用いて、２以上のスケーリングされた画像の各々内に含まれる空間周波数の表現を修正することを含む。

【0072】

一例では、スケーリングされた画像内に含まれる空間周波数の表現の修正は、スケーリングされた画像の周波数帯域に関連する強度分布を修正することを含む。

【0073】

一例では、修正は、修正画像内のラプラシアンピラミッドの要素の周波数帯域に関連する強度分布を修正することを含む。

【0074】

一例では、スケーリングされた画像内に含まれる空間周波数の表現の修正は、スケーリングされた画像の強度分布を修正することを含む。

【0075】

一例では、修正は、ラプラシアンピラミッド自体の素子の強度分布を修正することを含む（例えば、いくつかのランダムに選択された基準へのヒストグラムマッチングによる）。

【0076】

一例では、ランダム修正係数は、異なるスケーリングされた画像に適用される可変重み係数を含む。

【0077】

一例では、ラプラシアンピラミッドの要素の重みが、ランダムな修正係数として使用される。

【0078】

一例では、修正されたスケーリングされた画像セットの生成は、複数のスケーリングされた画像を修正することを含む。

【0079】

一例では、複数のスケーリングされた画像の修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する修正係数を用いて、複数のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0080】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する期待平均値でランダムに生成される

【0081】

一例では、複数のスケーリングされた画像の修正は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する修正係数を用いて、複数のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0082】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する期待平均値を用いてランダムに生成される。

【0083】

一例では、スケーリングされた画像セットは、ラプラシアンピラミッドを含む。

【0084】

一例では、修正されたスケーリングされた画像セットは、第１の修正されたスケーリングされた画像セットである。処理ユニットは、スケーリングされた画像セットから第２の修正されたスケーリングされた画像セットを生成するように構成される。第２の修正されたスケーリングされた画像セットの生成は、複数のスケーリングされた画像のうちの２以上のスケーリングされた画像を修正することを含む。修正は、第１の修正されたスケーリングされた画像セットの生成のための修正とは異なる。修正された医用画像は、第１の修正された医用画像であり、処理ユニットは、第２の修正された医用画像を生成するように構成され、第２の修正された医用画像の生成は、第２の修正されたスケーリングされた画像セットの利用を含む。

【0085】

一例では、スケーリングされた画像セットの２以上のスケーリングされた画像の各スケーリングされた画像は、第２の修正されたスケーリングされた画像セットを生成するように、それぞれ異なるように修正される。

【0086】

図３は、医用画像解析システム２００の一例を示す。システム２００は、入力ユニット２２０及び処理ユニット２３０を備える。入力ユニットは、患者の身体部分の検査医用画像を受信するように構成される。入力ユニットは、検査医用画像を処理ユニットに提供するように構成される。処理ユニットは、患者の身体部分を解析するように構成される。解析は、トレーニングされた機械学習アルゴリズムによる検査医用画像の問い合わせを含む。機械学習アルゴリズムは、図２に関して説明したようにトレーニングされ、かかるトレーニングは、生成装置によって生成された少なくとも１つの修正された医用画像の利用を含む。

【0087】

一例では、患者の身体部分の解析は、トレーニングされた機械学習アルゴリズムを用いた検査医用画像の修正バージョンのインタロゲーションを含み、前記検査医用画像の修正バージョンは、図２に関して説明したように、生成装置によって生成されたものである。

【0088】

従って、いわゆる「テスト時間の増強」が提供される。ここで、解析アルゴリズムは、解析される元の画像とその増強されたバージョンの両方に適用される。最終的な予測は、異なる入力バージョンについての予測を集約することによって形成され、これは、典型的には、平均をとることによることができる。それによって、全体的なアルゴリズムは、実際には、元の入力及びその増強されたバージョンの両方の予測を平均化することによって、入力画像特性のバリエーションに対して、よりロバストになり及びより感度が低くなる。

【0089】

一例では、検査医用画像はＸ線画像である。

【0090】

一例では、検査医用画像はＣＴ画像である。

【0091】

一例では、医用画像解析機械学習アルゴリズムはニューラルネットワークである。

【0092】

一例では、医用画像解析機械学習アルゴリズムは、自動疾患検出のためにトレーニングされる。

【0093】

一例では、医用画像解析機械学習アルゴリズムは、身体部分、例えば骨の画像セグメンテーションのためにトレーニングされる。

【0094】

一例では、医用画像解析機械学習アルゴリズムは、胎児の頭の直径など、臓器の大きさ（organ extents）の回帰（regression）のためにトレーニングされる。

【0095】

一例では、医用画像解析機械学習アルゴリズムは、検査タイプ又はビュー分類についてトレーニングされる。

【0096】

一例では、機械学習アルゴリズムは、医用画像を利用してトレーニングされた。

【0097】

こうして、実画像を使用して、当該実画像に類似する１つ又は複数の合成画像を生成することができ、これらの合成画像は、医用画像解析機械学習アルゴリズムをトレーニングするために使用される。しかしながら、実画像自体は、機械学習アルゴリズムをトレーニングするために直接使用される画像の１つでありうる。

【0098】

図４は、医用画像解析アルゴリズムをトレーニングする方法３００の一例を示す。前記方法は、受信ステップ３１０において、入力ユニットによって、患者の身体部分の医用画像を受信することと、提供ステップ３２０において、入力ユニットによって、医用画像を処理ユニットに提供することと、生成ステップ３３０において、処理ユニットによって、修正された医用画像を生成することであって、前記生成が、医用画像に関連する２以上の空間周波数帯域を修正することを含む、生成することと、トレーニングステップ３４０において、処理ユニットによって、修正された医用画像を利用する医用画像解析機械学習アルゴリズムをトレーニングすることと、を有する。

【0099】

一例では、医用画像はＸ線画像である。

【0100】

一例では、医用画像はＣＴ画像である。

【0101】

一例では、機械学習アルゴリズムはニューラルネットワークである。

【0102】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、それぞれ異なるように修正される。

【0103】

一例では、処理ユニットは、医用画像解析機械学習アルゴリズムをトレーニングするように構成され、当該トレーニングは、医用画像の利用を含む。

【0104】

一例によれば、方法は：

【0105】

前記処理ユニットによって、複数のスケーリングされた画像をと有するスケーリングされた画像セットを生成することであって、前記生成が、前記医用画像を利用することを有し、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各々における空間周波数の表現が異なる、生成すること；

【0106】

前記処理ユニットによって、前記スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成することであって、前記生成が、前記複数のスケーリングされた画像のうちの２以上のスケーリングされた画像を修正することを含む、生成することと；

【0107】

前記処理ユニットによって、前記修正されたスケーリングされた画像セットを利用して、修正された医用画像を生成することと、

【0108】

を有する。

【0109】

一例では、機械学習アルゴリズムはニューラルネットワークである。

【0110】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、それぞれ異なるように修正される。

【0111】

一例では、スケーリングされた画像の各々は、周波数の帯域に対応する。

【0112】

一例では、スケーリングされた画像セットは、いくつかの要素を有するラプラシアンピラミッドであり、各要素は、スケーリングされた画像であり、周波数の帯域に対応する。

【0113】

一例では、医用解析機械学習アルゴリズムは、医用画像を利用することを含む。

【0114】

一例では、方法は、２以上のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0115】

一例では、方法は、２以上のスケーリングされた画像の各々に含まれる空間周波数の表現をランダムな修正係数で修正することを含む。

【0116】

一例では、スケーリングされた画像に含まれる空間周波数の修正は、スケーリングされた画像の周波数帯域に関連する強度分布を修正することを含む。

【0117】

一例では、修正は、修正された画像内のラプラシアンピラミッドの要素の周波数帯域に関連する強度分布を修正することを含む。

【0118】

一例では、スケーリングされた画像内に含まれる空間周波数の表現の前記修正は、スケーリングされた画像の強度分布を修正することを含む。

【0119】

一例では、かかる修正は、ラプラシアンピラミッド自体の要素の強度分布を修正することを含む（例えば、いくつかのランダムに選択された基準に対するヒストグラムマッチングによる）。

【0120】

一例では、ランダム修正係数は、異なるスケーリングされた画像に適用される可変の重み係数を含む。

【0121】

一例では、ラプラシアンピラミッドの要素の重みが、ランダムな修正係数として使用される。

【0122】

一例では、方法は、複数のスケーリングされた画像を修正することを含む。

【0123】

一例では、複数のスケーリングされた画像を修正することは、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する修正係数を用いて、複数のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0124】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する期待平均値でランダムに生成される

【0125】

一例では、複数のスケーリングされた画像を修正することは、複数のスケーリングされた画像の各々に含まれる空間周波数の表現を、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する修正係数で修正することを含む。

【0126】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する期待平均値を用いてランダムに生成される。

【0127】

一例では、スケーリングされた画像セットは、ラプラシアンピラミッドを含む。

【0128】

一例では、修正されたスケーリングされた画像セットは、第１の修正されたスケーリングされた画像セットである。方法は、処理ユニットによって、スケーリングされた画像セットから第２の修正されたスケーリングされた画像セットを生成することを含む。第２の修正されたスケール画像セットの生成は、複数のスケーリングされた画像のうちの２以上のスケール画像を修正することを含み、前記修正は、第１の修正されたスケール画像セットを生成するための修正とは異なる。前記修正された医用画像はまた、第１の修正された医用画像である。前記方法は、処理ユニットによって、第２の修正された医用画像を生成することを含み、当該生成は、第２の修正されたスケーリングされた画像セットを利用することを含む。本方法は、医用画像解析機械学習アルゴリズムを処理ユニットによってトレーニングすることを含み、当該トレーニングは、第２の修正された医用画像を利用することを含む。

【0129】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、第２の修正されたスケーリングされた画像セットを生成するために異なるように修正される。

【0130】

図５は、医用画像生成方法４００の一例を示す。方法４００は、受信ステップ４１０では、入力ユニットが、処理ユニットに提供される患者の身体部分の医用画像を構成し、生成ステップ４２０では、処理ユニットによって修正医用画像を生成し、生成ステップは、医用画像に関連付けられた２以上の空間周波数帯域を修正することを含む。

【0131】

一例では、医用画像はＸ線画像である。

【0132】

一例では、医用画像はＣＴ画像である。

【0133】

一例によれば、方法は、前記処理ユニットによって、複数のスケーリングされた画像を備えるスケーリングされた画像セットを生成することであって、前記生成は、前記医用画像を利用することを含み、各スケーリングされた画像は、前記医用画像における空間周波数の表現を妥協し、前記複数のスケーリングされた画像の各スケーリングされた画像における前記空間周波数の表現が異なる、生成することと；前記処理ユニットによって、前記スケーリングされた画像セットから修正されたスケーリングされた画像セットを生成することであって、前記生成することは、前記複数のスケーリングされた画像のうちの２以上のスケーリングされた画像を修正することを含む、生成することと；前記処理ユニットによって、前記修正された医用画像を生成することであって、前記生成が、前記修正されたスケーリングされた画像セットを利用することを含む、生成することと、を有する。

【0134】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、それぞれ異なるように修正される。

【0135】

一例では、スケーリングされた画像の各々は、周波数の帯域に対応する。

【0136】

一例では、スケーリングされた画像セットは、いくつかの要素を有するラプラシアンピラミッドであり、各要素は、スケーリングされた画像であり、周波数の帯域に対応する。

【0137】

一例では、方法は、２以上のスケーリングされた画像の各々に含まれる空間周波数の表現を修正することを含む。

【0138】

一例では、方法は、２以上のスケーリングされた画像の各スケーリングされた画像内に含まれる空間周波数の表現をランダムな修正係数で修正することを含む。

【0139】

一例では、スケーリングされた画像内に含まれる空間周波数の表現を修正することは、スケーリングされた画像の周波数帯域に関連する強度分布を修正することを含む。

【0140】

一例では、前記修正することは、修正された画像内のラプラシアンピラミッドの要素の周波数帯域に関連する強度分布を修正することを含む。

【0141】

一例では、スケーリングされた画像内に含まれる空間周波数の表現を修正することは、スケーリングされた画像の強度分布を修正することを含む。

【0142】

一例では、修正することは、ラプラシアンピラミッド自体の要素の強度分布を修正することを含む（例えば、いくつかのランダムに選択された基準に対するヒストグラムマッチングによる）。

【0143】

一例では、ランダム修正係数は、異なるスケーリングされた画像に適用される可変の重み係数を含む。

【0144】

一例では、ラプラシアンピラミッドの要素の重みが、ランダム修正係数として使用される。

【0145】

一例では、方法は、複数のスケーリングされた画像を修正することを含む。

【0146】

一例では、複数のスケーリングされた画像を修正することは、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する修正係数を用いて、複数のスケーリングされた画像の各スケーリングされた画像内に含まれる空間周波数の表現を修正することを含む。

【0147】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して増加する期待平均値でランダムに生成される

【0148】

一例では、複数のスケーリングされた画像を修正することは、複数のスケーリングされた画像の各スケーリングされた画像内に含まれる空間周波数の表現を、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する修正係数で修正することを含む。

【0149】

一例では、修正係数は、１つのスケーリングされた画像から次のスケーリングされた画像へと空間周波数に関して減少する期待平均値を用いてランダムに生成される。

【0150】

一例では、スケーリングされた画像セットは、ラプラシアンピラミッドを含む。

【0151】

一例では、修正されたスケーリングされた画像セットは、第１の修正されたスケーリングされた画像セットである。方法は、処理ユニットによって、スケーリングされた画像セットから第２の修正されたスケーリングされた画像セットを生成することを含み、前記生成することは、複数のスケーリングされた画像のうち２以上のスケーリングされた画像を修正することを含み、前記修正は、第１の修正されたスケーリングされた画像セットを生成するための修正とは異なる。修正された医用画像は、第１の修正された医用画像である。前記方法は、処理ユニットによって、第２の修正された医用画像を生成することを含み、当該生成は、第２の修正されたスケーリングされた画像セットを利用することを含む。

【0152】

一例では、２以上のスケーリングされた画像の各スケーリングされた画像は、第２の修正されたスケーリングされた画像セットを生成するように、異なるように修正される。

【0153】

図６は、医用画像解析方法５００の一例を示す。方法５００は：受信ステップ５１０において、入力ユニットによって、患者の身体部分の検査医用画像を受信することと；提供ステップ５２０において、入力ユニットによって、検査医用画像を処理ユニットに提供することと；解析ステップ５３０において、処理ユニットによって、患者の身体部分を解析することであって、前記解析は、トレーニング済みの機械学習アルゴリズムを用いて検査医用画像をインタロゲートすることを含み、前記トレーニング済みの機械学習アルゴリズムは、図５に関して説明した方法によって生成された少なくとも１つの修正された医用画像を利用してトレーニングされたものである、解析することと、を有する。

【0154】

一例では、患者の身体部分を解析することは、トレーニングされた機械学習アルゴリズムを用いて検査医用画像の修正されたバージョンをインタロゲートすることを含み、検査医用画像の修正されたバージョンは、図５に関して説明された方法によって生成されたものである。

【0155】

一例では、医用画像はＸ線画像である。

【0156】

一例では、医用画像はＣＴ画像である。

【0157】

一例では、医用画像解析機械学習アルゴリズムはニューラルネットワークである。

【0158】

一例では、医用画像解析機械学習アルゴリズムは、医用画像を利用してトレーニングされたものである。

【0159】

一例では、医用画像解析機械学習アルゴリズムは、自動疾患検出のためにトレーニングされる。

【0160】

一例では、医用画像解析機械学習アルゴリズムは、身体部分、例えば骨の画像セグメンテーションのためにトレーニングされる。

【0161】

一例では、医用画像解析機械学習アルゴリズムは、臓器の大きさ、例えば胎児の頭径の回帰についてトレーニングされる。

【0162】

一例では、医用画像解析機械学習アルゴリズムは、検査タイプ又はビュー分類についてトレーニングされる。

【0163】

医用画像解析アルゴリズムをトレーニングする装置、医用画像生成装置、医用画像解析システム、医用画像解析アルゴリズムをトレーニングする方法、医用画像生成方法、医用画像解析方法が、図７～図１０を参照して更に詳細に説明される。ここでは、Ｘ線画像解析の具体的な例を挙げて、この新しい開発技術が説明されるが、この新しい技術は、ＣＴなどの他の画像モダリティにも適用可能である。

【0164】

本明細書に記載される新しい開発技術は、時間がかかり、高価であり、又は不可能でさえある、さまざまな画像スタイルの注釈付きＸ線画像を収集する必要性を回避する。これは、マルチスケールデータ増強によって達成される。このようにして、任意の数のランダムで現実的な画像スタイルが、余分な注釈付けの労力なしにニューラルネットワークのトレーニングに供給されることができ、また、他の機械学習アルゴリズムが利用されることもできる。更に、ニューラルネットワークに、入力画像の意味のある抽象表現を学習させるために、非現実的な（すなわち、自然には普及していない）画像スタイルが、制御された方法で生成されることもできる。

【0165】

今日の画像処理の例は、例えば以下のホワイトペーパーで見ることができる：
https://www.philips.de/c-dam/b2bhc/master/landing-pages/dynamic-unique/philips-dynamic-unique-white-paper.download.pdf
https://www.philips.com/c-dam/b2bhc/us/Products/Category/radiography/radiography/unique-two-product-overview.pdf

【0166】

ここで記述される新しい開発された技術は、これらのようなアルゴリズムの多種多様な異なるコンフィギュレーションパラメータを用いて適用されたかのように画像処理を模倣する。言い換えれば、この新しい技術は、異なる後処理設定を模倣し、それによって対応する画像スタイルを模倣するマルチスケールデータ増強を提供する。

【0167】

以下の議論は、図７～図１０を参照して、教師あり学習及び畳み込みニューラルネットワーク（例えば、Ｕ-Ｎｅｔ）を使用して、足首ＡＰ Ｘ線画像における骨輪郭を検出することに関する例に焦点を当てる。疾患／病理分類又は回帰タスク（例えば、平面／姿勢推定）などの他の学習タスクも、この新たな開発から利益を得ることができる。一般的には、大きな容量のニューラルネットワークが一般にトレーニングデータ分布にオーバーフィットする傾向があるように、注釈付き骨輪郭を有する数百の画像のみがトレーニングに利用可能である。オーバーフィッティングのための仕組みは、ニューラルネットワークが特定のトレーニングデータノイズ／テクスチャパターンを記憶すること、又はネットワークがトレーニングデータの画像スタイルを暗黙的に利用することを含むことができる。トレーニングされたニューラルネットワークを、トレーニングデータの分布とは大きく異なるノイズ／テクスチャパターンや画像スタイルを持つ未確認の画像に適用すると、通常、予測結果が不十分になる。ここで議論される新しい開発技術は、これらの問題を軽減する。

【0168】

この効果を非常に受けやすい典型的なシナリオは、ポジティブなトレーニングサンプルがネガティブなトレーニングサンプルと異なるスタイルであり、ネットワークが所望の識別画像特徴の代わりにスタイルを検出することを学習してしまうような分類タスクである。

【0169】

汎用性の貧弱さを軽減するために、新しい技術は次の概念に基づく。

【0170】

各トレーニング画像は或る数のスケールコンポーネントに分解され、それらはメモリに記憶される。例えば、ラプラスピラミッドはスケール階層表現として使用されることができる（図７を参照）。ここでは、より低い（より高い）ラプラスピラミッドバンドは、画像内のより大きな（より小さな）構造を妥協する。

【0171】

各トレーニング反復において、ランダムに引き出されたトレーニングサンプルは、以下のようにランダムに増強される：

【0172】

ラプラスバンドはランダムに修正される。

【0173】

ラプラスピラミッド再構成を使用して、修正されたラプラスバンドから新しい画像が構成される（図８-１０参照）。

【0174】

対応する注釈（例えば、骨輪郭ラベルマスク）は、不変に保たれる。

【0175】

ラプラスバンドに対するランダム演算のさまざまな変形例が考えられる。最も簡単な非自明な変形例は、各バンドをランダム係数で乗算することからなり、スタイルの変動性は、１を中心とする乱数の選択された範囲に依存する。具体的には、ここでは３つのサンプリング変形例を例示するものとする：

【0176】

バンドインデックスとともにこれらのランダム係数を単調増加させることは、結果的に、微細な構造及び中程度のサイズの構造をさまざまな態様で強調し（図８を参照）、生の入力画像を与えられると前処理をエミュレートするとみなされることができる。

【0177】

逆に、バンドインデックスとともにこれらのランダム係数を単調減少させることは、中程度のスケールの構造及び大きいスケールの構造を強調することにより、ブラーリングのさまざまな態様をもたらす（図９を参照）。この変形例は、所与の前処理された画像のいくつかの前処理ステップを取り消すものとみなすことができる。

【0178】

最後に、ランダム係数の単調さを強制しない場合、現実的にみえる画像と人工的にみえる画像の両方が混在するものが作成される（図１０を参照）。そのような人工的な修正は、一部のタスクの性能を低下させるかもしれないが、トレーニングは、他のタスクから利益を得ることができ、なぜなら、ニューラルネットワークは、その学習タスクを成功させるために画像の抽象的な表現／概念を学習することを強いられるからである。

【0179】

ラプラスバンドを大域的なランダム係数のみによって修正すること以外に、増強される画像の帯域ヒストグラムを、ランダムに描画された基準画像（注釈は必要とされない）のバンドヒストグラムとマッチングさせるなど、より洗練されたアプローチも可能である。

【0180】

以下は、画像のデコンポジション（分解）と再コンポジションの具体例に関する：

【0181】

開発された新しい技術は、空間及び周波数ドメインの両方においてある程度まで局在化される基底関数の完全なセットにわたって、一般に画像を分解することに基づいている。次いで、対応する拡張係数を修正して、異なる画像スタイルを実現する。次に、入力画像の修正されたバージョンを再構成／合成する。このアプローチは、複数のスケールで、制御されたやり方で、画像コントラストが修正されることができるという利点を有する。

【0182】

特定の例では、ラプラシアン画像ピラミッドを使用して、このようなオーバーコンプリートベースを構築することができる。修正されるべき入力画像が与えられると、最初に、ガウシアンピラミッドは、ブラーフィルタＢを用いた畳み込みと、演算子Ｄを介する２ピクセルごとのサブサンプリングとによって再帰的に構築される。この再帰の０番目の要素として、ｉ番目のレベルは、以下のように構築される：
ｘ_ｉ＝Ｄ（Ｂ ＊ ｘ_ｉ-１）

【0183】

ここで、＊は畳み込みを意味する。ｎ個のスケールに関して画像を修正するために、ラプラシアンピラミッドは、（画像がｎ倍のサブサンプリングのために十分に大きいことを前提として）ｘ_ｎまで計算される。ラプラシアンピラミッドの対応する要素は、ガウシアンピラミッドの要素を以下のようにアップサンプリングすることによって再帰的に計算される：
Ｌ_ｉ＝ｘ_ｎ-ｉ-Ｂ＊（Ｕｘ_{ｎ-ｉ＋１}））， ｉ＝１，・・・，ｎ
ここで、Ｕは、隣接するピクセルの各対の間にゼロを挿入することによるアップサンプリングを示す。最大スケールに対応するガウシアンピラミッド要素、及びラプラシアンピラミッドの要素Ｌ_１，・・・，Ｌ_ｎが与えられると、拡張画像が再帰的に合成されることができる：
ｙ_ｉ＝ｃ_ｎ-ｉＬ_ｎ-ｉ＋Ｂ＊（Ｕｙ_ｉ＋１）， ｉ＝０，・・・，ｎ-１
ここで、ｙ_ｎ＝ｃ_０ｘ_ｎであり、ｃ_０，・・・，ｃ_ｎは、実数乱数のシーケンスを示す。

【0184】

拡張画像は、ｙ＝ｙ_０により与えられる。すべてのｃｉが１に等しい場合、入力画像は全く修正されず、すなわち、ｙ＝ｘである。係数をランダムに導き、それらを増加する（減少する）順序でソートすることにより、小さい（大きい）スケールのコントラスト、すなわち、マルチスケールシャープニング（ブラーリング）が強調される。係数をソートしない場合、多種多様な更なる画像スタイルを実現することができる。合成画像は、係数に線形に依存し、係数を再正規化することによって、任意の非ゼロ係数が大域的スケーリング係数として使用されることができることに留意されたい。

【0185】

別の例示的実施形態では、適切なシステム上で、前述の実施形態のうちの１つによる方法のいずれかの方法ステップを実行するように構成されることを特徴とする、コンピュータプログラム又はコンピュータプログラム素子が提供される。

【0186】

従って、コンピュータプログラム素子は、本実施形態の一部でありうるコンピュータユニットに記憶されることができる。この計算ユニットは、上述の方法のステップを実行するように又はその実行を引き起こすように構成されることができる。更に、計算ユニットは、上述した装置及び／又はシステムのコンポーネントを動作させるように構成されることができる。計算ユニットは、自動的に動作するように、及び／又はユーザの命令を実行するように構成されることができる。コンピュータプログラムは、データプロセッサの作業メモリにロードされることができる。こうして、データプロセッサは、前述の実施形態のうちの１つによる方法を実行するように装備されることができる。

【0187】

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムとの両方を包含する。

【0188】

更に、コンピュータプログラム素子は、上述の方法の例示的な実施形態のプロシージャを果たすために必要なすべてのステップを提供することができる。

【0189】

本発明の他の例示的な実施形態によれば、ＣＤ-ＲＯＭ、ＵＳＢスティックなどのコンピュータ可読媒体が提示され、前記コンピュータ可読媒体はその上に格納されたコンピュータプログラム素子を有し、前記コンピュータプログラム素子は、先行するセクションによって説明されたものである。

【0190】

コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶され及び／又は配布されることができるが、他の形態で、又はインターネット又は他の有線もしくは無線電気通信システムなどを介して配布されることもできる。

【0191】

しかしながら、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを通じて提示されることもでき、そのようなネットワークからデータプロセッサの作業メモリにダウンロードされることもできる。本発明の更なる例示的な実施形態によれば、コンピュータプログラム素子をダウンロードのために利用可能にするための媒体が提供され、このコンピュータプログラム素子は、本発明の前述の実施形態のうちの１つによる方法を実行するように構成される。

【0192】

本発明の実施形態は、それぞれ異なる主題を参照して説明されることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明され、他の実施形態は、装置タイプの請求項を参照して説明されている。しかしながら、当業者は上記及び下記の説明から、別段の通知がない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関する特徴間の任意の組み合わせも、本出願で開示されることを理解するであろう。しかしながら、すべての特徴を組み合わせて、特徴の単純な合計よりも高い相乗効果を提供することができる。

【0193】

本発明は、図面及び前述の説明において詳しく図示され説明されてきたが、そのような図示及び説明は、例示的又は説明的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の検討から、請求項に記載の発明を実施する際に当業者によって理解され達成されることができる。

【0194】

請求項において、単語「有する、含む（comprising）」は、他の構成要素又はステップを排除せず、不定冠詞「a」又は「an」は複数性を排除しない。単一のプロセッサ又は他のユニットは、請求項の中で言及される幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項において言及されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。請求項におけるいかなる参照符号も、その範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】