特許 6982689 超音波画像生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982689

(24)【登録日】2021年11月24日

(45)【発行日】2021年12月17日

(54)【発明の名称】超音波画像生成システム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20211206BHJP

【ＦＩ】

   A61B8/14

【請求項の数】18

【全頁数】28

(21)【出願番号】特願2020-524882(P2020-524882)

(86)(22)【出願日】2018年11月7日

(65)【公表番号】特表2021-502164(P2021-502164A)

(43)【公表日】2021年1月28日

(86)【国際出願番号】EP2018080495

(87)【国際公開番号】WO2019092033

(87)【国際公開日】20190516

【審査請求日】2020年6月12日

(31)【優先権主張番号】102017126158.3

(32)【優先日】2017年11月8日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】595014653

【氏名又は名称】フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー．ファオ．

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】ギュンター、マティアス

【審査官】 姫島 あや乃

(56)【参考文献】

【文献】 特開２０１０−２６４２３１（ＪＰ，Ａ）

【文献】 特表２０１１−５２４７７２（ＪＰ，Ａ）

【文献】 Sanketh Vedula, et. al，TOWARDS CT-QUALITY ULTRASOUND IMAGING USING DEEP LEARNING，CORNELL UNIVERSITY LIBRARY，2017年10月17日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／１４

(57)【特許請求の範囲】

【請求項1】

対象の画像を生成するための超音波画像生成システムであって、
該超音波画像生成システム（１）は、
・超音波イメージングモダリティによって取得された対象（２）の超音波ローデータを提供するための超音波データ提供部（４、５）、
・対象の超音波ローデータに基づき、超音波ローデータの取得のために使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない該対象の超音波画像を生成するよう適合化された、機械学習によってトレーニングされたユニット（以下「トレーニング済ユニット」という。）を提供するためのトレーニング済ユニット提供部（６）、但し、超音波ローデータは超音波画像を形成しない超音波データである、及び、
・該対象（２）の提供された超音波ローデータに基づき、提供されたトレーニング済ユニットを用いて該対象（２）の画像を生成するための画像生成部（７）
を含むこと
を特徴とする超音波画像生成システム。

【請求項2】

請求項１に記載の超音波画像生成システムにおいて、
超音波データ提供部（４、５）は、超音波エコーイメージングモダリティによって取得された超音波エコーローデータを超音波ローデータとして提供するよう、適合化されていること
を特徴とする超音波画像生成システム。

【請求項3】

請求項１又は２に記載の超音波画像生成システムにおいて、
トレーニング済ユニット提供部（６）は、コンピュータ断層撮影画像特徴、磁気共鳴画像特徴、ポジトロン放出断層撮影画像特徴、単光子放出コンピュータ断層撮影画像特徴及び磁気粒子画像特徴からなる群から選択される画像特徴を有する対象の画像を、該対象の超音波ローデータに基づき生成するよう適合化されたトレーニングされたユニットを、前記トレーニング済ユニットとして提供するよう、適合化されていること
を特徴とする超音波画像生成システム。

【請求項4】

請求項１〜３の何れかに記載の超音波画像生成システムにおいて、
トレーニング済ユニット提供部（６）は、超音波ローデータの取得のために使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない対象の超音波画像を該対象の超音波ローデータに基づいて生成するよう適合化されたニューラルネットワークを、前記機械学習によってトレーニングされたユニットとして提供するよう、適合化されていること
を特徴とする超音波画像生成システム。

【請求項5】

請求項４に記載の超音波画像生成システムにおいて、
トレーニング済ユニット提供部（６）は、不完全畳み込みニューラルネットワークを前記ニューラルネットワークとして提供するよう、適合化されていること
を特徴とする超音波画像生成システム。

【請求項6】

請求項１〜５の何れかに記載の超音波画像生成システムにおいて、
該超音波画像生成システム（１）は、超音波イメージングモダリティによって生成されることができる超音波画像に対応しない対象（２）の更なる画像を提供するための画像提供部（８）を含むこと、この更なる画像はトレーニング済ユニットを用いないで生成されたものであること
を特徴とする超音波画像生成システム。

【請求項7】

請求項６に記載の超音波画像生成システムにおいて、
該超音波画像生成システム（１）は、提供された更なる画像とトレーニング済ユニットを用いて生成された画像とを一緒に記録するための記録部（９）を含むこと
を特徴とする超音波画像生成システム。

【請求項8】

請求項６又は７に記載の超音波画像生成システムにおいて、
該超音波画像生成システム（１）は、
・トレーニング済ユニットを用いて生成された画像中におけるエレメントの位置を決定するためのエレメント決定部（１０）、及び、
・提供された更なる画像中における該エレメントの位置を表示するインジケータを、記録及び決定された位置に基づいて生成するためのインジケータ生成部（１１）
を含むこと
を特徴とする超音波画像生成システム。

【請求項9】

機械学習によってユニットをトレーニングするためのトレーニングシステムであって、
該トレーニングシステム（３０）は、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象（２）の超音波ローデータを提供するための超音波データ提供部（２０、２２）、但し、超音波ローデータは超音波画像を形成しない超音波データである、
・機械学習によってトレーニングされるべきユニット（以下「トレーニング予定ユニット」という。）を提供するためのトレーニング予定ユニット提供部（２４）、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない対象（２）の画像を提供するための画像提供部（２０、２１）、及び、
・トレーニング済ユニットが対象（２）の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたトレーニング予定ユニットをトレーニングするためのトレーニング部（２５）
を含むこと
を特徴とするトレーニングシステム。

【請求項10】

請求項９に記載のトレーニングシステムにおいて、
超音波データ提供部（２０、２２）と画像提供部（２０、２１）は、超音波ローデータと画像を対象（２）の同じ領域から取得するよう、適合化されていること
を特徴とするトレーニングシステム。

【請求項11】

請求項９又は１０に記載のトレーニングシステムにおいて、
トレーニング部（２５）は、ａ）まず、提供された超音波ローデータに基づき、対象（２）の超音波画像を生成するよう、ｂ）次に、トレーニング済ユニットが対象（２）の提供された超音波ローデータが入力されると生成された超音波画像を出力するようにトレーニング予定ユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象（２）の提供された超音波ローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにユニットをトレーニングするよう、適合化されていること
を特徴とするトレーニングシステム。

【請求項12】

請求項９〜１１の何れかに記載のトレーニングシステムにおいて、
超音波データ提供部（２０、２２）は、超音波エコーローデータと超音波透過ローデータを超音波ローデータとして提供するよう、適合化されていること
を特徴とするトレーニングシステム。

【請求項13】

請求項１２に記載のトレーニングシステムにおいて、
トレーニング部（２５）は、ａ）まず、提供された超音波透過ローデータに基づき、対象（２）の超音波断層撮影画像を生成するよう、ｂ）次に、トレーニング済ユニットが対象（２）の提供された超音波エコーローデータが入力されると生成された超音波断層撮影画像を出力するようにユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象（２）の提供された超音波エコーローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにユニットをトレーニングするよう、適合化されていること
を特徴とするトレーニングシステム。

【請求項14】

機械学習によってトレーニングされたユニットであって、
該ユニットは、対象の超音波ローデータに基づき、超音波ローデータの取得に使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない該対象の超音波画像を生成するよう適合化されていること、但し、超音波ローデータは超音波画像を形成しない超音波データであること
を特徴とするユニット。

【請求項15】

対象の画像を生成するための超音波画像生成方法であって、
該超音波画像生成方法は、
・超音波イメージングモダリティによって取得された対象（２）の超音波ローデータを、超音波データ提供部（４、５）によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない対象の超音波画像を該対象の超音波ローデータに基づき生成するよう適合化された機械学習によってトレーニングされたユニットを、トレーニング済ユニット提供部（６）によって提供すること、但し、超音波ローデータは超音波画像を形成しない超音波データであること、及び、
・該対象（２）の提供された超音波ローデータに基づき、提供されたトレーニングされたユニットを用いて、該対象（２）の画像を、画像生成部（７）によって生成すること
を含むこと
を特徴とする超音波画像生成方法。

【請求項16】

機械学習によってユニットをトレーニングするためのトレーニング方法であって、
該トレーニング方法は、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象（２）の超音波ローデータを、超音波データ提供部（２０、２２）によって提供すること、但し、超音波ローデータは超音波画像を形成しない超音波データであること、
・トレーニングされるべきユニットを、トレーニング済ユニット提供部（２４）によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない該対象（２）の画像を、画像提供部（２０、２１）によって提供すること、及び、
・トレーニング済ユニットが該対象（２）の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたユニットを、トレーニングユニット（２５）によってトレーニングすること
を含むこと
を特徴とするトレーニング方法。

【請求項17】

対象の画像を生成するためのコンピュータプログラムであって、
該コンピュータプログラムは、請求項１５に記載の超音波画像生成方法が請求項１〜８の何れかに記載の画像を生成するための超音波画像生成システムで実行されるとき、該方法を実行するよう、適合化されていること
を特徴とするコンピュータプログラム。

【請求項18】

機械学習によってユニットをトレーニングするためのコンピュータプログラムであって、
該コンピュータプログラムは、請求項１６に記載の機械学習によってユニットをトレーニングするためのトレーニング方法が請求項９〜１３の何れかに記載の機械学習によってユニットをトレーニングするためのトレーニングシステム（３０）で実行されるとき、該方法を実行するよう、適合化されていること
を特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、超音波ローデータ（生データ）を用いて対象（被検体）の画像を生成するための超音波画像生成（イメージング）システム、超音波画像生成（イメージング）方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

超音波イメージングは医療診断において極めて頻繁に使用される。超音波イメージングは比較的費用がかからず、フレキシブルに使用できる。超音波イメージングは移動式使用が可能であり、例えば毎秒５０（枚）までの超音波画像によるリアルタイムイメージングを提供する。しかしながら、超音波イメージングは画質が比較的低いという欠点を有する。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】SANKETH VEDULA et al., "Toward CT-quality Ultrasound Imaging using Deep Learning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 17, October 2017, XP080825022

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の課題は、画質の改善を可能にする、対象（被検体）の画像を生成するための超音波イメージングシステム、超音波イメージング方法及びコンピュータプログラムを提供することである。

【課題を解決するための手段】

【0005】

本発明の第１の視点により、対象の画像を生成するための超音波画像生成システムが提供される。該超音波画像生成システムは、
・超音波イメージングモダリティによって取得された対象の超音波ローデータを提供するための超音波データ提供部、
・対象の超音波ローデータに基づき、超音波ローデータの取得のために使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない該対象の超音波画像を生成するよう適合化された、機械学習によってトレーニングされたユニット（以下「トレーニング済ユニット」という。）を提供するためのトレーニング済ユニット提供部、但し、超音波ローデータは超音波画像を形成しない超音波データである、及び、
・該対象の提供された超音波ローデータに基づき、提供されたトレーニング済ユニットを用いて該対象の画像を生成するための画像生成部
を含むことを特徴とする（形態１）。
本発明の第２の視点により、機械学習によってユニットをトレーニングするためのトレーニングシステムが提供される。該トレーニングシステムは、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象の超音波ローデータを提供するための超音波データ提供部、但し、超音波ローデータは超音波画像を形成しない超音波データである、
・機械学習によってトレーニングされるべきユニット（以下「トレーニング予定ユニット」という。）を提供するためのトレーニング予定ユニット提供部、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない対象の画像を提供するための画像提供部、及び、
・トレーニング済ユニットが対象の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたトレーニング予定ユニットをトレーニングするためのトレーニング部を含むことを特徴とする（形態９）。
本発明の第３の視点により、機械学習によってトレーニングされたユニットが提供される。該ユニットは、対象の超音波ローデータに基づき、超音波ローデータの取得に使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない該対象の超音波画像を生成するよう適合化されていること、但し、超音波ローデータは超音波画像を形成しない超音波データであることを特徴とする（形態１４）。
本発明の第４の視点により、対象の画像を生成するための超音波画像生成方法が提供される。該超音波画像生成方法は、
・超音波イメージングモダリティによって取得された対象の超音波ローデータを、超音波データ提供部によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない対象の超音波画像を該対象の超音波ローデータに基づき生成するよう適合化された機械学習によってトレーニングされたユニットを、トレーニング済ユニット提供部によって提供すること、但し、超音波ローデータは超音波画像を形成しない超音波データであること、及び、
・該対象の提供された超音波ローデータに基づき、提供されたトレーニングされたユニットを用いて、該対象の画像を、画像生成部によって生成することを含むことを特徴とする（形態１５）。
本発明の第５の視点により、機械学習によってユニットをトレーニングするためのトレーニング方法が提供される。該トレーニング方法は、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象の超音波ローデータを、超音波データ提供部によって提供すること、但し、超音波ローデータは超音波画像を形成しない超音波データであること、
・トレーニングされるべきユニットを、トレーニング済ユニット提供部によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない該対象の画像を、画像提供部によって提供すること、及び、
・トレーニング済ユニットが該対象の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたユニットを、トレーニングユニットによってトレーニングすることを含むことを特徴とする（形態１６）。
本発明の第６の視点により、対象の画像を生成するためのコンピュータプログラムが提供される。該コンピュータプログラムは、形態１５の超音波画像生成方法が形態１〜８の何れかの画像を生成するための超音波画像生成システムで実行されるとき、該方法を実行するよう、適合化されていることを特徴とする（形態１７）。
本発明の第７の視点により、機械学習によってユニットをトレーニングするためのコンピュータプログラムが提供される。該コンピュータプログラムは、形態１６の機械学習によってユニットをトレーニングするためのトレーニング方法が形態９〜１３の何れかの機械学習によってユニットをトレーニングするためのトレーニングシステムで実行されるとき、該方法を実行するよう、適合化されていることを特徴とする（形態１８）。

【発明を実施するための形態】

【0006】

上記の課題は、対象（被検体）の画像を生成するための超音波画像生成システムによって解決される。該超音波画像生成システムは、
・超音波イメージングモダリティによって取得された対象の超音波ローデータを提供するための超音波データ提供部、
・対象の超音波ローデータに基づき、超音波ローデータの取得のために使用された超音波イメージングモダリティに対応しない当該対象の超音波画像を生成するよう適合化された、機械学習によってトレーニングされたユニットを提供するためのトレーニング済ユニット（Trainierte-Einheit：トレーニングされたユニット）提供部、及び、
・該対象の提供された超音波ローデータに基づき、提供されたトレーニング済ユニットを用いて該対象の画像を生成するための画像生成部
を含む。

【0007】

超音波ローデータ（生データ）は対象について極めて多くの情報を含むが、この情報は既知の超音波再構成法によっては極めて小さい小部分しか使用されない。超音波ローデータに含まれている情報の大部分のこの不考慮は、とりわけ、既知の超音波画像の比較的不良な画質及びコントラスト不足をもたらす。しかしながら、画質を改善するために、これらの付加情報を利用可能にする方法については未だ知られていない。

【0008】

超音波ローデータに含まれているが従来は考慮されていないこれらの情報は、超音波ローデータの生成のために使用された超音波イメージングモダリティに対応する超音波画像（複数）の再構成に使用されない、ニューラルネットワークのような機械学習によってトレーニングされたユニットを用いて抽出されることができることが、本発明によって認識された（明らかになった）。これは、超音波イメージングモダリティによって「通常」生成されることができる超音波画像（複数）に対応しない超音波画像（複数）が、超音波ローデータに基づき、トレーニング済ユニット（トレーニングされたユニット）を用いて生成されることができることを意味する。その代わりに、トレーニング済ユニットによって生成される超音波画像（複数）は、他のイメージングモダリティに対応する特徴（Charakteristika）を有し、超音波ローデータに含まれている情報はより良好に利用されることができる。例えば、超音波画像生成システムは、トレーニング済ユニットを使用することによって、コンピュータ断層撮影画像（ＣＴ画像）、磁気共鳴画像（ＭＲ画像）、ポジトロン放出断層撮影画像（ＰＥＴ画像）、単光子放出コンピュータ断層撮影画像（ＳＰＥＣＴ画像）又は磁気粒子画像（ＭＰＩ画像）の特徴を有する超音波画像を再構成することができる。超音波イメージングモダリティに対応しない他の断層撮影超音波画像の再構成も可能である。従って、トレーニング済ユニットによって生成される超音波画像は、超音波ローデータの取得に使用された超音波イメージングモダリティによって通常生成される「通常の」超音波画像とは、トレーニング済ユニットによって生成される超音波画像が他のイメージングモダリティの特徴を有するという点において相違する。対象（被検体）についての超音波ローデータに含まれている情報をより良好に利用することによって、画質及び情報量（Informationsgehalt）（「コントラスト」）は改善されることができる。

【0009】

原理的に、各イメージングモダリティは、当該イメージングモダリティに特徴的な画像を生成する。即ち、各イメージングモダリティに特異的な画像特徴（これは当該イメージングモダリティに画像を関連付ける（割り当てる）ことを可能にする）が存在することは既知である。ＣＴ画像は、例えばＣＴ画像特徴を有するが、そのため、該ＣＴ画像はＣＴイメージングモダリティに対応することは当業者には明らかである。超音波ローデータの取得に使用された超音波イメージングモダリティに対応しない超音波画像は、他のイメージングモダリティに対応するこれらの画像特徴を有する超音波画像である。

【0010】

超音波ローデータの取得のために使用された超音波イメージングモダリティではないイメージングモダリティに対応する対象の画像中の画像特徴は、好ましくは、画像に示される対象の対象特徴であり、該対象特徴は、超音波ローデータの取得に使用された超音波イメージングモダリティによって生成される対象の超音波画像においては視認可能ではないであろう。そのため、提供されたトレーニング済ユニットによって生成される超音波画像には、例えば、ＭＲ画像又は他のイメージングモダリティの画像においても視認可能であろうが、超音波ローデータの取得に使用された超音波イメージングモダリティの超音波画像においては視認可能ではない対象の性質（特性）が視認可能であり得る。

【0011】

トレーニング済ユニット提供部から提供されたトレーニング済ユニットは、入力として、超音波ローデータを使用するが、超音波画像は使用しない。超音波画像の既知の標準的再構成の場合、超音波ローデータに含まれている対象情報の大部分が失われる。この情報喪失（損失）は、とりわけ、提供されたトレーニング済ユニットが入力として超音波ローデータを使用し、既に再構成された超音波画像を使用しないことによって回避することができる。

【0012】

提供されたトレーニング済ユニットによって再構成された超音波画像は飽くまで（依然として）超音波画像であり、一般的に、スペックルパターン又は深度（距離）分解能低下（Tiefenabfall）のような典型的な超音波画像特徴を有する。尤も、この再構成された超音波画像は、超音波ローデータの取得に使用された超音波イメージングモダリティの「通常の」超音波画像においては視認可能ではないであろうが、例えばＭＲ画像又は他のイメージングモダリティの画像においては視認可能な対象の特徴も示す。超音波ローデータの取得に使用された超音波イメージングモダリティではないイメージングモダリティの何れについて、超音波画像中の特徴が視認可能であるかについては、提供されたユニットのトレーニングのためにその画像が使用されたイメージングモダリティ（方式）に依存する。例えばＭＲ画像がユニットのトレーニングのために使用された場合、トレーニング済ユニットによって再構成された超音波画像はＭＲ画像特徴を有する、即ち、トレーニング済ユニットによって生成された超音波画像においては、通常は超音波画像において視認可能ではないが、ＭＲ画像において視認可能な対象の特徴が視認可能である。

【0013】

トレーニング済ユニットによって生成された超音波画像は、例えばＭＲ画像特徴を有する場合であっても、それにも拘らず、既述のように、深度分解能低下のような通常の超音波画像の性質を有することが可能な超音波画像である。深度（距離）分解能低下（Tiefenabfall）は、例えば、超音波プローブからの距離が増大する程、従って対象内における、例えば患者内における深度が増大する程、超音波信号が、例えば吸収や散乱のために、より弱くなり、そのため、信号対雑音比（ＳＮ比）も深度が増大する程低下することに関連する。

【0014】

超音波画像は例えば２次元又は３次元の画像であることが可能である。超音波データ提供部は、超音波ローデータが記憶されており、記憶されている超音波ローデータを提供することができる記憶部であることが可能である。尤も、超音波データ提供部は、超音波ローデータを受信し、受信した超音波ローデータを提供する受信部であることも可能である。更に、超音波データ提供部は、超音波ローデータの取得に使用される超音波イメージングモダリティであることも可能である。

【0015】

トレーニング済ユニット提供部は、この場合トレーニング済ユニットを提供する記憶部であることも可能である。尤も、トレーニング済ユニット提供部は、トレーニング済ユニットを受信し、受信したトレーニング済ユニットを提供するよう適合化された（構成された）受信部であることも可能である。

【0016】

トレーニング済ユニットは、対象の超音波ローデータに基づき、超音波イメージングモダリティに対応しない該対象の超音波画像を生成するよう、機械学習によって適合化された即ちトレーニングされたユニットである。これは、トレーニング済ユニットは、超音波イメージングモダリティの超音波ローデータと他のイメージングモダリティの画像（複数）とによってトレーニングされたユニットであることを意味する。従って、トレーニング済ユニット提供部ないし提供されたトレーニング済ユニットは、トレーニング済ユニットのトレーニングの仕方によっても定義される。トレーニング済ユニット提供部は、ａ）超音波イメージングモダリティによって取得された超音波ローデータ及びｂ）他のイメージングモダリティによって取得された画像（複数）によってトレーニングされたトレーニング済ユニットを提供するよう適合化された部である。この他の画像は例えばＣＴ画像、ＭＲ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、ＭＰＩ画像又は他のイメージングモダリティの画像である。提供されたトレーニング済ユニットは、超音波ローデータが入力されると、他のイメージングモダリティによって生成された画像（複数）を出力するようトレーニングされたものであり、この場合、出力される画像は、上述の通り、超音波画像であり、従って、正確には、他のイメージングモダリティによって生成された画像ではないため、これは、これらの画像を出力する目的でトレーニングが行われるが、これは達成（実現）されないことを意味する。換言すれば、トレーニングは、トレーニングされるべきユニットによって生成される出力画像と対応するトレーニング画像との間の差異（ずれ）が最小化されるよう実行される。

【0017】

トレーニング中、例えばニューラルネットワークのようなユニットは、従って、超音波イメージングモダリティによって取得された超音波ローデータが入力されると、例えばＭＲイメージングモダリティのような他のイメージングモダリティの画像に対応する画像を生成する目的でトレーニングされる。尤も、入力として超音波ローデータを使用するトレーニング済ユニットは、出力画像として、既述の通り、正確には、この例で使用されるＭＲ画像を生成しないが、ＭＲ画像において視認可能なＭＲ画像特徴を有し、例えばスペックルパターン又は深度分解能低下を有する超音波画像を生成する。その結果、提供されたトレーニング済ユニットは、従って、同様に既述の通り、例えばＭＲ画像を出力するという目的にも拘らず、トレーニングされるべきユニットによって超音波ローデータに基づき生成された超音波画像とこの例ではトレーニングのために使用されたＭＲ画像との間の差異が最小化されるよう、トレーニングされる。

【0018】

概念「イメージングモダリティ」は、医療診断においてイメージング方法のために使用される相応のクラス（ないし方式）の医用機器を意味し、この場合、同じイメージングモダリティの異なる医用機器はそれらの基礎をなすイメージング技術が互いに同等である。イメージングモダリティの一例は例えばＣＴである。イメージングモダリティの他の一例は例えばＭＲである。イメージングモダリティの更なる一例は例えばエコー超音波（Echo-Ultraschall）である。イメージングモダリティの更に他の一例は透過超音波である。更なるイメージングモダリティの一例はＰＥＴである。更に、更なるイメージングモダリティの例はＳＰＥＣＴ及びＭＰＩである。

【0019】

超音波データ提供部は、好ましくは、超音波ローデータとして、超音波エコーローデータを提供するよう適合化されている。即ち、超音波ローデータを取得するために、超音波エコーイメージングモダリティが使用されることが好ましい。この超音波エコーイメージングモダリティに対応しない超音波画像は、この場合、超音波エコーイメージングモダリティの従って既知の超音波エコーイメージングモダリティの画像特徴ではない画像特徴を有する超音波画像である。この画像は、例えばＣＴ画像特徴、ＭＲ画像特徴、ＳＰＥＣＴ画像特徴、ＰＥＴ画像特徴、ＭＰＩ画像特徴又は他のイメージングモダリティの画像特徴を有する。超音波画像は、超音波透過型イメージングモダリティによって生成される画像中に通常含まれている透過超音波画像特徴を有することも可能である。例えば、トレーニング済ユニットによって生成された超音波画像は音速画像（Schallgeschwindigkeitsbild）であることが可能である。この目的のために、トレーニング済ユニットは、超音波透過型イメージングモダリティを用いて取得された音速画像によってトレーニングされることができる。

【0020】

ＣＴ画像特徴を有する超音波画像であることを当業者に直ちに認識（理解）させる画像特徴の一例は、骨と組織の間の特徴的な強いコントラストであり、この場合、骨は相対的に明るく、組織は相対的に暗く表示される。ＭＲ画像特徴を有する超音波画像であることを当業者に直ちに認識（理解）させる典型的な画像特徴は組織コントラストに関する。特徴的なＭＲ組織コントラストは、例えば異なる組織種類ないし異なる器官の判別を可能にする。頭部イメージングの場合、ＭＲ画像に典型的なＭＲ画像特徴は、脳の白質と脳の灰白質とを極めて良好に区別させることができる。超音波エコー画像特徴を有する超音波画像であることを当業者に直ちに認識させる画像特徴は、例えばスペックルパターン、音波方向に沿ったシェーディング（Abschattungen）及び深度に依存する信号強度である。

【0021】

超音波ローデータとして超音波エコーローデータが使用される場合、トレーニング済ユニットによって、更に改善された画質及び（更に）改善されたコントラストを有する他のイメージングモダリティの画像特徴を有する超音波画像を生成することができる。

【0022】

超音波ローデータは、超音波画像を形成しない超音波データである。超音波ローデータは、例えば直接的に測定された超音波データ又は処理された、例えばフィルタ処理された超音波データである（但しこの処理は画像生成を含まない）。とりわけ、超音波ローデータは、０次元、１次元又は２次元であり得る超音波受信アレイの個別要素の測定データである。超音波ローデータは、送信超音波の周波数成分からのみ構成されること又は周波数シフトされた周波数成分（「ドプラシフト」）又は非線形プロセスによって生成されるより高次の高調波周波数成分（「高調波周波数」）から構成されることも可能である。

【0023】

更に、超音波ローデータは、追加の調整（処理）によって生成可能である。これは、超音波エラストグラフィ（Elastographie）測定のための剪断波の測定又は特別な送信パルス波形及び例えばパルス反転又はパルスコーディングのようなコンビネーションを含む。

【0024】

トレーニング済ユニット提供部は、好ましくは、対象の超音波ローデータに基づき、超音波ローデータの取得のために使用された超音波イメージングモダリティに対応しない対象の超音波画像を生成するよう適合化されたニューラルネットワークを、機械学習によってトレーニングされたユニットとして提供するよう適合化されている。とりわけ、トレーニング済ユニット提供部は、ニューラルネットワークとして、深層学習（ディープラーニング）ネットワークを提供するよう適合化されている。ニューラル深層学習ネットワークの使用は、更に改善された画質及び画像中のより多くの情報量をもたらすことができる。トレーニング済ユニット提供部は、ニューラルネットワークとして、不完全に（nicht vollstaendig）畳み込むニューラルネットワーク即ち不完全（non-fully）畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を提供するよう適合化されることも可能である。この種の不完全畳み込みニューラルネットワークの使用により、ニューラルネットワークに基づく超音波画像の生成は、パターン認識に依拠しないか又は少なくともパターン認識のみには依拠しない。これにより、生成される超音波画像の質は更に改善されることができる。不完全畳み込みニューラルネットワークは、畳み込み演算を実行しない少なくとも１つの層（“layer”）を有する。一実施形態では、不完全畳み込みニューラルネットワークは、畳み込み演算を実行するただ１つの層を有する。更なる一実施形態では、不完全畳み込みニューラルネットワークは、畳み込み演算を実行する複数の層を有し、この場合、畳み込み演算を実行する層の数（第１層数）は、畳み込み演算を実行しない層の数（第２層数）より小さい。好ましくは、第１層数は、不完全畳み込みニューラルネットワークの層数の３０％以下、更に好ましくは２０％以下を含む。これに応じて、第２層数は、不完全畳み込みニューラルネットワークの層数の好ましくは７０％以上、更に好ましくは８０％以上を含む。更に、好ましい一実施形態では、第１層数は不完全畳み込みニューラルネットワークの１つ又は２つの層のみを含み、第２層数は不完全畳み込みニューラルネットワークの残りの層、即ち不完全畳み込みニューラルネットワークの層の総数マイナス１又はマイナス２を含む。畳み込み演算を実行しない層は、例えば全結合層（英語では“fully connected layers”）及び／又は制限ボルツマンマシン（Restricted Boltzmann Machines：“ＲＢＭ”）を含むことができる。一実施形態では、畳み込み演算を実行しない層は、全結合層（英語では“fully connected layers”）及び／又は制限ボルツマンマシン（“ＲＢＭ”）のみから構成される。

【0025】

超音波画像生成システムは、更に、超音波イメージングモダリティに対応しない対象の更なる画像を提供するための画像提供部を含むことができ、この場合、この更なる画像はトレーニング済ユニットを使用しないで生成されたものである。更に、超音波画像生成システムは、提供された更なる画像とトレーニング済ユニットを用いて生成された超音波画像を一緒に記録するよう適合化された記録部を含むことができる。記録部は、提供された更なる画像がトレーニング済ユニットを用いて生成された超音波画像と一緒に記録されるよう該更なる画像を変換するよう適合化されることも可能である。提供された更なる画像は、好ましくは、予め既に他のイメージングモダリティによって取得され記憶部に格納されている画像であり、この場合、記憶部がこの予め取得されている画像を提供する。この記憶部は、従って、画像提供部として理解されることができるであろう。この予め取得されている画像は、例えば、ＣＴ画像、ＭＲ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、ＭＰＩ画像又は超音波ローデータの取得のために使用された超音波イメージングモダリティとは異なる他のイメージングモダリティの画像である。予め取得されている画像は、これは好ましくは超音波ローデータに基づくものではなく、例えばＣＴローデータ又はＭＲローデータに基づくものであるが、超音波ローデータに基づきトレーニング済ユニットを用いて生成された超音波画像よりも、一層改善された画質を有することができる。トレーニング済ユニット及び超音波ローデータを用いて生成された超音波画像と一緒に記録されるよう、提供された更なる画像即ち例えばＣＴ画像又はＭＲ画像を変換することによって、更に改善された画質を有することができる対象の画像を提供することができる。

【0026】

超音波画像生成システムは、エレメント決定部とインジケータ生成部を含むことができ、この場合、エレメント決定部は、トレーニング済ユニットを用いて生成された画像中におけるエレメントの位置を決定するよう適合化されており、インジケータ生成部は、提供された更なる画像におけるエレメントの位置を表示するインジケータを、記録（Registrierung）と決定された位置とに基づいて生成するよう適合化されている。エレメントは、とりわけ、例えばカテーテル又はニードルのような侵襲型器具であることが可能であり、この場合、提供された更なる画像は、侵襲型器具が身体に導入（挿入）される前に取得された画像であることが可能である。従って、提供された更なる画像は侵襲前画像であることが可能である。身体中における侵襲型器具の位置を確定（決定）するために、エレメント決定部及びインジケータ生成部によって、トレーニング済ユニットと超音波ローデータを用いて生成されかつ侵襲画像であり得る超音波画像中において、当該器具が検出されること、とりわけセグメント化されることが可能であり、かくして、この位置が、例えばＣＴ画像又はＭＲ画像である侵襲前画像中に表示されることができる。これにより、例えば、外科医が侵襲型器具を身体の内部で動かしている最中に、外科医をより良好にガイドすることを可能にすることができる。

【0027】

記録部は、好ましくは、記録のために弾性変換を実行するよう適合化されている。弾性変換の使用は、トレーニング済ユニットを用いかつ超音波ローデータに基づいて生成された超音波画像の更に改善された記録、とりわけ更に改善された変換をもたらすことができる。これもまた、画質の更なる改善を可能にすることができる。侵襲的介入（手術）中の外科医の上記のガイドも、これによって改善されることができる。

【0028】

画像提供部と画像生成部は、提供された更なる画像とトレーニング済ユニットを用いて生成された超音波画像とが同じイメージングモダリティに対応するよう適合化されていることが好ましい。これは、トレーニング済ユニットによって生成された超音波画像が、提供された更なる画像の取得に使用されたイメージングモダリティに対応する画像特徴を有することを意味する。換言すれば、この例では、ユニットのトレーニングのために、提供された更なる画像の取得にも使用されたイメージングモダリティの画像が使用されたのである。例えば、ユニットのトレーニングのために、ＭＲ画像が使用されたのであり、提供された更なる画像はＭＲ画像なのである。これもまた、改善された記録、従って例えば更に改善された画質及び／又は侵襲的介入（手術）中における外科医の改善されたガイドをもたらすことができる。

【0029】

超音波画像生成システムは、ユニットをトレーニングするためのトレーニング部を含むことができ、この場合、トレーニング部は、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると提供された画像を出力するよう適合化されている。ここで、出力される画像は、既述の通り、超音波画像であり、従って、正確には、他のイメージングモダリティによって生成された画像ではないため、このことは、提供された画像を出力する目的でトレーニングが行われるが、これは達成（実現）されないことを意味する。換言すれば、トレーニングは、トレーニングされるべきユニットによって生成される出力画像と対応するトレーニング画像との間の差異が最小化されるよう実行される。

【0030】

超音波画像生成システムは、従って、例えば超音波ローデータに基づいてＣＴ画像特徴又はＭＲ画像特徴を有する画像を生成するために使用されることができるだけではなく、トレーニング済ユニットを更にトレーニングするためにも使用されることができる。この更なるトレーニングは、機械学習によってトレーニングされたユニットの改善をもたらすことができ、従って、例えば超音波ローデータに基づいて生成されＣＴ画像特徴又はＭＲ画像特徴を有する画像の画質の更なる改善ももたらすことができる。

【0031】

トレーニング部は、従って、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると例えばＭＲ画像のような他のイメージングモダリティの夫々の提供された画像を出力するよう、ユニットをトレーニングすることを試みる。トレーニングはこの目的で実行されるが、既述の通り、トレーニング済ユニットによって生成された超音波画像は、例えばトレーニングのために使用されるＭＲ画像から判別される。この判別は、例えば、トレーニング済ユニットによって生成された超音波画像が上記の深度分解能低下のような超音波画像特徴を有することができることを基礎（基準）とする。トレーニング部は、他のイメージングモダリティのトレーニングのために使用される画像に可及的に良好に対応する超音波画像を生成するために、トレーニング済ユニットによって生成される超音波画像と他のイメージングモダリティのトレーニングのために使用される画像との間の差異が最小化されるよう、ユニットをトレーニングするよう適合化されている。

【0032】

更に、上記の課題は、機械学習によってユニットをトレーニングするためのトレーニングシステムによって解決される。該トレーニングシステムは、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象（被検体）の超音波ローデータを提供するための超音波データ提供部、
・機械学習によってトレーニングされるべきユニットを提供するためのトレーニング予定ユニット（Zu-Trainierende-Einheit：トレーニングされるべきユニット）提供部、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない対象の画像を提供するための画像提供部、
・トレーニング済ユニットが対象の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたトレーニング予定ユニットをトレーニングするためのトレーニング部
を含む。ここで、出力される画像は、既述の通り、超音波画像であり、従って、正確には、他のイメージングモダリティによって生成された画像ではないため、このことは、この画像を出力する目的でトレーニングが行われるが、これは達成（実現）されないことを意味する。換言すれば、トレーニングは、トレーニング予定ユニットによって生成される出力画像と対応するトレーニング画像との間の差異が最小化されるよう実行される。

【0033】

トレーニング部は、従って、既述の通り、トレーニング済ユニットによって生成された超音波画像と例えばＭＲ画像のような提供された画像との間の差異が最小化されるよう、構成されている。このように適正化（最適化）されたトレーニング済ユニットは、次いで、超音波ローデータに基づき、トレーニングのために使用された提供された画像の生成に使用されたイメージングモダリティの特徴を有する超音波画像を生成することになる。

【0034】

画像提供部は、対象の画像が記憶される、かつ、記憶された画像を提供するよう適合化されている記憶部であることも可能である。画像提供部は、画像を受信するようかつ受信した画像を提供するよう適合化されている受信部であることも可能である。更に、画像提供部は、画像を取得するようかつ取得した画像を提供するよう適合化されている測定ないし取得部であることも可能である。例えば、画像提供部はＣＴシステム又はＭＲシステムであることが可能である。提供される画像は、例えば、ＣＴ画像、ＭＲ画像又は、例えばＰＥＴ画像、ＳＰＥＣＴ画像又はＭＰＩ画像のような、超音波ローデータの取得に使用されたイメージングモダリティではない他のイメージングモダリティの画像である。

【0035】

超音波データ提供部と画像提供部は、超音波ローデータ及び提供される画像を対象の同じ領域から、とりわけ同時に、取得するよう適合化されていることが好ましい。超音波ローデータ及び提供される画像の同時取得によって、及び、この同時に取得された超音波ローデータと例えばニューラルネットワークのようなユニットのトレーニングのための画像を使用することによって、対象の運動によるユニットのトレーニングの質の低下を阻止することができる。このため、トレーニング済ユニットが超音波ローデータに基づき例えばＭＲ画像特徴を有する超音波画像を生成するために使用される場合、最終的にトレーニングされたユニットの改善、従って、画質の更なる改善が可能になる。

【0036】

トレーニング部は、ａ）まず、提供された超音波ローデータに基づき、対象の超音波画像、とりわけ超音波断層撮影画像を、このためにトレーニング予定ユニットを使用することなく、生成するよう、ｂ）次に、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると生成された超音波画像を出力するようにユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると、画像提供部から提供されたものであり、とりわけ断層撮影画像である提供された画像を出力するようにトレーニング済ユニットを更にトレーニングするよう、適合化されていると更に好ましい。ここで、出力される画像は、既述の通り、超音波画像であり、従って、正確には、他のイメージングモダリティによって生成された画像ではないため、このことは、この画像を出力する目的でトレーニングが行われるが、これは達成（実現）されないことを意味する。換言すれば、トレーニングは、トレーニング予定ユニットによって生成される出力画像と対応するトレーニング画像との間の差異が最小化されるよう、実行される。

【0037】

従って、ユニットを２段階的にトレーニングするよう構成することが可能であり、この場合、第１段階では、幾何学的マッピング（Abbildung）がトレーニングされ、第２段階では、コントラストマッピング、即ち、他のイメージングモダリティに対する超音波イメージングモダリティのマッピングがトレーニングされる。この２段階プロセスによって、トレーニング済ユニットを更に改善することができ、従って、画像生成のためにトレーニング済ユニットが使用される場合、超音波ローデータに基づいて生成される例えばＣＴ画像特徴又はＭＲ画像特徴を有する超音波画像の質を更に改善することができる。更に、この２段階プロセスによって、トレーニングの成功をより迅速に達成することもできる。

【0038】

超音波データ提供部は、超音波エコーローデータと超音波透過ローデータを超音波ローデータとして提供するよう、適合化されることも可能である。更に、トレーニング部は、ａ）まず、提供された超音波透過ローデータに基づき、対象の超音波断層撮影画像を、そのために、トレーニング予定ユニットを使用することなく、生成するよう、ｂ）次に、トレーニング済ユニットが対象の提供された超音波透過ローデータが入力されると生成された超音波断層撮影画像を出力するようにユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象の提供された超音波エコーローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにトレーニング済ユニットを更にトレーニングするよう、適合化されることが可能である。ここで、提供される画像は好ましくは断層撮影画像であり、出力される画像は、既述の通り、超音波画像であり、従って、正確には、他のイメージングモダリティによって生成された画像ではないため、これは、この場合も、この画像を出力する目的でトレーニングが行われるが、これは達成（実現）されないことを意味する。換言すれば、トレーニングは、トレーニング予定ユニットによって生成される出力画像と対応するトレーニング画像との間の差異が最小化されるよう、実行される。

【0039】

超音波透過ローデータに基づく超音波断層撮影画像の生成は、例えば、とりわけ超音波透過ローデータのみを使用する既知の再構成であることが可能である。尤も、超音波透過ローデータに基づく超音波断層撮影画像の生成は、追加的に超音波エコーローデータを使用する再構成であることも可能であり、この場合、対象の内部における音速、とりわけ音速マップ（Schallgeschwindigkeitskarte）を決定するために、超音波透過ローデータが使用され、そして、超音波断層撮影画像は、既知の方法により、超音波エコーローデータを用いて、決定された音速を考慮して再構成される。

【0040】

２段階トレーニングの枠内において、第１段階において既に超音波断層撮影画像によって幾何学的マッピングがトレーニングされ、かつ、第２段階中に、提供された断層撮影画像によってコントラスト伝達（Kontrastuebertragung）がトレーニングされると、即ち、これらの２つの段階において断層撮影画像によってトレーニングが行われると、トレーニング済ユニットのトレーニングは更に改善されることができる。このこともまた、改善されたトレーニング済ユニットが超音波ローデータに基づき例えばＣＴ画像特徴又はＭＲ画像特徴を有する超音波画像を生成するために使用される場合、最終的には、画質の更なる改善をもたらすことができる。

【0041】

更に、上記の課題は、機械学習によってトレーニングされたユニットによって解決される。該ユニットは、対象の超音波ローデータに基づき、超音波ローデータの取得に使用された超音波イメージングモダリティに対応しない該対象の超音波画像を生成するよう適合化されている。

【0042】

更に、上記の課題は、対象の画像を生成するための超音波画像生成方法によって解決される。該超音波画像生成方法は、
・超音波イメージングモダリティによって取得された対象の超音波ローデータを、超音波データ提供部によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティに対応しない対象の超音波画像を該対象の超音波ローデータに基づき生成するよう適合化された機械学習によってトレーニングされたユニットを、トレーニング済ユニット提供部によって提供すること、及び、
・該対象の提供された超音波ローデータに基づき、提供されたトレーニングされたユニット（提供されたトレーニング済ユニット）を用いて、該対象の画像を、画像生成部によって生成すること
を含む。

【0043】

更に、上記の課題は、機械学習によってユニットをトレーニングするためのトレーニング方法によって解決される。該トレーニング方法は、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象の超音波ローデータを、超音波データ提供部によって提供すること、
・トレーニングされるべきユニットを、トレーニング済ユニット提供部によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない該対象の画像を、画像提供部によって提供すること、及び、
・トレーニング済ユニットが該対象の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたユニットを、トレーニングユニットによってトレーニングすること
を含む。ここで、出力される画像は、既述の通り、超音波画像であり、従って、正確には、他のイメージングモダリティによって生成された画像ではないため、このことは、提供された画像を出力する目的でトレーニングが行われるが、これは達成（実現）されないことを意味する。換言すれば、トレーニングは、トレーニング予定ユニットによって生成される出力画像と対応するトレーニング画像との間の差異が最小化されるように、実行される。

【0044】

更に、上記の課題は、対象の画像を生成するためのコンピュータプログラムによって解決される。該コンピュータプログラムは、請求項１５に記載の超音波画像生成方法が請求項１〜８の何れかに記載の画像を生成するための超音波画像生成システムで実行されるとき、該方法を実行するよう、適合化されている。

【0045】

更に、上記の課題は、機械学習によってユニットをトレーニングするためのコンピュータプログラムによって解決される。該コンピュータプログラムは、請求項１６に記載の機械学習によってユニットをトレーニングするためのトレーニング方法が請求項９〜１３の何れかに記載の機械学習によってユニットをトレーニングするためのトレーニングシステムで実行されるとき、該方法を実行するよう、適合化されている。

【0046】

請求項１に記載の超音波画像生成システム、請求項９に記載のトレーニングシステム、請求項１５に記載の超音波画像生成方法、請求項１６に記載のトレーニング方法及び請求項１７及び１８に記載のコンピュータプログラムは、とりわけ従属請求項に記載されているような、類似の及び／又は同一の実施形態を有すると理解されるべきである。

【0047】

ここに、本発明の好ましい実施の形態を示す。
（形態１）上記第１の視点参照。
（形態２）形態１の超音波画像生成システムにおいて、超音波データ提供部は、超音波エコーイメージングモダリティによって取得された超音波エコーローデータを超音波ローデータとして提供するよう、適合化されていることが好ましい。
（形態３）形態１又は２の超音波画像生成システムにおいて、トレーニング済ユニット提供部は、コンピュータ断層撮影画像特徴、磁気共鳴画像特徴、ポジトロン放出断層撮影画像特徴、単光子放出コンピュータ断層撮影画像特徴及び磁気粒子画像特徴からなる群から選択される画像特徴を有する対象の画像を、該対象の超音波ローデータに基づき生成するよう適合化されたトレーニングされたユニットを、前記トレーニング済ユニットとして提供するよう、適合化されていることが好ましい。
（形態４）形態１〜３の何れかの超音波画像生成システムにおいて、トレーニング済ユニット提供部は、超音波ローデータの取得のために使用された超音波イメージングモダリティによって生成されることができる超音波画像に対応しない対象の超音波画像を該対象の超音波ローデータに基づいて生成するよう適合化されたニューラルネットワークを、前記機械学習によってトレーニングされたユニットとして提供するよう、適合化されていることが好ましい。
（形態５）形態４の超音波画像生成システムにおいて、トレーニング済ユニット提供部は、不完全畳み込みニューラルネットワークを前記ニューラルネットワークとして提供するよう、適合化されていることが好ましい。
（形態６）形態１〜５の何れかの超音波画像生成システムにおいて、該超音波画像生成システムは、超音波イメージングモダリティによって生成されることができる超音波画像に対応しない対象の更なる画像を提供するための画像提供部を含むこと、この更なる画像はトレーニング済ユニットを用いないで生成されたものであることが好ましい。
（形態７）形態６の超音波画像生成システムにおいて、該超音波画像生成システムは、提供された更なる画像とトレーニング済ユニットを用いて生成された画像とを一緒に記録するための記録部を含むことが好ましい。
（形態８）形態６又は７の超音波画像生成システムにおいて、該超音波画像生成システムは、
・トレーニング済ユニットを用いて生成された画像中におけるエレメントの位置を決定するためのエレメント決定部、及び、
・提供された更なる画像中における該エレメントの位置を表示するインジケータを、記録及び決定された位置に基づいて生成するためのインジケータ生成部
を含むことが好ましい。
（形態９）上記第２の視点参照。
（形態１０）形態９のトレーニングシステムにおいて、超音波データ提供部と画像提供部は、超音波ローデータと画像を対象の同じ領域から取得するよう、適合化されていることが好ましい。
（形態１１）形態９又は１０のトレーニングシステムにおいて、トレーニング部は、ａ）まず、提供された超音波ローデータに基づき、対象の超音波画像を生成するよう、ｂ）次に、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると生成された超音波画像を出力するようにトレーニング予定ユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにユニットをトレーニングするよう、適合化されていることが好ましい。
（形態１２）形態９〜１１の何れかのトレーニングシステムにおいて、超音波データ提供部は、超音波エコーローデータと超音波透過ローデータを超音波ローデータとして提供するよう、適合化されていることが好ましい。
（形態１３）形態１２のトレーニングシステムにおいて、トレーニング部は、ａ）まず、提供された超音波透過ローデータに基づき、対象の超音波断層撮影画像を生成するよう、ｂ）次に、トレーニング済ユニットが対象の提供された超音波エコーローデータが入力されると生成された超音波断層撮影画像を出力するようにユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象の提供された超音波エコーローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにユニットをトレーニングするよう、適合化されていることが好ましい。
（形態１４）上記第３の視点参照。
（形態１５）上記第４の視点参照。
（形態１６）上記第５の視点参照。
（形態１７）上記第６の視点参照。
（形態１８）上記第７の視点参照。
以下に本発明の実施例を添付の図面を参照して説明する。

【図面の簡単な説明】

【0048】

【図1】対象の画像の生成のための超音波画像生成システムの一実施例を模式的かつ例示的に示す。

【図2】ニューラルネットワークの一例をトレーニングするためのトレーニングシステムの一実施例を模式的かつ例示的に示す。

【図3】トレーニングシステムのローデータ取得部の一例の詳細を模式的かつ例示的に示す。

【図4】対象の画像の生成のための超音波画像生成方法の一実施例を説明するフローチャートの一例を示す。

【図5】ニューラルネットワークの一例をトレーニングするためのトレーニングシステムの一実施例を説明するフローチャートの一例を示す。

【実施例】

【0049】

図１には、患者の画像の生成のための超音波画像生成（イメージング）システムの一実施例が模式的かつ例示的に示されている。超音波画像生成システム１は、超音波測定装置４（即ち超音波イメージングモダリティ）と、超音波測定装置４を制御するための制御部５とを含む。超音波測定装置４及び制御部５を用いることによって、例えば、医師は患者台３上に存在する患者２の超音波ローデータを取得することができる。この実施例では、超音波測定装置４及び制御部５は、超音波エコーローデータを取得するために適合化されている。

【0050】

超音波測定装置４は、例えば、超音波ローデータの取得中に医師が手持ち操作可能な装置（英語の「ハンドヘルド装置（handheld device）」）とすることができる。尤も、超音波測定装置は据置型装置であることも勿論可能である。更に、超音波測定装置は、例えば医師によって患者２に取り付けられたのち手から解放されることが可能であり、そのため、超音波ローデータの取得中に手持ち操作されない。

【0051】

超音波測定装置４及び制御部５によって超音波ローデータは提供されることができるため、超音波測定装置４及び制御部５は、患者２の超音波ローデータの提供のための超音波データ提供部の構成要素として理解されることができる。

【0052】

超音波画像生成システム１は、更に、機械学習によって生成されたユニットを、この例では患者の超音波ローデータに基づいて超音波エコーイメージングモダリティ４に対応しない当該患者の画像を生成するよう適合化されたニューラルネットワークを提供するためのトレーニング済ユニット提供部６を含む。従って、トレーニング済ユニット提供部は、この例では、ニューラルネットワーク提供部と称することもできる。この実施例では、トレーニング済ユニット提供部６は、ＭＲ画像特徴（Bildcharakteristika）を有する、例えばＴ１（重み付き）ＭＲ画像特徴を有する超音波画像を超音波ローデータに基づいて生成するよう適合化されており、この場合、ニューラルネットワークは深層学習ネットワーク、とりわけ不完全畳み込みニューラルネットワークである。更に、超音波画像生成システム１は、測定された超音波ローデータに基づき提供されたニューラルネットワークを用いて患者２のＭＲ画像特徴を有する超音波画像を生成するための画像生成部７を含む。

【0053】

超音波画像生成システム１は、好ましくは、超音波エコーイメージングモダリティ４に対応しない患者２の更なる画像を提供するための画像提供部８も含み、この場合、この画像はニューラルネットワークを用いないで生成されたものである。この実施例では、画像提供部８は、患者のＭＲローデータに基づき既知の再構成アルゴリズムを用いて予め、例えば既に数日前に生成されている患者のＭＲ画像を提供するよう適合化されている。これらの既知の再構成アルゴリズムは、例えばｋ空間から位置空間（実空間ないし座標空間：Ortsraum）へのフーリエ変換を含む。この予め取得（撮像）されたＭＲ画像は、画像生成部８によって生成された画像と共に、記録部９によって記録されることができ、この場合、予め取得されたＭＲ画像はとりわけ弾性変換によって変換されることができる。従って、予め取得され変換されたＭＲ画像は、画像生成部７によって生成された画像と共に記録されることによって生成されることができる。

【0054】

更に、超音波画像生成システム１は、ニューラルネットワークを用いて生成されＭＲ画像特徴を有する超音波画像におけるエレメントの位置を決定するよう適合化されたエレメント決定部１０を有することができる。このために、エレメント決定部１０は、例えば既知のセグメンテーションアルゴリズムを使用することができ、エレメントとは、例えば外科手術中に使用される侵襲型器具である。

【0055】

この侵襲型器具は、超音波ローデータに基づき生成されＭＲ画像特徴を有する超音波画像において、この画像の内部における該侵襲型器具の位置を確定（決定）するために、検出されることができる。ＭＲ画像特徴を有するこの超音波画像を、ＭＲローデータに基づき生成されている予め取得されたＭＲ画像と共に記録することによって、侵襲型器具の位置は予め取得されたＭＲ画像においても示されることができる。予め取得されたＭＲ画像が超音波ローデータに基づき生成されＭＲ画像特徴を有する超音波画像よりも改善された画質を有する場合、ＭＲローデータに基づき生成された「真正な（echt）」ＭＲ画像における侵襲型器具の位置の表示は、侵襲型器具を患者２の内部で動かす外科医のガイドを改善することができる。

【0056】

ＭＲローデータに基づき予め生成されたＭＲ画像における侵襲型器具の位置を表示するために、ＭＲローデータに基づき侵襲前に取得されたものである予め取得されたＭＲ画像における侵襲型器具の位置を表示するインジケータを（上記）記録及び決定された位置に基づき生成するよう適合化されたインジケータ生成部１１を使用することができる。

【0057】

超音波画像生成システム１は、更に、ニューラルネットワークをトレーニングする（ニューラルネットワークに学習させる）ためのトレーニング部１２を含み、トレーニング部１２は、トレーニング済（トレーニングされた）ニューラルネットワークが患者の提供された超音波ローデータが入力されると画像提供部８によって生成されたＭＲ画像を出力するよう、ニューラルネットワークをトレーニングする。即ち、超音波画像生成システム１は、超音波ローデータに基づきニューラルネットワークを用いて例えばＭＲ画像特徴を有する超音波画像を生成するよう適合化されることができるだけではなく、ニューラルネットワークを更に改善するために当該ニューラルネットワークを更にトレーニングするよう適合化されることもできる。トレーニング部は、超音波ローデータが入力されるとＭＲ画像が出力されるようニューラルネットワークをトレーニングすることを試みる。尤も、ニューラルネットワークによって生成された画像は超音波画像であるため、このことは近似的にのみ可能であることは明らかである。従って、トレーニング部１２は、ニューラルネットワークによって生成された超音波画像とＭＲ画像との間の差異が最小化されるようにニューラルネットワークをトレーニングするよう適合化される。従って、「トレーニング済ニューラルネットワークが患者の提供された超音波ローデータが入力されると［．．．］ＭＲ画像を出力するようニューラルネットワークをトレーニングする」という表現は、トレーニング部１２が、相応の差異が最小化されることによって、ニューラルネットワークをこの目的でトレーニングするが、最終的にトレーニングされたニューラルネットワークから出力される超音波画像は正確にはＭＲ画像に等しいのではなく、ＭＲ画像に可及的良好に対応（相当）することを意味する。

【0058】

超音波画像生成システム１は、更に、例えばキーボード、コンピュータマウス、タッチパネル式ディスプレイ等のような入力部１３と、例えばモニタのような出力部１４を含む。超音波画像生成システム１は、とりわけ、画像生成部によって生成された画像を表示するよう適合化される。更に、例えば上記の予め取得され変換されたＭＲ画像のような他の画像も出力部１４に示されることができる。侵襲型器具の位置を表示するインジケータを有する予め取得されたＭＲ画像も出力部１４に示されることができる。

【0059】

図２には、ニューラルネットワークのトレーニングのためのトレーニングシステムの一実施例が例示的かつ模式的に示されている。

【0060】

トレーニングシステム３０は、ＭＲローデータ、超音波エコーローデータ及び超音波透過ローデータを取得するためのローデータ取得部２０を含む。更に、トレーニングシステム３０は、ＭＲローデータの取得を制御するための及びＭＲローデータに基づきＭＲ画像を再構成するためのＭＲ制御再構成部２１を含む。更に、トレーニングシステム３０は、超音波エコーローデータ及び超音波透過ローデータの取得を制御するための超音波制御部２２と、超音波透過ローデータ及び超音波エコーローデータに基づき超音波断層撮影画像を再構成するための超音波再構成部２３を含み、この場合、超音波透過ローデータは患者の内部における音速の決定のために使用され、この音速は、次いで、超音波エコーローデータを用いた超音波断層撮影画像の再構成の際に考慮される。超音波再構成部２３は、ニューラルネットワークを使用することなく超音波断層撮影画像を再構成するよう構成されるのが好ましい。超音波再構成部２３は、その代わりに、既知の超音波断層撮影再構成アルゴリズムを使用することが好ましい。尤も、超音波再構成部２３は、再構成のためにニューラルネットワークを使用するよう適合化されることも可能である。ＭＲ制御再構成部２１も、ＭＲローデータに基づくＭＲ画像の再構成のために、ニューラルネットワークを使用せず、例えばｋ空間から位置空間へのフーリエ変換に基づく既知のＭＲ再構成アルゴリズムを使用することが好ましい。尤も、ＭＲ制御再構成部２１も、再構成のためにニューラルネットワークを使用するよう適合化されることも可能である。

【0061】

ローデータ取得部２０は超音波エコーローデータ及び超音波透過ローデータを取得するよう適合化されており、ローデータのこの取得は超音波制御部２２によって制御されるため、ローデータ取得部２０及び超音波制御部２２は、患者２の超音波ローデータの提供のための超音波データ提供部の構成要素として理解することができる。ローデータ取得部２０は更にＭＲローデータを取得し、ＭＲ制御再構成部２１はこのＭＲローデータに基づき患者２のＭＲ画像を再構成するため、ローデータ取得部２０及びＭＲ制御再構成部２１は、超音波イメージングモダリティに対応しない患者２の画像の提供のための画像提供部の構成要素として理解することができる。ローデータ取得部２０、ＭＲ制御再構成部２１及び超音波制御部２２は、ＭＲローデータ、超音波エコーローデータ及び超音波透過ローデータが患者２の同じ領域から同時に取得されるよう適合化される。

【0062】

トレーニングシステム３０は、更に、トレーニングされるべきニューラルネットワークを提供するためのトレーニング予定ユニット提供部２４と、提供されたニューラルネットワークをトレーニングするためのトレーニング部２５を含む。トレーニング部２５は、トレーニング済ニューラルネットワークが患者２の測定された超音波エコーローデータが入力されると再構成されたＭＲ画像を出力するよう、提供されたニューラルネットワークをトレーニングする。ここで説明する例では、トレーニング予定ユニット（トレーニングされるべきユニット）はニューラルネットワークであるため、トレーニング予定ユニット提供部２４は、ニューラルネットワーク提供部として理解することもできる。トレーニング部２５は、この場合、ニューラルネットワークのこのトレーニングを２段階的に実行するよう適合化されることが好ましい。第１段階では、ニューラルネットワークは、トレーニング済ニューラルネットワークが患者２の超音波透過ローデータが入力されると再構成された超音波断層撮影画像を出力するよう、トレーニングされる。このトレーニングの後、第２段階において、ニューラルネットワークは、ニューラルネットワークが患者２の測定された超音波エコーローデータが入力されるとＭＲ制御再構成部２１によって再構成されたＭＲ画像を出力するよう、トレーニングされる。

【0063】

この場合も、トレーニング部２５は、患者２の測定された超音波エコーローデータが入力されると再構成されたＭＲ画像が出力されることを目的として、提供されたニューラルネットワークをトレーニングするが、ニューラルネットワークによって生成された画像は超音波画像でありＭＲ画像ではないため、このことは正確には達成されないことに留意すべきである。尤も、ニューラルネットワークが再構成されたＭＲ画像を出力することを目的としてトレーニングすることによって、トレーニング済ニューラルネットワークによって生成された超音波画像は再構成されたＭＲ画像に可及的に良好に一致し、とりわけ対象（被検体）のＭＲ画像特徴はニューラルネットワークによって生成された超音波画像において視認可能になる。トレーニング部２５は、トレーニング済ニューラルネットワークによって生成された超音波画像と再構成されたＭＲ画像との間の差異が最小化されるよう、提供されたニューラルネットワークをトレーニングする。従って、ＭＲ画像とトレーニング済ニューラルネットワークによって生成された超音波画像との間の差異を可及的に小さくすることが試みられる。

【0064】

ニューラルネットワークのトレーニングは極めて多くのトレーニングセットで実行される。この場合、各トレーニングセットは患者の超音波画像ローデータ及びＭＲ画像を有する（含む）。

【0065】

トレーニングシステム３０は、更に、キーボード、コンピュータマウス、タッチパネル式ディスプレイ等のような入力部２６と、例えばモニタのような出力部２７を含む。

【0066】

ローデータ取得部２０は、例えば超音波エコーローデータ及び超音波透過ローデータを取得するための超音波プローブ（ないしゾンデ）（複数）のための保持器（複数）と、これらの超音波プローブを含む。更に、ローデータ取得部２０は、超音波プローブ（複数）を備えた保持器（複数）が結合（固定）されているＭＲシステムを含む。保持器（複数）は患者台３に結合（固定）されることも可能である。超音波プローブ（の表面）における流体充填マーカーによって、ＭＲ画像（複数）における各音波ヘッドの位置及び方向（配向）を測定することができる。かくして、ＭＲシステムと超音波プローブ（複数）の両者の座標系が実現された。代替的に、例えば光学的トラッキングシステムのような他のトラッキング技術に基づく他のトラッキングシステムも使用可能である。

【0067】

ローデータ取得部２０は図３に多少詳しく記載されている。ローデータ取得部２０は、超音波ローデータを取得するために、ＭＲローデータ取得部３０、超音波送受信器４１及び超音波受信器４２を含む。超音波透過ローデータを取得するために、超音波送受信器４１は超音波送信器として駆動され、送信された超音波は超音波受信器４２によって受信される。超音波送受信器４１と超音波受信器４２は、送信された超音波が患者２を通り抜けた後、超音波受信器４２によって受信されるように配置される。この実施例では、超音波送受信器４１は保持器４０によって患者２の上方に配置され、超音波受信器４２は患者台３に組み込まれている。超音波受信器４２は、超音波受信器４２が患者台３の上面に突出部が形成されないよう患者台３に組み込まれることが好ましい。とりわけ、超音波受信器４２は患者台３内に埋め込まれること、例えば患者が視認できないよう（患者台３の）カバーの後（裏）側に配置されることが好ましい。

【0068】

ＭＲマーカー４３は、ＭＲローデータ取得部３０によって規定される座標系における超音波送受信器４１、４２の位置及び方向（配向）を確定（決定）するために、超音波送受信器４１と超音波受信器４２に配されることができる。これにより、超音波エコーローデータ、超音波透過ローデータ及びＭＲローデータがすべて患者２の同じ領域に関するものであることが保証されることができる。対応する記録は、例えば超音波制御部２２又はＭＲ制御再構成部２１によって実行することができる。ＭＲマーカー（複数）４３は、これらをＭＲ画像において視認可能にするために、例えば水のような流体が充填されている。

【0069】

以下に、対象（被検体）の画像を生成するための超音波画像生成方法の一実施例を図４に示されているフローチャートを参照して例示的に説明する。

【0070】

ステップ１０１では、患者２の超音波ローデータが超音波データ提供部４、５によって提供される。とりわけ、制御部５によって制御される超音波測定装置４によって超音波エコーローデータが測定される。

【0071】

ステップ１０２では、超音波エコーローデータに基づいて超音波イメージングモダリティに対応しない超音波画像が生成されるようトレーニングされたニューラルネットワークが提供される。とりわけ、ニューラルネットワークは、超音波エコーローデータに基づいてＭＲ画像特徴を有する超音波画像が生成されるようトレーニングされたものである。

【0072】

ステップ１０３では、ステップ１０２で提供されたニューラルネットワークを用いて、ステップ１０１で提供された超音波エコーローデータに基づき、画像生成部７によって、患者２の画像が生成される。これは、とりわけ、超音波測定装置４によって測定された超音波エコーローデータに基づき、ニューラルネットワークを用いて、患者のＭＲ画像特徴を有する超音波画像が生成されることを意味する。ステップ１０４では、そのようにして生成された画像が出力部１４において表示される。

【0073】

以下に、ニューラルネットワークのトレーニングのためのトレーニング方法の一実施例を図５に示されているフローチャートを用いて例示的に説明する。

【0074】

ステップ２０１では、超音波データ提供ユニット２０、２２によって患者２の超音波ローデータが提供される。とりわけ、超音波エコーローデータと超音波透過ローデータは、超音波制御部２２によって制御されるローデータ取得部２０によって同時に取得される。ステップ２０２では、画像提供部２０、２１によって患者２の画像が提供される。これは、とりわけ、ＭＲローデータがローデータ取得部２０によって超音波エコーローデータ及び超音波透過ローデータの測定と同時に測定されることを意味する。ＭＲローデータは、次いで、ＭＲ画像に再構成される。

【0075】

ステップ２０３では、トレーニング済ユニット提供部２４からニューラルネットワークが提供され、ステップ２０４では、トレーニング部２５は、トレーニング済ニューラルネットワークが患者２の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたニューラルネットワークをトレーニングする。これは、トレーニング部２５は、トレーニング済ニューラルネットワークが患者２の提供された超音波ローデータが入力されると提供された画像を出力する目的で、提供されたニューラルネットワークをトレーニングすることを意味する。尤も、トレーニング済ニューラルネットワークから出力される画像は超音波画像であるため、既述の通り、提供された画像と１対１の関係では等しくならない。それにも拘らず、トレーニング部２５は、提供されたニューラルネットワークを上記の目的でトレーニングし、それによって、提供された画像とトレーニング済ニューラルネットワークによって生成された超音波画像との間の差異を最小化することを試みる。このトレーニングは２段階的に実行されることが可能であり、この場合、超音波透過ローデータ及び超音波エコーローデータは、ニューラルネットワークを使用することなく超音波断層撮影画像を再構成するために使用されることができ、そのために、この場合、第１段階では、ニューラルネットワークは、超音波エコーローデータが入力されるとトレーニング済ニューラルネットワークが再構成された超音波断層撮影画像を出力するよう、トレーニングされる。第２段階では、ネットワークは、超音波エコーローデータが入力されると再構成されたＭＲ画像が出力されるよう、更にトレーニングされる。

【0076】

上記の実施例ではニューラルネットワークによって生成された画像はＭＲ画像特徴を有するが、ニューラルネットワークは、例えばＣＴ画像特徴を有する超音波画像、ＰＥＴ画像特徴を有する超音波画像、ＳＰＥＣＴ画像特徴を有する超音波画像又はＭＰＩ画像特徴を有する超音波画像のような他のイメージングモダリティの画像特徴を有する超音波画像を、超音波ローデータに基づいて生成するよう、トレーニングされることもできる。

【0077】

超音波ローデータに基づきＭＲ画像特徴を有する超音波画像を生成するよう、ニューラルネットワークが構成されている場合、超音波画像は、所定のＭＲコントラストの画像特徴を有することができる。これは、ニューラルネットワークは、超音波ローデータに基づき、所望のコントラストを即ちとりわけ所望の組織タイプの（組織特異的）コントラストを有するＭＲ画像特徴を有する超音波画像を生成するよう、トレーニングされることができることを意味する。画像は、例えば、Ｔ１画像特徴、Ｔ２画像特徴、Ｔ２^＊画像特徴、プロトン密度画像、灌流画像特徴、脂肪含有（Fettgehalt）画像特徴、拡散画像特徴、フロー（Fluss）画像特徴、運動画像特徴、磁化移動（Magnetisierungstransfer）画像特徴、化学交換飽和移動（Chemischer-Austausch-Saettigungs-Transfer）画像特徴等を有することができる。

【0078】

超音波画像生成システムは、異なるイメージングモダリティの画像特徴及び／又は同じイメージングモダリティの異なるコントラストタイプの画像特徴を有する超音波画像を夫々生成するようトレーニングされた複数のニューラルネットワークを提供するよう適合化されることも可能である。超音波画像生成システムは、生成されるべき超音波画像が対応することが望まれるイメージングモダリティの選択をユーザができるようにする選択部も有することができる。かくして、ユーザは、その後超音波ローデータに基づく画像生成のために使用される相応のニューラルネットワークを選択する可能性（手段）を有する。

【0079】

ニューラルネットワークがトレーニングされたのち、超音波ローデータに基づくだけで、例えばＣＴ画像特徴又はＭＲ画像特徴を有する超音波画像のような超音波画像の極めて迅速な生成が可能になる。更に、超音波ローデータは極めて迅速に、即ち例えば毎秒５０画像で、取得されることができるため、超音波画像生成システムは、例えば運動を極めて正確に観察するために、ＣＴ画像特徴又はＭＲ画像特徴を有する超音波画像又は超音波ローデータの取得のために使用された超音波イメージングモダリティではない他のイメージングモダリティに対応する超音波画像を、所定の期間にわたって極めて大きな時間分解能で取得するために、使用されることができる。従って、例えばＣＴ画像特徴又はＭＲ画像特徴を有する超音波画像をリアルタイムで提供することが可能になる。

【0080】

上記の実施例ではニューラルネットワークのトレーニングのために測定データが使用されるが、模擬データ（シミュレーションにより得られたデータ）、とりわけ模擬超音波ローデータ及び／又はシミュレーションに基づく画像もトレーニングのために使用されることができる。これらの模擬データは、例えば、実際の画像が含み得る画像アーチファクトを含まない理想化された画像である。これらの模擬データを使用することによって、ニューラルネットワークのトレーニングの質は一層改善されることができ、その結果、最終的には、例えばＣＴ画像特徴を有する超音波画像又はＭＲ画像特徴を有する超音波画像の生成の更なる改善を、トレーニング済ニューラルネットワークを用いて超音波ローデータに基づき、もたらすことができる。トレーニングのために、測定データと模擬データの組み合わせも使用することができる。

【0081】

上記の実施例ではトレーニングは２段階的に実行されているが、トレーニングは例えば１段階的に実行することも可能であり、この場合、ニューラルネットワークは、患者の超音波ローデータが入力されるとニューラルネットワークが他のイメージングモダリティの提供画像即ち例えばＭＲ制御再構成部２１によって再構成されたＭＲ画像を出力するよう、トレーニングされる。これに応じて、上記の実施例において説明した２段階トレーニングの第１段階は省略されることができる。

【0082】

上記の実施例は医療用イメージングに関するものであるが、超音波に基づく画像生成及びトレーニングは、例えば材料科学（物性研究）又は超音波顕微鏡のような他の分野でも使用可能である。患者は人間又は動物の患者であることが可能である。更に、超音波に基づく画像生成システム及びトレーニングシステムは技術的（工学的）対象にも適用可能である。

【0083】

上記の実施例では、トレーニング予定ユニット及びトレーニング済ユニットはニューラルネットワークであるが、これらのユニットは、機械学習（英語の“machine learning”）によってトレーニングされるないしはトレーニングされた他のユニットであることが可能である。これらのユニットは、例えば隠れマルコフ（Hidden Markov）モデル、教師付き（Supervised）辞書学習システム、ヘブ（Hebbian）学習システム又は勾配降下（Gradient Descent）学習システムであることが可能である。

【0084】

（特許）請求の範囲において、用語「有する（aufweisen）」及び「含む（umfassen）」は（記載されていない）他の要素又はステップを排除せず、不定冠詞“ein”は複数であることを排除しない。

【0085】

個々のシステム、個々の部又は個々の装置は、（特許）請求の範囲に記載されている複数の要素の機能を実行することができる。個々の機能および要素が異なる従属請求項に記載されているという事実は、これらの機能または要素の組み合わせも有利に使用できないということは意味しない。

【0086】

１つ又は複数の部又は装置によって実行される超音波ローデータの提供、ニューラルネットワークの提供、画像の生成等のようなプロセスは、（記載されていない）他の数の部又は装置によっても実行されることができる。本発明の超音波画像生成方法によるこれらのプロセス及び／又は超音波画像生成システムの制御及び／又は本発明のトレーニング方法によるトレーニングシステムの制御は、コンピュータプログラムのプログラムコードとして及び／又は相応のハードウェアとして具現化されることができる。

【0087】

コンピュータプログラムは、例えば、他のハードウェアの部分と一緒に又はその部分として駆動される光学記憶媒体又は固体記憶媒体のような適切な媒体に記憶及び／又は分散されることができる。尤も、コンピュータプログラムは、他の方式で、例えばインターネット又は他の電気通信システムを介して、作動される（実行される）ことも可能である。

【0088】

（特許）請求の範囲における図面参照符号は、当該図面参照符号によって（特許）請求の範囲の対象及び保護範囲を限定するものとして理解すべきではない。

【0089】

以下に本発明の可能な態様を付記する。
［付記１］対象の画像を生成するための超音波画像生成システム。
該超音波画像生成システムは、
・超音波イメージングモダリティによって取得された対象の超音波ローデータを提供するための超音波データ提供部、
・対象の超音波ローデータに基づき、超音波ローデータの取得のために使用された超音波イメージングモダリティに対応しない該対象の超音波画像を生成するよう適合化された、機械学習によってトレーニングされたユニット（以下「トレーニング済ユニット」という。）を提供するためのトレーニング済ユニット提供部、及び、
・該対象の提供された超音波ローデータに基づき、提供されたトレーニング済ユニットを用いて該対象の画像を生成するための画像生成部
を含む。
［付記２］上記の超音波画像生成システムにおいて、超音波データ提供部は、超音波エコーイメージングモダリティによって取得された超音波エコーローデータを超音波ローデータとして提供するよう、適合化されている。
［付記３］上記の超音波画像生成システムにおいて、トレーニング済ユニット提供部は、コンピュータ断層撮影画像特徴、磁気共鳴画像特徴、ポジトロン放出断層撮影画像特徴、単光子放出コンピュータ断層撮影画像特徴及び磁気粒子画像特徴からなる群から選択される画像特徴を有する対象の画像を、該対象の超音波ローデータに基づき生成するよう適合化されたトレーニングされたユニットを、前記トレーニング済ユニットとして提供するよう、適合化されている。
［付記４］上記の超音波画像生成システムにおいて、トレーニング済ユニット提供部は、超音波ローデータの取得のために使用された超音波イメージングモダリティに対応しない対象の超音波画像を該対象の超音波ローデータに基づいて生成するよう適合化されたニューラルネットワークを、前記機械学習によってトレーニングされたユニットとして提供するよう、適合化されている。
［付記５］上記の超音波画像生成システムにおいて、トレーニング済ユニット提供部は、不完全畳み込みニューラルネットワークを前記ニューラルネットワークとして提供するよう、適合化されている。
［付記６］上記の超音波画像生成システムにおいて、該超音波画像生成システムは、超音波イメージングモダリティに対応しない対象の更なる画像を提供するための画像提供部を含むこと、この更なる画像はトレーニング済ユニットを用いないで生成されたものである。
［付記７］上記の超音波画像生成システムにおいて、該超音波画像生成システムは、提供された更なる画像とトレーニング済ユニットを用いて生成された画像とを一緒に記録するための記録部を含む。
［付記８］上記の超音波画像生成システムにおいて、
該超音波画像生成システムは、
・トレーニング済ユニットを用いて生成された画像中におけるエレメントの位置を決定するためのエレメント決定部、及び、
・提供された更なる画像中における該エレメントの位置を表示するインジケータを、記録及び決定された位置に基づいて生成するためのインジケータ生成部
を含む。
［付記９］機械学習によってユニットをトレーニングするためのトレーニングシステム。
該トレーニングシステムは、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象の超音波ローデータを提供するための超音波データ提供部、
・機械学習によってトレーニングされるべきユニット（以下「トレーニング予定ユニット」という。）を提供するためのトレーニング予定ユニット提供部、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない対象の画像を提供するための画像提供部、及び、
・トレーニング済ユニットが対象の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたトレーニング予定ユニットをトレーニングするためのトレーニング部
を含む。
［付記１０］上記のトレーニングシステムにおいて、超音波データ提供部と画像提供部は、超音波ローデータと画像を対象の同じ領域から、とりわけ同時に、取得するよう、適合化されている。
［付記１１］上記のトレーニングシステムにおいて、トレーニング部は、ａ）まず、提供された超音波ローデータに基づき、対象の超音波画像を生成するよう、ｂ）次に、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると生成された超音波画像を出力するようにトレーニング予定ユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象の提供された超音波ローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにユニットをトレーニングするよう、適合化されている。
［付記１２］上記のトレーニングシステムにおいて、超音波データ提供部は、超音波エコーローデータと超音波透過ローデータを超音波ローデータとして提供するよう、適合化されている。
［付記１３］上記のトレーニングシステムにおいて、トレーニング部は、ａ）まず、提供された超音波透過ローデータに基づき、対象の超音波断層撮影画像を生成するよう、ｂ）次に、トレーニング済ユニットが対象の提供された超音波透過ローデータが入力されると生成された超音波断層撮影画像を出力するようにユニットをトレーニングするよう、ｃ）最後に、トレーニング済ユニットが対象の提供された超音波エコーローデータが入力されると、画像提供部から提供された前記提供された画像を出力するようにユニットをトレーニングするよう、適合化されている。
［付記１４］機械学習によってトレーニングされたユニット。
該ユニットは、対象の超音波ローデータに基づき、超音波ローデータの取得に使用された超音波イメージングモダリティに対応しない該対象の超音波画像を生成するよう適合化されている。
［付記１５］対象の画像を生成するための超音波画像生成方法。
該超音波画像生成方法は、
・超音波イメージングモダリティによって取得された対象の超音波ローデータを、超音波データ提供部によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティに対応しない対象の超音波画像を該対象の超音波ローデータに基づき生成するよう適合化された機械学習によってトレーニングされたユニットを、トレーニング済ユニット提供部によって提供すること、及び、
・該対象の提供された超音波ローデータに基づき、提供されたトレーニングされたユニットを用いて、該対象の画像を、画像生成部によって生成すること
を含む。
［付記１６］機械学習によってユニットをトレーニングするためのトレーニング方法。
該トレーニング方法は、
・超音波イメージングモダリティによって取得された又は超音波イメージングモダリティによる取得のシミュレーションによって生成された対象の超音波ローデータを、超音波データ提供部によって提供すること、
・トレーニングされるべきユニットを、トレーニング済ユニット提供部によって提供すること、
・超音波ローデータの取得に使用された超音波イメージングモダリティによって取得されたものではなくかつ超音波イメージングモダリティによる取得のシミュレーションによって生成されたものではない該対象の画像を、画像提供部によって提供すること、及び、
・トレーニング済ユニットが該対象の提供された超音波ローデータが入力されると提供された画像を出力するよう、提供されたユニットを、トレーニングユニットによってトレーニングすること
を含む。
［付記１７］対象の画像を生成するためのコンピュータプログラム。
該コンピュータプログラムは、付記１５に記載の超音波画像生成方法が付記１〜８の何れかに記載の画像を生成するための超音波画像生成システムで実行されるとき、該方法を実行するよう、適合化されている。
［付記１８］機械学習によってユニットをトレーニングするためのコンピュータプログラム。
該コンピュータプログラムは、付記１６に記載の機械学習によってユニットをトレーニングするためのトレーニング方法が付記９〜１３の何れかに記載の機械学習によってユニットをトレーニングするためのトレーニングシステムで実行されるとき、該方法を実行するよう、適合化されている。

【符号の説明】

【0090】

１ 該超音波画像生成システム
２ 対象
４、５ 超音波データ提供部
６ トレーニング済ユニット提供部
７ 画像生成部
８ 画像提供部
９ 記録部
１０ エレメント決定部
１１ インジケータ生成部
２０、２２ 超音波データ提供部
２０、２１ 画像提供部
２４ トレーニング予定ユニット提供部
２５ トレーニング部
３０ トレーニングシステム

【図1】

【図2】

【図3】

【図4】

【図5】