特許 7474707 スタイル転送画像強調を備える超音波イメージングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-17

(45)【発行日】2024-04-25

(54)【発明の名称】スタイル転送画像強調を備える超音波イメージングシステム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240418BHJP

【ＦＩ】

A61B8/14

【請求項の数】 18

(21)【出願番号】P 2020562765

(86)(22)【出願日】2019-05-02

(65)【公表番号】

(43)【公表日】2021-09-02

(86)【国際出願番号】 US2019030479

(87)【国際公開番号】W WO2019217206

(87)【国際公開日】2019-11-14

【審査請求日】2022-02-18

(31)【優先権主張番号】15/973,010

(32)【優先日】2018-05-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519019791

【氏名又は名称】フジフイルム ソノサイト インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ダット ダヴィン

【審査官】蔵田 真彦

(56)【参考文献】

【文献】国際公開第２０１８／０４８５０７（ＷＯ，Ａ１）

【文献】特開２０１６－２２１２６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３３６５５３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３７２１９３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

超音波イメージングシステムであって、
超音波エネルギーを関心領域に届けるため、および戻りエコー信号を検出するために前記イメージングシステムに結合されたトランスデューサと、
前記戻りエコー信号を処理するため、および前記関心領域の画像データを生成するための回路と、
プロセッサと、
前記プロセッサに結合されたニューラルネットワークと、
を備え、
前記プロセッサは、
前記画像データからコンテンツ画像を生成し、
一または二以上のスタイル画像からスタイル画像を受信し、前記スタイル画像は画像でありそのスタイルが前記コンテンツ画像とブレンドされるためのものであり、
ターゲット画像を生成するために前記コンテンツ画像と前記スタイル画像とを組み合わせるように構成された前記ニューラルネットワークに前記コンテンツ画像および前記スタイル画像を供給し、
前記ターゲット画像と前記コンテンツ画像との間の第一の差および前記ターゲット画像と前記スタイル画像との間の第二の差を計算して、前記第一の差および前記第二の差を教えるために前記ニューラルネットワークに前記第一の差および前記第二の差をフィードバックし、
前記画像データにおいてコンテンツの出現を強調するために前記コンテンツ画像の前記コンテンツを保持する前記スタイル画像のスタイルで前記ターゲット画像をディスプレイデバイスに表示する、
ように構成される、
超音波イメージングシステム。

【請求項2】

前記プロセッサは、前記ターゲット画像を生成するために、いくつかの前記スタイル画像をユーザインタフェースに表示し、前記いくつかのスタイル画像から前記スタイル画像の選択を検出し前記コンテンツ画像と前記スタイル画像とを組み合わせる前記スタイル画像に関連付けられた前記ニューラルネットワークに前記スタイル画像を供給するように構成される、請求項１に記載の超音波イメージングシステム。

【請求項3】

前記スタイル画像は解剖図、以前に取得された超音波画像、および別のイメージングモダリティのスタイルのうち一または二以上である、請求項２に記載の超音波イメージングシステム。

【請求項4】

前記プロセッサは前記超音波イメージングシステムのイメージングモードに従って前記スタイル画像を選択するように構成される、請求項１に記載の超音波イメージングシステム。

【請求項5】

前記プロセッサは前記超音波イメージングシステムに結合されたイメージングプローブのタイプに従って前記スタイル画像を選択するように構成される、請求項１に記載の超音波イメージングシステム。

【請求項6】

前記プロセッサに結合された前記ニューラルネットワークは前記超音波イメージングシステムがトレーニングモードで動作する場合に前記ターゲット画像を生成するように構成される、請求項１に記載の超音波イメージングシステム。

【請求項7】

前記プロセッサは前記ターゲット画像と同時に前記コンテンツ画像を表示するように構成される、請求項１に記載の超音波イメージングシステム。

【請求項8】

前記プロセッサは前記ターゲット画像と交互に超音波画像データを表示するように構成される、請求項１に記載の超音波イメージングシステム。

【請求項9】

プロセッサは前記コンテンツ画像の一部と前記スタイル画像とを組み合わせるように構成される、請求項１に記載の超音波イメージングシステム。

【請求項10】

前記コンテンツ画像の部分は異なるスタイル画像と組み合わせて表示される、請求項９に記載の超音波イメージングシステム。

【請求項11】

前記プロセッサに結合された前記ニューラルネットワークは、
前記コンテンツ画像を受信し、
前記コンテンツ画像内の解剖学的特徴を識別し、
前記スタイル画像を受信し、
前記スタイル画像と前記解剖学的特徴を備える前記コンテンツ画像の前記一部とを組み合わせる、
ように構成される、請求項９に記載の超音波イメージングシステム。

【請求項12】

超音波イメージングシステム内のプロセッサであって、前記超音波イメージングシステムは前記プロセッサに結合された第一のニューラルネットワークおよび第二のニューラルネットワークを備え、前記プロセッサは、
対象の超音波画像データを受信し、
前記画像データから生成されたコンテンツ画像を受信し、前記第一のニューラルネットワークは前記コンテンツ画像に第一のスタイル画像を適用し、前記第二のニューラルネットワークは前記コンテンツ画像に第二のスタイル画像を適用し、前記第一のスタイル画像および前記第二のスタイル画像の各々は画像でありそのスタイルが前記コンテンツ画像とブレンドされるためのものであり、
一または二以上のスタイル画像から前記第一のスタイル画像を受信し、
前記第一のスタイル画像に基づいて複数のニューラルネットワークから前記第一のニューラルネットワークを選択し、
前記第一のスタイル画像と前記コンテンツ画像とを組み合わせることによってターゲット画像を生成するように構成された前記第一のニューラルネットワークに前記コンテンツ画像を供給し、
ディスプレイデバイス上に前記コンテンツ画像のコンテンツを保持する前記第一のスタイル画像のスタイルで前記ターゲット画像を表示する、
ように構成された、超音波イメージングシステム内のプロセッサ。

【請求項13】

前記プロセッサは、ユーザインタフェースにいくつかの前記スタイル画像を表示し、前記いくつかのスタイル画像から前記第二のスタイル画像の前記選択を検出し、前記第二のスタイル画像と組み合わせるために前記第二のニューラルネットワークに前記コンテンツ画像を供給するように構成される、請求項１２に記載のプロセッサ。

【請求項14】

前記プロセッサは、前記超音波イメージングシステムのイメージングモードを決定し、前記決定されたイメージングモードに従って前記第一のスタイル画像を選択するように構成される、請求項１２に記載のプロセッサ。

【請求項15】

前記プロセッサは、前記超音波データを取得するために使用されるイメージングプローブのタイプを決定し、前記イメージングプローブのタイプに従って前記第一のスタイル画像を選択するように構成される、請求項１２に記載のプロセッサ。

【請求項16】

前記プロセッサは、前記対象に対して実行された以前の検査のタイプを決定し、前記以前の検査のタイプに基づいて前記第一のスタイル画像を選択するように構成される、請求項１２に記載のプロセッサ。

【請求項17】

前記プロセッサは、少なくとも前記コンテンツ画像の前記コンテンツを保持する前記第一のスタイル画像の前記スタイルおよび前記コンテンツ画像の前記コンテンツを保持する前記第二のスタイル画像の前記スタイルで前記ターゲット画像を表示するために少なくとも前記第一のニューラルネットワークおよび前記第二のニューラルネットワークに前記コンテンツ画像を供給するように構成される、請求項１２に記載のプロセッサ。

【請求項18】

前記プロセッサは、前記ディスプレイデバイスに前記超音波画像データの前記コンテンツ画像および前記ターゲット画像を表示するように構成される、請求項１２に記載のプロセッサ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示技術は超音波イメージングシステムに関し、特には、超音波画像特徴の出現を強調するためのシステムに関する。

【背景技術】

【0002】

超音波イメージングはその比較的低いコストおよび非電離放射線に起因して、イメージングモダリティにおいてますます使用されるようになっている。超音波イメージングを用いて、トランスデューサは超音波を関心領域に向け、対応するエコー信号を受信する。イメージングシステム内の信号処理回路はトランジスタ素子により生成される電子エコー信号を組み合わせ、その振幅、移相、パワー、高調波成分等の組み合わせられた信号の特性またはユーザに表示するための画像画素データに定量化される他の特性の表示を生成する。

【0003】

超音波画像はしばしば画像内に出現するが組織構造を表さないスペックルまたは多重反射アーチファクトを含む可能性がある。加えて、超音波が光学イメージングモダリティでないため、超音波画像内に組織構造がどのように出現するかを学ぶための所定のレベルのトレーニングが必要になる。本明細書で開示される技術は超音波画像内の組織構造の出現を改善するシステムに関する。

【発明の概要】

【0004】

上述の課題および他に対処するため、本開示技術は関心領域内の組織の画像を生成する超音波イメージングシステムに関する。イメージングシステム内のプロセッサは画像内の組織または他の解剖学的特徴がより容易に認識されるスタイルで超音波画像を表示するように構成される。一実施形態では、超音波画像データは選択されたスタイルで画像用のデータを生成するようにトレーニングされたニューラルネットワークにより処理される。いくつかの実施形態では、超音波システムは二以上の訓練されたニューラルネットワークを格納し、各ニューラルネットワークは入力超音波画像に特定のスタイルを適用するように訓練される。プロセッサは超音波画像に適用されるスタイルに対応するニューラルネットワークを選択する。

【0005】

超音波画像に適用されるスタイルは、例えば、解剖図のスタイル、特定のタイプの生体構造または解剖学的特徴の写真のスタイル、別のタイプのイメージングモダリティ（例えば、ＭＲＩ、ＣＴスキャン）のスタイルまたは以前に取得した超音波画像のスタイルに対応することができる。超音波画像に適用される特定のスタイルは例えばユーザにより、実行される検査のタイプにより、超音波システムのイメージングモードにより、または使用されるトランスデューサのタイプにより、いくつかの方法で選択されることができる。

【図面の簡単な説明】

【0006】

【図1】本開示技術を実施するための代表的な超音波イメージングシステムを示す。

【図2A】人間の腎臓の代表的な超音波画像を示す。

【図2B】Ｇｒａｙ’ｓ ａｎａｔｏｍｙより、腎臓の画像を示す。

【図3】本開示技術の一実施形態による、選択されたスタイルを超音波画像に適用するためにニューラルネットワークを訓練するためのシステムのブロックダイアグラムである。

【図4】本開示技術のある実施形態による、選択されたスタイルを超音波画像に適用するためのシステムのブロックダイアグラムである。

【発明を実施するための形態】

【0007】

超音波画像における組織、臓器、血液または同様のもの等の特徴の出現を改善するために、本開示技術の超音波イメージングシステムは選択されたスタイルを異なるスタイルで超音波画像に適用するため、およびユーザにスタイルが転送された画像を表示するために一または二以上のプロセッサを使用する。図１は手持ち式、ポータブルまたはカートベースのイメージングシステムであり得る代表的な超音波イメージングシステム１０を示している。システム１０は超音波エネルギーを生成し、エネルギーを関心領域に向け、対応する反射されたエコー信号を受信するトランスデューサ１２を含む。トランスデューサ１２は、エコー信号の受信した音響エネルギーを、アナログ－デジタルコンバータ、増幅用回路、フィルタリング、ビーム形成およびデジタル信号処理を含むが、これらに限定されない、トランスデューサまたはイメージングシステム１０内の回路により処理される対応する電気信号に変換する。画像処理回路は処理された超音波信号を一または二以上のビデオモニタ１４に表示することのできる画素データに変換する。超音波システム１０はユーザがボタン、ノブ、キーボード、キーパッド、トラックボール、トラックパッド、タッチウィール、タッチスクリーン等の、イメージングシステムと相互作用し、使用することのできるいくつかの制御部も含む。

【0008】

超音波画像内の組織、液体（例えば、血液）または臓器等の解剖学的特徴を認識する経験の浅い超音波ユーザの能力を改善するために、本開示技術は超音波データが表示されるスタイルを変更することによりこのような特徴の出現を強調する。以下の説明は超音波画像内の臓器の出現を改善することを主に目的としているが、本開示技術は全てのこれらの解剖学的特徴のタイプに使用することができることを理解されたい。一実施形態では、ユーザは表示させるために彼らが超音波画像に適用したいいくつかの異なるスタイルのうち一つを選択することができる。超音波イメージングシステム内の一または二以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、ＤＳＰもしくはそれらの組合せ）または予め構成された論理回路（例えば、ＦＰＧＡ、ＡＳＩＣ等）は入力超音波画像データに選択されたスタイルを適用する訓練されたニューラルネットワークに関心領域の超音波画像データを提供する。入力超音波画像のコンテンツを選択されたスタイルとブレンドする画像がユーザに表示され、そのため超音波画像内の特徴はより認識できるようになる。ユーザはスタイルがブレンドされた画像、当初の超音波画像、またはその両方をビデオモニタ上で見ることができる。スタイルがブレンドされた画像は修正されていない超音波画像と共に格納されるか、または有線または無線通信リンクを介してリモートコンピュータシステムに送信されることができる。

【0009】

図２Ａは、人間の腎臓の代表的な超音波画像を示している。経験の浅い超音波技術者には、この画像が腎臓組織であると直ちに認識できないことがある。図２Ｂは、１９１８年版のＧｒａｙ’ｓ Ａｎａｔｏｍｙより、腎臓の古典的な画像を示している。超音波画像内の組織または他の特徴（例えば、血液、骨、靭帯等）の出現を改善するために、本開示技術の超音波イメージングシステムは、より従来的な解剖図のスタイルまたは別のスタイルで超音波画像データを表示するようにプログラムまたは構成された一または二以上のプロセッサを含む。例えば、超音波イメージングシステムのプロセッサはスタイルブレンドのために訓練されたニューラルネットワークを使用して古典的なＧｒａｙ’ｓ Ａｎａｔｏｍｙスタイルで図２Ａに示される超音波画像を表示するようにプログラムされる。一実施形態では、スタイルブレンド操作は超音波画像内の組織の出現を改善するためにトレーニングモードにおいて使用することができる。スタイルブレンド特徴はオンおよびオフすることができ、そのため超音波イメージングシステムのオペレータはスタイルブレンド強調の有無によらず超音波画像データを見ることができる。

【0010】

図３は異なるスタイルを画像に適用することにより超音波画像の出現を強調するようにニューラルネットワークを訓練するためのシステム１００の一実施形態のブロックダイアグラムを示している。示されている実施形態では、システム１００は超音波画像を受信する。典型的に、超音波画像はＢモード画像であるが、ドップラー画像、Ｍモード画像、カラーフロー画像等の他のモダリティにおける画像である可能性がある。本明細書において説明されるように、超音波画像は超音波コンテンツ画像１０４と呼ばれる。スタイル画像１０６はそのスタイルがコンテンツ画像１０４とブレンドされるかまたはコンテンツ画像１０４を表示するためのガイドを使用する必要のある画像である。従来のニューラルネットワーク（例えば、ＶＧＧまたは類似の利用可能なニューラルネットワーク）のようなニューラルネットワーク１１０は、スタイル画像１０６のスタイルでターゲット画像１１２を生成するがコンテンツ画像１０４のコンテンツを保持するように訓練される。いくつかの実施形態では、ニューラルネットワーク１１０を訓練する一または二以上のプロセッサはニューラルネットワーク１１０により使用されるいくつかの係数、重量およびバイアス値の関数として、ターゲット画像１１２とコンテンツ画像１０４との間のコンテンツの差およびターゲット画像１１２とスタイル画像１０６との間のスタイルの差を定量化する損失関数１２０を計算する。プロセッサはニューラルネットワーク１１０にフィードバックされる係数、重量およびバイアス値への変化を計算する最急降下法等の最適化アルゴリズムを実行し、そのためコンテンツおよびスタイルの差の両方が教えられる。このプロセスはエラーが最小化されるまで、または所定の反復回数になるまで継続する。

【0011】

一実施形態では、ユーザはニューラルネットワーク１１０を訓練するために使用される彼ら独自のスタイル画像を提供することが可能である。いくつかの実施形態では、スタイル画像は図２Ｂに示されるＧｒａｙ’ｓ Ａｎａｔｏｍｙ画像のような特定のスタイルの解剖学的画像である。しかしながら、例えば医学書から組織の他の周知の描写を使用することができる。腎臓の写真等の生体構造の写真は腎臓写真のスタイルで超音波画像を表示するためのニューラルネットワークを訓練するために使用することができる。あるいは、他のイメージングモダリティを用いて取得された画像はＭＲＩまたはＣＴスキャン画像等に使用することができる。このような画像は超音波コンテンツ画像１０４においてキャプチャされる同一タイプの組織または解剖学的特徴であってもなくてもよい。一実施形態では、スタイル画像１０６は検査されている組織または解剖学的特徴のタイプの良好な表現であると判断された別の超音波画像で有り得る。このような指定は熟練した超音波検査者によりなされてもよく、またはユーザが好むスタイルを有するユーザにより以前にキャプチャされた超音波画像でもよい。

【0012】

典型的に、ニューラルネットワーク１１０は超音波イメージングシステム上で利用可能であるよりも多くの処理能力を有するコンピュータシステム上で遠隔で訓練される。しかしながら、超音波イメージングシステム上の処理能力がニューラルネットワークを訓練するために十分にパワフルである場合、次にニューラルネットワークはローカルで訓練される。プロセッサは超音波画像処理回路からコンテンツ画像を受信し、リモートコンピュータシステムからダウンロードされ得るか、またはメモリに予め格納され得る選択されたスタイル画像のスタイルを適用するためにニューラルネットワークを訓練する。多くの実施形態では、システムはコンテンツ画像として多数の超音波画像上でシステムを訓練することおよび一つの特定のスタイルの画像を使用することにより、供給されたコンテンツ画像に特定のスタイルを適用するために予め訓練される。このトレーニングはニューラルネットワークがリアルタイムスタイル転送を達成するためにニューラルネットワークの単一のフォワードパスで訓練されたスタイルを（訓練されていない）新しい超音波画像に転送することを可能にする。他の実施形態では、本システムは単一のコンテンツ画像およびスタイル画像から直ちに訓練される。

【0013】

ニューラルネットワーク１１０が選択されたスタイルでターゲット画像を作成するために入力画像にスタイルを適用するように訓練されると、トレーニングプロセスの間に決定された係数、重量およびバイアス値は超音波システムのメモリにローカルに格納され、ネットワークが超音波画像を入力するように訓練されるスタイルを適用するように訓練されたニューラルネットワークを実施するために超音波イメージングシステムのプロセッサにより使用される。

【0014】

いくつかの実施形態では、超音波イメージングシステムはいくつかの異なるニューラルネットワークの係数、重量およびバイアス値を格納し、その各々は超音波画像に異なるスタイルを適用するように訓練される。図４に示されるように、画像処理回路１３０は関心領域の超音波画像用のデータを生成する。超音波画像用のデータはコンテンツ画像１３４としていくつかの予め訓練されたニューラルネットワークのうち一つに対する入力として供給される。示されている実施形態では、イメージングシステムは供給されたコンテンツ画像１３４に異なるスタイルを適用するように訓練された四つの訓練されたニューラルネットワーク１４０、１４２、１４４、１４６を実施するように構成される。例えば、一つのニューラルネットワーク１３０はＧｒａｙ’ｓ Ａｎａｔｏｍｙ（ペンおよびインクの図）のスタイルで訓練され得る一方、別のニューラルネットワークは周知の医学書からの解剖学的画像のスタイルまたは実際の臓器組織の写真のスタイルで訓練され得る。一または二以上のニューラルネットワークはＭＲＩまたはＣＴスキャン等の別のイメージングモダリティを用いて取得された画像のスタイルを適用するように訓練することができる。同様に、ニューラルネットワークは超音波検査者または他の熟練者により臓器組織等の解剖学的特徴の良好な表現であると判断された超音波画像のスタイルで訓練され得る。このような超音波画像は最小限のスペックルまたは他のアーチファクトが欠如している可能性があり、または良好な組織のコントラスト等を有している可能性がある。

【0015】

一実施形態では、各ニューラルネットワークは彼らが超音波画像に適用したいスタイルに対応するスタイル画像を適用および選択するように訓練されるスタイルを代表する画像を見る。プロセッサは次に選択されたスタイル画像に関連付けられた対応する訓練されたニューラルネットワークを選択する。別の実施形態では、選択されたスタイル（および対応するニューラルネットワーク）は超音波イメージングシステムの動作モードに基づき得る。例えば、トレーニングモードで使用される場合、スタイルおよび対応する訓練されたニューラルネットワークは生体構造のカラーイラストを模倣するように選択される。別の実施形態では、選択されたスタイルは実行されている検査のタイプまたは使用されているイメージングプローブのタイプに基づく。例えば、超音波イメージングシステム上のＯＢ／ＧＹＭ検査用の設定はプロセッサにより読み取られ、胎児組織の見え方を強調するスタイルを選択するために使用される。あるいは、ＯＢ／ＧＹＭイメージングプローブが患者の検査のために使用されている場合、次にプロセッサはこのようなイメージングプローブを用いて実行される検査のタイプに適切なスタイルを選択し得る。

【0016】

他の実施形態では、患者の過去の検査履歴は適用されるスタイルのタイプを選択するために使用される。例えば、超音波イメージングシステム内のプロセッサは患者が受信した先の検査のタイプを決定するために電子患者記録システムに有線または無線通信リンクを介してメッセージを送信するようにプログラムされる。患者がＭＲＩを有した場合、次にＭＲＩスタイルが超音波コンテンツ画像に適用されるように選択される。患者が先のＣＴスキャンを有した場合、次にＣＴスキャンスタイルを適用することができる、等である。

【0017】

超音波コンテンツ画像に適用されるスタイルが決定されると、プロセッサはターゲット画像１５０を生成する対応する訓練されたニューラルネットワークへの入力として超音波コンテンツ画像１３４を提供し、コンテンツ画像１４０のコンテンツを選択されたスタイルに組み合わせる。ターゲット画像１５０はディスプレイ１６０（例えば、一または二以上のビデオモニタ）に画像を表示するディスプレイ回路１５６に提供される。ターゲット画像１５０はメモリに保存され、印刷され、または有線または無線通信リンクを介してリモートコンピュータシステムに送信されることもできる。コンテンツ画像１３４およびターゲット画像１５０は同時に（例えば、並べて）または交互に表示することができる。

【0018】

スタイル転送特徴は常に使用されるわけではなく、プロセッサは修正を用いることなくディスプレイ用のディスプレイ回路１５６に超音波コンテンツ画像１３４を提供することができる。ユーザはスタイル転送特徴を望み通りにオンおよびオフすることができる。いくつかの実施形態では、プロセッサにより実行されるオンボードトレーニングソフトウェアはスタイル転送特徴を用い、ユーザがトレーニングソフトウェアを使用しない時はオフにする。

【0019】

理解されるように、超音波コンテンツ画像１３４はビデオモニタに表示するために準備している画像データ（例えば、画素データ）であり得る。あるいは、超音波コンテンツ画像は予めスキャンされ変換されたデータでもよく、または生のＲＦ超音波データでもよい。したがって、本明細書で使用されるように、ニューラルネットワークに適用される「超音波画像」という用語は、表示されるために準備されている形態の画素データだけでなく患者（人間または動物）から受信した任意の超音波データを指すことを意図している。

【0020】

いくつかの実施形態では、スタイル転送プロセスは超音波コンテンツ画像の一部にのみ
適用される。いくつかの実施形態では、コンテンツ画像は画像内の生体構造または特定の臓器または他の解剖学的特徴のタイプを識別するように訓練されたニューラルネットワーク（図示されていない）に提供される。画像の部分はニューラルネットワークにより分割され、選択されたスタイルは分割された部分に適用される。例えば、超音波画像内で肝臓組織が識別された場合、肝臓組織を含む画像のセクションは分割され、肝臓組織の出現を強調するために選択されたスタイルは分割された部分に適用される。画像内で血管（例えば、動脈、静脈）が識別された場合、次に画像のその部分は分割されてもよく、同一または異なるスタイルは血管等における血液の出現を強調するために画像のそのセグメントに適用されてもよい。この実施形態では、二以上の異なるスタイルは画像の異なるセグメントに適用され得る。

【0021】

いくつかの実施形態では、プロセッサは超音波コンテンツ画像に適用されるスタイルの量を調整し得る。例えば、ユーザまたはソフトウェアはコンテンツ画像を備えるスタイル画像のスタイルの全てよりも少なくブレンドするように選択し得る。このような低減は訓練されたニューラルネットワークにおいて使用される重量、係数およびバイアス値を調整することにより実行され得る。他の実施形態では、別々のニューラルネットワークは任意の所与のスタイル画像のための異なる強度のスタイル転送で訓練され得る。

【0022】

上記で開示された実施形態は超音波イメージングシステム上で訓練されたニューラルネットワークを実行するが、ニューラルネットワークはリモートコンピュータシステム（例えば、クラウドコンピュータ）上で実施されることができることを理解されたい。この実施形態では、超音波イメージングシステム内のプロセッサは有線または無線通信リンクを介して超音波イメージングシステムからリモートコンピュータシステムにコンテンツ画像（および複数のスタイルが利用可能な場合にどのスタイルを適用するかについての表示）を送信し、表示するためにリモートコンピュータから選択されたスタイルのターゲット画像を受信するようにプログラムされる。

【0023】

ニューラルネットワーク（１１０、１４０－１４６）の機能に関するさらなる詳細は、（１）Ｇａｔｙｓ, Ｌ.Ａ., Ｅｃｋｅｒ, Ａ.Ｓ., Ｂｅｔｈｇｅ, Ｍ.らによるＡ ｎｅｕｒａｌ ａｌｇｏｒｉｔｈｍ ｏｆ ａｒｔｉｓｔｉｃ ｓｔｙｌｅ（２０１５）および（２）Ｊｏｈｎｓｏｎ, Ｊ., Ａｌａｈｉ, Ａ., Ｌｉ, Ｆ.らによるＰｅｒｃｅｐｔｕａｌ Ｌｏｓｓｅｓ ｆｏｒ Ｒｅａｌ－Ｔｉｍｅ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ ａｎｄ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ（２０１６）で見つけることができ、これらはその全体が参照により本明細書に組み入れられる。

【0024】

本明細書に記載の主題の実施形態および動作は、本明細書で開示される構造およびそれらの構造等価物を含むデジタル電子回路、もしくはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうち一または二以上の組合せにおいて、実施することができる。本明細書に記載の主題の実施形態は、一または二以上のコンピュータプログラム、すなわち、データ処理装置により実行するためにコンピュータストレージ媒体上でエンコードされた、またはその動作を制御するためのコンピュータプログラム命令の一または二以上のモジュールとして実施することができる。

【0025】

コンピュータストレージ媒体は、コンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうち一または二以上の組合せとすることができるか、またはそれに含まれることができる。さらに、コンピュータストレージ媒体は伝搬信号でないものの、コンピュータストレージ媒体は人工的に生成される伝搬信号においてエンコードされるコンピュータプログラム命令の送信元または送信先とすることができる。コンピュータストレージ媒体は一または二以上の別々の物理コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他のストレージデバイス）とすることができるか、またはそれに含まれることもできる。本明細書において説明された動作は一または二以上のコンピュータ可読ストレージデバイスに格納されるかまたは他の送信元から受信されるデータに対してデータ処理装置により実行される動作として実施されることができる。

【0026】

「プロセッサ」という用語は、例としてプログラム可能なプロセッサ、コンピュータ、システムオンチップ、または前述のものの複数のそれら、もしくは組合せを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特殊用途集積回路）を含むことができる。装置は、ハードウェアに加えて、問題のコンピュータプログラム用の実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうち一または二以上の組合せを構成するコードを含むこともできる。装置および実行環境はウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャ等の、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

【0027】

（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）コンピュータプログラムはコンパイラ型またはインタプリタ型言語、宣言型または手順型言語を含む、任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラム、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に好適な他のユニット、を含む、任意の形態で展開することができる。コンピュータプログラムはファイルシステム内のファイルに対応してもよいが、必須ではない。プログラムは、問題のプログラム専用の単一のファイル内、または複数の調整されたファイル（例えば、一または二以上のモジュール、サブプログラム、もしくはコードの一部を格納するファイル）内の、他のプログラムまたはデータ（例えば、マークアップ言語文書に格納された一または二以上のスクリプト）を保持するファイルの一部に格納することができる。コンピュータプログラムは一つの地点に位置するかまたは複数の地点にわたって分散し、通信ネットワークにより相互接続される一つのコンピュータ上または複数のコンピュータ上で実行されるように展開することができる。

【0028】

本明細書において説明されたプロセスおよび論理フローは入力データを操作することおよび出力を生成することにより動作を実行するために一または二以上のコンピュータプログラムを実行する一または二以上のプログラム可能なプロセッサにより実行することができる。プロセスおよび論理フローは専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特殊用途集積回路）により実行することもでき、装置は専用論理回路として実施することもできる。

【0029】

一般的に、プロセッサは読取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は命令に従って動作を実行するためのプロセッサおよび命令およびデータを格納するための一または二以上のメモリデバイスである。一般的に、コンピュータはまた、そこからデータを受信するか、もしくはそこにデータを送信するか、またはその両方を行うための、データを格納するための一または二以上のマスストレージデバイス、例えば、磁気、磁気光学ディスク、または光学ディスクを含むか、または動作可能に結合される。しかしながら、コンピュータはこのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するのに好適なデバイスは、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス等の半導体メモリデバイス、例えば内蔵ハードディスクまたはリムーバブルディスク等の磁気ディスク、磁気光学ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは専用論理回路により補うか、またはそれに組み入れることができる。

【0030】

ユーザとの相互作用を提供するために、本明細書において説明される主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）、またはＯＥＬＤ（有機発光ダイオード）モニタならびにユーザがコンピュータに入力を提供することのできるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピュータ上で実施することができる。いくつかの実施形態では、タッチスクリーンは情報を表示するため、およびユーザからの入力を受信するために使用することができる。ユーザに相互作用を提供するために他の種類のデバイスを使用することもできる。例えば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は音響、音声、または触覚入力を含む、任意の形態で受信することができる。加えて、コンピュータはユーザにより使用されるデバイスに文書を送信することおよびそこから文書を受信することにより、例えば、ウェブブラウザから受信したリクエストに応答してユーザのクライエントデバイス上のウェブブラウザにウェブページを送信することにより、ユーザと相互作用することができる。

【0031】

本明細書において説明される主題の実施形態はバックエンドコンポーネント、例えば、データサーバを含むか、もしくはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むか、もしくはフロントエンドコンポーネント、例えば、ユーザがそれを通じて本明細書において説明される主題の実施と相互作用することのできるグラフィックユーザインターフェースもしくはウェブブラウザを有するクライエントコンピュータを含む、コンピューティングシステムで、または一または二以上のこのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合せで、実施することができる。本システムのコンポーネントは任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークにより相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）および広域ネットワーク（「ＷＡＮ」）、相互ネットワーク（例えば、インターネット）およびピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）を含む。

【0032】

上記より、例示の目的のために本明細書において本発明の固有の実施形態が説明されてきたが、本発明の精神および範囲から逸脱することなく様々な修正がなされ得ることを理解されたい。したがって、本発明は添付の特許請求の範囲を除いて制限されない。

【図1】

【図2A】

【図2B】

【図3】

【図4】