特許 7345208 学習非線形マッピングに基づく画像再構成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-07

(45)【発行日】2023-09-15

(54)【発明の名称】学習非線形マッピングに基づく画像再構成方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20230908BHJP

   G06T 1/00 20060101ALI20230908BHJP

   G06T 1/40 20060101ALI20230908BHJP

【ＦＩ】

A61B8/14

G06T1/00 290D

G06T1/40

【請求項の数】 15

(21)【出願番号】P 2021517765

(86)(22)【出願日】2019-08-29

(65)【公表番号】

(43)【公表日】2022-01-12

(86)【国際出願番号】 EP2019073152

(87)【国際公開番号】W WO2020074181

(87)【国際公開日】2020-04-16

【審査請求日】2022-07-12

(31)【優先権主張番号】18199166.2

(32)【優先日】2018-10-08

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】519424607

【氏名又は名称】エコール・ポリテクニーク・フェデラル・デ・ローザンヌ（イーピーエフエル）

【氏名又は名称原語表記】ＥＣＯＬＥ ＰＯＬＹＴＥＣＨＮＩＱＵＥ ＦＥＤＥＲＡＬＥ ＤＥ ＬＡＵＳＡＮＮＥ（ＥＰＦＬ）

【住所又は居所原語表記】ＥＰＦＬ－ＴＴＯ，ＥＰＦＬ Ｉｎｎｏｖａｔｉｏｎ Ｐａｒｋ Ｊ，ＣＨ－１０１５ Ｌａｕｓａｎｎｅ，Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】100134430

【弁理士】

【氏名又は名称】加藤 卓士

(72)【発明者】

【氏名】ディミトリス・ペルディオス

(72)【発明者】

【氏名】エイドリアン・ベッソン

(72)【発明者】

【氏名】フロリアン・マルティネス

(72)【発明者】

【氏名】マルセル・アルディティ

(72)【発明者】

【氏名】ジャン＝フィリップ・ティラン

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】国際公開第２０１８／０９９８８１（ＷＯ，Ａ１）

【文献】Eunhee Kang et al.，A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction，MEDICAL PHYSICS，2017年10月13日，Volume 44, Issue 10，Pages e360-e375

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － ５／０１

６／００ － ６／１４

８／００ － ８／１５

Ｇ０６Ｔ １／００ － １／４０

３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

３０／４１８

４０／１６

４０／２０

(57)【特許請求の範囲】

【請求項1】

対象物から測定値ｙとして１セットの波形を受信する受信ステップと、
前記対象物の未知画像ｘと前記測定値ｙとを結びつける測定モデルＨ（ｘ）を定義する定義ステップと、
前記測定モデルＨ（ｘ）と前記測定値ｙとの間の距離を測定するデータ忠実度汎函数Ｄ（ｘ）を決定する決定ステップと、
入力データに関して非線形な、学習非線形マッピングｆ_θを用いて、前記未知画像に関する事前情報を含む正則化汎函数Ｒ（ｘ）を決定する第２決定ステップと、
前記未知画像の第１画像推定値ｘ＾を得るために、前記データ忠実度汎函数Ｄ（ｘ）と正則化汎函数Ｒ（ｘ）とを含む最適化問題を定義する定義ステップと、
前記最適化問題を解いて、前記第１画像推定値ｘ＾を算出する算出ステップと、
を備えた画像再構成方法。

【請求項2】

前記データ忠実度汎函数Ｄ（ｘ）および正則化汎函数Ｒ（ｘ）を定義する前に、トレーニングデータセットを用いて非線形マッピングをトレーニングし、前記学習非線形マッピングｆ_θを生成するステップをさらに含む請求項１に記載の画像再構成方法。

【請求項3】

前記トレーニングデータセットは、実験または数値シミュレーションによって取得された画像を含む請求項２に記載の画像再構成方法。

【請求項4】

前記学習非線形マッピングは、学習済みの人工ニューラルネットワークである請求項１～３のいずれか１項に記載の画像再構成方法。

【請求項5】

前記最適化問題は、ｘ＾=argmin_x∈RN{D(x)+λR(x)}で表され、λ∈Ｒ^＋は、正則化汎函数Ｒの重み付けとなる正則化パラメータである請求項１～４のいずれか１項に記載の画像再構成方法。

【請求項6】

前記データ忠実度汎函数Ｄ（ｘ）および前記正則化汎函数Ｒ（ｘ）の少なくともいずれか一方が、凸性、非凸性、微分可能性および非微分可能性のうちの少なくとも１つの特性を有する請求項１～５のいずれか１項に記載の画像再構成方法。

【請求項7】

反復アルゴリズムを実行することにより前記最適化問題を解く請求項１～６のいずれか１項に記載の画像再構成方法。

【請求項8】

前記反復アルゴリズムは、勾配降下法またはジェネリック・プロジェクション・ベース法である請求項７に記載の画像再構成方法。

【請求項9】

前記反復アルゴリズムの反復ステップサイズを１に設定する反復ステップサイズ設定ステップと、
初期パラメータをゼロに設定する初期パラメータ設定ステップと、
前記反復アルゴリズムとして１回の反復のみを盛り込むステップと、
前記対象物の第１画像推定値ｘ＾を得るために、前記学習非線形マッピングを第２画像推定値ｘ~に直接適用するステップと、
をさらに含み、
前記第２画像推定値ｘ~は、前記第１画像推定値ｘ＾よりも画像アーチファクトの点で低品質である請求項７または８に記載の画像再構成方法。

【請求項10】

前記反復アルゴリズムの１つの反復ステップから他の反復ステップへと前記学習非線形マッピングが変化する請求項７～９のいずれか１項に記載の画像再構成方法。

【請求項11】

前記対象物に前記１セットの波形を送信するステップをさらに含む請求項７または８に記載の画像再構成方法。

【請求項12】

送信される前記波形の数は、１以上５以下、１以上３以下、または１である請求項７または８に記載の画像再構成方法。

【請求項13】

前記波形は、超音波波形である請求項１～１２のいずれか１項に記載の画像再構成方法。

【請求項14】

前記正則化汎函数Ｒ（ｘ）は、以下のいずれかである請求項１～１３のいずれか１項に記載の画像再構成方法。
Ｒ（ｘ）＝１／２ｘ^Ｔ［ｘ－ｆ_θ（ｘ）］；
Ｒ（ｘ）＝１／２||ｘ－ｆ_θ（ｘ）||^２ _２；
Ｒ（ｘ）＝１／２||ｒ_θ（ｘ）||^２ _２、（ここで、ｒ_θ：Ｒ^Ｎ→Ｒ^Ｎは、ｘに適用される負のノイズを予測するように学習された学習非線形マッピング）
Ｒ（ｘ）＝１／２||ｅ_θｅ（ｘ）||^２ _２（ここでｅ_θｅは学習可能なパラメータθ_ｅを持つエンコーダ）

【請求項15】

対象物からの測定値ｙとして、一連の波形を受信する受信部と、
対象物の未知画像ｘと測定値を結びつける測定モデルＨ（ｘ）を定義する第１定義部と、
前記測定モデルＨ（ｘ）とｙとの間の距離を測定してデータ忠実度汎函数Ｄ（ｘ）を決定する決定部と、
入力データに関して非線形な、学習非線形マッピングｆ_θを用いて、前記未知画像ｘに関する事前情報を含む正則化汎函数Ｒ（ｘ）を決定する第２決定部と、
前記未知画像の第１画像推定値ｘ＾を得るために、前記データ忠実度汎函数Ｄ（ｘ）と正則化汎函数Ｒ（ｘ）とを含む最適化問題を定義する第２定義部と、
前記最適化問題を解き、前記第１画像推定値ｘ＾を算出する算出部と、
を備えた画像再構成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像再構成方法に関するものである。より具体的には、本発明は、学習非線形マッピングを用いて画像を再構成する。本発明は、例えば、超音波撮像において使用することができる。また、本発明は、対応する画像処理装置、および本方法を実施するためのコンピュータプログラム製品に関するものである。

【背景技術】

【0002】

例えばレーダー、ソナー、地震画像、超音波（ＵＳ）画像などに用いられるアレイ処理技術は、さまざまな技術分野で広く利用されている。特に医療分野では、腱、筋肉、関節、血管、内臓などの体内構造を見るために使用されているが、超音波イメージングは、医療分野以外でも広く利用されている。超音波イメージングの商業的利用の１つに、非破壊検査（ＮＤＴ）がある。ＮＤＴとは、部品やシステムを破壊することなく、材料、コンポーネント、アセンブリの不連続性や特性の違いを検査、試験、評価するプロセスのことである。言い換えれば、ＮＤＴによれば検査や試験が完了しても、その部品を使用することができる。ＮＤＴの例としては、石油パイプの超音波テストが挙げられる。この場合、例えばパイプ内において超音波のパルス波を伝播させ、パルス波の反射に基づいて、亀裂や欠陥の有無を検出することができる。管内の音響波の速度と、亀裂から反射してパルス波を送信するまでの時間間隔が分かれば、欠陥の位置を推定することができる。このパイプの亀裂検出と同様の理論を用いて、例えば航空機の構造体／翼のパネルなどの亀裂を検出したり、翼の表面に氷が溜まっているのを検出したりすることができる。

【0003】

超音波イメージングは、その高い柔軟性、コスト効率、安全性、非侵襲性により、イメージングモダリティとしても広く利用されている。パルスエコー法による超音波イメージングは、従来から、電気信号を音響圧力波に変換するトランスデューサエレメントのアレイを用いて行われる。このようなトランスデューサエレメントのアレイは、対象となる媒体を伝搬する短い音響波を送信するために使用される。音響インピーダンスの局所的な変化から生じる後方散乱エコーは、同じアレイで受信され、いわゆる生のエレメント高周波（ＲＦ）データとして検出される。高周波画像は、一般的なＤＡＳ（ｄｅｌａｙ－ａｎｄ－ｓｕｍ）アルゴリズム（遅延加算アルゴリズム）を用いて、これらの測定値からリアルタイムに再構成される。この高周波画像に包絡線検波とログ圧縮を施して得られるＢモード画像は、表示や保存の目的で一般的に使用される。

【先行技術文献】

【非特許文献】

【0004】

【文献】Clarke F., (2013) Generalized gradients, "Functional Analysis, Caliculus of Variations and Optimal Control", Graduate Texts in Mathematics, vol. 264. Springer, London.

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、いわゆる超高速超音波イメージングが研究者の間で注目されている。集束した送信ビームを用いて複数回のパルスエコー測定を行う従来の超音波イメージングに比べて、超高速超音波イメージングでは、平面波（ＰＷ）や発散波（ＤＷ）などの非集束の波面を送信して、視野全体に対して同時に（一度に）音波を当てる（"ｉｎｓｏｎｉｆｙ"する）というアイデアを利用している。これにより、非集束波面とそれに伴う後方散乱エコーの往復時間と画像再構成時間のみの制限で、数ｋＨｚという極めて高いフレームレートを実現することができる。このようなフレームレートにより、エラストグラフィ、超高速ベクトルフローイメージング、ファンクショナル超音波イメージングなどといった、新たな超音波イメージング診断法を実現できた。超高速超音波イメージングの主な欠点は、連続した集束ビームを使用した場合に比べてＳＮＲ（信号対雑音比）が低下し、画質が劣化することである。実際、エネルギーが特定の領域に集中する集束ビーム送信時と比較して、非集束波面のエネルギーは視野全体に広がってしまう。

【0006】

画質を全体的に向上させる一般的な方法として、様々な方向から音波を当てることにより再構成された複数の画像を平均化する「コヒーレント合成」と呼ばれるプロセスが知られている。この方法は、ある意味、コンピュータ断層撮影（ＣＴ）のように複数の投影画像から画像を再構成するのと似ている。このような技術を実現するのは簡単だが、複数の送受信イベントや画像再構成プロセスが必要になるため、フレームレートの低下、データ転送量の増加、計算量の増加といった代償を払わなければならない。

【0007】

超高速超音波イメージングにおいて、高品質な画像を再構成するという課題は、超音波イメージングのコミュニティにおいて重要な関心事となっている。最近のアプローチでは、焦点の合わない透過波面の数を最小限に抑えて、高品質な画像を再構成しようとしている。既存のアプローチの中には、少ない送受信イベントで高品質な画像を実現するものもあるが、計算が非常に複雑であるため、実時間での使用は困難である。

【0008】

すなわち、既知のアレイ処理による画像再構成法は、高品質な画像を低速度で提供したり、低品質な画像を超高速で提供したりするなど、最適とはいえず、妥協が必要である。

【課題を解決するための手段】

【0009】

本発明の目的は、アレイ処理の分野において、画像の再構成に関連する上記の問題の少なくとも一部を克服することである。

【0010】

本発明の第１の側面によれば、請求項１に記載された画像再構成方法が提供される。

【0011】

提案された新しいソリューションは、画像を非常に高速に再構成でき、しかも非常に高い品質を実現できるという利点がある。

【0012】

そこで本発明では、効果の高いデータ駆動型の事前情報を用いて最適化問題を解くことにより、逆問題として定式化することができる画像再構成法を提案する。このような事前情報は、イメージングタスクの目的のために特別に学習された人工ニューラルネットワーク（ＡＮＮ）などの非線形マッピングを用いて構築される。データ駆動型事前分布の特性に応じて、勾配降下法、プラグアンドプレイ事前分布、投影勾配降下法などの反復アルゴリズムに使用することができる。ここでは、単一のＰＷまたはＤＷから再構成された低品質の画像から、合成開口（ＳＡ）測定から再構成されたアーチファクトのない高品質の画像への非線形マッピングを学習することが提案されており、基準またはゴールドスタンダードの方法として考えられている。既存のいくつかのソリューションとは対照的に、本アプローチでは、高品質の高周波画像とスペックルパターンを、そのスペクトル内容を維持したまま再構成することに焦点を当てている。提案されたソリューションは、ニューラルネットワーク（ＮＮ）に依存している。ニューラルネットワークは、同様のタスクにおいて非常に効率的で堅牢であることが証明されている。ニューラルネットワークを適切に学習させて低品質画像と高品質画像を対応させることで、高品質画像の一般的な構造に関する非常に具体的な事前情報を得ることができる。さらに、このようなマッピングを実現するために必要な計算量は、リアルタイムイメージングと互換性がある。

【0013】

本発明の第２の側面によれば、特許請求の範囲に記載された方法を実行するように画像処理装置が提供される。

【0014】

本発明の他の側面は、本明細書に添付された従属請求項に記載されている。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施例としての画像処理システムの構成を示すブロック図である。

【図2】本発明の一実施例としての画像再構成法の処理の流れを示すフローチャートである。

【図3】本発明の一実施例によるダイレクトノンリニアマッピングを示すブロック図である。

【図4】本発明の一実施例による残差非線形マッピングを示すブロック図である。

【図5】本発明の一実施例による「エンコーダ－デコーダ」アーキテクチャを有する残差非線形マッピングを示すブロック図である。

【図6】本発明の一実施例による、勾配降下アルゴリズムを用いた画像再構成法の提案を示すフローチャートである。

【図7】本発明の一実施例による一般的な投影法ベースのアルゴリズムを用いた画像再構成法の提案を示すフローチャートである。

【図8】本発明で使用することができる深層残差畳み込みニューラルネットワークの例を示すブロック図である。

【発明を実施するための形態】

【0016】

本発明の一実施形態を、添付の図を参照して詳細に説明する。この実施形態では、パルスエコー超音波イメージングについて説明されているが、本発明はこれに限定されるものではない。異なる図面に現れる同一または対応する機能および構造要素には、同じ符号を付している。また、本明細書では、ベクトル変数およびベクトルを出力する関数を太字で表記している。

【0017】

図１は、本発明の一実施形態に係るイメージングシステム（またはイメージング装置）１の構成要素を示す概略ブロック図である。図１に示されているように、本実施形態のイメージングシステム１は、超音波プローブ３を備えており、送受信モジュール５によって対象媒体中に送信された音波ビームの後方散乱エコーを受信することができる。画像は、画像再構成モジュール７を用いて再構成される。この画像再構成モジュール７は、画像再構成アルゴリズムまたはプロセスを実行する際、学習非線形マッピングまたは学習非線形関数を組み合わせて用いる。学習非線形マッピングは、その入力データ（この例では画像）に関して非線形であり、入力ベクトル空間を出力ベクトル空間にマッピングするように配置されている。後処理・表示モジュール９は、再構成された画像を後処理するように配置されている。この画像再構成法によれば、従来、同様の画質を得るために必要だった送信－受信イベントの数と比較して、送信－受信イベントの数が劇的に減少するので、一般的なアレイ処理アーチファクトのない高品質の画像を再構成することができる。

【0018】

超音波プローブ３は定形の開口部を有し、そこにトランスデューサとも呼ばれる圧電素子のリニアアレイを有している。このような超音波プローブは、２Ｄのイメージングに適しており、音響エネルギーを画像平面の近傍に集中させるための円筒フォーカス機能を有していてもよい。しかし、この種のプローブは単なる一例に過ぎない。本実施形態の方法は、様々なプローブ形状（凸型プローブ、フェーズドアレイなど）や、様々な技術（ポリフッ化ビニリデン（ＰＶＤＦ）共重合体や容量性マイクロマシン超音波トランスデューサ（ＣＭＵＴ）など）にも容易に適応できる。同様に、本実施形態の方法は、２Ｄマトリックスプローブを使用する場合にも拡張することができる。この超音波プローブは、ボリュームイメージングを行うために、音波ビームを送信し、音波を受けた媒体からエコーを収集するように設計されており、イメージングプロセスによって、対象となるボリュームの３Ｄ表現が生成される。２Ｄイメージングでは、平面、凸面、凹面の直線に沿って振動子が配置されたプローブが使用されている。３Ｄイメージングでは、平面、凸面、凹面に振動子を配置したマトリクスアレイ型のプローブが一般的に使用されている。これらの振動子素子は、電気的な加振を音圧波形に変換したり、音圧波形を電気信号に記録したりすることができる。この特性は、対象となる媒体中での音波ビームの送信と、局所的な音響インピーダンスの変化から生じる対応する後方散乱エコーの受信の両方に利用される。したがって、超音波プローブ３は、空間的に分離された、センサまたはアクチュエータとして機能することができる一組のトランスデューサを備えたアレイ構造を有するアレイ処理構成を形成する。

【0019】

送受信モジュール５は、送信経路と受信経路とを備え、超音波プローブ３に接続されている。送信経路には、一般的にフロントエンドエレクトロニクスが含まれており、制御されたタイミング、電圧振幅および波形を整形する機能を有する電気的な励起回路を備えてもよい。これは、所望の送信ビームを制御および形成するために使用される。受信経路は、物体（組織など）での減衰を消すためのプログラム可能なゲインコントロール（固定ゲインや時間ゲイン補正など）を備えた電気回路と、アナログ／デジタル変換部、およびデジタル信号処理部を含む。受信した信号または測定値は、画像再構成モジュール７に送られる。

【0020】

画像再構成モジュール７の目的は、受信した信号から精査中の媒体の画像を再構成することである。この目的のために、画像再構成モジュール７は、ｆ_θとして定義される学習非線形マッピングを用いた画像再構成方法、プロセス、またはアルゴリズムを実装する。学習非線形マッピングは、その学習可能なパラメータθが、一般的な超音波撮像アーチファクトを低減または除去するように最適化された人工ニューラルネットワークであってもよい。言い換えれば、非線形マッピングは、学習可能なパラメータを有する機械学習構成であってもよい。これらの学習可能なパラメータの学習は、専用のデータセットを用いた最適化アルゴリズムを用いて行われる。学習が終わると、画像再構成法で学習非線形マッピングが使用され、最小数の送受信イベントで高品質の画像を生成する。

【0021】

画像再構成法は、次のような形式の逆問題を解くものである。

【数1】

ここで、ｘ∈Ｒ^Ｎ、つまり未知画像ｘはＮ-次元実数空間に含まれる。Ｎは画像を構成する画素数、すなわちピクセル数またはボクセル数である。また、ｙ∈Ｒ^Ｍ、つまり、測定値ｙはＭ-次元実数空間に含まれる。Ｍは測定サンプル数である。Ｈ∈Ｒ^Ｎ→Ｒ^Ｍ、つまり、測定モデルＨは、物理的な測定プロセスに対応するものである（超音波場合、媒体中の音速によって決まる、波形の到達時間と移動距離の関係を利用することができる）、ｎ∈Ｒ^Ｍ、つまり測定ノイズｎは、Ｍ-次元実数空間に含まれる。以下の形式の最適化問題を解く反復アルゴリズムを用いて未知画像ｘまたはその推定値ｘ＾を見つけることができる。

【数2】

ここで、Ｄ∈Ｒ^Ｎ→Ｒ^＋であり、データ忠実度汎函数（データ不一致汎函数としても知られている）Ｄは、Ｎ-次元実数空間に含まれ、正の実数Ｒ^＋であり、Ｒ∈Ｒ^N→Ｒ^＋（Ｒ^＋は正の実数を表す）は、一般に未知画像ｘに関する事前情報を符号化する"プライア"と呼ばれる正則化汎函数Ｒであり、λ∈Ｒ^＋は、データ忠実度汎函数に対する正則化汎函数の重み付けを制御するハイパーパラメータである。汎函数とは、ベクトル空間から実数Ｒへの（例えば線形）マッピングを指すと理解される。超音波イメージングではあまり魅力的でない、固定ベースまたはフレームにおけるスパース性などの標準的な画像処理プライアを使用する代わりに、学習非線形マッピングｆ_θを使用して、非常に効率的で代表的なデータ駆動型正則化汎函数Ｒを構築することができる。式（２）を解くために、関数Ｄと関数Ｒの両方の数学的特性に応じて、勾配降下法、近位勾配降下法、投影勾配降下法など、多くのよく知られた反復アルゴリズムが文献に掲載されている。このようなアルゴリズムは、正則化汎函数Ｒの微分可能性から恩恵を受けることがあり、これは非線形マッピングｆ_θが微分可能であることを意味する。このような設定では、学習ニューラルネットワークを非線形マッピングｆ_θとして使用することは、微分可能に構築されるか、またはその微分を正確に近似するための標準的な技術を利用することができるので、有益である。さらに、その微分を効率的に評価することで、アルゴリズムの各反復に関わる計算を高速化することができる。

【0022】

図２のフローチャートは、一例による提案された画像再構成方法をまとめたものである。ステップ１１では、プローブ３は、一組の送信素子を用いて、少なくとも部分的に再構成されるべき媒体中の一組の波形を送信する。しかし、対象物が単に物理的な励起にさらされる可能性があるため、ステップ１１は行わなくてもよい。物理的な励起には、超音波（音響波形）、熱、または光音響イメージングにおける電磁放射線パルスなどの他の励起が含まれる。ステップ１３では、プローブ３、より具体的にはそのセンサ（複数可）が、一組の受信素子を用いて、音波が当てられた媒体の物理的散乱から生じる一組の（エコー）波形を受信または取得する。言い換えれば、このステップでは、物理的な励起によって刺激された（または暴露された）対象物からの測定値として、一連の波形（または信号）が受信または取得される。ステップ１５では、記録された一連の測定値に媒体の未知画像をリンクする測定モデルが定義、決定、または識別される。ステップ１７では、定義された測定モデルを用いて、データ忠実度汎函数Ｄを構築、決定、または識別する。ステップ１９では、学習非線形マッピングｆ_θを用いて、データ駆動型の正則化汎函数Ｒまたはプライアを構築、決定、または識別する。ステップ２１では、未知画像の意味のあるまたは高品質の推定値ｘ＾を得るために、データ忠実度汎函数Ｄおよび正則化汎函数Ｒを含む最適化問題を定義、決定、または識別する。ステップ２３では、最適化問題を、例えば、反復アルゴリズムまたはソルバーを用いて、収束基準に達するまで解き、精査対象の媒体の画像推定値ｘ＾を得る。アルゴリズムは、１０～１００回の反復、より具体的には１０～５０回の反復、または１～２０回の反復で構成されていてもよい。ステップ１５～２１は、画像再構成モジュール７によって実行されてもよい。

【0023】

画像再構成後、再構成されたデータ（すなわち画像）は、図１にさらに示すように、後処理・表示モジュール９に送られる。後処理ステップは、以下のような様々なアプリケーションをカバーしている。
Ｂモードイメージング
スキャン変換
カラードップラー画像
ベクトルフローイメージング
エラストグラフィ
高周波データを用いたＢモードイメージングでは、再構成されたデータ（すなわち画像）に対してエンベロープ検出が行われる。エンベロープ検出は、例えば、ヒルベルト変換の後にマグニチュード検出を行い、オプションでローパスフィルタリングを行うことで実現できる。また、信号を２乗してローパスフィルタリングすることでも実現できる。ＩＱデータを用いたＢモードイメージングの場合、複素信号の大きさが抽出される。エンベロープ検出ステップの後、ゲイン調整とダイナミクス圧縮ステップが行われる。ドップラーやエラストグラフィの場合は、後処理を行わずに、再構成された高周波データまたはＩＱデータ（つまり画像）を直接使用する。

【0024】

以上の説明では、本発明の概要を説明したが、いくつかの具体的な実施例を参照しながら、本発明をより詳細に説明する。

【0025】

超音波イメージング、そしてより一般的なアレイ処理には、いくつかの要因によるアーチファクトがある。一般的な超音波プローブは、トランスデューサエレメントのアレイに分割された有限の開口部を有している。これらのトランスデューサエレメントは、それぞれバンドリミティッド（バンドパス）な電気音響インパルス応答と音響電気インパルス応答を持ち、電気的な加振を音圧に変換し、音圧を電気信号に記録する。このことは、組織内の理想的な点状反射体は、帯域制限された（バンドパスされた）ＲＦパルス波形としてのみ記録できることを意味する。トランスデューサ要素の有限次元の性質は、方向性のある感度を持つ回折物体となる。プローブの開口部、開口部内でのトランスデューサ素子の配置、送信ビームを形成するために適用される遅延と振幅は、アレイの送信および受信の空間インパルス応答（ＳＩＲ）を支配する要因となる。送信ビームの数と種類、およびそれに対応する遅延加算ビームフォーミング動作は、結果として得られる画像品質の重要な要因となる。超音波プローブ、トランスデューサ素子の配置、形状、物理的特性、および送受信設定は、超音波イメージング構成を定義するパラメータである。このようなイメージング構成は、よく知られている遅延加算法などの画像再構成法と組み合わせて、記録された測定値から画像を生成する。結果として得られる画像の標準的な品質指標は、点－広がり－関数（ＰＳＦ）で与えられる。また、散乱や減衰などの波動伝播効果も全体の画質に影響を与える。物理的なイメージングプロセス全体には、イメージングアーティファクトの発生が伴いる。これは、特にサイドローブやグレーチングローブのレベル、減衰、残響、多重散乱によって引き起こされ、コントラストの低下、不適切な位置のゴーストイメージ、非物理的な縞模様の画像構造、シャドーイングなどとして視覚化される。

【0026】

例として、表１に示す２つのイメージング構成を定義する。ＬＱと呼ばれる低品質の構成では、１２８個のトランスデューサエレメントで構成されたリニアプローブを使用し、５。１３３ＭＨｚを中心に６７％の帯域幅を確保している。つまり、アレイの全ての素子が同時に媒体中に音響波を送信することで、焦点の合わない準平面状の波面が得られる。後方散乱されたエコーは、アレイの全ての素子で測定され、そこから画像が遅延加算法によって画像推定の全てのピクセル位置で再構成される。ＨＱと呼ばれる高品質な構成では、同じアパーチャ内に２倍の数のトランスデューサエレメントを持つ同様のプローブを使用する。画像は２５６回のＳＡ測定値から再構成され、これは所定のアパーチャを用いた超音波イメージングのゴールドスタンダードと考えられる。ＳＡ測定値は次のようにして得られる。アレイの１つの素子が、焦点の合っていない波面を媒体中に送信する。アレイの全ての素子で後方散乱エコーが測定され、そこから遅延加算法によって中間高周波画像のピクセルが再構成される。この手順をアレイの各要素について繰り返し、全ての中間高周波画像を平均して最終的な高周波画像を得る。

【表1】

【0027】

画像再構成の結果を評価すると、低品質構成のＰＳＦは高品質構成よりもはるかにアーチファクトの影響を受けていることがわかる。画像のコントラストに大きな影響を与えるサイドローブとゴーストのアーチファクトは、高品質構成では大幅に減少している。画像の解像度に直接影響を与えるメインローブは、高品質構成ではきつくなる。一方、低品質構成では、ボケやシャドーイングに大きな影響を与えるグレーチングローブが存在している。これは、アレイピッチが波長の半分よりも大きいことに起因している。半波長ピッチの高品質構成では、これらのグレーチングローブは完全に除去されている。全体として、高品質構成で再構成された画像は、低品質構成で再構成された画像よりもはるかに高い品質を持っている。

【0028】

ここで、Ｗ⊂Ｒ^Nを、相当数のアーチファクトが発生した撮像条件から再構成された低品質画像の部分空間とする。Ｎは、２次元空間のピクセル数や３次元空間のボクセル数など、画像の次元を表す。Ｖ⊂Ｒ^Nを高品質画像の部分空間とする。このような高品質な画像は、これらのアーチファクトを低減し、あるいは完全に除去する最適な超音波イメージング構成によって再構成されうる。また、これらのアーチファクトに影響されない別のイメージングモダリティで取得された高品質な画像や、利用可能であれば正確な物理媒体の特性である場合もある。高画質画像または高画質画像推定値（第１画像推定値とも呼ばれる）ｘ＾∈Ｖを、対応する低画質画像または低画質画像推定値（第２画像推定値とも呼ばれる）ｘ~∈Ｗに変換するマッピングＦ：Ｖ→Ｗを以下のように定義する。

【数3】

【0029】

部分空間ＶとＷに応じて、多くの異なるマッピングＦが存在する可能性があるが、本質的には全てのマッピングが非正規である。実際、低品質の画像に存在するアーチファクトのレベルは、高品質の画像に存在するアーチファクトのレベルよりも高いので、Ｆは情報の損失につながることを意味している。言い換えれば、写像Ｆは高品質画像ｘ＾に対してぼかし演算子として働く。したがって、対応する低品質画像ｘ~から高品質画像ｘ＾を復元するための逆マッピングを見つけることは、最新の手法では不可能である。

【0030】

例として、表１に定義されているＨＱおよびＬＱの構成を考える。結果として得られる画像の部分空間ＷとＶを正式に定義するために、Ｙ_Ｌ⊂Ｒ^ＭＬとＹ_Ｈ⊂Ｒ^ＭＨを低品質構成と高品質構成で取得した測定値の部分空間と定義し、Ｍ_ＬとＭ_Ｈは対応する測定サンプル数である。この例では、高品質構成が低品質構成の２倍のトランスデューサ素子で構成され、２５６倍の送受信イベントを必要とするため、Ｍ_ＨはＭ_Ｌよりも実質的に大きいことがわかる。これらの定義を用いると、低品質画像ｘ~と高品質画像ｘ＾を次のように表すことができる。

【数4】

【数5】

【0031】

ここで、Ｄ_Ｌ：Ｙ_Ｌ→Ｗ、Ｄ_Ｈ：Ｙ_Ｈ→Ｖは、それぞれ低品質構成と高品質構成のイメージング演算子である。したがって、低品質画像の部分空間はＷ＝Ｄ_Ｌ（Ｙ_Ｌ）、高品質画像の部分空間はＶ＝Ｄ_Ｈ（Ｙ_Ｈ）と表すことができる。上述の例では、画像再構成法として遅延加算法を用いているので、演算子Ｄ_ＬとＤ_Ｈはともに線形演算子である。興味深いのは、高品質構成で得られたＳＡ測定値の集合から画像を再構成するために使用される再構成法は、実際には、同じ画像の複数のビューを平均化するプロセスである。高品質構成で再構成された画像は、低品質構成で得られた測定値から再構成された画像よりもはるかに多くのビューで得られているため、本質的に多くの情報を含んでいる。したがって、式（３）で定義されるマッピングＦは、この例では線形であり、例えば主成分分析（ＰＣＡ）によって表現することができる。しかし、その逆マッピングを最新の方法で見つけることは、失われた情報を回復することになるため、不可能であることは明らかである。

【0032】

この制限を回避するために、画像再構成タスクを逆問題として定式化するのが一般的である。ここで、未知画像ｘ∈Ｒ^Nと、超音波イメージング構成によって感知された測定値ｙ∈Ｒ^Ｍを定義すると、ここで、Ｍはプローブのトランスデューサ要素によって記録された測定サンプルの数を表す。これに対応する逆問題は次のように書くことができる。

【数6】

【0033】

ここで、Ｈ：Ｒ^N→Ｒ^Ｍは、物理的な測定プロセスを説明する測定モデルまたはフォワードモデル（ｘを入力の１つとする）であり、ｎ∈Ｒ^Ｍは測定ノイズである。ここで重要なのは、測定モデルが非線形である可能性がある。提案された定式化は、Ｒ^N（実数）の値をとる測定モデルで表現されているが、測定モデルがＣ^N（複素数）の値をとる場合にも容易に拡張することができる。線形逆問題の特殊なケースでは、測定モデルは、Ｈ（ｘ）＝Ｈｘとなるような行列Ｈ∈Ｒ^Ｍ×Ｎとして表すことができる。この場合、式（６）の問題は次のようになる。

【数7】

式（６）の問題は一般的には非可決であるため、制約のない最適化問題を定式化することで解決することができる。

【数8】

汎函数ＤとＲがともに凸である場合、式（８）の問題は、制約付き最小化問題として等価に定式化することができる

【数9】

ここで、Ｃ_Ｒ＝｛ｘ∈Ｒ^N｜Ｒ（ｘ）≦τ｝は閉凸集合であり、τは正則化パラメータλによって一意に定義される。

【0034】

Ｈ（ｘ）と測定値ｙの間の距離を測定するデータ忠実度汎関数Ｄは、しばしば二乗ｌ_２ノルムとして表される。

【数10】

未知画像ｘの性質に応じて、しばしばプライアと呼ばれる異なる正則化汎函数Ｒが文献で一般的に使用されている。ｌ_２ノルムの二乗、ｌ_１ノルム、ウェーブレット・スパース、トータル・バリエーション（ＴＶ）などが有名なプライアである。このようなプライアは、標準的な画像常に特殊であるため、超音波画像の文脈では最適とは言い難い。学習した辞書と適切なノルムを組み合わせたものも、正則化汎函数としてよく用いられる。しかし、これらは計算負荷が高く、画像のパッチにしか適用できないため、このような技術はあまり魅力的ではない。

【0035】

本発明は、処理タスクにおいてその有効性が実証されているが、超音波画像の性質が非学習可能なパラメータθを有する学習非線形マッピングｆ_θ：Ｒ^N→Ｒ^Nを使用して、未知画像ｘに対する非常に効果的なデータ駆動型プライアを構築することを含む戦略を提案する。図３は、そのような非線形マッピングｆ_θの簡略化したブロック図を示している。学習非線形マッピングは、典型的には、学習可能なパラメータθが、超音波画像アーチファクトを低減または除去するように学習ディープニューラルネットワーク（ＤＮＮ）とすることができる。

【0036】

学習非線形マッピングｆ_θを用いて、データ駆動型プライアは正則化汎函数Ｒで表すことができる。Ｒの典型的な例は、画像ｘと残差項［ｘ－ｆ_θ（ｘ）］の内積として定義され、次のようになる。

【数11】

ここでｘ^Tはｘの転置を表す。複素ベクトルｘ∈Ｃ^Nの場合、転置演算はｘ^Hと表記される共役転置（またはエルミート転置）に置き換えられるべきである。

【0037】

このような正則化汎函数を定義する別の方法は、残差の二乗ｌ_２ノルムであり、これは明示的に次のように表される。

【数12】

式（１１）と（１２）で与えられた両方の例では、画像ｘがｆ_θ（ｘ）に近づくとＲ（ｘ）がゼロに近づくことは明らかである。いくつかのシナリオでは、特にディープニューラルネットワークを考慮する場合、非線形マッピングｆ_θを以下のような残差マッピングとして設計することが望ましい場合がある。

【数13】

ここで、ｒ_θ:Ｒ^N→Ｒ^Nは、ｘに適用される負のノイズを予測するように学習した非線形マッピングである。

【0038】

図４は、このような残差非線形マッピングのブロック図である。この場合、式（１２）で定義される正則化汎函数は、例えば次のように簡略化することができる。

【数14】

この場合、予測される負のノイズｒ_θ（ｘ）がゼロになると、Ｒ（ｘ）もゼロに近づくことは明らかである。

【0039】

もう一つの一般的なニューラルネットワークアーキテクチャは、「エンコーダ－デコーダ」アーキテクチャであり、学習可能なパラメータθ_eを持つエンコーダｅ_θeは、まず、入力画像ｘを、ｅ_θe:Ｒ^N→Ｒ^Ｅとなるような潜在空間にマッピングする。学習可能なパラメータθ_ｄを持つデコーダｄ_θｄは、ｄ_θｄ:Ｒ^Ｅ→Ｒ^Nとなるように、潜在空間を画像空間にマッピングし直す。残差形式では、このようなアーキテクチャは次のように表すことができる。

【数15】

ここで、学習可能なパラメータθには、θ_eとθ_ｄの両方が含まれている。図５は、「エンコーダ－デコーダ」アーキテクチャを持つ残差非線形マッピングのブロック図である。このような学習済みの非線形マッピングｆ_θに対して、正則化汎函数を次のように表すことができる。

【数16】

これは、計算量の点で有利になるかもしれない。

【0040】

このデータ駆動型正則化汎函数Ｒを、用途に応じて適切に学習された非線形写像ｆ_θで表現すると、これを適切な画像再構成法に用いることで、従来の画像再構成法では低品質の画像しか得られなかった超音波イメージングの構成から、高品質の画像を得ることができる。提案された画像再構成法は、通常、式（８）のような最適化問題を反復アルゴリズムによって解く必要がある。式（８）を解くために、関数Ｄと関数Ｒの凸性や微分可能性などの数学的特性に応じて、多くのアルゴリズムが展開される可能性があり、そのいくつかを以下のセクションで説明する。データ忠実度汎函数に関しては、簡潔で分かりやすくするために、以下の例では式（１０）に記載されているような二乗ｌ_２ノルムで表現されたデータ忠実度汎函数に限定するが、本発明がこれに制限されるものではない。

【0041】

まず、勾配降下法では、式（８）に関して、コスト汎函数Ｆ（ｘ）＝Ｄ（ｘ）＋λＲ（ｘ）を最小化するｘ∈Ｒ^Nを求める。汎函数Ｆがｘに対して微分可能であると仮定すると、汎函数Ｄと汎函数Ｒの両方がｘに対して微分可能であることを意味し、次のような勾配降下法の反復を表現することができる。

【数17】

ここで、γ_ｋ∈Ｒは反復ｋ∈Ｎ（Ｎは自然数を表す）ごとに変化する可能性のあるステップサイズである。適切な初期化ｘ_０とステップサイズのシーケンス（γ_ｋ）_ｋ∈Ｎにより、シーケンス（ｘ_ｋ）_ｋ∈Ｎは、コスト汎函数Ｆの所望のローカルまたはグローバル・ミニマムに収束する可能性がある。勾配降下アルゴリズムは、収束基準が満たされるまで、式（１７）で定義される反復を再帰的に適用することで構成される。図６のフローチャートは、勾配降下アルゴリズムを用いた提案された画像再構成プロセスを要約したものである。ステップ３０では、プローブ３は、関心のある対象物から生じる一連の波形を受信または取得する。言い換えれば、このステップでは、一連の波形（または信号）が、物理的な励起によって刺激された（または暴露された）関心対象物からの測定値として受信または取得される。ステップ３１では、媒体の未知画像と記録された一連の測定値を結びつける測定モデルが定義される。ステップ３２では、Ｈを用いて微分可能なデータ忠実度汎函数Ｄを構築し、ステップ３３では、ｆ_θを用いて微分可能な正則化汎函数Ｒを構築する。ステップ３５では、アルゴリズムまたはソリューションをｘ_０として初期化する。ステップ３７では、データ忠実度勾配∇_ｘＤ（ｘ_ｋ）が評価または決定される。ステップ３９では、正則化勾配∇_ｘＲ（ｘ_ｋ）が評価または決定される。ステップ４１では、反復ステップサイズγ_ｋが評価または決定される。ステップ４３では、ｘ_ｋ＋１←ｘ_ｋ－γ_ｋ［∇_ｘＤ（ｘ_ｋ）＋λ∇_ｘＲ（ｘ_ｋ）］を計算することにより、推定値または解が更新される。ステップ４５では、所定の収束基準が満たされているか否かが判断される。肯定的な場合、プロセスは終了する。一方、基準が満たされていない場合には、ステップ３７に処理を継続する。

【0042】

コスト関数Ｆの凸性やリプシッツ勾配などの厳密な仮定と、ステップサイズ列（γ_ｋ）_ｋ∈Ｎ）の適切な選択により、勾配降下法の収束が保証される。このようなコスト汎函数Ｆに関する厳密な仮定は、満たすことが難しい場合がある。状況によっては、汎函数Ｄや汎函数Ｒが任意のｘ∈Ｒ^Nに対して微分可能でない場合もある。そのような場合には、汎函数Ｄおよび／または汎函数Ｒが凸型の非微分可能な関数である場合には、式（１７）における勾配∇_xD(x_k) および／または∇_xR(x_k)をその副勾配s_D(x_k)∈∂_xD(x_k)および／またはs_R(x_k)∈∂_xR(x_k)で置き換えることができる。汎函数Ｄおよび／または汎函数Ｒが局所的なリプシッツ連続性を有する非凸の非微分可能な汎函数である場合、式（１７）の勾配∇_xD(x_k) および／または∇_xR(x_k) を、その一般化勾配g_D(x_k)∈∂_xD(x_k) および／またはg_R(x_k)∈∂_xR(x_k)に置き換えることができ、これは、非特許文献１：Clarke F., (2013) Generalized gradients, "Functional Analysis, Caliculus of Variations and Optimal Control", Graduate Texts in Mathematics, vol. 264. Springer, London.によって定義されている。

【0043】

データ忠実度汎函数は、線形測定モデルを用いて、よく保存された凸およびリプシッツ勾配関数として構築するのが一般的だが、ニューラルネットワークなどの学習非線形マッピングｆ_θを用いて正則化汎函数Ｒを構築する場合には、このような特性を容易に検証できない場合がある。この場合、微分可能な活性化関数のみを用いることで、ｆ_θの微分可能性を強制することができる。一般的な整流線形単位（ＲｅＬＵ）などの非微分活性化関数を使用し、局所的なリプシッツ連続性を確保することができれば、上で定義した一般化された勾配の恩恵を受けることができる。局所的なリプシッツ連続性が確保できない場合でも、ニューラルネットワークの学習で一般的に行われているように、不連続な位置での勾配∇_xR(x_k)を近似することができる。また、初期化ｘ_０があると、特に有利になる。例えば、よく知られている遅延加算法で得られた画像を使用すると、式（１７）で定義される反復に効率的な初期化ｘ_０を提供することができる。勾配降下法のアルゴリズムは、そのペースを速めたり、収束を保証するためのＦに関する仮定を緩和したりするために、多くのバリエーションが開発されている。このような変形は、もちろん容易に適用することができる。

【0044】

式（１７）で表される勾配降下反復は、ＤとＲの両方の勾配を含みる。例として、式（１０）で定義される二乗ｌ_２ノルムデータフィデリティを考えると、この勾配は次のように表される。

【数18】

ここで、∇_xH（x）は、以下のヤコビ行列の転置行列である。

【数19】

二乗ｌ_２ノルムデータ忠実度汎函数Ｄの勾配は、以下のように表すことができる。

【数20】

正則化汎函数Ｒの勾配は、特に興味深い。例えば、式（１１）で定義された正則化汎函数Ｒの勾配∇_ｘＲは次のように表される。

【数21】

ここで、∇_ｘｆ_θ（ｘ）ｘは、方向ｘに沿った位置ｘにおける学習非線形マッピングｆ_θの方向微分であり、∇_ｘｆ_θ（ｘ）は、次のように定義されるヤコビアン行列の転置行列である。

【数22】

しかし、各反復ｋでヤコビアン行列Ｊ_ｆθ（ｘ_ｋ）を構築することは、計算上非常に困難である。式（１７）に記載されているように、各反復において、項∇_ｘｆ_θ（ｘ_ｋ）ｘ_ｋの評価のみが必要であることがわかる。この評価がヤコビアン行列を構築することなく可能であれば、反復を効率的に処理することができる。ニューラルネットワークをｆ_θとして使用する際に注目すべき点は、ｆ_θが本質的に微分可能であること、あるいは少なくともその勾配を効率的に近似する手段が容易に入手できることである。この微分可能性は、チェーンルールを用いた強力なバックプロパゲーション法に依存する学習戦略の重要な構成要素である。したがって、計算効率の高いバックプロパゲーションアルゴリズムを利用することで、ヤコビアン行列Ｊ_ｆθ（ｘ_ｋ）ｘ_ｋを明示的に構築することなく、行列－ベクトル積∇_ｘｆ_θ（ｘ_ｋ）ｘ_ｋを直接評価することができる。この戦略は、方向微分の「行列なし」の評価と見なすことができ、学習非線形マッピングｆ_θにニューラルネットワークを使用する際の明確な利点となる。

【0045】

２つ目の例として、式（１４）で定義される正則化汎函数Ｒを考えると、その勾配は次のように表される。

【数23】

ここで、∇_ｘｒ_θ（ｘ）ｒ_θ（ｘ）は、方向ｒ_θ（ｘ）に沿った位置ｘにおける学習非線形残差マッピングｒ_θの方向微分である。前述の例と同様に、効率的なバックプロパゲーションアルゴリズムを利用することで、各反復ｋにおいて行列－ベクター積∇_ｘｒ_θ（ｘ_ｋ）ｒ_θ（ｘ_ｋ）を評価することができる。

【0046】

次に、投影法を用いた方法を検討する。近似勾配法は、ＤとＲがともに凸状汎函数で、Ｄが微分可能、Ｒが非微分可能である場合に、式（８）の問題を解くのに使用できる。対応するアルゴリズムのイテレーションは次のように与えられる。

【数24】

ここで、γ_ｋ∈Ｒは、反復ｋ∈Ｎにおける勾配ステップサイズである。式（２４）は、まず、測定値への近さを確保するデータ忠実度に関する勾配ステップを実行し、次に、未知画像に関する事前知識を考慮する近位ステップを実行する。式（２４）に関与する近位演算子はいくつかのμ∈Ｒ^＋に関して、次のように定義される。

【数25】

ここでｚ∈Ｒ^Nは、中間画像を参照する。正則化汎函数Ｒの構築に使用される学習非線形マッピングｆ_θに応じて、問題（２５）は閉形式解を有する場合があり、その場合には容易に適用することができる。そのような閉形式の解がない場合は、式（２５）を反復的に解くことができるが、これは計算量が多くなる可能性がある。

【0047】

式（２５）で定義され、式（２４）に関与する近位演算子をさらに詳しく見ると、この演算は概念的には画像ｘのノイズ除去であることがわかる。例えば、S. V. Venkata Krishnan、 Ch. A. Bouman and Br. Wohlbergの”Plug-and-Play priors for model based reconstruction”、 in 2013 IEEE Global Conference on Signal and Information Processing、 2013、 pp.945-94に説明されているようなプラグアンドプレイの事前アプローチを利用すると、近位演算子を適切なノイズ除去器で置き換えることができる。したがって、近位演算子を学習非線形マッピングｆ_θで置き換えることで、結果として得られる画質を大幅に改善することができる。式（２４）で定義される反復は次のようになる。

【数26】

ｆ_θがある閉凸集合Ｃ_Ｒへのプロジェクタである特別な場合、式（２６）に記載された反復は、よく知られた投影勾配降下アルゴリズムに対応し、式（９）で定義された制約付き最適化問題を解くために使用することができることに留意することができる。したがって、式（２６）で定義された反復は、ｆ_θがある閉凸集合Ｃ_Ｒへのプロジェクタである場合に投影勾配降下アルゴリズムに還元される、汎用の投影ベースのアルゴリズムを形成するために使用することができる。一般的な投影ベースのアルゴリズムは、式（２６）で定義された反復を、収束基準が満たされるまで再帰的に適用することで構成される。図７のフローチャートは、ジェネリック・プロジェクション・ベース・アルゴリズムを用いた画像再構成プロセスの提案を示している。ステップ５０では、プローブ３は、関心対象物から生じる一連の波形を受信または取得する。言い換えれば、このステップでは、物理的な励起によって刺激された（または暴露された）関心対象物からの測定値として、一組の波形（または信号）が受信または取得される。ステップ５１では、記録された一連の測定値に媒体の未知画像をリンクする測定モデルが定義される。ステップ５２では、微分可能または副微分可能なデータ忠実度汎函数ＤがＨを用いて構築または定義される。ステップ５５では、データ忠実度勾配∇_ｘＤ（ｘ_ｋ）が評価または決定される。ステップ５７では、反復ステップサイズγ_ｋが評価または決定される。ステップ５９において、投影ｘ＿（ｋ＋１）←ｆ_θ（ｘ_ｋ－γ_ｋ∇_ｘＤ（ｘ_ｋ））を適用することにより、推定値または解が更新される。ステップ６１では、所定の収束基準が満たされているか否かが判断される。肯定的な場合、処理は終了する。一方、基準が満たされていない場合には、ステップ５５で処理を続行する。学習非線形マッピングｆ_θが一般的なマッピングである場合、それはプラグアンドプレイアプローチと同様である。学習非線形マッピングｆ_θが、ある閉凸集合へのプロジェクタである場合、投影ベースのアルゴリズムは、よく知られた投影勾配降下法アルゴリズムと同等である。

【0048】

式（２６）をステップサイズγ_０＝１、初期化ｘ_０＝０でｋ＝０回繰り返した場合の特殊なケースが注目される。式（１０）で定義される二乗ｌ_２ノルムデータ忠実度汎函数Ｄを持つ線形測定ケースを仮定し、その勾配は式（２０）で表され、推定値ｘ＾は次のように与えられる。

【数27】

【数28】

Ｈ^Tｙという演算は、線形測定演算子Ｈに関する特定の仮定がなされた場合、実際には測定値ｙに適用されるよく知られた遅延加算演算であることが証明されている。したがって、この非常に特殊なケースでは、高品質の画像推定値ｘ＾は、単純な直接マッピングによってｘ~＝Ｈ^Tｙとなるような遅延加算法によって再構成された低品質の画像推定値ｘ~から得ることができる。

【数29】

このように、まず低画質画像の推定値ｘ~＝Ｈ^Tｙを計算し、次にｘ^＝ｆ_θ（ｘ~）となるようにマッピングを適用して推定値を計算する。

【0049】

このように単純化することで、遅延加算法による低画質画像の再構成とｆ_θの１回の評価で済むという大きなメリットがある。したがって、学習非線形マッピングｆ_θは、式（３）で定義されたマッピングＦの逆数に近似している。単純化されているとはいえ、この特殊なケースでは、再構成された高品質画像ｘ＾が、低品質画像ｘ~に比べて大幅に改善されている。

【0050】

上述の画像再構成の例（勾配降下法と投影法）はいずれも、反復アルゴリズムの各反復において、グローバルに学習非線形マッピングｆ_θに依存していることに留意できる。しかし、このアプローチを、各ｆ_θｋが反復アルゴリズムの各反復ｋ∈Ｎにおいて存在する所与のレベルのアーチファクトに対して特別に設計し、学習非線形マッピング｛ｆ_θｋ｝_ｋ∈Ｎのセットに容易に特化することができる。この場合、画像再構成法は、少なくとも２つの学習非線形マッピング（学習非線形マッピングの多重度）に基づいて行われることになる。

【0051】

上記では、式（８）のような最適化問題を解決するための一般的な方法を説明した。ここでは、学習非線形マッピングｆ_θを用いて正則化汎函数Ｒを構築する。以下では、提案された手法を十分に活用するために、このような非線形マッピングをどのように設計し、学習するかについて、いくつかの洞察を示す。

【0052】

例として、図５に示した残差「エンコーダ－デコーダ」アーキテクチャが考えられる。このようなアーキテクチャは、図８に示されているような深層残差畳み込みニューラルネットワークとして実装されてもよい。入力画像ｘの符号化は、ニューラルネットワークアーキテクチャの下向きの経路（左上から中心下へ）で行われ、復号化は、中間残差出力ｒ_θ（ｘ）まで、ニューラルネットワークアーキテクチャの上向きの経路（中心下から右上へ）で行われる。その後、残差出力が入力画像に加算され、最終出力ｆ_θ（ｘ）＝ｘ＋ｒ_θ（ｘ）が形成される。実線の矢印は演算を指定し、破線の矢印は固有のスキップ接続を指定している。破線の矢印は、操作ではなく、量の移動を表している。点線のボックスは、それぞれ分解レベルを表している。この例では、３つの分解レベル、すなわちｌ＝０、１、２が考えられる。実線で描かれた長方形は、ＮＮのそれぞれの深さにある特徴マップ、つまり演算やレイヤーの出力を表している。各ボックスの幅（水平線に沿った寸法）は、特徴マップに含まれるチャンネル番号を示している。最初の演算では、カーネルサイズが（１×１）の畳み込み演算を用いて、入力画像ｘのチャネル番号をユーザ定義可能なチャネル番号Ｎ_ｃに拡張する。残差出力ｒ_θ（ｘ）の前の最後の演算では、カーネルサイズが（１×１）の畳み込み演算を用いて、チャンネル番号Ｎ_ｃを入力画像のチャンネル番号に戻す縮退が行われる。各分解レベル内では、（３×３）の畳み込み演算に続いて、非線形活性化（図８のnl.）が、特徴マップの次元を変えずに各特徴マップ間で実行される。このような非線形活性化は、例えば、周知の整流線形単位（ＲｅＬＵ）、指数線形単位（ＥＬＵ）、シグモイド関数などである。下降経路の各分解レベルの間では、チャネル数の拡張を伴う（または伴わない）マルチスケール（３×３）の畳み込み演算を用いてダウンサンプリング演算が行われ、その後、非線形活性化が行われる。このようなマルチスケール演算は、例えば、最大プーリング演算の後にコンボリューション演算を行うものであってもよい。また、チャンネル数の拡大を伴う（または伴わない）ストライドコンボリューションでもよい。上昇経路の各分解レベルの間では、マルチスケール（３×３）の畳み込み演算とそれに続く非線形活性化を用いてアップサンプリング演算が行われる。このようなマルチスケール演算は、例えば、チャンネル数の縮小を伴う（または伴わない）転置型およびストライド型の畳み込み演算であってもよい。

【0053】

ニューラルネットワークアーキテクチャのフィルタ係数は、全て学習可能なパラメータである。これらのパラメータ（重みとも呼ばれる）は、経験的なリスクを最小化することで学習することができる。

【数30】

ここでＬは学習損失関数であり、{x^_j}_j=1 ^Lと{ｘ~_j}_j=1 ^LはＬ枚の画像の集合である。集合{x^_j}_j=1 ^Lと{ｘ~_j}_j=1 ^Lは、高品質部分空間Ｖと低品質部分空間Ｗからそれぞれサンプリングして構成するのが一般的である。このようなサンプルは、例えば、実験や数値シミュレーションによって得られる。セット{x^_j、ｘ~_j }_j=1 ^Lは、しばしばトレーニングセットと呼ばれる。確率的勾配降下法（ＳＧＤ）、バッチＳＧＤまたはＡｄａｍオプティマイザー（D. P. Kingma and J. Ba、 "Adam: A Method for Stochastic Optimization", pp.1-15, 2014. arXiv: 1412.6980）などの最適化アルゴリズムは、例えば、式（３０）で定義される最小化問題を解くために使用されてもよい。この目的のために、学習可能なパラメータ∇_θＬに対する損失関数の勾配は、例えば、一般的なチェーンルールを用いたバックプロパゲーションによって計算することができる。典型的な損失関数は、次のように定義される平均二乗誤差（ＭＳＥ）である。

【数31】

ただし、異なる損失関数、リスク最小化関数、最適化アルゴリズムを使用してもよい。

【0054】

非線形マッピングｆ_θとしては、O. Ronneberger, Ph. Fischer, and. Brox "U-Net: Convolutional Networks for Biomedical Image Segmentation", pp. 1-8, 2015. arXiv: 1505.04597によってバイオメディカルな画像セグメンテーションの目的で最初に紹介され、最近ではスパースビューＣＴ画像再構成の文脈で使用されている、Ｕ－Ｎｅｔと呼ばれるニューラルネットワークアーキテクチャを一例として使用することができる。これは本質的に、図８に示された残差非線形マッピングに非常に似ている。ｆ_θのパラメータθは、Adam optimiserを用いて最適化され、一方で、前述のＭＳＥが学習損失として使用される。

【0055】

学習セットは、例えば特定のシミュレータを使用して生成された約１０００～１０００００または１００００～３００００の画像で構成されていてもよい。この目的のために合成ファントムを使用してもよく、様々なサイズとエコー源性の介在物をランダムに生成してもよい。介在物の大きさとエコー源性の確率分布は、対象物に存在する分布を忠実に再現するようにモデル化することができる。数値的なファントムを設計し、画像全体に完全に拡散したスペックルパターンを得るために使用することができる。実験データではなくシミュレーションデータを使用することの主な利点は以下の通りである。異なったエコー源性を持つアーチファクトや介在物の分布を完全にコントロールできる。特定のアーチファクトが学習セットにほとんど含まれていない場合、ニューラルネットワークはそれを除去することにほとんど焦点を当てないため、これはニューラルネットワークの学習に役立つ。また、実験データと比較して、トレーニングセットに多様性を持たせることも可能である。また、シミュレーション環境が完全に制御されているため、組織の動きによるボケを防ぐことができる。もう一つの利点は、既存の超音波イメージング構成ではないものをシミュレートできることである。例えば、表１に示した低品質構成は現実的なプローブに基づいているが、高品質構成で使用されるプローブは存在しないため、与えられたアパーチャに対して理想的な画像を再構成することができる。シミュレーションされたトレーニングセットを使用することの主な欠点は、実験データに適用したときにその結果が反映されるかどうかが自明ではないという点にある。

【0056】

学習した後は、例えば、式（２９）で示される直接マッピングアプローチを使用することができる。このようにして、学習非線形マッピングｆ_θを低品質の画像推定値ｘ~に適用するだけで、高品質の画像推定値ｘ＾を得ることができる。

【0057】

要約すると、本発明は、超高速超音波イメージングにおいて、高品質の超音波イメージング構成から画像を再構成することは、代償を伴い、実際には実現できないかもしれないという事実に動機づけられている。実際、高品質の超高速画像は、一般に、順次再構成された低品質の複数の画像を平均化または複合化することによって得られる。この戦略の例として、よく知られているコヒーレントＰＷ合成がある。ここでは、ステアされたＰＷが順次送信され、各ステアされたＰＷについて再構成された全ての画像を平均することで最終的な画像が得られる。送受信イベントが連続しているため、非常に高いフレームレートが要求されるシナリオでは、音響波の往復の飛行時間がすでに制限要因となっている。また、３Ｄイメージングや低消費電力の環境など、多くの画像を合成して再構成するための計算要件も、状況によっては実行できないことがある。さらに、物体（人間の組織など）の動きによって、異なる時間間隔で再構成された連続画像を平均化する際に、結果として得られる画像の実質的なぼやけが誘発される可能性がある。したがって、本発明の目的の一つは、単一または非常に少数のＰＷ測定で高品質の画像を再構成することである。

【0058】

本発明は、図面および前述の説明において詳細に図示および説明されているが、このような図示および説明は、例示的または模範的なものであり、制限的なものではないと考えられ、本発明は開示された実施形態に限定されるものではない。他の実施形態および変形は、図面、開示および添付の請求項の検討に基づいて、請求された発明を実施する際に、当業者によって理解され、達成され得るものである。例えば、本発明の教示は、送信された音響波が電磁放射線パルスに置き換えられた光音響イメージングに適用することができる。

【0059】

特許請求の範囲では、「備えた」という言葉は他の要素やステップを除外するものではなく、単数表示は複数を除外するものではない。異なる特徴が相互に異なる従属請求項に記載されているという事実だけで、これらの特徴の組み合わせが有利に使用できないことを示すものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】