IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コーニンクレッカ フィリップス エヌ ヴェの特許一覧

特表2023-553915超音波走査ユニット用のデジタル化ASIC
<>
  • 特表-超音波走査ユニット用のデジタル化ASIC 図1
  • 特表-超音波走査ユニット用のデジタル化ASIC 図2
  • 特表-超音波走査ユニット用のデジタル化ASIC 図3
  • 特表-超音波走査ユニット用のデジタル化ASIC 図4
  • 特表-超音波走査ユニット用のデジタル化ASIC 図5
  • 特表-超音波走査ユニット用のデジタル化ASIC 図6
  • 特表-超音波走査ユニット用のデジタル化ASIC 図7
  • 特表-超音波走査ユニット用のデジタル化ASIC 図8
  • 特表-超音波走査ユニット用のデジタル化ASIC 図9
  • 特表-超音波走査ユニット用のデジタル化ASIC 図10
  • 特表-超音波走査ユニット用のデジタル化ASIC 図11
  • 特表-超音波走査ユニット用のデジタル化ASIC 図12
  • 特表-超音波走査ユニット用のデジタル化ASIC 図13
  • 特表-超音波走査ユニット用のデジタル化ASIC 図14
  • 特表-超音波走査ユニット用のデジタル化ASIC 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-26
(54)【発明の名称】超音波走査ユニット用のデジタル化ASIC
(51)【国際特許分類】
   A61B 8/00 20060101AFI20231219BHJP
【FI】
A61B8/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023534954
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-06-26
(86)【国際出願番号】 EP2021083858
(87)【国際公開番号】W WO2022122519
(87)【国際公開日】2022-06-16
(31)【優先権主張番号】20213265.0
(32)【優先日】2020-12-11
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】ファン レンズ アントニア コルネリア
(72)【発明者】
【氏名】ダグラス アレクサンダー ウルリヒ
(72)【発明者】
【氏名】ベラ ディープ
(72)【発明者】
【氏名】ポル クタン ジャヤント
(72)【発明者】
【氏名】ブルターズ ルード
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601EE14
4C601EE15
4C601GB06
4C601GB18
4C601GB20
4C601GB22
4C601HH25
4C601JB01
4C601JB11
4C601JB19
4C601JB28
4C601JB34
4C601JC01
(57)【要約】
本発明は、超音波システム1の超音波走査ユニット2用のデジタル化ASIC3であって、超音波変換器アレイで取得された超音波信号を受信するように、及び、超音波信号をデジタル化された超音波データへと変換するように適合された、アナログ-デジタル変換器のアレイ31と、アナログ-デジタル変換器31のアレイに動作可能に結合され、デジタル化された超音波データを保存するように適合された、メモリモジュール32と、メモリモジュール32に動作可能に結合され、メモリモジュール32に保存されたデジタル化された超音波データをリモートのインターフェースユニットに伝送するように適合された、送信機と、インターフェースユニット6から制御信号を受信するように、及び、制御信号に応答して、動作パラメータを設定することにより、ASIC3及び/又は超音波走査ユニット2の構成要素の動作を構成するように適合された、制御装置33と、を備え、制御装置33は、超音波照射サイクル中に及び/又はある超音波照射サイクルから次の超音波照射サイクルまでに、ASIC3及び/又は超音波走査ユニット2の動作パラメータを変更するように適合されている、超音波システム1の超音波走査ユニット2用のデジタル化ASIC3に関する。
【特許請求の範囲】
【請求項1】
超音波システムの超音波走査ユニット用のデジタル化ASICであって、
超音波変換器アレイで取得された超音波信号を受信し、前記超音波信号をデジタル化された超音波データへと変換するアナログ-デジタル変換器のアレイと、
前記アナログ-デジタル変換器のアレイに動作可能に結合され、前記デジタル化された超音波データを保存する、メモリモジュールと、
前記メモリモジュールに動作可能に結合され、前記メモリモジュールに保存された前記デジタル化された超音波データをリモートのインターフェースユニットに伝送する、送信機、特に送受信機と、
前記インターフェースユニットから制御信号を受信し、前記制御信号に応答して、動作パラメータを設定することにより、前記デジタル化ASIC及び/又は前記超音波走査ユニットの構成要素の動作を構成させる、制御装置と、を備え、
前記制御装置は、超音波照射サイクル中に及び/又はある超音波照射サイクルから次の超音波照射サイクルまでに、前記ASIC及び/又は前記超音波走査ユニットの動作パラメータを変更し、
前記制御装置は、特に前記デジタル化ASICのオンチップデジタル信号プロセッサによって、前記デジタル化された超音波データの選択及び/又は処理を制御し、前記選択及び/又は処理は:
デジタル化された超音波データを圧縮すること、
デジタル化された超音波データをサブサンプリングすること、
いくつかの変換器素子からの、及び/又は異なる信号チャネルからの、及び/又は異なる超音波照射サイクルからのデジタル化された超音波データを、特に加重合計によって組み合わせること、
ワード幅を調整すること、
デジタルゲインを調整すること、
信号クリッピング、
デジタル化された超音波データの再補間、
フィルタリング及びデシメーション、のうちの1つ又は複数を含む、デジタル化ASIC。
【請求項2】
前記制御装置は、超音波照射サイクル中に及び/又はある超音波照射サイクルから次の超音波照射サイクルまでに、前記アナログ-デジタル変換器の以下の動作パラメータ、すなわち:
アナログ-デジタル変換器のアナログフロントエンド、特にアナログ入力信号の増幅及び/又はフィルタの動作パラメータ、
作動するアナログーデジタル変換器の選択、
サンプリング周波数、
アナログ-デジタル変換器の分解能、特に1回の超音波照射サイクル中の分解能の変化、
取得遅延及び/又は取得期間、のうちの1つ又は複数を変更する、請求項1に記載のデジタル化ASIC。
【請求項3】
前記制御装置は、前記制御信号に応答して、前記メモリモジュールに保存されることになる前記デジタル化された超音波データの部分を選択する、及び/又は、前記メモリモジュールに保存された前記デジタル化された超音波データのうち前記インターフェースユニットに伝送されることになる部分を選択する、請求項1又は2に記載のデジタル化ASIC。
【請求項4】
前記デジタル化ASICは複数の制御モードを連続的に適用し、各制御モードは動作パラメータのセットを含み、次の制御モードは予め決定された時間後に又は内部若しくは外部のトリガイベントの検出に起因して起動される、請求項1から3のいずれか一項に記載のデジタル化ASIC。
【請求項5】
前記デジタル化ASICは動作パラメータを保存する少なくとも2つのレジスタバンクを備え、前記デジタル化ASICは、特に現在の超音波照射サイクル中に第1のレジスタバンクの動作パラメータを適用する一方、次の超音波照射サイクル及び/又はデータ処理中に使用される第2のレジスタバンクの動作パラメータを上書きする、請求項1から4のいずれか一項に記載のデジタル化ASIC。
【請求項6】
前記メモリモジュール及び前記アナログ-デジタル変換器のアレイは第1のクロックドメインからクロックされ、前記送受信機は第2のクロックドメインからクロックされる、請求項1から5のいずれか一項に記載のデジタル化ASIC。
【請求項7】
超音波変換器アレイと請求項1から6のいずれか一項に記載のデジタル化ASICとを備える、超音波走査ユニット。
【請求項8】
前記超音波走査ユニットの構成要素、特に、前記超音波変換器アレイ、アナログASIC、及び/又は前記デジタル化ASICは、ウェアラブルパッチ上に配置されている、請求項7に記載の超音波走査ユニット。
【請求項9】
超音波システムのインターフェースユニット用のマスター制御装置であって、前記インターフェースユニットは少なくとも1つの超音波走査ユニットに、特に請求項7又は8に記載の少なくとも1つの超音波走査ユニットに結合されており、
前記マスター制御装置はデータ処理ユニットの一部を備えるか又はその一部であり、前記少なくとも1つの超音波走査ユニットのデジタル化ASICを制御するための制御信号を、
(1)前記インターフェースユニットによって前記少なくとも1つの超音波走査ユニットから受信されたデジタル化された超音波データ、及び/又は
(2)前記インターフェースユニットによって、前記少なくとも1つの超音波走査ユニットから受信したデジタル化された超音波データから生成されるデータ、に基づいて、動的に生成して送信する、マスター制御装置。
【請求項10】
前記マスター制御装置は、現在の超音波照射サイクルのデータ収集中に次の超音波照射サイクルに関連する制御信号を生成して送信する、請求項9に記載のマスター制御装置。
【請求項11】
少なくとも1つの超音波走査ユニット、特に請求項7又は8に記載の超音波走査ユニットに結合された超音波システム用のインターフェースユニットであって、
請求項9又は10に記載のマスター制御装置を備える、インターフェースユニット。
【請求項12】
前記インターフェースユニットは複数の超音波走査ユニットに結合されており、前記マスター制御装置は複数の超音波走査ユニットを制御する、請求項11に記載のインターフェースユニット。
【請求項13】
請求項11又は12に記載の超音波システム用のインターフェースユニットと、前記インターフェースユニットに動作可能に結合されている、少なくとも1つの、特に請求項7又は8に記載の超音波走査ユニットと、を備える、超音波システムであって、
前記少なくとも1つの超音波走査ユニットは超音波変換器アレイとデジタル化ASICとを備え、前記デジタル化ASICは、
超音波変換器アレイで取得された超音波信号を受信し、前記超音波信号をデジタル化された超音波データへと変換する、アナログ-デジタル変換器のアレイと、
前記アナログ-デジタル変換器のアレイに動作可能に結合され、前記デジタル化された超音波データを保存する、メモリモジュールと、
前記メモリモジュールに動作可能に結合され、前記メモリモジュールに保存された前記デジタル化された超音波データをリモートのインターフェースユニットに伝送する、送信機、特に送受信機と、
前記インターフェースユニットから制御信号を受信し、前記制御信号に応答して、前記メモリモジュールに保存されることになる前記デジタル化された超音波データの部分を選択する、及び/又は、前記メモリモジュールに保存された前記デジタル化された超音波データのうち前記インターフェースユニットに伝送されることになる部分を選択する、制御装置と、
を備える、超音波システム。
【請求項14】
前記超音波システムは、
前記超音波走査ユニットに作動的に結合されているか又はその一部であり、受信したアナログの又はデジタル化された超音波データを圧縮された、特にサブサンプリングされた超音波データアレイへと変換する、符号化ユニットと、
前記超音波システムのデータ処理ユニットの一部である復号ユニットであって、前記符号化ユニットから受信した前記圧縮された超音波データアレイに基づいて、前記デジタル化された超音波データを近似的に再構築する訓練済みアルゴリズムを備える、前記復号ユニットと、
を備える、請求項13に記載の超音波システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波システムの超音波走査ユニット用のデジタル化ASIC、超音波走査ユニット、超音波システムのインターフェースユニット用のマスター制御装置、超音波システム用のインターフェースユニット、及び超音波システムに関する。
【背景技術】
【0002】
超音波システムをポイントオブケア(POC)環境及びモニタリングなどの監督者のいない用途で使用する需要が高まっている。したがって、次世代超音波システムに対応した低コストの超音波走査ユニットが必要とされており、専門家の人的介入なしに対応する超音波システムを使用できることが重要である。このコンテキストでは、行列(2D)アレイ変換器は、任意の立体角での2D(撮像)面のデータ取得を可能にするための、自律型超音波走査ユニットの主要な構成要素である。また、行列変換器は、体積の再構築/計算、又は湾曲した組織境界などの任意の形状の再構築にも役立つ。他方で、特に、例えばモニタリング用途で、走査ユニットを電池で長時間使用できるようにするために、低消費電力もまた重要な側面である。
【0003】
特に行列アレイでは、電力消費が常に課題となっている。高解像度及び/又は高フレームレートの行列走査ユニットでは電力消費が10W以上になる場合もあり、これはバッテリー制御型の走査ユニットでは対処が非常に困難である。更に、皮膚加熱が特にモニタリング用途で問題になる場合があるが、その理由は、長期のモニタリング用途に対する皮膚加熱の規制が厳しいからである。また更に、変換器アレイは、特に行列アレイの場合、膨大な量のデータ(例えば250Gbpsのオーダー)を生成する。ハードウェアのコスト及び消費電力を低減するために、特に2Dアレイでは、データ削減が求められている。
【0004】
データ量を制限する知られている手法は、例えば国際出願公開第2018/041635A1号に開示されているように、超音波走査ユニットのアナログASICにおいてアナログマイクロビームフォーミングを実行することである。しかしながら、マイクロビームフォーミングは融通がきかない(rigid)、すなわち、新しいデータの取得スキーム及び/又は処理スキームに適合するには柔軟性を欠き、また、多くの音響送信イベントを必要とするため、高フレームレートの撮像には十分には適していない。
【0005】
米国特許出願第2015/031999A1号には、携帯型超音波システム及び関連デバイス、ならびに、そのようなシステムにおいて電力を節約するための方法が開示されている。この方法は、第1及び第2のパルス繰り返し間隔の開始時に、1つ又は複数の増幅器及びアナログ-デジタル変換器を無効化することを含む。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、超音波プローブの電力消費が小さく、プローブとシステムとの間のデータ伝送量を低減した、コスト効率の良い様式で実施できる超音波走査を可能にすることが、本発明の目的である。
【課題を解決するための手段】
【0007】
この目的は、請求項1に記載のデジタル化ASIC、請求項7に記載の超音波走査ユニット、請求項9に記載のマスター制御装置、請求項11に記載のインターフェースユニット、及び請求項13に記載の超音波システムによって、満たされるか又は乗り越えられる。
【0008】
本発明のある態様によれば、超音波システムの超音波走査ユニット用のデジタル化ASIC(特定用途向け集積回路)が提供される。デジタル化ASICは、特に関連するアナログフロントエンドを有する、超音波変換器アレイで取得された超音波信号を受信するように、及び超音波信号をデジタル化された超音波データへと変換するように適合された、アナログ-デジタル変換器(ADC)のアレイと、アナログ-デジタル変換器のアレイに動作可能に結合され、デジタル化された超音波データを保存するように適合されたメモリモジュールと、メモリモジュールに動作可能に結合され、メモリモジュールに保存されたデジタル化された超音波データをリモートのインターフェースユニットに伝送するように適合された、送信機、特に送受信機と、インターフェースユニットから制御信号を受信し、制御信号に応答して、動作パラメータを設定することにより、ASIC及び/又は超音波走査ユニットの構成要素の動作を構成するように適合された、制御装置と、を備え、制御装置は、超音波照射サイクル中に及び/又はある超音波照射サイクルから次の超音波照射サイクルまでに、デジタル化ASIC及び/又は超音波走査ユニットの動作パラメータを変更するように適合されている。
【0009】
したがって、デジタル化ASICは、例えば取得中、並びに/又は、インターフェースユニット及び/若しくはインターフェースユニットに接続された別のユニットの評価に対する反応として、ASICの設定を迅速に、特にリアルタイムで適合させることを可能にする。例えばその結果閉ループ相互作用が可能になるが、その場合、ASIC及び/又は超音波走査ユニットの動作が、インターフェースユニット及び/又はインターフェースユニットに接続された別のユニットによって決定された実際の需要、例えば伝送されたデジタル化された超音波(US)データの評価に適合される。したがって、特に選択された動作モードにおいて、デジタル化ASICを介して生成及び/又は伝送されるデータ量を削減することが可能である。これに応じて、デジタル化ASICの、及び/又はデジタル化ASICとインターフェースユニットとの間の接続部の、電力消費が低減される。制御装置は特に、制御信号として受信されるか又は制御信号によって作動されるかのいずれかである予めプログラムされた命令に基づいて、超音波照射サイクル中にASICの動作パラメータを変更するように構成される。超音波照射サイクルは特に、US変換器アレイによる超音波の送信及び受信によって定義される。その場合超音波照射サイクルは、US波の送信(TX)で始まり、反射された信号の受信で、又は次の送信で終了する。ある超音波照射スキームでは、フレーム又は画像フレームとも呼ばれる2次元(2D)又は3次元(3D)画像が、1回の超音波照射サイクルで1つ取得される。またある超音波照射スキームでは、1つのフレーム/画像の超音波データを取得するために、いくつかの超音波照射サイクルが必要となる。取得又は取得サイクルは、少なくとも1つの超音波照射サイクルと、上記少なくとも1つの超音波照射サイクルから得られるデジタル化されたデータのデータ選択及び/又は処理と、を含む。1回の取得は複数の超音波照射サイクルを含み、特に、複数の超音波照射サイクルからの関連する超音波データは、1回の取得中にデジタル化ASICにおいて一緒に組み合わされるか又は処理される。
【0010】
本発明によれば、超音波照射サイクル中に及び/又はある超音波照射サイクルから次の超音波照射サイクルまでに、デジタル化ASIC及び/又は超音波走査の動作パラメータが変更される。したがって、本発明は、そのハードウェア構成要素の動的制御を可能にする改善されたハードウェアアーキテクチャを提供し、データ取得を、例えば現在受信中のデータに基づいて、超音波照射サイクルごとに、更には単一の超音波照射サイクル内で、変更できるようにする。したがって、デジタル化ASIC及び対応するUSシステムは「データオンデマンド」方式で動作することができ、インターフェースユニットに伝送する必要のあるデータ量を削減し、以ってコストを削減できる。インターフェースユニットは、好ましくはUS走査ユニットの一部ではないという点で「リモート」であるが、USシステム、例えばカートベースのシステムの一部であってもよい。デジタル化ASICは、高速であるにも関わらず帯域幅が制限されるデジタルデータ接続、例えばシリアルデータリンクを介して、インターフェースユニットに接続される。
【0011】
いくつかの実施形態では、動作パラメータは超音波照射サイクル中に一定ではなく、例えばADCの分解能は深度によって変化する。好ましくは、この一定でないパターンは、1つの超音波照射サイクルの間に予め決定され、ある超音波照射サイクルから次の超音波照射サイクルまでに、インターフェースユニットからのプロンプト/制御信号によって変更される。
【0012】
従来のUSシステムは通常高価であり、主として専門の超音波検査士によって使用されるが、本発明の設計は、低コストのUSスキャナが、ポイントオブケア環境において、並びに、例えば妊娠、血流動態、及び/又は膀胱のモニタリングなど、監督者のいない用途で使用されることになる、次世代USシステムを提供することができる。
【0013】
本発明はまた更に、現在のUSシステムの欠点のうちの1つ、すなわち、患者の体などの対象物又は物体に超音波照射を行うための音響エネルギーの生成によって、及び、超音波走査ユニットとインターフェースユニットとの間などの電気構成要素間のデジタルデータの伝送によって大きく影響される、USプローブ(すなわちUS走査ユニット)による過剰な電力の消費を克服するのに役立つ。この利点は特に、本発明のデジタル化ASICを介して、以下によって達成される:a)音響TXエネルギーを無駄にしないように、送信イベントの全ての関連データを取得すること、このことは特にメモリモジュールに起因して可能となるが、その理由はこれによって、ハードウェア及び電力消費の点でコストのかかる、超音波関連の取得レートでデータを伝送する必要が生じなくなるからである、b)不必要なデータの伝送及び/又は処理を回避するために関連データのみを伝送すること、このことは特に、制御信号を受信し適用するように構成された制御装置によって可能となる。また更に、オンチップメモリモジュールの使用によってオンチップでのデータ圧縮が可能となり、このことによってオフチップで伝送する必要のあるデータ量が削減される。全体的な電力消費の大部分はデバイス間のデータ伝送にあるため、総RX(受信)電力消費量を、達成されたデータ圧縮率に比例して、例えば2~3分の1に削減できると予想することができる。最後に、(c)必要以上の送信音響エネルギーを生成しないように、電力効率の良い超音波照射スキームを用いること、このことは動作パラメータを動的に適合させる制御装置によって可能になる。また更に、デジタル化ASIC及び対応するUS走査ユニットは多くの場合、低コスト及び低電力で実現可能であり、したがって例えば、それらをモニタリングパッチ又はカテーテルなどの(半)使い捨て式のスキャナに使用することが可能となる。例えばカテーテルは、殺菌して数回再利用できるという意味で半使い捨て式である。
【0014】
ADCのアレイは、例えば8~1024個、好ましくは32~256個のADCを備える。ADCは4~20ビット、好ましくは8~12ビットの、プログラム可能な分解能を有する。ADCのアレイにはアナログフロントエンドが先行する場合があるが、これもデジタル化ASICに含まれてよい。アナログフロントエンドは、ADCのアレイと超音波変換器アレイとの間に、特に、ADCのアレイと、超音波変換器アレイを備え及び/又は制御し、RF(無線周波)信号とも呼ばれる取得した超音波信号をデジタル化ASICに転送する、アナログASICと、の間に配置される。アナログフロントエンドは、プログラム可能な増幅器、プログラム可能なアンチエイリアス及び/若しくは高調波選択フィルタ、並びに/又はシングル-差動変換器を備える。シングル-差動変換器は、増幅器の一部であっても増幅器に内蔵されていてもよく、例えば増幅器は、シングルエンド信号を受信し差動信号を出力するように構成される。特に、増幅器は、超音波信号を増幅するように構成される。アンチエイリアスフィルタは増幅器とADCのアレイとの間に配置される。アンチエイリアスフィルタは例えば最高周波数をフィルタリングして除去するように適合され、特に、ローパスフィルタとして機能するか又はこれを備える。このことは、多くの場合より低い周波数と関連付けられる、より深部にある組織を画像化する場合に有用である。別法として、アンチエイリアスフィルタは、ハイパスフィルタとして機能するか又はこれを備えるように構成されてもよい。増幅器及び又はアンチエイリアスフィルタは制御装置によって制御され、例えば、増幅器のゲイン及び/又はアンチエイリアスフィルタのバンドパスの範囲は、制御装置によって制御される動作パラメータである。ADCのアレイの各ADCに対して、1つの増幅器及び/又は1つのアンチエイリアスフィルタが存在し得る。言い換えれば、ADCのアレイに対応する増幅器及び/又はアンチエイリアスフィルタのアレイが存在し得る。これに応じてアナログチャネルのアレイが存在し、その場合各アナログチャネルは、増幅器、アンチエイリアスフィルタ、及び/又はADCを備える。各アナログチャネルは1つの信号チャネルに対応し、1つの信号チャネルは1つ又は複数の変換器素子の(処理された)信号を転送するように構成される、例えば、複数のクラスター化された変換器素子が1つの信号チャネル中に含まれる。
【0015】
メモリモジュールは、1回又は数回、例えば1~5回、好ましくは1~3回の超音波照射/超音波照射サイクルに関連する、デジタル化されたデータを保存するように適合される。特に、メモリ容量は、1回又は数回の超音波照射に関連するデジタル化されたデータを保存するのに十分な大きさである。制御装置は、複数の取得に関連するデジタル化されたデータの処理を指示するように、例えばデータを選択的に処理し更なる処理のためにインターフェースユニットに転送するように適合される。一方、例えば(少なくとも部分的に)2回の超音波照射サイクル間のデッドタイムにおいて、デジタル化ASICからインターフェースユニットへの、変換器アレイ全体の取得レートよりも低いデータレートでのデータ伝送を可能にするために、メモリモジュールを、1回の超音波照射のデジタル化されたデータを保存するように適合させることが考えられる。このことは、デジタル化ASICとインターフェースユニットとの間のデータ接続がより高いデータレートを許容しない場合に特に有用である。追加の高速データ接続又は超高速データ接続を追加提供することは、高コストとなると共に高い電力消費を引き起こす可能性がある。このため、ASIC内のメモリモジュールを例えばオンチップメモリとして適用することで、データ接続に関するコスト及び全体的な電力消費の削減が可能になる場合がある。メモリモジュールがない場合、デジタル化ASICとインターフェースユニットとの間のデータレートが取得レートよりも小さければ、例えば、デジタル化ASICとインターフェースユニットとの間のシリアルデータリンクの帯域幅がデジタル化された全てのデータをリアルタイムでストリーミングするのに十分でなければ、必要な全てのデータを収集し伝送するために、例えば信号多重化装置を用いて、同じ超音波照射を複数回繰り返し、超音波データの一部のみを毎回伝送する必要がある。しかしながら、この手法では追加の超音波照射が必要となり、この結果音響エネルギーの繰り返しの生成に起因して電力消費が増加する。したがって、メモリモジュールは、特に超音波照射イベントの利用可能な全てのデータを、不十分なデータレートに起因してその一部を放棄する必要なく使用することによって、電力消費を削減しハードウェアコストを低く抑えるのに役立つ。また更に、メモリモジュールは有利には、例えばデータ圧縮又はRFバンドパス(若しくはローパス)フィルタリングなどの追加のデータフィルタリングの形態で、デジタル化ASIC上でデジタル化されたデータを選択及び/又は処理することを可能にする。したがって、制御装置は、メモリモジュールに一時的に保存されたデータのデータ圧縮又はフィルタリングに関する動作パラメータを制御するように適合される。1回の超音波照射に関連するデータのデータ処理を、「高速時間」でのデータ処理と呼ぶ場合がある。一方、連続したデータを処理するために、特にRFの変化に対するフィルタリングを行うために、数回又はもう少し多い回数の超音波照射、例えば2回又は3回の超音波照射のデジタル化されたデータを保存するように、メモリモジュールを適合させることが考えられる。これを「低速時間」でのデータ処理と呼ぶ場合がある。例えば、連続した信号に対して減算又は加算が行われるが、この演算の結果のみがインターフェースユニットに転送される。したがって、制御装置は、デジタル化されたデータに対する数学的演算の実行を制御するように適合される。連続する超音波信号に対応するデジタル化されたデータのデータ処理を、例えば比較データ処理、例えば信号の減算又は(重み付け)加算の形態で実行することにより、インターフェースユニットに転送する必要のあるデータの量を、更に低減することが可能になる。また更に、特にデジタルマイクロビームフォーミングを含め、複数の信号チャネルにわたってデータを処理すること、例えば、異なる信号チャネルに関連するデータを組み合わせる又は比較することも考えられる。全体的な電力消費の大部分は、超音波走査ユニットとインターフェースユニットとの間のデータの伝送に基づいている可能性があるので、総電力消費量は、圧縮及び/又はそれ以外の手法で、例えばデータ選択を介して削減されたデータに比例して、低減される可能性がある。本発明によるデジタル化ASICは有利には、関連するデータのみを伝送し、不必要なデータの伝送を回避することを可能にする。したがって、例えば2~3分の1の消費電力の削減を達成することが考えられる。
【0016】
データの処理は、オンチッププロセッサ及び/又はメモリモジュールに結合された若しくはその一部であるプロセッサによって実施される。
【0017】
メモリモジュールは1つのメモリユニットであってもよく、又は複数のメモリユニットから成っていてもよく、特に、信号チャネルごとに1つのメモリユニットが存在してもよい。メモリ容量は、信号チャネルあたり10~1000キロビット、好ましくは30~100キロビットのオーダーであり得る。メモリモジュールはSRAM(スタティックランダムアクセスメモリ)であってもDRAM(ダイナミックランダムアクセスメモリ)であってもよい。
【0018】
メモリモジュールに結合される送信機は特に送受信機、すなわち送信機と受信機を組み合わせたものであり、例えばGbit送受信機である。この場合送受信機は、デジタル化されたデータを毎秒最大5Gbitのオーダーのレートで転送するように適合される。加えて又は代替的に、送受信機は、インターフェースユニットから制御信号を受信し、制御信号を制御装置に差し向けるように適合されてもよい。送受信機は、デジタル化ASICとインターフェースユニットとの間でデータを伝送するように構成されているシリアルリンクに、例えば低コストのデジタルケーブル経由で、UTP経由で、及び/又は光ファイバ経由で接続される。送受信機は、デジタル化されたデータを例えば8B/10B符号化で符号化する及び/又は直列化するように構成されたエンコーダ及び/又はシリアライザを備えるか、又はこれに接続されている。
【0019】
ある実施形態によれば、制御装置は、制御信号に応答して、アナログ-デジタル変換器のアレイ、メモリモジュール、及び/又は送受信機の動作を構成するように適合される。制御装置はまた、追加的又は代替的に、変換器アレイを制御するように、特に、超音波照射中にどの変換器素子を作動させるか、及び/又は、どの信号チャネルがデジタル化ASICにエコー信号を伝送しているかを制御するようにも構成されてもよい。したがって、例えば必要以上の音響エネルギーを生成しないように、電力効率の良い超音波照射スキームを使用することが可能である。
【0020】
制御装置は、超音波照射サイクル中に及び/又はある超音波照射サイクルから次の超音波照射サイクルまでに、アナログ-デジタル変換器の以下の動作パラメータ、すなわち:
アナログ-デジタル変換器のアナログフロントエンド、特にアナログ入力信号の増幅及び/又はフィルタの動作パラメータ、
作動するアナログーデジタル変換器の選択、
サンプリング周波数又はランダムサンプリングスキーム、
アナログ-デジタル変換器の分解能、特に1回の超音波照射サイクル中の分解能の変化、
取得遅延及び/又は取得期間、のうちの1つ又は複数を変更するように適合される。
【0021】
アナログフロントエンドの動作パラメータは、ゲイン、バイアス、及び/若しくはバイアス電流などのアナログチャネル設定、信号帯域幅の設定などのアナログフィルタ設定、例えばアナログフロントエンドによって影響を受けしたがってゲインを小さくすることで低減可能な、等価回路のノイズレベル及び/若しくはスルーレート特性、並びに/又はダイナミックレンジを含む。特に上記したように、フィルタはアンチエイリアスフィルタ及び/又はバンドパスフィルタである。超音波エコー信号のダイナミックレンジは組織による減衰及び回折の影響に起因して時間と共に小さくなるため、アナログ回路のダイナミックレンジをその影響に整合させることが有利である。ADCの分解能、及び/又はデジタルワード幅、すなわちASICでのデータ処理中のデータ単位のビット数などの更なるパラメータもこの補正に役立つ。これらのパラメータが、例えば上記したような閉ループにおいて瞬間的な信号特性に基づいて適合されれば、特に有利である。また更に、制御装置は、例えばバイアスをかけることによって、超音波信号の能動的な取得中にのみフロントエンドを動作させ、それ以外の場合は、例えばバイアス電流をオフにすることによって、フロントエンドをオフにするように適合される。同様に、作動するADCの選択は、超音波信号の能動的な取得中にのみADCを作動させるものと理解できる。また更に、アナログフロントエンドの単一のチャネル、特に未使用のチャネル)、及び/又は、単一の、特に未使用のADCは、現在の測定の要件に応じてオン又はオフにされる。ADCは例えば、基本的な超音波周波数よりも高い、例えば2~10倍高い、多くの場合約5倍高いサンプリング周波数で動作する。ハーモニックイメージングをサポートし、ビームフォーミングに関連する信号補間を簡略化するために、オーバーサンプリングが有益である。ADCのサンプリング周波数は例えば1~1000MHz、好ましくは5~100MHz、より好ましくは12~40MHzの範囲内である。現在の要件に応じて制御装置はサンプリング周波数を変更する。例えば、より周波数の低い信号の帯域幅に整合するように、サンプリング周波数が下げられる。サブサンプリング及び/又は分解能スケーリングを行うために、ADCの分解能が例えば、浸透深さの関数として及び/又は1回の取得中に変更される。特に、重要な全ての細部を認識するために高い解像度を必要とすることのない観察エリアについては、解像度を低くしてもよい。逆に、より重要なエリアにおいては解像度を上げる場合もある。1回の超音波照射サイクル中に、ある観察エリアでは解像度を上げる及び/又は別のエリアでは下げると有利である。標準的な解像度は例えば8~16ビット、好ましくは10~12ビットの範囲内であり、現在の要件に応じて上げられるか又は下げられる。
【0022】
取得遅延は、超音波照射イベントに対するデータ取得の保留タイミングと理解することができる。例えば、超音波が観察される物体から反射して戻ってくるために、予め決定された量の時間を待機することが好都合である。取得遅延は特に観察される物体の位置に依存する。一方、各超音波照射サイクルにおける取得期間は、例えば観察エリアのサイズに依存する。
【0023】
本発明によれば、制御装置は、特にデジタル化ASICのオンチップデジタル信号プロセッサによって、デジタル化された超音波データの選択及び/又は処理を制御するように適合され、選択及び/又は処理は:
デジタル化された超音波データを圧縮すること、
デジタル化された超音波データをサブサンプリングすること、
いくつかの変換器素子からの及び/又は異なる超音波照射サイクルからのデジタル化された超音波データを、特に加重合計によって組み合わせること、
ワード幅を調整すること、
デジタルゲインを調整すること、
信号クリッピング、
フィルタリング及びデシメーション、
デジタル化された超音波データの再補間、
デジタル化された超音波データの正規化、のうちの1つ又は複数を含む。
【0024】
デジタル化された超音波データの選択、サブサンプリング、又は圧縮、特にインターフェースユニットに転送されることになるデータ量の圧縮は、特に線形及び/又は非線形のデータ処理によって達成される。追加のサブサンプリングはデータの省略、例えば、特に後で記載するようなサブサンプリングによって、一部の信号チャネルのみを選択し維持することを含む。また更に、処理には、例えば減算、加算、乗算、フィルタリング、遅延、及び合計、等の、1つ又は複数の関数の有効化又は作動が含まれる。例えば、異なる変換器素子からの、及び/又は異なる信号チャネルからの、及び/又は異なる、特に連続した超音波照射サイクルからのデータが、特に数学的関数を適用することによって組み合わされる。例えば、複数の、すなわち2つ以上の変換器素子からの及び/又は複数の信号チャネルからのデータを組み合わせることによって(例えば標準的なマイクロビーム形成)、データの総量は、足し合わされる素子又はチャネルの数によって削減される。これに対応して,同じ変換器素子及び/又は信号チャネルからの、ただし異なる超音波照射サイクルからのデータが、場合によっては加重合計によって組み合わされる、特に、加算又は減算される。したがって、例えば連続する信号の差のみが現在の測定にとって重要である場合、データ伝送の前に減算を適用しその差分のみを伝送することによって、インターフェースユニットに伝送されることになるデータ量が削減される。元の信号が重要である場合であっても、最初に基準信号を伝送すれば、差分だけを伝送することが可能である。このようなステップは特に、制御装置によって制御される、デジタル化ASIC上のメモリモジュール及びデジタル化ASIC上のプロセッサによって有効化される。一般に、信号の周波数成分が制限されている場合、データを伝送する前に信号をフィルタリングすることには魅力がある。多くの種類のフィルタリングにおいて、インターフェースユニットの側でフィルタ機能を反転させることが可能である(例えば、多くのFIRフィルタ機能はIIRフィルタ機能で反転させることができる)。
【0025】
ワードとはいくつかのビットを含むデータの単位であり、そのビットの数がワード幅であるという意味で理解できる。したがって、例えばより高いビットの数が必ずしも必要でない場合には、ビットの数を減らすことが1つの選択肢である。例えば、ワードの最下位ビット(LSB)又は最上位ビット(MSB)を保持又は省略することが1つの選択肢である。例えば、比較的弱い信号の場合、最上位ビットはいかなる情報も、又はいかなる関連情報も含まず、したがって大きな不利益を受けることなく省略される。場合によっては、LSBは、例えば信号のノイズレベルがADCの量子化レベルにとって支配的である場合はLSBが必要ないため、又は現在の用途の要件がそれほど高くないことに起因して、省略される。また更に、例えば予め決定された値よりも高い全ての数をその値に設定することでより高ビットの信号をより低ビットの信号にすることによって、信号をクリップする(クリッピングを適用する)ことも、1つの選択肢である。MSB側からワード幅縮小を適用するときに、信号のオーバーフローを回避するためにクリッピングが有効な場合がある。クリッピングはまた信号の合計後のオーバーフローも防止する、すなわち、2つの符号なし8ビットワードを合計すると、255の値を超える場合がある。結果のワードを255にクリップすれば、結果のワード幅は、信号のオーバーフローを引き起こすことなく8ビットを維持できる。例えば、ADCがあるサンプリング周波数でUSデータを取得したが、そのデータが異なる(通常はより低い)サンプリング周波数のフォーマットで要求されている場合、サンプリングレートを変換するために、デジタル化された超音波データの再補間が行われる。データの正規化とは例えば、ダイナミックレンジ、すなわち、データの最大値と最小値との間の範囲を調整することを指し得る。制御装置はまた、タイミング、例えば、上述した手段のいずれかの適用の期間及び若しくは時間枠、並びに/又は、データが選択及び/若しくは処理される時間枠も決定する。これらのデータ処理機能のいずれか又は全てはASICにプログラムされ、制御装置によって、場合によっては変数を自由に又は予め決定された範囲内で選ぶことで、作動されるように構成される。
【0026】
ある実施形態によれば、制御装置は、制御信号に応答して、メモリモジュールに保存されることになるデジタル化された超音波データの部分を選択するように、及び/又は、メモリモジュールに保存されたデジタル化された超音波データのうちインターフェースユニットに伝送されることになる部分を選択するように適合される。好ましくは、制御装置は、関連するデータのみを選択し、不必要なデータを処理及び/又は伝送しないように適合される。データの選択は特にADCにおいて、例えば、ADCの後で及びメモリモジュールの前で並びに/又はメモリモジュール上で若しくはその後で、データの処理及び/又は選択を行うことで、サンプリングスキームを適合させることによって行われる。有利には、データの関連性はインターフェースユニット、特にインターフェースユニットのマスター制御装置によって決定され、制御信号を介して制御装置に送られる。この実施形態は、データ処理ユニット(DPU)中に配置され得るインテリジェントなマスター制御装置と組み合わされたデジタル化ASICが提供する、リアルタイム適合型のデータ選択を可能にする。
【0027】
ある実施形態によれば、デジタル化ASICは複数の制御モードを連続的に適用するように適合され、各制御モードは動作パラメータのセットを含み、次の制御モードは、予め決定された時間後に、又は内部若しくは外部のトリガイベントの検出に起因して起動される。トリガイベントは例えば、インターフェースユニットから、特にマスター制御装置から受信した信号であり、これらは例えば、データの評価、並びに/又は、瞬間的な信号特性、例えば、特に低い若しくは高い信号強度及び/又は例えばUS走査ユニットの移動に起因する特に強い変化に基づくものである。ある実施形態では、いくつかの制御モードが1回の超音波照射サイクル中に連続して適用され、その場合、それらいくつかの制御モードは、そこに含まれる動作パラメータのセットに関して異なる値/設定を含む。このことにより、1回の超音波照射サイクル中にデジタル化ASICの動作を変更することができる。また更に、連続する超音波照射サイクルにおいて制御モードは異なる設定を含み、いくつかの実施形態では、次の超音波照射サイクルで適用されることになる制御モードは、現在の超音波照射サイクル中に変更される。制御モードは、US走査ユニットの様々な動作条件に対して、動作パラメータの予め決定された適切なセットを保存することを可能にする。
【0028】
動作パラメータのセットは上記した動作パラメータのいずれかを含む。好ましくは、デジタル化ASICは、ASICが特定の制御モードに留まる時間の長さを、特にクロックサイクルで表現して指示及び/又は決定するように構成される。タイミングは制御装置に保存されてもよく、又はメモリモジュールに若しくは追加のメモリに保存されてもよい。別法として、タイミングが、一部又は全部の制御モードが備える動作パラメータの一部であってもよい。タイミングは外部トリガに依存する場合もある、すなわち、ASICは外部トリガが受信されるまで制御モードを適用するように構成される場合がある。予め決定された時間の間少なくとも1つの制御モードが適用されてもよく、またトリガイベントが受信されるまで少なくとも1つの他の制御モードが適用されてもよい。例えば、少なくとも1つの制御モード、場合によっては全ての制御モードは、デジタル化ASICのアナログフロントエンドにおけるゲイン、帯域幅、及びバイアス、個々のADCの有効化及びADCのアレイのADC分解能の設定、適用されるワード幅、デジタルゲイン、機能有効化、及びクリッピング、並びに、動作パラメータの適用のタイミング及び/又は期間を決定するように構成される。制御装置及び/又はASICは、新たな指示を与える新たな制御信号を受信するまで、制御モードのセット内を循環するように構成される。例えば2~100個、好ましくは5~50個、より好ましくは5~15個の制御モードが存在する。
【0029】
ある実施形態によれば、デジタル化ASICは少なくとも2つのレジスタバンクを備え、少なくとも2つのレジスタバンクは動作パラメータを保存するように構成され、デジタル化ASICは、特に現在の超音波照射サイクル中に第1のレジスタバンクの動作パラメータを適用すし、このとき次の超音波照射サイクル及び/又はデータ処理中に使用される第2のレジスタバンクの動作パラメータを上書きするように適合される。1つのレジスタバンクに保存される動作パラメータのセットは、1つの制御モード又は制御モードのセットであり得る。例えば、現在のサイクル中に、インターフェースユニット、特にインターフェースユニットのマスター制御装置によって次のサイクルのタイミングがプログラムされ、現在未使用のレジスタバンクに保存される。ASICの、特にASICのレジスタバンクのプログラミング又は再プログラミングを実行するために、中間的な速度のプログラミングインターフェースが構成される。例えば、中間的な速度のプログラミングインターフェースはSPIインターフェース、特に約20MHzのプログラミング速度で動作するものである。レジスタバンクによってこのように取得レートを高く維持することが可能になる。
【0030】
ある実施形態によれば、メモリモジュール及びアナログ-デジタル変換器のアレイは第1のクロックドメインからクロックされ、送受信機は第2のクロックドメインからクロックされる。特に、送受信機は、第2のクロックドメインからの符号化及び/又は直列化を制御するように構成される。関与するデータリンクは非常に高速であり得るため、いくつかの実施形態では非常に安定したクロックが非常に重要である。ASICは、より低い周波数クロックからクロックドメインのクロックを生成するように構成された、オンチップPLL(位相ロックループ)又はオンチップFLL(周波数ロックループ)を備える。好ましくは、2つのクロックドメイン間のハンドシェイク機構が提供される。ハンドシェイク中、リスナー(スレーブ)、例えば送受信機は新しいデータの準備ができたことを示し、トーカー(マスター)、例えばメモリモジュールはデータを提供する。適切に受信された場合、スレーブはデータを受信したことを示す。ハンドシェイク機構はデータの完全性を提供する上で有用である。例えば、第1のクロックドメインと第2のクロックドメインとの間にエラスティックバッファが存在し、エラスティックバッファは特に、クロックドメイン間のハンドシェイクを可能にする。エラスティックバッファは特に、使用されるクロック周波数に応じて、より多くのデータ又はより少ないデータを、それを外部にストリーミングする前に一時的に保存することを可能にするように構成される。このように、メモリモジュールの利用可能なメモリ容量と組み合わせることで、ASICとインターフェースユニットとの間のデータ取得帯域幅とシリアルデータリンク帯域幅の分離が可能となる。この場合分離したクロックドメインを使用することで、リンク速度に対してADC周波数を選ぶときに自由度が得られる。(最大)リンク速度はシステム全体によって決定され、ADCの周波数は使用される超音波の周波数とより強くリンクしている場合がある。
【0031】
多くの場合、データ取得のデータストリームの帯域幅は、ASICからインターフェースユニットまでの帯域幅よりも高い。したがって、データ取得は超音波照射イベントと同期され、一方で、データ取得の完了後、選択及び/又は処理された全てのデータがインターフェースユニットに伝送されるまで、より遅い可能性のあるデータ伝送が継続される。伝送の完了後、新しい超音波照射サイクルが開始されるか、又は待ち時間が存在する。また、何回かの超音波照射サイクルを実施し、対応するデータをメモリモジュールに保存し、その後で、超音波照射の行われない待ち時間中に、関連する全てのデータが送信されるまで、処理及び/又は選択されたデータをインターフェースユニットに転送することも考えられる。例えば、データ取得帯域幅は、例えば12~40MHzの範囲内のADCサンプリング周波数で、30~60Gbps、例えば50Gbpsの範囲内であり、一方でデータリンク帯域幅は、3~6Gbps、例えば5Gbpsの範囲内である。
【0032】
本発明の別の態様は、超音波変換器アレイと、本明細書に記載のデジタル化ASICとを備える、超音波走査ユニットである。超音波変換器は例えば、特に2Dの行列アレイ変換器、場合によってはバイプレーン変換器である。例えば、アナログASICの上にMEMS(微小電気機械システム)変換器アレイを特にモノリシックに配置することができ、その場合アナログASICはデジタル化ASICに接続される。好ましくは、超音波走査ユニットは、低コストの部品である。例えば、超音波走査ユニットは使い捨て式となるように適合される。特に、超音波走査ユニットは、心臓内エコー(ICE-)超音波スキャナ、及び/又は経食道心エコー(TEE-)超音波スキャナ、及び/又は血管内超音波(IVUS)スキャナのような、使い捨てカテーテル超音波スキャナなどの、体内使用に合わせて構成される。このコンテキストでの使い捨てとは、一度或いは数回しか使えないという意味であり得る。別法として、超音波走査ユニットはまた、例えば選択された動作モードに関して電力消費を削減しデータ伝送を最適化するために、ハイエンドのシステムでも使用され得る。超音波走査ユニットは、超音波走査ユニットに関する較正及び/若しくは諸元を保存するためのEPROM(消去可能プログラム可能読み出し専用メモリ)、並びに/又は、インターフェースユニットへの例えば光ファイバ経由の光接続を可能にするための光学構成要素、例えばVCSEL(垂直キャビティ面発光レーザ)を備える。超音波走査ユニットはまた更に、変換器アレイを備える変換器ヘッド、変換器ハンドル、及び/又は変換器ハウジング若しくはケーシング、更なる電子機器、並びに/又はバッテリを備える。デジタル化ASICの全ての利点及び特徴は超音波走査ユニットにも当てはまり、その逆も成り立つ。
【0033】
ある実施形態によれば、超音波走査ユニットの構成要素、特に、超音波変換器アレイ、アナログASIC、及び/又はデジタル化ASICは、ウェアラブルパッチ上に配置される。変換器アレイ、アナログASIC、及びデジタル化ASIC、並びに任意選択的に光学構成要素、例えばVCSEL及び/又はEPROMが、ウェアラブルパッチ、特に半使い捨て式のウェアラブルパッチ上で組み合わされる。
【0034】
ある実施形態によれば、超音波走査ユニットは、超音波変換器アレイの変換器素子を制御する、及び/又は、超音波変換器アレイの変換器素子を作動させ超音波変換器アレイの変換器素子からRFデータ信号を受信するように適合される、少なくとも1つのアナログASICを含み、変換器素子は超音波照射を行うように、及び超音波照射スキームに従って超音波信号を取得するように適合され、少なくとも1つのアナログASICは、取得した超音波信号をデジタル化ASICに送信するように適合される。変換器素子は、アナログASICの上に統合される。例えば、アナログASIC及びデジタル化ASICは横に並べて接続される、又は、TSV(シリコン貫通ビア)によって3D積層される。TSVは例えば単に機械的なシリコンキャリアの一部であってもよいが、TSVはまたASICの一部であってもよい。例えば、ウェーハの片面(上向き)に作用機能性を有するcMUT変換器アレイ又は画像センサは、センサの下に設置されている第2のチップに対して、多くの接続部が必要である。その場合、ASIC技術の一部であるTSVを使用することが有利である。別法として、アナログASIC及びデジタル化ASICを1つの混合信号ASICとして組み合わせてもよい。特に、ASICの制御装置は、アナログASICを介して超音波照射スキームを構成するように適合される。アナログASICは、取得した超音波信号にマイクロビームフォーミング及び/又は他の信号削減法を適用するように構成される。アナログASICとデジタル化ASICとの間の信号チャネルの数は、特にアナログASICが変換器信号を組み合わせる、特にマイクロビームフォーミングを行うように適合されている場合、16個から最大数千個の範囲内、好ましくは16~1024個の範囲内、より好ましくは32~256個の範囲内である。アナログASICは、個々の変換器素子を刺激するための高電圧(HV)パルサーを備える、及び/又は、エコー信号をバッファリングするための低ノイズ増幅器を備える。HVパルサー及び低ノイズ増幅器は、1つのアナログASICに統合される、又は、2つの異なるアナログASIC、特に直列に接続されている2つのアナログASICに統合される。
【0035】
ある実施形態によれば、超音波走査ユニットは複数のアナログASIC及び/又は複数のデジタル化ASICを備え、その場合、2つ以上のデジタル化ASICが1つのアナログASICに接続される、及び/又は、1つのデジタル化ASICが2つ以上のアナログASICに接続される。例えば、64個の信号チャネルを有する2つのデジタル化ASICを128個の出力信号チャネルを有する1つのアナログASICに接続されてもよく、又は対照的に、32個の信号チャネルを有する2個のアナログASICを64個の信号チャネルを有する1つのデジタル化ASICに接続してもよい。
【0036】
ある実施形態によれば、アナログASIC及びデジタル化(デジタル)ASICの機能は1つの混合信号ASICにおいて組み合わされる。このようなASICは、作動用の高電圧トランジスタ、及び効率的なデータ処理用の高度な低電圧トランジスタの、両方を備える。
【0037】
本発明の別の態様は、超音波システムのインターフェースユニット用のマスター制御装置であって、インターフェースユニットは、少なくとも1つの超音波走査ユニットに、特に本明細書に記載するような少なくとも1つの超音波走査ユニットに結合されるように適合されており、マスター制御装置はデータ処理ユニット(DPU)の一部を備えるか又はその一部であり、少なくとも1つの超音波走査ユニットのデジタル化ASICを制御するための制御信号を、
(1)インターフェースユニットによって上記少なくとも1つの超音波走査ユニットから受信されたデジタル化された超音波データ、及び/又は
(2)インターフェースユニットによって、少なくとも1つの超音波走査ユニットから受信したデジタル化された超音波データから生成されるデータ、に基づいて、動的に生成して送信するように構成されている。デジタル化ASIC及び超音波走査ユニットの全ての利点及び特徴はマスター制御装置にも当てはまり、その逆も成り立つ。
【0038】
このため、マスター制御装置がデジタル化ASICの制御装置と連携することで、現在受信中のデータに基づく、デジタル化ASICのデータ取得及び/又は処理の動的な更新が可能になる。データ処理ユニット(DPU)は例えば、フィールドプログラマブルゲートアレイ(FPGA)、若しくは複合プログラマブルロジックデバイス(CPLD)、又はタブレット、スマートフォン、PDA、若しくはPCのプロセッサなどのより汎用的なプロセッサである。データ処理ユニットはまたデータ処理に、特に用途に固有のデータ処理、例えばビームフォーミング、又は流量若しくは心拍などの測定読み取り値の解釈に関連する処理に、追加的に使用されてもよい。FPGA/CPLDの使用は、その結果デジタルハードウェアの柔軟な修正が可能になるので有利である。別法として、DPUはGPU(グラフィック処理ユニット)であってもよい。GPUは、より広範なソフトウェアデータ処理を可能にすることで、柔軟性の向上を実現する。特に、制御信号は、デジタル化ASIC及び超音波走査ユニットに関して説明したような命令を運ぶことができる。マスター制御装置は、デジタル化ASICのメモリモジュールの保存容量の、超音波走査ユニットの取得レートの、及び/又は超音波走査ユニットとインターフェースユニットとの間の送信レートの情報にアクセスできるか、又はこれらの情報を含み、制御信号を生成するときにこの情報を考慮に入れるように構成される。
【0039】
ある実施形態によれば、マスター制御装置は、現在の超音波照射サイクルのデータ収集中に次の超音波照射サイクルに関連する制御信号を生成し送るように構成される。したがって、回路適合は特に、瞬間的な信号特性への適合による動的な方式で行われる。例えば、特に第1の又は現在の超音波照射サイクルを含む第1の取得の間、マスター制御装置は、全てのデータを1つ又は複数の予め定められた動作パラメータで、例えば予め定められた解像度で要求するように構成される。また更に、マスター制御装置は、特定の測定値、例えば、深さ及び/又は時間の関数としての信号チャネル群の平均信号振幅を決定するように構成される。これらの値に基づいて、マスター制御装置は、特に次の超音波照射サイクルを含む次の取得のために、ゲイン、信号帯域幅などのアナログ回路パラメータ、ADCアレイの分解能、及び/又はデジタルワード幅などの動作パラメータを適合させるように構成される。また、マスター制御装置を、個々の信号チャネルのデータをスキップするよう、すなわちそれらをインターフェースユニットに伝送しないか又は組み合わせないよう指示するように構成することも考えられる。このことは、例えば信号帯域幅が限られており変換器素子のピッチを大きくできる場合であって、個々のチャネル又は変換器素子から得られる追加の情報が少な過ぎる場合に好都合である。このような動的制御ループは特に、観察される物体、例えば組織、及び/又は超音波走査ユニットの動きに起因する瞬間的な変化を見込んで、ある時間にわたって作動状態を維持する。大きな時間スケールでは、このことにより例えば電力節約のためにデータの総量が更に削減されて、又はフレームレートの向上が可能になって有利である。より小さい時間スケールでは、このことはまた、データ量の瞬間的な削減にもつながる。例えば、ある信号群の振幅がゼロに近い場合である。
【0040】
本発明の別の態様は、超音波システム用のインターフェースユニットであり、インターフェースユニットは、少なくとも1つの超音波走査ユニット、特に本明細書に記載する超音波走査ユニットに結合されるように適合されており、インターフェースユニットは、本明細書に記載するマスター制御装置を備える。インターフェースユニットは例えば別体のユニットであってもよく、又はタブレット、スマートフォン、PDA、若しくは汎用PCなどのシステムの一部であってもよく、又はカートベースのUSシステムの一部であってもよい。別体のインターフェースユニットは、電力管理ユニット(PMU)とバッテリとを備えてもよい。インターフェースユニットとシステムとの間の接続は、ワイヤレスであってもデータケーブル経由であってもよい。デジタル化ASIC、超音波走査ユニット、及びマスター制御装置の全ての利点及び特徴はインターフェースユニットにも当てはまり、その逆も成り立つ。
【0041】
ある実施形態によれば、インターフェースユニットは複数の超音波走査ユニットに結合されるように適合され、マスター制御装置は複数の超音波走査ユニットを制御するように適合される。複数の超音波走査ユニットに結合することは、例えば複数の場所で末梢血管(PV)の血流を観察する又は双子の胎児の心拍をモニタリングする目的で、様々なエリアを一度に測定できる利点を有する。M個の超音波走査ユニットが存在し、各々がN個のシリアルリンクを有し、各々がインターフェースユニットに接続されることになる場合、インターフェースユニット、特にインターフェースユニットのDPU、及び/又はマスター制御装置から、M個の超音波走査ユニットに接続するための、M×N個の高速レーンが存在し得る。
【0042】
本発明の別の態様は、特に本明細書に記載するような、インターフェースユニットと、特に本明細書に記載するような、インターフェースユニットに動作可能に結合された少なくとも1つの超音波走査ユニットと、を備え、少なくとも1つの超音波走査ユニットは超音波変換器アレイとデジタル化ASICとを備え、デジタル化ASICは、超音波変換器アレイで取得された超音波信号を受信するように、及び超音波信号をデジタル化された超音波データへと変換するように適合された、アナログ-デジタル変換器のアレイと、アナログ-デジタル変換器のアレイに動作可能に結合され、デジタル化された超音波データを保存するように適合されたメモリモジュールと、メモリモジュールに動作可能に結合され、メモリモジュールに保存されたデジタル化された超音波データをリモートのインターフェースユニットに伝送するように適合された、送受信機と、インターフェースユニットから制御信号を受信し、制御信号に応答して、メモリモジュールに保存されることになるデジタル化された超音波データの部分を選択する、及び/又は、メモリモジュールに保存されたデジタル化された超音波データのうちインターフェースユニットに伝送されることになる部分を選択するように適合されている、制御装置と、を備える。デジタル化ASIC、超音波走査ユニット、マスター制御装置、及びインターフェースユニットの全ての利点及び特徴は、超音波システムにも当てはまり、その逆も成り立つ。超音波システムは、生成され処理されたデータが伝送される制御ステーション、例えばタブレット、スマートフォン、PDA、又はコンピュータを更に備え、制御ステーションは、ユーザインターフェース、特にプローブのユーザインターフェースと、超音波画像を表示するためのスクリーンと、を備える。
【0043】
本発明のこの態様は特に、ハードウェア構成要素の動的制御を可能にして、現在受信中のデータに基づいてデータ取得を超音波照射サイクルごとに更には単一の超音波照射サイクル内で変更できるようにする、改善されたハードウェアアーキテクチャを有する、低コストであり、モジュール式の、及び/又は場合によっては使い捨て式の、USシステムを構成する。
【0044】
超音波システムは、超音波走査ユニットと超音波インターフェースユニットとの間に、特に1つ又は複数のデータレーンからなる、高速シリアルリンクを備える。好ましくは、レーンは、接続ケーブルの信号経路、特にデジタル又はアナログの信号経路と理解することができる。レーンは好ましくは導体として実装されるが、光信号レーン、例えば光ファイバであってもよい。レーンが電気信号経路である場合、それらは例えば同軸線又はツイストペアとして実装される。データレーンの数は、特に低コスト及び/又は低フレームレートの用途、例えばモニタリング目的においては、1個又は数個である。
【0045】
ある実施形態によれば、超音波システムは、現在の超音波照射サイクル中に超音波走査ユニットから取得された必要な全てのデジタル化された超音波データを、次の超音波照射サイクルを開始する前に、インターフェースユニットに伝送するように構成される。
【0046】
超音波走査ユニットとインターフェースユニットとの間のデータ伝送は、電気的に、例えばUTP経由で、又は光学的に、例えば光ファイバ経由で、行われるように構成される。後者の場合、超音波走査ユニットはまた光学構成要素、例えばVCSELも備え、インターフェースユニットは、光信号を検出するための高速光受信機を備える。
【0047】
別の態様によれば、本発明は、
超音波走査ユニットに作動的に結合されているか又はその一部であり、アナログの又はデジタル化された超音波データを圧縮された、特にサブサンプリングされた超音波データアレイへと変換するように適合されている、符号化ユニットと、
超音波システムのデータ処理ユニットの一部、特に本明細書に記載するインターフェースユニットの一部である復号ユニットであって、符号化ユニットから受信した圧縮された超音波データアレイに基づいて、超音波データを近似的に再構築するように適合された訓練済みアルゴリズムを備える、復号ユニットと、を備える、超音波システムを提供する。
【0048】
特に、符号化ユニットは、
超音波データをデジタル化された超音波データの範囲全体にわたってデータブロックのアレイへと分割し、
サブサンプリングパターンを適用することによって、各データブロックを、サブサンプリングパターンの位置に一致するブロック内の超音波データのサンプルのみが保持されるようにサブサンプリングし、
各データブロックの保持されているサンプルに基づいて、圧縮された超音波データアレイを得るように構成される。
【0049】
このことにより、本発明のこの態様によって、デジタル化ASICからデータ処理ユニット、例えばビームフォーミングシステム又は本明細書に記載するようなインターフェースユニットに伝送する必要のあるデータ量が低減される。このことは、そのようなデータ処理ユニットが超音波走査ユニットの外側に配設されている場合、例えばそれがカートベースのUSシステムなどのUSシステムの一部である場合に、特に有用である。特に、圧縮システムは、軽いエンコーダとより重いデコーダとを備える。
【0050】
超音波システム、超音波走査ユニット、及び/又はインターフェースユニットは、特に本明細書に記載されているものである。したがって、本明細書に記載するデジタル化ASIC、超音波走査ユニット、マスター制御装置、インターフェースユニット、及び方法の全ての利点及び特徴は、符号化ユニット及び復号ユニットにも当てはまり、その逆も成り立つ。例えば、符号化ユニットは、本明細書に記載するデジタル化ASICの一部である。別法として、符号化ユニットは、超音波走査ユニットにおける追加構成要素、及び/又は、超音波走査ユニットの送信機若しくは送受信機の一部であってもよい。例えば、符号化ユニットは、デジタル化ASICに関して上記したエンコーダである。しかしながら、符号化ユニットは一般にまた、本明細書に記載されていない他の構成要素を有する他の超音波システムにも適用される。
【0051】
好ましくは、符号化ユニットは本質的にサブサンプリングユニットである、すなわちこれは、特定のサブサンプリングパターンに従って超音波データの特定のサンプルを選択する。その他のデータサンプルは却下され復号ユニットに伝送されず、このことによりデジタル化された超音波データが削減される。この処理は要求される処理能力が比較的小さく、したがって例超音波走査ユニット上で、例えば本明細書に記載するデジタル化ASIC上で実施され得る。この場合、符号化ユニットの目的は、超音波データ(RFデータ)の量を削減し、このときデジタルフロントエンドでは簡単な動作だけを実施すればよいようにすることである。このように、この態様は、例えば本明細書に記載するようなインターフェースユニットを介して、超音波走査ユニットからビームフォーミング及び/又は可視化システムに伝送する必要のあるデータ量の低減に寄与する。
【0052】
圧縮されることになる超音波データは、デジタル化された超音波データの範囲全体にわたって複数のデータブロックに分割され、そのようなデータブロックは通常、1つの次元としての高速時間(t)と、第2の次元としての変換器素子の数(x)とを少なくとも有する。例えば、(1つの画像フレームに関連し得る)1回の超音波照射サイクル中に取得されたRFデータは、そのようなデータブロックに分割される。ブロックは、例えばt×xのブロックの形状をとる、これらの軸上の離散値から成り、サンプルの数は通常両方向で等しく、すなわちt=xである。好ましくは、両方向のサンプル数は2~48個、より好ましくは2~16個の範囲内であり、最も好ましくは4個又は8個である。例えば、4×4のブロックは、合計16個のサンプルを有することになる。好ましくは、ブロックのサイズ及び/又は次元は全てのブロックについて等しい。行列変換器の場合、データブロックは第3の次元yを有し、すなわちデータブロックはt×x×yの形状を有し、x×yは2D行列変換器の変換器素子の数である。「デジタル化された超音波データの範囲全体にわたって」という用語は特に、デジタル化された全てのUSデータ及び/又はデジタル化されたUSデータの全ての部分が、データブロックのうちの1つの一部である及び/又は一部に割り当てられることを意味し得る。
【0053】
符号化ユニットは特に、素子-時間RFデータアレイの各ブロックから特定のサンプルを選択するように構成されている、サブサンプリングユニットを備える。このことは、データブロックごとに定められた特定のサブサンプリングパターンに従って行われる。RFデータアレイのサイズを小さくするために、選択されなかったサンプルは破棄される。
【0054】
一方、復号ユニットはより大きい処理能力を使用するが、その理由は、これが好ましくは、インターフェースユニット、又は高性能なプロセッサ(例えばGPU若しくはCPU)を利用可能な(通常はカートベースの)任意の他のホストシステムの一部であり得る、リモートのデータ処理ユニットの一部である(すなわちUS走査ユニットの一部ではない)からである。復号ユニットは例えば、人工ニューラルネットワーク(NN)、例えば畳み込みニューラルネットワークを備える、訓練済みアルゴリズムを備える。このように、符号化ユニットは「軽いエンコーダ」、例えば大きな処理能力及びエネルギーを必要としないエンコーダと見すことができ、一方、復号ユニットは「より重いデコーダ」、例えばより大きな処理能力を提供できるデコーダであると見なすことができる。
【0055】
オートエンコーダでは、入力データはエンコーダネットワークによって、入力ドメイン、例えば画像又は対応するデータアレイから、通常は値の数がはるかに少ない、潜在ドメインへと符号化される。次にデコーダネットワークによって、これらの潜在ドメイン値に基づいて入力が再構築される。エンコーダ及びデコーダの両ネットワークは、入力データをネットワークに供給することによって、及び再構築誤差、すなわち入力と再構築された出力との間の差が最小になるように重みを変更することによって訓練される、多くの重み及び/又はパラメータを有する。この方法は例えば、データ固有タイプの圧縮、すなわち、この方法を訓練してきたデータのタイプに固有の圧縮を生み出す。このケースでは、(デジタル化され場合によっては正規化及び/又はマイクロビームフォーミングされた)超音波データが入力として使用され、復号ユニットは、符号化ユニットによって適用される1つ又はいくつかの特定のサブサンプリングパターンについて訓練される。
【0056】
一実施形態では、サブサンプリングパターンはデータブロックのアレイの各データブロックで同じである。言い換えれば、ブロックごとのサブサンプリングパターンは、完全なRF信号データアレイ、例えば、1回の超音波照射サイクルで、x個の素子又はx個のチャネル(或いは2D変換器の場合はx×y個のチャネル/素子)に対してt個の高速時間値にわたって取得されるRF信号データアレイに対して繰り返される。このことにより、例えば完全に無作為な様式でのサンプリングと比較して、比較的均一なサンプリング密度を得ることが可能になる。また更に、このことにより訓練済みアルゴリズム、例えば完全畳み込みニューラルネットワークによる効率的な処理が可能になるが、その理由は、サブサンプリングパターンが各ブロックで同じとなり、その結果これがブロックシフト不変になるからである。
【0057】
他の実施形態では、1つのフレームに関連しているか又は1回の超音波照射サイクルで取得されるデータブロックのアレイのデータブロックが異なっていれば、それらに対するサブサンプリングパターンは異なっている。例えば、高速時間軸上で後から取得されるデータブロックは、変換器アレイから最も遠く離れた領域に属し、したがって最も弱い信号を有すると予測される。したがって、最後のデータブロックは、t軸に沿ってより早期に取得されるデータブロックよりも少ないか又は多いサンプルが保持されるサブサンプリングパターンを使用する。言い換えれば、サブサンプリングレートは、例えば高速時間軸に沿って、1回の超音波照射サイクルで取得された超音波データにわたって変化し得る。このような変化は予め決定されていてもよく、復号ユニットは異なるサブサンプリングパターンでサブサンプリングされた超音波データを再構築するように訓練されている。場合によっては、全てのデータブロックに異なるサブサンプリングパターンを割り当てることが可能である。この場合、NNはそのようなブロックのアレイを再構築するように訓練される。例えば、NNは、データのゼロ値を分析し、対応する補間ルーチンを適用するように構成又は訓練される。したがって、復号ユニットは、複数の及び/又は異なるサブサンプリングパターンに対処するように適合される。
【0058】
好ましい実施形態によれば、サブサンプリングパターンは訓練によって決定されるのではなく、他の要因に基づいて決定される。例えば、これは完全に予め決定される。サブサンプリングパターンはまた、超音波データに動的に適合されてもよい。例えば、復号ユニットは、符号化ユニットによって使用されるいくつかの異なるサブサンプリングパターンについて訓練されており、符号化ユニットは、受信した超音波データに応じて、又は現在の超音波照射スキームに基づいて、これらのサブサンプリングパターンのうちの1つを使用する。例えば、サブサンプリングパターンは、エネルギー量(ブロックにおける平均二乗RF値)に依存してもよく、平均以上のエネルギーを有する領域では、エネルギーのほとんどない領域よりもサブサンプリングを控えることができる。一実施形態では、サブサンプリングパターンは符号化ユニット内部で決定/選択され、したがって、復号ユニットは、どのサンプルが送信されたか、例えば、予め決定されたサブサンプリングパターンのうちのどれが使用されているかを知る必要がある。したがってこの情報は符号化ユニットから復号ユニットに送信される。代替の実施形態によれば、USシステム中に、特にDPU又はインターフェースユニット中に位置する制御装置は、符号化情報、すなわちサブサンプリングパターンを、符号化ユニットに及び復号ユニットに送るように構成される。その結果、符号化ユニットはこのサブサンプリングパターンを適用することになり、復号ユニットはこのサブサンプリングパターンに基づいてデータを再構築できることになり、特に復号ユニットは復号前に、入力値をどのように再調整すべきかを知ることになる。
【0059】
ある実施形態によれば、符号化ユニットは、複数の変換器素子間でADCを共有することによって、アナログ超音波データをRF信号とも呼ばれる圧縮された超音波データアレイへと変換する。特に、超音波走査ユニットは、いくつかの変換器素子が交互にADCに接続され得る変換器素子のアレイを備え、デジタル化されることになる超音波データ(RF信号)が、複数の変換器素子の間で切り替えられるようになっている。このような切り替えは2つの超音波照射サイクルの間に行われてもよく、1回の超音波照射サイクル中に可能であってもよい。これに応じて、デジタル化ASICの1つの、複数の、又は全てのアナログ-デジタル変換器(ADC)は、アナログASICの複数のRF信号の間で各々共有される。特に、超音波走査ユニットは、ADCに接続されるRF信号を切り替えるように構成される。また更に、超音波走査ユニットは、予め決定されたRF信号とADCを接続及び/又は切断することによって、超音波データをサブサンプリングするように構成される。例えば、2つの超音波照射サイクルの間でのみ切り替わるなどの準静的な方式でADCを使用することによって、アナログ入力とADCとの間に選択及び/又は多重化機能が実現される。超音波走査ユニットは2つの入力信号すなわちRF信号の間でADCを高速で切り替える、例えば2つの入力/RF信号の間で各ADCを切り替えるように適合される。好ましくは、入力/RF信号は、サンプリング周波数の半分を超えない周波数成分のみを含むべきである。代替の実施形態によれば、超音波走査ユニットはADCの一部のみを共有するように構成され、例えばADCは2つのサンプリング回路を含む。サンプリングされた信号は例えば多重化され、例えば比較器及び/又は決定回路を介して、ADCの残りの部分に提供される。
【0060】
人工ニューラルネットワーク(NN)はノードと呼ばれる接続された人工ニューロンの集合体に基づいており、各接続部(エッジとも呼ばれる)はあるノードから別のノードへと信号を伝達することができる。信号を受け取った各人工ニューロンはそれを処理し、その信号を自身に接続されている更なる人工ニューロンに伝送する。有用な実施形態では、人工ニューロンは層状に配置される。入力信号は、入力層とも呼称される第1の層から、出力層である最後の層まで移動する。有用な実施形態では、復号ユニットのNNはフィードフォワードネットワークである。ニューラルネットワークは好ましくは隠れ層を含むいくつかの層を備え、したがって好ましくは深層ネットワークである。
【0061】
ある実施形態では、NNは機械学習技術、特に深層学習に基づいて、例えば逆伝播によって訓練される。NNはソフトウェアプログラムの形態で提供されてもよいが、またハードウェアとして実装されてもよい。更に、訓練されたNNは訓練された関数の形態で提供されるが、これは必ずしも訓練されたニューラルネットワークと全く同じように構成されているわけではない。
【0062】
好ましい実施形態によれば、復号ユニットのNNは少なくとも1つの畳み込み層を備える。畳み込み層はその入力層全体に比較的小さなフィルタカーネルを適用し、その結果層内のニューロンはその前の層の小さな領域にのみ接続される。各フィルタカーネルは入力層全体にわたって複製される。有用な実施形態では、畳み込み層のパラメータは学習可能なフィルタカーネルのセットを備え、これは、受容野は小さいが、入力ボリュームの全深さを通して拡張され得る。畳み込み層を通過する間に、各フィルタカーネルが入力ボリュームの幅及び高さにわたって畳み込まれ、フィルタカーネルのエントリと入力との間のドット積が計算され、そのフィルタの特徴マップが生成される。全てのフィルタカーネルの特徴マップを深さ次元に沿って積み重ねることで、畳み込み層の全出力ボリュームが形成される。いくつかの特徴マップ又は特徴マップの組合せを含む出力層の全てのエントリはしたがって、同じ特徴マップ中のニューロンとパラメータを共有する、入力の小さな領域を見るニューロンの出力と解釈することができる。
【0063】
好ましい実施形態によれば、復号ユニットのNNは完全畳み込み深層ニューラルネットワークである。この点に関して、完全畳み込みとは全結合層が存在しないことを意味する。深層畳み込みニューラルネットワークは少なくとも2つの畳み込み層を備える。NNは活性化関数、好ましくは非線形活性化関数を含む、少なくとも1つの層を備える。例えば、各畳み込み層の結果は非線形活性化関数に通される。
【0064】
ある実施形態によれば、復号ユニットは、畳み込み層とアップサンプリング層とを備えるか又はこれらから成るNNを備える。例えば、NNは、1~4層、好ましくは2~3層の畳み込み層と、それに続く1層のアップサンプリング層とを備える、少なくとも1つのユニットを備える。NNは、畳み込みステップとアップサンプリングステップの組み合わせである転置畳み込み層を更に備えてもよい。このような復号ユニットへの入力サンプルは、次のように配置される:非圧縮RFデータは、形状[Batch, Elements, Time, Channels]を有するテンソルとして構成される。「Batch」は並列処理されるバッチの数であり、例えば、いくつかのフレームのデータがいくつかのバッチで同時に処理される。「Elements」は、超音波走査ユニットにおける変換器素子の数xを指す。Timeは高速時間軸、すなわち1回の送信イベントで取得された時間サンプルの数tを示す。「Channels」はチャネルの数であり、これは例えば、プレーンなRF信号の場合は1つ、又は、IQ符号化RF信号の場合は2つ、すなわち虚数部と実数部のそれぞれに1つずつである。このRFデータは、上記したようにデータブロックのアレイへと分割され、データブロックに関して定められた、データブロックごとに同じであってもそのテンソルの中で様々であってもよいサブサンプリングパターンに従ってサブサンプリングされる。このRFデータアレイがx×tデータブロックあたりQ個のサンプル(Q/(x×t)のサブサンプリングレートに相当)でサブサンプリングされる場合、復号ユニットに入力されるテンソルは、形状[Batch, Elements/x, Time/t, Channels*Q]という形状を有する。復号ユニットはこのブロックをx×t倍でアップスケールし、チャネルの数をQから入力チャネルの数(モノクロ画像の場合は1など)へと徐々に減らして戻していく。好ましくは、NNにおけるアップサンプリング層はnを係数とするアップスケーリングをもたらし、その場合、高速時間(t)及び変換器素子(x)の両方の軸における総サブサンプリングレートは1/nである。例えば、サブサンプリングレートが1/4であることは、データポイント/サンプルが4つ目ごとに維持され、一方でその他のデータポイントはサブサンプリング中に放棄されることを意味する。例えば、n=4の場合、アップサンプリング係数が各々2である、2つのアップサンプリング層が使用される。いくつかの実施形態では、アップサンプリング層の数は数nに等しい。
【0065】
別の実施形態によれば、復号ユニットは、エンコーダ-デコーダアーキテクチャを有するNNを備える。言い換えれば、NNは、畳み込み層とダウンサンプリング層とから成るエンコーダ部と、畳み込み層とアップサンプリング層とから成るデコーダ部を有する。本実施形態において、復号ユニットの入力層と出力層は同じサイズを有する。入力は、上記したような元の/最終的なサイズ、例えば[Batch, Elements, Time, Channels]を有するテンソルであり、非サンプリング位置にはゼロがあり、それらの対応する位置にはサンプリングされた値がある。この結果NNは欠損値/ゼロ値を再補間するように訓練される。このようなエンコーダ-デコーダアーキテクチャの利点は、入力テンソルが超音波データの範囲にわたって異なるサブサンプリングパターン及び/又はサブサンプリングレートでサブサンプリングされている場合にも、入力テンソルが依然として均一なサイズを有することである。好適なNNの例は、[U-Net: Convolutional Networks for Biomedical Image Segmentation, Olaf Ronneberger, Philipp Fischer, Thomas Brox, Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS, Vol.9351: 234~241頁, 2015年, https://arxiv.org/abs/1505.04597で利用可能]に開示されているような、u-netベースのネットワークである。
【0066】
ある実施形態によれば、サブサンプリングパターンは、超音波データの範囲全体における少なくとも2つの異なるデータブロックについて異なる。例えば、符号化ユニットは、完全な超音波データの異なる部分、領域、及び/又はゾーン間で、ブロック毎にサブサンプリングパターンを変更するように構成される。符号化ユニットは特に、インターフェースユニット、特にマスター制御装置などの外部のユニットから受信した制御信号に従って、サブサンプリングパターンを変更するように構成される。特に現実世界における物体の位置とUSデータのアレイにおける結果的な配置との間に直接的な関連が存在し得るため、ブロック毎にサブサンプリングパターンを適合させることによって、検査される物体の特性に対応することが可能になる。例えば、より重要な関心領域に対応するブロックよりも、より関心の低い領域に対応するブロックにおいて、より積極的なサブサンプリング、すなわちより低いサブサンプリングレートでのサブサンプリングを適用することができる。このことは、u-netベースのデコーダに使用されるようなデータ供給手法を使用する場合に、特に可能となる。この場合、例えばその領域に応じて、非ゼロ入力値をより高い又はより低い密度で供給してもよい。好ましくは、符号化ユニットはブロックレベルでプログラム可能であり、例えば、符号化ユニットは、ブロック毎に個々のサブサンプリングパターンが選択されるように構成される。別法として、符号化ユニットは、完全な超音波データ、特に超音波データのアレイのためのマスクが選択され、マスクされたサンプル値のみが伝送されるように構成されてもよい。サブサンプリングパターンは、ホスト/システム、例えばインターフェースユニット及び又はマスター制御装置において定められる。このことにより、どのサブサンプリングパターンを使用したかの情報を符号化ユニットが送らない構成が可能になる。復号ユニットはまた、使用されるマスク/サブサンプリングパターンに関する情報をホスト/システムから受信する。
【0067】
別の実施形態では、復号ユニットは、受信したデータブロックのゼロ/欠損値を検出し、使用された特定のサブサンプリングパターンを認識し、次いで対応するアップサンプリング/補間ルーチンをその訓練済みアルゴリズムの一部として適用するように訓練されている。このように訓練する結果、復号ユニットが複数の異なるサブサンプリングパターンに同時に対応できるようになる。
【0068】
各データブロックに使用されることになる特定のサブサンプリングパターンを決定することは、制御装置又はマスター制御装置とのフィードバックループ及び/又は閉ループで、以下のように行われる。最初の画像を得た後で、マスター制御装置又はデータ処理ユニット(DPU)の他の部分は、画像の重要度マップ(例えば、関心領域内で高く外部で低い、又は画像強度に対応する)を計算する。画像の位置と取得したRFデータにおける位置には直接的な関係があるため、DPUは、特に最も重要な領域ではサブサンプリングの適用を減らしながら、完全なRFデータの各データブロックにどのサブサンプリングパターンを適用すべきかを計算するためのルールを適用できる。次に、このパターンが超音波走査ユニットに、特にその制御装置に送信され、次の超音波照射サイクルで使用され、以って効果的に閉ループシステムが作り出される。
【0069】
シーンが静止しているか又はゆっくりと移動している場合、USデータは、1つのフレームが撮像される1回の超音波照射サイクルから次のサイクルへと、ゆっくりと変化することになる。この知識は、続く2回以上の超音波照射イベントからの超音波データを組み合わせることによって利用される。ある実施形態によれば、同じデータブロックのサブサンプリングパターンは2つ以上の連続する超音波照射サイクルに関して異なっており、この場合特に、第1のサブサンプリングパターンは、次の例えば第2のサブサンプリングパターンに対して相補的である、及び/又は、そこにインターリーブされるようになっている。例えば、符号化ユニットは、サブサンプリングパターンを交互に適用するように構成される。相補的な又はインターリーブされたとは、特に、最初のサブサンプリングパターン中に維持される全てのサンプルが、続くサブサンプリングパターン中に維持されるサンプルと異なっていることを意味し得る。したがって、最初のサブサンプリングパターンと続くサブサンプリングパターンとの間には重複がない。ある実施形態によれば、第1のフレームは第1のサブサンプリングパターンでサンプリングされ、次のフレームは次のサブサンプリングパターンでサンプリングされる。
【0070】
例えば、各々1/4のサブサンプリングレートを有する2つの連続したフレームをインターリーブすると、(少なくとも静的なシナリオでは)事実上1/2のレートを有する組み合わされたサブサンプリングパターンのように見える。フレームを再構築するために復号ユニットが両方のフレーム、すなわちインターリーブされたフレームを考慮するように構成されている場合、このことによって、より良好な信号対雑音比を達成すること、及び/又は復号ユニットの再構築性能を向上させることが可能になる。ある実施形態によれば、復号ユニットは、相補的なサブサンプリングパターで特にサブサンプリングされた第2の数の連続する入力フレームから、第1の数の連続するフレーム、例えば1つ又は2つのフレームを再構築するように構成され、ここで第2の数は第1の数よりも大きく、例えば2~6個の連続する入力フレームである。好ましくは、再構築されたフレームは、サブサンプリングされた全ての入力フレームの連続する順序における中心のフレームである。例えば、6つの連続するサブサンプリングフレームを有する場合、再構築されたフレームはフレーム番号3及び4である。復号ユニットは特に、データ再構築を改善するために、連続するフレーム間の類似性を使用するように訓練される。この場合、復号ユニットは動きを予測するようには明示的に訓練されない、すなわち動き値に対する出力がないが、動きを検出しそれを使用して改善されたフレーム予測を提供することを既に学習していた場合があり、その場合は出力フレームの予測が改善される。このように、再構築ごとに複数のフレームを考慮に入れると、再構築を更に改善することが可能である。復号ユニットは、次の再構築のために、第1の数のサイズに従って入力フレームをシフトするように構成及び/又は訓練される。例えば最初は、入力はフレーム1~6から成り、これは第2の数である6に対応しており、また出力はフレーム3及び4を再構築するが、これらは中心のフレームであり、第1の数である2に対応している。続くステップでは、第2の入力は今度はフレーム3~8から成り、すなわち2フレームだけシフトされ、出力ではフレーム5及び6が再構築される。このスキームは適宜継続することができる。このようにしてストリームベースの処理が可能になる。
【0071】
ある実施形態によれば、連続するフレームは相補的なサブサンプリングパターンでサブサンプリングされ、復号ユニットは第1のデコーダと第2のデコーダとからなり、その場合、第1のデコーダは、特に2つの連続する入力フレームが1つの潜在フレームになるように処理することによって、第2の数、特に6個の連続する入力フレームから、第3の数、特に3個の潜在フレームを再構築する。別の言い方をすれば、第1のデコーダは、第3の数(例えば3個)の第1のデコーダを備え、その各々が、2つ以上の連続する入力フレームが1つの潜在フレームになるように処理する。第2のデコーダは、第3の数の潜在フレームから、第1の数、特に2個の再構築されたフレーム、特に一対の再構築されたフレームを再構築する。好ましくは、第2の数は第3の数より大きく、第3の数は第1の数よりも大きい。第1のデコーダは、第4の数、例えば2個の特に連続するフレームから、各潜在フレームを再構築するように構成される。好ましくは、第2の数は第3の数と第4の数の積であり、すなわち、各入力フレームは1つの潜像フレームにのみ使用される。特に、1つの潜在フレームを作成するために、サンプリングされた2つの連続するフレームが第1のデコーダに入力される。符号化ユニットは例えば、再構築フレームの複数の対の再構築のために、潜在フレームの一部又は全部を使用するように構成される。したがって、各潜在フレームは一度だけ再構築されるが、再構築される2つ以上の連続するフレームの再構築に使用される場合がある。復号ユニットは、次の再構築のために、第1の数のサイズに従って潜在フレームをシフトするように構成及び/又は訓練される。例えば、第3の数が3である場合、再構築されるフレーム、番号2の再構築に使用される潜在フレーム、番号1~3が存在し、一方で、再構築されるフレーム、番号3の再構築には、潜在フレーム、番号2~4が使用される、といった具合である。特に、2つのデコーダを備える復号ユニットによって、特に潜在フレームの再利用に起因して必要な演算がより少なくなるため、再構築される画像の計算がより効率的になることが分かっている。
【0072】
好ましい実施形態では、超音波システムは、超音波走査ユニットのデジタル化ASICに作動的に結合されるか又はその一部であり、デジタル化ASICから受信したデジタル化された超音波データを圧縮された超音波データアレイへと変換するように適合されている、符号化ユニットであって、
デジタル化された超音波データをデジタル化された超音波データの範囲全体にわたってデータブロックのアレイへと分割し、
サブサンプルパターンを適用することによって、各データブロックを、サブサンプルパターンの位置に一致するブロック内のデジタル化された超音波データのサンプルのみが保持されるようにサブサンプリングし、
各データブロックの保持されているサンプルに基づいて、圧縮された超音波データアレイを得るように構成されている、符号化ユニットと、
インターフェースユニットの一部である復号ユニットであって、符号化ユニットから受信した圧縮された超音波データアレイに基づいて、デジタル化された超音波データを近似的に再構築する訓練済みアルゴリズムを備える、復号ユニットと、を備える。
【0073】
ある実施形態によれば、超音波走査ユニットは、特に局所振幅マップによって、超音波データを正規化するように構成される。USデータを正規化することにより、USデータのダイナミックレンジを小さくすることが可能になり、場合によっては、復号ユニットにおける訓練済みアルゴリズム、例えばニューラルネットワークとの適合性が更に改善される。また更に、サブサンプリングされるデジタル化された超音波データは、すでにマイクロビームフォーミングされている場合がある。
【0074】
本発明はまた、超音波走査ユニットと超音波走査ユニットの一部でなくてもよいデータ処理ユニットとを含む超音波システムを動作させるための方法であって、
(a)超音波データを取得するステップと、
(b)アナログの又はデジタル化された超音波データを、圧縮された、特にサブサンプリングされた超音波データアレイへと変換するステップと、
(c)圧縮された超音波データアレイに基づいて超音波データを近似的に再構築するために、訓練済みアルゴリズムを適用するステップと、を含む、方法にも向けられている。
【0075】
好ましくは、ステップcは超音波走査ユニット上で実行され、ステップcはデータ処理ユニットによって実行される。方法は、本明細書に記載するような符号化ユニット及び復号ユニットを用いて実行される。超音波システム、符号化ユニット及び復号ユニット、デジタル化ASIC、超音波走査ユニット、並びにインターフェースユニットに関して本明細書に記載する全ての特徴及び利点は、上記の方法に適用可能であり、その逆も成り立つ。
【0076】
本発明はまた、超音波システムによって実行されると超音波システムに本明細書において上記した方法を実行させることになるプログラムコードを備える、コンピュータプログラム又はコンピュータプログラム製品に向けられる。本発明はまた、このようなコンピュータプログラムが保存されているコンピュータ可読媒体にも向けられる。
【0077】
本発明の別の態様は、マスター制御装置、特に本明細書に記載するようなマスター制御装置によって、超音波走査ユニット、特に本明細書に記載するような超音波走査ユニットを制御する方法であって、
マスター制御装置が、特定の超音波データを取得及び処理する要求を制御信号の形態でデジタル化ASICに送信するステップと、
超音波走査ユニットが要求されたデータを取得するステップと、
デジタル化ASICが、マスター制御装置の制御信号に従って取得したデータを選択及び処理し、そのデータをマスター制御装置に送信するステップと、
マスター制御装置が受信されたデータを解釈するステップと、
データ解釈及び組み込まれた制御アルゴリズムに基づいて、マスター制御装置が、データ選択及び処理基準並びに任意選択的に超音波照射スキームを適合させ、更新された制御信号で相応に更新された要求をデジタル化ASICに送信するステップと、
超音波走査ユニットが更新された要求に従ってデータを取得するステップと、
デジタル化ASICが、マスター制御装置の更新された制御信号に従って新たに取得したデータを選択及び処理し、そのデータをマスター制御装置に送信するステップと、を含む、方法に関する。
【0078】
好ましくは、上記の内容は記載した順序で実施される。特に、最後の4つのステップは複数回繰り返される。この方法で最後の4つのステップを繰り返すことによって、閉ループの形態のリアルタイムに適合可能なデータの選択及び/又は処理が実現される。デジタル化ASIC、超音波走査ユニット、マスター制御装置、インターフェースユニット、及び超音波システムの全ての利点及び特徴は、この方法にも当てはまり、その逆も成り立つ。特に、マスター制御装置は、上記したような制御パラメータを設定するための制御信号を送信する。好ましくは、マスター制御装置は、現在の超音波照射サイクルのデータ取得中に、次の超音波照射サイクルに関連する制御信号を送信する。
【0079】
方法のある実施形態によれば、マスター制御装置の第1の要求及び制御信号は、例えば同一の平面波送信を使用することによって、完全な視野のために全てのチャネルデータ、例えば128個のチャネルを使用しながら、標的対象物、例えば心臓を超音波照射するように指示する。例えばデータ量を制限するため、適度な解像度が要求される。マスター制御装置によるデータの解釈は、高速移動するエリア、例えば心臓の弁の検出を含む。したがって、最初の4つのステップは、スカウト画像の取得及び解釈と要約できる。更新された要求信号及び制御信号はその場合、集束された送信ビーム、及び、限られた信号チャネルの量であるが場合によっては比較的高い解像度でのデータの取得を含む。また更に、データ取得は限られた深さ範囲で行われ、例えば、取得は超音波照射イベント後50μsで開始され、20μs継続する。その結果より高い解像度で関心領域が観察される。例えば、全視野に関するデータ(スカウト画像)の伝送には約1000μsの時間を要するが、関心領域に関するデータの伝送には100μsの時間しかかからない。したがって、より高いフレームレートで及び/又はより少ない電力消費で関心領域をスキャンすることが可能である。全視野の超音波照射、例えば平面波の超音波照射、及び関心領域の超音波照射、すなわち標的を絞った超音波照射は、規則的な時間インターリーブ方式で生成される。しかしながら、インターリーブは不規則且つ/又は動的でもあり、複数の関心領域、観察される物体などの移動速度といった、瞬間的な信号特性によってトリガされる場合がある。これらの瞬間的な信号特性を認識してインテリジェントな画像形成又はデータ検出をサポートするために、人工知能が使用される
【0080】
本方法の別の実施形態によれば、特にダイナミックレンジの経時的な損失を整合させるために、マスター制御装置は、第1の制御信号による第1の要求として、予め決定された解像度での観察される物体の全データを要求する。マスター制御装置は次いで、深さ/時間の関数としてチャネル群の信号特性を決定する。この情報に基づいて、マスター制御装置は次の取得のために、アナログ回路のパラメータ、例えばゲイン及び/又は信号帯域幅、ADCアレイに関する少なくとも一つのパラメータ、例えば分解能、並びにデジタルワード幅を適合させる。マスター制御装置はまた、例えば個々のチャネルが提供する追加の情報が少な過ぎる可能性がある場合、チャネルのデータをスキップするか又は組み合わせるように要求する。これらの適合により、すなわち上記した方法の最後の4つのステップに従って、動的制御ループは、瞬間的なシーンを見込んで、ある時間にわたって作動状態を維持する。超音波エコー信号の振幅及びダイナミックレンジは、特に組織による減衰や回折の影響の結果時間と共に小さくなるため、この方法は有利である。振幅の損失は、ゲインを経時的に制御することによって部分的に修正することができる。信号のダイナミックレンジの損失は、アナログ回路のダイナミックレンジ、例えばADCの分解能及びデジタルワード幅を動的に適合させることによって、信号特性に整合するように適合される。この結果、無駄な電力消費及びハードウェアコストの上昇が防止される。
【0081】
ここで本発明について、以下の添付の図面を参照して、実施形態によって記載する。
【図面の簡単な説明】
【0082】
図1】本発明のある実施形態に係る超音波システムを概略的に表した図である。
図2】本発明のある実施形態に係るデジタル化ASICのブロック図である。
図3】本発明のある実施形態に係るデジタル化ASICとマスター制御装置との間の接続の概念を示す図である。
図4】データ取得に関する例示的なタイミング図である。
図5】例示的な実施形態に係る本発明の原理の適用を示すフローチャートである。
図6】本発明のある実施形態に係る様々な制御モードを有するレジスタバンクにおける動作パラメータを表した図である。
図7】本発明のある実施形態に係る超音波システムのスケッチである。
図8】各々4×4個のサンプルを有するデータブロックのアレイの4つのデータブロックの概略的な例である。
図9】本発明のある実施形態に係るアップサンプリングネットワークの形態の復号ユニットの概略構造を示す図である。
図10】本発明のある実施形態に係るu-netベースのネットワークの形態の復号ユニットの概略構造を示す図である。
図11】2DのRFデータの元のプロットと再構築されたプロットとの比較を示す図である。
図12】サブサンプリングレートを変えた異なるサブサンプリングパターンを示す図である。
図13】2つの異なるサブサンプリングパターン、及び2つの異なるサブサンプリングパターンが組み合わされたインターリーブされたサブサンプリングパターンを示す図である。
図14】連続するUSフレームからのインターリーブされた2つのサブサンプリングパターンを使用する復号ユニットの概念を示す図である。
図15】第1のデコーダと第2のデコーダとを備える復号ユニットの動作原理を示す図である。
【発明を実施するための形態】
【0083】
図の全体を通して、様々な実施形態の同じ又は対応する特徴/要素は、同じ参照符号で指定されている。
【0084】
図1は、本発明のある実施形態に係る超音波システム1を概略的に表したものを示す。本実施形態では、システムは、コンピュータ12と、マスター制御装置7を有するインターフェースユニット6と、インターフェースユニット6に接続されている3つの超音波走査ユニット2と、を備える。超音波走査ユニット2は、変換器アレイ21を有するアナログASIC8を各々備える。変換器アレイ21はアナログASIC8と一体の部分である、又は、1つ若しくは複数の変換器アレイ21がアナログASIC8に接続される。例えば、変換器アレイ21は、アナログASIC8の上にモノリシックに配置される行列変換器アレイ21であってもよい。アナログASIC8は、超音波走査ユニット2のデジタル化ASIC3に接続される。ASIC8とASIC3との間の接続は例えば、横に並べた接続、又はシリコン貫通ビア(TSV)を用いた積層構成とすることができる。また、アナログ及びデジタルのASICの機能を単一の混合信号ASICに統合してもよい。
【0085】
デジタル化ASIC3は、超音波走査ユニット2の、特にデジタル化ASIC3の様々な動作パラメータを制御するように適合されている、制御装置33を備える。また更に、デジタル化ASIC3は、アナログASIC8からのRF超音波信号をデジタル化するように構成されているADCのアレイ31を備える。デジタル化された超音波データは次いで、デジタル化ASIC3のメモリモジュール32、例えばSRAM又はDRAMなどのオンチップメモリに保存され、場合によっては処理される。制御装置33の指示に従って、データは、メモリモジュール32に保存される前に、又はメモリモジュール32に保存された後で、特にリアルタイムで、フィルタリング、選択、及び/又は処理される。このように、データはデジタル化ASIC3上で圧縮され、このことによりインターフェースユニット6に伝送する必要のあるデータ量が削減される。選択され処理されたデジタル化された超音波データを伝送するために、各超音波走査ユニット2とインターフェースユニット6との間に、特に複数のデータレーンから成る、シリアルリンク11が存在する。デジタル化された超音波データは、エンコーダ/シリアライザ43を介して符号化及び/又は直列化され、送受信機44によって送信される。また、デジタル化ASIC3は、データをサブサンプリングするように構成されている符号化ユニット343も備える。符号化ユニット343は、メモリモジュール32にデータが保存された後で、そのデータをサブサンプリングするように構成される。しかしながら、符号化ユニット343はまた、データをメモリモジュール32に保存する前に、場合によってはデータをADCのアレイ31でデジタル化する前にも、データをサブサンプリングするように構成されてもよい。任意選択的に、超音波走査ユニット2は、インターフェースユニット6への例えば光ファイバを介した光接続を可能にするための、VCSEL24を備える。別法として、デジタル化された超音波データはまた、例えばUTPを介して、電気的に伝送されてもよい。アナログASIC8とデジタル化ASIC3との間の接続は、1つのアナログASIC3で複数のデジタル化ASIC3を使用すること、又はその逆が可能になるように設計される。また更に、図1に示す超音波走査ユニット2は、超音波走査ユニット2に関する較正及び/又は諸元を保存するためのEPROM25を備える。
【0086】
インターフェースユニット6は、ビームフォーマー62とマスター制御装置7とを含むデータ処理ユニット61を備える。マスター制御装置7は、データ処理ユニット61によって行われるデータ分析に応じて、制御装置33に制御信号を送るように適合される。インターフェースユニット上でデータをビームフォーミングし、場合によっては追加処理した後で、データはユーザーインターフェース13を備えるコンピュータ12に伝送される。この場合、独立して動作可能なように、インターフェースユニット6は、バッテリ63と電力管理ユニット(PMU)64とを備える。したがって、インターフェースユニット6とコンピュータ12との間の接続は無線であってもよい。
【0087】
図2は、本発明のある実施形態に係るデジタル化ASIC3のブロック図を示す。デジタル化ASICはADCのアレイ31を備え、各ADC39は、アンチエイリアスフィルタ38、増幅器37と、及び任意選択的にシングル-差動変換器(図示せず)と組み合わされる。アンチエイリアスフィルタ38、増幅器37、及びシングル-差動変換器は、デジタル化ASIC3のアナログフロントエンドの一部である。この概略的な例では、アレイ31は4つのADC39から成るが、実際にはより多くのADC39、例えば32~256個のADC39が存在する。特に、アナログASICの信号チャネルごとに1つのADC39が存在する。別法として、上記したように、2つ以上の信号線/チャネルが1つのADC39を共有してもよい。データをメモリモジュール32に保存する前に、データに対してデジタルデータ選択53、時間若しくはチャネルに対してなどのフィルタリング及び/又は処理54が実施され、これらは制御装置33によって制御される。処理は取得中に、例えばある超音波照射サイクルから次のサイクルまでに変更されてもよく、また用途に固有のものであってもよい。例えば、インテリジェントなデータ削減アルゴリズムの一部としてサブサンプリング、分解能スケーリング、等を行うために、1回の取得中に分解能又はADCのサンプリング周波数が変更される。制御装置33はまた、アナログフロントエンドモジュール、例えば、増幅器37及びアンチエイリアスフィルタ38も制御する。これらのモジュールは例えば、関連するエコー信号を能動的に取得するときのみバイアスをかけられ、それ以外の場合はオフにされる、すなわちバイアス電流がオフにされる。本実施形態では、メモリモジュール32は、特にADC39ごとに1つずつの、複数のメモリユニット41から成る。メモリ容量は1回又は数回の超音波照射イベントに関連するRFデータを保存するのに十分であるのが好ましく、例えばメモリ容量は、信号チャネルあたり30~100キロビットのオーダーである。関連データをメモリモジュール32に保存した後で、追加のデータ選択53、フィルタリング並びに正規化及び/又はクリッピングなどの処理54が制御装置33によって指示され、その後、送信機44又は送受信機とシリアルデータ形式の複数のレーンを備えるシリアルリンク11とを介して、インターフェースユニット6に転送される。このように制御装置33は、ADCのアレイ31、メモリモジュール32、及び/又は送信機/送受信機44の動作パラメータを制御するように適合される。また更に、データは、例えば8B/10B符号化で符号化される、並びに/又は、エンコーダ及びシリアライザ44によって直列化される。メモリモジュール32及びADCのアレイ31は第1のクロックドメイン45からクロックされ、エンコーダ及びシリアライザ43は第2のクロックドメイン46からクロックされる。エラスティックバッファ42は2つのクロックドメイン間のハンドシェイク機構として機能し、データの完全性を保証する。2つのクロックドメインへの分離、すなわちデータ取得帯域幅とシリアルデータリンク帯域幅の分離は、メモリモジュール32によって可能となる。このことによって、固定されることの多いより低速のシリアルデータリンクの速度11と比較して多くの場合はるかに高速なデータ取得帯域幅を補償することが可能になるが、一方で、データ取得帯域幅(ADCサンプリング周波数、分解能、作動するチャネルの数)が超音波照射サイクル中であっても変化する可能性がある。データ取得は超音波照射イベントと同期しているべきであるが、インターフェースユニット6へのデータ伝送はその後も選択されたすべてのデータが伝送されるまで継続することができる。2つのクロックドメイン45、46は、PLL47(位相ロックループ)を介して低周波の基準クロックを生成する。
【0088】
図3は、本発明のある実施形態に係るデジタル化ASICとマスター制御装置との間の接続の概念を示す。マスター制御装置7からの制御信号71に基づいて、制御装置33は、デジタル化ASIC3の動作パラメータを変更するように適合される。この実施形態では、動作パラメータは、アナログUS信号のフィルタリングなどの、アナログ信号選択51と、ゲイン、ADCサンプリング周波数、帯域幅、及び/又は分解能の設定などの、デジタル化52と、メモリモジュール32に保存されたデータの追加サブサンプリングなどの、デジタルデータ選択53と、ワード幅、デジタルゲインの設定、関数の適用などの、フィルタリング及び処理54と、と、を含む。フィルタリングされ処理されたデータは次いでインターフェースユニット6に転送され、次の制御信号71を決定するためにマスター制御装置7によって分析される。
【0089】
図4は、データ取得のための例示的なタイミング図を示す。デジタル化ASIC3は、取得遅延(例えば、T1A_B1、T2A_B1)及び取得期間パラメータ(例えば、T1B_B1、T2B_B1)を用いて予めプログラムされており、ここで2番目の文字は、信号チャネル又は変換器素子(1…x)を示している。次の超音波照射イベントのデータ取得に関連するタイミングパラメータは、現在のイベントのデータ取得中にプログラムされる。このことは、バンク切り替え可能なレジスタテーブル(添え字B1、B2で示されている)を使用することで可能となる。マスター制御装置からのトリガイベント91の後で、例えば超音波照射後の超音波が変換器で受信されデジタル化ASIC3に送信されるのを待機するために、予め決定された取得遅延92が適用される。遅延92の後に続いて、取得期間93の間データ取得が行われる。ADCのアレイ31の異なる信号チャネル、すなわち異なるADC39(ADC1、…ADCX)は、異なるタイミングパラメータを有する。この例では、第1のチャネル95(ADC1)と更なるチャネル96(ADCX)が、全チャネルを代表して示されている。図の左側には第1のバンク97のタイミングが示されている(タイミングパラメータにも添え字B1で示されている)。別のトリガイベント91が受信された後で、第2のバンク98のタイミングが適用される(タイミングパラメータには添え字B2で示されている)。図の下部には、インターフェースユニット6に転送されるシリアルデータ94のストリームが示されている。ここで、上位にある線はシリアルデータ94の(最大)ストリームを示し、下位にある線はデータストリームの一時停止を示す。見てとれるように、信号チャネルの取得期間93が終了した後(デッドタイム中)であっても、シリアルストリームは継続される。この場合、インターフェースユニット6へのシリアルリンク11の速度が取得及び処理速度と比較してより低速であることを補償するために、データはメモリモジュール32に一時的に保存される。次の取得は、第1のバンク97に対応するシリアルデータ94が完全に転送された後に初めて第2バンク98の取得期間が設定されるようにタイミング調整される。この場合、第1のバンク97の動作パラメータで取得したデータの転送の完了後、第2のバンク98の動作パラメータで取得したデータのストリームが行われるまでに、シリアルデータ94のストリームに短い一時停止が発生する。この動作原理はいくつかのバンクを通して継続される。
【0090】
図5は、例示的な実施形態に係る本発明の原理の適用のフローチャートを示す。マスター制御装置からの制御信号の指示通りに動作パラメータの設定110を行う第1の制御モード101は、外部トリガイベント91(図示せず)によって開始される。このトリガイベントは超音波照射イベントと同期しているが、必ずしも同じではない。第1のモード101は例えば保留モードとして使用される。新たなデータ取得がなく、ADC39がアナログ-デジタル変換を実行しない場合がある。メモリモジュール32中の利用可能な「古いデータ(old data)」はマスター制御装置7に伝送される。ワードの同期を保証するために、符号化されたデータ中にカンマ符号が挿入される。タイムアウトモニタリング111でモニタリングされる予め決定された時間の後で、第2の制御モード102が起動され、動作パラメータの設定110が行われる。これは最初のデータ取得モードであってもよく、ADC39には選択されたサンプリングクロックが供給され、アナログの入力超音波信号のデジタル化が開始される。アナログ入力のゲインは比較的低く、ADCの分解能は高い。デジタルワード幅も同様に高い。ここでも、モニタリングされたタイミング111の後、次の制御モード、すなわち第3の制御モード103が起動されて、新しい動作パラメータの設定110が行われる。第3の制御モード103は第2のデータ取得モードであり、アナログ入力設定が適合され、作動するADCチャネルの数も適合される。通常は、アナログ信号の振幅及びダイナミックレンジは時間と共に小さくなる傾向があるが、これらは整合させることができる。ただし、マスター制御装置によって評価されたシステムの以前の学習が異なる内容を示していた可能性があり、したがって個別の動的な調整が適用される場合がある。特殊な関心領域を観察するために動作パラメータを調整することも可能である。第3の制御モード103のタイムアウト111の後で、第4の制御モード104の動作パラメータの設定110が行われる。第4の制御モード104は最後のデータ取得モードであり、アナログフロントエンド設定はこの時点のより弱い信号に最適化され、信号のダイナミックレンジは信号振幅と同様に低いが、これは補償する/整合させることができる。例えば、アナログフロントエンド48が信号ノイズに対して支配的である場合、アナログゲインを更に増加させることには意味がない場合がある。しかしながら、関連するデータビット、例えば信号のLSB(最下位ビット)だけを伝送することに意味がある場合もある。また更に、より周波数の低い信号の帯域幅に整合するように、サンプリング周波数が下げられる。第4の制御モード104のタイムアウト111の後で、アナログフロントエンド48及びADC39がオフにされている間に、予め収集されたデータを伝送するために、第5の制御モード105が使用される。デジタル化ASIC8は、取得したデータがマスター制御装置7に伝送されるまでこのモードに留まる。例えばマスター制御装置7から制御装置に送られトリガ受信モニタリング112によって認識される、トリガイベント91が、次いで第5の制御モード105を終了させ、レジスタバンクの切り替えを開始させる。こうして、トリガ91の検出後、選択されたレジスタバンクがスワップされ、アナログASIC8及びデジタル化ASIC3の機能が、新たなデータ取得のために準備される。その次に、メモリモジュール32の読み出し及び/又は書き込みポインタがリセットされ、8B/10B符号化データにおいて特別なカンマ符号が挿入される。
【0091】
図6は、本発明のある実施形態に係る制御モードが異なるレジスタバンクにおける動作パラメータを表したものを示す。この実施形態では、デジタル化ASIC3のアナログフロントエンド48はアナログパラメータのセット、すなわちゲイン121、アナログフィルタ設定、この場合は帯域幅122、回路スルーレート特性、回路バイアス電流123を用いてプログラムされる。ADC39のプログラミングには、作動するADCチャネル124の選択、すなわちADC124の有効化、ADCの分解能125の制御、及び任意選択的にサンプリング周波数が含まれる。関連するアナログフロントエンド48を含む未使用のADCチャネルは、電力消費を最小限に抑えるためにオフに切り替えられる。デジタル処理115の機能は、特定のデータを選択し、特定のワード幅126を選び、デジタルゲイン127を適用するように、並びに、特定のデータ処理、例えば信号クリッピング129、信号フィルタリング、及び/又は機能、例えば信号合算の有効化128を実行するようにプログラムされる。モード関連のプログラミングパラメータはまた、ASICが特定の動作モードに留まることになる期間116(クロックサイクルで表される)、並びに、個々の遅延及び取得のタイミング130も示す。期間116は、第1の制御モード101、第2の制御モード102、第3の制御モード103、第4の制御モード104の場合、タイミングによって制御される。ASICは関連するカウンタがタイムアウトすると次の制御モードに切り替わる。第5のモード105は例外である。デジタル化ASIC3は、外部トリガ91又はリセットを受信するまで第5のモード105に留まることになる。デジタル化ASICはこの時点で、別のレジスタバンクのものであり得る第1のモード101に切り替わって戻るように構成され、モードサイクルが繰り返される。
【0092】
図7は、本発明のある実施形態に係る超音波システム1のスケッチを示す。超音波システム1は、超音波走査ユニット2と、マスター制御装置7とのインターフェースユニット6と、ビームフォーマー62と、バッテリ63と、を備える。超音波システム1は、ユーザ入力デバイス16と可視化されたデータ14を示すように構成されたスクリーンとを有する、コンピュータを更に備える。
【0093】
図8は、完全なRF信号データアレイ301の、4×4個のサンプル303を各々有する繰り返される4つのデータブロック302の、概略的な例を示す。データブロック302は変換器素子に関するx軸を備え、すなわちこの場合、各データブロック中に4つの変換器素子が存在し、また高速時間に関するt軸を備える、すなわちこの例では、各データブロック303中に4つの離散時間値が存在する。各データブロック302は、符号化ユニット43によって、維持すべき特定のサンプル304を選択することでサブサンプリングされている。丸印は維持されたサンプル304を示し、空のボックスは省略されたサンプル305を示す。結果的に、この場合のサブサンプリングレートはすべてのデータブロックに対して等しく1/4であり、すなわち、サンプルが2つ目ごとに維持される。また更に、1つのサブサンプリングパターンがすべてのデータブロックに対して繰り返され、その場合均一なサンプリング密度が得られる。このことにより訓練済みアルゴリズム、例えば完全畳み込みニューラルネットワークによる効率的な処理が可能になるが、その理由は、サブサンプリングパターンが各データブロックで同であり、その結果これがブロックシフト不変になるからである。
【0094】
図9は、本発明のある実施形態に係るアップサンプリングネットワークの形態の復号ユニット310の概略構造を示す。特にニューラルネットワークであるアップサンプリングネットワークは、畳み込み層307とアップサンプリング層308とから成る。見て取れるように、本実施形態では3つの畳み込み層307と1つのアップサンプリング層308とが交互に配置されており、データは合計3回アップサンプリングされる。したがって例えば、1/4のサブサンプリングレートでサブサンプリングされたUSフレームのデータが入力され、元のフレームサイズ、すなわち1/1のレートにアップサンプリングされる。このことは特に、漸進的に、特に2を係数として実施され、その場合、x軸及びt軸のサンプルは各アップサンプリング層において、すなわち[Elements/4, Time/4]から[Elements/2, Time/2]を経て[Elements/1, Time/1]へと大きくなり、後者は元のサイズである。
【0095】
図10は、本発明のある実施形態に係るu-netベースのニューラルネットワーク(NN)の形態の復号ユニット310の概略構造を示す。この構造はダウンサンプリング(エンコーダ)部を備え、そこでは入力データが合計3回ダウンサンプリングされるように、3つの畳み込み層307と1つのダウンサンプリング層309とがそれぞれ交互に配置されている。また更に、この構造はウンサンプリング層に続くアップサンプリング(デコーダ)部を備え、そこでは入力データが合計3回アップサンプリングされるように、3つの畳み込み層307と1つのアップサンプリング層309とがそれぞれ交互に配置されている。入力として、元の(したがって最終的な)サイズを有するテンソルを使用することができ、その場合、非サンプリング位置には値ゼロが設定され、一方サンプリングされた値はそれらの対応する位置に設定される。本実施形態の復号ユニット310は、欠損値、すなわちゼロに設定された値を再補間するように訓練される。また更に、復号ユニット310のニューラルネットワークは、スキップ接続319、すなわち、ショートカットとして機能し、間にあるいくつかの層を飛び越えることを可能にする接続を備える。スキップ接続319は、勾配が消失する問題を緩和するためにニューラルネットワークを訓練する際に有用である。図9又は図10のNN復号ユニット310を符号化ユニット343と共に訓練して、例えばオートエンコーダを訓練するように、入力として使用される完全なRF信号データを再構築することにより、復号ユニットの重みを求めることができる。特に、選ばれたサブサンプリングパターンごとに再訓練を行い、異なる重みを得ることができる。
【0096】
VerasonicsのセットアップとL7-4プローブとを組み合わせて実験を行った。Verasonicsのセットアップは生のRF信号を捕捉し、サンプルレートはRFデータを音の波長あたり4個のサンプルに変換するものである。超音波プローブは通常、合成開口モードで使用される、すなわち、例えば平面波撮像/マルチアングル平面波のように、すべての変換器素子からRF信号を得る。いずれの場合も、DSP、GPU、又はAIアクセラレータなどの専用データ処理ユニットでビームフォーミング及び追加の信号/画像処理を行ったが、これらは極小フィーチャサイズ(例えばFinFET技術、5nm)を用いる最先端の低電圧MOSfet技術で実現され得る。通常は、アナログフロントエンドASIC(例えば180nmの大きなフィーチャサイズを有する、高電圧トランジスタと低電圧MOSトランジスタとを具備したASIC技術)、及び/又は、デジタルフロントエンド/デジタル化ASIC(例えば40nmの、成熟した低電圧ASIC技術)が使用される。このように、ハイエンドGPU又はデータ処理ユニットの組み込みGPUで利用できる演算量は一般に、より高度なCMOSプロセス技術によって、はるかに多くなっている。
【0097】
図11は、4画素中1画素だけがサンプリングされている、2DのRFデータの元のプロットと再構築されたプロットとの比較を示す。ここで、横軸は画像の深さに相当する高速時間軸、縦軸は変換器の128個の素子を示している。元のRFデータのプロットが上の画像に示されており、再構築したものが中央の画像に示されている。元のデータと再構築されたデータとの間の差、すなわち誤差が、下の画像に示されている。下の画像に見られるように、目に見える誤差がある程度存在する、すなわち、信号はゼロではない。したがってこの方法は非可逆圧縮法である。
【0098】
より詳しい分析によって、誤差は信号の振幅が大きい領域でより大きいことが分かっている。しかしながら、4を係数としてサブサンプリングを行い、ニューラルネットワークでRF信号を再構築し、ビームフォーミングを行ってその結果の画像を得、この非可逆圧縮が生み出すアーチファクトを見ると、ビームフォーミングされた画像の差は非常に小さく、この差は人間の目にはほとんど分からないことが分かった。差を計算すると、元の画像と再構築された画像との間の差は実際には非常に無作為的で、画像の内容との相関はごく弱いことが分かる。
【0099】
再構築品質はサンプリング点の数に直接比例することが分かっている。したがってデータレートが低いほど歪みが大きくなる。その結果、サンプリング点が少ないほど、ビームフォーミングされた画像のピーク信号対雑音比(PSRN)が低下する。再構築の結果をよく知られている補間法と比較するために、scipy(https://docs.scipy.org/doc/scipy/reference/generated/scipy.interpolate.griddata.html)のグリッドデータ補間法を適用した。この方法は規則的でないグリッドにおいてバイキュービック補間を行う。IQ符号化されたRFデータに対してサブサンプリングが実施されている。4を係数とするサブサンプリング、すなわち1/4のサブサンプリングレートの場合、バイキュービック補間(20.4dB)を使用すると、上記したようなニューラルネットワークベースの補間を使用した場合と比較して、PSNRの約6dBの降下が観察された。(26.5dB)。このように、NNベースの復号はバイキュービック補間よりもかなり良好な性能を発揮している。
【0100】
図12は、1つのデータブロック302における、サブサンプリングレートを変化させた、すなわちR=1/2、1/4、1/8である、異なるサブサンプリングパターンを示す。R=1/2のサブサンプリングレートでは、ビームフォーミングされたbモード画像のPSNRは42dBとなり、R=1/4のレートではPSNRは26,5dBとなり、R=1/8のレートではPSNRは20dBとなった。
【0101】
シーンが静止しているか又はゆっくりと動いている場合、わずかに異なるパターン、すなわち位相シフトしたパターン及び/又はインターリーブしたパターンでサンプリングすることで、この知見(すなわち、あるフレームが前のフレーム及び次のフレームと顕著に似ることになること)を利用できる。図13は、2つの異なるサブサンプリングパターン(左側及び中央の図)、並びに、2つの異なるサブサンプリングパターンが組み合わされている、1つのデータブロック302内のインターリーブされたサブサンプリングパターン(右側の図)を示している。左側の図では第1のパターン304に従ってサンプルが維持されており、中央の図では第2のパターン314に従ってサンプルが維持されている。いずれのパターンもサブサンプリングレートは1/4である。連続する画像フレームに対して撮影された第1のパターン304及び第2のパターン314が右の図において組み合わされて、1/2である見かけのサブサンプリングレートを有するインターリーブされたパターンとなっている。図12に関して説明したように、R=1/2のようなより高いサブサンプリングレートは、及びしたがっておそらくこの組み合わされたパターンも、R=1/4のようなより低いサブサンプリングレート、すなわち個々のパターンよりも、はるかに良好なPSNRをもたらし得る。この知見を用いて、例えば図14に示すような、より高度な再構築アルゴリズムを構築することができる。連続する6つの元の又は完全なフレーム311(F-2、F-1、F+0、F+1、F+2、及びF+3)から開始して、符号化ユニット343は、図14の左側に示すように、データブロック301のアレイにおいてサブサンプリングパターンを交互に適用する。次に、これらのサブサンプリングされたフレーム312のうちの6つ(F-2 、F-1 、F+0 、F+1 、F+2 、F+3 )を、ニューラルネットワークへの入力として、例えば追加のチャネルとして使用する。数字A及びBはそれぞれ第1及び第2のサブサンプリングパターンを表す(図14の左の描写を参照)。復号ユニット310、すなわちニューラルネットワークは、中心の2つのフレームを、サブサンプリングされたフレーム312から再構築されたフレーム313(F+0及びF+1)として再構築するように訓練される。この実施形態では、NNは、完全なRF信号又はフレームを再構築することを、そして更に、動きを予測しそれを使用して、すなわちシーン内の動きに対処する方法を学習することによって、再構築を更に改善することを、効果的に学習する。復号ユニット310は、この手順を2フレームだけ、すなわちこの場合は(F+0、F+1、F+2、F+3、F+4、F+5)へとシフトし、これを再度適用し、すなわち出力(F+2、F+3)を得、このことを継続して、ストリームベースの処理を効果的に実現するように訓練される。図13の右側のもののような、すなわち1/4のレートである2つの個々のパターンから得られた1/2という見かけのサブサンプリングレートを有する、インターリーブされたパターンから生成された画像のPSNRは、35,8~40,4dBであることが分かっている。これは、サブサンプリングレートが1/4であるパターン(例えば図12の中央の図、図13の左及び中央の図)の個々のPSNRに対して大きな改善であり、一方で、1/2という「本当の(real)」サブサンプリングレート(例えば図12の左の図に示されている)による42dBよりも僅かに悪い程度である。
【0102】
図15は、第1のデコーダ315と第2のデコーダ316とを備える代替の復号ユニット310の動作原理を示す。第1のデコーダ及び第2のデコーダはいずれもニューラルネットワークであるか、又はニューラルネットワークを備える。第1のデコーダ315は、サブサンプリングされたフレーム312から潜在表現317(Z-1、Z、及びZ+1)を計算するように構成される。特に、この実施形態では、第1のデコーダ315は、最初の2つのサブサンプリングされたフレーム312(F-2 及びF-1 )から第1の潜在表現317(Z-1)を生成するように構成され、その場合、サブサンプリングされたフレーム312は異なる、特に相補的なサブサンプリングパターン、すなわちパターンA及びBをそれぞれ有する。同様に、第3及び第4のサブサンプリングされたフレーム(F-0 及びF+1 )から第2の潜在表現(Z)が生成され、第5及び第6のサブサンプリングされたフレーム(F+2 及びF+3 )から第3の潜在表現(Z+1)が生成される。潜在表現317はその後、再構築されたフレーム313(F+0及びF+1)を出力するために、組み合わされ318(例えば連結され)、第2のデコーダ316によって復号される。フレームを2つのサブサンプリングされたフレームと1つの潜在フレームの分だけ、すなわち(Z、Z+1、Z+2)へとシフトすることによって、復号ユニット310は、潜在フレームのうちの2つ、すなわちZ及びZ+1を再利用し、第2のデコーダ316を介して次の2つの再構築されるフレーム313(F+2及びF+3)を生成するために、第1のデコーダ315を介してZ+2のみを演算する。一連の再構築されたフレーム313を生成するために、このスキームが継続される。潜在表現317の計算は一度だけ行えばよく、それらが複数の再構築されたフレーム313に使用され、その結果6つの入力フレーム、すなわちサブサンプリングされたフレーム312を毎回完全に処理する必要はなくなることによって、必要となる演算は、合計ではより少なくなる。
【0103】
上記の考察は単に本発明を例示することを意図しており、添付の特許請求の範囲を任意の特定の実施形態又は実施形態の群に限定するものとして解釈されるべきではない。したがって、本システムについて例示的な実施形態を参照して特に詳細に説明したが、続く特許請求の範囲に規定されている本システムのより広い意図された精神及び範囲から逸脱することなく、当業者によって多数の修正及び代替の実施形態が考案され得ることも諒解されるべきである。このように、本明細書及び図面は例示的なものとして検討されるべきものであり、添付の特許請求の範囲の範囲を限定することは意図していない。
【符号の説明】
【0104】
1 超音波システム
2 超音波走査ユニット
3 デジタル化ASIC
6 インターフェースユニット
7 マスター制御装置
8 アナログASIC
11 シリアルリンク(レーン)
12 コンピュータ/システム
13 ユーザインターフェース
14 可視化されたデータ
15 スクリーン
16 ユーザ入力デバイス
21 変換器アレイ
24 VCSEL
25 EPROM
31 アナログーデジタル変換器のアレイ
32 メモリモジュール
33 制御装置
36 送信機
37 増幅器
38 アンチエイリアスフィルタ
39 アナログーデジタル変換器
41 メモリユニット
42 エラスティックバッファ
43 エンコーダ及びシリアライザ
44 送受信機/送信機/バッファ
45 第1のクロックドメイン
46 第2のクロックドメイン
47 PLL
48 アナログフロントエンド
51 アナログ信号の選択
52 デジタル化
53 デジタルデータ選択
54 フィルタリング及び処理
61 インターフェースユニットのデータ処理ユニット
62 データプロセッサ/ビームフォーマー
63 バッテリ
64 電力管理ユニット(PMU)
71 制御信号
91 トリガ(イベント)
92 取得遅延
93 取得期間
94 シリアルデータ
95 第1のチャネル/ADCデータ収集
96 更なるチャネル/ADCデータ収集
97 第1のレジスタバンク
98 第2のレジスタバンク
101 第1の制御モード
102 第2の制御モード
103 第3の制御モード
104 第4の制御モード
105 第5の制御モード
110 動作パラメータの設定
111 タイムアウトモニタリング
112 トリガ受信モニタリング
113 レジスタバンクの切り換え
115 デジタル処理
116 期間
121 ゲイン
122 帯域幅
123 バイアス
124 ADCの有効化
125 ADCの分解能
126 ワード幅
127 デジタルゲイン
128 機能の有効化
129 クリップ
130 タイミング
301 データブロックのアレイ
302 データブロック
303 サンプル
304 維持されたサンプル(第1のパターン)
305 省略されたサンプル
307 畳み込み層
308 アップサンプリング層
309 ダウンサンプリング層
310 復号ユニット
311 完全なフレーム
312 サブサンプリングされたフレーム
313 再構築されたフレーム
314 維持されたサンプル(第2のパターン)
315 第1の復号器
316 第2の復号器
317 潜在表現
318 組み合わされた潜在表現
319 スキップ接続部
343 符号化ユニット
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【国際調査報告】